老布這麼說

microservices 都用了滿長的一段時間囉，是該要回過頭來，再重新看看何謂 microservices

Reference

• What are Microservices? | AWS
• A pattern language for microservices

開始使用 kindle 閱讀後，也就開始找找如何更好的運用 kindle
滿多篇都有提到使用 instapaper 強化稍後閱讀的部分，加以記錄

Reference

• 【工具】Instapaper：不斷進化的稍後閱讀服務 - 聊馥一格
• Instapaper - instapaper 官網

同場加映

• 【整理】Kindle 資源懶人包 - 聊馥一格

剛好在討論有關 json key 的 style guide，就找了一下文件

json Property naming convention

• Property names must be camelCased, ASCII strings.
• The first character must be a letter, an underscore (_) or a dollar sign ($)

Reference

• Google JSON Style Guide
• Google Python Style Guide

在 ETL 設計的過程中，想要用 step-function 來執行 ECS task

Reference

• AWS Step function to run ECS task * 這說明簡要，可以先看，之後再看複雜的 case
• AWS Step Function Integration with ECS or Fargate Tasks: Data In and Out — Nuvalence
• Manage Amazon ECS or Fargate Tasks with Step Functions - AWS Step Functions * 這篇要看看
• aws-samples/aws-stepfunctions-ecs-fargate-process
• aws-samples/amazon-ecs-and-aws-step-functions-design-patterns-starter-kit

最近因為想要看 & 背 莊子內七篇，所以想說要 kindle 來閱讀，一來方便、一來也護眼

Reference

• 把拔工程師: Kindle 電子閱讀器 使用技巧匯總
• Kobo/Kindle E-Reader 也能一鍵橫排轉直排? 還不用等待轉檔? | Vixual

同場加映

• 【2021年】6款最好用的電子書閱讀器推薦 & 優缺點比較懶人包 | S Queen Better Self

最近進行 ETL 的 job，預計用 parquet 格式來儲存資料

my example folder

• python-parquet-examples

parquet tools

• Mac install brew install parquet-tools

Reference

• Writing Parquet Files in Python with Pandas, PySpark, and Koalas - MungingData

記錄使用 ETL 的一些方式

Reference

• Build and orchestrate ETL pipelines using Amazon Athena and AWS Step Functions | AWS Big Data Blog
• Serverless data pipelines: ETL workflow with Step Functions and Athena - DEV Community
• ETL Orchestration on AWS with AWS Step Functions - Proud2beCloud Blog
• Serverless Data Engineering: AWS Glue + Lambda + Athena + QuickSight | by Peter Begle | I like Big Data and I cannot lie | Medium 這篇滿值得參考的，就是我有想過的方式

在 AWS 上使用 managed reverse proxy 方式

• AWS Amplify Console
• API Gateway
• Amazon CloudFront with Lambda@Edge

Reference

• Serving Content Using a Fully Managed Reverse Proxy Architecture in AWS | AWS Architecture Blog
• How to Integrate legacy API with AWS API Gateway proxy - Proud2beCloud Blog

ETL

• Serverless data pipelines: ETL workflow with Step Functions and Athena - DEV Community
• 參考 ETL 作法
  • becloudway/serverless-data-pipelines-batch-processing

Reference

• Build a Lake House Architecture on AWS
• Design Patterns for Data Lakes. Data Lake is the heart of big data… | by Lackshu Balasubramaniam | Medium

最近需要用 athena 來進行 query nested-json 資料，想想相關的方式

Reference

• Process Nested Jsons Using AWS Athena
• Analyze and visualize nested JSON data with Amazon Athena and Amazon QuickSight | AWS Big Data Blog 依照這篇的方式，使用 unnest 的方式來嘗試
• 將巢狀陣列扁平化