在 AWS 上建立 data lake 的過程中，目前遇到要分享資料時，會有一定的困難 & 複雜度，看了 AWS 的說明後，是建議使用 lake formation 來做 data lake sharing 的管控，就來試試看 lake formation 囉
ETL
2021-12-29
2021-11-02
記錄使用 ETL 的一些方式
Reference
- Build and orchestrate ETL pipelines using Amazon Athena and AWS Step Functions | AWS Big Data Blog
- Serverless data pipelines: ETL workflow with Step Functions and Athena - DEV Community
- ETL Orchestration on AWS with AWS Step Functions - Proud2beCloud Blog
- Serverless Data Engineering: AWS Glue + Lambda + Athena + QuickSight | by Peter Begle | I like Big Data and I cannot lie | Medium 這篇滿值得參考的，就是我有想過的方式
2021-10-28
ETL
Reference
2021-10-25
最近會需要在 AWS 上進行 ETL 的處理，找了一下，目前有看到 step functions & airflow 的方式
就來研究一下 step functions 的方式囉
serverless framework plugin
使用 S3 event trigger step function 的方式
- Cloud Watch Event
- EventBridge
Trigger Step Function
- Creating a Step Functions API Using API Gateway - AWS Step Functions
- Starting a State Machine Execution in Response to Amazon S3 Events - AWS Step Functions
github project
- theburningmonk/complete-guide-to-step-functions-examples: Examples for the “Complete Guide to Step Functions” course
- theburningmonk/lambda-saga-pattern: Implementing the Saga pattern for Lambda functions using Step Functions
Reference
- Amazon States Language ** AWS step function 中, 用 json 描述 state machine 的說明，值得一看
- Study Notes - Step Functions | Complete Think