aws

將資料餵到 athena 後，需要有一個地方可以看報表資料，在 AWS 上的 BI 是建議使用 QuickSight，就來試試看囉

Reference

• new url https://quicksight.workshop.aws/ - 這個 workshop 都很需要試試看
• QuickSight Workshops :: Learn QuickSight
• QuickSight Workshops > Author Workshop 照這份 workshop 跑一下，還滿好用的
• User-based Embedding :: Learn QuickSight 設定使用 coginto 來進行
  QuickSight 的 login，還滿有趣的啦
• Data Engineering Immersion Day - Lab: Query and Visualize
• Student Profile Path :: Guided Lab Workbook 有空可以看看

在使用 aws data-wrangler 的過程中，覺得這個 package 還滿好趣的，將看到的資料加以收集

在 cmd 中使用 aws data wrangler 的注意事項

• After version 1.0.0 Wrangler absolutely relies on Boto3.Session() to manage AWS credentials and configurations.
• In [10]: boto3.setup_default_session(region_name="us-west-2")
• aws-data-wrangler/002 - Sessions.ipynb at main · awslabs/aws-data-wrangler

目前有用到，覺得重要的 aws-data-wrangler tutorials 文章

• aws-data-wrangler/003 - Amazon S3.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/004 - Parquet Datasets.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/005 - Glue Catalog.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/006 - Amazon Athena.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/010 - Parquet Crawler.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/014 - Schema Evolution.ipynb at main · awslabs/aws-data-wrangler ** 這篇要來試試看

Reference

• awslabs/aws-data-wrangler: Pandas on AWS - Easy integration with Athena, Glue, Redshift, Timestream, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer and S3 (Parquet, CSV, JSON and EXCEL).
• What is AWS Data Wrangler? — AWS Data Wrangler 2.13.0 documentation data wrangler 說明頁
• aws-data-wrangler/tutorials at main · awslabs/aws-data-wrangler 建議這份 tutorial 要整份看過一次
• Optimize Python ETL by extending Pandas with AWS Data Wrangler | AWS Big Data Blog

在找看看如何將 parquet file 寫到 S3 時，意外找到 aws-data-wrangler package，覺得還滿好用的

Reference

• awslabs/aws-data-wrangler: Pandas on AWS - Easy integration with Athena, Glue, Redshift, Timestream, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer and S3 (Parquet, CSV, JSON and EXCEL).
• aws-data-wrangler/tutorials at main · awslabs/aws-data-wrangler 建議這份 tutorial 要整份看過一次
• amazon s3 - How to write parquet file from pandas dataframe in S3 in python - Stack Overflow

記錄一下，目前使用 kms 的方式，主要是 ksm 要如何設定 policy 較為適合

Reference

• AWS KMS Customer Managed CMK with Terraform - The Cloudly Engineer

記錄一下 python & 相關 ECS 的資料，可以來玩玩 side project

Reference

• How To Run Python APIs on AWS ECS | by Bhargav Bachina | Bachina Labs | Oct, 2021 | Medium
• Deploying a Containerized Flask Application with AWS ECS and Docker | A Cloud Guru

列一下，嘗試使用 AWS ECS 跑 fargate 的搜尋資料

Reference

• Deploy your Python app with AWS Fargate — A Tutorial | by Daniel Deutsch | Towards Data Science

在 deploy aws 架構時，使用 terraform 是滿好的 IaC 方式，在這次的 project 中，想嘗試看看
因為這次嘗試的 aws service 較多，用 terraform 的方式，是屬於 deploy 進階部分，先將 google 到的資料記錄起來

待完成目前的 job 後，再來看看如何自動化

Reference

• AWS Step Functions workflow for an ETL Job on COVID-19 and deploying it with Terraform (#CloudGuruChallenge Series) (Part 2/3) - DEV Community
  到的資料記錄起來

待完成目前的 job 後，再來看看如何自動化

Reference

• AWS Step Functions workflow for an ETL Job on COVID-19 and deploying it with Terraform (#CloudGuruChallenge Series) (Part 2/3) - DEV Community
• amazon web services - How to use Terraform to define cloundwatch event rules to trigger StepFunction statemachine - Stack Overflow 要用 Event Bridge (cloudwatch event) 來 trigger Step Function 需要自行增加的 iam_role 設定

由 S3 trigger 到 step function 需要經過一個 event 的步驟，目前測試出來的方式為

1. S3 設定送給 Event Bridge
2. 設定 Event Bridge rule
3. Event Bridge 送給 step function

Reference

• Tutorial: Log Amazon S3 object-level operations using EventBridge - Amazon EventBridge
• Trigger an ECS job when an S3 upload completes | by Maxime Bury | Medium
• Starting a State Machine Execution in Response to Amazon S3 Events - AWS Step Functions 範例中是用 AWS CloudTrail 為中介，實作上是改用 Event Bridge 來做
• New – Use Amazon S3 Event Notifications with Amazon EventBridge | Noise 參考這篇，微調後進行的設定
• AWS EventBridge vs S3 Notification - DEV Community
• terraform EventBridge

進階參考

• Build a serverless event-driven workflow with AWS Glue and Amazon EventBridge - AWS Feed
• Introducing the Amazon EventBridge service integration for AWS Step Functions | AWS Compute Blog

最近工作上需要用到 step function，趁此機會來試試這一個 plugin 如何使用

Reference

• serverless-operations/serverless-step-functions: AWS Step Functions plugin for Serverless Framework ⚡️ - AWS Step Functions plugin for Serverless Framework

在使用 api gateway 搭配 lambda 的情形中，常會遇到前端用同一組 custom domain name，不過後端需要介接不同的 serverless lambda project
目前我的作法是將 ApiGatewayRestApi & RootResourceId share 出來，提供給不同的 lambda project 使用

Reference

• Share API Gateway and API Resources 官方說明
• How to share an API domain between services in a monorepo Serverless app 滿完整的兩種做法介紹，目前是以 Method 2: Single API Gateway Project 方式來實作
• Shared API Gateway (2017-11-11)