老布這麼說

用 api-gateway 為前端，來串到 ECS 中的 micro service

有關的 terraform 文件

• aws_ecs_service | Resources | hashicorp/aws | Terraform Registry

設定 aws ecs service 時，遇到的問題

• 在設定的過程中，花滿多時間在測試要如何建立 load_balancer
  • terraform-aws-ecs-fargate/main.tf at main · aws-ia/terraform-aws-ecs-fargate 這篇可以參考建立 load_balancer & security_group
• 在建立 load_balancer 時，遇到的另外一個問題是，當使用 S3 bucket 來記錄 access_log 時，有遇到權限的問題
  • Enable access logs for your Classic Load Balancer - Elastic Load Balancing AWS 說明資料
  • aws_elb_service_account | Data Sources | hashicorp/aws | Terraform Registry
  • 參考上面的資料，加設一段 data "aws_elb_service_account" "main" {} 來設定 service account 權限
  • amazon web services - Terraform - Enabling Access Load balancer logs InvalidConfigurationRequest: Access Denied for bucket - Stack Overflow 參考這篇文章，加以修改後，可以進行 access log
  • Search · aws_elb_service_account 參考別人 module 的寫法

Reference

• Using Amazon API Gateway with microservices deployed on Amazon ECS | AWS Compute Blog 手動建立的方式
• Deploy Container in ECS Fargate behind API Gateway & NLB for Secure Optimal Accessibility (with Terraform) | by Lukonde Mwila | The Startup | Medium 這篇很值得參考
  • LukeMwila/aws-apigateway-vpc-ecs-fargate: Source code to run a containerised application in AWS ECS Fargate inside a VPC’s private subnets. An API Gateway is used as the doorway to the private network using a VPC link to access the VPC. An NLB is for optimal performance of accessing the application. source code 看這邊

想要將 speedtest 跑在 AWS 上，所以來試試看 AWS ECS services 的方式

Reference

• Amazon ECS services - Amazon Elastic Container Service
• jonascheng/speedtest-go

在 AWS 上建立 data lake 的過程中，目前遇到要分享資料時，會有一定的困難 & 複雜度，看了 AWS 的說明後，是建議使用 lake formation 來做 data lake sharing 的管控，就來試試看 lake formation 囉

Reference

• What Is AWS Lake Formation? - AWS Lake Formation

• https://lakeformation.workshop.aws workshop bookmark

  • AWS Lake Formation Workshop

• Controlling data lake access across multiple AWS accounts using AWS Lake Formation | AWS Big Data Blog 兩個帳號中，分享 data lake access

有時間要來看看，以便了解 Identity federation 如何運作

Reference

• Federation – Amazon Web Services (AWS)

List AWS javascript SDK resource

Reference

• aws/aws-sdk-js: AWS SDK for JavaScript in the browser and Node.js
• Top Level Namespace — AWS SDK for JavaScript

記錄下，自己覺得應該要了解 Cognito 的 basic 知識

Cognito item

• user pools
• identity pools

Reference

• User Authentication and Authorization with AWS Cognito | by Suminda Niroshan | Medium AWS cognito tutorial 流程
• Identity pools (federated identities) authentication flow - Amazon Cognito
• SAML identity providers (identity pools) - Amazon Cognito
• Authentication with AWS Cognito ⋆ Mark McDonnell 可以參考的 terraform example

在串接 Cognito 連到 QuickSight 的過程中，一直遇到問題
想想，原因是出在自己對 Cognito, Identiry Authentication, SSO , SAML 等技術不熟悉
就先將目前看到，可能有用的 page 先記錄下來，留存參考

Reference

• How to Build SSO solution on top of Amazon Cognito - Sphere Partners
• Getting Started | Amazon Cognito | Amazon Web Services (AWS)

因為需要提供 PM 來 login 建立好的 QuickSight，所以嘗試使用 cognito 來進行 account 的管理，透過 cognito login 後，開始使用 QuickSight 服務

遇到的 error

• Individuals in my organization get an “External Login is Unauthorized” message when they try to access Amazon QuickSight - Amazon QuickSight 遇到這個問題，看了很久，還沒有找到解法
• 經過一段時間的嘗試、google 後，主要是需要用 AssumeRoleWithWebIdentity 的方式，來設定 session name，以便產生需要的 amazon credentials data
  • 而 AssumeRoleWithWebIdentity 中，是用到 sts 來取得 amazon credentials
  • Class: AWS.WebIdentityCredentials — AWS SDK for JavaScript javascript SDK 的取法
  • Class: AWS.STS — AWS SDK for JavaScript STS 中關於 AssumeRoleWithWebIdentity 的說明
  • assume-role-with-web-identity — AWS CLI 1.22.26 Command Reference local 測試，command line 的作法

嘗試的作法

• Federate Amazon QuickSight access with Okta | AWS Big Data Blog
• Using identity federation and single sign-on (SSO) with Amazon QuickSight - Amazon QuickSight

解 jwt 的方式

• auth0/jwt-decode: Decode JWT tokens; useful for browser applications. 用這個 github 中的檔案
• awslabs/aws-jwt-verify: NodeJS library for verifying JWTs signed by Amazon Cognito, and any OIDC-compatible IDP that signs JWTs with RS256

需要 enhance 的部分

• 使用 QuickSight API 來新增 QuickSight User & Assign group，以方便使用 quicksight

Background Knowledge

• Identity providers and federation - AWS Identity and Access Management 這篇需要好好讀一讀，特別是有關 web identity federation 的部分
• Enable Your Federated Users to Work in the AWS Management Console for up to 12 Hours | AWS Security Blog 說明 identity federation 的 blog
• Enabling custom identity broker access to the AWS console - AWS Identity and Access Management 使用 getSigninToken 的方式進行, 參考這篇的 python code 加以修改
  • aws-doc-sdk-examples/federated_url.py at main · awsdocs/aws-doc-sdk-examples 範例的 python code
  • STS — Boto3 Docs 1.20.26 documentation 有關 sts boto3 的說明

Reference

• QuickSight Workshops - User-based Embedding 主要依照這份來修改，將 lambda & api-gateway 另外用 serverless framework 來建立
• Use Amazon QuickSight Federated Single Sign-On with Amazon Cognito User Pools | Noise 另一種整合 cognito & quicksight 的方式。試過後，由 cognito auth 的 account 導至 quicksight 後，因為是透過 IAM login，會是同一個 quicksight 帳號，暫時不用這個方式

將資料餵到 athena 後，需要有一個地方可以看報表資料，在 AWS 上的 BI 是建議使用 QuickSight，就來試試看囉

Reference

• new url https://quicksight.workshop.aws/ - 這個 workshop 都很需要試試看
• QuickSight Workshops :: Learn QuickSight
• QuickSight Workshops > Author Workshop 照這份 workshop 跑一下，還滿好用的
• User-based Embedding :: Learn QuickSight 設定使用 coginto 來進行
  QuickSight 的 login，還滿有趣的啦
• Data Engineering Immersion Day - Lab: Query and Visualize
• Student Profile Path :: Guided Lab Workbook 有空可以看看

在使用 aws data-wrangler 的過程中，覺得這個 package 還滿好趣的，將看到的資料加以收集

在 cmd 中使用 aws data wrangler 的注意事項

• After version 1.0.0 Wrangler absolutely relies on Boto3.Session() to manage AWS credentials and configurations.
• In [10]: boto3.setup_default_session(region_name="us-west-2")
• aws-data-wrangler/002 - Sessions.ipynb at main · awslabs/aws-data-wrangler

目前有用到，覺得重要的 aws-data-wrangler tutorials 文章

• aws-data-wrangler/003 - Amazon S3.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/004 - Parquet Datasets.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/005 - Glue Catalog.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/006 - Amazon Athena.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/010 - Parquet Crawler.ipynb at main · awslabs/aws-data-wrangler
• aws-data-wrangler/014 - Schema Evolution.ipynb at main · awslabs/aws-data-wrangler ** 這篇要來試試看

Reference

• awslabs/aws-data-wrangler: Pandas on AWS - Easy integration with Athena, Glue, Redshift, Timestream, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer and S3 (Parquet, CSV, JSON and EXCEL).
• What is AWS Data Wrangler? — AWS Data Wrangler 2.13.0 documentation data wrangler 說明頁
• aws-data-wrangler/tutorials at main · awslabs/aws-data-wrangler 建議這份 tutorial 要整份看過一次
• Optimize Python ETL by extending Pandas with AWS Data Wrangler | AWS Big Data Blog