aws

使用 cognito 時，通常會想要客制化寄信出來的 message

目前的作法

• 因為需要在寄出來的信件中，顯示相關的 customer attribute，目前找到 & 使用的方式為 trigger lambda 的方式
• 修改 trigger 為 “Custom message”
  • aws cognito-idp update-user-pool --user-pool-id $POOL_ID --lambda-config CustomMessage="arn:aws:lambda:us-west-2:xxxTest"
• Custom message Lambda trigger - Amazon Cognito
• Customizing user pool workflows with Lambda triggers - Amazon Cognito
• spring - Cognito Customise Messages and Include User Attributes - Stack Overflow AWS console 介面中的 Message customizations Tab 無法設定使用 customer attribute

Reference

• Message Customization on Cognito - DEV Community 主要依照這篇來實作
• Custom message Lambda trigger - Amazon Cognito
• How to custom sender Email/SMS with 3rd party in AWS Cognito – Mr. 沙先生
• Send AWS Cognito emails with 3rd party ESPs
• Creating the CustomSMS Trigger in AWS Cognito using lambda | by Abiral Sthapit | Medium
• python - How to send a custom message for CustomMessage_AdminCreateUser trigger? - Stack Overflow 可以參考 TriggerEnum 的作法
• Authentication with AWS Cognito ⋆ Mark McDonnell 可以參考的 terraform example

最近使用 AWS console, AWS cli, serverless framework, terraform 後，有歸納出一個經驗來

就是要嘗試使用一個新的服務 或是 功能時，一開始的時候，先以 AWS console or AWS cli 的方式，先一步一步的依照 教學 or tutorial 來建立 & 練習
有了手動建立的經驗後，會對這個服務的功能 & 操作有一定基礎的認識

接著，就是找看看 terraform & serverless 的方式來自動化、重複性的可以建立需要的服務
這樣，就會有見樹又見林的了解

另外，就是 terraform 的使用，也是先用就基本的 terraform resource 就好，先不用 module 的方式，可以加深自己對 AWS 的認識 & 了解

用 api-gateway 為前端，來串到 ECS 中的 micro service

有關的 terraform 文件

• aws_ecs_service | Resources | hashicorp/aws | Terraform Registry

設定 aws ecs service 時，遇到的問題

• 在設定的過程中，花滿多時間在測試要如何建立 load_balancer
  • terraform-aws-ecs-fargate/main.tf at main · aws-ia/terraform-aws-ecs-fargate 這篇可以參考建立 load_balancer & security_group
• 在建立 load_balancer 時，遇到的另外一個問題是，當使用 S3 bucket 來記錄 access_log 時，有遇到權限的問題
  • Enable access logs for your Classic Load Balancer - Elastic Load Balancing AWS 說明資料
  • aws_elb_service_account | Data Sources | hashicorp/aws | Terraform Registry
  • 參考上面的資料，加設一段 data "aws_elb_service_account" "main" {} 來設定 service account 權限
  • amazon web services - Terraform - Enabling Access Load balancer logs InvalidConfigurationRequest: Access Denied for bucket - Stack Overflow 參考這篇文章，加以修改後，可以進行 access log
  • Search · aws_elb_service_account 參考別人 module 的寫法

Reference

• Using Amazon API Gateway with microservices deployed on Amazon ECS | AWS Compute Blog 手動建立的方式
• Deploy Container in ECS Fargate behind API Gateway & NLB for Secure Optimal Accessibility (with Terraform) | by Lukonde Mwila | The Startup | Medium 這篇很值得參考
  • LukeMwila/aws-apigateway-vpc-ecs-fargate: Source code to run a containerised application in AWS ECS Fargate inside a VPC’s private subnets. An API Gateway is used as the doorway to the private network using a VPC link to access the VPC. An NLB is for optimal performance of accessing the application. source code 看這邊

想要將 speedtest 跑在 AWS 上，所以來試試看 AWS ECS services 的方式

Reference

• Amazon ECS services - Amazon Elastic Container Service
• jonascheng/speedtest-go

在 AWS 上建立 data lake 的過程中，目前遇到要分享資料時，會有一定的困難 & 複雜度，看了 AWS 的說明後，是建議使用 lake formation 來做 data lake sharing 的管控，就來試試看 lake formation 囉

Reference

• What Is AWS Lake Formation? - AWS Lake Formation

• https://lakeformation.workshop.aws workshop bookmark

  • AWS Lake Formation Workshop

• Controlling data lake access across multiple AWS accounts using AWS Lake Formation | AWS Big Data Blog 兩個帳號中，分享 data lake access

有時間要來看看，以便了解 Identity federation 如何運作

Reference

• Federation – Amazon Web Services (AWS)

List AWS javascript SDK resource

Reference

• aws/aws-sdk-js: AWS SDK for JavaScript in the browser and Node.js
• Top Level Namespace — AWS SDK for JavaScript

記錄下，自己覺得應該要了解 Cognito 的 basic 知識

Cognito item

• user pools
• identity pools

Reference

• User Authentication and Authorization with AWS Cognito | by Suminda Niroshan | Medium AWS cognito tutorial 流程
• Identity pools (federated identities) authentication flow - Amazon Cognito
• SAML identity providers (identity pools) - Amazon Cognito
• Authentication with AWS Cognito ⋆ Mark McDonnell 可以參考的 terraform example

在串接 Cognito 連到 QuickSight 的過程中，一直遇到問題
想想，原因是出在自己對 Cognito, Identiry Authentication, SSO , SAML 等技術不熟悉
就先將目前看到，可能有用的 page 先記錄下來，留存參考

Reference

• How to Build SSO solution on top of Amazon Cognito - Sphere Partners
• Getting Started | Amazon Cognito | Amazon Web Services (AWS)

因為需要提供 PM 來 login 建立好的 QuickSight，所以嘗試使用 cognito 來進行 account 的管理，透過 cognito login 後，開始使用 QuickSight 服務

遇到的 error

• Individuals in my organization get an “External Login is Unauthorized” message when they try to access Amazon QuickSight - Amazon QuickSight 遇到這個問題，看了很久，還沒有找到解法
• 經過一段時間的嘗試、google 後，主要是需要用 AssumeRoleWithWebIdentity 的方式，來設定 session name，以便產生需要的 amazon credentials data
  • 而 AssumeRoleWithWebIdentity 中，是用到 sts 來取得 amazon credentials
  • Class: AWS.WebIdentityCredentials — AWS SDK for JavaScript javascript SDK 的取法
  • Class: AWS.STS — AWS SDK for JavaScript STS 中關於 AssumeRoleWithWebIdentity 的說明
  • assume-role-with-web-identity — AWS CLI 1.22.26 Command Reference local 測試，command line 的作法

嘗試的作法

• Federate Amazon QuickSight access with Okta | AWS Big Data Blog
• Using identity federation and single sign-on (SSO) with Amazon QuickSight - Amazon QuickSight

解 jwt 的方式

• auth0/jwt-decode: Decode JWT tokens; useful for browser applications. 用這個 github 中的檔案
• awslabs/aws-jwt-verify: NodeJS library for verifying JWTs signed by Amazon Cognito, and any OIDC-compatible IDP that signs JWTs with RS256

需要 enhance 的部分

• 使用 QuickSight API 來新增 QuickSight User & Assign group，以方便使用 quicksight

Background Knowledge

• Identity providers and federation - AWS Identity and Access Management 這篇需要好好讀一讀，特別是有關 web identity federation 的部分
• Enable Your Federated Users to Work in the AWS Management Console for up to 12 Hours | AWS Security Blog 說明 identity federation 的 blog
• Enabling custom identity broker access to the AWS console - AWS Identity and Access Management 使用 getSigninToken 的方式進行, 參考這篇的 python code 加以修改
  • aws-doc-sdk-examples/federated_url.py at main · awsdocs/aws-doc-sdk-examples 範例的 python code
  • STS — Boto3 Docs 1.20.26 documentation 有關 sts boto3 的說明

Reference

• QuickSight Workshops - User-based Embedding 主要依照這份來修改，將 lambda & api-gateway 另外用 serverless framework 來建立
• Use Amazon QuickSight Federated Single Sign-On with Amazon Cognito User Pools | Noise 另一種整合 cognito & quicksight 的方式。試過後，由 cognito auth 的 account 導至 quicksight 後，因為是透過 IAM login，會是同一個 quicksight 帳號，暫時不用這個方式