老布這麼說

記錄一下 Facebook 有 open source python 靜態程式碼分析工具 pysa

Reference

• 臉書開源可偵測Python程式碼安全與隱私問題的工具Pysa
• Pysa: An open source static analysis tool to detect and prevent security issues in Python code

最近在背悟真篇，想說如果可以線上簡易的用 slide 來看，應該是滿好的
就找到囉這個服務 slides，來試用看看

列一下 python boto3 使用 dynamodb 的sample

Reference

• DynamoDB Python Boto3 Query Cheat Sheet

最近開始打 E2E 後，有遇到幾次在 VPC 中，出現 lambda 連不到 RDS 的情形，所以就開 VPC flow log 來看看
VPC flow log, 可以設定到 CloudWatch & S3 中，考慮到 cloudwatch 太貴，想說就用 S3 來試試看

設定的動作

• 開啟 VPC flow log, Publishing flow logs to Amazon S3
• 設定 Anthena 可以 query, 查詢 Amazon VPC 流程日誌
  • 先建立好 table 後，還需要 alter table 將日期設定為 partition 後，才查得到資料

advance reference

• AWS Athena 查詢 VPC Flow logs 的 TOP 10 語法 – Mr. 沙先生
• Querying Amazon VPC flow logs - Amazon Athena 官方 athena 文件，很值得一看
• Analyzing VPC Flow Logs with Amazon Kinesis Firehose, Amazon Athena, and Amazon QuickSight

Reference

• Serverless Data Engineering: AWS Glue + Lambda + Athena + QuickSight

列一下用 S3 signed URL 相關的事項

Reference

• How S3 Signed URLs work
• AWS S3 signed URLs handbook e-book

最近遇到 EC2 上，Disk 滿了，server 有問題的情形，加 EBS 後，想說應該來設定 alert
找 Cloud Watch 沒有這個 metrics
查了一下後，發現需要安裝 CloudWatch Agent，才能收集到 disk percent usage 的資料

使用 CloudWatch Agent 的簡易步驟

• install CloudWatch Agent
• 建立 IAM role，設定給 EC2
  • Create IAM Roles and Users for Use With CloudWatch Agent
• 建立 CloudWatch Agent config file
  • Create the CloudWatch Agent Configuration File
• 跑 CloudWatch Agent
  • 收集的 metrics - Metrics Collected by the CloudWatch Agent

Reference

• Collecting Metrics and Logs from Amazon EC2 Instances and On-Premises Servers with the CloudWatch Agent

Reference

• AWS Tagging Strategies 筆記
• aws-tagging-best-practices.pdf

Reference

• Processing parquet files in Golang

先說小結
It is up to the users whether you need SPACE EFFICIENCY [select ORC] or TIME EFFICIENCY [select PARQUET].

Reference

• Benchmarking PARQUET vs ORC
• Parquet與ORC：高效能列式儲存格式