使用 docker 來跑 apache airflow 來玩玩 tutorial 的程式

cmd for list dag and task

`

initialize the database tables

airflow db init

print the list of active DAGs

airflow dags list

prints the list of tasks in the “tutorial” DAG

airflow tasks list tutorial

prints the hierarchy of tasks in the “tutorial” DAG

airflow tasks list tutorial –tree
`

local 跑測試的方式

• 跑一個特定的 task
  • airflow tasks test tutorial templated 2015-06-01 # testing templated
• 跑一個特定的 DAG
  • airflow dags test [dag_id] [logical_date]

Reference

• Running Airflow in Docker — Airflow Documentation
• Tutorial — Airflow Documentation

diff 的使用，一直是宅宅必要的技能，好用的 diff 值得記錄一下

Reference

• Wilfred/difftastic: a diff that understands syntax 🟥🟩

最近對文字的起源、文字的來源有興趣，所以就想來找找、看看 許慎 的說文解字
其中段玉裁的說文解字注，是最為有名的

Reference

• 說文解字 | 古今文字集成
• 说文解字_说文解字在线查询 - 词典网 * 方便查詢的字典
• 「說文解字」在線查詢 Shuowen.org - 篆書字典 - 「說文解字注」在線查詢

用這份文件，簡略記錄一下自己要捉取甲骨文資料，用到的一些 package & 參考文件

有關 word reference

• 使用Python 自動生成 Word 文件的教程_程式設計_程式人生
• Day20-Python 操作 docx 文件 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天
• Quickstart — python-docx 0.8.11 documentation

有關 google drive api

• Introduction to Google Drive API | Google Developers
• Python Quickstart | Drive API | Google Developers
• Drive API | Google Developers
• 【Google API 教學】如何申請 OAuth 2.0 憑證？ 使用Google Drive API 做示範給你看！ - WP數位 依照這篇的方式，來申請 OAuth 需要的憑證資料
• 【Google API 教學】Google Drive API upload 使用 Python 上傳單一檔案 基本教學 - WP數位
• 【Google API 教學】Google Drive API upload 使用 Python 上傳到指定資料夾 基本教學 - WP數位
• 使用 PyDrive 來操作
  • How to upload files into Google drive using python script 這篇寫的滿清楚的
  • iterative/PyDrive2: Google Drive API Python wrapper library. Maintained fork of PyDrive.

有關 selenium reference

• 必學的Python Selenium套件自動化網頁截圖技巧
• python+selenium 自動填寫表單並提交 - 台部落
• [Python爬蟲教學]整合Python Selenium及BeautifulSoup實現動態網頁爬蟲
• 用python-webdriver實現自動填表的示例程式碼_程式設計_程式人生
• 動態網頁爬蟲第二道鎖 — Selenium教學：如何使用find_element(s)取得網頁元素(附Python 程式碼) | by 行銷資料科學 | Medium

selenium youtube 介紹

• (98) Selenium WebDriver With Python - Installation & First Code - Part 1 - YouTube
• (98) How to take Screenshot (Full Page) in Selenium Python - Part 10 - YouTube 參考這篇來 snapshot full page

列一下，目前看到的 airflow 資源

Tutorial

• Quick Start — Airflow Documentation
• Concepts — Airflow Documentation

ecosystem

• Ecosystem | Apache Airflow 可以看看有哪些 resource 囉

airflow command line

• config command
  • list config: airflow config list
  • get single config: airflow config get-value core executor
  • Configuration Reference — Airflow Documentation

decorator

• Introduction to Airflow Decorators - Airflow Guides
• DAGs — Airflow Documentation

Reference

• Apache Airflow：工作流程管理控制台. 上一篇「淺談 Cloud Dataflow & Apache Beam… | by Terrence Toh | Hahow Tech
• Airflow, Prefect, and Dagster: An Inside Look | by Pedram Navid | Towards Data Science

Compare

• Airflow, Prefect, and Dagster: An Inside Look | by Pedram Navid | Towards Data Science

Reference

• 5 Books for Data Engineers. Building foundations and framing your… | by Kaden Cho | Towards Data Science

Reference

• Dimensional modeling - Wikipedia

最近都在做跟 data 相關的 task，就多多研究一下 data-pipeline & 相關的 data team 資料囉

role

• data engineer
• data analyst
• data scientist

Reference

• Amazon.com: Data Pipelines Pocket Reference: Moving and Processing Data for Analytics eBook : Densmore, James: Kindle Store ebook
• Hahow 數據團隊的誕生. 一般企業會在什麼時間點成立數據團隊？有什麼考量？數據量大到多少才需要成立數據團隊… | by Terrence Toh | Hahow Tech

在進行資料分析時，通常會建立 data warehouse 來儲存大量資料，給 data engineer & data analyst 來使用

Data Warehouse

• AWS redshift
  • 與 prostgres compatible
• SnowFlake
• BigQuery

Reference

• The 2021 database showdown: BigQuery vs Redshift vs Snowflake - Poplin Data

使用 amazon management 的 WMAA 來跑 Apache Airflow 是個要開始使用 airflow 的好方式

how to access WMAA airflow

• Accessing an Amazon MWAA environment - Amazon Managed Workflows for Apache Airflow

example

• airflow/airflow/providers/amazon/aws/example_dags at main · apache/airflow

airflow token

• Creating an Apache Airflow web login token - Amazon Managed Workflows for Apache Airflow

Reference

• Using Terraform to build a serverless Airflow via Amazon Managed Workflows and automatic DAG sync using GitHub Actions · ds/dx - a data science & ml engineering blog
• claudiobizzotto/aws-mwaa-terraform: AWS MWAA Quick Start With Terraform. 有依照這個 github 來跑起一個 airflow。要設定 kms 為 custom key 時，還需要在試試看

使用 KMS key 可以參考的:

• Customer managed keys for Data Encryption - Amazon Managed Workflows for Apache Airflow
• Amazon MWAA execution role - Amazon Managed Workflows for Apache Airflow 依據這篇來修改 execution role 權限
  • 另外是要自行 grand 權限
    • aws_kms_grant doesn’t accept service principals in grantee_principal fiend · Issue #13994 · hashicorp/terraform-provider-aws
    • aws kms create-grant --region us-east-2 --key-id key-id-xxxxxxxxxx-33333 --grantee-principal "airflow.us-east-2.amazonaws.com" --retiring-principal "airflow.us-east-2.amazonaws.com" --operations Decrypt Encrypt GenerateDataKey ReEncryptFrom ReEncryptTo RetireGrant DescribeKey --name wmaa_s3_key_grant
• idealo/terraform-aws-mwaa: Terraform module to setup Managed Workflows with Apache Airflow. (Airflow as managed service by AWS) 可以改用這個 module 來建立 wmaa 試試
• Setting up MWAA to use a KMS key - DEV Community

有時間要來試試看

• Tutorial: Configuring the aws-mwaa-local-runner in a Continuous Delivery (CD) pipeline - Amazon Managed Workflows for Apache Airflow 可以整合 CI/CD 的方式

Compare

• AWS Managed Workflows for Apache Airflow vs. Glue | by Minseok Song | Towards Data Science