python

記錄一下 python & 相關 ECS 的資料，可以來玩玩 side project

Reference

• How To Run Python APIs on AWS ECS | by Bhargav Bachina | Bachina Labs | Oct, 2021 | Medium
• Deploying a Containerized Flask Application with AWS ECS and Docker | A Cloud Guru

最近進行 ETL 的 job，預計用 parquet 格式來儲存資料

my example folder

• python-parquet-examples

parquet tools

• Mac install brew install parquet-tools

Reference

• Writing Parquet Files in Python with Pandas, PySpark, and Koalas - MungingData

Tutorial

• Flask Tutorial

Reference

• Pallets Projects
  • Click
  • Flask
  • ItsDangerous
  • Jinja
  • Werkzeug
  • MarkupSafe

最近，剛好需要用到將 pdf 轉為 image，並且將 image 分割的事情
原本是用手動截圖的方式，後來想說應該是可以用程式來做，方便一些
就試著用 python 來做這件事，記錄一下，用到了哪些 package，同時也放一份 code 到 github 上

python package list

• pdf2image
• opencv
• pydub

Reference

• Design Patterns In Python

在現在的程式中，常常會需要操作到 json object，記錄一下目前有用到的 json tool

Reference

• jq - jq is a lightweight and flexible command-line JSON processor.
  • 一個非常好用的 json command line tool
  • jq : 命令列json處理工具
• jmespath/jmespath.py - JMESPath is a query language for JSON.
  • jmespath - jmespath offical site
  • JMESPath Tutorial

記錄一下用 python 寫 crawler 的搜尋記錄

Reference

• [爬蟲筆記] Python Scrapy 爬蟲教學：實作 PTT 資料爬取
• Scrapy ImagesPipeline圖片抓取筆記

在找古文的資料時，很常會搜尋到中國哲學書電子化計劃，
而這網站原來早就有 python 的 package 可以將全文的資料抓下來，滿好玩的

Reference

• 中國哲學書電子化計劃
• ctext - python package
  • CTP API Functions
  • Classical Chinese Digital Humanities - 教學

一個滿有趣的 python 工具

• Flow-based visual scripting for Python
• PyFlow - Visual scripting framework for python - https://wonderworks-software.github.io/PyFlow

最近需要 support SQA 的工作。在我的想象中，要將 SQA 做得好，需要有 automation testing ＆ daily buid 的互相配合
在 automation testing 中，來試試用 robot-framework 來撰寫 test case，以進行整合
robot-framework 中，可以用 python 來寫 custom test libraries 滿有趣的

vim plugin

• robotframework-vim Vim plugin for development with Robot Framework.
• 安裝上述的 plugin，檔案中加上這行 # -*- coding: robot -*- 或是用 :setf robot

REST API testing

• Automate REST API testing with ROBOT framework
• REST API TESTING WITH ROBOT FRAMEWORK
• asyrjasalo/RESTinstance - Robot Framework library for RESTful JSON APIs
  • ravthiru/RoboFramework_REST_API 建立 docker image 的參考程式
• MarketSquare/robotframework-requests - 由 requests 來建立 robot framework
  • Keywords documentation

write test case

• How to write good test cases using Robot Framework

有關 test case 的 structure

• Test case structure 分為 Workflow tests & Data-driven tests
  • 目前的寫法為 Workflow tests

簡介

• Robot Framework Tutorial 2016 – Keywords ** 這篇值得一看
• [Python] Robot Framework 工作筆記（一）
• Writing Maintainable Automated Acceptance Tests

Reference

• Robot Framework Quick Start Guide 這份先看
• Demo Project
• Robot Framework User Guide ** 完整的 user guide ，滿重要的需要看過一遍
• 可以選擇看那部份的 User Guide
• How to run Robot Framework test from command line? ** 由 command 執行 robot 的方式

TestRail

• TestRail integration with Robot Framework

IDE

• Robotframework Ride IDE - docker

rst 相關資料

• reStructuredText基本語法教學
• reStructuredText 语法
• A ReStructuredText Primer