Apache Airflow 專案

本頁面包含 Google 技術文件季度接受的技術寫作專案詳細資料。

專案摘要

開放原始碼組織:
Apache Airflow
技術文件撰稿者:
kartik khare
專案名稱:
如何建立工作流程
專案長度:
標準長度 (3 個月)

Project description

我會著手編寫說明文件,說明如何輕鬆有效地建立新工作流程。工作流程包含以下步驟:

  1. 讀取
  2. 預先處理
  3. 處理中
  4. 後續處理中
  5. 儲存/動作
  6. 監控

每個步驟可能涉及多項工作,您可以在每個步驟後採取多項動作。舉例來說,如果有 2 項以上的工作在階段中失敗,則需要取消工作,或者在工作失敗至少 2 次時,重新執行工作。

工作流程的其他部分包括同時執行 2 項以上的作業,然後在下一個階段使用合併後的結果。

工作流程的另一個層面,是透過電子郵件、Slack 或 PagerDuty 通知使用者發生任何錯誤。

我也打算納入一些不簡單的使用工作流程方式,例如在下游 Kafka 主題中,針對任何缺少的資料重新啟動即時串流工作。

我會與導師合作,進一步明確界定專案範圍,然後完成相關工作。

期待接下來幾個月的驚奇體驗。