Apache Airflow プロジェクト

このページには、Google シーズンのドキュメントで受け入れられているテクニカル ライティング プロジェクトの詳細が記載されています。

プロジェクトの概要

オープンソースの組織:
Apache Airflow
テクニカル ライター:
kartik khare
プロジェクト名:
ワークフローの作成方法
プロジェクトの期間:
標準の期間(3 か月)

プロジェクトの説明

新しいワークフローを簡単かつ効率的に作成する方法に関するドキュメントを作成したいと思います。 ワークフローに関連する手順には次のようなものがあります。

  1. 読み取り
  2. 前処理
  3. 処理
  4. 後処理中
  5. 保存/操作
  6. モニタリング

各ステップには複数のタスクを含めることができ、各ステップの後に多数のアクションを実行できます。たとえば、ステージで 2 つ以上のタスクが失敗した場合にジョブを中止したり、2 回以上失敗した場合はタスクを再実行したりできます。

ワークフローのその他の部分には、2 つ以上のジョブを並行して実行し、その結果を次のステージに活かすというものがあります。

ワークフローのもう 1 つの側面は、郵便、Slack、ポケベルなど、何か問題が発生した場合にユーザーに警告することです。

また、ダウンストリームの Kafka トピックで欠落しているデータがあれば、リアルタイム ストリーミング ジョブを実行して再起動するなど、簡単なワークフローの活用方法も導入する予定です。

メンターの協力のもと、プロジェクトの範囲をこれまで以上に絞り込んでから、その後のタスクに取り組んでいきます。

数か月後を楽しみにしております。