Apache Airflow 项目

本页面包含 Google 文档季接受的技术写作项目的详细信息。

项目摘要

开源组织:
Apache Airflow
技术文档工程师:
kartik khare
项目名称:
如何创建工作流
项目时长:
标准时长(3 个月)

Project description

我将着手编写有关如何轻松高效地创建新工作流的文档。 工作流包含以下步骤:

  1. 读取
  2. 预处理
  3. 正在处理
  4. 正在进行处理后工作
  5. 保存/操作
  6. 监控

每个步骤都可能涉及多个任务,并且可以在每个步骤之后执行多种操作,例如,如果某个阶段有 2 项或更多任务失败,则中止作业;如果某项任务至少失败 2 次,则重新运行该任务。

工作流的其他部分包括并行执行 2 项或更多作业,然后将其合并结果用于下一个阶段。

工作流的另一个方面是,如果发生任何问题,通过邮件、Slack 或寻呼器值班提醒用户。

我还计划添加一些使用工作流的重要方式,例如在下游 Kafka 主题中的任何缺失数据上重启实时流式作业。

我将与导师合作,进一步完善项目范围,然后完成后续的任务。

期待几个月的精彩表现。