Apache Airflow 项目

本页面包含有关 Google 文档季可接受的技术写作项目的详细信息。

项目摘要

开源组织:
Apache Airflow
技术文档工程师:
kartik khare
项目名称:
如何创建工作流
项目时长:
标准时长(3 个月)

Project description

我负责创建相关文档,介绍如何轻松有效地创建新的工作流程。 工作流中涉及一些步骤:

  1. 读取
  2. 预处理
  3. 正在处理
  4. 正在进行处理后工作
  5. 保存/操作
  6. Monitoring

每个步骤都可能涉及多个任务,并且您可以在每个步骤之后执行多种操作,例如,如果某个阶段中的 2 个或多个任务失败,则中止作业;如果失败至少 2 次,则重新运行任务。

工作流的其他部分包括并行执行 2 个或更多作业,然后将组合结果用于下一阶段。

工作流程的另一个方面是,在发生任何问题时,通过邮件、延迟或寻呼机提醒用户。

我还计划添加一些重要的工作流使用方式,例如,针对下游 Kafka 主题中的任何缺失数据,在重启时运行实时流式作业。

我将与导师合作,进一步完善项目的范围,然后完成后续任务。

期待未来几个月的精彩体验。