Проект Apache Airflow

На этой странице содержится подробная информация о проекте технического написания, принятом для участия в Google Season of Docs.

Краткое описание проекта

Организация с открытым исходным кодом:
Апач воздушный поток
Технический писатель:
Картик Харе
Название проекта:
Как создать рабочий процесс
Длина проекта:
Стандартная продолжительность (3 месяца)

Описание Проекта

Я буду работать над созданием документации о том, как легко и эффективно создавать новые рабочие процессы. В рабочие процессы входят некоторые этапы:

  1. Читать
  2. Предварительная обработка
  3. Обработка
  4. Постобработка
  5. Сохранить/Действие
  6. Мониторинг

Каждый шаг может включать в себя несколько задач, и после каждого шага может быть предпринято множество действий, например, прерывание задания, если на этапе происходит сбой 2 или более задач, или повторный запуск задачи, если она завершается сбоем как минимум 2 раза.

Другая часть рабочих процессов включает параллельное выполнение двух или более заданий с последующим использованием их совокупного результата для следующего этапа.

Еще одним аспектом рабочего процесса является предупреждение пользователя в случае, если что-то пойдет не так, либо через почту, либо через резервную систему, либо через пейджер.

Я также планирую включить некоторые нетривиальные способы использования рабочих процессов, например запуск заданий потоковой передачи в реальном времени при их перезапуске для любых недостающих данных в последующих темах Kafka.

Я буду работать с наставниками, чтобы сделать рамки проекта более уточненными, а затем выполнять поставленные задачи.

С нетерпением жду удивительных нескольких месяцев вперед.