Projekt Apache Airflow

Ta strona zawiera szczegółowe informacje na temat projektu technicznego przyjęta do programu Sezon Dokumentów Google.

Podsumowanie projektu

Organizacja open source:
Apache Airflow
Pisarz techniczny:
kartik khare
Nazwa projektu:
Jak utworzyć przepływ pracy
Długość projektu:
Standardowa długość (3 miesiące)

Opis projektu

Będę tworzyć dokumentację dotyczącą łatwego i skutecznego tworzenia nowych przepływów pracy. W procesie pracy należy wykonać kilka czynności:

  1. Odczyt
  2. Wstępne przetwarzanie
  3. Przetwarzam
  4. Przetwarzanie końcowe
  5. Zapisz/Działanie
  6. Monitorowanie

Każdy krok może obejmować wiele zadań. Po każdym kroku można wykonać wiele działań, np. przerwać zadanie, jeśli co najmniej 2 zadania nie powiedzie się na etapie lub wykonać zadanie ponownie, jeśli nie uda się wykonać co najmniej 2 razy.

Inne części przepływów pracy obejmują wykonywanie równolegle co najmniej 2 zadań i wykorzystywanie połączonych wyników w kolejnym etapie.

Innym aspektem przepływu pracy jest powiadamianie użytkownika o wszelkich problemach z pocztą, pocztą, zastępem lub funkcją pager.

Planuję też uwzględnić kilka nieprostych sposobów wykorzystania przepływów pracy, takich jak uruchamianie zadań strumieniowego przesyłania danych w czasie rzeczywistym przy ponownym uruchomieniu w przypadku brakujących danych w tematach dotyczących Kafka na dalszych etapach ścieżki.

Będę współpracować z mentorami, aby polepszyć zakres projektu, a następnie wykonywać zadania.

Liczymy na Państwa sukces za kilka miesięcy.