Apache Airflow-Projekt

Diese Seite enthält die Details zu einem Projekt für technisches Schreiben, das für die Google-Produktsaison von Google Docs akzeptiert wurde.

Projektzusammenfassung

Open-Source-Organisation:
Apache Airflow
Technischer Redakteur:
Kartik Khare
Projektname:
Workflow erstellen
Projektdauer:
Standarddauer (3 Monate)

Projektbeschreibung

Ich werde daran arbeiten, eine Dokumentation für „Wie Sie neue Workflows einfach und effektiv erstellen“ zu erstellen. Workflows umfassen unter anderem folgende Schritte:

  1. Lesen
  2. Vorverarbeitung
  3. Wird verarbeitet
  4. Nachbearbeitung
  5. Speichern/Aktion
  6. Monitoring

Jeder Schritt kann mehrere Aufgaben umfassen und nach jedem Schritt können zahlreiche Aktionen ausgeführt werden. Beispielsweise kann der Job abgebrochen werden, wenn zwei oder mehr Aufgaben in einer Phase fehlschlagen, oder eine Aufgabe noch einmal ausführen, wenn sie mindestens zweimal fehlgeschlagen ist.

Ein weiterer Teil der Workflows besteht darin, zwei oder mehr Jobs parallel auszuführen und dann das kombinierte Ergebnis für die nächste Phase zu verwenden.

Ein weiterer Aspekt eines Workflows besteht darin, den Nutzer zu warnen, falls etwas schiefgeht, sei es per Post, Slack oder Pager.

Ich habe vor, auch einige nicht triviale Möglichkeiten zu integrieren, wie Workflows verwendet werden können, z. B. um Echtzeit-Streamingjobs beim Neustart bei fehlenden Daten in nachgelagerten Kafka-Themen auszuführen.

Ich werde mit Mentoren zusammenarbeiten, um den Umfang des Projekts deutlich zu verfeinern, und dann die Aufgaben von dort aus erledigen.

Ich freue mich auf die kommenden Monate.