Progetto Apache Airflow

Questa pagina contiene i dettagli di un progetto di scrittura tecnica accettato per la stagione dei documenti Google.

Riepilogo del progetto

Organizzazione open source:
Apache Airflow
Technical writer:
kartik khare
Nome progetto:
Come creare un flusso di lavoro
Durata del progetto:
Durata standard (3 mesi)

Project description

Lavorerò alla creazione della documentazione su come creare nuovi flussi di lavoro in modo semplice ed efficace. Ci sono alcuni passaggi necessari nei flussi di lavoro,

  1. Letto
  2. Pre-elaborazione
  3. In fase di elaborazione
  4. Post-elaborazione
  5. Salva/Azione
  6. Monitoraggio

Ogni passaggio può comportare più attività ed è possibile eseguire una moltitudine di azioni dopo ogni passaggio, come l'interruzione del job se 2 o più attività hanno esito negativo in una fase o eseguire nuovamente un'attività se non riesce per almeno 2 volte.

Un'altra parte dei flussi di lavoro include l'esecuzione di due o più job in parallelo e l'utilizzo dei risultati combinati per la fase successiva.

Un altro aspetto di un flusso di lavoro è quello di avvisare l'utente in caso di problemi tramite posta, slack o cercapersone.

Prevedo anche di includere alcuni modi non banali in cui i flussi di lavoro possono essere utilizzati, ad esempio eseguire job di flussi di dati in tempo reale al riavvio su eventuali dati mancanti negli argomenti Kafka downstream.

Collaborerò con dei mentori per perfezionare ulteriormente l'ambito del progetto, dopodiché completerò le attività da lì in poi.

Ci auguriamo che ci saranno prossimi mesi straordinari.