Cette page contient les détails d'un projet de rédaction technique accepté pour Google Season of Docs.
Résumé du projet
- Organisation Open Source:
- Apache Airflow
- Rédacteur technique:
- kartik khare
- Nom du projet:
- Créer un workflow
- Durée du projet:
- Durée standard (3 mois)
Project description
Je vais travailler à la création de documentation pour savoir comment créer de nouveaux flux de travail facilement et efficacement. Voici certaines étapes impliquées dans les flux de travail :
- Read
- Prétraitement
- Traitement
- Post-traitement
- Enregistrer/Action
- Monitoring
Chaque étape peut impliquer plusieurs tâches, et une multitude d'actions peuvent être effectuées après chaque étape. Par exemple, vous pouvez abandonner la tâche si au moins deux tâches échouent dans une étape, ou réexécuter une tâche si elle échoue au moins deux fois.
Une autre partie des workflows consiste à exécuter au moins deux tâches en parallèle, puis à utiliser les résultats combinés pour passer à l'étape suivante.
Un autre aspect d’un flux de travail consiste à alerter l’utilisateur en cas de problème, que ce soit par courrier, jeu ou pager.
Je prévois également d'utiliser des moyens complexes d'utiliser les workflows, par exemple pour exécuter des tâches de streaming en temps réel au redémarrage sur toutes les données manquantes dans les sujets Kafka en aval.
Je vais travailler avec des mentors pour affiner la portée du projet, puis terminer les tâches à partir de là.
J'ai hâte d'être incroyable dans les mois qui viennent.