Cette page contient les détails d'un projet de rédaction technique accepté pour la Google Season of Docs.
Résumé du projet
- Organisation Open Source:
- Apache Airflow
- Rédacteur technique:
- kartik khare
- Nom du projet:
- Créer un workflow
- Durée du projet:
- Durée standard (trois mois)
Project description
Je vais créer une documentation expliquant comment créer des workflows facilement et efficacement. Voici quelques-unes des étapes impliquées dans les workflows :
- Lire
- Prétraitement
- Traitement
- Post-traitement
- Enregistrer/Action
- Surveillance
Chaque étape peut impliquer plusieurs tâches et une multitude d'actions peuvent être effectuées après chaque étape, comme l'annulation de la tâche si deux tâches ou plus échouent au cours d'une étape, ou la réexécution d'une tâche si elle échoue pendant au moins deux fois.
Une autre partie des workflows consiste à exécuter deux tâches ou plus en parallèle, puis à utiliser leur résultat combiné pour l'étape suivante.
Un autre aspect d'un workflow consiste à alerter l'utilisateur en cas de problème, par e-mail, par Slack ou par bip.
Je prévois également d'inclure des méthodes non triviales d'utilisation des workflows, par exemple pour exécuter des tâches de streaming en temps réel lors de leur redémarrage en cas de données manquantes dans les sujets Kafka en aval.
Je vais travailler avec des mentors pour affiner le champ d'application du projet, puis m'atteler aux tâches.
J'ai hâte de découvrir les mois à venir.