Esta página contém os detalhes de um projeto de escrita técnica aceito para o Temporada dos Documentos Google.
Resumo do projeto
- Organização de código aberto:
- Apache Airflow
- Redator técnico:
- kartik khare
- Nome do projeto:
- Como criar um fluxo de trabalho
- Duração do projeto:
- Duração padrão (3 meses)
Project description
Vou trabalhar na documentação sobre "Como criar novos fluxos de trabalho de forma fácil e eficaz". Algumas das etapas envolvidas nos fluxos de trabalho são:
- Ler
- Pré-processamento
- Processando
- Pós-processamento
- Salvar/ação
- Monitoramento
Cada etapa pode envolver várias tarefas, e várias ações podem ser realizadas após cada etapa, como abortar o job se duas ou mais tarefas falharem em um estágio ou executar novamente uma tarefa se ela falhar pelo menos duas vezes.
Outra parte dos fluxos de trabalho inclui a execução de dois ou mais jobs em paralelo e o uso do resultado combinado para a próxima etapa.
Outro aspecto de um fluxo de trabalho é alertar o usuário caso algo dê errado, seja por e-mail, Slack ou page duty.
Também pretendo incluir algumas maneiras não triviais de usar fluxos de trabalho, como executar jobs de streaming em tempo real e reiniciá-los em dados ausentes nos tópicos do Kafka downstream.
Vou trabalhar com mentores para refinar o escopo do projeto e, em seguida, concluir as tarefas.
Mal posso esperar para ver os próximos meses.