Esta página contém os detalhes de um projeto de escrita técnica aceito para a temporada de documentos do Google.
Resumo do projeto
- Organização de código aberto:
- Apache Airflow (em inglês)
- Redator técnico:
- kartik khare
- Nome do projeto:
- Como criar um fluxo de trabalho
- Duração do projeto:
- Duração padrão (3 meses)
Project description
Vou trabalhar na criação de uma documentação sobre "Como criar novos fluxos de trabalho de forma fácil e eficaz". Há algumas das etapas envolvidas nos fluxos de trabalho que são:
- Ler
- Pré-processamento
- Em processamento
- Pós-processamento
- Salvar/ação
- Monitoramento
Cada etapa pode envolver diversas tarefas, e uma infinidade de ações pode ser tomada após cada etapa, como cancelar o job se duas ou mais tarefas falharem em uma etapa ou executar novamente uma tarefa se ela falhar pelo menos duas vezes.
Outra parte dos fluxos de trabalho inclui a execução de dois ou mais jobs em paralelo e usar o resultado combinado deles para a próxima etapa.
Outro aspecto de um fluxo de trabalho é alertar o usuário caso algo dê errado, seja por correio, folga ou pager.
Também pretendo incluir algumas maneiras não triviais de uso de fluxos de trabalho, como para executar jobs de streaming em tempo real ao reiniciá-los em dados ausentes nos tópicos downstream do Kafka.
Trabalharei com mentores para tornar o escopo do projeto muito mais refinado e concluir as tarefas a partir daí.
Espero que os próximos meses sejam incríveis.