Proyecto de Apache Airflow

Esta página contiene los detalles de un proyecto de redacción técnica aceptado para la GDOC Season of Docs.

Resumen del proyecto

Organización de código abierto:
Apache Airflow
Redactor técnico:
kartik khare
Nombre del proyecto:
Cómo crear un flujo de trabajo
Duración del proyecto:
Duración estándar (3 meses)

Project description

Trabajaré en la creación de documentación para Cómo crear flujos de trabajo nuevos de forma fácil y eficaz. Estos son algunos de los pasos involucrados en los flujos de trabajo:

  1. Leer
  2. Procesamiento previo
  3. Procesando
  4. Procesamiento posterior
  5. Guardar/Acción
  6. Supervisión

Cada paso puede incluir varias tareas y se pueden realizar muchas acciones después de cada paso, como abortar el trabajo si 2 o más tareas fallan en una etapa o volver a ejecutar una tarea si falla al menos 2 veces.

Otra parte de los flujos de trabajo incluye ejecutar 2 o más trabajos en paralelo y, luego, usar su resultado combinado para la siguiente etapa.

Otro aspecto de un flujo de trabajo es alertar al usuario en caso de que algo salga mal, ya sea por correo electrónico, Slack o un servicio de buscapersonas.

También planeo incluir algunas formas no triviales de usar los flujos de trabajo, como ejecutar trabajos de transmisión en tiempo real cuando se reinicien los datos faltantes en los temas descendentes de Kafka.

Trabajaré con mentores para definir mejor el alcance del proyecto y, a partir de ese momento, completaré las tareas.

Espero que los próximos meses sean increíbles.