Proyecto de Apache Airflow

Esta página contiene los detalles de un proyecto de redacción técnica aceptado para la temporada de Documentos de Google.

Resumen del proyecto

Organización de código abierto:
Apache Airflow
Escritor técnico:
kartik khare
Nombre del proyecto:
Cómo crear un flujo de trabajo
Duración del proyecto:
Duración estándar (3 meses)

Project description

Trabajaré en la creación de documentación sobre cómo crear nuevos flujos de trabajo de manera fácil y efectiva. Hay algunos pasos involucrados en los flujos de trabajo

  1. Leer
  2. Procesamiento previo
  3. En proceso
  4. Procesamiento posterior
  5. Acción/Guardar
  6. Supervisión

Cada paso puede implicar varias tareas, y se pueden realizar varias acciones después de cada uno, como anular el trabajo si 2 o más tareas fallan en una etapa, o volver a ejecutar una tarea si falla por al menos 2 veces.

Otra parte de los flujos de trabajo incluye la ejecución de 2 o más trabajos en paralelo y, luego, utilizar su resultado combinado para la siguiente etapa.

Otro aspecto de un flujo de trabajo es alertar al usuario en caso de que algo salga mal, ya sea por correo electrónico, slack o el servicio de localizador.

También pienso incluir algunas formas no triviales en las que se puedan usar los flujos de trabajo, como ejecutar trabajos de transmisión en tiempo real o reiniciarlos en cualquier dato faltante en temas de Kafka descendentes.

Trabajaré con mentores para perfeccionar el alcance del proyecto y, a continuación, completar las tareas a partir de ese momento.

Espero con ansias los próximos meses increíbles.