Apache Airflow 프로젝트

이 페이지에는 Google Season of Docs에 선정된 기술 문서 프로젝트의 세부정보가 포함되어 있습니다.

프로젝트 요약

오픈소스 조직:
Apache Airflow
기술 문서 작성자:
카르틱 카레
프로젝트 이름:
워크플로를 만드는 방법
프로젝트 길이:
표준 기간 (3개월)

Project description

새 워크플로를 쉽고 효과적으로 만드는 방법에 관한 문서를 작성하고 있습니다. 워크플로에는 다음과 같은 단계가 포함됩니다.

  1. 읽기
  2. 전처리
  3. 처리 중
  4. 후처리 중
  5. 저장/작업
  6. 모니터링

각 단계에는 여러 작업이 포함될 수 있으며 각 단계 후에 다양한 작업을 실행할 수 있습니다(예: 스테이지에서 2개 이상의 작업이 실패하면 작업을 중단하거나 작업이 2번 이상 실패하면 작업을 다시 실행).

워크플로의 다른 부분에는 2개 이상의 작업을 동시에 실행한 후 결합된 결과를 다음 단계에 활용하는 것이 포함됩니다.

워크플로의 또 다른 측면은 메일, Slack 또는 페이저 듀티를 통해 문제가 발생할 경우 사용자에게 알리는 것입니다.

또한 다운스트림 Kafka 주제에서 누락된 데이터가 있으면 실시간 스트리밍 작업을 다시 실행하는 등 워크플로를 사용할 수 있는 간단하지 않은 몇 가지 방법을 포함할 계획입니다.

멘토와 함께 프로젝트 범위를 더욱 세분화한 후 태스크를 완료할 예정입니다.

앞으로 몇 개월 동안 멋진 시간을 보내시길 바랍니다.