이 페이지에는 Google Season of Docs에 선정된 기술 문서 프로젝트의 세부정보가 포함되어 있습니다.
프로젝트 요약
- 오픈소스 조직:
- Apache Airflow
- 기술 문서 작성자:
- 카르틱 카레
- 프로젝트 이름:
- 워크플로를 만드는 방법
- 프로젝트 길이:
- 표준 기간 (3개월)
Project description
새 워크플로를 쉽고 효과적으로 만드는 방법에 관한 문서를 작성하고 있습니다. 워크플로에는 다음과 같은 단계가 포함됩니다.
- 읽기
- 전처리
- 처리 중
- 후처리 중
- 저장/작업
- 모니터링
각 단계에는 여러 작업이 포함될 수 있으며 각 단계 후에 다양한 작업을 실행할 수 있습니다(예: 스테이지에서 2개 이상의 작업이 실패하면 작업을 중단하거나 작업이 2번 이상 실패하면 작업을 다시 실행).
워크플로의 다른 부분에는 2개 이상의 작업을 동시에 실행한 후 결합된 결과를 다음 단계에 활용하는 것이 포함됩니다.
워크플로의 또 다른 측면은 메일, Slack 또는 페이저 듀티를 통해 문제가 발생할 경우 사용자에게 알리는 것입니다.
또한 다운스트림 Kafka 주제에서 누락된 데이터가 있으면 실시간 스트리밍 작업을 다시 실행하는 등 워크플로를 사용할 수 있는 간단하지 않은 몇 가지 방법을 포함할 계획입니다.
멘토와 함께 프로젝트 범위를 더욱 세분화한 후 태스크를 완료할 예정입니다.
앞으로 몇 개월 동안 멋진 시간을 보내시길 바랍니다.