โปรเจ็กต์ Apache Airflow

หน้านี้มีรายละเอียดของโครงการการเขียนเชิงเทคนิคที่ยอมรับสำหรับ Google Season of Docs

ข้อมูลสรุปของโปรเจ็กต์

องค์กรโอเพนซอร์ส:
Apache Airflow
ผู้เขียนด้านเทคนิค:
kartik khare
ชื่อโปรเจ็กต์:
วิธีสร้างเวิร์กโฟลว์
ระยะเวลาของโปรเจ็กต์:
ระยะเวลามาตรฐาน (3 เดือน)

คำอธิบายโปรเจ็กต์

ฉันจะพยายามจัดทำเอกสารประกอบเกี่ยวกับวิธีสร้างเวิร์กโฟลว์ใหม่ได้อย่างง่ายดายและมีประสิทธิภาพ ขั้นตอนในเวิร์กโฟลว์นั้นประกอบด้วย

  1. อ่านแล้ว
  2. ก่อนการประมวลผล
  3. กำลังประมวลผล
  4. หลังการประมวลผล
  5. บันทึก/การทำงาน
  6. Monitoring

แต่ละขั้นตอนอาจมีงานหลายอย่างที่สามารถดำเนินการหลังแต่ละขั้นตอน เช่น ล้มเลิกงานในกรณีที่งาน 2 งานขึ้นไปล้มเหลวในขั้นตอน หรือเรียกใช้งานอีกครั้งหากทำไม่สำเร็จอย่างน้อย 2 ครั้ง

ส่วนอื่นๆ ของเวิร์กโฟลว์ประกอบด้วยการเรียกใช้งาน 2 งานขึ้นไปพร้อมกัน จากนั้นใช้ผลลัพธ์รวมของงานเหล่านั้นในขั้นตอนถัดไป

อีกแง่มุมหนึ่งของเวิร์กโฟลว์คือการแจ้งเตือนผู้ใช้ในกรณีที่มีสิ่งผิดปกติเกิดขึ้น ไม่ว่าจะผ่านจดหมายหรือหน้าที่สอดแนมหรือเพจเจอร์

นอกจากนี้ เรายังวางแผนที่จะรวมวิธีการที่ไม่สำคัญซึ่งใช้เวิร์กโฟลว์ได้ เช่น การเรียกใช้งานสตรีมมิงแบบเรียลไทม์เมื่อรีสตาร์ทงานในข้อมูลที่หายไปในหัวข้อ Kafka ที่ปลายทาง

ฉันจะร่วมมือกับที่ปรึกษาเพื่อปรับปรุงขอบเขตของโปรเจ็กต์ให้ละเอียดขึ้น แล้วทำงานต่อๆ ไปให้เสร็จสิ้น

เราหวังว่าจะได้พบอะไรดีๆ ในอีก 2-3 เดือนข้างหน้า