Project Apache Airflow

Halaman ini berisi detail project penulisan teknis yang diterima untuk Google Season of Docs.

Ringkasan project

Organisasi open source:
Apache Airflow
Penulis teknis:
kartik khare
Nama project:
Cara membuat alur kerja
Durasi project:
Durasi standar (3 bulan)

Project description

Saya akan membuat dokumentasi terkait Cara membuat alur kerja baru dengan mudah dan efektif. Ada beberapa langkah yang terlibat dalam alur kerja yaitu -

  1. Baca
  2. Prapemrosesan
  3. Memproses
  4. Pasca-pemrosesan
  5. Simpan/Tindakan
  6. Pemantauan

Setiap langkah dapat melibatkan beberapa tugas dan banyak tindakan dapat dilakukan setelah setiap langkah seperti membatalkan tugas jika 2 tugas atau lebih gagal dalam suatu tahap atau menjalankan ulang tugas jika gagal setidaknya 2 kali.

Bagian lain dari alur kerja mencakup menjalankan 2 tugas atau lebih secara paralel, lalu menggunakan hasil gabungannya untuk tahap berikutnya.

Aspek lain dari alur kerja adalah memberi tahu pengguna jika terjadi masalah melalui email atau slack atau tugas pager.

Saya juga berencana menyertakan beberapa cara non-trivial dalam penggunaan alur kerja seperti menjalankan tugas streaming real-time saat memulai ulang tugas tersebut pada data yang hilang di topik Kafka downstream.

Saya akan bekerja sama dengan mentor untuk membuat cakupan project menjadi lebih baik, lalu menyelesaikan tugas-tugas dari sana.

Kami menantikan beberapa bulan ke depan yang luar biasa.