Halaman ini berisi detail project penulisan teknis yang diterima untuk Google Season of Docs.
Ringkasan project
- Organisasi open source:
- Apache Airflow
- Penulis teknis:
- kartik khare
- Nama project:
- Cara membuat alur kerja
- Durasi project:
- Durasi standar (3 bulan)
Project description
Saya akan membuat dokumentasi terkait Cara membuat alur kerja baru dengan mudah dan efektif. Ada beberapa langkah yang terlibat dalam alur kerja yaitu -
- Baca
- Prapemrosesan
- Memproses
- Pasca-pemrosesan
- Simpan/Tindakan
- Pemantauan
Setiap langkah dapat melibatkan beberapa tugas dan banyak tindakan dapat dilakukan setelah setiap langkah seperti membatalkan tugas jika 2 tugas atau lebih gagal dalam suatu tahap atau menjalankan ulang tugas jika gagal setidaknya 2 kali.
Bagian lain dari alur kerja mencakup menjalankan 2 tugas atau lebih secara paralel, lalu menggunakan hasil gabungannya untuk tahap berikutnya.
Aspek lain dari alur kerja adalah memberi tahu pengguna jika terjadi masalah melalui email atau slack atau tugas pager.
Saya juga berencana menyertakan beberapa cara non-trivial dalam penggunaan alur kerja seperti menjalankan tugas streaming real-time saat memulai ulang tugas tersebut pada data yang hilang di topik Kafka downstream.
Saya akan bekerja sama dengan mentor untuk membuat cakupan project menjadi lebih baik, lalu menyelesaikan tugas-tugas dari sana.
Kami menantikan beberapa bulan ke depan yang luar biasa.