Halaman ini berisi detail project penulisan teknis yang diterima untuk Google Season Dokumen.
Ringkasan proyek
- Organisasi open source:
- Apache Airflow
- Penulis teknis:
- kartik khare
- Nama proyek:
- Cara membuat alur kerja
- Durasi proyek:
- Durasi standar (3 bulan)
Project description
Saya akan bekerja membuat dokumentasi tentang Cara membuat alur kerja baru dengan mudah dan efektif. Ada beberapa langkah yang terlibat dalam alur kerja yaitu -
- Dibaca
- Pra-pemrosesan
- Memproses
- Pasca-pemrosesan
- Simpan/Tindakan
- Monitoring
Setiap langkah dapat melibatkan beberapa tugas dan banyak tindakan dapat diambil setelah setiap langkah seperti membatalkan pekerjaan jika 2 atau lebih tugas gagal dalam satu tahap atau menjalankan kembali tugas jika gagal setidaknya 2 kali.
Bagian lain dari alur kerja ini termasuk menjalankan 2 tugas atau lebih secara paralel, lalu memanfaatkan hasil gabungannya untuk tahap berikutnya.
Aspek lain dari alur kerja adalah memberi tahu pengguna jika terjadi kesalahan baik melalui surat atau {i>slack <i}atau {i>pager duty<i}.
Saya juga berencana menyertakan beberapa cara yang tidak umum agar alur kerja dapat digunakan, seperti menjalankan tugas streaming real time saat memulai ulang tugas pada data yang hilang dalam topik Kafka downstream.
Saya akan bekerja dengan para mentor untuk membuat ruang lingkup proyek jauh lebih baik dan kemudian menyelesaikan tugas-tugas mulai dari situ.
Kami menantikan kehadiran Anda di beberapa bulan ke depan.