Dự án Apache Airflow

Trang này chứa thông tin chi tiết về một dự án viết nội dung kỹ thuật đã được chấp nhận tham gia Google Season of Docs.

Tóm tắt dự án

Tổ chức nguồn mở:
Apache Airflow
Người viết nội dung kỹ thuật:
kartik khare
Tên dự án:
Cách tạo quy trình công việc
Độ dài dự án:
Thời hạn tiêu chuẩn (3 tháng)

Mô tả dự án

Tôi sẽ làm việc tạo tài liệu về Cách tạo quy trình công việc mới một cách dễ dàng và hiệu quả. Có một số bước liên quan đến quy trình công việc, đó là:

  1. Đọc
  2. Xử lý trước
  3. Đang xử lý
  4. Xử lý hậu kỳ
  5. Lưu/Hành động
  6. Giám sát

Mỗi bước có thể bao gồm nhiều tác vụ và người dùng có thể thực hiện vô số thao tác sau mỗi bước, chẳng hạn như huỷ tác vụ nếu có 2 tác vụ trở lên không thành công trong một giai đoạn hoặc chạy lại một tác vụ nếu không thành công ít nhất 2 lần.

Một phần khác của quy trình công việc bao gồm việc thực thi song song 2 hoặc nhiều công việc, sau đó sử dụng kết quả kết hợp của các công việc đó cho giai đoạn tiếp theo.

Một khía cạnh khác của quy trình công việc là cảnh báo người dùng trong trường hợp có sự cố thông qua email, Slack hoặc nhiệm vụ gọi điện.

Tôi cũng dự định đưa vào một số cách không quan trọng để sử dụng quy trình công việc, chẳng hạn như chạy các công việc phát trực tuyến theo thời gian thực khi khởi động lại chúng trên bất kỳ dữ liệu nào bị thiếu trong các chủ đề Kafka xuôi dòng.

Tôi sẽ làm việc với các cố vấn để làm cho phạm vi của dự án được tinh chỉnh hơn và sau đó hoàn thành các nhiệm vụ từ đó.

Tôi rất mong chờ những tháng tới.