Dự án Apache Airflow

Trang này chứa thông tin chi tiết về một dự án viết kỹ thuật được chấp nhận cho Phần Google Tài liệu.

Tóm tắt dự án

Tổ chức nguồn mở:
Luồng Airflow
Người viết nội dung kỹ thuật:
khare kartik
Tên dự án:
Cách tạo quy trình công việc
Thời lượng dự án:
Thời gian tiêu chuẩn (3 tháng)

Mô tả dự án

Tôi sẽ soạn tài liệu về Cách tạo quy trình làm việc mới dễ dàng và hiệu quả. Quy trình công việc có một số bước như sau:

  1. Đã đọc
  2. Trước khi xử lý
  3. Đang xử lý
  4. Xử lý hậu kỳ
  5. Lưu/Hành động
  6. Giám sát

Mỗi bước có thể liên quan đến nhiều tác vụ và vô số hành động có thể được thực hiện sau mỗi bước, chẳng hạn như huỷ công việc nếu 2 hoặc nhiều tác vụ bị lỗi trong một giai đoạn hoặc chạy lại một tác vụ nếu không thành công trong ít nhất 2 lần.

Một phần khác của quy trình làm việc bao gồm thực hiện song song 2 công việc trở lên, sau đó sử dụng kết quả kết hợp của chúng cho giai đoạn tiếp theo.

Một khía cạnh khác của quy trình làm việc là cảnh báo cho người dùng trong trường hợp có sự cố thông qua thư, tình trạng chậm hoặc khi máy nhắn tin.

Tôi cũng dự định áp dụng một số cách đơn giản để sử dụng quy trình công việc, chẳng hạn như chạy các công việc phát trực tuyến theo thời gian thực sau khi khởi động lại chúng đối với bất kỳ dữ liệu nào bị thiếu trong các chủ đề Kafka tiếp theo.

Tôi sẽ làm việc với các cố vấn để làm cho phạm vi của dự án hoàn thiện hơn nhiều và sau đó hoàn thành các nhiệm vụ từ đó.

Hãy cùng chờ đón những tháng tuyệt vời trong tương lai.