פרויקט Apache Airflow

דף זה מכיל את הפרטים של פרויקט כתיבה טכנית שהתקבל בעונה של Google Docs.

סיכום הפרויקט

ארגון הקוד הפתוח:
Apache Airflow
כתב טכני:
קארטיק חארה
שם הפרויקט:
איך יוצרים תהליך עבודה מסוים
אורך הפרויקט:
אורך רגיל (3 חודשים)

תיאור הפרויקט

אעבוד על יצירת תיעוד שיסביר איך ליצור תהליכי עבודה חדשים בקלות וביעילות. בתהליכי העבודה יש כמה מהשלבים הבאים:

  1. קריאה
  2. עיבוד מראש
  3. מתבצע עיבוד
  4. עיבוד הפוסט
  5. שמירה/פעולה
  6. מעקב

כל שלב יכול לכלול כמה משימות, ואפשר לבצע הרבה פעולות אחרי כל שלב, כמו ביטול המשימה אם 2 משימות או יותר נכשלות באותו שלב או הרצה מחדש של משימה אם היא נכשלת לפחות פעמיים.

חלק מתהליכי העבודה כוללים ביצוע שתי משימות או יותר במקביל ושימוש בתוצאה המשולבת לשלב הבא.

היבט נוסף של תהליך עבודה הוא להתריע בפני המשתמש במקרה של תקלה בדואר, עקב אי-פעילות או לצורך זימונית.

אני מתכנן גם לכלול כמה דרכים לא מהותיות שבהן ניתן להשתמש בתהליכי עבודה, כמו להריץ משימות של סטרימינג בזמן אמת ולהפעיל אותן מחדש לגבי נתונים חסרים בנושאי קפקא במורד הזרם.

אני אעבוד עם מנטורים כדי לשפר את היקף הפרויקט ואז אסיים את המשימות משם והלאה.

צפויים עוד כמה חודשים מדהימים.