ניתוח יומנים באמצעות BigQuery

BigQuery הוא כלי אפקטיבי לביצוע ניתוח נתונים. אפשר להשתמש בו כדי לאחסן לטווח ארוך יותר ולבצע שאילתות דמויות SQL על הנתונים. כדי להשתמש ב- ב-BigQuery לניתוח, עליכם לנתב את היומנים באופן מפורש אל BigQuery, כמו בקטע הבא.

ניתוב יומנים ל-BigQuery

  1. ב-Logs Explorer, יוצרים מסנן בידוד של יומני Fleet Engine: Fleetengine.googleapis.com/Fleet.
  2. בחלונית התוצאות של השאילתה, לוחצים על פעולות או על פעולות נוספות. ובוחרים באפשרות יצירת Sink.
  3. מציינים שם sink (לדוגמה, FleetEngineLogsSink). לוחצים על Next.
  4. בקטע Sink Destination (יעד Sink), בוחרים את BigQuery dataset.
  5. בקטע Select BigQuery dataset, בוחרים באפשרות Create new BigQuery dataset (יצירת מערך נתונים חדש ב-BigQuery).
  6. בתיבת הדו-שיח Create dataset מזינים את המזהה Dataset ID.
  7. משאירים את כל השאר כפי שהוא ולוחצים על Create dataset.
  8. מסמנים את האפשרות שימוש בטבלאות מחולקות למחיצות. לוחצים על Next.
  9. משאירים את האפשרויות בחירת יומנים שייכללו ב-sink ובחירת יומנים לסינון sink כפי שהן.
  10. לוחצים על יצירת Sink.

היומנים אמורים להתחיל לאכלס את מערך הנתונים ב-BigQuery, ויכול להימשך בזמן קצר. ראו גם ניתוב יומנים ליעדים נתמכים.

אחרי שמעבירים את נתוני היומן ל-BigQuery, צריך לבצע מספר טבלאות מערך הנתונים FleetEngineLogs מאוכלס באופן אוטומטי, אחד לכל סוג יומן:

  • CreateVehicle
  • GetVehicle
  • ListVehicles
  • SearchVehicles
  • UpdateVehicle
  • CreateTrip
  • GetTrip
  • UpdateTrip
  • ListTrips

שמות הטבלאות מבוססים על הדפוס הבא:

project_id.data_set.log_name

לדוגמה, אם הפרויקט נקרא test-project ושם מערך הנתונים הוא FleetEngineLogs, הטבלה CreateTrip בעלת השם הבא:

test-project.FleetEngineLogs.fleetengine_googleapis_com_create_trip

שאילתות לדוגמה עבור BigQuery

השאילתות הבאות לדוגמה מראות איך אפשר לחפש רשומות שונות ביומן ב-BigQuery.

מספר יומני CreateTrips שמקובצים לפי שעה

    SELECT TIMESTAMP_TRUNC(timestamp, HOUR) as hour,
           count(*) as num_trips_created
    FROM
    `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_create_trip`
    GROUP BY hour
    ORDER by hour

מספר עצירות לרכב לשעה

    SELECT
      jsonpayload_v1_updatevehiclelog.request.vehicleid AS vehicle,
      TIMESTAMP_TRUNC(timestamp, HOUR) AS hour,
      COUNT(*) AS num_stops
    FROM
      `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_update__vehicle`
    WHERE
    ARRAY_LENGTH(jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments) > 0
    AND jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments[
    OFFSET
    (0)].stop.state = 'VEHICLE_STOP_STATE_LOG_ARRIVED'
    GROUP BY
    1,
    2
    ORDER BY
    2

לדוגמה, השאילתה הזו יכולה להראות לכם שבשעה האחרונה:

  • רכב א' הושלמו 10 עצירות בשעה 12 ו-8 עצירות בשעה 13.
  • רכב ב' השלים 5 עצירות בשעה 11 ו-7 עצירות בשעה 12.
  • רכב C הושלמו 12 עצירות בשעה 13 ו-9 עצירות בשעה 14.

מידע נוסף זמין גם במאמר הצגת יומנים שמנותבים אל BigQuery.

שילוב BigQuery עם Looker Studio

אפשר לשלב את BigQuery עם כלים של בינה עסקית (BI) כדי ליצור מרכזי בקרה לניתוח נתונים עסקיים. ראו Looker Studio.

בדוגמה הבאה תוכלו לראות איך ליצור מרכז בקרה של Looker Studio בשביל הצגת נסיעות ותנועת כלי רכב במפה.

  1. מפעילים מרכז בקרה חדש ב-Looker Studio ובוחרים BigQuery בתור חיבור הנתונים.
  2. בוחרים באפשרות Custom Query (שאילתה בהתאמה אישית) ומזינים באופן ידני את הפרויקט ב-Cloud או בוחרים אותו כדי לחיוב הזה.
  3. צריך להזין את אחת מהשאילתות הבאות בתיבת השאילתה.

שאילתה לדוגמה של נסיעות על פי דרישה

    SELECT
     timestamp,
     labels.vehicle_id,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.latitude AS lat,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.longitude AS lng
    FROM
    `ProjectId.TableName.fleetengine_googleapis_com_update_vehicle`

שאילתה לדוגמה של משימות מתוזמנות

    SELECT
    labels.delivery_vehicle_id,
    jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.longitude as lat, jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.latitude as lng
    FROM `ProjectID.TableName.fleetengine_googleapis_com_update_delivery_vehicle`
  1. בוחרים באפשרות סוג התרשים כמפת בועות ולאחר מכן בוחרים בשדה מיקום.
  2. בוחרים באפשרות הוספת שדה.
  3. נותנים שם לשדה ומוסיפים את הנוסחה הבאה: CONCAT(lat, ",", lng).
  4. מגדירים את הסוג כמיקום גיאוגרפי->קו רוחב, קו אורך.
  5. אפשר להוסיף פקדים ללוח הבקרה כדי לסנן נתונים. לדוגמה, בחר במסנן טווח התאריכים.
  6. עורכים את תיבת טווח התאריכים ובוחרים טווח תאריכים שיוגדר כברירת מחדל.
  7. אפשר להוסיף עוד פקדים ברשימה נפתחת עבור vehicle_id. ב- בפקדים האלה אפשר לראות באופן חזותי את תנועת הרכב תנועה בתוך הנסיעה.

הפלט לדוגמה של Looker Studio:

פלט לדוגמה של Looker Studio

המאמרים הבאים

כדי לעמוד בדרישות של מדיניות שמירת הנתונים, ראו הגבלת היומן שימור משתמשים.