Logs mit BigQuery analysieren

BigQuery ist ein leistungsstarkes Tool für Analysen. Sie können damit längerfristige Protokolle speichern und SQL-ähnliche Abfragen für die Daten ausführen. Wenn Sie BigQuery für die Analyse verwenden möchten, müssen Sie Ihre Protokolle wie im nächsten Abschnitt beschrieben explizit an BigQuery weiterleiten.

Logs an BigQuery weiterleiten

  1. Erstellen Sie im Log-Explorer einen Filter, mit dem die Fleet Engine-Protokolle isoliert werden: Fleetengine.googleapis.com/Fleet.
  2. Klicken Sie im Bereich Abfrageergebnisse auf das Menü Aktionen oder Weitere Aktionen und wählen Sie Senke erstellen aus.
  3. Geben Sie einen Senkennamen an, z. B. FleetEngineLogsSink. Klicken Sie auf Next.
  4. Wählen Sie unter Senkenziel die Option BigQuery-Dataset aus.
  5. Wählen Sie unter BigQuery-Dataset auswählen die Option Neues BigQuery-Dataset erstellen aus.
  6. Geben Sie im Dialogfeld Dataset erstellen eine Dataset-ID ein.
  7. Lassen Sie alles andere unverändert und klicken Sie auf Dataset erstellen.
  8. Setzen Sie ein Häkchen bei Partitionierte Tabellen verwenden. Klicken Sie auf Next.
  9. Lassen Sie die Einstellungen für Logs auswählen, die in der Senke enthalten sind und Auswählen zum Filtern aus der Senke unverändert.
  10. Klicken Sie auf Senke erstellen.

Die Logs sollten jetzt in das BigQuery-Dataset aufgenommen werden. Das kann einige Zeit dauern. Weitere Informationen finden Sie unter Logs an unterstützte Ziele weiterleiten.

Sobald Sie Protokolldaten an BigQuery weiterleiten, werden automatisch mehrere Tabellen unter dem Dataset FleetEngineLogs ausgefüllt, eine für jeden Protokolltyp:

  • CreateVehicle
  • GetVehicle
  • ListVehicles
  • SearchVehicles
  • UpdateVehicle
  • CreateTrip
  • GetTrip
  • UpdateTrip
  • ListTrips

Die Tabellennamen haben folgendes Muster:

project_id.data_set.log_name

Wenn das Projekt beispielsweise test-project heißt und der Dataset-Name FleetEngineLogs ist, hat die Tabelle CreateTrip den folgenden Namen:

test-project.FleetEngineLogs.fleetengine_googleapis_com_create_trip

Beispielabfragen für BigQuery

In den folgenden Beispielabfragen wird gezeigt, wie Sie in BigQuery nach verschiedenen Logeinträgen suchen können.

Anzahl der CreateTrips-Protokolle, gruppiert nach Stunde

    SELECT TIMESTAMP_TRUNC(timestamp, HOUR) as hour,
           count(*) as num_trips_created
    FROM
    `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_create_trip`
    GROUP BY hour
    ORDER by hour

Anzahl der Haltestellen pro Fahrzeug und Stunde

    SELECT
      jsonpayload_v1_updatevehiclelog.request.vehicleid AS vehicle,
      TIMESTAMP_TRUNC(timestamp, HOUR) AS hour,
      COUNT(*) AS num_stops
    FROM
      `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_update__vehicle`
    WHERE
    ARRAY_LENGTH(jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments) > 0
    AND jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments[
    OFFSET
    (0)].stop.state = 'VEHICLE_STOP_STATE_LOG_ARRIVED'
    GROUP BY
    1,
    2
    ORDER BY
    2

Mit dieser Abfrage können Sie beispielsweise Folgendes herausfinden:

  • Fahrzeug A hat in Stunde 12 zehn Haltestellen und in Stunde 13 acht Haltestellen angefahren.
  • Fahrzeug B hat in Stunde 11 fünf Haltestellen und in Stunde 12 sieben Haltestellen angefahren.
  • Fahrzeug C hat in Stunde 13 zwölf Haltestellen und in Stunde 14 neun Haltestellen angefahren.

Weitere Informationen finden Sie unter An BigQuery weitergeleitete Logs ansehen.

BigQuery in Looker Studio einbinden

BigQuery kann in Business Intelligence-Tools eingebunden werden, um Dashboards für die Geschäftsanalyse zu erstellen. Weitere Informationen finden Sie unter Looker Studio.

Im folgenden Beispiel wird gezeigt, wie Sie ein Looker Studio-Dashboard zum Visualisieren von Fahrten und Fahrzeugbewegungen auf einer Karte erstellen.

  1. Öffnen Sie ein neues Looker Studio-Dashboard und wählen Sie BigQuery als Datenverbindung aus.
  2. Wählen Sie Benutzerdefinierte Abfrage aus und geben Sie das Cloud-Projekt manuell ein oder wählen Sie es aus, dem die Kosten in Rechnung gestellt werden sollen.
  3. Geben Sie eine der folgenden Abfragen in das Abfragefeld ein.

Beispielabfrage für Fahrten auf Abruf

    SELECT
     timestamp,
     labels.vehicle_id,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.latitude AS lat,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.longitude AS lng
    FROM
    `ProjectId.TableName.fleetengine_googleapis_com_update_vehicle`

Beispielabfrage für geplante Aufgaben

    SELECT
    labels.delivery_vehicle_id,
    jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.longitude as lat, jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.latitude as lng
    FROM `ProjectID.TableName.fleetengine_googleapis_com_update_delivery_vehicle`
  1. Wählen Sie Diagrammtyp als Karte mit Blasen und dann das Feld Standort aus.
  2. Wählen Sie Feld hinzufügen aus.
  3. Geben Sie einen Namen für das Feld ein und fügen Sie die folgende Formel hinzu: CONCAT(lat, ",", lng).
  4. Legen Sie den Typ auf Standort -> Breitengrad, Längengrad fest.
  5. Sie können dem Dashboard Steuerelemente hinzufügen, um Daten zu filtern. Wählen Sie beispielsweise den Filter Zeitraum aus.
  6. Bearbeiten Sie das Feld für den Zeitraum, um einen Standardzeitraum auszuwählen.
  7. Sie können für vehicle_id zusätzliche Drop-down-Listen hinzufügen. Mit diesen Steuerelementen können Sie die Bewegung des Fahrzeugs oder die Bewegung innerhalb einer Fahrt visualisieren.

Beispielausgabe in Looker Studio:

Looker Studio-Beispielausgabe

Nächste Schritte

Informationen zur Einhaltung der Datenaufbewahrungsrichtlinien finden Sie unter Aufbewahrung von Protokollen einschränken.