Analisar registros com o BigQuery

O BigQuery é uma ferramenta poderosa para fazer análises. Você pode usar esse serviço para armazenar registros de longo prazo e realizar consultas semelhantes a SQL nos dados. Para usar o BigQuery na análise, é necessário encaminhar explicitamente os registros para ele, conforme descrito na próxima seção.

Rotear registros para o BigQuery

  1. No Logs Explorer, crie um filtro que isole os logs do Fleet Engine: Fleetengine.googleapis.com/Fleet.
  2. No painel de resultados da consulta, clique no menu Ações ou Mais ações e escolha Criar coletor.
  3. Especifique um nome de coletor (por exemplo, FleetEngineLogsSink). Clique em Próximo.
  4. Em Destino do coletor, selecione Conjunto de dados do BigQuery.
  5. Em Selecionar conjunto de dados do BigQuery, clique em Criar novo conjunto de dados do BigQuery.
  6. Na caixa de diálogo Criar conjunto de dados, insira um ID do conjunto de dados.
  7. Deixe tudo como está e clique em Criar conjunto de dados.
  8. Marque Usar tabelas particionadas. Clique em Próximo.
  9. Deixe Escolher registros para incluir no coletor e Escolher registros para excluir do coletor como estão.
  10. Clique em Criar coletor.

Os registros vão começar a preencher o conjunto de dados do BigQuery, o que pode levar um tempo. Consulte também Rotear registros para destinos compatíveis.

Depois de encaminhar os dados de log para o BigQuery, várias tabelas no conjunto de dados FleetEngineLogs são preenchidas automaticamente, uma para cada tipo de log:

  • CreateVehicle
  • GetVehicle
  • ListVehicles
  • SearchVehicles
  • UpdateVehicle
  • CreateTrip
  • GetTrip
  • UpdateTrip
  • ListTrips

Os nomes das tabelas usam o seguinte padrão:

project_id.data_set.log_name

Por exemplo, se o projeto se chama test-project e o nome do conjunto de dados é FleetEngineLogs, a tabela CreateTrip tem o seguinte nome:

test-project.FleetEngineLogs.fleetengine_googleapis_com_create_trip

Exemplos de consultas para o BigQuery

Os exemplos de consulta a seguir mostram como você pode pesquisar diferentes entradas de log no BigQuery.

Número de registros CreateTrips agrupados por hora

    SELECT TIMESTAMP_TRUNC(timestamp, HOUR) as hour,
           count(*) as num_trips_created
    FROM
    `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_create_trip`
    GROUP BY hour
    ORDER by hour

Número de paradas por veículo por hora

    SELECT
      jsonpayload_v1_updatevehiclelog.request.vehicleid AS vehicle,
      TIMESTAMP_TRUNC(timestamp, HOUR) AS hour,
      COUNT(*) AS num_stops
    FROM
      `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_update__vehicle`
    WHERE
    ARRAY_LENGTH(jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments) > 0
    AND jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments[
    OFFSET
    (0)].stop.state = 'VEHICLE_STOP_STATE_LOG_ARRIVED'
    GROUP BY
    1,
    2
    ORDER BY
    2

Por exemplo, esta consulta poderia informar que na última hora:

  • O veículo A completou 10 paradas na hora 12 e 8 paradas na hora 13.
  • O veículo B completou 5 paradas na 11ª hora e 7 paradas na 12ª hora.
  • O veículo C concluiu 12 paradas na hora 13 e 9 paradas na hora 14.

Consulte também Conferir registros roteados para o BigQuery.

Integre o BigQuery com o Looker Studio.

O BigQuery pode ser integrado a ferramentas de Business Intelligence para criar dashboards para análise de negócios. Veja Looker Studio.

O exemplo a seguir mostra como criar um painel do Looker Studio para visualizar viagens e movimentações de veículos em um mapa.

  1. Abra um novo painel do Looker Studio e selecione BigQuery como a conexão de dados.
  2. Selecione Consulta personalizada e insira ou selecione manualmente o projeto do Cloud a que ele deve ser faturado.
  3. Insira uma das seguintes consultas na caixa de consulta.

Exemplo de consulta para viagens sob demanda

    SELECT
     timestamp,
     labels.vehicle_id,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.latitude AS lat,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.longitude AS lng
    FROM
    `ProjectId.TableName.fleetengine_googleapis_com_update_vehicle`

Exemplo de consulta de Tarefas Agendadas

    SELECT
    labels.delivery_vehicle_id,
    jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.longitude as lat, jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.latitude as lng
    FROM `ProjectID.TableName.fleetengine_googleapis_com_update_delivery_vehicle`
  1. Selecione Tipo de gráfico como mapa de círculos e escolha o campo local.
  2. Selecione Adicionar um campo.
  3. Nomeie o campo e adicione a seguinte fórmula: CONCAT(lat, ",", lng).
  4. Defina o tipo como Geográfico -> Latitude, Longitude.
  5. É possível adicionar controles ao painel para filtrar dados. Por exemplo, selecione o filtro Período.
  6. Edite a caixa de período para selecionar um período padrão.
  7. É possível adicionar outros controles de lista suspensa para vehicle_id. Com esses controles, é possível visualizar o movimento do veículo ou o movimento em uma viagem.

Exemplo de saída do Looker Studio:

Exemplo de saída do Looker Studio

A seguir

Para obedecer às políticas de retenção de dados, consulte Restringir a retenção de registros.