Типы данных и семантические типы

При создании коннектора сообщества каждое поле, определяемое в схеме, требует типа данных. Тип данных определяет примитивный тип поля, например BOOLEAN , STRING , NUMBER и т. д.

Помимо типов данных, Looker Studio также использует семантические типы. Семантические типы помогают описать тип информации, которую представляют данные. Например, поле с типом данных NUMBER может семантически представлять сумму или процент в валюте, а поле с типом данных STRING — город. Чтобы узнать, какие семантические типы доступны, обратитесь к документации по семантическим типам.

Схема Community Connector и поля Looker Studio

При определении схемы для коннектора сообщества для каждого поля предусмотрены различные свойства, которые определяют, как поле будет представлено и использовано в Looker Studio. Например:

• Тип понятия (conceptType) определяется в схеме коннектора с помощью свойства conceptType . Это свойство определяет, рассматривается ли поле как измерение или метрика. Объяснение разницы между метриками и измерениями можно найти в разделе «Измерения и метрики».
• Семантический тип может быть определён в схеме коннектора или автоматически определён Looker Studio на основе свойства типа данных , определённого в коннекторе, и значений данных, возвращаемых коннектором. Подробнее о том, как это работает, см. в разделе «Автоматическое определение семантического типа» .
• Тип агрегации определяет, можно ли повторно агрегировать значения метрик (измерения игнорируются). Если свойству semantics.isReaggregatable присвоено значение true , по умолчанию будет использоваться агрегация SUM , в противном случае — Auto . Вы также можете вручную задать тип агрегации по умолчанию для повторно агрегируемых полей с помощью свойства defaultAggregationType .

При настройке и подключении с помощью коннектора в Looker Studio редактор полей отображает полную схему коннектора на основе указанных выше свойств. Если вы указали семантические типы, они будут отображаться так, как вы их определили. Если вы используете автоматическое определение семантических типов , поля будут отображаться так, как они были определены.

Примечание: Свойства схемы, определённые в вашем коннекторе сообщества, фактически используются в качестве настроек по умолчанию при создании пользователями источника данных. Пользователь может переопределить любые свойства, за исключением типа агрегации, если для него задано значение «Авто» .

Установка семантической информации

Существует два способа задать семантическую информацию. Вы можете задать семантику полей вручную или доверить её автоматическое определение Looker Studio.

Например, если у вас есть число, которое семантически представляет доллары США, Looker Studio не сможет автоматически определить этот семантический тип. Кроме того, для автоматического определения семантического типа Looker Studio необходимо выполнить вызовы выборки данных для каждого поля вашей схемы. Если вы укажете схему вручную, вызовы выборки данных выполняться не будут. Если вам известен семантический тип данных (например, валюта, процент, дата и т. д.), мы рекомендуем явно указать его в схеме для повышения точности и производительности.

Ручная настройка семантических типов (рекомендуется)

Если вы знаете свои семантические типы, вы можете вручную определить semantics для каждого поля схемы. Полную информацию о доступных вам свойствах можно найти на странице справки по полям . Если вы решили определить семантические типы вручную, рекомендуется определить semanticType и semanticGroup для каждого поля. При указании этих свойств вручную процесс автоматического определения семантического типа не будет запущен. Если вы вручную зададите некоторые поля, но не все, то для полей, которые вы не укажете, по умолчанию будут использоваться значения Text , Number или Boolean в зависимости от dataType указанного для поля.

Ниже приведён пример простой схемы, которая вручную задаёт семантические типы. Income задаётся как валюта, а Filing Year — как дата.

data-studio/semantics.gs

Посмотреть на GitHub

var schema = [
  {
    'name': 'Income',
    'label': 'Income (in USD)',
    'dataType': 'NUMBER',
    'semantics': {
      'conceptType': 'METRIC',
      'semanticGroup': 'CURRENCY',
      'semanticType': 'CURRENCY_USD'
    }
  }, {
    'name': 'Filing Year',
    'label': 'Year in which you filed the taxes.',
    'dataType': 'STRING',
    'semantics': {
      'conceptType': 'METRIC',
      'semanticGroup': 'DATE_OR_TIME',
      'semanticType': 'YEAR'
    }
  }
];

Устранение неполадок с ручными семантическими типами

Если вы неправильно зададите семантические типы для базовых данных, они не будут работать корректно. Это может быть сложно проверить, но есть несколько способов выявить проблемы.

1. Возвращайте 2 или 3 строки из ваших данных вместо всех, а затем вручную проверяйте их.
2. Создайте в Looker Studio таблицу, которая будет использовать только то поле, которое вы пытаетесь проверить.
3. Обратите особое внимание на поля Geo и Date , поскольку они имеют самый строгий формат.

Автоматическое определение семантического типа

Если вы не определили какие-либо семантические типы в своей схеме, то Looker Studio попытается автоматически определить их на основе свойства типа данных и формата значений данных, возвращаемых вашим коннектором.

Примечание: Автоматическое определение семантического типа выполняется только в том случае, если не найдено ни одного поля с semanticType и только при создании нового источника данных или изменении схемы существующего источника данных.

Этапы процесса автоматического обнаружения следующие:

1. Запросите схему, выполнив функцию getSchema вашего коннектора сообщества.
2. Пройдите по пакетам полей, определённых в схеме коннектора, и выполните запросы getData к этим полям. Запросы getData выполняются с параметром sampleExtraction , установленным в true , что указывает на то, что запросы данных предназначены для семантического определения.
3. На основе типа данных поля и формата значения, возвращаемого запросом getData , определите семантический тип поля.

Внимание: Автоматическое определение семантического типа не может корректно определить все семантические типы для вашей схемы. Оно может определить только семантические типы времени/даты и геосемантические типы.

Варианты обработки автоматического определения семантического типа

Когда Looker Studio выполняет функцию getData коннектора сообщества для семантического определения, входящий запрос будет содержать свойство sampleExtraction , которому будет присвоено значение true . Данные, возвращаемые вашим коннектором, используются Looker Studio только для определения семантического типа поля. Поскольку это значение не будет использоваться для каких-либо других целей, оно не требует фактических данных из вашего внешнего источника.

Существует несколько способов улучшить определение семантического типа в вашем коде:

• Рекомендуется: передавать предопределенные значения
  Возвращает предопределённое значение для каждого поля, которое наилучшим образом отражает семантический тип поля и которое, как известно, корректно определяется Looker Studio. Например, если семантический тип поля — «Страна» , то для Италии возвращается значение, например, IT . Другое преимущество такого подхода заключается в том, что он гораздо быстрее, поскольку не требует HTTP-запросов к стороннему сервису для получения данных.

• Возвращает только n записей
  Если сторонний сервис, из которого вы получаете данные, поддерживает ограничение количества строк при запросе данных, возвращайте в Looker Studio лишь небольшое подмножество строк вместо полного набора данных. Это ограничит объём данных, передаваемых в Looker Studio для каждого запроса на семантическое определение.

• Запросить все столбцы и кэшировать ответ
  Если возможно запросить все столбцы для стороннего сервиса, из которого вы извлекаете данные, то при первом запросе на семантическое распознавание, полученном от Looker Studio, извлеките все столбцы и кэшируйте результаты. Для последующих запросов на семантическое распознавание извлекайте значения столбцов из кэша вместо отправки дополнительных HTTP-запросов к стороннему сервису.

• Не делай ничего другого
  Вы можете не применять специальные настройки для запросов, где sampleExtraction установлен в true . Это замедлит процесс семантического определения, поскольку Looker Studio придётся извлекать все данные для этого процесса. Кроме того, это повлияет на частоту запросов к внешнему источнику данных, поскольку многие запросы на семантическое определение будут выполняться параллельно.

Распознанные форматы для автоматического определения семантического типа

Дата и время

• YYYY/MM/DD-HH:MM:SS
• YYYY-MM-DD [HH:MM:SS[.uuuuuu]]
• YYYY/MM/DD [HH:MM:SS[.uuuuuu]]
• YYYYMMDD [HH:MM:SS[.uuuuuu]]
• Sat, 24 May 2008 20:09:47 GMT
• 2008-05-24T20:09:47Z
• Время: эпоха для секунд, микро, милли и нано.

Гео

• Название или код континента
• Название или код субконтинента
• Название или код региона
• Название или код страны . См. также ISO_3166-1 .
• Название города
• Значение широты и долготы, разделенное запятой
• Название и код выделенной маркетинговой зоны (DMA)