Управление назначением видео в Meet Media API

После подключения к конференции любой запрошенный аудиопоток немедленно передается и становится доступным. Однако для приема видео клиенту необходимо сначала определить холсты для каждого видеопотока.

Холсты помогают Meet понять, как ваш клиент будет обрабатывать видеопоток, указывая его разрешение в пикселях (например, 1280 × 720), количество кадров в секунду (FPS) и выбирая протокол назначения. Протокол назначения определяет, как Meet должен выбирать видеопотоки, когда участников больше, чем SSRC .

Запросы на видеосъемку

Для получения видеоконтента клиенты сначала отправляют запрос на назначение видеопотока по каналу передачи данных VideoAssignment , определяя области для согласованных видеопотоков.

Отправьте запрос на видеозадание по каналу передачи данных для видеозаданий.
Рисунок 1. Отправьте запрос на назначение видео по каналу передачи данных о назначении видео.

После получения запроса Meet начинает отбирать «релевантные» видеоролики участников , основываясь на таких факторах, как:

  • Участник говорит?
  • Участник выступает с презентацией?
  • Участник демонстрирует свой экран?

Затем Meet сопоставляет «наиболее подходящих» участников с доступными видео SSRC и начинает передачу видео, максимально точно согласовывая параметры холста.

Если количество участников конференции превышает количество SSRC, Meet будет со временем заменять потоки, чтобы подобрать наиболее подходящих участников.

Серверы Meet получают запросы и назначают видеопотоки.
Рисунок 2. Серверы Meet получают запросы и назначают видеопотоки.

После того, как Meet применит запрос на назначение видео, он отправит обновление ресурса по каналу данных VideoAssignment . Это обновление включает сопоставление SSRC с холстом. Используя это сопоставление, клиенты могут определить разрешение и частоту кадров видеопотока для каждого SSRC. И наоборот, клиент знает, какой SSRC использовать при поиске определенного разрешения и частоты кадров.

Отправьте обновление ресурсов по каналу передачи данных о видеозаданиях.
Рисунок 3. Отправка обновления ресурса по каналу передачи данных о назначении видео.

Соображения

  • Meet определяет связь между SSRC и canvas. Клиент не указывает это в запросе.

  • Meet не присваивает SSRC детерминированным образом. Например, не следует предполагать, что первый SSRC является «наиболее релевантным» участником.

  • Клиентам не следует запрашивать разрешение выше необходимого. Например, не следует запрашивать видео в разрешении 1080p, если ваша модель использует только 480p.

  • Точное совпадение разрешений не всегда возможно.

  • Клиентам не следует отправлять чрезмерное количество запросов на видеосъемку. Такие запросы будут блокироваться или игнорироваться.