Управление назначением видео в Meet Media API, Управление назначением видео в Meet Media API, Управление назначением видео в Meet Media API

После подключения к конференции любой запрошенный звук немедленно передается и становится доступным. Однако для получения видео клиент должен сначала определить холсты для каждого видеопотока.

Холсты помогают Meet понять, как ваш клиент будет использовать видеопоток, указывая его разрешение в пикселях (например, 1280 × 720), количество кадров в секунду (FPS) и выбирая протокол назначения. Протокол назначения определяет, как Meet должен выбирать видеопотоки, если участников больше, чем SSRC .

Запрос на задание видео

Чтобы получить видео, клиенты сначала отправляют запрос на назначение видео по каналу данных VideoAssignment , определяя холсты для согласованных видеопотоков.

Отправьте запрос назначения видео по каналу данных назначения видео.
Рисунок 1. Отправьте запрос назначения видео по каналу данных назначения видео.

Как только Meet получает запрос, он начинает выбирать «релевантные» видео участников на основе таких факторов, как:

  • Говорит ли участник?
  • Участник выступает?
  • Демонстрируется ли участник экраном?

Затем Meet сопоставляет «наиболее релевантных» участников с доступными SSRC видео и начинает передачу видео, максимально точно сопоставляя параметры холста.

Если количество участников конференции превышает количество SSRC, Meet со временем заменит потоки, чтобы подобрать наиболее подходящих участников.

Серверы Meet получают запросы и назначают видеопотоки.
Рисунок 2. Серверы Meet получают запросы и назначают видеопотоки.

После того как Meet применит запрос на назначение видео, он передает обновление ресурса по каналу данных VideoAssignment . Это обновление включает сопоставление SSRC с холстом. Используя это сопоставление, клиенты могут определить разрешение и частоту кадров видеопотока для каждого SSRC. И наоборот, клиент знает, какой SSRC использовать при поиске определенного разрешения и FPS.

Отправьте обновление ресурса по каналу данных назначения видео.
Рисунок 3. Отправьте обновление ресурса по каналу данных назначения видео.

Соображения

  • Meet определяет связь между SSRC и Canvas. Клиент не указывает это в запросе.

  • Meet не назначает SSRC детерминированным образом. Например, не думайте, что первый SSRC является «наиболее важным» участником.

  • Клиенты не должны запрашивать больше разрешения, чем им необходимо. Например, не запрашивайте видео 1080p, если ваша модель использует только 480p.

  • Сопоставление точных разрешений не всегда возможно.

  • Клиенты не должны отправлять чрезмерные запросы на назначение видео. Они будут ограничены или проигнорированы.

,

После подключения к конференции любой запрошенный звук немедленно передается и становится доступным. Однако для получения видео клиент должен сначала определить холсты для каждого видеопотока.

Холсты помогают Meet понять, как ваш клиент будет использовать видеопоток, указывая его разрешение в пикселях (например, 1280 × 720), количество кадров в секунду (FPS) и выбирая протокол назначения. Протокол назначения определяет, как Meet должен выбирать видеопотоки, если участников больше, чем SSRC .

Заявки на задание видео

Чтобы получить видео, клиенты сначала отправляют запрос на назначение видео по каналу данных VideoAssignment , определяя холсты для согласованных видеопотоков.

Отправьте запрос назначения видео по каналу данных назначения видео.
Рисунок 1. Отправьте запрос назначения видео по каналу данных назначения видео.

Как только Meet получает запрос, он начинает выбирать «релевантные» видео участников на основе таких факторов, как:

  • Говорит ли участник?
  • Участник выступает?
  • Демонстрируется ли участнику экран?

Затем Meet сопоставляет «самых релевантных» участников с доступными SSRC видео и начинает передачу видео, максимально точно сопоставляя параметры холста.

Если количество участников конференции превышает количество SSRC, Meet со временем заменит потоки, чтобы подобрать наиболее подходящих участников.

Серверы Meet получают запросы и назначают видеопотоки.
Рисунок 2. Серверы Meet получают запросы и назначают видеопотоки.

После того как Meet применит запрос на назначение видео, он передает обновление ресурса по каналу данных VideoAssignment . Это обновление включает сопоставление SSRC с холстом. Используя это сопоставление, клиенты могут определить разрешение и частоту кадров видеопотока для каждого SSRC. И наоборот, клиент знает, какой SSRC использовать при поиске определенного разрешения и FPS.

Отправьте обновление ресурса по каналу данных назначения видео.
Рисунок 3. Отправьте обновление ресурса по каналу данных назначения видео.

Соображения

  • Meet определяет связь между SSRC и Canvas. Клиент не указывает это в запросе.

  • Meet не назначает SSRC детерминированным образом. Например, не думайте, что первый SSRC является «наиболее важным» участником.

  • Клиенты не должны запрашивать больше разрешения, чем им необходимо. Например, не запрашивайте видео 1080p, если ваша модель использует только 480p.

  • Сопоставление точных разрешений не всегда возможно.

  • Клиенты не должны отправлять чрезмерные запросы на назначение видео. Они будут ограничены или проигнорированы.