Zarządzanie przypisaniem wideo w interfejsie Meet Media API

Po połączeniu z konferencją każde żądane audio jest natychmiast przesyłane i dostępne. Aby jednak odbierać wideo, klient musi najpierw zdefiniować obszary renderowania dla każdego strumienia wideo.

Obszary robocze pomagają Meet zrozumieć, w jaki sposób klient będzie korzystać ze strumienia wideo, określając jego rozdzielczość w pikselach (np. 1280 × 720), liczbę klatek na sekundę (FPS) i wybierając protokół przypisania. Protokół przypisywania określa, jak Meet ma wybierać strumienie wideo, gdy liczba uczestników jest większa niż liczba identyfikatorów SSRC.

Prośby o przypisanie filmu

Aby odbierać obraz, klienci najpierw wysyłają żądanie przypisania wideo przez kanał danych VideoAssignment, definiując obszary robocze dla wynegocjowanych strumieni wideo.

Wysyłanie prośby o projekt wideo za pomocą kanału danych projektu wideo.
Rysunek 1. Wysyłanie prośby o projekt wideo za pomocą kanału danych projektu wideo.

Gdy Meet otrzyma żądanie, zacznie wybierać „odpowiednie” filmy z uczestnikami na podstawie takich czynników jak:

  • Czy uczestnik mówi?
  • Czy uczestnik prezentuje?
  • Czy uczestnik udostępnia ekran?

Następnie Meet przypisuje „najbardziej odpowiednich” uczestników do dostępnych strumieni SSRC wideo i rozpoczyna transmisję wideo, dopasowując parametry obszaru roboczego tak dokładnie, jak to możliwe.

Jeśli liczba uczestników konferencji przekracza liczbę SSRC, Meet będzie stopniowo zastępować strumienie, aby dopasować je do najbardziej odpowiednich uczestników.

Serwery Meet odbierają żądania i przypisują strumienie wideo.
Rysunek 2. Serwery Meet odbierają żądania i przypisują strumienie wideo.

Gdy Meet zastosuje żądanie przypisania filmu, wyśle aktualizację zasobu przez VideoAssignment kanał danych. Ta aktualizacja obejmuje mapowanie SSRC na obszar roboczy. Dzięki temu mapowaniu klienci mogą określić rozdzielczość i liczbę klatek na sekundę strumienia wideo dla każdego identyfikatora SSRC. Z drugiej strony klient wie, którego identyfikatora SSRC użyć, gdy szuka określonej rozdzielczości i liczby klatek na sekundę.

Prześlij aktualizację zasobu przez kanał danych przypisania filmu.
Rysunek 3. Prześlij aktualizację zasobu przez kanał danych przypisania filmu.

Uwagi

  • Meet decyduje o powiązaniu między SSRC a obszarem. Klient nie określa tego w żądaniu.

  • Meet nie przypisuje źródeł SSRC w sposób deterministyczny. Nie zakładaj na przykład, że pierwszy SSRC to „najbardziej odpowiedni” uczestnik.

  • Klienci nie powinni prosić o rozdzielczość większą niż potrzebna. Na przykład nie wysyłaj żądania dotyczącego filmu w rozdzielczości 1080p, jeśli Twój model używa tylko rozdzielczości 480p.

  • Nie zawsze można dopasować dokładną rozdzielczość.

  • Klienci nie powinni wysyłać zbyt wielu próśb o przypisanie filmów. Będą one ograniczane lub ignorowane.