Zarządzanie przypisaniem wideo w interfejsie Meet Media API

Po połączeniu z konferencją każde żądane audio jest natychmiast przesyłane i dostępne. Aby jednak odbierać wideo, klient musi najpierw zdefiniować obszary rysowania dla każdego strumienia wideo.

Obszary robocze pomagają Meet określić, w jaki sposób klient będzie korzystać ze strumienia wideo, określając jego rozdzielczość w pikselach (np. 1280 × 720), liczbę klatek na sekundę (FPS) i wybierając protokół przypisania. Protokół przypisywania określa, jak Meet ma wybierać strumienie wideo, gdy liczba uczestników jest większa niż liczba identyfikatorów SSRC.

Prośby o przypisanie filmu

Aby odbierać obraz, klienci najpierw wysyłają żądanie przypisania wideo przez kanał danych VideoAssignment, definiując obszary robocze dla wynegocjowanych strumieni wideo.

Wysyłanie prośby o projekt wideo za pomocą kanału danych projektu wideo.
Rysunek 1. Wysyłanie prośby o projekt wideo za pomocą kanału danych projektu wideo.

Gdy Meet otrzyma żądanie, zacznie wybierać „odpowiednie” filmy z uczestnikami na podstawie takich czynników jak:

  • Czy uczestnik mówi?
  • Czy uczestnik udostępnia ekran?
  • Czy uczestnik udostępnia ekran?

Następnie Meet przypisuje „najbardziej odpowiednich” uczestników do dostępnych strumieni SSRC wideo i rozpoczyna transmisję wideo, dopasowując parametry obszaru roboczego tak dokładnie, jak to możliwe.

Jeśli liczba uczestników konferencji przekracza liczbę SSRC, Meet będzie z czasem zastępować strumienie, aby dopasować je do najbardziej odpowiednich uczestników.

Serwery Meet odbierają żądania i przypisują strumienie wideo.
Rysunek 2. Serwery Meet odbierają żądania i przypisują strumienie wideo.

Po zastosowaniu żądania przypisania wideo Meet wysyła aktualizację zasobu przez VideoAssignment kanał danych. Ta aktualizacja obejmuje mapowanie SSRC na element canvas. Dzięki temu mapowaniu klienci mogą określić rozdzielczość i liczbę klatek na sekundę strumienia wideo dla każdego identyfikatora SSRC. Klient wie też, którego identyfikatora SSRC użyć, gdy szuka określonej rozdzielczości i liczby klatek na sekundę.

Prześlij aktualizację zasobu przez kanał danych przypisania filmu.
Rysunek 3. Prześlij aktualizację zasobu przez kanał danych przypisania filmu.

Uwagi

  • Meet decyduje o powiązaniu między SSRC a obszarem. Klient nie określa tego w żądaniu.

  • Meet nie przypisuje identyfikatorów SSRC w sposób deterministyczny. Nie zakładaj na przykład, że pierwszy SSRC to „najbardziej odpowiedni” uczestnik.

  • Klienci nie powinni żądać większej rozdzielczości niż potrzebują. Na przykład nie wysyłaj żądania dotyczącego filmu w rozdzielczości 1080p, jeśli Twój model używa tylko rozdzielczości 480p.

  • Nie zawsze można dopasować dokładną rozdzielczość.

  • Klienci nie powinni wysyłać zbyt wielu próśb o przypisanie filmów. Będą one ograniczane lub ignorowane.