Zarządzanie przypisaniem wideo w interfejsie Meet Media API

Po połączeniu z konferencją każde żądane audio jest natychmiast przesyłane i dostępne. Aby jednak odbierać wideo, klient musi najpierw zdefiniować obszary rysowania dla każdego strumienia wideo.

Płótna pomagają Meet zrozumieć, jak klient będzie korzystać ze strumienia wideo, określając jego rozdzielczość w pikselach (np. 1280 × 720), liczbę klatek na sekundę (FPS) i wybierając protokół przypisania. Protokół przypisywania określa, jak Meet ma wybierać strumienie wideo, gdy liczba uczestników jest większa niż liczba identyfikatorów SSRC.

Prośby o przypisanie filmu

Aby odbierać wideo, klienci najpierw wysyłają żądanie przypisania wideo przez kanał danych VideoAssignment, określając obszary robocze dla wynegocjowanych strumieni wideo.

Wysyłanie żądania przypisania filmu przez kanał danych przypisania filmu.
Rysunek 1. Wysyłanie żądania przypisania filmu przez kanał danych przypisania filmu.

Gdy Meet otrzyma prośbę, zacznie wybierać „odpowiednie” filmy uczestników na podstawie takich czynników jak:

  • Czy uczestnik mówi?
  • Czy uczestnik udostępnia ekran?
  • Czy uczestnik udostępnia ekran?

Następnie Meet przypisuje „najbardziej odpowiednich” uczestników do dostępnych źródeł SSRC wideo i rozpoczyna transmisję wideo, dopasowując parametry obszaru roboczego tak dokładnie, jak to możliwe.

Jeśli liczba uczestników konferencji przekracza liczbę SSRC, Meet będzie z czasem zastępować strumienie, aby dopasować je do najbardziej odpowiednich uczestników.

Serwery Meet odbierają żądania i przypisują strumienie wideo.
Rysunek 2. Serwery Meet odbierają żądania i przypisują strumienie wideo.

Gdy Meet zastosuje żądanie przypisania filmu, wyśle aktualizację zasobu przez VideoAssignment kanał danych. Ta aktualizacja obejmuje mapowanie SSRC na element canvas. Dzięki temu mapowaniu klienci mogą określić rozdzielczość i liczbę klatek na sekundę strumienia wideo dla każdego identyfikatora SSRC. Klient wie też, którego identyfikatora SSRC użyć, gdy szuka określonej rozdzielczości i liczby klatek na sekundę.

Prześlij aktualizację zasobu przez kanał danych przypisania filmu.
Rysunek 3. Prześlij aktualizację zasobu przez kanał danych przypisania filmu.

Uwagi

  • Meet decyduje o powiązaniu między SSRC a obszarem. Klient nie określa tego w żądaniu.

  • Meet nie przypisuje źródeł SSRC w sposób deterministyczny. Nie zakładaj na przykład, że pierwszy SSRC to „najbardziej odpowiedni” uczestnik.

  • Klienci nie powinni prosić o rozdzielczość większą niż potrzebna. Na przykład nie wysyłaj żądania dotyczącego filmu w rozdzielczości 1080p, jeśli Twój model używa tylko rozdzielczości 480p.

  • Nie zawsze można dopasować dokładną rozdzielczość.

  • Klienci nie powinni wysyłać zbyt wielu próśb o przypisanie filmów. Będą one ograniczane lub ignorowane.