Videozuweisung in der Meet Media API verwalten

Sobald Sie mit einer Konferenz verbunden sind, wird jegliches angeforderte Audio sofort übertragen und ist verfügbar. Damit der Client jedoch Video empfangen kann, muss er zuerst Canvases für jeden Videostream definieren.

Canvasse helfen Meet zu verstehen, wie Ihr Kunde einen Videostream nutzt. Dazu geben Sie die Auflösung in Pixeln (z. B. 1280 × 720) und die Anzahl der Bilder pro Sekunde (FPS) an und wählen ein Zuweisungsprotokoll aus. Das Zuweisungsprotokoll gibt an, wie Meet Videostreams auswählen soll, wenn es mehr Teilnehmer als SSRCs gibt.

Anfragen zur Videozuweisung

Um Video zu empfangen, senden Clients zuerst eine Videozuweisungsanfrage über den Datenkanal VideoAssignment und definieren Canvases für die ausgehandelten Videostreams.

Sende eine Anfrage für eine Videozuweisung über den Datenkanal für Videozuweisungen.
Abbildung 1. Sende eine Anfrage für eine Videozuweisung über den Datenkanal für Videozuweisungen.

Sobald Meet die Anfrage erhält, werden anhand von Faktoren wie den folgenden „relevante“ Teilnehmervideos ausgewählt:

  • Spricht der Teilnehmer?
  • Hält der Teilnehmer eine Präsentation?
  • Nutzt der Teilnehmer die Bildschirmfreigabe?

Anschließend ordnet Meet die „relevantesten“ Teilnehmer den verfügbaren Video-SSRCs zu und beginnt mit der Videoübertragung, wobei die Canvas-Parameter so genau wie möglich abgeglichen werden.

Wenn die Anzahl der Teilnehmer einer Konferenz die Anzahl der SSRCs überschreitet, werden die Streams in Meet nach und nach durch die Streams der relevantesten Teilnehmer ersetzt.

Meet-Server empfangen die Anfragen und weisen die Videostreams zu.
Abbildung 2. Meet-Server empfangen die Anfragen und weisen die Videostreams zu.

Nachdem Meet die Videozuweisungsanfrage angewendet hat, sendet es eine Ressourcenaktualisierung über den Datenkanal VideoAssignment. Dieses Update umfasst die Zuordnung von SSRC zu Canvas. Anhand dieser Zuordnung können Clients die Auflösung und die FPS des Videostreams für jeden SSRC ermitteln. Umgekehrt weiß der Client, welchen SSRC er verwenden muss, wenn er nach einer bestimmten Auflösung und FPS sucht.

Sende die Ressourcenaktualisierung über den Datenkanal für die Videozuweisung.
Abbildung 3: Sende die Ressourcenaktualisierung über den Datenkanal für die Videozuweisung.

Hinweise

  • Meet entscheidet über die Verknüpfung zwischen SSRC und Canvas. Der Client gibt dies nicht in der Anfrage an.

  • In Meet werden SSRCs nicht deterministisch zugewiesen. Angenommen, die erste SSRC ist nicht der „wichtigste“ Teilnehmer.

  • Kunden sollten nicht mehr Auflösung anfordern, als sie benötigen. Fordere beispielsweise kein 1080p-Video an, wenn dein Modell nur 480p verwendet.

  • Eine exakte Übereinstimmung ist nicht immer möglich.

  • Kunden sollten nicht zu viele Anfragen für Videozuweisungen senden. Diese werden gedrosselt oder ignoriert.