Videozuweisung in der Meet Media API verwalten

Sobald eine Verbindung zu einer Konferenz hergestellt wurde, wird der angeforderte Ton sofort übertragen und ist verfügbar. Um Video zu empfangen, muss der Client jedoch zuerst Canvas-Elemente für jeden Videostream definieren.

Mit Canvas-Elementen kann Meet nachvollziehen, wie Ihr Client einen Videostream nutzen wird. Dabei werden die Auflösung in Pixeln (z. B. 1280 × 720), die Bilder pro Sekunde (FPS) und ein Zuweisungsprotokoll angegeben. Das Zuweisung protokoll legt fest, wie Meet Videostreams auswählen soll, wenn es mehr Teilnehmer als SSRCs gibt.

Anfragen zur Videozuweisung

Um Video zu empfangen, senden Clients zuerst eine Anfrage zur Videozuweisung über den VideoAssignment Datenkanal. Dabei werden Canvas-Elemente für die ausgehandelten Videostreams definiert.

Senden Sie eine Anfrage zur Videozuweisung über den Datenchannel für die Videozuweisung.
Abbildung 1 Senden Sie eine Anfrage zur Videozuweisung über den Datenkanal für die Videozuweisung.

Sobald Meet die Anfrage erhält, werden "relevante" Teilnehmer Videos ausgewählt. Dabei werden Faktoren wie die folgenden berücksichtigt:

  • Spricht der Teilnehmer?
  • Präsentiert der Teilnehmer?
  • Gibt der Teilnehmer seinen Bildschirm frei?

Anschließend werden die „relevantesten“ Teilnehmer den verfügbaren Video-SSRCs zugeordnet und die Videoübertragung beginnt. Dabei werden die Canvas-Parameter so genau wie möglich berücksichtigt.

Wenn die Anzahl der Teilnehmer in einer Konferenz die Anzahl der SSRCs übersteigt, werden die Streams im Laufe der Zeit ersetzt, um den relevantesten Teilnehmern zu entsprechen.

Meet-Server empfangen die Anfragen und weisen die Videostreams zu.
Abbildung 2 Die Meet-Server empfangen die Anfragen und weisen die Videostreams zu.

Nachdem Meet die Anfrage zur Videozuweisung angewendet hat, wird eine Ressourcenaktualisierung über den VideoAssignment Datenkanal gesendet. Diese Aktualisierung umfasst die Zuordnung von SSRC zu Canvas. Anhand dieser Zuordnung können Clients die Auflösung und die FPS des Videostreams für jede SSRC ermitteln. Umgekehrt weiß der Client, welche SSRC verwendet werden muss, wenn eine bestimmte Auflösung und FPS gesucht wird.

Senden Sie die Ressourcenaktualisierung über den Datenkanal für die Videozuweisung.
Abbildung 3 Senden Sie die Ressourcenaktualisierung über den Datenkanal für die Videozuweisung.

Hinweise

  • Meet entscheidet über die Zuordnung zwischen SSRC und Canvas. Der Client gibt dies nicht in der Anfrage an.

  • SSRCs werden von Meet nicht deterministisch zugewiesen. Gehen Sie beispielsweise nicht davon aus, dass die erste SSRC dem „relevantesten“ Teilnehmer entspricht.

  • Clients sollten keine höhere Auflösung anfordern, als sie benötigen. Fordern Sie beispielsweise kein 1080p-Video an, wenn Ihr Modell nur 480p verwendet.

  • Es ist möglicherweise nicht immer möglich, genaue Auflösungen zu finden.

  • Clients sollten nicht zu viele Anfragen zur Videozuweisung senden. Diese werden gedrosselt oder ignoriert.