Gerenciar a atribuição de vídeo na API Meet Media

Depois de se conectar a uma conferência, todo áudio solicitado é transmitido e disponibilizado imediatamente. No entanto, para receber o vídeo, o cliente primeiro precisa definir telas para cada stream de vídeo.

As telas ajudam o Meet a entender como seu cliente vai consumir um fluxo de vídeo, especificando a resolução em pixels (por exemplo, 1280 × 720), quadros por segundo (QPS) e selecionando um protocolo de atribuição. O protocolo de atribuição especifica como o Meet deve escolher fluxos de vídeo quando há mais participantes do que SSRCs.

Solicitações de atribuição de vídeo

Para receber vídeos, os clientes primeiro enviam uma solicitação de atribuição de vídeo pelo canal de dados VideoAssignment, definindo telas para as transmissões de vídeo negociadas.

Envie uma solicitação de atribuição de vídeo pelo canal de dados de atribuição de vídeo.
Figura 1. Envie uma solicitação de atribuição de vídeo pelo canal de dados de atribuição de vídeo.

Quando o Meet recebe a solicitação, ele começa a selecionar vídeos de participantes "relevantes" com base em fatores como:

  • O participante está falando?
  • O participante está apresentando?
  • O participante está compartilhando a tela?

Em seguida, o Meet mapeia os participantes "mais relevantes" para os SSRCs de vídeo disponíveis e começa a transmitir o vídeo, correspondendo aos parâmetros da tela o mais próximo possível.

Se o número de participantes de uma conferência exceder o número de SSRCs, o Meet vai substituir os fluxos ao longo do tempo para corresponder aos participantes mais relevantes.

Os servidores do Meet recebem as solicitações e atribuem as transmissões de vídeo.
Figura 2. Os servidores do Meet recebem as solicitações e atribuem as transmissões de vídeo.

Depois que o Meet aplica a solicitação de atribuição de vídeo, ele envia uma atualização de recurso no canal de dados VideoAssignment. Esta atualização inclui o mapeamento de SSRC para tela. Usando esse mapeamento, os clientes podem identificar a resolução e os QPS do stream de vídeo para cada SSRC. Por outro lado, o cliente sabe qual SSRC usar ao procurar uma resolução e um QPS específicos.

Envie a atualização do recurso pelo canal de dados de atribuição de vídeo.
Figura 3. Envie a atualização do recurso pelo canal de dados de atribuição de vídeo.

Considerações

  • O Meet decide a associação entre o SSRC e a tela. O cliente não especifica isso na solicitação.

  • O Meet não atribui SSRCs de forma determinística. Por exemplo, não presuma que o primeiro SSRC é o participante "mais relevante".

  • Os clientes não devem solicitar uma resolução maior do que precisam. Por exemplo, não solicite um vídeo de 1080p quando o modelo usar apenas 480p.

  • Nem sempre é possível encontrar resoluções exatas.

  • Os clientes não podem enviar solicitações de atribuição de vídeo em excesso. Elas serão limitadas ou ignoradas.