Gerenciar a atribuição de vídeo na API Meet Media

Depois de conectado a uma conferência, qualquer áudio solicitado é transmitido e fica disponível imediatamente. No entanto, para receber vídeo, o cliente precisa definir telas para cada transmissão de vídeo.

As telas ajudam o Meet a entender como o cliente vai consumir uma transmissão de vídeo, especificando a resolução em pixels (por exemplo, 1280 × 720), os frames por segundo (FPS) e selecionando um protocolo de atribuição. O protocolo de atribuição especifica como o Meet deve escolher transmissões de vídeo quando há mais participantes do que SSRCs.

Solicitações de atribuição de vídeo

Para receber vídeo, os clientes primeiro enviam uma solicitação de atribuição de vídeo pelo VideoAssignment canal de dados, definindo telas para as transmissões de vídeo negociadas.

Envie uma solicitação de atribuição de vídeo pelo canal de dados de atribuição de vídeo.
Figura 1. Envie uma solicitação de atribuição de vídeo pelo canal de dados de atribuição de vídeo.

Quando o Meet recebe a solicitação, ele começa a selecionar vídeos de participantes "relevantes" com base em fatores como:

  • O participante está falando?
  • O participante está apresentando?
  • O participante está compartilhando a tela?

Em seguida, o Meet mapeia os participantes "mais relevantes" para os SSRCs de vídeo disponíveis e começa a transmitir o vídeo, correspondendo aos parâmetros da tela o mais próximo possível.

Se o número de participantes em uma conferência exceder o número de SSRCs, o Meet vai substituir as transmissões ao longo do tempo para corresponder aos participantes mais relevantes.

Os servidores do Meet recebem as solicitações e atribuem os fluxos de vídeo.
Figura 2. Os servidores do Meet recebem as solicitações e atribuem as transmissões de vídeo.

Depois que o Meet aplica a solicitação de atribuição de vídeo, ele envia uma atualização de recurso pelo VideoAssignment canal de dados. Essa atualização inclui o mapeamento de SSRC para tela. Usando esse mapeamento, os clientes podem identificar a resolução e o FPS da transmissão de vídeo para cada SSRC. Por outro lado, o cliente sabe qual SSRC usar ao procurar uma resolução e um FPS específicos.

Envie a atualização do recurso pelo canal de dados de atribuição de vídeo.
Figura 3. Envie a atualização de recurso pelo canal de dados de atribuição de vídeo.

Considerações

  • O Meet decide a associação entre SSRC e tela. O cliente não especifica isso na solicitação.

  • O Meet não atribui SSRCs de forma determinística. Por exemplo, não suponha que o primeiro SSRC seja o participante "mais relevante".

  • Os clientes não devem solicitar mais resolução do que precisam. Por exemplo, não solicite vídeo de 1080p quando seu modelo só usa 480p.

  • Nem sempre é possível corresponder às resoluções exatas.

  • Os clientes não devem enviar solicitações excessivas de atribuição de vídeo. Elas serão limitadas ou ignoradas.