Gerenciar a atribuição de vídeo na API Meet Media

Depois de se conectar a uma conferência, o áudio solicitado é transmitido e disponibilizado imediatamente. No entanto, para receber vídeo, o cliente precisa primeiro definir telas para cada stream de vídeo.

As telas ajudam o Meet a entender como seu cliente vai consumir um fluxo de vídeo, especificando a resolução em pixels (por exemplo, 1280 × 720), quadros por segundo (QPS) e selecionando um protocolo de atribuição. O protocolo de atribuição especifica como o Meet deve escolher fluxos de vídeo quando há mais participantes do que SSRCs.

Pedidos de atribuição de vídeo

Para receber vídeo, os clientes primeiro enviam uma solicitação de atribuição de vídeo pelo canal de dados VideoAssignment, definindo telas para os fluxos de vídeo negociados.

Envie uma solicitação de atribuição de vídeo pelo canal de dados de atribuição de vídeo.
Figura 1. Envie uma solicitação de atribuição de vídeo pelo canal de dados de atribuição de vídeo.

Quando o Meet recebe a solicitação, ele começa a selecionar vídeos de participantes "relevantes" com base em fatores como:

  • O participante está falando?
  • O participante está apresentando?
  • O participante está compartilhando a tela?

Em seguida, o Meet mapeia os participantes "mais relevantes" para os SSRCs de vídeo disponíveis e começa a transmitir vídeo, correspondendo aos parâmetros da tela o mais próximo possível.

Se o número de participantes em uma conferência exceder o número de SSRCs, o Meet vai substituir os fluxos ao longo do tempo para corresponder aos participantes mais relevantes.

Os servidores do Meet recebem as solicitações e atribuem os fluxos de vídeo.
Figura 2. Os servidores do Meet recebem as solicitações e atribuem os fluxos de vídeo.

Depois que o Meet aplica a solicitação de atribuição de vídeo, ele envia uma atualização de recurso pelo canal de dados VideoAssignment. Esta atualização inclui o mapeamento de SSRC para tela. Com esse mapeamento, os clientes podem identificar a resolução e os QPS do stream de vídeo para cada SSRC. Por outro lado, o cliente sabe qual SSRC usar ao procurar uma resolução e uma taxa de frames por segundo (FPS) específicas.

Envie a atualização do recurso pelo canal de dados de atribuição de vídeo.
Figura 3. Envie a atualização do recurso pelo canal de dados de atribuição de vídeo.

Considerações

  • O Meet decide a associação entre SSRC e tela. O cliente não especifica isso na solicitação.

  • O Meet não atribui SSRCs de forma determinística. Por exemplo, não suponha que o primeiro SSRC seja o participante "mais relevante".

  • Os clientes não devem solicitar mais resolução do que precisam. Por exemplo, não solicite um vídeo em 1080p quando seu modelo usa apenas 480p.

  • Nem sempre é possível corresponder resoluções exatas.

  • Os clientes não podem enviar solicitações excessivas de atribuição de vídeo. Elas serão limitadas ou ignoradas.