Meet 미디어 API에서 동영상 과제 관리

회의에 연결되면 요청된 오디오가 즉시 전송되어 사용할 수 있습니다. 하지만 동영상을 수신하려면 클라이언트가 먼저 각 동영상 스트림의 캔버스를 정의해야 합니다.

캔버스는 Meet이 클라이언트가 동영상 스트림을 소비하는 방식을 이해하는 데 도움이 되며, 픽셀 단위의 해상도 (예: 1280×720), 초당 프레임 수 (FPS)를 지정하고 할당 프로토콜을 선택합니다. 할당 프로토콜은 SSRC보다 참여자가 많은 경우 Meet에서 동영상 스트림을 선택하는 방법을 지정합니다.

동영상 할당 요청

동영상을 수신하기 위해 클라이언트는 먼저 VideoAssignment 데이터 채널을 통해 동영상 할당 요청을 전송하여 협상된 동영상 스트림의 캔버스를 정의합니다.

동영상 할당 데이터 채널을 통해 동영상 할당 요청을 전송합니다.
그림 1. 동영상 할당 데이터 채널을 통해 동영상 할당 요청을 전송합니다.

Meet은 요청을 받으면 다음과 같은 요소를 기반으로 '관련성'이 있는 참석자 동영상을 선택하기 시작합니다.

  • 참여자가 말하고 있나요?
  • 참석자가 발표 중인가요?
  • 참여자가 화면을 공유하고 있나요?

그런 다음 Meet은 '가장 관련성 높은' 참여자를 사용 가능한 동영상 SSRC에 매핑하고 캔버스 매개변수를 최대한 가깝게 일치시켜 동영상 전송을 시작합니다.

회의 참여자 수가 SSRC 수를 초과하면 Meet에서 시간이 지남에 따라 스트림을 교체하여 가장 관련성 높은 참여자와 일치시킵니다.

Meet 서버는 요청을 수신하고 동영상 스트림을 할당합니다.
그림 2. Meet 서버는 요청을 수신하고 동영상 스트림을 할당합니다.

Meet에서 동영상 할당 요청을 적용하면 VideoAssignment 데이터 채널 전체에 리소스 업데이트가 푸시됩니다. 이 업데이트에는 SSRC-캔버스 매핑이 포함되어 있습니다. 이 매핑을 사용하여 클라이언트는 각 SSRC의 동영상 스트림 해상도와 FPS를 식별할 수 있습니다. 반대로 클라이언트는 특정 해상도와 FPS를 찾을 때 사용할 SSRC를 알고 있습니다.

동영상 할당 데이터 채널을 통해 리소스 업데이트를 전송합니다.
그림 3. 동영상 할당 데이터 채널을 통해 리소스 업데이트를 전송합니다.

고려사항

  • Meet에서 SSRC와 캔버스 간의 연결을 결정합니다. 클라이언트는 요청에 이를 지정하지 않습니다.

  • Meet은 SSRC를 결정론적으로 할당하지 않습니다. 예를 들어 첫 번째 SSRC가 '가장 관련성 높은' 참여자라고 가정하지 마세요.

  • 클라이언트는 필요한 것보다 더 많은 해결 방법을 요청해서는 안 됩니다. 예를 들어 모델에서 480p만 사용하는 경우 1080p 동영상을 요청하지 마세요.

  • 정확한 해상도를 일치시키지 못할 수도 있습니다.

  • 클라이언트는 과도한 동영상 할당 요청을 보내서는 안 됩니다. 이러한 요청은 제한되거나 무시됩니다.