Quản lý bài tập dạng video trong Meet Media API

Sau khi kết nối với một hội nghị, mọi âm thanh được yêu cầu sẽ được truyền và cung cấp ngay lập tức. Tuy nhiên, để nhận video, trước tiên ứng dụng phải xác định canvas cho mỗi luồng video.

Canvas giúp Meet hiểu cách ứng dụng của bạn sẽ sử dụng luồng video, chỉ định độ phân giải của luồng video đó theo pixel (ví dụ: 1280 × 720), số khung hình/giây (FPS) và chọn giao thức chỉ định. Giao thức chỉ định chỉ định cách Meet chọn luồng video khi có nhiều người tham gia hơn SSRC.

Yêu cầu chỉ định video

Để nhận video, trước tiên, ứng dụng sẽ gửi một yêu cầu chỉ định video qua kênh dữ liệu VideoAssignment, xác định canvas cho các luồng video đã đàm phán.

Gửi yêu cầu bài tập dạng video qua kênh dữ liệu bài tập dạng video.
Hình 1. Gửi yêu cầu bài tập dạng video qua kênh dữ liệu bài tập dạng video.

Sau khi nhận được yêu cầu, Meet sẽ bắt đầu chọn video "liên quan" của người tham gia, dựa trên các yếu tố như:

  • Người tham gia có đang nói không?
  • Người tham gia có đang trình bày không?
  • Người tham gia có đang chia sẻ màn hình không?

Sau đó, Meet sẽ liên kết những người tham gia "liên quan nhất" với các SSRC video có sẵn và bắt đầu truyền video, khớp các thông số canvas gần nhất có thể.

Nếu số lượng người tham gia cuộc họp vượt quá số lượng SSRC, thì theo thời gian, Meet sẽ thay thế các luồng để phù hợp với những người tham gia phù hợp nhất.

Máy chủ Meet sẽ nhận yêu cầu và chỉ định luồng video.
Hình 2. Máy chủ Meet sẽ nhận yêu cầu và chỉ định luồng video.

Sau khi áp dụng yêu cầu bài tập về video, Meet sẽ đẩy một thông tin cập nhật về tài nguyên qua kênh dữ liệu VideoAssignment. Bản cập nhật này bao gồm tính năng ánh xạ SSRC sang canvas. Khi sử dụng mối liên kết này, ứng dụng có thể xác định độ phân giải và FPS của luồng video cho từng SSRC. Ngược lại, ứng dụng biết nên sử dụng SSRC nào khi tìm kiếm một độ phân giải và FPS cụ thể.

Gửi nội dung cập nhật tài nguyên qua kênh dữ liệu bài tập dạng video.
Hình 3. Gửi nội dung cập nhật tài nguyên qua kênh dữ liệu bài tập dạng video.

Những yếu tố nên cân nhắc

  • Meet quyết định mối liên kết giữa SSRC và canvas. Ứng dụng không chỉ định điều này trong yêu cầu.

  • Meet không chỉ định SSRC một cách xác định. Ví dụ: đừng giả định rằng SSRC đầu tiên là người tham gia "liên quan nhất".

  • Ứng dụng không nên yêu cầu độ phân giải cao hơn mức cần thiết. Ví dụ: đừng yêu cầu video 1080p khi mô hình của bạn chỉ sử dụng 480p.

  • Không phải lúc nào bạn cũng có thể so khớp chính xác độ phân giải.

  • Ứng dụng khách không nên gửi quá nhiều yêu cầu chỉ định video. Các yêu cầu này sẽ bị điều tiết hoặc bị bỏ qua.