处理线性 DAI 视频流中的定时元数据

Interactive Media Ads (IMA) 动态广告插播 (DAI) SDK 依赖于嵌入在直播的媒体片段(带内元数据)或在线播放清单文件(清单内元数据)中的元数据信息来跟踪观看者的观看位置和客户端广告事件。元数据以不同的格式发送,具体取决于正在播放的串流类型。

视频播放器会批量接收定时元数据。元数据可能会在预定的时刻显示,也可能会批量显示,具体取决于播放器。每个元数据字符串都有一个关联的呈现时间戳 (PTS),用于指明其应触发的时间。

您的应用负责捕获元数据并将其转发给 IMA DAI SDK。SDK 提供了以下方法来传递此信息:

onTimedMetadata

此方法会将准备好处理的元数据字符串转发给 SDK。它接受一个参数:

  • metadata:一个对象,其中包含一个键为 TXXX 且带有以 google_ 开头的关联字符串值。
processMetadata

此方法会安排在指定的 PTS 之后由 SDK 处理元数据字符串。它接受以下参数:

  • type:包含正在处理的事件类型的字符串。接受的值为 ID3(对于 HLS)或 urn:google:dai:2018(对于 DASH)
  • data:前缀为 google_ 的字符串值,或采用以下格式的字节数组ID3:u\0004u\000u\000u\0000TXXXu\0004u\000u\000u\0000google_xxxxxxxx
  • timestamp:应处理数据的时间戳(以秒为单位)。

IMA DAI SDK 支持的每种串流类型都使用独特的计时元数据形式,如以下部分所述。

HLS MPEG2TS 串流

使用 MPEG2TS 片段的线性 DAI HLS 串流会通过带内 ID3 标记将时间戳元数据传递给视频播放器。这些 ID3 标记嵌入在 MPEG2TS 片段中,并被赋予 TXXX 字段名称(适用于自定义用户定义的文本内容)。

在 Safari 中播放

Safari 会自动将 ID3 标记处理为隐藏曲目,因此 cuechange 事件会在正确的时间触发,以处理每条元数据。无论内容或类型如何,都可以将所有元数据传递给 IMA DAI SDK。系统会自动滤除不相关的元数据。

示例如下:

videoElement.textTracks.addEventListener('addtrack', (e) => {
  const track = e.track;
  if (track.kind === 'metadata') {
    track.mode = 'hidden';
    track.addEventListener('cuechange', () => {
      for (const cue of track.activeCues) {
        const metadata = {};
        metadata[cue.value.key] = cue.value.data;
        streamManager.onTimedMetadata(metadata);
      }
    });
  }
});
...

HLS.js

HLS.js 通过 FRAG_PARSING_METADATA 事件以示例数组的形式批量提供 ID3 标记。HLS.js 不会将 ID3 数据从字节数组转换为字符串,也不会将事件偏移到相应的 PTS。您无需将示例数据从字节数组解码为字符串,也不需要滤除不相关的 ID3 标记,因为 IMA DAI SDK 会自动执行此解码和过滤操作。

示例如下:

hls.on(Hls.Events.FRAG_PARSING_METADATA, (e, data) => {
  if (streamManager && data) {
    data.samples.forEach((sample) => {
      streamManager.processMetadata('ID3', sample.data, sample.pts);
    });
  }
});
...

HLS CMAF 串流

使用通用媒体应用框架 (CMAF) 的线性 DAI HLS 串流会按照 ID3 通过 CMAF 标准,通过带内 eMSGv1 盒传递时间戳元数据。这些 eMSG 盒子会嵌入在每个媒体片段的开头,每个 ID3 eMSG 都包含相对于数据流中上一个不连续点的 PTS。

从 HLS.js 1.2.0 版开始,我们建议的两个播放器都会通过 CMAF 将 ID3 传递给用户,就像它们是 ID3 标记一样。因此,以下示例与 HLS MPEG2TS 串流相同。不过,并非所有播放器都支持此功能,因此实现对 HLS CMAF 串流的支持可能需要通过 eMSG 解析 ID3 的专有代码。

在 Safari 中播放

Safari 会将通过 eMSG 元数据提供的 ID3 作为伪 ID3 事件处理,并自动以隐藏曲目的形式批量提供这些事件,以便在正确的时间触发 cuechange 事件来处理每段元数据。无论与时间相关与否,都可以将所有元数据传递给 IMA DAI SDK。系统会自动滤除所有与 DAI 无关的元数据。

示例如下:

videoElement.textTracks.addEventListener('addtrack', (e) => {
  const track = e.track;
  if (track.kind === 'metadata') {
    track.mode = 'hidden';
    track.addEventListener('cuechange', () => {
      for (const cue of track.activeCues) {
        const metadata = {};
        metadata[cue.value.key] = cue.value.data;
        streamManager.onTimedMetadata(metadata);
      }
    });
  }
});
...

HLS.js

从版本 1.2.0 开始,HLS.js 会将通过 eMSG 元数据提供的 ID3 作为伪 ID3 事件,并通过 FRAG_PARSING_METADATA 事件以样本数组的形式批量提供这些事件。HLS.js 不会将 ID3 数据从字节数组转换为字符串,也不会将事件偏移到其相应的 PTS。无需将示例数据从字节数组解码为字符串,因为 IMA DAI SDK 会自动执行此解码。

示例如下:

hls.on(Hls.Events.FRAG_PARSING_METADATA, (e, data) => {
  if (streamManager && data) {
    data.samples.forEach((sample) => {
      streamManager.processMetadata('ID3', sample.data, sample.pts);
    });
  }
});
...

DASH 数据流

线性 DAI DASH 串流会在事件串流中将元数据作为清单事件传递,并使用自定义 schemeIdUriurn:google:dai:2018。这些数据流中的每个事件都包含文本载荷和 PTS。

DASH.js

Dash.js 提供的自定义事件处理脚本以每个事件流的 schemeIdUri 值命名。这些自定义处理脚本会批量触发,您需要自行处理 PTS 值以正确设置事件的时间。IMA DAI SDK 可以使用 streamManager 方法 processMetadata() 为您处理此问题。

示例如下:

const dash = dashjs.MediaPlayer().create();
dash.on('urn:google:dai:2018', (payload) => {
  const mediaId = payload.event.messageData;
  const pts = payload.event.calculatedPresentationTime;
  streamManager.processMetadata('urn:google:dai:2018', mediaId, pts);
});
...

Shaka Player

Shaka Player 会在 timelineregionenter 事件中显示事件。由于与 Shaka Player 的格式不兼容,因此必须通过详情属性 eventNode.attributes['messageData'] 检索原始元数据值。

示例如下:

player.addEventListener('timelineregionenter', function(event) {
  const detail = event.detail;
  if ( detail.eventNode.attributes &&
       detail.eventNode.attributes['messageData']) {
    const mediaId = detail.eventNode.attributes['messageData'];
    const pts = detail.startTime;
    streamManager.processMetadata("urn:google:dai:2018", mediaId, pts);
  }
});
...

广告连播投放

对于 Pod 投放,有不同的配置可用于传递定时元数据,具体取决于以下条件:

  • 直播或 VOD 流式传输类型
  • HLS 或 DASH 在线播放格式
  • 所用播放器的类型
  • 使用的 DAI 后端类型

HLS 在线播放格式(直播和视频点播在线播放、HLS.js 播放器)

如果您使用的是 HLS.js 播放器,请监听 HLS.js FRAG_PARSING_METADATA 事件以获取 ID3 元数据,并使用 StreamManager.processMetadata() 将其传递给 SDK。

如需在所有内容加载完毕并准备就绪后自动播放视频,请监听 HLS.js MANIFEST_PARSED 事件以触发播放。

function loadStream(streamID) {
  hls.loadSource(url);
  hls.attachMedia(videoElement);
  
  // Timed metadata is passed HLS stream events to the streamManager.
  hls.on(Hls.Events.FRAG_PARSING_METADATA, parseID3Events);
  hls.on(Hls.Events.MANIFEST_PARSED, startPlayback);
}

function parseID3Events(event, data) {
  if (streamManager && data) {
    // For each ID3 tag in the metadata, pass in the type - ID3, the
    // tag data (a byte array), and the presentation timestamp (PTS).
    data.samples.forEach((sample) => {
      streamManager.processMetadata('ID3', sample.data, sample.pts);
    });
  }
}

function startPlayback() {
  console.log('Video Play');
  videoElement.play();
}

DASH.js(DASH 串流格式、直播和 VOD 串流类型)

如果您使用的是 DASH.js 播放器,则必须使用不同的字符串来监听直播或 VOD 串流的 ID3 元数据:

  • 直播:'https://developer.apple.com/streaming/emsg-id3'
  • VOD 串流:'urn:google:dai:2018'

使用 StreamManager.processMetadata() 将 ID3 元数据传递给 SDK。

如需在所有内容加载完毕并准备就绪后自动显示视频控件,请监听 DASH.js MANIFEST_LOADED 事件。

const googleLiveSchema = 'https://developer.apple.com/streaming/emsg-id3';
const googleVodSchema = 'urn:google:dai:2018';
dashPlayer.on(googleLiveSchema, processMetadata);
dashPlayer.on(googleVodSchema, processMetadata);
dashPlayer.on(dashjs.MediaPlayer.events.MANIFEST_LOADED, loadlistener);

function processMetadata(metadataEvent) {
  const messageData = metadataEvent.event.messageData;
  const timestamp = metadataEvent.event.calculatedPresentationTime;

  // Use StreamManager.processMetadata() if your video player provides raw
  // ID3 tags, as with dash.js.
  streamManager.processMetadata('ID3', messageData, timestamp);
}

function loadlistener() {
  showControls();

  // This listener must be removed, otherwise it triggers as addional
  // manifests are loaded. The manifest is loaded once for the content,
  // but additional manifests are loaded for upcoming ad breaks.
  dashPlayer.off(dashjs.MediaPlayer.events.MANIFEST_LOADED, loadlistener);
}

支持直播的 Shaka Player(DASH 流式传输格式)

如果您使用 Shaka 播放器进行直播播放,请使用字符串 'emsg' 监听元数据事件。然后,在调用 StreamManager.onTimedMetadata() 时使用事件消息数据。

shakaPlayer.addEventListener('emsg', (event) => onEmsgEvent(event));

function onEmsgEvent(metadataEvent) {
  // Use StreamManager.onTimedMetadata() if your video player provides
  // processed metadata, as with Shaka player livestreams.
  streamManager.onTimedMetadata({'TXXX': metadataEvent.detail.messageData});
}

支持 VOD 串流的 Shaka Player(DASH 串流格式)

如果您使用 Shaka 播放器播放 VOD 流式内容,请使用字符串 'timelineregionenter' 监听元数据事件。然后,在调用 StreamManager.processMetadata() 时,使用事件消息数据和字符串 'urn:google:dai:2018'

shakaPlayer.addEventListener('timelineregionenter', (event) => onTimelineEvent(event));

function onTimelineEvent(metadataEvent) {
  const detail = metadataEvent.detail;
  if ( detail.eventElement.attributes &&
       detail.eventElement.attributes['messageData'] &&
       detail.eventElement.attributes['messageData'].value ) {
        const mediaId = detail.eventElement.attributes['messageData'].value;
        const pts = detail.startTime;
        // Use StreamManager.processMetadata() if your video player provides raw
        // ID3 tags, as with Shaka player VOD streams.
        streamManager.processMetadata('urn:google:dai:2018', mediaId, pts);
       }
}