IVideoFrameObserver
视频观测器。
你可以调用 registerVideoFrameObserver 注册或取消注册 IVideoFrameObserver 视频观测器。
getMirrorApplied
设置视频数据镜像。
virtual bool getMirrorApplied() { return false; }
如果你希望获取的视频数据为原始视频的镜像,需要在调用 registerVideoFrameObserver 方法时注册该回调。成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调,你需要在该回调的返回值中设置是否对原始视频数据作镜像处理。
- 该功能仅支持视频处理模式为 PROCESS_MODE_READ_ONLY 的场景。
- 该功能仅支持 RGBA 和 YUV420 格式的视频数据。
返回值
true
: 镜像。false
: (默认)不镜像。
getObservedFramePosition
设置视频观测位置。
virtual uint32_t getObservedFramePosition() { return base::POSITION_POST_CAPTURER | base::POSITION_PRE_RENDERER; }
成功注册视频数据观测器后,SDK 会在每个特定的视频帧处理节点通过该回调来判断是否触发 onCaptureVideoFrame、 onRenderVideoFrame 和 onPreEncodeVideoFrame 回调,供你观测本地采集视频数据、远端发送的视频数据以及编码前的视频数据。你可以根据场景需求,通过修改该方法的返回值,设置你需要观测的某个或多个位置:
- POSITION_POST_CAPTURER(1 << 0),本地采集视频数据后的位置,对应 onCaptureVideoFrame 回调。
- POSITION_PRE_RENDERER(1 << 1),接收远端发送视频前的位置,对应 onRenderVideoFrame 回调。
- POSITION_PRE_ENCODER(1 << 2),本地视频编码前的位置,对应 onPreEncodeVideoFrame 回调。
- 观测多个位置时,需要使用 '|' (或)运算符。
- 该回调默认观测 POSITION_POST_CAPTURER(1 << 0)和 POSITION_PRE_RENDERER(1 << 1)。
- 为降低设备耗能,你可以根据实际需求适当减少观测位置。
- 当视频处理模式为 PROCESS_MODE_READ_WRITE、并且设置观测点为 POSITION_PRE_ENCODER | POSITION_POST_CAPTURER 时,会造成 getMirrorApplied 不生效,需要修改视频处理模式或观测点的位置。
返回值
设置观测位置的 bit mask。详见 VIDEO_MODULE_POSITION。
getRotationApplied
设置视频数据旋转。
virtual bool getRotationApplied() { return false; }
如果你希望获取的视频数据已根据 VideoFrame 中的旋转信息 rotation 进行旋转,需要在调用 registerVideoFrameObserver 方法时注册该回调。成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调,你需要在该回调的返回值中设置是否对采集到的视频数据进行旋转。
- 该功能仅支持视频处理模式为 PROCESS_MODE_READ_ONLY 的场景。
- 该功能仅支持 RGBA 和 YUV420 格式的视频数据。
返回值
true
: 旋转。false
: (默认)不旋转。
getVideoFormatPreference
设置 SDK 输出的原始视频数据格式。
virtual VIDEO_PIXEL_FORMAT getVideoFormatPreference() { return VIDEO_PIXEL_DEFAULT; }
如果你想获取 YUV 420 格式以外的原始视频数据,需要在调用 registerVideoFrameObserver 方法时注册该回调。 成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调,你需要在该回调返回值中设置期望的视频数据格式。
返回值
设置 SDK 输出的原始数据格式。详见 VIDEO_PIXEL_FORMAT。
getVideoFrameProcessMode
设置视频处理模式。
virtual VIDEO_FRAME_PROCESS_MODE getVideoFrameProcessMode() { return PROCESS_MODE_READ_ONLY; }
成功注册视频观测器后,SDK 会在捕捉到每帧视频帧时触发该回调。你需要在该回调的返回值中设置期望的视频处理模式。
返回值
onCaptureVideoFrame
获取本地摄像头采集到的视频数据。
virtual bool onCaptureVideoFrame(VideoFrame& videoFrame) = 0;
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取本地摄像头采集到的视频数据,然后根据场景需要,对视频数据进行前处理。
完成前处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。
参数
- videoFrame
- 视频帧数据。详见 VideoFrame。
返回值
- 当视频处理模式为 PROCESS_MODE_READ_ONLY 时:
true
:SDK 忽略该返回值。false
:SDK 忽略该返回值。
- 当视频处理模式为 PROCESS_MODE_READ_WRITE 时:
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。
onFrame
已获取视频帧回调。
virtual void onFrame(const VideoFrame* frame) = 0;
public virtual bool OnFrame(VideoFrame audioFrame, VideoFrameBufferConfig config)
{
return true;
}
注册视频数据观测器后,每次接收到一帧视频帧时,都会触发该回调,报告视频帧信息。
参数
- frame
-
视频帧信息。 详见 VideoFrame。
onMediaPlayerVideoFrame
获取媒体播放器中的视频数据。
virtual bool onMediaPlayerVideoFrame(VideoFrame& videoFrame, int mediaPlayerId) = 0;
成功注册视频数据观测器并调用 createMediaPlayer 后, SDK 会在捕捉到每个视频帧时触发该回调。 你可以在回调中获取媒体播放器中的视频数据,然后根据场景需要,对视频数据进行前处理。
完成前处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。
参数
- videoFrame
- 视频帧数据。详见 VideoFrame。
- mediaPlayerId
- 媒体播放器 ID。
返回值
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。
onPreEncodeVideoFrame
获取本地视频编码前的视频数据。
virtual bool onPreEncodeVideoFrame(VideoFrame& videoFrame) = 0;
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取编码前的视频数据,然后根据场景需要,对视频数据进行处理。
完成处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。
- 你需要通过 getObservedFramePosition 设置观测 POSITION_PRE_ENCODER(1 << 2) 后,才能使用该回调获取本地视频编码前的视频数据。
- 此处获取的视频数据已经过前处理,如裁剪、旋转和美颜等。
参数
- videoFrame
- 视频帧数据。详见 VideoFrame。
返回值
- 当视频处理模式为 PROCESS_MODE_READ_ONLY 时:
true
:SDK 忽略该返回值。false
:SDK 忽略该返回值。
- 当视频处理模式为 PROCESS_MODE_READ_WRITE 时:
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。
onPreEncodeScreenVideoFrame
获取屏幕采集后、编码前的视频数据。
virtual bool onPreEncodeScreenVideoFrame(VideoFrame& videoFrame) = 0;
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取从屏幕采集后、编码前的视频数据,然后根据场景需要,对视频数据进行处理。
完成处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。
- 你需要通过 getObservedFramePosition 设置观测 POSITION_PRE_ENCODER(1 << 2) 后,才能使用该回调获取本地视频编码前的视频数据。
- 此处获取的视频数据已经过前处理,如裁剪、旋转和美颜等。
- 如果你获取到的视频数据类型为 RGBA,Agora 不支持将处理后的 RGBA 数据通过该回调再发送回 SDK。
参数
- videoFrame
- 视频帧数据。详见 VideoFrame。
返回值
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。
onSecondaryPreEncodeScreenVideoFrame
获取从第二个屏幕采集后、编码前的视频数据。
virtual bool onSecondaryPreEncodeScreenVideoFrame(VideoFrame& videoFrame) = 0;
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取从第二个屏幕采集后、编码前的视频数据,然后根据场景需要,对视频数据进行处理。
完成处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。
- 该回调仅适用于 Windows。
- 你需要通过 getObservedFramePosition 设置观测 POSITION_PRE_ENCODER(1 << 2) 后,才能使用该回调获取从第二个屏幕采集后、编码前的视频数据。
- 此处获取的视频数据已经过前处理,如裁剪、旋转和美颜等。
- 如果你获取到的视频数据类型为 RGBA,Agora 不支持将处理后的 RGBA 数据通过该回调再发送回 SDK。
参数
- videoFrame
- 视频帧数据。详见 VideoFrame。
返回值
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。
onSecondaryPreEncodeCameraVideoFrame
获取第二个摄像头采集后、编码前的视频数据。
virtual bool onSecondaryPreEncodeCameraVideoFrame(VideoFrame& videoFrame) = 0;
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取第二个摄像头采集后、编码前的视频数据,然后根据场景需要,对视频数据进行处理。
完成处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。
- 该回调仅适用于 Windows。
- 你需要通过 getObservedFramePosition 设置观测 POSITION_PRE_ENCODER(1 << 2) 后,才能使用该回调获取第二个摄像头采集后、编码前的视频数据。
- 此处获取的视频数据已经过前处理,如裁剪、旋转和美颜等。
- 如果你获取到的视频数据类型为 RGBA,Agora 不支持将处理后的 RGBA 数据通过该回调再发送回 SDK。
参数
- videoFrame
- 视频帧数据。详见 VideoFrame。
返回值
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。
onScreenCaptureVideoFrame
获取从屏幕采集到的视频数据。
virtual bool onScreenCaptureVideoFrame(VideoFrame& videoFrame) = 0;
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取从屏幕采集到的视频数据,然后根据场景需要,对视频数据进行前处理。
完成前处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。
- 如果你获取到的视频数据类型为 RGBA,Agora 不支持将处理后的 RGBA 数据通过该回调再发送回 SDK。
- 此处获取的视频数据未经过前处理,如水印、裁剪、旋转和美颜等。
参数
- videoFrame
- 视频帧数据。详见 VideoFrame。
返回值
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。
onRenderVideoFrame
获取远端发送的视频数据。
virtual bool onRenderVideoFrame(const char* channelId, rtc::uid_t remoteUid, VideoFrame& videoFrame) = 0;
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取远端发送的视频数据,然后根据场景需要,对视频数据进行处理。
参数
- remoteUid
- 发送该帧视频的远端用户 ID。
- videoFrame
- 视频帧数据。详见 VideoFrame。
- channelId
- 频道 ID。
返回值
true
:SDK 忽略该返回值。false
:SDK 忽略该返回值。
VIDEO_FRAME_PROCESS_MODE
视频帧处理模式。
枚举值
- PROCESS_MODE_READ_ONLY
-
只读模式。
只读模式下,你不修改视频帧,视频观测器相当于渲染器。
- PROCESS_MODE_READ_WRITE
-
读写模式。
读写模式下,你会修改视频帧,视频观测器相当于视频 filter。