视频观测器
介绍跟视频观测器相关的方法和回调。
UnregisterVideoFrameObserver
取消注册视频帧观测器。
public abstract int UnRegisterVideoFrameObserver();
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
UnregisterVideoEncodedFrameObserver
为编码后的视频图像取消注册视频帧接收观测器。
public abstract int UnRegisterVideoEncodedFrameObserver();
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
OnEncodedVideoFrameReceived
报告接收端已收到远端发送的待解码视频帧。
public virtual bool OnEncodedVideoFrameReceived(uint uid, IntPtr imageBufferPtr, UInt64 length, EncodedVideoFrameInfo videoEncodedFrameInfo) { return true; }
调用 SetRemoteVideoSubscriptionOptions 方法并将 encodedFrameOnly 设置为 true
时,SDK 会在本地触发该回调,上报接收到的编码后视频帧信息。
参数
- uid
- 远端用户 ID。
- imageBufferPtr
- 视频图像 buffer。
- length
- 视频图像的数据长度。
- videoEncodedFrameInfo
- 编码后的视频帧信息,详见 EncodedVideoFrameInfo。
返回值
无实际含义。
RegisterVideoEncodedFrameObserver
为编码后的视频图像注册视频帧接收观测器。
public abstract int RegisterVideoEncodedFrameObserver(IVideoEncodedFrameObserver videoEncodedImageReceiver, OBSERVER_MODE mode = OBSERVER_MODE.INTPTR);
详情
如果你只想要观测编码后的视频帧 (如 h.264 格式),而不需要对视频进行解码和渲染,声网推荐你通过该方法注册一个 IVideoEncodedFrameObserver 类。
- 在加入频道前调用 RegisterVideoFrameObserver 注册原始视频帧观测器。
- 在加入频道前调用 RegisterVideoEncodedFrameObserver 注册编码后的视频帧观测器。
- 加入频道后通过 OnUserJoined 获取 B 组用户的 ID,然后调用 SetRemoteVideoSubscriptionOptions 设置该组用户的 encodedFrameOnly 为
true
。 - 调用
MuteAllRemoteVideoStreams(false)
,开始接收所有远端用户的视频流。此时:- 可通过 IVideoFrameObserver 中的回调获取 A 组用户的原始视频数据,SDK 默认对该数据进行渲染。
- 可通过 IVideoEncodedFrameObserver 中的回调获取 B 组用户的已编码视频数据。
- 请在加入频道前调用该方法。
参数
- videoEncodedImageReceiver
- 视频帧接收观测器,详见 IVideoEncodedFrameObserver。
- mode
- 视频数据回调模式,详见 OBSERVER_MODE。
返回值
- 0:方法调用成功。
- < 0: 方法调用失败。
RegisterVideoFrameObserver
注册原始视频观测器对象。
public abstract int RegisterVideoFrameObserver(IVideoFrameObserver videoFrameObserver, VIDEO_OBSERVER_FRAME_TYPE formatPreference, VIDEO_OBSERVER_POSITION position, OBSERVER_MODE mode = OBSERVER_MODE.INTPTR);
详情
如果你想要观测原始视频帧 (如 YUV 或 RGBA 格式),声网推荐你通过该方法注册一个 IVideoFrameObserver 类。
调用该方法注册视频观测器时,你可以根据需要注册 IVideoFrameObserver 类中的回调。在成功注册视频观测器后,SDK 会在捕捉到每个视频帧时,触发你所注册的上述回调。
- 在加入频道前调用 RegisterVideoFrameObserver 注册原始视频帧观测器。
- 在加入频道前调用 RegisterVideoEncodedFrameObserver 注册编码后的视频帧观测器。
- 加入频道后通过 OnUserJoined 获取 B 组用户的 ID,然后调用 SetRemoteVideoSubscriptionOptions 设置该组用户的 encodedFrameOnly 为
true
。 - 调用
MuteAllRemoteVideoStreams(false)
,开始接收所有远端用户的视频流。此时:- 可通过 IVideoFrameObserver 中的回调获取 A 组用户的原始视频数据,SDK 默认对该数据进行渲染。
- 可通过 IVideoEncodedFrameObserver 中的回调获取 B 组用户的已编码视频数据。
- 该方法需要在加入频道前调用。
- 在处理回调时,你需要考虑视频帧中 width 和 height 参数的变化,因为观测得到的视频帧可能会随以下情况变化:
- 当网络状况差时,分辨率会阶梯式下降。
- 当用户自行调整分辨率时,回调中报告的分辨率也会变化。
参数
- videoFrameObserver
- 接口对象实例。详见 IVideoFrameObserver。如果传入 NULL,则取消注册。
- mode
- 视频数据回调模式,详见 OBSERVER_MODE。
- formatPreference
- 视频数据类型,详见 VIDEO_OBSERVER_FRAME_TYPE。
- position
- 视频观测位置的 bit mask。详见 VIDEO_MODULE_POSITION。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
SetExternalVideoSource
设置外部视频源。
public abstract int SetExternalVideoSource(bool enabled, bool useTexture, EXTERNAL_VIDEO_SOURCE_TYPE sourceType, SenderOptions encodedVideoOption);
详情
参数
- enabled
- 是否启用外部视频源:
true
: 启用外部视频源。SDK 准备接收外部视频帧。false
:(默认)不启用外部视频源。
- useTexture
- 是否使用 texture 格式的外部视频帧:
true
: 使用 texture 格式的外部视频帧。false
: 不使用 texture 格式的外部视频帧。
- sourceType
- 外部视频帧是否编码,详见 EXTERNAL_VIDEO_SOURCE_TYPE。
- encodedVideoOption
- 视频编码选项。如果 sourceType 为 ENCODED_VIDEO_FRAME,则需要设置该参数。你可以联系技术支持了解如何设置该参数。
返回值
- 0:方法调用成功。
- < 0: 方法调用失败。
OnCaptureVideoFrame
获取本地设备采集到的视频数据。
public virtual bool OnCaptureVideoFrame(VIDEO_SOURCE_TYPE sourceType, VideoFrame videoFrame)
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取本地设备采集到的视频数据,然后根据场景需要,对视频数据进行前处理。
完成前处理后,你可以在该回调中直接修改 videoFrame,并将返回值设置为 true
,即可将修改后的视频数据发送给 SDK。
- 此处获取的视频数据未经过前处理,如水印、裁剪、旋转和美颜等。
- 如果你获取到的视频数据类型为 RGBA,SDK 不支持对 alpha 通道的值进行处理。
参数
- sourceType
- 视频源类型,可能的视频源包括:摄像头、屏幕或媒体播放器。详见 VIDEO_SOURCE_TYPE 。
- videoFrame
- 视频帧数据。详见 VideoFrame。
注: 通过该回调获取的视频帧数据格式默认值如下:
- Android:texture
- iOS:cvPixelBuffer
- macOS:YUV 420
- Windows:YUV 420
返回值
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。
OnPreEncodeVideoFrame
获取本地视频编码前的视频数据。
public virtual bool OnPreEncodeVideoFrame(VIDEO_SOURCE_TYPE sourceType, VideoFrame videoFrame)
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取编码前的视频数据,然后根据场景需要,对视频数据进行处理。
完成处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。
- 你需要通过 GetObservedFramePosition 设置观测 POSITION_PRE_ENCODER(1 << 2) 后,才能使用该回调获取本地视频编码前的视频数据。
- 此处获取的视频数据已经过前处理,如裁剪、旋转和美颜等。
参数
- sourceType
-
视频源的类型。详见 VIDEO_SOURCE_TYPE。
- videoFrame
- 视频帧数据。详见 VideoFrame。
注: 通过该回调获取的视频帧数据格式默认值如下:
- Android:texture
- iOS:cvPixelBuffer
- macOS:YUV 420
- Windows:YUV 420
返回值
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。
OnRenderVideoFrame
获取远端发送的视频数据。
public virtual bool OnRenderVideoFrame(string channelId, uint remoteUid, VideoFrame videoFrame)
成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取远端发送的渲染前的视频数据,然后根据场景需要,对视频数据进行处理。
参数
- remoteUid
- 发送该帧视频的远端用户 ID。
- videoFrame
- 视频帧数据。详见 VideoFrame。
注: 通过该回调获取的视频帧数据格式默认值如下:
- Android:texture
- iOS:cvPixelBuffer
- macOS:YUV 420
- Windows:YUV 420
- channelId
- 频道 ID。
返回值
true
:设置 SDK 接收视频帧。false
:设置 SDK 丢弃视频帧。