struct  VideoFrame
 

Public 类型

enum  VIDEO_FRAME_TYPE { FRAME_TYPE_YUV420 = 0, FRAME_TYPE_YUV422 = 1, FRAME_TYPE_RGBA = 2 }
 
enum  VIDEO_OBSERVER_POSITION { POSITION_POST_CAPTURER = 1 << 0, POSITION_PRE_RENDERER = 1 << 1, POSITION_PRE_ENCODER = 1 << 2 }
 

Public 成员函数

virtual bool onCaptureVideoFrame (VideoFrame &videoFrame)=0
 
virtual bool onPreEncodeVideoFrame (VideoFrame &videoFrame)
 
virtual bool onRenderVideoFrame (unsigned int uid, VideoFrame &videoFrame)=0
 
virtual VIDEO_FRAME_TYPE getVideoFormatPreference ()
 
virtual bool getRotationApplied ()
 
virtual bool getMirrorApplied ()
 
virtual bool getSmoothRenderingEnabled ()
 
virtual uint32_t getObservedFramePosition ()
 
virtual bool isMultipleChannelFrameWanted ()
 
virtual bool onRenderVideoFrameEx (const char *channelId, unsigned int uid, VideoFrame &videoFrame)
 

详细描述

成员枚举类型说明

◆ VIDEO_FRAME_TYPE

视频帧类型

枚举值
FRAME_TYPE_YUV420 

0: YUV420

FRAME_TYPE_YUV422 

1: YUV422

FRAME_TYPE_RGBA 

2: RGBA

◆ VIDEO_OBSERVER_POSITION

视频观测位置

枚举值
POSITION_POST_CAPTURER 

1: 本地采集视频数据后的位置,对应 onCaptureVideoFrame 回调。

POSITION_PRE_RENDERER 

2: 接收远端发送视频前的位置,对应 onRenderVideoFrame 回调。

POSITION_PRE_ENCODER 

4: 本地视频编码前的位置,对应 onPreEncodeVideoFrame 回调。

成员函数说明

◆ onCaptureVideoFrame()

virtual bool agora::media::IVideoFrameObserver::onCaptureVideoFrame ( VideoFrame videoFrame)
pure virtual

获取本地摄像头采集到的视频数据。

成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取本地摄像头采集到的视频数据,然后根据场景需要,对视频数据进行前处理。

完成前处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。

注解
如果你获取到的视频数据类型为 RGBA,Agora 不支持将处理后的 RGBA 数据通过该回调再发送回 SDK。
参数
videoFrame视频帧数据,详见 VideoFrame
返回
如果视频前处理失败,是否忽略该帧视频:
  • true:不忽略
  • false:忽略,则该帧数据不再发送回 SDK

◆ onPreEncodeVideoFrame()

virtual bool agora::media::IVideoFrameObserver::onPreEncodeVideoFrame ( VideoFrame videoFrame)
inlinevirtual
自从
v3.0.0

获取本地视频编码前的视频数据。

成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取编码前的视频数据,然后根据场景需要,对视频数据进行处理。

完成处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。

注解
  • 自 v3.0.1,必须通过 getObservedFramePosition 设置观测 POSITION_PRE_ENCODER(1 << 2) 后, 才能使用该回调获取本地视频编码前的视频数据。
  • 此处获取的视频数据已经过前处理,如裁剪、旋转和美颜等。
  • 如果你获取到的视频数据类型为 RGBA,Agora 不支持将处理后的 RGBA 数据通过该回调再发送回 SDK。
参数
videoFrame视频帧数据,详见 VideoFrame
返回
如果视频前处理失败,是否忽略该帧视频:
  • true:不忽略
  • false:忽略,该帧数据不再发送回 SDK

◆ onRenderVideoFrame()

virtual bool agora::media::IVideoFrameObserver::onRenderVideoFrame ( unsigned int  uid,
VideoFrame videoFrame 
)
pure virtual

获取远端发送的视频数据。

成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调。你可以在回调中获取远端发送的视频数据,然后根据场景需求,对视频数据进行后处理。

完成后处理后,你可以在该回调中,传入处理后的视频数据将其发送回 SDK。

注解
如果你获取到的视频数据类型为 RGBA,Agora 不支持将处理后的 RGBA 数据通过该回调再发送回 SDK。
参数
uid发送该帧视频的远端用户 ID
videoFrame视频帧数据,详见 VideoFrame
返回
如果视频后处理失败,是否忽略该帧视频:
  • true:不忽略
  • false:忽略,则该帧数据不再发送回SDK

◆ getVideoFormatPreference()

virtual VIDEO_FRAME_TYPE agora::media::IVideoFrameObserver::getVideoFormatPreference ( )
inlinevirtual

请求视频数据格式。

如果你想获取 420 格式以外的视频数据,需要在调用 registerVideoFrameObserver 方法时注册该回调。 成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调,你需要在该回调返回值中设置期望的视频数据格式。

返回
设置 SDK 输出的原始数据格式 VIDEO_FRAME_TYPE

◆ getRotationApplied()

virtual bool agora::media::IVideoFrameObserver::getRotationApplied ( )
inlinevirtual

设置视频数据旋转。

如果你希望获取的视频数据已根据 VideoFrame 中的旋转信息 rotation 进行旋转,需要在调用 registerVideoFrameObserver 方法时注册该回调。 成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调,你需要在该回调的返回值中设置是否对采集到的视频数据进行旋转。

注解
该功能仅支持 RGBA 格式的视频数据。
返回
设置 SDK 输出视频数据时是否作旋转处理:
  • true:旋转
  • false:(默认)不旋转

◆ getMirrorApplied()

virtual bool agora::media::IVideoFrameObserver::getMirrorApplied ( )
inlinevirtual

设置视频数据镜像。

如果你希望获取的视频数据为原始视频的镜像,需要在调用 registerVideoFrameObserver 方法时注册该回调,成功注册视频数据观测器后,SDK 会在捕捉到每个视频帧时触发该回调,你需要在该回调的返回值中设置是否对原始视频数据作镜像处理。

注解
该功能仅支持 RGBA 格式的视频数据。
返回
设置 SDK 输出视频数据时是否作镜像处理:
  • true:镜像
  • false:(默认)不镜像

◆ getSmoothRenderingEnabled()

virtual bool agora::media::IVideoFrameObserver::getSmoothRenderingEnabled ( )
inlinevirtual
自从
v3.0.0

设置获取的视频帧是否平滑输出。

如果你希望从 onRenderVideoFrame 获取的视频帧出帧时间间隔更均匀,可以在 调用 registerVideoFrameObserver 方法时 注册 getSmoothRenderingEnabled 回调,并将该回调的返回值设为 true

注解
  • 该回调需要在加入频道前注册。
  • 该回调适用于对获取的视频帧处理后自渲染的场景,不适用于处理后传回 SDK 的场景
返回
设置是否对获取的视频帧平滑处理:
  • true:平滑处理
  • false:(默认)不平滑处理

◆ getObservedFramePosition()

virtual uint32_t agora::media::IVideoFrameObserver::getObservedFramePosition ( )
inlinevirtual

设置视频观测位置。

自从
v3.0.1

成功注册视频数据观测器后,SDK 会在每个特定的视频帧处理节点通过该回调来判断是否 触发 onCaptureVideoFrameonRenderVideoFrameonPreEncodeVideoFrame 回调,供你观测本地采集视频数据、远端发送的视频数据以及编码前的视频数据。你可以根据场景需求,通过修改 getObservedFramePosition 的返回值,设置你需要观测的某个或多个位置:

  • POSITION_POST_CAPTURER(1 << 0),本地采集视频数据后的位置,对应 onCaptureVideoFrame 回调。
  • POSITION_PRE_RENDERER(1 << 1),接收远端发送视频前的位置,对应 onRenderVideoFrame 回调。
  • POSITION_PRE_ENCODER(1 << 2),本地视频编码前的位置,对应 onPreEncodeVideoFrame 回调。
注解
  • 观测多个位置时,需要使用 '|' (或)运算符。
  • 该回调默认观测 POSITION_POST_CAPTURER(1 << 0)POSITION_PRE_RENDERER(1 << 1)
  • 为降低设备耗能,你可以根据实际需求适当减少观测位置。
返回
设置观测位置的 bit mask: VIDEO_OBSERVER_POSITION

◆ isMultipleChannelFrameWanted()

virtual bool agora::media::IVideoFrameObserver::isMultipleChannelFrameWanted ( )
inlinevirtual

多频道场景下,设置是否获取多个频道的视频数据。

自从
v3.0.1

成功注册视频观测器后,SDK 会在捕捉到每个视频帧的时候触发该回调。

在多频道场景下,如果你希望从多个频道获取视频数据,则需要将该回调的返回值设为 true。成功设置后,SDK 会触发 onRenderVideoFrameEx 回调, 向你发送接收的远端视频帧,并报告该视频帧来自哪个频道。

注解
  • 一旦你将该回调的返回值设为 true,则 SDK 只触发 onRenderVideoFrameEx 来返回接收到的视频数据。 onRenderVideoFrame 将不会被触发。在多频道场景下,我们建议你将该回调的返回值设为 true
  • 如果你将该回调返回值设为 false,则 SDK 只触发 onRenderVideoFrame 来返回接收到的视频数据。
返回
  • true: 获取多个频道的视频数据。
  • false: 不获取多个频道的视频数据。

◆ onRenderVideoFrameEx()

virtual bool agora::media::IVideoFrameObserver::onRenderVideoFrameEx ( const char *  channelId,
unsigned int  uid,
VideoFrame videoFrame 
)
inlinevirtual

获取各频道的视频播放数据。

成功注册视频观测器后,如果你将 isMultipleChannelFrameWanted 的返回值设为 true,则 SDK 会在捕捉到各频道内的视频数据时,触发该回调,将视频数据发送给你。

获取该回调中的视频数据后,你可以根据场景需要,对视频数据进行美颜、滤镜等后处理,然后将处理后的视频数据再通过该回调的 videoFrame 参数发送回 SDK。

注解
该回调不支持将处理后的 RGBA 格式的视频数据发送回 SDK。
参数
channelId该视频帧所在的频道名
uid发送该帧视频的用户 ID
videoFrameVideoFrame
返回
如果对该视频帧的后处理失败,是否将其发送回 SDK:
  • true: 发送
  • false: 不发送