视频处理
介绍跟视频处理相关的方法和回调。
addVideoWatermark [1/2]
添加本地视频水印。
virtual int addVideoWatermark(const RtcImage& watermark) = 0;
- 弃用:
- 该方法已废弃,请使用 addVideoWatermark [2/2] 作为替代。
该方法将一张 PNG 图片作为水印添加到本地发布的直播视频流上,同一直播频道中的用户,旁路推流观众,甚至采集设备都能看到或采集到该水印图片。如果你仅仅希望在旁路直播推流中添加水印,请参考 setLiveTranscoding中描述的用法。
- 在本地直播和旁路推流中,URL 的定义不同。本地直播中,URL 指本地直播视频上图片的本地绝对/相对路径;旁路推流中,URL 指旁路推流视频上图片的地址。
- 待添加图片的源文件格式必须是 PNG。如果待添加的 PNG 图片的尺寸与你该方法中设置的尺寸不一致,SDK 会对 PNG 图片进行裁剪,以与设置相符。
- 声网当前只支持在直播视频流中添加一个水印,后添加的水印会替换掉之前添加的水印。
参数
- watermark
- 待添加在本地直播推流中的水印图片:RtcImage。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
addVideoWatermark [2/2]
添加本地视频水印。
virtual int addVideoWatermark(const char* watermarkUrl, const WatermarkOptions& options) = 0;
该方法将一张 PNG 图片作为水印添加到本地发布的直播视频流上,同一直播频道中的用户、旁路直播观众和采集设备都能看到或采集到该水印图片。 Agora 当前只支持在直播视频流中添加一个水印,后添加的水印会替换掉之前添加的水印。
- 如果视频编码方向(ORIENTATION_MODE)固定为横屏或自适应模式下的横屏,那么水印使用横屏坐标。
- 如果视频编码方向(ORIENTATION_MODE)固定为竖屏或自适应模式下的竖屏,那么水印使用竖屏坐标。
- 设置水印坐标时,水印的图像区域不能超出 setVideoEncoderConfiguration 方法中设置的视频尺寸,否则超出部分将被裁剪。
- 你需要在调用 enableVideo 方法之后再调用该方法。
- 如果你只是在旁路推流时添加水印,你可以使用该方法或 setLiveTranscoding 方法设置水印。
- 待添加水印图片必须是 PNG 格式。该方法支持所有像素格式的 PNG 图片:RGBA、RGB、Palette、Gray 和 Alpha_gray。
- 如果待添加的 PNG 图片的尺寸与你在该方法中设置的尺寸不一致,SDK 会对 PNG 图片进行缩放或裁剪,以与设置相符。
- 如果你已经使用 startPreview [1/2] 方法开启本地视频预览,那么该方法的
visibleInPreview
可设置水印在预览时是否可见。 - 如果你已设置本地视频为镜像模式,那么此处的本地水印也为镜像。为避免本地用户看本地视频时的水印也被镜像,Agora 建议你不要对本地视频同时使用镜像和水印功能,请在应用层实现本地水印功能。
参数
- watermarkUrl
- 待添加的水印图片的本地路径。该方法支持从本地绝对/相对路径添加水印图片。
- options
- 待添加的水印图片的设置选项,详见 WatermarkOptions 。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
clearVideoWatermarks
删除已添加的视频水印。
virtual int clearVideoWatermarks() = 0;
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
createCustomVideoTrack
创建一个自定义的视频轨道。
virtual video_track_id_t createCustomVideoTrack() = 0;
- 调用该方法创建视频轨道并获得视频轨道 ID。
- 在每个频道的 ChannelMediaOptions 中,将 customVideoTrackId 参数设置为你想要发布的视频轨道 ID,并将 publishCustomVideoTrack 设置为
true
。 - 调用 pushVideoFrame 将 videoTrackId 指定为步骤 2 中指定的视频轨道 ID,即可实现在多个频道中发布对应的自定义视频源。
返回值
- 方法调用成功,返回视频轨道 ID 作为该视频轨道的唯一标识。
- 方法调用失败,返回负值。
destroyCustomVideoTrack
销毁指定的视频轨道。
virtual int destroyCustomVideoTrack(video_track_id_t video_track_id) = 0;
参数
- video_track_id
- 调用 createCustomVideoTrack 方法返回的视频轨道 ID。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
disableVideo
关闭视频模块。
virtual int disableVideo() = 0;
该方法用于关闭视频模块,可以在加入频道前或者通话中调用,在加入频道前调用,则自动开启纯音频模式,在通话中调用则由视频模式切换为纯音频模式。 调用 enableVideo 方法可开启视频模式。
成功调用该方法后,远端会触发 onUserEnableVideo (false
) 回调。
- 该方法设置的是内部引擎为禁用状态,在离开频道后仍然有效。
- 该方法重置整个引擎,响应时间较慢,因此声网建议使用如下方法来控制视频模块:
- enableLocalVideo: 是否启动摄像头采集并创建本地视频流。
- muteLocalVideoStream: 是否发布本地视频流。
- muteRemoteVideoStream: 是否接收并播放远端视频流。
- muteAllRemoteVideoStreams: 是否接收并播放所有远端视频流。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
enableContentInspect
开启/关闭视频截图上传。
virtual int enableContentInspect(bool enabled, const media::ContentInspectConfig &config) = 0;
开启视频截图上传后,SDK 会根据你在 ContentInspectConfig 中设置的模块类型和频率对本地用户发送的视频进行截图和上传。截图完成后,Agora 服务器会以 HTTPS 请求的形式,向你的服务器发送回调通知,并将所有截图发送至你指定的第三方云存储。
- 调用该方法前,请确保已联系技术支持开通 Agora 视频截图上传服务。
- 该方法依赖于视频截图上传动态库
libagora_content_inspect_extension.dll
,如果删除该动态库会导致无法正常开启该功能。
参数
- enabled
- 设置是否开启视频截图上传:
true
:开启视频截图上传。false
:关闭视频截图上传。
- config
- 视频截图上传配置。详见 ContentInspectConfig。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableFaceDetection
开启/关闭本地人脸检测。
virtual int enableFaceDetection(bool enabled) = 0;
该方法在加入频道前后都能调用。
- 摄像头采集的画面大小
- 人脸在 view 中的位置
- 人脸距设备屏幕的距离
该方法需要在相机启动(如通过调用 startPreview [1/2] 或 joinChannel [2/2] 实现)后调用。
参数
- enabled
- 是否开启人脸检测:
true
:开启人脸检测。false
:(默认)关闭人脸检测。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableLocalVideo
开关本地视频采集。
virtual int enableLocalVideo(bool enabled) = 0;
该方法禁用或重新启用本地视频采集,不影响接收远端视频。
调用 enableVideo 后,本地视频采集即默认开启。你可以调用 enableLocalVideo(false
) 关闭本地视频采集。关闭后如果想要重新开启,则可调用 enableLocalVideo(true
)。
成功禁用或启用本地视频采集后,远端会触发 onRemoteVideoStateChanged 回调。
- 该方法在加入频道前后都能调用。
- 该方法设置内部引擎为启用状态,在离开频道后仍然有效。
参数
- enabled
-
是否开启本地视频采集。
true
:(默认)开启本地视频采集。false
: 关闭本地视频采集。关闭后,远端用户会接收不到本地用户的视频流;但本地用户依然可以接收远端用户的视频流。设置为false
时,该方法不需要本地有摄像头。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableMultiCamera
开启或关闭多路摄像头采集。
#if defined(__APPLE__) && TARGET_OS_IOS virtual int enableMultiCamera(bool enabled, const CameraCapturerConfiguration& config) = 0; #endif
- 自从
- v4.1.0
- 调用该方法开启多路摄像头采集。
- 调用 startPreview [1/2] 开启本地视频预览。
- 调用 startSecondaryCameraCapture 开始通过第二个摄像头进行采集。
- 调用 joinChannelEx 并设置 publishSecondaryCameraTrack 为
true
,在频道内发布第二路摄像头采集的视频流。
- 调用 stopSecondaryCameraCapture。
- 调用该方法并将 enabled 设置为
false
。
- 如果在 startPreview [1/2] 之前开启,则本地视频预览会同时出现两个摄像头采集的画面。
- 如果在 startPreview [1/2] 之后开启,SDK 会先停止当前的摄像头采集,然后再开启原摄像头和第二个摄像头,本地视频预览会出现短暂黑屏、然后自动恢复正常。
该方法仅适用于 iOS。
使用多路摄像头采集视频时,请确保系统版本为 13.0 及以上。
- iPhone XR
- iPhone XS
- iPhone XS Max
- iPad Pro (第三代及以上)
参数
- enabled
- 是否开启多摄像头视频采集模式:
true
:开启多摄像头采集模式,SDK 使用多路摄像头采集视频。false
:关闭多摄像头采集模式,SDK 仅使用单路摄像头采集视频。
- config
- 第二个摄像头的采集配置。详见 CameraCapturerConfiguration。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableRemoteSuperResolution
开启或关闭远端视频超分辨率。
virtual int enableRemoteSuperResolution(uid_t userId, bool enable) = 0;
该功能可以有效提升本地用户看到的远端视频画面的分辨率,即:将接收到的指定远端用户的视频宽和高(像素)均扩大为 2 倍。
- 如果参数 superResolutionType >0:超分辨率已开启。
- 如果参数 superResolutionType =0:超分辨率未开启。
超分辨率功能会额外耗费系统资源。为平衡视觉体验和系统消耗,只可以对一个远端用户开启超分辨率,并且远端用户视频的原始分辨率在 Android 设备上不能超过 640 × 360,在 iOS 设备上不能超过 640 × 480。
- 该方法仅适用于 Android 和 iOS 平台。
- 该方法依赖于超分辨率动态库
libagora_super_resolution_extension.so (Android); AgoraSuperResolutionExtension.xcframework (iOS)
,如果删除该动态库会导致无法正常开启该功能。 - 该方法对用户设备具有一定要求,Agora 推荐你使用如下或更好的设备:
- Android:
- VIVO:V1821A,NEX S,1914A,1916A,1962A,1824BA,X60,X60 Pro
- OPPO:PCCM00,Find X3
- OnePlus:A6000
- Xiaomi:Mi 8,Mi 9,Mi 10,Mi 11,MIX3,Redmi K20 Pro
- SAMSUNG:SM-G9600,SM-G9650,SM-N9600,SM-G9708,SM-G960U,SM-G9750,S20,S21
- HUAWEI:SEA-AL00,ELE-AL00,VOG-AL00,YAL-AL10,HMA-AL00,EVR-AN00,nova 4,nova 5 Pro,nova 6 5G,nova 7 5G,Mate 30,Mate 30 Pro,Mate 40,Mate 40 Pro,P40,P40 Pro,华为平板 M6,MatePad 10.8
- iOS:
- iPhone XR
- iPhone XS
- iPhone XS Max
- iPhone 11
- iPhone 11 Pro
- iPhone 11 Pro Max
- iPhone 12
- iPhone 12 mini
- iPhone 12 Pro
- iPhone 12 Pro Max
- iPhone 12 SE(第二代)
- iPad Pro 11-inch(第三代)
- iPad Pro 12.9-inch(第三代)
- iPad Air(第三代)
- iPad Air(第四代)
- Android:
参数
- userId
- 远端用户 ID。
- enable
- 是否对远端视频开启超分辨率:
true
: 开启超分辨率。false
: 关闭超分辨率。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableVideo
启用视频模块。
virtual int enableVideo() = 0;
该方法可以在加入频道前或者通话中调用,在加入频道前调用则自动开启视频模块;在通话中调用则由音频模式切换为视频模式。调用 disableVideo 方法可关闭视频模式。
成功调用该方法后,远端会触发 onRemoteVideoStateChanged 回调。
- 该方法设置的是内部引擎为启用状态,在离开频道后仍然有效。
- 该方法重置整个引擎,响应时间较慢,因此声网建议使用如下方法来控制视频模块:
- enableLocalVideo: 是否启动摄像头采集并创建本地视频流。
- muteLocalVideoStream: 是否发布本地视频流。
- muteRemoteVideoStream: 是否接收并播放远端视频流。
- muteAllRemoteVideoStreams: 是否接收并播放所有远端视频流。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
enableVideoImageSource
设置是否开启垫片推流功能。
virtual int enableVideoImageSource(bool enable, const ImageTrackOptions& options) = 0;
在发布视频流时,你可以调用该方法使用自定义图片来替代当前发布的视频流画面进行推流。
开启该功能后,你可以通过 ImageTrackOptions 参数自定义垫片图片;在你关闭垫片功能之后,远端用户看到的依旧是当前你发布的视频流画面。
参数
- enable
- 是否开启垫片推流:
true
:开启垫片推流。false
:(默认)关闭垫片推流。
- options
- 垫片图片设置,详见 ImageTrackOptions。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
enableVirtualBackground
开启/关闭虚拟背景。
virtual int enableVirtualBackground(bool enabled, VirtualBackgroundSource backgroundSource, SegmentationProperty segproperty, agora::media::MEDIA_SOURCE_TYPE type = agora::media::PRIMARY_CAMERA_SOURCE) = 0;
虚拟背景功能支持你使用自定义的背景图替代本地用户原来的背景图或者将背景虚化处理。成功开启虚拟背景功能后,频道内所有用户都能看到自定义的背景。
请在 enableVideo 或 startPreview [1/2] 之后调用该方法。
- 该功能对设备性能要求较高,Agora 推荐你在搭载如下芯片的设备上使用:
- 骁龙 700 系列 750G 及以上
- 骁龙 800 系列 835 及以上
- 天玑 700 系列 720 及以上
- 麒麟 800 系列 810 及以上
- 麒麟 900 系列 980 及以上
- CPU 为 i5 及更好的设备
- 搭载 A9 及以上芯片的如下设备:
- iPhone 6S 及以上
- iPad Air 第三代及以上
- iPad 第五代及以上
- iPad Pro 第一代及以上
- iPad mini 第五代及以上
- Agora 建议你在满足如下条件的场景中使用该功能:
- 使用高清摄像设备、摄像环境光照均匀。
- 摄像画面中,物件较少,用户的人像为半身人像且基本无遮挡,背景色较单一且与用户着装颜色不同。
- 该方法依赖于虚拟背景动态库
libagora_segmentation_extension.dll
,如果删除该动态库会导致无法正常开启该功能。
参数
- enabled
- 是否开启虚拟背景:
true
: 开启虚拟背景。false
: 关闭虚拟背景。
- backgroundSource
- 自定义的背景图。详见 VirtualBackgroundSource。为将自定义背景图的分辨率与 SDK 的视频采集分辨率适配,SDK 会在保证自定义背景图不变形的前提下,对自定义背景图进行缩放和裁剪。
- segproperty
- 背景图像的处理属性。详见 SegmentationProperty。
- type
- 视频源类型。详见 MEDIA_SOURCE_TYPE。
注意: 在该方法中,该参数仅支持以下两种设置:
- 默认值为 PRIMARY_CAMERA_SOURCE。
- 如果要使用第二个摄像头采集视频,将该参数设置为 SECONDARY_CAMERA_SOURCE。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
- -1:自定义的背景图不存在。请检查 VirtualBackgroundSource 中 source 的值。
- -2:自定义的背景图颜色格式出错。请检查 VirtualBackgroundSource 中 color 的值。
- -3:设备不支持使用虚拟背景。
pushVideoFrame
推送外部原始视频帧到 SDK。
virtual int pushVideoFrame(base::ExternalVideoFrame* frame, unsigned int videoTrackId = 0) = 0;
调用 createCustomVideoTrack 方法获得视频轨道 ID,在每个频道的 ChannelMediaOptions 中,将 customVideoTrackId 参数设置为你想要发布的视频轨道 ID,并将 publishCustomVideoTrack 设置为 true
后,你可以调用本方法将未编码的外部视频帧推送到 SDK。
参数
- frame
-
待推送的视频帧。详见 ExternalVideoFrame。
- videoTrackId
- 调用 createCustomVideoTrack 方法返回的视频轨道 ID。默认值为 0。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setBeautyEffectOptions
设置美颜效果选项。
virtual int setBeautyEffectOptions(bool enabled, BeautyOptions options) = 0;
开启本地美颜功能,并设置美颜效果选项。
- 请在 enableVideo 或 startPreview [1/2] 之后调用该方法。
- 该方法依赖于视频增强动态库
libagora_clear_vision_extension.dll
,如果删除该动态库会导致无法正常开启该功能。
参数
- enabled
- 是否开启美颜功能:
true
: 开启美颜功能。false
:(默认)关闭美颜功能。
- options
- 美颜选项,详细定义见 BeautyOptions。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setColorEnhanceOptions
设置色彩增强功能。
virtual int setColorEnhanceOptions(bool enabled, const ColorEnhanceOptions& options) = 0;
摄像头采集到的视频画面可能存在色彩失真的现象。色彩增强功能可以通过智能调节饱和度和对比度等视频特性,提升视频色彩丰富度和色彩还原度,最终使视频画面更生动。
你可以调用该方法开启色彩增强功能并设置色彩增强的效果。
- 请在 enableVideo 后调用该方法。
- 色彩增强对设备性能有一定要求。开启色彩增强后,如果设备出现严重发烫等问题,Agora 推荐你将色彩增强等级修改为消耗性能较少的等级或关闭色彩增强功能。
- 该方法和 setExtensionProperty 均可开启色彩增强功能:
- 当你使用 SDK 采集视频时,Agora 推荐使用该方法(该方法只可对 SDK 采集的视频起作用)。
- 当你使用外部的视频源实现自定义视频采集,或者将外部视频源发送给 SDK 时,Agora 推荐使用 setExtensionProperty 方法。
- 该方法依赖于视频增强动态库
libagora_clear_vision_extension.dll
,如果删除该动态库会导致无法正常开启该功能。
参数
- enabled
- 是否开启色彩增强功能:
true
:开启色彩增强功能。false
:(默认)关闭色彩增强功能。
- options
- 色彩增强选项,用于设置色彩增强的效果。详见 ColorEnhanceOptions。
- type
- 媒体资源类型,详见 MEDIA_SOURCE_TYPE。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setLocalRenderMode [1/2]
设置本地视图显示模式。
virtual int setLocalRenderMode(media::base::RENDER_MODE_TYPE renderMode) = 0;
- 弃用:
- 该方法已废弃,请使用 setLocalRenderMode [2/2] 作为替代。
该方法设置本地视图显示模式。 App 可以多次调用此方法更改显示模式。
参数
- renderMode
-
本地视图显示模式。详见 RENDER_MODE_TYPE。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setLocalRenderMode [2/2]
更新本地视图显示模式。
virtual int setLocalRenderMode(media::base::RENDER_MODE_TYPE renderMode, VIDEO_MIRROR_MODE_TYPE mirrorMode) = 0;
初始化本地用户视图后,你可以调用该方法更新本地用户视图的渲染和镜像模式。该方法只影响本地用户看到的视频画面,不影响本地发布视频。
- 请在调用 setupLocalVideo 方法初始化本地视图后,调用该方法。
- 你可以在通话中多次调用该方法,多次更新本地用户视图的显示模式。
参数
- renderMode
-
本地视图显示模式。详见 RENDER_MODE_TYPE。
- mirrorMode
-
本地视图的镜像模式,详见 VIDEO_MIRROR_MODE_TYPE。
注意: 如果你使用前置摄像头,默认启动本地用户视图镜像模式;如果你使用后置摄像头,默认关闭本地视图镜像模式。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
setLocalVideoMirrorMode
设置本地视频镜像。
virtual int setLocalVideoMirrorMode(VIDEO_MIRROR_MODE_TYPE mirrorMode) = 0;
- 弃用:
- 该方法已废弃。
参数
- mirrorMode
-
本地视频镜像模式。详见 VIDEO_MIRROR_MODE_TYPE。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setLowlightEnhanceOptions
设置暗光增强功能。
virtual int setLowlightEnhanceOptions(bool enabled, const LowlightEnhanceOptions& options) = 0;
暗光增强功能可以在光线亮度偏低(如背光、阴天、暗场景)和亮度不均匀的环境下自适应调整视频画面的亮度值,恢复或凸显图像的细节信息,最终提升视频图像的整体视觉效果。
你可以调用该方法开启暗光增强功能并设置暗光增强的效果。
- 请在 enableVideo 后调用该方法。
- 暗光增强对设备性能有一定要求。开启暗光增强后,如果设备出现严重发烫等问题,Agora 推荐你将暗光增强等级修改为消耗性能较少的等级或关闭暗光增强功能。
- 该方法和 setExtensionProperty 均可开启暗光增强功能:
- 当你使用 SDK 采集视频时,Agora 推荐使用该方法(该方法只可对 SDK 采集的视频起作用)。
- 当你使用外部的视频源实现自定义视频采集,或者将外部视频源发送给 SDK 时,Agora 推荐使用 setExtensionProperty 方法。
- 该方法依赖于视频增强动态库
libagora_clear_vision_extension.dll
,如果删除该动态库会导致无法正常开启该功能。
参数
- enabled
- 是否开启暗光增强功能:
true
: 开启暗光增强功能。false
:(默认)关闭暗光增强功能。
- options
- 暗光增强选项,用于设置暗光增强的效果。详见 LowlightEnhanceOptions。
- type
- 媒体资源类型,详见 MEDIA_SOURCE_TYPE。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setRemoteRenderMode
更新远端视图显示模式。
virtual int setRemoteRenderMode(uid_t userId, RENDER_MODE_TYPE renderMode, VIDEO_MIRROR_MODE_TYPE mirrorMode) = 0;
初始化远端用户视图后,你可以调用该方法更新远端用户视图在本地显示时的渲染和镜像模式。该方法只影响本地用户看到的视频画面。
- 请在调用 setupRemoteVideo 方法初始化远端视图后,调用该方法。
- 你可以在通话中多次调用该方法,多次更新远端用户视图的显示模式。
参数
- userId
- 远端用户 ID。
- renderMode
-
远端用户视图的渲染模式,详见 RENDER_MODE_TYPE。
- mirrorMode
-
远端用户视图的镜像模式,详见 VIDEO_MIRROR_MODE_TYPE。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setupLocalVideo
初始化本地视图。
virtual int setupLocalVideo(const VideoCanvas& canvas) = 0;
该方法初始化本地视图并设置本地用户视频显示属性,只影响本地用户看到的视频画面,不影响本地发布视频。调用该方法绑定本地视频流的显示视窗(view),并设置本地用户视图的渲染模式和镜像模式。
在 App 开发中,通常在初始化后调用该方法进行本地视频设置,然后再加入频道。退出频道后,绑定仍然有效,如果需要解除绑定,可以调用该方法将参数 view 设为 NULL。
- 该方法在加入频道前后都能调用。
- 如果你希望在通话中更新本地用户视图的渲染或镜像模式,请使用 setLocalRenderMode [2/2] 方法。
参数
- canvas
- 本地视频显示属性。详见 VideoCanvas。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setupRemoteVideo
初始化远端用户视图。
virtual int setupRemoteVideo(const VideoCanvas& canvas) = 0;
该方法绑定远端用户和显示视图,并设置远端用户视图在本地显示时的渲染模式和镜像模式,只影响本地用户看到的视频画面。
调用该方法时需要指定远端视频的用户 ID,一般可以在进频道前提前设置好。如果无法在加入频道前得到远端用户的 ID,可以在收到 onUserJoined 回调时调用该方法。
如需解除某个远端用户的绑定视图,可以调用该方法并将 view 设置为空。
离开频道后,SDK 会清除远端用户视图的绑定关系。
- 如果你希望在通话中更新远端用户视图的渲染或镜像模式,请使用 setRemoteRenderMode 方法。
- 如果你使用了 Agora 录制服务,录制服务会作为一个哑客户端加入频道,因此也会触发 onUserJoined 回调。由于录制服务不会发送视频流,app 无需为它绑定视图。如果 app 无法识别哑客户端,可以在收到 onFirstRemoteVideoDecoded 回调时再绑定远端用户视图。
参数
- canvas
-
远端视频显示属性。详见 VideoCanvas。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setVideoDenoiserOptions
设置视频降噪功能。
virtual int setVideoDenoiserOptions(bool enabled, const VideoDenoiserOptions& options) = 0;
采光不足的环境和低端视频采集设备会使视频图像含有明显的噪声,影响视频画质。在实时互动场景下,视频噪声还会在编码过程中占用码流资源并降低编码效率。
你可以调用该方法开启视频降噪功能并设置视频降噪的效果。
- 请在 enableVideo 后调用该方法。
- 视频降噪对设备性能有一定要求。开启视频降噪后,如果设备出现严重发烫等问题,Agora 推荐你将视频降噪等级修改为消耗性能较少的等级或关闭视频降噪功能。
- 该方法和 setExtensionProperty 均可开启视频降噪功能:
- 当你使用 SDK 采集视频时,Agora 推荐使用该方法(该方法只可对 SDK 采集的视频起作用)。
- 当你使用外部的视频源实现自定义视频采集,或者将外部视频源发送给 SDK 时,Agora 推荐使用 setExtensionProperty 方法。
- 该方法依赖于视频增强动态库
libagora_clear_vision_extension.dll
,如果删除该动态库会导致无法正常开启该功能。
参数
- enabled
- 是否开启视频降噪功能:
true
: 开启视频降噪功能。false
:(默认)关闭视频降噪功能。
- options
- 视频降噪选项,用于设置视频降噪的效果。详见 VideoDenoiserOptions。
- type
- 媒体资源类型,详见 MEDIA_SOURCE_TYPE。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setVideoEncoderConfiguration
设置视频编码属性。
virtual int setVideoEncoderConfiguration(const VideoEncoderConfiguration& config) = 0;
设置本地视频的编码属性。
参数
- config
- 视频编码参数配置。详见 VideoEncoderConfiguration。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
startLocalVideoTranscoder
开启本地合图。
virtual int startLocalVideoTranscoder(const LocalTranscoderConfiguration& config) = 0;
- 在多主播直播场景或使用旁路推流功能时,你可以在本地将多个主播的画面合并为一个画面。
- 将本地采集的多路视频流(例如:摄像头采集的视频、屏幕共享流、视频文件、图片等)合并为一路视频流,加入频道后推送已合图的视频流。
参数
- config
-
本地合图的配置,详见LocalTranscoderConfiguration。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
startPreview [1/2]
开启视频预览。
virtual int startPreview() = 0;
- 调用 setupLocalVideo 设置预览窗口及属性。
- 调用 enableVideo 开启视频功能。
- 本地预览默认开启镜像功能。
- 如果调用 leaveChannel [1/2]退出频道,本地预览依然处于开启状态,如需要关闭本地预览,需要调用 stopPreview [1/2]。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
startPreview [2/2]
开启视频预览并指定预览的视频源。
virtual int startPreview(VIDEO_SOURCE_TYPE sourceType) = 0;
- 调用 setupLocalVideo 设置预览窗口及属性。
- 调用 enableVideo 开启视频功能。
- 本地预览默认开启镜像功能。
- 如果调用 leaveChannel [1/2] 退出频道,本地预览依然处于开启状态,如需要关闭本地预览,需要调用 stopPreview [2/2]。
- 该方法中设置的视频源类型需要跟 setupLocalVideo 中 VideoCanvas 的视频源类型一致。
参数
- sourceType
- 视频源的类型,详见 VIDEO_SOURCE_TYPE。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
startPrimaryCameraCapture
开始通过第一个摄像头采集视频。
virtual int startPrimaryCameraCapture(const CameraCapturerConfiguration& config) = 0;
参数
- config
-
视频采集配置。详见 CameraCapturerConfiguration。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
startSecondaryCameraCapture
开始通过第二个摄像头采集视频。
virtual int startSecondaryCameraCapture(const CameraCapturerConfiguration& config) = 0;
在 iOS 平台上调用该方法前,需要调用 enableMultiCamera 并设置 enabled 为 true
。
参数
- config
-
视频采集配置。详见 CameraCapturerConfiguration。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
stopLocalVideoTranscoder
停止本地合图。
virtual int stopLocalVideoTranscoder() = 0;
调用 startLocalVideoTranscoder 后, 如果你希望停止本地合图,请调用该方法。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
stopPreview [1/2]
停止视频预览。
virtual int stopPreview() = 0;
调用 startPreview [1/2] 开启预览后,如果你想关闭本地视频预览,请调用该方法。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
stopPreview [2/2]
停止视频预览。
virtual int stopPreview(VIDEO_SOURCE_TYPE sourceType) = 0;
调用 startPreview [2/2] 开启预览后,如果你想关闭本地视频预览,请调用该方法。
参数
- sourceType
- 视频源的类型,详见 VIDEO_SOURCE_TYPE。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
stopPrimaryCameraCapture
停止通过第一个摄像头采集视频。
virtual int stopPrimaryCameraCapture() = 0;
调用 startPrimaryCameraCapture 后,你可以调用本方法停止通过第一个摄像头采集视频。
如果你正在使用本地合图功能,调用该方法会造成本地合图中断。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
stopSecondaryCameraCapture
停止通过第二个摄像头采集视频。
virtual int stopSecondaryCameraCapture() = 0;
调用 startSecondaryCameraCapture 后,你可以调用本方法停止通过第二个摄像头采集视频。
在 iOS 平台上,如果要关闭多路摄像头采集,需要在调用该方法之后调用 enableMultiCamera 并设置 enabled 为 false
。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
takeSnapshot
获取视频截图。
virtual int takeSnapshot(uid_t uid, const char* filePath) = 0;
该方法用于对指定用户的视频流进行截图,生成一张 JPG 格式的图片,并保存至指定的路径。
该方法是异步操作,调用返回时 SDK 并没有真正获取截图。成功调用该方法后,SDK 会触发 onSnapshotTaken 回调报告截图是否成功和获取截图的详情。
- 该方法需要在加入频道后调用。
- 该方法对 ChannelMediaOptions 中指定发布的视频流进行截图。
- 如果用户的视频经过前处理,例如,添加了水印或美颜,生成的截图会包含前处理效果。
参数
- uid
- 用户 ID。如果要对本地用户的视频截图,则设为 0。
- filePath
-
截图的本地保存路径,需精确到文件名及格式, 例如:
- Windows:
C:\Users\<user_name>\AppData\Local\Agora\<process_name>\example.jpg
- iOS:
/App Sandbox/Library/Caches/example.jpg
- macOS:
~/Library/Logs/example.jpg
- Android:
/storage/emulated/0/Android/data/<package name>/files/example.jpg
- Windows:
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
onFacePositionChanged
报告本地人脸检测结果。
virtual void onFacePositionChanged(int imageWidth, int imageHeight, const Rectangle* vecRectangle, const int* vecDistance, int numFaces) { (void) imageWidth; (void) imageHeight; (void) vecRectangle; (void) vecDistance; (void) numFaces; }
enableFaceDetection(true)
开启本地人脸检测后,你可以通过该回调实时获取以下人脸检测的信息:
- 摄像头采集的画面大小
- 人脸在 view 中的位置
- 人脸距设备屏幕的距离
其中,人脸距设备屏幕的距离由 SDK 通过摄像头采集的画面大小和人脸在 view 中的位置拟合计算得出。
- 该回调仅适用于 Android 和 iOS 平台。
- 当检测到摄像头前的人脸消失时,该回调会立刻触发;在无人脸的状态下,该回调触发频率会降低,以节省设备耗能。
- 当人脸距离设备屏幕过近时,SDK 不会触发该回调。
- Android 平台上,人脸距设备屏幕的距离(distance)值有一定误差,请不要用它进行精确计算。
参数
- imageWidth
- 摄像头采集画面的宽度 (px)。
- imageHeight
- 摄像头采集画面的高度 (px)。
- vecRectangle
-
检测到的人脸信息:
x
:人脸在 view 中的 x 坐标 (px)。以摄像头采集 view 的左上角为原点,x 坐标为人脸左上角相对于原点的横向位移。y
:人脸在 view 中的 y 坐标 (px)。以摄像头采集 view 的左上角为原点,y 坐标为人脸左上角相对原点的纵向位移。width
:人脸在 view 中的宽度 (px)。height
:人脸在 view 中的高度 (px)。
- vecDistance
- 人脸距设备屏幕的距离 (cm)。
- numFaces
- 检测的人脸数量。如果为 0,则表示没有检测到人脸。
onFirstLocalVideoFrame
已显示本地视频首帧回调。
virtual void onFirstLocalVideoFrame(VIDEO_SOURCE_TYPE source, int width, int height, int elapsed) { (void)source; (void)width; (void)height; (void)elapsed; }
本地视频首帧显示在本地视图上时,SDK 会触发此回调。
参数
- source
- 视频源的类型。详见 VIDEO_SOURCE_TYPE。
- width
- 本地渲染视频的宽 (px) 。
- height
- 本地渲染视频的高 (px)。
- elapsed
- 从调用 joinChannel [2/2] 到发生此事件过去的时间(毫秒)。如果在 joinChannel [2/2] 前调用了 startPreview [1/2] ,则是从 startPreview [1/2] 到发生此事件过去的时间。
onFirstLocalVideoFramePublished
已发布本地视频首帧回调。
virtual void onFirstLocalVideoFramePublished(VIDEO_SOURCE_TYPE source, int elapsed) { (void)source; (void)elapsed; }
- 开启本地视频的情况下,调用 joinChannel [2/2] 成功加入频道后。
- 调用 muteLocalVideoStream(
true
),再调用 muteLocalVideoStream(false
) 后。 - 调用 disableVideo,再调用 enableVideo 后。
- 调用 pushVideoFrame 成功向 SDK 推送视频帧后。
参数
- source
- 视频源的类型。详见 VIDEO_SOURCE_TYPE。
- elapsed
- 从调用 joinChannel [2/2] 方法到触发该回调的时间间隔(毫秒)。
onFirstRemoteVideoDecoded
已接收到远端视频并完成解码回调。
virtual void onFirstRemoteVideoDecoded(uid_t uid, int width, int height, int elapsed) { (void)uid; (void)width; (void)height; (void)elapsed; }
- 远端用户首次上线后发送视频。
- 远端用户视频离线再上线后发送视频。出现这种中断的可能原因包括:
- 远端用户离开频道。
- 远端用户掉线。
- 远端用户调用 muteLocalVideoStream 方法停止发送本地视频流。
- 远端用户调用 disableVideo 方法关闭视频模块。
参数
- uid
- 用户 ID,指定是哪个用户的视频流。
- width
- 视频流宽(px)。
- height
- 视频流高(px)。
- elapsed
- 从本地调用 joinChannel [2/2] 开始到该回调触发的延迟(毫秒)。
onFirstRemoteVideoFrame
渲染器已接收首帧远端视频回调。
virtual void onFirstRemoteVideoFrame(uid_t userId, int width, int height, int elapsed) { (void)userId; (void)width; (void)height; (void)elapsed; }
参数
- userId
- 用户 ID,指定是哪个用户的视频流。
- width
- 视频流宽(px)。
- height
- 视频流高(px)。
- elapsed
- 从本地调用 joinChannel [2/2] 到发生此事件过去的时间(毫秒)。
onLocalVideoStateChanged
本地视频状态发生改变回调。
virtual void onLocalVideoStateChanged(VIDEO_SOURCE_TYPE source, LOCAL_VIDEO_STREAM_STATE state, LOCAL_VIDEO_STREAM_ERROR error) { (void)source; (void)state; (void)error; }
本地视频的状态发生改变时,SDK 会触发该回调返回当前的本地视频状态。你可以通过该回调了解当前视频的状态以及出现故障的原因,方便排查问题。
LOCAL_VIDEO_STREAM_STATE_FAILED
,错误码为 LOCAL_VIDEO_STREAM_ERROR_CAPTURE_FAILURE
:
- 应用退到后台,系统回收摄像头。
- 摄像头正常启动,但连续 4 秒都没有输出采集的视频。
摄像头输出采集的视频帧时,如果连续 15 帧中,所有视频帧都一样,SDK 触发 onLocalVideoStateChanged 回调,状态为 LOCAL_VIDEO_STREAM_STATE_CAPTURING,错误码为 LOCAL_VIDEO_STREAM_ERROR_CAPTURE_FAILURE。注意,帧重复检测仅针对分辨率大于 200 × 200、帧率大于等于 10 fps、码率小于 20 Kbps 的视频帧。
参数
- source
- 视频源的类型。详见 VIDEO_SOURCE_TYPE。
- state
-
本地视频状态,详见 LOCAL_VIDEO_STREAM_STATE。
- error
-
本地视频出错原因,详见 LOCAL_VIDEO_STREAM_ERROR。
onLocalVideoStats
本地视频流统计信息回调。
virtual void onLocalVideoStats(VIDEO_SOURCE_TYPE source, const LocalVideoStats& stats) { (void)source; (void)stats; }
该回调描述本地设备发送视频流的统计信息,每 2 秒触发一次。
参数
- source
- 视频源的类型。详见 VIDEO_SOURCE_TYPE。
- stats
- 本地视频流统计信息。详见 LocalVideoStats。
onRemoteVideoStateChanged
远端视频状态发生改变回调。
virtual void onRemoteVideoStateChanged(uid_t uid, REMOTE_VIDEO_STATE state, REMOTE_VIDEO_STATE_REASON reason, int elapsed) { (void)uid; (void)state; (void)reason; (void)elapsed; }
参数
- uid
- 发生视频状态改变的远端用户 ID。
- state
-
远端视频流状态,详见 REMOTE_VIDEO_STATE。
- reason
-
远端视频流状态改变的具体原因,详见 REMOTE_VIDEO_STATE_REASON。
- elapsed
- 从本地用户调用 joinChannel [2/2] 方法到发生本事件经历的时间,单位为毫秒。
onRemoteVideoStats
通话中远端视频流的统计信息回调。
virtual void onRemoteVideoStats(const RemoteVideoStats& stats) { (void)stats; }
该回调描述远端用户在通话中端到端的视频流统计信息, 针对每个远端用户/主播每 2 秒触发一次。如果远端同时存在多个用户/主播, 该回调每 2 秒会被触发多次。
参数
- stats
- 远端视频统计数据。详见 RemoteVideoStats。
onRemoteVideoTransportStats
通话中远端视频流传输的统计信息回调。
virtual void onRemoteVideoTransportStats(uid_t uid, unsigned short delay, unsigned short lost, unsigned short rxKBitRate) { (void)uid; (void)delay; (void)lost; (void)rxKBitRate; }
- 弃用:
- 该回调已被废弃,请改用 onRemoteVideoStats。
该回调描述远端用户通话中端到端的网络统计信息,通过视频包计算,用客观的数据,如丢包、 网络延迟等,展示当前网络状态。
通话中,当用户收到远端用户/主播发送的视频数据包后,会每 2 秒触发一次该回调。
参数
- uid
- 用户 ID,指定是哪个用户/主播的视频包。
- delay
- 视频包从发送端到接收端的延时(毫秒)。
- lost
- 视频包从发送端到接收端的丢包率 (%)。
- rxKBitRate
- 远端视频包的接收码率(Kbps)。
onSnapshotTaken
视频截图结果回调。
virtual void onSnapshotTaken(uid_t uid, const char* filePath, int width, int height, int errCode) { (void)uid; (void)filePath; (void)width; (void)height; (void)errCode; }
成功调用 takeSnapshot 后,SDK 触发该回调报告截图是否成功和获取截图的详情。
参数
- uid
- 用户 ID。如果 uid 为 0,表示本地用户。
- filePath
- 截图的本地保存路径。
- width
- 图片宽度(px)。
- height
- 图片高度(px)。
- errCode
- 截图成功的提示或失败的原因。
- 0:截图成功。
- < 0: 截图失败。
- -1:写入文件失败或 JPEG 编码失败。
- -2:takeSnapshot 方法调用后 1 秒内没有收到指定用户的视频帧。可能的原因有:本地采集停止、远端停止发布或者视频数据处理堵塞。
- -3:takeSnapshot 方法调用过于频繁。
onUserEnableLocalVideo
远端用户开/关本地视频采集回调。
virtual void onUserEnableLocalVideo(uid_t uid, bool enabled) { (void)uid; (void)enabled; }
该回调是由远端用户调用 enableLocalVideo 方法开启或关闭视频采集触发的。
参数
- uid
- 用户 ID,提示是哪个用户的视频流。
- enabled
-
远端用户是否启用视频采集:
-
true
: 该用户已启用视频功能。启用后,其他用户可以接收到该用户的视频流。 -
false
: 该用户已关闭视频功能。关闭后,该用户仍然可以接收其他用户的视频流,但其他用户接收不到该用户的视频流。
-
onUserEnableVideo
远端用户开/关视频模块回调。
virtual void onUserEnableVideo(uid_t uid, bool enabled) { (void)uid; (void)enabled; }
关闭视频功能是指该用户只能进行语音通话,不能显示、发送自己的视频,也不能接收、显示别人的视频。
该回调是由远端用户调用 enableVideo 或 disableVideo 方法开启或关闭视频模块触发的。
参数
- uid
- 用户 ID,提示是哪个用户的视频流。
- enabled
-
-
true
: 该用户已启用视频功能。 -
false
: 该用户已关闭视频功能。
-
onUserMuteVideo
远端用户取消或恢复发布视频流回调。
virtual void onUserMuteVideo(uid_t uid, bool muted) { (void)uid; (void)muted; }
当远端用户调用 muteLocalVideoStream 取消或恢复发布视频流时,SDK 会触发该回调向本地用户报告远端用户的发流状况。
参数
- uid
- 远端用户 ID。
- muted
- 远端用户是否取消发布视频流:
true
: 取消发布视频流。false
: 发布视频流。
onVideoDeviceStateChanged
视频设备变化回调。
virtual void onVideoDeviceStateChanged(const char* deviceId, int deviceType, int deviceState) { (void)deviceId; (void)deviceType; (void)deviceState; }
该回调提示系统视频设备状态发生改变,比如被拔出或移除。如果设备已使用外接摄像头采集,外接摄像头被拔开后,视频会中断。
参数
- deviceId
- 设备 ID。
- deviceType
- 设备类型。详见 MEDIA_DEVICE_TYPE。
- deviceState
- 设备状态。
onVideoPublishStateChanged
视频发布状态改变回调。
virtual void onVideoPublishStateChanged(VIDEO_SOURCE_TYPE source, const char* channel, STREAM_PUBLISH_STATE oldState, STREAM_PUBLISH_STATE newState, int elapseSinceLastState) { (void)source; (void)channel; (void)oldState; (void)newState; (void)elapseSinceLastState; }
参数
- channel
- 频道名。
- source
- 视频源的类型。详见 VIDEO_SOURCE_TYPE。
- oldState
- 之前的发布状态,详见 STREAM_PUBLISH_STATE。
- newState
- 当前的发布状态,详见 STREAM_PUBLISH_STATE。
- elapseSinceLastState
- 两次状态变化时间间隔(毫秒)。
onVideoSizeChanged
本地或远端视频大小和旋转信息发生改变回调。
virtual void onVideoSizeChanged(uid_t uid, int width, int height, int rotation) { (void)uid; (void)width; (void)height; (void)rotation; }
参数
- uid
- 图像尺寸和旋转信息发生变化的用户 ID(本地用户的 uid 为 0。此时视频为本地用户的视频预览)。
- width
- 视频流的宽度(像素)。
- height
- 视频流的高度(像素)。
- rotation
- 旋转信息,取值范围 [0,360)。
onVideoStopped
视频功能已停止回调。
virtual void onVideoStopped()
- 弃用:
- 请改用 onLocalVideoStateChanged 回调中的 LOCAL_VIDEO_STREAM_STATE_STOPPED(0)。
App 如需在停止视频后对 view 做其他处理(比如显示其他画面),可以在这个回调中进行。
onVideoSubscribeStateChanged
视频订阅状态发生改变回调。
virtual void onVideoSubscribeStateChanged(const char* channel, uid_t uid, STREAM_SUBSCRIBE_STATE oldState, STREAM_SUBSCRIBE_STATE newState, int elapseSinceLastState) { (void)channel; (void)uid; (void)oldState; (void)newState; (void)elapseSinceLastState; }
参数
- channel
- 频道名。
- uid
- 远端用户的 ID。
- oldState
- 之前的订阅状态,详见 STREAM_SUBSCRIBE_STATE。
- newState
- 当前的订阅状态,详见 STREAM_SUBSCRIBE_STATE。
- elapseSinceLastState
- 两次状态变化时间间隔(毫秒)。