视频处理
介绍跟视频处理相关的方法和回调。
addVideoWatermark [1/2]
添加本地视频水印。
- (int)addVideoWatermark:(AgoraImage * _Nonnull)watermark
- 弃用:
- 该方法已废弃,请使用 addVideoWatermark [2/2] 作为替代。
该方法将一张 PNG 图片作为水印添加到本地发布的直播视频流上,同一直播频道中的用户,旁路推流观众,甚至采集设备都能看到或采集到该水印图片。如果你仅仅希望在旁路直播推流中添加水印,请参考 setLiveTranscoding中描述的用法。
- 在本地直播和旁路推流中,URL 的定义不同。本地直播中,URL 指本地直播视频上图片的本地绝对/相对路径;旁路推流中,URL 指旁路推流视频上图片的地址。
- 待添加图片的源文件格式必须是 PNG。如果待添加的 PNG 图片的尺寸与你该方法中设置的尺寸不一致,SDK 会对 PNG 图片进行裁剪,以与设置相符。
- 声网当前只支持在直播视频流中添加一个水印,后添加的水印会替换掉之前添加的水印。
参数
- watermark
- 待添加在本地直播推流中的水印图片:AgoraImage。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
addVideoWatermark [2/2]
添加本地视频水印。
- (int)addVideoWatermark:(NSURL* _Nonnull)url options:(WatermarkOptions* _Nonnull)options;
该方法将一张 PNG 图片作为水印添加到本地发布的直播视频流上,同一直播频道中的用户、旁路直播观众和采集设备都能看到或采集到该水印图片。 Agora 当前只支持在直播视频流中添加一个水印,后添加的水印会替换掉之前添加的水印。
- 如果视频编码方向(AgoraVideoOutputOrientationMode)固定为横屏或自适应模式下的横屏,那么水印使用横屏坐标。
- 如果视频编码方向(AgoraVideoOutputOrientationMode)固定为竖屏或自适应模式下的竖屏,那么水印使用竖屏坐标。
- 设置水印坐标时,水印的图像区域不能超出 setVideoEncoderConfiguration 方法中设置的视频尺寸,否则超出部分将被裁剪。
- 你需要在调用 enableVideo 方法之后再调用该方法。
- 如果你只是在旁路推流时添加水印,你可以使用该方法或 setLiveTranscoding 方法设置水印。
- 待添加水印图片必须是 PNG 格式。该方法支持所有像素格式的 PNG 图片:RGBA、RGB、Palette、Gray 和 Alpha_gray。
- 如果待添加的 PNG 图片的尺寸与你在该方法中设置的尺寸不一致,SDK 会对 PNG 图片进行缩放或裁剪,以与设置相符。
- 如果你已经使用 startPreview 方法开启本地视频预览,那么该方法的
visibleInPreview
可设置水印在预览时是否可见。 - 如果你已设置本地视频为镜像模式,那么此处的本地水印也为镜像。为避免本地用户看本地视频时的水印也被镜像,Agora 建议你不要对本地视频同时使用镜像和水印功能,请在应用层实现本地水印功能。
参数
- url
- 待添加的水印图片的本地路径。该方法支持从本地绝对/相对路径添加水印图片。
- options
- 待添加的水印图片的设置选项,详见 WatermarkOptions 。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
clearVideoWatermarks
删除已添加的视频水印。
- (int)clearVideoWatermarks;
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
disableVideo
关闭视频模块。
- (int)disableVideo;
该方法用于关闭视频模块,可以在加入频道前或者通话中调用,在加入频道前调用,则自动开启纯音频模式,在通话中调用则由视频模式切换为纯音频模式。 调用 enableVideo 方法可开启视频模式。
成功调用该方法后,远端会触发 didVideoEnabled (NO
) 回调。
- 该方法设置的是内部引擎为禁用状态,在离开频道后仍然有效。
- 该方法重置整个引擎,响应时间较慢,因此声网建议使用如下方法来控制视频模块:
- enableLocalVideo: 是否启动摄像头采集并创建本地视频流。
- muteLocalVideoStream: 是否发布本地视频流。
- muteRemoteVideoStream: 是否接收并播放远端视频流。
- muteAllRemoteVideoStreams: 是否接收并播放所有远端视频流。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
enableContentInspect
开启/关闭视频截图上传。
- (int)enableContentInspect:(BOOL)enabled config:(AgoraContentInspectConfig* _Nonnull)config;
开启视频截图上传后,SDK 会根据你在 AgoraContentInspectConfig 中设置的模块类型和频率对本地用户发送的视频进行截图和上传。截图完成后,Agora 服务器会以 HTTPS 请求的形式,向你的服务器发送回调通知,并将所有截图发送至你指定的第三方云存储。
- 调用该方法前,请确保已联系技术支持开通 Agora 视频截图上传服务。
- 该方法依赖于视频截图上传动态库
AgoraContentInspectExtension.xcframework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enabled
- 设置是否开启视频截图上传:
YES
:开启视频截图上传。NO
:关闭视频截图上传。
- config
- 视频截图上传配置。详见 AgoraContentInspectConfig。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableFaceDetection
开启/关闭本地人脸检测。
- (int)enableFaceDetection:(bool)enable NS_SWIFT_NAME(enableFaceDetection(_:));
该方法在加入频道前后都能调用。
- 摄像头采集的画面大小
- 人脸在 view 中的位置
- 人脸距设备屏幕的距离
该方法需要在相机启动(如通过调用 startPreview 或 joinChannelByToken [2/4] 实现)后调用。
参数
- enable
- 是否开启人脸检测:
YES
:开启人脸检测。NO
:(默认)关闭人脸检测。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableLocalVideo
开关本地视频采集。
- (int)enableLocalVideo:(BOOL)enabled;
该方法禁用或重新启用本地视频采集,不影响接收远端视频。
调用 enableVideo 后,本地视频采集即默认开启。你可以调用 enableLocalVideo(NO
) 关闭本地视频采集。关闭后如果想要重新开启,则可调用 enableLocalVideo(YES
)。
成功禁用或启用本地视频采集后,远端会触发 remoteVideoStateChangedOfUid 回调。
- 该方法在加入频道前后都能调用。
- 该方法设置内部引擎为启用状态,在离开频道后仍然有效。
参数
- enabled
-
是否开启本地视频采集。
YES
:(默认)开启本地视频采集。NO
: 关闭本地视频采集。关闭后,远端用户会接收不到本地用户的视频流;但本地用户依然可以接收远端用户的视频流。设置为NO
时,该方法不需要本地有摄像头。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableRemoteSuperResolution
开启或关闭远端视频超分辨率。
- (int)enableRemoteSuperResolution:(NSUInteger)uid enable:(BOOL)enable;
该功能可以有效提升本地用户看到的远端视频画面的分辨率,即:将接收到的指定远端用户的视频宽和高(像素)均扩大为 2 倍。
- 如果参数 superResolutionType >0:超分辨率已开启。
- 如果参数 superResolutionType =0:超分辨率未开启。
超分辨率功能会额外耗费系统资源。为平衡视觉体验和系统消耗,只可以对一个远端用户开启超分辨率,并且远端用户视频的原始分辨率在设备上不能超过 640 × 480。
- 该方法依赖于超分辨率动态库
AgoraSuperResolutionExtension.xcframework
,如果删除该动态库会导致无法正常开启该功能。 - 该方法对用户设备具有一定要求,Agora 推荐你使用如下或更好的设备:
- iOS:
- iPhone XR
- iPhone XS
- iPhone XS Max
- iPhone 11
- iPhone 11 Pro
- iPhone 11 Pro Max
- iPhone 12
- iPhone 12 mini
- iPhone 12 Pro
- iPhone 12 Pro Max
- iPhone 12 SE(第二代)
- iPad Pro 11-inch(第三代)
- iPad Pro 12.9-inch(第三代)
- iPad Air(第三代)
- iPad Air(第四代)
- iOS:
参数
- uid
- 远端用户 ID。
- enable
- 是否对远端视频开启超分辨率:
YES
: 开启超分辨率。NO
: 关闭超分辨率。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableVideo
启用视频模块。
- (int)enableVideo;
该方法可以在加入频道前或者通话中调用,在加入频道前调用则自动开启视频模块;在通话中调用则由音频模式切换为视频模式。调用 disableVideo 方法可关闭视频模式。
成功调用该方法后,远端会触发 remoteVideoStateChangedOfUid 回调。
- 该方法设置的是内部引擎为启用状态,在离开频道后仍然有效。
- 该方法重置整个引擎,响应时间较慢,因此声网建议使用如下方法来控制视频模块:
- enableLocalVideo: 是否启动摄像头采集并创建本地视频流。
- muteLocalVideoStream: 是否发布本地视频流。
- muteRemoteVideoStream: 是否接收并播放远端视频流。
- muteAllRemoteVideoStreams: 是否接收并播放所有远端视频流。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
enableVideoImageSource
设置是否开启垫片推流功能。
- (int) enableVideoImageSource:(BOOL)enable options:(AgoraImageTrackOptions *_Nullable)options;
在发布视频流时,你可以调用该方法使用自定义图片来替代当前发布的视频流画面进行推流。
开启该功能后,你可以通过 AgoraImageTrackOptions 参数自定义垫片图片;在你关闭垫片功能之后,远端用户看到的依旧是当前你发布的视频流画面。
参数
- enable
- 是否开启垫片推流:
YES
:开启垫片推流。NO
:(默认)关闭垫片推流。
- options
- 垫片图片设置,详见 AgoraImageTrackOptions。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
enableVirtualBackground
开启/关闭虚拟背景。
- (int)enableVirtualBackground:(BOOL)enable backData:(AgoraVirtualBackgroundSource* _Nullable)backData segData:(AgoraSegmentationProperty* _Nullable)segData NS_SWIFT_NAME(enableVirtualBackground(_:backData:segData:));
虚拟背景功能支持你使用自定义的背景图替代本地用户原来的背景图或者将背景虚化处理。成功开启虚拟背景功能后,频道内所有用户都能看到自定义的背景。
请在 enableVideo 或 startPreview 之后调用该方法。
- 该功能对设备性能要求较高,Agora 推荐你在搭载如下芯片的设备上使用:
- 搭载 A9 及以上芯片的如下设备:
- iPhone 6S 及以上
- iPad Air 第三代及以上
- iPad 第五代及以上
- iPad Pro 第一代及以上
- iPad mini 第五代及以上
- 搭载 A9 及以上芯片的如下设备:
- Agora 建议你在满足如下条件的场景中使用该功能:
- 使用高清摄像设备、摄像环境光照均匀。
- 摄像画面中,物件较少,用户的人像为半身人像且基本无遮挡,背景色较单一且与用户着装颜色不同。
- 该方法依赖于虚拟背景动态库
AgoraVideoSegmentationExtension.xcframework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启虚拟背景:
YES
: 开启虚拟背景。NO
: 关闭虚拟背景。
- backData
- 自定义的背景图。详见 AgoraVirtualBackgroundSource。为将自定义背景图的分辨率与 SDK 的视频采集分辨率适配,SDK 会在保证自定义背景图不变形的前提下,对自定义背景图进行缩放和裁剪。
- segData
- 背景图像的处理属性。详见 AgoraSegmentationProperty。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
- -1:自定义的背景图不存在。请检查 AgoraVirtualBackgroundSource 中 source 的值。
- -2:自定义的背景图颜色格式出错。请检查 AgoraVirtualBackgroundSource 中 color 的值。
- -3:设备不支持使用虚拟背景。
pushExternalVideoFrame
推送外部原始视频帧到 SDK。
- (BOOL)pushExternalVideoFrame:(AgoraVideoFrame * _Nonnull)frame;
调用 setExternalVideoSource 方法,设置 enabled 参数为 YES
、encodedFrame 参数为 NO
后,你可以调用本方法将未编码的外部视频帧推送到 SDK。
参数
- frame
-
待推送的视频帧。详见 AgoraVideoFrame。
返回值
YES
:推送成功。NO
:推送失败。
setBeautyEffectOptions
设置美颜效果选项。
- (int)setBeautyEffectOptions:(BOOL)enable options:(AgoraBeautyOptions* _Nullable)options;
开启本地美颜功能,并设置美颜效果选项。
- 请在 enableVideo 或 startPreview 之后调用该方法。
- 该方法依赖于视频增强动态库
AgoraClearVisionExtension.xcframework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启美颜功能:
YES
: 开启美颜功能。NO
:(默认)关闭美颜功能。
- options
- 美颜选项,详细定义见 AgoraBeautyOptions。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setColorEnhanceOptions
设置色彩增强功能。
- (int)setColorEnhanceOptions:(BOOL)enable options:(AgoraColorEnhanceOptions* _Nullable)options NS_SWIFT_NAME(setColorEnhanceOptions(_:options:));
摄像头采集到的视频画面可能存在色彩失真的现象。色彩增强功能可以通过智能调节饱和度和对比度等视频特性,提升视频色彩丰富度和色彩还原度,最终使视频画面更生动。
你可以调用该方法开启色彩增强功能并设置色彩增强的效果。
- 请在 enableVideo 后调用该方法。
- 色彩增强对设备性能有一定要求。开启色彩增强后,如果设备出现严重发烫等问题,Agora 推荐你将色彩增强等级修改为消耗性能较少的等级或关闭色彩增强功能。
- 该方法和 setExtensionPropertyWithVendor 均可开启色彩增强功能:
- 当你使用 SDK 采集视频时,Agora 推荐使用该方法(该方法只可对 SDK 采集的视频起作用)。
- 当你使用外部的视频源实现自定义视频采集,或者将外部视频源发送给 SDK 时,Agora 推荐使用 setExtensionPropertyWithVendor 方法。
- 该方法依赖于视频增强动态库
AgoraClearVisionExtension.xcframework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启色彩增强功能:
YES
:开启色彩增强功能。NO
:(默认)关闭色彩增强功能。
- options
- 色彩增强选项,用于设置色彩增强的效果。详见 AgoraColorEnhanceOptions。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setLocalRenderMode [1/2]
设置本地视图显示模式。
- (int)setLocalRenderMode:(NSUInteger)uid mode:(AgoraVideoRenderMode) mode;
- 弃用:
- 该方法已废弃,请使用 setLocalRenderMode [2/2] 作为替代。
该方法设置本地视图显示模式。 App 可以多次调用此方法更改显示模式。
参数
- mode
-
本地视图显示模式。详见 AgoraVideoRenderMode。
- uid
- 用户 ID。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setLocalRenderMode [2/2]
更新本地视图显示模式。
- (int)setLocalRenderMode:(AgoraVideoRenderMode)mode mirror:(AgoraVideoMirrorMode)mirror;
初始化本地用户视图后,你可以调用该方法更新本地用户视图的渲染和镜像模式。该方法只影响本地用户看到的视频画面,不影响本地发布视频。
- 请在调用 setupLocalVideo 方法初始化本地视图后,调用该方法。
- 你可以在通话中多次调用该方法,多次更新本地用户视图的显示模式。
参数
- mode
-
本地视图显示模式。详见 AgoraVideoRenderMode。
- mirror
-
本地视图的镜像模式,详见 AgoraVideoMirrorMode。
注意: 如果你使用前置摄像头,默认启动本地用户视图镜像模式;如果你使用后置摄像头,默认关闭本地视图镜像模式。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
setLocalVideoMirrorMode
设置本地视频镜像。
- (int)setLocalVideoMirrorMode:(AgoraVideoMirrorMode)mode;
- 弃用:
- 该方法已废弃。
参数
- mode
-
本地视频镜像模式。详见 AgoraVideoMirrorMode。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setLowlightEnhanceOptions
设置暗光增强功能。
- (int)setLowlightEnhanceOptions:(BOOL)enable options:(AgoraLowlightEnhanceOptions* _Nullable)options NS_SWIFT_NAME(setLowlightEnhanceOptions(_:options:));
暗光增强功能可以在光线亮度偏低(如背光、阴天、暗场景)和亮度不均匀的环境下自适应调整视频画面的亮度值,恢复或凸显图像的细节信息,最终提升视频图像的整体视觉效果。
你可以调用该方法开启暗光增强功能并设置暗光增强的效果。
- 请在 enableVideo 后调用该方法。
- 暗光增强对设备性能有一定要求。开启暗光增强后,如果设备出现严重发烫等问题,Agora 推荐你将暗光增强等级修改为消耗性能较少的等级或关闭暗光增强功能。
- 该方法和 setExtensionPropertyWithVendor 均可开启暗光增强功能:
- 当你使用 SDK 采集视频时,Agora 推荐使用该方法(该方法只可对 SDK 采集的视频起作用)。
- 当你使用外部的视频源实现自定义视频采集,或者将外部视频源发送给 SDK 时,Agora 推荐使用 setExtensionPropertyWithVendor 方法。
- 该方法依赖于视频增强动态库
AgoraClearVisionExtension.xcframework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启暗光增强功能:
YES
: 开启暗光增强功能。NO
:(默认)关闭暗光增强功能。
- options
- 暗光增强选项,用于设置暗光增强的效果。详见 AgoraLowlightEnhanceOptions。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setRemoteRenderMode [1/2]
设置远端视图显示模式。
- (int)setRemoteRenderMode:(NSUInteger)uid mode:(AgoraVideoRenderMode) mode;
- 弃用:
- 该方法已废弃,请使用 setRemoteRenderMode [2/2]。
该方法设置远端视图显示模式。App 可以多次调用此方法更改显示模式。
参数
- userId
- 远端用户 ID。
- renderMode
-
远端用户视图的渲染模式,详见 AgoraVideoRenderMode。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setRemoteRenderMode [2/2]
更新远端视图显示模式。
- (int)setRemoteRenderMode:(NSUInteger)uid mode:(AgoraVideoRenderMode)mode mirror:(AgoraVideoMirrorMode)mirror;
初始化远端用户视图后,你可以调用该方法更新远端用户视图在本地显示时的渲染和镜像模式。该方法只影响本地用户看到的视频画面。
- 请在调用 setupRemoteVideo 方法初始化远端视图后,调用该方法。
- 你可以在通话中多次调用该方法,多次更新远端用户视图的显示模式。
参数
- uid
- 远端用户 ID。
- mode
-
远端用户视图的渲染模式,详见 AgoraVideoRenderMode。
- mirror
-
远端用户视图的镜像模式,详见 AgoraVideoMirrorMode。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setupLocalVideo
初始化本地视图。
- (int)setupLocalVideo:(AgoraRtcVideoCanvas * _Nullable)local;
该方法初始化本地视图并设置本地用户视频显示属性,只影响本地用户看到的视频画面,不影响本地发布视频。调用该方法绑定本地视频流的显示视窗(view),并设置本地用户视图的渲染模式和镜像模式。
在 App 开发中,通常在初始化后调用该方法进行本地视频设置,然后再加入频道。退出频道后,绑定仍然有效,如果需要解除绑定,可以调用该方法将参数 view 设为 nil。
- 该方法在加入频道前后都能调用。
- 如果你希望在通话中更新本地用户视图的渲染或镜像模式,请使用 setLocalRenderMode [2/2] 方法。
参数
- local
- 本地视频显示属性。详见 AgoraRtcVideoCanvas。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setupRemoteVideo
初始化远端用户视图。
- (int)setupRemoteVideo:(AgoraRtcVideoCanvas * _Nonnull)remote;
该方法绑定远端用户和显示视图,并设置远端用户视图在本地显示时的渲染模式和镜像模式,只影响本地用户看到的视频画面。
调用该方法时需要指定远端视频的用户 ID,一般可以在进频道前提前设置好。如果无法在加入频道前得到远端用户的 ID,可以在收到 didJoinedOfUid 回调时调用该方法。
如需解除某个远端用户的绑定视图,可以调用该方法并将 view 设置为空。
离开频道后,SDK 会清除远端用户视图的绑定关系。
- 如果你希望在通话中更新远端用户视图的渲染或镜像模式,请使用 setRemoteRenderMode [2/2] 方法。
- 如果你使用了 Agora 录制服务,录制服务会作为一个哑客户端加入频道,因此也会触发 didJoinedOfUid 回调。由于录制服务不会发送视频流,app 无需为它绑定视图。如果 app 无法识别哑客户端,可以在收到 firstRemoteVideoDecodedOfUid 回调时再绑定远端用户视图。
参数
- remote
-
远端视频显示属性。详见 AgoraRtcVideoCanvas。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setVideoDenoiserOptions
设置视频降噪功能。
- (int)setVideoDenoiserOptions:(BOOL)enable options:(AgoraVideoDenoiserOptions* _Nullable)options NS_SWIFT_NAME(setVideoDenoiserOptions(_:options:));
采光不足的环境和低端视频采集设备会使视频图像含有明显的噪声,影响视频画质。在实时互动场景下,视频噪声还会在编码过程中占用码流资源并降低编码效率。
你可以调用该方法开启视频降噪功能并设置视频降噪的效果。
- 请在 enableVideo 后调用该方法。
- 视频降噪对设备性能有一定要求。开启视频降噪后,如果设备出现严重发烫等问题,Agora 推荐你将视频降噪等级修改为消耗性能较少的等级或关闭视频降噪功能。
- 该方法和 setExtensionPropertyWithVendor 均可开启视频降噪功能:
- 当你使用 SDK 采集视频时,Agora 推荐使用该方法(该方法只可对 SDK 采集的视频起作用)。
- 当你使用外部的视频源实现自定义视频采集,或者将外部视频源发送给 SDK 时,Agora 推荐使用 setExtensionPropertyWithVendor 方法。
- 该方法依赖于视频增强动态库
AgoraClearVisionExtension.xcframework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启视频降噪功能:
YES
: 开启视频降噪功能。NO
:(默认)关闭视频降噪功能。
- options
- 视频降噪选项,用于设置视频降噪的效果。详见 AgoraVideoDenoiserOptions。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setVideoEncoderConfiguration
设置视频编码属性。
- (int)setVideoEncoderConfiguration:(AgoraVideoEncoderConfiguration * _Nonnull)config;
设置本地视频的编码属性。
参数
- config
- 视频编码参数配置。详见 AgoraVideoEncoderConfiguration。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setVideoQualityParameters
设置视频优化选项(仅适用于直播)。
- (int)setVideoQualityParameters:(BOOL)preferFrameRateOverImageQuality;
- 弃用:
- 该方法已废弃。Agora 建议使用 AgoraVideoEncoderConfiguration 类中的 degradationPreference 参数设置视频质量偏好。
参数
- preferFrameRateOverImageQuality
-
画质和流畅度里,是否优先保证流畅度:
YES
:优先保证流畅度。NO
: (默认)优先保证画质。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
startPreview
开启视频预览。
- (int)startPreview;
- 调用 setupLocalVideo 设置预览窗口及属性。
- 调用 enableVideo 开启视频功能。
- 本地预览默认开启镜像功能。
- 如果调用 leaveChannel [1/2]退出频道,本地预览依然处于开启状态,如需要关闭本地预览,需要调用 stopPreview。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
stopPreview
停止视频预览。
- (int)stopPreview;
调用 startPreview 开启预览后,如果你想关闭本地视频预览,请调用该方法。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
takeSnapshot
获取视频截图。
- (NSInteger)takeSnapshot:(NSInteger)uid filePath:(NSString* _Nonnull)filePath;
该方法用于对指定用户的视频流进行截图,生成一张 JPG 格式的图片,并保存至指定的路径。
该方法是异步操作,调用返回时 SDK 并没有真正获取截图。成功调用该方法后,SDK 会触发 snapshotTaken 回调报告截图是否成功和获取截图的详情。
- 该方法需要在加入频道后调用。
- 该方法对 AgoraRtcChannelMediaOptions 中指定发布的视频流进行截图。
- 如果用户的视频经过前处理,例如,添加了水印或美颜,生成的截图会包含前处理效果。
参数
- uid
- 用户 ID。如果要对本地用户的视频截图,则设为 0。
- filePath
-
截图的本地保存路径,需精确到文件名及格式, 例如:
- iOS:
/App Sandbox/Library/Caches/example.jpg
- iOS:
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
didVideoPublishStateChange
视频发布状态改变回调。
- (void)rtcEngine:(AgoraRtcEngineKit *_Nonnull)engine didVideoPublishStateChange:(NSString * _Nonnull)channelId sourceType:(AgoraVideoSourceType)sourceType oldState:(AgoraStreamPublishState)oldState newState:(AgoraStreamPublishState)newState elapseSinceLastState:(int)elapseSinceLastState;
参数
- engine
- AgoraRtcEngineKit 对象。
- channelId
- 频道名。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- oldState
- 之前的发布状态,详见 AgoraStreamPublishState。
- newState
- 当前的发布状态,详见 AgoraStreamPublishState。
- elapseSinceLastState
- 两次状态变化时间间隔(毫秒)。
facePositionDidChangeWidth
报告本地人脸检测结果。
- (void)rtcEngine:(AgoraRtcEngineKit* _Nonnull)engine facePositionDidChangeWidth:(int)width previewHeight:(int)height faces:(NSArray<AgoraFacePositionInfo*>* _Nullable)faces NS_SWIFT_NAME(rtcEngine(_:facePositionDidChangeWidth:previewHeight:faces:));
enableFaceDetection(YES)
开启本地人脸检测后,你可以通过该回调实时获取以下人脸检测的信息:
- 摄像头采集的画面大小
- 人脸在 view 中的位置
- 人脸距设备屏幕的距离
其中,人脸距设备屏幕的距离由 SDK 通过摄像头采集的画面大小和人脸在 view 中的位置拟合计算得出。
- 当检测到摄像头前的人脸消失时,该回调会立刻触发;在无人脸的状态下,该回调触发频率会降低,以节省设备耗能。
- 当人脸距离设备屏幕过近时,SDK 不会触发该回调。
参数
- engine
- AgoraRtcEngineKit 对象。
- width
- 摄像头采集画面的宽度 (px)。
- height
- 摄像头采集画面的高度 (px)。
- faces
- 检测到的人脸信息,详见 AgoraFacePositionInfo。检测到几张人脸,就会报告几个 AgoraFacePositionInfo 数组。数组长度可以为 0,表示没有检测到摄像头前出现人脸。
firstLocalVideoFrameWithSize
已显示本地视频首帧回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine firstLocalVideoFrameWithSize:(CGSize)size elapsed:(NSInteger)elapsed sourceType:(AgoraVideoSourceType)sourceType;
本地视频首帧显示在本地视图上时,SDK 会触发此回调。
参数
- engine
- AgoraRtcEngineKit 对象。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- size
- 本地渲染视频的尺寸。
- elapsed
- 从调用 joinChannelByToken [2/4] 到发生此事件过去的时间(毫秒)。如果在 joinChannelByToken [2/4] 前调用了 startPreview ,则是从 startPreview 到发生此事件过去的时间。
firstLocalVideoFramePublishedWithElapsed
已发布本地视频首帧回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine firstLocalVideoFramePublishedWithElapsed:(NSInteger)elapsed sourceType:(AgoraVideoSourceType)sourceType;
- 开启本地视频的情况下,调用 joinChannelByToken [2/4] 成功加入频道后。
- 调用 muteLocalVideoStream(
YES
),再调用 muteLocalVideoStream(NO
) 后。 - 调用 disableVideo,再调用 enableVideo 后。
- 调用 pushExternalVideoFrame 成功向 SDK 推送视频帧后。
参数
- engine
- AgoraRtcEngineKit 对象。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- elapsed
- 从调用 joinChannelByToken [2/4] 方法到触发该回调的时间间隔(毫秒)。
firstRemoteVideoDecodedOfUid
已接收到远端视频并完成解码回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine firstRemoteVideoDecodedOfUid:(NSUInteger)uid size:(CGSize)size elapsed:(NSInteger)elapsed;
- 远端用户首次上线后发送视频。
- 远端用户视频离线再上线后发送视频。出现这种中断的可能原因包括:
- 远端用户离开频道。
- 远端用户掉线。
- 远端用户调用 muteLocalVideoStream 方法停止发送本地视频流。
- 远端用户调用 disableVideo 方法关闭视频模块。
参数
- uid
- 用户 ID,指定是哪个用户的视频流。
- engine
- AgoraRtcEngineKit 对象。
- size
- 视频流尺寸。
- elapsed
- 从本地调用 joinChannelByToken [2/4] 开始到该回调触发的延迟(毫秒)。
firstRemoteVideoFrameOfUid
渲染器已接收首帧远端视频回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine firstRemoteVideoFrameOfUid:(NSUInteger)uid size:(CGSize)size elapsed:(NSInteger)elapsed;
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID,指定是哪个用户的视频流。
- size
- 视频流尺寸。
- elapsed
- 从本地调用 joinChannelByToken [2/4] 到发生此事件过去的时间(毫秒)。
localVideoStateChangedOfState
本地视频状态发生改变回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine localVideoStateChangedOfState:(AgoraVideoLocalState)state error:(AgoraLocalVideoStreamError)error sourceType:(AgoraVideoSourceType)sourceType;
本地视频的状态发生改变时,SDK 会触发该回调返回当前的本地视频状态。你可以通过该回调了解当前视频的状态以及出现故障的原因,方便排查问题。
AgoraVideoLocalStateFailed
,错误码为 AgoraLocalVideoStreamErrorCaptureFailure
:
- 应用退到后台,系统回收摄像头。
- 摄像头正常启动,但连续 4 秒都没有输出采集的视频。
摄像头输出采集的视频帧时,如果连续 15 帧中,所有视频帧都一样,SDK 触发 localVideoStateChangedOfState 回调,状态为 AgoraVideoLocalStateCapturing,错误码为 AgoraLocalVideoStreamErrorCaptureFailure。注意,帧重复检测仅针对分辨率大于 200 × 200、帧率大于等于 10 fps、码率小于 20 Kbps 的视频帧。
参数
- engine
- AgoraRtcEngineKit 对象。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- state
-
本地视频状态,详见 AgoraVideoLocalState。
- error
-
本地视频出错原因,详见 AgoraLocalVideoStreamError。
localVideoStats
本地视频流统计信息回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine localVideoStats:(AgoraRtcLocalVideoStats * _Nonnull)stats sourceType:(AgoraVideoSourceType)sourceType;
该回调描述本地设备发送视频流的统计信息,每 2 秒触发一次。
参数
- engine
- AgoraRtcEngineKit 对象。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- stats
- 本地视频流统计信息。详见 AgoraRtcLocalVideoStats。
remoteVideoStats
通话中远端视频流的统计信息回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine remoteVideoStats:(AgoraRtcRemoteVideoStats * _Nonnull)stats;
该回调描述远端用户在通话中端到端的视频流统计信息, 针对每个远端用户/主播每 2 秒触发一次。如果远端同时存在多个用户/主播, 该回调每 2 秒会被触发多次。
参数
- engine
- AgoraRtcEngineKit 对象。
- stats
- 远端视频统计数据。详见 AgoraRtcRemoteVideoStats。
videoTransportStatsOfUid
通话中远端视频流传输的统计信息回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine videoTransportStatsOfUid:(NSUInteger)uid delay:(NSUInteger)delay lost:(NSUInteger)lost rxKBitRate:(NSUInteger)rxKBitRate;
- 弃用:
- 该回调已被废弃,请改用 remoteVideoStats。
该回调描述远端用户通话中端到端的网络统计信息,通过视频包计算,用客观的数据,如丢包、 网络延迟等,展示当前网络状态。
通话中,当用户收到远端用户/主播发送的视频数据包后,会每 2 秒触发一次该回调。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID,指定是哪个用户/主播的视频包。
- delay
- 视频包从发送端到接收端的延时(毫秒)。
- lost
- 视频包从发送端到接收端的丢包率 (%)。
- rxKBitRate
- 远端视频包的接收码率(Kbps)。
snapshotTaken
视频截图结果回调。
- (void)rtcEngine:(AgoraRtcEngineKit* _Nonnull)engine snapshotTaken:(NSUInteger)uid filePath:(NSString* _Nonnull)filePath width:(NSInteger)width height:(NSInteger)height errCode:(NSInteger)errCode;
成功调用 takeSnapshot 后,SDK 触发该回调报告截图是否成功和获取截图的详情。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID。如果 uid 为 0,表示本地用户。
- filePath
- 截图的本地保存路径。
- width
- 图片宽度(px)。
- height
- 图片高度(px)。
- errCode
- 截图成功的提示或失败的原因。
- 0:截图成功。
- < 0: 截图失败。
- -1:写入文件失败或 JPEG 编码失败。
- -2:takeSnapshot 方法调用后 1 秒内没有收到指定用户的视频帧。可能的原因有:本地采集停止、远端停止发布或者视频数据处理堵塞。
- -3:takeSnapshot 方法调用过于频繁。
didLocalVideoEnabled
远端用户开/关本地视频采集回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine didLocalVideoEnabled:(BOOL)enabled byUid:(NSUInteger)uid
该回调是由远端用户调用 enableLocalVideo 方法开启或关闭视频采集触发的。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID,提示是哪个用户的视频流。
- enabled
-
远端用户是否启用视频采集:
-
YES
: 该用户已启用视频功能。启用后,其他用户可以接收到该用户的视频流。 -
NO
: 该用户已关闭视频功能。关闭后,该用户仍然可以接收其他用户的视频流,但其他用户接收不到该用户的视频流。
-
didVideoEnabled
远端用户开/关视频模块回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine didVideoEnabled:(BOOL)enabled byUid:(NSUInteger)uid
关闭视频功能是指该用户只能进行语音通话,不能显示、发送自己的视频,也不能接收、显示别人的视频。
该回调是由远端用户调用 enableVideo 或 disableVideo 方法开启或关闭视频模块触发的。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID,提示是哪个用户的视频流。
- enabled
-
-
YES
: 该用户已启用视频功能。 -
NO
: 该用户已关闭视频功能。
-
didVideoMuted
远端用户取消或恢复发布视频流回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine didVideoMuted:(BOOL)muted byUid:(NSUInteger)uid
当远端用户调用 muteLocalVideoStream 取消或恢复发布视频流时,SDK 会触发该回调向本地用户报告远端用户的发流状况。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 远端用户 ID。
- muted
- 远端用户是否取消发布视频流:
YES
: 取消发布视频流。NO
: 发布视频流。
videoSizeChangedOfUid
本地或远端视频大小和旋转信息发生改变回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine videoSizeChangedOfUid:(NSUInteger)uid size:(CGSize)size rotation:(NSInteger)rotation;
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 图像尺寸和旋转信息发生变化的用户 ID(本地用户的 uid 为 0。此时视频为本地用户的视频预览)。
- size
- 视频流的尺寸。
- rotation
- 旋转信息,取值范围 [0,360)。
rtcEngineVideoDidStop
视频功能已停止回调。
- (void)rtcEngineVideoDidStop:(AgoraRtcEngineKit * _Nonnull)engine;
- 弃用:
- 请改用 localVideoStateChangedOfState 回调中的 AgoraVideoLocalStateStopped(0)。
App 如需在停止视频后对 view 做其他处理(比如显示其他画面),可以在这个回调中进行。
参数
- engine
- AgoraRtcEngineKit 对象。
didVideoSubscribeStateChange
视频订阅状态发生改变回调。
- (void)rtcEngine:(AgoraRtcEngineKit *_Nonnull)engine didVideoSubscribeStateChange:(NSString * _Nonnull)channelId uid:(unsigned int)uid oldState:(AgoraStreamSubscribeState)oldState newState:(AgoraStreamSubscribeState)newState elapseSinceLastState:(int)elapseSinceLastState;
参数
- engine
- AgoraRtcEngineKit 对象。
- channel
- 频道名。
- uid
- 远端用户的 ID。
- oldState
- 之前的订阅状态,详见 AgoraStreamSubscribeState。
- newState
- 当前的订阅状态,详见 AgoraStreamSubscribeState。
- elapseSinceLastState
- 两次状态变化时间间隔(毫秒)。