视频处理
介绍跟视频处理相关的方法和回调。
addVideoWatermark [1/2]
添加本地视频水印。
- (int)addVideoWatermark:(AgoraImage * _Nonnull)watermark
详情
- 弃用:
- 该方法已废弃,请使用 addVideoWatermark [2/2] 作为替代。
该方法将一张 PNG 图片作为水印添加到本地发布的直播视频流上,同一直播频道中的用户,旁路推流观众,甚至采集设备都能看到或采集到该水印图片。如果你仅仅希望在旁路直播推流中添加水印,请参考 setLiveTranscoding中描述的用法。
- 在本地直播和旁路推流中,URL 的定义不同。本地直播中,URL 指本地直播视频上图片的本地绝对/相对路径;旁路推流中,URL 指旁路推流视频上图片的地址。
- 待添加图片的源文件格式必须是 PNG。如果待添加的 PNG 图片的尺寸与你该方法中设置的尺寸不一致,SDK 会对 PNG 图片进行裁剪,以与设置相符。
- 声网当前只支持在直播视频流中添加一个水印,后添加的水印会替换掉之前添加的水印。
参数
- watermark
- 待添加在本地直播推流中的水印图片:AgoraImage。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
addVideoWatermark [2/2]
添加本地视频水印。
- (int)addVideoWatermark:(NSURL* _Nonnull)url options:(WatermarkOptions* _Nonnull)options;
详情
该方法将一张 PNG 图片作为水印添加到本地发布的直播视频流上,同一直播频道中的用户、旁路直播观众和采集设备都能看到或采集到该水印图片。当前只支持在直播视频流中添加一个水印,后添加的水印会替换掉之前添加的水印。
- 如果视频编码方向(AgoraVideoOutputOrientationMode)固定为横屏或自适应模式下的横屏,那么水印使用横屏坐标。
- 如果视频编码方向(AgoraVideoOutputOrientationMode)固定为竖屏或自适应模式下的竖屏,那么水印使用竖屏坐标。
- 设置水印坐标时,水印的图像区域不能超出 setVideoEncoderConfiguration 方法中设置的视频尺寸,否则超出部分将被裁剪。
- 你需要在调用 enableVideo 方法之后再调用该方法。
- 如果你只是在旁路推流时添加水印,你可以使用该方法或 setLiveTranscoding 方法设置水印。
- 待添加水印图片必须是 PNG 格式。该方法支持所有像素格式的 PNG 图片:RGBA、RGB、Palette、Gray 和 Alpha_gray。
- 如果待添加的 PNG 图片的尺寸与你在该方法中设置的尺寸不一致,SDK 会对 PNG 图片进行缩放或裁剪,以与设置相符。
- 如果你已经使用 startPreview [2/2] 方法开启本地视频预览,那么该方法的
visibleInPreview
可设置水印在预览时是否可见。 - 如果你已设置本地视频为镜像模式,那么此处的本地水印也为镜像。为避免本地用户看本地视频时的水印也被镜像,建议你不要对本地视频同时使用镜像和水印功能,请在应用层实现本地水印功能。
参数
- url
- 待添加的水印图片的本地路径。该方法支持从本地绝对/相对路径添加水印图片。
- options
- 待添加的水印图片的设置选项,详见 WatermarkOptions 。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
clearVideoWatermarks
删除已添加的视频水印。
- (int)clearVideoWatermarks;
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
createCustomVideoTrack
创建一个自定义的视频轨道。
- (unsigned int)createCustomVideoTrack;
详情
- 调用该方法创建视频轨道并获得视频轨道 ID。
- 在每个频道的 AgoraRtcChannelMediaOptions 中,将 customVideoTrackId 参数设置为你想要发布的视频轨道 ID,并将 publishCustomVideoTrack 设置为
YES
。 - 调用 pushExternalVideoFrame 将 videoTrackId 指定为步骤 2 中指定的视频轨道 ID,即可实现在多个频道中发布对应的自定义视频源。
返回值
- 方法调用成功,返回视频轨道 ID 作为该视频轨道的唯一标识。
- 方法调用失败,返回负值。
destroyCustomVideoTrack
销毁指定的视频轨道。
- (int)destroyCustomVideoTrack:(NSUInteger)videoTrackId;
参数
- position
- 调用 createCustomVideoTrack 方法返回的视频轨道 ID。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
disableVideo
关闭视频模块。
- (int)disableVideo;
详情
该方法用于关闭视频模块,可以在加入频道前或者通话中调用,在加入频道前调用,则自动开启纯音频模式,在通话中调用则由视频模式切换为纯音频模式。 调用 enableVideo 方法可开启视频模式。
成功调用该方法后,远端会触发 didVideoEnabled (NO
) 回调。
- 该方法设置的是内部引擎为禁用状态,在离开频道后仍然有效。
- 该方法重置整个引擎,响应时间较慢,因此声网建议使用如下方法来控制视频模块:
- enableLocalVideo: 是否启动摄像头采集并创建本地视频流。
- muteLocalVideoStream: 是否发布本地视频流。
- muteRemoteVideoStream: 是否接收并播放远端视频流。
- muteAllRemoteVideoStreams: 是否接收并播放所有远端视频流。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
enableContentInspect
开启/关闭视频截图上传。
- (int)enableContentInspect:(BOOL)enabled config:(AgoraContentInspectConfig* _Nonnull)config;
详情
开启视频截图上传后,SDK 会根据你在 AgoraContentInspectConfig 中设置的模块类型和频率对本地用户发送的视频进行截图和上传。截图完成后,声网服务器会以 HTTPS 请求的形式,向你的服务器发送回调通知,并将所有截图发送至你指定的第三方云存储。
- 调用该方法前,请确保已联系技术支持开通视频截图上传服务。
- 该方法依赖于视频截图上传动态库
AgoraContentInspectExtension.framework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enabled
- 设置是否开启视频截图上传:
YES
:开启视频截图上传。NO
:关闭视频截图上传。
- config
- 视频截图上传配置。详见 AgoraContentInspectConfig。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableLocalVideo
开关本地视频采集。
- (int)enableLocalVideo:(BOOL)enabled;
详情
该方法禁用或重新启用本地视频采集,不影响接收远端视频。
调用 enableVideo 后,本地视频采集即默认开启。你可以调用 enableLocalVideo(NO
) 关闭本地视频采集。关闭后如果想要重新开启,则可调用 enableLocalVideo(YES
)。
成功禁用或启用本地视频采集后,远端会触发 remoteVideoStateChangedOfUid 回调。
- 该方法在加入频道前后都能调用。
- 该方法设置内部引擎为启用状态,在离开频道后仍然有效。
参数
- enabled
-
是否开启本地视频采集。
YES
:(默认)开启本地视频采集。NO
: 关闭本地视频采集。关闭后,远端用户会接收不到本地用户的视频流;但本地用户依然可以接收远端用户的视频流。设置为NO
时,该方法不需要本地有摄像头。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
enableVideo
启用视频模块。
- (int)enableVideo;
详情
该方法可以在加入频道前或者通话中调用,在加入频道前调用则自动开启视频模块;在通话中调用则由音频模式切换为视频模式。调用 disableVideo 方法可关闭视频模式。
成功调用该方法后,远端会触发 remoteVideoStateChangedOfUid 回调。
- 该方法设置的是内部引擎为启用状态,在离开频道后仍然有效。
- 调用该方法会重置整个引擎,响应时间较慢。你可以根据实际需求用以下方法来独立控制视频模块的某一项功能:
- enableLocalVideo: 是否启动摄像头采集并创建本地视频流。
- muteLocalVideoStream: 是否发布本地视频流。
- muteRemoteVideoStream: 是否接收并播放远端视频流。
- muteAllRemoteVideoStreams: 是否接收并播放所有远端视频流。
- 在频道内调用该方法时,会重置 enableLocalVideo、muteRemoteVideoStream 和 muteAllRemoteVideoStreams 的设置,需谨慎使用。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
enableVideoImageSource
设置是否开启垫片推流功能。
- (int) enableVideoImageSource:(BOOL)enable options:(AgoraImageTrackOptions *_Nullable)options;
详情
在发布视频流时,你可以调用该方法使用自定义图片来替代当前发布的视频流画面进行推流。
开启该功能后,你可以通过 AgoraImageTrackOptions 参数自定义垫片图片;在你关闭垫片功能之后,远端用户看到的依旧是当前你发布的视频流画面。
参数
- enable
- 是否开启垫片推流:
YES
:开启垫片推流。NO
:(默认)关闭垫片推流。
- options
- 垫片图片设置,详见 AgoraImageTrackOptions。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
enableVirtualBackground
开启/关闭虚拟背景。
- (int)enableVirtualBackground:(BOOL)enable backData:(AgoraVirtualBackgroundSource* _Nullable)backData segData:(AgoraSegmentationProperty* _Nullable)segData NS_SWIFT_NAME(enableVirtualBackground(_:backData:segData:));
详情
虚拟背景功能支持将本地用户原来的背景替换为静态图片、动态视频、将背景虚化,或者将人像与背景分割以实现人像画中画。成功开启虚拟背景功能后,频道内所有用户都能看到自定义的背景。
请在 enableVideo 或 startPreview [2/2] 之后调用该方法。
- 该功能对设备性能要求较高,建议你在搭载如下芯片的设备上使用:
- CPU 为 i5 及更好的设备
- 建议你在满足如下条件的场景中使用该功能:
- 使用高清摄像设备、摄像环境光照均匀。
- 摄像画面中,物件较少,用户的人像为半身人像且基本无遮挡,背景色较单一且与用户着装颜色不同。
- 该方法依赖于虚拟背景动态库
AgoraVideoSegmentationExtension.framework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启虚拟背景:
YES
: 开启虚拟背景。NO
: 关闭虚拟背景。
- backData
- 自定义的背景。详见 AgoraVirtualBackgroundSource。为将自定义背景图的分辨率与 SDK 的视频采集分辨率适配,SDK 会在保证自定义背景图不变形的前提下,对自定义背景图进行缩放和裁剪。
- segData
- 背景图像的处理属性。详见 AgoraSegmentationProperty。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
- -1:自定义的背景图不存在。请检查 AgoraVirtualBackgroundSource 中 source 的值。
- -2:自定义的背景图颜色格式出错。请检查 AgoraVirtualBackgroundSource 中 color 的值。
- -3:设备不支持使用虚拟背景。
getCurrentMonotonicTimeInMs
获取 SDK 当前的 Monotonic Time。
- (int64_t)getCurrentMonotonicTimeInMs NS_SWIFT_NAME(getCurrentMonotonicTimeInMs());
详情
- 自从
- v4.2.0
Monotonic Time 是指一个单调递增的时间序列,它的值会随着时间的推移而增加。单位为毫秒。
在自定义视频采集、自定义音频采集场景中,为确保音视频同步,声网建议你调用该方法获取 SDK 当前的 Monotonic Time 后,将该值传入采集的视频帧(AgoraOutputVideoFrame)、音频帧(AgoraAudioFrame)的时间戳参数。
返回值
- ≥0: 方法调用成功,返回 SDK 当前的 Monotonic Time(毫秒)。
- < 0: 方法调用失败。
pushExternalVideoFrame
推送外部原始视频帧到 SDK。
- (BOOL)pushExternalVideoFrame:(AgoraVideoFrame * _Nonnull)frame;
详情
调用 setExternalVideoSource 方法,设置 enabled 参数为 YES
、encodedFrame 参数为 NO
后,你可以调用本方法将未编码的外部视频帧推送到 SDK。
参数
- frame
-
待推送的视频帧。详见 AgoraVideoFrame。
返回值
YES
:推送成功。NO
:推送失败。
queryCodecCapability
查询当前设备支持的视频编解码能力。
- (NSArray <AgoraVideoCodecCapInfo *> *__nullable)queryCodecCapability;
详情
- 自从
- v4.2.0
返回值
- 如果调用成功,则返回 AgoraVideoCodecCapInfo 数组,表示设备的视频编码能力。
- 如果调用超时,请修改调用逻辑,不要在主线程中调用该方法。
setBeautyEffectOptions
设置美颜效果选项。
- (int)setBeautyEffectOptions:(BOOL)enable options:(AgoraBeautyOptions* _Nullable)options;
详情
开启本地美颜功能,并设置美颜效果选项。
- 请在 enableVideo 或 startPreview [2/2] 之后调用该方法。
- 该方法依赖于视频增强动态库
AgoraClearVisionExtension.framework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启美颜功能:
YES
: 开启美颜功能。NO
:(默认)关闭美颜功能。
- options
- 美颜选项,详细定义见 AgoraBeautyOptions。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setColorEnhanceOptions
设置色彩增强功能。
- (int)setColorEnhanceOptions:(BOOL)enable options:(AgoraColorEnhanceOptions* _Nullable)options NS_SWIFT_NAME(setColorEnhanceOptions(_:options:));
详情
摄像头采集到的视频画面可能存在色彩失真的现象。色彩增强功能可以通过智能调节饱和度和对比度等视频特性,提升视频色彩丰富度和色彩还原度,最终使视频画面更生动。
你可以调用该方法开启色彩增强功能并设置色彩增强的效果。
- 请在 enableVideo 后调用该方法。
- 色彩增强对设备性能有一定要求。开启色彩增强后,如果设备出现严重发烫等问题,建议你将色彩增强等级修改为消耗性能较少的等级或关闭色彩增强功能。
- 该方法和 setExtensionPropertyWithVendor 均可开启色彩增强功能:
- 当你使用 SDK 采集视频时,建议使用该方法(该方法只可对 SDK 采集的视频起作用)。
- 当你使用外部的视频源实现自定义视频采集,或者将外部视频源发送给 SDK 时,建议使用 setExtensionPropertyWithVendor 方法。
- 该方法依赖于视频增强动态库
AgoraClearVisionExtension.framework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启色彩增强功能:
YES
:开启色彩增强功能。NO
:(默认)关闭色彩增强功能。
- options
- 色彩增强选项,用于设置色彩增强的效果。详见 AgoraColorEnhanceOptions。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setLocalRenderMode [1/2]
设置本地视图显示模式。
- (int)setLocalRenderMode:(NSUInteger)uid mode:(AgoraVideoRenderMode) mode;
详情
- 弃用:
- 该方法已废弃,请使用 setLocalRenderMode [2/2] 作为替代。
该方法设置本地视图显示模式。 App 可以多次调用此方法更改显示模式。
参数
- mode
-
本地视图显示模式。详见 AgoraVideoRenderMode。
- uid
- 用户 ID。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setLocalRenderMode [2/2]
更新本地视图显示模式。
- (int)setLocalRenderMode:(AgoraVideoRenderMode)mode mirror:(AgoraVideoMirrorMode)mirror;
详情
初始化本地用户视图后,你可以调用该方法更新本地用户视图的渲染和镜像模式。该方法只影响本地用户看到的视频画面,不影响本地发布视频。
- 请在调用 setupLocalVideo 方法初始化本地视图后,调用该方法。
- 你可以在通话中多次调用该方法,多次更新本地用户视图的显示模式。
参数
- mode
-
本地视图显示模式。详见 AgoraVideoRenderMode。
- mirror
-
本地视图的镜像模式,详见 AgoraVideoMirrorMode。
注意: 如果你使用前置摄像头,默认启动本地用户视图镜像模式;如果你使用后置摄像头,默认关闭本地视图镜像模式。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
setLocalVideoMirrorMode
设置本地视频镜像。
- (int)setLocalVideoMirrorMode:(AgoraVideoMirrorMode)mode;
详情
- 弃用:
- 该方法已废弃。
参数
- mode
-
本地视频镜像模式。详见 AgoraVideoMirrorMode。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setLowlightEnhanceOptions
设置暗光增强功能。
- (int)setLowlightEnhanceOptions:(BOOL)enable options:(AgoraLowlightEnhanceOptions* _Nullable)options NS_SWIFT_NAME(setLowlightEnhanceOptions(_:options:));
详情
暗光增强功能可以在光线亮度偏低(如背光、阴天、暗场景)和亮度不均匀的环境下自适应调整视频画面的亮度值,恢复或凸显图像的细节信息,最终提升视频图像的整体视觉效果。
你可以调用该方法开启暗光增强功能并设置暗光增强的效果。
- 请在 enableVideo 后调用该方法。
- 暗光增强对设备性能有一定要求。开启暗光增强后,如果设备出现严重发烫等问题,建议你将暗光增强等级修改为消耗性能较少的等级或关闭暗光增强功能。
- 该方法和 setExtensionPropertyWithVendor 均可开启暗光增强功能:
- 当你使用 SDK 采集视频时,建议使用该方法(该方法只可对 SDK 采集的视频起作用)。
- 当你使用外部的视频源实现自定义视频采集,或者将外部视频源发送给 SDK 时,建议使用 setExtensionPropertyWithVendor 方法。
- 该方法依赖于视频增强动态库
AgoraClearVisionExtension.framework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启暗光增强功能:
YES
: 开启暗光增强功能。NO
:(默认)关闭暗光增强功能。
- options
- 暗光增强选项,用于设置暗光增强的效果。详见 AgoraLowlightEnhanceOptions。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setRemoteRenderMode [1/2]
设置远端视图显示模式。
- (int)setRemoteRenderMode:(NSUInteger)uid mode:(AgoraVideoRenderMode) mode;
详情
- 弃用:
- 该方法已废弃,请使用 setRemoteRenderMode [2/2]。
该方法设置远端视图显示模式。App 可以多次调用此方法更改显示模式。
参数
- userId
- 远端用户 ID。
- renderMode
-
远端用户视图的渲染模式,详见 AgoraVideoRenderMode。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setRemoteRenderMode [2/2]
更新远端视图显示模式。
- (int)setRemoteRenderMode:(NSUInteger)uid mode:(AgoraVideoRenderMode)mode mirror:(AgoraVideoMirrorMode)mirror;
详情
初始化远端用户视图后,你可以调用该方法更新远端用户视图在本地显示时的渲染和镜像模式。该方法只影响本地用户看到的视频画面。
- 请在调用 setupRemoteVideo 方法初始化远端视图后,调用该方法。
- 你可以在通话中多次调用该方法,多次更新远端用户视图的显示模式。
参数
- uid
- 远端用户 ID。
- mode
-
远端用户视图的渲染模式,详见 AgoraVideoRenderMode。
- mirror
-
远端用户视图的镜像模式,详见 AgoraVideoMirrorMode。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setupLocalVideo
初始化本地视图。
- (int)setupLocalVideo:(AgoraRtcVideoCanvas * _Nullable)local;
详情
该方法初始化本地视图并设置本地用户视频显示属性,只影响本地用户看到的视频画面,不影响本地发布视频。调用该方法绑定本地视频流的显示视窗(view),并设置本地用户视图的渲染模式和镜像模式。
在 App 开发中,通常在初始化后调用该方法进行本地视频设置,然后再加入频道。退出频道后,绑定仍然有效,如果需要解除绑定,可以调用该方法将参数 view 设为 nil。
- 该方法在加入频道前后都能调用。
- 如果你希望在通话中更新本地用户视图的渲染或镜像模式,请使用 setLocalRenderMode [2/2] 方法。
参数
- local
- 本地视频显示属性。详见 AgoraRtcVideoCanvas。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setupRemoteVideo
初始化远端用户视图。
- (int)setupRemoteVideo:(AgoraRtcVideoCanvas * _Nonnull)remote;
详情
该方法绑定远端用户和显示视图,并设置远端用户视图在本地显示时的渲染模式和镜像模式,只影响本地用户看到的视频画面。
调用该方法时需要指定远端视频的用户 ID,一般可以在进频道前提前设置好。如果无法在加入频道前得到远端用户的 ID,可以在收到 didJoinedOfUid 回调时调用该方法。
如需解除某个远端用户的绑定视图,可以调用该方法并将 view 设置为空。
离开频道后,SDK 会清除远端用户视图的绑定关系。
- 如果你希望在通话中更新远端用户视图的渲染或镜像模式,请使用 setRemoteRenderMode [2/2] 方法。
- 如果你使用了录制服务,录制服务会作为一个哑客户端加入频道,因此也会触发 didJoinedOfUid 回调。由于录制服务不会发送视频流,app 无需为它绑定视图。如果 app 无法识别哑客户端,可以在收到 firstRemoteVideoDecodedOfUid 回调时再绑定远端用户视图。
参数
- remote
-
远端视频显示属性。详见 AgoraRtcVideoCanvas。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
setVideoDenoiserOptions
设置视频降噪功能。
- (int)setVideoDenoiserOptions:(BOOL)enable options:(AgoraVideoDenoiserOptions* _Nullable)options NS_SWIFT_NAME(setVideoDenoiserOptions(_:options:));
详情
采光不足的环境和低端视频采集设备会使视频图像含有明显的噪声,影响视频画质。在实时互动场景下,视频噪声还会在编码过程中占用码流资源并降低编码效率。
你可以调用该方法开启视频降噪功能并设置视频降噪的效果。
- 请在 enableVideo 后调用该方法。
- 视频降噪对设备性能有一定要求。开启视频降噪后,如果设备出现严重发烫等问题,建议你将视频降噪等级修改为消耗性能较少的等级或关闭视频降噪功能。
- 该方法和 setExtensionPropertyWithVendor 均可开启视频降噪功能:
- 当你使用 SDK 采集视频时,建议使用该方法(该方法只可对 SDK 采集的视频起作用)。
- 当你使用外部的视频源实现自定义视频采集,或者将外部视频源发送给 SDK 时,建议使用 setExtensionPropertyWithVendor 方法。
- 该方法依赖于视频增强动态库
AgoraClearVisionExtension.framework
,如果删除该动态库会导致无法正常开启该功能。
参数
- enable
- 是否开启视频降噪功能:
YES
: 开启视频降噪功能。NO
:(默认)关闭视频降噪功能。
- options
- 视频降噪选项,用于设置视频降噪的效果。详见 AgoraVideoDenoiserOptions。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setVideoEncoderConfiguration
设置视频编码属性。
- (int)setVideoEncoderConfiguration:(AgoraVideoEncoderConfiguration * _Nonnull)config;
详情
设置本地视频的编码属性。
- 该方法在加入频道前后都能调用。如果用户在加入频道后不需要重新设置视频编码属性,则建议在 enableVideo 前调用该方法,可以加快首帧出图的时间。
- 该方法和 getMirrorApplied 方法均支持设置镜像效果,声网建议你仅选择一种方法进行设置,同时使用两种方法会导致镜像效果叠加从而造成设置镜像失败。
参数
- config
- 视频编码参数配置。详见 AgoraVideoEncoderConfiguration。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setVideoQualityParameters
设置视频优化选项(仅适用于直播)。
- (int)setVideoQualityParameters:(BOOL)preferFrameRateOverImageQuality;
详情
- 弃用:
- 该方法已废弃。建议使用 AgoraVideoEncoderConfiguration 类中的 degradationPreference 参数设置视频质量偏好。
参数
- preferFrameRateOverImageQuality
-
画质和流畅度里,是否优先保证流畅度:
YES
:优先保证流畅度。NO
: (默认)优先保证画质。
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
setVideoScenario
设置视频业务场景。
- (int)setVideoScenario:(AgoraApplicationScenarioType)scenarioType NS_SWIFT_NAME(setVideoScenario(_:));
详情
- 自从
- v4.2.0
成功调用该方法设置视频业务场景后,SDK 会基于指定场景启用最佳实践策略,自动调整关键性能指标,进而优化视频体验质量。
参数
- scenarioType
- 视频业务场景。详见 AgoraApplicationScenarioType。
设置为 AgoraApplicationMeetingScenario (1) 后,SDK 会启用以下策略:
- 针对会议场景对小流码率要求较高的情况,自动启用多项抗弱网技术,提升小流的抗弱网能力,确保多路流订阅时接收端的流畅性。
- 实时监测接收端大流的订阅人数,根据订阅人数动态调节大流配置:
- 无人订阅大流时,会自动降低大流的码率和帧率,节省上行带宽和消耗。
- 有人订阅大流时,大流会重置为用户最近一次调用 setVideoEncoderConfiguration 时的 AgoraVideoEncoderConfiguration 配置。如果用户此前没有进行设置,则使用如下值:
- 视频分辨率:1280 × 720
- 视频帧率:15 fps
- 码率:1600 Kbps
- 实时监测接收端小流的订阅人数,根据订阅人数动态开启和关闭小流:
- 无人订阅小流时,自动关闭小流,节省上行带宽和消耗。
- 有人订阅小流时,开启小流并重置为用户最近一次调用 setDualStreamMode [2/2] 时的 AgoraSimulcastStreamConfig 配置。如果用户此前没有进行设置,则使用如下值:
- 视频分辨率:480 × 272
- 视频帧率:15 fps
- 码率:500 Kbps
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
startCameraCapture
开始通过摄像头采集视频。
- (int)startCameraCapture:(AgoraVideoSourceType)sourceType config:(AgoraCameraCapturerConfiguration * _Nullable)config NS_SWIFT_NAME(startCameraCapture(_:config:));
详情
- 自从
- v4.2.0
调用该方法可以通过指定 sourceType 同时开启多路摄像头采集。
参数
- sourceType
-
视频源的类型。详见 AgoraVideoSourceType。
注:- 桌面端最多支持 4 路摄像头采集的视频流。
- config
-
视频采集配置。详见 AgoraCameraCapturerConfiguration。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
startLocalVideoTranscoder
开启本地合图。
- (int)startLocalVideoTranscoder:(AgoraLocalTranscoderConfiguration* _Nonnull)config NS_SWIFT_NAME(startLocalVideoTranscoder(_:));
详情
调用该方法后,你可以在本地将多路视频流合并为一路视频流。例如:将摄像头采集的视频流、屏幕共享流、媒体播放器中的视频流、远端视频流、视频文件、图片等合并为一路视频流,然后将已合图的视频流发布到频道中。
- 本地合图对 CPU 的消耗较高,声网建议你在性能较高的设备上开启该功能。
- 如果你需要对本地采集的视频流进行合图,SDK 支持如下采集组合:
- 在 macOS 平台上,最多支持 4 路摄像头采集的视频流 + 1 路屏幕共享流合图。
- 如果你需要对本地采集的视频流进行合图,需要在 startCameraCapture 或 startScreenCapture 之后调用该方法。
- 如果你要将合图后的视频流发布到频道中,需要在调用 joinChannelByToken [2/4] 或 updateChannelWithMediaOptions 时,将 AgoraRtcChannelMediaOptions 中的 publishTranscodedVideoTrack 设置为
YES
。
适用场景
你可以在远程会议、直播、在线教育等场景下开启本地合图功能,可以让用户更加方便地查看和管理多个视频画面,同时支持人像画中画等功能。
- 调用 enableVirtualBackground,并将自定义背景图设置为 AgoraVirtualBackgroundNone,即:在摄像头采集的视频中将人像和背景分割。
- 调用 startScreenCapture,开始采集屏幕共享视频流。
- 调用该方法,并将采集人像的视频源设置为参与本地合图的视频源之一,即可在合图后的视频中实现人像画中画。
注: 在进行合图配置时,需确保采集人像的摄像头视频流在合图中的图层编号大于屏幕共享流的图层编号,否则人像会被屏幕共享覆盖、无法显示在最终合图的视频流中。
参数
- config
- 本地合图的配置,详见 AgoraLocalTranscoderConfiguration。
注意:
- 参与本地合图的每一路视频流的分辨率最大为 4096 × 2160,如果超出此限制,会导致合图不生效。
- 合图后的视频流最大分辨率为 4096 × 2160。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
startPreview [1/2]
开启视频预览。
- (int)startPreview;
详情
- 调用 setupLocalVideo 初始化本地视图。
- 调用 enableVideo 开启视频模块。
- 本地预览默认开启镜像功能。
- 如果调用 leaveChannel [1/2]退出频道,本地预览依然处于开启状态,如需要关闭本地预览,需要调用 stopPreview [1/2]。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
startPreview [2/2]
开启视频预览并指定预览的视频源。
- (int)startPreview: (AgoraVideoSourceType)sourceType NS_SWIFT_NAME(startPreview(_:));
详情
- 自从
- v4.2.2
- 调用 setupLocalVideo 初始化本地视图。
- 调用 enableVideo 开启视频模块。
- 本地预览默认开启镜像功能。
- 如果调用 leaveChannel [2/2]退出频道,本地预览依然处于开启状态,如需要关闭本地预览,需要调用 stopPreview [2/2]。
- 该方法中设置的视频源类型需要跟 setupLocalVideo 中 AgoraRtcVideoCanvas 的视频源类型一致。
参数
- sourceType
- 视频源的类型,详见 AgoraVideoSourceType。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
stopCameraCapture
停止通过摄像头采集视频。
- (int)stopCameraCapture:(AgoraVideoSourceType)sourceType NS_SWIFT_NAME(stopCameraCapture(_:));
详情
- 自从
- v4.2.0
调用 startCameraCapture 开启一路或多路摄像头采集的视频流后,你可以调用该方法,通过设置 sourceType 停止一路或多路摄像头的视频采集。
参数
- sourceType
- 视频源的类型,详见 AgoraVideoSourceType。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
stopLocalVideoTranscoder
停止本地合图。
- (int)stopLocalVideoTranscoder NS_SWIFT_NAME(stopLocalVideoTranscoder());
详情
调用 startLocalVideoTranscoder 后, 如果你希望停止本地合图,请调用该方法。
返回值
- 0: 方法调用成功
- < 0: 方法调用失败
stopPreview [1/2]
停止视频预览。
- (int)stopPreview;
详情
调用 startPreview [1/2] 开启预览后,如果你想关闭本地视频预览,请调用该方法。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
stopPreview [2/2]
停止视频预览。
- (int)stopPreview: (AgoraVideoSourceType)sourceType NS_SWIFT_NAME(stopPreview(_:));
详情
- 自从
- v4.2.2
调用 startPreview [2/2] 开启预览后,如果你想关闭本地视频预览,请调用该方法。
参数
- sourceType
- 视频源的类型,详见 AgoraVideoSourceType。
返回值
- 0:方法调用成功。
- < 0:方法调用失败。
takeSnapshot
获取视频截图。
- (NSInteger)takeSnapshot:(NSInteger)uid filePath:(NSString* _Nonnull)filePath;
详情
该方法用于对指定用户的视频流进行截图,生成一张 JPG 格式的图片,并保存至指定的路径。
该方法是异步操作,调用返回时 SDK 并没有真正获取截图。成功调用该方法后,SDK 会触发 snapshotTaken 回调报告截图是否成功和获取截图的详情。
- 该方法需要在加入频道后调用。
- 该方法用于本地视频截图时,是对 AgoraRtcChannelMediaOptions 中指定发布的视频流进行截图。
- 如果用户的视频经过前处理,例如,添加了水印或美颜,生成的截图会包含前处理效果。
参数
- uid
- 用户 ID。如果要对本地用户的视频截图,则设为 0。
- filePath
-
截图的本地保存路径,需精确到文件名及格式, 例如:
- macOS:
~/Library/Logs/example.jpg
- macOS:
返回值
- 0: 方法调用成功。
- < 0: 方法调用失败。
firstLocalVideoFrameWithSize
已显示本地视频首帧回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine firstLocalVideoFrameWithSize:(CGSize)size elapsed:(NSInteger)elapsed sourceType:(AgoraVideoSourceType)sourceType;
本地视频首帧显示在本地视图上时,SDK 会触发此回调。
参数
- engine
- AgoraRtcEngineKit 对象。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- size
- 本地渲染视频的尺寸。
- elapsed
- 从调用 joinChannelByToken [2/4] 到发生此事件过去的时间(毫秒)。如果在 joinChannelByToken [2/4] 前调用了 startPreview [2/2],则是从 startPreview [2/2]到发生此事件过去的时间。
firstLocalVideoFramePublishedWithElapsed
已发布本地视频首帧回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine firstLocalVideoFramePublishedWithElapsed:(NSInteger)elapsed sourceType:(AgoraVideoSourceType)sourceType;
- 开启本地视频的情况下,调用 joinChannelByToken [2/4] 成功加入频道后。
- 调用 muteLocalVideoStream(
YES
),再调用 muteLocalVideoStream(NO
) 后。 - 调用 disableVideo,再调用 enableVideo 后。
- 调用 pushExternalVideoFrame 成功向 SDK 推送视频帧后。
参数
- engine
- AgoraRtcEngineKit 对象。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- elapsed
- 从调用 joinChannelByToken [2/4] 方法到触发该回调的时间间隔(毫秒)。
firstRemoteVideoDecodedOfUid
已接收到远端视频并完成解码回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine firstRemoteVideoDecodedOfUid:(NSUInteger)uid size:(CGSize)size elapsed:(NSInteger)elapsed;
- 远端用户首次上线后发送视频。
- 远端用户视频离线再上线后发送视频。出现这种中断的可能原因包括:
- 远端用户离开频道。
- 远端用户掉线。
- 远端用户调用 muteLocalVideoStream 方法停止发送本地视频流。
- 远端用户调用 disableVideo 方法关闭视频模块。
参数
- uid
- 用户 ID,指定是哪个用户的视频流。
- engine
- AgoraRtcEngineKit 对象。
- size
- 视频流尺寸。
- elapsed
- 从本地调用 joinChannelByToken [2/4] 开始到该回调触发的延迟(毫秒)。
firstRemoteVideoFrameOfUid
渲染器已接收首帧远端视频回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine firstRemoteVideoFrameOfUid:(NSUInteger)uid size:(CGSize)size elapsed:(NSInteger)elapsed;
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID,指定是哪个用户的视频流。
- size
- 视频流尺寸。
- elapsed
- 从本地调用 joinChannelByToken [2/4] 到发生此事件过去的时间(毫秒)。
localVideoStateChangedOfState
本地视频状态发生改变回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine localVideoStateChangedOfState:(AgoraVideoLocalState)state error:(AgoraLocalVideoStreamError)error sourceType:(AgoraVideoSourceType)sourceType;
本地视频的状态发生改变时,SDK 会触发该回调返回当前的本地视频状态。你可以通过该回调了解当前视频的状态以及出现故障的原因,方便排查问题。
AgoraVideoLocalStateFailed
,错误码为 AgoraLocalVideoStreamErrorCaptureFailure
:
- 应用退到后台,系统回收摄像头。
- 摄像头正常启动,但连续 4 秒都没有输出采集的视频。
摄像头输出采集的视频帧时,如果连续 15 帧中,所有视频帧都一样,SDK 触发 localVideoStateChangedOfState 回调,状态为 AgoraVideoLocalStateCapturing,错误码为 AgoraLocalVideoStreamErrorCaptureFailure。注意,帧重复检测仅针对分辨率大于 200 × 200、帧率大于等于 10 fps、码率小于 20 Kbps 的视频帧。
参数
- engine
- AgoraRtcEngineKit 对象。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- state
-
本地视频状态,详见 AgoraVideoLocalState。
- error
-
本地视频出错原因,详见 AgoraLocalVideoStreamError。
localVideoStats
本地视频流统计信息回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine localVideoStats:(AgoraRtcLocalVideoStats * _Nonnull)stats sourceType:(AgoraVideoSourceType)sourceType;
该回调描述本地设备发送视频流的统计信息,每 2 秒触发一次。
参数
- engine
- AgoraRtcEngineKit 对象。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- stats
- 本地视频流统计信息。详见 AgoraRtcLocalVideoStats。
didLocalVideoTranscoderErrorWithStream
本地合图发生错误回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine didLocalVideoTranscoderErrorWithStream:(AgoraTranscodingVideoStream * _Nonnull )stream errorCode:(AgoraVideoTranscoderError)errorCode NS_SWIFT_NAME(rtcEngine(_:didLocalVideoTranscoderErrorWithStream:errorCode:));
详情
- 自从
- v4.2.0
当你调用 startLocalVideoTranscoder 或 updateLocalTranscoderConfiguration 失败时,SDK 会触发该回调,报告合图失败的原因。
参数
- stream
- 合图失败的视频流。详见 AgoraTranscodingVideoStream。
- errorCode
- 本地合图出错原因。详见 AgoraVideoTranscoderError。
remoteVideoStateChangedOfUid
远端视频状态发生改变回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine remoteVideoStateChangedOfUid:(NSUInteger)uid state:(AgoraVideoRemoteState)state reason:(AgoraVideoRemoteReason)reason elapsed:(NSInteger)elapsed;
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 发生视频状态改变的远端用户 ID。
- state
-
远端视频流状态,详见 AgoraVideoRemoteState。
- reason
-
远端视频流状态改变的具体原因,详见 AgoraVideoRemoteReason。
- elapsed
- 从本地用户调用 joinChannelByToken [2/4] 方法到发生本事件经历的时间,单位为毫秒。
remoteVideoStats
通话中远端视频流的统计信息回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine remoteVideoStats:(AgoraRtcRemoteVideoStats * _Nonnull)stats;
该回调描述远端用户在通话中端到端的视频流统计信息, 针对每个远端用户/主播每 2 秒触发一次。如果远端同时存在多个用户/主播, 该回调每 2 秒会被触发多次。
参数
- engine
- AgoraRtcEngineKit 对象。
- stats
- 远端视频统计数据。详见 AgoraRtcRemoteVideoStats。
videoTransportStatsOfUid
通话中远端视频流传输的统计信息回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine videoTransportStatsOfUid:(NSUInteger)uid delay:(NSUInteger)delay lost:(NSUInteger)lost rxKBitRate:(NSUInteger)rxKBitRate;
- 弃用:
- 该回调已被废弃,请改用 remoteVideoStats。
该回调描述远端用户通话中端到端的网络统计信息,通过视频包计算,用客观的数据,如丢包、 网络延迟等,展示当前网络状态。
通话中,当用户收到远端用户/主播发送的视频数据包后,会每 2 秒触发一次该回调。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID,指定是哪个用户/主播的视频包。
- delay
- 视频包从发送端到接收端的延时(毫秒)。
- lost
- 视频包从发送端到接收端的丢包率 (%)。
- rxKBitRate
- 远端视频包的接收码率(Kbps)。
snapshotTaken
视频截图结果回调。
- (void)rtcEngine:(AgoraRtcEngineKit* _Nonnull)engine snapshotTaken:(NSUInteger)uid filePath:(NSString* _Nonnull)filePath width:(NSInteger)width height:(NSInteger)height errCode:(NSInteger)errCode;
成功调用 takeSnapshot 后,SDK 触发该回调报告截图是否成功和获取截图的详情。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID。如果 uid 为 0,表示本地用户。
- filePath
- 截图的本地保存路径。
- width
- 图片宽度(px)。
- height
- 图片高度(px)。
- errCode
- 截图成功的提示或失败的原因。
- 0:截图成功。
- < 0: 截图失败。
- -1:写入文件失败或 JPEG 编码失败。
- -2:takeSnapshot 方法调用后 1 秒内没有收到指定用户的视频帧。可能的原因有:本地采集停止、远端停止发布或者视频数据处理堵塞。
- -3:takeSnapshot 方法调用过于频繁。
didLocalVideoEnabled
远端用户开/关本地视频采集回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine didLocalVideoEnabled:(BOOL)enabled byUid:(NSUInteger)uid
该回调是由远端用户调用 enableLocalVideo 方法开启或关闭视频采集触发的。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID,提示是哪个用户的视频流。
- enabled
-
远端用户是否启用视频采集:
-
YES
: 该用户已启用视频功能。启用后,其他用户可以接收到该用户的视频流。 -
NO
: 该用户已关闭视频功能。关闭后,该用户仍然可以接收其他用户的视频流,但其他用户接收不到该用户的视频流。
-
didVideoEnabled
远端用户开/关视频模块回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine didVideoEnabled:(BOOL)enabled byUid:(NSUInteger)uid
关闭视频功能是指该用户只能进行语音通话,不能显示、发送自己的视频,也不能接收、显示别人的视频。
该回调是由远端用户调用 enableVideo 或 disableVideo 方法开启或关闭视频模块触发的。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 用户 ID,提示是哪个用户的视频流。
- enabled
-
-
YES
: 该用户已启用视频功能。 -
NO
: 该用户已关闭视频功能。
-
didVideoMuted
远端用户取消或恢复发布视频流回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine didVideoMuted:(BOOL)muted byUid:(NSUInteger)uid
当远端用户调用 muteLocalVideoStream 取消或恢复发布视频流时,SDK 会触发该回调向本地用户报告远端用户的发流状况。
参数
- engine
- AgoraRtcEngineKit 对象。
- uid
- 远端用户 ID。
- muted
- 远端用户是否取消发布视频流:
YES
: 取消发布视频流。NO
: 发布视频流。
didVideoPublishStateChange
视频发布状态改变回调。
- (void)rtcEngine:(AgoraRtcEngineKit *_Nonnull)engine didVideoPublishStateChange:(NSString * _Nonnull)channelId sourceType:(AgoraVideoSourceType)sourceType oldState:(AgoraStreamPublishState)oldState newState:(AgoraStreamPublishState)newState elapseSinceLastState:(int)elapseSinceLastState;
参数
- engine
- AgoraRtcEngineKit 对象。
- channelId
- 频道名。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- oldState
- 之前的发布状态,详见 AgoraStreamPublishState。
- newState
- 当前的发布状态,详见 AgoraStreamPublishState。
- elapseSinceLastState
- 两次状态变化时间间隔(毫秒)。
videoSizeChangedOfSourceType
本地或远端视频大小和旋转信息发生改变回调。
- (void)rtcEngine:(AgoraRtcEngineKit * _Nonnull)engine videoSizeChangedOfSourceType:(AgoraVideoSourceType)sourceType uid:(NSString * _Nonnull)uid size:(CGSize)size rotation:(NSInteger)rotation NS_SWIFT_NAME(rtcEngine(_:videoSizeChangedOf:uid:size:rotation:));
参数
- engine
- AgoraRtcEngineKit 对象。
- sourceType
- 视频源的类型。详见 AgoraVideoSourceType。
- uid
- 图像尺寸和旋转信息发生变化的用户 ID(本地用户的 uid 为 0。此时视频为本地用户的视频预览)。
- size
- 视频流的尺寸。
- rotation
- 旋转信息,取值范围 [0,360)。
rtcEngineVideoDidStop
视频功能已停止回调。
- (void)rtcEngineVideoDidStop:(AgoraRtcEngineKit * _Nonnull)engine;
- 弃用:
- 请改用 localVideoStateChangedOfState 回调中的 AgoraVideoLocalStateStopped(0)。
App 如需在停止视频后对 view 做其他处理(比如显示其他画面),可以在这个回调中进行。
参数
- engine
- AgoraRtcEngineKit 对象。
didVideoSubscribeStateChange
视频订阅状态发生改变回调。
- (void)rtcEngine:(AgoraRtcEngineKit *_Nonnull)engine didVideoSubscribeStateChange:(NSString * _Nonnull)channelId uid:(unsigned int)uid oldState:(AgoraStreamSubscribeState)oldState newState:(AgoraStreamSubscribeState)newState elapseSinceLastState:(int)elapseSinceLastState;
参数
- engine
- AgoraRtcEngineKit 对象。
- channel
- 频道名。
- uid
- 远端用户的 ID。
- oldState
- 之前的订阅状态,详见 AgoraStreamSubscribeState。
- newState
- 当前的订阅状态,详见 AgoraStreamSubscribeState。
- elapseSinceLastState
- 两次状态变化时间间隔(毫秒)。