在视频通话或视频互动直播场景下,视频画面是否清晰流畅,很大程度上决定了用户体验。视频编码属性包含视频分辨率、帧率、码率等影响视频质量的参数设置。你可以通过设置视频编码属性,控制视频流在不同网络条件下的展示方式。BRTC SDK 提供了 setVideoEncoderParam 方法设置视频编码属性。
视频编码属性的参数如下所示:
上述参数设置的均为理想情况下的最大值。当视频因网络环境等原因无法达到设置的分辨率、帧率或码率的最大值时,取值会尽量接近最大值。
BRTCVideoEncParam *videoConfig = [[BRTCVideoEncParam alloc] init]; videoConfig.fps = 15; videoConfig.bandWidth = 400; videoConfig.height = 360; videoConfig.width = 640; [self.brtc setVideoEncoderParam:videoConfig];
通常来讲,视频编码参数的选择要根据产品实际情况和场景来确定。比如,在一对一教学场景下,老师和学生的窗口比较大,要求分辨率会高一点,随之帧率和码率也要高一点; 如果是一对四场景, 老师和学生的窗口都比较小,分辨率可以低一点,对应的码率帧率也会低一点,以减少编解码的资源消耗和缓解下行带宽压力。
一般可按下列场景中的推荐值进行设置。
默认情况下,SDK 在编码时不对视频作镜像操作。你可以通过 setVideoEncoderMirror 参数来设置视频编码的镜像模式。它的布尔参数表示是否执行水平方向上的镜像,不支持垂直镜像。
[self.brtc setVideoEncoderMirror:YES];
在网络带宽比较充裕的情况下,清晰和流畅是可以兼顾的。但当用户的网络并不理想时,究竟是优先保证清晰还是优先保证流畅?您可以通过调用 setNetworkQosParam 方法来做出选择。
BRTCNetworkQosParam *para = [[BRTCNetworkQosParam alloc] init]; para.preference = BRTCVideoQosPreferenceSmooth; //para.preference = BRTCVideoQosPreferenceClear; para.streamType = BRTCVideoStreamTypeBig; [self.brtc setNetworkQosParam:para];
考虑到画面旋转牵扯到录制和 CDN 旁路直播的各种适配问题, 百家云 SDK 仅提供了一种简单的重力感应自适应功能,您可以通过 BRTC 的 setGSensorMode 接口来开启。
[self.brtc setGSensorMode:BRTCGSensorMode_UIFixLayout]; [self.brtc startLocalPreview:YES view:self.localView]; [self.brtc muteLocalVideo:NO];
本功能需要在推流前设定,独立设置小流的分辨率、帧率和码率等信息。
在拉流端,使用 setRemoteVideoStreamType 方法选定远端用户的大小画面。
// 推流端: BRTCVideoEncParam *videoConfig = [[BRTCVideoEncParam alloc] init]; videoConfig.height = 180; videoConfig.width = 320; videoConfig.bandWidth = 100; videoConfig.fps = 10; [self.brtc enableEncSmallVideoStream:YES withQuality:videoConfig]; // 拉流端: [self.brtc startRemoteView:userId streamType:BRTCVideoStreamTypeSmall view:remoteView];
"自动回退"是指在视频推流过程中,如果遇到如弱网、CPU负载较高等条件,是否自动关闭推流,只保留音频,或者在运行环境条件改善后再恢复原来的状态的调节机制。当调用 setVideoFallbackEnable 方法开启自动回退机制时,当 SDK 检测到网络不理想时,会自动关闭大流、保留小流。如果网络条件继续恶化,就会彻底关闭视频,只留音频。如果网络恢复了,会从只留音频变成恢复推小流,如果网络还很宽裕,再恢复大流。
当每次自动关闭和恢复视频流时,您会通过此回调 onLocalVideoFallback 收到通知。
@interface BRTCVideoViewController () <BRTCDelegate> @property (nonatomic, strong) BRTC *brtc; @end @implementation BRTCVideoViewController - (void)initBRTC { self.brtc = [BRTC sharedInstance]; [self.brtc setDelegate:self]; [self brtc setVideoFallbackEnable:YES]; } - (void)onLocalVideoFallback:(BOOL)isFallback { NSLog(@"..."); } @end
设置视频编码参数
在视频通话或视频互动直播场景下,视频画面是否清晰流畅,很大程度上决定了用户体验。视频编码属性包含视频分辨率、帧率、码率等影响视频质量的参数设置。你可以通过设置视频编码属性,控制视频流在不同网络条件下的展示方式。BRTC SDK 提供了 setVideoEncoderParam 方法设置视频编码属性。
分辨率、帧率和码率
视频编码属性的参数如下所示:
上述参数设置的均为理想情况下的最大值。当视频因网络环境等原因无法达到设置的分辨率、帧率或码率的最大值时,取值会尽量接近最大值。
视频参数推荐值
通常来讲,视频编码参数的选择要根据产品实际情况和场景来确定。比如,在一对一教学场景下,老师和学生的窗口比较大,要求分辨率会高一点,随之帧率和码率也要高一点; 如果是一对四场景, 老师和学生的窗口都比较小,分辨率可以低一点,对应的码率帧率也会低一点,以减少编解码的资源消耗和缓解下行带宽压力。
一般可按下列场景中的推荐值进行设置。
编码镜像模式
默认情况下,SDK 在编码时不对视频作镜像操作。你可以通过 setVideoEncoderMirror 参数来设置视频编码的镜像模式。它的布尔参数表示是否执行水平方向上的镜像,不支持垂直镜像。
Qos(Quality of Service)策略设定
在网络带宽比较充裕的情况下,清晰和流畅是可以兼顾的。但当用户的网络并不理想时,究竟是优先保证清晰还是优先保证流畅?您可以通过调用 setNetworkQosParam 方法来做出选择。
重力感应模式
考虑到画面旋转牵扯到录制和 CDN 旁路直播的各种适配问题, 百家云 SDK 仅提供了一种简单的重力感应自适应功能,您可以通过 BRTC 的 setGSensorMode 接口来开启。
大小流
本功能需要在推流前设定,独立设置小流的分辨率、帧率和码率等信息。
在拉流端,使用 setRemoteVideoStreamType 方法选定远端用户的大小画面。
视频自动回退机制
"自动回退"是指在视频推流过程中,如果遇到如弱网、CPU负载较高等条件,是否自动关闭推流,只保留音频,或者在运行环境条件改善后再恢复原来的状态的调节机制。
当调用 setVideoFallbackEnable 方法开启自动回退机制时,当 SDK 检测到网络不理想时,会自动关闭大流、保留小流。如果网络条件继续恶化,就会彻底关闭视频,只留音频。如果网络恢复了,会从只留音频变成恢复推小流,如果网络还很宽裕,再恢复大流。
当每次自动关闭和恢复视频流时,您会通过此回调 onLocalVideoFallback 收到通知。