视频编解码 — 卡顿与花屏
admin
2024-03-05 06:27:02
0

目录

卡顿问题

卡顿问题出现的可能性

1、帧率不够

2、编码出码率超过实际网络带宽

3、网络本身有一定的丢包率

视频花屏

1、帧不完整

2、参考帧不完整,导致花屏

3、YUV格式问题

4、stride问题


卡顿问题

        在帧率达到10fps并且均匀播放是,就不太能看出来卡顿。

卡顿问题出现的可能性

1、帧率不够

        两帧之间的间隔超过200ms,可能会出现卡顿

        可能原因:机器性能不够,导致处理耗时太长。

        解决办法:使用GPU做处理

2、编码出码率超过实际网络带宽

1)在RTC中比较常见,有时候网络突然变差,从网络预估出来的带宽很小,但实际播放的画面复杂,且需要的编码码率又比较高,容易出现发送码率大于实际带宽的问题。

        当包被丢弃,后面参考它的帧都不能解码,直到IDR帧到来。

解决办法:

        对发送码率做严格控制,防止它超过预估带宽

        在RTC视频通话场景,最好选择CBR码控算法

2)复杂帧编码后过大,或者I帧比较大

        使用CBR的码控来编码可以使得一段时间内的编码输出码率尽量接近预估带宽,但有时候编码画面很大的帧或者需要编码IDR帧的时候,还是会使得变化后的一帧会比较大。如果一次将这帧打包 发送到网络,会加重网络负担,容易丢包,引起卡顿。

解决办法:

        在编码打包之后,发送之前,加一个平滑发送的模块来平滑发送视频包。在webrtc中叫做PacedSender.

        其主要的工作原理就是编码输出的码率打包后先放到缓冲区中,而不是直接发送。之后再按照预估带宽大小,对应的发送速度,将缓冲区中的数据发送到网络中。

        一般PacedSender每隔5ms左右发送一次包,并且它会在内部记录上一个5ms发送周期发送完之后剩余可发送的大小。同时计算当前距离上一次发送包的时间差,乘上发送码率得到这段时间可以发送多少大小的数据。再加上上一次剩余可发送的大小得到本次可以发送大小。

3、网络本身有一定的丢包率

使用CBR好平滑发送,但有时候网络变化太快或者处于无线网络中,就有可能丢包。

丢包重传策略在jitter bufer实现。当接收端接收到视频RTP包后,会检查RTP序号

1、如果序号不连续,认为可能丢包了(也有可能UDP乱序)。Jitter Buffer将中间没有收到包的包序号加入到丢包列表中(UDP乱序去除)。

2、接收端每隔一定时间将丢包列表组装成RTCP协议中的NACK报文发给发送端。发送端会保持之前发送的历史数据中找到这个包重新发送给接收端。一来一往的时间差不多是一个RTT时间。

3、如果接收端等待一个RTT时间后还没有收到对应的RTP包,再次将该序号加入到重传请求中,如果连续多次没收到,那就不再将该包加入到NACK报文中了。

一般来说,策略使用后,卡顿一小会儿。如果重传没有收到包。那就要使用关键帧请求I帧请求。

视频花屏

1、帧不完整

        帧不完整也有很大可能解码成功,但是得到的是花屏。

如何保证帧的完整性

  • RTP打包的时候以Slice为单位打包,而不是以帧为单位打包。一帧可能有多个Slice,RTP包里,RTP头有一个标志M,便是一帧的结尾。Jitter Buffer中对帧进行完整性判断。先保证一个Slice是完整的。Slice_header中first_mb_in_slice字段,判断当前slice是不是第一个slice。
  • 还有一种方式,使用时间戳相同的RTP包是同一帧。

2、参考帧不完整,导致花屏

        连续参考帧,有一帧没有解码,就会出现花屏。SVC编码,不是连续参考帧

3、YUV格式问题

        Y分量是对的 UV分量不对

4、stride问题

        步距和视频的宽是两个概念

相关内容

热门资讯

怎么解除订阅安卓系统,安卓系统... 你是不是也和我一样,手机里订阅了好多服务,结果现在想解除订阅,却一头雾水?别急,今天就来手把手教你如...
安卓系统停用怎么开启,轻松恢复... 亲爱的手机控们,你是否曾经遇到过安卓系统突然停用的情况,让你手忙脚乱,不知所措?别担心,今天就来教你...
安卓系统电池健康度,电池健康度... 你有没有发现,你的安卓手机最近是不是有点儿不给力了?电池续航能力大不如前,充电速度也慢了不少?别急,...
安卓系统按键怎么截图,安卓系统... 你是不是也和我一样,有时候想截个图分享给朋友,却发现安卓手机的截图功能有点神秘呢?别急,今天就来手把...
购票系统安卓源代码,架构设计与... 你有没有想过,那些我们每天离不开的购票系统,它们背后的秘密是什么呢?今天,就让我带你一探究竟,揭开购...
安卓手机系统后台测试,深度解析... 你有没有发现,你的安卓手机后台总是悄悄地忙碌着?别小看了这些后台程序,它们可是手机系统稳定运行的关键...
安卓系统重启的图标,解锁设备新... 手机突然重启,是不是心里有点慌?别急,今天就来和你聊聊安卓系统重启的图标,让你一眼就能认出它,再也不...
车载智慧屏安卓系统,智能出行新... 你有没有发现,现在的车载智慧屏越来越智能了?尤其是那些搭载了安卓系统的,简直就像是个移动的小电脑,不...
安卓系统连上网权限,解锁设备无... 你有没有发现,你的安卓手机里有些应用总是偷偷连上网?别小看这个小小的网络权限,它可是能影响你隐私、消...
安卓谷歌操作系统,探索安卓谷歌... 你知道吗?在智能手机的世界里,有一个操作系统可是无人不知、无人不晓,那就是安卓谷歌操作系统。它就像一...
安卓系统手写%怎样调出,具体实... 你有没有遇到过这种情况:在使用安卓手机的时候,突然想用手写输入法来记录一些灵感或者重要信息,可是怎么...
安卓手机重置 系统设置,轻松恢... 手机用久了是不是感觉卡顿得厉害?别急,今天就来教你怎么给安卓手机来个大变身——重置系统设置!想象你的...
win如何安装安卓系统,Win... 哇,你有没有想过,让你的Win系统也能玩转安卓应用?没错,就是那种在手机上轻松自如的安卓系统,现在也...
苹果qq和安卓系统,跨平台体验... 你有没有发现,现在手机市场上,苹果和安卓的较量可是越来越激烈了呢!咱们就来聊聊这个话题,看看苹果QQ...
显示最好的安卓系统,探索最新旗... 你有没有想过,为什么安卓系统那么受欢迎呢?它就像一个魔法盒子,里面装满了各种神奇的魔法。今天,就让我...
安卓app怎么降级系统,系统版... 你有没有发现,有时候安卓手机的系统更新后,新功能虽然炫酷,但老系统用起来更顺手呢?别急,今天就来教你...
雷军脱离安卓系统,引领科技变革... 你知道吗?最近科技圈可是炸开了锅,因为我们的雷军大大竟然宣布要脱离安卓系统,这可真是让人大跌眼镜啊!...
安卓系统自动开网络,安卓系统自... 你有没有发现,手机里的安卓系统有时候会自动开启网络连接,这可真是让人又爱又恨啊!有时候,你正专心致志...
安卓系统怎样控制后台,因为服务... 手机里的安卓系统是不是感觉越来越卡了?后台程序太多,不仅耗电还影响性能。别急,今天就来教你怎么巧妙地...
安卓系统打游戏推荐,一触即达! 你有没有发现,现在手机游戏越来越好玩了?不管是休闲小游戏还是大型MMORPG,都能在手机上畅玩。但是...