【Linux内核三】网络丢包debug案例
创始人
2024-06-01 16:52:12
0

👉个人主页:highman110

👉作者简介:一名硬件工程师,持续学习,不断记录,保持思考,输出干货内容 

目录

前言

测试环境

测试现象

​编辑 定位过程

​编辑 优化手段

1、加大ring buffer

2、加大socket buffer

3、尝试中断绑核


前言

前面两篇文章分享了Linux网络收发包流程和常用的网络问题定位工具,本期分享一个实际的测试案例,结合前面两篇的理论基础,逐步分析丢包的原因和解决办法。

测试环境

使用某国产CPU平台的两台设备,用iperf3工具进行udp报文测试。

设备A配置网口IP为192.168.1.12。

设备B配置网口IP为192.168.1.100。

设备A作为server端,从默认端口5201监听报文。

设备B作为client端,从默认端口发送udp报文,设置带宽1000M,测试时间5S。

测试现象

从设备A端监听到有丢包,且传输速率也只有六百多兆,没有达到设定的1000M水平:

 定位过程

用ifconfig查询网口统计,看是接收出错还是发送出错。

设备B发送端,可以看到发送没有错误统计:

设备A接收端,可以看到有rx error和overrun:

 

以下是从网上其他文章中看到的接收端错误解释,我上一篇文章中也有说明,由于我不是做做软件的,不懂看内核代码,具体这些统计的含义,建议有条件看代码的大佬以代码为准,我这里只是拾人牙慧,我个人觉得上一篇文章开头中提到的那篇雄文对于细节的理解应该是比较到位的:

(1) RX errors

表示总的收包的错误数量,这包括 too-long-frames 错误,crc 校验错误,帧同步错误以及 missed pkg 等等。

(2) RX dropped

表示数据包已经进入了Ring Buffer,但是由于内核处理不过来等系统原因,导致在数据从网卡拷贝到内存的过程中被丢弃。(这句话描述有误,ring buffer不是存数据包的,存的是描述符,描述符指向了socket buffer的位置,可以理解为数据DMA到socket buffer时丢了,可能是当前的数据内容大于socket buffer的容量)。

(3) RX overruns

overruns意味着数据包没到 ring buffer就被网卡物理层给丢弃了。当驱动处理速度跟不上网卡收包速度时,驱动来不及分配缓冲区(这句话同样有误,数据包不会到ring buffer),NIC 接收到的数据包无法及时写到socket buffer,就会产生堆积。当NIC内部缓冲区写满后,就会丢弃部分数据,引起丢包。这部分丢包为 rx_fifo_errors,在 /proc/net/dev 中体现为 fifo 字段增长,在 ifconfig 中体现为 overruns 指标增长。

(4) RX frame

表示 misaligned 的 frames。

可以看到接收错误为57个缓存(指的是网卡fifo溢出还是socket buffer还不明确)溢出错误和824非对齐帧错误,可能这两个是关联错误,由于缓存溢出导致一些帧无法对齐。

由于是udp报文测试,通过如下命令查询udp统计,可以看到InErrors和RcvbufErrors相等,更指向接收端缓存溢出错误。

确定为接收端问题后,可以继续查询rx error的具体类型,ifconfig命令统计的是帧对齐错误,这里ethtool没有统计帧对齐错误,而统计了rx resource error,这个不明白是什么意思。

 优化手段

1、加大ring buffer

设备A、B的网口ring buffer默认RX=512,TX=512。

将接收端设备B的ring参数改为tx=2048,rx=2048:

继续测试发现,丢包率降低一点点,带宽提升了一点点,效果不明显。

继续加大ring参数也没有明显效果,甚至丢包率还会劣化。

2、加大socket buffer

设备A、B socket buffer默认为rmem_default=212992,rmem_max=212992。

将接收端加大:

结果有改善,但是仍存在丢包现象。

3、尝试中断绑核

查询当前网卡中断集中在CPU core0上:

将此网卡中断数最多的中断号184重新绑定到core1和core2。其中6 表示的是 core2 和 core1,core0 的掩码是 0x1 (0001),core1掩码是 0x2 (0010),core2掩码是 0x4 (0100),core3掩码是 0x8 (1000) 依此类推。

另外需要注意的是设置 smp_affinity 的话不能开启 irqbalance 或者需要为 irqbalance 设置 –banirq 列表,将设置了 smp_affinity 的 IRQ 排除。不然 irqbalance 机制运作时会忽略你设置的 IRQ affinity 配置。

重新绑核测试无丢包:

 

 

相关内容

热门资讯

安卓se系统怎么启用,确保应用... 你有没有发现,你的安卓手机最近有点儿“懒”呢?运行速度慢,反应迟钝,是不是想给它来个“大变身”呢?别...
微软怎么使用安卓系统,技术融合... 你有没有想过,那个以Windows系统著称的微软,竟然也会和安卓系统玩起“亲密接触”?没错,就是那个...
安卓系统耗电特别快,快速诊断与... 手机电量总是不够用?安卓系统耗电特别快,是不是你也遇到了这样的烦恼?别急,今天就来跟你聊聊这个话题,...
安卓机 桌面 系统菜单,功能解... 你有没有发现,你的安卓手机桌面系统菜单,其实就像一个隐藏的宝藏库呢?里面藏着各种各样的功能,等着你去...
安卓ios系统怎么安装,安卓与... 你有没有想过,你的手机里那些好玩的应用是怎么来的呢?是不是觉得安装个软件就像变魔术一样简单?其实,这...
珍奥助手安卓系统下载,轻松体验 你有没有听说最近有个超级好用的助手软件——珍奥助手?没错,就是那个能让你手机生活变得更加便捷的小帮手...
安卓换ios系统.数据,数据迁... 你有没有想过,手机系统就像是我们生活中的衣服,有时候换一件新衣服,整个人都焕然一新呢?没错,今天咱们...
安卓系统提示怎么关,轻松关闭功... 手机屏幕上突然弹出一个安卓系统的提示,让你不禁皱起了眉头。别急,别慌,今天就来手把手教你如何轻松关闭...
安卓系统如何刷回flyme系统... 你是不是也和我一样,对安卓手机的Flyme系统情有独钟呢?有时候,因为一些原因,我们可能需要将手机刷...
手机订餐系统源码安卓,基于手机... 你有没有想过,每天忙碌的生活中,点外卖已经成为了一种不可或缺的享受?而这一切的背后,离不开那些默默无...
顾问营销系统安卓版,助力企业高... 你有没有想过,在这个信息爆炸的时代,如何让你的产品在众多竞争者中脱颖而出呢?别急,今天我要给你介绍一...
安卓系统连接雅马哈音箱,打造个... 你有没有想过,家里的安卓手机和雅马哈音箱也能来个甜蜜的“牵手”呢?没错,今天就要来给你揭秘,如何让这...
安卓系统文件日志查看,揭秘系统... 手机里的安卓系统文件日志,听起来是不是有点儿高深莫测?别担心,今天我就要带你一探究竟,揭开这些神秘日...
努比亚升级安卓p系统,畅享智能... 你知道吗?最近手机界可是热闹非凡呢!努比亚这个品牌,竟然悄悄地给他们的手机升级了安卓P系统。这可不是...
仿苹果装安卓系统,揭秘仿苹果装... 你有没有想过,如果你的苹果手机突然变成了安卓系统,那会是怎样的场景呢?想象你那熟悉的iOS界面,突然...
安装安卓13子系统,全新功能与... 你听说了吗?安卓13子系统终于来了!这可是安卓系统的一大革新,让我们的手机体验更加丰富多元。今天,就...
安卓系统内核日志保存,深度洞察... 你有没有想过,当你手机里的安卓系统在默默运行时,它其实就像一个勤劳的小蜜蜂,不停地记录着它的“工作日...
安卓系统可以调用dll,安卓系... 你知道吗?安卓系统竟然能调用DLL文件,这可是个让人眼前一亮的小秘密呢!想象你手中的安卓设备,不仅能...
安卓通讯 录系统代码,基于安卓... 你有没有想过,你的手机里那个默默无闻的通讯录系统,其实背后有着一套复杂的代码在支撑呢?今天,就让我带...
安卓系统版本对应关系,安卓系统... 你有没有发现,每次手机更新系统,那感觉就像给手机换了个新衣裳,焕然一新呢!不过,你知道吗?安卓系统的...