kafka-producer batch.size与linger.ms参数
创始人
2025-05-31 14:55:51
0次
Kafka需要在吞吐量和延迟之间取得平衡,可通过下面两个参数控制。
batch.size
- 当多个消息发送到相同分区时,生产者会将消息打包到一起,以减少请求交互. 而不是一条条发送
- 批次大小可通过
batch.size参数设置。默认：16KB - 较小的批次大小有可能降低吞吐量。（设置为0则完全禁用批处理）
- 非常大的批次大小可能会浪费内存。因为我们会预先分配这个资源。
例子
比如说发送消息的频率是每秒300条，那么如果将batch.size调节到32KB，或64KB，是否可以提升发送消息的整体吞吐量呢。
因为理论上来说，提升batch的大小，可以允许更多的数据缓冲在里面，那么一次Request发送出去的数据量就更多了，这样吞吐量可能会有所提升。
但这个值也不能无限的大，过于大了之后，要是数据老是缓冲在Batch里迟迟不发送出去，那么岂不是你发送消息的延迟就会很高。
比如说，一条消息进入了Batch，但是要等待5秒钟Batch才凑满了64KB，才能发送出去。那这条消息的延迟就是5秒钟。
所以需要在这里按照生产环境的发消息的速率，调节不同的Batch大小自己测试一下，根据最终出去的吞吐量以及消息的延迟，设置一个最合理的参数。
linger.ms
上面比如设置batch.size为32KB，但是有的时刻消息比较少，过了很久，比如5min也没有凑够32KB，这时延时就很大，所以需要一个参数. 再设置一个时间，到了这个时间，即使数据没达到batch.size的值，也要将这个批次发送出去。比如设置5ms，就是到了5ms，批次大小还没到32KB,也会发出去。
总结
- 同时设置
batch.size和linger.ms，就是哪个条件先满足就都会将消息发送出去。 Kafka需考虑高吞吐量与延时的平衡。
相关内容
热门资讯
甜城麻将安卓系统,解锁全新麻将...
你有没有听说过那个超级火的甜城麻将安卓系统？没错，就是那个让无数麻将爱好者为之疯狂的软件！今天，就让...
安卓系统卸载的软件,深度揭秘卸...
手机里的软件越来越多，是不是感觉内存不够用了？别急，今天就来教你怎么在安卓系统里卸载那些不再需要的软...
安卓系统推荐好游戏,畅享指尖乐...
手机里的游戏可是咱们休闲娱乐的好伙伴，尤其是安卓系统的用户，选择面那可是相当广呢！今天，就让我来给你...
王者安卓系统怎么卖,揭秘如何轻...
你有没有听说最近王者安卓系统的火爆程度？没错，就是那个让无数玩家沉迷其中的王者荣耀！今天，我就来给你...
安卓开发系统内置证书,基于安卓...
你有没有想过，你的安卓手机里那些神秘的内置证书，它们到底是个啥玩意儿？别急，今天就来给你揭秘这些隐藏...
荣耀安装安卓原生系统,深度体验...
你知道吗？最近荣耀手机界可是掀起了一股热潮，那就是——荣耀安装安卓原生系统！这可不是什么小打小闹，而...
安卓13小米系统,创新功能与流...
你知道吗？最近安卓13系统可谓是风头无两，各大手机厂商纷纷推出自家的新版系统，其中小米的安卓13系统...
鸿蒙系统底层安卓10,融合与创...
你知道吗？最近手机圈里可是热闹非凡呢！华为的新操作系统鸿蒙系统，竟然在底层采用了安卓10的架构。这可...
安卓系统辅助在哪关闭,轻松关闭...
你有没有发现，安卓系统的辅助功能真是贴心到不行啊！不过，有时候这些功能太多，用起来有点乱糟糟的。别急...
安卓系统outlook邮件设置...
你有没有发现，自从你把手机升级到了安卓系统，邮件管理变得有点复杂呢？别急，今天就来手把手教你如何设置...
安卓系统停止向华为,自主操作系...
你知道吗？最近科技圈可是炸开了锅！安卓系统突然宣布停止向华为提供技术支持，这可不仅仅是两家公司之间的...
安卓系统连接被重置,原因解析与...
最近你的安卓手机是不是有点儿闹脾气呢？连接被重置的问题让你头疼不已？别急，今天就来给你详细解析一下这...
安卓系统自占内存,揭秘内存占用...
你有没有发现，你的安卓手机越来越慢了？是不是觉得内存不够用，打开个应用都卡得要命？别急，今天就来跟你...
安卓系统怎么转windows,...
你是不是也和我一样，手里拿着一台安卓手机，心里却想着换一台Windows系统的电脑呢？别急，今天就来...
安卓系统相册软件下载,下载与使...
手机里的相册是不是已经满满当当，想要给它们找个新家？别急，今天就来给你安利几款超好用的安卓系统相册软...
安卓9系统优化软件,解锁流畅体...
你有没有发现，自从你的安卓手机升级到了安卓9系统，运行速度好像变得更快了？是不是觉得手机变得更加流畅...
各厂商安卓系统对比,性能、特色...
你有没有发现，现在手机市场上安卓系统的竞争可是相当激烈呢！各大厂商纷纷推出自己的特色系统，让人眼花缭...
车机进入安卓系统,智能驾驶体验...
你有没有发现，最近你的车机系统好像变得不一样了？没错，车机系统正在悄悄地进入安卓的大家庭！这可不是什...
安卓系统自带壁纸高清,自带高清...
亲爱的手机控们，你是否曾为安卓系统自带的那些高清壁纸而驻足欣赏？那些色彩斑斓、风格迥异的画面，是不是...
安卓机换成钟表系统,探索智能穿...
你有没有想过，你的安卓手机其实也可以换上钟表系统呢？是的，你没听错，就是那种优雅、简洁、充满艺术感的...