kafka-producer batch.size与linger.ms参数
创始人
2025-05-31 14:55:51
0次
Kafka需要在吞吐量和延迟之间取得平衡,可通过下面两个参数控制。
batch.size
- 当多个消息发送到相同分区时,生产者会将消息打包到一起,以减少请求交互. 而不是一条条发送
- 批次大小可通过
batch.size参数设置。默认：16KB - 较小的批次大小有可能降低吞吐量。（设置为0则完全禁用批处理）
- 非常大的批次大小可能会浪费内存。因为我们会预先分配这个资源。
例子
比如说发送消息的频率是每秒300条，那么如果将batch.size调节到32KB，或64KB，是否可以提升发送消息的整体吞吐量呢。
因为理论上来说，提升batch的大小，可以允许更多的数据缓冲在里面，那么一次Request发送出去的数据量就更多了，这样吞吐量可能会有所提升。
但这个值也不能无限的大，过于大了之后，要是数据老是缓冲在Batch里迟迟不发送出去，那么岂不是你发送消息的延迟就会很高。
比如说，一条消息进入了Batch，但是要等待5秒钟Batch才凑满了64KB，才能发送出去。那这条消息的延迟就是5秒钟。
所以需要在这里按照生产环境的发消息的速率，调节不同的Batch大小自己测试一下，根据最终出去的吞吐量以及消息的延迟，设置一个最合理的参数。
linger.ms
上面比如设置batch.size为32KB，但是有的时刻消息比较少，过了很久，比如5min也没有凑够32KB，这时延时就很大，所以需要一个参数. 再设置一个时间，到了这个时间，即使数据没达到batch.size的值，也要将这个批次发送出去。比如设置5ms，就是到了5ms，批次大小还没到32KB,也会发出去。
总结
- 同时设置
batch.size和linger.ms，就是哪个条件先满足就都会将消息发送出去。 Kafka需考虑高吞吐量与延时的平衡。
相关内容
热门资讯
电视安卓系统哪个品牌好,哪家品...
你有没有想过，家里的电视是不是该升级换代了呢？现在市面上电视品牌琳琅满目，各种操作系统也是让人眼花缭...
安卓会员管理系统怎么用,提升服...
你有没有想过，手机里那些你爱不释手的APP，背后其实有个强大的会员管理系统在默默支持呢？没错，就是那...
安卓系统软件使用技巧,解锁软件...
你有没有发现，用安卓手机的时候，总有一些小技巧能让你玩得更溜？别小看了这些小细节，它们可是能让你的手...
安卓系统提示音替换
你知道吗？手机里那个时不时响起的提示音，有时候真的能让人心情大好，有时候又让人抓狂不已。今天，就让我...
安卓开机不了系统更新
手机突然开不了机，系统更新还卡在那里，这可真是让人头疼的问题啊！你是不是也遇到了这种情况？别急，今天...
安卓系统中微信视频,安卓系统下...
你有没有发现，现在用手机聊天，视频通话简直成了标配！尤其是咱们安卓系统的小伙伴们，微信视频功能更是用...
安卓系统是服务器,服务器端的智...
你知道吗？在科技的世界里，安卓系统可是个超级明星呢！它不仅仅是个手机操作系统，竟然还能成为服务器的得...
pc电脑安卓系统下载软件,轻松...
你有没有想过，你的PC电脑上安装了安卓系统，是不是瞬间觉得世界都大不一样了呢？没错，就是那种“一机在...
电影院购票系统安卓,便捷观影新...
你有没有想过，在繁忙的生活中，一部好电影就像是一剂强心针，能瞬间让你放松心情？而我今天要和你分享的，...
安卓系统可以写程序?
你有没有想过，安卓系统竟然也能写程序呢？没错，你没听错！这个我们日常使用的智能手机操作系统，竟然有着...
安卓系统架构书籍推荐,权威书籍...
你有没有想过，想要深入了解安卓系统架构，却不知道从何下手？别急，今天我就要给你推荐几本超级实用的书籍...
安卓系统看到的炸弹,技术解析与...
安卓系统看到的炸弹——揭秘手机中的隐形威胁在数字化时代，智能手机已经成为我们生活中不可或缺的一部分。...
鸿蒙系统有安卓文件,畅享多平台...
你知道吗？最近在科技圈里，有个大新闻可是闹得沸沸扬扬的，那就是鸿蒙系统竟然有了安卓文件！是不是觉得有...
宝马安卓车机系统切换,驾驭未来...
你有没有发现，现在的汽车越来越智能了？尤其是那些豪华品牌，比如宝马，它们的内饰里那个大屏幕，简直就像...
p30退回安卓系统
你有没有听说最近P30的用户们都在忙活一件大事？没错，就是他们的手机要退回安卓系统啦！这可不是一个简...
oppoa57安卓原生系统,原...
你有没有发现，最近OPPO A57这款手机在安卓原生系统上的表现真是让人眼前一亮呢？今天，就让我带你...
安卓系统输入法联想,安卓系统输...
你有没有发现，手机上的输入法真的是个神奇的小助手呢？尤其是安卓系统的输入法，简直就是智能生活的点睛之...
怎么进入安卓刷机系统,安卓刷机...
亲爱的手机控们，你是否曾对安卓手机的刷机系统充满好奇？想要解锁手机潜能，体验全新的系统魅力？别急，今...
安卓系统程序有病毒
你知道吗？在这个数字化时代，手机已经成了我们生活中不可或缺的好伙伴。但是，你知道吗？即使是安卓系统，...
奥迪中控安卓系统下载,畅享智能...
你有没有发现，现在汽车的中控系统越来越智能了？尤其是奥迪这种豪华品牌，他们的中控系统简直就是科技与艺...