kafka-producer batch.size与linger.ms参数
创始人
2025-05-31 14:55:51
0次
Kafka需要在吞吐量和延迟之间取得平衡,可通过下面两个参数控制。
batch.size
- 当多个消息发送到相同分区时,生产者会将消息打包到一起,以减少请求交互. 而不是一条条发送
- 批次大小可通过
batch.size参数设置。默认：16KB - 较小的批次大小有可能降低吞吐量。（设置为0则完全禁用批处理）
- 非常大的批次大小可能会浪费内存。因为我们会预先分配这个资源。
例子
比如说发送消息的频率是每秒300条，那么如果将batch.size调节到32KB，或64KB，是否可以提升发送消息的整体吞吐量呢。
因为理论上来说，提升batch的大小，可以允许更多的数据缓冲在里面，那么一次Request发送出去的数据量就更多了，这样吞吐量可能会有所提升。
但这个值也不能无限的大，过于大了之后，要是数据老是缓冲在Batch里迟迟不发送出去，那么岂不是你发送消息的延迟就会很高。
比如说，一条消息进入了Batch，但是要等待5秒钟Batch才凑满了64KB，才能发送出去。那这条消息的延迟就是5秒钟。
所以需要在这里按照生产环境的发消息的速率，调节不同的Batch大小自己测试一下，根据最终出去的吞吐量以及消息的延迟，设置一个最合理的参数。
linger.ms
上面比如设置batch.size为32KB，但是有的时刻消息比较少，过了很久，比如5min也没有凑够32KB，这时延时就很大，所以需要一个参数. 再设置一个时间，到了这个时间，即使数据没达到batch.size的值，也要将这个批次发送出去。比如设置5ms，就是到了5ms，批次大小还没到32KB,也会发出去。
总结
- 同时设置
batch.size和linger.ms，就是哪个条件先满足就都会将消息发送出去。 Kafka需考虑高吞吐量与延时的平衡。
相关内容
热门资讯
安卓10系统断网软件,轻松实现...
你有没有遇到过这种情况？手机突然断网了，明明信号满格，却连不上网，急得你团团转。别急，今天就来给你揭...
安卓可以改什么系统版本,体验全...
你有没有想过，你的安卓手机其实可以像换衣服一样，换一个全新的“系统版本”呢？没错，这就是今天我们要聊...
最好的平板游戏安卓系统,畅享指...
亲爱的游戏迷们，你是否在寻找一款能够让你在安卓平板上畅玩无忧的游戏神器？别急，今天我就要给你揭秘，究...
华为安卓系统卡顿解决,华为安卓...
你是不是也遇到了华为安卓系统卡顿的问题？别急，今天就来给你支几招，让你的华为手机重新焕发活力！一、清...
安卓建议升级鸿蒙系统吗,探讨鸿...
亲爱的安卓用户们，最近是不是被鸿蒙系统的新鲜劲儿给吸引了？是不是在犹豫要不要把你的安卓手机升级成鸿蒙...
安卓如何变苹果系统桌面,桌面系...
你有没有想过，把你的安卓手机变成苹果系统桌面，是不是瞬间高大上了呢？想象那流畅的动画效果，那简洁的界...
windows平板安卓系统升级...
你有没有发现，最近你的Windows平板电脑突然变得有些不一样了？没错，就是那个一直默默陪伴你的小家...
安卓系统扩大运行内存,解锁更大...
你知道吗？在科技飞速发展的今天，手机已经成为了我们生活中不可或缺的好伙伴。而手机中，安卓系统更是以其...
安卓系统怎么改变zenly,探...
你有没有发现，你的安卓手机上的Zenly应用最近好像变得不一样了？没错，安卓系统的大手笔更新，让Ze...
英特尔安卓子系统,引领高效移动...
你有没有想过，手机里的安卓系统竟然也能和电脑上的英特尔处理器完美结合呢？这可不是天方夜谭，而是科技发...
永远会用安卓系统的手机,探索安...
亲爱的手机控们，你是否也有那么一款手机，它陪伴你度过了无数个日夜，成为了你生活中不可或缺的一部分？没...
有哪些安卓手机系统好用,好用系...
你有没有发现，现在手机市场上安卓手机的品牌和型号真是琳琅满目，让人挑花了眼？不过别急，今天我就来给你...
卡片记账安卓系统有吗,便捷财务...
你有没有想过，用手机记账是不是比拿着小本本记录来得方便多了？现在，手机上的应用层出不穷，那么，有没有...
武汉摩尔影城安卓系统APP,便...
你有没有想过，一部手机就能带你走进电影的世界，享受大屏幕带来的震撼？今天，就让我带你详细了解武汉摩尔...
联想刷安卓p系统,畅享智能新体...
你有没有发现，最近联想的安卓P系统刷机热潮可是席卷了整个互联网圈呢！这不，我就迫不及待地来和你聊聊这...
mac从安卓系统改成双系统,双...
你有没有想过，你的Mac电脑从安卓系统改成双系统后，生活会有哪些翻天覆地的变化呢？想象一边是流畅的苹...
kindke安卓系统激活码,激...
亲爱的读者，你是否在寻找一款能够让你手机焕然一新的操作系统？如果你是安卓用户，那么今天我要给你带来一...
萤石云监控安卓系统,安卓系统下...
你有没有想过，家里的安全可以随时随地掌握在手中？现在，有了萤石云监控安卓系统，这不再是梦想啦！想象无...
手机安卓系统会不会爆炸,系统升...
手机安卓系统会不会爆炸——一场关于安全的探讨在当今这个数字化的世界里，手机已经成为我们生活中不可或缺...
安卓系统双清详图解,恢复出厂设...
你有没有遇到过手机卡顿、运行缓慢的问题？别急，今天就来给你详细解析一下安卓系统的“双清”操作，让你的...