kafka-producer batch.size与linger.ms参数
创始人
2025-05-31 14:55:51
0次
Kafka需要在吞吐量和延迟之间取得平衡,可通过下面两个参数控制。
batch.size
- 当多个消息发送到相同分区时,生产者会将消息打包到一起,以减少请求交互. 而不是一条条发送
- 批次大小可通过
batch.size参数设置。默认：16KB - 较小的批次大小有可能降低吞吐量。（设置为0则完全禁用批处理）
- 非常大的批次大小可能会浪费内存。因为我们会预先分配这个资源。
例子
比如说发送消息的频率是每秒300条，那么如果将batch.size调节到32KB，或64KB，是否可以提升发送消息的整体吞吐量呢。
因为理论上来说，提升batch的大小，可以允许更多的数据缓冲在里面，那么一次Request发送出去的数据量就更多了，这样吞吐量可能会有所提升。
但这个值也不能无限的大，过于大了之后，要是数据老是缓冲在Batch里迟迟不发送出去，那么岂不是你发送消息的延迟就会很高。
比如说，一条消息进入了Batch，但是要等待5秒钟Batch才凑满了64KB，才能发送出去。那这条消息的延迟就是5秒钟。
所以需要在这里按照生产环境的发消息的速率，调节不同的Batch大小自己测试一下，根据最终出去的吞吐量以及消息的延迟，设置一个最合理的参数。
linger.ms
上面比如设置batch.size为32KB，但是有的时刻消息比较少，过了很久，比如5min也没有凑够32KB，这时延时就很大，所以需要一个参数. 再设置一个时间，到了这个时间，即使数据没达到batch.size的值，也要将这个批次发送出去。比如设置5ms，就是到了5ms，批次大小还没到32KB,也会发出去。
总结
- 同时设置
batch.size和linger.ms，就是哪个条件先满足就都会将消息发送出去。 Kafka需考虑高吞吐量与延时的平衡。
相关内容
热门资讯
【MySQL】锁
锁 文章目录锁全局锁表级锁表锁元数据锁（MDL）意向锁AUTO-INC锁...
【内网安全】 隧道搭建穿透上线...
文章目录内网穿透-Ngrok-入门-上线1、服务端配置：2、客户端连接服务端ÿ...
GCN的几种模型复现笔记
引言 本篇笔记紧接上文，主要是上一篇看写了快2w字，再去接入代码感觉有点...
数据分页展示逻辑
import java.util.Arrays;import java.util.List;impo...
Redis为什么选择单线程？R...
目录专栏导读一、Redis版本迭代二、Redis4.0之前为什么一直采用单线程？三、R...
【已解决】ERROR: Cou...
正确指令： pip install pyyaml
关于测试，我发现了哪些新大陆
关于测试 平常也只是听说过一些关于测试的术语，但并没有使用过测试工具。偶然看到编程老师...
Lock 接口解读
前置知识点Synchronized synchronized 是 Java 中的关键字，...
Win7 专业版安装中文包、汉...
参考资料：http://www.metsky.com/archives/350.htm...
3 ROS1通讯编程提高(1)
3 ROS1通讯编程提高3.1 使用VS Code编译ROS13.1.1 VS Code的安装和配置...
大模型未来趋势
大模型是人工智能领域的重要发展趋势之一，未来有着广阔的应用前景和发展空间。以下是大模型未来的趋势和展...
python实战应用讲解-【n...
目录 如何在Python中计算残余的平方和 方法1：使用其Base公式 方法2：使用statsmod...
学习u-boot 需要了解的m...
一、常用函数 1. origin 函数 origin 函数的返回值就是变量来源。使用格式如下...
常用python爬虫库介绍与简...
通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库&...
药品批准文号查询|药融云-中国...
药品批文是国家食品药品监督管理局（NMPA）对药品的审评和批准的证明文件...
【2023-03-22】SRS...
【2023-03-22】SRS推流搭配FFmpeg实现目标检测 说明： 外侧测试使用SRS播放器测...
有限元三角形单元的等效节点力
文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数（Nÿ...
初级算法-哈希表
主要记录算法和数据结构学习笔记，新的一年更上一层楼！ 初级算法-哈希表...
进程间通信【Linux】
1. 进程间通信 1.1 什么是进程间通信 在 Linux 系统中，进程间通信...
【Docker】P3 Dock...
Docker数据卷、宿主机与挂载数据卷的概念及作用挂载宿主机配置数据卷挂载操作示例一个容器挂载多个目...