Kafka 主题管理
创始人
2024-06-01 19:23:13
0次

Kafka 主题管理

  • 创建主题
  • 查看主题
  • 修改主题
  • 内部主题
    • 异常
  • 主题删除失败

创建主题

创建 Kafka 主题

  • create : 创建主题
  • partitions : 主题的分区数
  • replication-factor : 每个分区下的副本数
bin/kafka-topics.sh \
--bootstrap-server broker_host:port \
--create --topic my_topic_name \
--partitions 1 --replication-factor 1

用 --bootstrap-server 的原因 :

  • 用 --zookeeper 会绕过 Kafka 的安全体系。用 --zookeeper ,不受认证体系的约束 , 就能成功创建任意主题
  • 用 --bootstrap-server 与集群进行交互,从 Kafka 2.2 后,社区推荐用 --bootstrap-server

查看主题

查询所有主题的列表

bin/kafka-topics.sh \
--bootstrap-server broker_host:port --list

查询单个主题的详细数据

bin/kafka-topics.sh \
--bootstrap-server broker_host:port \
--describe --topic 
  • --zookeeper : 集群中所有的主题详细数据
  • --bootstrap-server : 受到安全认证体系的约束,回权限验证,返回能看到的主题

修改主题

增加分区 :

  • --alter : 增加某个主题的分区数
  • 指定分区数要 > 原有分区数,否则会抛出 InvalidPartitionsException 异常
bin/kafka-topics.sh \
--bootstrap-server broker_host:port \
--alter --topic  \
--partitions < 新分区数 >

设置 max.message.bytes :

  • --bootstrap-server : 设置动态参数
  • --zookeeper : 设置常规的主题级别参数
bin/kafka-configs.sh \
--zookeeper zookeeper_host:port \
--entity-type topics --entity-name  \
--alter --add-config max.message.bytes=10485760

设置副本同步机制的带宽 :

bin/kafka-configs.sh \
--zookeeper zookeeper_host:port \
--alter --add-config 'leader.replication.throttled.rate=104857600,follower.replication.throttled.rate=104857600' \
--entity-type brokers --entity-name 0

为所有副本设置限速 :

bin/kafka-configs.sh \
--zookeeper zookeeper_host:port \
--alter --add-config 'leader.replication.throttled.replicas=*,follower.replication.throttled.replicas=*' \
--entity-type topics --entity-name test

删除主题 :

  • 后台异步删除主题
bin/kafka-topics.sh \
--bootstrap-server broker_host:port \ 
--delete  --topic 

内部主题

内部主题

  • __consumer_offsets : 消费位移
  • __transaction_state : 引入事务

修改副本数 :

  • 50 个分区对应的副本数
{"version":1, "partitions":[{"topic":"__consumer_offsets","partition":0,"replicas":[0,1,2]}, {"topic":"__consumer_offsets","partition":1,"replicas":[0,2,1]},{"topic":"__consumer_offsets","partition":2,"replicas":[1,0,2]},{"topic":"__consumer_offsets","partition":3,"replicas":[1,2,0]},...{"topic":"__consumer_offsets","partition":49,"replicas":[0,1,2]}
]}
bin/kafka-reassign-partitions.sh \
--zookeeper zookeeper_host:port \
--reassignment-json-file reassign.json --execute

查看消费者组提交的位移数据

bin/kafka-console-consumer.sh \
--bootstrap-server kafka_host:port \
--topic __consumer_offsets \
--formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" \
--from-beginning

查看消费者组的状态

bin/kafka-console-consumer.sh 
--bootstrap-server kafka_host:port 
--topic __consumer_offsets 
--formatter "kafka.coordinator.group.GroupMetadataManager\$GroupMetadataMessageFormatter" 
--from-beginning

异常

__consumer_offsets 占用太多的磁盘,用 jstack 查看 kafka-log-cleaner-thread 的线程状态

  • 该线程挂了,无法及时清理此内部主题,重启相应的 Broker
  • 注意保留出错日志,可能 Bug 导致,在社区看下

主题删除失败

主题删除失败原因 :

  • 副本所在的 Broker 宕机 : 重启 Broker 后,删除会自动恢复
  • 待删除主题的部分分区依然在执行迁移过程

主题无法删除的万能方法:

  1. 手动删除 ZooKeeper 节点 /admin/delete_topics 下 , 待删除主题的 znode
  2. 手动删除该主题在磁盘上的分区目录
  3. 在 ZooKeeper 中执行 rmr /controller ,触发 Controller 重选举,刷新 Controller 缓存。 (注意 : 分区 Leader 重选举)

相关内容

热门资讯

2岁孩子生命最后11天依然努力... 25岁的妈妈将患有罕见病的儿子兜兜送进了长沙的“雏菊之家”安宁病房。她陪伴儿子度过了最后11天,并每...
13岁少年被控杀害5岁男童案 ... 一名13岁少年因妹妹被邻居5岁男童撒沙而心生怨恨,将男童带至桥上推下水致其溺亡。此案引起了媒体的广泛...
全球顶尖科学家加速回流中国 风... 全球顶尖科学家纷纷选择离开美国,转向中国任职。2026年初,莱斯大学90后斯隆奖得主汪淏田全职加盟同...
APEC工商领导人峰会今天聚焦... 11月17日,来自亚太经合组织21个经济体及英国、法国、德国、瑞士等13个域外经济体的2000多位政...
雷军APEC发言 具身智能潜力... 11月17日,小米CEO雷军在2026年APEC工商领导人峰会上表示,具身智能机器人的潜力超过汽车,...
俄罗斯记者惊呼在深圳谁还用现金... 11月17日,今日俄罗斯国际通讯社记者德米特里·加夫里洛夫在接受采访时分享了他的深圳体验。他提到,刚...
雷军:智能机器人产业潜力超汽车... 11月17日,在2026年亚太经合组织工商领导人峰会上,小米CEO雷军介绍了公司在AI、智能制造和机...
保研举报成风,这不只是“坏人变... 保研举报成风,这不只是“坏人变小了” 制度留操作空间。高校保研季举报成风:这不是学生坏,是制度留了太...
广东01年医护女孩为00年闺蜜... 据河南广播电视台小莉帮忙,广东一位01年的女孩,亲自为自己00年的闺蜜接生。她们的缘分有多深?女孩称...
广东网友为迎接APEC会议周有... 11月14日,2026年APEC领导人会议周新闻中心举办了广东省、深圳市专场中外媒体吹风会。这是20...
动车插座在头顶被吐槽像在打吊瓶... 近日,有网友在社交平台发帖分享自己的乘车经历:乘坐D2928次动车组时,发现车厢内的充电插座安装在顶...
万斯称与特朗普无分歧 一致反对... JD·万斯周一表示,他与总统唐纳德·特朗普在伊朗战争问题上完全一致。此前,他曾将共和党在中期选举中的...
痛风人群这4种饮品要少喝 咖啡... 很多尿酸高、痛风人群都知道啤酒、果汁会升高尿酸,那么有没有什么饮料对尿酸“很友好”,甚至还能降低痛风...
医生辟谣左侧睡根本不伤心:正常... 11月17日,经常朝左睡对心脏的影响引发关注。从解剖学角度看,心脏虽然位于胸腔偏左,但它并非孤零零地...
96岁奶奶扒着车窗含泪送孙女返... 近日,湖南,假期快要结束,孙女准备返程。96岁的奶奶扒着车窗,眼里满是不舍。一句有空常回家看看,戳中...
人民日报:从《持械入宋》火爆看... 有能够让行业内外普遍认可的作品出现,是一种新文艺类型成熟的重要标志。正是因为“家里家外”系列、《盛夏...
灵岩寺外围山脊被刀片式铁丝网围... 11月16日,山东济南有网友发视频称,灵岩寺外围山脊被刀片式铁丝网围挡。视频画面中,一名徒友将铁丝网...
地板预留距离业主担心热胀冷缩 ... 陈先生的新房位于湖州德清,他说这段时间正在铺设木地板,去看了一下,结果发现“没有一个地方是对的”,希...
王传福:中国制造不是抢饭碗,而... 中国新能源汽车正积极拓展海外市场。11月17日,在深圳举办的2026年APEC工商领导人峰会上,比亚...
536分捡漏上北大考生被公派瑞... 11月16日晚,来自河南农村的赵同学宣布即将前往瑞士攻读博士学位,并感谢祖国的资助和老师们的帮助。他...