Kafka 概述
创始人
2024-05-30 09:54:32
0

Kafka 概述

  • Broker
  • 消费者

Kafka 属于分布式的消息引擎系统,主要功能 :提供一套完备的消息发布与订阅解决方案

生产者和消费者都是客户端(Clients):

  • 生产者(Producer):向主题发布消息的客户端应用程序
  • 消费者(Consumer):订阅这些主题消息的客户端应用程序

Kafka 服务端 :

  • 由多个 Broker 进程构成
  • Broker 负责接收/处理客户端发送过来的请求,和消息进行持久化

Broker

备份机制(Replication):实现高可用

  • 备份思想:把相同的数据拷贝到多台机器上,形成副本(Replica)

Kafka 有两类副本:

  • 领导者副本(Leader Replica):对外提供服务,与客户端程序进行交互
  • 追随者副本(Follower Replica):只追随领导者副本,不与外界进行交互

副本机制:

  • 生产者向领导者副本写消息
  • 消费者从领导者副本读消息
  • 追随者副本:只向领导者副本发送请求,与领导者的同步

伸缩性(Scalability) :

  • 利用分区机制把数据切分到不同的 Broker 上
  • 分区机制:将每个主题划分成多个分区(Partition)
  • 每个分区是一组有序的消息日志
  • 生产者的每条消息只会发送到一个分区中
  • 分区编号是从 0 开始的,如 : Topic 有 20 个分区,分区号是从 0 到 19

副本/分区关系 :

  • 每个分区下能配置 n 个副本(1 个领导者副本/ N-1个追随者副本)
  • 生产者向分区写入消息,每条消息在分区位置由位移(Offset)表示
  • 分区位移从 0 开始,如 : 生产者向空分区写入10 条消息,该消息的位移是 0 - 9

Kafka 三层消息架构:

  • 一层 :主题层,每个主题能配 M 个分区,每个分区能配 N 个副本
  • 二层:分区层,每个分区的 N 个副本中只有一个领导者角色,对外提供服务;其他 N-1 个副本只先领导副本拉取数据,实现数据冗余
  • 三层:消息层,每个分区有 T 条消息,每条消息的位移从 0 开始,依次递增
  • 客户端只与分区的领导者副本进行交互

Kafka Broker 持久化数据 :

  • 用消息日志 (Log) 来保存数据
  • 一个日志是一个只能追加写 (Append-only) 消息的物理文件
  • 实现高吞吐量 :追加写入,能避免随机 I/O 操作,改为顺序 I/O 写操作

Kafka 定期删除消息 :

  • 利用日志段(Log Segment)机制定期删除消息来回收磁盘
  • 一个日志分成多个日志段,消息只写到最新的日志段中,当写满后,就自动分出新的日志段,并把老日志段保存
  • 后台定时任务检查老日志段是否能够被删除,来实现回收磁盘

消费者

两种消息模型 :

  • 点对点模型(Peer to Peer,P2P) : 同条消息只能被一个消费者消费
  • 发布订阅模型

Kafka 实现 P2P 模型 : 引入了消费者组(Consumer Group)

  • 消费者组 : 多个消费者实例为一个组来消费一组主题
  • 该组主题的每个分区只能被组内的一个消费者实例消费
  • 多个消费者实例同时消费,加速整个消费端的吞吐量(TPS)
  • 消费者实例能是一个进程或一个线程,都是一个消费者实例(Consumer Instance)

重平衡 (Rebalance) :

  • 消费者组内某个消费者实例挂掉后,其他消费者实例自动重新分配订阅主题分区的过程
  • 实现消费者高可用

消费者位移 (Consumer Offset) :

  • 表示消费者消费进度,每个消费者都有自己的消费者位移

在这里插入图片描述

相关内容

热门资讯

安卓系统账号怎么改,轻松实现账... 你是不是也和我一样,在使用安卓手机的时候,突然觉得账号名字太老土了,想要来个焕然一新的改变呢?别急,...
离线语音系统安卓版下载,随时随... 你有没有想过,在手机上也能实现语音助手的功能,而且完全不需要联网?没错,就是那种离线语音系统,听起来...
华为os系统是基于安卓系统吗,... 你有没有想过,华为的手机里那个神秘的OS系统,它是不是就是安卓系统呢?别急,今天就来揭开这个谜底,让...
各品牌安卓系统多大,探索各大品... 你有没有想过,那些我们每天离不开的安卓手机,它们背后的系统到底有多大呢?这可不是一个小问题哦,因为系...
不是安卓系统电视机,探索非安卓... 你有没有想过,家里的电视是不是安卓系统呢?现在市面上,安卓系统电视机可是越来越流行了。但是,你知道吗...
谷歌安卓系统开源免费用,免费体... 你知道吗?在科技的世界里,有时候最让人惊喜的就是那些免费又好用的东西。今天,就让我来给你揭秘一个超级...
安卓电脑版怎么装系统,轻松实现... 你有没有想过,你的安卓电脑版突然间卡得像蜗牛一样,慢得让人抓狂?别急,今天就来教你怎么给它来个焕然一...
安卓系统有几种语音,揭秘多样化... 你知道吗?安卓系统里的语音功能可真是让人爱不释手呢!想象你只需要动动嘴,就能完成各种操作,是不是觉得...
扫码系统推荐安卓游戏,畅享指尖... 你有没有发现,最近手机里的游戏推荐越来越贴心了?没错,就是那个神奇的扫码系统!今天,就让我带你一探究...
手机系统安卓做的最好,探索最佳... 你有没有发现,现在手机市场上,安卓系统简直是要风得风,要雨得雨,简直是手机系统中的佼佼者!不信?那就...
安卓系统越拉越难用,越拉越难用... 你有没有发现,最近安卓系统越来越难用了?是不是每次打开手机,都感觉卡得要命,各种广告弹窗让人头疼不已...
卓安系统创始人,引领科技浪潮的... 你有没有想过,在这个信息爆炸的时代,谁才是那个站在风口浪尖,引领科技潮流的先锋?今天,我要带你认识一...
安卓10系统经常断网,安卓10... 最近是不是你也遇到了安卓10系统经常断网的问题?这可真是让人头疼啊!手机断网,就像失去了方向感的指南...
开发安卓系统用什么,从工具到实... 你有没有想过,为什么你的手机里装了那么多应用,却还是觉得不够用呢?其实,这一切都离不开一个强大的操作...
安卓系统如何双开抖音,安卓系统... 如何在安卓系统上双开抖音:让你的娱乐生活更加丰富多彩在数字化时代,手机已经成为我们生活中不可或缺的一...
安卓8.0系统内测地址,探索系... 你有没有听说最近安卓8.0系统内测的消息?这可是科技圈的大事啊!作为一个紧跟潮流的数码爱好者,我可是...
安卓系统可以账号同步吗,安卓系... 你有没有想过,你的安卓手机里的各种账户信息,比如微信、QQ、支付宝,能不能像变魔术一样,一键同步到另...
安卓系统的平板怎么下载,畅享应... 你有没有想过,拥有一款安卓系统的平板电脑,那感觉简直就像拥有了整个世界?想象随时随地都能畅游网络海洋...
win平板上装安卓系统咋样,开... 亲爱的读者们,你是否曾想过在Windows平板上体验安卓系统的魅力?想象那双熟悉的Windows界面...
给安卓车机写系统,安卓车机系统... 你有没有想过,你的安卓车机系统其实可以焕然一新?想象当你驾驶着爱车,车机界面流畅得像丝滑的巧克力,功...