Kafka 概述
创始人
2024-05-30 09:54:32
0

Kafka 概述

  • Broker
  • 消费者

Kafka 属于分布式的消息引擎系统,主要功能 :提供一套完备的消息发布与订阅解决方案

生产者和消费者都是客户端(Clients):

  • 生产者(Producer):向主题发布消息的客户端应用程序
  • 消费者(Consumer):订阅这些主题消息的客户端应用程序

Kafka 服务端 :

  • 由多个 Broker 进程构成
  • Broker 负责接收/处理客户端发送过来的请求,和消息进行持久化

Broker

备份机制(Replication):实现高可用

  • 备份思想:把相同的数据拷贝到多台机器上,形成副本(Replica)

Kafka 有两类副本:

  • 领导者副本(Leader Replica):对外提供服务,与客户端程序进行交互
  • 追随者副本(Follower Replica):只追随领导者副本,不与外界进行交互

副本机制:

  • 生产者向领导者副本写消息
  • 消费者从领导者副本读消息
  • 追随者副本:只向领导者副本发送请求,与领导者的同步

伸缩性(Scalability) :

  • 利用分区机制把数据切分到不同的 Broker 上
  • 分区机制:将每个主题划分成多个分区(Partition)
  • 每个分区是一组有序的消息日志
  • 生产者的每条消息只会发送到一个分区中
  • 分区编号是从 0 开始的,如 : Topic 有 20 个分区,分区号是从 0 到 19

副本/分区关系 :

  • 每个分区下能配置 n 个副本(1 个领导者副本/ N-1个追随者副本)
  • 生产者向分区写入消息,每条消息在分区位置由位移(Offset)表示
  • 分区位移从 0 开始,如 : 生产者向空分区写入10 条消息,该消息的位移是 0 - 9

Kafka 三层消息架构:

  • 一层 :主题层,每个主题能配 M 个分区,每个分区能配 N 个副本
  • 二层:分区层,每个分区的 N 个副本中只有一个领导者角色,对外提供服务;其他 N-1 个副本只先领导副本拉取数据,实现数据冗余
  • 三层:消息层,每个分区有 T 条消息,每条消息的位移从 0 开始,依次递增
  • 客户端只与分区的领导者副本进行交互

Kafka Broker 持久化数据 :

  • 用消息日志 (Log) 来保存数据
  • 一个日志是一个只能追加写 (Append-only) 消息的物理文件
  • 实现高吞吐量 :追加写入,能避免随机 I/O 操作,改为顺序 I/O 写操作

Kafka 定期删除消息 :

  • 利用日志段(Log Segment)机制定期删除消息来回收磁盘
  • 一个日志分成多个日志段,消息只写到最新的日志段中,当写满后,就自动分出新的日志段,并把老日志段保存
  • 后台定时任务检查老日志段是否能够被删除,来实现回收磁盘

消费者

两种消息模型 :

  • 点对点模型(Peer to Peer,P2P) : 同条消息只能被一个消费者消费
  • 发布订阅模型

Kafka 实现 P2P 模型 : 引入了消费者组(Consumer Group)

  • 消费者组 : 多个消费者实例为一个组来消费一组主题
  • 该组主题的每个分区只能被组内的一个消费者实例消费
  • 多个消费者实例同时消费,加速整个消费端的吞吐量(TPS)
  • 消费者实例能是一个进程或一个线程,都是一个消费者实例(Consumer Instance)

重平衡 (Rebalance) :

  • 消费者组内某个消费者实例挂掉后,其他消费者实例自动重新分配订阅主题分区的过程
  • 实现消费者高可用

消费者位移 (Consumer Offset) :

  • 表示消费者消费进度,每个消费者都有自己的消费者位移

在这里插入图片描述

相关内容

热门资讯

安卓系统对比骁龙,性能与生态的... 你有没有想过,为什么你的手机里装的是安卓系统,而不是苹果的iOS呢?又或者,为什么你的安卓手机里搭载...
qt程序安卓系统运行,基于Qt... 你有没有想过,为什么有些手机上的程序运行得那么顺畅,而有些却总是卡得让人抓狂?今天,就让我来给你揭秘...
安卓系统免费应用推荐,助你畅享... 手机里的应用是不是越来越多,有时候都挑花眼了呢?别急,今天我就来给你推荐一些安卓系统上的免费应用,让...
安卓系统视频通话app,打造无... 你有没有发现,现在手机上的视频通话功能越来越强大了?尤其是安卓系统上的那些视频通话app,简直让人爱...
安卓系统发现高危病毒,守护手机... 亲爱的手机用户们,最近可是有个大消息在安卓系统用户群里炸开了锅!没错,就是安卓系统发现了一款高危病毒...
安卓系统疯狂弹广告,揭秘广告软... 你有没有遇到过这种情况?手机里突然弹出一个广告,让你瞬间心情大崩溃?没错,说的就是安卓系统那让人头疼...
ebook 10进入安卓系统 你有没有发现,最近你的安卓手机里多了一个新伙伴——那就是电子书(ebook)10!没错,就是那个我们...
安卓系统如何调听筒,安卓系统调... 手机听筒声音突然变小了?别急,让我来教你如何轻松调教安卓系统的听筒,让它重新恢复活力!一、检查音量设...
安卓系统是怎么手机,解锁智能生... 你有没有想过,我们每天不离手的安卓手机,它背后的安卓系统究竟是怎么一回事呢?今天,就让我带你一探究竟...
安卓系统能代替windows系... 你有没有想过,我们日常使用的安卓系统和Windows系统,哪个才是真正的霸主呢?是不是有时候觉得安卓...
lp108安卓系统,功能特点与... 你有没有听说最近LP108安卓系统火得一塌糊涂?没错,就是那个让无数手机用户都为之疯狂的新系统!今天...
安卓系统挂载u盘,轻松实现数据... 你有没有想过,你的安卓手机或平板电脑突然变成了一个移动的U盘?没错,就是那种可以随意存取文件的神奇设...
i5 安卓系统,引领智能终端新... 你有没有想过,为什么你的手机总是卡得要命,而别人的手机却能流畅如丝?是不是因为你的手机搭载了那个传说...
安卓手机系统没有升级,揭秘潜在... 你有没有发现,你的安卓手机系统好像好久没升级了呢?是不是觉得有点out了?别急,今天就来给你详细聊聊...
安卓14系统定制v,创新功能与... 你知道吗?最近安卓系统又出新花样了!安卓14系统定制版V,这名字听起来就让人兴奋不已。今天,就让我带...
手机安卓系统越高越好,探索最新... 你有没有发现,每次手机更新系统,你的手机就像脱胎换骨了一样?没错,说的就是你,那个安卓手机!今天,咱...
鸿蒙系统怎么用回安卓,轻松实现... 你是不是也和我一样,对鸿蒙系统的新鲜感还没过,却又忍不住想回到熟悉的安卓世界?别急,今天就来手把手教...
苹果7跟安卓系统,性能对决与用... 你有没有想过,为什么苹果7那么受欢迎,而安卓系统却有着庞大的用户群体?今天,我们就来聊聊这个话题,看...
安卓手机刷简化系统,轻松实现流... 你有没有想过,你的安卓手机其实可以变得更加轻快、流畅呢?没错,就是通过刷简化系统!今天,就让我带你一...
社保掌上通安卓系统,轻松掌握在... 你有没有发现,现在的生活越来越离不开手机了?无论是购物、聊天还是办公,手机都能轻松搞定。这不,今天就...