Kafka 概述
创始人
2024-05-30 09:54:32
0

Kafka 概述

  • Broker
  • 消费者

Kafka 属于分布式的消息引擎系统,主要功能 :提供一套完备的消息发布与订阅解决方案

生产者和消费者都是客户端(Clients):

  • 生产者(Producer):向主题发布消息的客户端应用程序
  • 消费者(Consumer):订阅这些主题消息的客户端应用程序

Kafka 服务端 :

  • 由多个 Broker 进程构成
  • Broker 负责接收/处理客户端发送过来的请求,和消息进行持久化

Broker

备份机制(Replication):实现高可用

  • 备份思想:把相同的数据拷贝到多台机器上,形成副本(Replica)

Kafka 有两类副本:

  • 领导者副本(Leader Replica):对外提供服务,与客户端程序进行交互
  • 追随者副本(Follower Replica):只追随领导者副本,不与外界进行交互

副本机制:

  • 生产者向领导者副本写消息
  • 消费者从领导者副本读消息
  • 追随者副本:只向领导者副本发送请求,与领导者的同步

伸缩性(Scalability) :

  • 利用分区机制把数据切分到不同的 Broker 上
  • 分区机制:将每个主题划分成多个分区(Partition)
  • 每个分区是一组有序的消息日志
  • 生产者的每条消息只会发送到一个分区中
  • 分区编号是从 0 开始的,如 : Topic 有 20 个分区,分区号是从 0 到 19

副本/分区关系 :

  • 每个分区下能配置 n 个副本(1 个领导者副本/ N-1个追随者副本)
  • 生产者向分区写入消息,每条消息在分区位置由位移(Offset)表示
  • 分区位移从 0 开始,如 : 生产者向空分区写入10 条消息,该消息的位移是 0 - 9

Kafka 三层消息架构:

  • 一层 :主题层,每个主题能配 M 个分区,每个分区能配 N 个副本
  • 二层:分区层,每个分区的 N 个副本中只有一个领导者角色,对外提供服务;其他 N-1 个副本只先领导副本拉取数据,实现数据冗余
  • 三层:消息层,每个分区有 T 条消息,每条消息的位移从 0 开始,依次递增
  • 客户端只与分区的领导者副本进行交互

Kafka Broker 持久化数据 :

  • 用消息日志 (Log) 来保存数据
  • 一个日志是一个只能追加写 (Append-only) 消息的物理文件
  • 实现高吞吐量 :追加写入,能避免随机 I/O 操作,改为顺序 I/O 写操作

Kafka 定期删除消息 :

  • 利用日志段(Log Segment)机制定期删除消息来回收磁盘
  • 一个日志分成多个日志段,消息只写到最新的日志段中,当写满后,就自动分出新的日志段,并把老日志段保存
  • 后台定时任务检查老日志段是否能够被删除,来实现回收磁盘

消费者

两种消息模型 :

  • 点对点模型(Peer to Peer,P2P) : 同条消息只能被一个消费者消费
  • 发布订阅模型

Kafka 实现 P2P 模型 : 引入了消费者组(Consumer Group)

  • 消费者组 : 多个消费者实例为一个组来消费一组主题
  • 该组主题的每个分区只能被组内的一个消费者实例消费
  • 多个消费者实例同时消费,加速整个消费端的吞吐量(TPS)
  • 消费者实例能是一个进程或一个线程,都是一个消费者实例(Consumer Instance)

重平衡 (Rebalance) :

  • 消费者组内某个消费者实例挂掉后,其他消费者实例自动重新分配订阅主题分区的过程
  • 实现消费者高可用

消费者位移 (Consumer Offset) :

  • 表示消费者消费进度,每个消费者都有自己的消费者位移

在这里插入图片描述

相关内容

热门资讯

安卓13系统更新蓝牙,蓝牙功能... 你有没有发现,最近你的安卓手机好像变得不一样了?没错,就是那个神秘的安卓13系统更新,它悄悄地来到了...
安卓系统钉钉打开声音,安卓系统... 你有没有遇到过这种情况?手机里装了钉钉,可每次打开它,那声音就“嗖”地一下跳出来,吓你一跳。别急,今...
理想汽车操作系统安卓,基于安卓... 你有没有想过,一辆汽车,除了能带你去你想去的地方,还能像智能手机一样,给你带来智能化的体验呢?没错,...
安卓系统越狱还能升级吗,升级之... 你有没有想过,你的安卓手机越狱后,还能不能愉快地升级系统呢?这可是不少手机爱好者关心的大问题。今天,...
安卓系统蓝牙耳机拼多多,畅享无... 你有没有发现,最近蓝牙耳机在市场上可是火得一塌糊涂呢!尤其是安卓系统的用户,对于蓝牙耳机的要求那可是...
安卓变苹果系统桌面,桌面系统变... 你知道吗?最近有个大新闻在科技圈里炸开了锅,那就是安卓用户纷纷转向苹果系统桌面。这可不是闹着玩的,这...
鸿蒙系统怎么下安卓,鸿蒙系统下... 你有没有想过,你的手机里那个神秘的鸿蒙系统,竟然也能和安卓世界来一场亲密接触呢?没错,今天就要来揭秘...
手机安卓系统流程排行,便捷操作... 你有没有发现,现在手机的世界里,安卓系统就像是个大舞台,各种版本层出不穷,让人眼花缭乱。今天,就让我...
安卓系统左上角hd,左上角HD... 你有没有发现,每次打开安卓手机,左上角那个小小的HD标识总是默默地在那里,仿佛在诉说着什么?今天,就...
安卓系统软件文件,架构解析与功... 你有没有发现,手机里的安卓系统软件文件就像是一个神秘的宝库,里面藏着无数的宝藏?今天,就让我带你一起...
安卓系统输入法回车,探索安卓输... 你有没有发现,在使用安卓手机的时候,输入法回车键的奇妙之处?它就像是我们指尖的魔法师,轻轻一点,文字...
安卓修改系统时间的软件,轻松掌... 你有没有想过,有时候手机上的时间不对劲,是不是觉得生活节奏都被打乱了?别急,今天就来给你揭秘那些神奇...
安卓系统能改成鸿蒙吗,系统迁移... 你有没有想过,你的安卓手机能不能变成一个鸿蒙系统的“小清新”呢?这可不是天方夜谭哦,今天就来聊聊这个...
安卓机怎么从新装系统,从零开始... 亲爱的安卓手机用户们,你是否在某个瞬间突然觉得手机卡顿得像个老古董,急需给它来个“大变身”?别急,今...
安卓手机安装Linux双系统,... 你有没有想过给你的安卓手机来个变身大法?没错,就是安装Linux双系统!想象一边是流畅的安卓,一边是...
安卓系统关闭更新补丁,轻松提升... 亲爱的手机用户们,你们有没有发现,最近你的安卓手机好像有点儿“懒”了呢?更新补丁的速度明显慢了下来,...
麒麟os是不是安卓系统,揭秘与... 最近手机圈里可是热闹非凡呢!不少朋友都在问我:“麒麟OS是不是安卓系统?”这个问题可真是让人好奇,咱...
安卓系统卸载快应用,安卓系统轻... 你有没有发现,手机里的应用越来越多,有时候真的让人眼花缭乱呢?尤其是安卓系统里的那些“快应用”,虽然...
安卓14系统更新包,全新功能与... 你知道吗?最近安卓系统又来了一次大变身,那就是安卓14系统更新包!这可不是一个小打小闹的更新,而是满...
oppo安卓11.1系统新功能... 你知道吗?最近OPPO手机又来了一次大升级,安卓11.1系统的新功能简直让人眼前一亮!今天,就让我带...