分布式存储--负载均衡
admin
2024-02-29 20:41:35
0

分布式存储通常会将数据进行分片,常见的分片算法有range,hash。
基于range的分片算法,是将数据按照大小拆分成多个范围,每个范围的数据作为一个分片,为了实现每个分片的高可用,会使用raft等一致性协议去冗余数据。这样一个节点就可能存在多个分片数据,但是只有主分片才能进行写服务,所以需要对每个节点的写流量进行负载均衡,即保证每个节点的主分片数量差不多。

假设原来集群有3个节点,分别是node_a,node_b,node_c,只有一个分片,称为region1,region1的主节点上node_a

如果现在往这个集群再加入2个节点,分别是node_d,node_e.怎么把一部分数据放到新加入的2个节点上面呢?

如果是基于range分区的话,一般是将region1进行分裂,分裂成region1_1,region_1_2,分裂操作本质上也是一个raft Task。假设分裂完成后region1_1的leader还是node_a,region1_2的leader变成了node_b。那么现在数据分布如下:
node_a:region_1_1(leader),region_1_2
node_b:region_1_2(leader),region_1_1
node_c:region_1_1,region_1_2
node_d:无
node_e:无

可以看出现在有2个分片,每个分片都在不同节点上,但是node_d和node_e没有数据,是否可以变成下面的数据分布:
node_a:region_1_1(leader)
node_b:region_1_2(leader)
node_c:region_1_1,region_1_2
node_d:region_1_1
node_e:region_1_2

这样就减轻了node_a和node_b的压力,实现了负载均衡。

怎么实现呢?可以看出上面过程经历了以下步骤:
1)region分裂;
2)node_d加入region_1_1;
3)node_e加入region_1_2;
4)node_a移除region_1_2;
5)node_b移除region_1_1;

其实region1分裂后,region_1_2可能还是在node_a上面,那么数据分布就变成了:
node_a:region_1_1(leader),region_1_2(leader)
node_b:region_1_1,region_1_2
node_c:region_1_1,region_1_2
node_d:无
node_e:无

可以明显看出leader负载不均衡了,所有写流量都会经过node_a上。是否可以将region_1_2的leader从node_a转移到node_b~e节点呢?
答案是不可以,可以转移leader,但是只能转移到node_b~e节点(原来leader节点的follower节点)

总结:
基于range分片的分布式存储负载均衡一般是先分裂,然后通过转移leader,增加follwer,移除follower来实现

相关内容

热门资讯

【MySQL】锁 锁 文章目录锁全局锁表级锁表锁元数据锁(MDL)意向锁AUTO-INC锁...
【内网安全】 隧道搭建穿透上线... 文章目录内网穿透-Ngrok-入门-上线1、服务端配置:2、客户端连接服务端ÿ...
GCN的几种模型复现笔记 引言 本篇笔记紧接上文,主要是上一篇看写了快2w字,再去接入代码感觉有点...
数据分页展示逻辑 import java.util.Arrays;import java.util.List;impo...
Redis为什么选择单线程?R... 目录专栏导读一、Redis版本迭代二、Redis4.0之前为什么一直采用单线程?三、R...
【已解决】ERROR: Cou... 正确指令: pip install pyyaml
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
Lock 接口解读 前置知识点Synchronized synchronized 是 Java 中的关键字,...
Win7 专业版安装中文包、汉... 参考资料:http://www.metsky.com/archives/350.htm...
3 ROS1通讯编程提高(1) 3 ROS1通讯编程提高3.1 使用VS Code编译ROS13.1.1 VS Code的安装和配置...
大模型未来趋势 大模型是人工智能领域的重要发展趋势之一,未来有着广阔的应用前景和发展空间。以下是大模型未来的趋势和展...
python实战应用讲解-【n... 目录 如何在Python中计算残余的平方和 方法1:使用其Base公式 方法2:使用statsmod...
学习u-boot 需要了解的m... 一、常用函数 1. origin 函数 origin 函数的返回值就是变量来源。使用格式如下...
常用python爬虫库介绍与简... 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库&...
药品批准文号查询|药融云-中国... 药品批文是国家食品药品监督管理局(NMPA)对药品的审评和批准的证明文件...
【2023-03-22】SRS... 【2023-03-22】SRS推流搭配FFmpeg实现目标检测 说明: 外侧测试使用SRS播放器测...
有限元三角形单元的等效节点力 文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数(Nÿ...
初级算法-哈希表 主要记录算法和数据结构学习笔记,新的一年更上一层楼! 初级算法-哈希表...
进程间通信【Linux】 1. 进程间通信 1.1 什么是进程间通信 在 Linux 系统中,进程间通信...
【Docker】P3 Dock... Docker数据卷、宿主机与挂载数据卷的概念及作用挂载宿主机配置数据卷挂载操作示例一个容器挂载多个目...