MySQL、HBase、ElasticSearch三者对比
创始人
2024-06-01 14:29:07
0次

1、概念介绍

MySQL:关系型数据库,主要面向OLTP,支持事务,支持二级索引,支持sql,支持主从、Group Replication架构模型(本文全部以Innodb为例,不涉及别的存储引擎)。

HBase:基于HDFS,支持海量数据读写(尤其是写),支持上亿行、上百万列的,面向列的分布式NoSql数据库。天然分布式,主从架构,不支持事务,不支持二级索引,不支持sql。

ElasticSearch:简称ES是一款分布式的全文检索框架,底层基于Lucene技术实现,虽然ES也提供存储,检索功能,但我一直不认为ES是一款数据库,但是随着ES功能越来越强大,与数据库的界限也越来越模糊。分布式,P2P架构,但不支持事务,采用倒排索引提供全文检索。

2、数据存储方式

假设有这样一张人员信息表:
在这里插入图片描述
MySQL数据库要提前定义表结构,数据表共有多少列(属性)需要提前定义好,并且同时需要定义好每个列所占用的存储空间。数据以行为单位组织在一起的,假如某一行的某一列没有数据,也需要占用存储空间。

HBase则是以列为单位存储数据,每一列就是一个key-value,HBase的表列(属性)不需要提前定义,而且列可以动态扩展,比如人员信息表中需要添加一个新的“address”字段,MySQL需要提前alter表增加字段,HBase可以直接插入即可。

ES比较灵活,索引中的field类型可以提前定义(定义mapping),也可以不定义,如果不定义,会有一个默认类型,不过出于可控性考虑,关键字段建议提前定义好。(Solr中必须提前定义好schema.xml文件)
在这里插入图片描述
上图展示了数据在MySQL和HBase中存储差异(和真实的情况还有差距),可以看到即使第二条记录的sex字段为空,MySQL依然会为该字段保留空间,因为后续有可能会有update语句来更新该记录,补上sex内容。而HBase则是把每一列都看做是一条记录,row+列名作为key,data作为value,依次存放。假如某一行的某一个列没有数据,则直接跳过该列。针对稀疏矩阵的大表,HBase能大大节省存储空间。

看到这里,大家是否会有一个疑问:使用HBase存储时,假如此时需要添加第二行的sex内容,如何实现呢,数据是否连续?后面介绍读写流程会解释。

3、不一样的ES

ES的存储方式和上面两个都不一样,MySQL和HBase是将数据按不同的方式进行存储,好歹它们存的还是数据,而ES则存的是倒排索引。我们先来了解一下什么是倒排索引,以及为什么需要倒排索引(Inverted Index):

我们肯定都会这样的经历:偶然看到一段很好的文字,但是却不知道出处,这时候去图书馆,一个一个翻找,无疑是大海捞针,这个时候便有了全文检索这项技术,而它最核心的就是倒排索引。假如有如下文档:

在这里插入图片描述

我们想要知道有哪些文档含有you这个关键字,首先可以创建一个倒排索引,格式如下:

在这里插入图片描述
前面的部分叫做dictionary(字典),里面的每个单词叫做term,后面的文档列表叫做psoting-list,list中记录了所有含有该term的文档id,两个组合起来就是一个完成的倒排索引(Inverted Index)。能够看出,假如需要查找含有“you”的文档时,根据dictionary然后找到对应的posting-list即可。

而全文检索中,创建Inverted Index是最关键也是最耗时的过程,而且真正的Inverted Index结构也远比图中展示的复杂,不仅需要对文档进行分词(ES里中文可以自定义分词器),还要计算TF-IDF,方便评分排序(当查找you时,评分决定哪个doc显示在前面,也就是所谓的搜索排名),压缩等操作。每接收一个document,ES就会将其信息更新在倒排索引中。

可以看出ES和MySQL、HBase的存储还是有很大的区别。而且ES不仅包含倒排索引,默认同时还会把文档doc存储起来,所以当我们使用ES时,也能拿到完整的文档信息,所以某种程度上,感觉就像在使用数据库一样,但是也可以配置不存储文档信息,这时只能根据查询条件得到文档id,并不能拿到完整的文档内容。

总结:

MySQL:行存储的方式比较适合OLTP业务。

HBase:列存储的方式比较适合OLAP业务,而HBase采用了列族的方式平衡了OLTP和OLAP,支持水平扩展,如果数据量比较大、对性能要求没有那么高、并且对事务没有要求的话,HBase可以考虑。

ES:ES默认对所有字段都建了索引,所以比较适合复杂的检索或全文检索。

相关内容

热门资讯

2028年黄金重返5600美元... 最近高盛预测金价将在2028年底回到每盎司5600美元,这引发了人们的关注。与其质疑这一预测的准确性...
台湾服务业生意雪崩哀鸿遍野 股... 台股近期连续大跌,加权指数从10月6日的近5万点下挫至目前跌了1万多点,跌幅约22%,近4天内就崩掉...
ANT上市 7位创始人身家破百... AI企业Anthropic将于今晚在美国纳斯达克上市,股票代码为“ANT”。发行价定为83美元,高于...
高志凯:世界需要深圳APEC ... 深圳APEC会议即将开幕,全球目光将聚焦这座因改革开放而闻名的城市。著名国际关系学者、全球化智库副主...
深圳值得被世界看见的远不止创新... 金秋11月,全球科技创新与经贸合作聚焦深圳。人工智能已融入深圳的方方面面:机场刷脸秒过、公园无人机送...
白小纯竞燃之夜造型 暖心护送旅... 白小纯竞燃之夜造型 暖心护送旅客出站!11月18日,上饶站接到重点旅客预约工单,提前与旅客沟通出行信...
中方回应中日领导人APEC是否... 中国外交部发言人郭嘉昆19日主持例行记者会。有记者问及APEC会议期间中日领导人是否会举行会晤。郭嘉...
黄牛炒茅台近乎无利可图,酒厂逐... 持续近十年的茅台渠道价差生意正在走向终局。继11月11日i茅台将精品、生肖等16款非标产品由抢购改为...
四川平武通报“游客称1600元... 近日,四川绵阳一游客称花1600元在平武县一民宿预订烤全羊,上桌发现几乎全是骨架,剥离下来的羊肉重量...
40万装修婚房业主说下水口成喷... 於女士在杭州杨家春晓南苑有套位于二楼的房子,一楼是商铺。她说花了40多万重新装修,给儿子当婚房,前段...
小区交房3年多暖气没通 物业:... 漯河市临颍县华寓精英名都小区宣传时是"双气学区房",但交房3年多,暖气主管道仍在小区直线距离约一公里...
房卡刷开一层楼涉事前台被开除 ... 11月18日,网友称在四川九寨沟入住一家酒店,发现自己的房卡能刷开同层多间客房房门。视频中,拍摄者拿...
11名孩子爬山迷路爬丢9个 孩... 11月19日(发布),天津蓟州,11名孩子爬山时迷路,爬“丢”9个,其中2个先下了山。消防员边找人边...
张雪两张“挡泥板票”均50万成... 11月18日晚,张雪在直播中拍卖两张11月22日张雪机车WSBK嘉年华活动的挡泥板票,其中一张是张雪...
中方回应日媒称高市早苗接机仪式... 11月19日,外交部发言人郭嘉昆主持例行记者会。会上,日本朝日新闻记者提问,关于APEC峰会期间对访...
1991年出生的人被小学生试题... 最近,一些小学语文试卷中的细节引发了80后家长的共鸣。家长们在辅导孩子作业时发现,习题和阅读理解中出...
正式供暖后您家室温达标了吗 暖... 从11月15日起,海淀区正式达标供热,规定要求供热单位保证居民住宅卧室、起居室的室内温度不低于18℃...
田栩宁不栩此行 武夷山采风之旅 田栩宁不栩此行 武夷山采风之旅!11月17日,田栩宁发布了《Madame Figaro》中文版202...
巨头集体入局具身大脑 物理AI被视为人工智能的下一波浪潮。国内外巨头接连发布物理AI新品,且尤为集中在具身大脑领域。英伟达...
APEC强劲发力激活亚太经贸新... 亚太经合组织第三十三次领导人非正式会议将于11月18日至19日在深圳举行,这是中国第三次担任APEC...