Hive元数据信息获取
创始人
2024-05-29 11:13:22
0
  • 如何获取Hive库表字段分区信息

1 获取Hive的所有数据库信息

如果注释字段中文乱码,则需要修改字符集(正常情况都需要修改)。

SELECT`NAME` NAME,ANY_VALUE ( `DESC` ) COMMENT,ANY_VALUE ( `DB_LOCATION_URI` ) path 
FROM`DBS` 
GROUP BY`NAME

2 根据数据库名获取数据表信息

path字段对应着Hive表在Hdfs的路径,在做数据同步的时候很重要(比如使用dataX进行数据同步,当然手写JSON也是很累的,但是还好有datax-web开源项目),type字段可以看出表的储存格式(目前已知Hive可以直接加载Hdfs目录中的text格式parquet格式文件)。

SELECTtb.TBL_NAME NAME,tp.PARAM_VALUE COMMENT,sds.INPUT_FORMAT type,sds.LOCATION path 
FROMDBS dbLEFT JOIN TBLS tb ON tb.DB_ID = db.DB_IDLEFT JOIN TABLE_PARAMS tp ON tp.TBL_ID = tb.TBL_ID AND tp.PARAM_KEY = 'comment'LEFT JOIN SDS sds ON sds.SD_ID = tb.SD_ID 
WHEREdb.`NAME` = 'test'
ORDER BYtb.TBL_NAME

3 根据数据库名、数据表名获取表字段信息

此处查询结果只会展示表的字段信息(分区字段不会在该查询语句的结果中显示)。

SELECTcol.COLUMN_NAME NAME,col.TYPE_NAME type,col.`COMMENT` COMMENT,col.INTEGER_IDX position 
FROMDBS dbLEFT JOIN TBLS tb ON tb.DB_ID = db.DB_IDLEFT JOIN SDS sds ON sds.SD_ID = tb.SD_IDLEFT JOIN COLUMNS_V2 col ON sds.CD_ID = col.CD_ID 
WHEREdb.NAME = 'test' AND tb.TBL_NAME = 'person'
ORDER BYcol.INTEGER_IDX

4 根据数据库名、数据表名获取表分区信息

至于分区字段为什么单独拿出来不合到表字段里,是因为每个分区对应着一个Hdfs目录。分区有目录,字段没有啊怎么能放到一起。(在使用datax同步分区数据时会将分区数据同步到分区表指定的分区目录中)。

4.1 查看分区表分区字段信息

创建一个分区表用年、月、日三级目录进行分区:

create table if not exists person_partition(name string comment '姓名',age  int comment '年龄'
) comment '测试表'
partitioned by (year string comment '年',month string comment '月',day string comment '日'
)
stored as parquet;
SELECTpk.PKEY_NAME NAME,pk.PKEY_TYPE type,pk.PKEY_COMMENT COMMENT,pk.INTEGER_IDX position 
FROMDBS dbLEFT JOIN TBLS tb ON tb.DB_ID = db.DB_IDLEFT JOIN PARTITION_KEYS pk ON pk.TBL_ID = tb.TBL_ID 
WHEREdb.`NAME` = 'test' AND tb.TBL_NAME = 'person_partition' 
ORDER BYpk.INTEGER_IDX

4.2 查看分区表的分区信息

当前表中还没有分区,先来加几个分区:

  • 添加分区【同时会在Hdfs中创建目录】:alter table [table] add partition(col,..);
  • 删除分区【同时会在Hdfs中删除目录】:alter table [table] drop partition(col,..);
alter table person_partition add if not exists partition(year=2015,month=12,day=26);
alter table person_partition add if not exists partition(year=2016,month=12,day=26);
alter table person_partition add if not exists partition(year=2017,month=12,day=26);
alter table person_partition add if not exists partition(year=2018,month=12,day=26);
alter table person_partition add if not exists partition(year=2019,month=12,day=26);
alter table person_partition add if not exists partition(year=2020,month=12,day=26);

接下来查询下分区表的分区信息,看看每个分区对应的Hdfs路径(使用datax数据同步时将会使用到):

SELECTdb.`NAME` dbName,tb.TBL_NAME tbName,part.PART_NAME partName,sds.LOCATION path 
FROM`PARTITIONS` partLEFT JOIN TBLS tb ON tb.TBL_ID = part.TBL_IDLEFT JOIN DBS db ON db.DB_ID = tb.DB_IDLEFT JOIN SDS sds ON sds.SD_ID = part.SD_ID 
WHEREdb.`NAME` = 'test' AND tb.TBL_NAME = 'person_partition'

附录

A.1 Hive元数据中文乱码

hive配置表的元数据放到mysql中存储,mysql中默认表被创建的时候用的是默认的字符集(latin1),所以会出现中文乱码。

解决方案:

(1)在Hive元数据存储的Mysql数据库(MetaStore)中,执行以下SQL:

#修改字段注释字符集
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
#修改表注释字符集
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
#修改分区参数,支持分区建用中文表示
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(20000) character set utf8;
#修改索引名注释,支持中文表示
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
#修改视图,支持视图中文
ALTER TABLE TBLS modify COLUMN VIEW_EXPANDED_TEXT mediumtext CHARACTER SET utf8;
ALTER TABLE TBLS modify COLUMN VIEW_ORIGINAL_TEXT mediumtext CHARACTER SET utf8;

(2)修改hive-site.xml中Hive读取元数据的编码(注意原先是否配置过)

javax.jdo.option.ConnectionURLjdbc:mysql://hadoop102:3306/metastore?useSSL=false&useUnicode=true&characterEncoding=UTF-8

注意的是,之前创建的表的元数据已经损坏了,所以无法恢复中文乱码,只能重新创建表

相关内容

热门资讯

122.(leaflet篇)l... 听老人家说:多看美女会长寿 地图之家总目录(订阅之前建议先查看该博客) 文章末尾处提供保证可运行...
育碧GDC2018程序化大世界... 1.传统手动绘制森林的问题 采用手动绘制的方法的话,每次迭代地形都要手动再绘制森林。这...
育碧GDC2018程序化大世界... 1.传统手动绘制森林的问题 采用手动绘制的方法的话,每次迭代地形都要手动再绘制森林。这...
Vue使用pdf-lib为文件... 之前也写过两篇预览pdf的,但是没有加水印,这是链接:Vu...
PyQt5数据库开发1 4.1... 文章目录 前言 步骤/方法 1 使用windows身份登录 2 启用混合登录模式 3 允许远程连接服...
Android studio ... 解决 Android studio 出现“The emulator process for AVD ...
Linux基础命令大全(上) ♥️作者:小刘在C站 ♥️个人主页:小刘主页 ♥️每天分享云计算网络运维...
再谈解决“因为文件包含病毒或潜... 前面出了一篇博文专门来解决“因为文件包含病毒或潜在的垃圾软件”的问题,其中第二种方法有...
南京邮电大学通达学院2023c... 题目展示 一.问题描述 实验题目1 定义一个学生类,其中包括如下内容: (1)私有数据成员 ①年龄 ...
PageObject 六大原则 PageObject六大原则: 1.封装服务的方法 2.不要暴露页面的细节 3.通过r...
【Linux网络编程】01:S... Socket多进程 OVERVIEWSocket多进程1.Server2.Client3.bug&...
数据结构刷题(二十五):122... 1.122. 买卖股票的最佳时机 II思路:贪心。把利润分解为每天为单位的维度,然后收...
浏览器事件循环 事件循环 浏览器的进程模型 何为进程? 程序运行需要有它自己专属的内存空间࿰...
8个免费图片/照片压缩工具帮您... 继续查看一些最好的图像压缩工具,以提升用户体验和存储空间以及网站使用支持。 无数图像压...
计算机二级Python备考(2... 目录  一、选择题 1.在Python语言中: 2.知识点 二、基本操作题 1. j...
端电压 相电压 线电压 记得刚接触矢量控制的时候,拿到板子,就赶紧去测各种波形,结...
如何使用Python检测和识别... 车牌检测与识别技术用途广泛,可以用于道路系统、无票停车场、车辆门禁等。这项技术结合了计...
带环链表详解 目录 一、什么是环形链表 二、判断是否为环形链表 2.1 具体题目 2.2 具体思路 2.3 思路的...
【C语言进阶:刨根究底字符串函... 本节重点内容: 深入理解strcpy函数的使用学会strcpy函数的模拟实现⚡strc...
Django web开发(一)... 文章目录前端开发1.快速开发网站2.标签2.1 编码2.2 title2.3 标题2.4 div和s...