Hive+Spark离线数仓工业项目--ODS层及DWD层构建(1)
创始人
2024-05-01 12:25:51
0

目标:自动化的ODS层与DWD层构建
实现
  - 掌握Hive以及Spark中建表的语法规则
  - 实现项目开发环境的构建
  - 自己要实现所有代码注释
  - ODS层与DWD层整体运行测试成功

数仓分层回顾

目标:回顾一站制造项目分层设计

实施

 ODS层 :原始数据层

    - 来自于Oracle中数据的采集

    - 数据存储格式:AVRO

    - ODS区分全量和增量

    - 实现

      - 数据已经采集完成

      - step1:创建ODS层数据库:one_make_ods

      - step2:根据表在HDFS上的数据目录来创建分区表

      - step3:申明分区

  DWD层

    - 来自于ODS层数据
    - 数据存储格式:ORC
    - 不区分全量和增量的
    - 实现
      - step1:创建DWD层数据库:one_make_dwd
      - step2:创建DWD层的每一张表
      - step3:从ODS层抽取每一张表的数据写入DWD层对应的表中

Hive建表语法

目标:掌握Hive建表语法

实施

  - EXTERNAL:外部表类型
    - 内部表、外部表、临时表
  - PARTITIONED  BY:分区表结构
    - 普通表、分区表、分桶表
  - CLUSTERED BY:分桶表结构
  - ROW FORMAT:指定分隔符
    - 列的分隔符:\001
    - 行的分隔符:\n
  - STORED AS:指定文件存储类型
    - ODS:avro
    - DWD:orc
  - LOCATION:指定表对应的HDFS上的地址
    - 默认:/user/hive/warehouse/dbdir/tbdir
  - TBLPROPERTIES:指定一些表的额外的一些特殊配置属性

Avro建表语法

- **目标**:掌握Hive中Avro建表方式及语法

- **路径**

  - step1:指定文件类型
  - step2:指定Schema
  - step3:建表方式

- **实施**

  - Hive官网:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTable

  - DataBrics官网:https://docs.databricks.com/spark/2.x/spark-sql/language-manual/create-table.html

  - Avro用法:https://cwiki.apache.org/confluence/display/Hive/AvroSerDe

  - **指定文件类型**

 

 建表语法


     

ODS层构建:需求分析

目标:掌握ODS层构建的实现需求

路径

  - step1:目标
  - step2:问题
  - step3:需求
  - step4:分析

- **实施**

  - **目标**:将已经采集同步成功的101张表的数据加载到Hive的ODS层数据表中

  - **问题**

    - 难点1:表太多,如何构建每张表?

      - 101张表的数据已经存储在HDFS上

      - 建表 

        - 方法1:手动开发每一张表建表语句,手动运行

        - 方法2:通过程序自动化建表

    - 难点2:如果使用自动建表,如何获取每张表的字段信息?

      - Schema文件:每个Avro格式的数据表都对应一个Schema文件

      - 统一存储在HDFS上

        

需求:加载Sqoop生成的Avro的Schema文件,实现自动化建表

分析 

      - 读取全量表表名

        - 动态获取表名:循环读取文件

      - 获取表的信息:表的注释

        - Oracle:表的信息
        - 从Oracle中获取表的注释

     

        - 方式二:通过列表拼接:复杂

      - 执行建表SQL语句

    - step4:创建ODS层增量表:57张表

      - 读取增量表表名
      
        - 动态获取表名:循环读取文件
      
      - 获取表的信息:表的注释
      
        - Oracle:表的信息
        - 从Oracle中获取表的注释
      
      
      - 拼接建表字符串
      
      - 执行建表SQL语句

 ODS层构建:创建项目环境

目标:实现Pycharm中工程结构的构建

实施

安装Python3.7环境

 项目使用的Python3.7的环境代码,所以需要在Windows中安装Python3.7,与原先的Python高版本不冲突,正常安装即可

创建Python工程

 安装PyHive、Oracle库

    - step1:在Windows的用户家目录下创建pip.ini文件

      - 例如:**C:\Users\Frank\pip\pip.ini**

      - 内容:指定pip安装从阿里云下载

  step2:将文件添加到Windows的**Path环境变量**中

 step3:进入项目环境目录

      - 例如我的项目路径是:**D:\PythonProject\OneMake_Spark\venv\Scripts**

 将提供的**sasl-0.2.1-cp37-cp37m-win_amd64.whl**文件放入Scripts目录下

 在CMD中执行以下命令,切换到Scripts目录下

       

step4:CMD中依次执行以下安装命令

 step5:验证安装结果

  温馨提示:其实工作中你也可以通过Pycharm直接安装


 

相关内容

热门资讯

最早期的安卓系统,揭秘最早期安... 亲爱的读者,你是否曾好奇过,那个陪伴我们手机成长的安卓系统,它的起源究竟是怎样的呢?今天,就让我们一...
安卓双系统添加应用,轻松实现多... 你有没有想过,你的安卓手机里可以同时运行两个系统呢?听起来是不是很酷?想象一边是熟悉的安卓系统,一边...
pipo安卓进系统慢,探究pi... 最近是不是发现你的Pipo安卓系统更新或者运行起来特别慢?别急,今天就来给你好好分析分析这个问题,让...
怎样使用安卓手机系统,安卓手机... 你有没有发现,安卓手机已经成为我们生活中不可或缺的一部分呢?从早晨闹钟响起,到晚上睡前刷剧,安卓手机...
双系统安卓安装caj,轻松实现... 你有没有想过,你的安卓手机里装上双系统,是不是就能同时享受安卓和Windows系统的乐趣呢?没错,这...
安卓使用ios系统教程,安卓用... 你是不是也和我一样,对安卓手机上的iOS系统充满了好奇?想要体验一下苹果的优雅和流畅?别急,今天我就...
安卓系统gps快速定位,畅享便... 你有没有遇到过这样的情况:手机里装了各种地图导航软件,但每次出门前都要等上好几分钟才能定位成功,急得...
安卓手机系统更新原理,原理与流... 你有没有发现,你的安卓手机最近是不是总在提醒你更新系统呢?别急,别急,让我来给你揭秘一下安卓手机系统...
安卓系统通知管理,全面解析与优... 你有没有发现,手机里的通知就像是一群调皮的小精灵,时不时地跳出来和你互动?没错,说的就是安卓系统的通...
安卓系统手机哪买,揭秘哪里购买... 你有没有想过,拥有一部安卓系统手机是多么酷的事情呢?想象你可以自由安装各种应用,不受限制地探索各种功...
安卓系统 ipv4,基于安卓系... 你知道吗?在智能手机的世界里,有一个系统可是无人不知、无人不晓,那就是安卓系统。而在这个庞大的安卓家...
目前安卓是什么系统,探索安卓系... 亲爱的读者,你是否曾好奇过,如今安卓系统究竟是什么模样?在这个科技飞速发展的时代,操作系统如同人体的...
安卓6.0系统比5.0,从5.... 你有没有发现,自从手机更新了安卓6.0系统,感觉整个人都清爽了不少呢?没错,今天咱们就来聊聊这个话题...
安卓2.36系统升级,功能革新... 你知道吗?最近安卓系统又来了一次大变身,那就是安卓2.36系统升级!这可不是一个小打小闹的更新,而是...
安卓系统源码怎么打开,并可能需... 你有没有想过,安卓系统的源码就像是一扇神秘的门,隐藏着无数的技术秘密?想要打开这扇门,你得掌握一些小...
安卓8.0系统体验视频,智能革... 你有没有听说安卓8.0系统最近可是火得一塌糊涂啊!作为一个紧跟科技潮流的数码达人,我当然要来给你好好...
宣传系统漫画app安卓,探索安... 亲爱的读者们,你是否曾在某个午后,百无聊赖地打开手机,想要寻找一些轻松愉悦的读物?今天,我要给你介绍...
鸿蒙替换安卓系统吗,开启智能生... 你知道吗?最近科技圈里可是炸开了锅,因为华为的新操作系统鸿蒙系统,据说要大举进军手机市场,替换掉安卓...
手机安卓系统深度清理,解锁手机... 手机里的东西是不是越来越多,感觉就像一个装满了杂物的储物柜?别急,今天就来教你一招——手机安卓系统深...
安卓上的windows系统,融... 你有没有想过,在安卓手机上也能体验到Windows系统的魅力呢?没错,这就是今天我要跟你分享的神奇故...