一、数据仓库基础理论
创始人
2024-05-09 15:38:04
0次

数据仓库基础理论

      • 一、数据仓库
        • 1、概念
        • 2、数据仓库分层结构
        • 3、为什么要分层
      • 二、数据集市
      • 三、数据湖
        • 1、数据湖和数据仓库

一、数据仓库

1、概念

数据仓库（Data Warehouse, DW）：一个面向主题的、集成的、非易失的、反应历史变化的、用来支持企业管理决策的数据集合。

2、数据仓库分层结构

缓冲层、贴源层、基础明细层、数据服务层、集市层
在这里插入图片描述

在这里插入图片描述

贴源层ODS： 业务系统数据的集合；
基础明细层DWD层：基于ODS层，进行统一范式建模，规整基础数据；

在这里插入图片描述
数据中间层（DWM层）：对一些基础指标进行汇总；
数据服务层（DWS层）：以企业视角，建立多个主题域模型；
数据集市层（DM层）：为特定主题提供定制化服务；

3、为什么要分层

  • 复杂问题简单化：每层的职责明确；
  • 减少重复开发：规范数据分层，减少重复计算量，增加计算结果的复用性；
  • 隔离原始数据：使真实数据与最终统计数据解耦；
  • 空间换时间：通过大量的预处理来提升系统的用户体验、分析效率；

二、数据集市

数据集市：是一个针对某个主题、某个部门或者某些特殊用户而进行分类的数据集合，也称为“小数据仓库”或“部门级数据仓库”

  • 满足特定部门或用户需求；
  • 能够聚焦特定主题；
  • 统一的高质量数据；
  • 数据仓库的子集；

独立型数据集市（自下而上开发）：先做独立的数据集市，当达到一定规模后，再从各个数据集市进行数据的整合建立企业级的数据仓库。

  • 不能以全局视角分析数据，可能产生大量冗余数据
  • 搭建快，成本低

从属型数据集市（自上而下开发）： 先建立企业级数据仓库，然后从数据仓库中为各个部门抽取必要的数据建立部门级的数据集市。

  • 可提高数据分析的质量
  • 体系结构更稳定
  • 实施周期长、难度大、风险高

在这里插入图片描述

三、数据湖

1、数据湖和数据仓库

数据湖的核心是：提供一个统一的数据存储模式。

数据湖主要提供一个统一的数据存储模式，分析类应用（数据中台、数据仓库）可以在其基础上搭建。

狭义的数据湖只是一种底层的数据存储模型，而广义的数据湖包括了数据集成，数据治理，数据处理与分析，数据挖掘，安全管控，质量检验等。

在这里插入图片描述

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：前言技术之swagger

下一篇：【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优探索

相关内容

热门资讯

安卓手机系统怎么加速,安卓手机... 你有没有发现，你的安卓手机最近变得有点“慢吞吞”的？别急，别急，今天就来给你支几招，让你的安卓手机瞬...
小米note安卓7系统,探索性... 你有没有发现，手机更新换代的速度简直就像坐上了火箭呢？这不，小米Note这款手机，自从升级到了安卓7...
安卓和鸿蒙系统游戏,两大系统游... 你有没有发现，最近手机游戏界可是热闹非凡呢！安卓和鸿蒙系统两大巨头在游戏领域展开了一场激烈的较量。今...
安卓手机没有系统更,揭秘潜在风... 你有没有发现，现在安卓手机的品牌和型号真是五花八门，让人挑花了眼。不过，你知道吗？尽管市面上安卓手机...
充值宝带安卓系统,安卓系统下的... 你有没有发现，最近手机上的一款充值宝APP，在安卓系统上可是火得一塌糊涂呢！这不，今天就来给你好好扒...
安卓系统8.0镜像下载,轻松打... 你有没有想过，想要给你的安卓手机升级到最新的系统，却不知道从哪里下载那个神秘的安卓系统8.0镜像呢？...
安卓系统修改大全,全方位修改大... 你有没有想过，你的安卓手机其实是个大宝藏，里面藏着无数可以让你手机焕然一新的秘密？没错，今天就要来个...
安卓刷miui系统教程,安卓刷... 你有没有想过给你的安卓手机换换口味？别看它现在用得挺顺手的，偶尔来点新鲜感也是不错的。今天，就让我来...
超星学系统安卓版,便捷学习新体... 你有没有发现，学习生活越来越离不开电子设备了？手机、平板，这些小玩意儿简直就是我们的学习小助手。今天...
安卓平板6.0系统安装,轻松上... 你有没有想过，你的安卓平板6.0系统是不是该升级一下了呢？别看它现在看起来还挺精神的，但谁知道背后隐...
安卓系统屏幕显示文字,探索个性... 你有没有发现，手机屏幕上的文字有时候会变得模糊不清，或者颜色暗淡，让人看得很费劲？这可真是让人头疼的...
快递扫描系统下载安卓,便捷物流... 你有没有想过，每次快递员来送快递，他们是怎么快速找到你的包裹的呢？是不是觉得他们有超能力？其实，这背...
安卓系统能打开zip,操作指南... 你有没有想过，你的安卓手机里那些神秘的zip文件到底怎么打开呢？别急，今天就来给你揭秘这个小小的技术...
塞班怎么查找安卓系统,塞班系统... 你有没有想过，你的塞班手机里竟然也能装上安卓系统？听起来是不是有点神奇？别急，今天我就来手把手教你如...
安卓系统短消息提醒,安卓系统短... 你有没有发现，手机里的短消息提醒功能有时候就像一个贴心的管家，有时候又像个爱闹腾的小孩子？今天，咱们...
安卓系统如何跳过密码,安卓系统... 你是不是也和我一样，有时候手机锁屏密码设置得太复杂，每次解锁都要费好大一番力气？别急，今天就来教你怎...
鸿蒙系统功能与安卓,功能对比与... 你知道吗？最近手机圈里可是热闹非凡呢！华为的新操作系统鸿蒙系统（HarmonyOS）一经推出，就引发...
安卓系统卡苹果系统不卡,揭秘两... 你有没有发现，身边的朋友都在争论安卓系统和苹果系统哪个更好？其实，这个问题就像是在问谁家的孩子更聪明...
安卓系统卡解决了吗,安卓系统卡... 你有没有遇到过安卓手机卡顿的问题？是不是每次打开应用都感觉像蜗牛爬行？别急，今天就来聊聊这个让人头疼...
华为安卓系统下载软件,畅享海量... 你有没有想过，手机里的系统就像是我们的大脑，而下载的软件就像是大脑里的各种功能？今天，就让我带你一起...