一、数据仓库基础理论
创始人
2024-05-09 15:38:04
0次

数据仓库基础理论

      • 一、数据仓库
        • 1、概念
        • 2、数据仓库分层结构
        • 3、为什么要分层
      • 二、数据集市
      • 三、数据湖
        • 1、数据湖和数据仓库

一、数据仓库

1、概念

数据仓库（Data Warehouse, DW）：一个面向主题的、集成的、非易失的、反应历史变化的、用来支持企业管理决策的数据集合。

2、数据仓库分层结构

缓冲层、贴源层、基础明细层、数据服务层、集市层
在这里插入图片描述

在这里插入图片描述

贴源层ODS： 业务系统数据的集合；
基础明细层DWD层：基于ODS层，进行统一范式建模，规整基础数据；

在这里插入图片描述
数据中间层（DWM层）：对一些基础指标进行汇总；
数据服务层（DWS层）：以企业视角，建立多个主题域模型；
数据集市层（DM层）：为特定主题提供定制化服务；

3、为什么要分层

  • 复杂问题简单化：每层的职责明确；
  • 减少重复开发：规范数据分层，减少重复计算量，增加计算结果的复用性；
  • 隔离原始数据：使真实数据与最终统计数据解耦；
  • 空间换时间：通过大量的预处理来提升系统的用户体验、分析效率；

二、数据集市

数据集市：是一个针对某个主题、某个部门或者某些特殊用户而进行分类的数据集合，也称为“小数据仓库”或“部门级数据仓库”

  • 满足特定部门或用户需求；
  • 能够聚焦特定主题；
  • 统一的高质量数据；
  • 数据仓库的子集；

独立型数据集市（自下而上开发）：先做独立的数据集市，当达到一定规模后，再从各个数据集市进行数据的整合建立企业级的数据仓库。

  • 不能以全局视角分析数据，可能产生大量冗余数据
  • 搭建快，成本低

从属型数据集市（自上而下开发）： 先建立企业级数据仓库，然后从数据仓库中为各个部门抽取必要的数据建立部门级的数据集市。

  • 可提高数据分析的质量
  • 体系结构更稳定
  • 实施周期长、难度大、风险高

在这里插入图片描述

三、数据湖

1、数据湖和数据仓库

数据湖的核心是：提供一个统一的数据存储模式。

数据湖主要提供一个统一的数据存储模式，分析类应用（数据中台、数据仓库）可以在其基础上搭建。

狭义的数据湖只是一种底层的数据存储模型，而广义的数据湖包括了数据集成，数据治理，数据处理与分析，数据挖掘，安全管控，质量检验等。

在这里插入图片描述

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：前言技术之swagger

下一篇：【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优探索

相关内容

热门资讯

安卓系统计划软件推荐,精选计划... 你有没有发现，手机里的安卓系统越来越智能了？这不，最近我可是挖到了一些超棒的安卓计划软件，它们不仅能...
收钱吧安卓系统插件,便捷支付新... 你有没有发现，现在的生活越来越离不开手机了？手机里装满了各种应用，而今天我要跟你聊聊一个特别实用的工...
鸿蒙系统是否还属于安卓,独立于... 你有没有想过，那个在我们手机上默默无闻的鸿蒙系统，它到底是不是安卓的“亲戚”呢？这个问题，估计不少手...
安卓系统手机用什么钱包,轻松管... 你有没有想过，你的安卓系统手机里装了那么多应用，但最离不开的，可能就是那个小小的钱包了。没错，就是那...
安卓系统能玩部落冲突吗,部落冲... 你有没有想过，安卓系统上的手机，是不是也能玩那款风靡全球的《部落冲突》呢？这款游戏自从推出以来，就吸...
智能机器人安卓系统,引领未来智... 你知道吗？在科技飞速发展的今天，智能机器人已经不再是科幻电影里的专属了。它们正悄悄地走进我们的生活，...
华为win10系统改装安卓系统... 你有没有想过，你的华为笔记本电脑里的Windows 10系统，能不能来个华丽变身，变成安卓系统呢？这...
旧电脑上安什么安卓系统,适配不... 你那台旧电脑是不是已经闲置好久了？别让它默默无闻地躺在角落里，给它来个华丽变身吧！今天，就让我来告诉...
安卓app语言跟随系统,随系统... 你知道吗？在手机世界里，有一个神奇的小功能，它就像你的贴身翻译官，无论你走到哪里，都能帮你轻松应对各...
惠城安卓系统降级在哪,揭秘降级... 你有没有遇到过手机系统升级后，发现新系统让你头疼不已，想回到那个熟悉的安卓系统呢？别急，今天就来告诉...
阿里云系统转安卓,揭秘安卓平台... 你知道吗？最近有个大动作在互联网圈里引起了不小的波澜，那就是阿里云系统竟然要转战安卓阵营了！这可不是...
安卓系统有最美壁纸么,探寻最美... 哦，亲爱的安卓用户，你是否曾在某个午后，百无聊赖地翻看着手机，突然被那一张张壁纸惊艳了眼眸？是的，我...
安卓系统采用Linux操作系统... 你知道吗？安卓系统，这个在我们手机上无处不在的小家伙，它的心脏竟然是Linux操作系统内核！是不是觉...
安卓原生平板通用系统,探索安卓... 你有没有发现，现在市面上平板电脑的品牌和型号真是五花八门，让人挑花了眼？不过，你知道吗？在众多安卓平...
小米1系统是安卓几,搭载安卓几... 你有没有想过，你的小米手机里那个熟悉的系统，其实是基于安卓的哦！没错，就是那个全球最流行的手机操作系...
可以安装安卓系统的相机,智能摄... 你有没有想过，一台相机不仅能拍出美美的照片，还能像智能手机一样，玩转各种应用？没错，现在市面上就有这...
安卓系统gps定位不准,安卓G... 你是不是也遇到过这种情况？手机里的安卓系统GPS定位总是不准，让人头疼不已。有时候，你明明就在家附近...
电信机顶盒装安卓系统,开启智能... 你有没有想过，家里的电信机顶盒其实也可以装上安卓系统呢？听起来是不是有点不可思议？别急，让我带你一步...
安卓系统可以做苹果桌面,打造个... 你知道吗？现在科技的发展真是让人眼花缭乱，竟然有人想出了安卓系统可以做苹果桌面的神奇想法！是不是觉得...
安卓系统自带的网页,功能与特色... 你有没有发现，每次打开安卓手机，那熟悉的系统界面里总有一个默默无闻的小家伙——安卓系统自带的网页浏览...