数据治理之数据梳理
创始人
2024-05-30 11:13:20
0

目录

1.定义

2.用途作用

3.实施方法

3.1自上而下

3.1.1数据域梳理

3.1.2数据主题梳理

3.1.3 数据实体梳理

3.1.4设计数据模型

3.1.5优点

3.1.5缺点

3.2自下而上

 3.2.1需求分析

3.2.2展现

3.2.3分析逻辑

 3.2.4数据建模

 3.2.5优点

  3.2.6缺点


1.定义

         “数据梳理”即对企业数据资产的梳理。

2.用途作用

        在通过对数据的过程中,可知晓企业当中到底有哪些儿数据,这些数据存储在哪些地方,数据质量如何。数据梳理能够帮助我们对企业数据资产进行摸底,为数仓建设-建模提供有力地支撑。

3.实施方法

3.1自上而下

        自上而下的数据梳理指从企业业务视角中出发,通过业务流程进行全面分析,逐层分解。

由数据域→数据主题→数据实体→数据模型→,一步步细化、抽象、设计出来的实体数据模型的过程。

3.1.1数据域梳理

        在业务调研后,可以进行数据域的划分。划分主题域,需要分析各个业务模块中有哪些业务活动。通常都按业务系统划分,比如:“人力资源管理系统”对应“人力资源数据域”,“财务管理系统”对应“财务数据域”,“供应链管理系统”对应“供应链数据域”.....等等。

3.1.2数据主题梳理

        数据主题梳理是指,按照部门职能、业务流程来梳理数据域的二级主题。

        例如:

                人力资源数据域下包含的二级主题有:招聘管理、培训管理、人事管理、薪酬福利管理、绩效考核管理...等。

                供应链数据域下包含的二级主题有:供应商、销售、商品物料、仓库....等。

3.1.3 数据实体梳理

        数据实体梳理是指数据主题所涉及的各类业务单据、用户视图进行数据收集和分析,细化出业务主题所包含的数据实体和数据实体涉及的数据元素。

        例如:

                人事管理主题包含的实体有:组织机构、岗位、人员等

3.1.4设计数据模型

        逻辑模型设计:对实体进行抽象,描述实体之间的继承或关联关系,明确数据结构的属性构成等。

        物理模型设计:描述的物理数据存储结构和数据关系。

3.1.5优点

        全面系统的梳理,通过数据域 -》 数据主题 -》 数据实体 -》数据模型的逐层分解,使企业清晰地了解企业数据的来龙去脉,有助于企业把握各类数据的源头,确保数据的有效性、完整性和一致性,有效消除信息孤岛。

3.1.5缺点

        需要较大的成本和较长的时间周期来进行数据梳理

3.2自下而上

        自下而上的数据梳理特点是比较有针对性,直击目标和需求。该方法以目标和需求为驱动,一步步梳理出实现需求所需要的数据,并确定数据的来源、数据结构及数据实体之间的关系。

 3.2.1需求分析

        数据治理是一个复杂的过程,项目的开发涉及多方面的问题和风险,如技术风险、数据质量问题、项目管理问题,但项目中最隐蔽、最容易忽略、最难控制的一环就是需求的调研和分析。需求分析应从IT现状、业务部门、高层希望等方面展开,明确项目的目标和范围。

3.2.2展现

        虽然有了明确的需求,但客户跟关注的是数据的展现形式和效果,因此将不同的数据分析结果推送给不同的客户是该阶段的重点。采用原型的方式可以帮助和引导客户的需求。

3.2.3分析逻辑

        分析逻辑是指分析实现需求的业务逻辑,其输出结果是数据仓库的逻辑模型。逻辑模型用来表达实际业务中的具体业务关系和分析逻辑。

 3.2.4数据建模

        将逻辑模型转化为给数据库存储的物理模型。

 3.2.5优点

        目的性强,从既定的需求触发到具体的数据结构设计,越到底层变化的可能性越小。从整体出发的大规模调研规划相比,这种方式的周期更短、见效更快(主要满足于需求目标),有了明确的项目目标和需求的情况下采用方式最佳。

  3.2.6缺点

        局部梳理,缺乏全面性和系统性,无法支持企业顶层的数据架构设计。

相关内容

热门资讯

122.(leaflet篇)l... 听老人家说:多看美女会长寿 地图之家总目录(订阅之前建议先查看该博客) 文章末尾处提供保证可运行...
育碧GDC2018程序化大世界... 1.传统手动绘制森林的问题 采用手动绘制的方法的话,每次迭代地形都要手动再绘制森林。这...
育碧GDC2018程序化大世界... 1.传统手动绘制森林的问题 采用手动绘制的方法的话,每次迭代地形都要手动再绘制森林。这...
Vue使用pdf-lib为文件... 之前也写过两篇预览pdf的,但是没有加水印,这是链接:Vu...
PyQt5数据库开发1 4.1... 文章目录 前言 步骤/方法 1 使用windows身份登录 2 启用混合登录模式 3 允许远程连接服...
Android studio ... 解决 Android studio 出现“The emulator process for AVD ...
Linux基础命令大全(上) ♥️作者:小刘在C站 ♥️个人主页:小刘主页 ♥️每天分享云计算网络运维...
再谈解决“因为文件包含病毒或潜... 前面出了一篇博文专门来解决“因为文件包含病毒或潜在的垃圾软件”的问题,其中第二种方法有...
南京邮电大学通达学院2023c... 题目展示 一.问题描述 实验题目1 定义一个学生类,其中包括如下内容: (1)私有数据成员 ①年龄 ...
PageObject 六大原则 PageObject六大原则: 1.封装服务的方法 2.不要暴露页面的细节 3.通过r...
【Linux网络编程】01:S... Socket多进程 OVERVIEWSocket多进程1.Server2.Client3.bug&...
数据结构刷题(二十五):122... 1.122. 买卖股票的最佳时机 II思路:贪心。把利润分解为每天为单位的维度,然后收...
浏览器事件循环 事件循环 浏览器的进程模型 何为进程? 程序运行需要有它自己专属的内存空间࿰...
8个免费图片/照片压缩工具帮您... 继续查看一些最好的图像压缩工具,以提升用户体验和存储空间以及网站使用支持。 无数图像压...
计算机二级Python备考(2... 目录  一、选择题 1.在Python语言中: 2.知识点 二、基本操作题 1. j...
端电压 相电压 线电压 记得刚接触矢量控制的时候,拿到板子,就赶紧去测各种波形,结...
如何使用Python检测和识别... 车牌检测与识别技术用途广泛,可以用于道路系统、无票停车场、车辆门禁等。这项技术结合了计...
带环链表详解 目录 一、什么是环形链表 二、判断是否为环形链表 2.1 具体题目 2.2 具体思路 2.3 思路的...
【C语言进阶:刨根究底字符串函... 本节重点内容: 深入理解strcpy函数的使用学会strcpy函数的模拟实现⚡strc...
Django web开发(一)... 文章目录前端开发1.快速开发网站2.标签2.1 编码2.2 title2.3 标题2.4 div和s...