数据治理
快速入门
操作流程
介绍 DG 的界面操作流程。
DG 主要操作流程如图所示。
DG 主要操作流程
各操作流程描述如下:
1. 配置数据源(Portal)
在大数据统一门户 Portal 中可进行数据源相关配置,包括租户的配置,以及 FTP 主机、数
据库和 Hadoop 集群等数据源信息的配置。
2. 配置数据标准
数据标准管理包括统一管理相关文档,统一定义业务术语、码表和去隐私算法等。
3. 创建数据模型
可通过三种方式创建数据模型:
− 导入方式
如果有已配置好的数据模型,可直接导入。
− 采集方式
可从已有数据源中以采集方式自动生成数据模型。
− 手动新建方式
用户手动创建数据模型,包括基本信息配置、数据结构配置和存
储规则配置。
4. 审核数据模型
审核人员对数据模型进行审核。对通过审核的数据模型还可进行配置数据访问权限操作。
完成上述步骤后,可进行以下操作:
− 管理数据安全
对数据的访问权限进行控制。
− 管理元数据
对元数据的管理包括查看数据云图和查看模型开发报告。
− 管理数据质量
可实时监控数据质量,查看数据质量趋势分析报告。
− 建模和特征管理
可进行模型建模和特征管理,供应用开发和客户洞察用。
服务应用
配置数据标准
数据标准管理是数据质量的核心内容,是数据规范的保障。
配置数据分层标准
数据分层的目的是为客户提供一种统一的数据管理的业务视图。数据分层标准则是为数据分
层预定义一套系统的数据规范。
前提条件
已登录 DG 前台。
操作步骤
选择“数据治理 > 数据管控 > 数据标准 > 数据分层标准”。
进入数据分层标准配置页面。
单击“新建目录”。
弹出“新建目录”窗口。
配置分层目录后单击“保存”。
此处“目录”是各个分层标准的分类目录,配置说明如图 2-23 所示。
新建目录
分层目录配置说明
参数
名称
参数解释
分层标准目录的名称。
检核方式
配置是否需要强制检核。
勾选“强制检核”:在生效范围内,当数据分层不满足此标准,
将无法保存。
未勾选“强制检核”:在生效范围内,当数据分层不满足此标
准,仍然可以保存。
生效范围
设定此数据标准的生效范围。分为以下范围:
限定目录层级
勾选此标准生效的目录层级。
限定特定目录
可以选择指定的生效目录。
示例:假设已存在数据分层“02_OSD”。如果选择生效目录
为“02_OSD”,则在“02_OSD”分层下创建子数据分层时,
需要遵循本目录下的所有数据分层标准。在其他目录下创建数
据分层则不需要遵循。
参数
参数解释
未生效
此目录标准不在任何目录生效。
限定目录层级
此参数当“生效范围”为“限定目录层级”时生效。勾选此标准
生效的目录层级。
示例:只勾选“一级目录”、“二级目录”、“三级目录”,则
创建数据分层时,一、二、三层目录需要遵循本目录下的所有数
据分层标准,四、五层目录则不需要遵循。
描述
分层标准目录的描述信息。
在左侧导航中单击一个分层标准目录名称,如刚新建的“通用标准 test”,
在“规范列表”中,单击“新建标准”。
弹出“新建规范”窗口。
配置一个规范后单击“保存”。
配置说明如图所示,图中为一个“分层名称需要大写”的标准示例。
新建规范
新建规范配置说明
参数
名称
描述
参数解释
分层规范的名称。
分层规范的描述信息。
检核语句
使用系统函数设置 SQL 检核语句。
说明
检核语句仅允许由“有效字段”、“系统函数”、“操作符”和“常量”组成。
有效字段:从配置页面的“有效字段”列表中选取。
系统函数:从配置页面的“系统函数”列表中选取。
操作符:手动输入。
常量:常量指固定的值,如数字 1,字符串"test"等。
“系统函数”和“操作符”的详细使用说明请参见检核语句说明。
【示例】要求数据分层名称须大写的检核语句:
upper(layerName)==layerName
有效字段
系统自动显示可以配置的有效字段。
说明
鼠标悬浮在英文字段名称之上,自动显示字段中文名称,如下图所示。
单击 按钮可以直接将此字段添加至“检核语句”配置区域。
系统函数
可以使用的系统函数,具体请参见检核语句说明。
说明
单击 按钮可以直接将此函数添加至“检核语句”配置区域。
----结束
配置模型设计标准
模型设计标准描述了模型设计过程中的规范,包括各类数据库表的命名规范、字段类型等。
前提条件
已登录 DG 前台。
操作步骤
选择“数据治理 > 数据管控 > 数据标准 > 模型设计标准”。
进入“模型设计标准”配置页面。
单击“新建目录”。
参数
名称
参数解释
模型设计标准分类目录的名称。
检核方式
配置是否需要强制检核。
弹出“新建目录”窗口。
配置模型设计标准目录后单击“保存”。
配置说明如图所示。
新建目录
模型设计标准分类目录配置说明
勾选“强制检核”:在标准生效范围内,如果模型不满足
标准,系统将给出检核出错提示,并且用户无法保存该模
型。
未勾选“强制检核”:在标准生效范围内,如果模型不满
足标准,系统将给出检核出错提示,但用户仍然可以保存
该模型。
数据标准类型
包括以下选项:
逻辑实体命名规范
主要用于进行数据库表的设计规范。
数据字段命名规范
主要用于进行数据字段的设计规范。
表类型
此参数当“数据标准类型”为“逻辑实体命名规范”时生效。
包括以下类型:
普通表
事实表
普通维度表
维表拉链表
临时表
外部表
生效范围
设定此数据标准的生效范围。分为以下范围:
限定目录层级
勾选此标准生效的目录层级。
限定特定目录
可以选择指定的生效目录。
示例:假设已存在数据分层“02_OSD”。如果选择生效目
录为“02_OSD”,则在“02_OSD”分层下创建子数据分
层时,需要遵循本目录下的所有数据分层标准。在其他目
录下创建数据分层则不需要遵循。
未生效
此目录标准不在任何目录生效。
限定目录层级
此参数当“生效范围”为“限定目录层级”时生效。勾选此标
准生效的目录层级。
示例:只勾选“一级目录”、“二级目录”、“三级目录”,
则创建数据模型时,一、二、三层目录下的数据模型需要遵循
本目录下的所有数据分层标准,四、五层目录下的则不需要遵
循。
模型设计标准分类目录的描述信息。
描述
在左侧导航中,单击新建的“通用模型命名标准 test”,单击“规范列表”
区域的“新建标准”。