数据仓库，元数据管理需求，以及设计文档，详细.doc

发布时间：2022-06-14 发布人：admin 分类：说明书资料大小：0.72M 资料格式：doc 举报版权申诉

7fc89a3e-ea12-4a5c-ba94-37b5ded1f947.doc.pdf-第1页.png

第1页 / 共47页

7fc89a3e-ea12-4a5c-ba94-37b5ded1f947.doc.pdf-第2页.png

第2页 / 共47页

7fc89a3e-ea12-4a5c-ba94-37b5ded1f947.doc.pdf-第3页.png

第3页 / 共47页

7fc89a3e-ea12-4a5c-ba94-37b5ded1f947.doc.pdf-第4页.png

第4页 / 共47页

7fc89a3e-ea12-4a5c-ba94-37b5ded1f947.doc.pdf-第5页.png

第5页 / 共47页

7fc89a3e-ea12-4a5c-ba94-37b5ded1f947.doc.pdf-第6页.png

第6页 / 共47页

7fc89a3e-ea12-4a5c-ba94-37b5ded1f947.doc.pdf-第7页.png

第7页 / 共47页

7fc89a3e-ea12-4a5c-ba94-37b5ded1f947.doc.pdf-第8页.png

第8页 / 共47页

1范围

2引用文件

3术语和缩略语

3.1术语

3.2缩略语

4元数据管理

4.1元数据管理范畴

4.1.1元数据的定义

4.1.2元数据管理目标

4.1.3元数据管理范畴

4.1.4元数据管理内容

4.1.4.1数据源端元数据

4.1.4.2ETL元数据

4.1.4.3数据仓库元数据

4.1.4.4OLAP元数据

4.1.4.5上层应用元数据

4.2元数据管理模块体系架构

4.2.1功能架构

4.2.1.1元数据获取层

4.2.1.2元数据存储层

4.2.1.3元数据功能层

4.2.1.4元数据应用层

4.2.2技术架构

4.3元数据管理模块主要功能

4.3.1元数据基本功能

4.3.1.1元数据的基本维护

4.3.1.2元数据变更管理

4.3.1.3元数据查询

4.3.1.4元数据统计

4.3.1.5元数据质量管理

4.3.1.5.1.元数据一致性检查

4.3.1.5.2.元数据关系健全性检查

4.3.1.5.3.元数据属性检查

4.3.1.6元数据权限管理

4.3.2元数据分析功能

4.3.2.1血统分析

4.3.2.2影响分析

4.3.2.3数据映射分析

4.3.2.4差异分析

4.3.2.5实体关联分析

4.4元数据管理模块对外接口

4.4.1外部元数据读取接口

4.4.2外部元数据写入接口

4.4.3元数据对外服务接口

4.5用元数据的模块周边接口图

4.6元数据管理模块技术要求

4.6.1元数据获取

4.6.1.1元数据获取方式

4.6.1.2元数据自动获取管理功能

4.6.1.3SQL脚本自动解析

4.6.1.3.1.SQL解析功能过程

4.6.1.3.2.SQL脚本标准规范

4.6.2元模型维护管理

4.6.3元数据管理模块系统集成

4.6.3.1系统集成

4.6.3.2界面集成

4.6.3.1功能集成

4.6.3.1数据集成

4.7 附录一元模型管理

4.7.1元模型概述

4.7.2CWM模型概述

4.7.3综合分析系统元模型

4.7.3.1基础层元模型

4.7.3.1.1.对象模型包

4.7.3.1.2.基础服务包

4.7.3.2采集转换层元模型

4.7.3.3数据层元模型

4.7.3.3.1.数据仓库元数据

4.7.3.3.2.数据仓库管理元数据

4.7.3.4访问层元模型

4.7.3.4.1.OLAP包

4.7.3.4.2.数据挖掘包

4.7.3.4.3.信息可视化包

4.7.3.5其他可选元模型

4.8附录二 FAQ

4.8.1数据订阅为何不纳入元数据管理？

4.8.2为何没有相关元模型分册？

4.8.3为何管理元数据本期暂不考虑？

中国移动综合分析系统技术规范-元数据管理分册业务需求版本号： V 2 . 0 . 0 中国移动通信有限公司 2 0 1 0 - 0 6

中国移动综合分析系统技术规范-元数据管理分册前言本技术方案由中国移动通信有限公司提出并归口。本方案起草单位：中国移动通信集团公司网络部本方案主要起草人：唐世萍、邱佳、沈萌、赵佳、陈燕琦、姚旭、方胜、孔祥凯、刘鸣东、丁朝阳、李荣盛等本方案解释单位：中国移动通信集团公司网络部 2

中国移动综合分析系统技术规范-元数据管理分册目录 1 范围....................................................................................................................................................................... 6 2 引用文件...............................................................................................................................................................7 3 术语和缩略语...................................................................................................................................................... 8 3.1 术语...............................................................................................................................................................8 3.2 缩略语...........................................................................................................................................................8 4 元数据管理........................................................................................................................................................ 10 4.1 元数据管理范畴........................................................................................................................................10 4.1.1 元数据的定义....................................................................................................................................10 4.1.2 元数据管理目标............................................................................................................................... 10 4.1.3 元数据管理范畴................................................................................................................................11 4.1.4 元数据管理内容............................................................................................................................... 12 4.1.4.1 数据源端元数据......................................................................................................................................... 13 4.1.4.2 ETL 元数据.................................................................................................................................................. 13 4.1.4.3 数据仓库元数据......................................................................................................................................... 14 4.1.4.4 OLAP 元数据...............................................................................................................................................14 4.1.4.5 上层应用元数据......................................................................................................................................... 14 4.2 元数据管理模块体系架构.......................................................................................................................15 4.2.1 功能架构............................................................................................................................................15 4.2.1.1 元数据获取层.............................................................................................................................................. 16 4.2.1.2 元数据存储层.............................................................................................................................................. 17 4.2.1.3 元数据功能层.............................................................................................................................................. 17 4.2.1.4 元数据应用层.............................................................................................................................................. 17 4.2.2 技术架构............................................................................................................................................17 4.3 元数据管理模块主要功能.......................................................................................................................19 4.3.1 元数据基本功能............................................................................................................................... 19 4.3.1.1 元数据的基本维护.....................................................................................................................................19 4.3.1.2 元数据变更管理......................................................................................................................................... 19 4.3.1.3 元数据查询...................................................................................................................................................20 4.3.1.4 元数据统计...................................................................................................................................................20 4.3.1.5 元数据质量管理......................................................................................................................................... 20 4.3.1.5.1. 元数据一致性检查...............................................................................................................................20 4.3.1.5.2. 元数据关系健全性检查......................................................................................................................20 4.3.1.5.3. 元数据属性检查....................................................................................................................................21 4.3.1.6 元数据权限管理......................................................................................................................................... 22 4.3.2 元数据分析功能............................................................................................................................... 22 4.3.2.1 血统分析....................................................................................................................................................... 22 4.3.2.2 影响分析....................................................................................................................................................... 22 4.3.2.3 数据映射分析.............................................................................................................................................. 23 3

中国移动综合分析系统技术规范-元数据管理分册 4.3.2.4 差异分析....................................................................................................................................................... 23 4.3.2.5 实体关联分析.............................................................................................................................................. 23 4.4 元数据管理模块对外接口.......................................................................................................................23 4.4.1 外部元数据读取接口.......................................................................................................................23 4.4.2 外部元数据写入接口.......................................................................................................................24 4.4.3 元数据对外服务接口.......................................................................................................................25 4.5 用元数据的模块周边接口图...................................................................................................................27 4.6 元数据管理模块技术要求.......................................................................................................................28 4.6.1 元数据获取........................................................................................................................................28 4.6.1.1 元数据获取方式......................................................................................................................................... 28 4.6.1.2 元数据自动获取管理功能.......................................................................................................................29 4.6.1.3 SQL 脚本自动解析 ....................................................................................................................................30 4.6.1.3.1. SQL 解析功能过程.............................................................................................................................. 30 4.6.1.3.2. SQL 脚本标准规范.............................................................................................................................. 31 4.6.2 元模型维护管理............................................................................................................................... 34 4.6.3 元数据管理模块系统集成...............................................................................................................34 4.6.3.1 系统集成....................................................................................................................................................... 35 4.6.3.2 界面集成....................................................................................................................................................... 35 4.6.3.1 功能集成....................................................................................................................................................... 35 4.6.3.1 数据集成....................................................................................................................................................... 35 4.7 附录一元模型管理.............................................................................................................................. 36 4.7.1 元模型概述........................................................................................................................................36 4.7.2 CWM 模型概述..................................................................................................................................... 36 4.7.3 综合分析系统元模型.......................................................................................................................36 4.7.3.1 基础层元模型.............................................................................................................................................. 37 4.7.3.1.1. 对象模型包............................................................................................................................................. 37 4.7.3.1.2. 基础服务包............................................................................................................................................. 38 4.7.3.2 采集转换层元模型.....................................................................................................................................41 4.7.3.3 数据层元模型.............................................................................................................................................. 43 4.7.3.3.1. 数据仓库元数据....................................................................................................................................43 4.7.3.3.2. 数据仓库管理元数据.......................................................................................................................... 43 4.7.3.4 访问层元模型.............................................................................................................................................. 44 4.7.3.4.1. OLAP 包.................................................................................................................................................. 45 4.7.3.4.2. 数据挖掘包............................................................................................................................................. 45 4.7.3.4.3. 信息可视化包........................................................................................................................................ 46 4.7.3.5 其他可选元模型......................................................................................................................................... 47 4.8 附录二 FAQ........................................................................................................................................... 47 4.8.1 数据订阅为何不纳入元数据管理？..............................................................................................47 4.8.2 为何没有相关元模型分册？.......................................................................................................... 47 4.8.3 为何管理元数据本期暂不考虑？..................................................................................................47 4

中国移动综合分析系统技术规范-元数据管理分册附图目录 CWM 对象模型层的主要内容 ...................................................................................................38 附图 1. CWM 的基础层元模型 ............................................................................................................... 39 附图 2. 附图 3. 数据挖掘元数据领域关联图 ..................................................................................................46 附图 4. 综合分析系统元数据管理模块功能结构图 ..........................................................................16 附图 5. 综合分析系统元数据管理模块技术结构图 ..........................................................................18 综合分析系统元数据管理模块边界接口图 ..........................................................................27 附图 6. 附图 7. 元数据获取方式图 .................................................................................................................. 28 SQL 脚本自动解析获取元数据过程 .......................................................................................30 附图 8. 附图 9. 元数据服务接口技术实现图 ..................................................................................................26 5

中国移动综合分析系统技术规范-元数据管理分册 1 范围中国移动综合分析系统技术规范，定义中国移动综合分析系统的系统架构、关键技术、逻辑模型、源系统接口、元数据与数据质量管理、系统管理与安全管理和技术要求。 6

中国移动综合分析系统技术规范-元数据管理分册 2 引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。 7

中国移动综合分析系统技术规范-元数据管理分册 3 术语和缩略语 3.1 术语下列术语、定义适用于本规范：术语代码术语名词术语解释服务台事件管理问题管理配置管理变更管理监控管理运维管理服务管理也称为帮助台，IT 服务管理与用户的接口，受理并处理用户的服务请求。和帮助台一起组成事件处理流程，有效解决各类 IT 突发事件，尽快恢复 IT 服务。寻求 IT 故障的根源，解决存在问题的流程，能消除或减少 IT 事件的发生。管理各 IT 资产系统(配置元素，CI)的流程，包括相互间的关联与依赖关系。对变更请求进行记录、跟踪与管理的流程，消除或减少 IT 变更对生产环境和系统的影响和风险，保证变更的平稳运行。完成对平台部件、应用的统一监控、统一维护，包括集中监测和故障定位与管理。包括帮助台/事件管理，配置管理，问题管理和变更管理等流程，作为业务支撑网网管分阶段实施所建议的第一阶段。业务支撑网网管分阶段实施所建议的第二阶段，在企业的 IT 环境中了解业务的 IT 服务级别需求，以此定义双方同意的服务级别，并通过标准的流程进行服务级别的监视，汇报和改进，最终实现量化管理，实现连续的质量改进循环，把 IT 部门建设成为真正的服务中心。 3.2 缩略语下列缩略语适用于本规范：缩写英文描述中文描述 REST XMI OLAP ETL Representational State Transfer 表述性状态转移 XML Metadata Interchange XML 元数据交换 On-line Analysis Process 在线分析处理 Extraction Transformation Loading 抽取、转换和加载 8

分享到：

赞收藏

资料库

数据仓库，元数据管理需求，以及设计文档，详细.doc

相关推荐

开发技术

热门标签

最新资料