logo资料库

数据治理IBM资料学习.docx

第1页 / 共7页
第2页 / 共7页
第3页 / 共7页
第4页 / 共7页
第5页 / 共7页
第6页 / 共7页
第7页 / 共7页
资料共7页,全文预览结束
数据治理问题提纲 一、基本定义 1. 数据治理:数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织 和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有 条的一个过程。 2. 元数据:用于描述要素、数据集或数据集系列的内容、覆盖范围、质量、管理方式、数 据的所有者、数据的提供方式等有关的信息。(数据的数据)包括技术元数据和业务元 数据 3. 主数据治理:主数据管理(MDM Master Data Management)描述了一组规程、技术和解 决方案,这些规程、技术和解决方案用于为所有利益相关方(如用户、应用程序、数据 仓库、流程以及贸易伙伴)创建并维护业务数据的一致性、完整性、相关性和精确性。 4. 数据标准化:放弃重复组、最小化冗余、消除部分依赖项的复合键以及分割非键属性的 过程。“每个属性(列)必须是有关键、整个键且仅键的一个事实” 二、数据治理 1. 定位:信息系统执行层面的体系 2. 目的:整合 IT 与业务部门的知识和意见,监管企业信息化建设,对数据的获取、 处理、使用进行监管 3. 范围:从前端事务处理系统、后端业务数据库到终端的数据分析,从源头到终端 再回到源头形成一个闭环负反馈系统 4. 分类: (1) 应对型数据治理: (2) 主动型数据治理: 5. 基本流程 1 / 7
定义业务问题 1. 我们的问题: (1) 是否只涉及业务系统 2. 一些案例:(作为后期现状研究的具体案例) 保险业:Solvency Ⅱ 医疗:United States Health Insurance Portability and Accountability Act(HIPAA) 电信:“telcos” 获取高层支持 1. 关键词:范围 2. 基本流程: (1) 创建虚拟数据治理工作组 (2) 获取 IT 和业务部门内高级管理人员的支持 (3) 识别数据治理的负责人。 3. 理解:目前数据质量的现状?使用过程中存在的问题?数据治理对我们(业务、技 术)的好处? 执行成数度评估(就是所要达到的目标) 1. 关键词:CMM、维度、现状、预期、所需资源 2. 成熟度模型 2 / 7
IBM 数据治理成数据度模型 3. 基本流程 (1) 组织范围 (2) 时间范围 (3) 数据治理类别 (4) 确定研讨会参与者 (5) 执行数据治理成熟度评估研讨会 (6) 与高层管理人员沟通评估结果 4. 理解:评估现状,确定目标,提出所需资源 创建路线图 1. 流程: (1) 总结数据治理成熟度评估的结果 当前、未来、差距 人、步骤、技术 (2) 列出填补评估中强调的差距所需的关键人员、流程和技术计划 (3) 基于关键计划的优先级创建路线图 2. 理解:制定计划,提出关键 建立组织蓝图 1. 三层组织架构 3 / 7
2. 理解:决策——技术——执行 创建数据字典 1. 分类 业务元数据——技术元数据 2. 流程 (1) 选择一个数据领域 (2) 安排数据照管人来维护关键业务词汇 (3) 识别关键数据元素 (4) 从现有的词汇术语表创建数据字典 (5) 填充数据字典 (6) 链接业务词汇与技术工件 (7) 支持数据治理审计、报告和日志需求 (8) 整合数据字典与应用程序环境 理解数据 1. 拥有哪些数据、位于何处、在系统之间如何关联,项目包括归档、数据隐私、主数 据管理、数据仓库、数据连接和应用程序整合等。 2. 流程: (1) 理解范围内的每个数据源 (2) 理解来源之间的关系 3. 理解:分析结构化和非结构化数据 创建元数据存储库 1. 关键词:数据的数据 2. 相关内容:源表和列、数据模型、ELT(提取、转换和加载)、流程、目标系统 3. 流程: (1) 合并业务元数据和技术元数据 (2) 确保合适的数据血统 (3) 执行影响分析 (4) 管理操作元数据 4. 理解:设计层面的优化,用于现有业务的整合和新业务加入时,主数据、关键数据 等的抽取;变更具体项目对整体的影响 定义度量指标 1. 关键词:人员和流程 2. 度量指标或关键绩效指标(KPI) 3. 流程 (1) 理解业务的整体 KPI:行业相关 (2) 定义数据治理的业务驱动 KPI:如何定义符合业务逻辑的 PKI,需要对业务有 较为深入的了解 (3) 定义数据治理的技术 KPI (4) 建立数据治理成熟度评估的仪表板:11 个图 4 / 7
任命数据照管人 1. 数据照管成熟度模型 2. 流程: (1) 任命首席数据照管人 (2) 确定数据照管计划的配置 (3) 确定每个数据领域的高层支持者 (4) 招聘每个数据领域的数据照管人 (5) 授权数据治理委员会监督数据照管计划 数据质量管理 1. 定义 (1) 数据质量包括数据标准化、匹配、寿命和持续的质量监控 (2) 数据质量管理:度量、改进和验证组织数据质量和完整性的方法 2. 流程: (1) 建立数据质量策略 (2) 设置数据质量基准:有效性、唯一性、完备性、一致性、及时性、准确性、 符合业务规则 (3) 创建业务案例 (4) 清理数据 (5) 持续监控数据质量 3. 问题:我们的关键数据质量包括哪些内容?行号,账户,联系方式? 实现主数据管理 1. 目标:治理孤岛内的信息 2. 主数据:重复的、分散在整个企业的业务流程、系统和应用程序中 3. 流程: (1) 识别业务问题 (2) 定义主数据主题区域 (3) 识别使用数据的系统和业务流程 (4) 识别当前的数据源 (5) 定义记录系统的数据属性 5 / 7
(6) 为每个记录系统任命数据照管人 (7) 建立主数据治理策略 (8) 为手动干预和监控实现数据照管控制台 (9) 管理潜在的重叠任务 (10) 匹配来自相同来源或多个来源的可疑重复内容 (11) 链接来自多个来源的相关记录 (12) 检查唯一标识符是否重复 (13) 管理关系:行与行之间应该就像存款人一样,存在亲缘、朋友关系 (14) 管理层次结构 (15) 管理分组 (16) 构建主数据管理解决方案 治理分析 1. 问题原因:不一致的数据,我们是否有不一致的数据,时间等原因造成 2. 商业智能中心:BICC,通过相互关联的学科、知识领域、经验和技能将人们进行分 组,以在整个组织推广专家经验 3. 流程 (1) 定义 BICC 的目标 (2) 准备 BICC 的业务案例 (3) 确定 BICC 的组织结构 (4) 协商 BICC 的关键功能 管理安全和隐私 1. 流程 (1) 与关键利益相关者协调一致 (2) 收集企业安全架构蓝图 (3) 加强数据库变更控制 (4) 自动化合规性工作流程 (5) 定义敏感数据 (6) 发现敏感数据 (7) 分类和标记敏感数据 (8) 加密敏感数据 (9) 保护非生产环境中的敏感数据 (10) 监控应用程序中的欺诈 (11) 预防计算机攻击 (12) 编校非结构化文档中的敏感信息 治理信息生命周期(PTQS 中涉及到) 1. 生命治理周期模型 6 / 7
2. 流程 (1) 建立信息架构:标准的命名规范 (2) 建立数据库大小和存储架构基准 (3) 发现业务对象 (4) 分类数据和定义服务水平 (5) 归档数据和非结构化内容:我们是否可把数据的范围扩大些 (6) 建立管理测试数据的策略:是否能够在测试中应用及在厂商中应用 (7) 定义电子文档法律查询策略 (8) 分析内容:可对非结构化内容进行处理 度量结果 1. 根据 KPI 度量结果 IBM InfoSphere 系列 三、厂商、产品 1. 2. Guardium 3. BI.MetaManager V2 4. Informatica 四、案例分析 1. 国家开发银行 2. 国外案例还没有找到 3. (光大银行) 7 / 7
分享到:
收藏