logo资料库

数据仓库生命周期工具箱.pdf

第1页 / 共483页
第2页 / 共483页
第3页 / 共483页
第4页 / 共483页
第5页 / 共483页
第6页 / 共483页
第7页 / 共483页
第8页 / 共483页
资料共483页,剩余部分请下载后查看
封面
第1章 Kimball生命周期导论
1.1 生命周期的历史
1.2 生命周期里程碑
1.2.1 项目/项目群规划
1.2.2 项目/项目群管理
1.2.3 业务需求定义
1.2.4 技术路线
1.2.5 数据路线
1.2.6 商业智能应用路线
1.2.7 部署
1.2.8 维护
1.2.9 增长
1.3 使用生命周期图
1.4 生命周期导航帮助
1.5 生命周期相关术语简介
1.5.1 数据仓库与商业智能
1.5.2 ETL系统
1.5.3 业务过程维度模型
1.5.4 商业智能应用程序
1.6 小结
第2章 项目/项目群的启动与管理
2.1 确定项目
2.1.1 评估DW/BI项目的准备就绪情况
2.1.2 弥补不足并确定下步工作
2.1.3 确定初步范围和章程
2.1.4 建立商业报告和合理性证明
2.2 项目规划
2.2.1 确立项目标识
2.2.2 项目人员配备
2.2.3 制定项目计划
2.2.4 制定沟通计划
2.3 项目管理
2.3.1 召开项目团队启动会议
2.3.2 监控项目状态
2.3.3 维护项目计划
2.3.4 整理项目文档
2.3.5 范围管理
2.3.6 期望管理
2.3.7 辨识项目陷入困境的征兆
2.4 项目群管理
2.4.1 确立管理职责和管理过程
2.4.2 将数据管理员的地位提升到企业层
2.4.3 利用高效的方法和架构最优方法
2.4.4 进行定期评估
2.4.5 沟通,沟通,沟通
2.5 小结
2.6 管理工作和降低风险
2.7 质量保证
2.8 关键角色
2.9 关键提交内容
2.10 作量估计
2.11 站资源
2.12 任务列表
第3章 收集业务需求
3.1 需求定义的各种方法
3.1.1 个别访谈VS集体促谈会
3.1.2 收集业务需求应避免使用的方法
3.2 访谈准备
3.2.1 确定访谈小组
3.2.2 研究业务机构
3.2.3 选择受访者
3.2.4 设计访谈问卷
3.2.5 确定访谈时间表
3.2.6 通知受访者做好准备
3.2.7 访谈中的基本规则综述
3.3 进行访谈
3.3.1 项目群层面的业务访谈
3.3.2 项目群层面上的IT访谈
3.3.3 项目群合规性/安全性访谈
3.4 总结访谈
3.4.1 确定项目群成功的标准
3.4.2 致谢并告辞
3.5 审查访谈结果
3.6 准备和发布项目群需求文档
3.6.1 访谈书面说明
3.6.2 项目群需求调查结果文档
3.7 区分业务优先次序和商定下步工作
3.7.1 以优先级的审查和确定结束会议
3.7.2 结束本轮访谈
3.8 项目层需求的调整
3.8.1 走近项目层
3.8.2 为项目需求访谈做准备
3.8.3 进行访谈
3.8.4 深入调查数据
3.8.5 审查访谈结果
3.8.6 准备和发布项目提交材料
3.8.7 协商下一步工作并结束本轮访谈
3.9 应对富有挑战性的受访者
3.9.1 受过打击的用户
3.9.2 超负荷的用户/替换用户
3.9.3 昏昏欲睡的用户
3.9.4 过分热心的用户
3.9.5 自以为无所不知的用户
3.9.6 一窍不通的用户
3.9.7 用户的缺位
3.10 小结
3.11 管理工作和降低风险
3.12 保证质量
3.13 关键角色
3.14 关键提交内容
3.15 工作量估计
3.16 网站资源
3.17 任务列表
第4章 技术架构介绍
4.1 架构的价值
4.2 技术架构综述
4.2.1 从源系统到用户桌面的流程
4.2.2 常见架构特征
4.2.3 DW/BI架构评估
4.3 后台架构
4.3.1 ETL一般性需求
4.3.2 创建与购买
4.3.3 后台ETL流程
4.3.4 源系统
4.3.5 抽取
4.3.6 清洗和一致化
4.3.7 提交
4.3.8 ETL管理服务
4.3.9 其他后台服务和趋势
4.3.10 ETL数据存储
4.3.11 ETL元数据
4.3.12 后台总结
4.4 呈现服务器架构
4.4.1 信息方面的业务需求
4.4.2 细节原子数据
4.4.3 聚集
4.4.4 呈现服务器设计规定
4.4.5 调整呈现服务器架构
4.4.6 机构考虑事项
4.4.7 呈现服务器元数据
4.4.8 呈现服务器总结
4.5 前台架构
4.5.1 BI应用程序类型
4.5.2 BI管理服务
4.5.3 BI数据存储
4.5.4 桌面工具架构方法
4.5.5 BI元数据
4.5.6 前台总结
4.6 底层设施
4.6.1 底层设施驱动因素
4.6.2 后台和呈现服务器底层设施因素
4.6.3 并行处理硬件架构
4.6.4 硬件性能推进器
4.6.5 数据库平台因素
4.6.6 前台底层设施要素
4.6.7 底层设施总结
4.8 元数据
4.8.1 元数据集成的价值
4.8.2 元数据集成的供选方案
4.8.3 元数据总结
4.9 安全性
4.9.1 安全方面的弱点
4.9.2 安全性总结
4.10 小结
第5章 创建架构计划和选择产品
5.1 创建架构
5.1.1 架构开发过程
5.1.2 设计应用程序架构计划
5.2 选择产品
5.2.1 保留一个业务关注点
5.2.2 主要DW/BI评估领域
5.2.3 评估供选方案并挑选产品
5.2.4 后台和呈现服务器方面的考虑事项
5.2.5 前台考虑事项
5.2.6 管理元数据
5.2.7 任命元数据管理员
5.2.8 创建元数据策略
5.3 保护系统安全
5.3.1 保护硬件和操作系统的安全
5.3.2 保护开发环境的安全
5.3.3 保护网络安全
5.3.4 用户验证
5.3.5 数据保护
5.3.6 监视使用情况和保证合规性
5.3.7 备份和恢复计划
5.3.8 创建底层设施图
5.4 安装硬件和软件
5.5 小结
5.6 管理工作和降低风险
5.7 质量保证
5.8 关键角色
5.9 关键提交内容
5.10 工作量估计
5.10.1 创建架构计划
5.10.2 选择产品
5.10.3 元数据
5.10.4 安全性
5.11 网站资源
5.12 任务列表
第6章 维度建模介绍
6.1 使用维度建模的场合
6.1.1 什么是维度建模
6.1.2 怎样进行规范化建模?
6.1.3 维度建模的好处
6.2 维度建模入门
6.2.1 事实表
6.2.2 维度表
6.2.3 四步维度设计过程
6.3 企业数据仓库总线架构
6.3.1 规划危机
6.3.2 总线架构
6.3.3 价值链的意义
6.3.4 通用矩阵的常见问题
6.3.5 坚持使用一致性维度
6.4 对维度的深入讨论
6.4.1 日期和时间
6.4.2 退化维
6.4.3 缓慢变化维
6.4.4 角色扮演维
6.4.5 杂项维
6.4.6 雪花型和支架
6.4.7 处理层次结构
6.4.8 使用桥接表的多值维
6.5 更多关于事实的讨论
6.5.1 三个基本粒度
6.5.2 不同粒度的事实及其分配
6.5.3 多种货币和度量单位
6.5.4 无事实的事实表
6.5.5 合并事实表
6.6 有关维度建模的错觉和误区
6.6.1 将关注点集中在部门报表上导致的错误观点
6.6.2 提前汇总导致的错误观点
6.6.3 过于重视规范化导致的错误观点
6.7 小结
第7章 维度模型设计
7.1 建模过程综述
7.2 组建团队
7.2.1 确定参加设计的人员
7.2.2 回顾需求
7.2.3 使用建模工具
7.2.4 确立命名约定
7.2.5 为源数据调查和数据探查做准备
7.2.6 获取场所和用品
7.3 再论四步建模过程
7.3.1 第1步:选择业务过程
7.3.2 第2步:声明粒度
7.3.3 第3步:识别维度
7.3.4 第4步:识别事实
7.4 设计维度模型
7.4.1 建立高层维度模型
7.4.2 开发详细的维度模型
7.4.3 审查和验证模型
7.4.4 设计文档定稿
7.5 拥抱数据管理
7.6 小结
7.7 管理工作和降低风险
7.8 保证质量
7.9 关键角色
7.10 关键提交内容
7.11 工作量估计
7.12 网站资源
7.13 任务列表
第8章 物理数据库设计与性能规划
8.1 制定标准
8.1.1 遵守命名约定
8.1.2 为空还是不为空
8.1.3 设置登台表
8.1.4 制定文件位置标准
8.1.5 对用户访问的表使用代用名或者视图
8.1.6 主键
8.1.7 外键
8.2 设计物理数据模型
8.2.1 设计物理数据结构
8.2.2 确定源到目标的映射
8.2.3 星型VS雪花型
8.2.4 使用数据建模工具
8.2.5 进行初步的规模估计
8.3 创建开发数据库
8.4 设计处理数据存储
8.5 设计初始索引方案
8.5.1 索引和查询策略综述
8.5.2 为维度表建立索引
8.5.3 为事实表建立索引
8.5.4 为装载数据(loads)建立索引
8.5.5 为OLAP建立索引
8.5.6 在装载之后分析表和索引
8.6 设计OLAP数据库
8.6.1 OLAP数据粒度和深入钻取
8.6.2 完善OLAP维度
8.6.3 定义OLAP计算
8.7 建立测试数据库
8.8 设计聚集
8.8.1 确定如何聚集
8.8.2 确定聚集的内容
8.8.3 维护聚集
8.8.4 完成索引
8.9 设计和构建数据库实例
8.9.1 内存
8.9.2 块大小
8.9.3 保存数据库构建脚本和参数文件
8.10 设计物理存储结构
8.10.1 计算表和索引的大小
8.10.2 设计分区方案
8.10.3 设置存储
8.11 小结
8.12 管理工作和降低风险
8.13 保证质量
8.14 关键角色
8.15 关键提交内容
8.16 工作量估计
8.17 网站资源
8.18 任务列表
第9 章抽取、转换和装载介绍
9.1 归拢需求
9.1.1 业务需求
9.1.2 合规性
9.1.3 数据质量
9.1.4 安全性
9.1.5 数据集成
9.1.6 数据等待时间
9.1.7 存档和沿袭
9.1.8 用户提交界面
9.1.9 可用的技能
9.1.10 遗留许可证
9.2 ETL系统的34个子系统
9.3 抽取数据
9.3.1 子系统1——数据探查
9.3.2 子系统2——变化数据捕捉系统
9.3.3 子系统3——抽取系统
9.4 数据的清洗和一致化
9.4.1 改进数据质量文化和过程
9.4.2 子系统4——数据清洗系统
9.4.3 子系统5——错误事件模式
9.4.4 子系统6——审计维装配器
9.4.5 子系统7——重复数据删除系统
9.4.6 子系统8——一致化系统
9.5 向呈现层交付数据
9.5.1 子系统9——缓慢变化维管理器
9.5.2 子系统10——代理键生成器
9.5.3 子系统11——层次管理器
9.5.4 子系统12——专用维度管理器
9.5.5 子系统13——事实表构建器
9.5.6 子系统14——代理键管道
9.5.7 子系统15——多值维度桥接表构建器
9.5.8 子系统16——延迟到达数据处理器
9.5.9 子系统17——维度管理系统
9.5.10 子系统18——事实提供系统
9.5.11 子系统19——聚集构建器
9.5.12 子系统20——OLAP多维数据集构建器
9.5.13 子系统21——数据传播管理器
9.6 管理ETL环境
9.6.1 子系统22——作业调度器
9.6.2 子系统23——备份系统
9.6.3 子系统24——恢复和重启系统
9.6.4 子系统25——版本控制系统
9.6.5 子系统26——版本迁移系统
9.6.6 子系统27——工作流监视器
9.6.7 子系统28——排序系统
9.6.8 子系统29——沿袭和依赖分析器
9.6.9 子系统30——问题自动调整系统
9.6.10 子系统31——并行/管道系统
9.6.11 子系统32——安全系统
9.6.12 子系统33——合规性管理器
9.6.13 子系统34——元数据知识库管理器
9.7 实时的意义
9.7.1 实时的分类
9.7.2 实时的权衡
9.7.3 呈现服务器上的实时分区
9.8 小结
第10章 设计和开发ETL系统
10.1 ETL过程综述
10.2 启动
10.3 设计ETL计划
10.3.1 步骤1——制订高层计划
10.3.2 步骤2——选择ETL工具
10.3.3 步骤3——制定默认策略
10.3.4 步骤4——由目标表向下钻取
10.3.5 设计ETL说明文档
10.3.6 开发沙盒源系统
10.4 设计一次性的历史装载处理
10.4.1 步骤5——使用历史数据填充维度表
10.4.2 步骤6——执行事实表历史装载
10.5 设计增量ETL处理过程
10.5.1 步骤7——维度表增量处理
10.5.2 步骤8——事实表增量处理
10.5.3 步骤9——聚集表和OLAP装载
10.5.4 步骤10——ETL系统操作和自动化
10.6 小结
10.7 管理工作和降低风险
10.8 保证质量
10.9 关键角色
10.10 关键交付内容
10.11 工作量估计
10.12 网站资源
10.13 任务列表
第11章 商务智能应用程序介绍
11.1 商业智能应用程序的重要性
11.2 商业智能分析周期
11.2.1 第一阶段:监视活动
11.2.2 第二阶段:识别异常
11.2.3 第三阶段:确定构成原因的因素
11.2.4 第四阶段:模型供选方案
11.2.5 第五阶段:采取行动并跟踪结果
11.2.6 分析周期的更多意义
11.3 商业智能应用程序的类型
11.3.1 直接访问查询和报表工具
11.3.2 标准报表
11.3.3 分析性应用程序
11.3.4 仪表板和记分卡
11.3.5 运营商业智能
11.3.6 数据挖掘
11.4 通过BI门户导航应用程序
11.4.1 考虑密度
11.4.2 基于业务过程的导航结构
11.4.3 附加门户功能
11.4.4 应用程序界面供选方案
11.5 小结
第12章 设计和开发商务智能应用程序
12.1 商业智能应用程序资源规划
12.1.1 BI应用程序开发人员的角色
12.1.2 谁来完成商业智能工作
12.1.3 生命周期时间安排
12.2 BI应用程序规范
12.2.1 创建应用程序标准和模板
12.2.2 确定初始应用程序集
12.2.3 制定详细的应用程序规范
12.2.4 设计导航框架和门户
12.2.5 审查以及确认应用程序和模型
12.2.6 与业务人士一同审查
12.3 BI应用程序开发
12.3.1 准备应用程序开发
12.3.2 构建应用程序
12.3.3 应用程序和数据的测试和验证
12.3.4 完成文档
12.3.5 部署计划
12.4 BI应用程序维护
12.5 小结
12.6 管理工作并降低风险
12.7 保证质量
12.8 关键角色
12.9 关键提交内容
12.10 工作量估计
12.10.1 BI应用程序规范
12.10.2 开发
12.11 网站资源
12.12 任务列表
第13章 DW/BI系统的部署和支持
13.1 系统部署
13.1.1 部署前测试
13.1.2 部署
13.2 文档和培训
13.2.1 核心文档
13.2.2 补充文档
13.2.3 用户培训
13.3 维护与支持
13.3.1 管理前台
13.3.2 管理后台
13.4 小结
13.5 管理工作和降低风险
13.6 质量保证
13.7 关键角色
13.8 关键提交内容
13.9 工作量估计
13.10 任务列表
第14章 扩展DW/BI系统
14.1 对已有环境的管理
14.1.1 赢得业务用户
14.1.2 向上管理
14.1.3 度量并推销您的成功
14.1.4 经常进行沟通
14.2 为增长与演化作准备
14.2.1 评估当前环境
14.2.2 优化增长时机
14.2.3 管理迭代增长
14.3 小结
14.4 管理工作和降低风险
14.5 保证质量
14.6 关键角色
14.7 关键提交内容
14.8 工作量估计
术语表
分享到:
收藏