65页PPT埃森哲大数据分析培训课件，概述框架方法工具.pdf-资料库

4882d9c0-3cdb-4655-9271-a81adaceb666.pdf-第1页.png

第1页 / 共65页

4882d9c0-3cdb-4655-9271-a81adaceb666.pdf-第2页.png

第2页 / 共65页

4882d9c0-3cdb-4655-9271-a81adaceb666.pdf-第3页.png

第3页 / 共65页

4882d9c0-3cdb-4655-9271-a81adaceb666.pdf-第4页.png

第4页 / 共65页

4882d9c0-3cdb-4655-9271-a81adaceb666.pdf-第5页.png

第5页 / 共65页

4882d9c0-3cdb-4655-9271-a81adaceb666.pdf-第6页.png

第6页 / 共65页

4882d9c0-3cdb-4655-9271-a81adaceb666.pdf-第7页.png

第7页 / 共65页

4882d9c0-3cdb-4655-9271-a81adaceb666.pdf-第8页.png

第8页 / 共65页

大数据分析--埃森哲 2015-7

数据分析即从数据、信息到知识的过程，数据分析需要数学理论、行业经验以及计算机工具三者结合 • 工具支撑各种厂商开发了数据分析的工具、模块，将分析模型封装，使不了解技术的人也能够快捷的实现数学建模，快速响应分析需求。 • 数学&统计学知识数据分析的基础，将整理、描述、预测数据的手段、过程抽象为数学模型的理论知识 • 机器学习不需要人过多干预，通过计算机自动学习，发现数据规律，但结论不易控制。 • 数据挖掘数据挖掘是挖掘数据背后隐藏的知识的重要手段 • 分析误区不了解分析模型的数学原理，会导致错误的使用模型，而得出错误的分析结论，影响业务决策，因此在选用分析模型时，要深入了解该模型的原理和使用限制机器学习数据挖掘传统分析分析误区行业经验 • 传统分析在数据量较少时，传统的数据分析已能够发现数据中包含的知识，包括结构分析、杜邦分析等模型，方法成熟，应用广泛，本文不展开介绍 • 行业经验行业经验可在数据分析前确定分析需求，分析中检验方法是否合理，以及分析后指导应用，但行业特征不同，其应用也不同，因此本文不展开介绍 Copyright © 2014 Accenture All rights reserved. 3

随着计算机技术发展和数据分析理论的更新，当前的数据分析逐步成为机器语言、统计知识两个学科的交集（备选） • 数据分析工具各种厂商开发了数据分析的工具、模块，将分析模型封装，使不了解技术的人也能够快捷的实现数学建模，快速响应分析需求。 • 信息处理信息处理基于查询，可以发现有用的信息。但是这种查询的回答反映的是直接存放在数据库中的信息。它们不反映复杂的模式，或隐藏在数据库中的规律。数据分析工具数据挖掘信息处理传统分析业务数据 • 传统分析在数据量较少时，传统的数据分析已能够发现数据中包含的知识，包括结构分析、杜邦分析等模型，方法成熟，应用广泛，本文不展开介绍 • 数据挖掘就是充分利用了统计学和人工智能技术的应用程序，并把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题。 Copyright © 2014 Accenture All rights reserved. 4

随着计算机科学的进步，数据挖掘、商务智能、大数据等概念的出现，数据分析的手段和方法更加丰富常规分析数据挖掘商务智能大数据技术数据可视化 •揭示数据之间的静态关系 •分析过程滞后 •对数据质量要求高结构分析分组分析预警分析杜邦分析 …… 数据分析 •从多种类型的数据中，快速获取知识的能力 •数据挖掘技术的衍生 •大数据时代，展示数据可以更好辅助理解数据、演绎数据 •统计学和计算机技术等多学科的结合 •揭示数据之间隐藏的关系 •将数据分析的范围从“已知”扩展到 “未知”，从“过去” 推向“将来” •一系列以事实为支持，辅助商业决策的技术和方法，曾用名包括专家系统、智能决策等 •一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成 •对数据分析的体系化管理，数据分析的主体依然是数据挖掘 • 本文在描述数据分析的流程后，重点介绍通用的数据分析方法和主流的应用工具、软件。 • 随着数据量的不断扩大，数据分析理论正处于飞速发展期，因此本文的方法侧重于基础原理介绍。 Copyright © 2014 Accenture All rights reserved. 5

数据分析标准流程 CRISP-DM为90年代由SIG组织（当时）提出，已被业界广泛认可的数据分析流程。 1.业务理解(business understanding）确定目标、明确分析需求 2.数据理解（data understanding）收集原始数据、描述数据、探索数据、检验数据质量 3.数据准备(data preparation) 选择数据、清洗数据、构造数据、整合数据、格式化数据 4.建立模型(modeling）选择建模技术、参数调优、生成测试计划、构建模型 5.评估模型(evaluation) 对模型进行较为全面的评价，评价结果、重审过程 6.部署(deployment) 分析结果应用 Copyright © 2014 Accenture All rights reserved. 7

数据分析框架业务理解数据理解数据准备建立模型模型评估应用理解业务背景，评估分析需求数据收集数据清洗数据探索数据转换选择方法、工具，建立模型建模过程评估模型结果评估分析结果应用分析模型改进 • 数据收集：抽取的数据必须能够正确反映业务需求，否则分析结论会对业务将造成误导。 • 数据清洗：原始数据中存在数据缺失和坏数据，如果不处理会导致模型失效，因此对数据通过过滤“去噪”从而提取出有效数据 • 理解业务背景：数据分析的本质是服务于业务需求，如果没有业务理解，缺乏业务指导，会导致分析无法落地。 • 评估业务需求：判断分析需求是否可以转换为数据分析项目，某些需求是不能有效转换为数据分析项目的，比如不符合商业逻辑、数据不足、数据质量极差等。 • 探索数据：运用统计方法对数据进行探索，发现数据内部规律。 • 数据转换：为了达到模型的输入数据要求，需要对数据进行转换，包括生成衍生变量、一致化、标准化等。 • 建立模型：综合考虑业务需求精度、数据情况、花费成本等因素，选择最合适的模型。在实践中对于一个分析目的，往往运用多个模型，然后通过后续的模型评估，进行优化、调整，以寻求最合适的模型。 • 建模过程评估：对模型的精度、准确性、效率和通用性进行评估。， • 模型结果评估：评估是否有遗漏的业务，模型结果是否回答了当初的业务问题，需要结合业务专家进行评估。 • 结果应用：将模型应用于业务实践，才能实现数据分析的真正价值：产生商业价值和解决业务问题。 • 模型改进：对模型应用效果的及时跟踪和反馈，以便后期的模型调整和优化。 Copyright © 2014 Accenture All rights reserved. 8

资料库

65页PPT埃森哲大数据分析培训课件，概述框架方法工具.pdf

相关推荐

课程资源

热门标签

最新资料