logo资料库

大数据报表项目建设方案.docx

发布时间：2022-06-18 发布人：admin 分类：说明书 资料大小：0.75M 资料格式：docx 举报 版权申诉
第1页 / 共11页
第2页 / 共11页
第3页 / 共11页
第4页 / 共11页
第5页 / 共11页
第6页 / 共11页
第7页 / 共11页
第8页 / 共11页
资料共11页，剩余部分请下载后查看
    大数据量报表展现系统开发方案
    一、目标与需求 
    二、应用范围 
    三、与其他系统的关系 
    四、项目主要工作内容 
    (一)建设企业级数据仓库 
    1.数据仓库的逻辑结构 
    2.逻辑数据模型 
    3.数据集市模型 
    4.数据仓库ETL的设计 
    (二)引入先进的商业智能工具 
    1.企业级报表 
    2.立方体分析 
    3.统计分析和数据挖掘 
    (三)企业门户系统 
    1.提供统一的门户框架 
    2.提供先进的门户业务服务 
    3.提供先进易用的门户开发和管理支持 
    (四)逐步建立完善的管理信息平台的应用体系 
    1.建立管理信息门户 
    大数据量报表展现系统开发方案 ----三期延续开发 一、 目标与需求 该系统提出将信息中心建设成为数据集散中心、报表处理中心和决策辅助支持中心，成 为信息资源管理体系的中心和枢纽。将分散在各个业务处理系统中的数据归集起来，为各级 机构提供数据提取和查询服务；开发管理信息平台系统，实现综合查询与分析，实现综统报 表、监管报表、业务报表等统计信息的共享，建立联动查询统计。 依据总体规划，借鉴经验，广泛征求意见后，提出立项开发数据分析系统，拟实现下列 目标： 1、进一步的完善业务信息库，通过建立逻辑数据模型，按主题整合业务数据，并建立 适合各类专题分析需要的数据集市，形成企业级中央数据仓库，以中央数据仓库为纽带完成 业务数据向管理信息的过渡； 2、“工预善其事，必先利其器”，引进 ETL、前端信息展现工具、系统集成门户等先进的 数据仓库和商业智能解决方案，进一步完善管理信息平台技术架构，实现对数据的深层次挖 掘，为各级信息使用者提供先进适用的分析管理工具，为管理部门提供个性化纯 WEB 信息 展示平台； 3、优化全报表生成、报送、管理和使用体系，凡是数据仓库可以生成的报表由系统自 动生成，实现资产负债分析、经营业绩分析、客户分析、风险分析和财务分析五个方面的专 题统计分析，并为将来 引进决策分析模型进行决策支持奠定基础。 鉴于在项目整体开发阶段由于企业的自身业务调整和变化，特别是对前期调研所拟定的 业务蓝图及相关开发计划进行了范围扩大的调整。导致前两期项目开发工作只完成其中一部 分，在甲方的要求下此项目增加的开发范围作为三期工程（不排除报表业务继续扩大，项目 需求继续扩大的可能），同时沿用此方案并需达到此方案中既定的目标来完成项目整体，且 此项目需在本期结束后进入维护期。 二、 应用范围 针对用户的不同级别，分别满足业务人员、管理人员、高级管理人员以及决策者对信息 的不同要求。 三、 与其他系统的关系 数据挖掘系统项目完成后管理信息平台的系统架构将如下图所示，管理信息平台系统架 构从大的方面可以分为两个部分：数据仓库和商业智能。数据仓库以方便查询为目的，打破 关系型数据库理论中标准泛式的约束，将业务数据库的数据重新组织和整理，为查询，报表， 联机分析等提供数据支持。数据仓库建立起来后，定期的数据装载(ETL)成为数据仓库系统一 个主要的日常工作。
    商业智能应用就是利用现代智能计算技术进行数据挖掘(Data Mining)从大量数据中发现潜在规律、提取有用知识，实现企业报表的生成与管理，实 现资产负债、风险管理、财务分析、客户关系分析和绩效考核等经营管理信息的统计分析。 四、 项目主要工作内容 数据挖掘系统项目的主要工作内容包括： (一) 建设企业级数据仓库 随着信息技术运用的不断深入，积累了大量原始数据，而这些数据是按照关系型数 据库结构存储，在更新，删除，有效存储(少冗余数据)方面表现出色，但在复杂查询方 面效率却十分低下。为充分利用已有数据，提供复杂查询，提供更好的决策支持，就需 要采用数据仓库(Data Warehouse)技术。数据仓库与数据库(这里的数据库指关系型数据 库)的区别在于，数据仓库以方便查询(或称为按主题查询)为目的，打破关系型数据库理 论中标准泛式的约束，将数据库的数据重新组织和整理，为查询，报表，联机分析等提 供数据支持。 数据挖掘系统将以业务信息库归集的核心业务系统、ERP、CRM 和一些外部数据等 系统的原始数据为基础，以先进的数据建模理论对业务信息库进行重新规划，建立包括 客户、产品、账户、交易、渠道和机构六大主题的基础业务信息库做为信息管理的基础
    数据支持平台。 1. 数据仓库的逻辑结构 数据挖掘项目完成后的管理信息平台的逻辑架构将如下图所示。中央数据仓库 的数据组织是商业智能中最重要的课题，中央数据仓库不是各系统数据简单的堆积， 而是业务数据的有组织的存储。因此它不可能通过分析源系统来生成，而必须提前 引入已成型的数据模型。这一数据模型在数据仓库范畴称为逻辑数据模型（LDM）， 它必须具有灵活性和可扩展性，适应将来的业务需求的增加和变动。 在数据层前是数据源和转换区，数据源是业务信息库中的原始数据， 转换区 用于存放从数据源抽取到的数据，并在转换区进行转换，是 ETL 的工作区域。 数据层负责所有数据的持久存储，包含中央数据仓库（DW），数据集市（DM） 和 多维模型 OLAP(MDB)。  中央数据仓库(DM)存放从各个数据源抽取的数据，是经过转换后的细节数据。  数据集市（DM)存放的是面向业务应用宏观的汇总数据, 基于实用化和运行效 率的考虑，数据集市 ETL 采用数据库存储过程来实现。  多维模型（MDB)是将数据数据集市中的数据加载到 OLAP SERVER 中,为多维分 析提供数据。 2. 逻辑数据模型 逻辑数据模型 LDM 是信息平台/数据仓库体系结构的基础。根据管理信息平台 的建设目标和建设原则，结合本项目的具体特点确定以下数据模型的设计原则：数 据模型的设计既要满足本项目的业务需求，同时要充分考虑未来业务发展的需要， 也就是说，数据模型应具有较强的扩展性；数据模型的设计应充分考虑最终用户的 查询/分析效率和数据抽取、转换和加载的速度，保证系统具有较高的运行效率； 数据模型的设计应充分考虑当今数据库技术和数据建模技术的发展动态，保证数据
    模型的设计方法、设计过程、设计结果的科学性和先进性；数据模型的设计应具有 较强的可读性，数据模型应便于业务人员和技术人员理解，项目投入运行后，数据 模型便于技术人员维护。 中央数据仓库存储所有最详细的业务数据，数据的组织方式依关系型数据库的 第三范式规则。数据仓库逻辑数据模型主要包括六个主题域： 客户、产品、帐 户、交易、渠道和机构。 3. 数据集市模型 根据业务需求将中央数据仓库数据分类成几个不同的数据集市，每个数据集市完成不同 的分析和查询需求，数据集市中的数据通常由中央数据仓库的数据聚合而来，根据数据聚合 程度的不同包含轻度聚合、中度聚合和高度聚合三种不同的层次。汇总的方式将依据数据量 的大小和使用频率综合考虑 。 4. 数据仓库 ETL 的设计 ETL 指源系统数据经过数据抽取、转换和加载处理进入数据仓库 的整个过程。ETL 流程主要包括以下主要步骤： 数据抽取：数据抽取就是将数据仓库需要的业务数据抽取到数据转换区的过程； 数据检查和出错处理：在数据转换区中，对源系统数据质量进行检查，形成检查报告， 并进行相应的出错处理，对于严重错误，需要系统维护人员现场做出相应的处理。 数据转换：数据转换包括对源系统数据进行整理、剔除、合并、验证等一系列转换工作， 最后形成数据仓库物理数据结构所需的数据，存放在转换区的数据表中。
    数据加载：数据加载将数据转换的结果数据加载到数据仓库，并形成数据加载情况的报 告。 ETL 工具需包括下列模块：EXTRACT 模块 （数据抽取），TXTLOAD 模块 （文本装载）， TRANSFER 模块 （数据转换），DWLOAD 模块 （数据仓库装载），QUALITY 模块(质量检查）， CODE MANAGER 模块（标准代码管理）和 WADMIN 模块 (总控）。 从各个数据源到中央数据仓库的 ETL 可以由 ETL 工具实现。首先在各个源系统安装 extract 模块，将源数据抽取为文本数据，打包后通过 ftp 传送到数据仓库主机上。在数据仓 库主机上通过 txtload 将文本数据装入交换区，然后通过在交换区内通过 Transfer 模块进行 数据转换，最后将交换区的数据通过 dwload 装入中央数据仓库。ETL 每个模块都是现了参 数化配臵，通过配臵相应的 ini 配臵文件实现。 从中央数据仓库到数据集市的数据装载利用存储过程实现。在开发过程中针对每个数据 集市设计相应的存储过程，实现数据从中央数据仓库到数据集市的装载。 (二) 引入先进的商业智能工具 通过引入先进的商业智能工具，提高数据挖掘水平，是迅速改变信息工作无法满足业务 发展需要的必由之路，这也是科技规划所倡导的，即通过引入国内外先进成熟的系统和经验， 迅速提高科技应用水平。 通过数据挖掘工具将达到以下目标： 1. 企业级报表 提供五种常用形式的企业报表：给领导的 KPI 计分卡和仪表盘、给基层经营管理人员的 运营报表、给客户经理和业务经理的典型业务报表、给业务部门领导的管理指标报表、给客 户和合作伙伴的结算清单。 提供块状布局和传统条带状组合方式布局。 提供用户自定义 WEB 报表功能：参数化报表，让用户自己定义报表内容、报表布局和 工作流；自动客户化报表内容，创建一个报表，系统自动基于不同用户生成用户所属内容的 报表；基于用户档案的个性化用户界面，为高级用户和普通用户提供不同的使用界面。 提供灵活的报表分发功能：可将报表分发到 WEB 浏览器、网络打印机、email、文件服 务器和企业管理信息门户；可以根据请求、计划、事件等方式分发报表。 无需编程设计出达到象素精度和印刷品质的报表。 2. 立方体分析 立方体就是指预先组织好高度相关的一个数据子集，用户可以组合任何立方体中的实体 （如客户、账户、产品、渠道、机构、交易等）和度量（如存款、贷款、利润等）来建立多 于二维的视图或者切片，并在计算机屏幕上显示出来。立方体分析就是使用标准的多维分析 功能，如分页、旋转、排序、筛选和向上下钻取来浏览报表。立方体分析适用于对指标变化 的根本原因或潜在原因比较关注而对数据库技巧不是非常熟悉的业务经理。 MSTR 使用关系型 OLAP(ROLAP)技术把关系型数据库建模成虚拟多维立方体来实现联机
    分析（OLAP），能做到快速的报表分析和操作、个性化和安全地共享立方体、自动创建和同 步立方体、从汇总数据向详细交易数据任意钻取。 MSTR 还提供随机查询分析功能，用户可以在关系型数据库上创建任意查询报表，可以 通过参数驱动方式生成查询分析报表、可以基于不同数据集合进行分析，也可以按照自己需 求对数据进行分组。 3. 统计分析和数据挖掘 MSTR 通过多路 SQL 生成引擎和特殊分析引擎扩展了关系数据库的计算能力，为专业信 息分析师提供了 200 多个数学、OLAP、财务和统计函数，用于进行相关分析、趋势分析和 预测分析。 MSTR 允许自定义分析函数并可以纳入其函数库共享。 (三) 企业门户系统 各级员工需不断浏览 OA 系统、两个电子邮件系统、信息网站、管理信息平台、客户信 息系统等系统，每个系统都需重新登录；管理过程主要通过人工＋Email 的方式进行，缺乏 严格的工作流程控制；缺乏集中统一的内部信息检索系统，为此我们需要引进先进技术优化 的管理信息平台，使其成为内部知识管理平台、部门横向沟通协作平台和企业文化建设工具。 企业门户系统正是这两年来用于解决此问题的基础工具软件。 通过企业门户系统，将为各部门员工、各级管理人员提供一个智能的个性化工作平台， 该平台基于互联网的浏览器界面，作为统一入口访问各种业务系统和服务（OA、管理信息 平台、电子邮件、信息网站、ERP 系统、CRM 系统、财务系统等），能够按照个人的工作习 惯和喜好进行个性化定制，从而容易地找到并获得各种所需地信息和服务；该平台将成为集 成了对各种交互请求或服务的中转站，与内部各个已有的后台系统直接连接，提升这些现有 系统的价值，又将内部系统与不安全的用户访问相隔离，保证原有系统安全可靠的运行；通 过平台提供业务流程自动控制、内容管理、协调工作和分类搜索等服务。 本项目选择的企业门户系统将提供以下主要功能： 1） 1. 提供统一的门户框架 A. 门户引擎和基础设施 门户引擎支持标准的 PortletAPI，提供 Portlet 的定义、执行、管理等一系列完整的功能。 集成各种不同的资源，在页面上进行组合，并提供给各种渠道。将页面的展示和不同的业务 逻辑相分离，同时通过 Portlet 进行控制，这样分离的好处是将每个 Portlet 作为一个独立的 控制组件更加容易开发和维护。 Portlet 是门户 Portal 中的基本组件，由 Portlet 容器（Container）所管理，负责显示动 态的内容，并由 Portal 组织起来，展示在一个 Web 页面上，对于 Portal 来说，Portlet 是一 个个可插拔的模块，用户在界面上看到的是许多个独立的 Portlet，通过 Web 的 request 和 response 进行交互。PortletAPI 是 Portal server 和 Portlet 之间的接口，给出了 Portlet 中对象
    的定义、概念和生命周期，限定了 Portlet 中各种对象的行为。 Portlet Container 负责整个 Portal server 的核心运作，实现 Portlet 中的各种接口，并让 整个 Portal server 运转起来；对外提供两种接口，一是和 Servlet Container 的接口，另一个 是和 Portlet API 的接口。 基础设施包括菜单管理和日志管理等功能。 B. 企业应用集成 利用 WEB 技术支持与第三方的各种应用系统集成，轻松地重复使用、修改现有 的 Web 内容和应用，通过开发 Portlet，可以将其他应用系统的信息集成到单一的页面上， 例如：可以同时把对电子邮件、OA、日历、地址簿、任务单、股市行情等访问集中到一起； 提供内容集成，充分利用门户内的各种知识，支持显示各种内容提供商提供的新闻、资讯信 息；快速搜索互联网的内容和进行本地专业化搜索。 C. 个性化支持 可以根据用户的喜好，对页面尽心配臵管理，实现在单一页面展示多个 Portlet，每个 Portlet 负责集成各自业务系统的功能，并负责对内容进行显示；可以对页面的栏目进行分割， 在每一栏中可以放入多个 Portlet，也可以对进行上下顺序的排列。 D. 统一的安全模型 支持对用户、用户组和角色的管理，按角色控制用户对内容和应用的访问权限，支持按 菜单、按 Portlet、按页面三种方式的授权，所有授权按角色分配。有了统一的安全模型后， 用户安全就能在企业范围内较轻松地实现一致，开发功能完备的单点登录系统。 2. 提供先进的门户业务服务 A. 内容管理 提供门户内容知识库，用于快速构建和部署需要基本内容管理的门户应用；提供虚拟内 容知识库，以单一的逻辑实体来管理多个内容知识库；实现联合内容访问，从多个内容系统 提交个性化内容；实现内容集成，采用受 JSR 170 影响的服务提供商接口，集成第三方或定 制的内容系统。 B. 协作（Collabration） 利用针对特定需求的门户桌面，最大限度提高小组和团队的工作效率；通过创建与搜索 新论坛、新主题和线程化消息，授权访问者开展协作；提供白版和聊天功能，借助一组丰富 的 绘 图 工 具 ， 授 权 访 问 者 进 行 实 时 协 作 ， 支 持 调 制 型 和 非 调 制 型 小 组 会 话 ； 与 Notes 与 Exchange 电子邮件集成，使访问者能够访问 Notes 与 Exchange 电子邮件、日历和 联系信息，并且可以列表。通过以上这些 WEB 服务，实现跟踪项目、共享文档、分配任务、 交换思路以及发送信息等目的。使用企业门户能识别出不同项目间的依赖性，将不同项目的 任务和文档合并到各个用户的收件箱，允许员工和顾客突破地域和网络限制协同工作。 C. 业务流程自动控制 门户的业务集成功能使得我们不必为每个业务单元的业务应用都创建业务流程，而是突 破系统限制创建新的业务流程，从而提供整个企业的工作效率。 D. 搜索与分类 通过在企业门户上部署分类搜索功能，确保企业每个 WEB 应用上创建的内容、提交给 项目的文档以及每个业务流程信息都能很快的搜索到。门户系统将提供联合搜索，向访问者 提 供 跨 所 有 知 识 库 轻 松 搜 索 的 能 力 ， 这 些 知 识 库 都 是 虚 拟 内 容 知 识 库 的 一 部 分 ； HTTP, ODBC, 文件搜索，在 Web 页面、数据库和文件系统，自动搜索文件和查找内容；易 于使用的搜索工具，借助自然语言查询、相关性分级、邻近搜索、文档相似性搜索等功能，
    使访问者轻松查找所需内容。 3. 提供先进易用的门户开发和管理支持 A. 开发框架 可视化的程序设计环境，无须 J2EE 知识，就能快速开发门户和门户资源；汇聚开发， 采用简化的开发环境，构建包含业务流程的门户，加快流程门户的提交；门户用户接口控件， 采用预先集成的门户功能件，加快门户开发速度，因为它们可以扩展或修改，以适应登录、 注册、事件、用户、组、角色的功能需要；Java 页面流，采用 Strut 兼容框架，轻松指定不 同 JSP 页面之间的信息流，以及与后台资源之间的连接；门户与门户服务设计器，快速指定 面向交互管理、概况、分段和门户框架等的门户资源；松散耦合门户应用，将开发努力专注 于门户业务逻辑，不必关注构建门户基础结构。 B. 智能化管理 门户组装工具，授权业务部门为新用户快速组装门户；授权管理，利用门户表达、用户 管理、页面和 portlet 授权以及其他管理事务的授权管理，来简化门户管理；基于角色的授 权，利用基于用户概况、会话、时间或 http 请求属性的规则，自动控制对各种门户资源的 访问权限；门户模板，充分利用公司的最佳方案和整个企业的外观和感觉，为开发人员和组 装人员提供标准范围内的灵活性 C. 可修改的提交 多级表达层次结构，为具有特定组或特定角色的桌面和书籍的用户定制门户，这些桌面 或书籍将一系列页面组合为一体门户模板；跨多个页面重复，使用一个 portlet 定义，或者 在一个页面内重复使用某个 portlet，定义多次，以便访问各种不同的内；portlet 之间的通 信，根据用户对一个 portlet 的输入，动态更新所有的 portlet；移动服务，借助浏览器和设 备探测功能、JSP 标记、支持映射的可扩展设备 API，将门户覆盖范围扩展到无线设备。 D. 交互管理 基于规则的个性化，借助隐含和显式的个性化，改善访问者体验，一切均通过浏览器进 行管理；事件与行为跟踪，利用会话和行为事件来适应访问者的需求，定义定制事件，以映 射业务目标；测试与控件提交，在提交到网站之前，测试内容或宣传效果；最终用户定制化， 向门户访问者提供各种工具，以添加个人页面，选择 portlet、布局和门户外观。 E. 日志和监控功能 系统管理员可以浏览系统中所有 Portlet，可以按分类浏览，按名称查询，可以禁用 Portlet。 管理员可以查看 Portal Server 日志，查看系统统计数据，包括每个 Portlet 和每个页面 的点击率。 F. 标准化 支持针对内容的门户标准(JSR 170)和针对 portlet 的门户标准（JSR 168）。 (四) 逐步建立完善的管理信息平台的应用体系 管理信息平台的业务需求可分为三个层面：企业报表、统计分析和决策支持。企业报表 用以实现管理部门的固定业务报表，统计分析用以实现企业的全面的统计分析要求，决策支
    分享到：
    赞 收藏

    相关推荐

    资料库

    信息化

    共收录1827份资料，累计6个分类，关注成员有19位，主要包括：管理软件,企业管理,电子商务,其它,IT管理,项目管理

    热门标签

    管理软件 企业管理 电子商务 其它 IT管理 项目管理

    最新资料