logo资料库

Greenplum手册.doc

发布时间：2022-06-14 发布人：admin 分类：说明书 资料大小：0.72M 资料格式：doc 举报 版权申诉
第1页 / 共31页
第2页 / 共31页
第3页 / 共31页
第4页 / 共31页
第5页 / 共31页
第6页 / 共31页
第7页 / 共31页
第8页 / 共31页
资料共31页，剩余部分请下载后查看
    1.文档概述
    1.1.适用范围
    1.2.文档说明
    2.安装前准备
    2.1.网络规划
    2.2.交换机网络端口访问关系规划
    2.3.数据库实例数量规划
    2.4.数据库primary和Mirror实例对应关系规划
    2.5.数据库实例端口规划
    2.6.检查安装条件是否具备
    3.安装介质
    3.1.Greenplum 安装介质
    3.2.Perl DBD 接口安装介质
    3.3.系统辅助工具
    3.4.自定义函数库
    4.在master 服务器安装GP软件
    5.修改操作系统参数配置
    5.1.修改root用户环境变量配置
    5.2.Root用户建立SSH多机互信
    5.3.修改/etc/hosts 文件
    5.4.修改RedHat系统参数
    5.4.1.修改系统参数/etc/sysctl.conf
    5.4.2.修改用户资源限额参数/etc/security/limits.conf
    5.4.3.修改硬盘预读参数
    5.4.4.修改硬盘调度算法及Hugepage 参数
    5.4.5.修改系统运行级别为3
    5.4.6.集群NTP服务时钟同步配置
    5.4.7.ssh服务参数调整
    5.4.8.关闭SELinux
    5.5.关闭不需要的服务
    5.5.1.防火墙
    5.5.2.其他需要关闭的服务
    5.6.启动IPMI服务(所有节点)
    5.7.重启所有服务器
    6.创建用户及数据目录
    6.1.创建数据目录
    6.2.创建gpadmin和gpmon用户
    6.3.gpadmin建立SSH 多机互信
    6.4.修改gpadmin用户环境变更配置
    7.其它Segment节点安装GP软件
    8.数据库初始化
    8.1.数据库初始化配置文件
    8.2.初始化primary、master以及standby master节点
    8.3.初始化mirror
    8.4.数据库参数设置
    9.创建默认数据库及文件空间
    9.1.创建默认数据库
    9.2.创建文件空间
    10.创建Oracle兼容函数
    11.系统schema授权
    12.修改数据库访问权限
    13.部署自定义SO函数库
    14.安装gpperfmon agent
    15.安装Perl的DBI包
    16.安装辅助系统运维相关工具
    17.安装Command Center （可选）
    18.基准性能测试
    19.后续工作
    删除[Windows]: 中国建设银行 删除[Windows]: 中国建设银行北京数据中心 GP 安装部署实施工艺 版本：V1.1 内部资料 注意保密
    文档信息 标题 创建日期 打印日期 文件名 存放目录 所有者 作者 修订记录 日期 2016－08－01 《GP 安装部署实施工艺》 2016－08－01 GP 安装部署实施工艺.doc 删除[Windows]: 删除[Windows]: 2014 删除[Windows]: 04 删除[Windows]: 10 描述 整理并修订成通用标准 作者 隋景鹏 删除[Windows]: 2015-06-23 删除[Windows]: 步骤 修改安装部署 Greenplum 实施工艺相关 删除[Windows]: 韦昌勇 内部资料 注意保密 1
    1. 文档概述 1.1. 适用范围 删除[Windows]: 本文档适用于为 GP4.2.X 、GP4.3.X 版本的数据库的软件安装和初始化配置提供指引。 1.2. 文档说明 本文档详细说明 GP4.2.X /GP4.3.X 版本的数据库安装和初始化过程。本文档不包括硬件环境的 安装配置和服务器操作系统的安装设置，本文档的安装实施工艺是基于硬件基础环境已准备就绪， 且服务器已完成操作系统安装、网络配置、服务器名称设置、RAID 及文件系统划分等操作的基础 之上。 关 于 硬 件 基 础 环 境 及 操 作 系 统 安 装 配 置 的 相 关 要 求 ， 请 参 考 文 档 《 数 据 库_ 安 装 部 署 _Greenplum(安装配置)》。 2. 安装前准备 2.1. 网络规划 Greenplum 数据库是一个分布式数据库系统，在安装前，需详细规划好集群的网络拓扑结构， 详见《数据库_安装部署_GreenPlum（安装配置）_V1.1》。 Greenplum 数据库系统常见的拓扑图如下图所示： 2 内部资料 注意保密
    由 Master 主机和 Segment 主机组成。Master 主机和 Segment 主机之间会组成一个内部网络 （LAN）。为了充分发挥 Greenplum 数据库并行处理的性能，对网络带宽要求较高。服务器会配置 多个网卡，内部网形成一个高速互联内部网络，用于服务器节点之间交换数据。需要对外连接的服 务器需配置外部 IP。 建议在 Greenplum 数据库系统安装之前，把网络配置规划好。 2.2. 交换机网络端口访问关系规划 从 ETL 服务器和应用服务器连接 GP 集群的服务器，要求所有 TCP 端口都放开。某些情况下， 需要从 ETL 服务器或应用服务器连接 GP 集群的服务器，连接方式为 TCP，GP 集群服务器的端口 采用自动分配的方式分配，因此，GP 集群服务器只要有空闲的 TCP 端口，都可能会被分配。交换 机上如果禁用了任何 TCP 端口，都会导致无法建立这种连接。 ETL 服务器和应用服务器到 GP 集群所有服务器之间的网络端口访问关系，由于防病毒的需要， 限制了部分端口的访问关系，具体禁用的端口，参考附件《工作表 在 数据中心网络安全技术规范 V1.0-20140717.xls》。 配置 GP 集群之前，需要提前申请放开从 ETL 服务器、应用服务器到 GP 集 群服务器之间的这些防病毒端口。 工作表 在 数据中心网络安全技术规范V1.0-20140717.xls 内部资料 注意保密 3
    2.3. 数据库实例数量规划 规划每个 Segment 服务器上建立的数据库实例的数量（instance 数量），通常建议每 2 个 CPU 内 核（core）对应一个数据库实例。 在某行的安装环境中，结合我们实际测试，实例数建议统一采用 4p+4m（即每台机器上有 8 个 计算实例，包括 4 个 primary 以及 4 个 mirror）的方式。 删除[Windows]: 建行 2.4. 数据库 primary 和 Mirror 实例对应关系规划 我行使用如下的实例部署方式： 1）每台机器为 4p+4m； 2）p 和 m 分机柜部署，两个机柜的每 2 台机器做一组互相对应关系； 3）每台机器划分 2 个 RAID 组，采用 XFS 文件系统，分别挂载到/data1,/data2 目 录； 4）每两个 primary 为一组，分别放到/data1,/data2 目录下； 5）每两个 primary 为一组，其对应的 m 放到另一个机柜对应的机器上。对应方法 是机柜 1 的 1，2 号服务器的 mirror 交叉分布在机柜 2 的 1，2 服务器上，其他机器以 此类推。示意图如下： 同样，机柜 2 的 Primary 实例按同样规则分布在机柜 1 的服务器上，完整的实例分布如下图： 删除[Windows]: 机构 4 内部资料 注意保密
    两个实例为一组，down 掉一台机器后，由于对应的 mirror 打散在两台机器上，负载理 论上增加 50%，另一个机柜有 2 台服务器成为单点；如下图所示： 在 down 掉一个机柜后，负载理论上增加 100%，集群可用性不受影响。 2.5. 数据库实例端口规划 需提前规划好 GP 数据库所需要的各 个网络端口，并在网络设置上开 通相关端口的访问 权限。 端口号可根据实际情况进行更改调整，特别注意不要与操作系统等应用程序的端口号冲 突。以下是一般情况下我们所采用的端口号配置： 端口名称 默认值 说明 内部资料 注意保密 5
    数据库对外服务端口 5432 Master instance 的对外服务端口 Primary instance 服务端口 40000-40003 主实例服务端口，每个实例需要一个 Mirror instance 服务端口 50000-50003 镜像实例服务端口，每个实例需要一 个 Primary instance 数据同步端口 41000-41003 主 实 例 和 镜 像 实 例 同 步 数 据 需 要 的 端口 Mirror instance 数据同步端口 51000-51003 镜 像 实 例 到 主 实 例 的 数 据 同 步 需 要 的端口 2.6. 检查安装条件是否具备 检查集群的服务器是否满足下列要求： 1）所有节点可以互相 ping 通； 2）所有节点都可以通过 ssh 互相登陆； 3）是否每台服务器都设置了 RAID 且设置正确，并创建 XFS 文件系统/data1,/data2； 4）网络性能及磁盘读写性能（详见《数据库_安装部署_GreenPlum（安装配置）_V1.1》里的 3.3-服务器硬件配置）。 3. 安装介质 安装 Greenplum 软件之前，请准备好以下安装介质： 3.1. Greenplum 安装介质 名称 安装文件 备注 Greenplum 主安装包 greenplum-db-4.3.X.X-build-1-RHEL5- 安装前请先确定所要安 x86_64.zip Greenplum Web Monitor 工具安装包 greenplum-cc-web-1.3.0.0-build-91-RH EL5-x86_64.zip 装的具体版本。 在 Master 服务器安装 同上 6 内部资料 注意保密
    Greenplum clients 安 装 greenplum-clients-4.3.X.X-build-4-RHE 在 ETL 服务器中安装 包 Greenplum 数据加载工 具 L5-x86_64.zip greenplum-loaders-4.3.X.X-build-2-RH EL5-x86_64 在 ETL 服务器中安装 3.2. Perl DBD 接口安装介质 因为部分客户开发的监控工具使用 DBD 访问 GP，因此需在 master 服务器安装相关 DBD 接口组件（根据实际情况选择安装）： 安装介质 postgresql-libs-8.4.13-1.el6_3.x86_64.rpm perl-DBD-Pg-2.15.1-4.el6_3.x86_64.rpm perl-DBI-1.609-4.el6.x86_64.rpm perl-DBIx-Simple-1.32-3.el6.noarch.rpm 3.3. 系统辅助工具 安装介质 Gpbin.zip ompat-readline5-5.2-17.1.el6.x86_64.rpm hpacucli-9.40-12.0.x86_64.rpm Lib_Utils-1.00-09.noarch.rpm MegaCli-8.07.08-1.noarch.rpm 3.4. 自定义函数库 说明 在 master 服务器安装 在 master 服务器安装 在 master 服务器安装 在 master 服务器安装 说明 包 含 GP 常 用 的 系 统 管 理 工 具 ， 包 括 nmon,allsql,bbcp,ifstat,packcore,allgp 等等。 支持显示命令行历史的补丁 HP 服务器的磁盘检查工具 IBM 服务器的磁盘检查工具 以下介质，请联系 GP 项目组获取最新版本。 安装介质 date2.so dump.so 内部资料 注意保密 说明 自定义的日期转换函数库 自定义的数据备份恢复函数库 7
    分享到：
    赞 收藏

    相关推荐

    资料库

    开发技术

    共收录19306份资料，累计14个分类，关注成员有19位，主要包括：Actionscript,Javascript,PHP,VB,Perl,Delphi,Python,C#,C,Java,C++,Web开发,硬件开发,其它

    热门标签

    Actionscript Javascript PHP VB Perl Delphi Python C# C Java C++ Web开发 硬件开发 其它

    最新资料