Greenplum - 安装指南Linux 迪科内部GP培训资料(GP官方教材),(2)

2019-08-30 13:31

3

一台千兆以太网交换机 1.3 系统环境设置

系统环境的设置,主要包括以下几个方面: ? Linux操作系统级参数 ? 用户及其主目录 ? 网络配置

? 磁盘阵列及文件系统 ? 客户端安全

1.3.1 Linux操作系统级参数

要调整的Linux操作系统能够级参数并不很多,主要是可能影响到Greenplum的打开文件、网络传输性能的参数,主要集中在两个配置文件中。

这些参数调整完成后,需要重新启动系统(建议全部调整完成后启动一次)。

? Greenplum每台Master和Segment主机/etc/sysctl.conf中的下列参数

kernel.shmmax = 500000000 kernel.shmmni = 4096 kernel.shmall = 4000000000 kernel.sem = 250 64000 100 512 net.ipv4.tcp_tw_recycle=1

net.ipv4.tcp_max_syn_backlog=4096

第3页

net.core.netdev_max_backlog=10000 vm.overcommit_memory=2

? Greenplum每台Master和Segment主机/etc/security/limits.conf中的如下

参数:

* soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072

1.3.2 用户及其主目录

在每台Master和Segment主机上,包括两个组用户(gpadmin、gpmon)和两个用户(gpadmin、gpmon)

groupadd gpadmin groupadd gpmon

useradd -g gpadmin -m -d /export/home/gpadmin -s /bin/bash gpadmin useradd -g gpmon -m -d /export/home/gpmon -s /bin/bash gpmon

gpadmin作为后续Greenplum运行的主要组/用户,以root用户安装的程序目录、建立的数据目录等,都需要把Owner移交给Greenplum。

例如:chown -R gpadmin:gpadmin /data/* /usr/local/greenplum-db*

1.3.3 网络配置

Greenplum作为一种MPP架构的数据仓库平台,其网络至少有两部分组成:一个是各个Master主机、Segment主机之间在进行数据库处理时内部的通信网

第4页

络,Greenplum采用基于千兆光纤Ethernet的InterConnect解决方案;另一个是终端业务用户访问Greenplum时和Greenplum之间的通信网络,采用公司的百兆局域网即可。

如下图所示,三台由两个双核CPU、12个硬盘、4个千兆光纤Ethernet端口(Master主机多两个百兆Ethernet口)的服务器组成的Greenplum平台:

注意:其中的网卡名称、IP地址仅作为示例,具体案例中请根据客户整体的网络规划确定。

对于上图示例中的配置,对于Greenplum各个主机的网络配置可以用下表所示的配置,在规划自己的安装前可以参考。

对外NIC 对外Host 对外IP Master nge0:1 rlmdw Segment 1 e1000g0:1 rlsdw1 Segment 2 e1000g0:1 rlsdw2 10.20.20.190 10.20.20.192 10.20.20.193 第5页

Master Segment 1 255.255.0.0 e1000g0 sdw1-1 Segment 2 255.255.0.0 e1000g0 sdw2-1 对外Net Mask 255.255.0.0 NIC 0 Host Name1 IP 1 Net Mask NIC 1 Host Name2 IP2 Net Mask NIC 2 Host Name3 IP3 Net Mask NIC 3 Host Name4 IP4 Net Mask

nge0 mdw-1 172.16.1.190 172.16.1.192 172.16.1.193 255.255.255.0 255.255.255.0 255.255.255.0 nge1 mdw-2 e1000g1 sdw1-2 e1000g1 sdw2-2 172.16.2.190 172.16.2.192 172.16.2.193 255.255.255.0 255.255.255.0 255.255.255.0 e1000g0 mdw-3 e1000g2 sdw1-3 e1000g2 sdw2-3 172.16.3.190 172.16.3.192 172.16.3.193 255.255.255.0 255.255.255.0 255.255.255.0 e1000g1 mdw-4 e1000g3 sdw1-4 e1000g3 sdw2-4 172.16.4.190 172.16.4.192 172.16.4.193 255.255.255.0 255.255.255.0 255.255.255.0 注:后续的安装手册中,基于此示例进行说明。

第6页

1.3.4 磁盘阵列及文件系统

磁盘阵列在数据库服务器中,通常按照用途分为两个部分:一部分是操作系统和Greenplum软件安装的空间,另一部分是存放数据库数据的空间,数据库数据空间对应的磁盘部分,Greenplum数据库空间还可考虑镜像,通常挂在操作系统空间的目录下。

Greenplum的目录架构通常包括如下几个主要部分:

安装环境准备 用户主目录 用户主目录 目录 程序目录 配置文件目录 数据目录 Master环境 /export/home/gpadmin /export/home/gpmon Segment环境 /export/home/gpadmin /export/home/gpmon /usr/local/greenplum-db-3.2.1.0 /usr/local/greenplum-db-3.2.1.0 /usr/local/greenplum-db(链接) /data/gpdb_master/config /data/gpdb_master/gp-1 (数据字典) /data/gpdb_master/config /data/gpdb_p1, /data/gpdb_p2, ?/data/gpdb_m1, /data/gpdb_m2, ? 对于各个主机的每一个磁盘,要在配置前整理好磁盘id和目录的对应关系。 在操作系统一级,建立好磁盘间的镜像关系、目录等,如下边的示例(是Solaris的ZFS中的命令,Linux中要采用类似命令进行):

zpool create -f data \\

mirror c0t0d0 c1t0d0 mirror c0t1d0 c1t1d0 mirror c0t2d0 c1t2d0 \\ mirror c0t3d0 c1t3d0 mirror c0t5d0 c1t5d0 mirror c0t6d0 c1t6d0 \\ mirror c0t7d0 c1t7d0 \\

mirror c4t1d0 c5t1d0 mirror c4t2d0 c5t2d0 mirror c4t3d0 c5t3d0 \\ mirror c4t4d0 c1t4d0 mirror c4t5d0 c5t5d0 mirror c4t6d0 c5t6d0 \\ mirror c4t7d0 c5t7d0 \\

mirror c6t0d0 c7t0d0 mirror c6t1d0 c7t1d0 mirror c6t2d0 c7t2d0 \\ mirror c6t3d0 c7t3d0 mirror c6t4d0 c7t4d0 mirror c6t5d0 c7t5d0 \\ mirror c6t6d0 c7t6d0 mirror c6t7d0 c7t7d0 \\

第7页


Greenplum - 安装指南Linux 迪科内部GP培训资料(GP官方教材),(2).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:10万级别洁净室技术方案

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: