GPFS for Linux 安装实施

GPFS 实施

1. Linux平台实施

Linux需要的包： Kernel-devel gcc gcc++ libstdc++ ...

场景方案：在虚拟机上安装2台RedHat 5 linux，系统分配8G硬盘，令每台节点分配2个2G的硬盘具体规划如表： 节点名 Node1 Node2 操作系统版本 硬盘 Redhat5 /dev/hda/dev/hdb RedHat5 /dev/hda 、集群名 gpfscluster gpfscluster NSD名 Gpfsnsd1 Gpfsnsd1 NsdServer Node1 Node1 1.1 在每个节点上安装GPFS软件包

tar -zxcvf解压gpfs-3.4.0-6.x86_64.tar.gz生成

gpfs.base

gpfs.msg.en_US gpfs.docs gpfs.gp 安装所有的rpm软件包，并升级补丁。

使用 rpm -qa|grep gpfs检查GPFS软件安装情况

1.2 编译GPFS软件

cd /usr/lpp/mmfs/src make Autoconfig make World

make InstallImages

1.3 添加GPFS命令环境变量

最后添加一行

PATH=$PATH:/usr/lpp/mmfs/bin

1.4 配置主机ssh信任通信。

以下命令分别在node1和node2上都执行一遍 #ssh-keygen -t dsa

在node1上执行以下命令

#cat ~/.ssh/id_dsa.pub > ~/.ssh/authorized_keys

#ssh node2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #scp ~/.ssh/authorized_keys node2:~/.ssh/authorized_keys 测试两个节点的连接等效性 #ssh node1 date #ssh node2 date

1.5 建立集群

1.5.1 在node1上创建集群

建立文件/tmp/gpfs.nodes内容为： node1:quorum-manager node2:quorum-manager

执行命令：

/usr/lpp/mmfs/bin/mmcrcluster -n /tmp/gpfs.nodes -p node1 -s node2 -r /usr/bin/ssh -R /usr/bin/scp

1.5.2 显示集群信息

mmlscluster

GPFS cluster information ======================== GPFS cluster name: node1

GPFS cluster id: 13882348004399855353 GPFS UID domain: node1

Remote shell command: /usr/bin/ssh Remote file copy command: /usr/bin/scp

GPFS cluster configuration servers: ----------------------------------- Primary server: node1 Secondary server:

Node Daemon node name IP address Admin node name Designation 1 node1 10.3.464.24 node1 quorum-manager 2 node2 10.3.464.25 node2 quorum-manager

1.5.3 License授权

mmchlicense server -N node1,node2

1.6 创建NSD

1.6.1 使用mmcrnsd创建NSD

建立文件/tmp/gpfs.nsd，内容为： hdb:node1,node2::dataAndMetadata:1

注意：如果是AIX，那么hdb的格式要写成/dev/hdiskx的方式，而且必须是serverlist的第一个机器上的hdisk编号。 执行命令

mmcrnsd -F /tmp/gpfs.nsd -v yes

1.6.2 显示NSD

mmlsnsd -m

Disk name NSD volume ID Device Node name Remarks -------------------------------------------------------------------------------

nsd C0A801F54A9B3732 /dev/hdb node1 primary node nsd C0A801F54A9B3732 /dev/hdb node2

1.7 创建仲裁盘

创建仲裁盘

#mmchconfig tiebreakerDisks=”nsd;gpfs2nsd”

注：指定多块磁盘为仲裁盘时用“”将NSD磁盘名括上，用分号分割。 调整Pagepool大小

#mmchconfig pagepool=512M

设置dataStructureDump

#mmchconfig dataStructureDump=/tmp/mmfs 查看GPFS配置信息 #mmlsconfig

1.8 启动GPFS集群

mmstartup -a

Mon Aug 31 10:37:48 CST 2009: mmstartup: Starting GPFS ...

1.9 查看GPFS集群状态

mmgetstate -a

Node number Node name GPFS state ------------------------------------------

1 node1 active 2 node2 active

1.10 创建文件系统

#mmcrfs /gpfs gpfsdev -F /tmp/gpfs.nsd -A yes -B 1024K -v yes

注：/gpfs为挂载点，会自动创建，不需要手工建。gpfsdev为设备名。

确认文件系统正确建立 #more /etc/fstab ………………………

/dev/gpfsdev /gpfs gpfs rw,mtime,atime,dev=gpfsdev,noauto 0 0

1.1 修改文件系统 1.1.1 添加NSD

#mmadddisk /dev/gpfs_stage 1nsd

1.1.1 减少NSD

#mmdeldisk /dev/gpfs_stage

1.1.2 查看GPFS文件系统中每个NSD的属性

mmlsdisk /dev/gpfs_stage

1.1.1 修改GPFS文件系统中NSD的属性

mmchdisk gpfsdev -d \

1.1.2 Online GPFS文件系统中的NSD

mmchdisk gpfsdev start -d \文件系统>nsd;gpfs2nsd \

2. 添加新节点

在node1上将node3加到集群中。 mmaddnode -N node3:quorum

3. 修改节点属性(IP)

3.1修改节点使用的网卡或者IP地址

mmchnode --daemon-interface=<新IP> <节点名>

4. 修改GPFS的网段

1. 2. 3. 4.

每个机器最好配置有双网卡，配置有双IP网络，将第二网络添加为GPFS的subnets。 修改所有主机的/etc/hosts，将主机名对应到目标IP网络上。 然后mmchnode --daemon-interface=<新IP> -N <节点>逐一修改。 mmlscluster确认修改成功。

5. 配置GPFS复制

配置备盘:

创建文件：/tmp/nsdfailuregroup2.txt内容如下： sdb:node3::dataAndMetadata:2 sdb:node3::descOnly:3

创建nsd:

mmcrnsd -F /tmp/nsdfailuregroup2.txt

添加到GPFS文件系统

mmadddisk -F /tmp/nsdfailuregroup2.txt

修改gpfs文件系统复制属性： mmchfs -r 2 -m 2 配置本地读优先

mmchconfig readReplicaPolicy=local 进行一次强制复制

mmrestripefs –R 进行一次故障恢复数据平衡

mmrestripefs -b -N all

6. 开机后自动启动 GPFS

mmchconfig autoload=yes