2013-09-29 14:30:13,238 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 5 on 60020: starting
2013-09-29 14:30:13,239 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 6 on 60020: starting
2013-09-29 14:30:13,239 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 7 on 60020: starting
2013-09-29 14:30:13,239 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 8 on 60020: starting
2013-09-29 14:30:13,239 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 9 on 60020: starting
2013-09-29 14:30:13,239 INFO org.apache.hadoop.ipc.HBaseServer: REPL IPC Server handler 0 on 60020: starting
2013-09-29 14:30:13,240 INFO org.apache.hadoop.ipc.HBaseServer: REPL IPC Server handler 1 on 60020: starting
2013-09-29 14:30:13,240 INFO org.apache.hadoop.ipc.HBaseServer: REPL IPC Server handler 2 on 60020: starting
2013-09-29 14:30:13,244 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Serving as datanode5,60020,1380436211922, RPC listening on datanode5/192.168.3.15:60020, sessionid=0x4167bb09210000
2013-09-29 14:30:13,244 INFO org.apache.hadoop.hbase.regionserver.SplitLogWorker: SplitLogWorker datanode5,60020,1380436211922 starting
2013-09-29 14:30:13,245 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Registered RegionServer MXBean ...skipping...
2013-09-29 14:30:13,226 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server Responder: starting
2013-09-29 14:30:13,226 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60020: starting
2013-09-29 14:30:13,234 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 0 on 60020: starting
2013-09-29 14:30:13,234 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 1 on 60020: starting
2013-09-29 14:30:13,234 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 2 on 60020: starting
2013-09-29 14:30:13,234 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 3 on 60020: starting
2013-09-29 14:30:13,235 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 4 on 60020: starting
2013-09-29 14:30:13,235 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 5 on 60020: starting
2013-09-29 14:30:13,235 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 6 on 60020: starting
2013-09-29 14:30:13,235 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 7 on 60020: starting
2013-09-29 14:30:13,236 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 8 on 60020: starting
2013-09-29 14:30:13,239 INFO org.apache.hadoop.ipc.HBaseServer: REPL IPC Server handler 0 on 60020: starting
2013-09-29 14:30:13,240 INFO org.apache.hadoop.ipc.HBaseServer: REPL IPC Server handler 1 on 60020: starting
2013-09-29 14:30:13,240 INFO org.apache.hadoop.ipc.HBaseServer: REPL IPC Server handler 2 on 60020: starting
2013-09-29 14:30:13,244 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Serving as datanode5,60020,1380436211922, RPC listening on datanode5/192.168.3.15:60020, sessionid=0x4167bb09210000
2013-09-29 14:30:13,244 INFO org.apache.hadoop.hbase.regionserver.SplitLogWorker: SplitLogWorker datanode5,60020,1380436211922 starting
2013-09-29 14:30:13,245 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Registered RegionServer MXBean
如果在上述操作没有在30分钟之内恢复。请启动应急预案中的集群主备切换操作 具体操作方法请参照《HDQS-AM-004历史数据查询系统应急处理手册》
2.4.11、磁盘故障报警-管理节点
当出现管理节点磁盘故障时，因为管理节点磁盘创建的是RAID5模式，RAID5可以允许一块磁盘的损坏，而不会造成数据的丢失。
管理节点磁盘故障时，syslog不会上传日志，只能通过人工查看物理服务器磁盘状态灯来进行查看。
故障排除方法：
第一步：定位故障磁盘
第二步：使用hp服务器自带的远程管理功能，ILO模式登录，查看故障磁盘，并直接更换磁盘，重新rebulid RAID组。完成rebulid即可。
2.4.12、磁盘故障报警-数据节点
数据节点磁盘系统盘创建的是RAID1，数据存储盘创建的RAID0， 当系统盘报错时按照如下操作： 第一步：定位故障磁盘
第二步：使用hp服务器自带的远程管理功能，ILO模式登录，查看故障磁盘，并直接更换磁盘，重新rebulid RAID组。完成rebulid即可。 当出现数据盘损坏时：
现象描述：服务器磁盘状态灯显示红色，或者服务器系统日志报IO错误。 确认方法：登录到系统查看系统日志 cd /var/log下
tail -200f messages //查看最近200条日志信息 或使用demsg功能查看
排除方法:
第一步：登录到服务器，首先将服务器所运行的服务关闭 当上地和酒仙桥node4节点数据磁盘故障时：
该节点运行着：datanode节点，运行着datanode服务，tasktracker服务，regionserver服务，journalnode服务 逐一关闭服务：
/opt/hbase/bin/hbase-daemon.sh stop regionserver
/opt/hadoop-mr1/bin/hadoop-daemon.sh stop tasktracker /opt/hadoop/sbin/hadoop-daemon.sh stop datanode /opt/hadoop/sbin/hadoop-daemon.sh stop journalnode 当上地snode1节点或酒仙桥snode3节点数据磁盘故障时 逐一关闭服务：
/opt/hbase/bin/hbase-daemon.sh stop regionserver
/opt/hadoop-mr1/bin/hadoop-daemon.sh stop tasktracker /opt/hadoop/sbin/hadoop-daemon.sh stop datanode /opt/zookeeper/bin/zkServer.sh stop
第二步：将故障磁盘拔出，更新磁盘，重新启动服务器，进入到HP管理控制卡界面，将新插入的磁盘创建为raid0； 之后正常启动服务器系统
第三步：将新的磁盘创建新的分区：例如fdisk /dev/sde按提示逐一创建 格式化新的磁盘：mkfs.ext3 /dev/sde1
挂载新盘到挂载点：mount /dev/sde1 /data3
使用root用户更改文件夹权限：chown –R hadoop:hadoop /data3 第四步：重新启动hadoop服务组件
opt/hadoop/sbin/hadoop-daemon.sh start datanode
/opt/hadoop-mr1/bin/hadoop-daemon.sh start tasktracker /opt/hbase/bin/hbase-daemon.sh start regionserver
第五步：查看服务状态；使用jps即可查询状态信息。
2.4.13、数据节点故障维护
现象描述：syslog日志告警，同时打开http://10.1.242.182:50070连接，存储空间减少一个节点容量，Dead nodes有显示死掉的机器。
确认方法：节点故障，需要人为查询，确认是由于网络引起还是机器死机，再者服务down机，如果服务down机，直接参照datanode服务排除方法即可。如果是网络或者是死机造成的需要人员干预查询。 排除方法：
例如网络故障引起的告警
第一步：排查网络故障原因，是网线问题还是网卡端口问题。 第二步：网络畅通之后，节点自动添加入集群，无需做任何操作 例如硬件故障导致服务不能正常启动 第一步：修复故障的服务器
第二步：重启机器，逐一开启hadoop服务即可 opt/hadoop/sbin/hadoop-daemon.sh start datanode