hbase运维参考手册(项目实战)(3)

2018-12-03 19:43

通过CDH提供的检查报告也可以看到hbck的结果,日常只需要看CDH hbck的报告即可:

选择“最近的Hbck结果”:

1.2.2 修复

1.2.2.1 局部的修复

如果出现数据不一致,修复时要最大限度的降低可能出现的风险,使用以下命令对region进行修复风险较低:

1.2.2.1.1 hbase hbck -fixAssignments

修复region没有分配(unassigned),错误分配(incorrectly assigned)以及多次分配(multiply assigned)的问题 1.2.2.1.2 hbase hbck -fixMeta

删除META表里有记录但HDFS里没有数据记录的region 添加HDFS里有数据但是META表里没有记录的region到META表 1.2.2.1.3 hbase hbck -repairHoles

等价于:hbase hbck -fixAssignments -fixMeta -fixHdfsHoles

-fixHdfsHoles的作用:

如果rowkey出现空洞,即相邻的两个region的rowkey不连续,则使用这个参数会在HDFS里面创建一个新的region。创建新的region之后要使用-fixMeta和-fixAssignments参数来使用挂载这个region,所以一般和前两个参数一起使用 1.2.2.2 Region重叠修复

进行以下操作非常危险,因为这些操作会修改文件系统,需要谨慎操作!

进行以下操作前先使用hbck –details查看详细问题,如果需要进行修复先停掉应用,如果执行以下命令时同时有数据操作可能会造成不可期的异常。

1.2.2.2.1 hbase hbck -fixHdfsOrphans

将文件系统中的没有metadata文件(.regioninfo)的region目录

加入到hbase中,即创建.regioninfo目录并将region分配到regionser

1.2.2.2.2 hbase hbck -fixHdfsOverlaps

通过两种方式可以将rowkey有重叠的region合并: 1. merge:将重叠的region合并成一个大的region

2. sideline:将region重叠的部分去掉,并将重叠的数据先写入到临时文件,然后再导入进来。

如果重叠的数据很大,直接合并成一个大的region会产生大量的split和compact操作,可以通过以下参数控制region过大: -maxMerge 合并重叠region的最大数量

-sidelineBigOverlaps 假如有大于maxMerge个数的 region重叠, 则采用sideline方式处理与其它region的重叠.

-maxOverlapsToSideline 如果用sideline方式处理重叠region,最多sideline n个region . 1.2.2.2.3 hbase hbck -repair

以下命令的缩写:

hbase hbck -fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile –sidelineBigOverlaps

可以指定表名:

hbase hbck -repair Table1 Table2

1.2.2.2.4 hbase hbck -fixMetaOnly –fixAssignments

如果只有META表的region不一致,则可以使用这个命令修复 1.2.2.2.5 hbase hbck –fixVersionFile

Hbase的数据文件启动时需要一个version file,如果这个文件丢失,可以用这个命令来新建一个,但是要保证hbck的版本和Hbase集群的版本是一样的 1.2.2.2.6 hbase

org.apache.hadoop.hbase.util.hbck.OfflineMetaRepair 如果ROOT表和META表都出问题了Hbase无法启动,可以用这个命令来创建新的ROOT和META表。

这个命令的前提是Hbase已经关闭,执行时它会从hbase的home目录加载hbase的相关信息(.regioninfo),如果表的信息是完整的就会创建新的root和meta目录及数据 1.2.2.2.7 hbase hbck –fixSplitParents

当region做split操作的时候,父region会被自动清除掉。但是有时候子region在父region被清除之前又做了split。造成有些延迟离线的父region存在于META表和HDFS中,但是没有部署,HBASE又不能清除他们。这种情况下可以使用此命令重置这些在META表中的region为在线状态并且没有split。然后就可以使用之前的修复命令把这个region修复 1.3 手动merge region

进行操作前先将balancer关闭,操作完成后再打开balancer 经过一段时间的运行之后有可能会产生一些很小的region,

需要定期检查这些region并将它们和相邻的region合并以减少系统的总region数,减少管理开销 合并方法:

1. 找到需要合并的region的encoded name 2. 进入hbase shell

3. 执行merge_region ‘region1’,’region2’ 1.4 手动分配region

如果发现台regionServer资源占用特别高,可以检查这台regionserver上的region是否存在过多比较大的region,通过hbase shell将部分比较大的region分配给其他不是很忙的regions server:

move ‘regionId’,’serverName’ 例: move

'54fca23d09a595bd3496cd0c9d6cae85','vmcnod05,60020,1390211132297'

1.5 手动major_compact

进行操作前先将balancer关闭,操作完成后再打开balancer 选择一个系统比较空闲的时间手工major_compact,如果hbase更新不是太频繁,可以一个星期对所有表做一次 major_compact,这个可以在做完一次major_compact后,观看所有的storefile数量,如果storefile数量增加到 major_compact后的storefile的近


hbase运维参考手册(项目实战)(3).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:新学期小学各学科教学进度表及检测安排

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: