从CentOS安装到Hadoop2.4.0完全分布式配置(3)

2019-05-24 20:18

[html] view plaincopy 1.

2. 3. 4.

5. fs.defaultFS

6. hdfs://192.168.224.100:9000/ 7. 8.

hdfs-site.xml

[html] view plaincopy

1.

2. 3. 4.

5. dfs.namenode.name.dir

6. /home/hadoop/hadoop-2.4.0/hdfs/name 7. 8.

9. dfs.datanode.data.dir

10. /home/hadoop/hadoop-2.4.0/hdfs/data 11. 12.

yarn-site.xml

[html] view plaincopy

1. 2. 3.

4. yarn.nodemanager.log-dirs

5. /home/hadoop/hadoop-2.4.0/yarn/log 6. 7.

slaves

[html] view plaincopy

1. master 2. slave1

如果你比较懒,也可以下载上文提供的网盘中的文件,把它们发送到虚拟机中。方法参考2.4中的step2, 如果要传送整个目录 lcd win中的目录

psftp -r 目录名 新目录名

关于psftp更多相关命令:http://blog.csdn.net/greenzb/article/details/4216128

3.安装配置slave

有两种方法:1.克隆master,修改配置变成slave 2.另外安装一台slave

克隆出来的slave配置与master一模一样,如果想要低配一点的slave,则要另外安装。

3.1另外安装slave

为什么要另外安装这么麻烦?因为楼主的32位2G渣机开两台1G虚拟机时,想开个word写技术文档都得卡得想死啊?(内存都达98%了 T^T显卡过热蓝屏是家常便饭。) 安装步骤与上面基本一致,配置时可以偷偷懒从master机里用scp命令 直接把hadoop文件夹等 复制过去(复制过去后注意文件拥有者是否与master中的一致)

3.2克隆

在VMware中有克隆虚拟机的功能,选中要克隆的虚拟机master, 完整克隆一台slave1,完成后启动slave1 step1 修改主机名: vi /etc/sysconfig/network

[html] view plaincopy

1. NETWORKING=yes 2. HOSTNAME=master

step2 修改网络配置:

执行:vim /etc/udev/rules.d/70-persistent-net.rules 把eth1改成eth0, 记下ATTR{address} 执行:vi /etc/sysconfig/networking/devices/ifcfg-eth0 修改:IPADDR=192.168.224.71

修改:HWADDR= 上面记下的ATTR{address}(或者在虚拟机设置中选中“网络适配器”-》“高级” 得到MAC地址) 执行: reboot 重启

重启后ping www.http://m.njliaohua.com/ 看一下是否能ping通,ping 不通说明网络没配置好

ping不通时: vim /etc/udev/rules.d/70-persistent-net.rules 看一下什么情况,如果多一行eth1 即eth0 eth1都有的情况,把eth0那行删了,eth1改成eth0,再修改ifcfg-eth0把物理地址改成与上面配置中的eth0一致

4.设置SSH无密码登录

step1:打开两台虚拟机,登录到master中,执行如下命令: ssh

如果提示Bash : ssh command not found 则

yum install openssh-clients

安装openssh安装完成后换成hadoop身份登录执行如下命令:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys scp ~/.ssh/id_dsa.pub slave1:~/.ssh/authorized_keys

中间可能需要输入密码 ,按提示输入即可。

然后记得修改文件权限

修改 authorized_keys 权限为600

chmod 600 /home/hadoop/.ssh/authorized_keys

现在分别执行如下命令 ssh localhost ssh slave1

不需要再输入密码就对了。如果仍然不成功:tail /var/log/secure -n 20 查看登录日志

5.启动Hadoop

执行HDFS格式化命令:

hadoop namenode -format

在master虚拟机中

sh /hadoop/hadoop-2.4.0/sbin/start-all.sh

jps 查看进程

应该有如下进程

ok,搞定!


从CentOS安装到Hadoop2.4.0完全分布式配置(3).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:2017年仪器系毕业设计题目汇总表 - 图文

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: