在centos7下正确安装伪分布hadoop2.7.2和配置eclipse(3)

2. Shell 命令 ite. xml 然后再进行编辑，同样使用 gedit 编辑会比较方便些 gedit ./etc/hadoop/mapred-site.xml ： 1. 2. 3. 4. 5. 6. XML mapreduce.framework.name yarn 接着修改配置文件 yarn-site.xml： 1. 2. 3. 4. 5. 6. XML yarn.nodemanager.aux-services mapreduce_shuffle 然后就可以启动 YARN 了（需要先执行过 ./sbin/start-dfs.sh）： 1. 2. sbin/start-yarn.sh $ 启动YARN sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器，才能在Web中查看任务运行情况 Shell 命令 开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示。 开启YARN

启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况：http://localhost:8088/cluster

如果datanode或namenode没有启动，删除temp文件，则存储的文件全部丢失。

使用Eclipse编译运行MapReduce程序

Hadoop2.6.0_Ubuntu/CentOS

?

2014-10-10 (updated: 2016-05-22) 39698 140 本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序，在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序，但毕竟编写代码不方便。使用 Eclipse，我们可以直接对 HDFS 中的文件进行操作，可以直接运行代码，省去许多繁琐的命令。本教程由厦门大学数据库实验室出品，转载请注明。 ?

环境

本教程在 Hadoop 2.6.0 下验证通过，适用于 Ubuntu/CentOS 系统，理论上可用于任何原生 Hadoop 2 版本，如 Hadoop 2.4.1，Hadoop 2.7.1。 本教程主要测试环境：

Ubuntu 14.04

? Hadoop 2.6.0（伪分布式） ? Eclipse 3.8 此外，本教材在 CentOS 6.4 系统中也验证通过，对 Ubuntu 与 CentOS 的不同配置之处有作出了注明。

?

?

安装 Eclipse

在 Ubuntu 和 CentOS 中安装 Eclipse 的方式有所不同，但之后的配置和使用是一样的。

在 Ubuntu 中安装 Eclipse，可从 Ubuntu 的软件中心直接搜索安装，在桌面左侧任务栏，点击“Ubuntu软件中心”。

Ubuntu软件中心

在右上角搜索栏中搜索 eclipse，在搜索结果中单击 eclipse，并点击安装。

安装Eclipse

等待安装完成即可，Eclipse 的默认安装目录为：/usr/lib/eclipse。

在 CentOS 中安装 Eclipse，需要下载安装程序，我们选择 Eclipse IDE for Java Developers 版：

32位: http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX32 ? 64位: http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX64 下载后执行如下命令，将 Eclipse 安装至 /usr/lib 目录中： ? 1. sudo tar -zxf ~/下载/eclipse-java-mars-1-linux-gtk*.tar.gz -C /usr/lib Shell 命令 解压后即可使用。在 CentOS 中可以为程序创建桌面快捷方式，如下图所示，点击桌面右键，选择创建启动器，填写名称和程序位置（/usr/lib/eclipse/eclipse）： 安装Eclipse ?

安装 Hadoop-Eclipse-Plugin

要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin，可下载 Github 上的 hadoop2x-eclipse-plugin（备用下载地址：http://pan.http://m.wodefanwen.com//s/1i4ikIoP）。 下载后，将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar （还提供了 2.2.0 和 2.4.1 版本）复制到 Eclipse 安装目录的 plugins 文件夹中，运行 eclipse -clean 重启 Eclipse 即可（添加插件后只需要运行一次该命令，以后按照正常方式启动就行了）。 1. unzip -qo ~/下载/hadoop2x-eclipse-plugin-master.zip -d ~/下载 # 解压到 ~/下载 中 2. sudo cp ~/下载/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/ # 复制到 eclipse 安装目录的 plugins 目录下 3. /usr/lib/eclipse/eclipse -clean # 添加插件后需要用这种方式使插件生效 第一个eclipse是文件夹，第二个是软件