第4章 MapReduce并行设计实现
conf = new Configuration();
conf.addResource(new Path(\conf.addResource(new Path(\conf.addResource(new Path(\conf.addResource(new Path(\// conf.addResource(new Path(\
public static class MyMapper extends Mapper
private Text valueInfo = new Text(); private Text keyInfo = new Text(); private FileSplit split;
public void map(Object key, Text value, Context context)//
throws IOException, InterruptedException {
// 获取
StringTokenizer stk = new StringTokenizer(value.toString()); while (stk.hasMoreElements()) {
// key值由（单词：URI）组成 keyInfo.set(stk.nextToken()
+
\
+
split.getPath().toString());
// 词频
17
电子科技大学成都学院实践专周设计报告
valueInfo.set(\
context.write(keyInfo, valueInfo);
public static class MyCombiner extends Reducer
Text info = new Text();
public void reduce(Text key, Iterable
contex)// //
throws IOException, InterruptedException {
throws IOException, InterruptedException {
int sum = 0;
for (Text value : values) {
sum += Integer.parseInt(value.toString());
int splitIndex = key.toString().indexOf(\// 重新设置value值由（URI+:词频组成）
info.set(key.toString().substring(splitIndex + 1) + \+ sum); key.set(key.toString().substring(0, splitIndex)); contex.write(key, info);
public static class MyReducer extends Reducer
private Text result = new Text();
public void reduce(Text key, Iterable
18
第4章 MapReduce并行设计实现
//生成文档列表
String fileList = new String(); for (Text value : values) {
fileList += value.toString()+\ result.set(fileList); context.write(key, result);
19
电子科技大学成都学院实践专周设计报告
第5章 测试和总结
5.1 集群测试和调试
图5-1 主节点
图5-2 从节点
图5-3 从节点
5.2 集群系统存在的问题及解决方案
问题：1）在搭建集群环境将配置文件修改完之后，master主节点jps后
20
第5章 测试和总结
SecondaryNmaeNode没有显示出来。
解决方案：主节点和两个重节点的yarn-env.sh文件修改不一致，修改一直之后金jps就能显示出来NameNode,ResourceMananger, SecondaryNmaeNod。
问题：2）在master主节点上安装好ecplise环境后，HDFS的数据传输不能够加载出来。
解决方案：两个slaver节点的core-site.xml的文件配置要成主节点master的IP，同时格式化与停止三个节点服务器，后将创建的临时文件夹彻底删除，再将三个服务器开启，HDFS的数据传输才能加载出来，也可以用命令hadoop fs –put 传文件。
解决办法：在/usr/java/hadoop/目录下，输入命令：chown -R hadoop：hadoop（用户名：用户组）tmp（文件夹）即可。
5.3 收获及心得体会
通过这次实践专周，我们小组在邹倩颖和王小芳老师的悉心指导下，很快的就完成了此次实验，在实验中我们小组遇到了很多的问题，并且及时通过老师的帮住解决了问题，虽然我们现在的知识结构体系很差，但是我们知道，只要肯学，肯付出，总有一天我们会收获到我们想要的一切。其次要感谢身边的同学给予我们小组的帮助，使我们共同进步！
21