实践专周设计报告

电子科技大学成都学院云计算系

实践专周设计报告

课 程 名 称：基于Hadoop2.0并行数据处理应用 指导 教师 组： 邹倩颖 王小芳 组长学号姓名： 1341310131 屈太源 组员学号姓名： 1341310120 冯小丹 组员学号姓名： 1341310726 张 瑜

云计算科学与技术系制

2015年12月

目 录

目 录

第1章 引 言 ................................................................................................................... 1 1.1 问题分析 ....................................................................................................................1 1.2 设计目标 ....................................................................................................................1 1.2.1 基本功能 .................................................................................................................1 1.2.2 扩展功能 .................................................................................................................2 1.3 设计思路 ....................................................................................................................2 1.4 功能描述 ....................................................................................................................2 1.5 设计过程 ....................................................................................................................3 第2章 相关技术简介 ..................................................................................................... 4 2.1 Hadoop平台介绍 .......................................................................................................4 2.2 MapReduce并行程序设计 .........................................................................................4 2.2.1 Map函数 ..................................................................................................................4 2.2.2 Reduce函数 .............................................................................................................5 2.2.3 MapReduce计算模型的优化 ..................................................................................5 2.3 HDFS简介 ..................................................................................................................6 2.3.1 HDFS节点 ...............................................................................................................6 2.3.2 关于NameNode ......................................................................................................6 2.3.3 关于DataNode及体系结构图 ...............................................................................7 第3章 环境搭建过程详述 ............................................................................................. 8 3.1 搭建hadoop伪分布的环境 ......................................................................................8 3.2 设置ssh免密码登本地 .............................................................................................8 3.2.1 创建一个wifi ..........................................................................................................8 3.2.2 配置jdk ...................................................................................................................9 3.2.3 配置hadoop ............................................................................................................9 3.2.4 测试hadoop是否搭建成功 .................................................................................12 第4章 MapReduce并行设计实现 ............................................................................... 13 4.1 第一案例要求 ..........................................................................................................13 4.2 核心代码1 ...............................................................................................................13 4.3 第二案例要求 ..........................................................................................................16

I

目 录

4.4 核心代码2 ...............................................................................................................16 第5章 测试和总结 ....................................................................................................... 20 5.1 集群测试和调试 ......................................................................................................20 5.2 集群系统存在的问题及解决方案 ..........................................................................20 5.3 收获及心得体会 ......................................................................................................21 参考文献 ......................................................................................................................... 22 致谢 ................................................................................................................................. 23

II

第1章 引 言

第1章 引 言

1.1 问题分析

Hadoop是Apache软件基金会旗下的一个开源分布式计算机平台。以Hadoop分布式文件系统HDFS和MapReduce为核心的Hadoop为用户提供了系统底层细节透明的分布式架构。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。

1.2 设计目标

1.2.1 基本功能

Hadoop集群环境具体搭建工作，需要调用jps命令，启动5个服务进程，完

成Eclipse环境搭建。

图1-1 集群搭建

1