第2章 简介技术相关
记录每个文件数据块在各个DataNode上的位置和副本信息。 协调客户端对文件的访问 。
记录命名空间内的改动或空间本身属性的改动 。
使用事务日志记录HDFS元数据的变化。使用映像文件存储文件系统的命名空间，包括文件映射，文件属性等。 2.3.3 关于DataNode及体系结构图
负责所在物理节点的存储管理 一次写入，多次读取（不修改）
文件由数据块组成，典型的块大小是64MB 数
图2-3 HDFS结构图
7
电子科技大学成都学院实践专周设计报告
第3章 环境搭建过程详述
3.1 搭建hadoop伪分布的环境
配置jdk，进入在存放jdk文件夹的当前目录，将解压好的jdk1.7.0_10文件夹用最高权限复移动到/usr/lib/jvm目录里，此时即使没有jvm目录也可以执行如下命令，jvm文件夹将得到创建。
3.2 设置ssh免密码登本地
3.2.1 创建一个wifi
查看创建好wifi的IP ： ifconfig 安装SSH
sudo apt-get install openssh-server 将ip地址和主机映射写入hosts文件中 找到/etc/hosts，进行编辑 sudo vim /etc/hosts
生成公钥密钥，将公钥复制为authorized_keys,并且修改权限为600 执行如下命令 ssh-keygen -t rsa
一路回车，进入.ssh目录下
我们发现该目录下有如下两个文件，一个为公钥，一个为私钥 复制公钥为authorized_keys,修改其权限 cat id_rsa.pub >> authorized_keys
8
第3章 环境搭建过程详述
sudo chmod 600 authorized_keys
我们可以测试一下是否能够免密码登陆到本地 3.2.2 配置jdk
1.下载解压jdk
解压命令,-C指定解压路径
sudo tar -zxvf -C /usr/local/ jdk-7u25-linux-x64.tar.gz 2.配置环境变量 编辑/etc/profile文件 sudo vim /etc/profile 在文件末添加如下内容
export JAVA_HOME=/usr/local/jdk1.7 (这里的路径为jdk的所在路径) export PATH=.:$PATH:$JAVA_HOME/bin :wq!保存退出后，需要更新一下配置文件 source /etc/profile 3.检查jdk是否配置完成 java -version 3.2.3 配置hadoop
1.下载
2.解压后，配置环境变量
在/etc/profile原有的基础上增加以下内容 export HADOOP_HOME=/usr/local/hadoop2.2 在PATH末尾增加 ：$HADOOP_HOME/sbin 3.检查是否配置完成
9
电子科技大学成都学院实践专周设计报告
hadoop version 4.修改hadoop配置文件
进入/usr/local/hadoop2.2/etc/hadoop,修改该目录下的5个配置文件
修改hadoop-env.sh,将配置文件中的JAVA_HOME的路径修改为自己jdk所在的路径
修改core-site.xml文件，在添加以下内容
图3-1 core-site.xml文件
修改hdfs-site.xml,在添加如下内容
10
第3章 环境搭建过程详述
图3-2 hdfs-site.xml文件
图3-3 hdfs-site.xml文件
11