Hadoop大数据环境搭建v1.0(4)

2020-02-22 14:28

fs.default.name hdfs://master:9000

hadoop.proxyuser.hadoop.hosts *

hadoop.proxyuser.hadoop.groups *

hadoop.proxyuser.hue.hosts *

hadoop.proxyuser.hue.groups *

fs.trash.interval 10080

Number of minutes between trash checkpoints. If zero, the trash feature is disabled

hdfs-site.xml—详细内容

dfs.replication 2

dfs.namenode.name.dir /hadoop/dfs/data

dfs.datanode.data.dir /data

dfs.webhdfs.enabled true

mapred-site.xml----详细内容

mapred.job.tracker master:9001

mapred.job.reuse.jvm.num.tasks -1

mapred.tasktracker.map.tasks.maximum 3

mapred.tasktracker.reduce.tasks.maximum 2

mapred.child.java.opts -Xmx256m

mapred.jobtracker.plugins

org.apache.hadoop.thriftfs.ThriftJobTrackerPlugin

Comma-separated list of jobtracker plug-ins to be activated.

mapred.local.dir /data/local

d) 格式化文件系统,使用 HADOOP/bin 目录下的 hadoop 命令对 HDFS 的文件系统进行格式化。

e) 使用命令 HADOOP/bin/start-dfs.sh 在 Master 上启动 NameNode 进程,在 Slave节点上会启动对应的 DataNode 进程。

f) 使用 HADOOP/bin/start-mapred.sh 命令在 Master 节点上启动 JobTracker 进程,系统会在 conf/slaves 中设置的节点上启动 TaskTracker 进程。

(2) 搭建 HBase 集群。

a) 解压下载的 HBase 的压缩包,更改其 conf 目录下的环境变量 Hbase-env.sh 配置。其中,hbase.rootdir 这一项的配置必须

与 hdfs 的 fs.name.default 项一致,

并且为 HBase 指定根目录/hbase。

b) 配置 Regionserver 文件,指定了 HBase 中 Regionserver 节点的具体的信息。

c) 配置完毕后将 HBase 目录拷贝到各个节点相同目录下。 d) 启动 HBase。在 HMaster 上运行 bin/start-hbase.sh 命令启动 hbase 集群,系统首先将启动 zookeeper 进程,然后启动 master 进程,最后启动 Regionserver进程。

2.2、hadoop维护

Hadoop所有命令都在/opt/hadoop/bin

hadoop namenode –format 格式化文件系统 start-all.sh 启动hadoop所有进程 stop-all.sh 关闭hadoop所有进程

在web上查看以下几个ip可以监控hadoop状态 222.29.118.171:60010 -------监控HBASE所有状态

222.29.118.171:50070 --------查看HDFS所有状态

2.3、系统日志说明

基于hadoop组件包,所有组件包模块日志存放位置: Tomcat服务日志目录:/opt/bdp-web-1.0/tomcat/logs Hadoop hdfs日志目录:

Namenode服务日志目录:/opt/hadoop/logs Datanode服务日志目录:/opt/hadoop/logs Journalnode服务日志目录:/opt/hadoop/logs Zookeeper服务日志目录:/opt/zookeeper/ ZKFC服务日志目录:/opt/hadoop/logs Hadoop MR日志目录:

Jobtracker服务日志目录:/opt/hadoop-mr1/logs Tasktracker服务日志目录:/opt/hadoop-mr1/logs Hadoop Hbase日志目录:

Hmaster服务日志目录:/opt/hbase/logs

Regionserver服务1日志目录:/opt/hbase/logs


Hadoop大数据环境搭建v1.0(4).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:“十三五”重点项目-单冻水产品项目商业计划书

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: