软件准备
我使用的是CentOS-6.6的虚拟机，主机名为repo。参考在Windows中安装Linux虚拟机的步骤，我在该虚拟机中安装了JDK，参考在Linux中安装JDK的指南。此外，该虚拟机配置了免秘钥登录自身，参考配置各台虚拟机之间免秘钥登录的设置。Hadoop安装包的下载地址为：https://www.php.cn/link/eecd2755d73701aa057cd2a32bd7b1e2。
将Hadoop安装包上传到服务器并解压
[root@repo ~]# tar zxvf hadoop-2.6.5.tar.gz -C /opt/apps/
配置环境变量
# 可以直接定位到文件的最后一行[root@repo hadoop-2.6.5]# vi + /etc/profileexport HADOOP_HOME=/opt/apps/hadoop-2.6.5export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin[root@repo hadoop-2.6.5]# . /etc/profile
修改 hadoop-env.sh、mapred-env.sh、yarn-env.sh 这三个配置文件，添加JAVA_HOME
[root@repo hadoop]# pwd/opt/apps/hadoop-2.6.5/etc/hadoop[root@repo hadoop]# vi hadoop-env.shexport JAVA_HOME=/usr/local/jdk1.8.0_73[root@repo hadoop]# vi mapred-env.shexport JAVA_HOME=/usr/local/jdk1.8.0_73[root@repo hadoop]# vi yarn-env.shexport JAVA_HOME=/usr/local/jdk1.8.0_73
修改 core-site.xml 和 hdfs-site.xml 配置文件，配置伪分布式相关的内容
集简云
软件集成平台，快速建立企业自动化与智能化
22 查看详情
[root@repo hadoop]# vi core-site.xml fs.defaultFS hdfs://repo:9000 hadoop.tmp.dir /var/hadoop/pseudo[root@repo hadoop]# vi hdfs-site.xml dfs.replication 1 dfs.namenode.secondary.http-address repo:50090
修改 slaves 配置文件，指定DataNode所在的节点
[root@repo hadoop]# vi slavesrepo
格式化文件系统
[root@repo hadoop]# hadoop namenode --format# 成功信息17/09/16 21:17:11 INFO common.Storage: Storage directory /var/hadoop/pseudo/dfs/name has been successfully formatted.
启动HDFS和YARN
[root@repo hadoop]# start-dfs.shStarting namenodes on [repo]repo: starting namenode, logging to /opt/apps/hadoop-2.6.5/logs/hadoop-root-namenode-repo.outrepo: starting datanode, logging to /opt/apps/hadoop-2.6.5/logs/hadoop-root-datanode-repo.outStarting secondary namenodes [repo]repo: starting secondarynamenode, logging to /opt/apps/hadoop-2.6.5/logs/hadoop-root-secondarynamenode-repo.out[root@repo hadoop]# start-yarn.shstarting yarn daemonsstarting resourcemanager, logging to /opt/hadoop-2.7.4/logs/yarn-root-resourcemanager-repo.outrepo: starting nodemanager, logging to /opt/hadoop-2.7.4/logs/yarn-root-nodemanager-repo.out[root@repo hadoop]# jps4368 Jps3957 ResourceManager3512 NameNode3641 DataNode4058 NodeManager3805 SecondaryNameNode
访问WEB页面
搭建成功！
以上就是Hadoop伪分布式集群搭建的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/513851.html
微信扫一扫 
支付宝扫一扫 
