Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）[通俗易懂]

程序猿 • 2025年11月8日 03:47:08 • 运维 • 阅读 1

大家好，又见面了，我是你们的朋友全栈君。

Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）系列文章传送门

这个系列文章传送门: Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021) Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置（图文详解步骤2021） Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输（图文步骤详解2021） Hadoop入门(四)——模板虚拟机环境准备（图文步骤详解2021） Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021） Hadoop入门(六)——JDK安装（图文步骤详解2021） Hadoop入门(七)——Hadoop安装（图文详解步骤2021） Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021） Hadoop入门(九)——SSH免密登录配置 Hadoop入门(十)——集群配置（图文详解步骤2021） Hadoop入门(十一)——集群崩溃的处理方法（图文详解步骤2021） Hadoop入门(十二)——配置历史服务器及日志的聚集（图文详解步骤2021） Hadoop入门(十三)——集群常用知识(面试题)与技巧总结 Hadoop入门(十四)——集群时间同步（图文详解步骤2021） Hadoop入门(十五)——集群常见错误及解决方案

文章目录Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）系列文章传送门 Hadoop 运行模式本地运行模式（官方 WordCount案例） 1 ）创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹2 ）在 wcinput 文件下创建一个 word.txt 文件3 ）编辑 word.txt 文件4 ）回到 Hadoop 目录/opt/module/hadoop-3.1.35 ）执行程序6 ）查看结果完全分布式运行模式（重点）虚拟机准备编写集群分发脚本 xsync 1 ）scp （secure copy ）安全拷贝（a）在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上。（b）在 hadoop103 上，将 hadoop102 中/opt/module/hadoop-3.1.3 目录拷贝到hadoop103 上。（c）在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到hadoop104 上。题外话——小Tip 2 ）rsync 远程**同步**工具（a）删除 hadoop103 中/opt/module/hadoop-3.1.3/wcinput（b）同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop1033 ）xsync 集群分发脚本（a）在`/home/leokadia/bin` 目录下创建 xsync 文件（b）修改脚本 xsync 具有执行权限（c）测试脚本（d）将脚本复制到/bin 中，以便全局调用（e）同步环境变量配置（root 所有者）注意：让环境变量生效Hadoop 运行模式

1）Hadoop 官方网站：http://hadoop.apache.org/

Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）[通俗易懂]

2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。完全分布式模式：多台服务器组成分布式环境。生产环境使用。

本地运行模式（官方 WordCount案例）1 ）创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

[leokadia@hadoop102 hadoop-3.1.3]$ mkdir wcinput

2 ）在 wcinput 文件下创建一个 word.txt 文件

[leokadia@hadoop102 hadoop-3.1.3]$ cd wcinput

3 ）编辑 word.txt 文件

[leokadia@hadoop102 wcinput]$ vim word.txt ➢ 在文件中随便输入一些内容 ➢ 保存退出：:wq

4 ）回到 Hadoop 目录/opt/module/hadoop-3.1.3

[leokadia@hadoop102 ~]$ cd /opt/module/hadoop-3.1.3

5 ）执行程序

[leokadia@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

6 ）查看结果

[leokadia@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000 看到如下结果：

代码语言：javascript代码运行次数：0运行复制

19-11HFUT,1Hadoop1Leokadia1She1a1class1computer1experiment1in1innovation1is3learning1sophomore1whose1

完全分布式运行模式（重点）

分析： 1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称） 2）安装 JDK 3）配置环境变量 4）安装 Hadoop 5）配置环境变量

6）配置集群 7）单点启动 8）配置 ssh 9）群起并测试集群

步骤1，2，3，4，5之前我们均已经在102上搞定了

虚拟机准备

详见前几篇文章

编写集群分发脚本 xsync1 ）scp （secure copy ）安全拷贝

（1）scp 定义 scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）（2）基本语法

（3）案例实操

注：前面完全按我来的这部分不需要做，之前103，104克隆的时候就存在了

（a）在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上。

[leokadia@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212 leokadia@hadoop103:/opt/module

输入yes 然后输入hadoop103的密码：然后就开始拷贝了，经历一大串类似这样的

在hadoop103上即可看到jdk拷贝成功

（b）在 hadoop103 上，将 hadoop102 中/opt/module/hadoop-3.1.3 目录拷贝到hadoop103 上。

[leokadia@hadoop103 ~]$ scp -r leokadia@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

可以看到拷贝成功

（c）在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到hadoop104 上。

[leokadia@hadoop103 opt]$ scp -r leokadia@hadoop102:/opt/module/* leokadia@hadoop104:/opt/module 过程同理

然后他会让你输入hadoop104的密码，输入后即可拷贝成功

不放心的话可以在hadoop104中验证一下

题外话——小Tip

由于博主之前为每台运行虚拟机预留的主机RAM( R )比较大（不要喷，博主电脑是在转计算机之前瞎买的，比较垃圾）因此同时开启三台虚拟机的时候，他会报出这样的错误：物理内存不足，无法使用配置的设置开启虚拟机

博主寻找过许多解决办法，最终找到一个最方便（智障）的方法供大家参考：点击“编辑”———“首选项”，在弹出的对话框中选择左侧的“内存”，然后在最右侧选择“允许交换大部分虚拟机内存”即可，如下图所示

2 ）rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

（1）基本语法

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

56 查看详情

（2）案例实操

（a）删除 hadoop103 中/opt/module/hadoop-3.1.3/wcinput

[leokadia@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/

（b）同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop103

希望将 hadoop102 中的hadoop-3.1.3 到 hadoop103 看是所有的内容都拷贝，还是只拷贝差异性内容

[leokadia@hadoop102 module]$ rsync -av hadoop-3.1.3/ leokadia@hadoop103:/opt/module/hadoop-3.1.3/

同步完成

在hadoop103中验证：同步成功

3 ）xsync 集群分发脚本

（1）需求：循环复制文件到所有节点的相同目录下在家目录下创建一个文件，希望写一个脚本，一执行这个命令，a.txt就可以分发到相同的路径（2）需求分析：（a）rsync 命令原始拷贝： rsync -av /opt/module leokadia@hadoop103:/opt/ （b）期望脚本： xsync 要同步的文件名称（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径） [leokadia@hadoop102 ~] echo PATH 查看全局环境变量的路径

代码语言：javascript代码运行次数：0运行复制

/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_212/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/home/leokadia/.local/bin:/home/leokadia/bin

想在/home/leokadia/bin目录下将xsync 集群分发脚本放入，即可在全局使用这个脚本了（其实也可以在家目录下创建这个脚本，在把这个脚本的路径放入全局变量环境）（3）脚本实现

（a）在/home/leokadia/bin 目录下创建 xsync 文件

[leokadia@hadoop102 opt] cd /home/leokadia [leokadia@hadoop102 ~] mkdir bin

[leokadia@hadoop102 ~] cd bin [leokadia@hadoop102 bin] vim xsync

在该文件中编写如下代码

代码语言：javascript代码运行次数：0运行复制

#!/bin/bash  #1. 判断参数个数 # 判断参数是否小于1if [ $# -lt 1 ] then     echo Not Enough Arguement!     exit; fi #2. 遍历集群所有机器 # 对102，103，104都进行分发for host in hadoop102 hadoop103 hadoop104 do    echo ====================  $host  ====================    #3. 遍历所有目录，挨个发送    for file in $@    do         #4. 判断文件是否存在         if [ -e $file ]             then                 #5. 获取父目录                 pdir=$(cd -P $(dirname $file); pwd)                                 #6. 获取当前文件的名称                 fname=$(basename $file)                 ssh $host "mkdir -p $pdir"                 rsync -av $pdir/$fname $host:$pdir             # 如果不存在            else                 echo $file does not exists!         fi     done done

（b）修改脚本 xsync 具有执行权限

[leokadia@hadoop102 bin]$ chmod +x xsync

（c）测试脚本

[leokadia@hadoop102 ~]$ xsync /home/leokadia/bin

连输几次密码

在hadoop103，hadoop104上验证，发现脚本传输成功

（d）将脚本复制到/bin 中，以便全局调用

[leokadia@hadoop102 bin]$ sudo cp xsync /bin/

还记得之前我们hadoop103，hadoop104都没有配置hadoop和jdk的环境变量吗？看下hadoop104目前的环境变量里的情况

发现确实没有配置

这个脚本的用处来了！我们用这个脚本分发环境变量

（e）同步环境变量配置（root 所有者）

我们先用这条命令试一下： [leokadia@hadoop102 ~]$ xsync /etc/profile.d/my_env.sh

查看hadoop103/104中的，发现根本没有my_env.sh文件

那我们加sudo试一下，发现根本找不到命令

为啥呢？我加了sudo相当于我是root用户，但目前我现在脚本在家目录bin目录下，root账号使用不了这个路径。那我们就加上这个绝对路径呗！这次一定成！

[leokadia@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh 注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。

在hadoop103，hadoop104下验证一下： [leokadia@hadoop103 bin]$ sudo vim /etc/profile.d/my_env.sh

成功！

注意：让环境变量生效

[leokadia@hadoop103 bin] source /etc/profile [leokadia@hadoop104 bin] source /etc/profile

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/136969.html原文链接：https://javaforall.cn

以上就是Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）[通俗易懂]的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容，请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/461658.html

打赏

微信扫一扫

支付宝扫一扫

0 0

关于作者

程序猿签约作者

414.1K 文章

0 评论

2 粉丝

这个人很懒，什么都没有留下～

查询数据库空间使用情况的函数_查看当前数据库

上一篇 2025年11月8日 03:46:27

关于优雅地实现LRU缓存这件事，一次性说清楚

下一篇 2025年11月8日 03:47:40

好文分享

CSS元素设置em和transition后，为何载入页面无放大效果？

css元素设置em和transition后，为何载入无放大效果很多开发者在设置了em和transition后，却发现元素载入页面时无放大效果。本文将解答这一问题。原问题：在视频演示中，将元素设置如下，载入页面会有放大效果。然而，在个人尝试中，并未出现该效果。这是由于macos和windows系统…

程序猿
2025年12月24日
2000
好文分享

如何模拟Windows 10 设置界面中的鼠标悬浮放大效果？

win10设置界面的鼠标移动显示周边的样式（探照灯效果）的实现方式在windows设置界面的鼠标悬浮效果中，光标周围会显示一个放大区域。在前端开发中，可以通过多种方式实现类似的效果。使用css 使用css的transform和box-shadow属性。通过将transform: scale(1.…

程序猿
2025年12月24日
2000
好文分享

如何用HTML/JS实现Windows 10设置界面鼠标移动探照灯效果？

Win10设置界面中的鼠标移动探照灯效果实现指南想要在前端开发中实现类似于Windows 10设置界面的鼠标移动探照灯效果，有两种解决方案：CSS 和 HTML/JS 组合。 CSS 实现不幸的是，仅使用CSS无法完全实现该效果。立即学习“前端免费学习笔记（深入）”； HTML/JS 实现要…

程序猿
2025年12月24日
0000
好文分享

如何用前端实现 Windows 10 设置界面的鼠标移动探照灯效果？

如何在前端实现 Windows 10 设置界面中的鼠标移动探照灯效果想要在前端开发中实现 Windows 10 设置界面中类似的鼠标移动探照灯效果，可以通过以下途径： CSS 解决方案 DEMO 1: Windows 10 网格悬停效果：https://codepen.io/tr4553r7/pe…

程序猿
2025年12月24日
0000
好文分享

如何用前端技术实现Windows 10 设置界面鼠标移动时的探照灯效果？

探索在前端中实现 Windows 10 设置界面鼠标移动时的探照灯效果在前端开发中，鼠标悬停在元素上时需要呈现类似于 Windows 10 设置界面所展示的探照灯效果，这其中涉及到了元素外围显示光圈效果的技术实现。 CSS 实现虽然 CSS 无法直接实现探照灯效果，但可以通过以下技巧营造出类似效…

程序猿
2025年12月24日
0000
好文分享

为什么自定义样式表在 Safari 中访问百度页面时无法生效？

自定义样式表在 safari 中失效的原因用户尝试在 safari 偏好设置中添加自定义样式表，代码如下： body { background-image: url(“/users/luxury/desktop/wallhaven-o5762l.png”) !important;} 测试后发现，在…

程序猿
2025年12月24日
0000
如何在网页 F12 调试中查看鼠标悬停时才出现的 DOM 元素？

如何在网页 f12 调试中查看鼠标悬停时才出现的 dom 元素？在 f12 调试模式下，鼠标悬停时才出现的 dom 元素无法通过直接选择查看。解决方法根据显示原理的不同而有所区别： 1. css 控制的元素强制开启悬停状态：在 firefox 浏览器中，可以通过在开发者工具中手动开启选中元素的 …

程序猿
2025年12月24日 • 好文分享
1000
好文分享

TDesign UI库中小程序开发的CSS选择器：为什么“.t-grid–card”能生效？

TDesign UI库中CSS选择器困惑在小程序开发中，使用TDesign UI库时，您可能会遇到一个困惑的CSS选择器。例如，在DOM结构中，一个元素的class为”t-grid t-card class t-class”, 但其CSS选择器却是”&#8216…

程序猿
2025年12月24日
0000
好文分享

逻辑属性与旧版属性：如何根据文本方向选择合适的CSS属性？

CSS 逻辑属性与旧版属性 CSS 中引入了逻辑属性和旧版属性的概念。这些属性负责控制页面元素的外观和布局。逻辑属性逻辑属性以逻辑方向命名，如左右、上下。它们根据元素在文档流中的位置来确定元素的外观。例如：立即学习“前端免费学习笔记（深入）”； marginBlockStart：控制元素在垂直…

程序猿
2025年12月24日
0000
好文分享

CSS 逻辑属性和旧版属性：如何选择？

css逻辑属性与旧版属性 css中，逻辑属性和旧版属性用于控制元素的布局和外观。然而，两者在语法和使用方式上有所不同。逻辑属性逻辑属性是基于元素在现实世界中的预期行为来命名的。它使用诸如 “start”、”end” 和 “block&#…

程序猿
2025年12月24日
4000
好文分享

如何使用 Ant Design 实现自定义的 UI 设计？

如何使用 Ant Design 呈现特定的 UI 设计？一位开发者提出：我希望使用 Ant Design 实现如下图所示的 UI。作为一个前端新手，我不知从何下手。我尝试使用 a-statistic，但没有任何效果。为此，提出了一种解决方案：可以使用一个图表库，例如 echarts.apac…

程序猿
2025年12月24日
0000
好文分享

您不需要 CSS 预处理器

原生 css 在最近几个月/几年里取得了长足的进步。在这篇文章中，我将回顾人们使用 sass、less 和 stylus 等 css 预处理器的主要原因，并向您展示如何使用原生 css 完成这些相同的事情。分隔文件分离文件是人们使用预处理器的主要原因之一。尽管您已经能够将另一个文件导入到 css…

程序猿
2025年12月24日
0000
好文分享

Antdv 如何实现类似 Echarts 图表的效果？

如何使用 antdv 实现图示效果？一位前端新手咨询如何使用 antdv 实现如图所示的图示： antdv 怎么实现如图所示？前端小白不知道怎么下手，尝试用了 a-statistic，但没有任何东西出来，也不知道为什么。针对此问题，回答者提供了解决方案：可以使用图表库 echarts 实现类似…

程序猿
2025年12月24日
3000
好文分享

动态样式类名为何失效：嵌套与并列选择器的区别在哪里？

动态样式类名不起作用：嵌套与并列问题在使用动态样式类名时，有时会遇到尽管触发事件但样式却没有改变的情况。这可能是由于使用了后代选择器而造成的。以提供的代码为例：块中，嵌套的类是content类的后代。这意味着类仅在元素包含子元素时才能生效。为了解决这个问题，需要将与类编写为并列，而不是嵌套方…

程序猿
2025年12月24日
2000
好文分享

如何使用 antdv 创建图表？

使用 antdv 绘制如所示图表的解决方案一位初学前端开发的开发者遇到了困难，试图使用 antdv 创建一个特定图表，却遇到了障碍。问题：如何使用 antdv 实现如图所示的图表？尝试了 a-statistic 组件，但没有任何效果。解答：虽然 a-statistic 组件不能用于创建此类…

程序猿
2025年12月24日
2000
如何在 Ant Design Vue 中使用 ECharts 创建一个类似于给定图像的圆形图表？

如何在 ant design vue 中实现圆形图表？问题中想要实现类似于给定图像的圆形图表。这位新手尝试了 a-statistic 组件但没有任何效果。为了实现这样的图表，可以使用 [apache echarts](https://echarts.apache.org/) 库或其他第三方图表库…

程序猿
好文分享 2025年12月24日
1000
好文分享

CSS 定位属性：六种定位方式的区别是什么？

CSS中的定位属性及其区别 CSS中的 position 属性定义元素的定位行为，它共有六个可供选择的属性值，分别是：静态定位 (static)：默认值，元素按照正常文档流进行定位。相对定位 (relative)：元素相对于自身原本的位置进行偏移。绝对定位 (absolute)：元素相对于最近的非…

程序猿
2025年12月24日
0000
好文分享

父元素仅设置 Line-height 对子元素高度的影响：行内块级元素与块级元素有什么区别？

父元素仅设置 Line-height 对子元素的块级或行内块级元素的影响当父元素只设置了 Line-height 而没有设置高度时，对其子元素的影响将取决于子元素的类型。如果子元素是行内块级元素，如 inine-block，父元素的 Line-height 将成为子元素的高度。这是因为行内块级元…

程序猿
2025年12月24日
0000
好文分享

当父元素仅设置行高时，块级和行内块级元素的行为有何区别？

当父元素仅设置行高时，块级或行内块级子元素的行为在 html 中，当父元素仅设置行高 line-height 时，块级或行内块级元素的行为会有所不同。 <line-height: 60px; background-color: antiquewhite; 哈哈哈行内块级元素（display…

程序猿
2025年12月24日
2000
好文分享

苹果浏览器网页背景图色差问题：如何解决背景图不一致？

网页背景图在苹果浏览器上出现色差一位用户在使用苹果浏览器访问网页时遇到一个问题，网页上方的背景图比底部的背景图明显更亮。这个问题的原因很可能是背景图没有正确配置 background-size 属性。在 windows 浏览器中，背景图可能可以自动填满整个容器，但在苹果浏览器中可能需要显式设置 …

程序猿
2025年12月24日
4000