Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）[通俗易懂]

程序猿 • 2025年11月8日 03:47:08 • 用户投稿

大家好，又见面了，我是你们的朋友全栈君。

Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）系列文章传送门

这个系列文章传送门: Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021) Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置（图文详解步骤2021） Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输（图文步骤详解2021） Hadoop入门(四)——模板虚拟机环境准备（图文步骤详解2021） Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021） Hadoop入门(六)——JDK安装（图文步骤详解2021） Hadoop入门(七)——Hadoop安装（图文详解步骤2021） Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021） Hadoop入门(九)——SSH免密登录配置 Hadoop入门(十)——集群配置（图文详解步骤2021） Hadoop入门(十一)——集群崩溃的处理方法（图文详解步骤2021） Hadoop入门(十二)——配置历史服务器及日志的聚集（图文详解步骤2021） Hadoop入门(十三)——集群常用知识(面试题)与技巧总结 Hadoop入门(十四)——集群时间同步（图文详解步骤2021） Hadoop入门(十五)——集群常见错误及解决方案

文章目录Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）系列文章传送门 Hadoop 运行模式本地运行模式（官方 WordCount案例） 1 ）创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹2 ）在 wcinput 文件下创建一个 word.txt 文件3 ）编辑 word.txt 文件4 ）回到 Hadoop 目录/opt/module/hadoop-3.1.35 ）执行程序6 ）查看结果完全分布式运行模式（重点）虚拟机准备编写集群分发脚本 xsync 1 ）scp （secure copy ）安全拷贝（a）在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上。（b）在 hadoop103 上，将 hadoop102 中/opt/module/hadoop-3.1.3 目录拷贝到hadoop103 上。（c）在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到hadoop104 上。题外话——小Tip 2 ）rsync 远程**同步**工具（a）删除 hadoop103 中/opt/module/hadoop-3.1.3/wcinput（b）同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop1033 ）xsync 集群分发脚本（a）在`/home/leokadia/bin` 目录下创建 xsync 文件（b）修改脚本 xsync 具有执行权限（c）测试脚本（d）将脚本复制到/bin 中，以便全局调用（e）同步环境变量配置（root 所有者）注意：让环境变量生效Hadoop 运行模式

1）Hadoop 官方网站：http://hadoop.apache.org/

Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）[通俗易懂]

2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。完全分布式模式：多台服务器组成分布式环境。生产环境使用。

本地运行模式（官方 WordCount案例）1 ）创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

[leokadia@hadoop102 hadoop-3.1.3]$ mkdir wcinput

2 ）在 wcinput 文件下创建一个 word.txt 文件

[leokadia@hadoop102 hadoop-3.1.3]$ cd wcinput

3 ）编辑 word.txt 文件

[leokadia@hadoop102 wcinput]$ vim word.txt ➢ 在文件中随便输入一些内容 ➢ 保存退出：:wq

4 ）回到 Hadoop 目录/opt/module/hadoop-3.1.3

[leokadia@hadoop102 ~]$ cd /opt/module/hadoop-3.1.3

5 ）执行程序

[leokadia@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

6 ）查看结果

[leokadia@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000 看到如下结果：

代码语言：javascript代码运行次数：0运行复制

19-11HFUT,1Hadoop1Leokadia1She1a1class1computer1experiment1in1innovation1is3learning1sophomore1whose1

完全分布式运行模式（重点）

分析： 1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称） 2）安装 JDK 3）配置环境变量 4）安装 Hadoop 5）配置环境变量

6）配置集群 7）单点启动 8）配置 ssh 9）群起并测试集群

步骤1，2，3，4，5之前我们均已经在102上搞定了

虚拟机准备

详见前几篇文章

编写集群分发脚本 xsync1 ）scp （secure copy ）安全拷贝

（1）scp 定义 scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）（2）基本语法

（3）案例实操

注：前面完全按我来的这部分不需要做，之前103，104克隆的时候就存在了

（a）在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上。

[leokadia@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212 leokadia@hadoop103:/opt/module

输入yes 然后输入hadoop103的密码：然后就开始拷贝了，经历一大串类似这样的

在hadoop103上即可看到jdk拷贝成功

（b）在 hadoop103 上，将 hadoop102 中/opt/module/hadoop-3.1.3 目录拷贝到hadoop103 上。

[leokadia@hadoop103 ~]$ scp -r leokadia@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

可以看到拷贝成功

（c）在 hadoop103 上操作，将 hadoop102 中/opt/module 目录下所有目录拷贝到hadoop104 上。

[leokadia@hadoop103 opt]$ scp -r leokadia@hadoop102:/opt/module/* leokadia@hadoop104:/opt/module 过程同理

然后他会让你输入hadoop104的密码，输入后即可拷贝成功

不放心的话可以在hadoop104中验证一下

题外话——小Tip

由于博主之前为每台运行虚拟机预留的主机RAM( R )比较大（不要喷，博主电脑是在转计算机之前瞎买的，比较垃圾）因此同时开启三台虚拟机的时候，他会报出这样的错误：物理内存不足，无法使用配置的设置开启虚拟机

博主寻找过许多解决办法，最终找到一个最方便（智障）的方法供大家参考：点击“编辑”———“首选项”，在弹出的对话框中选择左侧的“内存”，然后在最右侧选择“允许交换大部分虚拟机内存”即可，如下图所示

2 ）rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

（1）基本语法

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

56 查看详情

（2）案例实操

（a）删除 hadoop103 中/opt/module/hadoop-3.1.3/wcinput

[leokadia@hadoop103 hadoop-3.1.3]$ rm -rf wcinput/

（b）同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop103

希望将 hadoop102 中的hadoop-3.1.3 到 hadoop103 看是所有的内容都拷贝，还是只拷贝差异性内容

[leokadia@hadoop102 module]$ rsync -av hadoop-3.1.3/ leokadia@hadoop103:/opt/module/hadoop-3.1.3/

同步完成

在hadoop103中验证：同步成功

3 ）xsync 集群分发脚本

（1）需求：循环复制文件到所有节点的相同目录下在家目录下创建一个文件，希望写一个脚本，一执行这个命令，a.txt就可以分发到相同的路径（2）需求分析：（a）rsync 命令原始拷贝： rsync -av /opt/module leokadia@hadoop103:/opt/ （b）期望脚本： xsync 要同步的文件名称（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径） [leokadia@hadoop102 ~] echo PATH 查看全局环境变量的路径

代码语言：javascript代码运行次数：0运行复制

/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_212/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/home/leokadia/.local/bin:/home/leokadia/bin

想在/home/leokadia/bin目录下将xsync 集群分发脚本放入，即可在全局使用这个脚本了（其实也可以在家目录下创建这个脚本，在把这个脚本的路径放入全局变量环境）（3）脚本实现

（a）在/home/leokadia/bin 目录下创建 xsync 文件

[leokadia@hadoop102 opt] cd /home/leokadia [leokadia@hadoop102 ~] mkdir bin

[leokadia@hadoop102 ~] cd bin [leokadia@hadoop102 bin] vim xsync

在该文件中编写如下代码

代码语言：javascript代码运行次数：0运行复制

#!/bin/bash  #1. 判断参数个数 # 判断参数是否小于1if [ $# -lt 1 ] then     echo Not Enough Arguement!     exit; fi #2. 遍历集群所有机器 # 对102，103，104都进行分发for host in hadoop102 hadoop103 hadoop104 do    echo ====================  $host  ====================    #3. 遍历所有目录，挨个发送    for file in $@    do         #4. 判断文件是否存在         if [ -e $file ]             then                 #5. 获取父目录                 pdir=$(cd -P $(dirname $file); pwd)                                 #6. 获取当前文件的名称                 fname=$(basename $file)                 ssh $host "mkdir -p $pdir"                 rsync -av $pdir/$fname $host:$pdir             # 如果不存在            else                 echo $file does not exists!         fi     done done

（b）修改脚本 xsync 具有执行权限

[leokadia@hadoop102 bin]$ chmod +x xsync

（c）测试脚本

[leokadia@hadoop102 ~]$ xsync /home/leokadia/bin

连输几次密码

在hadoop103，hadoop104上验证，发现脚本传输成功

（d）将脚本复制到/bin 中，以便全局调用

[leokadia@hadoop102 bin]$ sudo cp xsync /bin/

还记得之前我们hadoop103，hadoop104都没有配置hadoop和jdk的环境变量吗？看下hadoop104目前的环境变量里的情况

发现确实没有配置

这个脚本的用处来了！我们用这个脚本分发环境变量

（e）同步环境变量配置（root 所有者）

我们先用这条命令试一下： [leokadia@hadoop102 ~]$ xsync /etc/profile.d/my_env.sh

查看hadoop103/104中的，发现根本没有my_env.sh文件

那我们加sudo试一下，发现根本找不到命令

为啥呢？我加了sudo相当于我是root用户，但目前我现在脚本在家目录bin目录下，root账号使用不了这个路径。那我们就加上这个绝对路径呗！这次一定成！

[leokadia@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh 注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。

在hadoop103，hadoop104下验证一下： [leokadia@hadoop103 bin]$ sudo vim /etc/profile.d/my_env.sh

成功！

注意：让环境变量生效

[leokadia@hadoop103 bin] source /etc/profile [leokadia@hadoop104 bin] source /etc/profile

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/136969.html原文链接：https://javaforall.cn

以上就是Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量（图文详解步骤2021）[通俗易懂]的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容，请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/461658.html

打赏

微信扫一扫

支付宝扫一扫

0 0

关于作者

程序猿签约作者

413.8K 文章

0 评论

2 粉丝

这个人很懒，什么都没有留下～

win11系统字体缺失怎么办 win11系统字体缺失恢复教程

上一篇 2025年11月8日 03:46:57

电脑的硬盘修复方法

下一篇 2025年11月8日 03:47:09

用户投稿

高德地图离线地图怎么更新_高德地图离线数据更新步骤

高德地图车机版离线地图更新方法包括：一、通过Wi-Fi在线更新，进入“离线数据”页面检测并下载新版地图；二、使用U盘导入，从官网下载解压后复制amapauto文件夹至U盘根目录，插入车机并选择更新；三、开启Wi-Fi自动更新功能，在设置中启用“Wi-Fi下自动更新离线数据”及“离线图面增量更新”，实…

程序猿
2026年9月23日
0000
mysql如何输入特殊字符 mysql写sql语句的转义方法

在mysql中处理特殊字符的核心方法是使用预处理语句，1.手动转义可通过反斜杠实现，如单引号转为’、双引号转为”等，但易出错且不安全；2.更推荐使用预处理语句（prepared statements）或参数绑定，它能自动处理特殊字符并防止sql注入；3.预处理语句的优势包括安全性高，彻底杜绝sql注…

程序猿
2026年9月23日 • 用户投稿
4000
用户投稿

Java中ConnectException连接异常的解决方法

答案：Java中ConnectException通常因服务未启动、网络不通或配置错误导致，需检查服务状态、IP端口配置及防火墙设置，并合理设置连接超时与重试机制。 Java中出现ConnectException通常表示应用程序尝试连接到远程服务器时失败，最常见的原因是目标主机拒绝连接或网络不通。这个…

程序猿
2026年9月23日
2000
用户投稿

windows8系统怎么关闭屏幕键盘_windows8关闭虚拟键盘的设置

1、通过任务栏图标关闭：在系统托盘找到键盘图标并点击关闭；2、控制面板禁用启动项：进入轻松访问设置，取消勾选“使用屏幕键盘”；3、任务管理器结束进程：强制结束osk.exe进程；4、删除启动文件夹中的快捷方式，防止开机自启。如果您在使用Windows 8系统时发现屏幕键盘自动弹出或需要手动关闭，可…

程序猿
2026年9月23日
1000
用户投稿

VSCode高效配置Elixir：Phoenix框架、中文提示、模式匹配

要高效配置vscode支持elixir开发，必须安装elixirls扩展并确保elixir和erlang环境正确；elixirls提供代码补全、跳转、格式化和调试功能，配合手动设置.heex、.leex文件关联为html可优化phoenix框架开发体验；通过安装中文语言包、设置files.encod…

程序猿
2026年9月23日
1000
用户投稿

PHP高效读取大型GZ文件：揭示Gzip的顺序访问限制与实践方法

本教程深入探讨了php中处理大型gz压缩文件的核心挑战：其固有的顺序访问特性。我们将解释为何无法对gz文件进行随机跳转读取，以及这意味着您必须从头开始按序解压数据。文章将提供一种实用的分块读取策略，并附带php示例代码，帮助开发者高效、安全地处理超大gz文件，同时讨论潜在的跨块数据处理问题及内存管理…

程序猿
2026年9月23日
2000
如何在RayTune中训练AI大模型？分布式超参数优化的技巧

RayTune通过分布式超参数优化解决大模型训练中的资源调度、搜索效率、实验管理与容错难题，其核心是利用并行化和智能调度（如ASHA、PBT）加速最优配置探索。首先，将训练逻辑封装为可调用函数，并在其中集成分布式训练（如PyTorch DDP）；其次，定义超参数搜索空间与资源需求（如每试验2 GPU…

程序猿
2026年9月23日 • 用户投稿
1000
鸿蒙3.0将删除谷歌代码，只是为让国产系统更纯粹

作为“聚光灯下诞生的国产系统”，华为鸿蒙系统自诞生之日起就引发了激烈的争论。尽管鸿蒙系统已升级至3.0版本，但关于“鸿蒙系统是否是安卓套壳”的讨论依然是焦点。不过，这可能并不是问题的核心。鸿蒙系统是套壳吗？对于如今的国内科技企业来说，开发一个系统并不困难。然而，为什么最终存活下来的只有MIUI、F…

程序猿
2026年9月23日 • 用户投稿
1000
mysql怎么执行子查询 mysql输入嵌套sql语句方法

mysql子查询常见类型包括标量子查询、行子查询和表子查询，分别返回一行一列、一行多列和多行多列数据；应用场景涵盖where作为过滤条件、from作为派生表、select作为标量列以及dml操作的数据提供。此外，根据与外部查询的关联性分为非关联子查询和关联子查询，前者独立执行一次，后者依赖外部查询每…

程序猿
2026年9月23日 • 用户投稿
1000
谷歌浏览器视频全屏模式声音延迟如何修复

关闭硬件加速可解决谷歌浏览器全屏视频声音延迟问题。依次尝试：1. 关闭硬件加速并重启浏览器；2. 重置chrome://flags实验性功能；3. 清除全部缓存数据；4. 更新Chrome版本及显卡音频驱动。若仍存在延迟，需对比不同网站或设备以判断故障源。谷歌浏览器在视频全屏模式下出现声音延迟，通…

程序猿
2026年9月23日 • 用户投稿
3000
硬刚 Sora 2，谷歌的 Veo 3.1 确实有小惊喜｜AI 上新

谷歌最新视频生成模型 veo 3.1 来了！今日上手可用。北京时间 10 月 16 日，谷歌在 Gemini API 中发布了 Veo 3.1 和 Veo 3.1 Fast 付费预览版。模型一上线，就受到了行业的高度关注。毕竟，和前不久发布的 Sora 2 一样，这次 Veo 3.1 也新增了音频…

程序猿
2026年9月23日 • 用户投稿
2000
用户投稿

VSCode 怎样用插件实现代码的二维码分享功能 VSCode 代码二维码分享插件的创意使用

是的，vscode可通过安装插件实现代码二维码分享功能，具体操作为：1. 打开扩展视图（ctrl+shift+x）；2. 搜索“qr code”或“share code”等关键词；3. 选择下载量高、评价好的插件如“code to qr code”并安装；4. 选中代码后右键点击“generate …

程序猿
2026年9月23日
2000
用户投稿

抖音小店可以无货源吗？无货源开店

随着电商行业的不断发展，其在人们日常生活中的地位日益重要。作为当下热门的短视频社交平台，抖音凭借庞大的用户群体和强大的流量支持，吸引了大量商家入驻。很多人开始关注：抖音小店是否可以采用无货源模式运营？本文将带您了解这一新兴电商模式的发展趋势。一、什么是抖音小店无货源模式？抖音小店无货源模式是指商…

程序猿
2026年9月23日
0000
用户投稿

win11任务栏图标合并了怎么取消_win11任务栏图标合并设置方法

首先通过系统设置将“合并任务栏按钮”设为从不，若无效则用注册表编辑器新建TaskbarGlomLevel并赋值2，或使用StartAllBack等工具自定义，同时排查第三方软件干扰。如果您发现Win11任务栏上的程序图标被自动合并，导致无法清晰查看每个应用的独立窗口，可以通过系统设置或高级方法进行…

程序猿
2026年9月22日
1000
Linus Torvalds 批评 Rust 代码格式化工具：称其“完全疯狂”

近日，linux创始人linus torvalds在linux内核邮件列表中对rust语言的代码格式化工具rustfmt提出了尖锐批评，称其行为“完全疯狂”。他提到，在Rust代码中，类似use crate::xyz;这样的导入语句，在经过自动格式化后经常被合并为一行，导致原本清晰的结构变得混乱，…

程序猿
用户投稿 2026年9月22日
2000
mysql如何分析索引使用 mysql创建索引后的执行计划解读

要分析mysql索引使用和执行计划，核心是通过explain命令查看查询路径，并结合handler_read%状态变量评估索引效率。1. 使用explain命令分析执行计划，关注type、key、extra等列，判断是否高效利用索引；2. 通过show global status like &#82…

程序猿
2026年9月22日 • 用户投稿
1000
用户投稿

PHP命令怎么获取执行结果_PHP命令执行结果捕获与返回值处理技巧

使用exec()可捕获命令输出和返回状态，shell_exec()仅获取输出，proc_open()支持精细控制；需用escapeshellarg()等函数确保安全，并优先使用内置函数替代系统命令。在PHP中执行系统命令并获取其输出结果和返回状态，是很多运维脚本、自动化工具或与外部程序交互场景下的…

程序猿
2026年9月22日
3000
用户投稿

解决TCPDF保存文件权限问题的完整指南

本文旨在解决使用tcpdf在%ignore_a_1%中生成pdf并保存到服务器（’f’模式）时遇到的“permission denied”错误，尤其是在macos环境下。核心问题通常源于不正确的服务器文件路径或目标文件夹缺乏写入权限。教程将详细阐述如何构建正确的绝对文件路径，…

程序猿
2026年9月22日
2000
mysql怎么添加前缀索引 mysql创建前缀索引的长度选择

在mysql中，为长字符串列添加前缀索引的核心目的是优化查询性能并节省存储空间。1. 前缀索引通过仅索引列值的前n个字符实现这一目标；2. 前缀长度的选择需在区分度与存储效率之间取得平衡，理想长度应确保高区分度（如90%以上）且不过度冗余；3. 可通过执行select count(distinct …

程序猿
2026年9月22日 • 用户投稿
1000
用户投稿

《植物大战僵尸：重植版》制作人：价格亲民未使用AI！

经典塔防游戏《植物大战僵尸》在问世16年后迎来重磅回归。由PopCap Games精心打造的重制作品——《植物大战僵尸：重植版》将于10月23日正式登陆PlayStation、Xbox、Nintendo Switch以及PC平台。据The Gamer报道，该游戏执行制作人Jake Neri在采访中…

程序猿
2026年9月22日
2000