本文旨在解决hadoop mapreduce作业因`java_home`环境变量未被yarn容器识别而导致的启动失败问题。即便`java_home`已在`hadoop-env.sh`中正确配置，yarn容器仍可能无法访问。核心解决方案是修改`yarn-site.xml`，将`java_home`添加到nodemanager的环境变量白名单中，确保容器能够正确继承和使用java环境。
Hadoop MapReduce作业中Java环境识别问题的解决
在使用Hadoop运行MapReduce作业时，开发者可能会遇到一个常见且令人困惑的问题：尽管已在hadoop-env.sh或系统全局环境中正确设置了JAVA_HOME，MapReduce作业的容器启动仍然失败，并报错/bin/bash: /bin/java: No such file or directory。这通常发生在YARN尝试启动应用程序主（MRAppMaster）或Map/Reduce任务容器时。本文将深入探讨此问题的根源，并提供详细的解决方案。
问题分析：为什么JAVA_HOME未被识别？
Hadoop YARN（Yet Another Resource Negotiator）是集群资源管理系统，负责调度和管理集群上的应用程序。当YARN NodeManager启动一个容器来执行MapReduce任务时，它会创建一个相对隔离的执行环境。默认情况下，NodeManager不会将所有父进程的环境变量传递给它启动的子容器。这意味着，即使JAVA_HOME在NodeManager进程的环境中是可用的，甚至在hadoop-env.sh中明确设置，容器内部也可能无法识别这个变量，从而导致无法找到Java可执行文件。
错误信息/bin/bash: /bin/java: No such file or directory直接表明容器在执行Java命令时，其内部的$JAVA_HOME/bin/java路径解析失败，因为它无法获取JAVA_HOME的值。
解决方案：配置YARN环境变量白名单
要解决此问题，我们需要明确告诉YARN NodeManager，JAVA_HOME是一个应该传递给其启动的容器的环境变量。这通过修改yarn-site.xml配置文件中的yarn.nodemanager.env-whitelist属性来实现。
立即学习“Java免费学习笔记（深入）”；
步骤一：定位并编辑yarn-site.xml
yarn-site.xml是Hadoop YARN服务的核心配置文件，通常位于Hadoop配置目录（例如/etc/hadoop或Hadoop安装路径下的etc/hadoop）。
使用文本编辑器打开yarn-site.xml文件。
# 示例：根据你的Hadoop安装路径调整sudo nano $HADOOP_HOME/etc/hadoop/yarn-site.xml
步骤二：添加或修改yarn.nodemanager.env-whitelist属性
在标签内部，添加或修改yarn.nodemanager.env-whitelist属性，确保JAVA_HOME被包含在value列表中。
yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME A comma-separated list of environment variables that NodeManager should propagate to the launched containers. This is crucial for variables like JAVA_HOME that containers need to execute Java applications.
说明：
博思AIPPT
博思AIPPT来了，海量PPT模板任选，零基础也能快速用AI制作PPT。
117 查看详情 标签指定了配置项的名称，即yarn.nodemanager.env-whitelist。标签包含了一个逗号分隔的环境变量列表。在这个列表中，我们必须包含JAVA_HOME。为了确保其他Hadoop相关的环境变量也能被正确识别，建议同时包含如HADOOP_COMMON_HOME、HADOOP_HDFS_HOME等。标签提供了该配置项的简要说明。
步骤三：验证JAVA_HOME的正确性
在修改yarn-site.xml之前或之后，请务必确认hadoop-env.sh中设置的JAVA_HOME路径是正确的，并且指向一个有效的JDK安装目录。例如：
# 在hadoop-env.sh中export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_351.jdk/Contents/Home
你可以通过在终端执行$JAVA_HOME/bin/java -version来验证该路径是否有效。
步骤四：重启YARN服务
配置更改后，为了使更改生效，需要重启Hadoop YARN服务，特别是ResourceManager和NodeManager。
# 停止所有Hadoop服务 (如果之前是启动状态)# stop-all.sh# 启动Hadoop HDFS服务start-dfs.sh# 启动Hadoop YARN服务start-yarn.sh
或者，如果你只想重启YARN服务：
# 停止YARN服务stop-yarn.sh# 启动YARN服务start-yarn.sh
步骤五：运行MapReduce作业进行验证
服务重启后，尝试运行一个MapReduce示例作业（如WordCount），验证问题是否已解决。
# 示例：运行WordCount作业hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /user/hadoop/input /user/hadoop/output
如果作业能够成功运行，说明JAVA_HOME已被YARN容器正确识别。
注意事项
路径精确性： 确保JAVA_HOME指向的是JDK的根目录（通常包含bin、lib等子目录），而不是bin目录本身。集群环境： 在多节点Hadoop集群中，yarn-site.xml的修改需要在所有NodeManager节点上进行同步，并重启每个节点上的NodeManager服务。Hadoop版本： 尽管此解决方案适用于大多数Hadoop版本，但具体配置路径和文件可能因版本略有差异。其他环境变量： 根据应用程序的需求，可能还需要将其他必要的环境变量添加到yarn.nodemanager.env-whitelist中。
总结
Hadoop MapReduce作业在容器中无法找到Java可执行文件的问题，本质上是YARN NodeManager的环境变量隔离机制所致。通过在yarn-site.xml中明确将JAVA_HOME添加到yarn.nodemanager.env-whitelist白名单，并确保JAVA_HOME路径设置正确，然后重启YARN服务，即可有效地解决这一问题，保证MapReduce作业能够顺利启动和执行。
以上就是Hadoop MapReduce容器启动失败：JAVA_HOME配置指南的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/959382.html
微信扫一扫 
支付宝扫一扫 
