本文将介绍如何在不依赖 PySpark 的情况下，准确获取 Spark Core 的版本信息。针对在 Yarn 集群上运行 Spark 的场景，提供了一种简单有效的方法，即通过 Spark SQL 的 version() 函数，直接查询 Spark Core的版本号，并附带 Java 和 Python 的代码示例，方便读者快速上手实践。
在 Spark 环境中，有时需要确定 Spark Core 的版本，尤其是在 PySpark 版本与集群中安装的 Spark Core 版本不一致的情况下。虽然可以通过 pyspark.__version__、ss.version、sc.version 或 ./bin/spark-submit –version 获取 PySpark 的版本，但这些方法并不能直接提供 Spark Core 的版本信息。
从 Spark 3.0 开始，Spark SQL 提供了一个内置函数 version()，可以直接查询 Spark Core 的版本。以下分别介绍 Java 和 Python 中的使用方法。
Java 示例
以下 Java 代码展示了如何使用 version() 函数获取 Spark Core 的版本：
import org.apache.spark.sql.SparkSession;public class SparkVersion { public static void main(String[] args) { SparkSession spark = SparkSession.builder() .config("spark.master", "local[*]") .getOrCreate(); spark.sql("select version()").show(); spark.close(); }}
这段代码首先创建一个 SparkSession 对象，然后执行 SQL 查询 select version()，最后将结果打印到控制台。 输出结果类似如下：
+--------------------+| version()|+--------------------+|3.3.2 5103e00c4ce...|+--------------------+
Python 示例
对于 Spark 3.5 及更高版本，Python API 也支持 version() 函数。以下是 Python 示例代码：
from pyspark.sql.functions import versionfrom pyspark.sql import SparkSessionspark = SparkSession.builder.appName("SparkVersion").getOrCreate()df = spark.range(1)df.select(version()).show(truncate=False)spark.stop()
这段代码首先创建一个 SparkSession 对象，然后创建一个包含单个元素的 DataFrame，并使用 version() 函数查询 Spark Core 的版本，最后将结果打印到控制台。输出结果类似如下：
+----------------------------------------------+|version() |+----------------------------------------------+|3.5.0 cafbea5b13623276517a9d716f75745eff91f616|+----------------------------------------------+
注意事项
确保你的 Spark 版本在 3.0 及以上，Python API 的支持则需要 3.5 及以上。version() 函数返回的字符串包含 Spark 的版本号以及构建信息。
总结
通过 Spark SQL 的 version() 函数，可以方便快捷地获取 Spark Core 的版本信息，避免了依赖 PySpark 版本带来的不确定性。无论是在 Java 还是 Python 环境中，都可以轻松使用该函数，从而更好地管理和维护 Spark 集群。
以上就是如何查看 Spark Core 的版本（非 PySpark）的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1368356.html
微信扫一扫 
支付宝扫一扫 
