WHERE arrays_overlap(, array())
然而，当尝试将这种逻辑直接转换为PySpark时，许多用户会遇到困难。一个常见的错误尝试是：
from pyspark.sql.functions import col, array, arrays_overlap# 假设 target_list 是一个 Python 列表，如 ['apple', 'banana']df.filter(arrays_overlap(col("array_column"), array(target_list)))
这段代码通常会导致AnalysisException，错误信息类似于[UNRESOLVED_COLUMN.WITH_SUGGESTION] A column or function parameter with name ” cannot be resolved.。这是因为array()函数在接收非列参数时，期望的是字面量表达式（literal expressions），而不是原始的Python列表元素。虽然array_contai
2. 解决方案：结合 lit 函数
解决这个问题的关键在于，将Python列表中的每个元素转换为Spark的字面量表达式（literal expression），然后再用array函数将其组合成一个字面量数组。这可以通过pyspark.sql.functions.lit函数来实现。
lit函数的作用是将一个Python值转换为一个Spark列表达式，这个表达式代表着一个常量值。当我们将列表中的每个元素都通过lit转换后，再将这些字面量表达式传递给array函数，array函数就能正确地构建一个包含这些字面量值的数组。
正确的PySpark实现如下：
from pyspark.sql import SparkSessionfrom pyspark.sql.functions import col, array, arrays_overlap, lit# 1. 初始化 SparkSessionspark = SparkSession.builder.appName("ArrayColumnFilter").getOrCreate()# 2. 准备示例数据data = [ (1, ["apple", "banana", "orange"]), (2, ["grape", "kiwi"]), (3, ["banana", "strawberry"]), (4, ["mango", "pineapple"]), (5, ["apple", "grape"])]df = spark.createDataFrame(data, ["id", "fruits_array"])df.printSchema()df.show()# 3. 定义用于过滤的 Python 列表target_list = ["banana", "grape", "lemon"]# 4. 构建正确的过滤条件# 使用 map(lit, target_list) 将列表中的每个元素转换为 lit 表达式# 使用 * 解包这些 lit 表达式作为 array 函数的参数# 最后，使用 arrays_overlap 进行比较filtered_df = df.filter( arrays_overlap(col("fruits_array"), array(*map(lit, target_list))))# 5. 显示过滤结果print(f"n原始DataFrame：")df.show()print(f"n过滤列表：{target_list}")print("n过滤后的DataFrame（fruits_array与target_list有交集）：")filtered_df.show()# 6. 停止 SparkSessionspark.stop()
运行结果示例：
root |-- id: long (nullable = true) |-- fruits_array: array (nullable = true) | |-- element: string (nullable = true)+---+--------------------+| id| fruits_array|+---+--------------------+| 1|[apple, banana, o...|| 2| [grape, kiwi]|| 3|[banana, strawber...|| 4|[mango, pineapple]|| 5| [apple, grape]|+---+--------------------+原始DataFrame：+---+--------------------+| id| fruits_array|+---+--------------------+| 1|[apple, banana, o...|| 2| [grape, kiwi]|| 3|[banana, strawber...|| 4|[mango, pineapple]|| 5| [apple, grape]|+---+--------------------+过滤列表：['banana', 'grape', 'lemon']过滤后的DataFrame（fruits_array与target_list有交集）：+---+--------------------+| id| fruits_array|+---+--------------------+| 1|[apple, banana, o...|| 2| [grape, kiwi]|| 3|[banana, strawber...|| 5| [apple, grape]|+---+--------------------+
从结果可以看出，id为1、2、3、5的行被保留，因为它们的fruits_array列与[“banana”, “grape”, “lemon”]存在交集（例如，id=1包含”banana”，id=2包含”grape”，id=3包含”banana”，id=5包含”grape”）。
3. 关键概念与注意事项
arrays_overlap(array1, array2) : 这个函数用于判断两个数组是否有共同的元素。如果存在任何共同元素，则返回True；否则返回False。它是进行数组交集判断的核心。lit(value) : lit函数将一个Python字面量（如字符串、数字、布尔值）转换为一个Spark SQL的字面量列。这是在PySpark中构建常量值表达式的常用方法。*`array( expressions)**:array`函数有两种主要用法：当参数是列名时，它将这些列的值组合成一个新的数组列。例如：array(col(“col1”), col(“col2”))。当参数是字面量表达式时，它会创建一个包含这些字面量值的字面量数组。例如：array(lit(“a”), lit(“b”))。我们这里的解决方案属于第二种情况，map(lit, target_list)生成了一系列字面量表达式，*操作符将它们解包作为array函数的独立参数。错误避免 : 理解array函数对参数类型的期望是避免AnalysisException的关键。直接传递Python列表array(target_list)会被Spark误解为target_list中的第一个元素是一个列名，因此无法解析。
4. 总结
在PySpark中，当需要使用一个Python列表与DataFrame的数组列进行交集过滤时，务必记住使用pyspark.sql.functions.lit函数将列表中的每个元素转换为Spark字面量表达式。然后，通过array(*map(lit, your_list))的方式构建一个字面量数组，并将其作为arrays_overlap函数的第二个参数。这种模式是处理这类复杂数组过滤逻辑的标准且正确的方法，能够确保代码的健壮性和准确性。
以上就是在PySpark中利用数组列与列表交集进行DataFrame过滤的正确姿势的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。https://www.chuangxiangniao.com/p/1373239.html
(0)
打赏
相关推荐
在Django电商项目中，当使用AJAX动态加载过滤后的产品列表时，常遇到图片无法正常显示的问题。这通常是由于前端模板中图片加载方式（如data-setbg属性结合JavaScript库）与AJAX动态内容更新机制不兼容所致。解决方案是直接在AJAX返回的HTML中使用标准的标签来渲染图片，确保浏览…
本教程探讨golang中如何高效控制结构体字段在json序列化时的可见性。当需要将包含敏感信息的结构体数组转换为json响应时，通过利用`encoding/json`包提供的结构体标签，特别是`json:”-“`，可以轻松实现对特定字段的忽略，从而避免敏感数据泄露，确保api…
本文旨在探讨Python中海象运算符（:=）在条件赋值场景下的应用。通过对比传统if/else语句与海象运算符，以及条件表达式，分析海象运算符在简化代码、提高可读性方面的优势与局限性。并通过具体示例，展示如何在列表推导式等场景下合理使用海象运算符，同时强调其潜在的复杂性及替代方案，帮助开发者更好地掌…
比特币是一种去中心化的数字货币，基于区块链技术实现点对点交易，具有匿名性、有限发行和不可篡改等特点；新手可通过交易所购买，P2P交易获得比特币，常用平台包括Binance、OKX和Huobi；交易流程包括注册账户、实名认证、绑定支付方式、充值法币并下单购买，可选择市价单或限价单；比特币存储方式有交易…
SFINAE 是“替换失败不是错误”的原则，指模板实例化时若参数替换导致错误，只要存在其他合法候选，编译器不报错而是继续重载决议。它用于条件启用模板、类型检测等场景，如通过 decltype 或 enable_if 控制函数重载，实现类型特征判断。尽管 C++20 引入 Concepts 简化了部分…
在Golang的gRPC流式通信中，必须通过context.Context处理异常。应监听上下文取消或超时，及时释放资源，设置合理超时，避免连接长时间挂起，并在goroutine中通过context控制生命周期。 在使用 Golang 和 gRPC 实现流式通信时，异常处理是确保服务健壮性的关键部分…
本文旨在解决go语言mgo库中构建复杂查询时，特别是涉及嵌套`bson.m`和日期范围筛选的常见错误。我们将深入剖析`bson.m`的类型特性，解释为何直接索引`interface{}`会导致“invalid operation”错误，并提供一种推荐的、结构清晰的代码重构方案，以确保查询条件能够正确…
首先保存文件为.html格式，再通过浏览器或Live Server插件打开预览；推荐安装Live Server实现本地服务器运行与实时刷新，提升开发体验。 在 VS Code 上运行 HTML 文件并不需要复杂的配置，只需几个简单步骤即可预览页面效果。VS Code 本身是一个代码编辑器，不直接运行…
在使用rich库的`richhandler`进行日志输出并同时使用`progress`组件时，可能会遇到显示错乱或溢出问题。这通常是由于为`richhandler`和`progress`分别创建了独立的`console`实例导致的。解决方案是确保日志处理器和进度条组件共享同一个`console`实例…
使用go run -race检测数据竞争，结合runtime.NumGoroutine监控协程数量，通过pprof分析阻塞调用栈，利用select超时避免永久阻塞，有效排查goroutine泄漏、死锁和数据竞争问题。 Go语言的goroutine和channel是并发编程的核心，但它们也带来了调试上…
Jupyter Notebook通过单元格实现代码与Markdown结合，支持数据导入（pandas）、清洗（fillna）、探索（matplotlib/seaborn可视化）、统计分析（describe/corr）和特征工程，便于记录与分享分析过程。 Jupyter Notebook 是进行探索性…
HTML表单通过标签构建，包含action和method属性定义数据提交目标与方式，常用input类型如text、password、email等适配不同输入需求，配合label、required、placeholder提升可用性，结合textarea、select、button等控件实现完整交互，是…
根据数据特性选择合适的存储方式并制定清晰的读写与清理逻辑，能显著提升前端性能；合理运用Cookie、localStorage、sessionStorage、IndexedDB及Cache API，结合缓存策略与定期清理机制，可在保证用户体验的同时避免安全与性能隐患。 前端缓存和JavaScript存…
本文将介绍如何使用Golang创建一个指定大小的文件，并用特定数据填充它。我们将使用 `os` 包提供的函数来创建和截断文件，从而实现快速生成大文件的目的。示例代码展示了如何创建一个10MB的文件，并将其填充为全零数据。掌握这些方法，可以方便地在例如日志系统或磁盘队列等场景中，预先创建测试文件或初始…
本文深入探讨 express.js 中间件函数中的 `next()` 参数。它负责将控制权传递给请求-响应周期中的下一个中间件或路由处理程序。文章将详细解释 `next()` 的工作原理、中间件的注册与执行顺序，以及不正确使用 `next()` 可能导致请求挂起的风险，并通过代码示例和实际应用场景，…
使用Python的cProfile模块分析脚本性能最直接的方式是通过命令行执行python -m cProfile your_script.py，它会输出每个函数的调用次数、总耗时、累积耗时等关键指标，帮助定位性能瓶颈；为进一步分析，可将结果保存为文件python -m cProfile -o ou…
本文档旨在解决在使用 WebCodecs VideoDecoder 进行视频解码时，实现精确逐帧回退的问题。通过比较帧的时间戳与目标帧的时间戳，可以避免渲染中间帧，从而提高用户体验。本文将提供详细的解决方案和示例代码，帮助开发者实现精确的视频帧控制。 在使用 WebCodecs VideoDecod…
微信扫一扫 
支付宝扫一扫 
