本文详细介绍了在pandas dataframe中根据列内容包含特定子字符串来删除行的方法。针对常见的使用`str.contains()`方法却未能成功删除行的问题，教程重点阐述了`case`参数的重要性，并提供了结合`na=false`和`reset_index(drop=true)`的完整解决方案，确保实现精确且高效的数据清理。
在数据清洗过程中，我们经常需要根据DataFrame中某一列的值来过滤或删除行。其中一个常见场景是，当某一列（例如“Title”列）包含特定的部分字符串时，需要删除对应的整行数据。虽然Pandas提供了强大的字符串操作功能，但在实际操作中，有时会遇到看似正确的代码却无法生效的问题。本教程将深入探讨如何使用str.contains()方法，并解决其可能遇到的陷阱。
理解问题：为什么 str.contains() 可能不生效？
用户在尝试删除包含特定子字符串“NQR”的行时，遇到了代码运行无错但目标行依然存在的问题。常用的尝试包括：
# 尝试1：使用 isin，不适用于部分字符串匹配df[~df['Title'].isin(['NQR'])]# 尝试2：使用 str.contains，但可能忽略了关键参数df[~df.Title.str.contains("NQR", na=False)]# 尝试3：使用 '|'.join 构造多个匹配字符串，同样可能忽略关键参数discard = ["NQR"]df[~df.Title.str.contains('|'.join(discard), na=False)]
这些尝试失败的原因，往往在于对str.contains()方法的某些关键参数理解不足，尤其是当数据中存在大小写差异时。
核心解决方案：利用 str.contains() 的 case 参数
pandas.Series.str.contains() 方法是处理此类问题的利器，它能够检查Series中的每个字符串是否包含指定的模式（子字符串或正则表达式）。其关键参数包括：
pat: 要搜索的模式（字符串或正则表达式）。case: 布尔值，默认为True。如果为True，则执行区分大小写的匹配；如果为False，则执行不区分大小写的匹配。na: 任何非字符串值（如NaN）的处理方式。如果为False，则NaN值将被视为不包含模式。regex: 布尔值，默认为True。如果为True，则将pat解释为正则表达式；如果为False，则将其解释为文字字符串。
对于本例中“NQR”的匹配，如果原始数据中可能存在“nqr”、“NQR”、“NqR”等多种大小写形式，而我们希望无论大小写都能匹配并删除，那么case=False参数就变得至关重要。
示例代码与详细步骤
假设我们有一个DataFrame df，其中包含一个名为“Title”的列：
import pandas as pd# 创建一个示例DataFramedata = { 'ID': [1, 2, 3, 4, 5, 6], 'Title': ['Product A', 'Product B NQR', 'Service C', 'Product D nqr', 'Feature E', 'Another NQR Item']}df = pd.DataFrame(data)print("原始DataFrame:")print(df)# 目标：删除 'Title' 列中包含 'NQR' (不区分大小写) 的行# 步骤1：使用 str.contains() 结合 case=False 进行不区分大小写的匹配# df['Title'].str.contains('NQR', na=False, case=False) 会返回一个布尔Series# True 表示包含 'NQR' (不区分大小写)，False 表示不包含或为NaN# 步骤2：使用波浪线 ~ 对布尔Series取反，选择不包含 'NQR' 的行# ~df['Title'].str.contains('NQR', na=False, case=False) 会选择我们想要保留的行# 步骤3：将筛选结果赋值回原DataFrame，完成行删除df = df[~df['Title'].str.contains('NQR', na=False, case=False)]# 步骤4：重置DataFrame的索引# 当删除行后，DataFrame的索引会变得不连续。reset_index(drop=True) 可以重新生成一个从0开始的连续索引。# drop=True 参数表示不将旧索引作为新列添加到DataFrame中。df = df.reset_index(drop=True)print("n删除包含 'NQR' (不区分大小写) 的行后的DataFrame:")print(df)
代码解释：
df[‘Title’].str.contains(‘NQR’, na=False, case=False)：这行代码会生成一个布尔Series。’NQR’是我们要查找的子字符串。na=False确保任何NaN值在“Title”列中都被视为不包含“NQR”。最关键的是case=False，它告诉Pandas在进行匹配时忽略大小写差异。因此，“Product B NQR”、“Product D nqr”和“Another NQR Item”对应的位置将为True。~：这是一个逻辑非操作符。它将上述布尔Series中的True变为False，False变为True。这样，我们就可以选择那些不包含“NQR”（不区分大小写）的行，即我们想要保留的行。df = df[…]：将筛选后的DataFrame重新赋值给df，从而完成行的删除。df.reset_index(drop=True)：在删除行之后，DataFrame的索引可能会变得不连续。reset_index()方法可以重新生成一个从0开始的默认整数索引。drop=True参数用于防止将旧索引添加为DataFrame中的新列。
注意事项与最佳实践
大小写敏感性 (case 参数)：这是最常见的导致str.contains()“不工作”的原因。务必根据需求设置case=True（区分大小写）或case=False（不区分大小写）。处理缺失值 (na 参数)：如果你的目标列中可能存在NaN值，na参数可以帮助你明确如何处理它们。na=False（推荐）会将NaN值视为不包含模式，而na=True则会将NaN值视为包含模式。正则表达式 (regex 参数)：默认情况下，str.contains()将pat参数解释为正则表达式。如果你的模式是简单的文字字符串，并且不包含任何正则表达式特殊字符（如., *, +, ?, [], (), |, ^, $, ），那么可以省略regex=True或明确设置为regex=False以提高性能。但在本例中，’NQR’是一个普通字符串，所以默认行为是安全的。性能考量：对于非常大的DataFrame，字符串操作可能会比较耗时。如果需要处理大量数据，可以考虑使用向量化操作或NumPy优化。然而，对于大多数常见的数据集，上述Pandas方法已经足够高效。链式操作：为了代码的简洁性，可以将筛选和重置索引操作链式调用，如示例代码所示。
总结
通过本教程，我们深入探讨了在Pandas中根据列内容包含特定子字符串来删除行的有效方法。关键在于正确使用df.column.str.contains()方法，并特别注意case参数以处理大小写敏感性问题。结合na=False处理缺失值和reset_index(drop=True)重置索引，可以确保数据清理操作的准确性和代码的健壮性。掌握这些技巧，将使您在Pandas数据处理中更加得心应手。
以上就是Pandas教程：高效删除包含特定子字符串的行的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381781.html
微信扫一扫 
支付宝扫一扫 
