本文旨在指导读者如何使用 Pandas 在用户行为数据中识别特定时期内出现的新零售商。我们将探讨两种高效的方法：利用 pd.merge 的 indicator 参数进行合并分析，以及通过创建 MultiIndex 并结合 isin 方法进行多列条件判断，最终为每个零售商记录生成一个“是否为新零售商”的条件列。
引言
在数据分析场景中，我们经常需要比较两个数据集，以识别在第二个数据集中出现但在第一个数据集中不存在的实体。例如，在用户行为分析中，我们可能需要找出用户在“后观察期”访问的哪些零售商是“前观察期”从未访问过的。这要求我们针对每个用户，比较其在两个时期内的零售商集合，并标记出新增的零售商。传统的 isin() 或 loc[] 方法在处理多列（如 user_id 和 retailer 组合）的条件判断时可能不够直观或高效。本教程将介绍两种使用 pandas 解决此类问题的专业方法。
数据准备
首先，我们创建两个示例 DataFrame，分别代表用户在“前观察期”和“后观察期”的零售商访问记录。
import pandas as pd# 前观察期数据sample1 = pd.DataFrame( { 'user_id': [45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2982, 2982], 'retailer': ['retailer_1', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_1', 'retailer_2'] })# 后观察期数据sample2 = pd.DataFrame( { 'user_id': [45, 45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2673, 2982, 2982], 'retailer': ['retailer_1', 'retailer_6', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_2', 'retailer_1', 'retailer_2'] })print("Sample 1 (前观察期):")print(sample1)print("nSample 2 (后观察期):")print(sample2)
我们的目标是在 sample2 中添加一个名为 is_new_retailer 的列，如果 sample2 中的某个 (user_id, retailer) 组合在 sample1 中不存在，则该列值为 1，否则为 0。
方法一：使用 pd.merge 的 indicator 参数
Pandas 的 merge 函数提供了一个 indicator 参数，当设置为 True 或一个字符串时，它会生成一个额外的列，指示每行记录的来源。这对于识别仅存在于左 DataFrame、仅存在于右 DataFrame 或同时存在于两者的数据非常有用。
执行左合并: 我们将 sample2 作为左 DataFrame，sample1 作为右 DataFrame，基于 user_id 和 retailer 列进行左合并。indicator=’is_new_retailer’ 会创建一个新列来标记合并结果。解释 indicator 结果: indicator 列将包含 ‘left_only’ (仅存在于 sample2)、’right_only’ (仅存在于 sample1，但在左合并中不会出现) 或 ‘both’ (同时存在于两者)。转换为二进制标志: 我们关注的是 ‘left_only’ 的情况，这意味着该 (user_id, retailer) 组合在 sample2 中有，但在 sample1 中没有，即它是一个新零售商。我们将 ‘left_only’ 转换为 1，其他情况转换为 0。
# 使用 left merge 和 indicator 参数# 将 sample2 作为左表，sample1 作为右表# indicator='is_new_retailer' 会生成一个名为 'is_new_retailer' 的列，# 标记每行记录的来源 ('left_only', 'right_only', 'both')merged_df = sample2.merge(sample1, on=['user_id', 'retailer'], how='left', indicator='is_new_retailer')# 将 'is_new_retailer' 列的 'left_only' 值转换为 1 (表示新零售商)，其他转换为 0# 'left_only' 意味着该组合只存在于 sample2 中，而不存在于 sample1 中merged_df['is_new_retailer'] = merged_df['is_new_retailer'].eq('left_only').astype(int)print("n方法一：使用 pd.merge 的 indicator 参数")print(merged_df)
注意事项：这种方法在 (user_id, retailer) 组合在两个 DataFrame 中都是唯一的情况下表现完美。如果存在重复，merge 操作可能会产生额外的行，但这通常不是问题，因为我们通常关心的是组合的唯一性，而不是行的计数。
方法二：利用 MultiIndex.isin 进行多列条件判断
当需要基于多列的组合来检查成员关系时，创建 MultiIndex 是一个非常灵活且强大的方法。这种方法的核心思想是将多个列组合成一个复合索引，然后使用 Index.isin() 方法来检查一个复合索引中的元素是否存在于另一个复合索引中。
创建 MultiIndex: 分别从 sample1 和 sample2 中选择 user_id 和 retailer 列，创建两个 MultiIndex 对象。使用 isin() 检查成员关系: 使用 sample2 的 MultiIndex 调用 isin() 方法，并传入 sample1 的 MultiIndex。这将返回一个布尔 Series，指示 sample2 中每个 (user_id, retailer) 组合是否在 sample1 中存在。转换为二进制标志: 将布尔 Series 取反 (~)，然后转换为整数类型 (astype(int))，其中 True (不在 sample1 中) 变为 1，False (在 sample1 中) 变为 0。
# 创建 sample2 的 MultiIndex，包含 user_id 和 retailermux1 = pd.MultiIndex.from_frame(sample2[['user_id', 'retailer']])# 创建 sample1 的 MultiIndex，包含 user_id 和 retailermux2 = pd.MultiIndex.from_frame(sample1[['user_id', 'retailer']])# 检查 mux1 中的每个组合是否在 mux2 中存在# (~mux1.isin(mux2)) 表示：如果 mux1 中的组合不在 mux2 中，则为 True (即为新零售商)sample2['is_new_retailer'] = (~mux1.isin(mux2)).astype(int)print("n方法二：利用 MultiIndex.isin 进行多列条件判断")print(sample2)
优点：这种方法在概念上更直接地表达了“检查一个多列组合是否存在于另一个多列组合集合中”的需求。它避免了 merge 操作可能带来的行数变化，直接在原始 DataFrame 上添加新列，尤其适用于需要精确控制行匹配的场景。
总结与注意事项
我们探讨了两种在 Pandas 中创建条件列以识别“新”实体的高效方法：
pd.merge 结合 indicator 参数: 适用于通过合并操作来识别左右 DataFrame独有或共有的记录。其优点是直观且代码简洁，尤其适合在合并过程中直接生成标志。MultiIndex.isin 方法: 适用于需要基于多列组合进行成员关系检查的场景。它提供了更精细的控制，直接在原始 DataFrame 上进行判断，避免了合并可能带来的额外行。
在选择方法时，请考虑以下几点：
数据量: 对于非常大的数据集，两种方法的性能可能有所不同。merge 通常在 C 语言层面实现，可能在某些情况下更快，但 MultiIndex 的查找效率也很高。建议在实际应用中对大规模数据进行性能测试。重复值处理: 两种方法都能正确处理 (user_id, retailer) 组合的唯一性。merge 方法在 on 列存在重复时会产生笛卡尔积，但 indicator 列的标记依然准确；MultiIndex.isin 则直接基于组合的唯一性进行判断。可读性与意图: MultiIndex.isin 更直接地表达了“检查多列组合的成员关系”这一意图，对于理解代码逻辑可能更为清晰。
通过这两种方法，您可以灵活高效地在 Pandas 中处理复杂的条件判断，为您的数据分析任务提供强大的支持。
以上就是使用 Pandas 高效识别用户新零售商：条件列创建教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1373436.html
微信扫一扫 
支付宝扫一扫 
