本文介绍如何在Pandas中，针对用户在不同时间段的零售商使用数据，识别并标记出在后期出现的新增零售商。通过两种高效方法——利用merge函数的indicator参数和MultiIndex.isin方法——详细演示如何创建条件列，从而实现按用户分组的集合差异分析，为数据洞察提供支持。
问题背景与目标
在用户行为分析中，我们经常需要比较不同时间段内用户行为的变化。一个常见的场景是，给定用户在前期（pre-period）和后期（post-period）访问的零售商列表，我们需要识别出在后期才首次出现的新增零售商。这里的关键在于，新增零售商的判断是基于每个用户独立进行的，即对于特定用户而言，某个零售商在后期出现但前期未曾出现，则被视为该用户的新增零售商。
例如，我们有以下两组数据，分别代表用户在前期和后期访问的零售商记录：
import pandas as pd# 前期数据 (sample1)sample1 = pd.DataFrame( { 'user_id': [45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2982, 2982], 'retailer': ['retailer_1', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_1', 'retailer_2'] })# 后期数据 (sample2)sample2 = pd.DataFrame( { 'user_id': [45, 45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2673, 2982, 2982], 'retailer': ['retailer_1', 'retailer_6', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_2', 'retailer_1', 'retailer_2'] })print("前期数据 (sample1):")print(sample1)print("n后期数据 (sample2):")print(sample2)
我们的目标是在后期数据 sample2 中添加一个名为 is_new_retailer 的条件列，如果该行的 (user_id, retailer) 组合在 sample1 中不存在，则标记为1（表示新增），否则标记为0（表示非新增）。
期望的输出结果示例如下：
user_id retailer is_new_retailer0 45 retailer_1 01 45 retailer_6 1 # user 45, retailer_6 在 sample1 中不存在...14 2673 retailer_2 1 # user 2673, retailer_2 在 sample1 中不存在...
方法一：利用 merge 函数的 indicator 参数
Pandas的 merge 函数提供了一个 indicator 参数，可以在合并结果中添加一列，指示每行数据是来自左表、右表还是两者兼有。这对于识别集合差异非常有用。
实现步骤
对 sample2 和 sample1 进行左连接（how=’left’），连接键为 [‘user_id’, ‘retailer’]。设置 indicator=’is_new_retailer’，这将生成一个名为 is_new_retailer 的新列，其值包括 left_only（仅在左表）、right_only（仅在右表）和 both（左右表均有）。筛选 is_new_retailer 列中值为 left_only 的行，这表示这些 (user_id, retailer) 组合仅存在于 sample2 中，而不存在于 sample1 中。将布尔值转换为整数（1表示新增，0表示非新增）。
示例代码
# 方法一：使用 merge 和 indicator 参数def find_new_retailers_with_merge(df_post, df_pre): """ 使用 Pandas merge 函数的 indicator 参数识别新增零售商。 Args: df_post (pd.DataFrame): 后期数据，包含 user_id 和 retailer。 df_pre (pd.DataFrame): 前期数据，包含 user_id 和 retailer。 Returns: pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。 """ # 执行左连接，并使用 indicator 参数 # 连接键是 ['user_id', 'retailer']，确保是按用户-零售商组合进行匹配 merged_df = df_post.merge(df_pre, on=['user_id', 'retailer'], how='left', indicator='_merge_indicator') # 根据 indicator 列判断是否为新增零售商 # 'left_only' 表示该组合只存在于 df_post 中，而不在 df_pre 中 merged_df['is_new_retailer'] = (merged_df['_merge_indicator'] == 'left_only').astype(int) # 移除临时的 indicator 列 merged_df = merged_df.drop(columns=['_merge_indicator']) return merged_dfresult_merge = find_new_retailers_with_merge(sample2, sample1)print("n方法一结果 (使用 merge indicator):")print(result_merge)
注意事项
此方法简洁高效，尤其适用于需要合并数据并同时识别差异的场景。merge 操作会根据连接键的组合进行匹配。如果 sample1 和 sample2 中 (user_id, retailer) 组合存在重复，此方法依然能正确识别新增组合，但如果 df_post 中原始行存在重复，结果中也会保留这些重复。
方法二：利用 MultiIndex.isin 进行多列集合判断
当需要对多列组合进行精确的集合成员判断时，创建 MultiIndex 并使用其 isin 方法是一个非常强大且通用的解决方案。
实现步骤
从 sample2 和 sample1 中分别创建包含 user_id 和 retailer 两列的 MultiIndex。使用 sample2 的 MultiIndex 调用 isin 方法，传入 sample1 的 MultiIndex 作为参数。这将返回一个布尔序列，指示 sample2 中的每个 (user_id, retailer) 组合是否在 sample1 中存在。对布尔序列进行逻辑非（~）操作，因为我们寻找的是 不在 sample1 中的组合。将布尔值转换为整数。
示例代码
# 方法二：使用 MultiIndex.isindef find_new_retailers_with_multiindex(df_post, df_pre): """ 使用 Pandas MultiIndex.isin 方法识别新增零售商。 Args: df_post (pd.DataFrame): 后期数据，包含 user_id 和 retailer。 df_pre (pd.DataFrame): 前期数据，包含 user_id 和 retailer。 Returns: pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。 """ # 从 df_post 和 df_pre 创建 MultiIndex # 这将把 'user_id' 和 'retailer' 组合成一个复合键 multi_index_post = pd.MultiIndex.from_frame(df_post[['user_id', 'retailer']]) multi_index_pre = pd.MultiIndex.from_frame(df_pre[['user_id', 'retailer']]) # 检查 df_post 中的每个复合键是否在 df_pre 中 # (~...) 表示如果不在 df_pre 中，则为 True (即新增) df_post['is_new_retailer'] = (~multi_index_post.isin(multi_index_pre)).astype(int) return df_postresult_multiindex = find_new_retailers_with_multiindex(sample2.copy(), sample1) # 使用 .copy() 避免修改原始 sample2print("n方法二结果 (使用 MultiIndex.isin):")print(result_multiindex)
注意事项
MultiIndex.isin 方法在处理多列组合的集合成员判断时非常直观和高效。此方法直接在原始 DataFrame 上添加列，因此如果需要保留原始 DataFrame，请先进行复制（如示例中的 sample2.copy()）。它不涉及合并操作，因此对于只需要进行集合判断而不需要合并其他列的场景，可能比 merge 更简洁。
总结与比较
两种方法都能有效地识别用户新增零售商，并在后期数据中创建相应的条件列。
merge 与 indicator 参数：
优点：代码简洁，易于理解，特别适合需要将两个数据集合并并同时标记差异的场景。缺点：会生成一个中间的 _merge_indicator 列，需要后续删除。如果只需要判断集合成员关系而不需要合并其他列，可能会显得稍微冗余。
MultiIndex.isin 方法：
优点：更直接地表达了多列组合的集合成员判断逻辑，适用于纯粹的集合操作。性能通常也很好。缺点：需要创建 MultiIndex 对象，对于不熟悉 MultiIndex 的用户来说可能稍显复杂。
在实际应用中，选择哪种方法取决于具体的需求和个人偏好。如果你的任务是基于一个主表（后期数据）去检查其记录在另一个表（前期数据）中的存在性，并且主要关注的是“新增”标记，那么 MultiIndex.isin 提供了一种非常直接且高效的解决方案。如果你的分析还涉及从前期数据中引入其他列，或者你更习惯SQL风格的连接操作，那么 merge 配合 indicator 也是一个非常好的选择。两种方法都体现了Pandas在处理复杂数据关系方面的灵活性和强大功能。
以上就是利用Pandas创建条件列：识别用户新增零售商的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1373466.html
微信扫一扫 
支付宝扫一扫 
