本教程探讨了在pandas dataframe中，如何将从原始数据集抽样获得的新列值高效地添加回去。文章介绍了三种主要策略：利用索引对齐的`pd.merge`、通过`.loc`直接基于索引进行赋值，以及使用`numpy.where`进行条件性赋值。这些方法旨在避免传统合并操作可能导致的行数增加问题，确保数据集成准确无误。
在数据分析实践中，我们经常需要从一个大型数据集中抽取一部分样本进行分析或标记，然后将这些标记信息作为新列添加回原始DataFrame。这个过程看似简单，但如果不正确处理，特别是当尝试使用传统的合并（join）操作时，可能会遇到意外增加行数的问题。本教程将详细介绍几种高效且准确的方法，以解决这一常见挑战。
1. 问题背景：传统合并的陷阱
当从一个DataFrame中抽样得到一个子集，并给这个子集添加新列后，直接使用如df.merge(df_sample, how=’left’)这样的操作，如果合并键（通常是索引或某个ID列）在抽样数据中存在重复，或者合并方式选择不当，可能会导致原始DataFrame的行数增加。这是因为merge操作会根据合并键找到所有匹配项，如果抽样数据中有多个相同的键，则会创建多行来容纳这些匹配。正确的做法是确保合并基于唯一的标识符，并且妥善处理非匹配项。
2. 方法一：基于索引对齐的 pd.merge
pd.merge是Pandas中用于合并DataFrame的强大工具。当我们将一个新列从抽样数据添加回原始DataFrame时，最稳健的方法之一是基于两个DataFrame的索引进行对齐合并。通过指定left_index=True和right_index=True，我们可以确保合并操作是根据行索引进行的，这通常能避免行数增加的问题，因为原始DataFrame的每个索引只对应一行。
示例代码：
硅基智能
基于Web3.0的元宇宙，去中心化的互联网，高质量、沉浸式元宇宙直播平台，用数字化重新定义直播
62 查看详情 
import pandas as pdimport numpy as np# 假设我们有一个名为'test.csv'的原始数据文件# 为了演示，我们创建一个虚拟的DataFramedata = {'colA': np.random.rand(100), 'colB': np.random.randint(1, 100, 100), 'colC': np.random.choice(['X', 'Y', 'Z'], 100)}df = pd.DataFrame(data)print("原始DataFrame的头部：")print(df.head())print(f"原始DataFrame的行数：{len(df)}")# 1. 从原始DataFrame中抽取5%的样本# random_state用于确保结果的可复现性# replace=False确保不会抽取到重复的行索引df_sample = df.sample(frac=0.05, random_state=42, replace=False)# 2. 给抽样数据添加新列'Flag'，并赋值为'Y'df_sample["Flag"] = 'Y'print("n抽样DataFrame的头部：")print(df_sample.head())# 3. 使用pd.merge基于索引将'Flag'列添加回原始DataFrame# left_index=True 和 right_index=True 确保基于索引合并# how='left' 表示保留原始DataFrame的所有行，即使在df_sample中没有匹配的索引df_merged = pd.merge(df, df_sample[['Flag']], left_index=True, right_index=True, how='left')# 4. 填充未标记（即非抽样）行的'Flag'列为'N'或NaNdf_merged['Flag'] = df_merged['Flag'].fillna('N') # 或 df_merged['Flag'].fillna(pd.NA)print("n合并后的DataFrame的头部：")print(df_merged.head())print(f"合并后的DataFrame的行数：{len(df_merged)}")print("n'Flag'列的分布：")print(df_merged['Flag'].value_counts())
注意事项：
how=’left’是关键，它确保了原始DataFrame的所有行都被保留。df_sample[[‘Flag’]]：在合并时，我们只选择df_sample中需要合并的列（这里是Flag），以避免引入不必要的列或列名冲突。fillna(‘N’)：合并后，原始DataFrame中未被抽样到的行，其Flag列会是NaN。根据需求，可以将其填充为’N’或其他默认值。
3. 方法二：使用 .loc 进行直接赋值
对于这种场景，更简洁且通常更高效的方法是直接使用Pandas的.loc索引器进行赋值。这种方法通过获取抽样数据的索引，然后直接在原始DataFrame中定位这些行，并为新列赋值。
示例代码：
import pandas as pdimport numpy as npdata = {'colA': np.random.rand(100), 'colB': np.random.randint(1, 100, 100), 'colC': np.random.choice(['X', 'Y', 'Z'], 100)}df_loc = pd.DataFrame(data)print("原始DataFrame的头部：")print(df_loc.head())print(f"原始DataFrame的行数：{len(df_loc)}")# 1. 抽取5%的样本，并获取这些样本的索引sampled_indices = df_loc.sample(frac=0.05, random_state=42, replace=False).index# 2. 初始化新列'Flag'，默认为'N'df_loc['Flag'] = 'N'# 3. 使用.loc根据抽样索引直接赋值为'Y'df_loc.loc[sampled_indices, 'Flag'] = 'Y'print("n使用.loc赋值后的DataFrame的头部：")print(df_loc.head())print(f"使用.loc赋值后的DataFrame的行数：{len(df_loc)}")print("n'Flag'列的分布：")print(df_loc['Flag'].value_counts())
优点：
简洁高效： 避免了合并操作的开销，代码更直观。直接修改： 直接在原始DataFrame上进行操作，无需创建新的DataFrame。
4. 方法三：结合 numpy.where 进行条件性赋值
当需要根据条件（例如，是否在抽样索引中）为新列赋不同的值时，numpy.where是一个非常强大的工具。它允许我们基于一个布尔条件数组来选择两个值中的一个进行赋值。
示例代码：
import pandas as pdimport numpy as npdata = {'colA': np.random.rand(100), 'colB': np.random.randint(1, 100, 100), 'colC': np.random.choice(['X', 'Y', 'Z'], 100)}df_np = pd.DataFrame(data)print("原始DataFrame的头部：")print(df_np.head())print(f"原始DataFrame的行数：{len(df_np)}")# 1. 抽取5%的样本，并获取这些样本的索引sampled_indices = df_np.sample(frac=0.05, random_state=42, replace=False).index# 2. 使用numpy.where创建新列'Flag'# 条件：df_np的索引是否在sampled_indices中# 如果条件为真，赋值为'Y'；否则，赋值为'N'df_np['Flag'] = np.where(df_np.index.isin(sampled_indices), 'Y', 'N')print("n使用numpy.where赋值后的DataFrame的头部：")print(df_np.head())print(f"使用numpy.where赋值后的DataFrame的行数：{len(df_np)}")print("n'Flag'列的分布：")print(df_np['Flag'].value_counts())
优点：
灵活的条件赋值： 能够优雅地处理“如果…则A，否则B”的赋值逻辑。性能优异： numpy操作通常比纯Pandas迭代更快。
总结
本教程介绍了在Pandas DataFrame中将基于抽样数据的新列添加回原始DataFrame的三种有效方法：
基于索引对齐的 pd.merge：适用于需要更复杂的合并逻辑，或当抽样数据可能包含其他需要合并的列时。关键在于使用left_index=True, right_index=True, how=’left’。使用 .loc 进行直接赋值：最简洁、最直接且通常最推荐的方法，适用于只需根据抽样索引来标记新列的场景。结合 numpy.where 进行条件性赋值：当需要根据抽样状态进行二元（或多元）条件赋值时，这是一个非常高效和灵活的选择。
在实际应用中，推荐优先考虑使用.loc直接赋值或numpy.where，因为它们通常在性能和代码简洁性方面表现更优。无论选择哪种方法，确保抽样过程的可复现性（通过设置random_state）和对非抽样行的妥善处理（如填充NaN或默认值）都是至关重要的。
以上就是Pandas DataFrame中基于抽样数据高效添加新列的指南的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/575618.html
微信扫一扫 
支付宝扫一扫 
