本教程详细介绍了如何利用Pandas库，在两个DataFrame之间进行数据整合与数值分配。核心方法是先计算第一个DataFrame中键的出现频率，然后用这些频率对第二个DataFrame中匹配键的数值进行标准化（即按比例分割），最后通过左连接将处理后的数据合并到原始结构中，实现按键匹配并按出现次数分配数值的需求。
在数据处理中，我们经常会遇到需要根据一个dataframe中键的重复出现次数，来按比例分配另一个dataframe中与这些键关联的数值的情况。例如，当一个总价值需要被分摊到多个相同项目的实例上时，这种需求尤为常见。本教程将详细阐述如何使用pandas库高效地解决这类问题。
场景描述
假设我们有两个Pandas DataFrame：
DataFrame 1 (df1)：包含一个或多个键列（例如id），其中键值可能重复。这个DataFrame代表了我们需要将数据分配到的目标结构。DataFrame 2 (df2)：包含唯一的键列（与df1中的键列匹配）以及一系列需要被分配的数值列。这些数值代表了每个唯一键的总量。
我们的目标是创建一个新的DataFrame，其结构与df1相似，但其中的数值列是从df2中获取并根据df1中对应键的出现次数进行均等分配后的结果。
解决方案核心思路
解决此问题的关键在于以下几个步骤：
统计键的出现频率：首先，我们需要知道df1中每个id键值出现了多少次。标准化/分配df2中的数值：利用上一步得到的频率，将df2中每个id对应的数值除以其在df1中的出现次数。这样，每个df2中的总值就被“分割”成了其在df1中每个实例应得的份额。合并数据：将经过标准化处理的df2与原始的df1进行合并，以生成最终的结果DataFrame。
逐步实现
我们将使用Pandas的merge()、value_counts()和div()等函数来完成上述步骤。
示例数据准备
为了更好地说明，我们首先创建与问题描述中一致的示例DataFrame：
import pandas as pdimport numpy as np# DataFrame 1: 包含重复的键data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}df1 = pd.DataFrame(data1)# DataFrame 2: 包含唯一的键和待分配的数值data2 = {'id': ['A', 'B', 'C'], 'Col1': [400, 200, 600], 'Col2': [100, np.nan, 800], # 使用np.nan表示空值 'Col3': [20, 800, np.nan]}df2 = pd.DataFrame(data2)print("df1:")print(df1)print("ndf2:")print(df2)
输出的DataFrame如下：
df1: id0 A1 B2 A3 C4 A5 A6 Cdf2: id Col1 Col2 Col30 A 400 100.0 20.01 B 200 NaN 800.02 C 600 800.0 NaN
核心代码实现
以下是实现数值分配和合并的Pandas代码：
# 步骤1: 统计df1中'id'列的每个键值出现的次数# 结果是一个Series，索引是id，值是计数id_counts = df1['id'].value_counts()print("nid_counts (df1中每个id的出现次数):")print(id_counts)# 步骤2: 标准化df2中的数值# 1. 将df2的'id'列设置为索引，以便与id_counts对齐# 2. 使用div()函数将df2中除'id'列外的所有数值列除以对应的id_counts# axis=0表示按行（索引）对齐进行除法df2_standardized = df2.set_index('id').div(id_counts, axis=0)print("ndf2_standardized (df2中数值按df1中id出现次数分配后):")print(df2_standardized)# 步骤3: 合并数据# 1. 为了保留df1的原始索引顺序，先reset_index()将其转换为普通列# 2. 使用merge()函数进行左连接，on='id'表示根据'id'列匹配# 3. 合并后，重新设置索引为原始索引，并reindex()以确保顺序与df1一致out = (df1.reset_index() .merge(df2_standardized, on='id', how='left') .set_index('index').reindex(df1.index) )print("n最终输出DataFrame (out):")print(out)
代码详解
id_counts = df1[‘id’].value_counts():
df1[‘id’] 选取了df1中的id列。.value_counts() 方法计算了id列中每个唯一值的出现频率，返回一个Pandas Series。例如，对于示例数据，它会返回A: 4, B: 1, C: 2。这个Series的索引就是id值。
df2_standardized = df2.set_index(‘id’).div(id_counts, axis=0):
df2.set_index(‘id’): 这一步非常关键。它将df2的id列设置为其索引。这样做是为了让div()函数能够根据id值（现在是索引）与id_counts Series的索引进行对齐。.div(id_counts, axis=0): 对df2中除了索引之外的所有数值列执行除法操作。id_counts：作为除数。Pandas在执行操作时，会根据索引（即id值）自动将df2的行与id_counts中的对应计数对齐。axis=0: 指定按行进行操作，即df2的每一行（对应一个id）都会被id_counts中对应id的计数所除。例如，df2中id=’A’的行，其Col1、Col2、Col3值将全部除以4。
out = (df1.reset_index().merge(df2_standardized, on=’id’, how=’left’).set_index(‘index’).reindex(df1.index))
df1.reset_index(): 在合并之前，将df1的当前索引（通常是默认的0到N-1整数索引）转换为一个名为’index’的普通列。这样做是为了在合并后能够方便地恢复df1的原始行顺序。.merge(df2_standardized, on=’id’, how=’left’):merge() 函数用于将两个DataFrame基于一个或多个键列进行合并。df2_standardized：这是经过处理后的df2。注意，它的id列现在是索引，merge函数会自动将其作为合并键。on=’id’: 指定合并的键列。how=’left’: 执行左连接。这意味着df1中的所有行都将被保留，如果df1中的某个id在df2_standardized中没有匹配项，则相应的数值列将填充NaN。.set_index(‘index’).reindex(df1.index):set_index(‘index’): 将之前保存的原始索引列’index’重新设置回DataFrame的索引。.reindex(df1.index): 这一步是可选但推荐的，它确保最终DataFrame的行顺序与原始df1的行顺序完全一致。
最终输出
id Col1 Col2 Col30 A 100.0 25.0 5.01 B 200.0 NaN 800.02 A 100.0 25.0 5.03 C 300.0 400.0 NaN4 A 100.0 25.0 5.05 A 100.0 25.0 5.06 C 300.0 400.0 NaN
注意事项
数据类型：由于进行了除法操作，数值列的数据类型可能会从整数变为浮点数。如果需要整数结果，可能需要进行额外的类型转换（例如astype(int)），但要注意处理NaN值（通常需要先填充NaN才能转为整数）。NaN 值处理：如果df2中存在NaN值，div()操作会保留这些NaN。在合并后，如果df1中的某个id在df2中没有对应项，或者df2中对应列本身就是NaN，结果中也会出现NaN。根据具体业务需求，可能需要进一步使用fillna()等方法处理这些缺失值。性能考量：对于非常大的DataFrame，merge操作可能会比较耗时。然而，Pandas的底层实现通常是高度优化的。对于此类基于键的合并和计算，上述方法通常是高效且Pythonic的。键的唯一性：df2中的id列必须是唯一的，否则set_index(‘id’)会导致错误或行为不确定。在实际应用中，应确保df2的键是唯一的，或者在设置索引前进行聚合处理。
总结
通过结合使用value_counts()、set_index()、div()和merge()等Pandas函数，我们可以优雅且高效地解决将DataFrame中的总值按比例分配到另一个DataFrame中重复键实例上的问题。这种方法不仅代码简洁，而且能够很好地处理数据对齐和缺失值等常见挑战，是Pandas数据处理能力的一个典型应用。掌握这种模式对于处理复杂的数据整合和转换任务至关重要。
以上就是高效处理Pandas DataFrame中基于键匹配的数值按比例分配的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1376937.html
微信扫一扫 
支付宝扫一扫 
