本文介绍如何在Pandas DataFrame中，基于现有ID和Name列，为每个ID分组内的不同Name实例生成一个唯一的复合ID。通过结合groupby().transform()和pd.factorize()函数，可以高效地为每个ID下的不同Name生成从1开始的序列号，并与原ID拼接，解决传统方法在大数据集上的效率问题或逻辑错误，确保新ID的全局唯一性和分组内顺序性。
1. 问题描述
在数据处理中，我们经常遇到需要为dataframe中的记录生成唯一标识符的场景。假设我们有一个包含name和id两列的dataframe，其结构如下：
A1B2A1C3B2D3E1F2
可以看到，原始的ID列并非在所有上下文中都是唯一的。例如，ID=1对应了Name=’A’和Name=’E’，而ID=3则对应了Name=’C’和Name=’D’。我们的目标是创建一个新的ID_new列，使得在每个原始ID的分组内，每一个不同的Name实例都能获得一个唯一的序列号，并与原始ID拼接，形成类似原始ID_序列号的格式。期望的输出结果如下：
A11_1B22_1A11_1C33_1B22_1D33_2E11_2F22_2
需要注意的是，传统的ngroup()方法在处理大规模数据集（例如超过35,000个ID）时可能效率不高，而cumcount()虽然能生成序列号，但它会为每个实例递增，无法实现对相同Name在同一ID分组内保持相同序列号的需求。例如，ID=1的第一个A和第二个A都应是1_1，而cumcount()会生成1_1和1_2。
2. 解决方案：结合groupby().transform()与pd.factorize()
为了解决上述问题，我们可以巧妙地利用Pandas的groupby().transform()方法结合pd.factorize()函数。factorize()能够将Series中的唯一值编码成数值，并返回一个整数数组和唯一值的数组。当它应用于groupby().transform()时，我们可以在每个分组内部对指定列的唯一值进行编码，从而生成分组内的唯一序列号。
2.1 示例数据准备
首先，我们创建上述问题的示例DataFrame：
import pandas as pddata = { 'Name': ['A', 'B', 'A', 'C', 'B', 'D', 'E', 'F'], 'ID': [1, 2, 1, 3, 2, 3, 1, 2]}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
输出:
原始DataFrame: Name ID0 A 11 B 22 A 13 C 34 B 25 D 36 E 17 F 2
2.2 生成分组内序列号
接下来，我们使用groupby(‘ID’)对DataFrame按ID列进行分组。在每个分组内部，我们对Name列应用一个Lambda函数，该函数利用pd.factorize()来为分组内不同的Name生成唯一的序列号。transform()方法确保了结果Series的索引与原始DataFrame对齐。
# 定义一个Lambda函数，用于factorize并转换为1-based索引f = lambda x: pd.factorize(x)[0] + 1# 对'ID'分组，并在每个分组内对'Name'进行factorize编码# transform确保结果Series与原始DataFrame的行数相同，并正确对齐s = df.groupby('ID')['Name'].transform(f).astype(str)print("n分组内Name的序列号:")print(s)
输出:
分组内Name的序列号:0 11 12 13 14 15 26 27 2Name: Name, dtype: object
解释:
pd.factorize(x)返回一个元组，第一个元素是编码后的整数数组（从0开始），第二个元素是唯一的原始值数组。我们只需要编码后的整数数组，所以使用[0]。+ 1是为了将序列号从0-based转换为1-based，使其更符合人类阅读习惯。astype(str)将序列号转换为字符串，为后续的字符串拼接做准备。
2.3 拼接生成新的复合ID
最后一步是将原始的ID列（转换为字符串）与上一步生成的序列号Series s进行拼接，使用下划线_作为分隔符。
df['ID_new'] = df['ID'].astype(str).str.cat(s, sep='_')print("n最终结果DataFrame:")print(df)
输出:
最终结果DataFrame: Name ID ID_new0 A 1 1_11 B 2 2_12 A 1 1_13 C 3 3_14 B 2 2_15 D 3 3_26 E 1 1_27 F 2 2_2
3. 完整代码示例
将上述步骤整合，得到完整的解决方案代码：
import pandas as pd# 示例数据data = { 'Name': ['A', 'B', 'A', 'C', 'B', 'D', 'E', 'F'], 'ID': [1, 2, 1, 3, 2, 3, 1, 2]}df = pd.DataFrame(data)# 1. 定义factorize函数并转换为1-based序列f = lambda x: pd.factorize(x)[0] + 1# 2. 按'ID'分组，对'Name'进行factorize编码，并使用transform对齐结果# 将结果转换为字符串类型s = df.groupby('ID')['Name'].transform(f).astype(str)# 3. 将原始'ID'（转换为字符串）与生成的序列号进行拼接df['ID_new'] = df['ID'].astype(str).str.cat(s, sep='_')print("生成唯一复合ID后的DataFrame:")print(df)
4. 关键函数解析
pandas.factorize(values):功能：将一个Series或数组中的唯一值编码为数值类型。返回：一个元组(codes, uniques)。codes是一个整数数组，表示每个原始值对应的编码；uniques是一个数组，包含所有唯一的原始值。在本例中，pd.factorize(x)[0]获取了编码后的整数数组，这些整数从0开始，为分组内的每个唯一Name分配一个唯一的数字。GroupBy.transform(func):功能：对分组对象应用一个函数，并返回一个与原始DataFrame（或Series）具有相同索引的Series或DataFrame。优点：它将分组操作的结果“广播”回原始DataFrame的结构，确保了结果与原始数据行的对齐，这对于创建新列非常有用。在本例中，transform(f)将factorize操作应用到每个ID分组的Name列，并将生成的序列号正确地映射回原始的每一行。Series.str.cat(others, sep=None, na_rep=None):功能：将Series中的字符串元素与其他字符串、Series或列表中的字符串进行拼接。参数：sep指定拼接时的分隔符。在本例中，df[‘ID’].astype(str).str.cat(s, sep=’_’)将ID列的字符串表示和序列号Series s的字符串表示通过_连接起来。
5. 注意事项与总结
数据类型转换: 在使用str.cat()进行字符串拼接之前，务必确保所有参与拼接的Series都已转换为字符串类型（例如通过astype(str)），否则可能引发类型错误。性能: pd.factorize()是一个高度优化的函数，在处理大量数据时表现出色。结合groupby().transform()，这种方法能够高效地完成分组内的唯一编码任务，即使面对数万甚至数十万条记录也能保持良好的性能。可读性与灵活性: 这种方法代码简洁，逻辑清晰。通过修改f函数，可以灵活调整序列号的起始值或编码逻辑。与cumcount()的区别: cumcount()为每个分组内的每个实例简单地递增计数，而factorize()则关注分组内唯一值的编码。因此，当需要为分组内的相同值分配相同的序列号时，factorize()是更优的选择。
通过上述方法，我们成功地为DataFrame中的记录创建了满足特定需求的唯一复合ID，克服了传统方法在特定场景下的局限性，提供了一个高效且灵活的解决方案。
以上就是Pandas中基于多列生成唯一复合ID的策略的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1373430.html
微信扫一扫 
支付宝扫一扫 
