本文详细介绍了如何在pandas dataframe中，根据指定列（如’city’）对数据进行分组，并为每个组内的记录生成从1开始的递增序列id。通过结合使用`groupby()`方法和`cumcount()`函数，可以有效地实现分组计数重置的需求，从而构建出符合业务逻辑的复合id字符串，避免了传统索引计数无法按组重置的问题。
在数据处理和分析中，我们经常需要为数据集中的记录生成唯一的标识符（ID）。当这些ID需要根据某个分类字段进行分组，并且在每个组内重新开始递增计数时，传统的全局索引或简单计数方法就无法满足需求。例如，在一个包含多个城市的数据集中，我们可能希望为每个城市的居民生成一个从1开始的本地ID，而不是一个跨城市的全局ID。
问题描述与传统方法的局限性
假设我们有一个包含“城市”（City）和“姓名”（Name）的DataFrame，目标是生成一个复合ID，格式为“城市前三位-姓名前三位-组内序号”。如果简单地使用DataFrame的全局索引进行拼接，如下所示：
import pandas as pddata = { 'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'], 'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']}df = pd.DataFrame(data)# 错误尝试：使用全局索引df['Id_Global'] = df.City.str[:3] + '-' + df.Name.str[:3] + '-' + df.index.astype(str)print("使用全局索引的ID：")print(df)
输出结果会是：
使用全局索引的ID： City Name Id_Global0 Paris John Par-Joh-01 Paris Paul Par-Pau-12 Paris Pierre Par-Pie-23 Paris Paula Par-Pau-34 Rome Riccardo Rom-Ric-45 Rome Jean-Paul Rom-Jea-56 Rome Franc Rom-Fra-6
可以看到，当城市从“Paris”变为“Rome”时，ID的序号并没有从1（或0）重新开始计数，而是继续了全局的递增。这与我们的期望不符。
解决方案：使用 GroupBy.cumcount()
Pandas提供了一个非常强大的工具来解决这类分组计数问题：DataFrame.groupby().cumcount()。这个函数能够对DataFrame按指定列进行分组，并为每个组内的行生成一个从0开始的递增计数。
Supermoon
The AI-Powered Inbox for Growing Teams
126 查看详情
cumcount() 函数详解
groupby(‘列名’): 首先，我们需要根据哪个列来定义“组”。在这个例子中，就是’City’列。.cumcount(): 对每个分组内部的行进行累积计数。它会为每个组的第一行返回0，第二行返回1，依此类推。
实现步骤
分组并生成组内计数： 使用 df.groupby(‘City’).cumcount() 为每个城市生成一个从0开始的序列号。调整计数： cumcount() 返回的是0-indexed的计数，如果我们需要从1开始，可以简单地加上1：.add(1)。类型转换： 将生成的数值型计数转换为字符串，以便与城市和姓名的前缀进行拼接：.astype(str)。拼接字符串： 将城市前缀、姓名前缀和处理后的组内序号拼接起来，形成最终的ID。
示例代码
import pandas as pd# 原始数据data = { 'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'], 'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']}df = pd.DataFrame(data)# 生成符合期望的IDdf['Id'] = (df.City.str[:3] + '-' + # 城市前三位 df.Name.str[:3] + '-' + # 姓名前三位 df.groupby('City').cumcount().add(1).astype(str)) # 组内计数，从1开始print("使用 GroupBy.cumcount 生成的ID：")print(df)
输出结果：
使用 GroupBy.cumcount 生成的ID： City Name Id0 Paris John Par-Joh-11 Paris Paul Par-Pau-22 Paris Pierre Par-Pie-33 Paris Paula Par-Pau-44 Rome Riccardo Rom-Ric-15 Rome Jean-Paul Rom-Jea-26 Rome Franc Rom-Fra-3
可以看到，当城市从“Paris”变为“Rome”时，ID的序号成功地从1重新开始计数，完全符合我们的预期。
注意事项与最佳实践
性能考量： 对于非常大的数据集，groupby()操作可能需要一定的计算资源。确保你的DataFrame有足够的内存，并考虑对大数据集进行分块处理（如果适用）。索引重置： cumcount()是基于DataFrame的当前顺序进行计数的。如果你的DataFrame在分组前经过了排序，那么cumcount()的顺序将反映这个排序。如果顺序很重要，请确保在调用cumcount()之前对DataFrame进行了适当的排序。多列分组： 如果需要根据多个列进行分组并生成组内ID，只需在groupby()中传入一个列名列表即可，例如 df.groupby([‘City’, ‘Country’]).cumcount()。ID的唯一性： 尽管cumcount()保证了组内的唯一性，但最终生成的复合ID的全局唯一性取决于你的前缀组合（城市前三位、姓名前三位）是否足够独特。在实际应用中，如果需要严格的全局唯一ID，可能还需要结合其他策略，如UUID或更复杂的哈希算法。
总结
pandas.DataFrame.groupby().cumcount() 是一个处理分组内序列生成问题的强大且高效的方法。它极大地简化了原本可能需要循环或更复杂逻辑才能实现的任务。通过掌握这一技巧，开发者可以更灵活地处理数据，生成满足特定业务需求的复合标识符。在需要按类别重置计数的情境下，cumcount()无疑是首选的解决方案。
以上就是Pandas中按组生成递增序列ID的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/914920.html
微信扫一扫 
支付宝扫一扫 
