本文介绍了如何使用 Pandas DataFrame 基于多列（日期、姓名、产品）以及时间间隔（Elapsed_time）为数据分配唯一的ID。核心逻辑在于当日期、姓名、产品组合发生变化，或者同一组合内的时间间隔超过100秒时，ID需要递增。文章提供了两种解决方案，并详细解释了代码实现，帮助读者理解并应用于实际场景。
在数据分析和处理中，经常需要为数据集中的记录分配唯一的ID，以便于后续的分析和操作。当需要基于多个列的组合以及时间条件来分配ID时，就需要用到一些技巧。本文将介绍如何使用 Pandas DataFrame 实现这一功能，并提供详细的代码示例和解释。
解决方案一：基于变化检测和累积求和
此方法的核心思想是检测每一行数据与前一行相比，日期、姓名、产品是否有变化，或者时间间隔是否大于等于100秒。如果满足任一条件，则ID递增。
import pandas as pd# 示例数据data = {'Date': ['10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/26/23', '10/27/23', '10/27/23', '10/27/23', '10/27/23', '10/27/23', '10/27/23', '10/27/23'], 'Name': ['Bill', 'Bill', 'John', 'John', 'John', 'John', 'John', 'Carl', 'Carl', 'Carl', 'Carl', 'Carl', 'Carl', 'Carl'], 'Product': ['A', 'A', 'B', 'B', 'B', 'B', 'C', 'A', 'A', 'A', 'A', 'B', 'A', 'A'], 'Elapsed_time': [30, 99, 10, 100, 1, 15, 45, 120, 99, 80, 101, 300, 12, 37]}df = pd.DataFrame(data)# 定义需要检查的列cols = ['Date', 'Name', 'Product']# 计算IDdf['id'] = (df[cols].ne(df[cols].shift()) # 比较当前行与前一行，判断Date/Name/Product是否发生变化 .assign(x=df['Elapsed_time'].ge(100)) # 创建一个新列，判断Elapsed_time是否大于等于100 .any(axis=1) # 对每一行，判断是否有任意列为True（即Date/Name/Product发生变化或Elapsed_time大于等于100） .cumsum() # 对True/False序列进行累积求和，得到ID )print(df)
代码解释：
df[cols].ne(df[cols].shift()): 比较 DataFrame 中 cols 指定的列与它们前一行的值是否不同。 ne 代表 “not equal”， shift() 函数将列向下移动一位，因此 df[cols].shift() 返回的是每一列的前一个值。 结果是一个布尔 DataFrame，其中 True 表示当前行的值与前一行不同， False 表示相同。.assign(x=df[‘Elapsed_time’].ge(100)): 在上一步生成的 DataFrame 中添加一个新列 x。 df[‘Elapsed_time’].ge(100) 创建一个布尔 Series，其中 True 表示 Elapsed_time 大于或等于 100， False 表示小于 100。 assign() 函数将这个 Series 添加为 DataFrame 的新列 x。.any(axis=1): 对 DataFrame 的每一行执行逻辑 OR 操作。换句话说，如果一行中的任何值为 True，则结果为 True；否则，结果为 False。 axis=1 指定沿行的方向执行操作。.cumsum(): 对布尔 Series 执行累积和操作。由于 True 被视为 1， False 被视为 0，因此 cumsum() 返回一个 Series，其中每个值是所有先前值的总和。 这有效地创建了一个组 ID，该 ID 在 Date、 Name 或 Product 更改或 Elapsed_time 大于或等于 100 时递增。
注意事项：
此方法依赖于数据的顺序。如果数据没有按照日期、姓名、产品排序，需要先进行排序。shift() 函数会导致第一行数据与前一行比较时出现 NaN 值，这会被 .any(axis=1) 处理为 False，因此第一行的ID总是1。
解决方案二：基于分组和累积求和 (如果数据已排序)
如果数据已经按照日期、姓名、产品排序，可以使用 groupby() 函数进行分组，然后结合累积求和来分配ID。
import pandas as pd# 示例数据 (确保已排序)data = {'Date': ['10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/26/23'], 'Name': ['Bill', 'Bill', 'John', 'John', 'John', 'John', 'John'], 'Product': ['A', 'A', 'B', 'B', 'B', 'B', 'C'], 'Elapsed_time': [30, 99, 10, 100, 1, 15, 45]}df = pd.DataFrame(data)# 计算IDdf['id'] = (df.groupby(['Date', 'Name', 'Product']).ngroup() # 对Date/Name/Product进行分组，并为每个组分配一个唯一的整数ID .add(1+df['Elapsed_time'].ge(100).cumsum()) # 将组ID加上一个基于Elapsed_time的累积和，如果Elapsed_time大于等于100，则累积和会递增 )print(df)
代码解释：
df.groupby([‘Date’, ‘Name’, ‘Product’]).ngroup(): 此行代码首先使用 groupby() 函数按照 Date、 Name 和 Product 列对 DataFrame 进行分组。 然后， ngroup() 函数为每个组分配一个唯一的整数 ID。 这些 ID 从 0 开始，并为每个新组递增 1。.add(1+df[‘Elapsed_time’].ge(100).cumsum()): 此行代码将上一步生成的组 ID 添加到基于 Elapsed_time 列计算的值。 df[‘Elapsed_time’].ge(100) 创建一个布尔 Series，其中 True 表示 Elapsed_time 大于或等于 100， False 表示小于 100。 cumsum() 函数计算布尔 Series 的累积和，将 True 视为 1， False 视为 0。 最后，将 1 加到累积和中，以确保 ID 从 1 开始。
注意事项：
此方法要求数据必须按照日期、姓名、产品进行排序。如果数据未排序，结果可能不正确。此方法比第一种方法更简洁，但适用场景有限。
总结
本文介绍了两种使用 Pandas DataFrame 基于多列和时间间隔分配唯一ID的方法。第一种方法基于变化检测和累积求和，适用于数据未排序的情况。第二种方法基于分组和累积求和，适用于数据已排序的情况。选择哪种方法取决于数据的特点和需求。在实际应用中，需要根据具体情况选择合适的方法，并注意数据的排序和边界条件。
以上就是Pandas DataFrame 中基于多列和时间分配唯一ID的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1363583.html
微信扫一扫 
支付宝扫一扫 
