本教程详细介绍了如何将pandas dataframe根据重复的序列模式进行拆分，例如将公交线路的连续停靠站数据拆分为独立的行程。文章提供了两种主要方法：一种是利用groupby结合cumsum实现灵活拆分，适用于周期长度不固定的情况；另一种是使用numpy.array_split进行固定长度拆分，适用于周期结构一致的场景，并附有详细代码示例与应用建议。
在处理时间序列或顺序数据时，我们经常会遇到需要将一个大型数据集根据其中重复出现的特定模式（或“周期”）拆分为多个独立的子数据集的需求。例如，公交线路一天的停靠站数据可能包含多次往返行程，每个行程都遵循相同的停靠站顺序。本教程将展示如何利用Pandas和NumPy库高效地实现这种周期性拆分。
我们以一个公交线路停靠站的示例数据为例，该数据记录了某一线路在一天内的计划停靠时间及站点。目标是根据站点序列的重复模式，将整个DataFrame拆分成代表独立行程的子DataFrame。
首先，创建示例数据：
import pandas as pdimport numpy as npdf = pd.DataFrame({ "scheduled": ["2023-05-25 13:00", "2023-05-25 13:15", "2023-05-25 13:45", "2023-05-25 14:35", "2023-05-25 14:50", "2023-05-25 15:20"], "stop": ["A", "B", "C", "A", "B", "C"]})df["scheduled"] = pd.to_datetime(df["scheduled"])print("原始DataFrame:")print(df)
输出的原始DataFrame如下：
原始DataFrame: scheduled stop0 2023-05-25 13:00:00 A1 2023-05-25 13:15:00 B2 2023-05-25 13:45:00 C3 2023-05-25 14:35:00 A4 2023-05-25 14:50:00 B5 2023-05-25 15:20:00 C
可以看到，stop列呈现 A->B->C 的重复模式，我们需要将其拆分为两个独立的行程。
序列猴子开放平台
具有长序列、多模态、单模型、大数据等特点的超大规模语言模型
0 查看详情
方法一：基于groupby和cumsum的灵活拆分
这种方法适用于周期序列的长度可能不固定，或者我们希望通过识别每个周期的起始点来定义拆分的情况。它的核心思想是：识别出每个新周期的开始，并为每个周期分配一个唯一的组ID，然后利用Pandas的groupby功能进行拆分。
实现原理
识别周期起始点：我们假设每个周期都以相同的第一个站点开始。通过比较stop列的当前值是否等于整个序列的第一个站点，可以得到一个布尔序列，True表示一个新周期的开始。生成周期ID：对这个布尔序列应用cumsum()（累积求和），每次遇到True时，累积和就会增加1。这样，同一个周期内的所有行都会被分配相同的累积和值，从而形成一个唯一的组ID。执行分组：使用DataFrame.groupby()方法根据生成的组ID进行分组，并通过列表推导式提取每个组为一个独立的子DataFrame。
示例代码
# 1. 识别周期起始点并生成组ID# df['stop'].iloc[0] 获取第一个停靠站，例如 'A'# df['stop'].eq(df['stop'].iloc[0]) 找出所有等于 'A' 的行，返回布尔Series# .cumsum() 将布尔Series转换为累积和，True计为1，False计为0。# 例如：[T, F, F, T, F, F] -> [1, 1, 1, 2, 2, 2]group_id = df['stop'].eq(df['stop'].iloc[0]).cumsum()print("n生成的组ID:")print(group_id)# 2. 根据组ID进行分组并提取子DataFramesplit_dfs_groupby = [g for _, g in df.groupby(group_id)]print("n使用groupby和cumsum拆分后的DataFrame列表:")for i, sub_df in enumerate(split_dfs_groupby): print(f"n子DataFrame {i+1}:") print(sub_df)
输出结果
生成的组ID:0 11 12 13 24 25 2Name: stop, dtype: int64使用groupby和cumsum拆分后的DataFrame列表:子DataFrame 1: scheduled stop0 2023-05-25 13:00:00 A1 2023-05-25 13:15:00 B2 2023-05-25 13:45:00 C子DataFrame 2: scheduled stop3 2023-05-25 14:35:00 A4 2023-05-25 14:50:00 B5 2023-05-25 15:20:00 C
这种方法非常灵活，即使每个行程的停靠站数量（即周期长度）不完全一致，只要能通过识别起始站点来区分周期，它也能正确工作。
方法二：利用numpy.array_split的固定长度拆分
如果我们可以确定每个周期都包含相同数量的唯一元素，并且这些周期是连续且等长的，那么可以使用numpy.array_split方法进行更直接的拆分。这种方法依赖于预先计算出单个周期的长度。
实现原理
计算周期长度：通过DataFrame.nunique()方法，可以计算出stop列中唯一元素的数量，这通常代表了一个完整周期内的不同站点数量。确定拆分点：基于计算出的周期长度，生成一系列索引点，这些点将作为array_split的拆分位置。执行拆分：numpy.array_split()函数可以在指定的索引点将数组（或DataFrame）分割成多个子数组（或子DataFrame）。
示例代码
# 1. 计算单个周期的长度（即唯一停靠站的数量）# 例如，对于 'A', 'B', 'C'，nunique() 将返回 3cycle_length = df['stop'].nunique()print(f"n计算出的周期
以上就是Pandas DataFrame周期性序列拆分教程：两种高效方法解析的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/598171.html
微信扫一扫 
支付宝扫一扫 
