
本文介绍如何使用 Pandas 处理 DataFrame 中多列包含相同分隔符的情况,目标是将包含分隔符的行拆分为多行,同时保持其他列的值不变。通过 stack 和 ffill 方法,可以高效地实现这一目标,避免出现 NaN 值,并确保数据的准确性。
DataFrame 行分割技巧
在数据处理过程中,经常会遇到 DataFrame 的某些列包含多个值,这些值通过特定的分隔符连接在一起。例如,一个 DataFrame 的 “Lines” 列可能包含多个公交线路,以逗号或分号分隔。为了进行更细粒度的分析,需要将这些行分割成多行,每行包含一个值。
问题描述
假设有一个 DataFrame,其中某些列的值包含分隔符(例如 ;)。需要将包含分隔符的行分割成多行,如果一行中的多列包含相同数量的分隔符,则应只分割一次,并将其他列的值相应地复制到新行。对于不包含分隔符的列,只需复制原始值。
解决方案
以下是一个使用 Pandas 解决此问题的示例代码:
import pandas as pddata = {'ID': [34, 35], 'Name': ['Alt-Tempelhof Ecke Tempelhofer Damm', 'Alt-Wittenau'], 'Type': ['bus', 'bus'], 'Lines': ['A77,A68,A76', 'A62 ; A15,A21'], 'Coordinates': ['52.465964306830664, 13.38558297633417', '52.58972877186178, 13.334169215342472 ; 52.59166508975595, 13.326326895395114'], 'Extra': [None, 'Alt-Wittenau Ecke Oranienburger Straße ; Alt-Wittenau Ecke Eichborndamm']}df = pd.DataFrame(data)split_df = pd.concat([df[col].astype(str).str.split(';', expand=True).stack().str.strip() for col in df.columns], axis=1, keys=df.columns)split_df = split_df.groupby(level=0).ffill().reset_index(drop=True)print(split_df)
代码解释:
数据准备: 创建一个示例 DataFrame,其中包含需要分割的列。分割列: 使用 str.split(‘;’, expand=True).stack().str.strip() 方法将每一列的值按照分隔符 ; 分割成多行,并将结果堆叠在一起。expand=True 参数将分割后的值放入不同的列中,stack() 方法将这些列堆叠成一个 Series,str.strip() 用于去除分割后值的首尾空格。合并分割后的列: 使用 pd.concat() 函数将分割后的 Series 合并成一个新的 DataFrame。axis=1 参数表示按列合并,keys=df.columns 参数用于指定合并后的 DataFrame 的列名。填充缺失值: split_df.groupby(level=0).ffill().reset_index(drop=True) 通过 groupby(level=0) 将数据按照原始行的索引进行分组,然后使用 ffill() 方法向前填充缺失值。这确保了对于没有分隔符的列,原始值会被复制到新行。reset_index(drop=True) 重置索引。
结果
运行上述代码将得到以下结果:
ID Name Type Lines Coordinates Extra0 34 Alt-Tempelhof Ecke Tempelhofer Damm bus A77,A68,A76 52.465964306830664, 13.38558297633417 None1 35 Alt-Wittenau bus A62 52.58972877186178, 13.334169215342472 Alt-Wittenau Ecke Oranienburger Straße2 35 Alt-Wittenau bus A15,A21 52.59166508975595, 13.326326895395114 Alt-Wittenau Ecke Eichborndamm
可以看到,原始 DataFrame 中包含分隔符的行已被分割成多行,并且其他列的值已正确地复制到新行。
注意事项
分隔符的选择: 在使用 str.split() 方法时,需要根据实际情况选择正确的分隔符。数据类型: 确保需要分割的列的数据类型为字符串类型。如果不是,可以使用 astype(str) 方法进行转换。缺失值处理: 在分割列之后,可能会出现缺失值。可以使用 ffill() 或其他适当的方法填充缺失值。
总结
通过使用 Pandas 的 str.split()、stack() 和 ffill() 方法,可以高效地分割 DataFrame 中包含分隔符的行,并保持其他列的值不变。这种方法适用于处理各种包含分隔符的数据,例如地址、线路、标签等。掌握这些技巧可以帮助你更好地处理和分析数据。
以上就是使用 Pandas 分割 DataFrame 行:处理多列相同分隔符的情况的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1364492.html
微信扫一扫
支付宝扫一扫