本教程详细介绍了如何在pandas dataframe中，通过一次赋值操作，将现有列的字符串值拆分为多个新列。主要利用`series.str.split()`方法结合`n`参数和`expand=true`，并探讨了如何灵活处理原始列的保留与列顺序的调整，以高效地从结构化字符串中提取数据。
在数据处理过程中，我们经常会遇到需要从DataFrame的某一列中提取结构化信息，并将其分散到多个新列的场景。例如，一个包含文件路径的字符串列可能需要被拆分为年、月、日等独立字段。Pandas提供了强大且灵活的工具来高效地完成这项任务，特别是通过Series.str.split()方法结合单次赋值。
场景示例
假设我们有一个Pandas DataFrame，其中包含时间戳和文件路径信息：
import pandas as pddata = {'timestamp': ['2023-12-20 10:09:52.011'], 'filename': ['2023/12/20/1703056183.log']}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
原始DataFrame如下：
timestamp filename0 2023-12-20 10:09:52.011 2023/12/20/1703056183.log
我们的目标是从filename列中提取“年”、“月”、“日”信息，并将其作为新的列添加到DataFrame中，最终期望的输出结构类似：
timestamp year month day filename0 2023-12-20 10:09:52.011 2023 12 20 2023/12/20/1703056183.log
使用 Series.str.split() 拆分列值
Pandas的Series.str.split()方法是处理字符串列拆分的利器。它允许我们根据指定的分隔符将字符串拆分成列表，并通过expand=True参数直接将这些列表转换为新的DataFrame列。
关键参数说明：
pat: 分隔符，可以是字符串或正则表达式。n: 指定拆分的次数。例如，n=3表示最多拆分3次，生成4个部分。expand=True: 如果为True，则返回一个DataFrame，其列包含拆分后的各个部分；如果为False，则返回一个Series，其中每个元素是一个列表。
方法一：使用 df.pop() 并在拆分时替换原始列
一种直接的方法是使用df.pop()来获取并移除原始的filename列，然后对其进行拆分，并将结果直接赋值给新的列名。这种方法会改变原始filename列的内容，将其替换为拆分后的最后一个部分。
import pandas as pddata = {'timestamp': ['2023-12-20 10:09:52.011'], 'filename': ['2023/12/20/1703056183.log']}df = pd.DataFrame(data)# 使用pop取出'filename'列并进行拆分，n=3表示最多拆分3次# expand=True将拆分结果直接扩展为多列# 拆分后的结果将依次赋值给'year','month','day','filename'df[['year','month','day','filename']] = df.pop('filename').str.split('/', n=3, expand=True)print("n方法一：使用df.pop() 替换原始filename列")print(df)
输出结果：
序列猴子开放平台
具有长序列、多模态、单模型、大数据等特点的超大规模语言模型
0 查看详情
方法一：使用df.pop() 替换原始filename列 timestamp year month day filename0 2023-12-20 10:09:52.011 2023 12 20 1703056183.log
注意事项： 在此方法中，原始的filename列被df.pop()移除，然后拆分后的第四个部分（1703056183.log）被重新赋值给了名为filename的新列。这意味着原始的完整文件路径2023/12/20/1703056183.log在DataFrame中不再存在。
方法二：保留原始列并自定义列顺序
如果需要保留原始的filename列，并且希望新生成的列（year, month, day）位于特定位置，例如在filename列之前，则需要更精细的控制。我们可以先将拆分结果赋值给新的临时列，然后重新排列DataFrame的列顺序。
import pandas as pddata = {'timestamp': ['2023-12-20 10:09:52.011'], 'filename': ['2023/12/20/1703056183.log']}df = pd.DataFrame(data)# 1. 拆分'filename'列，并将结果赋值给新的列，包括一个临时列'_'来接收未使用的部分# 这里的'filename'列仍然是原始的完整路径，因为我们没有使用popdf[['year','month','day','_']] = df['filename'].str.split('/', n=3, expand=True)# 2. 重新排列DataFrame的列顺序# df.columns.drop(['filename','_']) 移除了旧的'filename'列和临时列'_'# .union(['filename'], sort=False) 将原始的'filename'列添加回列的末尾# 最终的列顺序是：timestamp, year, month, day, filenamedf = df[df.columns.drop(['filename','_']).union(['filename'], sort=False)]print("n方法二：保留原始filename列并自定义列顺序")print(df)
输出结果：
方法二：保留原始filename列并自定义列顺序 timestamp year month day filename0 2023-12-20 10:09:52.011 2023 12 20 2023/12/20/1703056183.log
此方法首先将拆分结果赋值给year, month, day和临时列_，保持原始filename列不变。然后，通过构建新的列顺序列表，我们能够精确控制所有列的最终位置，包括将原始的filename列放在最后。df.columns.drop([‘filename’,’_’]).union([‘filename’], sort=False) 这行代码的逻辑是：先从当前所有列中移除原始的filename列和临时列_，然后将原始的filename列重新添加到列表的末尾，并确保不进行排序 (sort=False)，以保持我们想要的顺序。
总结
通过Series.str.split()方法结合n参数和expand=True，Pandas提供了极其高效且灵活的方式来从DataFrame的字符串列中提取并创建多个新列。
使用df.pop()可以简洁地在拆分的同时替换或修改原始列。如果需要保留原始列并精确控制新列和原始列的顺序，则可以先将拆分结果赋值给新列（包括临时列），然后通过重新索引或重排列的方式来达到目标布局。
理解这些方法及其细微差别，将有助于您在数据清洗和特征工程中更高效地处理字符串数据。
以上就是Pandas DataFrame中通过单次赋值从列值创建多列的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/574555.html
微信扫一扫 
支付宝扫一扫 
