本文详细探讨了在使用 Pandas read_csv 函数时，如何正确解析和合并 CSV 文件中的日期和时间列。通过示例代码，我们展示了如何利用 parse_dates 参数将单个或多个列转换为 datetime64[ns] 类型，并介绍了 dayfirst 参数在处理日期格式歧义时的重要性，旨在帮助用户高效、准确地处理时间序列数据。
在数据分析工作中，从 csv 文件导入数据是常见操作，但日期和时间列的解析往往会遇到挑战。pandas 的 read_csv 函数提供了强大的 parse_dates 参数，能够将字符串形式的日期时间数据正确转换为 datetime64[ns] 类型，从而方便后续的时间序列分析。
parse_dates 参数的基本用法
当 CSV 文件中包含日期或时间列时，如果不指定 parse_dates，这些列通常会被识别为 object（字符串）类型。为了将其转换为 Pandas 的日期时间类型，我们需要明确告知 read_csv 哪些列需要解析。
考虑以下 CSV 数据示例：
Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time2,1/1/2011 0:03,1/1/2011,0:03:003,1/1/2011 0:53,1/1/2011,0:53:00
假设我们希望将 CG_Arrival_Date/Time 和 Arrival_Date 这两列解析为日期时间类型。我们可以通过列名或列索引来指定。
使用列索引解析单个日期时间列：
import pandas as pdfrom io import StringIOcsv_text = """Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time 2,1/1/2011 0:03,1/1/2011,0:03:003,1/1/2011 0:53,1/1/2011,0:53:00"""df = pd.read_csv(StringIO(csv_text), index_col='Study ID', parse_dates=[1, 2])print("数据类型：")print(df.dtypes)print("n数据内容：")print(df.head())
运行上述代码，输出结果将显示 CG_Arrival_Date/Time 和 Arrival_Date 列已成功转换为 datetime64[ns] 类型：
数据类型：CG_Arrival_Date/Time datetime64[ns]Arrival_Date datetime64[ns]Arrival_Time objectdtype: object数据内容： CG_Arrival_Date/Time Arrival_Date Arrival_TimeStudy ID 2 2011-01-01 00:03:00 2011-01-01 0:03:003 2011-01-01 00:53:00 2011-01-01 0:53:00
这里，parse_dates=[1, 2] 表示解析索引为 1 (即 CG_Arrival_Date/Time) 和索引为 2 (即 Arrival_Date) 的列。
合并多个列为单个日期时间列
parse_dates 参数不仅能解析单个列，还能将多个独立的日期和时间列合并成一个完整的 datetime64[ns] 列。这在日期和时间信息分散在不同列时非常有用。
例如，如果 CSV 文件中有 Arrival_Date 和 Arrival_Time 两列，我们希望将它们合并为一个 Arrival_Datetime 列。
使用列索引合并日期和时间列：
import pandas as pdfrom io import StringIOcsv_text = """Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time 2,1/1/2011 0:03,1/1/2011,0:03:003,1/1/2011 0:53,1/1/2011,0:53:00"""# parse_dates=[[2,3],1] 表示：# 1. 将索引为 2 (Arrival_Date) 和 3 (Arrival_Time) 的列合并并解析# 2. 同时解析索引为 1 (CG_Arrival_Date/Time) 的列df = pd.read_csv(StringIO(csv_text), index_col='Study ID', parse_dates=[[2,3],1])print("数据类型：")print(df.dtypes)print("n数据内容：")print(df.head())
执行上述代码后，输出将显示一个名为 Arrival_Date_Arrival_Time 的新列，它由原始的 Arrival_Date 和 Arrival_Time 合并而来，并且类型为 datetime64[ns]。原始的 Arrival_Date 和 Arrival_Time 列在合并后将不再存在于 DataFrame 中。
数据类型：Arrival_Date_Arrival_Time datetime64[ns]CG_Arrival_Date/Time datetime64[ns]dtype: object数据内容： Arrival_Date_Arrival_Time CG_Arrival_Date/TimeStudy ID 2 2011-01-01 00:03:00 2011-01-01 00:03:003 2011-01-01 00:53:00 2011-01-01 00:53:00
注意事项：
当 parse_dates 参数接收一个列表的列表时（例如 [[2,3]]），内部的列表表示需要合并的列。这些列的原始数据将被移除，并替换为合并后的新列，新列的名称通常是原始列名用下划线连接。如果使用列名而不是索引，语法类似：parse_dates=[[‘Arrival_Date’, ‘Arrival_Time’], ‘CG_Arrival_Date/Time’]。
处理日期格式歧义：dayfirst 参数
在某些情况下，日期格式可能存在歧义，例如 1/1/2011。这可能是 月/日/年 (MM/DD/YYYY) 格式，也可能是 日/月/年 (DD/MM/YYYY) 格式。如果 Pandas 无法自动推断正确的格式，或者默认推断与实际不符，可以使用 dayfirst 参数进行明确指定。
dayfirst=True: 告诉 Pandas 日期中的第一个数字代表日 (DD/MM/YYYY)。dayfirst=False: 告诉 Pandas 日期中的第一个数字代表月 (MM/DD/YYYY)。这是默认值。
# 示例：假设日期是 DD/MM/YYYY 格式df_dayfirst = pd.read_csv(StringIO(csv_text), index_col='Study ID', parse_dates=[1, 2], dayfirst=True)print("n使用 dayfirst=True 解析后的数据：")print(df_dayfirst.head())
在我们的示例数据 1/1/2011 中，dayfirst 的影响不明显，因为日月都是 1。但在 1/10/2011 这样的日期中，如果 dayfirst=True，会被解析为 2011年10月1日；如果 dayfirst=False，则会被解析为 2011年1月10日。正确设置 dayfirst 对于确保日期解析的准确性至关重要。
总结
pandas.read_csv 函数通过 parse_dates 和 dayfirst 等参数，提供了灵活且强大的日期时间解析能力。
使用 parse_dates 可以将单个或多个列转换为 datetime64[ns] 类型。通过传递列名列表的列表，可以实现日期和时间列的合并。dayfirst 参数用于解决日期格式的歧义，确保数据被正确解析。
掌握这些技巧，将有助于更高效、准确地处理 CSV 文件中的时间序列数据，为后续的数据分析和建模奠定坚实基础。
以上就是Pandas read_csv 日期时间解析：常见问题与解决方案的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1374127.html
微信扫一扫 
支付宝扫一扫 
