理解Pandas to_datetime 的局限性
在处理大规模数据集时，尤其当日期字段包含多种格式（例如 dd/mm/yyyy 和 dd/mm/yyyy hh/mm/ss）时，我们常常会倾向于使用pandas库提供的pd.to_datetime函数，并配合format=’mixed’参数，期望它能智能地识别并转换这些混合格式。然而，对于数据质量不高或包含大量非标准、甚至完全未知的日期格式时，这种方法可能会遇到瓶颈，导致outofboundsdatetime等错误。
OutOfBoundsDatetime错误通常发生在Pandas尝试将日期字符串解析为日期时间对象时，由于格式识别失败或误判，导致解析出的年份超出了datetime对象所能表示的范围（例如，将06.11.2021误解析为06.11.8020）。即使我们使用了chunksize参数分块读取数据，或者设置了low_memory=False，也无法从根本上解决由于未知或意外日期格式导致的解析问题。format=’mixed’虽然功能强大，但它依赖于内部的启发式算法，当数据中存在它无法预期的格式时，便会失效。
迭代式日期解析与数据清洗策略
为了应对这种挑战，一种更为健壮且可控的策略是采用迭代式、交互式的日期解析方法。其核心思想是：
预定义已知格式： 明确数据中可能存在的日期时间格式列表。逐行尝试解析： 对于每一行数据，尝试使用预定义的格式列表进行解析。分流异常数据： 如果所有已知格式都无法成功解析，则将该行数据视为“异常”并将其隔离到一个单独的文件中。迭代优化： 检查隔离的异常数据文件，识别新的日期格式，并将其添加到预定义格式列表中，然后重新运行解析过程，直至异常数据文件为空或达到可接受的程度。
这种方法将数据清洗过程融入到解析过程中，不仅能有效处理混合格式，还能帮助我们发现数据中的潜在质量问题，实现对数据格式的全面理解和控制。
实现自定义日期解析流程
我们将使用Python的内置csv模块进行文件读写，以及datetime模块进行日期时间解析。这种方法避免了Pandas在处理极端混合格式时的内部复杂性，提供了更精细的控制。
1. 定义已知日期格式
首先，我们需要列出所有我们已知或预期可能出现的日期时间格式。这些格式字符串将用于datetime.strptime()函数。
import csvfrom datetime import datetime# 定义一个包含所有已知日期时间格式的列表# 注意：格式字符串必须与实际数据严格匹配fmts = [ r"%d/%m/%Y", # 例如: 01/01/2001 r"%d/%m/%Y %H/%M/%S", # 例如: 02/02/2002 12/34/56 # 更多格式将在迭代中添加]
2. 自定义解析函数 parse_dt
创建一个辅助函数parse_dt，它将尝试使用fmts列表中的每个格式来解析给定的日期字符串。如果任何一个格式成功，则返回解析后的datetime对象；如果所有格式都失败，则返回None。
def parse_dt(s: str) -> datetime | None: """ 尝试使用预定义的格式列表解析日期时间字符串。 如果成功，返回datetime对象；否则返回None。 """ for fmt in fmts: try: dt = datetime.strptime(s, fmt) return dt except ValueError: # 当前格式不匹配，尝试下一个 continue # 所有格式都尝试失败 return None
3. 处理大型CSV文件：分流好坏数据
接下来，我们将编写主脚本来读取输入CSV文件，并根据解析结果将数据分流到“已过滤”和“异常”两个输出文件。
# 定义输出文件路径output_filtered_path = "output_filtered.csv"output_bad_path = "output_bad.csv"input_csv_path = "input.csv" # 假设这是你的大型CSV文件# 打开输出文件以供写入# 使用newline=''以防止csv模块在Windows上写入额外空行filtered_writer = csv.writer( open(output_filtered_path, "w", newline="", encoding='utf-8'), delimiter=",",)bad_writer = csv.writer( open(output_bad_path, "w", newline="", encoding='utf-8'), delimiter=",",)# 打开输入CSV文件以供读取reader = csv.reader( open(input_csv_path, newline="", encoding='utf-8'), delimiter=",",)# 定义过滤条件：例如，只保留2002年1月1日之前的合同# 实际应用中，这可能是一个动态的报告日期report_date = datetime(2002, 1, 1)# 逐行处理CSV数据for row in reader: # 假设日期字段在第二列（索引为1） date_str = row[1] dt = parse_dt(date_str) if dt is None: # 如果日期解析失败，将整行写入“异常”文件 bad_writer.writerow(row) continue # 继续处理下一行 # 如果日期解析成功，则进行业务逻辑过滤 if dt < report_date: # 将日期标准化为ISO格式，方便后续处理 row[1] = dt.isoformat() filtered_writer.writerow(row) else: # 满足过滤条件的行（例如，未过期的合同） # 在这里可以根据需要选择打印或写入另一个文件 print(f"丢弃的记录 (过期或不符合条件): {dt} - 原始行: {row}")print(f"处理完成。过滤后的数据在: {output_filtered_path}")print(f"无法解析的异常数据在: {output_bad_path}")# 注意：在实际应用中，记得关闭文件句柄，# 或者使用with语句确保文件自动关闭# with open(...) as f:# writer = csv.writer(f)# ...
4. 示例代码（模拟数据和完整流程）
为了更好地演示，我们创建一个input.csv文件并运行上述脚本。
input.csv内容示例:
文心大模型
百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作
56 查看详情 
1,1/1/20012,2/2/2002 12/34/563,3.3.20034,6.1.20015,7.1.2001-5:38:196,01/01/2023
运行上述Python脚本后，初始输出:
output_bad.csv:
3,3.3.20034,6.1.20015,7.1.2001-5:38:19
output_filtered.csv:
1,2001-01-01T00:00:00
控制台输出 (部分):
丢弃的记录 (过期或不符合条件): 2002-02-02 12:34:56 - 原始行: ['2', '2/2/2002 12/34/56']丢弃的记录 (过期或不符合条件): 2023-01-01 00:00:00 - 原始行: ['6', '01/01/2023']
优化与迭代：处理未知日期格式
通过检查output_bad.csv，我们发现有三行数据未能成功解析：3.3.2003、6.1.2001 和 7.1.2001-5:38:19。这些日期格式显然不在我们最初定义的fmts列表中。
根据这些新的格式，我们可以更新fmts列表：
fmts = [ r"%d/%m/%Y", r"%d/%m/%Y %H/%M/%S", r"%d.%m.%Y", # 新增: 例如 3.3.2003, 6.1.2001 r"%d.%m.%Y-%H:%M:%S", # 新增: 例如 7.1.2001-5:38:19]
更新fmts列表后，重新运行脚本。
重新运行后的输出:
output_bad.csv: (将变为空，或只包含其他未发现的异常格式)output_filtered.csv:
1,2001-01-01T00:00:004,2001-01-06T00:00:005,2001-01-07T05:38:19
控制台输出 (部分):
丢弃的记录 (过期或不符合条件): 2002-02-02 12:34:56 - 原始行: ['2', '2/2/2002 12/34:56']丢弃的记录 (过期或不符合条件): 2003-03-03 00:00:00 - 原始行: ['3', '3.3.2003']丢弃的记录 (过期或不符合条件): 2023-01-01 00:00:00 - 原始行: ['6', '01/01/2023']
可以看到，经过迭代优化后，output_bad.csv已为空（或显著减少），所有符合过滤条件的日期都已成功解析并标准化。
注意事项与最佳实践
文件编码： 在打开CSV文件时，务必指定正确的编码（如encoding=’utf-8’），以避免字符编码错误。性能考量： 对于极大规模的数据集（如数十亿行），虽然csv模块的逐行处理效率较高，但频繁的磁盘I/O仍可能成为瓶颈。可以考虑将处理逻辑封装在一个生成器中，或者在内存允许的情况下，一次性读取少量行进行处理。错误日志： 除了将异常数据写入文件，还可以考虑将解析失败的具体原因（ValueError）记录到日志中，以便更深入地诊断问题。何时回归Pandas： 一旦通过迭代过程，大部分日期格式都已被识别并清洗干净，数据集的质量得到显著提升，你可以选择将清洗后的数据重新加载到Pandas DataFrame中，利用Pandas更丰富的数据分析功能。日/月优先： 在pd.to_datetime中，dayfirst=True参数可以帮助处理dd/mm/yyyy和mm/dd/yyyy的模糊情况。而datetime.strptime则通过明确的格式字符串（如%d/%m/%Y或%m/%d/%Y）来消除歧义。如果你的数据中存在这种模糊性，请确保在fmts列表中包含所有可能的解释。完整性检查： 在完成所有迭代后，务必检查output_bad.csv文件，确保其中没有遗漏的关键数据，或者其中包含的数据确实是应该被剔除的。
通过这种迭代式、自定义的日期解析策略，我们可以有效地应对大型CSV数据库中复杂多变的日期格式问题，确保数据清洗的彻底性和后续分析的准确性。
以上就是处理大型CSV文件中混合日期格式的挑战：迭代式解析与数据清洗的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/580121.html
微信扫一扫 
支付宝扫一扫 
