本文旨在提供多种有效策略，用于清洗Pandas DataFrame中格式不一、包含特殊字符的日期字符串。我们将探讨如何利用pd.to_datetime进行直接转换，以及如何结合正则表达式和str.extract、str.replace方法，精确提取并标准化日期格式，以应对复杂的数据清洗需求。
在数据分析实践中，我们经常会遇到包含非标准日期格式、多余字符或不一致分隔符的日期字符串。这些“脏数据”阻碍了直接的日期时间转换或后续的分析操作。本教程将以一个典型的dataframe为例，展示如何通过pandas的强大功能来解决此类问题。
初始数据结构
假设我们有一个DataFrame，其中包含一个名为date的列，其内容格式多样，如下所示：
import pandas as pdimport iodata = """id date1 ' : 07/01/2020 23:25'2 ': 07/02/2020'3 ' 07/03/2020 23:25 1'4 '07/04/2020'5 '23:50 07/05/2020'6 '07 06 2023'7 '00:00 07 07 2023'"""df = pd.read_csv(io.StringIO(data), sep=r's{2,}', engine='python')df['date'] = df['date'].str.strip("' ") # 清理引号和多余空格print("原始DataFrame:")print(df)
输出的DataFrame df 如下：
原始DataFrame: id date0 1 : 07/01/2020 23:251 2 : 07/02/20202 3 07/03/2020 23:25 13 4 07/04/20204 5 23:50 07/05/20205 6 07 06 20236 7 00:00 07 07 2023
我们的目标是从date列中提取出DD/MM/YYYY格式的日期，并将其标准化。
方法一：利用 pd.to_datetime 进行智能转换
如果最终目标是将这些字符串转换为Pandas的datetime对象，并且字符串中包含的日期格式相对规整，即使有额外的字符，pd.to_datetime函数也能通过设置exact=False参数进行灵活处理。exact=False允许解析器在字符串中查找符合指定格式的部分进行转换，忽略不匹配的部分。
df['datetime_out'] = pd.to_datetime(df['date'], format='%d/%m/%Y', exact=False)print("n使用 pd.to_datetime 转换后的DataFrame:")print(df)
输出结果：
使用 pd.to_datetime 转换后的DataFrame: id date datetime_out0 1 : 07/01/2020 23:25 2020-01-071 2 : 07/02/2020 2020-02-072 3 07/03/2020 23:25 1 2020-03-074 4 07/04/2020 2020-04-075 5 23:50 07/05/2020 2020-05-076 6 07 06 2023 2023-06-077 7 00:00 07 07 2023 2023-07-07
注意事项：
format=’%d/%m/%Y’ 指定了期望的日期顺序和分隔符。即使原始字符串是MM/DD/YYYY或其他格式，exact=False会尽力匹配。如果格式差异太大，可能导致NaT（Not a Time）值。此方法直接生成datetime对象，而非清洗后的字符串。如果需要清洗后的字符串，请考虑下一方法。
方法二：使用正则表达式和 str.extract 提取特定格式日期
当需要从复杂字符串中精确提取特定模式的日期字符串，并保留其字符串形式时，正则表达式结合Pandas的str.extract方法是理想选择。
2.1 提取 / 分隔的日期
首先，我们针对以斜杠/分隔的DD/MM/YYYY格式进行提取。
# 定义正则表达式，匹配 DD/MM/YYYY 格式# d{2} 匹配两位数字，/ 匹配斜杠regex_slash_date = r'(d{2}/d{2}/d{4})'df['clean_slash_date'] = df['date'].str.extract(regex_slash_date, expand=False)print("n使用 str.extract (斜杠分隔) 后的DataFrame:")print(df)
输出结果：
使用 str.extract (斜杠分隔) 后的DataFrame: id date datetime_out clean_slash_date0 1 : 07/01/2020 23:25 2020-01-07 07/01/20201 2 : 07/02/2020 2020-02-07 07/02/20202 3 07/03/2020 23:25 1 2020-03-07 07/03/20203 4 07/04/2020 2020-04-07 07/04/20204 5 23:50 07/05/2020 2020-05-07 07/05/20205 6 07 06 2023 2023-06-07 NaN6 7 00:00 07 07 2023 2023-07-07 NaN
分析：
str.extract(regex, expand=False) 会返回一个Series，包含匹配到的第一个捕获组。对于07 06 2023这类以空格分隔的日期，此正则表达式无法匹配，因此对应的值为NaN。
2.2 提取包含 / 或空格分隔的日期并标准化
为了处理日期中可能出现的斜杠/或空格`作为分隔符的情况，我们需要修改正则表达式，并结合str.replace`进行标准化。
# 定义更灵活的正则表达式，匹配 DD/MM/YYYY 或 DD MM YYYY 格式# [ /] 匹配一个空格或一个斜杠regex_flexible_date = r'(d{2}[ /]d{2}[ /]d{4})'df['clean_date_str'] = (df['date'] .str.extract(regex_flexible_date, expand=False) .str.replace(' ', '/') # 将空格分隔符替换为斜杠 )print("n使用 str.extract (灵活分隔符) 和 str.replace 后的DataFrame:")print(df)
输出结果：
使用 str.extract (灵活分隔符) 和 str.replace 后的DataFrame: id date datetime_out clean_slash_date clean_date_str0 1 : 07/01/2020 23:25 2020-01-07 07/01/2020 07/01/20201 2 : 07/02/2020 2020-02-07 07/02/2020 07/02/20202 3 07/03/2020 23:25 1 2020-03-07 07/03/2020 07/03/20203 4 07/04/2020 2020-04-07 07/04/2020 07/04/20204 5 23:50 07/05/2020 2020-05-07 07/05/2020 07/05/20205 6 07 06 2023 2023-06-07 NaN 07/06/20236 7 00:00 07 07 2023 2023-07-07 NaN 07/07/2023
分析：
新的正则表达式 (d{2}[ /]d{2}[ /]d{4}) 能够匹配日期中的分隔符是空格或斜杠的情况。紧接着使用 .str.replace(‘ ‘, ‘/’) 将所有匹配到的日期字符串中的空格替换为斜杠，从而实现了日期格式的统一标准化。这种方法成功处理了所有原始数据中的日期格式，并得到了我们期望的DD/MM/YYYY字符串形式。
总结与最佳实践
清洗DataFrame中的日期字符串是一个常见但具有挑战性的任务。根据您的具体需求，可以选择不同的策略：
直接转换为 datetime 对象 (pd.to_datetime):
优点: 最直接的方式，如果目标是进行日期时间计算或排序，此方法效率高。exact=False提供了强大的容错能力。缺点: 无法直接得到清洗后的日期字符串，且对完全不匹配的格式可能返回NaT。
提取并标准化日期字符串 (str.extract + str.replace):
优点: 提供了对日期字符串格式的精细控制，能够从复杂字符串中精确提取所需模式，并统一分隔符。缺点: 需要对正则表达式有一定了解，且处理逻辑可能比pd.to_datetime稍复杂。
在实际应用中，通常建议先尝试使用pd.to_datetime进行转换，因为它更为便捷。如果pd.to_datetime无法满足需求（例如，需要特定格式的字符串输出，或者日期格式过于混乱以至于exact=False也无法处理），那么转向使用正则表达式和str.extract进行模式匹配和清洗将是更强大的解决方案。熟练掌握这两种方法，将大大提高您在Pandas中处理日期数据的能力。
以上就是Pandas DataFrame中日期字符串的清洗与标准化的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1376965.html
微信扫一扫 
支付宝扫一扫 
