
本教程详细介绍了如何在Pandas DataFrame中将hh:mm:ss格式的时间字符串转换为总分钟数。文章首先分析了常见的转换错误,随后提供了两种解决方案:一种是基于字符串分割和Lambda表达式的直接修正方法,支持获取整数或浮点分钟数;另一种是利用Pandas内置的pd.to_timedelta函数进行更健壮、更符合Pandas惯例的转换,并推荐作为处理时间数据的最佳实践。
问题背景与挑战
在数据处理中,我们经常会遇到时间数据以字符串形式(如hh:mm:ss)存储的情况。当需要对这些时间进行数值计算,例如将其转换为总分钟数以便进行聚合或分析时,就需要进行格式转换。例如,将1:33:04(1小时33分钟4秒)转换为分钟,期望得到93.06分钟或93分钟。直接对字符串进行数学运算会导致错误,因此需要一套有效的方法来解析并计算。
假设我们有以下Pandas DataFrame:
import pandas as pddf = pd.DataFrame({'Name': ["Jim", "Chrissy", "Billy"], 'Time': ['1:33:04', '0:06:39', '10:00:02']})print("原始DataFrame:")print(df)
输出:
原始DataFrame: Name Time0 Jim 1:33:041 Chrissy 0:06:392 Billy 10:00:02
我们的目标是创建一个名为_timemin的新列,其中包含Time列对应的总分钟数。
常见错误分析
在尝试将hh:mm:ss格式的字符串转换为分钟时,初学者可能会遇到一些问题。例如,以下尝试代码:
# 错误的尝试# df['_timemin'] = df['Time'].str.split(':').apply(lambda x: (int(x[0])*60) + int(x[1])) + int(x[2]/60)
这段代码会产生NameError: name ‘x’ is not defined或其他类似错误。其主要问题在于:
apply方法的作用域不正确: apply方法应该作用于整个lambda表达式,而不是部分。在上述代码中,apply(lambda x: (int(x[0])*60) + int(x[1])) 试图在 apply 内部完成计算,但紧接着的 + int(x[2]/60) 却在 apply 外部,导致 x 变量在外部未定义。字符串元素未完全转换: 在进行数学运算前,所有从字符串中分割出来的元素(x[0], x[1], x[2])都必须显式地转换为数值类型(例如int)。错误的代码中,x[2]在int(x[2]/60)中被当作字符串进行了除法运算,然后才尝试转换为整数,这是不符合逻辑的。
解决方案一:基于字符串分割与Lambda表达式
这种方法直接修正了上述错误,通过str.split(‘:’)将时间字符串分割成小时、分钟、秒的列表,然后使用apply和lambda表达式对每个列表进行计算。
import pandas as pddf = pd.DataFrame({'Name': ["Jim", "Chrissy", "Billy"], 'Time': ['1:33:04', '0:06:39', '10:00:02']})# 1. 获取整数总分钟数 (向下取整)# 将小时、分钟、秒都转换为整数,秒通过整数除法(//)转换为分钟df['_timemin_int'] = df['Time'].str.split(':').apply(lambda x: int(x[0]) * 60 + int(x[1]) + int(x[2]) // 60)print("n方法一:整数总分钟数")print(df)# 2. 获取浮点数总分钟数 (保留秒的精度)# 将小时、分钟、秒都转换为整数,秒通过浮点除法(/)转换为分钟df['_timemin_float'] = df['Time'].str.split(':').apply(lambda x: int(x[0]) * 60 + int(x[1]) + int(x[2]) / 60)print("n方法一:浮点数总分钟数")print(df)
代码解释:
df[‘Time’].str.split(‘:’): 这会将Time列中的每个字符串按:分割,生成一个包含小时、分钟、秒字符串的列表(例如[‘1′, ’33’, ’04’])。.apply(lambda x: …): 对split操作产生的每个列表x应用一个匿名函数。int(x[0]) * 60: 将小时字符串x[0]转换为整数并乘以60,得到小时对应的分钟数。int(x[1]): 将分钟字符串x[1]转换为整数。int(x[2]) // 60 (整数分钟):将秒字符串x[2]转换为整数,然后使用整数除法//将其转换为分钟数(向下取整)。int(x[2]) / 60 (浮点分钟):将秒字符串x[2]转换为整数,然后使用浮点除法/将其转换为分钟数,保留小数部分。
解决方案二:利用Pandas内置时间序列功能(推荐)
对于更复杂或大规模的时间数据处理,Pandas提供了强大的Timedelta对象。将时间字符串转换为Timedelta对象,然后提取总秒数并转换为分钟,是更健壮、更符合Pandas惯例且通常性能更优的方法。
import pandas as pddf = pd.DataFrame({'Name': ["Jim", "Chrissy", "Billy"], 'Time': ['1:33:04', '0:06:39', '10:00:02']})# 1. 将时间字符串转换为Timedelta对象df['Time_timedelta'] = pd.to_timedelta(df['Time'])# 2. 从Timedelta对象中提取总秒数,并转换为总分钟数df['_timemin_td'] = df['Time_timedelta'].dt.total_seconds() / 60print("n方法二:利用Timedelta对象转换")print(df)
代码解释:
pd.to_timedelta(df[‘Time’]): 这是核心步骤。Pandas会自动解析hh:mm:ss格式的字符串,并将其转换为Timedelta类型。Timedelta对象表示一个时间差,它支持各种时间单位的计算。.dt.total_seconds(): 这是Timedelta序列的一个访问器,用于获取每个时间差的总秒数(以浮点数表示)。/ 60: 将总秒数除以60,即可得到总分钟数。
这种方法不仅代码更简洁,而且由于利用了Pandas底层的优化,对于大型数据集通常具有更好的性能。
完整示例与对比
为了清晰地展示所有方法的输出,我们将其整合到一个完整的示例中:
import pandas as pddf = pd.DataFrame({'Name': ["Jim", "Chrissy", "Billy"], 'Time': ['1:33:04', '0:06:39', '10:00:02']})# 方法一:基于字符串分割与Lambda表达式# 1.1 获取整数总分钟数 (向下取整)df['_timemin_int'] = df['Time'].str.split(':').apply(lambda x: int(x[0]) * 60 + int(x[1]) + int(x[2]) // 60)# 1.2 获取浮点数总分钟数 (保留秒的精度)df['_timemin_float'] = df['Time'].str.split(':').apply(lambda x: int(x[0]) * 60 + int(x[1]) + int(x[2]) / 60)# 方法二:利用Pandas内置时间序列功能(推荐)df['Time_timedelta'] = pd.to_timedelta(df['Time'])df['_timemin_td'] = df['Time_timedelta'].dt.total_seconds() / 60print("最终结果对比:")print(df)
输出结果:
最终结果对比: Name Time Time_timedelta _timemin_int _timemin_float _timemin_td0 Jim 1:33:04 01:33:04 93 93.066667 93.0666671 Chrissy 0:06:39 00:06:39 6 6.650000 6.6500002 Billy 10:00:02 10:00:02 600 600.033333 600.033333
从结果可以看出,_timemin_float和_timemin_td列的结果是完全一致的,都精确到了秒的小数部分。_timemin_int列则进行了向下取整。
注意事项与总结
数据类型转换: 在进行任何数学运算之前,务必确保将从字符串中提取的数值转换为正确的数值类型(int或float)。这是避免TypeError的关键。选择合适的精度: 根据你的分析需求,决定是需要整数分钟数(使用//进行整数除法)还是浮点数分钟数(使用/进行浮点除法)。推荐使用pd.to_timedelta: 尽管基于字符串分割的方法可以直接解决问题,但pd.to_timedelta是处理时间数据的更专业、更高效且更健壮的方法。它能够处理更广泛的时间格式,并且是Pandas时间序列功能的基础,能更好地与后续的时间序列分析操作集成。错误处理: 对于生产环境中的数据,如果Time列可能包含非标准或无效的字符串,pd.to_timedelta提供了errors参数(如errors=’coerce’可以将无法解析的值转换为NaT,即Not a Time),这有助于更好地处理异常数据。
通过本教程,你现在应该能够根据具体需求,灵活且高效地在Pandas DataFrame中将hh:mm:ss格式的时间字符串转换为总分钟数。
以上就是Pandas中将hh:mm:ss时间格式转换为总分钟数的教程的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1365990.html
微信扫一扫
支付宝扫一扫