本文旨在解决pandas dataframe中对包含混合数据类型（如字符串数字、纯文本和列表）的行进行求和时，`df.sum(numeric_only=true)`方法可能导致结果为零的问题。我们将详细探讨`numeric_only`参数的工作原理，并提供一个健壮的解决方案，利用`pd.to_numeric`结合`errors=’coerce’`进行数据清洗和类型转换，确保准确计算每行的数值总和，并展示如何将总秒数格式化为时间。
在数据分析和处理中，Pandas DataFrame是Python用户常用的工具。然而，当处理包含混合数据类型（例如，某些列存储为字符串形式的数字，而另一些列包含纯文本或列表）的数据时，直接使用DataFrame.sum()方法可能会遇到意料之外的结果，特别是当您尝试利用numeric_only=True参数时。本教程将深入分析这一问题，并提供一个高效且可靠的解决方案。
理解 numeric_only=True 的局限性
DataFrame.sum()方法中的numeric_only=True参数旨在仅对浮点型（float）、整型（int）和布尔型（boolean）的列进行求和。然而，它判断一个列是否为“数值型”是基于该列的Pandas数据类型（dtype），而非其单元格的实际内容。如果一个列中哪怕只包含一个非数值的字符串（例如“No hours logged”），或者一个列表，Pandas通常会将其整个列的dtype推断为object。
当一个列的dtype为object时，即使其中大部分单元格包含的是可以转换为数字的字符串，numeric_only=True也会将其排除在求和计算之外。这意味着，如果您的目标求和列中存在任何object类型的列，即使它们内部包含数字字符串，numeric_only=True也会忽略它们，从而导致最终求和结果为0.0，因为实际上没有任何“数值型”列被纳入计算。
解决方案：利用 pd.to_numeric 进行类型转换
要正确地对包含混合数据类型的列进行求和，我们需要在求和之前，将这些列中的潜在数字字符串统一转换为数值类型。pandas.to_numeric()函数是实现这一目标的关键，特别是结合errors=’coerce’参数。
pd.to_numeric(x, errors=’coerce’)的工作原理如下：
它尝试将x（可以是Series或单个值）转换为数值类型。如果转换成功，则返回对应的数值。如果转换失败（例如，遇到“No hours logged”或列表），errors=’coerce’参数会指示Pandas将这些无法转换的值替换为NaN（Not a Number）。
NaN值在求和时会被自动忽略（除非显式设置skipna=False），这正是我们所期望的行为，因为它允许我们只对有效的数值进行求和。
步骤一：准备数据
首先，我们使用一个示例DataFrame来模拟包含混合数据类型的工作时间日志数据。
import pandas as pddata = { 'id': {0: 514, 1: 2414, 2: 3225, 3: 3434, 4: 3864, 5: 4716, 6: 5793}, 'name': {0: 'alexis', 1: 'donald', 2: 'mackenzie', 3: 'louisa', 4: 'olga', 5: 'rick', 6: 'roberta'}, '2023-11-28': {0: 'No hours logged', 1: '29160', 2: '28500', 3: '25380', 4: '15600', 5: '30180', 6: '29220'}, '2023-11-29': {0: 'No hours logged', 1: '29160', 2: '28620', 3: '18840', 4: '19080', 5: '28800', 6: '29220'}, '2023-11-30': {0: 'No hours logged', 1: '28860', 2: '28560', 3: '26040', 4: '14400', 5: '28740', 6: '29460'}, '2023-12-01': {0: 'No hours logged', 1: '28620', 2: '28620', 3: 'No hours logged', 4: '13800', 5: '28620', 6: '29280'}, '2023-12-02': {0: 'No hours logged', 1: '[10:02, Odd number: missing entry]', 2: '28980', 3: '25560', 4: '5220', 5: '28680', 6: '29340'}, '2023-12-03': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: '17820', 5: 'No hours logged', 6: 'No hours logged'}, '2023-12-04': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: 'No hours logged', 5: 'No hours logged', 6: 'No hours logged'}, '2023-12-05': {0: 'No hours logged', 1: '28860', 2: '28740', 3: '24900', 4: '14400', 5: '28680', 6: '29040'},}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
步骤二：选择并转换目标列
假设我们希望对除id和name列之外的所有日期列进行求和。我们可以使用df.iloc[:, 2:]来选择这些列。然后，对这些选定的列应用pd.to_numeric。
# 选择要进行求和的列 (从第三列开始，即索引为2的列)# 注意：原始问题中的 `df.iloc[:, 1:]` 会包含 'name' 列，# 而 'name' 列是字符串，不应参与数值求和。# 因此，我们从索引 2 开始，即 df.iloc[:, 2:]numeric_cols_df = df.iloc[:, 2:].apply(lambda x: pd.to_numeric(x, errors='coerce'))print("n转换后的数值型DataFrame (非数字值已转为NaN):")print(numeric_cols_df)
步骤三：按行求和并添加新列
在将非数值转换为NaN之后，我们可以安全地对转换后的DataFrame按行求和。sum(axis=1)将计算每行的总和，并自动跳过NaN值。
df['total_hours'] = numeric_cols_df.sum(axis=1)print("n添加 'total_hours' 列后的DataFrame:")print(df)
输出示例:
添加 'total_hours' 列后的DataFrame: id name 2023-11-28 2023-11-29 2023-11-30 2023-12-01 514 alexis No hours logged No hours logged No hours logged No hours logged 1 2414 donald 29160 29160 28860 28620 2 3225 mackenzie 28500 28620 28560 28620 3 3434 louisa 25380 18840 26040 No hours logged 4 3864 olga 15600 19080 14400 13800 5 4716 rick 30180 28800 28740 28620 6 5793 roberta 29220 29220 29460 29280 2023-12-02 2023-12-03 2023-12-04 No hours logged No hours logged No hours logged 1 [10:02, Odd number: missing entry] No hours logged No hours logged 2 28980 No hours logged No hours logged 3 25560 No hours logged No hours logged 4 5220 17820 No hours logged 5 28680 No hours logged No hours logged 6 29340 No hours logged No hours logged 2023-12-05 total_hours 0 No hours logged 0.0 1 28860 144660.0 2 28740 172020.0 3 24900 120720.0 4 14400 100320.0 5 28680 173700.0 6 29040 175560.0
现在，total_hours列包含了每行有效数值的总和，而不是0.0。
格式化总时长为 HH:MM
如果total_hours代表秒数，并且您希望将其转换为更易读的HH:MM或DD HH:MM:SS格式，可以使用pd.to_timedelta()函数。
df['total_time_formatted'] = pd.to_timedelta(df['total_hours'], unit='s')print("n添加格式化时间列后的DataFrame:")print(df[['id', 'name', 'total_hours', 'total_time_formatted']])
输出示例:
添加格式化时间列后的DataFrame: id name total_hours total_time_formatted0 514 alexis 0.0 0 days 00:00:001 2414 donald 144660.0 1 days 16:11:002 3225 mackenzie 172020.0 1 days 23:47:003 3434 louisa 120720.0 1 days 09:32:004 3864 olga 100320.0 1 days 03:52:005 4716 rick 173700.0 2 days 00:15:006 5793 roberta 175560.0 2 days 00:46:00
完整代码示例
将上述步骤整合到一个函数中，可以方便地应用于您的DataFrame。
import pandas as pddef calculate_total_hours(df): """ 计算DataFrame中指定日期列的总工作时间（秒），并处理混合数据类型。 参数: df (pd.DataFrame): 包含工作时间日志的DataFrame。 假设前两列为 'id' 和 'name'，后续列为日期。 日期列可能包含数字字符串、'No hours logged' 或其他非数字值。 返回: pd.DataFrame: 包含 'total_hours' (总秒数) 和 'total_time_formatted' (格式化时间) 的DataFrame。 """ # 假设 'id' 和 'name' 是前两列，不参与求和。 # 从索引2开始选择所有日期列。 data_columns = df.iloc[:, 2:] # 将日期列中的非数字值强制转换为 NaN，然后转换为数值类型 # .apply(lambda x: ...) 对每个列（Series）执行操作 numeric_data = data_columns.apply(lambda col: pd.to_numeric(col, errors='coerce')) # 对转换后的数值数据按行求和，忽略 NaN 值 df['total_hours'] = numeric_data.sum(axis=1) # 将总秒数转换为时间格式 df['total_time_formatted'] = pd.to_timedelta(df['total_hours'], unit='s') return df# 示例数据data = { 'id': {0: 514, 1: 2414, 2: 3225, 3: 3434, 4: 3864, 5: 4716, 6: 5793}, 'name': {0: 'alexis', 1: 'donald', 2: 'mackenzie', 3: 'louisa', 4: 'olga', 5: 'rick', 6: 'roberta'}, '2023-11-28': {0: 'No hours logged', 1: '29160', 2: '28500', 3: '25380', 4: '15600', 5: '30180', 6: '29220'}, '2023-11-29': {0: 'No hours logged', 1: '29160', 2: '28620', 3: '18840', 4: '19080', 5: '28800', 6: '29220'}, '2023-11-30': {0: 'No hours logged', 1: '28860', 2: '28560', 3: '26040', 4: '14400', 5: '28740', 6: '29460'}, '2023-12-01': {0: 'No hours logged', 1: '28620', 2: '28620', 3: 'No hours logged', 4: '13800', 5: '28620', 6: '29280'}, '2023-12-02': {0: 'No hours logged', 1: '[10:02, Odd number: missing entry]', 2: '28980', 3: '25560', 4: '5220', 5: '28680', 6: '29340'}, '2023-12-03': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: '17820', 5: 'No hours logged', 6: 'No hours logged'}, '2023-12-04': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: 'No hours logged', 5: 'No hours logged', 6: 'No hours logged'}, '2023-12-05': {0: 'No hours logged', 1: '28860', 2: '28740', 3: '24900', 4: '14400', 5: '28680', 6: '29040'},}df_input = pd.DataFrame(data)# 调用函数处理DataFramedf_processed = calculate_total_hours(df_input.copy()) # 使用 .copy() 避免SettingWithCopyWarningprint("n最终处理结果:")print(df_processed[['id', 'name', 'total_hours', 'total_time_formatted']])
注意事项与总结
列选择的准确性： 在实际应用中，确保您选择的列是真正需要进行数值求和的。使用df.iloc或通过列名列表进行选择，以避免将非数值列（如name）错误地包含在转换和求和操作中。errors=’coerce’ 的重要性： 这个参数是处理混合数据类型的核心。它允许您在不中断程序的情况下，将无法转换为数字的值优雅地处理为NaN。NaN 的处理： Pandas的sum()方法默认会忽略NaN值，这对于计算有效数值的总和非常方便。如果您需要将NaN视为零进行求和，可以在求和前使用fillna(0)。性能考虑： 对于非常大的DataFrame，apply操作可能会比向量化操作慢。然而，对于处理列中混合数据类型的场景，apply结合pd.to_numeric通常是必要的且足够高效的。数据源一致性： 理想情况下，数据在加载时就应尽可能保持类型一致。但当数据源不可控或格式复杂时，本文介绍的方法提供了强大的后处理能力。
通过本教程，您应该能够理解为什么df.sum(numeric_only=True)在某些情况下会返回0.0，并掌握如何使用pd.to_numeric(errors=’coerce’)结合DataFrame.apply()来健壮地处理Pandas DataFrame中混合数据类型的行求和问题，最终获得准确的统计结果并进行灵活的格式化。
以上就是深入理解Pandas DataFrame行求和：解决混合数据类型求和为零的问题的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381214.html
微信扫一扫 
支付宝扫一扫 
