在pandas dataframe中对包含混合数据类型的行进行数值求和时，直接使用`df.sum(axis=1, numeric_only=true)`可能因`numeric_only`参数的工作机制而导致0值结果。本文将深入解析此问题，并提供一种健壮的解决方案：通过结合`pd.to_numeric`与`errors=’coerce’`对非数值元素进行预处理，确保只有可转换的数值参与求和，并进一步展示如何将求和结果格式化为时间间隔。
理解df.sum(numeric_only=True)的行为
当我们需要对Pandas DataFrame的行进行求和，并且行中包含字符串、列表等非数值类型时，一个常见的做法是使用df.sum(axis=1, numeric_only=True)。然而，如果您的DataFrame中包含类似“No hours logged”这样的字符串，或者以字符串形式存储的数字（如“29160”），即使使用了numeric_only=True，求和结果也可能出乎意料地显示为0.0。
这背后的原因是numeric_only参数的工作方式。根据Pandas官方文档，numeric_only=True参数用于“只包含浮点型、整型、布尔型列”。这意味着Pandas在执行求和操作前，会检查整个列的数据类型。如果某一列中包含任何非数值类型（例如，即使只有一个单元格是字符串，整个列的dtype也可能被推断为object），那么这一整列都将被numeric_only=True排除在计算之外。
在我们的示例数据中，像’2023-11-28’这样的日期列，虽然大部分单元格看起来是数字的字符串，但它们实际存储的是字符串（’29160’），甚至有明确的非数字字符串（’No hours logged’）和列表（'[10:02, Odd number: missing entry]’）。因此，这些列的dtype很可能是object，从而被numeric_only=True忽略，导致最终的total_hours列全部为0.0。
解决方案：使用pd.to_numeric进行数据预处理
要正确地对包含混合数据类型的行进行数值求和，我们需要在求和之前，将每个单元格中可转换为数字的值进行转换，并将不可转换的值优雅地处理掉。pd.to_numeric函数结合errors=’coerce’参数是解决此问题的理想工具。
pd.to_numeric(x, errors=’coerce’)的工作原理如下：
它会尝试将x（可以是Series或单个值）转换为数值类型。如果转换成功，则返回对应的数值。如果转换失败（例如，遇到’No hours logged’或'[10:02, Odd number: missing entry]’），并且errors参数设置为’coerce’，那么该值将被替换为NaN（Not a Number）。NaN值在求和时会被默认忽略，从而不影响最终的数值结果。
实施步骤与示例代码
首先，我们准备示例数据：
import pandas as pddata = { 'id': {0: 514, 1: 2414, 2: 3225, 3: 3434, 4: 3864, 5: 4716, 6: 5793}, 'name': {0: 'alexis', 1: 'donald', 2: 'mackenzie', 3: 'louisa', 4: 'olga', 5: 'rick', 6: 'roberta'}, '2023-11-28': {0: 'No hours logged', 1: '29160', 2: '28500', 3: '25380', 4: '15600', 5: '30180', 6: '29220'}, '2023-11-29': {0: 'No hours logged', 1: '29160', 2: '28620', 3: '18840', 4: '19080', 5: '28800', 6: '29220'}, '2023-11-30': {0: 'No hours logged', 1: '28860', 2: '28560', 3: '26040', 4: '14400', 5: '28740', 6: '29460'}, '2023-12-01': {0: 'No hours logged', 1: '28620', 2: '28620', 3: 'No hours logged', 4: '13800', 5: '28620', 6: '29280'}, '2023-12-02': {0: 'No hours logged', 1: '[10:02, Odd number: missing entry]', 2: '28980', 3: '25560', 4: '5220', 5: '28680', 6: '29340'}, '2023-12-03': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: '17820', 5: 'No hours logged', 6: 'No hours logged'}, '2023-12-04': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: 'No hours logged', 5: 'No hours logged', 6: 'No hours logged'}, '2023-12-05': {0: 'No hours logged', 1: '28860', 2: '28740', 3: '24900', 4: '14400', 5: '28680', 6: '29040'},}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
接下来，我们应用pd.to_numeric并进行求和：
# 注意：选择列时应从索引为2的列开始，即跳过 'id' 和 'name' 列# 如果您的DataFrame结构不同，请相应调整列选择。df['total_hours'] = ( df.iloc[:, 2:] # 选择从第三列开始的所有列（日期列） .apply(lambda x: pd.to_numeric(x, errors='coerce')) # 对每列应用pd.to_numeric .sum(axis=1) # 对处理后的DataFrame按行求和)print("n添加 'total_hours' 列后的DataFrame:")print(df[['id', 'name', 'total_hours']])
代码解析：
df.iloc[:, 2:]：这部分代码用于选择DataFrame中从第三列（索引为2）开始的所有列。在我们的示例中，这包括了所有日期相关的工时记录列，排除了id和name列。.apply(lambda x: pd.to_numeric(x, errors=’coerce’))：对选定的每一列（x代表一个Series），应用一个lambda函数。这个函数的核心是pd.to_numeric(x, errors=’coerce’)，它尝试将列中的每个元素转换为数值。如果转换失败，则替换为NaN。.sum(axis=1)：对经过pd.to_numeric处理后生成的DataFrame（其中非数值已变为NaN）按行进行求和。Pandas的sum()函数默认会忽略NaN值，因此只有实际的数值会被加起来。
输出结果示例：
添加 'total_hours' 列后的DataFrame: id name total_hours0 514 alexis 0.01 2414 donald 144660.02 3225 mackenzie 172020.03 3434 louisa 120720.04 3864 olga 100320.05 4716 rick 173700.06 5793 roberta 175560.0
现在，total_hours列正确地反映了每行中所有可转换数值的总和。
格式化总工时为时间间隔
由于求和结果是秒数，为了更直观地显示，我们可以将其转换为HH:MM或DD HH:MM:SS格式。Pandas提供了pd.to_timedelta函数，可以将秒数转换为时间间隔（timedelta）对象。
df['total_hours_formatted'] = pd.to_timedelta(df['total_hours'], unit='s')print("n格式化后的总工时:")print(df[['id', 'name', 'total_hours_formatted']])
输出结果示例：
格式化后的总工时: id name total_hours_formatted0 514 alexis 0 days 00:00:001 2414 donald 1 days 16:11:002 3225 mackenzie 1 days 23:47:003 3434 louisa 1 days 09:32:004 3864 olga 1 days 03:52:005 4716 rick 2 days 00:15:006 5793 roberta 2 days 00:46:00
这样，总工时就被转换成了更易读的时间格式。
注意事项与总结
列选择的准确性： 在应用apply和sum之前，务必确保您选择的是包含数值数据（即使是以字符串形式存在）的正确列。错误地包含了id或name等非日期/时间列，可能会导致额外的错误或不准确的结果。使用iloc进行基于位置的选择，或使用列名列表进行基于标签的选择都是有效的方法。errors=’coerce’的重要性： 如果不使用errors=’coerce’，pd.to_numeric在遇到非数字字符串时会抛出错误，中断程序执行。’coerce’参数是处理脏数据、确保代码健壮性的关键。NaN值的处理： sum()函数默认会忽略NaN值。如果您的业务逻辑要求将NaN视为0参与求和，可以在sum()之前使用fillna(0)。数据类型一致性： 尽管本教程提供了处理混合数据类型的方案，但最佳实践是在数据导入或生成时就尽量保证数据类型的一致性。将数字存储为字符串会增加处理的复杂性。
通过以上方法，您可以有效地在Pandas DataFrame中对包含混合数据类型的行进行求和，避免因numeric_only参数误解而导致的0值结果，并灵活地格式化您的输出。
以上就是Pandas DataFrame行求和技巧：处理混合数据类型并避免0值结果的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381825.html
微信扫一扫 
支付宝扫一扫 
