本文将指导如何在pandas dataframe中处理包含数值信息但被错误识别为object数据类型的列。通过详细的迭代处理和字符串解析方法，我们将演示如何从这些混合数据列中准确提取数值、进行单位标准化，并最终计算出正确的描述性统计量，从而为后续的数据分析奠定坚实基础。
1. 理解Pandas中的数据类型挑战
在使用Pandas进行数据分析时，从Excel、CSV等文件加载数据后，经常会遇到列的数据类型（dtype）被错误推断为object的情况。这通常发生在列中包含混合数据（如数字和文本）、数字带有单位（如”2666 MHz”, “15.6 inches”）或格式不一致（如逗号作为小数分隔符）时。当这些“对象”列实际上承载着数值信息时，直接调用.mean(), .median()或.std()等数值统计方法将无法正常工作，导致统计结果不准确或程序报错。
例如，考虑一个包含产品规格的数据集。即使某些列明显是数值性质的，df.info()的输出也可能显示它们为object类型：
import pandas as pdimport numpy as np# 假设这是从 'data.xlsx' 加载的数据集结构# dataset = pd.read_excel('data.xlsx')# 为演示目的创建一个模拟DataFramedata = { 'Memory Speed': ['2666 MHz', '3200 MHz', '1066 MHz', '3200 MHz', 'NaN', '6400 MHz'], 'Device Weight': ['2 - 4 kg', '1 - 2 kg', 'NaN', '1 - 2 kg', '3 kg', '0.5 kg'], 'Screen Size': ['15.6 inches', '15.6 inches', '10 inches', '15.6 inches', '14 inches', '17.3 inches'], 'GPU Memory Size': ['Shared', '1 GB', '2 GB', 'Shared', '4 GB', '8 GB'], 'SSD Capacity': ['256 GB', '512 GB', '1 TB', '1 TB', '2 TB', '500 GB'], 'Max Processor Speed': ['3.4 GHz', '3.6 GHz', '1.05 GHz', '4.2 GHz', '5.0 GHz', '4.8 GHz'], 'RAM (System Memory)': ['4 GB', '8 GB', '12 GB', '16 GB', '32 GB', '64 GB'], 'Backlit Keyboard': [0, 1, 0, 0, 1, 1], 'Price': ['Very Low', 'Low', 'High', 'Medium', 'Low', 'Medium']}dataset = pd.DataFrame(data)print("原始数据集信息:")dataset.info()print("n原始数据集头部:")print(dataset.head())
输出可能显示多个关键数值列（如Memory Speed, Screen Size, SSD Capacity等）被识别为object类型：
RangeIndex: 6 entries, 0 to 5Data columns (total 9 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 Memory Speed 6 non-null object 1 Device Weight 5 non-null object 2 Screen Size 6 non-null object 3 GPU Memory Size 6 non-null object 4 SSD Capacity 6 non-null object 5 Max Processor Speed 6 non-null object 6 RAM (System Memory) 6 non-null object 7 Backlit Keyboard 6 non-null int64 8 Price 6 non-null objectdtypes: int64(1), object(8)memory usage: 592.0+ bytes
在这种情况下，如果直接尝试计算dataset[‘Memory Speed’].mean()，将会报错或返回NaN，因为Pandas无法对字符串进行数值运算。
2. 从对象类型列中提取数值数据
要对这些包含数值的object类型列进行统计分析，核心步骤是将它们转换为适当的数值类型（如float或int）。这通常涉及字符串处理、单位转换和错误处理。
以下是一个通用的处理策略，通过迭代列和值来清洗和转换数据：
import pandas as pdimport numpy as np# 假设 df 是从 Excel 加载的 DataFrame# df = pd.read_excel("Dataset.xlsx") # 为演示目的，使用前面定义的模拟数据集df = dataset.copy() df_new = pd.DataFrame(columns=df.columns) # 创建一个空的新DataFrame，保留列名for col in df.columns: # 遍历原始DataFrame的每一列 if df[col].dtype == "object": # 检查列是否为对象类型 values = [] # 初始化一个空列表来存储转换后的值 for val in df[col].values: # 遍历当前列的每一个值 if pd.isna(val) or (isinstance(val, str) and val.upper() == 'NAN'): # 处理NaN值（包括字符串'NaN'） values.append(np.nan) elif isinstance(val, str): # 确保值是字符串才进行解析 val_trimmed = val.strip() # 去除首尾空白 # 处理包含空格的字符串，通常表示“数值 单位” if " " in val_trimmed: val_parts = val_trimmed.split(" ") # 尝试转换第一个部分为数值 try: # 替换逗号为小数点，以处理不同地区的小数表示 numeric_part = val_parts[0].replace(",", ".") num = float(numeric_part) # 特殊处理SSD Capacity列的单位转换 (GB to TB) if col == "SSD Capacity" and len(val_parts) > 1: unit = val_parts[1].upper() if unit == "GB": values.append(num / 1000) # 转换为TB elif unit == "TB": values.append(num) else: # 未知单位，保留原值 values.append(val) # 处理RAM (System Memory)列的单位转换 (GB) elif col == "RAM (System Memory)" and len(val_parts) > 1: unit = val_parts[1].upper() if unit == "GB": values.append(num) # 已经是GB，直接添加 else: # 未知单位，保留原值 values.append(val)
以上就是Pandas中从对象类型列提取数值并进行描述性统计分析的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381862.html
微信扫一扫 
支付宝扫一扫 
