本教程详细讲解了在Pandas中处理包含数值信息的’object’类型数据以进行描述性统计分析的方法。针对数据集中常见的数值与单位混合、小数分隔符不一致等问题，文章提供了一套智能转换策略，通过逐列遍历和条件解析，将非标准数值字符串转换为可计算的浮点数，最终实现对这些复杂’object’列的平均值等统计量计算。
在数据分析过程中，我们经常会遇到Pandas DataFrame中某些列的数据类型被错误识别为object，但实际上这些列包含的是数值信息，例如”15.6 inches”、”2 – 4 kg”或”1 TB”。直接对这些object类型的列进行平均值、中位数等描述性统计计算会导致错误或无法进行。本教程旨在提供一套系统的方法，帮助用户识别、清理并智能转换这些看似复杂的数据，使其能够正确地进行数值分析。
数据探索与问题识别
首先，我们通过df.info()和df.head()来初步了解数据集的结构和数据类型。
import pandas as pdimport numpy as np# 假设数据已从 'data.xlsx' 加载df = pd.read_excel('data.xlsx')print(df.info())
从df.info()的输出中，我们可以看到许多列，如Memory Speed、Device Weight、Screen Size、GPU Memory Size、Max Processor Speed、RAM (System Memory)和SSD Capacity等，都被识别为object类型，但它们的名称明显暗示了数值含义。
df.head()的输出进一步证实了这一点，例如：
Memory Speed: “1066 MHz”, “3200 MHz”Device Weight: “2 – 4 kg”, “1 – 2 kg”Screen Size: “10 inches”, “15.6 inches”GPU Memory Size: “Shared”, “1 GB”, “2 GB”SSD Capacity: “1 TB”, “512 GB”Max Screen Resolution: “1920 x 1080”
直接使用df.describe(include=’all’)可以对所有列进行描述性统计，但对于非数值的object列，它只能提供计数、唯一值、最常见值等信息，无法计算平均值、标准差等数值统计量。例如，Backlit Keyboard列在df.info()中显示为int64，因此可以直接计算其平均值，但其他object列则不行。
‘Object’类型数据的挑战
当Pandas将一列识别为object类型时，通常意味着该列包含了混合数据类型（如字符串和数字），或者其所有值都是字符串，但这些字符串需要进一步解析才能提取数值。常见的挑战包括：
数值与单位混合: 例如 “15.6 inches”，需要提取 “15.6”。数值范围: 例如 “2 – 4 kg”，可能需要取中间值或转换为范围。小数分隔符不一致: 某些地区使用逗号作为小数分隔符（例如 “1,23” 而非 “1.23”）。特殊格式: 例如 “1920 x 1080” 表示分辨率，不直接是单个数值。单位转换: 例如 “1 TB” 和 “512 GB” 需要统一单位（如都转换为 TB）才能进行比较和计算。非数值描述: 例如 “Shared” (GPU Memory Size) 或 “Very Low” (Price)，这些本身就不是数值。缺失值处理: NaN（Not a Number）或空字符串需要被正确识别和处理。
智能类型转换策略
为了对这些object类型的列进行数值分析，我们需要设计一个智能的转换流程。核心思想是遍历每个object类型的列，并对其中的每个值进行条件判断和解析。
以下是实现这一策略的Python代码示例：
import pandas as pdimport numpy as np# 假设 df 已经加载# df = pd.read_excel("Dataset.xlsx") # 使用你的实际文件名# 创建一个空的DataFrame副本，用于存储转换后的数据df_converted = pd.DataFrame(columns=df.columns)for col in df.columns: # 遍历原始DataFrame的每一列 if df[col].dtype == "object": # 检查列的数据类型是否为 'object' converted_values = [] # 初始化一个列表，用于存储当前列转换后的值 for val in df[col].values: # 遍历当前列的每一个值 if pd.isna(val): # 如果是缺失值 (NaN)，则直接添加 NaN converted_values.append(np.nan) elif isinstance(val, (int, float)): # 如果值已经是数字类型，直接添加 converted_values.append(val) elif isinstance(val, str): # 确保值是字符串类型，以便进行字符串操作 val_stripped = val.strip() # 去除首尾空格 # 处理小数分隔符，将逗号替换为点 if "," in val_stripped: val_stripped = val_stripped.replace(",", ".") # 尝试分割字符串以处理数值和单位 if " " in val_stripped: val_splitted = val_stripped.split(" ") if len(val_splitted) >= 2: # 如果分割后有多部分 try: numeric_part = float(val_splitted[0]) unit_part = val_splitted[1].lower() # 获取单位并转为小写 if col == "SSD Capacity": # 特殊处理 SSD 容量列，进行单位统一 if unit_part == "gb": converted_values.append(numeric_part / 1000) # GB 转换为 TB elif unit_part == "tb": converted_values.append(numeric_part) else: # 未知单位，保留原始值 converted_values.append(val) elif col == "Device Weight": # 处理 Device Weight 范围，取平均值 if "-" in val_splitted[0]: # "2-4" 这种形式 try: lower, upper = map(float, val_splitted[0].split('-')) converted_values.append
以上就是掌握Pandas中‘object’类型数据的数值分析与智能转换：以计算平均值为例的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1382622.html
微信扫一扫 
支付宝扫一扫 
