本文详细介绍了如何使用Pandas对年龄数据进行分箱处理，包括将数值归类到预定义的年龄区间、处理非数值和缺失值并将其归为“未知”类别，以及确保分类标签的正确性和顺序。通过pd.cut和pd.to_numeric的组合应用，有效解决数据清洗和分类中的常见问题，提供清晰、可复用的数据处理方案。
1. 引言：数据分箱的需求与挑战
在数据分析和机器学习预处理中，将连续型数据（如年龄、收入等）离散化为分类区间是一种常见的技术，称为数据分箱（binning）。这有助于简化模型、减少噪声，并使数据更易于理解和解释。然而，实际数据往往存在挑战，例如：
非数值数据：年龄列可能包含“sixty-nine”、“45-55”等文本描述，而不是纯数字。缺失值：数据中可能存在空白或NaN值。分类要求：需要将这些复杂数据统一归类到特定的、预定义的分类区间，并处理“未知”类别。
本文的目标是利用Pandas库，有效地将年龄数据归类到 unknown、17 and under、18-25、26-35、36-45、46-55 和 56+ 这些分类中，同时妥善处理非数值和缺失数据。
2. 核心工具：pd.cut进行数据分箱
Pandas的pd.cut函数是实现数据分箱的核心工具。它能够将数值数据根据指定的分界点（bins）切割成不同的区间，并为每个区间分配一个标签（labels）。
pd.cut的主要参数包括：
x：要分箱的Series或数组。bins：定义分箱边界的序列。labels：为每个分箱区间指定的标签列表。
关键点：bins的数量必须比labels的数量多一个。 这是pd.cut函数的基本要求，也是许多初学者常遇到的错误之一（例如“Bin labels must be one fewer than the number of bin edges”）。bins定义了N个区间需要N+1个边界点。
立即学习“Python免费学习笔记（深入）”；
3. 数据预处理：处理非数值和缺失值
在进行数值分箱之前，确保数据列是数值类型至关重要。原始数据中可能包含文本或格式不规范的年龄信息。
3.1 统一转换为数值类型并处理非数字项
我们可以使用pd.to_numeric()函数，结合errors=’coerce’参数，将列中的所有值尝试转换为数字。如果某个值无法转换为数字，errors=’coerce’会将其自动替换为NaN（Not a Number）。这是将文本值统一归入“unknown”类别的第一步。
import pandas as pdimport numpy as np# 假设 candy 是你的 DataFrame，'Q3: AGE' 是包含年龄信息的列# 为了演示，我们创建一个类似的DataFramedata = {'Q3: AGE': ['45-55', '20', '56', '35', 'sixty-nine', np.nan, '15', '60 on the day after Halloween', '17']}candy = pd.DataFrame(data)# 使用 pd.to_numeric 转换并处理非数字项# 这会将 '45-55', 'sixty-nine' 等转换为 NaNcandy['Q3: AGE_numeric'] = pd.to_numeric(candy['Q3: AGE'], errors='coerce')print("经过 pd.to_numeric 处理后的数据：")print(candy)
说明： 原始问题中提供了一段预处理代码（使用str.isnumeric()和fillna(False)），其目的是识别并处理非数字字符串。pd.to_numeric(errors=’coerce’)能更简洁高效地达到类似目的，将所有非纯数字项转换为NaN。
4. 构建分箱逻辑并处理“未知”类别
现在我们已经将非数字项统一转换为NaN，接下来可以定义分箱边界和标签，并使用pd.cut进行分箱。
4.1 定义分箱边界 (bins) 和标签 (labels)
为了满足bins比labels多一个的要求，并覆盖所有可能的数值范围（包括可能由pd.to_numeric产生的NaN），我们需要精心设计bins。
# 定义分箱边界# 注意：bins的数量比labels多一个# [-float('inf'), -1] 这个区间作为技术上的占位符，# 确保bins和labels长度匹配，且能处理极端情况。# 实际的 'unknown' 类别主要通过后续的 fillna 步骤处理。bins = [-float('inf'), -1, 17, 25, 35, 45, 55, float('inf')]# 定义分箱标签labels = ['unknown_numeric_range', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']# 这里 'unknown_numeric_range' 是一个临时标签，# 最终的 'unknown' 类别将由 fillna 统一赋值。
4.2 结合pd.cut与fillna处理“未知”类别
将经过pd.to_numeric处理的数值列（可能包含NaN）传入pd.cut。pd.cut会将有效的数值分箱，而NaN值会继续保留为NaN。随后，我们使用.fillna(‘unknown’)将所有NaN（无论是原始缺失值还是由pd.to_numeric(errors=’coerce’)产生的）统一替换为’unknown’。
candy['age_cat'] = pd.cut(candy['Q3: AGE_numeric'], bins=bins, labels=labels, include_lowest=True) # include_lowest=True 确保第一个区间包含下限# 将所有 NaN 值（来自非数字转换和原始缺失值）填充为 'unknown'candy['age_cat'] = candy['age_cat'].fillna('unknown')print("n初步分箱并填充 'unknown' 后的数据：")print(candy[['Q3: AGE', 'Q3: AGE_numeric', 'age_cat']])
说明： include_lowest=True 确保第一个区间 [-inf, -1] 包含其下限，并且 (a, b] 的区间定义中，17 and under 对应 (-1, 17]，即年龄17岁及以下。
5. 规范分类数据类型与顺序
为了确保分类结果的准确性和一致性，我们应将结果列显式转换为Pandas的Categorical数据类型，并指定类别及其顺序。这对于后续的数据分析和可视化非常重要。
# 定义最终的分类标签及其顺序final_categories = ['unknown', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']# 将 'age_cat' 列转换为 Categorical 类型，并指定类别顺序candy['age_cat'] = pd.Categorical(candy['age_cat'], categories=final_categories, ordered=False)print("n最终分类结果（Categorical类型）：")print(candy[['Q3: AGE', 'Q3: AGE_numeric', 'age_cat']])print("n分类列的类别信息：")print(candy['age_cat'].dtype.categories)
通过pd.Categorical，我们明确了所有可能的类别，并强制’unknown’排在第一位，即使其在数据中出现的频率不高。ordered=False表示这些年龄类别之间没有内在的顺序关系（除了人为指定的显示顺序）。
6. 完整示例代码
以下是一个完整的、可运行的Python代码示例，展示了上述所有步骤：
import pandas as pdimport numpy as np# 1. 创建示例DataFramedata = {'Q3: AGE': ['45-55', '20', '56', '35', 'sixty-nine', np.nan, '15', '60 on the day after Halloween', '17', '-5']}candy = pd.DataFrame(data)print("原始数据：")print(candy)# 2. 数据预处理：将非数字项转换为 NaNcandy['Q3: AGE_numeric'] = pd.to_numeric(candy['Q3: AGE'], errors='coerce')print("n经过 pd.to_numeric 处理后的数据：")print(candy[['Q3: AGE', 'Q3: AGE_numeric']])# 3. 定义分箱边界和标签# bins的数量必须比labels多一个bins = [-float('inf'), -1, 17, 25, 35, 45, 55, float('inf')]labels = ['unknown_numeric_range', '17 and under', '18-25', '26-35', '36-45', '46-55', '56+']# 4. 使用 pd.cut 进行初步分箱# include_lowest=True 确保第一个区间包含下限candy['age_cat'] = pd.cut(candy['Q3: AGE_numeric'], bins=bins, labels=labels, include_lowest=True)# 5. 填充 NaN 值，将其归为
以上就是Python Pandas数据分箱：处理年龄分类与非数值数据的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1373665.html
微信扫一扫 
支付宝扫一扫 
