数据清洗中的缺失值预处理主要包括识别、分析、选择策略并执行。1. 识别缺失值：使用isnull()或isna()判断缺失情况，并用sum()统计缺失数量。2. 分析缺失模式：判断缺失是否随机，是否与其他列有关联。3. 选择处理策略：包括删除（dropna）和填充（fillna）。删除适用于缺失值较少或列缺失严重的情况；填充包括均值、中位数、众数、前后向填充、插值等方法，分别适用于不同数据类型和结构。4. 评估处理效果：检查缺失值是否清除，分析数据分布变化、特征相关性变化，并通过简单模型验证处理效果。处理缺失值需结合数据特性、缺失类型和分析目标，避免“过度清洗”带来的偏差。
Python数据清洗，特别是缺失值预处理，是数据分析流程中一个至关重要且充满挑战的环节。它不仅仅是技术操作，更是一门艺术，核心在于识别、理解缺失模式，并选择最合适的填充或删除策略，这背后是对数据本身深入洞察的过程。
解决方案
处理缺失值，我们通常会借助强大的Pandas库。整个过程可以概括为：识别、分析、选择策略并执行。
识别缺失值：在Pandas中，我们用isnull()或isna()来判断数据框中的每一个元素是否为缺失值（通常表现为NaN, None或NaT）。接着，用.sum()方法可以快速统计每个列的缺失值数量，这能给我们一个初步的全局视图。
import pandas as pdimport numpy as np# 示例数据data = { 'A': [1, 2, np.nan, 4, 5], 'B': [np.nan, 2, 3, 4, 5], 'C': [1, 2, 3, np.nan, np.nan], 'D': ['apple', 'banana', 'cherry', np.nan, 'grape']}df = pd.DataFrame(data)print("原始数据框：")print(df)print("n各列缺失值数量：")print(df.isnull().sum())
分析缺失模式：仅仅知道有多少缺失值还不够。我们还需要思考：这些缺失值是随机的吗？它们之间有什么关联？例如，如果某个用户没有填写年龄，是不是也常常没有填写收入？这种洞察力往往比单纯的技术操作更有价值。
处理策略选择与执行：
立即学习“Python免费学习笔记（深入）”；
删除（Deletion）：
行删除： df.dropna()。如果一行中包含任何缺失值，就删除整行。这适用于缺失值占比较小，且我们不希望引入任何偏差的情况。但要小心，过度删除可能导致数据量锐减，丢失宝贵信息。列删除： df.dropna(axis=1)。如果某一列的缺失值过多，或者该列对分析目标不重要，可以直接删除。subset参数可以指定在哪些列中检查缺失值。how参数可以指定是“any”（任意一个缺失值就删除）还是“all”（所有值都缺失才删除）。
# 删除含有任何缺失值的行df_cleaned_rows = df.dropna()print("n删除含有缺失值的行后：")print(df_cleaned_rows)# 删除所有值都为缺失值的列（这里没有这样的列）df_cleaned_cols = df.dropna(axis=1, how='all')print("n删除所有值都为缺失值的列后：")print(df_cleaned_cols)
填充（Imputation）： df.fillna()
常数填充： 用一个固定值（如0，-1，或特定字符串）来填充。适用于已知缺失值的特定含义，或者将缺失值作为一种类别。统计量填充：均值（Mean）： df['column'].fillna(df['column'].mean())。适用于数值型数据且分布近似正态。中位数（Median）： df['column'].fillna(df['column'].median())。适用于数值型数据，尤其当数据存在异常值或偏态分布时，中位数更稳健。众数（Mode）： df['column'].fillna(df['column'].mode()[0])。适用于类别型或数值型离散数据。前后向填充（Forward Fill / Backward Fill）： df.ffill()或df.bfill()。ffill()（forward fill）：用前一个有效值填充当前缺失值。bfill()（backward fill）：用后一个有效值填充当前缺失值。特别适用于时间序列数据，假设缺失值与前后数据点有内在关联。插值填充（Interpolation）： df.interpolate()。根据已知数据点之间的关系，推断缺失值。例如，method='linear'进行线性插值。对于数值型数据，特别是存在趋势的数据，这是一种更精细的填充方法。
# 均值填充（适用于数值列）df_filled_mean = df.copy()df_filled_mean['A'] = df_filled_mean['A'].fillna(df_filled_mean['A'].mean())print("n'A'列均值填充后：")print(df_filled_mean)# 众数填充（适用于类别列或离散数值列）df_filled_mode = df.copy()df_filled_mode['D'] = df_filled_mode['D'].fillna(df_filled_mode['D'].mode()[0])print("n'D'列众数填充后：")print(df_filled_mode)# 前向填充df_ffill = df.copy()df_ffill['C'] = df_ffill['C'].ffill()print("n'C'列前向填充后：")print(df_ffill)# 线性插值df_interpolated = df.copy()df_interpolated['B'] = df_interpolated['B'].interpolate(method='linear')print("n'B'列线性插值后：")print(df_interpolated)
更高级的方法： 机器学习模型（如KNNImputer, IterativeImputer）可以根据其他特征来预测缺失值，但通常计算成本更高，且需要更复杂的设置。
为什么数据会有缺失值？深入剖析缺失数据类型及其影响
数据缺失是一个普遍存在的问题，它背后原因复杂多样，绝非仅仅是“没数据”那么简单。在我看来，理解这些“为什么”比知道“怎么填”更为关键，因为它直接影响我们后续选择的处理策略。
常见原因：
数据录入错误或遗漏： 人工录入时，可能因为疏忽、疲劳，甚至不愿填写某些敏感信息而导致空缺。系统自动录入也可能因为传感器故障、网络中断而中断。数据收集失败： 问卷调查中受访者拒绝回答特定问题，或者设备故障未能成功采集数据。数据合并问题： 当从多个来源合并数据时，如果不同数据集的键不匹配，或者某些信息在特定来源中根本不存在，就会产生缺失值。特定业务逻辑： 比如，一个字段只对特定用户群体有意义，对其他用户则天然为空。例如，如果用户不是VIP，那么VIP等级字段自然就是空的。数据转换或处理过程中的损失： 在ETL（抽取、转换、加载）过程中，如果处理逻辑有缺陷，也可能无意中引入缺失值。
缺失数据类型（这才是真正需要我们深思的）：
完全随机缺失（Missing Completely At Random, MCAR）：这是一种理想状态。缺失的发生与任何可观测变量和未观测变量都无关。比如，数据录入员不小心跳过了一个单元格，这个跳过是随机的。如果数据是MCAR，那么我们直接删除含有缺失值的行，对分析结果的偏差影响最小。但现实中，MCAR非常罕见。
随机缺失（Missing At Random, MAR）：缺失的发生与其他可观测变量有关，但与缺失变量本身的未观测值无关。举个例子，女性受访者可能比男性受访者更倾向于不填写收入信息。在这种情况下，收入的缺失与性别有关，但与收入本身的真实值无关。处理MAR数据时，我们可以利用其他已知变量来推断缺失值，比如通过回归、插值等方法。
非随机缺失（Missing Not At Random, MNAR）：这是最棘手的情况。缺失的发生与缺失变量本身的未观测值有关。例如，收入特别高或特别低的人可能更倾向于不填写收入信息。这种情况下，缺失值本身就包含了重要信息。如果简单地删除或填充，可能会引入严重的偏差，导致模型结论失真。处理MNAR数据需要更复杂的统计模型或领域知识，有时甚至需要重新设计数据收集方案。
缺失值的影响：
导致分析偏差： 如果缺失不是随机的，那么我们对剩余数据的分析结果可能无法代表整体，导致错误的结论。降低模型性能： 大多数机器学习模型无法直接处理缺失值，需要预处理。不当的填充可能引入噪音，影响模型准确性；而删除过多数据则可能导致模型训练样本不足，泛化能力下降。统计推断的有效性受损： 样本量减少，标准误差增大，置信区间变宽，统计检验的功效降低。
因此，在处理缺失值之前，花时间去理解数据是如何缺失的，这远比盲目地应用某种填充方法更为重要。它决定了我们能否真正从数据中提取出有价值的信息。
选择哪种缺失值处理策略？不同场景下的Pandas实战指南
选择合适的缺失值处理策略，就像是医生给病人开药方，没有万能药，只有最适合当前“病情”的方案。这需要我们结合数据的特性、缺失的模式以及最终的分析目标来做决策。下面我将结合Pandas的实际操作，聊聊我的选择逻辑。
1. 缺失值可视化与初步判断：在动手处理前，我通常会先用可视化手段看看缺失值的分布。比如，missingno库就能绘制出非常直观的缺失值矩阵或条形图，帮助我们快速识别缺失模式。
# 假设df是你的DataFrameimport missingno as msnoimport matplotlib.pyplot as pltmsno.matrix(df, figsize=(10, 5))plt.title('Missing Value Matrix')plt.show()msno.bar(df, figsize=(10, 5))plt.title('Missing Value Bar Chart')plt.show()
通过这些图，我能大致判断哪些列缺失严重，哪些列缺失可能与其他列相关联。
2. 策略选择考量与Pandas实战：
删除行/列 (dropna)：
何时考虑：缺失值占比极低（比如小于5%）： 如果缺失值很少，删除含有缺失值的行对整体数据量的影响不大，且操作最简单直接，能避免引入任何人工填充的偏差。整行数据对分析目标不重要： 比如，某行在关键特征上缺失，且该行并非分析重点。某些列缺失值极高（比如超过70%）： 如果一列大部分都是空的，那么这列的价值就非常有限，直接删除可能比填充更合理。我的思考： 这是最“粗暴”但有时最“干净”的方法。我一般会先计算缺失率，如果低于某个阈值（比如5%），我会倾向于直接删除。但如果数据量本身就小，或者缺失值分布在关键特征上，我会非常谨慎。
# 示例：如果'C'列缺失值过多，且对分析不重要，可以考虑删除if df['C'].isnull().sum() / len(df) > 0.5: # 假设阈值是50% df_new = df.drop(columns=['C']) print("n'C'列缺失过多，删除后：") print(df_new)
均值/中位数/众数填充 (fillna)：
何时考虑：数值型数据且分布近似正态： 可以使用均值填充。数值型数据但存在异常值或偏态分布： 中位数是更稳健的选择，因为它不受极端值影响。类别型数据或离散数值数据： 众数是自然的选择。我的思考： 这是最常用的填充方法。它简单、快速，但缺点也很明显：它降低了数据的方差，并可能扭曲特征与其他特征之间的关系。我通常会用它来处理那些缺失值不多，且对模型影响不大的特征。对于关键特征，我会更慎重。
# 假设'A'列是数值型，偏态分布，用中位数填充df_filled_median = df.copy()df_filled_median['A'] = df_filled_median['A'].fillna(df_filled_median['A'].median())print("n'A'列中位数填充后：")print(df_filled_median)# 假设'D'列是类别型，用众数填充df_filled_mode_D = df.copy()df_filled_mode_D['D'] = df_filled_mode_D['D'].fillna(df_filled_mode_D['D'].mode()[0])print("n'D'列众数填充后：")print(df_filled_mode_D)
前后向填充 (ffill/bfill)：
何时考虑：时间序列数据： 当数据点之间存在时间上的顺序和依赖关系时，比如股票价格、传感器读数。数据有明确的逻辑顺序： 比如日志文件，缺失值可能意味着前一个状态的延续。我的思考： 对于时间序列数据，这几乎是我的首选。它保留了数据的顺序信息，比简单的统计量填充更合理。但要注意，如果缺失块很大，这种填充可能会导致大量重复值。
# 假设df是时间序列数据，'B'列有缺失，用前向填充df_ts = pd.DataFrame({'value': [10, 12, np.nan, 15, np.nan, np.nan, 20]})df_ts_ffill = df_ts.ffill()print("n时间序列数据前向填充后：")print(df_ts_ffill)
插值填充 (interpolate)：
何时考虑：数值型数据，且数据点之间存在连续性或某种趋势： 比如温度、压力、销售额等。缺失值不是连续的大块： 如果缺失值是零星分布的，插值效果会更好。我的思考： 这是比均值/中位数更高级的填充方法，它能更好地捕捉数据的内在模式。我经常使用method='linear'，因为它简单且有效。对于更复杂的模式，也可以尝试'polynomial'或'spline'。
# 假设'B'列是数值型，存在线性趋势，用线性插值df_interpolated_B = df.copy()df_interpolated_B['B'] = df_interpolated_B['B'].interpolate(method='linear')print("n'B'列线性插值后：")print(df_interpolated_B)
总结一下我的选择逻辑：
看缺失率： 极低就删，极高也删（列）。看数据类型： 数值用均值/中位数/插值，类别用众数。看数据结构： 时间序列优先考虑前后向填充或插值。看缺失模式： 如果缺失非随机（MNAR），常规填充可能引入偏差，这时可能需要更复杂的模型或改变数据收集方式。目标导向： 最终的填充效果要服务于后续的分析或模型训练。有时，我甚至会尝试多种填充方法，然后比较模型效果，来决定哪种是最好的。
这是一个迭代和实验的过程，没有一劳永逸的方案。
缺失值处理后如何评估数据质量？避免“过度清洗”的陷阱
当我们完成了缺失值处理，无论是删除还是填充，我都觉得这只是完成了第一步。接下来的“评估”环节，在我看来，才是真正体现数据分析师功力的地方。如果不做评估，我们很可能就掉进了“过度清洗”的陷阱，最终得到一个看起来很完美，实则漏洞百出的数据集。
1. 再次确认缺失值是否已处理干净：最直接的，就是再运行一次df.isnull().sum()。确保所有列的缺失值数量都变成了0（或者符合你处理后的预期）。
# 假设df_processed是处理后的DataFrameprint("n处理后各列缺失值数量：")print(df_processed.isnull().sum())
如果还有，那说明处理逻辑有漏网之鱼，需要回溯。
2. 检查数据分布的变化：这是关键！填充操作会改变数据的原始分布，而这种改变是否合理，直接影响后续分析的准确性。
数值型特征：
直方图/核密度图： 对比处理前后该特征的直方图或核密度图。如果用均值/中位数填充，你可能会看到在均值/中位数位置出现一个明显的“高峰”，这表明你引入了大量相同的数值，可能会影响模型的敏感度。箱线图： 观察填充后异常值的变化，以及数据整体的离散程度。统计描述： 比较处理前后df.describe()的结果，特别是均值、中位数、标准差等，看它们的变化是否在可接受范围内。
类别型特征：
计数统计： 比较填充前后各类别值的频数。众数填充会使得众数类别变得更加突出。
# 示例：假设'A'列处理前后对比# fig, axes = plt.subplots(1, 2, figsize=(12, 5))# df['A'].hist(ax=axes[0], bins=10)# axes[0].set_title('Original A Distribution')# df_processed['A'].hist(ax=axes[1], bins=10)# axes[1].set_title('Processed A Distribution')# plt.show()# print(df['A'].describe())# print(df_processed['A'].describe())
3. 评估特征之间的关系（相关性）：填充操作可能会改变特征之间的相关性。例如，你用特征B的均值填充了特征A的缺失值，那么特征A和B之间的相关性可能会被削弱或扭曲。使用热力图或散点图矩阵来观察处理前后特征相关性的变化。
# 示例：处理前后相关性矩阵对比# import seaborn as sns# sns.heatmap(df.corr(), annot=True, cmap='coolwarm')# plt.title('Original Correlation Matrix')# plt.show()# sns.heatmap(df_processed.corr(), annot=True, cmap='coolwarm')# plt.title('Processed Correlation Matrix')# plt.show()
4. 运行简单的模型或分析任务：这是最直接的验证方法。用处理前后的数据分别跑一个简单的模型（比如线性回归、决策树），看看模型的性能（R-squared
以上就是Python如何做数据清洗？预处理缺失值方法的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1365818.html
微信扫一扫 
支付宝扫一扫 
