pandas

chunk是pandas分块读取数据时的单位，设置chunksize可返回可迭代对象，每块为小型DataFrame；示例中每次读取10000行进行处理，适用于清洗、统计、导出等场景；通过累计sum和count计算全局均值，或过滤后保存到新文件、写入数据库；需权衡chunksize大小，避免内存累积，…

pandas的drop_duplicates()函数用于删除重复行，默认保留首次出现的记录并返回新DataFrame。通过subset参数可指定列进行去重，keep参数控制保留首条、末条或删除所有重复项，inplace决定是否修改原数据，ignore_index用于重置索引。 pandas库提供了一…

向量化操作性能优于apply，因底层用C实现，如df[‘A’] + df[‘B’]比apply快；apply适合复杂逻辑但慢，建议优先使用向量化方法。 在使用 Python 的 pandas 处理数据时，apply 和 向量化（vectorized）操…

答案：通过选用合适数据类型、及时释放内存、分块处理及利用NumPy视图可有效优化Python内存使用。具体包括将整数和浮点数降级为int8/int16/float32，分类变量转为category类型；用del删除无用对象并调用gc.collect()；对大文件使用read_csv(chunksiz…

重命名Pandas DataFrame列名主要有两种方法：使用df.rename()方法可灵活修改部分列名，支持字典映射或函数处理，适合精准调整；直接赋值df.columns则适用于一次性替换所有列名，需确保列表长度匹配。推荐使用rename()结合函数或列表推导式进行动态批量处理，避免inplac…

答案是选择 Pandas DataFrame 中特定行和列主要使用 .loc 和 .iloc 方法，.loc 基于标签访问数据，如 df.loc[‘row2’] 选行、df.loc[:, ‘col2’] 选列，支持多行、多列及条件筛选；.iloc 基于…

Pandas的groupby通过“分、用、合”实现数据聚合，支持多列分组与复杂聚合，结合filter、sort_values和reset_index可高效处理结果，并可通过优化数据类型、使用Dask等提升大数据性能。 Pandas中的 groupby 操作，简单来说，就是将你的数据集根据一个或多个键…

答案：处理Pandas缺失值需先识别再决策，常用df.isnull().sum()统计缺失，根据占比选择删除或填充；少量缺失可删，多则填充，数值型用均值、中位数，类别型用众数，时间序列适用前向/后向填充，也可插值或设特定值，需权衡数据完整性与信息损失。 在Python中使用pandas处理缺失值（N…

Pandas处理缺失值需掌握isnull()、notnull()、dropna()和fillna()。首先用isnull().sum()统计各列缺失值数量，快速识别缺失情况；dropna()用于删除缺失值，how=’any’表示有缺失即删，how=’all&#82…

Pandas的groupby()可按列分组数据并应用聚合函数如sum、mean等，支持多级分组、agg多种聚合、transform组内转换及apply自定义函数，默认排除NaN值，可用fillna填充，结合sort_values和head可获取每组前N条，transform还能将结果合并回原Data…