本文详细介绍了如何使用Python Pandas库，为DataFrame中的所有列生成一个结构化的统计表。该表将清晰展示每列的名称、数据类型、唯一的取值及其数量，为数据探索和预处理提供直观的概览，尤其适用于处理包含大量列的数据集。
引言：数据概览的重要性
在数据分析和机器学习项目中，深入理解数据集的结构和内容是至关重要的第一步。对于一个Pandas DataFrame，了解每列的数据类型（Dtype）以及其中包含的唯一值（Unique Values）及其数量，能够帮助我们快速识别潜在的数据质量问题、数据类型不匹配，或者发现分类变量的基数（Cardinality）。手动检查每个列既耗时又容易出错，尤其当DataFrame包含数十甚至上百个列时。因此，构建一个自动化的、可扩展的列特征统计表显得尤为必要。
核心方法：构建列特征统计表
为了生成一个包含列名、数据类型、唯一值列表和唯一值数量的汇总表，我们可以通过迭代DataFrame的每一列来实现。以下是具体的实现步骤和示例代码。
1. 准备示例DataFrame
首先，我们创建一个示例DataFrame，以便演示后续的操作：
import pandas as pd# 创建示例DataFramedf = pd.DataFrame({ 'letter': ['a','b','c','a','b','c'], 'state': ['CA','FL','CA','FL','CA','FL'], 'scores': [11.6,12.8,13.9,14.2,15.8,16.2], 'age': [12,28,19,14,12,28]})print("原始DataFrame:")print(df)
2. 迭代并提取列信息
我们将遍历DataFrame的所有列。对于每一列，我们需要获取其数据类型、提取所有唯一的取值，并将这些唯一值转换为字符串形式以便于在汇总表中显示。同时，统计唯一值的数量也是一个非常有用的指标。
立即学习“Python免费学习笔记（深入）”；
# 初始化列表用于存储提取的信息column_names = []data_types = []unique_values_list = []unique_counts = []# 遍历DataFrame的每一列for col in df.columns: column_names.append(col) # 列名 data_types.append(str(df[col].dtype)) # 数据类型 # 获取唯一值，并转换为字符串列表，然后用逗号连接 unique_vals = df[col].unique() # 将每个唯一值转换为字符串，以防出现非字符串类型（如数字、布尔值） unique_vals_str = [str(x) for x in unique_vals] unique_values_list.append(', '.join(unique_vals_str)) unique_counts.append(len(unique_vals)) # 唯一值数量
3. 构建结果DataFrame
最后，我们将收集到的所有信息汇聚到一个新的Pandas DataFrame中，形成我们所需的列特征统计表。
# 构建结果DataFramesummary_df = pd.DataFrame({ 'Column Name': column_names, 'Dtype': data_types, 'Unique Values': unique_values_list, 'Unique Count': unique_counts})print("n列特征统计表:")print(summary_df)
输出示例：
原始DataFrame: letter state scores age0 a CA 11.6 121 b FL 12.8 282 c CA 13.9 193 a FL 14.2 144 b CA 15.8 125 c FL 16.2 28列特征统计表: Column Name Dtype Unique Values Unique Count0 letter object a,b,c 31 state object CA, FL 22 scores float64 11.6, 12.8, 13.9, 14.2,... 63 age int64 12, 28, 19, 14 4
注：scores列的唯一值列表可能因显示宽度被截断，但实际内部存储是完整的。
封装为可复用函数
为了提高代码的可复用性和可维护性，特别是当需要对多个DataFrame执行相同操作时，将上述逻辑封装为一个函数是最佳实践。
def get_dataframe_summary(df: pd.DataFrame) -> pd.DataFrame: """ 为Pandas DataFrame生成一个列特征统计表，包括列名、数据类型、 唯一的取值列表和唯一值的数量。 参数: df (pd.DataFrame): 需要分析的DataFrame。 返回: pd.DataFrame: 包含列特征统计信息的DataFrame。 """ column_names = [] data_types = [] unique_values_list = [] unique_counts = [] for col in df.columns: column_names.append(col) data_types.append(str(df[col].dtype)) unique_vals = df[col].unique() unique_vals_str = [str(x) for x in unique_vals] unique_values_list.append(', '.join(unique_vals_str)) unique_counts.append(len(unique_vals)) summary_df = pd.DataFrame({ 'Column Name': column_names, 'Dtype': data_types, 'Unique Values': unique_values_list, 'Unique Count': unique_counts }) return summary_df# 使用函数summary_table = get_dataframe_summary(df)print("n使用函数生成的列特征统计表:")print(summary_table)
注意事项与进阶考量
处理大量唯一值： 如果某一列包含大量唯一值（例如，一个ID列），将其所有唯一值都列出来可能会导致“Unique Values”列非常长，影响可读性。在这种情况下，可以考虑对显示进行截断，例如只显示前N个唯一值，并在末尾加上“…”表示省略，或者仅显示唯一值的数量。
# 示例：截断唯一值显示# unique_values_list.append(', '.join(unique_vals_str[:5]) + ('...' if len(unique_vals_str) > 5 else ''))
性能考量： 对于具有数百万行甚至更多行的大型DataFrame，df[col].unique()操作可能会消耗较多的内存和计算资源。在极端情况下，如果性能成为瓶颈，可以考虑抽样或者使用更优化的库（如datatable）进行初步的数据探索。然而，对于大多数常见的数据集大小，Pandas的性能是足够的。更全面的数据概览： 本教程侧重于数据类型和唯一值。在实际数据探索中，通常还需要结合其他Pandas函数，如：df.info()：提供非空值数量和内存使用情况。df.describe()：为数值型列提供统计摘要（均值、标准差、最小值、最大值等）。df.value_counts()：对于分类列，提供每个唯一值的频次分布。df.isnull().sum()：统计每列的缺失值数量。通过整合这些信息，可以构建一个更全面的数据质量报告。
总结
生成DataFrame列的类型和唯一值统计表是数据探索阶段的一个基础而强大的工具。通过本文介绍的方法，我们可以快速、自动化地获取这些关键信息，从而更好地理解数据集的结构、识别潜在问题，并为后续的数据清洗、特征工程和模型构建奠定基础。将此功能封装为可复用函数，进一步提升了其在实际项目中的应用价值。
以上就是Python Pandas：高效生成DataFrame列数据类型与唯一值统计表的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1365745.html
微信扫一扫 
支付宝扫一扫 
