当Pandas DataFrame列中混合了整数和None值时，默认行为会将整列转换为浮点类型，并将None替换为NaN。本文将介绍如何利用Pandas 1.0.0及更高版本引入的pd.NA和Int64Dtype，优雅地处理此类数据，确保整数类型得以保留，同时用表示缺失值，从而实现可空整数列。
理解问题：Pandas中None值与整数的类型转换
在Pandas中，当一个Series或DataFrame列包含整数类型数据，并且其中混入了Python的None值时，Pandas通常会将其自动转换为浮点类型（float64）。这是因为在旧版本的Pandas中，None和NaN（Not a Number）通常被视为浮点类型的一部分，并且标准的NumPy整数类型（如int64）不支持表示缺失值。为了兼容所有值，Pandas会选择一个能够容纳所有值的通用类型，即浮点数，并将None转换为NaN。
考虑以下示例，它展示了默认行为：
import pandas as pdthe_array = [None, None, None, 101, 555, 756, 924, 485]df = pd.DataFrame(columns=['request'])df['request'] = the_arrayprint("默认行为下的DataFrame:")print(df)print("n数据类型:")print(df.dtypes)
输出结果将是：
默认行为下的DataFrame: request0 NaN1 NaN2 NaN3 101.04 555.05 756.06 924.07 485.0数据类型:request float64dtype: object
可以看到，原始的整数101, 555, …都被转换成了浮点数101.0, 555.0, …，并且None值被替换为NaN，整列的数据类型变为了float64。这在某些场景下可能不是我们期望的结果，例如当我们需要严格的整数运算或希望区分缺失值的语义时。
解决方案：使用可空整数类型（Nullable Integer Dtypes）
从Pandas 1.0.0版本开始，引入了pd.NA这一专门的缺失值指示符，以及一系列可空数据类型（Nullable Dtypes），其中就包括可空整数类型，如Int64Dtype（或其字符串别名”Int64″）。这些新的数据类型允许整数列中存在缺失值，而无需将整列强制转换为浮点类型。
使用”Int64″作为数据类型，Pandas将能够：
保留整数值： 实际的整数数据将保持其整数形式。表示缺失值： None值（以及np.nan、pd.NA等）将被替换为pd.NA，在打印时通常显示为。维持整数类型： 整个列的数据类型将是Int64（大写I），这是一种Pandas特有的可空整数类型，与NumPy的int64（小写i）不同。
实施步骤
在创建DataFrame时，通过dtype参数指定为”Int64″即可。
import pandas as pdthe_array = [None, None, None, 101, 555, 756, 924, 485]# 使用dtype="Int64"创建DataFramedf_nullable_int = pd.DataFrame( data=the_array, columns=["request"], dtype="Int64" # 指定为可空整数类型)print("使用Int64Dtype后的DataFrame:")print(df_nullable_int)print("n数据类型:")print(df_nullable_int.dtypes)
输出结果将是：
使用Int64Dtype后的DataFrame: request0 1 2 3 1014 5555 7566 9247 485数据类型:request Int64dtype: object
从输出可以看出，整数值101, 555, …得以保留，None值被替换为，并且列的数据类型是Int64，而非float64。这正是我们期望的精确表示。
注意事项与最佳实践
Pandas版本要求： 可空整数类型和pd.NA是在Pandas 1.0.0及更高版本中引入的。如果您的Pandas版本较低，此方法将不可用。Int64与int64的区别：int64 (小写i) 是NumPy的默认整数类型，不支持缺失值（np.nan会被强制转换为浮点数）。Int64 (大写I) 是Pandas的可空整数类型，专为处理包含缺失值的整数数据而设计。缺失值表示： pd.NA是Pandas推荐的通用缺失值表示，它与np.nan、None等在不同数据类型中都能良好工作。当使用可空整数类型时，所有缺失值都会被标准化为pd.NA并显示为。类型转换： 如果DataFrame已经创建，并且您想将其中的列转换为可空整数类型，可以使用astype()方法：
df['request'] = df['request'].astype("Int64")
性能考量： 可空数据类型在某些操作上可能比NumPy原生类型稍慢，但对于需要精确类型和缺失值处理的场景，其优势远大于此。
总结
通过利用Pandas 1.0.0及更高版本提供的pd.NA和可空整数类型（如Int64Dtype或”Int64″），我们可以有效地解决在Pandas中加载包含None值的整数数组时，数据被自动转换为浮点数的问题。这种方法不仅保留了数据的原始整数类型，而且提供了一种清晰、明确的方式来表示缺失值，从而提高了数据处理的准确性和灵活性。在处理可能包含缺失值的数值数据时，优先考虑使用Pandas的可空数据类型是推荐的最佳实践。
以上就是Pandas中含None值的整数数组加载为可空整数类型教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1377823.html
微信扫一扫 
支付宝扫一扫 
