本文深入探讨了Pandas cut 函数在数据分箱中的应用，特别聚焦于如何解决其默认浮点区间输出不易理解的问题。通过引入 pd.interval_range，教程详细阐述了如何精确定义自定义的整数分箱区间，并结合 groupby 方法高效生成频率分布表。文章提供清晰的代码示例和关键注意事项，旨在帮助用户实现数据的专业化分类与统计分析。
1. Pandas cut 函数概述
pandas.cut 函数是数据分析中常用的工具，用于将连续数据按指定区间进行离散化（分箱）。它将数据划分为若干个等宽或自定义的区间，并返回一个表示每个数据点所属区间的Categorical Series。这在创建频率分布表、直方图或进行数据分组分析时非常有用。
默认情况下，pd.cut 在自动生成区间时会使用浮点数表示，这可能导致区间边界不够直观，尤其当用户期望得到规整的整数区间时。
2. 理解 pd.cut 的默认输出
当直接使用 pd.cut(x=data, bins=int(cn)) 时，pd.cut 会根据数据的最小值、最大值和指定的箱数自动计算并生成等宽的浮点数区间。其输出是一个Categorical Series，每个元素都是一个Interval对象，例如 (2.734, 7.379]。这种表示方式是精确的，但对于某些应用场景（如需要整数边界的频率表）可能不够直观。
例如，对于以下数据：
import pandas as pdimport numpy as npimport math# 示例数据np.random.seed(42)data_values = np.random.uniform(5, 48, 100)top_books = pd.DataFrame({'book price': data_values})# 原始计算方法cn = math.sqrt(len(top_books['book price']))cr_original = (max(top_books['book price']) - min(top_books['book price'])) // cnprint(f"class number: {cn:.1f}")print(f"class range (original): {cr_original:.1f}")# 使用默认pd.cutbinned_default = pd.cut(x=top_books['book price'], bins=int(cn))print("nDefault pd.cut output sample:")print(binned_default.head())print(binned_default.dtype)
输出可能类似：
class number: 10.0class range (original): 4.0Default pd.cut output sample:0 (21.464, 25.772]1 (25.772, 30.081]2 (25.772, 30.081]3 (21.464, 25.772]4 (21.464, 25.772]Name: book price, dtype: categoryCategories (10, interval[float64, right]): [(4.636, 8.945] < (8.945, 13.253] < (13.253, 17.562] < (17.562, 21.87] ... (34.397, 38.706] < (38.706, 43.014] < (43.014, 47.323] < (47.323, 51.631]]
可以看到，默认生成的区间是浮点数，且边界可能不规整。
3. 实现自定义整数区间分箱
为了获得如 (2, 6], (7, 11] 等规整的整数区间，我们需要手动构建这些区间，并将其作为 pd.cut 的 bins 参数传入。pandas.interval_range 函数是实现这一目标的关键。
3.1 确定分箱参数：类数与类距
在构建自定义区间之前，首先需要计算合适的类数（cn，即箱的数量）和类距（cr，即每个箱的宽度）。
类数 (cn)：通常可以使用 Sturges 公式 (1 + log2(n)) 或简单的平方根法 (sqrt(n)) 来估算，其中 n 是数据点的数量。类距 (cr)：类距的计算需要考虑数据的最小值和最大值，并确保所有数据点都能被包含在内，同时保证类距为整数。一个稳健的计算方法是：cr = math.ceil((math.ceil(max_val) – int(min_val)) / cn)这里，math.ceil(max_val) 确保最大值向上取整，int(min_val) 确保最小值向下取整，然后计算范围，除以类数，并再次向上取整，以保证类距为整数且能覆盖所有数据。
3.2 使用 pd.interval_range 构建自定义区间
pd.interval_range 函数允许我们以指定起始点、周期数和频率（即类距）来创建一系列 Interval 对象。
start: 区间的起始值。为了包含所有数据，通常取数据的最小值向下取整。periods: 区间的数量，即 cn。freq: 区间的宽度，即 cr。
完整示例代码：
import pandas as pdimport numpy as npimport math# 1. 准备示例数据np.random.seed(42) # 保证结果可复现data_values = np.random.uniform(5.14, 48.77, 100) # 模拟原数据范围top_books = pd.DataFrame({'book price': data_values})# 2. 计算类数 (cn) 和类距 (cr)n = len(top_books['book price'])cn = math.sqrt(n) # 类数，例如100个数据点，cn=10# 确保最小值和最大值在整数边界上，并计算类距min_val = top_books['book price'].min()max_val = top_books['book price'].max()# 为了得到 (2,6], (7,11] 这样的区间，我们需要调整起始点和频率。# 目标是让区间边界是整数，并且能够覆盖所有数据。# 假设我们希望区间从一个整数开始，并以整数步长递增。# min_bound = int(min_val) # 原始答案中的处理方式# max_bound = math.ceil(max_val) # 原始答案中的处理方式# 更稳健的 cr 计算，确保能覆盖所有数据并得到整数间隔# 考虑从数据的最小值向下取整的整数开始，到最大值向上取整的整数结束range_span = math.ceil(max_val) - math.floor(min_val)cr = math.ceil(range_span / cn) # 向上取整确保覆盖所有数据print(f"数据点数量 (n): {n}")print(f"类数 (cn): {cn:.1f}")print(f"数据最小值: {min_val:.2f}")print(f"数据最大值: {max_val:.2f}")print(f"计算出的类距 (cr): {cr}")# 3. 创建自定义整数区间# 注意：pd.interval_range 默认是 right=True，即 (a, b]# 如果希望是 [a, b) 或 [a, b]，需要设置 closed 参数# 为了实现 (2,6], (7,11] 这样的效果，需要特别处理。# pd.interval_range(start, periods, freq) 会生成连续的区间，如 [2,6), [6,10)...# 如果要生成 (2,6], (7,11] 这样的非连续区间，pd.interval_range 无法直接生成。# 这种情况下，需要手动构建区间列表。# 重新审视期望输出：(2, 6], (7, 11]... 这种区间是间隔的，不是连续的。# pd.cut 通常用于连续区间。如果必须是这种间隔区间，需要手动创建IntervalIndex。# 原始问题中的期望输出是：# [(2, 6] < (7, 11] < (12, 16] ...# 这意味着每个区间的宽度是4，但区间之间有1的间隙。# 这种情况下，pd.interval_range 无法直接生成，因为它创建的是连续的区间。# 原始答案中的 pd.interval_range(start=int(min_val), periods=10, freq=int(cr))# 会生成连续的区间，例如 [5, 9), [9, 13)...# 如果要模拟 (2,6], (7,11] 这种，需要对数据进行预处理或特殊分箱。# 假设我们仍然希望使用 pd.interval_range 来生成连续的、整数边界的区间，# 然后再解释如果非要间隔区间该如何处理。# 按照原始答案的逻辑，它生成的是连续区间，例如：[5, 9], [9, 13]...# 这里的关键是 `pd.interval_range` 生成的是连续的区间。# 如果需要的是 `(2,6], (7,11]` 这种带间隙的区间，则需要手动创建 IntervalIndex。# 原始答案的pd.interval_range用法：# interval = pd.interval_range(start=int(min_val), periods=int(cn), freq=int(cr))# 这将生成如 [5, 9), [9, 13), ... 的连续区间。# 为了匹配期望的 (X, Y] 格式，且考虑到原始答案的实现，我们采用 `closed='right'`# 并且确保起始值和频率是整数。# 修正：根据原始答案的逻辑，它是生成连续的区间，而不是带间隙的区间。# 期望输出的 (2,6], (7,11] 是一个误导，可能是用户对直方图边界的理解。# 实际的 pd.cut 和 pd.interval_range 都是处理连续区间的。# 我们可以生成 [min_val_int, min_val_int + cr], (min_val_int + cr, min_val_int + 2*cr]...# 这里我们让起始点向下取整，确保所有数据都被包含。start_point = math.floor(min_val)# 如果希望区间从一个特定的整数开始，例如2，则可以手动设置 start_point = 2# 但为了覆盖数据，通常从数据的 floor(min) 开始# 这里我们遵循答案的逻辑，使用 int(min_val) 作为 start，这可能导致第一个区间不包含 min_val# 更好的做法是 start_point = math.floor(min_val)# 再次调整 cr 的计算，确保区间能覆盖 max_val 且是整数# 假设我们希望有 `int(cn)` 个区间，每个区间宽度为 `cr`。# 那么总范围至少需要 `int(cn) * cr`。# `max_val - min_val` 是实际数据范围。# `cr = math.ceil((max_val - min_val) / cn)` 确保每个区间宽度足够。# 考虑到 pd.interval_range 的 start 和 freq 参数：# start: 区间起始点，通常取数据的最小值向下取整。# periods: 区间数量，即 int(cn)。# freq: 区间宽度，即 cr。# 重新计算 cr，更贴近实际需求# 目标是生成大约 cn 个区间，且每个区间宽度为整数。# 总范围 = max(data) - min(data)# 理想的 cr = 总范围 / cn# 但为了整数边界和覆盖所有数据，需要调整。# 原始答案的 cr 计算：# cr_ans = math.ceil((math.ceil(max_val) - int(min_val)) / cn)# 这个 cr 确保了从 int(min_val) 到 math.ceil(max_val) 的范围可以被 cn 个 cr 宽度的区间覆盖。cr_final = math.ceil((math.ceil(max_val) - math.floor(min_val)) / cn)# 确保起始点为整数，并且能覆盖到最小数据点start_for_interval = math.floor(min_val)# 如果 start_for_interval + cr_final * int(cn) < max_val，则可能需要调整 cr 或 periods# 确保所有数据点都被包含在内if start_for_interval + cr_final * int(cn) < max_val: # 如果当前 cr 不足以覆盖所有数据，增加 periods 或 cr # 简单的方法是增加 periods 直到覆盖 periods_needed = math.ceil((max_val - start_for_interval) / cr_final) periods_to_use = max(int(cn), periods_needed)else: periods_to_use = int(cn)custom_intervals = pd.interval_range( start=start_for_interval, periods=periods_to_use, # 使用计算出的或原始的类数 freq=cr_final, closed='right' # 默认就是right，但明确指定更清晰)print(f"n自定义区间 (pd.interval_range):")print(custom_intervals)# 4. 使用自定义区间进行分箱binned_data = pd.cut(x=top_books['book price'], bins=custom_intervals)print("n使用自定义区间分箱后的数据示例:")print(binned_data.head())# 5. 生成频率分布表frequency_table = top_books.groupby(binned_data).agg(count=('book price', 'count'))# 或者更简洁的：frequency_table = binned_data.value_counts().sort_index()print("n频率分布表:")print(frequency_table)
4. 注意事项与总结
区间类型 (closed 参数): pd.interval_range 和 pd.cut 默认创建右闭合区间 (a, b]，即包含上限不包含下限。如果需要其他类型（如左闭合 [a, b)，或双闭合 [a, b]），可以通过 closed 参数进行设置。cr 的计算: cr 的计算至关重要，它决定了每个箱的宽度。使用 math.ceil 向上取整可以确保所有数据点都能被包含在生成的区间内，并且得到整数的类距。同时，确保 min_val 和 max_val 在计算 cr 时也进行适当的向上/向下取整，以使 start 和 freq 均为整数。非连续区间: 如果确实需要 (2,6], (7,11] 这种带有间隙的非连续区间，pd.interval_range 无法直接生成。在这种情况下，你需要手动创建一个 pd.IntervalIndex 对象，其中包含每个所需的 pd.Interval 对象。
# 示例：手动创建非连续区间from pandas import Intervalmanual_intervals = pd.IntervalIndex([ Interval(2, 6, closed='right'), Interval(7, 11, closed='right'), Interval(12, 16, closed='right'), # ... 更多区间])# 然后将 manual_intervals 传递给 pd.cut 的 bins 参数# binned_data_manual = pd.cut(x=top_books['book price'], bins=manual_intervals)
然而，对于大多数频率分布和直方图应用，连续区间是标准做法。原始问题中期望的输出可能是对直方图边界的一种简化表示，而非严格的数学区间定义。
频率统计: 分箱完成后，通过 groupby 结合 agg(‘count’) 或直接使用 value_counts() 方法，可以方便地得到每个区间的频率统计。
通过上述方法，我们可以精确控制 Pandas cut 函数的分箱行为，生成符合业务或分析需求的、具有清晰整数边界的频率分布表，从而提升数据分析结果的可读性和专业性。
以上就是掌握Pandas cut 函数：实现自定义整数区间分箱与频率统计的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1363686.html
微信扫一扫 
支付宝扫一扫 
