信息熵是衡量数据不确定性的指标，计算公式为H(X) = -Σ p(x) * log₂(p(x))，可通过Python实现。使用NumPy统计类别频次并计算概率，再求和得到熵值；需处理p=0时的边界情况，避免log(0)错误。代码适用于二分类、多分类及文本标签，如[‘猫’, ‘狗’, ‘鸟’]等离散数据，传入标签列表即可快速计算信息熵。
信息熵是衡量数据不确定性的指标，常用于决策树、机器学习等领域。在Python中，可以通过NumPy或数学公式直接实现信息熵的计算。
什么是信息熵
信息熵（Shannon Entropy）的公式为：
H(X) = -Σ p(x) * log₂(p(x))
其中 p(x) 是某个类别出现的概率。
立即学习“Python免费学习笔记（深入）”；
使用Python计算信息熵
以下是基于列表或数组计算信息熵的完整代码示例：
import numpy as npdef calculate_entropy(labels): # 统计每个类别的频次 _, counts = np.unique(labels, return_counts=True) # 计算概率 probabilities = counts / len(labels) # 计算信息熵 entropy = -np.sum(probabilities * np.log2(probabilities)) return entropy# 示例数据：分类标签labels = [1, 1, 0, 0, 0, 1, 1, 0]# 计算信息熵entropy = calculate_entropy(labels)print(f"信息熵: {entropy:.4f}")
处理边界情况
当某个类别概率为0时，0*log(0) 在数学上是0，但计算机可能报错。虽然 np.log2 遇到0会返回-inf，乘以0后为nan，因此可以加一点小技巧避免问题：
def calculate_entropy_safe(labels): _, counts = np.unique(labels, return_counts=True) probabilities = counts / len(labels) # 忽略概率为0的情况 entropy = -np.sum([p * np.log2(p) for p in probabilities if p > 0]) return entropy
适用于文本或离散数据
该方法不仅适用于二分类，也适用于多分类或文本标签：
“`python# 多分类示例labels_str = [‘猫’, ‘狗’, ‘狗’, ‘鸟’, ‘猫’, ‘鸟’, ‘鸟’]entropy_str = calculate_entropy_safe(labels_str)print(f”文本标签的信息熵: {entropy_str:.4f}”)“`
基本上就这些。只要传入一组离散标签，就能快速算出信息熵。
以上就是python实现信息熵的计算代码的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1382006.html
微信扫一扫 
支付宝扫一扫 
