《python数据挖掘入门与实践》中apriori算法代码改进：避免频繁项集重复计数
本文针对《Python数据挖掘入门与实践》一书中Apriori算法代码片段中频繁项集重复计数的问题，提出改进方案。原代码片段如下：
from collections import defaultdictdef find_frequent_itemsets(favorable_reviews_by_users, k_1_itemsets, min_support): counts = defaultdict(int) for user, reviews in favorable_reviews_by_users.items(): for itemset in k_1_itemsets: if itemset.issubset(reviews): for other_reviewed_movie in reviews - itemset: current_superset = itemset | frozenset((other_reviewed_movie,)) counts[current_superset] += 1 return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])
问题在于，由于集合无序性，{a, b} 和 {b, a} 被视为相同集合，但原代码会重复计数。
改进方案一：排序后作为键
此方案在生成 current_superset 后，对其进行排序，再将其作为字典的键。 这确保了即使顺序不同，相同的项集也会被识别为相同的键。
立即学习“Python免费学习笔记（深入）”；
from collections import defaultdictdef find_frequent_itemsets_improved1(favorable_reviews_by_users, k_1_itemsets, min_support): counts = defaultdict(int) for user, reviews in favorable_reviews_by_users.items(): for itemset in k_1_itemsets: if itemset.issubset(reviews): for other_reviewed_movie in reviews - itemset: current_superset = itemset | frozenset((other_reviewed_movie,)) # Sort the frozenset for consistent key sorted_superset = frozenset(sorted(list(current_superset))) counts[sorted_superset] += 1 return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])
改进方案二：使用itertools.combinations避免重复
此方案利用 itertools.combinations 直接生成所有可能的k-项集组合，避免了重复计算。
from collections import defaultdictfrom itertools import combinationsdef find_frequent_itemsets_improved2(favorable_reviews_by_users, k_1_itemsets, min_support): counts = defaultdict(int) for user, reviews in favorable_reviews_by_users.items(): for itemset in combinations(reviews, 2): #Generate all 2-item combinations counts[frozenset(itemset)] += 1 return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])
选择合适的改进方案：
方案一修改了原代码的逻辑，保持了原算法的整体结构，只是增加了排序步骤，相对容易理解和维护。方案二则采用了更简洁高效的算法，直接生成所有组合，避免了重复计算，效率更高，但需要理解itertools.combinations 的用法。 选择哪个方案取决于对代码可读性和效率的要求。
需要注意的是，以上代码片段只处理了从k=1到k=2的情况。 完整的Apriori算法需要递归处理更高阶的频繁项集生成。 改进后的代码也需要相应地调整以适应完整的算法流程。
以上就是《Python数据挖掘入门与实践》中Apriori算法代码如何避免频繁项集重复计数？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1357627.html
微信扫一扫 
支付宝扫一扫 
