PythonApriori算法去重详解

本文针对《Python数据挖掘入门与实践》一书中Apriori算法代码存在的频繁项集重复计数问题，提出了一种改进方案。原代码在生成频繁2-项集时，由于项集顺序不同导致重复计数。改进后的代码通过对生成的项集进行排序（`frozenset(sorted(list(current_superset)))`），确保相同项集只计数一次，有效解决了重复计数问题，提高了Apriori算法的准确性和效率。文章详细分析了问题原因，并提供了修改后的代码及运行结果，旨在帮助读者更好地理解和应用Apriori算法。

《Python数据挖掘入门与实践》Apriori算法代码改进：避免频繁项集重复计数

本文针对《Python数据挖掘入门与实践》一书中Apriori算法代码的重复计数问题提出改进方案。书中代码片段用于从频繁1-项集生成频繁2-项集，但存在由于项集顺序不同导致重复计数的缺陷。

原代码的核心部分如下：

from collections import defaultdict

def find_frequent_itemsets(favorable_reviews_by_users, k_1_itemsets, min_support):
    counts = defaultdict(int)
    for user, reviews in favorable_reviews_by_users.items():
        for itemset in k_1_itemsets:
            if itemset.issubset(reviews):
                for other_reviewed_movie in reviews - itemset:
                    current_superset = itemset | frozenset((other_reviewed_movie,))
                    counts[current_superset] += 1
    return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])

问题在于，对于用户评论集合{a, b}，当itemset为{a}时，会生成{a, b}；当itemset为{b}时，又会生成{b, a}，导致{a, b}被重复计数。

改进方案：对生成的项集进行排序，确保相同项集仅计数一次。 修改后的代码如下：

from collections import defaultdict

def find_frequent_itemsets(favorable_reviews_by_users, k_1_itemsets, min_support):
    counts = defaultdict(int)
    for user, reviews in favorable_reviews_by_users.items():
        for itemset in k_1_itemsets:
            if itemset.issubset(reviews):
                for other_reviewed_movie in reviews - itemset:
                    current_superset = itemset | frozenset((other_reviewed_movie,))
                    current_superset = frozenset(sorted(list(current_superset))) #排序避免重复
                    counts[current_superset] += 1
    return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])

通过frozenset(sorted(list(current_superset)))这一行代码，我们将current_superset转换为列表进行排序，再转换回frozenset，从而确保相同项集的顺序一致，避免重复计数，最终得到准确的频繁项集。

此改进有效解决了原代码中频繁项集重复计数的问题，提高了Apriori算法的准确性。

今天关于《PythonApriori算法去重详解》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！