使用装饰器和字典缓存函数结果:避免 setdefault 的陷阱

使用装饰器和字典缓存函数结果:避免 setdefault 的陷阱

本文旨在帮助读者理解如何使用 Python 装饰器实现函数结果缓存,提高代码执行效率。我们将深入探讨使用 dict.setdefault 方法的潜在问题,并提供一种更健壮的缓存实现方案,包括处理可变参数和关键字参数,以及如何避免全局缓存带来的问题。

装饰器与函数缓存

装饰器是 Python 中一种强大的元编程工具,允许我们在不修改函数本身代码的情况下,增强函数的功能。函数缓存是一种常见的优化技术,通过存储函数调用结果,避免重复计算,从而提高程序性能。

setdefault 的陷阱

最初,我们可能会尝试使用字典的 setdefault 方法来实现缓存。setdefault 的本意是:如果键不存在于字典中,则插入具有指定值的键。然而,在函数缓存的场景下,直接使用 setdefault 可能会导致不必要的函数调用。

考虑以下代码片段:

def wrapper2(*args, **kwargs):    global cache    return cache.setdefault(args, func(*args, **kwargs))

这段代码看起来似乎很简洁,但实际上 func(*args, **kwargs) 会在 setdefault 被调用 之前 执行。也就是说,无论 args 是否已经存在于 cache 中,func 都会被调用一次。这违背了缓存的初衷,即避免重复计算。

return cache.setdefault(args, func(*args, **kwargs)) 等价于:

result = func(*args, **kwargs)return cache.setdefault(args, result)

因此,func 总是在 cache.setdefault 之前被调用。

改进的缓存装饰器

为了避免 setdefault 的陷阱,我们需要显式地检查缓存中是否存在结果,如果不存在才调用函数。同时,为了让装饰器更具通用性,我们需要解决以下几个问题:

避免全局缓存: 每个被装饰的函数应该拥有自己的缓存,而不是共享一个全局缓存。处理可变参数和关键字参数: 缓存键需要包含 *args 和 **kwargs 的信息。保留原始函数信息: 使用 functools.wraps 装饰器可以保留原始函数的元数据,例如函数名和文档字符串,这对于调试和代码维护非常重要。

以下是一个改进后的缓存装饰器示例:

import functoolsdef cacheDecorator(func):    cache = {}  # 每个函数一个缓存    @functools.wraps(func)  # 保留原始函数信息    def wrapper(*args, **kwargs):        # 创建缓存键,包含 args 和 kwargs        cache_key = (args, tuple(sorted(kwargs.items()))) # Ensure kwargs are consistently ordered        if cache_key in cache:            return cache[cache_key]        else:            ret_val = func(*args, **kwargs)            cache[cache_key] = ret_val            return ret_val    return wrapper

代码解释:

cache = {}: 在 cacheDecorator 函数内部创建了一个字典 cache,用于存储当前函数的缓存。@functools.wraps(func): 使用 functools.wraps 装饰器,将原始函数 func 的元数据复制到 wrapper 函数,例如 __name__、__doc__ 等。cache_key = (args, tuple(sorted(kwargs.items()))): 创建缓存键。这里将 args 和 kwargs 都包含在内。由于字典是无序的,为了确保相同的关键字参数以相同的顺序出现,我们对 kwargs.items() 进行了排序。tuple()的使用是因为字典的键必须是可哈希的,而字典本身是不可哈希的,元组可以作为字典的键。if cache_key in cache:: 检查缓存中是否存在对应的结果。return cache[cache_key]: 如果缓存命中,直接返回缓存中的结果。*`ret_val = func(args, kwargs)`: 如果缓存未命中,调用原始函数 func 计算结果。cache[cache_key] = ret_val: 将计算结果存储到缓存中。return ret_val: 返回计算结果。

使用示例:

import time@cacheDecoratordef expensive_function(a, b, c=1):    """    一个耗时的函数,用于演示缓存效果。    """    print("Executing expensive_function...")    time.sleep(2)  # 模拟耗时操作    return a * b + cprint(expensive_function(1, 2))print(expensive_function(1, 2))print(expensive_function(1, 2, c=3)) # Different arguments, so not cachedprint(expensive_function(1, 2, c=3)) # Now cached

在这个例子中,expensive_function 只会在第一次调用时执行耗时操作。后续使用相同参数的调用将直接从缓存中获取结果,大大提高了效率。

注意事项

可变数据类型: 如果函数的参数是可变数据类型(例如列表或字典),并且在函数内部被修改,那么缓存可能会失效,因为缓存键对应的对象已经发生了变化。 在这种情况下,应该考虑复制参数,或者避免缓存具有可变参数的函数。缓存大小限制: 在实际应用中,应该考虑缓存的大小限制,避免占用过多的内存。可以使用 lru_cache 装饰器(functools.lru_cache)来实现带有 LRU (Least Recently Used) 策略的缓存。

总结

通过自定义装饰器,我们可以轻松地为函数添加缓存功能,提高代码执行效率。避免直接使用 setdefault 方法,并注意处理可变参数和关键字参数,可以构建更健壮、更通用的缓存装饰器。 在实际应用中,还需要根据具体情况考虑缓存大小限制和缓存失效策略。

以上就是使用装饰器和字典缓存函数结果:避免 setdefault 的陷阱的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1373247.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月14日 13:05:26
下一篇 2025年12月14日 13:05:38

相关推荐

  • Stanza Lemmatizer:仅提取 Lemma 的方法

    本文介绍了如何使用 Stanza 库进行西班牙语文本的词形还原,并提取所需的 Lemma 信息,避免处理冗余的字典结构。通过解析 Stanza pipeline 的输出结构,展示了如何以简洁高效的方式获取 Lemma 列表,并提供示例代码进行演示。本文适用于需要使用 Stanza 进行词形还原,但仅…

    2025年12月14日
    000
  • 在PySpark中利用数组列与列表交集进行DataFrame过滤的正确姿势

    本文详细介绍了如何在PySpark中高效地过滤DataFrame,当需要根据数组列与一个给定Python列表的交集来筛选数据时。核心解决方案是利用pyspark.sql.functions.arrays_overlap函数,并结合lit函数将Python列表中的元素转换为Spark字面量表达式,从而…

    2025年12月14日
    000
  • 解决Scapy在Windows上“无法将硬件过滤器设置为混杂模式”错误的教程

    本文旨在解决Scapy在Windows 11环境下发送数据包时遇到的“无法将硬件过滤器设置为混杂模式”错误。该问题通常源于过时的Npcap驱动版本或硬件/驱动对混杂模式支持不足。教程提供了两种主要解决方案:升级Npcap驱动至1.74或更高版本,或在Scapy配置中禁用混杂模式,确保用户能够顺利进行…

    2025年12月14日
    000
  • Ursina引擎中为Entity对象设置自定义碰撞体的最佳实践

    本教程详细阐述了如何在Ursina引擎中为Entity对象设置自定义BoxCollider,以精确控制碰撞区域。我们将重点解释BoxCollider的center和size参数的相对性,并提供正确的代码示例,帮助开发者实现更灵活、准确的碰撞检测,同时强调利用F10调试工具进行可视化调整的重要性。 在…

    2025年12月14日
    000
  • 在VS Code中高效管理Python项目环境变量

    本教程详细探讨了在VS Code中处理Python项目环境变量的多种方法,特别关注.env文件在不同运行模式下的加载行为差异。文章解释了为何直接运行Python文件时.env可能不生效,但在调试或交互式窗口中却能正常工作,并提供了通过利用VS Code的内置功能、使用python-dotenv库进行…

    2025年12月14日
    000
  • Discord.py 应用命令(App Commands)集成与同步指南

    本教程旨在解决Discord.py机器人中应用命令(即斜杠命令,@bot.tree.command)无法正常显示和使用的问题。核心在于理解Discord应用命令的注册机制,并通过在机器人启动时(on_ready事件)调用await bot.tree.sync()方法,将本地定义的命令同步至Disco…

    2025年12月14日
    000
  • Scapy 混杂模式错误排查与解决指南

    本文旨在解决 Scapy 在 Windows 环境下发送数据包时遇到的“无法将硬件过滤器设置为混杂模式”错误。该问题通常由过旧的 Npcap 版本或硬件不支持混杂模式引起。教程将详细介绍两种解决方案:升级 Npcap 到 1.7.4 或更高版本,以及通过 Scapy 配置禁用混杂模式,并提供相应的操…

    2025年12月14日
    000
  • Matplotlib日期时间数据可视化:事件计数与时间轴聚合教程

    本教程旨在解决使用Matplotlib绘制日期时间数据时遇到的常见问题,特别是当需要统计并可视化特定时间单位(如每天)的事件数量时。文章详细介绍了如何通过数据标准化、聚合计数和排序等步骤,将原始的日期时间列表转换为清晰、有意义的时间序列图表,从而有效展示事件随时间的变化趋势。 引言 在数据分析和可视…

    2025年12月14日
    000
  • statsmodels回归模型单点预测:如何正确处理常数项

    本文详细阐述了如何使用statsmodels库中的回归模型进行单点预测。核心在于理解并正确处理模型训练时通过sm.add_constant添加的常数项。教程将指导读者如何为Results.predict()方法准备符合模型预期的输入数据,确保预测结果的准确性和一致性,并提供清晰的代码示例。 在使用s…

    2025年12月14日
    000
  • 从嵌套JSON结构中移除特定层级并提升子元素

    本文介绍如何使用Python高效地从深度嵌套的JSON对象中移除特定中间层级的数据,并通过列表推导式将该层级的子元素提升至其父级,从而实现数据结构的扁平化处理。在处理复杂的JSON数据时,我们经常需要对特定层级的数据进行调整或移除。当遇到需要移除某个中间层级,并将其子元素直接提升至其父级的情况时,传…

    2025年12月14日
    000
  • 深入理解 Taipy file_selector 的文件上传与临时路径管理

    本文深入探讨 Taipy file_selector 组件的文件上传机制。它通过将用户文件复制到本地临时目录来处理,尤其在服务器环境中至关重要。文章将解释文件路径自动递增的现象,并指出 state.file_path 引用的是临时文件。同时,文章还将讨论当前无法禁用上传成功通知的限制,并提供代码示例…

    2025年12月14日
    000
  • Python模块导入路径深度解析:理解sys.path与脚本执行行为

    本文深入探讨了Python脚本执行时sys.path的确定机制,特别是当直接运行脚本而非作为模块时,可能导致ModuleNotFoundError的问题。文章详细解释了不同执行方式下sys.path的差异,并提供了多种解决方案,包括脚本内路径修改、以模块方式运行以及推荐使用PYTHONPATH环境变…

    2025年12月14日
    000
  • Pandas数据框:高效汇总月度数据至季度与年度

    本文将详细介绍如何使用Pandas高效地将数据框中以YYYYMM格式表示的月度列数据,按行汇总为季度和年度数据。核心策略包括将宽格式数据转换为长格式(melt操作),从时间列中提取年份、月份和季度信息,然后利用groupby功能进行灵活的数据聚合,最终生成季度和年度汇总结果。 引言:处理宽格式时间序…

    2025年12月14日
    000
  • Scapy混杂模式错误:诊断与解决方案

    Scapy在Windows环境下发送数据包时,可能遭遇“无法设置混杂模式”的OSError。本文旨在提供详细的诊断方法和两种核心解决方案:一是升级Npcap驱动至1.7.4或更高版本以修复已知缺陷,二是当硬件不支持混杂模式时,通过配置Scapy禁用该功能。 理解Scapy中的混杂模式错误 在使用sc…

    2025年12月14日
    000
  • Python中从嵌套JSON移除特定层级并提升子节点的方法

    本文探讨了如何高效地从复杂嵌套的JSON对象中移除特定层级,并将其子节点提升至父级,以重塑数据结构。通过Python的列表推导式和循环迭代,我们展示了一种简洁且可读性强的方法来处理这类数据转换需求,特别适用于具有固定层级模式的JSON数据,同时强调了原地修改数据的特性及潜在影响。 引言 在处理大规模…

    2025年12月14日
    000
  • Python 模块导入路径深度解析与解决方案

    本文深入探讨了Python在不同执行模式下(如python script.py与python -m module)如何确定模块导入路径(sys.path),解释了ModuleNotFoundError的常见原因。通过分析sys.path的构建机制,文章提出了多种解决方案,包括临时修改sys.path…

    2025年12月14日
    000
  • 深入理解 Python 模块导入路径:sys.path 行为解析与解决方案

    本文深入探讨了 Python 模块导入时 sys.path 的行为机制,特别是当使用 python script.py 命令执行脚本时,导入路径与预期不符的问题。通过剖析 Python 官方文档中的规则,解释了为何脚本所在目录而非当前工作目录会被优先添加到 sys.path。文章还提供了多种解决模块…

    2025年12月14日
    000
  • statsmodels回归模型单值预测:常数项处理与正确实践

    本教程详细指导如何使用statsmodels库对已训练的回归模型进行单个数据点的预测。核心内容在于阐明当模型训练时使用了sm.add_constant添加常数项后,如何正确地为单个预测输入构造特征矩阵,确保输入维度与模型期望的训练数据维度完全匹配,从而获得准确且符合预期的预测结果。 在数据科学和机器…

    2025年12月14日
    000
  • Pandas 数据重塑与时间序列聚合:从月度列到季度/年度汇总

    本教程详细介绍了如何使用 Pandas 对具有 YYYYMM 格式月度数据列的 DataFrame 进行高效重塑与聚合。通过 melt 函数将宽格式数据转换为长格式,结合字符串操作提取年份和月份,并创建季度映射,最终实现灵活的季度和年度数据汇总。文章提供了清晰的步骤、代码示例,并探讨了相关注意事项,…

    2025年12月14日
    000
  • 从嵌套JSON对象中移除特定层级并提升子节点的Python方法

    本教程详细介绍了如何在Python中处理复杂的嵌套JSON数据结构,特别是如何根据层级关系移除中间层级,并将其子节点提升到上一级。通过利用Python的列表推导式和对数据结构的理解,我们可以高效、简洁地实现这一目标,同时提供了示例代码和使用注意事项,以确保数据处理的准确性和可靠性。 在处理复杂的配置…

    2025年12月14日
    000

发表回复

登录后才能评论
关注微信