深入理解 NumPy einsum 操作的细节与机制

深入理解 NumPy einsum 操作的细节与机制

`np.einsum` 是 numpy 中一个强大且灵活的函数,用于执行多维数组的乘积、求和、转置等操作。本文将通过两个核心方法——分解求和过程和显式循环模拟,详细解析 `np.einsum(‘ijk,jil->kl’, a, b)` 如何进行元素级的乘积和求和,帮助读者彻底理解其内部机制。

np.einsum 基础与挑战

np.einsum (Einstein summation convention) 提供了一种简洁的字符串表示法来描述张量运算,包括点积、外积、转置、求和等。其核心在于通过输入张量的索引字符串和输出张量的索引字符串来定义操作。例如,’ijk,jil->kl’ 表示将两个张量 a 和 b 进行运算,其中 i 和 j 是求和索引(它们出现在输入中但未出现在输出中),k 和 l 是输出索引。

尽管 einsum 语法简洁,但理解其内部元素是如何组合、相乘并最终求和的,对于初学者而言可能是一个挑战。本文将以具体示例 np.einsum(‘ijk,jil->kl’, a, b) 为切入点,深入探讨其运算细节。

假设我们有以下两个 NumPy 张量:

import numpy as npa = np.arange(8.).reshape(4, 2, 1) # 形状 (4, 2, 1)b = np.arange(16.).reshape(2, 4, 2) # 形状 (2, 4, 2)print("Tensor a:n", a)print("Tensor b:n", b)

我们的目标是理解 np.einsum(‘ijk,jil->kl’, a, b) 的计算过程。

方法一:分解求和过程,观察中间乘积

理解 einsum 运算的一种有效方法是逐步分解其求和过程。通过暂时保留所有中间索引,我们可以观察到每个元素的乘积,然后再手动执行求和。

对于 np.einsum(‘ijk,jil->kl’, a, b),输出索引是 kl。这意味着所有在输入索引中出现但未在 kl 中出现的索引(即 i 和 j)都将被求和。

为了查看所有未经求和的乘积,我们可以将输出索引字符串扩展为包含所有输入索引:’ijk,jil->ijkl’。这样,einsum 将返回一个形状为 (i_len, j_len, k_len, l_len) 的张量,其中每个元素都是 a 和 b 中对应元素的乘积,而没有任何求和操作。

# 步骤1: 获取所有未经求和的乘积products = np.einsum('ijk,jil->ijkl', a, b)print("所有未经求和的乘积 (shape:", products.shape, "):n", products)

在这个 products 张量中,products[i, j, k, l] 对应于 a[i, j, k] * b[j, i, l] 的乘积。这清楚地展示了 a 和 b 的元素是如何根据索引匹配进行组合的。

现在,为了回到原始的 ->kl 行为,我们需要对 i 和 j 轴进行求和。我们可以分两步完成:

# 步骤2: 对 j 轴(products 的第1轴)进行求和sum_over_j = products.sum(axis=1)print("n对 j 轴求和后 (shape:", sum_over_j.shape, "):n", sum_over_j)# 步骤3: 对 i 轴(sum_over_j 的第0轴)进行求和final_result = sum_over_j.sum(axis=0)print("n对 i 轴求和后 (shape:", final_result.shape, "):n", final_result)# 验证与原始 einsum 结果一致original_einsum_result = np.einsum('ijk,jil->kl', a, b)print("n原始 einsum 结果 (shape:", original_einsum_result.shape, "):n", original_einsum_result)assert np.allclose(final_result, original_einsum_result)print("n分解求和结果与原始 einsum 结果一致。")

通过这种分解方式,我们直观地看到了每个元素乘积的形成,以及随后如何通过对特定轴求和来聚合这些乘积。

方法二:显式循环模拟 einsum 运算

另一种深入理解 einsum 的方法是将其转换为等价的显式嵌套循环。这能最清晰地展示每个元素的访问和累加过程。

对于 np.einsum(‘ijk,jil->kl’, a, b),我们可以构建一个循环来遍历所有可能的 i, j, k, l 组合,并按照 einsum 的规则进行乘积和累加。

首先,确定输出张量的形状。由于输出是 kl,其形状将是 (k_len, l_len)。然后,我们遍历所有可能的 i, j, k, l 值。

def sum_array_explicit_loop(A, B):    # 获取张量 A 的维度长度    i_len, j_len, k_len = A.shape    # 获取张量 B 的维度长度 (注意 B 的形状是 (j_len, i_len, l_len)     # 如果按照 einsum 的 jil 索引来理解,但其原始形状是 (2, 4, 2),    # 这里的 _ 和 l_len 对应 B 的第0维和第2维)    # 实际上,B 的原始形状是 (B_dim0, B_dim1, B_dim2)    # 在 'jil' 中,j 对应 B_dim0, i 对应 B_dim1, l 对应 B_dim2    # 所以,B.shape[0] 是 j 的最大值,B.shape[1] 是 i 的最大值,B.shape[2] 是 l 的最大值    # 但是,i_len 和 j_len 已经由 A 决定,所以我们只需要 l_len    # 确保维度兼容性:A.shape[1] (j_len_A) 必须等于 B.shape[0] (j_len_B)    # A.shape[0] (i_len_A) 必须等于 B.shape[1] (i_len_B)    # 这里我们直接从 A 和 B 的实际形状推导循环范围    # 重新确认循环范围的正确性:    # i 循环范围由 A.shape[0] 决定    # j 循环范围由 A.shape[1] 决定    # k 循环范围由 A.shape[2] 决定    # l 循环范围由 B.shape[2] 决定 (因为 B 的第三个索引是 l)    # 对于 'ijk,jil->kl'    # i 的范围是 A.shape[0]    # j 的范围是 A.shape[1] (同时也是 B.shape[0])    # k 的范围是 A.shape[2]    # l 的范围是 B.shape[2]    i_max = A.shape[0]    j_max = A.shape[1]    k_max = A.shape[2]    l_max = B.shape[2] # l 是 B 的最后一个维度    # 初始化结果张量,形状为 (k_len, l_len)    ret = np.zeros((k_max, l_max))    # 四重嵌套循环模拟 einsum 运算    for i in range(i_max):        for j in range(j_max):            for k in range(k_max):                for l in range(l_max):                    # 核心操作:A[i, j, k] * B[j, i, l] 并累加到 ret[k, l]                    # 注意 B 的索引顺序是 j, i, l,这意味着 B 的原始第0维对应 j,第1维对应 i,第2维对应 l                    ret[k, l] += A[i, j, k] * B[j, i, l]    return ret# 使用显式循环计算结果explicit_loop_result = sum_array_explicit_loop(a, b)print("n显式循环计算结果 (shape:", explicit_loop_result.shape, "):n", explicit_loop_result)assert np.allclose(explicit_loop_result, original_einsum_result)print("n显式循环结果与原始 einsum 结果一致。")

通过显式循环,我们可以清晰地看到:

ret[k, l] 是输出张量中的一个元素。+= 操作表示对所有匹配的 i 和 j 进行求和。A[i, j, k] 按照 ijk 的顺序访问 a 的元素。B[j, i, l] 按照 jil 的顺序访问 b 的元素。这意味着 b 的原始第一个维度被当作 j,第二个维度被当作 i,第三个维度被当作 l。这就是 einsum 灵活之处,它会自动处理这种维度重排(permutation)。

einsum 索引规则总结

从以上两种方法中,我们可以提炼出 einsum 索引字符串的关键规则:

匹配与乘积: einsum 会遍历所有输入张量中相同索引的组合。例如,在 ‘ijk,jil->kl’ 中,i 和 j 同时出现在 a 和 b 的索引中,因此 einsum 会在它们的值相等时将 a[i,j,k] 和 b[j,i,l] 的元素相乘。维度重排(Permutation): 输入字符串中的索引顺序决定了如何访问张量的维度。例如,’jil’ 对于张量 b 意味着 b 的第一个维度被视为 j,第二个维度被视为 i,第三个维度被视为 l。einsum 会自动处理这种访问顺序,无需手动 transpose。求和(Reduction): 任何出现在输入索引字符串中,但未出现在输出索引字符串中的索引,都将被求和。在 ‘ijk,jil->kl’ 中,i 和 j 出现在输入中但未出现在 kl 中,因此 einsum 会对所有可能的 i 和 j 值进行求和。输出维度(Output Dimensions): 输出索引字符串 (kl) 定义了结果张量的维度和顺序。结果张量的形状将由这些输出索引的长度决定。

结论

np.einsum 是一个极其强大的工具,它通过简洁的字符串语法封装了复杂的张量运算。通过分解求和过程和显式循环模拟,我们可以深入理解 einsum 如何在元素级别上执行乘积和求和,以及它如何灵活地处理张量的维度重排和广播。掌握这些细节不仅有助于调试和优化 einsum 表达式,还能提升对多维数组运算的整体理解。在实际应用中,einsum 通常比手动循环或组合多个 NumPy 函数更高效、更具可读性。

以上就是深入理解 NumPy einsum 操作的细节与机制的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1378249.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月14日 18:42:26
下一篇 2025年12月14日 18:42:37

相关推荐

  • python pexpect模块是什么?

    pexpect模块用于自动化交互式命令行程序,其核心是expect机制,通过等待特定输出并发送响应实现控制,常用于自动登录、文件传输等场景,支持spawn启动进程、expect等待提示、sendline输入内容及interact交还控制权,主要适用于Unix/Linux系统,Windows需借助扩展…

    2025年12月15日
    000
  • Python中msgpack库如何使用?

    msgpack是一种高效的二进制序列化格式,比JSON更小更快,适用于网络通信和缓存存储。通过pip install msgpack安装,使用packb()/unpackb()进行内存中数据的序列化与反序列化,支持dict、list、str、int等基本类型。可使用dump()/load()操作文件…

    2025年12月15日
    000
  • 优化SpaCy Matcher模式匹配:理解与应用greedy参数解决长度冲突

    本教程深入探讨了SpaCy `Matcher`在处理重叠模式时可能遇到的匹配长度冲突问题。当存在多个模式,其中一个模式是另一个模式的子集时,`Matcher`默认行为可能导致较短模式优先匹配,从而阻止更长、更具体的模式被识别。文章详细介绍了如何通过`Matcher.add()`方法中的`greedy…

    2025年12月15日
    000
  • 高效合并大量数据文件的策略:绕过解析实现快速连接

    处理大量数据文件时,直接使用数据帧库的合并功能(如polars的`read_ipc`配合`rechunk=true`)可能因数据解析和内存重分块而导致性能瓶颈。本文介绍了一种绕过完整数据解析、直接在文件系统层面进行内容拼接的策略,以显著加速文件合并过程,并探讨了针对apache arrow等特定格式…

    2025年12月15日
    000
  • Poetry new 命令行为变更:项目初始化不再自动生成测试文件

    poetry的`new`命令自2021年4月起已变更其项目初始化行为。现在,执行`poetry new`不再自动创建`test_*.py`测试文件,并且`__init__.py`文件默认为空。这一变化旨在提供更灵活的初始化方式,开发者应参照最新官方文档,并根据项目需求手动配置测试结构,以确保项目遵循…

    2025年12月15日
    000
  • 使用Python PDDL框架构建旅行商问题:Effect表达式的正确姿势

    本文旨在指导用户在使用`pddl` python框架构建旅行商问题(tsp)时,如何正确处理pddl动作的`effect`表达式。通过分析常见的`recursionerror`,揭示了将pddl逻辑表达式误用字符串拼接的错误,并提供了使用框架内置逻辑运算符(如`&`和`~`)来组合谓词的正确…

    2025年12月15日
    000
  • Python中利用自定义类实现分层字符串常量与点符号路径自动构建

    本文深入探讨如何在python中优雅地组织分层字符串常量,尤其适用于http端点路径等场景。通过自定义`endpoint`类,我们能够实现类似点符号的层级访问,并自动构建完整的路径字符串,显著提升代码的可读性、可维护性及开发效率。 在构建需要与分层API(如RESTful服务)交互的Python客户…

    2025年12月15日
    000
  • 精通Django角色与权限管理:构建灵活的访问控制系统

    django提供强大的用户、组和权限系统,可用于实现精细的角色访问控制。本文将深入探讨如何利用django的内置功能,结合自定义逻辑,为不同用户角色(如经理、普通用户)分配差异化的数据访问权限,特别是如何实现部门级数据隔离,确保系统安全与业务需求。我们将从模型设计、组与权限配置,到视图层的数据过滤,…

    2025年12月15日
    000
  • 从Google Drive下载并解压ZIP文件至Colab Notebook

    本教程详细介绍了如何在Google Colab环境中,无需挂载Google Drive,从公共Google Drive链接下载并解压ZIP文件。文章分析了常见的`BadZipFile`错误原因,提供了使用`requests`库构建正确下载URL的方法,并重点推荐了更便捷、鲁棒的`gdown`库,以确…

    2025年12月15日
    000
  • 从HTML表单获取逗号分隔值:转换为NumPy数组并用于机器学习预测

    本教程详细讲解了如何处理从HTML表单获取的逗号分隔字符串,将其正确转换为NumPy数值数组,并解决机器学习模型预测时常见的数组形状错误。通过字符串解析、类型转换和数组重塑,确保输入数据符合模型要求,实现准确预测。 从HTML表单获取逗号分隔值的挑战与解决方案 在Web应用开发中,我们经常需要从用户…

    2025年12月15日
    000
  • 如何使用python实现图片处理?

    首先安装Pillow、OpenCV、numpy和matplotlib库;接着用Pillow进行图像打开、调整大小、转灰度、滤镜等基础操作;然后使用OpenCV读取图像,转灰度图并进行边缘检测;最后通过matplotlib显示结果或保存处理后的图像,注意颜色通道顺序差异。 用Python处理图片主要依…

    2025年12月15日
    000
  • Python 环境搭建从入门到进阶的完整流程

    首先安装Python官方解释器并添加至PATH,验证版本后使用venv创建虚拟环境隔离依赖,通过pip管理包并导出requirements.txt,推荐用VS Code或PyCharm开发,配合black、flake8等工具提升代码质量,科学计算项目可选Conda管理多环境与重型库。 选择并安装 P…

    2025年12月15日
    000
  • Python中Collections模块数据类型如何使用?

    Collections模块提供高效容器:Counter统计频次,defaultdict自动初始化,OrderedDict保持顺序,deque支持双端操作,提升代码简洁性与性能。 Python 的 Collections 模块提供了比内置数据类型更高级、更灵活的容器类型,能够简化特定场景下的代码逻辑。…

    2025年12月15日
    000
  • Mac M1 芯片安装 Python 的注意事项

    在Mac M1芯片上安装Python需确保使用原生ARM64架构以获得最佳性能,避免通过Rosetta 2运行的x86_64版本以防依赖冲突和性能损失;2. 推荐使用pyenv + Homebrew或Miniforge进行安装,前者适合通用开发并可灵活管理多版本Python,后者专为数据科学优化且支…

    2025年12月15日
    000
  • Python中assert函数的具体使用方法

    assert是Python关键字,用于调试时验证条件是否为真,若条件为假则抛出AssertionError异常。其语法为assert condition, message,其中condition为布尔表达式,message为可选错误信息。常用于检查输入参数、函数返回值和中间状态,如divide函数中…

    2025年12月15日
    000
  • python协程里yield from如何使用?

    yield from用于委托生成器执行,可简化代码并实现数据透传、异常传递和双向通信。 在Python协程中,yield from 主要用于委托生成器或协程的执行,把当前生成器的操作“转发”给另一个可迭代对象或子生成器。它不仅简化了代码,还能让外层生成器直接与内层生成器通信,实现数据的透传和异常传递…

    2025年12月15日
    000
  • python缩减exe文件内存

    使用PyInstaller精简打包可减小exe体积,排除冗余模块并用UPX压缩,同时优化代码以降低内存占用。 Python生成的exe文件通常体积较大,主要是因为打包工具(如PyInstaller)会把整个Python解释器和所有依赖库打包进去。虽然完全“缩减内存”运行时占用较难,但可以有效减小ex…

    2025年12月15日
    000
  • 什么是python的线性回归

    线性回归是一种通过特征的线性组合预测连续目标值的统计方法,形式为 y = a₁x₁ + … + aₙxₙ + b;在 Python 中可用 scikit-learn 实现,如用学习时间预测成绩,需准备数据、训练模型并预测,适用于具线性趋势的数据,需注意特征选择、异常值和残差分布。 线性回…

    2025年12月15日
    000
  • 如何使用python制作生成二维码?

    使用Python生成二维码只需安装qrcode[pil]库,通过设置参数创建实例,添加数据并生成图片,支持自定义颜色、尺寸及中文内容,适用于多种应用场景。 制作二维码在Python中非常简单,主要依赖于 qrcode 这个第三方库。你只需要几行代码就能生成一个标准的二维码图片。 安装 qrcode …

    2025年12月15日
    000
  • Python 异常处理的基本语法 try/except

    答案:Python通过try/except机制捕获并处理运行时错误,避免程序中断;可使用多个except分别处理不同异常,或用Exception捕获所有异常并获取错误信息;else在无异常时执行,finally始终执行,常用于资源清理,提升程序健壮性。 在 Python 中,异常处理是一种用来应对程…

    2025年12月15日
    000

发表回复

登录后才能评论
关注微信