本文旨在指导读者如何基于现有DataFrame和索引列表，高效地构建一个新的坐标DataFrame。我们将探讨两种主要方法：基于循环和字典的迭代方法，以及利用NumPy高级索引和向量化操作的更优方法，旨在提高数据处理的效率和代码简洁性，为后续数据可视化（如路线绘制）奠定基础。
在数据分析和处理中，我们经常需要从一个大型数据集中根据特定的索引或规则提取子集，并将其组织成新的结构。本教程将以一个具体场景为例，演示如何从一个包含节点信息的Pandas DataFrame中，根据一个索引列表（tours）提取对应的X和Y坐标，并构建一个新的DataFrame。
场景描述
假设我们拥有以下两个核心数据结构：
一个名为 tours 的列表，其中每个子列表包含两个整数，分别代表X坐标和Y坐标在原始DataFrame df 中的行索引。例如，[0, 4] 表示从 df 的第0行获取X值，从 df 的第4行获取Y值。
tours = [[0, 4], [0, 5], [0, 6], [1, 13], [2, 0], [3, 8], [4, 9], [5, 10], [6, 7], [7, 1], [8, 2], [9, 3], [10, 11], [11, 14], [12, 0], [13, 12], [14, 0]]
一个名为 df 的Pandas DataFrame，包含了多个节点的详细信息，其中包括 X 和 Y 坐标。
import pandas as pdimport numpy as npdata = { 'Node': [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16], 'X': [5.7735, 2.8867, -2.8868, -5.7735, -2.8867, 2.8868, 8.6603, 0.0000, -8.6603, -8.6603, 0.0000, 8.6603, 5.3405, 3.3198, 6.4952], 'Y': [0.00, 5.00, 5.00, 0.00, -5.00, -5.00, 5.00, 10.00, 5.00, -5.00, -10.00, -5.00, 0.75, 4.25, -1.25], 'Demand': [40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 10.0, 10.0, 10.0], 'Profit': [16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 24.0, 24.0, 24.0, 24.0, 10.0, 10.0, 11.0]}df = pd.DataFrame(data)# 调整DataFrame的索引以匹配问题描述中的iloc行为# 原始df的索引是1-15，但iloc[0]会访问到Node=2的行。# 为了使iloc[0]访问到Node=2的行，我们需要确保df的默认整数索引是0开始的。# 示例数据中已经确保了这一点。
我们的目标是创建一个新的DataFrame coord，其中包含 tours 中每个索引对对应的 X 和 Y 坐标。
方法一：迭代与字典转换
这种方法通过循环遍历 tours 列表，在每次迭代中根据索引从 df 中提取 X 和 Y 值，并将这些值存储在一个字典中。最后，将字典转换为DataFrame。
实现步骤：
初始化一个空字典 d。遍历 tours 列表，使用 enumerate 获取当前元素的索引 t 和子列表 tour。从 tour 中提取 xi (X的索引) 和 yi (Y的索引)。使用 df[“X”].iloc[xi] 和 df[“Y”].iloc[yi] 从 df 中获取对应的X和Y值。将获取到的 (X, Y) 对作为值，t 作为键存入字典 d。使用 pd.DataFrame.from_dict() 方法，指定 orient=’index’ 和 columns=[‘X’, ‘Y’] 将字典转换为DataFrame。orient=’index’ 确保字典的键成为DataFrame的索引，值成为行数据。
示例代码：
d = {}for t, tour in enumerate(tours): xi = tour[0] yi = tour[1] # 注意：df.iloc[index] 是基于位置的索引，与问题描述中的预期行为一致 d[t] = df["X"].iloc[xi], df["Y"].iloc[yi]coord_iterative = pd.DataFrame.from_dict(d, orient='index', columns=['X', 'Y'])print("--- 方法一：迭代与字典转换 ---")print(coord_iterative)
优点：
逻辑清晰，易于理解，尤其适合初学者。对于小型数据集，性能影响不明显。
缺点：
涉及显式循环，对于大型数据集效率较低。Python的循环通常比向量化操作慢。
方法二：向量化操作与NumPy高级索引
为了提高效率，特别是处理大数据时，推荐使用Pandas和NumPy提供的向量化操作。这种方法避免了显式Python循环，转而利用底层C实现的优化操作。
实现步骤：
将 tours 列表转换为NumPy数组。这使得我们可以利用NumPy的强大索引功能。从原始DataFrame df 中提取 X 和 Y 列，并将其转换为NumPy数组 arr。这样做可以避免在循环中反复进行Pandas Series的索引操作。利用NumPy的高级索引功能，一步到位地从 arr 中提取所有需要的X和Y值。tours[:, 0] 提取 tours 数组中所有子列表的第一个元素（即X的索引列表）。tours[:, 1] 提取 tours 数组中所有子列表的第二个元素（即Y的索引列表）。arr[tours[:, 0], 0] 表示使用X的索引列表去 arr 的第0列（即X值）中查找对应的值。arr[tours[:, 1], 1] 表示使用Y的索引列表去 arr 的第1列（即Y值）中查找对应的值。将这些提取出的X和Y值直接构建成一个新的Pandas DataFrame。
示例代码：
# 将tours转换为NumPy数组，方便进行高级索引tours_np = np.array(tours)# 提取df的X和Y列并转换为NumPy数组# 注意：这里假设df的索引是0-based的整数索引，与iloc行为一致arr = df[["X", "Y"]].to_numpy()# 使用NumPy高级索引直接获取X和Y坐标# tours_np[:, 0] 得到所有X的索引# tours_np[:, 1] 得到所有Y的索引# arr[row_indices, column_index]# arr[tours_np[:, 0], 0] 从arr的第0列（X值）中，按照tours_np[:, 0]提供的行索引提取值# arr[tours_np[:, 1], 1] 从arr的第1列（Y值）中，按照tours_np[:, 1]提供的行索引提取值coord_vectorized = pd.DataFrame({ "X": arr[tours_np[:, 0], 0], "Y": arr[tours_np[:, 1], 1]})print("n--- 方法二：向量化操作与NumPy高级索引 ---")print(coord_vectorized)
优点：
高效性： 充分利用了NumPy的底层优化，执行速度远快于Python循环，尤其适用于大数据集。简洁性： 代码更为紧凑和优雅。Pandas/NumPy生态系统优势： 与Pandas和NumPy的数据结构无缝集成。
缺点：
对于初学者来说，NumPy的高级索引可能需要一些时间来理解。
性能比较与选择
在实际应用中，对于数据量较小（例如几百到几千行）的场景，两种方法在性能上的差异可能不明显，此时选择可读性更好的迭代方法也无妨。然而，当处理的数据量达到数万、数十万甚至更高时，向量化操作的性能优势将变得极其显著，能够大幅缩短程序运行时间。
因此，推荐在大多数情况下优先使用方法二（向量化操作与NumPy高级索引），因为它代表了Pandas和NumPy处理数据的最佳实践。
总结与注意事项
通过本教程，我们学习了两种从现有DataFrame中提取指定坐标并构建新DataFrame的方法。
迭代方法：通过循环和字典辅助构建，易于理解，但效率相对较低。向量化方法：利用NumPy的高级索引，代码简洁且性能卓越，是处理大量数据的首选。
在实践中，选择哪种方法取决于具体的数据规模和对性能的要求。对于最终目标是绘制路线图的场景，生成的 coord DataFrame将直接作为绘图库（如Matplotlib, Seaborn, Plotly等）的输入，其准确性和高效生成是至关重要的。
注意事项：
索引范围：确保 tours 列表中的索引值不会超出 df DataFrame的有效行索引范围，否则会导致 IndexError。数据类型：在将数据转换为NumPy数组时，确保数据类型兼容，以避免潜在的类型转换问题。可读性与性能平衡：虽然向量化操作更高效，但在某些极端复杂的逻辑中，如果过度追求单行代码而牺牲可读性，可能会增加维护成本。始终在性能和代码可读性之间找到最佳平衡点。
以上就是利用Pandas与NumPy高效构建坐标DataFrame的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1378967.html
微信扫一扫 
支付宝扫一扫 
