本文详细介绍了如何从一个包含索引对的列表和一个现有dataframe中，高效地提取x和y坐标，并构建一个新的坐标dataframe。教程对比了基于循环的字典构建方法与利用numpy进行向量化操作的优化方案，强调了后者在处理大规模数据时的性能优势和代码简洁性，最终目标是为后续的路径绘制提供精确的坐标数据。
在数据分析和路径规划等场景中，我们经常需要根据一组索引从现有数据集中提取特定的坐标信息，并将其组织成一个新的数据结构。本教程将探讨如何利用Python的Pandas和NumPy库，从一个包含索引对的列表和一个DataFrame中，高效地构建一个包含X和Y坐标的新DataFrame。
1. 数据准备
首先，我们定义输入数据：一个名为 tours 的列表，其中每个子列表包含两个整数，分别代表X和Y坐标在另一个DataFrame df 中的行索引；以及一个名为 df 的Pandas DataFrame，它包含了我们所需的X和Y坐标以及其他相关信息。
import pandas as pdimport numpy as np# 索引对列表tours = [[0, 4], [0, 5], [0, 6], [1, 13], [2, 0], [3, 8], [4, 9], [5, 10], [6, 7], [7, 1], [8, 2], [9, 3], [10, 11], [11, 14], [12, 0], [13, 12], [14, 0]]# 原始数据DataFramedata = { 'Node': [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16], 'X': [5.7735, 2.8867, -2.8868, -5.7735, -2.8867, 2.8868, 8.6603, 0.0000, -8.6603, -8.6603, 0.0000, 8.6603, 5.3405, 3.3198, 6.4952], 'Y': [0.00, 5.00, 5.00, 0.00, -5.00, -5.00, 5.00, 10.00, 5.00, -5.00, -10.00, -5.00, 0.75, 4.25, -1.25], 'Demand': [40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 10.0, 10.0, 10.0], 'Profit': [16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 24.0, 24.0, 24.0, 24.0, 24.0, 24.0, 10.0, 10.0, 11.0]}df = pd.DataFrame(data, index=range(1, 16)) # 注意原始df的索引是从1开始，这里我们保持一致
重要提示： 原始 df 的索引是从1开始的，但在使用 .iloc[] 进行基于位置的索引时，它仍然从0开始计数。这意味着 df.iloc[0] 对应的是 df 的第一行（即索引为1的行）。tours 中的索引 [0, 4] 指的是 df.iloc[0] 的X值和 df.iloc[4] 的Y值。
2. 方法一：基于循环和字典的构建（初步尝试与改进）
一种直观的方法是遍历 tours 列表，在循环中根据索引从 df 中提取X和Y值，然后将这些值存储到一个字典中，最后再将字典转换为DataFrame。
2.1 初始尝试及问题
最初的尝试可能如下所示：
# 初始尝试d = {}for t, tour in enumerate(tours): xi = tour[0] yi = tour[1] key = t d[key] = df["X"].iloc[xi], df["Y"].iloc[yi]# print(d)# coord_initial = pd.DataFrame(d.items(), columns=['X', 'Y'])# print(coord_initial)
这种方法在将字典 d 转换为DataFrame coord_initial 时会遇到问题。pd.DataFrame(d.items(), columns=[‘X’, ‘Y’]) 会将字典的键（t）作为第一列，而将值（一个包含X和Y的元组）作为第二列，导致Y列存储的是元组，而非期望的两个独立列。
输出示例（错误）：
X Y0 0 (5.7735, -5.0)...
2.2 改进后的字典转换方法
为了正确地将字典转换为DataFrame，其中字典的键作为索引，值（元组）拆分为两列，我们需要使用 pd.DataFrame.from_dict() 并指定 orient=’index’：
d_improved = {}for t, tour in enumerate(tours): xi = tour[0] yi = tour[1] # 从df中根据iloc索引提取X和Y值 d_improved[t] = df["X"].iloc[xi], df["Y"].iloc[yi]coord_loop_dict = pd.DataFrame.from_dict(d_improved, orient='index', columns=['X', 'Y'])print("方法一：基于循环和字典构建的DataFrame")print(coord_loop_dict)
优点：
逻辑清晰，易于理解，适合初学者。对于小规模数据，性能影响不显著。
缺点：
使用Python循环遍历数据，对于大规模数据集，效率较低，可能成为性能瓶颈。代码相对冗长。
3. 方法二：利用NumPy进行向量化优化（推荐方法）
为了提高性能和代码简洁性，我们可以利用NumPy的向量化操作。这种方法避免了显式的Python循环，将数据操作委托给底层的C语言实现，从而获得显著的速度提升。
核心思想是：
将 tours 列表转换为NumPy数组，以便进行高效的数组操作。将 df 中需要提取的 X 和 Y 列也转换为NumPy数组。利用NumPy的高级索引（Advanced Indexing）功能，一次性从 df 的NumPy数组中提取所有对应的X和Y值。
# 将tours列表转换为NumPy数组tours_np = np.array(tours)# 提取df中X和Y列的数据，转换为NumPy数组# 这样arr[i, 0]就是第i行的X值，arr[i, 1]就是第i行的Y值arr = df[["X", "Y"]].to_numpy()# 使用高级索引一次性获取所有X和Y坐标# tours_np[:, 0] 提取所有X索引# tours_np[:, 1] 提取所有Y索引# arr[tours_np[:, 0], 0] 表示：对于tours_np中的每个X索引，去arr中取对应行的第0列（即X值）# arr[tours_np[:, 1], 1] 表示：对于tours_np中的每个Y索引，去arr中取对应行的第1列（即Y值）x_coords = arr[tours_np[:, 0], 0]y_coords = arr[tours_np[:, 1], 1]# 构建最终的DataFramecoord_numpy = pd.DataFrame({"X": x_coords, "Y": y_coords})print("n方法二：利用NumPy向量化构建的DataFrame")print(coord_numpy)
代码解析：
tours_np = np.array(tours): 将 tours 转换为一个 (N, 2) 形状的NumPy数组，其中 N 是 tours 中子列表的数量。arr = df[[“X”, “Y”]].to_numpy(): 从 df 中选择 X 和 Y 列，并将其转换为一个NumPy数组。这个数组的行索引与 df 的 .iloc 索引一致。tours_np[:, 0]：获取 tours_np 数组的所有第一列元素，即所有X坐标的索引。tours_np[:, 1]：获取 tours_np 数组的所有第二列元素，即所有Y坐标的索引。arr[tours_np[:, 0], 0]：这是一个NumPy高级索引的例子。它会遍历 tours_np[:, 0] 中的每个索引 i，然后从 arr 中取出 arr[i, 0]（即第 i 行的X值）。最终结果是一个包含所有所需X值的NumPy数组。arr[tours_np[:, 1], 1]：同理，这会取出所有所需Y值。pd.DataFrame({“X”: x_coords, “Y”: y_coords})：使用两个NumPy数组直接构建新的DataFrame。
优点：
性能卓越： NumPy的底层实现是C语言，向量化操作避免了Python的循环开销，对于处理大量数据时效率极高。代码简洁： 几行代码即可完成复杂的逻辑，提高了代码的可读性和可维护性。Pandas兼容： 结果直接是Pandas DataFrame，方便后续的数据分析和操作。
4. 总结与最佳实践
本教程展示了两种从列表索引和DataFrame中提取坐标并构建新DataFrame的方法。
基于循环和字典的方法 (pd.DataFrame.from_dict(d, orient=’index’, columns=[‘X’,’Y’]))：易于理解，适合数据量较小或逻辑复杂需要逐步调试的场景。利用NumPy向量化操作的方法 (pd.DataFrame({“X”: arr[tours_np[:, 0], 0], “Y”: arr[tours_np[:, 1], 1]}))：在处理大规模数据集时表现出卓越的性能优势和代码简洁性。这是在Python数据科学中推荐的实践方式。
对于最终目标——使用 X 和 Y 坐标绘制完整路径——这两种方法都能生成所需的 coord DataFrame。然而，考虑到数据处理的效率和代码的优雅性，强烈建议采用NumPy向量化方案。它不仅能更快地生成坐标数据，也为后续的绘图操作（例如使用Matplotlib或Seaborn）提供了标准且高效的数据结构。
以上就是Pandas与NumPy：高效构建基于索引的坐标DataFrame的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1378948.html
微信扫一扫 
支付宝扫一扫 
