本教程旨在指导用户如何根据一个索引列表从现有pandas dataframe中提取特定x、y坐标并构建一个新的dataframe。文章将首先介绍基于循环和字典的初步解决方案及其改进，随后重点讲解如何利用numpy的矢量化操作实现更高效、简洁的数据提取和dataframe创建，以应对大规模数据处理场景。
在数据分析和处理中，我们经常需要根据一系列索引或映射关系，从一个大型数据结构中抽取特定信息并重构为新的数据表。本教程将以一个具体场景为例，详细讲解如何高效地从一个包含节点信息的DataFrame中，根据一个“行程”列表（由索引对构成）来提取对应的X、Y坐标，并构建一个新的坐标DataFrame。
场景描述
假设我们拥有以下两个主要数据结构：
一个名为 tours 的列表，其中包含多个子列表。每个子列表形如 [xi, yi]，表示一对索引。xi 和 yi 分别对应于主DataFrame中X和Y列的行索引。一个名为 df 的Pandas DataFrame，包含了多个节点的详细信息，其中包括 Node、X、Y、Demand 和 Profit 等列。
我们的目标是创建一个新的DataFrame coord，它只有两列：X 和 Y。coord 的每一行都应对应 tours 中的一个 [xi, yi] 对，其中 X 值是 df.iloc[xi][‘X’]，Y 值是 df.iloc[yi][‘Y’]。
初始方法：基于循环和字典
一种直观的方法是遍历 tours 列表，在循环中根据索引从 df 中提取对应的X和Y值，然后将这些值存储到一个字典中，最后再将字典转换为DataFrame。
数据准备：
首先，我们定义示例数据：
import pandas as pdimport numpy as nptours = [[0, 4], [0, 5], [0, 6], [1, 13], [2, 0], [3, 8], [4, 9], [5, 10], [6, 7], [7, 1], [8, 2], [9, 3], [10, 11], [11, 14], [12, 0], [13, 12], [14, 0]]# 示例DataFrame dfdata = { 'Node': [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16], 'X': [5.7735, 2.8867, -2.8868, -5.7735, -2.8867, 2.8868, 8.6603, 0.0000, -8.6603, -8.6603, 0.0000, 8.6603, 5.3405, 3.3198, 6.4952], 'Y': [0.00, 5.00, 5.00, 0.00, -5.00, -5.00, 5.00, 10.00, 5.00, -5.00, -10.00, -5.00, 0.75, 4.25, -1.25], 'Demand': [40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 40.0, 10.0, 10.0, 10.0], 'Profit': [16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 16.0, 24.0, 24.0, 24.0, 24.0, 24.0, 10.0, 10.0, 11.0]}df = pd.DataFrame(data, index=range(len(data['Node']))) # 确保索引是从0开始的
基于循环和字典的实现：
d = {}for t, tour in enumerate(tours): xi = tour[0] yi = tour[1] # 从df中根据索引提取X和Y值 x_val = df["X"].iloc[xi] y_val = df["Y"].iloc[yi] d[t] = (x_val, y_val) # 将X和Y值作为元组存储# 将字典转换为DataFrame# 注意：直接使用 pd.DataFrame(d.items(), columns=['X', 'Y']) 会导致第二列是元组# 正确的方式是使用 from_dict 并指定 orient='index'coord_loop = pd.DataFrame.from_dict(d, orient='index', columns=['X', 'Y'])print("--- 循环和字典方法结果 ---")print(coord_loop)
代码解析：
初始化一个空字典 d。使用 enumerate 遍历 tours 列表，获取每个子列表的索引 t 和内容 tour。xi = tour[0] 和 yi = tour[1] 分别获取X和Y的行索引。df[“X”].iloc[xi] 和 df[“Y”].iloc[yi] 使用 .iloc 进行基于整数位置的索引，提取出对应的X和Y值。将提取到的 x_val 和 y_val 作为一个元组 (x_val, y_val) 存储到字典 d 中，键为当前循环的索引 t。最后，使用 pd.DataFrame.from_dict(d, orient=’index’, columns=[‘X’, ‘Y’]) 将字典转换为DataFrame。orient=’index’ 告诉Pandas字典的键是DataFrame的索引，值是行数据。columns=[‘X’, ‘Y’] 指定了新DataFrame的列名。
这种方法虽然可行，但在处理大规模 tours 列表时，Python的循环会带来显著的性能开销。
优化方法：利用NumPy进行矢量化操作
Pandas和NumPy的强大之处在于其矢量化操作，它们可以极大地提高数据处理效率。我们可以将 tours 列表和 df 中需要查询的列转换为NumPy数组，然后利用NumPy的高级索引功能一步完成数据提取。
# 将tours列表转换为NumPy数组，便于进行切片和索引tours_np = np.array(tours)# 提取df中所有X和Y坐标，并转换为NumPy数组# 这样可以一次性获取所有可能的坐标点，后续通过索引访问df_coords_np = df[["X", "Y"]].to_numpy()# 使用NumPy高级索引来创建新的X和Y列# tours_np[:, 0] 得到所有xi索引组成的数组# tours_np[:, 1] 得到所有yi索引组成的数组# arr[tours_np[:, 0], 0]：# tours_np[:, 0] 是一个索引数组，用于选择 df_coords_np 的行（对应X的索引）# 0 表示选择 df_coords_np 的第0列（即X值）extracted_X = df_coords_np[tours_np[:, 0], 0]# arr[tours_np[:, 1], 1]：# tours_np[:, 1] 是一个索引数组，用于选择 df_coords_np 的行（对应Y的索引）# 1 表示选择 df_coords_np 的第1列（即Y值）extracted_Y = df_coords_np[tours_np[:, 1], 1]# 将提取出的X和Y数组转换为新的DataFramecoord_optimized = pd.DataFrame({"X": extracted_X, "Y": extracted_Y})print("n--- NumPy矢量化方法结果 ---")print(coord_optimized)
代码解析：
tours_np = np.array(tours)：将 tours 列表转换为NumPy数组。这样可以方便地使用 tours_np[:, 0] 和 tours_np[:, 1] 来分别获取所有X索引和所有Y索引的数组。df_coords_np = df[[“X”, “Y”]].to_numpy()：从原始DataFrame df 中选择 X 和 Y 列，并将其转换为一个NumPy二维数组。这个数组的每一行都是一个 [X_val, Y_val] 对。extracted_X = df_coords_np[tours_np[:, 0], 0]：这是关键的矢量化操作。tours_np[:, 0] 生成一个一维数组，包含了 tours 中所有子列表的第一个元素（即X的索引）。df_coords_np[…] 使用这个索引数组来选择 df_coords_np 中的对应行。0 则指定从这些选定的行中取出第0列的值（即X坐标）。最终 extracted_X 是一个包含所有所需X坐标的一维NumPy数组。extracted_Y = df_coords_np[tours_np[:, 1], 1]：同理，使用 tours_np[:, 1] 获取Y的索引，并从 df_coords_np 中取出第1列的值（即Y坐标），生成 extracted_Y 数组。coord_optimized = pd.DataFrame({“X”: extracted_X, “Y”: extracted_Y})：最后，使用这两个NumPy数组直接构建新的DataFrame coord_optimized。
两种方法的比较
性能： NumPy矢量化方法在处理大量数据时通常比基于Python循环的方法快得多，因为它在底层是用C语言实现的，避免了Python解释器的开销。简洁性： 矢量化代码通常更简洁，易于阅读和理解其意图，尤其是对于熟悉NumPy的用户。可读性： 对于初学者来说，循环方法可能更容易理解其逻辑，但随着对NumPy的熟悉，矢量化方法会显得更加直观。
总结与应用
通过本教程，我们学习了两种从现有DataFrame中根据索引列表提取特定坐标并构建新DataFrame的方法。虽然基于循环和字典的方法在逻辑上直观，但为了追求更高的效率和代码简洁性，尤其是在处理大数据集时，强烈推荐使用NumPy的矢量化操作。
最终生成的 coord DataFrame可以直接用于后续的数据分析和可视化任务，例如绘制路径图。coord_optimized DataFrame的每一行都代表一个由 tours 定义的坐标点，这些点可以按顺序连接起来，形成一条完整的路线。
以上就是利用Pandas和NumPy高效构建坐标DataFrame教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1378778.html
微信扫一扫 
支付宝扫一扫 
