本教程探讨了Pandas中常见的性能瓶颈：使用itertuples()和apply(axis=1)进行行级数据处理和数据查找。通过一个实际案例，我们将展示如何利用Pandas的向量化操作和merge()函数，将慢速的循环查找和数据整合过程，转换为高效、简洁且可扩展的数据处理方案，显著提升代码性能和可读性。
理解Pandas中的性能瓶颈：行级操作的陷阱
Pandas是一个强大的数据分析库，但其性能表现很大程度上取决于如何使用它。当处理大型数据集时，常见的性能瓶颈往往出现在尝试对DataFrame进行行级迭代和操作时。虽然Python的for循环和Pandas的apply(axis=1)提供了灵活性，但它们通常不是最高效的解决方案，因为它们本质上是基于Python解释器的循环，而非Pandas底层C语言实现的优化操作。
考虑以下场景：我们需要根据df_RoadSegments中的起点ID（RoadSegmentOrigin）从df_Stops中查找对应的经纬度信息，并将其整合到df_RoadSegments中。原始的实现方式可能如下：
import pandas as pdimport io# 模拟数据加载road_segments_data = """RoadSegmentOrigin,RoadSegmentDest,trip_id,planned_durationAREI2,JD4,107_1_D_1,32JD4,PNG4,107_1_D_1,55"""stops_data = """stop_id,stop_code,stop_name,stop_lat,stop_lon,zone_id,stop_urlAREI2,AREI2,AREIAS,41.1591084955401,-8.55577748652738,PRT3,http://www.stcp.pt/pt/viajar/paragens/?t=detalhe¶gem=AREI2JD4,JD4,JOÃO DE DEUS,41.1578666104126,-8.55802717966919,PRT3,http://www.stcp.pt/pt/viajar/paragens/?t=detalhe¶gem=JD4PNG4,PNG4,PORTO NORTE,41.1600000000000,-8.56000000000000,PRT3,http://www.stcp.pt/pt/viajar/paragens/?t=detalhe¶gem=PNG4"""df_RoadSegments = pd.read_csv(io.StringIO(road_segments_data))df_Stops = pd.read_csv(io.StringIO(stops_data))# 辅助函数：根据stop_id查找经纬度def getstopscoordinates(df_stops, stop_id): df_stop_id = df_stops.loc[df_stops["stop_id"] == stop_id] if not df_stop_id.empty: stop_id_lat = str(df_stop_id["stop_lat"].values[0]) stop_id_lon = str(df_stop_id["stop_lon"].values[0]) stop_id_coord = stop_id_lat + "," + stop_id_lon return stop_id_coord return None # 如果找不到，返回None# 原始的慢速处理方式# 注意：此代码段仅用于说明问题，不建议在实际生产环境中使用# for row in df_RoadSegments.head(2).itertuples():# # 这里的apply(axis=1)会在df_RoadSegments的每一行上重复调用getstopscoordinates# # 并且getstopscoordinates内部又进行了DataFrame查询，效率极低# df_RoadSegments["OriginCoordinates"] = df_RoadSegments.apply(# lambda x: getstopscoordinates(df_Stops, x["RoadSegmentOrigin"]), axis=1# )# print(df_RoadSegments)
上述代码的性能问题在于：
外部循环与内部apply(axis=1)的冗余： 即使外部只迭代df_RoadSegments.head(2)，内部的df_RoadSegments.apply(…)却会针对df_RoadSegments的所有行执行getstopscoordinates函数。这意味着在每次外部循环迭代中，整个df_RoadSegments都会被重新计算OriginCoordinates列。apply(axis=1)的低效： apply(axis=1)本质上是在DataFrame的每一行上执行一个Python函数。对于大型DataFrame，这会产生大量的Python函数调用开销，远不如Pandas的向量化操作高效。getstopscoordinates内部的DataFrame查询： 在getstopscoordinates函数内部，df_stops.loc[df_stops[“stop_id”] == stop_id] 再次进行了一次DataFrame的条件查询，这在每次函数调用时都会发生，进一步加剧了性能问题。
解决方案：利用merge()进行高效数据整合
Pandas提供了强大的向量化操作，能够显著提升数据处理效率。对于这种跨DataFrame的数据查找和整合需求，merge()函数是远比循环和apply(axis=1)更优的选择。
核心思想是：
预处理查找表： 将需要查找的数据（df_Stops）预先处理成目标格式。使用merge()进行高效连接： 利用共同的键（stop_id）将两个DataFrame连接起来。
步骤一：预处理df_Stops，生成目标坐标列
首先，我们可以在df_Stops中预先计算出所需的lat_long字符串。这样，在后续的合并操作中，我们直接使用这个预计算好的列，避免了在合并过程中重复进行字符串拼接。
# 预处理df_Stops，生成lat_long列df_Stops["lat_long"] = df_Stops[["stop_lat", "stop_lon"]].apply( lambda x: ','.join(map(str, x)), axis=1)print("预处理后的df_Stops（部分列）：")print(df_Stops[["stop_id", "lat_long"]].head())
这里对df_Stops使用apply(axis=1)来拼接字符串，虽然也是行级操作，但它只在df_Stops这个相对较小的查找表上执行一次，并且只涉及两个列的简单操作，其性能开销远小于在主循环中反复对大DataFrame进行apply。
步骤二：使用merge()连接DataFrame
有了预处理好的df_Stops，我们可以使用pd.merge()函数将其与df_RoadSegments连接起来。merge()函数类似于SQL中的JOIN操作，它能够根据一个或多个共同的键将两个DataFrame的行进行匹配。
# 使用merge()连接df_RoadSegments和df_Stopsdf_RoadSegments_merged = df_RoadSegments.merge( df_Stops[["stop_id", "lat_long"]], # 只选择需要的列进行合并 left_on="RoadSegmentOrigin", # df_RoadSegments中用于匹配的列 right_on="stop_id", # df_Stops中用于匹配的列 how="left" # 左连接，保留df_RoadSegments的所有行)# 重命名合并后的列以更清晰地表示其含义df_RoadSegments_merged = df_RoadSegments_merged.rename(columns={"lat_long": "OriginCoordinates"})print("n合并后的df_RoadSegments：")print(df_RoadSegments_merged)
代码解析：
df_Stops[[“stop_id”, “lat_long”]]: 我们只选择df_Stops中需要合并的stop_id和lat_long列，以减少内存占用和提高效率。left_on=”RoadSegmentOrigin”: 指定df_RoadSegments中作为连接键的列。right_on=”stop_id”: 指定df_Stops中作为连接键的列。how=”left”: 执行左连接。这意味着df_RoadSegments中的所有行都将被保留，如果RoadSegmentOrigin在df_Stops中没有匹配项，则OriginCoordinates列将填充NaN。rename(columns={“lat_long”: “OriginCoordinates”}): 将合并后得到的lat_long列重命名为更具描述性的OriginCoordinates，使其与原始需求保持一致。
性能优势与最佳实践
采用merge()而非循环和apply(axis=1)具有显著的优势：
极高的性能： merge()操作在底层使用C语言实现，经过高度优化，能够以远超Python循环的速度处理大量数据。简洁的代码： 减少了代码量，提高了可读性。可扩展性： 随着数据量的增长，merge()的性能衰减远低于基于Python循环的方法。Pandas惯用法： 遵循Pandas的“向量化优先”原则，是处理DataFrame数据整合的标准方法。
总结与注意事项：
避免行级迭代： 在Pandas中，应尽量避免使用for循环、itertuples()或iterrows()来对DataFrame进行逐行处理，尤其是在循环内部又进行昂贵操作时。优先使用向量化操作： 尽可能利用Pandas内置的向量化函数（如sum(), mean(), 字符串方法str.contains(), 日期时间方法dt.day等）进行数据转换和计算。善用merge()和join()： 对于跨DataFrame的数据查找和整合，merge()和join()是最高效且推荐的方式。预处理和缓存： 对于频繁查找的数据，可以考虑预先处理并存储在一个高效的查找结构中（例如，将查找表设置为索引，或者如本例中预计算目标列）。
通过理解Pandas的底层机制并采纳向量化操作，我们可以编写出更高效、更易维护的数据处理代码，从而充分发挥Pandas的强大功能。
以上就是优化Pandas数据处理：告别慢速循环，拥抱高效Merge的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1368917.html
微信扫一扫 
支付宝扫一扫 
