如何优化批量经纬度距离计算,将 17 分钟的处理时间缩短?

如何优化批量经纬度距离计算,将 17 分钟的处理时间缩短?

批量经纬度距离计算优化

需要计算大量经纬度点之间的距离,速度较慢。本问答旨在提供优化建议,以缩短处理时间。

原始问题:

需求:找出 a 表中的点与 b 表中距离不超过 2km 的点。数据:a 表 10 万行,b 表 25 万行。原始代码耗时:17 分钟。

优化建议:

1. 使用矩阵计算:

通过使用 scipy.spatial.distance_matrix 函数,可以一次性计算所有点对之间的距离,提高效率。

2. 缩小搜索范围:

根据需求,只需找出距离 2km 范围内的点。可以根据最大搜索半径缩小 b 表的搜索范围。例如,假设最大搜索半径为 15km,可以通过以下方式缩小搜索范围:

df4_lon_max = df51.longitude.max() + 15df4_lon_min = df51.longitude.min() - 15df4_lat_max = df51.latitude.max() + 15df4_lat_min = df51.latitude.min() - 15df41 = df4[(df4['longitude'] > df4_lon_min) & (df4['longitude'] < df4_lon_max) & (df4['latitude']  df4_lat_min)]

3. 并行计算:

如果代码性能允许并行化,可以利用多核 cpu 并行计算,进一步加快速度。

4. 哈弗辛公式优化:

在计算距离时,使用了哈弗辛公式。此公式可以通过使用以下方法进行部分优化:

将半球弧度公式(hav)计算外移循环:

def hav(theta):  return 0.5 * (1 - cos(theta))def fun3(df5, df4, group=20, interval=0.15, dis=2000):  ...  hav_Latitude_x = hav(radians(df45['Latitude_x']))  hav_Longitude_x = hav(radians(df45['Longitude_x']))  hav_Latitude_y = hav(radians(df45['Latitude_y']))  hav_Longitude_y = hav(radians(df45['Longitude_y']))  # ...

5. 限制结果数量:

根据需求,只需找出距离不超过 2km 的点。可以设置一个最大结果数量,如 100 个,以避免程序计算过多不必要的距离。

以上就是如何优化批量经纬度距离计算,将 17 分钟的处理时间缩短?的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1352252.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
Python 中的星号表达式:如何正确解包列表、元组和字典?
上一篇 2025年12月13日 16:40:19
Python 制作网页遇到 UnicodeDecodeError: 如何解决?
下一篇 2025年12月13日 16:40:35

相关推荐

发表回复

登录后才能评论
关注微信