
批量经纬度距离计算优化
需要计算大量经纬度点之间的距离,速度较慢。本问答旨在提供优化建议,以缩短处理时间。
原始问题:
需求:找出 a 表中的点与 b 表中距离不超过 2km 的点。数据:a 表 10 万行,b 表 25 万行。原始代码耗时:17 分钟。
优化建议:
1. 使用矩阵计算:
通过使用 scipy.spatial.distance_matrix 函数,可以一次性计算所有点对之间的距离,提高效率。
2. 缩小搜索范围:
根据需求,只需找出距离 2km 范围内的点。可以根据最大搜索半径缩小 b 表的搜索范围。例如,假设最大搜索半径为 15km,可以通过以下方式缩小搜索范围:
df4_lon_max = df51.longitude.max() + 15df4_lon_min = df51.longitude.min() - 15df4_lat_max = df51.latitude.max() + 15df4_lat_min = df51.latitude.min() - 15df41 = df4[(df4['longitude'] > df4_lon_min) & (df4['longitude'] < df4_lon_max) & (df4['latitude'] df4_lat_min)]
3. 并行计算:
如果代码性能允许并行化,可以利用多核 cpu 并行计算,进一步加快速度。
4. 哈弗辛公式优化:
在计算距离时,使用了哈弗辛公式。此公式可以通过使用以下方法进行部分优化:
将半球弧度公式(hav)计算外移循环:
def hav(theta): return 0.5 * (1 - cos(theta))def fun3(df5, df4, group=20, interval=0.15, dis=2000): ... hav_Latitude_x = hav(radians(df45['Latitude_x'])) hav_Longitude_x = hav(radians(df45['Longitude_x'])) hav_Latitude_y = hav(radians(df45['Latitude_y'])) hav_Longitude_y = hav(radians(df45['Longitude_y'])) # ...
5. 限制结果数量:
根据需求,只需找出距离不超过 2km 的点。可以设置一个最大结果数量,如 100 个,以避免程序计算过多不必要的距离。
以上就是如何优化批量经纬度距离计算,将 17 分钟的处理时间缩短?的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1352252.html
微信扫一扫
支付宝扫一扫