本文是对苹果公司2017年VoxelNet论文的复现项目介绍。该网络基于点云实现3D物体检测，通过VFE层提取体素特征，经3D卷积和RPN网络完成检测。项目可训练评估，但单卡训练未达论文精度，存在内存泄漏问题。还介绍了数据集准备、库安装、训练评估步骤及部分结果指标。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
VoxelNet：基于点云的三维空间信息逐层次学习网络
1、项目总览
①、简介
本项目主要是对来自2017年苹果公司基于点云的3D物体检测论文”VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection”进行复现。 VoxelNet只利用点云数据，在无人驾驶环境下实现了高精度的三维物体检测。
Note：项目目前可以训练、可以评估预测。但是（单卡训练，bs=2,epoch=100）未达到论文精度（论文bs=16,epoch=160）。有兴趣的同学可以自己尝试
另外重要的是：训练存在内存泄漏问题，之前定位到dataloader泄漏，不知道是数据预处理部分有问题还是paddle的问题，但是自己没闲功夫修改了，具体位置有兴趣的同学自己排查吧。 不然就得训练一段时间断掉再resume，其中train_fix_oom.py就是采用了读取内存，超过阈值resume的方案～
想要复现指标，一个是要调整参数（主要是yaml文件里的参数，但是参数改动可能造成出错），一个是要把项目里的bug fix掉噢！我认为调大batchsize应该会有大的提升！但是我并未尝试过多卡训练，所以可能会出问题。
ps：本项目主要是从second修改而来，所以稍加修改即可复现second和pointpillar。
之前训练(未训练完)的某次结果指标：
Car AP@0.70, 0.70, 0.70:bbox AP:53.40, 41.52, 35.37bev AP:52.85, 40.87, 34.853d AP:50.86, 36.90, 30.71aos AP:28.13, 23.91, 21.17Car AP@0.70, 0.50, 0.50:bbox AP:53.40, 41.52, 35.37bev AP:53.44, 42.09, 35.773d AP:53.42, 41.90, 35.65aos AP:28.13, 23.91, 21.17
2、网络简介
将三维点云划分为一定数量的Voxel，经过点的随机采样以及归一化后，对每一个非空Voxel使用若干个VFE(Voxel Feature Encoding)层进行局部特征提取，得到Voxel-wise Feature，然后经过3D Convolutional Middle Layers进一步抽象特征（增大感受野并学习几何空间表示），最后使用RPN(Region Proposal Network)对物体进行分类检测与位置回归。VoxelNet整个pipeline如下图所示。
①、网络结构
通过层叠的VFE层将体素编码，然后3D卷积进一步放大局部voxel特征，将点云转化成高维的体积的表达。最后通过RPN产生检测结果。
②、特征提取模块：VFE
3、RPN模块
论文中提到，RPN 中的 FCN网络分为 3 块，每一块都会实现 2x 效果的下采样率。然后，又实现了向上采样，将倒数 3 块上采样到固定的尺寸，然后拼接起来。最终，由上采样拼接后的卷积引出 2 个目标分支：概率图和回归图 注意它们的尺寸，概率图通道数是 2，代表正负 anchor 的概率，这个概率应该通过 softmax 处理过。 回归图的通道数是 7，代表的就是一个 anchor 的 3D 信息(x,y,z,l,w,h,theta)
②、损失函数
总体 Loss 由 2 部分组成：
分类 Loss回归 Loss
3、网络训练
1、数据集的准备(十几分钟解压)
VoxelNet网络在KITTI数据集中的3D Detection数据集上面进行训练，数据集中包含7481张训练图片以及7518张测试图片，一共有80256个标记物体，并且测试模式包含普通的视角以及鸟瞰视角。
In [ ]
!rm -rf kitti/!mkdir -p kitti/training/velodyne_reduced!mkdir -p kitti/testing/velodyne_reduced
In [ ]
!unzip data/data50186/data_object_calib.zip -d kitti/
In [ ]
!unzip data/data50186/image_training.zip -d kitti/training/!unzip data/data50186/data_object_label_2.zip -d kitti/training/!unzip data/data50186/velodyne_training_1.zip -d kitti/training/!unzip data/data50186/velodyne_training_2.zip -d kitti//training/!unzip data/data50186/velodyne_training_3.zip -d kitti/training/
In [ ]
!unzip data/data50186/image_testing.zip -d kitti/testing/!unzip data/data50186/velodyne_testing_1.zip -d kitti/testing/!unzip data/data50186/velodyne_testing_2.zip -d kitti/testing/!unzip data/data50186/velodyne_testing_3.zip -d kitti/testing/
In [ ]
!mv kitti/training/training/* kitti/training/!rm -rf kitti/training/training/!mv kitti/testing/testing/* kitti/testing/!rm -rf kitti/testing/testing/
In [ ]
!mkdir kitti/training/velodyne!mv kitti/training/velodyne_training_1/* kitti/training/velodyne/!mv kitti/training/velodyne_training_2/* kitti/training/velodyne/!mv kitti/training/velodyne_training_3/* kitti/training/velodyne/!rm -rf kitti/training/velodyne_training_1!rm -rf kitti/training/velodyne_training_2!rm -rf kitti/training/velodyne_training_3!mkdir kitti/testing/velodyne!mv kitti/testing/velodyne_testing_1/* kitti/testing/velodyne!mv kitti/testing/velodyne_testing_2/* kitti/testing/velodyne!mv kitti/testing/velodyne_testing_3/* kitti/testing/velodyne!rm -rf kitti/testing/velodyne_testing_1!rm -rf kitti/testing/velodyne_testing_2!rm -rf kitti/testing/velodyne_testing_3
2、安装必要的库
In [ ]
!pip install shapely pybind11 protobuf scikit-image pillow fire scikit-image memory_profiler psutil!pip install numpy==1.17!pip install numba==0.48.0
3、数据集处理与准备
对KITTI数据集进行处理。
数据集应有结构
kitti/├── training/├── ├── calib├── ├── image_2├── ├── label_2├── ├── velodyne├── └── velodyne_reduced├── testing/├── ├── calib├── ├── image_2├── ├── velodyne├── └── velodyne_reduced├── gt_database/├── 4264_Car_1.bin ...├── kitti_dbinfos_train.pkl├── kitti_infos_test.pkl├── kitti_infos_train.pkl├── kitti_infos_trainval.pkl├── kitti_infos_val.pkl├── test.txt├── train.txt├── trainval.txt└── val.txt
In [ ]
!tree -L 1 kitti/
In [ ]
%cp -r kittiinfo/* kitti/
In [ ]
%cd Voxelnet
In [ ]
!python create_data.py create_kitti_info_file --data_path=/home/aistudio/kitti ## 报错的话，可能需要修改create_data.py内的路径
In [ ]
!python create_data.py create_reduced_point_cloud --data_path=/home/aistudio/kitti
In [ ]
!python create_data.py create_groundtruth_database --data_path=/home/aistudio/kitti
4、训练
In [15]
# !python train.py train --cfg_file=configs/voxelnet_kitti_car.yaml --model_dir=./output#或者!python train_mgpu.py --config=configs/voxelnet_kitti_car.yaml --model_dir=./output --use_vdl=True
5、评估
In [ ]
!python eval.py eval --cfg_file=configs/voxelnet_kitti_car.yaml --model_dir=./output
以上就是VoxelNet:基于点云的三维空间信息逐层次学习网络的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/52081.html
微信扫一扫 
支付宝扫一扫 
