在一个月黑风高、寂静无声的夜晚,mmdeploy 社区群内突然一片喧闹,群友们纷纷惊叹:牛啊,强啊!
究竟发生了什么大事呢?作为资深吃瓜小编,我迅速准备好座位,马上带大家一探究竟!
时间回到 2 月 25 日下午 6 点,我们的 Z 同学在模型部署后进行图像推理时,遇到了输入图像预处理时间过长的问题,竟然高达 2 秒!Z 同学尝试修改函数和调试,但仍是一头雾水。然而,他坚持不懈,继续研究,最终成功进行推理,但却面临推理性能低、速度慢的难题。经过多次尝试,依然无法解决……
群里的喧闹引起了我们江湖大佬晗哥的注意,看到社区同学如此困扰,他怎能坐视不管。当晚 6:25 分,他直接放出豪言,承诺撰写一份文档,从搭建环境、模型转换到模型运行,全程手把手教学,让大家快速掌握 MMDeploy!仅仅一个小时十六分钟,仅仅一个小时十六分钟,文档便已在社区发布——《手把手教你在 ubuntu 上使用 MMDeploy》,帮助社区同学在模型部署时避开可能遇到的疑难杂症。
这一举动,引得社区小伙伴们纷纷点赞!晗哥笑称,在“好用”这一点上,MMDeploy Team 义不容辞。
因此,让我们来看看让社区欢呼、对手沉默的这份文档——
MMDeploy Example for Ubuntu
注意!
以下操作是在临时目录 /tmp 下进行演示。大家根据自己的实际情况,选择合适的工作目录。
1. 下载 MMDeploy,并设置 MMDeploy 目录为当前环境变量
git clone -b master git@github.com:open-mmlab/mmdeploy.git MMDeploycd MMDeploygit submodule update --init --recursiveexport MMDEPLOY_DIR=`pwd`
Tips
走 GitHub 可能会因为网络问题过程坎坷,所以无法使用代理的同学可以动动小手在 gitee 带着子仓库克隆一份。
2. 准备编译工具链
2.1 cmake>=3.14
sudo apt-get install -y libssl-devwget https://github.com/Kitware/CMake/releases/download/v3.20.0/cmake-3.20.0.tar.gztar -zxvf cmake-3.20.0.tar.gzcd cmake-3.20.0./bootstrapmakesudo make install
2.2 gcc>=7
当 ubuntu >= 18.04 时,gcc 版本默认为 7 或以上,无需安装。
当 ubuntu == 16.04 时,可用以下命令。
sudo add-apt-repository ppa:ubuntu-toolchain-r/testsudo apt-get updatesudo apt-get install gcc-7sudo apt-get install g++-7
3. 下载安装依赖库
3.1 Model Converter 的依赖库
1)创建并激活 conda 环境(需要安装 anaconda 或者 miniconda)
conda create -n mmdeploy python=3.7 -yconda activate mmdeploy
2)安装 pytorch >= 1.8.0
Tips
示例环境中 cuda 版本是11.1。如果你的 cuda 版本不是11.1,一定要参考 pytorch 官网,选择合适的安装包。
# CUDA 11.1conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
3)安装 mmcv-full
Tips
示例环境中 cuda 版本是 11.1。如果你的 cuda 版本不是 11.1,参考 MMCV 官方文档,选择合适的包安装。
export cu_version=cu111export torch_version=torch1.8pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/${cu_version}/${torch_version}/index.html
3.2 SDK 的依赖
1)安装 Spdlog
如果 ubuntu >= 18.04,
sudo apt-get install libspdlog-dev
如果 ubuntu == 16.04,
wget http://archive.ubuntu.com/ubuntu/pool/universe/s/spdlog/libspdlog-dev_0.16.3-1_amd64.debsudo dpkg -i libspdlog-dev_0.16.3-1_amd64.deb
2)Opencv
Tips
需要安装 v3+ 以上的版本。
如果 ubuntu >= 18.04,
sudo apt-get install libopencv-dev
如果 ubuntu == 16.04,
需要从源码安装,参考:
https://www.php.cn/link/2fb5f91365317758045db9f19df5a522
3)ppl.cv
git clone https://github.com/openppl-public/ppl.cv.gitcd ppl.cvgit checkout tags/v0.6.2 -b v0.6.2./build.sh cuda
3.3 后端推理引擎
安装 TensorRT
需下载和 cuda 版本配套的 tensorrt 和 cudnn 压缩包。示例环境是 cuda11.1,所以下载了如下的压缩包:
-TensorRT-8.2.1.8.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz
-cudnn-11.3-linux-x64-v8.2.1.32.tgz
解压上述两个压缩包,安装 TensorRT。
tar -xvf TensorRT-8.2.1.8.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gztar -xvf cudnn-11.3-linux-x64-v8.2.1.32.tgzpip install TensorRT-8.2.1.8/python/tensorrt-8.2.1.8-cp37-none-linux_x86_64.whl
4. 编译 MMDeploy
cd ${MMDEPLOY_DIR}# 编译 MMDeploy 库mkdir -p build && cd buildcmake .. -DCMAKE_CXX_COMPILER=g++-7 -DMMDEPLOY_BUILD_SDK=ON -DMMDEPLOY_TARGET_DEVICES="cpu;cuda" -DMMDEPLOY_TARGET_BACKENDS="trt" -DMMDEPLOY_CODEBASES=all -DMMDEPLOY_BUILD_SDK_PYTHON_API=ON -Dpplcv_DIR=/tmp/ppl.cv/cuda-build/install/lib/cmake/ppl -DTENSORRT_DIR=/tmp/TensorRT-8.2.1.8 -DCUDNN_DIR=/tmp/cuda# 安装 MMDeploy 的 Model Convertercd ${MMDEPLOY_DIR}pip install -e .

以上就是一小时肝一份文档,宠你我们是认真的的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/19059.html
微信扫一扫
支付宝扫一扫