阿里推理框架MNN初探

左手的ㄟ右手 2022-12-11 07:57 16阅读 0赞

MNN是一个功能很强大的深度学习模型推理框架，目的是加速推理，为了使很多比较大模型进行落地，比如在手机端运行

使用之前需要准备一下环境

这里我是在linux上使用的

## 一、环境准备 ##

git clone https://github.com/alibaba/MNN.git
    cd MNN
    cd schema && ./generate.sh
    mkdir build && cd build
    cmake -DMNN_BUILD_DEMO=ON ..
    make -j8

如需要全局下使用命令，可以自行设置环境变量，这里我是自行设置了的。

注意，这个只能在cmake3.0及其以上的版本才行，如果需要安装可[以参考][Link 1](点一下) ，实测可以

当环境准备好以后，我们就可以测一下了

在使用之前 ，需要说明的是，mnn并不能直接使用TF/CAFFE/TFLITE等训练保存的模型，需要转换然后就可以使用

mnn提供了python方式的转换

需要提前安装

pip install  MNN

## 二、模型的转换与使用 ##

### 1.转换tflite[模型文件][Link 2] ###

这是一个图像分割的模型

下载好模型以后，就可以转换了，模型我是放置在/opt/modeldata/路径下的

mnnconvert -f TFLITE --modelFile /opt/modeldata/deeplabv3\_257\_mv\_gpu.tflite --MNNModel deeplabv3\_257\_mv\_gpu.mnn

实测一下：

segment.out deeplabv3\_257\_mv\_gpu.mnn /opt/images/000000000139.jpg output.jpg

结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70][]

![20200929154310194.png][]

### 2.转换tf的模型文件  ###

这是一个姿态预测的[模型][Link 3]

mnnconvert -f TF --modelFile /opt/modeldata/model-mobilenet\_v1\_075.pb --MNNModel model-mobilenet\_v1\_075.mnn

测试一下：

multiPose.out model-mobilenet\_v1\_075.mnn /opt/images/123.jpg output1.jpg

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 2][]

模型转换前后，大小没有多少变化

![20200929155109650.png][]

至此，说明可以成功进行推理

主要参考:[https://www.yuque.com/mnn/cn/demo\_project][https_www.yuque.com_mnn_cn_demo_project]

[Link 1]: https://blog.csdn.net/weixin_38883338/article/details/86408749
[Link 2]: https://storage.googleapis.com/download.tensorflow.org/models/tflite/gpu/deeplabv3_257_mv_gpu.tflite
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70]: /images/20221123/974c9651f34841a0822b76c249d6c53e.png
[20200929154310194.png]: /images/20221123/2e62a407e5d34243aaecacf038625cbe.png
[Link 3]: https://github.com/czy2014hust/posenet-python/raw/master/models/model-mobilenet_v1_075.pb
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 1]: /images/20221123/36378c0335be4e95b390ed4b8e6adbc2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 2]: /images/20221123/f8d3a440ab5944629080f25e51320aaa.png
[20200929155109650.png]: /images/20221123/3a739f4a695a4952989c0325105bb40e.png
[https_www.yuque.com_mnn_cn_demo_project]: https://www.yuque.com/mnn/cn/demo_project