【AI达人创造营】菜市场常见鱼类分类从0到PaddleLite部署

本项目针对30种菜市场常见鱼类，收集1917张图片构建数据集，用MobileNetV2模型训练分类模型，经35轮训练后保存模型。通过Paddle-Lite将模型转为.nb文件，在Android Studio中配置环境，基于Paddle-Lite-Demo修改相关文件实现安卓部署，可通过拍照或相册图片识别鱼类。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

基于mobilenet_v2实现菜市场常见鱼类分类并使用Paddle-Lite进行安卓部署

针对以上30种菜市场常见鱼类进行分类，并使用Paddle-Lite进行安卓部署

一、项目背景

1.1项目由来

在菜市场或者一些美食类视频中我们经常能够看到鱼的出现，但是由于本身不怎么做菜的原因，对于一些常见的食用鱼类并不是很熟悉，为了能够认识这些常见鱼类,并成功购买到它们，我们有必要对一些常见的鱼类进行准确的识别。本项目中，我们通过爬取百度图片、百度百科、电商平台等，收集了30种常见的鱼类图片,并使用Paddle-Lite进行安卓部署

1.2安卓部署截图

二、数据集简介

包含30类常见鱼类，合计1917张图片，由于有部分鱼类爬取到的图片数量较少，因此每种鱼类的数据量并不是一致的。
友情提示：数据集仅供学习和个人使用
30种鱼类中英文对照字典：
{‘Cuttlefish’: ‘墨鱼’, ‘Turbot’: ‘多宝鱼’, ‘Hairtail’: ‘带鱼’, ‘Grouper’: ‘石斑鱼’, ‘Saury’: ‘秋刀鱼’, ‘Octopus’: ‘章鱼’, ‘Red_fish’: ‘红鱼’, ‘Tilapia_mossambica’: ‘罗非鱼’, ‘Variegated_carp’: ‘胖头鱼’, ‘Grass_Carp’: ‘草鱼’, ‘Silverfish’: ‘银鱼’, ‘Herring’: ‘青鱼’, ‘Horsehead_fish’: ‘马头鱼’, ‘Squid’: ‘鱿鱼’, ‘Catfish’: ‘鲇鱼’, ‘Perch’: ‘鲈鱼’, ‘Abalone’: ‘鲍鱼’, ‘Salmon’: ‘鲑鱼’, ‘Silver_carp’: ‘鲢鱼’, ‘Carp’: ‘鲤鱼’, ‘Crucian_carp’: ‘鲫鱼’, ‘Silvery_pomfret’: ‘鲳鱼’, ‘Bream’: ‘鲷鱼’, ‘Plaice’: ‘鲽鱼’, ‘Parabramis_pekinensis’: ‘鳊鱼’, ‘Eel’: ‘鳗鱼’, ‘Yellow_croaker’: ‘黄鱼’, ‘Ricefield_eel’: ‘黄鳝’, ‘Snakehead’: ‘黑鱼’, ‘Bibcock_fish’: ‘龙头鱼’}

2.1.数据加载和预处理

In [ ]

# 解压缩数据!unzip -oq -d images data/data103322/images.zip

   In [1]

# 数据加载和预处理import osimport paddleimport numpy as npimport paddlehub.vision.transforms as T# 定义数据集class FishDataset(paddle.io.Dataset):    def __init__(self, dataset_dir, transforms, mode='train'):        # 数据集存放路径        self.dataset_dir = dataset_dir        # 数据增强        self.transforms = transforms        # 分类数        self.label_lst = []        self.num_classes= self.get_label()        self.mode = mode        # 根据mode读取对应的数据集        if self.mode == 'train':            self.file = 'train_list.txt'        elif self.mode == 'test':            self.file = 'test_list.txt'        else:            self.file = 'validate_list.txt'        self.file = os.path.join(self.dataset_dir, self.file)        with open(self.file, 'r') as f:            self.data = f.read().split('n')[:-1]        def get_label(self):        # 获取分类数        with open(os.path.join(dataset_dir, 'label_list.txt'), 'r') as f:            labels = f.readlines()        for idx, label in enumerate(labels):            dic = {}            dic['label_name'] = label.split('n')[0]            dic['label_id'] = idx            self.label_lst.append(dic)        return len(self.label_lst)    def __getitem__(self, idx):        img_path, label = self.data[idx].split(' ')        img_path = os.path.join(self.dataset_dir, img_path)        im = self.transforms(img_path)        return im, int(label)        def __len__(self):        return len(self.data)# 定义数据增强train_Transforms = T.Compose([                T.Resize((256, 256)),                T.CenterCrop(224),                T.RandomHorizontalFlip(),                T.Normalize()                ], to_rgb=True)eval_Transforms = T.Compose([                T.Resize((256, 256)),                T.CenterCrop(224),                T.Normalize()                ], to_rgb=True)# 读取数据集dataset_dir = 'images/images'fish_train = FishDataset(dataset_dir, train_Transforms)fish_validate = FishDataset(dataset_dir, eval_Transforms, mode='validate')print('训练集的图片数量: {}'.format(len(fish_train)))print('验证集的图片数量: {}'.format(len(fish_validate)))print('分类数: {}'.format(len(fish_train.label_lst)))

   In [ ]

# label_id转labelid2label = {}for i in fish_train.label_lst:     id2label[i['label_id']] = i['label_name']print(id2label)

   In [ ]

# 鱼类英文名转中文en2zh = {'Cuttlefish': '墨鱼', 'Turbot': '多宝鱼', 'Hairtail': '带鱼', 'Grouper': '石斑鱼', 'Saury': '秋刀鱼', 'Octopus': '章鱼', 'Red_fish': '红鱼', 'Tilapia_mossambica': '罗非鱼', 'Variegated_carp': '胖头鱼', 'Grass_Carp': '草鱼', 'Silverfish': '银鱼', 'Herring': '青鱼', 'Horsehead_fish': '马头鱼', 'Squid': '鱿鱼', 'Catfish': '鲇鱼', 'Perch': '鲈鱼', 'Abalone': '鲍鱼', 'Salmon': '鲑鱼', 'Silver_carp': '鲢鱼', 'Carp': '鲤鱼', 'Crucian_carp': '鲫鱼', 'Silvery_pomfret': '鲳鱼', 'Bream': '鲷鱼', 'Plaice': '鲽鱼', 'Parabramis_pekinensis': '鳊鱼', 'Eel': '鳗鱼', 'Yellow_croaker': '黄鱼', 'Ricefield_eel': '黄鳝', 'Snakehead': '黑鱼', 'Bibcock_fish': '龙头鱼'}print(en2zh)

   In [45]

# 生成fish_label_list.txt文件with open('fish_label_list.txt', 'w') as f:    for i, value in enumerate(en2zh.values()):        f.write('{} {}n'.format(i, value))

2.2数据集查看

In [ ]

from PIL import Imageimport matplotlib.pyplot as pltpath = 'images/images/train'plt.figure(figsize=(30, 8))for idx, name in enumerate(en2zh.keys()):    for fpath, dirname, fname in os.walk(os.path.join(path, name)):        plt.subplot(3, 10, idx+1)        img = Image.open(os.path.join(fpath, fname[0]))        plt.title(name)        plt.imshow(img)

三、模型选择和开发

3.1.模型选择

In [ ]

import paddlefrom paddle.vision.models import mobilenet_v2# 设置pretrained参数为True，可以加载mobilenet_v2在imagenet数据集上的预训练模型model = paddle.Model(mobilenet_v2(pretrained=True, num_classes=len(fish_train.label_lst)))

3.2模型训练

In [ ]

from paddle.optimizer import Momentumfrom paddle.regularizer import L2Decayfrom paddle.nn import CrossEntropyLossfrom paddle.metric import Accuracy# 配置优化器optimizer = Momentum(learning_rate=0.001,                     momentum=0.9,                     weight_decay=L2Decay(1e-4),                     parameters=model.parameters())# 进行训练前准备model.prepare(optimizer, CrossEntropyLoss(), Accuracy(topk=(1, 5)))# 启动训练model.fit(fish_train,          fish_validate,          epochs=35,          batch_size=8,          save_dir="./output")

   In [ ]

if not os.path.exists('final'):    os.mkdir('final')# 将final.pdparams复制到final文件夹!cp output/final.pdparams final

3.3模型评估测试

In [ ]

# 模型评估，根据prepare接口配置的loss和metric进行返回result = model.evaluate(fish_validate)print(result)

3.4.模型预测

In [28]

# 批量预测from paddle.static import InputSpec# 加载final模型参数inputs = InputSpec([None, 1*1*3*224*224], 'float32', 'x')labels = InputSpec([None, 30], 'int32', 'x')model = paddle.Model(mobilenet_v2(num_classes=len(fish_train.label_lst)), inputs, labels)# 加载模型参数model.load('final/final.pdparams')# 定义优化器optimizer = Momentum(learning_rate=0.001,                     momentum=0.9,                     weight_decay=L2Decay(1e-4),                     parameters=model.parameters())# 进行预测前准备model.prepare(optimizer, CrossEntropyLoss(), Accuracy(topk=(1, 5)))# 加载测试集数据fish_test = FishDataset(dataset_dir, eval_Transforms, mode='test')# 进行预测操作result = model.predict(fish_test)# 定义画图方法def show_img(idx, predict):    with open(os.path.join(dataset_dir, 'test_list.txt')) as f:        data = f.readlines()    plt.figure()    print('predict: {}'.format(predict))    img = Image.open(os.path.join(dataset_dir, data[idx].split()[0]))    plt.imshow(img)    plt.show()# 抽样展示indexs = [2, 15, 38, 100]for idx in indexs:    show_img(idx, en2zh[id2label[np.argmax(result[0][idx])]])

   In [30]

# 单张图片预测# 读取单张图片image = paddle.to_tensor(fish_test[80][0]).reshape([1, 1, 3, 224, 224])image_id = 80# 单张图片预测result = model.predict(image)# 可视化结果show_img(image_id, en2zh[id2label[np.argmax(result)]])

四、基于Paddle-Lite进行安卓部署

4.1 模型转换，将动态图模型转成静态图模型

In [35]

# save inference modelfrom paddle.static import InputSpecfrom paddle.vision.models import mobilenet_v2import paddleinputs = InputSpec([None, 1*1*3*224*224], 'float32', 'x')labels = InputSpec([None, 30], 'int32', 'x')paddle.disable_static()model = mobilenet_v2(num_classes=30)# 加载训练好的模型参数state_dict = paddle.load("final/final.pdparams")# 将训练好的参数读取到网络中model.set_state_dict(state_dict)# 设置模型为评估模式model.eval()# 保存inference模型paddle.jit.save(    layer=model,    path="inference/fish_predict",    input_spec=[InputSpec(shape=[None, 3, 224, 224], dtype='float32')])    print("==>Inference model saved in inference.")

   In [41]

import numpy as npimport paddleimport paddle.nn.functional as F# 确保从paddle.vision.datasets.MNIST中加载的图像数据是np.ndarray类型paddle.vision.set_image_backend('cv2')# 将测试图像数据转换为tensor，并reshape为[1, 784]test_image = paddle.reshape(paddle.to_tensor(fish_test[100][0]), [1, 3, 224, 224])print('true label: ', fish_test[100][1])# 然后执行图像归一化# 加载保存的模型loaded_model = paddle.jit.load("./inference/fish_predict")# 利用加载的模型执行预测preds = loaded_model(test_image)pred_label = paddle.argmax(preds)# 打印预测结果print("The predicted label is : ", pred_label.numpy())

4.2 利用paddlelite将模型转为.nb文件

In [42]

!pip install paddlelite

   In [44]

# 准备PaddleLite部署模型#--valid_targets中参数（arm）用于传统手机，（npu,arm ）用于华为带有npu处理器的手机!paddle_lite_opt --model_file=inference/fish_predict.pdmodel       --param_file=inference/fish_predict.pdiparams       --valid_targets=arm       --optimize_out_type=naive_buffer       --optimize_out=paddleLite_fish_predict_opt    #   --valid_targets=npu,arm

4.3 安装android studio，并配置相关环境

android studio安装 借鉴了Android Studio的安装，史上最详细(超多图)！！这篇博文进行安装，配置NDK和CMake 参考文档：安装及配置 NDK 和 CMake

4.4 下载Paddle-Lite-Demo工程包

Paddle-Lite-Demo工程包链接：https://github.com/PaddlePaddle/Paddle-Lite-Demo工程包解压后，通过android studio打开PaddleLite-android-demo/image_classification_demo项目            

4.5 测试官方demo能否正常运行

更新Gradle依赖库

更新过程中可能会出现报错，以下为报错的一些解决方案

修改gradle/wrapper/gradle-wrapper.properties中的distributionUrl，从7.0降级到6.5，并重新点击Sync Project with Gradle File更新依赖库

如碰到网络不佳，以及被墙的情况，导致gradle资源包下载失败，可参考该博文：android studio的安装（补充篇gradle失败的问题更新于 2021-03-10）

如碰到Android Support plugin版本不兼容的问题，可以通过File-Project Structure-project，将Android Gradle Plugin Version从4.1.0降级到3.5.2进行解决

如出现找不到ndk的报错，则需要在local.properties中新增ndk的路径

新增ndk路径后，运行项目仍然可能出现找不到该”libpaddle_lite_jni.so”so文件的清空，需要修改build.gradle配置

配置内容：ndk { abiFilters “armeabi-v7a”, “x86”, “armeabi” }

下载夜神模拟器作为测试设备，下载地址：https://www.yeshen.com/

将夜神模拟器的开发者选项中的USB调试按钮开启

双击“夜神.bat”脚本，使得android studio可以连接到夜神模拟器，该脚本在已上传至work文件夹

当android studio连接到夜神模拟器后，则可以点击启动按钮，启动该demo项目

出现以下画面，说明已正常启动，官方demo可用

4.6 将官方demo改为我们的模型进行部署

将转换好的.nb文件下载备用，文件位于当前notebook项目中：./paddleLite_fish_predict_opt.nb在项目路径image_classification_demoappsrcmainassetsmodels下，新建fish_predict目录，并将下载的paddleLite_fish_predict_opt.nb存放进去，并更名为model.nb            在项目路径image_classification_demoappsrcmainassetslabels下，存放label标签文件，标签文件为之前保存的fish_label_list.txt文件            放入预测文件图片（本次放入了一张草鱼的图片），也就是预测demo，也就是进入界面的默认预测图片            修改项目路径中的values/strings.xml的相关配置信息

    models/fish_predict    labels/fish_label_list.txt    images/predict_demo.jpg

重新编译运行编译后的app中的设置键中，Open Gallery为使用相册里的图片进行预测，Take Photo为拍照进行预测，Settings为设置                    

以上就是【AI达人创造营】菜市场常见鱼类分类从0到PaddleLite部署的详细内容，更多请关注创想鸟其它相关文章！