0


RK3588平台开发系列讲解(嵌入式AI篇)嵌入式AI模型的部署

请添加图片描述

文章目录

沉淀、分享、成长,让自己和他人都能有所收获!😄

📢 本篇将给大家介绍嵌入式AI模型的部署。

一、嵌入式AI模型的部署


模型的部署,是指将训练好的模型放到运行环境中进行推理的过程。

在这里插入图片描述

一般需要经过以下操作:

  • 将训练模型转换推理模型->需要转换框架的转换器/转换工具,转换为符合硬件要求的数据结构,模型的预处理等
  • 部署阶段的一些性能优化->如算子融合、算子替换、自定义算子、模型的预编译(加快加载模型的时间)等
  • 模型压缩->量化,以减少模型精度,剪枝神经网络的稀疏,知识蒸馏等
  • 安全保护->模型的加密
  • 模型推理->涉及前处理、执行推理、后处理

瑞芯微对应的

标签: RK3588

本文转载自: https://blog.csdn.net/qq_33487044/article/details/134565644
版权归原作者 内核笔记 所有, 如有侵权,请联系我们删除。

“RK3588平台开发系列讲解(嵌入式AI篇)嵌入式AI模型的部署”的评论:

还没有评论