【仪酷LabVIEW AI工具包案例】使用LabVIEW AI工具包+YOLOv5结合Dobot机械臂实现智能垃圾分类

‍‍🏡博客主页： virobotics(仪酷智能)：LabVIEW深度学习、人工智能博主
🎄所属专栏：『仪酷LabVIEW AI工具包案例』
📑上期文章：『【YOLOv9】实战二：手把手教你使用TensorRT实现YOLOv9实时目标检测（含源码）』
🍻本文由virobotics(仪酷智能)原创

🥳欢迎大家关注✌点赞👍收藏⭐留言📝订阅专栏

文章目录

🧩前言

Hello，大家好，我是你们的virobotics（仪酷智能），一个深耕于LabVIEW和人工智能领域的开发工程师。

之前很多朋友私信博主，希望可以写一些LabVIEW AI的应用案例，所以博主创建了一个新专栏【仪酷LabVIEW AI工具包案例】，之后，将会不定期在该专栏中更新汇集最新的AI工具包实践案例包括但不限于：工业瑕疵检测、文字识别、物品抓取分拣等创新应用，各位也可订阅此专栏，以便及时接收更新~

机械臂与LabVIEW视觉工具包的结合是现代工业自动化和机器人技术领域的重要发展方向之一。LabVIEW作为一种图形化编程环境，提供了强大的数据采集、分析和控制功能，而机械臂则能够实现高精度的运动控制和操作。将这两者结合起来，可以实现更加智能化和灵活的生产线，提高生产效率和产品质量。这种结合可以用于各种应用，如装配、品质检测、物料处理等，为生产线带来更高的效率和精度。

在本文中，将为大家分享Dobot机械臂和LabVIEW工具包结合YOLOv5实现垃圾分类，并将各种垃圾区分放入对应垃圾桶的整个过程。

🧭一、垃圾分类系统介绍

实现机械臂与视觉结合的垃圾分类过程，首先要熟悉机械臂的控制以及视觉分类的原理。只有将两部分的原理了解后，我们将两部分结合在一起才会更容易理解一些，本文的垃圾分类应用是在LabVIEW软件的控制下实现的，包括通过机械臂控制工具包对机械臂的运动规划及末端抓取任务，通过视觉工具包对摄像头的调用采集图像信息，通过AI算法工具包导入YOLOv5目标检测模型来实现目标检测功能。将三个工具包模块结合在一起就可以实现我们垃圾分类的过程。下面我将详细介绍我们的模块及系统。

⚒️二、LabVIEW工具包的介绍和使用

2.1 机械臂控制工具包

Dobot Magician SDK for NI LabVIEW 是上海仪酷智能科技有限公司（VIRobotics）为 Dobot Magician 量身打造的一款基于 LabVIEW 的图形化开发工具。

该 SDK 分为 Dobot_VI 和 Dobot_Serial 两种版本，一共包含约 270 个函数。每一种版本都可以在 LabVIEW 环境下控制机械臂的运动、配置运动参数、设置IO 状态、指导末端执行器的动作等等。再配合 LabVIEW 自带的其他编程函数，就可以让机器臂完成更加复杂且灵活多变的任务。这也是本 SDK 的优势之一。

在LabVIEW上安装该工具包，可以实现PC与Dobot机械臂的通信交互，包括自动校正，运动规划，末端控制，吸取抓住等功能。

2.2 仪酷AI工具包

在labview上安装AI工具包，可以调用USB或者网络摄像头，并将采集的图像经过算法模块实现目标检测、语义分割、图像分类、文字识别、人脸识别等任务。本次项目中，我们使用的是AI视觉工具包以及ONNX工具包。

💻️三、环境搭建

1. 部署本项目时所用环境

• 操作系统：Windows 64
• LabVIEW：2018及以上 64位版本
• AI视觉工具包（techforce_lib_opencv_cpu）：1.0.1.26及以上版本
• ONNX工具包GPU版（virobotics_lib_onnx_cuda_tensorrt）1.0.0.16及以上版本
• 仪酷Object Detection工具包（virobotics_lib_object_detection）：1.0.0.5及以上版本
• 机械臂工具包:virobotics_lib_dobot_magician_sdk_for_ni_labview-1.0.0.14.vip

1. 软件下载及安装

• AI视觉工具包下载与安装参考： https://blog.csdn.net/virobotics/article/details/123656523
• ONNX工具包GPU版下载与安装参考： https://blog.csdn.net/virobotics/article/details/124998746
• LabVIEW Object_Detection工具包下载与安装 https://blog.csdn.net/virobotics/article/details/132529219

🎨四、项目实践

4.1 相机的调用

部署相机的调用模块可对物体进行实时图像采集，除了USB相机，也可以使用网络相机记以及其他常见相机（比如海康相机）。

4.2 AI算法模块

导入训练好的目标检测模型和标签文件，经过算法模块，可实现目标检测的功能，下图中为基于yolov5训练好的垃圾分类模型。

4.3 机械臂控制模块

对于机械臂的控制我们首先要分成三部分来完成，鱼头部分就是控制模块与机械臂的通信部署，鱼身部分则是进行运动规划，末端抓取的vi部署，鱼头，鱼身，鱼尾构成了我们机械臂进行自动化抓取的整个模块。

4.4 垃圾分类系统

当我们对三个模块进行了解部署后，将3个模块进行连接调用就生成了我们垃圾分类系统。

整个系统的运行效果可在B站搜索：使用仪酷LabVIEW AI工具包+YOLOv5结合机械臂实现智能垃圾分类进行观看学习。

💻项目源码

如需源码，请在一键三连并订阅本专栏后评论区留下邮箱

🎯总结

以上就是今天要给大家分享的内容，希望对大家有用。如有笔误，还请各位及时指正。后续我们将为大家更新更多关于AI模型在LabVIEW的部署案例，欢迎大家关注博主。我是virobotics（仪酷智能），我们下篇文章见~

如您想要探讨更多关于LabVIEW与人工智能技术，欢迎加入我们的技术交流群：705637299。进群请备注：CSDN

如果文章对你有帮助，欢迎✌关注、👍点赞、✌收藏、👍订阅专栏

推荐阅读

【YOLOv5】LabVIEW+TensorRT的yolov5部署实战（含源码））
【YOLOv5】手把手教你使用LabVIEW ONNX Runtime部署 TensorRT加速，实现YOLOv5实时物体识别（含源码）
【YOLOv8】实战一：手把手教你使用YOLOv8实现实时目标检测
【YOLOv8】实战二：YOLOv8 OpenVINO2022版 windows部署实战
【YOLOv8】实战三：基于LabVIEW TensorRT部署YOLOv8
【YOLOv9】实战一：在 Windows 上使用LabVIEW OpenVINO工具包部署YOLOv9实现实时目标检测（含源码）
【YOLOv9】实战二：手把手教你使用TensorRT实现YOLOv9实时目标检测（含源码）
👇技术交流 · 一起学习 · 咨询分享，请联系👇