0
0

【K210】K210学习笔记七——使用K210拍摄照片并在MaixHub上进行训练

【K210】K210学习笔记七——使用K210拍摄照片并在MaixHub上进行训练

前言

本人大四学生，电赛生涯已经走到尽头，一路上踩过不少坑，但运气也不错拿了两年省一，思来想去，决定开始写博客，将电赛经验分享一二，能力有限，高手轻喷。
往期的博客讲述了 K210 的感光元件模块 sensor 的配置，机器视觉模块 image 中部分函数的使用（目前是用 find_blobs 函数实现一些寻找不同颜色的目标点，寻找不同颜色的线，后面会更新更多 image 模块中的函数使用方法），按键、LCD、LED的使用，定时器的使用，串口通信的方法，以及如何使用MaixHub平台在线训练模型。

sensor 的学习笔记传送门
【K210】K210学习笔记一——sensor
image 的学习笔记传送门
【K210】K210学习笔记二——image
按键、LCD、LED的使用 的学习笔记传送门
【K210】K210学习笔记三——按键、LCD、LED的使用
定时器的使用传送门
【K210】K210学习笔记四——定时器的使用
串口通信传送门
【K210】K210学习笔记五——串口通信
MaixHub在线模型训练传送门
【K210】K210学习笔记六——MaixHub在线模型训练识别数字

串口通信（往期）传送门
【串口通信】K210与STM32串口通信、K210与OpenMV串口通信

本文着重于如何使用K210拍摄图片，并将图片上传到MaixHub平台进行模型训练。补充一下一些经验心得，比如一些训练参数的设置。

K210准备工作

由于K210的RAM只有8M，为了让运行的模型可以更大，避免出现内存不够的情况，需要刷入小一点的固件，固件及刷固件工具如下，我设置的是0积分免费下载。
固件烧入
将压缩包解压，点开kflash文件夹，双击运行程序。
在这里插入图片描述
在打开的程序中点击打开文件，然后选择要刷入的固件。
在这里插入图片描述
然后点击下载即可开始刷入固件。
在这里插入图片描述

K210如何拍摄照片

准备工作

这里需要用到SD卡，首先需要用读卡器打开SD卡，在SD卡根目录下创建一个名为img的文件夹。
在这里插入图片描述
然后将SD卡直接插到K210上即可。
在这里插入图片描述

拍摄相关代码定义

导入模块，这里打算用K210上自带的按键KEY进行拍照（该按键自动接到16脚），所以除了必要的感光元件模块以外，还需要引入引脚注册模块，lcd是方便脱机拍照（代码烧入后，可以拿个充电宝或者其他的可以输出5V电压的给K210供电，就可以拿着K210拍照了，不然还要带个笔记本电脑怪麻烦的）。

# Get_V1.0 - By: FITQY - 周五 8 月 26 日 2022#__________________________________________________________________# 导入模块import sensor, time, image                                  # 导入感光元件模块 sensor 跟踪运行时间模块 time 机器视觉模块 imageimport utime                                                # 导入延时模块 utimefrom fpioa_manager import fm                                # 从 fpioa_manager 模块中导入 引脚注册模块 fmfrom Maix import GPIO                                       # 从 Maix 模块中导入 模块 GPIOimport lcd                                                  # 导入 LCD 模块

感光元件的设置，比起之前的设置，只是多了倒数第二行的设置图像大小为224 x 224。

#__________________________________________________________________# 感光元件设置
sensor.reset()# 重置并初始化感光元件 默认设置为 摄像头频率 24M 不开启双缓冲模式#sensor.reset(freq=24000000, dual_buff=True)                # 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加

sensor.set_pixformat(sensor.RGB565)# 设置图像格式为 RGB565 (彩色) 除此之外 还可设置格式为 GRAYSCALE 或者 YUV422
sensor.set_framesize(sensor.QVGA)# 设置图像大小为 QVGA (320 x 240) 像素个数 76800 K210最大支持格式为 VGA

sensor.set_auto_exposure(0)# 关闭自动曝光#sensor.set_auto_exposure(0, exposure=120000)               # 设置手动曝光 曝光时间 120000 us#sensor.set_auto_gain(0)                                    # 关闭画面增益
sensor.set_auto_gain(0, gain_db =16)# 设置画面增益 16 dB 影响实时画面亮度

sensor.set_auto_whitebal(0)# 关闭RGB自动增益（白平衡）#sensor.set_auto_whitebal(0, rgb_gain_db = (0,0,0))         # 设置RGB增益 0 0 0 dB 影响画面色彩呈现效果 在 K210 上无法调节增益 初步判定是感光元件 ov2640 无法支持#sensor.set_contrast(0)                                     # 设置对比度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释#sensor.set_brightness(0)                                   # 设置亮度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释#sensor.set_saturation(0)                                   # 设置饱和度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释

sensor.set_vflip(1)# 打开垂直翻转 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反
sensor.set_hmirror(1)# 打开水平镜像 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反

sensor.set_windowing((224,224))# 设置图像大小为 224 224

sensor.skip_frames(time =2000)# 延时跳过2s 等待感光元件稳定

LED的设置，这一步可以没有，我只是用来判断按键有没有被按下才加的这个，我设置的是，如果按键按下的话，LED会切换。

#__________________________________________________________________# LED的使用# 注册 LED 引脚
fm.register(14, fm.fpioa.GPIO2, force =True)# 配置 14 脚为 LED_R 强制注册
fm.register(13, fm.fpioa.GPIO1, force =True)# 配置 13 脚为 LED_G 强制注册
fm.register(12, fm.fpioa.GPIO0, force =True)# 配置 12 脚为 LED_B 强制注册# 创建 LED 对象
LED_R = GPIO(GPIO.GPIO2, GPIO.OUT)# 创建 LED_R 对象
LED_G = GPIO(GPIO.GPIO1, GPIO.OUT)# 创建 LED_G 对象
LED_B = GPIO(GPIO.GPIO0, GPIO.OUT)# 创建 LED_B 对象# LED控制函数defLED_Control(led_flag):# LED控制函数 根据传入 led_flag 点亮对应的灯 需要注意的是 0为点亮 1为熄灭if led_flag ==0:# 传入参数为 0 所有灯打开
        LED_R.value(0)
        LED_G.value(0)
        LED_B.value(0)elif led_flag ==1:# 传入参数为 1 所有灯关闭
        LED_R.value(1)
        LED_G.value(1)
        LED_B.value(1)elif led_flag ==2:# 传入参数为 2 红灯常亮
        LED_R.value(0)
        LED_G.value(1)
        LED_B.value(1)elif led_flag ==3:# 传入参数为 3 绿灯常亮
        LED_R.value(1)
        LED_G.value(0)
        LED_B.value(1)elif led_flag ==4:# 传入参数为 4 蓝灯常亮
        LED_R.value(1)
        LED_G.value(1)
        LED_B.value(0)else:# 其他情况 紫灯
        LED_R.value(0)
        LED_G.value(1)
        LED_B.value(0)

按键的设置，和往期一样的，只是把另外三个按键删掉了而已，然后在按键0的回调函数中加入了拍照函数。

#__________________________________________________________________# 按键的使用# 定义按键控制类classKey_Control():# 定义按键控制类
    cnt     =0# 按键计数值
    cs      =0# 按键模式选择标志位
    csmax   =0# 按键模式上限
    csflag  =0# 按键模式切换标志位
    cinput  =0# 按键输入值保存位
    control =0# 按键确认及发送控制标志位
    img_cnt =0# 照片计数值# 实例化按键类
key = Key_Control()# 实例化按键控制类 Key_Control() 为 key
key.csmax =3# 按键模式上限为 3 即最多有 4 个模式 (0, 1, 2, 3)# 注册按键引脚
fm.register(16, fm.fpioa.GPIOHS0, force =True)# 配置 16 脚为 KEY0 使用高速 GPIO 口 强制注册# 创建按键对象
KEY0 = GPIO(GPIO.GPIOHS0, GPIO.IN, GPIO.PULL_UP)# 创建按键对象 KEY0# 中断回调函数 KEY0 控制按键模式选择defKey0_Switch(KEY0):
    utime.sleep_ms(10)# 延时 10ms 消除按键抖动if KEY0.value()==0:# 确认 按键0 按下
        key.csflag =1# 标记按键模式切换if key.cs < key.csmax:# 若当前按键模式值小于按键模式选择上限值
            key.cs = key.cs +1# 控制按键模式选择 自增else:# 若达到上限 则重新从 0 开始
            key.cs =0
        Get_Image(key)# 触发中断的时候拍摄一张照片# 开启中断 下降沿触发
KEY0.irq(Key0_Switch, GPIO.IRQ_FALLING)# 开启 按键0 外部中断 下降沿触发

拍照函数如下所示，主要就是根据计数器的值保存照片，可以支持保存0000.jpg到9999.jpg共1万张照片，如果你要保存超过1万张，再加个判断就好了（emm应该也没有什么电赛题目识别的东西需要这么大的数据集吧）

#__________________________________________________________________# 获取照片函数defGet_Image(key):# 拍摄一张照片 保存到 SD卡 的 img 目录下 名字为 000 + key.img_cnt.jpg 如 0001.jpgif key.img_cnt <10:
        sensor.snapshot().save("/sd/img/000"+str(key.img_cnt)+".jpg")elif key.img_cnt <100:
        sensor.snapshot().save("/sd/img/00"+str(key.img_cnt)+".jpg")elif key.img_cnt <1000:
        sensor.snapshot().save("/sd/img/0"+str(key.img_cnt)+".jpg")elif key.img_cnt <10000:
        sensor.snapshot().save("/sd/img/"+str(key.img_cnt)+".jpg")

    key.img_cnt = key.img_cnt +1# 计数值自增

然后就是LCD的设置，这一步最好要有，有了会比较方便，还可以在LCD上看到当前拍摄了几张图片（第一行img_cnt后面显示的数字就是拍摄照片的张数）

#__________________________________________________________________# LCD# LCD 初始化
lcd.init()# lcd初始化# LCD 打印照片张数defLCD_Show():
    lcd.draw_string(0,0,"img_cnt: "+str(key.img_cnt), lcd.BLUE, lcd.WHITE)
    lcd.draw_string(0,15,"Gain   : "+str(sensor.get_gain_db()), lcd.BLUE, lcd.WHITE)
    lcd.draw_string(0,30,"RGBGain: "+str(sensor.get_rgb_gain_db()), lcd.BLUE, lcd.WHITE)

主函数如下所示，key.img_cnt这一句话是设置从第几个序号开始保存照片，举个例子。
比如设置为0，那么就是从0000开始保存。
设置为100，就是从0100开始保存。
这一个设置的目的就是，方便后续添加数据集，比如我现在只拍摄了31张图片，那么img文件夹里面的照片是从0000.jpg到0030.jpg，如果要添加新。的数据集，那么需要将key.img_cnt的值改成31，就可以从0031.jpg开始保存，如果从0000开始的话会覆盖掉之前的照片。

#__________________________________________________________________# 照片起始序号设置
key.img_cnt =0#__________________________________________________________________# 主函数模式选择while(True):

    clock.tick()# 跟踪运行时间
    img=sensor.snapshot()# 摄像头拍摄一张图片
    lcd.display(img)# LCD 显示图像
    LCD_Show()# LCD 显示照片张数
    LED_Control(key.cs)# 按键控制 LED 表示按键有成功按下#__________________________________________________________________

完整代码如下，可以复制然后用K210拍摄你的数据集了！

# Get_V1.0 - By: FITQY - 周五 8 月 26 日 2022#__________________________________________________________________# 导入模块import sensor, time, image                                  # 导入感光元件模块 sensor 跟踪运行时间模块 time 机器视觉模块 imageimport utime                                                # 导入延时模块 utimefrom fpioa_manager import fm                                # 从 fpioa_manager 模块中导入 引脚注册模块 fmfrom Maix import GPIO                                       # 从 Maix 模块中导入 模块 GPIOimport lcd                                                  # 导入 LCD 模块#__________________________________________________________________# 感光元件设置
sensor.reset()# 重置并初始化感光元件 默认设置为 摄像头频率 24M 不开启双缓冲模式#sensor.reset(freq=24000000, dual_buff=True)                # 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加

sensor.set_pixformat(sensor.RGB565)# 设置图像格式为 RGB565 (彩色) 除此之外 还可设置格式为 GRAYSCALE 或者 YUV422
sensor.set_framesize(sensor.QVGA)# 设置图像大小为 QVGA (320 x 240) 像素个数 76800 K210最大支持格式为 VGA

sensor.set_auto_exposure(0)# 关闭自动曝光#sensor.set_auto_exposure(0, exposure=120000)               # 设置手动曝光 曝光时间 120000 us#sensor.set_auto_gain(0)                                    # 关闭画面增益
sensor.set_auto_gain(0, gain_db =16)# 设置画面增益 16 dB 影响实时画面亮度

sensor.set_auto_whitebal(0)# 关闭RGB自动增益（白平衡）#sensor.set_auto_whitebal(0, rgb_gain_db = (0,0,0))         # 设置RGB增益 0 0 0 dB 影响画面色彩呈现效果 在 K210 上无法调节增益 初步判定是感光元件 ov2640 无法支持#sensor.set_contrast(0)                                     # 设置对比度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释#sensor.set_brightness(0)                                   # 设置亮度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释#sensor.set_saturation(0)                                   # 设置饱和度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释

sensor.set_vflip(1)# 打开垂直翻转 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反
sensor.set_hmirror(1)# 打开水平镜像 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反

sensor.set_windowing((224,224))# 设置图像大小为 224 224

sensor.skip_frames(time =2000)# 延时跳过2s 等待感光元件稳定#__________________________________________________________________# 创建时钟对象
clock = time.clock()# 创建时钟对象 clock#__________________________________________________________________# LED的使用# 注册 LED 引脚
fm.register(14, fm.fpioa.GPIO2, force =True)# 配置 14 脚为 LED_R 强制注册
fm.register(13, fm.fpioa.GPIO1, force =True)# 配置 13 脚为 LED_G 强制注册
fm.register(12, fm.fpioa.GPIO0, force =True)# 配置 12 脚为 LED_B 强制注册# 创建 LED 对象
LED_R = GPIO(GPIO.GPIO2, GPIO.OUT)# 创建 LED_R 对象
LED_G = GPIO(GPIO.GPIO1, GPIO.OUT)# 创建 LED_G 对象
LED_B = GPIO(GPIO.GPIO0, GPIO.OUT)# 创建 LED_B 对象# LED控制函数defLED_Control(led_flag):# LED控制函数 根据传入 led_flag 点亮对应的灯 需要注意的是 0为点亮 1为熄灭if led_flag ==0:# 传入参数为 0 所有灯打开
        LED_R.value(0)
        LED_G.value(0)
        LED_B.value(0)elif led_flag ==1:# 传入参数为 1 所有灯关闭
        LED_R.value(1)
        LED_G.value(1)
        LED_B.value(1)elif led_flag ==2:# 传入参数为 2 红灯常亮
        LED_R.value(0)
        LED_G.value(1)
        LED_B.value(1)elif led_flag ==3:# 传入参数为 3 绿灯常亮
        LED_R.value(1)
        LED_G.value(0)
        LED_B.value(1)elif led_flag ==4:# 传入参数为 4 蓝灯常亮
        LED_R.value(1)
        LED_G.value(1)
        LED_B.value(0)else:# 其他情况 紫灯
        LED_R.value(0)
        LED_G.value(1)
        LED_B.value(0)#__________________________________________________________________# 按键的使用# 定义按键控制类classKey_Control():# 定义按键控制类
    cnt     =0# 按键计数值
    cs      =0# 按键模式选择标志位
    csmax   =0# 按键模式上限
    csflag  =0# 按键模式切换标志位
    cinput  =0# 按键输入值保存位
    control =0# 按键确认及发送控制标志位
    img_cnt =0# 照片计数值# 实例化按键类
key = Key_Control()# 实例化按键控制类 Key_Control() 为 key
key.csmax =3# 按键模式上限为 3 即最多有 4 个模式 (0, 1, 2, 3)# 注册按键引脚
fm.register(16, fm.fpioa.GPIOHS0, force =True)# 配置 16 脚为 KEY0 使用高速 GPIO 口 强制注册# 创建按键对象
KEY0 = GPIO(GPIO.GPIOHS0, GPIO.IN, GPIO.PULL_UP)# 创建按键对象 KEY0# 中断回调函数 KEY0 控制按键模式选择defKey0_Switch(KEY0):
    utime.sleep_ms(10)# 延时 10ms 消除按键抖动if KEY0.value()==0:# 确认 按键0 按下
        key.csflag =1# 标记按键模式切换if key.cs < key.csmax:# 若当前按键模式值小于按键模式选择上限值
            key.cs = key.cs +1# 控制按键模式选择 自增else:# 若达到上限 则重新从 0 开始
            key.cs =0
        Get_Image(key)# 触发中断的时候拍摄一张照片# 开启中断 下降沿触发
KEY0.irq(Key0_Switch, GPIO.IRQ_FALLING)# 开启 按键0 外部中断 下降沿触发#__________________________________________________________________# 获取照片函数defGet_Image(key):# 拍摄一张照片 保存到 SD卡 的 img 目录下 名字为 000 + key.img_cnt.jpg 如 0001.jpgif key.img_cnt <10:
        sensor.snapshot().save("/sd/img/000"+str(key.img_cnt)+".jpg")elif key.img_cnt <100:
        sensor.snapshot().save("/sd/img/00"+str(key.img_cnt)+".jpg")elif key.img_cnt <1000:
        sensor.snapshot().save("/sd/img/0"+str(key.img_cnt)+".jpg")elif key.img_cnt <10000:
        sensor.snapshot().save("/sd/img/"+str(key.img_cnt)+".jpg")

    key.img_cnt = key.img_cnt +1# 计数值自增#__________________________________________________________________# LCD# LCD 初始化
lcd.init()# lcd初始化# LCD 打印照片张数defLCD_Show():
    lcd.draw_string(0,0,"img_cnt: "+str(key.img_cnt), lcd.BLUE, lcd.WHITE)
    lcd.draw_string(0,15,"Gain   : "+str(sensor.get_gain_db()), lcd.BLUE, lcd.WHITE)
    lcd.draw_string(0,30,"RGBGain: "+str(sensor.get_rgb_gain_db()), lcd.BLUE, lcd.WHITE)#__________________________________________________________________# 照片起始序号设置
key.img_cnt =0#__________________________________________________________________# 主函数模式选择while(True):

    clock.tick()# 跟踪运行时间
    img=sensor.snapshot()# 摄像头拍摄一张图片
    lcd.display(img)# LCD 显示图像
    LCD_Show()# LCD 显示照片张数
    LED_Control(key.cs)# 按键控制 LED 表示按键有成功按下#__________________________________________________________________

用K210拍摄到的照片在MaixHub平台上训练模型

因为手头上刚刚好有一个橘子，所以我就用它来做一个识别水果的（但我只做了一个识别橘子），将K210上电，然后对着橘子，按下KEY键即可拍照了。
在这里插入图片描述
然后，要用读卡器打开K210上的SD卡，将文件夹img复制到电脑桌面。
在这里插入图片描述
然后打开MaixHub平台，链接如下，账号没注册的注册一个就好（上一期有说）
MaixHub在线训练平台
需要新建一个项目，名称就叫水果识别，类型选择图像检测（图像分类只能分类图像，并不能获取目标的坐标信息，因此图像检测用的比较多）
在这里插入图片描述
然后创建一个数据集，命名为水果。
在这里插入图片描述
然后选中该数据集。
在这里插入图片描述
在这里插入图片描述
然后将img中的图片上传到该训练集。
在这里插入图片描述
在这里插入图片描述
然后这一步是上一篇教程中所没有的，需要随机选择几张图片放到验证集中，因为如果验证集中没图片，训练的时候会随机抽取几张图片放到验证集。
在这里插入图片描述
然后就是添加标签，设置默认标签，然后一张张开始打标签了。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
直到打完所有标签，就可以开始训练了。
在这里插入图片描述
训练参数设置如下，这里随机处理中的选项都不选（随机镜像、随机旋转、随机模糊），模型选择nncase，参数是训练200次，批数据量大小是4，然后创建任务即可。
在这里插入图片描述
然后需要记住训练的ID，不然后面找不到。
在这里插入图片描述
因为是在线训练，不妨我们再创建一个任务，这次将图像增强中的随即部分全部勾选上，其他参数不变，再创建一个训练任务，最后与之前的训练任务比较一下。
在这里插入图片描述
同样的需要记住训练ID。
在这里插入图片描述
等待训练结束，可以看到，平台告诉我们准确率有1，但是在K210上未必每次都能正确识别到，因为我这里数据量太小了，就拍摄了四十几张图片，镜头拉近拉远可能就无法识别了，如果对镜头到目标的距离有要求的，可以根据实际情况靠近或者远一点拍摄图片。
在这里插入图片描述
数据增强的那个训练任务也完成了，可以看到，这个训练的准确度比没数据增强的高出不少。
在这里插入图片描述
然后就是下载压缩包，进行测试了。
在这里插入图片描述
在这里插入图片描述

测试

首先要将压缩包内的模型复制到SD卡中，这里我复制了两个，一个是48，一个是50，48是没有数据增强的，50是有数据增强的。
在这里插入图片描述
然后打开48的测试代码测试即可。
在这里插入图片描述
记得将这两个参数设置为1哦，这是开启镜头转置。
在这里插入图片描述

未开启数据增强的测试结果

未开启数据增强的（序号48）的测试结果不难看出，概率偏低，这是因为我拍摄的大部分图片角度都差不多是同一个角度，因此可能我测试的时候角度换了一点，概率就下降了。
在这里插入图片描述
拿在手上的测试结果也不太理想，经常无法识别。
在这里插入图片描述

开启数据增强的测试结果

可以看出，概率明显上升了不少。
在这里插入图片描述
拿在手上，识别的效果也会比没开启数据增强的好上不少。
在这里插入图片描述
由此可得出，若需要提高识别的精准度，需要开启数据增强，如果开启数据增强后效果还是不理想，则需要增大数据集。

小结

使用K210拍摄照片，在MaixHub平台进行模型训练的教程已经做完了，并且分析了下数据增强对实际测试效果的影响。由于我并不是专门学这方面的，因此我感觉我这篇教程还写的不是很好，有新的心得的话，后面我会持续更新的。 下一期主要说怎么将识别到的坐标通过串口通信传输到STM32，因为这里用的代码是MaixHub平台提供的，我需要将其中用得到的部分加入我之前的代码中，然后通过串口通信发送出去，主要是为了方便大家使用，我想让大家可以轻松的搞应用，在各种比赛拿奖，总之我的比赛之路是走到尽头了，就是想将这些经验传承下去吧！下期再见咯！

标签： 学习 单片机 人工智能
本文转载自: https://blog.csdn.net/adas323/article/details/126546717
版权归原作者 欠羽 所有， 如有侵权，请联系我们删除。
登录后发布评论

“【K210】K210学习笔记七——使用K210拍摄照片并在MaixHub上进行训练”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航