物件追踪
Web:AI 影像辨识分为影像分类 以及物件追踪,可以使用Web:AI 开发板拍摄影像上传至Webduino 影像训练平台进行影像训练,将训练完成的模型下载,再使用程序积木执行影像辨识。
本章节将会介绍「物件追踪」积木的使用方式。
下载物件追踪模型
在使用物件追踪前,需要先训练好模型,并下载至开发板中,训练流程欢迎参考:三、影像训练。按照步骤下载后,就可以使用「物件追踪」积木进行操作了。
另外,也可以直接使用已经训练完成的「小怪兽模型」,内建在开发板中不需要重新训练、下载。
设定物件追踪模型
在操作物件追踪前,需要先使用「设定物件追踪模型」积木对模型作设定。
模型:物件追踪使用的模型。
分类:模型中的分类,使用半形逗号「,」分隔。
辨识门槛:物件追踪的精准度,门槛越高代表侦测越符合模型特征才会辨识成功,预设为 0.1。
镜头反转:在使用特定外壳时会有前后镜头功能,因此需要勾选让镜头反转,避免画面上下颠倒。
如果是使用无外壳的 Web:AI 开发板,使用预设的不勾选。
宽高:影像的尺寸大小。
- 内建「小怪兽模型」,使用的尺寸:
- 宽:320
- 高:224
- Webduino 影像训练平台 训练的模型,使用的尺寸:
- 宽:224
- 高:224
- 使用自行训练的模型,需要手动输入。
- 内建「小怪兽模型」,使用的尺寸:
在「设定物件追踪模型」积木中可以选择要使用的模型,选择的模型必须和下载到开发板中的板子一致,才能顺利进行辨识。
选择模型方式又会依据使用的平台及建立方式而不同,如下:
选择模型 ( 线上版 )
点击「模型」,可以从下拉选单中选择想使用的模型,选单中的模型会根据Webduino 影像训练平台 列出可使用的影像分类模型,也可以选择开发板内建的小怪兽模型( 预设模型)。
选择模型 ( 安装版 )
在「模型」中手动输入,并将「分类」框选复制后贴上。
因为分类的顺序会影像到是否能正常辨识,为确保顺序正确,建议直接将分类框选复制。
选择模型 ( 新增自订模型 )
如果是自行将模型烧录进开发板,或是将模型文件放在 SD 卡中,就需要使用「新增自订模型」,如下方步骤:
- 点击「新增自订模型」。
- 输入模型名称,按下确定。
- 模型选单中出现自订模型,后方会标示 ( 自订 )
- 在「分类」填入自订模型的分类顺序
开始侦测物件
使用「开始侦测物件」积木来触发影像辨识的进行。
因为这块积木代表触发 1 次物件追踪,如果需要重复触发,就需要在外层放上「无限循环」积木。
取得所有物件
当开始辨识时,使用「取得所有物件」积木来取得侦测到的物件。
积木里面需要填入分类的名称。
使用时可以搭配「变量」积木,让后续程序更方便撰写,如下方程序为:将侦测到的「分类 green」用变量命名为「objGroup」。
物件信息
当开始辨识时,可以使用「物件信息」积木来显示辨识到的信息,包含:x 座标、y 座标、宽、高、信心度。 ( 信心度最高为 1、最低为 0,若信心度越高,代表侦测错误的可能性越低。)
因为影像训练辨识的结果会落在一个区间范围内,若信心度为 90%,代表有 90% 的机率真正的结果会落在这个区间范围内。
示例:物件追踪内建小怪兽模型
前往 示例链接
先选择要使用的模型,如示例是使用开发板内建的小怪兽模型「monster ( 预设模型 )」。
如果不使用内建模型,就需要先从 Webduino 影像训练平台 下载。
有关如何训练影像模型,欢迎参考:三、影像训练。使用「设定物件追踪模型」积木,选择使用的模型。
使用「无限循环」积木,放入「开始侦测物件」积木,代表不断触发物件追踪。
使用「变量」积木,将侦测到的所有「分类 green」命名为「greenGroup」。
使用「逻辑」积木及「数组长度」积木,当侦测到的「green」数量 ≥ 1,会执行后方程序。
当镜头侦测到的绿色小怪兽数量 ≥ 1,就会执行后方程序。
在执行后方放入「变量」积木,将「数组 greenGroup」的第一项命名为「green」。
因为物件追踪可以同时追踪多个物件,但是只能同时显示单一物件的信息,所以设定为「数组 greenGroup」中的第一个。
在后方放入「显示文字」积木,显示「变量 green」的信息。
当侦测到绿色小怪兽时,显示「Green Monster!( x 座标,y 座标 )」
将积木组合后,按下执行即可在Web:AI上追踪小怪兽,并显示绿色小怪兽的座标位置。
另外再重复步骤 4~7,将放入其它 3 只小怪兽的程序,按下执行后即可追踪 4 只小怪兽,并显示座标位置。
因为程序设计方式不同,所以同时追踪 4 只小怪兽时只会显示绿色小怪兽的信息。