物件追踪

Web:AI 影像辨识分为影像分类 以及物件追踪,可以使用Web:AI 开发板拍摄影像上传至Webduino 影像训练平台进行影像训练,将训练完成的模型下载,再使用程序积木执行影像辨识。

本章节将会介绍「物件追踪」积木的使用方式。

下载物件追踪模型

在使用物件追踪前,需要先训练好模型,并下载至开发板中,训练流程欢迎参考:三、影像训练。按照步骤下载后,就可以使用「物件追踪」积木进行操作了。

另外,也可以直接使用已经训练完成的「小怪兽模型」,内建在开发板中不需要重新训练、下载。

设定物件追踪模型

在操作物件追踪前,需要先使用「设定物件追踪模型」积木对模型作设定。

  • 模型:物件追踪使用的模型。
  • 分类:模型中的分类,使用半形逗号「,」分隔。
  • 辨识门槛:物件追踪的精准度,门槛越高代表侦测越符合模型特征才会辨识成功,预设为 0.1。
  • 镜头反转:在使用特定外壳时会有前后镜头功能,因此需要勾选让镜头反转,避免画面上下颠倒。

    如果是使用无外壳的 Web:AI 开发板,使用预设的不勾选。

  • 宽高:影像的尺寸大小。

    1. 内建「小怪兽模型」,使用的尺寸:
      • 宽:320
      • 高:224
    2. Webduino 影像训练平台 训练的模型,使用的尺寸:
      • 宽:224
      • 高:224
    3. 使用自行训练的模型,需要手动输入。

在「设定物件追踪模型」积木中可以选择要使用的模型,选择的模型必须和下载到开发板中的板子一致,才能顺利进行辨识。

选择模型方式又会依据使用的平台及建立方式而不同,如下:

  • ### 选择模型 ( 线上版 )

    点击「模型」,可以从下拉选单中选择想使用的模型,选单中的模型会根据Webduino 影像训练平台 列出可使用的影像分类模型,也可以选择开发板内建的小怪兽模型( 预设模型)

  • ### 选择模型 ( 安装版 )

    在「模型」中手动输入,并将「分类」框选复制后贴上。

    因为分类的顺序会影像到是否能正常辨识,为确保顺序正确,建议直接将分类框选复制。

  • ### 选择模型 ( 新增自订模型 )

    如果是自行将模型烧录进开发板,或是将模型文件放在 SD 卡中,就需要使用「新增自订模型」,如下方步骤:

    1. 点击「新增自订模型」。
    2. 输入模型名称,按下确定。
    3. 模型选单中出现自订模型,后方会标示 ( 自订 )
    4. 在「分类」填入自订模型的分类顺序

开始侦测物件

使用「开始侦测物件」积木来触发影像辨识的进行。 因为这块积木代表触发 1 次物件追踪,如果需要重复触发,就需要在外层放上「无限循环」积木。

取得所有物件

当开始辨识时,使用「取得所有物件」积木来取得侦测到的物件。 积木里面需要填入分类的名称。

使用时可以搭配「变量」积木,让后续程序更方便撰写,如下方程序为:将侦测到的「分类 green」用变量命名为「objGroup」。

物件信息

当开始辨识时,可以使用「物件信息」积木来显示辨识到的信息,包含:x 座标、y 座标、宽、高、信心度。 ( 信心度最高为 1、最低为 0,若信心度越高,代表侦测错误的可能性越低。)

因为影像训练辨识的结果会落在一个区间范围内,若信心度为 90%,代表有 90% 的机率真正的结果会落在这个区间范围内。

示例:物件追踪内建小怪兽模型

前往 示例链接

  1. 先选择要使用的模型,如示例是使用开发板内建的小怪兽模型「monster ( 预设模型 )」。

    如果不使用内建模型,就需要先从 Webduino 影像训练平台 下载。 有关如何训练影像模型,欢迎参考:三、影像训练

  2. 使用「设定物件追踪模型」积木,选择使用的模型。

  1. 使用「无限循环」积木,放入「开始侦测物件」积木,代表不断触发物件追踪。

  2. 使用「变量」积木,将侦测到的所有「分类 green」命名为「greenGroup」。

  3. 使用「逻辑」积木及「数组长度」积木,当侦测到的「green」数量 ≥ 1,会执行后方程序。

    当镜头侦测到的绿色小怪兽数量 ≥ 1,就会执行后方程序。

  4. 在执行后方放入「变量」积木,将「数组 greenGroup」的第一项命名为「green」。

    因为物件追踪可以同时追踪多个物件,但是只能同时显示单一物件的信息,所以设定为「数组 greenGroup」中的第一个。

  5. 在后方放入「显示文字」积木,显示「变量 green」的信息。

    当侦测到绿色小怪兽时,显示「Green Monster!( x 座标,y 座标 )」

  6. 将积木组合后,按下执行即可在Web:AI上追踪小怪兽,并显示绿色小怪兽的座标位置。

  7. 另外再重复步骤 4~7,将放入其它 3 只小怪兽的程序,按下执行后即可追踪 4 只小怪兽,并显示座标位置。

    因为程序设计方式不同,所以同时追踪 4 只小怪兽时只会显示绿色小怪兽的信息。