物件追踪

    Web:AI 影像辨识分为影像分类 以及物件追踪,可以使用Web:AI 开发板拍摄影像上传至Webduino 影像训练平台进行影像训练,将训练完成的模型下载,再使用程序积木执行影像辨识。

    本章节将会介绍「物件追踪」积木的使用方式。

    下载物件追踪模型

    在使用物件追踪前,需要先训练好模型,并下载至开发板中,训练流程欢迎参考:三、影像训练。按照步骤下载后,就可以使用「物件追踪」积木进行操作了。

    另外,也可以直接使用已经训练完成的「小怪兽模型」,内建在开发板中不需要重新训练、下载。

    设定物件追踪模型

    在操作物件追踪前,需要先使用「设定物件追踪模型」积木对模型作设定。

    • 模型:物件追踪使用的模型。
    • 分类:模型中的分类,使用半形逗号「,」分隔。
    • 辨识门槛:物件追踪的精准度,门槛越高代表侦测越符合模型特征才会辨识成功,预设为 0.1。
    • 镜头反转:在使用特定外壳时会有前后镜头功能,因此需要勾选让镜头反转,避免画面上下颠倒。

      如果是使用无外壳的 Web:AI 开发板,使用预设的不勾选。

    • 宽高:影像的尺寸大小。

      1. 内建「小怪兽模型」,使用的尺寸:

        • 宽:320

        • 高:224

      2. Webduino 影像训练平台 训练的模型,使用的尺寸:

        • 宽:224

        • 高:224

      3. 使用自行训练的模型,需要手动输入。

    在「设定物件追踪模型」积木中可以选择要使用的模型,选择的模型必须和下载到开发板中的板子一致,才能顺利进行辨识。

    选择模型方式又会依据使用的平台及建立方式而不同,如下:

    • 选择模型 ( 线上版 )

      点击「模型」,可以从下拉选单中选择想使用的模型,选单中的模型会根据Webduino 影像训练平台 列出可使用的影像分类模型,也可以选择开发板内建的小怪兽模型( 预设模型)

    • 选择模型 ( 安装版 )

      在「模型」中手动输入,并将「分类」框选复制后贴上。

      因为分类的顺序会影像到是否能正常辨识,为确保顺序正确,建议直接将分类框选复制。

    • 选择模型 ( 新增自订模型 )

      如果是自行将模型烧录进开发板,或是将模型文件放在 SD 卡中,就需要使用「新增自订模型」,如下方步骤:

      1. 点击「新增自订模型」。
      2. 输入模型名称,按下确定。
      3. 模型选单中出现自订模型,后方会标示 ( 自订 )
      4. 在「分类」填入自订模型的分类顺序

    开始侦测物件

    使用「开始侦测物件」积木来触发影像辨识的进行。
    因为这块积木代表触发 1 次物件追踪,如果需要重复触发,就需要在外层放上「无限循环」积木。

    取得所有物件

    当开始辨识时,使用「取得所有物件」积木来取得侦测到的物件。
    积木里面需要填入分类的名称。

    使用时可以搭配「变量」积木,让后续程序更方便撰写,如下方程序为:将侦测到的「分类 green」用变量命名为「objGroup」。

    物件信息

    当开始辨识时,可以使用「物件信息」积木来显示辨识到的信息,包含:x 座标、y 座标、宽、高、信心度。 ( 信心度最高为 1、最低为 0,若信心度越高,代表侦测错误的可能性越低。)

    因为影像训练辨识的结果会落在一个区间范围内,若信心度为 90%,代表有 90% 的机率真正的结果会落在这个区间范围内。

    示例:物件追踪内建小怪兽模型

    前往 示例链接

    1. 先选择要使用的模型,如示例是使用开发板内建的小怪兽模型「monster ( 预设模型 )」。

      如果不使用内建模型,就需要先从 Webduino 影像训练平台 下载。
      有关如何训练影像模型,欢迎参考:三、影像训练

    2. 使用「设定物件追踪模型」积木,选择使用的模型。

    3. 使用「无限循环」积木,放入「开始侦测物件」积木,代表不断触发物件追踪。

    4. 使用「变量」积木,将侦测到的所有「分类 green」命名为「greenGroup」。

    5. 使用「逻辑」积木及「数组长度」积木,当侦测到的「green」数量 ≥ 1,会执行后方程序。

      当镜头侦测到的绿色小怪兽数量 ≥ 1,就会执行后方程序。

    6. 在执行后方放入「变量」积木,将「数组 greenGroup」的第一项命名为「green」。

      因为物件追踪可以同时追踪多个物件,但是只能同时显示单一物件的信息,所以设定为「数组 greenGroup」中的第一个。

    7. 在后方放入「显示文字」积木,显示「变量 green」的信息。

      当侦测到绿色小怪兽时,显示「Green Monster!( x 座标,y 座标 )」

    8. 将积木组合后,按下执行即可在Web:AI上追踪小怪兽,并显示绿色小怪兽的座标位置。

    9. 另外再重复步骤 4~7,将放入其它 3 只小怪兽的程序,按下执行后即可追踪 4 只小怪兽,并显示座标位置。

      因为程序设计方式不同,所以同时追踪 4 只小怪兽时只会显示绿色小怪兽的信息。