福祉機器開発部の伊藤です。
九州工業大学では眼鏡型カメラを利用して、深層学習により眼の画像を入力として夜間でも画像内の瞳孔中心位置を高精度で検出できる技術を提案しています。
この技術をきん萎縮性そく索硬化症ALS等、重度運動機能障害者の見ている方向の検出に応用し、スイッチ操作へと連動するシステムを構築します。画像内の瞳孔中心点の検出方法です。
眼の画像を入力として、まず分類モデルにより眼の開閉状態を分類します。次いで、眼を開いていると分類された画像に対して回帰モデルにより瞳孔中心点の座標を求めます。
システムの構成です。左上の写真に示すように、レンズを外した眼鏡に小型カメラを取り付け、眼との相対位置を保ちます。システムは、右に示すように小型コンピュータ、モニター、スイッチ操作を行うためのリレー制御器で構成します。
動作の概要です。
スライドは正面を向いている画像です。　眼の画像から瞳孔中心位置が検出されますので、通常の視野範囲を確認して、それを超える範囲をしきいちとして設定します。瞳孔中心点がこれらのしきいちを超えると、割り当てられたスイッチがONになります。
本システムでは、リレー制御器へ信号を送るモードを2つ用意しています。
単発モードは、しきいちを超えた際に1回だけ信号を送信します。しきいち内に一旦瞳孔中心点が戻らないと次の信号は出ません。
連続モードは、しきいちを超えているあいだは一定間隔で信号を送ります。
一定の方向を見続けていると連続で信号が出ますので、少ない目の動きでスイッチ操作を行うことができます。