福祉機器開発部の伊藤です。
機械学習を用いて母音の口形認識《こうけいにんしき》と視線方向の検出を行い意思の伝達を支援します。


重度運動機能障害者の口や眼の動きを自動的に読み取り、効率の良い意思伝達システムを開発します。
九州工業大学の齊藤剛史氏と共同で、機械学習方法の一つであるＣＮＮ（Convolutional Neural Network）により母音の口形《こうけい》の認識と視線方向の検出を行います。


連続する唇の動きを自動的に読み取るのは難しいため、まずは母音の口形《こうけい》を認識してコミュニケーションへと応用します。


母音の口形《こうけい》認識の処理概要ですが、まず、撮影シーンから被験者の顔の特徴点をもとに口唇《こうしん》領域を抽出します。次に、連続したNフレームの口唇《こうしん》領域を入力として、3D-CNNにより口形《こうけい》を認識します。


スライドでは、静止画ですが「あ」の口形《こうけい》と「え」の口形《こうけい》をリアルタイムに認識した結果が表示されています。


続いて、視線方向の検出です。
残存機能として残りやすい眼の動きを検出してスイッチ操作へと応用します。ウェアラブルカメラを使用することで介護者の負担を軽減します。


視線方向検出の処理概要は、まず、撮影シーンからCNN分類モデルにより眼の開閉状態を分類します。続いて眼が開いた状態に対してCNN回帰モデルにより瞳孔の中心点を出力します。


ウェアラブルカメラを小型コンピュータに接続し、処理を行います。検出された眼の移動方向によりリレー制御器からスイッチ出力を行います。


メイン画面では瞳孔中心の位置がリアルタイムに表示されます。瞳孔中心の位置が設定した上下左右のしきい値を超えると出力を行います。

以上です。