タッチとジェスチャで作業現場を支援するグローブ型ウェアラブルデバイスを開発

株式会社富士通研究所（注1）は、保守作業などの現場向けにNFC（Near Field Communication）タグリーダとジェスチャ入力機能を備えたグローブ型ウェアラブルデバイスを開発しました。

近年、スマートフォンやタブレットなどのスマート端末を用いて作業記録の電子化や作業効率の向上など、作業現場を支援する試みが行われています。しかし、現場によっては手袋の装着や手の汚れにより端末の取り出しや操作が難しいなど端末の利用が向かない場合や、操作のために端末を見るなど作業が中断してしまうという課題があります。

今回開発したグローブ型ウェアラブルデバイスを用いれば、物に触れるという自然な行動をきっかけに作業手順などの情報が提示され、作業結果の入力もジェスチャで行えるため、業務の流れを滞りなく進めることができます。

本デバイスとヘッドマウントディスプレイを組み合わせることで、例えば、コネクターや作業パネルなどの作業対象にタッチして作業指示を入手し、簡単なジェスチャで作業結果を入力するようなソリューションが構築でき、作業の効率化や作業ミスの防止が期待できます。

開発したグローブ型ウェアラブルデバイスは2月24日（月曜日）から27日（木曜日）までスペインのバルセロナで開催される国際展示会「Mobile World Congress 2014 (MWC2014)」にて展示します。

開発の背景

近年、端末の小型化、通信技術の高度化、クラウド環境の進展により、工場やビルのメンテナンスなどの現場作業で、スマート端末の活用が進められています。作業中にタイムリーな支援情報が得られることで、熟練者でなくてもミスなく効率的に作業できることが期待されています。

課題

これまでの作業支援では、作業者がスマート端末を操作して必要な情報を入手していました。しかし、現場によっては手袋の装着や手の汚れにより端末の取り出しや操作が難しいため、端末の利用が向かない場合があります。また、操作のために端末を見るなど作業の中断が発生してしまう課題がありました。

図1 開発したグローブ型ウェアラブルデバイス

開発した技術

作業者への注意喚起や作業場面に合わせた支援情報を、端末を操作することなく提供するため、NFCタグリーダとジェスチャ入力機能を備えたグローブ型ウェアラブルデバイスを開発しました（図1）。

図2 グローブ型ウェアラブルデバイスを使った作業支援

本デバイスを用いれば、作業対象物に貼り付けたNFCタグを指先でタッチするだけで関連する情報を提示することが可能になります（図2）。また、ジャイロセンサーと加速度センサーを手首に搭載することでジェスチャ認識を実現しました。

今回開発した技術の特長は以下のとおりです。

ウェアラブルデバイスの電力制御技術（図3）
ウェアラブルデバイスでは、体への装着の容易さや身体への負担から大型のバッテリーを使うことができないため、低消費電力での駆動が前提になります。指先に接触センサーを搭載し、タッチした瞬間だけNFCタグリーダを起動することで低消費電力を実現しました。

これにより、グローブ型ウェアラブルデバイスの動作時間を電力制御しない場合の3時間から9時間に延ばすことが可能となり、1日の業務を遂行するのに十分な稼働時間を実現しました。

図3 電力制御の動作の流れ

電力制御の動作の流れは、以下のとおりです。
1. 接触センサーで物へのタッチを検出
2. グローブ型ウェアラブルデバイスのNFC
  タグリーダを起動
3. 物に貼られたタグIDの読み取り
4. 読み取ったタグ情報をスマート端末に送信
5. NFCタグリーダを休止
様々な作業姿勢からも安定的に入力できるジェスチャ認識技術（図4）
今回、様々な作業姿勢からでも違和感なく安定的に入力可能なジェスチャ認識技術を開発しました。ジェスチャの認識率は、作業で動いている腕の動きとジェスチャとの区別や、個人差によるジェスチャのばらつきに大きく依存します。そこで、通常の作業中にはほとんど表れない、手の甲を反らせる「背屈」という姿勢に着目し、この姿勢をきっかけに動作することで、通常の腕の動きとジェスチャとを区別しました。また、肩関節を原点とする座標を設定しジェスチャを定義しました。これにより動きの個人差を吸収し、ジェスチャを様々な姿勢から違和感なく入力することができます。

社内実験では、6パターン（上、下、左、右、右旋回、左旋回）のジェスチャを98%認識できることを確認しました。これらのジェスチャは、例えば、左右の動きでヘッドマウントディスプレイ上に表示されたマニュアルのページをめくり、上下の動きで表示のスクロールを操作することができます。また、作業状態の入力のシーンでは右旋回ならば異常なし、左旋回ならば異常ありを入力する使い方ができます。

図4 背屈姿勢を用いたジェスチャ定義