指で直観的に操作可能な次世代ユーザーインターフェースを開発

実物を直接指で選択するだけでデータのやり取りが可能に

株式会社富士通研究所（注1）は、指で直観的に操作が可能な次世代ユーザーインターフェース技術を開発しました。

近年、ジェスチャー操作を実現する様々な技術が開発されていますが、高価な装置が必要であったり、タッチ操作などの手指の細かい操作まで検出できないなどの課題がありました。今回、実世界の物に対する手指の位置やタッチなどの操作を汎用のカメラを用いて高精度・高速に検出する技術を開発しました。汎用のプロジェクターと組み合わせることで、例えばテーブルの上の書類を指でなぞって電子データとして取り込んだり、触った物にプロジェクターで情報を表示したりすることが可能になります。

本技術により、実世界での人の操作とICTサービスを連携させることが容易に実現可能となり、ICTの利用シーン拡大に貢献します。

開発の背景

近年、パソコンやスマートフォンの使い易さを向上させる目的で、ナチュラルユーザーインターフェースの開発が活発になっています。手のジェスチャー操作による画面操作や音声対話が実用化されており、マウス、キーボード、タッチパネルに代わる新しいユーザーインターフェースとして活用され始めています。一方、よりリアルなユーザーインターフェースを実現する試みとして、実物に触る、動かすなどの動作を用いることも提案されています。しかし、これまでは特殊なセンサーを物に埋め込む必要があり、実用化に向けて大きな課題となっていました。

課題

実物へのタッチ操作などを非接触で検出できれば、特殊なセンサーを物に埋め込む必要はなくなります。しかし、現在実用化されているジェスチャー操作は、空間での操作が前提となっており、背景となる物と手が近づいた状態では、手と背景が混在して検出されるという問題がありタッチ操作の検出には不向きでした。また、赤外線などの特殊デバイスを用いて、距離を計測する技術がユーザーインターフェースに活用され始めています。しかし、手指の操作を細かく検出できるほどの分解能はなく、装置も大型でコストも高いという課題があります。

開発した技術

今回、実世界の物に対する手指の操作を汎用のカメラを用いて高精度・高速に検出する技術を開発しました。開発した技術の特徴は以下の通りです。

実空間とICT空間の座標認識・変換技術
実世界（テーブル）の凹凸形状をカメラで自動計測し、カメラ座標系、プロジェクター座標系、実世界座標系を自動調整する技術を開発しました。これにより、指の動きや物へのタッチとプロジェクション表示を正確に合わせることを可能にしました。

図1 実空間とICT空間の座標認識・変換技術
手指認識の安定化技術
手指の色と輪郭の特徴を抽出して手指の形状を認識する技術を開発しました。また、周囲の環境光に応じたカメラ画像の色や明るさの制御、手指の色の個人差を補正する技術により、設置環境や個人差の影響の少ない安定した手指の抽出を実現しました。

図2 手指認識の安定化技術
指先の高精度・高速な認識技術
汎用のWebカメラなどで得られる低解像度の画像でも、指先の画像を補間することでタッチ検出に必要な精度を実現しました。また、指の自然な動きにも追従するように、毎秒300ミリメートルの指先追跡速度を実現しました。

図3 指先の高精度・高速な認識技術

効果

今回開発した技術を用いることで、例えばテーブルの上の書類を指でなぞって必要な箇所を電子データとして取り込んだり、取り込んだデータをテーブルに表示して拡大や縮小などの操作が可能です。また、手書きの付箋紙をテーブルに貼り付けて画像データとして読み取り、画像化された電子付箋を指で移動させたり、グルーピングするなどの操作が可能です。これらのように、実世界での人の操作とICTサービスを連携させることが容易に実現可能となり、ICTの利用シーン拡大に貢献します。