このページの本文へ移動
  1. ホーム >
  2. プレスリリース >
  3. 指で直観的に操作可能な次世代ユーザーインターフェースを開発

PRESS RELEASE (技術)

2013年4月3日
株式会社富士通研究所

指で直観的に操作可能な次世代ユーザーインターフェースを開発

実物を直接指で選択するだけでデータのやり取りが可能に

株式会社富士通研究所(注1)は、指で直観的に操作が可能な次世代ユーザーインターフェース技術を開発しました。

近年、ジェスチャー操作を実現する様々な技術が開発されていますが、高価な装置が必要であったり、タッチ操作などの手指の細かい操作まで検出できないなどの課題がありました。今回、実世界の物に対する手指の位置やタッチなどの操作を汎用のカメラを用いて高精度・高速に検出する技術を開発しました。汎用のプロジェクターと組み合わせることで、例えばテーブルの上の書類を指でなぞって電子データとして取り込んだり、触った物にプロジェクターで情報を表示したりすることが可能になります。

本技術により、実世界での人の操作とICTサービスを連携させることが容易に実現可能となり、ICTの利用シーン拡大に貢献します。

開発の背景

近年、パソコンやスマートフォンの使い易さを向上させる目的で、ナチュラルユーザーインターフェースの開発が活発になっています。手のジェスチャー操作による画面操作や音声対話が実用化されており、マウス、キーボード、タッチパネルに代わる新しいユーザーインターフェースとして活用され始めています。一方、よりリアルなユーザーインターフェースを実現する試みとして、実物に触る、動かすなどの動作を用いることも提案されています。しかし、これまでは特殊なセンサーを物に埋め込む必要があり、実用化に向けて大きな課題となっていました。

課題

実物へのタッチ操作などを非接触で検出できれば、特殊なセンサーを物に埋め込む必要はなくなります。しかし、現在実用化されているジェスチャー操作は、空間での操作が前提となっており、背景となる物と手が近づいた状態では、手と背景が混在して検出されるという問題がありタッチ操作の検出には不向きでした。また、赤外線などの特殊デバイスを用いて、距離を計測する技術がユーザーインターフェースに活用され始めています。しかし、手指の操作を細かく検出できるほどの分解能はなく、装置も大型でコストも高いという課題があります。

開発した技術

今回、実世界の物に対する手指の操作を汎用のカメラを用いて高精度・高速に検出する技術を開発しました。開発した技術の特徴は以下の通りです。

  1. 実空間とICT空間の座標認識・変換技術

    実世界(テーブル)の凹凸形状をカメラで自動計測し、カメラ座標系、プロジェクター座標系、実世界座標系を自動調整する技術を開発しました。これにより、指の動きや物へのタッチとプロジェクション表示を正確に合わせることを可能にしました。

    図1 実空間とICT空間の座標認識・変換技術
    図1 実空間とICT空間の座標認識・変換技術

  2. 手指認識の安定化技術

    手指の色と輪郭の特徴を抽出して手指の形状を認識する技術を開発しました。また、周囲の環境光に応じたカメラ画像の色や明るさの制御、手指の色の個人差を補正する技術により、設置環境や個人差の影響の少ない安定した手指の抽出を実現しました。

    図2 手指認識の安定化技術
    図2 手指認識の安定化技術

  3. 指先の高精度・高速な認識技術

    汎用のWebカメラなどで得られる低解像度の画像でも、指先の画像を補間することでタッチ検出に必要な精度を実現しました。また、指の自然な動きにも追従するように、毎秒300ミリメートルの指先追跡速度を実現しました。

    図3 指先の高精度・高速な認識技術
    図3 指先の高精度・高速な認識技術

効果

今回開発した技術を用いることで、例えばテーブルの上の書類を指でなぞって必要な箇所を電子データとして取り込んだり、取り込んだデータをテーブルに表示して拡大や縮小などの操作が可能です。また、手書きの付箋紙をテーブルに貼り付けて画像データとして読み取り、画像化された電子付箋を指で移動させたり、グルーピングするなどの操作が可能です。これらのように、実世界での人の操作とICTサービスを連携させることが容易に実現可能となり、ICTの利用シーン拡大に貢献します。

開発したシステム(動画)
(再生時間: 1分21秒 / 音声なし)

今後

富士通研究所では、今回開発したアプリケーション、システムを実際の使用環境に適用する評価を進め、2014年度中の実用化を目指します。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

以上

注釈

注1 株式会社富士通研究所:
代表取締役社長 富田達夫、本社 神奈川県川崎市。

関連リンク

本件に関するお問い合わせ

株式会社富士通研究所
メディア処理システム研究所 メディアサービス研究部
電話 044-754-2444 (直通)
メール ftui-2013@ml.labs.fujitsu.com


プレスリリースに記載された製品の価格、仕様、サービス内容、お問い合わせ先などは、発表日現在のものです。その後予告なしに変更されることがあります。あらかじめご了承ください。