PCやタブレットに搭載の単眼カメラで、
より複雑な操作が可能な3次元ジェスチャー認識技術を開発

手の上下・左右方向に加えて手を押し出す奥行き方向の動作検知により操作性を向上

株式会社富士通研究所（注1）と富士通研究開発中心有限公司（注2）は、PCやタブレットなどに搭載された一台（単眼）のカメラで撮影した映像から上下・左右方向の手の動きだけでなく奥行き方向の手の動きも検知する3次元ハンドジェスチャー認識技術を開発しました。

従来のハンドジェスチャー認識技術では、マウスのカーソル移動に相当する上下・左右方向の手の動きは検知できましたが、クリック操作に相当する手を前に押し出す動きの検知は困難でした。今回、手のひらモデルをもとに正確かつ高速に手の領域を検出する技術と、手の奥行き方向の動き検知技術を開発することで、直感的な動作である「押す」ジェスチャーによるクリック操作を実現しました。

本技術により、例えば、PCから離れた場所でも、端末のメニュー選択を上下の手振り操作で行い、メニューの決定を「押す」操作で行ったり、地図などの画面の拡大・縮小を「押す」「引く」の操作で実現できるなど、ハンドジェスチャーでより複雑な操作が可能になります。

本技術の詳細は、5月20日（月曜日）から京都・立命館大学で開催される国際会議「International Conference on Machine Vision Applications（MVA） 2013」にて発表します。

開発の背景

近年、人の自然な動作で端末を操作するハンドジェスチャー認識技術が注目を集めています。PCやタブレット端末から人が離れている場合や、手が濡れていたり汚れていたりする場合、あるいは衛生面から不特定多数の人が触る端末に直接触れたくない場合には、カメラで検知した手の動きにより端末を操作する方式が一般的に用いられています。しかし、ハンドジェスチャーをマウス操作の代替として考えたとき、カーソルの移動に相当する上下・左右方向の手の動きは検知できましたが、クリック操作に相当する奥行き方向の動きの検知は困難でした。

課題

一台のカメラで手の奥行き方向を検知するには、手のひらの領域の変化を利用します。しかし、ユーザーが半袖を着ていたり、背景が肌色に近い色の場合は手のひらと背景の識別が難しく、手のひらの領域だけを背景から正確に抽出することができませんでした。一方で、距離を測る距離センサーを用いたり、複数のカメラを用いることで奥行きを検知することはできましたが、装置のコストが高くなるという課題がありました。

開発した技術

今回、一台（単眼）のカメラで撮影した映像から手の領域を正確に抽出し、時々刻々と変化する手の大きさの変化を安定的に捉える技術を開発しました。開発した技術の特徴は以下の通りです。

手のひらモデルに基づく手の領域検出技術
撮影した画像からまず手の検出を行います。画像をあるブロックサイズごとに切り出し、その中にあらかじめ登録してある手の特徴データ（手のひらモデル）が存在するかを算出します。この操作をブロックの位置とサイズを変えながら画像全体に対して実施することで手の位置とサイズを特定します。次に手の領域を抽出します。手を検出した位置とサイズにおいて、最も手の形を表現するように部分的に色の閾値を変えながら手の領域を抽出します。これらの操作によって、手の領域の安定した検出を実現しました。

図1 従来方式と開発方式との比較
手の大きさの変化に基づく奥行き検知技術
時々刻々と変化する手の大きさ、角度、中心位置を手の動きの連続性を用いて高精度に推定し、「押す」「引く」の動作を約90パーセントの精度で検知します。

図2 本技術による奥行き方向を用いた操作

効果

今回開発した技術を用いることで、例えば、端末のメニュー選択を上下の手振り操作で行い、メニューの決定を「押す」操作で行ったり、あるいは、映画・音楽・スポーツなどのコンテンツの選択を左右の手振り操作で行い、コンテンツの決定を「押す」操作で行う、といった使い方が可能になります。さらに、地図などの画面の拡大・縮小を「押す」「引く」の操作で実現できるなど、ハンドジェスチャーでより複雑な操作が可能になります。また、一台（単眼）のカメラで検知できるため、装置を安価に実現できます。

図3 利用シーン例