• English

PRESS RELEASE （技術）

2012年10月2日
株式会社富士通研究所

小型カメラとLEDを用いたPCに内蔵可能な視線検出技術を開発

視線に応じて画面のスクロールやズームなどの操作を行う、非接触インターフェースが可能に

本技術の詳細は、10月2日（火曜日）から幕張メッセで開催されるCEATEC JAPAN 2012に出展します。

開発の背景

ユーザーの負担が少ない新しいインターフェースとして、ユーザーが見ている場所を把握し、その視線に応じてPCを操作する視線インターフェースが期待されてきました。たとえば、ユーザーが見ている場所に応じた画面の自動スクロールやズームなどの操作が挙げられますが、高価でサイズが大きい専用のカメラとLEDが必要なため、利用用途は限られ、一般のPCユーザーには普及していませんでした。

課題

ゴーグルなどを装着せず、非接触で高精度に視線方向の算出が可能な方法として、近赤外照明（LED）とカメラからなる光学系を用いる角膜反射法が知られています。この方法では、カメラで撮影した目の画像を解析することで、視線方向を算出します。視線方向によって位置が変わる瞳孔を検出するとともに、目に見えない近赤外光を照射し、それにより生じる眼球の表面（角膜）での反射を検出します。反射の位置は視線方向には影響を受けないので、瞳孔と角膜反射の二つの位置関係から視線方向を算出することができます。正確に角膜反射と瞳孔の中心を画像から検出する必要があり、従来は、高価でサイズが大きい高性能なカメラとLEDを用いる必要がありました。

一方、コンシューマ向けPCなどにカメラとLEDを搭載し実用化するには、PC筐体のデザインを損なわないようにそれらを内蔵することが必須であり、かつ低価格で実現することが求められます。しかし、これらの小型カメラやLEDでは、カメラ感度やLED強度が低いことから、目の中の瞳孔が不鮮明になり、また、角膜反射も微弱になるという問題がありました。そのため、撮影した画像から正確に瞳孔や角膜反射を検出して位置を算出することが困難でした。

開発した技術

今回、安価で小型のカメラとLEDを用い、PCに内蔵が可能な小型視線検出技術を開発しました。PC用の内蔵カメラ（インカメラ）として広く流通している汎用的な小型カメラと、近赤外LEDを用いることで、視線検出部全体を厚さ7mmで実現しています（図3）。また、カメラで撮影した画像から視線を検出する処理はソフトウェアで行うことで、ハードウェアのコストを最小限に抑えています。開発した技術の特徴は以下の通りです。

1. 瞳孔・反射の候補抽出

   小型カメラで撮影した画像を元にソフトウェアで画像処理を行い、瞳孔は目の中で他部分に比べて暗いこと、角膜反射は逆に他部分に比べて明るいことなどを特徴として、まず目領域の中から本特徴をもつ候補を抽出します。瞳孔は周囲の明るさによってサイズが変動するため、それも考慮してさまざまなサイズの候補を抽出し、検出漏れを防ぎます。

2. 正しい候補の絞り込み

   抽出した候補の中から、カメラ、LED、顔位置との関係や直前の瞳孔サイズなどの整合性のルールを適用し、最も整合性が高い候補を絞り込みます。たとえば、瞳孔サイズは動画処理において前後の画像間で急激に大きくサイズが変わることは通常ないため、直前の画像と最新の画像で瞳孔サイズの差が大き過ぎないということが一つのルールとなります。これらの処理により、正確に瞳孔と角膜反射を検知し、それらの位置関係から視線方向を算出します。

これらの処理により、悪条件の画像からでも正確に瞳孔と角膜反射の検出が可能になり、視線方向を算出することができます。

効果

今回開発した技術を用いることで、PC筺体のデザイン性を損なうことなく非接触で人の視線を検出するセンサーを内蔵することが可能になります。これにより、見ている場所に応じた画面の自動スクロールやズームなどの新しいインターフェースが実現できます。また、画面のどこを見ているかを検知できるため、ユーザーの興味・関心の把握といった応用も期待できます。

今後

富士通研究所は、本技術の検証を進め、2012年度中の実用化を目指します。また、新しいインターフェースなどの視線検出を活かした応用技術についても、さらなる研究開発を進めます。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

注釈

注1 株式会社富士通研究所：

代表取締役社長 富田達夫、本社 神奈川県川崎市。

---