株式会社富士通研究所(社長：藤崎道雄、本社：川崎市)は、デジタル映像から、映像が大きく切り替わる部分(カット画像 *1)を自動的に抽出し、仮想三次元空間に分類・配置したそれらのカット画像を眺めながら見たいシーンを探し出すことができる、シーン検索技術を開発いたしました。

今回開発した技術を用いると、見たいシーンのイメージ(たとえば、サッカーを見たいなら芝生の緑をイメージ)をもとに見たいシーンを探し出せるので、直感的にシーンを検索することができます。たとえば、家庭で撮影したビデオなどでも、見たいシーンを効率的に探し出すことが可能になります。

近年、デジタルビデオカメラの普及やブロードバンド・インターネットによる映像データ配信サービスの開始など、デジタル映像が広く利用されるようになってきました。

これらデジタル映像から見たいシーンを検索する場合、映像を先頭から早送り再生して探す方法や、映像を意味的なまとまりであるチャプターに手動で分け、そのチャプターごとに再生して検索するといった方法が一般的でした。しかしこれらの方法では、見たいシーンにたどりつくまでに時間がかかるという問題がありました。

そこで、見たいシーンを、時間をかけずに効率良く探し出せる技術の開発が望まれていました。

今回開発したのは、デジタル映像から自動的に抽出したカット画像を仮想三次元空間に分類・配置する技術と、その仮想三次元空間を動き回りながら画像を眺められるインタフェースを実現する技術で、映像から見たいシーンを素早く探し出すことを可能とするものです。

その特長は、以下の通りです。

1. 複数の映像を同時再生しながら内容を把握(図1)
   

   図1 映像をらせん状に配置して同時再生している例

   まずは数多くの映像の中から見たいシーンを含んだ映像を選びます。本技術では、複数の映像をらせん状に配置し同時再生しながら、らせん上を流れるように移動させます。これにより数多くの映像を同時に画面に表示でき、映像の内容を把握しながら見たいシーンを含んだ映像を選択できます。

   
   
2. カット画像を自動抽出して時間順に一覧表示(図2)
   

   図2 カット画像を時間順に配置した例

   映像のカット画像を、連続する画像間の特徴を比較し、差が一定値よりも大きい部分をカットとして、自動的に抽出、蓄積します。映像をカット画像で表現することで、内容がより把握しやすくなります。

   図2は抽出したカット画像を仮想三次元空間内に時間順で手前から奥へとフィルム状に並べた例です。この空間内を奥へと移動しながらカット画像を順に眺めていくことで、映像の内容を素早く把握することができ、見たいシーンを探し出すことが可能です。

   このように、抽出したカット画像を様々な観点で仮想三次元空間に配置し、その空間内を自由に動き回ったり状況に応じて配置を変更したりして、インタラクティブに見たいシーンを検索します。探し出したカット画像を選択すると、選択したカット画像から映像を再生できます。

   
   
3. カット画像の画像特徴による配置(図3)
   

   図3 画像の色特徴を利用して配置した例

   カット画像から色や構図といった画像特徴を抽出し、似たような特徴を持つカット画像が近くに集まるように仮想三次元空間内に配置して表示することも可能です。図3は画像の色特徴で配置した例です。オレンジ色の夕陽の映っているシーンが集まっています。

   このように画像特徴を利用して配置することにより、見たいシーンのイメージを手がかりに素早く探し出すことが可能です。たとえば、好きなサッカーの選手が映っているシーンを見たい場合には、ピッチの芝生の緑色をイメージします。そして、色特徴でカット画像を配置し、緑っぽいカット画像が集まっている場所に近づき、その周辺を動き回って、めざすサッカー選手が映っているカット画像を探します。

   
   
4. カット画像のテキスト情報による配置(図4)
   

   図4 テキストを利用して配置した例

   本技術では、各カット画像にその内容を表すテキストを付与することができます。そしてそのテキストの内容が似ているものが近くに集まるように配置することも可能です。これにより、画像特徴では探し出せないようなシーンを、シーンの内容から検索することや、映像にどのような内容のシーンがあるかを把握することが可能となります。

   図4はテキストを利用して配置した例です。同時に表示されるラベルによって、どこにどのような内容のカット画像が配置されているかがわかります。たとえば、左中央に「神」と「エジプト」というラベルが表示されているので、この映像にはエジプトの神に関するシーンが含まれていることがわかり、ラベル周辺のカット画像を参照することによりそれらのシーンを見ることができます。

   
   

開発した技術を用いて、テレビ番組を録画した1時間の映像から目的のシーンを探し出すという実験を行った結果、30秒〜5分で探し出すことができました。これは3倍速の早送りで探した場合に比べ、2倍〜20倍の速さに相当し、シーンの検索を大変効率良く行えることが確認できました。

この技術によって、家庭で撮影したデジタルビデオや、テレビを録画したデジタル映像から、見たいシーンを簡単に探し出せるようになります。また、デジタル映像配信システムの検索インタフェースや映像制作システムの素材検索機能などにも幅広く活用できます。

今後は、本技術の実用化を進め、2003年を目処にマルチメディア検索サービスへ適用、製品化する予定です。

*1 カット画像

カットとは映像が大きく切り替わる切れ目の部分のことで、カット画像はカットのすぐ後の画像のことです。