PRESS RELEASE (技術)
2010年3月31日
株式会社富士通研究所
さまざまなジャンルの映像から見どころとなるシーンを抽出する
ダイジェスト映像生成技術を開発
短時間で効率的に映像の内容を把握可能に
株式会社富士通研究所（注1）（以下、富士通研究所）は、映像中の見どころとなるシーンだけを抽出した「ダイジェスト映像」を自動生成する技術を開発しました。これまでのダイジェスト映像自動生成は、主にスポーツ映像やニュース映像に限定されていましたが、今回開発した技術により、映画、ホームビデオ、監視映像などさまざまなジャンルの映像に適用できるようになります。
放送局や映像配信サービス業者は、本技術により、保有するさまざまなジャンルの映像からダイジェスト映像を生成して提供できるようになり、視聴者はさまざまなジャンルの映像を短時間で楽しんだり、じっくり観たい内容かどうかを素早く判断できます。
「ダイジェスト映像生成技術」ご紹介ビデオ
（再生時間 2分6秒）
《ご注意》 再生の途中に音声が入ります。
開発の背景
映像配信サービスや動画共有サービスなど、新しい映像活用サービスの普及により、これまでにない大量の映像が視聴可能になってきています。映画の予告編やニュース番組のスポーツ速報では、専用のツールや人手によってダイジェスト映像が制作され、視聴者が短時間で効率的に映像の内容を把握できるようになっています。今後ますます増えていく映像に対して、さまざまなジャンルに適したダイジェスト映像や、ドラマの中で好きな俳優が出ているシーンだけを抽出したダイジェスト映像など、視聴者の好みに合わせたダイジェスト映像が望まれるようになると予想されます。
課題
手動でダイジェスト映像を制作するには膨大な手間がかかるため、ダイジェスト映像を自動生成するソフトウェア（ダイジェスト映像生成エンジン）が必要とされています。スポーツ映像やニュース映像などに特化したダイジェスト映像生成エンジンは実用化されていますが、それ以外のジャンルや視聴者の好みには対応できません。
開発技術の概要
ダイジェスト映像は、オリジナルの映像から見どころとなるシーンだけを抽出し、つなげることで生成されます。どのようなシーンが見どころとなるシーンであるかは、ジャンルや視聴者の好みに応じて異なります。このため、どのような用途にも使える汎用的なダイジェスト映像生成エンジンを構築するのは困難です。そこで、映像中の画像や音響の特徴抽出を行う特徴抽出モジュールを組み合わせて、さまざまなジャンルや視聴者の好みに合わせた見どころとなるシーンを抽出し、ダイジェスト映像を生成する技術を開発しました。また、「スポーツ映像」や「ドラマ」など大まかなジャンルごとに用意した標準的なダイジェスト映像生成エンジンをカスタマイズすることで、ダイジェスト映像生成エンジンの開発を効率化する技術を開発しました。
開発した技術のポイントは以下の通りです。
- 特徴抽出モジュールの組み合わせによるダイジェスト映像生成
映像は、たとえばサッカーの得点シーンやハーフタイムなど、意味的にまとまりのあるシーンに分かれています。各シーンの特徴は、背景の色や人の動きの激しさといった画像特徴や、音声やBGMの有無といった音響特徴で表すことができます。富士通研究所では、これまで開発してきた映像の検索・処理技術を活かして、多種多様な画像や音響の特徴抽出モジュールを開発しました。
今回開発した特徴抽出モジュールを利用することで、サッカーのフィールドが写っているシーンや歓声が盛り上がっているシーンを抜き出すことができます。さらに、これらのモジュールを組み合わせることで、フィールドが写っており、かつ、盛り上がっているシーンだけを抜き出すことのできるダイジェスト映像生成エンジンを構築できます。
図1 ダイジェスト映像生成の流れ - ダイジェスト映像生成エンジンの構築支援ツール
ダイジェスト映像を簡単に生成するため、「スポーツ映像」や「ドラマ」など大まかなジャンルごとに標準的なダイジェスト映像生成エンジンを用意しました。たとえば、「スポーツ映像」向けのエンジンを利用することで、試合の盛り上がりシーンを抽出したダイジェスト映像が生成できます。しかし、盛り上がり方はスポーツの種目ごとに異なっています。本技術では、利用者が「スポーツ」向けのエンジンの処理内容をカスタマイズすることにより、対象としているスポーツに適したダイジェスト映像生成エンジンを構築できます。これにより、特定の選手やチームに特化したダイジェスト映像を生成するエンジンを構築することも可能です。
特徴抽出モジュールの交換や組み合わせの変更、処理内容の調整などは、画面上で結果を確認しながら簡単に編集できます。
図2 ダイジェスト映像生成エンジン構築
効果
今回開発した技術により、さまざまなジャンルや視聴者の好みに合わせたダイジェスト映像生成エンジンが実現できます。これにより、放送局や映像配信サービス業者などでは、保有するコンテンツの種類やサービスの内容に合わせたダイジェスト映像を効率的に生成できます。視聴者にとっては、大量の映像を短時間で楽しんだり、映像がじっくり観たい内容かどうかの判断を素早くできるようになります。
今後
本技術を映像配信・共有サービスに適用する予定です。また、使い勝手を向上させることで、個人がホームビデオから自分の好みのダイジェスト映像を簡単に生成できる機能の実現を目指します。
商標について
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
以上
注釈
本件に関するお問い合わせ
株式会社富士通研究所
ソフトウェア＆ソリューション研究所 言語・メディア研究部
電話： 044-754-2653（直通）
E-mail： multimedia@ml.labs.fujitsu.com
プレスリリースに記載された製品の価格、仕様、サービス内容、お問い合わせ先などは、発表日現在のものです。その後予告なしに変更されることがあります。あらかじめご了承ください。