１．映像ハンドリングと高機能パーソナル放送システムへの応用 |
映像検索
日々生産・蓄積される映像データに伴い、ユーザの興味や目的に合致したターゲット部分映像を発見し、収集する手法が求められている。
映像検索における課題は、映像データの膨大さにより映像処理に多大な時間を要することである。解決策として、映像ストリームを時間軸上で分割し、その部分映像の特徴量に基づきインデクス（目印）を付与することが挙げられる。インデクスとしては、コンピュータに映像内容を理解させることの困難さにより、特徴量を量子化した記述である”記号”で表現する手法が考えられる。つまり、映像ストリームが”記号シーケンス”として表現され、似ている部分映像は似ている記号シーケンスで表されるので、ユーザの見たい映像（クエリ）を入力するとそれと類似した部分映像を得ることが可能となる。本研究では、このようにユーザの求める映像を効率よく高速に検索する手法の研究を行っている。
図．映像・音声特徴に基づく記号シーケンスによる映像検索
映像要約
近年，テレビ放送の多チャンネル化やブロードバンドの急速な普及により，大量の映 像が日常的に配信されるようになった． しかし，映像メディアは時間軸を持つため，現在の映像視聴環境では，見たい部分の 検索や映像全体の把握に膨大な時間を要する．
そこで本研究では，ユーザの嗜好や興味に基づいたコンテンツの提供，及び映像を視 聴するためのデバイスの種類に応じたコンテンツ表示を実現する，ユーザ及びデバイ ス適応型映像閲覧システムを提案する． ただし，提案システムはスポーツ映像を対象とし，映像の意味内容をテキスト形式で 記述したメタデータの利用により，意味内容に基づいた映像の閲覧を実現する．
提案システムの概要図
映像シーンのクラスタリング
映像メディアを効率よく扱うためには，映像ストリームを構造化することが不可欠であり，特に類似したシーンを精度良く集めること（クラスタリング）は構造化に大きく寄与する．
本研究では，まず映像ストリームを映像パケットと呼ばれる固定長の部分映像に分割し，各映像パケットから抽出した信号的特徴量を基にクラスタリングを実行する．抽出した信号的特徴と映像の持つ意味とのギャップを埋めるため，適合性フィードバックをクラスタリング結果に適用し，再クラスタリングを行い結果を提示する．
以上の操作を繰り返し適用することによってクラスタリング精度を向上させる研究である．
図1．概念図
図2．クラスタリング例
時空間特徴を用いた映像修復
映像中から不要オブジェクトを消去する際，映像を視覚的に自然な形で修復する必要がある．本研究は，自動的に映像中の対象オブジェクトを抽出し，その背景を補完する映像修復法を提案する．
提案手法では，ユーザがインタフェース上で指定した単一フレーム中のオブジェクトに対し，自動的に映像中から対象オブジェクトを抽出し，映像の複数フレーム間の時間的な相関関係である時間特徴を利用した背景補完の後，単一フレーム中の空間的な相関関係である空間特徴を利用した背景補完により，短時間で，視覚的に自然な映像修復を実現する．
＜例1＞
元の映像 DL 処理後の映像 DL ＜例2＞
元の映像 DL 処理後の映像 DL
マルチメディア協調型映像編集支援システム
近年，インターネット，テレビといった通信媒体の性能向上に伴い，大量の映像コンテンツの入手が可能となった．また，計算機上での映像編集ツールも多々開発されており，素材映像の編集による映像製作は身近なものとなりつつある．しかし実際に魅力的な編集映像を製作するには，いまだ高度な編集技術や知識，時間，費用を要する．そこで我々は，専門家により編集された実映像から編集技術を学習することにより，一般ユーザの映像編集を支援するシステムを提案している．
図1．システム
動画と音ストリームの同期
一般に編集映像は階層的な構造を持っており，特に映画予告編映像は，複数の音楽や効果音などを意味的な構造に対応付けて付与していると考えられる．
本研究では，映画予告編映像を対象に音ストリームの構造と映像の構造の関係に着目した音ストリームと動画のアクセントの同期関係について考察する．考察結果から得られた同期関係を用いれば，映像を入力することで，出力として動画と音ストリームが同期している映画予告編映像のような魅力的な編集映像を生成するシステム（図1）を構築できる．
図2．手法概要
ショット時系列パターンの学習
本研究では，提案システムの実現を目指し，実際の編集映像として映画予告映像を題材とした上で，編集技術の一つであるショットの時系列パターンにについて隠れマルコフモデル(HMM)を用いた学習を試みる．
図3．提案手法
素材ショットからの編集区間抽出法
映像は，一つのカメラで連続して撮影されたショットの並びで構成され，映像編集は，素材映像からのショットの選択・並び替えにより実現される．しかし，実際には各ショットは冗長な部分を含むため，一部分のみが編集映像に用いられることが一般的である．
本研究では，素材映像，編集映像としてそれぞれ映画，映画予告映像を事例とし，素材映像から編集時に選択された素材ショットに対し，編集映像に用いられた編集区間とそれ以外の非編集区間における映像特徴量の時系列パターンを学習した隠れマルコフモデル（HMM）に基づき，素材ショットからの編集区間抽出法を提案する．
図．手法概要
素材ショット DL
事例映像中の編集区間 DL 提案手法による編集区間 DL