氏 名 澤田 友哉 博士の専攻分野の名称 博士（情報科学） 学 位 記 番 号 医工博甲第３１５号 学 位 授 与 年 月 日 平成２７年３月１８日 学 位 授 与 の 要 件 学位規則第４条第１項該当 専 攻 名 人間環境医工学専攻 学 位 論 文 題 目 視線情報と美的評価則に基づく画像系列要約に関する研究 論 文 審 査 委 員 主査 教 授 茅 暁 陽 教 授 岩 沼 宏 治 教 授 大渕 竜太郎 准教授 小 俣 昌 樹 准教授 木下 雄一朗 早稲田大学 教 授 森 島 繁 生
学位論文内容の要旨
近年，スマートフォンに代表されるディジタルデバイスの普及とソフトウェアの充実に よって，エンドユーザが多量のデータを使用する場面が増えている．例えば，インターネ ット上の映像コンテンツの視聴や日常的に撮影する写真を考えてみても，解像度はますま す上がり，利便性が日増しに高まってきている．一方で，高解像度のデータを利用する環 境が整いこれが広まったことは，社会におけるデータ量が爆発することを意味する．すな わち，今後も増加し続ける映像や写真などのマルチメディアコンテンツに対して，重要な 情報を要約する手段が求められている．特に，近年のインターネットショッピングにおけ る利用者の購買履歴に基づく購買予測・促進に代表されるように，利用者個々の興味・嗜 好を把握し，利用者の感性を反映させるような要約技術を創造できれば，個々のニーズに 即した多岐に渡るサービスが実現される． 本研究では，映像や画像などのコンテンツにおける要約のための手法を提案する．要約 技術は，データ中のどこが重要かを定める“情報の抽出”という意味合いだけでなく，そ れを適切に加工して利用者に提供する“要約結果の提示”という意味合いまで含めること ができる．これを踏まえて，重要情報の抽出から加工結果の提示までを一貫して行うシス テムを提案する． 特に，本研究において着目したのは人の興味を要約結果にいかにして反映させるかとい う点である．要約技術の実現のためには時間的・空間的・時空間的な重要箇所を推定する ことが必要であるが，本研究では“視線”を用いてこの解決を図る．まず，映像コンテンツの要約に関しては鑑賞者と映像内のシーンとのインタラクションに着目し，鑑賞者の視 線情報から特異なパターンを抽出しこれを鑑賞者の興味の変化ととらえて自動でコミック 調の編集を行う．また，静止画の要約に関しては写真撮影を対象として，構図を決める際 の撮影者と撮影シーンとのインタラクションに注目し，その過程から撮影者の意図を推定 することにより自動でベストショットを撮影する．こうした人の自然な振る舞いから意味 のある情報を抽出し，またそれを適切に整形して提示することで，情報の抽出から要約結 果の提示まで一貫して提供するシステムの開発を目指す． はじめに，映像コンテンツから鑑賞者の視線情報を利用して自動でコミック調画像に合 成する技術を提案する．フィルムコミックとは，映像コンテンツをコミック調画像に変換 したものである．従来，フィルムコミックの作成のためには，専門家が人手で以下の処理 を行っていた．重要フレームの選出は絵コンテに示されることが多いようにシーンの内容 をよく描画するように選ばなくてはならず，またフレーム画像の加工やセリフの配置は画 像内における重要箇所を切り取ったり隠したりしてしまわないようにして実現しなくては ならない．さらに，レイアウト設計はシーンの内容をよりわかりやすく整形する必要があ る．しかし，重要フレームや重要箇所の検出には，映像作品そのものの理解が不可欠であ り，画像処理技術のみからこれを実現することは難しい．そこで本研究では，人の興味を 時空間的に抽出することで，以下の処理の自動化を実現した．1)映像コンテンツから人の 興味を引くような，重要なフレーム画像の選出．2)見栄えの良さだけでなく，内容が把握 しやすいレイアウト設計．3)重要箇所を切り取らず，元の構図を維持したトリミング．4) 重要箇所を隠さず，読みやすく加工したセリフ配置．人の興味を捉えるための手段として， 本研究では視線情報を利用した．これによって，実際の人の興味を直接反映するようなコ ミックの自動生成を実現した． 次に，撮影時におけるユーザのカメラ移動から最適構図を探索し，オートフレーミング を実現する手法を提案する．オートフレーミングとは，被写体を発見し被写体位置が最適 な位置となる構図を求めて自動で撮影する技術のことを指す．一般的に写真の構図を体得 するには，長い経験とセンスが必要であり素人にとっては構図の良い写真を撮ることは難 しい．本研究ではシステム側が自動で良い構図で切り取ることで素人でも構図の良い写真 が撮れることを目指し，オートフレーミングの実現に際して以下の手法を提案する．まず， 予備実験の結果，撮影者は写真を撮る前に構図を決めかねてカメラを移動させることがわ かった．そこで，1)このときのカメラ移動から，撮影者が何を撮ろうとしているのか，そ の主観的な被写体の推定を行う．そして，2)被写体位置が構図として良いかを調べるため に三分割法というカメラ撮影におけるヒューリスティックなルールを用いて客観的に美観 評価を行う．撮影者が何を撮りたいのかを知るには撮影者の興味の推定に踏み込む必要が ある．撮影者の興味を捉えるための手段として，本研究ではユーザのカメラ移動を利用し た．これによって，撮影者の意図を反映した被写体が美しい構図でオートフレーミングさ れるようにした． 最後に，静止画や動画において人の目を引く箇所を画像処理的に求める顕著性マップの 要素として，特に写真工学で用いられるリーディングライン効果を付与した顕著性マップ の作成技術を提案する．リーディングライン効果とは，空間上に直線成分や線群が一点に 収束するように構成された場面では，人の目はリーディングラインの収束先に引かれやす いという経験則である．本研究では，検証実験により視線はリーディングラインの収束先
に誘導されることが示されたため，リーディングラインを含む画像において既存の顕著性 マップとリーディングラインの重みとを視線情報を用いて学習して求め，リーディングラ インを付与した顕著性マップの実現に成功した． 以上のように，本研究では映像コンテンツおよび写真における要約技術に関するプロセ スを確立し，人の興味を反映した要約技法を提案した．人の興味の推定は，実際のコンテ ンツを視聴中の鑑賞者の視線や，撮影中のユーザのカメラ移動に基づくものであり，こう した人の自然な振る舞いからユーザに負荷なく，意味のある情報を抽出でき，かつそれを 整形して提示することで，情報の抽出から要約結果の提示まで一貫して提供するシステム の開発に成功した．今後もますます増大するコンテンツに対して，人の興味や意図を反映 した要約技術は近い将来必ず必要となってくる．その時，本研究で提案した人の自然な振 る舞いから内容理解に踏み込む研究が大きく貢献するものであると確信する．
論文審査結果の要旨
本論文は，人間の内在する興味を取り入れながら映像における時間的・空間的・時空間 的に重要箇所を定め，要約結果として適切に加工して提示するシステムの開発を行ったも のである．3 つの異なる要約形式を取るアプリケーションは，一見すると異なる研究に思 われるが，共通して“視線”という概念を取り入れることで，人の興味や意図を反映する 要約技術をまとめている． 研究背景として述べられているように，近年の情報社会の発展は目覚ましく，世の中に 存在する動画や静止画は高画質の一途をたどっている．そこで，要約技術による重要箇所 の推定が社会的に重要な課題となりつつある．これまでの研究では，画像処理技術のみで 自動的な要約技術を成功させたものがあるが，本研究のように，人の生体情報を利用しつ つ要約技術を行う研究は少なく，人の興味をいかにして推定するかという点およびそれを いかにして要約技術に結び付けるかという2 点において，新規性が認められる． まず，フィルムコミックの自動生成に関する研究では，生体情報として鑑賞者の視線を 用いることで鑑賞者の時空間的な興味の抽出手法および要約結果としてコミック形式での 提示方法を提案している．鑑賞者の興味を視線から推定するために，事前実験として映像 コンテンツを鑑賞者に見せたときの振る舞いと視線の関係を調査している．その結果，実 際のコミックで重要視されるシーンにおける複数人の鑑賞者の視線移動のパターンを抽出 することに成功している．また，鑑賞者の視線が置かれている位置を空間的重要箇所とし て利用することで，適切なコミック調での整形を実現した．この研究における提案手法の 有効性は，評価実験によって十分に検証されている． 次に，オートレイアウトに関する研究では，カメラのファインダーを覗いているユーザ の視線をその瞬間の撮像画像で代用することにより，ユーザのカメラ移動中の動画からユ ーザの時空間的な興味の抽出手法および要約結果として最適構図での自動撮影技術を提案 している．ユーザの主観的な興味対象である被写体を推定するために，事前実験としてユ ーザが撮影するときのカメラ移動の振る舞いと被写体の関係を調査している．また，良い 構図で自動撮影するために，ユーザの主観性だけでなく客観的な美観を考慮して最適位置の探索を試みている．様々なシチュエーションにおいて実験された結果，いずれもユーザ の意図する被写体対象を高い精度で推定できていることが示されている． 最後に，リーディングラインを付与した顕著性マップの作成に関する研究では，これま でに認知科学的には知られていたリーディングライン効果を新たな空間バイアスとして顕 著性マップに組み込む手法を提案している．この研究では，統合の際に鑑賞者の実際の視 線情報を利用して顕著性マップに統合する手法が述べられている．交差検定の結果，いず れもリーディングラインの収束先に重みが置かれる結果となり，新たな顕著性マップとし て意義が認められる．また，ベンチマークテストの結果も既存手法に比べて改善が見られ 提案手法の優位性を十分に示している． 本論文による研究に関し，博士論文審査要綱に基づき最終試験を実施した．提出された 博士論文および公聴会における研究論文発表の内容に関連し，研究背景，概念規定，評価 実験の妥当性と信頼性，論文構成，情報学的価値などに関する質疑を行い，論文提出者の 見識を問うた．その結果，試問の内容において妥当な解答が得られたこと，並びに発表論 文の基準を満たすものであったことから，博士論文審査委員会は博士に相応しい学力と見 識を有するものとして認め，最終試験を合格とした．
