博 士 （ 情 報 科 学 ） 畠 山 泰 貴
学 位 論 文 題 名
Web 映像の特徴に注目した検索の高度化に関する研究
(A Study on Advanced Video Retrieval Based on Web Video Features)
学位論文内容の要旨
本 論文 は ，Web上 の 映 像 の 特徴 に 注 目 し た検 索 の 高 度化に 関す る基礎 的を研 究の成 果を まとめ た もの であ る．
近 年， ス マ ー ト フオ ン の 普 及に 伴いソ ーシ ャルメ ディア のビジ ネス 利用が 加速し ており ，様々 を ディ ジタ ルコン テンツ 配信サ ービ スが提 供され ている ，この よう 顔背景 のもと ，代表 的をソーシャル メ デ ィ アサ ー ビ ス の ー つで あ る 映像共 有サー ピス の利用 が一層 活発に をって いる ，映像 共有サ ーピ ス は ， ピジ ネ ス 利 用 の みを ら ず 個人ユ ーザが 作成 した映 像コン テンツ を容易 に共 有，公 開する こと が 可 能 であ る た め ， 膨 大を 量 の 映 像 がWeb上 に存 在 す るよ うにな った ．その ため， これら の大量 の Wめ 映 像 の 中 から ユ ー ザ が 真に 所 望 す る 映 像の 効 果 的 を 検索 を 可 能 と する 技 術 の 必 要性 が 益 々 高 まっ てい る，
一 般に ，Wめ 上 に存 在 す る 映 像の 検 索 は 予 め付 与 さ れた 内容を 表す キーワ ードに 基づぃ て行わ れ る ． こ のよ う を 背 景 の もと ， 映 像に対 して自 動的 にキー ワード を付与 する手 法が 種々提 案され てい る． これ らの手 法では ，映像 から 得られ る画像 特徴や 音響特 徴と 映像の 内容を 表すキ ーワ―ドとの対 応を 予め 学習し ，自動 的に映 像に キーワ ードを 付与す る．こ れら の手法 を用い れぱ， 大量の映像に自 動 的 に キー ワー ドを付 与して 検索を 行う ことが 可能と をる． しかし をが ら，こ れらの 手法で は，Wめ 映 像 と 日々 増 え 続 け る 多種 多 様 を内容 を表す キー ワード との関 係性を 学習す る必 要があ り，そ の検 索 精 度 の向 上に は限界 が存在 する． 一方 ，Wめ べー ジのテ キスト から重 要をキ ーワ ードを 抽出す る手 法 が 提 案さ れ，Wめべ ージ に内包 される 映像に 自動 的にキ ーワー ドを付 与する こと が可能 である ，こ の手 法を 用いれ ば，映 像に付 与さ れたキ ーワー ドに基 づく検 索が 可能と なる． しかし をがら。この手 法で は， 映像か ら得ら れる画 像及 び音響 特徴を 考慮し ていを い． 広くユ ーザが 望む検 索結果を提示す るた めに は，画 像や音 響誼ど の客 観的に 判断で きる特 徴に基 づく 検索結 果を提 示する 必要がある．ま た， 従来 の多く の検索 手法で は， ユーザ によル クエり として 与え られた キーワ ードと の関係性やクエ りと をる 画像や 映像と の類似 度に 基づぃ て順位 付けし た検索 結果 を提示 する． しかし をがら。これら の 順 位 付け に 基 づ く 検 索手 法 で は，得 られた 検索 結果に 含まれ る映像 間の関 係性 を明示 するこ とは 難 し く ，多 義 性 を 持 っ よう を 検 索クエ りの場 合に は検索 結果内 に複数 の内容 の映 像が混 在する とい う問 題点 が存在 する， このよ う顔 問題を 解決し ，ユー ザが真 に望 む映像 を検索 するた めには，検索結 果 と し て 提 示 す る 映 像 間 の 関 係 性 を 可 視 化 す る 手 法 が 必 要 と さ れ て い る ． そ こ で ， 本 論 文 で はWめ 上 の 映 像 から 得 ら れ る 特徴 と 映 像 を 含むWめ べ ー ジ間 の り ン ク 関 係を 用 い た 類 似 し た内 容 の 映 像 を 含むWめ コ ミ ュニ テ ィ の 抽 出に 基 づ く 映 像検 索 手 法 の 提案 を 行 趣 っ て い る ．提 案手 法では ，Wめ映像 に正準 相関分 析を 適用し て得ら れる画 像特徴 ，音 響特徴 ，及び テキ ス ト 特 徴か ら 映 像 の 類 似度 を 定 義 す る． さ ら に ， 得ら れた 類似度 と映 像を含 むWめべー ジ間の りン ク 関 係 を用 い て 類 似 し た内 容 のWめ 映像 を 含 むWめコ ミ ュ ニ テ ィの 抽 出 を 行 う．こ れによ り，提 案 手 法 で は従 来 の 検 索 手 法と は 異 をり。 映像の 内容 とその 視聴覚 的特徴 が類似 した 映像集 合の抽 出を
―655―
可 能 と す る ．さ ら に， バネ モ デル を用 い てWebコミ ュニ テ ィに おけ る 各映 像の 関 係性 の可 視 化を 実 現 す る ， て れに よ り， 従来 の 順位 付け に 基づ く映 像 検索 とは 異 をるWebコ ミュ ニ ティ に基 づ く映 像 検索 と その 結果 の 可視 化を 可 能と する ． 以上のよう に，提案手法では類 似した映像の集合 とその関係 性 を ユ ー ザ に 提 示 す る こ と に よ り 膨 大 を 量 のWeb上 の 映 像の 中か ら ユー ザが 真 に所 望す る 映像 を 効果的を検索 を実現する．
本 論 文 で は ， ま ず2章 で 映 像 検 索及 びWeb上 の検 索を 行 う従 来手 法 につ いて 説 明を 行い ， それ ら の手 法 の問 題点 に つい て示 す ．さ らに ， 本論 文で 解 決す べき 課 題について明確 にする．第3章では，
Web上 の 映 像 か ら 得 ら れ る 特 徴 と 映 像 を 含 むWebぺ ー ジ 闇 の り ン ク 関 係 に 基 づ ぃて 類似 し た内 容 の 映 像 を 含 むWebコ ミ ュ ニ テ ィ の 抽 出 を 行 い ， 得 ら れ たWebコ ミ ュ ニ テ ィ に 基 づく 映像 検 索手 法 を 示 す ． 提 案手 法 では ，映 像 から 得ら れ る画 像特 徴 と音 響特 徴 ，及 びWebぺー ジ のテ キス ト から 得 られ る 特徴 に対 し て正 準相 関 分析 を適 用 し，得られ る結果から映像の類 似度を定義する． 次に，映像 を 含 むWebべ ージ 間の り ンク 関係 に 得ら れた 類 似度 を重 み 付け して り ンク 解析 す るこ とに よ り， 類 似 し た 内 容 の 映 像 を 含 むWebコ ミ ュ ニ テ ィ の 抽 出 を 行 う ． さ ら に ， 得 ら れ たWebコ ミュ ニ ティ を ユ ー ザ が 選 択し ， 各特 徴に 基 づぃ て得 ら れたWebコ ミュ ニ ティ を統 合 する こと に より 。映 像 の特 徴 を 考 慮 し たWebコ ミュ ニ ティ の抽 出 を実 現す る ．こ れに よ り， 提案 手 法で は従 来 の順 位付 け に基 づ く 映 像 検 索 と は 異 を り ， 類 似 し た 映像 の集 合 に基 づく 検 索が 可能 と 顔る ．第4章で は 第3章 で提 案 され た 手法 を改 良 し， 高精 度 をWebコミ ュニ テ ィ抽 出を 実 現す る．この 手法では，映像か ら得られる 画像 ， 音響 及び テ キス ト特 徴 を1つ のWebぺー ジと み をし て各 特 徴間 の類 似 度を 算出 する ，さらに，
得ら れ た類 似度 に より 重み 付 けさ れた り ンク 関係 に りン ク解 析 を施 すこ と によ り映 像の 特徴を考慮 し たWebコ ミ ュ ニ テ ィ の 抽 出 を 行 う． て れに より ， 提案 手法 は 高精 度をWebコ ミ ュニ ティ 抽 出が 可 能 と を る ， 第5章 で は ， 実 際 のWeb上に 存在 す る膨 大誼 量 の映 像を 対 象と する た めの 高速 を 映像 間 の類似度算出 法を提案する．こ の手法で結，Locality Sensitive Hashingを用いること により映像間の 類 似 度 を 高 速に 算 出可 能と す る． これ に より ，よ り 膨大 を量 の 映像 から の 高速 をWebコミ ュ ニテ ィ 抽出 が 実現 され る ．第6章で は，Webコ ミ ュニ ティ 抽 出に 基づ く 映像 検索 を より 効果 的に 行うための 検索 結 果の 可視 化 手法 を提 案 する ．提 案 手法では， バネモデルに対して 映像間の類以度と りンク関係 に よ り 得 ら れたWebコ ミ ュニ ティ へ の各 映像 の 帰属 度を 導 入す る． ま た、 映像 間 の類 以度 を りン ク 関 係 の 存 在 す るWeb映 像 間 の バ ネ の強 さ とす るこ と によ り，Webコ ミ ュニ ティ に 含ま れる 映 像間 の 関係 性 の可 視化 を 実現 する ． 提案 手法 に より類似し た映像の集合とその 関係性をユーザに 提示し，膨 大 を 量 のWeb上 に 存 在 す る 映 像 の 中 か ら ユ ー ザ が 真 に 所 望す る映 像 を効 果的 に 検索 する こ とが 可 能とをる．
以 上 を 要 約 す る と ， 本 論 文 はWeb上 の 映 像 か ら 得 ら れ る 特 徴 と 映 像 を 含 むWebぺ ージ 間 のり ン ク 関 係 に 基 づ ぃ て 類 似 し た 内 容 の 映 像 を 含 むWebコ ミ ュ ニテ ィに 基 づく 映像 検 索手 法を 提 案し て い る ． ま た ， 本 手 法 を 実 際 のWeb上 の 映 像 に 適 用 し た 実 験を 行う こ とに より そ の有 効性 を 示し て いる．
―656−
学位論文審査の要旨 主査 教授 長谷山美紀 副 査 教 授 山本 強 副 査 教 授 荒木 健 治
学 位 論 文 題 名
Web 映像の特徴に注目した検索の高度化に関する研究
(A Study on Advanced Video Retrieval Based on Web Video Features)
本 論 文 は，Web上の 映 像 の 特 徴に 注 目 し た 検 索の 高 度 化 に 関す る 基 礎 的 を研 究 の 成 果 をま とめ た も の で あ る ．
近 年 ， スマ ー ト フ オ ンの 普 及 に 伴 いソ ー シ ャ ル メデ ィ ア の ビ ジ ネス 利用が 加速 してお り．様 々を デ ィ ジ タ ル コン テ ン ツ 配信 サービ スが 提供さ れてい る．こ のよ うな背 景のも と，代 表的を ソー シャル メ デ ィ ア サ ービ ス の ー っ であ る 映 像 共 有 サー ピ ス の 利 用が 一 層 活 発 にをっ ている ．映像 共有 サーピ ス は ， ピ ジ ネス 利 用 の み をら ず 個 人 ユ ー ザが 作 成 し た 映像 コ ン テ ン ツを容 易に共 有，公 開す ること が 可 能 で あ るた め ， 膨 大 を量 の 映 像 がWeb上 に 存 在す る よ う に 誼っ た ． そ の た め． こ れ ら の大 量の Web映 像 の 中 か ら ユ ー ザ が 真 に 所 望 す る 映像 の 効 果 的 を 検索 を 可 能 と する 技 術 の 必 要性 が 益 々 高 ま っ て い る ．
一 般 に ，Web上 に存 在 す る 映 像の 検 索 は 予 め 付与 さ れ た 内 容を 表 す キ ー ワー ド に 基 づ ぃて 行わ れ る ． こ の よ うな 背 景 の も と， 映 像 に 対 し て自 動 的 に キ ーワ ー ド を 付 与する 手法が 種々提 案さ れてい る ． こ れ ら の手 法 で は ，映 像から 得ら れる画 像特徴 や音響 特徴 と映像 の内容 を表す キーワ ード との対 応 を 予 め 学 習し ， 自 動 的に 映像に キー ワード を付与 する． これ らの手 法を用 いれば ，大量 の映 像に自 動 的 に キ ー ワー ド を 付 与 して 検 索 を 行 う こと が 可能 と教る ．しか し誼が ら，こ れら の手法 では，Web 映 像 と 日 々 増え 続 け る 多 種多 様 を 内 容 を 表す キ ー ワ ー ドと の 関 係 性 を学習 する必 要があ り， その検 索 精 度 の 向 上に は 限 界 が 存在 す る ． ー 方 ，Webべージ のテ キスト から重 要謡キ ーワ ードを 抽出す る手 法 が 提 案 さ れ，Webべ ージ に 内 包 さ れる 映 像 に 自動的 にキ ーワー ドを付 与する こと が可能 である ．こ の 手 法 を 用 いれ ば ， 映 像に 付与さ れた キーワ ードに 基づく 検索 が可能 とをる ，しか しをが ら， この手 法 で は ， 映 像か ら 得 ら れ る画 像 及 び 音 響 特徴 を 考 慮 し てい を い ． 広 くユ― ザが望 む検索 結果 を提示 す る た め に は， 画 像 や 音響 をどの 客観 的に判 断でき る特徴 に基 づく検 索結果 を提示 する必 要が ある．
ま た ， 従 来 の多 く の 検 索手 法では ，ユ ーザに よルク エりと して 与えら れたキ ーワー ドとの 関係 性やク エ り と 教 る 画像 や 映 像 との 類似度 に基 づぃて 順位付 けした 検索 結果を 提示す る．し かしを がら ，これ ら の 順 位 付 けに 基 づ く 検 索手 法 で は ， 得 られ た 検 索 結 果に 含 ま れ る 映像間 の関係 性を明 示す ること は 難 し く ， 多義 性 を 持 っ よう を 検 索 ク エ りの 場 合 に は 検索 結 果 内 に 複数の 内容の 映像が 混在 すると い う 問 題 点 が存 在 す る ．こ のよう 誼問 題を解 決し， ユーザ が真 に望む 映像を 検索す るため には ，検索 結 果 と し て 提 示 す る 映 像 間 の 関 係 性 を 可 視 化 す る 手 法 が 必 要 と さ れ て い る ． そ こ で ， 本 論 文 で はWeb上 の 映 像 か ら 得 ら れ る 特 徴 と 映 像 を 含むWebぺ ージ 闇 の り ン ク関 係 を 用 い た 類 似 し た 内 容 の 映 像 を 含 むWebコ ミュ ニ テ ィ の 抽 出に 基 づ く 映 像検 索 手 法 の 提案 を 行 な っ
−657−
て い る． 提 案 手法で は，Web映像 に正 準相関 分析を 適用し て得 られる 画像特 徴，音 響特徴 ，及 びテキ ス ト 特 徴 か ら 映 像の 類 似 度 を 定義 す る ． さ ら に， 得 ら れ た 類似 度 と 映 像 を含 むWebベー ジ 間 の り ンク 関 係 を 用 い て 類 似 し た 内 容 のWeb映 像を 含 むWebコ ミ ュ ニ ティ の 抽 出 を 行 う， こ れ に よ り， 提 案 手 法 で は従 来 の 検 索 手法 と は 異 を り， 映 像 の 内 容と そ の 視 聴 覚 的特 徴 が 類 似 した 映像 集合の 抽出 を可 能 と す る ， さ らに ． バ ネ モ デル を 用 い てWebコ ミ ュ ニテ ィ に お け る各 映 像 の 関 係 性の 可 視 化 を 実現 す る ． こ れ に より ． 従 来 の 順位 付 け に 基 づ く映 像 検 索 と は異 を るWebコ ミ ュ ニ テ ィに 基 づ く 映 像検 索 と その 結 果 の 可 視化 を 可 能 と する ．以 上のよ うに， 提案手 法では 類似 した映 像の集 合とそ の関 係性 を ユ ー ザ に 提 示 す る こ と に よ り 膨 大 を 量 のWeb上 の 映 像 の 中 か らユ ー ザ が 真 に 所望 す る 映 像 を効 果的 を検索 を実現 する．
本 論 文 で は ， ま ず2章 で 映 像 検 索 及 びWeb上 の 検 索 を 行 う 従 来 手 法 に つ い て 説 明 を 行い ， そ れ ら の 手 法 の 問 題点 に つ い て 示す ． さ ら に ， 本論 文 で 解 決 すべ き 課 題 に つい て 明 確 に する ． 第3章 で は ，Web上 の 映 像 か ら 得 ら れ る 特 徴 と映 像 を 含 むWebぺ ー ジ間 の り ン ク 関 係に 基 づ ぃ て 類似 し た 内 容 の 映 像 を 含 むWebコ ミ ュ ニ テ ィ の 抽 出 を 行 い ， 得 ら れ たWebコ ミ ュ ニ テ ィ に 基 づ く 映像 検 索 手 法 を 示 す ． 提 案手 法 で は ， 映像 か ら 得 ら れ る画 像 特 徴 と 音響 特 徴 ， 及 びWebぺ ー ジの テ キ ス ト から 得 ら れる 特 徴 に 対 して 正 準 相 関 分析 を適 用し， 得られ る結果 から映 像の 類似度 を定義 する． 次に ，映 像 を 含 むWebべ ー ジ 間 の りン ク 関 係 に 得ら れ た 類 似 度を 重 み 付 け して り ン ク 解 析 する こ と に よ り。
類 似 し た 内 容 の 映 像 を 含 むWebコ ミ ュニ テ ィ の 抽 出を 行 う ． さ らに ， 得 ら れ たWebコ ミ ュニ テ ィ を ユ ー ザ が 選 択 し， 各 特 徴 に 基づ ぃ て 得 ら れ たWebコ ミュ ニ テ ィ を 統合 す る こ と に より ， 映 像 の 特徴 を 考 慮 し たWebコ ミ ュ ニ ティ の 抽 出 を 実現 す る ． こ れに よ り ， 提 案手 法 で は 従 来 の順 位 付 け に 基づ く 映 像 検 索 と は 異 を り ， 類 似 し た 映 像 の集 合 に 基 づ く 検索 が 可 能 と をる ． 第4章 では 第3章 で 提案 さ れ た手 法 を 改 良 し， 高 精 度 教Webコ ミ ュ ニテ ィ 抽 出 を 実現 する． この手 法では ，映像 から 得られ る 画 像 ，音 響 及 び テ キス ト 特 徴 を1つ のWebぺ ー ジ と み を して 各 特 徴 間 の類 似 度 を 算出す る．さ らに。
得 ら れた 類 似 度 に より 重 み 付 け され た り ン ク 関係 に り ン ク 解 析を 施 す こ と によ り映 像の特 徴を 考慮 し たWebコ ミ ュ ニ テ ィ の 抽 出 を 行 う ．こ れ に よ り ，提 案 手 法 は 高精 度 をWebコ ミ ュ ニ テ ィ抽 出 が 可 能 と を る ． 第5章 で は ， 実 際 のWeb上 に 存 在 す る 膨大 を 量 の 映 像を 対 象 と す るた め の 高 速 を映 像 間 の類 似度算 出法を 提案す る． この手 法で，Locality Sensitive Hashingを 用いる ことに より映像間の類 似 度 を 高 速 に 算出 可 能 と す る． こ れ に よ り ，よ り 膨 大 を 量の 映 像 か ら の高 速 をWebコ ミ ュ ニ テ ィ抽 出 が 実現 さ れ る ． 第6章 で は ，Webコ ミ ュニ テ ィ 抽 出 に 基づ く 映 像 検 索を よ り 効 果的に 行うた めの検 索 結 果の 可 視 化 手 法を 提 案 す る ．提 案手 法では ，バネ モデル に対し て映 像間の 類以度 とりン ク関 係に よ り 得 ら れ たWebコ ミ ュ ニテ ィ へ の 各 映像 の 帰 属 度 を導 入 す る ． また ， 映 像 間 の 類以 度 を り ン ク関 係 の 存 在 す るWeb映 像 間 の バ ネ の 強 さと す る こ と によ り ，Webコ ミ ュ ニ テ ィに 含 ま れ る 映像 間 の 関 係 性 の可 視 化 を 実 現す る ． 提 案 手法 によ り類似 した映 像の集 合とそ の関 係性を ユーザ に提示 し， 膨大 を 量 のWeb上 に 存 在 す る 映 像 の 中 か ら ユ ー ザ が 真 に 所 望 す る 映 像を 効 果 的 に 検 索す る こ と が 可能 と誼 る．
こ れ を 要 す る に ， 著 者 は ，Web上 の 映 像 か ら得 ら れ る 特 徴 と映 像 を 含 むWebべ ー ジ間 の り ン ク 関 係 に 基 づ ぃ て 類似 し た 内 容 の映 像 を 含 むWebコ ミ ュ ニテ ィ に 基 づ く映 像 検 索 手 法 を提 案 し ， 本 手法 を 実 際 のWeb上 の 映 像 に 適 用 し た 実 験 を 行 う こ と に よ り そ の 有 効性 を 示 し て お り， 本 研 究 を 通じ て， 情報科 学の分 野に貢 献す ること 大をる ものが ある．
よ っ て 著 者 は ， 北 海 道 大 学 博 士 （ 情 報 科 学 ） の 学 位 を 授 与 さ れ る 資 格 あ る も の と 認 め る ．
―658―
