氏 名 古屋 貴彦 博士の専攻分野の名称 博士（工学） 学 位 記 番 号 医工博甲第３５３号 学 位 授 与 年 月 日 平成２７年９月２５日 学 位 授 与 の 要 件 学位規則第４条第１項該当 専 攻 名 情報機能システム工学専攻 学 位 論 文 題 目 クロスモーダルな距離尺度学習を用いた スケッチによる3D モデルの検索 論 文 審 査 委 員 主査 教 授 大渕 竜太郎 教 授 岩沼 宏治 教 授 茅 暁陽 教 授 福本 文代 准教授 安藤 英俊 准教授 服部 元信
学位論文内容の要旨
3 次元 (3D)形状モデルは，医療や工業製品設計等，幅広い分野で用いられる．これら多 くの分野で大量に生成され続ける3D モデルは，それらの再利用や流通などの目的で社内や インターネット上のデータベースに蓄積されている． 多数の 3D モデルを効率良く管理するために，3D モデルの形状類似検索の技術が必要で ある．3D モデル検索システムは，(1) 高精度であること，(2) 高速であること，(3) ユーザ にとって手軽であること，の 3 つの要件を全て満たす必要がある．検索の精度と速度は， 3D モデルの比較アルゴリズムに依存する．一方，検索の手軽さは，検索要求として何を用 いるかに依存する． 本研究では，手描きの 2 次元スケッチで 3D モデルの形を指定して検索する手法を検討す る．手描きスケッチによる検索は，欲する3D 形状を直感的に指定できる利点がある．しか し，従来のスケッチによる3D モデル検索手法の精度と速度は，いずれも不十分である． 精度不足の原因の 1 つは，手描きスケッチと 3D モデルで，データの形態 (モード, mode) が異なることである．これら2 つのモードを跨ぐクロスモーダル (cross-modal)な比較は困 難である．スケッチと3D モデルを比較する従来法の多くは，3D モデルを多視点の線画画 像に変換し，各画像から抽出された画像特徴を，手描きスケッチの画像特徴と比較する．しかし，スケッチと3D モデルの線画画像は視覚的に異なる場合も多く，しばしば特徴比較 に失敗する．これは，スケッチが多様な描画様式で描かれ，形状の抽象化や意味の影響を 受けるためである． 検索の速度不足はスケッチと 3D モデルの比較の計算量が大きいことに起因する．従来法 の多くは，スケッチの特徴と，3D モデルの多視点の画像特徴群を全対で比較する．このた め従来法の多くは，多数 (例えば 10 万個以上)の 3D モデルを含む大規模なデータセットに おいて，実用的な時間内 (例えば 3 秒以内)で検索を行うことが困難である． 本研究の目的は，実用的な 3D モデル検索を実現することである．本研究では，手描きス ケッチによる3D モデル検索の手法を扱う．高精度な検索を実現するために，クロスモーダ ルな距離尺度学習を提案し，これを用いて，異モードの2D スケッチと 3D モデルを効果的 に比較する．クロスモーダルな距離尺度学習のねらいは，スケッチと3D モデルの間でモー ドを超えた関係性を学習し，これら異種データの比較に適した距離尺度を獲得することで ある． 本研究では，スケッチのモードと 3D モデルのモードの間にクロスモーダル多様体 (Cross-Modal Manifold, CMM)を生成し，解析することで，比較に適した距離尺度を学習 する．CMM は，スケッチ相互の特徴比較，3D モデル相互の特徴比較，スケッチと 3D モ デルの特徴比較を行うことによって生成される．CMM を用いる利点は，CMM から学習さ れる距離尺度に，スケッチと3D モデル間の関係性だけでなく，複数のスケッチ相互の関係 性と，複数の 3D モデル相互の関係性を反映できることである．これにより，スケッチと 3D モデル間の関係性だけを用いる従来法よりも，CMM を用いた本提案手法の方が，高い 検索精度を得られると期待できる． 本研究では，CMM を利用したクロスモーダル距離尺度の学習法として，2 つのアルゴリ ズムを提案する．
1 つ目のアルゴリズムは，Cross-Modal Manifold Ranking (CMMR)法である．CMMR 法 は，検索要求スケッチに対応するノードから類似度を CMM グラフ上に拡散させる．類似 度は，CMM グラフ上の辺を介して他のスケッチ群と 3D モデル群へ伝播し，その結果に基 づいて，3D モデル群を順位付ける．類似度は CMM グラフ上のあらゆる辺を介して拡散す るため，CMM グラフ上のショートカットや穴といった位相的ノイズに対して頑強である利 点がある． 2 つ目のアルゴリズムは，CMMR 法のスケーラビリティ改善を狙った，Cross-Modal Manifold Hashing (CMMH)法である．CMMH 法は，ノード間の類似性が保存されるよう な低次元ハミング空間にCMM グラフを潰し込むことで，スケッチと 3D モデルをコンパク
トなバイナリ特徴として表現する．バイナリ特徴間の距離は大変高速に計算可能であるた め，CMMH 法は大規模データベースを効率良く検索可能である． CMMR 法および CMMH 法の検索精度は，CMM グラフの生成に用いる特徴に依存する． そこでCMMH 法では，検索精度の改善のために，CMM グラフ生成に用いる特徴を CMMR 法のものから改善する．CMMR 法では，スケッチと 3D モデルから密に抽出された局所特 徴をBag-of-Features (BF)法を用いて統合する．CMMH 法では，BF 法の後に提案された より高精度な特徴統合手法であるSuper Vector (SV) coding 法および Locality-constrained Linear (LL) coding 法を利用して得た統合特徴を相互比較することで，より高精度な CMM グラフを生成する． 本論文では，さらなる検索精度向上をねらい，SV 法および LL 法よりも高精度な特徴統 合手法として，Diffusion-on-Manifold (DM)統合法を提案する．DM 統合法は，局所特徴の 統合に多様体学習の考えを導入し，従来の特徴統合法よりも情報損失の少ない統合特徴を 生成する． 評価実験の結果，2 つのクロスモーダル距離尺度学習手法 (CMMR 法と CMMH 法)はい ずれも，スケッチによる3D モデル検索に効果的であることが分かった．これらの提案手法 群は，既存の検索手法よりも有意に高い検索精度を示す．またCMMH 法は，10 万個の検 索対象3D モデルから成るデータベースを，数秒以内での検索可能である．加えて，DM 統 合法は，既存の統合手法 (SV 法や LL 法)より高精度な統合特徴を生成することが分かった．
論文審査結果の要旨
3 次元（3D）形状モデルは，工業製品の設計や製造，生物学等の科学研究，医療，創薬， 映像作品，など様々な分野で活用されている．その結果，3D 形状モデルをその内容，特に 形状の類似性で比較し，検索する要求が高まってきた．3D モデルを形状で検索する際の課 題の一つは，欲する3D 形状をいかに指定するか，である．言語による形状の記述はしばし ば大変困難である．また，3D モデルの例示をしようにも，求める形状に十分に形が類似す る3D モデルが手元にない場合が多い．そこで注目されるのが，手描きの 2 次元（2D）ス ケッチで求める3D 形状を指定して検索するアプローチである． だが，手描きの 2D スケッチによる 3D モデルの検索で高精度かつ高速な検索を実現する のは困難である．2D スケッチと 3D 形状モデルはそのデータのモード（形態）が異なり， そのままの比較は難しい．さらに，手描きスケッチには，意味の影響，抽象化，手描きな らではの描画の揺らぎ，等が含まれる．このため，手描き2D スケッチで検索する既存の手 法の検索精度は，実用には程遠い低い数値であった． 本研究の最大の貢献は，多数のスケッチ画相互の類似度，および，データベース中の 3D モデル相互の類似度，をそれぞれ機械学習することで，手描き2D スケッチで 3D モデルを 検索するアプローチの高精度化が実現されることを示したことにある．この機械学習のた めに，本研究では，データのモードをまたぐ距離尺度空間であるクロスモーダル多様体 （Cross-Modal Manifold, CMM）を提案した．CMM は，2D スケッチ相互の類似度，3D モデル相互の類似度，及び2D スケッチ-3D モデルレンダリング画像間の類似度，を基に生 成される，距離尺度学習のための多様体グラフである．この CMM 上における類似度は， グラフ上の尤度の拡散で求められる．検索要求であるスケッチ画像から，スケッチ→スケ ッチ，スケッチ→3D モデル，3D モデル→3D モデル，等の複数の経路で尤度が拡散し，そ の拡散で求めた尤度値の高い3D モデルほど 2D スケッチに近い．本論文では，CMM に加 え，CMM 生成にこれら 3 種類の類似度を高精度に求める目的で，2D スケッチ相互，3D モデル相互，及び2D スケッチ-3D モデルレンダリング画像相互，の比較を行うため，3 種 類の局所画像特徴を新たに提案した．また，それぞれの局所画像特徴を効果的に統合する 手法としてDiffusion-on-Manifold（DM）統合法を提案した． 新たな 3 つの画像特徴等を CMM と組み合わせた提案手法について，標準ベンチマーク データベースを用いてその検索精度と速度の評価を行った．その結果，提案手法は，既存 の手法よりも有意に高い検索精度を，既存の手法と同等以上の速度で，実現できることが 分かった．本論文の内容は，Multimedia Tools and Applications 誌や国際学会 ACM International Conference on Multimedia Retrieval などで発表された査読付き論文 4 編の内容をまとめ， さらに新しい内容を追加したものである．本学生は，解決すべき課題の発見とその定式化， 既存の手法のサーベイ，新たな解決手法の提案とその実装並びに評価と考察，等を，自律 的に高いレベルで遂行する能力を持つことを示した．また，提案手法を用いて3D モデル検 索の精度を競う国際コンテストに参加し，複数部門で上位の成績を上げるなど，提案手法 の客観的な優秀性も確認された．論文執筆，国際学会の口頭発表，並びに博士論文審査を 通じて博士にふさわしい論理的思考能力とコミュニケーション能力を備えていることを示 した． 以上により，審査委員の全員一致で，本論文が博士（工学）の学位論文としてふさわし い研究であると判断した．
