1．は じ め に
近年の人文科学・歴史資料研究では，資料（データ） の収集とその特徴分析に基づく解釈や仮説検証という自 然科学研究の方法論が多く用いられている．また，新た な科学的・工学的手法を用いた分析データから，これま で観測し得なかった新たな知見を発見しようとする研究 も多く行われている．このようなデータに基づく人文系 研究の新たな手段として，ICT を駆使した歴史資料の ディジタルアーカイブ化とその知的利活用が大きく注目 されている [総務省 12]． ディジタルアーカイブとは，後世に残すべき貴重な歴 史資料をディジタルデータとして複製し，メタデータを 付与することで，計算機利用が可能な構造化された情報 として管理・運用・共有する手段である [岡本 15]．さ まざまな資料のディジタルアーカイブ化が世界的に進め られており [Europeana, Google]，その関連研究は歴史 資料研究の新たなツールとして近年大きな発展を遂げて いる．ディジタルアーカイブを用いた資料研究や高度な 展示技術は，研究者や鑑賞者のさまざまな視点に基づく データの解釈や，その知的構造を抽出し視覚化すること を可能にした．しかし，解釈の手掛かりとなるメタデー タの付与は，専門家による人手に頼らざるを得ない．ディ ジタルデータ化のコストが大きく下がり，高精細・高密 度のデータが容易に蓄積されるようになった一方で，メ タデータを付与するためのコストがディジタルアーカイ ブ制作の大きなボトルネックになっている． 一方，大量の画像などの大規模データを取り扱う技術 は，情報通信分野のみならずさまざまな分野における知 識発見のツールとしてコモディティ化が進んでいる．特 に，入力に含まれるさまざまなレベルの抽象的特徴を抽 出・分類することが可能といわれる一連の深層学習手法 は，さまざまな画像処理コンペティションにて圧倒的な 認識精度を誇っている．また，自然言語 [Mikilov 10] や 強化学習 [Volodymyr 15] においても大きな成果を上げ るなど，さまざまな方面への応用が期待されている．人 文科学や歴史研究においても，深い知識や経験に基づい て人が付与していた抽象的な情報を，深層学習をはじめ とする機械学習によって効果的に発見・分類することが できれば，資料の自動分類や意味抽出など，メタデータ 付与の支援や研究支援にも役立つはずである． このような背景のもと，著者らは人文系研究における ディジタルアーカイブの利活用をさらに進めるために， 人工知能・機械学習の手法を用いた新たな歴史資料デー タの知識処理について文理融合の検討を進めてきた [濱 上 13, 濱上 14]．特に，小袖屏風の高精細画像データベー スの構築とその中に含まれるさまざまな情報の抽出を， 深層学習によってつくられた一般物体認識の空間で行う ことで，その特徴を分析・分類することを試みてきた． 本稿ではこの取組みによって得られた知見の一部を紹介 する．2．小袖屏風画像のモチーフ分析
2･1 小袖屏風ディジタルアーカイブデータ 小袖とは，平安時代に貴族の下着として使われてい た「白小袖」がしだいに上着として着られるようになり， 現在の「着物」の意匠の基礎となった衣類である．桃山 時代から江戸時代にかけて小袖の様式は，その時代背景 と強く結び付きながら，さまざまな文様，配置，技法の 変遷を見てきた [丸山 08]． 小袖屏風とは，実際の小袖裂を押絵貼りにした鑑賞用 の屏風である．国立歴史民俗博物館蔵の「野村コレクショ ン」[歴博 90] では，小袖を二曲一隻に仕立てた屏風約 100隻が収蔵されており，辻が花，縫箔，寛文小袖，慶深層学習による小袖屏風画像の特徴分析
Feature Classification Analysis of “Kosode Byoubu” Images by the Deep
Learning
濱上 知樹
横浜国立大学大学院工学研究院Tomoki Hamagami Graduate Shoool of Enginerring, Yokohama National University. [email protected]
澤田 和人
国立歴史民俗博物館情報資料研究系Kazuto Sawada Museum Science Division, National Museum of Japanese History. [email protected]
Keywords:
deep learning, CNN, image feature, digital archives. 「人文科学と AI」長小袖，元禄小袖，友禅染などの小袖の諸相を網羅した 染織歴史研究対象として重要な価値を有している．図 1 に小袖屏風の例を示す．本研究では，小袖屏風のオリ ジナルのポジフィルムからディジタル画像（19 513× 15 512，実質解像度約 208.4 ppi）をスキャンし，さら に 5 階層のタイル画像に分解することで，マルチスケー ル表示可能な画像セグメント（総数約 40 万枚）を作成し， さらにメタデータを付与したうえでデータベースを作成 した [田中 16]． 2･2 モチーフ分析とその課題 モチーフとは，人の創作の主題を構成する基本単位で あり，その模様やデザインの作因を指す．あるモチーフ は他のモチーフと組み合わされ，上位概念のモチーフを つくる．小袖屏風画像中にも，「松」，「梅」，「楓」など の植物や，「八つ橋」，「帆船」のような構造物，「文字」，「垣」 のような幾何模様や「近江八景」や「五十三次」のよう な風景に至るまでさまざまなレベルの意味と構造をもつ 複雑なモチーフが混在し，独自のテーマやストーリーを 表現している． 個々のモチーフはしばしば特徴が誇張された意匠であ ることが多く，実世界とは異なる構図や構造を有してい る．その意匠的意味の解釈や分類は資料研究の重要課題 である．しかし，その手法は専門家による解釈にゆだね られており，メタデータの付与には専門的な知識が必要 となる．専門家による抽象的なモチーフの分類と構造の 抽出を機械学習によって支援できれば，資料分析ツール として有効なだけではなく，新たな資料解釈の発見につ ながる．また，小袖屏風は，もともと一つだった小袖を 複数の裂にし，異なる屏風で組み合わせ再利用している ことがある．モチーフ間や小袖屏風全体の類似性の評価 が自動化できれば，これまで未発見であった資料間の関 連や制作経緯も明らかとなる． 抽象的なモチーフ抽出のためには，Semantic Based Image Retrieval（SBIR）[Bradshaw 00] で用いられる セマンティックレベルの画像認識が有効である．また， 意匠や想像上のデザインなど，人の創作や表現を介した 対象を分析する研究事例として，印象語を用いた感性情 報による類似画像群の分類 [石井 03] や，階層的分類を 用いた視覚感性のモデル化に基づく類似画像検索手法 [多田 03] がある．しかし，人の想像や創作によってつ くられた抽象的なモチーフを特徴空間で表現しようとし た場合，以下の問題が生じる． （1）モチーフの領域が複雑である 例として「鼓」のモチーフに見られる階層構造を図 2に示す．このようにさまざまな抽象度と粒度のモ チーフが階層的に組み合わされた画像では，個々の モチーフを表す領域が複雑に重なり合っており，そ の境界を明確に定めることが困難である． （2）モチーフの特徴を定義することが困難である 同じモチーフでもさまざまなバリエーションがあ り，モチーフごとのクラスタリングやラベリングの 意味や方法を言語化することは困難である． （3）特徴空間の学習データが少ない 含まれるモチーフには大きな偏りがあり，専門家が 有している特徴空間を学習できるデータがそろうと は限らない．特に，歴史資料の点数は限られており， 分類対象だけから特徴空間をつくることが難しい場 合がある． 本研究では，（1）に対しては，画像特徴の階層的クラ スタリングによって，ミクロからマクロに至る注目領域 を抽出し，これに対してモチーフ分類を行う．（2）に対 しては，深層学習による人為的な意味付けを伴わない特 徴を利用する．さらに（3）に対しては，多くの人が外 界に対して共通の意味概念としてもち得るであろう一般 図 1 野村コレクション 小袖屏風 左：花卉模様小袖，右：藤草花模様小袖 図 2 モチーフの階層構造の例 図 3 一般物体認識空間を用いた抽象画像の特徴分類
物体認識空間を利用する．すなわち，図 3 に示すように， 未知の抽象的な対象に対して，「∼のように見える」とい う既知の概念の組合せによって，モチーフの特徴を表現 する．このようにして得られた小袖屏風画像中のモチー フの集合を用いた小袖屏風画像のクラスタ化を試みる．
3．一般物体認識空間でのモチーフの特徴分析
3･1 注視点に基づく階層的領域抽出 分析対象のモチーフ領域を，視覚的に注視しやすい局 所的特徴を要素とする階層的クラスタリングによって抽 出する．抽出された各領域に対し，後述の一般物体認識 器を用いて特徴を分析する．システム全般の構成を図 4 に示す． 画像中から注目領域を抽出するために，SIFT（Scale Invariant Feature）キーポイントの密度を利用する． SIFTでは，そのキーポイント検出に DoG（Deferential of Gaussian）処理を行い，各スケールの変化領域に含 まれるエッジ情報の極値点を検出する．すなわち，局所 領域の特徴として有効な座標集合を得る．この集合の密 度が高い領域を中心にモチーフの候補が存在すると仮定 する． 得られた SIFT キーポイント集合の座標情報を用いた 階層クラスタリングを Ward 法によって行う．Ward 法 では，各要素をそれぞれ一つのクラスタとするところか ら開始し，その後，クラスタ内の分散が最小になるよう に統合を繰り返す．最終的にすべての要素が一つのクラ スにまとまるまでこれを繰り返す． 小袖屏風画像 103 点に対して個別階層クラスタリン グを行った結果，平均 24.3 階層のクラスが抽出され た．各クラスに含まれる SIFT 座標データによってつく られる矩形領域のうち，抽出すべきモチーフが含まれる 領域を，画像全体の面積の 5％以上 20％以下とし，か つその中に含まれる SIFT 特徴点が，総点数の 1％以上 である場合を有効なモチーフ領域候補とした．図 5 に， Dendrogramによる階層構造を示す．また，図 6 に，元 画像と SIFT キーポイントに基づく領域抽出結果を示す． 103 点の画像から抽出されたセグメントは合計 3 976 枚，1 屏風画像当たり平均 38.6 枚となった．抽出され たセグメント画像は，前述のマルチスケール画像をつな ぎ合わせて領域画像を作成したのちに後述の深層学習器 に入力するために 227×277 にスケーリングする．なお， 今回はこれらの候補選択のパラメータを経験的に決定し ているが，分析対象のモチーフのサイズ分布や解像度に よって必要な領域の条件は変更する必要がある． 図 4 階層的クラスタリングと一般物体認識器を用いた モチーフの分類 図 5 SIFT キーポイントの階層構造 図 6 着目すべきモチーフ領域抽出結果3･2 深層学習による一般物体認識
深層学習のフレームワークの一つである，CALTECH の BVLCが開発した Caffe [Caffe] による CNN（Convolutional Neural Network） を 用 い る．Caffe は 多 く の ア プ リ ケーションでの実績があり，特に自然物，人工物など が含まれる 120 万枚（1 000 カテゴリー）を学習させた ImageNet [Krizhevsky 12]をリファレンスモデルとす るネットワークは，一般物体認識で高い認識性能が得ら れることが知られている． 実験に用いたネットワークの構造を図 7 と表 1 に示す． 5段の畳込み（conv）層とプーリング層（pool）を経て， 全結合層の第 6 層目のベクトル（4 096 次元）が得られる． このベクトルは DeCAF（Deep Convolutional Activation Feature）[Donahue 13] と呼ばれている．本研究では，（1） DeCAFを直接用いた特徴分析 [田村 15] と，DeCAF を Caltech101の一般物体データベース [CALTECH] の 101 カテゴリーを用いて，101 次元のものとの一致度を特徴 とする方法 [濱上 15] を行っているが，特に本稿では後 者の事例について述べる． 3･3 モチーフの特徴分析 抽出されたモチーフ領域に対し前述の一般物体認識を 行い，各カテゴリーとの一致度（0.0 ∼ 100％）を用い て 101 次元の特徴ベクトルにする．このとき，カテゴリー との一致度が近い対象に類似していると解釈できる． 図 8 ∼図 10 に，特定の対象物体との類似性が強く対 応したモチーフの例を示す．赤を基調とした「撫子」の モチーフは積まれた苺との類似性が表れている．同様に， 「垣」のモチーフは蜂の巣状模様に，「片輪車」のモチー フは金庫の扉と関連付けられている．このように，一般 物体との類似性を定量的に表現したベクトルが，直観的 な印象にも近いことがうかがえる． 図 11 ∼図 13 に，複数の物体対象との類似性が見られ た例を示す．「紅葉」のモチーフはその色のバランスか ら，イソギンチャクやプラスチックバッグにも対応して 表 1 Structure of network
layer map size function Input 227× 227 × 3 Conv 1 55× 55 × 96 ReL Pool 1 27× 27 × 96 Conv 2 27× 27 × 256 ReL Pool 2 13× 13 × 256 Conv 3 13× 13 × 384 ReL Conv 4 13× 13 × 384 ReL Conv 5 13× 13 × 256 ReL Pool 5 6× 6 × 256
Full Connected 6 1× 1 × 4 096（DeCAF） ReL Full Connected 7 1× 1 × 4 096 ReL Full Connected 8 1× 1 × 1 000 softmax
図 7 Caffe による CNN の実装
図 8 モチーフ分類例（菊松撫子文様）
図 9 モチーフ分類例（垣に萩文様）
いる．「文字」のモチーフの一部は，線虫や鎖に，「菊」 のモチーフの一部は，ベルベットのしわや楽器の繰返し パターンにも反応する．このように対応するわかりやす い物体対象がない場合であっても，複数の物体の特徴を 併せもつモチーフとして表現できる． 3･4 モチーフの特徴ベクトルを用いた類似性の評価 モチーフの特徴を一般物体との類似性で定量的に捉え ることで，モチーフ同士の類似性や，モチーフの集合か らなる小袖屏風画像全体の特徴を表現することができる． 図 14 に，101 次元のベクトルのユークリッド距離に 応じた類似性に基づき生成した類似度ネットワークを示 す．モチーフの類似性を可視化したことで，クラスタの 単位ごとにメタデータを付与することが可能になり，タ グ付け作業の支援ができる． また一つの小袖屏風画像に含まれる複数のモチーフの 特徴を BoF（Bag of Features）として表し，Tf-Idf によ る重み付けをした後に小袖屏風の単位での類似性を求め た．図 15 に小袖屏風単位でのネットワーククラスタの 例を示す．このネットワークでは，要素数 10 以上のク ラスタが五つ，要素数 2 ∼ 9 までのクラスタが四つ，単 独の画像が七つつくられた．同一クラスタ内の画像に対 して，専門家が人手で与えたタグ情報（88 種）の集合 の重なりは 65.4％となり，モチーフの重なりを反映した 分類ができていることが確かめられた．
4．お わ り に
本稿では，小袖屏風画像に含まれるモチーフ分析を目 的とした，抽象画像の一般物体認識空間への射影を行う 方法について述べた．深層学習による一般物体認識空間 への写像により，個々のモチーフや小袖屏風画像の類似 性の定量的な評価が可能となり，メタデータの付与や新 たな類似性の発見への応用が期待できる． 一方，いくつかのモチーフは発見することができな かったり，領域として抽出できても，布や地面のように 単純なテクスチャのクラスに該当してしまう場合があ る．これは，モチーフとして抽出すべき領域が勾配特徴 を用いる SIFT 特徴量では見つけられない場合や，大き な空白のあるモチーフ（単純な「輪」など）の場合である． このように，「特徴がない」ことがデザインとして意味 ある「空間」として機能している場合，今回のように注 目領域と一般物体との類似性では評価は難しくなる．今 後は，モチーフ同士の構造的関係を取り入れた特徴抽出 が必要である． 図 11 モチーフの一般物体認識空間における評価例（紅葉） 図 14 モチーフの一般物体認識空間上の距離ネットワーク表現 図 12 モチーフの一般物体認識空間における評価例（くずし文字） 図 13 モチーフの一般物体認識空間における評価例（菊）◇ 参 考 文 献 ◇
[Bradshaw 00] Bradshaw, B., et al.: Semantic based image retrieval: Aprobabilistic approach, Proc. 8th ACM Int. Conf. on
Multimedia, MULTIMEDIA’00, pp. 167-176（2000） [Caffe] https://github.com/BVLC/caffe
[CALTECH] http://www.vision.caltech.edu/Image Datasets/Caltech101/
[Donahue 13] Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E. and Darrell, T.: DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition, arXiv: 1310.1531（2013） [Europeana] http://www.europeana.eu/portal/en [Google] https://www.google.com/culturalinstitute [濱上 13] https://www.rekihaku.ac.jp/education_research/ research/list/joint/2013/digitalarchive.html [濱上 14] 濱上知樹，澤田和人：デジタルアーカイブからの知的構 造の抽出：インテリジェントシステムによる人文・歴史研究支援， 電学論（C），Vol. 134, No. 9, pp. 1282-1286（2014） [濱上 15] 濱上知樹，澤田和人：小袖屏風を対象とした知的構造の 抽出に関する研究，人文科学とコンピュータ研究会報告，2015-CH-107, No. 6, pp. 1-4（2015） [石井 03] 石井眞人：感性情報による類似画像群の分類，図学研究， Vol. 37, No. 4, pp. 9-14（2003）
[Krizhevsky 12] Krizhevsky, A., Sutskever, I. and Hinton, G. E.: ImageNet classification with deep convolutional neural networks, NIPS2012（2012）
[丸山 08] 丸山伸彦：江戸モードの誕生文様の流行とスター絵師， 角川選書（2008）
[Mikilov 10] Mikilov, T.: Recurrent neural network based language model, Proc. 11th Annual Conf. of the International
Speech Communication Association（2010）
[岡本 15] 岡本 真，柳与志夫：デジタルアーカイブとはなにか─理 論と実践，勉誠出版（2015） [歴博 90] 国立歴史民俗博物館 編：小袖屏風─野村コレクション， 朝日新聞出版（1990） [総務省 12] 総務省：知のデジタルアーカイブ─社会の知識イン フラとしての拡充にむけて─，http://www.soumu.go.jp/ main content/000167508.pdf（2012） [多田 03] 多田昌裕，加藤俊一：階層的分類を用いた視覚感性のモ デル化と類似画像検索への応用，情処学論，Vol. 44, No. SIG 8, pp. 37-45（2003） [田村 15] 田村誠悟，濱上知樹：深層学習を用いたモチーフ分類に もとづく小袖屏風画像の特徴分析，じんもんこん 2015 論文集 IPSJ-CH2015038, pp. 247-252（2015） [田中 16] 田中友章，永井 朗，濱崎裕太，大門利都子，萩生田明憲， 富井尚志：服飾文化財における文様に着目した情報提示を目的 とした小袖屏風 DB の構築，情処学研報 , Vol. 2016-DBS-163, No. 1, pp. 1-6（2016）
[Volodymyr 15] Volodymyr, M., et al.: Human-level control through deep reinforcement learning, Nature, Vol. 518, pp. 529-533（2015） 2017年 3 月 14 日 受理
