古文書と計測データに基づいた小諸城のCG復元

全文

(1)古文書と計測データに基づいた小諸城の CG 復元 CG Reproduction of Komoro Castle based on the Ancient Documents and Measurement Data 田中法博櫻井千寛. 長野大学企業情報学部. TANAKA Norihiro SAKURAI Chihiro Faculty of Business and Informatics, Nagano University. １．はじめに. を使ってその建造物内部に入り込んだシーンを鑑賞することも. 1. 1. 城の CG 復元の背景と目的. 可能となる１）、４）。. 地域に存在する文化財はその地域の文化を知る上で重要なも. しかしながら、このデジタルアーカイブ技術には、現存する. のとなっており、また、その地域のアイデンティティのルーツ. ものは保存できても、既にその形を失い、滅失してしまってい. を示すシンボリックな存在となっている。しかしながら、歴史. る文化財にはこの方法が適用できないという問題が残る４）。. 的な建造物の多くは災害、戦争、事故、犯罪などで失われ続け. 小諸城もその姿が失われた文化財の一つである。小諸城は長. ていることが大きな課題となっており、それらをデジタルアー. 野県小諸市にかつて存在した城で、今は石垣と一部の門を残. カイブしようという取り組みが行われている。特に日本の古. し、その建造物のほとんどが失われている。小諸城は1554年. 城は、江戸期では火事や災害で破損しても幕府の課した厳しい. 頃に築城され、現在ではいくつかの門や石垣のみが残されてい. 制約によって十分な修復ができなかった。また、さらには明治. る。また、大手門や三之門は重要文化財に指定されている。. に入ったときに政府の指示で多くが取り壊されている。このた. 文化的な価値に加え小諸城は膨大な量の古文書（絵図録）が. め日本の古城の多くは、当時の姿をとどめないまま現在に至っ. 残っている全国的にも珍しい城でもある。一般に他の城等の、. ている。. 失われた古い建造物を映像復元する場合には当時の詳細な情報. こういった中、現代になって古城は地域のシンボル的な存在. が残っていないため、多くのことが不明確なまま想像図となっ. となっており、その情報は地域の文化を後の地域社会に伝える. てしまうという問題があったが、小諸城の場合は多くの詳細な. 上で極めて重要なものなので途絶えることなく後世に残してい. 古文書があるために、史実に基づいた CG 復元が可能となる。. く必要性が指摘されている。つまり、古城の存在は、現在になっ. また、城郭の CG 化と同時に古文書そのもののデジタルアー. てその価値が見直されてきて、当時の姿を復元しようという動. カイブも行う。小諸城の CG 映像と同時に古文書そのものをデ. きが盛んになってきているのである。. ジタルアーカイブすることで、古文書と３次元モデルの両方を. 古城復元の方法の一つとして最新の CG 技術で復元しようと. 合わせて記録する。このように両者をセットで記録することで、. いう取り組みが行われるようになってきた。しかしながら、そ. 古文書のみでは城郭の姿が直感的に理解できないが、CG 化す. の当時の城郭の情報の多くが現代では失われてしまっているこ. ることで視覚的に直接小諸城の姿を確認することができるよう. とが問題として残っている。実際に、現在では古城の CG 復元. になるが、逆に古文書が同時に記録されることで、城郭の復元. の取り組みを見てみると、復元された CG が想像図であること. CG について史実に基づいた妥当性検証が常に可能となる。. １）. が多い。文化財の情報をデジタルデータにして、後世に半永久的に. 1. 2. 城の復元 CG をどのように活用するのか. 残すことをデジタルアーカイブという。このデジタルアーカ. 城の復元 CG をどのように活用していくのかという点も議論. イブの取り組みでは、これまでも文化財をデジタル化された. しなければならない。たとえば、復元した CG は、当時の城の. 写真や映像情報として記録保存がなされてきた。それらに加. 生活や合戦などでその城がどのような役割を果たしたのかを体. えて最新のデジタルアーカイブ技術では、コンピュータグラ. 験的に知るためのツールとして有効だと考えられる。たとえ. フィックス（CG）技術を利用して自由な時に自由な視点で対. ば、復元 CG の自由な視点で見ることができるという性質を活. 象の文化財を見られるようにすることが行われるようになって. かして、その城の中の生活を鑑賞者自身が、城の中にいる当事. きた. 。特に有形文化財には、この方法は有効となり、普段. 者として仮想体験できるようにすることが想定される。鑑賞者. 触ることのできない貴重な重要文化財でも CG 技術で自由に鑑. が城の中に入り込んで、城の中での生活や行動を自身のものと. 賞ができるようになってきている。. して体験するのである。そのとき、臨場感を持ってこの CG 空. この CG 技術は、特に建造物の文化財にとっても有効で、そ. 間を体験できることが重要である。これまでの CG 復元された. の建造物の外観を自由に鑑賞できるだけでなく、コンピュータ. 城は、平面的なディスプレイで鑑賞することが多かったが、実. ２）. 1）、3）. 30. デザイン学研究特集号 Special Issue of Japanese Society for the Science of Design Vol.24-3 No.95 2017.

(2) 際の建造物の臨場感を体験するためには没入空間内で立体的. が4,451×3,912㎜と巨大なものとなっており、かつ、紙の形. な鑑賞ができることが有効である。現在では、仮想現実（VR）. が本丸を囲む石垣の形状に合わせたものとなっている。この他. という技術が発展してきており、3D ヘッドマウントディスプ. にも単に１枚の紙に描かれた絵図面ではなく、複数の紙が重ね. レイなどのデバイスを使用して鑑賞者が CG 空間内に没入でき. て貼られていて、その紙をめくることで建造物の外観と内部を. るようになってきた。また、この没入空間に入り込んだ鑑賞者. 切り替えて表現するなど立体的な表現がなされているものもあ. をオンラインゲームのようにネットワークで接続することでお. る。図２は、その例である。紙を捲ることで石垣の様子と内部. 互いにコミュニケーションがとれるようになる。こういった技. の建造物の様子を切り替えてみることができる。. 術を組み合わせることで、当時の城周辺や城内で起こっている. さらに古文書の中には、城の見取り図のみではなく建築を担. 生活や文化的な活動、さらには合戦の様子の再現などを鑑賞者. 当する大工への技術指導書に相当するような文献（図３）も残. が当事者として疑似体験できるようになる。今回の小諸城 CG. されており、どのような工法で城が作られているのかといった. 復元の取り組みもまさに、このような鑑賞者が当事者として、. 情報も残されている。. 仮想空間内で当時の人々の活動を疑似体験できることを最終的な目標としたい。 1. 3. 本論文の目的. 本稿では、大きく３つの提案を行う。一つ目は小諸城の古文書をデジタルアーカイブし、その情報から小諸城を CG で復元することを目指す。まず古文書の情報から建造物の３次元データを構築する。このとき古文書と現存する部分から建造物の材質面の情報も獲得する。ここでは照明環境と建造物の３次元モデルに加えて材質面を再現できるように分光モデルを構築してレンダリングを行う手法を提案する。二つ目は3D ヘッドマウ. 図１小諸城本丸の小諸城郭絵図（小諸市教育委員会からの資料提供）. ントディスプレイを表示デバイスとして採用し、再現された. CG を没入空間で立体的に鑑賞できるシステムを提案する。三つめは、これらのシステムをオンライン化して複数の鑑賞者が一つの仮想空間内に同時に参加し、また、ユーザ間でコミュニケーションがとれるようにする技術について述べる。最後に、提案システムで小諸城を CG 復元し、本提案の有効性を示す。. ２．小諸城の３次元モデル 2. 1. 小諸城の古文書とそのデジタルアーカイブ. 小諸城は他の日本の古城と同様に既に建造物の大部分が消失しているため、実在する建造物を対象に、デジタルアーカイブすることはできない。小諸城を CG で再現するためには、当時の情報に基づいた城郭の復元が必要となる。このとき小諸城については、膨大な量の古文書（絵図録）が小諸市教育員会によって良い状態で保存されている。これらの現存する古文書には建造物の見取り図や立面図が残されており、建造物の寸法や構造などが詳細に記録されているだけでなく、使われている材質などの情報が細かく記されている。小諸城の古文書や絵図録は大小あわせて江戸期に書かれた110点ほどが現存しており、保存状態も良い。これらの絵図録は現在のように規格化された用紙ではなく、様々な大きさ、形状の紙に記されている。図１は小諸城本丸の間取りを示した全体図であるが大きさ. 図２立体的な作りとなっている絵図録：貼り付けている紙を捲ることで内部の情報などがわかるようになっている（小諸市教育委員会からの資料提供）. デザイン学研究特集号 Special Issue of Japanese Society for the Science of Design Vol.24-3 No.95 2017. 31.

(3) こういった古文書からの情報を読み解くために、本研究で. 2. 2. 古文書から城郭の３次元モデル. は、まず、小諸城の古文書をデジタルアーカイブした。ここで. 古文書の絵図録には、大きく分けて城の建造物の間取りを描. は、古文書そのものを高精細な画像情報として記録する。記録. いたもの、そして、詳細な建造物の寸法などが記載されたもの. する画像を高精細化することで、古文書に記載されている詳細. など複数の種類が存在する。間取りは建造物そのものや部屋の. な情報についてもコンピュータによって読み取り分析すること. 配置に用いる。そして、立面図からは詳細な寸法や形状を読み. が可能となる。計測の方法は、大型の面光源システムと高解像. 取って、建造物の個別の３次元モデルを構築する。. 度のデジタルカメラを用いて撮影し、さらに一枚の資料に対し. 図４（左）は絵図録から、３次元形状を取得している様子で. て部分ごとに分割して撮影し合成することで高解像度な画像情. あり、図４（右）は、その形状情報に色をつけて形状情報を確. 報とする。また、材質情報はできる限り古文書に記載されてい. 認している様子である。ただし、形状が元の図面とずれている. る情報を用いる。このように高精細な画像で記録することで肉. のは、形状情報は別途寸法情報から３次元座標を獲得している. 眼では視認が難しい古文書の詳細部分についても記録する。. ためである。本研究ではこのように複数の絵図録からの情報を統合し、一つの建造物を復元する。図５は、このようにして得られた３次元モデルから城の建造物の CG を生成している様子である。. 図３技術指導書に相当する工法を示した絵図録（小諸市教育委員会からの資料提供）. 図５小諸城の３次元モデルを構築している様子. 32. デザイン学研究特集号 Special Issue of Japanese Society for the Science of Design Vol.24-3 No.95 2017. 図４絵図録から３次元データを獲得している様子（左：ワイヤーフレーム、右：色づけ）.

(4) ３．小諸城の材質の CG 化手法 3. 1. 建造物の材質の計測. . 小諸城の建造物の質感表現は、古文書に記された材質情報を. （1）. 用いるが、古文書に記述されている情報のみでは不十分な場合がある。たとえば、壁面の色などは微妙な色合いや質感につい. このモデルでカメラで撮影した画像から得られる情報は. ては古文書の記載内容ではわからない。. RGB 値である。ここで、デジタルアーカイブすべき情報は. このとき現存する当時の建造物の材質を直接計測できれば、. であるが、RGB 値から. の推定は、低次元情報から. 当時の城郭の材質の質感再現に有効となる。たとえば、現存す. 高次元情報の推定問題となるため何らかの拘束条件がなければ. る小諸城の大手門は近年復元されたものであるが、復元された. 難しい。図７は、カメラ出力と分光反射率の関係を示したもの. 大手門を構成する材料の95% が再利用されたものであるため、. である。たとえば Vrhel らの知見７）から、分光反射率は統計的. 当時の材質の調査に用いることができる。実際に存在する部分. な偏りを持ち、少数の基底関数の線形結合で表現できることが. の建造物の色や質感の計測はカメラ記録し再現する。しかし撮. 知られている。その性質を利用することでこの問題を解決す. 影するための物体が既に存在していないので、再現した物体を. る。ここでは多数の色票などを用いて分光光度計とカメラ出力. 直接撮影することができない。そこでは当時の材質を調べ、そ. の組を計測し、そこから分光反射率の統計的性質を拘束条件と. れと同じ材質を適用する。. することで RGB 値から. が推定可能となる６）。. 3. 2. カメラ出力の分光モデルに基づいた材質の計測. 本研究では、対象物体の材質は色情報として計測するが、その色情報獲得にはデジタルカメラによる撮影を行う。このときデジタルカメラで計測した色は照明環境や使用するカメラによって色が変わってしまうという問題が生じる。しかし、このように環境によって対象の記録情報（色）が変わってしまうことは文化財のデジタルアーカイブとしては好ましくない５）。そこで環境に依存しない画像計測技術が必要となる。物体の色は光源から発せられた光が物体表面で反射して視覚系に到達. 図６カメラ出力の分光モデル. することで視認することができる。視覚系が人間の目であれば人が色情報として知覚し、視覚系がカメラであれば、たとえば. RGB 値のようなカメラ出力として得られる。本研究では、この反射系を分光情報でモデル化６）し、対象の材質の色は分光反射率として求める。分光反射率は物体固有の物理情報であるため、照明環境や計測したデバイスの特性に依存しないという利点があるためデジタルアーカイブするための色情報として利用することが有効となる５）。カメラ出力に対する分光的な反射系のモデルは図６のように記述される。このモデルは物体の反射光を可視波長域400nm －700nm について分光的に記述する。光の波長はと記述する。光源は電磁波のエネルギースペクトル分布である分光分布が物体表面の分光反射率. を持ち、それ. で反射し、その反射光は色信号. としてカメラに入射する。このときカメラの分光感度は赤（R）、緑（G）、青（B）の３つのバンドについてそれぞれ、. 、. 図７カメラ出力と分光反射率の関係. となる。図６のモデルを数学モデル. で記述するとカメラ出力 RGB は次式で示すことができる。. ４．レンダリングシステム 4. 1. 3D ヘッドマウントディスプレイと没入空間. 本研究のレンダリングシステムは、図８で示すような3D ヘッドマウントディスプレイ（Oculus rift）に実装する。ヘッドマウントは鑑賞者の頭部に装着され、外光が入らない状態で片目 640×800画素（両眼で1,280×800画素）で映像を表示する。左右の目にそれぞれ視差を与えた画像を表示することで立体視デザイン学研究特集号 Special Issue of Japanese Society for the Science of Design Vol.24-3 No.95 2017. 33.

(5) が可能となる。また、ヘッドトラッキング機能が付いているた. ディスプレイのキャリブレーションは未実装であり、色空間は. め、鑑賞者の頭部の向きに応じて表示する画面が動くため鑑賞. sRGB 空間を仮定して色を表示している。なお、照明環境の情. 者は仮想空間内に没入した感覚で CG を鑑賞することができる。. 報を分光的に獲得するためには、魚眼レンズとデジタルカメラを用いて分光的に全方位画像を計測し、それをイメージベース. 4. 2. 分光ベースのレンダリングアルゴリズム. ドライティング（IBL）の技術に基づいてレンダリングするこ. 記録した小諸城の３次元データを3DCG としてレンダリング. とも可能である９）。. をする。図８は本手法で提案するレンダリングシステムの概略図である。建造物の CG 生成は分光的な光反射モデルに基づい. 4. 3. オンラインシステムへの実装. て計算する。本稿では、物体の光反射を単純な Lambert モデル. 本研究では、小諸城の CG 復元システムをオンライン化して. で計算する。また3D ヘッドマウントディスプレイを用いるこ. 複数のユーザが参加できるようにするための最初の試作実装版. とにより画面で映像を見るだけではなく、小諸城の CG 空間内. を開発した。このシステムは、オンラインゲームなどで使用さ. に自分が入り込むような感覚を体験するシステムを開発した。. れている一般的なサーバ・クライアント方式を採用する。この. は物体表面の分光反射率. は光源の分光分布である。. 人間が受ける色刺激は、等色関数. を用いて. 三刺激値 CIE-XYZ を次式で求める。. ときクライアントコンピュータ間で建造物のような大規模の３次元モデルデータをネットワーク上で共有できるようにする。. CG のレンダリング時には各クライアント上にローカルコン. ８）. ピュータ上でデータを保持する。ネットワーク上のコンピュー . （2）. タは抽象化することで通信の手順を簡便化する。サーバ側は、クライアント情報のみを保持するが、これらのデータはユーザ名、クライアントの３次元座標などである。. さらに各ディスプレイの色特性に応じて表示するデバイス. サーバ側は管理データのみを処理するため負荷は低くなってい. の RGB 空間へ変換する。ただし、本研究では、図９のうち. る。データ転送は、プロトコルによる負荷が大きいもののパケット転送の信頼性の高い TCP プロトコルで通信を行っている。サーバ側はクライアントに対して１つの専用スレッドを割り当てて通信を行う。本システムではクライアント側で全ての情報を保持しているため、仮想空間の共有化は、サーバが各クライアントの情報を全てのクライアントに対して同期させることにより実現する。. ５．提案システムによる小諸城の CG 再現の実証実験これまで述べた手法を用いて小諸城の3DCG 再現を行った。また、構築した仮想空間内を自由に歩き回れるシステムを開発した。提案手法と計測データは Unity 3D Game Engine と呼ば図８ 3D ヘッドマウントディスプレイで CG を鑑賞している様子. れるゲームエンジンに実装した。ここでは CG 復元した建造物のうち小諸城の敷地内にある大手門、三之御門、中仕切り門、黒門橋、本丸の一部を実験結果として示す。まず、図10は現存する小諸城大手門の実物と再現 CG である。図10左は現在の大手門の実物であり、それとほぼ同じ条件で再現した CG が図10右となる。同様に図11は、現存する三之門とそれを CG 再現した結果である。次に、中仕切り門は現在では消失しており、現在の小諸城跡地には建造物は存在していない。図12左は、かつて中仕切り門があった場所の現在の様子である。図 12右はその場所に中仕切り門の CG を表示したものとなっている。図12左の赤枠で囲んだ場所はかつて中仕切り門があっ. 図９分光ベースのレンダリングシステムの概略図. 34. デザイン学研究特集号 Special Issue of Japanese Society for the Science of Design Vol.24-3 No.95 2017. た場所である。図13は、黒門橋から本丸を眺めるシーンを CG.

(6) で再現したものであり、図14は、逆に黒門橋から中仕切り門. ユーザが抽象的な形状で示されたアバターとして確認できる。. を眺めるシーンを CG で再現したものとなる。実際にはこれら. アバターとは、仮想空間内に自分の分身として登場するキャラ. の CG は左右の目に視差を与えて立体的な CG として観測する. クターであるが本稿の段階では単純な円錐形状を用いている。. ことができる。また、ヘッドトラッキングによって自分の見た. 円錐形状の存在する位置に、それに対応するユーザの視点があ. 方向のシーンが見えるようになっている。. る。また、円錐形状の向きがそのユーザの見ている方向であ. 最後に図15は、小諸城 CG 復元システムをオンラインシス. る。この図では６名のユーザが同時にログインしているので、. テムとして実装した例である。こちらはクライアントの実行画. ５つのアバターとしての円錐形状が見られる。これらの円錐形. 面のキャプチャ画像である。システムにログインすると他の. 状はそれぞれが一人のユーザに対応している。. 図10 大手門の実物（左）と再現 CG（右）との比較画像. 図11 三之門の実物と再現 CG との比較画像. 図12 中仕切り門の CG 再現画像（左は現在の場所）. デザイン学研究特集号 Special Issue of Japanese Society for the Science of Design Vol.24-3 No.95 2017. 35.

(7) 図13 黒門橋から本丸を眺める CG 再現シーン. 図14 黒門橋から中仕切り門を眺める CG 再現シーン. 図15 小諸城 CG 復元システムをオンライン化することで、複数のユーザが同時に仮想空間内に参加することが可能となる。画面中の円錐形状は各ユーザのアバター（仮想空間内で自分の分身となるキャラクター）。. ５．まとめ. 謝辞. 本稿では、小諸城の CG 復元について大きく３つの提案につ. 本研究を遂行するにあたって、小諸フィルムコミッション会. いて紹介した。一つ目は小諸城の古文書をデジタルアーカイブ. 長の牧野和人氏をはじめ小諸市の方々から全面的な協力をいた. し、その情報から小諸城を CG で復元する手法である。ここで. だきました。特に、懐古神社崇敬会（会長牧野直人氏）の皆. は古文書を高解像度なデジタル画像としてデジタルアーカイブ. 様には、小諸城址懐古園の測量用のドローン購入のための資. し、古文書の情報から建造物の３次元データを構築する。この. 金支援を含めて多大なるご支援をいただきました。また、小諸. とき古文書から建造物の材質面の情報も獲得する。さらに、現. 城の古文書は小諸市教育委員会が所蔵しておりますが、古文書. 存する部分を対象にデジタルカメラから分光反射率を推定し、. の計測データの提供にご協力いただきました。最後に、本研究. そこから城郭の色情報を推定する手法を提案した。照明環境と. は JSPS 科研費（16K00448）の助成を受けたものです。ここ. 建造物の３次元モデルに加えて材質面を再現できるように分光. に深謝いたします。. モデルを構築してレンダリングを行う手法を提案した。二つ目は3D ヘッドマウントディスプレイを表示デバイスとして採用し、再現された CG を没入空間で立体的に鑑賞できるシステムを提案した。三つめは、これらのシステムをオンライン化して複数の鑑賞者が一つの仮想空間内に同時に参加し、また、ユーザ間でコミュニケーションがとれるようにする技術について述べた。最後に、提案システムで小諸城を CG 復元し、本システムの実際の動作状況の紹介を行った。. 36. デザイン学研究特集号 Special Issue of Japanese Society for the Science of Design Vol.24-3 No.95 2017. 【参考文献】１）池内克史，倉爪亮，西野恒，佐川立昌，大石岳史，高瀬裕：The Great Buddha Project ─大規模文化遺産のデジタルコンテンツ化─，日本バーチャルリアリティ学会論文誌 , Vol.7, No.1, pp.103-113, 2002. ２）A. Ide, K. Manabe, H. Shimizu, M. Sugawa, K. Fujiwara,. T. Aoki and H. Yasuda: Technology for Digitalizing Pictorial Data of Japanese Swords.,Hawaii International C o n f e re n c e o n S y s t e m S c i e n c e s - 2 0 0 5 （ I E E E ）.

(8) pp.102-108,. 2005. ３）M. Levoy, K. Pulli, B. Curless, S. Rusinkiewicz, D. Koller, L. Pereira, M. Ginzton, S. Anderson, J. Davis, J. Ginsverg J. Shade and D. Fulk: The digital Michelangelo project: 3 D scanning of large statues, In Proc.SIGGRAPH 00 , pp.131-144, 2000. ４）C. Sakurai, N. Tanaka and K. Mochizuki: Real-Time Multispectral CG Rendering Method for Building with Scene Illumination, Proc. of AIC, pp.639-644, 2015.. ５）横山康明，長谷川隆行，津村徳道，羽石秀昭，三宅洋一：絵画の記録・再現を目的とした高精細カラーマネジメントシステムに関する研究（第一報）─画像入力システムの設計，日本写真学会誌，Vol. 61, No.6, pp.343-355, 1998. ６）N. Tanaka and K. Mochizuki: A digital archive method. based on multispectral imaging with goniometric multiband camera,The Bulletin of Japanese Society for the Science of Design. Vol. 61, No.3, pp. 35-44, 2014. ７）MJ. Vrhel MJ. R. Gershon and LS. Iwan: Measurement and analysis of object reflectance spectra, Color Research and Application, Vol.19, pp.4-9. 1994. ８）田中法博，望月宏祐，禹在勇：物体表面の反射特性と分光反射モデルに基づいたリアルタイムレンダリング手法，日本感性工学会論文誌，Vol.9, No.2, pp.311-321, 2010. ９）田中法博，望月宏祐：RGB カメラによる全方位分光画像計測と IBL への応用，画像電子学会誌，Vol.42, No.4, pp. 466-476, 2013.. デザイン学研究特集号 Special Issue of Japanese Society for the Science of Design Vol.24-3 No.95 2017. 37.

(9)