DOI: http://doi.org/10.14947/psychono.36.6
質感認知研究のための実験手法： テクスチャ合成による3次元形状の生成
1澤 山 正 貴
a,*・岡 部 誠
b・西 田 眞 也
a・土 橋 宜 典
c, d a 日本電信電話株式会社 NTTコミュニケーション科学基礎研究所 b 静岡大学工学部 c 北海道大学大学院情報科学研究科 d ドワンゴ株式会社 UEIリサーチGenerating three-dimensional shapes by using texture synthesis
Masataka Sawayama
a,*, Makoto Okabe
b, Shin’
ya Nishida
a, and Yoshinori Dobashi
c, d a NTT Communication Science Laboratories, Nippon Telegraph and Telephone Corporationb Faculty of Engineering, Shizuoka University
c Graduate School of Information Science and Technology, Hokkaido University d UEI Research, DWANGO Co., Ltd.
This research note reviews experimental methods to elucidate the visual processing underlying material per-ception, and considers how to generate experimental stimuli of three-dimensional shapes for the experiments. For generation of a computer graphics image of a three-dimensional object, it has been widely known that its shape fea-tures can affect the material appearance of the object. However, it is not established how to systematically control the shape features to investigate the effect. Here we suggest to utilize texture synthesis algorithms. Specifically, we used a height map of a three-dimensional object as a source image, and synthesized a novel height map by using a texture synthesis algorithm. We tested three algorithms to generate the height maps; i） synthesis based on image statistics, ii） example-based synthesis, and iii） synthesis using a convolutional neural network. We discuss how effective the texture synthesis algorithms are to investigate the effect of the shape features on the material perception.
Keywords: material perception, three-dimensional shape, texture synthesis 1. 質感認知研究における実験手法 ヒトは，物体について，それがどのような物性を持っ ているのか（ツルツルしている・柔らかい），どういう 状態にあるのか（乾燥している・濡れている・新鮮であ る），あるいは，どのような材質でできた物体なのか （金属・プラスチック）などといった性質を，見ること だけからある程度認知することができる。これを視覚的 質感認知と呼ぶ。古典的な実験心理学研究においては， 単純な幾何学刺激や縞刺激が実験刺激として用いられて きたために，単純な刺激では表現できない質感認知の情 報処理過程については見落とされてきた。近年，こうし た問題意識のもと，質感認知情報処理に関する研究が世 界的に進められている （reviewed by Adelson, 2001; Fleming, 2014; 小松，2016）。質感認知を実験的に研究することの ひとつの難しさは，リッチな質感を感じることができる 複雑な対象を実験刺激として扱わなければならないこと にある。複雑な刺激対象を観察する場合にのみ質感を感 じる場合も多く，心理学実験で扱いやすいように刺激の 次元を落とす操作をすることが（例えば，物体画像の色 の分布を単一の平均色度に置き換える操作など），対象 の質感そのものを失わせてしまうこともある。質感認知 研究では，実験刺激の生成方法や実験パラダイムについ てもまだ模索的であり，先行研究では様々な手法が試さ れている。
Copyright 2017. The Japanese Psychonomic Society. All rights reserved. * Corresponding author. NTT Communication Science
Laboratories, Nippon Telegraph and Telephone Corporation, 3–1 Morinosato Wakamiya, Atsugi, 243– 0198, Japan
E-mail: [email protected]
1 本研究は JSPS科研費JP15H05915, JP15H05924の助成 を受けたものです。
これまでの質感認知研究における実験刺激の生成方法 として，広く用いられているのが，コンピュータ・グラ
フィックス（CG）を用いた画像生成である（Fleming,
Dror, & Adelson, 2003; Kim, Marlow, & Anderson, 2012; Motoyoshi, 2010; Nagai et al., 2013; Nishida & Shinya, 1998; Paulun, Schmidt, van Assen, & Fleming, 2017; Sawayama, Nishida, & Shinya, 2017; Schmidt, Paulun, van Assen, & Fleming, 2017; Toscani, Valsecchi, & Gegenfurtner, 2013; van Assen & Fleming, 2016; Vangorp, Barla, & Fleming, 2017; Xiao et al., 2014）。CGを用いると，複雑な物理パラメー タを定量的に扱うことができるため，定量的な刺激パラ メータの操作を望む心理学実験と相性が良い。古くは， CG特有の非現実的な印象がCGを用いたアプローチの 欠点として挙げられることもあったが，近年のCG分野 の発展により，最新のCG技術では現実を眼にするのと ほぼ 色ない刺激画像を作ることも可能になってきてい る。また，自然物の写真画像を用いた研究（Kawabe, Maruya, & Nishida, 2015; Motoyoshi et al., 2007; Sawayama, Adelson, & Nishida, 2017; Sawayama & Kimura, 2015; Sharan, Liu, Rosenholtz, & Adelson, 2013; Wiebel, Valsecchi, & Gegenfurtner, 2013; Zhang, de Ridder, Fleming, & Pont, 2016） や，初期視覚系が扱う画像特徴をもとに生成したテクス チ ャ動画像を 用いた研究 （Freeman & Simoncelli, 2011; Freeman, Ziemba, Heeger, Simoncelli, & Movshon, 2013; Inagaki, Sasaki, Hashimoto, & Ohzawa, 2016; Okazawa, Tajima, & Komatsu, 2015） も行われている。
視覚的な質感，特に反射特性や光沢感，透明度といっ た物体表面の光学的な特性に由来する質感の認知を研究 する際には，物体画像の生成に関わる3つの情報を制御 する必要がある。物体の材質特性，物体を照射する照 明，そして，物体の形状である。3つの情報が複雑な相 互作用をした結果として，質感を生み出す画像が生成さ れる。CG技術を用いた検討のひとつの利点は，これら の情報を独立に操作しながら質感認知実験を行うことが できることにある。各情報の操作方法についてはいくつ かの文献によって基礎的な解説がなされている（e.g., 向 川，2010; 日浦・佐藤，2016）。 ここでは物体の形状が及ぼす影響について考える。物 体の質感認知がその物体の形状情報によって大きく変化 することはいくつかの研究で示されている （Nishida & Shinya, 1998; Ramanarayanan, Ferwerda, Walter, & Bala, 2007; Vangorp, Laurijssen, & Dutré, 2007）。例えば，Nishida & Shinya （1998）では，同じ物理的な光沢性を持つ表面 画像の見かけの質感が物理的な形状変動によって大きく 変わることを示した。しかし，形状の影響を検討した
研究のほとんどは，単純な周波数ノイズの空間周波数と 振幅を操作したものである（Nishida & Shinya, 1998; Ramanarayanan et al., 2007）。自然物体に現れる複雑な形 状特徴には，こうした単純なノイズパターンからは生成 できないものも多い。そうした複雑な形状特徴は，特に 半透明物体や布のような質感をCGで生成する際に見か けの質感に大きく影響することが経験的に知られている が（e.g., Gkioulekas et al., 2013），系統的な検討はされて いない。自然物に近い形状モデルを用いた質感認識研究 の場合でも，任意に選ばれた数個の形状モデルを用いて いる （Motoyoshi, 2010; Nagai et al., 2013）。こうした選定 によって刺激の多様性を確保することには限界があり， 形状特徴のパラメトリックな操作ができないという問題 が残る。 上述した問題意識のもと，本研究では質感認知への形 状情報の影響を調べるために有効な3次元形状の生成手 法の可能性を紹介する。以下の項で示すように，テクス チャ合成を利用した3次元形状の生成を行う。生成した 3次元形状に対して，任意の材質を付与して任意の照明 下に配置してCG画像を生成することで，様々な質感認 知の研究を行うことが可能になる。さらに，形状情報の 操作を必要とする様々な心理学実験に有効な手法となり うる可能性を総合考察にて議論する。 2. テクスチャ合成を用いた3次元形状の生成 本研究では，物体画像における形状情報を系統的に操 作するために，テクスチャ合成を利用した手法を考察す る。テクスチャ合成とは，1枚の元のテクスチャ画像が 持つ様々な画像特徴をもとに，その元画像と性質が類似 した別のテクスチャ画像を新規に合成する画像処理手法 である（Figure 1）。通常，テクスチャ合成は画像を生成 するための手法であるが，3次元形状モデルの高低マッ プを利用することで，形状生成に利用することができ る。高低マップとは，ある視点から形状モデルを観察し た際の，視点から形状表面までの距離を画像強度の濃淡 として示した画像である（e.g., Figure 2左上）。3次元形 状モデルの高低マップが得られれば，形状を画像として 扱うことができるため，高低マップを入力としてテクス チャ合成をし，新規の形状を得ることができる。画像強 度マップを高低マップに対応させるのではなく，勾配の ようなほかの形状次元のマップに対応させることも考え られるが，その可能性はここでは検討しない。 テクスチャ合成で形状を生成することの利点として， 現実に存在する自然な形状特徴の影響を検討することが ある程度可能となることが挙げられる。特に，半透明物
体や布のように，光学的に複雑な材質の質感をCGで生 成する際，自然物体に現れるような複雑な形状特徴が見 かけの質感に影響することは経験的に知られているが
（e.g., Gkioulekas et al., 2013），具体的に何の形状特徴が質 感認知に決定的であるかはいまだ不明瞭である。特定の 質感に対して，リッチな質感を表現することができる形 Figure 1. Synthesized images for a pebble image. The original image （top left） was synthesized by using the algorithms of
Heeger & Bergen （1995） （top center） and Portilla & Simoncelli （2000） （top right）. The power spectra of each image were shown as in the legend （bottom）.
Figure 2. Synthesized images for a height map （top）, and rendered images based on the original and synthesized height maps （bottom）. The two algorithms of Heeger & Bergen （1995） （top center） and Portilla & Simoncelli （2000） （top right） were applied to the original height map which consisted of scattered coffee beans （top left）. The rendered images were gen-erated with a glass material implemeted in the mitsuba renderer （Jakob, 2010）. The entire structure of the geometry model is shown in Figure 3a.
状モデルがすでにある場合，その形状特徴を部分的に再 現するテクスチャ合成手法を利用することで，どのよう な形状特徴が見かけの質感に重要かを探ることができ る。 高低マップを用いたテクスチャの合成は，元の形状と 特定の幾何学的な特徴を共有した形状を系統的に生成す ることができる。どのような特徴を共有するのかは，合 成法に依存する。できあがった形状は，もとの形状や， 同じ方法で生成された形状と，知覚的に区別できない刺 激（いわゆるメタマー）になっているわけではない。し かし，物理的な形状特徴の合わせ込みがある種の知覚的 な類似性を生むことは期待できる。既存の形状生成手法 に対するテクスチャ合成法のひとつのメリットは，単純 な周波数ノイズによる形状生成手法で表現できない形状 特徴を系統的に生成できることにある。一方，考察で詳 しく議論するように，生成した形状を複雑な環境下で CG画像生成をする場合に，テクスチャ合成アルゴリズ ムで制御していない変数による意図しない知覚的な形状 変化が結果に大きく影響する可能性がある。そのため， 操作した形状特徴が質感認知に重要かを知るためには多 数の刺激を生成して，実験することが必要となる。 以下では，画像の強度値を入力値としたテクスチャ合 成手法についての先行研究の歴史を解説し，その手法を 高低マップに適用した例を示している。また，各手法を 用いた際の著者らの環境での実行速度を参考として Table 1に載せている。 2.1 画像統計量に基づく合成手法を利用した形状生成 ヒトのテクスチャ知覚の研究とテクスチャ合成手法の 研究は相補的に発展している。ヒトはある種のテクス チャの等質性を判断する際，それほど複雑な画像特徴に 頼っていないことが示されており （e.g., Julesz, 1962），そ の人間の特性をうまく利用して元画像の画像統計量を部 分的に保ったテクスチャ合成手法が考案されてきた。例
えば，Heeger & Bergen （1995）の手法では，様々な方位・ 周波数をもつ周波数フィルタによって元画像を分解し， 各サブバンド成分のヒストグラムと同じ統計量を持つテ クスチャを新規ノイズから生成する。均質な石膏表面の ようなテクスチャを生成するうえでは，この手法は有効 であるが，空間的に規則的なパターンを持つものをこの 手法で合成することはできない（Figure 1, 中央上）。一 方で，Portilla & Simoncelli （2000）によるテクスチャ合成 の手法では，Heeger & Bergen （1995）の手法と同様に周 波数フィルタによって元画像を分解するが，より元画像 に近い特徴を保持している。具体的には，各サブバンド 成分のヒストグラム統計量を保つだけでなく，近傍の周 波数成分や近傍の方位成分との相関などの統計量を保っ た合成を行う。これらの統計量を保持することで，Heeger & Bergen （1995）の手法よりも複雑なパターンの合成を 行うことができる。さらに，これらの統計量は視覚情報 処理系におけるV2野で処理され得ることが示されてい る（Freeman et al., 2013）。Portilla & Simoncelliの手法で合 成をした場合，より複雑なパターンの合成ができるもの の，中心視で観察すると元画像とは異なるテクスチャで あることは判断できる場合が多い（Freeman & Simoncelli, 2011）（Figure 1, 右上）。どちらの手法で合成したとして も，画像のパワースペクトルは元画像と同様となる （Figure 1, 下）。Portilla & Simoncelli （2000）のテクスチャ 合成手法に関しては，手法を考案した著者の Webペー ジにてソースコードが公開されている （http://www.cns. nyu.edu/~lcv/texture/）。
Figure 2では，画像統計量に基づくテクスチャ合成手 法を用いて，高低マップを元画像に新規の形状を生成 し，CG画像を生成した例を示している。Heeger & Bergen （1995）では，画像を入力とした場合と同様に，周波数
フィルタによる各サブバンド成分の係数ヒストグラムを 制約に用いるが，高低マップを用いた場合，この制約は 幾何学的には形状の曲率分布を制約していることを意味 Table 1.
する。さらに，Portilla & Simoncelli （2000）では，曲率の 周波数間での相関や空間的な相関など，より幾何学的に 強い制約を与えている。この手法で失われる幾何学的な 情報については，空間位置・周波数・方位で隣り合って いない成分の相互作用，3項以上の高次の相互作用が挙 げられる。これらの手法を用いることで，単純な周波数 ノイズから生成した形状を用いる場合よりも形状の構造 が保たれた刺激を用いた検討が可能になるというメリッ トがある。しかし，Portilla & Simoncelliの手法でも，元 の自然画像の局所的な特徴を完全に再現できるわけでは なく，高低マップに適用した場合に，元形状と大きく異 なるものが生成されやすいというデメリットがある。 2.2 例示に基づく合成手法（example-based synthesis） を利用した形状生成 ノイズ画像の画像統計量を元画像のものと部分的に えることでテクスチャを合成する手法が開発される一方 で，元画像内のピクセル，もしくは局所的なパッチ領域 を，直接的に合成に用いる手法も考案されている （Efros & Freeman, 2001; Efros & Leung, 1999）。例えば，Efros & Leung （1999）では，元画像から無作為に抽出した局所 領域を合成画像の初期値とし，合成画像の各ピクセルに ついて，そのピクセルの近傍パターン（関心領域）と類 似した領域を元画像内で探索する。そして，元画像内で 発見された領域の中でひとつの類似領域の中心ピクセル を合成画像へ新規に配置することで，徐々に領域を空間 的に広げることを行う。重要な特色として，画像統計量 に基づく合成とは異なり，元画像に存在する点を例示と して合成画像に用いるので，局所的には元画像と同じパ ターンが合成画像に現れることになる。Efros & Leung （1999）の手法では，ピクセルごとに計算を行うために
計算負荷が大きくなる。一方，Efros & Freeman （2001） では，同じく例示に基づくテクスチャ合成の考えに基づ くが，ピクセルごとの計算ではなく，元画像から局所的 に切り出したパッチ領域を，空間的な輝度分布の連続性 を保つように合成画像に配置することでテクスチャ合成 を行う。
Figure 3には，Efros & Freeman （2001）の手法で合成し た高低マップの例を示している。
画像統計量に基づく合成手法とは異なり，合成画像に は元画像の局所的なパーツがそのまま現れる。そのた め，Portilla & Simoncelliの手法では捉えきれない特定の 局所的な形状特徴が質感認知に及ぼす影響を検討するう えでこの手法は有効となる。一方で，Figure 3（b）の Buddhaの高低マップのように，パターンの繰り返しが 少ない元画像に対しては，元形状とは大きく異なる形状 が生成される。 また，例示に基づく合成手法のひとつとして，Kwatra,
Essa, Bobick, & Kwatra （2005）では，合成画像内の各ピク セルの近傍パターンと，元画像内のあるピクセルの近傍 パターンとの相違が最小となるような最適化問題を解 く。この最適化手法で設定するパラメータは 2種類あ り，ひとつは画像ピラミッドの段数で，もうひとつは パッチサイズである。最適化手法では，合成画像と元画 像との相違を複数の画像スケールで最小化する。画像ピ ラミッドの段数パラメータは画像スケールに関係するも ので，どのくらい縮小した画像から合成を始めるかを意 味している。つまり，段数パラメータが4ならば，初め に元画像の1/8の画像サイズで合成を行い，そのスケー ルでの合成が完了したのち，画像を1/4にアップサンプ リングして再度そのスケールで合成を行い，この手順を 1/1 スケールになるまで繰り返す。パッチサイズパラ メータは，各スケールで最適化をする際の局所的な関心 領域のサイズを意味する。つまり，合成画像内の各点の 近傍パターンをどれくらい広い範囲に設定するかを決め るパラメータである。 Figure 4には，様々なパラメータの最適化手法で入力 画像を合成した結果を示す。広い関心領域で，ピラミッ ドの段数が大きい場合には，複雑な形状であっても元画 像の高低マップの持つ構造が十分に保たれて，空間的な 輝度分布に不自然さのない合成画像が生成される。パラ メータ設定によって，元画像の局所的な形状構造をどの 程度のサイズで保持するかを調整できるため，質感認知 に形状情報が及ぼす影響を系統的に検討することができ る。1枚の元形状から多様な形状を多数生成することが 可能であるため，機械学習を利用した質感認知研究のよ うに，大規模な学習刺激を必要とするアプローチと相性 が良いだろう。 以上のように，Figure 3と4の例示的な合成手法を高 低マップに適用した特性しては，パッチ単位で幾何学的 な特徴をなるべくそのまま再現しようとしていることが 挙げられる。また，この手法によって失われる幾何学的 特徴としては，パッチサイズを超えたスケールの構造が 挙げられる。 2.3 畳み込みニューラルネット（CNN）を用いたテク スチャ合成手法による形状生成 画像統計量に基づくテクスチャ合成では，Portilla & Simoncelli （2000）の手法であっても，中心視で観察する と合成画像は元画像とは明らかに異なるテクスチャであ
Figure 3. Synthesized images for height maps. The algorithm of Efros & Freeman （2001） was applied to the two original im-ages: （a） Coffee beans and （b） Happy Buddha （http://graphics.stanford.edu/data/3Dscanrep/）. The entire structure of each geometry model is shown in the right side.
ることが容易に判断できる。しかし，近年報告されてい る畳み込みニューラルネット（CNN）を用いたテクス チャ合成手法（Gatys, Ecker, & Bethge, 2015）を用いると， 画像統計量に基づくテクスチャ合成であっても複雑なパ ターンの生成が可能となる。この手法では，一般物体認 識を学習したニューラルネットを利用してテクスチャ合 成を行う。学習済みネットワークに元画像を認識させた 際の各層のユニットの応答と同じ応答が得られる合成画 像を，ノイズ画像から生成する。ニューラルネット内の どの層の特徴と合わせるかによって仕上がる合成画像の 質は変わる。例えば，一般物体認識を学習したネット ワークであるVGG-19における浅い層（conv1_1）の応答 だけを合わせると（Figure 5, 上中央），元画像の空間的 な構造はあまり保たれない出力となる。一方で，より深 い層（pool 4）のユニットの応答まで元画像と合わせる と（Figure 5, 上右），元画像の複雑な空間特徴が保たれ た画像が生成される。Figure 5では，これらの複雑性の 異なる形状を用いて，布素材のレンダリングを行った。 浅い層の応答だけ合わせて生成した形状の布の質感は元 の質感と大きく異なるが（Figure 5, 下中央），深い層の
応答まで合わせて生成した形状の布の質感は元の質感と 類似していることが見て取れる（Figure 5, 下右）。 元の物体が持つ形状特徴が質感認知に及ぼす影響を段 階的に検討することが可能になるというメリットがこの 手法にはある。一方で，CNNの第1層のユニットは様々 な周波数の方位フィルタのような応答を示すものが多い とは言え，各層で保持している幾何学的な特徴が何かは 不明瞭なので，段階的に操作した途中の層で何の情報量 を保持したことになるのかがわからないというデメリッ トもある。そのため，何の形状特徴が質感認知に重要か を解析的に調べるアプローチよりは，この手法を用いて 大規模な数の刺激を作成して観察者データを測定し， データ駆動的に質感認知を調べる方法がこの手法では有 効であろう。また，他の合成手法と比較して一枚の合成 画像を生成するのにある程度時間がかかるというデメ リットもある。Gatys et al. （2015）のテクスチャ合成の 手法のソースコードは，手法を提案した著者の Github ページで公開されている（https://github.com/leongatys/ DeepTextures）。
Figure 4. Synthesized images for a height map. The algorithm of Kwatra et al. （2005） was applied to the original images. Several parameters were used as shown in the legend.
Figure 5. Synthesized images for a height map by using the algorithm of Gatys et al. （2015）. Different processing stages in the VGG-19 network were utilized when synthesizing the original height map. These height maps were rendered with a fab-ric material （charmeuse） by using a method of Irawan & Marschner （2012）.
3. 考 察
本研究では，様々なテクスチャ合成手法を用いた3次 元形状の生成手法について検討した。画像統計量に基づ く合成手法では，同じ元画像であっても用いる合成手法 によって合成画像で保持される画像統計量は異なる。 Heeger & Bergen （1995） の 手 法 と Portilla & Simoncelli （2000） の手法との比較（Figure 2）や，CNNの手法にお ける層間の比較（Figure 5）のように，保持する統計量 が異なる形状を用いることで，詳細に複雑性を操作した 実験が可能となると考えられる。中間層で何の特徴が処 理されているかが不明瞭な CNNを用いた手法の場合に は特に，少ない数の刺激だけでは何の形状特徴が質感認 知に寄与しているかを特定することが難しくなる。しか し，テクスチャ合成による形状生成は多様な形状を大量 に生成することが可能であるため，大規模な形状刺激を 用いた刺激駆動型のアプローチを行うことがその問題の 対策となるだろう。特筆すべき点として，Figures 2, 5で 示したように，見かけの質感は複雑な形状情報によって 大きく影響を受けていることが見て取れ，この方向の検 討が質感認知機構の理解を進めることに貢献することが 期待される。 例示に基づく合成手法については，合成画像内の局所 的な関心領域が元画像のものと同様になるように合成す るため，局所的には元画像と同じパターンが合成画像に 現れる。そのため，心理学実験で検討したい形状特徴を 含んだ高低マップをあらかじめ系統的に用意すること で，質感認知に対する形状情報の影響を実験的に調べる ことができるだろう。例えば，元画像として形状表面に 付与する傷の画像を用意することで，その傷を3次元形 状変調として任意の形状モデルに与えることもできるた め，形状表面の微細な傷が見かけの質感に及ぼす影響を 検討することも可能である。 形状生成にテクスチャ合成を用いることの利点とし て，物体カテゴリのような物体の意味情報と切り離した 質感認知の検討が可能となることが挙げられる。近年の CNNを用いた手法であっても，テクスチャ合成をする と，元画像の意味的な情報が失われた画像（つまり，合 成画像が“ブッダ”であるということを認識できない画 像）が生成される（Figure 5, 右上）。自然物体の意味カ テゴリは，質感を一意に定めてしまう場合もある。テク スチャ合成を用いることで，自然物体のような複雑な形 状を用いつつ，意味情報の影響を排除することが可能と なる。 次に，高低マップを入力値としてテクスチャ合成を 行った場合に，元形状と生成形状との間で何の特徴の等 価性が満たされているかを考察する。画像を入力とする 場合でも高低マップを入力とする場合でも，テクスチャ 合成が目指すのは何らかの特徴を共有した刺激セットを 作ることにある。本手法においては，元形状の幾何学的 な特徴を保持した生成を行っており，制御している幾何 学的特徴については元形状と生成形状間の幾何学的な等 価性が満たされている。一方で，元形状と生成した形状 との知覚的な等価性や生成した形状間の知覚的等価性に ついては，現状では不明な点が多い。従来手法のよう に，画像の強度値を入力値としてテクスチャ合成をした 画像が，ヒトにとってどの程度元画像と等価であるか は，近年いくつかの研究で議論されている（Freeman &
Simoncelli, 2011; Freeman et al., 2013）。本手法において も，生成した形状の反射特性を完全拡散反射とし，無限 遠光源によって照らし，元形状の場合と同じ位置から観 察する場合には，画像の強度値を入力値としてテクス チャ合成をする際と同様に知覚的な等価性が決まること が考えられる。しかし，反射特性や照明特性が複雑な場 合，生成された形状が元の形状と同様の相互作用を引き 起こす保証はない。複雑な条件下でどのような知覚的な 等価性が満たされるかについては，個々の手法で詳細な 実験的検討が必要となるだろう。また，テクスチャ合成 で制御していない特徴の変動による，意図しない確率的 な知覚特徴の類似性変化も生じ得るので，その問題を無 視して結果を解釈してはいけない点にも留意しなければ ならない。この問題のために，出来るだけ多くの刺激バ リエーションを作って制御していない成分の効果を打ち 消すような努力をし，個別の刺激の分析をすることが重 要となるだろう。 本研究では主に，視覚心理学実験において，CG画像 をモニタ提示する実験状況を想定した手法の提案を行っ た。しかし，CG画像で3次元形状のモデルを作るという ことは，3Dプリンタを用いることで，その形状モデルの 実物体が出力可能となる。そのため，様々な形状刺激を 用いた触覚心理学実験を行う場合にも，この形状生成法 は有効だろう。さらに，近年は心理学実験における視覚 刺激の操作も，モニタや印刷物を用いたものだけでなく， 実物体に対してプロジェクタによる光投影をすることで 刺激操作をする実験も行われている（Ho, Iwai, Yoshikawa, Watanabe, & Nishida, 2014; Kawabe, Fukiage, Sawayama, & Nishida, 2016）。テクスチャ合成で生成した実物体形状に 対して，プロジェクタによる光投影をすることで，今後， より幅広い心理学実験が可能となるだろう。
4. ま と め 本研究では，質感認知研究のための実験手法として， テクスチャ合成による3次元形状の生成について考察し た。具体的には，画像統計量に基づく合成手法，例示に 基づく合成手法，CNNを用いた合成手法による3次元形 状の生成例を示した。質感認知のような複雑な認知過程 を明らかにするためには，多様な研究分野を融合した包 括的なアプローチが有効となる。コンピュータ・グラ フィックス分野やコンピュータ・ビジョン分野の研究手 法を取り入れた心理学実験が，複雑な認知過程を読み解 くために今後さらに必要とされるだろう。 引用文献
Adelson, E. H. (2001). On seeing stuff: The perception of materials by humans and machines. In B. E. Rogowitz & T. N. Pappas (Eds.), Proceedings of the SPIE. Volume 4299: Human vision and electronic imaging VI (pp. 1–12). Belling-ham, WA: SPIE.
Efros, A. A., & Freeman, W. T. (2001). Image quilting for tex-ture synthesis and transfer. Proceedings of ACM SIGGRAPH, 341–346.
Efros, A. A., & Leung, T. K. (1999). Texture synthesis by non-parametric sampling. Proceedings of International Confer-ence on Computer Vision (ICCV 99), 2, 1033–1038. Fleming, R. W. (2014). Visual perception of materials and
their properties. Vision Research, 94, 62–75.
Fleming, R. W., Dror, R. O., & Adelson, E. H. (2003). Real-world illumination and the perception of surface reflectance properties. Journal of Vision, 3, 347–368.
Freeman, J., & Simoncelli, E. P. (2011). Metamers of the ven-tral stream. Nature Neuroscience, 14, 1195–1201.
Freeman, J., Ziemba, C. M., Heeger, D. J., Simoncelli, E. P., & Movshon, J. A. (2013). A functional and perceptual signa-ture of the second visual area in primates. Nasigna-ture Neurosci-ence, 16, 974–981.
Gatys, L., Ecker, A. S., & Bethge, M. (2015). Texture synthesis using convolutional neural networks. Advances in Neural Information Processing Systems, 28, 1–9.
Gkioulekas, I., Xiao, B., Zhao, S., Adelson, E. H., Zickler, T., & Bala, K. (2013). Understanding the role of phase function in translucent appearance. ACM Transactions on Graphics (TOG), 32, 147:1–147:19.
Heeger, D. J., & Bergen, J. R. (1995). Pyramid-based texture analysis/synthesis. Proceedings of The 22nd Annual Confer-ence on Computer Graphics and Interactive Techniques, 229– 238, New York: ACM.
日浦慎作・佐藤いまり（2016）．質感を生み出す光と物 の性質 小松英彦（編） 質感の科学 知覚・認知メ カニズムと分析・表現の技術 朝倉書店（出版社） Ho, H. N., Iwai, D., Yoshikawa, Y., Watanabe, J., & Nishida, S.
Y. (2014). Combining colour and temperature: A blue object
is more likely to be judged as warm than a red object. Scien-tific Reports, 4, 5527.
Inagaki, M., Sasaki, K. S., Hashimoto, H., & Ohzawa, I. (2016). Subspace mapping of the three-dimensional spectral recep-tive field of macaque MT neurons. Journal of Neurophysiolo-gy, 116, 784–795.
Irawan, P., & Marschner, S. (2012). Specular reflection from woven cloth. ACM Transactions on Graphics (TOG), 31, 11:1–11:20.
Jakob, W. (2010). Mitsuba physically based renderer. mitsuba-renderer.org.
Julesz, B. (1962). Visual pattern discrimination. IRE Transac-tions on Information Theory, 8, 84–92.
Kawabe, T., Fukiage, T., Sawayama, M., & Nishida, S. Y. (2016). Deformation lamps: a projection technique to make static objects perceptually dynamic. ACM Transactions on Applied Perception (TAP), 13, 10:1–10:17.
Kawabe, T., Maruya, K., & Nishida, S. Y. (2015). Perceptual transparency from image deformation. Proceedings of the National Academy of Sciences, 112, E4620–E4627.
Kim, J., Marlow, P. J., & Anderson, B. L. (2012). The dark side of gloss. Nature Neuroscience, 15, 1590–1595.
Kopf, J., Fu, C.-W., Cohen-Or, D., Deussen, O., Lischinski, D., & Wong, T.-T. (2007). Solid texture synthesis from 2d exem-plars. ACM Transactions on Graphics, 26, 2:1–2:9
Kwatra, V., Essa, I., Bobick, A., & Kwatra, N. (2005). Texture optimization for example-based synthesis. ACM Transac-tions on Graphics (ToG), 24, 795–802.
小松英彦（編）（2016）．質感の科学 知覚・認知メカニ ズムと分析・表現の技術 朝倉書店（出版社） Mooney, S. W., & Anderson, B. L. (2014). Specular image
structure modulates the perception of three-dimensional shape. Current Biology, 24, 2737–2742.
Motoyoshi, I. (2010). Highlight-shading relationship as a cue for the perception of translucent and transparent materials. Journal of Vision, 10: 1–11.
Motoyoshi, I., Nishida, S., Sharan, L., & Adelson, E. H. (2007). Image statistics and the perception of surface qualities. Nature, 447, 206–209.
向川康博（2010）．反射・散乱の計測とモデル化 情処 研報CVIM 172–35.
Nagai, T., Ono, Y., Tani, Y., Koida, K., Kitazaki, M., & Na-kauchi, S. (2013). Image regions contributing to perceptual translucency: A psychophysical reverse-correlation study. i-Perception, 4, 407–428.
Nishida, S., & Shinya, M. (1998). Use of image-based informa-tion in judgments of surface-reflectance properties. Journal of the Optical Society of America A, 15, 2951–2965. Okazawa, G., Tajima, S., & Komatsu, H. (2015). Image
statis-tics underlying natural texture selectivity of neurons in ma-caque V4. Proceedings of the National Academy of Sciences, 112, E351–360.
Paulun, V. C., Schmidt, F., van Assen, J. J. R., & Fleming, R. W. (2017). Shape, motion, and optical cues to stiffness of elastic objects. Journal of Vision, 17, 1–22.
model based on joint statistics of complex wavelet coeffi-cients. International Journal of Computer Vision, 40, 49–70. Ramanarayanan, G., Ferwerda, J., Walter, B., & Bala, K. (2007).
Visual equivalence: towards a new standard for image fideli-ty. ACM Transactions on Graphics (TOG), 26, 76:1–76:11 Sawayama, M., Adelson, E. H., & Nishida, S. (2017). Visual
wetness perception based on image color statistics. Journal of Vision, 17, 1–24.
Sawayama, M., & Kimura, E. (2015). Stain on texture: Percep-tion of a dark spot having a blurred edge on textured back-grounds. Vision Research, 109, 209–220.
Sawayama, M., Nishida, S., & Shinya, M. (2017). Human per-ception of subresolution fineness of dense textures based on image intensity statistics. Journal of Vision, 17, 1–18. Schmidt, F., Paulun, V. C., van Assen, J. J. R., & Fleming, R. W.
(2017). Inferring the stiffness of unfamiliar objects from op-tical, shape, and motion cues. Journal of Vision, 17, 1–17. Sharan, L., Liu, C., Rosenholtz, R., & Adelson, E. H. (2013).
Recognizing materials using perceptually inspired features. International Journal of Computer Vision, 103, 348–371. Toscani, M., Valsecchi, M., & Gegenfurtner, K. R. (2013).
Optimal sampling of visual information for lightness
judg-ments. Proceedings of the National Academy of Sciences, 110, 11163–11168.
van Assen, J. J. R., & Fleming, R. W. (2016). Influence of opti-cal material properties on the perception of liquids. Journal of Vision, 16, 1–20.
Vangorp, P., Barla, P., & Fleming, R. W. (2017). The perception of hazy gloss. Journal of Vision, 17, 1–17.
Vangorp, P., Laurijssen, J., & Dutré, P. (2007). The influence of shape on the perception of material reflectance. ACM Transactions on Graphics (TOG), 26, 77:1–77:9
Wiebel, C. B., Valsecchi, M., & Gegenfurtner, K. R. (2013). The speed and accuracy of material recognition in natural images. Attention, Perception & Psychophysics, 75, 954–966. Xiao, B., Walter, B., Gkioulekas, I., Zickler, T., Adelson, E., &
Bala, K. (2014). Looking against the light: How perception of translucency depends on lighting direction. Journal of Vi-sion, 14, 1–22.
Zhang, F., de Ridder, H., Fleming, R. W., & Pont, S. (2016). MatMix 1.0: Using optical mixing to probe visual material perception. Journal of Vision, 16, 1–18.
