論 文
表 面 反 射 特 性 の推 定 に よ る
仮 想 化 現 実 環 境 の対 話 的 な照 明 シ ミュ レー シ ョン
Virtual
Relighting
of a Virtualized
Scene
by
Estimating
Surface
Re-flectance
Properties
福 冨 弘 敦 †,町 田 貴 史 ††,正 会 員 横 矢 直 和 †
Hironobu Fukutomi†, Takashi Machida† † and Naokazu Yokoya†
Abstract In mixed reality that merges real and virtual worlds, it is required to interactively manipulate the illumination
conditions in a virtualized space. In general, specular reflections in a scene make it difficult to interactively manipulate the
illumination conditions. Our goal is to provide an opportunity to simulate the original scene, including diffuse and specular
relfections, with novel viewpoints and illumination conditions. Thus, we propose a new method for estimating diffuse and
specular reflectance parameters using the geometries and images of real scenes. The experiment results showseveral estimates
of surface reflectance properties and the relighting of scenes under novel viewpoints and illumination conditions.
キ ー ワ ー ド:表 面 反 射 特 性,ラ ジ オ シ テ ィ 法,Torrance-Sparrowモ デ ル,仮 想 化 現 実,照 明 シ ミ ュ レ ー一・一一シ ョ ン 1. ま え が き 近 年,仮 想 環 境 と現 実 環 境 を 融 合 す る複 合 現 実 感 や コ ン ピ ュー タ グ ラ フ ィッ ク ス の 分 野 に お い て,仮 想 環 境 内 で 現 実 環 境 を 忠 実 に再 現 し,計 算 機 上 で照 明 の 位 置 や 明 る さ な どの 照 明 条 件 を 操 作 して,照 明 に よ る影 響 を 仮 想 的 に 表 現 す る研 究 が 行 わ れ て い る1)2).こ れ らの 研 究 で は 対 象 とす る シ ー ン の 幾 何 形 状 や 光 源 条 件 な ど の 現 実 環 境 を 仮 想 化 す る必 要 が あ り,な か で もシ ー ン の 表 面 反 射 特 性 を仮 想 化 す る こ と は現 実 環 境 に お け る 陰影 を 忠 実 に表 現 す る た め に重 要 で あ る. 仮 想 環 境 に お い て 照 明 の位 置 や 明 る さ な ど の照 明 条 件 を 操 作 す る研 究 で は,現 実 環 境 の 表 面 反 射 特 性 を仮 想 化 す る た め に,光 の 相 互 反 射 を モ デ ル 化 した レ ン ダ リン グ 手 法 で あ る ラ ジ オ シ テ ィ法3)4)が 用 い られ て い る.ラ ジ オ シ テ ィ法 は 光 の 熱 エ ネ ル ギ ー の 伝 播 に基 づ き,光 の 相 互 反 射 に よ る 影 響 を 忠 実 に再 現 可 能 な 手 法 で あ る.Fournierら5)は シー ン の3次 元 形 状 と光 源 の 位 置 や 輝 度 値 は手 動 で与 え,シ ー ン の 反 射 特 性 を 推 定 す る こ と に よ り,現 実 環 境 の仮 想 化 を 行 っ た.こ の 手 法 で は,ラ ジ オ シ テ ィ法 に よ り相 互 反 射 の 影 響 も考 慮 し て い る が,シ ー ン の 反 射 成 分 は 拡 散 反 射 成 分 の み と仮 定 し て い る こ とか ら,鏡 面 反 射 成 分 を 含 ん だ 現 実 環 境 を仮 想 化 す る こ と は 困難 で あ った.Loscosら6)は,ラ ジ オ シ テ ィ法 を 導 入 して,仮 想 環 境 に お け る 対 話 的 な 照 明 シ ミ ュ レー シ ョン を 行 った.こ の 手 法 で は,現 実 環 境 の 仮 想 化 に 固 定 視 点 の テ クス チ ャ を 用 い て い る た め,仮 想 環 境 内 で の視 点 移 動 を行 うた め に は,移 動 した位 置 で の テ クス チ ャ が必 要 と な り,仮 想 的 な 自由 な視 点 移 動 が 困 難 で あ っ た.ま たBoivinら7)は,あ らか じ め モ デ ル化 さ れ た シ ー ン の 厳 密 な3次 元 形 状 を 基 に,写 り こ み の あ る鏡 面 反 射 な ど 現 実 環 境 に 存 在 す る 複 雑 な 反 射 特 性 の 推 定 を 行 っ た.し か し な が ら,数 多 くの 反 射 特 性 を 仮 定 し,複 雑 な 反 射 ま で も 再 現 しよ う と試 み た た め,仮 想 環 境 に お け る シー ン の 描 画 に 要 す る 計 算 時 間 が 膨 大 とな り,実 時 間 で対 話 的 に 照 明 操 作 を 行 う こ とは 困難 で あ っ た.ま た,鏡 面 反 射 成 分 を 含 む 物 体 で は,実 写 画 像 内 の 鏡 面 反 射 を 含 む 画 素 が 拡 散 反 射 推 定 時 に は サ ン プ リン グ され て い る.そ の た め,拡 散 反 射 係 数 の推 定 値 に鏡 面 反 射 成 分 の影 響 が 含 ま れ,各 反 射 係 数 の 推 定 値 に 比 較 的 大 き な 誤 差 が 生 じる とい う問 題 が あ った. 以 上 を ふ ま え,本 研 究 で は 拡 散 反 射 成 分 だ け で な く,鏡 面 反 射 成 分 を 含 ん だ 環 境 に お い て も,物 体 の 拡 散 反 射 係 数 と鏡 面 反 射 係 数 お よ び 表 面 粗 さ 係 数 を 推 定 し,現 実 環 境 の 仮 想 化 を 行 う.こ こで,文 献7)に お け る 問 題 を 回 避 す る た め拡 散 反 射 成 分 と鏡 面 反 射 成 分 を精 度 よ く分 離 を 行 っ た 上 で,よ り正 確 な 反 射 係 数 の推 定 を 可 能 とす る.こ れ に よ り, 2003年3月3日 受 付,2003年7月28日 最 終 受 付,2003年9月4日 採 録 † 奈 良 先 端 科 学 技 術 大 学 院 大 学 (〒630-0192奈 良 県 生 駒 市 高 山 町8916-5, 0743-72-5296) †† 大 阪 大 学 サ イ バ ー メ デ ィ ア セ ン タ ー (〒560-0043大 阪 府 豊 中 市 待 兼 山 町1-32, 06-6850-6824)
†Graduate School of Information Science, Nara Institute of Science and Technology
(8916-5, Takayama-cho, Nara 630-0192, Japan) †† Cyber Media Center, Osaka University
(1-32, Machikaneyama-cho, Toyonaka-shi 560-0043, Japan)
仮想化 され た環 境内 におい て,照 明条件や 視点位置 を仮想 的 に操作 可能 な実時 間対 話的照 明シ ミュ レーシ ョンを実現 す る. 2. 幾 何 形 状 と実 写 画像 か らの 反射 特 性 の 推 定 本章 で は現実環 境 の反 射特性 の推定 法 につい て述べ る. 推 定手 法 の処理 の流れ を 図1に 示 す.処 理 は大 き く三つ に 分 け られ,ま ず前処 理 と して入力 デー タを準備 す る.次 に シー ン内の拡 散反射 係数 を推定 し,最 後 に鏡面反 射係数 と 表 面 粗 さ係数 を推 定す る.各 処理 の概 要 は次 の とお りで あ る. (1) 前処 理 推定 手法 の入力 と して,実 シー ンの幾何 形状 と光 源条件 の仮想 化を行 い,実 写 画像を準 備す る.幾 何形状 の仮 想化 の ために実 シー ンの幾何 形状を取得 し,光 源条件 の仮 想化 の ために実 シー ンに おける光源 の位 置お よび輝度値 を手動 で与 える.ま た,推 定手 法の入力 であ る実写 画像 の枚 数を 少な くす るた めに,シ ー ンを反射特性 の違 いによ ってあ ら か じめ グルー プに分 割す る. (2) 拡散反射係 数の 推定 シー ンの3次 元形状 と実 写画像 を用い,ラ ジオシテ ィ法 に基づい て,相 互反 射を考慮 した拡散 反射係数 の推定 を行 う.具 体的 には,推 定 途中 に得 られ る拡 散反射係数 を用 い て,シ ー ンの拡散反射 成分 を描 画 した画 像(以 下,拡 散反 射成分 画像 と呼ぶ)と シー ンの実写画像 の誤差が最 小 とな るよ うに分割 され た,各 グルー プの拡散反 射係数 を最 適化 す る.ま た,拡 散反射成 分画像 とシー ンの実写画像 の差分 画像(以 下,ハ イ ライ ト画像 と呼ぶ)を 用 い るこ とで,拡 散反射 係数 の推 定精度 の向上 を図る.つ ま り,ハ イ ライ ト 画像 は拡散 反射係数 の推 定時 に鏡面反 射成分 によ る影響 が 含 まれ ない よ うに,各 反射 成分 を精度 よ く分離 す るために 用 い られ る.こ こで,実 験 で用い た ミニチ ュアの部屋 に対 す る拡散反射 成分画 像 とハ イライ ト画 像の例 を図2に 示 す. (3) 鏡 面反射係数 お よび表 面粗 さ係数の推定 拡 散 反射 係 数 の推 定 部 で出 力 され るハ イ ライ ト画 像 と シー ンの3次 元形状 を用い て,鏡 面 反射係 数 と表 面粗 さ係 数 の推定 を行 う.具 体 的に は,推 定途 中に得 られる鏡面反 射係数 と表面粗 さ係 数を用 いて,シ ー ンの鏡面反 射成分 を 描画 した画像(以 下,鏡 面反射 成分画 像 と呼ぶ)と,ハ イ ライ ト画 像の誤差 が最 小 となる ように分割 され た各 グルー プの鏡面反射 係数 と表 面粗 さ係 数を最適化 す る. (a)実 写 画 像 (b)拡 散反 射成分画像 (c)ハ イ ライ ト画 像 2.1 前 処 理 シ ー ンの 幾 何 形 状 に 関 して は,モ デ リ ン グ ツ ー ル(New Tek社 ・Lightwave7.0)と3次 元 形 状 計 測 装 置(ミ ノ ル タ 社 ・VIVID900)を 用 い て取 得 し,得 られ た シ ー ンの 幾 何 形 状 を ラ ジ オ シ テ ィ法 に適 用 す る た め に 適 当 な 数 の パ ッチ に 分 割 す る.そ の 際 に,パ ッチ の 分 割 数 に関 して,拡 散 反 射 用 と鏡 面 反 射 用 の2種 類 の モ デ ル を 作 成 す る.一 般 に現 実 環 境 に お い て は,拡 散 反 射 表 面 の 明 る さが 急 激 に 変 化 す る こ とは少 な く,一 方,輪 郭 が 際 立 っ たハ イ ライ トな ど鏡 面 反 射 表 面 の 明 る さ は,急 激 に 変 化 す る こ とが 多 い.こ の よ う なハ イ ラ イ トを忠 実 に描 画 す る た め,鏡 面 反 射 用 の モ デ ル は,拡 散 反 射 用 の モ デ ル よ り も細 か いパ ッチ に 分 割 す る. この3次 元 形 状 を 構 築 す る 行 程 に お い て,シ ー ン に 含 ま れ る物 体 表 面 を あ ら か じめ 手 作 業 で グル ー プ に分 類 して お く.グ ル ー プ は,物 体 表 面 の 反 射 特 性 が 一 様 で あ る 範 囲 と す る.こ の よ う に反 射 特 性 に従 って,シ ー ンを グ ル ー プ 化 す る こ と に よ り,シ ー ン の 実 写 画 像 に グル ー プ の 一 部分 さ え 写 って おれ ば,そ の グ ル ー プ の反 射 係 数 を 推 定 す る こ と が 可 能 と な る. ま た,シ ー ン の 実 写 画 像 に 関 して は,各 グ ル ー プ の少 な くと も一 部 が含 まれ る よ う に あ る 固定 視 点 か ら撮 影 す る が, 得 られ た 実 写 画 像 に は カ メ ラ の ガ ン マ 補 正 の 影 響 が 含 ま れ て い る.そ こ で,反 射 係 数 の 推 定 に カ メ ラ に よ る ガ ンマ 補 正 の 影 響 が 含 ま れ な い よ う に,あ ら か じめ ガ ン マ 補 正 に よ る 影 響 を取 り除 い て お く.次 に,シ ー ン の 幾 何 形 状 と実 写 画 像 に対 して 位 置 合 わ せ を 行 い,佐 藤 ら の 手 法8)に よ り実 写 画 像 を 撮 影 し た カ メ ラ の 位 置 お よび 姿 勢 と,カ メ ラ の レ ン ズ に よ る歪 み を 補 正 した 画 像 を 取 得 す る. 2.2 拡 散 反 射 係 数 の 推 定 本 節 で は ラ ジ オ シ テ ィ法 に 基 づ い た 拡 散 反 射 係 数 の 推 定 を 行 う.本 研 究 で 使 用 す る ラ ジ オ シ テ ィ法 の 式 を 以 下 に 示 す.
(1)
図1 反 射 特 性 推 定 の 処 理 の 流 れ Flow diagram of estimating reflectance properties.図2 反 射 特 性 推 定 で 用 い ら れ る 画 像 例 Example images in estimating reflectance properties.
こ こで,Bi,Bjは パ ッチiとjの 熱 エ ネ ル ギ ー(ラ ジ オ シ テ ィ),Eiは パ ッチiか ら放 射 さ れ る光 の 放 射 率,Rdiは パ ッチiの 拡 散 反 射 係数 で あ る.ま た,Fi-jは フ ォー ム フ ァ ク タ と呼 ば れ,パ ッチ 」全 体 を離 れ てパ ッチi全 体 に到 達 す る エ ネ ル ギ ー の 割 合 を 示 して お り,両 パ ッチ の 形 状 と相 対 方 向,遮 蔽 パ ッチ の有 無 を考 慮 に 入 れ て い る.フ ォー ム フ ァ ク タは,シ ー ン の3次 元 形 状 を 用 い て ヘ ミキ ュー ブ 法9)に よ り求 め た. 拡 散 反 射 係 数 の 推 定 処 理 の 流 れ を 図3に 示 す.ま ず,推 定 さ れ る各 グ ル ー プ の 拡 散 反 射 係 数 の 初 期 値 とハ イ ライ ト 画 像 の 初 期 画 像 を定 め る.各 グル ー プ の 拡 散 反 射 係 数 の初 期 値 に 関 して は,シ ー ン の実 写 画 像 に お け る各 グ ル ー プ の 平 均 輝 度 値 を0か ら1の 範 囲 に ス ケ ー リ ン グ した値 とす る. ハ イ ライ ト画 像 の初 期 画 像 に 関 して は,シ ー ン の 実 写 画 像 と同 サ イ ズ で す べ て の 画 素 の 輝 度 値 が0で あ る もの とす る. そ して,シ ー ン の 実 写 画 像 と3次 元 形 状 お よび 光 源 の 位 置 と輝 度 値 の 光 源 情 報 を 入 力 と し て,拡 散 反 射 係 数 の 推 定 を 開 始 す る.以 下,iとnは そ れ ぞ れ グ ル ー プ番 号 と処 理 の 繰 り返 し回 数 を 示 す. まず,推 定 処 理 の 入 力 を も と に,シ ー ン を ラ ジ オ シ テ ィ 法 に 基 づ い て レン ダ リ ン グ し,シ ー ン 内 の 拡 散 反 射 成 分 の み を レ ン ダ リ ン グ し た 拡 散 反 射 成 分 画 像Idnを 生 成 す る. 次 に,各 グル ー プiに 対 し て,実 写 画 像 に お け る 平均 輝度 値
Bri,nと 拡 散 反 射 成 分 画 像Idnに お け る 平 均 輝 度 値Bdi,n を 算 出 す る.そ して こ れ らの 値 を基 に,各 グ ル ー プ に対 し て,実 写 画 像 と拡 散 反 射 成 分 画 像 の誤 差Edi,nと 差 分Di,n を 以 下 の 式 で計 算 す る.
(2)
(3)
た だ し,平 均 輝 度 値Bri ,nを 算 出す るため に実写 画像 の画 素 を サ ン プ リ ン グす る が,そ の 際 に 実 写 画 像 の 画 素 に対 応 す るハ イ ラ イ ト画 像Mnの 画 素 の 輝 度 値 を 調 べ,輝 度 値 が 閾 値th1以 上 で あ れ ば,実 写 画 像 の 画 素 は 鏡 面 反 射 成 分 を もつ とみ な して,サ ンプ リ ン グ しな い よ うに す る.こ うす る こ と で,算 出 さ れ た平 均 輝 度 値Bri ,nに 鏡面反 射成分 の 影 響 が 含 ま れ な い よ う し,シ ー ン内 の 拡 散 反 射 成 分 の み か ら シー ン の 拡 散 反 射 係 数 の 推 定 を 行 う. 次 に,各 グ ル ー プ の 差 分Di,nに 対 して 閾 値 判 定 を 行 う. シ ー ン 内 の す べ て の グル ー プ に お い て,一 つ で も差 分Di ,n が 閾 値th2よ り も大 き い 場 合,以 下 の 式 を 用 い て す べ て の グル ー プの 拡 散 反 射 係 数Rdi ,nを 更新 し,処 理の最 初 に 戻 る.(4)
一 方,す べ て の グ ル ー プ の 差 分Di,nが 閾 値th2以 下 で あ る 場 合,現 在 の 拡 散 反 射 成 分 画 像Idnと 実 写 画 像 に お い て,各 画 素 の 輝 度 値 の 差 の 絶 対 値 を 計 算 し,そ の 値 を 画 素 の 輝 度 値 と し た ハ イ ラ イ ト画 像Mnを 作 成 す る.次 に, ハ イ ラ イ ト画 像Mnが 前 回 の ハ イ ラ イ ト画 像Mn -1に 比 べ て,ど の 程 度 更 新 さ れ てい る か を 調 べ る.そ の た め に,前 回 のハ イ ラ イ ト画 像Mn-1と 現 在 の ハ イ ラ イ ト画 像Mnに お い て,輝 度 値 が 閾 値th1以 上 の 画 素 数Nmn-1とNmn の 差￨Nmn-1-Nmn￨を 計 算 す る.算 出 さ れ た 画 素 数 の 差 が￨Nmn-1-Nmn￨>th3の 場 合 は,ま だ ハ イ ラ イ ト画 像 が 更 新 さ れ る 余 地 が あ る と 見 な し て 処 理 の 最 初 に 戻 る. ￨Nmn-1-Nmn￨≦th3の 場 合 は,拡 散 反 射 係 数 の 推 定 処 理 を終 了 し,現 在 の ハ イ ラ イ ト画 像Mnと 各 グ ル ー プ の拡 散 反 射 係 数Rdi,nを 出 力 す る. 2.3 鏡 面 反 射 係 数 と表 面 粗 さ係 数 の 推 定 本 節 で は,以 下 のTorrance-Sparrowの 反 射 モ デ ル10)を 用 い て,拡 散 反 射 係 数 の 推 定 部 で 出 力 さ れ た ハ イ ライ ト画 像 か ら鏡 面 反 射 係 数 と表 面 粗 さ 係 数 の 推 定 を 行 う.(5)
こ こで,eは パ ッチ の 輝 度 値,θd,θv,θrは そ れ ぞ れ 入 射 光 と法 線,視 線 と法 線,視 線 と正 反 射 方 向 の な す 角 度 を表 す.正 反 射 方 向 と は 光 の 入 射 角 に等 しい 角 度 で反 射 す る方 向 を 指 す.Y,Cは そ れ ぞ れ 光 の 強 度 と光 源 か ら の 物 体 ま で の 距 離 を 表 す.Rd,Rs,σ は そ れ ぞ れ,拡 散 反 射 係 数, 鏡 面 反 射 係 数,表 面 粗 さ係 数 を 表 し,未 知 数 で あ る. 本 推 定 部 の 処 理 の 流 れ を 図4に 示 す.ま ず,推 定 を 行 う グ ル ー プiの 鏡 面 反 射 係 数 と表 面 粗 さ係 数 の 初 期 値 を 設 定 す る.鏡 面 反 射 係 数 の初 期 値 に 関 して は,鏡 面 反 射 係 数 の RGB成 分 を そ れ ぞ れ1.0, 1.0, 1.0に 設 定 す る.表 面 粗 さ 係 数 に 関 して は,文 献11)に お い て 現 実 環 境 に お け る 物体 の 表 面 粗 さ係 数 は0.001か ら0.2の 範 囲 で あ る と報 告 さ れ て い る.ま た,本 推 定 部 で 用 い るTorrance-Sparrowの 反 射 モ デ ル は,表 面 粗 さ係 数 が0に 近 づ くに つ れ て 不 安 定 に な 図3 拡 散 反 射 係 数 の 推 定 処 理 の 流 れFlow diagram of estimating adiffuse reflectance proper-ties.
る性 質 を 有 して い る こ とか ら,表 面 粗 さ係 数 の 初 期 値 を0.2 に 設 定 す る.本 推 定 部 で は,拡 散 反 射 成分 を 考 慮 しな い の で,グ ル ー プiの 拡 散 反 射 係 数 の 初 期 値 をRGB成 分 す べ て 0.0に 設 定 す る.そ し て,設 定 さ れ た 初 期 値 と拡 散 反 射 係 数 の 推 定 部 で 出 力 され た ハ イ ラ イ ト画 像 と シー ンの3次 元 形 状,お よび 光 源 情 報 を 入 力 と して 推 定 を 開 始 す る.な お, ハ イ ラ イ ト画 像 に お い て,処 理 の 対 象 とす る 画 素 は2.2節 と同 様 に 閾 値th1よ り大 きい 輝 度 値 を も つ 画 素 で あ る. 以 上 の 入 力 を も と に,シ ー ン をTorrance-Sparrowの 反 射 モ デ ル に 基 づ い て レ ン ダ リ ン グ し,シ ー ン 内 の 鏡 面 反 射 成 分 の み を描 画 した鏡 面 反 射 成 分 画 像ISnを 生 成 す る.次 に,各 グル ー プiに 対 して,実 写 画 像 に お け る 平 均 輝 度 値 Bmi ,nと 鏡面 反射成 分画 像Isnに おけ る平 均輝度 値Bsi,n を 算 出 す る.こ れ らの 誤 差Esi,nと 差 分Si,nを 以 下 の 式 で 計 算 す る.
(6)
(7)
次 に,各 グル ー プiの 鏡 面 反 射 の色 に注 目 して 閾値 判 定 を行 う.す な わ ち,ハ イ ラ イ ト画 像 と鏡 面反 射 成 分 画 像ISnの 平 均 輝 度 値 の 差 分Si,nが 閾 値th4よ りも 大 きい 場 合,こ れ らの 両 画 像 間 で グ ル ー プiの 鏡 面 反 射 成 分 の 色 が 似 て い な い とみ な し,以 下 の 式 で各 グル ー プiの 鏡 面 反 射 係 数Rsi,n を 更 新 して 処 理 の最 初 に 戻 る.(8)
差 分Si,nが 閾 値th4以 下 で あ る場 合,ハ イ ラ イ ト画 像 の 鏡 面 反 射 成 分(輝 度 値 が 閾 値th1以 上)の 画 素 数Nmnと 鏡 面 反 射 成 分 画 像Isnに お け る鏡 面 反 射 成 分(輝 度 値 が 閾 値 th1以 上)の 画 素 数NSnの 差￨Nmn-Nsn￨を 計 算 す る. 次 に,鏡 面 反 射 の広 が りに注 目 して 閾 値 判 定 を 行 う.す な わ ち,ハ イ ラ イ ト画 像 と鏡 面 反 射 成 分 画 像ISnに お け る 画 素 数 の 差 が￨Nmn-Nsn￨>th5の 場 合,こ れ ら の両 画 像 間 で グル ー プiの 鏡 面 反 射 成 分 の 広 が りが 似 て い な い と み な し,以 下 の 条 件 で 表 面 粗 さ係 数 σi,nを更 新 して 処 理 の 最 初 に戻 る. (1) Nsi,n<Nmi,n:σi,nに σstepを加 え る (2) Nsi,n>Nmi,n:σi,nか ら σstepを引 く 一 方￨Nmi ,n-Nsi,n￨≦th5の 場 合 は鏡 面 反 射 係 数 と表 面 反 射 係 数 の 推 定 処 理 を 終 了 し,現 在 の鏡 面 反 射 係 数 と表 面 粗 さ係 数 を 出 力 す る. 3. 仮 想 化 現 実 環 境 の 対 話 的 な 照 明 シ ミ ュ レー シ ョン 物 体 表 面 の 反 射 係 数 が 推 定 さ れ る と,求 め られ た 反 射 係 数 とシ ー ン の3次 元 形 状 か ら実 シー ンを 仮 想 化 す る こ とが で き る.本 研 究 で は,仮 想 化 現 実 環 境 に お け る 照 明 条 件 の 対 話 的 な 操 作 を 目的 と して い る た め,照 明 条 件 を 操 作 した 結 果 を 高 速 に レン ダ リ ン グ す る 必 要 が あ る. そ こで,写 実 的 な シ ミ ュ レー シ ョン 結 果 を 生 成 す る た め に,現 実 環 境 に お い て 広 い 領 域 を 占 め る拡 散 反 射 成 分 に 対 して は,光 の 相 互 反 射 の 影 響 を 考 慮 に 入 れ た 式(1)の ラ ジ オ シ テ ィ法 を 用 い て レ ン ダ リ ン グ を行 うが,鏡 面 反 射 成 分 に 対 し て は 式(5)のTorrance-Sparrowの 反 射 モ デ ル に 基 づ い て,光 の1次 反 射 のみ を 考 慮 して レ ン ダ リ ン グを 行 う こ とで計 算 量 の 増加 を 防 ぎ高 速 な レ ン ダ リ ン グを 実 現 す る. しか しな が ら,照 明 シ ミ ュ レー シ ョン の 対 象 とな る環 境 の 規 模 や 複 雑 さ の 増 大 に伴 い,拡 散 反 射 成 分 を レ ン ダ リ ン グ す る ラ ジオ シ テ ィ法 の計 算 量 が 大 幅 に 増 加 す る.す な わ ち,シ ー ン 内 で 生 じ る複 数 回 の 反 射 を 計 算 す る 必 要 が あ り 実 時 間 レ ン ダ リ ン グが 困難 に な る. そ こで 本 研 究 で は,シ ー ン内 に お け る光 の 反 射 が 収 束 す る ま で の 複 数 回 の 反 射 を段 階 的 に 区 切 り,各 段 階 で の計 算 結 果 に 基 づ い て逐 次 的 に レ ンダ リン グ 結 果 を 更 新 す る方 法 を 用 い る.図5に 逐 次 的 に 出 力 し た レ ン ダ リ ン グ 結 果 の 例 を 示 す.こ れ ら 図 に お い て 壁 の 隅 や 棚 の 内 部 に 注 目す る と, 反 射 が繰 り返 さ れ る につ れ て そ れ らの 部 分 が 次 第 に明 る く な り,仮 想 環 境 に お い て 光 が浸 透 して い く様 子 が 確 認 で き る.こ の 逐 次 的 な レ ン ダ リ ン グ方 法 を 用 い る こ と で,視 覚 的 に違 和 感 が 少 な く対 話 的 に 照 明 操 作 を 行 う こ とが 可 能 と な る. 4. 実 験 対 話 的 な 照 明 シ ミ ュ レー シ ョ ン に お け る 提 案 手 法 の 有 図4 鏡 面 反 射 係 数 と表 面 粗 さ 係 数 の 推 定 処 理 の 流 れ Flow diagram of estimating a specular reflectance prop-erties.図5 逐 次 的 な レ ン ダ リ ン グ 結 果 Results of incremented rendering.
(a)シ ー ンA (b)シ ー ンB 効 性 を 確 認 す る た め に,図6に 示 す シー ン に対 して 実 験 を 行 っ た.シ ー ンAは ミニ チ ュア の 部 屋 で拡 散 反 射 性 の 壁 を も ち,シ ー ン 内 に 半 球 の 鏡 面 反 射 物 体 を 配 置 した.ま た, 光 源 は一 つ で 天 井 の 中央 に 位 置 し,こ の 光 源 以 外 の 光 の 影 響 を 受 け な い よ うに す る た め,実 験 は 暗 室 で 行 っ た.シ ー ンAは 反 射 係 数 に従 っ て2個 の グル ー プ に分 割 さ れ て お り, シ ー ン の 総 パ ッチ 数 は535で あ る.シ ー ンBは 実 際 の 部 屋 で10個 の グ ル ー プ に分 割 さ れ て お り,シ ー ン の 総 パ ッチ 数 は2986で あ る.な お,実 験 に はPentium4 Xeon 1.7GHz Dual,メ モ リー2GByte,グ ラフ ィックカ ー ドNVIDIA社 ・ GeForce3 (VRAM 64MByte)の 計 算 機 を 用 い,提 案 手 法 に お け る 閾 値th1∼th5は 経 験 的 に そ れ ぞ れ45, 1, 10, 1, 5と し,σstepは0.000001に 設 定 し た.フ ォ ー ム フ ァ ク タ の 計 算 を 除 い た 反 射 係 数 の 推 定 に 要 し た 時 間 は,シ ー ンAに 対 し て は 約3時 間,シ ー ンBに 対 し て は 約5時 間 で あ っ た. 4.1 反 射 係 数 推 定 の 評 価 実 験 本 節 で は,提 案 手 法 を用 い て 推 定 さ れ た 反 射 係 数 につ い て 評 価 を 行 う.物 体 の 反 射 係 数 は 物 体 に 固 有 の 量 で あ り, 照 明 条 件 に は 依 存 しな い.そ の た め,照 明 を 固定 して 物 体 を 移 動 させ て 計 測 を 行 っ た場 合 で も推 定 され る反 射 係 数 は 一 定 で な け れ ば な ら な い.そ こ で,シ ー ンAに 対 して 図7 (a)∼(e)の よ うに 鏡 面 反 射 物 体 を 動 か して5種 類 の 異 な る 環 境 を 作 成 し,各 環 境 に お い て 鏡 面 反 射 物 体 の反 射 係 数 を 提 案 手 法 を 用 い て推 定 す る.こ れ らの 環 境 で は,鏡 面 反 射 物 体 の 陰 影 の 状 態 や 物 体 表 面 に 観 測 さ れ るハ イ ラ イ トの位 置 や 大 き さ が 異 な っ て い る.こ の 情 況 で 推 定 さ れ た 物 体 の 反 射 係 数 が各 シー ン で 同 じ値 と な る か を 検 証 す る. 本 実 験 の結 果 を 表1に 示 す.表1のAVE, SDは,そ れ ぞ れ 列 の 平 均 値 と標 準 偏 差 を 表 す.Rd, Gd, Bdは,拡 散 反 射 係 数 のRGB成 分 を 示 して い る.ま た,Rs, Gs, Bsお よ び σは,そ れ ぞ れ 鏡 面 反 射 係 数 のRGB成 分 と表 面 粗 さ係 数 を 示 し て い る.表1よ り,各 反 射 係 数 の 各 成 分 の 標 準 偏 差 が 小 さ い 値 を 示 して お り,反 射 係 数 が 安 定 して 推 定 さ れ て い る こ とが 確 認 で き る. 4.2 照 明 シ ミ ュ レー シ ョン の 評 価 実 験 本 節 で は,シ ー ンAに 対 し て 照 明 シ ミ ュ レ ー シ ョ ン を 行 っ た後 の レ ン ダ リ ン グ 画 像 と 同 じ照 明 条 件 に お け る現 実 環 境 の実 写 画 像 を 比 較 す る こ と に よ り主 観 評 価 を 行 う. (a) (b) (c) (d) (e) 図8(a)は 提 案 手 法 の 入 力 画 像,(b)は 実 際 に 光 源 位 置 を 移 動 さ せ て シー ンAを 撮 影 した実 写 画 像,(c)は(a)の 画 像 を 基 に 推 定 さ れ た各 反 射 係 数 を 用 い て,光 源 の 位 置 を(b) と同 じ位 置 に仮 想 的 に移 動 させ た場 合 の レ ン ダ リ ン グ画 像 で あ る.ま た,図8(d)は,(b)と(c)に 対 して画 素 ご とに画 素 値 の 差 分 を 計 算 し,そ のRGB成 分 の 和 を256段 階 で表 現 し た グ レー ス ケ ー ル 画 像 で あ る.な お,図8(d)は 最 大 値 で ス ケ ー リン グ され て い る。 この結 果 よ り,入 力 画 像(a)を 用 い て推 定 した係 数 を基 に 光 源 を 移 動 した レ ン ダ リ ン グ 画 像(c)が 同 じ条 件 下 の 実 写 画 像(b)に 近 い 結 果 が得 られ て い る こ とが 確 認 で き る.な お,図8(d)の 差 分 画 像 に お け る 画 素 値(RGB成 分 の 和) の 最 大 値 は256段 階 で99で,平 均 値 は約6で あ っ た.こ れ に よ り,各 反 射 係 数 の 推 定 値 が 忠 実 に推 定 され て い る こ と が 確 認 で き る.ま た,実 験 に 使 用 した半 球 は 文 献7)で 用 い ら れ た 鏡 面 性 の 物 体 と類 似 し た も の で あ り,文 献7)で は比 較 的大 き な 誤 差 を 生 じさせ る 原 因 とな って い た が,本 実 験 で は そ の よ う な 誤 差 は な く,両 反 射 成 分 が 精 度 よ く分 離 で き て い る こ と が わ か る. 差 分 の 最 大 値 を もつ 画 素 は,レ ン ダ リ ン グ 時 に お け る エ イ リア シ ン グ が 生 じ る シー ンの エ ッジ 部 分 で観 察 され て い る.ま た 図8(d)か ら,移 動 後 の光 源 に 近 い 画 像 の 右 上 部 分 や 半 球 の 鏡 面 反 射 物 体 の影 付 近 に比 較 的 大 き な 誤 差 が 確 認 で き る. 前者 の 光 源 付 近 に お け る 誤 差 の原 因 と して は,現 実 環 境 に お け る シー ンAの 光 源 条 件 が 正 確 に 与 え られ て い な か っ た こ とが 考 え られ る.後 者 の 影 周 辺 に お け る 誤 差 に 関 して 図6 実 験 対 象 の シ ー ン Real scenes used in experiments,
図7 反 射 係 数 推 定 の 評 価 実 験 環 境 Real scenes used in evaluating the proposed method.
表1 反 射 係 数 推 定 の 評 価 実 験 結 果 Estimated reflectance parameters.
(a)実写画像 (b )実写光源移動 (c)仮想光源移動 (d )差分画像 (a )仮想化現実環境 (b)光源位置の移動 (c) 視点位置の移動 (d)スポットライト 効果 (e)光源色の 変更 (f)仮想光源の付加 は,半 球 の 鏡 面 反 射 物 体 が 落 とす 影 周 辺 で の パ ッチ の 解 像 度 が 不 充 分 で あ った こ とが 原 因 に挙 げ られ る. 4.3 照 明 シ ミ ュ レー シ ョン 結 果 図9は シー ンBに 対 して 照 明 シ ミ ュ レー シ ョン を 行 っ た 結 果 で あ る.図9(a)は 推 定 さ れ た反 射 係 数 を 用 い て シ ー ン を 描 画 した 画 像 で,(b)は 仮 想 化 現 実 環 境 に お い て 光 源 位 置 を 移 動 さ せ た 結 果 で あ る.(c)は,(b)の 照 明 条 件 下 の シ ー ン を 異 な っ た 視 点 か ら見 た 画 像 で,(d)は ス ポ ッ トラ イ トに よ る 照 明 効 果 を シ ミ ュ レー シ ョン し た 結 果 で あ る. ま た,(e)は,光 源 の 色 を 変 化 させ た 場 合 の 照 明 シ ミュ レー シ ョ ン結 果 で,(f)は シ ー ンB中 央 の テ ー ブ ル の 上 に 配 置 さ れ た 卓 上 ライ トに 仮 想 光 源 を 付 加 し,そ の 他 の 照 明 を 消 した場 合 の シ ミ ュ レー シ ョン 画 像 で あ る.な お,照 明 操 作 に 関 して は,3章 で 述 べ た 逐 次 的 な レ ン ダ リ ン グ方 法 を 用 い て 約20fpsで 実 行 可 能 で あ り、 照 明 操 作 を 伴 わ な い 視 点 移 動 に 関 して は,約50fpsで 実 行 可 能 で あ っ た. 4.4 没 入 型 照 明 シ ミ ュ レー シ ョ ン シ ス テ ム 4.3節 で 述 べ た 照 明 シ ミ ュ レー シ ョン の表 示 デバ イ ス と し て,球 面 状 の デ ィス プ レイ を 用 い,没 入 型 照 明 シ ミ ュ レー シ ョ ンシ ス テ ム の プ ロ トタ イ プ を試 作 し た.本 シ ス テ ム の 機 器 構 成 を 表2に 示 す.図10の よ う に,ユ ー ザ は コ ン ト ロー ラ を の 各 ボ タ ンを 用 い て 仮 想 化 現 実 環 境 の 照 明 操 作 や 見 回 しを 直 感 的 に行 う こ とが で き る.ま た 図11に 示 す よ う に,ユ ー ザ の 視 点 を 球 面 の 中 心 に置 く こ と で,高 い 臨 場 感 で照 明 シ ミ ュ レー シ ョン を行 う こ とが 可 能 と な る. 5. あ と が き 本 論 文 で は,拡 散 反 射 と鏡 面 反 射 を含 ん だ 現 実 環 境 の て 反 射 特 性 を 推 定 し,仮 想 化 さ れ た 環 境 に お い て照 明 条 件 の 対 話 的 な 操 作 を 実 現 す る手 法 を 提 案 した. 図8 照 明 シ ミ ュ レ ー シ ョ ン の 評 価 実 験 結 果 Evaluation of virtual relighting.
図9 照 明 シ ミ ュ レ ー シ ョ ン 結 果 Results of virtual relighting.
表2 没 入 型 照 明 シ ミ ュ レ ー シ ョ ン シ ス テ ム の 機 器 構 成 Configuration of immersive virtual relighting system.
図10 没 入 型 照 明 シ ミ ュ レ ー シ ョ ン シ ス テ ム の 操 作 方 法 Operation method of immersive virtual relighting system.
図11 没 入 型 照 明 シ ミ ュ レ ー シ ョ ン シ ス テ ム の 概 観 Appearance of immersive virtual relighting system.
実験 では,鏡 面反 射 を含 んだ現実環 境 に対 して,提 案 手 法 を用いて忠実 な反射 特性の推定 が行 えた ことを確 認 した. また,提 案 手法 を用 い て仮想 化 を行 った シー ンに対 して, 仮想環 境 内で シー ンの照明条件 を対話 的に操作可 能であ る こ とを確 認 した. 今後 の課題 としては,現 実環境 にお ける光源条件 を正確 に 推定 す る必 要 が あ る.ま た,本 論 文 で提 案 した照 明 シ ミュ レー シ ョンを よ り汎 用的な現実環 境 に適 用させ るため には,テ クス チャや写 りこみの ある鏡 面反射 な ど現実環 境 に存在す る複雑 な反射 に も対 応す るよ うに提案 手法を拡 張 す る必要 があ る. 〔文 献 〕 1) 福 冨 弘 敦,町 田 貴 史,横 矢 直 和:"実 写 画 像 を 用 い た 対 話 的 な 照 明 シ ミ ュ レー シ ョン",日 本 バ ー チ ャル リア リテ ィ学 会 第7回 大 会 論 文 集,pp. 375-376 (2002) 2) 福 冨 弘 敦,町 田 貴 史,横 矢 直 和:"対 話 的 な 照 明 シ ミ ュ レー シ ョ ンの た め の 現 実 環 境 の 仮 想 化",信 学 技 報,PRMU2002-136 (2002)
3) C.M.Goral, K.E.Torrance, D.P .Greenberg and B. Battaile: "Modeling the Interaction of Light Between Diffuse Surfaces", Proc. SIGGRAPH'84, pp. 213-222 (1984)
4) T.Nishita and E.Nakamae: "Continuous Tone Representation of Three Dimensional Objects Taking Account of Shadows and Interreflection", Proc. SIGGRAPH'85, pp. 23-30 (1985) 5) A.Fournier, A.S.Gunawan and C. Romanzin: "Common
Illu-mination between Real and Computer Generated Scenes", Proc . Graphics Interface'93, pp. 254-262 (1993)
6) C.Loscos, G.Drettakis and L.Robert: "Interactive Viutual Relighting of Real Scenes", Trans .Visualization and Computer Graphics, 6, 4, pp. 289-305 (2000)
7) S.Boivin and A.Gagalowicz: "Image-Based Rendering of Dif-fuse, Specular and Glossy Surfaces from a Single Image" , Proc. SIGGRAPH 2001, pp. 107-116 (2001)
8) T.Sato, M.Kanbara and N.Yokoya: "Dense 3-D Reconstraction of an Outdoor Scene by Hundreds-Baseline Streo Using Hand-Held Video Camera", International Journal of Computer Vision, pp. 119-129 (2002)
9) M.F.Cohen and D.P.Greenberg: "The HemiCube: A Radios -ity Solution for Complex Environments" , Proc. SIGGRAPH '85, pp. 31-40 (1985)
10) K.E.Torrance and E.M.Sparrow: "Theory for Off-specular Reflection from Roughened Surfaces", Jour. Optical Society of America, 57, pp. 1105-1114 (1967)
11) G.J.Ward: "Measuring and Modeling Anisotropic Reflection", Proc. SIGGRAPH'92, pp. 256-272 (1992) ふ く とみ ひろのぶ
