本 章 で は ，前 章 ま で で 製 作 し た 装 置・作 成 し た プ ロ グ ラ ム を 実 際 に 組 み 合 わ せ て 撮 影 と 投 影 を 行 っ た 実 験 に つ い て 述 べ る 。
5.1 実 験 概 要
本 研 究 の 前 提 と し て ， 臨 場 感 を 得 る た め に は デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ の よ う に 映 像 内 の 人 物 と 背 景 を 分 離 し そ れ ぞ れ を 投 影 す る こ と で 立 体 感 を 持 た せ れ ば 良 い と 仮 定 し た 。 ま た ， 小 ラ イ ブ ハ ウ ス 等 に お い て 大 が か り な 装 置 ， セ ッ ト を 用 い な く て も 簡 単 に 実 現 で き る こ と を 目 標 と し た 実 装 を 行 っ た 。 よ っ て 投 影 環 境 は 室 内 と 想 定 す る 。
実 験 時 の 環 境 条 件 は ，
・ 撮 影 側 は
RGB
映 像 の 撮 影 を 行 う た め 照 明 で 明 る さ を 確 保 し た 上 で ， 人 物 と そ の 背 景 が 映 る よ う に 注 意 し な が らKinect
か ら 約1m～ 4m
の 範 囲 に 人 物 が 待 機 す る 。・ 投 影 側 は プ ロ ジ ェ ク タ を 用 い る た め 部 屋 を 暗 く し た 上 で プ ロ ジ ェ ク タ を 部 屋 の 上 部 に 設 置 し ， 投 影 光 が ア ミ ッ ド ス ク リ ー ン と 背 景 投 影 部 の 両 方 を 含 む よ う に 調 整 す る 。 こ の 時 プ ロ ジ ェ ク タ の 光 量 を 強 く 設 定 し 台 形 補 正 等 が 入 ら な い よ う に 注 意 す る 。
と す る 。 ま た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 う 際 は 投 影 状 況 を 目 視 し な が ら 各 イ メ ー ジ の 頂 点 を 調 整 し て い く 。 実 験 時 に お け る 設 置 状 況 の 概 略 図 を
(図 5.1)に ， 設 置 し た 装 置 の 実 際 の 様 子 を (図 5.2)に 示 す 。
31
(図 5.1
実 験 実 施 時 に お け る 室 内 環 境 の 概 略 図)
投 影 ， 撮 影 の 部 屋 を 分 け ， 被 写 体 と
Kinect
の 距 離 を 約2.5m， プ ロ
ジ ェ ク タ を 床 か ら 約2.5m，透 過 ス ク リ ー ン と 背 景 投 影 用 の 通 常 の ス ク
リ ー ン を 約1m
の 距 離 と し た 。観 測 は(図 5.5)内 の 青 領 域 で お こ な っ た 。
32
(図 5.2
設 置 し た 装 置 の 実 際 の 様 子)
5.2 結 果
今 回 の 実 験 に は 同 研 究 室 所 属
22
歳 ～28
歳 の 学 生4
人 に 被 験 者 と し て 協 力 し て も ら っ た 。 被 験 者 は 全 員 九 州 工 業 大 学 所 属 の 男 性 で あ る 。 実 験 方 法 は ， 単 純 に カ メ ラ 映 像 を 投 影 し た 様 子 と 本 研 究 の 手 法 を 用 い た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に よ る 投 影 の 様 子 の2
つ の パ タ ー ン を プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ す る と こ ろ か ら 見 て も ら い コ メ ン ト を も ら う と い う も の で あ る 。 実 験 時 の ア ミ ッ ド ス ク リ ー ン に プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ し て い る 様 子 を(
図5.3)に 示 す 。
33
(図 5.3
実 験 時 の 様 子 上 ： 視 聴 領 域 正 面 側 下 ： 視 聴 領 域 側 面 側)
34
実 験 の 結 果 は ， 本 研 究 の 手 法 を 用 い た 抽 出 映 像 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 自 体 は 成 功 し た が ， 問 題 点 も 多 く 被 験 者 と な っ て も ら っ た 方 々 か ら の コ メ ン ト で も 同 問 題 点 を 指 摘 さ れ た 。 コ メ ン ト を 以 下 に 述 べ る 。
プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に お け る 画 像 の 位 置 合 わ せ 等 の 簡 単 さ は 伝 わ っ た 。
立 体 的 に な っ て い る と い う こ と は 伝 わ っ た が ，臨 場 感 と 言 わ れ る と 印 象 が 薄 か っ た 。
人 物 抽 出 精 度 に お け る ノ イ ズ が 目 立 っ て い た 。
真 正 面 か ら 見 た と き 背 景 映 像 の 光 に よ っ て 手 前 の 人 物 が 見 え づ ら か っ た 。
デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ を 単 純 に 等 身 大 に 近 い セ ッ ト サ イ ズ に 適 応 し た こ と は 正 か っ た の か 。
そ も そ も デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ に よ っ て 臨 場 感 が 得 ら れ る と い う 仮 定 を 実 証 す る 予 備 実 験 が 必 要 だ っ た の で は な い か 。
実 行 時 の タ イ ト ル バ ー や シ ス テ ム バ ー が 気 に な る 。5.3 改 善 案
上 記 し た 問 題 点 を 解 決 す る た め に は コ メ ン ト で も 指 摘 が あ っ た よ う に ， そ も そ も 臨 場 感 が 得 ら れ る と い う 確 証 を 得 る た め の 事 前 実 験 を 実 施 す る 必 要 が あ っ た と 感 じ る 。 ま た ， そ れ に 付 随 し て よ り 立 体 感 を 表 現 で き る 投 影 方 法
(
例：プ ロ ジ ェ ク タ の 適 正 な 高 さ ，ス ク リ ー ン の 配 置35
位 置 ，プ ロ ジ ェ ク タ の 投 影 光 量
)を 割 り 出 し ，本 研 究 手 法 に 用 い る 際 の
適 正 な 方 法 を 考 え る 必 要 が あ っ た 。人 物 検 出 精 度 に つ い て は ， 本 研 究 手 法 で は 簡 単 な 導 入 方 法 を 想 定 し 可 能 な 限 り 標 準 機 能 を 用 い て 行 う た め に
Kinect
性 能 に 依 存 し た 検 出 を 行 っ て い た の で ，精 度 を 確 保 す る に はKinect
の 深 度 情 報 を 用 い た 人 物 及 び 境 界 の 特 定[7]を 併 用 し た り ，既 存 の 境 界 ・ 特 徴 点 検 出 ア ル ゴ リ
ズ ム(SIFT
やSURF
な ど)を 用 い た 人 物 抽 出 に し た り す る 必 要 が あ る 。
も し く はKinect v2
と い っ た 高 機 能 な セ ン サ ー に 切 り 替 え る と い う 方 法 も 考 え ら れ る 。 ま た 本 研 究 で は 背 景 領 域 に 床 の 映 像 も 含 ま れ て し ま う た め ア ミ ッ ド ス ク リ ー ン に 投 影 さ れ る 人 物 が 浮 い て 見 え て し ま う と い う 問 題 点 も あ っ た た め ， 本 来 の デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ の よ う に 人 物 領 域 ， 背 景 領 域 ， 床 面 領 域 と い っ た3
面 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に す る 必 要 性 が あ る と 感 じ た 。こ の 為 に は や は り ，Kinect の 機 能 だ け の 検 出 で は な く ， 境 界 を 検 出 す る 他 の ア ル ゴ リ ズ ム を 導 入 し 背 景 と 床 面 も 切 り 離 す 必 要 が あ る 。36