KINECTを用いた人物抽出映像の立体視感マッピングによる臨場感の評価

平 成 ２ ６ 年 度 卒 業 論 文

KINECT

を用いた人物抽出映像の立体視

感マッピングによる臨場感の評価

平 成

27 年 2 月 16 日

11111044

宮 﨑 葵

指 導 教 員 三 浦 元 喜 准 教 授

九 州 工 業 大 学 工 学 部 総 合 シ ス テ ム 工 学 科

概 要

現 在 ， ラ イ ブ ビ ュ ー イ ン グ と い う ア ー テ ィ ス ト や パ フ ォ ー マ ー に よ る ラ イ ブ の 同 時 中 継 が 多 数 行 わ れ て い る 。 こ の ラ イ ブ ビ ュ ー イ ン グ と は 小 ラ イ ブ ハ ウ ス や 劇 場 の ス ク リ ー ン に て 現 地 会 場 の 様 子 を 上 映 す る と い う も の で あ る 。 本 研 究 は ， こ の ラ イ ブ ビ ュ ー イ ン グ に お い て も 現 地 会 場 と の 差 を な く そ う と い う 考 え か ら 行 っ た も の で あ る 。 そ こ で 今 回 ，Kinect を 用 い て 人 物 の 映 像 を 抽 出 し 立 体 感 を 持 た せ て プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ す る こ と で ， 単 に 映 像 を 投 影 す る 場 合 よ り も 比 較 的 簡 単 に 現 地 会 場 に 近 い 臨 場 感 が 認 め ら れ る の で は な い か と い う 仮 定 を た て た 。 本 研 究 で は ， そ の 実 装 へ の 取 り 組 み と 実 際 に プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 っ た 実 験 の 際 に お け る 周 囲 の 評 価 を 得 て 考 察 を 行 っ た 。

目 次

第

1 章 序 論

1

1.1 研 究背 景

1

1.2 プ ロジ ェク ション マッピ ン グの歴 史

3

1.3 バ ーチ ャル アイド ルと透 過 スクリ ーン

4

1.4 本 論文 の構 成

6

第

2 章 提 案手 法 の考察

7

2.1 Kinect の機 能につ いて

7

2.2 透 過ス クリ ーンに ついて

9

2.3 プ ロジ ェク ション マッピ ン グによ る映像 投 影

12

第

3 章 研 究に 用 いた手 法の詳 細

14

3.1 全 体の 構成

14

3.2 入 力 (撮影 )側 に用い る手法

15

3.3 出 力 (投影 )側 に用い る手法

18

第

4 章 研 究に 用 いたシ ステム の 詳細

21

4.1 開 発環 境

21

4.2 人 物抽 出の プログ ラム

22

4.3 プ ロジ ェク ション マッピ ン グのプ ログラ ム

26

第

5 章 実験

30

5.1 実験概 要

30

5.2 結果

32

5.3 改善案

34

第

6 章 結論

36

謝 辞

37

参 考 文 献

38

付 録

40

1

第

1 章 序論

本 章 で は ， 本 研 究 に い た っ た 背 景 と 関 連 事 項 に つ い て 述 べ る 。

1.1 研究背 景

現 在 ， 日 本 に は 数 多 く の 音 楽 ア ー テ ィ ス ト や ダ ン ス パ フ ォ ー マ ー が 存 在 し ， そ の 多 く は 日 本 各 地 の 主 要 都 市 に あ る ア リ ー ナ ， ド ー ム ， ス タ ジ ア ム ， コ ン サ ー ト ホ ー ル に お い て ラ イ ブ コ ン サ ー ト ， ラ イ ブ パ フ ォ ー マ ン ス(以 下 ラ イ ブ )を 行 っ て い る 。 こ の ラ イ ブ で 最 も 重 要 視 さ れ る こ と は ， テ レ ビ 放 映 や ラ ジ オ 放 送 の 通 常 放 送 の よ う に 録 音 ， 録 画 に よ る も の で は な く リ ア ル タ イ ム に よ る 公 演 で あ り 実 際 に 足 を 運 び 自 分 の 目 で 見 て 感 じ る と い う こ と で あ る 。ラ イ ブ な ら で は の 音 響 シ ス テ ム ， ス ポ ッ ト 照 明 ， 会 場 と の 一 体 感 な ど 数 値 化 は 難 し い が 生 で し か 感 じ ら れ な い 特 別 な 感 覚 を 味 わ う た め 多 く の 観 客 が 足 を 運 ぶ 。 し か し ， こ れ ら の ラ イ ブ が 行 わ れ る 会 場 に 収 容 で き る 人 数 に は 限 界 が あ り ， 特 設 ス テ ー ジ を 除 く と 日 産 ス タ ジ ア ム の 約 7 万 人 が 最 大 で あ る と 言 わ れ て お り ， 全 て の 人 が 観 覧 に 行 け る こ と は な く 基 本 的 に 抽 選 が 行 わ れ る 。 ま た ， 開 催 地 は 首 都 圏 で 行 わ れ る こ と が 多 く 地 方 に 住 む 人 に は 少 な か ら ず ハ ン デ ィ が あ る 。 こ の よ う な 問 題 の 解 決 に し ば し ば ラ イ ブ ビ ュ ー イ ン グ が 行 わ れ る 。(図 1.1)ラ イ ブ ビ ュ ー イ ン グ と は 本 会 場 の ラ イ ブ の 様 子 を 映 画 館 等 の 上 映 施 設 に て 生 放 送 す る 方 法 で ， 抽 選 に 落 ち て チ ケ ッ ト 等 を 確 保 で き な か っ た 人 だ け で な く ， 地 方 に 住 ん で い て 会 場 が 遠 く 行 け な い 人 も 近 場 の 上 映 場 で 観 覧 で き る 。 こ の ラ イ ブ ビ ュ ー イ ン グ で も 会 場 に お け る 公 演 の 臨 場 感 を 表 現 で き る よ う 大 が か り な 音 響 設

2 備 を 用 い て い る よ う だ が ， 映 像 に 関 し て は 単 に 上 映 だ け を 行 う こ と が 多 い 。 そ こ で ， 視 覚 的 に も よ り 本 物 に 近 い 臨 場 感 を 表 現 で き れ ば ， 本 会 場 と の 差 異 を 減 ら せ る と 考 え た 。映 像 に よ る 臨 場 感 の 表 現 と し て 3D つ ま り 立 体 感 が 重 要 で あ る と 仮 定 し た 。 こ こ で い う 立 体 感 と は ラ イ ブ を 行 う 人 物 と 背 景 を 切 り 離 し て 映 像 化 す る こ と で あ る 。 今 回 そ の 方 法 と し て 人 物 と 背 景 を 切 り 離 す 操 作 に Kinect の 機 能 を 使 用 し ，映 像 化 す る 操 作 に バ ー チ ャ ル ア イ ド ル 「 初 音 ミ ク 」 の 3D ホ ロ グ ラ フ ィ に よ る ラ イ ブ の よ う に 立 体 感 を も た せ た 映 像 の 上 映 方 法 を 用 い る 手 法 を 提 案 す る 。 本 研 究 で は ， こ の 手 法 に よ り 簡 単 に 低 コ ス ト で 立 体 感 の あ る 映 像 を 実 現 し 臨 場 感 を 表 現 で き る か に つ い て 調 査 ・ 評 価 を 行 う 。 (図 1.1 ラ イ ブ ビ ュ ー イ ン グ の イ メ ー ジ 図 )

3

1.2 プロジ ェク ション マッピ ン グの歴 史

プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ と は コ ン ピ ュ ー タ で 生 成 し た コ ン ピ ュ ー タ グ ラ フ ィ ッ ク(CG)や カ メ ラ で 撮 影 し た 映 像 や イ メ ー ジ を 建 物 や 車 と い っ た オ ブ ジ ェ ク ト の 物 理 表 面 な ど に プ ロ ジ ェ ク タ を 用 い て 映 写 し ， オ ブ ジ ェ ク ト の 形 状 や 状 況 に 合 わ せ イ メ ー ジ を 張 り 付 け る 技 術 の こ と で あ る 。 日 本 で は 「 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 」 と い う 呼 び 方 が 一 般 的 で あ る が ，そ の 他 に「3D マ ッ ピ ン グ 」や「 ビ ジ ュ ア ル マ ッ ピ ン グ 」， ま た 単 に 「 マ ッ ピ ン グ 」 と 称 さ れ る こ と も あ る 。 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ の 起 源 は デ ィ ズ ニ ー ラ ン ド の ホ ー ン テ ッ ド マ ン シ ョ ン に お け る 胸 像 へ の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ と 言 わ れ て い る 。 コ ン ピ ュ ー タ 制 御 の 技 術 が ま だ 無 い 1969 年 に ア ナ ロ グ 映 写 機 を 用 い て 顔 の 映 像 を 胸 像 に 投 影 し た と い う 。 こ の 技 術 は デ ィ ズ ニ ー ラ ン ド に 存 在 す る 数 多 く の ア ト ラ ク シ ョ ン を 設 計 ・ 製 作 し て い る ウ ォ ル ト デ ィ ズ ニ ー イ マ ジ ニ ア リ ン グ(WDI)に よ っ て も た ら さ れ た 。 開 園 当 初 か ら 愛 さ れ る 「 白 雪 姫 と 七 人 の 小 人 」 や ス リ リ ン グ な ア ト ラ ク シ ョ ン「 タ ワ ー・オ ブ・テ ラ ー 」，大 人 気 と な っ た 夜 の エ ン タ ー テ イ メ ン ト シ ョ ー 「 ワ ン ス ・ ア ポ ン ・ タ イ ム 」 な ど に お い て ， こ の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ の 技 術 が 惜 し み な く 用 い ら れ て い る[1]。 日 本 で は 2010 年 に 行 わ れ た 映 画 の フ ィ ル ム プ レ ミ ア が 初 と 言 わ れ ， 長 崎 ハ ウ ス テ ン ボ ス や 東 京 デ ィ ズ ニ ー ラ ン ド と い っ た 施 設 で の 商 業 利 用 に も 用 い ら れ る よ う に な っ た 。 現 在 は 普 及 が 進 み 様 々 な 演 出 に 用 い ら れ る ほ か ， プ ロ ジ ェ ク タ の 普 及 が 進 ん だ こ と も あ り 個 人 で 行 う 事 例

4 も あ る 。

1.3 バーチ ャル アイド ルと透 過 スクリ ーン

バ ー チ ャ ル ア イ ド ル と は 実 在 は し な い 仮 想 ア イ ド ル の こ と で あ る 。 バ ー チ ャ ル ア イ ド ル と 言 っ て も ギ ャ ル コ ン で 活 躍 し た 商 品 化 を 目 指 す 3DCG に よ る バ ー チ ャ ル ア イ ド ル ， グ ラ ビ ア ア イ ド ル を CG 化 し た バ ー チ ャ ル ネ ッ ト ア イ ド ル な ど が あ る が ， 本 研 究 で 挙 げ て い る バ ー チ ャ ル ア イ ド ル と は 2007 年 以 降 に 普 及 を 始 め た 「 初 音 ミ ク 」「 鏡 音 リ ン ・ レ ン 」「 巡 音 ル カ 」 等 の 音 声 合 成 DTM(デ ス ク ト ッ プ ミ ュ ー ジ ッ ク )ソ フ ト ウ ェ ア で あ る 。(図 1.2)こ れ ら は 音 声 合 成 技 術 VOCALOID を 使 用 し た バ ー チ ャ ル ア イ ド ル 歌 手 で 独 自 の 音 声 を 持 つ 人 工 物 と し て 画 期 的 な 技 術 で あ っ た 。ま た 初 音 ミ ク を は じ め と す る バ ー チ ャ ル ア イ ド ル は ， 非 営 利 を 目 的 と し て い れ ば ほ ぼ 自 由 な 利 用 を 認 め て い る た め 多 く の ユ ー ザ が こ れ ら の バ ー チ ャ ル ア イ ド ル を 利 用 し た 作 品 を 公 開 し た 。 普 及 を 始 め たDTM は 3D ホ ロ グ ラ ム 技 術 を 活 用 し た ラ イ ブ の 開 催 が 試 み ら れ ， そ の 際 に 用 い ら れ た も の が DILAD ス ク リ ー ン と 呼 ば れ る 透 過 ス ク リ ー ン で あ る 。ガ ラ ス や ア ク リ ル に 貼 付 し 観 測 者 に 対 し て 正 面(ス ク リ ー ン か ら し て 背 後)か ら の 投 影 (リ ア プ ロ ジ ェ ク シ ョ ン )を 行 う こ と で な に も な い 空 間 に バ ー チ ャ ル ア イ ド ル が 実 在 す る よ う な 錯 覚 を 起 こ さ せ る 。 し か し 透 過 ス ク リ ー ン に は 拡 散 性 に 欠 点 が あ り ， 観 測 者 と 透 過 ス ク リ ー ン と の 間 に 大 き な 角 度 が 生 ま れ る と 観 測 は 難 し い 。 そ こ で 高 視 野 角 を 実 現 さ せ る た め に 複 数 台 で の 同 期 投 影 が 行 わ れ て い る 。 こ れ に よ り DILAD ボ ー ド を 用 い た 映 像 投 影 に は 大 き な コ ス ト が 掛 か っ て し ま う 。 こ の 代 替 案 と し て ア ミ ッ ド P こ と 青 木 敬 士 氏 が 開 発 ， 公 開 し

5 た の が 網 戸 を 用 い る ア ミ ッ ド ス ク リ ー ン ， ま た 農 業 用 ポ リ 袋 を 用 い る ポ リ ッ ド ス ク リ ー ン で あ る 。 こ れ ら は 精 度 こ そ 劣 る も の の 低 コ ス ト で 準 備 で き る こ と か ら 個 人 ま た そ の 集 ま り に よ る 研 究 ・ 制 作 が 盛 ん に 行 わ れ る よ う に な り ニ コ ニ コ 技 術 部 で も 多 く の 公 開 動 画 が 見 受 け ら れ る よ う に な っ た 。 ま た こ れ ら は 動 画 投 稿 だ け で な く ， 日 本 各 地 で イ ベ ン ト が 開 催 さ れ る よ う に な り 技 術 の 伝 達 ・ 発 展 が 行 わ れ て い る 。 (図 1.2 初 音 ミ ク [画 像 引 用 :初 音 ミ ク 販 売 元 CRYPTON FUTURE MEDIA, INC 公 式 ブ ロ グ よ り ])[2]

6

1.4 本論文 の構 成

本 論 文 に お い て ， ・ 第 2 章 で は ， 本 研 究 に 用 い る 手 法 に つ い て 考 察 す る 。 ・ 第 3 章 で は ， 本 研 究 に 用 い た 手 法 に つ い て 述 べ る 。 ・ 第 4 章 で は ， 本 研 究 に 用 い た プ ロ グ ラ ム の 構 成 に つ い て 述 べ る 。 ・ 第 5 章 で は ， 投 影 実 験 に 基 づ く 結 果 と 考 察 を 行 う 。 ・ 第 6 章 で は ， 本 研 究 と 論 文 に つ い て の 総 括 を 述 べ る 。

7

第

2 章 提案手法の考察

本 研 究 に 使 用 す る 系 へ の 採 用 を 検 討 す る 際 ， 特 に 次 の 3 つ の 要 素 ①Kinect セ ン サ ー ② 透 過 ス ク リ ー ン ③ プ ロ ジ ェ ク タ(プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ ) が 重 要 と な っ た 。 本 章 に て こ れ ら の 性 質 に つ い て 考 察 を 行 う 。

2.1 Kinect の機 能につ いて

本 研 究 に お け る 人 物 検 出 の 要 と な るKinect と は ，2010 年 に Microsoft よ り 発 売 さ れ た セ ン サ ー デ バ イ ス で あ る 。当 初 は ゲ ー ム 機 で あ る Xbox 360 端 末 向 け の 付 属 機 器 「 Kinect For Xbox 360」 と し て ， ゲ ー ム 本 体 と 同 時 に 販 売 さ れ た が ， 画 期 的 な セ ン サ ー デ バ イ ス と し て の 注 目 が 集

ま り 2012 年 に Windows PC 向 け の 「 Kinect for Windows」 と し て 開 発 者 向 け に 新 た に リ リ ー ス さ れ た 。Kinect に は RGB 情 報 を 取 得 で き る RGB セ ン サ ー ，セ ン サ ー か ら の 距 離 を 取 得 で き る 深 度 セ ン サ ー が 扱 え ， そ の 他 に も 赤 外 線 カ メ ラ や マ ル チ ア レ イ マ イ ク ロ フ ォ ン が 搭 載 さ

れ て い る 。 こ れ ら を 組 み 合 わ せ る こ と で カ メ ラ 画 像 の 取 得 ， 距 離 画 像

の 取 得 ， 人 間 の 関 節 の 特 定 ， 音 源 位 置 の 特 定 な ど が 行 え る 。

当 研 究 室 で 用 意 さ れ て い た Kinect は 「 Kinect for Xbox 360」 で あ り(図 2.1)，本 研 究 に は こ れ を 用 い て い る が ，Windows 用 と Xbox 用 の 違 い は 主 に ，

8 ・ 商 用 利 用 の 可 否

・Xbox へ の 対 応 ・Near モ ー ド の 搭 載

が 挙 げ ら れ る 。商 用 利 用 に 関 し て は ，Windows 用 に の み 認 め ら れ て い る 。Xbox へ の 対 応 は Xbox 用 の み 対 応 し て い て Windows 用 の 動 作 に は PC が 必 要 で あ る 。次 に Near モ ー ド と は Windows 用 か ら 搭 載 さ れ た 機 能 で あ る 。深 度 情 報 の 計 測 可 能 範 囲 は デ フ ォ ル ト で 80cm～ 4m と 設 定 し て あ り Windows 用 で は さ ら に 40cm～ の 計 測 が 可 能 な Near モ ー ド が 搭 載 さ れ て い る 。 た だ し こ の モ ー ド で は 6 人 同 時 の 人 物 追 跡 に HIP_CENTER(腰 の 位 置 )し か 指 定 で き ず 身 体 全 体 の 指 定 は で き な い 。 セ ン サ ー 情 報 を 用 い た PC で の 開 発 向 け に Kinect for Windows SDK が リ リ ー ス さ れ て お り ，Windows で の ソ フ ト ウ ェ ア 開 発 の 際 に 用 い る と 非 常 に 便 利 で あ る 。Microsoft 提 供 の デ バ イ ス で は あ る が ， Mac OS で も 使 用 は 可 能 で あ り ， こ ち ら で は OpenNI と NITE， ま た こ れ ら を よ り 使 い や す く ま と め た Simple OpenNI を 導 入 す る 必 要 が あ る 。た だ し ，OpenNI と NITE を 提 供 す る OpenNI 公 式 サ イ ト

(http://www.openni.org/)が 2014 年 4 月 Apple 社 の 買 収 に よ り 閉 鎖 し て い る た め 導 入 の 際 は 注 意 が 必 要 で あ る 。

本 研 究 に は Mac OS を 使 用 し て い る た め Simple OpenNI を 導 入 し ， 人 物 検 出 に 関 す る プ ロ グ ラ ム を 作 成 す る 。 ま た リ ア ル タ イ ム な 取 得 と

投 影 を 行 う こ と を 目 的 と す る た め ， 従 来 の 人 物 抽 出 に 用 い ら れ た ク ロ

9

た り せ ず に 各 映 像 の 取 得 を 行 え る よ う に 処 理 を 行 う こ と を 前 提 と す る 。

(図 2.1 研 究 に 用 い た Kinect for Xbox 360)

2.2 透過ス クリ ーン に ついて

透 過 ス ク リ ー ン は 基 本 的 に ， 光 を 通 せ る 透 明 な ガ ラ ス や ア ク リ ル 板 に 特 殊 な フ ィ ル ム を 張 る こ と で 半 透 明 ス ク リ ー ン に し た も の で あ る 。 ス ク リ ー ン 背 面 か ら 左 右 反 転 し た 映 像 を 投 影(リ ア プ ロ ジ ェ ク シ ョ ン ) す る こ と で 正 面 か ら 見 る と 映 像 と 背 景 が 見 え る と い う 仕 組 み で あ る 。 (図 2.2)

10 (図 2.2 透 過 ス ク リ ー ン へ の リ ア プ ロ ジ ェ ク シ ョ ン ) こ の 透 過 ス ク リ ー ン の 特 徴 と し て 光 の 透 過 率 と 視 野 角 が 相 反 す る こ と が 挙 げ ら れ ， 透 過 率 を 上 昇 さ せ る と 視 野 角 が 狭 く な る た め 背 面 は 見 や す く な る が 横 か ら の 視 認 が 困 難 に な り ， 透 過 率 を 下 降 さ せ る と 視 野 角 が 広 く な る た め 背 面 は 見 え に く い が 広 範 囲 か ら の ス ク リ ー ン 映 像 視 認 が 可 能 に な る 。 こ の 特 徴 を 最 大 限 に 生 か す 為 に ， 使 用 時 の 条 件 に 合 わ せ た 適 切 な 素 材 選 択 や 使 用 す る ス ク リ ー ン の 構 造 を 選 定 す る 必 要 が あ る 。 本 研 究 で は ス ク リ ー ン を 通 し て 見 え る 背 景 に も 別 映 像 と し て Kinect で 撮 影 し た 映 像 か ら 被 写 体 の 背 景 情 報 切 り 離 し 投 影 (図 2.3)し ， よ り 被 写 体 の 実 環 境 に 近 い 状 況 を 作 り 出 す こ と を 想 定 す る た め 透 過 性 を 重 視 し た 素 材 選 定 を 行 う 必 要 が あ る 。 し か し ， ラ イ ブ ビ ュ ー イ ン グ の よ う に ， 多 く の 人 が 広 い 角 度 で ス ク リ ー ン を 観 測 す る 状 況 も 想 定 し た 場 合 も 考 え て あ る 程 度 の 視 野 角 の 確 保 も 必 要 で あ る 。

11 (図 2.3 背 景 と 透 過 ス ク リ ー へ の 2 面 フ ロ ン ト プ ロ ジ ェ ク シ ョ ン ) 透 過 ス ク リ ー ン に は 比 較 的 に 安 価 で 自 作 で き る も の(ア ミ ッ ド ス ク リ ー ン ， ポ リ ッ ド ス ク リ ー ン)と 営 利 目 的 時 に 使 用 す る 高 価 な DILAD ス ク リ ー ン が あ る 。 本 研 究 で は ラ イ ブ ビ ュ ー イ ン グ 等 を 想 定 し ， 臨 場 感 を 得 る た め に 人 物 抽 出 映 像 の 立 体 投 影 を よ り 簡 単 に 実 現 す る こ と が 目 的 で あ る た め ，DILAD ボ ー ド 使 用 申 請 を 出 す ほ ど で は な く 自 作 可 能 な 透 過 ス ク リ ー ン で 十 分 で あ る と 判 断 す る 。 よ っ て ア ク リ ル に ポ リ 素 材 系 の ビ ニ ー ル を 貼 付 し た ポ リ ッ ド ス ク リ ー ン か 網 戸 を 利 用 し た ア ミ ッ ド ス ク リ ー ン が 良 い の で は な い か と 考 え た 。 ポ リ ッ ド ス ク リ ー ン の 特 徴 と し て 透 過 性 は 非 常 に 高 い が 視 野 角 が 厳 し い た め ， 本 研 究 で は 透 過 性 と 視 野 角 の 両 方 を 視 点 に 入 れ た ア ミ ッ ド ス ク リ ー ン の な か で も 網 目 が 大 き め の も の を 用 い る 。

12

2.3 プロジ ェク ション マッピ ン グによ る 映像 投 影

プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ は テ ー マ パ ー ク 等 で 華 や か な 演 出 を 表 現 す る た め に 用 い ら れ る こ と が 多 い が ， プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 自 体 は す で に 広 く 普 及 を 始 め て い る た め ， 事 前 に 画 像 や 動 画 を 用 意 し て い れ ば 個 人 で 簡 単 に 行 え る こ と も 多 い 。 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ も 可 能 な VJ ソ フ ト や iPad と モ バ イ ル プ ロ ジ ェ ク タ を 接 続 し て プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ が 行 え る ア プ リ PRSPCTV(URL: http://prspctv.minoaimino.com/?lang=ja)等 が 公 開 さ れ て い る か ら で あ る 。 よ っ て 単 に 個 人 で 楽 し む 程 度 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ の 実 現 は 簡 単 で あ る が ，本 実 験 の よ う に Kinect か ら の 取 得 画 像 を リ ア ル タ イ ム で 処 理 し ， さ ら に プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 う と い う 特 殊 な 環 境 で は 既 製 品 を 用 い る こ と は 難 し く 余 計 な 手 間 が 増 え て し ま う と 考 え ら れ る た め ，Kinect と の 親 和 性 を 視 野 に い れ た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ プ ロ グ ラ ム の 作 成 を 行 う 。 プ ロ グ ラ ム 作 成 に 当 た っ て は Processing と い う ビ ジ ュ ア ル プ ロ グ ラ ミ ン グ 環 境 を 使 用 し た 。 こ れ は ビ ジ ュ ア ル ア ー ト に 特 化 し た プ ロ グ ラ ミ ン グ 言 語 で あ り 2 次 元 ， 3 次 元 空 間 を 想 定 し た 図 形 の 描 画 ， マ ウ ス や タ ッ チ 操 作 で 図 形 を 操 作 す る 直 感 性 に 利 が あ り ， コ ー ド 作 成 は Java を 基 本 と し た 構 成 で 書 く こ と が 可 能 で あ る 。 ま た Processing 内 で Kinect を 使 用 す る こ と が 可 能 と い う 特 徴 も あ り ， 本 研 究 の よ う に Kinect か ら の イ メ ー ジ 情 報 の 操 作 ，プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ と い っ た 映 像 の 加 工 と 直 観 的 な 操 作 に あ た っ て は 最 適 で あ る と 考 え た 。 本 研 究 で は ， 小 さ な ラ イ ブ ハ ウ ス や 劇 場 と い っ た 場 所 で も 簡 単 な 方

13 法 と 操 作 で 映 像 内 の 人 物 抽 出 と そ の 映 像 の 投 影 に よ り 立 体 感 の 再 現 を 行 え る 環 境 の 開 発 を 考 え て い る た め ， で き る 限 り 標 準 環 境 内 の 機 能 ま た は 最 低 限 追 加 す る べ き フ レ ー ム ワ ー ク で 実 現 で き る 機 能 を 使 用 し た プ ロ グ ラ ム 構 築 を 目 標 と す る 。 具 体 的 な プ ロ グ ラ ム の 内 容 と 構 成 に つ い て は 後 述(第 4 章 )す る が Kinect 導 入 の 際 に 使 用 す る フ レ ー ム ワ ー ク Simple OpenNI の 標 準 機 能 と Processing 搭 載 の 関 数 に よ っ て 比 較 的 簡 単 な プ ロ グ ラ ム コ ー ド の 作 成 に 至 っ た 。

14

第

3 章 研究に用いた手法の詳細

本 章 で は ， 研 究 に 使 用 し た 装 置 に つ い て 述 べ る 。 入 力 側 と し て 人 物 と そ の 背 景 を 含 む 被 写 体 の Kinect を 使 用 し た 撮 影 ，出 力 側 と し て プ ロ ジ ェ ク タ と ア ミ ッ ド ス ク リ ー ン(透 過 ス ク リ ー ン )を 使 用 し た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ が あ る 。

3.1 全体の 構成

全 体 の 大 ま か な 構 成 と し て ３ つ に 大 別 で き る 。(図 3.1)実 際 に 被 写 体 を Kinect の カ メ ラ で 撮 影 す る 入 力 側 ，処 理 し た 映 像 を プ ロ ジ ェ ク タ で 透 過 ス ク リ ー ン と 背 景 に 投 影 し マ ッ ピ ン グ す る 出 力 側 ， こ れ ら の 処 理 を 行 う PC と な っ て い る 。ま た Kinect の 性 能 上 約 1m 以 上 は 被 写 体 と 距 離 を 置 き ， 全 身 が 収 ま る 必 要 が あ る 。 装 置 間 の 接 続 は 有 線 で あ り プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ は 目 視 を し な が ら 行 う た め ， あ ま り PC と の 距 離 を お く こ と が で き な い 点 に 注 意 し た 。 (図 3.1 研 究 に 用 い た 装 置 の 全 体 構 成 )

15

3.2 入力 (撮 影)側に用 いる手 法

第 2 章 1 節 で も 紹 介 し た が 本 研 究 で は Kinect for Xbox 360 を 使 用 し た 。Kinect の 機 能 と し て 複 数 の カ メ ラ セ ン サ ー 情 報 (RGB 情 報 ， 深 度 情 報 ，赤 外 線 情 報)を 使 用 す る こ と で 人 の 骨 格 を 判 断 で き る 。(図 3.2) ま た そ の 領 域 に 人 が 居 る こ と を 判 断 し て 処 理 が で き る[4][5]。 Kinect 自 体 は Microsoft 社 が 開 発 し て い る も の の ， MacOSX 等 で も Kinect の 操 作 は 可 能 で あ り 今 回 は こ ち ら で 操 作 を 行 っ た 。

(図 3.2 Kinect に 搭 載 さ れ て い る カ メ ラ と セ ン サ ー )

ま た ， こ の Kinect セ ン サ ー に は Windows 版 と Xbox 版 と の 違 い の ほ か に Kinect v2 と い う 次 世 代 型 の バ ー ジ ョ ン ア ッ プ し た 形 態 の も の も 開 発 さ れ て い る 。今 回 用 い た Kinect for Xbox360 を Kinect v1 と す る と ，こ れ ら の 大 き な 違 い は 深 度 情 報 の 読 み 取 り 方 に あ る 。Kinect v1

16 で は ， 深 度 セ ン サ ー か ら 発 光 し た 赤 外 線 を 深 度 カ メ ラ で 受 光 す る こ と で 対 象 物 と の 距 離 を 測 定 し て い る の に 対 し ，Kinect v2 で は 深 度 セ ン サ ー と 深 度 カ メ ラ が 一 体 化 し 発 光 し た 赤 外 線 が 反 射 し て 戻 っ て く る ま で の 時 間 に よ り 対 象 と の 距 離 を 測 定 し て い る 。 そ の 他 の 異 な る 点 ， 改 善 さ れ て い る 点 を 下 表(表 3.1)に ま と め た 。後 述 す る 本 研 究 に お け る 改 善 点 の い く つ か は ， こ の Kinect v2 を 用 い る こ と で も 改 善 で き る で あ ろ う 。 (表 3.1 Kinect v1 と Kinect v2 の 違 い )

Kinect v1

Kinect v2

カ メ ラ 解 像 度

640×480 1920×1080

人 物 姿 勢 検 出 可 能 人 数

2 人 6 人

人 物 関 節 可 能 検 出 数

20 関 節 25 関 節

深 度 情 報 の 取 得 範 囲

0.8～ 4.0m 0.5～ 8.0m * Kinect v2 で は 環 境 光 が 少 な い 場 合 自 動 的 に fps を 落 と す 機 能 も あ る 。 今 回 は Kinect v1 と い う こ と で ，被 写 体 と カ メ ラ と の 距 離 は 4.0m 以 内 に す る 必 要 が あ り ，本 研 究 で は 2.5m ほ ど の 距 離 を お い て 撮 影 し た 。 ま た ， 投 影 す る ア ミ ッ ド ス ク リ ー ン の 色 は 灰 色 で あ っ た た め 被 写 体 の 服 装 が 暗 い 色 で あ っ た と き 投 影 時 に 映 り づ ら い ， も し く は 見 え づ ら い こ と も あ っ た 。そ の た め ，撮 影 時 は 比 較 的 明 る い 服(実 験 で は 上 着 が 赤

17 色 の パ ー カ ー ，下 が 灰 色 の ジ ー ン ズ)を 着 て 撮 影 を 行 っ た 。Kinect の 設 置 場 所 は 床 面 か ら 約 1.0m の 距 離 (実 験 時 は 脚 立 の 天 板 部 )の と こ ろ に 設 定 し た 。 撮 影 時 の 環 境 光 が 少 な い 場 合 ，Kinect に よ る RGB カ メ ラ 情 報 が う ま く 取 得 で き な い た め 撮 影 側 の 部 屋 で は 電 灯 を 点 け て 撮 影 し た 。(図 3.3) (図 3.3 Kinect に よ る 撮 影 側 (入 力 側 )の 撮 影 時 の 様 子 )

18

3.3 出力 (投 影)側に用 いる手 法

本 研 究 に お い て の 出 力 側 と は プ ロ ジ ェ ク タ と ア ミ ッ ド ス ク リ ー ン (透 過 ス ク リ ー ン )を 用 い た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ の こ と を 指 す 。 こ の 透 過 ス ク リ ー ン へ 人 物(多 く は バ ー チ ャ ル ア イ ド ル と い っ た キ ャ ラ ク タ)を 投 影 す る と い う 技 術 は 開 発 者 の 青 木 敬 士 を は じ め ，一 般 の ユ ー ザ(ニ コ ニ コ 動 画 で は ニ コ ニ コ 技 術 部 の タ グ が つ い た も の )に よ り 発 展 を 遂 げ て い る 。 今 回 用 い た 手 法 の 参 考 に し た も の は ， そ の 中 の デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ と い う も の で あ る[6]。こ の 手 法 で は バ ー チ ャ ル ア イ ド ル の 動 作 等 を 作 成 す る MikuMikuDance(MMD)に て モ ー シ ョ ン を 作 成 す る 際 ， ラ イ ブ ス テ ー ジ(背 景 )， バ ー チ ャ ル ア イ ド ル (人 物 )， ス テ ー ジ 演 出(床 面 )を そ れ ぞ れ 分 離 し 1 つ の 動 画 内 で そ れ ぞ れ が 再 生 さ れ る 状 態 に し た 後 ，接 続 し た iPad と モ バ イ ル プ ロ ジ ェ ク タ を 用 い て 専 用 ア プ リ で プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 い 机 上 で ホ ロ グ ラ フ ィ ラ イ ブ を 再 現 す る と い う も の で あ る 。 従 来 の 透 過 ス ク リ ー ン を 用 い た バ ー チ ャ ル ア イ ド ル の 投 影 は リ ア プ ロ ジ ェ ク シ ョ ン を 行 い キ ャ ラ ク タ だ け を 空 間 に 投 影 し キ ャ ラ ク タ の 存 在 を 表 現 す る と い っ た も の に 対 し ， こ の 手 法 で は フ ロ ン ト プ ロ ジ ェ ク シ ョ ン(こ の 場 合 セ ッ ト に 対 し て 上 方 か ら の 投 影)を 行 う こ と で 透 過 ス ク リ ー ン だ け で な く 背 部 の セ ッ ト に 対 し 背 景 の 投 影 ， 床 面 に 対 し ス ポ ッ ト ラ イ ト 等 の ス テ ー ジ 演 出 の 投 影 が 可 能 と な っ た 。 私 は こ の 手 法 を 拝 見 し た 際 ， 従 来 の 投 影 方 法 よ り さ ら に キ ャ ラ ク タ の 存 在 に 臨 場 感 を 覚 え た た め ， こ の 手 法 を 参 考 に す る こ と を 決 め た 。こ の 手 法 を 公 開 し て い る HP で は 約 30 ㎝ 四 方 の セ ッ ト で の 製 作 で あ っ た が ， 本 研 究 で は 実 際 に 撮 影 し た 人 物 を 投 影 す る と

19 い う 状 況 の た め ， プ ロ ジ ェ ク タ の 設 置 位 置 も 加 味 し 透 過 ス ク リ ー ン を 約 1m の 高 さ に な る よ う に 製 作 し た 。 製 作 に 当 た っ て は ア ミ ッ ド ス ク リ ー ン 開 発 者 の 青 木 敬 士 に よ る 製 作 方 法 を 参 考 に し た 。 製 作 に 用 い た 材 料 は ホ ー ム セ ン タ ー 等 で 比 較 的 安 価 に 手 に 入 る も の を 使 用 し て い る 。 材 料 は 下 表 に 示 す 。(表 3.2) (表 3.2 透 過 ス ク リ ー ン 製 作 材 料 )

ス ク リ ー ン 部

① 網 戸 用 張 替 防 虫 ネ ッ ト 91cm×2m 18 メ ッ シ ュ グ レ イ 1 巻

骨 組 み 部

② 水 道 用 塩 化 ビ ニ ル パ イ プ(径 13m) 2m 5 本 ③TS 継 手 エ ル ボ (径 13mm) 4 個 ④TS 継 手 テ ィ ー ズ (径 13mm) 4 個 ⑤TS 継 手 キ ャ ッ プ (径 13mm) 2 個 結 合 部 ⑥ ス テ ン レ ス な べ 小 ネ ジ M4×40 4 本 ⑦ ス テ ン レ ス 蝶 ナ ッ ト M4 2 個 ⑧ ス テ ン レ ス リ ン グ キ ャ ッ チ 3mm 2 個 ⑨ ロ ッ ク タ イ 黒(結 束 バ ン ド ) 1 袋 組 み 立 て の イ メ ー ジ は(図 3.4)に あ る が 本 研 究 で 製 作 し た ア ミ ッ ド ス ク リ ー ン は ， 網 戸 が 2 重 に な っ て い る 点 に 注 意 す る 。

20 (図 3.4 ア ミ ッ ド ス ク リ ー ン を 背 面 か ら 見 た イ メ ー ジ ) 上 図 の 番 号 は(表 3.2)内 の 材 料 に 割 り 振 っ た 番 号 と 対 応 し て い る 。転 倒 防 止 の た め 背 面 接 地 部 の 骨 組 み を 囲 う 様 に 組 み 立 て 網 戸 側 面 の パ イ プ と 背 面 接 地 部 の パ イ プ を 斜 め の パ イ プ で 固 定 し て い る 。 プ ロ ジ ェ ク タ に 関 し て は ア ミ ッ ド ス ク リ ー ン と 背 景 投 影 部 の 両 方 を 含 ん で 光 が 投 影 さ れ る よ う に よ り 高 さ の あ る 上 部 に 設 置 し ， 危 機 の 設 定 で 台 形 補 正 が 入 ら な い よ う に す る こ と ， 光 量 を 強 く す る こ と に 注 意 す る 。

21

第

4 章 研究に用いたシステムの詳細

本 章 で は ，研 究 に 使 用 し た 装 置 の PC に お け る 処 理 に つ い て 述 べ る 。 PC で の 処 理 は Kinect か ら の 情 報 の 処 理 ， 処 理 し た 映 像 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 一 個 の プ ロ ジ ェ ク ト 内 で 一 括 し て 行 う 。 プ ロ グ ラ ム 詳 細 は 本 論 文 付 録 に 記 載 す る 。

4.1 開発環 境

本 研 究 に お い て 処 理 に 用 い た PC の 詳 細 は 下 表 で あ る 。 (表 4.1 研 究 に 用 い た PC の 詳 細 ) 機 種 MacBook Air プ ロ セ ッ サ Intel Core i5 1.7GHz メ モ リ 4GB 1600MHz ソ フ ト ウ ェ ア OSX 10.9.5 内 蔵 デ ィ ス プ レ イ 11 イ ン チ (1366×768) USB USB3.0 Hi-Speed/SuperSpeed パ ス

Kinect の ソ フ ト ウ ェ ア 要 件 で は メ モ リ が 2GB(推 奨 は 4GB)， USB2.0 端 子 で の 接 続 と な っ て い る の で こ の 点 は 問 題 な い 。

次 に ， 実 際 に 処 理 に 関 す る プ ロ グ ラ ム の 作 成 を 行 っ た 開 発 環 境 で あ

る が Processing を 用 い た 。 Processing と は MIT メ デ ィ ア ラ ボ に よ っ て 開 発 さ れ た オ ー プ ン ソ ー ス で あ る 。Java を 単 純 化 し グ ラ フ ィ ッ ク 機 能 に 特 化 し た 言 語 を 用 い て い て ， 電 子 ア ー ト や ビ ジ ュ ア ル デ ザ イ ン の

22 た め の 統 合 開 発 環 境 で あ る 。Processing で 作 成 さ れ た コ ー ド は ブ ラ ウ ザ 上 で の 動 作 ，Android 端 末 や iOS 端 末 で の 動 作 も 可 能 で あ る 。 本 研 究 で は Processing2.2.1 を 導 入 し た 。 Processing で 今 回 の コ ー ド を 作 成 す る に あ た り 導 入 し た ラ イ ブ ラ リ は ，Processing 上 Kinect を 操 作 す る た め の 3 種 類 で あ る 。 ①OpenNI ②NITE ③Simple-OpenNI ① ，② は Kinect か ら の デ ー タ を 取 得 し た り 人 物 の 姿 勢 を 認 識 し た り す る 際 に 使 用 し ，③ は Processing で OpenNI を 使 え る よ う に す る た め に 使 用 す る 。 ま た こ れ ら は ， バ ー ジ ョ ン ア ッ プ に 伴 い 内 部 関 数 の 改 変 等 が 行 わ れ て い る た め そ れ ぞ れ バ ー ジ ョ ン を そ ろ え て 用 い る こ と が 望 ま し い 。 本 研 究 で は ， ① ～ ③ そ れ ぞ れ OSX 用 の バ ー ジ ョ ン 0.20 に あ た る バ ー ジ ョ ン の も の を 使 用 し た 。(現 在 ① ，② に 関 し て は 公 開 HP の 閉 鎖 に 伴 い 導 入 す る 際 に は 自 己 責 任 と な る)

4.2 人物抽 出の プログ ラム

本 節 で は ， 本 研 究 で 作 成 し た プ ロ グ ラ ム コ ー ド 内 の 人 物 検 出 と 検 出 領 域 の 処 理 に つ い て 述 べ る 。 こ の 処 理 は プ ロ グ ラ ム 内 に お け る 「 人 物 判 定 フ ェ イ ズ 」 に あ た る 。(図 4.1) こ の フ ェ イ ズ の 中 で も 人 物 検 出 に 関 す る 部 分(図 中 (1))と 検 出 領 域 の 処 理(図 中 (2))に 分 け ら れ ， 以 下 こ れ ら に つ い て 説 明 す る 。

23 (図 4.1 プ ロ グ ラ ム 内 人 物 検 出 フ ェ イ ズ 抜 粋 )

(1)人物抽 出に つ いて

人 物 抽 出 に つ い て の 処 理 方 法 は ，OpenNI の 機 能 で 行 う こ と が で き る 。た だ し ，こ の 方 法 は バ ー ジ ョ ン 0.20 に お け る 機 能 に 準 拠 し て お り ， バ ー ジ ョ ン が 上 が る と .getUsersPixels( ) 関 数 内 に お い て ， SimpleOpenNI.USERS_ALL --- 人 の 全 身 骨 格

24 を 指 定 す る こ と が で き な い 。 こ れ は ， 上 記 定 数 が バ ー ジ ョ ン ア ッ プ に 伴 い 削 除 さ れ て い る た め で あ り ， こ れ 以 外 の 頭 部 ， 肩 部 ， 肘 部 等 と い っ た 部 分 指 定 な ら 可 能 で あ る 。 こ の 関 数 を 用 い る 際 は プ ロ グ ラ ム 冒 頭 の 初 期 設 定 時 に ， .enableUser(SimpleOpenNI.SKEL_PROFILE_ALL); を 記 載 し ， 骨 格 検 出(全 身 )を 有 効 化 し な け れ ば な ら な い 。

(2)検出領 域の 処 理につ いて

(1)で 検 出 し た 人 物 領 域 と そ れ 以 外 の 背 景 の 領 域 の 処 理 を 行 う 。 Processing で は イ メ ー ジ を 扱 う 際 PImage と い う 特 殊 な 型 を 用 い る が ， 人 物 情 報 を 保 存 す る も の と 背 景 情 報 を 保 存 す る も の を 2 つ 用 意 す る 。 PImage で 用 意 さ れ た イ メ ー ジ は ピ ク セ ル 単 位 で 操 作 可 能 で ， .loadPixels() --- ピ ク セ ル の 読 み 込 み .updatePixels()--- ピ ク セ ル の 更 新 を 使 用 す る こ と で ピ ク セ ル 情 報 の 読 み 込 み と 更 新 を 行 う 。Kinect か ら の RGB 情 報 や ピ ク セ ル の カ ラ ー 情 報 は 1 行 の 配 列 と し て 渡 さ れ る た め ， 任 意 座 標 の ピ ク セ ル 検 索 は x+y*kinect.rgbWidth() --- (x,y)座 標 の ピ ク セ ル を 用 い て 行 う 。 人 物 領 域 と 背 景 領 域 の 条 件 分 岐 は(1)で 渡 さ れ た usermap を 用 い ，ピ ク セ ル 単 位 で 判 断 と 処 理 を そ れ ぞ れ 行 う 。人 物 領 域 の 処 理 は ， そ の 領 域 に 該 当 す る ピ ク セ ル を そ れ ぞ れ img1 に 格 納 す る 。 背 景 領 域 の 処 理 は ， 人 物 が い る 場 所 の 背 景 を 補 填 す る た め に backpixel[]と い う 色 情 報 を 一 時 的 に 保 存 す る カ ラ ー 配 列 を 用 意 し ， 1

25 度 そ の 配 列 に RGB 情 報 の 該 当 ピ ク セ ル カ ラ ー を 保 存 し て ， 改 め て img2 に 格 納 を 行 う 。 こ れ に よ り RGB 情 報 の 各 ピ ク セ ル は 背 景 領 域 と 判 定 さ れ る た び に backpixel[]に 保 存 さ れ る こ と に な り ，人 物 領 域 に あ た る ピ ク セ ル は 直 前 の カ ラ ー 情 報 を 読 み 出 す こ と に よ り 背 景 と し て 表 示 す る こ と が で き る 。下 図 は 実 際 に Kinect で 撮 影 し た 映 像 を 人 物 領 域 と 背 景 領 域 に 分 離 し て 表 示 し た 様 子 で あ る 。(図 4.2) (図 4.2 人 物 領 域 と 背 景 領 域 の 分 離 表 示 上 ： 正 面 か ら の 撮 影 下 ： 姿 勢 変 更 時) 上 図 の 通 り ，今 回 の 人 物 検 出 は Kinect の 標 準 機 能 の み で 行 っ て お り 検 出 精 度 は Kinect に 依 存 す る た め ノ イ ズ が あ る こ と が わ か る 。人 物 検 出 に 関 し て は 上 図 下 部 の よ う に 姿 勢 を 変 え た 場 合 も 検 出 可 能 な こ と が わ か る 。

26

4.3 プロジ ェク ション マッピ ン グのプ ログラ ム

本 節 で は プ ロ グ ラ ム 内 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に 関 す る 処 理 に つ い て 述 べ る 。 こ の 処 理 は プ ロ グ ラ ム 内 に お け る 「2 面 マ ッ ピ ン グ 設 定 フ ェ イ ズ 」及 び「 テ ク ス チ ャ 頂 点 操 作 フ ェ イ ズ 」に あ た る 。(図 4.3) (図 4.3 プ ロ グ ラ ム 内 2 面 マ ッ ピ ン グ 設 定 /テ ク ス チ ャ 頂 点 操 作 フ ェ イ ズ 抜 粋 )

27

2 面マ ッピン グ設 定につ いて

本 研 究 に お い て Processing を 用 い て プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 う 際 ，OpenGL の 機 能 で あ る テ ク ス チ ャ (texture)を 用 い た 。 現 行 バ ー ジ ョ ン の Processing で は OpenGL ラ イ ブ ラ リ を 特 に 指 定 し な く て も 使 う こ と が で き る 仕 様 と な っ て い る 。 テ ク ス チ ャ と し て 画 像 イ メ ー ジ や 動 画 映 像 を 設 定 す る と ， テ ク ス チ ャ 内 イ メ ー ジ を 動 的 に 操 作 可 能 と な る 。 テ ク ス チ ャ の 設 定 は beginShape() ～ endShape() 内 で 行 い ，vertex に よ り テ ク ス チ ャ 頂 点 を 指 定 し 形 状 を 決 定 す る 。 vertex で は ， テ ク ス チ ャ と し て 設 定 す る イ メ ー ジ 内 の 頂 点 と し て 設 定 し た い ピ ク セ ル 座 標 と そ れ に 該 当 す る テ ク ス チ ャ の 座 標 を 対 応 さ せ る 。 こ れ に よ り テ ク ス チ ャ の 頂 点 に 操 作 を 加 え た と き 元 の イ メ ー ジ 内 で も 同 様 の 操 作 が 行 わ れ 動 的 な 変 形 等 が 可 能 と な る 。 本 研 究 で は ，Kinect か ら 取 得 す る 640×480 の イ メ ー ジ (た だ し ， 前 工 程 で 人 物 領 域 と 背 景 領 域 に 分 離 し た2 つ の イ メ ー ジ )を そ れ ぞ れ プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ す る た め ，img1 と img2 そ れ ぞ れ の テ ク ス チ ャ を 設 定 し た 。

テ ク ス チ ャ 頂 点 操 作 に つ い て

本 研 究 に お け る プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ は 直 観 的 な 操 作 を め ざ し ，実 際 の 投 影 状 況 を 目 視 し な が ら mac 搭 載 の ト ラ ッ ク パ ッ ド に て ド ラ ッ グ 操 作 を 行 う 構 成 に し た 。 こ の フ ェ イ ズ で は 大 ま か に ク リ ッ ク を し て い る 場 合 と ク リ ッ ク を し て い な い 場 合 の 2 つ の 状 況 に お け る ポ イ ン タ 情 報 を 使 用 し て い る 。 本 研 究 で 作 成 し た プ ロ グ ラ ム で は 冒 頭 に お い て テ ク ス チ ャ の 頂 点 情 報 を 格 納 す る 配 列 を 用 意 し て い る た め ， ク リ

28 ッ ク を し て い る 場 合 の 処 理 は ポ イ ン タ の 座 標 と 頂 点 の 座 標 を 置 き 換 え る と い う 単 純 な も の で あ る 。 ク リ ッ ク を し て い な い 場 合 は ， マ ウ ス ポ イ ン タ と 各 頂 点(本 研 究 で は 2 つ の イ メ ー ジ の 合 計 8 つ の 頂 点 )と の 距 離 を 計 算 し ， そ の 距 離 が 一 定 の 距 離 内 に あ る と き 次 の 処 理 に 移 る 。 こ の 一 定 の 距 離 を 吸 着 距 離 と し ，本 研 究 で は 25 と 設 定 し た 。こ の 距 離 の 値 が 大 き く な れ ば ， マ ウ ス ポ イ ン タ が よ り 遠 く の 場 合 で も 頂 点 付 近 に 近 づ い た と 判 断 さ れ る よ う に な る た め ， 実 際 の 投 影 状 況 等 に 合 わ せ て 変 更 す る 必 要 が あ る 。 吸 着 距 離 内 に あ る 場 合 の 処 理 は ， ポ イ ン タ と の 距 離 を 吸 着 距 離 に 設 定 し ， 選 択 頂 点 を 1 つ の 頂 点 に 特 定 し て い る 。 ま た ， ク リ ッ ク し て い る 場 合 も ク リ ッ ク し て い な い 場 合 も 頂 点 に 近 づ い た 際 に は ポ イ ン タ の 位 置 に 円 の 表 示 を 行 い 視 覚 的 に 認 識 し や す く し ， 操 作 性 の 向 上 を 行 っ て い る 。 実 際 に こ れ ら の 用 い た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 っ て い る 際 の 実 行 画 面 を(図 4.4)に 示 す 。

29

30

第

5 章 実験

本 章 で は ，前 章 ま で で 製 作 し た 装 置・作 成 し た プ ロ グ ラ ム を 実 際 に 組 み 合 わ せ て 撮 影 と 投 影 を 行 っ た 実 験 に つ い て 述 べ る 。

5.1 実験概 要

本 研 究 の 前 提 と し て ， 臨 場 感 を 得 る た め に は デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ の よ う に 映 像 内 の 人 物 と 背 景 を 分 離 し そ れ ぞ れ を 投 影 す る こ と で 立 体 感 を 持 た せ れ ば 良 い と 仮 定 し た 。 ま た ， 小 ラ イ ブ ハ ウ ス 等 に お い て 大 が か り な 装 置 ， セ ッ ト を 用 い な く て も 簡 単 に 実 現 で き る こ と を 目 標 と し た 実 装 を 行 っ た 。 よ っ て 投 影 環 境 は 室 内 と 想 定 す る 。 実 験 時 の 環 境 条 件 は ， ・ 撮 影 側 は RGB 映 像 の 撮 影 を 行 う た め 照 明 で 明 る さ を 確 保 し た 上 で ， 人 物 と そ の 背 景 が 映 る よ う に 注 意 し な が ら Kinect か ら 約 1m～ 4m の 範 囲 に 人 物 が 待 機 す る 。 ・ 投 影 側 は プ ロ ジ ェ ク タ を 用 い る た め 部 屋 を 暗 く し た 上 で プ ロ ジ ェ ク タ を 部 屋 の 上 部 に 設 置 し ， 投 影 光 が ア ミ ッ ド ス ク リ ー ン と 背 景 投 影 部 の 両 方 を 含 む よ う に 調 整 す る 。 こ の 時 プ ロ ジ ェ ク タ の 光 量 を 強 く 設 定 し 台 形 補 正 等 が 入 ら な い よ う に 注 意 す る 。 と す る 。 ま た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 う 際 は 投 影 状 況 を 目 視 し な が ら 各 イ メ ー ジ の 頂 点 を 調 整 し て い く 。 実 験 時 に お け る 設 置 状 況 の 概 略 図 を(図 5.1)に ， 設 置 し た 装 置 の 実 際 の 様 子 を (図 5.2)に 示 す 。

31

(図 5.1 実 験 実 施 時 に お け る 室 内 環 境 の 概 略 図 )

投 影 ， 撮 影 の 部 屋 を 分 け ， 被 写 体 と Kinect の 距 離 を 約 2.5m， プ ロ ジ ェ ク タ を 床 か ら 約 2.5m，透 過 ス ク リ ー ン と 背 景 投 影 用 の 通 常 の ス ク リ ー ン を 約 1m の 距 離 と し た 。観 測 は (図 5.5)内 の 青 領 域 で お こ な っ た 。

32 (図 5.2 設 置 し た 装 置 の 実 際 の 様 子 )

5.2 結果

今 回 の 実 験 に は 同 研 究 室 所 属 22 歳 ～ 28 歳 の 学 生 4 人 に 被 験 者 と し て 協 力 し て も ら っ た 。 被 験 者 は 全 員 九 州 工 業 大 学 所 属 の 男 性 で あ る 。 実 験 方 法 は ， 単 純 に カ メ ラ 映 像 を 投 影 し た 様 子 と 本 研 究 の 手 法 を 用 い た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に よ る 投 影 の 様 子 の 2 つ の パ タ ー ン を プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ す る と こ ろ か ら 見 て も ら い コ メ ン ト を も ら う と い う も の で あ る 。 実 験 時 の ア ミ ッ ド ス ク リ ー ン に プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ し て い る 様 子 を(図 5.3)に 示 す 。

33

34 実 験 の 結 果 は ， 本 研 究 の 手 法 を 用 い た 抽 出 映 像 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 自 体 は 成 功 し た が ， 問 題 点 も 多 く 被 験 者 と な っ て も ら っ た 方 々 か ら の コ メ ン ト で も 同 問 題 点 を 指 摘 さ れ た 。 コ メ ン ト を 以 下 に 述 べ る 。  プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に お け る 画 像 の 位 置 合 わ せ 等 の 簡 単 さ は 伝 わ っ た 。  立 体 的 に な っ て い る と い う こ と は 伝 わ っ た が ，臨 場 感 と 言 わ れ る と 印 象 が 薄 か っ た 。  人 物 抽 出 精 度 に お け る ノ イ ズ が 目 立 っ て い た 。  真 正 面 か ら 見 た と き 背 景 映 像 の 光 に よ っ て 手 前 の 人 物 が 見 え づ ら か っ た 。  デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ を 単 純 に 等 身 大 に 近 い セ ッ ト サ イ ズ に 適 応 し た こ と は 正 か っ た の か 。  そ も そ も デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ に よ っ て 臨 場 感 が 得 ら れ る と い う 仮 定 を 実 証 す る 予 備 実 験 が 必 要 だ っ た の で は な い か 。  実 行 時 の タ イ ト ル バ ー や シ ス テ ム バ ー が 気 に な る 。

5.3 改善案

上 記 し た 問 題 点 を 解 決 す る た め に は コ メ ン ト で も 指 摘 が あ っ た よ う に ， そ も そ も 臨 場 感 が 得 ら れ る と い う 確 証 を 得 る た め の 事 前 実 験 を 実 施 す る 必 要 が あ っ た と 感 じ る 。 ま た ， そ れ に 付 随 し て よ り 立 体 感 を 表 現 で き る 投 影 方 法(例：プ ロ ジ ェ ク タ の 適 正 な 高 さ ，ス ク リ ー ン の 配 置

35 位 置 ，プ ロ ジ ェ ク タ の 投 影 光 量)を 割 り 出 し ，本 研 究 手 法 に 用 い る 際 の 適 正 な 方 法 を 考 え る 必 要 が あ っ た 。 人 物 検 出 精 度 に つ い て は ， 本 研 究 手 法 で は 簡 単 な 導 入 方 法 を 想 定 し 可 能 な 限 り 標 準 機 能 を 用 い て 行 う た め に Kinect 性 能 に 依 存 し た 検 出 を 行 っ て い た の で ，精 度 を 確 保 す る に は Kinect の 深 度 情 報 を 用 い た 人 物 及 び 境 界 の 特 定[7]を 併 用 し た り ，既 存 の 境 界・特 徴 点 検 出 ア ル ゴ リ ズ ム(SIFT や SURF な ど )を 用 い た 人 物 抽 出 に し た り す る 必 要 が あ る 。 も し く は Kinect v2 と い っ た 高 機 能 な セ ン サ ー に 切 り 替 え る と い う 方 法 も 考 え ら れ る 。 ま た 本 研 究 で は 背 景 領 域 に 床 の 映 像 も 含 ま れ て し ま う た め ア ミ ッ ド ス ク リ ー ン に 投 影 さ れ る 人 物 が 浮 い て 見 え て し ま う と い う 問 題 点 も あ っ た た め ， 本 来 の デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ の よ う に 人 物 領 域 ， 背 景 領 域 ， 床 面 領 域 と い っ た 3 面 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に す る 必 要 性 が あ る と 感 じ た 。こ の 為 に は や は り ，Kinect の 機 能 だ け の 検 出 で は な く ， 境 界 を 検 出 す る 他 の ア ル ゴ リ ズ ム を 導 入 し 背 景 と 床 面 も 切 り 離 す 必 要 が あ る 。

36

第

6 章 結論

本 研 究 で は ラ イ ブ ビ ュ ー イ ン グ の よ う に 人 物 の 映 像 を 投 影 す る 状 況 を 想 定 し ， 撮 影 地 さ な が ら の 臨 場 感 を 表 現 す る た め の 立 体 感 を 再 現 す る た め に Kinect を 用 い た 人 物 映 像 の 抽 出 と そ の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ と い う 手 法 を 提 案 し た 。 研 究 に 関 す る シ ス テ ム の 開 発 に は ビ ジ ュ ア ル 操 作 に 強 い Processing を 用 い て Kinect か ら の 情 報 の 操 作 や プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 っ た が ， 今 回 の よ う に 複 雑 な 処 理 を 標 準 機 能 だ け で 再 現 す る の は 厳 し い こ と が わ か っ た 。 ま た デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ で は 3 面 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ だ っ た の に 対 し ， 安 易 に 2 面 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に し た こ と で 立 体 感 で は な く 浮 遊 感 が 生 ま れ て し ま っ た 。 や は り デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ の 手 法 に 従 い 3 面 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に す る た め ， 人 物 検 出 だ け で な く 境 界 検 出 に よ る 人 物 ， 背 景 ， 床 面 の 切 り 離 し が 必 要 だ と 感 じ た 。 ま た 研 究 背 景 と し て こ の 手 法 に よ り 臨 場 感 が 得 ら れ る と 恣 意 的 に 判 断 し 仮 定 し て い た が ， こ の 過 程 を 立 証 す る も の は な く こ れ に つ い て の 研 究 が 事 前 に 必 要 で は な い か と 思 う 。 こ の 様 な 分 野 は VOCALOID や MMD を 使 用 す る 一 般 ユ ー ザ に よ る 発 展 を 遂 げ て い る た め よ り 活 発 な 研 究 ・ 開 発 が 行 わ れ る こ と を 期 待 す る 。

37

謝 辞

本 研 究 に あ た り ， 研 究 内 容 ・ 進 行 法 な ど ， 様 々 な 面 で ご 指 導 し て く だ さ り ま し た 三 浦 准 教 授 に ，こ の 場 を 借 り て 心 よ り 御 礼 申 し 上 げ ま す 。 加 え て ，研 究 期 間 中 に 御 教 授 し て い た だ い た 情 報 セ ク シ ョ ン の 先 生 方 ， 先 輩 方 に 御 礼 申 し 上 げ ま す 。 ま た ， 研 究 室 の 方 々 を 始 め と す る ， 実 験 に 協 力 し て い た だ い た 方 々 に ， 重 ね て 御 礼 申 し 上 げ ま す 。

38

参考文献

[1] Mine, M. R., van Baar, J., Grundhöfer, A., Rose, D., & Yang, B. (2012). Projection-Based Augmented Reality in Disney Theme Parks. IEEE Computer, 45(7), 32-40.

[2] 初 音 ミ ク 公 式 ブ ロ グ,(記 事 投 稿 日 時 )2015/02/10/ 20:40 http://blog.piapro.net/2015/02/u1502101_1.html

(ア ク セ ス 日 ) 2015/02/13

[3] 佐 藤 雄 隆 , 金 子 俊 一 , 丹 羽 義 典 , & 山 本 和 彦 . (2003). Radial reach filter (RRF) に よ る ロ バ ス ト な 物 体 検 出 . 電 子 情 報 通 信 学 会 論 文 誌 D, 86(5), 616-624. [4]橋 本 直 (2012) AR プ ロ グ ラ ミ ン グ ― Processing で つ く る 拡 張 現 実 感 の レ シ ピ ― オ ー ム 社 [5]中 村 薫 (2011) KINECT セ ン サ ー プ ロ グ ラ ミ ン グ 秀 和 シ ス テ ム [6] は つ ね み く み く 出 た ！ プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 利 用 の お 手 軽 デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ, (記 事 投 稿 日 時 )2013/03/01 20:25 http://vocaloid.blog120.fc2.com/blog-entry-14596.html (ア ク セ ス 日 時 ) 2014/04/16

39

[7]Xia, L., Chen, C. C., & Aggarwal, J. K. (2011, June). Human detection using depth information by kinect. In Computer Vision and Pattern Recognition Workshops (CVPRW), 2011 IEEE

40

付録

付 録 と し て ， 事 件 に 用 い た 人 物 抽 出 映 像 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ

ン グ に 関 す る プ ロ グ ラ ム コ ー ド と 撮 影 し た 映 像 を 単 純 に プ ロ ジ ェ ク シ

41 /******************************************************************/ //Title:人 物 抽 出 映 像 と 背 景 マ ッ ピ ン グ プ ロ グ ラ ム コ ー ド // //Content： ２ 映 像 テ ク ス チ ャ の 頂 点 (選 択 時 円 表 示 )を ド ラ ッ グ し て 映 像 を 貼 付 け る //

//Name： Myazaki Aoi //Date:2015/2/12

/******************************************************************/ import SimpleOpenNI.*;//ver 0.20

SimpleOpenNI kinect;

color[] backpixel = null;// 背 景 保 存 用 色 配 列

/*---マッピング用 頂 点 移 動 要 素 定 義 ---*/ int selected = -1; // 選 択 されている頂 点 代 入 変 数 (頂 点 は 0〜7,-1 は非 選 択 状 態 ) int pos[][] = {{0,0},{640,0},{640,480},{0,480},{640,50},{1280,50},{1280,530},{640,530}};// 初 期 頂 点 ピクセル情 報 座 標 配 列 float minD;//基 準 吸 着 距 離 変 数 float D;//マウスポインタと頂 点 距 離 格 納 変 数 void setup(){ /*---初 期 設 定 フェイズ---*/ size(1280,1024,P3D);//P3D 有 効

kinect = new SimpleOpenNI(this); kinect.enableRGB(); //RGB カメラ有 効 化 kinect.enableDepth();// 深 度 カメラ有 効 化

kinect.alternativeViewPointDepthToImage();// ２カメラの視 点 一 致

kinect.enableUser(SimpleOpenNI.SKEL_PROFILE_ALL);// 骨 格 検 出 有 効 化 (全 身 判 定 )

42

backpixel = new color[kinect. rgbWidth()*kinect.rgbHeight()];

} void draw(){ background(0);//画 面 初 期 化 0=黒 背 景 kinect.update();// キネクトカメラの更 新 //image(kinect.rgbImage(),0,0);// テスト表 示 用 /*---人 物 領 域 判 定 フェイズ---*/ int[] usermap = null; //人 物 情 報 保 存 用

int usercount = kinect.getNumberOfUsers(); // ユーザがいるかどうかの判 断 用 //人 物 がいると判 断 されたとき if(usercount>0){ usermap = kinect.getUsersPixels(SimpleOpenNI.USERS_ALL);// ユーザマップ 取 得 関 数 による情 報 格 納 }

PImage img1 = createImage(640, 480, RG B);//人 物 描 画 テクスチャ用 PImage img2 = createImage(640, 480, RGB);// 背 景 描 画 テクスチャ用

//ピクセル読 み込 み img1.loadPixels(); img2.loadPixels();

//キネクト取 得 映 像 から各 ピクセルを割 り振 る for (int y=0;y<kinect.rgbHeight();y++){ for(int x=0;x<kinect.rgbWidth();x++){

int index = x+y*kinect.rgbWidth();//(x,y) 座 標 のピクセル検 索 方 法

43

if (usermap != null && usermap[index]>0){

img1.pixels[index] = kinect.rgbImage().pixels[index];// 人 物 部 分 の 処 理 }else{ backpixel[index] = kinect.rgbImage().pixels[index];// 非 人 物 部 分 の 処 理 (一 度 backpixel に退 避 ) } img2.pixels[index] = backpixel[index]; } } //ピクセルの更 新 img1.updatePixels(); img2.updatePixels(); /*---2 面 マッピング設 定 フェイズ---*/ noStroke();//縁 なしを設 定 // img1(人 物 側 )をテクスチャとして設 定 し頂 点 指 定 beginShape(); texture(img1); vertex(pos[0][0],pos[0][1], 0, 0); // 左 上 頂 点 指 定 vertex(pos[1][0],pos[1][1], img1.width, 0); // 右 上 頂 点 指 定

vertex(pos[2][0],pos[2][1], img1.width, img1.height); // 右 下 頂 点 指 定 vertex(pos[3][0],pos[3][1], 0,img1.height); // 左 下 頂 点 指 定 endShape(CLOSE); // img2(非 人 物 側 )をテクスチャとして設 定 し頂 点 指 定 beginShape(); texture(img2); vertex(pos[4][0],pos[4][1], 0, 0); // 左 上 頂 点 指 定 vertex(pos[5][0],pos[5][1], img2.width, 0); // 右 上 頂 点 指 定

vertex(pos[6][0],pos[6][1], img2.width, img2.height); // 右 下 頂 点 指 定 vertex(pos[7][0],pos[7][1], 0,img2.height); // 左 下 頂 点 指 定

44

/*---テクスチャ頂 点 操 作 フェイズ---*/ //ある点 がクリックされていたら

if( mousePressed && selected >= 0 ) {

pos[selected][0] = mouseX; pos[selected][1] = mouseY;

ellipse( mouseX, mouseY, 20, 20 );// 選 択 円 の表 示 } //頂 点 がクリックされていないとき else { minD = 25; //基 準 吸 着 距 離 （２５） selected = -1; //選 択 頂 点 の初 期 化 for (int i=0; i<8; i++) {

D = dist( mouseX, mouseY, pos[i][0], pos[i][1] ); // ポインタ位 置 と頂 点 の距 離 を格 納 //ある頂 点 とポインタが基 準 距 離 より近 いとき if ( D < minD ) { minD = D; selected = i;

ellipse( mouseX, mouseY, 20, 20 );// 選 択 円 の表 示 }

} }

45 /**************************************************************** **/ //Title:キネクト取 得 画 像 (RGB 画 像 )マッピング プログラムコード // //Content：テクスチャの頂 点 (選 択 時 円 表 示 )をドラッグして映 像 を貼 付 ける // //Name：Myazaki Aoi //Date:2015/2/12 /**************************************************************** **/ import SimpleOpenNI.*;//ver 0.20 SimpleOpenNI kinect; /*----マッピング用 頂 点 移 動 要 素 定 義 ----*/ int selected = -1; // 選 択 されている頂 点 変 数 (頂 点 は 0〜3) int pos[][] = {{0,0},{640,0},{640,480},{0,480}};// 初 期 頂 点 ピクセル情 報 座 標 配 列 float minD;//基 準 吸 着 距 離 変 数 float D;//ポインタと頂 点 距 離 格 納 変 数 void setup(){ /*---初 期 設 定 フェイズ---*/ size(1280,1024,P3D);//P3D 有 効

kinect = new SimpleOpenNI(this); kinect.enableRGB(); //RGB カメラ有 効 化 kinect.enableDepth();// 深 度 カメラ有 効 化

kinect.alternativeViewPointDepthToImage();// ２カメラの視 点 一 致 }

46 void draw(){

background(0);//画 面 初 期 化

kinect.update();//キネクトカメラの更 新

//image(kinect.rgbImage(),0,0);// テスト表 示 用

PImage img1 = createImage(640, 480, RGB);// キネクト RGB 画 像 格 納 用

img1.loadPixels(); //各 ピクセルをコピー

for (int y=0;y<kinect.rgbHeight();y++){ for(int x=0;x<kinect.rgbWidth();x++){

int index = x+y*kinect.rgbWidth();//(x,y) 座 標 のピクセル検 索 方 法 img1.pixels[index] = kinect.rgbImage().pixels[index];// 人 物 部 分 の処 理 } } img1.updatePixels(); /*---マッピングフェイズ---*/ noStroke(); beginShape(); texture(img1); // img1(RGB 画 像 )をテクスチャとして設 定 vertex(pos[0][0],pos[0][1], 0, 0); // 左 上 頂 点 指 定 vertex(pos[1][0],pos[1][1], img1.width, 0); // 右 上 頂 点 指 定

vertex(pos[2][0],pos[2][1], img1.width, img1.height); // 右 下 頂 点 指 定 vertex(pos[3][0],pos[3][1], 0,img1.height); // 左 下 頂 点 指 定

endShape(CLOSE);

47

/*---頂 点 操 作 フェイズ--- */ //ある点 がクリックされていたら

if( mousePressed && selected >= 0 ){ pos[selected][0] = mouseX; pos[selected][1] = mouseY;

ellipse( mouseX, mouseY, 20, 20 );// 選 択 円 の表 示

//頂 点 がクリックされていないとき }else{

minD = 25; //基 準 吸 着 距 離 （２５） selected = -1; //選 択 頂 点 の初 期 化 for (int i=0; i<4; i++) {

D = dist( mouseX, mouseY, pos[i][0], pos[i][1] ); // ポインタ位 置 と頂 点 の距 離 を格 納

//頂 点 選 択 を判 断

if ( D < minD ) { minD = D; selected = i;

ellipse( mouseX, mouseY, 20, 20 );// 選 択 円 の表 示 }

} }