The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
ー
視点
基
透過型拡張現実
ンタ
ェー
See-through Augmented Reality Interface based on User's Point of View
鈴木
伶央
*1
林
佑樹
*1
中
有紀子
*1
Reo SUZUKI Yuki HAYASHI Yukiko NAKANO
*1
成蹊大学理
学部
Faculty of Science and Technology, Seikei University
Augmented reality (AR) expands the real-world environment by adding virtual information to enhance user’s perception in the real world. Some studies have proposed AR systems that display virtual objects by video see-through methods. However it requires users to wear special instruments such as a head mount display. In this research, in order to enable more realistic and natural AR interaction in a large room, we propose an AR displaying method based on the user’s location. The user’s location and poses are detected by Kinect’s user-tracking information. Virtual objects are integrally displayed to a large transparent screen according to the user’s location and vertical intervals of the environment. We implement two prototype systems in which a virtual object is displayed on the screen, moving between two real world objects, and the virtual object’s movement changes according to the user’s pose and the position of the real objects.
1.
じめに
現 実 環 境 情 報 付 加 こ 現 実 世 界 拡 張 拡 張 現実 AR 関 研究 盛 行わ い ． ン ン
ー ー 組 わ 現 実 物 体 仮 想 物 体 前
後関係 表現 能 AR [神原 1999] 案さ
い ． ， ー ー方式 AR ， 映像 CG 成さ ，現実世界 肉眼 見 わ
い． ， ー HMD 装置 装着 必要 あ ．こ 対 ，透過型 ーン越 仮想 ェ 触
こ [Hilliges 2012] 案さ い ． 透
過型 ーン 利用 こ ，実際 現実 畳さ い う 投影 行うこ ． ， ンタ ン 行 え 空間 手 動 領域 あ ， ー 行動 範 限 う いう問題 あ ．
本 研 究 ， ー 置 動 作 情 報 基 ， 仮 想 ェ 大 型 ー ン 背 後 現 実 世 界 畳 拡 張 現 実 ンタ ェー 案 こ 目 的 ． 高 い AR 実現 ， ーン背後 環境 見 こ
大 型 透 過 型 ー ン 利 用 ． ー 置 動 作
識 ， Kinect ー ッキン 機能 利用 ． ，
Kinect 深 情 報 基 透過 型 ー ン 背 後 空 間 置
実物体 高さ 識 こ ，透過型 ーン 投影 い 仮想 ェ 実物体 わ 表示
構築 ．
2.
テム
環境構成
1 対象 環境 示 ．想定 ー １
あ ， ー 置 動作 応 現実世界 畳さ 仮 想 ェ ン タ ン 実現 ． 大
分 4 機能 構成さ ． 1 ー 置情 報 特定 行 う．こ ー 置 変 物体 見 角 変 わ ， 置 特 定 投 影
置 反映さ あ ．次 2 仮想 ェ ンタ
ン 実 現 ー 動 作 情 報 識 行 う． 動 作情報 特定 ポー 識 形 実 現 ． ー ポー 識 ，仮想 ェ 振舞い 変
さ ． ， 3 仮 想 ェ 投 影 実 空 間 識 行う．仮想 ェ 投影先 空間 あ ，透過型
ー ン 背 後 形 状 応 動 作 ば い． ， ーン背後 空間 識 必要 あ ． 最後 こ 情 報 統 ， 4 ー 置 応 仮 想 ェ
ーン 表示 ．
本 研 究 ， 1 ， 2 ， 3 機 能 実 現 ， 深 ン 搭載 Microsoft社 Kinect
1 3
利用 ． ，
4 実現 ，2.0m×1.5m 大型 透過型 ーン
用い ． 構成 部屋 広さ ，横 3.5m 縦 5.7m 高さ3.0m 行う．以 節 ，各機能 詳細 説明 ．
1. 想定 環境
2.1 ユー 位置 特定
ー ンソ ー 供 さ い OpenNI
2
，
Kinect 得 RGB 像，深 ータ， ー ッキン
情報 得 ．本研究 OpenNI ー ッ
キン 機能 利用 ， ー 置情報 特定 ． ー
1Kinect：http://www.microsoft.com/en-us/kinectforwindows/
2OpenNI：http://www.openni.org/
連絡先：鈴木伶央，成蹊大学理 学部，東京都武蔵 市 祥 寺 3-3-1，0422-37-3756, [email protected]
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
ッキン 2 示さ 骨格15点 い ， 次元 標情報 得 こ ．
2. Kinect 得 骨格 標
，目線 置 高さ ー 背面 壁 付
Kinect ， ー ッキン 頭部 次 元
標 標 2 HEAD 得 ． 標 Kinect 距離
得さ ，Kinect 設置 置 原点 こ ，
得 x，y，z 標 値 ー 置 利用 こ ．
2.2 ユー ポー 認識
ー ポー 識 ，Kinect 得 15
点 3次元 標情報 基 ， 識 ポー 定義 ．骨 格 標点 う 連続 い 2点 ベ ，26方向 単 ベ 指定 ．こ ベ 複数組 わ こ
，ポー 定義 行う．
ー ッキン 得 い 3次元骨格 標 基 骨 格 ベ ， 定義 ポー 表 全 ベ コ ン 類 似 計算 こ ポー 識 ． 定 毎 ー
行う．コ ン類似 全 0.9以 誤差範 10°程 あ ば一致 ポー い 定 ．ポー ，予 任 意 数 xml形式 登録 こ ．
ポー 定義例 3 示 ．こ 例 定義さ ポー 手 ，右足 右 斜 ポー あ 3 ，赤
い 2点間 xml 指定 ベ あ ． 3 右側 ー ッキン 様子 あ ．赤い あ 骨格 ， 定 義 さ 骨 格 ベ 方 向 一 致 い 計 算 さ ， 全 一致 い ばポー 識さ ．
3. ポー 定義例
2.3 投影対象世界 空間認識
仮想 ェ 投影 実 空間 識 ， ー ン 奥 側 空 間 高 さ 2.9ｍ 置 向 設 置 さ Kinect 深 情報 利用 ．Kinect 640×480 解像
各 深 得 こ ．計算 削減 ，本研究 解像 標準 1/5倍 あ 128×96 深
解像 落 い ．深 情報 Kinect 距離
得 さ い ， 設 置 さ い 床 高 さ 引 こ ，各 い 高さ 物体 あ 把握 ．
，Kinect 2.7m以 離 い 部分 深 情報 得
い．こ 計算 削減 ，高さ 誤 識 防 あ ． 4 投影対象世界 Kinect 深 ン 捉え 様子
示 ．右側 実際 得 深 情報 等高線 表 あ ． 高 さ 得 い 部 分 緑 赤 表 ， 以 外 未 得 部 分 青 表 あ ． 物 体 あ 置 床
高さ 得さ い こ わ ． 対象 実世 界 置 ェ 識 こ ，高 差 応 仮想
ェ ーン 投影 こ 能 ．
4. 投影対象世界 深 像
2.4 透過型 クリーンへ オブ ェクト投影
3次元 ェ ーン 表示 ，
ッ 処理 API 供さ い OpenGL
3
用い ．投影 平行投影 透視投影 2種類 あ ，平行投影
遠近感 表現 こ い ，glFrustum関数 用
い 透視投影 行 ．
5 ，glFrustum 設定 能 範 示 ．視線方向
中 心 ，Near 距 離 あ ッ 面 Top，Bottom， Left，Right 端 距離 ，奥行 表 Far 6 引数
設定 ．こ 6 引数 実際 行わ 範 あ 視錐 大 さ 決 ．ここ 引数 与え 値 ，現 実 世 界 値 用 い ． ， 視線 方 向 投 影 面 垂直 う 固定 ， ー 置 計算さ 透過型
ー ン 置 常 一 致 さ う ， 引 数 値 更 新 ．
Kinect 得 ー 置 OpenGL 標 ，
ーン 仮想 ェ 投影 ．こ ， ー 置 応 透視投影 実現 ．
3OpenGL：http://www.opengl.org/
1000-1200
800-1000
600-800 400-600
200-400
0-200 深度情報
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 - 5. glFrustum 範
3.
テム構成
2.1～2.4節 述 機能 統 構築 ．
6 構成 示 ．本 C++及び Java言
語 利 用 実 装 い ． ，4 ー ー 置 識， ポー 識， 空間 識， 処 理 構成 さ
，ソ ッ 通信 必要 ータ 送 信 ．
6. 構成
ー 置 識 ー ， ー 後 方 設 置 さ
Kinect 頭部 距離 送信 ．ポー 識 ー
， ー 前面 配置さ Kinect ，ポー 識時
ポー 送信 ．今回定義 ポー 7 示 4 あ ．A，B 手 右 ，C 右手 右斜 ，D 手 斜 右 足 右 斜 ポ ー あ ． 空 間
識 ー ，天井 設置さ Kinect ，深 情報
格 納 配列 送 信 ． ー ，3
ー 送 各 種 情 報 基 ， 透 過 型 ー ン 投影 映像 生成 ， ェ タ 投影 ．
7. 定義 ポー 一覧
4.
テム
表示例
本 用い 2 ンタ ン 達成 実装 ．1 ，仮想 ェ 実世界 置 椅子 間 往復 あ ． 7 C ポー ， 仮想 ェ 右 動 ． 面外 達 ，仮想 ェ 高さ 高い実物体 進行方法 あ 場 ，反対側 進行 変え ．
8 様子 示 ． 目線 置
撮 影 映 像 あ ． ポ ー 識 さ ， う 移 動 開 始 ， 椅 子 進 行 方 向 あ ， 逆 方 向 進行方向 変え ． 再び椅子 あ ， 逆方向 進行 行う．
8. 1 表示
う 1 ，現実 物体 物体 仮想 ェ 飛び移 いう あ ． 7 D ポー ，高さ あ 実物 体 移 動 ． 移動 際 ， 仮想 ェ
乗 い 実 物 体 以 外 移 動 ． 空 間 識 タ 処 理 さ ， 投 影 対 象 世 界 実 ェ 配 置 移動や 追加 応 ，仮 想 ェ ニ ー ン 変
．
9 2 目 実行 様子 示 ．
目 線 置 あ 映 像 あ ． ， 最 初 右 側 あ 椅子 仮想 ェ 乗 い ． こ 7
D ポー 識 ， う 実物体 検出さ
い 椅 子 移 動 開 始 ． 側 椅 子 移 動 完 了 い ． ，途中 物体 追 加 場 識 行わ ，ポー う 追加 椅子
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 - 9. 2 表示例
5.
おわりに
本 研 究 ， ー 置 や 動 応 ， 透 過 型 ー ン 背後 現実世界 ， ーン 示さ CG 畳投影
ンタ ェー 案 ． ，構築 2
ー ン タ ン 達 成 ． ー 置 仮 想 ェ 見 え方 変 ， ー 動 作 高 さ あ 物 体 間 往 復 ， 高 さ あ 物 体 飛 び 移
あ ．
今後 課題 ，透過型拡張現実 ンタ ェー 基盤 ， 物理演算 導入 仮 想 ェ 複 雑 動 や実 物体
接 触 定 入 い ． ， ー ポー 識 ， ェ チ ー 動作 応 ンタ ン 実現 環境 拡張 い 予定 あ ．
参考文献
[神原 1999] 神原 ： ー ー型拡張現実感
実時間 像 成 ， 電子情報 通信学 会論文 ， Vol.J82-DII，No.10，pp.1-9 (1999).
