Kinect を用いた ェ チャ認識による
指さ 位置推定手法 検討
Estimation of Finger Pointing Position based on Gesture Recognition with Kinect
餅川 穂
1山 弘
1Minoru Mochikawa
1，Akihiro Yamashita
11
立行政法人国立高等専門学校機構 東京 業高等専門学校
1
National Institute of Technology ， Tokyo College
Abstract: Recently consumer robots are expected to support people’s lives. The robots have to be able to interact intuitively with human when they help people like carrying items. The interface that uses gestures is attracting attention in recent years. Because it can be an intuitive instruction to humans and we do not need to mount specialized equipment such as a laser pointer when we use it.
In this study we construct a system of robotic mobilization to the indicated location based on finger gesture recognition using the skeletal tracking capabilities of Kinect (Microsoft Corporation). We use Mindstorms EV3 (LEGO Company) as a mobile robot and mount a Kinect on the robot. In this paper we report the system and the experimental results on the recognition accuracy of the position pointing.
1. めに
現在 民生用 福祉や家
人 生活 支援 注目 い
作業 人 直接
指示 い場合 想定 ェ チ 使 ンタ ェー 人 直感的 指示 特殊 器具 装着 必要 い 近 注目 い ェ チ 認識 利用 機械 操作
基礎研究[1][2][3] 数多く行わ い
研究 Microsoft 販売 Kinect
用い 人 ェ チ 認識 機能 実装 い
Kinect 設置場所 自体 く
机や専用 固定 場所 設置 実装
い 例 多 人間 ェ チ
Kinect 認識 遠隔地 あ 操作
いう利用 想定 い 一方 人間 ニ ー ン 考え 場合
自体 直接人間 ェ チ 認識 結 果 応 適応的 振 舞う技術 要 あ
本研究 Kinect 搭載
形 実装 人間 ェ チ 認識
適応的 行動 制御 実現 目的
今回実装 小型 使用
Kinect 角 付 搭載 全身 映
う 夫
本稿 Kinect 骨格 キン
使用 人間 関節 標 取得 ェ チ 認 識 用い へ 移動目標地点 指示
構築 指 位置推定 推定誤差 調査結果 考察 い 報告
2. 関連研究
移動 人間 ェ チ 常 認識 自己位置推定 更新 続 ータ 制御
い ェ チ 認識 利用 機 械 操作 基礎研究 数多く行わ い [1][2][3] [1][2] Microsoft 販売 Kinect 用い
人 ェ チ 認識 機能 実装 い
Kinect 設置場所 自体 く 机や専
用 固定 場所 設置 実装 い
例 あ 人間 ェ チ Kinect
認識 遠隔地 あ 操作 いう
利用 想定 い
一方 人間 ニ ー ン
考え 場合 自体 直接人間 ェ チ 認識 結果 応 適応的 振 舞う技 術 要 あ
[3] 3 Kinect 搭載 形
実装 ェ チ 認識 音声認識 組 合わ
指示 い
目標位置 移動
自己位置 推定 必要 あ 基
礎研究 数多く行わ い 使
う方法[5] 全方位 使う方法 [6] 考え
屋外 使う場合GPS 用い 方法[7] 考え 自己位置推定や ータ 制御 関
検討 必要 あ 本研究 人 指 推定 関 検討 行
3. テム 構築
3.1 テム 概要
被験者 骨格情報 Kinect 取得 PC 指
位置 計算 行 今後 取得 指 位置 推定値 対 移動 制御機能 実 装 予定 あ 本稿 指 位置 推定機 能 焦点 絞 精 誤差 い 考察
構成 1 示
1 構成
3.2 使用機器
3.2.1 Kinect
本研究 Kinect 骨格 キン
用い 頭 右手 右肘 右肩 標 取得
本研究 用い Kinect 様 表1 示
表 1 Kinect 様 ン ー
部
色 び深 ン ー
チ ータ 27
視 角 水 視 ：57 垂直視 ：43
深 ン ー 範 ：1.2m～3.5m
ータ ー ン
320×240px：16bit,深 ：30fps 640×480px：32bit,深 ：30fps
16KHz 16bit ー
骨格 キン
2人 ー 含 6
人 人体 認識
ー1 人 対 20
関節 キン
3.2.2 Mindstorms EV3
Mindstorms EV3 LEGO社 チ ー
科大学 共 開発 2013 発売
あ Mindstorms ータ
4 使用 Kinect 搭載 形 走行
う 実装 曲 右 ータ
ー ー比 変え 実現 い 作成
2 Mindstorms EV3 表
2 示
2 作成
表 2 Mindstorms EV3
OS Linux
CPU ARM9
64MB
ー 16MB
3.3 標系 定義と変換
3.3.1 標系 定義
ェ チ 認識用 角
搭載 い 得 関節 標 変
換 必要 あ 本研究 標系 3 定義 変換 行 位置推定 行 3 説明
示
(a) Kinect 標系：設置 Kinect 基準
標系 原点
(b) 標系： 基準 標系
地面 向 垂線 地面 交点 原点 標系 地面 水
(c) 世界 標系：人間 原点 標系 地 面 対 垂直 方向 Y 標 人間 向い い 方向 Z 標 Z 標 びY 標 直交
方向 X 標 定義
3.3.2 標系 変換
(1) Kinect 標系 標系へ 変換
Kinect 標系 標系へ 変換
次 示 回転行列 回転 原点 地面
行移動 得
(2) 標系 世界 標系へ 変換
Y軸中心 回転 原点 人間
水 移動 得
3 標系 変換
3.4 三角測量法を用いた指さ 位置 推定
長谷川 研究[1] 指 ェ チ 推 定位置 求 手法 提案 い 本研究
Kinect 設置方法 構成 異 指
位置 推定位置 求 式 様 式 利用
Kinect 地面 角 θ 人 示
位置 3次元 標
式1
求 式1 頭 右手 標 得 あ 式1 変形 指 位置 式2 式
3 う 得
式2
式3
様 右肘 右手 右肩 右手 標 用い 指 位置 推定位置 求 右肘 右 手 標 用い 求 人 示 位置 3次元
標
式4
求 式4 様 変形 式5 式6
以 う
式5
式6
右肩 右手 標 用い 求 人 示 位 置 3次元 標
式7
式7 様 変形 式8 式9 以 う
式8
式9
3.5 角 を用いた指さ 位置 推定
z軸 指 方向 角 Θ ｙ軸 指 方向 角 Φ 人 ー ーへ 距離 D 注視点
高 H Θ Φ
Θ= tan− Z
X 式10
Φ = tan− HD 式11
求 測定値 求 z軸 指 方向 角 θ 測定値 求 ｙ軸 指 方向 角 φ
Θ = θ+ φ + γ 式12
Φ = + φ + γ 式13
測定値 回帰分析 補正式 式12 式13 求 位置推定
測定値 計算 人 ー ーへ 距離 d
d Φ 注視点 標 求 人 示
位置P �, �
Z =cosΘ 式12
X =sinΘ 式13
求 4 説明 示
4位置推定 説明
3.6 測定値におけるノイ 除去
実験 ータ 除去 行 ータ 検証 除去 X軸 Y軸 Z軸
ンA 求 A ー 距離 求
標準偏差 求 次 ー
距離 ンM 閾値D=標準偏差 2 倍 求
A 中心 M+D 半径 球
外 ータ 除去 行わ
い場合 誤差 1m 超え 地点 あ 実
際 移動 除去 行
い位置推定 必要 あ いえ 5 説明 示
5 除去説明
4. 実験 1
4.1 実験設定
3.5節 示 式 2 式3 利用 右利
10人 対 被験者 前方 床面 設置 8個
ー ー 位置 対 指 動作 計測精 求 実験 行 人 原点
地面 高 0.13m 地面 対 56ま ー ー
間隔 1m 配置 指 必 右手 10回
行 精 検証 指 位置 誤差
人 癖 断 ー ン
タ 用い 実験 行 6 ー ー 配置
示 7 実験 様子 示
6 ー ー 配置
7実験 様子
4.2 指さ 位置 推定誤差
結果 8 9 10 示 中心 推 定位置 均値 点 大 分散 大 比 例 う 作 右肩―右手
1 番 誤差 小 く 2 番目 頭―右手
3番目 右肘―右手 偏
分散 頭―右手 1 番 小 く 2 番 目 右肩―右手 3 番目 右肘―右手
被験者 10回 測定 得 結果
前述 方法 断 ータ 除
去 均値 計算
均値 真値 誤差 計算 誤差 い 被験 者10人分 均値 計算 結果 表3 示
被験者 10回 測定 得 結果 均値 い 被験者10人分 ータ
偏分散 計算 結果 表4 あ 表4 示 値 異 被験者 指 動作 行 場
合 個人差 生 定 的 測定
値 捉え 出来 頭―右手 最 個人差 出 い い 分
8指 位置 誤差 肩―手
9指 位置 誤差 右肘―手
10指 位置 誤差 頭―手
表3誤差 均値
表4指 位置 偏分散
4.3 考察
実験結果 Z軸 偏分散 誤差 均 人 側 点 右側 点 小 く X軸 右側 小 く 真値 距離 側 あ
点 ほう 誤差 大 く 右手 指 行 側 指 辛 い 原因 考え
頭―手 真横 地点以外 推定位置
真値 手前 肩―手
誤差 大 く 手 地面 対 角 頭―手 延長線 角 大 く
あ 偏分散 最 小 く い
補正 行う 正確 指 位置 得 能性 高い 手 地面 対 角 頭― 手 地面 対 角 誤差 減 頭
Y軸 標 得 推定値 係数 乗
算 方法 考え 実験2 補正方 法 い 検討
ー ンタ 用い 実験 指 行
実験 誤差 大 く ー ンタ
当 い 位置 手首 角 大 く変 わ 必 肩―手 延長線 当 い 限
い 持 方 癖 指 位置
誤差 いえ
5. 実験 2
5.1 実験設定
次 補正式 立 実験 行
-1.500 -1.000 -0.500 0.000 0.500 1.000 1.500
0.000 1.000 2.000 3.000
X軸[m]
Z軸[m]
肩
-1.500 -1.000 -0.500 0.000 0.500 1.000 1.500 2.000 2.500 3.000
0.000 0.500 1.000 1.500 2.000 2.500
X軸[m]
Z軸[m]
肘
-1.500 -1.000 -0.500 0.000 0.500 1.000 1.500
-0.500 0.000 0.500 1.000 1.500 2.000 2.500
X軸[m]
Z軸[m]
頭 手
Z X Z X Z X Z X
地点 0.310 0.322 0.558 0.487 0.802 0.553 2 1 地点 0.290 0.212 0.416 0.281 0.855 0.105 2 0 地点 0.389 0.155 0.744 0.376 0.910 0.335 2 -1 地点 0.164 0.191 0.522 0.627 0.387 0.567 1 1 地点 0.140 0.131 0.197 0.228 0.368 0.068 1 0 地点 0.110 0.171 0.220 0.292 0.382 0.300 1 -1 地点 0.275 0.285 0.486 1.502 0.177 0.564 0 1 地点 0.068 0.228 0.405 0.995 0.081 0.226 0 -1
平均 0.218 0.212 0.443 0.598 0.495 0.340
理論値 誤差の平均
肩 肘 頭
Z X Z X Z X
地点 0.236 0.206 0.829 0.431 0.009 0.006
地点 0.181 0.030 0.704 0.027 0.021 0.003
地点 0.254 0.031 1.110 0.077 0.008 0.006
地点 0.043 0.068 0.857 0.965 0.004 0.030
地点 0.026 0.012 0.151 0.033 0.005 0.002
地点 0.022 0.014 0.191 0.065 0.004 0.003
地点 0.067 0.256 0.220 4.897 0.004 0.008
地点 0.006 0.575 0.724 10.089 0.001 0.002
平均 0.104 0.149 0.598 2.073 0.007 0.007
肩 肘 頭
不偏分散
右利 3人 対 被験者 前方 床面 設置 25個 ー ー 位置 対 指 動作 計
測精 求 実験 行 頭―右手 右肩―右 手 右肘―右手 計測制 求
ー ー 間隔 1m 角 45ま 変え 配 置 11 ー ー 配置 示
11 ー ー 位置
式14 式15
測定値 回帰分析 補正式 式14 式15 求 位置推定 番分散 少 被験者 ータ 用い 補正 z-x 面 回帰分析 行い 精 検証
5.2 指さ 位置 推定誤差
結果 12 補正式 適応 い結果 13 補正式 適用 結果 示 中心 推定位 置 均値 点 大 分散 大 比例
う 作 表5 結果 示
12補正前
13補正後
表5誤差 均
誤差 均 補正前 補正後
Z[m] 0495 0.207
X[m] 0.340 0.221
√� + � [m] 0.600 0.303
5.3 考察
式14,式15 被験者 ータ 精 良く
確認 出来 均 使
ータ 立 補正式 誤差 大 く 記 式 実装
6. 実験 5
6.1 実験設定
3.6節 示 推定手法 利用 右利 3
人 対 被験者 前方 床面 設置 25個 ー ー 位置 対 指 動作 計測精 求
実験 行 右肩―右手 計測制 求
位置 ー ー 間隔 1m 角 45ま 変え 配置 14 ー ー 配置 示 個人
補正式 立 適用 均 結果 全員 測定値 求 補正式 適用 結果 被験者1
測定値 求 補正式 被験者1 適用 結 果 被験者1 測定値 全員 測定値 求 補 正式 適用 結果 計算
-1.500 -1.000 -0.500 0.000 0.500 1.000 1.500
-0.500 0.000 0.500 1.000 1.500 2.000 2.500
補正前
-2.000 -1.500 -1.000 -0.500 0.000 0.500 1.000 1.500
0.000 0.500 1.000 1.500 2.000 2.500
補正後
� = � + � +
� = � + � +
14 ー ー 位置
6.2 指さ 位置 推定誤差
表6 指 位置 偏分散 偏分散 個人
補 正式
汎用 被験者1 個
被験者 1汎用
z[m] 0 411 0 390 0 055 0 075 x[m] 0 281 0 250 0 233 0 066
表7 誤差 均値 誤差
均
個人 補 正式
汎用 被験者 1個
被験者1 汎用
z[m] 0 855 0.897 0 586 0.761 x[m] 0 863 0.911 0 621 0.712
6.3 考察
記 実験 人 補正式 変え ほう 誤差 小 く ほ 差 出 い い
2[m]以 ー ー あ 差 大 く
指示 範 い あ 個人 補正式 立 有効 あ 能性 高い いえ
被験者 分散 大 く 場合 あ 人 癖 いパ ータ 用い 手 法 直線的 補正 い手法 検討 必要 あ
7. 実験 4
7.1 実験設定
次 顔 標 用い 指 動作 計測精 求 実験 行 右利 2人 対 被験者
前方 床面 設置 10個 ー ー 位置 対 指 動作 計測精 求 実験 行
右目―右手 目―右手 口―右手 右肩―右
手 計測制 求 ー ー 間隔
1m 角 45ま 変え 配置 15
ー ー 配置 示
15 ー ー 位置
7.2 指さ 位置 推定誤差
結果 16 17 示 中心 推定位 置 均値 点 大 分散 大 比例
う 作 補正 人 ータ 用い 回帰分析 求 最 誤差 小
右目―右手 最 大 く
右肩―右手 表8 偏分
散 表9 誤差 均 示
16指 位置 誤差 右肩―手
-4 -3.5 -3 -2.5 -2 -1.5 -1 -0.5 0
0 2 4 6
x軸[m]
z軸[m]
汎用右肩ー右手
17指 位置 誤差 右目―手 表8 指 位置 偏分散
偏分散 右肩―右手 右目―右手
Z[m] 0.894 0.722
X[m] 1.398 0.499
√� + � [m] 1.533 0.785
表9誤差 均値
誤差 均 右肩―右手 右目―右手
Z[m] 1.478 0.564
X[m] 1.609 0.524
√� + � [m] 2.275 0.864
7.3 考察
精 右目―右手 最 良
肩 標 用い 精 く 顔
標 使 ほう 良い 能性 高い いえ 指 位置 視線 手 関係 相関 強い
いえ 取得 標 Kinect 依存
い 肩 標 誤差 大 く い 能性 あ 利 目 利 腕 関係
精 差 出 く 考え 組
合わ 実験 行う必要 あ 利 目 異 ー 指 影響 え 研究 行 わ い [4] 研究 実験設定 異
く利 目 利 手 最 精 く
人 補正式 変え ほう 誤差 小 く ほ 差 出 い い 2[m] 以 ー ー あ 差 大 く 支 持 範 い あ 個人 補正式
立 有効 あ 能性 高い いえ 被験者 分散 大 く 場合 あ 人 差 いパ ータ 用い 手法 直 線的 補正 い手法 検討 必要 あ
8. まとめ
本研究 室 指 位置 認識
開発 角 用い 推定手法 顔 標
手 用い 認識精 良い 分
今後 指 位置 精 高
指 位置 精 高 方法 推定位置 補
正 検討 実装 標 用い
複数 標 用い 指 位置 推定手 法 検討
参考文献
[ ] 長谷川 勉： ェ チ 移動 へ
動作目標 指示 誤差修正 第 24 回日
本 学会学術講演会 2011
[ ] 矢田幸大： 指 対象認識 個人用知的 移動体 直感的 操作 情報処理学会第75回 全国大会
[ ] 健 裕希 ： 3 Kinect 搭載 移動
特定 物体 ン ン 学 研 究 : 北 海 学 園 大 学 大 学 院 学 研 究 科 紀 要 (13) : 25-31 2013
[ ] 新谷 市 ： “指差 動作 身体
右差 関 調査” 大阪大学 修士学位論文 2010
[ ] 佐竹純 ： “ ビ ン 用い 移
動 人物追従制御” ビ ン 用い 移動 人物追従制御 2010
[ ] 山 淳 ：“全方位 搭載移動
Structure from Motion 用い 3次元環境 ン ” 日本機械学会論文集 C編 , Vol. 73, No. 726, pp. 512-519, 2007
-4 -3.5 -3 -2.5 -2 -1.5 -1 -0.5 0
0 2 4 6
x軸[m]
z軸[m]
