平成28年 度 修 士論文

画

平成28年 度 修 士論文

モ ビ リテ ィ ロ ボ ッ トに お け る指 さ し認 識 を 活 用 した 移 動 操 作 イ ン タ ラ ク シ ョ ン シ ス テ ム

InteractionSystemUsingFingerGestureRecognitionfor OperationofMobilityRobots

噌撫 癒琳馨 畷 養蜜藤瞥鈴喰 輪i齢盛 聾 鞠 熱 》塞醐 麟 誉摩

繋 都 穴 禦 策 察

学 籍 番 号:15890528 氏 名:田 村 英 地

指 導 教 員:山 口 亨 首 都 大 学 東 京

シ ス テ ム デザ イ ン研 究 科 情報 通 信 シ ス テ ム学 域

知 能 情 報 処 理研 究 室

2

概要

指 さ し認 識 に よ る マ ク ロ な 命 令 シ ス テ ム とマ ク ロ な 命 令 の た め の 安 全 知 能 シ ス テ ム を提 案 す る.モ ビ リ テ ィ ロ ボ ッ トの 移 動 操 作 を 行 うた め に,メ ガ ネ 型 カ メ ラ を 用 い た ジ ェ ス チ ャ 認 識 シ ス テ ム を 提 案 す る.シ ス テ ム は 指 をGMM前 景 分 離 を 用 い て 抽 出 し,指 さ し ジ ェ ス チ ャ を 認 識 す る.ま た モ ビ リ テ ィ ロ ボ ッ トに 搭 載 さ れ た カ メ ラ に よ っ て,ジ ェ ス チ ャ の 方 向 を 検 出 す る.こ れ ら の マ ク ロ な 命 令 シ ス テ ム と,測 域 セ ン サ を 用 い た 安 全 知 能 シ ス テ ム に よ っ て,人 が 運 転 の 楽 し さ を 感 じ る よ う な イ ン タ ラ ク テ ィ ブ な モ ビ リ テ ィ ロ ボ ッ トの 運 転 を 目 指 す.実 験 で は,提 案 シ ス テ ム を 使 っ て モ ビ リテ ィ ロ ボ ッ トの 操 作 を 行

う タ ス ク を 行 い,シ ス テ ム の 有 用 性 を 示 した.

4

abstract

Acontrolsystemformobilityrobotsarepropose(1.ItusefingergestUresandhavesafety intelligence.Gesturerecognitionsystemusingglasses‑typecameraareadoptedforthesys‑

tem.ThesystemextractshandsbyGMMforegroundsegmentation,andrecognizegestures.

Acameramountedonthemobilityrobotphotographsusers'faceandthesystemestimates thegesturedirection.Usingthiscommandingsystemandsafetyintelligencesystembyasen‑

sor,interactivedrivingofmobilityrobotsisaimed.Theexperimenttaskisdrivingamobility

robotusingthesystem.Itshowsusefulnessofthesystem

目次

第1章 は じめに

第2章 2.1

2.2

第3章 3.1

3.2

シ ス テ ム 構 成

ジ ェ ス チ ャ シ ス テ ム..

2.1.1GMM前 景 分 離 を 用 い た 手 抽 出 2.1.2重 心 座 標 を 用 い た 指 先 検 出...

2.1.3動 作 解 析...

モ ビ リ テ ィ ロ ボ ッ ト シ ス テ ム..

指 さ し認 識 に よ る マ ク ロ な 命 令 シ ス テ ム ロ ボ ッ ト移 動 操 作 の た め の ジ ェ ス チ ャ 認 識 3.1.1モ ビ リテ ィ ロ ボ ッ トの た め の 指 先 検 出

3.1.2モ ビ リテ ィ ロ ボ ッ トの 移 動 操 作 に む け た ジ ェ ス チ ャ 認 識.

顔 向 き 検 出 に よ る ジ ェ ス チ ャ 方 向 決 定 シ ス テ ム.

第4章 マク ロな命令 のための安全知能 システム

第5章 5.1 5.2

実 験

実 験 方 法....

実 験 結 果 と考 察

第6章 おわ りに 参考文献

発表文献 謝辞 付録

7

Q り Q ノ ー ‑ つ ﹂ ︽ ノ 0 ノ ﹂ー ユ 4■ ■ 1 1 1 3 つ ﹂ 4 10 0 / 2 2 2 2 2

31

3 3 6 Q り つ ﹂ つ ﹂

41

43

47

49

51

第1章

は じめ に

ス マ ー トフ ォ ンや ス マ ー トウ ォ ッ チ な ど様 々 な 携 帯 ・着 用 型 の デ バ イ ス が 普 及 し て き て い る.ま た,ヘ ッ ドマ ウ ン ト型 のVR機 器 な ど も市 販 さ れ る よ う に な り,メ ガ ネ 型 の ウ ェ ア ラ ブ ル 端 末 も こ れ か ら実 用 化 さ れ て く る と考 え て い る.Garmin社 の 発 表 した ス マ ー ト グ ラ スViariaVision1は,片 目 の 視 界 上 に 自転 車 の 走 行 速 度 や ナ ビ ゲ ー シ ョ ン な ど の 情 報 を 映 す こ とで,サ イ ク リ ン グ の 支 援 を 行 う.メ ガ ネ ス ー パ ー の 発 表 した メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末b.g.2はAR技 術 を 活 用 し て 視 覚 拡 張 を 試 み て い る.従 来 の デ ス ク ト ッ プ環 境 で 用 い られ て い る入 力 方 式 は マ ウ ス や キ ー ボ ー ドで あ るが,こ の よ う な イ ン タ ー フ ェ イ ス を そ の ま ま メ ガ ネ 型 の ウ ェ ア ラ ブ ル 端 末 に 用 い る こ と は 難 し い.そ の た め,現 在 の メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 で は ス マ ー ト フ オ ン の よ う な コ ン トロ ー ラや 音 声 認 識 を 用 い る こ とが 多 い3.し か し,コ ン トロ ー ラ は 少 な く と も 片 手 を 使 用 す る た め,着 用 型 で あ る メ ガ ネ の 利 点 を 失 っ て い る とい え る.音 声 認 識 も使 用 で き る 状 況 が 限 ら れ る 点 な どの 問 題 点 が 考 え ら れ,音 声 認 識 だ け で は不 十 分 で あ る.筆 者 は こ の よ う な メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 に 向 け た ジ ェ ス チ ャ認 識 を 検 討 して き た.こ の よ う な ウ ェ ア ラ ブ ル 端 末 は様 々 な 端 末 との 連 携 が 期 待 で き る[1,2].本 研 究 で は モ ビ リテ ィ ロ ボ ッ トの 移 動 操 作 へ の 応 用 を 提 案 す る.

近 年,車 の 自 動 運 転 の 研 究 が 盛 ん に 行 わ れ て い る[3‑5].一 般 的 な 移 動 操 作 は ハ ン ドル や コ ン トロ ー ラ[6]が 用 い ら れ る.し か し,自 在 な 移 動 操 作 の 習 得 に は 時 間 が か か る.操 縦 者 の 意 思 を 理 解 して ロ ボ ッ トが 自動 運 転 す る こ とが 可 能 で あ れ ば,こ れ ら の 操 作 を 習 得 す る必 要 は な い.ロ ボ ッ トに 指 示 を 送 る 方 法 と し て は 音 声 認 識 が よ く用 い ら れ る が[7,8], 音 声 だ け で は 「そ っ ち に 行 き た い 」 とい う行 き 先 指 示 を す る こ と は 難 し い.本 研 究 で は ロ ボ ッ トに 行 き 先 を 指 示 す る た め に,ウ ェ ア ラ ブ ル 端 末 を 活 用 し て 指 さ し ジ ェ ス チ ャ を 用 い る.

1Garmin ,VariaVision[http://www.gamiin.co.jp/products/intosports/varia‑vision‑j/](最 終 ア ク セ ス2017/2) 2メ ガ ネ ス ー パ ー ,b.g.[https:/fOeyondglasses.jp](最 終 ア ク セ ス2017/2)

3EPSON ,MOVERIO[http://www.epsonjp/products/moverio/bt200/](最 終 ア ク セ ス2017/2)

8

自動 車 の ジ ェ ス チ ャ に よ る コ ン トロ ー ル は 近 年 様 々 な 試 み が な さ れ て い る.ト ヨ タ 社 の 発 表 したSmartINSECT4は,ジ ェ ス チ ャ に よ っ て ド ア の 開 閉 な ど の 操 作 す る こ と が で き る 電 気 自 動 車 と し て 発 表 さ れ た.BMWは ジ ェ ス チ ャ に よ っ て ナ ビ ゲ ー シ ョ ン の コ ン ト ロ ー ル を 行 う コ ン セ プ トを 発 表 した5.各 社 の 取 り組 み か ら も,ジ ェ ス チ ャ に よ っ て 運 転 操 作 す る 車 が 増 加 し て い く こ とが 予 想 で き る.

パ ー ソ ナ ル モ ビ リテ ィ と提 案 さ れ る乗 り物[9]の 中 に は 立 ち 乗 り型 で あ っ た り 自 転 車 型 で あ っ た り様 々 な 形 が あ る[10].立 ち 乗 り型 や 自転 車 型 は 移 動 の ア シ ス ト と し て 効 果 を 発 揮 す る が,自 動 車 と違 い 座 っ て 移 動 す る乗 り物 で は な い.本 研 究 で は ス ク ー タ 型 モ ビ リ テ ィ ロ ボ ッ トの 移 動 操 作 に 焦 点 を 当 て,ウ ェ ア ラ ブ ル 端 末 に よ る 指 さ し認 識 を 活 用 し た イ

ン タ ラ ク テ ィ ブ な 移 動 操 作 シ ス テ ム を 提 案 す る.米 国 運 輸 省 道 路 交 通 安 全 局(NHTSA) は 運 転 の 自動 化 を レ ベ ル0か ら レ ベ ル4の5段 階 で 定 義 した6.自 動 化 の レ ベ ル3に 相 当 す る,人 が 運 転 の 楽 し さ を感 じ る よ うな イ ン タ ラ ク テ ィ ブ な モ ビ リテ ィ ロ ボ ッ トの 運 転 が 本 研 究 の 最 終 目標 で あ る.こ の 実 現 の た め に 本 研 究 は,指 さ し認 識 に よ る マ ク ロ な 命 令 シ ス テ ム と マ ク ロ な 命 令 の た め の 安 全 知 能 シ ス テ ム を 提 案 す る.

4TOYOTA

,SmartINSECT[http://www2.toyota.co.jp!jp/news/12/09/nt12⊃912.pdf](最 終 ア ク セ ス2017/2) 5BMW ,Smart】[NSECT[http://www.bmw‑new7.jp/featureO4.html(最 終 ア ク セ ス2017/2)

6Transportation .gov[https://www.transportation.gov/AV/federal‑automated‑vehicles‑policy‑september‑2016]

(最 終 ア ク セ ス2017/2)

第2章

シス テ ム構 成

2.1ジ エ ス チ ャ シ ス テ ム

メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 の 新 た な 入 力 方 法 と して,ジ ェ ス チ ャ に よ る 入 力 方 法 を 検 討 して き た.図2.1に メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 の ジ ェ ス チ ャ 入 力 の イ メ ー ジ を 示 す.ウ ェ ラ ブ ル 端 末 を 着 用 す る と,実 空 間 上 に 様 々 な 情 報 や 画 面 を 重 ね て 見 る こ とが で き る.こ れ に ジ ェ ス チ ャ入 力 を 採 用 す る こ とで,メ ガ ネ 上 に 提 示 さ れ る情 報(図 は ア プ リ ケ ー シ ョ ン 選 択 画 面)を 指 先 で 直 接 選 択 す る な ど,よ り直 感 的 なi操作 に な る と考 え られ る.本 研 究 の

ジ ェ ス チ ャ 認 識 は 以 下 の3つ の 手 順 か ら な る.

1.GMM前 景 分 離 を 用 い た 手 抽 出

ジ ェ ス チ ャ を 行 う手 を ユ ー ザ 視 点 か ら 抽 出 す る.

2.重 心 座 標 を 用 い た 指 先 検 出

ジ ェ ス チ ャ認 識 の た め に 指 先 位 置 を 求 め る.

3.動 作 解 析

得 ら れ た 情 報 か らジ ェ ス チ ャ を 決 定 す る.

それ ぞれ の詳細 を以下で説明す る.

10

  鰍 蕪 誠 繍 蕪 騨 響

ノ.

'・轡 臥

苗浦 鋤

轟

一 灘

ツ〜

(盤

、認 劉

図2.1メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 の ジ ェ ス チ ャ 入 力 イ メ ー ジ.

2.1.1GMM前 景 分 離 を 用 い た 手 抽 出

カメ ラ映像 を用 い るには,ジ ェス チャを行 う手 を抽出す る必要 があ る.ジ ェスチ ャ認識 で一般 的 な赤外線 セ ンサ[11,12]は,ジ ェスチ ャ認識 を行 う物 体 とセ ンサの問 に十分 な距 離 が必要 で あ るな ど,ウ ェアラブル端末上 での利用 は適 さない.こ の技術 にはオ プテ ィカ ル フロー[13]が あ るが,ウ ェア ラブル端 末上 での利用 のた めに は処理 が重 い.こ の他 の 方法 として は色帯 に よる検 出[14‑16]も よ く用 い られ るが,色 彩 が変わ る野外 での使用 や 手袋 の着用時 な どに問題 が あ る.そ こで,ウ ェアラブル端末上 で も実現可能 な手 の抽 出方 法 としてGMM前 景分離 を採用 す る.

GMM前 景分離 は,動 画像 か ら動 いてい る物体 を抽 出す る画像処 理で あ る.メ ガネ型 カ メ ラを装 着 したユーザが 自身の顔 の前 でハ ン ドジェスチ ャを行 うとい うことは,メ ガネ型 カ メ ラの撮影 す る動画像 に はジ ェス チ ャを行 う手 映 り込 む こ とにな る.つ ま り,こ の動 画像 にGMM前 景分離 の処理 を施す こ とは,ジ ェスチ ャを行 う手 を抽 出す るこ とにな る.

GMM前 景分離 は本来監視 カ メ ラな どで用 い られ てきた画像処理 で あ るが,本 研究 で は リ アル タイムに使用 可能 な改良 されたGMM前 景分離[17,18]を 用 い る.

改良 され たGMM前 景分離 では多重解像度方式 と呼 ぼれ る手法 を採用 し,安 定性 を確 保 して い る.ま た動 画像 に映 り込 んだ影や反 射 を前景 と判断 しない ように除去す る処理[19]

を用 い るこ とで,手 だ けを抽 出す る.こ の影 除去処理 は,元 々の背景部分 の特徴 量が影 に よって減衰 した分 の逆数 をか けるこ とで影 によ るものか どうか を判別 す るもので ある.こ の手法 を反射 による特徴量変化 にも応用す るこ とで反射 除去処理 も行 う.

この画像処 理 によって,メ ガネ型カ メ ラに よって撮影 されたユ ーザ視 点のジ ェス チ ャ動 画 を,手 が前景,そ の ほかの部分 が背景 とな る二値画像 にす る.図2.2にGMM前 景分離 に よって得 られ る画像 の例 を示す.図 右で 白 く表 示 されて い る部分 が前 景で あ る.前 景分 離 は画面 上 に長 く存在 してい るもの を背景 とみな して い く処理で あ るため,手 の 中心部分 は比較 的 欠 けや すい(背 景 と判定 されや すい).図2.2で も手 のい くつ かの部分 が背景 と

して表 示 されて い る.し か し,輪 郭 は多 く残 りやす いた め,ジ ェスチ ャ認識のた めの手抽 出 として は十分 であ る とい え る.

12

05D

樽騨

'一 鱗 熱繍

ヨ

図2.2GMM前 景 分 離 結 果 の 一 例.画 面 左 か ら手 が 現 れ る動 画 中 の1フ レ ー ム を 抜 き 出 し た も の.左 が 元 画 像,右 が 結 果.前 景 分 離 は 時 間 と と も に 前 景 を 背 景 とみ な して い

くた め 手 の 中 央 部 分 な ど は 背 景 に な りや す い.

2.1.2重 心 座 標 を用 い た 指 先 検 出

GMM前 景 分 離 に よ っ て,前 景(=手)と 背 景 の 二 値 画 像 を 得 る.指 さ しや ス ク ロ ー ル とい っ た ジ ェ ス チ ャ を 認 識 す る に は,ま ず 指 先 の 位 置 を 特 定 す る こ とが 必 要 で あ る.こ の た め,二 値 画 像 の 重 心 座 標 か ら指 先 の 位 置 を 推 定 す る方 法 を 提 案 した.正 し く前 景 分 離 が 行 わ れ て い れ ば,こ の 二 値 画 像 の 重 心 は お お よ そ ジ ェ ス チ ャ を 行 な っ て い る 手 の 中 心 付 近 に 位 置 す る こ と に な る.ま た,左 手 を 出 して い れ ば 重 心 の 右 側 に,右 手 を 出 し て い れ ば 重 心 の 左 側 に 指 先 が 映 る.結 果 と し て,指 を 一 本 出 し た 状 態 で は.指 先 の 位 置 は 重 心 座 標 か

ら左 右 ど ち ら側 か に 最 も 離 れ た 手 の 位 置 とな る.

シ ス テ ム は ま ず,二 値 画 像 画 像 か ら 重 心 位 置 を 計 算 し,さ ら に 手 の 左 右 を 推 定 す る.手 の 左 右 は 画 面 端 の 前 景 ピ ク セ ル を 計 算 す る こ とで 推 定 す る こ とが で き る.図2.4に そ の 例 を 示 す.右 手 な ら 赤 い 点 線 部 分 に,左 手 な ら青 い 実 線 部 分 に 前 景 が 多 く現 れ る.例 え ば 右 手 が 画 面 に 映 っ て い る場 合,画 面 の 右 端 に は 腕 が 映 っ て い る こ とか ら,図2.4の よ う に 右 側 の 前 景 ピ ク セ ル の 方 が 多 くな る.こ れ に よ り右 手 と推 定 す る こ とが で き る.こ れ ら の 情 報 か ら重 心 か ら手 の 左 右 に応 じ た 側 で 最 も遠 い 前 景 の 点 を 指 先 位 置 と検 出 す る.図2.4に 指 先 検 出 の 一・ 例 を 示 す.手 が 一 部 背 景 と さ れ て い て も,重 心 位 置 に 影 響 が な い 限 り,指 先 検 出 に 影 響 は及 び に くい こ とが わ か る.

図2.3手 の左 右 判 定 の た め の探 索 範 囲.右 手 な ら赤 い 点線 部 分 に,左 手 な ら青 い 実線

部 分 に前 景 が 多 く現 れ る.

14

ps6

︑織 騨 繊

編

じ

」 ジ 『 _酒 ロ4>

図2.4指 先 検 出 結 果 の 一 例.動 画 中 の1フ レ ー ム を 抜 き 出 し た も の.左 が 元 画 像,右 が 結 果.重 心 の 位 置 に 青 色 の 四 角 を,指 先 の 位 置 に 榿 色 の 丸 を 表 示 して い る.

2.1.3動 作 解 析

メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 の 入 力 の た め に 次 の ジ ェ ス チ ャ認 識 を用 意 し た.そ れ ぞ れ 基 本 的 な ア プ リ ケ ー シ ョ ン の 操 作 を 行 う こ と を想 定 した ジ ェ ス チ ャ で あ る.

1.ク リ ッ ク

指 を 一 本 出 し て 指 を 上 下 す る ジ ェ ス チ ャ.ア イ コ ン の 指 示 な ど を 想 定 して い る.

2.ス ク ロ ー ル

指 を 一 本 出 して 手 ご と左 右 ど ち ら か に 動 か す ジ ェ ス チ ャ.ス マ ー ト フ ォ ン な ど の タ ッ チ デ バ イ ス で よ く用 い ら れ る 動 き で あ る.

3.指 さ し

指 を 一 本 出 して 前 方 を 指 さ す ジ ェ ス チ ャ.ア イ コ ン の 指 示 な ど ク リ ッ ク と似 た 使 用 が 想 定 さ れ る.

そ れ ぞ れ の 詳 細 を 以 下 に 示 す.

本 研 究 で は,一 本 の 指 で 指 定 個 所 を 叩 く よ う な 動 作 を ク リ ッ ク ジ ェ ス チ ャ と 呼 ぶ 。 これ は ス マ ー ト フ ォ ン な ど の タ ッ チ デ バ イ ス で 用 い ら れ る タ ッ チ 操 作 を 元 に し た ジ ェ ス チ ャ で,ウ ェ ア ラ ブ ル 端 末 で あ れ ば ア プ リケ ー シ ョ ン の 選 択 な ど を 想 定 し て い る.図2.5に ク リ ッ ク ジ ェ ス チ ャ の 認 識 の 様 子 を 示 す.ク リ ッ ク ジ ェ ス チ ャ は,指 定 した い 点 が ど の 位 置 に あ る の か を 判 定 す る こ とが 重 要 と な る.

一 本 の 指 を 右 か ら左 ま た は 左 か ら右 に 平 行 移 動 す る 動 作 を

,ス ク ロ ー ル ジ ェ ス チ ャ と し た.こ の 動 作 は ス マ ー ト フ ォ ン な どの タ ッ チ デ バ イ ス で よ く用 い られ る動 作 で,ウ ェ ア ラ ブ ル 端 末 で は 画 面 の 遷 移 な ど に 活 用 す る こ とが 期 待 で き る.こ の ジ ェ ス チ ャ も 指 先 位 置 と 重 心 位 置 の 変 化 を み る こ とで 判 定 す る.ス ク ロ ー ル ジ ェ ス チ ャ 中 は 手 が 横 移 動 す る た め, 指 先 位 置 と重 心 位 置 が 平 行 移 動 す る.こ の こ と を 利 用 して,一 定 時 間 指 先 位 置 と重 心 位 置 の 座 標 が 同 方 向 に 同 程 度 移 動 した と き ス ク ロ ー ル ジ ェ ス チ ャ と判 定 す る.図2.6に ス ク ロ ー ル ジ ェ ス チ ャ の 認 識 の 様 子 を 示 す.

人 さ し指 一 本 で 前 方 方 向 を 指 さ す ジ ェ ス チ ャ を,本 研 究 で は 指 さ し ジ ェ ス チ ャ と呼 ぶ.

指 さ し ジ ェ ス チ ャ も 指 先 位 置 と重 心 位 置 の 変 化 を み る こ とで 判 定 す る こ とが で き る.指 さ

し ジ ェ ス チ ャ を 行 っ て い る と き,指 先 位 置 と重 心 位 置 の 座 標 は あ ま り変 化 し な い.こ の こ

と を 利 用 し て,一 定 時 間 指 先 位 置 と重 心 位 置 の 座 標 が 一 定 範 囲 内 に あ る と き指 さ し ジ ェ ス

チ ャ と判 定 す る.一 定 時 間 同 じ位 置 に 指 先 が あ る と い う こ とを 認 識 す る た め,前 景 分 離 を

用 い た 手 抽 出 で は,手 が 欠 け て し ま い や す い と い う欠 点 も あ る.し か し,重 心 位 置 を用 い

る こ とで こ の 問 題 を あ る程 度 解 決 す る こ とが で き る.ま た,判 定 した と き の 指 先 位 置 を用

い る こ とで 画 面 の ど の 辺 り を 指 さ し て い る の か と い っ た,空 間 指 定 も 可 能 で あ る.こ れ は

16

図2.5ク リ ッ ク ジ ェ ス チ ャ の 認 識 指 先 の 上 下 を 判 定 し て ク リ ッ ク ジ ェ ス チ ャ と認 識 す る.往 復 し た 点 を ク リ ッ ク位 置 とみ な し,ア イ コ ン選 択 な ど に 用 い る こ とが で き る.

磁 聖融 纐

＼ ^＼.

煮薄

薩聖磯 翻

＼ ^、

■ 鮒

嚢騨 織

餌

＼

闘

磁,・

。 轟 襲

一＼

鱒

＼. _{参 饗}

劇・

議 纒

瀬＼ ^毒

図2.6ス ク ロ ー ル ジ ェ ス チ ャ の 認 識 重 心 と指 先 が 並 行 移 動 し て い る と き ス ク ロ ー ル ジ ェ ス チ ャ と認 識 す る.ま た 図 の よ う に 多 少 の 背 景 が 全 景 と し て 表 示 さ れ て も 無 視 し て 指 先 を 決 定 して い る.

18

馳 .一 ・‑a・pti/

婁霧饗轟

煙羅 嚢麟 藝

麟欝 『 湘b

鮮

蘇}

隔 邸

図2.7指 さ し ジ ェ ス チ ャ の 認 識.一 定 時 間 同 じ位 置 に 指 先 が あ り,重 心 座 標 が 安 定 し て い る と き指 さ し ジ ェ ス チ ャ と認 識 す る.画 像 は 指 先 が 認 識 さ れ た 時 の も の.

ク リ ッ ク ジ ェ ス チ ャ と似 た 働 き が 想 定 さ れ る.ウ ェ ア ラ ブ ル 端 末 の ジ ェ ス チ ャ操 作 と して

採 用 で き る 可 能 性 が あ る.図2.7に 指 さ し ジ ェ ス チ ャ の 認 識 の 様 子 を 示 す.図2.7で も輪

郭 以 外 の 広 い 空 間 が 欠 け て し ま っ て い る が,重 心 位 置 か ら指 先 を 判 定 す る こ とで 指 さ し

ジ ェ ス チ ャ が 認 識 で き て い る.

2.2モ ビ リテ ィ ロ ボ ツ トシ ス テ ム

提 案 す る シ ス テ ム の 入 出 力 の 流 れ と構 成 図 を 図2.8に 示 す.モ ビ リ テ ィ ロ ボ ッ トを よ り イ ン タ ラ ク テ ィ ブ に 操 作 す る に は,直 感 的 な 操 作 が 必 要 で あ る.ま た,ロ ボ ッ トに 運 転 を 任 せ る とい う観 点 で は 安 全 性 も 求 め られ る.そ こで,ジ ェ ス チ ャ に よ る イ ン タ ラ ク テ ィ ブ な 操 作 の た め の セ ン サ と安 全 の た め の セ ン サ が 必 要 で あ る.提 案 す る シ ス テ ム は,メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 上 か ら ジ ェ ス チ ャ を 撮 影 す る カ メ ラ,ロ ボ ッ ト上 か ら操 縦 者 の 顔 を 撮 影 す る カ メ ラ,ロ ボ ッ ト前 方 で 障 害 物 を 検 知 す る測 域 セ ン サ の3つ の セ ンサ か ら な り,そ れ ら の 情 報 を 入 力 と す る.そ れ ぞ れ の セ ン サ か ら得 られ る 情 報 を 元 に,ジ ェ ス チ ャ の 意 味 理 解,そ の ジ ェ ス チ ャ の 方 向 推 定,安 全 確 認 を 行 い,命 令 を 決 定 し 出 力 とす る.本 研 究 で は モ ビ リテ ィ ロ ボ ッ トの 基 本 的 な 命 令 で あ る前 進 ・旋 回 ・停 止 を 用 意 す る.図2.8に は 使 用 し た そ れ ぞ れ の セ ン サ(図 左 下)と そ の 結 果 例(図 右 下)を 示 し て い る.

本 研 究 に お い て 使 用 し た 機 器 の 詳 細 を 以 下 に 示 す.

t

1.モ ビ リテ ィ ロ ボ ッ トCHOICA(VECTOR株 式 会 社)

前 二 輪,後 一 輪 の ス ク ー タ 型 モ ビ リテ ィ ロ ボ ッ ト.図2.9に 構 成 図 を 示 す.元 は シ ニ ア カ ー で,ジ ョ イ ス テ ィ ッ ク に よ っ て 操 作 が 可 能 で あ る.本 研 究 で はArduinoで 制 御 を 行 う.

2.ジ ェ ス チ ャ認 識 用 メ ガ ネ 型webカ メ ラviewっ と め が ね(テ ラ テ ク ノ ス 株 式 会 社)

メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 を 想 定 した,メ ガ ネ 型 の カ メ ラ デ バ イ ス.メ ガ ネ の レ ン ズ と レ ン ズ の 間 部 分 に 単 眼 カ メ ラ が 搭 載 さ れ て い る も の.本 稿 で は こ れ を メ ガ ネ 型 カ メ ラ と 呼 ぶ.本 研 究 で は 解 像 度600p×400pで 使 用 した.ロ ボ ッ ト操 縦 者 が こ れ を 着 用 す る こ とで,ジ ェ ス チ ャ を 操 縦 者 目線 で 撮 影 す る こ とが 可 能 とな る.

3.顔 検 出 用USBカ メ ラ

モ ビ リ テ ィ ロ ボ ッ トの ハ ン ドル 部 に 操 縦 者 の 顔 が 撮 影 す る 向 き で 搭 載 す る.本 稿 で は こ れ を ロ ボ ッ トカ メ ラ と呼 ぶ.本 研 究 で は 解 像 度1280p×720pで 使 用 し た.

4.測 域 セ ン サURG‑04LX‑UGO1(北 陽 電 機 社)

障 害 物 検 知 用.赤 外 線 を 用 い た 測 域 セ ン サ.最 大270度,5mま で(安 定 値 は240 度,4mま で)の 物 体 を 検 知 可 能 で あ る.図2.10に 外 観 と提 供 さ れ て い る シ ス テ ム

を 利 用 し て い る 様 子 を 示 す.

5.ジ ェ ス チ ャ 認 識 シ ス テ ム 用PC

MacOSX.2.8GHzIntelCorei7.言 語 はProcessingを 用 い て い る.メ ガ ネ 型 カ メ

ラ と接 続 す る.

20

入力

①

Gρ ②

③

聖蟻 蜜・ 霧

ふ

由

＼

出力(命 令》

＼

図2.8シ ス テ ムの構 成 図.操 縦 者 目線 の ジ ェ ス チ ャ動 画 像 を メ ガ ネ型 カ メ ラ に よ って 取 得 し,ロ ボ ッ ト側 の カ メ ラか ら操 縦 者 の顔 情 報 を取 得 す る.ま た,測 域 セ ンサ が 前 方

の 障 害物 を検 知 す る.得 られ た情 報 を複 合 して 最 終 的 な命 令 を ロボ ッ トに送 る.

6.顔 検 出 シ ス テ ム 兼 測 域 セ ン サ 用PC

MacOSX.1.8GHzIntelCorei7.言 語 に はC++を 用 い,openFrameworksの

APIIを 利 用 し て い る.'ロ ボ ッ ト カ メ ラ と 接 続 す る.ま た,測 域 セ ン サ の デ ー タ 処 理 も こ のPCで 行 な っ た.言 語 はProcessingで あ る.

本 研 究 で は ジ ェ ス チ ャ認 識 シ ス テ ム 用PCと 顔 検 出 シ ス テ ム 用PC,ジ ェ ス チ ャ認 識 シ ス テ ム 用PCとArduinoで 無 線 通 信 を 行 い,モ ビ リテ ィ ロ ボ ッ トの 移 動 操 作 を 行 う.

iFaceTracking[https://github .com/kylemcdonald/ofkFaceTracker](最 終 ア ク セ ス2017/2)

鋼ボ ッ トカ メ ラ

藤 難 細.穣 購 頼 轟 ● 罐 獅 繍

鳳 購 嶺 剣1鐘 麟 轍 ● 臓 媒 麟

ハ ン ドル

Ardul織o

… 。̲̲鞭 灘纂 後 輪

̲鱒 鱒̲。̲霧 奪輪

:瀧 籍 難 繊 壌 鍵 繭 額 郷 纏 麟 難 繕 磯 魏.繕穣 魏 繕 職 魏 纂 黛 窺 纂 職 講 嚢 鈴 卿 籟 鈴 樽 嚢 鈴 測域 センサ

図2.9モ ビ リ テ ィ ロ ボ ッ トの 構 成 図.前 二 輪 駆 動 でArduinoに よ っ て 制 御 さ れ る.ハ ン ドル 部 に ロ ボ ッ トカ メ ラ,前 方 に 測 域 セ ン サ を 設 置 し て い る.

麟鋤

9イ ムス少ンプ・棚 ^{員r鴫r「 「 ・二t」}

図2.10本 研 究 で 用 い た 測 域 セ ン サURG‑04LX‑UGO1(北 陽 電 機i社).図 左 が 本 体,図 右 は 北 陽 電 機 社 か ら提 供 さ れ て い る ッ ー ル の 起 動 中 画 面.

＼︑

︑

ノノノ

第3章

指 さ し認 識 に よ る マ ク ロな 命 令 シ ス テ ム

3.1ロ ボ ッ ト移 動 操 作 の た め の ジ エ ス チ ャ認 識

マ ク ロ な 命 令 で モ ビ リテ ィ ロ ボ ッ トを 移 動 操 作 す る た め に,メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 とモ ビ リ テ ィ ロ ボ ッ トの 組 み 合 わ せ を 想 定 した,メ ガ ネ 型 カ メ ラ を 用 い た ジ ェ ス チ ャ 入 力 に よ る ロ ボ ッ ト操 作 シ ス テ ム を 提 案 す る.ロ ボ ッ ト移 動 操 作 に は ウ ェ ア ラ ブ ル 端 末 を 用 い た ジ ェ ス チ ャ認 識 を使 用 す る.シ ス テ ム は,メ ガ ネ 型 の カ メ ラ用 い た ジ ェ ス チ ャ 認 識 を 用 い て,モ ビ リ テ ィ ロ ボ ッ トへ の 命 令 決 定 を 行 う.認 識 す る ジ ェ ス チ ャ は 本 研 究 に お い て

「 指 さ し」 と 「ス ク ロ ー ル 」 と呼 ぶ2種 類 と停 止 の た め の ジ ェ ス チ ャ の3種 類 で,モ ビ リ

テ ィ ロ ボ ッ トの 前 進 ・旋 回 ・停 止 命 令 に 対 応 す る.「 指 さ し 」 は 指 一 本 で 前 方 を 指 差 す 動

作,「 ス ク ロ ー ル 」 は 指 一 本 を出 した 状 態 で 右 か ら 左(も し くは 左 か ら右)に 手 を 横 移 動

さ せ る 動 作,停 止 ジ ェ ス チ ャ は カ メ ラ を 覆 う 動 作 で あ る.メ ガ ネ 型 ウ ェ ア ラ ブ ル 端 末 を用

い た ジ ェ ス チ ャ認 識 は2.1章 で 述 べ た シ ス テ ム を 基 本 とす るが,モ ビ リテ ィ ロ ボ ッ トの 移

動 操 作 用 の 調 整 を 行 う.

24

3.1.1モ ビ リ テ ィ ロ ボ ッ トの た め の 指 先 検 出

ジ ェ ス チ ャ 認 識 の た め の 指 先 検 出 は2.1.1章 及 び2.4章 で 述 べ た シ ス テ ム を 基 本 とす る.

しか し,モ ビ リ テ ィ ロ ボ ッ ト上 で の ウ ェ ア ラ ブ ル 端 末 の 使 用 に 合 わ せ た ジ ェ ス チ ャ 認 識 を 用 意 す る 必 要 が あ る.前 景 分 離 に よ っ て 手 だ け が 前 景 と し て 抽 出 さ れ る こ とが 理 想 的 で は あ る が,モ ビ リ テ ィ ロ ボ ッ トの 運 転 中 に メ ガ ネ 上 の カ メ ラ を 使 う関 係 上,頭 ぶ れ な ど に よ っ て ノ イ ズ(背 景 で あ る は ず が 前 景 と して 判 定 され て し ま う ピ ク セ ル)が 発 生 す る こ と が あ る.こ の よ う な ノ イ ズ に よ る 指 先 位 置 の 誤 判 定 を 防 ぐた め に,指 先 の 探 索 範 囲 を 制 限 す る 手 法 を 用 い る.手 順 は 以 下 の 通 りで あ る.

1.そ れ ぞ れ の 縦 一 列 の 前 景 ピ ク セ ル 数 を カ ウ ン トす る.

2.一一定 ピ クセ ル 未 満 の 前 景 ピ ク セ ル しか な い 列 は 前 景 の な い 列,そ れ 以 上 存 在 す る列 を 前 景 の あ る列 とす る.

3.前 景 の あ る列 が 隣 り合 うな ら ば そ れ ら を ま とめ て 前 景 の あ る 一 帯 と し,ま とめ ら れ た 列 の 数 を そ の 一 帯 の 幅 とす る.

4.最 も 幅 の 広 い 一 帯 を 探 索 範 囲 とす る.

5.1〜4の 手 順 を 横 一 列 で も行 う.

6.得 ら れ た 探 索 範 囲 の 大 き さ が 一 定 以 上 で あ れ ば 探 索 を 行 う.

7.探 索 範 囲 中 で 最 も 遠 い 前 景 ピ ク セ ル を 指 先 位 置 とす る.

この 手 法 の 目 的 は 手 の あ る 範 囲 を 推 定 す る こ とで あ る.ジ ェ ス チ ャ を 行 う手 は 画 面 中 で 最

も大 き な ブ ロ ッ ク を持 っ た 前 景 に な りや す い.前 景 と して 誤 判 定 さ れ た 部 分 が 手 と重 な っ

て い な け れ ば こ の 手 法 に よ っ て 探 索 範 囲 外 に な る.ま た,画 面 に 手 が 映 っ て い な い と き に

は,前 景 が 少 な い た め 探 索 範 囲 が 極 端 に 小 さ くな る.こ の こ と を 利 用 し て,探 索 範 囲 の 大

き さ で 手 が 映 っ て い る か ど う か を 推 定 す る こ とが で き る.こ の 手 法 を 使 っ た 時 の 様 子 を

図3.1に 示 す.緑 色 の 枠 の 内 側 が 探 索 範 囲 で,ち ょ う ど 手 の あ る範 囲 を 覆 っ て い る の が わ

か る.

」S6

瞳

リ ド 織

欝

藤

︾ 罵 ミ

ψ幽騨 欄悔 鳳 ゆXA騨

学

・!メぜ

ほ

,

1。̲

●{馴

図3.1探 索 範 囲 の制 限.動 画 中 の1フ レー ム を 抜 き出 した もの.左 が 元 画 像,右 が 結

果.緑 色 の枠 の 内側 が探 索 範 囲 で あ る.重 心 の位 置 に青 色 の四 角 を,指 先 の位 置 に榿 色

の 丸 を表 示 して い る.枠 外 の 前景 を無 視 して 指 先位 置 を検 出 で きて い る.

26

3.1.2モ ビ リテ ィ ロボ ッ トの移 動 操 作 に む け た ジ ェ ス チ ャ認 識

得 られた指先 位置 な どの情報 を用 いてジ ェスチ ャを推定す る.本 研究 ではモ ビ リティロ ボ ッ トの移 動制御のた め以下 の三 つの命令 のた めの ジェスチ ャを検討 す る.

1.前 進

指 さ し ジ ェ ス チ ャ を 採 用 す る.行 き た い 方 向 を ロ ボ ッ トに 指 示 を す る ジ ェ ス チ ャ と して は 直 感 的 で あ る.ジ ェ ス チ ャ の 向 き に よ っ て,進 む 向 き を 変 更 す る.

2.旋 回

ス ク ロ ー ル ジ ェ ス チ ャ を 採 用 す る.ス マ ー ト フ ォ ン な ど の タ ッ チ デ バ イ ス で よ く用 い られ る動 き で あ り,向 き を 変 え る とい う 目的 か ら連 想 しや す い.ス ク ロ ー ル は 右 か ら左,左 か ら右 の2種 類 で,そ れ ぞ れ ロ ボ ッ トの 左 旋 回 と右 旋 回 の 命 令 と な る.

3.停 止

カ メ ラ を 手 で 覆 う ジ ェ ス チ ャ(停 止 ジ ェ ス チ ャ と 呼 ぶ)を 採 用 す る.安 定 性 に 優 れ る.

以 下 に そ れ ぞ れ の ジ ェ ス チ ャ の 詳 細 を 述 べ る.

モ ビ リテ ィ ロ ボ ッ トへ の 前 進 命 令 に 対 応 す る ジ ェ ス チ ャ と し て,指 さ しジ ェ ス チ ャ を 採 用 す る.似 た 用 途 に ク リ ッ ク ジ ェ ス チ ャ が あ る が,安 定 性 の 問 題 か ら よ り認 識 しや す い 指 さ し ジ ェ ス チ ャ を 用 い る.行 き た い 方 向 を ロ ボ ッ トに 指 示 を す る ジ ェ ス チ ャ と して は 直 感 的 で あ る と考 え て い る.判 定 し た と き の 指 先 位 置 を 用 い る こ とで 画 面 の ど の 辺 り を 指 さ し て い る の か も わ か るが,本 研 究 で は 後 述 の 顔 向 き 検 出 で 補 う た め,使 用 しな い.

モ ビ リ テ ィ ロ ボ ッ トへ の 旋 回 命 令 に 対 応 す る ジ ェ ス チ ャ と し て は,ス ク ロ ー ル ジ ェ ス チ ャ を採 用 す る.左 右 に 指 を 動 か す とい う動 き か ら,向 き を 変 え る とい う 目 的 が 連 想 しや す い と考 え て い る.旋 回 命 令 時 に は ロ ボ ッ トが ス ク ロ ー ル 方 向 に 応 じ て 旋 回 し,一 定 時 間 経 過 す る か,停 止 命 令 が 送 られ る ま で 旋 回 を 続 け る.停 止 命 令 と合 わ せ る こ と で180度 の 旋 回 も 可 能 で あ る.

モ ビ リ テ ィ ロ ボ ッ トの 操 作 に お い て,停 止 命 令 は 正 し く確 実 に 機 能 す る こ とが 特 に 求 め ら れ る.そ こで,GMM前 景 分 離 を 用 い た ジ ェ ス チ ャ 認 識 とい う方 法 に お け る 停 止 の た め の ジ ェ ス チ ャ と し て,「 カ メ ラ を 手 で 覆 う」 とい う ジ ェ ス チ ャ を 提 案 す る.停 止 ジ ェ ス チ ャ と して 人 間 の 直 感 に 近 い 動 き の 一 つ は 手 を 開 い て 前 に 出 す 動 き だ ろ う.多 くの 文 化 で,片 手 を広 げ て 前 に 出 す 動 き が 止 ま れ の ジ ェ ス チ ャ と さ れ て い る.こ れ を カ メ ラ の 前 で 行 う こ とで 「カ メ ラ を 手 で 覆 う」 と い う ジ ェ ス チ ャ に な る.図3.2に 示 す よ う に カ メ ラ の

み を 指 先 で 覆 っ て も よ い.

▼

謙

蕪 癒 礁

㌔ 鶏

噛 〆

.濠, 鳶 …

聴

図3.2カ メ ラ を 覆 う停 止 の た め の ジ ェ ス チ ャ を 行 う 様 子.図 の メ ガ ネ 型 カ メ ラ は フ レ ー ム の 中 央 部 分 に カ メ ラ が 搭 載 さ れ て い る た め 図 の よ う な ジ ェ ス チ ャ に な る.画 像 で は 指 一 本 で 行 な っ て い る が,手 の 平 で も構 わ な い.

停 止 ジ ェ ス チ ャ を 行 う と,画 面 に 何 も 映 ら な い 状 態 に な り(前 景 分 離 す る ま で も な く) 画 面 が 全 て 背 景 と判 定 さ れ る.こ の 全 て 背 景 と な る こ と を判 定 し て,停 止 命 令 とす る.モ ビ リ テ ィ ロ ボ ッ トが 動 い て い る と き,前 景 分 離 の 結 果 は不 安 定 な も の とな る.カ メ ラ 本 体 が 前 進 す る こ と に よ り,画 面 上 に 前 景 と し て 判 定 さ れ る 領 域 が 発 生 す る.こ の た め,ロ ボ ッ トが 移 動 して い る間 は 停 止 命 令 以 外 の 命 令 を 受 け 付 け な い よ う に 設 定 す る こ とで,不 要 な タ イ ミ ン グ で の 停 止 が 行 わ れ に く く,ま た 必 要 な と き に は す ぐ に 停 止 す る こ とが 可 能

と な る.旋 回 動 作 の 停 止 も 同 様 の ジ ェ ス チ ャ を 採 用 し,自 由 な 方 向 に 変 え る こ と を 可 能 と

す る.図3.3に 停 止 ジ ェ ス チ ャ の 認 識 の 様 子 を 示 す.

28

一 聴 慰驚即

幣 弩

一 』へ

'・一 懸無軸輌榊

曵

ゐ

㌃ 備

̲̲.̲一̲̲̲̲̲一

一

} 引 ℃

㌔糧

図3.3停 止 ジ ェ ス チ ャ認 識 の 様 子.カ メ ラ が 覆 わ れ る こ とで 画 面 に何 も 映 ら な くな る.

3.2顔 向 き検 出 に よ る ジ ェ ス チ ャ方 向 決 定 シ ス テ ム

モ ビ リテ ィ ロ ボ ッ トを ジ ェ ス チ ャでi操作 す る た め に は,単 な る ジ ェ ス チ ャ の 認 識 だ け で は な く,操 縦 者 の 意 図 を 適 切 に 理 解 で き る こ とが 求 め られ る.こ の た め,ジ ェ ス チ ャ認 識 の 結 果 を よ り正 確 に 反 映 で き る 顔 向 き 検 出 に よ る ジ ェ ス チ ャ 方 向 決 定 シ ス テ ム を 提 案 す る.正 面 ・右 前 方 ・左 前 方 の3方 向 へ の 前 進 命 令 を ジ ェ ス チ ャ に よ っ て 実 現 す る方 法 と し て は,複 数 の ジ ェ ス チ ャ に命 令 を 割 り当 て る,ジ ェ ス チ ャ の 位 置 に よ っ て 移 動 方 向 を 変 え る な ど と行 っ た 方 法 が 考 え られ る.同 じ前 進 とい う命 令 で あ る こ と を 考 え る と,指 さ し と い っ た1つ の ジ ェ ス チ ャ を 使 う 方 が 一・ 貫 性 が あ りわ か りや す い.し か し,ジ ェ ス チ ャ の 位 置 は ユ ー ザ に よ っ て 大 き く変 化 しや す く,実 際 に ロ ボ ッ トに 乗 っ た 状 態 で は 認 識 率 が 落 ち や す い.そ こで,モ ビ リ テ ィ ロ ボ ッ ト側 の カ メ ラ を 用 い て 操 縦 者 の 顔 検 出 を 行 う.モ ビ リ テ ィ ロ ボ ッ トは 操 縦 者 の 顔 の 向 き を 検 出 す る こ とで,操 縦 者 が ど の 方 向 に 向 か っ て ジ ェ ス チ ャ を 行 な っ て い る の か が わ か る.こ れ に よ っ て よ り確 実 に 操 縦 者 の 進 み た い 方 向 へ の 移 動 操 作 を 可 能 と す る.

本 研 究 で はopenFrameworksのAPIを 使 用 し て 顔 向 き 検 出 を 行 な っ た.こ のAPIは 顔 の 部 分 座 標 を 検 出 す る こ とが で き る.顔 の 中 央 部 分 で 常 に 検 出 で き る こ とか ら,鼻 先 と眉 間 の 座 標 を 用 い て 顔 向 き検 出 を 行 う.鼻 先 が 眉 間 よ り も大 き く画 面 左 側 に あ れ ば 顔 は 右 向 き,右 側 に あ れ ば 左 向 き,そ の 間 を 正 面 と し て 顔 の 向 き を 検 出 す る.動 作 例 を 図3.4に 示 す.顔 の 輪 郭 と特 徴 箇 所 を 白線 で ハ イ ラ イ ト し て い る.図 は 右 向 き を 判 定 して い る 時 で,

こ の 状 態 で 指 さ し を 行 な っ た 場 合 右 方 向 へ の 指 さ し と判 断 す る.

事 前 実 験 に よ っ て,ジ ェ ス チ ャ 認 識 と顔 向 き検 出 を 組 み 合 わ せ た 結 果,顔 向 き検 出 を

使 っ た 場 合 ジ ェ ス チ ャ の 認 識 率 が 向 上 す る こ とが 確 認 で き た[20].顔 向 き を 判 定 し な い シ

ス テ ム で 存 在 し た,メ ガ ネ 型 カ メ ラ を 装 着 し た 状 態 で は カ メ ラ の 範 囲 外 で ジ ェ ス チ ャ を 行

な っ て し ま う な ど とい っ た ケ ー ス が 減 少 し た た め で あ る.こ れ に よ り,顔 向 き 検 出 あ りで

の 認 識 率 は,カ メ ラ を 固 定(メ ガ ネ 型 カ メ ラ で は な く,三 脚 に 固 定 した 状 態 の カ メ ラ で 撮

影 した 状 態)し た 顔 向 き検 出 な しで の 結 果 と近 い 数 値 と な っ た[20].

30

9

も 、

o

一噛㌦

一

'' も

⁝

艶 騨 ^{.ー 〜 う}

・ 転 参

ー︑＼ ■

,

亀 調劇膨

蹴 鞭}灘 臥 繋

隔 騰㌻ 濃物畿麟蓼、

》

詠、

伽

罵 ら

鰻os￠ 警{￠◎d=260.3419ドa￠eお 三rectSon:戴6}鐸

NeseM,峯 鴎254◆298

図3.4顔 向 き 検 出 の 様 子.鼻 先 と 眉 間 のx座 標 か ら 顔 の 向 き を 検 出 す る.図 で は 右 向 き を 判 定 し て い る.

第4章

マ ク ロな命 令 の た め の 安 全 知 能 シス テ ム

ス ク ー タ 型 の よ う な 小 型 の モ ビ リ テ ィ ロ ボ ッ トは,屋 内 外 間 わ ず 利 用 で き る点 も利 点 の 一 っ で あ る

.し か し,屋 内 に お い て は 壁 や 柱 な ど,多 くの 障 害 物 の 近 くで の 運 転 が 想 定 さ れ る.ジ ェ ス チ ャ に よ る移 動 命 令 は ど う して も 細 か な 指 示 に は 向 か な い た め,操 縦 者 が 停 止 命 令 を 送 ら な くて も 明 らか に 停 止 す る必 要 の あ る場 合,例 え ば 目 の 前 に 壁 が あ る場 合 な ど に は,ロ ボ ッ トに よ っ て 自動 的 に 停 止 す る こ とが 望 ま し い.そ こで,測 域 セ ン サ を用 い て 障 害 物 を 検 知 す る.

本 研 究 で は 測 域 セ ン サ と し て270度5mの 範 囲 を 測 定 可 能 で あ るURG‑04LX‑UGO1 (北 陽 電 機 社)を 用 い る.こ の セ ン サ を ロ ボ ッ ト前 方 に 取 り付 け,障 害 物 を 検 知 す る.前 方150度 か つ1m以 内 に お よ そ90cm以 上 の 大 き さ の 物 体 を 検 知 し た と き,移 動 を 中 止, ま た は 前 進 命 令 を 受 け 付 け な い に 制 御 す る.こ の 際,i操 縦 者 に は 障 害 物 が あ る た め 進 ま な い 旨 を 音 声 に よ っ て 伝 え る.障 害 物 を 検 知 し て い る 場 合,正 面 へ の 前 進 命 令 は 無 効 と な り,左 右 へ の 前 進 は 左 右 へ の 旋 回 命 令 と な る.こ れ に よ っ て,i操 縦 者 は 壁 の 前 に 来 た 場 合,「 右/左 を 向 い て 指 さ し を す る」 「ス ク ロ ー ル を す る 」 い ず れ か の ジ ェ ス チ ャ で 向 き を 変 え る こ とが で き る.障 害 物 の 有 無 に よ っ て 命 令 の 解 釈 を 変 え る こ と は,安 全 知 能 と し て の 基 礎 段 階 で あ る.こ の シ ス テ ム を基 本 と し,知 能 と して の 拡 張 を 目指 し て い く.

図4.1に シ ス テ ム が 利 用 した 測 域 セ ン サ に よ る 測 定 の 画 面 を 示 す.物 体 ま で の 距 離 が 白

い 縦 線 で 表 示 さ れ,長 い ほ ど遠 く に あ る物 体 で あ る こ とを 示 す.赤 い 横 線 が1mの 範 囲 で

あ る.こ の 図 は セ ン サ 前 方 右 側 の 非 常 に 近 い 位 置 と正 面 や や 左3m程 度 の 位 置 に 物 体 が あ

る状 態 で あ る.こ の 状 態 は 前 方 の か な り近 い 位 置 に 物 体 が あ るた め,シ ス テ ム は 危 険 で あ

る と判 断 す る.そ の た め こ の 状 態 で 指 さ し ジ ェ ス チ ャ を 行 な っ て も前 進 を 行 わ ず,危 険 で

あ る こ と を 音 声 で 伝 え る.

32

。̀

図4.1測 域 セ ン サ に よ る測 定 の 様 子.中 央 部 分 の 白 色 の 線 が 物 体 ま で の 距 離 を 表 し て い る.赤 色 の線 がlm.図 で はlm以 内 に 多 くの 物 体 が 検 知 さ れ て い る 状 態 で あ り,こ の 状 態 で は 前 進 し な い.

第5章

実験

5.1実 験 方 法

実 際 に 提 案 シ ス テ ム を使 っ て モ ビ リ テ ィ ロ ボ ッ トが 操 作 可 能 か に つ い て,実 験 を 行 な っ た.実 験 協 力 者 に は モ ビ リテ ィ ロ ボ ッ トに 乗 っ て も ら い,指 定 の ス タ ー ト地 点 か ら ゴ ー ル 地 点 ま で ジ ェ ス チ ャ命 令 の み で 移 動 す る とい う タ ス ク を 与 え た.本 シ ス テ ム は 慣 れ に よ る 影 響 が 大 き く影 響 す る と考 え ら れ る た め,1人2回 ず つ 同 じ タ ス ク を 行 う こ と で,シ ス テ ム へ の 慣 れ に よ る効 果 を 計 測 した.実 験 協 力 者 は 学 生6人,場 所 は 屋 内 の ホ ー ル で あ る.

実 験 会 場 の 見 取 り図 と写 真 を 図5.1に 示 す.ス タ ー ト地 点 か ら ゴ ー ル 地 点 ま で の 経 路 は 実 験 協 力 者 の 自 由 で あ る が,少 な く と も1回 は 右 方 向 へ の 前 進 か,旋 回 が な け れ ば ゴ ー ル 地 点 に は 到 達 し な い.実 験 協 力 者 に は シ ス テ ム の 説 明 を した の ち,実 験 開 始 前 に ジ ェ ス チ ャ 認 識 を 使 っ て 実 験 と 同 様 の 条 件 でi操作 す る練 習 時 間 を 設 け た.実 験 協 力 者 の 中 に は,本

ジ ェ ス チ ャ 認 識 シ ス テ ム に 全 く触 れ た こ との な い 者 も,あ る程 度 試 した こ と の あ る者 も い た た め,ス タ ー ト地 点 か ら ゴ ー ル 地 点 ま で 移 動 す る か,実 験 協 力 者 が 満 足 した 段 階 で 練 習 を 終 了 と し た.ま た,1回 の タ ス ク の 最 大 時 間 を8分 と設 定 し,そ れ ま で に ゴ ー ル で き な か っ た 場 合 は そ の 時 点 で 終 了 と した.

図5.2に 練 習 中 の ロ ボ ッ トの 動 作 の 様 子 を 示 す.実 験 に 用 い たPCは 実 験 協 力 者 の 膝 の

上 に 置 き,そ れ ぞ れ 無 線 通 信 を 行 っ て い る.図 で は 前 進 し て い る 間 も 手 を 上 げ 続 け て い る

が,そ の 必 要 は な い.こ の よ う な シ ス テ ム に 対 す る説 明 も練 習 段 階 で 説 明 を 行 っ た.

34

図5.1実 験 会 場 の 見 取 り図 と写 真.図 中 上 の 方 向 を 向 い て ス タ ー トす る.写 真 は ス タ ー ト地 点 か ら ゴ ー ル 地 点 方 向 を 撮 影 し た も の.少 な く と も一 回 は 右 へ 方 向 転 換 す る 必 要 が あ る.

く

響《 贈

騨

ぎ、

'

,昌;';

輪 費 卿

参

欝 開

・2←一

憾 二1

(a

触 蕪鮮一

)開 始 状 彫

ム ヒニ

〜犠 く

ずミ 邦

熱 ∀ 撃

臨 メ   転 ・ 朔

か

《 ∫

(b)指 さ し動 作 開 始

麟

疑

  き ぎ ぷ

轡 閥 拶

一

妻 一 一

、」亀 ・

(c)指 さ し 動 作 中

む『厩 顕

■隆 ・

煙・ 「"

  幾 爵刈

、 融 嘱

《 》

(d)指 さ し動 作

'

■膨

燃 騨 胤

『轍噺  

驚懸 ∵『

ゆ 醐嘱

猛 〉

(e)前 進 開 始

驚:＼ 噸 肛'

1竃 ご 轍'卿

一

獄 灘 刺

2博 榔一

,SL・r

(f)前 進 中

図5.2ロ ボ ッ トの 動 作 例.モ ビ リ テ ィ ロ ボ ッ ト に 乗 っ た 実 験 協 力 者 が 指 さ し ジ ェ ス チ ャ に よ っ て モ ビ リ テ ィ ロ ボ ッ トに 前 進 命 令 を 送 っ て い る.

36

5.2実 験 結 果 と考 察

説 明 の た め,6人 の 実 験 協 力 者 を そ れ ぞ れ 実 験 協 力 者A〜Fと 呼 ぶ.6人 の う ち,実 験 協 力 者A〜Eの5人 は2回 の 実 験 両 方 で ゴ ー ル ま で 到 達 した.し か し,実 験 協 力 者Fは1 回 目 の 時 間 が8分 を 超 え て し ま っ た.こ の 実 験 協 力 者Fの 結 果 は 他 の5人 と大 き く異 な

る特 徴 が み ら れ た た め,先 に 実 験 協 力 者A〜Eの5人 の 結 果 に つ い て ま とめ た も の を 考 察 す る.

実 験 協 力 者A〜Eの ゴ ー ル ま で か か っ た 時 間 と そ の 平 均 を 図5.3に 示 す.多 くの 実 験 協 力 者 が2回 目 の 実 験 で1回 目 の 半 分 以 下 の 時 間 で の ゴ ー ル を した.最 も 変 化 の あ っ た の は 実 験 協 力 者Fで7分46秒 か ら1分26秒 と1/5ほ どの 時 間 で ゴ ー ル し た.こ の 要 因 と

して は,実 験 協 力 者 が ジ ェ ス チ ャ 認 識 の コ ッ を つ か ん だ こ とが 挙 げ ら れ る.実 験 協 力 者A

〜Eで の 実 験 に お け る ジ ェ ス チ ャ の 認 識 率 の 平 均 を 図5 .4に,指 さ し とス ク ロ ー ル の ジ ェ ス チ ャ 動 作 回 数 を 図5.5示 す.図5.4に 示 す よ う に,全 体 と し て2回 目 の ジ ェ ス チ ャ の 認 識 率 が1回 目 よ り も 向 上 した.こ れ は 図5.5に 示 す よ う に 認 識 に 失 敗 した ジ ェ ス チ ャ の 回 数 が 減 少 した た め で あ る.特 に ス ク ロ ー ル ジ ェ ス チ ャ が う ま く認 識 さ れ な い こ と が 多 く, 多 くの 実 験 協 力 者 が2回 目 に は ス ク ロ ー ル ジ ェ ス チ ャ を 使 わ な い で ゴ ー ル し た こ とが,2

{sl

4鎚

42難

婁3◎ ◎ ヒ2葡

惹 榊

鵜9

6◎

軸﹂

■ 獄

■2nes

A 鋒

触 搬膿 ゆa醍

鐵 A㌢ 蟹 瞭 む

図5.3実 験 協 力 者A〜Eの ゴ ー ル ま で か か っ た 時 間 と そ の 平 均.ほ と ん どが1回 目 よ り も2回 目 の 方 が 少 な い 時 間 で ゴ ー ル して い る.

lo(}、 導%

8◎,◎%

婁 蟹6α 筋

1菊 銚

2◎,◎%

α◎魅

PQInt Screll Ste嚢 $α 心縁$生鋤

図5.4実 験 協 力 者A〜Eで の 実 験 に お け る ジ ェ ス チ ャ の 認 識 率.指 さ し と ス ク ロ ー ル に は 改 善 の 余 地 が あ る が,停 止 命 令 の ジ ェ ス チ ャ は 確 実 に 認 識 で き る こ とが 確 認 で き た.

times li◎

■$u￠ ￠ess..鑛M鵬 室麟es

s◎

A) Aり △ V ◎ 4 }3 つ 撫 凄

纏 憩 し 簿 留 如う の O 触 ◎ 恥 の ゑ 鐸 ㎞欝 驚

暮

lst 2鱒

◎ a ◎ 4 ◎ 2

の の し 懲 騨 硫 ㊧ ￠ ち 熱 灘 滋 薮 灘

c‑一 一一一一 一̲̲一̲̲̲l st2畷

(a)指 さ し動 作 回 数(b)ス ク ロ ー ル 動 作 回 数

図5.5実 験 協 力 者A〜Eで の実 験 に お け る指 さ し及 び ス ク ロー ル ジ ェ ス チ ャ回数 の合 計 とその 認 識 回 数1回 目 よ り も2回 目の 方 が 認 識 で きな か った ジ ェス チ ャの 回数 が 少

な くな り,認 識 率 が 向上 した こ とが わか る.

回 目 の タ イ ム 短 縮 に 繋 が っ て い る.ま た,図5.4に 示 す よ う に,ス ト ッ プ/ス ク ロ ー ル ス

ト ッ プ命 令 は1回 目 の 使 用 か ら安 定 して 動 作 す る こ と が 確 認 で き た.ま た,唯 一 ゴ ー ル 時

間 が 縮 ま な か っ たDは1回 目 か ら良 い タ イ ム を 記 録 し,全 体 の 最 短 記 録 も実 験 協 力 者D

の1回 目 で48秒 とい う記 録 で あ っ た.な お,実 験 中 に 壁 や 障 害 物 に衝 突 す る よ うな 事 故

は 発 生 し な か っ た.

38

実験協 力者A〜Eの 全10回 の実験 にお け る,意 図 して いないジ ェス チ ャが判定 されて しまった回数 を ま とめた ものを表5.1に 示 す.動 作時誤判定 回数 は実験協 力者が いず れか の ジェスチ ャを行 な ってい る時の誤動作 の回数,停 止 時誤判 定回数 は実験協力者 が何 も し て いない時 の誤動作 の回数 であ る.停 止時誤判定回数 は0で 良 い結果 となった.動 作 時誤 判定回数 は9で,こ れ は全て スクロール動作 を しよう とした ものが指 さ しと判定 されて し まったケースであった.

実,験協力者Fは1回 目のタスクで制 限時間の8分 を超 えて しまった.2回 目は7分1秒 で ゴール となった.実 験協 力者Fが 他の実験 協力者 よ りも大幅 に時 間がかか って しまった 要因 は,ス クロールジ ェスチ ャの認識精度 であ る.表5.2と 表5.3に 実験協 力者Fの ジ ェ スチ ャ認識結果 を示 す.認 識回数 はシス テムが正 し くジ ェスチ ャ として認識 した回数,不 認識 回数 は実 験協 力者 は ジェスチ ャ として動作 した ものの シス テムが認識 しなか った 回 数,動 作 回数 は実験協 力者 はジェスチ ャ として動作 した回数 認識率 は(認 識回数/動作 回 数),誤 認識 回数 は意図 していな いジェスチャが認識 され た回数 であ る.な お,そ の他 の実 験 協力者 の詳細 な結果 は付録 に添 付 した.実 験 協力者Fは1回 目2回 目 ともにス クロー ルジ ェス チャの動作 回数 が非常 に多いが,認 識 回数 は少ない.他 の実験協力者 は1回 目の タス クの時点でス クロールジ ェスチ ャを諦 めて顔 向き と指 さ しジ ェスチ ャだ けで ゴールす る とい う特徴 がみ られた.し か し,実 験協 力者Fの 実験 の際に は顔 の検 出が失敗す るこ と が多 く,ス クロール ジェスチ ャを使 って タス クを こなす必要 が うまれて しまった.結 果 と してス クロールジ ェス チ ャが認識 され るまで ゴールで きない とい う事 態が発 生 した.

今 回の実験 で は総 じてスクロニルジ ェスチ ャの認識率が難点 とな り,移 動 操作が十分 に

表5.1意 図 して い な い ジ ェ ス チ ャ が 判 定 さ れ た 回 数

指 さ し ^{ス ク ロ ー ル} 停止 動作時誤判定回数

停止時誤判定回数

9 0

0 0

0

一

表5.2実 験 協 力 者F(1回 目)の 実験 結 果

指 さ し ^{ス ク ロ ー ル} 停止 正面 右 左 左 か ら右 右か ら左

認識回数 ^{2 1}

^{0 0}

¹³

不認識回数

3

61 0

動作回数

⁵

^{62 13}

認識率

^{40% 25% 0% 0% 2% 100%}

誤認識回数

^{10 0 0 0 0 0}

見 直 し の ほ か,よ り旋 回 操 作 に ふ さ わ しい ジ ェ ス チ ャ に つ い て 検 討 す るべ き だ ろ う.問 題 点 は 残 っ た も の の,前 進 の ジ ェ ス チ ャ と顔 向 き の 判 定 に よ り旋 回 操 作 を 補 う こ とが で き, 停 止 も完 全 に 動 作 した こ とか ら,移 動 操 作 の 基 礎 と し て は成 功 した と い え る.

実 験 中 の 実 験 協 力 者 か ら は 「 操 作 が 楽 し い 」 と い っ た 好 意 的 な 感 想 も 得 ら れ た.ま た, タ ス ク に 苦 戦 し た 実 験 協 力 者Fか ら も ジ ェ ス チ ャ が 認 識 さ れ て 移 動 で き た 時 に は 好 意 的 な 感 想 が 得 られ た.モ ビ リ テ ィ ロ ボ ッ トを 快 適 に 操 作 す る に は ス ク ロ ー ル ジ ェ ス チ ャ の 認 識 精 度 な ど改 善 す べ き 点 も あ る も の の,ジ ェ ス チ ャ に よ っ て モ ビ リ テ ィ ロ ボ ッ トを 操 作 す

る こ とは 楽 し さ の あ る運 転 方 法 に な り得 る と考 え られ る.

表5.3実,験 協 力 者F(2回 目)の 実 験 結 果

指 さ し

正面 右 左 左 か ら右 右 か ら左

認識回数

^{5 0 0}

¹³

不認識回数

^{0 1 0 15 53 0}

動作回数

⁵

^{0 16 54}

認識率

^{100% 0%}

^{6% 2% 100%}

誤認識回数

^{6 1 0 0 0 0}

第6章

お わ りに

本 研 究 で は 指 さ し 認 識 を 活 用 し た モ ビ リ テ ィ ロ ボ ッ トの 移 動 操 作 シ ス テ ム を 提 案 した.

ま た,実 験 か ら は シ ス テ ム の 慣 れ や ユ ー ザ の 練 習 に よ っ て シ ス テ ム が 使 い や す くな る こ と

を 裏 付 け る結 果 に よ り本 シ ス テ ム の 有 用 性 を 示 した.ジ ェ ス チ ャ認 識 に お い て 特 に 重 要 な

前 進 や 旋 回 の 停 止 命 令 の ジ ェ ス チ ャ は,全 て の 実 」 験 協 力 者 の1回 目 の 実 」 験 か ら100%の 認

識 率 で 認 識 で き た.現 段 階 の 測 域 セ ン サ を 用 い た 衝 突 回 避 は 今 後,パ ー ソ ナ ル ス ペ ー ス を

考 慮 した ロ ボ ッ トの 知 見[21]を 活 か す こ と も期 待 で き る.ま た,顔 向 き判 定 に 用 い た 顔

検 知 シ ス テ ム も,運 転 中 の 表 情 取 得 な ど に よ っ て,今 後 の 発 展 に 繋 が る よ うな シ ス テ ム と

な っ た.

参考文献

[1]PhilipPARauschnabel,AlexanderBrem,andBjoemSIvens・Whowillbuysmart

glasses?empiricalresultsoftwopre‑market‑entrystudiesontheroleofpersonalityin individualawarenessandintendedadoptionofgoogleglasswearables.Computersin HumanBehavior,Vbl.49,PP.635‑647,2015.

[2]GabrielKapellmann‑Zafra,JianingChen,andRoderichGroB.Usinggoogleglassin human‑robotswarminteraction.InConferenceTowardsAutonomousRoboticSystems, pp.196‑201.Springer,2016.

[3]ScottLeVine,AlirezaZolfaghari,andJohnPolak.Autonomouscars:Thetension

betweenoccupantexperienceandintersectioncapacity・TransρortationResearchPart C'Eme㎎gingTechnolo8ies,Vol.52,PP.1‑14,2015・

[4]LKitagawa,TsunemitsuKol)ayashi,TatsuyaBeppu,andKazuhikoTerashima.Semi‑

autonomousobstacleavoidanceofomnidirectionalwheelchairbyjoystickimpedance

control.InIntelligentRobots・andSystems,2001.Proceeding5「 ・20011EEE/RSJInterna‑

tionalConferenceon,Vbl.4,pp.2148‑2153.IEEE,2001.

[5]SanjitASeshia,DorsaSadigh,andSShankarSastry.Formalmethodsforsemi‑

autonomousdriving.InProceedin8softhe52ndAnnualDesignAutomationConfer‑

ence,p.148.ACM,2015.

[6]柴 田 智 広,松 本 吉 央,稲 葉 雅 幸,井 上 博 允.人 が 搭 乗 し そ の 場 そ の 場 で 行 動 を 指 示 で き る パ ー ソ ナ ル 視 覚 移 動 ロ ボ ッ トhyperscooterの 開 発.日 本 ロ ボ ッ ト 学 会 誌,Vbl.14, No.8,pp.1138‑1144,1996.

[7]JNorbertoPires.Robot‑by‑voice:Experimentsoncommandinganindustrialrobot usingthehumanvoice.1ndustrialRobot'AnIntemationalJournal,Vbl.32,No.6,pp.

505‑511,2005.

[8]XiaolingLv,MingluZhang,andHuiLi.Robotcontrolbasedonvoicecommand.In AutomationandLo8istics,2008.1CAL2008.1EEEInternationalConferenceon・PP・

2490‑2494.lliEE,2008.