RGB-D カメラを用いた歩行安全領域の検出と提示方法の検討
今井 健太
†北原 格
‡亀田 能成
‡†筑波大学 大学院 システム情報工学研究科 〒305-8573 茨城県つくば市天王台 1-1-1
‡筑波大学 計算科学研究センター 〒305-8577 茨城県つくば市天王台 1-1-1
E-mail: †s1620749@u.tsukuba.ac.jp, ‡{kitahara, kameda}@iit.tsukuba.ac.jp
あらまし 視覚障がい者は歩行時に白杖を携帯することが義務付けられているが，白杖では歩行安全領域を検出 できる範囲が狭い．本研究ではタブレット端末に装着した RGB-D カメラとタブレット端末内に内蔵されている， 加速度センサとジャイロセンサを用いて，視覚障がい者の前方の平面な領域を白杖よりも広範囲に検出する．障害 物や段差等を検出した際，音声による提示を行うことにより，視覚障がい者の安全な歩行を支援する．本論文では， 歩行安全領域検出の検証実験，また障害物などを検出した際の音声フィードバックシステムについての検討をする． キーワード 視覚障がい者，単独歩行支援，RGB-D カメラ，音声フィードバック
1. は じ め に
現 在 ， 日 本 の 視 覚 障 が い 者 は 約 31 万 人 に 達 し て い る [1]．視 覚 障 が い 者 は 歩 行 時 ，白 杖 を 携 帯 す る こ と を 義 務 付 け ら れ て い る が ， 白 杖 で 検 出 可 能 な 歩 行 安 全 領 域 は 1，2 歩 先 ま で と 狭 い ．そ の た め ，そ れ よ り 遠 く の 障 害 物 や 段 差 を 見 つ け る こ と が で き な い ． 視 覚 障 が い 者 の よ り 安 全 な 単 独 歩 行 を 実 現 す る た め に ， よ り 広 範 囲 で 歩 行 安 全 領 域 を 検 出 し ， そ れ を 視 覚 障 が い 者 に 提 示 す る 方 法 が 望 ま れ て い る ． こ う し た 背 景 の 下 ， 白 杖 よ り 高 機 能 な 単 独 歩 行 支 援 シ ス テ ム の 研 究 開 発 が 行 わ れ て い る ． Microsoft 社 の Kinect や 超 音 波 セ ン サ を 用 い て ， 前 方 の 障 害 物 や 階 段 を 検 出 し ， 振 動 や 音 で 提 示 を し て い る ． 我 々 は [1]で RGB-D カ メ ラ と 加 速 度 セ ン サ を 用 い た 歩 行 安 全 領 域 の 検 出 手 法 を 提 案 し た ． 図 1 に 提 案 手 法 概 要 を 示 す ． 本 手 法 で は ， タ ブ レ ッ ト 端 末 に RGB-D カ メ ラ を 装 着 し ， 進 行 方 向 の デ プ ス 画 像 を 取 得 す る ． ま た 同 時 に タ ブ レ ッ ト 端 末 内 の 加 速 度 セ ン サ で カ メ ラ の 鉛 直 方 向 か ら の 傾 き を 算 出 す る ． こ れ ら 2 つ を 組 み 合 わ せ ， 前 方 約 3.5m 先 ま で の 歩 行 安 全 領 域 を 検 出 す る ．本 研 究 に お け る 歩 行 安 全 領 域 と は ，凹 凸 約 5cm 以 内 の 緩 い 傾 斜 を 含 む 水 平 面 と 定 義 し て い る ． ま た 非 歩 行 安 全 領 域 は ， 障 害 物 や 段 差 な ど ， 歩 行 安 全 領 域 以 外 の 領 域 と 定 義 す る ． こ れ ま で 傾 き 算 出 に タ ブ レ ッ ト 端 末 内 の 加 速 度 セ ン サ の み を 用 い て い た ． 本 論 文 で は ， 加 速 度 セ ン サ に 加 え ， タ ブ レ ッ ト 端 末 内 に 同 じ く 内 蔵 さ れ て い る ジ ャ イ ロ セ ン サ を 併 用 す る こ と で ， ロ バ ス ト 性 の 高 い 検 出 手 法 を 提 案 す る ． ま た 検 出 手 法 の 屋 外 に お け る 評 価 を 報 告 す る と 共 に ， 非 安 全 歩 行 領 域 を 検 出 し た 際 の 視 覚 障 が い 者 へ の 提 示 方 法 を 検 討 す る ． 視 覚 障 が い 者 へ の 提 示 方 法 は ， 音 ， 振 動 ， 牽 引 力 錯 覚 等 複 数 存 在 す る ． 本 研 究 で は ， 音 を 用 い て 視 覚 障 が い 者 へ 提 示 を 行 う ． 本 研 究 で 用 い て い る RGB-D カ メ ラ は [1]と 同 じ く ，intel 社 の R-200 で あ り ， タ ブ レ ッ ト 端 末 は Microsoft 社 の surface4 を 使 用 し て い る ． 2 節 に 視 覚 障 が い 者 へ の 情 報 伝 達 に 関 す る 関 連 研 究 ， 3 節 に ジ ャ イ ロ セ ン サ の 統 合 ，4 節 に 屋 外 に お け る 実 証 実 験 ， 5 節 に 検 出 し た 非 安 全 歩 行 領 域 に つ い て の 音 フ ィ ー ド バ ッ ク シ ス テ ム の 検 討 を 示 す ．2. 関 連 研 究
視 覚 障 が い 者 の 単 独 歩 行 支 援 と し て ， 音 ， 振 動 ， 牽 引 力 錯 覚 等 を 用 い た シ ス テ ム が 提 案 さ れ て い る ． 滝 沢 ら [3]は ， 白 杖 と Microsoft 社 の Kinect を 組 み 合 わ せ た シ ス テ ム を 提 案 し て い る ． 視 覚 障 が い 者 が こ の シ ス テ ム で 障 害 物 を 検 出 す る 際 は ， 静 止 し ， Kinect を 垂 直 に 立 て ， 前 方 に 向 け る ． 前 方 に 障 害 物 が あ る 場 合 は ， 白 杖 に 取 り 付 け ら れ た 振 動 デ バ イ ス の 振 動 で 提 示 す る ． ま た そ の 際 ， 障 害 物 ま で の 距 離 に 応 じ て ， 振 動 を 強 弱 さ せ る ． ま た 雨 宮 ら [4] は 牽 引 式 羅 針 盤 を 用 い た シ ス テ ム を 提 案 し て い る ．手 の ひ ら に 収 ま る 牽 引 式 羅 針 盤 に よ り ， 目 的 の 方 向 に 誘 導 さ れ る よ う な 牽 引 力 感 覚 を 生 じ さ せ る ． 東 西 南 北 の そ れ ぞ れ の 方 向 へ の 牽 引 力 を 組 み 合 わ せ る こ と で ， 8 方 向 へ の 誘 導 を 可 能 に し て い る ． 越 智 ら [5]は Kinect を 頭 部 に 装 着 す る シ ス テ ム を 提 案 し て い る ．取 り 付 け た Kinect で 前 方 に 障 害 物 を 検 出 し た ら ，音 に よ る 提 示 を 行 う ．提 示 に は 和 音 を 使 用 し ， 視 覚 障 が い 者 が 歩 行 時 に 聴 く 環 境 音 を 阻 害 し な い よ う に ， 骨 伝 導 イ ヤ フ ォ ン を 使 用 し て い る ． Yang ら [6]は 我 々 と 同 じ ， Intel 社 の R-200 を 用 い た シ ス テ ム を 提 案 し て い る ．Yang ら は R-200 か ら 得 ら れ た デ プ ス 画 像 か ら RANSAC ア ル ゴ リ ズ ム と 姿 勢 セ ン サ を 用 い て ， 歩 行 安 全 領 域 の み を 検 出 し て い る ． 骨 伝 導 イ ヤ フ ォ ン を 用 い た イ ン タ ー フ ェ イ ス ま で 開 発 し て い る が ，1 フ レ ー ム あ た り の 処 理 時 間 が 610ms で あ り ， 実 際 に 歩 行 時 に 用 い る の に 適 し て い る と は 言 え な い ． 一般社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS
HCGシンポジウム2017
HUMAN COMMUNICATION GROUP SYMPOSIUM 2017 HCG2017-A-8-4
本 研 究 で は ，R-200 を 用 い て ，実 時 間 処 理 を 実 現 し ， 視 覚 障 が い 者 に 対 し て ， 骨 伝 導 イ ヤ フ ォ ン を 通 じ た 音 に よ る 提 示 を 目 標 と す る ．
3. ジ ャ イ ロ セ ン サ の 統 合
こ れ ま で [1] は タ ブ レ ッ ト 端 末 内 の 加 速 度 セ ン サ の み を 用 い て RGB-D カ メ ラ の 鉛 直 方 向 か ら の 傾 き を 算 出 し て い た ． 傾 き を 算 出 す る 際 ， 加 速 度 セ ン サ の 3 軸 の 値 か ら 計 算 し て 算 出 す る が ， こ の 時 の 条 件 は 重 力 方 向 の み に 加 速 度 が か か っ て い る こ と で あ る ． 歩 行 中 は 進 行 方 向 に も 加 速 度 が か か る た め 正 し く 傾 き が 算 出 で き な い ． そ こ で 本 研 究 で は ， 加 速 度 セ ン サ に 加 え ， 同 じ タ ブ レ ッ ト 端 末 内 に 内 蔵 さ れ て い る ジ ャ イ ロ セ ン サ を 用 い て 補 間 を 行 う ．算 出 す る 傾 き の 角 度 を θ，ジ ャ イ ロ セ ン サ で 算 出 さ れ た 傾 き の 角 度 を 𝜃𝑔， 加 速 度 セ ン サ で 算 出 さ れ た 傾 き の 角 度 を 𝜃𝑎， 加 速 度 セ ン サ の 3 軸 の 加 速 度 の 合 計 を 𝑎と す る と き ， 式 (1)の よ う に 加 速 度 セ ン サ に よ る 傾 き に 対 し て ，式 (2)の kで 重 み づ け を す る ． 式 (2)の c=20 に お け る グ ラ フ を 図 2 に 示 す ． θ = (1 − k) ∗ 𝜃𝑔+ 𝑘 ∗ 𝜃𝑎 (1) k = 0.05 1 + (c − c ∗ 𝑎)2 (c = 20) (2) ジ ャ イ ロ セ ン サ は 時 間 の 経 過 で 誤 差 が 蓄 積 し て し ま う た め 定 期 的 に 初 期 化 す る 必 要 が あ る ． フ レ ー ム 𝑡 に お け る 加 速 度 セ ン サ の 3 軸 の 加 速 度 の 合 計 を 𝑎𝑡と し た と き ， (∑ 𝑎𝑡) 𝑘 𝑡=𝑘−10 < 0.08 (G) (3) 式 (3)で あ れ ば ， θ = 𝜃𝑎， 𝜃𝑔= 0 で 初 期 化 す る ．4. 事 前 実 験 と 実 証 実 験
我 々 は [1]で RGB-D カ メ ラ と 加 速 度 セ ン サ を 用 い た 歩 行 安 全 領 域 の 検 出 手 法 を 提 案 し た ． 本 章 で は ， 加 速 度 セ ン サ と ジ ャ イ ロ セ ン サ の 統 合 に お け る 有 効 性 の 確 認 の た め の 事 前 実 験 と 提 案 手 法 の 有 効 性 を 検 証 す る た め に ， 屋 外 に お い て 実 証 実 験 を 行 う ．4.1. 事 前 実 験
ジ ャ イ ロ セ ン サ 統 合 の 有 効 性 を 検 証 す る た め に ， 事 前 実 験 を 行 っ た ．実 験 は ，RGB-D カ メ ラ を 取 り 付 け た タ ブ レ ッ ト 端 末 を 台 車 に 乗 せ ，直 線 の 廊 下 を 歩 行 し た ． 歩 行 中 ， 停 止 と 歩 行 を 繰 り 返 し た ． タ ブ レ ッ ト 端 末 は 台 車 上 に 固 定 さ れ て い る た め ， 歩 行 中 も 傾 き は 変 化 し な い ． 傾 き の 算 出 は 加 速 度 セ ン サ の み ， ジ ャ イ ロ セ ン サ の み 、 提 案 手 法 の 3 つ の 方 法 で 行 う 。 算 出 結 果 を 図 3 に 示 す 。 グ ラ フ の 縦 軸 は 算 出 角 度 を 示 し 、 横 軸 は フ 図 1 提 案 手 法 概 要 図 2 式 (2)の グ ラ フレ ー ム 数 を 示 す ． タ ブ レ ッ ト 端 末 の 傾 き の 真 値 は ， 静 止 状 態 の 加 速 度 セ ン サ に よ り 取 得 さ れ た 値 と す る ． 結 果 を 見 る と ， 加 速 度 セ ン サ に よ り 算 出 さ れ た 値 は ， 大 き く 変 動 し て い る こ と が 分 か る ． ま た ジ ャ イ ロ セ ン サ に よ り 得 ら れ た 値 は ， ス タ ー ト 直 後 数 フ レ ー ム は 真 値 に 近 い 値 で あ る が ， 徐 々 に 誤 差 が 増 加 し て い る こ と が 分 か る ． 提 案 手 法 で は ， 静 止 時 に 初 期 化 さ れ る た め ， 常 に 真 値 に 近 い 値 を と る こ と が 分 か る ． こ の 提 案 手 法 を 実 際 に 実 証 実 験 に て 適 用 す る ．
4.2. 実 証 実 験 概 要
実 証 実 験 は ， 筑 波 大 学 学 内 の 図 4 の 障 害 物 ， 上 り 階 段 ， 下 り 階 段 を 含 む 約 30m の 経 路 で 行 っ た ． RGB-D カ メ ラ を 取 り 付 け た タ ブ レ ッ ト 端 末 を 胸 部 の 高 さ に お い て 手 で 持 ち ， 経 路 を 歩 行 し た ． 歩 行 中 ， ジ ャ イ ロ セ ン サ の 初 期 化 の た め ，5 歩 進 む こ と に 3 秒 間 静 止 し た ． 評 価 は 処 理 さ れ た フ レ ー ム 毎 に 行 う ． 各 フ レ ー ム で 取 得 し た RGB 画 像 上 で 分 割 し た 小 矩 形 領 域 に 対 し て ，歩 行 安 全 領 域 か 非 歩 行 安 全 領 域 の ラ ベ ル を 付 け る ． 1 つ の 小 矩 形 領 域 内 に 歩 行 安 全 領 域 と 非 歩 行 安 全 領 域 が 混 在 し て い る 場 合 ， 小 矩 形 領 域 内 の 割 合 の 多 い 領 域 を 採 用 し て い る ． 処 理 後 の 画 像 に お け る 各 小 矩 形 領 域 の 歩 行 安 全 領 域 と 非 歩 行 安 全 領 域 を 真 値 と 比 較 し ， 各 フ レ ー ム に お け る 全 小 矩 形 領 域 に お け る 正 解 率 を 算 出 す る ． 本 実 験 に お け る 画 像 サ イ ズ は (320*240)で あ り ，小 矩 形 領 域 の サ イ ズ は (16*16)と し た ． 図 7 実 験 結 果 の 一 部 （ 左 上：障 害 物 ，右 上：上 り 階 段 ，左 下：下 り 階 段 ） 図 5 実 験 結 果 図 6 フ レ ー ム 番 号 228（ 上 ） と 229（ 下 ） の 結 果 画 像 図 3 算 出 角 度 の 比 較 図 4 実 験 場 所 の 一 部 （ 左 上：障 害 物 、右 上：上 り 階 段 、左 下：下 り 階 段 ）4.3. 実 験 結 果
図 5 に 実 験 結 果 を 示 す ． 横 軸 が フ レ ー ム 番 号 ， 縦 軸 が 正 解 率 で あ る ． こ の 結 果 中 で 大 き く 正 答 率 が 低 下 し て い る フ レ ー ム が 存 在 す る ． こ の 原 因 は ， ジ ャ イ ロ セ ン サ に よ る カ メ ラ の 鉛 直 方 向 か ら の 角 度 の 誤 差 の 累 積 で あ る ． フ レ ー ム 番 号 228 は 正 解 率 が 低 く ， 229 は 初 期 化 の た め ， 急 激 に 正 解 率 が 上 昇 し て い る ． こ れ ら 2 フ レ ー ム の 結 果 を 図 6 に 示 す ． こ の 結 果 を 見 る と ， フ レ ー ム 番 号 228 は 画 像 全 体 が 非 歩 行 安 全 領 域 と さ れ て い る ． ま た 静 止 し て い る と き に ジ ャ イ ロ セ ン サ の 誤 差 が 初 期 化 さ れ る た め ， 誤 差 が な く な り ， 229 の 結 果 に 変 化 す る ． こ の よ う な 検 出 結 果 の 急 激 な 変 化 は 視 覚 障 が い 者 の 混 乱 に つ な が る た め ， 今 後 ジ ャ イ ロ セ ン サ の 統 合 方 法 を 再 検 討 す る 必 要 が あ る ． 図 7 に 障 害 物 ， 上 り 階 段 ， 下 り 階 段 そ れ ぞ れ に お け る 本 手 法 適 用 結 果 を 示 す ．こ の 結 果 画 像 で は ，障 害 物 ， 上 り 階 段 ，下 り 階 段 と も に 非 歩 行 安 全 領 域 と し て い る ． し か し ， 下 り 階 段 の 画 像 に お け る ， バ ー 状 の 障 害 物 の 一 部 を 歩 行 安 全 領 域 と み な し て い る ． こ れ は ， 障 害 物 の バ ー の 大 き さ よ り も 小 矩 形 領 域 の 大 き さ が 大 き い た め で あ る ． 小 矩 形 領 域 を 小 さ く し す ぎ る と ， デ プ ス 画 像 に よ る ノ イ ズ を 受 け や す く な っ て し ま う た め ， 経 路 に 応 じ た 調 整 が 必 要 に な っ て く る ． 本 実 験 で は 小 矩 形 領 域 の 大 き さ は (16*16)で あ る ．画 像 上 の 小 矩 形 領 域 と そ の 小 矩 形 領 域 に 対 応 す る 歩 行 安 全 領 域 の 実 際 の 大 き さ を 計 測 し た ． 今 回 計 測 し た の は ， 画 像 最 下 端 と カ メ ラ か ら の 水 平 距 離 が 3m の 位 置 に 対 応 す る 小 矩 形 領 域 で あ る ． 最 下 端 に お け る 実 際 の 大 き さ は ， 横 15cm 縦 7cm で あ り ，3m 地 点 に お け る 実 際 の 大 き さ は ，横 20cm 縦 15cm と な っ た ．5. 音 フ ィ ー ド バ ッ ク シ ス テ ム の 検 討
我 々 の 提 案 手 法 で は ， 歩 行 安 全 領 域 の 広 が り ， つ ま り 画 像 の 範 囲 内 に お け る 非 歩 行 安 全 領 域 ま で の 水 平 距 離 を 算 出 す る ． 本 研 究 で は ， 算 出 し た 水 平 距 離 に 応 じ た ビ ー プ 音 を 視 覚 障 が い 者 に 提 示 す る ． 本 研 究 で 使 用 す る R200 の デ プ ス 画 像 有 効 取 得 範 囲 は 3.5m で あ る ． 本 シ ス テ ム は 胸 部 付 近 で 保 持 す る た め ，高 さ は 約 1.1m と な る ．こ の 時 ，算 出 可 能 な 有 効 水 平 距 離 は ，約 3.3m と な る ．そ こ で 本 シ ス テ ム で は ，3.3m ま で の 非 安 全 歩 行 領 域 を 0.5m 間 隔 で ビ ー プ 音 の 周 波 数 を 変 化 さ せ る ． 今 回 設 定 し た 周 波 数 を 表 1 に 示 す ． 距 離 が 遠 く な る に つ れ て 音 が 高 く な る よ う に 設 定 し た ．表 1 算出 距 離 に応 じ たビ ー プ 音の 周 波 数
算 出 水 平 距 離 (m) ビ ー プ 音 周 波 数 (Hz) 0~0.5 500 0.5~1.0 2000 1.0~1.5 4000 1.5~2.0 8000 2.0~2.5 10000 2.5~3.0 12000 3.0~3.3 14000 ビ ー プ 音 を 提 示 す る タ イ ミ ン グ と し て ， フ レ ー ム 毎 に 行 う と ， 本 シ ス テ ム は 約 15fps で 動 作 す る た め ， ビ ー プ 音 の 間 隔 が 約 7ms と 短 く な り す ぎ て し ま う ．そ こ で ， 本 シ ス テ ム で は ， 5 フ レ ー ム 分 の 算 出 距 離 の 平 均 値 の 表 1 に 対 応 す る 周 波 数 の ビ ー プ 音 を 提 示 す る ． 今 後 被 験 者 実 験 を 通 し て ， 白 杖 の み を 使 用 し て 歩 行 し た 場 合 と ， 本 シ ス テ ム を 使 用 し た 場 合 に お け る 比 較 を 行 う ．6. お わ り に
本 研 究 で は ， こ れ ま で の 手 法 に 加 え ， タ ブ レ ッ ト 端 末 内 に 存 在 す る ジ ャ イ ロ セ ン サ を 併 用 す る こ と で ， ロ バ ス ト 性 の 高 い 視 覚 障 が い 者 の 単 独 歩 行 支 援 シ ス テ ム を 開 発 し た ．ま た 検 出 手 法 の 屋 外 に お け る 評 価 お よ び ， 非 安 全 歩 行 領 域 を 検 出 し た 際 の 視 覚 障 が い 者 へ の 提 示 方 法 を 検 討 し た ． 今 後 の 課 題 と し て ， ジ ャ イ ロ セ ン サ の 統 合 方 法 ， 被 験 者 実 験 の 方 法 の 検 討 が 挙 げ ら れ る ． 1 つ 目 に 関 し て は ， ジ ャ イ ロ セ ン サ の 初 期 化 に お い て ， 大 き な 角 度 の 変 動 が 起 こ ら な い 方 法 を 研 究 す る ．2 つ 目 に 関 し て は ， ま ず は 晴 眼 者 に 目 隠 し を し て も ら い ， 本 シ ス テ ム と 白 杖 を 比 較 し て も ら う 予 定 で あ る ． 本 研 究 の 一 部 は JST-RISTEX と 科 研 費 17H01773 の 助 成 を 受 け た ． こ こ に 謝 意 を 表 す る ．文
献
[1] 厚 生 労 働 省 , “平 成 18 年 度 身 体 障 害 児 ・ 者 実 態 調 査 結 果” , 厚 生 労 働 省 , 2008.[2] K. Imai, I. Kitahara, Y. Kameda ， “Detecting Walkable Plane Areas by Using RGB -D Camera and Accelerometer for Visually Impaired People ” 3DTV Conference 2017, 4 pages, 2017.
[3] H. Takizawa, S. Yamaguchi ， M. Aoyagi, N. Esaki， and S. Mizuno, “ Kinect Cane: An Assistive System for the Visually Impaired Based on the Concept of Object Recognition Aid,” Personal and Ubiquitous Computing, vol.19, n o.5, pp.995-965, 2011.
[4] T. Amemiya, H. Sugiyama, “Orienting Kinesthetically: A Haptic Handheld Wayfinder for People with Visual Impairments,” ACM Transactions on Accessible Computing, vol. 3, no. 2, a rticle 6, pp. 1-23, Nov. 2010.
[5] 越 智 徹 , 高 先 修 平 , 中 西 通 雄 , “距 離 セ ン サ に よ る 障 害 物 認 識 と 音 声 に よ る 視 覚 障 害 者 向 け 歩 行 支 援 シ ス テ ム”, FIT, vol.14, no.3, pp.535-536, Aug. 2015.
The Detection of Traversable Area with RealSense for the Visually I mpaired,” Sensors, 16, Nov. 2016.
