DEIM Forum 2016 E4-2
映像解析技術を用いた手洗い検査システムの開発
東 秀賢
†大野 将樹
‡獅々堀 正幹
‡†徳島大学 先端技術科学教育学部 システム創生工学専攻 〒770-8502 徳島県徳島市南常三島町 2-1
‡徳島大学 大学院ソシオテクノサイエンス研究部 〒770-8502 徳島県徳島市南常三島町 2-1
E-mail: †[email protected], ‡{oono，bori}@is.tokushima-u.ac.jp
あらまし 本研究では，正しい手洗いのパターンに着目し，手を正しく洗えているか否かを検査するシステムを 開発する．本システムは，洗面台などから撮影した手洗いの映像と教師映像とを比較することで，正しい手洗いパ ターンが施行されているか否かをユーザにリアルタイムに報告する．手洗いパターンを認識するための特徴量とし て，オプティカルフローおよび画素の面積を用いる．しかし，手を洗う際には手のぶれや照明変化などによるノイ ズを生じ，認識精度が低下してしまうという問題がある．本研究では，認識精度を下げる原因となるノイズを除去 し，さらにオプティカルフローを抽出する際，手の重心を考慮した補正を行うことで，手洗いパターンの認識精度 を向上させる． キーワード 手洗い検査，カメラ映像，オプティカルフロー，肌色検出，ラベリング処理
1. は じ め に
毎 年 ， イ ン フ ル エ ン ザ や ノ ロ ウ イ ル ス 等 は 伝 染 性 が 非 常 に 強 く ， 症 状 も 激 し く 重 症 化 し や す い 感 染 症 で ， 厚 生 労 働 省 で も イ ン フ ル エ ン ザ の 流 行 状 況 や ワ ク チ ン 治 療 薬 等 の 状 況 の 情 報 を 出 す ほ ど 問 題 に な っ て い る ． 感 染 予 防 の 手 段 と し て う が い と 手 洗 い が 挙 げ ら れ る ． 特 に ， 手 洗 い は 重 要 と さ れ て い る が ， 正 し く 手 洗 い を 意 識 し て い る 人 は 多 く な い ． そ の 原 因 と し て 「 正 し い 手 洗 い の 方 法 が わ か ら な い 」「 手 洗 い が 作 業 化 さ れ て い る 」「 汚 れ が き ち ん と 洗 え て い る か 見 た 目 で は わ か り に く い 」 な ど が 挙 げ ら れ る ． そ こ で 本 研 究 で は ， 手 洗 い の 正 し い 動 作 に 着 目 し ， 手 を 正 し く 洗 え て い る か 否 か を 検 査 す る シ ス テ ム を 開 発 す る ． 本 シ ス テ ム は ，洗 面 台 な ど か ら カ メ ラ で 撮 影 し た 手 洗 い の 映 像 と 適 切 な 手 の 洗 い 方 の 映 像 を 比 較 す る こ と で ， 正 し い 手 洗 い パ タ ー ン が 施 行 さ れ て い る か 否 か を ユ ー ザ に リ ア ル タ イ ム に 報 告 す る ．2. 関 連 研 究
こ れ ま で 手 洗 い に 関 す る 研 究 は 多 く さ れ て お り ， 正 し い 手 洗 い を す れ ば 衛 生 面 的 に 効 果 的 で あ る と 実 証 さ れ て い る ． し か し ， 従 来 の 検 査 方 法 と し て は ， 薬 品 を 使 っ た 検 査 キ ッ ト や 専 門 家 の 目 に よ る 検 査 な ど が あ り ， 簡 単 に 検 査 す る こ と は で き な い ． 関 連 研 究 と し て ，手 話 認 識 [1]や ジ ェ ス チ ャ ー 認 識 の 研 究 [2] な ど に お け る 手 の 動 作 に 関 す る 運 動 特 徴 や 形 状 特 徴 を 用 い た 「 正 し い 手 洗 い 」 を 検 査 す る シ ス テ ム [3]を 構 築 し た が ，手 を 洗 う 際 の「 手 の ぶ れ 」や 照 明 変 化 な ど に よ り ノ イ ズ が 含 ま れ て し ま う た め ， 認 識 精 度 が 低 下 し て し ま う 問 題 が あ っ た ． そ こ で 本 研 究 で は ， ノ イ ズ と な る 部 分 の 除 去 を 行 い ， さ ら に 運 動 特 徴 を 取 る 際 ，手 の 重 心 を 考 慮 し た 補 正 を 行 う こ と で ，「 手 の ぶ れ 」 に よ り 精 度 低 下 を 改 善 す る ．3. 手 洗 い 検 査 シ ス テ ム
3.1. システム構 築
手 洗 い 検 査 シ ス テ ム の 流 れ を 図 1 の よ う に 示 し た ． 図 1 シ ス テ ム の 流 れ 入 力 動 画 は リ ア ル タ イ ム に 撮 影 し た 手 洗 い 動 画 を 使 用 し ，学 習 動 画 は ，「 正 し い 手 洗 い 」の 動 画 を 用 い る ． 正 し い 手 洗 い 方 法 と し て は ，図 2 に 示 し た 通 り ，「 P1: 手 の ひ ら を 擦 る 」「 P2:手 の 甲 を 擦 る 」「 P3:指 先 や 爪 を 擦 る 」「 P4:指 と 指 の 間 を 擦 る 」「 P5:親 指 を ひ ね る 」「 P6: 手 首 を 回 す 」 6 つ で あ る ． 出 力 は 6 つ の パ タ ー ン が 洗 え て い る か ど う か を 検 査 し ， 検 査 で き て い な い パ タ ー ン を 提 示 す る ． 図 2 正 し い 手 洗 い の 方 法 ま た ， 特 徴 抽 出 に つ い て は 従 来 研 究 の 手 法 と 本 研 究 の 手 法 の 違 い を 図 3 で 示 し た ．図3 特 徴 抽 出 の 流 れ
3.2. 従 来 手 法
HLS 色 空 間 に よ り ，肌 色 領 域 を 手 の 領 域 と し て 切 り 出 す ．切 り 出 し た 肌 色 領 域 に 収 縮 と 膨 張 を す る こ と で ， ノ イ ズ 除 去 を 行 う ． 特 徴 抽 出 と し て は ， 図 4 に 示 し た よ う に 手 の 重 心 を 取 り ，重 心 か ら 十 字 に 4 つ の 範 囲（ ① :0°～ 90°，② :90° ～ 180°，③ :180°～ 270°，④ :270°～ 360°）に 肌 色 の 面 積 を 分 割 す る ． 分 割 し た 範 囲 に あ る 肌 色 の 面 積 を 数 フ レ ー ム 毎 に 取 得 し ， そ れ ぞ れ の 範 囲 で 面 積 の 平 均 値 を 特 徴 量 と し て 使 用 し た ． 図 4 面 積 の 取 得 （ 重 心 か ら の ４ 分 割 ） オ プ テ ィ カ ル フ ロ ー は ， 前 フ レ ー ム か ら 現 フ レ ー ム の 画 素 の 動 き ベ ク ト ル を 表 し た も の で あ る ． オ プ テ ィ カ ル フ ロ ー の 検 出 手 法 は ，LK 法 (Lucas-Kanade 法 )を 反 復 実 行 し た ピ ラ ミ ッ ド LK 法 [4]を 用 い た ． こ の 手 法 は ノ イ ズ に 強 く ， 計 算 量 が 少 な い の で ， 安 定 で 素 早 い 検 出 が 行 え る の で ， リ ア ル タ イ ム で 検 査 す る シ ス テ ム に 向 い て い る ． 特 徴 抽 出 と し て は ， 図 5 で 示 し た よ う に オ プ テ ィ カ ル フ ロ ー で 取 っ て き た ベ ク ト ル の 角 度 T を 計 算 し ， 8 分 割 し た 角 度 の 範 囲 （ ① :0°～ 45°,② : 45°～ 90°， ③ :90° ～ 135°，④ :135°～ 180°，⑤ :180°～ 225°，⑥ :225°～ 270°， ⑦ :270°～ 315°， ⑧ :315°～ 360°） に 角 度 T を 分 類 す る ． 分 類 し た 範 囲 に あ る ベ ク ト ル の 頻 出 頻 度 と 大 き さ を 数 フ レ ー ム ご と に 取 得 し ， そ れ ぞ れ の 範 囲 に あ る ベ ク ト ル を 頻 出 頻 度 と ， 大 き さ の 平 均 値 ， 分 散 値 を 特 徴 量 と し て 使 用 し た ． 図 5 オ プ テ ィ カ ル フ ロ ー の 取 得 （ ８ 分 類 ） 従 来 手 法 は ， 2 つ の 問 題 点 が あ る ． 問 題 点 1 で は ， 図 6 に 示 し た よ う な 照 明 の 変 化 な ど が 原 因 で ， 肌 色 で は な い 部 分 が 肌 色 と 判 断 さ れ ， 画 像 内 に ノ イ ズ 部 分 が 混 ざ っ て し ま い ， 正 し い 特 徴 量 が 取 れ て い な い ． 図 6 肌 色 検 出 に よ る ノ イ ズ 画 像 問 題 点 2 で は ， 図 7 に 示 し た よ う に 手 を 洗 う 際 に 人 に よ り ， 手 の ぶ れ が 大 き く な る 動 き が あ り ， そ の 動 き に よ り ， オ プ テ ィ カ ル フ ロ ー の ベ ク ト ル が 様 々 な 方 向 に 向 い て し ま い ， 適 切 な オ プ テ ィ カ ル フ ロ ー の 取 得 が 困 難 に な っ て し ま う ． 図 7 手 の ぶ れ に よ る オ プ テ ィ カ ル フ ロ ー の イ メ ー ジ 提 案 手 法 で は ， そ れ ぞ れ の 問 題 点 の 解 決 を 主 に 行 っ た ． 問 題 点 1 の 解 決 案 と し て ， ラ ベ リ ン グ に よ る ノ イ ズ の 除 去 を 行 っ た ． さ ら に 問 題 点 2 の 解 決 案 と し て ， 手 の ぶ れ が 大 き く な る 際 ， 重 心 点 の 部 分 も 動 く こ と が 分 っ た の で ， そ の 重 心 点 の 動 き に 着 目 し ， 重 心 ベ ク ト ル と し て ， オ プ テ ィ カ ル フ ロ ー の 補 正 を 行 っ た ．3.3. 提 案 手 法
3.3.1. ラ ベ リ ン グ 除 去 の 面 積 に 基 づ く 手 形 の 識
別
HLS 色 空 間 に よ り ，肌 色 領 域 を 手 の 領 域 と し て 切 り 出 す ． 切 り 出 し た 肌 色 領 域 に 収 縮 と 膨 張 し ， さ ら に ラ ベ リ ン グ を す る こ と で ノ イ ズ 除 去 を 行 う ． ラ ベ リ ン グ 処 理 に よ り ， 画 像 内 の 面 積 が 最 大 な 部 分 だ け を 残 す よ う に ノ イ ズ を 除 去 し た が ， 図 8 で 示 す よ う に 肌 色 領 域 を 取 る 際 ， 手 1 と 手 2 の よ う に 離 れ て い る 場 合 に ， 手 1 の よ う に 片 方 の 手 が 切 り 取 ら れ て し ま う 場 合 が あ る ． 図 8 ラ ベ リ ン グ 除 去 の 失 敗 例 そ こ で ， ラ ベ リ ン グ 処 理 に よ る に ノ イ ズ 除 去 を 行 う 際 に ， 面 積 が 最 大 部 分 だ け で な く ， 2 番 目 の 部 分 を 面 積 の 閾 値 処 理 に よ り ， 残 す こ と で ， 以 下 の 図 9 に 示 し た よ う に 手 1 と 手 2 が 離 れ て い る 場 合 で も 面 積 が 取 れ る よ う に し た ． 図 9 ラ ベ リ ン グ 除 去 の 新 方 法 の 成 功 例 以 下 ， 従 来 手 法 の 特 徴 抽 出 と 同 じ で ， 4 分 割 す る こ と で ， 面 積 の 平 均 値 を 特 徴 量 と し て 使 用 し た ．3.3.2. 重 心 に よ る オ プ テ ィ カ ル フ ロ ー の 補 正 に
基 づ く 手 形 の 識 別
前 節 で ラ ベ リ ン グ に よ る ノ イ ズ 除 去 を 行 っ た フ レ ー ム に 対 し ，オ プ テ ィ カ ル フ ロ ー を 抽 出 す る ．そ し て ， 前 フ レ ー ム と 現 フ レ ー ム の そ れ ぞ れ の 重 心 点 の 動 き か ら 重 心 ベ ク ト ル を 取 り ， 抽 出 し た オ プ テ ィ カ ル フ ロ ー と の ベ ク ト ル 差 を 計 算 す る こ と で ， 補 正 を 行 っ た オ プ テ ィ カ ル フ ロ ー が 求 め る ． 求 め た 例 と し て は ， 図 10 に 示 し た よ う に 様 々 な 方 向 を 向 い て い た オ プ テ ィ カ ル フ ロ ー が 纏 ま っ た 方 向 に 変 化 し た 結 果 と な っ た ． 図 10 補 正 前 と 補 正 後 の 変 化 イ メ ー ジ 例 以 下 ， 従 来 手 法 の 特 徴 抽 出 と 同 じ で ，8 分 割 し た 角 度 の 範 囲 に 分 け る こ と で ， ベ ク ト ル の 頻 出 頻 度 と 大 き さ の 平 均 値 ， 分 散 値 を 特 徴 量 と し て 使 用 し た ．4. 評 価
4.1. 実 験 環 境
本 実 験 で は 特 徴 抽 出 の 有 効 性 を 調 べ る た め に 特 徴 の 妨 げ に な る 外 的 要 因 を 極 力 減 ら す た め に ， 手 の 動 き だ け を 撮 影 し た ． 手 洗 い に 対 す る 外 的 要 因 と は ， 石 鹸 の 泡 や 水 道 の 水 ， 洗 面 台 ま わ り の 環 境 な ど が 挙 げ ら れ る ． よ っ て ， 入 力 動 画 ， 学 習 動 画 と も に ， 場 所 は 卓 上 で 固 定 し た 高 さ に カ メ ラ を 配 置 し ， 真 上 か ら 複 数 人 に 対 す る 手 洗 い の 動 画 を 撮 影 す る ． ま た ， 前 提 条 件 と し て 正 し い 手 洗 い 方 法 は ， 関 連 研 究 で 提 示 さ れ て い る 手 洗 い 方 法 6 パ タ ー ン を 約 30 秒 以 上（ 1 パ タ ー ン 5 秒 以 上 ） 行 っ た 方 法 で あ る ． デ ー タ ベ ー ス に は ， 1 人 に 対 す る 正 し い 手 洗 い 動 画 6 パ タ ー ン（ 1 パ タ ー ン 約 5 秒 間 ）を 1 組（ 6 動 画 ）と し て ，11 組 ず つ 6 人 に 対 し て 撮 影 を 行 っ た ．合 計 で 66 組 （ 396 動 画 ） を 用 意 し ， そ れ ぞ れ の 動 画 に 特 徴 抽 出 を 行 い ， 分 類 モ デ ル を 作 成 し た ． ま た ， 開 発 シ ス テ ム の 言 語 は C++， OpenCV v. 2.4.9 を 使 用 し ，開 発 機 器 は Web カ メ ラ を 使 用 し て ，リ ア ル タ イ ム で 映 像 を 取 得 す る ．4.2. 各 パターンに正 しく識 別 されるかの評 価
各 パ タ ー ン に 正 し く 分 類 さ れ る か の 実 験 を 行 っ た ． 実 験 方 法 と し て は ，デ ー タ ベ ー ス に あ る 66 組（ 396 動 画 ） か ら 1 組 （ 6 動 画 ） を 入 力 デ ー タ と し て ， 残 り の 65 組 （ 390 動 画 ） を 学 習 デ ー タ と し て 用 い た ． そ し て 交 差 検 定 に よ り ， 入 力 デ ー タ を 1 組 ず つ 学 習 デ ー タ と 入 れ 替 え る こ と で 合 計 66 回 の 実 験 を 行 っ た ． ま た ， 識 別 処 理 の 分 類 器 と し て ， SVM[5]を 用 い て ， 結 果 を 出 力 し た ． 出 力 結 果 の 種 類 と し て は ， 従 来 手 法 と 提 案 手 法 の 比 較 の た め に ， 従 来 手 法 ， ノ イ ズ 除 去 後 （ 重 心 補 正 前 ）， 提 案 手 法 の 3 種 類 の 方 法 を 行 っ た ． そ れ ぞ れ の 手 法 の 実 験 結 果 を 以 下 の 表 1 か ら 3 に 示 し た ． 縦 軸 が 入 力 部 ， 横 軸 が 識 別 さ れ た 結 果 と な っ て い る ．斜 め 軸 の 結 果 が 100% に 近 い ほ ど 高 い 分 類 精 度 で あ る と 言 え る ．表 1 従 来 手 法 表 2 ノ イ ズ 除 去 （ 重 心 補 正 前 ） 表 3 提 案 手 法 表 1 ~3 の 結 果 か ら 従 来 手 法 と 提 案 手 法 の 全 体 正 解 識 別 率 を 比 較 す る と ， 従 来 手 法 は 平 均 67.5%， 提 案 手 法 は 平 均 84%と な り ， 提 案 手 法 に 精 度 向 上 が 見 ら れ ， 高 い 正 解 識 別 率 を 示 し た ．次 に ，以 下 の 実 験 を 行 っ た ．
4.3. 未 知 データに対 する手 洗 い検 査 の評 価
未 知 デ ー タ に 対 す る 手 洗 い 検 査 の 実 験 を 行 っ た ． 学 習 デ ー タ と し て は ，デ ー タ ベ ー ス に あ る 66 組（ 396 動 画 ） を 使 用 し ， 入 力 デ ー タ は 未 知 デ ー タ を 用 い た ． 未 知 デ ー タ は ，1~6 パ タ ー ン を 連 続 で 洗 っ た 約 30 秒 の 動 画 を 1 人 に 1 回 撮 り ，5 人 に 対 し て 撮 影 を 行 っ た ． こ れ ら の 動 画 に フ レ ー ム 分 割 を す る こ と で ， 120 フ レ ー ム を 1 回 の 入 力 デ ー タ と し ，30 フ レ ー ム 間 隔 で ず ら す こ と に よ り ， 入 力 デ ー タ を 変 化 さ せ な が ら 前 節 の 実 験 と 同 様 に SVM に よ り 識 別 を 行 っ た ． ま た ， 出 力 結 果 も 同 様 に 従 来 手 法 ， 重 心 補 正 前 （ ノ イ ズ 除 去 後 ），提 案 手 法 の 結 果 を 出 力 し た ．結 果 の 出 力 例 を 表 4 に 示 し た ．表 の 1 段 落 目 は 正 解 パ タ ー ン で ，2 段 目 は 出 力 結 果 を 表 し て い る ． 表 4 結 果 の 出 力 例 入 力 動 画 1~5 ま で の そ れ ぞ れ の 正 解 識 別 率 を 求 め ， 表 5 の よ う に 最 終 結 果 を 示 し た ． 表 5 最 終 結 果5. 考 察
表 5 よ り ， 従 来 手 法 と 提 案 手 法 の 合 計 平 均 の 正 解 識 別 率 を 比 べ る と 提 案 手 法 の 方 が 約 32％ の 精 度 向 上 と な り ， 提 案 手 法 の 有 効 性 を 示 せ た ． し か し ， ノ イ ズ 除 去 後 と 提 案 手 法 を 比 べ る と 動 画 3，5 に 対 し て は 提 案 手 法 の 方 が 低 い こ と が 分 か る ． こ の 原 因 と し て は ，前 章 の 表 2，3 か ら P3，P4 に 関 し て 低 い こ と が 原 因 だ と 考 え ら れ ， こ れ ら の 手 の 動 き は あ ま り 重 心 の 補 正 が き い て い な く ， 逆 に 識 別 精 度 を 下 げ る 原 因 に な っ て い る と 考 え ら れ る ． ま た ， 全 体 的 に 識 別 精 度 を 向 上 さ せ る に は ， 精 度 低 下 に な っ て い る 図 11 に 示 す よ う な 肌 色 が 適 切 に 検 出 で き て い な い 画 像 に 対 し て の 対 策 が 必 要 に な る と 考 え ら れ る ． 図11 精 度 低 下 の 原 因 （ 肌 色 検 出 ）6. お わ り に
本 研 究 で は 従 来 研 究 の 手 法 と 提 案 手 法 を 比 べ ， 特 徴 量 の 有 効 性 を 確 認 す る こ と を 目 的 と し て 実 験 を 行 っ た ． 実 験 結 果 か ら 各 パ タ ー ン の 識 別 は 可 能 で あ る と 示 せ ， 提 案 手 法 の 特 徴 量 の 有 効 性 が 確 認 で き た ． 今 後 の 課 題 と し て ， 低 い 精 度 を 示 し た 手 洗 い 動 画 に 対 す る 検 討 や 原 因 の 改 善 を 行 う ． ま た ， 有 効 性 を 確 認 し た 特 徴 量 を 使 用 し て ， 外 的 要 因 で あ る 洗 剤 の 泡 や 水 に 対 す る 実 験 を 行 う ．参 考 文 献
[1] 猪 狩 晋 平 ， 福 村 直 博 ， ”手 話 翻 訳 を 目 指 し た ジ ャ ー ク 最 小 モ デ ル に 基 づ く 手 話 単 語 の 腕 運 動 パ タ ー ン の 認 識”,電 子 情 報 通 信 学 会 論 文 誌 D,2015 [2] 澤 田 秀 之 ， 橋 本 周 司 ， 松 島 俊 明 ， ”運 動 特 徴 と 形 状 特 徴 に 基 づ い た ジ ェ ス チ ャ ー 認 識 と 手 話 認 識 へ の 応 用”, 情 報 処 理 学 会 論 文 誌 39(5), 1325~1333, 1998-05-15 [3] 東 秀 賢 ， 大 野 将 樹 ， 獅 々 堀 正 幹 ， ”カ メ ラ 映 像 を 用 い た 手 洗 い 検 査 シ ス テ ム の 開 発” 情 報 処 理 学 会 第 76 回 全 国 大 会 ,pp.2-265~2-266,2014-03-13 [4] 山 本 宗 ， 金 子 邦 彦 ， ”移 動 カ メ ラ 画 像 デ ー タ ベ ー ス か ら の 消 失 点 軌 跡 推 定 処 理 の MapReduce に よ る 並 列 化”， DEIM Forum 2011 E9-2[5] 岡 部 孝 弘 ， 佐 藤 洋 一 ,”照 明 変 化 を と も な う 物 体 認 識 へ の サ ポ ー ト ベ ク タ ー マ シ ン の 適 用”,情 報 処 理 学 会 論 文 誌 ,Vol.44 No.SIG5(CVIM6) ,pp 22~29,Apr 2013
