麺
修 士論文
Kinectv2の 骨 格 認 識 を 用 い た グ ラ フ カ ツ トに よ る 人 体 領 域 の
自 動 セ グ メ ン テ ー シ ョ ン
15892505大 西 玲 欧
指導教 員 朝香 卓也 教授
2017年1月
首 都 大学 東 京 大 学 院 シ ステ ムデ ザ イ ン研 究 科 シス テ ム デザ イ ン専 攻 経 営 シ ステ ム デ ザ イ ン学 域
目次
第1章 1.1 1.2 1.3
序 論
研 究 の 背 景...
本 論 文 の 目 的...
本 論 文 の 構 成 と 要 旨.。....,。...,....
噸⊥‑⊥り白り0
■
O
O
第2章 2.1 2.2 2.3 2.4
関 連 研 究 と 現 状
既 存 の 自 動 セ グ メ ン テ ー シ ョ ン 技 術...。....̲̲..
GraphCutsセ グ メ ン テ ー シ ョ ン...。.
Maximum‑FlowNeuralNetwork(MF‑NN)を 用 い た 最 小 カ ッ ト ア ル ゴ リ ズ ム Kinectv2の 骨 格 認 識 とBodylndex...
4,4}り7屡Qり
第3章 3.1 3.2 3.3
提 案 方 式
概 要...
提 案 方 式 の 手 順 ・ 説 明...
提 案 方 式 の 特 徴 と 利 点...。...
30U40りー←1⊥‑←1⊥
第4章 4.1 4.2 4.3 4.4
評 価 実 験
実 験 環 境....。...
評 価 実 験 ・ 結 果...
実 験 考 察...
議 論...。...
∩)04⊥0α9召(∠9白り白り召00
第5章 結 論 33
謝辞 35
参考文献 36
一iii一
図 目次
1.1 ヒ ュ ー マ ン エ ラ ー 例,.,., 3
1234567822222222
BodyIndexの 悪 い 例...。...5
WeightGraphmadefromInputImage...6
AssociationbetweenNeuroniandゴ....。...8
MinimumCutbyMF‑NN.̲....̲...9
Kinectv2...6,...t‑...10
Kinectv2の カ ラ ー一..一画 像...11
Kinectv2の 骨 格 認 識 画 像...11
Kinectv2のBodyIndex。...12
3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 GraphCutsの 手 作 業 で の 領 域 指 定...。...13
従 来 手 法 の 欠 点...。..14
従 来 手 法 の 結 果 画 像...。..。..,..15
提 案 手 法 ・ 手 順1.■ 一...,...16
手 順1:骨 格 認 識 に よ る 前 景 指 定 方 法 比 較...16
手 順2:5×5の 場 合 の 距 離 設 定....,..。..,...17
手 順2:人 体 領 域 か ら 背 景 ま で の 距 離 設 定 方 法...17
提 案 手 法 ・ 手 順2...18
提 案 手 法 ・ 手 順3...18
提 案 手 法 ・ 手 順4...。...19
‑⊥9β004rO・44444 従 来 手 法 で 取 得 す る 画 像...の...20
実 験1・ 提 案 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像...21
実 験1・ 従 来 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像...22
実 験2・ 提 案 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像 。,..23
実 験2・ 従 来 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像.。...23
01234567678911111111444444444444
実 験2の 結 果 の 拡 大 画 像...。.24
実 験3・ 提 案 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像...25
実 験3・ 従 来 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像..25
実 験4・ 提 案 手 法 の 手1頂1で 取 得 し た 画 像 と 結 果 画 像...26
実 験4・ 従 来 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像...27
実 験5・ 提 案 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像..28
実 験5・ 従 来 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像.28 実 験1結 果...の..29
実 験2結 果...30
実 験3結 果...30
実 験4結 果...の...31
実 験5結 果...。...。...32
1
第1章
序論
1.1研 究 の 背 景
近 年 画 像 処 理 の 技 術 の 向 上 に よ り,精 度 が 高 い 画 像 編 集 や 処 理 の 高 速 化 が 可 能 に な っ た.画 像 処 理 に お け る 重 要 な 技 術 の 一 つ に,画 像 か ら対 象 と な る 領 域 を 抽 出 す る 画 像 セ グ メ ン テ ー シ ョ ン が あ る.今 日 で はPCや 携 帯 端 末 な ど 多 くの 機 器 で 画 像 セ グ メ ン テ ー シ ョ ン が 可 能 に な り,身 体 の 大 き さ に 合 わ せ た 衣 服 の 推 薦 ア プ リや プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 等 活 用 方 法 国 も 多 岐 に わ た る.ま た 医 療 分 野 で 極 力 ヒ ュ ー マ ン エ ラ ー を 無 く す た め の 技 術 と して,画 像 セ グ メ ン テ ー シ ョ ン の 医 用 画 像 処 理 へ の 応 用 も 注 目 さ れ て い る.そ の 中 で も 臓 器 の 抽 出 に 関 す る 研 究[2][3]や 臓 器 の 状 態 を 検 査 す る 研 究[4]も あ り,高 精 度 か つ 失 敗 が 起 こ り に く い セ グ メ ン テ ー シ ョ ン手 法 が 必 要 とな る.
近 年 画 像 セ グ メ ン テ ー シ ョ ン 問 題 を エ ネ ル ギ ー 最 小 化 問 題 と し て 解 く 手 法 が 研 究 さ れ て い る.こ の よ う な 手 法 の 一 つ にGraphCuts[5][6}[7][8][9][10]が 挙 げ ら れ る.GraphCutsを 用 い た 画 像 セ グ メ ン テ ー シ ョ ン手 法 は 高 精 度 な 処 理 が 可 能 で,画 像 の 対 象 へ の 再 現 度 と画 像 の 滑 らか さ の 重 み を調 整 で き る 等,制 約 条 件 を付 け る 問 題 に も 適 し て い る.画 像 セ グ メ ン テ ー シ ョ ン の 中 で も 人 の 手 作 業 を 極 力 省 き,画 像 の 編 集 を 自 動 化 す る こ と で 作 業 時 間 や 手 間,ヒ ュ ー マ ン エ ラ ー な ど を 防 止 す る研 究 が あ る.本 研 究 で は 画 像 セ グ メ ン テ ー シ ョ ン の 手 法 の 一 つ で あ る GraphCutsを 自動 化 す る 方 法 を 提 案 す る.本 研 究 で は 特 に 身 近 で 応 用 の 範 囲 が 広 い 人 体 領 域 を 自動 セ グ メ ン テ ー シ ョ ン の 対 象 と す る.人 体 領 域 の セ グ メ ン テ ー シ ョ ン が 自 動 化 さ れ れ ば, 撮 っ た 写 真 か ら人 物 だ け を そ の 場 で 抽 出 し て 他 の 画 像 と合 成 し た り,背 景 画 像 に の み モ ザ イ ク を か け る こ と な ど も 可 能 に な る た め,画 像 編 集 や プ ラ イ バ シ ー の 保 護 な ど に も 役 に 立 つ.
1、2本 論 文 の 目 的
GraphCutsは 高 精 度 な 画 像 セ グ メ ン テ ー シ ョ ン の 手 法 の 一 つ と し て 知 られ て い る.Graph Cutsセ グ メ ン テ ー シ ョ ン で は 指 定 し た 前 景 部 と背 景 部 の ピ ク セ ル 情 報 に 基 づ き 画 像 の グ ラ フ
を 作 成 し,そ の グ ラ フ の 最 小 カ ッ ト を 求 め る こ と で セ グ メ ン テ ー シ ョ ン を 行 う.一 般 的 に 前 景 部 と背 景 部 の 指 定 は ユ ー ザ ー の 手 作 業 で 行 わ れ る が,こ れ を 自 動 化 す る た め に 様 々 な 研 究 が 行 わ れ て い る[111.図1.1は 人 体 領 域 を セ グ メ ン テ ー シ ョ ン す る た め にGraphcutsを 用 い て 前 景 の 身 体 部 分 を 赤 色 で,背 景 を 青 色 で そ れ ぞ れ 手 作 業 で 指 定 し て い る.そ の 結 果 右 手 の 指 先 付 近 の 背 景 ま で 赤 色 で 前 景 指 定 し,頭 部 の 一 部 が 青 色 で 背 景 指 定 して し ま う な ど の ヒ ュ ー マ ン エ ラ ー が 起 き て い る.こ の よ う に 前 景 と 背 景 の 誤 指 定 を して し ま う と,GraphCu七sす る 際 に, 背 景 の 特 徴 を 前 景 に 含 ん で し ま う,も し く は 前 景 の 特 徴 を 背 景 に 含 ん で し ま う こ と に よ り,正 確 な セ グ メ ン テ ー シ ョ ンが で き な い.そ こ で,本 研 究 で は 人 体 領 域 に 対 してGraphCutsを す
る 際 に 必 要 な 前 景 と背 景 の 指 定 を 自 動 化 し,か つ 誤 指 定 の 可 能 性 が 低 く な る 手 法 を提 案 す る.
ま た,こ の よ う な 前 景 や 背 景 の 誤 指 定 が 起 き な い よ う に 気 を 付 け つ つ,特 徴 が 抽 出 しや す い 領 域 で 前 景 ・背 景 指 定 す る の は 作 業 時 間 や 手 間 が か か る.こ の 問 題 を 解 決 す る た め にGraph Cutsを 自動 化 す る研 究[12]が さ れ て い る.し か し な が ら,自 動 化 さ れ た 方 式 は 従 来 のGraph Cu七sに 比 べ て 計 算 時 間 が 多 くか か っ て し ま う と い う 問 題 点 が あ る.そ こ で,本 研 究 で は 最 小
カ ッ トを 求 め る 手 法 にMaximumFlowNeuralNetwork(MF‑NN)を 応 用 した 非 線 形 抵 抗 回 路 解 析 法[13]を 適 用 す る こ と で,提 案 手 法 で 自 動 指 定 し た 領 域 をGraphCutsで セ グ メ ン テ ー シ ョ ン 処 理 す る 速 度 を 高 速 化 す る こ と を 想 定 す る.本 研 究 で は 提 案 手 法 と従 来 手 法 を 用 い た 場 合 の セ グ メ ン テ ー シ ョ ン の 結 果 画 像 の 精 度 の 比 較 を 行 い,よ り高 精 度 な セ グ メ ン テ ー シ ョ ン が
可 能 な こ と を 示 す.
1.3本 論 文 の 構 成 と要 旨3
図1.1:ヒ ュ ー マ ン エ ラ ー 例.
1.3本 論 文 の 構 成 と 要 旨
本 論 文 は 全5章 で 構 成 さ れ る.第2章 で は,本 研 究 で 用 い る 代 表 的 な 画 像 セ グ メ ン テ ー シ ョ ン 手 法 で あ るGraghCutsセ グ メ ン テ ー シ ョ ン を 紹 介 す る.ま た,本 研 究 で 使 用 す るKinect v2や 非 線 形 抵 抗 回 路 解 析 法 に つ い て も 言 及 す る.第3章 で は,画 像 セ グ メ ン テ ー シ ョ ン の 自 動 化 に 生 じ る 問 題 に つ い て 述 べ,既 存 の 自動 化 の 技 術 とそ の 課 題 を 改 善 す る た め の 提 案 方 式 を 提 案 す る.第4章 で は,提 案 手 法 と既 存 の 自動 セ グ メ ン テ ー シ ョ ン手 法 を 用 い た 場 合 の 画 像 セ グ メ ン テ ー シ ョ ン結 果 の 比 較 を 行 い,そ の 特 性 と 有 効 性 を 確 認 す る.第5章 で は,第3章 及 び 第4章 を踏 ま え た う え で 本 論 文 を ま とめ,結 論 と今 後 予 想 で き る 課 題 に つ い て 述 べ る.
第2章
関連研 究 と現 状
2.1既 存 の 自 動 セ グ メ ン テ ー シ ョ ン 技 術
画像 セ グ メンテー シ ョンの利便性 の指標 の一 つ にセグ メ ンテ ーシ ョンの 自動 化 が挙 げ られ る.そ の中で も代表的 な手法 として背景差分 を利 用す る方法[14][15]と 深度情報 を利用 す る方 法[161[17]が あ る.背 景差分 を利 用す る方法 は,固 定 され たカメ ラ内で事前 に取得 した画像 と セグメ ンテー シ ョン した い画像 を比較 し,事 前 に取得 した画像 には存 在 しない物体 を抽 出す る 手法 であ る.取 得 した画像 と事前 に取 得 した画像 の各 ピクセルの画素値 の相違度 があ る閾値 を 超 えた場 合,そ の領域 を抽 出する ことでセ グメ ンテーシ ョンを行 って いる.こ の技術 は静止画 だ けで はな く動画像で も利用 で きるため,物 体追跡 のため に大変有効 な方法 とされてい る.し か し,移 動物体 を含 まない背景 画像 を事前 に取得 する必要 性が あ り,固 定 カメ ラで取得す る必 要 があ るな ど限定 され た条件下 で しか利用で きない.
深度情報 を利用す る手法 は,赤 外線 によって対象物 までの距離 を測 り同程度 の距 離 にある領 域 を抽出す る手法で ある.事 前 に抽 出 したい物体 の形状 を機 械学習 で記憶 させ るこ とで対象物 を自動セ グメ ンテー シ ョンで きる.し か し物体 同士の距離 が近 い と図2.1の ように人体領域 の み を抽出す る際 に 目的以外 の椅 子の領域 まで誤認識 した り,足 元 な ど深度情報 が不十分 な領域 の画像 セ グメ ンテーシ ョンの精 度が低 い とい った問題 があ る.
これ らの技術 はセグメ ンテー シ ョンの精度 が安定 しない,限 定 された空間で しか利用 で きな い とい った課題 があ り,手 作業 を必要 とせず,あ らゆ る場所で利用可能 であ る高精度 な画像 セ グメンテーシ ョン手 法が必要 とされ ている.本 研 究で は画像セ グメ ンテー シ ョンに高精度 な画 像セ グメンテー シ ョン手 法の一つ と して知 られて いるGraphCutsセ グメンテーシ ョンを使用 す る.
2.2GraphCutsセ グ メ ン テ ー シ ョ ン5
図2.1:Bodylndexの 悪 い 例.
2.2GraphCutsセ グ メ ン テ ー シ ョ ン
GraphCutsを 用 い た セ グ メ ン テ ー シ ョ ン の 代 表 的 な 手 法 と し てBoykowら に よ りInter‑
activeGraphCuts[6]が 提 案 さ れ て い る.以 下 に 従 来 法 の 一 つ で あ るInteractiveGraph
Cutsに つ い て 説 明 す る.画 像Pに 対 す る 各 ピ ク セ ル をp∈Pと し た 時,ラ ベ ル を L=Ll,L2,…,Lp,…,LIPIと し,各Lpに は"物 体"か"背 景"の ラ ベ ル が 与 え ら れ る.
ま た,pの 近 傍 ピ ク セ ル をq∈Nと す る.GraphCutsで は,エ ネ ル ギ ー 関 数 を 式2.1の よ う に 定 義 す る.
E(L)==λ ・R(L)十B(L).(2・1)
λ は,R(L)とB(L)の 比 率 の パ ラ メ ー タ で あ る.R(五)は 物 体 と 背 景 の 領 域 に 対 す る ペ ナ ル テ ィ 関 数 で あ る.B(L)は 物 体 と背 景 の 境 界 に 対 す る ペ ナ ル テ ィ 関 数 で あ り,以 ドの よ う に 定 義 す る.
R(五)一 ΣRlo(Lp), P∈P
B(L)一 Σ β{P ,,}・ δ{五P,五q},
{P,q}∈N
δ(Lp,Lq)一{1誕 謙,
(2.2)
(2,3)
(2.4)
n‑1nk
ゆ
link
(a)Imagewithseeds(b)Graph
図2.2:WeightGraphmadefromInputImage.
表2.1:EdgeCost.
edge cost for
n.1ink {P,q} B{P ,q} {P,q}∈N
t.link
{P,S}
λ ・Rp("bkg")
K O
P∈P,P￠OUB P∈O P∈B
{P,T}
λ ・Rp("・6ゴ")
O K
P∈P,P￠OUB P∈O P∈B
Rp(Lp)は,ピ ク セ ルpが ラ ベ ル.Lpで あ る 確 率 が 高 い 時,値 が 小 さ く な る よ う な 関 数 と し て 定 義 す る.B{p,q}はpとqの 輝 度 値 が 似 て い る 時,大 き な 値 を 出 力 す る 関 数 と し て 定 義 す る.
R(L)とB(L)に よ り定 義 し た エ ネ ル ギ ー 関 数E(L)を 最 小 と す る よ う な ラ ベ ルLをGragh CutsAlgorithmを 用 い る こ と で セ グ メ ン テ ー シ ョ ン を 行 う.GraghCutsAlgorithmで は, 画 像 か ら 図2.2の よ う に グ ラ フ を 作 成 し,Max‑flow/Min‑cutalgorithmを 用 い て グ ラ フ の 分 割 を 実 現 し て い る.図2.2の よ う に 入 力 画 像 の 一 部 の 物 体(S)と 背 景(T)を グ ラ フ 上 で 手 作 業 で 指 定 す る.そ の 後 各 ピ ク セ ル 間 を 接 続 す るn‑linkと 各 ピ ク セ ル か らS,Tに 接 続 す る t‑linkの エ ッ ジ コ ス トを 表2.1の よ う に 設 定 す る.
こ の 時,
1〜P("obプ,)=‑1nPr(1,IO),
.il,)("bkg")=‑lnPr(lplB),
(2.5) (2.6)
2.3Maximum‑FlowNeuralNetwork(MF‑NN)を 用 い た 最 小 カ ッ トア ル ゴ リ ズ ム7
B{P ,q}・cexp(一 一(暢 タ)2)・
1
dist(P,q), (2.7)
K‑1+響 ΣB{P,q}・(2・8) q:{P,q}∈1>
の よ う に な る.0は 物 体,Bは 背 景 を 意 味 し,Ipは ピ ク セ ルpの 輝 度 値 を 表 す.ユ ー ザ ー は 一 部 の ピ ク セ ル に 対 し て0と 、Bを 入 力 す る.こ の 時 入 力 し た0と,Bをseedと 呼 ぶ.
Pr(1.IO),Pr(lplB)はseed以 外 の ピ ク セ ル のt‑linkに 設 定 す る 物 体 と 背 景 の 尤 度 で あ る.
dist(p,q)は ピ ク セ ルp,gの ユ ー ク リ ッ ド距 離 を 用 い る.こ の よ う に 作 成 し た グ ラ フ に,Max‑
fiow/Min‑cutalgorithmを 用 い る こ と で,画 像 を 物 体 と 背 景 に セ グ メ ン テ ー シ ョ ン す る こ と が で き る.
2、3Maximum‑FlowNeuralNetwork(MF‑NN)を 用 い た 最 小 カ ッ
トア ル ゴ リズ ム
GraphCutsは 指 定 し た 前 景 部 と 背 景 部 の ピ ク セ ル 情 報 に 基 づ き 画 像 の グ ラ フ を 作 成 し 、 そ の グ ラ フ の 最 小 カ ッ ト を 求 め る こ と で セ グ メ ン テ ー シ ョ ン を 行 う.一 般 的 に 前 景 部 と 背 景 部 の 指 定 は ユ ー ザ ー の 手 作 業 で す る 必 要 が あ り,こ れ を 自 動 化 す る た め の 様 々 な 研 究 が あ る [25][26].こ れ ら はAdaBoostやSaliellcyMapな ど の 機 械 学 習 を 用 い て 前 景 と 背 景 の 指 定 を す る こ と な く,GraphCutsを 繰 り返 し て 領 域 抽 出 す る 手 法 で あ る.し か し こ れ ら は 処 理 段 階 で 多 く の 時 間 を 必 要 と す る た め,リ ア ル タ イ ム に 処 理 を す る こ と が 困 難 で あ る.そ こ で リ ア ル タ イ ム 処 理 が 可 能 なGraphCutsを 実 現 す る た め に,本 研 究 で はMaximum‑FlowNeural
Network(MF‑NN)を 利 用 し た 最 小 カ ッ トア ル ゴ リズ ム の 使 用 を 想 定 す る.MF‑NNは 従 来 B‑KAlgorithmを 用 い て 求 め て い た 最 小 カ ッ ト問 題 を,非 線 形 抵 抗 回 路 解 析 に よ っ て 解 く こ
と に よ り計 算 時 間 を 省 略 し,リ ア ル タ イ ム で 解 く こ と を 可 能 と す る.
MF‑NNの 各 ニ ュ ー一ロ ン は 飽 和 特 性 を 有 す る 非 線 形 抵 抗 に よ っ て 接 続 さ れ,構 造 上 回 路 設 計 が 比 較 的 容 易 で あ る.MF‑NNの 状 態 方 程 式 は 各 ノ ー ドの 節 点 電 圧 に 関 す る 非 線 形 連 立 微 分 方 程 式 で 定 義 さ れ て い る.こ の 非 線 形 連 立 微 分 方 程 式 を 解 く事 に よ っ て 得 ら れ る 各 節 点 電 圧 は,最 小 カ ッ トを 得 る 上 で 必 要 と な る.図2.3はMF‑NNの 非 線 形 抵 抗 回 路 に お け る ニ ュ ーm ンViと 吻 の 接 続 を 表 して い る.、4η は ニ ュ ー ロ ン 吻 と ・Viの間 に存 在 す る 非 線 形 抵 抗 回 路 を 示 し て い る.こ のMF‑NNは,始 点Sに あ る 一 定 量 の 電 流 を 流 す と ネ ッ ト ワ ー ク 全 体 が 飽 和 状 態 に な る と い う 飽 和 特 性 を 持 つ.こ の ネ ッ トワ ー ク の 特 徴 を 表 す ニ ュ ー ロ ン 物 か らニ ュ ー ロ ン ηゴの1‑V特 性 を
1乞ゴ=Aijf(?Li‑2Lゴ),(2・9)
こ こ で,
綱 一{訴
!or▽1ん!oγ ・0<cc<▽ih,≦x,!orx≦0.
(2.10)
と定 義 す る.ん ゴ は 電 流 の 最 大 値 を 決 定 す る 枝 容 量 吻 で 正 の 定 数 で あ る.も し 物 か ら 防 に 流 れ る 枝 容 量 が 存 在 し な い 場 合,.4毎=・O.と 定 義 す る.砺 はViか ら 防 に 流 れ る 電 流 で,砺
は フ ロ ー ネ ッ トワ ー ク に お け る ん と 同 じ で あ る.砺 と 吻 は そ れ ぞ れ ニ ュ ー ロ ン 物 と 吻 の 節 点 電 圧 で あ る.%ん は 飽 和 状 態 に お け る 各 枝 の 状 態 を 表 す 電 位 差 の 範 囲 を 決 定 す る 正 の 定 数 で あ る.こ こ で,MF‑NNの 状 態 方 程 式 は
れ
q讐 一 一 Σ 砺 撫 一ttゴ)
"ゴ∈「勢の
+Σ
Vle∈r‑1(Vi)
Akif(ILIe‑Zt)i), (2.11)
こ こ で,
0≦Aiゴ!(砺 一ZLゴ)≦ ・4iゴ=c盛 ゴ, r@の 一 酬@￠,vゴ)∈B(N),
r‑'(Vi)‑vゴ1(wの ∈.B(N)・
(2.12)
(2.13)
と定 義 可 能 で あ る.
Oiは ニ ュ ー ロ ンViと ア ー ス 間 に 存 在 す る キ ャ パ シ タ で あ る.VsとVTは そ れ ぞ れ の キ ャ パ シ タ を 持 っ て い な い.MF‑NNが 飽 和 状 態 に 達 し た 時,状 態 方 程 式 は 次 の よ う に 収 束 す る.
図2.3:AssociationbetweenNeuroniandブ.
m@⁝⁝
2.4Kinectv2の 骨 格 認 識 とBodylndex9
MinimumCut
H2
←一
acde
■9
■ 麿1■
o醤1■
鴛 ● 塵 巳
10<Vab<]7}hlO<Vbc<Vth:防 ぬく1/cd:0<Vde<Vthl
i<←→i<← →i← 一→>i<←→i
HighVoltageLowVoltage
図2.4:MinimumCutbyMF‑NN.
オ畢 讐 一α
そ の 際,Vsか ら流 れ 出 る 電 流 の 総 和 で 定 義 さ れ る最 大 フ ロ ーFmαxは
(2.14)
Fmax一 ΣA・if(・LS‑・ ・i)・
Vi∈r(Vs)
(2。15)
と な る.
MF‑NNで は 平 衡 状 態 の 非 線 形 抵 抗 回 路 の 電 圧 分 布 に お い て,2つ の ノ ー ド集 合 間 の 電 位 差 が 巧 ん以 上 と な る 境 界 が 最 小 カ ッ トで あ る.
2、4Kinectv2の 骨 格 認 識 とBodylndex
本 研 究 で はGraphCuts処 理 の 前 段 階 に 必 要 な 前 景 と背 景 の 指 定 をKinectforwindowsv2
(以 下Kinectv2)を 用 い て 行 う.Kinectv2は マ イ ク ロ ソ フ ト社 が2014年10月 に リ リー ス し た 新 し いKinectセ ン サ ー で あ る[18}.従 来 のKinectv1よ りも カ ラ ー 画 像 の 解 像 度,Depth 解 像 度,骨 格 を 追 跡 で き る 人 数 及 び 関 節 数 の 増 加,そ の 他 の 性 能 も 向 上 し て い る.Depth(距 離 情 報)に つ い て は 計 測 方 法 が 従 来 のLightCoding(ラ ン ダ ム ド ッ トパ タ ー ン)か らTimeof Flight(ToF)に 変 更 さ れ,精 度 よ く距 離 が 取 れ る.RGBカ メ ラ,赤 外 線 カ メ ラ 及 び エ ミ ッ タ ー を 使 っ たDepthセ ン サ ー,4つ の マ イ ク ロ フ ォ ン ア レ イ が 搭 載 さ れ,こ れ ら を 利 用 し て 以 下 の 情 報 が 取 得 で き る 。
1.カ ラ ー 画 像 2.Depthデ ー タ 3.IR(赤 外 線)画 像
図2.5:Kinectv2.
4.Bodylndex(人 の 検 出) 5.Body(人 の 関 節)
6.音 声 入 力 ・音 声 方 向 ・音 声 認 識 7.顔 の 位 置 や 表 情 ・ジ ェ ス チ ャ ー 認 識 8.3Dス キ ャ ン
9.非 接 触UI
Kinectv2か ら得 た こ れ ら の 情 報 を 利 用 し た 研 究[19][20][21]が 数 多 く お こ な わ れ て お り, 画 像 処 理 だ け で は な く 医 療 分 野 な ど で も 使 用 さ れ て い る機 器 で あ る.以 下 は 本 研 究 で 使 用 す る 3つ の 画 像 で あ る.
カ ラ ー 画 像
図2.6はKinectv2で 取 得 し た カ ラ ー 画 像 で あ る.カ ラ ー 画 像 と はKinectv2のRGBカ
メ ラ で 撮 影 し た 画 像 の こ と で あ る.こ のRGBカ メ ラ はKinectv1で は640×480の 解 像 度 だ っ た が,Kinectv2で は1920×1080と 大 幅 に 解 像 度 が 上 が っ て い る.本 研 究 で はKinect v2の カ ラ ー 画 像 内 の 人 物 領 域 をGraphGutsを 用 い て 正 確 に セ グ メ ン テ ー シ ョ ン す る こ と を
目 的 と す る.
骨 格 認 識
図2.7はKinectv2の 骨 格 認 識 の 画 像 で あ る.骨 格 認 識 と は 赤 外 線 の 反 射 か ら 得 られ る 深 度 情 報 を 膨 大 な 数 の 人 体 の 形 状 デ ー タ ベ ー ス と 照 合 し,全 身25箇 所 の 関 節 の 位 置 情 報 を 取 得 す る 技 術 で あ る.骨 格 認 識 を 利 用 し て 人 間 の ゼ ス チ ャ ー を 識 別 し,そ れ を 応 用 す る な ど の 研 究 [22]に も 利 用 さ れ て い る.Kinectv2で は 最 大6人 の 関 節 情 報 を 取 得 す る こ と が で き る.検 出 で き る 関 節 の 数 はKinectv1よ り も5箇 所 多 い25箇 所 で あ る.首,両 手 の 指 先,両 手 の 親 指
2.4Kinectv2の 骨 格 認 識 とBodylndex11
が 追 加 さ れ た.Kinectv1で は 手 の ひ ら ま で の 検 出 し か で き な か っ た の に 対 し,Kinectv2で は 指 先 の 検 出 が 可 能 に な っ た.提 案 手 法 で は 人 体 の 範 囲 を 多 く指 定 で き た ほ う がGraphCuts の 精 度 が 上 が る た め,Kinectv2を 使 用 し た ほ う が 良 い 結 果 が 得 ら れ る.ま た,Kinectv2が 骨 格 情 報 を 得 ら れ る 範 囲 は カ メ ラ か ら0.5m〜4。5mの 範 囲 で あ る.本 研 究 で はGraphCuts 処 理 の 前 段 階 に 必 要 な 前 景 の 指 定 に 骨 格 認 識 を 用 い る.
図2.6:Kinectv2の カ ラ ー 画 像 。
図2.7:Kinectv2の 骨 格 認 識 画 像.
Bodylndex
図2.8はKinectv2のBodyIndexの 画 像 で あ る.BodyIndexと は 赤 外 線 の 反 射 か ら 取 得 し た 深 度 情 報 と 人 物 の 形 状 デ ー タ ベ ー ス を 照 合 し,人 物 領 域 を 取 得 で き る 技 術 の こ とで あ る.
人 物 領 域 はDepthデ ー タ を 基 に 抽 出 し て い る の で,解 像 度 はDepthセ ン サ ー と 同 じ512×
424で あ る.Kinectv1と 比 べ て 指 な ど の 細 部 ま で 人 物 領 域 と して 取 得 で き,検 出 範 囲 も0.5m
〜4 .5mの 範 囲 で 可 能 に な っ た.骨 格 認 識 と同 様 最 大6人 の 人 物 領 域 を 検 出 す る こ と が で き る.図2.8の よ う に 頭 部 や 指 先 な ど を 含 む 身 体 と背 景 の 境 界 線 で 画 像 の 精 度 が 悪 く な る.特 に 身 体 の 周 囲 に 椅 子 な ど の 障 害 物 が あ る 場 合 は そ れ を 身 体 領 域 と し て 検 知 し て し ま う た め, Bodylndexだ け で 高 精 度 に 人 体 領 域 を抽 出 す る の は 困 難 で あ る.
図2.8:Kinectv2のBodylndex.
13
第3章
提案方式
3.1概 要
高 精 度 な セ グ メ ン テ ー シ ョ ン 手 法 の 一・つ と し て 代 表 的 な も の にGraphCutsを 用 い た 画 像 セ グ メ ン テ ー シ ョ ン が 挙 げ られ る.GraphCutsセ グ メ ン テ ー シ ョ ン で 得 ら れ る 画 像 は,セ グ メ ン テ ー シ ョ ン の 精 度 が 高 く静 止 し た 物 に 対 し て も 使 用 可 能 で あ る.し か し,こ の 手 法 で は GraphCutsを 使 用 す る前 段 階 と し て 図3.1の 中 央 の 図 の よ う に 手 作 業 で 領 域 を 指 定 し な け れ ば な らず,画 像 の 編 集 に 時 間 が 必 要 で あ る.図3.1の 中 央 の 図 で は,前 景 を 赤 色 で,背 景 を 青 色 で 指 定 して い る.
そ こ で,本 研 究 で は 機 械 学 習 に よ り 自動 的 に 素 早 く人 体 領 域 を 抽 出 で き る機 器 を 使 用 す る こ と で 前 景 と背 景 を 自 動 指 定 す る.そ の 中 で もKinectv2は 骨 格 の 位 置 情 報 や 身 体 全 体 の 位 置 情 報 を機 械 学 習 に よ っ て 取 得 可 能 な 機 器 で あ る.他 に もXtionPro[30]等 の 機 器 で 同 様 の 情 報 が 取 得 で き る が,本 研 究 で は 比 較 的 安 価 で 本 体 の 向 き が 制 御 可 能[31]なKinectv2を 使 用 す る.我 々 の 先 行 研 究 と してKinectv2の 骨 格 認 識 とBodylndexか ら得 られ る人 体 領 域 の 位 置 情 報 を 用 い る こ と で 前 景 と背 景 の 自動 指 定 を行 う手 法 が あ る[32].こ れ を本 研 究 で は 従 来 手 法 と 呼 ぶ.従 来 手 法 は 骨 格 認 識 の 精 度 が 安 定 す る環 境 下 に お い て 精 度 の 高 い セ グ メ ン テ ー シ ョ ン
⇒ ⇒
図3.1:GraphCutsの 手 作 業 で の 領 域 指 定.
図3.2:従 来 手 法 の 欠 点.
が 可 能 で あ る.し か し,従 来 手 法 に は 骨 格 認 識 の 精 度 が 安 定 し な い 環 境 下 で は 前 景 の 誤 指 定 を し て し ま う と い う課 題 が あ っ た.図3.2は 従 来 手 法 を 用 い て 自 動 指 定 し た 前 景(赤 色)領 域 と 背 景(青 色)領 域 を カ ラ ー 画 像 に 投 影 し た 図 で あ る.図3.2か ら骨 格 認 識 で 前 景 指 定 し た 領 域 の 内,足 先 と指 先 の 部 分 が 身 体 領 域 か ら は み 出 して い る こ と が わ か る.従 来 手 法 を 用 い て 作 成 し た 画 像 にGraphCuts処 理 を した 結 果,図3.3の 赤 色 の 領 域 の よ う に 身 体 領 域 以 外 の 領 域 を 前 景 と し て 抽 出 し て し ま う.こ れ は 前 景 と 背 景 に 対 し て 適 切 な 領 域 指 定 が さ れ て い な い こ と を 意 味 す る.
こ の よ う な 問 題 を 解 決 す る た め に,本 研 究 で は 前 景 の 自動 指 定 をKinectv2の 骨 格 認 識 に 改 良 を 加 え た 手 法 で 行 い,背 景 の 自動 指 定 を 従 来 通 りKinectv2のBodyIndexを 用 い て 行 う.
3.2提 案 方 式 の 手 順 ・説 明
本論 文 では人体領 域 のGraphCutsセ グメ ンテー シ ョン処理 の前段 階 に必 要 とな る前景 と 背景 の指定 方法 を提案す る.以 後提案 方式 に関 して説 明する。本論 文で は,画 像 内の赤色で指 定 した領域 を前 景領 域 の指定,青 色 で指定 した領域 を背景領域 の指定 とす る.
提案 方式 の手順
手 順1Kinectv2で カ ラ ー 画 像 と 骨 格 画 像 とBodylndexの 画 像3種 類 を 同 時 に 取 得.骨 格 画 像 の 赤 い 領 域 を 前 景 領 域 と し て 自 動 指 定
手 順2取 得 し たBodylndexの 身 体 領 域 の 各 ピ ク セ ル に 対 してXピ ク セ ル 距 離 を 取 り,外 側 の 領 域 を 青 色((R.G.B)=(0.0.255))で 背 景 領 域 と して 自動 指 定
3.2提 案 方 式 の 手 順 ・説 明15
灘 晒ノ
噂ら
JN・
図3.3:従 来 手 法 の 結 果 画 像.
手順3最 初 に取得 した骨格 画像 と手順2で 背景領域 を指定 した画像 を合成 しGraphCutsに 必要 な前景指定 と背景指定 を同 じ画像 で まとめ る
手順4カ ラー画像 に対 して手順3で 作成 した画像 を用いてGraphCutsを 用 いて画像 を作成
提 案 手 法 を 図3.4〜 図3.10を 用 い て 詳 し く 説 明 す る.最 初 に 図3.4の よ う に 手 順1で は Kinectv2で 骨 格 画 像 とBodyIndexの 画 像 と カ ラ ー 画 像3種 類 を 同 時 に 取 得 す る.そ の 時, 従 来 手 法 で は 図3.5の(a)の よ う にKinectv2の 骨 格 認 識 で 得 ら れ る25箇 所 の 関 節 全 て を 赤 色 で 前 景 部 分 と し て 表 示 し て い た.そ れ に 対 して,本 研 究 で は 骨 格 認 識 で 得 ら れ る25箇 所 の 関 節 情 報 か ら 図3.5の(b)の よ う に 両 指 先,両 親 指,両 足 先 の 情 報 を 骨 格 画 像 と し て 取 得 せ ず,そ れ 以 外 の 骨 格 部 分 を 前 景 と し て 指 定 す る.ま た,Kinectv2で は 正 常 に 骨 格 の 位 置 を 追 え て い る 状 態 の こ と をtracking状 態 と呼 び,骨 格 や 関 節 の 場 所 を 正 確 に 追 跡 で き て い な い 時, nottracking状 態 と 呼 ぶ.nottracking状 態 の 時 に はKinectv2が 追 跡 で き て い な い 箇 所 の 骨 格 の 位 置 情 報 を 推 定 し て 表 示 す る 機 能 が あ る.従 来 手 法 で は 図3.5の(a)の 左 腕 付 近 の よ う に 関 節 の 一 部 の 位 置 をtrackingで き て い な い 際 に も 骨 格 の 位 置 を 自動 推 定 す る 技 術 を 用 い て 骨 格 と し て 表 示 さ せ て い た.提 案 手 法 で は 図3.5の(b)の 左 腕 の 黄 色 い 線 の 領 域 よ う にnot tracking状 態 の 骨 格 の 推 定 領 域 とtracking状 態 の 骨 格 領 域 を 区 別 し,推 定 領 域 は 前 景 と して 使 用 し な い.こ れ ら の 処 理 は 図3.5の(a)の 左 腕 の よ う に 骨 格 が 人 体 領 域 を は み 出 し て 前 景 指 定 す る こ と を 防 い だ り,少 な く す る た め に 行 っ て い る.
手 順2で はBodyIndexの 画 像 か ら得 た 身 体 領 域 の 注 目 ピ ク セ ルAを 中 心 に 図3.6の よ う に 正 方 形 に 一 定 の 距 離Xを 取 り,そ の 領 域 全 体 を 指 定 す る.図3.6で は ピ ク セ ルAを 中 心 に X=2ピ ク セ ル の 距 離 を 取 っ て い る.こ の 時,図3.6は 注 目 ピ ク セ ルAを 中 心 と し た カ ー ネ ル 5×5と 表 現 す る.次 に 図3.7の よ う にBodylndexで 得 た 画 像 の 中 で 身 体 領 域 に 該 当 す る 全
(a)骨 格 画 像(前 景領 域 指 定) (b)BodyIndex画 像 (c)カ ラ ー 画 像
図3.4:提 案 手 法 ・手 順1.
●
孤
騨 欝 声 ま鱒
ゆ釦耀難灘
隔
脅う
蟹驚.
継
(a)従 来 手 法
磁
〆&醒置■駈
4 奪
蛋.
導
鱗̲….一 騨 嚇 懸 淑灘,疇
明.
(b)提 案 手 法
図3.5:手 順1:骨 格 認 識 に よ る 前 景 指 定 方 法 比 較.
て の ピ ク セ ル に 対 し て 正 方 形 に 距 離 を 取 り,指 定 す る.図3.7で は 黄 土 色 の 人 体 領 域 に 対 し て カ ー ネ ル21×21で 正 方 形 にX=10ピ ク セ ル の 距 離 を 取 っ て い る.そ の 後,図3.7の よ う に 指 定 さ れ て い な い 領 域 を 青 色((R.G.B)=(0.0.255))で 背 景 領 域 と し て 自 動 指 定 す る.こ の 処 理 はBodylndexか ら 得 られ る 身 体 領 域 が カ ラ ー 画 像 か ら 得 られ る 実 際 の 身 体 領 域 よ り も 小 さ くな る 場 合 が あ る た め,い か な る 場 合 で も 背 景 領 域 が 身 体 領 域 の 外 側 を 指 定 す る よ うな 適 切 な 距 離 を 設 定 す る こ と を 目 的 と し て い る 。 人 体 領 域 と 背 景 ま で の 最 適 な 距 離 を 実 験 的 に 測 っ た 結 果,本 研 究 で はBodylndexか ら身 体 領 域 ま で の 距 離X=10ピ ク セ ル の 距 離 を 取 り,そ の 時
の カ ー ネ ル は 図3.7の よ う に21x21と す る.
3.2提 案 方 式 の 手 順 ・説 明17
1pix 占
・pix{
榔 母紘 ξ鵜,'
A ■ゆ 響饗
図3.6:手 順2:5×5の 場 合 の 距 離 設 定.
【O,O] Width{pixel)
→
Height(pixel】
↓
図3.7:手 順2:人 体 領 域 か ら 背 景 ま で の 距 離 設 定 方 法.
図3.8:提 案 手 法 ・手 順2.
図3.9:提 案 手 法 ・手 順3.
3.3提 案 方 式 の 特徴 と利 点19
ム甲7︑
︑'
ーーーー&註
処理結 果画像
図3.10:提 案 手 法 ・手 順4.
手 順3で は 図3.4で 得 た 骨 格 画 像 の 赤 色 の 領 域 を 抽 出 し,図3.9の よ う に 背 景 領 域 を 指 定 し た 画 像 と合 成 す る こ と で 前 景 と 背 景 の 自動 指 定 が 完 了 す る.
最 後 に 手 順4で 図3.10の 二 つ の 画 像 を 用 い てGraphCutsセ グ メ ン テ ー シ ョ ン 処 理 を 実 行 す る.
3.3提 案 方 式 の 特 徴 と利 点
提案 方 式 の特 徴 は指 先 や足 先 な どの誤認 識 が 多 い部位 を前景 指 定 か ら排 除す る こ とに よ り,従 来手 法 と比 べて前 景 の誤 指定 の可 能性 が低 くな る とい う点 にあ る.ま た,正 確 に人 を tracking出 来 ていない時 の推定骨格位 置情報 を前景指定 か ら排 除する ことで,位 置情報 が よ り 正確 な骨格領域 のみ を前景指定 に使用 で きるため,提 案手法 の方が前景指定 の精度 の安定 が見 込 める.提 案 方式 を使 用す るこ とに よ り,従 来手法 よ りも骨格認識 の誤推定や誤認識 が起 こ り やす い 日当 た りの良い環境下 で,よ り優 れたGraphCutsセ グ メンテー シ ョンが可能 にな る.
次章 では どの ような環境下で前景 の誤 推定や誤認識 が起 こるか を検 証 し,前 景 の指定 方法の改 善 に よ り画像 セ グメンテー シ ョンの精度 が向上す る ことを示 す.
第4章
評価実験
4.1実 験 環 境
提案 手法の有効性 を示 すための評価実験 を行 った.提 案手法 の比較対象 として,提 案手法 の 手順1で 図4.1の 左図の よ うに25箇 所全て の骨格情報 を前景 と して指定す る手法 と比較 す る.
その後 は提案手法 と同様 の手順 を踏 み,手 順3で 手順2で 作成 した背景領域 を指定 した画像 と 手順1で 撮影 した骨格 画像 を合成 す る.最 後 に手順3で 作 成 した前 景指 定 と背 景指定 の合成 画像 を用 いて カ ラー画像 に対 してGraphCutsセ グメ ンテー シ ョンを行 う.こ の手法 を本研 究で は従来 手法[32]と 呼ぶ.従 来 手法 を用いれ ば,骨 格認識 の精度 が安定 す る環境下で精度 の 高い画像 セ グメ ンテーシ ョンが可能で ある.提 案手法 は従 来手法で はセ グメ ンテー シ ョンの精 度 が保 てない よ うな環境 での処理 に期待で きる.本 論 文で は骨格認識 の精度 が保 たれない環境 を調査 し,提 案手法 の有効性 を検 証す る.
(a)骨 格 画像(前 景 領 域 指 定) (b)Bodylndex画 像
一
(c)カ ラ ー 画 像
図4.1:従 来 手 法 で 取 得 す る 画 像.
4.2評 価 実 験 ・結 果21
4.2評 価 実 験 ・結 果
[実験1・ 概 要 と結 果1
実 験1で は 周 囲 に 椅 子 な ど の 障 害 物 が あ る環 境 で 提 案 手 法 と従 来 手 法 を用 い て セ グ メ ン テ ー シ ョ ン し た 画 像 の 精 度 の 比 較 を行 っ た.撮 影 距 離 は3mで あ る.周 囲 に 人 物 領 域 と 近 い 輝 度 値 を 持 つ 障 害 物 が あ る 場 合,精 度 の 高 いGraphCutsセ グ メ ン テ ー シ ョ ン を す る た め に は,よ り 正 確 な 前 景 指 定 が 必 要 に な る.図4.2は 実 験1に 提 案 手 法 が 取 得 し た 画 像 で あ る.図4.3は 実 験1に 従 来 手 法 が 取 得 し た 画 像 で あ る.図42に 比 べ て 図4.3の 方 が 指 先 や 足 先 の 部 分 な ど, 骨 格 認 識 で 前 景 指 定 して い る 領 域 が 広 い こ とが わ か る.結 果 画 像 か ら,提 案 手 法 で は 比 較 的 精 度 の 高 い セ グ メ ン テ ー シ ョ ン 処 理 に 成 功 し て い る の に 対 し,従 来 手 法 で は 腕 付 近 の 背 景 領 域 の 一 部 ま で 前 景 と し て セ グ メ ン テ ー シ ョ ン さ れ て い る .ま た,足 先 の部 分 も提案 手 法 の方 が精 度 の 高 い セ グ メ ン テ ー シ ョ ン が 行 わ れ て い る こ と が わ か る,
一 一 一̲̲̲̲̲̲
(a)カ ラ ー 画 像
＼
噛晒 ξ'
器騨
(b)骨 格 画 像
嘱 纏㌦
㌔ 、躯 起 二へ
斗鴫,黙 難
iも
く
(c)Bodylndexの 画 像 (d)処 理 結 果 画 像
図4。2:実 験1・ 提 案 手 法 の 手 順1で 取 得 し た 画 像 と結 果 画 像.
一 一̲̲.̲̲̲̲
(a)カ ラ ー 画 像
(c)BodyIndexの 画 像
轟 、.
＼ て
、 楓 、
(b)骨 格画像
・烹 驚 .一 ・藷 ・騨 鵜
餅 ∫鰻r鎚
懸欝灘i鍵
"噸
1嵐'【 響 饗
ご・}、 鑓 蝋}
ik
(d)処 理 結果 画 像
︑44
＼
図4.3:実 験1・ 従 来 手 法 の 手 順1で 取 得 し た 画 像 と結 果 画 像.
[実験2・ 概 要 と 結 果 】
実 験2で は 屋 外 の 明 る い 環 境 で 撮 影 を 行 っ た.撮 影 距 離 は4.Omで あ る.こ れ はKinectv2 で は 赤 外 線 を 利 用 し てBodylndexや 骨 格 認 識 を 行 っ て い る た め,屋 外 の 日 当 た りの 良 い 場 所 で 撮 影 し て い る 場 合 こ れ らの 画 像 の 精 度 が 落 ち る こ と が 考 え られ る.ま た,取 得 した 画 像 の 精 度 が 落 ち た 際 に,セ グ メ ン テ ー シ ョ ン の 精 度 に 影 響 し な い か ど う か の 検 証 を 行 っ た 。 図4.4は
実 験2に 提 案 手 法 が 取 得 し た 画 像 で あ る.図4.5は 実 」験2に 従 来 手 法 が 取 得 し た 画 像 で あ る.
図4.6は 実 験2で 作 成 し た 結 果 画 像 の 拡 大 画 像 で あ る.図4.5よ り 日光 の 赤 外 線 が 明 ら か に 骨 格 認 識 に 影 響 を 及 ぼ し て い る こ と が わ か る.ま たBodylndexの 画 像 で も 体 の 一 部 が 身 体 領 域 と して 認 識 さ れ て い な い 不 具 合 が 起 き て い る.こ の よ う に 日光 の 影 響 が 精 度 に 大 き く影 響 を 与 え る の は 撮 影 距 離 が3m以 上 の 時 で あ っ た.図4.4で は 骨 格 が 誤 認 識 を 起 こ し て い る も の の, 白 線 の 領 域 で 表 示 し た 骨 格 の 位 置 をtrackingで き ず に 位 置 推 定 を 行 っ て い る 部 分 を 前 景 と し て 指 定 して い な い.そ れ に 対 し,従 来 手 法 で は 図4.5の よ う に 取 得 し た 骨 格 の 推 定 位 置 情 報 ま で 赤 色 で 前 景 指 定 して い る.そ の 結 果,図4.6の よ う に従 来 手 法 で は 左 脇 付 近 の 背 景 領 域 の 大 部 分 を 前 景 と し て 抽 出 し て し ま っ て い る の に 対 し,提 案 手 法 は 誤 抽 出 の 領 域 が 減 っ て い る.
刷照 騨 夢r、
一
Si
＼欝 噺
亀 、
}一 「犠
＼ ＼、ご＼ ＼ ＼ ＼
一 、＼＼ ＼
(a)カ ラ ー 画 像
4.2評 価 実 験 ・結 果23
、 ゴ
(c)Bodylndexの 画 像
図4.4:実 」験2・ 提 案 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像.
(b)骨 格画像
雛Y、
騰 撫 鷺 謡 一・
η「、
(d)処 理 結 果 画 像
＼ ＼ 、
(a)カ ラ ー 画 像(b)骨 格 画 像
へ りぬ
罐 ＼ 等
麟 〃… 襲 織
磁i.碑 驚 一 騨 虚鎗 、r、
(c)Bodylndexの 画 像(d)処 理 結 果 画 像
図4.5:実 験2・ 従 来 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像.
彊劉 唱や
ξ
評 一
シ 席'
雪
血守
従来手法 提案手法
図4.6:実 験2の 結 果 の 拡 大 画 像.
[実験3・ 概 要 と 結 果1
実 験3で は 実 験2と 同 様 に 屋 外 の 明 る い 環 境 で 撮 影 を 行 っ た.撮 影 距 離 は2.Omで あ る.図 4.7と 図4.8は 実 験3に 用 い る 提 案 手 法 と従 来 手 法 の 画 像 で あ る.実 験2で は 日 当 た り の 良 い 環 境 で4mで 撮 影 した 結 果,図4.4の 骨 格 画 像 の よ う に 骨 格 の 誤 認 識 や 位 置 推 定 が 発 生 し, BodyIndexの 画 像 の よ う に 人 体 領 域 に ム ラ が あ っ た.そ こ で,実 験3で は 撮 影 距 離 を 半 分 の 2mに し,撮 影 距 離 と 骨 格 認 識 やBodyIndexの 精 度 が 関 わ っ て い る の か の 検 証 と,そ の 影 響 が セ グ メ ン テ ー シ ョ ン 結 果 に 影 響 を 及 ぼ す か の 検 証 を行 っ た.図4.7と 図4.8の セ グ メ ン テ ー シ ョ ン 結 果 よ り提 案 手 法 の 方 が 左 腕 や 股 下 の 領 域 に 関 して 従 来 手 法 よ りも 精 度 の 高 い セ グ メ ン テ ー シ ョ ン が 行 わ れ て い る.ま た,実 験3で 使 用 し た 図4.7の 各 画 像 と,実 験2で 使 用 し た 図 4.4と 比 べ る と 明 ら か に 骨 格 認 識 とBodyIndexの 画 像 共 に 画 像 の 精 度 が 改 善 さ れ て い る.実 験2と 実 験3の セ グ メ ン テ ー シ ョ ン結 果 を 比 べ て み て も よ り近 い 距 離 で 撮 影 し た 実 験3の 方 が 精 度 の 高 い 画 像 セ グ メ ン テ ー シ ョ ン が 可 能 で あ る こ と を 示 し た.
4.2評 価 実 験 ・結 果 25
(a)カ ラ ー 画 像(b)骨 格 画 像
鱗 驚 、
鴨 撫 菰 補撫 ・一、 姶.
(c)BodyIndexの 画 像(d)処 理 結 果 画像
図4.7:実 験3・ 提 案 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像.
(a)カ ラー 画像(b)骨 格 画 像
黙 灘滋,
(c)BodyIndexの 画 像(d)処 理 結 果 画 像
図4.8:実 験3・ 従 来 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像.
[実験4・ 概 要 と結 果 】
実 験4で は 屋 外 の 比 較 的 日 の 当 た ら な い 日 陰 で 撮 影 を 行 っ た.実 験2と3で 行 っ た 赤 外 線 の 影 響 が 日 陰 で も 関 係 す る の か ど う か の 検 証 を 行 っ た.撮 影 距 離 は4.Omで あ る.図4.9と 図 4.10は 実 験4に 用 い る 提 案 手 法 と従 来 手 法 の 画 像 で あ る.図4.9と 図4.10と の 両 画 像 と も 骨 格 認 識 に 大 き な 誤 認 識 は 見 られ な い.Bodylndexの 画 像 で は 肩 の 周 辺 が 日光 の 影 響 を 受 け 擦 れ て 表 示 さ れ て い る.ま た,骨 格 認 識 は 明 ら か な 前 景 の 誤 認 識 や 位 置 推 定 は 見 ら れ な か っ た.
提 案 手 法 で は 従 来 手 法 よ りも 股 下 か ら足 元 に か け て は っ き り とセ グ メ ン テ ー シ ョ ン で き,前 景 の 誤 抽 出 の 領 域 が 減 っ て い る.こ れ は 従 来 手 法 で は 足 先 部 分 で 前 景 を 多 く指 定 し て し ま っ た た め,何 も 指 定 さ れ て い な い 領 域 が 前 景 と して 抽 出 さ れ て し ま っ た か ら で あ る.
轡
(a)カ ラ ー 画 像
て㌻ 、
(b)骨 格 画 像
介 灘 鐡醜
鍵 岬 獅 慧 嚇 罫
曇
雛 識.
7蔓 豊
ねぜし ら
鱗 鍵1
(c)Bodylndexの 画 像 (d)処 理結 果 画 像
雛.騒響
図4.9:実 」験4・ 提 案 手 法 の 手 順1で 取 得 し た 画 像 と結 果 画 像.
4.2評 価 実 験 ・結 果27
・ 聡
》 1勲卿rr
幽
み/ダfノ
L.
1剛1:‑5iii一
(a)カ ラ ー 画 像
鞍鴨＼
(b)骨 格 画 像
5 ,〃'
介
(c)Bodylndexの 画 像
∵ ←
rL始 煮i煮警
(d)処 理 結 果 画 像
饗
図4.10=実 験4・ 従 来 手 法 の 手 順1で 取 得 した 画 像 と結 果 画 像.
[実験5・ 概 要 と 結 果1
実 験5で は 室 内 の 周 囲 に 何 も 無 いGraphCuts処 理 に は理 想 的 な 環 境 で 撮 影 を 行 っ た.撮 影 距 離 は3.Omで あ る.図4.11と 図4.12は 実 験5に 用 い る 提 案 手 法 と従 来 手 法 の 画 像 で あ る.
図 よ り骨 格 認 識 とBodylndex共 に 精 度 が 高 い 画 像 が 取 得 で き て い る.図4.11と 図4。12の 結 果 か ら従 来 手 法 の 方 が 提 案 手 法 よ りも 右 足 の 部 分 が 正 確 に セ グ メ ン テ ー シ ョ ン で き て い る こ と が わ か る.
︑
(a)カ ラ ー 画 像
嶽
(b)骨 格 画像
(c)BodyIndexの 画像(d)処 理 結果 画像
図4.11:実1験5・ 提 案 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像.
(a)カ ラ ー 画 像
閣
口
(b)骨 格 画像
(c)Bodylndexの 画 像(d)処 理 結 果 画 像
図4.12:実 験5・ 従 来 手 法 の 手 順1で 取 得 し た 画 像 と 結 果 画 像.
