俯瞰視 RGB-D カメラによる個人再識別用領域の自動取得

(1)

2018^{年度修士論文}

俯瞰視 RGB-D カメラによる個人再識別用領域の自動取得

2019^年2^月

和歌山大学大学院システム工学研究科

(2)

Automatic Acquisition of Individual Re-identification Region by

Top-View RGB-D Camera

by

Koichi Oku

Master s Thesis

Graduate School of Systems Engineering Wakayama University

(3)

俯瞰視RGB-Dカメラによる個人再識別用領域の自動取得

60180028 ^{奥剛一} 概要

キーワード：個人再識別，Top-View，深度カメラ，人物領域，自動取得近年の科学技術の向上は著しく，人物認証システムの分野でもカメラとコンピュータのスペック向上により顔認証，指紋認証，虹彩認証，静脈認証等の識別率は飛躍的によくなった.特に，顔認証や指紋認証は一般的なスマートフォンに用いられる程，身近で便利な人物認証システムになりつつある.

しかしながら，これらのシステムを公共の場で用いることを考えるとプライバシー等の問題が生じるため，特別な設備を使わず個人情報を最大限保護できる人物認証システムの開発を求められている.

本研究グループでは，プライバシーが十分考慮され，公共の場でも用いることが可能な人物認証システムとして，俯瞰視カメラで撮影されたTop- View画像から得られる人物の髪と肩領域（以下，人物領域と呼ぶ）の色情報を活用した人物の再識別に関する研究を行っており，実用的な個人再識別システムを構築するために，人物領域を自動的に抽出することが不可欠である．本研究は，俯瞰視RGB-D^{カメラで撮影された}Top-View^画像から人物領域を自動的かつ高精度で抽出することを研究目的とし，実現方法を提案する．

Depth情報による人物領域の検出を行い，カラー画像に反映させること

で，カラー画像内の人物領域を自動的に抽出する方法を提案し，その際問

題となるDepth計測ノイズへの対策方法についても検討する．

また，個人再識別システムの自動化に必要な入退室判定方法と識別に適切なフレームのキャプチャー方法についても，Depth情報を用いて実現する方法を提案する．

(4)

Automatic Acquisition of Individual Re-identification Region by Top-View

RGB-D Camera

60180028 Koichi Oku

abstract

Keywords: Individual Re-identification, Top-View, Depth Cam- era, Person Region, Automatic Acquisition

Recent improvements in science and technology are remarkable. Discrim- ination rates such as face identification,fingerprint identification,iris dis- crimination,vein identification,etc.dramatically improved due to improved camera and computer specifications. In particular,face identification and fingerprint identification are becoming more familiar and convenient individual identification systems as they are used for smartphones. How- ever,considering the use of these systems in public places,problems such as privacy arise,so development of an individual identification system ca- pable of maximally protecting personal information without using spe- cial facilities is required.In this research group,researches on individual re- identification utilizing the color information of the hair and shoulder region of a person obtained from the top-view image taken with the bird s eye view camera are being conducted. In order to construct a practical individual re-identification system,it is essential to automatically extract the person region. In this research,I aim to automatically and highly accurately extract the person region from the top-view image taken with the bird’s eye view RGB-D camera,and propose a realization method. I propose a method for automatically extracting a person region in a color image by detecting the person region by depth information and reflecting it in the color image,and I consider the method of countermeasure depth measure- ment noise. I also propose a method to realize the entrance/exit deter-

(5)

depth information.

(6)

1 はじめに 1

1.1 研究背景 . . . . 1

1.2 研究目的 . . . . 1

1.3 論文構成 . . . . 2

2 関連研究 3 2.1 俯瞰画像を用いた個人再識別 . . . . 3

2.2 カラー画像内の人物領域の自動取得における従来手法 . . . . 5

3 俯瞰視RGB-Dカメラ 8 3.1 Kinect v2 . . . . 8

3.2 Time of Flight方式 . . . . 10

4 俯瞰視RGB-Dカメラによる個人再識別用領域の自動取得 12 4.1 Depth情報の性質 . . . . 12

4.2 Depth情報による人物領域の検出 . . . . 14

4.3 カラー画像と深度画像の座標対応付け . . . . 15

4.4 Depth情報により検出された人物領域と対応するカラー画像上の人物領域 . 16 4.5 ノイズに強い人物領域の検出方法 . . . . 17

4.5.1 8近傍画素を同時に考慮した人物領域の検出(1周回り) . . . . 17

4.5.2 24近傍画素を同時に考慮した人物領域の検出(2周回り). . . . 18

4.5.3 48近傍画素を同時に考慮した人物領域の検出(3周回り). . . . 19

4.5.4 24近傍画素を同時に考慮した人物領域の検出(特殊形) . . . . 20

4.5.5 ノイズに強い人物領域の検出方法検討結果 . . . . 20

5 Depth情報による個人再識別システムの自動化 22 5.1 個人再識別システムの条件設定 . . . . 22

5.2 フラグ処理による入退室判定 . . . . 22

5.3 識別に適切なフレームのキャプチャー方法 . . . . 24

6 実験 26 6.1 個人再識別システムUI . . . . 26

6.2 個人再識別のための入退室自動検出 . . . . 27

7 おわりに 30 7.1 まとめ . . . . 30

(7)

1 はじめに

1.1 研究背景

近年の科学技術の向上は著しく，人物認証システムの分野でもカメラとコンピュータのスペック向上により顔認証，指紋認証，虹彩認証，静脈認証等の識別率は飛躍的によくなった.特に，顔認証や指紋認証は一般的なスマートフォンに用いられる程，身近で便利な人物認証システムになりつつある.

空港では，出入国審査の手続きに指紋認証を用いた自動化ゲートが2007年頃に導入されたが，エラーが多いといった課題があった．最近では使える特徴点が多く，精度が高い顔認証を用いた顔認証ゲートの導入が進んでいる．

しかしながら，これらのシステムを公共の場で用いることを考えると，指紋認証や，顔認証ではプライバシー等の問題，データ保存に関するセキュリティ問題があると考えられ，それらの問題をクリアするために，特別な設備を使わず個人情報を最大限保護できる人物認証システムの開発を求められている.

1.2 研究目的

本研究グループでは，プライバシーが十分考慮され，公共の場でも用いることが可能な人物認証システムとして，Figure 1.1のような俯瞰視カメラで撮影されたTop-View画像から得られる人物の髪と肩領域(以下，人物領域と呼ぶ)の色情報を活用した人物の再識別に関する研究を行っている．

Figure 1.1:俯瞰視点からのカメラ撮影による人物画像

人物の髪の色情報と肩部の服における色情報を取得するために，Top-View画像から人物領域を抽出する必要がある．今まで，提案特徴記述法の有効性と精度を検証するために，その人物領域の抽出は手動で行っていた．

(8)

1.3 論文構成

本論文の以下の構成は次のようになっている．

• 2章では，個人再識別方法と人物領域の検出の従来手法を関連研究として説明する．

• 3章では，本論文で使用するRGB-DカメラKinect v2とDepth測定原理について述べる．

• 4章では，俯瞰視RGB-Dカメラによる個人再識別用領域の自動取得方法を提案する．

• 5章では，個人再識別システムの自動化に必要な入退室判定方法，識別に適切なフレームのキャプチャー方法を提案する．

• 6章では，提案手法が個人再識別システムにおいて，どのように機能するのかを実験結果画像により確認する．

• 7章では，本論文のまとめを行い，論を結ぶ．

(9)

2 関連研究

本章では，関連研究として俯瞰画像を用いた個人再識別手法について詳しく説明する．

また，本研究の目的であるカラー画像内の人物領域の自動取得における従来手法と，それを個人再識別に用いる際の問題点について言及する．

2.1 俯瞰画像を用いた個人再識別

画像ベースの個人識別用画像として顔画像と，人物正面・側面・背面の全身画像がよく利用され，近年俯瞰画像を用いた研究も始まっている．ここでは，まず顔画像と俯瞰画像を用いた個人識別方法の違いについて言及する．

個人識別では，研究の歴史上，最初から人物の顔を正面から捉えた画像を用い，現在実用できるレベルの認識率が得られている．メリットとしては，顔画像から人物の目・鼻・口・

髪などたくさんの特徴点を抽出でき，各個人の特有な特徴情報が多く取得できる(Figure 2.1は人物の顔から取得できる特徴情報の一部)ため，識別率が高くセキュリティシステム等に用いることができる．デメリットとしては，顔を撮影されることに抵抗があるといったプライバシー面の問題や，対象人物の顔が他の人物にさえぎられて正しく特徴情報を取得できない場合(オクルージョン)があることやカメラの設置場所に制限があることが挙げられる．最近では，更なる識別率向上のため赤外線センサも用い，人物の顔を立体的に捉える3D顔識別の研究も進んでいるが，顔識別のデメリット部分は解消できていない．

Figure 2.1:顔と顔特徴点の検出例

(10)

俯瞰画像を用いた個人識別では，人物の頭上から捉えた画像を用い，人物の服の色，髪の色，髪型，体格といった特徴情報で個人の識別を行う．メリットとしては，顔識別で問題となるプライバシーや人物同士の重なりやカメラの設置場所制限といったデメリット部分を解消可能なことや，一台のカメラの場合，会社の自動出勤・退勤管理や，福祉施設内の被介護者の見守り等のコンピュータビジョン応用システムを構築可能なことや，複数のカメラの連動によって，誰がどこで電車・バスに乗車・下車したかを個人単位で追跡できるシステムや，デパート・スーパーの平均ショッピング時間の統計データを求めることなどに応用することが可能であることが挙げられる．デメリットとしては，顔認証に比べ特徴情報があまり取得できないため識別率は劣ってしまう．

1章でも述べたように，本研究グループではプライバシーが十分考慮され，公共の場でも用いることが可能な人物認証システムとして，俯瞰視カメラで撮影されたTop-View画像から得られる人物領域の色情報を活用した人物の再識別に関する研究を行っている．既存の俯瞰画像を用いた個人識別の研究では，識別に用いる画像において人物の撮影位置が同じでないといけないという制約条件があるのに対し，本研究グループの手法(Figure 2.2)では人物の撮影位置に若干のずれが生じても識別が可能といった強みがある．

Figure 2.2:検出された人物領域の変化に強い特徴記述法

(11)

2.2 カラー画像内の人物領域の自動取得における従来手法

カラー画像内の人物領域の自動取得における従来手法としては，背景差分法，フレーム間差分法といった手法がある．

背景差分法は，入力画像と予め設定しておいた背景画像の差分領域に対象人物が存在すると仮定し，人物領域を絞り込む手法である．差分領域とは，入力画像内の背景画像に存在しない物体が占める領域を指し，前景領域とも呼ばれる．それ以外の領域を背景領域と

呼ぶ．Figure 2.3のように，入力画像から背景画像と変わらない領域の差を取ることによ

り差分画像を取得することができる．

Figure 2.3:背景差分法

背景差分法では，人物の影が差分領域に含まれてしまったり，照明変化により背景部分も差分領域に含まれるといった問題が課題として挙げられる．照明変化に対応するため，

複数の明暗パターンの背景画像を用意するといった手法もあるが，照明変化に完全には対応することが困難である．

(12)

フレーム間差分法は，異なる時間に撮影した複数枚の画像から背景画像を推定し，人物領域を取り出す手法である．例えば，Figure 2.4のような時間t-Δt, t, t+Δtの3枚の画像を用いて移動人物領域を取得する．

Figure 2.4: 3フレーム分の移動人物画像

Figure2.4の時間t-Δt, t, t+Δtの3枚の画像をそれぞれ画像A，B，Cと置き，3フレーム間差分法の原理を説明すると，画像AとBの差分画像(差分画像AB)，画像Bと Cの差分画像(差分画像BC)をFigre 2.5のようにそれぞれ取得し，差分画像ABと差分画像BCをさらに差分すると，どちらの画像にも含まれる領域を，画像Bにおける人物領域として取得する，といった処理が行われている．

Figure 2.5: 3フレーム間差分法の原理

(13)

3フレーム間差分法では，背景差分法で用いる背景画像を設定することなくFigure 2.6 のような人物領域画像を取得できるが，画像AとCで人物が同じ領域内に含まれてはいけない，つまりΔtに対して移動量が十分大きいことが前提となっており，人物の移動速度が変われば，Δtの値も変更する必要がある．そのような，人物の移動速度によるΔt の値を自動的に設定することが困難であるため，人物領域の自動取得手法として用いることはできない．

Figure 2.6:人物領域画像

本研究では，従来手法では困難であった人物領域の自動取得を実現させるため，RGB-D カメラにより取得できるDepth情報を用いてカラー画像からの人物領域検出に関する研究を行う．

(14)

3 俯瞰視RGB-Dカメラ

本章では，本研究で用いる俯瞰視RGB-DカメラであるKinect v2について説明する．

また，Kinect v2のDepth計測方法である「Time of Flight方式(ToF)」についても詳しく説明する．

3.1 Kinect v2

新型Kinect for Windows(以下、Kinect v2)は2014年にマイクロソフト社から発売されたジェスチャ・音声認識による操作を可能とするディバイスである．Kinect v2にはRGB カメラ，赤外線センサ，赤外線レーザー，マイクがある．Kinect v2を用いて，RGB画像と深度画像を同時に高速かつ高精度で取得できる．さらに，Kinect v2の前に立っている人のSkelton(人物姿勢・骨格)やJoint(骨格)点を３次元データとして取得することが可能である．Depth情報は1mm単位で測ることが可能で，取得範囲としては0.5〜8.0mとなっている．ただし、人物姿勢・骨格を検出できる範囲は0.5〜4.5mとなっている．

本研究では，天井に設置された俯瞰視のKinect v2(Figure.3.6に参照)で撮影されたRGB 画像内の人物領域を自動的かつ高精度で抽出するために，Kinect v2で撮影された深度画

像内のDepth情報を有効に利用する．

Figure 3.1:Kinect v2

(15)

Table 3.1:Kinect v2の仕様

Kinect v2においてカラー画像はRGBカメラ，深度画像は赤外線センサと別々の方法

で取得しているため，Table 3.1の表で示すように解像度が異なる．したがって，カラー画像内の各画素のDepth情報を求めるために，深度画像上の画素との対応付けが必要である．

Kinect v2のDepthセンサは，投射した赤外線が反射して戻ってくる時間からDepth情報を得る「Time of Flight(ToF)」という方式が採用されているので，周辺環境の影響を受ける可能性がある．例えば西日や逆光等による(同一波長を含む)強い赤外線はノイズの原因となるし，物体の性質によっては赤外線レーザー光が反射あるいは吸収，拡散され正しい情報を得られない場合がある．また複数のKinectセンサを同時使用した場合，お互いの発する赤外線が干渉することもある．この原理的な理由で，Kinect v2のDepth情報には± 5mm程度の誤差が発生したり，放射率(その物体の放射及び吸収の能率を表す尺度)が低く，赤外線を反射しづらい光沢のある金属などに対しては大きな誤差が生じたり場合がある．したがって，Depth情報を利用する時，ノイズ(誤差)に強いアルゴリズムの開発が必要である．

(16)

3.2 Time of Flight方式

Kinect v2の従来機であるKinect v1では「Light Coding方式」がDepth計測方法として採用されていた．「Light Coding方式」では赤外線プロジェクタから無数のランダムドットパターンを照射し，ドットパターンが物体に当たったときの変化量を赤外線センサで読み取ることでDepthの推定を行っている．(Figure 3.2)

一方，Kinect v2では「Time of Flight方式」が採用されている．「Time of Flight方式」

では赤外線レーザーを投射し，その投射光が物体に当たって返ってくる反射光を赤外線センサが感知するまでの時間を計測し，その時間を距離に変換することでDepthの推定を行っている．

Figure 3.2:Time of Flight方式

「Light Coding方式」「Time of Flight方式」以外のカメラのDepth計測方法としては

「ステレオ・ビジョン」という方法がある．「ステレオ・ビジョン」では２つのカメラから物体が見える角度より三角法を用いてDepthの推定を行っている．(Figure 3.3)

Figure 3.3:ステレオ・ビジョン

(17)

Kinect v2に使われている「Time of Flight方式」はこれらのDepth測定方法の中で最も応答時間が速く，精度が高い．赤外線レーザーによるものなので低照度(環境の照明の明るさ)での精度は高く，高照度では精度は少し下がる．(Figure.3.4)

Figure 3.4: Depth測定方法比較表

特徴としては，検出範囲が広く，0.5〜8.0mの間で人物の動きをセンシング(センサーを使用した情報計測)することに向いており，0.5mより近い距離や，8.0mより遠い距離付近に人物がいる場合のセンシングは精度が低下してしまう．本研究では，0.5〜8.0mの間でのDepth情報を扱う．(Figure 3.5)

Figure 3.5: Kinect v2の設置環境

(18)

4 俯瞰視RGB-Dカメラによる個人再識別用領域の自動取得

本章では，俯瞰視RGB-Dカメラ(Kinect v2)を用い，カラー画像の人物領域自動検出方法について言及する．まず，Depth情報により人物領域の検出を行う方法について説明する．次に，Depth情報で検出した人物領域をカラー画像に対応付ける方法について説明

する．4.4節では，Depth情報のノイズによる人物領域検出への影響について説明し，4.5

節でノイズに強い人物領域の検出方法を提案する．

4.1 Depth情報の性質

3章で述べたように，本研究で用いる俯瞰視RGB-Dカメラ(Kinect v2)では各座標で 1mm単位のDepth情報を取得できる．得られたDepth情報を0〜255の範囲内でグレー画像として表現したものは深度画像と呼び，Figure 4.1には一枚の深度画像例を示す．Kinect v2カメラからの距離が近い程輝度値が高くなり，遠い程輝度値が小さくなるよう表現している．また，Depth情報を得られない所の画素値はゼロとし，黒で表現している．Figure 4.1に示す深度画像中央付近の白くなっている領域が人物のいる位置であり，周りの背景領域とはカメラとの距離の差が大きいためはっきりと違いが分かる．

Figure 4.1: Depth情報を表現する深度画像

(19)

Figure 4.2のオレンジの線で囲んだ領域のように，深度画像では頭と肩の境界付近で黒くなっている画素が多いことが分かる．これは赤外線でのDepth計測では物体のエッジ部分で赤外線の反射光をうまく受け取れなく，正しくDepth情報を計測できないからである． Depthを計測できない深度画像内の座標に対応するDepthの値は”Depth = 0”となっている．Kinect v2の仕様上，他にも対象座標での距離がDepth測定範囲外(0.5m以下，8.0m以上)であった場合もDepthの値は”Depth = 0”となる．Figure 4.3では，オレンジで囲んだ手のひら部分はカメラからの距離が0.5mより近いため”Depth = 0”となっており，深度画像では黒で表示されている．対して，青で囲んだ指先部分は手のひら部分よりカメラから遠い位置にあり，Depth測定範囲内に位置しているため，深度画像では高輝度値で表示されている．

Figure 4.2:カラー画像と深度画像の比較

Figure 4.3: Depth測定範囲外を含む深度画像

(20)

4.2 Depth情報による人物領域の検出

人物は地面の上に立つ，もしくは歩く場合，天井に設置された俯瞰視カメラから地面までの距離と，俯瞰視カメラから人物の頭・肩までの距離の差が十分大きい(Figure 4.4)という仮定できる．本研究はこの仮定に基づいて人物領域の検出を行う．

Figure 4.4:俯瞰視カメラからの人物，地面までの距離比較

本研究では，天井に設置された俯瞰視カメラの中心を原点とし，カメラ原点から一定距離範囲内にある領域を人物領域とする．大人から子供まで身長を考慮し，予備実験より，

本研究では1500mm未満かつ”Depth = 0”でない場合に人物領域であると判定する．検出された人物領域を白，それ以外の領域を黒の2値画像で表示した結果画像がFigure 4.5になる．カラー画像と対応する深度画像内の人物領域内のみが正しく検出されていることが分かる．

(21)

4.3 カラー画像と深度画像の座標対応付け

深度画像上で人物領域を検出することには成功したが，個人再識別の特徴を記述するために，カラー画像上の人物領域を検出し，対応する画素の色情報を取得することが本研究の目的であるので，深度画像上の人物領域をカラー画像に反映する必要がある．

しかし，3章で述べたように，Kinect v2の仕様上，カラー画像と深度画像の解像度は異なるため，深度画像上の座標をそのままカラー画像に対応付けることはできない．本研究では，Kinect SDKで用意されているCoordinateMapper関数を用いて深度画像とカラー画像の座標を対応させる．CoordinateMapper関数は解像度を変換する関数で，1920

× 1080画素のカラー画像を512× 424画素の深度画像ベースの座標への変換を行う対応方法と，512× 424画素の深度画像を1920× 1080画素のカラー画像ベースの座標への変換を行う対応方法の2種類ある．本研究では，カラー画像から人物領域の色情報を取得することが目的なので，低解像度の深度画像から高解像度のカラー画像へ変換する座標の対応付けを行う．

Figure 4.6:深度画像とカラー画像の座標合わせ結果

座標の対応付けを行って深度画像とカラー画像を合わせた結果がFigure 4.6である．結果画像の両端が黒で表示されているのは，深度画像にはカラー座標系の両端に位置する領域の情報が存在していないためである．

カラー画像と深度画像の座標対応付けできた後，4.2節のDepth情報によって深度画像から検出された人物領域に基づいて，カラー画像からも人物領域を検出できる．

(22)

4.4 Depth情報により検出された人物領域と対応するカラー画像上の人物領域

Depth情報により深度画像から検出された人物領域を，カラー画像への対応付けを行

うことにより，カラー画像から検出された人物領域の結果がFigure 4.7になる．このように，カラー画像上においても大まかな人物領域の検出ができていることが確認できる．

Figure 4.7: Depth情報を用いてカラー画像から検出された人物領域

しかし，Figure 4.8で分かるように指と指の間や肩付近といったエッジ部分で背景領域

もところどころ人物領域として表示されていることが分かる．このような背景領域も混じった結果を用いると，人物領域以外の部分も含み，人物の個人性と関係のない色情報も混じりこんでしまい，その色情報より個人識別用特徴量を記述すると，識別率が落ちてしまうと考えられる．したがって，ノイズによる誤検出領域の除去が必要である．

Figure 4.8:カラー画像から検出された人物領域検出結果の拡大画像

(23)

4.5 ノイズに強い人物領域の検出方法

本研究グループは個人再識別するために，人物領域の色情報を利用してその個人の特性を表現する特徴を記述するので，背景の色情報の混入を極力排除する必要がある．

4.2節で述べたDepth情報による人物領域の検出方法では，ノイズの影響を受けるため背景領域の一部も人物領域に含んでしまうことが分かった．ノイズの影響を受けやすい原因として，単独のpixelのDepth情報による判定を行ったからである．

人物領域はカラー画像・深度画像上ともに連続であるので，単独画素ではなく，周囲の

pixelのDepth情報も含めて人物領域の判断をすることで，ノイズによる誤検出領域を除

去することが可能であると考える．

4.5.1 8近傍画素を同時に考慮した人物領域の検出(1周回り)

8近傍画素を同時に考慮した人物領域の検出方法について説明する．

4.2節での説明より，本研究では深度画像内の単独画素のDepth情報が1500mm未満か

つ”Depth = 0”でない場合は人物領域に属する画素とする，ノイズに強い人物領域の検出

を行うため，Figure 4.9の左側に青で示すある中心画素を中心とする周囲8pixelを含めた計9(＝3× 3)pixel，その全てのpixelにおいてDepth情報が1500mm未満かつ”Depth = 0”でない場合のみ青で示した1pixelを人物領域であると判定する．つまり，9pixelのうち

1pixelでも人物領域判定外のものがあると青で示した1pixelは人物領域と判定されない．

Figure 4.9: 8近傍画素を同時に考慮した人物領域の検出

Figure 4.10を見ると，8近傍画素を考慮した人物領域の検出では，単独画素による人物

領域の検出での肩周辺の誤検出領域がほとんどなくなっている．しかし，指と指の間の誤検出領域は減ってはいるが残ってしまっている．考慮する画素範囲を拡大することでより誤検出領域を除去して行く．

(24)

Figure 4.10:単独画素による人物領域の検出と8近傍画素を同時に考慮した人物領域検出の結果比較

同様にして，Figure 4.11のような24近傍画素を同時に考慮した人物領域の検出を検討する．

Figure 4.12を見ると，24近傍画素を考慮した人物領域の検出では，単独画素による人

物領域の検出での肩周辺の誤検出領域は除去することができている．しかし，指と指の間

(25)

同様にして，Figure 4.13のような48近傍画素を同時に考慮した人物領域の検出を検討する．

Figure 4.14を見ると，48近傍画素を考慮した人物領域の検出では，単独画素による人

物領域の検出での肩周辺の誤検出領域は除去することができている.さらに，指部分はほとんど検出されていないが，指と指の間の誤検出領域を識別画像として用いることができ

(26)

4.5.4 24近傍画素を同時に考慮した人物領域の検出(特殊形)

また，画素の近傍周回りだけでなくFigure 4.15のような形状の24近傍画素を考慮した人物領域の検出についても検討する．

Figure 4.15: 24近傍画素(特殊形)を同時に考慮した人物領域の検出

Figure 4.16を見ると，24近傍画素(特殊形)を同時に考慮した人物領域の検出では，24 近傍画素(2周回り)の場合と同じような結果が得られることが分かる．

4.5.5 ノイズに強い人物領域の検出方法検討結果

(27)

(3周回り)を考慮した人物領域の検出を用いることが本環境での識別用画像の取得には最も適している，という結果を得た．なお，カメラの設置位置が地面からより遠くなった場合，人物はより小さく映るため，考慮する近傍画素をより少なく調整する必要があると考えられる．

(28)

5 Depth情報による個人再識別システムの自動化

5.1 個人再識別システムの条件設定

本研究における個人再識別システムの条件設定について説明する．条件設定を行う理由は，条件により得られる情報や，必要となる結果が異なる場合があるためである．

本システムは，部屋の入退室を俯瞰視RGB-Dカメラを用いて個人再識別を行うものである．人物はカメラ下を歩いて一人ずつ通り抜けるものとし，入室時と退室時で服装は変わらないものとする．

5.2 フラグ処理による入退室判定

俯瞰視点の画像を用いた個人再識別の従来手法では，入室時の画像をデータベースに登録し，退室時の画像を入力データとする作業を手動で行っていた．あるいは，指定された場所，指定された向き・姿勢で撮影された画像と背景画像との差分によって検出を行っている．

しかし，自動的に個人再識別を行えるシステムを構築するためには，自由に入室時のデータベースへの登録と，自由に退室時の判定とともに自動的に行う必要がある．4章における提案手法により，カラー画像内の人物領域の移動時系列が分かるため，人物領域の移動方向をフラグ処理することで，入退室の判定を自動で行うことが可能である．本環境

では，Figure 5.1の青矢印で示す方向への移動の場合が人物が入室している状態である．

Figure 5.1:本実験環境での入室方向

Figure 5.2は入室時のフラグ処理の流れを表しており，まず一番上の画像で人物領域は

flag1を通り，次に真ん中の画像で人物領域はflag2を通り，一番下の画像で人物領域は

flag3を通っている．このようなフラグ処理により，人物領域は”flag1 → flag2 → flag3”

といった方向に移動していることが分かり，この場合，人物が入室したという判断ができ

(29)

Figure 5.2:入室時のフラグ処理

(30)

5.3 識別に適切なフレームのキャプチャー方法

個人再識別では，入室時にキャプチャーされた画像から個人再識別用特徴を記述し，ID とともにデータベースに登録し，退室時にはキャプチャーされた画像から個人再識別用特徴を記述し，データベースに登録されているものと照合を行う．適当な位置でキャプチャーを行ってしまうと，Figure 5.3のように，同じ人物の同じ服装であっても，違う色特徴を持つ人物として扱われてしまう．

人物が画像の中央付近にいる位置でのキャプチャーであれば，入室時，退室時どちらであっても差異少ない画像が取得でき，再識別率を保証できると考える．

Figure 5.3:個人再識別用画像として用いるには問題のある画像

4章における提案手法により，画像内の人物領域が分かるため，Figure 5.4のように人物領域のx，yの座標の最大値，最小値が分かる．そのため，

(xM in+xM ax

2 ,yM in+yM ax

2 )

で人物領域の中心領域を表すことができる．

(31)

Figure 5.5のように，人物を含む中心領域(赤点)の入退室進行方向のy座標が，画像y 座標の中央付近(白線)を通過するタイミングで識別に適切な画像としてキャプチャーすることにより，識別に適切なフレームのキャプチャーを行うことができる．

Figure 5.5:適切なキャプチャータイミング

(32)

6 実験

6.1 個人再識別システムUI

個人再識別システムのUI(User Interface)画面について説明する．Figure 6.1が個人再識別システムのUI画面である．

青線部の”VisualDepth”は何mm未満のDepth情報を人物領域と判断するかの値である．本研究の実験環境によって，Depth情報が1500mm未満の場合としたので，”1500”

となっている．実験環境が変わると，天井に設置されたカメラと地面までの距離によってこの値の設定は変える必要があるので，UI画面で自由に変更できるようになっている．

緑線部の”Flag”は5.2節で述べたフラグ処理の表示である．”Flag12”や”Flag23”は”Flag1 とFlag2の間”,”Flag2とFlag3の間”のFlagである．人物領域がFlag部で検出された場合”1”，それ以外は”0”と表示される．

オレンジ線部の”TotalPersonID”はシステムのデータベースに登録されている人数を表しており，入室時にキャプチャーされた画像から人物領域を検出されるたびに，その個人を記述する特徴量を記述した後データベースに登録され，IDが+1で増えていく．

グレー線部の”最大類似度”は退室時にキャプチャーされた画像から個人再識別用特徴を記述し，データベースに登録されているものと照合を行い，類似度が一番高かった値を示す．右横の”ID”は一番類似度が高かった人物の登録ID番号である．

赤四角部の，左の数字はID番号であり，登録が早いものから1から順に振り分けられる．右の数値は退室時にID毎に退室した人物との類似度が計算され，表示される．

Figure 6.1:個人再識別システムUI画面

(33)

6.2 個人再識別のための入退室自動検出

Figure 6.2の左側は入室シーケンスから検出された人物領域画像．右側は個人再識別シ

ステムの対応挙動をそれぞれ示す．一番上の行は画像内に人物が入ってきたタイミングのものであり，人物領域はFlag1を通っていることが分かる．真ん中の行では，画像y座標の中央付近に人物領域の中心領域がある．このタイミングで識別用の画像がキャプチャーされる．一番下の行では，人物領域がFlag3に到達していることが分かる．フラグ処理により”flag1→ flag2 → flag3”といった移動方向が分かり，このタイミングで人物が入室したと判断され，先程キャプチャーされた識別用の画像から個人再識別用特徴を記述し，ID とともにデータベースに登録される．

Figure6.3の左側退室シーケンスから検出された人物領域画像，右側は個人再識別シス

テムの対応挙動をそれぞれ示す．一番上の行は画像内に人物が入ってきたタイミングのものであり，人物領域はFlag3を通っていることが分かる．真ん中の行では，画像y座標の中央付近に人物領域の中心領域がある．このタイミングで識別用の画像がキャプチャーされる．一番下の行では，人物領域がFlag1に到達していることが分かる．フラグ処理により”flag3→ flag2 → flag1”といった移動方向が分かり，このタイミングで人物が退室したと判断され，先程キャプチャーされた識別用の画像から個人再識別用特徴を記述し，

データベースに登録されているものと照合する．Figure 6.3に示す例の場合，最大類似度が348.3でID1であると識別されている．

このように，個人再識別システムにおいて，人物領域の検出，フラグ処理による入退室判定，識別に適切なフレームのキャプチャーが正しく機能していることが確認できる．

(34)

Figure 6.2:入室時

(35)

Figure 6.3:退室時

(36)

7 おわりに

7.1 まとめ

本研究では，俯瞰視カメラからの個人再識別用領域の自動取得を，RGB-Dカメラを用

いたDepth情報による人物領域の検出をカラー画像に反映させることで実現する手法を

提案した．

2章では，まず関連研究の説明として，俯瞰画像を用いた個人再識別方法について，顔画像を用いた個人識別方法との違いを交えながら述べた．また，本研究の目的であるカラー画像内の人物領域の自動取得における従来手法として，背景差分法，フレーム間差分法の２つの手法について原理及びその問題点を示した．

3章では，研究で使用するRGB-DカメラKinect v2について説明し，その赤外線を用いたDepth計測方法であるTime of Flight方式について説明した．

4章では，俯瞰視RGB-Dカメラによる個人再識別用領域の取得方法について，Depth 情報による人物領域の検出，解像度の異なるカラー画像と深度画像の座標対応付け，赤外

線によるDepth計測におけるノイズという問題について言及し，最終的にノイズに強い

カラー画像上の人物領域の検出方法を示した．

5章では，本研究における個人再識別システムの条件設定を示し，個人再識別システムの自動化で必要となるフラグ処理による入退室判定と識別に適切なフレームのキャプチャー方法を，4章での提案手法によって取得した人物領域を用いることで実現した．

6章では，実験結果画像を交えて，俯瞰視カメラからの個人再識別システムにおいて，

提案手法がどのように機能しているかを示した．

(37)

参考文献

[1] Taiqing Wang, Shaogang Gong, Xiatian Zhu, and Shengjin Wang(2016)「Person Re- Identication by Discriminative Selection in Video Ranking」,『IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.38,Issue.12』pp.2501-2514

[2] 杉浦司(2014)「Kinectv1とKinectv2の徹底比較[C++]」,http://www.buildinsider.net/

small/kinectv2cpp/01,(参照2018-12-26)

[3] 上田智章 (2015)「【KinectV2 の限界を突破する】〜自分で新機能を作る

〜」,https://www.slideshare.net/NeoTechLab/hiroshima-motion-control-network- 12-september-2015(参照2018-12-26)

[4] 岩口優也,田中賢一郎,青砥隆仁,久保尋之,舩冨卓哉,向川康博(2016)「ToFカメラの距離計測歪みを手掛かりとした半透明物体の分類」,『電子情報通信学会技術研究報告』pp.67-73

[5] Vangos Pterneas(2016)「MEASURING DISTANCES USING KINECTTHE RIGHT WAY」,http://pterneas.com/2016/08/11/measuring-distances-kinect/(参照2018-12- 27)

[6] 「3D タイム・オブ・フライト・ソリューションズ-TI」,

http://www.tij.co.jp/ww/analog/3dtof/index.shtml(参照2018-12-27)

[7] 中谷良太,香野大地,嶋田和孝,遠藤勉(2011)「頭上方向から撮影されたカメラ画像を利用した人物識別」,『画像の認識・理解シンポジウム(MIRU2011)』

[8] Richard Szeliski(2010)『Computer Vision:Algorithms and Applications』Springer.

[9] 奥剛一,呉海元(2017)「瞰視RGB-Dカメラによる床のモデリングと身長推定」,『情

報処理学会関西支部支部大会講演論文集』

[10] Ryota Nakatani,Daichi Kouno,Kazutaka Shimada,Tsutomu Endo(2011)「A Person Identification Method Using a Top-View Head Image from an Overhead Camera」,

『JACIIIVol.16 No.6』pp.696-703

[11] I.Cohen,A.Garg,T.S.Huang(2000)「Vision-based overhead view person recognition」,

『Proceedings 15th International Conference on Pattern Recognition. ICPR-2000』

[12] 中島克人(2014)「動的背景差分による移動物体の検出」,『安全・安心のための画像・

映像技術』

[13] Tsukasa Sugiura(2016)「Kinectv2 Coodinate System Mapping-Summary Blog」, http://unanancyowen.com/kinect-v2-coordinate-system-mapping/(参照2019-1-20)

(38)

研究実績

1. 奥剛一，呉海元，瞰視RGB-Dカメラによる床のモデリングと身長推定(2017年9 月15日版)，2017年度情報処理学会関西支部支部大会，情報処理学会関西支部，

Sep 25，2017

2. 奥剛一，李鵬，呉海元，俯瞰視RGB-Dカメラによる個人再識別用の画像の自動取得，パターン認識・メディア理解研究会(PRMU)，電子情報通信学会，Mar

(39)

修士論文修正

提出した修士論文について，宮本先生より頂いたコメントを基に，以下の通り修正いたしました．

1. 【修正指示】表記ゆれを修正してください．主なものを以下に示します．下記以外にも表記ゆれがないか自身で確認して修正してください．

• 「Top-View」と「Top―View」

• 「程」と「ほど」

• 「とも」と「共」

• 「bird s-eye」と「bird s eye」

• 「第○章」と「○章」

• 「Color画像」と「カラー画像」

• 「更なる」と「さらに」

• 「とき」と「時」

• 全角括弧（）と半角括弧()

【修正箇所】概要及び1.2節

【回答】「Top―View」を「Top-View」に書き換えました．

【修正前】Top―View

【修正後】Top-View

【修正箇所】4.1節及び6.2節

【回答】「ほど」を「程」に書き換えました．

【修正前】ほど

【修正後】程

【修正箇所】4.5節及び5.2節

【回答】「共」を「とも」に書き換えました．

【修正前】共

【修正後】とも

【修正箇所】abstract

【回答】「bird s-eye」を「bird s eye」に書き換えました．

【修正前】bird s-eye

(40)

【修正箇所】1.3章

【回答】「第○章」を「○章」に書き換えました．

【修正前】第2章では，個人再識別方法と人物領域の検出の従来手法を関連研究として説明する．第3章では，本論文で使用するRGB-DカメラKinect v2とDepth測定原理について述べる．第4章では，俯瞰視RGB-Dカメラによる個人再識別用領域の自動取得方法を提案する．第5章では，個人再識別システムの自動化に必要な入退室判定方法，識別に適切なフレームのキャプチャー方法を提案する．第6章では，提案手法が個人再識別システムにおいて，どのように機能するのかを実験結果画像により確認する．第7章では，本論文のまとめを行い，論を結ぶ．

【修正後】2章では，個人再識別方法と人物領域の検出の従来手法を関連研究として説明する．3章では，本論文で使用するRGB-DカメラKinect v2とDepth測定原理について述べる．4章では，俯瞰視RGB-Dカメラによる個人再識別用領域の自動取得方法を提案する．5章では，個人再識別システムの自動化に必要な入退室判定方法，識別に適切なフレームのキャプチャー方法を提案する．6章では，提案手法が個人再識別システムにおいて，どのように機能するのかを実験結果画像により確認する．7章では，本論文のまとめを行い，論を結ぶ．