Title
複数局所特徴量による一般物体認識に基づく情報提示シ
ステムの提案
Author(s)
小渡, 悟
Citation
沖縄大学マルチメディア教育研究センター紀要 = The
Bulletin of Multimedia Education and Research Center,
University of Okinawa(10): 1-5
Issue Date
2010-03-31
URL
http://hdl.handle.net/20.500.12001/6419
研究ノー ト
複数局所特徴量 による一般物体認識 に
基づ く情報提示システムの提案
小波
悟
沖縄大学人文学部
あらまし 記憶補償､言語 リハビリテーションなどの福祉分野への適応を目的とした情報提示システムを提案する｡ 本 システムではノー トPCに設置されたUSBカメラにより対象物体 を撮像 し､画像か ら抽出した複数の局所特徴量を 統合することで識別を行 う｡従来､失語症患者に対する言語療法が､言語療法士か らの問いかけに答える受動的なも のだったのが､本システムを用いることで失語症患者 自身がUSBカメラを対象物体 に向けることで名前の手掛か り 情報を得ることができリハビリを能動的なものに変えることが期待できる｡Ge
ne
r
i
cOb
j
e
c
tRe
c
o
gni
t
i
o
nwi
t
hmul
t
i
p
l
eLo
c
a
lf
e
a
t
ur
e
s
f
o
rI
nf
o
r
ma
t
i
o
nPr
e
s
e
nt
a
t
i
o
ns
ys
t
e
m
Sa
t
or
uOdo
Fa
c
ul
t
yofHuma
ni
t
i
e
s
,
Oki
na
waUni
ve
r
s
i
t
y
Abstract Thisistopmposetheinformationdisplysystem aimedatapplicationstothewelfarefield ●
suchasmemorycompensationandlanguagerehabilitation.Inthissystem,theUSBcamerainstalledin
anoteb
o
o
kPCtakestheimageofanわbject.Thenmultiplelocalfeaturesextractedfrom theimageare piecedtogethertoidentifytheobject.Localfeatureshavebeenobtainedsofarinapassivewaythatthe aphasicanswerthequestionsaskedbyaspeechtherapistinspeechtherapy.Thissystem wouldallow theaphasicthemselvestogetsituationalinformationaboutthenameoftheobjectatwhichtheypoint theUSBcamera ltisexpectedtobeabletochangerehabilitationintosomethingmoreactive.1-１はじめに 近年、拡張現実感（ＡＲ：AugmentedReality）技術は』情報提示における新しい技術として様々な分野で 研究が行われている。拡張現実感技術で用いられるディスプレイは光学シースルーやビデオシースルーを用 いた透過型ＨＭＤ（HeadMountedDisplay)、臨場感の高い仮想空間を提示できる没入型プロジェクショ ンディスプレイなど、さまざまな研究がおこなわれている、。しかし、ＨＭＤ型ではディスプレイの重量や サイズによるユーザの行動に対する制限があり、没入型ではユーザの周囲を大画面スクリーンを用いて覆う ため、周りの現実環境を隠してしまうという問題がある。またぐコンピュータの処理能力の飛躍的向上によ り特殊な機材を使わずに可搬性の高いノートＰＣ、ＰＤＡにてディスプレイ上の実環境映像に対して注釈情報 を重畳させて』情報提示することも行われている[2][3]。これらではユーザの状況に応じた`情報提示を可能とし ている。 本稿では、記憶補償、言語リハビリテーションなどの福祉分野への適応を目的としてＡＲ技術を用いた情 報提示システムを提案する。図１に示すようにシステム構成はノートＰＣのディスプレイ上部にＵＳＢカメ ラを実環境撮影用に１台配置し、カメラにて撮影した映像に情報を付加してディスプレイへの提示と音声に よる提示を行う。このシステムにより、ユーザはＵＳＢカメラを対象に向けるだけで情報を得ることができ 提示された,情報に対する操作もその場で行えるなどの利点が得られる。従来、失語症患者に対する言語療法 が、言語聴覚士からの問いかけに答える受動的なものだったのが、本システムを用いることで失語症患者自 身が実環境撮影用カメラを対象物体に向けることで名前の手がかり情報を得る能動的なものに変えることが 可能となる。
ディスプレイへの表示と
音声Ｉ､！;iiiii;ii類Ｉ
ＳIFT＋ＢＣＦ SＶＭ識別結果
入力画像
ＨＯＧ SＶＭ特徴抽出
Fig.１：システムの流れ ２特徴量 本稿では実環境中の物体認識にＳＩＦＴ（Scale-InvariantFeatureTransfor、）特徴量[4]と特徴量ＨＯＧ (HistogramsoforientedGradients）特徴量[6]を用いる。どちらも局所領域における輝度の勾配方向をヒ ストグラム化した特徴量であるが、SIFＴ特徴量が特徴点に対して特徴量を記述するのに対し、ＨＯＧ特徴 量は一定領域に対する特徴量の記述を行う。 ２．１ＳｌＦＴ特徴量 ＳＩＦＴは物体の拡大・縮小・回転・照明変化に不変の特徴量で、特徴点の検出（detection）と記述（descrip-tion）の２段階からなる。 第１段階の特徴点の検出を行う。特徴点候補は、スケールの異なるガウス関数ＧＣＭ/,ｏ）と入力画像 I(j,/）を畳み込んだ平滑化画像Ｌ(ｚＷ,ｏ）の差分であるDifference-of-Gaussian(DOG）画像から求める。 それぞれ以下の式により求められる。 －２－ＬＣＭ/,。）＝Ｇ(ｊＭ/,Ｏ)＊I(j,ｊ） １＿筵2＋"２
Ｇ(Z,Z/,o)＝ファＦｅ，｡２
(1) (2) ＤＯＧ画像Ｇ(z,ＺＭ）は式（３）となる。 Ｇ(z,z/,ｏ）＝（Ｇ(5Ｍ,ﾉto)－Ｇ(ｊＭ,ｏ)）＊Ｉ(j,ｊ） ＝Ｌ(j,ｊ,/ＣＯ)－Ｌ(Ｍｏ） (3)竺乏臺臺ﾐ〉
逼塞薑l雲鈩
二三鬘臺臺=＝
≦毫篝篝〉
霞毫篝臺霊〉
蓬霊夢〉
ＤＯＧ画像
スケール平滑化画像
Fig.２：ＤＯＧピラミッドの概念図 この処理をＣＯからk倍ずつ大きくした異なるスケール間で行い、図２に示すような複数のＤＯＧ画像を得る。 次にＤＯＧ画像から極値を検出し、特徴点とスケールを決定する。図３に示すように極値の検出にはＤＯＧ 画像３枚１組で行う。対象ＤＯＧ画像の注目画素と近傍、ならびに隣接するスケール画像の注目画素と近傍 の合計26近傍を比較し、極値であった場合に特徴点候補点として検出する。曰近傍画素
鰯注目画素
０哩二三雲臺三〉
S枚1組!<毫臺臺三≧
０ スケールＤＯＧ画像 Fig.３：極値検出の流れ －３－検出された特徴点候補から主曲率とコントラストにより安定した特徴点を絞り込む。主曲率は式（４）の 特徴点候補位置での２次元へツセ行列Ｈから求める。
H=[髄 錨］
(4) ここで、ヘッセ行列から求められる第１固有値をα、第２固有値をβとすると、対角成分の和か(Ｈ）と行 式Der(Ｈ）は次のように計算できる。Ｔγ(Ｈ）＝Dzz＋、ｗ＝α＋β（５）
比t(Ｈ）＝Ｄｚｐｗ－(Ｄｚ‘)2＝αβ（６）
さらに、α＝11βとすると次の式のようになる。Ｔγ(Ｈ)２（α＋β)２（718＋β)２（γ＋l)２
（７）比t(Ｈ）ｃＵｌ８￣７１８２￣γ
この値は固有値そのものではなく、固有値α、βの比率のみで決まる。従って、固有値を求めずに主曲率を 得ることができる。この値を閾値処理を行うことで不要な特徴点を削除する。 検出した特徴点に対して第２段階の処理である特徴量の記述を行う。まず、検出された特徴点の輝度勾配 方向を求める。輝度勾配は特徴点における方向を表しており、特徴量記述の際に正規化を行うことで回転に 不変となる。特徴点の輝度勾配方向を求めるには、まず特徴点が抽出された平滑画像Ｌ(〃）の勾配強度 加(j`）と勾配方向０(〃）を以下の式により求める。”(j,ｊ)＝V77TZフアキフ7TZﾌァ（８）
,(ガル伽－１潟（９）
棚)二全(測二全(糊（､）
求めた勾配強度ｍ(j,ｊ）と勾配方向０(j,ｊ）から、重み付方向ヒストグラムを作成する。作成したヒストグ ラムから最大値となる方向を特徴点の輝度勾配方向として割り当てる。 カテゴリ分類にはSIFＴ特徴量をそのまま用いるのは困難なため、SIFＴ特徴量をベクトル量子化するこ によってkeypointをvisualwordとして捉えるBag-of-Feature[5]を求める。 ２．２特徴量 画像から輝度勾配を算出し、算出された勾配強度と勾配方向をヒストグラム化する特徴量である。以下に HOG特徴量の算出方法について述べる。 次式より各ピクセルの勾配強度ｍ(z,ｇ）と勾配方向０(j,ｊ）を求める。､ＣＭ)＝,/７iFT玉~ファ千7;て玉-つ７丁
`ＣＭ)-伽訓幾器
脇)二fj(測二腺{）
(11） (12） (13）算出された輝度勾配画像は、セルと呼ばれるＣ"×Ｃ胸画素からなる小領域に分割する。それぞれの領域に
おいて輝度の勾配方向ヒストグラムを作成する。ＯＣＭ/）の角をCD方向になるように量子化し、各方向に
腕(ｊＭ/）を重みとして与える。すなわち、１セルあたりｃ6方向の勾配方向ヒストグラムができる。最後に、
b"×6Aセルで構成されるブロックと呼ばれる領域を設定する。１セルずつ移動させながら正規化する。１セルあたりｃ6方向の特徴を持っているため、１ブロックあたりの特徴次元数はCJD＝ｂ"×6ｈ×ＣＤとなる。
あるブロックの特徴ベクトルをＵ、ブロック内の位置（j,〃｛ｌ≦ｊ≦ん１≦ｊ≦ｂﾉi｝にあるセルのヒスト
グラムを/z〃としたとき、次式により正規化を行う。この処理を１セルずつ移動させながら実行する。
－４－〃が
