,,.,.,,. 2.,..,,,.,.,.,,,. 90%,.,,, i

平成

27

年度

学士学位論文

手画像を用いた

指輪の号数推定に関する研究

A study on estimation of ring size using a palm image

1160375

吉川 英希

指導教員

栗原 徹

2016

年

2

月

26

日

要 旨

手画像を用いた

指輪の号数推定に関する研究

吉川 英希

近年,ドラマなどでサプライズで指輪を贈り,プロポーズするシーンなどをよく目にする. しかし指輪などは先んじて相手の指に合う号数を知る必要があり,相手に気付かれずに号数 を知ることは至難の業である.  そこで本研究では,年々所持率が増加しているスマートフォン端末を用いて既知の距離か ら撮影した開いた手画像を利用し, 指輪の号数を推定するシステムを提案した. まずグレー スケール化した入力画像の明度値に対して固定閾値による2値化処理を行う.次にラベリン グによる最大白色領域検出を行い,求めた領域の輪郭点を利用し各指を判別する.またロバス ト推定法に基づく直線推定を利用して各指の角度の推定を行う. さらに,ユーザ入力により 指を指定し,画像の回転,指定した指部分のトリミング処理を行う.その後画像走査による最 も指の太い部分の推定を行い,走査線上の白色画素数や撮影距離などを用いて実際の太さを 算出する.最後に,その結果に対応する指輪の号数を提供する.  提案システムの有用性を示すにあたって,提案システムにより写真から推定された号数と 被験者が実際に指輪をはめ,最もフィットすると感じた号数を比較し,その一致率によってシ ステムの有用性を示す評価実験を行った.実験結果から号数の一致率は90%となり,システ ムの有用性が高い事が明らかとなった. キーワード 指輪, スマートフォン, 写真測量法, ロバスト推定法

Abstract

A study on estimation of ring size using a palm image

Hideki YOSHIKAWA

Recently, surprise marriage proposals are often aired in TV dramas. But actually,

it is difficult to examine the ring size of girl friend without being noticed.

 In this study, we have proposed a system to estimate ring size by using a palm image taken from a known distance with a smartphone. An input RGB image is converted

to a grayscale image, and binarized by using a fixed threshold value. The palm region

is detected as largest white area. Then angle of each finger is determined by robust

estimation of lines using contour of fingers. The image of a finger selected by a user

is rotated to make it parallel to Y axis, and is cropped to make just one finger image.

After that, length of white area is scanned in each horizontal lines, then the finger width

is determined as maximum of those length. The length in the image is converted into

actual finger width, and finally ring size is estimated.

 We have confirmed that result shows 90% match between the size estimated by our system and the size that user prefered.

目次

第1章 はじめに 1 1.1 研究背景 . . . 1 1.2 論文構成 . . . 1 第2章 関連知識 3 2.1 指輪の号数について . . . 3 2.2 撮影機器について . . . 4 2.2.1 写真測量法. . . 4 2.2.2 撮影機器の性能 . . . 4 2.2.3 性能検証 . . . 7 第3章 提案手法 9 3.1 前提条件 . . . 9 3.2 提案システムの概略 . . . 9 3.3 手首部分の除去 . . . 11 3.4 二値化処理 . . . 12 3.5 最大白色領域検出 . . . 14 3.6 各指の判別 . . . 15 3.7 角度推定 . . . 18 3.7.1 手法比較 . . . 18 3.7.2 手法内容 . . . 19 3.8 指の太さ計測 . . . 21 3.9 指輪の号数推定 . . . 23 第4章 評価実験 24

目次 4.1 計測器としての評価 . . . 24 4.2 実験条件 . . . 26 4.3 実験内容 . . . 26 4.4 実験結果 . . . 27 4.5 考察. . . 28 第5章 まとめ 30 謝辞 31 参考文献 32 付録A 号数推定表 33

図目次

2.1 撮像素子の大きさによる画角の変化 . . . 5 2.2 式2.1-2.4の補足図 . . . 6 2.3 式2.5の補足図 . . . 6 2.4 撮影距離による1ピクセルのスケールの変化 . . . 7 3.1 提案システム 概略図 . . . 10 3.2 入力画像例 . . . 11 3.3 手首部分除去後 . . . 12 3.4 閾値の変化による欠損度およびノイズ量の比較 . . . 13 3.5 閾値を40とした時(上)と閾値を50とした時(下)の二値化結果 . . . 14 3.6 ラベリングによる最大白色領域検出 . . . 15 3.7 3点の輪郭点の取得イメージ図 . . . 16 3.8 指先点群(左上),指の谷間点群(右上),その他点群(下) . . . 17 3.9 角度推定手法の検討 . . . 18 3.10 楕円検出できなかった例 . . . 19 3.11 その他点群の一部 . . . 20 3.12 ロバスト推定法にて推定した直線 . . . 20 3.13 2本の推定直線から成す角の二等分線 . . . 21 3.14 薬指を指定した際の画像回転結果 . . . 22 3.15 作成したトリミング画像 . . . 22 4.1 撮影の際に生じる誤差 . . . 25 4.2 実寸に対する推定値の度数分布 . . . 27 4.3 補正後の実寸に対する推定値の度数分布 . . . 28

図目次

4.4 指の変形 . . . 29 A.1 実寸号数と推定号数の比較表 . . . 33

表目次

4.1 実際の直径と計測した直径の差とピクセル . . . 24 4.2 実際の直径と補正を行った直径 . . . 26

第

₁

章

はじめに

1.1

研究背景

近年,友人や恋人の為に,サプライズの企画を行ったという話をよく耳にする.サプライズ とは主に,他者を驚かせ, 喜ばせる計画の事を指して使われる言葉である.例として,秘密裏 に誕生日パーティーの企画やプレゼントの準備などがあり,ドラマなどでもレストランでの 食事の後,サプライズで指輪を贈り,プロポーズするシーンはもはや定番となっている.しか し,単に企画や準備と言っても相手に気付かれずに行わなければならず,その為には膨大な時 間と労力が必要になってくる.プレゼントの場合は相手の欲しいものや好みを先んじて知ら なければならず,プロポーズに関しても指輪のサイズを事前に計測しなければならない.しか し,指輪のサイズを気付かれずに計測するのは困難である.  そこで本稿では,年々所持率が増加しているスマートフォン端末を用いて,開いた手を既知 の距離から撮影し, 撮影画像から各指の判別および太さの計測を行う.そして計測結果に応 じた指輪の号数を推定するシステムを提案する.

1.2

論文構成

本論文の構成は以下の通りとする.  第二章では,関連知識として指輪の号数に関しての説明,そして指輪の号数推定に必要な撮 影機器の性能の説明および算出方法について述べ,最後に撮影機器の性能検証を行う.  第三章では,提案手法である指輪の号数推定システムについて,処理の流れに沿って順に構

1.2 論文構成 成について述べる.  第四章では,まず本システムの計測器としての評価実験を行う.その後本システムの号数推 定の評価実験を行う上での条件, および実験内容について述べ,実験結果から号数推定シス テムの評価と考察を述べる.  第五章では,本論文のまとめとして提案手法の評価結果を述べ,そしてシステムの今後の課 題および展望について述べる.

第

₂

章

関連知識

本章では,関連知識として指輪の号数に関しての説明,また今回の指輪の号数推定に必要な 撮影機器の性能を述べ,いくつかの撮影機器を用いて本システムで利用可能かどうかの検証 を行う.

2.1

指輪の号数について

指輪の号数は,生涯一定ではなく様々な要因で変動していく.個人差はあるものの,歳を取 れば指の節はむくんで太くなってしまい,単純に太るもしくは痩せることで指輪の号数が変 化してしまうこともある.お酒を飲むとむくむとも言われている.また計測する季節や時間帯 によって指がむくんだり引き締まったりすることもあるため, 本来指輪の号数計測は複数回 計測することが好ましい.季節を変えて計測するのは困難だが, 時間帯をずらして計測を行 うのは比較的容易である.朝はむくみが少なく,夜はむくみが大きい為,所説あるが計測に適 している時間帯は午前10時∼午後3時までが望ましいと言われている.  また指輪の号数は,多くの場合自身が合っていると思われる号数から± 1号の余裕がある [1].これは個々人の感覚や指のタイプに起因しており,少々きつめのサイズを好んで着ける 人もいれば,指の圧迫感をなくす為に少々ゆるめのサイズを選択する人も存在する.指のタイ プは,先が細いタイプ,均一タイプ,関節が張り出しているタイプの3種類が存在し,先が細 いタイプと関節が張り出しているタイプは少々きつめが推奨されており,均一タイプは特に 推奨はなく,ゆるめからきつめまでを自身の感覚で選ぶことができる.

2.2 撮影機器について

2.2

撮影機器について

2.2.1

写真測量法

写真測量法とは,写真画像から被写体の三次元形状および位置を正確に測量する為の手法 を指す[2].本システムでは写真測量法の一つの単純な例である,写真画像面に平行な平面上 に存在する2点間の距離を測量する手法を用いる.

2.2.2

撮影機器の性能

コンピュータで扱う画像は,多くの場合ピクセルと呼ばれる小さな四角形の集合で示され る.今回の号数推定システムでは, そのピクセル1つ辺りのスケールが重要となってくる.こ れは撮影機器の性能や撮影距離がある程度関わってくる.前提として指輪の号数は内径が約 0.33mm変化すれば号数が1号変化する.その為,画像処理誤差を考慮し,1ピクセル辺りの スケールは約0.33mm未満が望ましいと言える.また処理誤差は3∼4ピクセル程発生する 可能性を考慮し,1ピクセルが約0.11ミリ以下であれば推定は可能だと考える.  1ピクセルのスケールは,撮像素子内の1画素辺りのスケールを基準として,撮影距離の 長さに比例する.今回は撮影距離を既知としている為,先に1画素辺りのスケールを求める必 要がある.これを求める為に必要なのは,撮像素子の高さと幅,撮影画像の高さと幅のピクセ ル数,そして画角と実焦点距離である.画像のピクセル数と実焦点距離に関しては,用いるカ メラで撮影した画像のEXIF情報を参照すれば取得することができる.また画角や撮像素子 の大きさは,EXIF情報にて取得できる35mm換算焦点距離などのいくつかの内部パラメー タから推定する事ができる[3].  35mm換算焦点距離について補足する. 現在発売されているレンズの多くはフルサイズ と呼ばれる撮像素子の大きさを基準として表記されており,撮像素子がフルサイズの撮影機 器に焦点距離が50mmのレンズを装着すると画角は46度となるが,撮像素子のサイズがフ ルサイズよりも小さければ,同じ焦点距離のレンズを装着した際の画角は小さくなる[4].例 を図 2.1に示す.図中のAPS-Cカメラとは,フルサイズの約0.65倍の大きさの撮像素子が

2.2 撮影機器について 搭載されているカメラを指す. 図2.1 撮像素子の大きさによる画角の変化 撮像素子が小さいカメラでフルサイズと同等の画角を得るには,焦点距離を縮める事で同 等または近い値を得ることが出来る. 焦点距離 50mmのフルサイズと同等の画角を得よう とすると,APS-Cサイズでは焦点距離は 31mmとなる.言い換えれば,焦点距離 31mmの APS-Cサイズの画角は,フルサイズに換算した際の焦点距離50mmの画角と同等である.こ の為,APS-Cサイズを基準とした際, 31mmを実焦点距離, 50mmを35mm換算焦点距離と 呼ぶ.このように,現在利用しているカメラの撮像素子のサイズと焦点距離から成す画角は, フルサイズに換算するとどれほどの焦点距離になるかを示したのが35mm換算焦点距離と なる.このパラメータとフルサイズ撮像素子の対角の長さである43.27mmを用いることに よって,EXIF情報に記載されていない画角を計算する事が出来る.  35mm換算焦点距離をfe,実焦点距離をf ,縦ピクセル数をh,横ピクセル数をwとして, 計算式を以下に示す.また式の補足として図2.2を示す. tan−1(43.27 2fe ) = θ 2 (2.1) 2f tan(θ 2) = si (2.2) hsi √ h2_{+ w}2 = sh (2.3)

2.2 撮影機器について wsi √ h2_{+ w}2 = sw (2.4) 図2.2 式2.1-2.4の補足図  式中のθ は画角,si は撮像素子の対角の長さである.この式により,撮像素子の高さsh と幅 sw を求めることが出来る. ここから撮像素子内の1画素辺りのスケールを求めるに は,sh/hもしくはsw/wにて求めることが出来る.  撮像素子内の 1画素辺りのスケールを求めた事により, 撮影距離,実焦点距離を用いて,1 ピクセル辺りのスケールを求めることが可能となる.これは三角形の相似の関係を用いた比 により求めることができる.撮像素子の画素の大きさをP ,実焦点距離を f ,撮影距離をL, 未知の値をxとして,比の関係式を以下に示す.また式の補足として図2.3を示す. P : f = x : L (2.5) 図2.3 式2.5の補足図

2.2 撮影機器について この比の関係式により求めたxが,1ピクセル辺りのスケールとなる.

2.2.3

性能検証

前節で述べた1ピクセル辺りのスケールを求める式を用いて,撮影距離による1ピクセル のスケールの変化を示したグラフを図 2.2に示す. グラフには,号数の推定が可能と判断し た0.11mmのラインを設けており,そのライン以下が検証した撮影機器の適正撮影距離と なっている. 図2.4 撮影距離による1ピクセルのスケールの変化 折れ線グラフの内,下の緑の折れ線は評価実験で用いるiPhone5sを検証した結果を示し ている.結果,0.11mmのライン以下となる撮影距離は,20∼30cm程度が推定に適している.  また昨今,デプスカメラを搭載したスマートフォンの開発が進められている.現状は普及し ていないが,将来的には普及が進む可能性が考えられる.デプスカメラを用いれば,撮影距離 に依存せずに推定を行うことが出来る.そこで,現状普及しているデプスカメラを搭載したデ バイスの例として,Kinect v2の性能検証を行った. Kinect v2はカラーカメラとデプスカメ ラで別々のカメラとなっているが,座標の位置合わせは可能となっている為,今回はカラーカ

2.2 撮影機器について メラでの検証を行っている.また,Kinect v2のデプスカメラは0.5m∼8.0mの範囲内に対象 物が存在した場合に,距離をmm単位で計測することが出来る[5].グラフにはKinect v2の 距離計測可能域を示している.  折れ線グラフの内,上の青の折れ線はKinect v2のカラーカメラを検証した結果を示して いる.結果,距離計測が可能な撮影距離では,号数推定が可能なピクセルのスケールを超えて いる為,本システムでの利用は困難であることが分かった.しかし今後, さらに短距離からの 距離計測が可能となり,かつ画像解像度が増加すれば,本研究で提案するシステムが十分に適 用可能であると言える.

第

₃

章

提案手法

本章では,提案手法である指輪の号数推定システムについて,処理の流れに沿って順に述べ ていく.

3.1

前提条件

初めに,今回の提案システムでの前提となる条件を2つ述べる.まず1つ目は,システムで 用いる写真の背景は黒色である必要がある.これは入力画像から手の領域を抽出する際に,輝 度に対して閾値を指定し二値化を行って領域を抽出をする為である.グレースケール化した 際の背景部分の輝度が閾値未満であれば領域の抽出は可能だが, 今回の条件では万全を期す 為に,背景を黒色と設定をする.  2つ目は,今回のシステムでは撮影距離は既知であるとする.これは2章にて解説したよ うに,本研究で用いる撮影器具であるスマートフォン端末での距離計測は困難の為である.

3.2

提案システムの概略

提案システムの処理の流れを図3.1に示す. 今後はこの概略図の流れに沿って順に処理について述べていく.

3.2 提案システムの概略

3.3 手首部分の除去

3.3

手首部分の除去

今回の提案システムで用いる入力画像は,撮影領域内に開いた手が全て収まっており,かつ 撮影機器と手を並行にして写っている写真が望ましい.入力画像の例を図3.2に示す. 図3.2 入力画像例 図3.2のような写真を入力画像として与えることで,精度の高い結果が得られる.しかし, 今回の提案システムで必要な部分は手のひら部分のみの為,手首から下の部分は必要がない. また撮影状況によっては服の袖や腕時計が写ってしまい, 後の閾値指定による二値化処理の 段階で,大量のノイズが発生してしまう場合がある.その為入力画像の底部から1/4を黒く 塗りつぶし,今回のシステムに不必要な部分を入力画像中から除去する.除去を行った結果画 像を図3.3に示す. 除去後,二値化処理に移る.

3.4 二値化処理 図3.3 手首部分除去後

3.4

二値化処理

手領域と思われる部分を検出するために,グレースケール化した入力画像の明度に対して 閾値を設け,閾値以上だった場合を手領域の候補として白色で描画する処理を行う.  処理を行う前に,複数の入力画像に対して適切に手領域を検出できる閾値の値を設定しな ければならない.閾値の設定を行うにあたってまず,1枚の入力画像にいくつかの閾値を与え 元画像との欠損具合を比較し,欠損が軽微であり, かつ誤検出の発生量が少ない閾値を今回 の提案システムで用いる閾値として設定する.なお,適切な閾値と判断する基準としては,画 像を肉眼で確認した際に欠損が軽微であり,かつ誤検出が少ないという条件を満たすものと する. 比較結果を図3.4に示す.図3.4の補足として,欠損部分をわかりやすくする為,手領 域として検出された部分を元画像で, 欠損部分を薄い緑で表示している.

3.4 二値化処理 図3.4 閾値の変化による欠損度およびノイズ量の比較 比較結果より,閾値は40∼50程が誤検出が少なく,かつ欠損も比較的軽微であることがわ かる.閾値20では黒い部分が検出されており,手領域よりも検出領域が膨張している事が分 かる. この工程を,後の評価実験で用いる画像の枚数分繰り返し,誤検出が少なく欠損が軽微 な閾値を設定する.結果として, 用いた10枚の内1枚が閾値40にて大量の誤検出が発生し, 後に行う誤検出部分の除去処理でも除去しきれない結果となった. 閾値50では誤検出の大 幅な減少が見られた為,今回の提案システムでは,閾値を50に設定し二値化処理を行う.閾 値を40に設定し二値化を行った結果と,50に設定し二値化を行った結果を図3.5に示す.二 値化処理後,ラベリングによる最大白色領域検出に移る.

3.5 最大白色領域検出 図3.5 閾値を40とした時(上)と閾値を50とした時(下)の二値化結果

3.5

最大白色領域検出

画像から誤検出部分を除く為の処理として,ラベリングによる最大白色領域の検出を行う. 今回はラベリングの際の近傍を8近傍として処理を行う.この時画像の手領域と思われる部 分は白色で表示されており,その為画像中の白色領域にそれぞれラベルを割り振る.その中で 一番大きい白色領域を手領域と判断し,入力画像と同じ大きさの黒色画像にその白色領域の みを描画する. 検出結果を図3.6に示す.最大白色領域検出後,各指の推定を行う.

3.6 各指の判別 図3.6 ラベリングによる最大白色領域検出

3.6

各指の判別

誤検出を除いた画像から取得した輪郭点群を用いて,指先点群,指の谷間点群,その他点群 を検出し,各指の判別を行う. まず,最大白色領域を検出し手領域部分のみを描画した画像に 対してエッジ検出処理を行い,エッジを輪郭点群として取得する.輪郭点群の内1点を注目 輪郭点として,そこから前後に一定個数離れた輪郭点2点の計3点で計算される角度・ベク トルによって,点群を3種類に分類する[6][7].3点の輪郭点の取得イメージを図3.7に示す. また,注目輪郭点をP2(P2x, P2y),そこから前後に一定個数離れた輪郭点を P1(P1x, P1y)と P3(P3x, P3y)として,点群分類の式を以下に示す. C1 = (P1x− P2x, P1y − P2y) (3.1) C2 = (P3x− P2x, P3y − P2y) (3.2) c1 = √ C1· C1 (3.3) c2 = √ C2· C2 (3.4) θ = arccos(c1· c2 |c1||c2|) (3.5)

3.6 各指の判別 図3.7 3点の輪郭点の取得イメージ図 これらの式により,3点のなす角度を算出する.まず,なす角度θ が60◦ 以上の場合は3種 類の点群の内,「その他点群」として分類する.そして60◦ 未満の場合は,C1 とC2の外積を 用いる. 外積が0より大きい場合は,「指先点群」として分類し,0未満の場合は「指の谷間点 群」として分類する. 分類した結果を図3.8に示す.

3.6 各指の判別 図3.8 指先点群(左上),指の谷間点群(右上),その他点群(下) この結果の内,指先点群の位置を利用して,5つの指の位置を推定する.各指の指先点群の 中心点を利用し,注目指先中心点から左右にある別の指の指先中心点までの2点間の距離を 算出し,その距離が最も離れている2点を取得する.最も離れている2点は親指の指先中心 点と人差し指の指先中心点と仮定し,その2点の内,画像中心からx座標が最も離れている 指先中心点を親指の指先中心点とする.親指の指先中心点のx座標が画像中心のx座標より 大きい場合は右手,その逆であれば左手の撮影画像として判別する.これにより親指,人差し 指,中指,薬指,小指を判別する.各指の判別後,各指の角度推定を行う.

3.7 角度推定

3.7

角度推定

3.7.1

手法比較

本システムで角度推定を行う手法として,2つの手法を用いて角度の推定精度の比較を行っ た.手法の内,1つは楕円検出[8] による角度推定,もう1つは直線検出による角度推定であ る.指の角度を明確に定める事は困難の為,画像回転ソフトにて手画像を回転させ,指が垂直 になったと感じる角度を基準値として定め,各手法の推定精度の検証・比較を行う.結果を図 3.9に示す. 図3.9 角度推定手法の検討 この結果から, 直線検出による角度推定の精度が高いことがわかる.また,楕円検出によ る角度推定は時折結果が安定しない場合がある.楕円検出が正しく行えなかった際の例を図 3.10に示す.

3.7 角度推定 図3.10 楕円検出できなかった例 おそらく外れ値によって想定外の検出が行われていると思われるが,楕円検出を用いる場 合,こういった誤検出が発生する恐れがある.その為本システムでは,直線検出による角度推 定の手法を用いる.

3.7.2

手法内容

先ほど検出した3種類の点群の内,その他点群の一部を用いて直線推定を行う.その他点群 の一部とは,指の根元から第二関節部分までの輪郭部分の事を指す.これはスポーツなどの影 響で,指先から第一関節までが左右に曲がっている場合がある為,指の根元から第二関節部分 までの影響の少ない部分に注目している.その他点群の一部を示したものを図3.11に示す.

3.7 角度推定 図3.11 その他点群の一部 これらの点群を用いて,1本の指につき2本の直線を推定する.直線推定には,最小二乗法 の応用であるロバスト推定法を用いる.ロバスト推定法を用いた直線推定は,まず最小二乗法 を行い,推定された直線に近い輪郭点ほど重みを大きく, 遠い輪郭点ほど重みを小さく定め る.そしてまた最小二乗法を行い,重みを付ける.この工程を何度か繰り返し,理想の直線を 推定する.推定した直線の結果を図3.12に示す. 図3.12 ロバスト推定法にて推定した直線 ここから,各指につき求めた2本の直線が成す角の二等分線を求める.求めた角の二等分

3.8 指の太さ計測 線を図3.13に示す. 図3.13 2本の推定直線から成す角の二等分線 求めた角の二等分線の角度を,各指の角度として扱う.

3.8

指の太さ計測

推定した角度を用いて画像を回転させ,3.6節にて検出した指先点群および指の谷間点群を 利用し,指のトリミング画像を作成する.  まず画像を回転させる前に,ユーザ入力により号数を求める指を指定する.ここからの処理 ではユーザ入力として,薬指を選択したと仮定した際の処理の流れを記載する.指定した指が 垂直になる様に先ほど推定した角度を用いて画像回転を行う.回転結果を図3.14に示す.

3.8 指の太さ計測 図3.14 薬指を指定した際の画像回転結果 回転した画像に対し,指定した指の指先点群の中点と,その左右にある指の谷間点群の中点 2点の計3点を用いて,指定した指のトリミング画像を作成する.作成したトリミング画像例 を図3.15に示す. 図3.15 作成したトリミング画像 作成したトリミング画像に対し左から右へ走査を行い,最も白色画素が多い走査ラインを, 指の最も太い部分とする.その部分で取得した白色画素の数,そして撮影距離とカメラの内部

3.9 指輪の号数推定 パラメータを用いて,指の実際の太さを推定する.推定する為の式として, 撮像素子内の1画 素辺りのスケールに,取得した白色画素数を乗算した結果を新たにP として定義し,式(2.5) を用いる. この式により求めたxが,実際の指の太さの計測結果となる.

3.9

指輪の号数推定

計測された実際の指の太さの結果に合った指輪の号数を提示する.号数はJIS規格によっ て定められているものを提示する. しかし,計測された指の最も太い部分よりも大きい内径 の号数を提示した場合,指輪が緩すぎて滑り落ちてしまう可能性がある.また糸などを巻き付 けて計測する際も,巻き付ける力の強弱によって大きく誤差が出るとされている.本システム は指に力を加えることなく計測するため, 実際の適正サイズよりも大きく計測される可能性 がある. これらの可能性を考慮し, 1号きつめの号数を提示するように設定を行っている.

第

₄

章

評価実験

本章では,提案する指輪の号数推定システムの有用性を示すために,実際の手の撮影画像を 利用して号数推定を行い, システムの評価を行う.また号数推定実験を行う前に,本システム の計測器としての評価を行う.

4.1

計測器としての評価

本システムの計測器としての評価を行う.評価方法として,直径が既知の半円柱を既知の 距離20cmから撮影した画像を用いて計測を行い, 実際の直径と計測した直径を比較する. 半円柱はそれぞれ直径が1cm, 2cm, 3cm, 4cmの4つのものを用いる.結果を表4.1に示す. 実際の直径(mm) 計測直径(mm) 誤差(mm) 誤差ピクセル(px) 10.00 10.32 +0.32 +5 20.00 20.65 +0.65 +9 30.00 31.05 +1.05 +14 40.00 41.31 +1.31 +18 表4.1 実際の直径と計測した直径の差とピクセル 表から,実際の直径よりも大きく計測されていることがわかる.比較した際の差を誤差,さ らにそれををピクセルに置き換えたものを誤差ピクセルとしており,結果から見て,10mmに つき4.5pxずつピクセルが増加している.この誤差は円柱を正面から撮影する際に生じてお

4.1 計測器としての評価 り,円柱が大きくなればなるほど誤差が増加していく.その為これを補正する方法を以下に示 すように考察した. 計測した直径をDm,イメージセンサ内の画素サイズをs,撮影距離をL, 焦点距離をf ,として,補正の式を以下に示す.また実際の直径をDとして記載した簡略図を 図4.1に,補正処理を行った結果を表4.2に示す. 4.5 10Dm = pe (4.1) pesL f = De (4.2) Dm− De = Dc (4.3) 図4.1 撮影の際に生じる誤差

4.2 実験条件 実際の直径D(mm) 計測直径Dm(mm) 補正量De(mm) 補正後の直径Dc(mm) 10.00 10.32 0.33 9.99 20.00 20.65 0.66 19.98 30.00 31.05 1.00 30.04 40.00 41.31 1.33 40.04 表4.2 実際の直径と補正を行った直径 式中のpe は計測した直径Dmから誤差ピクセルを推定したもの,Deはpe から求められ る実際の誤差の大きさ,Dc は補正後の直径を示している. 結果より,補正によって極めて実 際の直径に極めて近い値を算出することができた為,計測器としての評価が高い事がわかっ た. また指も円柱状の為,この補正を指の直径を計測する際にも行う事によって,実際の指の 直径に極めて近い値を算出できると考える.

4.2

実験条件

評価実験を行う上で,いくつかの実験条件を設定する.まず撮影条件として,背景は黒色で 撮影を行う.これは, 前章の提案システムの前提条件にて述べたが,閾値による手の領域を抽 出する為の処置である.撮影時期として, 季節は冬,時間帯は計測に適しているとされている 12∼13時の間に行った.また撮影する際の手の状態として,開いた手が撮影領域内に全て収 まる様に撮影する.そして本実験では撮影距離を20cmとし,撮影機器はiPhone5sを使用し ている.

4.3

実験内容

今回の提案システムを評価する為の実験内容について述べる.実験内容として,右手と左手 を1枚ずつ被験者5名から撮影した写真計10枚を利用し,提案システムを用いて推定した 指輪の号数と,実寸による指輪の号数の比較を行う.その一致率から, 提案システムの評価を

4.4 実験結果 行う.  まず,ここで言う実寸の号数とは,手画像の提供者に実際に指輪を嵌めてもらい,最もフィッ トすると感じた号数を指す. 実寸の計測は実際には指輪ではなくリングゲージと呼ばれる, ジュエリーショップなどで指輪の号数を調べる際に用いる器具により計測を行う.そして,推 定結果が実寸号数よりも± 1号の値となっても,2.1節で説明しているように号数は± 1号の 余裕がある為,実験結果では一致したものとして扱う.また,本実験では親指の号数推定は行 わないものとする.

4.4

実験結果

提案システムを用いて手画像から推定した号数と,実寸号数の比較を行い号数の一致率を 求め,システムの評価を行った. 本実験では,手画像10枚 × 親指除く 4本の指の推定を行 う為,試行数は40となっている.実験結果として,号数の実寸結果および推定結果を比較し, その結果から号数の一致率を求めたものを図4.2に示す. 図4.2 実寸に対する推定値の度数分布 結果として,前述した誤差の補正を行ったにもかかわらず,ほぼすべての指において実寸よ

4.5 考察 りも大きく推定された. 各指の平均的な推定結果として,中指が+2号,人差し指と薬指が+3 号,小指が+4号の結果となった.各指毎の詳細な結果は付録に記載する.この結果を基に補 正を行ったものを図4.3に示す. 図4.3 補正後の実寸に対する推定値の度数分布 中央3本(緑)のグラフは,比較結果から一致となったものである. 左端(赤)は実寸より小 さく推定されたもの,右端(青)は大きく計測されたものとなっている. この結果より,試行 数40の内36が一致となり,号数の一致率は90%となった.また+1号の結果が多い理由と して, 求めた指の太さに対し,少数第3位で切り上げを行っている為である.

4.5

考察

比較実験の結果,一致率としては90%と高い結果が得られた.しかし,補正前の推定結果が 全体的に大きく推定された原因について,指は全てが骨のような硬い物質で構成されてはい ない為,第二関節付近を通す際に比率の大きい幅側に引っかかり,押し込む際に隙間のある厚 み側に指の肉が移動し変形すると考えられる.その為指の形の変化によってフィット感が変 化し,指の直径よりも比較的内径が小さな指輪でもフィットすると感じる可能性がある.例を

4.5 考察 図4.4に示す. 図4.4 指の変形 図のような指の形の変化により,実寸の号数が推定よりも小さくなっていると考えられる.  また最終的な実験結果の内,不一致となった4つの内3つは実寸よりも小さく推定される 結果となった. さらにその内の１つは号数が実寸よりも-4号と,大幅に小さく推定されてい る.数度撮影を行ったが,結果として変化はなく, 撮影状況に原因はないと考えられる.また 指の幅と厚みに大きな差がある可能性を考慮し計測を行ったが,全ての指の平均的な幅と厚 みの比が約10:9という結果に対し, -4号となった指の幅と厚みの比は10:8となった.ここで 言う幅とは,本システムで計測を行っている指の太さを指す.この結果より,先ほどの図4.4 のように指の変形の可能性があるとするならば,幅側の比率が大きい場合は,反対に号数が大 きく推定される可能性が高い.今回のケースは号数が小さく推定されている為,幅と厚みの比 率は根本的な原因ではないと考えられる.ここまで2つの原因を考え検証を行ったが,どちら も可能性は低く,原因の特定には至らなかった.

第

₅

章

まとめ

本論文では,スマートフォン端末を用いて撮影した手の撮影画像を使い,各指の判別および 太さの計測を行うシステムの提案を行った.結果として,手の撮影画像からの号数推定を行う ことが出来,計測器としての性能も高く,実寸と推定との号数比較の結果,一致率も90%とい う高い結果が得られた.  今後の課題として,提案したシステムにて定めている条件の数を少なくし,撮影状況の自由 度を上げることが挙げられる. 中でも背景色の指定は,一般的な状況下で撮影を行う際の妨 げになる.現状のシステムでも,グレースケール化した際に明度値が50未満になる背景色で あれば黒色でなくても計測は可能だが,誤検出が発生する可能性も考えられる. その為,今後 は背景色を限定せず,かつ本システムの閾値指定による検出結果と同等の精度まで欠損なく 領域検出することが出来るシステムへの改良が課題となる.  そして,撮影距離が既知でなければならないという前提条件も大きな妨げになる.しかし2 章で述べたが,現在デプスカメラを搭載したスマートフォンが発されており,今後こういった 距離計測の行えるスマートフォンが普及する可能性がある.搭載されるデプスカメラが今現 在普及しているデプスカメラよりも短距離,かつデプスカメラの解像度がiPhone5sのよう な800万画素程度まで向上すれば, 撮影距離を既知とする必要がなくなり,撮影状況の自由 度の向上に繋がると考える.

謝辞

本研究を行うにあたって,研究内容の決定段階から論文執筆まで,指導教員として多くの丁 寧なご指導,ご指南をいただき,気持ちが折れそうになった際,励まして下さった高知工科大 学情報学群 栗原徹准教授に,心より感謝申し上げます.  またお忙しい中,本研究の副査を引き受けてくださった,同学群 島村和典教授,妻鳥貴彦准 教授に深く感謝致します.気付かなかった部分に対しての助言・質問をして頂き,本システム がより良いものとなりました.  同研究室の小笠原氏,尾崎氏,窪内氏,中岡氏,林氏,そして三回生の皆さんにも数多く支え られ,励まされました.いくつもの視点から研究を見て頂き,その度に気付いた部分を適宜質 問してもらって,様々なことに気付くことが出来ました.心より感謝申し上げます.  そして,支えてくれた家族,友人,先輩,後輩達にも心から感謝致します.皆々様,本当にあ りがとうございました.

参考文献

[1] KATSUKI,“指 輪 の サ イ ズ に つ い て”,http://www.katsuki21.co.jp/ringsize/, 閲 覧 日:2016/2/1. [2] 津留宏介, 村井俊治, “デジタル写真測量の基礎∼デジカメで三次元測定をするには∼”, pp.8, 2012. [3] ア ン タ レ ス の デ ジ カ メ 部 屋,“ス マ ホ や コ ン デ ジ の セ ン サ ー サ イ ズ の 調 べ 方”,http://www.antaresdigicame.org/photo gallery/camera/camera105.html, 閲覧 日:2016/1/27. [4] デ ジ タ ル 一 眼 レ フ カ メ ラ 入 門 初 心 者 講 座,“35mm 換 算 と は”,http://diji1.ehoh.net/contents/35mm.html, 閲覧日:2016/2/26

[5] 中村薫, 杉浦司, 高田智広, 上田智章,“KINECT for Windows SDK プログラミング

Kinect for Windows v2センサー対応版”, pp.64, 2015.

[6] 岡田浩臣,“HMDを用いた仮想ガジェットの開発”,平成23年度高知工科大学学士学位 論文, 2011.

[7] Atagan memo,“夏 休 み の 工 作 ∼ 指 の 認 識 ∼ ”,http://atagan-memo.blogspot.jp/2012/08/blog-post 31.html, 閲覧日:2016/2/5.

[8] Taehee Lee, et al. ,“Handy AR: Markerless Inspection of Augmented Reality

付録

_A

号数推定表