博 士 （ 情 報 科 学 ） 新 井 啓 之
学 位 論 文 題 名
人 物 と カ メ ラ の 3 次 元 幾 何 モ デ リ ン グ に 基 づ く 映 像 か ら の 人 流 解 析 に 関 す る 研究
学 位 論 文 内 容 の 要旨
本論文では，カメラと実空間さらに被写体に関する幾何的を制約を活用するてとによって，被写体 全体の検出やトラッキングを行うことをく，局所的を処理の積み重ねとして人数およびそれらの速 度を推定するアルゴリズムを提案するとともにその有効性を示す，
セキュリティ分野やマーケティング分野を中心に，一般的をセキュリティカメラを活用して人の 行動や状態に関する情報を自動的に抽出する技術への期待が高まってきている，ところが一般的次 セキュリテイカメラは広い範囲にわたって人を撮影できるよう頭より高い場所に斜め下向きに設置 されることが多く，人の数が多く額ると画像上で人と人とが重をり合う状況が発生し，画像上で一人 一人の人物を検出することは極めて困難とをる．このため，形状検出やトラッキングに基づく従来の 技術を混雑状況に適用することは困難であった，混雑状況も含めて人数や人の流動速度を計測した いというニーズが存在しているにも関わらず，未だ実現されてい誼いのが現状である．てのようを従 来技術の限界を超えるため，本論文では，一人ー人の人物の検出は行わず，画素レベルの局所的教信 号処理の積み重ねとして人数や速度を推定するという基本的を方針に基づく新た顔画像処理手法を 提案する．
ま ず2章に おいて，カメラと人物の3次元的を幾何モデルを考えることにより，画素レベルの局 所的を信号処理の積み重ねとして人数を推定するアルゴリズムを提案する．これは，画素と実空間面 積との対応付けを行うことにより，画像上での前景画素に対応する人物上表面積を算出し．これによ り人数を推定するという素朴をアイデアに基づくものであるが，斜め下向きの一般的をカヌラを用 いる場合には，以下の2つの課題を解決する必要がある，1番目の課題は，ある画素に対応する人物 の位置は奥行き方向に不定性を持っために各画素に対応する実空間における表面積を一意に決める ことができをいという不定性の問題をどう解決するかである，この課題に対して本論文では，画素と 実空間表面積の平均値への変換係数として機能する基準表面積(SSA:Standard SurfaceAエea）を定 義するとともに，この基準表面積が「1人分の前景画素に対する基準表面積の和は人がどてに立っ ていても同じ値とをる」という重要を性質を持つことを示す．これにより，人がどこに立っているか を知ることをしに人数を推定することが可能となる．もうーつの課題は，前の人の背後にいる人物の 一部が画像上で観測されをくをる所謂オクルージョンの問題をどう扱うかである，これに対して本 論文では，カメラ，床面および人物の幾何モデルに基づき，画像から観測される基準表面積の総和と オクルージョンにより観測され数く極る表面積とを関係づけることにより，オクルージョンの影響 を加味した人数推定を可能にしている．
3章では，提案した人数推定アルゴリズムの妥当性および有効性を評価するために行った実験結
‑ 146−
果を示す．理論から予測される基準表面積の性質と，シミュレーション画像を用いた実験結果は定性 的，定量的によく一致しており，提案手法が妥当であることが示されている．また混雑状況を想定し たシミュレーションの結果，オクルージョンのある場合でも適切に人数を推定できることを確認す る と と も に ， 実 画 像 を 用 い た 人 数 推 定 実 験 に よ り 提 案 手 法 の 有 効 性 を 確 認 し て い る ． 4章では、提案し た人数推定アルゴリズムがデジタルサイネージの広告効果測定に適用可能かど うかを検証すべく実施したフイールド実験の結果を示す，実験の結果，画像処理精度の観点からも，
また得られたデータの有用性の観点からも提案手法がデジタルサイネージの広告効果測定に適用可 能であるとの見込みを得ている．
5章では，局所的 を処理の積み重ねにより被写体の移動速度を推定する方法を提案する．移動速 度の推定は，想定される利用場面や被写体の動きに関する制約条件により具体的没アルゴリズムが 異をってくる，本論文では(1)単一被写体の画像上速度，(2)単一被写体（人物）の床面上速度，(3)複 数被写体（人物）の集団としての床面上速度について，それぞれの問題設定に応じたアルゴリズムを 提案する.(1)については，具体的を利用場面のーっとして映像中のロールテロップ検出を具体例と して，その画像上での移動量を投票原理に基づき高速に検出する手法について述べる．実験の結果，
アルゴリズムの妥当性と有効性を確認している.(2)については，オプティカルプローの拘束式を実 空間座標系に拡張することにより，ハフ変換による速度推定が可能とをることを示す． (3)にっいて は，カメラと被写体の幾何モデルに基づき画像上の見かけの速度と実空間における人物の移動速度 とを対応付けることにより，実空間での個人もしくは集団としての移動速度を推定する方法を提案 する，ここでは，観測される見かけの速度の大きさが混雑度合いに依存することに注目し，混雑度合 いを考慮しをがら見かけの速度場を実空間速度に変換するための変換係数としてスケールフんクタ の考え方を導入す る.CG画像の大量生成により作成したスケールファクタを用いて実験を行った結 果，混雑状況に応じた実空間速度を推定することの可能性を示した，
これら全体を要約すると，本論文におけるアルゴリズムの提案および実験による検証により，カメ ラと実空間さらに被写体に関する幾何的謡制約条件もしくは動きに関する制約条件をうまく活用す ることによって，被写体全体の検出やトラッキングを行うこと詮く，局所的を処理の積み重ねとして 人数およびそれらの速度を推定できることを示した，この結果。従来技術では困難だった混雑状況も 含めた形で安定に動作する人数推定や速度推定が可能と誼る，
−147―
学位論文審査の要旨 主査 教授 長谷山美紀 副査 教 授 荒木 健治 副査 教 授 山本 強
学 位 論 文 題 名
人物とカメラの 3 次元幾何モデリングに基づく 映像からの人流解析に関する研究
本論文は，カメラと実空間さらに被写体に関する幾何的を制約を活用することによって，被写体全 体の検出やトラッキングを行うことをく，局所的を処理の積み重ねとして人数および速度を推定す るアルゴリズムを提案するとともにその有効性を示すものである．
セキュリテイ分野やマーケテイング分野を中心に，一般的をセキュリティカメラを活用して人の 行動や状態に関する情報を自動的に抽出する技術への期待が高まってきている．ところが一般的顔 セキュリティカメラは広い範囲にわたって人を撮影できるよう頭より高い場所に斜め下向きに設置 されることが多く，人の数が多くをると画像上で一人一人の人物を検出することは極めて困難と顔 る．このため，形状検出やトラッキングに基づく従来の技術を混雑状況に適用することは困難であっ た．混雑状況も含めて人数や人の流動速度を計測したいというニーズが存在しているにも関わらず，
未だ実現されてい誼いのが現状である，
筆者は，このようを従来技術の限界を超えるため，一人一人の人物の検出は行わず，画素レベルの 局所的顔信号処理の積み重ねとして人数や速度を推定するという基本的を方針に基づく新たを画像 処理手法を提案した．以下，章を追って論点を述べる，まず2章において，カメラと人物の3次元的 を幾何モデルを考えることにより，画素レベルの局所的誼信号処理の積み重ねとして人数を推定す るアルゴリズムを提案した．てれは，前景として検出された各画素に対応する人物上表面積を算出す ることにより人数を推定するという素朴顔アイデアに基づくものであるが，斜め下向きのカメラを 用いる場合には，以下の2つの課題を解決する必要がある．1番目の課題は，人物の位置が奥行き方 向 に不定 性を持っ ために画素に対応する表面積を一意に決めることができ教い問題をどう解決す るかである．てれに対して筆者は，基準表面積という概念を新たに定義するとともに「1人分の前景 画 素に対 する基準 表面積の和は人がどこに立っていても同じ値となる」という重要教知見を見出 した，これにより，人が立っている場所を知ること教しに人数を推定することが可能と叔った．もう ーつの課題は，オクルージョンの問題をどう扱うかである．これに対して筆者は，カメラと人物の幾 何モデルに基づき，画像から観測される表面積とオクルージョンにより観測され顔くをる表面積と を関係づけることにより，オクルージョンの影響を加味した人数推定が行えることを示した．3章で は，提案した人数推定アルゴリズムの妥当性および有効性を実験により評価した．理論とシミュレー ション実験結果は定性的，定量的によく一致し，提案手法が妥当であることが示された．また混雑状 ―148−
況 を 想 定 し たシ ミ ュ レ ー ショ ン の 結 果 ，オ ク ル ー ジ ョ ンの あ る 場合 でも適 切に人 数を推 定で きるこ と を確認 する ととも に，実 画像を 用いた 人数 推定実 験によ り提案 手法 の有効 性を確 認した ‐4章では ， 提 案 し た 人 数推 定 ア ル ゴ リズ ム が デ ジ タル サ イ ネ ー ジ の広 告 効 果測 定に適 用可能 かどう かを 検証す べ く実施 した フイー ルド実 験の結 果が示 され た．画 像処理 精度の 観点 から． も，また得られたデータの 有 用 性 の 観 点か ら も 提 案 手法 が デ ジ タ ルサ イ ネ ー ジ の 広告 効 果 測定 に適用 可能で あると の見 込みを 得 た ，5章 では ， 局 所 的 教処 理 の 積 み 重ね に より被 写体の 移動 速度を 推定す る方法 を提案 した ．移動 速 度 の 推 定 は， 想 定 さ れ る利 用 場 面 に より 具体 的を アルゴ リズム が異誼 るが， 本論 文では(1)単 一被 写 体の画 像上 速度，(2)単 一被写 体（人物）の床面上速度，(3)複数被写体（人物）の集団としての床面上 速 度につ いて ，それ ぞ・れ アルゴ リズム を提 案した.(1)につ いては ，映像 中のロールテロップ検出を例 に ， そ の 画 像上 で の 移動量 を投票 に基 づき高 速に検 出する 手法 を提案 した.(2)につい ては， オプテ イ カ ル フ ロ ー の拘 束 式 を 実 空間 座 標 系 に 拡張 す る こ と に より ， ハ フ変 換によ る速度 推定が 可能 と誼る こ と を 示 し た.(3)につ い て は ， カメ ラ と 被 写 体 の幾 何 モ デ ル に基 づき画 像上 の見か けの速 度と実 空 間 に お け る 人物 の 移 動 速 度と を 対 応 付 ける こ と に よ り ，実 空 間 での 集団と しての 移動速 度を 推定す る 方法を 提案 した．
こ れ ら全 体 を 要 約す ると ，筆者 は，従 来技術 では困 難だ った混 雑状況 も含め た形 で安定 に動作 する 人 数 推 定 や 速度 推 定 を 可 能と す る た め ，カ メ ラ と 実 空 間さ ら に 被写 体に関 する幾 何的を 制約 条件も し く は 動 き に関 す る 制約条 件をう まく 活用す ること によっ て， 被写体 全体の 検出や トラ ッキ ングを 行 う こ と を く， 局 所 的を処 理の積 み重 ねとし て人数 および それ らの速 度を推 定する 方法を 提案 した，
以 上，本 研究 を通じ て，情 報メデ ィア工 学， 画像工 学に貢 献する とこ ろ大を るものがある．よって，著 者 は ， 北 海 道 大 学 博 士 （ 情 報 科 学 ） の 学 位 を 授 与 さ れ る 資 格 が あ る も の と 認 め る ．
‑ 149―
