急速眼球運動対応の視線検出機能を持つ Vision Chip アーキテクチャ
5
0
0
全文
(2) 社団法人映像情報メディア学会技術報告. 急速眼球運動対応の視線検出機能を持つ Vision Chip アーキテクチャ 高木. 宏章†. 秋田純一†. †金沢大学 〒920-1192 石川県金沢市角間町 E-mail: †taka@merl.ec.t.kanazawa-u.ac.jp あらまし. 本論文では急速眼球運動に対応した視線検出機能を持つ Vision Chip アーキテクチャを提案する.視線. の検出には瞳孔とプルキニエ像の位置の二つのパラメータが必要であり,今回提案する Vision Chip は,眼球画像から の瞳孔とプルキニエ像の検出方法,およびそれらの中心の検出方法,中心の座標生成を行うものである.本 Vision Chip アーキテクチャの構成要素のうち,二値化後の処理を行うディジタル処理部(PE)を FPGA 上に実装し,正しく動作す ることが確認できた. また PE 数を 100×100 とした場合のクリティカルパスを考慮したフレームレートは 146[kfps] となり十分に急速眼球運動を検出できることを確認した. キーワード. Vision Chip 急速眼球運動 並列処理. FPGA. Vision Chip Architecture for Saccade Tracking Hiroaki Takagi†. Junichi Akita†. †Kanazawa University kakuma-machi, kanazawa-shi, Ishikawa, 920-1192 Japan E-mail: †taka@merl.ec.t.kanazawa-u.ac.jp Abstract In this paper, we propose Vision Chip architecture for saccade tracking .Eye direction can be determined by the positions of the pupil and the Purkinje’s image in eye image. The proposed Vision Chip has the ability of detecting their positions, as well as generating the coordinates of their center. We implemented the digital processing element (PE) array on FPGA, and the estimated frame rate for 100×100 PEs is 146 [kfps] with considering the critical path., which is fast enough for saccade. tracking. Keyword. Vision Chip. saccade. Parallel Processing FPGA. 1. は じ め に 急速眼球運動（サッケード）とは 我々の意図にか か わ ら ず ,ご く 自 然 に 起 こ る ,非 常 に 高 速 な 眼 球 の 運 動. Vision Chip ア ー キ テ ク チ ャ と そ の 基 礎 的 な 評 価 に つ いて述べる.. 2. 視 線 検 出 の原 理. で あ る .急 速 眼 球 運 動 は 新 式 の コ ン ピ ュ ー タ ヒ ュ ー マ. 赤外線の眼球画像は視線を見つけるのにふさわし. ン・インターフェースとして利用できると期待される. い .赤 外 線 眼 球 画 像 の 例 を 図 1 に 示 す .こ の 中 に は ,2 つ. が [1,2],そ の 速 度 は ,多 く の 場 合 ,毎 秒 600°以 上 に も 及. の 特 徴 的 な 領 域 が 存 在 す る .1 つ は カ メ ラ か ら 角 膜 に 正. び ,従 来 の 視 線 検 出 装 置 で 用 い ら れ る ,NTSC 規 格 な ど. 面方向から光を当てた場合に返ってくる強い反射光で. の ビ デ オ カ メ ラ を 用 い て 画 像 を 取 り 込 み ,計 算 機 等 を. あ り ,プ ル キ ニ エ 像 と 呼 ば れ る 白 い 領 域 で あ り ,も う 1. 用いてソフトウェア処理するという方式では対応する. つ は ま た 黒 く 丸 い 領 域 で あ る 瞳 孔 で あ る .こ れ ら 2 つ. ことは不可能である.. の 領 域 の 位 置 関 係 を 用 い る と ,図 2 に 示 す よ う に プ ル. こ の よ う な 背 景 か ら ,本 論 文 で は 高 速 な 画 像 処 理 を. キニエ像から角膜の半径直線を伸ばすことで角膜曲率. 行 う Vision Chip を 用 い て 急 速 眼 球 運 動 を 含 む 視 線 を. 中 心 が 求 め ら れ ,そ こ か ら 瞳 孔 の 中 心 へ と 直 線 を 伸 ば. 検 出 す る こ と を 目 標 と し た .Vision Chip は 受 光 素 子 と. す こ と で 視 線 ベ ク ト ル (視 線 )を 求 め る こ と が で き る .す. 処理回路を画素ごとに配置し, 1 チップ上に集積させ. な わ ち 視 線 を 求 め る た め に は ,赤 外 線 眼 球 画 像 か ら プ. た 知 的 な 撮 像 セ ン サ ー [3]で あ り ,こ の 構 造 に よ っ て 逐. ルキニエ像と瞳孔の中心位置を求めることが必要であ. 次的な処理ではなく並列処理による超高速な画像処理. ることがわかる.. が 可 能 で あ る .本 論 文 で は ,急 速 眼 球 運 動 に 対 応 す る.
(3) 3.1 判 定 回 路 判定回路では視線の検出に必要な瞳孔とプルキニ エ 像 を 検 出 し ,そ れ ぞ れ を 示 す フ ラ グ を 生 成 す る .実 際 の 検 出 方 法 と し て 赤 外 線 を 目 に 照 射 す る と ,目 の 各 部 で の 反 射 率 の 違 い に よ り ,フ ォ ト ダ イ オ ー ド で の 光 電 流 の 値 が 異 な る こ と に な る .そ こ で 視 線 検 出 に 必 要 な 瞳孔とプルキニエ像を検出するために図 4 のような回 路 に よ っ て 3 値 で 表 す 事 を 考 え る .こ の 回 路 で は プ ル キニエ像と瞳孔を検出できるよう閾値を設定しておき, その閾値と実際の明るさをコンパレータで比較するこ 図 1. 赤外線眼球画像. と に よ り ,プ ル キ ニ エ 像 と 瞳 孔 が そ れ ぞ れ 検 出 さ れ る . な お 瞳 孔 を 示 す フ ラ グ は ,プ ル キ ニ エ 像 と 瞳 孔 ’の 論 理 和 に よ っ て 求 め ら れ る が ,こ れ は 以 下 の 理 由 に よ る .. 瞳孔輪郭. 実際の明るさ. 視線ベクトル. プルキニエ像 プルキニエ 像閾値 角膜曲率中心. + －. 瞳 孔. － +. 閾値 カメラ. プルキニエ像 図 2. 図 4. 視線検出の原理. 瞳孔 瞳孔’. 判定回路. 瞳孔とプルキニエ像の位置関係として図 5 の 2 つの場. 3. Vision Chip ア ー キ テ ク チ ャ. 合 が あ る .(a)の よ う に 瞳 孔 の 中 に プ ル キ ニ エ 像 が あ る. 本 稿 で 提 案 す る Vision Chip の 本 質 的 な 機 能 は ,急 速. 場 合 ,瞳 孔 ’だ け で 瞳 孔 の 中 心 を 求 め よ う と す る と ,プ ル. 眼 球 運 動 を 含 む 視 線 を 求 め て 追 跡 す る た め に ,瞳 孔 お. キニエ像の領域のところだけ瞳孔が欠けているように. よびプルキニエ像の両方の位置を求めることである.. 見 え る た め ,瞳 孔 'の 領 域 の 中 心 が ,本 来 の 瞳 孔 の 中 心 か. こ の Vision Chip は 図 ３ の よ う に 画 素 ご と に 配 置 さ れ. ら ず れ て し ま う こ と に な る .そ こ で 瞳 孔 ’と プ ル キ ニ エ. る 処 理 要 素 PE(Processing Element)か ら 構 成 さ れ る .こ. 像 の 論 理 和 を ,瞳 孔 を 示 す フ ラ グ と す る こ と に よ り ,プ. の PE は 受 光 部 と 処 理 部 か ら な り ,上 下 左 右 の PE と 連. ル キ ニ エ 像 の 部 分 を 補 い ,本 来 の 瞳 孔 の 中 心 を 求 め る. 結 し て い る .受 光 部 は フ ォ ト ダ イ オ ー ド と 増 幅 回 路 か. こ と が で き る .ま た (b)の よ う に 瞳 孔 の 外 に プ ル キ ニ エ. ら な り ,処 理 部 は 輝 度 値 の 判 定 回 路 ,拡 大 収 縮 回 路 か ら. 像 が あ る 場 合 ,瞳 孔 ’と プ ル キ ニ エ 像 の 論 理 和 を と る と. 構 成 さ れ る .ま た PE か ら 出 力 さ れ た プ ル キ ニ エ 像 お よ. 本 来 の 瞳 孔 の 外 部 に も ,「 瞳 孔 を 示 す フ ラ グ 」の 小 領 域. び瞳孔を示すフラグはｘ・ｙ軸上に配置されたエンコ. が で き て し ま う が ,図 5 か ら も わ か る よ う に 実 際 の 瞳. ー ダ に 射 影 さ れ ,座 標 を 生 成 す る .以 下 で は 判 定 回 路 ,拡. 孔 は プ ル キ ニ エ 像 よ り 大 き い た め ,以 下 で 述 べ る 収 縮. 大 収 縮 ア ル ゴ リ ズ ム ,収 縮 終 了 判 定 ア ル ゴ リ ズ ム ,座 標. 処理の過程でこのプルキニエ像に由来する小領域は消. 生成の詳細について述べる.. 滅 し ,本 来 の 瞳 孔 で あ る 部 分 の み が 残 る .. エンコーダ. PE. 座標 エンコーダ 図 3. Vision Chip ア ー キ テ ク チ ャ. 生成. (a) 図 5. (b). 瞳孔とプルキニエ像の位置関係. (a) プ ル キ ニ エ 像 が 瞳 孔 の 中 に あ る 場 合 (b) プ ル キ ニ エ 像 が 瞳 孔 の 外 に あ る 場 合.
(4) 以 上 の こ と か ら ,瞳 孔 を 瞳 孔 ’と プ ル キ ニ エ 像 の 論 理 和. に 数 段 階 の 拡 大 処 理 が 必 要 で あ る が ,こ れ は ,中 心 と 上. と し て 求 め る こ と で ,正 し く 瞳 孔 の 中 心 を 求 め る こ と. 下 左 右 の 隣 接 し た 4 近 傍 の PE か ら 受 け 取 っ た 値 ど れ. ができると考えられる.. かひとつでも 1 があるときその中心を 1 とするという. 図 1 の画像を判定回路に通した後の瞳孔を示すフラ. ア ル ゴ リ ズ ム と し ,こ れ を あ ら か じ め 設 定 し て お い た. グの画像を数値シミュレーションによって求めた結果. 回数分繰り返す.. を 図 6 に 示 す .こ れ を 見 る と , ま つ 毛 等 の 「 ノ イ ズ 」 が. 3.3. 収縮終了判定アルゴリズム. 左 や や 上 の 長 細 い 部 分 と し て 現 れ て い る .な お 右 側 の. 瞳 孔 ,プ ル キ ニ エ 像 と そ れ 以 外 の 領 域 か ら な る 3 値. 丸 い 部 分 が 瞳 孔 で あ る .こ の 結 果 か ら ,実 際 に は 瞳 孔 ’と. 画 像 に 対 し て 収 縮 を 繰 り 返 す と ,対 象 と な る 瞳 孔・プ ル. プルキニエ像の論理和をとったものを瞳孔としても瞳. キ ニ エ 像 以 外 の ノ イ ズ は 先 に 消 え ,瞳 孔・プ ル キ ニ エ 像. 孔 を 示 す 領 域 の す べ て が 埋 ま る の で は な く ,輝 度 が 瞳. の み が 残 る .こ れ ら の 各 領 域 の 中 心 を 求 め る た め に は. 孔とプルキニエ像の中間となる領域がプルキニエ像の. さ ら に 収 縮 を 繰 り 返 す こ と に な る が PE 自 身 は 収 縮 処. 周 囲 に 存 在 し ,そ こ が 抜 け て し ま う こ と に な る .そ こ で. 理 を 終 了 す る べ き タ イ ミ ン グ を 知 る 必 要 が あ る .こ れ. 以 下 で 述 べ る 拡 大 処 理 を あ ら か じ め 施 す こ と で ,こ の. は ,PE か ら の 瞳 孔 ・ プ ル キ ニ エ 像 そ れ ぞ れ の フ ラ グ 出. 抜けた領域を補うことにする.. 力 を x, y 軸 上 に 射 影 し ,そ の 射 影 し た 像 を も と に 収 縮 終 了 判 定 部 で 制 御 す る と す る .こ の 収 縮 終 了 判 定 部 の 機 能 は ,軸 上 に 射 影 さ れ た 全 PE か ら の 瞳 孔 ・ プ ル キ ニ エ像それぞれの 1 の値の数を数えるものである.. 信号. 図6. 3.2. 収縮終了判定部. ノイズ. 図 1 の画像を判定回路に通した結果. 拡大収縮アルゴリズム. 収縮終了判定部. 拡大収縮回路では瞳孔とプルキニエ像を検出した フ ラ グ の 領 域 に 対 し て ,そ れ ぞ れ の 中 心 を 求 め る .瞳 孔 の 拡 大 ,収 縮 の ア ル ゴ リ ズ ム を 図 7 に 示 す .. 図 8. 収縮時の全体回路. こ の 判 定 の た め に ,二 つ の 収 縮 終 了 判 定 ア ル ゴ リ ズ ム を 検 討 し た .一 つ 目 は ,遷 移 の 過 程 の 射 影 の 像 を D フ リ ッ プ フ ロ ッ プ で 保 持 し て お き ,軸 上 に 存 在 す る ,値 が 1 で あ る 射 影 線 の 数 が 0 に な っ た と き ,一 つ 前 の 過 程 の. (a) 図 7. (b). 収 縮 結 果 を 読 み 出 す と い う 方 法 で あ る .二 つ 目 は 軸 上. 瞳孔の拡大と収縮アルゴリズム. に存在する値が 1 である射影線の数が 1 または 2 本の. (a) 瞳 孔 の 収 縮 ア ル ゴ リ ズ ム. 時 は 収 縮 処 理 を 終 了 さ せ ,ま た x, y 軸 と も に 3 本 以 上 の. (b) 瞳 孔 の 拡 大 ア ル ゴ リ ズ ム. 場 合 は 収 縮 を 継 続 す る と い う 方 法 で あ る .こ れ は 軸 上. 各 PE は 瞳 孔 ・ プ ル キ ニ エ 像 そ れ ぞ れ の フ ラ グ を 上. に存在する値が 1 である射影線の数が 0 になる直前の. 下 左 右 方 向 に 接 続 さ れ た 隣 接 4 近 傍 の PE へ 渡 す と 同. 収 縮 過 程 で は ,必 ず x, y 軸 上 に 存 在 す る 値 が 1 で あ る 射. 時 に ,そ の PE 自 身 も 隣 接 4 近 傍 の PE か ら フ ラ グ 値 を. 影 線 が ,少 な く と も 一 方 で 1,2 本 に な る こ と を 利 用 し て. 受 け 取 る . こ こ で PE の 値 で 0(白 )は 瞳 孔 や プ ル キ ニ エ. い る .具 体 的 な 例 と し て 図 9 で 示 す と ,図 9(a)は 3×3 の. 像 に 該 当 し な い こ と を 示 し 1(黒 )は 該 当 す る こ と を 示. PE が 黒 (値 が 1)の 状 態 で あ り ,こ こ か ら 1 段 階 収 縮 過 程. す と す る .瞳 孔 を 収 縮 す る 場 合 に は ,中 心 の PE と 上 下. が 進 む と 真 ん 中 の PE の み が 黒 (値 が 1)の 状 態 で 残 る こ. 左 右 の 隣 接 し た 4 近 傍 の PE か ら 受 け 取 っ た 値 が す べ. と に な る .す な わ ち こ の 図 9 (a)は ,収 縮 過 程 を 継 続 す る. て 1 のときその中心を 1 にするというアルゴリズムと. べ き 状 態 で あ る と い え る .逆 に 図 9(b)は 2×2 の PE が 黒. し ,こ れ を 以 下 に 述 べ る 収 縮 の 終 了 条 件 が 成 立 す る ま. (値 が 1)の 状 態 で あ り ,こ の 状 態 か ら 1 段 階 収 縮 過 程 が. で 繰 り 返 す .な お 瞳 孔 領 域 の 収 縮 の 前 に は ,前 述 の よ う. 進 む と ,全 て の PE が 値 が 0 に な っ て し ま う こ と に な る ..
(5) す な わ ち こ の 図 9(b)は ,は 収 縮 過 程 を 終 了 す る べ き 状 態といえる. こ の 両 者 を 比 較 し た 場 合 ,前 者 の 方 法 で は ,全 て の PE に D フリップフロップを配置する必要があるために, 一 つ の PE 当 り の 回 路 規 模 が 増 大 し て し ま う こ と に な る た め ,本 研 究 で は 後 者 の 方 法 を 用 い る こ と に し た .. め ,PE 数 が n×n の 場 合 の 最 大 遅 延 Td (n) は 式 (1)の よ う に見積もられる.. Td (n) ＝ 24.6+0.44×(n-1) [ns]. (1). こ こ で 定 数 項 で あ る 24.6[ns]は ORゲ ー ト 以 外 の 部 分 で の 遅 延 で あ り ,ま た 0.44[ns]が ORゲ ー ト 1段 あ た り の 遅 延 で あ る と 考 え ら れ る .こ の 結 果 か ら ,実 用 上 十 分 な 解 像 度 と 考 え ら れ る PE数 が 100×100の 場 合 の ,ク リ テ ィ カ ル パ ス に お け る 最 大 遅 延 は 68.2[ns]と な る .こ の 場. (a) 図９. 3.4. (b). 2 つ目の方法の収縮終了条件. 合 ,収 縮 処 理 に は 最 大 で 100ス テ ッ プ 必 要 と な る た め , ワ ー ス ト ケ ー ス で の フ レ ー ム レ ー ト は ,1/68.2[ns] ÷. (a) 収 縮 を 繰 り 返 さ な け れ ば な ら な い 場 合. 100 = 146[kfps] と な る .こ れ は 急 速 眼 球 運 動 を 検. (b) 収 縮 を 終 了 し な け れ ば な ら な い 場 合. 出・追 尾 す る の に 十 分 な 速 度 で あ る と 考 え ら れ る .. 座標生成. 前述の収縮終了判定回路によって収縮過程の終了が. 射影線. 検 出 さ れ る と ,瞳 孔 と プ ル キ ニ エ 像 の そ れ ぞ れ の 中 心 の 座 標 を 生 成 す る 必 要 が あ る .こ の 収 縮 終 了 時 点 で は ,x, y 軸 上 に 存 在 す る 値 が 1 で あ る 射 影 線 は 1 本 ま た は 2 本 で あ る た め ,各 軸 上 に 2 つ の プ ラ イ オ リ テ ィ エ ン コ ー ダ を 配 置 す る こ と で ,各 軸 上 の 値 が 1 で あ る 射 影. ＰＥ. ＰＥ. 線の位置の座標の最大値と最小値を出力することがで きる.. 4. FPGA へ の 実 装 と 実 測 今 回 提 案 さ れ た Vision Chip ア ー キ テ ク チ ャ の 処 理. 図 10. PE と 射 影 線 を 繋 ぐ OR ゲ ー ト. 5. ま と め. 速 度 を 評 価 す る た め に ,瞳 孔・プ ル キ ニ エ 像 を 示 す フ ラ. 本研究では急速眼球運動に対応する視線検出機能. グ が 生 成 さ れ た 後 の 処 理 回 路 を FPGA 上 に 実 装 し ,そ. を も つ Vision Chip ア ー キ テ ク チ ャ を 考 案 し ,要 素 回 路. の 評 価 を 行 っ た . 対 象 の FPGA と し て は Altera の. の 検 討 を 行 っ た .そ し て そ れ ら の 回 路 構 成 お よ び ア ル. EP1C20F324 を 使 い ,PE 数 が 8×8 の 場 合 と 16×16 の 場. ゴ リ ズ ム の 検 証 の た め に FPGA を 用 い た 実 装 と 測 定 を. 合 の そ れ ぞ れ で 処 理 回 路 の 実 装 を 行 い ,遅 延 時 間 な ど. 行 い ,正 し い 座 標 の 生 成 を 行 う こ と と が で き る こ と を. の 測 定 を 行 っ た .な お 瞳 孔 お よ び プ ル キ ニ エ 像 に 対 す. 確 認 し た .ま た PE 数 が 増 加 し た 場 合 の 動 作 速 度 の 見 積. る 2 値 化 さ れ た フ ラ グ の 値 は ,シ フ ト レ ジ ス タ を 用 い. を 行 い ,PE 数 が 100×100 で 146[kfps]程 度 の 処 理 が 可. て 値 を 外 部 か ら 与 え た .こ の 結 果 ,す べ て の 入 力 パ タ ー. 能 で あ る こ と を 示 し た .受 光 回 路 を 含 む 全 体 の 回 路設計およびその評価は今後の課題である.. ンに対して正しく中心の座標を求められることを確認 した. PE 数 が 増 え た 場 合 の 動 作 速 度 を 見 積 も る た め に ,PE. 文. 献. [1] J.Triesch, D.H.Ballard, M.M.Hayhoe,. 数 が 8×8 の 場 合 と 16×16 の 場 合 の そ れ ぞ れ で ク リ テ. B.T.Sullivan, ： “What you see is what you need,”. ィカルパスの最大遅延を求めたところ,それぞれ. Journal of Vision, No.3, pp.86–94, 2003.. 27.7[ns]と 30.8[ns]と な り ,こ の 両 者 の 差 は 3.1[ns]と な. [2] S.S.Intille, ： “Change Blind Information Display. る .本 研 究 で 考 案 し た ア ー キ テ ク チ ャ で は ,PE か ら の. for Ubiquitous Computing Environments,” Ubi-. 射 影 線 の 出 力 部 分 の 論 理 回 路 の 段 数 が ,一 辺 の PE 数 に. Comp2002, LNCS 2498, pp.91–106, 2002.. 比 例 す る た め ,PE 数 が 増 え た 場 合 に は こ こ が ク リ テ ィ. [3] T.Komuro, S.Kagami, M.Ishikawa, ： “A Dynamically. カ ル パ ス と な る と 考 え ら れ る . こ れ は 図 10 の よ う に. Reconfigurable SIMD Processor for a Vision. PE か ら の フ ラ グ 出 力 と 射 影 線 を 繋 ぐ OR ゲ ー ト が 原 因. Chip”, IEEE Journal of Solid-State Circuits,. と な る が ,こ の 場 合 は ,両 者 の OR ゲ ー ト の 段 数 の 差 は. Vol.39, No.1, pp.265–268, 2004.1.. 15-8=7 段 で あ る た め ,こ れ を 一 般 化 す る と PE の 数 が n ×n の 場 合 に は n-1 個 の OR ゲ ー ト を 通 る こ と に な る た.
(6)
関連したドキュメント
, Graduate School of Medicine, Kanazawa University of Pathology , Graduate School of Medicine, Kanazawa University Ishikawa Department of Radiology, Graduate School of
and Safety Affairs Department : Excavation of the Morimoto Active Fault in Kanazawa City, central Japan .
Department of Cardiovascular and Internal Medicine, Kanazawa University Graduate School of Medicine, Kanazawa (N.F., T.Y., M. Kawashiri, K.H., M.Y.); Department of Pediatrics,
Department of Chemistry and Chemical Engineering , Faculty of Engineering, Kanazawa University; Kanazawa-shi 920 Japan The SN reactions of t-alkyl alcohols with
Department of Chemistry and Chemical Engineering, Faculty of Engineering, Kanazawa University; Kanazawa-shi 920 Japan Calcium, strontium, and barium alkoxides reacted with primary
3 Department of Respiratory Medicine, Cellular Transplantation Biology, Graduate School of Medicine, Kanazawa University, Japan. Reprints : Asao Sakai, Respiratory Medicine,
[r]
＊2 Kanazawa University, Institute of Science and Engineering, Faculty of Geosciences and civil Engineering, Associate Professor. ＊3 Kanazawa University, Graduate School of
