Slant Correction for Bookshelf Image UsingDynamic Programming
5
0
0
全文
(2) 動 的 計 画 法 を 用 い た 書 棚 画 像 中 の 書 籍 の 傾 き補 正 法 高 山 誠悟*・ Slant. Correction. 平 英 二*・. for Bookshelf. 内 田 誠 一**・ 迫 江 博 昭**. Image. Using. Dynamic. Programming. Seigo TAKAYAMA , Eiji TAIRA, Seiichi UCHIDA and Hiroaki SAKOE (Received December 14, 2001) Abstract:. For building. book. book. information,. such. book. in bookshelf. images. for bookshelf. images. tion. of local. problem. database. as title,. from. may degrade. is proposed slant. dynamic. programming-based. the. slant. estimation. Keywords:. Slant. accuracy. correction,. or managing bookshelf. the extraction. where. angles. at all. algorithm. The. the. arrangement. have. been. slant. accuracy. correction. horizontal. of the. programming,. automatically,. studied.. In such. In this paper, problem. positions.. In the present. effectiveness. Dynamic. book. images. The. technique, present. color technique. Bookshelf. a slant. is formulated optimal. systems systems, correction. was. of each. technique. as an optimal. estimation. features. to extract. slant. are utilized shown. estima-. is provided. by a. for improving. by experiments.. image. の 推 移 が 実 際 の書 籍 列 の 傾 き現 象 と整 合 す る よ うに制 約. 1.は. じ. め. に. 図書 館 な ど大 量 の 書籍 を扱 う場 所 で は,書 架 中の 書 籍 の 管 理 に多 大 の労 力 を必 要 とす る.配 架 情 報 を 電子 化 し 省 力 化 を はか る検 討 もな され て い るが,計 算 機 内の 情 報. を 設 け た 動 的 計 画 法 を 用 い,目. 的 関 数 を最 小 化 す る傾 き. 系 列 を 得 る. 以 下 で は 本 論 文 の 基 本 原 理 を 述 べ,実 棚 画 像 を 用 い て 実 験 を行 い,本. 際 に撮 影 した書. 手 法 の 有 効 性 を 確 認 す る.. と実 際 の 配 架状 況 の整 合 性 を保 つ た め に は 定期 的 に書 棚 を検 査 す る必 要 が あ る.こ う した現 状 に対 して管 理 の 自. 2.書. 動 化 を図 る手法 と して書 棚 に配 架 され た 各書 籍 名 の 自動. 2.1概. 認識 技 術 が検 討 され て い る1). 本 研 究 で は,書 棚 書 籍 名 認 識 の 第1段 階 と して,書 棚. 籍 傾 き補 正 法 要. 書 棚 画 像 中 の 書 籍 の 非 一 様 な 傾 き を 補 正 す る た め に, 本 手 法 で は 局 所 傾 き 角 の 最 適 推 定 を 行 う(Fig.2).書. を撮 影 して 得 られ た画 像 中の 各 書籍 の傾 き補 正 を行 う手. 像A={α(i,の}を. 法 を検 討 す る.こ れ は書 籍 の 出 し入 れ が繰 り返 され る こ. る.α(i,の は 位 置(i,の の 画 素 値 のR成 分,G成. サ イ ズ.M×NのRGBカ. 棚画. ラ ー 画像 とす 分,B成. 分. とに よ り生 じ る非 一 様 な傾 きを補 正 して,認 識 を容 易 に. よ りな る3次 元 ベ ク トル と す る.局. す る とい う前 処 理技 術 で あ る.従 来 の 研 究 で は,エ ッジ. 行 の列 座標 値に. 抽 出 に よ り書 籍境 界 を検 出 し,そ の 結果 か ら傾 きを推 定 ・. 角 は 画 像 の 第1行 の 列 座 標 値iに 対 応 す る 第N行. 補 正 す る とい う方法 が試 み られ て い る2)‑4).し か し,照. 値Piで 表 す.以. 明 条 件 や 書籍 の デ ザ イ ン,タ イ トル 文 字 フ ォン トの 影 響. 辺 の 点(Pi,ノV)と 下 辺 の 点(i,1)と を 結 ぶ 線 分 を補 正 線 分 と. を考 え る と,エ ッ ジの よ うな 局所 情 報 のみ に依 存 す る よ. 呼 ぶ.. りは,全 体 的 な整 合 性 も考 慮 して傾 き補 正 お よび 境 界検 出 を行 った方 が安 定 した結果 が 得 られ る と考 え られ る. 本 論 文 で は,手 書 き文 字列 の傾 き補 正 法5)の 考 え方 を 書棚 画像 に応 用 した書 籍 の 傾 き補 正法 を提 案 す る.本 手 法 で は,局 所 傾 き角 の 系 列 と して 全体 の傾 き変 化 を と ら. 所 傾 き 角 を画 像 の 第1. と に 推 定 す る も の と し,第 例 の 局 所 傾 き. 下,第N行. を上 辺,第1行. 局 所 傾 き角 の 系 列PlPiPMの. の 列 座標. を 下 辺 と し,上. 最 適 推 定 問題 を. 次 の 評 価 関 数 の 最 小 化 問題 と して 定 式 化 す る.. レ. Σ{fz(PiIPi̲1)+ρ(P・IPi‑・)}(・) t=1. え,そ の最 適 推 定 問 題 を解 くこ とで 局所 的 お よび 全体 的 に妥 当 な傾 き系列 を求 め る.具 体 的 には エ ッジ に加 えて. こ こ で 関 数fi(p,lp,̲1)は 第(i‑1)列. 背 表紙 部 分 で の色 彩 の 一 様 性 等 を局所 的 に評 価 し,こ れ. して の 第i列 の 局 所 傾 き角p,の 妥 当 性 を 評 価 す る 関 数 で あ. を書棚 全体 で統 合 した量 を 目的 関 数 とす る.さ ら に傾 き. り,妥 当性 が 高 い ほ ど小 さ い 値 を 与 え る.関 数fi(PilPi̲1) の 詳 細 は2.2で 述 べ る.一. 平 成13年12月14日 *知 **知. 受付. 能 シス テ ム学 専攻 修 士課 程 能 シ ステ ム学 部 門. の 局 所 傾 き 角pz̲1に 対. 角PiとPi̲1の. 方,関. 数 ρ(PiIPi̲,)は 局 所 傾 き. 変 化 量 を表 す 関 数 で,次. 式 で 与 え る..
(3) Fig.1. Matching. between. top. and. bottom. lines.. Pl=1,PM=ハ4(4) と す る.こ. れ は書 棚 画 像 の左 右 の端 部 に存 在 す る一 部 し. か 見 え て い な い 書 籍 の 影 響 を 抑 制 す る た め の 条 件 で あ る. 傾 き補 正 は,推. 定 し た 局 所 傾 き 角Piが 示 す 補 正 線 分 上. の 画 素 を垂 直 にマ ッ ピ ン グ す る こ と に よ り行 う.. 2.2傾. き角の 妥 当性評 価関 数. 評 価 関 数(1)の 第1項 は 次 式 で 与 え る.. f,(PilP,̲1) 一. ゆ. Σ{w・Si(q)+Wc・1(q)+w・1・(q)}(5). qニmin{Pi̲1+1,Pi} こ こ で ω。,ω。,ω1は重 み 係 数 で あ る.式(5)中 (i,1),(Pi̲1,!>),(Pi,N)を. の 総 和 は,. 頂 点 と す る3角 形 の 全 領 域 に つ. い て 評 価 す る た め の もの で あ る. 関 数S、(Pi)は 補 正 線 分 の 上 下 両 端 の 色 の 相 違 度 を 表 し, Fig.2. Nonuniform. slant.. そ の 値 は 次 式 で 与 え る.. ・i(Pの=目 α(Pi,N)一. α(i,1)112(6). 関 数Si(p、)の み に つ い て の 最 小 化 問 題 を 考 え れ ば,上. ρ(PilP、 一・)=ω ρIPz‑Pz̲1‑11(2). 下 辺 の 色 変 化 パ タ ー ン 間 の1次 こ こ で ωρは 重 み 係 数 で あ る.こ. れ に よ り局 所 傾 き角 の 系. 列 は 滑 らか に 変 化 す る.. (Fig.1).書. 辺 と. 元 マ ッチ ン グ に な る. 籍 の 表 紙 色 は タ イ トル 文 字 が 目 立 つ よ う に 単. 色 で 塗 ら れ て い る こ と が 多 い.そ. の た め,マ. ッチ ン グ に. た だ し,最 小 化 は 次 の2つ の 制 約 条 件 の 下 で 行 う.. よ り得 ら れ る下 辺 を 基 準 と した 上 辺 の 列 座 標 値 の 系 列 は. 第1の 条 件 は 単 調 性 条 件. 理 想 的 な 局 所 傾 き角 の 系 列 を近 似 し て い る と考 え られ る. 関 数Ci(Pi)は 補 正 線 分 に 含 まれ る 画 素 の 色 の 一 様 性 を 示. Pi≧Pi̲1(3). す 関 数 で あ る.具 1.RGB各. で あ る.こ. れ は 傾 き補 正 で 画 素 位 置 が 反 転 し な い た め の. 条 件 で あ る. 第2の 条 件 は境 界 条 件 で あ り,書 棚 画 像 の 左 右 の 端 部 で の 傾 き角 を. 体 的 に は 次 の 手 順 で 関 数 の 値 を 与 え る.. 成 分 を そ れ ぞ れ5bitに. 32×32×32=32768色 る.こ 2,出. 量 子 化 し て. の そ れ ぞれ の出現 頻 度 を求 め. こ で 出 現 頻 度 は 同 じ色 を 持 つ 画 素 の 数 とす る.. 現 頻 度 の 高 い5色 に つ い て,量. 子化 した色 空 間 で. の ユ ー ク リ ッ ド距 離 が2以 下 の 色 が あ れ ば 上 位 の もの.
(4) 傾 き角 の 系 列 が 求 め られ る.. に 統 合 して 一 色 とみ な す. 3,上. 位5位 ま で の 色 が 全 て1位 の 色 に 統 合 さ れ た と き,. 統 合 さ れ た 色 の 出 現 頻 度 をCi(Pi)と す る.上. 位5位 ま. で の 色 の 中 に 他 の 色 が 混 ざ っ て る と き,1位. の色 の 出. 現 頻 度 か ら次 に 多 い 色 の 出現 頻 度 を引 い た もの を. き補 正 実 験. 3.1実. 験試 料. 本 実 験 で 用 い る書 棚 画 像 と して,書. 棚 を デ ジ タル カ メ. ラ で 撮 影 して5種 類 の 画 像 を作 成 した.た. Ci(Pi)と す る. 手 順1,2で. 3.傾. 表 紙 色 の 候 補 を絞 り,3で. 一 様 性 を 評 価 す る.結. 表 紙色 の特 定 とその. 果 的 に補 正線 分 に含 まれ る画 素 の. だ し,書 籍 の 間. 以 外 に は 背 景 部 は 含 ま な い もの と し,背 景 の 色 は ほ ぼ 一 定 と仮 定 す る.こ. の よ う な 画 像 を 対 象 と す る 理 由 は,妥. 色 が ほ と ん ど 同 じ場 合 にCi(Pi)は 大 き くな り,表 紙 色 が 一. 当性 評 価 関 数 と して 用 い るSi(Pi)が 補 正 線 分 の 上 下 両 端 の. 様 な 書 籍 を 通 る補 正 線 分 の 傾 き角 を 強 調 す る.評. 色 を 評 価 す る の で,同. を 最 小 化 す る た め,重. 価関数. み 係 数 ω。は 負 値 とす る.. 関 数li(Pi)は 補 正 線 分 に 含 ま れ る エ ッ ジ の 長 さ(エ ッ ジ 点 の 個 数)を 与 え る 関 数 で あ る.書 書 籍 間 の 境 界 や,書. 棚 画 像 で は,隣. 籍 間 の 影 と書 籍 の 境 界,背. の 境 界 で エ ッ ジ が 現 れ る た め,エ. 接 する. 景 と書 籍. ッ ジ を 多 く含 む 補 正 線. 分 は 書 籍 の 境 界 を 表 し て い る と 考 え ら れ る.エ に は 広 井 ら3)と 同 様 にRGBカ. 換 し,. 各 要 素 の エ ッ ジ 画 像 の 中 で 強 度 が 最 大 と な る もの を集 め. 画 像 をBと す る.関 こ と で 画 像Bに. 力 画 像Aの2値. エ ッジ. 数li(Pi)は 非 エ ッ ジ 画 素 の 数 を 与 え る. お け るPiが 示 す 補 正 線 分 上 に エ ッ ジ部 分 を. 多 く含 む ほ ど小 さ な値 を 与 え る よ う に す る.ま ジ 画 素 の 数 が1V/2以. た,非. エ ッ. 上 の もの は 書 籍 境 界 の エ ッ ジ と して. 不 適 切 と考 え,li(Pi)=Nと. 色 が 一 様 で な い 場 合 も,作. 成 した エ ッ ジ画像 に ノ イ ズ が. 混 ざ る な ど評 価 関 数 に 悪 影 響 を 及 ぼ す.な. す る.. よ う な 仮 定 を 満 た す 画 像 を 自動 的 に 作 成 す る の は 容 易 と. 3.2結. 果 と考 察. 3.1で 作 成 し た 画 像 に 対 して 傾 き補 正 実 験 を 行 っ た.本 実 験 で は 評 価 関 数fi(PilPi̲1)を. li(p、)のバ ラ ン ス を次 の よ う に 変 え る. (a):補. 正 線 分 の 両 端 の 色 差8、(p,)の み. (ωs=1/128,ωc=0,ωz=0) (b):Si(Pi)に. エ ッ ジ の 長 さli(Pi)を 追 加. 計 画 法(DynamicProgramming:DP)に. 的. 基 づ く以 下 の ア. 手 法 で 用 い るDPア. ル ゴ リズ ム を. 以 下 に 示 す.. ま た,全. て の 場 合 でωρ=64と. 実 験 結 果 をFig.3に. 示 す.図. した. の 各行 が一 つ の 画像 の処 理. 結 果 を表 し,図 中 の(a),(b),(c)は Fig.3(c)よ. 期化. 上 記 と呼 応 す る.. り,本 手 法 で は 非 一 様 に 傾 い た 書 籍 を 含 む. 書 棚 画 像 に 対 して も適 切 な 傾 き補 正 を 行 え る こ と が わ か. g1(1)=ノ1(111) 2.DP漸. べ て使 用. (ω、=1/128,ωc=‑64,ω1=256). 評 価 関 数(1)の 最 小 化 問 題 を 効 率 的 に 解 くた め に,動. 1.初. 構 成 す るSi(Pi),C,(Pi),. (ωs=1/128,ωc=0,ωt=256). ル ゴ リズ ム. ル ゴ リズ ム を 用 い る.本. お現 実 に こ の. 思 わ れ る.. (c):Si(p、),Ci(p、),li(Pi)す 2.3DPア. た 背景 の. ッ ジ抽 出. ラ ー 画 像 か らHSY変. て エ ッ ジ 画 像 とす る 手 法 を 用 い,入. 一 書 籍 に 対 応 す る場 所 が 補 正 線 分. の 上 下 両 端 に 無 け れ ば な ら な い た め で あ る.ま. る.ま. 化式. 以 下 の 計 算 をi=2,...,Mの. た,際. だ った エ ッジが 検 出 され な い部 分 につ い て. も 問 題 な く傾 き補 正 が 行 え る こ と が わ か る.こ 順 に 全 て のPiに つ い て 行. う.. れ は傾 き. 角 を推 定 す る と き に 用 い る評 価 関 数 に お い て 画 像 の 横 方 向 の 色 変 化 パ タ ー ン の 関 数8i(Pi)を 中 心 に 評 価 して い る た. 9i(Pi)=min{9i̲1(q)十fi(Pilq)十 q∈[1,Pi] 了. ρ(Pilq)}. め で あ る.十. 3.終. 分 な 書 籍境 界 の エ ッジが 得 られ る と ころ で. は エ ッ ジ情 報 の 関 魏 、(Pi)が有 効 に働 い て い る こ とが(a)と. 評価 関 数 の最 小値 は. (b)の 比 較 か ら わ か る.ま. た,エ. ッ ジの長 さ を与 え る関 数. 9M(M). 奴pの は 書 籍 境 界 以 外 の 領 域 で 大 き な 値 を 持 つ た め. で 与 え ら れ る.. ρ(p、lpi̲,)と同 様 に 傾 き 変 化 を 抑 制 す る 働 きが あ る.こ. 本 ア ル ゴ リ ズ ム の 計 算 量 は0(M3N)で 局 所 傾 き角 を あ る 範 囲W(0<W<<M)に. あ る.た. だ し,. 抑 え る整 合 窓. 条件. 効 果 は(5)の(a)の. 中 央 部 に あ る タ イ トル 文 字 が 歪 ん だ 書 籍. で 確 認 で き る.(a)で が,(b)で. は 書 籍 の タ イ トル 文 字 が 歪 ん で い る. は 書 籍 自体 の 傾 き の 補 正 量 を 同 じ に した ま ま タ. イ トル 文 字 の 歪 み だ け 取 る こ とが で き た.反. 面副作用 と. し て 書 籍 境 界 以 外 の 全 て に 対 して 傾 き 変 化 を 抑 制 し て し. 1Pi‑il≦"/(7). ま う の で,(4),(5)の を 加 え る こ とで 計 算 量 を0(M!>W2)に 終 了 後,バ. の. 削 減 で き る.. ッ ク ト ラ ッ ク 処 理 を 行 う こ とで 最 適 な 局 所. よ う に(a)で 補 正 で き て い た 左 側 の. 書 籍 が(b)で は ま た 傾 い て し ま う こ とが あ る.表 様 性 を 示 す 関 数Ci(p,)は,li(Pi)の. 紙 色の 一. この よ うな働 き に対 し.
(5) Fig.3. Examples of slant correction. (a)Slant correction result with function si(pi). (b)Slant correction result with function si(pi) and li(pi). (c)Slant correction result with function si(pi), ci(pi) and li(pi)•. て 色 が 一 様 な 背 表 紙 の 背 景 部 と し て 適 切 な領 域 と色 変 化. の で エ ッ ジ が 検 出 し に く い 書 籍 に つ い て も補 正 が 可 能 で. が あ る 文 字 等 を 含 む 部 分 で 差 を つ け る 働 きが あ る.こ. あ る.実. 働 き に よ り(4),(5)の(b)で. の. 傾 い て い た 左 側 の 書 籍 を(c)で. は 傾 き が 補 正 で き て い る の が わ か る.以. 上 よ り,関. 数. 験 に よ り本 手 法 の 有 効 性 を 確 認 し た.. 今 後 は 評 価 関 数 を 改 善 し,高 ま た,書. 速 化 と 高 機 能 化 を は か る.. 籍 境 界 を 探 索 す る 手 法 に つ い て も 検 討 す る.. Si(Pi),Ci(Pi),li(Pi)を 組 み 合 わ せ て 用 い る こ と の 有 用 性 が わ か る.. 参. Fig.3(4),(5)を. 見 る と,ど. の 場 合 で も左 端 の 書 籍 に つ. い て 傾 き 補 正 が で き て い な い.ま の 書 籍 が 補 正 で き て い な い.こ. た,Fig.3(3)で. は 右側. 文. 献. D‑343,September1996. 2)長. 尾 智 晴,安. 居 院 猛,中. 嶋 正 之=書 棚 画 像 か ら の 書 籍 の 背 文. 字 領 域 抽 出 に 関 す る 研 究,テ. たが っ て実 用 的 に は書 籍 とオ ーバ ー ラ ッ. プ し て 撮 像 し,各 画 像 の 補 正 結 果 に つ い て 中 心 部 分 の み. 考. 元 隆 二,伊 藤 稔:書 棚 画 像 か ら の 書 籍 タ イ トル 文 字 領 域 の 抽 出,電 子 情 報 通 信 学 会 情 報 ・シ ス テ ム ソサ イ エ テ ィ大 会,. の根 本 的 な原 因 は書棚 画. 像 の左 右 の 端 部 に一 部 しか見 えて い な い書 籍 が 存 在 す る こ と に あ る.し. 1)岩. レ ビ ジ ョ ン 学 会 技 術 報 告,. Vol.15,No.42,pp.27‑32,July1991. 3)広. 井 敬 輔,藤. 山 雅 晶,三 浦 竜 哉,伊. 藤 稔:書. 棚 画 像 か らの 書. 籍 境 界 の 抽 出,画 像 の 認 識 ・理 解 シ ン ポ ジ ウ ム 講 演 論 文 集1,. を 採 用 す れ ば よい.. MIRUI‑271,July2000.. 4.お. わ. り. 4)澤. に. 木 美 奈 子,村. 瀬 洋,萩. 田 紀 博:劣. 化推 定 に基づ い た辞 書 の. 自 動 選 択 に よ る 本 棚 画 像 中 の 文 字 認 識,映. 本 論 文 で は 書 棚 画 像 中 の 書 籍 の タ イ トル 文 字 認 識 で 問 題 と な る 書 籍 の 傾 き を補 正 す る手 法 と して 動 的 計 画 法 を 用 い た 手 法 を 提 案 し た.本. 手 法 で は 色 情 報 も用 い て い る. 像 情 報 メ デ ィア. 学 会 誌,Vol。54,No.6,pp。881‑886,June2000. 5)平. 英 二,石 田 敏 之,内 田 誠 一,迫 江 博 昭:手 書 き 文 字 列 の 非 一 様 な 傾 き 補 正 法 ,電 子 情 報 通 信 学 会 技 術 研 究 報 告, PRMU2000‑207,pp.47‑52,March2001..
(6)
関連したドキュメント
CAD とは Computer Aided Design
本論文では， IDUMO フレームワークを実現するにあたっての課題と実装を述べる．以降，本論
PET/MRI Dual-Modality Tumor Imaging Using Arginine-Glycine- Aspartic (RGD)-Conjugated Radiolabeled Iron Oxide Nanoparticles. Geninatti Crich et al. In Vitro and
Ware, “Enhancement of migration by protein kinase Calpha and inhibition of proliferation and cell cycle progression by protein kinase Cdelta in capillary endothelial
本研究では現在の在室表を拡張し、ユーザの状況や状態を推 定し、プライバシに考慮しつつ提示する拡張在室表 : Extended Destination Board(ExDB)
木構造の の の の波紋 波紋 波紋 波紋表現 表現 表現 表現 ― ― ― ―時系列 時系列 時系列 時系列と と と とカテゴリ カテゴリ カテゴリ カテゴリの の
手書き き き き入力 入力 入力を 入力 を を利用 を 利用 利用した 利用 した した、 した 、 、画面 、 画面 画面に 画面 に に直接書 に 直接書 直接書き 直接書 き き込 き 込
図 4.1: ハードウェア構成 図 4.2: 実際に利用したシーン なお、本研究では Kinect for Windows v2 センサーを使用した。 Kinect のセンサーは RGB
