成 膜 大 学 理 工 学 研 究 報 告 J,Fac,Sci,Tech.,Sei/keiUniv. Vol.48No.2(2011)pp.9-14
コ ミ ック画 像 の コ マ に お け る類 似 性 を用 いた 著 作 権 画 像 の 識 別
因
雄 亮*1,
中 村
健 太 郎*2,樋
口
政 和*3,川
崎
村 上
仁 己*5
秀 二*4,小 池 淳*5Comic Identification of the Copyrighted Images Using Frame Similarity
Yusuke In * 1 Kentarou Nakamura * 2, Masakazu Higuchi * 3, Syuji Kawasaki * 4, Atushi Koike * 5,
Hitomi Murakami * 5
ABSTRACT : The recent development of the information society leads to many multimedia data on the
Web. Especially in Japan, there are a lot of comic images on the Web. However, such a phenomenon
causes copyright problems. In order to develop useful information society, the need for comic managing
system identifying the author of comic images and ignoring the copied images is increasing. Such a
system is indispensable for our future information society. In this paper, we propose a system for
identifying
the image of comics, and evaluate its performance
against conventional
methods. Furthermore,
we examine the performance
with subjective evaluation result by specialists
of cartoonist
Keywords : comic, image processing, similarity retrieval, copyright
(Received
September
20, 2011)
1.は じ め に情報 化 社 会 の進 展 に よっ て,Web上
に はマ ル チ メデ ィ ア
デ ー タ で あ る画像 が多 く存在 す る。特 に 日本 で は コ ミ ック
画像 が多 く存在 し,そ れ らの多 くは違 法 にUploadさ れ た画
像 で あ る。近年,こ の 著作 権 問題 が深 刻 とな っ てい る。そ
の た め,膨 大 な数 の画 像 を 人 の識 別 能 力 に よ って判 断す る
の で は な く,自 動 的 に蓄積 ・管理 す る画像 デ ー タベ ー ス シ
ス テ ム の必 要性 は,今 後 ます ます 高 ま る と思 わ れ る。この
手 段 の一 つ で あ る,自 動 的 な コ ミッ クの識 別 を行 うに あ た
っ て,有 効 な検 索方 法 は 提示 され て い な い。
コ ミ ッ ク画 像 は 同 じ作 品 で も様 々 な 絵 柄 が 存 在 し,実
在 シー ン と違 う点 も多 い 。 例 え ば,白 黒 画 像 で 表 現 され
て い る こ と,濃 淡 が トー ンで 表 現 され て い る こ と,そ
し
てiE面 を 向 い て い る顔 と横 を向 い て い る顔 に お い て,キ
ヤ ラ ク タ ー は 同 じ で も 目 の 大 き さ や 口 の 位 置 や,形 が 大 き く が 変 わ る こ と が 多 々 存 在 す る 。 代 表 的 な,コ ミ ッ ク 画 像 の 例 を 図1に 示 す 。 *1 ・理 工 学 研 究 科 理 工 学 専 攻 大 学 院 生 *2/情 報 科 学 科 学 部 生 *3 ・情 報 科 学 科 博 ± 研 究 員 *4 ・情 報 科 学 科 客員 研 究 員*5 ・情 報 科 学 科 教 授(hi -murakami@st ,seikei,acjp)
揺3
耀1
1裾ll
/ i
翻騨
1 1 ノ㊥
寒
図1代 表 的 な コ ミ ッ ク 画 像 の1ペ ー ジ 。キ ャ ラ ク ター が 同 で も,目 の 大 き さや 口 の 位 置 ・形 が 大 き く異 な る例これ まで 、コ ミッ クの画 像 の 検 出 ・識別 は,コ ミ ック の
ペ ー ジ 単位 で 処 理す るの が 基 本 で あ った 。 しか しなが ら,
ペ ー ジ単 位 で の処 理 で は,各 コマ が 小 さ く表 示 され,正 し
い 画像 の検 出 ・
識 別 特 性 の低 下 が想 定 され る。そ こで我 々
は,コ マ 単位 で人 物 画 像 の検 出 ・
識 別 を行 う手 法 を考 案 し,
そ の特 性 評 価 を行 った。本論 文 では,ま ず コマ 単位 で人 物
画像 の検 出 ・識別 を行 うた め の,コ マ 分 割 手 法 を述 べ る。
次 に,こ こで 提案 され た 方 式 に よ り,ペ ー ジ単 位 で の手 法
に 比べ どの 程度 の効 率 で検 出率 の 向 上 が 図れ るか,実 験 を
行 っ た。 さ らに,こ れ らの 結果 を,セ ミプ ロの 漫 画家 に よ
る人物 画 像 の検 出 ・
識 別 力 に く らべ どの程 度 達 成 され た か
を,主 観 評 価 実験 に よ り確 認 した 。
2.コ
ミ ッ ク 画 像 の カ テ ゴ リ識 別
一 般 的 に 大 量 の 画 像 か ら ユ ー ザ が 必 要 と す る 画 像 を 検 索 す る に は,以 下 に 示 す 二 つ の 手 法 が 用 い ら れ る 。 ● 検 索 語 に 基 づ く 手 法 TBIR(Text-BasedImageRetrieval) ● 画 像 特 徴 量 に 基 づ く 手 法 CBIR(Context-BasedImageRetrieval) TBIRを 用 い る 場 合,各 画 に キ ー一一ワ ー一一ド情 報 を 付 与 す る 必 要 が あ る 。 し か し,キ ー ワ ー ドの み で は 対 象 と な る 画 像 を 表 現 す る 事 が 難 し い 等 の 理 由 で,良 い 検 索 結 果 が 得 ら れ な い こ と が 多 い 。 一 方,CBIRで は,画 像 か ら 得 ら れ る 特 徴 量 に よ っ て 検 索 を 行 う仕 組 み に よ り,画 像 の 類 似 度 を 定 量 化 す る こ と が で き る 。 本 稿 は こ のCBIRを 用 い て コ ミ ッ ク 画 像 を 作 品 別 に カ テ ゴ リ識 別 す る 方 式 を 検 討 す る も の で あ る 。 G.Csurkaら に よ っ て 提 案 さ れ た 画 像 を 識 別 す る 手 法 で あ るbag-of-keypoints[1]を 応 用 す る 。 コ ミ ッ ク 画 像 を ペ ー一一ジ 単 位 でbag -of-keypointsを 用 い る 手 法 と,コ ミ ッ ク 画 像 に コ マ 分 割[2-3]を 行 い,コ マ 単 位 で 用 い る 手 法 を 比 較, 検 討 を 行 っ た 。 ま た,コ マ 分 割 手 法 は 一 般 に 流 通 して い るPCで1ペ ー一一ジ あ た り,144dpiの 画 像 に 対 し約60msで 実 行 可 能 で あ り,多 く の 処 理 時 間 を 必 要 と しな い 。 こ の カ テ ゴ リ識 別 の フ ロ ー チ ャ ー一一トを 図2,3に 示 す 。2.1コ
マ 分 割 手 法
コマ 分 割 は ,情 報が存在す る領 域 を検 出した後,直 線
検 出 を行 い,画 像 を再 帰 的 に 二 分 割 す る手 法 を用 い て い
る。 以 下 に 具 体 的 な 手 順 を 述 べ る。
コ ミ ッ クの コ ミ ッ ク画 像 の 情 報 が 存 在 す る領 域 を輪 郭
走 査 に よっ て 検 出 し,得 られ た 閉 じた 領 域 の 輪 郭 線 を 明
確 に す るた め に,式(1)を
用 い て重 み づ け を行 う。
c(…)一
愉:瀞
灘
(1)
た だ し,(x,y)は 画 像 上 の あ る ピ ク セ ル の 座 標 を 表 す 。 ま た,経 験 的 にaO=1,al=0.75を 用 い て い る 。 これ に よ り,後 の コ マ 分 割 線 検 出 に お い て,情 報 が 存 在 す る 領 域 と 余 白領 域 を 分 け る 直 線 が 検 出 さ れ や す く な る 。 ま た 本 稿 で の 輪 郭 走 査 と は,ラ ス タ ー ス キ ャ ン後 に,輪 郭 追 跡 処 理 を 行 う こ と を さ す コミック画 像 コマ画 像 分 割を 用 デ ー タセット いな いシステ ム 図2コ マ 分 割 を 用 い な い 手 法 で の フ ロー チ ャ ー ト コミック画 像 デー タセット 図3コ マ 分 割 を 用 い た 手 法 で の フ ロ ー チ ャ ー ト分 割 線 に お け る領 域 分 割 の 過 程 を 説 明 す る 。 コ ミ ッ ク の 特 性 上,各 コ マ は 線 に よ っ て 区 切 ら れ て い る 。 そ の た め,入 力 画 像 か ら 直 線 ら し い 線 を 検 出 す る た め morphologicaloperatorを 用 い て,細 線 化 を 行 い,ハ ブ 変 換 [4]を 用 い て 検 出 し た 。 ハ ブ 変 換 で は ハ ブ 空 間 上 の あ る 一 点(ρ,θ)が 求 ま り,そ れ に 対 応 す る 直 線 は 式(2)を 用 い て 表 現 さ れ る 。
ρ=xcosθ+アsinθ(2)
こ こ で ρは 原 点 か ら 直 線 に 引 い た 垂 線 の 長 さ を 表 し,θ は 垂 線 とx軸 と の な す 角 を 表 す 。 検 出 さ れ た 直 線 に 対 し て,複 数 の 直 線 パ ラ メ ー タ の θが k。 以 内 か つ,ρ の 差 がm以 内,の も の を 同 一 の 直 線 と 見 な し,統 一 す る 。 こ こ で は,k=1,m=10を 用 い た 。 こ れ は コ マ 間 の 余 白 領 域 で 極 端 に 狭 い も の は 無 視 す る た め で あ る 。 得 られ た 直 線 の 画 素 点 の 集 合 をL(ρ,θ)と す る 。 ま た,L(ρ,θ)と,そ の 近 傍 画 素 を 合 わ せ てM(ρ,θ) と し,M(ρ,θ)に 含 ま れ る 画 素 点(x,y)に お け る 濃 度 勾 配 の 式(3)を 用 い て 計 算 し た 。9θ(x,ア)=9κ(」C,ア)cosθ+9ア(JC,ア)sinθ(3)
g遮,鉱 水 平 方 向 の 濃 度 勾 配 9y(x.3り:垂 直 方 向 の 濃 度 勾 配 た と え ば 図 の よ うに コ マ の 外 側 の 余 白 領 域 に コ マ 内 の 絵 柄 や セ リ フ の 一 部 が は み 出 し て い る 場 合 や コ マ の 形 が 多 角 形 で な い 場 合,コ マ 分 割 線 が うま く検 出 さ れ な い 。 こ れ に 対 処 す る た め にL(ρ,θ)の 近 傍M(ρ,θ)を 考 え る 。 ま た,経 験 上,画 像 の 中 心 付 近 の 直 線 は コ マ 分 割 線 に な りや す い 。 そ の た め,ガ ウ ス 関 数 式(4)に よ り,図4に 示 す と お り,検 出 さ れ た 画 像 上 の 直 線 に 対 し,重 み づ け を 行 っ た 。G(ρ)一 ・・p(一 荏)(4) σ
σ:画像 の縦 幅 を 四分 割 した長 さ
1 0.8 0,6 0.4 0.2 D G(ρ)Image(X,y)
図4重
み づ けの た め の ガ ウス 関 数
この 重 み 付 け に よ り画像 の 中 心 付近 の 直線 に は 大 きな
重 み が 付 与 され,中
心 か ら離 れ た 直線 に は 小 さな 重 み が
付 与 され る。
以 上 のパ ラメ ー タ を用 い て,直 線L(ρ,θ)に
対 す る分
割 線 判 定値A(ρ,θ)を
式(5)で
求 め る。
A(ρ,θ)-G(ρ)Σ{9,(x,ア)c(x,ア)}(5)(x,y)∈M(ρ,θ)
ここで,θ が450以
上 か つ1350以
下 な らば横 分割 線 の
候 補 と し,条 件 を満 た さな いな らば,縦 分 割 線 の候 補 とす
る。 ま た コマ に 沿 っ た直 線 で はc(x,y)に
よ り,大 きな 重
み が加 算 され る ので,画 像 の 中心 付 近 で コマ に 沿 っ た直 線
が コマ 分割 線 候 補 と して検 出 され る こ とにな る。これ を繰
り返 す こ とに よ り,高 精度 な コマ分 割 を実 現 で き る。
実 際 の コマ分 割 処 理 と して は,ま ず コ ミ ック 画像 全体
を 入 力 と し,上 記 で 検 出 され た 分 割 線 候 補 の 中 でA(ρ,
θ)の値 が 一番 大 き な 直線 で 画像 を分 割 す る。 この 際,対
象 とな る分 割 線 が,画 像 全体 を 四 角形 で 囲 ん だ領 域 を通
っ て い るか ど うか で 分割 か非 分割 か を 決 定 す る。 横 分割
線 な ら,長 方形 領 域 の 上 端 と下端,縦
分割 な ら,左 端 と
右 端 の 間 を 通 っ て い るな らば,着
目 して い る分 割 線 で画
像 を 二 分割 す る。 そ うで な け れ ば,分 割 せ ず に 終 了 とす
る。 分 割 され た領 域 に対 して,情 報 の あ る領 域 を 再 び矩
形 で 囲 み,上 記 の プ ロセ ス を 再帰 的 に 用 い て,分 割 線 を
決 定 し,コ ミ ッ ク画 像 を 二分 割 して い く。
図5に 図1の
コ ミ ック 画像 を コマ分 割 した結 果 を 示す 。
黒 い枠 で 囲 まれ た矩 形 が それ ぞれ の コマ領 域 を 示 して お
り,余 白を 除 去 し,情 報 の あ る領 域 の み を抽 出 で き た事
が確 認 で き る。
雛
一
一7-7
『
一IF崩拶
ゴ・ 、〆拠 ∫矧図5図1の
コ ミ ック画 像 の ペー ジ を コ マ分 割 した結 果
錨
⇒
鵡 ㎞⇒ 謙 講
⇒Cl…
asse〔 二iation』
⇒
…t・
・…
comput己tl〔 〕n 図7Bagofkyepointsモ デ ル の フ ロ ー コ マ 分 割 の フ ロ ー チ ャ ー一一トを 図8に 示 す 。◎璽 う
▼/一
・/
▼ 輪郭走査 、r 直線検出 ▼ 分割線決定式 の生成 「r CFDぐ
「r衡 う
r
殴
む
分割線が 「存在
ツ
ド 、r 分割 情報が存在? コマ 内の 結 果 出 力 1 十 「r '隔 コマ の整 列 ← コマの 削除 「r '」1
CFD(
▼ 終了 、 ←ソ
(4×4×8)で 表 現 ● 変 化 に 対 し て ロ バ ス トに す る た め 記 述 子 を 正 規 化 こ の 特 徴 量 は 比 較 的 ス ケ ー ル 変 化 に 強 固 で あ り,安 定 し て 類 似 性 が 検 出 で き る。 量 子 化 す る に 当 た っ て は,k-means[5]を 用 い て,ク ラ ス タ リ ン グ を 行 っ て い る 。SIFT特 徴 点 検 出,SIFT特 徴 量 記 述,codebook生 成,ク ラ ス の 称 号,そ し て 今 回 使 用 す る 特 徴 量 の 記 述 と い っ た 一 連 の モ デ ル の 生 成 の 流 れ を示 し た も の を 図7に 示 す 。 SIFTは 特 徴 点 検 出 部 と 特 徴 点 周 辺 の 特 徴 量 記 述 部 に わ け ら れ て い る 。 特 徴 点 検 出 部 で はDOGを 用 い て 原 画 像 を 数 段 階 に 縮 小 し た マ ル チ ス ケ ー ル 画 像 群 か ら 濃 淡 勾 配 の 変 化 が 大 き い 点 を 複 数 検 出 し,特 徴 量 記 述 部 に お い て, そ の 特 徴 点 周 辺 の 局 所 領 域 を さ ら に,4×4の 領 域 に 分 け, そ れ ぞ れ に お い て8方 向 の ヒ ス トグ ラ ム を 作 成 す る た め, 128次 元 特 徴 ベ ク トル で 表 現 す る 。 SIFTに よ っ て 得 られ た 特 徴 ベ ク トル をk-meansに よ り, ク ラ ス タ リ ン グ を 行 いcodebookと 呼 ば れ る 記 述 子 を 生 成 し た 。 各 ク ラ ス タ を 元 に 出 現 頻 度 別 に 投 票 を 行 っ た 。 ま た,抽 出 さ れ る 特 徴 点 の 数 は 画 像 に よ り 異 な る た め,出 現 頻 度 を 特 徴 点 の 数 で 正 規 化 を 行 う。codebookはk次 元 の ヒ ス ト グ ラ ム と し て 表 さ れ,今 回 はk=1000を 用 い た 。 図8コ マ 分 割 シ ス テ ム の フ ロ ー チ ャ ー ト 2.2特 徴 抽 出 手 法 bag-of-keypointsモ デ ル を 用 い て い る 。 こ れ は 画 像 内 の 位 置 情 報 を 無 視 し て 画 像 を 局 所 特 徴 の 集 合 と して 捉 え る こ と で,画 像 の カ テ ゴ ラ イ ズ を 実 現 す る 手 法 で あ る 。 こ の,特 徴 抽 出 に はSIFT[6]を 用 い た 。SIFT特 徴 抽 出 の 概 要 は,以 下 に 述 べ る 。 ● ガ ウ シ ア ン 差 分 を 最 大 に す る こ と に よ りス ケ ー ル を 決 定 ● 主 要 な 勾 配 方 向 と し て 局 所 方 向 を 決 定 ● 勾 配 方 向 ヒ ス トグ ラ ム を 計 算 し,128次 元 ベ ク トル 2.3識 別 手 法 codebookを 元 に,学 習 画 像 か ら 特 徴 ベ ク トル を 抽 出 し, 識 別 器 に 訓 練 させ る 。 同 様 に,カ テ ゴ ラ イ ズ 画 像 か ら も 特 徴 ベ ク トル を 抽 出 し た 。 こ の 値 を 識 別 器 に よ り ど の カ テ ゴ リ に 属 す る か 決 定 し た 。 識 別 器 に は マ ル チ ク ラ ス 対 応 のSW[7-8]を 用 い た 。3.提
案 方 式 の 結 果 と評 価
3.1実 験 デ ー タ ベ ー ス 実 験 用 の デ ー タベ ー ス に は,現 在 日 本 の 漫 画 マ ー ケ ットで 広 く 読 ま れ て い る10種 類 の コ ミ ッ ク か ら選 出 し た, 942ペ ー一一ジ を 使 用 し た 。 コ ミ ッ ク に は,前 述 した,コ マ 分 割 を 用 い て コ ミ ッ ク の ペ ー ジ 画 像 か ら,4145枚 の コ マ 画 像 を 得 る こ と が で き た 。 こ の 際,100%コ マ 分 割 が 正 し く 行 わ れ て い る こ と を 確 認 し て い る。 3.2評 価 方 法 コ ミ ッ ク 画 像 の カ テ ゴ リ識 別 の 精 度 を 検 証 した 。 実 験 デ ー タ セ ッ トを 作 品 ご と に10個 に 分 け,一 つ の グ ル ー一一プ を 学 習 デ ー タ と し て 利 用 し,識 別 器 を 訓 練 さ せ た 。 評 価 に は,適 合 率 を 表 すPrecision(6),再 現 率 を 表 す Recall(7),精 度 を 表 すF-measure(8)を そ れ ぞ れ 用 い た 。 正 乙 ぐ謂4さ 力 た デLタ 棄 浄 Precision=(6) 謝4さ 轟 た デLタ 棄 否 圧 乙 ぐ謂4さ 虎 た デLタ 棄1否 Recαll= 謂 〃さ 轟 る べ き デLタ 棄 否 2 F-measure=11 Recαlt+Precisi。n
(7)
(8)
3.3実
験 結 果
図9に
コ ミ ッ ク画 像 の カ テ ゴ リ識別 の 成 功 率 を 示 す 。
3.4考 察 コ マ 分 割 を 用 い な い 場 合 に お い て は,F-measureは も っ と も大 き い も の で31%で あ り,平 均 で19%の 識 別 率 で あ っ た 。 コマ 分 割 を 用 い た 場 合,F-measureは 最 も 高 い も の で50%で あ り,平 均 で30%の 識 別 率 で あ っ た 。 コ マ 分 割 を 用 い 場 合 の 方 が,10-20%ほ ど 高 い 結 果 と な っ た 。 こ の 差 の 原 因 と して ペ ー ジ 単 位 でvisualwordsを 作 成 す る 際 で は,量 子 化 誤 差 が 生 し た こ とや,特 徴 抽 出 の 際 の 特 徴 点 に 違 い が 生 じ て き た こ と が 原 因 で あ る と考 え ら れ る 。 1 0.9 0.8 0.7 0.6 認 識 率0.5 0.4 0.3 0.2 0.1 01曲 凸
旧
ABCDEFGHIJ コ ミ ッ ク の 種 類 ロPrec嬉ion ■R㏄all ■F・measure (a)ペ ー一一ジ 単 位 で の カ テ ゴ リ識 別 成 功 率4.セ
ミ プ ロ に よ る 主 観 評 価 結 果 と の 比 較
提案 した コマ 単位 の識 別 手 法 が,人 間 が識 別 評 価 した
結 果 と どの 程度 差異 が あ るか を比 較す るた め,成 膜 大 学
の 漫画 研 究 会 メ ンバ ー に よっ て,識 別 を行 っ た。 評 価 者
は コ ミ ック に十 分知 識 と経験 を もつ熟 練者 で あ る。 そ の
た め,得
られ た 結果 は人 間 が行 う識 別 と して は ほ ぼ 最 高
の 結果 で あ る と想 定 され る。 こ こで は 実験 に使 っ た コ ミ
ッ クか ら,ペ ー
一
一
ジ,コ マ を そ れ ぞ れ3つ 抽 出 し,こ れ に
対 して,10人
が評 価 を行 っ た。
4.1実 験 結 果 図10,llに コ ミ ッ ク の作 品別 翻llの 主観 評 価 結 果 を示 す 。 1 0.9 0.8 0.7 0.6 認 識 率0.5 0.4 0.3 0.2 0.1 0 ロPrecision ■R㏄all ■F-mea$ureABCDEFGHIJ
コ ミ ッ ク の 種 類
(b)コマ 分割 単位 で の カ テ ゴ リ識 別 成 功 率
1 0.9 0.8 0.7 0.6 認 識 率0.5 0.4 0.3 0.2 0.1 0 ■Prec誌ion ■R㏄a11 口F・measure ABCDEFGHIJ コ ミ ッ ク の 種 類 (a)ペ ー一一一ジ 単 位 で の 主 観 評 価 識 別 成 功 率 1 0.9 0.8 0.7 0.6 認 識 率0.5 0.4 0.3 0.2 0.1 0 ■Precision ■R㏄all 口F・meaSUi'e ABCDEFGHIJ コ ミ ッ クの 種 類 (b)コ マ 分 割 単 位 で の 主 観 評 価 識 別 成 功 率図9コ
マ 分 割 単 位 での カテ ゴ リ識 別 成 功 率
図10コ
マ分 割 単 位 での 主 観 評 価 識 別 成 功 率
1 0.9 0,8 0.7 聾o.6 §o.5 得o.4 』O ,3 02 0.1 0
