Microsoft Word - toyoshima-deim2011.doc

DEIM Forum 2011 E9-4

画像の色・形状類似性計量機能による

サイン・ロゴ認識システム

豊島 有紀 佐々木 史織 清木 康

慶應義塾大学 環境情報学部 〒

252-0882 神奈川県藤沢市遠藤 5322

慶應義塾大学 政策・メディア研究所 〒

252-0882 神奈川県藤沢市遠藤 5322

E-mail:

｛

t09651yt, sashiori, kiyoki｝@sfc.keio.ac.jp

あらまし 本稿では，実空間上のサイン・ロゴ画像を色彩および形状により認識・判別し，対応する意味的な 情報を獲得するシステムの実現方式を示す．本方式は，カメラから撮影された実空間上のサイン・ロゴ画像を入力 とし，あらかじめ用意された画像データベース内のサイン・ロゴ画像との類似性計量を行うことにより，対象とす るサイン・ロゴを認識・判定し，さらにそれらが有する意味カテゴリを組み合わせた解釈により，各サイン・ロゴ の意味情報を提示するものである．本方式の特徴は，国・地域・文化の違いによるサイン・ロゴ画像特徴の多様性 に対応し，ユーザの現在位置に対応するサイン・ロゴの意味内容の獲得を可能とする点にある． キーワード マルチメディアデータベース，画像，類似性計量，CBIR

A Meaning Recognition System for Sign-Logo

by Color-Shape-Based Similarity Computations for Images

YUKI TOYOSHIMA SHIORI SASAKI and YASUSHI KIYOKI

Faculty of Enviroment and Information Studies, Keio University 5322 Endo,Fujisawa,Kanagawa,252-0882 Japan

Graduate School of Media and Governance, Keio University 5322 Endo,Fujisawa,Kanagawa,252-0882 Japan

E-mail:

｛t09651yt, sashiori, kiyoki｝@sfc.keio.ac.jp

Abstract In this paper, we present a meaning recognition system for sign-logos in real space. First, this system recognizes the category of input sign-logo images by the similarity computations with images in the database focusing on the color and shape features of images. Second, the system searches for the information corresponding to the specific sign-logo images. By using this system, a user is able to find out the meaning and related information of sign-logos based on the user’s location as well as the information of sign-logos around the world.

Keyword multimedia database, image database, similarity computation, CBIR

1. は じ め に

今 日 ， 高 機 能 携 帯 電 話 （ ス マ ー ト フ ォ ン ） の 多 様 な 機 能 と ア プ リ ケ ー シ ョ ン を 用 い る こ と に よ り ， 日 常 生 活 の 中 で 人 々 が 出 来 る こ と の 幅 は 広 が っ て い る ． 現 在 広 く 使 わ れ て い る シ ス テ ム の 一 つ と し て ， カ メ ラ 機 能 を 用 い た バ ー コ ー ド リ ー ダ ー が 挙 げ ら れ る ． ユ ー ザ は 携 帯 や ス マ ー ト フ ォ ン の バ ー コ ー ド リ ー ダ ー を 起 動 し ， 指 定 し た 枠 の 中 に QR コ ー ド を 翳 す と ，実 空 間 上 の 場 所 や モ ノ に 関 す る 関 連 情 報 を 読 み 取 る こ と が で き る ． こ の よ う な 情 報 獲 得 技 術 は 日 常 生 活 の 一 部 と し て 普 及 し つ つ あ り ， グ ロ ー バ ル 社 会 の 今 後 に お い て は さ ら に ， 国 境 や 言 語 ・ 身 体 能 力 の 壁 を 補 完 す る よ う な ア プ リ ケ ー シ ョ ン の ニ ー ズ は 高 ま る も の と 予 想 さ れ る ． 本 稿 で は ， こ の よ う な ス マ ー ト フ ォ ン の カ メ ラ 機 能 を 用 い て ，実 空 間 上 の サ イ ン・ロ ゴ 画 像 を 対 象 と し て ， 色 彩 お よ び 形 状 を 認 識 ・ 判 別 し ， 対 応 す る 意 味 的 な 情 報 を 獲 得 す る シ ス テ ム の 実 現 方 式 を 示 す ． 本 シ ス テ ム は 入 力 さ れ た 画 像 デ ー タ の 色 彩 情 報 お よ び 形 状 情 報 を 用 い て ， 画 像 デ ー タ 上 の サ イ ン ・ ロ ゴ を 認 識 し ， 関 連 す る 意 味 情 報 を 出 力 す る シ ス テ ム で あ る ． ユ ー ザ は 実 空 間 の サ イ ン ・ ロ ゴ に つ い て 意 味 を 調 べ る た め ， 該 当 す る サ イ ン・ロ ゴ を 携 帯 カ メ ラ で 撮 影 し ,画 像 を 本 シ ス テ ム に 入 力 す る ．本 シ ス テ ム は ,ユ ー ザ か ら 入 力 さ れ た

画 像 の 色 彩 情 報 ， 形 状 情 報 を 抽 出 し ， デ ー タ ベ ー ス 内 の 画 像 と の 類 似 性 を 計 算 し た 上 で ， 類 似 度 順 に ラ ン キ ン グ と し て 表 示 す る ． ユ ー ザ は ， 表 示 さ れ た 結 果 の 中 か ら 自 分 の 探 し て い る も の を 選 択 す る こ と に よ り ， そ の 画 像 の 意 味 情 報 を 獲 得 す る こ と が で き る ． 本 シ ス テ ム は ， 実 空 間 上 に 存 在 す る サ イ ン ・ ロ ゴ 情 報 を デ ー タ ベ ー ス 化 す る と い う 発 想 の も と に 設 計 さ れ て い る ．QR コ ー ド シ ス テ ム の 場 合 ，あ ら か じ め 設 定 さ れ た 枠 の 中 に 定 義 済 み の デ ー タ が 記 述 さ れ て い る こ と が 前 提 と な る た め ， ク ラ イ ア ン ト 側 の 読 み 取 り シ ス テ ム で は 標 準 化 さ れ た コ ー ド が 認 識 で き な い 場 合 ， 読 み 込 む こ と す ら で き な い ． 本 シ ス テ ム で 扱 う 実 空 間 上 の サ イ ン ・ ロ ゴ は 定 義 が な い た め ， 読 み 取 り シ ス テ ム は そ の 色 彩 と 形 状 を 認 識 す る こ と に よ り ， 対 象 と な る 入 力 画 像 が 作 成 ・ 撮 影 さ れ た 国 ・ 地 域 の 定 義 ・ 規 定 に 制 限 さ れ る こ と な く ， そ の 関 連 す る 意 味 情 報 を 推 定 ・ 提 示 す る こ と が 可 能 と な る ．

2. 関 連 研 究 ， お よ び ， 本 シ ス テ ム の 特 徴

本 シ ス テ ム の 実 現 に お い て 注 目 す る の は ， 第 一 に ， サ イ ン •ロ ゴ の 意 味 は 社 会 や 世 界 に 共 通 す る 要 素 と し て 色 と 形 の 組 み 合 わ せ に よ っ て 成 立 し て い る 点 で あ る . 第 二 に ， 共 通 す る 要 素 の 他 に ， 国 や 地 域 ・ 文 化 に 固 有 の 要 素 や 差 異 が 存 在 す る 点 で あ る ． 例 え ば ， JIS （ 日 本 工 業 規 格 ） の 「 安 全 色 彩 」 規 定 （ 図 １ ） に よ る と ， 基 本 8 色 に は ， 赤 ： 防 火 ・ 禁 止 ・ 停 止 ・ 高 度 の 危 険 ， 黄 赤 ： 危 険 ， 航 海 ・ 航 空 の 保 安 施 設 ， 黄 ： 注 意 ， 緑 ： 安 全 ・ 避 難 ・ 衛 生 ・ 救 護 ・ 進 行 ， 青 ： 指 示 ・ 用 心 ， 赤 紫 ： 放 射 能 ， 白 ： 通 路 ・ 整 頓 と い っ た 意 味 が 与 え ら れ て い る[3]． 図 1 JIS が 規 定 す る 安 全 色 彩 （ 文 献 [3]を 基 に 作 成 ） 国 際 的 に は ， 国 連 特 別 委 員 会 に よ る 交 通 標 識 シ ス テ ム に 関 す る 調 査 （ 図 ２ ） で は ， 形 状 と 色 の 組 み 合 わ せ に 関 し て ， 円 ・ 赤 ： 禁 止 ， 逆 三 角 ・ 赤 ： 規 則 ， 黄 ・ 三 角 ： 警 告 ・ 注 意 ， 長 方 形 ・ 緑 ： 救 助 ・ 救 急 ， 正 方 形/ 長 方 形/円・青：指 示 と い っ た 共 通 点 が あ る こ と が 報 告 さ れ て い る[4]．こ れ ら の 知 識 を ベ ー ス に ，本 実 験 を 行 っ た ． 図 2 国 連 の 特 別 委 員 会 が 行 っ た 交 通 標 識 の 形 状 と 色 彩 に つ い て の 調 査 （ 文 献[4]を 基 に 作 成 ） 本 シ ス テ ム の 特 徴 は ， こ れ ら の 国 ・ 地 域 ・ 文 化 間 の サ イ ン ・ ロ ゴ 画 像 特 徴 の 共 通 性 や 多 様 性 に 対 応 し ， ユ ー ザ の 現 在 位 置 に 対 応 す る サ イ ン ・ ロ ゴ の 意 味 内 容 の 獲 得 を 可 能 と す る 点 に あ る ． ユ ー ザ は ま た ， 現 在 位 置 に 対 応 す る サ イ ン ・ ロ ゴ の 意 味 内 容 と 同 時 に ， 国 境 を 超 え た サ イ ン ・ ロ ゴ の 認 識 が 可 能 と な る ． 国 ・ 地 域 に よ っ て ， サ イ ン ・ ロ ゴ の 色 使 い ， 形 の 使 い 分 け の 仕 方 に は 違 い が あ り ， 人 に よ っ て 色 の 感 じ 方 ， 見 え 方 に も 違 い が あ る ． 本 シ ス テ ム は ， そ の よ う な 多 様 性 に 対 応 し ， 共 通 し た 情 報 や 類 似 す る と 解 釈 さ れ る 関 連 情 報 を 出 力 ・ 提 供 す る ユ ニ バ ー サ ル な 情 報 提 供 シ ス テ ム と し て 位 置 づ け ら れ る ．

3. 基 本 方 式

3.1 シ ス テ ム 構 成 本 シ ス テ ム の シ ス テ ム 構 成 を 図 3 に 示 す ． 本 シ ス テ ム は(1)画 像 内 容 類 似 性 計 量 シ ス テ ム (CBIR)と (2)画 像 関 連 意 味 情 報 の 関 係 デ ー タ ベ ー ス の 組 み 合 わ せ で 構 成 さ れ て い る ．手 順 と し て ，ま ず 入 力 さ れ た 画 像 の 色 彩・ 形 状 情 報 を 抽 出 す る ． 次 に ，CBIR で 選 択 さ れ た 画 像 と サ イ ン ・ ロ ゴ デ ー タ ベ ー ス 内 の 画 像 と の 類 似 性 計 量 を 行 う ．こ こ で ，ス マ ー ト フ ォ ン の GPS 機 能 に よ っ て 特 定 さ れ た ユ ー ザ の 位 置 情 報 に 応 じ て ， 検 索 結 果 が 絞 り 込 ま れ ， 画 像 検 索 結 果 お よ び 位 置 情 報 を 元 に ， 類 似 性 が 高 い 画 像 が ラ ン キ ン グ さ れ て 表 示 さ れ る ．さ ら に ， ユ ー ザ は 自 分 の 探 し て い る 画 像 に あ っ た 画 像 を 選 択 す る ． そ の 結 果 ， 選 択 に 対 応 し た 意 味 情 報 が 表 示 さ れ ， ユ ー ザ は 求 め て い る 関 連 意 味 情 報 を 獲 得 す る こ と が 可 能 と な る ．

Input  image

(1)  Image  retrieval  by  color-­‐shape-­‐based   similarity  computation  (CBIR)

(2)  Image  –related  information  selection Provision  of  Candidate  images

Display  of   Sign-­‐logo-­‐related   information  &meanings Image   DB Metadata   DB 図 3 シ ス テ ム 構 成 図 本 シ ス テ ム に お け る 主 要 二 機 能 の 各 ス テ ッ プ は ， 図 4 の よ う に 表 さ れ る ． 第 1 ス テ ッ プ で は ， (1)CBIR シ ス テ ム の 前 処 理 と し て ，検 索 対 象 画 像 の 色 彩 情 報 お よ び 形 状 情 報 を 抽 出 し ， 意 味 ， カ テ ゴ リ ， 国 ・ 地 域 に 関 す る メ タ デ ー タ と 共 に デ ー タ ベ ー ス 化 を 行 う ． 第 2 ス テ ッ プ で は ， 入 力 画 像 に つ い て 色 彩 情 報 お よ び 形 状 情 報 を 抽 出 し ， 画 像 デ ー タ ベ ー ス 内 の 色 彩 情 報 お よ び 形 状 情 報 を 用 い て 類 似 画 像 計 量 を 行 う ． 第 3 ス テ ッ プ で は ， 類 似 画 像 計 量 結 果 を 候 補 画 像 群 と し て ラ ン キ ン グ の 形 式 で 表 示 す る ． 第 4 ス テ ッ プ で は ， ユ ー ザ が 候 補 画 像 を 選 択 す る ． 第 5 ス テ ッ プ で は ， 候 補 画 像 に 関 連 づ け ら れ た 意 味 情 報 が ユ ー ザ に 提 供 さ れ る ．

Step1-­‐1)  Image  processing  &  Metadata  extraction  for  color  (pre-­‐processing)

Step2)  Similarity  computing  using  color  and  shape

Step3)  Providing  candidates  by  ranking  image

Step4)  Image  selection  by  user

Step5)  Providing  information  for  selected  image

Step1-­‐2)  Image  processing  &  Metadata  extraction  for  shape  (preprocessing)

図 4 類 似 画 像 検 索 お よ び 意 味 選 択 プ ロ セ ス 3.2 画 像 類 似 性 計 量 方 式 本 シ ス テ ム で は ， 既 に 提 案 さ れ て い る Pillar Algorithm を 用 い た 色 彩・形 状 情 報 に 基 づ く 画 像 類 似 性 計 量 方 式[5][6]を 適 用 す る ． こ の 類 似 性 計 量 方 式[5][6]は ，画 像 を 構 成 す る 画 素 群 を ク ラ ス タ リ ン グ す る Pillar Algorithm， 画 像 色 彩 分 析 プ ロ セ ス ， 画 像 形 状 分 析 プ ロ セ ス ， 画 像 構 図 分 析 プ ロ セ ス の ４ プ ロ セ ス か ら 構 成 さ れ ，Pillar Algorithm に よ る 画 像 の 色 彩 ， 形 状 ， 構 図 特 徴 の 高 速 抽 出 を 可 能 と す る 点 が 特 徴 で あ る ． こ の ア ル ゴ リ ズ ム は ，K-Means の 初 期 ク ラ ス タ ー 重 心 を 決 定 す る 際 の 最 適 化 手 法 と し て ， K-means 分 割 型 ク ラ ス タ リ ン グ の 高 速 化 ， お よ び ， 外 れ 値 検 出 の メ カ ニ ズ ム に 優 れ て お り ， 画 像 特 徴 の 抽 出 お よ び 類 似 性 計 量 に お い て ， 高 精 度 ， 高 速 性 を 確 保 し て い る ． 本 シ ス テ ム に お け る 実 空 間 上 の サ イ ン ・ ロ ゴ 画 像 分 析 に は 的 確 な リ ア ル タ イ ム 処 理 が 必 要 で あ る た め ， こ の 画 像 類 似 性 計 量 方 式[5][6]は 本 シ ス テ ム の 実 現 に 適 切 で あ る と 判 断 し ， 適 用 す る こ と と す る ． な お ， 本 シ ス テ ム の 対 象 と す る サ イ ン ・ ロ ゴ 画 像 認 識 で は 構 図 情 報 は 大 き な 判 定 材 料 と な ら な い と 判 断 し ， 構 図 情 報 を 除 い た 色 彩 ・ 形 状 情 報 の み を 用 い た 類 似 度 計 量 を 行 う こ と と す る ．

4. 実 現 方 式

本 シ ス テ ム は(1)画 像 内 容 類 似 性 計 量 シ ス テ ム (CBIR)と (2)画 像 関 連 情 報 の 関 係 デ ー タ ベ ー ス の 組 み 合 わ せ で 構 成 さ れ る ．(1)の 機 能 に つ い て は ， 2.2 に お い て 示 し た ， 既 に 提 案 さ れ て い る 画 像 類 似 性 計 量 (CBIR)手 法 [5][6]を 用 い て ，図 2 の Step 1-1, Step 1-2 に

あ る 色 彩 と 形 状 に つ い て の 画 像 処 理 と ，Step 2, Step 3 の 類 似 性 計 量 に よ っ て 実 現 す る ．(2)の 機 能 に つ い て は ， 表 1 に 示 す ス キ ー マ を 持 つ サ イ ン ・ ロ ゴ 画 像 デ ー タ ベ ー ス を PostgreSQL に よ っ て 構 築 し ， 図 2 の Step 5 を 実 現 す る ． 本 実 現 方 式 に お い て 実 現 し た プ ロ ト タ イ プ シ ス テ ム で は ， 各 サ イ ン ・ ロ ゴ に つ い て ， 名 前(image ID)， 種

類(type)，カ テ ゴ リ (category)，国 (country)，意 味 (meaning)

の 5 つ の 属 性 を 定 義 し た ． 表 1 は そ の 例 で あ る ．

表 1 本 シ ス テ ム の サ イ ン・ロ ゴ 画 像 関 連 情 報 デ ー タ

図 5 CBIR 機 能 の 入 出 力 イ ン タ フ ェ ー ス と 結 果 表 示 例 （ 候 補 の 表 示 ）

図 5 は (1)CBIR 機 能 の 入 出 力 イ ン タ フ ェ ー ス を 示 し

て い る ． 本 機 能 の 入 力 イ ン タ フ ェ ー ス 上 に は ， 検 索 の

際 に 注 目 す る 画 像 特 徴 の 重 み(weight)を 変 更 す る た め

の Color Weight， Shape Weight， Structure Weight の ３

つ の パ ラ メ ー タ 設 定 項 目 が あ り ， そ れ ぞ れ の 重 み を 変 え た 上 で 検 索 す る こ と が 可 能 と な っ て い る が ， 本 シ ス テ ム に お い て は ， 色 彩 と 形 状 の み を 扱 う ． こ の 類 似 画 像 検 索 機 能 を 使 っ て ， ユ ー ザ が 選 択 し た 画 像 に 類 似 す る 画 像 結 果 を 出 力 す る こ と が で き る ． (2) 画 像 関 連 情 報 提 供 機 能 に つ い て は ， 表 1 に あ る サ イ ン・ロ ゴ 画 関 連 情 報 デ ー タ ベ ー ス を PostgreSQL で 実 現 し ， 意 味 に 関 す る 関 連 情 報 を 検 索 ・ 選 択 す る （ 図 6）． 図 6 画 像 の 意 味 情 報 表 示 例

5. 実 験

本 実 験 で は ， 本 シ ス テ ム に よ っ て 獲 得 可 能 な 結 果 か ら サ イ ン ・ ロ ゴ の 色 彩 ・ 形 状 ・ 意 味 に お け る 共 通 性 の 抽 出 と 多 様 性 の 抽 出 を 行 う こ と に よ り ， 本 シ ス テ ム の 実 現 可 能 性 と 応 用 可 能 性 に つ い て 検 証 す る ． 実 験 環 境 と し て ， プ ロ ト タ イ プ シ ス テ ム の デ ー タ ベ ー ス 構 築 に 際 し ， サ イ ン ・ ロ ゴ 画 像 を5 地 域 （ 日 本 ， ア メ リ カ ， ド イ ツ ， ヨ ー ロ ッ パ ， 世 界 共 通 ） か ら 227 件 収 集 し た ． 内 訳 は ， 各 地 域 に つ き ， 日 本 176 件 ， ア メ リ カ 9 件 ，ヨ ー ロ ッ パ 10 件 ，ド イ ツ 1 件 ，世 界 共 通 30 件 の 画 像 と な っ て い る ．な お ，設 定 し た 意 味 カ テ ゴ

リ は ，public, road, product 等 14 種 類 で あ る ．

5.1 実 験 １ ： 画 像 類 似 性 計 量 機 能 の 精 度 実 験 本 実 験 は ， サ イ ン ・ ロ ゴ の 意 味 は 色 と 形 の 組 み 合 わ せ に よ っ て 成 り 立 っ て い る と い う 仮 説 を 元 に 行 う ． 実 験 １ で は ，画 像 類 似 性 計 量 機 能 に つ い て の 精 度 実 験 を 行 う ．(1)色 彩 情 報 の み を 用 い て 画 像 検 索 し た 場 合 ， (2)形 状 情 報 の み を 用 い て 検 索 し た 場 合 ，そ し て (3)両 方 を 用 い て 検 索 を 行 っ た 場 合 の 結 果 を 比 較 し ， サ イ ン ・ ロ ゴ 画 像 を 対 象 と し た 本 シ ス テ ム 上 で の 本 機 能 の 精 度 を 検 証 す る ．比 較 方 法 と し て は ，検 索 結 果 上 位 10 件 中 の 正 解 数 （ 適 合 率 ） を 比 較 し た ． そ れ ぞ れ の 場 合 に お け る 正 解 は ， 色 彩 の み に 着 目 し た 場 合 に 妥 当 な 画 像 ， 形 状 の み に 着 目 し た 場 合 に 妥 当 な 画 像 ， 両 方 に 着 目 し た 場 合 に 妥 当 な 画 像 と し て 設 定 し た ． 画 像 デ ー タ ベ ー ス 内 の 全 227 件 の 画 像 を ク エ リ と し て 検 索 し た 場 合 の 結 果 を 以 下 の グ ラ フ に 示 す （ 図 7）．

図 7 実 験 1 の 結 果：本 シ ス テ ム の 類 似 画 像 検 索 機 能 に つ い て の 精 度 実 験 ． 全 227 件 の ク エ リ 画 像 に つ い て 検 索 を 行 い 、上 位 10 件 中 の 正 解 件 数 を 計 測 し た 。色 彩 の み で 検 索 し た 場 合 は 平 均 86.17％ 、 形 状 の み で 検 索 し た 場 合 は 平 均 46.52％ 、 色 彩 ・ 形 状 を 合 わ せ て 検 索 し た 場 合 は 平 均38.55％ と な っ た ． 図 7 に 示 す よ う に ，全 体 的 に (1)色 彩 の み を 用 い た 場 合 の 正 解 率 は 高 い ． 平 均 で は ， 色 彩 の み で 検 索 し た 場 合 は 平 均 86.17 ％ 、 形 状 の み で 検 索 し た 場 合 は 平 均 46.52 ％ 、 色 彩 ・ 形 状 を 合 わ せ て 検 索 し た 場 合 は 平 均 38.55％ と な っ た ．ま た ，(1)色 彩 の み を 用 い た 場 合 ，(2) 形 状 の み ，(3)両 方 を 用 い た 場 合 の ど の 場 合 に お い て も ， 検 索 結 果 の 第 一 位 に は ， ク エ リ 画 像 と 同 じ 画 像 が 検 索 さ れ た ．(1)の 場 合 と ， (2)の 場 合 を 比 べ る と ， (1)の 方 が 正 解 数 は 多 い 原 因 は ， 形 の バ リ エ ー シ ョ ン よ り も ， 色 彩 の バ リ エ ー シ ョ ン の 方 が 少 な い と い う 理 由 か ら で あ る と 考 え ら れ る ． ま た ，(3)の 場 合 は ， 独 特 な 色 彩 ， ま た は 形 状 を 持 つ 画 像 に 対 し て は ， 正 解 数 が 1 と な っ て い て ， 色 彩 と 形 状 が 両 方 似 て い る 画 像 が デ ー タ ベ ー ス 内 に 複 数 存 在 し て い る 画 像 に お い て は ，正 解 数 が 10 と い う こ と に な っ て い る ． 5.2 実 験 ２ 画 像 関 連 意 味 情 報 提 供 機 能 の 検 証 こ こ で は ， 画 像 類 似 性 計 量 機 能 に よ っ て 検 索 さ れ た 画 像 一 覧 の う ち ， ユ ー ザ の 現 在 位 置 に よ る 特 定 ・ 選 択 を 行 わ ず ， 得 ら れ た 意 味 情 報 全 て の 中 か ら 共 通 性 と 多 様 性 を 比 較 分 析 す る こ と に よ り ， 本 シ ス テ ム の 有 効 性 を 検 証 す る ． 実 験 １ は ， サ イ ン ・ ロ ゴ の 意 味 は 色 と 形 の 組 み 合 わ せ に よ っ て 成 り 立 っ て い る と い う 仮 説 を 元 に 行 っ た ． 実 験 ２ 以 降 の 実 験 で は ， そ の 仮 説 を 細 か く 設 定 し て 行 う （ 表 2）． 表 2 は ， 二 つ の 画 像 （ ク エ リ 画 像 同 士 ， ク エ リ 画 像 と 検 索 対 象 画 像 ， 検 索 対 象 画 像 同 士 ） 間 の 特 徴 の 組 み 合 わ せ ケ ー ス と そ の 意 味 内 容 に 関 す る 仮 説 を 示 し て い る ． た と え ば ， ケ ー ス 1 は ， サ イ ン ・ ロ ゴ の 二 つ の 画 像 が 色 と 形 に お い て 共 に 同 じ も の で あ っ た 場 合 は ， 意 味 も 同 じ で あ る で あ ろ う と い う 本 シ ス テ ム の 前 提 を 示 し て い る ．逆 に ，ケ ー ス 9 は ，色 も 形 も 異 な る サ イ ン ・ ロ ゴ は ， 意 味 も 異 な る で あ ろ う と い う 仮 説 を 示 し て い る （ 現 実 に は ， 色 と 形 に お い て 全 く 異 な る サ イ ン ・ ロ ゴ が 全 く 同 じ 意 味 を 持 つ 場 合 も あ り う る ）．ま た ，ケ ー ス 2 は ， 色 が 同 じ で 形 も ほ ぼ 同 じ だ が 微 妙 に 異 な る 場 合 は ， 意 味 も 同 じ で あ る か ， ま た ほ ぼ 同 じ だ が 微 妙 に 異 な る で あ ろ う ， と い う 仮 説 を 示 し て い る ． 表 2 ク エ リ 画 像 と 検 索 対 象 画 像 間 の 特 徴 の 組 み 合 わ せ ケ ー ス と 関 連 す る 意 味 情 報 に 関 す る 仮 説 実 験 2 で は ， 表 ２ の ケ ー ス ７ ， す な わ ち ， 色 彩 は 異 な る が 形 状 が 同 じ ２ つ の サ イ ン ・ ロ ゴ 画 像 を ク エ リ と し て 検 索 し た 結 果 上 位 ５ 件 の 意 味 内 容 を 比 較 す る こ と に よ っ て ， 本 シ ス テ ム の 多 様 性 へ の 対 応 可 能 性 に つ い て 検 証 す る （ 表 3， 表 4）． 表 3， 表 4 に 表 さ れ て い る 類 似 度 （ similarity） の 値 は ，[5][6]に 示 さ れ て い る 方 式 ，す な わ ち 色 に つ い て は コ サ イ ン 尺 度 ，形 状 に つ い て は 独 自 の 距 離 計 算 を 行 い ， そ の2 種 類 の 値 の 混 合 平 値 に よ っ て 計 量 す る 計 算 方 式 に よ っ て 算 出 し て い る ． 類 似 度 は ， 値 が 小 さ い 程 ， 高 い と い う こ と に な っ て い る ． 表 3， 表 4 は ， 入 力 さ れ た ク エ リ の サ イ ン ・ ロ ゴ 画 像 の 色 ・ 形 状 に 着 目 し ， 検 索 を 行 っ た 結 果 で あ る ． 表 3 は ， 画 像 nosmoking.jpg（ 色 彩 ： 赤 ・ 黒 ， 形 状 ： 丸 ， 意 味 ：「 禁 煙 」， 国 ： 日 本 ） を ク エ リ と し て 検 索 し た 結 果 ， 表 4 は ， 画 像 nosmoking1.jpg（ 色 彩 ： オ レ ン ジ ， 形 状 ： 丸 ， 意 味 ：「 禁 煙 」， 国 ： ア メ リ カ ） を ク エ リ と し て 検 索 し た 結 果 を 示 し て い る ．両 ク エ リ と も ，形 状： 丸 を 共 通 要 素 と し て ， 意 味 と し て は 「 禁 煙 」 を 呼 び か け る サ イ ン で あ る ．表 4 で は ，「 禁 止 」と い う 意 味 を 持 っ た 赤 い 色 の 丸 に ク ロ ス が 入 っ て い る 画 像 が 上 位 に 検 索 で き て い る こ と が 分 か る ． 表 5 で は ， ２ 番 目 に 色 違 い の 画 像 が 出 て い る 以 外 は ， 全 て オ レ ン ジ の 画 像 で ， 全 体 的 に 形 が 似 て い る も の が 上 位 に 検 索 さ れ て い る ．

表 3 実 験 2-1 の 検 索 結 果 ラ ン キ ン グ ： 画 像 nosmoking.jpg（ 色 彩 ： 赤 ・ 黒 ， 形 状 ： 丸 ， 意 味 ：「 禁 煙 」， 国 ： 日 本 ） を ク エ リ と し た 場 合 表 4 実 験 2-2 の 検 索 結 果 ラ ン キ ン グ ： 画 像 nosmoking1.jpg（ 色 彩：オ レ ン ジ ，形 状：丸 ，意 味：「 禁 煙 」， 国 ： ア メ リ カ ） を ク エ リ 画 像 と し た 場 合 表 4 の 場 合 は ， 赤 と 黒 の 組 み 合 わ せ に 強 く 反 応 し て い る 一 方 ， 表 5 の 場 合 は ， 形 に よ り 反 応 し ， 上 位 ２ 位 以 内 は ほ ぼ 同 じ 意 味 の 画 像 が 検 索 さ れ た と い う 分 析 が で き る ． 実 験 ２ で は ， 色 が 違 っ て い て も ， 形 が 同 じ で あ れ ば ， 意 味 も ほ ぼ 同 じ で あ る ケ ー ス が 存 在 す る こ と を 示 す こ と が 出 来 た ． 5.3 実 験 ３ 実 験 ３ で は ， 表 2 の ケ ー ス 3， す な わ ち ， 形 状 は 異 な る が 色 彩 が 同 じ ２ つ の サ イ ン ・ ロ ゴ 画 像 を ク エ リ と し て 検 索 し た 結 果 上 位 5 件 の 意 味 内 容 を 比 較 す る こ と に よ っ て ， 本 シ ス テ ム の 多 様 性 へ の 対 応 可 能 性 に つ い て 検 討 す る （ 表 5， 表 6）． 表 5， 表 6 は ， 入 力 さ れ た ク エ リ の サ イ ン ・ ロ ゴ 画 像 の 色 彩・形 状 に 着 目 し,検 索 を 行 っ た 結 果 で あ る ．表 5 は ， 画 像 caution.jpg（ 色 彩 ： 黄 ・ 黒 ， 形 状 ： 三 角 ， 意 味「 注 意 」，国：日 本 ）を ク エ リ と し て 検 索 し た 結 果 ， 表 4 は ， 画 像 otherdangers.jpg（ 色 彩 ： 黄 ・ 黒 ， 形 状 ： ひ し 形 ， 意 味 ：「 注 意 」， 国 ： 日 本 ） を ク エ リ と し て 検 索 し た 結 果 を 示 し て い る ． 表 5 実 験 3-1 の 検 索 結 果 ラ ン キ ン グ ： 画 像 caution.jpg （ 色 彩 ： 黄 ・ 黒 ， 形 状 ： 三 角 ， 意 味 ：「 注 意 」， 国 ： 日 本 ） を ク エ リ と し た 場 合 表 6 実 験 3-2 の 検 索 結 果 ラ ン キ ン グ ： 画 像 otherdangers.jpg（ 色 彩：黄・黒 ，形 状：ひ し 形 ，意 味 ： 「 注 意 」， 国 ：「 日 本 」） を ク エ リ と し た 場 合 両 ク エ リ と も ， 色 彩 ： 黄 ・ 黒 と い う 共 通 要 素 を 持 っ て い て ， 意 味 は プ ロ ダ ク ト と 道 路 と カ テ ゴ リ が 違 っ て い る も の の ， ほ ぼ 同 じ で あ る と 言 え る ． 色 が 同 じ で ， 意 味 が 似 て い て ， 形 が 三 角 と ひ し 形 と い う ， 違 う 形 状 を 持 っ た サ イ ン ・ ロ ゴ で あ る こ と が 分 か る ． さ ら に ， 全 体 を 見 て み る と ， そ れ ぞ れ ク エ リ 画 像 と 似 た 形 を 持 つ 画 像 が ラ ン キ ン グ 上 位 に 検 索 さ れ て お り ， そ の 意 味 の 種 類 が 表5 と 6 で は 全 体 的 に 違 っ て い る の が 分 か る ． 実 験 ３ で は ， 色 と 形 の 組 み 合 わ せ に よ っ て カ テ ゴ リ が 変 わ る と い う こ と ， そ し て 形 が 異 な っ て も ， 色 が 同 じ で あ れ ば ，サ イ ン •ロ ゴ は 似 た よ う な 意 味 を 持 つ ケ ー ス が あ る と い う こ と が 分 か っ た ． 5.4 実 験 ４ 実 験 ４ で は ， 表 2 の ケ ー ス 2， す な わ ち ， 色 彩 も 形 状 も 同 じ ２ つ の サ イ ン ・ ロ ゴ 画 像 を ク エ リ と し て 検 索 し た 結 果 上 位5 件 の 意 味 内 容 を 比 較 す る こ と に よ っ て ，

本 シ ス テ ム の 多 様 性 へ の 対 応 可 能 性 に つ い て 検 討 す る （ 表 7， 表 8）． 表 7， 表 8 は ， 入 力 さ れ た ク エ リ の サ イ ン ・ ロ ゴ 画 像 の 色 ・ 形 状 に 着 目 し ， 検 索 を 行 っ た 結 果 で あ る ． 表 7 は ，画 像 donotenter1.jpg（ 色 彩：赤 ，形 状：丸 ，意 味 「 進 入 禁 止 」，国：ヨ ー ロ ッ パ ）を ク エ リ と し て 検 索 し た 結 果 ， 表 8 は ， 画 像 carsdonotenter.jpg（ 色 彩 ： 赤 ， 形 状 ： 丸 ， 意 味 ：「 車 両 進 入 禁 止 」， 国 ： 日 本 ） を ク エ リ と し て 検 索 し た 結 果 を 示 し て い る ．色 彩：赤 ，形 状 ： 丸 を 共 通 要 素 と し て ， 意 味 が 似 て い る サ イ ン 同 士 を 比 較 し た ． こ の 場 合 ， ２ つ の 画 像 は 色 も 形 も 同 じ で あ る た め ， 検 索 結 果 も 類 似 す る は ず で あ る が ， 表 7 と 表 8 を 比 べ て み る と ， 結 果 の 第 ３ 位 以 降 が 違 う 結 果 に な っ て い る こ と が 分 か る ． こ の 違 い が 生 ま れ た 原 因 と し て 考 え ら れ る の は ，表 8 の 画 像 に 共 通 す る 円 の 周 り の 線 で あ る ． こ う い っ た 細 か い 違 い に も ， シ ス テ ム は 反 応 し て い る こ と が 分 か る ． 実 験 ４ よ り ， 同 じ 色 彩 と 形 状 を 持 つ サ イ ン 同 士 で は ， 意 味 が 似 て い る ケ ー ス が 存 在 す る と い う こ と が 分 か っ た ． 表 7 実 験 4-1 の 検 索 結 果 ラ ン キ ン グ ： 画 像 donotenter1.jpg（ 色 彩 ： 赤 ， 形 状 ： 丸 ， 意 味 ：「 進 入 禁 止 」， 国 ： ヨ ー ロ ッ パ ） を ク エ リ と し た 場 合 表 8 実 験 4-2 の 検 索 結 果 ラ ン キ ン グ ： 画 像 carsdonotenter.jpg（ 色 彩 ： 赤 ， 形 状 ： 丸 ， 意 味 ：「 車 両 進 入 禁 止 」， 国 ：「 日 本 」） を ク エ リ と し た 場 合 5.5 実 験 ５ 実 験 ５ で は ， 表 2 の ケ ー ス 5， す な わ ち ， 色 彩 も 形 状 も 似 て い る ２ つ の サ イ ン ・ ロ ゴ 画 像 を ク エ リ と し て 検 索 し た 結 果 上 位 5 件 の 意 味 内 容 を 比 較 す る こ と に よ っ て ， 本 シ ス テ ム の 多 様 性 へ の 対 応 可 能 性 に つ い て 検 討 す る （ 表 9， 表 10）． 表 9 実 験 5-1 の 検 索 結 果 ラ ン キ ン グ ： 画 像 police.jpg （ 色 彩 ： 青 ，形 状 ： 人 ，意 味「 警 察 」，国 ： 日 本 ）を ク エ リ と し た 場 合 表 10 実 験 5-2 の 検 索 結 果 ラ ン キ ン グ ： 画 像 crewroom.jpg（ 色 彩 ： シ ア ン ， 形 状 ： 人 ， 意 味 「 乗 務 員 室 」， 国 ： 日 本 ） を ク エ リ と し た 場 合 表9， 表 10 は ， 入 力 さ れ た ク エ リ の サ イ ン ・ ロ ゴ 画 像 の 色 ・ 形 状 に 着 目 し ， 検 索 を 行 っ た 結 果 で あ る ． 表 ９ は ，画 像 police.jpg（ 色 彩：青 ，形 状：人 ，意 味「 警 察 」, 国 ： 日 本 ） を ク エ リ と し て 検 索 し た 結 果 ， 表 １ ０ は ，画 像 crewroom.jpg（ 色 彩：青 ，形 状：人 ，意 味 ： 「 乗 務 員 室 」，国：日 本 ）を ク エ リ と し て 検 索 し た 結 果 を 示 し て い る ． 色 彩 ： 青 ・ シ ア ン ， 形 状 ： 人 を 類 似 し て い る 要 素 と し て ， 意 味 が 似 て い る サ イ ン 同 士 を 比 較 し た ． 色 彩 は 青 と シ ア ン ， 形 状 は 人 型 と な っ て い て ， こ の ２ つ の ク エ リ 画 像 は 似 て い る 画 像 同 士 で あ る と 言 え る が ， こ の ２ つ の 画 像 は 全 く 異 な る 意 味 を 持 っ て い る ． 両 方 の 結 果 で は ， ５ 件 中 ３ 件 が 人 形 の 画 像 と な っ

て お り ， 複 雑 な 形 に も シ ス テ ム は 対 応 で き て い る こ と を 示 し て い る ． こ の 結 果 よ り ， 色 と 形 が 似 て い て も ， 意 味 が 異 な る ケ ー ス が 存 在 す る こ と が 分 か っ た ．

6. 実 験 の 考 察 お よ び 結 論

本 実 験 で は ， 国 ・ 地 域 ・ 文 化 の 異 な る 各 国 ・ 地 域 の サ イ ン ・ ロ ゴ 画 像 を 対 象 と し て ， 対 象 画 像 の 多 様 性 を 吸 収 し ， 共 通 性 を 抽 出 す る と い う 本 シ ス テ ム の 特 徴 と 検 証 す る た め ， ま ず ， 実 験 1 で は 本 サ イ ン ・ ロ ゴ を 対 象 と し た CBIR 機 能 の 精 度 実 験 を 行 っ た ． 実 験 2 か ら 実 験 5 で は ， 二 つ の 画 像 （ ク エ リ 画 像 同 士 ， ク エ リ 画 像 と 検 索 対 象 画 像 ， 検 索 対 象 画 像 同 士 ） 間 の 特 徴 の 組 み 合 わ せ ケ ー ス と そ の 意 味 内 容 に 関 す る 仮 説 を 示 し ， そ れ ぞ れ の ケ ー ス に つ い て の 検 索 結 果 を 比 較 考 察 し た ． 実 験 2 で は ， 色 彩 が 異 な る が ， 形 状 が ほ ぼ 同 じ で ， 意 味 が 同 じ で あ る 二 つ の ク エ リ 画 像 に つ い て の 検 索 結 果 を 示 し ， 比 較 を 行 っ た ． 実 験 3 で は 形 状 が 異 な り ， 色 彩 が 同 じ で ， 似 た よ う な 意 味 を 持 つ 二 つ の ク エ リ 画 像 に つ い て の 検 索 結 果 を 示 し ， 比 較 を 行 っ た ． 実 験 4 で は ， 同 じ 色 彩 と 形 状 を 持 つ サ イ ン 同 士 で ， 意 味 が 似 て い る ケ ー ス を 示 し た ． 最 後 に ， 実 験 5 で は ， 色 彩 と 形 状 が 似 て い て も ， 意 味 が 全 く 異 な る ケ ー ス も 存 在 す る と い う こ と を 示 し た ． 実 験 ２ ５ で 仮 説 を 定 義 し ， そ の 様 々 な ケ ー ス に つ い て 実 験 を 行 う こ と に よ り ， 本 シ ス テ ム の 特 徴 で あ る ， 国 ・ 地 域 ・ 文 化 間 の サ イ ン ・ ロ ゴ 画 像 特 徴 の 共 通 性 や 多 様 性 に 対 応 し ， ユ ー ザ の 現 在 位 置 に 対 応 す る サ イ ン ・ ロ ゴ の 意 味 内 容 の 獲 得 を 可 能 と す る 点 を 確 認 し た ． こ れ ら の 実 験 か ら 得 ら れ た 知 見 と し て は ， サ イ ン ・ ロ ゴ の 意 味 は そ の 色 彩 と 形 状 に よ っ て 表 わ さ れ る と い う 点 に お い て は ，既 存 の 研 究・調 査[3][4]と ほ ぼ 合 致 す る 結 果 が 得 ら れ た が ． 実 験 5 の よ う に 色 彩 と 形 状 が 類 似 し て い る 画 像 同 士 で も ， 意 味 が 異 な る ケ ー ス が 存 在 す る こ と も 分 か っ た ． た だ し ， こ れ ら の 意 味 の 多 様 性 も ， 入 力 画 像 に 付 与 さ れ た 時 空 間 情 報 の 分 析 機 能 を 本 シ ス テ ム に 追 加 す る こ と に よ り ， 解 決 可 能 で あ る と 考 え ら れ る ． 今 後 の 課 題 と し て は ，本 シ ス テ ム の 画 像 関 連 意 味 情 報 提 供 機 能 の 定 量 的 な 精 度 実 験（ ユ ー ザ ス タ デ ィ ），お よ び ， 本 シ ス テ ム に よ る 実 用 的 な ア プ リ ケ ー シ ョ ン の 実 現 に あ る ． こ の よ う な 現 状 の 携 帯 カ メ ラ を 用 い た サ イ ン ・ ロ ゴ の 意 味 認 識 シ ス テ ム が 世 界 中 の 人 に 使 わ れ る よ う に な れ ば ， サ イ ン ・ ロ ゴ の 定 義 の 標 準 化 や 使 わ れ 方 自 体 も 変 化 す る こ と が 予 想 さ れ る ． し か し ， そ の 実 現 に お い て ， サ イ ン ・ ロ ゴ の 背 景 に つ い て の 問 題 が 存 在 す る ． サ イ ン •ロ ゴ は 周 辺 の 状 況 に よ っ て ， 図 と 地 の 色 を 反 転 さ せ て 使 わ れ る こ と が あ る ． 特 に 課 題 と な っ て く る の が ， こ の 状 況 に よ っ て の 変 化 に 対 応 す る こ と で あ る ．同 じ サ イ ン・ロ ゴ で も ，撮 る 方 向 や 場 所 に よ っ て ， 色 彩 や 形 状 が 変 化 し て し ま う こ と も 考 え ら れ る ． あ ら ゆ る 変 化 に 対 応 で き る か ど う か と い う 点 が ポ イ ン ト に な っ て く る ． 空 港 ・ 駅 ・ 停 留 所 な ど の 公 共 の 場 所 で は ，サ イ ン の 隣 に そ の サ イ ン の 説 明 が 書 か れ て い る ケ ー ス が 多 い ． 特 に 国 際 空 港 な ど の グ ロ ー バ ル な 場 所 で は ， 現 地 語 の 説 明 書 き に 加 え て ， 主 に 使 わ れ て る 言 語 で の 説 明 書 き も 設 置 さ れ て い る ． こ の シ ス テ ム を 利 用 す れ ば ， 説 明 書 き 自 体 が 必 要 と な く な り ， そ の サ イ ン の み の 表 示 で 十 分 な 伝 達 が 可 能 に な る ． こ う し て ， サ イ ン ・ ロ ゴ が 本 来 の シ ン プ ル で 伝 わ り や す い 形 へ と 変 化 す る こ と が で き る と 考 え る ．

参 考 文 献

[1] 田 中 一 郎 ， 鈴 木 二 郎 ， “ ウ エ ブ と デ ー タ ベ ー ス ”, DEWS 2008.

[2] I. Tanaka and J. Suzuki, “Web and Database Technologies”, Proc. of ACM SIGMOD, pp. 10-22, 2010.

[3] 村 越 愛 策 (監 修 )，『 世 界 の サ イ ン と マ ー ク 』， 世

界 文 化 社 ，2002 年 ．

[4] Rayan Abdullah and Roger Hubner, ”SIGN, ICON and PICTOGRAM”， R.I.C ， 2006．

[5] Ali Ridho Barakbah, Yasushi Kiyoki: A New

Approach for Image Segmentation using

Pillar-Kmeans Algorithm, International Journal of Signal Processing, Vol. 6, No. 2, pp. 82-87, WASET, 2010.

[6] Ali Ridho Barakbah, Yasushi Kiyoki: An Image Search System with Analytical Functions for 3D Color Vector Quantization and Cluster-based Shape and Structure Features, Information Modelling and Knowledge Bases, Vol. XXI, pp. 169-187, IOS PRESS, March 2010.