感性語句を用いた自然言語文による画像データベー スの対話的検索

感性語句を用いた自然言語文による画像データベー スの対話的検索

著者 原田 将治

雑誌名 静岡大学大学院電子科学研究科研究報告

巻 20

ページ 168‑170

発行年 1999‑03‑31

出版者 静岡大学大学院電子科学研究科

URL http://hdl.handle.net/10297/1547

氏名 。(本籍

) 

,将   

)

学位 の種類

 (工

⁾

学 位 記 番号

  175  

学位授与の要件

学位論文題目

論 文 審 査 委 員   (委員長)

教 授

論 文 内 容 の 要 旨

近年の計算機の著 しい技術の進歩に伴い専門的知識を持たない利用者 も計算機上で文書や画像、音 声などに触れる機会が増 え、画像データベース検索システムにおいても、そのような利用者を対象 と

したシステムの実現が望 まれている。そこで本論文ではそのようなユーザにとって使い易い画像デー タベース検索手法について考察 を行 った。

従来の言語・言語型の画像検索システムにおいては、画像 ごとにその内容 を表すキーワー ドを予め 付与 してお き、検索はそれらを用いて行 うという方法が主流であった。この方法は、実用的手法では あるが、キーヮー ドとしてどんなものが付与されているかをある程度知つていなければ使えない。ま た、情報付与の手間といつた問題点がある。画像をキことし画像間の類似度による検索を行 う画像・

画像型は、直観的には分 りやすいが、検索条件たる画像の入力方法に難がある。言語・画像型は言語 をキーとしそれに対応付けられた画像特徴により検索 を行 うものであるが、現状では検索条件 として 用いられる表現 に制約のあるものが多い。そこで本論文では気軽 に自由な表現が可能な自然言語を検 索キーとした言語・画像型のシステムを目標 とした。また特に、対象物の直観的な印象を表すような 感性語句 を用いた曖味検索、検索が失敗 しても比較表現 を用いて対話的な検索を行 うことで絞 り込む 検索 を可能 とするシステムを目標 とした。

本論文では、まず、言語情報 と画像情報のマ ッチング手法の基礎的な枠組みについての考察を行っ た。それに基づいて、言語の意味を表す意味表現、画像を指定するため中間表現 といつた^2つの媒介

表現 を用いるマ ッチ ング手法を提案 した。意味表現 を用いることで自然言語における同義文に対 し文 体によらずに一定の処理 を施すことができる。また、中間表現は画像特徴 を構成要素 として画像 と同

じ階層構造か らなるため、画像か ら得 られる情報 と直接マ ッチ ングすることがで きる。

ついで、画像検索の手掛か りとして有効 と思われる色特徴の解釈手法についての検討を行った。画 像特徴 としては心理的印象を反映 した連続値 を取 り、画像解析 により抽出可能な色相、彩度、明度で 構成 されるHSV色空間を用いることに した。色特徴の解釈は、各々の感性属性概念 ごとに対応する

HSV空間上での領域、ピーク点を定義 し、それらに基づ く解釈ルールを利用 して検索条件を生成する という手順で実行することに した。 この手法は単純 なルールを基 にしてお り、各々の感性語句の定 義、修正が容易にできるため、解釈の仕方の修正や変更に対 してフレキシブルに対応することが可能 である。 さらに実際に構築 したシステムに対 し^GIIIと の比較評価行 った。被験者の感想から、提案す る自然言語インタフェースが、検索成功率、検索回数、質問検討時間について、ほlrGuと同等の能 力をもつインタフェースであることが確認 された。また、画像データベースの検索に自然言語 を用い たとき、利用方法を学習する手間がないこと、感性語句 を用いたイメージ検索による発見的検索が行 えること、比較表現 を用いることにより高い成功率で検索可能なことなど、本手法の有効性 を確認で きた。

さらに形状特徴 による検索 についての考察を行 つた。形状特徴 においては、色特徴 におけるHSV空

間のように人間の直観を反映 した連続的な値 を取 り、かつ、画像解析 により抽出可能な特徴で構成 さ れる空間は存在 しない。このため、そのような性質を持つ形状特徴空間を構築する手法を検討 した。

具体的には、まず、SD法を用いて人間のイメージの測定 を行い、心理的印象 を反映 した心理的な形 状特徴空間を構成 した。次に重回帰分析を用い画像特徴からその心理的特徴空間への対応付けを行 う

ことで形状特徴空間を構築 した。構築 した特徴空間の評価 を、重回帰分析で用いなかつた未知データ を用いて行 つた。その結果、SD法で得 られた特徴空間 との高い相関が得 られ、構築 した特徴空間が 心理的特徴 を反映 した空間であることを確認 した。 この空間を用いることで、色特徴 と同様な手法で 感性語句の解釈が可能 となった。

以上、画像データベースの検索に専門的な知識 を持たないユーザを対象 とし、自然言語文により画 像の検索が可能なインタフェースの構築についての考察を行 った。l色特徴、形状特徴 を指定する表現 に対 し、心理的印象を反映 した特徴空間、および、感性的属性概念 とその空間上での領域や ピーク点 を対応づけるルールを定義 した。また、このルールを用いて言語表現 を解釈するアルゴリズムを定め た。 さらに、この方法は、各画像の特徴空間における位置は画像解析により自動的に同定可能である ため、人手による情報付与 といつた手間がかか らない という特長 ももっている。椅子画像の検索を題 材 として試作 したシステムによる検索実験 により、本論文で提案 したインタフェァスが有効なもので あることを確認 した。ここでは、色特徴、形状特徴のみを対象 としたが、ここで用いた手法はそれ以 外の特徴に対 しても適用可能であ り、本論文は、感性語句 を含む自然言語を受理するインタフェース

システムの構築手法 を提案するものである。

‑169‑

論 文 審 査 結 果 の 要 旨

本論文では画像データベース検索 システムにおいて計算機や画像対象に対する知識 を持たないユー ザにとって使い易いユーザインタフェースの構築を目指 し、入力に自然言語文を用いる検索手法を考 察 している。検索キーとして、制約の少ない自然言語 を利用で きるようにし、特 に「暖かい」、「かわ いい」といった人間の主観的直観的な印象を表す感性語句による曖味な条件による検索 を可能 とし、

さらに比較表現 を用いて対話的検索 を行 えるようにすることで、使いやす さの向上 を試みている。

本論文は全6章 か らなっている。

第1章は序論であ り、研究の背景 と問題点、本研究の目的について述べている。

第2章 では画像データベースの検索手法 に関する従来の研究における手法、問題点 についてまと め、望 まれる検索手法について整理 している。

第^3章では、言語 と画像 をマ ッチ ングするための基礎的考察を行っている。感性語句 とその比較表 現における言語 と画像 との対応付け手法(解釈手法)と して、画像特徴空間上で定義 した領域・ピーク 点に基づ く解釈アルゴリズムを提案 している。この解釈手法は、各々の感性語句の定義 0修正が容易 にで きるため、解釈の修正や変更に対 して柔軟 に対応できるという特徴 をもっている。

第4章 では色特徴 を表す表現の解釈 にHSV色空間を用いることの妥当性 について考察 している。ま た、試作 システムについて、個々のユニットの具体的な実現方法を述べている。さらに、G■IIとの比 較評価 を行い、検索成功率・検索回数・質問検討時間についてGUIと ほぼ同等の能力 をもつインタ フェースであることを確認 している。また、画像データベースの検索に自然言語を用いたとき、利用 方法を学習する手間がないこと、感性語句 を用いたイメージ検索による発見的検索が行えること、比 較表現 を用いることにより高い成功率でで きること、 といった本手法の有効性 を確認 している。

第^5章では形状特徴 を表す表現の解釈方法に必要な形状特徴空間の構築を行 っている。まず、SD法 を用いて形状特徴に対する人間のイメージの測定を行い、心理的印象を反映 した形状特徴空間を構成 し、画像特徴からその心理的特徴空間への回帰式を重回帰分析 により求める、という特徴空間の構築 手順 を提案 している。また、構築 した特徴空間に対 して未知データを用いた評価実験 を行い、それが 心理的な印象を反映 した空間であることを確認 している。さらに実装 したシステムにより構築 した特 徴空間による検索が有効であることが示 している。

第6章 では、本論文のまとめと評価 を行 っている。

以上の成果は、画像データベース検索における自然言語インタフェースが素人のユーザに対 して有 効であることを示 した ものであ り、博士(工学)の学位 を与えるのにふ さわ しいと認定する。

‑170‑