マルチモーダルユーザインタフェースを備えた
高次コミュニケーション空間の構築に関する研究開発
通信放送機構委託研究(1997∼2001)
伊藤洋 今宮淳美 岩沼宏治 小方孝 小澤賢司
唐澤博 郷健太郎 茅暁陽 福本文代 服部元信
コンピュータ・メディア工学科1 はじめに
東京・山梨・長野間の中央コリドー構想やその後 の総務省(旧郵政省)関連の研究開発用ギガビット ネットワ・一…クなどの広帯域高速通信インフラの整備 とシステム開発が急速に進んでいる.それらシステ ムをいかに構築し,有効利用するかは国内外で重要 なテーマである.そのなかで,情報通信ネットワーク上における人間とコンピュータ,およびコン
ピュータが仲介する人間と人間との知的で効果的な マルチメディアコミュニケーションを可能とする仮 想情報空間の構築は,国家プロジェクトテーマのひ とつである. 図1に示すように,人間にとって自然でより臨場 感のあるコミュニケーション環境を実現するには, 複数のモダリティ,すなわち視覚・聴覚・触覚など からの知覚情報である画像/テキスト/音声(また は非言語音)/ジェスチャー/視線などの情報を統 合することによってユーザの操作/対話の意図を理 解し,対話の状況や環境に適切なメディア形態に自 動変換/転送する知的情報処理機構と様々なモーダ ルモダリティを利用して自然に交信できる高度な ユーザインタフェースが不可欠である. これらの背景と視点から,山梨大学工学部コン ピュータ・メディア工学科情報メディアグループでは,通信・放送機構(TAO)の委託研究とし
て,1997年より5年間にわたり,このような次世代 の高次コミュニケーション空間の構築を目的とし て, その実現に必要な要素技術の確立とシステム 開発を行った.本稿では,本研究プロジェットの概 要および主な成果について報告する. 図1 マルチモーダルユーザインタフェースと知的情報処理機構を備えた高次コミュニケーション空間2 研究概要
本プロジェクトは下記の3つの研究項目から成 る. ●モダリティの知的統合・変換 ●高次コミュニケーション空間の構築 ●マルチモーダルユーザビリティテスト仮想ラボ 2.1 モダリティの知的統合・変換 音声・文字・画像などの複数メディア間の統合・ 変換を行うためには,まず各モダリティからの入力 を意味的に解釈する必要がある.また,各メディァ における構成要素(テキスト中の単語,画像中の物 体など)は唯一の意味を持たず,多義的であること が少なくない.人間はこうした多義から生じる曖昧 性を,言語については多くの場合文脈で,画像の場 合には周囲の環境や状況を基に推論することでうま く解消しているが,本研究が目指す知的メディア統 合・変換においても同様な機能が不可欠である.そ の実現にむけて,対話・談話におけるユーザ意図の 理解機構,複数のメディア間の相互連想及び曖昧性 の解消を行うことを目的とする脳の記憶方式を模擬 したニューラルネットワーク連想メモリ,そして複 数メディア情報の相補的利用による曖昧さの解消法 の開発を行った. 2.3 マルチモーダルユーザビリティテスト仮想ラボ
自然なコミュニケーションを可能とするために は,多次元の感覚情報を利用するヒューマンインタ フェース及びコラボレーション技術の開発が必要で ある.本研究ではネットワークを利用したユーザビ リティ評価仮想ラボの開発を通して,マルチモーダ ルユーザインタフェー・一スの設計・評価・管理環境の 構築とネットワークを介した協調作業の支援に必要 な要素技術の確立とシステム開発を行う.専門的知 識を持たない一般ユーザが,情報通信技術の恩恵を 享受するためには,易しく使いやすい情報システム をユーザに提供しなければならない.そのために は,既存のシステム,あるいは開発中のシステムの プロトタイプを,定量的,定性的に利用試験して ユーザビリティを評価し,システムの設計に反映さ せる必要がある.本研究では,このようなユーザビ リティを評価する実験環境をネットワーク上に構築 する.具体的には,ネットワークとCG技術による ラボの仮想化,マルチモーダルユーザインタフェー ス設計・評価・管理ッール群の開発,実験者と被験 者との間で実験について議論・分析するためのコラ ボレーション環境の実現の3つの研究項目から成 る.3 研究成果
2.2 高次コミュニケーション空間の構築 より自然で効果的なコミュニケーションを実現さ せるためには,コミュニケーションの物理的な場と なる仮想空間の構築技術が必要不可欠である.本研 究では,写実的なCG画像生成技術として,人物を 特徴づける上でもっとも重要な要素の一つである 「人間の頭髪」のCGモデリングならびに表示技術 についての研究を行った.そして,臨場感を向上さ せるための音響信号処理手法,複数ユーザによる仮 想空間の共有や,ユーザ相互のコミュニケーショ ン・インタラクションを可能にするための発想・表 現支援環境の開発も行った.また,現実のコミュニ ケーションでは不可避である不完全情報通信環境を 仮定し,その上での合理的な分散協調計算の実現, および知的コミュニーションの支援を目的としてWWWサイトに蓄積された膨大なデータ上の種々
の知的な自動処理,不完全情報化の推論手法の開発 を行った. 本節では分野ごとに主な成果について報告する. 3.1 モダリティの知的統合・変換 ■対話・談話におけるユーザ意図の理解 言語によるコミュニケーションでは話者意図の理解が重要である.本研究では,人間またはコン
ピュータが発した日本語文の意図をコンピュータが 理解することを目的とする.意図を理解することに より,適切なレスポンスを人間またはコンピュータ に返すことができるようになる.日本語文において は文末表現に話者の聞き手に対する意図情報が集中 しているため,これを意図の種類毎に分類整理して 意図解析の段階に適用することで直接的言語行為と しての意図情報が得られる.一方,間接的言語行為 における意図情報は,前述の手法により得られた意 図情報を基にして話者のプランあるいはスキームを 推定し,上位の意図を推定する機構を適用すること で得られる.しかし,ある言語行為が直接的か間接的かは,発話時点の対話状況に依存する.さらに, 間接的言語行為における意図の推定においても,発 話時点の対話状況を考慮しないと意図の多義性が解 消でない場合が多い.以上から,対話状況もしくは 文脈を考慮して意図解析する事が重要であることが わかる.この事は,話者の意図が,表層的な意図表 現と多様な対話状況の組合わせの結果定まることに なり,この組合わせの機構の実現方法としてニュー ラルネットワークを用いた連想機構を採用すること にし,本研究プロジェクトの最終段階では意図の曖 昧性解消を含む文脈情報の連想処理の研究を行っ た. ■ニューラルネットワークの利用による 曖昧さの解消 複数のメディア間の相互連想及び曖昧性の解消を 行うことを目的とし,脳の記憶方式を模擬iした ニューラルネットワーク連想メモリの開発を行っ た.従来の連想メモリは,ある程度の曖昧連想能力 を有してはいるものの,記憶容量が極めて小さい上 に,1対多の関係にある情報や,音声や動画に見ら れる時系列情報の連想を扱うことができないため, 実用性が非常に乏しかった.また,情報をネット ワークの重みに分散して記憶するため,新規な情報 のみで追加学習を行うことが困難であった.これら の問題に対し,本研究では,自己組織化特徴マップ を基本構造とした連想メモリを構築し,新しい学習 法を開発した.この学習法では,十分に学習が行わ れたマップ上のニューロンの重みを硬直させ,それ 以後の学習では重みの修正を行わない.また,重み が硬直したニューロンの近傍に位置するニューロン は,重みの修正を受けにくくする.これにより,新 規な情報のみで追加学習が行えるようになった.他 にも,優iれた曖昧連想能力を有する,記憶容量が極 めて大きい,1対多の連想が可能などの特性が明ら かになった(1)・(2).また,新規な情報が干渉する既 記憶情報を利用して,記憶の再構成を行う学習法を 開発し,記憶情報から概念形成などの高次情報処理 が行えることを明らかにした(3),(4).さらに,学習 及び想起の際に過去の入力情報の影響を反映させる ことで,同じ構造の連想メモリで時系列情報も扱え ることを明らかにした(5).これらの研究成果によ り,本連想メモリが優れた曖昧連想能力を有し,文 字や画像などの静的な情報と音声や動画などの動的 な情報を扱うことができることが明らかになった. ■複数メディア情報の相補的利用による 曖昧さの解消 各種モダリティの統合に関する従来の研究は,い ずれも異なるモダリティの統合,すなわち,複数メ ディア情報を相補的に用いて曖昧さを解消する問題 に焦点があてられており,解消に必要な知識をどこ からどのようにして得るか,さらに得られた知識を どう利用するかという問題についてまでは言及され ていなかった.本研究では,ポインティングデバイ スによる位置情報と音声情報との統合に焦点をあ て,これらを的確に同期させるために,述語の階層 構造に基づき発話文を分割するという手法を提案し た(6).また,これを用いることで発話中の指示語と 指示行為により指した図形オブジェクトとの対応が とれること(7),図形オブジェクトに対して意味を付 与することが可能となることを実験的に示した.さ らに同定率を向上させるため,(1)現場指示と文内指 示の曖昧さと(2)音声(テキスト)の語義の曖昧さに 注目し,解消に必要な知識としてそれぞれ(1)述語の モダリティと②共起関係と自立語を大量データか ら,統計手法,及び機械学習を用いて自動的に抽出 する手法,及びその結果を用いてそれぞれの曖昧さ を高精度で解消する手法を提案した(8)・(9)・ω).本研 究は各モダリティで生じる曖昧さを解消するときに 必要とされる知識の自動獲得とその利用を目指す点 で,これまでのモダリティ統合に関する研究とは大 きく異なる.本研究の実施により,扱う分野ごとに 人手で規則を記述するという労力とコストが同定率 を低下させることなく軽減できることが確認でき た. 3.2 高次コミュニケーション空間の構築 ■仮想情報空間における人物表現のため3次元CG 技術 人物を特徴づける上でもっとも重要な要素の一つ である「人間の頭髪」のCGモデリングならびに表 示技術について研究を行ってきた.仮想空間内にお けるスムーズなコミュニケーションを実現するため には,写実的な表現法が必要となる.一方,ネット ワークを介したコミュニケーション空間のモデリン グ技術としてもっとも重要視すべきことの一つは, データ容量である.CGによる頭髪表現は,個々の 髪を円柱やライン等のポリゴンデータとして定義す るポリゴンベースの方法と,頭髪を表すテクスチャ をモデルに張り付けるテクスチャベースの方法とに
大別される.ポリゴンベース方法は膨大なデータ量 が必要であり,データ量を最も重要視すべきネック ワーク上での応用には適さないとされている.一 方,テクスチャベース方法もテクスチャのラスタ データやマッピング時に使用するUVデータを必要 とするため,データの転送に多大な時間を要する場 合も少なくない.マッピングに使われる頭髪テクス チャは人手でペイントしたものか,実際の頭髪の写 真が使われる.複雑なヘアスタイルを表すには通常 複数のテクスチャが必要であり,それらを不自然に ならないようにマッピングするのは困難である.ま た,視点や光源の移動に合わせて模様を変化させる ことも困難である.本研究では髪の方向を示すベク トルを頭部モデルの代表的な部位に指定するだけ で,リアルな頭髪テクスチャを頭部モデル上で自動 的に生成できる技法の開発に成功し,既存手法の諸 問題を解決することができた(11)・(12).また,既存の 頭髪モデリングツールでは,頭髪の形状を一本一本 または房単位で指定する必要があり,ユーザの熟練 を必要とする上で,目標となるヘアスタイルを得る のには膨大な時間と労力を必要とする.本研究で は,ユーザにマウスを使って,頭髪の分け目や,ヘ アスタイルのシェルエットなど,数本の曲線を対話 的に描いてもらうだけで,頭髪モデルを自動生成で きる頭髪モデリングシステムも開発した(13). ■仮想コミュニケーション空間での不完全情報処理 のための推論手法の開発 知的コミュニケーション空間実現のためには,不 完全情報などに対処できる高次推論法の実現が必要 不可欠である.その基礎として命題論理,一階述語 論理の自動推論について研究してきた.また現実の 不完全通信環境を仮定し,その上での分散協調計算 の実現を目的とした高次推論法について研究を行
なってきた.更に現実のWWWサイトに蓄積され
た膨大なデータ上の機械推論の実現を目的とし,例に基づくHTML文書からXML文書への自動変換
について研究を行なってきた.命題論理に関して は,遺伝的プログラミングとタブロー法を用いた新 しい手法を考案した(16).また一階推論の高速化法 として,モデル消去法へ強縮約技法を導入し,実験 的評価により良好な結果を得ている(14).また冗長 な再計算の抑制法として,補題とその一般化法など の高速化技術についても研究を行わない,極めて良 好な結果を得た(18).なお本研究で開発した定理証 明システム1−THOPは,世界的規模の定理証明シ ステム競技会に参加している(15).マルチエージュ エントシステムは知的で不完全情報環境を持つ仮想 空間の典型的な例である.不完全通信環境における 協調計算の実現を目的とし,常識推論モデルである サーカムスクリプションの近似計算法(17)や,アブ ダクションによる先行投機推論法(19)の実現につい て研究を行ってきた.また知的コミュニーションの支援を目的として,現実のWWW上の膨大なデー
タ上の種々の機械推論を可能にすべく,例に基づくシリーズ型HTML文書のXML文書への自動変換
について研究してきた(20).これはHTMLテキスト の知的な意味処理を一部可能にするものであり,WWWの知的なデータベース化を実現し,実用上
極めて重要である. ■ディスプレイ上の任意位置に音像定位を実現する 音響信号処理手法の開発 ディスプレイの大型化と高精細化に伴い,複数の ウィンドウを開き,多くのアイコンを表示しながら 作業を行うGUI(Graphical User Interface)環境 が一般化している.今後さらにディスプレイは大型 化するものと予想されるが,それによって注視領域 の外側にウィンドウやアイコンなどのオブジェクト が存在する場合が多くなる.このような場合,注視 領域外にあるウィンドウにおけるジョブの終了と いったオブジェクトの視覚的な変化に気付かない状 況が考えられる.さらには,バーチャルデスクトッ プといった,実際のディスプレイの外側に仮想的に オブジェクトが配置されている環境では,もはや視 覚ではオブジェクトの変化を検知することはできな い.以上のような不具合を解決することを目的とし て,本研究では大型ディスプレイの4隅に配置した スピーカを用いて合成音像を生じさせることによ り,ディスプレイ上の位置を表示しGUI環境を支 援するシステムを構築した.このシステムによって オブジェクトの位置を音で表示することの有用性を 検証するために,ディスプレイ上のオブジェクトの 変化を音により察知させ,視覚により探索させる評 価試験を行った.その結果,左右チャネル間にレベ ル差をつけて左右方向の位置を表示するだけでも, 従来のモノラル音に比べて有意に良好な結果を得 た.さらに,4チャネル間にレベル差をつけて,上 下方向の位置まで表示することにより,作業領域を 隔てて上下に配置されているようなオブジェクトの変化を察知するのに有効であることが示された.こ れは,従来の2チャネルステレオ再生系では得られ ない効果である.これらの効果は,ユーザの頭部が ディスプレイ中央にない場合も同様であったことか ら,頭部の位置ずれに対する頑健性が示され,提案 した手法が実用的なものであることを示した⑳. ■発想・表現支援のための物語生成システム コンピュータによる物語の自動的な生成,編集及 び表現の各側面について,シミュレーションシステ ムの試作,物語の分析等により考察した.民話理論 に基づくstory自動生成システムの拡張, storyを 前提とするまたはしない物語自動編集システムの試 作を行った(22).試作したこれらのシステムを利用 して,受け手の認知的効果(感情的反応等)を,プ ロトコル分析やアンケート調査によって分析した. そのほか,画像オブジェクトとそのアクションの指 定を断片的に保存し,その組み合わせにより映像を 自動合成するシステムも試作した. 3.3 マルチモーダルユーザビリティテスト 仮想ラボ ■ユーザインタフェース評価ツール群設計と実装 ネットワークを利用したユーザビリティテストに おける,実験タスクシナリオ作成の支援を目的に, シナリオ作成支援環境を設計・実装した.ユーザビ リティテストを実施する場合には,テスト対象シス テムの調査項目を事前に明確化して,その調査項目 の性能や使いやすさに関する指標を設定する必要が ある.さらに,これらの指標を厳密かつ的確に調査 可能なモデル作業を準備しなければならない.この モデル作業の設定は,通常,タスクシナリオが利用 される.被験者はタスクシナリオに基づいてテスト 作業を行うため,タスクシナリオの作成作業は, ユーザインタフェース評価ツールの中でも,中心的 役割を示す.タスクシナリオ作成支援システムとし て,具体的には,テスト計画者が,テキスト形式の 自然言語でタスクシナリオを作成する場合に,入力 しなければならない項目をガイドする構造化エディ タを構築した.また,既存テストのタスクシナリオ を再利用できるように,XML形式でシナリオデー タを保存しWebブラウザで閲覧する機能を取り入 れた(26)・(27). ■注視点およびジェスチャ情報に基づく設計者と ユーザとの相互作用システム評価環境の設計 両手のジェスチャによって,遠隔地の計算主体に コマンドを与えるシステムを構築し,ジェスチャの 認識率に関する実験・分析をおこなった.本システ ムは,各種計算主体がネットワーク接続された環境 を仮定し,この環境内で,自然なジェスチャを使っ たデータの送受信を可能とする.例えば,プロジェ クタでスクリーンに投影されているスライドを,プ リントアウトしたい状況を考える.この場合,スク リーンを指差して,スライドを掴み取るジェスチャ を行い,次にプリンタに向かってそれを投げるジェ スチャを行えば,実際にスライドがプリントアウト されて出てくる.この概念を使って,設計者とユー ザとが,自然にデータを交換できるシステムのプロ トタイプを実現した(25). また,設計者とユーザの注視点情報を獲得・評価 するシステムのプロトタイプを構築した.本プロト タイプシステムでは,視線追跡装置の出力データを 使って,PC画面上の注視点を同定する.同時に, ユーザのマウスポインタの位置情報との対応関係を つけることによって,作業の包括的な分析を支援す る.本プロトタイプシステムを利用して,図形の描 画作業,特に誤りからの回復作業における注視点情 報を獲得するという実証実験を行い,その傾向を明 らかにした(23). さらに,実験担当者が遠隔地にいる被験者の作業 空間をネットワークを介して分析するという作業で は,遠隔地に設置したカメラが,実験担当者の視点 を擬似的に代表する.そこで,効率的な遠隔カメラ 操作を提供するために,カメラのズーム情報を利用 した適応型カメラ制御システムを開発した.本シス テムでは,遠隔カメラのズームの量に対応して,パ ン・チルト変量を自動的に調整する.そのため, ズームアウト時にカメラのパン・チルト操作が遅く なる(操作が重過ぎる)状況や,逆に,ズームイン 時にパン・チルト操作が速すぎる(操作が軽過ぎ る)状況を防ぐ(24). ■マルチモダリティを利用したユーザ インタフェーステスト仮想ラボの設計と実装 および実証実験 情報ネットワーク上の仮想ラボにおいて,実験担 当者と被験者とが自然な対話をおこなうためには, 視線一致と指差し動作を効果的に支援することが望 ましい.そのため,仮想ラボの実証実験として,非
対称型の共同作業(例えば,一方のサイトにラボの 実験機材があり,もう一方のサイトから指示を出す 状況)において,作業を円滑に支援するようなカメ ラとモニタ配置の実験を実施した.特に,仮想ラボ では,複数のカメラを使って多角的な面からユーザ の作業状況を記録し,分析用の評価データとする. 記録データを総合的に分析するためには,複数の表 示領域が要求されるため,必要かつ十分なデータ量 の確保を目指さなければならない.実験担当者と被 験者との非対称型の共同作業では,カメラとモニタ を,複数配置(例えば,顔表示用,フィードバック 表示用,対象物表示用)して,コミュニケーション 状況に応じて表示を切り換える(例えば,交渉状況 では顔表示を重視するが,単純指示では顔表示は重
視しない)ことで,データ量の選定が可能であ
る(24).4 おわりに
本プロジェクトは,次世代のコンピュータネット ワーク上で利用者に提供すべき高次のコミュニケー ション環境の構築を目的として,数多くの先進的か つ汎用性の高い要素技術を独自に開発し,それらを 統合したシステムの一例として,高速情報通信網を 利用したマルチモーダルユーザビリティテスト仮想 ラボのプロトタイプを開発してきた.5年間にわた る研究成果は120編以上の学術論文として国内外の 学術誌および国際会議などで発表された. 今後は,本研究で確立したこれらの要素技術をさ まざまな分野に適用し,ユーザテストの評価を通じ て本格的な実用化に向けた検討と改良を継続してい く予定である. 主要発表論文 (1)Kenichi Hasegawa and Motonobu Hattori, “Improved Pseudo−Relaxatipn Learning Algo− rithm fbr Robust Bidirectional Associative Memory”, Artificial Neural Nets and Genetic Algorithms, Fourth International Conference on Artificial Neural Networks and Genetic Al− go亘thms, Portoroz, Springer, pp.288−293, 1999. (2)Takeo Yamada, Motonobu Hattori, Masayuki Morisawa and Hiroshi Ito,“Sequential Learn− ing fbr Associative Memory using Kohonen Feature Map”, Proceedings of IEEE and INNS International Joint Conference on Neural Net− works, Washington, D.C., paper no.555, July, 1999. (3)Motonobu Hattori and Masafumi Hagiwara, “Associative memory for intelligent control”, Mathematics and Computers in Simulation, vol.51, pp.349−374, January,2000. (4)Motonobu Hattori,且iroya Arisumi and Hiro− shi Ito,“Sequential Learning for SOM Associa− tive Memory with Map Reconstruction”, Artiff cial Neural Networks−ICANN 2001(Interna− tional Conference on Artificial Neural Net− works, Vienna, August 21−25), Springer, pp. 477−484,2001. (5)Naoaki Sakurai, Motonobu Hattori and Hiro− shi Ito,“SOM Associative Memory fbr Tempo− ral Sequences”, Proceedings of IEEE and INNS International Joint Conference on Neu− ral Networks, Honolulu, May 12−17,2002(to appear). (6)且.Yamada, F. Fukumoto and A. Imamiya, ‘‘Reference Analysis of Deictic Expressions to Visual Objects,’, International Conference on Recent Advances in Natural Language Proc− essing, pp.300−305,1997. (7)H.Yamada, F. Fukumoto and A. Imamiya, “Integration of Speech and Deictic Gesture fbr Referent Identification”, Proc. of the Natural I・anguage Preocessing Pacific Rim Symposium (NI.PRS,97), pp.87−94,1997 (8)Fumiyo Fukumoto and Yoshimi Suzuki,“Esti− mating Collocations from Sparse Data fbr Word Sense Disambiguation”, Pacific Associa− tion fbr Computational Linguistics, pp.168− 180,1999. (9)F.Fukumoto, H. Yamada and R. Mitkov“Re− solving Overt Pronouns in Japanese using Hi− erarchical VP Structures,,, International Con− ference on Artificial and Computational Intel− ligence fbr Decision, Control and Automation in Engineering and Industrial Applications, pp.152−158,2000. (10)福本文代,語義の曖昧性解消のための最適な属 性選択,情報処理学会論文誌,Vol.43, No.1, pp. 20−33,2002. (11)Xiaoyang Mao, Makoto Kikukawa, Kouichi Ka− shio and Atsumi Imamiya,“Automatic Gen一eration of Hair Texture with Line Integral Convolution.,’, Proceedings of lnformation Visu− alization2000, PP.303−308, July,2000. (12)喜久川誠,茅暁陽,今宮淳美,「UC法を利用し た頭髪テクスチャの生成」,映像情報メディア学 会誌,Vol.55, No.10, PP.1337−1344,2001年 10月. (13)Xiaoyang Mao, Kouichi Kashio, Hiroyuki Kato and Atsumi Imamiya,“Interactive Hairstyle Modeling Using a Sketching Interface”, Pro− ceedings of International Workshop on Com− puter Graphics and Geometric Modeling, CGGM’2002. (14)K.Iwanuma and K. Oota,“Strong Contraction in Model Elimination Calculus:Implementa. tion in a PTTP−Based Theorem Prover,,’ IEICE Transaction on Infbrmation and Sys− tems, Vol. E81−D, pp.464−−4711998. (15)K.Iwanuma,“1−T且OP Ver 1.01,,, in:C. Suttner and G. Sutcliffe,“The CADE−14 ATP System Competition,”Joumal of Automated Reasoning, Vol.21, pp.99−−134,1998. (16)岩沼,矢ヶ崎,“遺伝的プログラミングを用いた 命題MEタブロー法による定理自動証明”人工 知能学会論文誌,Vol.14, No.3, pp.553−558, 1999. (17)K.Oota and KIwanuma,“Finite Approxima− tions of Predicate Circumscription,”IEICE Transaction on Infbrmation and Systems, Vol. E82−D, No.2, pp.475−479,1999. (18)K.Iwanuma and K. Kishino,“Lemma Gener− alization and Non−Unit Lemma Matching fbr Model Elimination”, Asian Computing Science Conference(ASIAN,99), Lecture Note in Com− puter Science Vol.1742, pp.163−−176,1999. (19)K.Satoh, K. Inoue, K. Iwanuma, and C. Sakama:Speculative Computation by Abduc− tion under Incomplete Communication Envi− ronments. In:Proceedings of the Fourth In− ternational Conference on MultiAgent Systems (ICMAS’2000), pp.263−270, IEEE Computer Society,2000. (20) (21) (22) (23) (24) (25) (26) (27) 梅原,岩沼,永井:事例に基づくHTML文書か らXML文書への半自動変換,人工知能学会論文 誌,VoL6, No.5,408−416,2001. 小澤賢司,降矢龍浩,“合成音像による位置表示 がGUIにおけるオブジェクト探索に及ぼす効 果,”情報処理学会論文誌,Vol.42, No.6, pp. 1299−1310,2001. K.Mukouyama, K. Shinohara, A. Kanai and T,Ogata,”Rhetorical Analysis and Automatic Editing of the Film”, Proceedings of Interna− tional Association of Empirical Aesthetics, 2002. 増田尚則,今宮淳美.Undo機能をもつグラフィ カル履歴ブラウザ設計と視覚的探索分析,電子 情報通信学会論文誌D−1,Vol. J85−D−1, No.8, pp.798−810,2002. 郷健太郎,伊藤雅弘,今宮淳美.ズーム情報を 利用した適応型遠隔カメラ制御法,情報処理学 会論文誌,Vo1.43, No.2, pp.1234−1241,2002. Masaki Omata, Kentaro Go, and Atsumi Ima− miya,“A Gesture−Based Inte㎡face fbr Seam− less Communication between Real and Virtual Worlds”, Proceedings of the6th ERCIM Work− shop on”User Interfaces fbr All”, pp.122−134, Florence, Italy,2000. Kentaro Go, John M. Carroll, and Atsumi Ima− miya,‘‘Scenario Editor Pr()ject:SupPorting Scenario Development Activities in Web−Site Design”, OZCHI 2001 Conference Proceedings: The Annual Conference of the Computer且u− man Interaction Special Interest Group of the Ergonomics Society of Australia, pp.200−204, ISBNO−7298−0504−2, Perth, Western Austra− lia,2001. Kentaro Go and Atsumi Imamiya,“Defining and Synthesizing Scenarios of Use”, Proceed− ings of HCI International 2001:9th Interna− tional Conference on Human−Computer Inter− action, pp.115−117, New Orleans,1.ouisiana, 2001.