Issues on Interaction with Web The coming of heterogeneous devices and interaction manner access by : PC, Mobile phone, PDA, AutoPC, DTV, interaction

(1)

マルチモーダル対話システム開発手法

■

_{多様な端末からWebサービスを利用する}

■

_{MMI 記述言語と MMI システム}

■

_{MMI システムのための}

プロトタイピングツール

新田恒雄（豊橋技術科学大学）

(2)

Issues on Interaction with Web

■ The coming of heterogeneous devices

and interaction manner

• access by :

PC, Mobile phone, PDA, AutoPC, DTV, …

• interaction with:

(3)

Our Purpose:

Seamless Services over Internet

Ex. On-line Shopping

Devices

- order goods at Kiosk ... touch panel - confirm the order with a mobile phone ... voice

- change the order at home ... DTV remote terminal XML Document Server

(4)

XML Document Server (Contents ; View ; Interaction)

How to do it?

<xhtml ... <head> VoiceXML </head> <body> ... CSS CSS <xhtml ... Form <salt: ...

(5)

CSS

XISL: Extensible Interaction-Sheet Language

CSS <xhtml ... Form <xisl> <dialog> <exchange> ... contents-independent <xhtml ... Form VoiceXML ...

(6)

XISL: Device-Independent - 1/3

no modality-specific tag : input modality

<input type=“speech” event=“recog” target=“grammar.gxml” match=“/grammar/goods” return=“goods_name”>

<param name=“mode”>data</param> </input>

<input type=“dtmf” event=“push” target=“grammar.gxml”

match=“/grammar/goods_select”return=“goods_name”> <param name=“mode”>digit</param>

</input> ...

(7)

XISL: Device-Independent - 2/3

Front-end Module

<input ….. > type: speech event:recognize recognize grammar rule: introduction return: word1 <input ….. > type: pointing : ASR Pointing Keyboard Hello! Hello word1: Hello gram mar type: speech event: recognize target: ***.xml match: /page return: word1:Hello

Dialog

Manager

(8)

XISL: Device-Independent - 3/3

no modality-specific tag : output modality

type

event

mode

window

open, close, …

speech

play, stop, …

TTS, rec_speech, …

video

play, stop, …

audio

play, stop, …

(9)

MMI Description Language: XISL

- is content ( & view ) -independent.

- has no modality-specific tags

that enable XISL device-independent.

- has MMI control tags and attributes.

→ • realizes seamless services over internet

and reuse of XML documents.

• meets modality-rich services

(10)

XISL enables combinatorial usage of modalities.

Sequential

Parallel

← adding a new modality

(11)

<?xml version=“1.0” encoding=“Shift-JIS”?> <!DOCTYPE xisl SYSTEM “xisl.dtd”>

<xisl version=“1.0”>

<head>...</head> <body>

<dialogue id = “WAP_phone”>

<exchange>

<operation comb = “alt”>

<input type=“dtmf” event=“push” target=“/d_gram.gxml”

match=“/d_gram/goods_select” return=“number”> <param name=“mode”>digit</param>

</input>

<input type=“speech” event=“recognize”

target=“/gram.gxml” match=“/gram/goods_select” return=“goods_name”> <param name=“mode”>data</param> </input> < /operation >

XISL: example -1/2

(12)

< action comb = “seq” >

<output type=“speech” event=“play”/>

<param name=“speaker”>nancy</param> <param name=“speech_text”>

You selected No. One. < /output > < call dialogue_name=“2”/ > < /action > ：：：

XISL: example -2/2

(13)

MMIシステムの構成図

入力インタフェース出力インタフェースドキュメント管理・インタプリタフロントエンド対話シナリオコンテンツ対話制御部ドキュメントサーバ入力統合・アクション実行端末依存の入出力モダリティ

(14)

ドキュメントサーバ

z

一般的なWebサーバを想定

z

対話シナリオ，コンテンツ，表示スタイル

を記述した各文書を格納

対話シナリオ： XISL文書

コンテンツ

_{： XML文書}

表示スタイル： XSL文書

⇒ 分離記述により，各文書の再利用性が向上

(15)

XISL

の特徴

z

XMLベース

の言語

z

対話シナリオ

のみを記述

(16)

XISL

の記述例

<xisl application=“app-root.xisl”>

<dialog id=“1”> ‥ １組の対話

<exchange> ‥‥ １ユニットの対話

<operation comb=“par”> ‥ 一纏りの入力とその制御

<input type=“speech” target=“sample.grm” ….. />

<input type=“touch” event=“click” match=“/button1”/>

</operation> ↑XML要素

<action comb=“seq”> ‥ 一纏りの動作とその制御

<output type=“agent” event=“speech”>‥‥</output> <goto next=“2”/>

</action>

(17)

XISLの記述例

<xisl application=“app-root.xisl”> <dialog id=“1”>

<exchange>

<operation comb=“par”>

<input type=“speech” target=“sample.grm” ….. />

<input type=“touch” event=“click” match=“/button1”/>

</operation> ↑<input>の属性値は端末毎に自由に規定

<action comb=“seq”>

<output type=“agent” event=“speech”>‥‥</output> <goto next=“2”/> ↑<output>の属性値と要素内容は

</action> 端末毎に自由に規定

(18)

XISLの最新仕様

z

<submit>タグ

の導入

-

CGIの実行

z

<prompt>タグ

の導入

-

システム主導対話の記述

z

ECMAScript

への対応を検討中

http://www.vox.tutkie.tut.ac.jp/XISL/XISL.html

(19)

対話制御部

z

アプリケーション，モダリティ

双方に

非依存

z

ドキュメントサーバとXISL文書等を授受

z

XISLを解釈し，

対話の進行

を管理

※対話制御部では<input><output>を解釈せず，

フロントエンドが解釈する

(20)

対話制御部の構成

対話制御部

ド

キ

ュ

メ

ン

ト

サ

ー

バ

フ

ロ

ン

ト

エ

ン

ド

ドキュメント管理部アクション実行部 <output> 端末依存の情報 XMLの編集 対話切替 <action> 入力制御部 GLRパーサ 入力統合部 <input> ユーザ入力 <operation> XISL インタプリタ起動命令

(21)

入力統合部の動作

z

<dialog>内の<input>を一種の文法規則

とみなし，GLRテーブルを作成

–

開始記号：

<dialog>

–

終端記号：

<input>，タイムアウト

–

文

：

<input>の系列

–

入力 <input> の系列が <operation> として

還元されると，アクション実行部に通知

(22)

Dialogue Control by Using GLR TBL

REDUCE-2 ５ REDUCE-1 ４ SHIFT-5 ３ SHIFT-4 ２ ACCEPT １ SHIFT-2 SHIFT-1 SHIFT-3 ０ EXCH1 BUYGOODS complete timeout goods_sp buy_btn GOTO TBL ACTION TBL IN State ０ SHIFT-3 ３ SHIFT-5 ５ REDUCE-2

Implementation -3/4

(23)

フロントエンド

z

<input>

，

<output>

の解釈

z

文法ファイル

や

表示ファイル

の解釈

z

各種エンジン（音声認識など）の実行

(24)

PC端末の入力モダリティ

z

ポインティング

（クリック，ドラッグ，…）

z

音

声

（文法に従った音声）

z

キーボード

（キー入力）

(25)

PC端末の出力モダリティ

z

MMIブラウザ

（XMLファイルの表示など）

z

Webブラウザ

（他サイトのHTMLの表示など）

z

サウンド，動画

z

擬人化エージェント

（動作，バルーン，TTS)

z

合成音声

（TTSによる出力）

z

タイマー

（タイマーのセット）

(26)

アプリケーション

z

オンラインショッピング（OLS）システム

–

ユーザ認証

–

商品閲覧

–

商品説明

–

購入手続き

：

(27)

①

②

③

(28)

Interaction Builder

z

ＩｎｔｅｒａｃｔｉｏｎＢｕｉｌｄｅｒ（ＩＢ）

–

ＭＭＩシステムのプロトタイピングツール

–

ＧＵＩ操作によってＸＩＳＬを記述

–

システム−ユーザ間の様々なモダリティを

介したやり取りを容易に記述

オンラインショッピングシステムを対象

(29)

Ｉ

Ｂ：起

動

時

音声入力

マウス入力

音声とマウスの

複合入力

擬人化エージェント

(30)

Ｉ

(31)

Ｉ

(32)

Ｉ

(33)

<input type=“pointing" event="click"

match="/OLS/goods_list/category/goods[@id='23'] /object/picture[1]"/>

Ｉ

(34)

Issues on Interaction with Web The coming of heterogeneous devices and interaction manner access by : PC, Mobile phone, PDA, AutoPC, DTV, interaction

マルチモーダル対話システム開発手法

■

多様な端末からWebサービスを利用する

■

MMI 記述言語と MMI システム

■

MMI システムのための

プロトタイピングツール

新田 恒雄 （豊橋技術科学大学）

Issues on Interaction with Web

■ The coming of heterogeneous devices

and interaction manner

•

access by :

•

interaction with:

Our Purpose:

Seamless Services over Internet

Ex. On-line Shopping

Devices

How to do it?

XISL: Extensible Interaction-Sheet Language

XISL: Device-Independent - 1/3

no modality-specific tag : input modality

XISL: Device-Independent - 2/3

Front-end Module

Dialog

Manager

XISL: Device-Independent - 3/3

no modality-specific tag : output modality

type

event

mode

window

open, close, …

speech

play, stop, …

TTS, rec_speech, …

video

play, stop, …

audio

play, stop, …

MMI Description Language: XISL

- is content ( & view ) -independent.

- has no modality-specific tags

that enable XISL device-independent.

- has MMI control tags and attributes.

→ • realizes seamless services over internet

and reuse of XML documents.

• meets modality-rich services

XISL enables combinatorial usage of modalities.

XISL: example -1/2

XISL: example -2/2

MMIシステムの構成図

ドキュメントサーバ

ドキュメントサーバ

z

一般的なWebサーバを想定

z

対話シナリオ，コンテンツ，表示スタイル

を記述した各文書を格納

対話シナリオ： XISL文書

コンテンツ

： XML文書

表示スタイル： XSL文書

⇒ 分離記述により，各文書の再利用性が向上

XISL

XISL

の特徴

の特徴

z

XMLベース

の言語

z

対話シナリオ

のみを記述

XISL

XISL

の記述例

_{多様な端末からWebサービスを利用する}

_{MMI 記述言語と MMI システム}

_{MMI システムのための}

新田恒雄（豊橋技術科学大学）

_{： XML文書}