The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
応答
言語
非言語情報
応
語
ン
話制御
Dialogue Management in Listener Agents
according to Verbal and Nonverbal Information in User’s
Response
塚田
一史
*1
山内
崇資
*2
林
佑樹
*1
中
有紀子
*1
Kazuhumi TSUKADA Takashi YAMAUCHI Yuki HAYASHI Yukiko NAKANO
*1
蹊大学理工学部
Faculty of Science and Technology, Seikei University
*2
蹊大学大学院理工学研究
Graduate School of Science and Technology, Seikei University
With the goal of assessing health and mental condition of people with Dementia through interaction with a conversational agent, we have developed a listener agent that asks a sequence of questions to the user and records interaction log using a speech recognition system. However, to collect richer utterance data from the user, it is necessary to make the user more engaged in the conversation with the agent. To improve the human-agent interaction, this study aims at expanding the conversation by asking follow-up questions. We define sets of keywords by analyzing the transcription of user’s utterances and expand the keywords using the EDR dictionary. If a keyword is found in the recognition result, the keyword is applied to a question generation template to produce a follow-up question.
1.
め
近年，高齢 者 増 加 共 認知 症患者 急 増 い
， 護者 数 不足 ，認知症患者 支援 環境
十 整 い い ，認知症患者 家族 護 場 ，
認知症患者 記憶 害 ，家族 質問 何度 聞く
多々あ ，家族内 ン 問題 生 ，
護者 大 負担 場 あ う 問題 解決
， 患 者 話 相 手 ， 患 者 健 康 状 態 ， 精 神
状 態 把握 ， 護者 伝 え 見 求 い
[Pollack 2005] 認 知 症 高 齢 者 支 援 情 報 技 術 ，
日常生活 全 遂行 い 確認 ，問 題 あ ば
護 者 通 知 要 性 述 べ い [Maiden
2013] ， 携 帯 端 用 プ ン ， 護 記 録 書
込 ， 護者 間 情 報 共有 ， 護 履歴 参 照
様々 護者支援 述べ い う ，認知
症 高 齢 者 見 ， 護支 援 環境 充 実 い ， 情 報 技 術
大 期待 寄 い 研究 ，特 ン
技術 用い 認知症高齢 者 支援 目指 [ 田 2013] ，
人 ン 複数人会話 い ， ン
会話 楽 提供 可 能性 あ ，複数人会話 司会
務 求 い ，社会 孤立 高
齢 者 支援 ， 選 択肢 選 ぶ
ン ン タ ン 行 う あ [Sidner
2013] 研究 ，会話 ン 技術 応用 ，認知症高
齢者 会話 通 ，健康状態や精神状態 把握
実現 目指
2.
語
け
ー
ン
テ
［比企 2011］ 認知症患者 日常 健康や食 等 い
質 問 ， 患 者 話 聞 役 語
ン 作 ， 認 知 症 高 齢 者 方 実 会 話
行 い， 有 効 性 確 認
， 発 話 音声 検 出 ， そ チ 長 韻
的特 基 ， 相 や頷 返 ， 発話終了
，一定以 上 間 経過 ， 話 終 え 判断
， 次 質 問 行 う [酒井 2011] ， 音 声 認識 機能
追 加 ， 発 話 出 力 機 能 追 加
3.
テ
改善
先行研究 ［比企 2011］ ，予 設定
オ 沿 固定的 番 質問 行う ，利用者 応
応 話題 展開 等 適応的 話制御
そ ， 患 者 発 話 比 較 的 短 く， 単 調 あ 場
多く，患者 状態 確 把握 ， 豊富 タ
判断 べ あ 考え
そ 研 究 ， 認 知 症 患 者 多 く 情 報 得
う ， 応 応 話題 展開， 替え 行う質
問選択機 実装 目的 加え，
ン ン ン 改 良 ， 相 ，頷 タ ン 変更 行 う
3.1 MMDAgent 実装
先行研究[比企 2011] ， ン作 ソ
Poser ンキ プチ タ 適用 ン
ン 作 ， 連 番 像 変 換 ，Adobe
Flash 制御 ン 表現 い
方 法 ， 新 い ン 追 加 や 変 更 簡 単
ン チ や表情 い 非言
語情報 豊 ， 応答 促進
2M5-OS-20b-1
連絡先：塚田 一史， 蹊大学理工学部情報 学 ，東京都
武蔵 市 祥寺 3-3-1，0422-37-3756，
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
， ン作 容易 環境 必要
あ そ ， ン ン MMDAgent[李
2011] 用い 生 う
MMDAgent 古屋工業大学 開発 オ プンソ
音 声 ン タ ン 築 キ あ
MMDAgent MMD用 開発 ン技術
用い ，簡単 ン ン 作
々 ，MMDAgent ソ 通 信 プ ン
追 加 ，外 部 入力 ン 制御 行う機
利用 う 入力 う 動作 行う ，
あ MMDAgent オ 記述 い
図1 MMDAgent 用い 実装 ンタ
ン 様子 示
3.2 相 タイ ング 変更
過去 実験 い ， ン 相 タ ン 悪く，
発話 オ プ い 場面 複数回見
オ プ 起 発 話 い ， 一 度
話 再度話始 ，オ プ
い ，発話途中 ン 相 入 ，
や 発話 中断 う あ そ ，音声 伴わ
い頷 い ，以前 う チ 変 基 タ
ン 決 定 ， 音 声 発 話 伴 う 相 い ， 発 話 終 了
生 行 動 ，3 以 上 無 音 区 間 続 い 場
，発話 終了 相 返 う 変 更 ，
発 話 内 容 発 話 終 了 相 適 変 更 必
要 あ 考 え， 相 表 現 そ う ， ほ
， い いう3種類 用い
4.
質問選択機
4.1 ユー 発話 分析
発話 応 応答 返 ，
発話音声 認識 必要 あ ，発音 不明瞭
あ ，十 音声認識結果 得 い場 あ そ ，
[酒井 2011] 保 音声認識結
果 人手 書 比 較 行 そ 一例 表 1
示 多く 誤認識 含 ，食べ物 い 発話
音 声 ， 菜 や 刺 身 い ，特 定 キ ワ 検 出
可能 あ わ
そ ， ン 各 質問 応 答 発
話 書 析 ， う キ ワ 現
調査 ，キ ワ 選定 ，書 タ
キ ワ 選定 ，数 不十 あ ，自動的
キ ワ 追加 方法 必要
4.2 辞書 利用 たキーワー リ 作成
キ ワ 拡張 ，EDR 日 語単語辞書
1
使用 辞書 ，約 44 万個 数 や 詞，動詞
定義 録 い
，4.1 節 選定 キ ワ い 辞書定 義 調べ，
多く 単語定義 出現 表現 抽出 表2 例 示
例えば， 菜や魚 定義 食物 いう単語 共通 含
，刺身や焼肉 定義 料理 いう単語 共通
含 い 単語 定義語 呼ぶ 次 ， 定
義 語 単 語 定 義 含 い 辞 書 目 べ 抽 出 ， キ
ワ 拡 張 方 法 地 食 べ 物 い
キ ワ 作 ， 加え 趣味 キ ワ
，Web ペ 参考 設定 そ 結果，食べ物 キ ワ 8330個，地 キ ワ 3522個，趣味 キ ワ 366個 選択
表2 日本語単語辞書 例
名詞 意味
野菜 畑 作 収穫し,副食物 す 植物
魚 酒 飲む 添え まむ食物
刺身 刺身 いう,生魚 うすく切 た日本料理 焼肉 焼 肉 いう料理
4.3 話題展開 ため 質問生成
ン 発話 全部 32個あ ，そ う 質問 16
個 あ ， い いいえ 答え closed-question
WH型 open-question 類 話題 展開
，open-question 応答 良い
考え，open-question 応答 音声認識結果中 4.2節
作 キ ワ 含 い 場 ， 話 題 展開
キ 次 ， キ ワ 表 3 ンプ 適用
，話題展開 質問 生
表3 質問テンプレー キーワー
リス
テンプレー
地名 (キーワー ) こ す
食べ物
(キ ー ワ ー ) い し い す 、 く 食
べ す
趣味 (キーワー ) く いや います
図 2 処理 流 示 発話音声
，音声認識部 Google音声 認識 処理 ，音声
文 列 変換 音声認識 結果 10-best 取得
ン 質問 1～32 ID 管理 ，
最 質問ID 現在 話題 ，保持 い
1EDR： http://www2.nict.go.jp/out-promotion/techtransfer/EDR/J_index.html 図1 対話 様子
表1 音声認識結果 書 起こし例
音声認識結果 書 起
A Ra 菜 果物 あ 菜 果物
B
魚魚 魚 嫌
い 全 部 刺 身 煮
物
魚 魚類 ，魚類 嫌い
い 全
部，刺身 煮物
C
そ う 英 語 あ 好
い 観測
大好
そ う ， 飯 あ
好 ， 好 い
，普 通 ン
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 -
発 話 音 声認 識 結果 質問 選 択 部 送 ， 質 問 選
択 部 質 問 ID 参照 最 行 質問 応 キ
ワ 選択 そ ，10個 音声認識結果 文
列 中 キ ワ 内 キ ワ 一致 単語 含
い う 調べ キ ワ 複数個 チ 場
， 上位 音 声 認 識結 果 得 キ ワ 優先
音声 認識結 果 キ ワ 一致 単語 含 い
場 ，音声認識結果 い 思わ ，音声認識 キ
ワ 比 較 終 了 ， 音 声 認 識 一 致 キ ワ 表 3 質 問 ン プ 適用 ， 話 題 展 開 質 問 生 キ
ワ 一 致 単 語 含 い い場 ， オ
従い，次 ID 質問 進
音声 認識
発話
ID
キー ワー
６ 地名
２２ 食べ物
２６ 趣味
キーワー リ
質問選択部
焼 肉 好
そば
焼 肉
う
天ぷ
焼 肉
＋
テンプ レー
次 発話ID
出力 OK
NG
発話ID=２２ 好 食べ物 ？
5.
実行例
前 節 提 案 手 法 ， 認 知 症 高 齢 者 実 発 話 認
識結果 ， う 話題展開質問 生 ，例 挙
説 明 ン 質 問 好 食 べ 物
，表 4 書 示 う 応答 得
質問 ID＝22 食べ物 関 キ ワ
選択 内 キ ワ ，刺身， 焼肉，
ン 音声認識結果 you were here あ ン 含 い 調 べ ン いう単 語 音 声 認 識 結 果 キ
ワ 両 方 含 ， キ ワ 一 致 判
断 ， 食 べ 物 関 ン プ ～ い ， く
食べ ，取得 キ ワ ン 組 わ
ン い い ， く食べ いう質問 生
一方，表 5 示 例 う ， ン 質問 好
食べ物 ， そう ， 飯 あ 好
， 好 い ， 普 通 ン 食 大 好
答え い わ ，得 音声認識結果
そう 英語あ 好 い 観測 い
あ 場 ，キ ワ 含 い い 判断
， ンプ 用 い 発話 行わ ID=23 私
司 好 オ 沿 次 発話 行う
6.
ま
め
研究 ，語 ン 会話 通 ，認知症
患者 健康 状態や 精神 状態 把握 目 指 ， 豊富
発 話 情報 得 う 話 実 現 ， 話
ン 改良 行 ン 改善 ，
ン 作 や いMMDAgent 変更 ン
相 発話 オ プ い う ，相 タ
ン 再検討 ，そ 伴い，発話内容 変更 加え
， オ 沿 発 話 く， 応 答 発 話
音声認識結果 ，話題 展開 質問 生
実装
MMDAgent 利点 生 ， 頷 ン以外
辞 儀 や ， 身 振 手 振 チ 作 予 定
あ ， 笑 顔 他 悲 や 困 顔 表 情 豊
要 あ
話題展 開 質問 生 い ，評価 実験 行 い， 提案
手法 有効性 検証 予定 あ ，現在 限定的 話
題 い 応 ， 質 問 表 現 ン 不
十 あ ， 応 話題 種類 増や ，
質問生 ンプ 増や 必要 あ ，一
質問 一度 問い返 く，2回，3回 話題展
開 方法 検討 べ 考え
参考文献
[比 企 2011] 比 企 純 太，中 有 紀子 ， 田清 ： 会 話
ン 利 用 認 知 症 患 者 ン
支 援 ， 第 73回 情 報 処 理 学 会 全 国 大 会 論 文 集 ，4ZA-7，
pp.195-196 (2011)
[Maiden 2013] Neil Maiden et al.: Computing Technologies for Reflective, Creative Care of People with Dementia, Communications of the ACM, Vol.56, No.11, pp.60-67 (2013).
[Pollack 2005] Pollack, M.: Intelligent technology for an aging population: The use of AI to assist elders with cognitive impairments, AI Magazine, Vol.26, No.2, pp.9-24 (2005). [李 2011] 李 伸，大浦圭一郎， 田恵一： 魅力あ 音声 ン
タ ン 築 オ プ ン ソ
キ MMDAgent ，電子情報通信学会技術研究報 ，
111(364)，pp.159-164 (2011)
[酒井 2011] 酒 井 洋 一 ， 中 裕 子 ， 田 清 ， 中 有 紀 子 ： 認
知 症 患 者 語 ン ン タ ン 析
築 向 提案 ， ン ンタ 学会
研究報 集，Vol.13，No.8，pp.13-18 (2011)
[Sidner 2013] Candace L. Sidner, Timothy W. Bickmore, Charles Rich, Barbara Barry, Lazlo Ring, Morteza Behrooz, and Mohammad Shayganfar: Demonstration of an Always-On Companion for Isolated Older Adults, Proc. of the SIGDIAL 2013 Conference, pp.148–150 (2013).
[ 田 2013] 田清，青江 一，泓田 雄： 回想 促
ン ：認知症者 2人 ン 複数人会話観
察 ，Human-Agent Interaction Symposium 2013，S-2，
(2013)
図 2 質問生成処理 流
表 4 話題展開 可能 例
書 起 ，朝 ン ，え ，
認識結果 you were here あ ン
抽出 キ ワ ン
生 質問
ン い い ， く 食
べ
表 5 話題展開 い例
書 起
そ う ， 飯 あ 好 ， 好 い
，普通 ン食 大好
認識結果
そう 英語あ 好 い
