The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
音声対話
ン
利用 た
知症患者 状態把握支援 試
Assessing the Status of Elderly People with Dementia Using Spoken Dialogue Agent
齋藤直子
*1岡
将吾
*1新
克己
*1Naoko Saito Shogo Okada Katsumi Nitta
林佑樹
*2中
有紀子
*2Yuki Hayashi Yukiko Nakano
*1
東京工業大学大学院総合理工学研究科
*2蹊大学理工学部
Tokyo Institute of Technology Seikei University
The number of elderly people with dementia is rapidly increasing in our country. They often worries their family or their care worker in the conversation because they have difficulty in their memory, speech, etc. To support them, we have developed spoken dialogue agent that can analyze the cognitive status of the patients based on their utterances observed in conversations with the agent. In this study, we introduce the agent’s question scenario that have a tree structure. For increasing utterance of patients, we prepare the scenario consists of multiple topics and the agent select the question’s topic
that be adapted to user’s preference or background. In addition, we analyze nonverbal information by observing utterances and videos of patients, and report the result of the analyzing.
1.
めに
社会 高齢 伴い， 知症患者 数 増加傾向 あ ．
患者 世話 家族や 護士 ，患者 日常的 対話
身体的 び精神的健康状態 把握 ． 記憶 害
や見当識 害等 対話能力 落ちた患者 対話 行う
容易 い． 容 何度 話 聞 た ，投
た質問 異 応答 た
，対話 相手 負担 ． 々 ，家族や 護士
代わ 患者 話 傾聴 音声対話 ン 開発 焦
点 当 ，開発 進 た．対話 ン 入
， プ ン 一 研究 患者
ン 対話 容 ポ ，作 た ポ 家族や
護士 見た 患者 身体的 び精神的状態 把握
支援 目指 ．
患者 関 詳細 状態把握 行う ポ 作
，患者 発話 促 共 ， 多く 情報 含
発話 得 対話戦略 必要 あ ． 々 開発 た対話
ン [比企 2011](図 ) ，質問 オ ン 質
問項目 固定 いた． た ，質問 オ あ 質問
関 患者 興味 記憶 依存 ，患者 発話
増減 いた． た，予 決 た質問 容 対 発話
得 いた ，患者 発話 得 情報 単調 あ
た． 研究 ，複数 型 質
問 オ 入 ，対話 個人 適
応 ，多数 関 患者 発話 誘発 戦略
取 ． ン 発話状態 聞く姿勢
応 ，適宜質問 容 替えた ，場合
質問 ，相手 発言 傾聴 必要 あ ．
一般的 対話 い ， 発話状態 推
定 ， 発話 否 決定 た
替えた た [神谷 2010]，[西 2006] 提
案 い ． 知症患者 場合， う
図 対話 ン 外観
状態 推定 行い， ン 発話 断 た ，話題
替えた ば い 自明 い． 論文
[比企 2011] 取得 た，患者 ン 対話実
験 タ ，患者 発話状態や聞く姿勢 関 非言語情
報 析 ， ン 発話タ ン 断や，話題
替え 築 た 手 考察 ．
2.
先行研究
知症患者 限 ，高齢者 対話 行う 様々
研究 い ．[山 2010] ，患者 自然 対話
目指 ，予 用意 いた 間 対話履
連鎖 造 利用 い ．対話履 基 ， 最
移確率 高い応答 択 造 い ． 知症患
者 症状 進行程度 ，利用時点 質問 容
異 容 応答 可能性 あ ． た 新た 発話
対話履 存在 ， 移確率 求 い 頻発
考え ． [Yasuda 2013] ， 知症患者 特 た対
話 築 行 た． ，患者 プ 予
入力 ，患者 適応 た 対話
実現 た．患者 性 や趣味 考慮 た 対話 行う
連絡先 齋藤直子,東京工業大学大学院総合理工学研究科,
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
，患者 発話 増や 目的 い ． た，
ン 質問 対 患者 応答 時間 ，患者毎 た
質問毎 個人差 大 い． 考慮 ， ン 患
者 発話 待機 時間 ，対話開始前 調整 機能
搭載 い ． 機能 対話実験 実施 ，
有効性 確 い ． 患者 プ や 知
症 進行程度 変 毎 調整 行う必要 あ
， 研究 自動的 適応 有益
目指 考えた．
一方，対話 ン 高齢者 対話 析 行 た
，高齢者 対話 話 関 研究 存在
[Vardoulakis 2012]． ，人間 遠隔操作 行 い
対話 ン 独居高齢者 日常的 対話 行 い，
対話 容 析 た研究 あ ．Wizard of Oz法 用いた
対話実験 結果，高齢者 話 た頻度 高い 気
家族 Storytelling あ た． 研究 ， 択
3 参考 質問 オ た．
3.
認知症患者
ため
対話
ン
々 先行研究 基 ， 知症患者 非タ 指向型対
話 行う ン (図 ) 築 た[比企 2011]．対話
滑 進 た ， ン 要 あ
． ン 患者発話 音声情報 適
タ ン 相 や頷 行い， 発話終了 待
次 質問 進 いう機能 搭載 た．過去 対話実験
実施 た結果，適 タ ン ン
行う 有効性 確 た． ン 用い ，現在
知症患者32 ，健常者9 タ 集 た．
，患者 発話 言語情報 感情 推定 ，対話
容 ポ 築 た[齋藤 2013]． 患者 発
話 容 析 ，患者 身体的 び精神的 健康
状態 把握 料 う ポ 生
実現 た．
3.1 構成
既存 対話 ン [比企 2011] 患者発
話 非言語情報 扱 ，患者発話 言語情報
い 識 い た． 研究 ，
ン 音声 識 機能 追加 ， 先行研究[齋藤
2013] 対話 ポ 統合 た． ，
ン 患者 対話 行い， ポ 一連 流
自動 た．
図 示 ．既存 ン ，
発話音声 チ 無音区間 検出 ， ン 発
話タ ン 図 いた． 研究 ， 発話音声 得
言い淀 や，録画 た画像 得 視線や頷 等
情報 ン 発話タ ン 図 検討
い ． 発話 一定時間 経過 発話終了 ，
検出 た発話 音声 識 行う． Google音声 識
使用 い ． 間 ン 頷 や相 生
．音声 識結果 質問 オ 岐 行い，次
ン 発話 容 決定 ．決定 た発話 容 ，ADOBE
FLASH CS4 PROFESSIONAL 作 た ン 共
合 音声 出力 ， 対話 行う．音声合 ，
SAPI5対応 チ ン ン あ xpNavo2 使用 た．対
図 図
話 終了 た 音声 識結果や検出 た非言語情報
対話 ポ 作 ，出力 ．
対話 ポ ，先行研究[齋藤 2013] 利用 ，
音声 識結果 患者発話 感情 推定 行う．
推定 ，患者 発話 ン 質問 一致
い 定 ． ，各 関 記憶
明瞭 や，患者 対話能力 推測 料 ． た，感情
推定 行う ，患者 不安や興奮 い た 知症 症状
検出 料 可能性 考え ． 推定結果 ，
5 章 述 非言語情報 関 知見 加え ， 家族や
護士 有益 ポ い 推察 ．
3.2 型質問 ナ オ 導入
患者 発話 増や ， 多く 情報 含 発話 得
，対話 患者個人 適応 いく必要 あ ． 知
症患者 特 ，興味 い や記憶 曖昧 関
発話 少 著 あ ． た 研究
型 質問 オ 入 ． ン 質問 対
患者 応答 音声 識 行い， 結果 岐 辿 ，患
者個人 適応 た 対話 進 ． ，患者 健常
者 比較 音声 識結果 精度 低い 経験的
い た ，患者 長い応答 確 理解
困難 あ ． ， ン 質問 閉 た質問
開いた質問 2種類 質問形式 (表 )． 研究
，閉 た質問 い(肯定) いいえ(否定) 答え
質問， 開いた質問 自 形式 答え 質問 定義 ．
表 閉 た質問 開いた質問 特徴
閉 た質問 開いた質問
質問例 朝 飯 食
た ？
子 ，
方 ？
患者
発話 少 い 多い
音声 識
精度 良い 悪い
端 開いた質問 ， ほ 閉 た質問 配
置 ， 岐 閉 た質問 行う． 閉 た質問 対
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 -
音声 識 誤 発話理解 誤 減 狙い
あ ．患者 発話 肯定 あ 否定 あ 定
，言語情報 用い ． 肯定 表 語群 否定 表 語
群 作 ，患者発話 含 語 比較 行う 定 ．
う 得 た い 開いた質問 行い，患者
自 形式 応答 得 ． 開いた質問 対
応答 ， 岐結果 や前提条件 限定
い ． た ，音声 識結果 精度 低く ち 長い
発話 ， 発話 容 推測 容易 考え
． ， 岐 辿 患者個人 適応
た ン 質問 う ．
，患者 詳細 情報 含 発話 誘発 ．
た，質問 オ 作 あた ，高齢者 ン
話 頻度 高い 関 研究[Vardoulakis 2012]
過去 対話実験 タ 参考 た． 研究 質問 オ
含 ン 気 Storytelling (患者
過去 話) 家族 健康 食事 趣味 6個 ．各
い 複数 作 ，全 い 端
質問 到達 た ，対話終了 ．
4.
対話中に表出 る非言語情報
分析
4.1 ン 患者 対話 タセ 概要
研究 ，先行研究[比企 2011] 得 た実験 タ
用い ，非言語情報 析 行 た． ン 対話 行
た被験者 男性 ，女性 ， ～
均 齢 ． 知症患者 あ ． 知症 進行程度
関 指標 あ ンタ 検査(MMSE) 均得
点 ． 点 あ ，軽度 知症 あ 患者 多い．対話
質問―応答 タ ン行わ ，対話中 患者 録画
，患者発話 録音 行 た．対話実験 様子 図 示 ．
4.2 分析対象 非言語情報 種類
， ン 発話タ ン た
患者 音声情報 利用 い ，言語情報 取 扱
い ． 音声情報 視線や頭部動作 い た非言
語情報 ，発話タ ン 図 以外 様々 状態 識
， た出力 ポ 映 ．
知症患者 症状 ，言語情報 非言語情報 両側面 表
．例 ，不安や興奮 い た精神症状 発話 言語的
図 対話実験 様子
容 韻 情報 表 あ ．既存 ン 言
語情報 利用 感情推定 行 い ，非言語情報 合
わ 推定 行う 精度向 望 ． う ， 知症
患者 状態把握 行う ，非言語情報 識 要 あ ．
研究 ，言語情報 非言語情報 両方 識 活用
対話 ン 目指 ，過去 対話実験
タ い 非言語情報 関 析 行 た．
4.3 実験 タ分析結果
研究 タ 用い 析 行 た． 析
い ， ン 発話 患者発話 タ ン 焦点 当 ，
次 点 着目 た．
患者発話 ン 発話 オ プ
患者 発話 言い淀 (無声休 )
析 結果，患者 発話 ン 発話 間 ，対
話1セ ン 均 ． 回 オ プ 存在 た．
うち約 ％ ン 相 患者 発話 オ
プ ，残 約 ％ ン 質問 患者 応答
オ プ あ た．
発話中 言い淀 ，様々 種類 類 ．例 有
声休 ，無声休 ，音節 引 伸ば ，言い直 等 挙
． 研究 析 い ， 中 無声休 取
． ， 研究 扱う対話 ン 患者 無音区
間 検出 患者 発話終了 い ，患者
音 発 い 限 発話終了 定 い． ，患者
有音休 や音節 引 伸ば た 言い淀 い 時間
い ン 患者 発話終了 待機 ．
， ン 自然 対話 流 保ち， 患者
発話 妨 い 考え ． 無音休
言い淀 回数 い ，対話実験 記録 た動画
析 た． ，首 動作や ン 視
線 外 何 考え い う 動作 た 無声休 あ
定 た． 析結果 例 表 示 ．
表 言い淀 関 析結果
患者
No.
言い淀
無声休止 そ 他
1 27 7
2 9 6
3 18 4
4 10 7
5 21 1
5.
ピ
選択
ン 発話タイ ン モ
構築
ため
考察
5.1 非言語情報 分析結果から 考察
患者発話 ン 発話 オ プ 関 ，
ン 相 生 タ ン 問題 あ 考え ．
オ プ 起 ，患者 発話 途中 い，
対話 流 う． 全体 発話 低 結
び い い 考え ．現在 患者 発話
一定 無音区間 検出 相 や次 質問 生
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 -
図 患者発話 ン 発話 オ プ例
頷 や質問 生 タ ン ，患者 次 発話 う
たタ ン 一致 オ プ 起 う(図 )．
動画 観察 ， オ プ数 個人差 大
く，前述 タ ン 一致 い患者 い オ
プ 全く起 い あ た． ，患者 発話タ ン
個人差 大 い ，予 一定値 決 た無音区間
検出 く，個人 適応 た発話タ ン 質問や
相 行う ン 機能 必要 あ ．
次 ，言い淀 中 無声休 表 非言語情報 い
， 首 傾 動作 ン 視線 外 動作
タ ン 多い わ た． 頭部動作や視線等
情報 無声休 検出 ，患者 答え 考え い
間 ン 次 質問 投 う回数 減
考え ． 知症患者 ，質問 容 対
記憶 曖昧 あ た ，考え い 間 質問 容 わ
く た あ ． 無声休 関 ，
休 長時間 た 次 質問 生 う等
対応 必要 あ 考え ． た 回 無声休 い
析 行 た ，有声休 や言い直 等 有益 情報
あ ． 言い淀 ，言語 害や記憶 害 直結
タ 可能性 高いた ， ポ
要 あ ．
た対話全体 い ，患者 対話中 動作 非言
語情報 タ ン 一貫 変わ い わ た．例
，発話 頷 時 行う，発話 ン 視
線 外 等 あ ． 特性 対話 始
識 ， 特性 外 た行動 患者 行 た
変 点 検出 対話戦略 変え 対応
． 更 個人 適応 た対話
考え ．
5.2 非言語情報 自動認識モ ュ 導入方法
前項 得 た知見 ， ン 発話タ ン 決定
や質問 択 た 非言語情報 自動 識 行う
入 考え ．前項 析結果 ，以 点 検出
有用 あ 示唆 た．
発話中 言い淀 (無声休 )
対話中 非言語行動 い 変 点
検出 た ，音声 視線 姿勢 向 頭部
チ 等 様々 非言語情報 必要 あ ． 言い淀
い ，音声 ワ 情報 検出 方法 提案 い
[緒方 2009]． 知症患者 発話 音声情報
変 少 い傾向 あ ，視線や 向 等 組 合わ
検出 行う等 対応 検討 い ． た， 関 過
去 実験 タ 利用 ，患者 非言語行動 関 定常状
態 関 築 ， 状態 逸脱 状態 時系
列変 点検知 手法 用い 検出 ． 析結果 患者
，頭部 チ 姿勢 向 変 異
示 た． 結果 ，非言語 関 定常状態 患者
異 意味 い ． 問題 対処 た ，予 非
言語情報 定常状態 複数 類 ，新規 患者
対話 ，対話 初期段階 ， 患者 定常状態
類 行う ，定常状態 方法 取 ． 例
韻 対話 盛 検出 た ，視線 外 方
興味度 推定等 行 た 検討 い ．
6.
とめ
研究 ， 知症患者 状態把握支援 向 た音声対
話 ン 開発 行 た． ，過去 実験
タ 析 ， 取 入 非言語情報
い 考察 た．
，開発 た対話 ン 用い 実 患者
対話実験 行い 有用性 評価 ． た 章 考察 た非
言語情報 関 機能 い 検討 いく予定 あ ．
参考文献
[比企 2011] 比企 純 ，中 有紀子，安 清 会話
ン 利用 た 知症患者 た コ ン
支援 ，第 73 回情報処理学会全国大会論文集，
4.195-4.196，2011．
[神谷2010] 神谷優貴，大 誠寛，松原茂樹，柏岡秀紀 調
的対話 あい ち挿入タ ン ，言語処
理学会第16回 次大会発表論文集, 2010.
[西 2006] 西 良 ， 岡教英，中川聖一 対話 韻
変 タ ン 音声対話 適
用 ，人 工 知 能 学会 言語 音声 理 解 対 話処 理 研究 会 48,37-42, 2010.
[Yasuda 2013] K. Yasuda, J. Aoe, M. Fuketa: ”Development of an Agent System for Conversing with Individuals with
Dementia”, The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013.
[山 2010] 山 大 ， 林優佳，土井美和子 高齢者対話
ンタ ‐対話誘 問診対話 ，HAI ンポ
，2010.
[Vardoulakis 2012] L. P. Vardoulakis, L. Ring, B. Barry, C. L.
Sidner and T. Bickmore: “Designing relational agents as long
term social companions for older adults“, in Intelligent Virtual Agents, 2012, pp.289-302.
[齋藤2013] 齋藤直子，林佑樹，中 有紀子，安 清 知症
患者 状態把握支援 た 発話 容 識手法 ，第 27
回人工知能学会全国大会，2013.
[緒方 2009]緒方淳， 藤真孝，伊藤克亘 有声 無声休 区
間 自動検出 考慮 た コ ン 自 発話音
声 識 性能改善 ，電子情報通信学会論文 D 情報
