The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
発話中
非言語情報
基
認知症高齢者
状態把握
Assessing the Health and Mental Status of the Elderly with Dementia based on
Nonverbal Information in Spoken Utterances
中
裕子
*1高橋
明
*1林
佑樹
*2中
有紀子
*2 Yuko Nonaka Akihide Takahashi Yuki Hayashi Yukiko Nakano*1
成蹊大学大学院理工学研究科
Graduate School of Science and Technology, Seikei University*2
成蹊大学理工学部
Faculty of Science and Technology, Seikei University
Assessing the elderly’s health and mental status and reporting it to caregivers is one of the key issues for supporting elderly people with dementia. Aiming at contributing to this issue, this study proposes a mechanism that assesses elderly’s responsiveness in conversation with a virtual agent. Our assessing method uses prosodic information in their speech and by applying clustering technique, we create a model for judging whether each utterance is high or low in its responsiveness. We also develop a report system that automatically generates an assessment digest for the conversation, and a user interface for playing a video for a specific part of the conversation.
1.
め
少子高齢化 急速 進 中，高齢者支援 必要性 高
い ．特 ，認知症高齢者 記憶障害 介護者
負担 大 く， う 認知的障害を持 高齢者 支
援 注目 集 い ．例え ，高齢者 全 日常生
活を送 い を確認し ，生活を送 あ
必要 動作を支援， 高齢者 認知状態を評価す い
支 援 必 要 考 え い [Pollack 2005]． そ 、
患者 健康状態や精神状態を把握し，様子 変化 あ
介護者 連絡す 見 サー を実現す 技術
し ，本研究 ，会話 ー ン 会話を通し ，
対象者 状態把握を行う技術 確立を目指す．
具 体 的 ， ー ン 問 い け 対 す
反応性 着目す ．問い け 対し ンポ く，
ム く， 積極的 応答し い 様子を反応性 良い
し，発話音声 反応性 良い 悪い を自動的 判定
す 技術を開発す ．
，反応性 判定手法 応用 し ，会話 ッ ョ
ン ー を自動的 解析し，反応性 評価結果を
レポー を自動生成す レポー 生成 ムを実装す
．本 ムを遠隔地 師や 家族 利用し い
く ，認知症高齢者 様子を手短 知 せ
可能 ．
2.
語
かけ
ー
ン
先 行 研 究[比 企 2011, 斎 藤 2013] 開 発 語 ン ， 一 問 一 答 質 問 行 い ， 高 齢 者 語
行 う あ 頷 や 相 ， 元気 い コ
ン 返 図 1 ン 対話様子 示
ン 対話終了 ，発話内容や発話時間 記載 xml
形式 生成 [酒井 2012]
図 1 語 け ー ン 対話様子
3.
ノ
ー
ン
基づく反応性
分析
3.1
反応性
ノ
ー
ン
高齢者 状態把握 向 ， 応性 違い 人 直感
一 致 い 調 査 10 認 知 症 高 齢 者
(男性2 ，女性8 ， 均 齢：77.6， 均MMSE：23.5) 対
話 様子 記録 観察 ，2
各発話 対 応性 4段階 分類 発
話数 全部 162発話 あ 低い評価 あ 1, 2 分類
発話 L (Low)，高い評価 あ 3, 4 分類 発話 H (High) ベ
2 分類結果 基 ，偶然 い一致率
指標 あ κ係数 式(1) 求
κ係数＝
見 一致率 偶然 一致率
偶然 一致率
…
κ係数 値 0.34687 あ ，2 断
一致率 低い いう結果
3.2
ノ
ー
ン
ー
分析
κ係数 一致率 高く ，2名 アノ ー
判定 一致し い ー を用い ，以下 5
観点 分析を行 ．
( ) 発話間 ポー ： ー ン 発話終了 被験者
発話を開始す 時間
連 絡 先 : 高 橋 明 ， 成 蹊 大 学 大 学 院 理 工 学 研 究 科 ，
m @ .s .a . p
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
( ) ッ ： 被験者 発話 間 ッ (声 高 )
平均
( ) 発話長： ー ン 発話をし ，次 ー
ン 発 話 を す 被 験 者 発 話 間 総 時
間
( ) 抑揚：被験者 発話 間 け ッ 最高値 最
低値 差
( ) 頷 時間： ー ン 発話中 被験者 頷い 時間
両者 H 判定し 発話をHR，L 判定し 発話をLR
す ．各情報 平均 びt検定 結果を表 1 示す．
ポー ， ッ ，発話長，抑揚 関し HR，LR間 有意
差 見 ．一方，頷 時間 有意差 見 ．
結果 ，被験者 発話韻律特徴 着目し発話 分類
を行う し ．
表 1 HR びLR 平均 有意性
特徴
HR 平均
LR 平均
t検定 結果
ポー (秒) 0.98 1.57 t(95)=-2.82, p<0.05 ッ (Hz) 178.6 137.1 t(105)=2.99, p<0.01 発話長(秒) 4.77 1.60 t(105)=5.83, p<0.01
頷 時間(秒) 0.61 0.34 t(105)=1.86, p<0.1 抑揚 171.4 93.0 t(105)=3.90, p<0.01
4.
ン
よ
反応性
分類
3節 得 傾向 ，有意差 見 ッ ， ，
発話長，抑揚 4 発話韻 特徴 用い 発話 自動分類
可能 検討 本研究 ン 手法 1 あ
k-means法 用い
4.1
認知症高齢者
発話分類
先 行 研 究 語 ン 使 用 ， 新 対 話 実
験 行 実験 ，15 認知症高齢者(男性 10
，女性5 ， 均 齢：75.3， 均MMSE：21.7) 音声 集
音声 ( 生成 2 除外) 3
章 用い 用い ン 行 各特徴
尺度 異 ，発話 各特徴 値 ，特徴
分散値 割 正規化 ， 数 2 設定 k-means法
適用 分析 男女 行
表2 認知症高齢者 女性 各 中心点 表
4 特徴 値 示 b a 比べ ，発
話長 長 ， ッ 高 ， 短 ，抑揚 大 い いう結
果 男性 関 様 傾向 得 確認
(表3) わ b 分類 発話 ，あ 程度
長 ，元気 ，質問 返答 話
い 発話 あ ， う 発話 応性 良い発話 解
釈 ，生成 用い 認知症高齢
者 発話 応性 良い発話 そう い発話 分類
明
4.2
認知症高齢者と健常者
発話分類
4.1節 分析結果 い ，認知症高齢者 加え 健常者
合 わ 様 傾 向 見 調 査
，3.1節 応性 違い 調べ 10 認知症高齢者
，新 9 健常者(女性9 ， 均 齢：77.7)
集 使用
表4 k-means法 適応 各 結果 示 4
特徴 い ，表2 様 傾向 発話長：長， ッ ：高，
：短，抑揚：大 確認
表 4 ン 結果 (健常者･認知症高齢者)
発話長 ッ ポー 抑揚
a 0.226 0.197 1.305 0.012
b 0.476 0.220 0.882 0.032
4.3
ン
基づく
ー
分類
4.2節 結果 い ，各被験者 個々 発話 a，
b 分類 調査
図2 各 分類 発言 割合 認知症高齢者，
健常者 分 示 認知症高齢者 a 分類
発話 割合 多い 一方，健常者 b 分類 割
合 多い 示 認 知症 高齢 者 応性
良 い 発 話 頻 度 高 ， 応 性 割 合 認
知状態 断 可能性 あ 示唆
図 「 認知症高齢者/健常者 反応性割合
5.
ン
を用いた反応性
分類手法
表2，3 ，新 入力 発話 対 応性 良
い発話 そう い発話 分類 行う 分類 手
以 示
新 入 発話 各特徴 ( ッ ， ，発話長，
抑揚) 算出
算出 特徴 ，過去 行わ 被験者 全発
話 特徴 分散値 正規化
正規化 特徴 , … , 4次空間 点 考え，
中心点 c , … , 距離 式(2) 算出 距離 c … …
距離 計算 ，表2，3 性 適用 ，
a, b う 距離 近い 発話 分類
6.
レポー
用
文
生成
先行研究[比企 2011, 斎藤 2013] 築 ン
対話 出力 結果 xml形式 い ，利
用 想 定 い 医 師 や 家 族 非 常 わ い
0 0.2 0.4 0.6 0.8
認知症高齢者
健常者
C_LR C_HR
表 2 ン 結果(認知症高齢者女性 )
発話長 ッ ポー 抑揚
a 0.267 0.291 0.186 0.017
b 0.638 0.306 0.032 0.040
表 3 ン 結果(認知症高齢者男性 )
発話長 ッ ポー 抑揚
a 0.193 0.170 0.022 0.029
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 -
い 認知症高齢者 対話 様子 直感的 分
や い形 表現 ，対話 通 被験者 様子 簡
潔 文 会話活動 一部 生
成
6.1
ポ
ブ
傾向を示
韻律情報
判定
文 生成 ，表1 有意差 見 4
韻 特 徴 利 用 文 生 成 指 針 ，
( )認知症高齢者全体 会話 比較 ，他者 比べ 良い
応 見 特 徴 目 ， び( )個 人 内 会 話
各質問 い ，良い 応 示 特徴 目 いう 2 ン
い ， 側面 要約 文章 生成
( ) 全体 比較 ， 文生成対象 会話
全 発 話 特 徴 均 値 算 出 ， 過 去 実 施
全 被 験 者 均 値 比 較 ， そ 値 回 特 徴
い 言及 ( ) 個人内 比較 場合 ，各質問
発話 特徴 ，そ 会話全体 均値 比較 ，良い
応 見 特徴 定 均値 比較 ，( )，( )
均値以 ， 均値+1σ以 場合 良い(G1) ，
1σ以 場合 良い(G2) 断
6.2
文
生成手法
6.1節 G1，G2 定 特徴 関 ，あ 定義
ン 基 文 生成 表5
ン 一部 示 ン 全 23種類定義
い
， 文 言及 特徴 G1，G2 個数 応
ン 候補 選択 例えばG1 １ 場合 ，
ン T1 T2 候補 次 ，各特徴 候補 ン
中 変 数部 分 条 件 ッ い ッ
例えば，T1 変数部分 条件 ，type1 発話長 あ ，言及
う 特徴 発話長 あ ば，条件 ッ そ 場合，
表6中 発話長 type1 値 話 変数部分 挿
入 ， 文 完成
， G1: 発 話 長 ， 抑 揚 ， 言 及 特 徴 あ
場合，T4 適用 ， 話 ， 応
良 いう 文 生成
表5 ンプレー 例
特徴 数 ン
T1 G1:1個 [type1
発話長] T2 G1:1個 [type1 ッ _ _抑揚] T3 G2:1個 [type1
発話長] T4
G1:3個
[type1発話長] [type2 ッ _ _抑
揚]，[type2 ッ _ _抑揚] 良 T5
G1:4個
[type2all]，[type2all]，[type2all]，[type2all]
べ 良
表6 イ 用 単語
特徴 [type1] [type2]
ッ 元気 声 声 高
良い 応 応
発話長 話 話 長
抑揚 良い
7.
レポー
生成
ム
7.1
ム
構成
最 終 的 出 力 統 合 ， 表 示
築 本 処理 図3 示
語 ン 対 話 終 了 生 成 情 報
， ン 発話終了時間や被験者 発話開始/終了
時間，音声認識結果 (xml形式) 保存
，加え 対 話時 各発話 音声 (wav形式)，動画
(flv形式) 保持 い ， 状態推定
ュ い ， 音 声 音 声 分 析 ソ
Praat 通 4種類 韻 特徴 算出 ，そ 基 各
発 話 応 性 5 章 分 類 手 法 応 性 良 い 発 話
(good) ， そう い発話(not_good) 断 ，
文生 成 ュ ，韻 特 徴 結 果 ，6.2
節 述べ 手法 基 文 生成 生
成 ュ ， 応 性 結 果 文 ，
情報 元 書 加え 出力用
生成
図 」 レポー 生成 ム
表示 ュ ， 対話時 動
画 ，認知症高齢者 ン 対話
様 子 GUI 表 示 サ 接 続 型 Adobe
AIR ョン MXML+ActionScript言語 実装
， ッ ワ 利用 環境 あ ば 実
行 サ ， ンソ 提供 ン
サ あ Red5 利用 ，保存 対話映像 接続
先 ン 送信 う い
7.2
レポー
表示例
表示画面 図4 示 以 4
目 成 い
選択部 文表示部
ン 質問 応性表示部
表示部
サ 起 動 い 状 態 ， サ
番号，表示 い会話 入力 ，接続
ン 押 表示 ，
文 表示 ， 応性 良い発話 全体 6
割以 占 場合，6.1 節 述べ ( ) 文 ，
0.6未満 場合，( ) 文 結果 表示
， ン 質問 対 応性 結 果
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 -
画像 表示 各質問欄 ッ ，
表 示 部 そ 質 問 終 了 時 点 認 知 症 高 齢 者 発 話
映像 再生
図4 レポー 表示画面
8.
結論
本 研 究 ， 語 ン 対 話 応 性
違 い 調 査 ， 発話 韻 情報 応 性 自 動 定方式
提案 ,発話韻 情 報 用 い 文 生 成
行 い ， 文 応性 結 果 使 い医 師 や 家 族 提
示 会話活動 生成 行 ，生成
や 文 妥 当 性 医 師 や 護 者 確
認 貰う い 調査， 表情 他 情報 追加
性能 良い 生成 う
参考文献
[Pollack 2005] Pollack, M.: Intelligent technology for an aging population: The use of AI to assist elders with cognitive impairments, AI Magazine, Vol.26, No.2, pp.9-24, 2005.
[酒井 2012] 酒井洋一， 中裕子，安田清，中 有紀子:認知
症 患 者 コ ュ ニ ョ ン 特 性 評 定 会 話
ン 利用:第74回情報処理学会，2012 [比企 2011] 比企 純太，中 有紀子，安田清： 会話
ン 利 用 認 知 症 患 者 コ ュ ニ ョ ン 支
援 ， 第 73 回 情 報 処 理 学 会 全 国 大 会 論 文 集 ，4ZA-7， pp.195-196, 2011
[斎藤 2013] 齋藤直子，林佑樹，中 有紀子，安田清：認知症
患者 状態把握支援 発話内容認識手法，第27回
