成 膜 大 学 理 工 学 研 究 報 告 J,Fac,Sci,Tech.,Sei/keiUniv. Vo1.49No.2(2012)pp.105-108
認 知 症 患 者 の た めの 語 りか け エー ジ ェ ン ト
ー患 者 の支 援 と状 態 把 握 を 目指 して 一
中 野 有 紀 子*1,酒 井 洋 一*2,野 中 裕 子*2A Conversational Agent for People with Dementia: Supporting and Assessing the Patients
Yukiko NAKANO *2. Yoichi SAKAI * 2, Yuko NONAKA * 2
ABSTRACT : With the goal of supporting people with Dementia and reducing the caregivers' physical and mental burden, this paper proposes a conversational agent that can serve as a conversation partner for people with Dementia. First, we developed an autonomous conversational agent that can generate backchannel feedback during the user's speech, such as head nod and verbal acknowledgement based on the acoustic information in user's speech: pitch and intensity. Then, we propose an assessing system for people with Dementia which recognizes the users' speech and head movements and records their verbal and nonverbal behaviors during the conversation with the agent. The behavioral records are expected to be useful for the caregivers to know the mental status of the patients.
Keywords : conversational agent, Dementia, listener agent, feedback, speech
(Received September 21, 2012) 1.は じ め に 高 齢 者 人 口の 急 速 な 増 加 に 伴 い,高 齢 者 用 施 設,病 院, 家 庭 等 様 々 な 場 面 に お い て,高 齢 者 へ の 支 援 が 必 要 と さ れ て い る。 しか し現 状 で は 介 護者 が 不 足 して お り,高 齢 化 す る 日本 社 会 に お い て 重 大 な 問 題 とな って い る。特 に, 認 知 症 患者 は 高 齢 で あ る こ とに加 え,記 憶 障 害 の た め に, 薬 の飲 み 忘 れ,同 じ こ と を何 度 も尋 ね る,時 と して 精 神 的 に 不 安 定 な 状 態 に な る とい っ た 状 況 が 起 こ り,家 族 を 中心 と した 介護 者 の 負 担 が 特 に 大 きい 。 一 方 ,情 報 技 術 や ロボ ッ ト技 術 に よ る高 齢 者 の 支 援 が 試 み られ て お り,高 齢者 の 自立 支 援,見 守 り,高 齢 者 間 の コ ミ ュニ テ ィづ く り等 を 目的 と した,社 会 的 ロボ ッ ト の 研 究 ・開 発 が す す め られ て い る[1,2]。 これ らを実 現 す るた め に は,ロ ボ ッ ト技 術 に 加 え,セ ン シ ン グ技 術,通 信 技術 等 の 情 報 技術 を 統 合 した シ ス テ ム を開 発 す る こ と が 必 要 とな る。 ま た,認 知 症 患者 の た め には,特 に薬 の 飲 み 忘 れ な どに 関 す る注 意 喚 起,精 神 的 安 定 を保 っ た め の 見 守 り,さ らに は認 知 症 患者 の 状況 を評 価 し,介 護 者 に 通知 す る 等 の機 能 を 実 現す る こ とが 重 要 で あ る と考 え られ る。 そ こで本 研 究 で は,患 者 に 精神 的安 定 を 与 え る と と も に,認 知症 患者 の介 護 者 の負 担 を 軽減 させ る こ とが で き る 情報 通信 技術 と して,認 知 症 患者 の 話 し相 手 とな る擬 人 化 工 一 ジ ェン ト(ア ニ メ ー シ ョン キ ャ ラク タ)を 提案 ・ 実 装す る。 我 々 は この擬 人化 工 一 ジ ェ ン トを 「語 りか け エ ー ジ ェ ン ト」 と呼 ぶ。 擬 人 化 工 一 ジ ェン トを 用 い る こ とに よ り,人 間 同 士 の会 話 と類似 した反 応 を ユ ー ザ か ら 引 き出 す こ とが で き る こ とが 分 か っ て お り[3],こ の 特性 を利 用 す る こ とに よ り,将 来 的 に は,患 者 が 日常 と違 う 様 子 で あ っ た場 合 に,こ れ を エ ー ジェ ン トとの 会話 を通 して 自動 的 にセ ンシ ング す る こ とが で き る 可能 性 もあ る。 ま た,通 信 シス テ ム と統 合す る と,こ れ を 介護 者 に 通知 す る こ と もで き るで あ ろ う。 本研 究 で は認 知症 患者 とそ の 家族 の方 々 に ご協 力 を い た だ き な が ら,デ ー タ収 集, 分 析,評 価 実験 を重 ね,そ こか ら得 られ た 知 見 を統 合 し た認 知 症 患者 支 援 シ ス テ ム を 提案 す る。 *1:理 工 学 部 情 報 科 学 科 准 教 授(y [email protected]) *2:理 工 学 研 究 科 理 工 学 専 攻 情 報 科 学 コ ー一一ス 修 ± 学 生 一105一
成 践 大 学 理 工 学 研 究 報 告 Vol.49No.2(2012.12) 入 カ デ バ イス (マイク) 音声入力 入力制御 一 一 動作決定
〉
■〉
行動制御 音声 出力部 発話 認識部 〉 決定部行動 一 ピツチ 取 得 部 アニ メー ション 出 力 部 デ バ イス (ス ピ ー カ ー, モニ ター) 音 声 出 力 ア ニメー ション 出 力 図1語 りか けエ ー ジ ェン トの シ ス テ ム構 成 「 L ぬ の ヤ ー げ 、 ぱ1、 図2エ ー ジ ェ ン トア ニ メ ー シ ョ ン ユーザ発話無 し 一定時間経過 「 ∠ 質問 ユー ザ 発 話 (条 件 マッチ) 表1フ ィ ー ドバ ッ ク 生 成 ル ー ル アニメ_ショ・ 相 槌 頷 き 終了 図3エ ー ジ ェ ン ト行 動 の 状 態 遷 移 モ デ ル 2.語 りか け エ ー ジ ェ ン トシ ス テ ム 本研 究 で は,最 も基 本 的 な 社 会 的 シ グナ ル と して,相 手(患 者)の 発 話 中 に相 槌(「 え え」 「は い 」)を うち,無 言 で の 頷 きを 表 出 す る機 能 に 加 え,相 手 の 発 話 終 了 を 待 っ て応 答 を 返 す た め に,発 話 終 了 認 識機 能 を 実 装 した 。 シ ス テ ム の 構 成 を 図1に,エ ー ジェ ン トア ニ メー シ ョン の 例 を図2に 示 す。 入 力 制 御 モ ジ ュー ル:発 話認 識 部 で は マ イ クか ら入 力 さ れ た 音 声 の 音 量 か ら,発 話 入 力 の 有 無 を 判 定 す る。 声 の 大 き さは 人 に よっ て 異 な るの で,判 定 の 閾 値 は 適 宜 調 整 す る こ と と した 。 次 に,ピ ッチ 取 得 部 で は,発 話 入 力 で あ る と判 定 され た 音 声 に 対 して,ピ ッチ を算 出 す る。 こ れ らの 値 は 動 作 決 定 モ ジ ュー ル に 出 力 され る。 尚,発 話 条件 エ ー ジ ェ ン トの 行 動 現 在 の ピ ッチnがn-1か らn-16ま で の 平 均 ピ ッチ より5%低 下 頷 き 発 話 終 了後2秒 以 内 の 無音 があり再 度 発 話 が検 出 される 相 槌(え え) 発 話終 了 後2秒 以上 の無 音or 発 話 終 了 直前 のピッチ 下 り幅 が2%以 内or 発 話 終 了 直前 の ピッチ が発 話 平 均 ピッチより10% 以 上上 昇 相 槌(は い) 入 力 の 有 無 の 判 定 の た め の マ イ ク入 力 の 音 量 取 得 に は ActionScriptを利 用 し,1秒 以 上 の 無 音 区 間 が検 出 され る と,そ こで発 話 が終 了 した とみ な した。 ま た,ピ ッチ取 得 部 はPitch&RhythmMonitorを 使 用 した。 動 作決 定モ ジ ュ ール:行 動決 定部 で は,入 力制 御 モ ジ ュ ール か ら得 られ た音 声情 報 を 用 い て,エ ー ジ ェ ン トの状 態 の 更新 と行 動 の決 定 を行 う。 図3に エ ー ジ ェ ン ト行 動 の 状態 遷 移 図 を 示す 。 エ ー ジ ェ ン トは 質 問 を 実行 す る と 待 機 状 態 に 入 り,発 話認 識 部 に お い て ユ ー ザ の発 話 が検 出 され る と,ピ ッチ 取得 部 か ら得 られ た韻 律 の 情報 を フ ィ ー ドバ ッ ク生 成 ル ール(表1)に 適 用 し,相 槌 と頷 き を決 定 す る。 これ らのル ール は人 対 工 一 ジ ェ ン トの コ ミ ュ ニ ケ ー シ ョン に お け る エ ー ジ ェ ン トの適 切 な フィ ー ド バ ッ ク行 動 を提 案 した[4]と 人 間 同 士 の 会 話 を 分 析 した [5]を参 考 に して 作 成 した 。 頷 き は最 新 の16個 の ピ ッチ 情 報 か ら決 定 され る た め,ユ ー ザ の発 話途 中 に も実 行 さ れ るが,相 槌 は発 話 終 了 ご とに決 定 され る。 相 槌 や 頷 き が 実施 され る と,ま た待 機 状 態 に 戻 る。 エ ー ジ ェ ン トの 質 問後,一 定以 上 の 時 間 が経 過 して もユ ー ザ か らの応 答 が な い 場合 に は,次 の質 問 に移 行 す る。 行 動制 御 モ ジ ュ ール:行 動制 御 モ ジ ュ ール は,キ ャ ラク タ の ア ニ メ ー シ ョン の 実行 と音声 フ ァイル の再 生 を行 う が,こ れ に はWoZ実 験 の た め に実 装 した機 構 を そ の ま ま 利 用 した。 一106一成 践 大 学 理 工 学 研 究 報 告 Vol,49No.2(2012.12) 旨 取 得情報 1発 話量 、_一
奇
発 話 され た キ ー ワー ドの リス ト 、葛
慈鰭 騰 詮i
音 声入 力 部 哉 一一 一一 口 忍 冒一 一一 口 舌 一一 = 口 発 音 声 認 識+キ ー ワ ー ドス ポ ッテ ィン グ 奇 一一一一' 発話 理解 部 音量 が一 定以 晩 御飯 晩御 飯が食 墾 △です 上の 音声 区間 食べたい トイレに行きたい を検 出 トイレ 家に帰 りたい 家 薬を飲み たい 薬 図4音 声 入 力 か らの 発 話 量,言 語 情 報 の 取 得 3.語 りか け エ ー ジ ェ ン トの 改 良 患者 の認 知 状 態 の 測 定 ・評 価 の 機 能 を 実 現 す るた め に は,ユ ー ザ が どの よ うな こ とを 話 し,活 発 に コ ミ ュニ ケ ー シ ョン を行 っ て い た か 否 か ,あ るいは通常 とコ ミュニ ケ ー シ ョンの仕 方 が 異 な っ て い た か を検 出す る必 要 が あ る。 ま た,統 合 的 な 支 援 シ ス テ ム と して は,そ れ を介 護 者 に 通 知 し,患 者 の状 態 を知 る手 助 け とな る必 要 とな る。 そ こで 本節 で は,語 りか け エ ー ジ ェ ン トを発 展 させ る こ とに よ り,ユ ー ザ で あ る認 知 症 患 者 の 状 態 を 評 価 す る指 標 とな るデ ー タを 取 得 し,介 護者 が 患 者 の 様 子 を 知 る手 助 け とな る統 合 シ ス テ ム を 提 案 す る。 具 体 的 に は,図1に 示 す 語 りか け エ ー ジ ェ ン トの 入 力 制 御 モ ジ ュー ル を 拡 張 す る こ とに よ り,ユ ー ザ の 発 話 か らの 音 声 ・言 語 情 報,発 話 量,非 言 語 的 反 応,コ ミュニ ケ ー シ ョン活発 度 の 取 得,ま た,動 作 決 定 モ ジ ュー ル の 拡 張 に よ り,ユ ー ザ 対 工 一 ジ ェ ン トの 質 問 応 答 履 歴 の 取 得機 能 を 実 装 した 。 ま た,こ れ らの 各 機 能 に つ い て 以 下 に 実 装 方 法 を 述 べ る。 (1)発 話 量 情 報 の 取 得:拡 張 した 入 力 制 御 モ ジ ュ ー一一ル に お け る音 声 処 理 の 流 れ を図4に 示 す 。 入 力 制 御 モ ジ ュー ル 中 の 発 話 認 識 部 で は,一 定 の 音 量 以 上 の 音 声 入 力 が あ る と,発 話 と判 定 され,ま た 音 量 が 一 定 以 下 にな る と発 話 終 了 と判 定 す る。 この機 能 を利 用 し,患 者 の 発 話 数 と 発 話継 続 時 間 を計 測 し,こ れ らの 情 報 か ら患 者 の 発 話 量 を指標 化 す る こ とに よ り,普 段 と比 較 して 発 話 量 が 極 端 に 少 な い 場 合 に これ を 検 出 す る こ とが で き る。 (2)発 話 の言 語 情 報 の 取 得:発 話 認 識 部 に音 声 認 識 機 能 を追加 す る こ とに よ り,患 者 の発 話 中の 言 語 情 報 を取 得 で き る よ うに 拡 張 した 。 音 声 認 識 エ ン ジ ンに は,汎 用 大 語 彙 連 続 音 声 認 識 エ ン ジ ンjuliUSを 使 用 し,千 葉 労 災 病 院 の認 知 症 患者 の リハ ビ リ中の 訴 えの 内 容 の 書 き起 こ し を用 い て,音 声 認 識 用 の 単 語 辞 書 ・言 語 モ デ ル を 作 成 し た 。 言 語 モ デ ル の 作 成 に は,統 計 的 言 語 モ デ ル ツ ー ル キ ッ トPalmkitを 使 用 し た 。図4に 示 され る よ うに,ま ず, 患 者 の 発 話 音 声 を 音 声 認 識 器 に よ り処 理 し,認 識 結 果 を 保 存 す る。 これ 加 え,キ ー ワ ー ドス ポ ッ テ ィ ン グ機 能 を 実 装 し,特 定 の キ ー ワ ー ドが 発 声 され た か 否 か を 判 定 で き る よ うに し た 。 キ ー ワ ー ドス ポ ッ テ ィ ン グ は,各 キ ー ワ ー ドの 音 素 列 と 音 声 認 識 結 果 内 のN-gram音 素 列 と の 編 集 距 離 を 計 算 し,一 定 以 下 の 編 集 距 離,つ ま り音 素 列 の 類 似 度 が 一 定 以 上 で あ る キ ー ワ ー ドが 見 つ か っ た 場 合 に は こ れ を 出 力 す る 。 高 齢 者 で あ る た め に 発 音 が 不 明 瞭 で あ る 場 合 も あ る の で,患 者 の 状 態 を 知 る 上 で 重 要 な 単 語 を 予 め 登 録 し て お く こ と に よ り,文 全 体 の 認 識 に は 失 敗 し て も,そ の 中 か ら キ ー ワ ー ドを 取 り 出 す こ と が で き れ ば 有 用 な 情 報 と な る。 さ ら に,想 定 発 話 を あ ら か じ め 用 意 し て お き,各 想 定 発 話 内 に ふ く ま れ る 自 立 語 の 単 語 ベ ク トル と ス ポ ッ テ ィ ン グ さ れ た 自 立 語 で あ る キ ー ワ ー ドの 単 語 ベ ク トル と の コ サ イ ン類 似 度 を 計 算 し,類 似 度 が 高 い 想 定 発 話 が あ っ た 場 合 に は,そ れ を 発 話 認 識 結 果 と し て 出 力 す る機 能 も 実 装 し た 。 UT・Us Cos(vs)-IU TIIUsl こ こ で,Tは 想 定 質 問,Sは 認 識 結 果 の 文,Ut,Usは 文T, Sに 現 れ る 自 立 語 の 頻 度 ベ ク トル を 表 す 。 こ の 機 能 に よ り,例 え ば,「 ご飯 が 食 べ た い 」,「足 が 痛 い 一 の よ うに 頻 繁 に 出 現 す る発 話 が あ る 場 合 は,こ れ を 想 定 発 話 と し て 登 録 し て お く と,検 出 す る こ と が で き る。 (3)非 言 語 的 反 応 の 取 得:音 声 認 識 を 利 用 した 言 語 情 報 の 取 得 に 加 え,デ ィ ス プ レ イ の 上 にWebCam等 の 小 さ な カ メ ラ を 設 置 し て お く こ と に よ り,患 者 の 顔 映 像 を 収 録 す る こ と が で き る。シ ス テ ム は 映 像 を 収 録 す る と と も に, 入 力 フ レ ー ム 毎 に ヘ ッ ド ト ラ ッ キ ン グ ソ フ ト ウ ェ ア FaceAPIで 処 理 す る こ と に よ り 患 者 の 頭 部 動 作 を 計 測 し, 蓄 積 す る こ と が で き る。 患 者 の 頭 部 の 動 作 を 分 析 し て み る と,図5に 示 され る よ うに,相 槌 等 を 行 い な が ら リ ズ 一107一成 踵 大 学 理 工 学 研 究 報 告 Vol,49No.2(2012.12) 一〇.5 -1 (a)被 験 者A 一〇.5: -1 (b)被 験 者B 図52名 の 被 験 者 に お け る 約100秒 間 の 頭 部 の 動 き(X-rotation) ミカ ル に 頭 部 動 作 が 行 わ れ て い る被 験 者(被 験 者A)と,ほ とん ど動 きが み られ な い 被 験 者(被 験 者B)が い た 。 8名 の被 験者 に つ い て,エ ー ジ ェ ン トとの 会 話 中の 頷 き行 動 を ア ノテ ー シ ョン し,会 話 中 の 各頷 き行 動 の 継 続 長 の 総 計 を集 計 した(こ れ を頷 きの 総 量 とす る)。そ して, 頷 きの 総 量 が10秒 以 下 の被 験 者 と10秒 以 上 の 被 験 者 の 2群 に お い て,会 話 中 の 被 験 者 の 発 話 割 合 を 比 較 した と こ ろ,頷 き総 量 が10秒 以 上 の群 は10秒 以 下 の 群 に比 べ て,被 験者 の発 話 時 間 の 割 合 が 大 き くな る傾 向が み られ た(t(6)=-1.9999,p<O.1)。 この 結 果 は,エ ー一一ジェ ン トと の 会 話 に お い て 頷 き行 動 が 多 くみ られ た被 験 者 ほ ど発 話 が 活発 に な る こ と を示 して お り,頭 部 の 動 きや 位 置 か ら 頷 き を検 出 で きれ ば,コ ミ ュニ ケ ー シ ョンの 活 発 性 を 測 る こ とが で き る こ とを 示 唆 して い る。 ま た,頭 部 動 作 に よ る会 話 参 加 態 度 推 定 方 式 を利 用 す れ ば[6],頭 部 の 動 き か ら患 者 が エ ー ジ ェ ン トとの 会 話 に積 極 的 で あ るか 否 か も推 定 す る こ とが で き る と考 え る。 4.お わ り に 本稿 で は,認 知 症 患者 とそ の 介 護者 を 支 援 す る こ と を 目的 と し,ア ニ メ ー シ ョンに よ る語 りか けエ ー ジ ェ ン ト を提 案 ・実 装 した 。 さ らに これ を拡 張 し,認 知 症 患 者 の 音 声 ・言 語 情 報 と頭 部 の 動 きを エ ー ジ ェ ン トとの 会 話 中 に 計 測 し,患 者 の 状 態 を介護 者 が よ りきめ 細 か く把 握 す るた め の シス テ ム を実 装 した 。 今 後 は,患 者 が 興 味 を持 つ 話題 選 択 す るた めに,患 者 の プ ロ フ ィー ル か ら興 味 を 持 ち そ うな 話題 を 推 定 した り, 使 用 時 の行 動 か らシ ス テ ム が 学 習 す る等 の 方 法 を 検 討 す る必 要 が あ る。 ま た,本 シ ス テ ム の使 用 に お い て,患 者 は キ ー ボ ー ドや マ ウス の 操 作 を 一 切 必 要 と しな い が,シ ス テ ム の 開 始 と終 了 の操 作 を 介護 者 や 病 院 の ス タ ッ フに 行 っ て い た だ く必 要 が あ る。 そ の た め,ブ ラ ウザ 上 で ア ニ メ ー シ ョ ンを 動作 させ る等 の 工 夫 を し,特 殊 な 計 算機 環 境 を 必 要 と しな い シ ス テ ム 設計 を採 用 した が,今 後 は 介 護 者 の シ ス テ ム操 作 を さ らに簡 便 化 す る よ うシス テ ム の 改 良 を行 っ て ゆ く予 定 で あ る。評 価 実 験 も さ らに進 め, 継 続 的 に本 シス テ ム を利 用 して い た だ き,よ り長 い期 間 で の評 価 実 験 を進 め る こ とに よ り,本 シス テ ム の有 効性 の 評価 を行 っ て ゆ く予 定 で あ る。
