医療情報学会・人工知能学会AIM 合同研究会資料 SIG-AIMED-003-02
02-01
韻律情報と視覚情報に基づく
会話活動評価値推定手法
Automatic Prediction of Communication Attitude
based on Prosodic and Visual Information
山中
俊貴
1高瀬
裕
2中野
有紀子
2Toshiki Yamanaka
1, Yutaka Takase
2, Yukiko Nakano
21
成蹊大学理工学研究科理工学専攻
1
Graduation School of Science and Technology, Seikei University
2
成蹊大学理工学部情報科学科
2
Dept. of Computer and Information Science, Seikei University
Abstract: In recent aging societies, the number of elderly people with dementia is increasing, and it is important to assess and evaluate their health conditions. In this study, aiming at contributing to this task, we propose an estimation model for assessing the communication attitude of the elderly based on speech features and visual features such as head motions and facial expressions. We created multiple regression models and ridge regression models, and found that models using both prosodic features and visual ones had higher coefficient of determination compared to those using only speech features. This result suggests that not only prosodic features, but also visual features are useful in assessing the communication attitude of the elderly. Moreover, as a result of analyzing squared error, ridge regression models performed better than multiple regression models with stepwise method. We also implemented the ridge regression models into a dialogue system for elderly people with dementia, and built a report system to help the care givers know the heath conditions of the elderly.
1. はじめに
1.1 研究の背景 社会の高齢化が進む中，厚生労働省は「認知症高 齢者数について」[1]を発表している．これによると， 日常生活自立度Ⅱ1 以上の認知症高齢者の数は平成 22(2010)年に 280 万人であった．これは 65 歳以上の 人口の9.5％を占める．そして将来推計としては，平 成32(2020)年には 410 万人，平成 37(2025)年には 470 万人にまで増えると推計されている． 現在わが国では認知症高齢者の数の増加に伴い介 護者が不足している．この状況の改善を目的とする 研究・開発の1 つとして，患者の状態を把握・記録 し，介護者や家族に通知を行う見守りサービスがあ り，一人暮らしの認知症高齢者やその家族に向けた サービスとして必要性が高まると考えられる． 1 日常生活自立度Ⅱは，日常生活に支障を来すような症状・行動や意思 疎通の困難さが多少見られても，誰かが注意すれば自立できる状態． 1.2 研究の目的 我々は，認知症高齢者の日々の健康状態・心理状 態・認知状態の把握を目指し，在宅で患者の体調等 について尋ねることにより話の聞き役にもなる傾聴 エージェントの開発を進めている．これまでに，開 発した傾聴エージェントと高齢者との会話を分析し， 高齢者がエージェントからの問いかけに対して，テ ンポよく，リズムよく，また積極的に応答している か否かを会話活動評価値と定義し，この会話活動評 価値を韻律情報から自動的に判定する技術を開発し た [2]．一方，会話活動の良好性を左右するのは韻律 情報だけではない．会話中に身振りで話題に関連す る情報を伝えるのと同様に，表情でも話題に関連す る情報が伝えられることがわかっている[3]． そこで本研究では，認知症高齢者における会話活医療情報学会・人工知能学会AIM 合同研究会資料 SIG-AIMED-003-02 02-02 動の評価において，表情などの視覚的な情報も有用 であると考え，頭部動作と表情の情報を新たな予測 パラメータとして，より正確な会話活動評価モデル を構築・評価する．その後，作成した予測モデルを 実装し，対話システムと認知症高齢者の普段の対話 の様子を家族や介護者に伝えられるレポートシステ ムを作成する．
2. 先行研究
図1 に傾聴エージェントシステム[4]と高齢者との 対話のやり取りの様子を示す． 野中ら[4]は韻律情報を用いた会話活動評価値の 推定を行った．まず，被験者の各発話に，4 段階の会 話活動評価値をアノテーションにより付与し，評価 値の良い群と悪い群に分けた．5 つの韻律情報（ピッ チ，発話長，抑揚，ポーズ，頷き時間）においてt 検 定を行った結果，4 つの韻律情報（ピッチ，発話長， 抑揚，ポーズ）で評価値の良い群と悪い群の間に有 意差が見られた．そこでこの4 つの韻律情報を用い て，エージェントからの質問に対する被験者の応答 発話を良い・悪いの2 クラスタに分類した．認知症 グループと健常者グループにおいて，この方法で分 析を行ったところ，明らかに認知症高齢者グループ より，健常者グループの方が良いに分類される発話 が多く，悪いに分類される発話が少ないことが確か められた．3. データ収集
3.1 分析対象データ 本研究で分析データとして用いた対話システムと 認知症高齢者との対話データは過去の3 つの先行研 究で実装された対話システムを使用して得られた， 高齢者計18 名（男性 11 名，女性 7 名）の対話デー タである．以下 3.2 節に示す会話活動評価値を目的 変数，3.3 ~ 3.5 節の特徴量を説明変数として回帰分 析を用いた推定モデルの構築を行う．各被験者に対 話システムから複数の質問（10~30）を行い，計 272 の質問・応答ペアを分析対象データとした． 234 質 問・応答ペアを訓練データに，38 質問・応答ペアを テストデータとして使用した． 3.2 会話活動評価値 本研究では，被験者の会話活動を評価する指標と して会話活動評価値を用いる．会話活動評価値とは 被験者が問いかけに対して，テンポよく，リズムよ く，積極的に応答しているかを表す値と定義する． 心理学研究[5]において提案された対人コミュニケ ーションに関する評価指標を参考に，会話活動評価 のための質問紙を作成した．質問紙は，話す姿勢・ 表情・体勢に関する20 の質問からなる．評価者は大 学生 15 名(一部 10 名)であった．各質問に対して 5 段階のリッカート尺度を用いて，全評価者の評価結 果の平均値をそのユーザの会話活動評価値とした． 全ユーザの評価値の平均は65.6 点（最大値 87.4，最 小値51.7）であった． 3.3 韻律情報 発話の韻律情報としてモデル構築に以下の4 つの 予測パラメータを用いた． I. ピッチ：ユーザの発話区間のピッチ（声の高さ）の 平均 II. 発話長：ユーザの発話開始時間から発話終了時 間までの時間 III. 抑揚：ユーザの発話区間におけるピッチの最高値 と最低値の差 IV. 反応時間：エージェントの発話終了からユーザが 発話を開始するまでの時間 対象である272 の質問・応答ペアすべてにおいて 上記4 点を分析した．ピッチは，各発話音声につい て音声分析ソフトウェア Praat を用いて算出した． 全ユーザの全発話におけるピッチの平均値 μ，標準 偏差 σを求め，各ユーザの個々の発話におけるピッ チのうち，μ+2σ の範囲外の値を外れ値として除外 した．また，抑揚は，発話ごとにピッチの最高値と 最低値の差を計算した．発話長，および反応時間は， システムとの対話時に作成されるxml 形式のログフ ァイルに記録されているユーザ，およびエージェン トの発話開始・終了時間から算出した．なお，韻律 情報の詳細な分析結果は[3]に報告されている． 3.4 頭部移動情報 視覚情報である頭部移動情報としてモデルの構 築に以下の2 つの予測パラメータを用いた． I. フレームごとの頭部移動量 図1 傾聴エージェントと高齢者の対話の様子医療情報学会・人工知能学会AIM 合同研究会資料 SIG-AIMED-003-02 02-03 II. 頭部移動量の離散フーリエ解析の結果 3.4.1 頭部移動量 頭部移動量は下記の式 (1) から求められる．
2 1 2 2 1 2 2 1 2x
y
y
z
z
x
HeadMove
・・・・・(1) ここで，(𝑥1, 𝑦1, 𝑧1)，(𝑥2, 𝑦2, 𝑧2)はそれぞれ現フレー ムと前フレームの被験者の頭部座標の値である．予 測パラメータには区間における頭部移動量の平均値 を用いる．座標値の取得は，対話時に被験者正面か ら撮影された動画に対してフェイストラッキングソ フトウェアFaceAPI を用いた．全ユーザの全発話に おける頭部移動量とその平均値 μ，標準偏差 σを 求めた．各ユーザの個々の発話における頭部移動量 のうち，μ+3σ の範囲外の値を外れ値として除外し た．最後に欠損フレームが連続で10 フレーム以内で あれば線形補間を行い，10 フレームを超える場合は， 含まれる質問・応答ペアを解析対象データから除外 した． 3.4.2 頭部移動量の離散フーリエ解析結果 得られた頭部移動量の周波数解析を行い，対象区 間での頭部動作周波数の出現頻度を予測パラメータ として使用した．解析にはMATLAB を使用し，フレ ーム補間，発話長の統一，離散フーリエ解析，頻度 値の正規化という手順で進めた．FaceAPI は，動画を フレームごとに解析するため，フレームレートが異 なる動画が混在する場合，頭部移動量のデータ数が 動画によって異なってしまう．分析に用いた全ての ビデオデータについて同一の解像度で周波数頻度分 布を得るため，フレーム補間とデータ長の統一を行 った．フレーム補間は最もフレームレートが高いデ ータ(25 fps)に合わせて，各頭部移動量データの不足 フレーム数を求め，等間隔に補間フレームを挿入し た．補間には線形補間を用いた．データ長の統一で は，最も時間長の長いビデオに合わせるために，不 足分の頭部移動量データを 0 とする処理を行った． 2013 年の実験データは 768 フレームに，2015，2016 年のデータは1536 フレームに統一した． 最後に離散フーリエ変換を行い，約 0.13 Hz 刻み に96 の周波数帯を設定し，これらにおける出現頻度 を正規化した値を予測パラメータとした．フーリエ 変換では窓関数にハニング窓を使用した．図2 には 最も会話活動評価値の高かった被験者の，図3 には 最も低かった被験者の発話中の頭部移動量を上記手 順で解析した周波数-頻度グラフを示した．これらは 対話システムからの同一の質問（今までに，大きな けがや病気をしたことがありますか）に応答してい る発話の解析結果である．両グラフを比較すると， 評価値の低い被験者に比べて，高い被験者は周波数 間の変動が大きいことが見て取れ，頭部動作の特徴 を表していると考えられる． 3.5 顔面特徴点移動量 視覚情報である顔面特徴点移動量として，以下の 顔面特徴点を予測パラメータとして使用した． I. 頭部位置を基準としたフレームごとの顔面特 徴点移動量量 顔面特徴点の移動量は下記の式(2)から求めた．各 顔面の特徴点にはそれぞれ 𝑥, 𝑦, 𝑧 の 3 軸がある．今 回は 𝑥 を例にとる．
2 2 1 2 1 headx x headx x xMove ・・・・・(2) ここで，(𝑥1, 𝑥2) はそれぞれ現フレームと前フレ 図2 会話活動評価値の高い被験者の 頭部移動量の離散フーリエ解析結果 図3 会話活動評価値の低い被験者の 頭部移動量の離散フーリエ解析結果医療情報学会・人工知能学会AIM 合同研究会資料 SIG-AIMED-003-02 02-04 ー ム の 被 験 者 の 顔 面 特 徴 点 の 座 標 の 値 で ， (ℎ𝑒𝑎𝑑𝑥1, ℎ𝑒𝑎𝑑𝑥2)はそれぞれ現フレームと前フレー ムの被験者の頭部座標の値である．ｙとｚについて も同様に求めた．予測パラメータにはそれぞれの区 間における顔面特徴点の移動量の平均値を用いる． 座標値の取得は，対話時に被験者正面から撮影され た動画に対してフェイストラッキングソフトウェア VisageSDK を用いて行った．抽出した顔面特徴点は， 眉・目・口等の特徴点18 点である．VisageSDK の外 れ値の処理方法は頭部移動情報と同様の方法を用い た． 抽出した特徴量が会話活動評価値の推定に有用で あるかどうかを調べるために，左眉の外側と，口角 について会話活動評価値の高い人3 人，低い人 3 人 のグループに分けて t 検定を行った．その結果，眉 の特徴点では x 方向(p < 0.01)，口角の特徴点では x 方向(p < 0.01)と z 方向(p < 0.05)で有意差が確認さ れたことから顔面特徴点移動量も個々の会話活動の 特徴を表していると考えられる．
4. 会話活動評価値推定モデル
3.2~3.5 節に示した韻律情報および視覚情報を説 明変数として用いて，3.1 節でビデオ観察により収集 した会話活動評価値を推定するモデルを重回帰分析 およびridge 回帰分析により作成した．説明変数を以 下に示す4 パターンの組み合わせによりそれぞれの 推定モデルを作成した． 1. 韻律情報モデル（P モデル） 2. 韻律情報＋頭部移動情報モデル（P+H モデル） 3. 韻律情報＋顔面特徴点移動量モデル（P+F モデ ル） 4. 韻律情報＋頭部移動情報＋顔面特徴点移動量 モデル（P+H+F モデル） 4.1 重回帰分析モデル 4 パターンの説明変数の組み合わせを用いて，ス テップワイズ法による重回帰分析を行った．モデル への影響度が高い5 つの説明変数および各モデルの 決定係数を表1 に示す． ピッチやあごの横方向の動きが特にモデルへの影 響度が高い結果となっている．また頭部移動情報， 顔面特徴点移動量も複数影響度が高い説明変数とし て抽出されている．会話活動評価値推定に有用であ るとされ，ステップワイズ法により抽出された説明 変数の数はP モデルが 2，P+H モデルが 7，P+F モデ ルが13，P+H+F モデルが 24 であった． 4.2 ridge 回帰分析モデル 次に4 パターンの説明変数の組み合わせを用いて， ridge 回帰分析を行った．ridge 回帰の解は下記の式 (3)で求められる．y
X
I
X
X
1)
(
)
(
ˆ
k
k
・・・・・(3) 𝐗は入力ベクトル，𝐲は出力ベクトル，𝛃は係数ベク トル，𝑘は ridge パラメータと呼ばれる定数≥ 0)，𝐈は 単位行列を表す．式(3)の𝑘 = 0の場合，最小二乗推定 量と等しい． ridge 回帰分析とは，多重共線性の問題に対して提 案されたものである．多重共線性とは，説明変数の 一部が他の説明変数と相関しているときに回帰係数 の分散を増加させて回帰式を不安定にさせる．この 問題に対して適切なridge パラメータ𝑘を選び，回帰 係数を縮小することで分散を小さくし回帰式を安定 化させることで，最小二乗推定法よりも小さい平均 二乗誤差を与えることが可能になる回帰手法である． 本研究でのridge パラメータは，それぞれのモデル に対して選定している．選定方法は，15 人分の訓練 データに対して𝑘を 0～10000 まで 1 ずつ変化させ， leave-One-Person-Out-Cross-Validation により，最も平 均二乗誤差が小さいときの𝑘をそのモデルの ridge パ ラメータとして採用した． モデルへの影響度が高い5 つの説明変数および各 モデルの決定係数を表2 に示す． ピッチや反応時間，頭部の縦方向の動きが特にモ 影響度 P モデル P+H モデル P+F モデル P+H+F モデル 1 ピッチ ピッチ 顎 x 顎 x 2 反応時間 頭部 y 上唇中央 z 左目下部 z 3 --- 頭部移動量 右口角 x 右目目尻 z 4 --- 1.84~1.97Hz ピッチ 顎 z 5 --- 11.33~11.46Hz 右目下部 z 右目下部 z 決定係数 0.415 0.511 0.74 0.804 表1 重回帰モデルの結果 影響度 P モデル P+H モデル P+F モデル P+H+F モデル 1 ピッチ ピッチ ピッチ ピッチ 2 反応時間 頭部 y 頭部 y 上唇中央 y 3 抑揚 反応時間 上唇中央 y 右眉内側 z 4 発話長 抑揚 頭部移動量 反応時間 5 --- 5.74~5.87Hz 反応時間 右眉外側 y 決定係数 0.41 0.465 0.493 0.603 表2 ridge 回帰モデルの結果医療情報学会・人工知能学会AIM 合同研究会資料 SIG-AIMED-003-02 02-05 デルへの影響度が高い結果となっている．また頭部 移動情報，顔面特徴点移動量も複数影響度が高い説 明変数として抽出されている．
5. 会話活動評価値推定モデルの評価
5.1 結果 3 章でテストデータとしたモデル構築に用いてい ない未知データ38 発話・応答ペアを用いて構築した 8 つのモデルを評価する．構築モデルの推定値と会 話活動評価値との二乗誤差の平均を表3 に記す． 2 種類の回帰分析による 8 つのモデルを比較した 結果，ridge 回帰の P+H モデル(0.704) が最も二乗誤 差が小さく，良い推定モデルとなった．P+F モデル とP+H+F モデルは予想と反し，P モデルより二乗誤 差が大きくなってしまった．P+H+F モデルは，P+H モデルがP モデルより良い結果であるため，顔面特 徴点移動量が誤差に影響したことが示唆される． 4 種類のモデルにおいて，重回帰モデルと ridge 回 帰モデルを比較した結果，どの説明変数の組み合わ せでも重回帰モデルより ridge 回帰モデルの方が二 乗誤差を小さくなった．適切なridge パラメータを選 定できた結果，ridge 回帰分析による推定モデルの方 が二乗誤差を3 割程度小さくできたといえる． 以 上の評価 において 最も良い とと判断 された ridge 回帰分析による P+H モデルの推定精度につい て議論する．推定モデルにより得られる推定値は正 規化された値であったが，100 点満点での会話活動 評価値のスケールに換算すると 7.8 点の予測誤差が 生じることになる．この程度の精度で，良い・ふつ う・悪いの3 段階の評価であれば，実用的なレベル であると考えた．以下に4 章において，重回帰分析 とridge 回帰分析それぞれで得られた P+H モデルを 用いて，推定値の 3 値分類の精度を示す．3 値分類 の方法としては，会話活動評価値の最大値と最小値 の間を 3 等分する点(75.83 点，64.23 点)を閾値とし て用いた．表4 が最適モデルの未知データに対する 推定値の3 値分類と実際の会話活動評価値を同様の 閾値により3 値分類した結果との一致率を示す． ridge 回帰分析を用いた P+H モデルでは 3 値分類 において 71.1%の精度で人による評価と一致すると いう結果が得られた． 5.2 考察 顔面特徴点移動量において，会話活動評価値の高 い人と低い人との間に有意差は見られたが，モデル 評価では，推定モデルの精度向上には寄与しない結 果であった．しかし，モデル作成時の訓練データに 対するフィッティングを表す決定係数を見ると顔面 特徴点移動量を用いないモデルより用いたモデルの 方が格段に高い結果であった．この結果から2 つの 可能性が考えられる．1 つは，テストデータは分析対 象データから無作為に選択したが，モデル構築に用 いた訓練データとテストデータが明らかに異なる性 質であった可能性がある．2 つ目はモデル構築に用 いた訓練データにフィッティングしすぎるオーバー フィッティングをしている可能性がある．どちらの 問題についても，分析対象データを増やし，モデル の性能を向上させることで解決できると考える．6. レポートシステムの実装
現在，千葉県の市原市や京都市では高齢者の見守 りなどを目的にテレビ電話を使って家族や傾聴ボラ ンティアが高齢者の話をじっくりと聞くという取り 組みがされている．しかし，家族やボランティアが 毎日高齢者の聞くことは大変である．そこで，対話 システムを使ってもらい，後日その様子を家族やボ ランティアに報告することを目的として，構築モデ ルを実装したレポートしシステムを作成した．シス テムの表示内容は専門家の方にアドバイスをいただ き決定した．図4 にシステムのスナップショットを 示す．また，以下の図5 にシステムアーキテクチャ を示す． 表3 構築モデルの未知データに対する二乗誤差 P モデル P+H モデル P+F モデル P+H+F モデル 重回帰モデル 1.333 1.078 2.158 3.553 ridge回帰モデル 1.260 0.704 2.041 1.859 表4 最適モデルの 3 値分類の結果 重回帰モデル ridge回帰モデル 3値分類の精度 0.395 0.711 図4 レポートシステムの出力結果医療情報学会・人工知能学会AIM 合同研究会資料 SIG-AIMED-003-02 02-06 A) 説明変数抽出モジュール このモジュールではまず，システムのログファイ ルを指定してもらう．ログファイルを指定すると， 対応する(同じ名前を持つ)対話の音声ファイルと動 画ファイルが検出される．音声ファイルからはピッ チ情報を取り出され，flv 形式の動画を分析ソフトウ ェア用に avi 形式にレンダリングされる．レンダリ ング終了後，頭部座標情報及び顔面特徴点座標情報 を取得する．ここまでで，韻律情報および視覚情報 の情報を持つテキストファイルが保存される．テキ ストファイルを参照し，ピッチ情報と頭部座標及び 顔面特徴点座標情報を発話ごとに分割し，外れ値処 理，フレーム補間等を行って保存する．最後に，頭 部座標から頭部移動量を算出し，周波数解析を行う． B) 会話活動評価値算出・保存モジュール 説明変数をリストとして取得し，データ欠損等に より取得できなかった情報を特定する．今回のデー タに適用するモデルを発話ごとに決定後，モデルに 適用し推定値を算出する．最後に各質問の内容など 今回の対話履歴を表す各発話リストと日時やその日 の推定値など今までの履歴を表す履歴リストを保存 する． C) レポート生成モジュール 各発話リストと履歴リストを参照して情報の表示 を行う．まず，テーブル生成では各発話リストを参 照し，質問番号，質問内容，質問のトピック，顔マ ークを表形式で発話順に出力する．顔マークは表 4 の結果から会話活動評価値を3 段階に分割し，対応 する顔マークを表示する．これにより，ユーザの興 味のある質問や全体的な評価を通知する． グラフ生成では，履歴リストを参照し，過去7 回 分の会話活動評価値と総発話時間を折れ線グラフで 表示する．これにより一定期間の変化を可視化する ことができる． コメント文生成では，各発話リストと履歴リスト の両方を参照し，会話活動評価値と総発話時間につ いて前回と過去7 回との比較を視覚的に行うまた会 話活動評価値と総発話時間から今回特に反応が良か ったトピックも表示する．特に総発話時間は認知症 の診断に重要という意見を専門家の方にいただいた ので，最後に総発話時間も表示する．
