自動ソーシャルスキルトレーニングに向けた 仮想エージェントの設計
田中 宏季
,
中村 哲奈良先端科学技術大学院大学
(NAIST)
2021/3/10 TAPAS SUPPORTED BY ANR-CREST 1
HAI
シンポジウム2021
研究の背景・目的
学校や職場における，社会的コミュニケーションが苦手な人・社交不安障害の増加（
3-13%
程度）日常的な状況での，会話・パブリックスピーキングのエージェントによる言語
/
非言語対話的自動訓練システム による解決を目指す◦
対象者：一般人、自閉症（ASD: Autism Spectrum Disorder)
、統合失調症（Schizophrenia
）、社交不安障害（
SAD: Social Anxiety Disorder
）◦
行動面の訓練：ソーシャルスキルトレーニング（SST
）を適用◦
認知面の訓練：認知行動療法（CBT
）を応用他人に悪い評価を受けることや 注目をあびる行動への不安緊 張
↓
赤面、こわばり、発汗、震え、動 機、話せない、声が出ない、息 苦しい、腹痛、尿意、ぎこちない
行動
症状再現：予期不安
社交恐怖：回避行動
社交不安障害
恥ずかしい
研究の全体体制
2021/3/10 TAPAS SUPPORTED BY ANR-CREST
3
Nakamura G NAIST (WP2, WP3, WP4, WP5) Satoshi Nakamura ， Hiroki Tanaka, Seitaro Shinagawa
Hirokazu Kato ， Yuichiro Fujimoto
Iwasaka G Nara Med. Univ. (WP1, WP4, WP5)
Hidemi Iwasaka ， Yasuhiro Matsuda, Kosuke Okazaki
Kudo G Osaka Univ. (WP1, WP4, WP5) Takashi Kudo ， Hiroyoshi Adachi
Yukako Sakagami
Pelachaud G （ France CNRS-ISIR ） (WP1, WP3, WP5) Catherine Pelachaud
Donatella Simonetti
MARTIN G (France CNRS-LIMSI ） (WP1, WP2, WP5) Jean-Claude MARTIN
Laurence BOLOT Céline CLAVEL
France Japan
Culture difference Teenagers, children with ASD
WP4 VR/AR/Display
one to one one to multi-party
Behavioral training
Cognitive therapy Agent’s eye gaze, attitude (e.g. cooperative)
Multimodal behaviors
Through human-agent interaction
No stress, high self-efficacy Learn appropriate behaviors
Chat-based
AttrakDiff questionnaire Anxiety state inventory Physiological responses
(ISIR)
(CNRS-LIMSI)
(NAIST)
(Nara Med. Univ.)
(Image: psychology toolbox)
Public speaking training
Technical approach
(Image: the verge)
WP1
WP2 WP3
Gathering therapy data WP4
(Osaka Univ.) WP5
Situation & immersion
Virtual agent platform
Dialog modeling
Online measuring
& feedback
Language processing
Facial expression Body movement
Evaluation
Agents integration, translation
SST CBT
Speech recognition
New scenarios System improvement
Theories of social interaction
Data collection
quantitative qualitative
ソーシャルスキルトレーニング（
SST
）と認知行動療法SST
シナリオ◦
べラックモデル◦
自己紹介、インストラクション、モデリング、ロールプレイ、フィードバック、宿題重症度 パブリックスピーキング
話す
聞く
依頼する
断る 会話の割り込み
多人数会話
認知行動療法
*
一般人 自閉スペクトラム・統合失調症
基本４課題 その他課題
SST
CBT
仮想エージェント構築
プラットフォーム
: Greta Ogre3D
音声認識: Google ASR
音声合成
: CereProc TTS
、リップシンク 通信モジュール: Java ActiveMQ
キャラクター
:
自作キャラクター（アニメとリアルを用意）2021/3/10 TAPAS SUPPORTED BY ANR-CREST
5
仮想エージェント構築
[Tanaka+2021]
奈良医大と共同で、
SST
のシナリオに基づき構築こんにちは。私はタパスといいます。あなたのお名前は なんですか？
こんにちは、〇〇さん。最近は元気でしたか？
そうでしたか、今日は話すスキルを一緒に学びます。ど うして話すスキルは大事だと思いますか？
ありがとうございます。困難なことがあると、自分のこと ばかりに目がいきがちです。他の人や、良いことに目を 向け、それを適切に伝えることによって、他人との連帯 感を高めることができます。
…
では、実際にロールプレイをやってみましょう。
最近あった楽しかった話を１分間で私に伝えてください
。
では、どうぞ。
はい、ここまでで大丈夫です。ありがとうございました。
結果を計算しますので、少々お待ちください。
では、フィードバックです。
…
今日学んだスキルを日常生活で使ってみてください。
ありがとうございました。また会いましょう。
本研究の問題設定
これまで欧州向けに開発されたエージェントから外見を変更
しかし、仮想エージェントの設計に関して、どのような仮想エージェントがより好まれるのか、より受け入れられる かの調査がなされていない
自動
SST
が、本人に適応して受け入れられるためには、相性などを考慮した詳細な調査が必要 人間およびロボットではなく、仮想エージェントの中での設計の比較◦
色々な設計を試しやすいという側面2021/3/10 TAPAS SUPPORTED BY ANR-CREST
7
外見と動作、リアリズム、タスクの深刻度
先行研究
Esposito et al., 2019ab
McDonnell et al., 2012 Ring et al., 2014
調査項目
自動ソーシャルスキルトレーナの設計において、
1.
どの仮想エージェントの設計が、好ましく、受け入れられるかを調査2.
好ましさと関連している要素を調査3.
性別、年齢、自閉症傾向による好ましさの関係性を調査2021/3/10 TAPAS SUPPORTED BY ANR-CREST
9
使用した画像
イラスト一枚絵、アニメーション専門のデザイン会社に依頼し設計
使用した仮想エージェントの動画
Cereproc
音声合成「こんにちは、一緒にコミュニケーションの練習をしましょう」動作、リップシンクを生成
2021/3/10 TAPAS SUPPORTED BY ANR-CREST
11
実験参加者
クラウドソーシングで収集
18
歳以上の日本国籍を有する方3
回に分けてデータ収集◦
データ1) n=305
（右図参照）◦
データ2) n=305
◦
データ3) n=302
年齢に関して
45
歳を高低の基準(
高年齢: n=84,
低年齢: n=221)
データ
1
の特性自閉症傾向（
SRS
）および失感情症（TAS
）0 50 100 150
304050607080
Social Responsiveness Scale
Toronto Alexithymia Scale
rho=0.67***
2021/3/10 TAPAS SUPPORTED BY ANR-CREST
13
データ
1
に対して収集、総合得点のみ考慮 両者に高い相関を確認(ρ=0.67, p<0.001)
81
点のカットオフ値をSRS
の高低の基準とした(
高SRS: n=113,
低SRS: n=192)
質問項目
◦
トレーナとして受け入れることができる◦
話の聞き手として受け入れることができる◦
リアルだ◦
不気味だ◦
信頼できる◦
顔が好みだ◦
目が好みだ◦
声が好みだ◦
年齢が好みだ◦
服装が好みだ◦
好みだ◦
親しみやすい5
段階のリッカート尺度（1:
全くそう思わない、5:
とてもそう思う）統計解析
質問項目の評定値に正規性を確認することができなかった為（コルモゴロフ・スミルノフ検定
p < 0.05
）、仮想 エージェント毎の違いに関して、クラスカル・ウォリス検定を使用画像と動画で、好ましさと親しみやすさに関して、対応なしのウィルコクソンの符号順位検定を実施 質問項目間の関係性を見るため、スピアマンの相関係数を算出
性別、年齢、
SRS
の群間毎の分析では、仮想エージェント・質問項目の全組み合わせにて効果量r
を算出 し、r
の上位3
個の組み合わせを算出2021/3/10 TAPAS SUPPORTED BY ANR-CREST
15
画像に対しての評定
(1)
好ましさ、親しみやすさ、リアルさ（クラスカル・ウォリス検定
, p<0.05
） リアルさが(b) < (a) < (g)
の順番となっている、(b)
が最も好まれる(a) (b) (c) (d) (e) (f) (g) (h) (i)
12345
Familiarity
Character
(a) (b) (c) (d) (e) (f) (g) (h) (i)
12345
Realism
Character (a) (b) (c) (d) (e) (f) (g) (h) (i)
12345
Likable
Character
画像に対しての評定
(2)
2021/3/10 TAPAS SUPPORTED BY ANR-CREST
17
(a) (b) (c) (d) (e) (f) (g) (h) (i)
12345
Acceptability as a Trainer
Character
(a) (b) (c) (d) (e) (f) (g) (h) (i)
12345
Familiarity
Character
(a) (b) (c) (d) (e) (f) (g) (h) (i)
12345
Trustworthiness
Character
(a) (b) (c) (d) (e) (f) (g) (h) (i)
12345
Eeriness
Character
(a) (b) (c) (d) (e) (f) (g) (h) (i)
12345
Realism
Character (a) (b) (c) (d) (e) (f) (g) (h) (i)
12345
Likable
Character
動画に対しての評定
動画にすることにより、好ましさは有意に変化しない
(p > 0.05) (h)
の仮想エージェントでは親しみやすが有意に向上(p < 0.05)
(h) (i)
12345
Likable
Character
(h) (i)
12345
Trustworthiness
Character
(h) (i)
12345
Eeriness
Character
(h) (i)
12345
Realism
Character
(h) (i)
12345
Familiarity
Character
(h) (i)
12345
Acceptability as a Trainer
Character
質問項目間の相関行列
顔と好ましさに高い相関（
ρ=0.78, p < 0.05
） トレーナとして受け入れられるかと、聞き手として受け入れられるかについても高い相関（
ρ =0.80, p < 0.05)
声の好ましさと他の質問項目に関しては、低めの相関2021/3/10 TAPAS SUPPORTED BY ANR-CREST
19
効果量の高い仮想エージェント・質問項目の組み合わせ
SRS
の高低とキャラクター(g)
の好ましさの関係2021/3/10 TAPAS SUPPORTED BY ANR-CREST
21
考察
仮想エージェントの設計
◦ (b)
は、元々10
代女性のアニメらしい絵として設計されたもの。日本人がこの様なアニメ動画の視聴に慣れていること もあると考えられ、親しみやすさも高い値を示している可能性好ましさと関連している質問項目
◦
質問項目間で有意な相関を確認◦
トレーナとしての役割と聞き手としての役割で、継続したインタラクティブな対話をしていないことから差を確認することが できなかったが、今後明示的に仮想エージェントの役割を与えた際の調査も必要となってくると考えられる性別、年齢、自閉症傾向による関係性
◦ (g)
、(b)
の女性仮想エージェントを男性の方がより好むと評定◦ (i)
の仮想エージェントを高い年齢群の方で好む、子どもでの影響の必要性◦
自閉症傾向が高い群は、(g)
、(h)
などの仮想エージェントに対して高い評定。この点については、今後、自閉スペクト ラム症の顔の要素の認識特性など調べる必要性まとめ
自動
SST
の設計にあたって、仮想エージェントの受け入れやすさ、好ましさなど種々の尺度に関して調査 仮想エージェントの画像と動画を用意し、固定されたシナリオを用意結果として、女性のアニメ型の仮想エージェントが最も好まれることを確認
性別、年齢、自閉症傾向に関係して有意に差のある仮想エージェントと質問項目の関係性を調査
今後の予定
