The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
ン
接客
ン
研究
A Training System with a Character Agent for Communicating the Mind of Servise
守
航大
*1
角
薫
*2
Kodai Morita Kaoru Sumi
*1
公立
未来大学大学院
情報科学研究科知能情報科学領域
Graduate School of Information Science, Future University Hakodate
This paper describes a dialogue system for communicating Japanese-style of service-mind as typified by paying attention to the little things and feeling compassion for a customer’s feelings. Users are able to learn taking communication with character agent using the system. We think this system is possible to spread Japanese-style of service-mind around the world. Our system uses a speech recognition system, a speech synthesis system and a dialogue system, and it also uses Microsoft Kinect for facial expression and gesture recognition. This system is evaluated for the effect of a system using subjects by comparing with previous system using EEG machine.
1.
はじめに
日 本 接 客 ビ 世 界 定 評 あ , 例 えば
ン 客室乗務員 ビ ン ン 置 い . 接 客 ビ 客 様 ン 最
大 笑顔 要 あ 言わ い [1]
. 本研究 ,
ン 対話 接客 ビ 学習
開発 . 日本 ビ ン , 近 増加 傾向 あ 海外 労 働者 わ や く伝 え
期待 .
2.
関連研究
ELIZA[2] 非 指 示 的 カ ン セ ン 抜 出 ワ
決 文句 埋 込 い 単純 形式
, 目的 持 対 話 わ く対 話 長 引
設計 あ . 近 音声対話 身近
, 例えば携帯電話 iOS 向 音声認識 利用 操
作補助機能 Siri，Android Google音声認識 搭載さ い . SimCoach
1
カ 軍人用 ン
あ . 主 退役軍人 対象 , 戦場 精神的 傷, 抱え 兵士 心 癒 目的 開発さ , ン 用 い 音 声 対 話 ン 期 待 高 い
. 日 本 い ン ン 引 克 服
支援 あ , ン 使 ン 目的 い
[3] .
3.
ウヺザゥントヹトレヺニングサシテム
本研究 3D ン 用い C#
Visual Studio 2010 XNA 使用 . 本研究 , 脳波測定
器(EEG) 用い ビ ン 伝え ン
対話
[4][5][6][7]
Kinect 表情認識 認
識 機能 拡張 あ [ 8][9].
概念図 図1 通 あ .
本 Google音声認識 AITalk
®2
用い . 本 対話 相手 作成 3D
1
SimCoach, http://www.simcoach.org/
2
AITalk, http://www．ai-j．jp
ン 使用 . ン ,本研究 微笑
, 悲 使用 . ン 口 形
あ , い , う , え , 用意 , ン 利用 . さ , ン 浅い 辞儀 , 深い 辞儀 等
行い, ン 定間隔 瞬 う
い . 図2 あ . 対話システム
し Artificial Intelligence Markup Language(以下AIML)を
使用す . AIML 自然言語ソ ト ア構築 ため
XMLを応用したマークアップ言語 あ . AIML ト ッ
ク機能によ , 話 内容ご に会話を分けた.
3.1 表情認識サシテム
Kinect 用 い 表 情 認 識 Kinect for
Windows SDK Face Tracking い う 機 能, Face Tracking
Basics-WPF ン ベ , ン 合う う
組 込 あ . ン 顔 検 出 あ ,
Kinect for Windows Face Tracking Animation Units/AU
いう表情 特徴 用い, 眉 角 , 口角 角 基準 . 本研究 AU 特徴
使用 い . 口 横 引 伸ば い 状態(AU2 0.4以
) 笑顔 定 , 以外 眉 い 状態(AU3
0.4以 ) 悲 い顔 定 い . , 口 開い い (AU1
0.5 以 )場 合 除 外 い . , Kinect for Windows
SDK ン検 出 複 数 人 検 出 対 応 い
, 本研究 , 人 特定 必要 あ , 複数人検出
さ 場合 顔 面積 最 大 い人(最 Kinect 近い人)
う 実装 .
連絡先：守 航大，公立 未来大学，〒048-8655 海 道函館市亀 中 町 116-2 角薫研究室,
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
3.2 ザゥシチャ認識
Kinect for Windows SDK 骨格検出 ベ , 得
い 骨格 ン 骨格 時 得 い RGB映像 標 照 合わ , 程 骨格 標 変 あ
読 認識 行 . Kinect 骨格認識 頭,
肩, 右手, 左手, 腰, 右足, 左足 計20箇所 骨格 ン 検出 , 本研究 認識 頭, 背骨, 腰 所 骨格 ン 使用 認識 い . 図 3 骨格認識 ン あ . 3 点 回 使用 頭, 背骨, 腰 ン あ . 頭 ン
hpoint, 肩 中央 ン scpoint, 腰 ン spoint 定
義 い . 骨格 標 番左 (0,0) , 右 行くほ X
標 値 大 く . 行 くほ Y 標 値 大 く .
spoint Y 標 hpoint Y 標 差 定以 あ 場合
立 い , 立 い 状態 hpoint 遷移状態 ,
scpoint spoint 差 浅い 辞儀 , 深い 辞儀
断 い . 認識 浅 い 辞 儀 深 い 辞儀 検出 う い . 浅い 辞儀 約15
角 辞儀 検出さ , 深い 辞儀 約30 以 角 深い 辞儀 検出さ う .
3.3 接客トレヺニング対話サシテム
接客 ン 対話 , 褒 方 い , い , 挨拶 い 3 ン ン ン
. ン 音声認識, 表情認識,
認識 行 い . 会話パ 接客 関 本 [1]
参 考 内容 作成さ い . 褒 方 褒
笑顔 ン , い 対処方法 悲 い顔 深い 辞儀 , 挨拶 店 使う基本的
挨拶 い 笑顔 浅い 辞儀 ン
. 初 ン 自己紹 , 接客業 い 何
聞 い パ あ . 後 ン 入 , ン ン 手本 言葉
表情 見 , 次 ン いう流
図1 システム概念図
図2 システム スナップショット
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 -
あ . ン , 指定さ 表情 作 ,
指定さ 台詞 読 い あ . 際, 読 文 関 音声認識 AIML 使用 話 い
断 , 表情 Kinect 断 .
ン 音声認識, 表情認識, 認識 時 行い, 全 ン う く い ば, 次 ン 進 .
, 認識 失敗 ば う ン
行う.
4.
実験
実験 被験者12 ン , 使いや い う , 昨 比 改善さ 評価
. 被験者 大学3 生 4 生 男性9 , 女性3 ,
均 齢21.8歳 あ . 被験者 褒 方 い , い , 挨拶 い 3 ン い,
ン 後 , ン 答え . ン 表1 記載 , 質問2 質問 8 5段階評価
理 答え .
表1 ン 質問内容
問1
接客業 や い 経験 あ ？あ 答 え 方 経 験 数 ， う 仕 ？
問2 楽 ？ 問3 使 い 思い ？
問4
接客 ン 役 立 う ？
問5 自 表情 見え い ほう 良い ？
問6
ン 印象 い う思い ？ 質問6.1 印象 う ？ 質問6.2 親 ？ 質問6.3 寧 ？ 質問6.4 優 ？ 問7 話 や や ？ 問8 音声 や ？
ン 結果, 各質問 5段階評価 均値 表2 う 結果 . 良い評価 得 5点, 悪い評価
1点 い . さ , 表2 既存 結果 均
値 記載 . 本 Kinect 使用 あ ,
既 存 脳 波 測 定器 使 用 あ . 各 均値 小数点第 , 小数点第 四捨五入 い
. 結果 , 相関 数 求 , 脳波測定器 利用 既存
結果 比較 t検定 行 .
質問 1 , 接客業 経験 あ 者 , 接客業 経験 い 者 , 接客業 経験 あ 者 ほ 本 使
い, 役 立 う 好意的 評価 得 . , 各質問
対 相関関 調 結果, 質問2 質問3 い , 0.77
強い相関 数 見 . , 楽 く感 場合, 使 い 感 傾向 あ わ .
Kinect 用い 本 , 脳波測定器 用い 既存
実験 各質問 対 t検定 行 結果, 質問2 楽 ？ 有 意 傾 向 あ (t=0.36，
df=11, p <0.05). 質問3 使 い ？
有意 あ いう結果 出 (t=-3.22，df=11, p <0.05).
脳 波 測 定 器 用 い 既 存 均 値 方 高
. Kinect 用い 本 , 脳波測定器 用い
既 存 方 全 体 的 評 価 高 .
表2 システム5段階評価 平均値
平均値(本システム) 平均値(既存システム)
質問2
2.92
4.05
質問3
2.83
4.00
質問4
3.42
4.15
質問5
4.25
2.45
質問6.1
3.92
3.60
質問6.2
3.42
4.15
質問6.3
4.25
4.45
質問6.4
4.08
3.75
質問7
2.50
3.15
質問8
4.00
4.20
5.
考察
実験 得 結果 , 既存 比較 面 い 全体的 本 昨 均値 く い . , 実験時 ン , 本 音声認識 い 否定 的 意見 目 立 . 認識 率 目 立 理
既存 加え Kinect 処理 加え い
全体 処理 く 考え . 方 使 い 良い意見 挙 い .. 本 研究 使用 音声認識 対 意見 否定的 あ ,
ン や 内容 対 好意的 意見 多 . 音 声 認 識 改 善 , 認 識 精 ば
全体 好意的 意見 持 え 考え . t検定 , 質問2 対 有意傾向 見 , 質問3 対 有意 あ
いう結果 出 . 2 関 質問 あ . 加 え , 質問2 質問3 高い相関 見 , 楽 さ
使 い 影響 与え . 本 2 評価 均値 い数値 , 音声認識 改善
評価 均値 向 考え . , 程 具 体的 改善案 出 い い 意見 , 動作や表 情 単純 い い い く, 程 表 情 い , 程 動 作 い い 等
示 さ 発展 , 良い 利用 い 考え .
6.
まとめ
本 研 究 接 客 ン 開 発 , 実 験 評価 .
参考文献
[1] 森 裕道: 心理接客術 客様 心 瞬
接 方, ソ (2009)
[2] Weizenbaum, Joseph: ELIZA — A ComputerProgram For the Study of Natural LanguageCommunication Between Man And Machine,Communications of the ACM 9 (1): pp.36– 45(1966)
[3] 高橋識行, 角薫: ン ン 引 克
服支援 研究, 日本
学会2013 次大会, pp.99-101, 日本
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 -
[4] 江端 竜次, 角薫: ビ ン 伝え
ン 対話 ， ン ン2013，(1EXB-45)，情
報処理学会(2013)
[5] Kaoru Sumi: Communication with a VirtualAgent via
Facial Expressions, IJCAI Workshop onEmpathic
Computing, 4th International Workshopon Empathetic Computing (IWEC’13), Beijing,China 招待講演 (2013)
[6] Kaoru Sumi, Ryuji Ebata: Human AgentInteraction for Learning Service-MindedCommunication, iHAI2013, 1st internationalconference on Human-Agent Interaction(2013) [7] Kaoru Sumi, Ryuji Ebata: A Character AgentSystem for
Promoting Service-MindedCommunication, Intelligent Virtual Agents,Lecture Notes in Computer Science, LNAI8108, pp.438, Springer, (2013)
[8] 守 航大: ビ ン 伝え ン
ン , 公立 未来大学卒業論(2013)
[9] 守 航大, 角薫:接客 ン
研 究, 日 本 学 会 2013 次 大 会,
