ペットロボットを用いた感情認識システムに関する研究

(1)

ペットロボットを用いた感情認識システムに関する研究

著者館宜伸

著者別名 Tachi, Yoshinobu

雑誌名博士学位論文要旨論文内容の要旨および論文審査

結果の要旨／金沢大学大学院自然科学研究科

巻平成19年3月

ページ 15‑18

発行年 2007‑03‑01

URL http://hdl.handle.net/2297/14580

(2)

氏名学位の種類学位記番号学位授与の日付学位授与の要件学位授与の題目論文審査委員(主査）

論文審査委員(副査）

館宜伸博士（工学）

博甲第752号平成１７年３月３１日

課程博士（学位規則第４条第１項）

ペットロボットを用いた感情認識システムに関する研究木村春彦（自然科学研究科・教授）

村本健一郎（自然科学研究科・教授），山根智（自然科学研究科・教授）

藤田政之（自然科学研究科・教授），南保英孝（自然科学研究科・講師）

ペットロボットを用いた感情認識システムに関する研究

StudiesontheEmotionRecognitionSystenlUsingaPetRobot

Ibday,sincechangeoftheemploymentfbrmofthecompany,whichsaidfromlifetimeemploymenttothe

annualsalarysystem,instabilityofthecoiltentsofservice,andanincome,theincreaseintheunelnployment

rate,and1changeofthesocialenvironlnentofchildren，searlyeducationyoungandoldofbothsexes，

uneasinessincreases,andtheheartofthehumanbeings,ｗｅａｒｅｗｉｌｄ，rbrthisreason,ｔｈｅｗｉｓｈ，，Cure，，ｉｓ，

whichhasbecolnestrongfUrther、Inthispaper,thefeelingofacomplaintisrecognizedinordertorelieve suchpeople，ｓｈｅart,anditconsideredmakingthereSponseunitedWiththefeelingnodback、Asapreceding paragraphstoryfbrthat,thispaperpresentsamethodfbrrecognizinghumanemotionsandshowseHicientof theproposedmethodwitheXperimentalresults．

１はじめにない利点もある．後者は発話者が特定話者の場合には，

学習により認識率を向上させることができるが,不特定話者の場合には認識率が低くなる場合があり，実用に耐え得ることができなかった．尚,最近では前者と後者の手法を併せ持つ感情認識を行う製品が開発されているが，

詳細については不明である．

本論文では，文献で用いたペットロボットを導入し，

ペットロポットを撫でながら音声入力をしてもらうこと近年,終身雇用から年俸制へといった企業の雇用形態

の変化や,勤務内容,収入の不安定さ,完全失業率の増加，

更には子供達の早期教育といった社会環境の変動から，

老若男女の不安が増大し,我々人間の心が荒んできている．このため,癒されたいという願望はいっそう強まっている．本研究では,このような人々の心を癒すために，

愚痴の感`情を認識し,その感`情に合わせた相槌をうたせることを考えた．本論文では,そのための前段階として，

ペットロポットを撫でながら音声入力してもらうことにより発話者の感`情を認識する方法を提案する．

発話者の感情を認識することは,臨場感ある対話システムの開発やケアシステム作成に役立つ．感`情認識の研究には,単語や会話の意味解釈がら判別するものや,発話者の音声から判別するものがある．前者は,会話文を自然言語解析することで感情判別を行うため,誤った感情を判断することもある．例えば,怒りの感情で弔辞を読む場合である．文面から悲しみの感情と誤認識される．

ただし,会話文に対して感情別のキーワードとなる言葉を解析しているため,発話者の特定．不特定に左右され

鼬、、

，図１：本研究で用いられるアザラシ型ペットロポット

(3)

(4)登録中の識別データに同じものがなければ,Ｏを出力する．

尚,将来的には,古い識別データを削除していく，

により，不特定話者の感情認識を行うシステムを提案する．これは撫で方のパターンごとに音声の韻律`情報を割り当て，同じ撫で方であれば同一人物と仮定し,個別に学習させることにより，不特定話者の感情認識の信頼度を向上させようとするものである．尚，ペットロボットを撫でるという行為には,癒し効果があることが知られ

ている．

2.2感情認識アルゴリズム

本論文で音声`情報から抽出する韻律情報は,先ず,ピッチ，ピッチ速度，ピッチ速度の絶対値,パワー,残差パワー,スペクトル量の６種類である．この各韻律情報に対して,平均値,分散値,最大値,最小値,範囲の値を求める．ここで,ほとんどの音声でピッチ速度の絶対値の最小値はＯをとる．また,範囲の値は最大値一最小値で求めるため，ピッチ速度の絶対値の範囲の値は最大値と同じ値をとる．このため，ピッチ速度の絶対値の最小値と範囲の値の特徴量を除外した．そして上記の特徴量に加えて,パワーが設定した閾値を超える時間の割合を求める．従来手法の韻律情報との違いは，「発話継続時間を母音数で割った値」，「有ピッチ時間を母音数で割った値」を除外し，「パワーが設定した閾値を超える時間の割合」を追加したことである．

本研究では,愚痴の感情を認識し,その感情に合わせた相槌をうたせることを目標にしているので,対象とする感情は相槌にかかわってくる「平静」，「喜び」，「怒り」，「悲しみ」の４つとした．

尚，アルゴリズム２は,登録者の音声データと撫で方のパターンを予め学習データとして入力し,識別データと韻律情報を求め,各識別データごとに各感情ごとの韻律情報をまとめておくことが必要である．以下に感情認識のアルゴリズムを示す．

２ペットロボットを用いた感情認識シ

ステム

ペットロボット(図１）を導入し,音声からの感情判別に触覚入力を組み合わせることで,不特定話者の感情判別の認識率向上を図るものである．

先ず,撫で方の既知/未知の判別を説明し,感情認識の

アルゴリズムを示す．

対象とするペットロボットは,ぬいぐるみ型で毛皮の下に合計10個の圧力型触覚センサが装備されている．

2.1撫で方の既知/未知の判別

本論文では,撫で方のパターンごとに音声の韻律情報を割り当て，同じ撫で方であれば同一人物と仮定し,個別に学習させることにより，不特定話者の感`情認識率の向上を図る.以下に撫で方の既知/未知の判別アルゴリ

ズムを示す．

アルゴリズム１

【入力】１回撫でる．

アルゴリズム２

【入力】時系列的に撫で方のパターンと音声データを入力する．

【出力】入力された「撫で方」の識別データが,登録してあるどの識別データと同じかを判定する．出力値は,登録中の識別データのNo.である．また，同じものがなければ,０（該当するものなし）を出力する.ただし,１回の撫で方から複数の識別データが生成される場合がある．

【出力】音声データごとに判定した感情を出力する．

【操作】

（１）アルゴリズム１を用いて,入力された撫で方のパターンから識別データを生成し,各識別データごとに登録中の同じ識別データのNo.を求める．また,登録中の識別データに同じものがないものにはＯを与える～

（２）入力された音声データの韻律,情報を求める．

（３）各識別データと音声データを対応付ける．以下は各識別データに対して行う．

【操作】

(1)入力された「撫で方」から識別データを生成する．

（２）生成された全ての識別データに対し,以下の操作を繰り返す．

（３）登録中の識別データから同じものを探す．見つかれば登録中の識別データのNo.を出力する．

(4)

(4)対応付けられた識別データＤＤｊと音声データ

ＶＤｆから,登録中の同じ識別データに付加されている４つの感情の韻律情報のデータベースを引き出す．ただし,識別データのNo.が０（登録中の識別データに同じものがない）であれば，

従来手法の操作で感'情判別を行ってから，（６）

へ飛ぶ．

(5)音声データＶＤｉの韻律`情報の特徴量と，（４）

の操作で引き出した４つの感情の韻律情報の特徴量とのマハラノビス距離を求め,最も近い感情を識別データＤＤｊに対する判別結果とする．

ただし，（４）の操作で引き出した４つのデータベースの中に,韻律情報の件数がβ以下のものがあれば,従来手法の操作で感`情判別を行う．

(6)音声データＶＤｆと対応付けられた他の識別データで,まだ感`情の判別結果が出ていないものがあれば，（４）へ戻る．音声データＶＤｊと対応付けられた全ての識別データに対し,感情の判別結果が出たのであれば，（７）へ進む．

(7)音声データＶＤｊと対応付けられた全ての識別データに対し,出された判別結果の多数決を取り，最も多かった感情を音声データＶＤｊの判別結果として出力する．但し,同点が複数ある

ときには乱数を使用して判別結果を決める．

(8)感`情の判別結果が出ていない音声データがあれば，（４）へ戻る．なければ終了する．

尚，（１）～（３）の操作は,撫で方のパターンや音声データが入力される都度,常時実行されるものと

する．

３実験

提案手法の有効性を従来手法と比較実験することにより示す．また,複数の音声データから感'情判別する実験を試みる。

従来手法の実験結果を表１に示す．また,提案手法の実験結果を表２に示す．両者を比べると，全ての正解率において提案手法の方が勝っており，全体平均では従来手法が65.5％に対し提案手法では86.8％であり，有効性が十分示せたことになる．実験結果を表３に示す．偶数回,つまり偶数個の音声データで感`情判定を行った場合の正解率が若干落ちているところがあるが，これは音声データ数が偶数のため，同点になる場合があるからであるご音声データ数が１つ,３つ,５つ,７つで判定すれば，

全体平均で,86.8％,93.2％,96.0％,97.8％の正解率が得られ,一層の改善がなされる．

４まとめ

表１：従来手法を用いたときの感情判別の正解率

被験者平静富℃怒りしみ平均本論文では,不特定の話者に対する感`情認識に注目し，

ペットロボットに内蔵した圧力型触覚センサにより得られる撫で方のパターンを用いて,発話者の感情判定の正解率を向上させる方法を提案した．また,実験により有効性を明らかにした．実験１の結果の表１と表２から，

不特定話者の感情認証に対し，正解率が向上したことがわかる．特に,従来手法で極端に低かった感情の正解率は,他の感情とほとんど変わらない正解率となった．

さらに,複数の音声データから感情判別を行う場合についても試し,有効性を示した．

Ａ（演劇女性）８８３9７８０４４３３Ｊ７８５Ｂ）８５０9６７０１１７４４８６８Ｃ子子）８７５５２２９２２６００７３０

，子子）６３Ｊ６３３２３３７８９５７２回子子）９５０３００２００３２２４４３Ｆ子子）４９２３６７５１１７６７５３４７８１６２８６２０５０４６局５

表２:提案手法を用いたときの感情判別の正解率

Ａ（演劇女性）９５８９８９９６７７４４９１５Ｂ）9７５１０００９１１９００ｇ４７Ｃ子子９７５７８９８８９８７８８８３

，（子学生）９４２８００７５６８８９８４７回（子学）９５０６４４６２２８１１７５７Ｆ子子９５８８５６８５６７６７８５９９６０８４６８３３８Ｊ１８６８

目杢けび）壱 ,

鶴浮二章再=各1二F=』葬竺:辿=:雪具竺Ｉ蕊＝芒

_平静 _9６．０ _9２．１ _9９．６ _9９．５ _{1００．０} _{1００．０} _{1００．０}

喜び 8４６ 7３０ 9０８ gｏ１９３．８ 9５．２９６．７怒り 8３４ 7０６ 9０５ 9０４ 9４．１ 9４．７９６．６悲しみ_一口一８３２ 6９４ 9２０ 9１０ 9６．０ 9６．１ 9８．０ z均８６８ 7６３ 9３２ 9２８９６．０ 9６．５９７．８

(5)

学位論文審査結果の要旨

平成１７年１月２５曰に第１回学位論文審査委員会を開催、１月２７曰に口頭発表その後に第２回審査委員会を開催し、慎重審議の結果以下の通り判定し○なお、口頭発表における質疑を最終試験に代えるものと

した。

本論文は、ペットロボットを導入し、ペットロボットを撫でながら音声入力をしてもらうことにより、不特定話者の感情認識を行うシステムを提案した。これまで、特定話者の感情認識であれば、音声入力から韻律情報と音韻情報を求め、マハラノピス距離を用いることにより実用的な信頼度で認識ができたが、不特定多数の被験者の感情認識を行うことはできなかった。提案手法は、撫で方の近似しているものを同じパターンとして認識させるために、撫で方のパターンに量子化と標準化を施し、同一人物の撫で方のパターン内、

頻度の高いパターンが他人の頻度に出てくるパターンと一致することが殆どないという特性を用いて、頻度の高い撫で方のパターンから被験者を分類し、各パターンごとに各感情の韻律情報のデータベースを付加して、マハラノビス距離を求めて感情認識するものである。これにより、不特定話者の感情認識が３０％以上向上したことを実験により示した。

以上の研究成果は、感情認識の研究に大きく貢献するものであり、本論文は博士（工学）に値するものと

判定した。

ペットロボットを用いた感情認識システムに関する 研究