ディジタルアクタシステムのための感情表出モデルの構築

(1)

2004 年度修士論文

ディジタルアクタシステムのための感情表出モデルの構築

Construction of the Models to Express Emotion for System of Virtual Actor

提出日 :2005 年 2 月 2 日

指導教授

白井克彦教授

早稲田大学大学院理工学研究科情報・ネットワーク専攻

Major in Computer Science, Graduate School of Science and Engineering, Waseda University

3603U035-2

長船大毅

Daiki Osafune

(2)

1.1 研究背景 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5 1.2 先行研究 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5 1.3 本研究の目的 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6 1.4 構成 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6

第2章感情表出モデル 8

2.1 感情表出モデルの定義 : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8

第3章感情（概念）及び動作データについて 9

3.1 感情（概念）及び動作データ収集 : : : : : : : : : : : : : : : : : : : : : : 9 3.2 モーションデータについて : : : : : : : : : : : : : : : : : : : : : : : : : : 10

第4章動作空間 12

4.1 動作空間構築法の検討 : : : : : : : : : : : : : : : : : : : : : : : : : : : : 12 4.2 クラスター分析 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 12 4.3 動作空間の構築 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 13 4.4 構築結果 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 13 4.4.1 動作空間における基本感情 : : : : : : : : : : : : : : : : : : : : : : 14 4.4.2 動作空間における感情語 : : : : : : : : : : : : : : : : : : : : : : : 15

第5章感情表出部・感情学習部 17

5.1 感情表出部の検討 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 17

(3)

5.1.1 感情表出部の役割 : : : : : : : : : : : : : : : : : : : : : : : : : : : 17 5.1.2 感情表出部の機構 : : : : : : : : : : : : : : : : : : : : : : : : : : : 17 5.2 感情学習部の検討 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19 5.2.1 感情学習部の役割と方法 : : : : : : : : : : : : : : : : : : : : : : : 19

第6章実装 20

6.1 動作空間 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20 6.2 感情表出部 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 21 6.3 感情学習部 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 22

第7章評価 23

7.1 評価実験手法 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23 7.2 評価結果 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24

第8章考察 25

8.1 動作空間構築に対する考察 : : : : : : : : : : : : : : : : : : : : : : : : : : 25 8.2 ディジタルアクタシステムに対する考察 : : : : : : : : : : : : : : : : : : 25

第9章まとめ・今後の展開 27

9.1 まとめ : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 27 9.2 今後の展開 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 27

付録A 30

A.1 収集感情（概念）語一覧 : : : : : : : : : : : : : : : : : : : : : : : : : : : 30

謝辞 32

(4)

図目次

2.1 感情表出モデルイメージ : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 3.1 感情語・動作データの収集 : : : : : : : : : : : : : : : : : : : : : : : : : : 10 3.2 BVHにおける人体モデル : : : : : : : : : : : : : : : : : : : : : : : : : : 11 3.3 BVHファイルの例 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11 4.1 クラスター分析結果 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 14 5.1 感情表出部の機構 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 18 6.1 作成データベース : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20 6.2 作成インタフェース : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 21 7.1 評価実験イメージ : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23

(5)

表目次

3.1 収集した感情（概念）語 : : : : : : : : : : : : : : : : : : : : : : : : : : : 11 4.1 各クラスター間における基本感情の割合 : : : : : : : : : : : : : : : : : : 15 4.2 各感情語における所属クラスターの割合 : : : : : : : : : : : : : : : : : : 16 A.1 収集した感情（概念）語 : : : : : : : : : : : : : : : : : : : : : : : : : : : 30

(6)

第 1 _{章序論}

1.1 研究背景

近年，PCの急速な処理能力向上・映像コンテンツの増加に伴い，3DCGアニメーションの使用頻度が急速な増加傾向にある．特に擬人化キャラクタによる3DCGアニメーションの需要は非常に高く，映画制作や個人レベルでのアバタ，ビデオゲーム等に活用される例が多く見られる．しかし，その需要とは裏腹に3DCGキャラクタアニメーション制作には非常に高度な技術や高価な設備が必要である．例えば，現在ビデオゲーム会社等で最も主流となっている3DCGキャラクタアニメーション制作手法にモーションキャプチャが挙げられるが，システム自体が非常に高価である上に広い設置スペースも確保する必要があり，個人が容易に行なえるものではない．また，キーフレームアニメーション手法やプログラミング等についても，専門的な知識なしで行なえるものではない．以上のように，未だ個人レベルで3DCGキャラクタアニメーション制作を，容易に行なうことは困難である．そこで，多くの機関で，容易に3DCGキャラクタアニメーション制作が可能なシステムの研究が行われている．

1.2 先行研究

3DCGキャラクタアニメーションの容易な制作の手段として，歩行動作データを周波数解析した後，基準歩行動作と特徴成分に分解し動作生成を行なう研究[?, ref6]言語を用いた指示に基づく仮想世界上の人物の行動と，それに伴う周囲の環境の変化を三次元の CG映像によって示す研究[4]等が存在する．また，その動作制御を，特に感情に基づいて行なった研究には，ユーザエージェントに感情と欲求のモデルを持たせ，ユーザエージェント自身が自律的に変化することで，ユーザがコミュニケーションを楽しむことが出来るインタフェースエージェントの実現をする研究[1]，心と意識に基づく自律的行動

(7)

第1章序論決定モデルを用いてタスクを達成するための行動の間の競合を解消し，インタフェースエージェントの行動を決定する研究[5]等が存在する．同様に感情の変化に基づいて，動作生成ではなく表情生成を行なう研究として，個人と平均の表情成分を個人と平均の真顔に合成することにより，表情の合成を行なう研究[2]，相手や状況を考え，意識的に表出する二次的な表情を対象とし，心理的要素を考慮したメンタルモデルを用いて表情の表出を行なう研究[3]等が存在する．

1.3 本研究の目的

本研究では，3DCGキャラクタアニメーションの容易な制作の手段として，「ディジタルアクタシステム」を提案する．我々は容易なアニメーション制作手法を確立するために，

大きく二つの要求が存在すると考える．一点は操作自体が容易であるインタフェース的な容易さ，もう一点は自分のイメージする動作を直感的に生成可能である直感さ，である．

この二点をクリアするために我々は以下のようなシステムと提案する．PC上に3DCG擬人化キャラクタ（アクタ）を用意し，そのアクタに対してユーザが言語での指示によって動作制御をすることにより，3DCGキャラクタアニメーションを制作するシステムである．言語での指示を用いることにより，煩わしい数値プログラミング等が回避可能である上に，思った動作指示をそのまま伝達出来，監督が俳優に指示を与えるような直感的な動作制御が実現可能である．

以上の機構を実現するために「感情表出モデル」の構築を行なう．感情表出モデルとは，感情語（概念）とそれに対応する動作を関連付けた「動作空間」を内蔵し，動作指示が与えられた際，動作空間から新しい動作の生成や未知の感情語の学習等の処理を行なうモデルである．本稿ではまず，感情表出モデルの核となる動作空間の構築手法とその構築結果について述べ，次にその動作空間を用いた感情学習部及び感情表出部の機構について述べ，最後に将来的な展望を述べる．

1.4 _構成

本論文は以下の9章から構成される。

1.序論本研究を行なう動機と先行研究について

(8)

第1章序論 2.感情表出モデル本研究の核となる感情表出モデルについての説明

3.感情（概念）及び動作データについて分析対象とするデータの説明とその収集法について

4.動作空間感情表出モデルに含まれる動作空間の説明，構築法について 5.感情表出部・感情学習部提案システムの機構について

6.実装前章までの結果の実装について

7.評価前章で実装したシステムの評価について 8.考察本研究を行なった上での考察

9.まとめ・今後の展開本研究の総論と今後の展開

(9)

第 2 _{章感情表出モデル}

2.1 感情表出モデルの定義

感情表出モデルとは，様々な感情語（概念）間の関連性を明確化した動作空間を保持したモデルである．これにより，多様な感情（概念）のグループや包含関係等が明確化され，3DCGキャラクタアニメーション生成システムとしての感情表出，感情学習を容易に行なうことが可能となる．感情学習部は，今後未知語による動作指示の出現も考えられ，動作空間を常時拡大し続けるために必要となる．また，感情表出部は，それを用いた動作提示や，将来的なアバタ等の感情表現のために必要となる．この完成イメージを図2.1に示す．

図 2.1: 感情表出モデルイメージ

(10)

第 3 章感情（概念）及び動作データについて

3.1 感情（概念）及び動作データ収集

統計的手法により動作空間の構築を行なうため，多様な感情語（概念）と結びついた動作データが必要である．従来の研究では，動作データ収集の際に，実験者から被験者に感情語を指定する手法が多く見られるが，その方法では指定した以外の感情（概念）動作の収集が困難である．従って，感情語を指定せず，被験者側に自由度を持たせた形での動作収集が必要となる．しかし，被験者に自由度を与えすぎると，感情（概念）及び動作イメージの想像が困難である．そこで，本研究では以下のような手順で動作収集を行なった．ここでは歩行動作のみを対象とするものとし，情景は全て歩行に適応可能なものとした．

1. 情景提示

被験者の想像力が高まるなるような情景を予め用意し提示する．これにより，感情語（概念）を限定することなく，被験者は多様な動作の想像が可能となる．

2. 動作想像

被験者は1で与えられた情景に対して，動作イメージを想像する．

3. 感情選択

被験者は2.で想像した動作イメージを予め設定した4基本感情のいずれかに当てはめる．

4. 感情語・語彙の付加

被験者は2.で想像した動作イメージに対して感情語・語彙を付加する．

(11)

第3章感情（概念）及び動作データについて 5. 動作生成（動作指示）

被験者は2.で想像した動作イメージを動作収集ツールにて具現化する（ツールは昨年度までの成果）．

以上の過程を図3.1に示す．3.で設定した4基本感情は，過去に心理学の研究から得られた8感情の内，歩行動作に付加し易い「歓喜」「悲嘆」「激怒」「恐怖・警戒」を選択した．被験者は男子大学生7人を対象とし，各60情景についてデータ収集を行なった．今回の実験で特に多く出現した感情語は「びくびく」「とぼとぼ」「肩を落として」「ルンルン」「いらいらして」「うきうき」「がっくり」等であり，これらは，歩行動作に対してイメージの沸き易い感情（概念・語彙）であると予測出来る．収集した感情語のうち，出現頻度が高かったものを表3.1に示す（収集した感情語の一覧は付録参照）．

"!#

$&%('*)*+(,

-.

0/21436578:9<;

=>?@"A B

>?CED

CFHGJIK

-L0ML0M

;

-NPO

;

図 3.1: 感情語・動作データの収集

3.2 モーションデータについて

本研究ではBVH（Bio Vision Hierarchical）というファイル形式のモーションデータを用いた。このデータでは、まず人体を図3.2のように「頭」「首」「襟（左右）」「肩（左右）」「肘（左右）」「手首（左右）」「胸（上下）」「尻（腰）」「尻（左右）」「膝（左右）」

「足首（左右）」の計19関節から構成されると定義している。そして、図3.3のように各関節（joint）についてのローカルな座標系での回転角度（19関節£ 3方向）、及び体の中

(12)

第3章感情（概念）及び動作データについて表 3.1: 収集した感情（概念）語

出現数感情（概念）語

16 トボトボビクビクしながら

14 ルンルン

13 いらいらして肩を落として 11 むかつきながら

10 うきうきして 9 がっくりしながら

7 がっかりして逃げるように 6 怒って胸を張ってワクワク

5 うなだれながらおそるおそるオドオドコソコソ慎重に

4 うつむいてドキドキしながら早足でへこんで

心（腰）の位置情報（position）から成る移動情報（1関節£ 3方向）の時系列データ（計 60パラメータ£ フレーム数（30fps））によって動作を表現している。それぞれの関節に着目すると、データは波形データのように扱うことが可能である。本研究での分析及び結果は、上記の19関節の角度データを用いる。ローカル座標系の回転方向は、人に対し横方向軸の回転をX、上方向軸の回転をY、前方向軸の回転をZとする（図3.2参照）。

!

図 3.2: BVHにおける人体モデル

!

! "

!

! "

###

### ### ###

$%&'('%) *%')+(

,-

.

/0

1+2436587:9<;

図 3.3: BVHファイルの例

(13)

第 4 _{章動作空間}

4.1 動作空間構築法の検討

動作空間の構築にあたり，満たすべき要件は感情間の関連性（グループ関係や包含関係）を明確にする事である．そこで，各感情動作間の距離関係に着目し，クラスター分析により各動作を幾つかのクラスターに分類する．その各々のクラスターに対して分析をすることで感情動作同士の距離関係を明確にし，動作空間の構築を行なう．なお，本手法であれば各感情動作間の距離関係に着目しているので，感情学習や感情表出の際には，空間の内外に新たに一点をプロットすることで，既存のクラスターに分類もしくは新クラスターの作成を行なうことが可能であると予測出来る．

4.2 クラスター分析

クラスター分析とは，複数の固体（データ）を距離尺度によってグループ化する手法である．距離の近い2つの固体を結合し新たな1つの固体を作り出す，この処理を繰り返し最終的に二分木を構築する．データ間の距離を示す距離尺度には，以下のような様々な種類が存在する．

ユークリッド距離

ミンコフスキー距離ユークリッド距離を一般化した距離尺度

標準化ユークリッド距離パラメータ間のバラツキを排除した距離尺度マハラノビス距離パラメータ間のバラツキを排除した距離尺度

また，クラスター分析の内部処理も，以下のように様々な手法が存在する．

² 階層的

(14)

第4章動作空間最短距離法分類感度は低く，鎖状のクラスターを作る傾向がある

最長距離法空間の拡散が起こり，分類感度は高い

群平均法クラスター間の距離の逆転が生じる場合がある Ward法最も明確なクラスターを作る（分類感度が高い）

メジアン法最短距離法と最長距離法の折衷法

² 非階層的

K-Means法（c-Means法）

自己組織化マップ（Kohonenネットワーク）

4.3 動作空間の構築

感情動作データには前章3.で収集した動作データ約400種を用いる．各感情動作データに対する特徴量として，各関節毎における離散的な波形データをフーリエ変換し，パワースペクトルを抽出する．今回は1周期に正規化したデータを用い，第3高調波までを特徴量とした．ただし，構築精度の向上のために，全57関節のうち独立関節（前年度までの成果による分類結果[7]）を除いた計40関節を対象とする．従って特徴量は1動作につきパワースペクトルが計7次元£ 関節数計40=280パラメータから成る．

上記のデータに対してクラスター分析を行ない，動作空間を構築する．今回は最も意味のある結果を導くことが多いと言われているWard法を使用する．また，距離尺度は標準化ユークリッド距離を用いる．式(1)は固体iと固体jの距離を定義した式である．ここでの¾ _k²は変量x_kの分散を表す．

Dij =

X280 k=1

(xki¡ xkj)²=¾ _k² (4.1)

4.4 構築結果

クラスター分析は，距離の近い固体を繋ぎ続け最終的に二分木を構築する手法であるため，最終的なクラスターの数，一つのクラスターと定義するための個体群の距離，等

(15)

第4章動作空間は実験者が決定することになる．そこで，我々は15分岐，計16クラスターになるよう二分木を構築した（図4.1参照）．クラスターには左端のものから順にA〜Pと名付ける．

図の数字は，そのクラスター内（又はその途中）における動作数である．また，斜字体の記号はそれぞれJoy・Grief・Rage・Fearの頭文字であり，基本感情の「歓喜」「悲嘆」

「激怒」「恐怖・警戒」に対応している．各記号は，そのクラスター内において過半数を占める基本感情を示しており，3分の1以上半数未満の場合には括弧書きで示している．

"!#$&%(')+*-,.#0/1+23# , 46587:9<;>= ? @ A B C D E F GIH JLK M N O P Q

RST

U V

W

X

V V

YZ[]\_^ ^ ` ` a^bcadb ad"bea^bf^ ^ d g g d d d g

ah`-b ag3b ag3biadb ad"beagb

U

U3

図 4.1: クラスター分析結果

4.4.1 動作空間における基本感情

各クラスター間における基本感情の割合を表4.1に示す．例えば，クラスターAは27 動作が存在し，その内「悲嘆」に属する感情動作が40.7%（11個）含まれているということを示している．図4.1，表4.1から，まず，「歓喜」の感情を持つ動作が多く含まれるクラスターはK, O，P, Qを中心に多数存在することが解る．しかし，全てのクラスターに満遍なく存在するのではなく，ある程度の法則性（各クラスターにおける存在度合い等）

は見られる．従って，「歓喜」の感情を持つ動作は多くのバリエーションが存在することが推測される．次に「悲嘆」についてはC, Dを中心に密集して存在し，さらに「悲嘆」の感情を持つ動作の殆どは最初の分岐よりも左に存在していることが解る．従って，「悲嘆」

の感情を持つ動作は「歓喜」ほどは，人による個人差の少ない動作であると解る．「激怒」

(16)

第4章動作空間表 4.1: 各クラスター間における基本感情の割合

クラスター歓喜[%]（個）悲嘆[%]（個）激怒[%]（個）恐怖・警戒[%]（個）合計[%]（個）

A 0.0（0） 40.7（11） 0.0（0） 59.3（16） 100.0（27）

B 0.0（0） 25.0（1） 0.0（0） 75.0（3） 100.0（4）

C 2.9（2） 68.6（48） 7.1（5） 21.4（15） 100.0（70） D 16.3（7） 55.8（24） 11.6（5） 16.3（7） 100.0（43） E 34.0（8） 30.9（14） 13.8（15） 21.3（32） 100.0（69） F 39.5（28） 22.5（16） 14.1（10） 23.9（17） 100.0（71） G 39.4（13） 6.1（2） 24.2（8） 30.3（10） 100.0（33）

H 20.0（3） 0.0（0） 40.0（6） 40.0（6） 100.0（15）

I 12.5（1） 12.5（1） 25.0（2） 50.0（4） 100.0（8）

J 0.0（0） 0.0（0） 0.0（0） 100.0（2） 100.0（2）

K 58.3（7） 0.0（0） 41.7（5） 0.0（0） 100.0（12）

L 39.0（16） 2.4（1） 53.7（22） 4.9（2） 100.0（41） M 14.2（1） 28.6（2） 28.6（2） 28.6（2） 100.0（7）

N 40.0（2） 0.0（0） 60.0（3） 0.0（0） 100.0（5）

O 66.7（6） 0.0（0） 33.3（3） 0.0（0） 100.0（9）

P 100.0（19） 0.0（0） 0.0（0） 0.0（0） 100.0（19）

Q 100.0（5） 0.0（0） 0.0（0） 0.0（0） 100.0（5）

R 16.7（2） 0.0（0） 75.0（9） 8.3（1） 100.0（12）

の感情を持つ動作はL，N, Rを中心に幾つか存在する．しかしながら，表4.1を参照すると，少々バラツキは大きく，1箇所のクラスターに対して最大でも22動作しか存在しない．従って，「激怒」の感情を持つ動作は個人差が大きいことが解る．最後に「恐怖・警戒」の感情を持つ動作が多く含まれるクラスターはA, B, I, Jを中心に幾つか存在する．

また「恐怖・警戒」は「悲嘆」のすぐ隣に多く存在する傾向があり，動作自体も「悲嘆」

と近いと推測される．また，動作の分散は「悲嘆」よりもやや広く，バリエーションも幾つかあると推測される．

総合的に見ると，全体的にある程度の法則性は見て取れるが，「激怒」の感情を持つ動作については明らかな法則は現れ辛いと推測される．また，クラスターE，Fについては含まれる動作が多いにも関わらず，基本感情における傾向は見られなかった．

4.4.2 動作空間における感情語

各感情語における所属クラスターの割合を表4.2に示す．ただし，この表は同一感情語が特に多く出現したもののうち上位9種（6個以上出現）のみに対するもので，クラス

(17)

第4章動作空間ター欄には各感情語について2個以上出現したクラスターのみを記述している．例えば，

「びくびく」という感情語を持つ動作は，全ての「びくびく」の動作の内，25.0%がクラ

スターE，クラスターIのそれぞれに，18.8%がクラスターAに所属しているということ

である．

各感情語の内，「ルンルン」「がっくり」「わくわく」「怒って」には，特定ないしは近隣のクラスターに集中する傾向が見られた．「とぼとぼ」「うきうき」は，ある程度の法則性は確認出来たが，少しばらつく傾向が見られた．「びくびく」「肩を落として」「イライラ」

については，非常にバラツキが大きく，法則性は殆ど確認出来なかった．以上より，感情語単位で動作空間の検証を行なった場合にも，関連付けの容易な感情語と関連付けの困難な感情語が存在し，人によるイメージの違いが大きい感情語と小さい感情語が存在することが推測される．

表 4.2: 各感情語における所属クラスターの割合感情（概念）語クラスター（割合[%]）

トボトボ C(62.5) D(18.8) E(12.5) ビクビクしながら F(25.0) C,E(18.8) H(12.5)

ルンルン P(28.6) F,L(21.4)

いらいらして L(23.1) E,F,J,H(15.4) 肩を落として C(30.8) D,F(23.1) むかつきながら F(27.3) L,R(18.2) うきうきして L(30.0) D,P(20.0) がっくりしながら D(44.4) C(33.3) E(22.2)

がっかりして C(42.9) F(28.6) 逃げるように E,F,G(28.6)

(18)

第 5 章感情表出部・感情学習部

前項までに，感情表出モデルの核となる動作空間の構築法の検討及び構築結果について述べた．本項ではその動作空間を用いた感情表出部及び感情学習部の役割について確認し，その構築手法を検討する．

5.1 感情表出部の検討

5.1.1 感情表出部の役割

感情表出部はユーザからの指示を受け，動作空間を用いて動作表出を行なう，最もインタフェースと密接に関わる部分である．その役割を大まかに述べると，ユーザから既存（学習済み）の動作指示（感情語）が与えられた場合には，動作空間の情報からユーザの求める動作を迅速に完成させる．また，未知の動作指示（感情語）が与えられた場合には，適切にその動作を完成させ，感情学習部にまわす必要もある．それらを実現するために動作空間の情報を効率よく使用し，動作の制御を行なうような機構を検討する．

5.1.2 感情表出部の機構

感情表出部の機構について検討する（図5.1）．まず，感情表出部が何らかのアクションを起こすためには，ユーザからの動作指示（感情語）の入力が必要である．ここで，その指示が既知の語であるか未知の語であるかで分岐が生じる．今回はその語が未知である場合はユーザに語の変更を依頼することで回避するものとし，最終的に動作を生成した後，その未知語を学習することにする．既知語が入力されるまで語の変更を行ない，既知語が入力されたら次の処理へ進む．次に，動作空間から既知語の動作を検索し表出する作業を行なう．もし学習データが複数存在する場合には，ユーザにそれらのデータを提示して選択してもらう．以上の手順で，ある一つの動作が動作空間から表出されたが，

(19)

第5章感情表出部・感情学習部ただのデータベースとしての役割に過ぎないので，以後は動作空間を有効に利用する手段を検討する．

一つの動作が表出されたら，その動作に対してユーザが満足であるか否かを判断する．

もし満足であれば，動作生成完了とし，学習が必要であれば学習をする．一方，不満であった場合には，その動作が存在していたグループ内で動作を変化させることで微調整を加え，満足に近づける．さらに不満が続き，同グループ内ではユーザの満足する動作が生成不可能であるならば，クラスター構造中の一段階上の階層に戻り，隣のグループに移動して新たに動作を変化させ微調整を加える．これを繰り返し，ユーザの満足いく動作を生成出来たら，動作生成完了とし学習を行なう．以上の機構を構築するにより，動作空間から解る感情語間の階層性や包含関係等の情報を有効に使用し，より早くより正確にユーザの求める動作を生成することが可能となると考える．

! " # $%

&('*)(+-, &('*)(+21 &('.)(+0/

34 34

5 67 8

789:

5 6

&('*)(+-, &('*)(+21 &('.)(+0/

7 8;=<

図 5.1: 感情表出部の機構

(20)

第5章感情表出部・感情学習部

5.2 感情学習部の検討

5.2.1 感情学習部の役割と方法

感情学習部は，感情表出部に未知の感情語（動作指示）が入力された場合や，既存の感情語であってもユーザの作成した動作が未学習の動作であった場合に，新たに動作空間に感情付動作を学習させる部分である．感情学習については極めてシンプルであり，既存の動作空間に新たに感情付動作をプロットするという処理ではなく，既存データに新たな感情付動作データを加えたものに対して改めてクラスター分析を行なうという処理になる．この処理を繰り返すことにより，少しずつ確実に洗練された動作空間の構築が行なわれると考えられる．

(21)

第 6 _{章実装}

前章までで検討してきた感情表出モデルを実装し，ディジタルアクタシステムを構築する．本システムはVisual C++を使用し，大きく2つのプログラムから成り立つ．一方は擬人化キャラクタの内部構造，動作指示が与えられた際の処理機構，アニメーションの表出の部分を記述したシステム部であり，もう一方はユーザの動作指示入力を受け，適切な命令をシステム部に送るインタフェース部である．以下に，今回作成した動作空間・

感情表出部・感情学習部の実装結果について述べる．

6.1 動作空間

動作空間とは，クラスター分析によって獲得した動作同士の距離関係及びグループ関係を明確にしたものである．従って，一目で一動作とその他の動作の距離関係，グループ関係が明らかになるような行列のデータベースを作成した（図6.1参照）．図中の数字は各動作間の標準化ユークリッド距離の値である．

!

! !

!

"" "" "" "" "" ""

図 6.1: 作成データベース

(22)

第6章実装

6.2 感情表出部

感情動作を表示させる手段として，図6.2のようなインタフェースを作成した．ユーザはまず学習部のテキストボックスに命令を入力する（図中の「ワクワク」）．すると，その結果が下のテキストボックスに結果が表示される（図中の「3個発見しました」）．学習済みデータが存在しない場合には，「Not Found!」と表示され，新たに他の語に言い換えて入力する．学習済みデータがある場合には「OK」ボタンを繰り返し押すことで全ての学習済みデータ（この場合は3種）を見ることが出来る．学習済みデータを確認した後，

微調整に移るが，それには表出部の「不満」ボタン・「満足」ボタンを用いる．不満ボタンを押すと，最初に提示したを出発点として，クラスター分析によって獲得した二分木構造を用いて探索を行なう．不満ボタンは押される度に回数を内部でカウントし，その回数に対応する距離の動作データを表出させる．複数回不満ボタンを押した時点で，ユーザのイメージした動作に近いものが表出された場合には，満足ボタンを押すことにより，

改めてその動作データに最も近い学習済みデータから探索を開始することが出来る．

図 6.2: 作成インタフェース

(23)

第6章実装

6.3 感情学習部

感情学習の手段も感情表出部と同様にインタフェース上に実装した（図6.2参照）．テキストボックス（図中の「嬉しそうに」）には学習部で入力した最初の指示感情語が保存され，最終的にその語を作成動作データとセットにし，「学習」ボタンを押すことで学習を行なう．学習処理は，前々節で述べたデータベースの更新を行なうことで実現され，既存のデータに新たな学習データを加えて再度クラスター分析を行なう．

(24)

第 7 _{章評価}

前章で構築したシステムについて，その精度を測るために評価実験を行なう．

7.1 評価実験手法

今回は，構築したシステムの，特に感情表出部の制度について評価を行なう．まず，ディジタルアクタシステムに2体のアクタを表示し，被験者に本システムを使用してイメージに合う動作を生成してもらう（図7.1左）．次に，もう一方のアクタ（図7.1右）に動作空間内の各クラスターから選出した代表動作を順次提示し比較する．そして，全ての動作と比較しても作成した動作の方が満足いくか否かを判断した．これにより，作成した動作が，動作空間内で最もイメージに近い動作であったか否か判断出来，動作表出の精度を測ることが可能である．

図 7.1: 評価実験イメージ

(25)

第7章評価

7.2 評価結果

評価実験は，男子大学生5名に対し3動作の計15回行ない，各43種の動作を提示し評価した．その結果，式7.1の通り，作成動作よりイメージに近い提示動作が出現した回数は5回であり，表出誤り率は0.8%に留まった．

表出誤り率（%）= よりイメージに近いと感じた提示動作の数

提示した動作の数 £ 100 =.. 0:8 (7.1) また，システムについての評価をインタビュー形式で行なったところ，「学習済み感情語彙の数が少なく，指示入力の際に言い換えてもなかなか学習動作が出てこない」，「入力の際にもう少し親切であれば（入力文字の頭文字で学習済み動作データを探索する等）

更に使用しやすい」，「不満ボタンを押す際に，見た目には段々遠くの動作を探索しているように感じられないことがある」等のコメントが得られた．

(26)

第 8 _{章考察}

本研究を行なった上での考察を述べる．

8.1 動作空間構築に対する考察

4章で述べた通り，4基本感情の分類については，クラスター分析を用いることによりある程度の法則性を持つ分類が可能であった．特に，悲嘆については動作自体が小さいためか非常に有意義な分類が出来たと考えられる．しかしながら，激怒については未だ改善の余地がある．これは，今回は使用した280次元のスペクトルデータ全てを一意に扱ったため，重要な要素が欠落した可能性もあり，その部分に重みをかける等の処理を加えることにより改善出来るとも考えられる．

感情語の分類については，4基本感情の分類程精度の高い結果は得られなかった．唯一

「トボトボ」については高い精度で分類が出来たが，例えば「いらいらして」等は所属クラスターに全く偏りがなく，傾向を確認することが困難であった．この原因としては，一感情（概念）語のサンプルが最高でも16種という少ないサンプル数での分析であることが考えられ，今後更にデータ収集を繰り返すことにより改善出来ると考えられる．

以上より，データ数が少ないので，細かい感情（概念）語についてまでクラスター分析で分類することは未だ困難であるが，大まかな感情付き動作データの分類を行なうことは可能であると証明された．従って，本研究における動作空間の構築手法として，クラスター分析を用いることは妥当性が高いと考える．

8.2 ディジタルアクタシステムに対する考察

前章の評価実験により，非常に高い精度でユーザのイメージした動作データを選出することが可能であることが証明された．しかしながら，最初に指示入力を行なう部分に

(27)

第8章考察対するユーザの不満があるようで，学習済みデータの増加と洗練等の内部的機能向上と，

ガイドや入力予測等の外部インタフェース的機能向上の両者が課題として挙げられている．不満ボタンを押す度に順次遠くの動作が提示されているように感じられない，という感想については，実際に隣のクラスター等に探索範囲を広げた際に作った動作データが，範囲を広げれば広げる程，どのように元動作との距離が変化しているかを分析し検証する必要がある．

(28)

第 9 章まとめ・今後の展開

9.1 まとめ

本稿では3DCGキャラクタアニメーション制作簡易化のためのディジタルアクタシステムの構築を目標とし，その核となる感情表出モデルの構築法について検討した．今回は特に歩行動作のみを取り扱うものとし，データは，予め指定した感情ではなく，被験者に自由度を残した上で収集した感情（概念・語彙）付き動作データを使用した．その感情動作データに対して各関節毎にフーリエ変換を行ない，第3高調波までのパワースペクトルデータに正規化し，これを各感情動作の特徴量とした．また，その特徴量を使用して動作空間の構築を行なった．構築の手法としては各動作間の距離尺度に標準化ユークリッド距離を使用し，クラスター分析（Ward法）により二分木構造に集約した．さらにその結果を基本感情側面と各感情語の側面の両者から検証した．

動作空間の構築を行なった後それを用いた感情表出及び感情学習の手法を検討し，実装した．最後に，構築したディジタルアクタシステムについての評価実験を行ない，本システムの優位性を確認した．

9.2 _{今後の展開}

今回の分析により，クラスター分析による動作空間構築の妥当性が高いことが証明された．しかしながら，その精度はまだ向上の余地が残されており，特に，怒りの感情を含む概念や，喜びの感情を含む概念については検討の余地がある．例えば，使用パラメータについて重要度を設けることにより，より洗練された動作分類が可能であるとも考えられる．

また，検討した感情表出部についての精度は評価実験により高精度であることが証明されたが，感情学習部についての有効性の評価が未完である．今後は，本システムを使

(29)

第9章まとめ・今後の展開う毎にユーザのイメージする動作作成が容易に行なえるか否か，インタフェースの満足度を上げることが出来るか否か，等を評価する必要があると考えられる．以上の用件を一つずつ満たしていくことで，最終的に精度の高いディジタルアクタシステムの構築が完成すると考える．

(30)

付録 A

A.1 収集感情（概念）語一覧

表 A.1: 収集した感情（概念）語

ああ・・・ってふてくされて胸を張って大きく手足を振りながら

あわてながらふふっと胸躍らせて大股で

いい気分でフラフラ興奮して脱力感を感じながら

いそいそぶりぶり興奮を抑えて弾むように

うきうきしてぷりぷり緊張して弾むように

うつむいてブルーに金返せって注意深く

うなだれてふんぞり返るように愚痴をこぼしながら沈んでうれしがってぷんぷん愚痴を噛み殺して天にも舞う気持ちで

うれしげにへこんで警戒しながら天を仰ぐように

うんざりしてへろへろで軽くびびって怒って

オドオドぼーぜんと軽く警戒して怒りに我を忘れて

オラオラほくそえみながら軽やかに怒りに上気して

がっかりしてほこらしげに軽快に怒りに打ち震えながら

がっくりしてほっとしながら激しく落胆して怒りを抑えながらかなり不機嫌にむかむかして激昂しながら怒りを露わにして

ギラギラむしゃくしゃしながら決意して怒り狂って

クソーとめげて決意を固めて投げやりな気分で

コソコソめそめそして肩で風を切るように逃げるように

こわごわめらめらと肩を振って頭から湯気を立てて

ご機嫌にヤッターと肩を落として頭を下げて

サッサとやってらんねえって誇らしげに頭を抱えるように

シクシクやや高ぶって後に注意しながら堂々と

シャーって気分でやや早足で後悔しながら忍者のごとく

ショックヨッシャーと口を尖らせて覇気高らかに

ショックを隠せずにラッキー恨みを持って背中に羽が生えたようにショックを受けてルンルン最大の注意を払って抜け殻のように

しょぼんとしてわき目も振らず最大限の注意を払って悲しげに

しょんぼりワクワク残念そうに悲しみにくれて

スキップ気味に意外と普通に自然に悲しみに打ちひしがれながらすねて意気揚々と自分を情けなく感じながら悲嘆に暮れながらすべてにむかつきながら一歩一歩確かめるように自由を感じて飛び上がるように

ズンズン下を向いて寂しく飛び跳ねるように

(32)

付録A

そーっと苛立って手を大きく振りながら不安げに

そそくさ解放感に浸って周りに気を配って不機嫌にそろりそろり悔しさを噛み締めながら周囲に注意しながら不満そうに

そわそわして悔しそうに縮こまって不愉快な思いで

たこ踊りで開放感に浸って小さくなって怖がって

ため息をつきながら開放的に小股で普通に

チクショーと楽しげに小走り気味に浮かれて

ちょっと早歩きで楽しそうに焦りながら舞い上がるようにちょっぴり複雑な気持ちで肝を冷やして上機嫌で憤って

ツカツカ関わらないように心配しながら憤りを抑えられずに

つんとして喜びに満ちて慎重に憤然として

ドキドキ喜びをかみしめながら身をすくめながら呆然と

どぎまぎして喜んで身を縮めて放心状態で

ドスドス嬉しそうに震え上がりながら本気でびびって

トボトボ希望に満ちて晴れ晴れしく万歳って

どんより機嫌よく精神集中して満足げに

ニコニコ機嫌悪く絶望して無気力に

のしのし気分悪げに前傾姿勢で揚々と

ハイテンションで気分良さげに早く落ち込んで

ハッピーな気分で急いで早足で落胆して

はればれして急ぎ足で走り去るように涙に暗れて

びくつきながら強がりながら足取り軽く俯きながら

ビクビクしながら怯えながら足早に愕然として

びびって恐がって存在感を消して憮然としながら

びびりながら恐る恐る大きく肩を落として茫然としてプチハッピー気分で狂喜乱舞して大きく手を振りながら茫然自失して

(33)

謝辞

この三年間恵まれた研究環境を与えてくれ，ご多忙にも関わらず熱心にご指導頂いた白井克彦教授に心から感謝致します．

誉田教授・村上先生，毎週班ゼミのために研究室まで足を運び，細部に渡り親身に研究指導して頂きまして有り難う御座います．先生方のおかげで満足のいく修士研究・論文が完成出来ました．

M2の森野君，この3年間，あなたと作った思い出の数は凄まじい事になってます．同じマルチモーダル感情表出モデル研究チームとして今までやってこれて本当に良かったです，ありがとう．金返せ．

M2の川口君，ぐっさんには良いこと悪いこと含め沢山の事を教えてもらいました．絶対変わんないんだろうけどずっとその生き様でいて下さい．

M2の平林君，まもるちゃんには無理矢理飲みに連れて行ってみたり，介抱してもらったり迷惑掛け捲りましたね．それでも尚やさしいマモちゃんは神様です．

M2の鈴木君，やっさんとはもっと早く仲良くなっておきたかったなぁとつくづく思っております．やっさんの鋭いツッコミにはいつも助けてもらいました．ありがとう．

M1の板野君，オタクの板野にはいつもキショイドリブルで泣かされたものです．マルチモーダルチームの後輩として，色々めんどくさい事もお願いしちゃったけど，ありがとね．

M1の加賀君，かがっちしゃべれー．でも癒し系過ぎだから良し．先輩になったらもっとビシっとしなきゃダメよ．

M1の鈴木君，1年という短い付き合いでしたが，けんじの人柄のおかげですぐ打ち解けられた気がします．来年の画像班はけんじ次第だと思うよー，マジで．

ここに書ききれなかった白井研のメンバーにも，実験協力等大変感謝しております．有

(34)

謝辞難う御座います．

最後に，このような息子を精神的にも経済的にも支えてくれた両親と姉に大いに感謝致します．

2005年2月長船大毅

ディジタルアクタシステムのための 感情表出モデルの構築

2004 年度 修士論文