主観評価実験の実施

前節で述べた実験計画段階で考慮すべき統制視点を，実際の主観評価実験に適 用した実験例について述べる．

1995年に任天堂からスーパーファミコンで発売されたアクションゲーム“スー パーマリオ ヨッシーアイランド”（国内売上本数は2013年時点で177万本の有 名タイトル）を主観評価実験の対象とした．ゲームの詳細はここでは割愛するが，

4.1.1項で述べた“Infinite Mario Bros.”と同様に，キャラクタを操作して横スクロー ル式のステージを攻略するアクションゲームである（ゲーム画面は図4.1）．ただ し，操作は“Infinite Mario Bros.”よりも複雑で難しく，実験参加者の熟練度の差が 出やすいタイトルとなっている．

4.3 主観評価実験の実施

4.3.1 実験手続き

20〜24歳の男女8名（男性7名,女性1名）を対象に実験を執り行った．まずは，

実験参加者の熟練度を知るために，家庭用ゲームの経験に関するアンケートを実 施した．質問項目は以下のとおりである．

• 直近10年間での家庭用ゲームのプレイ時間の月平均

• 直近10年間でのアクションゲームのプレイ時間の月平均

• ヨッシーアイランドの経験の有無，及び，プレイ時間

次に，実験参加者にヨッシーアイランドの操作方法を説明した後に，実際にゲー ムをプレイさせた．プレイ時間は練習約10分＋本番30分とし，練習ではチュー トリアルステージと最初のステージを，本番では序盤でやや難しいステージを繰 り返し訓練させた．その際，実験参加者にはプレイ中に考えていること，うまく いったこと，失敗したこと，ゲームへの気づき，感想などを自由に発話させ，ゲー ム画面の録画録音，及び，実験参加者の発話の録音を実施した．

実験参加者のヨッシーアイランドに対する知識や技術を知るために，録画録音し たプレイ動画の内容は，実験後に実験者がチェックした．チェックの際には，コン トローラ操作の難しさにより4段階にレベル分けされた全45項目のチェックシー トを用いた．コントローラ操作の難しさとは，連続した一連のボタン操作，及び，

同時に複数のボタン操作を難しいと定義したものであり，ボタン一つで可能なア クションはレベル1，ボタン二つ同時押し，あるいは，ボタン二つを連続して押す アクションはレベル2という規則で定めた．チェック項目の一部を以下の表4.1に 示す．実験参加者の知識や技術の指標として，レベルの合計値（レベル1を一つ，

レベル2を二つ実行できる実験参加者は1×1 + 2×2 = 5点）を算出した．

最後に，複数のプレイ動画を実験参加者に見てもらい，うまいプレイと感じる 順，及び，人間らしいプレイと感じる順に順位付けをさせた．評定に用いたプレイ 動画は，各実験参加者が，30分の訓練の内で最もステージを攻略できた際のプレ イを編集したもの（計8つ）に加え，RTA（ステージを最速でクリアすることを目 指したリアルタイムアタック）の日本レコードであるプレイ動画を用意した．動 画内のステージの区間は全動画で統一し，ステージの途中で死んでしまったシー ンは全てカットした．各プレイ動画の詳細を表4.2に示す．動画1と2の操作者は，

ヨッシーアイランドのプレイ経験がなく，かつ，家庭用ゲーム機自体のプレイ経 験がほぼない人である．動画3と4の操作者は，ヨッシーアイランドのプレイ経 験はないが，家庭用ゲーム機のアクションゲームはそこそこプレイしたことがあ る人，また，動画5以降は，ヨッシーアイランドのプレイ経験，及び，アクション ゲームのプレイ経験順に昇順に並べた．動画9はRTA日本レコードの動画とした．

第4章 主観評価実験におけるユーザ統制の検討

表4.1: チェック項目の一部 レベル キャラクタの振る舞い

1 ジャンプができる

2 走りながらのジャンプで飛距離調整ができる

2 ジャンプボタン押しの長さでジャンプの高さを調整できる 2

ジャンプ中に再度ジャンプボタンを押すことで 踏ん張りジャンプができる

3 踏ん張りジャンプで飛距離調整ができる 3 連続で踏ん張りジャンプができる

4 連続踏ん張りジャンプで飛距離調整ができる

・・・    など，全45項目

プレイ動画の提示順は，まず，実験参加者本人が操作したプレイ動画を見せ，そ れ以降は表4.2の番号通りとした．この提示順序は，あえて全実験参加者で共通と している．ただし，「各動画は過去に遡って何回見ても良い」と実験参加者に教示 している．

評定の際には，「コンピュータ（機械）が操作しているプレイ動画も含まれてい る可能性がある」こと，また，「評定の結果は実験の途中で何度変更しても良い」と 実験参加者に教示した上で，その動画の操作者のヨッシーアイランドの腕前（上手 さ）がどの程度かを，かなり下手（0） 〜 下手（25） 〜 普通（50） 〜 上手（75）

〜 かなり上手（100）として5点刻みの100点満点で，また，その動画の操作者 が人間プレイヤであるという確信度（％）を，機械（0）〜 やや機械（25）〜 ど ちらとも言えない（50）〜 やや人間（75）〜 人間（100）として5％刻みの最大 100％で評定させた．腕前（上手さ）に関しては，実験参加者本人が操作したプレ イ動画も含めて9つの動画の評定をさせたが，人間プレイヤの確信度に関しては，

実験参加者本人「以外」が操作したプレイ動画8つにおける評定とした．

プレイ動画を見せている際，及び，評定中は，実験参加者には以下の4点に関 して発話するように促し，その発話内容を録音した．

• 上手いプレイだと思う箇所，及び，そう思う理由

• 下手なプレイだと思う箇所，及び，そう思う理由と，上手くプレイするため のアドバイス

• 人間らしく（人間プレイヤが操作しているように）見える箇所，及び，そう 思う理由

4.3 主観評価実験の実施

表4.2: 評定に用いたプレイ動画 ヨッシー

アイランドの プレイ時間

直近10年での アクションゲームの プレイ時間の月平均

動画 時間

知識と技術の レベル合計値

1 0時間 0時間 157秒 12

2 0時間 0時間 181秒 12

3 0時間 35時間 229秒 18

4 0時間 3時間 139秒 16

5 2時間 16時間 201秒 22

6 7時間 18時間 201秒 21

7 15時間 25時間 132秒 22

8 60時間 28時間 85秒 47

9 RTA日本レコードの動画 55秒 71

• 人間らしくなく（コンピュータが操作しているように）見える箇所，及び，

そう思う理由

4.3.2 実験結果

動画の操作者のヨッシーアイランドの腕前（上手さ）と，動画の操作者が人間 プレイヤであるという確信度（人間らしさ）について，実験参加者全8名の評定の 平均を図4.2に示す．上手さに関しては，表4.1におけるヨッシーアイランドやア クションゲームのプレイ時間と大体比例して，右肩上がりのグラフとなった．人 間らしさに関しては，動画8,9のような「うますぎるプレイ動画」は機械寄りの評 定をされることが分かった．

次項からは，4.2節で述べた実験計画段階で考慮すべき統制視点から，実験結果 を個人毎に細かく検証していく．

4.3.3 熟練度と知識量による影響

実験参加者8名の個人毎の上手さの評定結果は表4.3のとおりであった．ここ で，表4.3の動画8と9の上手さの評定結果に注目すると，参加者1,2は動画8と 9の点差が5.00点であるのに対し，参加者3〜8は平均14.17点の点差を付けてい る．同様に動画7と9に注目すると，参加者1〜4は平均13.75点の点差であるの に対し，参加者5〜8は平均30.00点の点差を付けている．この結果には，実験参

第4章 主観評価実験におけるユーザ統制の検討

0 10 20 30 40 50 60 70 80 90 100

1 2 3 4 5 6 7 8 9

上手さ 36.25 33.13 53.13 68.75 63.75 61.25 78.13 88.13 100.0 人間確信度 67.86 82.86 78.57 67.14 70.00 87.86 69.29 50.71 30.63

上手 さ（点

）／

人間 確信 度（%

）

図4.2: 実験参加者8名の評定の平均

加者の熟練度と知識量の違いによる「順位付けはできるが，点差を正確につける ことができない」という状況が生じている可能性がある．さらに，実験参加者1〜 4における，上手さの評定結果と表4.2の「知識と技術のレベル合計値」との相関 係数Rの平均を求めるとR¯ = 0.6822であるのに対し，実験参加者5〜8における 相関係数Rの平均はR¯ = 0.8320であった．実験参加者1〜4は，動画内の操作者 の熟練度と知識量を正確に把握できていないため，点差を正確につけることがで きていない可能性が示唆された．

4.3.4 実験刺激の提示順序の影響

実験参加者には「評定の結果は実験の途中で何度変更しても良い」と教示して いるため，各参加者は自分の評定に疑問を感じた際に，実際に何回か評定結果を 変更している．評定結果を変更した回数を表4.4に示す．上段は上手さの評定を変 更した回数，下段は人間らしさの評定を変更した回数であり，1つの動画の評定結 果を変更する度に1回とカウントしている．参加者3〜6の上手さの評定を変更し た回数に注目すると，参加者1,2,7,8よりかなり大きい数値となっているのが分か る．参加者3〜6が上手さの評定を変更したタイミングを確認すると，合計38回 中26回は最後の動画9を見た後であった．評定を変更する際の発話内容を確認す