人物の信頼性判断における微表情の影響
キーワード：微表情，信頼性判断，脅威関連表情，表情認知，マスキング 行動システム専攻 茶谷 研吾 背景 微表情 (micro-expression) とは 500ms 程度しか持続せず (Yan, Wu, Liang, Chen, & Fu, 2013)，顔の変化が微細または部 分的な表情のことである。これまでの研究で微表情は情動 を強く喚起された際に，表情の変化を抑制しようと試みて いる時に表出することが明らかにされている (Porter & ten Brinke, 2008)。実際の情動状態を反映しているため嘘を見抜 く手がかりになると考えられており (Frank & Ekman, 1997)，効果的な検出方法が模索されてきた。その一方で観察者の認知に微表情がどのような影響を及 ぼすのかについては解明されていない。しかし人が脅威関 連表情の検出に優れており (Öhman, 2002)，微細な表情も正 確に認識できるなら (Bould, Morris, & Wink, 2008)，特に脅威 と関連する微表情は人物や表情の認知に影響している可能 性がある。また人物に対する信頼性判断が表情の影響を受 けることを踏まえると (Caulfield, Ewing, Bank, & Rhodes, 2016)，微表情は信頼性判断に影響すると予測できる。よっ て本研究では脅威と関連する微表情が人物に対する信頼性 判断に及ぼす影響を検討する目的で実験を行った。 実験 1 実験 1 では微表情の表出強度が弱い時に信頼性判断に及 ぼす影響を検討した。実験では微表情が後続の表情によっ て隠蔽される状況を想定し，怒り・恐怖の表情を脅威関連 表情として扱った。また微表情を後続の表情と一致しない 表情と定義し，その持続時間を 200ms に固定した。もし人 が脅威関連表情の検出に優れ，人物の信頼性を表情に基づ いて判断するなら，脅威と関連する微表情は人物に対する 信頼性を低下させると考えられた。 方法 実験参加者 男女 8 名ずつ，計 16 名の大学生，大学院生が 実験に参加した。平均年齢は 21.06 歳だった。 装置 刺激の呈示にはパーソナルコンピュータと CRT モニ タを使用した。実験は Matlab と Psychtoolbox で制御され た。
刺激 表情画像データベース (Taiwanese Facial Expression Image Database; Chen & Yen, 2007) から，真顔・怒り・恐 怖・幸福・驚きの表情を撮影した男女 2 名ずつのカラー画 像を，元画像として計 20 枚選出した。顔全体が見えるよう 元画像を楕円形に切り取り，各モデルに関しモーフィング により無表情からそれぞれの表情へ変化する一連の画像を 11 枚ずつ作成した。モーフィング画像は表出強度 0% (無表 情) から 100% (元画像の特定の表情) へ 10%ずつ変化させ た。この操作の結果各人物につき 41 枚，総計 164 枚の静止 画像を得た。11 枚の画像の内 4 枚目以前を先行表情，5 枚 目以後を後続表情とし，先行表情と後続表情におけるそれ ぞれの表情の組み合わせ 16 組を呈示条件とした。Figure 1 にその模式図を示す。全ての条件において刺激の呈示順序 は表出強度 0%から 100%に 10%ずつ変化する配列だった が，微表情のある条件では 4 枚目以前と 5 枚目以後の表情 が異なっており，微表情のない条件では一致していた。 手続き 参加者がマウスをクリックするとモニタ画面の中 1 枚目 0% (無表情) 11 枚目 100% 5 枚目 40% 4 枚目 30% Figure 1. 刺激呈示の模式図 図は怒りの微表情から幸福の表情へ変化する例。
央に凝視点が 500ms 呈示され，その後条件ごとに 11 枚の画 像が順に連続して呈示された。刺激の呈示時間は画像 1 枚 につき 50ms，1 試行あたり計 550ms だった。刺激の呈示後 参加者は画像の人物の信頼性を回答した。回答方法は「非 常に信頼できる」から「全く信頼できない」の 7 件法だっ た。刺激は画像の人物，呈示条件に関しランダムに呈示 し，試行数は 16 条件×4 人物の計 64 試行だった。実験の前 に練習試行を実施し，その際人物の表情が途中で変化する ように見えることがあるが，その表情を意識する必要はな く，あくまで人物の信頼性を判断するよう教示した。 結果 参加者の信頼性評定値から呈示条件ごとに平均値を算出 した (Figure 2)。先行表情と後続表情を要因とする 2 要因の 分散分析を行うと，後続表情の主効果 (𝐹(1.63, 24.49) = 6.30, 𝑝 < .05, 𝜂𝐺2 = .20) と，先行表情と後続表情の交互作 用が有意だった (𝐹(2.42, 36.36) = 4.86, 𝑝 < .05, 𝜂𝐺2= .07)。下位検定の結果，後続表情が幸福である時先行表情の 単純主効果が有意であり(𝐹(1.44, 21.61) = 7.35, 𝑝 < .05, 𝜂𝐺2 = .13)，先行表情が幸福である時の評定値は，先行 表情が恐怖と驚きの時よりも高いことが明らかになった。 考察 実験の結果後続表情が幸福である時，恐怖の微表情の条 件では，微表情がない条件と比較して信頼性評定値が低い ことが示された。先行研究では幸福表情を表出している人 物に対する信頼性の評定値は高くなることが示されており (Caulfield et al., 2016)，後続表情が幸福である時にのみ微表情 の影響が見られたのは，他の表情と比較して元々の信頼性 が高く，微表情によって信頼性が低下しやすかったためだ と考えられる。また驚きの微表情の条件においても，微表 情がない条件と比較して信頼性が低下していた。この結果 からは，表情が不明瞭な微表情を人が知覚した際，人物に 対する過剰な信頼を抑制する反応バイアスが働く可能性が 示唆される。一方，仮説と異なり信頼性判断における怒り の微表情の影響は確認できなかった。この理由として表出 強度が低く認識が困難だった可能性が考えられた。そこで 実験 2 では微表情の表出強度を 10%ずつではなく 20%ずつ 変化させることで微表情を容易に認識できるようにし，改 めて信頼性判断における影響を検討した。 実験 2 実験 2 では微表情の変化率を 20%に変更して実験を行っ た。もし表出強度を上昇させることで微表情の認識が容易 になるなら，脅威と関連する微表情は人物に対する信頼性 を低下させると予測された。 方法 実験参加者 男性 6 名，女性 10 名の計 16 名の大学生，大 学院生が実験に参加した。平均年齢は 20.93 歳だった。 装置，刺激および手続き 微表情の変化率が 20%であるこ と以外は実験 1 と同じだった。 結果 実験 1 と同様に呈示条件ごとの平均値を算出した (Figure 3)。先行表情と後続表情を要因とする 2 要因の分散分析を行 ったところ，先行表情と後続表情の交互作用が有意だった (𝐹(2.16, 32.40) = 5.69, 𝑝 < .05, 𝜂𝐺2= .12)。下位検定の結 果後続表情が怒り (𝐹(1.47, 21.12) = 5.51, 𝑝 < .05, 𝜂𝐺2= .15)，幸福 (𝐹(1.53, 22.93) = 6.11, 𝑝 < .05, 𝜂𝐺2 = .13)，驚 き (𝐹(2. 04, 30.54) = 4.26, 𝑝 < .05, 𝜂𝐺2= .12) の表情の時 に先行表情の単純主効果が有意であったが，いずれの表情 においても先行表情間で信頼性評定値に有意差は示されな かった。 1 2 3 4 5 6 7 怒り 恐怖 幸福 驚き 平 均 評 定 値 怒り 恐怖 幸福 驚き Figure 3. 実験 1 の結果 横軸は後続表情を，誤差棒は標準偏差を表す。 1 2 3 4 5 6 7 怒り 恐怖 幸福 驚き 平 均 評 定 値 怒り 恐怖 幸福 驚き Figure 2. 実験 2 の結果 横軸は後続表情を，誤差棒は標準偏差を表す。
考察 実験の結果後続表情が怒り，幸福，驚きである時先行表 情によって信頼性評定値が異なる可能性が示唆されたもの の，先行表情間で統計的に有意な差は確認できなかった。 実験 1 とは異なり微表情の影響が確認できなかった主な理 由として，実験 2 の参加者の内 9 名が実験 1 にも参加して おり，画像の人物への慣れが微表情の影響を弱めたためと 考えられた。 また実験 1，2 では，微表情がある条件において別々に作 成したモーフィング画像を用いて，後続表情により先行表 情をマスキングしていた。口周りの表情の変化で目元の変 化をマスキングすると目元の微表情の検出が不正確になる ことを示した先行研究を踏まえると (Iwasaki & Noguchi, 2016)，実験 1，2 では微表情の有無によって先行表情の認識 の正確性が異なっていた可能性が考えられる。そこで実験 3 ではマスキングによる認識の阻害の影響を除くことで，脅 威と関連する微表情が人物に対する信頼性を低下させるの かどうか検討した。 実験 3 実験 3 では微表情であるかどうかに関わらず先行表情の 認識の正確性が等しい時に，脅威と関連する微表情が人物 の信頼性判断に及ぼす影響を検討した。この目的のため，4 枚目から表出強度 100%までの後続表情の画像をモーフィン グにより作成し，表情が全体を通して線形的に変化する刺 激を作成した。微表情の認識によって信頼性判断への影響 が異なるならば，この操作によってマスキングの影響が取 り除かれ微表情のより正確な認識が可能になり，その結果 脅威と関連する微表情によって人物の信頼性が低下すると 予測される。なお実験 1 の結果から特に幸福の表情が微表 情の影響を受けやすいと考えられたため，後続表情は幸福 の表情のみを用いた。 方法 実験参加者 男性 6 名，女性 9 名の計 15 名の大学生，大学 院生が実験に参加した。平均年齢は 21.67 歳だった。 刺激 実験 1，2 で利用した先行表情と表出強度 100%の幸 福表情の画像を用いた。4 枚目から 5 枚目の画像の表情を線 形的に変化させるため，先行表情 4 枚目の画像と強度 100% の画像を基に，モーフィングにより後続表情の画像を作成 した。後続表情は先行表情ごとに 7 枚だった。この操作の 結果画像の各人物につき 71 枚，総計 284 枚の静止画像を得 た。呈示条件は先行表情 4 種に加え，微表情の表出強度の 変化率 (10%または 20%) だった。 装置および手続き 後続表情が幸福の表情のみであること と，呈示条件が先行表情 4 種と微表情の変化率であること を除き，実験 1，2 と同じだった。 結果 微表情の変化率に分けて，先行表情ごとの信頼性評定の 平均値を算出した (Figure 4, 5)。変化率ごとに先行表情を要 因とする分散分析を行ったところ，微表情の変化率が 10% の時先行表情間で有意差が確認された (𝐹(3, 42) = 6.48, 𝑝 < .05, 𝜂𝐺2= .11)。多重比較 (Holm 法) を行った結 果，先行表情が幸福の時の信頼性評定値が怒りの時と比較 して高いことが示された。また先行表情の変化率が 20%の 時にも先行表情間で有意差が確認された (𝐹(3, 42) = 11.36, 𝑝 < .05, 𝜂𝐺2 = .23)。多重比較を行ったところ先行表 情が幸福の時の信頼性評定値は怒り，恐怖の時よりも高 く，驚きの時の評定値は怒りの時よりも高かった。 1 2 3 4 5 6 7 怒り 恐怖 幸福 驚き 平 均 評 定 値 Figure 4. 実験 3 の結果 (変化率 10%) 横軸は先行表情を，誤差棒は標準偏差を表す。 1 2 3 4 5 6 7 怒り 恐怖 幸福 驚き 平 均 評 定 値 Figure 5. 実験 3 の結果(変化率 20%) 横軸は先行表情を，誤差棒は標準偏差を表す。
考察 実験の結果表情が線形的に変化する時，信頼性判断への 影響は微表情によって異なることが明らかになった。変化 率が 10%の時怒りの微表情の条件では，微表情がない条件 と比較して信頼性評定値が低かった。変化率が 20%の時に は，怒りと恐怖の微表情の条件の評定値が微表情のない条 件と比較して低かった。また怒りの微表情の条件では驚き の微表情条件と比較しても評定値が低かった。この結果は 微表情の正確な認識が可能である時，幸福表情を表出して いる人物に対する信頼性は微表情が脅威と関連する表情で あるかどうかに基づいて判断されることを示している。 変化率が 10%の時，幸福と恐怖の先行表情間と，驚きと 怒りの先行表情間で評定値に差がなかった。また変化率に よらず驚きと恐怖の先行表情間でも評定値差はなかった。 これは恐怖と驚きの表情は混同しやすいことが原因と考え られた (Prkachin, 2003)。 総合考察 本研究の結果脅威と関連する微表情の認識が人物に対す る信頼性判断に影響することが明らかになった。この影響 は特に幸福の表情による隠蔽が試みられ，また微表情を正 確に認識できる時に生じると考えられる。 実験 1 と 2 では脅威と関連する微表情が先行する場合で も，常に人物の信頼性が低下するわけではないことが示さ れた。これは人が脅威関連表情に鋭敏であることを示した 研究に一致しないが (Öhman, 2002)，課題内容の違いによっ て説明することができる。先行研究の多くは表出強度 100% の静止画像を呈示し，参加者は脅威関連表情の検出課題に 取り組んでいる。一方実験 1 と 2 では最大で 60%に達する 微表情に続けて後続表情を呈示し，参加者は人物の信頼性 を判断する課題に取り組んだ。つまり表出強度が低く微表 情を後続表情でマスキングしていたため脅威関連表情の検 出が困難だったと考えられる。また人物に対する信頼性評 価が顔に関する情動的な情報の集約であるならば (Oosterhof & Todorov, 2008)，検出だけでなく微表情の正確な認識やよ り詳細な評価を下すことも困難だったと考えられる。 3 つの実験結果を踏まえると，人は微表情の認識の正確さ に応じて他者の信頼性を判断している可能性がある。すな わち，一定以上の表出強度を伴う微表情を検出すると，先 ず後続の表情と一致しているかどうか判断される。不一致 と判断できるものの正確に微表情を識別できない場合は， その人物に対する過剰な信頼を抑制する反応バイアスが働 く。微表情が正確に認識できる場合は，その微表情が脅威 と関連するものかどうかに基づき詳細な信頼性判断を下し ていると考えられる。 本研究では微表情を後続の表情で隠蔽する状況を想定し た。微表情の隠蔽方法としては無表情の維持や他の表情へ の模倣などが考えるが，他の方法においても信頼性判断に 本研究と同様の影響が生じるのかどうかは不明瞭なままで ある。また微表情は従来考えられていたよりも持続時間が 長く，顔の変化も部分的なものである可能性が示されてい るため (Porter & ten Brinke, 2008)，持続時間や変化部分が信 頼性判断にどのように影響するのか検討する必要がある。 加えて本研究では信頼性判断を明示的に求めているため， 無意識的な判断にも微表情は影響するのかどうかは今後の 検討課題である。
引用文献
Bould, E., Morris, N., & Wink, B. (2008). Recognising subtle emotional expressions: The role of facial movements. Cognition and Emotion, 22, 1569-1587.
Caulfield, F., Ewing, L., Bank, S., & Rhodes, G. (2016). Judging trustworthiness from faces: Emotion cues modulate
trustworthiness judgments in young children. British Journal of Psychology, 107, 503-518.
Chen, L. F. & Yen, Y. S. (2007). Taiwanese Facial Expression Image Database, Brain Mapping Laboratory, Institute of Brain Science, National Yang-Ming University, Taipei, Taiwan. Frank, M. G., & Ekman, P. (1997). The ability to detect deceit
generalizes across different types of high-stake lies. Journal of Personality and Social Psychology, 72, 1429-1439.
Iwasaki, M., & Noguchi, Y. (2016). Hiding true emotions: micro-expressions in eyes retrospectively concealed by mouth movements. Scientific Reports, 6:22049.
Öhman, A. (2002). Automaticity and the amygdala: Nonconscious responses to emotional faces. Current Directions in
Psychological Science, 11, 62-66.
Oosterhof, N. N., & Todorov, A. (2008). The functional basis of face evaluation. Proceedings of the National Academy of Sciences of the United States of America, 105, 11087-11092.
Porter, S., & ten Brinke, L. (2008). Reading between the lies: Identifying concealed and falsified emotions in universal facial expressions. Psychological Science, 19, 508-514.
Prkachin, G. C. (2003). The effects of orientation on detection and identification of facial expressions of emotion. British Journal of Psychology, 94, 45-62.
Yan, W. J., Wu. Q., Liang, J., Chen, Y. H., & Fu, X. L. (2013). How fast are the leaked facial expressions: The duration of micro-expressions. Journal of Nonverbal Behavior, 37, 217-230.
