音声知覚における視聴覚融合をめぐって(音と心理:その多面的な理解をめざして)

122

g

va

JLli

N\-Xee

15

ig

eg

2e

America, 99,2596,5pPP7.

Konishi,M. 1993 Listening with two ears.

Scienttiic

American,

Am.

268,

66-73,

Moore,

B.C.J.

&

Glasberg,

B.R,

1986

The

role of

frequency selectivity intheperceptionof loudness.

pitch and time,

In

B,C.J, Moere

(Ed,)

Frequenay setectivity inhean'ng Academic Press.Pp.251-308. Regan, D. & Beverly, K.L 1983 Spatial-frequency

discriminationand detection:Comparison of post-adaptation

thresholds.

Iburnal

of

(

lptical

Society

of

America,

73,

1684-1689.

Regan,D.&Beverley,K.I.1985

Postadaptationori-entation

discrimination.

fournal

of

QPticat

Society

of

America,

A

2,147-155.

Shackleton, T,M. Meddis, R. & Hewitt, M,

J.

1992 Across frequency integrationina model of

lateral-ization.fournat

_of

theAcousticalSociety

_ofAmerica,

91,2276-2279.

Stern,R.M.&Trahiotis,C,1995

Models

of

binaural

interaction.

In

B.C.J.

Moore

<Ed.)

llearing

Aca-demic Press,Pp. 347-386.

Stern,

R.M.,Zeiberg,A.S.,

&

Trahiotis,C.1988

Lat-eralization of complex

binaural

stimuli:

A

weigh-ted

image

model.

Iburnal

of

the

Acoustical

Society

of

Amen'ca, 84, 156-165.

Sutherland,

N.S, 1961 Figural aftereffects and

ap-parent

size.

Quarterly

f

ExP. Psychol.13,222-228.

Thurlow, W,R. &

Jack,

C.E, 1973 Some

determi-nants of localization-adaptationeffects for suc-cessive auditory stimuli.

Iburnal

of

the

Acoustical

Society

ofAmerica,

53,

1573-1577.

Wightman.

F.

L.

&

Kistler,

D.J.

1993

Sound

locali-zation.

In

W.A,

Yost,

A.N,

Popper,

&

R.R.

Fay

<Eds.),

llttman

_{Psychophysics,}

Springer.Pp.155-192. Yin. T.C,T. & Chan,

J,C.

K. I988 Neural

mecha-nisms underlying interaural

time

sensitivity to

tonesand noise. InG.M. Edelman, W. E.Gall& W.

M.

Cowan

<Eds.),

Auditot),

Function:

IVigurobiotqgt'cal

Bases

of

HeaTing

John

Wiley

&

Sons,

Pp.

385-430.

gffi5iNesIits

})

6NagesdeA

Ei

b6

"

o

-ne

defuv<j<\

ra

Audiovisual

SpeechPerception

and

Its

Differences

KaoruSEKIYAMA

KanazawaUlrtiversity*

Inter-language

The McGurk effect

(McGurk

&

MacDonald, 1976)isan audievisual illusionwhich demon-strates

that

visual articulatory

information

is

integrated

with auditory

information

during

speech _perception,

This

_paper

describes

what

kind

of cues visible speech conveys and

how

visual

information

is

integrated with auditory information depending on one's native

lan-guage

(or

culture) and proficiency of asecond

language.

In

lipreading,

Japanese

subjects could categorize visual consonants intolabialsand nonlabials with accuracy equivalent toAmerican subjects reported in the literature.Compared with native speakers of American English, native speakers of

Japanese

and

Chinese

were

less

susceptible

to

the

McGurk

effect,

indicating

a manneT of _processingof heavy weighting on auditory information. Exarnining the data of

the

Chinese

subjects who were residing

in

Japan,

the

McGurk

effect got stronger as the

subjects

lived

in

Japan

longer,

suggesting thatacquisition of a second

language

promotes the

use of visual cues.

Key

words: audiovisual speech _perception,the

McGurk

inter-language

differences,

second

language

acquisitioneffect,

auditory-visual

integration,

フ it　

一

ラム ：音と心 理：その多 面 的 な理 解 をめざ して 123 あ ら ま し 　 音 声

，

すな わ ち人の話 し声を聞 くさい

，

話し手の顔が もた らす視 覚 的 な 調 音 情 報 （読 唇 情 報 ） が 音 声 知 覚に関 与 するこ とが知 られて い る

．

こ の よ うな視 覚 情 報の影 響 を示す 例として

，

マ ガ

ー

ク_{効 果 （}McGurk ＆ MacDon

−

ald

，

1976

）とい う視 聴 覚 融 合 現 象 が ある

．

こ こで は

，

マ ガ

ー

ク効 果の生 じ方が被 験 者の母 国 語

・

文 化や第2言 語の_習熟度によ っ て異な るよ うす を紹 介 する

．

3っの言 語群で比較し た ところ

，

日本 人

・

中 国 人はア メ リカ人 被 験 者よ り もマ ガ

ー

ク効 果が弱 く

，

聴 覚 重 視の音 声 知 覚 様 式を示し た

．

ま た， 日本へ の留学生で あっ た中国人 被 験 者にっ いて は

，

滞日期 間が長いほ どマ ガ

ー

ク効 果が強い 傾 向 が み ら れ

，

第 2言語の習 得過程で読 唇 情 報を積 極 的 に利用す る よ う にな ること が示唆された

．

鯉 や

e

　

　

Figure　1

．

_{日本 語 子 音}の 読 唇に お け る知 覚 空 間 　 　 （積 山

・

城

・

梅 田

，

1988 よ り）

．

1．

は じ め に 　対 面 事 態の_{会 話}では， 話し手の顔が も た ら す視覚 的な 情 報が音声 知覚に関 与して くる

．

人 間は大 ま か な 形で は あ る が

，

読唇 を す ること がで き

，

読み と ら れ た読 唇 情 報 が音 声 知 覚に影 響を及ぼすの であ る

，

こ こで は， まず 人 間が どの程度の正確さで読唇で き るのかを概 観し， 次に 聴 覚 情 報と読 唇 情 報との知覚的 融合現象で あ るマ ガ

ー

ク 効 果を め ぐる比 較言語 的観点か らの_実験を紹 介する

．

マ ガ

ー

ク効 果は

，

音声知覚の運動理論を例証する もの と し て

，

あ るい は 感覚 間 統 合の _{様 式}や その発 達 的 起 源 を考え る好 材 料と して

，

こ こ数 年

，

広く関 心を集め てい る

．

2．

読 唇で何が読め る か 　人 間は， 読 唇情報だ け か ら どの 程度音声を読み と るこ と がで き るのだ ろ う か

．

筆者ら は 日本語にっ い て

，

特_別 な訓 練 経 験な どの ない _{大 人}の_{被験 者}の_{読 唇能}力を測定し た （積 山

・

城

・

梅田， 1988）

．

こ の実験で は， 日本語の単 音 節

100

個を

2

人の_{話 者}に発音さ せ

，

撮 影し た ビデ オ の映 像だけを刺 激と して提示 し

，

何とい う音だ と 思 う か を被 験 者に報 告さ せ た

．

100 個の _単音節は 日本語でおこ りえ る単 音 節のすべて で あ り

，

「ん」を除く

50

音と濁 音

・

半 濁 音

・

拗 音 （／

kya

／な どの 半 母音 ／y／）を 含 む

．

　実 験の結 果

，

話 者によ る ち がいは あ まりなく， 音 節単 位で採 点 する と 正答 率は

15

％ 程度に す ぎ な かっ た

．

音 素 単 位で採 点す る と

，

母 音にっ い て は

5

っ し か ない こと が幸い して

90

％ 近い正 答 率で識 別さ れて い た が，

26

個 あ る子 音につ い ては

20

％ 程度の正答率であっ た

．

　 次に

，

子 音に っ い て多 次 元 尺 度 構 成 法を実 施 し た

．

Figure　

1

にその

3

_{次 元 解}を示 す

．

こ こ で は， 5つ な い し 6つ の知 覚 的に区 別で き る グル

ー

プ が ある こ と が示さ れ てい る （顔画像の_計測に よっ て音素 を分類 した Fukuda ＆ Hiki

，

1982 も参 照され たい）

．

後の議 論に そ なえて こ こで指 摘し たい の は

，

Figure　1の右 半 分のグル

ー

プ と左 半分の グル

ー

プ と が_峻別され て い る こ と である

．

子 音を 発 音 する さい の閉 鎖やす ぼめの起こる場 所 を調 音 位 置 と い う が

・

Figure　1の右側の グル

ー

プ _（／w _／

，

／b／

，

／p／

，

／ m _／

_，

_／by_／

_，

_／py／

_，

_／my _／）は調音位 置が_唇で あり， 左側の グル

ー

プ は調 音 位 置が歯 茎

・

軟口蓋

・

声 門 な どである

．

つ ま り

，

調音位 置 が 唇 か そ れより奥か と い うこ とは容 易 に わ か るので あ る

．

この 2 グル

ー

プ の弁 別にっ い て は

，

正答率は

92

％ であり

，

この値は英 語にっ いての デ

ー

タ

と ほ ぼ 同 じで あっ た （Walden

，

　 Prosek

，

　 Montgomery

，

Scherr

_，

＆

Jones

_，1977_）

．

　以上の こ と か ら

、

読 唇情報は

，

少 な く と も調 音 位 置 が 唇か 口の 中かを確 実に伝え ること が でき

，

その点で は英 語と 日本語の差はな い といえ る

．

3．

マガ

ー

ク効 果に み る読唇情 報と聴 覚 情 報の融 合 　 読唇情報は， 騒音 ドで音 声が聞き取りに くい ときな ど に聞き取りの_助け と な る（Sumby ＆ Pollack

，

1954_）

．

こ の よ う な 読 唇情 報の 有用性をいわば 逆 手に とっ たの が

，

マ ガ

ー

ク効果であ る（McGurk ＆ MacDonald

_，

　1976_）

．

こ れ は

_，

た と え ば音声／pa／を 口 の動きの_{映像 ／}na _／と同 期さ せて ダビング し た ものを提示 す る と

，

聴 覚 情 報 と視 覚 情報と が融合して ／

ta

／な ど と し て知覚さ れ る現象で あ る

．

音と は矛盾し た視覚情報に よっ て音 声 知 覚 が 変 容 す るので あ る

．

こ こ で_{知 覚}さ れ たノtaノは

，

聴 覚 的に は聴 覚 刺激／pa／と似て い て， 視 覚 的に は視 覚 刺激／na ／と

124

基 礎 心 理 学 研 究 第

15

巻 第

2

号

似て い _る

．

　マ ガ

ー

ク効 果は

，

有 意 味 単 語を用い て も 生 じ る し

（Dekle

，

　Fowler

，

＆ FunneL 　1992_）

，

日 の まわりにつ けた

光 点だけが見 え るように撮 影 した 映 像によっ て も あ る程

度 生 じ る（

Rosenblum

＆

Saldafia

，

1996）

．

また

，

吹 き替

えのさい に顔と声で性 別が異なる よ うに して も

，

性 別が

矛 盾 しない刺 激 と同 じ く らい強いマ _ガ

ー

_{ク効 果が生 じ る}

とい う （

Green，

　

Kuhl，

　

Meltzoff

，

＆

Stevense，1991，

し

か し

，

Walker

，

　Bruce

，

＆ OMalley

，

1995 も参 照 ）

．

こ の

ように

，

英 語 圏で はマ ガ

ー

ク効 果はい ろいろ な場 合に生

じ る頑 健な効 果で あること が明 らかになっ て きて い る

，

最 近で は

，

hubituation の技 法 を 用 い た実 験で

，

生 後

4

〜

5 ヵ月の 乳 児で もマ _ガ

ー

_{ク効 果 が 生 じると も}い う

（e

．

g

．

，

　Rosenblum

，

　

Schnluckler，

＆

Johnson，

　in　press ）

．

一

_方

_，

_{4歳 以 上の 幼 児 を 用い た研 究で は}

_，

_{年 下ほ ど}マ

ガ

ー

ク効 果 が 起こ りにくい傾向がみられ

，

その原 因の_多

くは幼 児 が 読 唇の能 力において劣るため であるとい う

（Massaro ，　Thompson

，

　Barron，＆ Laren，1986）

．

こ の視

聴 覚 融 合 をにな う脳の部 位にっ いて

，

fMRI

・

脳 磁 図

・

脳 波 な ど を 用い た研 究 も進めら れて いる （e

．

_g

．

，

　Cam

−

pbell

，

1996；今 泉

・

森 ・ 桐_谷 ・_湯本 ・ 世 木 ・清 水 ，

1997

）

．

4

．

日本人で は弱いマ ガ

ー

ク効果 　こ の よ う に英 語圏で は安定し た現象と さ れ るマ ガ

ー

ク 効果であっ た が

，

筆者ら が 日本人話者

・

日本人被験者で 実験を開始し た と き

，

マ ガ

ー

ク効_果は音が_{劣 化}していな い場 合に は非常に弱い も のであっ た（

Sekiyama

＆

Toh −

kura，

1991

）

．

そこ で

，

日米比較 実験を おこなっ た（

Seki・

yama

．1994

）

．

そこ では、

2

（話 者が 日本 人かア メ リカ人 か）×

2

（被 験 者が 日本人が ア メ リ カ人か）の

4

条 件が あっ た

．

そ れ ぞ れの条件で

，

聴 覚 的な雑 音 （ホ ワイ ト ノ イズ_）を加え た場 合と加え ない_{場 合}があ

っ

た

．

被 験 者の 課題 は

，

ビデ オ を見な が ら聞い て

，

何という音に聞こえ る かをロ

ー

マ 字で書い て報告する ことであっ た が

，

それ と同時に

，

見え た音と聞こえ た音との間に矛 盾を感じ た ら解 答 用 紙の該 当 覧に印をっ ける よ う教 示さ れて い た

，

　雑 音な し条 件に っ い て _得ら れ たマ _ガ

ー

ク効 果の _強さ を

，

各 聴 覚 音 節ご とに

，

後の 中 国 人の デ

ー

タ とと もに

Figure

　

2

の グラ フに示 す

、

ま ず

，

こ の実 験の結 果

，

日本 語 刺 激 （日本 人 話 者 ）を提 示さ れ た 日本 人 被 験 者で は

，

やはりマ _ガ

ー

_{ク効 果はかなり弱 く}

，

_{聴 覚に頼 りが ちな処} 理が なされて い る

．

これに対 して

，

まっ たく同 じ日本 語 刺 激を提 示さ れたア メ リカ人 被 験 者は

，

従 来の研 究に報 告されてい る ような 強いマ ガ

ー

_{ク効 果 を示 した}

．

_同

一

_刺 温 湘 喫 虞 踟 隠 酬 bPmdnq 日 本 人 Ul本語） 0　　20　 　40 　 60 　　BO 　 100 ア メリ カ 人 （日本 語） bpmdnO bPmdn “ b 降 mdn9 日 本 人 （英語） 0　 　　20　　40　　6D　　80　　10G ア メリ カ 入 （英 語 ｝ bPmdn9 0　　20　　 覗 　　　60 　　80 　　1Q0 　　0　　20　　40　　60　　80　　100 中 国 人 〔日本 語）　 　 中 国 人 （英 語 ｝ bPmdn9 D　　20　　40　　 δ0　　80　　100　　0　　20　　4σ　　60　　80　　100 　 　 　 マ ガ

ー

ク効果 の 強さ （％） Figure　2

．

各 条 件に お け る聴 覚 刺 激 ご との マ ガ

ー

　ク効 果の 強さ （

Sekiyama，1997

よ り） 　こ こ でい _うマ ガ

ー

ク効果の_強さ と は

，

矛盾し た視覚刺 激と組 み合せ ら れ たこと に よ り

，

聴 覚 刺 激が聴覚のみの_場合と はち が

っ

て 知覚さ れ た 反応の率を 示 す

。

マ ガ

ー

ク効果 が生じ る と

，

た と えば

，

／b／は／d／に

，

／p／はノt／に， ／m ／は／nノに聞え る こと が多い

．

激に対す るこの よ う な ち がい は

，2

つ の 言_語グル

ー

プの 情 報 処理様 式の ち がい を示して いる と考え ら れ る

．

　

一

方

，

刺 激が英 語の場 合

，

日本 人で もア メ リカ人と同 じくらい強いマ _ガ

ー

ク_効果が生 じ た

．

これ らの条 件と刺 激が日本 語の_{条 件}とで結 果を合わ せて考え る と

，

日本 人 で もア メ リ カ人で も

，

刺 激が外 国 語の場 合の方が母 国 語 の場 合よ り もマ ガ

ー

ク効果が起こ りやすいようであ っ た

，

これ は

，

外 国 語の刺 激の もっ _{聴 覚 的な瞹 昧 さ}のせい だろ う

．

　日_本人が日_本語刺激を提 示された_場合の反応の も う1 っ の特 徴は

，

音 声と映 像が矛 盾 した刺 激に対 して

，2

っ の情 報 を分 離 して 「音はこれこれで

，

口 は矛 盾 して いる」 とい う知 覚の仕 方をする ことで あっ た

，

そ の矛 盾 感につ いてのデ

ー

タを

，

日本 語 刺 激の場 合にっ いて

，

Figure　3 に示 す

．

グラフ中の 1点は

，

1つ の聴 覚 音 節に対 する被 験 者 間の平 均で ある

．

こ の実 験で は

，

聴 覚 的な雑 音 を加 え た条 件 と加えない条 件 とを 設 けてい るが

，

雑 音 が ない

フ ォ

ー

ラム ：音 と心 理：その多 面 的 な理解をめ ざ して 125 踟 飆 陣

e

眼 霞 へ ー 氣 レ 100 80 60 40 20 日本人 被 験者 （日本 語 ） 10〔｝t 80 60 40 20 0　 　 　 　 0 0　　　　 20 　　　　40　　　　6D　　　　80　　　　100　　　　0 ア メ リ カ 人被 験 者 （日本 語） 20　　　　40　　　　60　　　　80　　　　100 o ノイ ズ な し ■ノ イ ズあ り 　　 　 　　 　 　 　　 　 　 　　 　 　　 　 　矛 盾 感の 頻 度　 （％）

Figure

　3

．

矛 盾 感の頻 度とア ガ

ー

ク効 果の 強さ との関係 （Sekiyama

，

1994 よ り） 　各点は

，

聴 覚 音 節 と視 覚 音 節 が 矛 盾 する刺 激にっ い て

，

聴 覚音節ごと に被験者間の平 均 頻 度を とった値を示 す

，

と き， 日本人被験者で は多くの聴 覚 音 節で矛 盾が頻 繁に 感 知さ れ

，

マ ガ

ー

ク効果が弱い

．

これ とは対 照 的に ア メ リカ人被験者で は雑 音が な くて も多 くの音 節で矛 盾 感が 少なく， マ ガ

ー

ク効果が強い

．

し た がっ て

，

日本 人で マ ガ

ー

ク効果が生じ ない と き

，

それは視 覚 刺 激 を 見て いな いか らで は ない

_．

_{矛 盾 を感 じ る程 度}には 視 覚 刺 激に注 意 が払わ れて いるの で ある

．

　な ぜEI本人は聴 覚を重視した処理様 式を もつ の か

，

理 由は明ら かでは ない

．

ちなみに

，

音 韻 体 系 が日本 語 と比 較的 似て いるスペ イン語 を 母 国 語 とする被 験 者で は

，

強 い マ _ガ

ー

ク_効果が報 告さ れ て い る （Massaro

，

　 Tsuzaki

，

Cohen ，

　

Heredia，

＆Gesi

，

1993_；Fuster

−

Duran

，

1996_）

．

し た がっ て

，

聴 覚 重 視の程 度は

，

被 験 者の母 国 語の音韻 体系に規 定さ れ るの で はない と考え られる

．

5．

中 国人で も弱いマガ

ー

ク効 果 　で は

，

日本 人と欧 米 人との処 理 様 式のち がいは， 文化 的な要 因によるのか も しれ ない

．一

_般に， 日本人は会話 の際に相 手の顔 を あ ま り見ない と言わ れ る

．

む ろ ん

，

親 密な関 係におい ては必 ず しもそ うで は ない だ ろ う が

，

比 較 的フ ォ

ー

マ ル な場 面で は ア イコ _{ンタ ク ト の回 避が起} こっ て い るように見 受 け られる

．

こん な文 化的習慣の 中 で育つ _と

，

_{聴 覚 情 報}の みで 音声 を 聞き 取 る よ う に し よ う とする処 理 様 式が でき あが るのか も し れ ない

．

そこ で次 に

，

文 化 的により日本 人に近い と考えられ る中 国 人 をテ ス トし た （Sekiyama

，

1997）

．

　被 験 者は

，

中 国で大学を卒 業し て か ら金沢大 学の大 学 院に留 学 して い る学 生 とその 配 偶 者 などで， 刺激は先の 日米 比 較 実 験で用いた 日本 語と英語の刺激で あっ た

．

　その結 果

，

中 国 人は， 日本人と同じ か そ れ以 上にマ ガ

ー

ク効 果 が 生 じに く く

，

聴覚依存型で ある こ と が わ か っ た

．

そのデ

ー

タ を

，

先に あ げ た

Figure

　

2

の下 段に示 す

．

刺 激が 日本語の_場合， マ ガ

ー

ク効 果の強さ は中 国 人 と日本 人は差がな く

，

ア メ リ カ人は そ れよ りも強かっ た

．

刺 激が英語の場合

，

マ ガ

ー

ク_{効 果}は 日_{本 人}とア メ リ カ人が同じ強さで， 中国人は そ れ より も弱か っ た

．

　この結 果か ら

，

会話の時に相手の顔を見ない文 化 的 習 慣が 読 唇情 報利用 度を規 定す る とい う仮 説は今の とこ ろ 否 定さ れ な い

．

しか し

，

中国 人の読 唇 情 報 利 用 度が 日本 人よ り低くすら見受け ら れ るこ の_結果は

，

他の要 因の関 与を示 して い るのか も し れ ない

．

た と え ば

，

中 国 語に四 声が あり

，

そ れ を区 別 するには視 覚 情 報より も聴 覚 情 報 の方が ず っ と役に立っ

，

とい うことも考え ら れる

．

日本 語 も

，

高低ア クセ ン ト に よっ て 「橋 」と 「箸 」 を 区別 す る ような場 合が あ り

，

こ の点で 日本 語は英 語より 中国 語 に近い

．

6．

外国 語 習 得に よる 読 唇 情 報 利 用の増 大 　 次に

，

上記の中 国 人 被 験 者の 日本 滞 在 期 間と実 験 結 果 につ い て検 討して みた

．

Figure　4 の_{横 軸}は 日本滞在 年 数， 縦軸はマ ガ

ー

ク効 果の強 さであ る （ただ し

，

こ こで は

，

マ _ガ

ー

ク効 果がある程 度 おこっ た刺 激

一

聴 覚 刺 激が ノ

ba

／

，

／pa／

，

／ma ／で 映 像が そ れ とは_{矛 盾}する_{場 合}

一

に つ い て のみ計 算 して い る）

．

グラフ中の 1点は

，

1人の被 験 者を表す

．

点の分 布は

，

右上が りの帯 状に な っ て お り

，

中く らい の相 関が み ら れ る （r

＝．

723

）

．

日本に滞 在 して い る期 間が長い被 験 者ほ どマ ガ

ー

ク効 果 が 強い傾 向 が ある の で ある

．

滞日期 間 1年 以 内の被 験 者で は

，

マ ガ

ー

ク効 果がほ と ん ど み ら れ ない

．

右 上が りの点の分 布は

，

外 国 語 習 得に

一

：）れて

，

読 唇 情 報 を 利 用 しよう とする処 理 様 式

126 基 礎 心 理 学 研 究 第 15巻 第 2号

ま

1°°

）

胸 繧

e

蝋 療 へ

1

触 レ 80 60 40 20 oO1234567 滞 日年

数

　

（

年

）

Figure　4

，

_{申 国人被験 者}の_滞日年 数とマ ガ

ー

ク効果の 　関係 （Sekiyama

，

1997 よ り） こ こ で は

，

聴覚刺激 が 〆b／

，

／p／

，

／m／の場合にっ いてのみの 値を被 験 者ごと に 示 す

．

が形成 さ れて い くこと を示す と 思 わ れ る

，

その よ う な 処 理様式は， 日本滞在

3

年以内に学 習さ れ る ら しい

，

　こ の よ う な 日本滞在 年数とマ _ガ

ー

_ク効果_との_関係は

，

外 国に暮ら し

，

その _国の_{言 語}を

一

生 懸命 聞き取ろ う と し て_生活 する う ちに， 聞き取 りを向 上さ せ る もの と して読 唇情報を積極的に利用す る よ うにな る よ う す を示して い る と考え ら れる

，

こ の こ と か ら

，

音 声 言 語と して外 国 語 を習 得 すること は

，

その言 語を読 唇 するこ との習 得を含 ん で い る とい え る

．

どの ように して読 唇を習 得 する のか とい えば

，

や はり

，

そ の言 語 を 実 際に しゃ っ べてみる筋 肉 運 動 的な経 験 を 通 してで はない だろ うか

．

こ の こ と は

，

音 声 言 語 を 獲 得 する過 程の どこかで我々 が無 意 識 的 に_音声の聞こ え と口 の動か し_方との関 係を も学ん で い た こと を 示 している

．

7

．

お わ りに 　こ こで は

，

日本 人 が 英 語 圏の人に比べ_てマ ガ

ー

ク効 果 を生 じ に くい こと を中 心に述べ て きた が

，

日本 人で マ ガ

ー

ク効果が起こ ら ないわ けで は ない

．

こ こでの主 旨 は

，

視聴覚 情報の_{統 合}に おいて

，2

っ の_情報の比 重 を決 定 す るい ろい ろ な要 因が あ り

，

被験者の もつ 言語 的な い し は文化 的枠組み も その 1っ _{だ と}い うことであ る

．

　 統合の プロ セ スを よ り正 確に_{記 述}す る た め に

，

い くっ かの _数理モ デルが提案さ れて おり （

Braida，1991

；

Mas −

saro 　et　aL

，

1993 な ど_）， どの よ う なモ デル が現 象を よ り よく説明で き るの か

，

今後の_研究の _{展 開}が待た れ る とこ ろ であ る

，

引 用 文 献

Braida

，

　L

．

　D

．

1991

Crossmodal

　

integration

　

in

　the

　identification　of　consonant 　segments

．

　

Quarterly

　ノ砌7πα」〔）

f

　Experimental　Psycholog_）i

，

43A

，

647

−

677

．

Campbell，

　

R ．1996

　

Seeing

　speech 　

in

　space 　and 　time：

　Psychological　and 　neurological 　findings

．

　 In　H

．

　T

，

　Bunnell ＆ W

．

　Idsardi（Eds

．

）

，

　Proceedings　of 　the　4th 　劾彪rnation αt　confe7 召 ηCθ0η sPoleen 　language　

Pr

（冫C召SS

・

　ing

．

　Wilmington

，　DE ：Alfred　1

．

　duPont 　lnstitute

．

　Pp

．

　1493

−

1496

．

Dekle

，

　D

，

　

J．

，

　Fowler

，

　

C．

　

A ．

，

＆Funnel

，

　M

，

　G

，

1992　Aud

−

　iovisual　integration　in　perception　of　real 　words

．

　Perception＆ PsychoPhysics

_，

5L　355

−

362

．

Fukuda

，

　Y

，

，

＆ Hiki

，

　S

．

1982Characteristics　of　the

　mouth 　shape 　

in

　the　production　of　

Japanese

：

Strob−

　oscopic 　observation

．

ノ

burnal

　of　the　

Acoustical

　

Soci一

　θty　of　

JaPan

_（E_）

，

3

，

75

−

91

．

Fuster

−

Duran

，

　A

．

1996　Perception　ef　Confiicting　Au

−

　dio

−

Visual　Speech ：An　Examination 　across 　Spanish 　 and 　German

．

　 In　D

．

　G

．

　Stork ＆ M

．

　E

．

　Hennecke

　 （

Eds．

〉

，

　

SPeechre

α

ding

　

by

　

hormans

　and 　machin θ5

．

　

Berlin

　

Heidelberg

：

Springer−Verlag．

　

Pp．135−143．

Green

，

　K

．

　P

．

，

＆ Kuhl

，

　P

．

　K

．

　Meltzof「

，

　A

．

　N

．

，

＆ Stevens

，

　E

．

B

．

19911ntegrating 　speech 　information　across

　speakers

，

　gender

，

　and 　sensory 　modality _：

Female

　

faces

　and 　male 　voices 　

in

　the　

McGurk

　effect

．

　

Percep・

　tion＆

PsychoPhysies

，

50，

524

−

536

．

今 泉 　 敏

・

森 　 浩

一 ・

桐谷　滋

・

湯 本 真 人 ・世 木 秀明 ・

　 清 水

一

光 　

1997

　視 聴覚 音 声知 覚の _脳波

・

_脳磁_図に

　よ る検討 　日本音響学会聴覚研究会資料　

H −97−9．

Massaro ，　D

．

　M

．

，　Thompson ，　L

．

　A

．

，　Barron

，

　B

．

，

＆ Laren，

　E

．

1986Developmental 　change 　in　visual　and　audi

−

　tory　contributions 　

to

　speech 　perception

．

_ノ

bumal

　of

　

ExPerimental

　

Chitd

」

Psycholog

］，

，

41，93−

ll3

．

Massaro

，

　D

．

　M

．

，

　Tsuzaki

，

　M

．

，

　Cohen

，

　M

．

　M

．

，

　Gesi

，

　A

．

，

　＆

Heredia，

　

R ．1993

　

Bimodal

　speech 　perception：

An

　eXaminatiOn 　aCrOSS 　

langUageS．

_ノ

bUrnal

　Of　

PhOnet−

　

ics，21，

445

−478．

McGurk

，

　H

．

，

＆ MacDonald

，

　

J．

1976　Hearing　lips　and

　seeing 　voices

．

_ハ「ature

．

264

，

746

−

748

．

Rosenblum

，

　

L ．

　

D ．

，

_＆

Saldafia

，

　

H ．

　

M ．

1996

Visual

　prirnitives　for　audiovisual speech integration

．

　 ノburnal　of 　Expen

’

mental 　Psychology：Human 　Percep

−

　tion　and 　

Pei

_プ

brmance，

22

，

318−33L

Rosenblum ，

　

L．

　

D ．

，

　

Schmuckler，

　

M 、

＆

Johnson

，

_」

．

　

A ．

　The 　McGurk 　effect 　in　infants

．

　Perception　＆　Psycho

−

　

Physics．

（in　press_）

Sekiyama，

　

K ．1994



Differences

　

in

　auditory

−

visual

　speech 　perception　

between

　

Japanese

　and 　

Ameri−

　cans ：McGurk 　effect 　as　a　function　of　incompatibili

−

　ty

．

　

Journat

　of 　the　Acoustical　Soctety　ofJaPan 　｛E）

，

15

，

　143

−

158

．

Sekiyama ，

　

K ．1997

　

Cultural

　and 　

linguistic

　

factors

　

in

　audiovisual 　speech 　processing：The　McGurk 　effect

　

in

　

Chinese

　subjects

，

　

Perception

＆

Psychophysics

，

59，

　73

−

80

．

フ ォ

ー

ラム　 音と心理　その多面 的な理 解 をめざ して

127

　 唇にお け る混 同 行 列の_{分 析}

一

_{多 次 元 尺 度 法}に よる知 覚

　属 性の_{検 討}

一

日本 電 子 情 報 通 信学会技 術報 告 IE87

−

　

127．

Sekiyama，

　K

．

，

＆ Tohkura

，

　

Y ．1991

　

McGurk

　effect　

in

　non

−

English　listeners；Few 　visual 　effects　for　

Japa

・

　nese 　subjects 　

hearing

　

Japanese

　syllables 　of　high

　auditory 

intelligibility

．

_ノ

burn

α

l

　_qノ「the　

Acoustical

　Society　of　

America，

　

ge，1797−1805．

Sumby

＆ Pollack　1954　 Visual　contribution 　to

　speech 　

intelligibility

　

in

　noise

．

_ノbumal 　

OftheAcoust

一

　ical　

Society

　of　

America ，

26，212−215，

Walden

_，

　

B ．

　

E ．

，

　

Prosek，

　

R ．

　

A ．

，

　

Montgomety ，

　

A ．

　A

．

，

　

Scherr，

　

C ．

　K

．

，

＆　

Jones，

　 C

．

_」

．

1977Effectsof

　 training　on 　the　visual 　recognition 　of　consonants

．

　 ノbUT？zal　_qプ

SPeech

　and 　

H2

α悟ηg　

Research，20，130−

　 145

．

Walker

，

　S

．

，

　Bruce

，

　

V ．

，

_＆

OMalley ，

　

C ．1995



Facial

　

identity

　and 　

facial

　speech 　processingl 　

Familiar

　faces　and 　voices 　

in

　the　

McGurk

　ef_〔ect

．

　Perception　＆