はじめに
ジェスチャーがL2学習に有効であることはほぼ定説となっている(Allen 1995, Gullber 2008, Tellier 2009)。「身体運動」を観察し実行する、それと同時に「発話」 をするというようなマルティモーダル的学習は記憶、また再生においても有効であ るとされる(Dual Coding Theory :Clark and Pavio 1991)。語彙項目の学習では、 学習者がジェスチャーを指導者の身体運動をまねて実施した場合、ジェスチャーを ただ観察した場合やあるいは絵を見せられた場合よりも有意に学習効果が高まるこ とが報告されている(Tellier 2009)。しかしそこでの学習項目は語彙であり、統語 構造や意味的構造の理解と再生にジェスチャーが有効であるかどうかは未だ明らか にされていない。この研究では統語構造を関係文法の方式を使ってジェスチャーで 表現し、次の2点を検証する。 (i) 聴き取り理解へのジェスチャーの貢献度 初めて当該の英文を聴く学習者の意味理解に有効であるかどうか (ii) ジェスチャーの文の記憶、再生への貢献度 学習者がジェスチャーを実施する場合、文の記憶と再生に有効であるかどうか 本論文の構成は次のように設定する。第1節では心身二元論的立場の対極にある 身体化経験が認知能力全般の基盤にあるという立場を概説し言語能力についても概 念形成、概念をつかっての判断や思考に身体化が関与していることを議論する。こ の研究は抽象的概念の把握を含む人間の認知能力は身体的経験と密接に結びついて いるという見解に立脚しているが言語の統語構造がそもそも身体化経験と関連付け られる根拠があるのかという根本問題をも先行研究を参考にし議論する。第2節で
統語構造を反映したジェスチャー:
記憶・再生効果に関する予備的研究
濱 本 秀 樹
は統語構造とジェスチャーとを対応させるための道具を概説し、さらにそのシステ ムをジェスチャーとして両手の動きに対応させる写像関係を設定する過程を紹介す る。本実験でのジェスチャーの構造は簡略化が要求された。このことについても簡 略的に述べる。 また上述の2点を検証するために実施した実験の概要を説明しその結果を検証す る。第3節では実験結果の検証から得られた知見を分析し、今後の研究の展望を述 べる。 ここで結論を簡略的に述べておくと、統語構造を示すジェスチャーは(i)単純 な文ではなく、ある程度複雑な構造を持つ英語の聴解に有効であり、(ii)記憶と 再生にはかなり有効性がある、特に長期記憶に関わる再生ではジェスチャーが明ら かに発話の扶助になっているということが示された。
第1節 認知と身体化経験
この節では認知と身体の関係を先ず考えてみることにする。これには心身二元論的 な立場と精神活動や認知的活動一般に身体の影響を認める立場がある。この区別を出 発点にして認知と身体の関わりを詳しく検討する。 1.1 心身二元論と身体化経験 「認知」(cognition)とは心理学での概念であり、(i) 人間の持つ外界にある対象 を知覚する能力(聴覚、視覚などのいわゆる5感)、(ii) 概念形成、(iii)記憶、 (iv) 形成された概念に基づいた思考、判断などの人間の意識下にある精神活動全 般、をさすが、言語能力に関わる分野ではさらに無意識的な心的活動も含めるのが 普通である。我々の身体は外世界に常にさらされていて、情報を感知しそれに適切 な判断を下すことは死活問題である。この場合、知覚器官である耳、目あるいは皮 膚感覚などからの情報を受けて認知的処理が脳内でなされるという図式が「外世界 ―身体―認知」についての一般的理解であると思われる。身体の各器官は外世界の 情報を認知機構に送り、そこで外世界の事象に関しての判断がなされ、今度は逆に 認知機構の指令で我々の手足が動き、外の世界に対応するというように捉えている のである。この標準的、常識的理解では心と身体を、関連はあるものの、別の作用を分担するものであると考えている。この立場が心身二元論である。一方この二元 論に対し、概念の形成過程やその形成された概念群を使って思考し判断することの 中に「身体の経験」が関与していると考える立場があり、これが身体化経験論的見 解と言われるものである。つまり「身体化」とは主体者(agent)の日常状態での 認知における身体の関わりを指す用語である(Gibbs 2005)。ここで Gibbs 2005 の 主張を見てみよう。 我々の認知の多くのものが身体化にその根拠を持つのであるが特に運動 する身体の現象学的経験に依存している。身体化が思考や言語の全側面 の唯一の基盤であるとはいえないだろうが、それでも我々の世界での意 味づけを行う知覚と認知プロセスの欠くことのできないものが身体化で ある。(Gibbs 2005; 3) 上の引用の中で現れた「現象学的経験」には説明が必要であろう。これはフッ サールのいう「志向性」に関わる問題である。我々が対象を見る場合、対象と観察 者である自分との位置関係に応じて感覚体験は異なってくる。例えば対象が正方形 であっても見方によればそれは長方形に見えることもあり、また平行四辺形に見え るかもしれない。それでも観察者はその観察された感覚体験を乗り越えて本来の対 象の形態を見ようとする。観察される感覚体験を「現出」と呼ぶなら、観察者はど のような場合にも「現出」しか観察できない。しかしこの感覚体験を乗り越えて本 質の姿、つまり「現出者」を見ようとする働きが「志向性」である。つまり我々の 直接体験は「現出」を感覚体験しているだけで、それを媒介にして「現出者」に辿 りつこうとするのは志向性の働きによるのである。このような直接体験が志向的体 験であることを現象学的経験とよんでいるのである。言語の学習でも志向性を伴う 経験であることに変わりはない。次に身体化の具体例や関連する問題を列挙してみ よう。 (1) 身体化の例と関連する問題 (i) 2次元で表示された立体物2つが同一かどうかを判断する古典的な実験におい
て、被験者は対象を頭の中で回転させそれらが同一かどうか判断する。ここで視覚 イメージと心的心象(mental imaginary)との関係が存在することは既に知られて いたが、さらに運動感覚と心的心象の間には共通の心的表示が存在し神経生理的に 共通基盤があることが Wexler らの実験で確かめられた(Wexler, Kossylyn, and Berthoz 1998)。この実験では頭の中で対象を回転させる際に、回転すべき方向と 逆に自分の手を回すと、頭の中での回転が阻害されることなどから、視覚運動的予 測が心的心象の回転を駆動していることが主張されている。つまりある種の思考に は身体の運動経験が関与するのである。 (ii) また幼児の因果関係(causality)や包含関係(inclusion)、主体性(agency) などの習得は単なる観察だけではなく物理的世界での身体化経験により物事の動き や 行 動 を 学 び と る こ と に そ の 基 盤 が あ る こ と を 示 す 多 数 の 研 究 が あ る (Hertenstein 2002, Needham, Barette, and Peterman 2002)。幼児の概念形成には
運動的身体化経験が必須であるということになる。
(iii) さらに脳の言語に関わる領域である言語野(特にいわゆるブローカ野)が運 動野にも密接に関連していることを示す研究も多くなされている(Gibbs 2005 お よび Iverson and Thelen 1999 に諸研究の要約がある)。つまり脳生理学的にも言 語と運動は関わっていることになる。 (iv) 人間はある概念の性質を述べるような標準的カテゴリー課題の場合でも先ず 概念の指示対象を知覚的にシュミレーションし、そこからそのシュミレーションを (心の中で)見渡して必要な情報を見つけ出す。概念のカテゴリー化には身体化 シュミレーションに基づく情報が背後にあり、それを活性化(re-enactment)して 意識にのせる(Pazzini 1997)。概念そのものに身体化が関わり、概念を意識的に 想起する場合、再度身体化経験を活性化しなければならないということである。 (v) 他者の行動を認識し、理解し、まねることを可能にする直接的、自働的、非推 論的シュミレーション機構を構成するミラーニュ−ロンと呼ばれる脳構造が存在す る。このシュミレーション機構は知覚と運動に共通するコード体系を持ち、他者の 行為の観察が観察者に同様な行為を生成する契機になりえる(Gallese 2001)。 (vi) ミラーニュ−ロンに関連することであるが、他者の状態に注意を向けると自 働的に観察者の中に類似の状態の表示が生起し、意識的に阻止するのでなければこ
の表示の生起が自働的に関連する身体反応(somatic responses)を生成する。こ れを感情的感染(emotional contagion)あるいは認知的共感(cognitive empathy) とよぶ。さらに他者の行為をまねて自分も身体を動かす(ジェスチャー)と本当に 自分のものとして行為するのと同様の表示を生成し他者の経験を理解し感情や伝達 意思を感じ取ることができる(Gibbs 2005)。 身体に痛み、不快感があるならば自分の身体が感覚の源になっていることは知覚 できる。一方、数学の問題を解くような思考の場合、身体からのインプットは感じ られず、確かに身体は思考の背景に退いていく。しかしこのような抽象的思考の過 程でも概念の相互の関係を図示し、そこに包含関係、因果関係、大小関係、遠近関 係などを考慮することがあるならばこれらの諸概念は全て身体化経験に基づいてい ることを思い出さなければならない。この抽象思考時の身体化経験の関連性や上述 の(i)∼(vi)の主張を考慮するならば「心的活動の全領域で身体化認知経験が関 与している」ことに反論の余地はないように思われる。 1.2 ジェスチャーと言語 以上のようにもはや精神活動における身体化認知経験の関与には疑問をさしはさ む余地はないと思われる。ここでさらに本論文の主題である身体運動、つまりジェ スチャーと言語の関係に入っていくことにする。 人々は話をする時、身体を動かす。ジェスチャーと発話の開始が同時であること が多く、発話が止まればジェスチャーも停止する。また話し手が躊躇したり吃ると ジェスチャーの動きもそれに同調することが知られている。これらの動きは偶然で はなくメッセージを伝達しようとする共同的作用を持つことを示している。 McNeill (1992) はジェスチャーと発話は共通の思考生成過程を基盤に持つ単一の 伝達システムであると主張する。彼はジェスチャーと発話は相互に強い関係性を 持っていて、この関係性は音韻的エンコード、統語構成、意味と談話生成に全てに 及ぶという。 ジェスチャーが聴き手の理解を容易にすることを念頭に置いたものか、あるいは 発話者の語彙引き出しや概念形成を容易にすることが主な機能なのかは議論が分か
れるところである (Hostetter and Alibali 2004)。
我々が話す時、両手で何らかの図を示すことは聞き手が伝達内容を理解すること を容易にすると考えてしまうが、実際のところ発話者のジェスチャーは聞き手の発 話内容理解にはほとんど貢献しないという研究報告もある(Krauss, Dushay, Chen and Rauscher 1995)。それは発話者は、聞き手がジェスチャーが見えないと明ら かに分かっている場合でも表示的ジェスチャーをするからだという。この見解を信 じればジェスチャーは発話生成にむしろ強い関わりを持つことになる。また発話生 成に関わるジェスチャーの働きについては、
(i) 語彙引き出し仮説 (lexical retrieval hypothesis:LRH)、 (ii) 情報パッケージ仮説 (information packaging hypothesis:IPH)、 (iii) イメージ活性化仮説(image activation hypothesis:IAH)
が提唱されている(Mol and Kita 2012)。語彙引き出し仮説はジェスチャーが先 行刺激となりそのプライミング効果によりレキシコンから適切な語彙が引き出され やすくするというものである。一方、情報パッケージ仮説はジェスチャ―が空間― 運動系の概念をまとめ、組織化することを助けるというものである。最後のイメー ジ活性化仮説とはイメージや空間特性が発話形成時に記号化される際、ジェス チャーを行うことでそのイメージや空間特性が活性化されるというものである。 Hostetter と Alibali の実験 (Hostetter and Alibali 2004)ではジェスチャーは語 彙の呼び出し作用の他に、それを越える程度で発話形成そのものに大きく作用して いるがことが示された。Levelt (1989)の標準的発話生成モデル(a blue print for the speaker)は発話生成を大きく3つのステージに分けているがこれと上述の3 つのジェスチャーの関わりを図示する。
(2) Levelt (1989)の発話生成に関わる設計図
gesture
情報パッケージ機ージ機ージ 能 語彙 語彙 語 取り出し機能 イメージ活性ジ活性ジ活 化機性化機性 能conceptualizer
message generationfo
fo
fo
fo
formulator
grammatical encodidid ng phonologicagicag l encodidid ng lexiicon preverbal messagearttticulator
gesture
(Levelt 1989 ; 9を参考にした)Hostetter と Alibali の実験結果が示すことは概念化機構(conceptualizer)と語彙 取り出しと文形成に関わる文編成機構(formulator)にジェスチャーが関わること を示していることになる。彼らの実験では統語構造生成に関しての直接的言及はな いが言語生成におけるジェスチャーの役割についてはこのように締めくくってい る。 我々が言語というものを我々がどのように世界に身体的に関われるのかと いう点で理解しているとするなら、この同じ身体化された知識が言語生成 の能力の一部であることも当然想定してよい。話し手はジェスチャーを通 じて身体化された知識を活性化しているのであり、ジェスチャー使用によ り言語という線形的、記号的システムでその身体化経験をよりよく表現し ている。結論として、絵は 1000 の言葉に匹敵するというが、我々が手で 作り出す絵は聞き手のみならず、我々自身にも有用なのである。
さて統語構造とジェスチャーについて最近の論文を確認してみよう。Mol と Kita によるジェスチャーが発話の統語構造に影響を与えることに関する実験と考察は非 常に興味深い(Mol and Kita 2012)。ここでいくぶん詳しく彼らの研究を紹介しよ う。 彼らは先行研究(Kita 2000)によりまずジェスチャーの基本機能を情報パッ ケージ機能であると想定する。彼らによればジェスチャーは空間運動系の情報を構 造化し、発話に都合の良いようにパッケージ化すると考える。また同時に情報 パッケージの方式がジェスチャーの構成にも影響すると考えている(図1で情報 パッケージ機能を担うジェスチャーと概念化機構とは双方向の矢印で結びあわされ ていることに注意されたい)。彼らは情報の基本パッケージの単位を節(clause) としている。 先行研究である Kita(2000)では被験者が運動の様態と経路を口頭で描写する 場合、単一の節で描写した場合には単一のジェスチャーで、また2つの節で描写し た場合、2つのジェスチャーで示される傾向があることを示した。これにより [ 発 話⇒ジェスチャー ] 方向の影響の存在が明らかになった。下の図で確認されたい。 (3) (i) “He rolled down the hill”
(様態と経路が一文で表現されている) ⇒単一のジェスチャー (ii) “He rolled, as he went down the hill”
(様態節+経路節) ⇒2つのジェスチャー さらに Mol and Kita (2012)では被験者に運動の様態と経路を含む動画を見せ、今 見た動画を一つのジェスチャーで表現するように指示するか、あるいは2つの ジェスチャーで表現するように指示した場合、そのジェスチャーに随伴する発話が どのようになるかを記録した。結果は予想通り次のような組み合わせが優勢に なった。 (4) (i) 単一のジェスチャーで表現するように指示される ⇒1つの節で構成される発話を生成する
(ii) 2つのジェスチャーで表現するように指示される ⇒2つの節で構成される発話を生成する これらの研究が示唆することは次のようにまとめられる。 (5) (i) 情報のパッケージ単位は節である (ii) 発話生成プロセスでの概念化機構とジェスチャーの情報パッケージ機能は 双方向的に関連している (iii) 発話の統語構造(ここでは節構造)とジェスチャーの構造とは相互関連が ある これらの研究は発話者の発話内容の概念化生成(特に節構造化)にジェスチャーが 関与することを示したものであるが、注意すべきことは聞き手がジェスチャーによ り発話内容把握が容易になる可能性については棄却している点である。しかし既に 見たように(1.1(1)参照)、他者の状態に注意を向けると自働的に観察者の中に 類似の状態の表示が生起し、意識的に阻止するのでなければこの表示の生起が自働 的に関連する身体反応(somatic responses)を生成し、さらに他者の行為をまね て自分も身体を動かすと本当に自分のものとして行為するのと同様の心的表示が生 まれ他者の経験を理解し感情や伝達意思を感じ取ることができる(Gibbs 2005)と いう主張がなされている。このような感情的感染(emotional contagion)あるいは 認知的共感(cognitive empathy)が観察されている以上、ジェスチャーが聞き手 の発話理解に何らかの効果をもたらす可能性は否定できない。以上を考慮して ジェスチャーと言語生成、あるいは理解との関係を次節では実験的に検討する。そ の実験では統語構造表示をジェスチャー構造に写像したものを用いる。そこで実験 の説明に入る前に次節では極めて簡単にその仕組みを概説する。
第2節 ジェスチャーの構造化
以上の節では自発的ジェスチャーが発話の統語構造を反映する、あるいは逆に発 話の統語構造がジェスチャーの構造を規定することがあることをみた。これらは自発的ジェスチャーの例であり、何らかの規則性が動作に反映された意図され構築さ れたジェスチャーではない。この研究では2つの研究課題を設定している。それは 発話の節構造をジェスチャーに意図的に写像し発話者がそのジェスチャーを用いた 場合、聞き手はその聴解が容易になるかどうかという点、また学習者がその意図さ れたジェスチャーを行った場合、その記憶と再生に有効に働くかどうかをみること である。そのため本研究では意図的にジェスチャーを設定する。そしてそのジェス チャーを使って上記の2つの課題に取り組むことにする。 ジェスチャーに構造を与える際、既に見たように情報のパッケージの単位は節で あると考える。節が1つの完結したジェスチャーに対応するようにする。当初、こ のジェスチャーの構造化に参考にしたのが「関係文法」である。本研究では関係文 法にヒントを得たジェスチャー構造(Gesture Structure 1:GS1)を用いて実験を 繰り返しその有用性を検証した。この予備実験の結果の反省から今後の実験で用い るジェスチャーの構造(GS2)は GS1 より簡略化される必要があると思われる。 それでは予備実験時に用いたジェスチャー(GS1)のシステムを以下に紹介し、 さらに今回のジェスチャーの構造(GS2)の改良点をみてみよう。 2.1 関係文法とジェスチャーへの応用
関係文法(RG)は David Perlmutter と Paul Postal によって 1970 年代に開発さ れ 1974 年のアメリカ言語学会夏季講座において発表された文法理論である。この 理論では文法関係は基本的に原子要素であり定義されていない。関係には主語、直 接目的語、間接目的語、また受益者、位置、道具を示す斜格(前置詞句)を含 む。主語、直接目的語、間接目的語は項(terms)とよばれ次のようにハイエラル キーを構成する。特に主語と直接目的語(1-2)は核関係(core relation)と言われ る。また直接目的語と間接目的語との関係(2-3)は目的関係(object relation)と 言われる。
(6) subject direct object indirect object obliques
(7) nuclear relation: 1 2 (8) object relation: 2 3
節(文)の関係構造は層状図(strata diagram)で表示される。 (9) a. The crocodile ate the woman.
b. The woman was eaten by the crocodile.
(10) a. b.
P
1 2
eat t t crocodile e e woman
P 1 2 P Cho o o 1
eat crocodidid le e e woman (10a) は2項述語の eat があり、その主語(1で示される)が crocodile、その直接
目的語(2で示される)が woman であることを示す。これは1層の構造である。 (10b) は、初期層では同様に生成された構造が、受動化により、第2層が形成され crocodile が主語から Cho の地位に低下し、代わりに woman が直接目的語から主 語に上昇することを示している。初期層以降の操作は再評価 (revaluations)と呼 ばれる。つまりこの文法理論は初期の変形文法に似た考え方を採用している。初期 層が深い構造、再評価は変形、最終層が表層構造と対応する。 Cho は関係文法に特有であり、Cho 関係は名詞であるが項の地位、すなわち 1,2,3 のポジションから外された(ousted)地位にあるものを示す。Cho の位置にあるも のは項には認められる文法的属性を消失している。例えば(10b)では crocodile は主語であったものが Cho になりその結果、動詞との数的一致関係(agreement) は消失し節の中で周辺的、随意的な位置に配置される。代わりに woman が主語の 位 置 に 来 る こ と で 動 詞 と の 一 致 関 係 を 継 承 す る。 元 々 Cho はフランス語の
chômage(役割を消失した、失業中の、働いていない者)から来ている。(10b) の crocodile は going into chômage(役割を消失する)と言われる。もちろん Cho になっても Agent θ role(行為者の意味役割)は保持しているが関係文法では表 層的文法関係の記述を中心に据えるので「役割の消失」というような言い方をする のである。
身体化認知に関する理論では、言語を形成、あるいは理解する中枢と身体動作の 中枢は密接に関連することが知られている。特に両手の動きは言語理解と密接な関 係がある。例えば“throw a ball” “catch a ball in the air”という表現を聴くと、 聴き手は瞬時にその動作を脳内で再現し意味理解するのである。ここでは関係文法 の考え方を援用し、その概念を両手の動きに関連付けることで統語構造を両手の連 続的運動に投射することを試みてみた。ここで一般的に考慮すべき点は、ジェス チャーという身体運動と発話動作との対応関係から由来するものである。 (11) ジェスチャーに構造を与える際の考慮すべき点(予備実験段階) (i) ジェスチャーを身体運動として実施するにも心的エネルギーがいる。従って発 話と身体運動を組み合わせるマルティモーダルな学習においても、あまりに複雑な ジェスチャーは負荷が大きくなり効果が認められない可能性がある。このため ジェスチャーは対応する文の統語構造をそのまま投射するようなものではなく簡素 化されたものにならざるを得ない。関係文法の概念を利用するにしても簡略が必要 である。 (ii) ジェスチャーでは使える身体部位は両手である。あまり複雑な動きは実際的で はない。またジェスチャーの時間と発話の時間は一致しなければならない(あるい はジェスチャーの onset が発話に先行する)。この点からも発話とのリンクを考慮 した両手の動作を工夫しなければならない。 (iii) 表層文の線形的順序とジェスチャーの各項目の順序とは一致しなければなら ない。述語Pの後にくる要素、例えば間接目的語、直接目的語は関係そのものを表 示する間接目的語 =3、直接目的語 =2 という固有的番号付与ではなく出現順序に よって番号が付与される(下の例(13)(14)(15)参照)。これは本来の関係文法とは 大きく異なる点である。
(iv) 発話では名詞、動詞、形容詞などの内容語はストレスを受けるが助動詞、冠 詞、代名詞などは音的に弱化する。それにより自然に強弱リズムが生まれる。 ジェスチャーの動きも内容語である名詞や動詞、あるいは形容詞などは強調する必 要がある。また動詞の後に来る代名詞などは弱化するのであるから Cho 化しさら に P の一部に吸収される場合もある。 以上の点を考慮した関係文法のジェスチャーへの投射を次のように規定した。こ こでジェスチャーそのものは表層構造に対応するのであるから派生の最終層にのみ 対応関係があることになる。また線形順序の制約により、述語 P は Perlmutter と Postal らの関係文法の記述とは異なり、主語の後に置かれる。 (12)記号―ジェスチャー対応表 1 = 左手縦運動 一回 P = 左右両手縦運動 一回 (Pに直後の目的語を含む場合もある) 2 = 右手縦運動 一回 3 = 右手縦運動 一回 Cho x (Pより左) =左手の円、横運動 iconic的要素を加味することもある Cho y (Pより右) =右手の円、横運動 iconic的要素を加味することもある (非逆行原則:1-P-*1):Pからあとは右手のみ。左手に戻らない。 以下に各種の構文でのジェスチャーの構造の例をあげる。
(13)a. John likes Kyoto.
1 P 2
b. John is taller than Kenji.
(13a) では直接目的語 Kyoko が 2、(13b)では taller の比較対象 Kenji が 2 を付与 されている。
(14)a. John gave a glove to Kenji.
1 P 2 3
b. John gave it to Kenji.
1 P 2
(15) a. John gave Kenji a glove.
1 P 3 2 初期層(参考)
1 P 2 Cho ⇒ RG での標準的扱い。
1 P 2 3 ⇒ GS1 での扱い。 (16b)に対応
b. John gave him a glove.
1 P Cho 2 ⇒ GS1 で間接目的語弱化の場合。(16c)に対応
(16) a. b. c.
1 P P P 2 3 John gavava e e e glglg ove KeKeK njnjn i
1 P 2 3 1 P Cho o o 2 John n n gavava e e e glglg ove KeKeK njnjn i
1 P 2 3 1 P 2 Cho John gavava e e e glglg ove e e him
(17)関係文法表示と情報構造対応原則 (i) 関係文法のジェスチャー化では情報構造における情報の地位を考慮する。また ジェスチャーの動きは発話と連結するのであり、発話と身体動作との時間経過の同 一性を意識しなければならない。 (ii) また文法的重要性の低下とともに項が 2,3 ⇒ Cho (14)の Dative shift 構文では標準的 RG では直接目的語に 2 を与え、間接目的語 に 3 を与える。 (15)の Double object 構文の場合、標準的 RG では動詞のすぐ後 にくる間接目的語に 2 を与え、直接目的語に Cho の地位を与えている。しかし
ジェスチャー構造(Gesture Structure 1:GS1)では文末には情報構造上の新情報 が来ることからジェスチャーで表示するべき情報価値の観点により 1-P-2-3 とし、 さらに間接目的語が弱化する場合(代名詞化など)は Cho に変えるとともに、直 接目的語 glove に情報価値のある 2 の地位を付与する。同様に turn A into B、 make AB (A を B にする)のようなタイプの構文では 1-P-2-3 を標準とし、A が 代名詞では Cho にする。次にコピュラ―文、存在文の扱いに移る。SVC型のコ ピュラ―文、存在文、there 存在文は全て 1-P 型の関係と判断する。特に there 構 文では there are two bottles of wine on the table は two bottle of wine ARE on the table というように後の名詞が agreement をしている。このことから there そ のものではなく there are two bottles of wine に 1 を付与する。その後に(are) on the table としてそれをPとする。
(18)a. Keiko is a nurse.
1 P
b. John and Keiko are in the garden.
1 P
c. There are two bottles of wine on the table.
1 P 下に規則としてまとめる。 (19) コピュラ―文、存在文再評価規則 S be C 1 P There be NP Loc 1 P 次に使役動詞構文をみる。使役構文(make O VP, get O to VP など)では補文が 埋め込まれているが初期層では Keiko は補文主語の地位である。しかし全体を構 成する場合、この主語 1 は直接目的語 2 に変換され、補文P以下は Cho 化され
る。ある意味で補文の構造を無視して簡略化するのである。 (20) a. Kenji made [Keiko sing a song before the audience].
初期層 1 P 1 P 2 Cho 最終層 1 P 2 Cho (21) 1 P 1 P 2 Cho 1 P 2 Cho Ke Ke
K nijijii made KeKeK iko sing a song g g befofof re the audidid ence (22)補文再評価規則
S Causative [ O VP・・・]
1 P 1 P
1 P 2 Cho →
次に複文の例として関係詞節を含む複雑な文をみてみよう。関係節は先行詞の意味 的補充であるから Cho の地位を持つ。また以下の例で Cho が iconic となっている のは、句の意味からみて象徴的な動きを加えることを指す。
(23) a. Ethiopia is where coffee came from.
初期層 1 P wh 1 P
最終層 1 P Cho (iconic)
Cho (iconic) coffee came from を右手で移動動作をする。
b. The amount of solar energy [that arrives on this earth] can be used to power
1 Cho 1 (iconic) P
the world many times over.
c. The next room contains a painting that is the most famous, most written about
1 P 2 Cho 1 Cho 2
and most reproduced. Cho3
d. Impressionism is characterized by a concern / with depicting the visual
1 P 2 Cho1
impression of the moment / in terms of the shifting effect of light and color. Cho 2
e. There s this magic juice / that when you put it in someone s eyes /
1 Cho 1 (iconic)
while they are asleep / makes them fall in love with whoever they see first /
Cho 2 (iconic) P 2 Cho3 (iconic) Cho4
when they wake up.
Cho6 (iconic)
f. Milo is a French name for the island of Milos in the Aegean /
1 P
where the statue was discovered. Cho (iconic)
次に(関係詞節以外の)従属節を持つ複文をみてみよう。これには主節+従属接続 詞(when, since, though など)の構文と It is 形容詞(adj)+ to V、it is adj +that S V、I think that S V 型などがある。初期層では従属節も主語、述語構造 [1-P-(2) -(3)] を持つが、最終層では述語は主節 P に一本化され従属節の 2,3 は主節の対 応数字に変換される。
(24)a. You must be very careful / when your child is near the sea.
1 P Cho
b. I know its kind of weird (pro) to think of bacteria / in what you eat and drink.
1 P [1 P [1 P Cho]] 初期層
c. I t is natural that we start a new academic year in April.
1 P [ 1 P 2 Cho] 初期層
Cho (1) P 2 Cho1 3 Cho2 最終層
d. He knew that he would spend his final years in Tokyo.
1 P [ 1 P 2 Cho] 初期層
1 P Cho ( 2 ) Cho1 3 Cho2 最終層
(24a)では最終層のみである。従属節 when 以降は Cho としている。(24b)では 初期層では I know は主節の主語と動詞であるが情報の中心ではなく最終層では I know 全体で Cho である。従属節の主語は初期層では it で、kind of weird はPで あるがこれは後半の pro to think of bacteria 以下を受ける。しかし音韻的影響を 受ける最終層では it’ kind of weird の it は音声的に弱化し意味的にも弱いので P の一部としてジェスチャーで示す。pro to think of ∼は意味の中心である。pro は 明示項ではないがここで構造上の切れ目があることから 2 を付与する。その後は Cho1 と Cho2 とし強調的にジェスチャーする。
(24c)は初期層では it は主節主語、is natural が P、that 従属節は it の内容にな り、we は従属節主語、start a new academic year が P −2になっている。最終 節では主節 it は弱化し is natural の一部と化す。従属節 we は 2 に、目的語 a new academic year は 3 に格上げされる。
(24d)では knew の目的節が that 以下である。初期層では He が 1 knew は P の地位を持つ。従属節 that は he が 1、would spend が P、his final years が目的 語 2 の地位を持つ。しかし最終層では従属節 he は 2 の地位を持つが音声的に弱化 し Cho 化した述語の一部と化す。従属節の that 節の内容で his final years が焦点 化するのでこれを 3 として保持する。下に(24c)の構造を示す。
(25)(=24c)
1 P P P 1 P P P 2 Cho
Cho(1) P 2 Cho 3 Cho
it is natural al al we spend a new academic year in April
結局、複雑な文になれば述語 P を挟んだ核関係 1-2 が構造の基本として重要であ る。また従属節の P は Cho 化し、従属節の 1,2 などは主節の要素と再解釈され る。両手で述語 P を表現して以降は決して右手から左手に戻ることはない。線形 的順序はどのような構造でも維持する(後で見るように重文では異なる)。次に turn A into B の構文を確認する。
(26)These micro-organisms turn the sugar in the juice into alcohol.
1 P 2 3
上記の例で語尾の into alcohol は斜格であるが turn A into B で変化の結果を示し 情報価値が高いので 3 を付与する。以上、原則は最終層では 1,2,3 と P 以外の要素 は全て Cho として扱う点にある。従属節の 1,2 は主節の対応番号を付される。従属 節 P は Cho 化する。最終層においてPより左の Cho は左手で、Pより右の Cho は 右手で表現することに注意。動きは発話との対応を意識して行う必要がある。次に 否定を含む文を検討する。
(27) a. He did not steal the money from the safe.
1 P ‒neg 2 Cho
b. He was not pleased with her remark on him.
1 P-neg 2
c. He did not know that he would spend his final years in Japan.
1 P-neg Cho(2) Cho 3
叙述 P の不成立を示す。
最後に重文構造を見てみよう。ここで重文とは2つ以上の文が and、but などの 接続詞によって結合されたものである。原則的に今まで述べた単文、複文の複合体 として扱う。
(28) a. I can t afford to buy any luxurious goods with my low salary.
1 P-neg 2 Cho
b. Since my salary is low I can t afford to buy any luxurious goods.
Cho 1 P-neg 2
c. My salary is low and I can t afford to buy any luxurious goods.
1 P 1 P-neg 2
以上の3例の意味に大差はないと思われる。しかし情報構造的には伝達意味は異な る。ジェスチャ―文法では表層構造を表現するので(28c)のケースのみ and で両 手を上に広げて、1-P-2 を再度展開する。
(29) a. Keiko went out for a walk in the park and Takashi watered the plants in
1 P Cho 1 P 2
the garden. Cho
b. John Gurdon took the nucleus of a cell from one frog and injected it into
1 P 2 Cho and (1)P 2
an egg from another frog.
3 Cho 2.2.GS1 を使った3つの予備実験 以上にその概略を示した GS1 ジェスチャーの構造を用いて予備実験を行った。 なぜこれを予備実験とするかというと統語構造をジェスチャーに投射してそれを第 二言語学習の場面で適用するという実験は今まで実施されたことがない。そこで統 語構造のジェスチャー化の適否、内容理解促進(阻害)効果、ジェスチャーの負荷 など調査しておく必要があると判断したからである。この予備実験の結果を分析
し、それをふまえたうえで多数の参加者による本実験に移行する予定である。 この予備実験の内容、及び手順を述べる。著者の「英語教授法と言語習得」の演 習参加者 12 名に授業の一環としてこの実験に参加してもらった。彼らはジェス チャーと言語に関する講義(これは概ね本論文の内容に相当する)を受講し、基礎 的な知識を実験前に学習している。実験は3つの課題から構成されている。いずれ の課題も、参加者の主観的意見を収集する質的実験であり、数的データの統計的処 理を含まない。ジェスチャーの学習者自身の情報パッケージによる文構造の理解促 進(あるいは阻害)の効果を質的に得ることによりそこから GS1 の効果、限界、 さらにはマイナス点を探ることを目的とする。次に3つの課題と参加者によるそれ ぞれの課題実演直後の意見を集約したものを示す。表記の 5/12 などは 12 名中5名 に類似の意見があったことを示す。また第1課題の後1週間間をあけて第 2 課題を 実施した。いずれも 2014 年7月の実施である。またそれから夏休みをはさみ7週 間後に、参加者には事前に通告することなく第 3 課題を実施した。従って、参加者 はこの長期のブランクに課題文を見てはいないし、再学習、再記憶もしていな い。 (i) 第1課題(2014 年 7 月 14 日実施) 上述の英語の例文、(14)、(15)、(18)、(20)、(23)、(24)、(26)、(27)、(28)、 (29)を音読し同時にジェスチャー記号通りに身体表現できるまで練習を繰り返 す。その後、感想を述べる。 実演後の第1課題の意見の集約 ① あまり短い文の場合、ジェスチャーで 1-P-2-3 のように区切る必要を感じな かった。(3/12) ② 特に二重目的語構文、Dative shift 構文についてはジェスチャーの動きを単 純化できると思われる。(3/12) ③ 発話の節構造の内部、主語―述語―目的語―付加語のように線形の出現順序 をそのままジェスチャー表現するのは少し煩雑でありジェスチャー実演に気 が取られてしまった。(4/12)
④ There s this magic juice / that when you put it in someone s eyes / while they are asleep / makes them fall in love with whoever they see first / when they wake up.
のような節構造の複雑なものは英文を記憶する際にジェスチャーが構造理解 の助けになった。また思い出す際にも、動作そのものの記憶が発話の続きを 思いださせてくれたように思う。(7/12) ⑤ 重文で and や but で区切る(両手を上に広げる)動作をする必要はないよ うに思える。(3/12) (ii) 第 2 課題(2014 年 7 月 21 日実施) 下に示す課題文を次の手順に従い実施し、手順⑤のジェスチャー実演の様子はビ デオに撮影しこれの研究、教育目的の使用を参加者に許可してもらった。 [第 2 課題の手順] ① 英文は見ていない状態で課題英文を3回聞く。次に内容を簡単にメモす る。 ② 英文は見ないでさらに教員のジェスチャーを伴う課題文の音読を3回聞 く。英文の内容をメモする。 ③ 英文を見て内容を確認する。それを自分でジェスチャーを伴って慣れるまで 実演する。 ④ 一週間、適宜ジェスチャーと音読を繰り返し練習する。どのくらいの時間を かけたか記録する。 ⑤ クラスで実演する。その後、練習時間とジェスチャーと音読の練習の印象を 報告する。
課題文 次の英文は Golden first chapters シリーズの の最初の場面です。
すべての文の下にジェスチャー記号を付けています。それにしたがって自分でも統 語構造を意識し、聞く人にも統語構造を推測してもらえるように実演しなさい。す べての文にジェスチャーが必要とするわけではなくそうすれば分かり難い構造が分
かりやすくなると思う部分、強調したいと思う部分をジェスチャーとして表現しな さい。今から1週間後にクラスで実演してもらいますのでよく練習し、練習時間、 感想をメモしておいて下さい。
For as long as I can remember, the kingdom of Arendelle has been shut off from Cho 1 P
the rest of the world, especially the castle, with its locked gates, closed doors, Cho 1 Cho P 2 and shuttered windows.
and (1) P 2
That means the royal family ― including me ― has been the most closed off. Cho1 1 Cho2 P
I m Anna, Princess of Arendelle. It s a fancy title that sounds very regal and proper, 1 P 1 P Cho
but I m not like that. but 1 P-neg
I d rather run around with the wind in my hair and experience new things! 1 P Cho and (1)P 2 If only I were allowed off the castle grounds, which I m not.
Cho 1 P Cho which 1 P-neg
I used to beg my mother and father to change the rule, but they said it was 1 P 2 Cho but Cho 1 P necessary (pro) to keep Elsa and me safe.
2 Cho1 3 Cho2 実施後の第 2 課題の意見の集約 ① 手順①②に関しては聴解時にジェスチャーを伴うものを見る方が文の切れ目が 分かり易く意味がとり易い。(7/12) ② 1週間後の実演ではほぼ記号表記通りのジェスチャーを英語の暗唱とともに実 施できた。英語の発話とジェスチャーは同調されていたが、言い淀みとジェス チャーの停滞もリンクする。(7/12)
③ 1 週間学習し実演した時点での参加者の感想は次のように大別された。 (a) ジェスチャーの動作の記憶と英語の記憶と時間が余分にかかった気がする (7/12)。 (b) 自分で自発的にジェスチャーをするのではなく規則化されているので動作 が余分に負担に思える(6/12)。 (c) 確かに時間は余分にかかるが覚えると動作が英語をよび出すような気がす る(12/12)。 (d) 簡単な文にはジェスチャーは不要だと感じる(5/12)。 (e) 否定のジェスチャー表現は特に面倒である。右手を振るような動作の方が 自然だ。(4/12) (f) 重文を示す(and と but)のジェスチャーも余分に感じる。続けて表現し ても分かるのではないか。(4/12) (g) Cho で表現した部分も多いのだからさらに簡単にした方が学習者にも負担 が少ない。(5/12) (h) 観察者が規則を知らなければ解釈のしようがない。手話ではないのだから 一見してある程度理解できるようにする必要があるのではないか。(5/12) (iii) 第 3 課題(2014 年9月 15 日実施) 第 2 課題実施後、7週間経過した夏休み明けの授業で、第 2 課題の英文をどの程度 記憶しているかを 12 人にジェスチャーを含め確かめた。ジェスチャーを思い出し 英文を思い出すため教員が再度2度実施した。その後 12 名に同時に実演しても らった。 実演後の第 3 課題の意見の集約 ① 英文とジェスチャーが良く記憶されていた。長期の記憶にジェスチャーが有効 であることを7週間後にはっきり認識した。(8/12) ② 当初ジェスチャーの負荷が大きく、ジェスチャーと英文発話の同時実施に批判 的であったが記憶の効果は確かにある。特に As far as と左手を動かし始める とそれに続く英文が自然に出てきたので自分でも驚いた。(10/12)
③ 文要素の出現順序をそのまま映した複雑で覚え難いと思っていたジェス チャーが記憶の支えになっていた。(11/12) 以上のような意見集約が、第 1,2,3 課題について得られた。概ねジェスチャーの 記憶再生の扶助的機能についてはほとんどの参加者が有効性を認めている。また第 3 課題では、まったく事前に通告せず秋学期最初の授業日に実施したが、参加者の 多くが長期の英文の記憶にジェスチャーが非常に役立っているとの意見であっ た。 第3節 考察と展望 本論文では、第1節では心身二元論的立場の対極にある身体化経験が認知能力全 般の基盤にあるという立場を概説し言語能力についても概念形成、概念をつかって の判断や思考に身体化が関与していることを議論した。第 2 節では統語構造と ジェスチャーとを対応させるための道具として関係文法を概説し、さらにそのシス テムをジェスチャーとして両手の動きに対応させる写像関係を設定する過程を紹介 した。また上述の2点を検証するために実施した3つの予備的実験の概要を説明し その結果を述べた。そこでの結論を再度述べると、統語構造を示すジェスチャーは (i) 単純な文ではなく、ある程度複雑な構造を持つ英語の聴解に有効であり、(ii) 課題文の記憶と再生にはかなり有効性があることが示され、特に長期記憶に関わる 再生実験である第 3 課題では長期の期間を隔てた後での課題文の再生について、 ジェスチャーが明らかに発話再生の扶助になっているということが示された。 この第3節では実験結果の検証から得られた知見を分析し、今後の研究の展望を 述べる。以上の第2節の結論は先行研究の知見、あるいは判断とよく適合したもの であるということができる。既に述べたようにジェスチャーがL2学習に有効であ ることはほぼ定説となっている(Allen 1995, Tellier 2009)。「身体運動」の観察と 実行、それと同時に「発話」というようなマルティモーダル的入力は記憶、また再 生においても有効であるとされる(Dual Coding Theory :Clark and Pavio 1991) が今回の実験でもマルティモーダル的入力の有効性が示せた。語彙項目の学習で は、学習者がジェスチャーを指導者の身体運動をまねて実施した場合、ジェス
チャーをただ観察した場合やあるいは絵を見せられた場合よりも有意に学習効果が 高まることが報告されている(Tellier 2009)のであるが、同様に統語構造を示す ジェスチャーが、文の再生や記憶に有効であるかどうかについてもその有効性が検 証できた。確認であるが、この論文の研究目的は次の2点であった。 (i) 聴き取り理解へのジェスチャーの貢献度 初めて当該の英文を聴く学習者の意味理解に有効であるかどうか (ii)ジェスチャーの文の記憶、再生への貢献度 学習者がジェスチャーを実施する場合、文の記憶と再生に有効であるかどうか この2点についてどちらも肯定的結論を得た。特に上記(ii)のジェスチャーの文 の記憶、再生への貢献については長期の記憶保持も含めてその有効性が確認でき た。
Mol and Kita (2012)らの「語彙引き出し仮説」の検証については今回の実験は 関与していないが、ジェスチャーが空間―運動系の概念をまとめ、概念の組織化に 貢献するという発話形成に関わる「情報パッケジー仮説」の有効性については確認 されたと思える。Hostetter と Alibali の実験 (Hostetter and Alibali 2004)ではジェ スチャーは語彙の呼び出し作用の他に、それを越える程度で発話形成そのものに大 きく作用しているがことが示されたが、今回の3回にわたる予備実験でも Levelt (1989)の標準的発話生成モデル(a blue print for the speaker)での初期のステー
ジである概念構成機構にジェスチャーが関わり、再生の際にも言語情報と身体動作 が結びついているため、ジェスチャーを思い出すことがそれに同調する英文の内容 の想起に連関するという「ジェスチャーの情報再起効果」が示された。特に7週間 に及ぶギャップの後でも、ジェスチャーの記憶再生とともに英文の記憶がよみがえ るという参加者の指摘が多数に上ったこともこの主張を裏付けるものである。 今後の研究方針と課題は次の3点を考えている。(i)参加者の多くがジェス チャーの課題文再生の扶助的効果については認めたものの記憶時の課題文とジェス チャーの負荷の大きさに言及していることから、ジェスチャーを関係文法に基づか せながらもさらに簡略化し、記憶時の負荷を減少させることを検討する。(ii)ま
た、ジェスチャーの構造の予備知識を持たない学習者にも発話との結びつきを容易 に理解できるように編成したジェスチャー提示を考案する。(iii)今回の実験では 予備実験としての性格上、参加者の主観的意見の集約を行うことに主眼を置いた が、今後はこの予備実験で得られた知見をもとに、実験群と対照群の客観的データ 収集とその差異分析を目的とする実験を企画する。 *本研究は文部科学省科学研究費(基盤研究(C) 課題番号 24520680 平成 24 年∼ 26 年度、 「第二言語の文法習得における身体化認知経験の有効性に関する基礎研究」研究代表者 濱 本秀樹)の研究成果の一部である。 参考文献
Allen, L. Q. (1995). The effects of emblematic gestures on the development and access of mental representations of French expressions.
521-529.
Blake, B. J. (1990). London: Routledge
Clark, J. M. & Paivio, A. (1991). Dual coding theory and education. , 3(3), 149-170.
Gallese,V.(2001). The ‘Shared Manifold’ Hypothesis from Mirror Neurons to Empathy, 8, No. 5‒7, pp. 33‒50
Gibbs, R.(2005), , Cambridge, Cambridge University Press. Hertenstein, M.(2002). Touch: Its communicative function in infancy.
45, 70-94.
Hostetter, A. B. and Alibali, M. W. (2004). On the Tip of the Mind: Gesture as a Key to Conceptualization, in K. Forbus, D, Gentner and T. Regier (Eds.)
.
Iverson, J.M. and Thelen, E.(1999). Hand, Mouth and Brain, The Dynamic Emergence of Speech and Gesture, , 6, No.11-12, pp. 19-40.
Kita, S. (2000). How representational gestures help speaking. In D. McNeill (ed.), .
Krauss,R.M., Dushay, R.A., Chen, Y., and Rausche,F. (1995), The communicative value of
conventional hand gestures. 31, 533-552.
Levelt, W.J.M. (1989). . Cambridge, MA: MIT Press.
McNeill, D.(2000). . Cambridge: Cambridge University Press. McNeill, D.(2005). . Chicago and London: University of Chicago Press. Mol, L., Kita, S. (2012). Gesture Structure Affects Syntactic Structure in Speech. In N.
Miyake, D. Peebles & R. P. Cooper (Eds.), .
Needham, A., Barette, T., and Peterman, K.(2002). A pick- me- up for infants exploratory
skills, , 25, 279-95.
Pazzan,i M.J. (1991). Influence of Prior Knowledge on Concept Acquisition: Experimental
and Computational Results, , vol.17 pp.416-432.
Tellier, M. (2009). The effect of gestures on second language memorization by young children, , 8, 219-235
Wexler, M., Kossylyn, S., and Berthoz,A. (1998). Motor processes in mental rotation. , 68, 77-94