アメリカ手話のプロソディクマーカーに関する一考察：「目」と「眉」の動き

(1)

アメリカ手話のプロソディクマーカーに関する一考察：

「目」と「眉」の動き

A Study on Prosodic Markers of American Sign Language:

Movements of Eye and Eyebrow

田頭未希

1

Miki TAGASHIRA

1

_東海大学

_{国際教育センター}

1

_{International Education Center, Tokai University 1}

Abstract: Visual signals convey a large number of communicative messages in any language, both spoken

and signed. The forcus of this study is to examine two important prosodic markers in American Sign Language (ASL): Eye aperture and eyebrows. In spoken language such as English and Japanese, any combination of high tone, eye aperture and eyebrow raise occur at the end of yes/no question, while only the latter two are used in ASL. Use of eye aperture and eyebrow by native signers of ASL mainly expresses question types and sentence types. The results indicated that a combination of eye aperture and eyebrows or eye aperture itself expressed the degree of something such as emphasis, intentions and opinions, and that the combination of eye aperture and eyebrows were associated with discourse functions.

１はじめに

1960 年に Stokoe によって手話が世界で初めて言語学的に分析され、音声言語とは異なる文法構造を持つことが明らかになり、様々な国で手話が言語学的に研究されるようになった。音声言語と同様に、手話言語に関しても、語句、文、談話さらには手形やその動きといった色々な単位や要素で発話の研究が行われている。音声言語、手話言語に関わらず、全ての言語において、韻律（Prosody）はその言語における発話の生成と知覚を行ううえで、必要不可欠な役割を担っている[1]。音声言語の韻律的特徴は、例えばイントネーション、リズム、ポーズ、音の強弱や高低、音の長さなどがあげられる。一方、手話言語では頭や首、体の傾斜、目や口の開き具合、鼻にしわを寄せるような動き、頬を膨らませる動き、手話動作の速さや長さ、その他の身体の動きによって、音声言語にみられる韻律的要素が表され [2, 3, 4]、手指言語の韻律研究は音声言語の研究に非常に影響を受けている [5]。

アメリカ手話（American Sign Language、以下 ASL）はアメリカやカナダの一部の地域のDeaf community で使用される言語である。本研究ではASL について、そのプロソディクマーカーである「眉（Eyebrows）」と「目の開き方（Eye aperture）」をとりあげ、発話内の手指動作とともに伝達される意味用法との対応関係について分析を行った。

２先行研究と本研究の目的

手話言語の韻律構造は、基本的に、体の傾き、頭の動き、目、頬、鼻の動き、手の重ね方やサインの伸長など、多くの身体的動作によって構成されている。Nicodemus [5] は、21 の ASL のプロソディクマーカーを挙げ、それらを4 つの調音カテゴリーに分類している（表1）。それぞれの調音カテゴリーの中で最も表出頻度が高いのは、Hand カテゴリーでは Hand clasp（手を握る、重ねる）、Head & Neck では Head tilt（頭部の傾斜）、Eye, Nose & Mouth では Eye aperture（目の開き具合）、Body では Body lean（体の傾斜）であると報告している。

人工知能学会研究会資料 SIG-SLUD-B506-02

(2)

表１ ASL プロソディクマーカー Hand Head &

Neck Eyes, Nose & Mouth Body Held handshape

Head tilt Eyebrows Body lean Hand clasp Head tuen Eye gaze

shift

Body movement Fingers

wiggling

Head nod Eye aperture

Visible breath Hands drop Head shake Nose

wrinkling

Shoulders raise Signing

space

Side to side Mouth gestures Neck tensing Puffed cheeks ASL の韻律研究では、調音ジェスチャーのようなものを扱った研究もあり、ジェスチャーが行われる身体の部位と空間を調べ、手指動作がprosodic phrase boundary で引き延ばされるあるいは減速されることが報告されている [4]。

Dachkovsky and Sandler [6] はイスラエル手話におけるイントネーションシステムの一部を構成する視覚的サインを分析し、主に顔の上部の動きによってイントネーションが伝達される点を指摘している。眉の上昇は、基本的に音声言語における上昇調に匹敵し、発話が継続する合図となっていること、肯否疑問文（yes/no question）や条件節の特徴となっていることなどが確認されている。日本手話では、感情表現という観点から、目と眉の動きの特徴を調べた研究がある [7, 8]。小林 [7] は、目の動きとマウスジェスチャーを組み合わせた 36 種類を日本手話ネイティヴサイナーに表現してもらい、内省による評価から、「目開・眉上」は「驚き」の感情が、「目細・眉寄」の時は「不満」の感情がより強く表されることを示唆している。末森・小林 [8] は、日本手話単語「少ない」に呼応する情意的非手指表出を意味論的に分類し、意味範疇の可視化を行った。日本手話単語「少ない」について、「目開・眉上」は「驚き」の意味範疇と、「目普・眉上」は「疑問」と、「目細・眉寄」は「不満」とそれぞれ関係があることを報告している。しかしながら、ここでは「目」と「眉」が文法的、情意的イントネーションに関連するという記述は見られるものの、それ以上の詳細な韻律的要素との関係については述べられていない。手話言語を対象にそれぞれの言語の韻律構造やプロソディクマーカーについては明らかになってきているものの、韻律と意味用法の関連性に関する分野はまだ分かっていない点が多い。本稿では、ASL におけるプロソディクマーカーと発話内の手指動作とともに伝達される意味用法の対応関係について論じる。

３分析方法

３．１分析資料

ASL のテキスト Signing Naturally 1 の DVD に収録 されている会話を分析資料として用いた。このテキストは、アメリカ国内はもちろん、日本などアメリカ以外の国で ASL を学ぶ際に長年用いられている DVD 付きのテキストである。12 ユニットで構成され、それぞれのユニットに収録された会話（2 人または3 人会話）、合計 23 会話を分析に用いた。話者は同性間、異性間の両方が含まれ、さらに友人同士、教師と生徒など様々な設定が含まれている。会話内容も自己紹介、家族について、行き先の確認、週末の予定を尋ねるなど各ユニットで学ぶ語彙や表現を考慮した短い会話となっている。音声言語の学習用テキストの会話文や DVD に収録された会話は、学習項目に主眼が置かれた構成で、会話自体の不自然さが指摘されることもある。そのため、事前に、ASL のネイティヴサイナー１名（20 代）に、収録された手話会話の自然さについて、会話のセッティング、手指動作の自然さ（位置、速度、バリエーション）、手指動作以外の身体の動きの自然さ（表情、ジェスチャー）について、聞き取り調査を行った。手指動作の速度に関しては、ろう者同士の会話よりも遅いと判断したが、会話として非常に不自然さが感じられるほどではないという回答であった。それ以外の項目については不自然さは特に感じられないという判断が得られた。

３．２分析手順

分析資料の会話の文字起こしと、発話のどの位置で目と眉の動きに変化が見られるのかを記述した。プロソディクマーカーとしての「目の開き具合（Eye aperture）」と「眉（Eyebrows）」について、Nicodemus [5] に従い、目を 3 種類、眉を 2 種類の動きに分類し、ラベル付けを行った。ニュートラルな状態には記号をつけていない。目見開く W: wide 窄める S: squinting 閉じる C: close

(3)

眉上げる R: rise 下げる L: lower 図１に肯否疑問文での表情と疑問詞疑問文での表情の例を示す [9]。肯否疑問文での表情は、「目の見開き（W）」と「眉上げ（R）」があり、疑問詞疑問文の表情は「目の窄め（S）」と「眉下げ（L）」がみられる。図１肯否疑問文での表情（左）と疑問詞疑問文での表情（右）[9] ラベル付けはろう者1 名と健聴者 1 名（いずれも日本人）で行い、判定が分かれたものは今回の分析からは除外した。疑問文の種類の判定については、肯否疑問文は yes/no を聞いていることが示される you の手指動作が文末に挿入されているか、または返答の最初に yes/no が手指動作として含まれている文とし、疑問詞疑問文はwhat、where、how などの疑問詞が手指動作として示されている文とした。上記に当たらないものは、それ以外として分類した。

４結果と考察

４．１疑問文の分類に関わるプロソディ

クマーカーと音調

表2 は、目と眉それぞれを組み合わせた 11 種類の表出頻度を示す。また表3 と 4 には、その内訳を疑問文の形式別に示す。目と眉の組み合わせに関して、表2 より、「眉上げ（R）」と「目の見開き（W）」、「眉下げ（L）」と「目の窄め（S）」はそれぞれ共起しやすいことが分かる。 ASL の非手指に関する文法規則のひとつに、肯否疑問文の場合は（１）眉を上げる（２）頭を前方に傾ける（３）最後の手指動作を保持する、また、疑問視疑問文の場合は、（１）眉を下げる（２）頭を前方に傾ける（３）最後の手指動作を保持するというルールがある。両者の違いは眉で、上げるか下げるかによって、手指動作以外でも疑問文の種類を伝達し、読み取っている。眉の上げ下げと疑問文の種類の組み合わせが逆になると、基本的には文法的に不自然な文となる。肯否疑問文と疑問詞疑問文の非手指動作についてはすでに多くの研究 [2, 10, 11] でも報告されてきた。表3 と表 4 より、「眉上げ」は31 例中 28 例が肯否疑問文で観察され、「眉下げ」は21 例中 18 例が疑問詞疑問文で観察された。英語の音声言語では、一般的に、肯否疑問文の文末は上昇調をとり、疑問詞疑問文の文末では下降調となるように、文末の音調によって疑問文の種類が区別されている。ASL での眉の上げ下げを、英語の音声言語でいう文末の音調変化ととらえ、肯否疑問文での「眉上げ」は上昇調を示し、疑問詞疑問文の「眉下げ」は下降調に匹敵すると考えることができる。手話言語の「眉上げ」「眉下げ」が音声言語の上昇調と下降調に相当するという点はASL だけでなく、イスラエル手話など他の手話言語でも報告されている [9]。音声言語でも、文末の音調変化による言い分けは一般的なルールではあるけれども、自発音声の中で常に当てはまるわけではない。今回の観察でASL の非手指の文法規則に当てはまらなかった例が数例あった。これはむしろ、ASL でのプロソディクマーカーが音声言語での音調と同じように、ある程度のルールを保ちながら、談話の中で様々な要因で変化しうるものであることを実証しているとともに、分析データが発話として自然であることも示していると考えられる。次に、文法規則に当てはまらなかった肯否疑問文での「眉下げ」2 例と、疑問詞疑問文の「眉上げ」3 例について検討する。まず、肯否疑問文で「眉下げ」が観察された2 例は、「この近くに住んでいるのか？」や「子供はいるのか？」など、形式的には相手が yse/no で答える質問形態であるため、文法通りであれば「眉上げ」になるはずである。しかし、会話の流れから、「相手はこの辺りには住んでいない」、「子供はいない」という認識であった上での質問で、訝しく思っている、あるいは疑ってかかっている様子で表示されたと解釈できる。否定語やネガティブな意味を持つ語は「眉下げ」の非手指動作と共起しやすい傾向があることから、ここでの例も、訝しいというネガティブな意味用法が加わったことで、「眉上げ」よりむしろ「眉下げ」が表出したと考えられる。ここで「目の開き具合」との関係にも注目しておきたい。表2 が示す通り、「眉上げ」は「目の見開き」と、「眉下げ」は「目の窄め」と共起しやすい傾向がある。しかし、この3 例ではすべて「眉下げ」にも関わらず、「目の窄め」と共起せず、非手指動作は眉だけの動きであった。これは同じ「眉下げ」でも、

(4)

疑問詞疑問文の多くでみられた「目の窄め」を伴った場合とは明らかに異なる。音声言語で示される音調変化にも、上昇下降の大きさや時間長、音の強弱の違いといった程度の差があるように、手話言語でも共起する非手指動作の種類によって、手話言語の韻律の違い、程度の違いがあることを示唆している例と考えられる。音声言語の音調に置き換えるならば、下降の幅が緩やかか、あるいは平坦に近いような発話であることが推測される。疑問詞疑問文で「眉上げ」が観察されたのは、2 例が週末の予定を提案をする場面で、1 例は友人間で手助けを申し出る場面であった。例えば、「（手伝うのは）いつがいい？」という流れで”when?”のみの手指動作で投げかけた質問形式である。3 例はすべて、 when や what の一単語のみで非手指動作の眉の動きが完結しており、形式的には質問だが、その語を単独で強調するような意味用法が加わることで、「眉上げ」が現れたと考えられる。音声言語でも、会話のような状況で、一単語で質問するような場合には、”when?”を上昇調で発音する方がより自然な発話であるといえる。音声言語で強調を伴う場合、音調を変化させる以外にも、当該箇所を強い調子で言ったり、声を高くしたり、リズムを変化させたりする手法が取られる。表２目と眉の動き眉 R L なし目 W 41 0 2 S 0 44 7 C 0 0 0 なし 7 8 表３肯否疑問文の内訳眉 R L なし目 W 25 0 0 S 0 0 0 C 0 0 0 なし 3 2 表４疑問詞疑問文の内訳眉 R L なし目 W 3 0 0 S 0 18 3 C 0 0 0 なし 0 0

４．２疑問文の分類以外に関わるプロソ

ディクマーカーと音調

前節では、肯否疑問文と疑問詞疑問文のプロソディクマーカーの眉と目の動きと、音声言語でそれに匹敵する音調について述べた。本節では、疑問文の区別以外で観察された例について考察する。表5 に、疑問文以外の文のタイプにおける目と眉の組み合わの表出頻度を示す。表５疑問文以外の表出頻度眉 R L なし目 W 13 0 2 S 0 16 4 C 0 0 0 なし 4 6 「眉上げ」は、新しい談話トピック導入時にも使用される [11, 12]。表 5 に示す「眉上げ」13 例中 4 例はこれにあたる。音声言語でも新しい談話トピックに移る際には、上昇調などの音調変化を持たせることがある。手話言語の「眉上げ」も音声言語の音調変化も、聞き手の注意をこちらに向けるような働きを持ってるといえる。この他に、「眉上げ」の13 例中 5 例は、相手が理解してるかどうかを確認している場面で観察された。英語でも日本語でも音声言語では、相手に確認をする際には、文の形であっても一単語であっても、文末や語末で上昇調が使用される。「眉上げ」は上昇調に匹敵するという解釈に基づくと、確認の意味用法で「眉上げ」が使用されるのは発話の中の自然な韻律だといえる。また、驚きを示す単語は「眉上げ」と「目の見開き」が必ず伴って産出されることから、驚きを示す場面での2 例の発話が「眉上げ」と「目の見開き」を伴っていたのは必然的なものと説明できる。表5 における、目の動きを伴わない「眉上げ」の4 例について論じる。これらは、非手指動作として、うなづきが観察された。うなづきは強調を示す際に使われることが分かっている（Wilbur 2009）。この4 例はうなづきが伴っていること、さらにその発話内容からも強調の用法と判断できる。ASL では感情をはじめ、様々な物事の程度の違いを表現するために表情を用いる [9]。うなづきによって強調は示されているが、さらに「眉上げ」によって強調の度合いの違いを示しているのではないかと推測できる。

(5)

次に、「眉下げ」を扱う。「目の窄め」と共起するものが16 例、目の動きを伴わないものが 6 例、観察された。no や nothing のような否定語は文法規則として「眉下げ」や「目の窄め」とともに使われることが多く、分析データにも「眉下げ」や「目の窄め」と共起する例が4 つみられた。また、渋滞にはまり、車が進まない状況の説明で slow を繰り返し使う場面など、ネガティブな意味を伴った発話での使用も観察された。強調を示す「眉上げ」の用法についてすでに述べたが、「眉下げ」でも強調の用法と解釈できるものが数例みられた。いずれも「眉下げ」と同時に「目の窄め」が観察された。非常にお腹が空いているという場面での”hungry”や、本当に申し訳ないと伝える場面での”I’m sorry”などの手指動作の開始とともに表出していた。日本語手話の感情に関する研究ではあるが、目を細めた方が不満の度合いがより強くなるという報告もある [7]。眉の動きに「目の窄め」が加わることで程度の差を示している可能性は十分に考えられる。会話例1を以下に示す。男性が女性の友人に写真をみせながら自分の家族について説明をしている場面である。A2 の‘Big family!’の発言のところで「眉下げ」「目の窄め」がみられるが、写真に大勢の人が写っていて、それがみんな家族だということにとても驚いたという意味でBig が強調されていると考えられる。B4 は母方の祖父が好きなんだという発話で、 like から「眉下げ」「目の窄め」の動きが開始され、好きだという発話が強調されている。一方、B2 の ‘OK? ’は「（写真についてもっと）説明しようか？」といった提案的な意味で用いられ、「眉上げ」「目の見開き」が共起し、うなづきも同時に観察された。音声言語に置き換え、「眉下げ」「目の窄め」を下降調、「眉上げ」「目の見開き」を上昇調で発音したとしても不自然さは感じられない会話の流れである。 Conversation 5-1

A1: /THIS YOU FAMILY YOU/YNq

‘Is this your family?’

B1: YES++ MY BROTHER WEDDING ‘Yes, it’s my brother’s wedding.’ 1

_⼿

_{話表記の代表的なものにはストーキー法がある} が、本稿では手話の文法研究に一般的に利用されるルール [14] に従い、ASL での手指動作は大文字で示し、下に音声言語の文法による翻訳を‘ ’で表示する。++は同一の手指動作（単語）が繰り返されたことを示す。/ /YNq_{は肯否疑問文を示し、/ /}WHq

A2: /BIG FAMILY/【眉下げ・目の窄め】_{/HOW MANY}

BROTHER SISTER【眉下げ・目の窄め】_/WHq

‘Big family! How many brothers or sisters do you have?’

B2: I HAVE 3 BROTHER 2 SISTER I SHOW YOU OK【眉上げ・目の見開き】

‘I have 3 brothers and 2 sisters. I will show you, OK?’ B3: <showing the picture> I THIS

‘This is me.’

A3: YOU /HAIR/【眉下げ・目の窄め】

‘You had hair.’

B4: <pointing> AUNT UNCLE GRANDMOTHER GRANDFATHER I /LIKE MOTHER

FATHER/【眉下げ・目の窄め】_<pointing>

‘This is my aunt, this is my uncle, this is my grandmother and this is my grandfather. I like my mother’s father.’

… <continue pointing siblings on the photo > … A4: /ALL DEAF【眉上げ・目の見開き】_/YNq

‘Are all your family deaf?’

B5: /NO/【眉下げ・目の窄め】_{ALL HEARING ONLY I}

DEAF

‘No, all of them are hearing, and only I am deaf.’ A5: I SEE /NICE PICTURE/【眉下げ・目の窄め】

‘I see. It’s a nice picture.’

疑問文以外の文脈での「眉下げ」の用法は非常に様々で、「眉上げ」のようにある程度決まった意味用法の中での使用がみられるというわけではなく、今後「目」と「眉」以外のプロソディクマーカーとの共起も含め、さらに詳細に検討する必要がある。

まとめと今後の課題

テキスト付随の会話を利用し、ASL のプロソディクマーカーのひとつとされる「目の開き具合（Eye aperture）」と「眉（Eyebrows）」の動きに注目し、分析を行った。すでに先行研究で報告されている疑問文の形式の違いに伴う基本的な目と眉の動きをデータから観察すると同時に、「目の開き具合」のマーカーが、発話内容に関する程度の違い（強調の度合いは疑問詞疑問文を示す。ただし複雑さを避けるため、本稿での分析には直接必要のないラベル付けは行っていない。また、/ /【】_{は【】内の非手指} 動作が/ /区間で付加されていることを示し、本稿でのみ使用されている記号である。

(6)

やネガティヴさの程度など）を言い分けている可能性を示唆した。さらに、音声言語の音調と比較することで、ASL の「目の開き具合」と「眉」の動きが、音声言語の音調と同様に、発話の韻律を決める重要な役割を担っていることを確認した。今後の課題として、音声言語での自発音声にあたるASL データの分析に取り掛かること、データの判定基準の客観性向上のため、ASL ネイティヴサイナーの判断を加えることを考えている。また、疑問文以外の文脈で「眉下げ」が使用される例の中でその意味用法が「眉上げ」よりも多岐にわたっていると思われるものが多くみられ、今回十分に検討できなかった点を明らかにしていきたいと考えている。

参考文献

[１] Culter, A., Dahan, D., and van Donselaar, W. : Prosody in the comprehension of spoken language: A literature review. Language and Speech, 40, pp.141-201, (1997)

[２] Liddell, S.K. : Normal signals and relative clauses in American Sign Language. In P. Siple (Ed.), Understanding language through sign language research, pp.59-90, (1978)

[３] Sandler, W. : The medium is the message: Prosodic interpretation of linguistic content in sign language. Sign Language and Linguistics, 2, pp.187-216. (1999)

[４] Tyrone, M., Nam, H., Saltzman, E., Mathur, G., and Goldstein, L. : Posody and movement in American Sign Language: A task-dynamics approach. Presented at the Prosody 2010 Comference, Chicago. (2010)

http://www.speechprosody2010.illinois.edu/papers/10095 7.pdf

[５] Nicodemus B. : Prosodic Markers and Utterance Boundaries in American Sign Language Interpretation. Gallaudet University Press. (2009)

[６] Dachkovsky, S. and Sandler, W. : Visual Intonation in the Prosody of a Sign Language. Lang Speech. Vol.52, pp.287-314. (2009) [７] 小林京子 : 「＜少ない＞の表出における NMM/NMS 共起の意味論的考察について」, 『2015 年度日本手話教育研究大会予稿集』 (2015) [８] 末森明夫・小林京子「日本手話[少ない]呼応非手指表出の意味地図：データ解析による非手指表出群における意味範疇の動態様相の可視化」『日本手話学会第 41 回大会予稿集』, pp.22-23. (2015)

[９] Lazorisak, C. and Donohue, D. : The complete idiot’s guide to conversational sign language. (2004)

[１０] Liddell, S. K. : American Sign Language syntax. The

Hague: Mouton. (1980)

[１１] Klima, E. and Bellugi, U. : The sign of language. Harvard University Press. (1979)

[１２] Janzen, T. : The grammaticization fo topics in American Sign Language. Studies in Language 23, pp.271-306. (1998)

[１３] Wilbur, R. B. : Stress in ASL: Emprical evidence and linguistic issues. Language and Speech, 42. Pp.229-250. (1999)

[１４] Baker-Shenk, C. and Cokely, D. : American Sign Language: A teacher’s resource text on grammar and culture. T.J. Publishers. (1980)

アメリカ手話のプロソディクマーカーに関する一考察：「目」と「眉」の動き