日本手話対のポーズと者交替分析

(1)

日本手話対話のポーズと話者交替の分析

Analysis of Pauses and Turn-Taking

in Spontaneous Dialogue by Japanese Sign Language

堀内靖雄

1

_{有本泰子}

2

_{黒岩眞吾}

1

Yasuo Horiuchi

1

_{, Yoshiko Arimoto}

2

_{, and Shingo Kuroiwa}

1 1

_千葉大学

1

_{Chiba University}

2

_{千葉工業大学}

2

_{Chiba Institute of Technology}

Abstract: In this research, we analyzed turn-taking in spontaneous dialogue by Japanese Sign Language

(JSL) in relation to the type of pauses. We classified pauses into three categories depending on the difference in movement. Three dialogue data by six native signers of JSL were used for the analysis (each dialogue was about 5 minutes long). As a result, it was suggested that two categories of pauses, "Hold" and "Loose", have the function which suppresses listeners from beginning utterance and "Home position" has the function of giving all participants the right to take next turn.

まえがき

音声や手話は対話型自然言語であり，リアルタイムで他者とのコミュニケーションを行うことが可能である．実時間対話において，対話参加者は自分勝手に発話を開始するのではなく，話者交替に関する社会的な規範に基づいて発話を行うことにより，協調的な対話が実現されていると考えられる．音声対話については[1]で話者交替規則が提案されており，対話参加者は話者交替規則に基づいて発話を開始していると考えられている．音声言語の話者交替に関してはさまざまな研究が行われているが日本手話の話者交替についてはほとんど研究が行われていない．先行研究として[2-6]などに加え，我々の先行研究においても日本手話対話における話者交替時の分析を行っている[7-8]．これらの研究においては日本手話の話者交替時に発話の重なりが多いことが指摘されている．そこで我々は日本手話対話を日本語音声対話と量的に比較し，日本手話対話の方が日本語音声対話に比べ，発話の重なりが多く，また，話者交替時の発話の重なりの時間長も日本手話の方が長いことを示し，手話と音声の伝送メディアの性質の違いではないかと考察した[9]．これまでの日本手話の研究では日本手話会話における話者交替時に発話の重なりが多くみられることから，音声言語と異なる話者交替メカニズムが存在するのではないかと考えられてきたが，我々は[1]の話者交替規則の観点から話者交替箇所を詳細に分析した結果，日本手話による会話も音声会話と同様に話者交替規則を志向しているという考えを示した[10]．一方，話者交替に関する先行研究では文献[1]を始めとして，分析の単位にターン構成単位 (TCU; turn-constructional unit) が用いられることが多かったが， TCU の認識にはポーズ，統語情報，韻律情報等の様々な要因が関与するため，TCU を単位とする話者交替の分析結果を対話システムなどに応用することは難しいと考えられる．そこで本研究では対話システムなどへの応用を想定し，物理的に認識しやすい単位として，ある一定時間以上の無音（ポーズ）で分割される間休止単位 (IPU; inter-pausal unit) [11]に基づいて，日本手話対話の分析を行う．間休止単位（以後 IPU）とはポーズにより分割される単位であるため，まず始めに手話におけるポーズを定義する必要がある．我々の先行研究[7-9]ではポーズを定義した上でIPU に基づいた分析を行っているが，それらではポーズの種類は区別せずに分析を行っている．しかしながら，手話のポーズにはその手の状態によって，複数種類のポーズが存在する．IPU における話者交替に関する分析を行う場合，ポーズ後の IPU に対して，その直前のポーズの種類が話者交替などの会話現象に影響を与えることが予想される．そこで本研究ではIPU を分割するポーズについて，その人工知能学会研究会資料 SIG-SLUD-B903-01

(2)

種類と前後のIPU の話者交替の現象について分析を行うことにより，ポーズの種類の違いが後続する発話の話者交替／話者継続に対して，影響を与えるのかを明らかにすることを目的とする．その際，[1]の話者交替規則を考慮すると，疑問文の後は次話者を指定することになり，話者継続ではなく，話者交替が生じる可能性が高くなることが予想される．そこで本研究の分析では先行発話が疑問文であるか平叙文であるかを区別した上で，ポーズの種類の違いとその前後の話者交替／話者継続の関係について，明らかにすることを本研究の目的とする．

手話データと分析手法

収録データ

本研究で使用した日本手話対話データは3 対話（5 分×3 対話，計 15 分）である．いずれの対話も 2 人 1 組で行われており，両者は収録前から面識のある親しい間柄である．また，実験参加者6 名はすべて日本手話のネイティブサイナーである．3 組のうち 1 組はテーマを決めずに行った自由対話であり，残りの2 組は事前にアンケートを実施し，両者の意見が分かれたテーマについて対話を開始し，以後は自由に対話を継続した対話データである．これらの対話データはプロンプタを用いて収録された．プロンプタとはカメラの直前に設置されたガラス（ハーフミラー）上に原稿を投影することにより，カメラから視線をそらすことなく原稿を読むことができる装置である．対話収録では実験参加者は別々の部屋でプロンプタ上のハーフミラーに投影された相手の映像を見ながら対話を行った．投影される映像の大きさや位置は実験参加者の視線の位置が通常の対話を行うときと同じになるように配慮して設定した．

手話の単語区間

手話単語は単語の意味を表す本質的な動きとその動きの開始状態までの遷移動作が存在する．本研究では前者を単語の「本体」，後者を「わたり」と呼ぶ．ここで「わたり」とは手を下ろした状態から動作する場合は手が動き出した瞬間からを「わたり」とし，直前に別の手話単語を表現してから当該単語が表現される場合は先行手話単語の終了後，次の単語本体の開始位置へ向けて手の移動が開始される瞬間からを「わたり」とする．また，手話表現後に手の動作が一時的に停止する場合（後述の「保持」「ゆるみ」に該当）は，停止後，次の単語本体の開始位置へ向けて手の移動が開始される瞬間からを「わたり」とする．発話者は「わたり」の時点ですでに次に表出する単語を確定して発話していると考えられるため，本研究では「わたり」も手話単語区間に含めて分析を行う．また，本研究では手話単語を「動作単語」と「静止単語」に分類する。「動作単語」とは上記の手話単語「本体」において，手や指を動かす必要がある単語であり，「行く」「山」「きれい」「新しい」「好き」などが該当する．一方，「静止単語」とはある瞬間に適切な手型，掌方向，位置が呈示されることにより表現される単語で，単語「本体」はその呈示された瞬間だけであり，その状態へ至る動作を「わたり」と定義する．「私」「あなた」「頭」などの指差しで表現される単語や「いちご」「鬼」「電話」など体の部位上で表現される単語などが該当する．「静止単語」の特徴は手を下ろした状態や先行単語の終了状態からなめらかな動きの「わたり」によって「単語本体」の状態に到達するものであり，本研究ではこれらは「単語本体」に動きが伴わないことから「静止単語」と定義する．一方，「動作単語」の場合は「わたり」と「単語本体」の境界で手や指の運動の方向が変化することにより，「単語本体」の開始状態へ向かう「わたり」の運動と「単語本体」の運動を区別できる単語であり，「単語本体」に動きが伴うことから「動作単語」と定義する．

手話の発話単位とポーズ

本研究では発話単位として間休止単位 (IPU) を用いる．音声におけるIPU はある閾値（例えば 200 ミリ秒）以上の時間長を有する無音区間によって区切られた一連の音声区間と定義される．しかしながら，手話は音声と異なり，物理現象としての無音区間は存在しない．そこでIPU を決定するためには手話におけるポーズを定義する必要がある．音声では上述のように無音区間をポーズ（休止）として扱っているが，実際には文字として書き起こされない区間をポーズとすることが多い．たとえば，息を吸う音や笑い声なども有音区間ではあるが，それらは一般的にはIPU に含めない．すなわち，音声におけるポーズとは言語情報を有する音声区間以外であるととらえることができる．そこで本研究でも日本手話において言語情報を有する手話区間以外を手話のポーズと定義する．例えば図1 の場合，先行して連続する2 つの手話単語と後続する手話単語の間には言語情報を有する手指動作が存在しないため，この部分をポーズとする．

(3)

図1 手話のポーズの例手話のIPU を分割するためのポーズ継続時間長の閾値は我々の先行研究[8]において対話参加者が発話を分割した結果を基に決定された7 フレーム（約 230 ミリ秒）を用い，7 フレーム以上のポーズで分割された発話単位をIPU とする．

手話のポーズ

本研究では手話のポーズをその動きに基づいて定義し，以下のように分類する．基準位置発話者が両手をひざや大腿部に置いている状態と手話表現の後，手をその位置まで移動する（下ろす）動作を基準位置のポーズと定義する．手話単語のわたりと同様，基準位置へ向かって手が移動を開始した時点で基準位置に手を下ろすという話者の意図は確定していると考えられるため，その移動区間もポーズに含めることとした．また，両手を組むなど明らかに発話をやめたと解釈される場合も同様に基準位置のポーズと定義する．基準位置のポーズの後，次の手話表現の単語本体の開始位置へ向けて，手が基準位置から移動を開始する瞬間までを基準位置のポーズ区間とする．保持手話単語の表現を終了した後，手指の形および手の位置が数フレームにわたり静止したままの状態を保持によるポーズと定義する．直前の単語が静止単語の場合は手形が完成して静止した時点から，静止が解除され，次の単語あるいは基準位置等へ手の移動が開始される瞬間までを保持のポーズ区間とする．直前の単語が動作単語の場合は単語本体の動きが終了して静止した時点から，静止が解除され，次の単語あるいは基準位置等へ手の移動が開始される瞬間までを保持のポーズ区間とする．ゆるみ単語の本体やわたり以外の余分な動作，もしくは手が基準位置まで下がっていないが特に単語や手話表現をせずに静止，もしくは，微動している状態をゆるみによるポーズと定義する．具体的には手話単語の本体とその直前のわたり，基準位置のポーズ，保持のポーズ以外の状態がゆるみのポーズに該当する．「ゆるみ」とは，手話を表出した後に手の力がゆるみ，手の位置もわずかに下がるが，基準位置までは手を下ろさない状態を表現するため，「ゆるみ」という名称とした．「ゆるみ」のポーズでは手話表現はしていないが，基準位置と比較するとすぐに手を動かせる状態にあるため，基準位置とは異なる性質のポーズに分類する．上述の「基準位置」「保持」「ゆるみ」という用語は本稿での説明用に新たに定義した用語である．文献[12]の分類では基準位置は「撤回（基準位置）とその後の撤回中止あるいは基準位置」，保持は「ストローク後保持」，ゆるみは「撤回（休止位置）とその後の撤回中止」に相当するが，本稿では簡単のため，「基準位置」「保持」「ゆるみ」と呼ぶこととする．

分析手順

本研究では手話対話データを上述の定義に従うポーズのうち7 フレーム以上のポーズで IPU に分割し，各IPU の開始状況を分析する．ある話者の IPU 終了後にポーズが生じた後（両者が同時にポーズとなった後），どちらの話者が IPU を開始したのかについて分析を行う．先行IPU と同一の話者が後続 IPU を開始した場合を「話者継続」，相手話者が後続IPU を開始した場合を「話者交替」と定義する．また，ポーズ後，ほぼ同時（3 フレーム以内）に二人が IPU を開始した場合を「同時発話」と定義する．先行話者のIPU 後のポーズの種類と上記の「話者交替」「話者継続」「同時発話」の頻度の関係を分析する．その際，先行話者のIPU が平叙文か疑問文かを区別して分析を行う．これは疑問文の場合は統語的に次話者を指定することになるため，[1]の話者交替規則の観点から話者交替が生じる可能性が潜在的に高くなるため，平叙文と分けて分析することとした．一方，先行話者のIPU の途中で相手話者が IPU を開始した場合を「オーバーラップ」と定義する．本分析データでは25 箇所の「オーバーラップ」が観察されたが，それぞれが多様な状況で発生しており，一般性のある議論や結論を導くことはできないため，オーバーラップの分析については今後の検討課題とした．なお，音声言語同様，手話にも手指単語として表現されるあいづち（「同じ」「へえ」「本当」等）が存在するが従来の音声会話や手話会話の研究と同様，「あいづち」は聞き手の発話であると考え，本研究の分析対象外とする．

(4)

分析結果

分析データの統計量

各話者のIPU の総数，話者交替，話者継続，同時発話の出現頻度を表1 ならびに図 1 に示す。このうち話者1 と 2，話者 3 と 4，話者 5 と 6 が各会話におけるペアとなっている．表1 話者ごとの IPU の出現頻度．話者交替話者継続同時発話話者1 3 15 3 話者2 8 18 2 話者3 17 12 3 話者4 16 7 0 話者5 5 18 0 話者6 3 27 0 総計 52 97 8 図1 話者ごとの IPU の出現頻度．上記のデータに対し，話者ごとのデータの偏りがないかどうかを調べるため，フィッシャーの正確確率検定を実施した．各要因の水準数が多いため，2000 回のモンテカルロシミュレーションによって検定を行なっている．その結果，話者間の話者交替・話者継続・同時発話の比率に有意な差があることを確認した（p<0.001）．そこで，対話間の分布のどこに差があるのかを検証するため，Hochberg 補正による多重比較を行った．その結果，話者3 と話者 6 および話者4 と話者 6 の二つの組み合わせの話者交替および話者継続の比率のみに有意な差があることがみられた（それぞれ，p<0.01，p<0.001）．すなわち，話者 1 名（話者6）のみが他の 2 話者(話者 3 と話者 4)と異なる傾向を示したことになるが，差が生じたのは話者の総組み合わせの 15 組中の 2 組のみであったことから，その影響は軽微であると考え，本論文ではこのまま話者6 を含めたデータで分析を行った．

ポーズの種類と話者交替の分析結果

先行話者のIPU 後のポーズの種類と後続する IPU の開始状況（「話者交替」「話者継続」「同時発話」）の出現頻度を表2 に示す．表中の括弧内は先行する IPU が平叙文であるか，疑問文であるかの内訳である．表2 ポーズ後の話者交替の出現頻度．（括弧内は平叙文と疑問文の頻度）基準位置保持ゆるみ話者交替 44 (35, 9) 7 (3, 4) 1 (1, 0) 話者継続 11 (10, 1) 64 (61, 3) 22 (22, 0) 同時発話 4 (4, 0) 3 (0, 3) 1 (1, 0) ポーズの種類と話者交替の関連について分析するため，有意差検定を行った．ただし，本研究で対象としているデータは頻度データであるため，比率の差を検定することによって各要因間の差を検証することとした．その際，データには値が0 となる要因が含まれているため，Fisher の正確確率検定を用いて検証を行った．また，分析データでは疑問文のIPU の数が少ないことから，検定は三要因ではなく，ポーズの種類および話者交替の二要因で分析を行った．図2 に平叙文のみ，疑問文のみ，平叙文＋疑問文におけるポーズの種類（基準位置，保持，ゆるみ）ごとの話者交替（話者交替，話者継続，同時発話）の出現比率を示す。検定の結果，平叙文のみによる分析では有意な比率の差を示した(p<0.001) 。詳細な分析のため， Hochberg 補正による多重比較を行ったところ，基準位置と保持および基準位置とゆるみの組み合わせにおける話者交替と話者継続の比率に有意な差があることが示された(p<0.001)。さらに基準位置と保持においては話者継続と同時発話の比率にも有意差があることが分かった(p<0.01)。一方，疑問文のみによる分析では有意差を認めなかった。これは疑問文では十分なIPU 数が存在しないことが原因と考えられる．それに対して，平叙文＋疑問文の分析でも有意な比率の差を示した(p<0.001)。平叙文のみの分析と同様にHochberg 補正による多重比較を行ったところ，基準位置と保持および基準位置とゆるみの組み合わせにおける話者交替と話者継続の比率に有意な差が 0 10 20 30 40 話者1 話者2 話者3 話者4 話者5 話者6 話者交替話者継続同時発話

(5)

図2 ポーズの種類と話者交替の出現比率．あることが示された(p<0.001)。平叙文のみの分析で有意差を示した基準位置と保持における話者継続と同時発話の比率の有意差は本分析では見られなかった。疑問文のデータの少なさが影響したと考えられる。

考察

前節の分析結果では基準位置と保持および基準位置とゆるみの組み合わせにおける話者交替と話者継続の比率に有意な差があることが示された．この結果を図2 に基づいて考察すると，基準位置のポーズと比較して，保持のポーズとゆるみのポーズにおいては話者継続の比率が話者交替に比べて高くなっていることを表している．すなわち，基準位置のポーズ後は話者交替になりやすく，保持またはゆるみのポーズ後は話者継続になりやすいという傾向の違いが有意に示されたといえる．ポーズの種類（基準位置，保持，ゆるみ）の選択を行っているのは先行話者であることを考慮すると，先行話者自身が発話を継続したい場合には保持またはゆるみのポーズを選択し，相手話者に発話を交替してもよい場合には基準位置のポーズを選択しているのではないかという方略が考えられる．一方，ポーズ後に発話を開始するかどうかを決定するのは先行話者または相手話者であり，先行話者のみが発話を開始した場合は話者継続，相手話者のみが発話を開始した場合は話者交替，両者が発話を開始した場合は同時発話となるが，上記の分析結果は基準位置のポーズに対しては相手話者が発話を開始することが多いのに対して，保持やゆるみのポーズ後は相手話者が発話を開始することが少ないことを表している．このことは基準位置のポーズに対して相手話者は発話を開始してもよいが，保持やゆるみのポーズに対して相手話者は発話を開始すべきではないという暗黙のルールが日本手話に存在する可能性を示唆している．また，前節の分析結果では平叙文において，基準位置と保持について話者継続と同時発話の比率に有意差が見られた．この結果を図2 に基づいて考察すると，基準位置のポーズと比較して，保持のポーズにおいては同時発話の比率が話者継続に比べて低くなっていることを表している．話者継続とは先行話者が後続発話を発話するのに対して，同時発話とは先行話者が後続発話を開始するのと同時に相手話者が発話を開始する現象である．上記の結果についても，基準位置のポーズと比較して保持のポーズ後に相手話者が発話を開始することが少なく，同時発話が起こりにくいということを表しており，上述の基準位置のポーズと保持のポーズに関する話者交替と話者継続の関係と同様に考察することが可能であると考えられる．なお，疑問文については有意差が見られなかった．話者交替規則[1]では疑問文の場合，先行話者が次話者を指定しているため，話者交替となることが予想されるが，話者継続，同時発話の頻度が話者交替と 0 0.2 0.4 0.6 0.8 1 基準位置保持ゆるみ平叙文のみ話者交替話者継続同時発話 0 0.2 0.4 0.6 0.8 1 基準位置保持ゆるみ疑問文のみ話者交替話者継続同時発話 0 0.2 0.4 0.6 0.8 1 基準位置保持ゆるみ平叙文＋疑問文話者交替話者継続同時発話

(6)

比較して高いことが伺える．データ数が少ないので詳細な分析は難しいが，これらは先行話者が疑問文の内容を繰り返した結果の話者継続や自問自答による同時発話であった[13]．

むすび

本研究では日本手話対話におけるポーズを3 種類に分類して定義し，ポーズで分割された発話単位に関する話者交替現象をポーズの種類との関係から分析を行った．その結果，「保持」と「ゆるみ」のポーズは先行話者の発話継続の意思を表出していると考えられ，相手話者の発話開始を抑制する働きがあることが示唆された．また，「基準位置」のポーズ後は相手話者が発話を開始することが可能であることが示唆された．日本手話対話では音声対話とは異なり，これら3 種類のポーズを使い分けることで先行話者が発話継続の意図等を示している可能性が示唆された．今後は分析に用いるデータ数及び話者数を増やし，疑問文に関する話者交替とポーズの種類の分析やオーバーラップ現象の分析を行うことが考えられる．さらに，分析で得られた知見を手話対話システム等に実装し，評価実験を行うことも有効であると考えられる．

謝辞

本研究における対話収録ならびに解析にご協力いただいた，ろう者，手話通訳者の方々に深く感謝いたします．また，分析時に学生であった長谷川愛さん，荒木梨花さんには本研究の分析に協力していただきました．ここに深く感謝いたします．本研究は科研費 15K00223, 17H06114 の支援を受けています.

参考文献

[１] Harvey Sacks，Emanuel A．Schegloff，and Gail Jefferson: A simplest systematics for the organization of turn-taking for conversation, Language, Vol.50, No.4, pp.696-735 (1974) [２] 鳥越隆士: 手話でいかに会話が進行するか, 手話学研究, Vol.14, No.1, pp.13-20 (1997) [３] 寺内美奈，高田健，西澤弘行，長嶋祐二: 手話会話におけるターンテイキングに関する基礎検討, 電子情報通信学会技術研究報告, Vol.101, No.703, pp.1-6 (2002) [４] 菊地浩平: 会話研究のための話順交替モデルの提案, 日本手話学会第31 回大会予稿集, pp.27-30 (2005) [５] 菊地浩平: 日本手話会話におけるターン・テイキング・メカニズム, 社会言語科学会第 21 回大会予稿集 (2008) [６] 菊地浩平: 日本手話会話におけるターン・テイキング・メカニズム, 手話学研究 17, pp. 29-45 (2008) [７] 時田佳子，堀内靖雄，西田昌史，市川熹: 自然手話対話における話者交替に関する予備的検討, 人工知能学会研究会資料, SIG-SLUD-A402, pp.39-44 (2004) [８] 堀内靖雄，時田佳子，西田昌史，市川熹: 自然手話対話における話者交替現象の分析, 電子情報通信学会福祉情報工学研究会資料, WIT2005-9，pp.45-50，2005. [９] 堀内靖雄，山崎志織，西田昌史，市川熹: 日本手話の話者交替に関する手話言語の特徴, ヒューマンインタフェース学会論文誌, Vol.8, No.1, pp.1-8 (2006) [１０] 村瀬優美，堀内靖雄，篠崎隆宏，黒岩眞吾: 日本手話対話と日本語音声対話における話者交替現象の比較分析, 電子情報通信学会技術研究報告, Vol.111, No.424, pp.7-12 (2012)

[１１] Hanae Koiso, Yasuo Horiuchi, Syun Tutiya, Akira Ichikawa, Yasahuru Den: An Analysis of Turn-Taking and Backchannels Based on Prosodic and Syntactic Features in Japanese Map Task Dialogue, Language and Speech, Vol.41, No.3-4, pp.291-317 (1998) [１２] 菊地浩平，坊農真弓: 相互行為における手話発話を記述するためのアノテーション・文字化手法の提案, 手話学研究 22, pp.37-63 (2013) [１３] 長谷川愛，堀内靖雄，黒岩眞吾: 日本手話対話におけるポーズと話者交替に関する分析, 人工知能学会研究会資料, SIG-SLUD-B803-03, pp.13-18 (2019)