Japan Advanced Institute of Science and Technology
JAIST Repository
https://dspace.jaist.ac.jp/ Title 統計的構文解析における構文的統計情報と語彙的統計 情報の統合について Author(s) 白井, 清昭; 乾, 健太郎; 徳永, 健伸; 田中, 穂積 Citation 自然言語処理, 5(3): 85-106 Issue Date 1998-07-10 Type Journal Article Text version publisherURL http://hdl.handle.net/10119/7928 Rights Copyright (C) 1998 言語処理学会. 白井清昭, 乾健太 郎, 徳永健伸, 田中穂積, 自然言語処理, 5(3), 1998, 85-106. Description
統計的構 文解析 監
=おも
する構文的統計情報 藍
語義的統計情報の統合 に竃 も､
竃
白 井
清 昭I
乾
健 太 郎 I
I
徳 永
健 伸 I
田 中
穂 積
1▲ 本論文では,構
文解析 の暖味性解消 を行 うため に,構文的な統計情報 と語狼的な統 計情報 を統合す る手法 を提案す る.我 々が提案す る統合的確率言語モデル は,構 文的 優 先度 な どの構 文的 な統計情報 を反映 す る構 文 亨デル と,単語の 出現頻 度や 単語の 共起 関係 な どの語張 的 な統計情報 を反映 す る語根 モデルの 2つの下位 モデルか ら成 る. この統合的確率言語 モデル は,構 文的な統計情報 と語茄的な統計情報 を同時 に学 習す る過去の 多 くのモデル と異な り,両者 を個別 に学習す る点 に特徴 がある.構 文的 な統計情報 と語某的 な統計情報 を独立 に取 り扱 うこ とに より,それぞれの統計情報 を 異 な る言語資源 か ら独立 に学習す るこ とがで きるだ けで な く,それぞれの統計情報 が暖味性解消 において どの ような効果 を果 たすのか を容易 に分析 す るこ とがで きる. この統合的確率言語モデル を評価す るため に, 日本語文の文節の係 り受 け解析 を行 っ NAGAI dle io b ac u i tgua isa Learnnl l h l taneousy. i l ll つ e av dle wa lle he ( In ) ur ea dle feac her t n w, in i revou d t d n ersan i xper n ye nar k i houg l t separae l pre t thmayp smo sl n t m smu ge hs mo omaeu go hslll
°
sb iormll mi ye me eo mo sa dtote( mb nofd 8 33. 4 43. た.構文モデル を用いた ときの文節の正解率 は 7 %とな り,ベースライ ンに比べて %向上 した. また,構 文モデル と語環 モデル を組 み合わせ ることに より,文節の 正解率 はさらに 109.6%向上 し8 %となった. この結果,本研究で提案す る枠組 に 0 l7. l -おいて,語章的 な統計情報 は構 文的な統計情報 と同程 度 に暖昧性解消 にTl猷す るこ と を確認 した. キーワー ド: 統計的構文解析,構文的統計情報,語藁的統計情報,統合的確率言語モデル -nte d b u tw dleconsssoit f r ics. its gi Ou mo os mo -il exca t ec dl 且e re dl fl i l e reect exca i t t ynac h erea de i l exca f reerences, an t trucura dle l i C t t ynac ics, h its l t es, tt saes cmo dl mo l.Thes cmo ss
SllhiSS lp wh stel mo sl ic t t ynac he .Oneoft -dlesa,nd b u fferen i d ts mo -e
d
n
i
屯
t
ymac
i
m
忠 gS
ca
in dle anguag ica its f ttsa ll emo d t on uce lleasei (_ I r.Wec dai
mg
S
T
i
ca
i屯
s
も
t
a
lPa
U N III ,TAKE OBUToK or ourc anguag f feren i d tl es eft
m egra
r
L i
exca
A 馳 amewokofl
且凱 a
I U MITANAKA ie l p p wor ra e ropos paper w, is h ep eanw f me ko l l t eparaey a, ions ic t oca fsa stL,i.t ) or p y n t o or earn eac f ha enc de Iou ) ic h tit caracers eoccurr eo hw da dw dcoll s( rmo list titl sb ht (S 〕 ( ssi
c
i
t t
s si
nS
N U z T N an AI KE†, AROI dHo i ltt exca sa an ics its tta dl R KIYOAKISHI i JCat t nt H i I t gra gSyll cs ･ t s t us les b na ouef h ics s,uc its Stta ha5t n 8 33. e ieve dl he ac 7an i l ase ic h t t ynac bov !tnences ( apanes uracy w, o t trucures h p ras d pen encB
uns
eu
t
ys fJ es ･Thes mo d7 % i eacc sa eteb ne dwh ncnior -s l a i on 09. he ･t J ll r1 6p tg nWa i 0 ) 7 ･ l ic h hisl 07 nt s io i tgua isa i f dcsor its l i lttexca sa f mb ni icmo(l丑
f es i t onr t t ynac b tuionoE
t
;
.
～
h t h dle t us i l exca h in tpora gtel mo wiht %.Th ec 4 43. i d teve, h ac o8
' -‥ ･ 8 9 9 1 J luy 3 . 5 l. . sin o rf mewou ra rk ic its tta 自然言語処理 解析結果の候補 に与 えるス コアが,構 文的な統計情報 のみを反映 したス コア と語張 的 な 統計情報の み を反映 したス コアか ら構成的 に計算 で きること この こ とに よる利点 を以下 に挙 げる. 一 個 々の統計情報 を個別 に学習で きる 構 文的な統計情報 を学習す る際には,学習用言語資源 として比較 的作成 コス トの 高い構 文構 造が付加 されたコーパスが必要 とな る1. しか しなが ら,推定パ ラメタ の数 はそれほ ど多 くはないので,比較 的少 ないデータ量で学習す ることがで きる. これ に対 して,語張的な統計情報 は,単語の共起 に関す る統計情報 を学習 しな け ればな らないため に大量の学習用デー タを必要 とす るが,構 文構 造付 きコーパ ス に比べ て作成 コス トの低 い品詞付 きコーパ ス を用 いて も学習す るこ とが十分 可能 であ る. この ように,統計情報の種類 に よって学習 に要す る言語資源の質 ｡量 は 大 き く異 な る. そこで,構文的な統計情報 と語葉的 な統計情報 を異 な る言語資源 を用 いて個別 に学習で きるように, それぞれの統計情報 の独立性 を保持 してお く こ とが望 ま しい. 一 暖昧性解消時 における個 々の統計情報 の働 きを容易 に理解す るこ とがで きる 例 えば,暖昧性解消 に失敗 した場合 には,構 文的な統計情報 と語葉 的な統計 情報 を独立 に取 り扱 うこ とに よ り, どち らの統計情報 が不適切 で あ るか を容易 に判 断 用量理工 学 研 究科 L iaran de i ts de -I ins 1 Ou アル ゴ リズム ( dY 加 されていない コーパ スか ら川 文的な統計情報 を学習す る研究 も行 われてい る. しか しなが ら, この ような教師 な しの 学習 は一般 に精度が悪 く,現時点では梢 文構造が付加 されたコーパ ス を利用 した方が品質の良い統計
什
舶を学習 で きる と考 え られ る. ､て,構 文構 造が付 0 9 19 oung )に代表 され るような EMアル ゴ リズムを恥6
8
語処理 にお ける様 々な問題 の解決 に何 らかの統計情報 を利 用 した研 究が盛 んに行われ てい る. 特 に構 文解析 の分 野 においては,構 文的な統計情報 だ けでな く,単語の出現頻度や単語の共起 関係 といった語碇 的な統計情報 を利用 して解析精度 を向上 させ た研究例 が数多 く報告 されてい る (S h bc a es 1 Vo No sg tast tofs cs Ke W oは じめ に
コーパ ス,辞書, シソーラスな どの機械可読 な言語データの整備が進んだ ことか ら, 自然言 i t t yn ac ha d : r s rea y a ; 7 9 9 ここで問題 とな るのは, この ような語葉 的な統計情報 を構 文的な統計情報 とど Coll の ように組 み合 わせ るか とい うこ とで ある. この とき,我 々は以下の 2つの点が重要であ ると 考 える. ins y h l ecnoog h l f coo o d t aua i cence, h us t ue igence, o Itn iiilca t n o t par ミI二 T koy , i r i ng Il n i cenc io t Ifnor I東 京工 業 大 学 大 学 院 十 計ち
工 学 専 攻 tofC mp rS Gr eS ma nS ea dE neeng oIII九州工業大学 情報工学部知潮 背報工学科 ,De me fArtf ell Ky uI
-b roa wtics,inetgratedp tt sa l ica ik arna ; 6 9 Ch 9 ; 6 9 Li1 9 t tsu 01 Hogenoutand M a mo ; 5 9 lp mg,sars ynact ticsttaitsics,lTe ica its tt sa clanguagemodle i its l bi 1992;M agerman19 1997). ◎ l ttu i t ns eofT y T h lecnoog f n t eparme D , ittu t ns eo
白井,乾,徳永,田中 統計的構 文解析 におけ る構 文的統計情 報 と語 免的統計情 報の統合 につ いて す ることがで きる. ◎ 個 々の統計情報 を反映 したス コアが確率的意味 を持 っているこ と 構 文的な統計情報 を反映 したス コア と語菜 的な統計情報 を反映 したス コア を鮎しみ合 わせ て全体 のス コア とす る場合,両者 のス コアの和 を計卯すればいいのか,
租
を計算すれば いいのか, また どち らか片方 に重み を置かなければな らないのかな ど,その最 適 な組 み 合 わせ 方 は 自明で はない. この とき,個 々のス コアが確 率的意味 を持 つ ように学習す る ことによ り,確 率の租
としてそれ らを自然 に組 み合 わせ るこ とがで きる. ところが,語藁的な統計情報 を利 用 して構 文解析の精度 を向上 させ る過去 の研究の多 くは以 上 の条件 を満 た していない.例 えば田辺 らは,確 率文脈 自由文法 ( Grmmaa r,以下 PCFG)における書 き換 え規則の非終端記号 に,その非終端記 号が支配す る句 t onex i t S L i l i ) P b lro a cC tFree の主辞 とな る単語 を付加す ること (以下, これ を PCFGの語張化 と呼ぶ)によって語蓑的従属関 ) 6 9 9 t 9 tsu n genou t genou 係 を PCFGの確率 モデル に反映 させ る方法 を提案 している 伸 辺了富捕,日高 1 語 を対象 に PCFGを語葉化 した研究 としては Ho ら (Ho tadMa mo01 , ). 5 9 一方,莱 7 i arna の語菜化 によって構文的 な統計情報 と語葉的な統計情報 を組 み合 わせ る方法 は,非終端記号 に 単語 を付加す るこ とに よって規則数が組み合わせ 的 に増大 し,推定す るパ ラメタ数 も非 常に多1
L
l
l
捕
くなるといった問題点が ある. また,構 文的な統計 まと語栄的な統計情報 を同時 に学習す るモ PCFG デル となってい るが,先 ほ ど述べ た ように両者 は独立 に学習で きることが望 ましい. を 7 9 9 in in ) Charnaik(Ch k199 ,Coll s(Coll s1 )に よる ものが あ る. しか しなが ら,PCFG S TTER (Ma n199 SJAG ( s1 ベ ース としない パ ーザ ma や 9 Shbca e I ) 5 ger A P に も同様の問題 が存在す る. これ らの研究は語菜的 な統計情報 を利用 して解析精度の向上 を図っ L てはい るが,構文的な統計情報 と独立 に学習す る枠組 にはなっていない. 構 文的 な統計情報 と語藁 的な統計情報 を独立 に学習す る枠組 と しては Liによる ものが挙 げ られ る (i1 i sn ; 2 9 9 Re k199)2 9 ; 6 9 李 19 .Li6) は,解析 結果の候補 Jに対 して,構文的 な統計情報 を反映 させ ex た確率 モデル P )と単語 の共起 関係 を反映 させ た確率 モデル Pl 法 を提案 している. そ して,語藁 的な制約 は構 文的 な制約 に優 先す るといった心理言語学原理 に基づ き, まず Pl e｡(I
)を別 々に学習す る方 I ( syn(
I)
をIのス コア と して用 い,一位 とそれ以外の候補 のス コアの差 が十分 sy に大 き くなかった場合 に限 りP 報 と語集 的な統計情報 をそれぞれ独立 に学習 してはい るが, これ らを同時 に利 用 して唆昧性解 消 を行 っているわけで はない. また, この 2つのスコアの持つ確 率的意味が不明確 で あ り2,そ の最適 な組み合 わせ方 は 自明ではない. 本研究で は,構 文的 な統計情報 と語藁的 な統計情報 を組 み合 わせ る一 方法 と して,統合 的r()
LI
をス コア として用いてい る.す なわち,構 文的 な統計情 7;a k ounag iT,anaa ak,n ir h I iSnu, a dT a199 乾 ,白#,徳
永,田中 9 7 確 率言語 モデル を提案す る ( 199;自動 乾 ,徳永,田中 196).この統合的確 率言語 モデルの特徴 は,単語の出現頻度,お よ I ( l｡e ) I ( syn 2P ,P )は確率 と呼 ばれ て はい るが, どの ような事 象 に対 す る恥 キiなのか は不 明で あ る. 7 8→ -･ ･ 自然 雷喜吾処 理 Vo 5 No.3 July 1998 び単語の共起 関係 といった 2つの語茄的な統計情報 を局所化 し,構文的 な統計情報 と独立 に取 り扱 う点 にあ る. また,構 文的な統計情報 を構 文構 造の生成確率 として,語張的な統計情報 を 単語列の生成確率 としてそれぞれ学習 し, これ らの積 を解析 結果の候補 に対す るス コア とす る こ とによ り,暖昧性解 消 に両者 を同時 に利用す るこ とがで きる. この統合的確 率言語 モデルの 詳細 については 2節で述べ る.3節で はこの統合的確率言語モデルの学習, お よびそれ を用い た 日本語文の文節 の係 り受 け解析 実験 について述べ る.最後 に 4節で結論 と今後 の課題 につ い て述べ る. Aを生成す る単語列 W ･ - wl,- ,W
W
を生成す る品詞列 L-ll- ,ln ･ ,L
を生成す る構 文構造R
◎2
統合 的確率言語 菅デル
まず,本論文で一貫 して用い る記号 につ いて説明す る. ◎ 入力文字列A
- al,- ･,am n 本研究で は,形態素解析 と構 文解析 を同時 に取 り扱 うこ とを仮定す る.すなわ ち,入力文字列 Aが与 え られた ときに, その正 しい単音E例 W,正 しい品詞列L
,正 しい構 文構 造 Rを求 め る こ とを目的 とす る.例 えば,｢彼女 がパ イを食べ た｣ とい う入力文 に対す る解析 結果の候補の例 l. を図 1に示 す. 図 1 例文 "彼女がパイを食べた"とその解析結果 各解析結果の候補 に対 してその生成確率 P(R,L,W,A)を計算 し, これが最大の解析 結果 を 選択す るこ とに よって嵯昧性解消 を行 う. さ らに,確 率 モデル P(R,L,W,A)を以下 の ように 分解す る. P(R, , A) P( ･ LIL W, - R) P( R)･ W LP( L R)･ AI L R) , P( W, , (1) 88LI
白井,戟,徳永,田中 統計的構 文解 析 に おけ る構 文的統計情 報 と陪 麹的統計情報 の統合 につ いて ここで,構 文構 造R
は最終 的 に品詞列L
を生成す る もの と仮 定す る と,P(
R
)
-
1
とな る(
図
1参照). また,単語列W
が決 まれば入力文字列 A は一意 に決 まるのでWII
R
)
(
I
A
(W)
P
,
- 1と なる. したが って,式(
1
)
は以下の ように簡略化で きる.P
･
)
R
(
P
-)
RLWA
,,,
(
P
(
2
)
本研究で は,式()
に示 した通 り,解析結果の生成碓率 を以下の2
つの確 率モデルの横 と して 計算す る.2
(1) 構 文モデルP
(
R
)
構 文構 造R
の生成確率で ある. この確 率モデル には構 文的な統計情報 を反映 させ る.)
2
(
R
葉 モデル には語菜 的な統計情報 を反映 させ る.P(
R)
21
1
構 文 モデル
語葉 モデルPWl
構 文構 造R
が与 え られた ときに,それか ら単語列 W を生成す る確率である. この語)
(
構 文モデル と して は,構 文的 な統計情報 を反映 し, かつ構 文構 造R
の生成確 率 を高 い精 度 で推 定す るもので あれ ば, どの ような確率モデル を利用 して もよい.構文モデル に利用で きる h do t ize l nera i its l b o a 確 率モデル として は, PCFGや確率一般化 LR法 (Pr bi cGe dLR Me ,以 下 PGLR)な どが挙 げ られ る. 我 々は, PGLRを構 文 モデルの有 力な候補 と して考 えてい る.PGLR とは,構 文解析手法 のひ とつで ある一般化 LR法 を拡張 した もので あ る.PGLRは, LR表 に記述 された各状態遷 移の遷移確 率 を推 定 し, その遷移確率の租 によって 1つの状態遷移列,すなわちそれに対応す る構 文構 造の生成確 率 を与 えるモデルである3. この PGLRは PCFGに比べ て,次の ような特｡
)
b
7
l
a.
I i
n
u
et 長 を持つ(
1
9
9
◎ 文脈依存性 を取 り扱 うこ とがで きる. ◎ 隣接す る品詞 間の共起 関係 を取 り扱 うこ とがで きる. ◎ 距靴 に関す る優 先度 を取 り扱 うことがで きる. gran -ここで,隣接 す る品詞 間の共起 関係 とは,品詞 bi lの ような品詞列の出現 に関す る統計情 報で あ り,形態素解析 の暖昧性解消 に有効で ある と考 え られ る. また,距離 に関す る優先度 と は,単言出まな るべ く近 い単語 に係 りやす い といった,係 り受 け関係 にある単語問の距緋に関す る統計情報で ある｡ 9 ig 3一般化 LR法 に抑纏 を組 み込む試 み に は様 々な ものが あ るが (Wrht190;NgadT min o ta1991;B irscoe,Carroll ) 3 9 9 1 ,本研 究 にお け る PGLRとは er atl 9 k aezaw I iSnu,o i iTra,anaa ounaga ank T k, , I inu h ih I iS anc,nu, らに よるモデル ( ml mv dT a1 kunaga b a an, ih T anc,ana 7 9 k dT )を指 す. 7 9 9 1 b; la Sornel tr mv9
8
済萱 自然 雷 旨吾処 理 Vol,5 No.3 July 1998
2
語塵 モデル
P( R)
W I
語菜 モデル は,品詞列 Lを末端 とす る構 文構 造R
が与 え られ た ときに, それか ら単語列 W を生成す る確 率 で あ る. この語菜 モデル は,式(
3)
の ような各単語 wiの生成確率 の積 と して計 算す るこ とがで きる.2
.
(
3
1
-,w l)
)
W i 例 えば,図 1の例 において, 単語 を文の後 ろか ら順番 に生成 してい くと仮定す る と,語菜 モデ ルP( R
WT)
は以下の ような単語の生成確率の積 と して計算 で きる.I
R
t
(
w
p( R -m p
WI)
,-･,W i)
)
)
)
)
)
)0
4
5
6
7
8
9
(
(
(
(
(
(
iu l
川plL
P( R
Wr)- P
彼女 ,が了ヾィ,を,P
(
(
食べ ,たI)
R
たt
R)
･-P(
叙<l
R
,た)･P( R
をI
,食べ ,た)･P(
パ イL
R
,を,食べ ,た)･P( R
がI
,パ イ,を,食べ ,た)･P(
彼女】
R
,が了ヾィ ,を,食べ ,た) 2 1.2. 単語生成 文脈5
)
式(
3
)
の各項 (図1
の例 で は式(
～ 0
(
1
)
)
のパ ラメタ空間 は非常に大 き く, これ を直接学習 す るこ とは一般 に不可能で あ る. ところが,各 単語 叫 の生成 に強 く影響 す るの は各項 の確 率 の前件R
,wl,- ,Wi-1全 てで はな く, その一部 の みで あ る と考 え られ る.例 えば,図 1の例 文 において, "パ イ"は動詞 "食べ"の ヲ格 の格要素 となってい る. この とき, "パ イ"とい う単 語 を生成 す る際 に は,式 (8)の前件"
R
,を,食べ ,た"(図 2の斜 線 部)の うち,品詞 N と単語 "を"",食べ"(図2
の丸で囲 まれた部分 )に よって十分近似 で きる と期待 で きる (式(
ll
)
)
.
P(
パ イr
R
,を,食べ,た)竺P
(
パ イt s
Nl(
食べ , ]を))
(ll
)
β
(
式(
ll
)
において,Ⅳ[
食べ ,を)]は, "食べ"とい う動詞 の ヲ格 の格要 素 となっている名詞 を表(
s
わ してい る. す なわ ち,P(
パ イI
Nl
食べ ,を)])は, "食べ"とい う動詞 の ヲ格の格要素 とな っ てい る名詞か ら "パ イ"とい う単語が生成 され る確 率 を表 わ して い る. したが って,式(
ll)に は, "パ イ"とい う単語 その ものが どれ くらい出現 Lや す いか といった単語 の 出現頻 度 と, "パ イ"と "食べ"が どの程 度共起 Lや す いか とい った単語 の共起 関係 が反映 されてい る. ここで,単語生成文脈 ciを以下の ように定義す る.昭 吾wiの単語生成文脈 ciとは,wtの生成確 率の前件
R
,wl,- ,Wi-1か ら叫 の生成 に強 く形勢け る部分 のみ を取 り出 した もので あ る.
白井,戟,徳永,田中 統計的構 文解析 におけ る構 文的統計情報 と語効的統計情報の統合 につ いて 図 2 "パイ"を生成す るときの単語生成文脈 先 ほ どの例 にお いては,単語 "パ イ"の単語生 成文脈 は
"
β(
食べ,を)"で あ る. そ して,各単語 wiの生成確 率 の前件"
R
,wl,- ,Wi_1"を, その単語 の品詞 Iiと単語 生成 文脈 ciに縮 退す る こ とに よ り,語荻 モデルP( R
WL)
を以下 の ように近似 す る.p( )
町R
-Ⅲ p(tR
wl
,w
l-, ル i-)
1
1L!7竺
m p(
wL
illi)
ic]
(12) u'7 2.2.2 単語生成文脈決定規則 単語生成 文脈 を導 入す る際 に問題 とな るの は, どの ような単語 に対 して どの ような17ii語生成 文脈 を選べ ば よいのか とい うこ とで あ る.我 々は, これ を人手で作成 した規則 に よって記述 す る.以下, 単語 wiの単語生成 文脈 clを決 定す る規則 を単語生成 文脈決 定規則 と呼ぶ. 単語生成 文脈決 定規則 の例 を以下 に挙 げ る. ◎ 単語 の共起 関係 を全 く考慮 しない場合 単語 叫 につ いて,周囲の単語 との従属 関係 を考慮 しない場合 には, その単語 の生成確率 はその単語 の品詞 Iiのみ に依存す る とみなす.例 えば,図 1の例 において,助動詞 "た" と動詞 "食べ"を生成す る際 に他 の単語 との語藁的従属 関係 を考 えない場合 には, それぞ れの生成確 率(
5
)
,
(
6
)
は以下の ように近似 す れば よい.P( R
たI)
竺P
( A X)
たIU
(3
1)
P(食べI
R
,た) 竺 P(食べI
V)
(4
1)
これ に対 応 した単語生成文脈決 定規則 を以下 に示 す. この規則 は里語生成 文脈 を決 定す る際のデ フ ォル ト規則で もあ る. 【単語生成 文脈決定規則 #1】 単語 wiを生成 す る際 に他 の単語 との従 属 関係 を考
慮 しない場合 には, 単語 wiの単語 生成 文脈 ciを空 とす る. 91自然 音寓吾処理 Vol.5 No.3 July 1998 ◎ 格要素 となる名詞が助詞 を介 して動詞 に係 る際の従属 関係 を考慮す る場合 前述の ように,格要素 とな る名詞が助詞 を介 して動詞 に係 る際 には,動詞
｡
助詞の釦 と 名詞 との間 には語蓑的従属 関係が存在す る. この ような語張的従属 関係 を確率 モデル に 反映 させ るために単語生成文脈決定規則#2
を定義す る. 【単語生成文脈決定規則#2】
単語 wiの品詞 Iiが N(名詞)
であ り,かつ助詞 pを介 して動詞 も‖こ係 っ てい るとき,単語 wiの甲語生成文脈 C,,をS(
V,
p)
とす る. この とき,wi の生成確率P(t
wL S
N[(
Vp]
,)
)は動詞 Vの格 pの格要素 とな る名詞 N か ら 単語 叫 が生成 され る確率 を表 わす. 例 えば,図 1の例 において,名詞 "パ イ"は動詞 "食べ"の ヲ格の格要素で あ り,名詞 "徳 女"は動詞 "食べ"のガ格の格要素 となっている. したが って, これ らの単語 を生成す る 際 にはこの規則が適用 され, それぞれの生成確率(
8
)
,
(
1
0
)
は以下の ように近似 され る.p(
パ イI
R
, 食べ,=を, f) ～ ip
(
パ イI S
N[(
食べ, ]%))(5
1)
P(
彼女L
R
, パ イ, 食べ,が, を, た) ct=P
(
彼女L s
Nl(
食べ , 】 が)) (61) ⑳ 助詞 とその係 り先用言の従属 関係,格間の従属関係 を考慮す る場合 図 1の例文 においては,2つの助詞 "が7'と "を'丁が動詞 "食べ"に係 っている. この とき, これ らの生成確率(
7
)
,
(
9
)
を以下の ように近似 して も,助詞 とその係 り先用言 との冊の語 張的従属 関係,お よび同 じ用言 に係 る助詞同士の従属関係 (以下,これ を格間の従屈性日系 と呼ぶ)を語藁 モデル に反映 させ るこ とがで きる.P( R
をI
,食べ,た) 竺P
( Pm
をJ[(
食べ,( 142)) 4,,,)】 (71)P( R
がI
,パ イ,を7食べ,た) 竺P
( P[(
がIm
食べ,( ,¢1を )]))(
1)
8
式 (17)は,助詞 Pが 2つの助詞の係 り先 となってい る動詞 "食べ"に係 ってい るときに, 品詞P
か ら単語 "を"が生成 され る確率 を表わ している.一方式(
1
8)
は,助詞P
が2
つ の助詞 の係 り先 とな りかつ その うちの 1つ は "を"で ある動詞 "食べ"に係 ってい るとき に, 品詞 Pか ら単語 "が 'が生成 され る確率 を表 わ してい る. 助詞 とその係 り先用言の従属 関係, お よび格 間の従属関係 を語張 モデル に導 入す るため に,単語生成文脈決定規則#3
を以下の ように定義す る. 【単語生成文脈決定規則#3】
世評 wiの品詞 Iiが P(助詞)で あ りかつ用言 侶 こ係 ってい る とき, 早 語 叫 の単語生成文脈 ciを m(,h(41,,･ ,,っj 1･･4jP+ ,･･･P,n)
)
とす る. この とき,wlの生成確率P(
wiPm
ll
(,h ‡,, ,, j41..4"p十 1 -, ･,1n)
,
)
])は,用言 h が n佃の仙洞の係 り先 とな りかつ用言 に近 い pj+1,-,
Pnの助詞が既 に生 戊 されている ときに,4,jとして wiが生成 され る確率 を表 わす.(2
J
白井,戟,徳永,田中 統計的構文解析 におけ る構 文的統計情報 と語免的統計情報の統合 につ いて 単語生成文脈決定規則
#3
において,同 じ用言 に係 る助詞 は用言 に近 い ものか ら順番 に 生成 され ると仮定 している.すなわち,助詞が出現す る順序 も考慮 されている. ⑳ 助詞の係 り先が用言か体言か を考慮す る場合 助詞の係 り先が用言である場合 と体言である場合 とでは,助詞の生成確 率 P(叫
IP)の分 布 は著 しく異な ると考 え られ る.例 えば,係 り先が用言の場合 には "が","を"な どの蜘 詞 は出現 Lやす いが,
助詞 "の"は出現 しに くい. これ に対 して,係 り先が体 言の場合, すなわちその助詞 を含む文節が連体修飾節 となっている場合 には,助詞 "の"が出現す る 場合が圧倒的 に多い と予想 され る. したが って,助詞の生成確率P(
wi
t
P)
を学習す る際 に, その助詞 の係 り先が用言 もしくは体言であ るか を区別 しないで学習す るの は望 ま し いことで はない. これ に対応す るには,以下の ような単語生成文脈決定規則#4
を定義 すれば よい. 【単語生成文脈決定規則 #4】 単語 W7･,の品詞 Iiが P(助詞)であ り,かつその助詞の係 り先が体言であ る とき,単語 wtの単語生成文脈 clを ndとす る.ndはその助詞 の係 り 先が体言 であるこ とを表 わす シンボル で ある. この とき,wiの生成確率P(
wt n]
iPld
)は,体言 を係 り先 とす る助詞 か ら単語 wiが生成 され る確率 を表 わす. 助詞の単語生成文脈 を決 定す る際 には,助詞の係 り先が用言で あ る場合 には単語生成文 脈決 定規則#3
が,助詞の係 り先が体言で ある場合 には単語生成文脈決 定規則#4
が通 用 され る. ここに挙 げた単語生成文脈決定規則#1
-#4
が単語生成文脈 を決 定す るための全ての規則 とい うわけで はない.本節では,特 に用言の格関係 に注 目 して語菜 モデル に反映 させ るべ き語 藁的従属 関係 (単語の共起 関係)の例 を挙 げたが,他の種類の語菜 的従属 関係 を語莱 モデル に反 映 させ るように単語生成文脈決定規則 を拡張 ･洗練す ることもで きる.すなわち,語藁モデル に おいて どの ような語集的従属 関係 を考慮す るか は,単語生成文脈決 定規則の追加 ｡変更 によっ て柔軟 に調整す るこ とが可能である. 単語生成文脈 として何 を選択 す るか を自動的 に学習す るこ とも考 え られ る4が,我 々は言語 学的知見 に基づ くヒュ- リステ イクス規則 によって単語生成文脈 を選択 す る方向で研究 をすす めている. なぜ な ら,語葉 モデル に どの ような種類 の語壷的従属 関係 を反映 させ るか を単語坐 成文脈決定規則 によって明確 に記述す るこ とによ り,モデル に反映 された統計情報が暖昧性解 消 に有効であるか どうかな ど,モデルの特性の分析 を容易 に行 うこ とがで きるか らで ある. 4例 えば,Magermanは確 率 の前件 と して どの ような素性 を選 択 す れ ば よいのか を決 定木 を用 いて 自動 学 習 して い る (Magermall1995).9
3
自然 雷 宗吾処理 Vol.5 No.3 July 1998
+
.■
-
-▼一="
■
.
■
■
■●■
"-
■.
--
.
■
■
■
■
■
/へ ＼
〈
/へ＼
/へ ＼
/へ＼
P
IN
2 P2V
IA
ux1N
3P
3V
2A
u
x2 I l 1 1 1 1 1 1 1 は 朝食 を 食べ て 学校 へ 出かけ た 図 3 並列構造 を持つ例文 2.2.3 従属係 数 これ までは単語 を生成す る際 に考 える単語生成文脈 は常に一つであ ると仮定 していた. しか しなが ら,一般 には,一つの単語 を生成す る際 に複数の単語生成文脈 を考慮 しなければな らな い場合 もある.例 えば,図 3の例 文において,2つの文節 "食べ-て"5と "出かけ-だ 7は並列の関 係 にある. したが って,この例文 中の名詞 くく彼女"は動詞 "食べ"の-格の格要素であ り6,同時 に動詞 "出かけ 'の-格の格要素で もある. したが って,単語生成 文脈決定規則#2
に従 えば, "彼女"という単語 を生成す る際の単語生成文脈 としてはS
(
食べ,は)とS
(
出か け,は)の 2つが ある. この とき, "彼女"の生成確率 は次の ように推定す ることが望 ま しい,P(
彼女I s
Nl(
食べ,は),(
S
出かけ, ]は))(9
1)
同様 に, この例文中の助詞 "ぱ 'は動詞 "食べ"と ``出かけ 'の両方 に係 っているとみなす ことが で きる. したが って,単語生成文脈決 定規則#3
に従 えば, "は"とい う単語 を生成す る際の単 語生成文脈 としてm(
食べ,41を )(,, )とm(
出か け,(,,41へ ))の 2つが あると考 え られ,"ぽ 丁の 生成確率 も次の ように推定す るこ とが望 ま しい.P(
はE m(
P[
食べ,(,,41を )),
m(
出かけ,(,,41へ )]))(0
2)
ところが,式(
1
9
)
や(
2
0)
の ように複数の単語生成文脈 を前件 に持 つ確率モデル は,推定す るパ ラメタの数が爆発的 に増大 す る可能性 が ある. そこで本研究では,複数の単語生成文脈 を 以下の ように取 り扱 う. まず,説明 を簡略化す るため に,単語 叫 が 2つの単語生成文脈c
lとC
2
を持つ とす る. この とき,単語 wiの生成確率P(
叫I
l[l
ic
,2
C]
)を以下の ように近似 す る.P(
ll
ic,2li.
l
C]w)P(
w)
i
P(
wL
Il[1
iC
72)
C]
p(
ll
ic]
fi
uc
): l
1PZ
)[2E
iC
]
ll
ic
l
]W)
,i. w)
P(
i
P(
lll)P(ic]
ic]･ ll2
r
lll)
ic]
5
"
-
"
は 11用 J;･の区切 りを表 わす,6本研究では,名詞 が助詞 を介 して用言に係 る場合 は常に, その名詞 を用言の表層格の梧要素 として取 り扱 う.
白井,戟,徳永,田中 統計的構文解析 におけ る構文的統計情 報 と冨吾桑的統計情報の統合 につ いて
P(
l
i
l
c
l
]
l
wi
)
･
P(
l
i
l
c
2
]
Z
l
i
,
Wi
)
I
P(
wi
)
(
23
)
p
(
l
i
l
c
l
甜 c1
9
(
'
l
t
F
c
(
2
l
i
l
l
l
C
i
2
,
]
H
ti
)
･P(wi
)
(
2
4)
p緋
l
l
j
l
)
]
)
P
緋
1
7
,
]
L
l
i
i
l
)
C
2
]
) P(帆)
P(wi
J
l
i
)
P(
wi
)
(
2
5
)
P(
wi
l
l
i
)･
P(
叫
I
l
i
)P(
叫L
l
i
)
(
2
6)
式(
2
2
)
か ら式(
2
3)
の変形 において,2
つの単語生成文脈c
lとC
2
は互 いに独立で あると仮定 し ている.P(
ll2l
i
c]i
lll)T P(ic]
c]
ll
2L
l)
i
P(
l
l
l
c]
2
E
l[l,
ic]帆)
etPll
(
i
c]
2I
l
i
,
帆)
ここで,従属係 数D(
wii
l
ll
c]
i
)を式(9
2)
の ように定義す る.wr i
P(i
l
l
[
c]
)
D(ii
wl
li
l
c]
)-(9
2)
P(
wl
i
l
i
)
この従属係 数 を用 いれば,式(
2
6)
か ら式(
3
0)
が導 かれ る.P(
叫r[
l
lc
lC]
,2)竺 P(ii･
wl
l)D(
wt
i
l
lc]
[l)
･ wl
D(ii
ll2)
c]
(0
3)
以上では単語 wiが 2つの単語生成文脈 を持つ場合 を考 えていたが,単語 wiが n個の単語生成 文脈 cl,- ,Cnを持つ場合 に も同様の近似 が可能であ り,最終的 に以下の式が得 られ る.p(
w l
ii
ll
c,
l
. ,n)
･
･C]
竺Pwl
(ii
l)m D(
A
wl
i
ll
t
c]
i)
(
31
)
Ci 式(
2)
9
で定義 した従属係数D(i
wE
l[
i
c]
i
)は単語 叫 と単語生成文脈c
i
の相関関係 を評価 す る 統計量で ある.例 えば,wiとc
i
に相 関関係 がない場合,すなわち 叫 とc
i
が互 いに独立で ある 場合 には,式(
2)
9
の分子Pwl
(ii
ll
c]
i
)は分母P(
wl
i
l
i
)
にほぼ等 しくな り,従属係数D(i
w
困c]
i)
は 1に近 い値 を取 る. これ に対 し,wiとc
i
に正の相 関関係 が ある場合 には,単語生成文脈c
t
を前件 に加 えた確 率P(ill
wJ
i
c]
i
)は単語生成文脈c
i
を無視 した確 率Pwl
(ii
l
)
よ りも大 きくな る ので, その従属係 数 は 1よ り大 きい値 を取 る. 同様 に,叫 とc
i
に負の相 関関係 が ある場合 に は従属係数 は 1よ り小 さい値 を取 る. 複数の単語生成文脈c
l
,- ,Cnの下での単語 wiの生成確率 は,単語生成文脈 を無視 した単(
i 語の/生成確率P
will)と,wiとc
i
の相 関関係 を他の購 寄生成文脈 とは独立 に評価 した従属係 数D(i i
w困c]
)の租 によって計算で きるこ とを式(1
3)
は示 している.従属係 数D( ll
叫t
i
c]
i
)を他 の単語LLl,X文脈 と独立 に推定 ｡学習す るこ とに よ り,碓 率モデルのパ ラメタ空間 を推 定可能 な 大 きさに抑制す るこ とがで きる.例 えば,図 3の例 において,"彼女"の生成確率 (19)と "は" 95漸 機 欄-自然言語処理 Vol.5 No.3 July 1998 の生成確率
( )
2
0
はそれぞれ以下の ように推 定 され る.(
か け,は)p(
彼女I ･
N)D(
彼女l s
Nl(
食べ ,は))･
D(
彼女I s
Nl(
.ri ]) l. l .S
,
P(
彼女r S
N[(
食べ 凋 )(
32
)
･･か け凋 ) ) )まI m(
)]D(
( Pl
出か け,.
]) (bl -～P(
はI m(
Pl
食べ,
(
4
,1,を )),
m(
出か け,(4,.,-と P( P)D(
はI ･ 町 Pl
m(
食べ, ) ,-) ) )](
3
3)
従属係 数 を導 入す る利点 と して, 単語集成 文脈 を複数取 り扱 うこ とが で きる とい う点の他 )] (¢1,を )f
c
j
]
i
c
i
l
に,式(
3
6
)
に示 す■ように,語菜 モデルP(
W r
R)
を単語の 出現頻 度 の み を反映 したP
t
r
l
l
)
l
乞
i
t
l
j
c
)･ 'L てJ)
uL 1P
p
c
f
)
L(
W I
L)
と単語の共起 関係 のみ を反映 したD(
W I
R)
との積 に分 解で きる とい う点が挙 げ られ る.p(
W J
R)
Ⅲ p(
w
tCll t])u(
3
4
)
5
)
(
3
(
36
)
7
)
(
3
-～ iZ
:
I
と
m p(
WJ ･
描
D(
wi
l
l Cり∈C llノ(
W I ･ W I
L) D( R)
-(
W r
L)
-
m p(
w
(
38
)
1 , w I Cり∈Cll 上 式 において,Cwiは単語 叫 の昭 吾生成文脈 の集合 を表 わ してい る.f
c
式(
37)
の統計 量P (
W I
L)
(ま,単語生成文脈 を無視 した ときに品詞 I ゝiカ ら単語 wiが生成 統計吊 )( R)
W E
eま各単語 wiとその単語生成文脈c
i
j
の従属係数の租 を表 わ してお り,叫 とc
i
J
8
)
され る確 率の積 で あ り, 単語の出現頻度 に関す る優 先度 が反映 され る･ これ に対 し,式(
3
の の相 関関係 に関す る優 先度 (すなわち単語の共起 関係)が反映 され る. この ように,語葉 モデル を単語の出現頻度, お よび単語 の共起 関係 の み を反映 させ た 2つの統計量 の積 として分解 す る ことに よ り,1節 で述べ た ように,暖昧性解 消時 にお け るそれぞれの統 計 情報 の働 きを容易 に 理解す るこ とがで きる.3 評価 実験
本節では,前節 で提案 した統合的確 率言語 モデルの評価 実験 につ いて述べ る.統合 的確 率言 語モデル は本来形態素解析 ,構 文解析 を同時 に行 うこ とを前鎚 と して い るが, その ような大 規 II7 r -模 な実験 を行 う前 の予l
J
実験 と して, まず は文節列 を人力 とす る文節 間の係 り受 け附 行 った. 96 子のみ を白井,J.乾.,徳永,田中 統計的構文解析 におけ る構文的統計情報 と浩魚的統計情報の統合 につ いて
3｡
1
構 文 モ デル の学 習
本節の実験 では,入力 と して単語列,品詞列,文節 区切 りが与 え られた ときに,それぞれの 文節の係 り先 とな る文節 を決 定す る. この ような文節の係 り受 け解析 をCFG(
文脈 自由文法 )を 用 いて行 った. まず,CFG
規則 の終 端記 号 と して,文節 の統 語的特 性 を反映 した文節 ラベル を用 い る. こ の文節 ラベルの定義 を(
3
9)
に示 す. 文節 ラベルd
f
f (受 け属性 7係 り属性 ,読点q有無凋 言種別')
(9
3)
ここで, "受 け属性", "係 り属性"はそれぞれ文節の受 け属性 と係 り属性 で あ り, "連 用", "逮 体", "格関係"の組 に よって表 わ され る.例 えば,"パ イーをつつや "彼女-の"な ど,｢名詞 助詞｣ と いった品詞並び に よって構 成 され る文節 は,他 の文節か ら連体修飾 を受 ける可能性 が あるので 受 け属性 は "(連体)"とな り,他の文節 を連体修飾 した り用言 を修 飾 してその格要素 お よび表層 格 を表 わす可能性が あ るので係 り属性 は "(連 取 格 関係 )"とな る7. また "読 点の有無"は, そ の文節の末尾が読点 であれば"
1
',そ うでなければ ""といった値 を取 る.これは,読点 を末尾7 o に持つ文節 は直後 の文節 には係 りに くく,読 点 を末尾 に持 たない文節 よ りも遠 くに係 る傾 向が あるので, この違 い を構 文モデル に反映 させ るためで あ る.一方 "用言種別"は, "格 関係"を 受 け属性 に含む文節 タイプ を細分化 す るための属性 で あ り,文節の主辞 が 自動詞 ,他動詞 ,形 容詞,名詞述語の ときにはそれぞれ "自動詞","他動詞", "形容詞","名詞述語" といった値 を 取 る. また, "格 関係"を受 け属性 に持 たない文節の ときにはその値 は常 に`
く
さ "で ある.2.2節 で例示 した単語生成 文脈決 定規則 は,単語の共起 関係 の 中で も特 に用言の格 関係 に注 目 してい る.用言 を主辞 とす る文節 の文節 ラベル を細分化 したの はこのためで ある. この文節 ラベル は, 文節 を構成す る単語列 の品詞情報 を もとに一意 に決定 され る もの とす る. また, これ らの文節 ラベルの整合性8をチ ェックす る規則 を作成 し,その集合 を文節の係 り受 け解析 に用 い るCFG
と した. このCFG
の概 要 を表1
に示す. 表1 CFG
の概要1
1
｢規則数9
6
非終端記号数5
本実験 で は,構 文モデル P(R)と してPGLR
を利 用 した. また, この構 文 モデル の学習 に は京大 コーパ ス (黒橋 ,長尾1
9
9
7)
を使 用 した.京大 コーパ スの各例 文 には,単語 区切 り,単語 の品詞,文節区切 りと文節の係 り受 け解析の結果 (構 文構 造)が付 加 されてい る.京大 コーパ ス 7ここでの "格関係"とは,用言 を受 け側 と した格関係のみ を指す. 8例 えば, "辿体"を係 り山.1性 に含 む文節 は "也体"を受 け山糾!Jに含まない文節 には係 らない. i9
7
3
自然 音 告吾処 理 Vol.5 No.3 July 1998
44例 文 に対 して, コーパ スの各例 文 とそれに付加 され た構 文構 造 を作 り出す ような LR衣 の 9 にお ける状態遷移列 を求 め, また状態遷移 が行 われ た回数 を数 え上 げ る. この ように して得 ら れた状態遷移 回数 を状態遷 移確 率 に変換す るこ とに よ り,PGLRのパ ラメタ推 定 を行 った. 9 ,
L
J
f
c(
WI)
f
c
の計 算 を省 略で きる. なぜ な ら,単語列及 び品詞列 はす で に入 力 と して与 え られ てい るため,2
.
語 義 モデルの学 習
本実験では,式(
3)
6
に示 した語藁 モデルP( R)-P (
W I
W l ･ W r
L)D( R)
の うち,P
(4 ),f
c
全ての解析結果 の候補 につ いて品詞か ら単語へ の生成確 率の硯 P
したが って,語菜 モデル と して学習す るの は従属係数 の積D(
W I
R)
のみで よい.今 回の実験で 7(
W I
L)
は等 しいか らで あ る. (5 ), 0)をD( R)
W I
の は,単語生成文脈決 定規則 #2-#4によって定め られ る従属係数 (40 要素 と し, これ らの学習 を行 った. まず,格要素の従属係数 (40)の学習 につ いて説明す る.P(
nN[(
l S
V )
, )
p
]
-P(
nN)
l
D(
nN[I S(V,p)]) (40) RWCコーパ ス (R lWorl lュtingPa nrtersh 95)か ら,名詞 n が助詞 pを介 して動詞 吊 こ係 る事例 (n ea 19 dComp ip1995)と EDR共起 辞 書 (日本 電子化 辞V
っp,)
をそれ ぞれの べ 10組収集 した.式 (40)の分子 お よび分母 の確 率 モデル は これ らの訓純前例 書研 究所 6 88 か ら最 尤推定 した. 78 ,849組,9755,p
,
c)
]
)を推 定す る際 に以下の ような近似 を行 った.-(
nl m)として,P(
)を以下の よ さ らに,分子 の確 率 モデルP(
nN[(
L S
V
◎ 名詞 nの意味 クラスに よる抽象化)
]
p
,
)
]
p
,
･
c
n
,
n
,
l
c
)
]
p
,
(
s
V )竺
∑ p(
n
)
P(
)
i 今 回の実験 で は,名詞意味 クラス cn と して, 日本語語葉体 系 (池風 宮崎,横 尾 1993;池 原,宮崎 ,白井 ,横尾 ,中岩 7小倉,大 山,林 1997)の名詞 シ ソー ラスのル ー トか ら深 さ 3 に位 置す る 151個 の意味 クラスの集合 を用 いた. これ らの意味 クラス は互 い に排他 的で あ る. 名詞 nの意味 クラスの集合 をCn
,r･.,
C
n
nI S
N[(
V
うに推 定 した.p(
nNl
l
E S
N[(
V
(41)p
,
)
]
)
]
p
,
p
,
) を推 定 す る場 合 ,名 詞 そ の 名詞 意 味 ク ラ スが 不 明 な場 合 に は , そ の 従 属 係 数 は学 習 不 可 能 で あ る と して)
竺 1と した. これ は,n
とS
(
V)
との間の従属 関係 を無視 す るこ とにD(
nNl(
l s
V
n が 日本 語 語 蓑 体 系 に登 録 され て お らず,D(
nN[(
l S
V 相 当す る. ◎ バ ックオ フ方式 に よるスムー ジング " . .w L ..i -" mb ,-... .㌔-. ･ 1- -- ･･-･= -･‥ ･- --･･ -萱 .. ･ ▲-- .-･..≡ ,.- ･･-･ ･-I - .--.= . / … . P r.I d 確 率 モデルP(
意 の名詞 意味 クラス を表 わす)の 出現 回数が あ る閲値 入 よ りも小 さい場合 には,γ を勅 98)
]
p
,
(
V
c
nL S
N[
)
を推定 す る際, この確 率の分 母 とな る車例 (* V,p,)(*は任白井,乾,徳永,田中 統計 的構 文解析 におけ る構 文 的統計情 報 と梧 魚的統計 情報の 統合 につ いて 詞意味 クラス cvを用いて抽 象化 した確率モデル P(nNl(c l sCJ
UP]
,)
)によって近似 した. P(cnNl(l sVp]
,))
竺P(nNl(c L sc
U
,))
p]
(2
4)
また,事例 (*,p,cv)の出現 回数が 人 を越 えか -場 合 には,動詞意味 クラス cvの抽象度 を段階的 に上 げてい き,必ず入個以上の訓練事例 か ら確率モデル を推 定す るように した. 本実験 においては,動詞意味 クラス cUとして分類 語集表 (国立国語研究所 1996)の 5桁 お よび 2桁 の分類 コー ドを動詞意味 クラス として利 用 した.動詞 を分類語壷表 の 2桁 の 分類 コー ドに抽 象化 して も学習事例数が 人 を越 えなか った とき, もしくは (*,p,
V)
の事 例数が 入以下であ りかつ動詞 γが分類語粟表 に登録 されていなかった場合 には,十分信 頼度の高 い確 率 モデルが学習で きなかった と七 て,従属係 数D(
nNl(
l s
Vp]
,)
)竺 1と し た. なお,今 回は入- 100として実験 を行 った. 次に,用言 に係 る助詞 に関す る従属係数(
43
)
の学習 につ いて説明す る. D(%P[ hpI m(,
(4,
1
,･-,転 p+i1
,
･
･
･P ]
,n)
)
)-P(pl m(iP[ h,41･･4 p+,･･,n))4)
(,,.,," i1 ･P )](3
P(pLiP) n個の助詞 pl,- ,Pnが同 じ用言 hLこ係 ってい る場合 には, それぞれの piに対応す る従属係数(
4
3
)
の積 を計算すれば良い. この従属係数の積 は式(
46)
の ように変形で きる.Ⅲ D
(
pt m(iP[h(
,
¢1, ,- ¢,i恥 1,- ,n)
P ]
))
(
4
4
)
P(piP[ h〈
,, ,,,i - P )](
4
5
)
E m(,41-･4iP+1, ,n )) 7P(iP)
pI
P(p1-, ,nPlP E , ,nm(- P [ h,(
41,, ,,)]- 4n ))(
46
)
n iP(pliP) def D(pl,.･･,nPlP E ,- ,nm(P [ h,(
41,,-,･ 4n )) ,)](7
4)
した が って ,学 習 し な け れ ば な ら な い の は , あ る 用 言 h がP
l,-,
P
n の n 個 の 助 詞 の 係 り先 と なって い る と き に 単 語 pl,-･,Pn を 同 時 に 生 成 す る 確 率 モ デ ル P(pl,-･P l,nPl,- ,nm(P [ h,(
41,, ,- れ ]))) と,品詞 P(助 詞)か ら単語 piが生 成 され る確 率 P(pIiP)である.以降,簡単の ため,前者の確率モデル を以下の ように記述す る. p(p
- hJ,)
n
a
i
-
f
p(lp,- ,nPlPL
,･･., nm(P l h,(
bl ･,･･,¢n))) i (84) 但 し,
p
l
- p(l,･･･P ),n lhn
l 確率モデル P(p,)
を学習す るために,n個 の助詞 plが同 じ用言h
に係 るとい う串例 (
p,h) をEDR
コーパ スか ら収貼 した.今回の実験 では,用言h
と して動詞,
形容詞,名詞述語の3
つ を考 えた.用言 hが動詞,形容詞,名詞述語 であ る ときの, また hに係 る助詞 の数 n が 1, 99｢
自然 雷眉吾処王里 Vol.5 No.3 July 1998
表 2 EDR コーパスから収集 した事例
(
p
lh
,)
ののべ数 1 4 8 231,730 123,915 30,375 3,96 形 容詞 19,266 7,686 1,292 15 名詞述語 28,636 9,327 1,238 9 2,3,4以上 で あ る ときの事例 (p,)
-h
ののべ数 を表 2に まとめ る. nが 4以上 の ときには学習 に十分 な事例 を収集す るこ とがで きなか った. そこで,nが 4以 上 の ときには,従属係 数 を 1, す なわち助詞 とその係 り先用言 との語菜 的従属 関係 や格 間の従 属関係 を無視 す るこ とに した. n>_4の ときD(l
p
,-)nPl
P l
,I..,P,l h(
Lm(,
¢1,･･･,
4
,
,
,
)
)
]
)と 1(9
4)
n
- 1の ときの式 (4 )8の分 子の確 率 モデルP(
plh,)
n
は表 2に示 した事例 か ら最 尤推 定 した. また,
n - ,23の ときの確 率 モデルP(
p
l
hn
,)
は最 大エ ン トロ ピー法 を用いて推 定 した9. 最後 に,体 言 に係 る助詞 に関す る従属係数 (50)の学習 につ いて説 明す る.P(
pP[d)
L n ]
D(I n
pPl
d)] - (50)P(
p)
P)
この従属係数 を学習 す るため に,EDR コーパ スか ら体 言に係 る助詞 pをのベ 273,062個収集 し た.式 (5 )0の分子 は この訓練 デー タか ら最 尤推 定 した. また,式 (05 )の分母P(I
PP)
は, ここ で収集 した体言 に係 る助詞 の事例 と,表 2に示 した用言 に係 る助詞の事例 か ら,同様 に最尤推 定 した. 尚,式(
4)
6
の分母 の各項P(
p
t
l)
P
も式 (05 )の分母 の確率 モデル と同 じもの を使用 した.3.
3
実験結果
3.1節 にて学 習 した構 文 モデルP(
R)
, お よび 32節 にて学習 した語葉 モデル ,P( R)
W I
を用 いて,文節の係 り受 け解析 を行 った. まず,テス ト文 と して,京大 コーパ スの 中か ら文節数 7-9の文 をラ ンダム に 500文選 び, これ をテス ト文 とした.構 文 モデルP(
R)
を学習 す る際 に用 いた訓練用例 文 にはこれ らの テス ト文 は含 まれていない.文節 数 7-9とい う比較 的文長の短 い 例文 をテス ト文 と して選 んだの は,本実験 で用 いたPGLR
パ ーザが まだ開発の途 中で あ り, 良 い文長 の例 文の解析 に非 常 に多 くの時 間 を要す るためで あ る. テス ト文の係 り受 け解析 結果 の評価尺度 と して, 文節 の正解率 を以下の ように定義す る. 文節の正解率 - 係 り先の正 しい文節 の数 (51) テス ト文 に含 まれ る文節 の数 この文節 の正解率 は生成確 率が一位 で あ る解析 結果 の候
補 につ いて計節 す る. また,文の最 後 9この詳細については(白井,私 徳永,田中 1997)を参照. 100白井,乾,徳永,田中 統計的構 文解析 におけ る構 文 的統計情 報 と語 数的統計情報 の統合 につ いて 表 3 文節の正解率 後置詞節
BL
62.92% 61.68% Syn 69.63% 73.38% F 71.36% 74.69% M 78.19% 78.55% P 84.06% 82.22% all 86.30% 84,34% に位 置す る 2つ の 文節 は評価 の対 象 か ら除外す る. これ は, 文の一番最後 にあ る文節 は係 り先 が な く, また文 の最後 か ら 2番 目にあ る文節 は常 に文の一番最 後 の文節 に係 るか らで あ る. 2.2節 に述べ た ように,語張 モデル にお いて はい くつ か の種類 の統計 情報 を取 り扱 う. ここ で は,構 文 的 な統計 情報 , お よび語張 モデル にお いて考慮 され た語菜 的 な統計 情報 の それ ぞれ の暖味性 解 消 にお け る効果 を調 べ るため に,以下 に述べ る 6種類 の モデル を用意 し, それ らを 比較 した.結果 を表 3に示す. BI｣: ベ ー ス ライ ン 全 ての 文節 の係 り先 を,(
1
)
全 ての 文節 は係 り得 る文節 の 中でで きるだ け近 い もの に係 る,(
2
)
一 文 中にお け る文節 の係 り受 け関係 は互 い に交差 しない, として決 定す るモデル で あ る. Syn: 従属 係数 を無視 したモデルD(
Wl)
R
- 1と したモデル で あ る. す な わち,構 文 モデルPR
()
で学習 した統 計 情 報 のし み を用 い て峻味性解 消 を行 う. F: 格 要 素 とな る名詞 に関す る従属係 数 のみ を用 いたモデルD(
W匿)
と して,式(
4
0
)
に よって与 え られ る従属 係 数 の み を考慮 したモデル で あ る. M : 用言 に係 る助詞 に関す る従 属係 数のみ を用 いたモデルD(
WI)
R
と して,式 (74 )に よって与 え られ る従属係 数 の み を考慮 したモデル で あ る.P:
体 言 に係 る助詞 に関す る従属 係 数の み を用 いたモデルD(
WI)
R
と して,式(0
5)
に よって与 え られ る従属係 数 のみ を考慮 したモデル で あ る. all: 全 ての従属係 数 を用 い たモデル 上 記 全 ての従属係 数 を考慮 したモデル で ある. 表 3か ら,語張 モデル にお いて考慮 した語集 的 な統計情
報の うち,体 言 に係 る助詞 に関す る 従属係 数 (モデルP)
が正解 率の向上 に一 番大 き く賞献 す るこ とが わか る. す なわ ち,助 詞が用 言 に係 ってい るか否 かの遣 いが その生成確 率 に大 き く形響 し, その違 い を考).L.Fす るこ とに よっ て暖味性 解 消 の精度 を大 き く向上 させ るこ とが で きた. また,表 3にお け る "後 閏調節"
とは, 101自然雷語処理 Vol.5 No.3 July 1998 "彼女-が ,"パ イーを"など,用言の格要素お よび表層格 を表 わす可能性のある文節 を指す10.チ ス ト文全体 における 2,795個 の文節の うち,178,8個が この後置詞節 に相 当す る, この後置詞節 のみで評価 した場合,全ての文節 で評
価
した場合 に比べ て,語集 的な統計情報 を考慮 したモデ ル (FM, paワ, )llと構 文的な統計情報 のみ を考慮 したモデル (y )S n との文節の正解率の差が大 きく なってい る. これ は,今 回の実験 で用いた語張 モデル においては,語菜 的な統計情報 の中で も 用言の格関係 に注 目しているため,語某モデルが "後置詞節"の係 り先の暖昧性解消 に特 に有効 に働 いているため と考 え られ る. 構文モデル と全ての語末的従属関係 を考通 した語旋 モデル を組 み合 わせ て暖昧性解消 に用い た場合 (all,構 文モデルのみ を用いた場合 ) (y )Sn と比べて文節の正解率が 1.609%向上 し, また 構文モデルのみ を暖味性 解消 に用いた ときのベースライ ンとの文節の正解率の差が 117%.0 であ るこ とか ら,文節の係 り受 け酵析 の精度向上 において,語葉 モデル は構文モデル と同程 度のi
L
-
i
J
献 を してい る と考 え られ る.本研究で提案 した統合的確 率言語 モデル においては,語藁的 な統 計情報 を局所化 し構 文的 な統計情報 とは独立 に学習 してい るが, この ようなアプ ローチ におい て も,語藁的 な統計情報 は暖昧性解消の精度向上 に十分大 き く貢献 す ると期待で きる. 故後 に,本研究で提案す る統合的確率言語モデル を用いた解析結果 とKNP
パーザ (黒橋 ,良 尾 1994)による解析結果 との比較 を行 った.KNP
パ ーザは形態素解析 システムJ
UMAN(
松本, 栗橋 ,宇津 呂,妙木,長尾 1994)の形態素解析結果 を入力 と し,文節の区切 りを認定 してか ら文 節の係 り受 け解析 を行 う.そこで,3
.
3
節の実験で用いた 500個 のテス ト文の うち,J
UMAN
の 形態素解析 結果 による形態 素区切 りお よびKNP
パーザ に よる文節 区切 りの結果が コーパ ス と 一致 した3
8
8
文 を対象 に,両者の係 り受 け解析結果の比校 を行 った.結果 を表4
に示す. 表 4KNP
パーザとの比順 本手法 8.765% 8.345% 本手法 はKNP
パ ーザ よ りも文節の正解率で 1%程度 劣 ってい る.今回の実験 では,統合的 確率言語モデル に組み込む語菜的従属 関係 として,格要素 と動詞 との従属関係,助詞 と係 り先 用言 との従属 関係,格 聞の従属 関係 などを考慮 した. しか しなが ら, これ以外 に も,暖昧性酔 消 に有効で あ ると考 え られ る語菜的従属 関係 が数多 く存在 す る.特 に,今 回の実験 で は連体修 飾に関 しては語桑的従属 関係 を何 も考慮 していないので, その こ とによる解析誤 りが多か った. 例 えば,｢彼女の紫色の帽子が風 に飛ば された｣ とい う文 においては,文節 "彼女-の"が(
a
)
"紫 色-の"に係 る,(
b)
"帽子-が"に係 るとい う2
つの解釈 が ある. ところが,連体修飾す る "彼女" につ いては語幕 的従属 関係 を考慮 していないので, よ り近 い文節 に係 る解釈 (a
)
に高い確 率が 10この後1;r;;調節には,"太郎 の など,実際には体言を修飾する文節も含まれる, - " 102白井,乾,徳永,田中 統計 的構 文解析 におけ る構 文的統計情報 と語 免的統計情報の統合 につ いて 与 え られて しまう. これ を回避す るため には,以下の ような従属係数 を学習 し語旋 モデル に加 えれば よい.
P(lN
nF
l2)
n]
D(n I n]-
lNl2)
(2
5)
P(lN)
nL
式(
5)
2
の分子PnJn]
(lNl2
)は,ある名詞N
がn2
を連体修飾 しているとき,その名詞 として単 語 nlが生成 され る確率 を表 わ してい る.この ような従属係数 を考慮す ることにより ,"彼女"は "紫色"よ りも "帽子"を連体修飾 す るこ とが 多い,す なわちD(
彼女I
N
l紫句)
く
くD(
彼女I
N[
帽子])であ ると考 え られ るので,正 しい解釈 (b)に高い確率 を与 えると期待で きる. この よう に,統合的確率言語 モデル に新 たな種類 の語菜的従属関係 を反映 させ るときには, それ に対応 した従属係数 を新 たに語菜 モデル に加 えるとい う形で容易 に対処 で きる. これは,語菜 的従属 関係 を局所化 して構文的優 先度 な どの他の統計情報 と独立 に学習す るように, また異 な る種類 の語菜的従属 関係 は異な る従属係 数 として独立 に学習す るようにモデル を設計 したこ とに依 る. 一 方,後置詞節 のみで評価 した場合 には,本手法 と KNPパ ーザの文節の正解率 はほぼ等 しい. とはいえ,後置詞節の係 り先の特 定 に失敗す る場合 も少 な くない.我 々は現在 その原因 を調査 中であ り, その一部 につ いては既 に報告 している (Shirai,Inui,Hozumi,andTbkunaga1997).今後,暖昧性解消 に有効 な統計情報 を新 たに組み込 んだ り, また解析誤 りの原因を調査 しそれ らに対処す ることによ り,係 り受 け解析 の精度 向上 を図 ってい きたい.
4
おわ も
招二
本研究では,形態素解析 ｡構 文解析 を同時 に行 う際に,構 文的な統計情報 と語葉的な統計情 報 を組 み合 わせて暖味性 を解消す るひ とつの手法 を提案 した.我 々の手法 の特徴 は,構文的優先 皮,隣接す る品詞 間の共起 関係,距離 に関す る優先度 といった構 文的な統計情報 を構 文 モデルP()
R
として,単語の出現頻度お よび単語の共起 関係 を語菓 モデルPWI)
( R
として, それぞれ 独立 に学習す る点 にある. この こ とは,個 々の統計情報 を異 な る言語資源か ら学習で きるだ け でな く ,唆味性解消時 における個 々の統計情報の働 きを容易に分析す ることがで きる.実際に, 京大 コーパ スを用いて構 文モデル を,RWC
コーパ スやEDR
コーパ ス を用 いて語張 モデル を学 習 した. また, これ らの確率 モデル を用 いた 日本語文の文節 の係 り受 け解析実験の結果,構 文 的な統計情報 と語菜 的な統計情報 のそれぞれが暖味性解消 に大 き く貢献す ることを確認 した. 最後 に今後の課題 につ いて述べ る. まず,統合的確率言語モデルが本来想定 してい る形態素 解析 と構 文解析 を同時 に行 い, その有効性 を実験 的に確認す るこ とが挙 げ られ る. また,今 回 / の実験で は文長の比校的短 い文 を対 象 に したが,文長の長い文の係 り受 け解析 を行 うこ とに よ り,統合的確 率言語 モデルの特性 をさらに調査す る必要が あ る, 文長の長 い文においては,二 重格 を取 りに くいな どの格 間の従属 関係 が さらに有効 に働 くのではないか と予想 され る.最後 に,統合的確率言語 モデル と他 の統計 的構 文解析 に関す る研究 とを実験的 に比較す るこ とが挙 103自然雷函吾処理 Vo 5l. No.3 J luy 1998 げ られ る.樽 に今 回の実験 は 日本 語 を対象 に したが,構 文 的 な統計情報 と語弘 的 な統計 情報 を 独 立 に学 習す るアプ ローチが英 語 な どの他 の言語 にお いて も本 当に有 効 で あ るのか ど うか は今 後調査 して い く必要が あ る と思 われ る. 謝辞 本研 究 にあた り, 日本語語張 体系 を提 供 して下 さい ま した NTTコ ミュニ ケー シ ョン科 学 研 究所知識処 理研 究部翻 訳処理研 究 グル ープ に感謝 いた します.
参考 文献
･ rs a ize se l nera ･( Ge dP )withUn Ba d Grmma " i on-B tca il
lJ, T･ dCarro Ch , Coll M.( an i rscoe, ik arna ins, B 1993)I tura an iona i ars tta u i Co its l i b b ro a cLR P ngofNa lL mp lL -ics, i itngus Corpora 9. 5 -5 e( guag ) 2, 1 ( " 19 r a f -t -t onex t Parsni i lca gwihaC reeGrmma its tta S " ). 7 9 9 1 ( . E an r igence. Itn l α i7c j i t r dWo ell " i ･cs its tta dS o dle se f onerenc iona t cee softeNah lC eonA dMo sfrS ing d Pro In P Iro ) 7 9 9 1 ･"ThreeGenerative e,L ixcali ttaitsicalParsngi ･" In o io it oca h in t nnua hceeingsofteA lMee g0fteAss nf 3. d 2 -6 1 iona tt pua om rC lLingusitics pp, . i tegores i lca t n e i sn t i t nsw Experi " ) 6 9 9 1 (
