係り受け関係からの格フレーム辞書自動生成システム
全文
(2) 機械学習の一つである帰納学習と,進化的計算. ある自然言語表現から,意図を抽出する能力を. 手 法 の 一 つ で あ る GP を 用 い て 学 習 す る , 格 決. 有すると捉え,この言語能力の,構文構造から. 定ルール学習システムに付いて述べる.. 文を構成している要素,すなわち意味要素の間 の意味構造を同定する能力の獲得を目指す. 意味構造を同定するには,意味解析器が構文. 2. 意 味 解 析 で の 格 フ レ ー ム の 位 置 付 け 本稿における意味とは,文の構成要素が持つ. 解析の結果を受け取り,汎用的な推論エンジン. 意味,すなわち意味要素と,その相互関係が示. に渡す.推論エンジンは意味構造を同定するた. す 意 味 ,す な わ ち 意 味 構 造 を 併 せ た も の で あ る .. めに必要な知識を知識ベースから参照して用い. 意味要素には文節と形態素を用い,意味要素が. る.格フレーム辞書はこの知識ベースに含まれ. 持つ意味は,語義辞書や語彙体系等を用いる.. ており,目的,用途に応じて交換可能である.. 意味関係は格文法に従って格フレームを用いて. また,格フレーム辞書は,文中の意味構造を作. 表現する.. 成するだけでなく,文の意味を説明するのにど のような情報が不十分であるかを知るためにも 利用される.. 2.1. 意 図 理 解 モデル 自然言語で書かれた文章の意図を人間が理 解 す る 過 程 を モ デ ル と し て 図 1 に 示 す .こ れ は ,. 3. 格 決 定 ル ー ル. 与えられた自然言語を表現する音声や文字画像. 一般に日本語において,述語に対してある語. か ら ,音 声・文 字 認 識 ,形 態 素 解 析 ,構 文 解 析 ,. が割り当てられる格は,格助詞・係助詞によっ. 意味解析,文脈解析,意図解析を順に行うもの. て決まるとされている.しかし,同じ格助詞で. である.本稿で扱う意味解析は,この意図理解. あっても異なる格を持つ場合がある.また,格. モデルにおいて,構文構造を基に意味構造を同. 助詞がなくても,語の意味から格をある程度特. 定する処理系である意味解析器によって行われ. 定できる.このことから,格を決定するルール. る.. は,助詞等の自立語に付随するもの,意味要素 間の依存関係,その他得られる情報を基に生成 自然言語. する必要があると考える. そこで,既存の助詞に基づく格解析システム. 音声. 文字画像. によって格を割り当て,係り受け結果にある情 報を出来るだけ用いて,それらを訓練事象とし. 文字列. て新たな有限の格を決定するルールを獲得する. 格を決定するルールを,決定木を用いて表現す. 単語・語義. る.これを格決定ルールと呼ぶ.決定木とは,. 意味解析. 中間ノード(リーフ以外のノード)がテストさ. 構文構造. れるべき属性を,枝がその属性値を,またリー 推論エンジン. フノードがクラスを表している木構造である.. 意味構造. また,得られた格決定ルールの精度を高めるた めに,遺伝的プログラミングの手法を用い,精. 文間の関係 文章の意図 意図理解. 度の向上を目指す.. 知識ベース. 格決定ルールは,係り受け結果を参照し格を 割り当てる.格決定ルールは,戻り値として. 語義,語彙辞書. 1 )一 つ の 決 定 木 で 全 て の 格 の 割 り 当 て を 行 い ,. 格フレーム辞書. 参照した係り受けに割り当てる格を返す. 2)それぞれの格ごとに決定木を持ち,その格. 図1. を 割 り 当 て る か ど う か を true/false で 返 す .. 意図理解モデル. の 2 つの場合が考えられる. 格決定ルールは大きく分岐条件部である. 2.2. 格 フレームの位 置 付 け. Condition Cell と ,実 行 部 で あ る Action Cell の 2. 人間が文章の意図を理解するのは,記号列で. −68− -2-E.
(3) つ に 分 類 さ れ る 要 素 か ら 構 成 さ れ る .Condition. てられた格との組を訓練データ集合とし,係り. Cell は 実 際 の 比 較 演 算 に よ る. 受け解析の結果を参照して格を割り当てる分類. Condition. Statement Cell と , 論 理 演 算 の And, Or, Not の. 規則を格決定ルールとし,決定木で表す.. Operator Cell を 含 む . Action Cell は 入 力 さ れ た. 係り受け情報は係り受け文節情報,文節情報,. 係 り 受 け 情 報 に 実 際 に 各 を 割 り 当 て る Action. 形態素情報からなり,形態素情報以外の階層は. Statement Cell と , 再 帰 的 に if-then ル ー ル を 扱. 可変長である.これを決定木の帰納学習法を適. え る よ う に , if-then-else Operator Cell を 含 む .. 応するために,固定長にする.これを訓練デー タの属性値とし帰納学習を行う.図4に係り受. Case i. Case 0. Case 1. Case 2. け情報の変化を示す.. …. 係り受け文節情報. true / false. toP. 係り先文節. fromP i. 係り元文節 i. ID. 文 節 ID. 文節情報. …. next. 係 り 先 文 節 ID. type. 係り受けタイプ. main. 主 辞 ID. func. 機 能 語 ID. P. スコア. Wj. 形態素 j. word. 表層語. 獲得するプロセス」のことであり,概念学習. read. 読み. ( concept learning) と も 称 さ れ る . 対 象 の 属 性. bform. 原型. 図2.決定木. 3.1. 帰 納 学 習 法 C4.5 帰 納 学 習 法 ( 帰 納 推 論 ) と は ,「 大 量 の デ ー タ,即ち訓練事例から,そのデータを説明する 形態素情報. 一般的な概念を小さな有限の表現として抽出・. 値とそれが属するクラス(集合)の対である,. pos. 品詞. 訓練データ集合から,そのデータをクラスに分. c-type. 活用型. 類する決定木を生成するのが,決定木の帰納学. c-form. 活用形. 習 で あ る . こ の 学 習 法 は Quinlan に よ っ て 開 発. pecu. 固有表現タグ. さ れ た 汎 用 の 学 習 手 法 で あ る [3][4][5]. 決 定 木. toP. ・・・. fromP 0. fromP i. の 帰 納 学 習 法 ( C4.5,ID3) で は , 訓 練 デ ー タ の 集合から有限個の属性の連言形で表現可能な既 知のクラスへの分類規則を決定木の形で帰納的. ID next type main func. P. W 0 ・・・ W j. に 学 習 可 能 で あ る .し か し ,帰 納 学 習 だ け で は , 訓練データがノイズを含んでいる場合,属性地 が不明な場合,連続値の場合などに対処しきれ. word read bform pos c-type c-for pecu. ない. 以 下 に 帰 納 学 習 C4.5 に よ り 決 定 木 の 帰 納 学. 制約. 習アルゴリズムを示す. toP. fromP. 3.2. 係 り受 け解 析 への適 応 係り受け解析の結果は,既存の係り受け解析 ツ ー ル で あ る cabocha[6]を 同 格 , 並 列 の 情 報 を. ID-next. type. P. Wm. Wf. bform. pos. c-type. c-form. pecu. 出力できるモデルを用いて得る.得られた係り 受け解析の結果は係り先文節を親とし,係り元 文節を子とする木構造に変換する. 係り受け解析の結果と,係り元文節の助詞に 図4.係り受け情報の変化. 着目した,既存の格決定ルールによって割り当. −69− -3-E.
(4) 3.2.1. 形 態 素 情 報. 3.3. GP オペレータ. cabocha の 出 力 に 現 れ る 形 態 素 解 析 の 結 果 を. 3.1 で 述 べ た と お り , 帰 納 学 習 の み で は , 高. 元に,形態素の情報を扱う.形態素情報は,表. い精度の決定木を生成できるとは限らない.そ. 層語,読み,基本形,品詞,活用型,活用形,. こ で GP( Genetic Programming) [7]を 用 い る .. 固有表現タグを持つ.ただし,形態素情報の表. GP は GA( Genetic Algorithms)の 表 現 で あ る 遺. 層語,読みは,基本形と活用型,活用形から導. 伝 子 型 を ,構 造 的 な 表 現 を 扱 え る よ う に 拡 張 し ,. き出されるため,これらは格を決定する情報と. プログラム生成や学習,推論,概念形成などに. しては用いない.品詞,活用型,活用形,固有. 応 用 す る こ と を 目 指 し た も の で あ る . 3.2 で 得. 表 現 タ グ は 予 め 定 め た リ ス ト を 参 照 す る index. られた格決定ルールである決定木の精度向上の. 値で表す.. た め , 図 5 に 示 す よ う な GP オ ペ レ ー タ を 用 い る . GP の オ ペ レ ー タ に は G-inversion( 逆 位 ), G-crossover ( 交 叉 ), G-mutation( 突 然 変 異 ). 3.2.2. 文 節 情 報 文 節 情 報 は ,cabocha の 出 力 に 現 れ る「 *」 で. を 用 い る . こ れ は GA オ ペ レ ー タ を 決 定 木 に 適. 始まる文節の開始位置を意味する行を元に,文. 応するための自然な拡張である.各オペレータ. 節 の 情 報 を 扱 う .文 節 ID,係 り 受 け 先 文 節 ID,. の適用率は,その世代の個体数に対して適応す. 係 り 受 け type, 主 辞 ID, 機 能 語 ID, ス コ ア ,. る個体数の割合である.以下に各オペレータに. 形態素情報集合を持つ.. ついて述べる.また,決定木の評価値である適. 文節情報は,その文節に複数の形態素を持つ. 合度と,自然淘汰について述べる.. ため可変長である.これを,帰納学習を行う際 逆位. に文節がもつ主辞と機能語がそれぞれ一つであ る事から,これらの情報を主にし,残りの形態 素情報を付加させる形で固定する. しかし,主辞と機能語の情報だけでは不十分. 交叉. ではないかと考えられるが,帰納学習の際の, 文節情報の固定長化と,同じ意味をもつ属性値 の比較に有効と考えられる.但し,品詞がサ変 動詞の動詞が主辞の場合,直前の名詞を主辞と 置き換える.. 3.2.3. 係 り 受 け 文 節 情 報 係 り 受 け 文 節 情 報 は cabocha の 出 力 か ら , 文 節を係り先文節と,その文節に係っている係り 元文節の組を取り出して扱う.係り先文節は述 語であり,係り受け文節情報に唯一存在する. 係り受け文節は同一文中の述語に係る全ての文. 突然変異. 節である.すなわち,述語に複数の文節が係る ため可変長である.これを,帰納学習を行う際 に,係り元文節と係り先文節を一対一の組に分 割する. ただし,同じ述語にかかった語は,異なる格 を持つので,同じ係り先文節に係る文節は,. 図5. cabocha で 係 り 受 け の タ イ プ が D ま た は O と 判. GP オ ペ レ ー タ. 定された場合,異なる格を持つという制約を加 える.同格または並列と判定された場合,その. 3.3.1. 逆 位 決定木同じノードが持つ子ノードの位置を. 係り先文節がかかる,文末以外の文節に係ると し,同じ格を持つという制約を加える.. 変 え る .格 決 定 ル ー ル で は ,if-then-else Operator. −70− -4-E.
(5) Cell の 実 行 部 を 交 換 す る . Condition Cell で は ,. る.そして,ある世代で設定した個体の上限を. And と Or が 複 数 の 子 を 持 つ が ,逆 位 オ ペ レ ー タ. 超 え る 世 代 で ,淘 汰 処 理 を 行 う .淘 汰 処 理 で は ,. を 適 応 し て も ,役 割 が 変 わ ら な い た め 用 い な い .. 適合度が高いものほど次世代に残りやすく,逆 に低いものほど残りにくくする.そこで,個体 集 合 を キ ュ ー で あ る と し , 世 代 t に 対 し て GP. 3.3.2. 交 叉 二つの決定木のノードをそれぞれで選び,そ. オペレータを適用した中間集合から,個体を一. のノード以下の部分木を交換する.図5ではそ. つ pop し , そ の 適 合 度 を そ の ま ま , 次 の 世 代 へ. れぞれの決定木から,一つのノードを選択する. 残る確率として判定する.もし,残ることにな. 一点交叉である.決定木の交叉には,複数箇所. れ ば ,次 の 世 代 の 集 合 に push し ,残 ら な い こ と. のノードを交換する複数点交叉や,二つの決定. に な れ ば ,元 の 中 間 集 合 の 最 後 に push す る .次. 木の共通部分をさがし,効率よく交叉を行う一. の世代の個体数が設定数に達したときに,淘汰. 様 交 叉 ( uniform crossover), 二 つ の 決 定 木 の 同. を終了する.図6に淘汰処理の流れを示す.. じ位置に対応するノードで行う狭義の交叉,同 じ決定木の二つノード間の交差がある.. 世代 t. 中間集合. 世 代 t+1. 3.3.3. 突 然 変 異. P. 決定木のノードのラベルをランダムに変化 さ せ る .Condition Cell で は 参 照 す る 係 り 受 け 情 報 の 遺 伝 子 座 の index 値 と , そ の 遺 伝 子 座 の 属. Operator. 淘汰. 性 値 の 範 囲 を 乱 数 に よ っ て 変 化 さ せ た り , And と Or の オ ペ レ ー タ を 入 れ 替 え た り す る .Action 図6.淘汰処理. Cell で は , 実 行 文 の ノ ー ド の 返 す 値 を 乱 数 に よ っ て 変 化 , ま た は true, false を 入 れ 替 え る . If-then-else Operator Cell は 逆 位 と 同 様 に な る .. 4. 格 フ レ ー ム. 3.3.4. 適 合 度. 唱 え ら れ た 格 文 法 ( case grammar) に 従 い , 意. 格 フ レ ー ム( case frame)は Fillmore に よ っ て 決定木の精度を,適合度として t 世代の集団. 味要素が述語に対して果たす役割・機能に格. P(t)の 固 体 , す な わ ち 格 決 定 ル ー ル の 仮 説 h∈. ( case ) を , 意 味 構 造 と し て 格 構 造 ( case. P(t)が , 格 の 割 り 当 て が 終 了 し て い る 評 価 用 デ. structure) を 表 現 す る . た だ し , 本 稿 で は , 表. ータに対し,正確にただし区画を割り当てられ. 記 上 現 れ る 構 文 的 な 表 層 格 ( surface case) で は. たデータの割合を決定木の適合度として用い. な く , 意 味 上 の 役 割 で あ る 深 層 格 ( deep case). る ., あ る 種 の MDL ( Minimum Description. を指す.従って格フレームは,述語に着目し,. Length) 基 準 と し て , 決 定 木 の サ イ ズ が 小 さ い. その述語がどのような格を持つか,又どのよう. ほ ど ,適 合 度 が 高 く な る よ う に 設 定 す べ き だ が ,. な意味要素が格となるかを示すものである.格. 決定木がどの程度の大きさになるか検証してか. の定義については,基本となる動作主格,経験. ら採用する.. 者格,道具格,対象格,源泉格,目標格,場所 格,時間格の八種の格を用い,必要に応じて修 正する.この格は名詞節が述語に対して持つ役. 3.3.5. 淘 汰 GP で は 通 常 ,初 期 集 団 を ラ ン ダ ム に 上 限 個 体 生成し,世代を重ねるが,格決定ルールの決定 木は,初期集団が 1 個である.これは,帰納学 習によって,決定木を一意に獲得するためであ る .そ こ で ,GP オ ペ レ ー タ を 同 一 の 親 に 対 し て も行えるようにし,また,親自身も次世代に残 るようにする.こうすることで,少ない母集団. 割を示すものだが,同様の手法によって,他の 品詞間についても獲得可能である. また,格フレームには以下で説明する格フレ ームオペレータによって生成する過程を保存す るために,その格フレームが生成された元の格 フレームの情報を残すことが出来るようになっ ている.これをサブ格フレームと呼ぶ.. から,より多くの次世代を生成することが出来. −71− -5-E.
(6) 4.1. 格 フレーム辞 書. 4.2.3. 統 合. 格フレーム辞書は図 7 のような述語の集合と,. 統合オペレータは,二つの機能を持つ.一つ. その述語が持ちうる格と,その格を割り当てら. は,同じ述語を持つ格フレームを一つにまとめ. れる意味要素の集合をひとまとめにしたものが. る.それぞれの格において類似度を求め,類似. 登録されている.意味解析器は,文中の述語に. 度が高ければ和集合をとり新しい格フレームと. 対する格フレームを検索し,その述語に係って. する.類似度はシソーラスを基に,集合の大き. いる語にどの格が割り当てられるかを調べる.. さを踏まえて決定する.図8に,統合オペレー. また,格フレーム辞書の格に要素が含まれてい. タの簡単な例を示す.. るが,文中の語に格を割り当てられない場合,. もう一つは,同様の格を持つ述語を一つにま. そのスロットを示し,格が不足していることを. とめる.ある程度の大きさを持つ格フレーム間. 表す.. で同様にそれぞれの格においての類似度を求め, 類似度が高ければ述語を一つにまとめ,新しい 述語. 格フレームとする.格フレーム辞書は,主にこ. 行 く ,向 か う … ( A) ( E). null. ( I). 車 ,電 車 …. ( O). null. ( S). 家 ,ふ も と …. ( G). 学 校 ,海 外 …. ( L). null. ( T). の統合オペレータを適用する事で生成される.. 私 ,家 族 …. 述 語 (A). (E). 行く 私. null null null. 行 く 家 族 null. (I). 車. (O). (G). (L). (T). 家 学 校 null 明 日. null null 海 外 null. 電車. 夏 ,明 日 …. (S). 夏. 山. SubCaseFrame{行 く , 向 か う } 行く 私 図7.格フレームの例. 家族. null. 車 徒歩. null. 家 学 校 null 明 日 山…. 夏. 図8.統合オペレータ. 4.2. 格 フレームオペレータ 格フレーム辞書は係り受け情報に格を割り. 4.2.4. 分 類. 当てたデータから格フレームオペレータを使用. 一つの格フレームの,それぞれのスロットの. し て 生 成 す る .オ ペ レ ー タ は CF-generate( 作 成 ), CF-delete( 削 除 ), CF-join( 統 合 ), CF- divide. 要素について,集合を二つに分割する.分割し. (分類)の四種類を用意する.. た集合間で類似度を求め,類似度が低い分割が 出来た場合,格フレームからその集合を取り除 き,新しい格フレームとする.この際,サブ格. 4.2.1. 作 成 格を割り当てられた係り受け情報を入力と. フレームを参照して,実際の用例に近い組み合. し,格フレームのインスタンスを出力する.こ. わせになるよう,他の格から同時に要素を移動. のインスタンスは最小の格フレームとなり,実. する.. 際に文に現れた具体例となる.. 5. 格 フ レ ー ム 辞 書 自 動 生 成 シ ス テ ム 本 シ ス テ ム は ,生 コ ー パ ス に 対 し て ,cabocha. 4.2.2. 削 除 格フレーム辞書に登録されている格フレー. を用い,形態素解析・係り受け解析を行った結. ムを入力とし,削除する.ただし,その格フレ. 果を入力とし,格フレーム辞書を出力とする.. ームが持つサブ格フレームを格フレーム辞書に. また,格フレームに用いる深層格は,前記した. 登録する.. 八種類の深層格を用い,出力結果を検討した結 果,修正が必要と判断した時に修正を行う. 学習対象の入力は標準入力とファイルシス. −72− -6-E.
(7) テ ム か ら , cabocha に よ っ て 係 り 受 け 解 析 済 み. る 処 理 に 付 い て ,帰 納 学 習 ,GP の 考 え を 導 入 し ,. のテキストデータを受け取る.格フレーム辞書. より高精度のシステムを提案した.. の 出 力 は ,Object Stream,text,DB, XML な ど. 今 後 ,GP の 効 率 化 を 図 る .こ れ は GP の 遺 伝. 選択可能にする.また,出力された格フレーム. 子 表 現 の 簡 略 化 と ,GP の オ ペ レ ー タ の よ り 知 的. 辞書を検討するために,途中経過をファイルで. な操作を指す.例えば,交叉を行う際に,親の. 出力し,編集する機能を持たせる.このシステ. 決定木の,精度の高い部分木同士を組み合わせ. ムは,係り受け解析情報と,格決定ルールがあ. る. また,格決定ルールを学習させるには,訓練. れば,自動的に辞書を生成する事が出来る.図. データが少ないというボトルネックに対して,. 9にシステムの概要を示す. 格決定ルール学習システムは,格フレーム辞. GA オ ペ レ ー タ を 用 い る 事 で , 少 な い 訓 練 デ ー. 書 自 動 生 成 シ ス テ ム に 必 要 な 格 決 定 ル ー ル を ,3. タから,より高い適合度の決定木を帰納学習す. で述べた手法で生成する内部システムである.. る方法を検討している. 格フレームオペレータに付いては,類似度の. 係 り 受 け 解 析 の 結 果 を 入 力 と し ,帰 納 学 習 と GP. 計算アルゴリズム,メタフレームの設計,述語. によって生成される決定木を出力する. 格決定システムは,係り受け情報を入力とし,. 部分に名詞,形容詞,形容動詞が入るように拡 張を目指す.. 格決定ルール学習システムによって得られた格 決定ルールに従って,それぞれの要素に対して. 参考文献. 格を割り当てる内部システムである. 格フレームオペレートシステムは,格決定シ. [1] Baker, Collin F., Fillmore, Charles J., and Lowe, John B. The Berkeley FrameNet project, Proceedings of the COLING-ACL, Montreal, Canada, 1998 [2] 河 原 大 輔 ,黒 橋 禎 夫 ,用 言 と 直 前 の 格 要 素 の組を単位とする格フレームの自動構築, 自 然 言 語 処 理 , Vol.9, No.1, 2002.1 [3] Quinlan,J.R.,C4.5 Programs For Machine Learning, Morgan Kaufman Publishers,Inc. (1993)(古 川 康 一 監 訳 ,“ AI に よ る デ ー タ 解 析 ”, ト ッ パ ン , 1995) [4] 手 塚 勝 , 帰 納 的 学 習 法 C4.5 に よ る 知 識 の 獲 得 と そ の 評 価 , 平 成 12 年 度 学 位 論 文 概 要 集 pp.124-125( 2001) [5] 吉 田 倫 洋 ,遺 伝 的 ア ル ゴ リ ズ ム に よ る 規 則 の 獲 得 ,2001 年 度 芝 浦 工 業 大 学 シ ス テ ム 工 学部電子情報システム学科総合研究論文 [6] 工 藤 拓 , 松 本 裕 治 , “チ ャ ン キ ン グ の 段 階 適用による日本語係り受け解析,” 情報処 理 学 会 論 文 誌 ,vol43,no.6,pp.1834-1842, 2002 [7] 伊 庭 斉 志 .遺 伝 的 プ ロ グ ラ ミ ン グ 入 門 .東 京 大 学 出 版 会 ( 2001). ステムから格を割り当てられた係り受け情報を 基 に , 4.2 で 述 べ た オ ペ レ ー タ を 用 い て 格 フ レ ーム辞書を作成する内部システムである. 開始 Cabocha 解 析 済 み の デ ータを文・文節・語のオ ブジェクトに格納する.. Cabocha 解 析 済みデータ. 文節情報から係り受け解析を係り受け先 の文節を根とした構造を維持して抽出. 述部に対しての格 を格決定システムに よって決定する.. 格決定システム. 抽出し格を決定した係り受け情報を格フ レームの候補として格納する.. 格フレーム辞書を生成する. 終了 図9.格フレーム辞書自動生成システム. 6. ま と め 本稿では,格フレーム辞書を生成するにあた り,もっとも大きな労力を要する格を割り当て. −73− -7-E.
(8)
関連したドキュメント
Restricting the input to n-vertex cubic graphs of girth at least 5, we apply a modified algorithm that is based on selecting vertices of minimum degree, using operations that remove
It should be noted that all these graphs are planar, even though it is more convenient to draw them in such a way that the (curved) extra arcs cross the other (straight) edges...
Some new results concerning semilinear differential inclusions with state variables constrained to the so-called regular and strictly regular sets, together with their applications,
We show that a discrete fixed point theorem of Eilenberg is equivalent to the restriction of the contraction principle to the class of non-Archimedean bounded metric spaces.. We
The study of the eigenvalue problem when the nonlinear term is placed in the equation, that is when one considers a quasilinear problem of the form −∆ p u = λ|u| p−2 u with
The linearized parabolic problem is treated using maximal regular- ity in analytic semigroup theory, higher order elliptic a priori estimates and simultaneous continuity in
Using a ltration of Outer space indicated by Kontsevich, we show that the primitive part of the homology of the Lie graph complex is the direct sum of the cohomologies of Out(F r ),
In the case of the KdV equation, the τ -function is a matrix element for the action of the loop group of GL 2 on one-component fermionic Fock space, see for instance [10, 20, 26]..