自然言語処理技術の現状と展望 -エラー分析プロジェクトを通して-：2．自然言語処理技術の概要

全文

(1)自然言語処理技術の現状と展望エラー分析プロジェクトを通して. 基応専般. 2. 自然言語処理技術の概要乾健太郎（東北大学）関根聡（ニューヨーク大学）. 自然言語処理の現状と期待. 自然言語処理は自然言語の機械処理，平たく言えば「言葉が分かる」計算機システムの構築を目指す研究領域である．もちろん，言語の理解というのは. 自然言語処理の基本タスク. 情報抽出や質問応答，機械翻訳など，自然言語. 遠大な目標であり，我々はまだ途についたばかりだ．. 処理のさまざまな応用タスクの核となる部分は，. しかし，今世紀に入って機械学習に基づく統計的ア. 図 -1 に示すような基本タスクの組合せに分解する. プローチが大きな成果を上げ，ビッグデータ時代の. ことができる．以下，それぞれについて概観する．. 到来とともに応用領域も急速に広がりつつある．. 形態素解析と固有表現抽出形態素解析は，入力文. 自然言語処理への期待は大きく 2 つある．. を単語に分割し，各単語の品詞を特定するもので，. 1 つは膨大な言語データに対する情報アクセスで. 自然言語処理の最も基本的なタスクである．「母. ある．Web や SNS を駆け巡り蓄積される言語情報，. / とそ / ば / の / 実」のような間違った分割でなく，. コールセンターや EC サイトに寄せられる質問や意. 「母 / と / そば / の / 実」のように正しい分割を. 見，研究者も追い切れない速さで急増する科学技術. 選択するにはどうすれば良いかが問われる．固有. 論文など，言語データはどこにでも溢れている．大. 表現抽出は，「そばの実」のような組織名のほか，. 量の文書を高速に読みこなし，内容を解析する技術. 人名や商品名など，入力文章に出現する多種多様. があれば，膨大な情報を分析し，有効に活用するこ. な名前（固有表現）を同定する処理である．固有. とができる．情報検索，情報抽出，質問応答，テキ. 表現は日々新しく生産され，ロングテールがきわ. ストマイニング，文書要約など，さまざまな応用技. めて長いため，すべての表現をあらかじめ辞書に. 術が研究され，商用化されている．また，1 つの言. 登録しておくことは難しい．膨大な数の固有表現. 語に閉じず複数の言語間での課題である機械翻訳の. をどのように収集するか，未知の固有表現をいか. 研究にも多くの研究者が取り組み，実用化されつつ. に文脈から推定するかが大きな課題である．. ある．. 構文解析文は単なる単語の並びではなく，階層的. もう 1 つは人間と機械のコミュニケーションであ. な構文構造を持っている．構文構造の表現方法に. る．音声認識の精度が飛躍的に向上し，アップルの. は主として，名詞句・動詞句・名詞節といった句. Siri のような音声対話アプリが多くのユーザを獲得. や節からなる句構造と，図の例のような単語や基. するまでになった．今後，モバイル端末やウェアラ. 本節（日本語では文節）の間の修飾関係からなる. ブルデバイスの普及によってこの流れはさらに加速. 係り受け構造がある．係り受け構造を特定する. すると想像される．. 6. 語にも適用できる．. 「係り受け解析」では，単語列を文節にまとめ上げ，. 本特集の導入として，本稿では自然言語処理の基. 文節間の係り受け関係を特定する．「母と」は「母. 本事項を紹介する．なお，以下ではもっぱら日本語. と子」のように並列構造になる可能性があるが，. の例を使って話を進めるが，本質的な問題の多くは. 図の例では「母」と「そばの実」の並列ではなく，「母. どの言語にも共通であり，ここでの考え方は他の言. と」は「行きました」に係る．この関係が正しく. 情報処理 Vol.57 No.1 Jan. 2016.

(2) 2．自然言語処理技術の概要. ) ＧＷに母とそばの実に行きました。. E^PV. 私はせいろを頼んだのですが、そばの旨みが活きていて絶品でした ??=. ?RWȗ UïȖE. < （a）形態素解析と固有表現抽出. hŋĔE. 3 2. 2 22 2 2 22 2

(3) 2

(4) 2 2. !0&. ,-. Vg6T VÇȧȒ. ＧＷに 2. ñ=ŰȀ. 母と. TO#6K. _#1"S7`. そばの実に行きました. 2 2 2. ,-. 2.

(5) 2

(6) 2 2. （c）述語項構造解析（表層）と照応・省略解析 . ÅnƅĔ S_DCEIBCG`. ('. Q. M R. （著者は）ＧＷに母とそばの実に行きました。. ŷ 2R1 H 1ǔ;a. S_G@HJ>FA` M P U. %. Q;T5. 28SK 9. 1 文の「著者」と第 2 文の「私」など）の解析と語義曖昧性解消図の例の「GW」は「ゲートウェイ」. CXƔƎ. （d）述語項構造解析（意味）語義曖昧性解消 . MJ2V. 53;#6. MJļĈ. 3.. 行く#1 _go` L

(7) a<私 L:

(8) a<母 L/N a<そばの実 L8 LLLa<ＧＷ. ,Űőǝ 6TļĈ UƓĭE. . ƓĭEj. 頼む#2 _order` L

(9) a<私 L4 a<せいろ L a<そばの実. _Y^[Z\]WV^X`. 活きている#3 L4a<旨み. 56-ă. 絶品だ#4 _excellent` L4a<せいろ. 1 ŷ R 2, 図 -1 自然言語処理の基本タスク ă ǋ ƃ Ǟ Ǩ Ö ƈ V ć ţ x . . 認識できないと，「母と」を“with mom”と翻訳 tr2f1wu£2QWT<,1}¦ . することもおぼつかない．. V意味役. ¤sq¦x2V?RQ4j-1ȟc2W1żő. 述語項構造解析と照応・省略解析自然言語では， E jȬ !""ȭ2V ľ ý Q ,1 ŀ Ȣ E jȬ ȭ2. j -a J ,. の意味で，「懇願する（beg）」とは少し違う．こに同じ表記を持っていたり，同じ単語がいくつか味的な情報を抽出したり，翻訳したりする場合に，それぞれの単語がどの意味を指しているかを文脈に照らして特定する必要がある．同義・含意関係認識自然言語には同じ情報を表現する（あるいは含意する）言い回しがいくつも用意されており，そのことが言語処理のさまざまな応用で障害になる．たとえば，「ざるそばが美味しい」と言っている口コミを検索したいときに，単純な文字列照合だけでは図 -1 の記述を見つけることはできない．「ざるそばが美味しい」と「せいろが絶品だ」の同義関係を認識する何らかの仕組みが必要である．. 自然言語処理の応用タスク. 前章で紹介した基本タスクの実現はさまざまな応. 文脈から容易に特定できる要素はしばしば省略さ. 用タスクの実現・高度化につながる．本稿では，紙. れる．図の例では，「そばの実に行った」のが誰か，. 面の制約から個別の応用タスクに言及することは控. RWĜCȄ6-?Vg6UǋƃǞǨQW,aM. Ǆ2fƧ. ク」のことである．「頼む」は「注文する（order）」. の語義を持っていたりするため，テキストから意. M. S_G@HJ>FA`. そばの旨みが活きていて絶品でした ^^). ǞǨQW,. ȭfƄĸ. 文の「せいろ」と「絶品だ」の関係）や照応関係（第. のように自然言語では，まったく違う単語が偶然. 私はせいろを頼んだのですが、. j?Re. ȜŰȀV. 図の例のように，省略（第 1 文の「著者」や第 2. や「ギガワット」ではなく，「ゴールデンウィー. ÚŰȀ. ,ă . 図 -1 (d) のように〈動作主〉，〈行き先〉などの意. 重なりがある．. ǨÚnő. -ǺǨR. る．述語と項の意味的な関係を区別したい場合は，. の解析は文の意味の解析への入り口である．また，. （b）構文解析（係り受け解析） *. 語項構造という．図の例では，述語「行く」が「私. 味役割の特定までをタスクに含める．述語項構造. VǖƇŔ ǤƫR5. や「何を」に相当する情報を項といい，全体を述が」，「母と」，「そばの実に」などの項を持ってい. . ＧＷに母とそばの実に行きました. <,ȓĠ. ない．「どうした」に相当する要素を述語，「誰が」. J<Ȅ6ëǨ:ÍƃUøDǖǡnňMP5Ji,. 「絶品だった」のは何かといった情報が明示的に. えるが，1 つの例として情報抽出の一種である意見. は書かれていない．つまり，構文解析だけでは「誰. マイニングを取り上げ，個々の応用タスクの中核的. が何をどうした」のような情報を十分に抽出でき. 問題が前章の基本タスクの組合せに分解できること. øDëǨ:5<N9VǨǀnňMP5JiEj. Ɲ 2T S ȭ. J d , v 9 h ľ ý Ƒ T ļ Ĉ n Ň × C J i , ǂǢCJiEjĉ÷U,HkIkVëǨ:SV. {¦s 2/5. 情報処理 Vol.57 No.1 Jan. 2016. 7.

(10) ƇEjȬ4j5WüľEjȭǞ5ĂC:5<N. 4 j -? ? Q1 ƹ þ K 2V/ ę ǰ 0,E T m L1 G. eƋľAkP8i,HV?R:ǞǨÖƈVű.. 5l2W,giŵƚUW1HXVĕ2Q×AkJ. TĸƋQȕĖUTj-Ã7X,1BjHX:ƿ. 1 G 5 l 2Q 4 j V Q ,H V Ȓ Å : m 9 k X ,1 ƹ. ýC52RǞMP5jò|nŭƵCJ5R;. þK2V/ǣÄVęǰ0R/ǣÄVƖƕƂ0:ƅ. U,ëƲTőđÚƄ÷K=QWă VǡǺnǚ. ĔQ;j-1HXVĕ2R1G5l2VȒÅnǧ. を例示する． N = j ? R W Q ; T 5 -1 B j H X : ƿ ý C 5 2 意見マイニングとは，ソーシャルメディア上の言 R1G5l:ƹþK2VøǀȒÅnǧǯEjÀ. "

(11) "

(12) "そばの実 ! " "せいろ !" "絶品だ ! " . 語データや社会調査の自由回答アンケートのような h9V¶Ʒb:ķǙQ4j- 文書集合から個人が発信する意見を抽出し，構造化情報として蓄積することにより，ユーザの関心に合 3. 自然言語処理の応用タスク. わせて検索したり，要約・分析したりすることを . 3.11 可能にする情報加工サービスである（本特集「 ƫQƶµCJćţxVĕƇWAaBa T レビュー解析」を参照）．図 -1Nの例文からは，そこ ĸ Ƌ x V ĕ Ƈ¥Ȫ Ī æU T : j -ţ Ƣ Q W ,. 図 -2 構造化された意見情報. ă Ű Ȁ æ A k J ľ ǚ ļ Ĉ . に含まれる著者の意見をたとえば図 Ƴ ș V Þ Ʊ 9 h É Ü V ĸ Ƌ x U-2 Ǟのような構 îEj?R 造化された情報として抽出する．単なる文字の羅列. のそれぞれの文字と文字の間が単語の切れ目になる. でしかなかった元の文章に比べて，図 -2 の情報は. か否かの 2 値分類問題が 1 列に並んだ系列ラベル付. 明示的な構造を持っており，情報の検索や分析に都. け問題と考えることができる．各単語に品詞を付与. 合がよい．. する問題も同様に系列ラベル付け問題である．同様. 図 -1 の入力文章から図 -2 の構造化情報を抽出す. に，係り受け解析は入力の各文節について係り先の. る過程で図 -1 の (a) から (d) のような基本問題を解. 文節を 1 つ選ぶ問題，述語項構造解析も入力の各述. 決する必要があることは比較的容易に想像できるだ. ǞǨ¦fƜ»ǭŨVǋƌĂƨp¤z¦Vg. 語の各項のフィラーをしかるべき候補の中から選ぶ. ろう．述語「絶品だ」が〈評価〉を述べる表現であ. 6TőŜȖ÷9hÉ³:ƏÆEjľǚnŇ×C,. 問題と見なせる．つまり，ラベル付け問題の組合せ. ることが分かっている（辞書に書かれている）とす. ŰȀæļĈRCPǒƣEj?RUgi,¦V. として定式化できる．機械学習，情報抽出，文書要. ȒĶU÷mGPŭƵCJi,ǙƱ¥ØŦCJiE ると，最初の目標は「何が絶品だ」と言っているの. 約といった応用タスクについても，中核的な問題は. j?RnôǈUEjļĈãĢ~¦Q4jȬţ かを解析することである．これは「絶品だ」の述語. 基本タスクの組合せと見なせるので，やはりラベル. ƅ Ȗ õ 1〈対象〉 ¡¦ ØŦ2níƄȭ-ă VÃő9 項構造の項を特定することに対応する．また，. 付け問題の組合せに帰着できる．. WŊ7j:,§NVÃRCPļĈŇ×V§ơQ4 jľǚr¤ynði¨>,É.VĸƋx. V®ũƑĀȠ: ƫVćţxVƷb÷mGU. ØǝQ;j?RnÃƛEj-. ľǚr¤yRW, ¦ qp¨V. ĄşǖƇǝŦeķǙQ4l6-AhU,Ň×Ak. JčŏVļĈnȣ½ľǚ@RUaRdPÈƗCJ. 5ĉ÷W,øǀ¥üľȒÅǧǯȬ1G5l:ƹþ. K2R1BjHX:ƿýC52ȭeÒMP<j- . 4. 経験的手法による言語処理 . ǋƃǞǨÖƈVćţxW5FkeǝȋVȇ ņǇV®9hŵC5ǝȋnȇņEj?RQ4jV Q,ìƈƑUWE^PØȣĀȠ4j5W ¸. hW, H ? U ü a k j Ǒ Ǆ V ľ ǚ n Ã 7 X ă 「絶 V 「何が」の省略を解消することでもある．ここで. =ĀȠUĤƖAGj?R:Q;j- このように言語処理の問題を一旦ラベル付け問題. g 6 T Ű Ȁ æ A，すなわち「せいろ」は，より正 kJļĈRCPŇ×Ej-ëTj 品だ」の〈対象〉. Ã7X,įĿƴǝŦVëǨØàW,ÒâőđÚ として定式化できれば，種々の統計的機械学習アル. őđVƾÚQC9T9MJÐVőƥUŸ^P,ă 確には「そばの実」で出された「せいろ」であるの. VHkIkVőđRőđVȑ:ëǨVÙkƒUT ゴリズムが適用できるようになる．基本タスク，応. で，その関係が分かれば， V ļ Ĉ W Ř ƛ Ƒ T Ű「 Ȁ絶品だ」の〈評価の対象〉 nňMP8i,ļĈVŭ. j9û9V²ËØȣĀȠ:§ÚUoKƯÚ 用タスクを問わず，幅広い問題で統計的手法が活発. と〈評価の着眼点〉が特定できる．「そばの実」と Ƶ f Ø Ŧ U Ȋ ÷ : g 5 - . ¸=ĀȠRǃ7j?R:Q;j-öëǨUþǤ に研究され，電子的な言語データの急増，機械学習. 「せいろ」の関係を認識するには，「そばの実」を飲 ă VÒâőƥ9hă VŰȀ æļĈnŇ×E. 理論の発展，計算機の能力の飛躍的な向上と相まっ n¸«EjĀȠeøűUƯÚ ¸=ĀȠQ4. 食店名と認識する固有表現解析も必要であろう．さ j ȃ Ơ Q ă V 9 h V g 6 T ć ţ Ā Ƞ n ǝ. 年の間に飛躍的な発展て，自然言語処理はこの j - ø ű U , Å i ñ = ǝ20 ŦW ÒâVöőƫUN5. らに，抽出された多数の情報を類似意見ごとにまと źEjķǙ:4j?RWŸǶƑėřUĽÏQ;j. を遂げた． PÅiÑVőƫn§Nȇ\ĀȠ,ǺǨȜŰȀǝŦ. めて俯瞰したい場合は，同義・含意関係認識（「せ. 人間が正解ラベルを付与した訓練事例集合から学 eÒâVöǺǨVöȜVq¦nC9j^;Ê. いろが絶品だ」と「ざるそばが美味しい」）も入っ. 習する教師あり学習の場合，解きたい問題とよく似 ǗV®9hȇ\ĀȠRǚTGj-Nai, . てくる．. た訓練事例を十分に用意できれば，良い性能が期待. 経験的手法による言語処理. できる．たとえば，新聞記事については日本語・英. Kl6-ǺǨ1ƹþK2:/ǣÄ0nǺ^jǖƇ. Q 4 j ? R : m 9 M P 5 jȬ Ǹ Ŝ U Ŝ 9 k P 5 j ȭ REjR,ŝÛVƒŲW1À:ƹþK2RǞMP. 8. ǯEjUW,1HXVĕ2nȦȥĩùRǧǯEj. ¸=ĀȠVƷb÷mGRCPĔīæQ;j-ŴŬ. 語ともに比較的大規模な正解付き訓練事例が早くか 3/5. 自然言語処理の基本タスクはいずれも解釈の選択. ら整備されたため，現在の形態素解析器や構文解析. 肢の中から正しい解釈を選択することであるので，. 器は新聞記事に対しては実用レベルの精度で解析で. 原理的にはすべて分類問題あるいはラベル付け問題. きる．しかし，技術論文や小説，あるいはメールや. に帰着させることができる．. ソーシャルメディアといった，大規模な訓練事例が. たとえば，形態素解析の単語分割は，入力文字列. 存在しないジャンルでは，同様の性能を得ることは. 情報処理 Vol.57 No.1 Jan. 2016.

(13) 2．自然言語処理技術の概要. 難しい．そこで，半教師あり学習，転移学習など，. 可能である．そこで，こうした広範な知識を大量の. 少量の訓練事例から，あるいは別のドメインの訓練. 言語データ（生データ）から自動的あるいは半自動. 事例からでも効果的な学習ができる手法がひろく研. 的に獲得する知識獲得の研究が精力的に進められ，. 究され，一定の成果を収めるに至っている．. 近年その成果が顕在化してきた（本特集「3.7 知識. 訓練事例の不足に対するもう 1 つの方策は知識の. 獲得」を参照）．. 整備である．幅広いタスクで有用な言語知識・世界. 知識獲得の高度化・大規模化は，現在はまだほと. 知識をあらかじめ整備し，これを効果的に使うこと. んど解けていない省略解析や文章の「行間」を読む. によって，訓練事例の不足を補うことができる．知. 深い文脈解析の研究に大きな変革をもたらすと期待. 識の整備と共有化に関する研究は言語処理全般にわ. できる．計算機システム自身が大量の文章から知識. たる重要な課題である．. を集め，集めた知識を使って文章の行間を読む．そ. （i）述語「行たとえば，図 -1 の係り受け解析では，. んな可能性が少し見えてきた．. く」が「○○と」で表示される項〈随伴動作主〉を. 近年劇的な復活をとげ，日進月歩の発展を見せて. とり，その要素には「人間」が入ること（格フレー. いる深層学習（ディープ・ラーニング）もこの流れ. ム），（ii）「母」は「人間」であること（概念階層）. の中で重要な役割をはたすだろう．深層学習の強み. を知識として持っていれば，「母と」が「行きました」. である特徴学習は知識ベースを支える意味表現・知. に係る解釈をうまく選択できると考えられる．こう. 識表現を一新する可能性もあり，今後の動向に注目. した知識は照応・省略解析でも有用である．「そば. したい．. の実」という名前の蕎麦屋が知識ベースに入ってい. （2015 年 11 月 11 日受付）. れば，固有表現抽出も容易になる．同義・含意関係認識では，「せいろ」と「ざるそば」，「（料理が）絶品だ」と「（料理が）美味しい」のような，語彙的な同義・含意関係の知識が必要である．. 大規模知識獲得の可能性. こうした語彙レベルの言語知識や世界知識は一般にきわめて長いテールを持ち（きわめて広範な低頻度表現の知識が必要），またドメインによる違いもあるため，人手で網羅的に収集するのはほとんど不. 乾健太郎（正会員）[email protected] 東北大学大学院情報科学研究科教授．1995 年東京工業大学博士課程修了，博士（工学）．同大学助手，九州工業大学助教授，奈良先端科学技術大学院大学助教授を経て，2010 年より現職．2014 年度本会論文誌編集委員長，同年度より本会自然言語処理研究会主査．関根聡（正会員）[email protected] New York University Associate Research Professor. 1998 年 NYU Ph.D．松下電器産業，University of Manchester，ソニー CSL， MSR，楽天技術研究所ニューヨークなどでの研究職を歴任．ランゲージ・クラフト代表．専門は自然言語処理，特に情報抽出，固有表現抽出，質問応答の研究に従事．. 情報処理 Vol.57 No.1 Jan. 2016. 9.

(14)