自然言語処理入門と活用
学位論文 首都大学東京 自然言語処理研究室（小町研）
... 第 6 章 おわりに ある言語の文を異なる言語の文へと機械が自動で書き換える，機械翻訳の研究が 盛んに行なわれており，近年，ニューラルネットワークを用いた機械翻訳手法であ る，ニューラル機械翻訳が提案された．ニューラル機械翻訳は softmax を出力の 語彙サイズで取るため，トレーニングをする際に時間が掛かるという問題がある． ...
37
PDFファイル 3I4 「自然言語処理におけるコーパス・辞書生成」
... ベクトルとして文脈情報と綴り字情報を統合したものを用いて おり，これらに対して正準相関分析によるマッチング (MCCA) 推定を行って，訳語候補の共起確率を計算した．この結果，言 語構造の関係が近しいとされる英語とスペイン語のコーパス や，英語とフランス語のコーパスに関して，彼らは，高い精度 のパラレルコーパス生成に成功した．しかし，英語と中国語 ...
4
PDFファイル 2A1 「自然言語処理」
... 1. はじめに 近年，インターネットの普及により，様々な人々が自由に 情報の収集や発信を行うことが可能となっている．特に，価 格 .com ∗1 ， Amazon.co.jp ∗2 などの通販サイトでは，様々な商 品に対する消費者の感想や評価が大量に投稿・公開されてい る．企業や消費者は，それら投稿された文書を読むことで，有 益な情報を得ることができる．例えば，企業にとっては，消費 ...
4
PDFファイル 3D4 「教育支援におけるテキスト・自然言語処理」
... Mean Square Error; RM SE) を示している。絵本の場合、先行 研究で用いられたコーパスに比べ、非常に有効 bigram が少な い絵本が相当数ある。しかし、教科書を用いた場合 (R = 0.94, RM SE = 1.207)[3] と、同等以上の精度が得られることがわ かった。 ...
4
自然言語処理20_657
... このようなアノテーションの基準とサイクルを考えた場合に，アノテーション基準の妥当性 はどのように評価されるべきだろうか．形式的な基準においては利用者系により評価されるべ きであり，当該基準を利用するコミュニティの規模などにより定量的に評価され，相互利用に おける障害の有無などにより定性的に評価されるだろう．後者の値割り当てとしての基準にお いては，構造学習器の構成を目的として研究を実施するのであれば，未知事例を含めた構造学 ...
25
PDFファイル 1A2 「自然言語処理」
... 1. はじめに インターネットの普及とともに非常に多くの文章が生成され てきた。近年ではソーシャルメディアの提供する評価ボタンな どが幅広く設置され、その内容を読み手に評価させる仕組みが 整備され、その数で競ったり順位付けされることも多い。なか でも商用で運用されるメディアでは、広告のクリック数や商品 の購入などを収益源としているため、読者層と文章の推敲の方 ...
3
PDFファイル 3I4 「自然言語処理におけるコーパス・辞書生成」
... Neutral と判断され、評価極性の推定精度が低くなる可能性が ある。したがって、適切な閾値を決定する必要がある。 2.2 ニューラルネットワーク言語モデルの辞書の改良 半教師学習を用いた辞書作成では、上記に示した適切な閾 値を決定するという問題があった。また、評価極性が分かって いる単語との共起頻度に基づいて推定を行なうため、コーパス における単語の出現頻度の偏りにより辞書の精度が左右されて ...
2
木オートマトン•トランスデューサによる 自然言語処理
... FTT ↓の合成方法 [Baker 79] • 2つのFTT ↓ M 1 = {Q,Σ,Γ,I 1 , R 1 }とM 2 = {P,Γ,∆,I 2 , R 2 } • M 1 の出力記号集合 ΓとM 2 の入力記号集合 Γは同一 • FTT ↓の合成 M 1 ◦ M 2 = {P × Q,Σ,∆,I 2 × I 1 , R }: ...
113
自然言語処理16_5_79
... 係り受け関係を用いる．このとき，係り受け関係で構成された事態の間に存在する共起パター ンを認識するためにも係り受けを用いることは自然であると考えられる．そのため，我々は係 り受け関係に基づく共起パターンを用いることにする． 事態間の関係を十分に表現しつつも事態対との共起が疎にならないような共起パターンを設 計することが重要である．なぜならば，事態間の関係を十分に表現するために共起パターンに ...
22
学位論文 首都大学東京 自然言語処理研究室（小町研）
... (a) と (b) ）．動詞誤りに関しては提案手法の正解数が多い． 一方で，無冠詞に関してはベースラインである FCE+word2vec と FCE+C&W の ほうが正解数が多い．提案手法のほうが無冠詞の正解数が少ないのは，誤りパター ンが単語ペアを抽出し作成されており，単語が欠落している誤りが含まれていない ためと考えられる． 1-gram ...
39
自然言語処理16_2_45
... Scientists say they have made more progress 1. ( hinput okWord=”in”i) developing malaria- resistant mosquitoes. The idea is to 2.( hinput okWord=”release”i) genetically engineered insects like these into mosquito 3. ( ...
14
PDFファイル 3I3 「自然言語処理による文書要約」
... i とする． i 番目の遺伝子が 1 である場合，文 s i は要 約に含まれ， 0 である場合は，要約に含まれないことを 示す．またこの時，生成された要約候補 S の要約長が制 約を満たす個体のみを生成する．これにより，解が安定 して収束しやすくなること，要約長の制約を満たす個体 が得られやすくなることが考えられる．個体生成の手順 としては，まずランダムに選択された i 番目の遺伝子座 に，文 s i ...
3
学位論文 首都大学東京 自然言語処理研究室（小町研）
... レーズに翻訳している誤りであり，後者は適切な位置に訳出できていないために意 味が異なる誤りである．ここで，フレーズは日本語における一つ以上の文節，英語 における句もしくは節を指す．変更した理由として，各翻訳手法で置換誤りと位置 誤りの傾向が大きく異なり，その差を反映させるためである．二つ目は，誤りの分 類が MQM の決定木の順番でなく，置換誤りと位置誤りを優先誤りとした点であ ...
46
PDFファイル 3I3 「自然言語処理による文書要約」
... 近年，大量の文書データと接する機会の増加にともない，文 書要約技術の必要性が高まっている．文書要約の一手法として は，要約生成問題を文の組合せ最適化問題として帰着させる方 法がある．最適化手法としては，動的計画法や分岐限定法など の厳密解法を用いた研究が多い．しかし，厳密解法には，要約 対象とする文書集合の大きさに従って，計算時間が膨大に膨れ 上がってしまうという問題が[r] ...
4
PDFファイル 3I3 「自然言語処理による文書要約」
... コメントを行うことができるため，多様な意見を交換する場と して多くの人に利用されている．しかし，インターネット上の 多くの BBS サイトでは，最大で 1, 000 までの投稿を書き込む ことができたり，誰でも情報を発信できたりするために，中に はトピックと関係のない投稿も存在し，トピックに関する情報 ...
4
PDFファイル 3I3 「自然言語処理による文書要約」
... [4] 向仲 : 術文書 機械翻訳 常識 文脈情報 利用，情報処理学会論文 ， 1990 年． [5] 畑山満美子 他 : 要語句抽出 新聞記事要約，情報 処理学会研究報告．自然言語処理研究会報告， 2001 年． ...
3
PDFファイル 2A1 「自然言語処理」
... 語表現 画像 結び付い い ． う 環境 利用 ，語 義 曖 昧 性 解 消 [Barnard 2003; Barnard 2005] や 格 解 析 [Bergsma 2011a] ，訳語推定 [Bergsma 2011b] 画像 活用 ， ， 言 語 表 現 参 照 先 画 像 中 特 定 [Krishnamurthy 2013] ， 言 語 表 現 動 画 中 動 作 結 び 付 [Regneri 2013; Yu ...
4
PDFファイル 2A1 「自然言語処理」
... 2. 色と文書可視性について 適切に色遣いがなされた文書は可視性が高いことはあきらか である．色の使い方に関する研究は配色理論や色彩論など[ヨ ハネスイッテン 1971]として，非常に古くからの研究がある．しか し，これらの研究成果は絵や図を主体とするヴィジュアル性の高 い文書には適用可能であっても，テキスト情報が主体となる教 育教材文書に対してはそのまま適用することが困難である．テ ...
2
PDFファイル 2A1 「自然言語処理」
... 1. はじめに 国立情報学研究所が推進している「人工頭脳プロジェクト― ロボットは東大に入れるか」は、人工知能による大学入試突破 を目標としており、その中で世界史・日本史といった歴史科目 のセンター試験では、自然言語で書かれている文が史実である かどうかを判断する問題が大部分を占める。入試問題の性質 上、「史実である文」と「史実ではない文」との間に明確な線 ...
4
学位論文 首都大学東京 自然言語処理研究室（小町研）
... 博士論文の審査を引き受けてくださいました山口亨先生、高間康史先生、岡崎 直観先生に感謝いたします。副査の先生方には、お忙しい中、丁寧に博士論文を 見ていただき、様々な観点からご指導をいただきました。 長岡技術科学大学の山本和英先生には、研究室配属から修士課程までの 3 年間 ご指導いただきました。研究の基本とプレゼンテーションについて丁寧にご指導 いただき、初めての学会発表であった NLP 若手の会で奨励賞を受賞することが ...
108