自然言語処理におけるデータ拡張
自然言語処理におけるDeep Learning
... TPRによるTask 3の解答例．文の意味解析結果から所属関係を取り出し，それをベクトルの外積で 表現する．各文の表現に対し，クエリ𝒇𝒇 𝑇𝑇 を左からかけて，内積が1に最も近い直近の所持者を特定 する (𝒎𝒎 𝑇𝑇 )．Maryは人物なので，𝒎𝒎 𝑇𝑇 をクエリとして，同様の処理で直近の所持者𝒈𝒈 𝑇𝑇 を得る 𝒎𝒎 𝑇𝑇 𝒇𝒇 𝑇𝑇 ...
53
自然言語処理16_2_45
... しかしこれらのプログラムを利用するには別途 Perl 実行環境をインストールする必要がある 上，抜き取りの間隔や語彙レベル範囲，抜き取る対象とする品詞を指定するための条件を変数 として入力する際にはプログラムを一旦書き換える必要があった．また TreeTagger のタグセッ トは学校英文法などで扱う品詞よりもはるかに厳密な分類を行うことから，例えば動詞を抜き 取り対象とする場合には，動詞に相当するタグである VB VBD VBG ...
14
PDFファイル 2A1 「自然言語処理」
... 一方，文書の内容を捉える手法として，トピックモデルが注 目されている．トピックとは，話題や意味のまとまりのことで あり，トピックモデルとは，単語の出現の背景にトピックを仮 定した言語モデルである．トピックモデルでは，各文書に出現 した単語の種類と，その出現回数の情報を基に，辞書などを用 いることなく，トピックの推定を行うことができる．推定され たトピックは，明示的にトピックの名前は得られないものの， 連 絡 先 : 加 藤 ...
4
PDFファイル 1A2 「自然言語処理」
... 下に示す評価結果は，このような条件による． 4.2 単言語 Wikification の評価 英語 (1,000 文 ) に関しては，全 3,898 箇所の NE に対し， 2,999 箇所について正しく単言語 Wikification が行えた ( 正解 率 ( 精度 = 再現率 ):76.9%) ．ただし，エントリが存在しないも ∗6 等価な情報を関係付ける owl:sameAs プロパティによる． ...
4
PDFファイル 1A2 「自然言語処理」
... The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014 4. 検証方法 ユーザの行動について効果の程度を検証するには AB テス トが有用である。ウェブにおける AB テストは、あらかじめ 検証したいページや構成・図表について、 2 種類またはそれ以 上のものを用意し、訪問者に対してそれぞれのものの出現が等 ...
3
木オートマトン•トランスデューサによる 自然言語処理
... Huang & Chiang 05のAlgorithm2 • 各状態で累積重み上位k個の仮説を効率的に求める • 例: 状態 q0 における累積重み上位3個の仮説を求め る (3 × 3 + 3 × 3 = 18通り) q 2 X(q 1 q 2 ) −−→ q 0.5 0 0.6 0.4 0.3 ...
113
自然言語処理16_5_79
... 係り受け関係を用いる．このとき，係り受け関係で構成された事態の間に存在する共起パター ンを認識するためにも係り受けを用いることは自然であると考えられる．そのため，我々は係 り受け関係に基づく共起パターンを用いることにする． 事態間の関係を十分に表現しつつも事態対との共起が疎にならないような共起パターンを設 計することが重要である．なぜならば，事態間の関係を十分に表現するために共起パターンに ...
22
自然言語処理19_3
... Key Words: Hyponymy relation acquisition, Object-attribute-value acquisition, Wikipedia 1 はじめに 上位下位関係は自然言語処理の様々なタスクにおいて最も重要な意味的関係の一つであり， それゆえ盛んに研究されてきた (Hearst 1992; Hovy, Kozareva, and Riloff 2009; ...
21
自然言語処理21_125
... まず，4 都市間で注釈結果を比較すると，表 5 から表 8 に関しては注釈の数の分布に大きな 差は見られない． 次に，表 5 から順に統計量からわかったことについて述べる． 表 5 の総発話数とシーンごとの内訳を見ると，いずれの市においても「その他」のシーンが 一番多く， 「回答」 ， 「質問」のシーンが残りの大部分を占めている． 「その他」のシーンは，図 4 の (5) ...
31
自然言語処理24_705
... 3 評価実験 一般に分散表現の評価法には単語間類似度の観点からのものと，分散表現を用いたタスクの 精度の観点からのものが存在する．単語間類似度から nwjc2vec を評価したものとして，分類 語彙表との対応をみた評価が報告されている (浅原，岡 2017)．そこでは主観的な評価ではある が，nwjc2vec が高品質であることが示されている．ここでは更に定量的な評価を行うために， ...
16
学位論文 首都大学東京 自然言語処理研究室（小町研）
... 上記の処理に加え，機械翻訳のモデル学習を妨げないよう，次の 3 つの前処理を 行った． 1 つめは，手順に対して行なった前処理である．手順は上記の例にあるよ うに，生データのままでは 1 行に複数の文（句点もしくはピリオドまで文とする） が含まれうる．また，この対訳コーパスは各手順において意味が同等になるように 構築されたため，必ずしも 1 ...
46
学位論文 首都大学東京 自然言語処理研究室（小町研）
... に置換する際，単語同士の類似度や，置換後の文が自然であるかを判断するために 言語モデルを使用した．言語モデルは文がどれほど自然であるかを判定するモデル であり，大規模なコーパスから作成される．文のスコアは一定区間の単語列がコー パス中でどれほどの頻度であるかに基づくため，文法が間違っているようなコーパ ...
37
学位論文 首都大学東京 自然言語処理研究室（小町研）
... 本研究では、平易な大規模コーパスを利用できない言語、特に日本語を対象と して、語彙的換言アプローチと単言語翻訳アプローチによるテキスト平易化を実 現する。まず、平易なコーパスを用いない語彙的換言アプローチとして、本研究 では日本語のための新しい言い換え知識獲得、意味的等価性フィルタリング、平 易性フィルタリング、文法性ランキングの各手法を提案する。また、平易なコー ...
108
学位論文 首都大学東京 自然言語処理研究室（小町研）
... (a) 上表は FCE-public だけ，下表は NUCLE だけで学習された Bi-LSTM と単語分散表現 のそれぞれのテストデータにおける誤り検出精度． Bi-LSTM + embeddings Precision Recall F 0 .5 FCE&L8 + word2vec 12.3±2.6 32.8±2.2 14.0±2.6 FCE + EWE-L8 50.5±3.4⋆ ...
39
学位論文 首都大学東京 自然言語処理研究室（小町研）
... 類タスクにおいて分類精度の向上に取り組んだ。 1 はじめに 近年、インターネットや SNS の普及によって、ユーザが商品やサービスなどの情報を 自由に発信する機会が増大した。中でも、ユーザのレビュー文やツイッターのテキストは ユーザの生の声を含むため、企業などにとっては貴重なものである。そのため大量にある これらのデータを解析し自動で評価極性を決定することは、より良い商品やサービスを提 ...
13
PDFファイル 2A1 「自然言語処理」
... PASCAL RTE は、テキスト間含意関係認識の評価タスク で提供されているデータであり、新聞などのテキストから「根 拠テキスト - 仮説文」ペアを作成したものである。このような 実世界のテキストを使った評価データでは、言い換えパタンの バリエーションが非常に大きいため、辞書などから抽出した言 語知識だけを使って厳密な証明を試みようとするとほとんどの 例は証明できない。そのため、我々は動的知識生成のコンポー ...
4
PDFファイル 3I3 「自然言語処理による文書要約」
... 近年，大量の文書データと接する機会の増加にともない，文 書要約技術の必要性が高まっている．文書要約の一手法として は，要約生成問題を文の組合せ最適化問題として帰着させる方 法がある．最適化手法としては，動的計画法や分岐限定法など の厳密解法を用いた研究が多い．しかし，厳密解法には，要約 対象とする文書集合の大きさに従って，計算時間が膨大に膨れ 上がってしまうという問題が[r] ...
4
PDFファイル 3I3 「自然言語処理による文書要約」
... 本研究では， BBS 要約に整数線形計画法を適用し，要約精 度の向上を実現した．今回の実験では，人手によって BBS 記 事を要約した「まとめサイト」を正解データとし，データセッ トを作成した．訓練データセットに対し， L2 正則化項付ロジ ...
4
PDFファイル 3I3 「自然言語処理による文書要約」
... を定式化し目的関数として導入し， DUC2004 を用いた実験を 行った． 今後の課題としては，初期個体生成における制限を弱くす ることで，多様な個体が生成されるよう改善をしたいと考えて いる．また，より可読性の高い要約生成を行うため，文の長さ [Kupiec 95] や文の位置 [Mani 98] を目的関数として含めた最 適化を行うこと，他の最適化手法との比較を課題とする． ...
3
PDFファイル 2A1 「自然言語処理」
... 本論文では，教育の場で用いられる電子的な文書教材 ( デジ タル教材 ) の良さについて検討する． PC や最近のタブレット端 末の急速な普及により，教育の場で電子的な文書教材が利用 されるケースが広まっている．従来から教育の場で用いられてき た紙の文書の印刷による教材では，コスト上の制限のために， 黒一色を使う場合が最も多く，かなり劣る頻度で黒と赤の二色 が用いられて[r] ...
2