Top PDF 統計的自然言語処理とは

統計的自然言語処理におけるMCMC法

... しばしは夢かとのみたどられしを、やうやう思ひしづまるにしも、さむべき方なくたへがたきは、いかにすべきわざにかとも、問ひあはすべき人だになきを、忍びては参りたまひなんや。若宮の、いとおぼつかなく、露けき中に過ぐしたまふも、 ...

49

PDFファイル 2A1 「自然言語処理」

... 本稿では，トピックモデルにより得られたトピック情報に基づく文書への自動タグ付与システムを提案した．実際のレビュー文書を用いた実験により，提案システムで用いる term- score の単語抽出性能評価を行った．実験結果から， term-score によって，トピックに特徴的な単語を捉え，一般語の順位を下げることができることを確認した．また，提案システムのタグ ...

4

PDFファイル 3I3 「自然言語処理による文書要約」

... i とする． i 番目の遺伝子が 1 である場合，文 s i は要約に含まれ， 0 である場合は，要約に含まれないことを示す．またこの時，生成された要約候補 S の要約長が制約を満たす個体のみを生成する．これにより，解が安定して収束しやすくなること，要約長の制約を満たす個体が得られやすくなることが考えられる．個体生成の手順としては，まずランダムに選択された i ...

3

PDFファイル 2A1 「自然言語処理」

... 2. 色と文書可視性について適切に色遣いがなされた文書は可視性が高いことはあきらかである．色の使い方に関する研究は配色理論や色彩論など[ヨハネスイッテン 1971]として，非常に古くからの研究がある．しかし，これらの研究成果は絵や図を主体とするヴィジュアル性の高い文書には適用可能であっても，テキスト情報が主体となる教 ...

2

PDFファイル 2A1 「自然言語処理」

... 1. はじめに国立情報学研究所が推進している「人工頭脳プロジェクト― ロボットは東大に入れるか」は、人工知能による大学入試突破を目標としており、その中で世界史・日本史といった歴史科目のセンター試験では、自然言語で書かれている文が史実であるかどうかを判断する問題が大部分を占める。入試問題の性質 ...

4

PDFファイル 1A2 「自然言語処理」

... 北朝時代 Nanboku-ch¯ o jidai, ”South and North courts pe- riod”, also known as the Northern and Southern Courts period), ...” といった表現をとらえ，リンキング元として適切な NE 区間を求めることができるが，この処理は，名詞句の ...

4

PDFファイル 1A2 「自然言語処理」

... クラウドファンディングサービスとは、インターネット上で金銭やファンを集める仕組みであり、「チケット」と呼ばれるプロジェクト成立の成果物を商品として購入することでプロジェクトの運営資金を調達する。中でも成果物が製品に依存しない社会性の高いプロジェクトのチケットは、金額に対して金銭的には安価でお礼に近い特徴があり、その購入は読み手が本 ...

3

木オートマトン•トランスデューサによる自然言語処理

... 近年の成果のまとめ •「埋め込み + 合成 + 値域投射」による前向き適用 • 線形 & 非削除のwFTT ↓はNLPの問題には表現力不足 • 線形 & 非削除の拡張型wFTT ↓は高い表現力を持つ ...

113

情報処理学会研究報告 IPSJ SIG Technical Report Vol.2013-MPS-93 No /5/23 統計的文法獲得モデルのための部分木ブロック化サンプリング法進藤裕之 1,a) 松本裕治 2 永田昌明 1 概要 : 自然言語処理分野における統計的文法獲得では,

... 100 は頻度 1 よりも探索効率が高いのに対して， Penn-B データセットでは，双方にあまり差が見られない．これは，データ量が増大することによって部分木ブロック化サンプリングの効果が相対的に高くなったため，小規模データの場合は，頻繁にブロック化サンプリングを行うよりも計算コストの低い Gibbs ...

6

PDFファイル 3D4 「教育支援におけるテキスト・自然言語処理」

... 式だと 2 クラス離れたクラスだと推定されるものもあり、絵本だからといって必ずしも柴崎方式の方が良いわけではないが、柴崎方式は、より幼い子供向けの文かどうかの判定に有利であ ∗4 いずれの変数も p < 0.001 で難易度クラスと有意に相関がある ∗5 佐々木マキさく「だれかしら」 (2011), 福音館書店, ( K012 ) ...

4

学位論文首都大学東京自然言語処理研究室（小町研）

... 使った実験も行った．その結果，文法誤り検出においてノイズを含むコーパスからは誤りパターンを抽出して学習することが有効であることが示された．さらに，従来手法の C&W や word2vec では文法的妥当性が高いフレーズ対と低いフレーズ対の類似度が高くなるように学習してしまうが，提案手法である EWE, GWE ...

39

PDFファイル 3I4 「自然言語処理におけるコーパス・辞書生成」

... 言語トピックモデルに基づく潜在的トピックの観点から単語の類似度測定を行う手法を提案し，英語とイタリア語のコンパラブルコーパスに適応した．また， Zhu ら [Zhu 13] は，多言語トピックモデルによって得られた言語横断情報の比較方法を提案し，英語と中国語からなるコンパラブルコーパスに適応した．この他，多言語文書分類 [Smet 11, Ni ...

4

PDFファイル 3I4 「自然言語処理におけるコーパス・辞書生成」

... ただし、正しく評価極性を推定された単語も削除されているため、ニューラルネットワーク言語モデルの設計および学習方法の検討を行う必要がある。予備実験より、極性を持つ単語が近くに配置される傾向があることは分かっているが、必ずしも正確である訳ではない。出現頻度や文章での利用形態による影響についてさらに詳細な議論をする必要がある。 ...

2

PDFファイル 3D4 「教育支援におけるテキスト・自然言語処理」

... 場合，一度学習い，複数回分学習必要あ，一度学習後，再自主的学習限い．， Web 学習脇道逸やい．本研究，様 Web 学習問題点解決， Web 学習習慣化支援環境構築目指，自学自習学習計画実行促 ...

4

PDFファイル 3I3 「自然言語処理による文書要約」

... The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014 に高くなり， Precision は低くなったが結果的に要約精度が向上したものと思われる．また，整数線形計画法 ( 要約率固定 ) の精度が低いのは，投稿番号コスト制約がないためであると思 ...

4

学位論文首都大学東京自然言語処理研究室（小町研）

... 行に含まれる文数が日本語側と英語側で一致するとは限らない．このような対訳文は学習を妨げうる．例えば，日本語側 2 文，英語 3 文といった対訳文を学習時に用いると，やはり多くの文は文対応が取れているために，影響を受けてしまい最終的に得られるモデルの翻訳精度が下がってしまう．そ ...

46

PDFファイル 3I3 「自然言語処理による文書要約」

... 近年，大量の文書データと接する機会の増加にともない，文書要約技術の必要性が高まっている．文書要約の一手法としては，要約生成問題を文の組合せ最適化問題として帰着させる方法がある．最適化手法としては，動的計画法や分岐限定法などの厳密解法を用いた研究が多い．しかし，厳密解法には，要約対象とする文書集合の大きさに従って，計算時間が膨大に膨れ上がってしまうという問題が[r] ...

4

言語進化史の統計的研究

... 1 から始まり、時間 𝑡𝑡 後に 0 となっているすべての遷移を積分したもの … 言語の場合、 back- mutation (語彙の復活) は不自然。復活のないモデルとして、確率的 Dolloモデルが提案されている [Nicholls+, ...

113

学位論文首都大学東京自然言語処理研究室（小町研）

... 類タスクにおいて分類精度の向上に取り組んだ。 1 はじめに近年、インターネットや SNS の普及によって、ユーザが商品やサービスなどの情報を自由に発信する機会が増大した。中でも、ユーザのレビュー文やツイッターのテキストはユーザの生の声を含むため、企業などにとっては貴重なものである。そのため大量にあるこれらのデータを解析し自動で評価極性を決定することは、より良い商品やサービスを提 ...

13

自然言語処理16_5_79

... 4.1 の語句のリストに事態「付く」が含まれているため，事態「付く」を含む事態対「付く::肉を焼く」と「付く::焼く」を無効な事態対とみなすことができ，事態対「焦げ目が付く::肉を焼く」と「焦げ目が付く::焼く」を事態対候補とすることができる．仮に「付く」が 4.1 の語句のリストに含まれていかったとしても， ...

22

統計的自然言語処理とは

関連した話題