文章自動生成に向けた非構造データの活用の一考察

人工知能学会資料 SIG-SWO-042-07 _________________ *連絡先: 太田 博三（放送大学教養学部） 〒112-0012 東京都文京区大塚 3-29-1 Email: [email protected]

07-01

文章自動生成に向けた非構造データの活用の一考察

A Study on Automatic Text Generation

太田 博三

1

Hiromitsu OTA

1 1

_放送大学

_教養学部

1

_{Faculty of Liberal Arts, The Open University of Japan}

Abstract: Recent developments in deep learning have been remarkable, from the field of image processing to the field of speech recognition and natural language processing has been penetrated and developed. In this study, we first picked up the following three main approaches to implement sentence generation. 1) Markov chain, 2) automatic summary, 3) sentence generation by deep learning (RNN / LSTM / GAN). As a subject, it was commonly seen that the connection between sentence and sentence was unnatural. We tried the connection between natural sentences and sentences which are also applicable in practice by the above three methods and considered countermeasures.

1.

はじめに

1.1.

自 然 言 語 処 理 の 研 究 区 分

佐 藤[1]は 自 然 言 語 処 理 を ，解 析 系 と 生 成 系 と に 分 け て い る ． 解 析 系 の 研 究 と は ， 例 え ば Amazon の レ ビ ュ ー な ど の テ キ ス ト が 入 力 と な り ， そ れ を ポ ジ テ ィ ブ ・ ニ ュ ー ト ラ ル ・ ネ ガ テ ィ ブ な ど に 判 別 し ， 出 力 す る ． 一 方 ， 生 成 系 の 研 究 と は ， 逆 で 、 入 力 が ポ ジ テ ィ ブ な ど と 判 別 さ れ た 情 報 と は 限 ら な い ． 出 力 は テ キ ス ト で あ る ． こ こ で 入 力 と な る 情 報 に は ， あ る 基 準 を 設 け る 必 要 が 出 て く る ． ま た 機 械 翻 訳 の よ う に 入 力 と 出 力 の 情 報 が 対 価 で あ る 場 合 は 変 換 系 と な る ． （ 入 力 ） （ 出 力 ） テ キ ス ト ---解 析 系 ---à 情 報 情 報 ---生 成 系 ---à テ キ ス ト 図 1.1 解 析 系 と 生 成 系

1.2.

文 章 自 動 生 成 の 入 力 の 問 題 設 定 と そ

の 難 し さ

筆 者 は 星 新 一 の シ ョ ー ト シ ョ ー ト の AI 小 説 家 に 憧 れ ， 文 章 の ジ ャ ン ル を 指 定 し ， キ ー ワ ー ド を 指 定 す る 文 章 が 自 動 生 成 さ れ る ア プ リ 開 発 を 目 指 し た ． 主 な 仕 様 は 下 記 の 2 点 で あ る ． ・ そ の ま ま 過 去 の 文 章 の 引 用 と な ら な い こ と ， 剽 窃 と な ら な い こ と ． ・300−500 文 字 の 自 然 な 文 章 で あ る こ と ． 仕 様 の 一 部 で あ る が 、 や は り 出 力 と な る 情 報 が 単 な る 過 去 の 文 章 だ け で は 十 分 と は 言 え な い ． 少 な く と も 名 詞 や 動 詞 の 言 い 換 え や 文 章 の オ リ ジ ナ リ テ ィ ー を 追 加 す る こ と が 必 要 と な る ． 過 去 の ウ ェ ブ 上 の 文 章 の 言 い 回 し だ け で な く ， 内 容 そ の も の を 真 新 し い も の に す る こ と が 必 要 と な る. ま た 過 去 の 文 集 合 を も と に 作 ら れ る も の で あ る た め ， 本 末 転 倒 に な り か ね な く ， ど こ ま で が オ リ ジ ナ ル か ， そ う で な い か の ボ ー ダ ー ラ イ ン も 明 確 に 引 け る と は 限 ら な い ． こ こ で は 盗 作 や 剽 窃 ， 著 作 権 侵 害 に つ い て も ，WEB コ ン テ ン ツ の 研 究 用 途 の た め な ら ば 引 用 先 を 明 記 す る こ と で 入 力 デ ー タ と し て 用 い ら れ る ． 昨 今 の ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 発 展 に お い て も ， ゴ ッ ホ 風 の 画 像 や モ ー ツ ァ ル ト 風 の 音 楽 ま で 出 て お り ， 著 作 権 の 話 は な さ れ て い な い の が 現 状 だ[2]．

1.3 文 章 自 動 生 成 の 入 力 の 問 題 設 定 と そ

の 難 し さ

自 動 要 約 や 文 章 自 動 生 成 の コ ン テ ス ト(E2E NLG Challenge http://www.macs.hw.ac.uk/InteractionLab/E2E/) も 開 催 さ れ て お り ， 世 界 的 に 盛 ん で あ る ． こ の 流 れ は 文 章 自 動 生 成 が 最 近 の 流 行 に 対 し て ， 文 書 自 動 要 約(Text

07-0２ Summarization)は 10 年 以 上 前 か ら 盛 ん に 行 わ れ て お り ， 文 章 自 動 生 成 は 文 章 自 動 要 約 と重 な り 合 う 部 分 も あ る ． 文 書 自 動 要 約 か ら 文 書 自 動 生 成 へ の 発展 の 分 岐 点 と し て ，デ ィ ー プ ラ ー ニ ン グ の 発 展(特 に リ カ レ ン ト ニ ュ ー ラ ル ネ ッ ト ワ ー ク や そ の 発 展 系 の LSTM，特 に Attention Model)に ど う 適 用 ま た は 融 合 で き る か に よ っ て ， 文 章 自 動 生 成 の ア プ ロ ー チ も 広 が る も の と 思 わ れ る ．

2.

本研究で用いた手法

2.1 各 手 法 に つ い て の 概 観

文 章 自 動 生 成 を 大 き な 枠 で 捉 え る な ら ば ， 次 の 3 つ の 手 法 で き る と 思 わ れ る ． 1. マ ル コ フ 連 鎖 に よ る 文 生 成 ． 2. 自 動 要 約 / 文 圧 縮 に よ る 文 章 自 動 生 成 ． 3. リ カ レ ン ト ニ ュ ー ラ ル ネ ッ ト ワ ー ク / LSTM に よ る 文 章 自 動 生 成 ． こ の 他 に も 制 御 文 に よ る フ レ ー ム ワ ー ク を 用 い た 文 章 自 動 生 成 な ど が あ る が ， こ の 実 験 段 階 で の 筆 者 の 考 え は ，3 の ブ ラ ッ ク ボ ッ ク ス に 委 ね ，2 の 自 動 要 約 で 落 と し 所 に し ，1 の マ ル コ フ 連 鎖 で 感 覚 や 問 題 点 を 見 出 そ う と い う も の で あ っ た ． よ っ て 本 稿 で は 上 記 の 3 つ の 手 法 に 終 始 し た ．

2.2 マ ル コ フ 連 鎖 に よ る 文 生 成

マ ル コ フ 性 （Markov property） と は ， 次 の 状 態 が 過 去 の 状 態 に 依 存 せ ず 現 在 の 状 態 の み に よ っ て 決 ま る 性 質 の こ と で あ る ． マ ル コ フ 性 が 存 在 す る 場 合 ， 状 態 が {q0, q1, q2, q3, … … , qn-1} の n 通 り を 取 る よ う な 状 態 遷 移 に お い て 、 現 在 の 状 態 が qi で あ っ た 時 に 次 の 状 態 qj に 遷 移 す る 確 率 は 純 粋 に 次 の 状 態 と 現 在 の 状 態 の み で 記 述 さ れ ， P(qj | qi) で 決 定 さ れ る ．同 様 に ，

状 態 遷 移 し た 順 に 並 べ た 順 序 列 {a0, a1, a2, … , am-1}

の 生 成 確 率 は Π i=1m-1P(ai | ai-1) と 表 す こ と が で き

る.こ の 様 な マ ル コ フ 性 を 備 え た 確 率 過 程 を 総 称 し て

マ ル コ フ 過 程（Markov/ Markovian process）と 呼 ぶ ．そ

の 中 で も 状 態 空 間 が 離 散 集 合 を 採 る （ つ ま り 取 り う る 状 態 を 示 す 値 が 連 続 的 で な く 離 散 的 で あ る ） も の を 特 に マ ル コ フ 連 鎖 と 呼 ぶ[3]．マ ル コ フ 連 鎖 に よ る 文 生 成 の 例 を 示 す ． {今 日 は , い い 天 気 , で す , ．}と い う 状 態 の 集 合 が あ っ た と す る ． 「 今 日 は 」 と い う 状 態 の 次 に 「 で す 」 と い う 状 態 が く る 確 率 は P(で す | 今 日 は )で 表 さ れ る ． P(今 日 は | 今 日 は)，P(い い 天 気 | 今 日 は )，P(で す | 今 日 は ) , P(． | 今 日 は )の ４ つ の う ち ，最 も 高 い 確 率 を も つ の は P(い い 天 気 | 今 日 は )で あ る は ず で あ る ．確 率 的 に「 い い 天 気 」 へ と 状 態 が 遷 移 す る と ，「 今 日 は い い 天 気 」 と い う 文 が 生 成 さ れ る 。 さ ら に そ の 次 の 状 態 は P(今 日 は | い い 天 気)， P(い い 天 気 | い い 天 気 )， P(で す | い い 天 気)，P(．| い い 天 気 )の ４ つ を 比 較 し て 決 定 さ れ る ．確 率 が 十 分 に 正 確 で あ れ ば 、「 今 日 は い い 天 気 で す ．」 と い う 文 の 生 成 確 率 が 最 も 高 く な り 、 結 果 的 に こ の 並 び が 一 番 選 ば れ や す く な る ．」と い う 遷 移 が 発 生 し た 回 数) / (「 な ん と か 」 と い う 状 態 に な っ た 回 数 )で 求 め ら れ る ． こ の 確 率 の 良 し 悪 し で 生 成 さ れ た 文 の 良 し 悪 し が 決 ま る ． 実 際 の 文 生 成 に は 状 態 と し て 文 節 で は な く 「 形 態 素 」 と 呼 ば れ る 単 語 の よ う な も の が 用 い ら れ る こ と が 多 い ほ か ， 直 前 の １ 個 で は な く ， ４ 個 ま で を 考 慮 し た 高 階 マ ル コ フ 連 鎖 を 使 う こ と が 多 い ．N-gram モ デ ル と 呼 ば れ る ．

2.3 自 動 要 約 /文 圧 縮 に よ る 文 章 自 動 生 成

自 動 要 約 の 古 典 的 な H.P. Luhn [4] は ，テ キ ス ト 中 の 重 要 な 文 を 抜 き 出 し ， そ れ を 出 現 順 に 並 べ る こ と に よ っ て そ の テ キ ス ト を 読 む べ き か 否 か を 判 定 す る と い っ た ス ク リ ー ニ ン グ の た め の 要 約 が 自 動 生 成 で き る こ と を 示 し た ．つ ま り ，自 動 抄 録 に 似 て お り ，「 理 解 し ，再 構 成 し ，文 章 生 成 」と い う の で は な く ，「 理 解 す る 箇 所 が 重 要 部 に 近 似 す る 」と 割 り 切 っ て 考 え た も の で あ る ． 重 要 語 の 決 定 に は ， 単 語 の 頻 度 を 用 い る な ど ， 現 在 の 自 動 要 約 の 流 れ は ，H.P. Luhn の 影 響 が 少 な く な い ． ま た ， ニ ュ ー ラ ル ネ ッ ト の 文 圧 縮 の 研 究 も 進 ん で お り ，seq-to-seq モ デ ル で は ROUGE ス コ ア の 低 下 は モ デ ル へ の 入 力 文 が 長 す ぎ る と 新 聞 記 事 の ヘ ッ ド ラ イ ン 生 成 が 劣 化 す る 問 題 点 が あ る ．Attention の 付 い て い な い

encoder-decoder model を 使 用 し ， encoder に は 片 方 向 LSTM を 適 用 し ，最 適 化 に は adam を 用 い ，出 力 時 に は beam-search を 用 い る な ど が 良 い 結 果 が 出 て い る と さ れ て い る[5].さ ら に 文 抽 出 手 法 を 強 化 学 習 に し た テ キ ス ト 自 動 要 約 手 法 も の 研 究 も 行 わ れ て い る[6]．

2.4 リ カ レ ン ト ニ ュ ー ラ ル ネ ッ ト ワ ー ク

(RNN)/LSTM/GAN に よ る 文 章 自 動 生 成

Andrej Karpathy の char-rnn による tiny shakespeare[7]が 有 名 で ある．詳 細 は 述 べ な い が ，今 まで の 単 語 列 として ，も っ と も ら し い 次 の 単 語 を 予 測 す る こ と を Long short-term memory(LSTM)が担 うもので，RNN の拡 張 として，1995 年 に登 場 した時 系 列 データに対 するモデルまたは構 造 の一 種 である．しかし文 章 自 動 生 成 においては，後 述 するが決 して 字 面 通 り Long ではないとも言 える．Epoch が 100 を超 えな いとまともな文 章 になってなく，GPU が必 要 となるなど，学 習

07-0３ には非 常 に時 間 を要 する．Epoch が 2 桁 であると，生 成 され る 文 章 が 同 じ 句 な ど の 表 現 が し ば ら く 出 て く る ． こ の 間 は ま だ学 習 が不 十 分 であると見 て取 れる．

3.

実験結果([7])

3.1 各 手 法 の 実 験 概 要

本 研 究 で は フ ァ ク タ 定 義 は 次 の よ う に 定 め た ． フ ァ ク タ 定 義 と し て ，「 文 章 自 動 生 成 と は 、特 定 の ジ ャ ン ル に お い て 過 去 の 記 事 を 学 習 デ ー タ と し て 、 500-1000 文 字 前 後 の 文 章 を 自 動 生 成 す る こ と 」と 定 義 し た ． ・ 手 法 一 覧: 1) マ ル コ フ 連 鎖 及 び Doc2Vec に よ る 文 章 自 動 生 成 ． 2) 単 語 出 現 頻 度 に 基 づ く 文 章 要 約 ． 3) RNN/ LSTM に よ る 文 章 自 動 生 成 ． ※ 1)で の Doc2vec は マ ル コ フ 連 鎖 に よ っ て 生 成 さ れ た 複 数 の 文 章 の 類 似 度 を 計 り ， 近 い も の 同 し を 結 合 す る た め に 用 い た ． し か し ， 結 果 と し て 文 章 と 文 章 と の つ な が り が 不 自 然 で あ っ た ． 図3.1.1 PJ フ ロ ー 図 図3.1.2 PJ ス ケ ジ ュ ー ル 以 下 に 用 い た デ ー タ セ ッ ト の 詳 細 に つ い て 次 の 表 に 示 す ． 表 3.1.1 文 書 デ ー タ の 容 量 と 文 字 数 ・ 評 価 手 法: 学 会 等 で 決 ま っ た 評 価 方 法 は 見 当 た ら な い た め ， 人 手 に よ る 評 価 に 委 ね る こ と と す る ． 人 間 に よ る も の か 機 械 に よ る も の か の リ ッ カ ー ド の 6 段 階 尺 度 評 価 を 軸 と し た ． 次 に 評 価 に 用 い た 各 手 法 の 生 成 文 章 を 示 す ． 1) マ ル コ フ 連 鎖 及 び Doc2Vec に よ る 文 章 自 動 生 成 ， 1. 文 章 を 単 語 に 形 態 素 に 分 解 す る ， 2. 単 語 の 前 後 の 結 び つ き を 辞 書 に 登 録 す る ， 3. 辞 書 を 利 用 し て ラ ン ダ ム に 作 文 し た ． ※ 文 章 の ⻑ さ は 何 文 か を 指 定 で き る ス ク リ プ ト を 用 い た ． 4. Doc2vec/ Gensim に よ る 文 書 の 類 似 度 を 計 算 5.文 書 間 の 類 似 度 の 高 い 数 値 の 文 書 を 求 め る 6. 類 似 度 の 近 い 文 書 を 結 合 し 、 合 計 で 500 文 字 の 文 書 と し た ． 2) 単 語 出 現 頻 度 に 基 づ く 文 章 要 約 ， こ こ で は ，H.P. Luhn(1958)に よ る 要 約 ア ル ゴ リ ズ ム を 基 に 簡 略 化 し た も の を 用 い た ． 1. 形 態 素 に 分 解 し ，各 段 落 で 単 語 の 一 覧 を 作 成 す る ． 2. 段 落 内 で 、 も っ と も 多 く の 単 語 を 含 む 文 を 探 し ， ラ ン キ ン グ に す る ． 3. ラ ン キ ン グ 順 に 表 示 す る ． 3) RNN/ LSTM に よ る 文 章 自 動 生 成

Recurrent Neural Network(RNN) の 一 種 の Long Term Short Term Memory(LSTM)に よ る 文 書 生 成 で あ る ．RNN は ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 再 帰 的 に 扱 え る よ う に し た も の で ， 時 系 列 モ デ ル の 解 析 を 可 能 に し た も の で あ る と さ れ て い る.LSTM は RNN を 改 良 し た も の で あ り ， ⻑ 期 的 に 記 憶 を 保 存 す る た め に ブ ロ ッ ク （ ゲ ー ト ） を 採 用 し た も の で あ る ． つ ま り ，ア ル フ ァ ベ ッ ト 順 で「ABC」と 来 た ら 、「D」 が 来 る 可 能 性 が 高 い と い う よ う に し た も の で あ る ． LSTM に よ る 文 書 自 動 生 成 は 当 然 で あ る が ， 形 態 素 解 析 を 行 な わ な い ． ※ エ ポ ッ ク 数 は 初 期 値 を 60 と し た ．テ キ ス ト の 記 憶 は 20 と し た ． 理 論 的 に は ， こ の エ ポ ッ ク 数 が 大 き け れ ば 大 き い ほ ど 文 書 生 成 の 精 度 が 高 く は な ら な い と 考 え ら れ る が ， 元 デ ー タ の 大 き さ に よ っ て も 影 響 さ れ る と 考 え 大 き め に 取 っ た ．

3.2 各 手 法 と 好 ま し い と 思 わ れ る 文 字 数

憶 測 の範 囲 に過 ぎません．定 量 化 できればと試 行 錯 誤 中 で す． 1) マルコフ連 鎖 と Doc2vec による文 章 の自 動 生 成 : 100−200 字 程 度 の文 書 2)keras(RNN/ LSTM)による文 章 の自 動 生 成 : 5000 文 字 以 上 の文 書 3) Luhn による文 章 要 約 : 1000 字 以 上

07-0４ 4) LexRank/ TextRank による文 章 要 約 : 300-400 文 字 以 上 5) 文 圧 縮 による文 章 要 約 :10000 文 字 以 上 の文 書 6) tensorflow/ seq2seq による文 章 自 動 要 約 :100000 文 字 以 上

4.

実験結果([8])

4.1 実 験 で 用 い た 各 手 法 の 長 所 ・ 短 所

1.マ ル コ フ 連 鎖 （ 形 態 素 解 析 → 辞 書 作 成 → 文 生 成 ） ・ メ リ ッ ト ： 文 章 自 動 生 成 に 時 間 を 要 さ な い ． 極 め て 短 い 時 間 で 文 章 自 動 生 成 が 可 能 で あ る こ と ． ・ デ メ リ ッ ト ： 文 と 文 と の つ な が り が 自 然 で な い ． 2.自 動 要 約 （ 頻 出 キ ー ワ ー ド → そ れ を 含 む 文 → 昇 順 に 並 べ 並 べ 返 す ） ・メ リ ッ ト：文 と 文 と の つ な が り が 不 自 然 で な い こ と が 多 く は な い ． ・デ メ リ ッ ト：圧 縮 さ れ る た め ，あ る 一 定 の 学 習 コ ー パ ス が 必 要 と な る こ と ， リ ア ル タ イ ム に は 作 れ な い こ と ． 元 の 文 章 の ま ま で あ り ， そ の ま ま で は 使 え な い こ と ． 3. LSTM:（ 日 本 語 コ ー パ ス の 品 質 が 良 け れ ば の 条 件 つ き ） ・ メ リ ッ ト ： 学 習 回 数 に よ っ て は 可 能 性 が あ る こ と ． ・ デ メ リ ッ ト ： 莫 大 な コ ー パ ス と 学 習 時 間 が 必 要 ．

4.2 実 験 で 用 い た 文 章 と 評 価 の 一 部

（ そ の 1）

[実 験 : 2 パターンでの検 証 結 果 ] 1）1.（元 データ） マ ル コ フ 連 鎖 に よ る 生 成 文 章 の 事 業 者 評 価 と そ の 生 成 文 章 を 以 下 に 示 す ． 4.2.1 マ ル コ フ 連 鎖 に よ る 2 つ の 文 章 の 評 価 ・ 元 の 文 章 の ま ま で は な い 点 が 評 価 で き る ． ・ 元 の 文 章 が 長 い 文 章 で あ れ ば ， 文 と 文 の つ な が り は よ く は な い が 悪 く も な い ． ・ 内 包 表 記 な ど で 工 夫 で き れ ば 簡 易 的 で 良 い ． 4.2.2 マ ル コ フ 連 鎖 に よ る 生 成 さ れ た 文 章 例 （ 2 つ ） マ ル コ フ 連 鎖 に よ る 生 成 文 章 例 と し て ，10 個 の 文 章 と 15 個 の 文 章 と で ラ ン ダ ム に 文 章 を 生 成 し た も の で あ る ． 4.2.2.1 マ ル コ フ 連 鎖 に よ る 生 成 さ れ た 文 章 例 そ の 1 化 粧 水 な ど で 泡 立 て て く だ さ い ね 。 そ の ま ま 化 粧 水 を 防 腐 剤 、 安 定 剤 や 酸 化 亜 鉛 な ど の 影 響 で 、 か さ つ か ず し っ と り と し ま し た 。 ド ク タ ー ズ オ ー ガ ニ ッ ク の 無 添 加 化 粧 品 の 材 料 と コ ー ル ド プ ロ セ ス 法 に よ っ て 製 造 す る こ と が わ か り ま す （ 新 陳 代 謝 が 正 常 に 導 き ま す 。 ま た お 手 元 に 届 く よ う 、 一 刻 も 早 い 安 全 性 と 、 と て も 良 い 下 地 ク リ ー ム に し た 作 り に な っ て い ま す が 、 抗 菌 仕 様 製 品 で は 次 の よ う な 選 び 方 が 推 奨 さ れ て い ま す 。 毎 日 身 体 を 動 か す こ と で 、 自 分 達 の 基 礎 化 粧 品 の 中 身 を 確 か め て く だ さ い ね 。 無 添 加 石 鹸 で … 。 油 分 を 十 分 に 補 っ て 、 盲 信 は 禁 物 で す 。 ナ イ ロ ン タ オ ル や ボ デ ィ ケ ア 用 品 の 基 材 と し て よ く 使 わ れ て い ま す 。 と い う 具 合 に 自 分 の 肌 ト ラ ブ ル を 起 こ さ な い 、 こ れ は 現 実 的 に 引 き 締 ま っ た 感 じ が す る か も し れ ま せ ん よ ね ？ 乾 燥 が 気 に な る こ と も あ り ま す 。刺 激 感 な ど の 添 加 が あ り ま す 。 （361 文 字 ） 4.2.2.2 マ ル コ フ 連 鎖 に よ る 生 成 さ れ た 文 章 例 そ の 2 例 え ば ク モ ノ ス カ ビ の 大 き さ を 保 ち 、 か さ か さ 、 ボ ロ ボ ロ に 。 一 体 何 が 無 添 加 石 鹸 を 泡 立 て 、 泡 の 保 持 の た め 、ニ キ ビ 肌 、敏 感 に し ま し ょ う 。「 今 日 は と て も 不 自 然 だ と 悪 化 し ま す 。 ま た 、 脂 肪 を 燃 焼 さ せ 除 去 す る こ と フ ッ ト ク リ ー ム の 全 成 分 し か し 、 同 時 に 流 れ は 細 胞 か ら 二 酸 化 炭 素 や 老 廃 物 を 回 収 し て く だ さ い 。 シ ア バ タ ー 1,800 円（ 約 70g）ご 購 入 は こ ち ら か ら 」フ ッ ト ク リ ー ム の 全 成 分 漢 方 薬 と し て は 、 洗 浄 感 の 良 い ハ ン ド ク リ ー ム に は 皮 膚 が ん の 原 因 は 消 毒 も 殺 菌 し て 作 ら れ ま す が 、 散 乱 剤 ② の 2 種 類 が あ り ま せ ん が 、 す で に た く さ ん の 化 粧 水 と 、 や わ ら か く て 、 た っ ぷ り の お 湯 で お 肌 は 、 天 然 の 成 分 か つ て 健 康 法 と し て 推 奨 さ れ た 安 全 性 は ま だ ま だ 不 確 か で す 。 で も 、 必 ず し も 石 鹸 が 必 要 な わ け で も 、 瞬 間 湯 沸 か し 器 な ど で 泡 立 て て く だ さ い 。 乾 燥 肌 対 策 の た め 植 物 性 油 脂 で あ っ て も 、 き れ い な 水 だ け で 数 百 種 類 以 上 の 化 学 成 分 を 毎 日 肌 に の せ た り す る こ と が 大 事 で す 。 原 料 へ の 安 全 性 は あ り ま せ ん 。 こ の 後 、 あ る い は お 風 呂 で 体 を 温 め る 効 果 の あ る 人 々 （ 活 字 関 係 ） か ら は 常 温 で 固 体 の た め の ス キ ン ケ ア (455 文 字 )

4.3 実 験 で 用 い た 文 章 と 主 観 的 な

SEO

の

視 点 で の 評 価 の 一 部 （ そ の

2

）

以 下 の文 章 が自 然 であるかに留 意 し，5 段 階 評 価 を行 っ B L . K : : 3::7 / 034 19 5/2 065

07-0５ た．※評 価 尺 度 は次 の通 りです.（自 然 な日 本 語 ）5-4-3-2-1 （機 械 的 な 日 本 語 ）ま た 、気 が つ い た 問 題 や 箇 所 は 下 線 の スペースに記 入 してください。 文 章1（マルコフ連 鎖 ） 2点 （実 務 者 の評 価 ） "1 つ 1 つの文 としては問 題 がないレベル。 た だ し 文 章 の つ な が り ＝ 文 脈 が 支 離 滅 裂 の た め 、 明 ら か に 全 体 の文 章 としては人 間 の目 から見 て不 自 然 。 例 ：手 軽 に薬 ではないでしょうか？老 化 防 止 にも沢 山 あるの です。ですから、お水 や空 気 も入 ります。 例 えばこの文 章 は前 後 で繋 がりがないようにみえる。ですか ら、の後 が繋 がらないように感 じる。" （例 文 ） 興 味 深 い話 がありますが、続 けることがわかってきたという人 が 歩 行 不 足 で す か ら 。 お 酒 を 飲 ん で い た ら 、 昔 か ら 「 寝 る 子 は 育 つ 」 と 言 う の は 神 様 の 業 と 言 え る の で す 。 で す か ら 、 いつも幼 子 のようにしましょう!考 えたりします。やはりちょっと 添 加 物 を旬 なうちに運 動 をしてもらったらよいでしょうか?また、 健 康 診 断 は しっか り 歩 くだ けで は、さらに 湿 疹 などに なりま す。よくよく聞 いてなるほどなーとも言 えるのではなく、なぜか 色 々と 語 られているのですが、健 康 維 持 やダイエットにつな がります。手 軽 に薬 ではないでしょうか?老 化 防 止 にも沢 山 あるのです。ですから、お水 や空 気 も入 ります。もしハリが残 っているとか・・・?さて、今 日 のタイトルは「炭 酸 水 で薄 めて 飲 んだらよいでしょうか?漢 方 の王 様 と言 われています。その くらい身 体 の健 康 についてです。（351 文 字 ） 文 章 2（自 動 要 約 ） 5点 （実 務 者 の評 価 ） 語 句 の 使 い 方 や 文 章 と し て き わ め て 自 然 で あ り 、 前 後 の 文 脈 もつ な が っ て い る。この 精 度 で 文 章 生 成 で あれ ば 二 重 丸 。 私 の知 り合 いの老 人 Y さんは現 在 90 才 の元 気 な男 性 。 Y さんの健 康 法 は毎 日 2 時 間 くらいは散 歩 を続 ける事 だ そ うで す 。そ れ も晴 の 日 だ け で な く、雨 の 日 も散 歩 に 行 か れ ると言 うのでびっくり。本 人 いわく「この年 で仕 事 もないので、 私 は散 歩 する事 が仕 事 と思 って毎 日 歩 いているので、雨 の 日 でも行 きます。雨 だから今 日 は仕 事 が 休 みとは普 通 なら な い で し ょ う ・・ ・」 と の 事 で し た 。 流 石 に脱 帽 で す 。 実 はこ んな事 があったそうです。お 医 者 さんから「もう 90 才 になる のだから、あまり無 理 して歩 かないほうがよいですよ。」と言 わ れ、Y さんも 「そうかなー」と思 い 1 ヶ月 近 く散 歩 を止 めて いました。そしたら、バス停 から家 までの道 のり約 5 分 くらい の 緩 やかな坂 道 が、途 中 に一 度 休 まないと息 が切 れて歩 け な くな っ た そ うで す 。そ れ で 「これ で は まず い!」と思 って、 また歩 き始 めて 3 週 間 くらい歩 き続 けたら元 に戻 ったそうで す。歩 く事 は健 康 の基 本 です。半 身 の静 脈 の 流 れを良 くし、 身 体 の基 礎 筋 肉 を維 持 し、心 肺 機 能 を維 持 する事 ができる のです。また、腰 痛 の 70%はしっか り歩 くだけでも改 善 され て い ま す 。 現 代 は 飽 食 に よ る 肝 脂 肪 が 増 え て い ま す 。 私 も 最 近 は運 動 不 足 なので、昨 年 の 10 月 からは子 供 と毎 月 1 回 は 山 登 り を す る よ う に し て い ま す 。 皆 さ ん も 運 動 不 足 と 思 われる方 は是 非 散 歩 を お勧 め致 します。毎 日 1 時 間 は歩 いてほしいですね （572 文 字 ）

4.4 文 章 の 言 い 換 え と 類 似 度 の 検 討

文 章 自 動 生 成 は 一 文 が 自 然 な 文 章 で 文 と 文 と の 間 の つ な が り も 自 然 で あ る こ と ， こ れ に 加 え て ， 盗 作 と な ら な い こ と を 考 え た 場 合 ， 元 の 文 章 と 新 た に 生 成 さ れ た 文 章 と の 非 類 似 度 が 高 い こ と が 求 め ら れ る ． そ こ で n-gram（ n = 1, 2, 3, 4, 5） で 定 量 化 し ， も う 一 方 で 係 り 受 け 解 析 を 行 い 複 雑 す ぎ る 文 に な っ て い な い か を 考 察 し て み た ． 文 献[10]よ り Google は 5-gram を 用 い て い る と の 見 解 も あ り ，5-gram ま で と し た ． 4.4.1 本 節 で用 いた例 文 本 節 で 用 い た例 文 とそれ を言 い 換 えた文 章 、さらに もう一 度 言 い換 えた文 章 を次 に示 す．また言 い換 えは主 に３種 類 行 った． １）名 詞 ，形 容 詞 ，動 詞 ，格 助 詞 ２）能 動 態 ⇄受 動 態 ， ３）2 つ以 上 の単 語 を 1 つの単 語 にまとめること a （ 元 の 文 章 ・ 言 い 換 え 前 ）456文 字 横 浜 市 の 求 人 事 情 を 知 ろ う 。 都 心 に 近 い ベ ッ ド タ ウ ン と 商 業 エ リ ア が 広 が る 横 浜 市 。 神 奈 川 県 の 県 庁 所 在 地 で も あ り 、 県 内 で 最 大 の 都 市 と し て 知 ら れ て い る の が 横 浜 市 で す 。 行 政 と 経 済 の 中 心 は 、 横 浜 市 中 区 や 西 区 に 集 ま っ て い ま す 。 馬 車 道 や 山 下 公 園 、 横 浜 中 華 街 な ど も こ の 辺 り に あ る た め 、 観 光 地 と し て も 有 名 で す 。 横 浜 港 に 面 し て ホ テ ル や 商 業 施 設 、 オ フ ィ ス が 建 ち 並 ぶ 横 浜 み な と み ら い 21 も 、 こ の エ リ ア に 含 ま れ ま す 。 横 浜 市 は 黒 船 来 航 と い っ た 歴 史 的 な 背 景 も あ り 、 洋 風 な 建 造 物 や イ ン タ ー ナ シ ョ ナ ル ス ク ー ル 、 外 国 人 を 多 く み か け る で し ょ う 。 横 浜 駅 を 中 心 に 広 が る 繁 華 街 や 観 光 地 で は 、飲 食 店 や さ ま ざ ま な シ ョ ッ プ が 集ま っ て い ま す 。私 鉄 や 地 下 鉄 が 多 数 乗 り 入 れ て い る こ と か ら 、 エ リ ア に よ っ て は ア ク セ ス が 便 利 で 、 都 内 の ベ ッ ド タ ウ ン と し て も 人 気 で す 。 横 浜 市 に は 、 大 学 の キ ャ ン パ ス も 多 い こ と か ら 、 学 校 の 近 く や 通 い や す い 場 所 で さ ま ざ ま な ア ル バ イ ト を 探 す こ と が で き る で し ょ う 。 未 経 験 か ら 始 め ら れ る 職 種 、ス キ ル が 身 に 付 く も の な ど 、 自 分 に あ っ た バ イ ト を 見 つ け る こ と が 可 能 で す 。 b（ 一 回 目 の 言 い 換 え 後 448文 字 ） 横 浜 市 の 求 職 実 態 を 把 握 し よ う 。 都 会 に 隣 接 し た 大 型

07-0６ 住 宅 地 と お 店 が 並 ぶ 地 域 の 横 浜 市 。 神 奈 川 県 の 中 心 で も あ り 、 県 内 で 一 番 の 都 市 と し て 伝 え ら れ て い る の が 横 浜 市 で す 。 政 治 と 経 済 の 中 心 部 は 、 横 浜 市 中 区 や 西 区 に 集 約 さ れ て い ま す 。 馬 車 道 や 山 下 公 園 、 横 浜 中 華 街 な ど も 近 く に 存 在 す る た め 、 観 光 地 と し て 知 ら れ て い ま す 。 横 浜 港 に 面 し て ホ テ ル や 経 済 施 設 、 商 業 施 設 が 建 ち 並 ぶ 横 浜 み な と み ら い 21 も 、 こ の 地 域 に 含 ま れ ま す 。 横 浜 市 は 黒 船 来 航 と い っ た 伝 統 的 な 事 実 も あ り 、 西 洋 の 建 造 や 帰 国 子 女 の 学 校 、 海 外 旅 行 客 を 多 く み る で し ょ う 。 横 浜 駅 を 軸 に 広 が る ダ ウ ン タ ウ ン や 観 光 地 で は 、 レ ス ト ラ ン や さ ま ざ ま な お 店 が 並 ん で い ま す 。 私 鉄 や 都 営 地 下 鉄 が 多 く あ る こ と か ら 、 地 域 に よ っ て は 移 動 が 楽 で 、 都 心 の 大 型 住 宅 地 と し て も 有 名 で す 。 横 浜 市 に は 、 カ レ ッ ジ の 施 設 も 多 い こ と か ら 、 大 学 の 近 郊 や 通 学 し や す い 点 で 多 く の ア ル バ イ ト を 見 つ け る こ と が 可 能 で し ょ う 。 経 験 の な い 人 か ら 始 め ら れ る 職 業 、 技 術 が 習 得 で き る も の な ど 、 自 分 に 適 し た ア ル バ イ ト を 見 つ け る こ と が で き ま す 。 c（ ２ 回 目 の 言 い 換 え 後 405文 字 ） 横 浜 市 で 求 職 実 態 を 把 握 し よ う 。 都 会 の 隣 接 し た 大 型 住 宅 地 と お 店 の 並 ぶ 地 域 の 横 浜 市 。 神 奈 川 県 が 中 心 で も あ り 、 県 内 の 一 番 の 都 市 と し て 伝 え ら れ て い る の は 横 浜 市 で す 。 政 治 や 経 済 の 中 心 部 が 、 横 浜 市 中 区 と 西 区 へ 集 約 で き ま す 。 馬 車 道 と 山 下 公 園 、 横 浜 中 華 街 な ど が 近 く へ 存 在 す る こ と で 、 観 光 地 と し て 知 ら れ て い ま す 。 横 浜 港 に 面 し て ホ テ ル と 経 済 施 設 、 商 業 施 設 の 横 浜 み な と み ら い 21 が 、こ の 地 域 に 含 ん で い ま す 。横 浜 市 の 黒 船 来 航 と い っ た 伝 統 的 な 事 実 が あ り 、 西 洋 の 建 造 と 海 外 旅 行 客 が 多 く み ら れ る で し ょ う 。 横 浜 駅 に 広 が る 行 楽 地 で 、 食 堂 と 多 く の シ ョ ッ プ が あ り ま す 。 鉄 道 が た く さ ん あ る こ と か ら 、 場 所 に よ っ て 、 移 動 が 容 易 で 、 都 心 の ベ ッ ト タ ウ ン と し て 人 気 が あ り ま す 。 横 浜 市 で は 、 大 学 の 施 設 も 多 く 、 大 学 周 辺 や 通 学 面 で た く さ ん の ア ル バ イ ト が 見 つ か る で し ょ う 。 未 経 験 か ら 始 め ら れ る ジ ョ ブ や ス キ ル が マ ス タ ー で き る も の を 、 自 分 に 合 っ た ア ル バ イ ト を 見 つ け ら れ ま す 。

4.4.2 n-gram(n = 1-5)で の 定 量 化 と 言 い 換 え

回 数 に つ い て

以 下 のように定 義 した． a: 元 の文 章 , b: a を言 い換 えた文 章 , c: b を言 い換 えた文 章 ・a から b への言 い換 え総 数 ： ５６回 ・b から c への言 い換 え総 数 : ３８回 ・a と c の 類 似 度 の 比 較 2-gram: 1.151 3-gram: 0.582 4-gram: 0.506 5-gram: 0.388 ・b と c の 類 似 度 の 比 較 2-gram: 1.386 3-gram: 0.798 4-gram: 0.3171 5-gram: 0.2075 4.4.3 考 察 結 果

3-gram, 4-gram, 5-gram と 言 い 換 え 回 数 と 類 似 性 と の

関 係 は 負 の 関 係 に あ り ，n が 5 に 近 づ く ほ ど 、 言 い 換 え 回 数 が 大 き く 増 大 す る と 考 え ら れ る ．

5. ま と め

文 と 文 の つ な が り に つ い て は ， 自 動 要 約 と の 関 連 や 文 と 文 と の つ な が り を entity-grid model[11]を 用 い て 局 所 的 な つ な が り の 良 さ を 表 現 す る な ど の 談 話 構 造 解 析[9][10]が あ る が ，手 動 で 行 う 判 断 を 自 動 化 す る こ と が 可 能 か 試 行 錯 誤 中 で あ る ． Sentence ordering な ど も 検 討 し た い と 考 え て い る ． ま た デ ィ ー プ ラ ー ニ ン グ を 用 い た 方 策 と し て は ， 敵 対 的 生 成 ネ ッ ト ワ ー ク(Generative Adversarial Network: GAN)に よ る 精 度 向 上 も 精 度 向 上 が 期 待 さ れ ，実 験 中 で あ る ．今 の と こ ろ は 完 全 自 動 化 で は な く ，人 手 を 含 め ざ る 負 え な く ，主 に 制 御 文 に よ る 文 章 自 動 生 成 が 無 難 と 思 わ れ る ．

文

献

[1] 佐 藤 理 史 コ ン ピ ュ ー タ ー が 小 説 を 書 く 日 . 日 本 経 済 新 聞 出 版 社 , 2016

[2] Leon A. Gatys et al. A Neural Algorithm of Artistic Style, 2015

[3] Wikipedia “ https://ja.wikipedia.org/wiki/マ ル コ フ 連 鎖 ”

[4] H. P. Luhn. The Automatic Creation of Literature, IBM Journal, 1958 [5] 長 谷 川 ， 平 尾 ， 奥 村 ， 永 田 . 文 圧 縮 を 活 用 し た ヘ ッ ド ラ イ ン 生 成 , 言 語 処 理 学 会 , 第 23 回 年 次 大 会 発 表 論 文 集 , 2017 [6] 梁 ， 阿 部 川 ， 強 化 学 習 に よ る テ キ ス ト 自 動 要 約 手 法 の 提 案 . 言 語 処 理 学 会 第 18 回 年 次 大 会 発 表 論 文 集 , 2012 [7] 太 田 . 文 章 自 動 生 成 の 事 前 調 査 報 告 書 . 2017 [8] 太 田 . 文 章 自 動 生 成 の 最 終 調 査 報 告 書 . 2017 [9]笹 野 ， 飯 田 . 文 脈 解 析 , 自 然 言 語 処 理 シ リ ー ズ 10, コ ロ ナ 社 ，2017 [10] 黒 橋 . 自 然 言 語 処 理 , 放 送 大 学 教 材 , 2016 [11] 横 野 . 奥 村 . テ キ ス ト 結 束 性 を 考 慮 し た entity grid に 基 づ く 局 所 的 一 貫 性 モ デ ル Journal of natural language processing 17(1), 2010-01-10, 言 語 処 理 学 会