過去のメールから質問メールに対する返答内容候補の予測

(1)

年度卒業論文

過去のメールから質問メールに対する返答内容候補の予測

提出日：

年月日

指導：村岡洋一教授

早稲田大学理工学部情報学科

学籍番号：

石垣健太

(2)

図目次

!のユーザ画面

本研究の動作内容

法を利用した類似度の例

(5)

表目次

茶筅での解析結果

実装環境

形態素とその出現数

形態素と全文書中でのその出現頻度

文書ベクトル間の角度の

文書ベクトル間の類似度

実際使用した^"#

質問内容の類似度数値

返答内容の再現率、精度、値

(6)

第章序論

本研究では、質問文が含まれるメールを受け取りそれに対して返信する際に、過去の似たような受信メールに対する返信を返信内容の候補として挙げることによって、メールの作成効率を上げることを目的としている。

受信したメールの本文を形態素解析し、それをアルゴリズムによって過去の類似したメールを検索する。そして以前にそのメールに対して返信がしてあれば、その内容を利用する事によって、何度も同じような質問を受けるヘルプデスクのような環境では、作業効率が向上すると予想する。

はじめに

近年日本ではインターネットを利用する人口が急激に増え、電子メールも約万人^$%と、日本人のほぼ半数がメールを利用している計算になる。職場での仕事内容の伝達や家からの個人的なコミュニケーションなど、多様な環境と用途で電子メールが用いられているが、ヘルプデスクもその中の一つである。

ヘルプデスクとは、製品の操作方法や特定の物事に対してのトラブル、故障などの顧客電話・電子メール対応のことで、電話とコンピユーターが融合したＣＴＩ（コンピューター・テレフォニー・インテグレーション）の進展とともにそのシステム化の市場は、拡大しつつある。ヘルプデスクのような環境では、繰り返し同じような内容の質問を受けるケースが多い。そのような環境で、毎回似たような内容のメールを作成していると非常に作業の効率が悪い。

そこで以前と似たような内容の質問をメールで受けた際に、一から適切な返信メールを作成するのではなく、過去の返信内容から適切なものを自動的に検出することができれば、作業効率が大幅に上がる。

本論文では形態素解析や法^$ ^%の技術を利用し、受信したメールの本文と類似した内容を過去のものから検出する。そしてメール返信を行う際に、過去に行った返信を表示させメール作成の手間を省く機能を実装したメーラを作成する。

研究の意義

ヘルプデスクシステムなどの電子メールを利用する環境では、迅速な顧客対応やサポートコストの削減に今注目を集めている。従来のお客様相談窓口の延長線

(7)

上と考えるだけでなく、顧客ニーズをダイレクトに汲み取ることにより、積極的なマーケティング活動へ活かそうという発想がある。そのためには従来の定型文を自動返信するシステムではなく、本研究のような受信内容を読み取って個別に対応できるインターフェースを利用することが必要となってくる。

(8)

本論文の構成

本論文は以下の章からなる。

第章序論

本論文の概要、目的、構成について述べる。

第章関連研究

従来の関連研究を紹介し、その特徴について述べる。

第章実装方法

プログラムの動作内容と実装方法について述べる。

第章評価と考察

実装後のプログラムの評価と考察を行う。

第章結論

本論文のまとめを述べ、今後の課題を述べる。

(9)

第

章関連研究

本章では、本研究で使用する技術と関連研究について説明する。

形態素解析

形態素解析^&!^'とは、与えられた文を形態素（品詞列）に分ける作業のことをいう。この作業には、それぞれの形態素がどの品詞に対応するかという対応づけも含まれる。形態素解析の技術は、自然言語処理の中ではもっとも基本的な技術であり、現在のところ唯一実用で普及しているものであるかな漢字変換など。また日本語には単語のどの品詞がどの品詞とつながるか、という厳密な規則があることにより、計算機上のプログラムでもこれが可能となっている。

ここで、本研究でも使用する「茶筅」というアプリケーションについて述べる。

茶筅

茶筅とは奈良先端科学技術大学院大学情報科学研究科松本研究室が開発し提供している日本語形態素解析エンジンである。オープンソースであり、フリーで使えることから学術・研究分野で広く使われている。また辞書メンテナンスの容易さ、解析の速さ、正確さなどからの商用システム、商用製品などでも使われている。 ^$%

例えば、このソフトで「会社に電子メールを今すぐ送ろう」という文を解析すると以下のようになる。

(10)

表層語基本形品詞活用会社会社名詞一般

にに助詞格助詞一般電子電子名詞一般メールメール名詞サ変接続をを助詞格助詞一般今今名詞副詞可能すぐすぐ副詞助詞類接続

送ろ送る動詞自立五段・ラ行未然ウ接続うう助動詞不変化型基本形

表 ⁽ 茶筅での解析結果

今回の研究では形態素解析にこのソフトを利用する。

自動返信

メール自動返信とは、受信したメールに対して予め用意しておいた本文を自動的に返信することである。特定のアドレスから受信した場合や特定のメールの件名を受け取った時に、それぞれのケースに個別の内容を返信する。人材募集時の要項を自動返送したり、ご意見箱アンケートに使って御礼のメールを自動返信したりなど、会社の業務で様々使い方ができる。その時に自動返信するメールの内容は、利用者が事前に設定する。

自動返信アプリケーション

メールの自動返信を応用したアプリケーションの例の一つとして「^!」というソフトがある。ここでの自動返信は通常のように定型文だけではなく、受信メールのサブジェクト内容により、必要な返信を作成して自動返信する。例えば、ビジネス等で価格の問い合わせメールがあれば、価格表が自動返信され、納期の問い合わせメールには、在庫表が自動返信される。用意されている返信に該当しない問い合わせの場合は、「早急にご返事しますのでお待ち下さい」といった

(11)

デフォールトの定型メールが自動返信される。^$%

図 ⁽ ^!のユーザ画面

本章のまとめ

現在唯一存在するメールの返信を補助する機能が自動返信である。しかし、これはユーザ自身がある程度返信する内容を予測する必要があり前段階で手間がかかるのと、さらに前もって決めた内容を決めた条件に合う相手にしか返信できないので柔軟性に欠ける。本研究ではそれらの問題を解決するために手間がかからず、特定の条件が合う相手以外に発動する機能を目的としている。質問メールに対して返信をする際に、過去のメールのやりとりから最適な返信内容を検出する事により、何回も同じ質問を繰り返し受けるような環境でメール作成の効率性を上げるようなインターフェースを実装する。

(13)

第

章実装方法

本章では、まず本研究のメーラでの実装内容を簡単に説明する。次に、受信した質問メールと同じような内容の過去のメールを検出するために必要な法の説明を行う。

実装環境

以下は、本研究で実装を行う上での実装環境である。

)*+ *, -./

0" -1

23 456 7* *8

表 ⁽ 実装環境

動作の流れ

図は本研究で実装する機能の動作内容である。

まず最初に質問メールを受信した際に、その本文からヘッダを除去し内容自体に形態素解析エンジン茶筅を用いて、文を品詞単位に分ける。個別に分けた品詞から名詞または動詞を抽出し、それらを類似するメール内容を探すときのキーワードとして保存する。また、その受信メールに対して返信した際には、その返信本文も保存しておく。

次に内容の類似したメール本文を受信した時に、同じように形態素解析し名詞・動詞を抽出する。そして、その品詞群から過去のメール本文を検索していき、

法を利用した概念検索により類似率が高いメールに対する返信内容を表示する。これらの機能により補助されるメール返信を搭載したメーラを実装する。

(14)

図 ⁽ 本研究の動作内容

(15)

概念検索と法

概念検索は類似検索とも呼ばれることがある。類似検索とは、文書の内容、すなわち話題であったり、意味であったりするが、それが類似しているものを探すことである。しかし、現状では、文書の意味を捉えて検索しているシステムはない。

概念検索は、文書中で使用されている単語や熟語（複合語）などの出現の仕方が似ているもの（概念が似ていると解釈）を探すシステムである。そのとき、その文書に含まれている単語の重要性を文書データベース全体で考慮している。これらを実現する手法はベクトル空間モデルと呼ばれている。^$%

その中で^9': ^, ^9'と呼ばれる値を使って重要性を判断する。とは、各文書中の語の出現頻度、とは語の出現する文書数の逆数であり、は、との値を掛け合わせたものである。この値が大きいほどその文書集合中で文書を特徴付ける語であると言える。すなわち、ある文書中で繰り返し使われる語であるが、他の文書ではあまり使われていない。そのような語を持つ文書は、その語で特徴付けられると考える。

検索キーワードとして、その語が一つ指定された場合、その語の出現頻度が一番多い（の値が最も大きい）文書が最初に検索される。一般的には、検索キーワードは一つではなく複数指定されるので、複数のの値で調整される。^$%

法を利用した類似の判定

文書間の類似度を判定するためには、ベクトル空間モデルを用いる。ベクトル空間モデルとは、どの単語がどの程度その文書中に出現しているかをベクトルの形で表現し、文書どうしの類似性をベクトル間の類似性をもとに与えようというアイデアに基づいていている情報検索手法である。^$%このモデルでは、文書は多次元空間上のベクトルとして表され、次元数は全体での有効な形態素の数によって決まる。以下に示す例は、「原宿にある美容院」を検索する際に、「原宿」「美容院」という二つのターム、また文書Ｄに新たに含まれる「お店」というタームを形態素として次元のベクトル空間を描いたものである。

(16)

図 ⁽ 法を利用した類似度の例

(17)

概念検索でベクトル空間モデルを利用する上で以下の二つは重要な話題となっている。

ある文書に対する文書ベクトルをどう作成したらよいか

文書ベクトルの比較をどのように行ったらよいか

まず、前者の文書に対する文書ベクトルの作成については、各単語のその文書に対する重要度に応じて単語の重み付けを行うというアプローチが主流である。

ここでは、単語の重みとして^,8と⁵⁸の積を用いる。一方、後者については余弦

尺度と呼ばれる類似尺度の計算方式が広く用いられている。本研究では図

で表されたような文書ベクトル同士のなす角の大きさθの余弦を変換し、類似度として用いる。以下は、その角の余弦から類似度の求め方である。

類似度＝ベクトルのなす角の余弦 × ベクトル長の比 × ベクトル長の和ここで文書ベクトル長の比は，ベクトル長が類似しているテキストブロックほど類似しているという考えに基づいており，双方のベクトル長の和は，より長いテキストブロックの対応関係を重視するためである。２つの文書の似ている度合が高いと判定された時ほど大きな値になる。

法を利用した類似の判定の例

ここでは以下の四つの文書を例に、実際に法を用いて類似判定を行った時の類似度の結果を示す。

形態素解析とは、形態素とそれ以上短くすると文脈上意味を持たなくなってしまう文字列のことをさし、文や文章を形態素に分解する技術を形態素解析といいます。

形態素解析とは、形態素とそれ以上短くすると文脈上意味を持たなくなる文字列のことを指し、文や文章を形態素に分解する技術を形態素解析と言う。

形態素解析とは、与えられた文を形態素に分ける作業のことです。この作業には、それぞれの形態素がどの品詞に対応するかという対応づけも含まれる。

構文解析とは、与えられた文がどのような規則によって生成されたかを逆に算出する作業のことです。

次の表は、これらつの文書を形態素解析にかけそれぞれの出現回数をまとめたものである。

(18)

形態素文書１品詞出現数形態素文書２品詞出現数

形態素名詞形態素名詞

解析名詞解析名詞

それ名詞それ名詞

以上名詞以上名詞

する動詞する動詞

文脈名詞文脈名詞

上名詞上名詞

意味名詞意味名詞

持つ動詞持つ動詞

なる動詞なる動詞

しまう動詞文字名詞

文字名詞列名詞

列名詞こと名詞

こと名詞指す動詞

さす動詞文名詞

文名詞文章名詞

文章名詞分解名詞

分解名詞技術名詞

技術名詞言う動詞

いう動詞

形態素文書１品詞出現数形態素文書２品詞出現数

形態素名詞構文名詞

解析名詞解析名詞

与える動詞与える動詞

られる動詞られる動詞

文名詞文名詞

分ける動詞よう名詞

作業名詞規則名詞

こと名詞生成名詞

それぞれ名詞する動詞

品詞名詞れる動詞

対応名詞逆名詞

する動詞算出名詞

づける動詞作業名詞

含む動詞こと名詞

れる動詞いう動詞

表 ⁽ 形態素とその出現数

(19)

表は３２個ある有効な形態素に関して、出現する文書の数とまとめたものである。ここでは全文書中での単語の出現頻度のことで次のような式で求めることが出来る。

^;^! ^< ⁽ 文書数

( 形態素が出現する文書の数

形態素出現文書数形態素出現文書数

形態素指す

解析言う

それ与える

以上られる

する分ける

文脈作業

上それぞれ

意味品詞

持つ対応

なるづける

しまう含む

文字れる

列構文

ことよう

さす規則

文生成

文章逆

分解算出

技術いう

表 ⁽ 形態素と全文書中でのその出現頻度

次に図の出現数と図の出現頻度を用いて、文書ごとに次元のベクトルを作る。ここで次元数は形態素の種類の数によって決まる。またベクトルの各要素は単語のとを掛けたものである。

(20)

文書ベクトル１：

｛ ⁼⁼⁼⁼⁼⁼⁼⁼ ⁼⁼ ⁼⁼⁼⁼

= == == == === == === === === == ｝文書ベクトル２：

｛ ⁼ ⁼⁼ ⁼ ⁼ ⁼ ⁼ ⁼⁼ ⁼ ⁼ ⁼ ⁼ ⁼⁼

= = == = = == == == == == == == == ｝文書ベクトル３：

｛ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼ ⁼

= = = = = = = == === = =｝文書ベクトル４：

｛ ⁼⁼ ⁼ ⁼ ⁼ ⁼⁼ ⁼ ⁼ ⁼⁼ ⁼ ⁼ ⁼⁼ ⁼ ⁼ ⁼⁼ ⁼ ⁼ ⁼ ⁼ ⁼⁼ ⁼

= == = = = = = = = = ｝

以上の文書ベクトルから各文書ベクトルの類似度を求めるために、まず文書ベクトル間の角度のを求める。その求め方は、以下のようなものとなる。

ベクトル^½^¾^¿ とベクトル^½^¾^¿ がなす角の：

;

½×½＋ ¾×¾＋ ¿×¿＋

¾

½

＋ ^¾

¾

＋ ^¾

¿

＋

¾

½

＋^¾

¾

＋^¾

¿

＋

(21)

表は文書ベクトル１と文書ベクトル２〜４を比較して、ベクトル間の角度の

の数値である。

比較ベクトル

文書ベクトル１・２

文書ベクトル１・３

文書ベクトル１・４

表 ⁽ 文書ベクトル間の角度の

最後にこれらの余弦値に、双方の文書ベクトル長の比と双方の文書ベクトル長の和を以下の方法掛け合わせる。

文書ＡとＢの類似度＝ ^½

¾

½

>

¾

( 文書ベクトルＡＢ間の角度

½

( 文書ベクトルＡのベクトル長

¾

( 文書ベクトルＢのベクトル長

その結果は表で示される。

比較ベクトル類似度文書ベクトル１・２

文書ベクトル１・３

文書ベクトル１・４

表 ⁽ 文書ベクトル間の類似度

以上の結果からわかるように、ほとんど変わらない文書１と文書２の類似度は

と非常に高く、内容が同じ文書１と文書３が次に高く、内容が全く違う文書１と文書４の類似度はと非常に低くなる。

実装するメーラでは以上の手法で類似検索を行い、受信した質問メールと過去の質問メールとの比較を行い、類似した内容のメールを判定する。

(22)

本章のまとめ

本章では、まず本研究のメーラでの実装内容を簡単に説明した。次に、受信した質問メールと同じような内容の過去のメールを検出するために必要な法の説明を行った。そして法を利用した類似の判定方法を、具体的な例を用いて一段階ずつ詳しく説明した。次章では、ここで説明した法を利用した類似の判定方法を利用したメーラの評価方法の説明と、その評価と考察を行う。

(23)

第

章評価と考察

この章ではまず評価方法の再現率⁼ 精度⁼ 値について述べる。そして実際に評価を行い、最後に考察を述べる。

評価方法

今回実装をしたメーラに関して、タスクをどの程度うまく行なえたかを示す指標として再現率⁼精度⁼値を用いる。以下にその特徴を述べる。

再現率

再現率とは検索が見つけて返してきた結果のうち、自分が探してた内容を含むの比率の事である。精度とトレードオフの関係にあり^6?検索エンジンなどユーザの要求に対する適合文書のみを掲示したいときに高い値が必要となる。^$ ^%以下はその求め方である。

再現率^; 被験者が正しく適合と判断したテキスト数実際に適合するテキストの総数

精度

精度とは全ての検索候補のうち、探している内容に合っているもの全体の数から、どのくらいの数が検索結果に含まれたかである。再現率とトレードオフの関係にあり、特許文書の検索など検索漏れを少なくしたいときに高い値が必要となる。^$ ^%以下はその求め方である。

精度^; 被験者が正しく適合と判断したテキスト数被験者が適合と判断したテキストの総数

(24)

値

本研究では、との両方を評価の対象とするため、その二つから

値出す必要がある。^$ ^%以下がその求め方で、^*と⁰ の相乗平均の事である。

値 ^; ^¾^× ^×

＋

今回の機能を実装したメーラで実際に類似するメール内容を検出して、その結果がどれくらい正確かを値を求めることにより評価する。

評価

実際の評価では、質問メールとそれに対する返信メールに相当する部分に、５つの別のサイトから同じ内容のＦＡＱの質問内容と返答内容を利用する。これは同じ内容の質問を複数用意し、評価するためである。使用したサイトは表に示す。次にそれらのサイトの内容に対して、１０種類のランダムな質問を用意し、各質問について類似度が高い質問内容を高い順に５つ検出してそれらの類似度の数値を評価する。この際類似度の数値が以下の場合は明らかに質問が類似していないと判断し、評価対象には加えない。そして検出された質問内容に対する返答内容に関して値を求め、評価する。

< 使用した^"#のサイト ^+0@

456 "# &,,(& !8,' 689

超初心者向け⁴⁵⁶講座 &,,(666,A,B 8A' 初心者のためのパソコン講座 &,,(6666& ?!

半角初心者 &,,(666!,B3C'1' "#集〜⁶⁵⁶〜 &,,(666B,,,5D&,

表 ⁽ 実際使用した^"#

(25)

結果

以下に、類似検索を行った時に出る質問内容の類似度数値とそれらに対する返答内容の再現率、精度、値の結果を示す。

質問^< 類似度

平均

表 ⁽ 質問内容の類似度数値

(26)

質問^< 再現率精度値

平均

表 ⁽ 返答内容の再現率、精度、値

考察

まず表について説明する。この表は用意された種類の質問内容それぞれに関して、類似度の高い質問内容を検索し、類似度数値の高い順から５つ表示したものである。これは、このケースでは同じ内容の文は最大でも５つまでしか用意されていないためである。

今回のケースでは、質問内容のＦＡＱはすべて初心者用⁴⁵⁶の²³のことに関してである。用意された質問内容の中で、質問^<「シャットダウンの仕方」、

質問^<「コントロールパネルの開き方」など簡単でオーソドックスな質問に関しては高い類似度とたくさんの候補を挙げる結果となった。しかし逆に、質問^<

「^B:のパスの通し方」など初心者の質問内容には見当たらないような内容に関しては、類似度が低くなる結果となった。

次に表について述べる。ここでは、表で検出された類似度の高い質問内容の内、それに対する返答内容が実際に求めているものとあっているかを考えて、

再現率と精度を計算した。

このケースで精度の結果に最高値のが幾つか見られるのは、その質問内容がある程度パターンが決まっている質問であるためである。分割された形態素からある程度質問内容が限られてくるのである。例に挙げて説明すると、

先ほどの質問^<「シャットダウンの仕方」に関しては、シャットダウンという形態素用いた中では考えられる質問内容が限られてくるので精度が高くなるという結果になる。また類似検索で高い類似度数値を示した質問内容でも、返答内容に関して微妙に合わず、適合かどうかの判断が難しいものもあった。

(27)

これらの結果を見てわかることは、質問内容によって結果にばらつきがあることである。これは、質問内容の単純さやその質問の表現の仕方によって類似検索における必要数値が大幅に変わってくるためである。同じ内容の質問でも、その質問におけるキーワードとなる形態素を用いるか、用いないかによって結果が違ってくる。さらに質問内容がマッチしても、それに対する返答内容が必ずしも適合するとは限らない。すなわち、それは類似度の数値が高いものが内容として正確なものを返すということではないことを指す。また検索する過去の質問のテーマが違うとまた異なる結果が出てくることも予想できる。そのテーマに関しても無数にあるため、この実験に関しては場合場合で類似度が異なってくることがわかった。

(28)

第

章結論

まとめ

まず本論文の第１章では、本研究の概要と目的を述べた。本研究では、質問文が含まれるメールを受け取りそれに対して返信する際に、過去の似たような受信メールに対する返信を返信内容の候補として挙げることによって、メールの作成効率を上げることを目的とした。従来のメーラに付属するような自動返信機能では、ユーザ自身がある程度返信する内容を予測する必要があり前段階で手間がかかり、前もって決めた内容を決めた条件に合う相手にしか返信できないので柔軟性に欠ける。メール受信内容を読み取って個別に動的に対応できる機能の実装を試みた。

第２章では、従来の関連研究を紹介しその特徴について述べた。また形態素解析についても簡単に説明した。

第３章では、本研究のプログラムの動作内容と実装方法について述べた。類似判定と類似判定に用いられる法という技術を説明し、さらにその類似判定を例を用いて解説した。

第４章では、実装後のプログラムの評価と考察を行った。作成したプログラムで実験を行ったところ、類似度と返答内容の適合の結果に関しては質問文、またその中に含まれる形態素によってばらつきが見られた。実験結果を見る限り、必ずしも類似度の高い質問文が返答内容の適合を意味するわけではないことがわかり、改良の必要性を感じた。

今後の課題

最後に今後の課題を以下のように挙げて、本論文を終了する。

今回の実験の結果では、類似検索で求めた類似度数値の高さが直接、質問メールに対する返答内容の適合が結びついているわけではなかった。今後の課題としては、その適合率をあげるために返答内容も走査する必要があると考えた。質問内容と返答内容の関係を考慮することによって、より高い確率で正しい返答内容が検索できると予想する。

(29)

また今回類似度判定を行うために使用した法に、さらに重み係数を持たせることによって、その場合に沿った検索が出来ると考える。例えば、

ケースバイケースで固有名詞などに重みを持たせると形態素の中でも優先順位を持たせることが出来るのではないか。

(30)

謝辞

本研究にあたって、研究用の実験環境等の提供、研究に関する方向性の提供、そして温かい御指導をして下さった村岡洋一教授には、厚く感謝致します。

本研究を進めるにあたり、日頃から惜しみなく御指導して頂きました村岡研究室の先輩の皆様、ならびにＯＢの方々に深く御礼を申し上げます。

また、同研究室で共に研究をした学部４年の皆様には様々な助言をもらい非常に研究の励みとなり、また多くの事を学習する事が出来、大変感謝しています。本研究は私一人の力でできたわけでなく、様々な人達の力があったからこそ終える事ができました。

再度心より感謝し御礼申し上げたると同時に、研究生活を暖かく見守っていてくれ、精神的に支えてくれた両親と妹に愛と感謝を捧げます。

平成年月日

過去のメールから質問メールに対する 返答内容候補の予測

年度 卒業論文