インターネット情報監視システムの試作

(1)

インターネット情報監視システムの試作

永井

明人

増塩

智宏

高山

泰博

鈴木

克志

三菱電機株式会社情報技術総合研究所

1.

1. はじめに

はじめに

インターネットでは一般からの情報発信が盛んになり、企業や製品に関する消費者の生の声(風評)が広く公開されるようになった。そこで、これらの大量の風評からクレームを抽出して、迅速なクレーム対応を実現する要求が企業において急速に高まっている。こうした要求を背景として、Web 上に広がる企業や製品のクレーム情報を抽出して監視するインターネット情報監視システムを試作した。本稿では、この試作システムの概要を述べる。

2.

2. インターネット情報監視の課題

インターネット情報監視の課題

大量の Web 文書を対象とした情報監視の業務では、以下が課題となる。 (1) 一般の全文検索エンジンでは、検索結果として取得できる URL 数に上限があり、大量に収集できない。また、索引付けに時間がかかるため、最新情報の検索が困難である。 (2) 大量文書から、クレーム文書を人手で判断して抽出するのが困難である。また、既存の全文検索エンジンや風評配信サービスでは、クレーム文書を検索するためのキーワードの設定が困難である。 (3) 急速に広がりつつあるクレームを迅速に把握することが困難である。そこで、本システムでは、上記課題に対して以下の解決手段を実現した。 (1) 検索結果として取得できる URL 数の上限を超えて収集するために、時分割収集を行なう。さらに、最新情報である掲示板などの特定 URL 監視を行なう。 (2) 単語共起に基づくクレーム抽出技術[1][2][3]により精密なパタン照合を行なって、クレーム文書を自動抽出する。 (3) クレーム文書のマクロな時系列分析を行なうトレンド分析により、危機の予兆を迅速に検知し、クレーム対応を支援する。

“Prototyping an internet watching system”

NAGAI Akito, MASUSHIO Tomohiro, TAKAYAMA Yasuhiro, SUZUKI Katsushi

Information Technology R＆D Center Mitsubishi Electric Corporation

3.

3. システム構成

システム構成

本システムは図 1に示すように、Web 文書収集部、情報抽出(クレーム抽出)部、トレンド分析部の三つの処理から構成される。処理の流れとしては、オペレータが調査対象に関する初期設定として、例えば自社の企業名や、調査対象を表わす簡単なキーワード(製品のカテゴリ名)などをプロファイルデータとして設定する。システムは、プロファイルデータに基づき、定期的にインターネットから文書を収集し、収集した文書に対してクレーム抽出を行なう。さらに、クレームを判定された文書集合に対し、トレンド分析を行ない、クレーム出現傾向を視覚化表示する。言語構造解析言語構造解析言語構造解析言語構造解析による精密なによる精密なによる精密なによる精密なパタン照合パタン照合パタン照合パタン照合危機の予兆（クレー危機の予兆（クレー危機の予兆（クレー危機の予兆（クレーム急増）を検出してム急増）を検出してム急増）を検出してム急増）を検出して迅速に通知迅速に通知迅速に通知迅速に通知広範囲で最新広範囲で最新広範囲で最新広範囲で最新ののの のWeb文書を文書を文書を文書をくまなく収集くまなく収集くまなく収集くまなく収集インターインターインターインターネットネットネットネット掲示板掲示板掲示板掲示板クローラクローラクローラクローラ全文検索全文検索全文検索全文検索*

((((TOCC/TOCC/TOCC/TOCC/InktomiInktomiInktomi))))Inktomi Web Web Web Web文書収集文書収集文書収集文書収集情報抽出情報抽出情報抽出情報抽出クレームクレームクレームクレーム抽出抽出抽出抽出* クレームクレームクレームクレーム抽出規則抽出規則抽出規則抽出規則トレンド分析トレンド分析トレンド分析トレンド分析トレンドトレンドトレンドトレンド分析分析分析分析単語共起パタン単語共起パタン単語共起パタン単語共起パタン重み重み重み重み納得（名サ）納得（名サ）納得（名サ）納得（名サ） / / / でき（活用） / でき（活用）でき（活用）でき（活用） / / / / ない（助動詞）ない（助動詞）ない（助動詞）ない（助動詞） 1.0 1.0 1.0 1.0 対応（名サ）対応（名サ）対応（名サ）対応（名サ） / / / 腹（名詞） / 腹（名詞）腹（名詞）腹（名詞） / / / / 立（タ五）立（タ五）立（タ五）立（タ五）良識（名詞）良識（名詞）良識（名詞）良識（名詞） / / / 疑（ワ五） / 疑（ワ五）疑（ワ五）疑（ワ五）１００００ルール規模１００００ルール規模１００００ルール規模１００００ルール規模・・・

・800080008000万日本語8000万日本語万日本語Web万日本語WebWebWebページページページページ _文単位に_文単位に_文単位に_{文単位に規則適用}_規則適用_規則適用_規則適用

マクロなマクロなマクロなマクロな時系列分析時系列分析時系列分析時系列分析定期的な更新監視定期的な更新監視定期的な更新監視定期的な更新監視・時分割収集・時分割収集・時分割収集・時分割収集抽出抽出抽出抽出結果結果結果結果プロファイルプロファイルプロファイルプロファイル・企業名・企業名・企業名・企業名・検索キーワード・検索キーワード・検索キーワード・検索キーワードうちの会社のクうちの会社のクうちの会社のクうちの会社のクレームが流れてレームが流れてレームが流れてレームが流れてないだろうか？ないだろうか？ないだろうか？ないだろうか？図 1：インターネット情報監視システムの構成

4.

4. Web

Web

Web 文書収集部

Web

文書収集部

文書の収集処理は、図 2に示すように全文検索部、ダウンロード部、および掲示板クローラ部からなる。全文検索では、プロファイルデータ中の企業名と検索キーワードを入力として、調査対象に関する Web文書の URL リストを取得する。この際、時分割収集のために、全文検索エンジン TOCC[4]の機能を用いて検索し、取得した URL リストをダウンロード部へ渡す。

3−19

2E-5

情報処理学会第65回全国大会

(2)

ダウンロード部では、URL リストの各 URL からテキスト情報を取得し、また、掲示板クローラ部では、特定 URL にある掲示板に対してクローリングを行ない、各発言ごとにテキスト情報を取得する。上記のテキスト情報はディスク上に格納し、また、収集日時、Web 文書の更新日時、掲示板発言の発言日時といった書誌情報は、URL・文書管理 DB へ記録して管理する。全文検索全文検索全文検索全文検索ダウンロードダウンロードダウンロードダウンロードインターインターインターインターネットネットネットネット・企業名・企業名・企業名・企業名・検索キーワード・検索キーワード・検索キーワード・検索キーワード特定特定特定 特定URL URL・_管理_管理_管理_管理DB・・・文書文書文書文書クレームクレームクレームクレーム抽出抽出抽出抽出掲示板クローラ掲示板クローラ掲示板クローラ掲示板クローラ自動更新管理自動更新管理自動更新管理自動更新管理図 2：Web 文書収集部

5.

5. クレーム抽出部

クレーム抽出部

収集した Web 文書に対して、文献[1][2][3]の方式に基づくクレーム抽出を行なう。本方式は、意図(クレーム)を表現する一般的な特徴表現を、複数の単語の共起パタンとして規則化し、意図抽出を行なうアプローチであり、図 1に示すような単語共起パタンを 1 万ルール規模で適用している。クレーム抽出処理では、入力された文書を文単位の解析単位に分割し、形態素解析の後、クレーム抽出規則を参照して、解析単位中の形態素列と単語共起パタンとの照合を行なう。単語共起パタンが解析単位の形態素列に存在すれば、文書に対するクレーム度スコアにクレーム抽出規則の重みを加算・正規化し、クレーム度スコアが閾値を越えた場合に、文書をクレーム文書と判定して、抽出表現と共に出力する(図 3)。どうも納得できないので、Ｉ社に電話をしました。でも担当の課長が不在。代わりのＨ課長が出たのですが、その対応に腹が立ちました。「どうも納得できない納得できない納得できないので、納得できないＩ社に電話をしました。」「代わりのＨ課長が出たのですが、その対応対応対応対応に腹腹腹が腹立立立立ちました。」クレーム抽出入力文書入力文書名： XXX.txt クレーム度スコア： 2.0 抽出表現：図 3：クレーム抽出結果の例さらに、抽出表現の近傍に存在する企業名を抽出し、URL・文書管理 DB へクレーム抽出結果とともに格納する。

6.

6. トレンド分析部

トレンド分析部

トレンド分析部は、抽出したクレームの出現傾向を時系列でマクロに把握するために、URL・文書管理 DB に格納されたクレームのスコアの推移をグラフとして表示する。この機能により、Web 上にクレームが急増し始めたことを検知し、迅速なクレーム対応を支援する。図 4は、製品 X に関するクレーム急増の実際の分析例である。製品 X が発売されて不具合が発覚し、クレームが急増していることが分かる。トレンド分析の機能により、本事件の新聞報道日以前に危機の予兆を把握することができるようになる。クレームスコアの合計値 0 10 20 30 40 50 60 70 200 2/ 1 / 1 200 2/ 1 /8 20 02 / 1/ 15 20 02 / 1/2 2 2002 / 1/29 2002 /2 /5 20 02 /2/ 1 2 20 02 /2/ 1 9 20 02/ 2/ 26 20 02/ 3/ 5 200 2/ 3/ 12 200 2/ 3/ 19 200 2/ 3/2 6 20 02/4 /2 20 02/4 /9 2002 /4 / 1 6 2002 /4 /23 20 02 /4/ 30 20 02 /5/ 7 20 02/ 5/ 1 4 20 02/ 5/ 2 1 20 02/ 5/ 28 200 2/ 6/4 200 2/ 6/ 11 20 02 / 6/ 18 20 02/6 /2 5 2002 /7 /2 2002 /7 /9 20 02 /7/ 1 6 20 02 /7/ 23 20 02/ 7/ 30 クレーム発言(「千と千尋」含む) スコア合計 DVD発売日新聞報道日製品発売日 ← 期間 → クレームスコアの合計値 1週間後図 4：クレーム急増検知の例

7.

7. おわりに

おわりに

クレーム抽出技術を適用した応用システムとして、インターネット上の風評情報を監視するシステムを試作した。今後は、試作システムの実験評価を実施し、応用システムとしての業務効果を、定量データとして明確化していく予定である。また、業務支援のために有効な機能も検討していく。 [[[[参考文献参考文献参考文献]]]]参考文献 [1] 永井, 他 “CRM における顧客メール分析手法の検討,” 情報処理学会第 62 回(平成 12 年後期)全国大会 3-81, 2000. [2] 永井, 他 “文内の単語共起照合に基づくクレーム抽出方式の性能評価,” 情報処理学会第 64 回 (平成 13 年後期)全国大会 pp. 3-17, 2002.3. [3] 永井, 他 “単語共起照合に基づくクレーム抽出方式の改良,” FIT2002 情報科学技術フォーラム E-16, pp. 113-114, 2002.9. [4] http://www.tocc.co.jp/search/

3−20

インターネット情報監視システムの試作