UpdateNews ：ニュース記事の要約システム

5.5.1 システム概要

筆者らは，ニュース記事の収集と分類および要約を行う UpdateNews [33] システムを構築した．このシステムは，Web 上に公開されている ニュース記事を収集し ，カテゴ リごとに分類して提供する．図5.14に，

UpdateNewsのトップページを示す．

収集した記事について，同一トピックに言及している記事ごとにクラ スタ作成し ，各クラスタごとに要約を生成する．（ 図5.15）

ニュース記事は8カテゴ リ（ 社会，政治，国際，経済，テクノロジー，

スポーツ，エンターテイメント，科学)に分類される．この8カテゴ リは，

クローリング対象の各ニュースサイトで事前に分類され与えられている メタデータによって分類している．収集した記事について，同一の物事 について言及している記事ごとに分類されるようにクラスタリングを行 い，こうしてできたトピックごとに，その複数記事を元文書とした要約 生成を行う．本システムは ニュースクローラ，クラスター分類器（ 生成

図 5.15: 要約文書表示ページ

器），要約器 （ 図5.16） によって構成される．

図 5.16: システム設計

5.5.2 _収集対象

定期的にクローラが各ニュースサイトの更新情報を示すRSSフィード をチェックし ，更新があったコンテンツを取得する．（ 図5.17）

RSSフィード 内で単一の記事は<item>タグによって示される．それ ぞれ各タグが示す情報は以下の通りである．

1. <title>記事タイトル 2. <link>記事URL

第 5 章 局所テキストアライメントに基づいた複数文書要約

図 5.17: RSS クローラ

3. <date>記事の時刻 4. <description>記事見出し

記事のURLが示すhtmlファイルからhtmlタグや広告など 記事に直接 関係ない情報を削除し，本文のみを抜き出す．この方法は，各ニュースサ イトごとに，<div class=”main boby”> <div class=content>など ，本 文を示すタグが存在するため，このタグの内側のテキストタグを取得す ることにより，記事本文の抽出が可能である．

5.5.3 _{クラスタリング}

システムは各記事を適切なトピックに割り当てる．文書分類には様々 な関連研究 があるが，本システムではVector space model を用い， 各 単語の値をinverse document frequencyによって重み付ける．各文書に含 まれる語の値を {w₁, w₂, ..., w_n} とする． w_i のdocument frequency を df(w_i)とする．これはコーパス全体 A_all 中の出現頻度である．tf(w_i, a) は，単語 w_iの記事a中での出現頻度を表す．このようにして，記事 aを 以下のようにn次元のベクターで表現する．−→a = (f₁, f₂, ..., f_n)

このとき，

f_i =tf(w_i, a)×idf(w_i) (5.16) idf(w_i) = log

( |A_all| df(wi)

)

(5.17) あるトピックに属する記事の集合をT ≡ {b₁, b₂, ..., b_|T|} とすると．こ のトピックT と記事aの類似度を以下のようにcosine距離によって計算 する．

図 5.18: クラスタ生成 例

sim(T, m) =max_b∈T

−

→a ·−→ b k−→ak × k−→

b k

k←−akはベクトルの大きさである．文書aを，閾値以上で最も大きい類 似度を示したトピックに割り当てる．閾値以上のトピックがなければaの みの新しいトピックを作る．(図5.18)