論文データのYahoo!知恵袋カテゴリへの自動分類

DEIM Forum 2016 C5-2

論文データの Yahoo!知恵袋カテゴリへの自動分類

重田 識博

†

難波 英嗣

‡

竹澤 寿幸

‡

†広島市立大学 情報科学部 〒731-3194 広島県広島市安佐南区大塚東 3-4-1

‡広島市立大学大学院 情報科学研究科 〒731-3194 広島県広島市安佐南区大塚東 3-4-1

E-mail: †‡{shigeta, nanba, takezawa}@ls.info.hiroshima-cu.ac.jp

あらまし 専門知識を持たない一般人が、難解な学術情報に容易にアクセスできるシステムの開発を目指してお り、その第一歩として、Q&A コミュニティ「Yahoo! 知恵袋」のカテゴリに論文を自動分類するシステムを構築す る。本研究では、知恵袋の回答欄に論文データベース CiNii へのリンクを含むエントリに着目する。エントリに付 与された知恵袋カテゴリをリンク先の論文のカテゴリと見なすことで、知恵袋カテゴリ付き論文データを作成した。 このデータを用いて実験を行い、提案手法の有効性を確認した。 キーワード 文書分類, 学術論文, Yahoo! 知恵袋, ジャンル横断文書分類

1. は じ め に

近 年 、 テ レ ビ 、 新 聞 、 Web な ど 、 様 々 な メ デ ィ ア 上 で 、 科 学 技 術 に 関 す る 膨 大 な 情 報 が 流 通 し て い る 。 そ の 中 に は 不 確 実 あ る い は 誤 っ た 情 報 も 少 な か ら ず 含 ま れ て お り 、 こ う し た 情 報 が 非 専 門 家 を 混 乱 さ せ た り 不 安 に 陥 れ た り す る だ け で な く 、 風 評 被 害 な ど で 実 害 を 与 え る 場 合 す ら あ る 。 こ う し た 状 況 に お い て 、 誰 も が 安 心 し て 安 全 な 生 活 を 営 む た め に 、 非 専 門 家 で も よ り 信 頼 性 の 高 い 学 術 情 報 に 容 易 に ア ク セ ス で き る 技 術 が 必 要 と さ れ て い る 。 そ こ で 、 本 研 究 で は 、 学 術 論 文 を Yahoo! 知 恵 袋 の カ テ ゴ リ に 自 動 的 に 分 類 す る 手 法 を 提 案 す る 。 Yahoo! 知 恵 袋 と は 、日 常 生 活 上 の 様 々 な 疑 問 を 投 稿 す る と 、 そ の 疑 問 に つ い て ネ ッ ト 上 の 誰 か が 答 え て く れ る 、と い う サ ー ビ ス で あ る 。例 え ば 、「 体 力 的 に 弱 く て 困 っ て い ま す 。お す す め の サ プ リ を 教 え て く だ さ い 。 ビ タ ミ ン と か い ろ い ろ あ り ま す が 、 な に か お す す め あ り ま す か ？ 」と い う 質 問 に 対 し て 、「 ビ ー ル 酵 母 と か 凄 く 良 い で す よ 。 ビ ー ル 酵 母 意 外 に も 色 々 入 っ て る の を 買 っ た 方 が 効 果 が 望 め ま す 。」の よ う に 回 答 さ れ る 。サ プ リ の お す す め に 関 す る 質 問 が 約 5000 件 投 稿 さ れ て い る 。ま た 、お す す め に 関 す る 質 問 は 14 万 件 以 上 存 在 す る 。 こ の サ ー ビ ス で は 、 過 去 に 投 稿 さ れ た 質 問 お よ び 回 答 事 例 を 効 率 的 に 検 索 で き る よ う に 、 す べ て の 質 問 — 回 答 事 例 が カ テ ゴ リ に 分 類 さ れ て い る 。 こ の 分 類 体 系 (以 下 、知 恵 袋 カ テ ゴ リ )は 、第 一 階 層 17 種 類 、第 二 階 層 113 種 類 、 第 三 階 層 434 種 類 の 三 階 層 で 構 成 さ れ 、 全 564 カ テ ゴ リ 存 在 す る (2014 年 10 月 現 在 )。 図 1 に Yahoo! 知 恵 袋 カ テ ゴ リ の 一 例 を 示 す 。こ の 分 類 体 系 (以 下 、 知 恵 袋 カ テ ゴ リ )に 論 文 を 分 類 す れ ば 、 知 恵 袋 の 質 問 —回 答 事 例 を 探 す の と 同 じ よ う に 論 文 を 探 す こ と が で き る よ う に な り 、非 専 門 家 に よ る 学 術 情 報 へ の 容 易 な ア ク セ ス が 部 分 的 に 実 現 で き る と 考 え ら れ る 。ま た 、論 文 を 検 索 す る 学 生 に 対 し て も 、検 索 時 間 の 軽 減 や 目 的 の 論 文 の 検 索 が 容 易 に な る こ と も 期 待 さ れ る 。そ の た め 、 Yahoo! 知 恵 袋 の カ テ ゴ リ に 論 文 を 分 類 す る こ と が 必 要 で あ る と 考 え る 。知 恵 袋 カ テ ゴ リ に 論 文 を 分 類 す る た め に は 、 人 手 に よ る カ テ ゴ リ 付 与 を 行 う こ と で 実 現 可 能 で あ る が 、 こ れ は 、 多 く の 時 間 を 要 す る 。 こ の 作 業 を 機 械 学 習 に よ る カ テ ゴ リ 自 動 分 類 で 代 用 で き る と 考 え る 。 ま た 、 自 動 分 類 を 実 現 す る た め に は 、 論 文 情 報 に カ テ ゴ リ を 付 与 し た デ ー タ を 準 備 し 、 正 解 デ ー タ と し て 用 い る 必 要 が あ る 。 本 研 究 で は 、 学 術 論 文 デ ー タ ベ ー ス CiNii の 論 文 を 知 恵 袋 カ テ ゴ リ に 自 動 分 類 し 、 実 験 に よ り 、 そ の 有 効 性 を 確 認 す る 。 こ れ ま で に も 、 既 存 の 分 類 体 系 に 文 書 集 合 を 自 動 分 類 す る 研 究 は 多 く 存 在 す る 。 外 部 サ イ ト の 分 類 体 系 に 基 づ い て 文 書 集 合 を 自 動 分 類 す る ア プ ロ ー チ と し て 、 大 量 の 文 書 集 合 を 訓 練 用 の デ ー タ セ ッ ト と し て 用 い 、 特 徴 ベ ク ト ル を 素 性 に 機 械 学 習 を 行 っ て い る 。 「 Support Vector Machine (SVM)」 や 、「 k 近 傍 法 (k-NN 法 )」と い う 分 類 手 法 を 用 い て い る 。こ の よ う な 従 来 の 手 法 に 加 え て 、本 研 究 で は 、「 パ ー セ プ ト ロ ン 」と い う ニ ュ ー ロ ン を モ デ ル と し た 古 典 的 な 機 械 学 習 ア ル ゴ リ ズ ム の 一 つ を 用 い て 分 類 を 行 う 。 本 論 文 の 構 成 は 以 下 の と お り で あ る 。 次 節 で は 、 関 連 研 究 に つ い て 述 べ る 。 3 節 で は 、 カ テ ゴ リ 毎 に お け る 論 文 の 自 動 分 類 手 法 に つ い て 述 べ 、 4 節 で は 、 有 効 性 を 調 べ る た め に 行 っ た 実 験 に つ い て 報 告 し 、 結 果 に つ い て 考 察 す る 。 最 後 に 5 節 で 本 稿 を ま と め る 。

図 1： Yahoo! 知 恵 袋 カ テ ゴ リ の 一 例

2. 関 連 研 究

2.1. Q&A サ イ ト 質 問 文 の 質 問 タ イ プ へ の 自 動 分 類 渡 邊 ら [1]は 、 Q&A サ イ ト の 質 問 を 「 事 実 」「 根 拠 」 「 経 験 」「 提 案 」「 意 見 」 の 5 つ の タ イ プ へ 複 数 の 判 定 者 に よ っ て 判 定 す る 分 類 実 験 を 行 っ て い る 。 質 問 タ イ プ の 定 義 と し て 、 ま ず 2 種 類 に 大 別 で き る と 提 案 し て い る 。 唯 一 の 正 解 が 存 在 す る 質 問 文 と 、 そ う で な い 質 問 文 で あ る 。 唯 一 の 正 解 が 存 在 す る 場 合 、 事 実 を 求 め る 質 問 と 、根 拠 も 求 め る 質 問 が 存 在 す る と い う 。ま た 、 唯 一 の 正 解 が 存 在 し な い 場 合 、 経 験 を 求 め る 質 問 と 、 提 案 を 求 め る 質 問 が 存 在 す る と い う 。 こ れ ら に 属 さ な い 質 問 と し て 意 見 を 求 め て い る と 定 義 し て 、 5 種 類 に タ イ プ 分 類 を 行 っ て い る 。 素 性 は 、 経 験 則 に よ っ て 選 択 し た 70 語 を 用 い て 機 械 学 習 に よ り 自 動 分 類 を お こ な っ て い る 。 さ ら に 渡 邊 ら [2] は ５ つ の タ イ プ に 加 え て ６ つ の 質 問 要 求 属 性 を 定 義 し て い る 。 質 問 要 求 属 性 と は 、 質 問 者 は 質 問 の 回 答 と は 別 に 回 答 の 速 さ や 正 確 さ と い っ た 期 待 を も っ て 質 問 を 投 稿 し て い る と 考 え ら れ る 。 確 信 性 、 多 様 性 、 独 創 性 、 客 観 性 、 保 証 性 、 要 約 性 の ６ つ を 質 問 要 求 属 性 と 定 義 し て 分 類 も 行 っ て い る 。 本 研 究 は 、渡 辺 ら の 質 問 タ イ プ の「 事 実 」や「 根 拠 」、「 意 見 」 に あ た る 回 答 に 用 い ら れ た 論 文 を 使 用 す る 。Q&A サ イ ト を 使 用 す る こ と 、 素 性 と し て 単 語 を 使 用 す る こ と が 共 通 し て い る が 、 分 類 対 象 が 質 問 で は な く 、 本 研 究 で は 回 答 を 用 い て 分 類 す る 。 ま た 、 質 問 タ イ プ へ 分 類 す る の で は な く 、 知 恵 袋 カ テ ゴ リ へ 分 類 す る と い う 点 が 異 な る 。 林 ら [3]は 渡 邊 ら の 5 つ の 質 問 タ イ プ の 再 定 義 を お こ な い 、Q&A サ イ ト か ら 複 数 の 質 問 が 含 ま れ て い な い 質 問 文 を 人 手 で 抽 出 後 、 キ ー ワ ー ド に よ る 手 法 と 語 の 頻 度 を 利 用 し た ス コ ア 付 け に よ る 手 法 の 2 つ を 用 い て 自 動 分 類 を お こ な っ て い る 。キ ー ワ ー ド に よ る 分 類 で は 、 単 語 を 人 手 で 質 問 文 か ら 収 集 し た キ ー ワ ー ド に 対 し て 、 5 つ の 質 問 タ イ プ を 対 応 さ せ て い る 。 語 の 頻 度 に よ る 分 類 で は 、 質 問 タ イ プ ご と に 単 語 頻 度 を 集 計 し て 、 ス コ ア を 算 出 し て い る 。Q&A サ イ ト か ら キ ー ワ ー ド 抽 出 や 、 語 の 頻 度 を 用 い て 分 類 を 行 う 部 分 で は 、 似 て い る が 本 研 究 は 、 人 手 に よ る 単 語 抽 出 を し て お ら ず 、 機 械 学 習 に よ り 単 語 を 抽 出 し て い る 。 2.2. Q&A サ イ ト の 回 答 文 の 信 頼 性 と 回 答 補 完 瀧 ら [6]は 、 Q&A サ イ ト の 回 答 文 を 対 象 と し て 、 投 稿 し た 質 問 に 対 し て 信 頼 性 の 高 い 情 報 を 効 率 的 に 入 手 す る た め の シ ス テ ム 構 築 を 目 的 と し て い る 。そ の た め 、 ど の よ う な 回 答 に 対 し て 信 頼 性 を 感 じ る か を 様 々 な 要 素 に 対 し て 、 分 析 ・ 実 験 を 行 っ て い る 。 本 研 究 と 関 連 す る 部 分 と し て URL を 用 い た 回 答 は 、信 頼 度 の 高 い 回 答 と い う 結 果 が 得 ら れ て い る 。し か し 、URL を 用 い た 回 答 文 は 全 体 の 回 答 文 に 対 し て の 割 合 が 低 い こ と が 分 か っ て い る 。瀧 ら の 研 究 か ら 、URL を 用 い た 回 答 の 方 が 高 い 信 頼 性 を 得 ら れ る が 、 用 い た リ ン ク 先 の 信 頼 性 ま で は 、 わ か ら な い 。 本 研 究 で は 、 用 い る リ ン ク 先 が 論 文 で あ る こ と か ら 信 頼 度 が 高 い 回 答 が 期 待 で き る 。 通 常 の サ イ ト を 提 示 す る よ り さ ら に 高 い 信 頼 度 を 持 っ た 回 答 が で き る と 言 え る 。 高 田 ら [7]は 、 Q&A サ イ ト に 投 稿 さ れ た 回 答 文 の う ち 、 回 答 の 信 憑 性 や 、 情 報 欠 落 し た 回 答 に 対 し て Web ペ ー ジ か ら 回 答 に 適 し た URL の 提 示 す る い わ ゆ る 回 答 補 完 を 行 っ て い る 。 質 問 文 の 中 で も 正 解 を 求 め る 質 問 で は な く 、 回 答 者 の 意 見 や 情 報 を 求 め る 質 問 文 を 対 象 と し 、 に 質 問 文 か ら 単 語 を 抽 出 し 、 検 索 ク エ リ と し て 用 い て 回 答 と し て 適 し た と 判 定 さ れ る Web ペ ー ジ を 提 示 す る 実 験 を 行 っ て い る 。本 研 究 で も 、Q&A サ イ ト の 単 語 を 素 性 と し 、URL の 提 示 を 行 う こ と を 目 標 と し て い る 。 高 田 ら の 研 究 で も 提 示 す る サ イ ト の 信 頼 性 は 、 わ か ら な い 。 2.3. 学 術 論 文 情 報 を 用 い た 自 動 再 分 類 柏 木 ら [8] は 、 論 文 の ア ブ ス ト ラ ク ト を 用 い て 論 文 分 類 を 試 み て い る 。 彼 ら は 、 Learning Vector Quantization を 用 い て 、原 子 分 子 物 理 学 分 野 の 論 文 に つ い て 分 類 を 行 っ て い る 。 あ る カ テ ゴ リ に 分 類 さ れ て い る 論 文 に 対 し て 、 ア ブ ス ト ラ ク ト の 情 報 だ け を 用 い て 再 分 類 を 行 っ て い る 。 正 し い カ テ ゴ リ に 分 類 す る こ と よ り も 多 く の 論 文 を 収 集 す る こ と を 重 要 視 し て 実 験 を 行 っ て い る 。 本 研 究 で も 、 論 文 の ア ブ ス ト ラ ク ト を 用 い る が 、 論 文 分 野 は 特 定 せ ず 、 知 恵 袋 に 引 用 さ れ た 論 文 を 対 象 と し て 実 験 を 行 う 。 榊 ら [9] は 、 時 系 列 的 な 変 化 を 考 慮 し た 論 文 の カ テ ゴ リ へ の 分 類 を 行 っ て い る 。 過 去 の 論 文 が 分 類 さ れ た カ テ ゴ リ を 正 解 と し て 、 現 在 使 用 さ れ て い る カ テ ゴ リ に 属 し た 論 文 に 対 し て 、 再 分 類 を 行 っ て い る 。 従 来 の 文 書 分 類 の 技 術 と 文 書 ク ラ ス タ リ ン グ の 技 術 を 組 み 合 わ せ て 、 新 た な 分 類 方 法 を 提 案 し て い る 。 論 文 を 分 類 体 系 に 分 類 す る 研 究 で あ り 、 本 研 究 と 類 似 す る が 、 本 研 究 で は 、 一 度 も 分 類 さ れ て い な い 論 文 を 分 類 さ れ た

論 文 を 基 準 に 分 類 す る た め 、 時 系 列 を 考 慮 す る 必 要 が な い と 言 え る 。 2.4. 他 の 分 類 体 系 に 基 づ い た 論 文 自 動 分 類 福 田 ら [10] は 、 学 術 論 文 を 効 率 的 に 検 索 す る た め 、 学 術 論 文 に 対 し て 特 定 の 分 類 体 系 に 基 づ く 分 類 コ ー ド を 自 動 付 与 す る 手 法 を 提 案 し て い る 。 科 学 研 究 費 助 成 事 業 デ ー タ ベ ー ス (KAKEN)を 対 象 に 、KAKEN で 定 め ら れ て い る 分 類 体 系 に 基 づ き 、 国 立 情 報 学 研 究 所 が 運 営 す る 学 術 論 文 情 報 デ ー タ ベ ー ス で あ る CiNii article に 収 録 さ れ て い る 学 術 論 文 を 自 動 的 に 分 類 す る こ と を 行 っ て い る 。 本 研 究 で も 福 田 ら が 使 用 し た 手 法 の 一 部 を 用 い て 実 験 を 行 う 。 先 行 研 究 と 異 な る 部 分 と し て 、 学 術 論 文 を 学 術 界 の 観 点 か ら 分 類 を 行 っ て い る た め 、 使 用 用 途 が 異 な り 、 本 研 究 は 、 学 術 論 文 を 非 専 門 家 で も 探 し や す く す る た め の 分 類 を 行 う 。 難 波 ら [11][12]は 、 学 術 論 文 の 国 際 特 許 分 類 へ の 自 動 分 類 を 行 っ て い る 。 日 本 語 論 文 や 英 語 論 文 を 、 特 許 分 類 体 系 の「 IPC」に 自 動 分 類 し て い る 。IPC と は 、「 セ ク シ ョ ン 」、「 ク ラ ス 」、「 サ ブ ク ラ ス 」、「 メ イ ン グ ル ー プ 」、「 サ ブ グ ル ー プ 」 の 5 階 層 か ら 構 成 ・ 分 類 さ れ て い る 。 こ の 研 究 で は 、 最 下 層 の 「 サ ブ グ ル ー プ 」 レ ベ ル の IPC コ ー ド を 論 文 に 付 与 す る こ と を 目 的 と し て い る 。 本 研 究 で も 、 他 の 分 類 体 系 を 用 い て デ ー タ セ ッ ト を 作 成 し 論 文 を 自 動 分 類 し て い る 。 難 波 ら は 、 学 術 論 文 を 産 業 界 の 観 点 か ら 分 類 を 行 っ て い る た め 、 本 研 究 と 使 用 用 途 が 異 な る 。

3. 論 文 デ ー タ の Yahoo! 知 恵 袋 カ テ ゴ リ へ の

自 動 分 類

3.1. デ ー タ 収 集 3.1.1. Yahoo! 知 恵 袋 デ ー タ 本 研 究 で は 、知 恵 袋 の 回 答 欄 に 論 文 デ ー タ ベ ー ス CiNii へ の リ ン ク を 含 む エ ン ト リ に 着 目 す る 。 エ ン ト リ に 付 与 さ れ た 知 恵 袋 カ テ ゴ リ を リ ン ク 先 の 論 文 の カ テ ゴ リ と 見 な す こ と で 、知 恵 袋 カ テ ゴ リ 付 き 論 文 デ ー タ を 作 成 し た 。 こ の デ ー タ は 、 計 442 件 あ り 、提 案 手 法 を 評 価 す る の に は 十 分 な 数 で あ る と 考 え ら れ る が 、図 2 の よ う に 機 械 学 習 に 基 づ く 手 法 で 分 類 器 を 構 築 す る 際 の 訓 練 用 デ ー タ と し て は 少 な す ぎ る 。そ こ で 、図 3 の よ う に Yahoo! 知 恵 袋 の 質 問 —回 答 対 お よ び こ れ ら に 付 与 さ れ た カ テ ゴ リ を 、論 文 の 分 類 器 を 構 築 す る 上 で の 擬 似 的 な 訓 練 用 デ ー タ と し て 用 い る (約 1600 万 件 )。 ま た 、 訓 練 用 デ ー タ か ら 取 得 し た カ テ ゴ リ 数 を 表 1 に ま と め る 。 そ の 訓 練 デ ー タ で は 、 一 つ の 質 問 に 対 し て CiNii へ の リ ン ク を 複 数 用 い た 回 答 が 存 在 す る 事 例 も あ る 。 そ の 場 合 、 す べ て の CiNii 論 文 に 対 し て 質 問 に 付 与 さ れ た カ テ ゴ リ を 付 与 す る 。 図 2： 機 械 学 習 が 困 難 な 学 習 方 針 図 3： 本 研 究 の 学 習 方 針 表 1： 訓 練 デ ー タ の カ テ ゴ リ 数 3.1.2. 論 文 デ ー タ の 収 集 3.1.1 で 作 成 し た知 恵 袋 カ テ ゴ リ 付 き 論 文 デ ー タ に つ い て 説 明 す る 。 論 文 を 分 類 す る た め 、論 文 デ ー タ を 収 集 す る 必 要 が あ る 。 CiNii の サ イ ト か ら 取 得 で き る 論 文 デ ー タ と し て 、 タ イ ト ル 、 著 者 名 、 キ ー ワ ー ド 、 ア ブ ス ト ラ ク ト が 存 在 す る 。 本 研 究 で は 、 重 要 単 語 を 多 く 含 む タ イ ト ル と ア ブ ス ト ラ ク ト を 使 用 す る 。 キ ー ワ ー ド も 重 要 単 語 を 多 く 含 む が 、 使 用 し な い 理 由 と し て 、 形 態 素 解 析 を す る 際 に 違 う 単 語 に 分 解 し て し ま う こ と や 、 そ の ま ま 使 用 し て も 専 門 用 語 の ピ ッ ク ア ッ プ で あ る た め 、 分 類 精 度 に 好 影 響 を 与 え る と は 言 い 難 い た め で あ る 。 CiNii へ の リ ン ク を 含 む 知 恵 袋 エ ン ト リ は 442 件 で あ る が 、 論 文 の 引 用 件 数 で あ る 678 件 を 使 用 し て い る 。 ま た 、 論 文 デ ー タ の カ テ ゴ リ 数 を 表 2 に ま と め る 。 表 2： 論 文 デ ー タ の カ テ ゴ リ 数 3.2. 提 案 手 法 Yahoo! 知 恵 袋 カ テ ゴ リ を 分 類 す る 手 法 と し て 本 研 究 で は 、 Support Vector Machine (SVM) と Simple

全カテゴリ 第三階層 第二階層 第一階層

453

348

105

16

全カテゴリ 第三階層 第二階層 第一階層

101

50

51

15

perceptron (Perceptron) 、k-NN の 三 種 類 を 用 い る 。SVM と Perceptron で は 、 カ テ ゴ リ と 一 致 す る か を 判 定 す る 2 値 分 類 を 行 う 。k-NN で は 、論 文 デ ー タ と 回 答 文 の 類 似 度 を 算 出 し 、 類 似 度 の 高 い 順 に ラ ン キ ン グ す る 。 CiNii へ の リ ン ク 無 の Yahoo! 知 恵 袋 エ ン ト リ の 回 答 文 の 単 語 頻 度 を 手 が か り に 、 CiNii の 論 文 デ ー タ の 単 語 頻 度 を 与 え る こ と で 、 論 文 デ ー タ を Yahoo! 知 恵 袋 の カ テ ゴ リ に 分 類 す る 。

3.2.1. Support Vector Machine (SVM)

Support Vector Machine (SVM) は 2 値 分 類 の た め の 教 師 あ り 学 習 ア ル ゴ リ ズ ム で あ る 。高 い 汎 化 性 能 を 持 ち 、 様 々 な 分 野 で 広 く 用 い ら れ て き て い る 。SVM を 用 い た カ テ ゴ リ の 分 類 で は 、 知 恵 袋 エ ン ト リ の 各 カ テ ゴ リ 数 だ け イ ン デ ッ ク ス フ ァ イ ル か ら 2 値 分 類 器 を 用 意 す る 。 例 え ば 、「 病 気 、症 状 、ヘ ル ス ケ ア 」と い う 第 三 階 層 の カ テ ゴ リ を 持 つ エ ン ト リ を 対 象 に し た 場 合 、345 個 の 2 値 分 類 器 を 用 意 す る 。 そ し て 、 入 力 ク エ リ を そ れ ぞ れ の 分 類 器 に 与 え た 時 に 正 例 で あ る と 判 断 さ れ た 場 合 、 そ の 分 類 器 を 示 し て い る カ テ ゴ リ 名 に 分 類 す る 。 し か し 、 本 研 究 で は 、 入 力 ク エ リ に 対 し て 少 な く と も 1 つ の カ テ ゴ リ 名 に 分 類 し な け れ ば な ら な い と 定 め て い る 。 し か し 、SVM を 用 い た 場 合 、次 の 2 つ の パ タ ー ン が 考 え ら れ る 。 ま ず 、 学 習 結 果 と し て 正 例 が 複 数 の 学 習 器 か ら 出 力 さ れ た 場 合 、 候 補 と な る カ テ ゴ リ 名 が 複 数 存 在 す る こ と に な る 。 ま た 、 学 習 結 果 と し て 全 て の 分 類 器 か ら 負 例 が 出 力 さ れ た 場 合 、 候 補 と な る カ テ ゴ リ 名 が 存 在 し な い こ と に な る 。 そ こ で 本 研 究 で は 、 正 例 、 負 例 に 関 わ ら ず 、 最 も 計 算 結 果 が 高 か っ た 学 習 器 の カ テ ゴ リ 名 を 入 力 ク エ リ に 分 類 す る と い う 手 法 を 用 い る 。 3.2.2. Simple perceptron (Perceptron)

分 類 手 法 の Simple perceptron に つ い て 説 明 す る 。 Simple perceptron は 、 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 一 種 で あ り 、 入 力 層 と 出 力 層 の 2 層 か ら 構 成 さ れ て い る 。 学 習 能 力 を 持 つ パ タ ー ン 識 別 器 で あ り 、 線 形 分 離 不 可 能 な 問 題 は 解 け な い と い う 問 題 が あ る 。 n 次 元 の 入 力 ベ ク ト ル x が あ っ た と き 各 成 分 を ノ ー ド と し て 見 て 、 こ れ ら を 荷 重 ベ ク ト ル w で 線 形 結 合 し て 出 力 z を 得 る 。 従 っ て 、式 (1)の よ う に 表 さ れ 模 式 図 で は 図 4 の よ う に な る 。 本 研 究 で は 、 入 力 ク エ リ に 単 語 を 使 用 し 、 知 恵 袋 エ ン ト リ ご と に 値 を 算 出 す る 。 出 力 結 果 と エ ン ト リ ご と に 定 め た 正 解 と す る 値 の 符 号 が 違 う 場 合 に 単 語 重 み を 更 新 し て い く 。 出 力 結 果 と エ ン ト リ ご と に 定 め た 正 解 と す る 値 の 符 号 が す べ て 同 じ で あ れ ば 学 習 を 終 了 す る 。 エ ン ト リ ご と に 定 め る 値 は 、 対 象 と し た カ テ ゴ リ を 正 (+1)、 そ れ 以 外 の カ テ ゴ リ を 負 (-1)と 定 め る 。 𝑍 = ∑ 𝑤𝑘𝑥𝑘 𝑛 𝑘=１ = 𝑤𝑇_{𝑥 (1)} 図 4： perceptron の 模 式 図 線 形 分 離 で き な い 場 合 に 学 習 が で き な い た め 、 収 束 条 件 を 設 け る こ と が 必 要 と な る 。 今 回 の 収 束 条 件 は 知 恵 袋 エ ン ト リ を 200 回 読 み 出 し た ら 終 了 す る 条 件 を 設 け て い る 。ま た 、以 下 の 式 に よ り 、精 度 (式 2)、再 現 率 (式 3)を 算 出 す る 。 精 度 =知 恵 袋 カ テ ゴ リ と 学 習 結 果 の 正 で あ る 一 致 数_{学 習 結 果 が 正 で あ る 数} (2) 再 現 率 =知 恵 袋 カ テ ゴ リ と 学 習 結 果 の 正 で あ る 一 致 数_{対 象 と し て い る 知 恵 袋 カ テ ゴ リ 数} (3) 3.2.3. k-NN k-NN 法 で は 、知 恵 袋 の 回 答 文 中 の 単 語 を 素 性 と し て 論 文 デ ー タ と の 類 似 度 を ラ ン キ ン グ す る 。本 研 究 で は 、 福 田 ら の 研 究 で 用 い ら れ た 3 種 類 の ラ ン キ ン グ 手 法 を そ れ ぞ れ 用 い て 、 論 文 デ ー タ に 適 合 す る 上 位 100 件 (k=100) の 知 恵 袋 カ テ ゴ リ の ラ ン ク 付 け を 行 う 。ま ず 、 上 位 100 件 の 知 恵 袋 エ ン ト リ を 抽 出 す る 。 次 に 、 抽 出 さ れ た 知 恵 袋 エ ン ト リ に 付 与 さ れ た カ テ ゴ リ の 論 文 デ ー タ に 対 す る ス コ ア 値 で あ る 𝑆𝑐𝑜𝑟𝑒(𝑐) を 計 算 す る 。 こ こ で 、𝑆𝑐𝑜𝑟𝑒(𝑐)と は 、入 力 ク エ リ (本 研 究 で は 論 文 デ ー タ ) に ラ ベ ル c (本 研 究 で は カ テ ゴ リ 名 ) が 分 類 さ れ る 可 能 性 の 尺 度 と す る 。 そ し て 、 各 カ テ ゴ リ に お け る 𝑆𝑐𝑜𝑟𝑒(𝑐)が 高 い 順 に ソ ー ト し 、上 位 n 件 ま で の カ テ ゴ リ 名 を 入 力 論 文 デ ー タ に 分 類 す る 。 本 研 究 で は 、 以 下 で 述 べ る 3 種 類 の ラ ン キ ン グ 手 法 を 用 い て 、 そ れ ぞ れ の 精 度 を 評 価 す る 。 (1) Naïve method 本 手 法 に お け る カ テ ゴ リ 名 の ラ ン キ ン グ は ， 抽 出 さ れ た 知 恵 袋 エ ン ト リ に お い て 、 最 も 類 似 度 が 高 か っ た 回 答 文 に 付 与 さ れ て い る カ テ ゴ リ 名 の 順 と な る 。 (式 4) 𝑆𝑐𝑜𝑟𝑒_{𝑁𝑎𝑖𝑣𝑒}

(

𝑐

)

= 1 𝑓𝑖𝑟𝑠𝑡𝑟𝑎𝑛𝑘(𝑐,

{

𝑑1, 𝑑2, … , 𝑑𝑘

}

) (4)  𝑓𝑖𝑟𝑠𝑡𝑟𝑎𝑛𝑘(𝑐, {𝑑1, 𝑑2, … , 𝑑𝑘}：抽 出 さ れ た 知 恵 袋 エ ン ト

リ

{

𝑑1, 𝑑2, … , 𝑑𝑘

}

に お い て 、カ テ ゴ リ 名 c が 最 初 に 出 現 し た 順 位 を 示 す 。 も し 、 カ テ ゴ リ 名 c が 最 初 に 出 現 し た 知 恵 袋 エ ン ト リ が 𝑑𝑖で あ れ ば 、 𝑓𝑖𝑟𝑠𝑡𝑟𝑎𝑛𝑘(𝑐, {𝑑1, 𝑑2, … , 𝑑𝑘}) = 𝑖と な る 。 (2) Sum Sum で は 、 抽 出 さ れ た 知 恵 袋 エ ン ト リ に お い て 、 カ テ ゴ リ 名 c が 付 与 さ れ て い る 全 て の 回 答 文 の 類 似 度 の 総 和 を 、 以 下 の 式 5 を 用 い て 算 出 す る 。 𝑆𝑐𝑜𝑟𝑒_𝑠𝑢𝑚

(

𝑐

)

=

∑

𝑜𝑐𝑐𝑢𝑟

(

𝑐, 𝑑_𝑖

)

・𝑠𝑖𝑚

(

𝑞, 𝑑_𝑖

)

(5) 𝑘 𝑖=1  𝑜𝑐𝑐𝑢𝑟(𝑐, 𝑑𝑖)：カ テ ゴ リ 名 c が 知 恵 袋 エ ン ト リ 𝑑𝑖に 付 与 さ れ て い る (𝑜𝑐𝑐𝑢𝑟(𝑐, 𝑑𝑖) = 1)か ど う か を 示 す 関 数 で あ る 。も し 付 与 さ れ て い れ ば 𝑜𝑐𝑐𝑢𝑟(𝑐, 𝑑𝑖) = 1、付 与 れ て い な け れ ば 𝑜𝑐𝑐𝑢𝑟(𝑐, 𝑑𝑖) = 0と な る 。  𝑠𝑖𝑚(𝑞, 𝑑𝑖)：入 力 論 文 デ ー タ q と 知 恵 袋 エ ン ト リ 𝑑𝑖間 の 類 似 度 。 (3) Listweak 上 記 で 述 べ た Sum 手 法 に 基 づ い た ラ ン キ ン グ 手 法 で あ り 、 抽 出 さ れ た 文 書 集 合 に お い て 、 よ り 類 似 度 の 高 い 文 書 を 強 調 し て い く 手 法 で あ る 。 (式 6) 𝑆𝑐𝑜𝑟𝑒𝑙𝑖𝑠𝑡𝑤𝑒𝑎𝑘

(

𝑐

)

=

∑

𝑜𝑐𝑐𝑢𝑟

(

𝑐, 𝑑𝑖

)

・𝑆𝑖𝑚

(

𝑞, 𝑑𝑖

)

・𝑟1𝑖 (6) 𝑘 𝑖=1  𝑟₁： 抽 出 さ れ た 知 恵 袋 エ ン ト リ に お い て 、 よ り 類 似 度 の 低 い 知 恵 袋 エ ン ト リ に 対 し て ペ ナ ル テ ィ を 与 え る パ ラ メ ー タ (0<𝑟1<1)。 本 研 究 で も 福 田 ら が 採 用 し た 𝑟1 = 0.95と 設 定 す る 。

4. 実 験

4.1. 実 験 方 法 Yahoo! 知 恵 袋 の 回 答 文 を 用 い て 論 文 を Yahoo! 知 恵 袋 の カ テ ゴ リ に 分 類 す る 実 験 を 行 っ た 。 CiNii へ の リ ン ク 無 の Yahoo! 知 恵 袋 エ ン ト リ の 回 答 文 を 分 類 対 象 の 基 準 と し て 、 カ テ ゴ リ 付 き 論 文 を 与 え る こ と で 、 付 与 さ れ た カ テ ゴ リ に 分 類 さ れ る か の 実 験 を 行 っ た 。 カ テ ゴ リ 付 き 論 文 デ ー タ の タ イ ト ル と ア ブ ス ト ラ ク ト に 含 ま れ る 単 語 を 素 性 と し た 。 前 処 理 と し て 、 人 手 で す べ て の カ テ ゴ リ に 共 通 し て 使 用 さ れ て い る 単 語 や 記 号 な ど を 除 去 し た 。 例 を 挙 げ る と 、”半 角 数 字 ”や 、 ”、 ”、 ”/”、 ”あ る ”な ど が こ れ に あ た る 。 し か し 、 す べ て の 単 語 に 対 し て 行 う こ と は 不 可 能 な た め 、 出 現 頻 度 の 上 位 に 出 て き た 単 語 に 対 し て 人 手 で 判 定 し て 除 去 を 行 っ た 。 知 恵 袋 回 答 文 と 論 文 デ ー タ の 単 語 類 似 度 が 高 い カ テ ゴ リ 名 に 論 文 を 分 類 し た 。 与 え る 素 性 で ア ブ ス ト ラ ク ト の 記 載 が な い 場 合 は 、 タ イ ト ル だ け で 行 っ た 。 タ イ ト ル 、 ア ブ ス ト ラ ク ト と 回 答 文 の 単 語 類 似 度 の 高 い 順 に カ テ ゴ リ が 表 示 さ れ 、 上 位 n 件 の カ テ ゴ リ に 論 文 の カ テ ゴ リ が 含 ま れ て い る 件 数 を 集 計 し 、 精 度 を 求 め た 。 本 研 究 で は 、 n=1~5 の 値 を 採 用 し て い る 。 分 類 手 法 と し て SVM 、 Perceptron、 k-NN 法 を 用 い た 。 SVM で は 、345 カ テ ゴ リ に つ い て 、各 カ テ ゴ リ に 属 す る か ど う か を 判 定 す る 分 類 器 を 構 築 し 、 1 論 文 に 複 数 の カ テ ゴ リ が 付 与 さ れ た 場 合 は 、 分 離 平 面 か ら の 距 離 が 最 も 遠 い カ テ ゴ リ を 、そ の 論 文 の カ テ ゴ リ と す る 。 Simple perceptron で は 、 単 語 重 み の 総 和 の 出 力 結 果 が 高 い 順 に 、k-NN 法 で は 、ス コ ア の 高 い 順 に ラ ン ク 付 け を 行 っ た 。 4.2. 実 験 結 果 SVM で の 分 離 平 面 か ら 距 離 順 、 k-NN 法 の 3 種 類 で の ラ ン キ ン グ 順 、 Perceptron の 出 力 関 数 の 結 果 順 を 上 位 5 件 ま で の 結 果 を 表 3 に 示 す 。 表 3： 論 文 の 知 恵 袋 カ テ ゴ リ へ の 分 類 精 度 (3 階 層 ) 表 3 の 結 果 か ら 精 度 が 高 い 手 法 は 、k-NN 法 で あ る こ と か ら k-NN 法 の 各 手 法 を 用 い て カ テ ゴ リ 名 の 第 二 階 層 が 一 致 し て い る 精 度 を 表 4 に 、 ま た 、 第 一 階 層 が 一 致 し て い る 精 度 に 表 5 に 示 す 。 表 4： 論 文 の 知 恵 袋 カ テ ゴ リ へ の 分 類 精 度 (2 階 層 ) 表 5： 論 文 の 知 恵 袋 カ テ ゴ リ へ の 分 類 精 度 (1 階 層 ) 表 3 に お い て 、k-NN 法 3 種 類 と Perceptron の 上 位 5 件 す べ て の 結 果 に お い て perceptron と k-NN 法 は 、SVM よ り も 高 い 値 を 示 し た 。ま た 、SVM と 比 べ て Perceptron や k-NN 法 は 、n の 値 が 増 加 す る ご と に 、値 の 増 加 値 も 大 き い こ と か ら SVM よ り も 有 効 で あ る こ と が 分 か る 。 Perceptron と k-NN 法 を 比 較 す る と k-NN 法 が 高 い た め 、 3 手 法 で 一 番 有 効 で あ る こ と が わ か る 。 こ の 結 果 か ら k-NN 法 を 用 い て 階 層 を 下 げ た 実 験 を 行 っ た 。 表 4 に お い て 、 階 層 を 一 つ 下 げ る こ と で 精 度 の 向 上 が 見 ら れ た 。 し か し 、 階 層 を 下 げ た こ と で 大 き く 精 度

n=1

n=2

n=3

n=4

n=5

SVM

0.049 0.093 0.136 0.177 0.214

k-NN(Listweak)

0.149 0.215 0.251 0.282 0.310

k-NN(Sum)

0.140 0.189 0.236 0.280 0.310

k-NN(Naive)

0.111

Perceptron

0.103 0.192 0.249 0.279 0.301

n=1 n=2 n=3 n=4 n=5 k-NN(Listweak) 0.237 0.320 0.357 0.400 0.432 k-NN(Sum) 0.223 0.285 0.332 0.378 0.414 k-NN(Naive) 0.205 n=1 n=2 n=3 n=4 n=5 k-NN(Listweak) 0.372 0.496 0.556 0.628 0.665 k-NN(Sum) 0.344 0.459 0.543 0.605 0.650 k-NN(Naive) 0.388

が 向 上 す る と 予 想 し て い た が 、 n=1 で は 約 0.1 と 低 い 向 上 で あ っ た 。 n=5 の 結 果 で あ っ て も 0.5 未 満 の 結 果 と な っ た 。 表 5 に 、 さ ら に 階 層 を 一 つ 下 げ て k-NN 法 で 実 験 を 行 っ た 結 果 を ま と め る 。 第 二 階 層 ま で の 結 果 よ り も 精 度 が 向 上 し た が 、 上 位 1 件 で は 、 0.1~0.18 程 度 の 精 度 向 上 で あ っ た 。 上 位 3 件 よ り 0.5 を 超 え る 値 が 算 出 で き た 。 し か し 、 一 つ の カ テ ゴ リ に 分 類 で き る 結 果 を 目 的 と し て い る た め 、 n=1 の 結 果 で 3 割 ほ ど の 正 解 カ テ ゴ リ を 含 ん で い る で あ る こ と が わ か っ た 。 4.3. 考 察 全 体 の 1 割 程 度 し か 分 類 で き な か っ た 原 因 の 一 つ 目 と し て 、 す べ て の カ テ ゴ リ に 共 通 す る 単 語 の 除 去 が 不 十 分 で あ る こ と が 挙 げ ら れ る 。 具 体 的 な 単 語 と し て 、 「 調 べ る 」 や 「 詳 し い 」、「 思 う 」 な ど は 除 く べ き で あ る と 考 え る 。 し か し 、 ど こ ま で が 共 通 し て い る 単 語 で あ る か の 線 引 き が 非 常 に 困 難 で あ る た め 、 実 現 に は か な り の 時 間 を 要 す る こ と が 予 測 さ れ る 。 例 え ば 、「 ％ 」 の よ う な 単 位 を 表 す 単 語 は 、 複 数 の カ テ ゴ リ に 出 現 す る 可 能 性 が あ る と 考 え る 。除 去 を す る こ と で URL に 含 ま れ る 「 ％ 」 を 除 く こ と が で き る た め 精 度 向 上 す る と 考 え ら れ る が 一 方 で 、 数 学 系 の カ テ ゴ リ で は 、 精 度 が 低 下 す る と 考 え ら れ る 。 そ の た め 、 人 手 に よ る 判 定 を 導 入 し 、 出 現 傾 向 を 調 査 す る 必 要 が あ る と 考 え る 。 次 に 挙 げ ら れ る 原 因 は 、 論 文 デ ー タ は 専 門 的 用 語 を 多 く 含 ん で い る 。し か し 、一 般 人 の コ ミ ュ ニ テ ィ で は 、 専 門 用 語 を 用 い る こ と は 少 な い 。例 え ば 、「 腎 損 癌 」と い う 単 語 は 一 般 用 語 と し て 用 い ら れ て い る 。 し か し 、 専 門 用 語 で「 腎 臓 癌 」は「 腎 癌 」と 表 記 さ れ る 。ま た 、 「 癌 」 を ひ ら が な の 「 が ん 」 と 表 記 す る 事 例 も 存 在 す る 。 こ の こ と か ら 、 日 常 で 頻 度 の 低 い 漢 字 を 使 用 し な い 傾 向 が あ る こ と が 分 か る 。 そ の た め 、 専 門 用 語 を 一 般 用 語 に 変 換 す る 辞 書 を 作 成 す る こ と で 、 精 度 向 上 が 見 込 ま れ る 。 他 の 誤 り 事 例 と し て 、 複 数 の カ テ ゴ リ に 分 類 可 能 で あ る 事 例 が 存 在 し た 。 例 え ば 、 カ テ ゴ リ 付 き 論 文 の カ テ ゴ リ が 「 ト レ ー ニ ン グ 」 で あ り 、 引 用 さ れ た 論 文 タ イ ト ル が 「 ボ ク シ ン グ の パ ン チ は ど こ か ら 生 ま れ る か ス ト レ ー ト パ ン チ (右 ) の 筋 電 図 実 験 か ら 」と な っ て い る 例 で は 、タ イ ト ル に「 ボ ク シ ン グ 」や 、「 パ ン チ 」を 含 む こ と か ら 知 恵 袋 カ テ ゴ リ の 「 ボ ク シ ン グ 」 と い う カ テ ゴ リ に も 分 類 し ま す 。 こ の よ う に 、 複 数 の カ テ ゴ リ に 分 類 さ れ る 場 合 が あ る た め 、 1 論 文 1 カ テ ゴ リ と 決 め ず に 、 1 論 文 複 数 カ テ ゴ リ を 許 す こ と を 検 討 す べ き だ と 考 え る 。

5. お わ り に

Yahoo! 知 恵 袋 の 回 答 文 の 単 語 を 素 性 と し て 論 文 を Yahoo! 知 恵 袋 カ テ ゴ リ に 分 類 を 行 っ た 。論 文 リ ン ク 無 の 知 恵 袋 の 回 答 文 を 分 類 基 準 と し て 、 知 恵 袋 カ テ ゴ リ 付 き 論 文 デ ー タ を 分 類 し た 。 分 類 手 法 と し て SVM、 Simple perceptron 、 k-NN 法 を 用 い た 。 実 験 で 、 3 つ の 手 法 に よ る カ テ ゴ リ 分 類 を 行 い 、 上 位 5 件 で k-NN 法 と Simple perceptron で 3 割 程 度 の 精 度 を 得 た 。 こ の 実 験 で 高 い 値 を 出 し た k-NN 法 を 用 い て 第 一 階 層 で の 分 類 、 第 二 階 層 で の 分 類 を 行 い 、 第 一 階 層 の 上 位 5 件 で 6 割 程 度 の 精 度 を 得 た 。 こ の 結 果 か ら 論 文 概 要 で の カ テ ゴ リ 一 致 が 可 能 で あ る か を 検 証 で き た 。 上 位 3 件 以 上 で 0.5 以 上 を 示 し た が 、 カ テ ゴ リ を 一 つ に 特 定 す る い わ ゆ る 上 位 １ 件 で の 精 度 向 上 を 重 要 と す る た め 、 さ ら な る 実 験 が 必 要 で あ る 。 単 語 の 分 析 や 、 専 門 用 語 と 一 般 用 語 の 隔 た り が 原 因 で あ る と 考 え ら れ る 。

参 考 文 献

[1] 渡 邊 直 人 , 島 田 諭 , 関 洋 平 , 神 門 典 子 , 佐 藤 哲 司, “QA コ ミ ュ ニ テ ィ に お け る 質 問 者 の 期 待 に 基 づ く 質 問 分 類 に 関 す る 一 検 討”, DEIM Forum 2011, B5-1, 2011. [2] 渡 邊 直 人 , 島 田 諭 , 関 洋 平 , 神 門 典 子 , 佐 藤 哲 司, “コ ミ ュ ニ テ ィ QA に お け る 質 問 の 多 面 的 評 価 法 の 検 討”, 情 報 知 識 学 会 第 19 回（ 2011 年 度 ） 年 次 大 会 , 情 報 知 識 学 会 誌 , Vol.21, No.2, pp.163-168, 2011. [3] 林 秀 治 , 山 本 和 英 , “質 問 意 図 に よ る QA サ イ ト 質 問 文 の 自 動 分 類”, 電 子 情 報 通 信 学 会 言 語 理 解 と コ ミ ュ ニ ケ ー シ ョ ン 研 究 会 , NLC2013-10, pp.51-56, 2013. [4] 西 田 京 介 , 藤 村 考 , “階 層 的 オ ー ト タ ギ ン グ に よ る Q&A コ ミ ュ ニ テ ィ の 知 識 整 理 ”, 日 本 デ ー タ ベ ー ス 学 会 論 文 誌 , Vol.9, No.1, pp.1-6, 2010. [5] 西 田 京 介 , 星 出 高 秀 , 藤 村 考 , 内 山 匡 , “階 層 的 オ ー ト タ ギ ン グ 技 術 と そ の 応 用”, 情 報 処 理 学 会 論 文 誌 デ ー タ ベ ー ス , Vol.6, No.1, pp.29 – 40, 2013. [6] 瀧 寛 文 , 森 崎 修 司 , 大 平 雅 雄 , 松 本 健 一 , “Q&A コ ミ ュ ニ テ ィ を 対 象 と し た 回 答 の 信 頼 性 指 標 構 築 に 向 け た 分 析”, 情 報 社 会 学 会 誌 , Vol.4, No.1, pp.49-58, 2009. [7] 高 田 夏 希 , 山 本 祐 輔 , 小 山 聡 , 田 中 克 己 , “質 問 応 答 コ ン テ ン ツ に 対 す る Web に よ る 回 答 補 完”, DEIM Forum 2009, C4-6, 2009. [8] 柏 木 裕 恵 , 高 田 雅 美 , 佐 々 木 明 , 城 和 貴 , “ア ブ ス ト ラ ク ト を 用 い た 論 文 分 類 シ ス テ ム の 設 計 と 実 装”, 情 報 処 理 学 会 研 究 報 , pp33-36, 2006. [9] 榊 剛 史 , 松 尾 豊 , 石 塚 満 , “ 制 約 付 き ク ラ ス タ リ ン グ を 用 い た 論 文 分 類 ” , 人 工 知 能 学 会 全 国 大 会 論 文 集 , JSAI2006, pp.1-4, 2006. [10] 福 田 悟 志 , 難 波 英 嗣 , 竹 澤 寿 幸 , “ 要 素 技 術 と そ の 効 果 を 用 い た 学 術 論 文 の 自 動 分 類”, DEIM Forum 2015, F3-4, 2015.

[11] Nanba, H., Fujii, A., Iwayama, M., and Hashimoto, T. (2010) “Overview of the Patent Mining Task at the NTCIR-8 Workshop”. In Proceedings of the 8th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Question Answering and Cross -lingual Information Access, 293 -302.

[12] Nanba, H., Fujii, A., Iwayama, M., and Has himoto, T. (2008) “Overview of the Patent Mining Task at the NTCIR-7 Workshop”. In Proceedings of the 7th NTCIR Workshop Meeting on Evaluation of

Information Access Technologies: Information Retrieval, Question Answering and Cross -lingual Information Access, 325-332.