The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
ン
ン
知識
推論
用い
幼児教材
仲間外
概念探
問題
取組
評価
An evaluation of commonsense knowledge-based reasoning approach to the problem of recognizing the
dissimilar concept from the concepts sets taken from the educational materials for human child
中原
和洋
*1
内
咲
*1
林
実央
*1
山
茂雄
*1
Kazuhiro Nakahara Saki Uchida Mio Kobayashi Shigeo Yamada
*1
日本
株式会社
総合技術研究所
Technology Research & Innovation, Nihon Unisys, Ltd.
With the development of the knowledge base, ConceptNet, and its reasoning algorithm AnalogySpace, the basis of the commonsense AI is now ready for the further research to be carried out. The authors had been involving in the acquisitions of Japanese commonsense knowledge and the development of the knowledge base. This paper proposes a method to assess the commonsense reasoning techniques that use our knowledge base and inference algorithms, and reports the results of the assessment. The assessed task was to make inference in solving the problem of identifying the most dissimilar concept from the sets of concepts taken from the educational materials for human child aged 3-4. In the evaluation, a comparison was made with the results brought by the method of Latent Semantic Analysis using Wikipedia and the method of similarity calculation using WordNet, demonstrating the superiority of our commonsense AI approach over those existing methods.
1.
人工知能研究 い ， ン ン 対象 知識ベー
や 推 論 古 重 要 課 題 認 識 さ ．
2000 年代 入 ， ン ン 知識ベー ConceptNet[Havasi
07]や推論手法 AnalogySpace[Speer 08] 開 さ ，
ン ン AI 研究 基 整 備さ あ ． 筆者 日本
ン ン 知識 獲得 進 ．一方 ，あ 時
点 ン ン 知識ベー 使 推論 性能 客観
的，定量的 評価 ，研究 方向性や課題抽出，応用
先 検討等 様々 観点 重要 あ ．本論 ，筆者 日
本 収集 ン ン 知識 AnalogySpace 利 用 概
念 間 類 似 度 推 定 客 観 的 ， 定 量 的 性 能 評 価 評 価 手
法 確 立 目的 ． 販さ い 幼 児 向 教 材 仲 間
外 概念探 問題 利用 ，正答率 評価 ．
本論 構成 以 通 あ ．2章 ConceptNet AnalogySpace ン ン 推論 ， 日 本 知 識獲 得 研 究
い ，3章 評価方法 い ，4章 評価結果，5章
考察，6章 述 ．
2.
コ
ンセン
知識ベー
と推論
本 章 ， 評 価 実 験 利 用 ConceptNet
AnalogySpace， 筆 者 行 日 本 ン ン
知識収集 い 記述 ．
2.1 ConceptNet
ConceptNet ，マ ー 工科大学 ボ(MIT
ボ) 開 中 ン ン 知 識 ベ ー あ ．
ConceptNet ， 概 念 Concept ー ， 概 念 間 関 係 Relation ー 表 明 Assertion 集 合 意 味 ワ
ー ン ン 知 識 表 現 ． 概 念 表 単 語
や 短 い ー 表 現 ， 関 係 IsA，HasProperty，PartOf， Desire あ 規 定さ 用 い ．ConceptNet
， 意 味 表 現(Assertion) 表 層表 現(Sentence) 対 応
ー 保持 い 1 ．
2.2 AnalogySpaceと概念間類似度計算
AnalogySpace ， MIT ボ 開 ConceptNet
基 い ン ン 推 論 手 法 あ ． AnalogySpace ，
ConceptNet ン ン 知 識 ベ ー 対 主 成 析
SVD 次 元 削 減 適 用 手 法 あ ．ConceptNet
Assertion Concept-Feature マ A 変換 . Feature Concept Relation 組 あ ． マ A 対 SVD
次 元 数 k 次 元 削 減 行 う 得 A 近 似
Ak=UkSkVk ，A 0成 あ ConceptNet 含
いConcept-Feature 組(未知 Assertion) 類推値 得 ． ，Concept間 類似度計算 UkSk·(UkSk)
T
算出 ．AnalogySpace 提案 論文[Speer 08] 限
定的 ンプ ン 推論 正確性 評価 ，
人間 持 ン ン 比 推論性能 いう観点 ， 客
観的，定量的 評価 さ い い．
連絡先： 中原 和洋 ，日本 (株) 総 合技術 研究 所， 東京
都江東区豊洲1-1-1，[email protected]
2I5-OS-08b-4
人 飯を食べ とを望
人 飯 食べ
Desire
Sentence
Concept Relation Assertion
Concept
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
2.3 日本 おけ コ ンセン 知識収集
ン ン 知識 当 前 Web 文書等 表明さ
い傾 向 あ ， 人 手 知 識 ベ ー 化 方
法 取 ．Cyc[Lenat 95] 知識専門家 手 ， OMCS[Singh 02] ン ー ボ ン ，
近年 Game With A Purpose(GWAP) ン ー
ー 知 識 ベ ー 化 ー さ 方 法 行
わ い [Lieberman 07][Kuo 09]．筆者 ，日本
ン ン 知識 獲 得 目 的 ン ー ー
立ち 知識ベー 化 進 ．
(1) ナー と
2010 年 開 始 ン ー ー ー [中原 11] ， ー いうキ ー ン ー
プ ー 間 行 わ 連 想 ー ， ー 出
５ ン 彼 女 頭 思 い浮 ば プ
ー 当 ー あ ．プ ー 回答 ン ン 知
識 収集さ ．2013年7 時点 ，24万件 ン ン
知識(Sentence数) 獲得 い ．
(2) 日本人検定
2012 年 開 始 Facebook プ 日 本 人 検 定 [中 原 13] ，自 日本人 ベ 調 一回 20問
形 式 ー あ ． 回 答 者 全 員 回 答 日 本 人
さ 出 ， 得点 Facebook 友人 ち 互い
ェ 競い合う． ー 回答内容 ン ン 知識
収集さ ．2013年7 時点 ，約61万件 ン ン
知識(Sentence数) 獲得 い ．
3.
評価実験方法
本 論 目 的 ン ン 推 論 一 あ 概 念 間 類 似
度推定 性能 い 客観的，定量的 評価 評価手
法 確立 あ ． 販 3 4歳児向 幼児教材[ 編集
室 12] [ 会] 仲間 外 概念探 問 題 取 組 正
答率等 評価 ．
3.1 評価実験手順
(1) 教材問題 テキ ト化
幼児教材 仲間外 概念探 問題 ，4 い 5 概念
示 提示さ ， 中 仲 間外 概念
1 回答 問題 あ ．例えば，出題概念集合C=｛犬，猫，
うさ ，鳥 各 え ， 最 仲間外 概念 あ
鳥 回 答 問題 あ ． 様 々 理 付 異 概 念
仲間外 見 可能 あ ，幼児教材 1 正
解 常識的 断 最 典型的 自然 仲間外 割当
， 正 解 見 客 観 的 定 量 的 評 価
可能 考 え ． ，本 評価 画像認 識 対 象外 ，
著者 人手 出題概念 正解概念 キ 化
行い， 問題 入力，評 価 回答， 正解 キ
．人手 キ 化 ，教材 書 い 題意
正解 従う 客観性 担保 キ 表現
際 多様性 対 以 方針 定 人手 対応
題意 変わ い範 ConceptNet 含 Concept
キ 表現 用い
ConceptNet 複 数 Concept 対 応 場 合 ， Concept Feature数 最 多いConcept キ 表現
用い
実際 作成 問題総数 4択問題 130 問,5択問題
38問 合計168問 あ ．
(2) 前処理
ConceptNet4.0 複数表現 1 Concept 見出 語
統 一 lemmatizer 組 込 い 日 本 語 lemmatizer 貧弱 あ ，例 えば漢 統合さ
い．筆者 途 統合処理 行 ．
(3) 回答処理
n択 仲間外 探 問題 概念集合 C={c1,c2,…,cn}
仲間外 概念cout 以 式 出 ．
(1)
C 含 Concept うち3 以 Concept 既知 あ (Concept-Featureマ 行成 )場合， 問
題 対 回答可能 ，既知 Concept集合内 cout 計算 回答 ．既知 Concept 3未満 あ
場合 ， 問題 対 回答 能 ．
(4) 回答 採点と評価指標 導出
全問題 総数 N=168，N うち 回答可 能 あ 問題 数
効回答数 Na,正答 問題数 Nc 時 ，性能評価指
標 ， 効回答率RR=Na/N， 効回答正答率RCR=Nc/Na，
正答率CR=Nc /N 出 ．
3.2 評価実験 テ
評 価 実 験 ， ン ン 知 識 ベ ー
ConceptNet4.01 用い，概念間 類似度計算 AnalogySpace
実 装 あ Divisi2 1
用 い ．仲間 外 概 念 回答 式
(1) 用い ．以降本手法 ン ン 手法 呼ぶ．
(1) コ ンセン 知識セット
知識量や，知識 収集手法 毎 異 知識 作成 ，評
価 行 ．All 2013年 7 時点 知識 ，
Mid All 50% ,Small All 10% Sentence ン
ン プ ン 生 成 知 識 あ ．Default ConceptNet4.0 配 提 供 さ い 日 本 語 知 識 ， Nadya ー ，Kentei 日本人検定 収集
知識 生成 知識 あ ． 知識
Sentence数，Assertion数, Concept数 表 示 ．
表 1: 評価実験 利用したコモンセンス知識セット
知識 Sentence数 Assertion数 Concept数 All 868,228 181,820 65,295 Mid 434,114 110,558 43,847 Small 86,823 32,160 17,590 Default 14,368 12,825 11,100 Nadya 243,010 102,424 15,462 Kentei 610,850 73,083 52,126
(2) テ トパラ ータ
結果 影響 え ー ，SVD 縮次元
数 K={100,200,300,400}，Concept-Featureマ A 効 ー 行 列方向 最 非0成 数Cutoff={1,3,5}，
A 正規化(各成 行 列ベ 割 )
1
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 - 無 Prenorm={1,0}，類似度計算 UkSk 正規化(各成
行ベ 割 ) 無 Postnorm={1,0} 4
ー 組 合わ い 実施 ．
3.3 比較手法
ン ン 手法 特長 ， Web 等 文書 表明さ
い 当 前 ン ン 知 識 人 間 直 接 獲 得
利用 あ ． ，本評価 比較手法
，Web 大規模文書 あ Wikipedia 用い 潜 意
味 解 析(LSA)手 法 選 定 ． う 比較 手 法 ， 概
念間 類似度計算 広 用い い WordNet 利用
手 法 選 定 ． 比 較 手 法 ， 概 念 間 類 似 度
sim(c1,c2) 計算 ，式(1) 用い 仲間外 概念 回答 ．
(1) 日本語Wikipedia記事を利用 LSA よ 概念間類
似度計算
日本語 Wikipedia 記事 Concept，記事内 場 単 語 Feature 捉え， Concept-Featureマ 作成 ， ン ン 手法 様 利用 ，Concept 記事 間 類似度 計算 ．成 値 tf-idf ．出題概念 キ 日本語Wikipedia記事 対応付 筆者 人手 行 ．
形態素解析 Mecab 用い，辞書 新語 対応 独
自 辞 書 利 用 ． 対 象 単 語 詞 ， 動 詞 ， 形 容 詞 ，
， あ 一般語 除外 ． ，マ 行ベ
列ベ 非0成 数 5未満 ー 除外
．さ ，Wikipedia 記事 ，常識的 概念 言い い
記事 大量 ，対 象記事 絞 行 ．絞
込 方法 ，Wikipedia 記事 ン ー
利 用 ， 全 出 題 概 念 対 応 記 事
距 L以 属 記事 対
象記事 ．表 2 示 距 L={0,2,4,全 } 4 種類 記事 作 成 ， 評 価 . 記事
， ン ン 手法 様 ー ，SVD 次元数
K={100,200,300,400}, Prenorm={1,0},Postnorm={1,0}
組 合わ 実験 行 ． LSA 実装 Divisi2 用い ． 述 手法 以降Wikipedia手法 呼ぶ．
表 2: 日本語WikipediaのLSAによる比較手法
記事 距 数 記事数 単語数
WLSA_A 全 116,162 884,583 390,761 WLSA_4 4 4,902 150,823 224,932 WLSA_2 2 2,416 84,029 157,190 WLSA_0 0 566 34,607 78,764
(2) WordNetを用い 概念間類似度計算
WordNet 概念間 類似度計算手法 い 提案さ
，nltk 1
関数 実装さ い 6種類 概念間類似
度 計 算 手 法(Path Distance, Leacock Chodorow[Leacock 98], Wu-Palmer[Wu 94], Resnik[Resnik 95], Jiang-Conrath[Jiang 97], Lin[Lin 98]) 比 較 手 法 用 い ． 日 本 語 WordNet1.1 [Isahara 08] 英語 WordNet ン 用い 英
語 WordNet synset マ ン 行 後 ，nltk 用 い 英語 WordNet synset間 類似度 計算
． 出題概念 対 複数 synset ン
場合 ，筆者 人手 題意 適 synset 対応付
1
http://www.nltk.org/
行 ．概念 情報量 必要 類似度手法 い ，
Brown ー 用い 算出 情報量 利用 ． 述 手
法 以降WordNet手法 呼ぶ．
4.
評価実験結果
本章 評価実験 結果 い 記述 ．
4.1 最大性能 比較
ン ン 手法 比較手法 実験結果 い ，
最大 正答率 出 ー 結果 表 3 示 ．
ン ン 手 法 ，知 識 ソ ー =All，Cutoff=3，K=400， Prenorm=0，Postnorm=1 あ ．Wikipedia 手 法 記 事 =WLSA_0，K=300，Prenorm=1，Postnorm=0 あ ．WordNet
手法 Resnik Similarity 結果 あ ．表 3 p値 ，
ン ン 手法 側検定 p値 あ ．
表 3 手法毎の結果
手法 ン ン Wikipedia WordNet
効回答数 159 160 153
正答数 103 91 83
効回答率 0.95 0.95 0.91
効回答正答率 0.65 0.57 0.54
正答率 0.61 0.54 0.49
効回答正答率p値 0.09153 0.03755
正答率p値 0.1122 0.01853
4.2 知識量別 結果
ン ン 手法 知識量 結果 表 4 示 ．
2 知識量(Assertion数) 効回答正答率 関係 示 ．
表 4 知識量別の結果
知識ソー Small Mid All
効回答数 111 154 159
正答数 60 90 103
効回答率 0.66 0.92 0.95
効回答正答率 0.54 0.58 0.65
正答率 0.36 0.54 0.61
All
Mid Sma ll
Defa ult Na dya
Kentei
y = 0.1095ln(x) - 0.6799
0.2 0.4 0.6 0.8 1.0
1.0E+04 1.0E+05 1.0E+06 1.0E+07
有
効
回
答
正
答
率
Assertion数
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 -
4.3 知識収集手法別 結果
ン ン 手法 知識収集手法 結果 表 5
示 ．
表 5 知識収集手法別の結果
知識ソー Default Nadya Kentei
効回答数 25 148 86
正答数 8 90 41
効回答率 0.15 0.88 0.51
効回答正答率 0.32 0.61 0.48
正答率 0.05 0.54 0.24
5.
考察
本章 ，4章 評価実験結果 基 考察 述 ．
5.1 性能評価
本評価 3 4歳児 身 概念間 類似性
評価 能力 対 ，現時点 ン ン 手法 程度
性能 あ 客観的，定量的 把握可能 ．表 3
示 う ， ン ン 手 法 ，Wikipedia 手 法 や WordNet
手 法 比 効 回 答 正 答 率 や 正 答 率 い 良 好 結 果
得 ． 効回 答率 い 差異 少 い． ン ン
手法 効回答率 0.95 あ ，3 4歳児 問わ 概念
大 部 ー い 言え ． 一 方 回 答 能 あ
5% い 今後知識ベー 化 進 必要 あ ．5% 含
概 念 例 ， 年寄 席 譲 ， 年 玉
う 複 数 文 節 表 現 必 要 概 念 あ ． う 概
念 扱え 知識収集手法や知識表現 検討 必要 あ ．
各手法 回答 傾向 い 考 察 ． 出題 問題 ， 種類
違 い 問 う 問 題 用 途 違 い 問 う 問 題 多 含 ．
WordNet 手法や Wikipedia手法 ，種類 違い 問う問題
ン ン 手 法 近 い ベ 正 答 率 示 傾 向 見
，用途 違 い 問う問題 ン ン 手法 比
低い正答率 示 傾向 見 ． ，Wikipedia 手法
い 対 象記 事数 増や ほ 性 能 悪 化 傾 向 あ
，今回 う 常識的 定問題 対 記事
多 い 推測 ．従 ，良い性能 出
記事 除去 必要 ， ン ン 手法 比
安定 性能 出 ー ン い 言え ．
5.2 知識量と性能 関係
本 評 価 ， 知 識 量 推 論 性 能 関 係 把 握 う
． 2 示 通 ，知識量 対数 ー ー 増加 合わ
効 回 答正 答 率 線 形 的 向 い 傾 向 見 ．
本 評 価 ， 知 識 収 集手 法 妥 当 性 や 効 性 断
可能 ．表 5 結果 ，筆者 行 ー
や 日 本 人 検 定 利 用 収 集 知 識 ，Default
効 回 答 正 答 率 回 ， 効 知 識 収 集 手 法 あ
断 ． ー 日 本 人 検 定 比 ，
ー 方 指標 い 回 ，
良い知識収集手法 あ 断 ．
6.
おわ
幼児教材 仲間外 概念探 問題 利用 ， ン
ン 推論 定量的，客観的 評価 可能 ．Wikipedia
や WordNet 利用 手法 比 ン ン 推論 利用
手法 良好 結果 得 ． ン ン 知識量 増加
伴う性能 向 見 ．
参考文献
[Havasi 07] Havasi, C., Speer, R., Alonso, J.: ConceptNet 3:a flexible, multilingual semantic network for common sense knowledge, In Recent Advances in Natural Language Processing , 2007．
[Isahara 08] Isahara, H., Bond, F., Uchimoto, K., Utiyama, M., Kanzaki, K.: Development of the Japanese WordNet, in LREC-2008, 2008．
[Jiang 97] Jiang, J. J., Conrath, D. W.: Semantic similarity based on corpus statistics and lexical taxonomy, in 10th Intl. Conf. Research on Computational Linguistics (ROCLING), 1997．
[Kuo 09] Kuo, Y. L., Lee, J.C., Chiang, K., Wang, R., Shen, E. Chan C., Hsu, J.: Community-based game design: experiments on social games for commonsense data collection, Proceeding KDD-HCOMP’09, ACM, Inc., 2009． [Leacock 98] Leacock, C., Chodorow, M.: Combining local
context and WordNet similarity for word sense disambiguation, WordNet: An Electronic Lexical Database, MIT Press, 1998．
[Lenat 95] Lenat, D.: CYC: a large-scale investment in knowledge infrastructure, Communications of the ACM, ACM, Inc., 1995．
[Lieberman 07] Lieberman, H., Smith, D., Teeters, A.: Common Consensus: A Web-based Game for Collecting Commonsense Goals, Intelligent User Interfaces, ACM, Inc., 2007．
[Lin 98] Lin, D.: An Information-Theoretic Definition of Similarity, In Proc. of Conf. on Machine Learning , 1998． [Resnik 95] Resnik, P.: Using Information Content to Evaluate
Semantic Similarity in a Taxonomy, in IJCAI’95,1995． [Singh 02] Singh, P., Lin, T., Mueller, E., Lim, G. Perkins,
T.,Zhu, W.: Open Mind Common Sense: Knowledge acquisition from the general public, Proceedings of the First International Conference on Ontologies, Databases, and Applications of Semantics for Large Scale Information Systems, Springer Verlag , 2002．
[Speer 08] Speer, R., Havasi, C., Lieberman, H.: AnalogySpace: Reducing the dimensionality of common sense knowledge, AAAI, AAAI Press, 2008．
[Wu 94] Wu, Z., Palmer, M.: Verb Semantics and Lexical Selection, in ACL’94, 1994．
[ 会] 会教材開 室: 29 仲間
，株式会社幼児教育実践研究所 会 .
[中 原 11] 中 原 和 洋 ， 山 茂 雄: 日 本 ン ン 知 識
獲得 目的 Web ー 開 評価， 技報
通巻107号，日本 ， 2011．
[中原 13] 中原和洋: ン ン 知識獲得 目的 ソー
ー 日本人検定 ， 技報通巻 115 号，日
本 ，2013．
[ 編集室 12] 編集室，伊藤恭 修: 能力育成問題
