The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
少数サンプ
帰納推論
双条件付確率
Biconditional probability and inductive inference from small samples
高橋
達
横川
純貴
大用
庫智
Tatsuji Takahashi Junki Yokokawa Kuratomo Oyo東京電機大学
Tokyo Denki UniversityAutonomous AIs should be able to efficiently search in the indefinite and uncertain worlds. Of need is inferring causal relationship between events and decision-making based on the inference, with the available clues of few samples or sparse information. Because it is what human beings are extremely good at, especially in comparison with machine learning systems. We expect that learning from human beings may fruit in science and engineering. We found that the causal intuition of human beings follow a very simple index called biconditional probability or pARIs. We show its efficacy in statistical inference.
1.
因果帰納
進化 過程 経 生 残 生物 々 含 目
的 餌 ン 達 手段 学習
手段 目的 結果 引 起 う 原因 引 起
あ 因果関係 利用 あ 因果関係 世界
含 因果関係 網 中 入 望 目
的 果 因果推論 極 重要 活動 能力 あ
生物 い 因果関係 学 あ う ？ 本能
や他 学習結果 汎化 転移 適 働 い場合 あ
い 因果 何 何 引 起 何 何 無関係 あ
い 知識 使用 い未知 環境 複数 象 間
共起関係 手 用い あ 象 象 原
因あ い 結果 あ 推測 断 必要 あ 因
果帰納 認知心理学 盛 研究 行わ い
象 間 因果関係 強度 因果関係 象
間 存 いう因果関係 構造 問題 扱わ 後
者 因果ベ ネッ 理論 発展 可能 研究 趨
勢 強度 構造 移 人間や動物 ベ ネ
ッ う 因果 知識や本能 持 い 考え
あ 構造 方 強度 根本的 あ
いう考え方 可能 あ いう点 く 多数 象 間
関係 有向ネッ ワ 形式 一般的 扱え 点 強度
構造 いう研究 潮流 理解
強度 研究 未 解決 い重要 問
題 あ 後述 う 人間 共起情報 因果
帰 納 決定的 い いう点 あ 認知 適
応 柔軟性 理解 実装 う 限 因果 持
い状況 い 因果 作 いう 無
視 場合 共起情報 最 重要 手 一
利用 因果 前提 構造研究 因果
起源 共起情報 形 強度 参照
得 因果強度 研究 後 必要 あ
2.
因果帰納の従来の
デ
と双条件付確率
因果強度推論研究 基本的 枠組 設定
象 あ 現 着目 い 結果 えば症状 肩
あ 対 原因 明 い い状況
考え い 原因 く 原因 候補 えば摂
表１. 単純因果帰納 2×2 割表
effect
candidate cause present (�) absent (¬�)
present (�)
absent (¬�)
物 コ あ 象
, ¬ , ¬ ば 共起情報 表1 う 2×2
割表 表現 , , , 関数 う
因果推論 枠組 単純因果帰納
表 人間 因果関係 関 直感 記述
非常 多く 提案
中 代表的 [Jenkins 65] ∆� あ
∆� = � �|� − � �|¬� = + − +
指標 近 因果帰納理論 根幹 組 込
い 意味 原因候補 � く存
着目 結果 あ � 生起確率 いう
あ 指標 非常 素直 思え 第
一項� �|� 対 � �|¬� 科学実験 いわゆ コン
あ 科学者 考え 素朴 い
言え 指標 問題 人間 因果直感
合 わ い あ わ あ や 方 実 験 参 加 者
, , , 度情報 え 対 参加者 感 C
E 因果関係 強 { , , . . . , } 101段階 回答
う い 手続 え , , , ∆�
代入 値 参加者 回答 相関 低い 実験 完
全 無相関 場合 あ [Hattori 07]
[Hattori 07] dual factor heuristics (DFH) 提案
� � 予測 関わ � �|� � � 診断
関わ � �|� 条件付確率 幾何 均 あ
DFH = √� �|� � �|�
定義 DFH 因果帰納実験 相関 極
高い [Hattori 07] DFH 数々 批 集
い 最 代表的 DFH 合理性 弱
う 定義 い いう点 あ DFH
関 表1 ソン相関係数 あ
� = − /√ + + + +
(� � 生起 場合 数) 極限 飛ば
lim�→∞� = DFH
連絡先 高橋 達 ，東 京電機 大学理 学部 ，350-0394 埼玉県比企郡 鳩山町石 坂，049-296-5416，[email protected]
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
考え 知 い 発散
う 意味 あ 環境や認知 い うい 意味 正
当 あ いう点 い 理論的 解決
い い 大 い いう � ¬�, ¬� 大 い いう
� � � � い いう 意味
象� � 生起 世界 中 稀 あ う
認知 い 考え い あ い 前提
い いう 前提 い 前提 妥当 あ
言え う 々 間 因果関係 推定 行 う
象 砂漠 乾燥 い 暑い い あ い
う 砂漠 雨 降 い 稀 あ
後者 異常気象 異常性 稀少性 深い規範的 関係
あ 認識 原因 いう 々
因果推論 態 あ 象 間 因果関係
推定 普通 普通 起 問う 自
然 あ 々 指標 入 [Takahashi 10]
稀少 仮定 例 比率 proportion of
Assumed-to-be Instances (pARIs) あ
pARIs = + +
3.
デ
の比較
: ∆P, DFH, pARIs
挙 比較 ∆� � �
必要 十 条件 あ ン あ
� �|� 高 ば� 生 起 � 十 起
� �|¬� い わ � ¬�|¬� 大 い場合 �
ば� 起 い いう意味 � 生起 � 必要 あ
∆� 備え 条件付確率 う 意味 持
DFH � � 予測可能性� �|� � � 診断
可能性� �|� 幾何 均 あ � 起 ば� 起 �
起 ば� 起 いう場合 指標 高い値
持 � �|� � ば� いう 診断条件文 対応関
係 前提 ば 診断条件文 対偶 � い ば�
い あ � ¬�|¬� いう確率 関係 持
DFH ∆� 類似性 見 DFH あ 種
必要十 条件 立性 計算 指標 い 言え
論理的 題 対偶 同値 あ 対 条件付確
率 表現 日常的 条件文 � �|� = / + あ
対 � ¬�|¬� = / + あ 同 値 い
同値性 = 場合 わ � �|� = � ¬�|¬� =
う 値論理学的 場合 立
最後 々 pARIs あ de Finetti 主観確
率理論 いう双条件 象 確率 あ 日常的 非数学的
条件文 連言 あ 双条件文 � ば� あ �
ば� あ 確 率 わ い わ ば 双 条 件 付 確 率
biconditional probability あ わ
pARIs = �( �|� �|� ) = � � �|� � =� � �� � �
立 意味 DFH コン プ あ
� � 予測 条件文 � � 診 断条 件文
真 近 い場合 人間 � � 間 因 果関係 認
いう主張 ンプ 表現 い DFH 統計的
指標 あ � 根拠 ほ 強く い極限操作 極稀少性
仮定 極限操作 無限大 発散 結果
� � � � 0 � � � � 0 あ ば
々 � � 観測 い � � う 無条件
確率 い 定義 難 い問題 あ 問題 解
決 極稀少性仮定 重要 関係 持 い
決 定 的 言 え 理 論 存 い 対
pARIs 主 観確率論理 体系 中 一 題 双条件文 確
率 意味 持 あ
人間 直感的 断 際 一 題や仮
条 件 付 確 率 考 え う い い う 知 い
(e.g., [Evans 07] singularity principle) 以 題 確率
同時 考慮 ベ ョ ン 能力 必
要 あ 点 pARIs い い� � �|� � あ い
度 関数 / + + いう極 単純 形 持
対 ∆� 確 率� �|� � �|¬�
� ¬�|¬� 考え 差 あ い − /[ +
+ ] いう複雑 式 計算 DFH ∆�
考慮 い 単純 あ や � �|� � �|�
考え 方根 あ い /√ + +
計算 意味 pARIs 人間 ュ 直感
的 断 単純 い 言え
4.
タアナ
シス
因果帰納 研究 あ 理論家 独自 指標 入
際 く 記述 う 実験 根拠
あ ッ 関 議 論 起 や い e.g.
[Lober 00] [Hattori 07] [Lober 00] 含
過 去 実験 対 包括的 行い
DFH 他 既存 30以 指標 中 最 く 合う
示 表2 同 pARIs い 行 結果
あ DFH 比 pARIs 同等 相関 悪
く .88 (LS00 い ) 相関 高 安定 い
誤差 DFH い 以 pARIs
因果帰納 実験 対 DFH 同等 以
記述性 持
5.
漸次的サンプ
ングに
ける双条件付確率
認知心理学 因果帰納推論 実験 共起情報
え 方 通 あ [Griffiths 2005]
list , , , 対応 コン列 呈示
table 表1 う 割表 呈示
sequential , , , 生起 一 一 呈示
う sequential 最 日常的 思わ list う
情報 一挙 え く table う 情報 要約
表 え いう 日常 いう 研究や業務
場 合 考 え 特 本 論 文 扱 う サ ン プ
sequential的 形式 現 や い
sequential 場合 ン ン 因果関係 強度 推定
回指標 計算 直 漸次的 変化量 計算
方 簡単 多い 検討
指標 変化量 い 検討 指標 値 新 い
情報 え 変化 新 い情報 研究 枠組
, , あ い あ 新 く
表2. 結果 値 相関係数 誤差 RMS
AS95 実験 略号 [Hattori 07] 参照 AS95 BCC03.1 BCC03.3 H03 H06
pARIs .94 .98 .97 .99 .97
DFH .95 .97 .95 .98 .96
LS00 W03.2 W03.6 均 誤差
pARIs .89 .88 .94 .95 9.44
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 -
表2. pARIs, DFH, ∆� 漸次サンプ ン 変化量
増加
サンプ
pARIs = � DFH = √� � ∆� = � − �
a+ + − �
��+
� � � + √ � � + � � −
� � � √� � � �
− � � � +
b+ + −�
��+
� � � √ � � + � � −
� � � √� � � �
−� � � +
c+ + −�
��+
� � � √� � � � + −
� � � √� � � �
− � � ¬� +
d+ + � ¬� +−�
性 質
2 ン
単純
3 ン;
代数的簡略化 可
全4 ン
2確率 使用
え 記憶 い , , あ い 値
+ 場合 変化量 計算 指標 四種 い
情報 新 く 際 変化量 表3 あ
表 中 � = pARIs, � = � �|� , � = � �|� , � =
� �|¬� 意 味 � = + + + , ��= � −
= + + 表記 � � 象 � 生起 度 表
� = � � , ��= � � � 立
表 2 う 連続的 共変動情報 サンプ ン
いく場合 pARIs ほ 2指標 比 計算 軽
く い 全く 同 値 扱う 関 変化量
度 形式 あ わ − N C E /N C E / N C E +
pARIs 値自体 使え 自然 あ NW いう
無視 場合 全サンプ 数 �
数えや い 対 DFH pARIs同様 無視
変化 3 ン 少 あ 変化量 数式的
複雑 あ 少 く 通常 人間 暗算
い 思わ Δ� 関 用い 変化
ン 全4 ン 異 う a++ b++ c++
d++ pARIs a++ b++( c++) う
子 あ 種 対称 関係 い ン 多
く pARIs う 指標全体 値 変化量
出現 う い 結局 P E|C P E|¬C 両 方
覚え い 場合わ 処理 Δ�全体 値 ッ
プ く い
6.
少数サンプ
の統計推定
[Hattori 07] 因果帰納 あ 象
� 原因候補� , � , … う 真 原因 関心
あ 1 象 生起 共起 観察 関連 あ
う 象�� 一 あ い 複数 ッ ップ 後
2 1 象 真 � 原因
あ �� 生起 コン 因果ネッ ワ 入
行う 1 世界 生起 う 無
数 象 う 重要 ッ ップ 肝要
あ 1 あ 多く 疑似原因 拾
う えコ 高い 2 手 負え く
う く 象� � 両方 生起 い � 生起
あ い � � 生起 ば� 生起
い 可能性 考慮 ッ ップ 原因候補 �あ
�! 組 合わ 必要
念頭 い [Hattori 07] 行 ュ ョン
pARIs い 行 いく ュ ョン 因果帰
納 指標 統計的 性質 く 少数 共起情報 サンプ
得 い場合 指標 う 断 可能
試 あ 以 ュ ョン1,2,3 [Hattori
07] Simulation 1 Fig. 3 , Fig. 3右, Simulation 2 (Fig.
5) 対応
6.1
シミュ
ーション
1
：サンプ
相関係数の近似
pARIs 少数 サンプ え 際 同サンプ
� 値 く い く近似 計算 縦軸 � 指標
決定係数 横軸 � � = � � あ 稀少 場合 DFH
方 サンプ � く 近似 � 定義
い ( 0 い) う 割表＝共起情報 扱
推定 同 サンプ 計算 異
指標 く 集団 相関係数 次 行う
図1. 少数サンプ 相関係数 近似
6.2
シミュ
ーション
2
：母集団相関係数の推定
集団 相関係数 � 推定 行 際 � 定
値 否 考え く い 無視 サンプ
数 � く �� 考え あ 記憶容量 限界
��= 7程度 場合 pARIs DFH �
く近似 い 図2
図2. 集団 相関係数� 近似
6.3
シミュ
ーション
3:
漸次的サンプ
ングに
るオン
インの相関推定
因果帰納 指標 最 重要 少数 サンプ
少 え 現実的 状況 相関係数 近似 い
く様子 あ 一般的 断 い 速 正確
存 図 2, 3, 4 指標 (DFH, ∆�, �,
pARIs) 均 散 指標 計算 割合
時間発展 示 � 値 0, .1, ..., 1 場合 見
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 -
図3. 指標 均 時間発展
図4. 指標 散 時間発展
図5. 指標 計算 い割合 時間発展
7.
総合議論
図1 見 う ウン �サンプ 数
� � = � � い場合 pARIs DFH サンプ
計算 相関係数� 近似 相関 悪
環境内 適応 重要 環境構造 推定 集
団 性質 あ 図2 う 少数サンプ 集
団 相関係数� 近似 具合 見 ウン い
��サンプ 数 考え � 良 い� 近似
定義 適性 予想 DFH 優 い
ュ ョン3 図3,4,5 漸次的 サンプ ン
ン ン � 近似 振 舞い 見 図3
十 サンプ 集 ば 指標 � 良く近似
DFH サンプ 数1 計算 最初 え
場合 あ 均 1 � 値 降
いく � 傾向 同様 あ 収束 遅く 散 非常 大
い Δ� 最初 均的 � 値 pARIs 他
異 � 大 く い 値 大 く い いう点 [
浦13] 連続型pARIs 性質 一
DFH ∆� い 的関係 見 ∆�
均的 く 少数 サン プ 時点 く 近似 散
大 く信 性 低い 対 DFH 収束 遅い 散
い DFH サンプ 数1 計算 場合 え
場合 あ 値 必 1 始 降
一方 散 0 始 あ 初期
散 意味 い � Δ� い 0
計算出来 い場合 多く 場合 指標 何
役 立 い DFH > , >
立 い や 計算 い
対 pARIs Δ� 早く , , い 正 ば定
義 均 収束 散 実情 考慮 サンプ 数
10以降 見 ば 散 N設定 DFH 互角(�
値 前後 ) ��設定 い
顕著 図5 pARIs 計算可能性 あ N設定
計算 可能 サンプ 系列 非常 少 く �� 全
サンプ 系列 計算 わ 必 非 0 定
値 持 5章 述 pARIs 漸次 ップ
他 比 倒的 簡単 あ
均 収束 関 全� 値 対 均的 値 正
確 � 誤差 く値 弁 性＝ ッ
ン 大 重 要 あ 関 � = .
pARIs = . , DFH = . � = . pARIs = DFH = .0
pARIs 方 優 い pARIs 値 特徴的
6.4 触 う � う あ
強い相関 ッ ップ う いう意味 因果
帰納 1 わ い性質 あ pARIs DFH
特性 ンプ 微妙 顕著 形 実装
言う
8.
結論
因果帰納 双条件付確率 わ pARIs 入
代 表 的 他 統 計 的 指 標 比 較 性 能 評 価
pARIs 足 算 割 算 用い 極度 単純 条件付 確率
形式 持 既存 持 心理学 言語学的 意
味 明確 備え 人間 因果帰納傾向 最 良く記述
統計推論 ュ ョン 素早く正確 相
関性 推定 従来 指標 広汎 サンプ 対 行う
人間 因果 帰納 適応的合理性 示 結果 あ
後人 知能や機械学習系 学的 応用 可能 あ
参考文献
[Evans 07] Evans, J.St.B.T., Psychology Press, 2007.
[Hattori 07] Hattori, M., Oaksford, M., Cognitive Science, 31(5), 765–814, 2007.
[ 浦13] 浦基, 高橋達 , JSAI 2013予稿集, 1L5-OS-24c-3,
2013.
[Lober 00] Lober, K., Shanks, D.R., Psychological Review, 107, 1, 195–212, 2000.
