畳み込みニューラルネットによる学習表現の評価事例ー脳波からの神経科学的知見の復元ー

畳み込みニューラルネットによる学習表現の評価事例

ー脳波からの神経科学的知見の復元ー

A Case Study of Evaluating Representation Learned by

Convolutional Neural Networks:

Reconstructing Neuroscientific Findings from EEG

佐久間一輝

1∗

_森田純哉

1

Kazuki Sakuma

1

Junya Morita

1

1

_静岡大学

1

_{Shizuoka University}

Abstract: Visualizing deep neural networks (DNN) provides an intuitive explanation for the

learned internal representation, while its evaluation is difficult. We believe that a DNN ’s learning representation should be evaluated by its consistency with concepts owned by human. In this study, we represent such a concepts as symbolic binary representations and distributions with variance, and investigated the consistency of a specific neuroscientific concept (P300) with the representations learned from EEG data obtained in a P300 speller experiment. As a result, we found that the consistency between the concept and the representation is related to the discrimination accuracy of the DNN.

1

研究背景

現実世界には入力から出力を生成する関数が多く存 在する．自然界に存在する多様な物体や生物は，外界 からの作用によって物理的・化学的法則に従った変化 を起こす．人間によって設計された人工物についても， 入力に応じて定められた出力が生成される．人間自身， 視覚を入力とし認識を出力する脳によって制御されて いる．このような関数を深層ニューラルネットワーク (DNN: Deep Neural Network) はデータに基づきモデ ル化する．DNN も入力と出力をもち，DNN の中間層 が現実世界に存在する関数をボトムアップにモデル化 する． 現実世界に存在する関数は，多くの場合その内部処 理を外側から観察することが困難である．そうした現実 世界の関数をモデル化する DNN に対しても識別理由が 不明確であるという Black Box 問題 [Castelvecchi 16] が指摘される．Black Box 問題においては，DNN が識 別の理由を自ら説明することは無く，DNN の識別理由 や学習した表現の良さを客観的に評価することが困難 であることが指摘される． そこで，Black Box の内側（識別理由）を明示化でき ∗_{連絡先：静岡大学大学院情報科学技術研究科} 〒 432-8011 静岡県浜松市中区城北３丁目５−１ E-mail: [email protected] る「説明可能な AI」の必要性が高まっている．そのよう な流れの一つとして，DNN の内部表現を可視化するこ とで「説明可能 AI」を実現しようとする研究が盛んに 行われている．しかし，これまで，可視化された DNN の内部表現と人の持つ概念知識の整合性は，観察者の 主観的な印象によって評価されてきた．DNN によって なされる内部処理，あるいは DNN がモデル化する現 実世界の関数をより深く理解するためには，DNN が獲 得する内部表現をより客観的に評価する必要がある． そこで本研究では可視化された DNN の内部表現を 事例的に評価することを試みる．著者らは DNN にお いて学習された表現の良さは，人間が有する概念との 整合によって判断されるべきであると考える．様々な 事象に対して「説明」を付与することができる人間は， アナログなデータと，それを表す記号的な概念表現の 両方を記憶として持つことができる [宮崎 80]．例えば 音楽に対する人間の概念としては，旋律や音色のよう なアナログ的表現，それらを曲名としてラベル化した 記号的表現の両者を仮定できる．一方，DNN の可視化 はネットワークの注目箇所など，DNN が持つアナログ な情報を直感的な情報として提供するものの，DNN 自 身がアナログな情報を意味付けすることは無く，その 良さを評価する方法も明確ではない．そこで本研究で は，DNN が学習した表現を表す DNN の可視化結果と， 人間の認知システムに存在すると仮定される概念表現 人工知能学会研究会資料 SIG-AGI-015-07

を数値的に表現したデータとの比較によって DNN の 学習表現の評価を試みる． 本研究が評価対象とする DNN は，人間によって様々 な概念のラベル付けがされている脳波 (EEG) を入力 とするものである．EEG は，脳内部の活動を外部から 推定する信号として様々な研究で扱われてきた．EEG からは前処理などによって複数の特徴を抽出可能であ る．本研究ではその中でも，事象関連電位 (ERP: Event Related Potential) に注目する．ERP は人間が内的お よび外的に経験する事象（イベント）に対して，一過性 で生じる内因性の電位である．事象に対する注意の深 さや認識の差異に応じて特有の波形が生じることが知 られており，認知神経科学や生理心理学におけるツー ルの一つとして利用されてきた．特に ERP の一種であ る P300 という波形は，刺激提示から約 300 ms 後に大 きな振幅を持つという特徴的な構造がある．刺激に応 じて P300 が観測されれば，人間が刺激に対して注意し ていると言うことがわかる．このような脳波を対象と した DNN は，人間の生理状態や注意状態のモニタリン グに利用でき，Brain-Computer Interface (BCI) に組 み込むモジュールとして研究されている．さらに，そ のように開発された深層学習の内部構造を分析するこ とで，人間による自身の認知過程の理解（メタ認知）， あるいは人間の脳内処理に関する科学的理解が進展す る可能性がある． 本研究では，DNN の可視化手法を通して，P300 を 含むと考えられる EEG を対象とした DNN による学習 表現の評価を試みる．まず，DNN が P300 の構造を発 見できるか検討するため，DNN におけるモデルの個体 差に着目した分析を行う．識別精度に分散のある複数 の DNN モデルからなる集団で，識別精度の高いモデル ほど対象の構造を反映していると仮定し，識別精度上 位のモデルの可視化と識別精度下位のモデルの可視化 を比較する．そして，DNN において学習された表現の 良さを評価するため，人間の概念を，記号的なバイナ リ表現，およびアナログ的な確率分布表現の二通りの 形式で表現し，DNN の学習表現との整合を検討する．

2

関連研究

ここでは本研究のターゲットとなる手法 (DNN) と， 扱う対象 (EEG) に関する先行研究について述べる．

2.1

深層学習と説明可能な AI

前項で述べたように近年「説明可能な AI」の必要性 が高まっており，様々なアプローチで深層学習を理解 しようとする研究が行われている．[Doran 17] は，そ のような研究で用いられる説明可能 AI の特徴付けを 試みている．まず，AI システムは一般的に「不透明な システム」「解釈可能なシステム」「シンボルを発する 理解可能なシステム」の三つの概念によって特徴付け られるとした．そして第４の「真の説明可能なシステ ム」として，理解可能なモデルを推論エンジンで拡張 することを提案した． 上記のように特徴付けられる AI システムのなかで 「真の説明可能なシステム」に関する研究は一般的で はない．一般に説明可能 AI として多く研究されてい るのは「解釈可能なシステム」である．その一つとし て，学習した DNN の可視化に関する研究が行われてい る．たとえば，[Ramprasaath 16] は CNN の可視化に Gradient-weighted Class Activation Mapping (Grad-CAM) を適用した．彼らはさらに詳細な可視化を行うた めに，Grad-CAM と Guided Backpropagation (Guided BP) を組み合わせた Guided Grad-CAM (GGC) を示 した． また，「解釈可能なシステム」にむけた別のアプロー チとして，DNN に対して心理実験的アプローチを適用 することを [Ritter 17] は提案している．つまり，個々 の DNN モデルを心理実験における実験参加者とみな し，要因計画法に基づく実験を実施する．そして，得 られた結果の統計的な分析を通して，DNN の性質を 理解することを目指す．Ritter らが具体的に取り上げ た現象は，画像認識を行う DNN モデルにおける形状 バイアスであった．DNN モデルは人間相手の実験と同 様の刺激セットを与えられ学習を進めた．結果として， この課題における DNN の出力において，DNN に与え られた初期値に応じた分散が生じた．これは，学習し た DNN に個体差があるということを示している．さ らに，学習の進展によって DNN の形状バイアスが増 大することがわかった．この結果は人間が幼児から成 人に向かって成長するにあたって形状バイアスが大き くなることと一致しているとされた．

2.2

EEG を利用した BCI

EEG は生理心理学の分野で脳活動と人間の主観的状 態との関係性を調査するために利用されてきた．その 中で，被験者の主観的状態と脳の部位や δ 波，θ 波，α 波，β 波，γ 波などの周波数帯域別の活動に関連がある ことが報告されてきた．例えば，左前頭部の θ 波と α 波 が快感情と，右前頭部の θ 波と α 波が不快感情と関連 していることがわかっている [Davidson 03, Sarlo 05]． また，EEG から抽出される信号の中でも ERP は，人 間が内的，外的に経験する事象に応じて生じる一過性の 電位であり，BCI における利用が検討されている．ERP のなかでも，刺激提示から 300 ms 後付近に生じる陽性 電位は，P300 と呼ばれ，事象に対する注意の深さを反

映することが確かめられている [Polich 07, Sutton 65]． P300 を用いた BCI として，P300 speller [Donchin 00] と呼ばれる文字入力インタフェースが研究されている． P300 speller の利用において，ユーザはアルファベット がマトリックス状に並べられたスクリーンを観察する． スクリーンにおいてマトリックスの行と列がランダムに 光る．ユーザによって入力が意図された文字が含まれる 行や列が光った時に，P300 が生じ，P300 speller はそれ を検出することで文字入力を行う．こういった BCI を 実現するためには，EEG からユーザの意図を認識する 高精度の信号処理と識別技術が必要である．そのような 技術を競うプラットフォームとして BCI Competition があり，P300 speller を含む，BCI に関わる様々なタ スクにおいて得られた EEG データセットが提供され ている． また，EEG の識別タスクに対して DNN を適用する 研究が行われており，様々なネットワークが提案されて いる．例えば EEG の RAW データを学習できる DNN として Deep ConvNet と Shallow ConvNet が提案さ れている [Schirrmeister 17]．しかし，これらのモデル は対象とする BCI タスクによって識別精度に差があり， 汎用的ではなかった．一方で，[Lawhern 18] によって 提案された EEGNet は BCI に特化した軽量な DNN モ デルであり，既存手法に比べて少ない学習データで学 習することが可能である．加えて，EEGNet は同じネッ トワーク構造で様々な BCI タスクに適用可能であると いう利点がある． BCI タスクに DNN を適用する研究として，EEG を 識別する DNN の内部表現を可視化する研究が行われ ている. たとえば [野村 18] は DNN を用いて記憶想起 時の EEG から感情分類を行い，生理心理学的知見を トップダウンに与えることによる識別精度の変化を調 査し，学習された DNN を可視化した．[佐久間 19] は [野村 18] のデータを用いて DNN の学習を行い，学習 した DNN の内部構造と感情の生成に関わる神経科学 的な構造との一致を指摘した．これらの結果をまとめ， [森田 20] は脳波を使った感情誘導に関する BCI シス テムについての構想を示した．さらに，[佐久間 20] は P300 を含むと考えられる EEG を用いて，刺激提示時 の EEG を識別する DNN を作成した．学習を多数回 行った結果，識別精度には DNN モデルの個体差が存 在し，識別精度の高いモデルはより P300 らしき箇所 に着目した識別を DNN が行っていることを示した．

3

手法

前節の研究を引継ぎつつ，本研究では EEG を対象 とした DNN によって学習される内部表現の評価を試 みる．ここで示す評価事例は，特に [佐久間 20] におい て示された DNN モデルの個体差を前提とした分析に のっとっている． 先行研究と同様，P300 の構造（刺激提示から 300ms 後付近に生じる大きな振幅 [Polich 07]）を有すると仮 定されるデータを DNN の入力とする．そのような入 力を与えられた DNN は，神経科学者によって P300 と 概念化される構造を内部表現として学習すると考える． さらに，そのような人間による P300 概念との整合性 は，モデルによる P300 の認識精度と相関すると考える． 上記の仮説を検証するために，本研究では [佐久間 20] の手法によって可視化される DNN の内部表現をクラ スタリングし，各クラスタの認識精度と P300 概念と の整合性を評価する．以下に本研究の評価において採 用した手法を示す．

3.1

EEG データを用いた DNN の学習と可

視化

[佐久間 20] と同様の方法を用いる．EEG データか ら入力特徴を抽出し，前処理を施したものをデータと する．まず学習フェーズとして EEGNet [Lawhern 18] を用いた学習を行う．次に中間層の可視化のフェーズ として，学習した DNN モデルに対して Guided Grad-CAM を用いた可視化を行う．DNN の出力クラス毎に 作成した GGC の平均ベクトルを作成し，このベクトル を各クラスに対する DNN の可視化結果とする．EEG と GGC を用いた中間層の可視化と集約の概要を図 1 に示す．また，あるモデルに対して GGC を適用して 得られた可視化結果の例を図 1 の下部に示す．横軸は 時間，縦軸はその時間におけるデータへの注目度を示 している．時間 0 で刺激が提示されており，例では刺 激提示から約 200 ms の間の EEG に DNN が注目して いたことがわかる．この可視化を，学習した全てのモ デルに対して行った．

3.2

クラスタリングフェーズ

可視化フェーズで作成した，各 DNN モデルにおけ る GGC の平均ベクトルの集合を対象に，クラスタリ ングを実施する．採用した手法は階層クラスタリング である．距離関数は ward 法を用いる．クラスタリング の閾値を設定することにより任意の個数のクラスタを 作成し，各クラスタに属する DNN モデルの可視化結 果と，クラスタ内 DNN モデルの平均識別精度に着目 し，DNN による EEG の構造発見を調査する．

図 1: Guided Grad-CAM の手順

3.3

DNN の表現学習の評価

DNN において学習された表現の良さは，人間の認 知システムに存在すると仮定される概念表現との整 合によって判断されるべきと考える．P300 を発見し た [Sutton 65] は，その波形の特徴を “peak amplitude at about 300 milliseconds” と表現した．今回得られ る DNN の可視化結果はベクトルで表現されているた め，整合によって評価を行うためには Sutton らによ る P300 の概念もベクトルで表現しなければならない． 本研究では，P300 の概念を記号的なバイナリ表現，お よびアナログ的な確率分布表現の二通りの形式で表現 し，DNN の学習表現との二乗平均平方根誤差（RMSE: Root Mean Square Error），相関係数を測ることによっ て評価を行う．以下に 2 つの表現を数量化する方法を 説明する． 3.3.1 記号的なバイナリ表現 本研究では人間の概念の記号的なバイナリ表現を，特 定の位置にスパイクを持つベクトルとして数値化して 表現する，本研究では数値化する際に，Sutton らによ る P300 の概念を「300 ms に観測される波形」として 捉え，300 ms の位置 µ にスパイクを持つベクトルと して表現する．今回スパイクの大きさは，可視化で得 られるベクトルの要素の理論的な最大値である 1 とし， スパイク以外の要素を 0 としたベクトルを用いる． 3.3.2 アナログ的な確率分布表現 本研究では人間の概念のアナログ的な確率分布表現 を，特定の位置に分布を持つベクトルをとして数値化 して表現する．本研究では数値化する際に，Sutton ら による P300 の概念を「300 ms に観測される確率の高 い波形」として捉え，300ms 付近に正規分布を持つベ クトルとして表現する．今回作成する正規分布は，評価 対象となる可視化結果のベクトルの要素の最大値 ymax によって求める．正規分布の確率密度関数は f (x) = √ 1 2πσ2e −(x−µ)2 2σ2 (1) で表され，µ は 300ms 付近に相当する値，σ は σ = √ 1 2πymax (2) によって求める．

4

実験

本実験では，P300 の構造を持つと考えられる EEG を用いて DNN を学習する．学習した DNN の識別精 度がどの程度ばらつくのか検討した上で，DNN を可視 化し，識別精度の高いモデルと低いモデルで注目度の 差異を比較する．そして，DNN の学習表現を人間の認 知システムに存在すると仮定される概念表現を用いて 評価する方法を提案する．

4.1

実験データ

本実験では BCI Competition III の Data2 [BCI] を 使用する．Data2 は 2.2 で説明した P300 Speller を用 いた実験から得られたデータである．データ収集には BCI2000 system が用いられ，国際 10-20 法に基づく 64 ch の電極から 240 Hz でサンプリングされた EEG が得 られた．7794 のサンプリングポイントからなる 100 ト ライアル分のデータが提供されており，各トライアル内 では実験参加者に対して刺激（光った行あるいは列）が 提示された時刻がトリガーとして付与される．EEG に 対しては 0.1 - 60 Hz のバンドパスフィルタが適用済み となっている．本研究ではこのデータに対して，各刺激 提示から 1 秒間（240 フレーム）を抽出し，学習データ として扱う．教師ラベルは正答（意図した文字）に対応 する刺激が提示されたかされていないかを 1,0 で表すこ ととし，2 クラス分類を行うこととした．入力データの パラメータは W idth = 240(240Hz × 1sec), Height = 64(64channel), となる．また，データセット内で，正 事例のデータ数と負事例のデータ数はそれぞれ 2537 個 であった．

図 2: 1000 個の DNN モデルの識別精度ヒストグラム

4.2

実験条件

実験は Python3.6 上で行い，深層学習フレームワー クには Chainer v6.0.0 を利用した．モデルには 3.1 で 示した EEGNet を用いた．本実験では以下の項目を検 討する． (1) EEG を用いて DNN の学習を行い，DNN の識別 精度にどの程度分散が生じるのかを検証する． (2) 学習した DNN の GGC を用いた可視化分析結果 から，識別精度の高低による可視化の差異を比較 する． (3) DNN の表現学習の評価として，可視化結果を人 間の有する概念との整合によって評価する． (1) では 1000 回，(2) では 200 回の学習を行なった．ハ イパーパラメータとして BatchSize を 100，epoch を 50 に設定し，Early Stopping を最高識別率 3 回不更新 の条件に設定した．(3) では µ = 72 として評価用ベク トルを生成した．

5

結果と考察

5.1

学習データによる識別精度の分散

学習データの変化によってどのように DNN の識別 精度の分散が生じるのか検討した．データを与える順 番を変えて学習した 1000 個の DNN モデルの識別精度 ヒストグラムを図 2 に示す．図より，学習したモデル には個体差が存在することがわかる．

5.2

可視化結果の分析

5.2.1 可視化結果 識別精度の高低による可視化の差異を比較するため， 学習したモデルの中で，識別精度の高いモデルと低い モデルの可視化結果をそれぞれ図 3 と図 4 に示す．各 図 3: 識別精度が高いモデルの可視化結果 図 4: 識別精度が低いモデルの可視化結果 図はそれぞれのモデルに対して同じデータを用いて可 視化したものであり，水色で示された領域は 95%信頼 区間であり，青線はその平均である．識別精度の高い モデルでは 300 ms 付近に注目度の高い箇所がみられ， 識別精度の低いモデルでは 200 ms 以降の注目度の変化 が少なく特別注目している箇所があるように見えない． 可視化結果に見られる時間に対応した注目度の高低 が DNN による学習の結果であることを確認するため， RAW データ（DNN の学習に用いた入力特徴）を加算 平均したグラフを図 5 に示す．図 5 を見ると全体のノ イズが非常に多くなっており，DNN の可視化結果のよ うに特別どこに注目しているとは言えない．このこと から，得られた結果は DNN による学習の結果である と考えられる． 5.2.2 クラスタリングと分析 図 6 は可視化結果のベクトルを階層クラスタリング した結果である，横軸のラベルとして記載されている 数値は学習モデルの識別精度の順位を示している．ラ

図 5: RAW データの平均 ベルの色属性は順位の高低と対応しており，青属性が 高いほど順位が高く，緑属性が高いほど順位が低いも のとなっている．デンドログラムから，大まかに 5 つの クラスターに分類されることがわかる．また各クラス ターに属するモデルの識別精度に着目すると，どのク ラスターにも順位の高いモデルと低いモデルが含まれ ており，クラスターと順位の関係は明確ではない．そ こで，各クラスターが含むモデルの可視化結果と識別 精度の関係を分析した． 図 7 は各クラスターが含むモデルの GGC の加算平 均を示す．各グラフの横軸はフレーム数（250 f/s），縦 軸はデータに対する DNN モデルの注目度を表してお り，グラフ上部に示されている Rank はそのクラスター が含む DNN の平均識別精度の順位，rank mean はそ のクラスターが含む DNN の識別精度の順位の平均で ある．最も平均識別精度の高いクラスターのグラフで は，P300 の構造が存在すると考えられる 80 f 付近で注 目度が高くなっていることがわかる．一方，他のクラ スターでは P300 の構造を発見できていないように見 られる．これは，識別精度が高いモデルほど，内部表 現に P300 の構造が反映されていることを示している．

5.3

DNN の表現学習の評価

ここまで行ってきたクラスタリング結果の評価は人 目によって人の認知システムに存在すると仮定される 概念知識と比較することによるものであった．より客 観的な評価を行うため，人間の概念表現を数値的に表 現したデータと DNN の学習表現を比較した．評価は 5.2.2 のクラスターを構成する要素に対して行い，その 加算平均を結果として用いる． 5.3.1 バイナリ表現 バイナリ表現を用いた評価では，P300 を 300 ms に スパイクを持つ波形（P300 spike）として表現し，GGC と P300 spike との間で RMSE と相関係数を測った．結 果はクラスター毎に求めた．結果を図 8 に示す．図中 のグラフは各クラスターを示しており，グラフ内にそ のクラスターに含まれる GGC と P300 spike の RMSE および相関係数の平均が示されている． 各クラスターの RMSE を見ると，最も識別精度の低 い左下段のクラスターが最も低い値となっており，最も 識別精度の高い左上段のクラスターよりも P300 spike との誤差が少なくなっていることがわかる．また，2 番 目に識別精度の高い左上段のクラスターの RMSE は最 も高い値となっており，P300 spike との誤差が最も大 きくなっていることがわかる．これらの結果は最も識 別精度の高いクラスターが P300 の構造を発見してい るという結果と相違するようにも考えられる．これは 今回評価に用いた RMSE がベクトルとベクトルの間の 誤差を測るために起こったと考えられる．今回作成し た P300 spike は 300 ms に相当する場所以外すべて値 が 0 となっているベクトルであるため，全体的な注目 度が高くなっている左上段のクラスターなどにおいて は，300 ms 以外の場所での誤差が大きくなってしまう． 一方，全体的に注目度の低い左下のクラスターは 300 ms 以外の場所での誤差が，比較的小さくなったと考え られる． 次に各クラスターの相関係数を見ると，最も識別精度 の高い左上段のクラスターが最も高い値となっている． この結果は，最も識別精度の高いクラスターが P300 の 構造を発見しているという人目による評価結果と合致 する．一方，右上段や右中段のクラスターにおいては 相関係数の値が負となっている．この結果も，人目に 見て両クラスターが P300 の構造を発見していないよ うに見えることから，P300 spike を用いた評価と人目 による評価結果が合致していることを示す． 以上の結果から，バイナリ表現を用いた評価におい ては，相関係数を用いることで人間による評価と似た 評価結果を得られると考えられる．一方，本評価方法 は 300 ms に相当する部分以外，つまり 300 ms 前後の 注目度が高くなっていても評価されないという問題点 がある．P300 は必ずしも 300 ms に表れるものではな く，300 ms 付近に表れるものであり，300 ms 前後の 注目度を評価に取り入れることも考えられる．そのた め，P300 を分散を持つ分布として捉えた評価を以下で 行う．

図 6: 階層クラスタリング結果 図 7: クラスターごとの GGC 平均 5.3.2 確率分布表現 確率分布表現を用いた評価では，P300 を 300 ms 付 近に観測される波形として捉え，300 ms に分布を持つ 波形（P300 norm）として表現し，GGC と P300 norm との間で RMSE と相関係数を測った．結果はクラス ター毎に求めた．結果を図 9 に示す．図中のグラフは 各クラスターを示しており，グラフ内にそのクラスター に含まれる GGC と P300 norm の RMSE および相関 係数の平均が示されている． 各クラスターの RMSE を見ると，最も識別精度の低 い左下段のクラスターが最も低い値となっており，最も 識別精度の高い左上段のクラスターよりも P300 norm との誤差が少なくなっていることがわかる．これは，最 も識別精度の高いクラスターにおいては，0-100 ms に おいての注目度が，300 ms 付近と同様に高くなってい ることに起因すると考えられる．P300 を含む EEG は， 300 ms 付近に大きな電位の変化が表れるという特徴が あるが，同時に 300 ms 以前にも P1, N1 などと名付け られた小規模な電位の変化が表れることが知られてい る．このことから，最も識別精度の高いクラスターで はそれらの電位の変化に対しても注目した DNN の学 習が行われていると考えられる． 次に各クラスターの相関係数を見ると，バイナリ表 現による評価と同様に，最も識別精度の高い左上段の クラスターが最も高い値となっている．この結果は，最 も識別精度の高いクラスターが P300 の構造を発見して いるという人目による評価結果と合致する．一方，右 上段や右中段のクラスターにおいてもバイナリ表現に よる評価と同様に，相関係数の値が負となっている．こ の結果も，人目に見て両クラスターが P300 の構造を 発見していないように見えることから，P300 spike を 用いた評価と人目による評価結果が合致していること を示す． 以上の結果から，確率分布表現を用いた評価におい ても，相関係数を用いることで人間による評価と似た 評価結果を得られると考えられる．一方，本評価方法 には，評価対象によって評価に用いる分布が異なって しまうという問題がある．P300 らしさを表現する方法

図 8: GGC と spike 間の RMSE と相関係数 を全評価対象に対して統一することでより客観的な評 価を行うことが可能となると考えられる．

6

結論

本研究では，EEG を対象とした DNN によって，EEG に内在する構造を発見する新たなアプローチを提案し た．提案したアプローチは，DNN におけるモデルの個 体差に注目するものであった．識別精度に分散のある 複数の DNN モデルからなる集団で，識別精度の高い モデルほど対象の構造を反映しているという仮説を設 定した．この仮説は，平均識別精度の高いクラスター から P300 の構造が発見されたことにより検証された． 一方，平均識別精度の低いクラスターでは P300 の構 造を視認することが困難であった． また，DNN において学習された表現の良さを評価 するため，人間の概念を，記号的なバイナリ表現，お よびアナログ的な確率分布表現の二通りの形式で表現 し，DNN の学習表現との整合を RMSE と相関係数の 二通りの方法で検討した．その結果，両表現形式とも に RMSE ではなく相関係数を指標とした場合において 人間による評価と整合する評価結果が得られた．また， 人間の持つ概念と内部表現との整合性は，DNN の識別 精度と関連することがわかった． 一方，両表現形式には問題点も存在した．バイナリ 表現においては，P300 を 300 ms だけに存在するもの 図 9: GGC と正規分布間の RMSE と相関係数 として表現しており，300 ms 前後にも存在する変化を 全く評価しない．そのことから，300 ms 前後にも高い 注目度があるときに誤差が大きくなってしまうという 問題があった．この問題を解決する確率分布表現にお いては，評価の基準となる分布が評価対象によって変 化してしまい，バイナリ表現と比べて評価が客観的で ないという問題があった． また，本研究では P300 という，数値的に表現しやす い特定の概念を対象とした実験をしており，概念の表 現方法などを一般化することが難しいという限界があ る．人間の持つ概念はある特定の物を指すこともあれ ば，何かの構造，手順，感覚など，様々な対象を指す ことがある．そのため，全ての概念を一般的に表現す ることは困難である．これらすべてではなくても，よ り大きな概念の括りに対して適用可能な概念の表現方 法が開発されることによって，様々な DNN の表現を 評価可能になると考えられる．

参考文献

[BCI] BCI Competition III, http://www.bbci.de/ competition/iii/

[Castelvecchi 16] Castelvecchi, D.: Can we open the black box of AI?, Nature, Vol. 538, pp. 20–23 (2016) [Davidson 03] Davidson, R. J.: Affective neuroscience and psychophysiology: Toward a synthesis,

Psychophysiology, Vol. 40, No. 5, pp. 655–665

(2003)

[Donchin 00] Donchin, E., Spencer, K. M., and Wijesinghe, R.: The mental prosthesis: assessing the speed of a P300-based brain-computer interface, IEEE transactions on rehabilitation engineering, Vol. 8, No. 2, pp. 174–179 (2000)

[Doran 17] Doran, D., Schulz, S., and Besold, T. R.: What does explainable AI really mean? A new conceptualization of perspectives, arXiv preprint

arXiv:1710.00794 (2017)

[Lawhern 18] Lawhern, V. J., Solon, A. J., Waytowich, N. R., Gordon, S. M., Hung, C. P., and Lance, B. J.: EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces, Journal of neural engineering, Vol. 15, No. 5, p. 056013 (2018)

[Polich 07] Polich, J.: Updating P300: an integrative theory of P3a and P3b, Clinical neurophysiology, Vol. 118, No. 10, pp. 2128–2148 (2007)

[Ramprasaath 16] Ramprasaath, R., Abhishek, D., Ramakrishna, V., Michael, C., Devi, P., and Dhruv, B.: Grad-cam: Why did you say that? visual explanations from deep networks via gradient-based localization, CVPR 2016 (2016) [Ritter 17] Ritter, S., Barrett, D. G., Santoro, A.,

and Botvinick, M. M.: Cognitive psychology for deep neural networks: A shape bias case study, in Proceedings of the 34th International

Conference on Machine Learning-Volume 70, pp.

2940–2949JMLR. org (2017)

[Sarlo 05] Sarlo, M., Buodo, G., Poli, S., and Palomba, D.: Changes in EEG alpha power to different disgust elicitors: the specificity of mutilations, Neuroscience letters, Vol. 382, No. 3, pp. 291–296 (2005)

[Schirrmeister 17] Schirrmeister, R. T., Springenberg, J. T., Fiederer, L. D. J., Glasstetter, M., Eggensperger, K., Tangermann, M., Hutter, F., Burgard, W., and Ball, T.: Deep learning with convolutional neural networks for EEG decoding and visualization,

Human brain mapping, Vol. 38, No. 11, pp.

5391–5420 (2017)

[Sutton 65] Sutton, S., Braren, M., Zubin, J., and John, E.: Evoked-potential correlates of stimulus uncertainty, Science, Vol. 150, No. 3700, pp. 1187–1188 (1965) [宮崎 80] 宮崎清孝：メンタル・イメージは絵か命題か, 教育心理学年報, Vol. 19, pp. 112–124 (1980) [佐久間 19] 佐久間 一輝, 森田 純哉, 野村 太輝, 平 山 高嗣, 榎堀 優, 間瀬 健二：深層学習の可視 化による神経科学的知見の抽出, 人工知能学会全 国大会論文集 一般社団法人 人工知能学会, pp. 3G3OS18a04–3G3OS18a04 一般社団法人 人工知能 学会 (2019) [佐久間 20] 佐久間 一輝, 森田 純哉, 平山 高嗣, 榎 堀優, 間瀬 健二：脳波を対象とした深層ニューラルネットの 可視化による構造発見, 人工知能学会全国大会論文集 第 34 回全国大会 (2020), pp. 1I5GS202–1I5GS202 一般社団法人 人工知能学会 (2020) [森田 20] 森田 純哉, 佐久間 一輝, 野村 太輝, 平山 高 嗣, 榎堀 優, 間瀬 健二：生体情報センシングと人の 状態推定への応用, 第 5 章 第 4 節脳波と深層学習 を活用した記憶の想起に伴う快不快感情の認識, pp. 473–485, (株) 技術情報協会 (2020) [野村 18] 野村太輝, 森田純哉, 平山高嗣, 榎堀優, 間瀬 健二：CNN による感情認識における生理心理的制約 の効果, 人工知能学会全国大会論文集 第 32 回全国 大会 (2018), pp. 4D1OS14c04–4D1OS14c04 一般社 団法人 人工知能学会 (2018)