脳波コミュニケーション技術の開発における脳科学と心理学の融合
長 谷 川 良 平
産業技術総合研究所
Integration of neuroscience and psychology in development
of an EEG-based communication system
Ryohei P. Hasegawa
AIST
An EEG-based brain–machine interface (BMI), “Neurocommunicator” has been developed by the author's re-search group in AIST in order to support communication of patients with severer motor deficits. The user can select one of registered messages in real time from electroencephalography (EEG) data and express it via his/her avatar. In-tegration of neuroscience and psychology will contribute to the future development, at hardware, software and ser-vice levels, of Neurocommunicator toward a commercial product.
Keywords: brain–machine interface (BMI), electroencephalography (EEG), event-related potential （ERP）
1. は じ め に 神経難病や脳血管障害などが原因で重度の運動機能障 害を呈する患者は，生活全般について全面的な介助が必 要となる。そのような患者の中には，たとえ感覚機能や 運機能が正常であったとしても，運動機能が極度に低下 しまったために書字や発話などによる意思伝達が困難な 場合がある（Figure 1）。そうなると社会生活どころか家 族との心の交流さえ断たれてしまう。このような患者の 「生活の質」（Quality of Life: QOL）を向上させるために 残存運動機能などを着目した「代替・拡大コミュニ ケーション」 （Augmentative and Alternative Communication: AAC）に関する技術開発が世界的にも盛んになっていき ている。簡単なものであれば，指差しが可能な患者用で あれば各種のメッセージが描かれた絵カードや透明文字 盤などがある。また，電子機器を用いるものであれば表 情筋など身体の一部の動作を筋電センサや歪みセンサで 検出し，ワンボタンスイッチにすることができる。その 場合，単にナースコール的に利用することもできるし， パソコン上で動く専用ソフトウェアを操作して一文字ず つ入力するシステムも普及しつつある。しかし，全身の 運動機能が極度に低下した「完全閉じ込め状態（Totally Locked-in State: TLS）」の患者に対してはなすすべがない のが現状である。そこで我々の研究チームでは，脳と機 械を直結するブレイン–マシンインターフェース（Brain– Machine Interface: BMI） 技 術（長 谷 川，2008; 川 人， 2010）を用いた意思伝達装置の研究開発に取り組んでき た。その最初の成果として2010年3月に試作第1号機の 開発に成功したのが，脳波による意思伝達装置「ニュー ロコミュニケーター」である（産業技術総合研究所，
Copyright 2014. The Japanese Psychonomic Society. All rights reserved. Correspondence address: Department of Human
Technolo-gy Research Institute, AIST, 1–1–1 Umezono, Tsukuba, Ibaraki 305–8568, Japan. E-mail: [email protected] 産業技術総合研究所 ヒューマンライフテクノロジー 研究部門 ニューロテクノロジー研究グループ Neurotechnology Research Group, Human Technology Research Institute, AIST
© （独）産業技術総合研究所 Figure 1. Communication disorder as a result of motor
neuron disease etc. DOI: http://dx.doi.org/10.14947/psychono.33.15
2010）。本システムの開発においては工学的技術もさるこ とながら，脳科学（神経科学）と心理学の知見が多分に 活かされており，本論文ではそのような視点から，当該技 術の概要紹介や将来の開発の方向づけを行うこととする。 2. 脳波による意思伝達装置の開発 ニューロコミュニケーターは，外観から確認される装 置としてはヘッドギアとノートパソコン，サブモニター の3つのパートから構成されており，それらは以下のよ うな仕組みで働いている（長谷川，2012）（Figure 2）。 本システムのユーザーの眼前には，パソコンに接続され た小さなサブモニターが置かれている。その画面上には 伝えたいメッセージを表すような8種類のピクトグラム （単純な絵カードのようなアイコン）がメニューのよう に並んでいる。メニュー画面が提示されたのち，しばら くすると各ピクトグラムが順次，疑似ランダムな順でフ ラッシュする（「これかな」という文字が一瞬表示）。こ の間，注目しているピクトグラムがフラッシュしたとき に，わずかではあるが脳波に一定の変化が生じる。この 変化を検出して脳内意思を解読するために，我々は小型 無線脳波計を搭載した樹脂製のヘッドギアを独自に開発 した。ヘッドギア上，脳波計と短いケーブルで接続され た8個の金属製電極には底面の隙間に導電性のジェルが ため込まれており，髪の毛の間に染み込むことによって 頭皮と電極がつながっている。これらの電極によって計 測した脳波データはリアルタイムでノートパソコンに無 線送信される。脳波計から無線データを受け取ったノー トパソコンでは，選びたいピクトグラムの提示と関係し た脳波の変化をリアルタイムで検出するプログラムが動 いている。各ピクトグラムに対するフラッシュが数回繰 り返された段階で，最も強い変化を誘発したピクトグラ ムがユーザーの選びたいものであると推測する（南・井 上・長谷川，2012; 高井・南・長谷川，2011）。この検出 には線形判別分析のようなパターン識別技術が用いられ ており，選ばれたメッセージは，パソコン画面上に現れ たアバター（ユーザーの代わりとなる CGのキャラク ター）が人工音声付きアニメーションによって周囲に伝 えてくれる。なお，本システムではメッセージを作るた めに8種類のピクトグラムから1つを選ぶ作業を3回繰 り返してメッセージを具体化していく方式により，8の 3乗，つまり512種類という多様なメッセージを表現す ることができる。健常者対象の実験においては，1回の 選択あたり（8種類の選択肢に関して5回ずつのフラッ シュを行う条件＝約6秒間）95％以上の精度で解読可能 であった（情報量としては毎分約32ビットに相当）（長 谷川・工藤，2013）。 3. 認知課題を利用した意思伝達支援 上述した意思伝達システムでは，脳内の認知的処理を 反映した脳波の計測と解読が必要不可欠であり，脳科学 と心理学の両方の知見が活用されている。まず，100年 近い昔にドイツの精神科医ハンス・ベルガーが，ヒトか ら初めて記録して以降，脳波は頭皮上で安全に記録でき るという非侵襲的な脳活動計測機器の代表例として臨床 検査としても標準的に使われるようになっている。脳波 と言えば，閉眼安静時に後頭部優位で出現する10 Hz前 後のアルファ波がリラックスの指標として有名であり， 他にも前頭部で記録されるシータ波（4∼7 Hz）とよば れる波形（石原，1981）などが知られている。このよう に脳波データの周波数解析によって大雑把な心理状態を 推測することが可能である。しかし，頭皮上で簡便に記 録される4∼5種類の主要な周波数帯のパワーの出方だ けでは，生活に必要な最低限のメッセージ数さえ表現す ることが難しい。そこで研究者たちが注目しているのが 事象関連電位（event-related potential: ERP）である。事 象関連電位とは，感覚刺激の発生や運動などの発生直後 の脳波データを切り出し，脳波の電位がプラス，マイナ スどちらの方向にどのようなタイミングで変化するかを 調べるときに明らかになった脳波の反応である（Sutton, Braren, Zubin, & John, 1965）。とりわけ興味を持った視覚 刺激や聴覚刺激の提示後，頭頂部を中心として300ミリ 秒後に発生する「P300」と呼ばれる陽性電位に注目が集 まっている。P300を観察するのにはオドボール課題と 言う認知課題がしばしば使われる（入戸野，2005）。 例えば視覚刺激を用いるバージョンのオドボール課題 では，2種類の視覚刺激（AとB）を用いて，それらを1 © （独）産業技術総合研究所
Figure 2. Nueorcommunicator, an EEG-based commu-nication system.
つずつ，繰り返し素早く紙芝居をめくるように連続提示 する。その際，AとBの提示頻度を変えてAが稀にしか 提示されないようにすると，被験者はBに混じってAが 出現したとき，「おやっ！」という気分になる。そのよ うな注意喚起状態と呼応するかのように脳波データにお いてもP300が出現するのである。なお，AではなくBの 頻度を低くするとBに対してP300が出現するので，P300 が刺激の物理的な性質に直接反応しているのではないこ とが確かめられるが，刺激を「ぼーっ」と見ているだけ でもこのような反応が得られることから，実験条件とし ては環境要因の側の操作が重要であり，被験者にとって は受動的な態度でも観察されるケースである。一方，被 験者側の能動的な関与によって刺激の意義が変わってく る場合でもP300が出現する（Figure 3）。例えば，いくつ かの種類の視覚刺激をすべて同じ頻度で連続提示する 前，あらかじめそのうちの一つ（「ターゲット」と呼ぶ） を選び，ターゲットが出るたびに頭の中で数を数えても らうという操作をすることにする。すると，ターゲット が提示されたときに被験者は一瞬，「おやっ！」という 気分になる。そして，今度はターゲット提示直後に P300が観察されるのである。 このP300のトップダウン的側面を利用した文字綴り 器「P300スペラー」が考案されている（Farwell & Don-chin, 1988）。このシステムも一種の認知課題であり，課 題遂行中のユーザーの脳波計測によってパソコン画面上 に提示された縦横6×6配置の区画からアルファベット や数字を一つずつ選ぶことができる。この刺激提示シス テムを用いつつ，予測精度を高める様々な計算手法が考 案されており，条件が良い場合，おおよそ15秒に1文字 （1分間あたり約4文字）を約95％の正答率で推測できる こ と が わ か っ て い る（Donchin, Spencer, & Wijesinghe,
2000）。なお，P300 スペラーに関しては非営利団体に よって実験プログラムが無償提供されており（http:// www.bci2000.org/），また関連団体によって公開脳波デー タを用いて解読精度を競う競技会が実施されている （http://www.bbci.de/competition/）。一方，P300 スペラー では長い時間をかけて一文字ずつ選択するために，福祉 機器としての実用性から考えた時には課題も残るが，そ の後の脳波BMI技術（しばしばBrain–Computer Interface: BCIと呼ばれる）の発展にも貢献しており（Birbaumer et al., 1999; Wickelgren, 2003; Wolpaw et al., 2002），我々の開 発でも非常に参考になった。 4. 実用化開発における心理学的アプローチの 関与と今後の課題 これまで研究代表者は，脳波BMI技術の開発におい て右図に示すような 4段階の研究開発を同時並行的に 行ってきた（Figure 4）。このそれぞれの段階においても 心理学的な知見や研究手法の活躍が期待されている。 1） 脳活動計測デバイスの開発 基盤的ハードウェア である脳活動計測デバイスの開発は，電子回路の設計な ど工学的な側面が強いと思われがちであるが，脳波計測 において直接人体と接触するヘッドギアの開発において は，性能のみならずユーザビリティへの配慮が重要であ る。実際，ヘッドギアの改良時にはその快適性の向上を © （独）産業技術総合研究所 Figure 4. Toward practical development of
Neurocom-municator. © （独）産業技術総合研究所
Figure 3. Event-related potential that can be employed as a switch.
検証するために，まずは健常者対象の心理評定を行って おり，患者対象のモニター実験の際もヘッドギア装着に よる疲労間を実験セッションの合間に確認している（中 村・工藤・長谷川，2013）。今後もユーザビリティ評価 を続けつつも，システムの携帯性を活かした外出時での 使用際に問題になりうるデザイン面に関して配慮をし， 「カッコいい」とは言われないまでも「違和感の少ない」 見栄えの装置となるように心理評定を役立てていきたい と思っている。 2） 脳情報解読アルゴリズム 基盤的ソフトウェアで ある脳情報解読アルゴリズムの開発においては脳波デー タに対するパターン識別手法などの情報科学的研究に加 えて，意思決定に関する心理学や脳科学の知見が重要と なってくる。これまで我々は，課題遂行中の動物の意思 決定に関わる認知的状態が神経活動に反映されることを 示 し て き た が（e.g., Hasegawa, Blitz, Geller, & Goldberg, 2000; Hasegawa, Peterson, & Goldberg, 2004），さらに近年 の研究において意思決定内容を単一試行単位で予測する 手法の開発にも取り組んできた（e.g., Hasegawa, Hasega-wa, & Segraves, 2006, 2009）。ニューロコミュニケーター においては，まさにこれらの知見やデータ解析法に基づ いた解読手法が導入されており，関連特許も多数取得し ている。ただし，脳波解読における速さと精度の同時追 求の方向性はまだまだ続いており，そのカギとなるのが 上述したメッセージ選択に関する意思決定を誘発する認 知課題である。現在のところ主に視覚的な手がかりを用 いているが，事象関連電位の反応を高める刺激の選定や 刺激提示の間隔の調整など，細かいノウハウが意外に大 きく実験結果に影響することがわかっている。また，眼 を開くことができない患者のためには聴覚や体性感覚な ど視覚以外の感覚刺激の導入が期待されているが，これ らの刺激を用いた脳波研究は視覚に比べて圧倒的に少な く，実用化につながりそうなシステムの開発は遅れてい てまさに今後の課題となっている。 3） 脳情報活用アプリケーション 上述したハード・ ソフトの基盤技術を用いた具体的アプリケーションが あって，初めて意思伝達技術としての体裁が整うことに なる。上述したP300スペラーでは，36種類の文字から 一つずつ選ぶので多様なメッセージを作ることが可能で ある。その反面，選択肢の増加は事象関連電位を，その まま誘発するフラッシュ回数の増加につながる上，チャ ンスレベルの低下を補うために繰り返し回数も増やさね ばならない。その結果，一つの文章を作るのにあまりに も時間がかかるため，重度の患者にとって体に負担がか かり，集中力を維持するのも大変である。しかも文字数 が多い日本語の場合はさらに時間がかかってしまう。そ こで本システムでは 8の3乗，つまり512種類という多 様なメッセージをカテゴリーごとに分類し，あらかじめ 登録しておく方式（階層的なメッセージ生成システム） を採用した。この方式であれば，どんな長い文章でも短 時間（20秒前後）で選択することができる。ただし， この方式を適切に運用するためにはどのようなメッセー ジを集め，またそれらをどのようにグルーピングする か，というデータベース製作者のセンスが重要となる。 我々は重度運動機能障がい者のケアを担当する関係者に 対するアンケートとともに，一般の手話やベビーサイ ン，発達障害児用絵カード集，外国語教材など様々な資 料に基づいて共通性の高いデータベースづくりに取り組 んでいるが，まだまだ改良が必要と感じている。また， 患者それぞれの症状や個人的な趣味に応じたカスタマイ ズもできるように専用システムを開発中である。このよ うに，アプリケーションレベルでも，課題が山積してお り，コミュニケーションや言語，発達心理関連の専門家 との連携の機会を得たいと考えている。 4） 脳情報活用サービス 本システム全体をどのよう な形でユーザーに提供するかという問題についてはサー ビス形態に関する研究も必要である。現在，試作機最新 版を用いて実際の患者を対象としたモニター実験を実施 中であるが（中山他，2013），これはあくまで研究開発 者が装置を装置の操作を行ってデータを解析する「実 験」という位置づけである。今後，実用化されて装置が 日常的に使用されることを想定すると，ヘッドギアを装 着する患者以外に装置の操作者が必要であり，その最有 力候補は家族ということになる。「試作機」の段階でハー ドウェアやソフトウェアは慣れた技術者であれば，少し の手間でセッティングや操作が可能であるが，このまま では一般の家族が同じように容易にセッティングや操作 ができるとは限らない。少なくとも操作手順を簡略化 し，なるべくマニュアルレスで装置が正常に作動する状 態を作るという意味では，家庭用ゲーム機を参考にした 「作り込み」が必要である。また，老老介護状態などパ ソコンはもちろん家庭用ゲーム機さえ使うことが難しい 高齢者家族に対しては，無理に装置の操作をお願いする のではなく，他に適切な操作者を見つけた方が良い場合 もありうる。例えば，毎日のケアに来る訪問ケアサービ スのケアテーカーや作業療法士，看護師もその候補とな る。その場合，装置の所有者が誰になるのが良いのかと いう問題も検討が必要である。いずれにせよ，高額な福 祉機器の購入には「補装具」や「日常生活用具」などの 福祉機器としての認定を受けることで，その購入に関し
ては一部補助が受けることが可能となる。また，意思伝 達支援技術は，家庭内で長期療養中の患者だけでなく， 病院に入院中の急性期の患者に対しても必要であるため， 病院での普及を考えると医療機器の認定を受けたうえで 保険点数制度にも組み込まれるのが理想である。法的な 問題も絡んでくるが，誰がどのように使うかというのは 意外に研究者が見落としがちな視点であると思われる。 以上，脳波による意思伝達装置の開発を通して，様々 な研究開発課題があり，様々な専門家が関与しうるテー マであることを述べてきた。課題の解決方法も一つでな く，また，実験としてうまくいくことと製品が売れるか どうかというは別なのも，難しいところである。とは言 うものの，人々の脳や心の働きに関する研究成果が，社 会の役立つようになるのは一研究者として非常にやりが いのある仕事であると思っている。 引用文献
Birbaumer, N., Ghanayim, N., Hinterberger, T., Iversen, I., Kotchoubey, B., Kübler, A., . . . Flor, H. （1999）. A spelling device for the paralysed. Nature, 398, 297–298.
Donchin, E., Spencer, K. M., & Wijesinghe, R. （2000）. The mental prosthesis: Assessing the speed of a P300-based brain-computer interface. Rehabilitation Engineering, IEEE
Transactions, 8, 174–179.
Farwell, L. A., & Donchin, E. （1988）. Talking off the top of your head: Loward a mental prosthesis utilizing event relat-ed brain potentials. Electroencephalography and Clinical
Neurophysiology, 70, 510–523.
Hasegawa R. P., Blitz A. M., Geller N. L., & Goldberg M. E. （2000）. Neurons in monkey prefrontal cortex that track past
or predict future performance. Science, 290, 1786–1789. Hasegawa R. P., Peterson B. W., & Goldberg M. E. （2004）.
Pre-frontal neurons coding suppression of specific saccades.
Neuron, 43, 415–425.
Hasegawa, R. P., Hasegawa, Y. T., & Segraves, M. A. （2006）. Single trial-based prediction of a go/no-go decision in mon-key superior colliculus. Neural Networks, 19, 1223–1232. Hasegawa, R. P., Hasegawa, Y. T., & Segraves, M. A. （2009）.
Neural mind reading of multi-dimensional decisions by monkey mid-brain activity. Neural Networks, 22, 1247–1256. 長谷川良平（2008）．ブレイン・マシン・インタフェー スの現状と将来 電子情報通信学会誌，91, 1066–1075. （Hasegawa, R. P. （2008）. Development and future of brain machine interface. Journal of the Institute of Electronics,
In-formation and Communication Engineers, 91, 1066–1075.）
長谷川良平（2012）．脳波BMI技術を用いた実用的意思 伝達システム 電子情報通信学会誌，95, 834–839. （Hasegawa, R. P. （2012）. EEG-based brain-machine
inter-faces for practical communication aid. Journal of the
Insti-tute of Electronics, Information and Communication Engi-neers, 95, 834–839.）
長谷川良平・工藤泰彦（2013）．脳波による意思伝達装 置「ニューロコミュニケーター」の実用化開発 SAT
テクノロジー・ショーケース2013. （Hasegawa, R. P., & Kudo, Y.）
石原 務（1981）．バイオフィードバック法によるFm θ 脳波感覚の検討 臨床脳波，23, 191–197. （Ishihara, T.） 川人光男（2010）．脳の情報を読み解く BMI が開く未 来 朝日新聞出版. （Kawato, M.） 南 哲人・井上康之・長谷川良平（2012）．ニューロコ ミュニケーターにおける性能向上の試み―感性を考慮 したブレインマシーンインターフェースの開発― 日 本感性工学会論文誌，11, 509–518.
（Minami, T., Inoue, Y., & Hasegawa, R. P. （2012）. Develop-ment of neurocommunicator system̶Kansei brain-ma-chine-interface̶. Transactions of Japan Society of Kansei
Engineering, 11, 509–518.）
中村美子・工藤泰彦・長谷川良平（2013）．ニューロコ ミュニケーター2.0―カスタムメードのヘッドギアを 用いた実用的 BMIシステム 第36回日本神経科学大 会抄録集，P1-1-245.
（Nakamura, Y., Kudou, Y., & Hasegawa, R. P. （2013）. Neu-rocommunicator 2.0 as a practical BMI system with the cus-tom-made headgear. The 36th Annual Meeting of the Japan
Neuroscience Society Abstract, P1-1-245.）
中山優季・松田千春・小倉朗子・原口道子・望月葉子・ 中村美子・長谷川良平（2013）．重度運動障がい者に おける脳波計測による意思伝達装置「ニューロコミュ ニケーター」を用いた意思伝達の有用性と看護支援に 関する研究 日本難病看護学会誌，17, 187‒204. （Nayakama, Y., Matsuda, C., Ogura, A., Hraguchi, M.,
Mo-chizuki, Y., Nakamura, Y., & Hasegawa, R. P. （2013）. The ussabilit of an electroencephalography-based communica-tion devices “neuro-communicator” and nursing interven-tion for severly neurological or neuromuscular disorders.
Journal of the Japan Intractable Illness Nursing Society, 17,
187–204.） 入戸野 宏（2005）．心理学のための事象関連電位ガイ ドブック 北大路書房 （Nittono, H.） 産業技術総合研究所（2010）．脳波計測による意思伝達 装置「ニューロコミュニケーター」を開発―重度運動 障害者の自立支援に向けて― 産業技術総合研究所 2010年3月29日 〈http://www.aist.go.jp/aist_j/press_release/ pr2010/pr20100329/pr20100329.html〉 （2010年3月29日） Sutton, S., Braren, M., Zubin, J., & John, E. R. （1965）.
Evoked-potential correlates of stimulus uncertainty. Science, 150, 1187–1188.
高井英明・南 哲人・長谷川良平（2011）. P300に基づく 認知型 BMI における効率の良い刺激提示方法の検 討 日本感性工学会論文誌， 10, 89–94.
（Takai, H., Minami, T., & Hasegawa, R. P. （2011）. Efficient methods of presenting visual stimuli for the P300-based cognitive BMI. Transactions of Japan Society of Kansei
Engi-neering, 10, 89–94.）
Wickelgren, I. （2003）. Tapping the mind. Science, 299, 496–499. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller,
G., & Vaughan, T. M. （2002）. Brain–computer interfaces for communication and control. Clinical Neurophysiology, 113, 767–791.
