脳の仕組みを活かしたイノベーション創成型研究開発
（
高精度脳情報センシング技術・脳情報伝送技術、実時間脳情報抽出・解読技術及び脳情報解読に
基づく生活支援機器制御技術）
Novel and innovative R&D making use of brain structures;
high-precision brain information sensing technology and brain information transmission
technology, real-time brain information extraction and decoding technology, and life-assisting
device control technology based on brain information decoding
研究代表者
石井 信 株式会社国際電気通信基礎技術研究所
Shin Ishii Advanced Telecommunications Research Institute International 研究分担者
依田 育生† 牛場 潤一†† 井上 芳浩††† 石井 正義††††
Ikuo Yoda† Junichi Ushiba†† Yoshihiro Inoue††† Masayoshi Ishii††††
†日本電信電話株式会社 ††慶應義塾大学 †††株式会社島津製作所 ††††積水ハウス株式会社 †NTT Corporation ††Keio University †††Shimadzu Corporation ††††Sekisui House, Ltd.
研究期間 平成23 年度～平成 26年度 概要 高齢者・障がい者自立社会（「自立した生活を過ごせる」）の実現に役立つ科学・技術を開発し、「心身ともに健やかで 長寿を迎えたい」という人類共通の願いを実現するため、「念じるだけで動く」生活・介護支援ロボット(ライフサポート 型ロボット)及びコミュニケーション支援機器への応用を念頭に、簡単な動作や方向、感情等を機器に伝えることを日常 的に可能とする技術について基本技術を確立した。 １．まえがき 従来のブレインマシンインターフェース（BMI）の適用 範囲を自宅や診療所等、日常的な生活環境に拡張し、日常 的に装着できる小型・軽量な計測装置により計測したデー タを短時間にネットワークを通じて分析装置へ伝送して データを解読することで、要介護者等の日常的な動作やコ ミュニケーションの支援を可能とする BMI（ネットワー ク型 BMI）を実現した。この技術により、増加の一途を たどる要介護者等が自立した生活を過ごせるようになり、 自由な社会活動への参画を容易にすることができれば、こ れらの方々のQOL の大幅な向上に寄与し、我が国全体の 社会経済の活性化が期待できる。同時に、介護者の負担を 軽減する技術として、介護離職者を減少させるなど実用化 による社会的な効果も極めて大きい。この技術の実現のた めに複数の要素技術の開発を行った。次章では各要素技術 に関する研究開発内容及び成果について述べる。 ２．研究開発内容及び成果 ネットワーク型BMI の概要を図 1 に示す。本研究課題 ではまず実験環境として脳情報と環境情報を同時に取得 することが可能な実環境実験設備(BMI ハウス)を構築し た。利用者の脳情報は携帯型脳活動計測装置により測定さ れ、その情報はネットワーク基盤技術により転送される。 その後、脳情報は大規模脳活動データベースを利用した脳 情報解析技術によって解析され、車椅子や家電の制御等に 利用される。各研究項目の詳細を以下に述べる。 ２．１ 高精度脳情報センシング技術・脳情報伝送技術に 関する研究開発 ア）携帯型装置による脳情報の非侵襲・高精度・継続的計 測技術 大規模脳活動 データベース 日常的・継続的に使用可能な脳活動計測装置 利用者の利用形態・状況に応じる ネットワークプラットフォーム 自然な脳活動を解析し利用者の運動意図・情動状態(不快 感など)を解読、BMIハウス内で家電や環境(TV、照明など) の操作を可能に 本 課 題 で は 、 実 環 境 で 高 精 度 に 脳 波 （Electroencephalogram; EEG）を計測するための準乾 式電極と乾式電極を開発した。具体的には、準乾式電極は 毛髪の掻き分けと皮膚表面の研磨を同時に実現するブラ シ構造とし、分極電圧が低い銀塩化銀電極によってこれを 構成した。4 時間以上におよぶ長期安定性を担保するため に、高分子ポリマーで水分子を含有したジェルシートを電 極盤面に用いた。一方、乾式電極については、毛髪の配向 特性に基づいて３枚の平行板をバネ支持したブレード構 造として構成した。頭部への適切な保持下では4 時間以上 の連続記録が可能であることを実験的に確認した。以上に より、頭部の変動が多く、連続計測時間の長い実験では準 乾式電極を用い、頭部変動が少なく、実験準備を短くする ニーズがある実験の場合には乾式電極を用いる等、用途に 応じて電極選択ができる環境が整備された。また、一連の 開発工程において新規に開発した脳波測定機器の評価バ ッテリは、本課題における標準化シーズとした（共焦点レ 図 1 ネットワーク型 BMI の概要
ーザ顕微鏡による頭皮性状評価、皮膚電極間インピーダン ス計測、皮膚電極間電気的等価回路の同定、臨床脳波検査 プロトコルに準拠して同時計測された脳波とのコヒーレ ンス解析、閉眼アルファ波増強と運動関連ベータ波増強を 用いた実測脳波品質解析）。 また携帯型脳計測装置、外部脳活動計測制御装置と外部 脳活動データ観測装置とから構成するネットワーク型 BMI 用携帯型脳計測装置を開発した。携帯型脳活動計測 装置において、脳活動データを日常的に取得する技術とし て、NIRS と EEG による脳活動の同時計測を継続的に 可能とするNIRS-EEG プローブと NIRS-EEG ユニット を開発した。NIRS-EEG プローブでは、8 チャンネルの NIRS プローブおよび 10 チャンネルの EEG 電極を配置 し、簡便な装着と個人差に応じた調整を可能とした。 NIRS-EEG ユニットは、電動車椅子実験に対応した車椅 子搭載型、複数台での同時計測実験に対応した携行移動可 能なボディバック型など、実験形態に合わせて改良した。 最終的には携行移動使用と車椅子搭載使用の両方に対応 可能なバッグパック型とした。取得データ伝送機能につい ては、主にスマートフォンや無線通信を行う家電で使用さ れている 2.4GHz 帯域との電波干渉の影響を避けるため に、5GHz 帯域の無線 LAN 方式を使用することとして、 複数台同時（4 台）に長時間（3 時間以上、のべ 24 時間） の安定した計測を実現した。外部脳活動計測制御装置では、 複数台の携帯型脳活動計測装置のパラメータ設定、キャリ ブレーションおよび計測などを同時に制御可能とした。外 部脳活動データ観測装置では、複数台の携帯型脳活動計測 装置の計測データ、データの管理状況およびデータの処理 状況などを同時に観測可能とした。 イ）脳情報・実環境情報統合に関するネットワーク技術 本課題は、脳活動データ及び環境情報を効率的に通信し、 複数人・長時間の脳活動データと環境情報をともに蓄積し、 移動支援・家電操作においては1 秒未満、感情・情動伝達 においては2～3 秒以下の遅延でサービス要求に応じた出 力を返すことを可能とするネットワーク技術を確立する ことであった。また、その技術を実装するクライアントサ ーバ方式のネットワークシステムを試作して実現性を実 証することを目標として研究開発を進めてきた。 まず、脳活動データ及び実環境情報の分散管理・処理基 盤アーキテクチャの基本検討、および、低遅延解読処理の ための検索技術の検討を進めるため、データと処理を同等 に扱うソフトウェアコンポーネント（以下、エージェント） を用いたモデリング手法を採用した。エージェントモデル に基づき、脳活動データの分散管理手法と脳活動解読の分 散処理手法と実環境情報の分散管理手法を検討し、実空間 を人、機器、空間の３種類のエージェントに分けて表現す るモデルを拡張した新規モデルに基づく、基本アーキテク チャ（アーキテクチャ１版）を設計した。そのアーキテク チャに基づいた評価環境を試作・構築して基本設計の妥当 性や手法間の比較評価を実施した。次に、構築した比較検 証環境を用いて特性評価を実施し、その評価結果に基づい て改良したアーキテクチャ（アーキテクチャ２版）に基づ く、脳活動データと実環境情報の分散処理基盤を構築した。 さらに、この基盤を用いて実証システムを構築し、「分散 処理基盤を用いたスマートハウス内機器制御における低 遅延性の実証」を実施し、中間目標である「個別ユーザに 対し、平成24 年度までのスマートハウス内計測条件にお いて、EEG 信号に対し、1 秒未満でアクチュエータ出力 すること」を達成していることを確認した。 続いて、実証結果に基づいた分散管理・処理基盤の改 良・検討を進め、大規模脳活動DB を活用したアーキテク チャとしての修正、および、複数ユーザで活用することを 考慮した改良を行った（アーキテクチャ３版）。また、脳 情報解読の応用例となる感情・情動コミュニケーション支 援サービスの分散処理基盤上での実現方法の検討を進め、 住環境における同サービスの応用例に基づいた透過的分 散管理・処理基盤アーキテクチャのさらなる改良の検討を 行った（アーキテクチャ４版）。以上によるアーキテクチ ャの実装である分散管理・処理基盤を用いて、複数ユーザ による機器制御における分散処理基盤の低遅延・拡張性の 実証を行った。具体的には、家電や移動支援機器などの実 機制御のための実証システムを実現し、最終目標である 「数ユーザによるBMI 制御を各ユーザ 1 秒未満の遅延時 間」で処理できることを確認した。また、拡張性について、 数十人規模の脳活動計測データが同等の時間で処理でき ることを実証した。さらに、感情・情動コミュニケーショ ン支援手法の検証として、住環境における脳情報を利用し た感情・情動コミュニケーション支援サービスの実証シス テムを構築し、最終目標である「感情・情動コミュニケー ション支援サービスに対して2～3 秒の遅延」で処理でき ることを確認した。 ２．２ 実時間脳情報抽出・解読技術に関する研究開発 ア）日常生活時のタグ付き脳活動データベース 日常生活計測制御環境のためのプラットフォーム構築 カメラ、マイク、赤外線センサなど、人の位置、人の状 態及び室内環境を計測するセンサと、センサの計測データ をデータ処理用計算機にネットワーク接続するための伝 送技術を実環境実験設備（BMI ハウス）に実装した。ま た、住空間内で生活・介護を支援するアクチュエータとし て、遠隔操作可能な住宅設備、家電などを設計し、実環境 実験設備に実装した。また、それらは制御システムにより 外部制御できるものとした。脳情報に他の生体情報・環境 情報を合わせることで実現される、最適な環境制御機能、 アクチュエータ操作制御機能に関して評価検証を行い、ネ ットワーク型BMI を利用した生活にふさわしい住空間の 実用化について可能性を検証した。また、脳活動・生体デ ータに基づくことで空調や照明などの室内環境を調整す る睡眠サポートシステムの評価を進め、その実用化の可能 性を確認した。さらに、一般の生活環境における脳情報を 利用した感情・情動コミュニケーション支援サービスにつ いて、それを用いる生活サポートシステムの試作を行い、 有用性を検証した。 日常生活計測制御環境の整備 本課題の後半に実施する長時間日常生活実験を考慮し て、カメラ、マイク、赤外線センサなどにより、人の位置、 人の状態及び室内環境を計測するセンサの配置を決定し、 各種生活機器などアクチュエータの仕様を策定した。実環 境実験設備の構築を完了し、実機デモンストレーション等 を通じて動作確認を行った。 リファレンス脳活動データベースの構築 本課題では、基本計画における「タグ付き脳活動データ ベース」のうち、BMI アルゴリズム構築に資する多人数・ 短時間（100 人程度・1 時間程度）のものをリファレンス 脳活動データベースと称する。平成25 年度に、自然な脳 活動によるBMI 解読技術の確立を目指して、62 名の実験 参加者の参加を得て、空間注意課題を用いた複数計測モー ド（fMRI などの大型脳計測器、および EEG-NIRS など の携帯型脳計測装置）からなるリファレンス脳活動データ
ベースを構築した。平成26 年度に感情・情動コミュニケ ーション支援に利用可能なBMI 解読技術の確立のため、 快・不快の感情を惹起する画像を提示する課題を用いて、 複数計測モード（fMRI、EEG、行動実験、心理指標など） からなるリファレンス脳活動データベースを構築した。後 者については、パイロット実験の参加者やEEG と fMRI いずれかの測定ができなかった実験参加者を除外するこ とで、最終的に、EEG と fMRI の両方が揃ったものとし て、50 名以上のデータが取得できた。平成 25 年度分と合 わせて大型脳計測器、携帯型脳計測装置の両方にわたる多 人数（100 名以上）・短時間のリファレンス脳活動データ ベースを構築した。 タグ付きブレインログデータベースの構築 本課題では、基本計画における「タグ付き脳活動データ ベース」のうち、日常生活時の複数人・長時間（のべ 24 時間以上）のものをタグ付きブレインログデータベースと 称する。平成25 年度に、初期型の携帯型脳活動計測装置 2 台を用いて、2 名の実験参加者が実環境実験設備におい てのべ26.5 時間にわたる生活を行っている際の脳活動計 測、生体計測及び室内環境計測を行い、それらを統合し、 行動ラベルなど付加情報を加えることでタグ付きブレイ ンログデータベースを構築した。平成26 年度に 2.1 のア） の研究開発により、EEG のチャンネル数増加、計測装置 本体ハードウェアの改良、無線通信システムの改良などを 行った改良型の携帯型脳活動計測装置を開発し、初期型も 加えて最大で4 台が利用可能となった。それらを用いて、 3 人の実験参加者による様々な日常生活行動やシーンを 盛り込んだ5 日間の長時間計測実験を実施し、脳活動計測、 生体計測及び室内環境計測の統合と、それに行動ラベルな ど付加情報を加えた、合計30 時間以上のタグ付きブレイ ンログデータベースを構築した。 長時間計測実験データに対して、人手による行動ラベル 付けを効率化するため、多数の環境カメラ映像の中から、 実験参加者が動作をしている部分を自動的に抜き出す機 能を実装したラベリング支援ツールを開発した。また、今 後さらなる長時間計測実験データが取得された際に必要 となる（半）自動の行動ラベリング技術の研究を進め、ジ ェスチャセンサ（Kinect）のスケルトン情報、環境カメラ の映像、ウェアラブルモーションセンサ情報、頭部につけ た一人称カメラの映像など、異なるセンサ情報を用いた複 数の行動認識システムを開発し、その性能を評価した。 イ）日常生活時計測データからの脳情報解読技術 データ駆動アーチファクト除去法の研究開発 実環境実験設備（BMI ハウス）が稼働するまでの間に、 大規模脳活動測定装置である MEG とモーションキャプ チャーを用いて、「ペットボトルのキャップをあける」、「マ ウスをクリックする」など10 種類の一般的な手指運動時 の脳活動・行動の同時計測データを取得し、これをテスト ベッドとして眼電およびセンサ一位置ずれアーチファク トの除去法を開発するとともに、ベイズ正準相関分析によ る運動再構成法などを通じ実環境BMI の評価を行った。 大型脳計測器である MEG のデータを脳内電流源から の信号と、眼球運動を含む複数のアーチファクト源からの 成分に分離するためのベイズ統計手法（拡張ダイポール 法）を完成させ、MEG の生成過程を模したモデルから作 成した人工MEG データによりその特性を評価した。さら に、固視点を注視したまま、動き続ける指標を心の中で追 従する課題を実行中の MEG の実データでその性能を確 認した。このアーチファクト除去法を、実験室で取得した 空間注意課題時のEEG-NIRS 計測データに適用して脳情 報解読性能を評価し、実環境で用いることの可能なEEG データへの適用可能性を確認した。 実環境実験設備において 9 種類の日常動作を繰り返し ているときの脳活動を携帯型脳計測装置で長期間にわた り取得したデータを解析することで、多様な実環境ノイ ズ・アーチファクトのカタログ化を行った。EEG のアー チファクトカタログを利用したデータ駆動型アーチファ クトアーチファクト除去法（DAD 法）を開発し、統計的 外れ値検出にもとづく標準的な方法と比較して、アーチフ ァクトが含まれる試行が支配的でない状況では標準法よ りも良好な性質を有することを確認した。 NIRS 計測には脳活動である皮質血流だけでなく、頭皮 血流が大きく影響する。この頭皮血流アーチファクトを除 去することを目的として、拡散トモグラフィ法（DOT） の研究開発を行った。具体的には、頭皮血流と皮質血流の 空間パターンの違いをモデル化した「変分ベイズ拡散トモ グラフィアルゴリズム」により、頭皮血流・皮質血流を正 確に3 次元再構成できることを示した。しかし、本手法の 評価過程において、皮質血流（脳活動）成分を過剰に推定 し、頭皮血流（アーチファクト）成分の中に皮質血流の逆 転した形の波形が混入するという頭皮血流補償の問題が 起こりうることがわかった。この問題はベイズモデルにお いて観測ノイズを大きめに見積もることにより解消でき ることを発見し、その知見に基づき、皮質・頭皮血流成分 の頑健な分解が可能なDOT 法の開発に成功した。 データ駆動ブレインデコード法の研究開発 脳情報の符号化・復号化の標準化を考慮した研究開発を 進めるため、脳波からの脳情報解読法において標準的に用 いられているCommon Spatial Pattern (CSP) をベース とし、実環境に適用できるようにさらにロバスト化した特 徴量抽出法の研究開発を進め、一方で、マルチメディア検 索における標準技術を参考にしてデータ駆動型脳情報解 読アルゴリズムの設計を行った。平成24 年度には、実環 境実験設備における運動想像 EEG-BMI 実験データから 作成したリファレンス脳活動データベースを利用してデ ータ駆動脳情報解読器のプロトタイプを試作し、車椅子お よび家電のBMI 制御実験を実施した（平成 26 年 11 月 1 日の報道発表）。実環境実験設備において、車椅子生活を 想定した実験参加者（2 名）が、1 秒未満の解読遅延時間 （最初の脳情報特徴量が送信されてから機器が制御信号 を受信するまで）で、移動支援機器や家電機器をBMI で 操作可能であり、このときの平均正解率が77.7%となるこ とを確認した。システム遅延時間（往復通信時間と解読時 間の合計）が1 秒未満になるようにと条件設定した場合、 上記2 名にさらに 2 名を加えた 4 名の実験参加者に対す る平均正解率は82.7%となり、目標である 80%以上の正 答率を達成した。平成26 年度には、複数人対応化したネ ットワーク型BMI の動作確認を行い、開発を完了した。 実環境実験設備内で 2 名の実験参加者がそれぞれ異なる 携帯型脳波計を装着し、運動想像BMI による生活支援機 器を繰り返し行う実証評価を実施し、両方の実験参加者が 1 秒未満の遅延時間を達成した。さらに、このネットワー ク型BMI システムに基づく複数台の移動支援機器の移動 制御の実証実験を、診療所（「サンセール香里園」デイケ アセンター部分）において実施した。これにより、ネット ワーク型BMI と安全・安心自律移動支援技術を統合した 本課題の最終的な統合イメージを、利用シーンとして示す ことができた。 平成25 年度に取得したタグ付ブレインログデータベー
スを解析することにより、動きに伴う動作意図などの自然 な脳活動中が NIRS の単一回の計測信号で識別可能であ ることを発見したので、NIRS 計測に基づく動作識別型の 新しいBMI を開発した。この成果は、平成 26 年 12 月 4 日の報道発表の一部として、公開デモンストレーションし た。平成24 年 11 月 1 日に実証実験を行った BMI システ ムのように、運動想像や暗算など「強く念じる」必要がな く、識別するクラスが2 つから 3 つに増えたにも係わら ず正答率が70%から 84%に向上した。 上記で開発したさまざまなネットワーク型BMI システ ムは移動支援機器や家電が動作することにより利用者が フィードバックを得るため、長時間使用による訓練効果も 考えられる。さらに、利用者の脳活動はさまざまな要因に よ っ て 非 定 常 に 変 動 す る 。 こ れ ら に 対 処 す る た め 、 max-min CSP や beta-divergence CSP などのロバストな 特徴量抽出法を考案し、また、行動・情動ラベルのない長 時間データから脳活動状態のセグメンテーション（クラス タ分類）をすることができるLatent Coactivity Mixture Model (LCMM) という新しい特徴量抽出法を開発した。 感情・情動コミュニケーション支援の研究 日常生活において重要な、緊張とリラックスの2 つの情 動状態を区別することを目指し、「緊張条件」（緊張を誘導 する音楽を聴きながら不安や緊張を感じた出来事を想像 する）と「リラックス条件」（リラックスを誘導する音楽 を聴きながらリラックスした状況を想像する）において EEG 計測を実施した。このデータを用いて 2 条件の判別 性能を評価したところ、3 人の実験参加者のうち 2 人が 70%以上の正解率を達成したことを確認した。さらに、こ の緊張とリラックスを識別する脳情報解読器を利用して、 「不安・緊張の情動状態」をボールランプの色としてアク チュエート（可視化）するネットワーク型BMI システム を構築し、要介護者の情動状態を介助者等に伝えるツール として、報道発表(平成 26 年 12 月 4 日）の一部に組み込 むことで利用シーンを示した。加えて、オンライン利用時 の遅延時間が平均0.46 秒、携帯型脳計測装置による測定 時間まで含めた総遅延時間も2.0～2.7 秒に抑えられるこ とを確認した。 ネットワーク型BMI による実空間アクチュエータ制御の 研究 上肢の不自由な要介護者の支援を目的として、身体装着 型運動支援アクチュエータを開発した。さらに、脳情報解 読よる実環境実験設備での日常動作の支援を可能にする ために、身体装着型運動支援アクチュエータと実環境実験 設備内住設機器との連携の実装と、脳情報・筋電情報・関 節角情報との統合を完了した。さらに、身体装着型運動支 援アクチュエータのユースケースとして、移動してコップ をとり、コップを保持して移動し、コップを蛇口にさし出 して水を汲み、水を飲むためにコップを顔に近づけるとい う一連の動作支援デモンストレーションをシステム構築 し、平成26 年 12 月 4 日の報道発表の一部として公開し た。 安静時脳活動を利用した利用者間の転移学習 BMI に用いられる EEG などの信号は実験参加者間で 差があり、また、日間・日中で無視できない変動があるこ とが知られている。このため、従来は同じ実験参加者であ っても毎回キャリブレーションのためのBMI 訓練データ を取得する必要があり、BMI 実用化の大きな阻害要因と なっていた。これに対処するために、辞書学習に実験参加 者間やセッション間の差異を吸収する変換項を加えた新 しいデータ駆動型の脳情報表現法を提案し、それにより、 新規利用者に対してBMI 課題を用いたキャリブレーショ ンデータを集めなくても、安静時脳活動を使うだけでリフ ァレンス脳活動データベースに登録された他人の脳活動 データを有効活用することで解読を可能とする、データ駆 動型ブレインデコード法を開発した。さらに、新たに開発 された安静時脳活動を使って他人のデータを活用する転 移学習法の神経科学的基礎を研究するため、大型脳計測器 を用いた安静時機能的結合に関する研究を実施した。 複数人コミュニケーションの神経基盤の研究 実環境におけるコミュニケーション支援BMI を構築す る際に必要となるコミュニケーション時の神経基盤に関 する研究を行うため、2 台の fMRI の同時計測に基づく、 2 名の実験参加者が観察学習課題を行っている時の神経 基盤に関する研究を実施した。 ２．３ 脳情報解読に基づく生活支援機器制御技術に関す る研究開発 ア）移動支援機器の自律的な安全技術 移動支援機器の自律移動機能の実現 屋内の見通しのよい通路等で、移動支援機器単体のセン シング機能だけを利用して、介助者の助けを借りることな く、３種類（車輪移動型車椅子、全方向移動型車椅子、自 律移動型ベッド）の移動支援機器が衝突等を回避し安全に 移動することを実現した。 具体的には、平成23 年度は、移動支援機器として電動 車椅子および電動移動型ベッドを対象として、センサや PC とのインタフェースを取り付け、障害物検知・回避、 自己位置同定、移動制御、緊急停止、安全停止の機能を持 つ基本動作制御ソフトウェアと障害物回避ソフトウェア を開発、実装し、移動支援機器の動作実験によって、見通 しのよい環境での衝突回避ができることを確認した。平成 24 年度は、センサで感知できない危険地帯への進入回避 機能を実現した。危険地帯を記載できるグリッドマップを 構築すると共に、地図情報を編集するソフトウェアを実装 した。グリッドマップを利用した危険地帯回避アルゴリズ ムを提案して、移動支援機器に実装し、危険地帯が回避さ れることを確認した。平成25 年度は、コマンド入力の遅 延（移動支援機器の搭乗者の脳活動が計測・伝送された後、 移動支援機器にコマンド入力が戻ってくるまでの時間）が 500 ミリ秒であっても、安全に移動できる移動経路を生成 する機能を提案し、移動支援機器に実装し、指令遅延に応 じて生成される経路が、衝突等の危険がない安全な経路と なることを確認した。平成26 年度は、平成 23 年度から 平成25 年度までに開発したシステムを統合し、屋内の見 通しのよい通路において、移動支援機器単体のセンシング 機能だけを利用して、介助者等の助けを借りることなく、 移動支援機器が衝突などを回避し安全に移動する機能を 実現した。３種類の移動支援機器（車輪移動型車椅子、全 方向移動型車椅子、自律移動型ベッド）を利用した場合、 かつ他の人とのすれ違いがない状況で、BMI および生体 情報を用いることで、利用者が目的地に到達できることを 確認した。 安心な移動のための移動支援機器および制御方式 移動支援機器を上記の「移動支援機器の自律移動機能の 実現」での自律移動機能によって移動させる際に、移動支 援機器の移動速度、壁からの距離、移動支援機器の搭乗者 の視野（通路方向に沿って進んでいる、壁に向かっていな いか等）を考慮することにより、数十人規模の実験参加者 による実験において、70%以上の参加者が利用時の恐怖を 感じない制御方式を実現した。
具体的には、平成23 年度は、移動支援機器の利用者が 安心かつ快適に感じる移動に関して、健常者を対象とした 実験を通じて調査し、安心かつ快適に感じる移動状況とし て、3 つの検討項目（１．次の場面の予想ができて安心・ 危険、２．次の場面の予想ができなくて不安、乗り心地の 善し悪し）があげられることを明らかにした。平成24 年 度は、移動支援機器搭乗者の安心感と移動時のパラメータ （速度と壁からの距離）の関係を定量化する実験を実施し、 その結果から搭乗者の安心を考慮した移動経路計画アル ゴリズムのプロトタイプを実装した。最短経路移動計画ア ルゴリズムとの比較実験を行い、29 名中 26 名の実験参加 者が、搭乗者の安心を考慮した移動経路計画アルゴリズム の方がより安心感を得たと回答した。平成25 年度は、搭 乗者の見え方の差異に応じた安心感の変化をモデル化す るために、移動支援機器の移動方向に対する搭乗者の見通 しの良さを環境形状の3 次元地図を用いて定量化し、利用 者の視野を考慮した指標(Visibility Index)を導入し、この 指標を考慮しつつ移動軌跡長を最小化する移動経路計画 アルゴリズムを提案した。平成26 年度は、見通しのよい 通路における物体までの距離や速度の安心感地図による 評価指標と、曲がり角などにおける見通しの良し悪しの評 価指標を統合し、経路計画に導入する手法を提案した。提 案した手法によって生成される経路を実験参加者30 名が 体験したところ、恐怖を感じなかった人は 22 名となり、 73%の人が恐怖を感じないことが確認できた。これによっ て、最終目標である 70%以上の利用者が恐怖を感じない ことを達成した。 イ）環境センサと連携した移動支援機器安全制御技術 移動物体の属性認識・衝突予測技術 診療所内の曲がり角や、やや混雑した屋内環境で、移動 支援機器の周囲数m の範囲（移動支援機器単体のセンシ ング機能では見えない領域も含む）を移動する人々や他の 移動支援機器等の位置計測と属性（人、車椅子、歩行補助 器、カート）を認識する手法を提案、実装し、実験可能な 実際の診療所において 81%以上、平均で 90.2%の精度で 属性認識が可能であることを示した。 具体的には、平成23 年度は、環境センサにより移動物 体の属性認識を可能とするための技術として、レーザ式距 離センサおよび3 次元距離センサによって、人、車椅子、 歩行補助器、カートの4 種類の属性を認識する手法を開発 した。実験可能な実際の診療所「サンセール香里園」にて、 環境センサの設置、計測実験を行い、属性認識手法の有効 性を示した。平成24 年度は、平成 23 年度に選定した 4 種類の属性に対して、診療所で計測・蓄積した3 次元距離 センサのデータを用いて、形状に基づき属性を認識する手 法を開発した。計測の高さと対象の位置に注目した特徴量 を用いることにより、見通しの良い環境で、全ての属性に 対して88%以上の精度での認識を実現した。平成 25 年度 は、これまでと同じ4 種類の属性に対して、3 次元距離セ ンサのデータを用いて、形状に基づき属性を認識する手法 を改良し、見通しの悪い場所、複数の移動機器が同時に存 在し、互いに遮蔽がある場合にも対応可能なシステムとし た。さらに、自律移動している移動支援機器についても自 己位置情報から認識できることを示した。実験結果から、 見通しの悪い場所であり、複数の移動機器が同時に存在し、 互いに遮蔽がある場合においても、4 種類の全ての属性に 対して81%以上、平均で 90.2%の精度での認識を実現し た。 移動・すれ違いモデルによる衝突回避技術 診療所内の曲がり角や、やや混雑した屋内環境で、移動 支援機器の周囲数m の範囲（移動支援機器単体のセンシ ング機能では見えない領域も含む）を移動する人々や他の 移動支援機器等の属性（人、車椅子、歩行補助器、カート） の認識結果を利用し、3 台の移動支援機器のセンシング機 能と10 台以上の環境センサのセンシング機能を併用する ことで、数秒後のこれらの位置を予測し、移動支援機器の 加減速、停止等を制御することで衝突や階段等の危険地帯 への進入等を回避する安全制御技術を開発した。 具体的には、平成23 年度は、上記「移動物体の属性認 識・衝突予測技術」においてレーザ式距離センサを用いて 計測した移動対象の軌跡に基づいて、それぞれの属性の物 理的な機構の違いに基づく移動・すれ違いモデルを構築し た。診療所（サンセール香里園）での計測実験に基づき、 移動モデルのパラメータである最大回転角速度を属性ご とに推定することにより、実際の環境に即した移動モデル の構築を行った。平成24 年度は、移動支援機器に対する 移動・すれ違いに関して、移動時に社会的に働く避ける力 をモデル化し、移動・すれ違いモデルを拡張した。移動支 援機器とすれ違って移動する対象を計測した移動軌跡に 基づき、移動支援機器に対して社会的に働く避ける力を測 定し、上記の移動・すれ違いモデルのパラメータを推定し た。この移動・すれ違いモデルを用いることにより、移動 対象の将来の位置を予測する手法を開発した。診療所内の 見通しの良い環境で、歩行者、車椅子、歩行器、カートの 4 種類の移動対象が電動車椅子とすれ違う際の移動・すれ 違い行動を予測し、速度や進路を変更するなどにより、移 動支援機器の周囲5m 以内に人が 2 名程度滞在するとい う見通しの良い状況での衝突予防を達成した。平成25 年 度は、環境センサのセンシング機能に基づいて計測範囲内 の移動対象の位置を求め、移動支援機器のセンシング機能 を用いて移動支援機器の位置を求め、移動・すれ違いモデ ルを用いることにより移動対象の将来位置を予測する手 法を開発した。高齢者施設の見通しの悪い環境で、歩行者、 車椅子、歩行器、カートの4 種類の移動対象が電動車椅子 とすれ違う際の移動・すれ違い行動を予測し、速度や進路 を変更することにより、移動支援機器の周囲5m 以内に人 が5 名程度滞在する状況での衝突予防を達成し、安全な移 動制御を実現した。平成26 年度は、環境に複数台の移動 支援機器が存在する時、これらの機器が互いに進路を譲り 合うことで、衝突を避け、効率的に移動できるようにする 技術を確立した。さらに、これまでに開発してきた属性認 識技術、位置推定技術、移動予測技術を統合し、移動支援 機器同士が適宜通信して、その進路情報を交換することに より、適切に進路を譲り合ってすれ違える移動支援機器制 御システムを構築した。このシステムを用いて、サンセー ル香里園内の曲がり角など、やや混雑した環境で、3 台の 移動支援機器（電動車椅子 2 台、電動移動型ベッド 1 台） と10 台以上の環境センサ（レーザ距離センサ 4 台、距 離画像センサ 6 台）が同時に稼働する場合において、移 動支援機器の加減速・停止などを適宜制御することで、移 動する人々や他の移動支援機器との衝突回避が可能であ ることを実証した。 遠隔監視・操作による移動支援機器安全制御技術 上記の「移動物体の属性認識・衝突予測技術」および「移 動・すれ違いモデルによる衝突回避技術」で設定した環境 において、移動支援機器の利用者が他者による機器操作を 希望する状況（利用者の意図したとおりに動作しない場 合）等において、遠隔監視・操作により、現地での確認と 同等程度の安全性を維持しながら制御可能にした。
具体的には、平成24 年度は、移動支援機器である電動 車椅子を対象として、移動支援機器の状況、および移動支 援機器の周囲の状況を遠隔監視センターに送信し、オペレ ータが必要に応じて移動支援機器を遠隔操作するための 基本システムを構築した。平成25 年度は、移動支援機器 の異常状態の検出、および利用者が遠隔からの機器操作を 希望しているかどうかにつき機器操作希望状況の発生か ら10 秒以内の検出、また、通路の途中で立ち往生した場 合等、移動支援機器の異常状態からの遠隔操作による救出 を実現した。平成26 年度は、実現した遠隔監視・操作技 術の有効性を検証するために、サンセール香里園の1 階に おいて、通常の無線LAN 環境下で、同時に 3 台の移動支 援機器がBMI からの入力により制御されている状況で、 これらの移動支援機器を遠隔監視、また必要に応じて遠隔 操作し、いずれも安全に制御できることを確認した。遠隔 監視・操作を用いることで、現地での確認と同等程度の安 全性を維持しながら、制御できるものとした。 ３．今後の研究開発成果の展開及び波及効果創出へ の取り組み ３．１ データベース公開 平成25 年度構築したタグ付きブレインログデータベー スと空間注意課題を用いたリファレンス脳活動データベ ースの先行公開を目指して、データの整理や公開先として 考えているBrainliner の HDF 形式への変換などの準備を 進めている。また、倫理ガイドライン策定の有識者会議に おいて、データ公開におけるプライバシー保護の問題、実 験参加者への同意の取り方、公開サイトの運営に関する問 題、利用制限や利用者への同意の取り方など多面的な議論 を得て、ガイドラインを順守した公開手段の最終検討を行 っている。部分公開後、想定していなかった問題が起こら ないかを一定期間観察した上で、さらに公開範囲を広げる 予定である。 ３．２ 研究開発成果を発展させる後継プロジェクト ImPACT プログラム「脳情報産業の創出による活力溢 れる生活の実現」（PM:山川義徳）の革新的脳情報利活用 技術の開発のうち、実空間において心の状態を左右する脳 深部の活動を推測する携帯型ブレインマシンインタフェ ース（BMI）の開発チームに、本課題に参加していた研究 グループが加わっている。このグループは本課題で開発さ れた「実環境において利用者の情動状態を読み出し、フィ ードバック情報を様々な形で呈示するEEG-BMI」技術を さらに高度化することで、実環境におけるEEG-NIRS 計 測により、fMRI に匹敵する情動状態の解析及びリアルタ イムの可視化と、それに基づく簡易な機器制御を通じて、 産業競争力強化を可能にする人材育成サービスの実現、例 えば、ストレス脳状態の可視化とそれに基づくマネジメン トによる人的資源の有効活用や、共感脳状態の可視化によ るコミュニケーション能力と共同作業パフォーマンスの 向上などの実現を目指している。 ３．３ 脳情報通信の応用・実用化にあたっての社会調査 倫理・安全指針に関する調査研究 本課題における研究開発、および、将来の社会応用への すみやかな展開に必要な倫理・安全ガイドラインの構築を 目指し、まず平成23 年度に、北米および国内の神経倫理 の研究者を中心とした有識者にインタビューするととも に、生命倫理や医療・介護分野において既に定められてい る研究者・研究機関が遵守すべきガイドライン、研究に使 用する情報システムのプライバシーやセキュリティに関 するガイドラインについて情報を収集した。インタビュー 及び調査の結果を元に、倫理・安全ガイドラインの策定に 向けて方針を検討する有識者会議を開催した。続く平成 24 年度には、本項目で目標としている倫理・安全ガイド ラインの策定において、BMI に関わる脳神経倫理、情報 セキュリティ、プライバシーなどを重点課題とし、基礎研 究実施のためのガイドライン骨子案について有識者会議 において議論した。情報セキュリティやプライバシーなど に関する有識者会議の提言を中間報告としてまとめた。ま た、アウトリーチ活動の一環として、平成25 年 3 月 14 日に電子情報通信学会 MBE とバイオサイバネティク ス・ニューロコンピューティング研究会において「BMI と倫理」シンポジウムを開催した。平成25 年度には、上 記重点課題についてのこれまでの議論を踏まえて、ネット ワーク型BMI の基礎研究に関する倫理・安全ガイドライ ン案を策定し、それを有識者会議において集中的に議論し た。有識者会議は、ガイドライン案が具体化する平成 25 年度からメンバーを倍増し、より多面的な視点での検討を 行い、次年度における最終版策定に向けたドラフト案の策 定を達成した。また、アウトリーチ活動の一環として、平 成26 年 3 月 6 日に電子情報通信学会情報論的学習理論と 機械学習研究会において「NW-BMI 技術の社会実装と脳 情報データベースの活用に向けて」と題したシンポジウム を開催した。平成26 年度は前年度に策定したネットワー ク型BMI の基礎研究に関するガイドライン案をもとに、 有識者会議においてさらに詳細な議論と確認を行い、BMI 研究の倫理ガイドラインの最終版である「ネットワーク型 BMI の基礎研究に関する倫理指針」の策定を完了した。 また、研究者へのアウトリーチとして平成26 年 9 月 10 日に日本神経科学大会においてサテライトシンポジウム 「脳情報の産業応用に向けた動向と社会基盤整備」を開催 した。 技術および標準化に関する調査研究 本課題で開発するネットワーク型BMI の関連技術の標 準化を目指して、まず平成23 年度にネットワーク型 BMI の要素技術に関連する標準化団体の調査を実施するとと もに、課題参画機関への研究・開発方針などに関するヒア リングを実施し、標準化の対象となり得る技術領域・項目 を検討した。続く平成24 年度は、課題の研究開発状況お よび標準化に向けた意向と課題を参画機関へのヒアリン グを通じて取りまとめ、具体的な標準化項目の候補を整理 した。さらに、標準化への方向性を検討するためには、脳 情報の活用手法の探索とユースケースの明確化が必要で あるとの認識から、ニューロインフォマティクス領域の外 部有識者に対するヒアリングを実施した。また、脳情報活 用に関連する標準化団体の取り組み状況を調査し取りま とめた。以上の調査結果をもとに標準化ロードマップ案を 作成した。平成25 年度は、前年度作成した標準化ロード マップ案をもとに、具体的な標準化活動の進め方を明らか にするため、まず「脳情報DB 領域」「通信・BMI 制御領 域」「計測機器」の３領域について文献調査および有識者 へのヒアリング調査を実施した。この調査結果を踏まえ、 ネットワーク型BMI の具体的な標準化活動を取りまとめ た。平成26 年度は、前年度の標準化ロードマップをより 具体化し実現していくため、欧米で進められている大規模 な脳科学領域の取り組みの状況から、技術標準化を進めて い く た め の 検 討 課 題 を 抽 出 し た 。 そ れ を も と に 、 INCF(International Neuroinformatics Coordinating Facility)をはじめ、主に国内における脳情報の産業応用を
進める拠点の取り組みや候補となる標準化団体の状況を 調査し、ネットワーク型BMI 技術の標準化を進める上で のマネジメントスキームを整理した。それらのマネジメン トスキームについて、国際標準化団体のメンバーを含む有 識者へのヒアリングから精緻化を進めた。最終的にそれら の調査をまとめ、インタフェース、プラクティス、評価基 準をどのように進めていくかをネットワーク型BMI 技術 標準化ロードマップとして取りまとめた。調査結果を踏ま え、標準化活動を進めるための活動内容を明らかにすると ともに、昨年度の標準化活動ロードマップに修正を加えた。 修正されたロードマップをもとに、ネットワーク型 BMI の社会展開に向けた標準化戦略案を構築した。またデータ ベース公開に向けた検討項目の調査を実施し、脳情報デー タベースの公開及び運用に向けて、必要な要素及び対策が 必要な検討項目を整理した。 ３．４ 公開デモンストレーション 実環境実験設備内での移動支援機器および生活支援機 器（家電、住設機器）制御については、平成24 年 11 月 1 日の報道発表「ネットワーク型ブレイン・マシン・インタ フェース（BMI）の一般生活環境への適用可能性を確認 ～ BMI による生活機器、電動車椅子制御の最新実験を公開 ～」において、ネットワーク型BMI プロトタイプシステ ムの実証実験のデモンストレーションを行った。 またシステムの利用者への生活支援の可能性を明らか にするため、ネットワーク型BMI の日常生活支援のモデ ルケースとして、平成26 年度構築した、(A)運動に伴う自 然な脳活動に基づく行動識別NIRS-BMI、(B)利用者の情 動状態を読み出し、フィードバック情報を様々な形で呈示 するエージェント対応型 EEG-BMI、(C)上肢の不自由な 利用者のための身体装着型運動支援アクチュエータの 3 つのBMI デモンストレーションを統合して、平成 26 年 12 月 4 日に、ネットワーク型 BMI の日常生活支援のモデ ルケースとしての実証実験とその報道発表「日常生活の支 援を可能とするネットワーク型ブレイン・マシン・インタ フェース（BMI）の技術開発に成功」を行った。これらの 様子はテレビ・新聞など多数のメディアに取り上げられた。 ４．むすび 本研究開発では一般の生活環境において、高齢者、要介 護者のみならず一般の方々に対して、その意図を脳活動か ら読み取り家電の操作や環境の制御を行ったり、その情動 状態を相手に伝えたりするなど、生活支援サービス実用化 のための基盤技術を確立した。この技術は、介護·介助を 必要とする人だけを対象とするものでなく、「脳を見まも る」ことで、様々な場面で人々のコミュニケーションを豊 かにし、個人として充実した生活を継続する環境づくりの ための技術として期待されており、今後は各種サービスの 実用化を目指していく。 【査読付発表論文リスト】
[1]Morioka, H., et al., Decoding spatial attention by using cortical currents estimated from electroencephalography with near-infrared spectroscopy prior information. NeuroImage, 90, 128-139, 2014.
[2]Morishige, K., et al., Estimation of hyper-parameters for a hierarchical model of combined cortical and extra-brain current sources in the MEG inverse problem, NeuroImage, 101, 320-336, 2014.
[3]Furukawa, J., et al., An EMG-driven assist system for vertical component weight bearing force actuated by pneumatic artificial muscles, IEEE Systems Journal, PP(99), 1-9, 2014.
【受賞リスト】
[1]神谷之康、第 10 回日本学術振興会賞、“脳情報デコー ディング法の開発”、2013.12.13
[2] 堀 川 友 慈 、 JNS-SfN Exchange Travel Award 、 2014.8.18
[3]Morioka, H., Best Poster Award of the10th AEARU Workshop on Computer Science and Web Technology, “Subject-transfer decoding by learning a common dictionary from multisubject dataset”, 2014.2.25 【報道掲載リスト】 [1]“コンピュータ革命 最強 X 最速の頭脳誕生”、 NHK スペシャル、2012.6.3 [2]“考えるだけ 家電操作”、日本経済新聞、2012.11.2 [3]“ATR「脳活動」で家電遠隔操作 システム改良で成 功率84％”、フジサンケイビジネスアイ、2014.12.5
