本資料のご利用にあたって ( 詳細は 利用条件 をご覧ください ) 本資料には 著作権の制限に応じて次のようなマークを付しています 本資料をご利用する際には その定めるところに従ってください *: 著作権が第三者に帰属する著作物であり 利用にあたっては この第三者より直接承諾を得る必要があります C

■本資料のご利用にあたって（詳細は「利用条件」をご覧ください） 本資料には、著作権の制限に応じて次の よ うな マー クを 付しています。 本資料をご利用する際には、そ の 定 め る と こ ろ に 従ってください。 ＊：著作権が第三者に帰属する著作物であり、利用にあたっては、この第三者より直接承諾を得る必要がありま す。 CC：著作権が第三者に帰属する第三者の著作物であるが、クリ エ イテ ィ ブ・ コモン ズ のライセン ス の もとで利用で きます。 ：パブリックドメインであり、著作権の制限なく利用できます。 なし：上記のマークが付されていない場合は、著作権が東京大学及び東京大学の教員等に帰属します。無償で、 非営利的かつ教育的な目的に限って、次の形で利用することを許諾します。 Ⅰ 複製及び複製物の頒布、譲渡、貸与 Ⅱ 上映 Ⅲ インターネット配信等の公衆送信 Ⅳ 翻訳、編集、そ の 他の変更 Ⅴ 本資料をもとに作成された二次的著作物についてのⅠ か ら Ⅳ ご 利用にあたっては、次 の ど ち ら かのク レ ジ ッ ト を 明記してください。 東京大学 UTokyo OCW 学術俯瞰講義 Copyright 2015, 神谷之康

The University of Tokyo / UTokyo OCW The Global Focus on Knowledge Lecture Series Copyright 2015, Yukiyasu Kamitani

京都大学／ATR脳情報研究所

神谷之康

ブレイン・デコーディングと

ブレイン−マシン・インターフェー

ス

神谷之康（かみたにゆきやす）

・1970年、奈良県桜井市生まれ

・東京大学教養学部教養学科卒業（認知行動科学・科学哲学）

・カリフォルニア工科大学博士課程修了（Ph.D, Computation

and Neural Systems

）

・ハーバード、プリンストン大学を経て、2004年よりATRに勤務

・2008年、ATR・神経情報学研究室・室長（NAIST客員教授）

・2015年4月、京都大学大学院情報学研究科・教授

・受賞：Scientific American 50、朝日21関西スクエア賞、塚原仲

晃賞、日本学術振興会賞、大阪科学賞、他

・twitter:@ykamit

著作権等の都合により、 ここに挿入されていた画像を削除しました ウェブサイト「NHKオンデマンド」（https://www.nhk-ondemand.jp/） ウェブページ：番組名「サイエンスＺＥＲＯ 心の中が丸見えに！？脳内 イメージ研究最前線」 https://www.nhk-ondemand.jp/goods/G2013048607SA000/

著作権等の都合により、

ここに挿入されていた画像を削除しました。

『細胞工学』Vol.34 No.7（2015年7月号） 学研メディカル秀潤社

特集：Decode of the Brain

ヒトの脳を読む新たなアプローチ（監修 神谷之 康）

(Kimura, Imamizu, Shimada, Oztop, Harner, Kamitani，2006)

ブレイン・デコーディング

機械学習による脳信号のパターン認識により 行動や心の

状態を解読する方法 (Kamitani and Tong, 2005)

(Miyawaki, Uchida, Yamashita, Sato, Morito,Tanabe, Sadato, Kamitani, 2008)

夢の解読

(Horikawa, Miyawaki, Tamaki, Kamitani, 2013)

著作権等の都合により、 ここに挿入されていた画像を削除し ました いじわるばあさんの画像 長谷川町子『いじわるばあ さん』 N0.4, 姉妹社 (1963)

著作権等の都合により、 ここに挿入されていた画像を削除し ました いじわるばあさんの画像 一コマ目：事故にあい医者に行く 長谷川町子『いじわるばあ さん』 N0.4, 姉妹社 (1963)

著作権等の都合により、 ここに挿入されていた画像を削除し ました いじわるばあさんの画像 二コマ目：脳波を取ることになる 長谷川町子『いじわるばあ さん』 N0.4, 姉妹社 (1963)

著作権等の都合により、 ここに挿入されていた画像を削除し ました いじわるばあさんの画像 三コマ目：脳波を取る様子 長谷川町子『いじわるばあ さん』 N0.4, 姉妹社 (1963)

著作権等の都合により、 ここに挿入されていた画像を削除し ました いじわるばあさんの画像 四コマ目：脳波に「ヤブにわかるか」 と文字が出てくる 長谷川町子『いじわるばあ さん』 N0.4, 姉妹社 (1963)

101011101

111010110

101010111

デコーディング

コーディン

グ

ヤブに

わかるか！

100 0001

100 0010

100 0011

コードとは？

「赤」

ことば

GAC

CUU

アスパラギン酸

ロイシン

後で元に戻せるように変換したもの（暗号）

A, B, C

コンピュータ

DNA

著作権等の都合により、

ここに挿入されていた画像を削除しました

Youtube動画

THE ANATOMY OF THE BRAIN PART 2

著作権等の都合により、

ここに挿入されていた画像を削除しました

Youtube動画

Blue Brain Project - Flying through the column https://www.youtube.com/watch?v=cXw3NWj2L-s

Markram et al. 1998

脳活動の計測法（１）：電気生理

研究.net

＊ ＊

脳活動の計測法（２）：光計測

著作権等の都合により、

ここに挿入されていた画像を削除しました

脳活動の光計測模式図

Larry Squire et al. eds. Fundamental Neuroscience, 2nd edition, Elsevier, 2002. http://store.elsevier.com/product.jsp?isbn=97

80080521800&pagename=search P744 Fig27 .13

脳波（EEG）

脳活動の計測法（３）：脳波

fMRI（機能的磁気共鳴画像法） 神経活動によって誘発された血流変化 を、水素原子（プロトン）の分布や水 素原子周囲の環境変化に伴う核磁気共 鳴信号の変化としてとらえ、画像化す る方法 小川らによって１９９０年に 報告され た 脳の構造を調べる技術と して使われて いたが、神経活動に伴 う血流変化をと らえることも可能と なり、脳内の活動 部位を数mmの空 間分解能で明らかに することが可能 になった 藤田一郎・田村弘 脳科学入門講義資料 http://www2.bpe.es.osaka-u.ac.jp/courses/neuroscience2010/index.htm

脳活動の計測法（４）：

fMRI (

機能的磁気共鳴画像)

静磁場コイル：原子核の磁気モメントの方向をそろえる 高周波コイル： 磁場中の原子核にラジオ波信号（励起パルス）を照射し、 放出される信号を観測する 傾斜磁場コイル：位置情報を付加 するため、計測場所により磁場強度をかえる 著作権等の都合により、 ここに挿入されていた画像を削除しました MRIの模式図

神経活動部位では、血管内の血液酸素化 の程度に変化（または静脈血の相対的減 少）がおこる

これをBOLD効果（Blood oxygenation level dependent ）と呼ぶ その結果１Ｈの分布密度および周囲の環境 に変化が生ずるため、MRI信号の変化が おこる NIPSシステム脳科学研究領域心理生理学研究部門 定藤研究室 http://www.nips.ac.jp/fmritms/contents/brain-activation-inspection.html 図5 ＊

MRI

による脳構造の再構成

著作権等の都合により

ここに挿入されていた映像を削除しました

fMRI

による脳活動計測

1,000 100 10 1 0.1 0.01 0.001 0.0001 1988 1,000 100 10 1 0.1 0,01 0,001 0,0001 ミリ秒 時間（秒 ） 秒 分 時間 日 月 シナプス 脳 葉 マップ 神経核 神経細胞層 神経細胞 樹状突起 サイ ズ （ mm ） PET fMRI VSD 2-DG 脳損傷 TMS EEG，MEG 微小電気刺激 オプトジェネティクス フィールド電位 光学顕微鏡 神経ユニット記録 パッチクランプ 2014 カルシウム イメージング 電子顕微鏡

Sejnowski TJ, et al: Nat Neurosci (2014) 17: 1440-1441

著作権等の都合により

ここに挿入されていた映像を削除しま した

?

or

or

デコーディング

r

機械学習によるデコーディング

(Kamitani and Tong, Nat Neurosci 2005)

s

1.

脳活動を計測し「ラベル」をつける．

2.

脳活動からラベルを予測する「デコーダ」を構築する．

3.

そのモデルが新たなに与えられる脳活動のラベルを正確に予測

で きるかを評価する．

コンピュータに学習させよう！

Trained

decoder

(linear SVM)

Decoded

orientation

Novel dat a

視覚的方位のデコーディング

(Kamitani and Tong, Nat Neurosci 2005; Curr Biol 2006; Kamitani and

Sawahata, Neuroimage 2008; Tong et al. Neuroimage 2012)

400 voxels

from V1/2

方位選択的ニューロンの計測

(Hubel and Wiesel)

著作権等の都合により

ここに挿入されていた映像を削除しました 方位選択的ニューロン計測動画

Hubel & Wiesel's demonstration of simple, complex and hypercomplex cells in the cat's visual cortex https://www.youtube.com/watch?v=jw6nBWo21Zk

デコーディングの「超解像」

(cf., Boynton, 2005; Rojer and Schwartz, 1990)

Information from subvoxel representation via random bias of voxel

sampling due to irregular columnar and/or vasculature structure

(Kamitani and Tong, 2005)

(See also: Op de Beeck, 2009; Kamitani & Sawahata, 2009; Gardner, 2009; Shmuel et al. 2009; Kriegeskorte et al 2009; Mannion et al., 2009; Swisher et al. 2010;

Freeman et al. 2011; Clifford et al., 2011; Chaimow et al 2011)

＊

G Boynton (2005) Imaging orientation selectivity: decoding conscious perception in V1, Nature Neuroscience 8 (5): 541 -542, p. 541, Fig. 1: Patterns of orientation-selective responses measured with fMRI.

http://www.nature.com/neuro/journal/v8/n5/full/nn0505-541.html doi:10.1038/nn0505-541

「超解像」のしくみ

(See also: Op de Beeck, 2009; Kamitani & Sawahata, 2009; Gardner, 2009; Shmuel et al. 2009; Kriegeskorte et al 2009; Mannion et al., 2009; Swisher et al. 2010; Freeman et al. 2011; Clifford et al., 2011; Chaimow et al 2011)

-45o ₊₄₅o θpref. θpref.shifts by 18° θpref. shifts by 18°+noise 0o 90o θpref.

アンサンブル特徴選択性

(Kamitani & Tong, 2005, 2006)

w

45

135

0

22.5

157.5

Orientation

Detectors

Voxels

Decoder

「マインド・リーディング」

Common neural representation

for perception and imagery

運動方向のデコーディング

(Kamitani & Tong, Current Biology 2006)

fMRI voxels Decoded direction Max

W

Kamitani and Tong (2006) Decoding Seen and Attended Motion Directions from Activity in the Human Visual Cortex, Current Biology 16 (11): 1096– 1102, p. 1097 Fig. 1: Decoding Analysis of Ensemble fMRI Signals. http://www.sciencedirect.com/science/article/pii/S0960982206014643 doi:10.1016/j.cub.2006.04.003

海馬からの記憶内容のデコーディング

(Hassabis et al. Curr Biol 2009)

Hassabis et al. (2009) Decoding Neuronal Ensembles in the Human Hippocampus, Current Biology 19 (7): 546–554, p. 548 Fig. 2B, C, D, E. http://www.sciencedirect.com/science/article/pii/S0960982209007416

Trained with:

‘Picasso’ ‘Dali’

Image Voxels Image Voxels (a) Neural art appraiser

‘Picasso’ 100 _∗∗∗ ∗ ∗∗ ∗∗∗ 50 0

All Art major Non-art

major Subject group D eco di ng a ccu ra cy (% )

(Yamamura, Sawahata, Yamamoto,

Kamitani, Neuroreport 2009)

脳美術鑑定：Dali or Picasso?

＊

機能マッピングからデコーディングへ

•

ボクセル（画素）ごとの解析

•

統計的仮説検定（p値）で評価

•

ピンポン球程度の大きさの脳領

域がどのような種類の機能をも

つかを大まかにマッピング

ブレイン・デコーディング

•

多ボクセルパターン

•

1

サンプルごとの予測精度で

評価

•

画素レベルの細かいパターン

から具体的な心の状態を予測

脳機能マッピング

機械学習

非線形特徴抽出

（人工知能）

脳−機械ハイブリッド情報処理

脳による

脳−機械ハイブリッド情報処理としての

ブレイン・デコーディン

グ

脳–機械融合知能

Brain–machine hybrid intelligence

脳データ

ヒトの認知・個性

人工知能

数理モデル

ビッグデータ

・脳データを利用して、人工知能をチューニング・個人化

・人工知能を利用して、脳をモデル化・ビッグデータと接

続

心と脳のマッピング

Mind (behavior)

Many states/

dimensions

Brain

Many states/

dimensions

視覚像再構成：画像としてデコードする

©いらすとや ＊

モジュラー・デコーディング

Brain

Mind

Features

Modules

(Miyawaki, Uchida, Yamashita, Sato, Morito,

Tanabe, Sadato, and Kamitani, Neuron 2008)

Multi-scale Image bases

+

+

+

視覚像再構成の方法

Local image decoders

Miyawaki et al. (2008) Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders, Neuron 60 (5): 915–929, p. 917 Fig. 1A.

http://www.sciencedirect.com/science/article/pii/S0896627308009586 doi:10.1016/j.neuron.2008.11.004

約400のランダム画像（約１時間の脳計測

）

トレーニング

トレーンングには用いていない画像

（ランダム画像、幾何学図形、アルファベット）

テ ス ト

デコーダのトレーニングとテスト

Miyawaki et al. (2008) Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders, Neuron 60 (5): 915–929, p. 918 Fig. 2A.

http://www.sciencedirect.com/science/article/pii/S0896627308009586 doi:10.1016/j.neuron.2008.11.004

再構成結果

Miyawaki et al. (2008) Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders, Neuron 60 (5): 915–929, p. 918 Fig. 2A. Movie S1. http://www.sciencedirect.com/science/article/pii/S0896627308009586 doi:10.1016/j.neuron.2008.11.004 ＊ ＊ ＊

画像基底の自動抽出とエンコード・

デコードモデルの導

出

W

I

r

z

W

Encode model P(r|I)

Decode model P(I|r)

Fujiwara et al. (2013) Modular Encoding and Decoding Models Derived from Bayesian Canonical Correlation Analysis, Neural Computation 25 (4): 979-1005, Fig. 1A. http://www.mitpressjournals.org/doi/abs/1 0.1162/NECO_a_00423#.Vsq__VlCOVM doi:10.1162/NECO_a_00423

ビデオデータベースを用いた

動画マッチング

著作権等の都合により、

ここに挿入されていた画像を削除しました 人の顔や風景などの写真

Nishimoto et al. (2011) Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies, Current Biology 21 (19):

1641–1646, p. 1644 Fig. 4A, B, C.

http://www.sciencedirect.com/science/article/pii/S096098221100 9377

Encode and decode models

Brain

Mind

Encode

model

(Kay et al. Nature 2008;

Mitchell et al. Science 2008;

Thiron et al. Neuroimage 2006)

Decode

model

~

(Miyawaki et al. Neuron 2008)

©いらすとや

＊

$#%^&*(() +*&^%$#@

著作権等の都合により、

ここに挿入されていた画像を削除しました

テレビ画面のキャプチャ

Search

Get The Sun on your mobile

SITE MAP NEWS ALERTS SUNTALK Sun Local - Class

By LEON WATSON Published: 11 Dec 2008

Dream ... will it come true?

Turnbull has England dream

ROSS TURNBULL is dreaming of becoming the latest member of Boro’s England club

Builder's Lotto dream come true Olympic fraud suspects swoop

DREAMY scientists say they will come up with new technology which shows what is on our minds when we're ASLEEP.

The Japanese research team claims its groundbreaking study could eventually display dreams on a computer screen.

Sunday, August 23, 2009

HOME MY SUN SUN LITE

NEWS Swine Flu Forces Captain Crunch Sun Justice Sun Money Sun City Royals The Green House Maddie Scottish News Sun Says Dear Sun Gardening British X-Files Weird VIDEO MICHAEL JACKSON SPORT Football Dream Team The Ashes F1 & Motorsport more SHOWBIZ Bizarre Bizarre USA Film Music more BIG BROTHER TV X Factor Brit's Got Talent Soaps

The Sun

Got a story? Text:63000- Email:[email protected] 著作権等の都合により、

ここに挿入されていた画像を削除しました

The Sunのキャプチャ画像

「DREAMY scientists say they will come up with new technology which shows what is on our minds when

Ocean

?

Neural decoding

夢の視覚的な内容をデコードできるか？

(Horikawa, Miyawaki, Tamaki, Kamitani, Science 2013)

Ocean

?

Ocean

?

(Horikawa, Miyawaki, Tamaki, Kamitani, Science 2013)

＊

＊

＊ ＊