モ
チ
ベ ー
シ
ョン
と
報
酬
の
期 待
の
脳 内 神 経
メ
カ
ニズ
ム
Neural
Mechanisms
onMotivational
Process
andReward
Expectancy
in
theBrain
設 楽 宗 孝
産 業 技 術 総 合研究 所 脳神 経 情 報 研 究 部 門
Key
words :motivation,
reward expectancy,
anteriorcingulate
,
single unit recording.
要 旨 日常生活で我々 が行 動す る と き
、
通 常、
目 標 が あ り、
そ れ を 達 成 し よ うとい うモ チベー
シ ョ ン (動機 付け)に よっ て行 動 を計 画 し.
それ を実 行に移 す。 こ の 際、
我々 は絶えず 現 在の状態と 到 達 目標と を 比較 し、
目 標に近づ く ほ ど 期 待 が 高 ま る。 したが っ て、
.
こ の 期 待 に 対応する神 経活動が脳内にある こ とが予 想さ れ る。 こ の点を研 究す る た めに、
我々 はモ チベー
シ ョ ン の大 き さ をコ ン トロー
ル して報 酬期 待の大 きさ を 調 べ る こ との で きる 「多 試 行 報 酬スケ ジュー
ル 課 題 」 を開 発した。 こ の 課題で はサル は数回の 試 行 を正 解 して 初め て報 酬の ジ ュー
ス が もらえる。 報酬に到達 す るop
に あと どの くらい の試 行回数が 必要か を 示 す 視 覚的キ ュー
を 提 示 してい る と、
サル は報 酬に近づ くほ ど誤 答 率 が 少 な く な り、
これ は報 酬ぺの 期 待が 高 まっ て レ・る.
こ と を反 映 し てい ると考え’
ら れ る。 さ て、
脳 内には、
情 動やモ チベー
ショ ン の 上 で 重 要 な 刺 激に反 応 して行 動 を起こす ときに働 い てい るとい わ れ て い る ルー
プ 回路が ある が、
こ の ルー
プに属す る前 帯 状 皮 質か ら単一
ニ ュー
ロ ン活 動 を.
記 録 して解 析 し た。 その結 果、
報 酬 を 得る まで にい くつ か の ス テ ップ が 必 要 なス ケジュー
ル を遂 行 する際に、
ス ケ ジュー
ル の進 行、 或い は、 報酬へ の期待の大 き さ を 表 現して い る神 経細 胞 が あ る とい うこ と がわかっ て き た。Summary
In
ourdaily
life
, we makeplans
and actbased
orlthe
motivation to reach agoaL
Durlng
the course ofthe activity
,
we continually compare our currentstatus against our expectation
f6r
reaching agoal,
with expectation
increasing
over the course of theactivity
.
This
implies
that there are neural signalsunderlying the
increasing
expectation.
We
developed
a task,
a cued multitrial rewardschedule
task,
to
corltrollevel
of motivation andinvestigate
thedegree
of reward expectancy.
1
【l thistask
,
monkeys can obtain rewards only after a series of trialshad
been
correctly completed.
When
therewas a cue to
indicate
how
many correctperformances were required
for
a reward,
the
monkeys made progressively
fewer
errors as the rewardedtrial
approached,
indicating
that themonkeys expectancy of an
impending
reward grew.
We
recordedthe
activity of single neuronsin
theanterior cingulate of
Rhesus
mo 【1key,
whichis
one ofthe 置oop structure that
is
involved
in
initiating
mOvements
in
respOnSetO
mOtivatiOnally Oremotionally significant stimuli
.
The
single neuronsin
the anterior cingulate showed responses that wereprogressively
increasing
throughthe
schedules asthe
reward expectancyincreased.
1 .
は じ めに 我々 が 行 動 する と き、
通 常、
目標があり、
それを 達 成 しよ うとい うモ チベー
シ ョ ン (動 機 付 け)に よ っ て行 動を計 画 しそ れ を実 行に移 す。 脳 内にはこ の よ う な 計 画・
行 動 を 行 な うた めの 情報処 理 を 行 っ て い ると考 えられ てい る領野 があるが、
こ れ ら領野 間 の神 経 繊 維 連 絡を調べ る と、
大脳皮 質一
大 脳 基底 核一
視 床一
大脳皮 質、
とい うルー
プ回 路がい くつ かあ り、
また、
そ れ ぞ れ の ルー
プ回路で機 能的な違い が ある ことが わ かっ てき た 〔注1〕。
こ の ルー
プ 回 路の う ち、
図1
に示 す 回 路は、
特 に情 動 やモ チベー
シ ョ ン の 上で 重 要な刺 激に反 応 し て行 動を 起 こすときに 働い てい る とい わ れてい るルー
プ 回 路 で あ る。 こ のデ ザ イン学 研 究 特 集 号 SPECIAL ISSUEOFJSSD voLIONo
.
22002 21一
Japanese Society for the Science of Design
NII-Electronic Library Service
Japanese Sooiety for the Soienoe of Design
図 1 情 動やモチベ
ー
ションの 上 で 重 要 な 刺 激 に 反 応 し て行 動を起こす と き に 働 いてい る とい わ れて い る ルー
プ回 路 (Alexander
ら、
1986 よ り改 変 )。 DA : ドー
ノNeミンニ ュー
ロ ン ルー
プ 回 路の内、
前 帯 状 皮 質 (図2
)は、
創造 性や 計 画 などにとっ て重 要 な 役 割 を 果 た す とい わ れてい る前頭前野、
及び、
情 動 に深 く 関わ っ てい る 辺 縁系 の色 々 な部 位と も神 経 繊 維 連 絡があ り、
こ れ らの 情 報 を 統 合 し う る 位置にあ るこ と か ら、 モ チベー
ショ ンに基づい た計画・
行 動の 制 御 に重 要 な 役割を 担 う こ とが 予 測 さ れる。 ま た、 ヒ トを被 験 者に した機 能 的MRI
やPET
を用い た研 究で は、 こ の部 位が、
パ フ ォー
マ ン ス のモ ニ ター
やエ ラーt
の 検 出、
葛 藤 する条 件が ある時や特 定の 行 動 を 選 択 する時 な どの情 報処理 に 関 与 し て い る可能 性が報 告さ れて い るが 〔注2−7
)、
これ らは報 酬へ の近 さや見 込み を評 価 すると
とに依 存してい る と考 えら れ る。
さ らに、
モ チベー
シ ョ ン に障 害がある こ とで特 微づ け ら れる強 迫 性 障 害 や 薬 物 乱 用の 患 者の 脳 を機 能的MRI
やPET
で調べ ると、
前 帯状皮 質に異常 な 活 動 が 見 ら れる とい う報 告があ ab
図2 a:サル の 脳 を上 (背 側 )か ら 見 た 図。 b:サ ル の 脳の 断面像 (aの 点線の位 置で の断 面 )6
網 掛けの 部 分の 前 帯 状皮質か ら単一
ニ ュー
ロ ン活 動の 記 録 を行っ た。
22
SPECIAL ISSuE OF JSSD voLIO No.
22002 デ ザイン学研究特 集 号る
〔
IS8
−15
)。
これ らのこ と か ら、
前帯状皮 質がモ チ ベー
シ ョ ンや報酬期 待の情報処 理 に とっ て特 に重要 である こ とが 予 測さ れ た た め、
この 部位の 単一
ニ ュー
ロ ン活 動 をサル の脳より記録し て調べ る ことに した。
さ て、
生 体 が 起 こす あ ら ゆ る行 動の基本 的 要 素と して重 要で ある モチベー
シ ョ ン で あ る が、
基礎 研 究 レベ ル では 、 モ チベー
シ ョ ンを定量 的に計 測 す るこ と が 難 し く、
これ まで の研 究はほとん どがマ ウス や ラッ トを用 い た 単 純 な 課 題の 実 験 であ り、
高 等 動 物 であるサル に複 雑な 課 題 を用い た 研 究 は あ ま り行わ れて い な かっ た。 そこで、
モ チベー
シ ョ ンの 大 きさ が わ か る ような課 題 を 開 発 し、
課題 遂行 中の サ ル の 脳か ら前 帯 状 皮 質の 単一
ニ ュー
ロ ン活動を記 録・
解 析 し た 結 果、
興味深い こ とが わ か っ て きたの で、.
以 下にそれ らを 述べ る。
2
.
方 法今回 開 発 し た 「
多
試 行 報 酬ス ケ ジュー
ル課 題 」は、
図3a
に示 すように、
単 純な視 覚弁 別 試 行 か ら なっ て い る。 サル の前にあるコ ン ピュー
ター
モニ ター
に は中 心 に四 角 形の ター
ゲ ッ トが 呈 示 さ れる。 こ の タ a 視 覚 弁 別 試 行 視 覚穹鳶
一
固 視 点・ ・待・
勘 バ
語
正 解w・・
口
m
{■
i
一圉
一
・’
一
一
ス s°°・
… 隔 榴贏 s・
1・
1
叢b
多 試行報酬 ス ケ ジュー
ル 課 題 1回目 2回 目 3回 目 4回 目闇 臨
鳥
報酬無し 報 酬 無し 報 酬 無し 報酬 図3
a:視覚 弁 別試行。 画 面 中 央 部の ター
ゲッ トの色が 赤 (斜め線 〉か ら緑 (網 掛け)に変わ っ た ら、
1 秒 以 内 に 握 っ て い たバー
か ら手 を 離 す、
こ れ が 正 解す る と、
ター
ゲッ トは青 (横 線 〉に なっ て 正解 を表 し、
報酬 とし てジュー
スが与え ら れ る。
b
:多試 行 報 酬スケジュー
ル課 題。 こ こでは、
最 終 的 な報酬 を得るの に 4回の視 覚 弁 別 試 行が必 要な 場合 を示 す。 画 面の上部に は スケ ジュー
ル の進 行に し た がっ て徐々に明る く な る視 覚 的 キュー
が呈 示 され て お り、
これ に よって サル は 自分がスケ ジュー
ルの う ち どの ス テ ッ プを行っ ている かがわ か る。
N工 工一
Eleotronio Library一
ゲ ッ トの 色 が 赤 色(
図で は モ ノ クロ の た め、
斜め 線 で示 す)
の 問は サ ル はバー
を手で握 っ て お り、
こ の色が緑 色(
図で は網 掛け)
に変わっ た ら1
秒以内 にバー
か ら 手 を 離 さ な ければ な ら ない 。 こ れを 正 し く行え ば、
ター
ゲ ッ トの色が青 色 (図では太い横 線 ) に変わっ て正解したこと を示し、
報酬の ジュー
ス が サル に与 え ら れ る。 さて、多
試 行 報 酬ス ケジュー
ル 課 題 (図3b
)で は、
視覚 弁別試 行 を複 数回続けて 正解しない と報 酬の ジュー
ス が 与え ら れ ない ように し た。 た と え ば、 図3b
で は報酬 を得る まで に4
回 の試 行 が 必 要 なス ケ ジュー
ル を 示 してい る が、
こ こ で は1 − 3
回 目の試 行を 正解し て もサ ル は ジュー
ス を与えら れない 。 し か し、 こ れ ら を 正解し な け れば 最 終的 なジュー
ス を も らえ る試 行に到 達し ない 。 サ ル は 1− 3
回 目の試 行 で は報酬が もらえな くて も最 終 的に ジュー
ス を得ら れ る4
回目の 試 行 を 目 指 して こ れ らの 試 行 を 正 解 し な け れ ば な ら ない の である。 こ こ で、
サル が何回 目の試 行を行っ て い るか とい う ス ケ ジュー
ル進 行 度を、
画面 上部にあ る 視覚的 キュー
の 明 る さ を変え るこ とで 示 し た。
即 ち、 1
回 目の 試 行で は視覚的キュー
は暗い 灰 色である が、2
回目、
3
回 目 と進 行 する に した が っ てだんだん明る く な り、
最 後の報 酬 が も ら え る 試 行で は、
最 も明るい 白 色 と な る。 さて、
サルがこ の課題 を行っ た ときの誤 0532 20竃
儺15K ロ 離 10 図
4
501 /4
214
3t4
4!4 1/3 213 3/3 1/2 212 111 スケ ジュー
ル進 行度 多試 行報酬 スケ ジュー
ル課 題 遂 行の誤 答 率。
サル はス ケ ジュー
ル が進 行 し て報酬 に近づ くほ ど 誤答 率 が 減 少 す る (白 丸 )。
これ は、
サル の モチベー
シ ョ ンの 大 き さ、
報酬 の期 待の大き さ を 反映 し てい る と考え ら れ る。 視 覚的 キュー
や報酬の順序を ラ ンダム に す る と、
サル は どこで報酬 が得ら れ る か わ か ら な く な り、
常に一
定のエ ラー
率を 示 す よ う に なる (黒 丸 )D 答 率を見て み る と、
図4
の よ うに報 酬 か ら遠い 試 行 ほ ど誤 答 率 が高 く、
報酬が 近 づ くに つ れて誤答 率が 下 が り、
こ れ がモ チベー
シ ョ ンの大 きさ を反 映 して い ると考え ら れる。 ま た、
報酬へ 近づ くにつ れて報 酬へ の期 待 が 高 まっ てい るこ とを表してい る 〔注16,
17,
18〕
。一
方、
視覚的キュー
およ び報酬の順 序をラ ン ダ ム に し て、
報 酬が どこ で も ら えるか わ か ら な く し て しまうと、 サルは常に一
定の エ ラー
率で課 題を 行う よ うになっ た〔
注17
,18
〕。3 .
前 帯 状 皮 質のニ ュー
ロ ン活動こ れ まで の 研 究
〔
注 16,17〕
で、
図1
の ルー
プの 中で、
腹 側 線 条 体で は特定の 試行で視 覚的キュー
や バー
リ リー
ス 時、
お よび 報 酬 その もの に反 応 するニ ュー
ロ ンが 存 在 し た が、
各試 行で の 反応強 度 に は有 意差 が なかっ た 〔注 17 〕。 し か し、
報 酬へ 近づ くに 従っ て期 待が高まる の につ れて反応 強度が だ ん だ ん と 強 く な る 或い は 弱 く な る よ う なニ ュー
ロ ンが脳内 に存在 して も不 思議で は ない 。 先にも述べ た ように 前 帯 状 皮 質にその ようなニ ュー
ロ ン活 動が あ るか も しれ ない との予 測の元に単一
ニ ュー
ロ ン活 動 を 記 録 して調べ た。 す ると、
ス ケジュー
ル が進 行 する に し た がっ て、
反応 強 度が徐々 に強まる、 或い は弱まる ニ ュー
ロ ンが存 在す ること が わ かっ て き た。 図5
に その例 を 示 す が、
a、
cは試 行の 特 定の フ ェー
ズ (た とえば視 覚的キュー
が現れ た とき)で一
過 性に反 応 が 出る もの、b
、d
はス ケ ジュー
ル の 間 ずっ と反 応 が 出続けるもの の 例で ある。 この 図の 例で はすべ て最 終 的に 報 酬が得 ら れ る試行に向かっ てだん だん反 応 が 大き くな り、
ま た、
視覚的 キュー
お よ び 報 酬の順 序 をラン ダム に して 報酬 が どこ で もらえる かわ か ら な く して し まうと 反応が消 失 するか、
常に同じくら い の大き さの反応 になっ て し まうた め、
すべ て報酬 に近づ く と きの 期 待に関 連 した 活 動である と考え ら れ る。 しか し、
さ.
ら に 良 く観 察 すると、 a、b
で は、
4
回 目の試 行で報 酬が与え ら れるよ り も 前に反 応が 落 ちてお り、一
方、
c、
d
で は、
報 酬 を 得 た後で反 応 が 落 ちて い る。 前 者は、
報 酬が確 実に得られ る と わ か る最 後の試 行で は反応が落ちて し まうこ とか ら、
ま だ も ら えぬ報酬へ の期待を 表 して お 駄 後者は報 デ ザイ ン学研究特 集号 SPEclALISSuE OF亅SSD v。1,
10No.
2200223
一
Japanese Society for the Science of Design
NII-Electronic Library Service
Japanese Sooiety for the Soienoe of Design
aO 創 ON 頃 r Or
(
N 工〉
溜 製 瞭螂
ソ ハ一
頃 0b
8O
寸 Oo ワ O 周(
N 工)
蟹 騷 ) 蔦 課 Or一
15・
10−
5、
時 間 (sec > 0 5 CO 卜 OO0 頃 Oサ
OO ON(
N 工)
腿 皿 轗 yA 却 恥 O尸
Od
ヨ O尸
頃(
N エ)
髄 緊 ζ 獣・
15・
10−
5 時 間 (sec > 0 O o−
15.
10−
5 0匿
15’
10.
匿
5 0時 間 (sec)
時 間 (sec ) スケ ジュ
ー
ル.
.
.
.
_.
ランダム 図5
前 帯 状 皮 質の ニ ュー
ロ ン の反 応の 4例。
報酬 を得る の に4
回 の 試行が必 要なスケジュー
ル の例 を示 す。
前 帯 状 皮 質で は
、
ス ケ ジュー
ル の進 行に伴い報酬期 待が大 き く な る の に 従 っ て 反 応 が 徐々に大 き く なるニ ュー
ロ ン群があっ た。 反 応 は一
過性の もの (a、
c)と持 続 性の もの (b 、
d
) があ り、
さ らに、
報 酬が得 ら れる直 前に反応が落ち る も の (a、
b)と報 酬が得 られた後に反応 が落ち る も の (c、
d
)が あっ た。 視 覚 的キュー
や報 酬の順 序 をランダム に す ると
、
反 応 が な く なる場 合 (a、
b>と、
すべ ての試 行 で ほ ぼ一
定の大 き さの反 応 が 出る場 合があっ た (c、
d
)。 酬を得ら れ る試 行で反応が 最 大 にな るこ と か ら報 酬 まで の 距 離を表し て る の か もしれない 〔注18 〕。 ま た、
前 者は報 酬が もらえ ない に も か か わ らず 課題 を続け な ければ なら ない 試行で の み反 応 が 見 ら れ るこ と か ら、
葛 藤 する状 態に対応 し た反 応である可 能 性がある。前 帯 状 皮 質の報酬 期 待に関 す る役 割が
1
つ の 神 経 細 胞 のレ ベ ル でわか っ て きた訳で あるが、
モ チ ベー
シ ョ ン の 障 害で特徴づ け ら れる神 経 疾 患 患 者の 脳で は、
こ の活 動が 消 失し た り、
或い は 逆に無秩 序に強 く活 動 し緯
けてい る こ とが予想され る。 まだ不 明の 点 も多い が、
前 帯 状 皮質の情 報処 理機 構が、
関連 す る他の領野 と ともに 解 明 さ れて く れ ば、
神 経 疾患 患 者の 症 状 理 解 と改 善、
或い は、
我々 の 日常 生 活 に お ける モ チベー
シ ョ ン と や る 気の 問題 な どに応用が期 待 さ れる。
参 考 文 献1
)Alexander
GE
et al,
Parallel
organization offunctionaUy
segregated circuitslinking
basal
gang1ia
and cortex.
Ann
Rev
Neurosci
,
9
,
357
−381,1986.
2)
Gehring
,
WJ .
&Knight
R .
T .
Prefrontal
−
cingulatei
【leractionsin
action monitoring.
Nature
Neurosci.
3,516−520
(2000
).
3
)MacDonaldIII,
A .
W .
,
Cohen ,
J
.
D .
,
Stenger
,V .
A .
&Carter,
C .
S
.
Dissociating
the
role of thedorsolateral
prefrontai and anterior cingulate cortex in cognitive control
.
Science
288
,
1835−1838
(2000
).
4
)Botvinick,
M .
,
Nystrom ,
L
.
E
.
,
Fissell
,
K .
,
Carter,
C
.
S
.
&Cohen
,
J
.
D .
Conflict
monitoring versusselection
−for−
actionin
anterior cingulate cortex.
Nature
402,179−181
(1999 ).
24 SPECIAL ISSUE OFJSSD voLIO No
.
22002 デ ザ イン学 研 究 特 集 号5)
Turken,
A.U,
&
Swick,
D.
Response
selectionin
the
human
anterior cingulate cortex.Nature
Neurosci.
2,
920-924
(1999).
6)
Carter,
C.S.
etal.Anterior
cingulate cortex, errordetection,
andthe
online monitoring of performanee.Science
280,
747-749
(1998),
7)
Berns,
G.S.,
Cohen,
J.D.
&
Mintun,
M.A.
Brain
region responsive
to
noveltyin
the
absence of awareness.Science
276,
1272-1275
(1997).
8)
S,E.
Swedo
et al.,Cerebral
glucose
metabolismin
childhood-onset obsessive-compulsivedisorder.
Arch.
Gen,
Psychiatry
46,
518
-523
(1989).
9)
J.
MicalleL
O.
Blin,
Neurobiology
and clinicalpharmacology of obsessive-compulsive
disorder.
Clin.
Neutopharrnacol.24,
191-207
(2001).
10)
C.M.
Adler
et al.,fMRI
of neuronal activation with symptom provocationin
unmedicated patients with obsessive compulsivedisorder.
J.
Psychiatr.
Res.34,317-324
(2000).
11)
S,L.
Rauch
et al.,Regional
cerebralblood
flow
measured
during
symptom provocationin
obsessive-compulsivedisordgr
using oxygen15-labeled carbondioxide
and positron emission tornography.Arch.
Gen.
Psychiatry
51,
62-70
(1994).
12)
C.D.
Kilts
et al.Neural
activity relatedto
drug
craving
in
cocaine addiction.Arch.
Gen,
Psychiatry
58,
334-341
(2001).
13)
K.
Drexler
et aL,Neural
activity related toangerin
cocaine-dependent men: a possiblelink
toviolence and relapse.Arn.
J.
Addict.
9,
33I
-339
(2000).
14)
A.R.
Childress
et al.,Limbic
activationduring
cue-induced cocaine craving.Am,
J.
Psychiatry
156,
11
-18
(l999),
15)
L.C.
Maas
etal.,Functional
magnetic resonanceimaging
ofhuman
brain
activationduring
cue-induced
cocaine craving.Am.
J.
Psychiatry
155,
124
-126
(1998).
16)
Bowman
EM
et al.Neural
signalsin
the
monkeyventral striatum reiated to motivation
for
juice
and cocaine rewards.J
Neurophysiol,
75,
1061-1073,1996.
17)
Shidara
M
et al.Neuronal
signalsin
the monkey ventral striatum related to progress through apredictable series of trials,
J.
Neurosci,
18(7),
2613-2625,
I998.18)
Shidara
M
andRichmond
BJ,
Anterior
cingulate:Single
neuronal signals related todegree
of rewardexpectancy.