TheJapnneseJou
川
at ef Psychonomic S‘セ”‘e2Dl3
，
Vo畳．
3且，
No．
2，
175一
夏8且講演論文
強 化研 究
の
展 開
と
展望
石
井
拓
徳 山 大 学
A
review
ofrecent
studies
on
positive
reinforcement
Taku
ISHII
Tokuyama University
Psycholog童sts may think that positive reinfbrcement is already a wel レknown process and that studies on rein
−
forcement
are oロtdated．
These beliefs are co
’
unterfactual in that behaVioral researchershave
not agreed on the exa⊂tarticulation of the fUnction of reinforcement
．
Historically，
an articulation proposedby
choice researchers was domi−
nant ：reinforcementdetermines
the allocation of different behaviors，
which is the manifestation of the relativestrength of those
behaViors
．
However，
recent studies on the dynamics of choice revealed that the allocation could bedetermined not
by
the strengthening effectbut
by
the signaling effect of reinforcement．
Further，
a study using a rein−
forcement
−
omission procedure with afixed
−
interval schedUle in a choice situation revealed that the presentation ofareinfercer had two simultaneous opposite effects on the short
−
term and long−
term allocations ofbehaViors
．
These studies suggest that the repetition of reinf（〕rcement inevitably assigns signalingfunctions
to reinforcing events，
and there丘）re，
reinft）rcement as a procedure has multiple effects on behavion Behavioral studies clarifying these and other functions of reinforcement willprovide
an importantbasis
fbr
physiological and computational studies on rein丘）rcement．
Key words ： operant conditioning
，
positive
reinfercement，
response strength，
signaling effectは じ め に 2013 年 現 在で は， 強 化の研究の嚆矢と なっ たSkinner の著 書 （
Skinner
，
1938）か ら数 えて65年，
さ ら にThorn−
dike
に よ る効果の法則の定 式化 （Thorndike，
1911）まで遡 る と100年以 上が経 過 して い る。 も は や オペ ラン ト条 件 づけに おける 正の強 化は心 理 学にお け る常 識の 1つ と なっ て お り ， そ れ に関す る研究は歴史 的役割を終え た と 考え てい る読者も少な く ないだ ろう。 そうで ない と して も，
“
認知 革命’
以 降は 「単 純 なオペ ラン ト条 件づ けで は説 明で き ない，
高 次の」行 動 的 過 程の研 究が重 視さ れ て い る こ とを認めざる を得ない の で は ない か。
しか し，
強 化とは本 当に単 純な過 程で，
私た ち は そ れにつ い て本 当に よ く知っ てい る だ ろ う か。 本稿で は強化に つ い て の 研究を振り返る こ と で，
その複 雑さ や今 後の研 究 課 題をCorresponding author
．
Facultγ of Economics，
Tokuyama Uni−
versity，
Gakuendai，
Shunan−
shi，
YamaguChi 745−
8566，
尹apan．
E
−
mail ：ishii＠tokuyama・
u．
ac．
jp
示し たい
。
な お，
本稿で取 り上げら れ な かっ た話 題につ い て は，
坂 上 （2004） が参 考になる。強化
の定
義と解 釈まず
，
行 動 分 析 学に おけ る 正の強 化の基本 的な定義を確 認 する
。
定義に はプロセス と し ての定義と操 作として の 定 義の 2種 類が あ る （Catania，
2007；Cooper，
Heron，
＆Heward
，
2007）。 プロセス と し て は， あ る刺激や出来事が ある行 動に後 続し たこ と に より同様の行動が起こ りやす くな ること で あ る。一
方，
操作と して は，
その よ う な効 果を もつ刺激や出来 事を特定の行 動の後に呈 示 する こ と で ある。 ど ち らの定 義 も個 体の行 動と環 境の関係の みに 基 づい た記 述 的な定 義で ある。
特に，
プロセス と して の 定 義に も生 理 的 過 程や心 的 過程などの内的過 程は含 まれ ていない こ とに注 意して い た だ き たい。 例え ば，
標準的 な オペ ラン ト箱の中でハ トが キ イつつ き行 動 を した直後に餌が出 現し，
そ れに よっ て キイつ つ き行 動が生 起し や す く なっ たとい うこ とは，
プロセ ス と し ての正の強化で ある。一
一
方，
実 験 者がハ トの キ イつ つき行 動 を生 起 しや す くさ せ よ うと して キイつ つ き行 動の 直 後に餌 を呈 示 するこ と が
，
操 作と して の正の強 化で あ る。
こ こ で，
ハ トの体 内で起こる生理学 的 変 化は定 義に 含 まれて お らず，
ハ トがキ イつ つ き行動と結果の関係を 「理 解し た 」 か否か や，
餌を出現さ せ るこ と を 「目的と して 」 キ イつ つ き行 動 を 増 や すか ど うか は関 係 ない。 しか し，
現 象を理 解す るときに記 述に とど まるの は非 常に難しい よ うで，
行動分析 学 者の 間において す ら も単 な る記 述を は み出し た 正の強化の解 釈が生み出さ れ た。
解釈に は少な くとも 「結果に よ る選択」 と 「反応強 度の 増強」 とい う2つ がある。
まず 「結果に よ る選択」とい う解 釈で は，
生 物 進 化に お ける淘 汰と同 様の論 理で正の強 化を解 釈 し よ うとする （Skinner，
1981）。
つ まり，
生 存と繁 殖に繋が っ た生 物の 形 質 が 後の世 代で増 え た り維 持さ れ た り す るの と同様 に，
正の強 化に繋がっ た行 動が増え た り維 持さ れ た りす ると考 える。
た しか に，
「結 果に よる選 択」 とい う論理 は生 物 進 化と正の強 化の間で 少な くとも表 面上は類似 し てい る。
し か し， 生 物が繁 殖に成 功 するこ と と行 動が強 化子の出現を も た ら すこ とはどれ だ け似てい る か など，
類 似 性 を細か く検 討 すると疑 問 も少 な くない。 もう1つ の解 釈は，
特 定の行 動が強 化 されるとその行 動の 「反 応 強 度 （response strength ）」 が強ま り，
そ れが 観 察さ れ る行 動に反 映さ れ ると い うもの で あ る（Nevin，
1974；de Villiards＆ Herrnstein，
1976；Williams，
1988）。
Skin−
ner も1938 年 当 時は 「反 射 強 度 （reflex strength ）」とい う同様の概 念 を用いてい た
。
おそ ら くこの概 念が導 入 され た当 初は 反 応 強 度の強 さ が時間当た りの反応 率の高さと ほぼ 同義であっ たと見 なせ そ うで ある。 しか し，
反応率 の高さ を基 準として 選 択 的に行 動 を強 化 する高 反 応 率 分 化 強 化スケ ジュー
ル や低反 応率分 化 強 化スケジュー
ル に よっ て反応率の高さを操作で きること が示 さ れ た （Fer−
ster ＆ Skinner，
1957）こ と に より，
反 応率を 反応強度の 直 接 的な指 標と見なすのは困 難になっ た。 そのた め行 動 の他の側 面が 反応 強 度を反 映 する とい う考 え方がい くつ か提 案さ れる よ うにな り，
そ れに伴い反応 強 度は抽 象 的 なパ ラ メー
タ になっ た。 反応率以外の反応強度の指 標と し て は，
選 択 肢 間の選 好，
累 進 比 率スケ ジュー
ル に おけ るブレー
ク ポイン ト，
反応の変 化抵抗，
需 要の弾 力 性な どが提 案 されて い る （Hursh ＆ Silberberg，
2008）。 これ ら の そ れ ぞ れ につ い ては指 標と して の欠 陥が指 摘さ れて い たり，
研究が ま だ十 分に進ん でい なか っ た りする た め，
強 化に よっ て増強さ れ たと考え ら れ る反 応 強 度が どの よ う に行動に反 映されるか と い う問 題は未だ決 着に 至っ て い ない。 選 択 行 動 研 究 定 義を超 えて強 化の働き を理解し ようとする研究の中 で，
最 も重点 的に取 り上げら れ てきた の は選 択 場 面であ る。
生き てい る動 物に とっ て は常に複数の行動が可能で あるとい う意味で，
実 際に生 起 したすべて の行 動は選 択 さ れ た行 動で あ ると見な す こ とが で き，
選 択につ い て明 らか に す る こ と がすべて の オペ ラ ン ト行 動に対す る強 化 の働 き を明 らか にするこ と に繋が る。 こ の ような包括的 な視 点に根 ざ してい たこ と と，
その実 現 を保 証 する かの よ う なマ ッチングの法 則が見出さ れ たこ と が，
選 択 行 動 研 究の盛 り上が りを 生んだと考えられ る。 選択行動研究で 多く使わ れて きた実 験 場 面は並立スケ ジュー
ル と呼ば れ る。 本稿で は以降でハ トを被験 体と し た実 験のみ を紹 介 するた め，
その場 合の標準 的な実験を 紹 介す ると次の よ うにな る。
実 験 装 置となるオペ ラ ン ト 箱の中には2つ の反応キ イが左 右に並べ て配 置され，
ハ トはい つ で も自 由に そ れ ら をつ つ くこと が で きる。
ただ し，
2つ は離れて い る た め同時に両方をつ つ くこと は で き ない。
それ ぞ れの反応キ イに対する反応は，
独立し た 変時隔 （variable interval ；VI ）ス ケジュー
ル に基づい て強 化さ れ る。 例え ば，
左 キ イ で は以前に左キ イへ の反 応が 強 化さ れ て か ら平 均し て 30秒 経過 した後の最 初の反応 が強化さ れ， 右キ イ で は以 前に右キ イへ の反 応が強 化さ れて か ら平 均して60秒 経 過し た後の最 初の反 応が強 化 さ れる。 こ の手 続き は並 立VI 30秒 VI 60秒ス ケ ジ ュー
ル で ある。 こ の場 面で は次にい つ，
どち ら の反 応キ イへ の反応が強 化さ れ る か を示す刺激は存 在し ない。
そ れで もハ トの行動に はマ ッチングの法 則とい う規 則 性が見 出 さ れ る （Herrnstein，
1961）。
この法 則は，
ある反 応キ イ に 対 する反 応の相 対 強 化 率に，
その反応の相 対反応 率が一
致 する とい う ものである。 例 えば，
前 述の例で は左キ イ へ の反 応は平 均 して 1分 あた り2回 強 化さ れ．
右キ イへ の反 応は平均し て1分あ たり1回強 化さ れ る た め，
左キ イか らの相 対強 化率は3分の2と なり，
行 動 もそ れに一
致 する ように調 整さ れて すべ て のキ イつ つ き反 応の う ち 3 分の2が左キ イ に対 する反 応とな る。こ こ で
，
左キ イ と右キ イの それ ぞれに対 する反応率を B，とB、，
そ れ ぞ れの反応に対す る強 化 率をR，とR，とす る と，
マ ッチングの法 則は以 ドの式で表さ れ る。B1
＝
Rl（1） B
］
＋B2 R，＋R2 こ の式の左 辺は左キ イへ の相 対 反 応 率 を表 し，
右 辺は左 キ イへ の 反 応に対す る相 対 強化 率 を表す。
こ の法 則は Baum ＆ Rachlin（1969）によっ て拡張さ れ，
強化率で は石 井：強 化 研 究の展 開と展 望 177 なく強 化量や強化 子 呈 示の即時 性を左右の キ イで操作し た場合や
，
相 対反応率で はなく左右に対する反応数の比 （B，1B，） や，
左 右での反応に費や し た時 間の比を従 属 変 数と し た場合に も選択 行動を記述で き る ように なっ てい る （Baum，
1974）。
もしもこ の よ う な法 則 をさらに拡 張して， 2つ の行 動 間の選 択の み で は な く，
特 定の と き に可 能なすべての行 動とそ れ らに対 するすべ て の強化 を 含 む 場 面 を 扱 え る よ うにするな ら，
そこか ら強 化の役 割 を次の よ うに解 釈 す るこ と が で きる。
す なわち，
強 化の役 割は可 能 な 行 動の う ち特 定の行動の配分を決め るこ と であ る。 実際 Her−
rnstein （lg70）はこ の ような考えに基づい てマ ッ チング の法 則を拡 張 し，
単一
の VIス ケ ジュー
ル で 強 化さ れ た 反応の絶 対反応率を記述で き るこ とを示 し た。 その後，
並立VI VI ス ケ ジ ュー
ルの下で の相対反応率 は相対強 化率に完全に一
致す る よりも，
や や無差別な選 好に近寄っ た値をとるこ とが多いな どの事 実が明ら か に な り，
マ ッ チ ン グ法 則は そ れ ら を加 味した形で一
般 化 マ ッチン グ法 則と し て改め て定 式 化され た。
芸
；
−k
（
餐
：
1
… こ こ で a は感 度パ ラメ
ー
タと呼 ばれてお り，
これ が 1よ りも小さな値をと る と各反応キ イに対する反 応 率の比 は，
そ れ ぞ れ の反 応キ イ で得ら れ る強 化 率の比ほど極 端 で は なくな る。一
方，
kはバ イァスパ ラメー
タと呼 ばれ て おり，
この値が 1よ り大き け れば 左キ イ，
1より小さ けれ ば右キ イに対し て選択が偏っ てい るこ とに な る。 a とkが ともに 1に等 し け れば，
式 （2）は式 （1）と同 値で あ る。 こ の ような選択行動研究の理 論 的な拡張の ほか に，
手 続き的な拡 張 と し て は，
並 立ス ケ ジュー
ル でVIス ケ ジュー
ル以 外の強 化スケ ジュー
ル を用いた研 究や，
より 複 雑な並 立 連 鎖ス ケ ジュー
ル を 用い た 研究が多 数 行わ れ て き た （レ ビュー
とし て，
Williams，
1988）。 そ れ らの研 究の多 くが根 ざしてい る考え方は，
強 化スケ ジュー
ル の さ まざま なパ ラ メー
タに よっ て選択 肢の価値が決まり，
そ れが行 動 間の選 好に反 映されるζい う もの である。
選 択 肢が持つ とさ れ る 「価 値」 も反応強度と同様に抽 象化 さ れ たパ ラメー
タで あ る た め，
これ を 行 動の側か ら表 現 し直すと，
行動間の選好と して表現さ れ る相 対 的な反 応 強 度が選 択 肢の強 化スケ ジ ュー
ルに よっ て決 まっ てい る と い う考えになる。
行
動 ダイ ナ ミ クス研究
へ の展 開 以上の ような研 究は，
1つ の実 験 条 件ごと に行 動が安 定す る まで同じ条件を維持す るとい う静的な実験場面で 行わ れ たもの であっ た。 例えば，
並 立VI VIス ケ ジュー
ル でマ ッ チング法 則を調べ る場 合，
左 右そ れ ぞ れの反 応 キ イ で の強 化率を固定した ま ま実 験セッ シ ョ ンを何日も 連 続して実 施し，
その下で安定し た相 対反応率を観察し た後で別の強 化 率を用い た条 件に移る手 続 きが用い られ てい た。
こ れ に対し て，
1990年 代か ら は実 験 条 件が変 化 す るときの行 動の変 化 を 調べ るた めに条 件 を 敢 えて変 化 させ る動 的 場 面で の実 験が次 第に増 えてき た （例 え ば，
Bailey＆ Mazur，
1990；Grace．
Bragason ＆ McLean，
2003；Ma−
zur， 1992，1995）。 そ して， その よ う な研 究の中か ら強化 につい て の新しい見方が生ま れつ つ ある。 こ こ ではその 代 表 例として動 的 並 立ス ケジュ
ー
ルを用い た研 究を紹 介 す る。 Baum とDavis・n に よ る動的 並立スケジュー
ル を使っ た一
連の 研究 （Baum ＆ Davison，
2004 ； Davison ＆ Baum，
2000，
2003，
2006，
2D10）の典型的な手続き は次の よ う な もので ある。 実 験 装 置と し て は静 的な実 験 場 面と同 様に2つ の 反 応キ イを左 右に並べ た オペ ラン ト箱が使 わ れた。
強 化 の タ イ ミ ング は単一
のVIス ケ ジュー
ル に よっ て決め ら れた が，
その強 化が左 右 ど ち らへ の反 応に随 伴 するか は 確 率的に浹められ た た め，
実質 的に は通常の並立 VI VI ス ケ ジュー
ル と同様と な っ て い た。
左 右の反 応キ イで の 強 化 確 率の比と し て は， 27；1，9：1，3：1，1：1，1：3，1：9， 1：27とい う7つ の条 件が用 意さ れて い た。
そ して，
同 じ強 化 確 率 比の条 件の下で左 右 合わ せ て10回の強 化が 起こる ご と に強 化確率比が別の条件に入れ替え ら れ る よ うに なっ て お り，
すべ て の条 件が 1回の実 験セ ッ シ ョ ン 内で ラン ダム な順序で用い られ た。 つ ま り，
こ の実験 場 面は実験中に選択に対する強化確率が変 化するとい う動 的な場 面に なっ て い た。
この手 続き で は主に新し く3つ の現 象が確認さ れ た。 （1）同 じ強 化 確 率 比の下で強 化が繰 り返 さ れる と，
左 右 に対す る反 応の比が強 化 確率の比に対 応す るときの感 度 （式（2）の a）が増 し てい っ た。 （2）一
方の 反 応キ イで の 強 化が連 続 して起こると次 第にその キ イへ の選 好が増し てい っ た。
（3）一
方の反 応キ イへ の反 応が強 化さ れ て か ら しばら く は その反応キ イへ の反 応が極端に選 ば れ や す く なる と い う選好パル ス が見られ た。 反 応 強 度を解 釈に 用い る と，
これらは強 化ごと に反 応 強 度が変 化 する様 子 や，
2つ の行 動 間の相 対 的な 反応 強 度が徐々 に調 整さ れ て い く様 子 を捉 えた もの と見な す こと が で き る。 し か し，
以 ドに説明す る よ うに，
餌呈示と い う一
次性 強 化 子と組み合わせ て条 件 性 強 化 子を用い た実 験の結 果 は，
こ の解 釈 と整 合 し ない もの であっ た （Davison＆Baum
，
2006の実 験2）。
こ の実 験で は，
給 餌器 ラ イ トの点 灯が餌と対呈示さ れ た ほ か，
そ れ と は独立し た強化スケ ジュー
ル に より給 餌器ラ イ トが単 独で も反 応に随 伴して 呈 示1れ た。 給 餌 器ラ イ ト単 独 呈 示に よ る条 件 性 強 化の 確 率 比と一
次 性 強 化の確 率 比の関 係に は， 正の相関， 負 の相 関，
無 相 関とい う3つ の条 件が あっ た。
正の相 関 条 件で は，
例え ば一
次性強化 子の呈 示 確率の比が左 右に対 して 27 ：1な らば，
条 件 性 強 化 子の呈 示 確 率 比 も27：1で あっ た。 負の相 関 条 件で は 逆 に，一
次 性 強 化 子の 呈示 確 率 比が 27：1な らば 条 件 性 強 化 子の呈 示 確 率 比は1：27で あっ た。
無 相関条 件で は2つ の 呈 示確 率比が そ れ ぞ れ独 立に決め ら れ た。 実験の目 的は，
これら それぞれの条 件 におい て条 件 性 強 化 子 も一
次 性 強 化 子と同 様の効 果 を持 つか どうか を調べ るこ と で あっ た。 この実験で特に重 要な結果が得ら れ たの は．
選好パ ル ス を検 討した ときで あっ た。
正の相 関 条 件に おいて一
方 の反 応キ イへ の反 応に条 件 性 強 化子 が随 伴し た直 後か ら しばらくは，一
次 性 強 化予 が随 伴し た場 合と同様に同 じ 反応キ イへ の反応が多く 見 ら れ た。一
方，
負の相関 条 件 に おい て は条件性強 化 子の呈 示をもた ら し たの とは反 対 の反 応キ イ に対する選 好パ ル スが見ら れ，
無 相 関 条 件で は条 件 性 強 化 子の出 現 直 後の選 好パ ル ス が見 られなか っ た。
つ ま り，
負の相 関 条 件と無 相 関条 件で は給 餌 器ラ イ トの点灯が文字通 りの 「条件 性強化子」 としては機能し てお らず，
特に負の相 関条 件で は条 件 性 強 化 子で強 化 さ れ なか っ た反 応が一
時 的に増え る とい う逆 説 的な結 果が 得 られ たと言え る。 こ の結 果は，
条 件 性 強 化 子が一
次 性 強 化 子と同 様に反 応 強 度 を増 強 する効 果 を もつ とい う考えに反 するもの で あっ た。
ま た，
選 好パ ル ス は強 化によっ て一
方の反 応キ イへ の反 応 強 度が一
時 的に高め られ たことを反 映 するも の とは 見 な せ な くなっ た。
む し ろ，
反応に随 伴 し た給 餌 器ライ ト の点灯は，
次に ど ち らの反 応に対して餌 呈 示が 随 伴しや すい かを示す弁 別 刺 激と して機 能し てい た と考 え られ る。 さ ら に重要なのは，
こ の よ う な弁 別刺激と しての機能 は給 餌 器ライ ト の点 灯の よ う な 「条 件 性 強 化 子」の み が もつ の で はなく，一
次 性 強 化 子 も同様の機 能を もつ 可 能 性が あること で ある。
通 常の動 的 並 立ス ケ ジュー
ル の実 験で は，一
方の反応が強化さ れ る と次も同じ反応が強化 さ れ る確 率が高い 。 そのた め，一
次 性 強 化 子が随 伴し た 後の選 好パ ル ス もこ の弁 別 刺 激として の機 能に よ る もの で あっ た可能 性が あ る。 こ の こ と は強化の定義に とっ て重要な意味をもつ 。 な ぜな ら，
元々のプロセ ス として の強 化の定義は 「あ る刺 激や出 来 事が行 動に随 伴す るこ とに よっ て同様の行 動が 起こ りやす くな るこ と」 である が，
「同様の行 動が起こ りやす くな るのは，
同 様の行 動に対 して は同様の刺 激 や 出 来 事が随 伴し や すい とい うこ とを すで に経験して い る た め 」 で あ る 可能 性が考え られ る か ら で あ る。 少な く と も，
行 動の変 動 性に関 する研究に よっ て知ら れて い る と ころで は，
「既に強 化 子が随 伴 した 行 動で は ない行 動の ほ う が次に強 化さ れ やすい」 とい う環 境に お か れ た動 物 は同じ行 動を繰 り返さ ない こ とを あ る程 度まで学 習で き る （Page
＆Neuringer
，
1985）。
この こ と を踏 ま える と，
逆 に一
度強 化 さ れ た 行動を 繰 り返 すの は同 じ行動が 繰 り返 し強 化さ れ やすい と い う環 境に お かれて きた結 果で ある 可 能 性は ト分に考 え られ る。
それに加 えて，
同じよ うな 行動が繰り返し強 化さ れ やすいの は動 的並 立ス ケ ジュー
ル を用いた場 面に限らず，
ヒ トや ヒ ト以 外の動 物が普 通 に暮ら す環 境で もおお むね同 じか も し れ ない。
も ち ろ んh
記 は あ く ま で も口∫能 性で あ る が，
も し も正 し け れば 「同様の行 動が繰 り返され や す く なる こ と 」 は 強化の定 義に とっ て本質 的では な く な る、 そ して こ の口∫ 能 性 を考 慮 するな らば，
正味の強 化 効 果 を調べ る た めに は 「そ れ ま で行 動が強 化さ れ た こ と の ない個 体の行 動を一
回だけ強 化 する」 とい う方 法 をとるか，
それ まで行 動 が強 化さ れ て き た履 歴の効 果を排 除す る よ う な方 法を と ら な くては な ら ない か も し れ ない。 念のた め 付け加 える と，
この よ うな可 能 性が考 え られ る か らとい っ て，
これ まで の強化研究が無意味に な る わ けで はない。 すで に さ ま ざ ま な行 動が強 化さ れて きた個 休を使っ て，
その行 動 をさらに強 化 するこ とが どの よう な効 果をもつか を調べ るの も重 要で ある。
む し ろ，
正 味 の強 化 効 果 を調べ る た め に強 化 履 歴の効 果 を排 除 するの で は なく，
積 極 的に強 化 履 歴の効 果を明らか に したほう が生 産 的で あ る か も し れ ない。
た だ し その場 合で も，
強 化 子となる出 来 事の出 現 自体が弁 別 刺 激と して も機 能 す る可 能 性を十 分に考 慮 して お く こご が重 要とな る だ ろ う。
強化
の信
号効
果とFI
スケ ジュー
ル 強 化 子として働く出来事が同時に弁 別刺 激として も機 能 するとい う強 化の信 号 効 果はオペ ラン ト条 件づけ研 究 の初 期か ら知 ら れて い た。
その知 見の 1つ は， 定 時 隔 （fixed interval；FI）スケ ジュー
ルに お け る反応パ ター
ンに関する もの で ある。 こ の ス ケジュ
ー
ル で は以前に反応が強 化さ れて か ら
一
定の時 閤が経 過 した後の最 初の反 応が強化 さ れ る
。
そのた め，
強 化 子 呈 示か ら一
定 時 間は反 応石 井：強化 研 究の展 開と展 望 179 の弁別刺 激と な る。 反 応パ タ
ー
ンは こ の弁 別 刺 激によっ て制 御さ れ，
強化子 呈 示か ら しばら く は反 応休止期間が 続き，
その後で徐々 に反 応 率が 上昇 し て い くと い うパ ター
ンが生み出さ れ る。
こ れ はF1ス キャ ロ ップと呼 ば れる。FI
スキャ ロ ップが強 化 子 呈 示とい う弁 別 刺 激に よっ て 生み出されるこ とは，
強 化 子 呈 示 を 確 率 的に省 略 する実 験に よっ て さ ら に明確に示さ れ る。
FIス ケ ジュー
ル の下 で強 化 子 として の餌呈 示をときどき ランダム に省略 して 代わ りに中 性 刺 激を呈 示 すると，
その直後に はFIスキャ ロッ プの初期の反応休止期間が短 くなり， 強化 子が呈 示 さ れ なか っ た にもか かわらず反応が増え ると い う逆説 的な効果が得られ る （
Staddon
＆ lnnis，
1969；Starr ＆ Staddon，
1974）。 こ の強化 省略効 果は 「フ ラス トレ
ー
ショ ン」な どに よっ て は説 明で き ず，
弁 別 刺 激として の強 化子 呈 示 が省 略 さ れ た結 果と して起 こ る ことが知 ら れて い る （Kello，
1972）。 上 記の よ うな 知 見に基づい て，
強 化 子の強 化機能，
す な わ ち反 応 強 度 を 増 強 する働 き を調べ る場 合に は FIス ケ ジュー
ル を 避 け，
強 化間の時間 間隔が ランダムにな る ようなVIスケ ジュー
ル を用い るのが定石 と さ れ て き た。
し か し，
V1ス ケ ジュー
ル を使っ た場 合です ら強 化 子が 弁 別 刺 激として働く可 能 性を 排 除で き ない とす る と，
む し ろ強 化 子の弁 別 刺 激 機 能 を詳 し く調べ たほ うが よいか も し れ ない。
そ れ を 実 際 に行 っ た研究 と し て
，
Ishii＆ Sakagami （2007）に よ る実験を挙 げら れ る。 この実 験で は そ れ ま で 単一
の FIス ケ ジュ・
一
一
ル を用い て研 究さ れて き た強化 省略 効 果が選 択 場 面で調べ られ た。 左 右に並んだ2つ の 反 応キ イの う ち，
一
方に対 する反 応はFIスケ ジュー
ル で強 化さ れ，
他 方に対す る反 応は ランダム時隔（random interva1・RI）スケ ジュー
ル とい うVIスケ ジュー
ル と同 様 のス ケ ジュー
ル で強化さ れ た。 こ の場 面で訓 練を続け る と，
ハ トの選 択パ ター
ン に規 則 性が表 れ，
H スケ ジュー
ル で反 応が強化さ れて か ら しばらくはRIス ケ ジュー
ル の反 応キ イを 選 択し続け，
そ れか ら再びFIスケ ジュー
ル の反 応キ イへ の選 択 を増 や して い くと い う もの に なっ た。
これ は単一
の FIス ケ ジ ュー
ル の下で見 られるFIス キャ ロ ッ プと似た反 応パ ター
ンだと言 える。
そこ で ， FI スケ ジュー
ルが満た さ れ た時の強 化子 を確 率 的に省 略 す る条 件が 開 始1
れ た。 具 体 的に は，
4回に 1同の割 合で ランダムに餌 呈 示がキャ ン セル され，
代わりに餌呈 示と 同じ長さの ブラックアウ ト期 間に置 き換 え られ た。
こ の実験で は2つ の 結果が 得ら れ た。 まず， FIス ケ ジュー
ル で強 化 子 呈 示が省略さ れ た直 後か ら次にFIス ケ ジュー
ル が満た さ れ る まで の期間で は，
FIス ケ ジュー
ル の反 応キ イ に対 する相 対 反 応 率が増えて い た。 つ ま り，
選択 場面で も単一
スケ ジュー
ル場 面と同 様の強 化 省 略 効 果が起 きたもの と見 なせ る。一
方，
強 化省略 直後以 外 も含めた実 験セ ッ シ ョ ン中の全 体的な反応を平均す る と，
強化 省 略 条 件が 開 始さ れ る前 に 比べ て FIス ケ ジュー
ルへ の相対反応 率が低 下し てい た。
こ れ は，
強 化 省 略 条 件に よりFIス ケ ジュー
ル の強化確 率が低 ド し，
そ れ に よっ て選 好が低F
した もの と見 なせ る。 これ らの 結果をまとめ ると，
FIスケジュー
ルでの強 化 省 略は，
省 略 直 後に は短 期 的に反 応 を増 や すが，
より長 期 的に は反 応を減 らす 効 果 を持っ ていたと言 える。 後 者の結 果は，
強化 省 略 効 果 を 敢 えて選択 場面で検 討す るこ とに よ り明 らか になっ たもの である。 ヒ記の結 果を強 化 省 略で は な く強 化 子 呈 示の側か ら表 すと，
FIスケ ジュー
ル に よっ て反 応が強化さ れ ると，
短 期 的に は強 化 後 休止が牛み出さ れ るこ とに より反応が減 るが，
長 期 的に は反応が増え てい た と言えるe 前 者の短 期 的 効果は餌呈示の弁 別刺激と し て の効 果で ある。一
方．
後者の長期 的効果につ い て は少な くと も2通 りの解 釈が可 能である。
1つ はt 強 化 子 呈 示がやは り反 応 強 度 を増 強 する効 果 を もち，
それ は短 期 的に は強 化 子 呈 示の 弁 別 刺 激として の効 果に よっ て行 動に表れ に く くな る こ と も あ る が，
長期 的に は行 動に表れ る とい う解 釈であ る。
も う1つ の解釈は，
長 期的な効 果も強化子の弁 別 刺 激と して の効 果に よ る とい うもの で ある。 す．
な わ ち，
強 化 子の呈 示は短 期 的に は次の強 化 まで の時 間 間 隔につ い ての弁 別 刺 激と な り，
そ れ と同時に長 期 的に は同じ行 動 に強化 子が随伴しや すい こ との弁別 刺激と も なっ て， 2 つの弁 別刺激の効果が複合さ れて行動に表れ る と も考え ら れ る。
現 時 点で は強 化の長 期 的 効 果に関 する上 記2
つの解 釈 を実 験 的に区 別 するの は難しい ように思 われ る。
また，
結 局は 2つ の解 釈は同 義で あ ると示さ れ るこ とに な る か も しれない 。 それらの可 能性を見極め るには，
長期的な 効果が現出す る ま での ダ イ ナ ミッ ク な行 動 変 容 過 程を よ り詳細に検討し てい く必要が あ る だ ろ う。強化効
果に関 す る その他
の研究
上 記の よ う な選 択 行 動 研 究のほか にもt
い くつ か のア プロー
チで強化の機 能が 研究さ れて き た。
こ こ で そ れ ぞ れにつ い て詳し く解説するこ とはで きない が，
以 ドに4 つ の アプロー
チ を簡 単に紹 介 する。
強 化子の効 果は実 験セ ッ シ ョ ン内で呈示を繰 り返すこ と に より次 第に変 化す る。 このこと は，
反応パ ター
ンのセ ッシ ョ ン内 変 化 （within
−
session changes ）こ して研 究 さ れて きた。 餌 呈 示 を強 化 子と した場 合に は呈 示 を繰 り返 すこ とで強 化 効 果が弱く な る。
こ のよ う なセ ッシ ョ ン内 変 化は飽和 化に よ る ものだ と考えられ がちだ が，
実 際に はそれよ り も同じ刺 激 呈 示が繰 り返さ れ るこ と に よ る馴 化が重 要な要因になっ て い るこ と が知ら れて い る （Mc−
Sweeney＆Murphy，
2000）。 強 化に よっ て どの程 度の反 応 数まで維 持で きる か は強 化 子の種 類に よっ て異な る。
このこと は行 動 経 済学に お け る強化子の需要 弾力性の研究で調べ ら れて い る。
需 要 弾 力 性 とは，
1単 位の強 化 子 を 得るの に必 要 な 反 応 数 （行 動 価 格 ）と，
そ の下で実 際に獲 得さ れ る強 化子の量 （需要）と の関 係の こ と である。 強 化 子の種 類に よっ て，
行 動が頻 繁に強 化 される場 面で は多量の強 化 子が獲 得 さ れ る もの の強 化 率が低下 す る と行 動を あ ま り維 持で き な くな り獲得量が減っ て し まう強化 子や，
逆に行動価格が 増えて も需 要が あ まり低 下せ ず高い行 動 価 格で の反応 を 維 持で きる強 化 子 な どが ある。
近 年で は，
こ の よ う な 需 要 弾 力 性こそが強 化 子の本 質 的 な価 値 を表 すとする理 論 も提 案 されてい る （Hursh＆Silberberg，
2008）。
強化に よっ て行 動間の相 対的な配分が変わ る だけでな く，
動物の活動性が増 して行 動の全 体 量が増えるこ とも ある。 こ の こ と は，
動物の覚 醒 （arousaD 水 準に対する強 化の効 果と して研 究されてきた。
強 化 子の活 動 亢 進 効 果 は少 な くとも標 準 的な オペ ラン ト箱で餌 呈 示 を強 化 子とし た場 合に は確認 されてい る（Killeen＆Bizo
，
1998；Killeen，
Hanson
，
＆ Osborne，
1978） 。 強化は行動の変化抵抗に も影 響する。
変 化抵抗と は環 境が変 化した ときに元の反 応 率が どの程 度 維 持1
れ るか を表す概 念で あ る。 反応に対す る強化子 の呈 示が中 止さ れて反 応が消 去さ れる ときに，
その反 応が ど れ だ け消 去 されに くい かを 表 す 消 去 抵 抗は変 化 抵 抗の一
種である。
変 化 抵 抗に関す る一
連の研 究に よ り，
変 化 抵 抗の強さ を 決め るのは反応と強化 子の随伴性で は な く，
反 応が強 化 さ れ るときの弁別刺激と強 化子の随伴 性で あるこ とが知られ て い る （Nevin
，
1974；Nevin ＆ Grace，
2000；た だ し例外と し て
，
Bell，
1999；Grace，
Schwendiman，
＆Nevin，1998）。結
論
本 稿で は主に選 択 行 動 研 究に お け る強 化の役 割の分 析 につ い て概 説し た。
そ れ らの研究が示 し てい る よ う に，
強 化子とな る刺 激が弁別刺 激と し て も機 能し てい たり， それ に よ る短期 的な効果は長期 的効果とは別の もので あっ た りするな ど，
強 化 子の出 現は同 時に複 数 の効 果 を もつ ようである。
しか も，
現 在の実 験 的 分 析におい て は それ らの効 果 を 十 分に切 り分け るこ と が できて いるとは 言 え ない。
さ らに，
強 化の研 究に は選 択 行 動 研 究 以 外に も さ まざま なアプロー
チがあ り，
そ れ らの間で は強 化の 本質につ い て の見方が統 合さ れ ていない。 その た め，
将 来の研 究 動 向に よっ て は正の強 化の定 義その もの を見 直 す必 要す ら出て く るか も しれ ない 。 こ の よ うに行動 的な研究だけか ら見て も強 化の働き は 複 雑である。
その た め，
いわ ゆる 「強 化 効 果」 の生理 的 基 盤を調べ る場合に は，
対 象と なっ てい る生理現象が強 化の働きの どの側面に関係して い るもの で ある か につ い て十 分に知っ て お く必 要がある。 この よ うな必 要 性 を満 た す た め にも，
強 化にっ いての行 動 的 研 究はこれか らも 重要 性を増してい くだ ろ う。 引用 文 献Bailey
，
1．
T，
＆Maz鵬 尹．
E．
（1990）．
Choice behavior in tran8i−
tion：Development ef preferen⊂e for the higher probability
of reinfor ⊂ement
．
JOU
厂nal of the Experimental Anal）！si5〔ゾBθ・
haγier
，
53，
409−
422．
Baum
，
W M．
，
＆Rachlin，
H，
（1969）．
Choice as time allocation，
Journal
qノ「the
Expe
厂imentaJ
Anal
＞lsis 〔ゾBehavior
，
12，
861−
874
．
Baum
，
W M．
（1974）．
On two types of deviation from thematching law；Bias and undermatching
．
10urnal
（］f
the Ex−
perimental AnalJ！∫f50fBehavior
，
22陶
231−
242．
Baum
，
W M，
，
＆Davison，
M．
（2004）．
Choice in a variable en−
vironment ： Visit
patterns
in thedynamics
ofcheice．
Journatqプthe Experimentat Ana り！sis ofB ¢
i1avior
，
81，
85−
127．
Bell
，
M，
C，
（1999）．
Pavlovian contingencies and resistance tochange in a multiple schedule
．
Journal
of the ExperimentatAnalysis（］
fBeha
γioら72，
81−
96．
Catania
，
A．
C．
（2007），
Learning，
4亡h interim ed．
ed ゴtion．
Corn−
wal 卜on
−
Hudson，
NY ：Sloan Publish正ng．
Cooper
，
1，
0，
，
Heron，
T．
E．
，
＆Heward，
W L．
（2007）．
App’iedBehavior Analysis
．
2nd ed．
Upper Saddle River，
NJ：PearsonEducation
，
Inc，
Davison
，
M．
，
＆Baum，
W M，
（2000）．
Choice in variable envi−
ronment ：Every reLnfercer counts
．
Journal
Of
the Experimen−
tcllAnaり，sis〔ゾBehavior
，
74，
1−
24．
Davison
，
M．
，
＆Baun1，
W．
M．
（2003），
Every reinforcer counts ：Reinfbrcer血 agnitude and 亘ocal preference
，
Journal
qブthe
EXPe
「imentalAna
り！sis q广Behavior，
80，
95−
129，
Davison
，
M．
，
＆ Baum， W
．
M．
（2006），
Do conditional rein−
f
・rcers C・untり・urnal （ゾthe Experimental Analrsis ・f
Be−
havior
，
86，
269−
283．
Davison
，
M．
，
＆Baum，
W M．
（2010）．
Stirnulus effects onlocaI
preference
：Stimulus−
response contingencies，
stimulus−
f｛）odpairing
，
and stimulus−
food correlation．
10urnat
of the Exper−
imental Ana リノsi50fBeha ソゴor
，
93，
45−
59．
de Villerds
，
R A．
，
＆ Herrnstein，
R，
1．
（1976）．
］Poward a law ofresponse strength
．
Psychologicat Bulletin，
83．
1131−
1153・
Ert:
iutItMaoneceatRS
181ment.
New
Ybrk:
Appleton-Century-Crofts.
Grace,R,C,,Bragason,O,,& McLean, A. R
(2003).
Rapidquisition
ofpreference
inconcurrent chains.Jburnal
of
theExperimental
AnalysisofBehavior,
80,235-252.Grace,R,
C.,
Schwendiman,
J.
NM,& Nevin,J.
A,(1998).
Effects
of unsignaleddelay
of reinforcement onpreference
and resistance tochange.
journal
of
theExperimentalAnaly-sis
ofBehavior,
69,247-261,Herrnstein,R.
J.
(1961).
Relativeand absolttte strength ofspense as a
function
offrequency
ofreinforcement. journal
ofthe
ExperimentalAnalysisqfBehavior,4,267-272. Herrnstein,R.J.
(1970).
On the lawof effect.Jburnal
of
theExperimentalAnalysis
ofBehavior,
13,243-266.Hursh,S.R.,& Silberberg,A.
(2008).
Economic demand andessential value. PsycholqgicalRevie",,115,186-198,
Ishli,T:,& Sakagami,T.
(2007).
Reinforcementomission inconcurrent fixed-intervaland random-interval schedules.
BehaviouralProcesses,74,334-341.
Kello,
J.
E.(1972).
The reinforcement-omission effect onfixed-intervalschedules: Frustrationor inhibitienrLearning
and Motivation,3,l38-147.
Kineen,P R.,& Bizo,L A.
(1998),
The mechanics of
forcement.
Psychonomic
Bulletin& Review,5,221-238,Killeen,R R,,Hanson.
S.
J.,
& Osborne,S.R.(1978).
Arousal: Itsgenesisand manifestation as response rate.RsycholagicalRevieiv,85,571-581.
Mazur,
J,
E.(1992).
Cheicebehayiorintransition:ment of
preference
with ratio and intervalschedules,nal
of
Experimental
Psychol[tgy:AninialBehaviorProcesses,18,364-378.
Mazur,
J.
E.(1995),
Developmentof preferenceandous recovery inchoice behaviorwith concurrent
interval schedules, Animal Learning& Behavior,23, 103,
McSweeneM F,K,,& Murphy E.S.
(2000).
Criticismof thesatiety hypothesisas an explanation of within-session
decreases
inresponding.journal
of
theExperintentalsis
ofBehavior,
74,347-36l,Nevin,
J.
A.(1974).
Responsestrength inmultiple schedule,journat
of
theExperimentalAnalysisof
Behavior,21,408,Nevin,
J.
A,,& Grace,R.C,
(2000).
Behavioral momentumand thelawof effect.Behavioraland BrainSciences,23, 130.Page,
S.,
&
Neuringer,
A,(1985).
Vdriabilityisan operant,
Jburnal
of
ExperimentatRsycholqg),:Animal Behaviorcesses,11,429-452,
ty.Efi2
(2oo4).
gin{kontyoop
eeigeTi
(scg)
Xva,ilmp70MLLih,lt6
axI:-Ste,
pp.122-153.(Sakagami,
T.)Skinner,B.E
(1938).
Tliebehaviorof
otganisms: anmentalanalysis.Oxford,England:Appleton-Centurv
Skinner,B.E
(1981).
Selectionbyconsequences. Science,213,501-504.
Staddon,
J,
E,R.,& Innis,N.K(1969).
Reinforcementsion on
fixed-interval
schedules.Jburnai
of
theExperitnental AnalysisofBehavior,
12,689-700.Star4B.C.,& Staddon,
J,
E,R,(1974).
Tlemporalcontrol onperiodicschedules: Signalpropertiesof reinforcement and
blackout.
iburnal
of
theExperimentaiAnalysisof
Behavior,22,S35-S45.
Thorndike,E.L.
(1911).
Animal inteUigence:ExperimentalStudies,New Ybrk:Macmillan.
Williams,B.A.
(1988).
Reinforcement,choice, and responsestrength. InR.Atkinson, R,J,Herrnstein, G,Lindzey& L. R.Duncan
(Eds.),
Stevens'
handbookof
experimentalcholog)l Vl)l,2;Learning and cagnition. 2nd ed, Oxfbrd,
