SI
複 合制御確 率過程 の確 率的最 適制御 問題
OptimalStochasticControlProblemforIVIixed WienerandPoissonProcesses
板 垣 有記輔
by YukioITAGAKI
第1節 複合確 率過程 に対 す る一 般化 された伊藤 の公式
第2節 複合 制御確率過程 に対す る確 率的 最適 制 御問題
2.1確 率 的 最 適 制 御 問 題 のハ ミル トソ ・ヤ コ ビ ・ベ ル マ ン の 方 程 式
2.2割 引 の あ る場 合 の 確 率 的 最 適 制 御 問題
経 済 現 象 の も つ ラ ン ダ ム な 側 面 を 積 極 的 に 考 慮 し,偶 然 性 の 時 間 的 な 変 化 に 一 定 の 法 則 を 見 出 し て,経 済 現 象 を 数 学 的 に 定 式 化 す れ ば,一 つ の 確 率 過 程 を 得 る.こ の 確 率 過 程 の 挙 動 を 研 究 す る う}で 最 も有 効 な 分 析 手 段 を 提 供 し て くれ る の が,確 率 演 算 法stochasticcalculusの 基 本 公 式 で あ る 伊 藤iの 公 式Ita'sformulaで あ る.本 稿 に お い て,こ の 伊 藤 の 公 式 を 用 い て,ウ ィ ナ ー 過 程(連 続 マ ル コ フ過 程)と ポ ア ソ ン過 程(飛 躍 型 マ ル コ フ 過 程)と の 複 合 確 率 過 程 に 対 す る 一 般 化 さ れ た 伊 藤 の 公 式thegeneralizedIt6'sforrnulaformixedWienerandPoisson
processesを 発 見 法 的 に 導 出 す る.つ ぎ に,こ の 一 般 化 さ れ た 伊 藤 の 公 式 を 用 い て,ウ イ ナ ー 過 程 と ボ ア ソ ソ 過 程 と の 複 合 制 御 確 率 過 程 の 確 率 的 最 適 制 御 問 題 に 対 す る 確 率 的 最 大 値 原 理the stochasticmaximumprincipleformixedWienerandPoissonprocessesを 導 き 出 す .こ の 複 合 制 御 確 率 過 程 の 確 率 的 最 適 制 御 問 題 に 対 す る確 率 的 最 大 値 原 理 は ,石 油 の よ うに や が て枯 渇 し て し ま う再 生 不 能 な 資 源 の 通 時 的 に 最 適 な 採 掘 方 式 を 定 め る な ど の 重 要 な 動 学 的 資 源 配 分 の 問 題 の 解 明 に 役 立 つ 有 効 な 分 析 用 具 を 提 供 す る で あ ろ う.
第1節 複合 確率 過 程 に対 す る一 般化 され た伊藤 の公 式
標 準 ウ イ ナ ー 過 程 と ボ ア ソ ン 過 程 と の 複 合 確 率 過 程x(の=(x・(の,…,xn(の)は,次 の 確 率 微 分
52季 刊 創 価 経 済 論 集Vo1.XVIINo.4 方 程 式
ny
dx2(渉)=f(x(の,t)dt+Σ σ砺(x(の,の ぬ ん、(の+gL(x(の,t)dgi(t),i=1,…,n,(1)
hi=1
x(0)=x。=所 与,(2)
の 解 過 程 で あ る と す る.こ こ に,dzihi(の(2・=1,…,n,hi=1,…,勾 は,標 準 ウ イ ナ ー 過 程9殉(の
の 確 率 微 分 で,
E6[6産9輩 π包(t)]=0,Z=1,…,n,hi=1,…,π 乞,(3) Eε[(42抗 乞(の)2コ ・==dt,2==1,…,n,hi=1,…,%f ,(4) È[4ガ6z2zんz(')]=dtdzihi==0,Z=1,…,n,hi=1,…,ni ,(5)
Eε[42仇 乞(t)dz,h2(t)]=ρ 漁 証ゴ勉(t)dt,Z,ブ==1,…,n,乃 包=1,…,%ち1診 ゴ==1,…,n; ,(6)
但 し,
Rih,Zjlcj(の=Cov[ぬ 妨(の,49ゴ んン(の]/dt
な る 性 質 を も つ.ま た,dqi(t)は ポ ア ソ ソ 過 程gift)の 増 分Cj'iCt+dt)‑qi(t)で,次 の 二 つ の ケ
ー ス を 考}る . ケ ー ス1:
1)Y[4(2・ 乞(t)==a2(2=1,。 ・・,n)コ==λ4'十 〇(dt),(7)
{Pr[dgi(t)=0(i=1,…,n)]=1‑.?dt十 〇(dt),(S)
で,ラ ソ ダ ム 時 に 起 こ る 飛 躍 の ラ ソ ダ ム な 振 幅 α=(az,…,an)は 同 時 確 率 密 度 関 数 ρ(a) を も ち,λ はq(t)=(q・ ⑦,…,qn⑦)の 単 位 時 間 内 に 生 起 す る 平 均 飛 躍 回 数.
ケ ー ス 丑:
1)Y[uqi(t)=α 日=λ 乞4'十 〇(dt),2==1,・ ・㍉ π,(9)
で,ラ ソ ダ ム 時 に 起 こ る 飛 躍 の ラ ソ ダ ム な 振 幅 α奄σ=1,…,の は 確 率 密 度 関 数 ρ乞(a2)を も ち,λ 、σ=1,…,n)はQi(の の 単 位 時 間 内 に 生 起 す る 平 均 飛 躍 回 数.
但 し,簡 単 化 の た め,二 つ の い ず れ の ケ ー ス に お い て も9、(t}{i=1,…,n)は σブ(の(ブ ≒ ゴ,ブ=1,
…,n),zihi⑦CZ=1,…,n,傷=1,…,ni)と 独 立 で あ る と す る.
こ の 複 合 確 率 過 程x(の=(x、 ⑦,…,xnCt))に 対 す る 一 般 化 さ れ た 伊 藤 の 公 式 を 導 出 し た い.そ の た め に ま ず,ウ イ ナ ー 過 程VT対 す る 伊 藤 の 公 式 と デ ィ ソ キ ン の 公 式Dynkin'sformulaを 補 題 と し て 掲 げ て お く.
補 題1(ウ イ ナ ー 過 程 に 対 す る 伊 藤 の 公 式)
確 率 過 程x(の=(x・(t),…,xn(t))を,伊 藤 型 確 率 微 分 方 程 式
ni
dxi(t)=fi(x(の,≠)dt+6ihiCxCt),t)dzihi(t),2=1,…,%,(1)'
himl
x(0)=x°=所 与,(2)
の 解 過 程 と し,F{t,x(の)をtに 関 し て1回 連 続 微 分 可 能,xに 関 し て2回 連 続 微 分 可 能 で あ る
March1987板 垣 有 記 輔:複 合 制 御 確 率 過 程 の 確 率 的 最 適 制 御 問題53
よ うな 任 意 の ス カ ラ ー 関 数 とす る.こ の と き確 率 過 程F(t ,x⑦)の 確 率 微 分dFは,
n ̲nnninjnni
dF=[F汁 ΣF,ノ じ+(1/2)Σ Σ ΣFijCihijhj]dt+Σ ΣF、 σ￠庖μg翫 i(10)
↓=1i=1j=1hi=lhj=1‑i=1hi=1
で あ る.た だ し,こ こ とFL=∂F/∂4FZ∂Fj∂ 銑 ,Fiゴ=∂2F/∂ κ̀∂xゴCihijhゴ;ρ 砺 、、」(t)σ乞彫 。Jと す る.
証 明 板 垣[18],命 題14,141‑142頁 を 参 照 せ よ.ま た は,Arnold[1],(5 .3.8),90‑91頁, (5・3.11),91‑92頁,Bensoussan[4],定 理3.1,28‑29頁,Friedman[12],定 理5 ,2,81‑84 頁 ・ 定 理5・3・84頁,定 理7.1,90‑92頁,GihmanandSkorohod[14コ,定 理4,25‑26頁,注 意3・25頁 ・Harrison[16],命 題,64‑66頁,命 題,67頁,伊 藤[21コ,定 理65.1,343‑349頁,
Ito[22],定 理,X87‑193頁,Kushner[30コ,16‑17頁,LiptserandShiryayev[31] ,定 理 4・4・118‑121頁,定 理4.5,122頁,MalliarisandBrock[32],補 題4 .1,81‑85頁,補 題4.2, 85‑86頁,Merton[34],補 題375‑376頁,[37],伊 藤 の 補 題37頁 お よ び 渡 辺[41],定 理2・1,28‑29頁 を 参 照 せ よ.さ ら に 伊 藤 の 公 式 の 連 続 な 半 マ ル チ ソ ゲ ー ル へ の 一 般 化 は,Elliott
[10]・ 定 理12・11,128‑132頁,定 理12.13,132頁,定 理12.19,138‑140,Kallianpur[26],定
理4.2.1,79‑82頁,定 理4.2.3,83‑84頁,定 理4.3.1,87‑89頁,90頁,4.5(伊 藤 の 公 式 の ベ ク ト ル 値 版),92‑93頁,国 田[29],定 理6。18,152‑156頁 お よ び 渡 辺[41コ,定 理3 .5(一 般 化 さ れ た 伊 藤 の 公 式),40‑42頁 を 参 照 せ よ.
瓦[F(ちx⑦)コ ーF(蝋 ・))一 醸 〔瓦(蝋 ・))+∬(F(z,x(・)))]dz が 成 り立 つ.こ こ に微 分 生 成 作 用 素9(・)は,
補 題2(ウ イ ナ ー 過 程 に 対 す る デ ィ ソ キ ソ の 公 式)
確 率 過 程x①e(xl(の,…,xn(t>)を,伊 藤 型 確 率 微 分 方 程 式 dxti(の=f(x(の,t)dt+6ihy(x(の,t)dzihi(の,i=1,…,n,(1)・
x(0)=x°̲所 与,(2)
の 解 過 程 と し,F(t,x(t))は'に 関 し て1回 連 続 微 分 可 能,xに 関 し て2回 連 続 微 分 可 能 で あ る よ うな 任 意 の ス カ ラ ー 関 数 とす る.こ の と き,0≦S≦tに 対 し て,ES[F(t,x⑦]が 存 在 す れ ば ,
t
(11)
nnnninj
∬(・)=[Σ 八 ∂/∂xti)+(1/2)Σ Σ Σ Σo、 碗ゴlij(∂2/∂κ、∂η ユ(・),
i=1i=1j=3.hi=1hj=1
で あ る.
(12)
証 明 板 垣[18コ,命 題15,143‑144頁 を 参 照 せ ・よ.ま た は,Elliott[10],274‑275頁,福 島 ・ 石 井[13コ ・71頁 ・Kallianpur[26],定 理4.4.2,91頁,Kushner[30],10頁,Merton[34コ , 376‑377頁 を 参 照 せ よ.
補 題1を 用 い て,ウ イ ナ ー 過 程 と ボ ア ソ ソ 過 程 と の 複 合 確 率 過 程 に 対 す る 一 般 化 さ れ た 伊 藤 の
54
公 式 を 導 出 す る.
季刊 創 価 経 済 論 集 Vol.XVIINo.4
命 題1(ウ イ ナ ー 過 程 と ポ ア ソ ソ過 程 と の 複 合 確 率 過 程 に 対 す る 一 般 化 さ れ た 伊 藤 の 公 式) 複 合 確 率 過 程x(t}̲(x・(の,…,xn(の)を,確 率 微 分 方 程 式
ni
dxi(の=fL(x(t),t)dt+6ihi(x(の,の ぬ び吻(t)+9乞(x(の,t)dqi(の,i=1,…,n,(1)
i=1
x(0)=x。=所 与,(2)
の 解 過 程 と し,F(t,x(の)を'に 関 し て1回 連 続 微 分 可 能,xに つ い て2回 連 続 微 分 可 能 で あ る よ うな 任 意 の ス カ ラ ー 関 数 とす る.こ の と き 確 率 過 程F(t,x{t))の 確 率 微 分 は,
nnnnZnjnni
dF=[F汁 ΣFノ+(1/2)Σ Σ ΣL1'ijCihijhj]dt+Σ ΣF画 んμ9脇i
2=1j=11じr11り=11=1i=1hi=1
/婿'∫[F(t,x‑1‑gaT)一 一F(t,x)コ勲 甑(ケ 引)+
函 臨 ・・一+一 ・・㌧η 一F(t,x)]ρ べの)dai(ケ ー ス ∬)
(13) 但 し,g=(gl,…,9π)で あ る.
証 明
(ケ ー ス1) dF= μ4Fl +(1一 λの4Fl姻/
暑 脚F・ 一 吻 鼎 の+(1一 暑 醐4F・ 姻
aatf… ∫[F(t+伽+dx)1伽 一F(ちx)]ρ(α)dai…4α ・
十(1一 λ4の6Fldα=o,
象 瀦 ∫[F(t+dt,x1,… ・xi‑・ ・xi+dxZ,xti+z,… ・xn)1・ ・一
テ ー ラ ー 展 開 し て,
n
‑F(t ,x)]ρ 乞(az)dai+(1一 Σ λ乞の4F回 α.・
2=1
λ4'∫… ∫[F(t,x)+FCdt+嘗F拗+自 嵩F伽 晦+嘗F面 α・
‑F(ちx)]ρ(α)dal…dan十(1一 羅 彦)dF,dq ‑o
か4'∫[F(ちx)+勲+Fifzdt+毒 β 伽 颪+Figiai n
‑F(ちx)]あ(az)dai+(1一 Σ λ諺)dF,dq‑・
i=1
(ケ ー ス1)
(ケ ー ス1)
(ケ ー スH)
(ケ ー ス1)
(ケ ー ス 亘)
March1987板 垣 有 記 輔:複 合 制 御 確 率 過 程 の確 率 的 最 適 制 御 問 題55 (4の2=0,(5)に 留 意 し て,
繍 ∫… ∫[F(t,x)+歯F糧 α・‑F(t,x)コ ρ(a)da、 …dan
彩=1
+(1一 繍MFI・ 、・・,(ケ ー ス1)
禽 履 ∫[F(t,x)+F愚 αrF(t,x)]A(ai)dai
n +(1一 Σ λ諺
i=1)4F陶 一・(ケ ー スH)
一 鯛1二::∵ ∵1!∵ ∴ ∵ ∴ 圃
/噂̲̲)
(5)と 孝甫題1よ り,
n ̲nnninjnng
e[FL+ΣF♂+(1/2)Σ Σ Σ ΣF乞 ゴo乞ん画]碗+Σ ΣF画 んμ9
2=1i=1」=11転=11己 ゴ=12=1hi=1 抗2
+/州[F(t,x+gaT)‑F(媚 脇'●'Q,'an,(ケ …)/
趣 ∫臨 … ・一 甑 諏 一)‑F(t,x)]ρ 誕偽)dai.(ケ ー ス 豆)
証 了
命 題1に つ い て,Davis[8コ,福 島 ・石 井[13],§4.4(飛 躍 形 マ ル コ フ 過 程 の 生 成 作 用 素),65‑
68頁,GihmanandSkorohod[14],定 理1,269‑270頁,定 理2,272頁,IkedaandWatanabe
[17]・ 定 理5・1・66‑73頁,Kushner[30],18‑20頁,MalliarisandBrock[32コ,命 題12 .1, 122頁,Merton[34],395‑396頁,[37],48頁 も 参 照 せ よ .
(3),(13)か ら, limEご[dF(t,x(t))/dt]
dt‑>O
n ̲nnnynj
=FL+1'if2+(1/2)Σ Σ ΣF
z,iCingjh」
2=1i=13=11吻=11轟 ゴ=1
!λ∫… ∫[F(t
,x+gaT)‐F(t,x)]ρ(a)day…dan,(ケ ー ス1)
+!
細[F(t,x・,…,瓶 劣岬 轟.・,…,xn)‑F(ち κ脳 α蜘.(ケ ー 刈)
C14>
56季 刊 創 価 経 済 論 集Vo1.XVIINo.4
い ま,ウ イナ ー 過 程 と ボ ア ソ ン過 程 と の 複 合 確 率 過 程 に 対 す る 微 分 生 成 作 用 素9(・F)を
nnnniれ ゴ
9(F)全 ΣF諺+(1/2)Σ Σ Σ ΣF勾6婦 ・ゴ
i=17=1hi=1ん ン=12=1
λ∫… ∫〔F伽+9の 一F(t,x)コ ρ ω4α ・…day,,(ケ ー ス1)
+亀 λ
・∫[F(t,xl,…,xi‑1,xi+giaZexi+le…xn)
‑F(t ,x)コ カ包(ai)dai(ケ ー スn)
(15) と 定i義 す れ ば,(14),(15)か ら
1imE、[dF(ちx(の)/朔=F、(ちx⑦)+9(F(t,x(t))).(16)
dt→0
命 題2(ウ イ ナ ー 過 程 と ボ ア ソ ソ 過 程 と の 複 合 確 率 過 程 に 対 す る 一 般 化 さ れ た デ ィ ソ キ ソ の 公 式)
複 合 確 率 過 程x(の;(x・(の,…,xn(の)を,確 率 微 分 方 程 式
れオ
dxi(t)=fi(x⑦,t)dt+Σ i=1σ砺 α(の,t)dzihi(t)+&(x{t)t)dqv(t),2=1,…,n,(1)
x(0)=x°=所 与,(2)
の 解 過 程 と し,F(t,x(の)をtに 関 し て1回 連 続 微 分 可 能,xに 関 し て2回 連 続 微 分 可 能 で あ る よ うな 任 意 の ス カ ラ ー 関 数 と す る.こ の と き,0≦S≦tに 対 し て,ES[F(t,x(の)]が 存 在 す れ ば,
LS[F(t,x(t))コ ーF(s,x(s))一 瓦 ∫:[駈 廊))+9(F(z,x(z)))]4τ(・7)
が 成 り立 つ.こ こに,ウ イナ ー 過 程 と ボ ア ソ ソ過 程 との 複 合 確 率 過 程 に 対 す る 微 分 生 成 作 用 素 9(F)は,
nnnれ ぢnj
9(F)=ΣFfノ ・+(1/2)Σ Σ ΣFijCihtijhj
i=1i=1j=1hi=1hj=1
λ∫… ∫[F(t,x+gaT)‑F(t,x)コp{a)da・ …dun,(ケ ー ス1)
+禽 λ
・∫[F(t,x・ ・・…xi̲・ ・κ・÷giai,xi+1,… ・xn)
‑F(t ,x)コρ乞(ai)dati(ケ ー スII)
(15) で あ る.・
証 明 命 題1の(13)を 微 分 生 成 作 用 素(15)を 用 い て 表 わ せ ば,
March1987板 垣 有 記 輔:複 合 制 御 確 率 過 程 の確 率 的 最 適 制 御 問 題
nれ あ
dF=[F汁9(F)]dt+Σ ΣF琶 の 碗礁 仇乞
i=1hi=1
とな るか ら,こ の 積 分 形 式 は,0≦S≦tに 対 して,
F(t,x(の)‑F(s,x(S))一 ∫:[Fz(r,x(τ))+卯(z,x(τ)))]4τ
+nnii=1.h2=、∫:F・σ抗μ 軌
と な り,伊 藤 確 率 積 分It6'sstochasticintegralの 基 本 的 性 質 の1つ E'J:塩 ・轟Fqゴ ー1,… ,n,hi‑1,…,nz
を 考 慮 し て,
yS[F(ちx(t))]‑F(s,x(・))一 瓦 ∫:[Fz(蝋 ・))+9(F(i ,x(τ)))]碗
57
証了
第2節 複合制御確率過程 に対す る確率 的最適制御 問題
2.1確 率 的 最 適 制 御 問 題 の ハ ミ ル ト ン ・ヤ コ ビ ・ベ ル マ ン の 方 程 式
状 態 ベ ク トルx(t)=(x・(の,…,塩(の)の,制 御 ベ ク トルu⑦=(ui⑦,…,um⑦)∈Uを 含 む 制 御 確 率 微 分 方 程 式colltrolledstochasticdifferentialequation
n2
dxi(t)プ"i(x(の,u(t),t)dt+Σ σ砺 α(t),u(t),の 磁 、、(の
んZ=1
gi(x⑦,u(の,t)dqi(の,i=1,…,n,』(1) x(0)=x。=所 与,(2)
x(T)=自 由,(3) T=所 与,(4)
を 制 約 条 件 と し て,ボ ル ツ ア 型 の 目 的 汎 関 数 E・[STf・(x(t),u(の,t)dt+B(x(T) ,T)]
を,制 御(u⑦)TOに 関 して 最 大 化 せ よ とい う,固 定 始 点 ・自由終 点 ・固 定 計 画 期 間 を もつ 非 自 律 的'確 率 的 な ボ ル ツ ア 型 の 最 逼 制 御 問 題 を 考 え る ・ こ こ にdz2hz(t)妹 檬 準 ウ ィ 才 一 過 程2砺(の
の 確 率 微 分 で,dqi(t)は ボ ア ソ ソ 過 程qz(t)の 増 分 で 第1節 を 述 べ た 性 質 を 有 す る.
任 意 の 時 点t∈[0,7「 コ の 点x(t)=xtを 初 期 状 態 と す る 最 適 値 関 数 を ノ(κ①,の,す な わ ち
58
ノ(x(の,の 全Max (u{r)jt
subjectto
季 刊 創 価 経 済 論 集Vol.XVIINo.4 Et[∫ ン ・(x(・),u(・),τ)dz+B(x{T),T)コ(5)
dxi(τ)=プi(x(τ),u(τ),τ)dz
ng
+6ing(x(τ),u(τ),τ)礁 仇 乞(τ)
椀;1
+gi(x(τ),u(τ),τ)dqi(τ),Z=1,…,n, x(の=xc=所 与,
x(T)=自 由, lT=所 与,
こ の ノ(x(の,の に 確 率 的 動 的 計 と定 義 す る.ノ(x(の,の は 十 分 な め らか な 関 数 で あ る と仮 定 し,
画 法 の 最 適 性 の 原 理theprincipleofoptimalityofthestochasticdynamicprogramming を 適 用 す れ ば,十 分 小 さ いdt(>0)に 対 し て,
・(x⑦ ・の 驚)r聯o(x(・)・%(・)・ ・)ゴτ+B(x(T)・T)]
一 鷲 離[∫:+dt{0(x(τ) ・u(・)・ τ)dz+TSt ‑3‑d!o(x(τ)・u(τ)・ τ)dz
十B(x(T),T)コ
=Max
{u(z))1.LLdt{∫:+㌻o(x(τ)・u(・)・ τ)4τ
+瀦
)EtTt+dL・dt[TSt+a.(x(τ)・u(・)・ ・)dz+B(xの ・T)]}
驚)評[∫:+dt.f°Cx(τ)細,τ)蝋x㈹)・ 鰯]・
こ の 両 辺 か らJ(x(t},t)を 引 け ば,
・‑Max
(u(z))♂[∫:+dt{0(x(鋼 ・)・τ)鮒(x(t+dt)・ 禰 一ノ(伽]
=MaxEt[ノo(x(t) ,x('),t)十 〇(dt)十 ノ(x(t十dt),t十dt)一 ノ(x(t),の].
(u(τ))1+dt
両 辺 をdtで 割 りdt→0な る 極 限 操 作 を 行 う と, 0=Max{.f°Cx(の,u⑦,の 十1imEt[dJ(x(の,の1朔}
u(t)dt→0
第1節 の(15)を 適 用 し て,
nnnninj
=Max{∫o(x(の ,u(彦),の+Jt+Σ ノノ+(1/2)Σ Σ Σ Σ んc齢 吻
u(t) i=12=1ゴ=11殉 二11乞 ゴニ1
March1987板 垣 有 記輔:複 合 制 御 確 率 過 程 の 確 率 的 最 適 制 御 問 題5g
+1"伽 帥)‑J(x,t)コp(a)daz…da,t,(ケ ー ス1)
/か ∫[・Cxl,・・一 一 一 … 翫 の 一溜)コpi(ai)dai.(ケ 畑 C6) い ま,ウ イナ ー過 程 とボ ア ソ ン過 程 との複 合 制 御 確 率 過 程 に 対 す る微 分 生 成 作 用 素9艇1)を,
nnnntinj (」'u(J)全 Σ ノ≠(x(t)
,u(t),t)+(1/2)Σ Σ Σ‑」,1ijCihijh.3
2二1ゴ=11%41し2=1i=1
λ∫… ∫[J(x+gaT,t)T(x,t)]p(a)da・ …uan,(ケ ー ス1)
+謄 ∴ ∵ 疏瓶
̲H)
と 定 義 す れ ば,(6)は
0=Max{f°(x(の,u(t),t)十Jt(κ ⑦,の 十Qu(ノ(x⑦,の)},(7) u(t)
と 表 わ さ れ る.わ れ わ れ は(7)を,ウ イ ナ ー 過 程 と ボ ア ソ ン 過 程 と の 複 合 制 御 確 率 過 程 に 対 す る 確 率 的 最 適 制 御 問 題 の ハ ミ ル ト ン ・ ヤ コ ビ ・ベ ル マ ン の 方 程 式Hamilton‑Jacobi‑Bellman
equationofoptimalstochasticcontrolformixedWienerandPoissonprocessesと 呼 ぶ こ と に す る.ノ(x⑦,の のTに お け る 境 界 条 件 は,(5)か ら,
J(x(T),T)一 一B(x(T),T).(8) よ っ て,
命 題1固 定 始 点 ・自由 終 点 ・固 定 計 画 期 間 を もつ 非 自律 的 ・確 率 的 な ボ ル ツ ア型 の最 適 制 御 問 題
Max
(u(t)¥TO[∫ 藷(x(t),u(t)・t)dt+B(x(T)・T)コ
subjectto
ni
dxi(の=fi(x①,u(の,')認+6ikz(x(t),u⑦,の 血 漉 乞⑦
hi=1
十g2(x(t),u(の,t)dqi(t),i=1,…,n,(1)
域(0)=x。=所 与,(2)
x(T)=自 由,(3) 1、T=所 与,(4)
の 最 適 径 路(x(の)TOと 最 適 制 御(u*(の 兆 は, 最 大 値 条 件:任 意 のt∈[0,T]に 対 し て,
6(⊃ 季 刊 創 価 経 済 論 集Vol .XVIINo.4
.f°Cx(の,u*(の,t)十9勧*(1(x(t),t))十Jt(κ ①,t}
=Max
u(t){!o(x(t),u(t)・ の+少 σ α α)・の)+Tt(x(t)・')}(9)
を 満 足 し な け れ ば な ら な い.こ こ に49砺(の は 標 準 ウ イ ナ ー 過 程9砺 σ)の 確 率 微 分 で あ り, dqi(t)は,ボ ア ソ ン 過 程 の ⑦ の 増 分 で あ り,
ケ ー ス1:
1)Y[uqi(の=のCz=1,…,n)コ 實 え認 十 〇(dt) , Pr[dqZ(t)=OCi=1,…,n)コ=・1一 λ漉 十 〇(dt) , ケ ー スH:
Pr[dqi⑦ コ α名]=λ 乞誘 十 〇(dt),2=1,…,n,
で あ る.ま た9㍑ は ウ イ ナ ー 過 程 と ポ ア ソ ソ 過 程 と の 複 合 制 御 確 率 過 程 に 対 す る 微 分 生 成 作 用 素 で,
nnれninゴ
9鎚(ノ)=Σ み ノz(x(の,u(の,の+(1/2)Σ Σ Σ Σ んo抗 吻
i;1乞 盤11=1ki;1煽=1
+齢llひ∵:∴
(ケ ー ス1)(ケ ー ス1) (10) で あ り,ケ ー ス1の ρ(a)は ラ ン ダ ム 時 に 起 こ る 飛 躍 の ラ ン ダ ム な 振 幅a=(α ・,…,an)の 同 時 密 度 関 数 で,λ はq(t)==(R「1(t),…,qn(t))単 位 時 間 内 の 平 均 飛 躍 回 数,ケ ー ス 豆の ρ君(α∂ は ラ ソ ダ ム 時 に 起 こ る 飛 躍 の ラ ン ダ ム な 振 幅 α・ の 密 度 関 数 で,ゐ はQi(の の 単 位 時 間 内 に 起 こ る平 均 飛 躍 回 数 で あ る.
命 題1に つ い て,Davis[8],47‑65頁,Dreyfus[9コ,224‑226頁,EIIiott[10],252‑272頁,
MalliarisandBrock[32コ,命 題12 .2,124頁 も 参 照 せ よ.命 題1の 経 済 学 へ の 適 用 例 と し て, ArrowandChang[2コ,BrennanandSchwartz[5コ,JarrowandRosenfeld[25コ ,Merton
[34],395‑401頁 お よ びSundaresanE40コ な ど が あ る.
命 題2制 約 条 件(1),(2),(3),(4)を 満 た す 任 意 の 解 を{x(t),u(t):t∈CO,T],u(彦)∈ σ}
と し,制 約 条 件(1),(2),(3),(4),・ ・ミル ト ン ・ヤ コ ビ ・ベ ル マ ソ の 方 程 式(7)お よ び 境 界 条 件(8)を 満 た す 解 を{x*(t),u*(t):t∈[0,Tコ,ガ(t)∈U}と す れ ば,解{x*ct),%*⑦ ゴ ∈[0,Tコ, u*(の ∈U}は 命 題1の 固 定 始 点 ・自 由 終 点 ・固 定 計 画 期 間 を も つ 非 自 律 的 ・確 率 的 ・ボ ル ツ ア 型0)最 適 制 御 問 題 の 最 適 解 で あ る.
証 明 解{x(の,u(の ゴ ∈[0,T],u(t)∈U}と 解{x*α)u*(t)t∈[0,T],u*⑦ ∈U}と に 対
March1987板 垣 有 記 輔:複 合 制 御 確 率 過 程 の確 率 的 最 適 制 御 問題6・
し て,(7)よ り
アo(x*(t),u*(t),t)十Jr{x*(の,の 十9㏄*(TCx*(の,の)=0
≧.f°CxCt),Zd(の,の 十Jt(x(の,の 十9初(J(x(の,の).(11)
第1節 の 命 題2(ウ イ ナ ー 過 程 と ボ ア ソ ン過 程 と の 複 合 確 率 過 程 に 対 す る 一 般 化 さ れ た デ ィ ソ キ ン の 公 式)を 適 用 す れ ば,T(x(の,t)に 対 し て,
Eo[J(x(T),T)]J(x(0),0)
‑E・ ∫1[双 κ① ,の+少 σ(x⑦,t))コdt,(12) 同 様 に ノ(x*(の,t)に 対 し て,
E9[J(x*(T),T)]T(x*(0),0)
=E・ ∫1[Tt(x・(の,の+少 ・(J(x・(の,の)]4ち(13) が そ れ ぞ れ 成 り立 つ.こ こ に,9艇 ノ)は(10)で,u*(J(x*ct),t>)は,
u*(J(x*fit) ,t))
nnn ninゴ
=Σ み(x*(の ,t)fi(x*(の,u*(の,の+(1/2)Σ Σ Σ Σ.ん(x*(の,のCahi3hj
乞=1炉1.9=1hi=1hゴ=1
!
十
/
λ∫… ∫[J(x・+gaT,t)‑T(x,t)コ ρ(a)da・ …uan
か ∫[1(x・ ・,…,x・ ・一・,xi+giai,x㌔ ・,…,x・ ・,の
一 ノ(x*
,の]あ(偽)dai,
(ケ ー ス1)
(ケ ー ス 豆) (14) で あ る.{x(の,u(t):t∈[0,T],u(の ∈ σ}も{x*⑦,u*(の ゴ ∈[0,Tコ,u*(のEσ}も と も に(2) を 満 た す の で,
x(0)=x*(0)=x°=所 与 で あ る か ら,
ノてx(0),0)瓢=ノ(x*(0),0)=ノ てx°,0).(15) (8)か ら,
J(x*(T},T)=B(x*(T),T).(16)
(11)の 両 辺 を 計 画 期 間[0,T]に わ た っ て 積 分 し 期 待 値E。 を と れ ば E・ ∫ン ・(x・(の,%・ ⑦,t)dt+E・fT
O[Tt(x・(の,の+ρ ・(ノ(x・⑦,の)]dt
≧E・ ∫ン ・(x(の,u⑦,の4渉+E・ ∫[ゐ(x(t),t}+例 ノ(x(の,の)]dt.(・7)
(12),(13),(17)よ り,
E・[∫ン ・(x・('),u・(t),t)dt+ノ(x・(T),T)]一 ノ(x・(0),0)
6;a
O
C8),C15),C16),
T O
T O
季 刊 創 価 経 済 論 集
≧E・[∫ ∫ ・(x(の,u(の,t)dt+ノ(x(T),T)]‑TCx(0),0)・
(18)よ り,
E・1
0J・(x・(t),u・(t),渉)dt+B(x・ の,T)]
≧E・[∫ ∫ ・(x(t),u(t),t)dt+B(x・(T),T)コ ・
Vol.XVIINo.4 (18)
証了
2.2割 引 きの あ る場 合の 確率 的最 適制 御問題
瞬時的割引率 ρ(の(>0)で 割引かれ る場合の確率的最適制御問題
Vlax
Cu(t))TO一 瞭(x(t)・%(の)exp(f:ρ(・)dz)dt+B(x(T))exp(一 ∫1ρ(τ)dz)
n;,
伽(の=fiCxCt),u(の)dt+6ing(x(の,u(t))dzihi(t) 2=1 十gi(x(の,u(の)dqi(t),2=1,…,n x(0)=x°=所 与,
x(T)=自 由, T=所 与,
を 考 え る.こ の 問 題 に 対 す る 最 適 値 関 数J(x(t),の は,
T(綱 一 糖 瞭(x(τ),u(・))exp(一 ∫1ρ(・)ds)dz
+B(x(T))exp(一 ∫1ρ(τ)dT)
一 ・xp←rc
Jlop(・)ds){Max(u(z))T
tEt[∫ 艶(x(・),u(・))exp(‑s(・)磁
+B(x(T))exp(一 ∫1ρ(・)d・)}
‑exp(一 ∫:ρ(S)ds)・v(x(t) ,の,
と表 わ さ れ る.こ こ にV(x(の,の は
V(x(t)・ の 全 糖 現[伽(x(τ)・u(τ))exp(一 ∫1ρ(S)ds)d・
+B(x{T))exp(‐ 」 tp(z)dz), で あ る.(19)よ り,
Jt=exp(sop(S)ds)(7・ 一 ργ),
(1)ノ (2) (3) (4)
(19)
(20)
(21)
March1987板 垣 有 記 輔:複 合 制 御 確 率 過 程 の 確 率 的 最 適 制 御 問題 c
s」
i;=exp(‑S
op{s)ds)・VZ,.
い ま,
f・(x(t>,u(t),t)一.f・(x(の,u(の)exp(一 ∫1ρ(τ)dz,
B(x(T),T)‑B(x(T))exp(一 ∫1ρ(・)d・),
な る こ と を 考 慮 し て,(19),(21),(22),(23),(24),(25)を(6)に 代 入 す れ ば,
・=Max{f°{x(t
ufit})・%⑦)exp←Op(τ)dz)+exp(S̀OP(S)ds)(Vt‐pV)
+急exp(一 ∫1ρ(・)ds)Vtifi+(・/2)nnni
i=1j=1ki=、 毒 曾xp←rtap(S)ds)VijCilzi.ih7
+/鵠:J'Or O::∵1鷺 ∵1∴ ∴
‑V(x ,の コρ民 α∂4砺.
両 辺 にexp(∫;ρ(s)ds)を 鮒 れ1ま,
PCt)V(x(t>,の=Max{.f°(x(の,u(t))+9窃(V(x(の,の)+VL(x(t)t}}
ufit)
を 得 る.こ こ に9艇7(x(の,の は,(1)'を 考 慮 し て,
nnnninj
u(V(x(の
,t>=ΣVZfz(x(の,u(の)+(1/2)Σ Σ Σ ΣVijCih2jhj
i=1i=1j=1hi=1hj=1
λ∫… ∫[V(x+gaT,t)‑y(x,t)コ カ(a)da・ …dan
+か ∫[V(x
l,…,xi‑・,筋+giai,xif・,…,xn,t)
一v(x ,t)]1)Z(ai)day,
63
(22) (23)
(24) C25)
(ケ ー ス1)
(ケ ー スn)
(26)
(ケ ー ス1)
(ケ ー スH) で あ る.わ れ わ れ は,(26)を,ウ イナ ー 過 程 と ポ ア ソ ン 過 程 と の 複 合 制 御 確 率 過 程 に 対 す る割 引 き の あ る場 合 の 確 率 的 最 適 制 御 問 題 の ハ ミル ト ン ・ヤ コ ビ ・ベ ル マ ン の 方 程 式 と 呼 ぶ.
最 後 にT→ 。。 の と き は,(20)の 右 辺 はx(の だ け の 関 数 と な る の で,こ れ をv(x(の)と 表 わ せ ぽ,(21)は,
Jt‑一 ρ(t)V(x⑦)exp(‑J
OP(・)ds) と な り,し た が っ て(26)は,
ρ(t}V(x(の)=Max{f°(x(の,u(t))十9麗(V(x(の)}
u(t) (27)
6斗 季刊 創 価 経 済 論 集 Vol.XVIINo.4 と な る.こ こ に9%(V(x(の)は,
れnnninj 9%(V(x(t))Vtifi
i=1(x(の ・u(の)+(1/2)i=ij=1hi=、hj=、Vijcihijhj
λ∫… ∫[V(x+gaT)‑V(x)コ ρ(a)cla・ …uan (ケ ー ス1)
轡1翻1+ (ケ ー 一)
で あ る.わ れ わ れ は,(27)を,ウ イナ ー過 程 とボ ア ソ ン過 程 との 複 合 制 御 確 率 過 程 に対 す る無 限 計 画 期 間 を もつ 割 引 き の あ る 場 合 の 確 率 的 最 適 制 御 問 題 の ハ ミル トン ・ヤ コ ビ ・ベ ル マ ソの 方 程 式 と呼 ぶ.
参 照 文 献
[1:]Arnold,L.,StochasticDifferentialEquations:TheoryandApplications.NewYork:John Wzley&Sons,2974.
[2:]Arrow,K.J.andS.L.Chang,"OptimalPricing,Use,andExplorationofUncertain NaturalResourceStocks",DynamicOptin2izationandMathematicalEconomics.Editedby Pan‑TaiLiu.NewYork:PlenumPress,1980,pp.105‑116.
[3̲]Bellman,R.,DynamicProgramming.Princeton,NewJersey:PrincetonUniversityPress,
1957.小 田 中 敏 男 他 訳rダ イ ナ ミ ッ ク ・ フ.ロ グ ラ ミ ソ グ 』,東 京:東 京 図 書,1973年 .
[4:]Bensoussan,A.,StochasticControlbyFunctionalAnalysisMethods,StudiesinMathematics anditsApplications,Vol.11.Amsterdam:North‑Holland,1982.
[5=]Brennan,M.J.andE.S.Schwartz,"RegulationandCorporateInvestmentPolicy",journal ofFinance,Val.XXXVII,No.2(May1982),pp.289‑300.
[6̲]Chow,G.C.,"OptimalUseandExplorationofaNaturalResource",EconometricAnalysis byContYOIMethods,AVolumeintheWileySeriesinProbabilityandMathematicalStatis‑
tics.NewYork:JohnWiley&Sons,1981,Chapter19,pp.291‑301.
[7‑]Cox,J.C.andS.A.Ross,"TheValuationofOptionsforAlternativeStochasticProcesses", JournalofFinancialEconomics,Vo1.3,Nos.1/2(January/March,1976),PP.145‑166.
[8]Davis,M.H.A.,LecturesonStochasticControlandNonlinearFiltering,LecturesonMathema‑
ticsandPhysics,Mathematics75.Bombay:TataInstituteofFundamentalResearch,1984.
9̲]Dreyfus,S.E.,DynamicPrograrnrningandtheCalculusofVariations,Vol.21inMathema‑
ticsinScienceandEngineering.NewYork:AcademicPress,1965.
C10:]Elliott,R.J.,StochasticCalculusandApplications,ApplicationsofMathematics,Vol.18.
NewYork:Springer‑Verlag,1.982.
[11:]Fleming,W.H.andR.W.Rishel,DeterministicandStochasticOptimalControl,Applications ofMathematics,Vol.1.NewYork:Springer‑Verlag,1975.
[12:]Friedman,A.,StochasticDifferentialEquationsandApplications,Vol.1,AVolumein ProbabilityandMathematicalStatistics.NewYork:AcademicPress,1975.
[13]福 島 正 俊 ・石 井 一 成,r自 然 現 象 と 確 率 過 程 』(数 学 セ ミ ナ ー 増 刊,入 門 現 代 の 数 学10).東 京;日 本 評
March1987 板垣 有記輔 」複合制御確 率過程 の確 率的最適制御 問題 65 論 社,1980.
[14]Gihman,1.1.andA.V.Skorohod,StochasticDifferentialEquations,ErgebnissederMathe‑
matikandihrerGrenzgebieteBand72.Berlin:Springer‑Verlag ,1972.
[15]ControlledStochasticProcesses.NewYork:Springer‑Verlag,1979.
[16]Harrison,J.M.,BrownianMotionandStochasticFlowSystems,AVolumeintheWiley SeriesinProbabilityandMathematicalStatistics.NewYork:JohnWileyandSons,1985.
[17]Ikeda,N.andS.Watanabe,StochasticDifferentialEquationsandDiffusionProcesses,North‑
HollandMathematicalLibrary,Vol.24.Amsterdam:North‑Holland/Tokyo:Kodansha ,1981.
[18]板 垣 有 記 輔r動 的 最 適 化 と 経 済 理 論 』 東 京:多 賀 出 版,1985年.
[19],「 固 定 計 画 期 間 を も つ 自 律 的 ・確 率 的 最 適 制 御 問 題 」,r創 価 経 済 論 集 』,第15巻 第1号,1985年
6月,pp.79‑90.
[20],「 自 由 な 計 画 期 間 を も つ 自 律 的 ・確 率 的 最 適 制 御 問 題 」,r創 価 経 済 論 集 』,第15巻 第2,3,4合 併
号,1986年3月,PP.101‑112.
[21コ 伊 藤 清r確 率 論 』(現 代 数 学14).東 京:岩 波 書 店,1953年(第1刷),1973年(第14刷).
[22]Ito,K.,LectureonStochasticProcesses,LecturesonMathematicsandPhysics,Mathematics
24,Bombay:TataInstituteofFundamentalResearch ,1961,Reissued1984.
[23]伊 藤 清r確 率 論(1・ ∬ ・皿)』(岩 波 講 座 基 礎 数 学).東 京1岩 波 書 店,11976年,互1977年,皿1978年.
[24],「 確 率 解 析 学 の な り た ち 」,r数 学 』,第34巻 第2号,1982年4月 春 季 号,PP.75‑85.
X25]Jarrow,R.A.andE.R.Rosenfeld,"JumpRisksandtheIntertemporalCapitalAsset PricingMode1,"ノournalofBusiness,Vol.57,No.3(July,1984),pp.337‑351.
[26]Kallianpur,G.,S'oo勿s'♂oF㍑ θ吻g7■ 加oη,ApplicationsofMathematics,Vol.13,NewYork:
Springer‑Verlag,1980.
[27]Kamien,M.1.andN.L.Schwartz,Z加 α露00μ 伽 知 ≠納:TheCalculusofVariationsand OptimalControlinEconomicsandManagement,DynamicEconomics:TheoryandApplica一
tions,Vol.4.NewYork:North‑Holland,1981,
[281Krylov,N.V.,ControlledDiffusionProcesses,ApplicationsofMathematics,Vol.14.New York:Springer‑Verlag,1984.
[29コ 國 田 寛r確 率 過 程 の 推 定 』(数 理 解 析 と そ の 周 辺14).東 京:産 業 図 書,1976年.
[30コKushner,H.J.,StochasticStabilityandControl,Vo1,33inMathematicsinScienceand Engineering.NewYork:AcademicPress,1967.
[31コLiptser,R.S.andA.N.Shiryayev,StatisticsofRandoynProcessesIGeneralTheory,
ApplicationsofMathematics,Vol.5 .NewYork:Springer‑Varlag,1 .974.
[32]Malliaris,A.G,andW.A.Brock,StochasticMethodsinEconoynicsandFinance,Advanced
TextbooksinEconomics,Vol.17.Amsterdam:North‑Holland,1982 .
[33コMcDonald,RandD.Siegel,"TheValueofWaitingtoInvestment",QuarterlyjouYnal ofEconoynics,Vol.CI,Issue4{November,1986),pp.707‑727.
[34]Merton,R.C.,"OptimumConsumptionandPortfolioRulesinaContinuous‑TimeModel", ノournalofEooπo厩6Theory.Vo1.3,No.4(1971),pp.373‑413.
[35コ,Erratum,Journalofco720rnicTheory,Vol.6,No.2(April,1973),PP.213‑214.
[36]"OptionPricingwithUnderlyingStockReturnsarediscontinuous",Journalof
FinancialEconomics,Vol.3,Nos.1/2(January/March ,1976),pp.125‑144.
X37]"OntheMathematicsandEconomicAssumptionsofContinuous‑TimeModel",
FinancialEconoynics:EssaysinHonorofPaulCootner .EditedbyW.F.SharpeandC.M.
Cootner.EnglewoodCliffs,N.エ:Prentice‑Hall,1982 ,pp.19‑51.
[38]Oldfield,G.S.,Jr.,R.J.RogalskiandR.A.Jarrow,"AnAutoregressiveJumpProcess
66 季刊 創 価 経 済 論 集 Vol.XVIINo.4
forCommonStockReturns",journalofFinancialEconomics,Vol.5,No.3(December,1977), PP・389‑418.
[39]Pontryagin,L.S.,V.G.Boltyanskii,R.V.Gamkrelidze,E.F.Mishchenko,TheMathe‑
maticalTheoYyofOμ 吻 α1Processes.TranslatedbyK,N.Trirogoff.NewYork:Interscience,
1962.関 根 智 明 訳r最 適 過 程 の 数 学 的 理 論 』.東 京:文 一 総 合 出 版(旧 社 名:総 合 図 書),1967年.
[40]Sundaresan,S.M.,"EquilibriumValuationofNaturalResources",∫oπ7%α1げ 伽 ∫競 ∬,Vol, 57,No.4(October,1984),pp.493‑518.
[41]渡 辺 信 三r確 率 微 分 方 程 式 』(数 理 解 析 と そ の 周 辺9).東 京:産 業 図 書,1975年.
(経済 学部教授)
