5.1 本研究の成果
本研究では、強化学習理論に基づくマルチエージェントモデルを構築し，自由化された電 力市場における発電事業者の行動を分析した。以下に本研究にて得られた成果及び知見を要 約する。
第 1 章では，自由化された電力市場における供給システムを，市場構造の違いと電力供給 上の特徴から分類し，現時点におけるわが国における電力自由化の動向について述べた。さ らに，わが国に先立って自由化が行われた海外諸国の電力市場における問題点についてまと め，本研究の意義を明確にした。
第 2 章では，本研究で用いた強化学習理論に基づくマルチエージェントモデルについての 説明を行った。本研究で最も重要となるのが，自律的な意思決定主体を意味するエージェン トの概念であり，電力市場をエージェントの集合体として捉えモデル化を行った。
始めに強化学習の全体の流れについて述べ，意思決定機構の基本となる行動価値関数につ いて説明を行った。また強化学習により意思決定機構を改善するにあたって，本質的な問題 となる探索と知識利用のジレンマの存在について触れ，本モデルで採用したボルツマン選択 手法について紹介した。そしてこの強化学習理論を市場モデルへと適用したアルゴリズムに ついて説明を行った。
第 3 章では，強化学習理論に基づくマルチエージェントモデルを用いて、発電事業者の入 退場を考慮に入れた電力市場モデルを構築し分析を行った。まず始めに、各エージェントが 動的環境の中でも学習し、最適な行動へと変化させることを示した。
市場方式として一日前市場のみの場合及びリアルタイム市場がある場合について分析を行い、
競争原理により導出される電源構成と発電システム総コストを最小化する電源構成とを比較 した。また、一日前市場のみの場合、市場原理に委ねるとピーク電源に十分な利益が与えら れず、石油火力が市場から撤退し、市場全体の電力供給能力はピーク時間帯の基準需要量を 満たさない事を示した。
続いて、複数の種類のプラントを所有する大規模な発電事業者が存在する場合について分 析を行った。大規模発電事業者の火力部門（石炭・LNG・石油）は小規模発電事業者（石炭）
に大きくシェアを奪われる事を示した。また、電力は価格弾力性が小さいため、小規模発電 事業者の入場後もピーク時間帯で大規模電気事業者が価格決定権を持ち、市場価格のつり上 げが行われうることを示した。その場合、市場には基準需要量を満たすだけの供給能力があ るにもかかわらずピーク時間帯で取引量は基準需要量を満たさなくなる事態が起こることを 示した。
第 4 章ではJEPXモデル構築に向けた準備的検討として連系線で結ばれた２地域を対象に JEPX市場のアルゴリズムを用いて分析を行い、発電事業者のとる行動を定量的に示した。
まず、2地域を寡占的な地域Aと競争的な地域Bとし、価格弾力性及び託送可能量を変化 させて分析を行い、価格弾力性・託送可能量が共に小さい場合において、寡占的な地域Aに おいて価格が高騰してしまう市場メカニズム20が現れることを確認した。
続いて、具体的に対象を東日本・西日本とし、企業体系やプラントの種類を考慮に入れた JEPX 市場の分析を行い、各地域の市場価格を導出した。価格弾力性を変化させて分析を行 い、両地域とも価格弾力性が小さいほど価格が上昇することを確認した。また、西日本のほ うが東日本より発電エージェント数が多く競争的であるため市場価格が低くなることを示し た。
5.2 今後の課題
本研究の今後の課題として，以下の事項を考慮した検討を続けることが考えられる。
市場取引手法の詳細化
本論文では，市場取引形態として電力取引市場とリアルタイム市場，アンシラリーサー ビスのうちの運用予備力市場の3種の市場について考慮し，分析を行った。しかし実際の 電力市場においては，相対取引，1日前市場，1時間前市場，先物市場，その他アンシラ リーサービス市場等，様々な契約期間、決済手法に基づく取引が存在する。また，市場決 済の方法として，単純にシングルオークションとダブルオークションの2種類を考慮した のみであるが，実際には1対1で行う相対契約や，プラント特性や送電制約を考慮した潮 流計算による出力調整などが存在する。今後は研究目的に応じて，これら多様な取引形態 をモデルに組み込むことが考えられる。
揚水発電所の考慮
本モデルでは簡単化のため水力を一般・揚水に区分しなかった。しかし今後、揚水発電 を考慮し、発電エージェントのプラント状態を考慮した Q 学習の導入すれば、揚水はさ まざまな戦略を取ることが可能である。また、負荷追従制約のある原子力や石炭火力との 違いが明確になり、その際の発電事業者の行動は興味深い。
入場及び退場方法の検討
本モデルにおいて発電エージェントは市場に入場する際に情報を持たず、入場した後か ら報酬によって学習を開始した。現実には発電事業者が情報を持って入場することも考え られる。よって、モデル上でも発電エージェントに情報を持たせて入場させることも考え られる。
また、本モデルでは発電システム総コストを最小化する電源構成との比較を目的の一つ としたために、市場から退場した発電エージェントは消滅する形になっている。しかし、
現実には損失を出している発電プラントはアセットマーケット等で売り払われ、新しい事 業者の下で再度市場に戻ってきて運転を再開する。このようなアセットマーケットの存在 を考慮することも考えられる。
需要エージェントのモデル化の検討
本モデルにおいて、需要エージェントの基準価格P0をどの時間帯でも一律5 ¥/kWhと して計算を行った。しかし、基準価格はその時間毎のシャドープライスで与えられること が望ましい。今後、発電部門の単価を調査し、適切な基準価格が導出されることが期待さ れる。
自由化部門・非自由化部門の考慮
2005年2月現在、日本においては契約電力500kW以上に自由化が拡大されており、2005 年度には50kW以上の高圧需要家まで自由化範囲が広げられる予定である。非自由化部門 はこれまで通り電力会社が供給義務を持つ事になるが、電力会社は限界費用の高い電源を 非自由化部門に限界費用の安い電源を自由化部門にまわすような戦略も考えられる。この ように、自由化・非自由化部門を考慮した発電事業者の行動分析も興味深い。
謝辞
本研究を進めるにあたり，数多くの方々からアドバイス，御指導を賜りました。この場を 借りて厚く御礼申し上げます。
打ち合わせ等において、適切なご指導と叱咤激励をいただきました山地憲治教授に心より 感謝いたします。研究の意義、研究に対する考え方を始め、多くの事を学びました。研究に 関する事にとどまらず、私の物事に対する考え方は山地先生からとても影響を受けたように 感じます。
いつも暖かく見守って頂き、グループミーティングや打ち合わせ等では研究の進捗状況に 応じてその都度適切なアドバイスをいただいた藤井康正助教授に心より感謝いたします。私 たちの自主性を重んじ、かつ、どうすれば研究が意義のあるものになるかを適切に指導して いただきました。また、常に気を配っていただきとてもお世話になりました。
研究生活全般にわたって，幅広く研究のサポートをして頂いた林武人助手に厚く御礼申し 上げます。お食事をご一緒できてとても楽しかったです。
助手の竹下貴之さんには、研究はもとより就職活動・学生生活に及ぶまでとてもお世話に なりました。心より感謝いたします。何度も相談にのっていただき、励ましていただきまし た。何事にも全力投球な姿に憧れました。
秘書の方々には研究活動及び生活全般にわたって，暖かく研究のサポートをして頂きまし た。心より御礼申し上げます。
同輩の岡村知暁君，北浦孝啓君，篠原剛君，室園晃徳君を始め，すでに卒業された研究室 の緒先輩方及び大学院生，卒論生の方々とは，２年間の研究生活を通じて，時には夜中まで 議論を交わし、時には真剣に相談に乗って頂き，時には楽しく遊ぶことができ，最高の仲間 と最高の２年間を過ごせたと思います。本当にありがとうございました。
研究を終えて今考えることは、私の研究は皆様に支えていただいたお陰で完成したという ことです。これからも自分は社会の皆様に支えられているという謙虚な気持ちを持ち続けて いきたいと思います。また、これから社会人になってからは少しでも社会に恩返しができる ように精一杯努力していきたいと思います。
最後に，長い学生生活を経済面，精神面で支え，私の自主性を尊重し暖かく応援してくれ た家族に心より感謝し，謝辞といたします。
2005年2月 稲垣憲治