知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-25
(45)【発行日】2023-10-03
(54)【発明の名称】電力計画管理システム及び電力計画管理方法
(51)【国際特許分類】
G06Q 50/06 20120101AFI20230926BHJP
【ＦＩ】
G06Q50/06
【請求項の数】
4
(21)【出願番号】P 2019108094
(22)【出願日】2019-06-10
(65)【公開番号】P2020201712
(43)【公開日】2020-12-17
【審査請求日】2022-02-28
(73)【特許権者】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】沼田 茂生
(72)【発明者】
【氏名】下田 英介
(72)【発明者】
【氏名】山根 俊博
【審査官】小原 正信
(56)【参考文献】
【文献】特開２０１１－００２９２９（ＪＰ，Ａ）
【文献】特開２０１９－０３２６５９（ＪＰ，Ａ）
【文献】特開２０１９－０２８８２７（ＪＰ，Ａ）
【文献】特表２０１８－５１４８５０（ＪＰ，Ａ）
【文献】特開２０１９－０４０４８３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
少なくとも、電力の取引情報及び当該電力の環境価値の電力需給履歴が記述されたブロックチェーン、電力市場の情報、天気予報情報及び電力需給先との相対契約情報の各々を備える環境における状態に対応した電力の需給を示す需給行動の各々から、電力の需給周期毎の短期電力需給計画と当該短期電力需給計画より長期の長期電力需給計画とにおける需給行動を、当該需給行動の各々の選択確率によって選択する行動器と、前記需給行動による電力の需給に基づく実績値の所定の目的指標に対する程度を示す報酬を、推定される次の需給周期の状態価値から減算することにより、前記行動器の前記選択確率を調整する強化信号を生成する評価器と、
前記需給行動を選択する前記選択確率の大きさを、前記強化信号が正の場合には前記選択確率を増加させ、前記強化信号が負の場合には前記選択確率を減少させる方策パラメータ変更部と
を備えることを特徴とする電力計画管理システム。
【請求項2】
前記報酬が、前記環境価値から得られる二酸化炭素量、電力のランニングコスト及び電力需給における予測値または計画値と実績値との誤差を含む
ことを特徴とする請求項１に記載の電力計画管理システム。
【請求項3】
前記短期電力需給計画が、前記需給周期の需要電力量の予測値、前記環境価値に示される再生エネルギーを用いた発電による発電電力の予測値、発電機による発電電力の計画値及びエネルギー貯蔵装置、託送による電力融通計画値、売電電力量、市場取引電力量及び当該市場取引電力量の入札価格を含み、前記長期電力需給計画が先物市場取引電力量と、当該先物市場取引電力量の入札価格を含む
ことを特徴とする請求項１または請求項２に記載の電力計画管理システム。
【請求項4】
行動器が、少なくとも、電力の取引情報及び当該電力の環境価値の電力需給履歴が記述されたブロックチェーン、電力市場の情報、天気予報情報及び電力需給先との相対契約情報の各々を備える環境における状態に対応した電力の需給を示す需給行動の各々から、電力の需給周期毎の短期電力需給計画と当該短期電力需給計画より長期の長期電力需給計画とにおける需給行動を、当該需給行動の各々の選択確率によって選択する需要行動選択過程と、評価器が、前記需給行動による電力の需給に基づく実績値の所定の目的指標に対する程度を示す報酬を、推定される次の需給周期の状態価値から減算することにより、前記行動器の前記選択確率を調整する強化信号を生成する評価過程と、
方策パラメータ変更部が、前記需給行動を選択する前記選択確率の大きさを、前記強化信号が正の場合には前記選択確率を増加させ、前記強化信号が負の場合には前記選択確率を減少させる方策パラメータ変更過程と
を含むことを特徴とする電力計画管理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電力計画管理システム及び電力計画管理方法に関する。
【背景技術】
【0002】
近年、気候変動をもたらす温室効果ガス（例えば、主として二酸化炭素及びフロンなど）の大幅削減が世界的に求められており、特に、企業は社会の持続可能な発展のため、温室効果ガスを低減する環境経営の取組みを活発化している。
例えば、企業が事業活動を行なうために使用する電力全量を再生可能エネルギー（以下、単に再エネと示す）化を目指す国際的な企業連合ＲＥ（Renewable Energy）１１０へ参加する企業数は、年々増加傾向にある。
例えば、企業が事業活動を行なうために使用する電力全量を再生可能エネルギー（以下、単に再エネと示す）化を目指す国際的な企業連合ＲＥ（Renewable Energy）１１０へ参加する企業数は、年々増加傾向にある。
【0003】
ＲＥ１００の参加企業は、事業運営に用いる電力を、再エネで発電した電力（以下、再エネ電力）で１００％賄う計画及び目標を提示する意思表示を行なう必要がある。
ここで、ＲＥ１００が参加企業に提示する再エネ電力の調達方法は、以下の３種類である。
Ａ．事業所の敷地内に再エネによる発電装置（発電所）を設けて自家消費する
Ｂ．再エネによる発電を行なう発電事業者から電力を購入（電力購入契約）する
Ｃ．使用する電力に対する環境価値（グリーン証明書など）を購入する
ここで、ＲＥ１００が参加企業に提示する再エネ電力の調達方法は、以下の３種類である。
Ａ．事業所の敷地内に再エネによる発電装置（発電所）を設けて自家消費する
Ｂ．再エネによる発電を行なう発電事業者から電力を購入（電力購入契約）する
Ｃ．使用する電力に対する環境価値（グリーン証明書など）を購入する
【0004】
ＲＥ１００に参加する日本企業は、事業運営に用いる電力を近い将来において、再エネ発電電力により１００％賄うための長期計画を掲げている。
その中間目標としては、事業運営に用いる電力を、再エネ発電電力により３０％程度賄うことを示している。
一方、現状においては、「環境価値」の調達方法は、「電力」から切り離された「環境価値」を購入して、再エネ発電以外で発電した「電力」にこの購入した「環境価値」を付加する間接的な「再エネ」利用が多いと考えられる。
しかし、上述した「電力」と切り離された「環境価値」のみを購入して、事業運営に用いる電力における再エネ発電電力の割合を増加させる手法は世界の趨勢からは外れている。
その中間目標としては、事業運営に用いる電力を、再エネ発電電力により３０％程度賄うことを示している。
一方、現状においては、「環境価値」の調達方法は、「電力」から切り離された「環境価値」を購入して、再エネ発電以外で発電した「電力」にこの購入した「環境価値」を付加する間接的な「再エネ」利用が多いと考えられる。
しかし、上述した「電力」と切り離された「環境価値」のみを購入して、事業運営に用いる電力における再エネ発電電力の割合を増加させる手法は世界の趨勢からは外れている。
【0005】
ところが、日本においては、現状において、「電力」と「環境価値」とが対応した再エネ発電電力を調達する手段がないのが現状である。
将来的には、制度上において可能となった、再エネ発電電力の自己託送、また買取期間終了後の再エネ発電電力の大量発生（以下、卒ＦＩＴ（Feed-in Tariff）電力と示す）に備え、卒ＦＩＴ電力を再エネ発電事業者から、電力系統を経由して、「電力」と「環境価値」とを一括調達する託送利用の必要性が高まると考えられる。すなわち、卒ＦＩＴ電力とは、余剰電力買取制度スタート時点から太陽光発電の発電電力を売電していた世帯の契約が終了して市場に供給される電力である。
将来的には、制度上において可能となった、再エネ発電電力の自己託送、また買取期間終了後の再エネ発電電力の大量発生（以下、卒ＦＩＴ（Feed-in Tariff）電力と示す）に備え、卒ＦＩＴ電力を再エネ発電事業者から、電力系統を経由して、「電力」と「環境価値」とを一括調達する託送利用の必要性が高まると考えられる。すなわち、卒ＦＩＴ電力とは、余剰電力買取制度スタート時点から太陽光発電の発電電力を売電していた世帯の契約が終了して市場に供給される電力である。
【0006】
一般に、電力系統を利用した電力託送（自己託送を含む）を行なう場合、再エネ発電事業者は、供給計画及び発電計画などの各種計画を電力広域的運営推進機関（以下、広域機関）に提出する必要がある。この広域機関は、電力を供給する電力システムの広域的な運用を管理する管理機関である。
そして、広域機関は、日常における通常の運用に加え、災害や事故などの不測の事態がいずれかの地域の発電所において発生した場合、迅速かつ円滑に電力会社間における電力の融通が行なわれるように、日本全国の電力供給を横断的に管理している。
そして、広域機関は、日常における通常の運用に加え、災害や事故などの不測の事態がいずれかの地域の発電所において発生した場合、迅速かつ円滑に電力会社間における電力の融通が行なわれるように、日本全国の電力供給を横断的に管理している。
【0007】
図４は、日本における電力システム運営に参画及び関与する諸団体の関係を示す図である。図４に示すように、国内にある全ての電気事業者は、発電や電力需給（需要、供給）に関する年間・月間・週間・翌日・当日などの計画を、電力供給の管理のために広域機関に対して提出する必要がある。
ここで、日々の電力の託送計画については、発電事業者及び小売電気事業者の各々は、毎日、翌日の電力の発電・需要の計画を広域機関を介して、一般配送電事業者に対して提出する。
ここで、日々の電力の託送計画については、発電事業者及び小売電気事業者の各々は、毎日、翌日の電力の発電・需要の計画を広域機関を介して、一般配送電事業者に対して提出する。
【0008】
また、電力の託送においては、「計画値同時同量」のルールが適用され、発電及び電力需給の双方において同時同量の義務が課されている。
すなわち、事前に計画された発電計画及び需要計画と、実績値としての発電量及び需要量とを、３０分単位のデマンド期間において一致させる必要があり、計画と実績との電力量とが一致しない場合、電気事業者が広域機関に対してインバランス料金を支払う必要がある。
すなわち、事前に計画された発電計画及び需要計画と、実績値としての発電量及び需要量とを、３０分単位のデマンド期間において一致させる必要があり、計画と実績との電力量とが一致しない場合、電気事業者が広域機関に対してインバランス料金を支払う必要がある。
【0009】
一方、上述した電力システムを管理する広域機関が存在するものの、太陽光発電や天然ガスコージェネレーションシステムなどの普及が進むに従い、この電力システムが自立分散型に変化してきている。
このため、将来的には、電力需要家とプロシューマーとが専用のプラットフォームを介して、電力がＰ２Ｐ（Peer to Peer、ネットワーク上で対等な関係にある端末間を相互に直接接続してデータを送受信する通信方式）で直接に取引されることが予想される。
このため、将来的には、電力需要家とプロシューマーとが専用のプラットフォームを介して、電力がＰ２Ｐ（Peer to Peer、ネットワーク上で対等な関係にある端末間を相互に直接接続してデータを送受信する通信方式）で直接に取引されることが予想される。
【先行技術文献】
【非特許文献】
【0010】
【文献】経済産業省、資源エネルギー庁［online］、［２０１９年６月３日検索］、インターネット＜ＵＲＬ：http://www.enecho.meti.go.jp/about/special/johoteikyo/kouikikikan.html＞
【発明の概要】
【発明が解決しようとする課題】
【0011】
発電事業者及び小売電気事業者の各々は、年度に、どの程度の発電、送電及び販売を行なうかを示した電力の供給計画を作成して、広域機関に対して提出するため、長期的な電力需給計画を作成する必要がある。
また、ＲＥ１００に参加する企業は、年間を通して、安定的に電力系統を介した電力託送（自己託送含む）により再エネ発電電力を調達し、かつ年度の再エネ発電電力の調達コストを長期間にわたって安定したい要望を有している。
また、ＲＥ１００に参加する企業は、年間を通して、安定的に電力系統を介した電力託送（自己託送含む）により再エネ発電電力を調達し、かつ年度の再エネ発電電力の調達コストを長期間にわたって安定したい要望を有している。
【0012】
しかしながら、再エネ発電電力は、年間の気候条件（四季の季節毎の気候）に大きく影響を受け、短期ならびに長期にわたる再エネ発電電力の発電予測を精度良く行なうことができず、再エネ発電電力の調達コストが大きく変動する場合がある。
また、短期あるいは長期における再エネ発電電力の発電量の予測技術が内包する予測誤差の発生を考慮した上で、年間での電力系統を介して電力託送（自己託送を含む）により、再エネ発電電力の調達コストを最小化する計画技術がない。
また、電力系統を介して託送された電力が、本当に再エネ発電電力であるか否か、すなわち電力の「環境価値」の正当性をどのように証明するかの技術が確立されていない。
また、短期あるいは長期における再エネ発電電力の発電量の予測技術が内包する予測誤差の発生を考慮した上で、年間での電力系統を介して電力託送（自己託送を含む）により、再エネ発電電力の調達コストを最小化する計画技術がない。
また、電力系統を介して託送された電力が、本当に再エネ発電電力であるか否か、すなわち電力の「環境価値」の正当性をどのように証明するかの技術が確立されていない。
【0013】
本発明は、上記の事情を考慮してなされたものであり、年間での電力系統を介して電力託送による再エネ発電電力の調達コストを最小化し、かつ電力の「環境価値」の正当性を容易に証明することが可能な電力計画管理システム及び電力計画管理方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
上記課題を解決するため、本発明の電力計画管理システムは、少なくとも、電力の取引情報及び当該電力の環境価値の電力需給履歴が記述されたブロックチェーン、電力市場の情報、天気予報情報及び電力需給先との相対契約情報の各々を備える環境における状態に対応した電力の需給を示す需給行動の各々から、電力の需給周期毎の短期電力需給計画と当該短期電力需給計画より長期の長期電力需給計画とにおける需給行動を、当該需給行動の各々の選択確率によって選択する行動器と、前記需給行動による電力の需給に基づく実績値の所定の目的指標に対する程度を示す報酬と、推定される次の需給周期の状態価値とにより、前記行動器の前記選択確率を調整する強化信号を生成する評価器と、前記需給行動を選択する前記選択確率の大きさを前記強化信号に対応して変更する方策パラメータ変更部とを備えることを特徴とする。
【0015】
本発明の電力計画管理システムは、前記方策パラメータ変更部が、前記選択確率の大きさを制御するパラメータである方策パラメータを、前記強化信号に対応して変更することを特徴とする。
【0016】
本発明の電力計画管理システムは、前記方策パラメータ変更部が、前記強化信号が正の場合、前記方策パラメータの示す前記選択確率を増加させ、一方、前記強化信号が負の場合、前記方策パラメータの示す前記選択確率を減少させることを特徴とする。
【0017】
本発明の電力計画管理システムは、前記報酬が、前記環境価値から得られる二酸化炭素量、電力のランニングコスト及び電力需給における予測値または計画値と実績値との誤差を含むことを特徴とする。
【0018】
本発明の電力計画管理システムは、前記短期電力需給計画が、前記需給周期の需要電力量の予測値、前記環境価値に示される再生エネルギーを用いた発電による発電電力の予測値、発電機による発電電力の計画値及びエネルギー貯蔵装置、託送による電力融通計画値、売電電力量、市場取引電力量及び当該市場取引電力量の入札価格を含み、前記長期電力需給計画が先物市場取引電力量と、当該先物市場取引電力量の入札価格を含むことを特徴とする。
【0019】
本発明の電力計画管理方法は、行動器が、少なくとも、電力の取引情報及び当該電力の環境価値の電力需給履歴が記述されたブロックチェーン、電力市場の情報、天気予報情報及び電力需給先との相対契約情報の各々を備える環境における状態に対応した電力の需給を示す需給行動の各々から、電力の需給周期毎の短期電力需給計画と当該短期電力需給計画より長期の長期電力需給計画とにおける需給行動を、当該需給行動の各々の選択確率によって選択する需要行動選択過程と、評価器が、前記需給行動による電力の需給に基づく実績値の所定の目的指標に対する程度を示す報酬と、推定される次の需給周期の状態価値とにより、前記行動器の前記選択確率を調整する強化信号を生成する評価過程と、方策パラメータ変更部が、前記需給行動を選択する前記選択確率の大きさを前記強化信号に対応して変更する方策パラメータ変更過程とを含むことを特徴とする。
【発明の効果】
【0020】
本発明によれば、年間での電力系統を介して電力託送による再エネ発電電力の調達コストを最小化し、かつ電力の「環境価値」の正当性を容易に証明することが可能な電力計画管理システム及び電力計画管理方法を提供することができる。
【図面の簡単な説明】
【0021】
【図1】本発明の一実施形態による電力計画管理システムの構成例を示す図である。
【図2】エージェント１３の短期電力需給計画及び長期電力需給計画の生成と推定モデルの強化学習とを説明するフローチャートである。
【図3】エージェント１３における行動器１３１及び評価器１３２の情報の流れを示す概念図である。
【図4】日本における電力システム運営に参画及び関与する諸団体の関係を示す図である。
【発明を実施するための形態】
【0022】
本発明の電力計画管理システムは、近年、盛んに各分野で用いられているブロックチェーンの技術を用いて、供給する電力とともに「環境価値（グリーン電力証書に対応した少ない二酸化炭素排出量の発電により得られた電力であること証明する記述など）」を組としてブロックを構成することで、電力の「環境価値」を証明する構成を用いている。
これにより、ブロックチェーン技術を用いて安価に構築された電力取引プラットフォームにおいて、全ての電力データ及び制御指示がスマートコントラクトにより需給マッチング処理され、直接に取引できるようになる。
本発明においては、ブロックチェーン技術を利用するメリットとして、時系列的に前のブロックのデータのハッシュ値の再計算を行なう必要があるため、ブロックチェーンにおける各ブロックにおけるデータを変更することが困難であり、電力取引における調達履歴の透明性（「環境価値」の証明を含む）を担保することができる。
これにより、ブロックチェーン技術を用いて安価に構築された電力取引プラットフォームにおいて、全ての電力データ及び制御指示がスマートコントラクトにより需給マッチング処理され、直接に取引できるようになる。
本発明においては、ブロックチェーン技術を利用するメリットとして、時系列的に前のブロックのデータのハッシュ値の再計算を行なう必要があるため、ブロックチェーンにおける各ブロックにおけるデータを変更することが困難であり、電力取引における調達履歴の透明性（「環境価値」の証明を含む）を担保することができる。
【0023】
本発明の電力計画管理システムにおいては、Ｐ２Ｐで行なわれる電力取引をブロックチェーンにて時系列な履歴として蓄積する構成が用いられる。
ここで、例えば、需要家における制御コントローラ（後述する制御コントローラ）は、例えば３０分毎（需要周期毎）に供給される消費電力と、この電力の供給先とが記載されたブロックからなる、時系列に接続したブロックチェーンを作成する。
制御コントローラは、例えば、電力プラットフォーム内における電力の供給元である電力供給施設のスマートグリッドの各々から、電力の供給量、発電種別（環境価値の証明）、取引価格、などの取引情報を取得し、この取引情報と時系列的に前のブロックから求めたハッシュ値とをブロックに記入し、履歴としてのブロックチェーンに対して連結させる。
ここで、例えば、需要家における制御コントローラ（後述する制御コントローラ）は、例えば３０分毎（需要周期毎）に供給される消費電力と、この電力の供給先とが記載されたブロックからなる、時系列に接続したブロックチェーンを作成する。
制御コントローラは、例えば、電力プラットフォーム内における電力の供給元である電力供給施設のスマートグリッドの各々から、電力の供給量、発電種別（環境価値の証明）、取引価格、などの取引情報を取得し、この取引情報と時系列的に前のブロックから求めたハッシュ値とをブロックに記入し、履歴としてのブロックチェーンに対して連結させる。
【0024】
これにより、電力需要家の各々は、ブロックチェーンに記録されている過去の電力需給情報（需要電力及び供給電力の情報）を含む環境の状態を用いて、ＡＩ（artificial intelligence、人工知能）による機械学習（本実施形態においては強化学習）を行なう。
これにより、強化学習により精度を向上させた選択確率により、状態毎に設定された行動のなかから所定の行動を選択して決定する際、ブロックチェーンに示された過去の電力需給情報における現在までの再エネ利用状況（再エネ利用率及びランニングコスト）を反映させた、電力需給予測を行なう。この際、ブロックチェーンにより、各取引における電力に対応して示された発電源の「環境価値」の証明がなされる。
これにより、強化学習により精度を向上させた選択確率により、状態毎に設定された行動のなかから所定の行動を選択して決定する際、ブロックチェーンに示された過去の電力需給情報における現在までの再エネ利用状況（再エネ利用率及びランニングコスト）を反映させた、電力需給予測を行なう。この際、ブロックチェーンにより、各取引における電力に対応して示された発電源の「環境価値」の証明がなされる。
【0025】
そして、この電力需給予測に対応して、再エネ発電電力を含む電力需要家自身の発電装置の発電計画や、再エネ発電電力／低炭素電力（本実施形態においては、二酸化炭素の排出量が少ない低炭素電力を再エネ発電電力に含ませている）の外部調達先と、その調達方法などを最適選択する。これにより、本実施形態による消費電力に対する再エネ発電電力の利用率と、ランニングコストとの年間目標を達成できるように、随時計画を修正するために用いることができる。ここで、再エネ発電電力は、風力、太陽光、水力、地熱などの自然エネルギーを利用した発電により得られる電力である。また、低炭素電力は、原子力発電やバイオマスなどの炭素の消費量の少ない発電により得られる電力である。
【0026】
以下、本発明による電力計画管理システムの一実施形態について、図１を用いて説明する。図１は、本発明の一実施形態による電力計画管理システムの構成例を示す図である。
需要家施設１００には、設置されているスマートメータ、あるいは需要家端末などに電力計画管理システム１が備えられている。
需要家施設１００は、電力計画管理システム１の他に、発電装置１０１、蓄電池１０２、需要家負荷１０３及び計測器１０４が備えられている。
発電装置１０１は、例えば、太陽電池や風力発電などの再生可能エネルギーによる発電を行なう装置、あるいはバイオマス、ガスコージェネレーションシステムによる装置である。発電装置１０１により発電された電力は、需要家負荷１０３により消費されるのみでなく、蓄電池１０２に蓄電したり、他の需要家に対して売電される。
需要家施設１００には、設置されているスマートメータ、あるいは需要家端末などに電力計画管理システム１が備えられている。
需要家施設１００は、電力計画管理システム１の他に、発電装置１０１、蓄電池１０２、需要家負荷１０３及び計測器１０４が備えられている。
発電装置１０１は、例えば、太陽電池や風力発電などの再生可能エネルギーによる発電を行なう装置、あるいはバイオマス、ガスコージェネレーションシステムによる装置である。発電装置１０１により発電された電力は、需要家負荷１０３により消費されるのみでなく、蓄電池１０２に蓄電したり、他の需要家に対して売電される。
【0027】
蓄電池１０２は、エネルギー貯蔵装置の一例である。蓄電池１０２ではなく、水素などを貯蔵する燃料電池（電力から水素及び水素から電力に変換する入出力装置も含む）を備えてもよい。
計測器１０４は、送配電事業者２０１が送配電ネットワーク（電力系統）２００により託送して供給する託送電力の電力量と、需要家施設１００から売電されて送配電ネットワーク２００に供給する売電電力の電力量とを計測する。
需要家負荷１０３は、需要家施設１００において電力を消費する負荷であり、テレビジョン装置、冷蔵庫、エアーコンディショナや洗濯機を含む家電製品、電灯などである。
計測器１０４は、送配電事業者２０１が送配電ネットワーク（電力系統）２００により託送して供給する託送電力の電力量と、需要家施設１００から売電されて送配電ネットワーク２００に供給する売電電力の電力量とを計測する。
需要家負荷１０３は、需要家施設１００において電力を消費する負荷であり、テレビジョン装置、冷蔵庫、エアーコンディショナや洗濯機を含む家電製品、電灯などである。
【0028】
電力計画管理システム１は、制御コントローラ１１、状態データ取得部１２、エージェント１３、記憶部１５の各々を備えている。
また、エージェント１３は、行動器１３１、評価器１３２及びパラメータ変更部１３３の各々を備えている。
制御コントローラ１１は、エージェント１３が生成した需給計画（例えば、短期電力需給計画）に従って、発電装置１０１の発電量、蓄電池１０２の蓄電量、買電電力の電力量、売電電力の電力量を制御する。
また、エージェント１３は、行動器１３１、評価器１３２及びパラメータ変更部１３３の各々を備えている。
制御コントローラ１１は、エージェント１３が生成した需給計画（例えば、短期電力需給計画）に従って、発電装置１０１の発電量、蓄電池１０２の蓄電量、買電電力の電力量、売電電力の電力量を制御する。
【0029】
状態データ取得部１２は、記憶部１５に対してブロックチェーンの書き込み、及びこのブロックチェーンの読み出しの処理を行なう。
また、状態データ取得部１２は、計測器１０４からの電力量の読み込み、蓄電池１０２の蓄電量、発電装置１０１の発電量の読み込みを行なう。
また、状態データ取得部１２は、情報通信ネットワーク５００を介して、気象庁または民間の気象情報サービスのサイトから、時系列予報（例えば、３時間毎の２４時間先までの予報）、短期予報（例えば、本日、明日、明後日の予報）、週間予報（例えば、発表日の翌日から一週間先までの予報）、季節予報（例えば、一ヶ月先、三ヶ月先までのおおよその天気の特徴）を含む天気予報情報を取得する。ここで、予報には、晴天、曇天、雨天、雪天などの天気以外に、最高気温、最低気温、降水確率、時間毎の気温、風向風速、降水量、積雪量などの予測も含まれる。
また、状態データ取得部１２は、計測器１０４からの電力量の読み込み、蓄電池１０２の蓄電量、発電装置１０１の発電量の読み込みを行なう。
また、状態データ取得部１２は、情報通信ネットワーク５００を介して、気象庁または民間の気象情報サービスのサイトから、時系列予報（例えば、３時間毎の２４時間先までの予報）、短期予報（例えば、本日、明日、明後日の予報）、週間予報（例えば、発表日の翌日から一週間先までの予報）、季節予報（例えば、一ヶ月先、三ヶ月先までのおおよその天気の特徴）を含む天気予報情報を取得する。ここで、予報には、晴天、曇天、雨天、雪天などの天気以外に、最高気温、最低気温、降水確率、時間毎の気温、風向風速、降水量、積雪量などの予測も含まれる。
【0030】
また、状態データ取得部１２は、記憶部１５に記憶されている小売電気事業者、送配電事業者との相対契約情報（例えば、需要家や発電事業者の場合）と、発電事業者、送配電事業者、需要家との相対契約情報（例えば、小売業者の場合）とを読み込む。
また、状態データ取得部１２は、情報通信ネットワーク５００を介して、電力市場の情報共有サイトなどから、電力市場の情報（スポット取引の電力量やその電力価格など）を取得する。
また、状態データ取得部１２は、情報通信ネットワーク５００を介して、電力市場の情報共有サイトなどから、電力市場の情報（スポット取引の電力量やその電力価格など）を取得する。
【0031】
エージェント１３は、例えば、強化学習を行うことにより、内部の行動器１３１における行動を、その状態における状態に対応して選択して決定する選択確率の精度を向上させていく。この状態に対応した行動の各々は、例えば、記憶部１５に予め書き込まれて記憶されている。 エージェント１３は、状態データが取得する状態値に対応して、発電装置１０１における需要電力の電力量の予測値、再生可能エネルギーによる発電予測値、バイオマス、ガスコージェネレーションシステム（コージェネ）による発電計画値、蓄電池１０２の蓄電電力の電力量、エネルギー貯蔵装置の出力や残量計画値、電力の託送による電力融通計画値、売電電力の電力量（相対契約済みの場合）、市場取引電力量、入札価格（現状は発電事業者及び小売電気事業者の場合）、などを含む時刻単位（例えば、３０分、１時間など）の短期電力需給計画を生成する。また、エージェント１３は、先物電力市場の取引電力量、入札価格（現状は発電事業者及び小売電気事業者の場合）などを長期（例えば、一ヶ月、半年など）の長期電力需給計画を生成する。
【0032】
エージェント１３において、行動器１３１は、環境から取得する状態により、ランニングコストや二酸化炭素の排出量などの指標の見通しが向上する電力の短期電力需給計画及び長期電力需給計画を、それぞれの行動を選択確率により選択して決定する。本実施形態において、上記環境は、発電装置１０１、蓄電池１０２などの各種電源、需要家負荷１０３、電源の制御コントローラ１１、計測器１０４、電力市場（発電事業者３００，小売電気事業者４００）、電力取引プラットフォーム及びブロックチェーンに記録された電力需給情報の実績データ（取引電力量・決済や再エネ環境価値の証明情報も含む）などから構成される。後述する状態は、環境を構成するそれぞれ装置における数値の組合せである。
【0033】
評価器１３２は、ランニングコストや二酸化炭素の排出量などの指標の見通し（報酬としての評価値）に対応した強化信号δを求める。例えば、月間や年間におけるエネルギーコスト（ランニングコスト）、エネルギー消費量、二酸化炭素排出量などの累積値が目標値（目的指標）となる見通し（推定される）か、あるいは大きく外れているかを目標値との差分として求められ、この差分が報酬となる。
パラメータ変更部１３３は、強化信号δに対応して、行動器１３１が選択する行動の選択確率を変更する。エージェント１３における行動器１３１、評価器１３２及びパラメータ変更部１３３の動作については、後述する。
パラメータ変更部１３３は、強化信号δに対応して、行動器１３１が選択する行動の選択確率を変更する。エージェント１３における行動器１３１、評価器１３２及びパラメータ変更部１３３の動作については、後述する。
【0034】
送配電事業者２０１は、送配電ネットワーク２００を介して、需要家施設１００から他の需要家施設１１０に対する、あるいは発電事業者３００から需要家施設１００に対する、または小売電気事業者４００から需要家施設１００に対する電力の託送を行なう。
発電事業者３００は、火力発電、水力発電、原子力発電などにより発電した電力を、送配電ネットワーク２００を介して、需要家施設１００に対して供給する。
小売電気事業者４００は、メガソーラーやバイオマスなどで発電した電力を、送配電ネットワーク２００を介して、需要家施設１００に対して供給する。また、他の需要家施設１００として、同一企業の他の事業所も含まれ、この他の事業所から電力を融通した場合には、電力の自己託送となり、上記同一企業における自家消費と見なすことができる。
発電事業者３００は、火力発電、水力発電、原子力発電などにより発電した電力を、送配電ネットワーク２００を介して、需要家施設１００に対して供給する。
小売電気事業者４００は、メガソーラーやバイオマスなどで発電した電力を、送配電ネットワーク２００を介して、需要家施設１００に対して供給する。また、他の需要家施設１００として、同一企業の他の事業所も含まれ、この他の事業所から電力を融通した場合には、電力の自己託送となり、上記同一企業における自家消費と見なすことができる。
【0035】
次に、図２及び図３を用いて、エージェント１３における短期電力需給計画及び長期電力需給計画の生成、及びこの生成に用いる選択確率の強化学習による精度向上について説明する。図２は、エージェント１３の短期電力需給計画及び長期電力需給計画の生成と選択確率の精度向上の強化学習とを説明するフローチャートである。このステップＳ１０１からステップＳ１０７までのフローは、所定の時間幅の需給周期毎に行なわれる。図３は、エージェント１３における行動器１３１及び評価器１３２の情報の流れを示す概念図である。環境は、図１の構成により形成される、ブロックチェーンを用いた電力取引プラットホームである。
【0036】
ステップＳ１０１：行動器１３１は、状態データ取得部１２を介して、環境から時刻ｔにおける環境における状態Ｓｔを取得する。状態Ｓｔは、ブロックチェーンにおける電力需給情報の実績データと、天気予報情報と、相対契約情報と、電力市場の情報とを含んでいる。
【0037】
ステップＳ１０２：行動器１３１は、入力した状態Ｓｔに対応して、確率的方策π（Ａｔ｜Ｓｔ，θ）に従って、行動Ａｔ＋１（ｉ＝０，１，…，ｋ－１）を決定する。この確率的方策π（Ａｔ｜Ｓｔ，θ）におけるθは、行動を選択する選択確率である確率的方策π（Ａｔ｜Ｓｔ，θ）の大きさを管理する方策パラメータである。行動Ａｔには、すでに説明した短期電力需給計画及び長期電力需給計画の情報が含まれている。また、係数ｋは、時刻ｔからの先読み期間（すなわち、推定範囲）を表している。
【0038】
ステップＳ１０３：評価器１３２は、行動器１３１が決定した行動Aｔ＋１により得られる報酬ｒｔ＋ｉと、次の状態Ｓｔ＋ｋ（行動Ａｔ＋１により得られる状態）とを取得する。報酬ｒｔ＋ｉには、ブロックチェーンによって環境価値が証明された二酸化炭素の排出量及びランニングコストの各々が含まれている。また、報酬ｒｔ＋ｉには、発電装置１０１における需要電力の電力量の予測値と実績値との誤差、再生エネルギーによる発電予測値と実績値との誤差、バイオマス及びガスコージェネレーションシステム（コージェネ）による発電計画値と実績値との誤差、蓄電池１０２の蓄電電力の電力量、エネルギー貯蔵装置の出力や残量計画値と実績値との誤差、電力の託送による電力融通計画値と実績値との誤差、売電電力の電力量（相対契約済みの場合）の予測値と実績値との誤差、市場取引電力量及び入札価格（現状は発電事業者及び小売電気事業者の場合）の予測値と実績値との誤差も含まれている。
ここでの実績値は、図３における行動Ａｔ＋１により得られる環境の状態Ｓｔ＋ｋとして得られる。
ここでの実績値は、図３における行動Ａｔ＋１により得られる環境の状態Ｓｔ＋ｋとして得られる。
【0039】
ステップＳ１０４：評価器１３２は、行動Ａｔ＋１により得られる環境の状態Ｓｔ＋ｋにおける状態価値Ｖ（Ｓｔ＋ｋ，ω）を、確率的方策π（Ａｔ｜Ｓｔ，θ）によって得られる状態Ｓｔの報酬ｒｔの積算値に対応して推定する。ここで、ωは、状態価値Ｖ（Ｓｔ＋ｋ，ω）を決定づける重みパラメータである。
【0040】
ステップＳ１０５：評価器１３２は、取得した報酬ｒｔ＋ｉと、推定した状態価値Ｖ（Ｓｔ＋ｋ，ω）とに対応して、行動器１３１の確率的方策π（Ａｔ｜Ｓｔ，θ）における方策パラメータθを調整する強化信号δを、下記（１）式により算出する。この強化信号δは、任意の行動Ａにより推定される状態価値Ｖ（Ｓ，ω）と、実際に行動Ａにより得られた状態価値Ｖ（Ｓ，ω）との誤差になっている。また、（１）式において、γは将来の報酬ｒに対する有効度を決定づける割引率（０≦γ＜１）である。このとき、評価器１３２は、図３における各種指標の見通しから求められる報酬により、強化信号δが生成する。
δ＝Σｋ－１ ｉ＝０γｉｒｔ＋ｉ＋γｋＶ（Ｓｔ＋ｋ，ω）－Ｖ（Ｓｔ，ω） …（１）
δ＝Σｋ－１ ｉ＝０γｉｒｔ＋ｉ＋γｋＶ（Ｓｔ＋ｋ，ω）－Ｖ（Ｓｔ，ω） …（１）
【0041】
ステップＳ１０６：パラメータ変更部１３３は、評価器１３２が算出した強化信号δを入力し、予め設定されたルールにより、確率的方策π（Ａｔ｜Ｓｔ，θ）における方策パラメータの変更を行なう。
上記ルールは、強化信号δが正である（δ＞０）の場合、行動Ａの選択確率（確率的方策π（Ａｔ｜Ｓｔ，θ））が増加するように方策パラメータθを変更する。一方、強化信号δが負である（δ＜０）の場合、行動Ａの選択確率が減少するように方策パラメータθを変更する。
すなわち、強化信号δが正である（δ＞０）の場合、行動Ａを実行して得た状態価値Ｖが、行動Ａにより推定された状態価値Ｖに比較して大きいため、この行動Ａが良い行動であると判定される。また、強化信号δが負である（δ＜０）の場合、行動Ａを実行して得た状態価値Ｖが、行動Ａにより推定された状態価値Ｖに比較して小さいため、この行動Ａが良い行動ではないと判定される。
上記ルールは、強化信号δが正である（δ＞０）の場合、行動Ａの選択確率（確率的方策π（Ａｔ｜Ｓｔ，θ））が増加するように方策パラメータθを変更する。一方、強化信号δが負である（δ＜０）の場合、行動Ａの選択確率が減少するように方策パラメータθを変更する。
すなわち、強化信号δが正である（δ＞０）の場合、行動Ａを実行して得た状態価値Ｖが、行動Ａにより推定された状態価値Ｖに比較して大きいため、この行動Ａが良い行動であると判定される。また、強化信号δが負である（δ＜０）の場合、行動Ａを実行して得た状態価値Ｖが、行動Ａにより推定された状態価値Ｖに比較して小さいため、この行動Ａが良い行動ではないと判定される。
【0042】
ステップＳ１０７：パラメータ変更部１３３は、状態価値Ｖが正確に推定された場合、実績値としての状態価値Ｖと推定された状態価値Ｖとが同一となり、強化信号δが０となる。このため、パラメータ変更部１３３は、強化信号δが０に近づくように、下記（２）式により、推定する状態価値Ｖ（Ｓｔ，ω）の重みパラメータωを更新する。（２）式において、係数αは、ωの値の更新における重み係数である。
ω←ω＋αδ（∂／∂ω）Ｖ（Ｓｔ，ω） …（２）
上述したステップＳ１０７の処理が終了後、次の需給周期において、再度、ステップＳ１０１からステップＳ１０７の処理が行なわれる。
ω←ω＋αδ（∂／∂ω）Ｖ（Ｓｔ，ω） …（２）
上述したステップＳ１０７の処理が終了後、次の需給周期において、再度、ステップＳ１０１からステップＳ１０７の処理が行なわれる。
【0043】
上述した本実施形態によれば、環境経営を強化して、需要家（例えば企業）が強化学習で予測及び計画値の作成の精度が向上したエージェントから、電力取引の履歴が記載されたブロックチェーンを用いて、短期電力需給計画及び長期電力需給計画の各々が得られるため、再エネ発電電力の安定的な調達、及びこの調達コスト（ランニングコスト）を長期にわたり安定化することが可能となり、需要家による再エネ発電電力の利用率を向上させることができる。
【0044】
上述した実施形態における電力計画管理システムにおいては、需要電力の電力量の予測値や、太陽光及び風力などによる再エネ発電電力の発電量の予測値も行動器１３１で決定する構成として説明した。しかしながら、他の実施形態の構成として、外部に予測システムを別に設けて、環境から状態Ｓｔとして需要電力の電力量の予測値や再エネ発電電力の発電量の予測値を取得するようにしても良い。
【0045】
この構成の場合には、状態データ取得部１２が、ステップＳ１０１において、環境から状態Ｓｔを観測する際に、外部の予測システムで作成した年間毎、月間毎、週間毎、時間毎における予測値も状態Ｓｔに含んで取得する。
また、評価器１３２は、ステップＳ１０３において、予測値と実績値との誤差を報酬ｒｔ＋ｉに含めない。このため、評価器１３２は、ステップＳ１０４において、誤差を含まない報酬ｒｔ＋ｉにより状態価値Ｖを推定する。
また、評価器１３２は、ステップＳ１０３において、予測値と実績値との誤差を報酬ｒｔ＋ｉに含めない。このため、評価器１３２は、ステップＳ１０４において、誤差を含まない報酬ｒｔ＋ｉにより状態価値Ｖを推定する。
【0046】
なお、本発明における図１の電力計画管理システム１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、機械学習における電力の需給計画の作成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
【0047】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【0048】
１…電力計画管理システム １１…制御コントローラ １２…状態データ取得部 １３…エージェント １５…記憶部 １０１…発電装置 １０２…蓄電池 １０３…需要家負荷 １０４…計測器 １３１…行動器 １３２…評価器 １３３…パラメータ変更部
【図1】
【図2】
【図3】
【図4】