特開 2023-183813 運転モード選択装置、運転モード選択支援装置、船舶、運転モード選択方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183813

(43)【公開日】2023-12-28

(54)【発明の名称】運転モード選択装置、運転モード選択支援装置、船舶、運転モード選択方法およびプログラム

(51)【国際特許分類】

   G06Q 50/30 20120101AFI20231221BHJP

   H02J 3/46 20060101ALI20231221BHJP

   B63H 21/17 20060101ALI20231221BHJP

   B63B 79/20 20200101ALI20231221BHJP

   H02J 7/00 20060101ALN20231221BHJP

【ＦＩ】

G06Q50/30

H02J3/46

B63H21/17

B63B79/20

H02J7/00 303A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022097558

(22)【出願日】2022-06-16

(71)【出願人】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(74)【代理人】

【識別番号】100196689

【弁理士】

【氏名又は名称】鎌田 康一郎

(72)【発明者】

【氏名】飯田 亮

(72)【発明者】

【氏名】真田 朋彦

【テーマコード（参考）】

5G066

5G503

5L049

【Ｆターム（参考）】

5G066HA15

5G066HB02

5G066HB09

5G066JB03

5G503AA07

5G503BA01

5G503BB01

5L049CC41

(57)【要約】

【課題】船舶の電源システムにおける運転モードを適切に選択する。
【解決手段】運転モード選択装置は、１または複数の発電機と１または複数のバッテリとを備える船舶用電源システムの運転モードを選択する装置であって、運転モードは、少なくとも、発電機の運転台数と、運転する発電機の選択と、発電機とバッテリとの負荷分担率と、バッテリの充放電の選択とによって定められ、船舶用電源システムの負荷に係る所定の設定に基づいて動作する船舶用電源システムのモデルの出力を環境要素とし、少なくとも、発電機の運転台数と、運転する発電機の選択と、発電機とバッテリとの負荷分担率と、バッテリの充放電の選択とを行動要素とし、燃料費と部品寿命に係るライフサイクルコストを報酬要素として、ソフトウェアエージェントを強化学習することで、運転モードを選択する強化学習部を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

１または複数の発電機と１または複数のバッテリとを備える船舶用電源システムの運転モードを選択する装置であって、
前記運転モードは、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とによって定められ、
前記船舶用電源システムの負荷に係る所定の設定に基づいて動作する前記船舶用電源システムのモデルの出力を環境要素とし、
少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とを行動要素とし、
燃料費と部品寿命に係るライフサイクルコストを報酬要素として、
ソフトウェアエージェントを強化学習することで、
前記運転モードを選択する強化学習部
を備える運転モード選択装置。

【請求項2】

前記強化学習部は、前記船舶用電源システムの直流バス電圧が所定の度合い以上に不安定となる場合または前記運転モードの切換頻度が所定の閾値以上である場合の少なくとも一方を罰として、前記ソフトウェアエージェントを強化学習する
請求項１に記載の運転モード選択装置。

【請求項3】

前記設定は、前記船舶用電源システムの負荷に係る情報と周囲温度に係る情報とを含む
請求項１または２に記載の運転モード選択装置。

【請求項4】

前記運転モードは、さらに、陸上からの電力供給を行うか否かの選択によって定められ、
前記行動要素は、さらに、陸上からの電力供給を行うか否かの選択を含む
請求項３に記載の運転モード選択装置。

【請求項5】

請求項１に記載の強化学習部が選択した前記運転モードに基づいて前記運転モードの選択操作を支援する運転モード選択支援部
を備える運転モード選択支援装置。

【請求項6】

請求項５に記載の運転モード選択支援装置と、
前記船舶用電源システムと、
を備える船舶。

【請求項7】

１または複数の発電機と１または複数のバッテリとを備える船舶用電源システムの運転モードを選択する方法であって、
前記運転モードは、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とによって定められ、
前記船舶用電源システムの負荷に係る所定の設定に基づいて動作する前記船舶用電源システムのモデルの出力を環境要素とし、
少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とを行動要素とし、
燃料費と部品寿命に係るライフサイクルコストを報酬要素として、
ソフトウェアエージェントを強化学習することで、
前記運転モードを選択するステップ
を含む運転モード選択方法。

【請求項8】

１または複数の発電機と１または複数のバッテリとを備える船舶用電源システムの運転モードを選択するためのプログラムであって、
前記運転モードは、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とによって定められ、
前記船舶用電源システムの負荷に係る所定の設定に基づいて動作する前記船舶用電源システムのモデルの出力を環境要素とし、
少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とを行動要素とし、
燃料費と部品寿命に係るライフサイクルコストを報酬要素として、
ソフトウェアエージェントを強化学習することで、
前記運転モードを選択するステップ
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、運転モード選択装置、運転モード選択支援装置、船舶、運転モード選択方法およびプログラムに関する。

【背景技術】

【0002】

特許文献１～３には、機械学習モデルを用いて船舶の航行に係る運行計画等を最適化するための技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００－８０６７３号公報

【特許文献2】特開２０２０－１９３９４９号公報

【特許文献3】特開２０２１－３０７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１～３には、船舶の電源システムにおける運転モードを最適化するための技術は示されていない。

【0005】

本開示は、船舶の電源システムにおける運転モードを適切に選択することができる運転モード選択装置、運転モード選択支援装置、船舶、運転モード選択方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示に係る運転モード選択装置は、１または複数の発電機と１または複数のバッテリとを備える船舶用電源システムの運転モードを選択する装置であって、前記運転モードは、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とによって定められ、前記船舶用電源システムの負荷に係る所定の設定に基づいて動作する前記船舶用電源システムのモデルの出力を環境要素とし、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とを行動要素とし、燃料費と部品寿命に係るライフサイクルコストを報酬要素として、ソフトウェアエージェントを強化学習することで、前記運転モードを選択する強化学習部を備える。

【0007】

本開示に係る運転モード選択方法は、１または複数の発電機と１または複数のバッテリとを備える船舶用電源システムの運転モードを選択する方法であって、前記運転モードは、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とによって定められ、前記船舶用電源システムの負荷に係る所定の設定に基づいて動作する前記船舶用電源システムのモデルの出力を環境要素とし、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とを行動要素とし、燃料費と部品寿命に係るライフサイクルコストを報酬要素として、ソフトウェアエージェントを強化学習することで、前記運転モードを選択するステップを含む。

【0008】

本開示に係るプログラムは、１または複数の発電機と１または複数のバッテリとを備える船舶用電源システムの運転モードを選択するためのプログラムであって、前記運転モードは、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とによって定められ、前記船舶用電源システムの負荷に係る所定の設定に基づいて動作する前記船舶用電源システムのモデルの出力を環境要素とし、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とを行動要素とし、燃料費と部品寿命に係るライフサイクルコストを報酬要素として、ソフトウェアエージェントを強化学習することで、前記運転モードを選択するステップをコンピュータに実行させる。

【発明の効果】

【0009】

本開示の運転モード選択装置、運転モード選択支援装置、船舶、運転モード選択方法およびプログラムによれば、船舶の電源システムにおける運転モードを適切に選択することができる。

【図面の簡単な説明】

【0010】

【図1】本開示の実施形態に係る運転モード選択装置の構成例を示すブロック図である。

【図2】本開示の実施形態に係る船舶用電源システムの構成例を示すブロック図である。

【図3】本開示の実施形態に係る船舶用電源システムの運転モードの一例を示す図である。

【図4】本開示の実施形態に係る船舶用電源システムの運転モードの一例を示す図である。

【図5】本開示の実施形態に係る船舶用電源システムの運転モードの一例を示す図である。

【図6】本開示の実施形態に係る強化学習部を説明するための模式図である。

【図7】本開示の実施形態に係る強化学習部を説明するための模式図である。

【図8】本開示の実施形態に係る強化学習部を説明するための模式図である。

【図9】本開示の実施形態に係る強化学習部を説明するための模式図である。

【図10】本開示の実施形態に係る強化学習部を説明するための模式図である。

【図11】本開示の実施形態に係る強化学習部を説明するための模式図である。

【図12】本開示の実施形態に係る強化学習部を説明するための模式図である。

【図13】本開示の実施形態に係る運転モード選択装置の動作例を示すフローチャートである。

【図14】本開示の実施形態に係る強化学習部を説明するための模式図である。

【図15】本開示の実施形態に係る運転モード選択支援装置の構成例を示すブロック図である。

【図16】本開示の実施形態に係る運転モード選択支援装置の動作例を示すフローチャートである。

【図17】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態に係る運転モード選択装置、運転モード選択支援装置、船舶、運転モード選択方法およびプログラムについて、図１～図１６を参照して説明する。図１は、本開示の実施形態に係る運転モード選択装置の構成例を示すブロック図である。図２は、本開示の実施形態に係る船舶用電源システムの構成例を示すブロック図である。図３～図５は、本開示の実施形態に係る船舶用電源システムの運転モードの例を示す図である。図６～図１２は、本開示の実施形態に係る強化学習部を説明するための模式図である。 図１３は、本開示の実施形態に係る運転モード選択装置の動作例を示すフローチャートである。図１４は、本開示の実施形態に係る強化学習部を説明するための模式図である。図１５は、本開示の実施形態に係る運転モード選択支援装置の構成例を示すブロック図である。図１６は、本開示の実施形態に係る運転モード選択支援装置の動作例を示すフローチャートである。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

【0012】

（運転モード選択装置の構成（１））
図１は、本開示の実施形態に係る運転モード選択装置の構成例を示す。図１に示す運転モード選択装置１は、例えば、サーバ等の１または複数のコンピュータとコンピュータの周辺装置等を用いて構成することができる。なお、１または複数台のコンピュータや周辺機器の一部または全部はクラウド上に構成されていてもよい。運転モード選択装置１は、１または複数のコンピュータや周辺装置等のハードウェアと、コンピュータが実行するプログラム等のソフトウェアとの組み合わせ等から構成される機能的構成として、入出力部１１と、強化学習部１２と、記憶部１３とを備える。また、記憶部１３は、電源システムモデル（を表すデータを含むファイル（以下、同様であり省略する））１３１、負荷プロファイル１３２、制約条件１３３、初期条件１３４、学習結果１３５、運転モード選択結果１３６を記憶する。本実施形態に係る運転モード選択装置１は、図２に示すような船舶用電源システム１００の運転モードを選択する装置である。

【0013】

（船舶用電源システムの構成および運転モード）
まず、図２に示す船舶用電源システム１００について説明する。図２に示す船舶用電源システム１００は、船舶に搭載された電源システムであり、発電機１０１、１０２および１０３と、バッテリ１０４および１０５と、直流ハブ１０６とを備える。直流ハブ１０６は、直流バス１０７および１０８と、開閉器１０９と、交流－直流変換器１１０、１１１および１１２と、双方向の直流－直流変換器１１３および１１４と、双方向の直流－交流変換器１１５、１１６、１１７、１１８および１１９とを備える。なお、発電機１０１～１０３は、ディーゼル機関を原動機とするディーゼル発電機である。なお、本実施形態では、直流ハブ１０６が構成する直流送配電系統をＤＣ（直流）グリッドあるいはＤＣマイクログリッドという。

【0014】

交流－直流変換器１１０、１１１および１１２は、発電機１０１、１０２および１０３が発電した交流電力を直流電力に変換し、直流バス１０７または１０８に供給する。直流－直流変換器１１３および１１４は、直流バス１０７または１０８に接続され、バッテリ１０４または１０５の充放電電力を制御する。直流－交流変換器１１５は、直流バス１０７から入力した直流電力を交流電力に変換し、船舶の推進用モータ１２０を駆動する。直流－交流変換器１１６は、直流バス１０７から入力した直流電力を交流電力に変換し、変圧器１２３等を介して交流負荷１２５へ出力する。直流－交流変換器１１７は、直流バス１０７から入力した直流電力を交流電力に変換し、船舶のバウスラスト用モータ１２１を駆動する。直流－交流変換器１１８は、直流バス１０８から入力した直流電力を交流電力に変換し、船舶の推進用モータ１２２を駆動する。直流－交流変換器１１９は、直流バス１０８から入力した直流電力を交流電力に変換し、変圧器１２４等を介して交流負荷１２６へ出力したり、陸上の電源１２７から開閉器１２８、変圧器１２４等を介して入力した交流電力を直流電力に変換して直流バス１０８へ出力したりする。

【0015】

本実施形態において船舶用電源システム１００の運転モードとは、船舶用電源システム１００の運転態様である。本実施形態の運転モードには、例えば、発電機１０１～１０３をすべて運転するモード、発電機１０１～１０３の一部を運転するモード、発電機１０１～１０３をすべて運転しないモードがある。また、本実施形態の運転モードには、例えば、バッテリ１０４～１０５の両方から放電するモード、一方から放電するモード、両方に充電するモード、一方に充電するモード、両方を充放電しないモードがある。また、発電機１０１～１０３の各モードと、バッテリ１０４～１０５の各モードの組み合わせによる複数の運転モードがある。さらに、発電電力や充放電電力の値を、発電機１０１～１０３およびバッテリ１０４～１０５毎に均等としたり異ならせたりすることで運転モードは異なることとなる。

【0016】

ここで、図３～図５を参照して、運転モードの例として、陸電モードと、完全電気推進モードと、ハイブリッドモードとについて説明する。図３は陸電モードの例を示す。図４は完全電気推進モードの例を示す。図５はハイブリッドモードの例を示す。なお、図３～図５では、電力の流れを白抜きの矢印で示している。

【0017】

図３に示す陸電モードは、船舶が停泊している場合の運転モードである。陸上の電源１２７から供給された交流電力が、交流負荷１２６へ供給されるとともに、直流－交流変換器１１９で直流電力に変換され、直流バス１０８および直流バス１０７へ供給される。直流－直流変換器１１３は直流バス１０７から入力した直流電力の電圧および電流を制御してバッテリ１０４を充電する。直流－直流変換器１１４は直流バス１０８から入力した直流電力の電圧および電流を制御してバッテリ１０５を充電する。直流－交流変換器１１６は、直流バス１０７から入力した直流電力を一定周波数かつ一定電圧の交流電力に変換し、変圧器１２３等を介して交流負荷１２５へ供給する。

【0018】

図４に示す完全電気推進モードは、バッテリ１０４～１０５からの放電電力のみで推進用モータ１２０および１２２と、交流負荷１２５および１２６の消費電力を賄うモードである。発電機１０１～１０３は停止している。バッテリ１０４～１０５からの放電電力は、直流－直流変換器１１３～１１４を介して直流バス１０７～１０８へ出力される。直流－交流変換器１１５は、直流バス１０７から入力した直流電力を交流電力に変換し、船舶の推進用モータ１２０を駆動する。直流－交流変換器１１６は、直流バス１０７から入力した直流電力を交流電力に変換し、変圧器１２３等を介して交流負荷１２５へ出力する。直流－交流変換器１１８は、直流バス１０８から入力した直流電力を交流電力に変換し、船舶の推進用モータ１２２を駆動する。直流－交流変換器１１９は、直流バス１０８から入力した直流電力を交流電力に変換し、変圧器１２４等を介して交流負荷１２６へ出力する。

【0019】

図５に示すハイブリッドモードは、発電機１０１～１０３の一部または全部を運転するとともに、バッテリ１０４～１０５の一部または両方を充電または放電状態で運転する運転モードである。図５に示す例では、発電機１０１および１０２が発電し、バッテリ１０４が放電し、バッテリ１０５が充電されている。直流－交流変換器１１５、１１６、１１８および１１９の運転は、図４を参照して説明した例と同一である。

【0020】

本実施形態において、船舶用電源システム１００の運転モードは、少なくとも、発電機１０１～１０３の運転台数と、運転する発電機１０１～１０３の選択と、発電機１０１～１０３とバッテリ１０４～１０５との負荷分担率と、バッテリ１０４～１０５の充放電の選択とによって規定される。船舶用電源システム１００の運転モードは、例えば制御盤（図１５の制御盤１５０）に対する操作によって、交流－直流変換器１１０～１１２と、直流－直流変換器１１３～１１４と、直流－交流変換器１１５～１１９と、開閉器１２８の各動作等を制御することで切り換えることができる。

【0021】

（運転モード選択装置の構成（２））
図１に示す入出力部１１は、キーボード、マウス、タッチパネル、ディスプレイ、音声入出力装置、記録媒体、通信装置等を用いて、操作者からの操作や他の端末等から入力されたファイルを入力したり、強化学習部１２に対する入出力の内容や処理結果等を出力したりする。入出力部１１は、例えば、電源システムモデル１３１、負荷プロファイル１３２、制約条件１３３、初期条件１３４等を入力して記憶部１３に記憶する。各ファイルの内容については後述する。

【0022】

強化学習部１２は、船舶用電源システム１００の負荷に係る所定の設定に基づいて動作する船舶用電源システム１００のモデルの出力を環境要素とし、少なくとも、発電機１０１～１０３の運転台数と、運転する発電機１０１～１０３の選択と、発電機１０１～１０３とバッテリ１０４～１０５との負荷分担率と、バッテリ１０４～１０５の充放電の選択とを行動要素とし、燃料費と部品寿命に係るライフサイクルコストを報酬要素として、ソフトウェアエージェントを強化学習することで、運転モードを選択する。なお、本実施形態では、「船舶用電源システム１００の負荷に係る所定の設定」が負荷プロファイル１３２である。負荷プロファイル１３２は、例えば、船舶用電源システム１００の負荷の時系列や周囲温度の時系列を含む。

【0023】

また、強化学習部１２は、船舶用電源システム１００の直流バス１０７および１０８の電圧が所定の度合い以上に不安定となる場合または運転モードの切換頻度が所定の閾値以上である場合の少なくとも一方を罰として、ソフトウェアエージェントを強化学習する。

【0024】

図６は、強化学習部１２の構成および動作の例を示す。図６に示す強化学習部１２は、ソフトウェアエージェント１２－１と、報酬計算部１２－２と、電源システムモデル１３１を制御する制御部１２－３と、強化学習における開始、終了等を制御する図示していない制御部等を備える。

【0025】

ソフトウェアエージェント１２－１は、強化学習処理部１２－１１と、機械学習モデル１２－１２とを備える。機械学習モデル１２－１２は、例えばニューラルネットワークを使用した機械学習モデルであり、ソフトウェアエージェント１２－１が観測した環境要素を入力し、行動を表す行動要素を出力する。機械学習モデル１２－１２は、所定の強化学習アルゴリズムに基づき強化学習処理部１２－１１よって機械学習される。強化学習アルゴリズムに限定は無く、既存のアルゴリズムを用いることができる。強化学習処理部１２－１１は、初期条件１３４に基づき、制約条件１３３を満たし、ソフトウェアエージェント１２－１が観測した環境要素を機械学習モデル１２－１２へ入力し、報酬が最大となる行動要素が出力されるように機械学習モデル１２－１２を機械学習する。なお、本実施形態において、行動要素とは強化学習において行動を表す要素である。また、環境要素とは強化学習において観測される要素である。また、報酬要素は、強化学習において報酬を表す要素である。

【0026】

本実施形態において、行動は、運転モードの選択である。運転モードは、発電機運転台数、運転発電機選択、負荷分担率およびバッテリ充放電選択で表される。この場合、行動要素は、発電機運転台数、運転発電機選択、負荷分担率およびバッテリ充放電選択である。

【0027】

なお、運転モードは、さらに、陸上からの電力供給を行うか否かの選択によって定められてもよい。また、行動要素は、さらに、陸上からの電力供給を行うか否かの選択を含んでいてもよい。

【0028】

報酬は、船舶用電源システム１００のライフサイクルコストである。ライフサイクルコストは、例えば船舶用電源システム１００の製品寿命、設計寿命や使用予定期間等のある一定期間に掛かる燃料費と、部品交換費や調整費等の燃料費以外の費用の合計額である。報酬計算部１２－２は、電源システムモデル１３１から出力された船舶用電源システム１００の運転状況を示すデータと、各機器や部品の寿命についての特性を示すデータとに基づいて、ライフサイクルコストを算出する。また、報酬計算部１２－２は、例えば、負荷よりも供給電力が低い等、直流バス電圧が不安定となるような行動選択の場合、罰としたり、頻繁なモード切換なども罰としたりして、罰と判定された運転モードを無効としてソフトウェアエージェント１２－１へ通知したり、報酬を調整したりする。

【0029】

図７は、報酬計算部１２－２が寿命計算の対象とする交換部品の例を示す。交換部品としては、例えば、フューズＦＳ、コンデンサＣ等がある。また、図８は、ディーゼルエンジンの効率の例を示す。横軸はエンジン回転数、縦軸はエンジン出力を表す。斜線の網掛けの密度は大きいほど効率が低いことを表す。本実施形態の船舶用電源システム１００の様に直流グリッドを用いた場合、直流系統の場合として示すようにエンジンの運転を曲線状の特性とすることができる。したがって、回転数を一定とする交流系統の場合と比較して、燃費や騒音の性能向上を図ることができる。また、図９は、直流－直流、直流－交流等の変換器の出力に対する変換効率の特性の例を示す。また、図１０は、部品温度と寿命との関係の例を示す。電源システムモデル１３１は、図７に示すような系統内の各部品の配置を表すファイルと、図８～図１０に示すような特性を表すファイルとを含む。電源システムモデル１３１は、これらのファイルを参照することで、効率を算出する。また、報酬計算部１２－２は、寿命に関する特性と周囲温度等に基づき、各機器や部品の寿命を算出する。

【0030】

また、制約条件１３３は、例えば、図１１に制約条件として示すように、航海時に港内では騒音等を低減するため、発電機を運転せず、バッテリでモータを駆動するという制約である。あるいは、制約条件１３３は、例えばバッテリＳＯＣ（Ｓｔａｔｅ ｏｆ Ｃｈａｒｇｅ；充電率）を下限値以上とするという制約である。また、初期条件１３４は、ベースとなる行動計画（行動の時系列）を策定しておき、ソフトウェアエージェント１２－１が行動要素の初期値として行動計画に沿った出力を行うようにするための設定条件である。ソフトウェアエージェント１２－１は、ベースとなる行動計画を基に学習を開始し、徐々に行動を変えていき、ライフサイクルコストがミニマムとなる最適なパタンを短時間で選択できるように強化学習を実行する。

【0031】

なお、図１１は、負荷プロファイル１３２の一例と、ソフトウェアエージェント１２－１が出力した運転モードの一例と、電源システムモデル１３１が出力した運転状況を示すデータの一例を示す。負荷プロファイル１３２は、船舶用電源システム１００の負荷（モータ、他の交流負荷等）の時系列を表す。ソフトウェアエージェント１２－１が出力した運転モードは、発電機運転台数、運転発電機選択、負荷分担率およびバッテリ充放電選択の時系列である。電源システムモデル１３１が出力した運転状況を示すデータは、バッテリＳＯＣと各発電機の負荷の時系列である。なお、図１１において横軸は時間軸である。縦軸は、船舶用電源システム１００の負荷、各バッテリのＳＯＣおよび発電機の負荷（出力）である。図１１に示す例では、負荷プロファイル１３２において、船舶が宿泊して積荷を行っている時間は負荷が小さい。また、航海時には宿泊時より負荷が大きい。また、宿泊して揚荷を行っている時間は負荷が小さい。ソフトウェアエージェント１２－１は、このような負荷プロファイル１３２に対して、制約条件を満たし、罰が最小となるように運転モードを選択する。この場合、航海前にバッテリを充電し、港内ではバッテリから放電するとともに発電機を停止する運転モードが選択されている。また、ソフトウェアエージェント１２－１は、図１１に示すような負荷プロファイル１３２の長期間分の時系列に対する強化学習によって、ライフサイクルコストを最小とする運転モードの時系列を選択する。例えば船舶用電源システム１００の場合、数十年単位でライフサイクルコストの最小化を図るようにすることができる。この場合、２台の発電機を運転する際の負荷率がライフサイクルコストを最小化するようにＮｏ．２発電機負荷が航海の後半で大きくなっている。

【0032】

本実施形態では、電源システムモデル１３１が、ソフトウェアエージェント１２－１が観測対象とする環境要素を出力するシミュレーションモデルである。電源システムモデル１３１は、上述した船舶用電源システム１００の負荷に係る所定の設定（負荷プロファイル１３２）に基づいて動作する船舶用電源システム１００のモデルである。電源システムモデル１３１は、電源システム運転状況を表す次のような要素（環境要素）を出力する。すなわち、電源システムモデル１３１は、環境要素として、例えば、バッテリＳＯＣ状態、負荷分担状態、機器稼働時間、ＤＣグリッド電圧、周囲温度、機器温度、機器効率、ＤＣグリッド電力需給状況、運行状況（港内、待機中等）等を出力する。図１２は、電源システムモデル１３１が出力する負荷受電電圧の例を示す。横軸は時間、縦軸は電圧である。電源システムモデル１３１は、例えば図１２に示すように、電圧低下、負荷分担比の変更等を算出した結果を出力する。

【0033】

（運転モード選択装置の動作例）
図１３は、運転モード選択装置１の動作例を示す。図１３に示す処理は、例えば操作者の指示に応じて開始される。図１３に示す処理では、まず、入出力部１１が、例えば操作者の操作に応じて、制約条件、初期条件等の条件を設定し、制約条件１３３および初期条件１３４として記憶部１３に記憶する（Ｓ１１）。次に、入出力部１１が、例えば操作者の操作に応じて、負荷プロファイルを設定し、負荷プロファイル１３２として記憶部１３に記憶する（Ｓ１２）。次に、入出力部１１が、例えば操作者の操作に応じて、学習終了条件を設定する（Ｓ１３）。学習終了条件は、例えば、報酬の大きさに基づいて設定したり、処理時間や繰り返し回数に基づいて設定したりすることができる。

【0034】

次に、強化学習部１２は、学習終了条件が満足されるまで（Ｓ１５：ＹＥＳまで）、負荷プロファイル１３２におけるタイムスタンプを進めたり最初に戻したりしながら、強化学習を実行する（Ｓ１４）。強化学習部１２は、学習終了条件が満足した場合（Ｓ１５：ＹＥＳ）、運転モード選択結果を、負荷プロファイル１３２に対応付けて運転モード選択結果１３６として記憶部１３に記憶するとともに、報酬等、強化学習の内容を学習結果１３５として記憶部１３に記憶して（Ｓ１６）、図１３に示す処理を終了する。図１４は、強化学習の実行例を模式的に示す。

【0035】

（運転モード選択支援装置の構成）
図１５は、本開示の実施形態に係る運転モード選択支援装置の構成例を示す。図１５に示す運転モード選択支援装置２は、船舶用電源システム１００とともに、船舶３００に搭載されている。また、船舶用電源システム１００は、制御盤１５０を備える。図１５に示す運転モード選択支援装置２は、例えば、サーバ等の１または複数のコンピュータとコンピュータの周辺装置等を用いて構成することができる。運転モード選択支援装置２は、１または複数のコンピュータや周辺装置等のハードウェアと、コンピュータが実行するプログラム等のソフトウェアとの組み合わせ等から構成される機能的構成として、入出力部２１と、運転モード選択支援部２２と、記憶部２３とを備える。また、記憶部２３は、負荷プロファイル２３１および運転モード選択結果２３２を記憶する。

【0036】

負荷プロファイル２３１および運転モード選択結果２３２は、図１に示す負荷プロファイル１３２および運転モード選択結果１３６と同一である。運転モード選択支援部２２は、例えば入出力部２１に対する操作者の操作に応じて、船舶３００での運行予定あるいは実行中の運行計画等に基づいて想定される負荷プロファイル２３１（あるいは想定する負荷プロファイルに類似する負荷プロファイル２３１）を選択する。運転モード選択支援部２２は、選択された負荷プロファイル２３１に対して強化学習部１２で選択された運転モードの時系列を表す運転モード選択結果２３２を選択し、入出力部２１において運転モード選択結果２３２の内容を所定の形式で出力する。操作者は、出力された運転モード選択結果２３２の内容に基づいて制御盤１５０に対する操作を行う。

【0037】

（運転モード選択支援装置の動作例）
図１６は、運転モード選択支援装置２の動作例を示す。図１６に示す処理は、例えば操作者の指示に応じて開始される。図１６に示す処理では、まず、入出力部２１が、例えば操作者の操作に応じて、負荷プロファイル２３１を選択する（Ｓ２１）。次に、運転モード選択支援部２２は、選択された負荷プロファイル２３１に対応する運転モード選択結果２３２を選択する（Ｓ２２）。次に、運転モード選択支援部２２は、支援終了条件が満足されるまで（Ｓ２４：ＹＥＳまで）、運転モード選択結果２３２に基づき入出力部２１を用いて運転モードを表示する等、運転モードの選択支援を実行する（Ｓ２３）。支援終了条件は、例えば操作者による入出力部２１に対する所定の操作が行われたこととすることができる。運転モード選択支援部２２は、支援終了条件が満足した場合（Ｓ２４：ＹＥＳ）、図１６に示す処理を終了する。

【0038】

（作用・効果）
船舶用ＤＣマイクログリッドでは、様々な運転モードがあり、バッテリの充放電や発電機およびバッテリの負荷分担率などを選択可能だが、発電機エンジンの燃費効率やバッテリのＳＯＣおよび寿命、負荷条件、運航状況（停泊前、出航後）等考慮すべきパラメータが多く、最適なモード選択が困難であった。これに対し、本実施形態によれば、船舶用電源システム１００の負荷プロファイル１３２に基づいて動作する電源システムモデル１３１の出力を環境要素とし、少なくとも、発電機の運転台数と、運転する発電機の選択と、発電機とバッテリとの負荷分担率と、バッテリの充放電の選択とを行動要素とし、燃料費と部品寿命に係るライフサイクルコストを報酬要素として、ソフトウェアエージェントを強化学習することで、運転モードを選択する強化学習部１２を備えたので、船舶の電源システムにおける運転モードを適切に選択することができる。

【0039】

（その他の実施形態）
以上、本開示の実施の形態について図面を参照して詳述したが、具体的な構成はこの実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。

【0040】

〈コンピュータ構成〉
図１７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、および、インタフェース９４を備える。
上述の運転モード選択装置１および運転モード選択支援装置２は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。

【0041】

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

【0042】

ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。

【0043】

＜付記＞
各実施形態に運転モード選択装置１、運転モード選択支援装置２、船舶３００、運転モード選択方法およびプログラムは、例えば以下のように把握される。

【0044】

（１）第１の態様に係る運転モード選択装置１は、１または複数の発電機１０１～１０３と１または複数のバッテリ１０４～１０５とを備える船舶用電源システム１００の運転モードを選択する装置であって、前記運転モードは、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とによって定められ、前記船舶用電源システムの負荷に係る所定の設定（負荷プロファイル１３２）に基づいて動作する前記船舶用電源システムのモデル（電源システムモデル１３１）の出力を環境要素とし、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とを行動要素とし、燃料費と部品寿命に係るライフサイクルコストを報酬要素として、ソフトウェアエージェント１２－１を強化学習することで、前記運転モードを選択する強化学習部１２を備える。本態様および以下の各態様によれば、船舶の電源システムにおける運転モードを適切に選択することができる。

【0045】

（２）第２の態様に係る運転モード選択装置１は、（１）の運転モード選択装置であって、前記強化学習部１２は、前記船舶用電源システムの直流バス電圧が所定の度合い以上に不安定となる場合または前記運転モードの切換頻度が所定の閾値以上である場合の少なくとも一方を罰として、前記ソフトウェアエージェントを強化学習する。

【0046】

（３）第３の態様に係る運転モード選択装置１は、（１）または（２）の運転モード選択装置であって、前記設定（負荷プロファイル１３２）は、前記船舶用電源システムの負荷に係る情報と周囲温度に係る情報とを含む。

【0047】

（４）第４の態様に係る運転モード選択装置１は、（１）～（３）の運転モード選択装置であって、前記運転モードは、さらに、陸上からの電力供給を行うか否かの選択によって定められ、前記行動要素は、さらに、陸上からの電力供給を行うか否かの選択を含む。

【0048】

（５）第５の態様に係る運転モード選択支援装置２は、（１）の強化学習部１２が選択した前記運転モードに基づいて前記運転モードの選択操作を支援する運転モード選択支援部２２を備える。

【0049】

（６）第６の態様に係る船舶３００は、（５）に記載の運転モード選択支援装置２と、前記船舶用電源システム１００と、を備える。

【0050】

（７）第７の態様に係る運転モード選択方法は、１または複数の発電機と１または複数のバッテリとを備える船舶用電源システムの運転モードを選択する方法であって、前記運転モードは、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とによって定められ、前記船舶用電源システムの負荷に係る所定の設定に基づいて動作する前記船舶用電源システムのモデルの出力を環境要素とし、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とを行動要素とし、燃料費と部品寿命に係るライフサイクルコストを報酬要素として、ソフトウェアエージェントを強化学習することで、前記運転モードを選択するステップを含む。

【0051】

（８）第８の態様に係るプログラムは、１または複数の発電機と１または複数のバッテリとを備える船舶用電源システムの運転モードを選択するためのプログラムであって、前記運転モードは、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とによって定められ、前記船舶用電源システムの負荷に係る所定の設定に基づいて動作する前記船舶用電源システムのモデルの出力を環境要素とし、少なくとも、前記発電機の運転台数と、運転する前記発電機の選択と、前記発電機と前記バッテリとの負荷分担率と、前記バッテリの充放電の選択とを行動要素とし、燃料費と部品寿命に係るライフサイクルコストを報酬要素として、ソフトウェアエージェントを強化学習することで、前記運転モードを選択するステップをコンピュータに実行させる。

【符号の説明】

【0052】

１…運転モード選択装置
２…運転モード選択支援装置
１２…強化学習部
１２－１…ソフトウェアエージェント
２２…運転モード選択支援部
１３１…電源システムモデル
１３２、２３１…負荷プロファイル
１３３、２３２…運転モード選択結果
１００…船舶用電源システム
１０１～１０３…発電機
１０４～１０５…バッテリ
３００…船舶

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】