特開 2024-164700 リカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164700

(43)【公開日】2024-11-27

(54)【発明の名称】リカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法

(51)【国際特許分類】

   G06N 3/044 20230101AFI20241120BHJP

   G06Q 50/26 20240101ALI20241120BHJP

【ＦＩ】

G06N3/044

G06Q50/26

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023080371

(22)【出願日】2023-05-15

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】清水 雅樹

(72)【発明者】

【氏名】木村 直人

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC35

5L050CC35

(57)【要約】

【課題】誤差の蓄積が抑制されるリカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法を提供すること。
【解決手段】リカレントニューラルネットワークシステムは、第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データの誤差の入力の下、第２時点の隠れ層状態変数を求め、第２時点の状態変数の下に第２時点の予測データを求めるリカレントニューラルネットワークシステム。
【選択図】図２

【特許請求の範囲】

【請求項1】

リカレントニューラルネットワークシステムであって、
第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求める
リカレントニューラルネットワークシステム。

【請求項2】

初期時刻時点の前記隠れ層状態変数を調整パラメータの一部として学習してある
請求項１に記載のリカレントニューラルネットワークシステム。

【請求項3】

実測データが存在しない時点の次時点において、前記誤差の入力を遮蔽し、誤差がゼロの場合に同等となる
請求項１又は請求項２に記載のリカレントニューラルネットワークシステム。

【請求項4】

前記誤差を用いて学習される同期用リカレントニューラルネットワーク、及び、前記誤差を用いず学習される予測用リカレントニューラルネットワークを有し、
所定の時間間隔で、前記同期用リカレントニューラルネットワークの状態変数に基づいて、前記予測用リカレントニューラルネットワークの状態変数を書き換える
請求項１又は請求項２に記載のリカレントニューラルネットワークシステム。

【請求項5】

実測データが存在しない場合、前記同期用リカレントニューラルネットワークへの入力を遮蔽する
請求項４に記載のリカレントニューラルネットワークシステム。

【請求項6】

前記同期用リカレントニューラルネットワーク（式１から式４）からの誤差と、前記予測用リカレントニューラルネットワーク（式５から式８）からの誤差に関する重み付き総和誤差に対して、誤差最小化原理（式９）によりパラメータを調整する
請求項４に記載のリカレントニューラルネットワークシステム。

【数1】

【数2】

【数3】

【請求項7】

実測データの時系列データを取得し、
第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求めるよう学習されたリカレントニューラルネットワークに、取得した実測データの時系列データを入力して予測データを出力する
処理をコンピュータに実行させるプログラム。

【請求項8】

コンピュータが、
実測データの時系列データを取得し、
第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求めるよう学習されたリカレントニューラルネットワークに、取得した実測データの時系列データを入力して予測データを出力する
情報処理方法。

【請求項9】

実測データの時系列データを取得する取得部と、
第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求めるよう学習されたリカレントニューラルネットワークに、取得した実測データの時系列データを入力して予測データを出力する出力部と
を備える情報処理装置。

【請求項10】

第２時点の外力データが入力される入力層と、隠れ層とを備えるリカレントニューラルネットワークシステムの学習方法であって、
前記隠れ層は、前記入力層からの前記第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、前記第１時点の実測データと該第１時点の予測データとの誤差とが入力され、前記第１時点の隠れ層出力及び前記誤差を用いて学習する学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、与えられた時系列データから、次以降の時刻に得られるデータを予測するリカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法に関する。

【背景技術】

【0002】

時系列データの生成過程を学習し、過去の時系列データを入力すると将来のデータを予測する学習モデルとして、ＲＮＮ（Recurrent Neural Network）が提案されている（例えば、特許文献１）。ＲＮＮは過去の状態を現在の状態に反映するような再帰的な構造を持っている。ＲＮＮは入力データと前の状態を同時に考慮して、次の状態を計算するので、時系列予測に利用できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９－２８２２９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、ＲＮＮにおいて、状態を定義する状態変数（隠れ層状態変数）の時間発展は実現象の時間発展を近似したものであるため、時系列予測を繰り返し行うと、ＲＮＮの状態変数に誤差が蓄積する。このため、長期的な将来予測を目的とするＲＮＮの学習段階において、状態変数の時間発展やデータ出力過程の高精度な学習は困難となる。

【0005】

本発明はこのような状況に鑑みてなされたものである。その目的は、誤差の蓄積が抑制されるリカレントニューラルネットワークシステム、プログラム、情報処理方法、情報処理装置及び学習方法の提供である。

【課題を解決するための手段】

【0006】

本願の一態様に係るリカレントニューラルネットワークシステムは、第２時点の外力データと、前記第２時点よりも前の第１時点の隠れ層状態変数と、第１時点の実測データと第１時点の予測データとの誤差が入力の下、第２時点の隠れ層状態変数を求め、第２時点の隠れ層状態変数を下に第２時点の予測データを求める。

【発明の効果】

【0007】

本願の一態様にあっては、長期的な時系列予測を行う場合でも、誤差の蓄積を抑制しつつ、時系列データの生成過程のモデル化や将来予測が行える。

【図面の簡単な説明】

【0008】

【図1】情報処理装置のハードウェア構成例を示すブロック図である。

【図2】リカレントニューラルネットワークシステムの構成例を示す説明図である。

【図3】学習処理の手順例を示すフローチャートである。

【図4】予測処理の手順例を示すフローチャートである。

【図5】観測量ＤＢの例を示す説明図である。

【図6】パラメータＤＢの例を示す説明図である。

【発明を実施するための形態】

【0009】

以下実施の形態を、図面を参照して説明する。本明細書で対象とする系について説明する。本明細書では状態変化が以下の式（１０）に従う系を対象とする。

【0010】

h_t=F(h_t-1, a_t) (t=1, 2, 3,…) … （１０）

【0011】

ここで、h_tは時刻ｔでの系の全状態、a_tは系への外力（外力データ）を表す。関数Fはこの系の時間発展を定義する関数である。この系において、式（１１）に従う実測データu_tが得られるとする。関数Gは系の状態に応じて実測データを決定する関数である。

【0012】

u_t=G(h_t) … （１１）

【0013】

本明細書で説明するアルゴリズムは、実測データu_tと外力データa_tの時系列データ(t=1, 2, 3,…)が与えられた場合において、関数FやG（又はそれに同相な関数）の近似関数を構築することで、将来予測を行うものである。詳細は後述する。

【0014】

図１は情報処理装置のハードウェア構成例を示すブロック図である。情報処理装置１はサーバコンピュータ、ワークステーション、ＰＣ（Personal Computer）等で構成する。情報処理装置１は制御部１１、主記憶部１２、補助記憶部１３、入力部１４、表示部１５、通信部１６及び読み取り部１７を含む。各構成はバスＢにより接続されている。なお、情報処理装置１を複数のコンピュータからなるマルチコンピュータ、ソフトウェアによって仮想的に構築された仮想マシン又は量子コンピュータで構成してもよい。また、情報処理装置１の機能をクラウドサービスで実現してもよい。

【0015】

制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有する。制御部１１は、補助記憶部１３に記憶された制御プログラム１Ｐ（プログラム、プログラム製品）を読み出して実行することにより、種々の情報処理、制御処理等を行い、取得部及び出力部等の機能部を実現する。

【0016】

主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等である。主記憶部１２は主として制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。

【0017】

補助記憶部１３はハードディスク又はＳＳＤ（Solid State Drive）等であり、制御部１１が処理を実行するために必要な制御プログラム１Ｐや各種ＤＢ（Database）を記憶する。また、補助記憶部１３は同期用リカレントニューラルネットワーク、予測用リカレントニューラルネットワークを記憶する。補助記憶部１３は、観測量ＤＢ１３１及びパラメータＤＢ１３２を記憶する。補助記憶部１３は情報処理装置１と別体であって、情報処理装置１に外部接続された外部記憶装置であってもよい。補助記憶部１３に記憶する各種ＤＢ等を、情報処理装置１とは異なるデータベースサーバやクラウドストレージに記憶してもよい。

【0018】

入力部１４はキーボードやマウス等である。表示部１５は液晶表示パネル又は有機ＥＬ（Electro Luminescence）表示パネル等で構成する。入力部１４と表示部１５とを一体化し、タッチパネルディスプレイを構成してもよい。なお、情報処理装置１は外部の表示装置（ディスプレイ装置）に表示を行ってもよい。

【0019】

通信部１６はインターネットや公衆通信網等のネットワークを介して、他のコンピュータと通信を行う。制御部１１が通信部１６を用い、ネットワーク等を介して他のコンピュータから制御プログラム１Ｐをダウンロードし、補助記憶部１３に記憶してもよい。

【0020】

読み取り部１７はＣＤ（Compact Disc）－ＲＯＭ及びＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読み取り部１７を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、補助記憶部１３に記憶してもよい。また、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでもよい。

【0021】

図２はリカレントニューラルネットワークシステムの構成例を示す説明図である。リカレントニューラルネットワークシステムは、ＣＲＮＮ（同期用リカレントニューラルネットワーク）とＰＲＮＮ（予測用リカレントニューラルネットワーク）とを有する。ＣＲＮＮとＰＲＮＮとは、例えば、リカレントニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）で構成する。図２では、それぞれのリカレントニューラルネットワークＣＲＮＮとＰＲＮＮとについて、時刻tから時刻t+pまでの間を示し、時系列データについて情報がどのようにネットワークを伝搬するのかを示している。pは要求される予測期間を表す。

【0022】

時刻t（第１時点）における実測データをu_t、外力データをa_tと表す。ＣＲＮＮの時刻tにおける状態変数（隠れ層状態変数）をh_t ^*と表し、その状態を引数に関数G(h_t ^*)で出力されるハットつきu_t ^*を事後予測データと呼ぶ。h_t ^*は関数F(h_t-1 ^*,a_t,δ_t-1 ^*)で決定される。ここで、δ_t ^*は事後予測データの実測データに対する誤差、ハットつきu_t ^*- u_tである。時刻tでu_tが欠損の場合、δ_t ^*は0とする。このため、ＣＲＮＮの時間間隔は実測データが与えられる時間間隔と一致する必要はない。δ_t ^*の入力により状態変数を修正することで、ＣＲＮＮは状態変数と実現象との同調を長時間保つように学習できる。状態変数の修正に、誤差の成分数が十分でない場合、複数の過去の時刻の誤差を用いる。例えば２時刻分の誤差を用いる場合、ハットつきu_t-1 ^*- u_t-1の成分とハットつきu_t ^*- u_tの成分を合わせて、δ_t ^*とする。

【0023】

ＰＲＮＮは連続する予測期間における予測データを生成する。ＰＲＮＮの時刻tにおける状態変数をh_tと表し、その状態を引数に前記関数G(h_t)で予測データ・ハットつきu_tが求められる。h_tは前記関数 F(h_t-1,ハットつきa_t,0)で決定される。ハットつきのa_tはハットつきa_t=a_tあるいは外力データの予測値を表す。予測段階において将来の外力データが得られる場合、学習段階と予測段階のどちらにも、ハットつきa_tはa_tそのものを用いる。予測段階において将来の外力データが得られない場合、予測段階ではハットつきa_tは外力データの予測値とし、学習段階ではa_tあるいはその予測値の適切な方を用いる。予測期間の終了時には、ＰＲＮＮの状態変数は同時刻のＣＲＮＮの状態変数によって上書きされ、次の予測期間の予測データの生成が行われる。

【0024】

本発明のリカレントニューラルネットワークは、与えられた時系列データより、前記関数F,Gと状態変数の初期値h₀ ^*=h₀を推定する時系列モデルである。具体的なモデル例を、以下の式（１）から式（８）に示す。式（１）から式（４）がＣＲＮＮの時間発展を示し、式（５）から式（８）がＰＲＮＮの時間発展を示す。

【0025】

【数1】

【0026】

【数3】

【0027】

学習段階ではT時刻分の連続する入力データ（実測データ、外力データ等）を本発明リカレントニューラルネットワークに入力して、ネットワークを順伝搬させる。このとき、必要となる予測期間毎に、ＣＲＮＮの状態変数を用いてＰＲＮＮの状態変数を上書きする。図２の例では、式（５）において、pの整数倍となる時刻ｔでs_t=1である。

【0028】

前記順伝搬により得られたＣＲＮＮの誤差δ_t ^*とＰＲＮＮの誤差δ_tを用いて損失関数の最小化より、調整パラメータを求める。前記モデル例において、２乗誤差を損失関数に用いる場合、以下の誤差最小化原理、式（９）により調整パラメータW₀,W₁,W₂,W₃,b₀,b₁及びb₂、並びに、状態変数の初期値h₀（初期時刻時点の状態変数の値）を得る。学習データに、連続する時系列データが複数ある場合、全ての誤差の総和（重み付き総和誤差）を損失関数とする。

【0029】

【数2】

【0030】

式（９）を解くには、確率的勾配法のアルゴリズム（例えばAdam法）を使用する。調整パラメータW₀、W₁、W₂、W₃、b₀、b₁及びb₂、並びに、状態変数の初期値h₀を得られれば、学習は終了である。αはＣＲＮＮとＰＲＮＮの誤差の比を表し、最適化を補助するパラメータである。最終的な目標はα＝０での最小化であるが、α＝１の方が最小化は容易である。このため、勾配法の進行度合いに応じて、αの値は０から１までの区間で調整する。最も単純には、αはα=0.5（ＣＲＮＮとＰＲＮＮの誤差を同等に扱う）のように固定する。

【0031】

図３は学習処理の手順例を示すフローチャートである。情報処理装置１の制御部１１は学習データを取得する（ステップＳ１）。学習データは、実測データ（u_t）および外力データ（a_t）を含む。制御部１１は予測外力（＝外力データの予測値）を使用するか否かを判定する（ステップＳ２）。制御部１１は予測外力を使用しないと判定した場合（ステップＳ２でＮＯ）、処理をステップＳ４へ進める。制御部１１は予測外力を使用すると判定した場合（ステップＳ２でＹＥＳ）、すなわちＰＲＮＮへの入力を外力データの予測値とする場合、この予測値（＝予測外力）を算出する（ステップＳ３）。この算出には本発明を用いてもよい。制御部１１は調整パラメータの初期値設定を行う（ステップＳ４）。制御部１１は、ＣＲＮＮとＰＲＮＮの順伝搬を計算する（ステップＳ５）。制御部１１は、それぞれの誤差（δ_tとδ_t ^*）から損失関数の値を求める（ステップＳ６）。制御部１１は学習を終了するか否かを判定する（ステップＳ７）。制御部１１は、損失関数の値の最小化がこれ以上進まないと判定した場合、終了すると判定する。制御部１１は学習を終了しないと判定した場合（ステップＳ７でＮＯ）、すなわち損失関数の値の最小化が必要と判定した場合、損失関数の調整パラメータに関する勾配を求め、Adam法等の勾配法に従って、調整パラメータを更新し（ステップＳ８）、処理をステップＳ５へ戻す。制御部１１はステップＳ５からステップＳ８の処理を繰り返し、損失関数が最小値となった調整パラメータを求める。制御部１１は学習を終了すると判定した場合（ステップＳ７でＹＥＳ）、調整パラメータ、状態変数の初期を、補助記憶部１３に記憶し（ステップＳ９）、処理を終了する。

【0032】

予測段階では状態変数の時間発展関数Fと予測データの出力関数Gに関する調整パラメータは、学習段階で得たものを固定して用いる。時刻t+1（次時点、第２時点）から時刻t+pまでの予測を行う場合、時刻tまでの入力データを用いて状態変数の初期値h₀のみを前記勾配法の最適化により求める。このh₀=h₀ ^*からＣＲＮＮの順伝搬を計算し、予測時刻直前の状態変数h_t ^*を得る。次に、状態変数の初期値をh_t=h_t ^*として、ＰＲＮＮを時刻t+1から時刻t+pまで順伝搬させて、時刻t+1から時刻t+pまでの予測データを得る。

【0033】

続く時刻t+p+1以降の予測には以下の手順を行う。時刻t+1から時刻t+pまでの間に得られた入力データ（実測データと外力データ）を用いて、状態変数h_t ^*からＣＲＮＮを時刻t+1から時刻t+pまで順伝搬させ、状態変数h_t+p ^*を計算する。次に、状態変数の初期値をh_t+p =h_t+p ^*と上書きして、ＰＲＮＮを時刻t+p+1から時刻t+2pまで順伝搬させて、時刻t+p+1から時刻t+2pまでの予測データを得る。時刻t+2p+1以降の予測にも同様な処理を繰り返し行う。状態変数の初期値h₀は新たな入力データが得られる度に求め直すことも可能である。

【0034】

図４は予測処理の手順例を示すフローチャートである。制御部１１は、過去の入力データ（実測データと外力データ）を取得する（ステップＳ２１）。制御部１１は、状態遷移関数と予測データ出力関数に関するパラメータを学習段階で算出したものに固定し、入力データの下で、最適な状態変数の初期値h₀を求める（ステップＳ２２）。制御部１１は、この状態変数の初期値から、ＣＲＮＮを順伝搬させ、最新時刻の状態変数を計算する（ステップＳ２３）。制御部１１は、未来の時刻において、ＰＲＮＮへ入力する外力データが取得できるか否かを判定する（ステップＳ２４）。制御部１１は外力データを取得可と判定した場合（ステップＳ２４でＹＥＳ）、処理をステップＳ２６へ進める。制御部１１は外力データを取得不可と判定した合場合（ステップＳ２４でＮＯ）、予測外力データを取得する（ステップＳ２５）。制御部１１は、外力データあるいは予測外力データを入力して、ＰＲＮＮを必要時刻分（p時刻分）だけ順伝搬させ、予測データを計算する（ステップＳ２６）。制御部１１は終了するか否かを判定する（ステップＳ２７）。制御部１１は終了しないと判定した場合（ステップＳ２７でＮＯ）、p時刻分経過後、この間の入力データを追加取得する（ステップＳ２８）。制御部１１はh₀の再計算が必要か否かを判定する（ステップＳ２９）。制御部１１は、取得した過去の時刻数が少ない場合、h₀の再計算が必要と判定する。制御部１１はh₀の再計算が必要と判定した場合（ステップＳ２９でＹＥＳ）、処理をステップＳ２２ヘ戻し、追加した入力データも含めてh₀の最適化をやり直す。制御部１１はh₀の再計算が必要でないと判定した場合（ステップＳ２９でＮＯ）、処理をステップＳ２３へ戻す。制御部１１は終了すると判定した場合（ステップＳ２７でＹＥＳ）、処理を終了する。

【0035】

次に、ＣＲＮＮ及びＰＲＮＮを用いた時系列予測について、具体例を説明する。時系列予測の例として、ある河川の１時間毎の水位変化予測とする。日々、２３時までの入力データの下で、翌０時から２３時までの水位を１時間毎に予測する。河川の水位は、流域の雨量や、河口近辺であれば潮位に影響されるため、外力データは流域における複数地点の雨量、及び、河口近辺での潮位とする。予測段階のＰＲＮＮに外力データの観測量を用いることはできないため、雨量、潮位は予測値を求める必要がある。雨量、潮位について、本発明ネットワークを入力外力データ無しで用いることで、予測外力を得ることが可能である。例えば、格子上地点に配置された雨量の実測時系列データを与えた下で、各格子点に状態変数を定義した本発明ネットワークを用いる。状態変数の時間発展や予測雨量の出力関数は、近傍地点のみが影響する仮定の下、畳み込み層を用いることで調整パラメータを削減できる。学習段階において、ＰＲＮＮに入力する雨量と潮位は、実測データと予測データのどちらも用いることが可能である。実現象のモデル化を重要視する場合は実測データを用い、予測性能を重要視する場合は予測データを用いる。ＣＲＮＮに入力する雨量と潮位は、学習段階と予測段階ともに観測された雨量と潮位を用いる。

【0036】

図５は観測量ＤＢの例を示す説明図である。観測量ＤＢ１３１は時系列データを記憶する。観測量ＤＢ１３１は予測対象となる観測量、外力に相当する観測量を記憶する。観測量ＤＢ１３１は、日付列、時刻列、水位列、雨量列及び潮位列を含む。日付列は測定日を記憶する。時刻列は測定時刻を記憶する。水位列は複数の列を含む。各列の名称は河川水位の観測所の名称となっており、各観測所での水位を記憶する。河川の水位とは、基準面から測った河川の水面の高さをいう。「基準面」の標高は、それぞれの水位観測所ごとにあらかじめ測量し、定められている。雨量列は複数の列を含む。各列の名称は雨量計が設置されている地点名となっており、各地点での雨量の観測値を記憶する。ここでは、直前の１時間の雨量を記憶するが、直前の１０分間雨量とすることで、より瞬間的な外力データを用いてもよい。潮位列は複数の列を含む。各列の名称は観測地点の名称となっており、各地点での毎時の潮位を記憶する。例えば、毎時潮位は平滑値の１時間ごとの値である。平滑値とは、実測潮位から副振動や津波、波浪などの周期が約３時間までの成分を除いた潮位である。

【0037】

観測量ＤＢ１３１において、観測量は学習データとして使用される。雨量を実測データ、外力データをなしとし、本発明ＲＮＮで雨量予測モデルを作成する。潮位も同様に、潮位データから潮位予測モデルを作成する。雨量や潮位に欠損データが存在する場合、ＣＲＮＮから出力される事後予測データを用いて欠損値を補間する。補間済の雨量と潮位を外力データ、水位を実測データとして本発明ＲＮＮで水位予測モデルを作成する。学習によって得られた、各モデルにおける状態遷移関数と予測データ出力関数の調整パラメータを保存する。以後、連続する時刻で予測を行う場合、ＣＲＮＮの最終時刻における状態変数（例えば、2023年3月31日23時におけるＣＲＮＮの状態変数）を、予測段階の状態変数の初期値として保存する。

【0038】

図６はパラメータＤＢの例を示す説明図である。パラメータＤＢ１３２の各セルは一般に複数の成分を含む。予測段階では、パラメータＤＢ１３２に保存の各パラメータを用いる。例えば、２０２３年４月１日０時から２３時までの２４時刻分の予測雨量と予測潮位を、雨量モデルと潮位モデルのＰＲＮＮをそれぞれのh₀を初期値として順伝搬させることで得る。ここで得られた予測雨量と予測潮位を水位モデルのＰＲＮＮに入力し、順伝搬によって同日の２４時刻分の予測水位を求めることが出来る。次に、２０２３年４月１日２３時を経過した時点で、同日の２４時刻分の水位と雨量と潮位の実測値を取得する。雨量モデルと潮位モデルに予測値と実測値の誤差を入力し、各モデルのＣＲＮＮを順伝搬することで、２０２３年４月１日２３時の時点での状態変数を得る。水位モデルには予測値と実測値の誤差と、雨量と潮位の実測値を入力し、ＣＲＮＮを順伝搬することで、同時点の状態変数を得る。これら最新の状態変数を初期値として、２０２３年４月１日に行った手順と同様に、２０２３年４月２日の２４時刻分の水位と雨量と潮位の予測値を求めることが出来る。以降、同じ手順を繰り返すことで、翌日の水位予測を継続して行える。

【0039】

本実施の形態は、以下の効果を奏する。ＣＲＮＮの状態変数の時間発展を、直前の時点での誤差を用いた制御（以下、残差制御）を行っている。具体的には式（１）において、W₃δ_t-1 ^*の項が相当する。通常のリカレントニューラルネットワークにおいては、直前の時点での実測データを入力することがよくある。残差制御はそれに比べて、少ないパラメータで実現象とモデルとの同期を保ち、状態変数における誤差の蓄積が抑制できる。また、残差がゼロのときには状態変数の時間発展に影響せず、実測データが存在して誤差が求められる時刻のみで状態変数の残差制御を行う。よって、欠損値がある場合はゼロを入力することで、矛盾が生じない。このため、状態変数の時間発展を実測データの時間間隔よりも短くすることが容易である。一般的に、短い時間間隔である方が、状態遷移関数が単純であるため、学習が容易になる。ＣＲＮＮ単体では通常、予測時では残差制御は行えないことに加え、残差最小化からは短期的予測が重要視され、過剰な残差制御に導くことが多い。そこで、残差制御を行わないＰＲＮＮを組み合わせて用い、ＰＲＮＮの長期的な予測誤差の最小化をすることで、最適な残差制御の度合いを自動調整することが出来る。

【0040】

また、状態変数の初期値h₀は、式（９）により、誤差が最小化されている。そのため、学習データが短い時系列データの集合である場合や、予測段階で与えられる過去の入力データが短い場合でも、精度のよいモデルの構築や予測が可能となる。

【0041】

各実施の形態で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0042】

１ ：情報処理装置
１１ ：制御部
１２ ：主記憶部
１３ ：補助記憶部
１３１ ：観測量ＤＢ
１３２ ：パラメータＤＢ
１４ ：入力部
１５ ：表示部
１６ ：通信部
１７ ：読み取り部
１Ｐ ：制御プログラム
１ａ ：可搬型記憶媒体
１ｂ ：半導体メモリ
Ｂ ：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】