特開 2023-177810 系列予測方法、系列予測装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177810

(43)【公開日】2023-12-14

(54)【発明の名称】系列予測方法、系列予測装置及びプログラム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20231207BHJP

【ＦＩ】

G05B23/02 R

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022090685

(22)【出願日】2022-06-03

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504145342

【氏名又は名称】国立大学法人九州大学

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】岩田 具治

(72)【発明者】

【氏名】河原 吉伸

【テーマコード（参考）】

3C223

【Ｆターム（参考）】

3C223AA30

3C223BA01

3C223CC01

3C223EB07

3C223FF02

3C223FF05

3C223FF12

3C223FF22

3C223FF26

(57)【要約】

【課題】系列予測の予測精度を向上させる技術を提供すること。
【解決手段】本開示の一態様による系列予測方法は、１以上の第１の観測データで構成された系列データと、前記系列データが表す系列に関する情報とが与えられると、前記系列に関する情報を満たし、かつ、前記系列データに適合するように所定の予測モデルを学習する予測モデル学習手順と、第２の観測データが与えられると、学習済みの前記予測モデルにより、前記第２の観測データが観測された観測時刻に対して所定の時間先又は後の時刻における第３の観測データを予測する予測手順と、をコンピュータが実行する。
【選択図】図３

【特許請求の範囲】

【請求項1】

１以上の第１の観測データで構成された系列データと、前記系列データが表す系列に関する情報とが与えられると、前記系列に関する情報を満たし、かつ、前記系列データに適合するように所定の予測モデルを学習する予測モデル学習手順と、
第２の観測データが与えられると、学習済みの前記予測モデルにより、前記第２の観測データが観測された観測時刻に対して所定の時間先又は後の時刻における第３の観測データを予測する予測手順と、
をコンピュータが実行する系列予測方法。

【請求項2】

前記系列に関する情報は、前記系列の減衰に関する情報、及び、前記系列の周期に関する情報、の少なくとも一方である、請求項１に記載の系列予測方法。

【請求項3】

前記減衰に関する情報は、前記系列の減衰率の対数、又は、前記系列の減衰率の範囲であり、
前記周期に関する情報は、前記系列の周波数、又は、前記系列の周期の範囲であり、
前記予測モデルは、
前記系列のダイナミクスを表す固有値の行列として、前記減衰に関する情報と前記周期に関する情報とで表現される固有値の行列を持つモデルである、請求項２に記載の系列予測方法。

【請求項4】

前記予測モデルは、
前記系列のダイナミクスを表す固有値の行列をΛ、所定の関数をφ及びψ、時刻ｔにおける観測データをｙ（ｔ）、所定の実数行列をＶとして、φ（Ｖｅｘｐ（τΛ）Ｖ^－１ψ（ｙ（ｔ）））又はφ（ＶΛ^τＶ^－１ψ（ｙ（ｔ）））により、時刻ｔよりもτ時間先又は後の観測データを予測するモデルである、請求項３に記載の系列予測方法。

【請求項5】

前記予測モデルは、
前記時刻ｔが連続時間を取る場合はφ（Ｖｅｘｐ（τΛ）Ｖ^－１ψ（ｙ（ｔ）））と表され、前記時刻ｔが離散時間を取る場合はφ（ＶΛ^τＶ^－１ψ（ｙ（ｔ）））と表される、請求項４に記載の系列予測方法。

【請求項6】

１以上の第１の観測データで構成された系列データと、前記系列データが表す系列に関する情報とが与えられると、前記系列に関する情報を満たし、かつ、前記系列データに適合するように所定の予測モデルを学習するように構成されている予測モデル学習部と、
第２の観測データが与えられると、学習済みの前記予測モデルにより、前記第２の観測データが観測された観測時刻に対して所定の時間先又は後の時刻における第３の観測データを予測するように構成されている予測部と、
を有する系列予測装置。

【請求項7】

１以上の第１の観測データで構成された系列データと、前記系列データが表す系列に関する情報とが与えられると、前記系列に関する情報を満たし、かつ、前記系列データに適合するように所定の予測モデルを学習する予測モデル学習手順と、
第２の観測データが与えられると、学習済みの前記予測モデルにより、前記第２の観測データが観測された観測時刻に対して所定の時間先又は後の時刻における第３の観測データを予測する予測手順と、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、系列予測方法、系列予測装置及びプログラムに関する。

【背景技術】

【0002】

系列予測の予測精度を高めることは、例えば、物理、気象、経済等といった様々な分野で重要である。一般に、学習データが少ない場合は予測精度が低くなる。これに対して、関連する他の系列データを利用して予測精度を高める手法が提案されている（非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Iwata, Tomoharu, and Yoshinobu Kawahara. "Meta-Learning for Koopman Spectral Analysis with Short Time-series." arXiv preprint arXiv:2102.04683 (2021).

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の非特許文献１で提案されている手法は、関連する他の系列データを入手できない場合には適用できないという問題がある。また、関連する他の系列データを入手できるとしても、そのためにコストがかかる場合もある。

【0005】

本開示は、上記の点に鑑みてなされたもので、系列予測の予測精度を向上させる技術を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様による系列予測方法は、１以上の第１の観測データで構成された系列データと、前記系列データが表す系列に関する情報とが与えられると、前記系列に関する情報を満たし、かつ、前記系列データに適合するように所定の予測モデルを学習する予測モデル学習手順と、第２の観測データが与えられると、学習済みの前記予測モデルにより、前記第２の観測データが観測された観測時刻に対して所定の時間先又は後の時刻における第３の観測データを予測する予測手順と、をコンピュータが実行する。

【発明の効果】

【0007】

系列予測の予測精度を向上させる技術が提供される。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る系列予測装置のハードウェア構成の一例を示す図である。

【図2】本実施形態に係る系列予測装置の機能構成の一例を示す図である。

【図3】本実施形態に係る系列予測装置が実行する処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態について説明する。以下では、学習データが少ない場合であっても、系列データに対する予測精度を向上させることができる系列予測装置１０について説明する。

【0010】

ここで、本実施形態に係る系列予測装置１０には、予測モデルを学習するための学習フェーズと、学習済みの予測モデルにより系列予測を行う推論フェーズとが存在する。

【0011】

学習フェーズでは、学習用の系列データと、その系列データが表す系列の周期や減衰に関する情報とが系列予測装置１０に与えられる。なお、学習用の系列データとして複数の系列データが与えられてもよい。

【0012】

以下、学習用の系列データを｛（ｙ_ｎ，ｔ_ｎ）｜ｎ＝１，・・・，Ｎ｝とする。ここで、ｙ_ｎは、連続時間を取る時刻ｔ_ｎ∈Ｒ（ただし、Ｒは実数全体の集合）におけるｎ番目の観測ベクトルである。また、ｔ_ｎ＋１＞ｔ_ｎであり、Ｎは学習用の系列データの系列長である。なお、観測ベクトルが観測される時間間隔は一定の間隔でなくてもよい。つまり、ｔ_ｎ＋１－ｔ_ｎ≠ｔ_ｎ'＋１－ｔ_ｎ'となるｎ，ｎ'∈｛１，・・・，Ｎ｝が存在してもよい。なお、以下では、（ｙ，ｔ）をｙ（ｔ）とも表す。

【0013】

また、減衰に関する情報を

【0014】

【数1】

とする。ここで、各ｒ_ｋ ^＊（ｋ＝１，・・・，Ｋ_ｒ）は減衰率の対数、Ｋ_ｒは与えられた減衰率の対数の数である。例えば、系列データが保存則に従う場合は、ｒ^＊＝０となる。

【0015】

周期に関する情報を

【0016】

【数2】

とする。ここで、各ω_ｋ ^＊（ｋ＝１，・・・，Ｋ_ｗ）は周波数（つまり、周期の逆数）、Ｋ_ｗは与えられた周波数の数である。例えば、系列データの単位時間が１日で、１日及び１週間の周期がある場合はω^＊＝［１，１／７］となる。

【0017】

このように、学習フェーズでは、学習用の系列データだけでなく、その系列の周期や減衰に関する情報も与えられるものとする。ただし、周期に関する情報と減衰に関する情報のいずれか一方のみが与えられてもよい。また、減衰率や周期の範囲の情報が与えられてもよい。

【0018】

一方で、推論フェーズでは、或る時刻ｔにおける観測ベクトルｙ（ｔ）が系列予測装置１０に与えられる。このとき、その時刻ｔよりも時間τだけ先にある時刻ｔ＋τの観測ベクトルｙ（ｔ＋τ）を高精度に予測することが目的である。なお、τは負でもよい。τが負である場合は過去の観測ベクトルを予測することを意味する。

【0019】

＜系列予測装置１０のハードウェア構成例＞
本実施形態に係る系列予測装置１０のハードウェア構成例を図１に示す。図１に示すように、本実施形態に係る系列予測装置１０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、例えば、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、ＲＡＭ（Random Access Memory）１０５と、ＲＯＭ（Read Only Memory）１０６と、補助記憶装置１０７と、プロセッサ１０８とを有する。これらの各ハードウェアは、それぞれがバス１０９を介して通信可能に接続されている。

【0020】

入力装置１０１は、例えば、キーボード、マウス、タッチパネル、物理ボタン等である。表示装置１０２は、例えば、ディスプレイ、表示パネル等である。なお、系列予測装置１０は、例えば、入力装置１０１及び表示装置１０２の少なくとも一方を有していなくてもよい。

【0021】

外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。系列予測装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込み等を行うことができる。記録媒体１０３ａとしては、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。

【0022】

通信Ｉ／Ｆ１０４は、系列予測装置１０を通信ネットワークに接続するためのインタフェースである。ＲＡＭ１０５は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。補助記憶装置１０７は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等のストレージ装置（記憶装置）である。プロセッサ１０８は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算装置である。

【0023】

本実施形態に係る系列予測装置１０は、図１に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。なお、図１に示すハードウェア構成は一例であって、系列予測装置１０のハードウェア構成はこれに限られるものではない。例えば、系列予測装置１０は、複数の補助記憶装置１０７や複数のプロセッサ１０８を有していてもよいし、図示したハードウェアの一部を有していなくてもよいし、図示したハードウェア以外の様々なハードウェアを有していてもよい。

【0024】

＜系列予測装置１０の機能構成例＞
本実施形態に係る系列予測装置１０の機能構成例を図２に示す。図２に示すように、本実施形態に係る系列予測装置１０は、予測モデル学習部２０１と、予測部２０２とを有する。これら各部は、例えば、系列予測装置１０にインストールされた１以上のプログラムが、プロセッサ１０８に実行させる処理により実現される。また、本実施形態に係る系列予測装置１０は、記憶部２０３を有する。記憶部２０３は、例えば、補助記憶装置１０７により実現される。なお、記憶部２０３又はその一部の記憶領域が、系列予測装置１０と通信ネットワークを介して接続される記憶装置（例えば、データベースサーバ等）により実現されてもよい。

【0025】

予測モデル学習部２０１は、与えられた減衰に関する情報ｒ^＊や周期に関する情報ω^＊を満たし、かつ、学習用の系列データ｛（ｙ_ｎ，ｔ_ｎ）｜ｎ＝１，・・・，Ｎ｝に適合するように予測モデルを学習する。

【0026】

減衰に関する情報ｒ^＊や周期に関する情報ω^＊を満たす予測モデルとして、以下の式（１）に示す予測モデルを考える。なお、以下、本明細書のテキスト中では、予測値を表すハット「＾」は文字の図上ではなく、文字の直前に記載するものとする。例えば、本明細書のテキスト中では、以下の式（１）に示す予測モデルの左辺を「＾ｙ（τ｜ｙ（ｔ））」と記載する。

【0027】

【数3】

ここで、＾ｙ（τ｜ｙ（ｔ））は、時刻ｔの観測ベクトルがｙ（ｔ）であるときのτ時間後の観測ベクトルの予測値である。φとψは任意の関数であり、例えば、ニューラルネットワークやカーネル法等でモデル化することができる。

【0028】

Λは系列のダイナミクスを表す固有値の行列であり、固有値の実部は減衰率、固有値の虚部は周波数を表す。例えば、固有値は実数パラメータ

【0029】

【数4】

を用いて、

【0030】

【数5】

と表現できる。このとき、固有値の数Ｋが奇数の場合には、

【0031】

【数6】

とモデル化する。なお、ダイナミクスの行列が対角化可能でない場合は、ジョルダン標準形を用いてモデル化できる。また、ジョルダン標準形を用いて固有値をモデル化してもよい。

【0032】

このとき、与えられた減衰に関する情報ｒ^＊や周期に関する情報ω^＊を用いて、上記のｒやωの（一部の）パラメータを固定することで、与えられた減衰や周期に関する情報を満たす系列を表現できる。固定しないパラメータは学習対象のパラメータとする。なお、減衰率や周期の範囲の情報が与えられた場合は、その範囲を制約条件としてパラメータを学習する。例えば、減衰率の対数が負であるという情報が与えられた場合には、ｒ_ｋ＝－ｅｘｐ（ｒ_ｋ'）とパラメタライズできる、また、例えば、減衰率はｒ_{ｓｔａｒｔ}からｒ_ｅｎｄの範囲であるという情報が与えられた場合には、ｒ_ｋ＝ｒ_{ｓｔａｒｔ}＋（ｒ_ｅｎｄ－ｒ_{ｓｔａｒｔ}）／（１＋ｅｘｐ（－ｒ_ｋ'））とパラメタライズできる。

【0033】

Ｖは行列であり、実数行列

【0034】

【数7】

を用いて、

【0035】

【数8】

と表現できる。ｕ_ｋ及びｚ_ｋは学習対象のパラメータである。

【0036】

モデルのパラメータｒ_ｋ，ω_ｋ，ｕ_ｋ，ｚ_ｋや関数φ，ψ（のパラメータ）、学習用の系列データ｛（ｙ_ｎ，ｔ_ｎ）｜ｎ＝１，・・・，Ｎ｝に適合するように学習する（ただし、減衰に関する情報ｒ^＊や周期に関する情報ω^＊で固定したパラメータｒ_ｋ，ω_ｋは学習対象としない。）。例えば、以下の予測誤差を最小化することで学習できる。

【0037】

【数9】

ここで、νは何時刻先を予測するかを表し、前の時刻であってもよい。また、ν_{ｓｔａｒｔ}は何時刻前から予測を始めるのかを表し、ν_ｅｎｄは何時刻後まで予測するのかを表す。

【0038】

なお、上記では時刻ｔは連続時間を取るものとしたが、時刻ｔが離散時間を取る場合であっても、本実施形態は適用可能である。時刻ｔが離散時間を取る場合、固有値は、上記の式（２）でなく、

【0039】

【数10】

と表現できる。また、予測モデルは、

【0040】

【数11】

となる。

【0041】

予測部２０２は、或る時刻ｔにおける観測ベクトルｙ（ｔ）が与えられたときに、学習済みのパラメータを持つ予測モデル（例えば、時刻ｔが連続時間を取る場合は上記の式（２）に示す予測モデル、離散時間を取る場合は上記の式（６）に示す予測モデル）により、τ時間後の観測ベクトルｙ（ｔ＋τ）の予測値＾ｙ（τ｜ｙ（ｔ））を計算する。なお、上述したように、τは負でもよい。

【0042】

記憶部２０３は、各種データを記憶する。例えば、学習フェーズにおいては、記憶部２０３は、学習用の系列データ｛（ｙ_ｎ，ｔ_ｎ）｜ｎ＝１，・・・，Ｎ｝、減衰に関する情報ｒ^＊、周期に関する情報ω^＊、学習済みでないパラメータｒ_ｋ，ω_ｋ，ｕ_ｋ，ｚ_ｋ、関数φ，ψ（のパラメータ）を記憶する。一方で、例えば、推論フェーズにおいては、或る時刻ｔにおける観測ベクトルｙ（ｔ）、学習済みのパラメータｒ_ｋ，ω_ｋ，ｕ_ｋ，ｚ_ｋ、学習済みの関数φ，ψ（のパラメータ）を記憶する。

【0043】

＜処理の流れ＞
本実施形態に係る系列予測装置１０が実行処理の流れについて、図３を参照しながら説明する。なお、図３のステップＳ１０１～ステップＳ１０２が学習フェーズで実行される処理であり、ステップＳ２０１～ステップＳ２０２が推論フェーズで実行される処理である。

【0044】

予測モデル学習部２０１は、与えられた学習用の系列データ｛（ｙ_ｎ，ｔ_ｎ）｜ｎ＝１，・・・，Ｎ｝と減衰に関する情報ｒ^＊及び周期に関する情報ω^＊の少なくとも一方とを入力する（ステップＳ１０１）。

【0045】

予測モデル学習部２０１は、例えば、上記の式（４）に示す予測誤差を最小化するように、上記の式（１）に示す予測モデルのパラメータｒ_ｋ，ω_ｋ，ｕ_ｋ，ｚ_ｋ及び関数φ，ψを学習する（ステップＳ１０２）。これにより、学習済みの予測モデルが得られる。

【0046】

予測部２０２は、与えられた観測ベクトルｙ（ｔ）を入力する（ステップＳ２０１）。なお、このとき、τが与えられてもよい。

【0047】

予測部２０２は、例えば、上記の式（２）に示す予測モデル（ただし、パラメータｒ_ｋ，ω_ｋ，ｕ_ｋ，ｚ_ｋ及び関数φ，ψは学習済み）により、τ時間後の観測ベクトルｙ（ｔ＋τ）の予測値＾ｙ（τ｜ｙ（ｔ））を計算する（ステップＳ２０２）。これにより、観測ベクトルｙ（ｔ）に対して所望の時間τ（ただし、τは負でもよい。）後の観測ベクトルが予測される。

【0048】

＜評価＞
以下、本実施形態に係る系列予測装置１０の評価について説明する。ファンデルポール振動子を用いて、本実施形態に係る系列予測装置１０と既存手法とを評価した。その評価結果を以下の表１に示す。

【0049】

【表1】

ここで、提案手法（減衰率）は減衰に関する情報のみを与えて系列予測装置１０を評価した結果である。提案手法（減衰率、周期）は減衰に関する情報と周期に関する情報の両方を与えて系列予測装置１０を評価した結果である。また、ニューラルネットは再帰的ニューラルネットワークを用いた既存手法の評価結果である。なお、評価指標は予測誤差とした。

【0050】

上記の表１に示されるように、提案手法（減衰率）と提案手法（減衰率、周期）は既存手法によりも低い予測誤差を達成していることがわかる。また、提案手法（減衰率）と提案手法（減衰率、周期）を比較した場合、減衰に関する情報に加えて、周期に関する情報も用いることで、より低い予測誤差を達成できることもわかる。

【0051】

＜まとめ＞
以上のように、本実施形態に係る系列予測装置１０は、学習用の系列データだけでなく、その系列の周期や減衰に関する情報も用いて、系列予測のための予測モデルを構築する。これにより、例えば、学習用の系列データの系列長が比較的短い場合（つまり、学習データが少ない場合）であっても高精度な予測モデルを構築することが可能となる。

【0052】

なお、上記の実施形態では、学習フェーズと推論フェーズで同一の装置により系列予測装置１０が実現されているが、これに限られず、学習フェーズと推論フェーズで異なる装置により系列予測装置１０が実現されていてもよい。例えば、予測モデル学習部２０１を有する学習装置と、予測部２０２を有する推論装置とで上記の実施形態が実現されてもよい。

【0053】

また、上記の実施形態では、予測モデルを構築した上でこの予測モデルにより系列データを予測する場合について説明したが、このような予測だけでなく、本実施形態は、学習用の時系列データに関する減衰や周期を推定したい場合にも適用可能である。すなわち、与えられた減衰に関する情報ｒ^＊や周期に関する情報ω^＊で固定されていないパラメータｒ_ｋやω_ｋの推定結果を、学習用の時系列データに関する減衰や周期の推定結果とすることができる。

【0054】

本実施形態に係る系列予測装置１０は、系列予測が行われる様々な分野に適用可能である。このような分野の例としては、物理、気象、経済等が挙げられる。

【0055】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【符号の説明】

【0056】

１０ 系列予測装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ ＲＡＭ
１０６ ＲＯＭ
１０７ 補助記憶装置
１０８ プロセッサ
１０９ バス
２０１ 予測モデル学習部
２０２ 予測部
２０３ 記憶部

【図1】

【図2】

【図3】