特許 6990371 予測装置、パラメータ集合生産方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-08

(45)【発行日】2022-02-03

(54)【発明の名称】予測装置、パラメータ集合生産方法及びプログラム

(51)【国際特許分類】

   G06Q 10/04 20120101AFI20220127BHJP

【ＦＩ】

G06Q10/04

【請求項の数】 7

(21)【出願番号】P 2018527609

(86)(22)【出願日】2017-07-11

(86)【国際出願番号】 JP2017025236

(87)【国際公開番号】W WO2018012487

(87)【国際公開日】2018-01-18

【審査請求日】2020-06-24

(31)【優先権主張番号】P 2016138075

(32)【優先日】2016-07-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504159235

【氏名又は名称】国立大学法人 熊本大学

(74)【代理人】

【識別番号】100136180

【弁理士】

【氏名又は名称】羽立 章二

(72)【発明者】

【氏名】松原 靖子

(72)【発明者】

【氏名】櫻井 保志

【審査官】関 博文

(56)【参考文献】

【文献】特開２０１６－１２６７１８（ＪＰ，Ａ）

【文献】特開平１１－１３４３２０（ＪＰ，Ａ）

【文献】特開平０６－２１４９７５（ＪＰ，Ａ）

【文献】特開２０１０－１２２８２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

時刻ｔ_cまでの時系列データＸの一部であるカレントウィンドウＸ_Cを用いて時刻ｔ_cからｌ_sステップ以降の一つ又は複数のイベント値を予測する予測装置であって、
パラメータ集合記憶手段と、レジーム更新手段と、予測手段を備え、
前記パラメータ集合記憶手段は、数理モデルを特定するパラメータ集合を記憶し、
前記数理モデルは、非線形要素を含み、
前記パラメータ集合は、前記非線形要素の係数を特定する非線形パラメータを含み、
前記レジーム更新手段は、前記非線形パラメータを変更せず、前記パラメータ集合に含まれる他のパラメータの一部又は全部を更新して、カレントウィンドウＸ_Cの各時刻のデータと、更新後の前記パラメータ集合により特定される数理モデルを用いて得られるカレントウィンドウＸ_cの各時刻に対応するイベント値Ｖ_Cとの違いを小さくし、
前記予測手段は、更新後の前記パラメータ集合により特定される数理モデルを用いて時刻ｔ_cからｌ_sステップ以降の一つ又は複数のイベント値を予測する、予測装置。

【請求項2】

前記パラメータ集合記憶手段は、ｃ個（ｃは自然数）のパラメータ集合θ_i（ｉ＝１，…，ｃ）を記憶し、
前記予測手段は、更新後のｃ個のパラメータ集合θ_iの一部又は全部を用いてイベント値Ｖ_Eを予測する、請求項１記載の予測装置。

【請求項3】

レジーム追加手段を備え、
前記レジーム追加手段は、カレントウィンドウＸ_Cの各時刻でのデータと、更新後のｃ個のパラメータ集合θ_iを用いて得られる対応する各時刻のイベント値Ｖ_Cとの違いが追加条件を満たすならば、前記パラメータ集合記憶手段に、新たなパラメータ集合θ_c+1を追加し、
前記レジーム更新手段は、ｃ＋１個のパラメータ集合θ_i（ｉ＝１，…，ｃ＋１）に含まれる非線形パラメータ以外のパラメータの一部又は全部を更新し、
前記予測手段は、更新後のｃ＋１個のパラメータ集合θ_i（ｉ＝１，…，ｃ＋１）により特定される数理モデルの一部又は全部を用いてイベント値を予測する、請求項２記載の予測装置。

【請求項4】

前記数理モデルは、線形要素を含み、
前記パラメータ集合は、前記線形要素を特定する線形パラメータを含み、
前記レジーム更新手段は、
前記非線形パラメータを変更せずに前記線形パラメータを更新して、カレントウィンドウＸ _C の各時刻のデータと、更新後の前記パラメータ集合により特定される数理モデルを用いて得られるカレントウィンドウＸ _c の各時刻に対応するイベント値Ｖ _C との違いを小さくし、
更新した前記線形パラメータを使用して前記非線形パラメータを決定する、請求項１から３のいずれかに記載の予測装置。

【請求項5】

カレントウィンドウＸ_c ^(j)（ｊ＝１，…，ｈ、ｈは自然数）は、ｈ階層であり、
前記パラメータ集合は、ｈ階層の前記カレントウィンドウＸ_c ^(j)に対応してｈ階層であり、
前記レジーム更新手段は、各階層において前記パラメータ集合を更新し、
前記予測手段は、各階層において予測されたイベント値から全体のイベント値を予測する、請求項１から４のいずれかに記載の予測装置。

【請求項6】

時刻ｔ_cまでの時系列データの一部であるカレントウィンドウＸ_Cを用いて、数理モデルを特定するパラメータ集合の一部のパラメータを変更して新たなパラメータ集合を生産するパラメータ集合生産方法であって、
前記数理モデルは、非線形要素を含み、
前記パラメータ集合は、前記非線形要素を特定する非線形パラメータを含み、
情報処理装置が備えるレジーム更新手段が、前記非線形パラメータを変更せず、前記パラメータ集合に含まれる他のパラメータの一部又は全部を更新して、カレントウィンドウＸ_Cの各時刻のデータと、更新後の前記パラメータ集合により特定される数理モデルを用いて得られるカレントウィンドウＸ_Cの各時刻に対応するイベント値Ｖ_Cとの違いを小さくする更新ステップを含むパラメータ集合生産方法。

【請求項7】

コンピュータを、請求項１から５のいずれかに記載の予測装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、予測装置、パラメータ集合生産方法及びプログラムに関し、特に、時刻ｔ_cまでのデータストリームＸの一部であるカレントウィンドウＸ_Cを用いて時刻ｔ_cからｌ_sステップ以降の一つ又は複数のイベント値Ｖ_Eを予測する予測装置等に関する。

【背景技術】

【0002】

発明者らは、これまで、時系列データの解析を研究してきた（非特許文献１参照）。発明者らが提案したAutoPlaitは、時系列データの特徴抽出に関して注目されている。

【0003】

時系列データに基づく予測について、例えば、自己回帰モデル（AR：autoregressive model）、その発展形であるARIMA（Autoregressive integrated moving average model）、線形動的システム（LDS：linear dynamical systems）、カルマンフィルタ（KF：Kalman filters）などが知られている。これらに基づく時系列の解析と予測手法として、AWSOM、TBATS、PLiFなどが提案されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Y. Matsubara、外１名, Christos Faloutsos: ”AutoPlait: Automatic Mining of Co-evolving Time Sequences”, ACM SIGMOD Conference, pp. 193-204, Snowbird, Utah, June 2014.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来、ほとんどの手法が線形システムを利用しているため、非線形性を有する時系列データの特徴の表現には不十分であった。また、非線形システムを利用するものは、最近傍探索に基づくものが主流であり、長期予測のための時系列のモデル化の能力を有さなかった。

【0006】

そこで、本願発明は、大規模な時系列データストリームを用いて、高精度に長期予測をも実現することが可能な予測装置等を提案することを目的とする。

【課題を解決するための手段】

【0007】

本願発明の第１の観点は、時刻ｔ_cまでの時系列データＸの一部であるカレントウィンドウＸ_Cを用いて時刻ｔ_cからｌ_sステップ以降の一つ又は複数のイベント値を予測する予測装置であって、パラメータ集合記憶手段と、レジーム更新手段と、予測手段を備え、前記パラメータ集合記憶手段は、数理モデルを特定するパラメータ集合を記憶し、前記数理モデルは、非線形要素を含み、前記パラメータ集合は、前記非線形要素の係数を特定する非線形パラメータを含み、前記レジーム更新手段は、前記非線形パラメータを変更せず、前記パラメータ集合に含まれる他のパラメータの一部又は全部を更新して、カレントウィンドウＸ_Cの各時刻のデータと、更新後の前記パラメータ集合により特定される数理モデルを用いて得られるカレントウィンドウＸ_cの各時刻に対応するイベント値Ｖ_Cとの違いを小さくし、前記予測手段は、更新後の前記パラメータ集合により特定される数理モデルを用いて時刻ｔ_cからｌ_sステップ以降の一つ又は複数のイベント値を予測するものである。

【0008】

本願発明の第２の観点は、第１の観点の予測装置であって、前記パラメータ集合記憶手段は、ｃ個（ｃは自然数）のパラメータ集合θ_i（ｉ＝１，…，ｃ）を記憶し、前記予測手段は、更新後のｃ個のパラメータ集合θ_iの一部又は全部を用いてイベント値Ｖ_Eを予測するものである。

【0009】

本願発明の第３の観点は、レジーム追加手段を備え、前記レジーム追加手段は、カレントウィンドウＸ_Cの各時刻でのデータと、更新後のｃ個のパラメータ集合θ_iを用いて得られる対応する各時刻のイベント値Ｖ_Cとの違いが追加条件を満たすならば、前記パラメータ集合記憶手段に、新たなパラメータ集合θ_c+1を追加し、前記レジーム更新手段は、ｃ＋１個のパラメータ集合θ_i（ｉ＝１，…，ｃ＋１）に含まれる非線形パラメータ以外のパラメータの一部又は全部を更新し、前記予測手段は、更新後のｃ＋１個のパラメータ集合θ_i（ｉ＝１，…，ｃ＋１）により特定される数理モデルの一部又は全部を用いてイベント値を予測する、請求項２記載の予測装置。

【0010】

本願発明の第４の観点は、第１から第３のいずれかの観点の予測装置であって、前記数理モデルは、線形要素を含み、前記パラメータ集合は、前記線形要素を特定する線形パラメータを含み、前記レジーム追加手段は、前記非線形パラメータを変更せずに前記線形パラメータを決定し、決定した前記線形パラメータを使用して前記非線形パラメータを決定するものである。

【0011】

本願発明の第５の観点は、第１から第４のいずれかの観点の予測装置であって、カレントウィンドウＸ_c ^(j)（ｊ＝１，…，ｈ、ｈは自然数）は、ｈ階層であり、前記パラメータ集合は、ｈ階層の前記カレントウィンドウＸ_c ^(j)に対応してｈ階層であり、前記レジーム更新手段は、各階層において前記パラメータ集合を更新し、前記予測手段は、各階層において予測されたイベント値から全体のイベント値を予測するものである。

【0012】

本願発明の第６の観点は、時刻ｔ_cまでの時系列データの一部であるカレントウィンドウＸ_Cを用いて、数理モデルを特定するパラメータ集合の一部のパラメータを変更して新たなパラメータ集合を生産するパラメータ集合生産方法であって、前記数理モデルは、非線形要素を含み、前記パラメータ集合は、前記非線形要素を特定する非線形パラメータを含み、前記情報処理装置が備えるレジーム更新手段が、前記非線形パラメータを変更せず、前記パラメータ集合に含まれる他のパラメータの一部又は全部を更新して、カレントウィンドウＸ_Cの各時刻のデータと、更新後の前記パラメータ集合により特定される数理モデルを用いて得られるカレントウィンドウＸ_Cの各時刻に対応するイベント値Ｖ_Cとの違いを小さくする更新ステップを含むものである。

【0013】

本願発明の第７の観点は、コンピュータを、第１から第５のいずれかの観点の予測装置として機能させるためのプログラムである。

【0014】

なお、本願発明を、第７の観点のプログラムを定常的に記録するコンピュータ読み取り可能な記録媒体として捉えてもよい。

【発明の効果】

【0015】

発明者らは、レジームという概念に着目した。レジームは、環境生態学において、自然現象内の特徴的な時系列パターンのことを指す。レジームシフトとは、あるレジーム（時系列パターン）から別のレジームに変化する現象を示す。レジームシフトは、近年、様々な分野において活発に研究されており、とりわけ環境生態学分野において活発に取り組まれている課題である。

【0016】

発明者らは、自然界の動的システムにおけるレジームシフトの概念を拡張し、新たな時系列予測手法を提案する。自然界の動的システムと同様に、実世界におけるデータストリームは、様々な潜在的要素に影響されながら時間発展していく。

【0017】

本願発明の各観点によれば、大規模な時系列データストリームが与えられたとき、その潜在的なパターンを、非線形要素を含んだ数理モデルにより表現する。そして、非線形パラメータ以外のパラメータ（例えば初期値など）を変更して非線形動的システムを用いて、非線形要素による潜在的なパターンの表現を維持しつつ適応させて、実世界におけるデータストリームを使って精度よく予測することが可能になる。

【0018】

さらに、本願発明の第２の観点によれば、レジームシフトの概念を用いて、複数の非線形モデルを使用することにより時系列データストリーム上でのレジームシフトを発見し、複雑に変化する時系列パターンを表現して、高精度に予測することができる。

【0019】

さらに、本願発明の第３の観点によれば、レジームシフトに伴い、新たなレジームを自動発見して、新たな時系列パターンを追加することができる。

【0020】

さらに、本願発明の第４の観点によれば、新たなレジームを表すモデルを、線形要素を特定した後に非線形要素を特定することにより、計算量を抑えつつ、精度よく推定することが可能になる。

【0021】

さらに、実際の時系列データストリームは、異なる時間発展に基づく多階層の動的システムから構成され、複雑な時系列パターンを有する。つまり、階層的な構造を伴う。本願発明の第５の観点によれば、多階層の構造を利用して予測することにより、高精度に予測することができる。

【図面の簡単な説明】

【0022】

【図1】（ａ）一般的なレジームシフトの概念と（ｂ）本願発明のレジームシフトの概念の一例を示す。

【図2】本願発明の実施例による現時刻ｔ_cにおける分析と予測のスナップショットを示す。

【図3】本願発明の実施例であるRegimeCastの３つのアルゴリズムを示す。

【図4】本願発明の実施の形態に係る予測装置１の構成の概要を示すブロック図である。

【図5】図４の予測装置１の動作の一例を示すフロー図である。

【図6】図４の予測装置１において生成されるデータの一例を示す。

【図7】身体の運動に関するモーションストリームに対するRegimeCastの解析例を示す。

【図8】チキンダンスに対するRegimeCastの解析例を示す。

【図9】Googleにおける3ヶ月先の各キーワードの検索量の予測結果を示す。

【図10】本願発明と従来手法の予測精度を示す。

【図11】提案手法と従来手法の計算コストを示し、長期的なイベント予測での予測精度と計算コストを示す。

【発明を実施するための形態】

【0023】

以下では、図面を参照して、本願発明の実施例について説明する。なお、本願発明は、この実施例に限定されるものではない。

【実施例】

【0024】

まず、図１を参照して、レジームシフトの概念について説明する。レジームは、環境生態学において自然現象内の特徴的な時系列パターンのことを指す。レジームシフトは、あるレジームから別のレジームに変化する現象を示す。

【0025】

レジームシフトは、主に、内的要因（システム内の安定性の変化等）及び／又は外部要因（システムへの外部ショック等）により引き起こされる。例えば、図１（ａ）のように、草原地帯は森林地帯へシフトすることがある。草原地帯は、例えば、草食動物の存在、火事、森林伐採などの要素により木々の成長が抑えられ、安定したシステムとなる。何らかの理由により木々が一定以上の大きさに成長すれば、草食動物や火事の影響を受ける可能性が減少し、森林地帯へ移行する。また、同様に、森林地帯から草原地帯へシフトすることがある。

【0026】

発明者らは、自然界の動的システムにおけるレジームシフトの概念を拡張し、新たな時系列予測手法を提案する。図１（ｂ）のモーションデータストリームのように、時系列データストリームでの時系列パターンをレジームとし、イベントストリーム上でのレジームシフトを利用することにより、予測精度を向上させる。特に、時系列データを適応型非線形動的システムとして表現することにより、複雑な時系列パターンを柔軟に表現する。そして、その適応型非線形動的システムを用いることにより予測精度を向上させる。

【0027】

本願発明によれば、様々な時系列パターン（例えばセンサデータやWebのアクセス履歴等）から構成される大規模データストリームが与えられたとき、それらの中から重要な特徴や潜在的なトレンドを発見し、長期的かつ継続的に将来の時系列予測を行うことができる。

【0028】

まず、予測に使用する数理モデルの一例について説明する。

【0029】

生態系における各要素の時間発展は、数１の常微分方程式で表現することができる。ここで、ｓ（ｔ）は時刻ｔにおける生態系の特性（養分や土壌など）を表す。ａ₀は栄養負荷などのｓ（ｔ）を変化させる環境要因を表す。ａ₁はシステム内のｓ（ｔ）の成長、減衰率を示す（例えば、ａ₁＜０における栄養除去率など）。ａ₂はｓ（ｔ）の関数ｆ（ｓ（ｔ））による回復率（栄養循環など）を示す。関数ｆによりレジームの推移が発生する。

【0030】

【数1】

【0031】

発明者らは、数１の動的システムにおけるレジームシフトの概念を拡張した。まず、最もシンプルなパターンとして、単一の動的パターン（レジーム）の表現方法について述べる。ここでは、イベントシーケンスの中にレジームシフトは存在しない。このモデルは、ｓ（ｔ）とｖ（ｔ）の２種類の時系列活動パターンから構成される。ここで、ｓ（ｔ）は、ｋ次元の潜在値（潜在的な時系列パターン）を示す。ｖ（ｔ）は、時刻ｔにおけるｄ次元の推定イベント（実際のイベント観測値）を示す（例えば、ｄ個のセンサから生成される実測値）。これにより、単一のレジームは、数２で表現される。
・ｓ(t)：潜在値、時刻ｔにおけるｋ次元の潜在的な活動値（ｓ(t)＝｛ｓ_i(t)｝^k _i=1）
・ｖ(t)：推定イベント、時刻ｔにおけるｄ次元の観測値（ｖ(t)＝｛ｖ_i(t)｝^d _i=1）

【0032】

ここで、初期条件をｓ（０）＝ｓ₀とする。ｄｓ（ｔ）／ｄｔを時刻ｔの導関数とする。Ｓ（ｔ）をｓ（ｔ）の２次形式とする（すなわち、Ｓ（ｔ）＝ｓ（ｔ）^Tｓ（ｔ））。また、ｐ、Ｑ、Ａは、潜在値ｓ（ｔ）を生成するパラメータ集合であり、各成分が、線形、指数、非線形の動的パターンを表現する（なお、この例では、非線形動的パターンの要素Ａを２次関数として扱う）。ｕ、Ｖは、時刻ｔにおける潜在値ｓ（ｔ）から推定イベントｖ（ｔ）への射影を示す。さらに、非線形テンソルＡについては、動的システムの複雑化を防ぐために、スパースであることが重要である。

【0033】

単一の潜在的非線形動的システムにおけるパラメータ集合をθ＝｛ｓ₀，ｐ，Ｑ，Ａ，ｕ，Ｖ｝とする。

【0034】

【数2】

【0035】

次に、イベントストリーム上でのレジームシフトについて述べる。例えば、図１（ｂ）におけるｃ＝２種類のレジーム（walking、wiping）が任意のタイミングで交互に繰り返されるものである。このような複雑なイベントを表現するため、順応性の高い時系列モデルが必要になる。そこで、より複雑な時系列パターンを表現するために、ｗ（ｔ）を導入する。ここで、ｗ（ｔ）は、時刻ｔにおけるｉ番目のレジーム（ｉ＝１，…，ｃ）の推移の強さを示す。
・ｗ(t)：レジーム活動値、時刻ｔにおけるｃ個のレジームにおけるレジームシフトの推移値。

【0036】

数２のモデルを拡張し、数３のモデルを提案する。ここで、ｓ_i（ｔ）は、時刻ｔにおけるｉ番目のレジームの潜在値である（ｓ_i（ｔ）＝｛ｓ_ij（ｔ）｝^k _j=1）。ｗ（ｔ）は、時刻ｔにおけるｉ番目のレジームの強さである（ｗ（ｔ）＝｛ｗ_i（ｔ）｝^c _i=1）。ｖ（ｔ）は、時刻ｔにおけるｄ次元の推定イベントである。ｄｗ（ｔ）／ｄｔは、時刻ｔの導関数を示す。

【0037】

数３において、新たなパラメータとしてｒ（ｔ）を導入する。ｒ（ｔ）は、時刻ｔにおけるｃ次元のベクトルとして表現される。Ｒを、レジームシフトのダイナミクスを表現するパラメータ集合とする（Ｒ＝｛ｒ（ｔ）｝^tc _t=1）。ここで、ｔ_cは、イベントストリームの長さを表す。Ｒをレジームシフト行列と呼ぶ。ｃ＝１の場合（イベントストリームが単一のレジームで構成されている場合）には、数３のモデルは、数２のモデルに一致する。

【0038】

レジームのパラメータ集合を、Θ＝｛θ₁，…，θ_c，Ｒ｝とする。ここで、ｃは、イベントストリームに含まれるレジームの個数を示す。

【0039】

【数3】

【0040】

さらに、多階層の構造への拡張について説明する。数２及び数３のシステムは、単一階層における動的システムであった。しかしながら、実世界における時系列イベントは、異なる時間発展に基づく時系列活動パターンを含んでいる。例えば、Web上のイベントにおける１０年周期や１日周期などである。そこで、階層的な構造をともなう時系列パターンを表現するため、階層構造に基づくモデルを使用する。具体的には、多階層のレジーム集合Ｍ＝｛Θ⁽¹⁾，Θ⁽²⁾，…｝を用いる。レジーム集合は、階層構造をともなう時系列パターンを表現するモデルの全パラメータ集合である。階層ｉにおいてローカルな推定イベントｖ⁽ⁱ⁾（ｔ）を生成し、重ね合わせることにより、実際の推定イベントｖ（ｔ）を表現する。

【0041】

続いて、必要な概念を説明する。表１は、主な記号と定義を示す。

【0042】

【表1】

【0043】

Ｘを、ｄ次元のイベントエントリから構成されるデータストリームＸ＝｛ｘ（１），…，ｘ（ｔ_c）｝とし、ｔ_cを現在の時刻とする。Ｘを、イベントストリームと呼ぶ。

【0044】

毎時刻において、新たなイベントエントリｘ（ｔ_c）が発生し、時刻が進むごとにｔ_cが増加するものとする。そこで、最新の時刻において発生したイベント集合をカレントウィンドウとして次のように定義する。Ｘ_C＝Ｘ［ｔ_m：ｔ_c］を長さｌ_cのカレントウィンドウの部分シーケンスとする。ここで、Ｘ_Cは、イベントストリームＸの時刻ｔ_mから時刻ｔ_cまで（１≦ｔ_m≦ｔ_c）の部分シーケンスを示す。以下では、ｌ_c＝３・ｌ_sとする。

【0045】

カレントウィンドウＸ_Cが与えられたとき、次の目標は、パラメータ集合Ｍの中から最適なレジームを発見し、数３のモデルに基づきｌ_sステップ先の未来のイベントＶ_F＝｛ｖ（ｔ_s），…，ｖ（ｔ_c)}を推定することである。Ｖ_F＝Ｖ［ｔ_s：ｔ_c]をｌ_sステップ先の将来イベントシーケンス（ｔ_c≦ｔ_s≦ｔ_e）とし、ｔ_s＝ｔ_c＋ｌ_s、ｔ_e＝ｔ_s＋ｌ_pとする。ここで、ｌ_pは、出力単位時間の長さである。

【0046】

図２は、本願発明の実施例の一つであるRegimeCastの現時刻ｔ_cにおけるスナップショットを示す。ここで、黒点線は、オリジナルのイベントストリームＸを示す。図２では、ｄ＝４次元のイベントシーケンスで構成される。太線は、時刻ｔ_mから時刻ｔ_eにおけるRegimeCastによるイベントの推定値Ｖ_Eを示す。ここで、時刻ｔ_cから時刻ｔ_eまでの部分シーケンスは、未来の（つまり未知の）イベント集合である。本願発明は、これらの時系列パターンを高速かつ継続的に推定し続けなくてはならない。本願発明は、オリジナルのストリームＸ（黒点線）が与えられたとき、カレントウィンドウＸ_Cに含まれる最新の時系列パターンを発見し、適応型非線形動的システムとして表現することで、現時刻の時系列パターンＶ_E（色太線）を推定し、ｌ_sステップ先の将来イベントＶ_F（矩形内）を高速かつ継続的に出力する。

【0047】

まとめると、以下のように表現することができる。イベントストリームＸ＝｛ｘ（１），…，ｘ（ｔ_c），…｝が与えられたとき、ｌ_sステップ先の将来イベントＶ_Fを出力し続ける。具体的には、各時刻ｔ_cにおいて、カレントウィンドウＸ_Cに含まれる最適なレジームのパターンを検出し、Ｘ_Cのレジームパターンに基づきモデルのパラメータ集合Ｍを更新し、ｌ_sステップ先の将来イベントＶ_Fを出力する。

【0048】

図３を参照して、本願発明の実施例の一つであるRegimeCastの概要を説明する。RegimeCastは、以下の３つのアルゴリズムで構成される。
RegimeReader：カレントウィンドウＸ_Cとレジームパラメータ集合Θが与えられたとき、レジームのダイナミクスを推定し、イベントＶ_E＝Ｖ［ｔ_m：ｔ_e］を生成する（図３（ａ）参照）。
RegimeEstimator：カレントウィンドウＸ_Cの中に新たなレジームパターンが含まれていた場合に、Ｘ_Cを表現する新たなパラメータ集合θを推定する（図３（ｂ）参照）。
RegimeCast：各階層ｉ（ｉ＝１，…，ｈ）における最適なイベント集合Ｖ_E ⁽ⁱ⁾を推定し、推定イベントＶ_E＝Ｖ_E ⁽¹⁾＋Ｖ_E ⁽²⁾＋…を計算する。その後、ｌ_sステップ先のイベント（つまりＶ_F）を報告する。さらに、レジームパラメータ集合Ｍを更新する（図３（ｃ）参照）。

【0049】

図３のアルゴリズムを詳細に説明する。議論の単純化のため、まずは、単一の階層（つまり、ｈ＝１）のみを考慮し、単一のカレントウィンドウＸ_Cとレジームパラメータ集合Θが与えられた場合について説明する。

【0050】

RegimeReaderで、時刻ｔ_cにおけるカレントウィンドウＸ_Cとレジームパラメータ集合Θ＝｛θ₁，…，θ_c，Ｒ｝が与えられた場合を考える。RegimeReaderの目的は、現在のレジームパラメータ集合Θに基づき、イベントシーケンスＶ_E＝Ｖ［ｔ_m：ｔ_e］を推定することである。

【0051】

適切なイベントの推定値を得るための最も単純な解決法は、Θ内のパラメータ集合を固定し、数３のモデルに基づきｖ（ｔ_m）、ｖ（ｔ_m＋１），…を計算することである。しかしながら、実際のイベントストリームでは、カレントウィンドウＸ_Cに含まれる潜在的なトレンドは、時間の経過とともに動的かつ連続的に変化していく。そこで、Θ内に含まれるレジームのパラメータを最新のカレントウィンドウＸ_Cのパターンに基づき最適化する。具体的には、図３のアルゴリズムは、Ｘ_C内に含まれる現時刻の活動パターンに応じてΘ内のパラメータ集合を柔軟に更新していく必要がある。

【0052】

図３（ａ）は、RegimeReaderの処理の流れを示す。RegimeReaderは、(1)個々のレジームの最適化、(2)レジームシフトの同定、の２つのパートから構成される。

【0053】

(1)個々のレジームの最適化
個々のレジームのレジームパラメータθ_i∈Θ（ｉ＝１，…，ｃ）について、潜在値の初期値ｓ₀∈θ_iを最適化する。具体的には、オリジナルイベントと推定イベントの２乗誤差を最小化する（つまり、min||Ｘ_C－Ｘ_Ci||）ようなｓ₀を求める。ここで、関数ｆ_C（ｓ₀|θ）は、数３のモデルにおける、レジームパラメータｓ₀、θが与えられたうえでの推定イベントＶ_C＝｛ｖ（ｔ_m），…，ｖ（ｔ_c）｝を示す。

【0054】

(2)レジームシフトの同定
(1)で得られたｃ個の推定イベントの集合｛Ｖ_Ci｝^c _i=1に基づき、時刻ｔ_cにおけるレジームシフトの潜在的な動的パターンを推定する。具体的には、Θに含まれるレジームの集合を最適化するためにレジーム活動値ｗ（ｔ_c）を推定し、数３に基づきΘ内のレジームシフト行列Ｒを更新する（つまり、min||Ｘ_C－ｆ_C（Θ）||）。その後、推定イベントＶ_E＝ｆ_E（Θ）をカレントウィンドウＸ_Cに対する最適値として計算する。ここで、平均二乗誤差||・||を最小化する方法として、非線形性を有する学習に適したＬＭ（Levenberg-Marquardt）アルゴリズムを用いる。

【0055】

次に、図３（ｂ）を参照して、新たなレジームを推定するためのアルゴリズムであるRegimeEstimatorについて説明する。ここでの課題は、カレントウィンドウＸ_Cに未知のレジームが含まれていた場合の処理についてである。提案アルゴリズムは、Ｘ_Cに含まれる未知の時系列パターンを表現するため、新たなレジームθを推定し、パラメータ集合Θに挿入する。

【0056】

ここで重要な問題として、レジームを表現するθは、非常に多くのパラメータ数から構成されている。一般に、非線形モデルにおける多数のパラメータの同時推定は、最適解の学習が非常に難しく、計算コストも高い。さらに、非線形活動テンソルＡは、単一のレジーム内の時系列パターンの複雑性を抑えるために、スパースであることが重要である。

【0057】

そこで、線形、非線形の双方のパラメータ集合を高速かつ効果的に推定するためのアルゴリズムとしてRegimeEstimatorを提案する。具体的には、パラメータ集合θを、線形、非線形の２種の部分集合：θ_L＝｛ｐ，Ｑ，ｕ，Ｖ｝、θ_N＝｛Ａ｝に分割し、それぞれのパラメータ集合を個別に推定する。図３（ｂ）を参照して、カレントウィンドウＸ_Cが与えられたとき、提案アルゴリズムは、まず非線形活動テンソルをＡ＝０とし、Ｘ_Cの線形的なパターンを表現するための初期状態ｓ₀及び線形パラメータ集合θ_Lを推定する。パラメータの推定にはＥＭ（expectation-maximization）アルゴリズムを用いた。続いて、非線形要素Ａに関し、推定したｓ₀とθ_Lを用いて、Ｘ_cと潜在値Ｖ_cのエラー値を最小化するようにＬＭアルゴリズムによって最小化する。本研究では、非線形テンソルＡについて、モデルの複雑性を抑えるため、対角成分ａ_ijk∈Ａ（ｉ＝ｊ＝ｋ）のみを推定した。

【0058】

これまでは、単一階層のレジーム集合Θに対する推定イベントＶ_Eの生成方法について述べた。本研究の目的は、多階層における時系列パターンＭ＝｛Θ⁽¹⁾，…，Θ^(h)｝を表現し、ｌ_sステップ先の予測ウィンドウＶ_Fを推定することである。イベントストリームＸが与えられたとき、年、週、日単位などの様々な階層の動的パターンを表現したい。そこで、本願発明は、階層モデルに基づく予測手法を提案する。具体的には、カレントウィンドウＸ_Cをｈ個の階層的なイベント集合Ｘ_C＝Ｘ_C ⁽¹⁾＋…＋Ｘ_C ^(h)に分割することで、より効果的な予測を実現する。ここで、Ｘ_C ⁽ⁱ⁾は、ｉ番目の階層におけるイベントを示し、数４で計算される。関数ｇ（・｜ｔ）は、長さｔの移動平均を示す。本論文では、Ｈ＝｛２・ｌ_s，１｝とした。

【0059】

【数4】

【0060】

図３（ｃ）は、RegimeCastの詳細を示す。時刻ｔ_cにおける新たなイベントｘ（ｔ_c)が与えられたとき、本願発明は、各階層ｉにおけるカレントウィンドウＸ_C ⁽ⁱ⁾を計算し、(1)イベントシーケンスＶ_E ⁽ⁱ⁾を推定する。もし、Θ⁽ⁱ⁾内に適切なレジームが存在しない場合（つまり、カレントウィンドウと推定イベントの誤差がε以上、例えば、ε＝１／２||Ｘ_C ⁽ⁱ⁾||の場合)、(2)新たなレジームθを生成し、レジームパラメータ集合Θ⁽ⁱ⁾を更新する。最後に(3)ｌ_sステップ先の予測ウィンドウＶ_Fを出力する。

【0061】

続いて、ダイナミックポイントセット（ＤＳＰ）に基づく高速化を説明する。RegimeReaderは、数３のモデルに示したとおり、複雑な動的システムに基づくため、各時刻ｔ_cにおいて、潜在値Ｓ_E＝｛ｓ（ｔ_m），…，ｓ（ｔ_e）｝の推定にＯ（ｌ_e）の計算量を要する。ここで、ｌ_eは、Ｓ_Eの長さを示す。しかし、この計算時間は、リアルタイム性を要する処理にはボトルネックとなりうる。そこで、本願では、動的なイベント生成を高速化するための手法を提案する。具体的には、すべてのイベント集合Ｓ_E＝｛ｓ（ｔ_m），ｓ（ｔ_m＋１），ｓ（ｔ_m＋２），…，ｓ（ｔ_e）｝を生成する代わりに、Ｓ_Eの部分集合であるＳ^_E＝｛ｓ（ｔ_m），ｓ（ｔ_m＋δ），ｓ（ｔ_m＋２δ），…，ｓ（ｔ_e）｝のみを生成する。ここで、部分集合Ｓ^_EをＤＳＰと呼ぶ。δは、潜在値の時間の生成間隔（例えば、δ＝0.1・ｌ_s）を示す。Ｓ^_Eは、数５の４次のルンゲ・クッタ法に基づき生成を行う。これにより、モデル推定の計算時間がＳ^_Eの長さであるＯ（ｌ_e/δ）となり、飛躍的な高速化を実現することができる。

【0062】

理論的な分析を示す。ｌ_eを、推定イベント集合Ｖ_Eの長さとし、ｃを、Ｍに含まれるレジームの個数とする。このとき、各時刻におけるRegimeCastの計算時間は、最小でＯ（ｃ・ｌ_e／δ）、最大でＯ（ｃ・ｌ_e／δ＋ｌ_c）となる。各時刻ｔ_cにおいて、RegimeReaderは、ｃ個の最適なレジームＶ_Eを推定するために、Ｏ（ｃ・ｌ_e／δ）の計算時間を要する。もし、カレントウィンドウＸ_Cに新たなレジームが含まれていた場合、RegimeEstimatorは、パラメータ集合θの推定にＯ（ｌ_c）を要する。したがって、最小でＯ（ｃ・ｌ_e／δ）、最大でＯ（ｃ・ｌ_e／δ＋ｌ_c）の計算時間を要する。

【0063】

【数5】

【0064】

図４、図５及び図６を参照して、本願発明の実施の形態に係る予測装置の構成及び動作の一例を説明する。

【0065】

図４は、本願発明の実施の形態に係る予測装置１の構成の概要を示すブロック図である。（ａ）は、予測装置１の構成を示す。（ｂ）及び（ｃ）は、それぞれ、レジーム更新部１３_j及びレジーム追加部１５_jの構成を示す。

【0066】

図４（ａ）を参照して、予測装置１は、データストリーム記憶部３と、カレントウィンドウ記憶部５と、パラメータ集合記憶部７（本願請求項の「パラメータ集合記憶手段」の一例）と、ｈ個（ｈは自然数）のカレントウィンドウ計算部１１_j（ｊ＝１，…，ｈ）と、ｈ個のレジーム更新部１３_j（本願請求項の「レジーム更新手段」の一例）と、レジーム追加部１５_j（本願請求項の「レジーム追加手段」の一例）と、予測部１７（本願請求項の「予測手段」の一例）を備える。なお、符号の添え字は、省略する場合がある。データストリーム記憶部３、カレントウィンドウ記憶部５、パラメータ集合記憶部７は、例えばメモリやハードディスクなどの記憶装置によって実現することができる。カレントウィンドウ計算部１１、レジーム更新部１３、レジーム追加部１５、予測部１７は、例えばＣＰＵなどの演算装置によって実現することができる。

【0067】

図４（ｂ）を参照して、レジーム更新部１３_jは、ｃ個（ｃは自然数）のアクティビティ演算部２１_jiと、重み演算部２３_jと、レジームシフト変数演算部２５_jと、パラメータ更新部２７_jと、推定イベント演算部２９_jを備える。

【0068】

図４（ｃ）を参照して、レジーム追加部１５_jは、線形パラメータ推定部３１_jと、非線形パラメータ推定部３３_jと、パラメータ集合追加部３５_jを備える。

【0069】

図５は、図４の（ａ）予測装置１と、（ｂ）レジーム更新部１３_jと、（ｃ）レジーム追加部１５_jの動作の一例を示すフロー図である。図５（ａ）、（ｂ）及び（ｃ）の実質的な処理は、それぞれ、図３（ｃ）、（ａ）及び（ｂ）と同様である。図６は、図４の予測装置１において生成されるデータの一例を示す。

【0070】

図５（ａ）を参照して、予測装置１の動作を説明する。予測装置１に、時系列データストリームＸが入力される（ステップＳＴ１）。図６（ａ）は、データストリームＸの一例を示す。データストリーム記憶部３は、入力されたデータストリームＸを記憶する。

【0071】

実際の時系列データストリームは、階層的な構造を伴う。カレントウィンドウ計算部１１_j、レジーム更新部１３_j及びレジーム追加部１５_jは、階層的な構造を利用して解析するために、時系列データストリームのｈ階層のそれぞれに対応する。

【0072】

カレントウィンドウ計算部１１_jは、対応する階層のカレントウィンドウＸ_C ^(j)を生成する（ステップＳＴ２）。図６（ａ）に、カレントウィンドウの設定の一例を示す。カレントウィンドウ記憶部５は、生成されたカレントウィンドウＸ_C ^(j)を記憶する。

【0073】

パラメータ集合記憶部７は、全パラメータ集合Ｍを記憶する。

【0074】

レジーム更新部１３_jは、カレントウィンドウＸ_C ^(j)とレジームパラメータ集合Θ⁽ⁱ⁾から、Ｖ_E ⁽ⁱ⁾と更新後のΘ^(j)を得る（ステップＳＴ３）。具体的な処理は、図５（ｂ）を用いて後に説明する。図６（ｂ）及び（ｃ）は、第１階層の２つのパラメータ集合θ₁(1)及びθ₂(1)により生成されるデータを示す。図６（ｄ）及び（ｅ）は、第２階層の２つのパラメータ集合θ₁(2)及びθ₂(2)により生成されるデータを示す。なお、実際には、多くのパラメータ集合が使用される。

【0075】

レジーム追加部１５_jは、更新後のΘ^(j)を用いて、カレントウィンドウＸ_C ^(j)の各時刻に対応するＶ_C ^(j)を得る（ステップＳＴ４）。そして、カレントウィンドウＸ_C ^(j)とＶ_C ^(j)との誤差が小さいか否かを判断する（ステップＳＴ５）。誤差は、例えば、図３にあるように、二乗誤差が所定の値ε以下か否かによって判断することができる。これらの値が近く、追加条件を満たさないならば、ステップＳＴ７に進む。これらの値が近くなく、追加条件を満たすならば、レジーム追加部１５_jは、新たなパラメータ集合θを追加し（ステップＳＴ６）、ステップＳＴ７へ進む。ステップＳＴ６の具体的な処理は、図５（ｃ）を用いて説明する。

【0076】

ステップＳＴ７で、予測装置は、各階層の予測値Ｖ_E ^(j)を統合し、全体の予測値Ｖ_Eを得る。そして、ｌ_sステップ先の未来のイベント値Ｖ_Fを出力する。図６（ｆ）は、各Ｖ_E ^(j)を統合して得られるＶ_Eと、将来イベントＶ_Fとの関係を示す。

【0077】

続いて、図５（ｂ）を参照して、レジーム更新部１３_jの動作を具体的に説明する。図４（ｂ）では、アクティビティ演算部２１_jiは、階層のパラメータ集合θの数と同数である。

【0078】

レジーム更新部１３_jは、カレントウィンドウＸ_C ^(j)と、現時点でのレジームパラメータΘ^(j)を入力する（ステップＳＴＲ１）。そして、各アクティビティ演算部２１_jiは、対応するパラメータ集合θ_i ^(j)の一部を変更して、カレントウィンドウＸ_C ^(j)とＶ_C ^(j)の値の誤差を小さくする（ステップＳＴＲ２）。ここで、変更するパラメータは、例えば初期値のように、非線形パラメータ以外のものとする。

【0079】

続いて、レジームのアクティビティを分析する。重み演算部２３_jは、各Ｖ_Ciの重みを、重み付けしたＶ_CiとＸ_Cとの誤差が小さくするように決定する。レジームシフト変数演算部２５_jは、各Ｖ_Ciの重みの差分をとり、レジームシフト変数を演算する。パラメータ更新部２７_jは、レジームシフト変数を利用して、対応する階層のレジームパラメータ集合Θ^(j)を更新する（ステップＳＴＲ３）。推定イベント演算部２９_jは、各階層の推定イベントＶ_E ^(j)を計算し、Ｖ_E ^(j)とΘ^(j)を出力する（ステップＳＴＲ４）。

【0080】

続いて、図５（ｃ）を参照して、レジーム追加部１５_jの動作を具体的に説明する。レジーム追加部１５_jは、カレントウィンドウＸ_C ^(j)を入力する（ステップＳＴＥ１）。そして、線形パラメータ推定部３１_jは、非線形パラメータを初期化し（ステップＳＴＥ２）、初期値と線形パラメータを求める（ステップＳＴＥ３）。そして、非線形パラメータ推定部３３_jは、求められた線形パラメータを使用して、新たな初期値と非線形パラメータを得る（ステップＳＴＥ４）。パラメータ集合追加部３５_jは、求めたパラメータを用いてパラメータ集合を生成し、新たなパラメータ集合を追加する（ステップＳＴＥ５）。

【0081】

本願発明は、大規模データストリームが与えられたとき、その中から重要なトレンドを発見し、様々な時系列パターン（レジーム）をモデル化し、長期的な予測を実現する。本願発明の重要な特徴は、以下のように表現することができる。本願では、自然界の生態系モデルにおけるレジームシフトの概念を拡張し、大規模時系列データストリームを適応型非線形動的システムとして表現することで、複雑な時系列パターンを柔軟に表現し、長期的なイベント予測を可能にする。

【0082】

(1) 潜在的な非線形動的パターン
自然界の動的システムと同様に、実世界におけるデータストリームは、様々な潜在的要素に影響されながら時間発展していく。例えば、車両センサデータストリームは、交通状況、天候、運転者等の要素により推移し、Webのアクセス履歴データは、ユーザの嗜好や興味に基づき時間発展する。そこで、本願では、時系列データストリームの潜在的なパターンを非線形の動的システムとして表現する。より具体的には、時系列データシーケンスを潜在的非線形微分方程式として表現する。

【0083】

(2) データストリーム上でのレジームシフト
本願では、さらに、重要な時系列パターンの変化点（データストリーム上でのレジームシフト）を自動発見する。本願では、レジームシフトの概念に基づき、時系列データストリームをモデル化する。複数の非線形モデルを用いることにより、複雑に変化する時系列パターンの全てを表現する。

【0084】

(3) 階層的な構造
実際の時系列データストリームは、異なる時間発展に基づく多階層の動的システムから構成され、複雑な時系列パターンを有する。つまり、階層的な構造を伴う。本願は、階層構造に基づくモデルを使用することにより、高精度な予測を実現する。

【0085】

図７～図１１を参照して、予測結果の実験例を説明する。

【0086】

図７は、身体の運動に関するモーションストリームに対するRegimeCastの解析例を示す。データセットは左右の腕と足の動きから生成され、walking （歩く）、stretch （腕のストレッチ）等の複数のモーションから構成される。（ａ）は、オリジナルデータを示す。（ｂ）は、(100:120)-ステップ先の将来イベントをｌp＝２０時刻ごとに出力する。（ｃ）～（ｆ）は、異なる４つの時刻におけるスナップショットを示す。RegimeCastは自動的かつ効果的に、stretchモーションからwalkingモーションへの移り変わりをはじめとする複数のレジームシフトを検出し、長期的かつ継続的な将来イベントの予測に成功している。

【0087】

図８は、チキンダンスに対するRegimeCastの解析例を示す。具体的には、（ａ）はオリジナルデータを示し、（ｂ）は（ｃ）beaks、wings、tail feathers、clapsの４つの代表的なダンスステップから構成されている。一般に、ダンスステップのパターンは、多階層のレジームが含まれ、より複雑な時系列パターンから構成される。そのため、予測が非常に難しい。具体的には、図６（ｃ）～（ｆ）に示されるように、各ステップには、いくつかの基本的な動作が含まれており、それぞれの動作が異なるテンポを持っている。RegimeCastは、複数の潜在的なレジームで構成される複雑な時系列パターンを表現し、長期的な動作の予測に成功している。特に、RegimeCastは、事前知識やステップに関する情報を使用しない。RegimeCastは、重要な時系列パターン（レジーム）を高速に発見し、新たなレジームのパラメータを時系列モデルデータベースに格納することで、柔軟なイベント予測を継続的に行うことができる。

【0088】

本願は、モーションキャプチャデータ以外に、Web情報にも応用可能である。図９はGoogleにおける3ヶ月先の各キーワードの検索量の予測結果を示している。図９から分かるように、3ヶ月先のホットトピックを知ることが可能である。さらに、本発明は、環境情報（気温と気圧）、経済情報（為替と金プラチナ相場）などでも良好な予測結果が出ている。

【0089】

図１０は、本願発明と従来手法の予測結果の比較を示している。従来手法としてARIMA、TBATSと比較している。図１０（ａ）及び（ｂ）は、それぞれ、図８の場合に、オリジナルデータと(100;120)-ステップ先の予測イベントの推定値との二乗平均誤差（ＲＭＳＥ）のエラー値及び平均値を示す。（ａ）では、TBATSはエラー値が極めて高いために省略している。図１０（ｃ）及び（ｄ）は、それぞれ、ARIMAとTBATSによる予測結果を示す。既存の予測手法であるARIMAとTBATSは、非線形の時系列パターンとその変化点であるレジームシフトを表現できないため、適切に予測することができないことがわかる。

【0090】

図１１は、提案手法と従来手法の計算コスト及び長期的なイベント予測での予測精度と計算コストを示す。なお、ＤＰＳの効果を検証するため、時間感覚をδ＝１とした場合についても比較を行った（RegimeCast-F）。（ａ）及び（ｂ）は、それぞれ、エクササイズでの計算コスト及び平均値を示す。（ｃ）及び（ｄ）は、それぞれ、家の掃除での計算コスト及び平均値を示す。（ｅ）及び（ｆ）は、ステップ数ｌsを50、75、…、200のように変化させたときの予測精度と計算コストを示している。いずれの場合にも、RegimeCastは、既存手法と比較して、長期的なイベント予測に対す大幅な性能向上を達成している。

【0091】

図１０及び図１１が示すように、提案手法は予測精度と計算コストの両面で優れている。

【符号の説明】

【0092】

１ 予測装置、３ データストリーム記憶部、５ カレントウィンドウ記憶部、７ パラメータ集合記憶部、１１ カレントウィンドウ計算部、１３ レジーム更新部、１５ レジーム追加部、１７ 予測部、２１ アクティビティ演算部、２３ 重み演算部、２５ レジームシフト変数演算部、２７ パラメータ更新部、２９ 推定イベント演算部、３１ 線形パラメータ推定部、３３ 非線形パラメータ推定部、３５ パラメータ集合追加部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】