特許 7489502 予測装置、予測方法、および予測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-05-15

(45)【発行日】2024-05-23

(54)【発明の名称】予測装置、予測方法、および予測プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240516BHJP

   G06Q 10/04 20230101ALI20240516BHJP

   G16Z 99/00 20190101ALI20240516BHJP

【ＦＩ】

G06N20/00 130

G06Q10/04

G16Z99/00

【請求項の数】 8

(21)【出願番号】P 2023018550

(22)【出願日】2023-02-09

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】木村 大地

(72)【発明者】

【氏名】泉谷 知範

【審査官】北川 純次

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０４０１９４０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０２１７３８４（ＵＳ，Ａ１）

【文献】特表２０２２－５５１０６８（ＪＰ，Ａ）

【文献】ZHOU, Haoyi et al.，Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting，Proceedings of the AAAI Conference on Artificial Intelligence [online]，2021年，Vol. 35 No. 12，pp. 11106-11115，[検索日 2024.04.16], インターネット <URL: https://doi.org/10.1609/aaai.v35i12.17325>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００ － ２０／２０

Ｇ０６Ｑ １０／０４

Ｇ１６Ｚ ９９／００

Ｇ０６Ｎ ３／０２ － ３／１０

(57)【特許請求の範囲】

【請求項1】

所定の時系列カウントデータを入力する入力部と、
前記所定の時系列カウントデータを所定の潜在表現に変換する変換部と、
前記所定の時系列カウントデータと、前記変換部により変換された前記潜在表現と、前記所定の時系列カウントデータの一部と重複するトークンとを用いて予測値を算出する算出部と、
所定の関数と、該所定の関数に対応する損失関数を用いて学習された学習モデルとに基づき、前記予測値を非負値に制約する制約部と、
を有することを特徴とする予測装置。

【請求項2】

前記変換部は、深層学習モデルのＴｒａｎｓｆｏｒｍｅｒの自己注意機構に基づき、前記所定の時系列カウントデータを所定の潜在表現に変換する、
ことを特徴とする請求項１に記載の予測装置。

【請求項3】

前記算出部は、前記所定の時系列カウントデータと、前記潜在表現、および該時系列カウントデータの予測開始地点から前の時系列に遡った所定の範囲を含む前記トークンを用いて、該トークンよりも前の時系列カウントデータと該トークンよりも後の時系列カウントデータとが所定の関連を有する予測値を算出する、
ことを特徴とする請求項１に記載の予測装置。

【請求項4】

前記入力部は、整数値もしくは連続値と関連付いた整数値の少なくともどちらか一方を、前記所定の時系列カウントデータとして入力する、
ことを特徴とする請求項１に記載の予測装置。

【請求項5】

前記制約部は、前記所定の関数として活性化関数と、該活性化関数に対応する損失関数を用いてニューラルネットワークのパラメータを学習した前記学習モデルとに基づき、前記予測値を前記非負値に制約する、
ことを特徴とする請求項１に記載の予測装置。

【請求項6】

前記制約部は、前記活性化関数として指数関数と、前記損失関数としてポアソン分布、負の二項分布、多変量ポアソン分布のうち少なくともいずれか一方を用いて学習された前記学習モデルとに基づき、前記予測値を前記非負値に制約する、
ことを特徴とする請求項５に記載の予測装置。

【請求項7】

予測装置に実行させる予測方法であって、
所定の時系列カウントデータを入力する入力工程と、
前記所定の時系列カウントデータを所定の潜在表現に変換する変換工程と、
前記所定の時系列カウントデータと、前記変換工程により変換された前記潜在表現と、前記所定の時系列カウントデータの一部と重複するトークンとを用いて予測値を算出する算出工程と、
所定の関数と、該所定の関数に対応する損失関数を用いて学習された学習モデルとに基づき、前記予測値を非負値に制約する制約工程と、
を含むことを特徴とする予測方法。

【請求項8】

所定の時系列カウントデータを入力する入力ステップと、
前記所定の時系列カウントデータを所定の潜在表現に変換する変換ステップと、
前記所定の時系列カウントデータと、前記変換ステップにより変換された前記潜在表現と、前記所定の時系列カウントデータの一部と重複するトークンとを用いて予測値を算出する算出ステップと、
所定の関数と、該所定の関数に対応する損失関数を用いて学習された学習モデルとに基づき、前記予測値を非負値に制約する制約ステップと、
をコンピュータに実行させることを特徴とする予測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予測装置、予測方法、および予測プログラムに関する。

【背景技術】

【0002】

近年、金融おける単位時間当たりのトランザクション回数、物流における出荷量、商品の需要等の長期の時系列カウントデータを用いた予測値の予測が行われている。例えば、従来技術では、ポアソン回帰モデルに基づいて、カウントデータを用いた予測値を予測する技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１４５１６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、カウントデータに含まれる依存関係を考慮した予測が難しい、という問題があった。

【0005】

例えば、前述したような長期の時系列カウントデータには、時間依存性、非線形性、非ガウス分布、離散非負整数値といった特徴があり、センサーデータ（例えば、ガウス性を仮定した連続値）向けの予測モデルに基づいて予測を行うことが難しい場合があった。

【課題を解決するための手段】

【0006】

そこで、上記の課題を解決し目的を達成するために、本発明の予測装置は、所定の時系列カウントデータを入力する入力部と、前記所定の時系列カウントデータを所定の潜在表現に変換する変換部と、前記所定の時系列カウントデータと、前記変換部により変換された前記潜在表現と、前記所定の時系列カウントデータの一部と重複するトークンとを用いて予測値を算出する算出部と、所定の関数と、該所定の関数に対応する損失関数を用いて学習された学習モデルとに基づき、前記予測値を非負値に制約する制約部と、を有することを特徴とする。

【発明の効果】

【0007】

本発明は、カウントデータに含まれる依存関係を考慮した予測を可能とする、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る予測装置の機能ブロック図の一例を示す図である。

【図2】図２は、実施形態に係る予測装置の装置構成の一例を示す図である。

【図3】図３は、実施形態に係る予測方法の概要を示す図である。

【図4】図４は、実施形態に係る予測方法のフローチャートの一例を示す図である。

【図5】図５は、本実施形態に係る予測装置が実現されるコンピュータの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本発明を実施するための形態（以降、「実施形態」）について説明する。なお、各実施形態は、以下に記載する内容に限定されない。

【0010】

〔１．概要〕
従来、金融おける単位時間当たりのトランザクション回数、物流における出荷量、商品の需要等に関する長期の時系列カウントデータが発生することが知られている。このような長期の時系列カウントデータは、時間依存性、非線形性、非ガウス分布、離散非負整数値といった特徴を有しており、センサーデータ（例えば、ガウス性を仮定した連続値等）向けの時系列予測モデルで対処することが難しい。

【0011】

例えば、従来のポアソン回帰モデルは、ポアソン分布を仮定したカウントデータ向け線形モデルであり、長期時系列性は考慮されない。他方、ＬＳＴＭ（Long Short-Term Memory）やＴｒａｎｓｆｏｒｍｅｒといったニューラルネットワークモデルは、ガウス分布を仮定したセンサーデータ向け非線形モデルであり、長期時系列性の考慮が可能なモデルである。しかしながら、従来技術では、本来０より大きい整数値で表される長期の時系列カウントデータについて、０以下の値を含む任意の連続値を出力してしまう場合があった。

【0012】

そこで、本実施形態の予測装置１００は、長期依存関係を考慮可能な前述のＴｒａｎｓｆｏｒｍｅｒといったニューラルネットワーク構造に対し、離散非負整数値を考慮した確率分布を導入することで、高精度な予測を実現する。すなわち、予測装置１００は、Ｔｒａｎｓｆｏｒｍｅｒベースの長期の時系列カウントデータに対する予測モデルに基づいて、活性化関数（例えば、指数関数）を設定する。また、この活性化関数に応じて適切な損失関数（例えば、ポアソン分布に対する負の対数尤度）を仮定して学習モデル（例えば、ニューラルネットワーク等）のパラメータを学習する。そして、予測装置１００は、活性化関数と、学習済みの学習モデルとに基づいて出力値を非負値に制約する。その結果、予測装置１００は、従来技術の課題を解決して高精度な予測を可能とする技術を提供する。

【0013】

〔１－１．処理の概要〕
次に、図１を用いて、本実施形態の予測装置１００に係る予測の処理の概要を説明する。図１は、実施形態に係る予測装置１００の機能ブロック図の一例を示す図である。なお、図１では、各機能部の詳細な機能は後述することとし、本項目では処理の流れのみを説明する。

【0014】

入力部１３１は、所定の時系列カウントデータ１０を入力する（図１の＜１＞）。続けて、入力部１３１は、取得した所定の時系列カウントデータを時系列カウントデータ記憶部１２１に記憶させる（図１の＜２＞）。

【0015】

変換部１３２は、時系列カウントデータ記憶部１２１に記憶された時系列カウントデータを所定の潜在表現へと変換する（図１の＜３＞）。続いて、算出部１３３は、時系列カウントデータと、変換部１３２により変換された潜在表現と、トークン記憶部１２２に記憶された所定のトークンを用いて、時系列カウントデータに係る予測値を予測する（図１の＜４－１＞）。続けて、算出部１３３は、予測した予測値を予測値記憶部１２３に記憶させる（図１の＜４－２＞）。

【0016】

制約部１３４は、算出部１３３に算出された予測値について、所定の関数（例えば、指数関数といった活性化関数等）と当該活性化関数に応じた損失関数（例えば、ポアソン分布に対する負の対数尤度等）を仮定して学習した学習モデルに基づいて、非負値に制約する（図１の＜５－１＞）。続けて、制約部１３４は、非負値に制約された予測値を予測値記憶部１２３に記憶させる（図１の＜５－２＞）。

【0017】

出力部１３５は、予測値記憶部１２３に記憶された非負値に制約された予測値を、所定の機器（例えば、端末装置２００等）に出力する（図１の＜６＞）。

【0018】

〔２．予測装置の構成〕
ここから、図２を用いて、本実施形態に係る予測装置１００の構成例について説明する。図２は、実施形態に係る予測装置１００の装置構成の一例を示す図である。図２に示す通り、予測装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

【0019】

（通信部１１０）
通信部１１０は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネット等の電気通信回線を介して通信を制御する。そして、通信部１１０は、必要に応じてネットワークと有線または無線で接続され、双方向に情報の送受信を行うことができる。本実施形態においては、外部から入力部１３１が時系列カウントデータを入力する場合や、出力部１３５が非負値に制約された予測値（非負値化予測値１２３ｂ）を端末装置２００等に出力する場合に通信部１１０を介して通信が行われる前提で説明する。

【0020】

（記憶部１２０）
記憶部１２０は、制御部１３０による各種処理に用いるデータおよびプログラムを格納する。そして、記憶部１２０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等で実現する。また、図２に示す通り、記憶部１２０は、時系列カウントデータ記憶部１２１と、トークン記憶部１２２と、予測値記憶部１２３とを有する。

【0021】

（時系列カウントデータ記憶部１２１）
時系列カウントデータ記憶部１２１は、入力部１３１により入力された時系列カウントデータを記憶する。例えば、時系列カウントデータ記憶部１２１は、時間依存性、非線形性、非ガウス分布、離散非負整数値といった特徴を有する長期の時系列カウントデータを記憶できる。具体的には、時系列カウントデータ記憶部１２１は、時系列カウントデータとして、金融おける単位時間当たりのトランザクション回数、物流における出荷量、商品の需要等の長期の時系列カウントデータを記憶できる。なお、時系列カウントデータ記憶部１２１は、前述した長期の時系列カウントデータ以外にも、時系列カウントデータの範疇に含まれる情報であれば、限定無く記憶できる。

【0022】

（トークン記憶部１２２）
トークン記憶部１２２は、後述の算出部１３３により用いられるトークンを記憶する。ここでいうトークンとは、時系列カウントデータの中で意味を成す最小の単位であり、かつ入力された時系列カウントデータの一部（例えば、予測開始地点から過去の時系列に遡った所定の範囲）と重複する情報であってよい。言い換えると、トークンは、所定の時系列カウントデータについての予測開始地点を指定する情報であってよい。

【0023】

また、本実施形態においてトークンは、予め準備されたトークンを用いることを前提に説明を行うが、グリッドサーチ等のパラメータ探索アルゴリズムを用いて生成されてもよい。

【0024】

（予測値記憶部１２３）
予測値記憶部１２３は、所定の時系列カウントデータに係る予測値を記憶する。具体的には、予測値記憶部１２３は、後述の算出部１３３により算出された予測値１２３ａを記憶する。また、予測値記憶部１２３は、後述の制約部１３４により非負値に制約された予測値（非負値化予測値１２３ｂ）を記憶する。

【0025】

（制御部１３０）
制御部１３０は、各種の処理手順等を規定したプログラムや処理データを一時的に格納するための内部メモリを有し、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって実現される。また、図２に示す通り、制御部１３０は、入力部１３１と、変換部１３２と、算出部１３３と、制約部１３４と、出力部１３５とを有する。

【0026】

（入力部１３１）
入力部１３１は、所定の時系列カウントデータを入力する。具体的には、入力部１３１は、整数値もしくは連続値と関連付いた整数値の少なくともどちらか一方を、所定の時系列カウントデータとして入力する。例えば、入力部１３１は、所定の時系列カウントデータとして、金融おける単位時間当たりのトランザクション回数、物流における出荷量、商品の需要等に関する長期の時系列カウントデータを入力することができる。

【0027】

ここで、図３を用いて入力部１３１により入力される時系列カウントデータについて説明する。図３は、実施形態に係る予測方法の概要を示す図である。例えば、図３に示す通り入力部１３１は、過去の時系列カウントデータを入力することができる（図３の＜１＞）。なお、入力部１３１は、予測対象の過去のカウント系列（例えば、整数値）や、付随する情報（例えば、金融：株価、商品：気温等といった整数値／連続値）を入力とすることができる。また、入力部１３１は、以下の数式（１）の形式で、所定の時系列カウントデータを入力することができる。

【0028】

【数1】

【0029】

（変換部１３２）
変換部１３２は、所定の時系列カウントデータを所定の潜在表現に変換する。具体的には、変換部１３２は、深層学習モデルのＴｒａｎｓｆｏｒｍｅｒの自己注意機構に基づき、所定の時系列カウントデータを所定の潜在表現に変換する。例えば、変換部１３２は、入力部１３１により入力された長期の時系列カウントデータを、深層学習モデルのＴｒａｎｓｆｏｒｍｅｒの自己注意機構に基づき、所定の潜在表現に変換することができる。

【0030】

具体的には、変換部１３２は、図３に示す通り所定の時系列カウントデータの流れ方自体を学習し決定（例えば、クエリとキーが似ているかどうかで、どの要素の値を読み込むかどうかを決定）する自己注意機構（Self-attention）に基づいて、所定の時系列カウントデータのうち注目する部分を決定し潜在表現に変換することができる。

【0031】

（算出部１３３）
算出部１３３は、所定の時系列カウントデータと、変換部１３２により変換された潜在表現と、所定の時系列カウントデータの一部と重複するトークンとを用いて予測値１２３ａを算出する。具体的には、算出部１３３は、所定の時系列カウントデータ（例えば、長期時系列カウントデータ）と、潜在表現、および時系列カウントデータの予測開始地点から前の時系列に遡った所定の範囲を含むトークンを用いて、トークンよりも前の時系列カウントデータとトークンよりも後の時系列カウントデータとが所定の関連を有する予測値１２３ａを算出する。

【0032】

ここで、算出部１３３により算出される予測値１２３ａについて、更に説明を行う。例えば、図３に示す通り、算出部１３３は、所定のトークンを用いて所定の時系列カウントデータの予測を開始する初期状態を決定する（図３の＜２＞）。そして、このトークンは、所定の時系列カウントデータの一部と重複しており（図３の＜３＞）、所定の時系列カウントデータにおける予測対象が図３の＜３＞の範囲よりも先の系列であることを指示する（図３の＜４＞）。また、ここでいうトークンは、以下の数式（２）の形式で表されてよい。

【0033】

【数2】

【0034】

上記のため、算出部１３３は、所定の時系列カウントデータと、トークンと、変換部１３２で変換された潜在表現に基づいて、トークンと関連が強い過去の依存関係を考慮した予測を行うことができる。

【0035】

（制約部１３４）
制約部１３４は、所定の関数と、所定の関数に対応する損失関数を用いて学習された学習モデルとに基づき、予測値１２３ａを非負値（非負値化予測値１２３ｂ）に制約する。具体的には、制約部１３４は、所定の関数として活性化関数と、活性化関数に対応する損失関数を用いてニューラルネットワークのパラメータを学習した学習モデルとに基づき、予測値１２３ａを非負値（非負値化予測値１２３ｂ）に制約する。

【0036】

例えば、長期の時系列カウントデータに基づく予測値は、０より大きい整数値で表されることが期待されるが、従来技術において非負値に制約されていない場合、０以下の値を含む任意の連続値を出力してしまう場合がある。この場合、予測値の確率分布は、右に裾が広い分布をしているが、従来技術のモデルは左右対称の（ガウス）正規分布を仮定しているため予測精度が下がってしまう問題があった。

【0037】

そこで、制約部１３４は、図３に示す通り算出部１３３により算出された予測値１２３ａに対して非負制約（例えば、図３では指数関数）を行うことで、非負値に制約された予測値（非負値化予測値１２３ｂ）を出力する（図３の＜５＞）。具体的には、活性化関数（例えば、指数関数）と、当該活性化関数に応じた損失関数（例えば、ポアソン分布に対する負の対数尤度）を仮定して学習した学習モデルに基づいて、算出された予測値１２３ａを非負値化予測値１２３ｂへと制約する。

【0038】

また、制約部１３４は、以下の数式（３）の形式で、非負値に制約された予測値を出力することができる。そのため、制約部１３４は、予測値として適した状態の非負値として予測値（非負値化予測値１２３ｂ）を出力することができる。

【0039】

【数3】

【0040】

なお、制約部１３４は、活性化関数として指数関数と、損失関数としてポアソン分布、負の二項分布、多変量ポアソン分布のうち少なくともいずれか一方を用いて学習された学習モデルとに基づき、予測値１２３ａを非負値（非負値化予測値１２３ｂ）に制約することができる。

【0041】

（出力部１３５）
出力部１３５は、制約部１３４により非負値に制約された予測値（非負値化予測値１２３ｂ）を外部の機器等に出力する。なお、本実施形態では端末装置２００に出力することを前提に説明を行うが、出力先の機器や出力形式等は特に限定されない。

【0042】

（端末装置２００）
端末装置２００は、予測装置１００から受け付けた所定の情報の表示を行う情報処理端末である。なお、端末装置２００は、スマートデバイス、デスクトップＰＣ（Personal Computer）やノートＰＣ、ＰＤＡ（Personal Digital Assistant）等であってもよい。

【0043】

〔３．処理手順〕
ここから、図４を用いて、予測装置１００の処理手順について説明する。図４は、実施形態に係る予測方法のフローチャートの一例を示す図である。なお、各ステップは、入れ替えて実施されてもよいし、実施されないステップが存在してもよい。

【0044】

入力部１３１は、所定の時系列カウントデータを入力する（工程Ｓ１０１）。変換部１３２は、入力された時系列カウントデータを潜在表現へと変換する（工程Ｓ１０２）。続けて、算出部１３３は、所定の時系列カウントデータと、潜在表現と、所定のトークンに基づき予測値を算出する（工程Ｓ１０３）。制約部１３４は、所定の関数に基づいて、予測値を非負値に制約する（工程Ｓ１０４）。そして、出力部１３５は、非負値に制約された予測値を外部の機器（例えば、端末装置等）に出力し（工程Ｓ１０５）、工程を終了する。

【0045】

〔４．効果〕
ここから、本実施形態の予測装置１００が提供する効果について説明する。まず、従来の課題として、これまでのモデルにおいて長期の時系列カウントデータの依存関係を考慮した予測は難しい場合があった。例えば、ポアソン回帰モデルは、カウントデータに対応したモデルであるが、時系列性を考慮していない単純な線形モデルであるため複雑な予測問題（例えば、複数の系列があったり、それらが依存関係を持っていたりする場合等）の場合、予測精度が低下してしまう問題があった。

【0046】

他方、ＬＳＴＭやＴｒａｎｓｆｏｒｍｅｒは、長期依存関係を考慮した非線形モデルであるため複雑な予測問題であっても精度が低下しないが、長期の時系列カウントデータに対応していない。例えば、長期の時系列カウントデータは、本来０より大きい整数値で表されるが、ＬＳＴＭやＴｒａｎｓｆｏｒｍｅｒといったモデルにおいては０以下の値を含む任意の連続値を出力してしまう。そして、長期の時系列カウントデータの確率分布は、右に裾が広い分布をしているが、ＬＳＴＭやＴｒａｎｓｆｏｒｍｅｒといったモデルは左右対称の（ガウス）正規分布を仮定しているため、予測精度が下がってしまう問題があった。

【0047】

そこで、本実施形態に係る予測装置１００の入力部１３１は、所定の時系列カウントデータを入力する。予測装置１００の変換部１３２は、所定の時系列カウントデータを所定の潜在表現に変換する。予測装置１００の算出部１３３は、所定の時系列カウントデータと、変換部１３２により変換された潜在表現と、所定の時系列カウントデータの一部と重複するトークンとを用いて予測値を算出する。予測装置１００の制約部１３４は、所定の関数と、所定の関数に対応する損失関数を用いて学習された学習モデルとに基づき、予測値を非負値に制約する、ことを特徴とする。

【0048】

したがって、本実施形態によれば、予測装置１００は、カウントデータに含まれる依存関係を考慮した予測を可能とする、という効果を奏する。

【0049】

具体的には、予測装置１００は、Ｔｒａｎｓｆｏｒｍｅｒにポアソン分布を仮定した構造を導入することで、長期の時系列カウントデータに対応し、時間的な依存関係や非線形性にも対応した予測を実現する。また、予測装置１００は、Ｔｒａｎｓｆｏｒｍｅｒが過去の時系列のうち着目すべき時刻（例えば、予測に影響する部分）を可視化することができるという特性に基づき、要因分析への拡張を実現する。

【0050】

また、予測装置１００は、Ｔｒａｎｓｆｏｒｍｅｒを単純なポアソン分布以外にも、負の二項分布や多変量ポアソン分布といったカウントデータ向けの確率分布を適用することで、長期の時系列カウントデータを入力とした予測値の予測を可能とする。

【0051】

すなわち、予測装置１００は、Ｔｒａｎｓｆｏｒｍｅｒベースの長期の時系列カウントデータに対する予測モデルに基づいて、活性化関数（例えば、指数関数）を設定する。また、また、この活性化関数に応じて適切な損失関数（例えば、ポアソン分布に対する負の対数尤度）を仮定することでニューラルネットワークのパラメータを学習する。そして、予測装置１００は、学習済みの学習モデルに基づいて出力値を非負値に制約する。その結果、予測装置１００は、従来技術の課題を解決して高精度な予測を可能とする技術を提供する。

【0052】

例えば、上記してきた実施形態により予測装置１００は、下記のような予測を実現することができる。

【0053】

（引っ越し件数の需要予測）
予測装置１００は、引っ越し件数の需要予測として、過去の「引っ越し件数」、「繁忙期」、「料金レート」、 「営業日フラグ」の履歴（例えば、過去１年間等）等を入力として、所定の期間（例えば、予測実施日から今後１か月等）の需要を予測することができる。

【0054】

（商品の出荷数予測）
予測装置１００は、商品の出荷数予測として、季節商品（例えば、ビールやアイス等）の需要予測を可能とする。前述した季節商品は、気温や天候に応じてその出荷量が変動することが知られている。そこで、予測装置１００は、「天気」、「気温」、「湿度」、「休祝日」等に対応する季節商品の過去の需要履歴と天気予報の情報とを入力とし、所定の期間（例えば、予測実施日から今後１週間等）の需要を予測することができる。

【0055】

（金融市場における取引予測）
予測装置１００は、金融市場における取引回数等を予測することができる。例えば、予測装置１００は、取引市場における「前場」や「後場」といった時刻情報や、市場外の情報（例えば、ニュース等）と過去の取引履歴を入力として、所定の期間（例えば、予測実施から直近１時間等）の取引回数を予測することができる。なお、金融市場における取引予測に用いるモデルは、他次元出力にも対応しているため、この相互作用も考慮した予測が可能である。

【0056】

このように、予測装置１００は、いずれの場合においても長期の時系列の関係性を考慮して予測を行うことが可能である。したがって、予測装置１００は、周期性、季節性、トレンドや相互作用といった過去の多次元データの中から、重要な情報を自動的に学習し、高精度な予測を実現する。また、予測装置１００は、カウントデータに対して最適化されたモデル設計が可能であるため、通常のセンサーデータに対する予測とは異なり非負値かつ確率的にも最適な値を予測値として出力することができる。また、予測装置１００は、ネットワーク構造から予測に影響を及ぼす重要な情報を可視化して予測する機能だけでなく、人間の意思決定のための予測を行うこともできる。

【0057】

〔５．ハードウェア構成〕
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0058】

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を公知の方法で手動的に行うこともできる。この他、図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0059】

［プログラム］
一実施形態として、予測装置１００を構成する各種の装置は、パッケージソフトウェアやオンラインソフトウェアとして、前述した予測プログラムを、所望のコンピュータにインストールさせることによって実装できる。例えば、上記の予測プログラムを情報処理装置に実行させることにより、予測装置１００を構成する各種の装置として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

【0060】

図５は、本実施形態に係る予測装置１００が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

【0061】

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0062】

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、予測装置１００を構成する各種の装置の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、予測装置１００を構成する各種の装置における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

【0063】

また、前述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、前述した実施形態の処理を実行する。

【0064】

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３およびプログラムデータ１０９４は、ネットワーク（ＬＡＮ、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３およびプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0065】

〔６．その他〕
以上、本実施形態について説明したが、本実施形態は、開示の一部をなす記述および図面により限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本実施形態の範疇に含まれる。

【符号の説明】

【0066】

１０ 時系列カウントデータ
１００ 予測装置
１１０ 通信部
１２０ 記憶部
１２１ 時系列カウントデータ記憶部
１２２ トークン記憶部
１２３ 予測値記憶部
１３０ 制御部
１３１ 入力部
１３２ 変換部
１３３ 算出部
１３４ 制約部
１３５ 出力部
２００ 端末装置
１０００ コンピュータ
１０１０ メモリ
１０１１ ＲＯＭ
１０１２ ＲＡＭ
１０２０ ＣＰＵ
１０３０ ハードディスクドライブインタフェース
１０４０ ディスクドライブインタフェース
１０５０ シリアルポートインタフェース
１０６０ ビデオアダプタ
１０７０ ネットワークインタフェース
１０８０ バス
１０９０ ハードディスクドライブ
１０９１ ＯＳ
１０９２ アプリケーションプログラム
１０９３ プログラムモジュール
１０９４ プログラムデータ
１１００ ディスクドライブ
１１１０ マウス
１１２０ キーボード

【要約】

【課題】カウントデータに含まれる依存関係を考慮した予測を可能とする。
【解決手段】予測装置は、所定の時系列カウントデータを入力し、所定の時系列カウントデータを所定の潜在表現に変換し、所定の時系列カウントデータと、変換部により変換された潜在表現と、所定の時系列カウントデータの一部と重複するトークンとを用いて予測値を算出し、所定の関数と、所定の関数に対応する損失関数を用いて学習された学習モデルとに基づき、予測値を非負値に制約する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】