特許 7396501 推定方法、推定装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】推定方法、推定装置及びプログラム

(51)【国際特許分類】

   G06N 7/01 20230101AFI20231205BHJP

   G06N 20/00 20190101ALI20231205BHJP

【ＦＩ】

G06N7/01

G06N20/00

【請求項の数】 7

(21)【出願番号】P 2022543228

(86)(22)【出願日】2020-08-20

(86)【国際出願番号】 JP2020031509

(87)【国際公開番号】W WO2022038752

(87)【国際公開日】2022-02-24

【審査請求日】2023-01-23

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】幸島 匡宏

(72)【発明者】

【氏名】戸田 浩之

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１８－５５２９４（ＪＰ，Ａ）

【文献】特開２００９－１１０３４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ７／０１

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

状態の遷移系列を表す複数の系列データを入力する入力手順と、
前記入力手順で入力した複数の系列データを用いて、混合モデルにより線形加法マルコフ過程を拡張したモデルのモデルパラメタを推定する推定手順と、
前記推定手順で推定したモデルパラメタを出力する出力手順と、
をコンピュータが実行することを特徴とする推定方法。

【請求項2】

前記推定手順は、
前記混合モデルのコンポーネントのうち前記系列データがいずれのコンポーネントに属するかを表す潜在変数の生成確率と、前記系列データが属するコンポーネントにおける前記線形加法マルコフ過程の次の時刻の状態への遷移確率との同時分布に基づいて、前記モデルパラメタを推定する、ことを特徴とする請求項１に記載の推定方法。

【請求項3】

前記推定手順は、
前記線形加法マルコフ過程の確率ベクトルの各値が、指数型分布族に属する所定の確率分布の密度関数で表されているものとして、前記次の時刻の状態の遷移確率を決定する、ことを特徴とする請求項２に記載の推定方法。

【請求項4】

前記推定手順は、
前記同時分布に基づいて、前記モデルパラメタと前記複数の系列データとの同時確率を定義し、前記同時確率の負の対数を目的関数として、前記目的関数を最小化することで前記モデルパラメタを推定する、ことを特徴とする請求項２又は３に記載の推定方法。

【請求項5】

前記推定手順は、
Majorization Minimization、勾配法又はニュートン法のいずれかにより前記目的関数を最小化する、ことを特徴とする請求項４に記載の推定方法。

【請求項6】

状態の遷移系列を表す複数の系列データを入力する入力部と、
前記入力部で入力した複数の系列データを用いて、混合モデルにより線形加法マルコフ過程を拡張したモデルのモデルパラメタを推定する推定部と、
前記推定部で推定したモデルパラメタを出力する出力部と、
を有することを特徴とする推定装置。

【請求項7】

コンピュータに、請求項１乃至５の何れか一項に記載の推定方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定方法、推定装置及びプログラムに関する。

【背景技術】

【0002】

都市における人々の移動系列やウェブページの閲覧系列等の系列データの分析に対してマルコフ過程は重要な役割を果たしている。これは、マルコフ過程は単に系列の予測に用いられるだけではなく、パラメタとして持つ遷移確率の解釈が容易であり、かつ、定常分布や初到達時間等の系列の漸近的な挙動を把握することが可能であるためである。しかしながら、マルコフ過程は過去の系列への長期的な依存関係を表現することができないため、その限界を克服するために様々な取り組みがなされてきた（例えば、非特許文献１及び２）。このような取り組みの中で、近年、線形加法マルコフ過程（ＬＡＭＰ：linear additive Markov process）と呼ばれる手法が提案されている（例えば、非特許文献３）。ＬＡＭＰは、過去の系列への長期的な依存関係を表現することができると共に、パラメタの解釈性が高く、漸近的な挙動も把握できるというマルコフ過程のような良い性質も持ち合わせている手法である。

【先行技術文献】

【非特許文献】

【0003】

【文献】Peter B¨uhlmann, AbrahamJ Wyner, etal. Variable length markov chains. The Annals of Statistics, Vol.27, No.2, pp. 480-513, 1999.

【文献】Sepp Hochreiter and J¨urgen Schmidhuber. Long short-term memory. Neural computation, Vol.9, No.8, pp. 1735-1780, 1997.

【文献】Ravi Kumar, Maithra Raghu, Tam´as Sarl´os, and Andrew Tomkins. Linear additive markov processes. In Proceedings of the 26th international conference on World Wide Web, pp. 411-419, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ＬＡＭＰでは、例えばユーザ毎の遷移確率の違いや遷移確率の時間的な変化等といった遷移確率の性質を捉えることができない。例えば、個人毎のウェブページの閲覧系列は、スポーツ好きや映画好き等の個人の趣向によって一人一人異なる遷移の傾向を持つと考えられる。同様に、例えば、都市における人々の集団の移動の傾向は、朝はオフィス街に向かう傾向がある一方で夕方は住宅街に帰る傾向がある等、時間帯によってその傾向は大きく異なると考えられる。

【0005】

本発明の一実施形態は、上記の点に鑑みてなされたもので、遷移確率の性質と過去の系列への長期的な依存関係とを考慮した遷移傾向の把握及び系列予測を実現することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、一実施形態に係る推定方法は、状態の遷移系列を表す複数の系列データを入力する入力手順と、前記入力手順で入力した複数の系列データを用いて、混合モデルにより線形加法マルコフ過程を拡張したモデルのモデルパラメタを推定する推定手順と、前記推定手順で推定したモデルパラメタを出力する出力手順と、をコンピュータが実行することを特徴とする。

【発明の効果】

【0007】

遷移確率の性質と過去の系列への長期的な依存関係とを考慮した遷移傾向の把握及び系列予測を実現することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る推定装置の機能構成の一例を示す図である。

【図2】本実施形態に係る推定処理の一例を示すフローチャートである。

【図3】本実施形態に係る推定装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態について説明する。本実施形態では、遷移確率の性質と過去の系列への長期的な依存関係とを考慮した遷移傾向の把握及び系列予測を行うことが可能なモデルを提案し、このモデルのパラメタ（以下、「モデルパラメタ」ともいう。）を推定する推定装置１０について説明する。このモデルは、遷移確率の性質（例えば、ユーザ毎の遷移確率の違いや遷移確率の時間的な変化等）を捉えることができるように、混合モデルのアプローチを利用してＬＡＭＰを拡張したものであり、本実施形態では、混合線形加法マルコフ過程（ＭｏＬＡＭＰ：Mixture of linear additive Markov process）と呼ぶことにする。混合モデルのアプローチを利用することで、例えば、ウェブページの閲覧履歴に基づいて、類似の閲覧傾向を持つユーザは同一の所属となるようにユーザを複数のグループに分類し、グループ毎に別々のＬＡＭＰのパラメタに基づいて遷移するようにモデル化することが可能となる。同様に、例えば、都市における人々の動きを分析する際に、時間帯をグループに分類しながらグループ毎の遷移をモデル化することが可能となる。これにより、混合モデルのアプローチを用いない従来のＬＡＭＰよりも、より正確に遷移の傾向が把握できるようになり、かつ、系列の予測性能の向上も可能となる。

【0010】

なお、後述するように、本実施形態では、混合モデルのアプローチを利用した拡張に加えて、指数型分布族を用いた拡張を行った。これは、混合モデルのアプローチを利用するとパラメタ数の増大をもたらすため、データ数に限りがある場合にはＬＡＭＰのＫ次元の確率ベクトルｗを、その次数Ｋに依存しないパラメタ数で表現することが必要であると考えられるためである。そこで、後述するように、本実施形態では、この確率ベクトルｗの値を指数型分布族に属する任意の分布の確率分布を用いて表現することで、これを可能とした。

【0011】

＜準備＞
以下、ＭｏＬＡＭＰの説明に必要な用語や概念等を準備する。

【0012】

≪線形加法マルコフ過程（ＬＡＭＰ）≫
まず、線形加法マルコフ過程（ＬＡＭＰ）について説明する。状態空間Ｘ＝｛ｘ^１，ｘ^２，・・・，ｘ^Ｉ｝上の次数ＫのＬＡＭＰは確率ベクトル

【0013】

【数1】

と確率行列

【0014】

【数2】

との２つのパラメタで特徴付けられる。Ｉは状態数である。なお、以降、明細書のテキスト中では、或る記号の真上に付与された波形記号をその直前に表記するものとし、例えば、確率行列を「^～ρ」と表記するものとする。また、確率行列^～ρの（ｉ，ｊ）成分を^～ρ_ｉｊ又は^～ρ（ｘ_ｉ，ｘ_ｊ）と表記する。

【0015】

線形加法マルコフ過程は、時刻ｔにおける状態ｘ_ｔ∈Ｘが以下の式（１）に示す確率に従う確率過程｛Ｘ_ｔ；ｔ＝０，１，２，・・・｝として定義される。

【0016】

【数3】

この式（１）により、ＬＡＭＰにおける次の時刻の状態は、確率ベクトルｗによって過去の状態を忘却しながら、現在もしくは過去の状態に基づいて次の時刻の状態が決まることがわかる。また、上記の式（１）においてｗ_１＝１．０，ｗ_ｋ＝０．０（ただし、∀ｋ＞１）とした場合、これは遷移確率^～ρの１次のマルコフ過程の式と等しくなることから、ＬＡＭＰは１次のマルコフ過程を特殊ケースとして含む上位のクラスであることがわかる。

【0017】

ＬＡＭＰは次の２つの重要な性質（ａ）及び（ｂ）を持つ。（ａ）パラメタ数の指数的な増大を抑えながら、長期的な依存関係（long time dependency）を表現できる。すなわち、次数ｋのマルコフ過程における遷移確率を考えるとそのパラメタ数（状態遷移確率のサイズ）はＩ^ｋ×Ｉ^ｋであり、次数ｋに関して指数的に増大してしまうが、次数ｋのＬＡＭＰにおいてはパラメタ数が（Ｉ×Ｉ）＋ｋで抑えられている。このため、ＬＡＭＰはパラメタの解釈性を保つことを可能にしている。（ｂ）遷移確率が過去履歴に依存するにも関わらず、ゆるい条件の下でＬＡＭＰは定常分布を持ち、かつ、それが遷移確率^～ρの１次のマルコフ過程の定常分布と等しい。よって、通常のマルコフ連鎖と同様の方法（例えば、power iteration等）で極限の挙動（定常状態）を容易に把握することができる。

【0018】

≪指数型分布族≫
ＭｏＬＡＭＰの構築では確率ベクトルｗの値ｗ_ｋを指数型分布族に属する任意の分布の確率分布を用いて表現することを行うため、指数型分布族について説明する。指数型分布族の密度関数ｆは以下の式（２）で与えられる。

【0019】

【数4】

ただし、ηは自然パラメタ、Ｔ（ｋ）は十分統計量、Ａ（η）は対数正規化項、ｈ（ｋ）は既知の関数（Base measure）である。指数型分布族に属する分布としては、以下のカテゴリカル分布（Cat）、幾何分布（Geo）、ポアソン分布（Poi）等が挙げられる。

【0020】

【数5】

なお、λはパラメタである。

【0021】

これらのカテゴリカル分布、幾何分布及びポアソン分布はいずれも上記の式（２）の形式で表現することができる。

【0022】

また、平均値パラメタと呼ばれる以下のパラメタ表現μの後ほど利用する。

【0023】

【数6】

自然パラメタηと平均値パラメタμは１対１で対応すること知られている。このことについては、例えば、参考文献「Shun-ichi Amari and Hiroshi Nagaoka. Methods of information geometry, Vol. 191. American Mathematical Soc., 2007.」等を参照されたい。

【0024】

＜ＭｏＬＡＭＰ＞
次に、本実施形態で提案する混合線形加法マルコフ過程（ＭｏＬＡＭＰ）について説明する。本実施形態では、系列データとして移動系列データを想定し、移動系列データから元のマルコフ連鎖のパラメタを推定装置１０によって推定することを考える。移動系列データとしては

【0025】

【数7】

が推定装置１０に与えられるものとする。ただし、

【0026】

【数8】

であり、ｄはユーザやその系列が収集された時間帯等を表す添え字、Ｔ_ｄはその系列の長さである。

【0027】

≪データの生成過程と目的関数≫
ＭｏＬＡＭＰはパラメタ

【0028】

【数9】

を持つモデルであり、このθが推定対象のモデルパラメタである。Ｍは混合数、π_ｍ、η_ｍ、ρ_ｍはそれぞれｍ番目のコンポーネントの混合比、ＬＡＭＰの確率ベクトルの値を表す指数型分布族のパラメタ、ＬＡＭＰの確率行列パラメタを表す。なお、１つのコンポーネントは１つのモデルを表し、同一のコンポーネントに属する系列は同様の性質の遷移確率で遷移する。例えば、或るユーザのウェブページの閲覧系列と別のユーザの閲覧系列とが同一のコンポーネントに属する場合、これらの系列の遷移確率は同様の性質を有し、したがって、これらのユーザは同様の趣向等を有することを意味する。同様に、都市における或る時間帯の人々の移動系列と別の時間帯の人々の移動系列とが同一のコンポーネントに属する場合、これらの時間帯では同様の移動傾向があることを意味する。

【0029】

以降、上記のパラメタの事前分布はＰ（θ）＝Ｐ（π）Ｐ（η）Ｐ（ρ）と表現され、以下のようにＰ（π）とＰ（ρ）はディリクレ分布、Ｐ（η）は指数型分布族の共役事前分布であるものとする。

【0030】

【数10】

ただし、ξ_０、μ_０、α_０、β_０はハイパーパラメタ、Ｚ（ξ_０，μ_０）は正規化項である。これは、後述する最適化アルゴリズム構築のためのものであり、他の事前分布を用いてモデル化することも可能である。

【0031】

ＭｏＬＡＭＰでは、ｄ番目の系列｛Ｘ_ｄｔ；ｔ＝０，１，２，・・・｝が次のように生成されたとしてモデル化を行う。

【0032】

Ｓｔｅｐ１：まず、はじめに系列がｍ＝１，・・・，Ｍのどのコンポーネントに属するかを表す潜在変数ｚ_ｄ＝｛ｚ_ｄ１，・・・，ｚ_ｄＭ｝がカテゴリカル分布により生成される。潜在変数ｚ_ｄは、ｍ番目のコンポーネントに属するときｚ_ｄｍ＝１、ｚ_ｄｍ'＝０（ただし、１≦ｍ'≦Ｍかつｍ'≠ｍ）となる。

【0033】

すなわち、以下の式（３）によりｄ番目の系列｛Ｘ_ｄｔ；ｔ＝０，１，２，・・・｝がどのコンポーネントに属するかを表す潜在変数ｚ_ｄを生成する。

【0034】

【数11】

これにより、ｄ番目の系列｛Ｘ_ｄｔ；ｔ＝０，１，２，・・・｝がどのコンポーネントに所属するかを表す潜在変数ｚ_ｄが得られる。

【0035】

また、初期状態Ｘ_ｄ０が初期状態確率によって決定する。

【0036】

Ｓｔｅｐ２：次に、次の時刻の状態Ｘ_ｄｔが所属コンポーネントのパラメタη_ｍ、ρ_ｍを利用したＬＡＭＰ（ただし、確率ベクトルｗの値ｗ_ｋはｆ（ｋ｜η_ｍ）、確率行列はρ_ｍとする。）に従い決定する。すなわち、以下の式（４）により次の時刻の状態Ｘ_ｄｔが決定する。

【0037】

【数12】

なお、ρ_ｍ（ｘ_ｉ，ｘ_ｊ）はρ_ｍの（ｉ，ｊ）成分を表す。

【0038】

上記のＳｔｅｐ２を時刻Ｔ_ｄまで繰り返すことでデータｚ_ｄ及びｘ_ｄの生成がモデル化できる。

【0039】

ここで、上記の式（３）及び（４）により同時分布は以下の式（５）で与えられる。

【0040】

【数13】

上記の式（５）をＺ_ｄに関して積分消去すれば以下の式（６）が得られる。

【0041】

【数14】

なお、Ｍ＝１、かつ、指数型分布族の密度関数ｆにカテゴリカル分布を用いた場合にはＭｏＬＡＭＰはＬＡＭＰと等しくなる。

【0042】

上記の式（６）よりデータ

【0043】

【数15】

の生成確率の対数は、

【0044】

【数16】

となる。よって、モデルパラメタθとデータＤの同時確率の対数は、

【0045】

【数17】

となる。したがって、以下の式（７）により最適モデルパラメタ＾θ（正確には、ハット「＾」はθの真上に表記されるが、明細書のテキスト中では「＾θ」と表記する。）が推定される。

【0046】

【数18】

なお、Ｌ（θ）が目的関数である。

【0047】

≪最適化方法≫
上記の目的関数Ｌ（θ）の最適化（最小化）には勾配法やニュートン法等の任意の最適化方法が適用可能であるが、一例として、ＭＭ（Majorization Minimization）により最適化を行う場合について説明する。ＭＭでは、目的関数の上界を作り、それを利用して最適化アルゴリズムを構築する。潜在変数Ｚと、更に補助変数

【0048】

【数19】

とを導入して、Jensenの不等式を使えば、

【0049】

【数20】

と目的関数Ｌ（θ）上界Ｇ（θ，Ｚ，Ｖ）が得られる。なお、最初の不等号の成立条件は以下の式（８）で与えられる。

【0050】

【数21】

また、２つ目の不等号の成立条件は以下の式（９）で与えられる。

【0051】

【数22】

ＭＭでは、以下の２ステップの手続きを所定の条件を満たすまで繰り返し、上界Ｇを最小化することで目的関数Ｌを最小化する。なお、所定の条件としては、例えば、繰り返し回数が最大繰り返し回数に達したこと等が挙げられる。

【0052】

手続き１：θに関してＧを最小化する
手続き２：Ｚ，Ｖに関してＧを最小化する
上記の手続き１でθに関してＧを最小化する際に、π、η及びρはそれぞれ以下により最適化する。

【0053】

πの最適化：和が１になる制約より、ラグランジュ未定乗数法により更新式を導出する。ラグランジュ乗数Λを用いた下記のラグランジュ関数を定義する。

【0054】

【数23】

これを解けば、以下の式（１０）に示すπの更新式が得られる。

【0055】

【数24】

ηの最適化：上界Ｇのη_ｍに関する偏微分をゼロとおけば、

【0056】

【数25】

である。上述したように、平均値パラメタと自然パラメタには１対１の対応があるため、μ_ｍをη_ｍに変換できる。よって、上記の式（１１）によりη_ｍの更新式が得られる。

【0057】

ρの最適化：行毎に和が１となる制約があるため、ラグランジュ未定乗数法により更新式を導出する。ラグランジュ乗数Λ_ｍｉを用いた下記のラグランジュ関数を定義する。

【0058】

【数26】

これを解けば、以下の式（１２）に示すρ_ｍの更新式が得られる。

【0059】

【数27】

なお、ρ_ｍｉｊはρ_ｍの（ｉ，ｊ）成分である。

【0060】

以上により、式（１０）、式（１１）及び式（１２）によるパラメタの更新と式（８）及び式（９）による潜在変数及び補助変数の更新とを繰り返すことで、上界Ｇが最小化され（したがって、目的関数Ｌが最小化され）、最適モデルパラメタ＾θの推定値が得られる。

【0061】

＜推定装置１０の機能構成＞
次に、本実施形態に係る推定装置１０の機能構成について、図１を参照しながら説明する。図１は、本実施形態に係る推定装置１０の機能構成の一例を示す図である。

【0062】

図１に示すように、本実施形態に係る推定装置１０は、入力データ格納部１０１と、設定パラメタ格納部１０２と、モデルパラメタ推定部１０３と、モデルパラメタ出力部１０４と、入力データ記憶部１０５と、設定パラメタ記憶部１０６と、モデルパラメタ記憶部１０７とを有する。

【0063】

入力データ格納部１０１は、与えられた移動系列データＤを入力し、入力データとして入力データ記憶部１０５に格納する。なお、移動系列データＤは、例えば、推定装置１０と通信ネットワークを介して接続されるサーバ装置等から取得することで与えられてもよい。

【0064】

設定パラメタ格納部１０２は、与えられた設定パラメタ（例えば、ハイパーパラメタξ_０、μ_０、α_０、β_０や、ＭＭにおける最大繰り返し回数等の最適化に関する設定値等）を入力し、設定パラメタ記憶部１０６に格納する。なお、設定パラメタは、例えば、ユーザ等によって指定されることで与えられてもよい。

【0065】

モデルパラメタ推定部１０３は、入力データ記憶部１０５に格納された入力データＤと、設定パラメタ記憶部１０６に格納された設定パラメタとを用いて、ＭｏＬＡＭＰの最適モデルパラメタ＾θを推定する。そして、モデルパラメタ推定部１０３は、推定した最適モデルパラメタ＾θをモデルパラメタ記憶部１０７に格納する。

【0066】

モデルパラメタ出力部１０４は、モデルパラメタ記憶部１０７に格納された最適モデルパラメタ＾θを出力する。なお、モデルパラメタ出力部１０４の出力先は任意の出力先（例えば、ディスプレイ、記憶装置、他の装置又は端末等）としてよい。

【0067】

＜推定処理＞
次に、本実施形態係る推定装置１０で最適モデルパラメタ＾θを推定する処理について、図２を参照しながら説明する。図２は、本実施形態に係る推定処理の一例を示すフローチャートである。

【0068】

まず、入力データ格納部１０１は、与えられた移動系列データＤを入力し、入力データとして入力データ記憶部１０５に格納する（ステップＳ１０１）。

【0069】

次に、設定パラメタ格納部１０２は、与えられた設定パラメタを入力し、設定パラメタ記憶部１０６に格納する（ステップＳ１０２）。

【0070】

続いて、モデルパラメタ推定部１０３は、上記のステップＳ１０１で入力データ記憶部１０５に格納された入力データＤと、上記のステップＳ１０２で設定パラメタ記憶部１０６に格納された設定パラメタとを用いて、ＭｏＬＡＭＰの最適モデルパラメタ＾θを推定し、最適モデルパラメタ＾θをモデルパラメタ記憶部１０７に格納する（ステップＳ１０３）。すなわち、モデルパラメタ推定部１０３は、上記の式（７）に示す目的関数Ｌ（θ）をＭＭにより最小化することで最適モデルパラメタ＾θを推定し、モデルパラメタ記憶部１０７に格納する。ただし、目的関数Ｌ（θ）の最小化にＭＭを用いるのは一例であって、例えば、勾配法やニュートン法等により目的関数Ｌ（θ）が最小化されてもよい。

【0071】

そして、モデルパラメタ出力部１０４は、上記のステップＳ１０３でモデルパラメタ記憶部１０７に格納された最適モデルパラメタ＾θを出力する（ステップＳ１０４）。

【0072】

以上のように、本実施形態に係る推定装置１０は、混合モデルのアプローチを利用してＬＡＭＰを拡張したモデルであるＭｏＬＡＭＰのモデルパラメタを推定することができる。このＭｏＬＡＭＰは混合モデルとＬＡＭＰの両方の利点を同時に活かすことが可能なモデルであり、推定後の最適モデルパラメタ＾θを設定したＭｏＬＡＭＰを用いることで、遷移確率の性質（例えば、個人の趣向の違いや時間帯毎の群衆の移動傾向の違い等）と過去の系列への長期的な依存関係とを考慮した遷移傾向の把握及び系列予測を行うことが可能となる。

【0073】

このため、過去の系列への長期的な依存関係を表現できないマルコフ過程や、個人の趣向の違いや時間帯毎の群衆の移動傾向の違いを考慮できない線形加法マルコフ過程（ＬＡＭＰ）よりも高い精度で人々の都市における移動系列やウェブページの閲覧系列の予測を行うことが可能となる。更に、本実施形態に係る推定装置１０によって推定されたモデルパラメタθ＝＾θは高い解釈性を持つため、このモデルパラメタθを用いることで定常分布をマルコフ連鎖と同様の方法で把握することも可能となる。

【0074】

＜推定装置１０のハードウェア構成＞
最後に、本実施形態に係る推定装置１０のハードウェア構成について、図３を参照しながら説明する。図３は、本実施形態に係る推定装置１０のハードウェア構成の一例を示す図である。

【0075】

図３に示すように、本実施形態に係る推定装置１０は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、プロセッサ２０５と、メモリ装置２０６とを有する。これら各ハードウェアは、それぞれがバス２０７を介して通信可能に接続されている。

【0076】

入力装置２０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置２０２は、例えば、ディスプレイ等である。なお、推定装置１０は、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくてもよい。

【0077】

外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。推定装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、例えば、推定装置１０が有する各機能部（入力データ格納部１０１、設定パラメタ格納部１０２、モデルパラメタ推定部１０３及びモデルパラメタ出力部１０４）を実現する１以上のプログラムが格納されていてもよい。

【0078】

なお、記録媒体２０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。

【0079】

通信Ｉ／Ｆ２０４は、推定装置１０を通信ネットワークに接続するためのインタフェースである。なお、推定装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。

【0080】

プロセッサ２０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。推定装置１０が有する各機能部は、例えば、メモリ装置２０６に格納されている１以上のプログラムがプロセッサ２０５に実行させる処理により実現される。

【0081】

メモリ装置２０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。推定装置１０が有する各記憶部（入力データ記憶部１０５、設定パラメタ記憶部１０６及びモデルパラメタ記憶部１０７）は、メモリ装置２０６を用いて実現可能である。ただし、推定装置１０が有する各記憶部のうちの少なくとも１つの記憶部が、推定装置１０と通信ネットワークを介して接続される記憶装置（例えば、データベースサーバ等）により実現されていてもよい。

【0082】

本実施形態に係る推定装置１０は、図３に示すハードウェア構成を有することにより、上述した推定処理を実現することができる。なお、図３に示すハードウェア構成は一例であって、推定装置１０は、他のハードウェア構成を有していてもよい。例えば、推定装置１０は、複数のプロセッサ２０５を有していてもよいし、複数のメモリ装置２０６を有していてもよい。

【0083】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【符号の説明】

【0084】

１０ 推定装置
１０１ 入力データ格納部
１０２ 設定パラメタ格納部
１０３ モデルパラメタ推定部
１０４ モデルパラメタ出力部
１０５ 入力データ記憶部
１０６ 設定パラメタ記憶部
１０７ モデルパラメタ記憶部
２０１ 入力装置
２０２ 表示装置
２０３ 外部Ｉ／Ｆ
２０３ａ 記録媒体
２０４ 通信Ｉ／Ｆ
２０５ プロセッサ
２０６ メモリ装置
２０７ バス

【図1】

【図2】

【図3】