特許 7388574 モデル推定装置、モデル推定方法及びモデル推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】モデル推定装置、モデル推定方法及びモデル推定プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231121BHJP

【ＦＩ】

G06N20/00

【請求項の数】 10

(21)【出願番号】P 2022561174

(86)(22)【出願日】2021-04-12

(65)【公表番号】

(43)【公表日】2023-05-23

(86)【国際出願番号】 JP2021015200

(87)【国際公開番号】W WO2021210543

(87)【国際公開日】2021-10-21

【審査請求日】2022-10-06

(31)【優先権主張番号】10202003373S

(32)【優先日】2020-04-13

(33)【優先権主張国・地域又は機関】SG

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】宇野 裕

(72)【発明者】

【氏名】リオン ユー チョン レイモンド

(72)【発明者】

【氏名】ソー ニ ニ

(72)【発明者】

【氏名】チョイ チ ヒン チャールズ

【審査官】児玉 崇晶

(56)【参考文献】

【文献】FUJIMAKI Ryohei, MORINAGA Satoshi，The Most Advanced Data Mining of the Big Data Era，NEC Technical Journal[online]，2012年09月30日，月[retreived on 2023.10.04], Retrieved from the Internet: <URL: https://www.nec.com/en/global/techrep/journal/g12/n02/pdf/120219.pdf>

【文献】LIU Zhenqiu, SUN Fengzhu, MCGOVERN Dermot P.，Sparse generalized linear model with L0 approximation for feature selection and prediction with big omics data，BioData Mining[online]，2017年12月19日，[retreived on 2023.10.04], Retrieved from the Internet: <URL: https://biodatamining.biomedcentral.com/articles/10.1186/s13040-017-0159-z><DOI: https://doi.org/10.1186/s13040-017-0159-z>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

モデル推定装置であって、
局所モデルに関する入力を受信すると、前記局所モデルに対応する関数を決定するように構成された局所モデル設定部と、
モデル推定のパラメータを最適化するための、受信した前記入力に関連する前記局所モデルの形状情報を用いて、修正された前記局所モデルの正則化項を算出する正則化項算出部と、
前記局所モデルの修正された正則化項に基づいて、前記モデル推定のパラメータを最適化するように構成された局所モデル最適化部とを含む、
モデル推定装置。

【請求項2】

前記修正された正則化項を用いて、潜在変数の可変確率を算出するように構成された可変確率算出部をさらに含む、請求項１に記載のモデル推定装置。

【請求項3】

前記潜在変数の可変確率に基づいて、潜在状態の数を算出及び設定するように構成されたブランチ削除部をさらに含む、請求項２に記載のモデル推定装置。

【請求項4】

前記局所モデルの前記修正された正則化項を用いて、前記モデル推定のパラメータに含まれる１の基準値が収束したか判定するように構成された最適化判定部をさらに含む、請求項１～３のいずれか１項に記載のモデル推定装置。

【請求項5】

前記局所モデルを決定するように構成された階層潜在構造設定部をさらに含むことを特徴とする、請求項１～４のいずれか１項に記載のモデル推定装置。

【請求項6】

前記局所モデルの前記修正された正則化項を用いて、前記モデル推定のパラメータを分類するように構成されたゲーティング関数最適化部をさらに含む、請求項１～５のいずれか１項に記載のモデル推定装置。

【請求項7】

最適化判定部が、前記モデル推定のパラメータに含まれる１の基準値が収束したと判定するまで、ループ処理が繰り返し実行され、
前記ループ処理では、可変確率算出部が潜在変数の可変確率を算出し、ブランチ削除部が潜在状態の数を算出及び設定し、前記局所モデル最適化部が前記潜在変数を最適化し、ゲーティング関数最適化部が前記モデル推定のパラメータを分類し、前記最適化判定部が、前記基準値が収束したか判定する、請求項１～６のいずれか１項に記載のモデル推定装置。

【請求項8】

前記局所モデルの前記形状情報は、前記局所モデルの指数型分布族の分布の形状を示す情報であることを特徴とする、請求項１～７のいずれか１項に記載のモデル推定装置。

【請求項9】

モデル推定方法であって、コンピュータが
局所モデルに関する入力を受信し、
前記入力を受信すると、前記局所モデルに対応する関数を決定し、
モデル推定のパラメータを最適化するための、受信した前記入力に関連する前記局所モデルの形状情報を用いて、修正された前記局所モデルの正則化項を算出し、
前記局所モデルの修正された正則化項に基づいて、前記モデル推定のパラメータを最適化することを含む、
モデル推定方法。

【請求項10】

モデル推定プログラムであって、コンピュータに対し、
局所モデルに関する入力を受信するステップと、
前記入力を受信すると、前記局所モデルに対応する関数を決定するステップと、
モデル推定のパラメータを最適化するための、受信した前記入力に関連する前記局所モデルの形状情報を用いて、修正された前記局所モデルの正則化項を算出するステップと、
前記局所モデルの修正された正則化項に基づいて、前記モデル推定のパラメータを最適化するステップとを実行させる、モデル推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、モデル推定装置及びモデル推定方法に関する。

【背景技術】

【0002】

線形回帰は、スカラー応答（又は従属変数）と１以上の独立変数との関係をモデル化する手法である。予測モデルを、従属変数及び独立変数の観測データセットの値に合わせるようにトレーニングすることにより、線形回帰を用いて、エラーを予測、予想、又は削減できる。線形回帰の適用例には、ビジネス分析のための傾向予測、病気のリスクの推定や病気の予防等の疫学、金融における資産の価格設定モデル、消費支出の予測、労働の需要及び供給、人工知能による機械学習が含まれる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、線形回帰には、いくつかの課題がある。例えば、線形回帰は非常に単純であるため、現実世界から収集されたデータセットのうちの複数の変数の間の潜在的な関係の大部分を説明することができない。このような場合、線形回帰の予測はは、不十分なものとなる。この課題を解決すべく、より複雑なモデルと、その学習アルゴリズムを用いた様々な方法が提案されている。

【0004】

最新の方法の１つは、異種混合学習（ＨＭＬ：Heterogeneous Mixture Learning）である。それは、区分疎線形モデル（sparse piecewise linear model）と、因数分析された漸近ベイジアン学習で構成され、それぞれ統計モデルと、その学習アルゴリズムである。ＨＭＬには、例えば、現実世界の複雑なデータセットに対する、解釈可能性、高い計算効率（スケーラビリティ）、高い表現力等のいくつかの優れた特性がある。しかしながら、ＨＭＬでは、予測誤差の分布が、ガウス分布、すなわち、対称な連続分布であるとの仮定を前提とする。これは、ＨＭＬが、ポアソン分布に属する応答変数、例えば、負でない非対称の離散分布に該当する運転手のリスクのプロファイルにおける事故件数等について、常に最適な予測が行われるとは限らないことを意味する。したがって、ＨＭＬは、事故を評価する運転手のリスクのプロファイルにおいて最適な予測をするために修正する必要がある。

【0005】

したがって、上述した課題の少なくとも一部を解決するモデル推定装置及びモデル推定方法を提供する必要がある。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、モデル推定装置が提供される。モデル推定装置は、局所モデルに関する入力を受信すると、局所モデルに対応する関数を決定するように構成された局所モデル設定部と、局所モデルの修正された正則化項に基づいて、モデル推定のパラメータを最適化するように構成された局所モデル最適化部とを含み、局所モデルの修正された正則化項は、モデル推定のパラメータを最適化するための、受信した関するモデルの形状情報を用いて修正される。

【0007】

一実施形態では、モデル推定装置は、修正された正則化項を用いて、潜在変数（latent variable）の可変確率（variational probability）を算出するように構成された可変確率算出部をさらに含み得る。

【0008】

一実施形態では、モデル推定装置は、潜在変数の可変確率に基づいて、潜在状態の数を算出及び設定するように構成されたブランチ削除部をさらに含み得る。

【0009】

一実施形態では、モデル推定パラメータは１つの基準値を含む。

【0010】

一実施形態では、モデル推定装置は、局所モデルの修正された正則化項を用いて、基準値が収束したか判定するように構成された最適化判定部をさらに含み得る。

【0011】

一実施形態では、モデル推定装置は、局所モデルを決定するように構成された階層潜在構造設定部をさらに含み得る。

【0012】

一実施形態では、モデル推定装置は、局所モデルの修正された正則化項を用いて、モデル推定のパラメータを分類するように構成されたゲーティング関数最適化部をさらに含み得る。

【0013】

一実施形態では、最適化判定部が、基準値が収束したと判定するまで、ループ処理が繰り返し実行される。ループ処理では、可変確率算出部が潜在変数の可変確率を算出し、ブランチ削除部が潜在状態の数を算出及び設定し、局所モデル最適化部がモデル推定パラメータを最適化し、ゲーティング関数最適化部がモデル推定のパラメータを分類し、最適化判定部が、基準値が収束したか判定する。

【0014】

一実施形態では、可変確率算出部は、局所モデルに関連する受信した入力に基づいて、修正された正則化項を算出する正則化項算出部を含む。

【0015】

本発明の第２の態様によれば、モデル推定方法が提供される。モデル推定方法は、局所モデルに関連する入力を受信し、入力を受信すると、局所モデルの決定に対応する関数を決定し、局所モデルの修正された正則化項に基づいて、モデル推定のパラメータを最適化することを含み、局所モデルの修正された正則化項は、モデル推定のパラメータを最適化するための、受信した入力に関連する局所モデルの形状情報を用いて修正される。

【0016】

一実施形態では、モデル推定方法は、修正された正則化項を用いて潜在変数の可変確率を算出し、潜在変数の可変確率に基づいて潜在状態の数を算出及び設定し、局所モデルの修正された正則化項を用いてモデル推定のパラメータを分類し、局所モデルの修正された正則化項を用いて、基準値が収束したか判定することをさらに含み得る。

【0017】

一実施形態では、モデル推定方法は、局所モデルの情報に基づいて、修正された正則化項を算出することをさらに含み得る。

【図面の簡単な説明】

【0018】

添付図面は、同様の参照番号が、個別の図面の全体を通じて同じ構成要素又は機能的に類似する構成要素を示しており、また、以下の詳細な説明と共に、明細書に組み込まれ、明細書の一部を形成しており、さらに、様々な例示的な実施形態を示しており、さらに、非限定的な例である本発明の例示的な一実施形態の様々な原理及び利点を説明する。

【0019】

本発明の実施形態について、以下の図面を参照して、以下に説明する。

【0020】

【図1】図１は、例示的な実施形態に係るモデル推定装置における情報の流れを示す概略図１００である。

【図2】図２は、例示的な実施形態に係る図１の階層潜在変数可変確率算出部１１０における情報の流れを示す概略図２００である。

【図3A】図３Ａは、例示的な実施形態に係るモデル推定方法を示すフローチャート３００である。

【図3B】図３Ｂは、例示的な実施形態に係るモデル推定方法を示すフローチャート３００である。

【図4】図４は、例示的な実施形態に係る図１のモデル推定装置を実現するのに適したコンピュータ装置４００の概略図である。

【図5】図５は、例示的な実施形態に係る図１のモデル推定装置の様々な機能部のための１つのユニットを実現する例示的なコンピュータ装置５００である。

【発明を実施するための形態】

【0021】

以下の説明の一部は、コンピュータメモリ内のデータに関する処理のアルゴリズム及び機能的又は記号的な表現に関して、明示的又は暗黙的に示される。これらのアルゴリズムの説明及び機能的又は記号的な表現は、データ処理技術の当業者が自己の業務内容を他の当業者に最も効果的に伝えるために使用する手法である。ここで、アルゴリズムは一般に、所望の結果に繋がる矛盾のない一連のステップである。これらのステップは、例えば、保存、転送、結合、比較、及びその他の処理が可能な電気信号、磁気信号、又は光信号等の物理量の物理的な処理を必要とするステップである。

【0022】

特に明記しない限り、以下において明らかなように、本明細書の全体を通して、説明に用いる用語、例えば、「走査」、「計算（算出）」、「決定」、「置換」、「生成」、「初期化」、「出力」、「識別」、「許可」、「検証」等は、コンピュータシステム又は同様の電子装置の動作及び処理を意味することは理解されるであろう。このコンピュータシステム又は同様の電子装置は、コンピュータシステム内の物理量として表されるデータを処理し、及び、当該データを、コンピュータシステム、他のデータ記憶装置、伝送装置又は表示装置内の物理量として同様に表される他のデータに変換する。

【0023】

また、本明細書は、方法の処理を実行する装置を開示する。このような装置は、必要な目的のために特別に構築してもよく、又は、コンピュータに格納されたコンピュータプログラムによって選択的に起動又は再構成されるコンピュータ又は他の装置を備えてもよい。本明細書に示すアルゴリズム及び表示は、本質的に特定のコンピュータ又は他の装置に関するものではない。本明細書の教示によるプログラムを用いて様々なマシンを利用できる。代替的に、必要な方法のステップを実行する専用の装置を構築することが適切な場合もある。以下の説明から、コンピュータの構造が明らかとなるであろう。

【0024】

さらに、本明細書は、コンピュータプログラムも暗黙的に開示しており、本明細書に記載のモデル推定方法の個別のステップが、コンピュータコードによって実行され得ることは、当業者には明らかであろう。コンピュータプログラムは、特定のプログラミング言語及びその実装に限定されるものではない。様々なプログラミング言語及びそのコーディングを用いて、本明細書に開示の教示を実現できることは明らかであろう。さらに、コンピュータプログラムは、特定の制御フローに限定されるものではない。本開示の趣旨又は範囲から逸脱することなく、コンピュータプログラムの他の多くの変形例が存在し、異なる制御フローを使用することができる。

【0025】

さらに、コンピュータプログラムの１以上のステップを、連続ではなく、並行して実行できる。そのようなコンピュータプログラムは、任意のコンピュータ可読媒体に格納できる。コンピュータ可読媒体は、記憶装置、例えば、磁気ディスク、光ディスク、メモリチップ、又は、コンピュータとのインタフェース接続に適した他の記憶装置等を含み得る。また、コンピュータ可読媒体は、インターネットシステム等の有線媒体、又は、ＧＳＭ携帯電話システム等の無線媒体を含み得る。コンピュータプログラムは、そのようなコンピュータにロードされて実行されると、好適な方法のステップを実行する装置を効果的に実現する。

【0026】

本発明の実施形態では、用語「部（機能部）」の使用は、単一のコンピュータ装置、又は、特定の機能を実現するために協働する相互接続された複数のコンピュータ装置のコンピュータネットワークの少なくとも１つを意味し得る。換言すると、部（機能部）は、単一のハードウェアユニットに含まれることがあり、また、いくつかの異なるハードウェアユニット又は多数の異なるハードウェアユニットに分散されることがある。

【0027】

図１は、例示的な実施形態に係るモデル推定装置１００における情報の流れを示す概略図を示す。モデル推定装置１００は、データ入力部１０２と、階層潜在構造設定部１０４と、局所モデル設定部１０６と、初期化部１０８と、階層潜在変数可変確率算出部１１０と、ブランチ削除部１１２と、局所モデル最適化部１１４と、ゲーティング関数最適化部１１６と、最適化判定部１１８と、モデル推定結果出力部１２０とを含む。

【0028】

モデル推定装置１００は、データ入力部１０２を介して、モデルに関するデータを受信する。換言すると、データ入力部１０２は、画像取得装置又は入力装置等に提供又は入力された入力を受信することができる。入力データには、局所モデルの推定に必要なパラメータ、例えば、観測確率（observation probability）の種類、構成要素の数、及び潜在状態の数についての候補値が含まれ得る。また、入力データには、二分木の深さ等の階層潜在構造のパラメータが含まれ得る。代替的に、データ入力部１０２は、入力データを受信すると同時に、パラメータを入力し得る。局所モデルは、スパース性の制約を用いた一般化線形回帰等の回帰モデルとし得る。一般化線形回帰は、ほぼ全ての指数型分布族の誤差分布、例えば、ガウシアンモデル、ロジスティックモデル、ポアソンモデル、指数モデル等に対応し得る。受信データの分布に基づく他の種類のモデルが利用可能であることは理解されるであろう。

【0029】

階層潜在構造設定部１０４は、観測確率の種類と構成要素の数について、データ入力部１０２から受信した入力データから、階層潜在変数モデルの構造を、最適化の候補として選択及び設定するように構成される。本発明で使用する潜在構造は、設定された数の構成要素と深さの値とを有する木構造とし得る。階層潜在構造設定部１０４は、選択された階層潜在変数モデル構造を内部記憶装置に保存することができる。例えば、深さが２の木構造の二分木モデル（各ブランチノードが２つのブランチを有するモデル）の場合、階層潜在構造設定部１０４は、２つの第１のレベルノードと、４つの第２のレベルノード（この例示的な実施形態では最下位ノード）を有する階層潜在構造を選択する。別の実施形態では、潜在構造は、深さの各レベルにおいて３～４つの葉ノードを有する一般的な木構造でもよい。

【0030】

局所モデル設定部１０６は、階層潜在構造設定部１０４と協働するように構成される。様々な実施形態では、局所モデル設定部１０６は、データ入力部１０２が受信した入力に基づいて、局所モデルに対応する関数を決定するように構成される。これは、局所モデル設定部１０６が、各局所モデルの指数型分布族（exponential family）の特定の分布に対応する系統的なデータ及び情報を識別し、局所モデルの分布に対応する関数を決定することによって実現できる。系統的なデータは、局所モデルの平均μ、平均関数Ｍ（θ）、及びリンク関数ｇ（Ｔ）を含み得る。この関数は、局所モデルに対応するＡ（θ）、Ａ（θ）の２次導関数、フィッシャー情報行列Ｆ、又はそれらの数値近似によって表すことができる。自然指数型分布族（natural exponential family）の確率密度関数は、以下のように記述でき、

Ａ（θ）は、分布の形状情報を含み得る。Ａ（θ）の他の導関数、例えば、Ａの２次導関数等は、Ａの２次導関数及び形状情報を用いて正則化項（regularization term）が修正、改良又は精緻化されることを示す。数値近似の例では、データｘが－１～１の場合、変数ｘ_i及び変数ｘ_jは、実質的に１に近似できる。これは、計算効率に効果的に寄与する。系統的なデータと、或る局所モデル関数の一例を、以下の表１に示す。

【表1】

【0031】

初期化部１０８は、階層潜在変数モデルを推定するための初期化処理を実行するように構成される。初期化処理は、モデルをより適切に最適化するためにモデルを決定する処理である。初期化は、任意の方法、例えば、各観測確率のパラメータθをランダムに設定する方法や、潜在変数の可変確率をランダムに設定する方法等によって行うことができる。例えば、初期化部１０８は、各構成要素について観測確率の種類をランダムに設定し、設定された種類に従って、各観測確率のパラメータをランダムに設定することができる。さらに、初期化部１０８は、階層潜在変数の最下位パスの可変確率をランダムに設定することができる。

【0032】

階層潜在変数可変確率算出部１１０は、修正された正則化項を用いて、階層潜在構造のパス潜在変数の可変確率を算出するように構成される。パラメータθは、初期化部１０８、又は、ブランチ削除部１１２、局所モデル最適化部１１４及びゲーティング関数最適化部１１６によって算出される。したがって、階層潜在変数可変確率算出部１１０は、パラメータθを用いて、可変確率を算出する。また、階層潜在変数可変確率算出部１１０は、完全変数についての推定値（例えば、最尤推定値又は最大事後確率推定値）に関する周辺対数尤度関数（marginal log-likelihood function）をラプラス近似して、その下限を最大化することにより、可変確率を算出することができる。最適化基準Ａは、エキスパートの階層的混合（ＨＭＥ：hierarchical mixtures of expert）の数学的に扱いやすい下限の因子化情報量基準（ＦＩＣ）を表すことができる。

【0033】

詳細には、最適化基準Ａは、最下位パスの潜在変数と構成要素のパラメータが与えられた場合に算出できる値である。限界対数尤度は、下記数式１で与えられる。

【数1】

ここで、正則化項（又は修正された正則化項）は、以下のように定義できる。

【数2】

上記数式では、ｙは応答変数を示し、ｘは入力変数を示し、ｚは潜在変数を示し、Ｎはサンプル数を示す。Ｄ_φｊは、局所回帰モデルｊの次元を示し、機械学習のＡＩの適応を改善するのに有利である。Ｄ_βｉはゲート関数ｉの次元を示し、一方、ｚ_ｊは潜在変数ｚのｊ番目の構成要素を示す。さらに、Ｅは、エキスパート、すなわち、局所回帰モデルの数を示し、ｑ（ｚ）は、潜在変数ｚの可変分布（variational distribution）を示す。θ_ｊは、局所モデルｊのパラメータを示し、β_ｊは、ゲート関数ｉのパラメータを示し、φは、局所回帰モデルの一組のパラメータを示す。さらに、βは、バイナリゲート関数の一組のパラメータを示し、θは、一組のモデルパラメータ、例えば、β及びθを示す。さらに、Ａ”は、Ａ（θ）の２次導関数を示し、分布の形状に関する情報を有しており、正則化項の修正に主に寄与する。階層潜在変数可変確率算出部１１０の詳細な機能及び情報の流れを、図２に示す。

【0034】

算出された可変確率は、可変確率に基づいて潜在状態の数を算出及び設定するように構成されたブランチ削除部１１２へ送られる。それを実現すべく、ブランチ削除部１１２は、下記数式４で定義されるＦ_φのランクを算出する。Ｆ_φは、下記数式４で定義されるＦ_φｊのブロック行列である。Ｆのランクを算出する想定されるアルゴリズムの１つは、特異値分析（ＳＶＤ）アルゴリズムを用いて、Ｆ_φの特異値σ_１≧σ_２…≧σ_Ｋ ^{（ｔ-１）}の数を計数する。そして、（Ｆのランクと等しい）潜在状態の数は、ブランチ削除部１１２が下記数式３を用いて設定する。

【数3】

例えば、σ_１＝１、σ_２＝０．９、…、σ_Ｍ＝０．１、σ_Ｋ ^{（ｔ－１）}＝０．００００００１である。閾値デルタδ＝０．１の場合、Ｋ’＝｛１，２，…，Ｍ｝及びＫ^（ｔ）＝ｍａｘ（Ｋ’）＝Ｍである。

【数4】

【0035】

局所モデル最適化部１１４は、修正された局所モデルの正則化項に基づき、モデル推定のパラメータを最適化する。このパラメータは、１つの基準値を含むことができ、下記数式５を用いて最適化できる。

【数5】

したがって、この数式は、局所モデルに依存する。数式５のパラメータは、上記数式１及び数式２で定義される。

【0036】

次に、ゲーティング関数最適化部１１６は、局所モデル最適化部１１４によって推定されたモデルを用いて、ブランチノードリストを導出する。そして、ゲーティング関数最適化部１１６は、導出したブランチノードリストからブランチノードを１つ選択する。以下、選択されたノードを、選択ノードとも称する。ゲーティング関数最適化部１１６は、入力データと、階層潜在変数可変確率から得られた選択ノードの潜在変数可変確率とを用いて、選択ノードのブランチパラメータを最適化する。選択ノードのブランチパラメータは、上述したゲーティング関数に対応する。そして、ゲーティング関数最適化部１１６は、導出した全てのブランチノードを最適化したか否かを判定する。全てのブランチノードが最適化された場合、ゲーティング関数最適化部１１６は、処理を終了する。全てのブランチノードが最適化されていない場合、ゲーティング関数最適化部１１６は、処理を繰り返す。二分木階層モデルのベルヌーイ分布に基づくゲーティング関数を用いて、ゲーティング関数の具体例について以下に説明する。以下、ゲーティング関数をベルヌーイゲーティング関数とも称する。Ｘ_ｄを、Ｘのｄ番目の次元とし、ｇ^－を、この値が閾値ｗを超えないときに二分木の左下に分岐する確率とし、ｇ^＋を、この値が閾値ｗを超えたときに二分木の左下に分岐する確率とする。ゲーティング関数最適化部１１６は、ベルヌーイ分布に基づき、上述した最適化パラメータｄ，ｗ，ｇ^－，ｇ^＋を最適化する。この場合、各パラメータは、典型的な階層潜在変数モデルの対数関数を用いたパラメータと異なり、解析解を有するため、最適化の高速化に寄与する。

【0037】

最適化判定部１１８は、局所モデルの修正された正則化項を用いて、パラメータの基準値が収束したか判定するように構成される。良好に収束することは、オーバーフィッティングの可能性が低いことを意味することは、理解されるであろう。最適化判定部１１８は、局所モデルクラスを拡張して、指数型分布族を含めることにより、これを実現することができる。この判定は、上述した数式１に基づいて行うことができる。

【0038】

具体的には、最適化判定部１１８は、上記数式２を用いて算出された最適化基準Ａが収束したか否か判定する。最適化基準Ａが収束していない場合、最適化判定部１１８は、階層潜在変数可変確率算出部１１０、ブランチ削除部１１２、局所モデル最適化部１１４、ゲーティング関数最適化部１０６及び最適化判定部１１８による処理が繰り返されるように、信号を階層潜在変数可変確率算出部１１０に送信する。例えば、最適化判定部１１８は、最適化基準Ａの増加が既定の閾値未満である場合、最適化基準Ａが収束したと判定できる。

【0039】

最適化判定部１１８が、基準値が収束したと判定した場合、モデル推定結果出力部１２０は、算出されたモデル推定結果を出力する。

【0040】

モデル推定結果出力装置１２０は、観測確率の種類と構成要素の数についての入力候補から設定された階層潜在変数モデル構造の候補のモデル最適化が終了した場合、隠れ状態（hidden state）の最適数、観測確率の種類、パラメータ、可変分布等を、モデル推定結果の出力結果として出力することができる。一方、最適化が終了していない候補がある場合、処理は、階層潜在構造設定部１０４による処理に進み、上述した同じ処理が実行される。

【0041】

図２は、階層潜在変数可変確率算出部１１０における情報の流れを示す概略図である。階層潜在変数可変確率算出部１１０は、正則化項設定部２０２と、最下位パス潜在変数可変確率算出部２０４と、階層設定部２０６と、正則化項算出部２０８と、上位パス潜在変数可変確率算出部２１０と、階層計算終了判定部２１２とを含む。一実施形態では、アルゴリズムは、階層潜在変数可変確率算出部１１０における情報の流れを実行するように構成され得る。例えば、アルゴリズムは、収束まで、潜在変数（例えば、ｑ（ｚ））を更新し、構成要素の数を更新し、ゲート関数の最適化パラメータ（例えば、ｄ、ｗ、ｇ^－及びｇ^＋等）及び局所回帰モデルのパラメータ（例えば、φ）を更新するように構成され得る。

【0042】

階層潜在変数可変確率算出部１１０は、正則化項設定部２０２を介して、局所モデルの階層潜在構造に関するデータを受信し、正則化項設定部２０２は、修正された正則化項を設定する。正則化項設定部２０２は、親ノードと同じブランチノードを有する現在のレベルの潜在変数可変確率の合計を算出するように構成され得る。また、正則化項設定部２０２は、その合計を、直上に位置する上位のパス潜在変数可変確率として設定できる。修正された正則化項には、正則化項が、Ａの導関数及び形状情報を用いて修正されたことを示すＡ（θ）の高次導関数（分布の形状情報を含む）が含まれ得る。特に、Ａ（θ）は、分布の形状に関する情報を含む、分布に関する全ての情報を含むような分配関数（partition function）とし得る。次いで、最下位パス潜在変数可変確率算出部２０４が、最下位パス潜在変数の可変確率を算出する。そして、階層設定部２０６が、データを整理（organize）し、修正済正則化項算出部２０８が、修正された正則化項を算出する。修正された正則化項は、上記数式２を含み得る。

【0043】

潜在変数ｑ（ｚ）の分布は、下記数式６を用いて更新することができる。具体的には、この数式は、先行のループ、すなわちｔ－１における潜在変数の分布の局所モデル推定のパラメータφから潜在変数の分布を更新することができる。数式６のパラメータは、上記数式１及び数式２で定義される。

【数6】

【0044】

次いで、上位パス潜在変数可変確率算出部２１０は、最上位パス潜在変数の可変確率を算出し、階層計算終了判定部２１２は、最上位パス潜在変数の算出された可変確率が最大化されたか判定する。最上位パス潜在変数の算出された可変確率が最大化されたと判定された場合、階層計算終了判定部２１２は、算出された可変確率を出力する。一方、最上位パス潜在変数の算出された可変確率が最大化されていない場合、算出された可変確率が最大化されたと判定されるまで、階層計算終了判定部２１２は、処理を繰り返すために、信号を階層設定部２０６に送信する。

【0045】

モデル推定装置の一例について説明する。具体的には、モデル推定装置を、運転手のリスクを評価する場面に適用した例である。上述したモデル推定装置を利用することにより、事故件数と運転手のリスクとの関係を分析し、運転手のリスクをより適切に評価することができる。さらに、モデル推定装置を利用することにより、得られた複数の関係、例えば、運転手のリスクと事故件数との関係、運転手のリスクと職業との関係、運転手のリスクと天候との関係、運転手のリスクと日付との関係等の切り替えルールを推定できる。運転手のリスクの予測は、複数の関係を推定するだけでなく、これらの複数の関係の切り替え方法を推定することが重要である。例えば、気温、時間及び曜日の少なくとも１つを説明変数とし、１時間後の運転手のリスクを応答変数とする仮定の多項式回帰式が各構成要素に適用された階層型潜在変数モデルについて検討する。ここで推定されるモデルは、階層潜在構造、回帰パラメータ、及び最下位パス潜在変数可変分布である。まず、データ入力装置１０２は、複数の異なる木構造を、階層潜在構造の候補として、説明変数及び応答変数のデータと共に、モデル推定装置に入力する。階層潜在構造設定部１０４は、入力された木構造を順次設定する。次いで、初期化部１０８は、初期化処理として、設定された階層潜在構造について回帰度及び他のパラメータをランダムに設定する。そして、このモデルは、階層潜在変数可変確率算出部１１０から最適化判定部１１８までの処理によって推定される。これらの処理により、異なる状況を表す複数の回帰モデルと、その切り替えルールが、自動的に得られる。異なる状況を表す複数の回帰モデルの例には、例えば、ラッシュアワーの交通量が発生する時間である９時頃を示す説明変数の大きな回帰係数を有する回帰モデルと、時刻を示すパラメータの小さな回帰係数を有する回帰モデルが含まれる。さらに、局所モデル最適化部１１４は、いずれの階層潜在構造が最適であるかを選択するように構成され得る。これにより、例えば、運転手の様々な電力消費パターンの数を自動的に検出し、最適なパターンの数と、それらの切り替えルールとの関係をモデル化することができる。

【0046】

図３Ａ及び図３Ｂは、例示的な実施形態に係るモデル推定方法を示すフローチャートを示す。ステップ３０２では、モデル推定装置１００が、データ入力部１０２を介して、局所モデルに関する入力を受信する。ステップ３０４では、階層潜在構造設定部１０４が、データを整理し、受信データに基づき、様々な潜在構造を生成する。ステップ３０６では、局所モデル設定部１０６は、入力を受信すると、局所モデルに対応する関数を決定する。ステップ３０８では、初期化部１０８が、推定のための初期化処理を実行する。ステップ３１０では、階層潜在変数可変確率算出部１１０が、局所モデルの情報に基づき、修正された正則化項を算出し、さらに、ステップ３１２において、修正された正則化項を用いて、潜在変数の可変確率を算出する。そして、ステップ３１４において、潜在変数可変確率が、ブランチ削除部１１２に送られる。

【0047】

ステップ３１６では、ブランチ削除部１１２が、潜在変数可変確率に基づき、潜在状態の数を算出及び設定する。ステップ３１８では、局所モデル最適化部１１４が、局所モデルの修正された正則化項に基づき、モデル推定のパラメータを最適化し、このパラメータは、１つの基準値を含む。ステップ３２０では、ゲーティング関数最適化部１１６が、局所モデルの修正された正則化項を用いて、局所モデル最適化部１１４から受信したパラメータを分類する。ステップ３２２では、最適化判定部１１８が、局所モデルの修正された正則化項を用いて、パラメータの基準値が収束したか判定する。最適化判定部１１８は、パラメータの基準値が収束したと判定した場合、ステップ３２４でモデル推定結果出力部１２０が、算出されたモデル推定の結果を出力する。一方、基準値が収束しない場合、最適化判定部１１８が、階層潜在変数可変確率算出部１１０に信号を送信し、基準値が収束するまで、ステップ３１０からの処理を繰り返す。

【0048】

本明細書における「装置」の語の使用は、特定の機能を実行するために協働する単一のコンピュータ装置又は相互に接続された複数のコンピュータ装置を意味すると理解することができる。換言すると、機能部は、単一のハードウェアユニットに含まれることが可能であり、または、いくつかの異なるハードウェアユニットに分散され得る。装置として動作可能な例示的なコンピュータ装置について、図４を参照して以下に説明する。

【0049】

図４は、図１のモデル推定装置１００を実現するのに適したコンピュータ装置又はコンピュータシステム４００の概略図を示す。コンピュータ装置４００に関する以下の説明は、例示であり、限定するものではない。

【0050】

図４に示すように、例示的なコンピュータ装置４００は、ソフトウェアルーチンを実行するプロセッサ４０４を含む。明確にするために、単一のプロセッサが示されているが、コンピュータ装置４００は、マルチプロセッサシステムを備えることもできる。プロセッサ４０４は、コンピュータ装置４００の他のコンポーネントと通信するための通信インフラストラクチャ４０６に接続される。通信インフラストラクチャ４０６は、例えば、通信バス、クロスバー、又はネットワークを含み得る。

【0051】

コンピュータ装置４００は、ランダムアクセスメモリ（ＲＡＭ）等の主記憶装置４０８と、補助記憶装置４１０とをさらに含む。補助記憶装置４１０は、例えば、ハードディスクドライブ４１２及び／又はリムーバブルストレージドライブ４１４等を含み、ハードディスクドライブ４１２は、ハードディスクドライブ、ソリッドステートドライブ又はハイブリッドドライブとすることができ、リムーバブルストレージドライブ４１４は、磁気テープドライブ、光ディスクドライブ、ソリッドステートストレージドライブ（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ又はメモリカード）を含み得る。リムーバブルストレージドライブ４１４は、周知の方法で取り外し可能な記憶媒体４１８を読み取り、及び／又は取り外し可能な記憶媒体４１８へ書き込む。取り外し可能な記憶媒体４１８は、磁気テープ、光ディスク、不揮発性記憶媒体等を含み、リムーバブルストレージドライブ４１４によって読み取られ、書き込まれる。当業者であれば、取り外し可能な記憶媒体４１８が、コンピュータが実行可能なプログラムコード命令及び／又はデータが格納されたコンピュータ可読記録媒体を含むことは、理解されるであろう。

【0052】

代替的な実施形態では、補助記憶装置４１０は、追加で又は代わりに、コンピュータプログラム又は他の命令をコンピュータ装置４００へロード可能な他の同様の手段を含み得る。そのような手段は、例えば、リムーバブルストレージユニット４２２及びインタフェース４２０を含み得る。リムーバブルストレージユニット４２２及びインタフェース４２０の例には、プログラムカートリッジ及びカートリッジインタフェース（ビデオゲームコンソール装置のプログラムカートリッジ及びカートリッジインタフェース等）、リムーバブルメモリチップ（ＥＰＲＯＭ又はＰＲＯＭ等）及び関連するソケット、リムーバブルソリッドステート（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ又はメモリカード等）、並びに、リムーバブルストレージユニット４２２からコンピュータシステム４００へのソフトウェア及びデータの転送を可能にする他のリムーバブルストレージユニット４２２及びインタフェース４２０が含まれる。

【0053】

また、コンピュータ装置４００は、少なくとも１つの通信インタフェース４２４を含む。通信インタフェース４２４は、ソフトウェア及びデータが、通信パス４２６を介して、コンピュータ装置４００と外部デバイスとの間で転送されることを可能にする。様々な実施形態では、通信インタフェース４２４は、コンピュータ装置４００と、データ通信ネットワーク、例えば、パブリックデータ通信ネットワーク又はプライベートデータ通信ネットワーク等との間におけるデータ転送を可能にする。通信インタフェース４２４は、異なる複数のコンピュータ装置４００の間で、データを交換するために使用され、そのようなコンピュータ装置４００は、相互接続されたコンピュータネットワークの一部を形成する。通信インタフェース４２４の例は、モデム、ネットワークインタフェース（イーサネットカード等）、通信ポート（シリアル、パラレル、プリンタ、ＧＰＩＢ、ＩＥＥＥ１３９４、ＲＪ４５、ＵＳＢ等）、関連する回路を備えたアンテナ等が含まれる。通信インタフェース４２４は、有線又は無線とし得る。通信インタフェース４２４を介して転送されるソフトウェア及びデータは、電子信号、電磁気信号、光信号、又は、通信インタフェース４２４によって受信可能な他の信号とすることができる。これらの信号は、通信パス４２６を介して通信インタフェースに提供される。

【0054】

図４に示すように、コンピュータ装置４００は、接続されたディスプレイ４３０に画像を描画する処理を実行するディスプレイインタフェース４０２と、接続されたスピーカ４３４を用いてオーディオコンテンツを再生する処理を実行するオーディオインタフェース４３２とをさらに含む。

【0055】

本明細書で使用される用語「コンピュータプログラム製品」は部分的に、取り外し可能な記憶媒体４１８、リムーバブルストレージユニット４２２、ハードディスクドライブ４１２にインストールされたハードディスク、又は、通信パス４２６（無線リンク又はケーブル）を介して通信インタフェース４２４へソフトウェアを送信する搬送波を意味し得る。コンピュータ可読記憶媒体は、記録された命令及び／又はデータを、実行及び／又は処理のためにコンピュータ装置４００に提供する様々な非一時的な有形の記憶媒体を意味する。このような記憶媒体の例には、コンピュータ装置４００の内部に有るか、又は外部に有るかに関わらず、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ハードディスクドライブ、ＲＯＭ若しくは集積回路、ソリッドステートドライブ（例えば、ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカード等）、ハイブリッドドライブ、光磁気ディスク、又は、ＰＣＭＣＩＡカード等のコンピュータ読み取り可能なカードが含まれる。ソフトウェア、アプリケーションプログラム、命令及び又はデータをコンピュータ装置４００へ提供可能な一時的な又は無形のコンピュータ可読な通信媒体の例には、無線通信チャネル又は赤外線通信チャネルの他、他のコンピュータ又はネットワーク装置へのネットワーク接続、電子メールによる通信を含むインターネット又はイントラネット、及び、ウェブサイトに記録された情報が含まれる。

【0056】

コンピュータプログラム（コンピュータプログラムコードとも称する）は、主記憶装置４０８及び／又は補助記憶装置４１０に格納される。コンピュータプログラムは、通信インタフェース４２４を介して受信され得る。そのようなコンピュータプログラムが実行されると、コンピュータ装置４００に対し、本明細書で説明した実施形態の１以上の機能を実行させることができる。様々な実施形態では、コンピュータプログラムが実行されると、プロセッサ４０４に対し、上述した実施形態の機能を実行させることができる。したがって、そのようなコンピュータプログラムは、コンピュータシステム４００の制御手段（コントローラ）に相当する。

【0057】

ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブルストレージドライブ４１４、ハードディスクドライブ４１２、又はインタフェース４２０を用いて、コンピュータ装置４００にロードされる。代替的に、コンピュータプログラム製品は、通信パス４２６を介してコンピュータシステム４００にダウンロードされ得る。ソフトウェアは、プロセッサ４０４によって実行されると、コンピュータ装置４００に対し、本明細書に記載の実施形態の機能を実行させる。

【0058】

図４の実施形態は、単なる例示であることに留意すべきである。したがって、いくつかの実施形態では、コンピュータ装置４００の１以上の機能を省略することができる。また、いくつかの実施形態では、コンピュータ装置４００の１以上の機能を組み合わせることができる。さらに、いくつかの実施形態では、コンピュータ装置４００の１以上の機能を、１以上の構成要素に分けることができる。

【0059】

図５は、例示的な実施形態に係る、図１に示すモデル推定装置の様々な機能部のための１つのユニットを実現する例示的なコンピュータ装置５００を示す。具体的には、コンピュータ装置５００は、データ入力部１０２と、階層潜在構造設定部１０４と、局所モデル設定部１０６と、初期化部１０８と、階層潜在変数可変確率算出部１１０と、ブランチ削除部１１２と、局所モデル最適化部１１４と、ゲーティング関数最適化部１１６と、最適化判定部１１８と、モデル推定結果出力部１２０とを実現することができる。

【0060】

例示的な実施形態では、図５に示す階層潜在変数可変確率算出部１１０はまた、データベース５０６と、正則化項設定モジュール５０８と、正則化項算出モジュール５１０と、階層潜在構造モジュール５１２と、階層潜在変数確率モジュール５１４とを含み得る。メモリ５０４は、コンピュータプログラムコードを保存し、プロセッサ５０２が、コンピュータプログラムコードをコンパイルして、データベース５０６、正則化項設定モジュール５０８、正則化項算出モジュール５１０、階層潜在構造モジュール５１２、及び階層潜在変数確率モジュール５１４のそれぞれに対し、それらの個別の機能を実行させる。図２を参照すると、データベース５０６は、修正された正則化項を格納するように構成される。正則化項設定モジュール５０８は、局所モデルの入力データに基づき、修正された正則化項を設定するように構成される。正則化項算出モジュール５１０は、修正された正則化項を算出するように構成され、階層潜在構造モジュール５１２は、初期化部１０８から局所モデルの階層潜在構造を受信するように構成される。階層潜在変数確率モジュール５１４は、算出された階層潜在変数確率をブランチ削除部１１２に送信するように構成される。

【0061】

上述したモデル推定システム及びモデル推定方法は、最適なモデル推定を提供することができ、また、入力変数と出力変数の間の複雑な関係を記述し、又は相関させることができる。

【0062】

当業者であれば、広範に説明した本発明の趣旨又は範囲から逸脱することなく、特定の実施形態で示された本発明に対する様々な変形及び／又は修正が可能であることは理解されるであろう。したがって、本実施形態は全ての点において、例示であり、限定するものでないと理解すべきである。

【0063】

例えば、上述した実施形態の全部又は一部は、以下の付記のように記載できるが、これらに限定されない。
（付記１）
モデル推定装置であって、
局所モデルに関する入力を受信すると、前記局所モデルに対応する関数を決定するように構成された局所モデル設定部と、
前記局所モデルの修正された正則化項に基づいて、モデル推定のパラメータを最適化するように構成された局所モデル最適化部とを含み、
前記修正された正則化項は、前記モデル推定のパラメータを最適化するための、受信した入力に関連する前記局所モデルの形状情報を用いて修正される、モデル推定装置。
（付記２）
前記修正された正則化項を用いて、潜在変数の可変確率を算出するように構成された可変確率算出部をさらに含む、付記１に記載のモデル推定装置。
（付記３）
前記潜在変数の可変確率に基づいて、潜在状態の数を算出及び設定するブランチ削除部をさらに含む、付記２に記載のモデル推定装置。
（付記４）
前記モデル推定のパラメータは、１つの基準値を含む、付記１に記載のモデル推定装置。
（付記５）
前記局所モデルの前記修正された正則化項を用いて、前記基準値が収束したか判定するように構成された最適化判定部をさらに含む、付記４に記載のモデル推定装置。
（付記６）
前記局所モデルを決定するように構成された階層潜在構造設定部をさらに含むことを特徴とする、付記１に記載のモデル推定装置。
（付記７）
前記局所モデルの前記修正された正則化項を用いて、前記モデル推定のパラメータを分類するように構成されたゲーティング関数最適化部をさらに含む、付記１に記載のモデル推定装置。
（付記８）
最適化判定部が、基準値が収束したと判定するまで、ループ処理が繰り返し実行され、
前記ループ処理では、可変確率算出部が潜在変数の可変確率を算出し、ブランチ削除部が潜在状態の数を算出及び設定し、前記局所モデル最適化部が潜在変数を最適化し、ゲーティング関数最適化部が前記モデル推定のパラメータを分類し、前記最適化判定部が、前記基準値が収束したか判定する、付記１～７のいずれか１項に記載のモデル推定装置。
（付記９）
可変確率算出部は、前記局所モデルに関する前記受信した入力に基づいて、前記修正された正則化項を算出する正則化項算出部を含む、付記１に記載のモデル推定装置。
（付記１０）
モデル推定方法であって、
局所モデルに関する入力を受信し、
前記入力を受信すると、前記局所モデルの決定に対応する関数を決定し、
前記局所モデルの修正された正則化項に基づいて、モデル推定のパラメータを最適化することを含み、
前記修正された正則化項は、前記モデル推定のパラメータを最適化するための、受信した前記入力に関連する前記局所モデルの形状情報を用いて修正される、方法。
（付記１１）
モデル推定のための前記モデル推定のパラメータは、１つの基準値を含む、付記１０に記載のモデル推定方法。
（付記１２）
前記修正された正則化項を用いて、潜在変数の可変確率を算出し、
前記潜在変数の前記可変確率に基づいて、潜在状態の数を算出及び設定し、
前記局所モデルの修正された正則化項を用いて、前記モデル推定のパラメータを分類し、
前記局所モデルの修正された正則化項を用いて、基準値が収束したか判定することをさらに含む、付記１０又は１１に記載のモデル推定方法。
（付記１３）
前記基準値が収束するまで、ループ処理が繰り返し実行され、
前記ループ処理では、潜在変数の可変確率が算出され、潜在状態の数が算出及び設定され、前記モデル推定のパラメータが最適化され、前記モデル推定のパラメータが分類され、基準値が収束したか判定される、付記１０～１２のいずれか１項に記載のモデル推定方法。
（付記１４）
前記局所モデルの情報に基づいて、前記修正された正則化項を算出することをさらに含む、付記１０～１３のいずれか１項に記載のモデル推定方法。

【0064】

本出願は、２０２０年４月１３日に出願されたシンガポール特許出願第１０２０２００３３７３Ｓ号に基づき、その優先権を主張し、当該特許出願の開示は、参照により、その全体が本明細書に組み込まれる。

【符号の説明】

【0065】

１００ 装置
１０２ データ入力部
１０４ 階層潜在構造設定部
１０６ 局所モデル設定部
１０８ 初期化部
１１０ 階層潜在変数可変確率算出部
１１２ ブランチ削除部
１１４ 局所モデル最適化部
１１６ ゲーティング関数最適化部
１１８ 最適化判定部
１２０ モデル推定結果出力部
２００ 概略図
２０２ 正則化項設定部
２０４ 最下位パス潜在変数可変確率算出部
２０６ 階層設定部
２０８ 正則化項算出部
２１０ 上位パス潜在変数可変確率算出部
２１２ 階層計算終了判定部
４００ 装置
４０２ ディスプレイインタフェース
４０４ プロセッサ
４０６ 通信インフラ
４０８ 主記憶装置
４１０ 補助記憶装置
４１２ ハードディスクドライブ
４１４ リムーバブルストレージドライブ
４１８ 取り外し可能な記憶媒体
４２０ インタフェース
４２２ リムーバブルストレージユニット
４２４ 通信インタフェース
４２６ 通信パス
４３０ ディスプレイ
４３２ オーディオインタフェース
４３４ スピーカ
５００ 装置
５０２ プロセッサ
５０４ メモリ
５０６ データベース
５０８ 正則化項設定モジュール
５１０ 正則化項算出モジュール
５１２ 階層潜在構造モジュール
５１４ 階層潜在変数可変確率算出モジュール

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】