特許 7435749 推定プログラム、推定方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】推定プログラム、推定方法および情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240214BHJP

【ＦＩ】

G06N20/00

【請求項の数】 6

(21)【出願番号】P 2022514299

(86)(22)【出願日】2020-04-10

(86)【国際出願番号】 JP2020016212

(87)【国際公開番号】W WO2021205669

(87)【国際公開日】2021-10-14

【審査請求日】2022-07-14

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】鎌田 裕一

(72)【発明者】

【氏名】中川 章

(72)【発明者】

【氏名】加藤 圭造

【審査官】児玉 崇晶

(56)【参考文献】

【文献】Keizo Kato et al.，Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space [online]，arXiv，[検索日 2023.08.31]，2020年03月03日，Internet: <URL:https://arxiv.org/pdf/1910.04329v2.pdf>

【文献】上原雅俊 ほか，生成モデルを利用したX線写真に対する異常検知の試行と考察 [online]，人工知能学会第二種研究会資料，2016年11月09日，2016巻 AIMED-002号，pp.10-1～10.5，[検索日 2023.08.31] Internet: <https://www.jstage.jst.go.jp/article/jsaisigtwo/2016/AIMED-002/2016_10/_article/-char/ja>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

符号化部と復号化部とを有する訓練済みの変分オートエンコーダに入力データを入力し、
前記入力に応じて前記訓練済みの変分オートエンコーダにより生成される潜在変数の確率分布を、前記符号化部から出力される標準偏差の大きさに基づいて、前記潜在変数から主成分座標への変換処理によって、第１の確率分布に変換し、
前記入力データに関する前記復号化部の出力誤差に基づき、前記第１の確率分布を第２の確率分布に変換し、
前記入力データの確率分布の推定値として、前記第２の確率分布を出力する、
処理をコンピュータに実行させることを特徴とする推定プログラム。

【請求項2】

前記変換処理は、
前記符号化部から前記潜在変数の確率分布の分布パラメータである前記標準偏差と平均とを取得する処理と、
前記主成分座標と前記潜在変数との間のスケールの変化率を、前記標準偏差の大きさを用いて算出する処理と、
前記標準偏差と前記平均と前記変化率とを用いて前記潜在変数を前記主成分座標へ変換する処理と、
を含むことを特徴とする請求項１に記載の推定プログラム。

【請求項3】

前記第２の確率分布に変換する処理は、
前記第１の確率分布における主成分以外の確率分布を定数に設定し、入力データの前記スケールを設定する正規分布に従う前記出力誤差を用いて、前記第１の確率分布を第２の確率分布に変換する処理
を含むことを特徴とする請求項２に記載の推定プログラム。

【請求項4】

前記入力データから生成された前記第２の確率分布に基づいて、特定の割合を占める確率が下位のデータを異常データ、または、前記第２の確率分布に基づいて、閾値以下の確率であるデータを異常データ、として検出する処理
を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の推定プログラム。

【請求項5】

符号化部と復号化部とを有する訓練済みの変分オートエンコーダに入力データを入力し、
前記入力に応じて前記訓練済みの変分オートエンコーダにより生成される潜在変数の確率分布を、前記符号化部から出力される標準偏差の大きさに基づいて、前記潜在変数から主成分座標への変換処理によって、第１の確率分布に変換し、
前記入力データに関する前記復号化部の出力誤差に基づき、前記第１の確率分布を第２の確率分布に変換し、
前記入力データの確率分布の推定値として、前記第２の確率分布を出力する、
処理をコンピュータが実行することを特徴とする推定方法。

【請求項6】

符号化部と復号化部とを有する訓練済みの変分オートエンコーダに入力データを入力し、
前記入力に応じて前記訓練済みの変分オートエンコーダにより生成される潜在変数の確率分布を、前記符号化部から出力される標準偏差の大きさに基づいて、前記潜在変数から主成分座標への変換処理によって、第１の確率分布に変換し、
前記入力データに関する前記復号化部の出力誤差に基づき、前記第１の確率分布を第２の確率分布に変換し、
前記入力データの確率分布の推定値として、前記第２の確率分布を出力する、
処理を実行する制御部を含むことを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、確率分布の推定技術に関する。

【背景技術】

【0002】

データ解析において、オートエンコーダなどを用いて、複雑な多次元データから低次元の特徴量を抽出し、特徴量を用いてデータ解析を実行することが行われている。例えば、ベルトコンベアーを流れる製品の画像の特徴量を抽出し、流れてくる製品から不良品を検出することなどが行われている。

【0003】

近年では、潜在変数を確率分布として学習する変分オートエンコーダ（ＶＡＥ：Variational Autoencoder）を用いたデータ解析が利用されている。例えば、ＶＡＥは、符号化部と復号化部とを有し、潜在変数が入力される復号化部の出力を用いて計算される再構成誤差の期待値と、特徴量を入力する符号化部の出力を用いて計算される潜在変数の確率分布の正規化誤差とを最小化するように、符号化部と復号化部のパラメータの機械学習が実行される。このようにして学習（訓練）されたＶＡＥに、複数の検出対象データを入力して異常データ（アノマリデータ）の検出が行われる。

【先行技術文献】

【非特許文献】

【0004】

【文献】Diederik P．Kingma，Max Welling，“Auto－Encoding Variational Bayes”，ICLR 2014.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記ＶＡＥでは、単変数独立の正規分布を仮定しており、得られた潜在空間の確率分布が実空間の分布を反映する保証がない。このため、判定対象データを訓練済みのＶＡＥに入力し、符号化部の出力を用いて入力データの確率分布を推定して、異常データを検出する場合、推定結果が保証できず、異常検出の精度が高くない。

【0006】

なお、潜在変数の情報エントロピーを最小化するRate－Distortion理論を応用したオートエンコーダを用いることも考えられる。このようなオートエンコーダを用いた場合、潜在空間の確率分布と実空間データの確率分布とほぼ同一になる。しかし、実空間の確率分布の形状が複雑である場合に、それと同一となるように設計する潜在空間の確率分布も、複数のパラメトリックな確率分布を混合させるなどの複雑な形状で表現する必要があるので、精度を高くするためにはコストが増大となり、現実的ではない。

【0007】

一つの側面では、入力データの異常検出の精度を向上することができる推定プログラム、推定方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の案では、推定プログラムは、符号化部と復号化部とを有する訓練済みの変分オートエンコーダに入力データを入力し、前記入力に応じて前記訓練済みの変分オートエンコーダにより生成される潜在変数の確率分布を、前記符号化部から出力される標準偏差の大きさに基づき、第１の確率分布に変換する処理をコンピュータに実行させる。推定プログラムは、前記入力データに関する前記復号化部の出力誤差に基づき、前記第１の確率分布を第２の確率分布に変換する処理をコンピュータに実行させる。推定プログラムは、前記入力データの確率分布の推定値として、前記第２の確率分布を出力する処理をコンピュータに実行させる。

【発明の効果】

【0009】

一つの側面では、入力データの異常検出の精度を向上することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施例１にかかる情報処理装置を説明する図である。

【図2】図２は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図3】図３は、ＶＡＥの構成および機械学習を説明する図である。

【図4】図４は、入力データの確率分布の算出を説明する図である。

【図5】図５は、入力データと各変数の対応を説明する図である。

【図6】図６は、学習処理の流れを示すフローチャートである。

【図7】図７は、検出処理の流れを示すフローチャートである。

【図8】図８は、検証用に人工的に生成した入力データを説明する図である。

【図9】図９は、参考技術を用いた異常検出結果を説明する図である。

【図10】図１０は、実施例１を用いた異常検出結果を説明する図である。

【図11】図１１は、ＶＡＥの別例を説明する図である。

【図12】図１２は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0011】

以下に、本発明にかかる推定プログラム、推定方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【0012】

図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、ＶＡＥを用いて生成したモデルに実空間の入力データを入力し、ＶＡＥの符号化器によって推定した潜在変数の事後分布パラメータを用いて、事前確率を入力データの生成確率とほぼ同一となるよう補正する。このようにして、情報処理装置１０は、ＶＡＥにより抽出された潜在空間の確率分布から入力データの確率分布を推定し、入力データの異常検出の精度向上を図るコンピュータ装置である。

【0013】

具体的には、情報処理装置１０は、訓練データを用いて、符号化部と復号化部を有するＶＡＥの機械学習を実行し、訓練済みのＶＡＥを適用したモデルを生成する。そして、情報処理装置１０は、訓練データと同じドメインの入力データをモデルの符号化部に入力して、モデルの復号化部から復元された入力データを取得する。

【0014】

ここで、情報処理装置１０は、ＶＡＥの符号化部から出力される潜在変数の確率分布を、符号化部の出力の標準偏差の大きさに基づいて第１の確率分布に変換する。さらに、情報処理装置１０は、ＶＡＥの復号化部の出力誤差に基づいて第１の確率分布を第２の確率分布に変換し、入力データの確率分布の推定値として、第２の確率分布を出力する。

【0015】

このようにして、情報処理装置１０は、生成された第２の確率分布に基づいて、特定の割合を占める確率が下位のデータを異常データ（アノマリデータ）として検出する。また、情報処理装置１０は、第２の確率分布に基づいて、複数の入力データのうち閾値以下の確率であるデータを異常データとして検出しても良い。

【0016】

図２は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図２に示すように、情報処理装置１０は、通信部１１、表示部１２、記憶部１３、制御部２０を有する。

【0017】

通信部１１は、他の装置の間の通信を制御する。例えば、通信部１１は、管理者の端末から機械学習の開始指示や各種データを受信し、機械学習の結果や異常検出の結果などを管理者の端末に送信する。

【0018】

記憶部１３は、各種データや制御部２０が実行するプログラムなどを記憶する。例えば、記憶部１３は、訓練データ１４、入力データ１５、モデル１６などを記憶する。

【0019】

訓練データ１４は、ＶＡＥの機械学習に利用される訓練データであり、同じドメインに属するデータである。例えば、ベルトコンベアーを流れる製品から不良品を検出するモデルを生成する場合、訓練データ１４としては、製品の画像データなどが該当する。

【0020】

入力データ１５は、生成されたモデルに入力される各データであり、異常か否かの判定対象となるデータである。上記例で説明すると、製品の画像データを訓練データ１４に用いてＶＡＥの機械学習が実行された場合、入力データ１５としては、ベルトコンベアーに流れる製品の画像などが該当する。

【0021】

モデル１６は、制御部２０によって生成されるモデルである。具体的には、モデル１６は、訓練データ１４を用いた機械学習により訓練されたＶＡＥを適用したモデルである。

【0022】

制御部２０は、情報処理装置１０全体を司る処理部であり、学習部２１と検出部２２を有する。学習部２１は、訓練データ１４を用いてＶＡＥの機械学習を実行して、モデル１６を生成する処理部である。この学習部２１は、後述する図３に示した機械学習により訓練されたＶＡＥを適用したモデル１６を生成して記憶する１３に格納する。

【0023】

図３は、ＶＡＥの構成および機械学習を説明する図である。図３に示すように、ＶＡＥは、符号化部２１ａ（ｆ_φ（ｘ））、雑音生成部２１ｂ、復号化部２１ｃ（ｇ_φ（ｚ））、推定部２１ｄ（Ｒ）、最適化部２１ｅ（θ，φ）を有する。

【0024】

ここで、ＶＡＥの機械学習について説明する。符号化部２１ａは、ドメインＤに属する訓練データｘが入力されると、訓練データｘの特徴を圧縮してＮ次元の正規分布の平均μ_（ｘ）と標準偏差σ_（ｘ）とを出力する。そして、雑音生成部２１ｂは、平均０、標準偏差Ｉに従うＮ次元のノイズεを生成する。

【0025】

雑音生成部２１ｂにより生成されたノイズεに標準偏差σ_（ｘ）を乗じた値を平均μ_（ｘ）に混入させることによって、標準偏差σ_（ｘ）と平均μ_（ｘ）とに従う正規分布から、サンプリングにより復号化部２１ｃに入力する潜在変数ｚが決定される。そして、復号化部２１ｃは、訓練データｘの特徴ベクトルに該当する潜在変数ｚを用いて、訓練データｘを復号した再構成データを生成する。

【0026】

その後、推定部２１ｄは、符号化部２１ａから出力される平均μ_（ｘ）と標準偏差σ_（ｘ）を用いて、訓練データｘから計算した潜在変数ｚの確率分布と潜在変数ｚの事前確率分布との誤差である正規化誤差Ｒを推定する。そして、最適化部２１ｅは、推定部２１ｄにより推定される正規化誤差Ｒを最小化するとともに、訓練データｘと再構成データとの誤差である再構成誤差を最小化するように、符号化部２１ａの各パラメータと復号化部２１ｃの各パラメータの調整（機械学習）を実行する。

【0027】

図２に戻り、検出部２２は、モデル１６を用いて、入力データから異常データを検出する。具体的には、検出部２２は、ＶＡＥによってドメインの訓練データを学習した符号化部２１ａを用いて、ドメインの入力データを潜在変数の確率分布のパラメータに変換し、変換したパラメータを利用して入力データの生成確率を計算する。すなわち、検出部２２は、ドメインにおける各入力データの確率分布を、訓練済みのＶＡＥで抽出した潜在変数の確率分布から推定し、推定結果を用いて異常データを検出する。

【0028】

まず、検出部２２は、ＶＡＥで同定した潜在変数の確率分布から、入力データ（ｘ）の確率分布ｐ（Ｘ）を計算する。図４は、入力データの確率分布の算出を説明する図である。図４に示すように、訓練時も検出時も、入力データ（ｘ）は、一旦、明示されていない主成分座標ｙに変換された後、スケールが適宜変更されて潜在変数ｚに変換されると仮定することができる。

【0029】

具体的には、入力データ（ｘ）に対して、正規直交変換のようなカルーネン・レーベ展開（KLT：Karhunen－Loeve Expansion））および主成分分析（PCA：Principal Component Analysis）を実行することにより、分散が大きい主成分の確率分布（ｐ（ｙ_１））から分散が小さい主成分の確率分布（ｐ（ｙ_ｍ））が生成される。その後、各分散に対応する確率分布を正規分布の潜在変数に変換する際に、分散が等しくなるようにスケール調整が行われると仮定する。例えば、分散が大きい主成分の確率分布（ｐ（ｙ_１））から変換される潜在変数の確率分布（ｐ（ｚ_１））も、分散が小さい主成分の確率分布（ｐ（ｙ_ｍ））から変換される潜在変数の確率分布（ｐ（ｚ_ｍ））も、同じ分散となるようにスケールが調整される。

【0030】

このような仮定に従うと、図４の（ａ）に示すように、潜在変数の確率分布ｐ（ｚ）を逆変換することで、主成分の確率分布ｐ（ｙ）を生成することができる。そして、図４の（ｂ）に示すように、この主成分の確率分布ｐ（ｙ）をさらに逆変換することで、入力データ（ｘ）の確率分布ｐ（Ｘ）を生成することができる。

【0031】

さらに、検出部２２は、入力データから推定した潜在変数での確率密度を、ＶＡＥの符号化部２１ａから出力される標準偏差により補正する。仮定した主成分の確率分布（ｐ（ｙ））から潜在変数ｚの確率分布（ｐ（ｚ））へ変換するときにスケールが変化する場合、変換後の確率密度はスケールに比例して変化する。

【0032】

図５は、入力データと各変数の対応を説明する図である。図５は、図４に示した変換過程の１つを選択して表示したものであり、入力データから潜在変数ｚの確率分布（ｐ（ｚ））への変換を図示している。図５に示すように、入力データ（ｘ）から特徴量（平均μ_（ｘ）、標準偏差σ_（ｘ））が生成されるが、変換過程において、このうちの平均μ_（ｘ）の潜在空間における確率分布（ｐ（μ_（ｘ）））は正規分布上に対応付けられる。

【0033】

一方で、標準偏差σ_（ｘ）はデータに混入されたノイズの大きさを表していることから、スケールが変化するとノイズを表す標準偏差σ_（ｘ）も変化する。つまり、入力データに混入されたノイズは既知（一定の分布）であるとすれば、スケールの変化率は、ＶＡＥの符号化部２１ａから出力される標準偏差σ_（ｘ）の大きさに現れる。そこで、検出部２２は、最適化式の正規化項の係数βを用いて、変換スケールを式（１）のように定義する。これらの結果、入力データ（ｘ）の確率分布ｐ（Ｘ）は、式（２）で表すことができる。つまり、確率分布ｐ（Ｘ）は、サンプリング確率の一例であり、各入力データ（ｘ）が従う生成確率の分布である。

【0034】

【数1】

【数2】

【0035】

なお、式（２）では、ｍ個の主成分を用いた式を例示しているが、標準偏差σ_（ｘ）の－２乗の平均値「σ_（ｘ） ^－２のバー」は、各主成分でのデータ分散（固有値）と対応するので、どの主成分の分散が大きいのかの順番を特定することができる。したがって、所定次元に圧縮するときには、圧縮効果の高い主成分を選択することができる。

【0036】

ここで、式（２）における項目Ａは、主成分以外での確率であり、一定値（平均μ_（ｘ）＝０、標準偏差σ_（ｘ）＝１）となり、項目Ｂは、主成分での確率に対応する。つまり、図４で示した変換の仮定において、例えばｐ（ｙ_ｍ）のように分散が小さい主成分の確率分布などは、主成分が分散しないので定数として扱う。

【0037】

したがって、式（３）に示すように、入力データ（ｘ）の確率分布ｐ（Ｘ）はスケールの比例として表現できる。なお、式（３）における項目Ｃは、再構成誤差のスケールであり、再構成誤差に正規分布を仮定した場合に式（４）で定義できる。つまり、入力データ（ｘ）の確率分布ｐ（Ｘ）は、式（３）の項目Ｄで定義でき、潜在変数のσ_（ｘ）によって潜在変数の確率分布を入力データの生成確率を反映するように補正することできる。

【0038】

【数3】

【数4】

【0039】

ここで、上述した入力データの確率分布の算出処理を詳細に説明する。具体的には、ＶＡＥと同様に、ｍ次元のドメインの入力データｘに対する潜在変数ｚの確率分布ｑ_φ（ｚ｜ｘ）をｍ次元ガウス分布Ｎ（μ_（ｘ），σ_（ｘ））とし、そのパラメータμ（ｘ），σ（ｘ）を符号化部２１（ｆ_φ（ｘ））で同定する。そして、同定した分布からサンプリングした式（５）に示す潜在変数ｚを用いて、式（６）に示すように再構成データを復号化部２１ｃ（ｇ_φ（ｚ））で推定する。また、符号化部２１ａと復号化部２１ｃの各パラメータは、式（７）を最小化する機械学習により最適化される。

【0040】

【数5】

【数6】

【数7】

【0041】

その後、検出部２２は、獲得したｚについて、式（８）を満たすｚをｎ個（ｎ次元）、または、学習した入力データについて符号化部２１ａの出力の標準偏差σ_（ｘ）の－２乗の平均値を計算して大きい順にｎ個を抽出する。そして、検出部２２は、ドメインの入力データ（ｘ）を符号化部２１ａ（ｆ_φ（ｘ））で分布パラメータ（μ_（ｘ），σ_（ｘ））に変換し、式（９）により入力データ（ｘ）の生成確率ｐ（ｘ）を推定する。つまり、生成確率ｐ（ｘ）は、各々の入力データ（ｘ）に対する生成確率であり、各入力データ（ｘ）が、式（２）の確率分布ｐ（Ｘ）に従うと定義できる結果、各入力データの生成確率ｐ（ｘ）は、式（９）で定義できる。したがって、１つの入力データに対して、１つの生成確率ｐ（ｘ）が計算され、それらが複数集まることで確率分布ｐ（Ｘ）が構成される。

【0042】

【数8】

【数9】

【0043】

そして、検出部２２は、複数の入力データ１５に対して、式（９）を用いて計算した生成確率のデータから、例えば全体の１０％のように一定割合の下位データを異常データとして検出する。

【0044】

次に、学習処理の流れを説明する。ここでは、訓練データ１４を訓練データｘとして説明する。図６は、学習処理の流れを示すフローチャートである。図６に示すように、学習部２１は、訓練データｘを符号化部２１ａに入力し、符号化部２１ａにより訓練データｘを符号化し、潜在変数ｚの分布パラメータ（μ_（ｘ），σ_（ｘ））を取得する（Ｓ１０１）。

【0045】

続いて、学習部２１は、所定数の潜在変数ｚをサンプリングしてＮ次元のデータを生成する（Ｓ１０２）。そして、学習部２１は、Ｎ次元のデータを復号化部２１ｃ（ｇ_φ（ｚ））に入力して訓練データｘを復号化したデータを取得する（Ｓ１０３）。

【0046】

その後、学習部２１は、推定部２１ｄにより推定される正規化誤差Ｒと、訓練データｘと再構成データとの誤差である再構成誤差Ｅとを用いた学習コストを算出し（Ｓ１０４）、学習コストが小さくなるように、符号化部２１ａと復号化部２１ｃの各パラメータ（θ，φ）を更新する（Ｓ１０５）。

【0047】

その後、機械学習が収束していない場合（Ｓ１０６：Ｎｏ）、次の訓練データ１４についてＳ１０１以降が繰り返される。一方、学習部２１は、機械学習が収束した場合（Ｓ１０６：Ｙｅｓ）、機械学習が完了したＶＡＥを適用したモデル１６を生成する。なお、学習部２１は、学習回数が閾値以上となった場合や復元誤差が閾値以下となった場合に、機械学習が収束したと判定することができる。

【0048】

次に、検出処理の流れを説明する。ここでは、入力データ１５を入力データ（ｘ）として説明する。図７は、検出処理の流れを示すフローチャートである。図７に示すように、検出部２２は、入力データ（ｘ）を読込み（Ｓ２０１）、入力データ（ｘ）を訓練済みのＶＡＥの符号化部２１ａに入力して符号化し、潜在変数ｚの分布パラメータ（μ_（ｘ），σ_（ｘ））を取得する（Ｓ２０１）。

【0049】

続いて、検出部２２は、取得した分布パラメータ（μ_（ｘ），σ_（ｘ））をもとに、式（９）を用いて入力データ（ｘ）の生成確率ｐ（ｘ）を算出する（Ｓ２０２）。ここで、検出部２２は、未処理の入力データ（ｘ）が存在する場合（Ｓ２０４：Ｎｏ）、次の入力データ（ｘ）についてＳ２０１以降を繰り返す。

【0050】

そして、検出部２２は、全ての入力データ（ｘ）について処理が完了すると（Ｓ２０４：Ｙｅｓ）、生成確率ｐ（ｘ）が低い順に、一定割合の入力データ（ｘ）を異常データと検出する（Ｓ２０５）。

【0051】

上述したように、情報処理装置１０は、ＶＡＥの符号化部２１ａから出力される標準偏差を用いて、入力データの確率分布を推定することができる。したがって、情報処理装置１０は、潜在空間の確率分布が実空間の分布を反映することを保証でき、ＶＡＥの符号化部２１ａの出力を用いた高精度の異常検出を実行することができる。また、情報処理装置１０は、異常検出（アノマリ検出）など、実ドメインでの確率分布を扱うタスクにおいて、実ドメインのデータが潜在的に単変数のガウス分布で表せる場合に、複雑な分布を用いることなく、入力データの異常検出を実行することができ、計算コストを低減することができる。入力データは、例えば、画像データや音声データであっても良い。

【0052】

ここで、人工的に生成した入力データを用いた検証を説明する。ここでは、式（８）により入力データの生成確率ｐ（ｘ）を推定する実施例１と、ＶＡＥの潜在空間をそのまま用いて入力データの生成確率（ｐ（μ_（ｘ））を推定する参考技術とのそれぞれの検証結果を説明する。図８は、検証用に人工的に生成した入力データを説明する図であり、図９は、参考技術を用いた異常検出結果を説明する図であり、図１０は、実施例１を用いた異常検出結果を説明する図である。

【0053】

図８に示すように、確率密度関数（PDF：Probability Density Function）にしたがった３つのデータを用いて入力データを生成する。例えば、ＰＤＦが「０から１」の範囲となるｐ（Ｓ_１）に属する変数と、ＰＤＦが「（ルート２）／４」となるｐ（Ｓ_２）に属する変数と、ＰＤＦが「（ルート３）／６から０」となるｐ（Ｓ_３）に属する変数とを乗算した３次元の入力データを生成する。

【0054】

そして、複数の入力データに対して、参考技術を用いて入力データの生成確率布を推定した結果を図９であり、実施例１を用いて入力データの生成確率を推定した結果を図１０である。図９の横軸は生成確率ｐ（ｘ）であり、縦軸は推定確率（ｐ（μ_（ｘ）））である。図１０の横軸は式（９）で算出される生成確率ｐ（ｘ）であり、縦軸は式（３）で算出される推定確率である。図９に示すように、参考技術では、入力データの生成確率が分散してしまい、異常と検出する範囲を判定することが難しく、異常検出の精度は高くない。一方で、図１０に示すように、実施例１では、入力データの生成確率が線形となり、生成確率が低い一定割合を正確に特定して異常と検出することができるので、異常検出の精度が向上している。

【0055】

上記実施例で用いた数値、データ、次元数等は、あくまで一例であり、任意に変更することができる。また、ＶＡＥを機械学習する装置と、異常検知を実行する装置とを別々の装置で実現することもできる。

【0056】

また、ＶＡＥは、図３に示した構成以外にも、例えばRate－Distortion理論を応用したＶＡＥの構成などを採用することもできる。図１１は、ＶＡＥの別例を説明する図である。図１１に示すように、Rate－Distortion理論を応用したＶＡＥは、符号化部２１ａ、雑音生成部２１ｂ、復号化部２１ｃ－１、復号化部２１ｃ－２、推定部２１ｄ、最適化部２１ｅを有する。

【0057】

符号化部２１ａは、ドメインＤに属する訓練データｘが入力されると、訓練データｘの特徴を圧縮してＮ次元の正規分布の平均μ_（ｘ）と標準偏差σ_（ｘ）を出力する。復号化部２１ｃ－１は、符号化部２１ａから出力される平均μ_（ｘ）を用いて入力データを復号した再構成データを生成する。復号化部２１ｃ－２は、雑音生成部２１ｂが生成したノイズεが標準偏差σ_（ｘ）に混入された後、ノイズεを含む標準偏差σ_（ｘ）と平均μ_（ｘ）とを用いて、入力データを復号した再構成データを生成する。

【0058】

その後、推定部２１ｄは、符号化部２１ａから出力される平均μ_（ｘ）と標準偏差σ_（ｘ）を用いて、訓練データ（ｘ）の確率分布と潜在変数ｚの確率分布との正規化誤差Ｒを推定する。そして、最適化部２１ｅは、推定部２１ｄにより推定される正規化誤差Ｒを最小化するとともに、復号化部２１ｃ－１が生成した再構成データと入力データとの誤差である再構成誤差Ｄ１および復号化部２１ｃ－１が生成した再構成データと復号化部２１ｃ－２が生成した再構成データとの誤差である再構成誤差Ｄ２を最小化するように、符号化部２１ａと各復号化部の各パラメータの調整（機械学習）を実行する。

【0059】

なお、機械学習が完了した後は、実施例１と同様の手法により、訓練済みのＶＡＥを用いて、入力データの確率分布を推定することができる。

【0060】

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0061】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0062】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0063】

次に、情報処理装置１０のハードウェア構成例を説明する。図１２は、ハードウェア構成例を説明する図である。図１２に示すように、情報処理装置１０は、通信装置１０ａ、表示装置１０ｂ、ＨＤＤ（Hard Disk Drive）１０ｃ、メモリ１０ｄ、プロセッサ１０ｅを有する。また、図１２に示した各部は、バス等で相互に接続される。

【0064】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。表示装置１０ｂは、学習結果、検出結果などを表示する装置であり、例えばタッチパネルやディスプレイなどである。ＨＤＤ１０ｃは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

【0065】

プロセッサ１０ｅは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｃ等から読み出してメモリ１０ｄに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｅは、学習部２１と検出部２２等と同様の機能を有するプログラムをＨＤＤ１０ｃ等から読み出す。そして、プロセッサ１０ｅは、学習部２１と検出部２２等と同様の処理を実行するプロセスを実行する。

【0066】

このように、情報処理装置１０は、プログラムを読み出して実行することで推定方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【符号の説明】

【0067】

１０ 情報処理装置
１１ 通信部
１２ 表示部
１３ 記憶部
１４ 訓練データ
１５ 入力データ
１６ モデル
２０ 制御部
２１ 学習部
２２ 検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】