特開2024-49515 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧

特開2024-49515サンプリングプログラム、サンプリング方法、および情報処理装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024049515

(43)【公開日】2024-04-10

(54)【発明の名称】サンプリングプログラム、サンプリング方法、および情報処理装置

(51)【国際特許分類】

G06N 20/10 20190101AFI20240403BHJP

【ＦＩ】

G06N20/10

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022155772

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】市川佑馬

(57)【要約】

【課題】互いに独立と見なせる有効なサンプルの生成効率を向上させる。
【解決手段】情報処理装置１０は、データ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有する機械学習モデル１を用いて、潜在空間内の第１のデータ４をデータ空間内の第２のデータ５に変換する。次に情報処理装置１０は、データ空間内の採択済みの第１のサンプル６からのマルコフ連鎖モンテカルロ法における遷移先として第２のデータ５を採択するか否かを、変換規則に基づく採択確率で判断する。そして情報処理装置１０は、採択すると判断した場合、第２のデータ５を、第１のサンプル６からの遷移先の第２のサンプル７として出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

データ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有する機械学習モデルを用いて、前記潜在空間内の第１のデータを前記データ空間内の第２のデータに変換し、
前記データ空間内の採択済みの第１のサンプルからのマルコフ連鎖モンテカルロ法における遷移先として前記第２のデータを採択するか否かを、前記変換規則に基づく採択確率で判断し、
採択すると判断した場合、前記第２のデータを、前記第１のサンプルからの遷移先の第２のサンプルとして出力する、
処理をコンピュータに実行させるサンプリングプログラム。

【請求項2】

前記第２のデータに変換する処理では、前記機械学習モデルとしてＶＡＥ（Variational AutoEncoder）を用い、前記ＶＡＥのデコーダによって前記第１のデータをデコードすることで前記第２のデータに変換する、
請求項１記載のサンプリングプログラム。

【請求項3】

前記第２のデータを採択するか否かを判断する処理では、
前記ＶＡＥのエンコーダによって前記第１のサンプルをエンコードして第１の平均値と第１の分散値と第１の計量テンソルを計算し、
前記ＶＡＥの前記エンコーダによって前記第２のデータをエンコードして第２の平均値と第２の分散値と第２の計量テンソルを計算し、
第１の平均値、第１の分散値、第１の計量テンソル、第２の平均値、第２の分散値、および第２の計量テンソルに基づいて、前記採択確率を計算する、
請求項２記載のサンプリングプログラム。

【請求項4】

前記第２のサンプルを用いて前記機械学習モデルの学習を実行する、
処理をコンピュータにさらに実行させる請求項１から３までのいずれかに記載のサンプリングプログラム。

【請求項5】

前記第２のデータに変換する処理、前記第２のデータを採択するか否かを判断する処理、および前記第２のデータを前記第２のサンプルとして採択する処理を含むサンプリング処理を、複数のプロセッサそれぞれで並列実行し、
前記複数のプロセッサそれぞれで採択した前記第２のサンプルを用いて前記機械学習モデルの学習を実行する、
処理をコンピュータにさらに実行させる請求項１から３までのいずれかに記載のサンプリングプログラム。

【請求項6】

【請求項7】

データ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有する機械学習モデルを用いて、前記潜在空間内の第１のデータを前記データ空間内の第２のデータに変換し、前記データ空間内の採択済みの第１のサンプルからのマルコフ連鎖モンテカルロ法における遷移先として前記第２のデータを採択するか否かを、前記変換規則に基づく採択確率で判断し、採択すると判断した場合、前記第２のデータを、前記第１のサンプルからの遷移先の第２のサンプルとして出力する処理部、
を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、サンプリングプログラム、サンプリング方法、および情報処理装置に関する。

【背景技術】

【0002】

コンピュータによるサンプリングによって、数式で明示的に与えられた確率分布ｐ（ｘ）から、具体的なサンプルを得ることができる。サンプリングの手法の一つにマルコフ連鎖モンテカルロ法（ＭＣＭＣ：Markov chain Monte Carlo method）がある。ＭＣＭＣは、マルコフ連鎖を用いて、確率分布からサンプリングを行う手法である。

【0003】

近年、ＭＣＭＣはベイズ統計を中心に広い範囲の統計の問題に応用されている。例えば物理学で現れる多体問題は、一般的に解析的な計算が不可能となることが多い。その場合、物理系の状態をＭＣＭＣでサンプリングすることで、多体問題の性質を調べることができる。また、近年注目されている量子計算のシミュレーションにおいてもＭＣＭＣが使用されている。ＮＰ（Non-deterministic Polynomial time）困難な最適化問題の解探索にもＭＣＭＣを有効に利用することができる。

【0004】

さらにデータ解析に対するベイズ統計にもＭＣＭＣが利用できる。例えば実験により得られたデータをある有効モデルに当てはめる場合、ベイズ推定では事後分布からサンプリングを行うこととなる。この際のサンプリングにＭＣＭＣを用いることができる。

【0005】

ＭＣＭＣによるサンプリングでは、直前のサンプルの状態とはできるだけ異なる状態に遷移させることが望まれる。互いに独立と見なせる有効なサンプルをＭＣＭＣで生成するための技術として、例えばメトロポリス法の提案確率分布に適当な変分モデルを用いる方法がある。変分モデルは前の状態を参照しておらず、大局的な遷移が可能となる。大局的な遷移により、互いに独立と見なせる有効なサンプル生成の効率が向上する。変分モデルとしては機械学習モデルを用いることができ、このようなサンプリング方法は、自己学習モンテカルロ法（ＳＬＭＣ：Self-Learning Monte Carlo method）と呼ばれる。

【0006】

ＳＬＭＣにおける変分モデルとしては、例えば潜在空間を持つ機械学習モデルが利用される。潜在空間を持つ機械学習モデルを用いたＳＬＭＣには、制限ボルツマンマシン（ＲＢＭ：Restricted Boltzmann Machine）を用いた手法、Ｆｌｏｗ型モデルを用いた手法、ＶＡＥ（Variational AutoEncoder）を用いた手法がある。

【0007】

なお、ＶＡＥについては特性の定量的理解が進められている。例えばＶＡＥについて、等長埋め込みにマッピングできることが明らかにされている。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】Akira Nakagawa, Keizo Kato, Taiji Suzuki, "Quantitative Understanding of VAE as a Non-linearly Scaled Isometric Embedding", Proceedings of the 38th International Conference on Machine Learning, PMLR 139:7916-7926, 8-24 July 2021

【発明の概要】

【発明が解決しようとする課題】

【0009】

潜在空間を持つ機械学習モデルを用いた従来のＳＬＭＣでは、互いに独立と見なせる有効なサンプルの生成効率が十分ではない。例えばＲＢＭを用いた手法は、確率分布の提案にＭＣＭＣを行うこととなり、処理量が大きい。Ｆｌｏｗ型モデルを用いた手法では、確率分布の提案コストは小さいが、使用するモデルに強い制約が課され、汎用性が低い。ＶＡＥを用いた手法は、確率分布の提案コストは小さいが、尤度関数を近似評価しており、近似が妥当でない場合がある。近似が妥当でないと採択確率が低くなり、サンプルの生成効率の悪化要因となる。

【0010】

１つの側面では、本件は、互いに独立と見なせる有効なサンプルの生成効率を向上させることを目的とする。

【課題を解決するための手段】

【0011】

１つの案では、以下の処理をコンピュータに実行させるエラー検知プログラムが提供される。
コンピュータは、データ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有する機械学習モデルを用いて、潜在空間内の第１のデータをデータ空間内の第２のデータに変換する。次にコンピュータは、データ空間内の採択済みの第１のサンプルからのマルコフ連鎖モンテカルロ法における遷移先として第２のデータを採択するか否かを、変換規則に基づく採択確率で判断する。そしてコンピュータは、採択すると判断した場合、第２のデータを、第１のサンプルからの遷移先の第２のサンプルとして出力する。

【発明の効果】

【0012】

１態様によれば、互いに独立と見なせる有効なサンプルの生成効率を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】第１の実施の形態に係るサンプリング方法の一例を示す図である。

【図2】コンピュータのハードウェアの一例を示す図である。

【図3】静的なモンテカルロ法とＭＣＭＣとの違いを示す図である。

【図4】ＭＣＭＣによるサンプリングの効率の違いを説明する図である。

【図5】状態間の遷移確率を示す図である。

【図6】局所的な提案分布の一例を示す図である。

【図7】不適切なサンプリングの一例を示す図である。

【図8】ＳＬＭＣによるサンプリングの一例を示す図である。

【図9】ＶＡＥによるサンプル生成の一例を示す図である。

【図10】ＩＶＡＥ－ＳＬＭＣによるサンプリングのためのコンピュータの機能の一例を示すブロック図である。

【図11】サンプル生成処理の一例を示すフローチャートである。

【図12】ＩＶＡＥ－ＳＬＭＣによるサンプリング処理の手順の一例を示すフローチャートである。

【図13】第３の実施の形態におけるサンプル生成処理の一例を示すフローチャートである。

【図14】ＩＶＡＥ－ＳＬＭＣの並列実行の一例を示す図である。

【図15】第５の実施の形態に係るコンピュータの機能の一例を示すブロック図である。

【図16】低次元圧縮処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
第１の実施の形態は、互いに独立と見なせる有効なサンプルの生成効率を向上させることが可能なサンプリング方法である。

【0015】

図１は、第１の実施の形態に係るサンプリング方法の一例を示す図である。図１には、第１の実施の形態に係るサンプリング方法を、情報処理装置１０を用いて実施した場合の例を示している。情報処理装置１０は、例えばサンプリングプログラムを実行することにより、サンプリング方法を実施することができる。

【0016】

情報処理装置１０は、記憶部１１と処理部１２とを有する。記憶部１１は、例えば情報処理装置１０が有するメモリまたはストレージ装置である。処理部１２は、例えば情報処理装置１０が有するプロセッサまたは演算回路である。

【0017】

記憶部１１は、データ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有する機械学習モデル１を記憶する。
機械学習モデル１は、例えばＶＡＥである。ＶＡＥは、エンコーダ２とデコーダ３とを有する。エンコーダ２は、データ空間内のデータが入力されると、潜在空間におけるデータの平均と分散（または標準偏差）を出力するニューラルネットワークである。デコーダ３は、潜在空間におけるデータが入力されると、データ空間におけるデータを出力するニューラルネットワークである。

【0018】

変換規則は、例えば非線形のマッピングである。機械学習モデル１がＶＡＥであれば、非線形のマッピングは、次元ごとに異なる値でのスケーリング（拡大・縮小）となる。データ空間は、機械学習モデル１への入力データを定義する空間である。潜在空間は、機械学習モデル１内で生成するデータを定義する空間である。

【0019】

処理部１２は、機械学習モデル１を用いて、ＭＣＭＣによるサンプリングを行う。例えば処理部１２は、機械学習モデル１を用いて、潜在空間内の第１のデータ４をデータ空間内の第２のデータ５に変換する。例えば処理部１２は、ＶＡＥのデコーダ３によって第１のデータ４をデコードし、第２のデータ５を生成する。

【0020】

次に処理部１２は、データ空間内の採択済みの第１のサンプル６からのマルコフ連鎖モンテカルロ法における遷移先として第２のデータ５を採択するか否かを、変換規則に基づく採択確率で確率的に判断する。例えば処理部１２は、ＶＡＥのエンコーダ２によって第１のサンプル６をエンコードして第１の平均値と第１の分散値と第１の計量テンソルを計算する。また処理部１２は、ＶＡＥのエンコーダ２によって第２のデータ５をエンコードして第２の平均値と第２の分散値と第２の計量テンソルを計算する。そして処理部１２は、第１の平均値、第１の分散値、第１の計量テンソル、第２の平均値、第２の分散値、および第２の計量テンソルに基づいて、採択確率を計算する。

【0021】

処理部１２は、採択すると判断した場合、第２のデータ５を、第１のサンプル６からの遷移先の第２のサンプル７として出力する。そして処理部１２は、第１のサンプル６を第２のサンプル７に置き換えて、同様の処理を繰り返すことで、ＭＣＭＣに基づくサンプリングを行うことができる。

【0022】

このようにしてサンプリングを行うことで、既にサンプルに採択済みのデータから独立と見なせる有効なデータを、第２のデータ５として効率的に生成することができ、かつ第２のデータ５を高い採択確率で第２のサンプル７として採択することができる。その結果、互いに独立と見なせる有効なサンプルの生成効率が向上する。

【0023】

出力された第２のサンプル７を、機械学習モデル１の学習に使用することができる。例えば処理部１２は、出力された第２のサンプル７の数がある程度たまった場合、出力された第２のサンプル７を用いて機械学習モデル１の学習を行う。これにより、機械学習モデル１の精度を向上させることができる。

【0024】

また処理部１２は、第２のデータ５に変換する処理、第２のデータ５を採択するか否かを確率的に判断する処理、および第２のデータ５を第２のサンプル７に決定する処理を含むサンプリング処理を、複数のプロセッサそれぞれで並列実行することもできる。その場合、処理部１２は、複数のプロセッサそれぞれで決定した第２のサンプル７を用いて機械学習モデル１の学習を実行する。これにより、ＶＡＥの精度が向上し、互いに独立と見なせる有効なサンプルの生成効率が向上する。

【0025】

〔第２の実施の形態〕
第２の実施の形態は、生成モデルの１つであるＶＡＥが潜在的に等長性を有することを利用し、高速かつ複雑な分布に適用可能なＳＬＭＣを実現するコンピュータである。ここで、潜在的に等長性を有するとは、入力データを表すデータ空間と同じ確率分布の等長空間に所定の変換規則で変換可能な潜在空間を有することである。

【0026】

図２は、コンピュータのハードウェアの一例を示す図である。コンピュータ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

【0027】

メモリ１０２は、コンピュータ１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

【0028】

バス１０９に接続されている周辺機器としては、ストレージ装置１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

【0029】

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータ１００の補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

【0030】

ＧＰＵ１０４は画像処理を行う演算装置であり、グラフィックコントローラとも呼ばれる。ＧＰＵ１０４には、モニタ２１が接続されている。ＧＰＵ１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。

【0031】

入力インタフェース１０５には、キーボード２２とマウス２３とが接続されている。入力インタフェース１０５は、キーボード２２やマウス２３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス２３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

【0032】

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク２４に記録されたデータの読み取り、または光ディスク２４へのデータの書き込みを行う。光ディスク２４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

【0033】

機器接続インタフェース１０７は、コンピュータ１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０７には、メモリ装置２５やメモリリーダライタ２６を接続することができる。メモリ装置２５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ２６は、メモリカード２７へのデータの書き込み、またはメモリカード２７からのデータの読み出しを行う装置である。メモリカード２７は、カード型の記録媒体である。

【0034】

ネットワークインタフェース１０８は、ネットワーク２０に接続されている。ネットワークインタフェース１０８は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。ネットワークインタフェース１０８は、例えばスイッチやルータなどの有線通信装置にケーブルで接続される有線通信インタフェースである。またネットワークインタフェース１０８は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。

【0035】

コンピュータ１００は、以上のようなハードウェアによって、第２の実施の形態の処理機能を実現することができる。なお、第１の実施の形態に示した装置も、図２に示したコンピュータ１００と同様のハードウェアにより実現することができる。

【0036】

コンピュータ１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。コンピュータ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、コンピュータ１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。またコンピュータ１００に実行させるプログラムを、光ディスク２４、メモリ装置２５、メモリカード２７などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

【0037】

コンピュータ１００は、ＶＡＥが潜在的に等長性を有するという性質を有効に利用することで、ＶＡＥを用いたＳＬＭＣによるサンプル生成を効率的に行う。以下、ＶＡＥが潜在的に等長性を有するという性質を利用して、ＶＡＥを用いたＳＬＭＣを行うサンプリング技術をＩＶＡＥ－ＳＬＭＣと呼ぶこととする。それに対して、ＶＡＥが潜在的に等長性を有するという性質を利用せずに、ＶＡＥを用いたＳＬＭＣを行うサンプリング技術を、ＶＡＥ－ＳＬＭＣと呼ぶこととする。

【0038】

以下、ＶＡＥ－ＳＬＭＣにおいて効率的なサンプリングが困難である理由について説明する。
ＶＡＥ－ＳＬＭＣはＭＣＭＣの一形態である。またＭＣＭＣは、モンテカルロ法の一種である。モンテカルロ法は、確率分布ｐ（ｘ）からサンプリングを行う方法の総称である。広義では、数値計算を、乱数を用いて行う手法の総称である。マルコフ連鎖（現在の状態が直前の状態のみに依存する確率過程）を用いずに確率分布ｐ（ｘ）からサンプリングを行うモンテカルロ法は、静的なモンテカルロ法と呼ぶことができる。

【0039】

図３は、静的なモンテカルロ法とＭＣＭＣとの違いを示す図である。図３では、確率分布ｐ（ｘ）が曲線３１で示されている。静的なモンテカルロ法では、確率分布ｐ（ｘ）に従って複数のサンプル３２がランダムに生成される。確率分布ｐ（ｘ）に従うことで、確率が高いサンプルほど多く生成される。ＭＣＭＣ（マルコフ連鎖モンテカルロ法）では、現在の状態（サンプル）が直前の状態（サンプル）のみに依存する確率過程により、複数のサンプル３３が生成される。

【0040】

ＭＣＭＣにおいても、確率分布ｐ（ｘ）における確率が高いサンプルほど多く生成されるが、マルコフ連鎖によって順番に生成されてる点が、静的なモンテカルロ法と異なっている。静的なモンテカルロ法は、高次元確率分布のサンプリングは困難であるが、ＭＣＭＣであれば、高次元確率分布のサンプリングも可能となる。

【0041】

ＭＣＭＣにおいてサンプリングを効率的に行うには、直前の状態とはできるだけ異なる状態に遷移させることが望まれる。
図４は、ＭＣＭＣによるサンプリングの効率の違いを説明する図である。サンプリングの効率化には、直前の状態とはできるだけ異なる状態に遷移できることが重要となる。直前の状態と異なる状態に遷移できない場合（非効率な例）では、サンプル列３４において、各サンプル間の距離が近く、独立と見なせないサンプルが多数生成されている。他方、直前の状態とはできるだけ異なる状態に遷移させた場合（効率的な例）では、サンプル列３５の自己相関が小さくなり、独立と見なせる有効なサンプル数が増加する。ＭＣＭＣにおいて効率的なサンプリングを行うことで、現実的な時間で確率変数の空間のすべてに状態を遷移させることが可能となる。

【0042】

他方、目的の確率分布に収束するマルコフ連鎖は、ある状態Ｘから他の状態Ｘ’への遷移確率ｗ（Ｘ’｜Ｘ）が以下の２つの必要条件を満たすことが求められる。
１．つりあい条件：∫ｐ（ｘ）ｗ（ｘ’｜ｘ）ｄｘ＝ｐ（ｘ’）
２．エルゴード条件：任意の２つの状態ｘ，ｘ’間の遷移確率が０でなく、有限個の０でない遷移確率の積で表される。

【0043】

これらの必要条件のうちのつりあい条件を満たすマルコフ連鎖の構成は一般的に困難である。そこで、より強い条件である詳細つりあい条件により遷移確率が構成される。
図５は、状態間の遷移確率を示す図である。詳細つりあい条件では、状態Ｘから状態Ｘ’への遷移確率ｗ（Ｘ’｜Ｘ）と、逆に状態Ｘ’から状態Ｘへの遷移確率ｗ（Ｘ｜Ｘ’）とが用いられる。これらの遷移確率の間に以下の関係を有することが詳細つりあい条件である。
詳細つりあい条件：ｐ（ｘ）ｗ（ｘ’｜ｘ）＝ｐ（ｘ’）ｗ（ｘ｜ｘ’）
このような詳細つりあい条件を満たす更新則としては、メトロポリス法、ギブスサンプリング法、ハイブリッドモンテカルロ法（ＨＭＣ：Hybrid Monte Carlo method）などがある。例えばメトロポリス法では、遷移を以下の２ステップで行う。
［第１のステップ］ある提案確率分布ｇ（ｘ’｜ｘ）に従いｘ’を生成
［第２のステップ］以下の受理確率Ａ（ｘ’、ｘ）でｘ’を次の状態として採択する。

【0044】

【数1】

【0045】

このような遷移は詳細つりあい条件を満たしている。典型的には、提案確率分布ｇ（ｘ’｜ｘ）としては局所的な提案分布が利用される。
図６は、局所的な提案分布の一例を示す図である。例えば状態ｘが０または１の２値を取ることができる複数の要素を含むベクトルの場合、提案確率分布ｇ（ｘ’｜ｘ）に従い、ランダムにｘの次元（要素）を選び、その値が反転される。その結果、状態ｘ’が生成される。

【0046】

生成された状態ｘ’は、受理確率Ａ（ｘ’、ｘ）に従って、採択するか否かが決定される。採択すると決定された場合、状態がｘ’に遷移する。棄却すると決定された場合、状態がｘのまま維持される。

【0047】

このように、メトロポリス法では前の状態ｘを参照して次の状態ｘ’が生成される。ギブスサンプリングやＨＭＣもメトロポリス法と同様、前の状態が遷移に利用される。これらの詳細つりあい条件を満たす更新則には、以下の課題がある。

【0048】

まず、特定の問題（例えば多峰的な分布）に対して、ある状態への遷移確率が小さくなり、実質的に遷移が行われず間違えた結果を導くことがある。また特定の問題（例えば相転移点近傍）に対して、確率変数の空間の中である局所的な空間に留まり続け、初期条件に強く依存し、適切なサンプリングが不可能となる。

【0049】

図７は、不適切なサンプリングの一例を示す図である。図７には、２次元２成分ガウス分布に対してメトロポリス法を実行して得られたサンプル列４３を示している。図７の例では、多峰的な分布であり、確率分布で発生しうる状態を示す点は、２つのクラスタを構成している。サンプル列４３は一方のクラスタ内でのみ遷移し、他方のクラスタには遷移できていない。

【0050】

そこで大局的な遷移が可能な変分モデルを機械学習によって生成するＳＬＭＣが提案されている。
図８は、ＳＬＭＣによるサンプリングの一例を示す図である。機械学習によって生成された変分モデルｐ（ｐは＾付き）は、状態ｘが入力されるとサンプルとして状態ｘ’を出力する。そして採択確率Ａ（ｘ’，ｘ）に従って、採択（ｘ’に遷移）か棄却（ｘを維持）かが判断される。

【0051】

例えばメトロポリス法の提案確率分布に適当な変分モデルｐ（ｘ）（ｐは＾付き）を用いると、採択確率は以下の式で表される。

【0052】

【数2】

【0053】

式（２）では、仮にｐ＝ｐ（右辺のｐは＾付き）の場合、採択確率は１となる。また、前の状態を参照しないため大域的な遷移が可能である。さらに変分モデルの良し悪しを採択確率から定量的に評価可能である。

【0054】

変分モデルとして潜在表現を学習する機械学習モデル（制限ボルツマンマシン、Ｆｌｏｗ型のモデル、ＶＡＥなど）を利用することで、確率分布の特徴を学習することによる効率的な遷移が可能となる。これは、良い潜在空間の獲得が効率化につながることを示している。

【0055】

変分モデルとして潜在表現を学習する機械学習モデルを用いたＳＬＭＣのうち、ＶＡＥを用いた手法であれば、確率分布の提案コストが小さく、使用するモデルに強い制約が課されることもない。

【0056】

図９は、ＶＡＥによるサンプル生成の一例を示す図である。ＶＡＥ５０を利用する場合、学習データ｛ｘ_μ｝^p _μ=1を用いてエンコーダ（Encoder）５１のパラメータθとデコーダ（Decoder）５２のパラメータφが学習される。これにより、データの確率分布ｐ（ｘ）が模倣される。

【0057】

そしてＶＡＥ５０では、確率分布ｐ（ｘ）に従った状態ｘ（ｘ～ｐ（ｘ））が入力されると、エンコーダ５１により、その状態ｘに応じた平均μ（ｘ：φ）と分散σ（ｘ：φ）が出力される。そして、エンコーダ５１が出力した平均μ（ｘ：φ）と分散σ（ｘ：φ）によって特定される確率分布ｑ（ｚ｜ｘ；φ）に従い、状態ｚ（ｚ～ｑ（ｘ；φ）が生成される。生成された状態ｚがデコーダ５２に入力され、デコーダ５２の確率分布ｐ（ｘ；θ）（ｘは＾付き）に従いｘ（＾付き）が生成される。

【0058】

生成されたｘ（＾付き）が、尤度関数を用いて定義される採択確率で、採択するか否かが判断される。ただし、ＶＡＥを用いた手法では、尤度関数を以下の式で近似評価している。

【0059】

【数3】

【0060】

仮に生成モデルと一致する変分モデルが得られても、以下の式（４）の近似が妥当でない場合、採択確率は低い。

【0061】

【数4】

【0062】

典型的にデータが複雑かつ高次元の場合、式（４）を満たすのは困難である。このように、ＶＡＥを用いた手法であっても、近似が妥当でない場合に採択確率が低くなり、サンプルの生成効率が悪化するという問題が残る。しかも式（４）の近似の妥当性を定量的に評価するのは困難である。

【0063】

一方、ＶＡＥの潜在空間は、等長性を有する埋め込み（等長埋め込み）となる等長空間に、非線形なマッピングにより変換できることが分かっている。埋め込みとは、多様体Ａから多様体Ｂ（共にリーマン多様体）への滑らかな単射（マッピング）である。等長性とは、埋め込み後に、両多様体の対応点において、点周辺の多様体上の二つの微小変異（正確には接ベクトル）の内積を保存することである。

【0064】

このような等長埋め込みでは、多様体Ａの２つのデータ間の距離と、それらのデータを単射した多様体Ｂの２つのデータ間の距離とが等しくなる。また、等長埋め込みでは、多様体Ａ上の点の確率密度と、その点に対応する多様体Ｂ上の点の確率密度も等しくなる。

【0065】

具体的には、ＶＡＥの潜在空間は、データ・次元ごとに異なる値（β／２σ_j ²）^1/2でスケーリング（拡大または縮小）することで等長空間に変換することができる。これは以下の式（５）を満たす変数ｙを導入することで得られる。

【0066】

【数5】

【0067】

このような変数ｙは入力データのデータ空間に対して等長埋め込みとなる。すなわち、ｙの確率分布はデータ空間の確率分布と同等となる。より詳細には、計量テンソルＧ_xの計量ベクトル空間での入力データの確率分布をｐ_Gx（ｘ）、等長空間の確率分布をｐ（ｙ）、潜在空間の確率分布をｐ（ｚ）とすると、次の関係がある。

【0068】

【数6】

【0069】

式（６）には、式（５）に基づく「ｐ（ｙ）＝Π_jｐ（ｙ_j）＝Π_j（ｄｙ_j／ｄμ_j(x)）^-1ｐ（μ_j）」という関係が利用されている。ここで入力空間座標の確率分布をｐ（ｘ）とすると、計量ベクトル空間の確率分布ｐ_Gx（ｘ）とは次の関係がある。

【0070】

【数7】

【0071】

よって、潜在空間の確率分布から、入力データのデータ空間の確率分布ｐ（ｘ）は次の式で導出可能となる。

【0072】

【数8】

【0073】

Ｇ_xは、ＶＡＥの誤差からなる計量テンソルである。このようなＶＡＥは、確率分布ｐ（ｚ）（ｐは＾付き）を確率分布ｐ（ｘ）に変数変換することで、穏やかな条件下で以下の式（９）のように尤度を評価可能である。

【0074】

【数9】

【0075】

Ｍは、潜在空間（エンコード後の空間）の次元数である。Ｌは、ＥＬＢＯ（Evidence Lower BOund）である。βは、β－ＶＡＥにおける調整可能なハイパーパラメータβである。式（９）の導出方法の詳細は、上記の非特許文献に記載されている。

【0076】

ＶＡＥの誤差を平均二乗誤差（ＭＳＥ：Mean Squared Error）で表すとき、Ｇ_xは単位行列Ｉとなる。またＶＡＥの誤差を係数付きＭＳＥで表すとき、Ｇ_xは例えば「（１／２σ²）Ｉ」となる。

【0077】

潜在的等長性を有するＶＡＥは、ｐ＝ｐ（右辺のｐは＾付き）が成り立つとき、採択確率は式（４）の近似の妥当性によらず１となる。ＶＡＥは、学習の初期段階で潜在的等長性を獲得することができ、定量的に等長性を評価可能である。

【0078】

そこで第２の実施の形態におけるコンピュータ１００は、効率的なサンプリングを実現するために、ＩＶＡＥ－ＳＬＭＣによってサンプリングを行う。
図１０は、ＩＶＡＥ－ＳＬＭＣによるサンプリングのためのコンピュータの機能の一例を示すブロック図である。例えばコンピュータ１００は、ＭＣＭＣ実行部１１０、ＶＡＥ学習部１２０、モデル記憶部１３０、およびＩＶＡＥ－ＳＬＭＣ実行部１４０を有する。

【0079】

ＭＣＭＣ実行部１１０は、ＩＶＡＥ－ＳＬＭＣとは別のＭＣＭＣを用いて、目的の確率分布からサンプルを生成する。ＭＣＭＣ実行部１１０は、生成したサンプルを、ＶＡＥ学習部１２０に送信する。

【0080】

ＶＡＥ学習部１２０は、ＭＣＭＣ実行部１１０が生成したサンプルを用いて、ＶＡＥを学習する。ＶＡＥの学習によって、学習済みの変分モデルとして、潜在的等長性を有するＶＡＥが生成される。ＶＡＥ学習部１２０は、生成したＶＡＥをモデル記憶部１３０に格納する。

【0081】

モデル記憶部１３０は、ＶＡＥ学習部１２０で生成されたＶＡＥを記憶する。
ＩＶＡＥ－ＳＬＭＣ実行部１４０は、モデル記憶部１３０からＶＡＥ学習部１２０により生成されたＶＡＥを取得し、取得したＶＡＥを用い、ＩＶＡＥ－ＳＬＭＣによってサンプルを生成する。そしてＩＶＡＥ－ＳＬＭＣ実行部１４０は、生成したサンプルを出力する。

【0082】

なお、図１０に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。
図１１は、サンプル生成処理の一例を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。

【0083】

［ステップＳ１０１］ＭＣＭＣ実行部１１０は、ＭＣＭＣにより、目的の確率分布からサンプルを生成する。
［ステップＳ１０２］ＶＡＥ学習部１２０は、ＭＣＭＣ実行部１１０が生成したサンプルに基づいて潜在的等長性を有するＶＡＥを学習する。ＶＡＥ学習部１２０は、学習したＶＡＥをモデル記憶部１３０に格納する。

【0084】

［ステップＳ１０３］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、モデル記憶部１３０に格納されたＶＡＥを用いて、ＩＶＡＥ－ＳＬＭＣによるサンプリングを実行する。ＩＶＡＥ－ＳＬＭＣによるサンプリングの詳細は後述する（図１２参照）。

【0085】

［ステップＳ１０４］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、ＩＶＡＥ－ＳＬＭＣ実行処理によって所定の遷移回数だけ状態の遷移が発生したか否かを判断する。遷移回数は、予めユーザによって指定されている。ＩＶＡＥ－ＳＬＭＣ実行部１４０は、所定の遷移回数だけ状態の遷移が発生した場合、処理をステップＳ１０５に進める。

【0086】

［ステップＳ１０５］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、ＩＶＡＥ－ＳＬＭＣによって生成したサンプルを出力する。
次に、ＩＶＡＥ－ＳＬＭＣによるサンプリング処理について詳細に説明する。

【0087】

図１２は、ＩＶＡＥ－ＳＬＭＣによるサンプリング処理の手順の一例を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。
［ステップＳ１１１］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、ＶＡＥのエンコーダを用いて状態ｘをエンコードし、μ（ｘ；θ）、σ（ｘ；θ）、およびＧ_xを計算する。

【0088】

［ステップＳ１１２］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、状態ｚ’を事前分布ｐ（ｚ）に従って生成する。すなわちＩＶＡＥ－ＳＬＭＣ実行部１４０は、事前分布ｐ（ｚ）において確率の高い状態ほど生成されやすくして、確率的に状態ｚ’を生成する。

【0089】

［ステップＳ１１３］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、ＶＡＥのデコーダを用いて状態ｚ’をデコードし、状態ｘ’を生成する。
［ステップＳ１１４］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、ＶＡＥのエンコーダを用いて状態ｘ’をエンコードし、μ（ｘ’；θ）、σ（ｘ’；θ）、およびＧ_x'を計算する。

【0090】

［ステップＳ１１５］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、以下の式（１０）に示す採択確率Ａ^IVAEを計算する。

【0091】

【数10】

【0092】

なお、採択確率は確率比で表されるため、尤度関数の規格化定数は未知でもよい。採択確率Ａ^IVAEは、式（９）に基づいている。式（９）は、ＶＡＥの潜在空間から等長空間への変換規則を表す式（５）から導出されている。従って、式（１０）に示す採択確率Ａ^IVAEは、ＶＡＥの潜在空間から等長空間への変換規則に基づいている。

【0093】

［ステップＳ１１６］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、採択確率Ａ^IVAEに従って、採択するか、棄却するかを判定する。例えばＩＶＡＥ－ＳＬＭＣ実行部１４０は、０～１の実数の乱数を生成し、生成した乱数が採択確率Ａ^IVAE以下であれば採択すると判定する。またＩＶＡＥ－ＳＬＭＣ実行部１４０は、生成した乱数が採択確率Ａ^IVAEを超えていれば棄却すると判定する。

【0094】

［ステップＳ１１７］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、採択すると判定した場合、処理をステップＳ１１８に進める。またＩＶＡＥ－ＳＬＭＣ実行部１４０は、棄却すると判定した場合、ＩＶＡＥ－ＳＬＭＣによるサンプリング処理を終了する。

【0095】

［ステップＳ１１８］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、状態ｘ’を新たなサンプルとして決定し、状態ｘ’を示す情報を記憶する。
このようにして、潜在的等長性を有する学習済みのＶＡＥを用いて状態ｘ’を生成し、生成された状態ｘ’を採択確率Ａ^IVAEで次の遷移として受理することができる。受理された場合、状態ｘ’がサンプルとして保存される。サンプリングにＩＶＡＥ－ＳＬＭＣを用いたことにより、採択確率の計算に近似式を用いずに済み、互いに独立と見なせる有効なサンプルの生成が効率的となる。

【0096】

例えばＶＡＥの潜在的等長性を考慮せずにサンプリングを行うＶＡＥ－ＳＬＭＣでは、式（３）に示した尤度関数の近似式を用いて採択確率を評価することとなる。そのため、近似式の精度が十分でなく、採択確率が低下する場合がある。また近似式を用いることで、採択してしまっても、独立と見なせる有効なサンプルとは認められない可能性が高くなる。それに対してＩＶＡＥ－ＳＬＭＣでは、採択確率の計算に近似式を用いていないため、独立と見なせる有効なサンプルの生成効率の向上が見込める。

【0097】

サンプリング効率は、例えばマルコフ連鎖の遷移を所定回数実施した場合に生成される、独立と見なせる有効なサンプル数で評価できる。独立と見なせる有効なサンプル数は、ＥＳＳ（Effective Sample Size）で表される。

【0098】

例えば、連続確率分布に対して最も一般的に適用されるＨＭＣにおいても、苦手とする確率分布がいくつか存在する。そのような確率分布として、100d Ill Conditioned Gaussian、2d Strongly Correlated Gaussian、Banana-shaped Density、Rough Well Densityなどがある。これらの確率分布に対してＨＭＣによるサンプリングした場合とＩＶＡＥ－ＳＬＭＣでサンプリングした結果を以下に示す。

【0099】

ＨＭＣとＩＶＡＥ－ＳＬＭＣとを比較したときのマルコフ連鎖の遷移回数は「５００００回」である。またＶＡＥに使用した学習データは、メトロポリス法により生成された１００００個のサンプルである。評価指標に用いたＥＳＳは、１次モーメントと２次モーメントとのＥＳＳである。そして、１０回の数値実験における１次モーメントと２次モーメントそれぞれのＥＳＳの平均値によって評価した結果、ＨＭＣが苦手とする確率分布に対して、ＩＶＡＥ－ＳＬＭＣによってＥＳＳが大幅に改善することが確認できている。

【0100】

また同じ条件でＨＭＣとＩＶＡＥ－ＳＬＭＣとの採択確率を比較すると、高次元かつ複雑な確率分布の場合ほど、ＨＭＣの採択確率よりもＩＶＡＥ－ＳＬＭＣの採択確率の方が高くなることも確認できている。

【0101】

このようにＩＶＡＥ－ＳＬＭＣによりサンプリングを行うことで、高い採択確率でサンプルを生成でき、かつ採択されたサンプルが独立と見なせる有効なサンプルである確率が高い。これにより、適切なサンプルを効率的に生成される。

【0102】

〔第３の実施の形態〕
第３の実施の形態は、ＶＡＥの逐次学習を行い、ＶＡＥの精度を向上させるものである。例えばＶＡＥ学習部１２０は、ＩＶＡＥ－ＳＬＭＣ実行部１４０が出力したサンプルがある程度得られたら、そのサンプルを用いてＶＡＥの学習を行う。これによりＶＡＥについて、変分モデルとしての性能が向上する。ＶＡＥの性能が向上することで、サンプリング効率が向上する。

【0103】

図１３は、第３の実施の形態におけるサンプル生成処理の一例を示すフローチャートである。図１３に示す処理のうち、ステップＳ２０１～Ｓ２０３，Ｓ２０７の処理は、それぞれ図１１に示した第２の実施の形態におけるステップＳ１０１～Ｓ１０３，Ｓ１０５の処理と同様である。第２の実施の形態と異なる処理は、以下のステップＳ２０４～Ｓ２０６である。

【0104】

［ステップＳ２０４］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、ステップＳ２０３を繰り返すことで所定数のサンプルが得られたか否かを判断する。例えばＩＶＡＥ－ＳＬＭＣ実行部１４０は、生成した状態ｘ’が採択された回数をカウントし、その回数が所定数に達したら所定数のサンプルが得られたと判断する。ＩＶＡＥ－ＳＬＭＣ実行部１４０は、所定数のサンプルが得られた場合、処理をステップＳ２０５に進める。またＩＶＡＥ－ＳＬＭＣ実行部１４０は、所定数のサンプルが得られていなければ、処理をステップＳ２０３に進め、ＩＶＡＥ－ＳＬＭＣによるサンプリングを繰り返す。

【0105】

［ステップＳ２０５］ＩＶＡＥ－ＳＬＭＣ実行部１４０は、ステップＳ２０６によるＶＡＥの学習処理を所定回数繰り返したか否かを判断する。ＩＶＡＥ－ＳＬＭＣ実行部１４０は、ステップＳ２０６によるＶＡＥの学習処理を所定回数繰り返した場合、処理をステップＳ２０７に進める。またＩＶＡＥ－ＳＬＭＣ実行部１４０は、ステップＳ２０６によるＶＡＥの学習処理を所定回数繰り返していなければ、処理をステップＳ２０６に進める。

【0106】

［ステップＳ２０６］ＶＡＥ学習部１２０は、ＩＶＡＥ－ＳＬＭＣで生成したサンプル（既にＶＡＥの学習に使用済みのサンプルを除く）を用いてＶＡＥを学習する。ＶＡＥ学習部１２０は、ＶＡＥを学習後、処理をステップＳ２０３に進める。

【0107】

このように、ＩＶＡＥ－ＳＬＭＣで生成したサンプルが所定数に達すると、そのサンプルを用いてＶＡＥの学習が行われる。これによりＶＡＥの精度が向上し、ＩＶＡＥ－ＳＬＭＣによるサンプリング効率も向上する。

【0108】

〔第４の実施の形態〕
第４の実施の形態は、ＩＶＡＥ－ＳＬＭＣを並列に実行するものである。ＩＶＡＥ－ＳＬＭＣを並列に実行することで、並列サンプリングにより得られたすべてのサンプルを用いて逐次学習を行うことができる。その結果、変分モデルとしてより性能の良いＶＡＥを得ることができる。

【0109】

図１４は、ＩＶＡＥ－ＳＬＭＣの並列実行の一例を示す図である。例えば、コンピュータ１００はプロセッサ１０１（またはプロセッサコア）を複数有し、プロセッサごとにＩＶＡＥ－ＳＬＭＣを並列に実行する。またネットワークで接続された複数のコンピュータで、ＩＶＡＥ－ＳＬＭＣを並列処理することもできる。

【0110】

図１４では、並列で実行するＩＶＡＥ－ＳＬＭＣ（図１３のステップＳ２０３の処理）それぞれを「ｃｈａｉｎ１」～「ｃｈａｉｎ４」としている。「ｃｈａｉｎ１」～「ｃｈａｉｎ４」それぞれで所定数のサンプルが得られたら、得られたサンプルを用いてＶＡＥの学習が行われる。そして学習されたＶＡＥを用いて、ＩＶＡＥ－ＳＬＭＣが並列実行される。

【0111】

並列に実行される「ｃｈａｉｎ１」～「ｃｈａｉｎ４」それぞれは独立に行われるため、有効なサンプルを多数生成することができる。そのため学習に適した多数のサンプルを得ることができ、変分モデルとしてより性能の良いＶＡＥを効率よく学習することができる。

【0112】

〔第５の実施の形態〕
第５の実施の形態は、ＩＶＡＥ－ＳＬＭＣで取得したサンプルに基づいて、低次元への圧縮時における潜在空間に射影する次元を選択するものである。ベイズ統計学や自然科学では、生成されたサンプルから確率分布の構造を理解するために主成分分析等を行うことがある。主成分分析では、以下の手順で処理が行われる。
＜第１のステップ＞適当なＭＣＭＣによるサンプル取得
＜第２のステップ＞得られたサンプルに対する主成分分析実行
＜第３のステップ＞寄与度の大きい主成分を選び、選んだ主成分を主成分空間に射影
変分モデルとして潜在的等長性を有するＶＡＥを用いることで、主成分分析をせずに、類似の低次元圧縮を低コストで行うことが可能となる。すなわち、潜在的等長性を有する潜在変数の各次元の分散が、該当次元の重要度を表す。そのため、潜在空間のｊ番目の次元の重要度（imporrance_j）は、該当次元の分散の期待値（Ｅ[]）を用いて、式（１１）で計算できる。

【0113】

【数11】

【0114】

式（１１）で得られる重要度の値が大きい次元ほど、低次元圧縮において重要となる。ＩＶＡＥ－ＳＬＭＣにより得られたＶＡＥを用いて、この重要度を評価し、重要度が大きい潜在空間を選び低次元領域へ次元圧縮することで、低コストでの次元圧縮が可能である。

【0115】

図１５は、第５の実施の形態に係るコンピュータの機能の一例を示すブロック図である。図１５において、第２の実施の形態と同じ機能を有する要素には同じ符号を付して説明を省略する。第５の実施の形態に係るコンピュータ１００ａは、第２の実施の形態のコンピュータ１００と同様の機能（図１０参照）に加え、低次元圧縮部１５０を有する。

【0116】

低次元圧縮部１５０は、ＶＡＥ学習部１２０で得られたＶＡＥを用いて、状態ｘを表す各次元の重要度を計算し、重要度に応じて選択した次元に次元圧縮を行う。
図１６は、低次元圧縮処理の手順の一例を示すフローチャートである。以下、図１６に示す処理をステップ番号に沿って説明する。

【0117】

［ステップＳ３０１］ＭＣＭＣ実行部１１０、ＶＡＥ学習部１２０、およびＩＶＡＥ－ＳＬＭＣ実行部１４０が協働し、ＩＶＡＥ－ＳＬＭＣによるサンプル生成処理を行う。この処理の詳細は、図１１～図１２に示した通りである。

【0118】

［ステップＳ３０２］低次元圧縮部１５０は、ステップＳ３０１で生成されたサンプルを、ＶＡＥ学習部１２０が学習したＶＡＥでエンコードし、式（７）によって次元ごとの重要度を計算する。

【0119】

［ステップＳ３０３］低次元圧縮部１５０は、重要度が大きい方から所定数の次元を選択し、選択した次元を潜在空間に射影する。
このようにして、重要な次元への低次元圧縮が行われる。図１６に示した処理では、サンプルに対する主成分分析が不要となっている。主成分分析は、式（７）に示した重要度の計算に比べて計算量が非常に多い。そのため、第５の実施の形態では、計算量の大幅な削減が可能となっている。

【0120】

〔その他の実施の形態〕
第２の実施の形態では、採択確率Ａ^VAEの式（１０）における尤度として以下の式を用いている。

【0121】

【数12】