知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】最適解獲得プログラム、最適解獲得方法および情報処理装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20231129BHJP
G06N 99/00 20190101ALI20231129BHJP
【ＦＩ】
G06N20/00
G06N99/00 180
【請求項の数】
5
(21)【出願番号】P 2019181396
(22)【出願日】2019-10-01
(65)【公開番号】P2021056928
(43)【公開日】2021-04-08
【審査請求日】2022-06-09
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】大田 栄二
(72)【発明者】
【氏名】秋間 学尚
【審査官】北川 純次
(56)【参考文献】
【文献】特表２０１９－５０２９８８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／００２６６３１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００９５７９８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
コンピュータに、訓練データの生成元であるデータを用いて生成された目的関数に対応する変数を含む複数の訓練データを用いて、変分オートエンコーダを学習し、
学習済みの変分オートエンコーダに前記複数の訓練データを入力して得られた潜在変数の平均値の集合から、所望の目的関数に該当する範囲のサンプリング集合を生成し、
前記学習済みの変分オートエンコーダを用いて、前記サンプリング集合をデコードすることで前記所望の目的関数の最適解を獲得する
処理を実行させることを特徴とする最適解獲得プログラム。
【請求項2】
前記学習する処理は、前記所望の目的関数に影響を与える変数および特定値をさらに含む訓練データを用いて、前記変分オートエンコーダを学習し、前記生成する処理は、前記学習済みの変分オートエンコーダに前記複数の訓練データを入力して得られた潜在変数の平均値の集合から、前記所望の目的関数に該当する範囲のサンプリング集合を生成し、
前記獲得する処理は、前記学習済みの変分オートエンコーダを用いて、前記サンプリング集合をデコードすることで、最適解である前記所望の目的関数と前記変数との組み合わせを獲得することを特徴とする請求項１に記載の最適解獲得プログラム。
【請求項3】
前記学習済みの変分オートエンコーダの入力データに前記複数の訓練データを与え、前記学習済みの変分オートエンコーダの潜在空間上において、前記複数の訓練データをそれぞれの特徴量の類似度の高い目的関数が集中して配置される解空間を構成する処理をコンピュータに更に実行させ、
前記生成する処理は、生成された前記解空間において前記所望の目的関数に該当する範囲のサンプリング集合を生成し、
前記獲得する処理は、前記サンプリング集合を、前記学習済みの変分オートエンコーダのデコーダに入力して、前記所望の目的関数の最適解を獲得することを特徴とする請求項１に記載の最適解獲得プログラム。
【請求項4】
コンピュータが、訓練データの生成元であるデータを用いて生成された目的関数に対応する変数を含む複数の訓練データを用いて、変分オートエンコーダを学習し、
学習済みの変分オートエンコーダに前記複数の訓練データを入力して得られた潜在変数の平均値の集合から、所望の目的関数に該当する範囲のサンプリング集合を生成し、
前記学習済みの変分オートエンコーダを用いて、前記サンプリング集合をデコードすることで前記所望の目的関数の最適解を獲得する
処理を実行することを特徴とする最適解獲得方法。
【請求項5】
訓練データの生成元であるデータを用いて生成された目的関数に対応する変数を含む複数の訓練データを用いて、変分オートエンコーダを学習する学習部と、学習済みの変分オートエンコーダに前記複数の訓練データを入力して得られた潜在変数の平均値の集合から、所望の目的関数に該当する範囲のサンプリング集合を生成する特定部と、
前記学習済みの変分オートエンコーダを用いて、前記サンプリング集合をデコードすることで前記所望の目的関数の最適解を獲得する獲得部と
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、最適解獲得プログラム、最適解獲得方法および情報処理装置に関する。
【背景技術】
【0002】
従来から、与えられた条件（制約条件）の下で、望ましさの尺度（目的関数）に関して、最も良い解（最適解）を求める最適化問題が知られている。一般的に、変数間に交互作用が存在しない場合、どのような最適化手法を用いても、目的関数に関する最適解を比較的容易に求めることができる。ところが、多くの問題では、変数間の交互作用が定量的には分からないが存在するため、変数の組合せ集合により形成される目的関数の曲面である解空間には複数の山や谷が存在する多峰性である。このようなことから、近年では、探索手法に工夫を凝らし、探索回数を削減して最適解を高速に獲得する数理計画法、シミュレーテッド・アニーリング、遺伝的アルゴリズムなどのメタヒューリスティック、応答曲面法などの技術が利用されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－８４９９号公報
【文献】特開２０１０－１４６０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術による高速化の効果は、解空間の複雑さに依存しており、複雑な解空間の場合、局所解の捕捉や探索回数が増加して最適化に膨大な時間を要する。例えば、解空間が多峰性のように最適化が存在するか否かが既知ではない空間の場合には、膨大な時間がかかるものの、そもそも最適解に到達することもできない可能性もある。
【0005】
一つの側面では、最適解の獲得にかかる時間を短縮することができる最適解獲得プログラム、最適解獲得方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
第１の案では、最適解獲得プログラムは、コンピュータに、目的関数を含む複数の訓練データを用いて、変分オートエンコーダを学習する処理を実行させる。最適解獲得プログラムは、コンピュータに、学習済みの変分オートエンコーダに前記複数の訓練データを入力して、前記複数の訓練データをそれぞれの特徴量の類似度を特定する処理を実行させる。最適解獲得プログラムは、コンピュータに、前記学習済みの変分オートエンコーダを用いて、所望の目的関数と類似度の高いデータ群から目的関数の最適解を獲得する処理を実行させる。
【発明の効果】
【0007】
一つの側面では、最適解の獲得にかかる時間を短縮することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に、本願の開示する最適解獲得プログラム、最適解獲得方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【実施例1】
【0010】
［情報処理装置の説明］
図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、変分オートエンコーダ（ＶＡＥ：Variational Autoencoder）を用いた学習モデルを学習し、ユーザが所望する尺度（目的関数）に対する最適解を求めるコンピュータ装置の一例である。
図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、変分オートエンコーダ（ＶＡＥ：Variational Autoencoder）を用いた学習モデルを学習し、ユーザが所望する尺度（目的関数）に対する最適解を求めるコンピュータ装置の一例である。
【0011】
ＶＡＥは、入力データを潜在空間に次元圧縮することで、入力データの特徴量を学習する。その際、類似度の高いデータを潜在空間の任意点に集中させて配置する特徴がある。図１に示すように、実施例１にかかる情報処理装置１０では、この特徴に着目して、ＶＡＥの訓練データに、正解情報に対応する目的関数、変数、特性値を与えてＶＡＥを学習する。
【0012】
その後、学習が終了すると、情報処理装置１０は、学習済ＶＡＥの潜在空間を用いて、類似度の高い目的関数が集中して配置される解空間を構成する。そして、情報処理装置１０は、図１に示すように、潜在空間においてユーザの尺度に対応する目的関数が属するサンプリング集合を生成する。
【0013】
続いて、情報処理装置１０は、生成したサンプリング集合より、学習済ＶＡＥのデコーダを用いて、所望の目的関数の最適値を推論により獲得し、目的関数の最適値を与える変数および特性値を学習済ＶＡＥのデコーダを用いて推論により獲得する。このようにして、情報処理装置１０は、複雑な解空間の場合でも高速に最適解を獲得することができる。
【0014】
【0015】
通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、管理者の端末から各処理の開始要求を受信し、学習結果や最適解の獲得結果などを管理者の端末に送信する。
【0016】
記憶部１２は、データや制御部２０が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。例えば、記憶部１２は、データＤＢ１３、訓練データＤＢ１４を記憶する。
【0017】
データＤＢ１３は、訓練データの生成元となる学習データを記憶するデータベースである。例えば、データＤＢ１３は、各種センサなどによりセンシングされたセンシングデータや管理者により入力された各種データなどを記憶する。
【0018】
訓練データＤＢ１４は、ＶＡＥの学習に利用する訓練データを記憶するデータベースである。例えば、訓練データＤＢ１４は、後述する訓練データ生成部２１によって、データＤＢ１３に記憶されるデータから生成された訓練データを記憶する。
【0019】
制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどである。この制御部２０は、訓練データ生成部２１、学習部２２、集合生成部２３、獲得部２４を有する。なお、訓練データ生成部２１、学習部２２、集合生成部２３、獲得部２４は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
【0020】
訓練データ生成部２１は、データＤＢ１３に記憶されるデータを用いて、訓練データを生成する処理部である。具体的には、訓練データ生成部２１は、データＤＢ１３に記憶されるデータから目的関数、変数、特性値を特定し、ＶＡＥに入力するために、目的関数、変数、特性値それぞれに対応する画像データを生成して、訓練データとして訓練データＤＢ１４に格納する。
【0021】
図３は、訓練データの生成例を説明する図である。図３に示すように、訓練データ生成部２１は、目的関数、変数、特性値などの各変数（Πなど）の変動範囲を設定し、変数の集合を生成する。なお、変数の集合におけるｋは訓練データの数を示し、ｍは変数の数を示し、ｑは変数データの次元を示す。
【0022】
続いて、訓練データ生成部２１は、変数の集合に対して数値計算や測定などにより、目的関数（Γ）の集合と特性値（Λ）の集合を生成する。なお、目的関数の集合におけるｎは目的関数の数を示し、ｒは目的関数データの次元を示し、特性値の集合におけるｏは特性値の数を示し、ｓは特性値データの次元を示す。
【0023】
その後、訓練データ生成部２１は、変数の集合、目的関数の集合、特定値の集合それぞれを画像化し、画像化変数、画像化目的関数、画像化特性値の集合を生成し、この集合を訓練データとして生成する。なお、ｔは画像化変数の次元を示し、ｕは画像化目的関数の次元を示し、ｖは画像化特性値の次元を示す。
【0024】
（訓練データ生成の具体例）
ここで、図４から図８を用いて、上述した訓練データの生成の具体例を説明する。ここでは、一例として、回路設計における設計パラメータの最適化を例にして説明する。図４は、目的関数の集合の生成例を説明する図である。図５は、特性値の集合の生成例を説明する図である。図６は、変数の集合の画像化例を説明する図である。図７は、目的関数の集合の画像化例を説明する図である。図８は、特性値の集合の画像化例を説明する図である。
ここで、図４から図８を用いて、上述した訓練データの生成の具体例を説明する。ここでは、一例として、回路設計における設計パラメータの最適化を例にして説明する。図４は、目的関数の集合の生成例を説明する図である。図５は、特性値の集合の生成例を説明する図である。図６は、変数の集合の画像化例を説明する図である。図７は、目的関数の集合の画像化例を説明する図である。図８は、特性値の集合の画像化例を説明する図である。
【0025】
まず、訓練データ生成部２１は、変数の集合、目的関数の集合、特性値の集合を生成する。具体的には、図４に示すように、訓練データ生成部２１は、変数の集合として、「回路素子パラメータ（インダクタンス、キャパシタンス）の組み合わせ」をｎ個生成する。そして、訓練データ生成部２１は、変数の集合をＬＴｓｐｉｃｅ（登録商標）などの回路シミュレータなどに入力して、目的関数の集合として「電力効率、電力損失」の組み合わせをｎ個生成する。
【0026】
同様に、図５に示すように、訓練データ生成部２１は、変数の集合「回路素子パラメータ（インダクタンス、キャパシタンス）の組み合わせ１～ｎ」を回路シミュレータなどに入力して、特性値の集合として「時系列電圧波形（以下では単に「電圧波形」と記載する場合がある）、時系列電流波形（以下では単に「電流波形」と記載する場合がある）」の組み合わせをｎ個生成する。
【0027】
続いて、訓練データ生成部２１は、変数の集合、目的関数の集合、特性値の集合それぞれを画像化して、画像化変数、画像化目的関数、画像化特性値を生成する。具体的には、図６に示すように、訓練データ生成部２１は、変数の１つであるｎ個のインダクタンス１～ｎそれぞれを、変数の値に応じて画像濃度を設定することで画像化する。なお、もう一つの変数であるキャパシタンスについても同様に画像化される。
【0028】
また、図７に示すように、訓練データ生成部２１は、目的関数の１つであるｎ個の電力効率１～ｎそれぞれを、目的関数の値に応じて画像濃度を設定することで画像化する。なお、もう一つの目的変数である電力損失についても同様に画像化される。
【0029】
また、図８に示すように、訓練データ生成部２１は、特性値の１つであるｎ個の電圧波形１～ｎそれぞれを、それぞれの波形が示されるように画像化する。なお、もう一つの目的変数である電流波形についても同様に画像化される。
【0030】
図２に戻り、学習部２２は、訓練データＤＢ１４に記憶される訓練データを用いて、ＶＡＥを学習する処理部である。具体的には、学習部２２は、訓練データである「画像化変数、画像化目的関数、画像化特性値」をＶＡＥに入力し、ＶＡＥを学習する。そして、学習部２２は、学習が終了すると、学習結果として学習済みのＶＡＥまたは学習済みＶＡＥを構成する各種パラメータを記憶部１２に格納する。なお、学習を終了するタイミングは、所定数以上の訓練データを用いた学習が完了した時点や復元誤差が閾値未満となった時点など、任意に設定することができる。
【0031】
ここで、学習対象のＶＡＥについて説明する。図９は、ＶＡＥの学習を説明する図である。なお、図９の説明では、必要に応じてベクトルＸなどを単にＸと記載する場合がある。図９に示すように、ＶＡＥは、エンコーダとデコーダとを有する。エンコーダは、入力データ（ベクトルＸ）が入力されると、潜在変数ｚが従う正規分布のパラメータμ（ベクトル）とΣ（ベクトル）を生成する。すなわち、エンコーダは、入力データ（ベクトルＸ）の特徴を圧縮してＮ次元のガウス分布の平均μと分散Σを出力し、その２つをもとにして潜在変数Ｚをサンプリングで求める。デコーダは、サンプリングされた潜在変数から入力データを復元する。そして、ＶＡＥは、入力データと復元データとの差分を用いた誤差逆伝搬により、エンコーダとデコーダそれぞれのニューラルネットワークの重みを調節する。
【0032】
具体的には、図９の（１）は、ｎ次元標準正規分布Ｎｎ（０，Ｉ）からランダムにサンプリングされたｎ次元ベクトルである。図９の（２）は、２つのベクトルの要素毎の積（アダマール積）であり、ベクトルＺは平均μ、分散Σのｎ次元正規分布Ｎｎ（ベクトルμ，ベクトルΣ）からランダムにサンプリングされたｎ次元ベクトルと等価である。
【0033】
また、図９の（３）におけるＤＫＬ（Ｐ｜｜Ｑ）は、２つの確率分布ＰとＱのカルバック・ライプラー距離（以下、ＫＬ距離と記載する場合がある）であり、ＰとＱの差異を図る尺度である。ＫＬ距離は、ＰとＱが完全に一致するときのみゼロで、それ以外は正の値となる。正則化損失の最小化により、類似性の高い画像が潜在空間中の近くの点にデコードされるようになる。図９の（４）は、復元損失の近似として、入力Ｘと出力Ｘ´との二乗和誤差や交差エントロピー誤差などが用いられる。後述する回路設計の例では、交差エントロピー誤差を用いる。なお、Ｅ［Ａ］はＡの期待値を表す。
【0034】
このように設計されたＶＡＥにおいて、訓練データの集合ζ＝｛Ｘ１，Ｘ２，・・・Ｘｎ｝に対し、Ｌｏｓｓを最小化するようにエンコーダとデコーダのパラメータを学習する。なお、エンコーダとデコーダは、階層的なニューラルネットワーク（ＮＮ）から構成される。ここで、Ｌｏｓｓを最小化するようにＮＮの重みとバイアスのパラメータを調整する過程がＶＡＥの学習プロセスである。
【0035】
図２に戻り、集合生成部２３は、学習済みのＶＡＥを用いて、サンプリング集合を生成する処理部である。例えば、集合生成部２３は、学習部２２によって学習された学習済みのＶＡＥに、訓練データＤＢ１４に格納される訓練データを与えて（入力して）、類似度の高い目的関数が集中して配置される解空間（目的関数の高い部分、低い部分が集中）を生成する。そして、集合生成部２３は、生成した解空間においてユーザが所望する目的関数と類似するサンプリング集合を生成し、獲得部２４に出力する。
【0036】
獲得部２４は、学習済みのＶＡＥを用いて、目的関数の最適解を獲得する処理部である。例えば、獲得部２４は、集合生成部２３により生成されたサンプリング集合に対して、学習済みのＶＡＥを用いてデコードすることで、サンプリング集合から画像化変数、画像化目的関数、画像化特性値の各集合を復元する。そして、獲得部２４は、画像化変数、画像化目的関数、画像化特性値の各集合を数値化し、最適解である目的関数、変数、特性値の組み合わせを獲得する。なお、獲得部２４は、獲得した最適解を記憶部１２に格納したり、ディスプレイに表示したり、管理端末に送信したりする。
【0037】
［処理の流れ］
次に、上述した各処理部で実行される処理の流れを説明する。ここでは、全体的な処理、訓練データの生成、最適解の獲得の各処理について説明する。
次に、上述した各処理部で実行される処理の流れを説明する。ここでは、全体的な処理、訓練データの生成、最適解の獲得の各処理について説明する。
【0038】
（全体的な処理）
図１０は、全体的な処理の流れを示すフローチャートである。図１０に示すように、処理が開始されると、訓練データ生成部２１は、訓練データの生成を実行し（Ｓ１０１）、学習部２２は、訓練データによるＶＡＥの学習を実行する（Ｓ１０２）。
図１０は、全体的な処理の流れを示すフローチャートである。図１０に示すように、処理が開始されると、訓練データ生成部２１は、訓練データの生成を実行し（Ｓ１０１）、学習部２２は、訓練データによるＶＡＥの学習を実行する（Ｓ１０２）。
【0039】
続いて、集合生成部２３は、学習済みＶＡＥの潜在空間におけるサンプリング集合を生成する（Ｓ１０３）。そして、獲得部２４は、学習済みＶＡＥにサンプリング集合を与えて、目的関数、変数、特性値の集合を算出し（Ｓ１０４）、目的関数の最小値（または最大値）を獲得する（Ｓ１０５）。
【0040】
ここで最適解が獲得できない場合（Ｓ１０６：Ｎｏ）、訓練データ生成部２１は、各変数の変動範囲を広げる等の再設定を行って、再学習用の訓練データを生成する（Ｓ１０７）。その後、Ｓ１０２以降が繰り返される。
【0041】
一方、獲得部２４は、最適解が獲得できた場合（Ｓ１０６：Ｙｅｓ）、獲得した目的関数、変数、特性値の集合を出力する（Ｓ１０８）。
【0042】
（訓練データの生成処理）
図１１は、訓練データの生成処理の流れを示すフローチャートである。図１１に示すように、訓練データ生成部２１は、各変数の変動範囲を設定し（Ｓ２０１）、変数の集合を生成する（Ｓ２０２）。
図１１は、訓練データの生成処理の流れを示すフローチャートである。図１１に示すように、訓練データ生成部２１は、各変数の変動範囲を設定し（Ｓ２０１）、変数の集合を生成する（Ｓ２０２）。
【0043】
続いて、訓練データ生成部２１は、変数の集合を入力として、数値計算や測定等により、目的関数の集合を生成する（Ｓ２０３）。また、訓練データ生成部２１は、変数の集合を入力として、数値計算や測定等により、特性値の集合を生成する（Ｓ２０４）。
【0044】
そして、訓練データ生成部２１は、変数の集合から画像化変数の集合を生成し（Ｓ２０５）、目的関数の集合から画像化目的関数の集合を生成し（Ｓ２０６）、特性値の集合から画像化特性値の集合を生成する（Ｓ２０７）。
【0045】
（最適解の獲得処理）
図１２は、最適解の獲得処理の流れを示すフローチャートである。図１２に示すように、集合生成部２３は、学習済みＶＡＥに訓練データの集合を与えて潜在変数の平均値の集合を算出する（Ｓ３０１）。例えば、集合生成部２３は、訓練データの集合ζ＝｛Ｘ１，Ｘ２，・・・Ｘｎ｝を学習済みＶＡＥのエンコーダに入力し、潜在変数の平均値の集合Ωを取得する。
図１２は、最適解の獲得処理の流れを示すフローチャートである。図１２に示すように、集合生成部２３は、学習済みＶＡＥに訓練データの集合を与えて潜在変数の平均値の集合を算出する（Ｓ３０１）。例えば、集合生成部２３は、訓練データの集合ζ＝｛Ｘ１，Ｘ２，・・・Ｘｎ｝を学習済みＶＡＥのエンコーダに入力し、潜在変数の平均値の集合Ωを取得する。
【0046】
続いて、集合生成部２３は、潜在変数の平均値の集合より、潜在変数の範囲（最小、最大）を算出する（Ｓ３０２）。そして、集合生成部２３は、潜在変数の範囲よりサンプリング集合を生成する（Ｓ３０３）。例えば、集合生成部２３は、ユーザが所望する目的関数に該当する範囲のサンプリング集合Ｍを生成する。なお、ｉはサンプリング集合の数であり、ｊは潜在空間（潜在変数の平均値）の次元である。その後、獲得部２４は、サンプリング集合をデコードし（Ｓ３０４）、最適解を獲得する（Ｓ３０５）。
【0047】
図１３は、目的関数、変数、特性値の集合の算出を説明する図である。図１３に示すように、獲得部２４は、潜在変数におけるサンプリング集合Ｍを学習済みＶＡＥのデコーダに入力し、復元結果として画像化変数Ｄ´（ｄ´１～ｄ´ｎ）、画像化目的関数Ｅ´（ｅ´１～ｅ´ｎ）、画像化特性値Ｆ´（ｆ´１～ｆ´ｎ）の集合ζ＝｛Ｘ´１，Ｘ´２，・・・Ｘ´ｎ｝を取得する。なお、Ｘ´には、｛Ｄ´１～ｍ，Ｅ´１～ｎ，Ｆ´１～ｏ｝が含まれる。そして、獲得部２４は、画像化変数Ｄ´、画像化目的関数Ｅ´、画像化特性値Ｆ´の集合それぞれを数値化し、変数π´１～π´ｎの集合Π´、目的関数γ´１～γ´ｎの集合Γ、特性値λ´１～λ´ｎの集合Λを生成する。
【0048】
［具体例］
次に、上述した最適解の獲得の具体例を説明する。ここでは、ＬＬＣ電流共振回路の回路設計における設計パラメータの最適化を例にして説明する。
次に、上述した最適解の獲得の具体例を説明する。ここでは、ＬＬＣ電流共振回路の回路設計における設計パラメータの最適化を例にして説明する。
【0049】
（回路図）
まず、設計対象となる回路図について説明する。図１４は、具体例で使用する回路図を示す図である。図１４に示すように、ここでは、２つのリアクトルＬｒ，ＬｍとコンデンサＣｒとを有するＬＬＣ電流共振回路を例にして説明する。また、図１４に示すように、４つの観測点における節点波形と３つのパラメータ（Ｃｒ，Ｌｒ，Ｌｍ）の画像データを用いて、学習および最適解の獲得を実行する。なお、４つの観測点が現象を示す上記特性値に対応し、３つのパラメータが上記変数に対応し、電力効率が上記目的関数に対応する。
まず、設計対象となる回路図について説明する。図１４は、具体例で使用する回路図を示す図である。図１４に示すように、ここでは、２つのリアクトルＬｒ，ＬｍとコンデンサＣｒとを有するＬＬＣ電流共振回路を例にして説明する。また、図１４に示すように、４つの観測点における節点波形と３つのパラメータ（Ｃｒ，Ｌｒ，Ｌｍ）の画像データを用いて、学習および最適解の獲得を実行する。なお、４つの観測点が現象を示す上記特性値に対応し、３つのパラメータが上記変数に対応し、電力効率が上記目的関数に対応する。
【0050】
（学習データ）
次に、設計パラメータの最適な組み合わせを獲得するためのＶＡＥの学習に利用する学習データについて説明する。ここでは、回路パラメータの変化に対して敏感な４つの観測点１～４の波形をマルチチャネルの画像データとして与え、出力電流は電力効率変化の影響が大きい最大値を用いる。なお、潜在空間は出力電流毎に異なると予測する。
次に、設計パラメータの最適な組み合わせを獲得するためのＶＡＥの学習に利用する学習データについて説明する。ここでは、回路パラメータの変化に対して敏感な４つの観測点１～４の波形をマルチチャネルの画像データとして与え、出力電流は電力効率変化の影響が大きい最大値を用いる。なお、潜在空間は出力電流毎に異なると予測する。
【0051】
また、節点波形、電力効率に敏感で設計変更が比較的容易に可能な回路パラメータ（Ｃｒ，Ｌｒ，Ｌｍ）のパラメータ値をマルチチャネルの画像データ（全ピクセルをパラメータ値、最大値で正規化）として与える。さらに、電力効率をマルチチャネルの画像データ（全ピクセルを電力効率）として与える。なお、各画像サイズは、１２０×１２０とする。以上より、チャネル数は、観測点数＋パラメータ数＋電力効率＝４＋３＋１＝８とする。また、学習データの数は９６１個とする。なお、Ｌｍは設計値を使用し、ＬｒとＣｒは設計値から－３０％から＋３０％の範囲を２％刻みで変動させる。
【0052】
このような環境において、具体例では、潜在空間において任意点をランダムに抽出し、推論した回路パラメータ組合せを設計パラメータとして採用し、シミュレーションを実施して、回路部品最適化の良否を確認する。
【0053】
（ＶＡＥ）
次に、学習対象であるＶＡＥについて説明する。図１５は、潜在空間を生成するＶＡＥの構造と損失を説明する図である。図１５に示すように、学習対象のＶＡＥは、４段のＣＮＮ（Convolutional Neural Network）と２段のＦＣ（Full－Connected）層を有するエンコーダと、１段のＦＣ層と２段のＣＮＮを有するデコーダとから構成される。学習データの数は、各パラメータのステップの２乗＝（３１）２＝９６１とし、そのうちの１０％の９６個を検証データ、残りの８６５個を訓練データとして使用する。また、学習時のバッチサイズを１６、学習のエポック数を１００とし、最適化アルゴリズムであるオプティマイザとしてＮａｄａｍを使用する。また、１エポックの訓練時間を３秒とする。
次に、学習対象であるＶＡＥについて説明する。図１５は、潜在空間を生成するＶＡＥの構造と損失を説明する図である。図１５に示すように、学習対象のＶＡＥは、４段のＣＮＮ（Convolutional Neural Network）と２段のＦＣ（Full－Connected）層を有するエンコーダと、１段のＦＣ層と２段のＣＮＮを有するデコーダとから構成される。学習データの数は、各パラメータのステップの２乗＝（３１）２＝９６１とし、そのうちの１０％の９６個を検証データ、残りの８６５個を訓練データとして使用する。また、学習時のバッチサイズを１６、学習のエポック数を１００とし、最適化アルゴリズムであるオプティマイザとしてＮａｄａｍを使用する。また、１エポックの訓練時間を３秒とする。
【0054】
このような条件により学習された学習済みのＶＡＥの損失（Loss）を図１５の下図に示す。図１５の横軸は学習のエポック数であり、縦軸は損失である。図１５に示すように、訓練データを用いたときの損失（Training loss）が０．２８１７、検証データを用いたときの損失（Validation loss）が０．２８６３であり、ＶＡＥは、上記学習条件により十分に学習できていることがわかる。
【0055】
なお、検証に使用した検証データの分布を図１６に示す。図１６は、潜在空間における検証データの分布を説明する図である。図１６に示すように、潜在空間上の点が潜在空間（０，０）を中心に分布し、偏りがなく均一な分布となっていることから、学習データの変動範囲を表現できており、図１５に示した検証結果の信頼性も高いと判断できる。
【0056】
（復元結果）
次に、図１７から図１９を用いて、ＶＡＥによる復元結果を説明する。図１７は、学習データの復元画像を説明する図である。図１８は、潜在空間における節点波形の復元画像を説明する図である。図１９は、潜在空間におけるパラメータおよび電力効率の復元画像を説明する図である。
次に、図１７から図１９を用いて、ＶＡＥによる復元結果を説明する。図１７は、学習データの復元画像を説明する図である。図１８は、潜在空間における節点波形の復元画像を説明する図である。図１９は、潜在空間におけるパラメータおよび電力効率の復元画像を説明する図である。
【0057】
図１７では、４つの観測点と３つのパラメータと電力効率の８つの学習データに対応する画像（学習画像）と、その学習画像を入力して得られる復元画像とを示している。図１７に示すように、観測点波形、パラメータ、電力効率の学習画像と復元画像は一致傾向にあり、ＶＡＥが十分に学習できていることがわかる。
【0058】
図１８では、観測点１から４で観測された波形の復元画像を示している。なお、各観測点波形の時間は２周期分、振幅は最小から最大区間で補正している。図１８に示すように、各観測点波形の復元画像は、連続的な波形の微小変動である。ただし、学習データの波形変動が小さいため観測点波形の特徴量を学習できているかを完全に把握することは難しい面もある。
【0059】
図１９では、３つのパラメータ（Ｃｒ，Ｌｒ，Ｌｍ）と電力効率の復元画像を示している。なお、各パラメータについては、最大値で規格化し、電力効率については、最小から最大の範囲で規格化している。図１９に示すように、各パラメータの復元画像は概ね連続的なパラメータ変動を示しており、ＶＡＥでパラメータの特徴量を学習できていると判断することができる。同様に、電力効率の復元画像は概ね連続的なパラメータ変動を示しており、ＶＡＥで電力効率の特徴量を学習できていると判断することができる。
【0060】
（潜在空間の調査・検証）
次に、学習済みＶＡＥに対して、訓練データ（入力データ）を入力して、入力データを復元した復元結果と入力データとを比較することにより、学習済みＶＡＥを検証した結果について説明する。
次に、学習済みＶＡＥに対して、訓練データ（入力データ）を入力して、入力データを復元した復元結果と入力データとを比較することにより、学習済みＶＡＥを検証した結果について説明する。
【0061】
まず、各パラメータの分布の検証を説明する。図２０は、潜在空間におけるＬｍパラメータの分布を説明する図である。図２１は、潜在空間におけるＬｒパラメータの分布を説明する図である。図２２は、潜在空間におけるＣｒパラメータの分布を説明する図である。図２３は、潜在空間における電力効率の分布を説明する図である。なお、各パラメータ値および電力効率は、復元画像全ピクセルの平均値を採用した。図２０から図２３では、学習データが潜在空間で実際はどこに分類されていたかを示す学習データの分布と、潜在空間からグリッド上でサンプリング（抽出）した点がどのような値を持っているかを示す復元値とを図示する。なお、図２０から図２３の縦軸は、潜在空間上に形成した解空間の２次元座標であり、横軸は、潜在空間上に形成した解空間の１次元座標である。また、分布の横に示す縦の数値は、解空間次元であり、ここでは２次元の例を図示している。この場合、（０，０）が解空間の中心である。
【0062】
図２０に示すように、ＶＡＥに入力したパラメータＬｍの学習データの分布と、学習済みのＶＡＥによる復元されたパラメータＬｍの復元値とを比較すると、学習データと復元値の分布傾向は概ね同一傾向（一定値）であり、パラメータＬｍの分布を学習できていると判断することができる。
【0063】
また、図２１に示すように、ＶＡＥに入力したパラメータＬｒの学習データの分布と、学習済みのＶＡＥによる復元されたパラメータＬｒの復元値とを比較すると、学習データと復元値の分布傾向は概ね同一傾向（一定値）であり、パラメータＬｒの分布を学習できていると判断することができる。
【0064】
図２２に示すように、ＶＡＥに入力したパラメータＣｒの学習データの分布と、学習済みのＶＡＥによる復元されたパラメータＣｒの復元値とを比較すると、学習データと復元値の分布傾向は概ね同一傾向（一定値）であり、パラメータＣｒの分布を学習できていると判断することができる。
【0065】
また、図２３に示すように、ＶＡＥに入力した電力効率の学習データの分布と、学習済みのＶＡＥによる復元された電力効率の復元値とを比較すると、学習データと復元値の分布傾向は概ね同一傾向（一定値）であり、電力効率の分布を学習できていると判断することができる。
【0066】
（設計パラメータ組合せの獲得）
次に、学習済みＶＡＥに対して、訓練データを入力することにより、潜在空間上でサンプリング集合を生成し、サンプリング集合を復元することで、最適な設計パラメータの組み合わせを獲得する具体例について説明する。
次に、学習済みＶＡＥに対して、訓練データを入力することにより、潜在空間上でサンプリング集合を生成し、サンプリング集合を復元することで、最適な設計パラメータの組み合わせを獲得する具体例について説明する。
【0067】
図２４は、電力効率分布とランダム抽出を説明する図である。ここでは、図２４に示すように、電力効率分布から任意の点をランダムに２００点抽出する。そして、抽出した各点を用いて、各パラメータを推定し、設計パラメータを獲得する。
【0068】
次に、電力効率のシミュレーション値と、電力効率の学習済みＶＡＥによる推定値との比較を説明する。図２５は、電力効率分布のシミュレーション値と推定値を説明する図である。なお、潜在空間における電力効率（縦軸）の分布を示す。図２５の（１）に示すように、学習データに利用した電力効率の分布は、シミュレーション値と推定値とにおいて同じ傾向を示している。また、図２５の（２）に示す電力効率の低い部分では、シミュレーション値と推定値とでは若干異なる傾向にあるが、図２５の（３）に示す電力効率の高い部分では、シミュレーション値と推定値とでは同じ傾向にある。
【0069】
次に、電力効率のシミュレーション値と、電力効率の学習済みＶＡＥによる推定値との誤差を説明する。図２６は、推定値とシミュレーション値との誤差を説明する図である。なお、図２６では、絶対誤差（縦軸）と相対誤差（縦軸）それぞれの分布を示す。
【0070】
絶対誤差について、図２６の（１）に示すように、学習データ内では概ね絶対誤差±０．００１１以下であるが、図２６の（２）に示すように、学習データの領域外の一部で誤差が若干大きい。また、誤差の頻度分布は概ね正規分布の傾向を示している。
【0071】
相対誤差について、図２６の（３）に示すように、学習データ内では概ね相対誤差±０．１２以下であるが、図２６の（４）に示すように、学習データの領域外の一部で誤差が若干大きい。また、誤差の頻度分布は概ね正規分布の傾向を示している。
【0072】
図２７は、推定値とシミュレーション値との電力効率の比較を説明する図である。図２７では、図１４に示した電源回路（ＬＬＣ電流共振）の電力効率について、シミュレーション値と学習済みＶＡＥを用いた推定値とを示している。図２７に示すように、絶対誤差±０．００２の検証データは、学習データの内挿領域の９５．５％、全体の６２．５％を網羅し、絶対誤差±０．００３の検証データは、学習データの内挿領域の１００％、全体の８２．０％を網羅する。ここでは、絶対誤差±０．００３以下に検証データの８２％が包含されており（特徴量分布におけるランダムな２００点で検証）、設計指標を最大化するパラメータ変数の組み合わせ候補の獲得を行った。
【0073】
（設計パラメータ組合せの最適化）
次に、図２８を用いて、図２７で取得した設計パラメータ組合せについて、最大電力効率となるパラメータ組み合わせの獲得について説明する。図２８は、最適解の獲得を説明する図である。
次に、図２８を用いて、図２７で取得した設計パラメータ組合せについて、最大電力効率となるパラメータ組み合わせの獲得について説明する。図２８は、最適解の獲得を説明する図である。
【0074】
図２８に示す最適解の獲得では、学習データ内の電力効率分布から１０，０００点をランダムに抽出し、学習済みＶＡＥのエンコーダにより生成される潜在空間上において最大電力効率となる最適点を獲得する。そして、学習済みＶＡＥのデコーダを用いて最適点より各パラメータを推定し、設計パラメータの最適値を獲得した。
【0075】
図２８に示すように、設計パラメータＬｍ、Ｌｒ、Ｃｒそれぞれの最適解と設計値（設計値上で得られる最適解）との誤差は許容できる範囲内で収まっている。また、電力効率の推論値とシミュレーション値とのそれぞれについて、最適解と設計値との誤差も許容できる範囲内で収まっている。つまり、実施例１で説明した学習済みＶＡＥを用いて獲得した最適値は、設計パラメータ範囲（学習データ内）における最適な設計パラメータ組合せと同一傾向である。
【0076】
［効果］
上述したように、実施例１にかかる情報処理装置１０は、目的関数を含む訓練データを用いてＶＡＥを学習し、学習済みＶＡＥ（エンコーダ）に訓練データを入力して、潜在空間上で類似度の高い目的関数を配置する。そして、情報処理装置１０は、任意の目的関数を含むサンプリング集合を生成し、学習済みＶＡＥ（デコーダ）に入力して復元することで、最適解を獲得する。
上述したように、実施例１にかかる情報処理装置１０は、目的関数を含む訓練データを用いてＶＡＥを学習し、学習済みＶＡＥ（エンコーダ）に訓練データを入力して、潜在空間上で類似度の高い目的関数を配置する。そして、情報処理装置１０は、任意の目的関数を含むサンプリング集合を生成し、学習済みＶＡＥ（デコーダ）に入力して復元することで、最適解を獲得する。
【0077】
この結果、情報処理装置１０は、問題の解空間が複雑な場合でも、高速に最適解を獲得することができる。また、情報処理装置１０は、目的関数が集中して配置される解空間を構成でき、学習済みＶＡＥの内挿により、少ないデータ数で最適解を獲得することができる。
【0078】
さらに、情報処理装置１０は、図２０等に示すように、解空間の特徴量を学習済みＶＡＥの潜在空間を用いて表現して出力することもできる。このため、学習済みＶＡＥにより最適解を獲得できずに、学習済みＶＡＥを再学習する場合でも、各変数の変動範囲を容易に正確に再設定することができ、再学習の精度を向上させることができる。例えば、１度目の学習時のＬｍパラメータの分布が図２０の場合、図２０の分布を参照して、２度目の学習データの分布を広げたり、別の分布となるような学習データを生成したりすることができる。
【実施例2】
【0079】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
【0080】
［データや数値等］
上記実施例で用いたデータ例、数値例、閾値、表示例等は、あくまで一例であり、任意に変更することができる。また、訓練データには、正解情報である目的関数が含まれていてればよく、目的関数に影響を与える変数等を任意に選択することができる。上記実施例では、目的関数等を画像化する例を説明したが、これに限定されるものではなく、グラフなど画像の特徴量を表現できる他の情報を採用することができる。また、具体例では、回路設計におけるパラメータの最適解を例にして説明したが、あくまで一例であり、他の分野にも適用することができる。
上記実施例で用いたデータ例、数値例、閾値、表示例等は、あくまで一例であり、任意に変更することができる。また、訓練データには、正解情報である目的関数が含まれていてればよく、目的関数に影響を与える変数等を任意に選択することができる。上記実施例では、目的関数等を画像化する例を説明したが、これに限定されるものではなく、グラフなど画像の特徴量を表現できる他の情報を採用することができる。また、具体例では、回路設計におけるパラメータの最適解を例にして説明したが、あくまで一例であり、他の分野にも適用することができる。
【0081】
また、上記実施例では、変分オートエンコーダを用いた例を説明したが、これに限定されるものではなく、類似度の高い目的関数を集約させることができる他の機械学習を用いることもできる。
【0082】
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0083】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0084】
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0085】
［ハードウェア］
図２９は、ハードウェア構成例を説明する図である。図２９に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２９に示した各部は、バス等で相互に接続される。
図２９は、ハードウェア構成例を説明する図である。図２９に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２９に示した各部は、バス等で相互に接続される。
【0086】
通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。
【0087】
プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、訓練データ生成部２１、学習部２２、集合生成部２３、獲得部２４等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、訓練データ生成部２１、学習部２２、集合生成部２３、獲得部２４等と同様の処理を実行するプロセスを実行する。
【0088】
このように、情報処理装置１０は、プログラムを読み出して実行することで最適解の獲得方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
【符号の説明】
【0089】
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ データＤＢ
１４ 訓練データＤＢ
２０ 制御部
２１ 訓練データ生成部
２２ 学習部
２３ 集合生成部
２４ 獲得部
１１ 通信部
１２ 記憶部
１３ データＤＢ
１４ 訓練データＤＢ
２０ 制御部
２１ 訓練データ生成部
２２ 学習部
２３ 集合生成部
２４ 獲得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】