特許 7580246 パラメータ最適化装置、方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-31

(45)【発行日】2024-11-11

(54)【発明の名称】パラメータ最適化装置、方法及びシステム

(51)【国際特許分類】

   G06N 99/00 20190101AFI20241101BHJP

【ＦＩ】

G06N99/00 180

【請求項の数】 22

(21)【出願番号】P 2020185291

(22)【出願日】2020-11-05

(65)【公開番号】P2022074880

(43)【公開日】2022-05-18

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】中川 英之

(72)【発明者】

【氏名】田口 安則

(72)【発明者】

【氏名】雁木 比呂

【審査官】坂庭 剛史

(56)【参考文献】

【文献】特開２０２０－１４４５３０（ＪＰ，Ａ）

【文献】特開２０２０－０２７３７０（ＪＰ，Ａ）

【文献】武田惇史／太田 健，サンプル点制限と再起動戦略に基づくベイズ最適化の計算量削減，Preferred Networks Research & Development [online]，日本，2019年10月24日，[令和6年3月13日検索], pp.1-10，インターネット＜URL：https://tech.preferred.jp/ja/blog/limited-gp/＞

【文献】KIRSCHNER, Johannes et.al.，Adaptive and Safe Bayesian Optimization in High Dimensions via One-Dimensional Subspaces，Proceedings of the 36th International Conference on Machine Learning (ICML)，Vol.97 of PMLR，米国，2019年05月28日，pp.3429-3438，インターネット＜URL：https://web.archive.org/web/20190615074833id_/http://proceedings.mlr.press/v97/kirschner19a/kirschner19a.pdf＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ９９／００

(57)【特許請求の範囲】

【請求項1】

第１次元数の第１パラメータ値と第１パラメータ値に対応する目的関数の観測値とを含む複数のデータセットを記憶する記憶部と、
所定の第１パラメータ値を含む前記第１次元数より小さい第２次元数の探索空間を決定する探索空間決定部と、
前記探索空間から所定の距離に含まれる第１パラメータ値を有する１以上のデータセット又は当該データセットに対応する前記第２次元数の第２パラメータ値を有する１以上のデータセットを前記複数のデータセットに基づいて取得する第１取得部と、
前記取得された１以上のデータセットに基づく前記目的関数の代理モデルを用いて前記探索空間内で前記目的関数を最適化し得る第１パラメータ値又は第２パラメータ値を探索するパラメータ探索部と、
を具備し、
前記第１取得部は、前記複数のデータセット各々について第１パラメータ値と前記探索空間との距離を算出し、前記距離が閾値以下の第１パラメータ値又は当該第１パラメータ値に対応する前記第２次元数の第２パラメータ値を、前記１以上の第１パラメータ値又は第２パラメータ値として取得する、
パラメータ最適化装置。

【請求項2】

前記探索された第１パラメータ値に対応する前記目的関数の観測値又は前記探索された第２パラメータ値に対応する第１パラメータ値に対応する前記目的関数の観測値と、前記探索された第１パラメータ値又は第２パラメータ値とを含むデータセットを生成する生成部、を更に備え、
前記記憶部は、前記生成されたデータセットを記憶する、
請求項１記載のパラメータ最適化装置。

【請求項3】

前記探索空間決定部は、前記生成部によりデータセットが生成された後、外側の判定条件が満たされるか否かを判定し、
前記外側の判定条件が満たされない場合、前記記憶部、前記探索空間決定部、前記第１取得部、前記パラメータ探索部及び前記生成部による処理が繰り返される、
請求項２記載のパラメータ最適化装置。

【請求項4】

前記探索空間決定部は、前記生成部によりデータセットが生成された後、内側の判定条件を満たすか否かを判定し、前記内側の判定条件が満たされた場合、前記外側の判定条件を満たすか否かを判定し、
前記探索空間決定部は、前記探索空間決定部、前記第１取得部、前記パラメータ探索部及び前記生成部による繰り返し処理において、前記内側の判定条件が満たされ且つ前記外側の判定条件が満たされない場合、前記記憶部に記憶されている複数のデータセットから目的関数の観測値が最小又は最大となる第１パラメータ値を取得し、前記第２次元数の他の第２パラメータを選択し、前記取得した第１パラメータ値を含むように前記選択した第２パラメータを探索するための前記第２次元数の探索空間を決定する、請求項３記載のパラメータ最適化装置。

【請求項5】

前記探索空間決定部は、前記繰り返し処理毎に、複数のグループに分けられた前記第２次元数の第２パラメータ値の中から一のグループに属する第２パラメータを選択する、又は前記第１次元数の第１パラメータの中からランダムに前記第２次元数の第２パラメータを選択する、請求項４記載のパラメータ最適化装置。

【請求項6】

前記探索空間決定部は、
前記所定の第１パラメータ値を含む前記第２次元数のアフィン部分空間を前記探索空間に設定し、
前記繰り返し処理毎に、前記第２次元数又は前記アフィン部分空間に付随する線型部分空間の少なくともいずれか一方を変化させることで前記第２次元数のアフィン部分空間を変化させる、
請求項４記載のパラメータ最適化装置。

【請求項7】

前記パラメータ探索部は、前記内側の判定条件が満たされない場合、繰り返し同一の前記探索空間を探索して前記第１パラメータ値又は第２パラメータ値を探索する、請求項４記載のパラメータ最適化装置。

【請求項8】

前記繰り返し処理は、並列的又は直列的に複数のタスクとして実行され、
前記記憶部は、前記複数のタスクにそれぞれ対応する複数のタスク記憶部を有し、
前記複数のタスク記憶部各々は、当該タスク毎に第１パラメータ値と第１パラメータ値に対応する観測値とを蓄積し、
前記複数のタスク記憶部各々は、前記内側の判定条件が満たされない場合、前記複数のタスク記憶部に記憶されている第１パラメータ値のうちの、最小又は最大の観測値に対応する第１パラメータ値を記憶する、
請求項４記載のパラメータ最適化装置。

【請求項9】

前記外側の判定条件が満たされるときに前記記憶部に記憶されているデータセットの中から最大又は最小の観測値を有する第１パラメータ値を取得する第２取得部を更に備える、請求項３記載のパラメータ最適化装置。

【請求項10】

前記記憶部、前記探索空間決定部、前記第１取得部、前記パラメータ探索部及び前記生成部による繰り返し処理は、並列的又は直列的に複数のタスクとして実行され、
前記記憶部は、前記複数のタスクにそれぞれ対応する複数のタスク記憶部を有し、
前記複数のタスク記憶部各々は、当該タスク毎に第１パラメータ値と第１パラメータ値に対応する観測値とを蓄積し、
前記第２取得部は、前記外側の判定条件が満たされた場合、前記複数のタスク記憶部に記憶されている第１パラメータ値のうちの、最小又は最大の観測値に対応する第１パラメータ値を取得する、
請求項９記載のパラメータ最適化装置。

【請求項11】

前記閾値は、正の値である、請求項１記載のパラメータ最適化装置。

【請求項12】

前記第１取得部は、前記複数のデータセット各々について第１パラメータ値と前記探索空間との距離を算出し、前記距離が閾値以下の第１パラメータ値又は当該第１パラメータ値に対応する前記第２次元数の第２パラメータ値を、前記１以上の第１パラメータ値又は第２パラメータ値として取得し、
前記閾値は、前記探索空間決定部、前記第１取得部、前記パラメータ探索部及び前記生成部による繰り返し処理の回数に応じて異なる、
請求項３記載のパラメータ最適化装置。

【請求項13】

前記閾値を、ユーザからの指示に従い選択するためのＧＵＩ画面を表示する表示部を更に備える、請求項１記載のパラメータ最適化装置。

【請求項14】

前記距離は、ユークリッド距離、マンハッタン距離、コサイン距離又はマハラノビス距離である、請求項１記載のパラメータ最適化装置。

【請求項15】

前記距離の種類を、ユーザからの指示に従い選択するためのＧＵＩ画面を表示する表示部を更に備える、請求項１４記載のパラメータ最適化装置。

【請求項16】

前記第１取得部は、前記探索空間までの距離が前記所定の距離に含まれる前記１以上の第１パラメータ値又は第２パラメータ値を、前記複数のデータセットに基づいて抽出する又は前記第２次元数の探索空間に基づいてランダムに生成する、請求項１記載のパラメータ最適化装置。

【請求項17】

前記１以上の第１パラメータ値に対応する前記目的関数の観測値又は前記１以上の第２パラメータ値に対応する第１パラメータ値に対応する前記目的関数の観測値と、前記１以上の第１パラメータ値又は第２パラメータ値とを含むデータセットを生成する生成部、を更に備え、
前記記憶部は、前記生成されたデータセットを記憶する、
請求項１６記載のパラメータ最適化装置。

【請求項18】

前記第２次元数を、ユーザからの指示に従い選択するためのＧＵＩ画面を表示する表示部を更に備える、請求項１記載のパラメータ最適化装置。

【請求項19】

前記パラメータ探索部は、前記取得された１以上のデータセットに基づき前記代理モデルを生成し、前記代理モデルを最適化する前記探索空間内の第１パラメータ値又は第２パラメータ値を、前記目的関数を最適化し得る第１パラメータ値又は第２パラメータ値として探索する、請求項１記載のパラメータ最適化装置。

【請求項20】

前記所定の第１パラメータ値は、デフォルト値と、ランダム値と、前記記憶部に記憶された第１パラメータ値のうちの最小又は最大の観測値に対応する第１パラメータ値との何れか１つである、請求項１記載のパラメータ最適化装置。

【請求項21】

第１次元数の所定の第１パラメータ値を含む前記第１次元数より小さい第２次元数の探索空間を決定し、
前記探索空間から所定の距離に含まれる第１パラメータ値を有する１以上のデータセット又は当該データセットに対応する前記第２次元数の第２パラメータ値を有する１以上のデータセットを複数のデータセットに基づいて取得し、ここで、前記複数のデータセットの各々は、前記第１次元数の第１パラメータ値と当該第１パラメータ値に対応する目的関数の観測値とを含み、
前記取得された１以上のデータセットに基づく前記目的関数の代理モデルを用いて前記探索空間内で前記目的関数を最適化し得る第１パラメータ値又は第２パラメータ値を探索する、
ことを具備し、
前記取得することは、前記複数のデータセット各々について第１パラメータ値と前記探索空間との距離を算出し、前記距離が閾値以下の第１パラメータ値又は当該第１パラメータ値に対応する前記第２次元数の第２パラメータ値を、前記１以上の第１パラメータ値又は第２パラメータ値として取得する、
パラメータ最適化方法。

【請求項22】

第１次元数の第１パラメータ値と第１パラメータ値に対応する目的関数の観測値とを含む複数のデータセットを記憶する記憶部と、
所定の第１パラメータ値を含む前記第１次元数より小さい第２次元数の探索空間を決定する探索空間決定部と、
前記探索空間から所定の距離に含まれる第１パラメータ値を有する１以上のデータセット又は当該データセットに対応する前記第２次元数の第２パラメータ値を有する１以上のデータセットを前記複数のデータセットに基づいて取得する第１取得部と、
前記取得された１以上のデータセットに基づく前記目的関数の代理モデルを用いて前記探索空間内で前記目的関数を最適化し得る第１パラメータ値又は第２パラメータ値を探索するパラメータ探索部と、
前記探索された第１パラメータ値に対応する前記目的関数の観測値又は前記探索された第２パラメータ値に対応する第１パラメータ値に対応する前記目的関数の観測値を算出する算出部と、
前記探索された第１パラメータ値又は第２パラメータ値に対応する第１パラメータ値と前記算出された観測値とを含むデータセットを生成する生成部と、
を具備し、
前記第１取得部は、前記複数のデータセット各々について第１パラメータ値と前記探索空間との距離を算出し、前記距離が閾値以下の第１パラメータ値又は当該第１パラメータ値に対応する前記第２次元数の第２パラメータ値を、前記１以上の第１パラメータ値又は第２パラメータ値として取得する、
パラメータ最適化システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、パラメータ最適化装置、方法及びシステムに関する。

【背景技術】

【0002】

社会には、様々な機器があり、それら機器は様々な部品から構成されている。これらの機器や部品は、設計され、製造され、活用される。

【0003】

設計段階においては、特性が仕様を満たす機器や部品が設計される場合がある。この際、設計時に調整できるパラメータを様々な値に変更し、シミュレーションや実験、アンケートを実施することで、それらのパラメータ値で設計したときの特性を取得し、その特性が仕様を満たすパラメータ値を求める。ここで、特性は例えば、機器や部品の性能や製造コスト、顧客満足度である。機器や部品の性能は良いほど好ましく、製造コストは低いほど好ましく、顧客満足度は高いほど好ましい。特性の値が大きいほど良い場合は、その特性を最大化するパラメータ値を少ない時間や手間で求めることが要求される。特性の値が小さいほど良い場合は、その特性を最小化するパラメータ値を少ない時間や手間で求めることが要求される。

【0004】

特性が最大又は最小となるパラメータ値を求めることは、パラメータ最適化と呼ばれる。パラメータ値に応じて変化する特性は、目的関数と呼ばれる。シミュレーションや実験、アンケートは、目的関数の値を観測するための手段である。

【0005】

製造段階においても、パラメータ最適化が用いられる場合がある。例えば、製造時の歩留まりを最大化するパラメータ値を求めたり、出荷後の故障率を最小化するパラメータ値を求めたりする場合がある。

【0006】

活用段階においても、パラメータ最適化が用いられる場合がある。例えば、ユーザの手元に届いた機器や部品が、ユーザの利用環境に合った性能を発揮するパラメータ値をユーザによる初期設定時に求める場合がある。

【0007】

パラメータは複数ある場合が多い。調整するパラメータの数をＤで表すと、複数のパラメータはＤ次元ベクトルで表現できる。Ｄ次元ベクトルで表現できるパラメータをＤ次元パラメータと呼び、Ｄ次元パラメータが持つ値をＤ次元パラメータ値と呼ぶことにする。最適なＤ次元パラメータ値を探索する空間はＤ次元空間となる。Ｄが大きいほど、探索空間が広いため、最適化が困難である。

【0008】

Ｄ次元空間（Ｄ≧２）において、目的関数を最大又は最小にするＤ次元パラメータ値を探索するパラメータ最適化方式として、非特許文献１の手法が知られている。この手法では、探索空間をＤ次元空間中の１次元空間に限定し、その１次元探索空間を切り替えながらベイズ最適化を反復することで、パラメータ値を探索する。これにより、Ｄ次元パラメータの探索を効率化する。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０２０－２７３７０号公報

【非特許文献】

【0010】

【文献】J. Kirschner, M. Mutny, N. Hiller, R. Ischebeck, and A. Krause,“Adaptive and safe Bayesian optimization in high dimensions via one-dimensional subspaces,” in Proceedings of the 36th International Conference on Machine Learning, vol. 97, pp. 3429－3438, PMLR, 2019.

【発明の概要】

【発明が解決しようとする課題】

【0011】

非特許文献１の手法が利用しているベイズ最適化では、逆行列の計算が必要であり、パラメータ探索の反復回数に応じて計算量が増加する。シミュレーションや実験、アンケートといった、目的関数の値を観測するのにかかる時間が長いとはいえ、パラメータ探索の反復回数が多くなったときの計算量も、無視できない長さになる場合がある。

【0012】

本発明が解決する課題は、効率的に最適なパラメータ値を探索できるパラメータ最適化装置、方法及びシステムを提供することである。

【課題を解決するための手段】

【0013】

実施形態に係るパラメータ最適化装置は、記憶部、探索空間決定部、第１取得部及びパラメータ探索部を有する。記憶部は、第１次元数の第１パラメータ値と第１パラメータ値に対応する目的関数の観測値とを含む複数のデータセットを記憶する。探索空間決定部は、所定の第１パラメータ値を含む前記第１次元数より小さい第２次元数の探索空間を決定する。第１取得部は、前記探索空間から所定の距離に含まれる第１パラメータ値を有する１以上のデータセット又は当該データセットに対応する第２パラメータ値を有するデータセットを前記複数のデータセットに基づいて取得する。パラメータ探索部は、前記取得された１以上のデータセットに基づく前記目的関数の代理モデルを用いて前記探索空間内で前記目的関数を最適化し得る第１パラメータ値又は第２パラメータ値を探索する。

【図面の簡単な説明】

【0014】

【図1】第１実施形態に係るパラメータ最適化システムの機能構成例を示す図

【図2】データ記憶部に記憶されるデータセットの一例を示す図

【図3】２次元パラメータ空間における１次元探索空間の一例を示す図

【図4】２次元パラメータ空間における１次元探索空間付近のデータセットの概念を示す図

【図5】２０次元データセットを１次元データセットへ変換する方法の一例を示す図

【図6】１次元パラメータ値から２０次元パラメータ値へ変換する方法の一例を示す図

【図7】第１実施形態に係るパラメータ最適化システムの処理動作の一例を示すフローチャート

【図8】１次元アフィン部分空間の一例を示す図

【図9】第２実施形態に係るパラメータ最適化システムの機能構成例を示す図

【図10】第２実施形態に係るパラメータ最適化システムの処理動作の一例を示すフローチャート

【図11】次元取得画面の一例を示す図

【図12】距離種入力画面の一例を示す図

【図13】閾値入力画面の一例を示す図

【図14】パラメータ最適化装置のハードウェア構成例を示す図

【発明を実施するための形態】

【0015】

本実施形態において使用する用語について定義する。調整対象のパラメータの数をＤで表す。Ｄ個のパラメータはＤ次元ベクトルで表現できる。Ｄ次元ベクトルで表現できるパラメータをＤ次元パラメータと呼び、Ｄ次元パラメータが持つ値をＤ次元パラメータ値と呼ぶことにする。Ｄ次元パラメータ値をｘで表す。最適化する目的関数をｆ（・）、目的関数の観測値をｙで表す。ｒ次元のパラメータ値をｘ^ｒで表す。Ｄ＞ｒとする。

【0016】

目的関数の値を最大化するＤ次元パラメータ値を求めたい場合、目的関数の符号を反転させることにより、等価な最小化問題に書き直せる。そこで、以下では、目的関数ｆ（・）の値を最小化するＤ次元パラメータ値を求める場合の例を説明し、最大化問題の説明を省略する。

【0017】

以下、図面を参照しながら本実施形態に係わるパラメータ最適化装置、方法及びシステムを説明する。以下の実施形態では、パラメータ最適化装置の特徴的な構成および動作を主に説明するが、パラメータ最適化装置には以下の説明で省略した構成および動作が存在しうる。

【0018】

（第１実施形態）
図１は、第１実施形態に係るパラメータ最適化システム１の機能構成例を示す図である。図１に示すように、パラメータ最適化システム１は、パラメータ最適化装置２Ａと観測値出力装置３とを有するコンピュータシステムである。パラメータ最適化装置２Ａと観測値出力装置３とは、有線又は無線を介して通信可能に接続されている。パラメータ最適化装置２Ａは、観測値出力装置３からの観測値とそれに対応するパラメータ値に基づいて、目的関数を最適化する可能性のあるパラメータ値を探索するコンピュータである。観測値出力装置３は、パラメータ値に基づいてシミュレーション、実験又はアンケートを行い、目的関数の値を観測、換言すれば、目的関数の観測値を出力するコンピュータである。パラメータ最適化システム１は、パラメータ最適化装置２Ａによる目的関数を最適化する可能性のあるパラメータ値の探索と、探索されたパラメータ値に対応する観測値出力装置３を利用した目的関数の観測値の出力とを繰り返す。

【0019】

図１に示すように、パラメータ最適化装置２Ａは、例えば、データ記憶部１１、探索空間決定部１２、データ取得部１３、パラメータ探索部１４、データ生成部１５及び最適パラメータ値取得部１６を有する。

【0020】

データ記憶部１１は、例えば、Ｄ次元パラメータ値と当該Ｄ次元パラメータ値に対応する目的関数の観測値とのセットをデータとして記憶する。Ｄ次元パラメータ値と観測値とのセットのデータをデータセットと呼ぶことにする。データ記憶部１１には、１以上のデータセットが記憶されている。目的関数の観測値は、観測値出力装置３によりＤ次元パラメータ値に基づいて計算される。

【0021】

データ記憶部１１は、Ｎ_０個のデータセット｛（ｘ_ｎ，ｙ_ｎ）｜ｎ＝０，１，…，Ｎ_０－１｝を記憶しているものとする。ｘ_ｎはｎ番目のＤ次元パラメータ値を表す。ｙ_ｎは、ｘ_ｎに関する目的関数ｆの観測値を表す。すなわち、ｙ_ｎ＝ｆ（ｘ_ｎ）＋ε_ｎである。ここで、ε_ｎは観測値ｙ_ｎに含まれるノイズ成分を表す。データセット数Ｎ_０は、データ生成部１５により生成されたデータセットがデータ記憶部１１に記憶されることにより増加し得る。

【0022】

観測値ｙ_ｎは、観測値出力装置３によるシミュレーションや実験、アンケ―ト等に基づいて観測される。実験やシミュレーション、アンケ―トなどでは、１つ以上の項目についての特性値が得られる。項目数が１つである場合、得られる特性値がスカラーであるため、特性値が目的関数の観測値に用いられる。実験やシミュレーション、アンケ―ト等で得られる特性値の項目が複数の場合、得られる特性値はベクトルで表現される。ベクトルで表現される特性値をスカラーに変換したものが目的関数の観測値に用いられる。スカラーへの変換には、例えば、線形加重和法等が用いられる。

【0023】

図２は、データ記憶部１１に記憶されるデータセットの一例を示す図である。図２は、Ｄ＝２０のデータセットの一例である。２０次元パラメータは、２０個の変数ｘ_（０）、ｘ_（１）、…、ｘ_（１９）を有し、各変数は固有の値を有する。各変数は、フィルタやデバイスの設計パラメータでもよいし、製造装置の設定パラメータでもよい。各変数の値は、連続値、離散値、あるいは、カテゴリ変数でもよい。２０次元パラメータ値から計算される目的関数の観測値の変数をｙとする。図２の各行が２０次元パラメータ値と当該２０次元パラメータ値に対応する目的関数の観測値とを有するデータセットである。

【0024】

探索空間決定部１２は、データ記憶部１１に記憶されているデータセットから目的関数の観測値が最小であるＤ次元パラメータ値ｘ_ｅｘｐを取得し、Ｄ次元パラメータからＤ次元未満のｒ次元パラメータを選択し、取得したＤ次元パラメータ値を含むｒ次元の探索空間を決定する。前記データ記憶部１１に記憶されているデータセットがなければ、Ｄ次元パラメータ値ｘ_ｅｘｐをランダムに設定してもよいし、過去の調整結果から転用してもよい。探索空間はアフィン部分空間である。次元数ｒの値は、予め決められた値でもよいし、ランダムに決めた値でもよい。

【0025】

図３は、２次元パラメータ空間における１次元探索空間の一例を示す図である。つまり、図３は、Ｄ＝２且つｒ＝１の場合の一例である。図３に示す２次元パラメータ空間は、座標軸ｘ_０及び座標軸ｘ_１により規定される空間である。等高線図５０は、当該２次元パラメータ空間内の２次元の目的関数を表したものである。等高線図５０の中心５１は目的関数の最小値に対応する。４つの点は４つの２次元パラメータ値を示す。これら２次元パラメータ値のうち、目的関数の観測値が最小の２次元パラメータ値がｘ_ｅｘｐとしてマークされている。２次元パラメータ値ｘ_ｅｘｐは１次元探索空間５２の基準点である。１次元探索空間５２を決定する場合、注目する１次元を選択する必要があるが、図３ではｘ_０が注目する１次元として選択されている。探索空間決定部１２は、２次元パラメータ値ｘ_ｅｘｐを含むｘ_０に沿った１次元空間を、１次元探索空間５２として決定する。このように次元選択することで、高次元パラメータの最適化問題を低次元パラメータの最適化問題に部分問題化して解くことが可能になる。

【0026】

データ取得部１３は、探索空間決定部１２から取得した探索空間から所定の距離に含まれるＤ次元パラメータ値を有するデータセットを、データ記憶部１１に記憶されている複数のデータセットに基づいて取得する。探索空間から所定の距離に含まれるＤ次元パラメータ値を有するデータセットを探索空間付近のデータセットと呼ぶことにする。探索空間とＤ次元パラメータ値との間の距離は、ユークリッド距離、マンハッタン距離、コサイン距離及びマハラノビス距離の中から任意に選択されるとよい。コサイン距離は、１からコサイン類似度を減算したものとする。コサイン距離は数学的な距離の公理を満たさないが、探索空間との距離を計測するための尺度として利用することが可能である。なお、データ取得部１３により取得されるデータセットは、Ｄ次元パラメータ値と観測値とのセットでもよいし、ｒ次元パラメータ値と観測値とのセットでもよい。

【0027】

図４は、２次元パラメータ空間における１次元探索空間付近のデータセットの概念を示す図である。つまり、図４は、Ｄ＝２且つｒ＝１の場合の一例である。１次元探索空間付近の２次元パラメータ値とは、１次元探索空間５２から所定の距離が閾値ｄ以下の２次元パラメータ値である。つまり、１次元探索空間５２からの距離が閾値ｄ以下の空間５３に含まれる２次元パラメータ値ｘ_ｅｘｐと２次元パラメータ値ｘ_ｏｔｈとが取得される。２次元パラメータ値ｘ_ｏｔｈは、空間５３には含まれるが、１次元探索空間５２には含まれない。ｄ＝０の場合、１次元探索空間付近の２次元パラメータ値は、１次元探索空間５１上の２次元パラメータ値を意味する。図４中の４つの点の中では、１次元探索空間５１上の２次元パラメータ値は、ｘ_ｅｘｐのみである。ｄ＝０の場合、２次元パラメータ値ｘ_ｏｔｈはデータ取得部１３によって取得されない。

【0028】

データ取得部１３は、探索空間付近のデータセットを、データ記憶部１１に記憶されている複数のデータセットから選択してもよいし、データ記憶部１１に記憶されている複数のデータセットに基づいて生成してもよい。データ取得部１３は、データ記憶部１１から取得した探索空間付近のＤ次元パラメータ値を有するデータセットを、ｒ次元パラメータ値と当該ｒ次元パラメータ値に対応する目的関数の観測値とのデータセットに変換してもよい。また、探索空間付近のＤ次元パラメータ値又はｒ次元パラメータ値をランダムに生成し、当該パラメータ値に基づいてデータセットを作成してもよい。

【0029】

図５は、２０次元データセットを１次元データセットへ変換する方法の一例を示す図である。つまり、図５は、Ｄ＝２０且つｒ＝１の場合の一例である。図５は、探索空間決定部１２で選択された１次元パラメータがｘ_（２）の場合の例であり、図５の左側がデータ記憶部１１から取得した１次元探索空間付近の２０次元データセットである。この２０次元のデータセットの１次元のデータセットへの変換は、例えば、探索空間決定部１２で選択された１次元パラメータｘ_（２）の値と目的関数の観測値ｙとをセットにしてデータ化することにより行われる。

【0030】

パラメータ探索部１４は、データ取得部１３により取得された１以上のデータセットに基づく目的関数の代理モデルを用いて、探索空間決定部１２により決定された探索空間内で目的関数を最適化し得るＤ次元パラメータ値ｘ_ｎｅｘｔ又はｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔを決定する。具体的には、パラメータ探索部１４は、取得されたデータセットに基づいて目的関数の代理モデルを生成し、代理モデルを最適化するｒ次元探索空間内のＤ次元パラメータ値又はｒ次元パラメータを、目的関数を最適化し得るＤ次元パラメータ値ｘ_ｎｅｘｔ又はｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔとして探索する。データ取得部１３から取得したデータセットのパラメータ値がＤ次元である場合は、Ｄ次元パラメータ値ｘ_ｎｅｘｔが探索される。一方で、データ取得部１３から取得したデータセットのパラメータ値がｒ次元である場合は、ｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔが探索される。パラメータ値の探索にはベイズ最適化等が用いられればよい。

【0031】

データ生成部１５は、パラメータ探索部１４により探索されたＤ次元パラメータ値ｘ_ｎｅｘｔ又はｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔに対応する目的関数の観測値ｙ_ｎｅｘｔと、当該Ｄ次元パラメータ値ｘ_ｎｅｘｔ又はｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔとを含むデータセットを生成する。

【0032】

具体的には、データ生成部１５は、パラメータ探索部１４によりＤ次元パラメータ値ｘ_ｎｅｘｔが探索された場合、Ｄ次元パラメータ値ｘ_ｎｅｘｔを観測値出力装置３に入力する。観測値出力装置３は、シミュレーションや実験、アンケートを実行してＤ次元パラメータ値ｘ_ｎｅｘｔから観測値ｙ_ｎｅｘｔを出力する。データ生成部１５は、観測値出力装置３から観測値ｙ_ｎｅｘｔを取得し、Ｄ次元パラメータ値ｘ_ｎｅｘｔと観測値ｙ_ｎｅｘｔとを含むデータセットを生成し、当該データセットをデータ記憶部１１に記憶する。データ生成部１５は、パラメータ探索部１４によりｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔが探索された場合、ｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔをＤ次元パラメータ値ｘ_ｎｅｘｔに変換する。

【0033】

図６は、１次元パラメータ値から２０次元パラメータ値へ変換する方法の一例を示す図である。つまり、図６は、Ｄ＝２０且つｒ＝１の場合の一例である。図６は探索空間決定部１２で選択された１次元パラメータが３番目の要素の１次元パラメータ値ｘ_（２）の場合の例である。図６のように２０次元のパラメータ値ｘ_ｅｘｐのうち３番目の要素の１次元パラメータ値ｘ_（２）に、１次元パラメータ値ｘ^１ _ｎｅｘｔを埋め込むことにより２０次元パラメータ値ｘ_ｅｘｐに変換してもよい。

【0034】

その後、データ生成部１５は、変換したＤ次元パラメータ値ｘ_ｎｅｘｔを観測値出力装置３に入力する。観測値出力装置３は、シミュレーションや実験、アンケートを実行してＤ次元パラメータ値ｘ_ｎｅｘｔから観測値ｙ_ｎｅｘｔを出力する。データ生成部１５は、観測値出力装置３から観測値ｙ_ｎｅｘｔを取得し、Ｄ次元パラメータ値ｘ_ｎｅｘｔと観測値ｙ_ｎｅｘｔとを含むデータセットを生成し、当該データセットをデータ記憶部１１に記憶する。

【0035】

最適パラメータ値取得部１６は、データ記憶部１１に記憶されている複数のデータセットのうちの、最小の観測値に対応するＤ次元パラメータ値を、最適パラメータ値ｘ_ｂｅｓｔとして選択する。

【0036】

次に、図７を参照しながら、第１実施形態に係るパラメータ最適化装置２Ａを有するパラメータ最適化システム１の処理動作を説明する。図７は、第１実施形態に係るパラメータ最適化システム１の処理動作の一例を示すフローチャートである。

【0037】

図７に示すように、まず、探索空間決定部１２は、探索空間の基準点となるパラメータ値ｘ_ｅｘｐに初期パラメータ値を設定する（ステップＳＡ１）。初期パラメータ値は、ランダムに選択されてもよいし、過去の調整結果から転用してもよい。

【0038】

ステップＳＡ１が行われると探索空間決定部１２は、Ｄ次元未満のｒ次元パラメータを選択する（ステップＳＡ２）。また、探索空間決定部１２は、データ記憶部１１に記憶されているデータセットがあれば目的関数の観測値が最小であるＤ次元パラメータ値ｘ_ｅｘｐを取得し、記憶されているデータセットがなければステップＳＡ１において設定されたパラメータ値ｘ_ｅｘｐを取得する。ｒ次元パラメータの選択は、例えば、Ｄ次元パラメータを予め複数のｒ次元パラメータからなるグループに分割しておいて、複数のグループの中から１つのグループが選択されてもよいし、ランダムに選択してもよい。後述の第２条件に関するループの反復が所定回数行われる毎に、複数のグループの中から順番にグループが選択されるとよい。例えば、ｘ_０からｘ_４が第１グループ、ｘ_５からｘ_９が第２グループ、ｘ_１０からｘ_１４が第３グループ、ｘ_１５からｘ_１９が第４グループに設定し、第１グループ、第２グループ、第３グループ及び第４グループが第２条件に関するループの反復毎に順番に選択されるとよい。また、グループ分けせずに、Ｄ次元パラメータの中からランダムにｒ次元パラメータを選択してもよい。

【0039】

ステップＳＡ２が行われると探索空間決定部１２は、ステップＳＡ２において取得したＤ次元パラメータ値ｘ_ｅｘｐを含み、ステップＳＡ２において選択されたｒ次元パラメータに対応するｒ次元のアフィン部分空間を、探索空間として決定する（ステップＳＡ３）。具体的には、探索空間決定部１２は、パラメータ値ｘ_ｅｘｐを通るｒ次元アフィン部分空間を決定する。ここで、ｒ次元アフィン部分空間をＡで表す。Ａは、Ａ＝ｘ_ｅｘｐ＋Ｕ＝｛ｘ_ｅｘｐ＋ｕ｜ｕ∈Ｕ｝で表される。ｘ_ｅｘｐは、Ａの位置ベクトルになっている。Ｕは、Ａに付随するｒ次元線型部分空間である。ｒ次元アフィン部分空間は、第２条件に関するループの反復毎に変更されるとよい。

【0040】

図８は、１次元アフィン部分空間６１の一例を示す図である。すなわち、図８は、Ｄ＝２且つｒ＝１の場合の一例である。図８は、ｘ_０及びｘ_１を座標軸とする２次元空間に設定された１次元アフィン部分空間６１が例示されている。１次元アフィン部分空間６１に付随する１次元線型部分間６２が設定されている。１次元線型部分間６２は２次元座標空間の原点を通る。１次元アフィン部分空間６１は、ｘ_ｅｘｐを通る範囲内において、第２条件に関するループの反復回数に応じて１次元線型部分空間６２を変更可能である。例えば、１次元アフィン部分空間６１は、第２条件に関するループの反復回数に応じて２次元空間の各座標軸に平行するように変更する。図８の例の場合、変更前の１次元アフィン部分空間６１は、ステップＳＡ２において選択された１次元ｘ_０に対応するｘ_０軸に平行であるが、第２条件に関するループを反復する場合、ステップＳＡ２において選択された１次元ｘ_１に対応するｘ_１軸に平行するように変更してもよい。このように、第２条件に関するループを反復する毎に、１次元アフィン部分空間６１に付随する１次元線型部分間６２をｘ_０軸とｘ_１軸とで交互に変更してもよい。探索空間決定部１２は、変更後の１次元アフィン部分空間６１を１次元探索空間に設定する。

【0041】

Ｄ＞ｒ≧２であり、アフィン部分空間の次元が２以上の場合、第２条件に関するループの反復毎に、ｒ次元アフィン部分空間に付随するｒ次元線型部分間がＤ次元空間を規定するＤ個の座標軸のうち何れかｒ個を含むように設定されればよい。これにより、ｘ_ｅｘｐがゼロベクトルでない場合、ｒ次元アフィン部分空間は、そのｒ個の各座標軸と平行になる。

【0042】

ステップＳＡ３が行われるとデータ取得部１３は、ｒ次元探索空間から所定距離（閾値）内にあるデータセットを取得する（ステップＳＡ４）。具体的には、データ取得部１３は、データ記憶部１１に含まれる複数のデータセットの中から、ｒ次元探索空間から所定距離内に含まれるＤ次元パラメータ値（探索空間付近のＤ次元パラメータ値）を有するデータセットを選択して取得する。具体的には、データ取得部１３は、Ｎ_０個のデータセット各々について、Ｄ次元パラメータ値とｒ次元探索空間との距離を算出し、算出された距離が所定の距離以下のＤ次元パラメータ値を特定する。特定されたＤ次元パラメータ値と当該Ｄ次元パラメータ値に対応する観測値とを含むデータセットが、データ記憶部１１から取得される。ここで、データ取得部１３は、特定されたＤ次元パラメータ値のうちのｒ次元パラメータ値を取得してもよい。この場合、データ取得部１３は、特定されたＤ次元パラメータ値に関するデータセットを、図６に示すように、ｒ次元パラメータ値と当該ｒ次元パラメータ値に関するデータセットに変換してもよい。距離の閾値は、一定値である必要はなく、可変としても構わない。距離の閾値は、例えば、後述のステップＳＡ１１やＳＡ１２に関するループにおいて、毎回、変更しても構わない。そのループの反復回数に応じて変更しても構わない。反復回数が多いほど、閾値を小さく設定しても構わない。

【0043】

データ取得部１３により取得されたデータセットの個数をＮで表す。Ｎ個のデータセットを｛（ｘ_ｎ，ｙ_ｎ）｜ｎ＝０，１，…，Ｎ－１｝で表す。データ記憶部１１に記憶されるデータセットの数Ｎ_０は、第１条件に関するループ及び第２条件に関するループを繰り返すことにより増加するので、第１条件に関するループ及び第２条件に関するループの反復に応じて、個数Ｎの値は変化することとなる。

【0044】

ステップＳＡ４が行われるとデータ取得部１３は、ステップＳＡ４においてデータ記憶部１１から１以上のデータセットを取得したか否かを判定する（ステップＳＡ５）。

【0045】

ステップＳＡ５において１以上のデータセットを取得したと判定された場合（ステップＳＡ５：ＹＥＳ）、パラメータ探索部１４は、１以上のデータセットに基づいて目的関数の代理モデルを生成する（ステップＳＡ６）。上述の通り、ステップＳＡ６においてパラメータ探索部１４は、一例として、ガウス過程回帰により目的関数をモデル化する。ステップＳＡ４において取得されたデータセットのパラメータ値がＤ次元パラメータ値である場合、Ｄ次元パラメータの関数として目的関数がモデル化される。ステップＳＡ４において取得されたデータセットのパラメータ値がｒ次元パラメータ値である場合は、ｒ次元パラメータの関数として目的関数がモデル化される。

【0046】

ステップＳＡ６が行われるとパラメータ探索部１４は、代理モデルを使用してｒ次元探索空間内で目的関数の観測値を最小にする可能性の高いＤ次元パラメータ値ｘ_ｎｅｘｔ又はｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔを探索する（ステップＳＡ７）。目的関数をＤ次元パラメータの関数としてモデル化した場合はＤ次元パラメータ値ｘ_ｎｅｘｔが探索され、目的関数をｒ次元パラメータの関数としてモデル化した場合はr次元パラメータ値ｘ^ｒ _ｎｅｘｔが探索される。

【0047】

ここで、ステップＳＡ６及びステップＳＡ７について詳細に説明する。目的関数の代理モデルの生成には、ガウス過程回帰を用いてもよいし、ＴＰＥ（Ｔｒｅｅ－ｓｔｒｕｃｔｕｒｅｄ Ｐａｒｚｅｎ Ｅｓｔｉｍａｔｏｒ）やランダムフォレスト回帰など他の代理モデルを用いてもよい。

【0048】

ベイズ最適化の場合、Ｄ次元パラメータの関数であるガウス過程回帰が用いられるとよい。この場合、パラメータ探索部１４は、ステップＳＡ４において取得されたＮ個のデータセット｛（ｘ_ｎ，ｙ_ｎ）｜ｎ＝０，１，…，Ｎ－１｝に基づいて、目的関数の代理モデルとして、ガウス過程回帰モデルを生成する。次にパラメータ探索部１４は、ガウス過程回帰モデルを使用して、任意のＤ次元パラメータ値ｘ_＊に対応する目的関数の観測値ｙ_＊の予測分布の平均値ｍ（ｘ_＊）と標準偏差σ（ｘ_＊）とを計算する。パラメータ探索部１４は、平均値ｍ（ｘ_＊）と標準偏差σ（ｘ_＊）とに基づいて獲得関数ａ（ｘ_＊）を計算する。パラメータ探索部１４は、獲得関数ａ（ｘ_＊）を最大にするＤ次元パラメータ値ｘ_ｎｅｘｔを、ｒ次元探索空間内に制限して決定する。Ｄ次元パラメータ値ｘ_ｎｅｘｔは、目的関数の観測値を最小にする可能性が高いＤ次元パラメータ値として決定される。

【0049】

データ取得部１３から取得したパラメータ値がｒ次元の場合、ガウス過程回帰モデルを使うと、任意のｒ次元パラメータ値ｘ^ｒ _＊に対応する目的関数の観測値ｙ_＊の予測分布の平均値ｍ_ｒ（ｘ^ｒ _＊）と標準偏差σ_ｒ（ｘ^ｒ _＊）が計算できる。そして、平均値ｍ_ｒ（ｘ^ｒ _＊）と標準偏差σ_ｒ（ｘ^ｒ _＊）を用いて計算される獲得関数ａ_ｒ（ｘ^ｒ _＊）をｒ次元探索空間内で最大にするｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔを求め、このｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔを目的関数の観測値を最小にする可能性が高いｒ次元パラメータ値とする。データ取得部１３から取得したパラメータ値がＤ次元の場合の数式と比較すると、添え字ｒがあるかないかの違いがある。ｒ次元の場合の数式にはＤ次元の場合の数式に添え字ｒをつければ良いため、以降、パラメータ値がｒ次元の場合の説明を一部、省略する場合がある。

【0050】

獲得関数は、例えば、ＰＩ(Ｐｒｏｂａｂｉｌｉｔｙ ｏｆ Ｉｍｐｒｏｖｅｍｅｎｔ)を用いてもよいし、ＥＩ（Ｅｘｐｅｃｔｅｄ Ｉｍｐｒｏｖｅｍｅｎｔ）を用いてもよい。あるいは、ＵＣＢ（Ｕｐｐｅｒ Ｃｏｎｆｉｄｅｎｔｉａｌ Ｂｏｕｎｄ)やＴＳ（Ｔｈｏｍｐｓｏｎ Ｓａｍｐｌｉｎｇ）、ＥＳ（Ｅｎｔｒｏｐｙ Ｓｅａｒｃｈ)、ＭＩ（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）を用いてもよい。また、獲得関数を最大にするＤ次元パラメータ値ｘ_ｎｅｘｔを求める方法として、例えば、全探索やランダムサーチ、グリッドサーチ、ニュートン法、Ｌ－ＢＦＧＳ、ＤＩＲＥＣＴ、ＣＭＡ－ＥＳ、多スタート局所探索等が知られている。獲得関数の最大化方法としては、これらに限らず、任意のものを用いてよい。

【0051】

ここで、ガウス過程回帰について詳細に説明する。データ取得部１３により取得されたＮ個のデータセットを｛（ｘ_ｎ，ｙ_ｎ）｜ｎ＝０，１，…，Ｎ－１｝とする。ガウス過程回帰は、入力パラメータ値のベクトル｛ｘ_ｎ｜ｎ＝０，１，…，Ｎ－１｝に対応する目的関数の観測値のベクトル｛ｙ_ｎ｜ｎ＝０，１，…，Ｎ－１｝がガウス分布Ｎｏｒｍ（ｍ, Ｋ＋ｓ^２Ｉ）に従うと仮定してモデル化する。ｍはＮ次元の平均ベクトルである。ｍの第ｉ成分は平均関数ｍ_０（ｘ_ｉ）によって計算される。Ｋは全ての入力パラメータ値ｘ_ｎの間の共分散を表すＮ×Ｎ行列である。Ｋの第（ｘ_ｉ,ｘ_ｊ）成分はカーネル関数ｋ（ｘ_ｉ,ｘ_ｊ）によって計算される。カーネル関数は、例えば、ガウスカーネルやＭａｔｅｒｎカーネル、線形カーネルでもよい。ｓは目的関数ｆ（・）を観測した時のノイズ成分の標準偏差である。ＩはＮ×Ｎの単位行列である。また、ｍ_０はデータを適切に処理して０ベクトルとして扱うことが多い。したがって、以下では、ガウス分布Ｎｏｒｍ（０,Ｋ＋ｓ^２Ｉ）に従うようにモデル化したものとして説明する。

【0052】

ガウス過程回帰モデルを使って任意のＤ次元パラメータ値ｘ_＊に対応する目的関数の観測値ｙ_＊の分布を予測する場合、観測値ｙ_＊の予測分布の平均値ｍ（ｘ_＊）は、ｍ（ｘ_＊）＝ｋ（ｘ_＊,ｘ_{０:Ｎ－１}）^Ｔ（Ｋ＋ｓ^２Ｉ）^－１ｙ_{０：Ｎ－１}で計算され、分散σ^２（ｘ_＊）は、σ^２（ｘ_＊）＝ｋ（ｘ_＊,ｘ_＊）－ｋ（ｘ_＊,ｘ_{０:Ｎ－１}）^Ｔ（Ｋ＋ｓ^２Ｉ）^－１ｋ（ｘ_＊,ｘ_{０:Ｎ－１}）で計算される。観測値ｙ_＊の予測分布の計算で使われるＫ＋ｓ^２Ｉの逆行列（Ｋ＋ｓ^２Ｉ）^－１は、Ｎ行Ｎ列の逆行列であり、その計算量のオーダーはО（Ｎ^３）であることが知られている。パラメータ値がｒ次元の場合も同様に、計算量のオーダーはО（Ｎ^３）である。一方、データ取得部１３により取得されたＮ個のデータセットではなく、データ記憶部１１に記憶されているＮ_０個のデータセットすべてを利用する場合、対応する逆行列の計算量のオーダーはО（Ｎ_０ ^３）である。

【0053】

本実施形態に係るデータ取得部１３のように、データ記憶部１１に記憶されているＮ_０個のデータセットの中から、ガウス過程回帰で使用するＮ個のデータセットを選択することで、ガウス過程回帰に使用するデータセット数を減らしてＫ＋ｓ^２Ｉの逆行列（Ｋ＋ｓ^２Ｉ）^－１の計算量を減らすことができる。これにより、Ｋ＋ｓ^２Ｉの逆行列（Ｋ＋ｓ^２Ｉ）^－１の計算量の課題を解消することができる。加えて、データセットの選択方針として、ｒ次元探索空間付近のデータセットを利用することは、探索効率の劣化を防ぐことにつながる。つまり、本実施形態により、計算量の削減と探索効率の劣化抑制とを両立することができる。

【0054】

ガウス過程回帰でなくＴＰＥを使う場合は、ステップＳＡ２において探索空間決定部１２は、ｒ＝１に設定する。ステップＳＡ６においてパラメータ探索部１４は、予め決められた閾値を基にデータセットの目的関数の観測値が閾値より小さいグループと閾値以上のグループの２つに分け、２つのグループのｒ次元パラメータ値ｘ^ｒの分布をカーネル密度推定によりモデル化する。目的関数の観測値が閾値より小さいグループの分布をｌ（ｘ^ｒ）、目的関数の観測値が閾値より大きいグループの分布をｇ（ｘ^ｒ）とする。分布ｌ（ｘ^ｒ）と分布（ｘ^ｒ）とが目的関数の代理モデルに対応する。

【0055】

次に、ステップＳＡ７においてパラメータ探索部１４は、ｇ（ｘ^ｒ）／ｌ（ｘ^ｒ）を最小にするｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔを、目的関数の観測値を最小にする可能性が高いｒ次元パラメータ値として決定する。ＴＰＥを使用する場合でも、使用するデータセットが探索空間近傍のデータセットに制限されているので、ｇ（ｘ^ｒ）／ｌ（ｘ^ｒ）等の計算量を削減することができる。探索効率の劣化を防ぐことにつながる。よって、本実施形態によれば、計算量の削減と探索効率の劣化抑制とを両立することができる。

【0056】

ステップＳＡ５において１以上のデータセットを取得していないと判定された場合（ステップＳＡ５：ＮＯ）、データ取得部１３は、Ｄ次元パラメータ値ｘ_ｎｅｘｔを取得する（ステップＳＡ８）。ステップＳＡ８においてデータ取得部１３は、例えば、ステップＳＡ２において設定されたＤ次元パラメータ値ｘ_ｅｘｐを目的関数の観測値を計算するためのＤ次元パラメータ値ｘ_ｎｅｘｔとして取得する。データ取得部１３は、Ｄ次元パラメータ値ｘ_ｎｅｘｔを、ｒ次元探索空間内からランダムに生成してもよい。なお、データ取得部１３は、Ｄ次元パラメータ値ｘ_ｎｅｘｔと同様の手法により、ｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔを取得してもよい。

【0057】

ステップＳＡ７又はＳＡ８が行われた場合、観測値出力装置３は、ステップＳＡ７又はＳＡ８において探索又は取得されたＤ次元パラメータ値ｘ_ｎｅｘｔに基づき目的関数の観測値を出力する（ステップＳＡ９）。具体的には、まず、データ生成部１５は、ステップＳＡ７又はＳＡ８において探索又は取得されたＤ次元パラメータ値ｘ_ｎｅｘｔを観測値出力装置３に通知する。データ生成部１５は、ステップＳＡ７又はＳＡ８においてｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔを探索又は取得した場合、ｒ次元パラメータ値ｘ^ｒ _ｎｅｘｔをＤ次元パラメータ値ｘ_ｎｅｘｔに変換し、観測値出力装置３に通知する。観測値出力装置３は、Ｄ次元パラメータ値ｘ_ｎｅｘｔを使用してシミュレーション、実験又はアンケート等を実行して当該Ｄ次元パラメータ値ｘ_ｎｅｘｔに対応する目的関数の観測値を出力する。

【0058】

例えば、観測値出力装置３は、シミュレータ・実験装置と変換装置とを有する。シミュレータ・実験装置と変換装置とは、コンピュータにより実現される。シミュレータ・実験装置は、Ｄ次元パラメータ値ｘ_ｎｅｘｔでシミュレーション、実験又はアンケートを実施したり、観測値出力装置３の外部でシミュレーション、実験又はアンケートが実施された結果を取得したりして、Ｄ次元パラメータ値ｘ_ｎｅｘｔの１つ以上の項目についての特性値を出力する。変換装置は、シミュレータ・実験装置から特性値を取得し、取得した特性値をスカラーに変換する。スカラーに変換後の特性値は、Ｄ次元パラメータ値ｘ_ｎｅｘｔに関する目的関数の観測値ｙ_ｎｅｘｔとして、データ生成部１５に送信される。

【0059】

なお、シミュレータ・実験装置と変換装置とは単一のコンピュータにより実現されてもよい。また、シミュレータ・実験装置と変換装置との何れか一方がパラメータ最適化装置２Ａに組み込まれ、例えば、データ生成部１５に含まれてもよい。

【0060】

ステップＳＡ９が行われるとデータ記憶部１１は、ステップＳＡ７又はＳＡ８において探索又は取得されたＤ次元パラメータ値ｘ_ｎｅｘｔとステップＳＡ９において出力された観測値とを含むデータセットをデータ記憶部１１に記憶する（ステップＳＡ１０）。具体的には、まず、データ生成部１５は、ステップＳＡ７又はＳＡ８において探索又は取得されたＤ次元パラメータ値ｘ_ｎｅｘｔとステップＳＡ９において出力された観測値ｙ_ｎｅｘｔとを結合してデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）を生成する。そしてデータ記憶部１１は、生成されたデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）を記憶する。

【0061】

ステップＳＡ１０が行われるとデータ取得部１３は、第１条件を満たすか否かを判定する（ステップＳＡ１１）。第１条件は、探索空間決定部１２で決定されたｒ次元探索空間内でパラメータ探索を繰り返す回数を規定している。したがって、この繰り返し内でｒ次元探索空間は変わらない。第１条件を満たすとは、例えば、回数が予め決められた回数を超えた場合でもよいし、経過時間が予め決められた時間を超えた場合でもよいし、目的関数の観測値の改善量が予め決められた値を下回った場合でもよい。あるいは、これらを組み合わせた条件でもよい。

【0062】

第１条件を満たさないと判定された場合（ステップＳＡ１１：ＮＯ）、データ取得部１３は、同一のｒ次元探索空間についてステップＳＡ４の処理を実行する。その後、ステップＳＡ５からステップＳＡ１１が行われる。ステップＳＡ１１において第１条件を満たすと判定されるまで、データ記憶部１１、データ取得部１３、パラメータ探索部１４及びデータ生成部１５のステップＳＡ４からステップＳＡ１１までの処理が繰り返され、同一のｒ次元探索空間についてＤ次元パラメータ値ｘ_ｎｅｘｔの探索又は取得と、当該Ｄ次元パラメータ値ｘ_ｎｅｘｔと観測値ｙ_ｎｅｘｔとを含むデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）の生成及び記憶とが繰り返される。ステップＳＡ４からステップＳＡ１１までの一連の処理は、複数タスクにより並列に実行されてもよいし、直列に実行されてもよい。この場合、各タスクにデータ記憶部１１が設けられており、各データ記憶部１１に、対応するタスクの複数のデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）が蓄積される。

【0063】

そしてステップＳＡ１１において第１条件を満たすと判定された場合（ステップＳＡ１１：ＹＥＳ）、探索空間決定部１２は、第２条件を満たすか否かを判定する（ステップＳＡ１２）。第２条件は、探索空間決定部１２によるｒ次元探索空間の決定回数を規定している。ｒの値は、予め決められた値でもよいし、ランダムに決めた値でもよい。第２条件を満たすとは、例えば、回数が予め決められた回数を超えた場合でもよいし、経過時間が予め決められた時間を超えた場合でもよいし、目的関数の観測値の改善量が予め決められた値を下回った場合でもよい。あるいは、これらを組み合わせた条件でもよい。

【0064】

第２条件を満たさないと判定された場合（ステップＳＡ１２：ＮＯ）、探索空間決定部１２は、Ｄ次元パラメータのうちの異なるｒ次元パラメータを選択する（ステップＳＡ２）。また、探索空間決定部１２は、データ記憶部１１に記憶されているデータセットから目的関数の観測値が最小であるＤ次元パラメータ値ｘ_ｅｘｐを取得する。ｒ次元パラメータの選択は、上記の通り、Ｄ次元パラメータを予め複数のｒ次元パラメータのグループが分割されている場合、複数のグループの中から１つを順番に選択してもよいし、ランダムに選択してもよい。また、Ｄ次元パラメータの中からランダムにｒ次元パラメータを選択してもよい。Ｄ未満の範囲でｒの値をランダムに設定してもよい。その後、ステップＳＡ３からステップＳＡ１２が行われる。ステップＳＡ１２において第２条件を満たすと判定されるまで、データ記憶部１１、探索空間決定部１２、データ取得部１３、パラメータ探索部１４及びデータ生成部１５のステップＳＡ２からステップＳＡ１２までの処理が繰り返され、ｒ次元パラメータを変更しながら、すなわち、ｒ次元探索空間を変更しながら、Ｄ次元パラメータ値ｘ_ｎｅｘｔの探索又は取得と、当該Ｄ次元パラメータ値ｘ_ｎｅｘｔと観測値ｙ_ｎｅｘｔとを含むデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）の生成及び記憶とが繰り返される。ステップＳＡ２からステップＳＡ１２までの一連の処理は、複数タスクにより並列に実行されてもよいし、直列に実行されてもよい。この場合、各タスクにデータ記憶部１１が設けられており、各データ記憶部１１に、対応するタスクの複数のデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）が蓄積される。

【0065】

なお、ステップＳＡ４からステップＳＡ１１までの一連の処理が複数タスクにより並列又は直列に実行されている場合、第１条件を満たすと判定された後、ステップＳＡ２の処理が行われる前に、データ生成部１５は、各タスクのデータ記憶部１１に記憶されている複数のデータセットのうち目的関数の観測値を最小にするＤ次元パラメータ値を取得してもよい。取得されたＤ次元パラメータ値と当該Ｄ次元パラメータ値に対応する観測値のデータセットは各タスクのデータ記憶部１１に記憶される。

【0066】

そしてステップＳＡ１２において第２条件を満たすと判定された場合（ステップＳＡ１２：ＹＥＳ）、最適パラメータ値取得部１６は、データ記憶部１１に記憶されているデータセットの中から目的関数の観測値が最小である最適パラメータ値ｘ_ｂｅｓｔを取得する（ステップＳＡ１３）。最適パラメータ値ｘ_ｂｅｓｔは、外部の装置に出力される。製造段階である場合、最適パラメータ値ｘ_ｂｅｓｔは、例えば、製造時の歩留まりを最大化するパラメータ値や、出荷後の故障率を最小化するパラメータ値を意味する。活用段階である場合、最適パラメータ値ｘ_ｂｅｓｔは、例えば、ユーザの手元に届いた機器や部品が、ユーザの利用環境に合った性能を発揮するパラメータ値を意味する。最適パラメータ値ｘ_ｂｅｓｔは、出力先の外部装置において種々の目的に応じて利用されるなお、最適パラメータ値ｘ_ｂｅｓｔは、データ記憶部１１に記憶されたり、表示機器に表示されたりしてもよい。

【0067】

なお、ステップＳＡ２からステップＳＡ１２までの一連の処理が複数タスクにより並列又は直列に実行されている場合、第２条件を満たすと判定された後、最適パラメータ値取得部１６は、各タスクのデータ記憶部１１に記憶されている複数のデータセットのうち目的関数の観測値を最小にする最適パラメータ値ｘ_ｂｅｓｔを取得してもよい。

【0068】

以上により、第１実施形態に係るパラメータ最適化システム１の処理動作が終了する。

【0069】

上記の通り、第１実施形態によれば、代理モデルの計算に使用するデータセットを探索空間近傍のデータセットに制限するため、従来に比して、代理モデルの計算量を削減することができる。また、代理モデルの計算に使用するデータセットとして、探索空間からの距離が比較的短いデータセットを活用することにより、パラメータ値ｘ_ｎｅｘｔの探索効率の劣化を防ぐ。すなわち、計算量の削減と探索効率の劣化抑制とを両立することができ、最適パラメータ値ｘ_ｂｅｓｔの探索効率、換言すれば、パラメータ最適化の効率が向上する。

【0070】

（第２実施形態）
次に第２実施形態に係るパラメータ最適化システム１及びパラメータ最適化装置２Ｂについて説明する。なお以下の説明において、第１実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。

【0071】

図９は、第２実施形態に係るパラメータ最適化システム１の機能構成例を示す図である。図９に示すように、第２実施形態に係るパラメータ最適化システム１は、パラメータ最適化装置２Ｂと観測値出力装置３とを有する。

【0072】

パラメータ最適化装置２Ｂは、データ記憶部１１、探索空間決定部１２、データ取得部１３、パラメータ探索部１４、データ生成部１５、最適パラメータ値取得部１６、次元取得部１７、距離取得部１８、閾値取得部１９、表示部２０及び外部データ取得部２１を有する。

【0073】

次元取得部１７は、入力機器等を介してユーザにより入力された次元数ｒを取得する。例えば、次元取得部１７は、表示部２０に表示された次元数ｒの入力のためのＧＵＩ（Graphical User Interface）画面（以下、次元入力画面と呼ぶ）に入力された次元数ｒを取得する。

【0074】

距離取得部１８は、入力機器等を介してユーザにより入力された距離の種類を取得する。例えば、距離取得部１８は、表示部２０に表示された距離の種類の入力のためのＧＵＩ画面（以下、距離種入力画面と呼ぶ）に入力された距離の種類を取得する。

【0075】

閾値取得部１９は、入力機器等を介してユーザにより入力された、ｒ次元探索空間からの距離に対する閾値を取得する。例えば、閾値取得部１９は、表示部２０に表示された閾値の入力のためのＧＵＩ画面（以下、閾値入力画面と呼ぶ）に入力された閾値を取得する。

【0076】

表示部２０は、次元入力画面、距離種入力画面、閾値入力画面等を表示機器に表示する。表示機器は、例えば、ディスプレイやプロジェクタにより実現されればよい。

【0077】

外部データ取得部２１は、パラメータ最適化装置１Ｂの外部の装置から複数のデータセットを取得する。

【0078】

次に、図１０を参照しながら、第２実施形態に係るパラメータ最適化装置２Ｂを有するパラメータ最適化システム１の処理動作を説明する。図１０は、第２実施形態に係るパラメータ最適化システム１の処理動作の一例を示すフローチャートである。

【0079】

図１０に示すように、次元取得部１７、距離取得部１８及び／又は閾値取得部１９は、ユーザからの入力機器を介した指示に従う種々の設定値を取得する（ステップＳＢ１）。設定値は、次元数ｒ、距離の種類及び閾値の総称であるとする。

【0080】

ステップＳＢ１において次元取得部１７は、ユーザからの次元数についての指示を受理し、探索空間決定部１２と表示部２０とに供給する。例えば、次元取得部１７は、表示部２０に表示された次元取得画面に対する、ユーザによる次元数の入力指示を受理する。

【0081】

図１１は、次元取得画面Ｉ１の一例を示す図である。図１１に示すように、次元取得画面Ｉ１には、「探索空間の次元数ｒを入力して下さい」等の次元数ｒの入力を促すメッセージ、次元数ｒの表示欄Ｉ１１及びアップダウンボタンＩ１２が表示される。表示欄Ｉ１１には、ユーザにより指定された次元数ｒの数値が表示される。アップダウンボタンＩ１２は、ユーザにより、入力機器を介して押下されることにより、次元数ｒの数値を上げ下げするものである。アップダウンボタンＩ１２が押下されることにより、表示部２０は、表示欄Ｉ１１に表示されている次元数ｒの数値を所定値単位で上げ下げする。表示部２０に表示されている数値が、次元数の入力指示として、次元取得部１７に受理される。

【0082】

なお、図１１に示す次元取得画面Ｉ１は一例であり種々の変更が可能である。例えば、次元取得画面Ｉ１には、ユーザが入力機器を介して直接的に次元数ｒの数値を入力するためのテキストボックスが表示されてもよい。ユーザにより、テキストボックス内に、次元数を表す数値が入力されることにより、次元取得部１７に受理させる次元数の指示が出力される。本実施形態で想定するｒは１以上Ｄ未満の整数値であるため、次元取得部１７は、１未満またはＤ以上の数値や小数の入力ができないように入力値を制限してもよい。また、次元取得部１７は、１未満またはＤ以上の数値や小数が入力された場合、エラーを表示部２０に表示させてもよい。

【0083】

ユーザによる次元数の入力指示は必須ではない。ユーザからの次元数の入力指示がない場合、次元取得部１７は、次元数のデフォルト値を探索空間決定部１２と表示部２０とに供給する。デフォルト値は、例えば、「１」に設定されればよい。デフォルト値もテキストボックスに表示されるとよい。

【0084】

ステップＳＢ１において距離取得部１８は、ユーザからの距離の種類についての指示を受理し、探索空間決定部１２と表示部２０とに供給する。例えば、距離取得部１８は、表示部２０に表示された距離種入力画面に対する、ユーザによる距離の種類の入力指示を受理する。

【0085】

図１２は、距離種入力画面Ｉ２の一例を示す図である。図１２に示すように、距離種入力画面Ｉ２は、「距離の種類を選択して下さい」等の距離の種類の入力を促すメッセージ、距離の種類の候補表示欄Ｉ２１及び選択ボタンＩ２２が表示される。候補表示欄Ｉ２１には、例えば、ユークリッド距離、マンハッタン距離、コサイン距離、マハラノビス距離等が表示される。選択ボタンＩ２２は、候補表示欄Ｉ２１に表示されている複数の候補各々に対応して設けられる。ユーザにより、マウス等の入力機器を介して選択ボタンＩ２２が押下されることにより、対応する距離の種類が、距離の種類の入力指示として、距離取得部１８に受理される。

【0086】

なお、図１２に示す距離種入力画面Ｉ２は一例であり種々の変更が可能である。例えば、距離種入力画面Ｉ２には、ユーザが入力機器を介して直接的に距離の種類を入力するためのテキストボックスが表示されてもよい。ユーザにより、テキストボックス内に、距離の種類を表す文字列が入力されることにより、距離取得部１８に受理させる距離の種類の指示が出力される。

【0087】

ユーザによる距離の種類の入力指示は必須ではない。ユーザによる距離の種類の入力指示がない場合、距離取得部１８は、距離の種類のデフォルト値をデータ取得部１３と表示部２０とに供給する。デフォルト値は、例えば、ユークリッド距離に設定されるとよい。しかし、デフォルト値は、マンハッタン距離やコサイン距離、マハラノビス距離に設定されてもよい。Ｄ種類のパラメータのそれぞれで単位やスケール、定義域が異なる場合、マハラノビス距離が有効な場合がある。ガウス過程回帰で利用するカーネル関数の距離尺度についても、ユークリッド距離の代わりにマンハッタン距離やコサイン距離、マハラノビス距離が採用されてもよい。

【0088】

ステップＳＢ１において閾値取得部１９は、ユーザからの閾値についての指示を受理し、データ取得部１３と表示部２０とに供給する。閾値取得部１９により取得される閾値は、探索空間からの距離に対する閾値である。例えば、閾値取得部１９は、表示部２０に表示された閾値入力画面に対する、ユーザによる閾値の入力指示を受理する。

【0089】

図１３は、閾値入力画面Ｉ３の一例を示す図である。図１３に示すように、閾値入力画面Ｉ３は、「探索空間からの距離に対する閾値を入力して下さい」等の閾値の入力を促すメッセージ、閾値の表示欄Ｉ３１及びアップダウンボタンＩ３２が表示される。表示欄Ｉ３１には、ユーザにより指定された閾値ｄの数値が表示される。アップダウンボタンＩ３２は、ユーザにより、入力機器を介して押下されることにより、閾値ｄの数値を上げ下げするものである。アップダウンボタンＩ３２が押下されることにより、表示部２０は、表示欄Ｉ３１に表示されている閾値ｄの数値を所定値単位で上げ下げする。表示部２０に表示されている数値が、閾値ｄの入力指示として、次元取得部１７に受理される。

【0090】

なお、図１３に示す閾値入力画面Ｉ３は一例であり種々の変更が可能である。例えば、閾値入力画面Ｉ３には、ユーザが入力機器を介して直接的に閾値ｄの数値を入力するためのテキストボックスが表示されてもよい。ユーザにより、テキストボックス内に、閾値ｄを表す数値が入力されることにより、閾値取得部１９に受理させる閾値ｄの指示が出力される。本実施形態で想定する閾値ｄは、０．０以上の小数であるため、閾値取得部１９は、負の値の入力ができないように入力値を制限してもよい。また、閾値取得部１９は、負の値が入力された場合、エラーを表示部２０に表示させてもよい。

【0091】

ユーザによる閾値の入力指示は必須ではない。ユーザからの閾値の入力指示がない場合、閾値取得部１９は、閾値のデフォルト値を探索空間決定部１２と表示部２０とに供給する。デフォルト値は、例えば、「０．０」や任意の正の値に設定されればよい。デフォルト値もテキストボックスに表示されるとよい。ユーザからの閾値の入力指示がない場合、閾値は、デフォルト値のまま一定値とする必要はなく、自動で変更しても構わない。閾値は、例えば、後述のステップＳＢ１０やＳＢ１１やＳＢ１２に関するループにおいて、毎回、変更しても構わない。そのループの反復回数に応じて変更しても構わない。反復回数が多いほど、閾値を小さく設定しても構わない。

【0092】

ステップＳＢ１が行われると外部データ取得部２１は、観測値出力装置３等の外部装置からＮ_０個のデータセット｛（ｘ_ｎ，ｙ_ｎ）｜ｎ＝０，１，…，Ｎ_０－１｝を取得する（ステップＳＢ２）。これにより、過去のシミュレーションや実験、アンケート等の結果が取得される。取得されたＮ_０個のデータセットは、データ記憶部１１に記憶される。

【0093】

ステップＳＢ２が行われると探索空間決定部１２は、パラメータ値ｘ_ｅｘｐを設定する（ステップＳＢ３）。パラメータ値ｘ_ｅｘｐは、データ記憶部１１に記憶されているＮ_０個のデータセットのうちの、最小の観測値に対応するＤ次元パラメータ値に設定される。

【0094】

ステップＳＢ３が行われると探索空間決定部１２は、Ｄ次元未満のｒ次元パラメータを選択する（ステップＳＢ４）。ステップＳＢ４はステップＳＡ３と略同一である。なお、次元数ｒは、ステップＳＢ１において次元取得部１７により取得されたものが用いられる。

【0095】

ステップＳＢ４が行われるとデータ取得部１３は、ｒ次元探索空間から所定距離内にあるデータセットを取得する（ステップＳＢ５）。ステップＳＢ５はステップＳＡ４と略同一である。なお、距離の種類は、ステップＳＢ１において距離取得部１８により取得されたものが用いられる。閾値は、ステップＳＢ１において閾値取得部１９により取得されたものが用いられる。取得したＮ個のデータセットを｛（ｘ_ｎ，ｙ_ｎ）｜ｎ＝０，１，…，Ｎ－１｝で表す。第１条件に関するループの反復に応じて、Ｎの値は変化する。

【0096】

ステップＳＢ５が行われるとパラメータ探索部１４は、１以上のデータセットに基づいて目的関数の代理モデルを生成する（ステップＳＢ６）。ステップＳＢ６はステップＳＡ６と略同一である。

【0097】

ステップＳＢ６が行われるとパラメータ探索部１４は、代理モデルを使用してｒ次元探索空間を探索して目的関数の観測値を最小にする可能性の高いパラメータ値ｘ_ｎｅｘｔを決定する（ステップＳＢ７）。ステップＳＢ７はステップＳＡ７と略同一である。

【0098】

ステップＳＢ７が行われると観測値出力装置３は、ステップＳＢ７において決定されたＤ次元パラメータ値ｘ_ｎｅｘｔに基づき目的関数の観測値ｙ_ｎｅｘｔを出力する（ステップＳＢ８）。ステップＳＢ８はステップＳＡ９と略同一である。

【0099】

ステップＳＢ８が行われるとデータ記憶部１１は、ステップＳＢ７において決定されたＤ次元パラメータ値ｘ_ｎｅｘｔとステップＳＢ８において出力された観測値ｙ_ｎｅｘｔとを含むデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）をデータ記憶部１１に記憶する（ステップＳＢ９）。ステップＳＢ９はステップＳＡ１０と略同一である。

【0100】

ステップＳＢ９が行われるとデータ取得部１３は、第１条件を満たすか否かを判定する（ステップＳＢ１０）。第２実施形態に関する第１条件は、当該第１条件に関するループの反復回数が所定回数に到達したことに規定される。

【0101】

第１条件を満たさないと判定された場合（ステップＳＢ１０：ＮＯ）、ステップＳＢ５からステップＳＢ１０が行われる。ステップＳＢ１０において第１条件を満たすと判定されるまで、データ記憶部１１、データ取得部１３、パラメータ探索部１４及びデータ生成部１５のステップＳＢ５からステップＳＢ１０までの処理が繰り返され、同一のｒ次元探索空間についてＤ次元パラメータ値ｘ_ｎｅｘｔの探索又は取得と、当該Ｄ次元パラメータ値ｘ_ｎｅｘｔと観測値ｙ_ｎｅｘｔとを含むデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）の生成とが繰り返される。

【0102】

そしてステップＳＢ１０において第１条件を満たすと判定された場合（ステップＳＢ１０：ＹＥＳ）、探索空間決定部１２は、第２条件を満たすか否かを判定する（ステップＳＢ１１）。第２実施形態に関する第２条件は、当該第２条件に関するループの反復回数が所定回数に到達したことに規定される。

【0103】

第２条件を満たさないと判定された場合（ステップＳＢ１１：ＮＯ）、ステップＳＢ３からステップＳＢ１１が行われる。ステップＳＢ１１において第２条件を満たすと判定されるまで、データ記憶部１１、探索空間決定部１２、データ取得部１３、パラメータ探索部１４及びデータ生成部１５のステップＳＢ３からステップＳＢ１１までの処理が繰り返される。これにより、探索空間を規定するＤ次元パラメータ値ｘ_ｅｘｐと当該パラメータ値を含むｒ次元探索空間を変更しながら、Ｄ次元パラメータ値ｘ_ｎｅｘｔの探索又は取得と、当該Ｄ次元パラメータ値ｘ_ｎｅｘｔと観測値ｙ_ｎｅｘｔとを含むデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）の生成とが繰り返される。

【0104】

ステップＳＢ１１において第２条件を満たすと判定された場合（ステップＳＢ１１：ＹＥＳ）、探索空間決定部１２は、第３条件を満たすか否かを判定する（ステップＳＢ１２）。第３条件は、例えば、ステップＳＢ３からＳＢ１２の反復回数の条件に規定される。具体的には、反復回数が所定の回数に到達したことに規定される。所定の回数は１以上の整数に設定される。

【0105】

第３条件を満たさないと判定された場合（ステップＳＢ１２：ＮＯ）、ステップＳＢ３からステップＳＢ１２が行われる。ステップＳＢ１２において第３条件を満たすと判定されるまで、データ記憶部１１、探索空間決定部１２、データ取得部１３、パラメータ探索部１４及びデータ生成部１５のステップＳＢ３からステップＳＢ１２までの処理が繰り返される。これにより、探索空間を規定するＤ次元パラメータ値ｘ_ｅｘｐと当該パラメータ値を含むｒ次元探索空間を変更しながら、Ｄ次元パラメータ値ｘ_ｎｅｘｔの探索又は取得と、当該Ｄ次元パラメータ値ｘ_ｎｅｘｔと観測値ｙ_ｎｅｘｔとを含むデータセット（ｘ_ｎｅｘｔ，ｙ_ｎｅｘｔ）の生成とが繰り返される。

【0106】

そしてステップＳＢ１２において第３条件を満たすと判定された場合（ステップＳＢ１２：ＹＥＳ）、最適パラメータ値取得部１６は、データ記憶部１１に記憶されているデータセットから目的関数の観測値が最小である最適パラメータ値ｘ_ｂｅｓｔを取得する（ステップＳＢ１３）。最適パラメータ値ｘ_ｂｅｓｔは、外部の装置に出力される。

【0107】

以上により、第２実施形態に係るパラメータ最適化システム１の処理動作が終了する。

【0108】

上記の通り、第２実施形態によれば、第１実施形態と同様、代理モデルの計算に使用するデータセットを探索空間近傍のデータセットに制限するため、従来に比して、代理モデルの計算量を削減することができる。また、代理モデルの計算に使用するデータセットは、探索空間からの距離が比較的短いデータセットを活用することにより、パラメータ値ｘ_ｎｅｘｔの探索効率の劣化を防ぐ。すなわち、計算量の削減と探索効率の劣化抑制とを両立することができ、最適パラメータ値ｘ_ｂｅｓｔの探索効率、換言すれば、パラメータ最適化の効率が向上する。

【0109】

更に第２実施形態によれば、次元数、距離の種類及び閾値等の設定項目を、ＧＵＩ等を利用してユーザ指示に従い設定することが可能になる。従って、ユーザの知見を利用して効率良くパラメータ最適化を行うことが可能になる。

【0110】

（変形例）
以下、第１実施形態及び／又は第２実施形態に係る幾つかの変形例について説明する。なお以下の説明において、本実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。

【0111】

（変形例１）
上記実施形態においてデータ取得部１３は、探索空間近傍のデータセットを、データ記憶部１１に記憶されているデータベースの中から取得するとした。変形例１に係るデータ取得部１３は、探索空間近傍のＤ次元パラメータ値をランダムに生成する。生成されたＤ次元パラメータ値は、データ生成部１５に供給される。ランダムに生成したＤ次元パラメータ値の数をＲで表す。ここで、Ｒは１以上の整数である。生成したＲ個のランダムなＤ次元パラメータ値を｛ｘ_{ｒａｎｄ，ｉ}｜ｉ＝０，１，…，Ｒ－１｝で表す。

【0112】

データ生成部１５は、Ｄ次元パラメータ値｛ｘ_{ｒａｎｄ，ｉ}｜ｉ＝０，１，…，Ｒ－１｝を観測値出力装置３に送信する。

【0113】

次に、例えば、観測値出力装置３の構成要素の一例であるシミュレータ・実験装置は、Ｒ個のＤ次元パラメータ値｛ｘ_{ｒａｎｄ，ｉ}｜ｉ＝０，１，…，Ｒ－１｝のそれぞれについてシミュレーション、実験又はアンケートを実施し、｛ｘ_{ｒａｎｄ，ｉ}｜ｉ＝０，１，…，Ｒ－１｝のそれぞれに関して、１以上の項目に対する特性値を出力する。観測値出力装置３の構成要素の一例である変換装置は、１以上の特性値を取得し、それぞれスカラーに変換する。スカラーに変換された特性値は、Ｄ次元パラメータ値｛ｘ_{ｒａｎｄ，ｉ}｜ｉ＝０，１，…，Ｒ－１｝に対応する目的関数の観測値｛ｙ_{ｒａｎｄ，ｉ}｜ｉ＝０，１，…，Ｒ－１｝として出力される。観測値｛ｙ_{ｒａｎｄ，ｉ}｜ｉ＝０，１，…，Ｒ－１｝は、データ生成部１５に送信される。

【0114】

データ生成部１５は、データセット｛（ｘ_{ｒａｎｄ，ｉ}，ｙ_{ｒａｎｄ，ｉ}）｜ｉ＝０，１，…，Ｒ－１｝をデータ記憶部１１に供給し、データ記憶部１１は、データセット｛（ｘ_{ｒａｎｄ，ｉ}，ｙ_{ｒａｎｄ，ｉ}）｜ｉ＝０，１，…，Ｒ－１｝を記憶する。

【0115】

最後に、データ取得部１３は、データ記憶部１１に記憶されているデータから、探索空間までの距離が閾値以下のＤ次元パラメータ値を要素に持つデータセットを取得する。

【0116】

こうして取得したＮ個のデータセット｛（ｘ_ｎ，ｙ_ｎ）｜ｎ＝０，１，…，Ｎ－１｝には、｛（ｘ_{ｒａｎｄ，ｉ}，ｙ_{ｒａｎｄ，ｉ}）｜ｉ＝０，１，…，Ｒ－１｝が含まれることとなる。すなわち、データ取得部１３は、データ記憶部１１に記憶されているデータから、探索空間までの距離が閾値以下のＤ次元パラメータ値を要素に持つデータセットを取得するのに加えて、探索空間までの距離が閾値以下のＤ次元パラメータ値をランダムに生成し、当該Ｄ次元パラメータ値とそれに対応する目的関数の観測値とを含むデータセットを取得してもよい。

【0117】

これにより、探索空間までの距離が閾値以下のＤ次元パラメータ値を、ガウス過程回帰なしで簡単に追加できる。ガウス過程回帰が不要なため、逆行列の計算も不要である。

【0118】

（変形例２）
第２実施形態に関し、次元取得部１７、距離取得部１８、閾値取得部１９が動作するタイミングは、ステップＳＢ１とは異なるタイミングであってもよい。

【0119】

次元取得部１７で取得する次元数ｒは、探索空間決定部１２で利用される。すなわち、探索空間決定部１２が動作する前に次元取得部１７が動作すればよい。

【0120】

距離取得部１８で取得する距離の種類は、データ取得部１３で利用される。すなわち、データ取得部１３が動作する前に距離取得部１８が動作すればよい。

【0121】

閾値取得部１９で取得する閾値は、データ取得部１３で利用される。すなわち、データ取得部１３が動作する前に閾値取得部１９が動作すればよい。

【0122】

第１条件、第２条件、第３条件に関するループの反復毎に、次元数や距離の種類、閾値を変更できるタイミングで、次元取得部１７、距離取得部１８、閾値取得部１９をそれぞれ動作させても構わない。

【0123】

これにより、ユーザからの指示を様々なタイミングで受理できるようになり、次元数や距離の種類、閾値を様々なタイミングで変更できるようになる。

【0124】

（変形例３）
上記第１及び第２実施形態の説明に用いた図３，４，５，６，８では、探索空間に設定するｒ次元アフィン部分空間は、ｘ_ｅｘｐを通る１次元アフィン部分空間のうち、第２条件及び／又は第３条件に関するループの反復回数に応じてＤ次元空間の異なる各座標軸に平行するように制御する例を示した。この例では、ｒを１に限定し、ｒ次元アフィン部分空間に付随するｒ次元線型部分空間がいずれかの座標軸を含むように制御した。しかし、探索空間に設定するｒ次元アフィン部分空間の制御方法は、これに限られない。

【0125】

探索空間であるｒ次元アフィン部分空間は、次元数ｒと、ｒ次元アフィン部分空間に付随するｒ次元線型部分空間で決まる。したがって、探索空間に設定するｒ次元アフィン部分空間は、ｒと、ｒ次元線型部分空間を制御することで制御できる。本変形例では、ｒを１に限定せず、第２条件や第３条件に関するループにおいて、１以上の整数の範囲でｒを変更しても構わない。ｒは、第２条件や第３条件に関するループにおいて、所定の順序や反復回数に応じたルールで変更しても構わないし、ランダムに変更しても構わない。また、ｒ次元アフィン部分空間に付随するｒ次元線型部分空間がいずれかの座標軸を含むとは限定せず、第２条件や第３条件に関するループにおいて、変更しても構わない。このｒ次元線型部分空間は、第２条件や第３条件に関するループにおいて、所定の順序や反復回数に応じたルールで変更しても構わないし、ランダムに変更しても構わない。

【0126】

例えば、ある時点でｒを１に設定すると、ｒ（＝１）次元アフィン部分空間を直線に制御でき、別のある時点でｒを２に設定すると、ｒ（＝２）次元アフィン部分空間を平面に制御できる。ｒが１の場合に、ｒ（＝１）次元アフィン部分空間に付随するｒ（＝１）次元線型部分空間がどの座標軸も含まないように設定すれば、ｒ（＝１）次元アフィン部分空間はｘ_ｅｘｐを通り、どの座標軸とも平行でない直線に制御できる。ｒが１の場合に、ｒ（＝１）次元アフィン部分空間に付随するｒ（＝１）次元線型部分空間がある座標軸を含むように設定すれば、ｒ（＝１）次元アフィン部分空間はｘ_ｅｘｐを通り、その座標軸に平行な直線に制御できる。ｒが２の場合に、ｒ（＝２）次元アフィン部分空間に付随するｒ（＝２）次元線型部分空間がどの座標軸も含まないように設定すれば、ｒ（＝２）次元アフィン部分空間はｘ_ｅｘｐを通り、どの座標軸とも平行でない平面に制御できる。ｒが２の場合に、ｒ（＝２）次元アフィン部分空間に付随するｒ（＝２）次元線型部分空間が座標軸を１つだけ含むように設定すれば、ｒ（＝２）次元アフィン部分空間はｘ_ｅｘｐを通り、その座標軸に平行な平面に制御できる。ｒが２の場合に、ｒ（＝２）次元アフィン部分空間に付随するｒ（＝２）次元線型部分空間が２つの座標軸を含むように設定すれば、ｒ（＝２）次元アフィン部分空間はｘ_ｅｘｐを通り、それら２つの座標軸に平行な平面に制御できる。

【0127】

なお、ｒ次元アフィン部分空間に付随するｒ次元線型部分空間がｒ個の座標軸を含まない場合、ステップＳＡ３又はステップＳＢ４において探索空間決定部１２は、Ｄ次元未満のｒ次元パラメータを選択することでｒ次元アフィン部分空間を決定するのではなく、前述の通りに決定する。探索空間とするｒ次元アフィン部分空間が決定されれば、続くステップＳＡ４又はステップＳＢ５においてデータ取得部１３によって、Ｄ次元パラメータ値のｒ次元アフィン部分空間への射影長が、Ｄ次元パラメータ値とｒ次元アフィン部分空間との距離として算出される。

【0128】

（変形例４）
Ｄ次元パラメータ値は、パラメータ最適化装置２Ａ，２Ｂにより正規化されたり、逆正規化されたりしてもよい。

【0129】

調整するＤ種類のパラメータは、それぞれ、単位やスケール、定義域が異なる場合が多い。そこで、パラメータ最適化装置２Ａ，２Ｂにより、定義域が例えば０から１になるようにパラメータ値を正規化、又は、元の定義域に戻すために正規化されたパラメータが逆正規化されてもよい。正規化は正規化部により、逆正規化は逆正規化部により行われるとよい。正規化を行う場合には正規化部が、逆正規化を行う場合には逆正規化部がパラメータ最適化装置２Ａ，２Ｂに設けられればよい。これにより、単位やスケール、定義域が異なるＤ種類のパラメータを同時に扱いやすくなる。

【0130】

なお、正規化及び／又は逆正規化は、観測値出力装置３又はその他の装置等のパラメータ最適化装置２Ａ，２Ｂの外部で行われてもよい。

【0131】

（変形例５）
第１実施形態に係る第２条件及び第２実施形態に係る第３条件は、最適パラメータ値取得部１６が現在の反復処理で取得した最適パラメータ値に対応する目的関数の観測値の、直前の反復処理で取得した最適パラメータ値に対応する目的関数の観測値からの差分の絶対値（改善量）が所定の閾値以下か否かという条件に変更しても構わない。最適パラメータ値に対応する目的関数の観測値は、データ記憶部１１に記憶されているものを取得すればよい。

【0132】

これにより、反復処理による最適パラメータ値の改善量が小さくなったタイミングで処理を終了できる。そのため、効率的に最適パラメータ値を探索できる。

【0133】

（変形例６）
本実施形態においては、Ｄ次元パラメータ値を最適化するために、探索空間をｒ次元アフィン部分空間に設定した。ｒ次元アフィン部分空間に属する任意のＤ次元パラメータ値はｒ次元ベクトルで表現でき、そのｒ次元ベクトルは元のＤ次元ベクトルに劣化なしで逆変換できる。距離の閾値が０の場合、データ取得部１３によって取得されるＤ次元パラメータ値は、ｒ次元アフィン部分空間に属する。そこで、閾値が０の場合、変形例６に係るパラメータ探索部１５は、ステップＳＡ６及びＳＡ７とステップＳＢ６及びＳＢ７として、以下の処理を実行する。

【0134】

変形例６に係るパラメータ探索部１５は、ｒ次元アフィン部分空間に属するＤ次元パラメータ値ｘ_ｎ（ｎ＝０，１，…，Ｎ－１）をｒ次元パラメータ値ｘ^ｒ _ｎ（ｎ＝０，１，…，Ｎ－１）に変換する。Ｎ個のデータセット｛（ｘ^ｒ _ｎ，ｙ_ｎ）｜ｎ＝０，１，…，Ｎ－１｝に基づいてガウス過程回帰モデルを生成する。次に、ガウス過程回帰モデルにより、任意のｒ次元パラメータ値ｘ^ｒに関する目的関数の値ｈ（ｘ^ｒ）の平均ｍ_ｒ（ｘ^ｒ）と標準偏差σ_ｒ（ｘ^ｒ）を計算する。ここで、目的関数ｈ（・）は、ｒ次元アフィン部分空間に属する全てのＤ次元パラメータ値ｘをｒ次元ベクトルに変換したｒ次元パラメータ値ｘ^ｒに関して、ｈ（ｘ^ｒ）＝ｆ（ｘ）を満たす関数である。ｍ_ｒ（ｘ^ｒ）とσ_ｒ（ｘ^ｒ）とを用いて、ｒ次元パラメータ値ｘ^ｒに関する獲得関数ａ_ｒ（ｘ^ｒ）が最大のｘ^ｒを求める。獲得関数や獲得関数の最大化方式としては、任意のものを採用して構わない。求めたｘ^ｒをＤ次元パラメータ値に変換したものをｘ_ｎｅｘｔとする。このｘ_ｎｅｘｔは、ｒ次元アフィン部分空間、すなわち、探索空間に属する。このｘ_ｎｅｘｔをデータ生成部１５に供給する。

【0135】

これにより、ガウス過程回帰で扱うパラメータの次元がＤからｒに減少する。また、ガウス過程回帰で利用するカーネル関数のパラメータの次元も、獲得関数で扱うパラメータの次元も、Ｄからｒに減少する。これにより計算量を削減することが可能になる。なお、距離の閾値が正の値の場合、データ取得部１３によって取得されるＤ次元パラメータ値は、ｒ次元アフィン部分空間には属しないものの、距離が閾値以下であり、遠くない。そこで、データ取得部１３によって取得されるＤ次元パラメータ値をｒ次元アフィン部分空間に射影し、閾値が０の場合と同様に処理しても構わない。逆変換時の劣化はあるものの、その劣化誤差は大きくないため、閾値が０の場合と同様の効果が得られる。

【0136】

（変形例７）
第１実施形態及び第２実施形態においては、パラメータ最適化装置２Ａ，２Ｂと観測値出力装置３とが別々のコンピュータであるとした。変形例７に係る観測値出力装置３は、パラメータ最適化装置２Ａ，２Ｂに組み込まれている。これにより、単一装置によりパラメータを自動的に最適化することが可能になる。

【0137】

（変形例８）
第１実施形態、第２実施形態、変形例１、変形例２、変形例３、変形例４、変形例５、変形例６及び変形例７までの各実施例は任意に組み合わせ可能である。

【0138】

（ハードウェア構成）
図１４は、パラメータ最適化装置２Ａ，２Ｂのハードウェア構成例を示す図である。図１４に示すように、パラメータ最適化装置２Ａ，２Ｂは、処理回路９１、主記憶装置９２、補助記憶装置９３、表示機器９４、入力機器９５及び通信機器９６を備える。処理回路９１、主記憶装置９２、補助記憶装置９３、表示機器９４、入力機器９５及び通信機器９６は、バスを介して接続されている。

【0139】

処理回路９１は、補助記憶装置９３から主記憶装置９２に読み出されたパラメータ最適化プログラムを実行し、探索空間決定部１２、データ取得部１３、パラメータ探索部１４、データ生成部１５、最適パラメータ値取得部１６、次元取得部１７、距離取得部１８、閾値取得部１９及び外部データ取得部２１として機能する。主記憶装置９２は、ＲＡＭ（Random Access Memory）等のメモリである。補助記憶装置１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及び、メモリカード等である。主記憶装置９２及び補助記憶装置９３は、データ記憶部１１として機能する。

【0140】

表示機器９４は、種々の表示情報を表示する。表示機器１４は、例えばディスプレイやプロジェクタ等である。表示機器９４は、表示部２０として機能する。

【0141】

入力機器９５は、コンピュータを操作するためのインタフェースである。入力機器９５は、例えばキーボードやマウス等である。表示機器９４及び入力機器９５は、タッチパネルにより構成されてもよい。通信機器９６は、観測値出力装置３等の他の装置と通信するためのインタフェースである。

【0142】

コンピュータで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

【0143】

コンピュータで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコンピュータで実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

【0144】

コンピュータで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。コンピュータで実行されるプログラムは、パラメータ最適化装置２Ａ，２Ｂの機能構成（機能ブロック）のうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、処理回路９１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置９２上にロードされる。すなわち上記各機能ブロックは主記憶装置９２上に生成される。

【0145】

上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Integrated Circuit）等のハードウェアにより実現してもよい。複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

【0146】

パラメータ最適化装置２Ａ，２Ｂを実現するコンピュータの動作形態は任意でよい。例えば、パラメータ最適化装置２Ａ，２Ｂを１台のコンピュータにより実現してもよい。また例えば、パラメータ最適化装置２Ａ，２Ｂを、ネットワーク上のクラウドシステムとして動作させてもよい。

【0147】

（付言）
上記の通り、パラメータ最適化装置２Ａ，２Ｂは、データ記憶部１１、探索空間決定部１２、データ取得部１３及びパラメータ探索部１４を有する。データ記憶部１１は、第１次元数ＤのＤ次元パラメータ値とＤ次元パラメータ値に対応する目的関数の観測値ｙとを含む複数のデータセットを記憶する。探索空間決定部１２は、所定のＤ次元パラメータ値を含むＤ次元よりも小さいｒ次元の探索空間を決定する。データ取得部１３は、ｒ次元探索空間から所定の距離ｄに含まれるＤ次元パラメータ値を有する１以上のデータセット又は当該データセットに対応するｒ次元パラメータ値を有するデータセットを複数のデータセットに基づいて取得する。パラメータ探索部１４は、取得された１以上のデータセットに基づく目的関数の代理モデルを用いてｒ次元探索空間内で目的関数を最適化し得るＤ次元パラメータ値又はｒ次元パラメータ値を探索する。

【0148】

所定のＤ次元パラメータ値は、第１実施形態の場合、１周目では、ステップＳＡ１において設定されるデフォルト値又はランダム値であり、２周目以降では、ステップＳＡ２において取得される、データ記憶部１１に記憶されている複数のデータセットのうちの最小の観測値に対応するＤ次元パラメータ値である。第２実施形態の場合、ステップＳＢ３において設定される、データ記憶部１１に記憶されている複数のデータセットのうちの最小の観測値に対応するＤ次元パラメータ値である。

【0149】

上記の構成によれば、目的関数を最適化し得るＤ次元パラメータ値の探索において、データ記憶部１１のすべてのデータセットを使用せず、ｒ次元探索空間から距離ｄに含まれるＤ次元パラメータ値を有するデータセット又は当該データセットに対応するｒ次元パラメータ値を有するデータセットを使用することで、探索に係る計算量を、データ取得部１３を有しない場合に比して削減することが可能になる。また、上記のようにｒ次元探索空間に近いデータセットを使用することで、データセット数の削減に伴う探索効率の劣化を抑制することが可能になる。すなわち、本実施形態によれば、計算量の削減と探索効率の劣化抑制とを両立することができる。

【0150】

かくして、本実施形態によれば、効率的に最適なパラメータを探索することが可能になる。

【0151】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0152】

１…パラメータ最適化システム、２Ａ，２Ｂ…パラメータ最適化装置、３…観測値出力装置、１１…データ記憶部、１２…探索空間決定部、１３…データ取得部１３…パラメータ探索部、１５…データ生成部、１６…最適パラメータ値取得部、１７…次元取得部、１８…距離取得部、１９…閾値取得部、２０…表示部、２１…外部データ取得部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】