特許 7303299 ハイパーパラメタチューニング方法、プログラム試行システム及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-26

(45)【発行日】2023-07-04

(54)【発明の名称】ハイパーパラメタチューニング方法、プログラム試行システム及びコンピュータプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230627BHJP

   G06F 9/455 20180101ALI20230627BHJP

【ＦＩ】

G06N20/00

G06F9/455 100

【請求項の数】 16

(21)【出願番号】P 2021526074

(86)(22)【出願日】2020-06-05

(86)【国際出願番号】 JP2020022428

(87)【国際公開番号】W WO2020250843

(87)【国際公開日】2020-12-17

【審査請求日】2021-12-09

(31)【優先権主張番号】P 2019109537

(32)【優先日】2019-06-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】515130201

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】佐野 正太郎

(72)【発明者】

【氏名】柳瀬 利彦

(72)【発明者】

【氏名】太田 健

(72)【発明者】

【氏名】秋葉 拓哉

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２０１３－２４２６０４（ＪＰ，Ａ）

【文献】特開２０１９－０７９２１４（ＪＰ，Ａ）

【文献】特開２０１６－２１８８６９（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９８１６１１６（ＣＮ，Ａ）

【文献】特開２０１９－００３４０８（ＪＰ，Ａ）

【文献】Takuya Akiba，ハイパーパラメータ自動最適化ツール「Optuna」公開，Preferred Networks Research & Development Blog [online]，2018年12月03日，インターネット：<URL:https://tech.preferred.jp/ja/blog/optuna-release/>，[検索日 2020.07.15]

【文献】@koshian2，GridSearchCVはもう古い！Optunaでサポートベクターマシンもラクラクチューニング，Qiita [online]，2019年05月13日，インターネット：<URL:https://qiita.com/koshian2/items/1c0f781d244a6046b83e>，[検索日 2020.07.15]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ － ９９／００

Ｇ０６Ｆ ９／４５５

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
コマンドラインインタフェースを介して記述されたパラメタ記述データを含むプログラム実行命令を取得し、
前記パラメタ記述データに基づいて、試行対象となるプログラムのハイパーパラメタの値を設定し、
前記ハイパーパラメタの値を用いて実行された前記プログラムの試行結果を取得し、
前記試行結果に基づいて、前記プログラムの次のハイパーパラメタの値を設定し、
前記パラメタ記述データは、試行対象となる前記プログラム内に記述されたものではない、
ハイパーパラメタ設定装置。

【請求項2】

前記パラメタ記述データは、分布識別子と範囲指定値とを含み、
前記少なくとも１つのプロセッサは、前記分布識別子と前記範囲指定値とに基づいて前記ハイパーパラメタの値を設定する、
請求項１記載のハイパーパラメタ設定装置。

【請求項3】

前記パラメタ記述データは、第１のハイパーパラメタの値に依存して設定される第２のハイパーパラメタに関する情報を含み、
前記少なくとも１つのプロセッサは、前記第１のハイパーパラメタの値に基づいて、前記第２のハイパーパラメタの値を設定する、
請求項１又は２に記載のハイパーパラメタ設定装置。

【請求項4】

前記少なくとも１つのプロセッサは、前記プログラムの中間的な試行結果に基づいて、指定された試行回数の終了前に前記プログラムの試行を終了する、
請求項１乃至３のいずれか１項に記載のハイパーパラメタ設定装置。

【請求項5】

前記プログラム実行命令は、前記コマンドラインインタフェースを介して記述された第１のパラメタ記述データと、前記コマンドラインインタフェースを介して記述された第２のパラメタ記述データとを含み、
前記少なくとも１つのプロセッサは、
前記第１のパラメタ記述データに基づくハイパーパラメタの値と、前記第２のパラメタ記述データに基づくハイパーパラメタの値とを設定し、
前記第１のパラメタ記述データに基づくハイパーパラメタの値を用いて実行された前記プログラムの第１試行結果と、前記第２のパラメタ記述データに基づくハイパーパラメタの値を用いて実行された前記プログラムの第２試行結果とを取得し、
前記第１試行結果及び前記第２試行結果に基づいて、前記プログラムの次のハイパーパラメタの値を設定する、
請求項１乃至４のいずれか１項に記載のハイパーパラメタ設定装置。

【請求項6】

前記第１のパラメタ記述データに基づくハイパーパラメタの値を用いた前記プログラムの実行と、前記第２のパラメタ記述データに基づくハイパーパラメタの値を用いた前記プログラムの実行とが並列的に行われる、
請求項５に記載のハイパーパラメタ設定装置。

【請求項7】

前記プログラムは、機械学習モデルを含み、
前記ハイパーパラメタは、少なくとも、学習率、バッチサイズ、学習イテレーション数、ニューラルネットワークの層数又はチャネル数のいずれか１つを含み、
前記試行結果は、前記機械学習モデルの精度、実行時間又は進捗度のいずれか１つに関する情報を含む、
請求項１乃至６のいずれか１項に記載のハイパーパラメタ設定装置。

【請求項8】

前記プログラムの試行は、他の装置で実行される、
請求項１乃至７のいずれか１項に記載のハイパーパラメタ設定装置。

【請求項9】

請求項１乃至７のいずれか１項に記載のハイパーパラメタ設定装置、を備え、
前記少なくとも１つのプロセッサは、設定されたハイパーパラメタの値を用いて前記プログラムを実行する、
プログラム試行システム。

【請求項10】

少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
コマンドラインインタフェースを介して記述されたパラメタ記述データを含むプログラム実行命令を取得し、
前記パラメタ記述データに基づいて、ハイパーパラメタ設定部が処理可能なデータ形式を生成し、
前記データ形式を前記ハイパーパラメタ設定部に送信し、
プログラムのハイパーパラメタの値を前記ハイパーパラメタ設定部から受信し、
前記ハイパーパラメタの値を用いて実行された前記プログラムの試行結果を取得し、
前記試行結果を前記ハイパーパラメタ設定部に送信し、
前記試行結果に基づいて設定された、前記プログラムの次のハイパーパラメタの値を前記ハイパーパラメタ設定部から受信し、
前記パラメタ記述データは、試行対象となる前記プログラム内に記述されたものではない、
インタフェース装置。

【請求項11】

前記少なくとも１つのプロセッサは、
予め保持している対応表に基づいて、前記データ形式を生成する、
請求項１０に記載のインタフェース装置。

【請求項12】

前記少なくとも１つのプロセッサは、
前記パラメタ記述データに含まれる分布識別子と範囲指定値とに基づいて、前記データ形式を生成する、
請求項１０又は１１に記載のインタフェース装置。

【請求項13】

少なくとも１つのプロセッサが、コマンドラインインタフェースを介して記述されたパラメタ記述データを含むプログラム実行命令を取得することと、
前記少なくとも１つのプロセッサが、前記パラメタ記述データに基づいて、試行対象となるプログラムのハイパーパラメタの値を設定することと、
前記少なくとも１つのプロセッサが、前記ハイパーパラメタの値を用いて実行された前記プログラムの試行結果を取得することと、
前記少なくとも１つのプロセッサが、前記試行結果に基づいて、前記プログラムの次のハイパーパラメタの値を設定することと、
を有し、
前記パラメタ記述データは、試行対象となる前記プログラム内に記述されたものではない、
方法。

【請求項14】

少なくとも１つのプロセッサが、コマンドラインインタフェースを介して記述されたパラメタ記述データを含むプログラム実行命令を取得することと、
前記少なくとも１つのプロセッサが、前記パラメタ記述データに基づいて、ハイパーパラメタ設定部が処理可能なデータ形式を生成することと、
前記少なくとも１つのプロセッサが、前記データ形式を前記ハイパーパラメタ設定部に送信することと、
前記少なくとも１つのプロセッサが、プログラムのハイパーパラメタの値を前記ハイパーパラメタ設定部から受信することと、
前記少なくとも１つのプロセッサが、前記ハイパーパラメタの値を用いて実行された前記プログラムの試行結果を取得することと、
前記少なくとも１つのプロセッサが、前記試行結果を前記ハイパーパラメタ設定部に送信することと、
前記少なくとも１つのプロセッサが、前記試行結果に基づいて設定された、前記プログラムの次のハイパーパラメタの値を前記ハイパーパラメタ設定部から受信することと、
を有し、
前記パラメタ記述データは、試行対象となる前記プログラム内に記述されたものではない、
方法。

【請求項15】

コマンドラインインタフェースを介して記述されたパラメタ記述データを含むプログラム実行命令を取得する処理と、
前記パラメタ記述データに基づいて、試行対象となるプログラムのハイパーパラメタの値を設定する処理と、
前記ハイパーパラメタの値を用いて実行された前記プログラムの試行結果を取得する処理と、
前記試行結果に基づいて、前記プログラムの次のハイパーパラメタの値を設定する処理と、
を１又は複数台のコンピュータに実行させ、
前記パラメタ記述データは、試行対象となる前記プログラム内に記述されたものではない、
プログラム。

【請求項16】

コマンドラインインタフェースを介して記述されたパラメタ記述データを含むプログラム実行命令を取得する処理と、
前記パラメタ記述データに基づいて、ハイパーパラメタ設定部が処理可能なデータ形式を生成する処理と、
前記データ形式を前記ハイパーパラメタ設定部に送信する処理と、
プログラムのハイパーパラメタの値を前記ハイパーパラメタ設定部から受信する処理と、
前記ハイパーパラメタの値を用いて実行された前記プログラムの試行結果を取得する処理と、
前記試行結果を前記ハイパーパラメタ設定部に送信する処理と、
前記試行結果に基づいて設定された、前記プログラムの次のハイパーパラメタの値を前記ハイパーパラメタ設定部から受信する処理と、
を１又は複数台のコンピュータに実行させ、
前記パラメタ記述データは、試行対象となる前記プログラム内に記述されたものではない、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ハイパーパラメタチューニング方法、プログラム試行システム及びコンピュータプログラムに関する。

【背景技術】

【0002】

機械学習モデルを訓練する際、例えば、学習率、バッチサイズ、学習イテレーション数、ニューラルネットワークの層数、チャネル数などのハイパーパラメタの調整が必要とされる。具体的には、各種ハイパーパラメタの値を設定し、設定されたハイパーパラメタ値の下で機械学習モデルが訓練される。

【0003】

しかしながら、ハイパーパラメタの調整は、訓練済み深層学習モデルの精度に影響を与える一方、現状、深層学習モデルのハイパーパラメタは、ユーザによって手動により調整されているか、あるいは、Ｐｙｔｈｏｎなどの特定のプログラミング言語を用いてユーザによって記述されたハイパーパラメタ設定プログラムを実行することによって調整されている。また、従来のハイパーパラメタ設定プログラム（例えば、https://github.com/Epistimio/orionを参照されたい）は、ハイパーパラメタを設定したい対象のプログラム（機械学習モデル）内に直接コードを記述する必要があるなど、必ずしも利便性が高いといえるものではなかった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、利便性が向上したハイパーパラメタのチューニング方法を提供する。

【課題を解決するための手段】

【0005】

上記課題を解決するため、本開示の一態様は、１つ又は複数のプロセッサが、コマンドラインインタフェースにおいて記述された、パラメタ記述データを含むプログラム実行命令を取得することと、前記１つ又は複数のプロセッサが、前記パラメタ記述データに従って最適化対象のプログラムのハイパーパラメタの値を設定し、前記ハイパーパラメタの値の評価値を取得することと、を有するハイパーパラメタチューニング方法に関する。

【図面の簡単な説明】

【0006】

【図1】本開示の一実施例によるハイパーパラメタ設定装置を示す概略図である。

【図2】本開示の一実施例による一例となるパラメタ記述データを示す図である。

【図3】本開示の一実施例によるハイパーパラメタ設定処理を示すシーケンス図である。

【図4】本開示の他の実施例による一例となるパラメタ記述データを示す図である。

【図5】本開示の他の実施例によるハイパーパラメタ設定処理を示すシーケンス図である。

【図6】本開示の他の実施例によるハイパーパラメタ設定処理を示すフローチャートである。

【図7】本開示の他の実施例による一例となるパラメタ記述データを示す図である。

【図8】本開示の一実施例によるハイパーパラメタ設定装置のハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0007】

以下、図面に基づいて本開示の実施の形態を説明する。以下の実施例では、深層学習モデルなどの試行対象モデルのためのハイパーパラメタ設定装置が開示される。
［本開示の概略］
本開示を概略すると、ユーザがユーザ端末上に表示されたコマンドプロンプト、コンソール等のコマンドラインインタフェースに試行対象のユーザプログラムに対するハイパーパラメタを設定するためのパラメタ記述データを含むプログラム実行命令を入力すると、ハイパーパラメタ設定装置は、入力されたパラメタ記述データに従って当該ユーザプログラムにハイパーパラメタの値を設定する。本開示によると、ユーザは、コマンドラインインタフェースから、ハイパーパラメタのパラメタ記述データを含むプログラム実行命令を送信する。ハイパーパラメタ設定装置は、取得したパラメタ記述データを含むプログラム実行命令に基づいて、ユーザプログラムのハイパーパラメタの値を設定する。これにより、ユーザは、ハイパーパラメタを設定するためのユーザプログラム内にプログラム又はファイルを記述することなく、ハイパーパラメタを探索することができる。また、例えば、プログラミング言語の種類に依らず、記述された試行対象のユーザプログラムに適したハイパーパラメタを探索することができる。

【0008】

なお、本明細書において、ハイパーパラメタとは、機械学習アルゴリズムの挙動を制御するパラメタのことを指す。特に、機械学習モデルが深層学習モデルである場合には、学習率、バッチサイズ、学習イテレーション数等、勾配法によって最適化できないパラメタを指す。また、ハイパーパラメタのチューニングとは、ハイパーパラメタの値の評価の他、改善（より好ましい値を選択すること）や最適化等を含む。なお、ハイパーパラメタの値の評価とは、あるハイパーパラメタの値を用いてユーザプログラムを実行し、評価値を取得することを意味する。
［ハイパーパラメタ設定装置の一実施例］
まず、図１～３を参照して、本開示の一実施例によるハイパーパラメタ設定装置を説明する。図１は、本開示の一実施例によるハイパーパラメタ設定装置を示す概略図である。

【0009】

図１に示されるように、プログラム試行システム１０は、ハイパーパラメタ設定装置１００、プログラム試行装置２００及びデータベース２５０を有し、ユーザ端末５０と接続される。プログラム試行システム１０は、例えば、ユーザ端末５０から、試行対象のユーザプログラム（例えば、深層学習モデル）と共にパラメタ記述データを取得すると、取得したパラメタ記述データとプログラム実行命令とに従ってユーザプログラムを試行する際のハイパーパラメタの値を決定及び設定し、決定したハイパーパラメタの値に基づきユーザプログラムを試行する。決定されたハイパーパラメタの値の下でのユーザプログラムの試行後、プログラム試行システム１０は、試行結果に基づき次のハイパーパラメタの値を決定し、終了条件を充足するまで当該試行を繰り返す。ユーザにより指定された試行回数の終了などの所定の終了条件を充足すると、プログラム試行システム１０は、各種ハイパーパラメタの値による試行結果に基づき、ユーザプログラムに最適なハイパーパラメタの値を決定する。例えば、ユーザプログラムが深層学習モデルである場合、最適なハイパーパラメタの値によって訓練された深層学習モデルが、以降の分類、予測等に利用される。なお、本明細書において、「最適化」とは、最適な状態に近づけることを指し、厳密に最適な値または状態とすることに限られない。同様に、「最適な」とは、厳密に最適であることに限られない。

【0010】

図示された実施例では、プログラム試行システム１０は、ハイパーパラメタ設定装置１００、プログラム試行装置２００及びデータベース２５０の３つの物理的に分離した装置から構成されているが、本開示によるプログラム試行システム１０は、これに限定されるものでなく、ハイパーパラメタ設定装置１００、プログラム試行装置２００及びデータベース２５０によって提供される機能を実現する単一の装置によって実現されてもよい。また、本開示によるプログラム試行システム１０は、１つ又は複数のプロセッサと、１つ又は複数のメモリとによって実現されてもよい。

【0011】

ユーザ端末５０は、例えば、パーソナルコンピュータ、タブレット等の計算装置である。ユーザは、例えば、ユーザ端末５０を用いて、訓練対象の機械学習モデル、深層学習モデルなどの試行対象モデルを記述したユーザプログラムを作成及び格納し、また、当該ユーザプログラムをプログラム試行システム１０のハイパーパラメタ設定装置１００に送信する。

【0012】

また、ユーザ端末５０は、当該ユーザプログラムに設定されるべきハイパーパラメタを指定するためのパラメタ記述データを含むプログラム実行命令をハイパーパラメタ設定装置１００に提供する。具体的には、ユーザは、ユーザ端末５０上に表示されるコマンドプロンプト、コンソールなどのコマンドラインインタフェース上でハイパーパラメタ設定装置１００を起動するためのコマンドラインを入力すると共に、各種ハイパーパラメタを設定するためのパラメタ記述データを含むプログラム実行命令を当該コマンドラインのオプションとして入力する。

【0013】

例えば、図２に示されるように、ユーザはまずハイパーパラメタ設定装置１００を起動するため、ユーザ端末５０上のコマンドラインインタフェースにおいて、“ｏｐｔｕｎａｓｈ ｒｕｎ －ｎ １００ －－”を入力してハイパーパラメタ設定プログラム（図２の例では“ｏｐｔｕｎａｓｈ“）の実行とそれによるユーザプログラムの試行回数を１００回として指定する。さらに、ユーザは、パラメタ記述データを含むプログラム実行命令を入力する。

【0014】

例えば、まず、ユーザは、試行対象のユーザプログラム“ｎｎ－ｔｒａｉｎ”を入力する。次に、ユーザはパラメタ記述データとして、例えば、学習率“－－ｌｅａｒｎｉｎｇ＿ｒａｔｅ”及び層数“－－ｎｕｍ＿ｌａｙｅｒｓ”を指定する。具体的には、パラメタ記述データは、分布識別子と範囲指定値とによってハイパーパラメタの設定範囲を規定してもよい。

【0015】

ここでは、ユーザは学習率として“－－ｌｅａｒｎｉｎｇ＿ｒａｔｅ＝｛｛ｕｎｉｆｏｒｍ，０．０１，０．１｝｝”をコマンドラインのオプションとして入力する。“－－ｌｅａｒｎｉｎｇ＿ｒａｔｅ＝｛｛ｕｎｉｆｏｒｍ，０．０１，０．１｝｝”によると、“ｕｎｉｆｏｒｍ”は、一様分布であることを示す分布識別子であり、範囲指定値“０．０１”及び“０．１”は、“０．０１”から“０．１”までの設定範囲を示し、“－－ｌｅａｒｎｉｎｇ＿ｒａｔｅ＝｛｛ｕｎｉｆｏｒｍ，０．０１，０．１｝｝”は、“０．０１”から“０．１”までの設定範囲において一様分布により学習率が選択されることを指定している。

【0016】

また、ユーザは層数として“－－ｎｕｍ＿ｌａｙｅｒｓ＝｛｛ｉｎｔ，２，８｝｝”を入力する。“－－ｎｕｍ＿ｌａｙｅｒｓ＝｛｛ｉｎｔ，２，８｝｝”によると、“ｉｎｔ”は選択対象が整数のみであることを示す分布識別子であり、範囲指定値“２”及び“８”は、“２”から“８”までの設定範囲を示し、“－－ｎｕｍ＿ｌａｙｅｒｓ＝｛｛ｉｎｔ，２，８｝｝”は、“２”から“８”までの設定範囲において層数が選択されることを指定している。

【0017】

なお、分布識別子はこれらに限定されず、例えば、対数一様分布であることを示す分布識別子“ｌｏｇｕｎｉｆｏｒｍ”、指定された量子化ステップにより選択される一様分布であることを示す分布識別子“ｄｉｓｃｒｅｔｅ＿ｕｎｉｆｏｒｍ”、選択対象の要素を指定する分布識別子“ｃａｔｅｇｏｒｉｃａｌ”等が利用されてもよい。

【0018】

このようにして、分布識別子と範囲指定値とによってハイパーパラメタの設定範囲を規定するパラメタ記述データが、ユーザ端末５０上のコマンドラインインタフェースを介し入力され、例えばリターンキーを押下することで、ハイパーパラメタ設定装置１００に送信される。

【0019】

ハイパーパラメタ設定装置１００は、インタフェース部１１０及びハイパーパラメタ設定部１２０を有する。

【0020】

インタフェース部１１０は、コマンドラインインタフェースにおいて記述された、プログラムのハイパーパラメタを設定するためのパラメタ記述データを含むプログラム実行命令を取得する。図１に示されるように、例えば、ユーザ端末５０からハイパーパラメタ設定装置１００に送信されたユーザプログラム及びパラメタ記述データを含むプログラム実行命令は、インタフェース部１１０において受信される。インタフェース部１１０は、受信したユーザプログラム及びパラメタ記述データを含むプログラム実行命令をそれぞれプログラム試行装置２００及びハイパーパラメタ設定部１２０にわたす。

【0021】

例えば、インタフェース部１１０は、ユーザ端末５０上のコマンドラインインタフェースに入力された各種ハイパーパラメタのパラメタ記述データを含むプログラム実行命令を取得すると、取得したプログラム実行命令内のパラメタ記述データをハイパーパラメタ設定部１２０によって処理可能なデータ形式に変換し、変換したパラメタ記述データをハイパーパラメタ設定部１２０にわたす。

【0022】

具体的には、インタフェース部１１０は、取得したパラメタ記述データを含むプログラム実行命令をパーシングし、“｛｛文字列｝｝”などの特定のパタン部分を抽出する。図２に示されたパラメタ記述データの具体例では、インタフェース部１１０はまず、取得したパラメタ記述データから特定のパタン部分として“－－ｌｅａｒｎｉｎｇ＿ｒａｔｅ＝｛｛ｕｎｉｆｏｒｍ，０．０１，０．１｝｝”を検出すると、第１項“ｕｎｉｆｏｒｍ”を分布識別子とし、第２項及び第３項“０．０１”及び“０．１”を範囲指定値として抽出する。特定のパタン部分の抽出後、インタフェース部１１０は、予め保持している対応表などを参照して、抽出した分布識別子に対応するパラメタ要求を特定し、抽出した範囲指定値を引数として特定したパラメタ要求に設定する。

【0023】

ここでは、ハイパーパラメタ設定部１２０にハイパーパラメタチューニングのソフトウェアＯｐｔｕｎａ（https://optuna.org/）を利用する場合を例として説明する。インタフェース部１１０は、“－－ｌｅａｒｎｉｎｇ＿ｒａｔｅ＝｛｛ｕｎｉｆｏｒｍ，０．０１，０．１｝｝”をＳｕｇｇｅｓｔ ＡＰＩとしてのパラメタ要求“ｔｒｉａｌ．ｓｕｇｇｅｓｔ＿ｕｎｉｆｏｒｍ（‘ｌｅａｒｎｉｎｇ＿ｒａｔｅ’，０．０１．０．１）”に変換してもよい。インタフェース部１１０は、変換されたパラメタ要求をハイパーパラメタ設定部１２０に送信する。その後、インタフェース部１１０は、“－－ｎｕｍ＿ｌａｙｅｒｓ＝｛｛ｉｎｔ，２，８｝｝”について同様の処理を実行する。

【0024】

ハイパーパラメタ設定部１２０は、パラメタ記述データに従ってプログラムにハイパーパラメタの値を設定する。具体的には、図１に示されるように、インタフェース部１１０からパラメタ記述データを取得すると、ハイパーパラメタ設定部１２０は、取得したパラメタ記述データに従ってユーザプログラムに対するハイパーパラメタの値を決定し、決定したハイパーパラメタの値をインタフェース部１１０に返す。

【0025】

例えば、ハイパーパラメタの値は、インタフェース部１１０から取得したパラメタ要求の分布識別子及び範囲指定値に従って選択されてもよい。上述したようなパラメタ要求“ｔｒｉａｌ．ｓｕｇｇｅｓｔ＿ｕｎｉｆｏｒｍ（‘ｌｅａｒｎｉｎｇ＿ｒａｔｅ’，０．０１．０．１）”を取得すると、ハイパーパラメタ設定部１２０は、“０．０１”から“０．１”の範囲内で一様分布に従ってランダムにハイパーパラメタの値を設定してもよい。また、ハイパーパラメタの値の設定は、ベイズ最適化やガウス仮定、ハイパーパラメタの最適化のためのソフトウェアなどを用いることにより、行われてもよい。また、ハイパーパラメタ設定部１２０は、設定したハイパーパラメタの値をデータベース２５０に記憶してもよい。

【0026】

このようにしてハイパーパラメタ設定部１２０によって設定されたハイパーパラメタの値を取得すると、インタフェース部１１０は、取得したハイパーパラメタの値をプログラム試行装置２００にわたし、当該ハイパーパラメタの値によってユーザプログラムを実行するようプログラム試行装置２００に指示する。例えば、ｌｅａｒｎｉｎｇ＿ｒａｔｅが０．０２であり、ｎｕｍ＿ｌａｙｅｒｓが３の場合には、それぞれ該当するパラメタ記述データを置換して、“ｎｎ－ｔｒａｉｎ －－ｌｅａｒｎｉｎｇ＿ｒａｔｅ＝０．０２ －－ｎｕｍ＿ｌａｙｅｒｓ＝３”という実行命令（コマンド）を生成し、実行する。同様に、ｌｅａｒｎｉｎｇ＿ｒａｔｅが０．０７であり、ｎｕｍ＿ｌａｙｅｒｓが６の場合には、“ｎｎ－ｔｒａｉｎ －－ｌｅａｒｎｉｎｇ＿ｒａｔｅ＝０．０７ －－ｎｕｍ＿ｌａｙｅｒｓ＝６”という実行命令（コマンド）を生成し、実行する。指示したハイパーパラメタの値によるユーザプログラムの実行後、インタフェース部１１０は、プログラム試行装置２００から試行結果を取得する。

【0027】

例えば、ユーザプログラムが訓練前の深層学習モデルである場合、インタフェース部１１０は、ハイパーパラメタ設定部１２０によって設定されたハイパーパラメタの値によって深層学習モデルを訓練するようプログラム試行装置２００に指示する。プログラム試行装置２００は、例えば、予め準備された訓練データ等を利用して、指示されたハイパーパラメタの値の下で深層学習モデルを訓練し、訓練された深層学習モデルの精度、実行時間、進捗度などの評価値を含む試行結果をインタフェース部１１０に返す。

【0028】

当該試行結果は、標準出力（ｓｔｄｏｕｔ）から取得されてもよいし、あるいは、ファイルとして取得されてもよい。そして、インタフェース部１１０は、標準出力又はファイルとして取得した試行結果から、訓練された深層学習モデルの精度、実行時間、進捗度などの評価値を含む評価値を取得する。例えば、入力文字列を受け取り、試行結果を抽出する関数を利用して、試行結果が標準出力として取得される場合、評価値は、入力文字列の最終行を読み、それを浮動小数点に型変換した値であってもよい。しかしながら、評価値の抽出は、これに限定されず、最終行を読む代わりに、正規表現などのパターンマッチを用いて取得されてもよい。あるいは、評価値のパターンが引数によって指定できるようにしてもよい。

【0029】

プログラム試行装置２００から試行結果を取得すると、インタフェース部１１０は、取得した試行結果をハイパーパラメタ設定部１２０にわたす。ハイパーパラメタ設定部１２０は、取得した試行結果を適用されたハイパーパラメタの値と関連付けてデータベース２５０に記憶する。その後、ハイパーパラメタ設定部１２０は、例えば、“０．０１”から“０．１”の設定範囲内で一様分布に従ってハイパーパラメタの次の値を設定し、インタフェース部１１０に送信し、再設定されたハイパーパラメタの値の下で上述したようにユーザプログラムが、指定された試行回数だけプログラム試行装置２００において実行される。

【0030】

プログラム試行装置２００は、例えば、深層学習モデルなどの試行対象のユーザプログラムを実行するサーバなどの計算装置である。図示された実施例では、プログラム試行装置２００は、ハイパーパラメタ設定装置１００と別の計算装置として示されている。しかしながら、本開示はこれに限定されず、例えば、ハイパーパラメタ設定装置１００とプログラム試行装置２００とは同一の計算装置によって実現されてもよい。

【0031】

データベース２５０は、ハイパーパラメタ設定部１２０によって設定されたハイパーパラメタの値の下での試行対象のユーザプログラムの試行結果を記憶する。例えば、指定された試行回数によるユーザプログラムの実行後、ユーザは、データベース２５０に記憶された評価値を含む試行結果を取得し、各種ハイパーパラメタの値による試行結果から最適なハイパーパラメタの値を決定することができる。

【0032】

図３は、本開示の一実施例によるハイパーパラメタ設定処理を示すシーケンス図である。例えば、当該ハイパーパラメタ設定処理は、ハイパーパラメタ設定装置１００によってユーザ端末５０に提供されるハイパーパラメタ設定アプリケーションを起動することによって開始されてもよい。

【0033】

図３に示されるように、ステップＳ１０１において、ユーザ端末５０は、試行対象のユーザプログラム（例えば、訓練対象の深層学習モデルなど）と、当該ユーザプログラムの試行に適用されるハイパーパラメタのパラメタ記述データを含むプログラム実行命令をインタフェース部１１０に提供する。具体的には、例えば、ユーザは、ユーザ端末５０を利用して、試行対象のユーザプログラムをハイパーパラメタ設定装置１００に送信すると共に、ユーザ端末５０のコマンドラインインタフェースを介し当該ユーザプログラムの試行に利用されるハイパーパラメタを指示するためのパラメタ記述データを含むプログラム実行命令をハイパーパラメタ設定装置１００に送信する。

【0034】

ステップＳ１０２において、インタフェース部１１０は、ユーザ端末５０から取得したパラメタ記述データに基づきパラメタ要求を生成し、生成したパラメタ要求をハイパーパラメタ設定部１２０に送信する。

【0035】

ステップＳ１０３において、ハイパーパラメタ設定部１２０は、取得したパラメタ要求に基づき、ユーザプログラムの試行のためのハイパーパラメタの値を決定する。例えば、取得したパラメタ要求が“ｔｒｉａｌ．ｓｕｇｇｅｓｔ＿ｕｎｉｆｏｒｍ（‘ｌｅａｒｎｉｎｇ＿ｒａｔｅ’，０．０１．０．１）”である場合、ハイパーパラメタ設定部１２０は、“０．０１”から“０．１”までの設定範囲内で一様分布に従って学習率の値を選択する。

【0036】

ステップＳ１０４において、ハイパーパラメタ設定部１２０は、決定したハイパーパラメタの値をインタフェース部１１０に返す。

【0037】

ステップＳ１０５において、インタフェース部１１０は、パラメタ記述データをハイパーパラメタの値で置き換えたプログラム実行命令を生成し、試行対象のユーザプログラム及び設定されたハイパーパラメタの値で置き換えたプログラム実行命令をプログラム試行装置２００に送信し、当該ハイパーパラメタの値の下でユーザプログラムを試行するようプログラム試行装置２００に指示する。

【0038】

ステップＳ１０６において、プログラム試行装置２００は、インタフェース部１１０からの試行指示に従って、取得したハイパーパラメタの値の下でユーザプログラムを実行する。例えば、ユーザプログラムが深層学習モデルである場合、プログラム試行装置２００は、ハイパーパラメタ設定部１２０によって設定されたハイパーパラメタの値の下で深層学習モデルを訓練し、当該ハイパーパラメタの値の下で訓練された深層学習モデルの精度、実行時間、進捗度などを評価する。

【0039】

ステップＳ１０７において、プログラム試行装置２００は、精度、実行時間、進捗度などの評価結果を含む試行結果をインタフェース部１１０に返す。

【0040】

ステップＳ１０８において、インタフェース部１１０は、取得した試行結果から評価結果を抽出し、抽出した評価結果をハイパーパラメタ設定部１２０に提供する。

【0041】

ステップＳ１０９において、ハイパーパラメタ設定部１２０は、取得した試行結果をデータベース２５０に記憶すると共に、指定された試行回数に達していない場合、次の試行に適用するハイパーパラメタの値を設定する。その後、指定された試行回数に到達するまで、ステップＳ１０４～Ｓ１０９が繰り返される。

【0042】

指定された試行回数に到達すると、ステップＳ１１０において、インタフェース部１１０は、これまで取得された試行結果を最終結果としてユーザ端末５０に提供する。
［ハイパーパラメタ設定装置の他の実施例］
次に、図４を参照して、本開示の他の実施例によるハイパーパラメタ設定装置を説明する。上述した実施例では、学習率と層数などの異なるタイプのハイパーパラメタ値は互いに独立して決定されたが（Ｄｅｆｉｎｅ－ａｎｄ－ｒｕｎ方式）、本実施例では、ハイパーパラメタ値がＤｅｆｉｎｅ－ｂｙ－ｒｕｎ方式で設定される。すなわち、複数タイプのハイパーパラメタが設定される際、既に設定されたあるハイパーパラメタの値に依存して他のハイパーパラメタの値が設定される。

【0043】

例えば、図４に示されるように、ユーザは、コマンドラインインタフェースに介してパラメタ記述データとして層数“－－ｎ＿ｌａｙｅｒｓ＝｛｛ｉｎｔ，１，８｝｝”及び隠れ層数“－－ｎ＿ｈｉｄｄｅｎ＝｛｛ｉｎｔ，１，１０２４／ｎ＿ｌａｙｅｒｓ｝｝”を指定する。

【0044】

具体的には、ユーザは、分布識別子“ｉｎｔ”と、“１”から“８”までの設定範囲とによって層数を指定する。次に、ユーザは、分布識別子“ｉｎｔ”と、“１”から“１０２４／ｎ＿ｌａｙｅｒｓ”までの設定範囲とによって隠れ層の層数を指定する。すなわち、隠れ層の層数の設定範囲は、既に設定された層数“ｎ＿ｌａｙｅｒｓ”の値に依存して設定される。このように、本実施例によるパラメタ記述データによると、コマンドラインインタフェースにおいて指定された順に、層数“ｎ＿ｌａｙｅｒｓ”の値がまず決定され、ハイパーパラメタ“ｎ＿ｌａｙｅｒｓ”と決定された値とのペアが保存される。そして、“－－ｎ＿ｈｉｄｄｅｎ＝｛｛ｉｎｔ，１，１０２４／ｎ＿ｌａｙｅｒｓ｝｝”に従って隠れ層の層数“ｎ＿ｈｉｄｄｅｎ”の設定範囲を決定する際、層数“ｎ＿ｌａｙｅｒｓ”に対応する保存されている値に依存して、隠れ層の層数“ｎ＿ｈｉｄｄｅｎ”の設定範囲が決定される。例えば、図４に示される具体例では、“ｎ＿ｌａｙｅｒｓ”が“２”に設定されると、“ｎ＿ｌａｙｅｒｓ”と“２”のペアが保存され、“ｎ＿ｈｉｄｄｅｎ”を決定するのに利用される。また、“ｎ＿ｌａｙｅｒｓ”が“７”に設定されると、“ｎ＿ｌａｙｅｒｓ”と“７”のペアが保存され、“ｎ＿ｈｉｄｄｅｎ”を決定するのに利用される。すなわち、あるハイパーパラメタの値が他のハイパーパラメタの設定値に依存して設定されるというＤｅｆｉｎｅ－ｂｙ－ｒｕｎ方式によって、ハイパーパラメタの値が設定可能である。

【0045】

また、例えば、ｎ＿ｌａｙｅｒｓが２であり、ｎ＿ｈｉｄｄｅｎが１６の場合には、それぞれ該当するパラメタ記述データを置換して、“ｎｎ－ｔｒａｉｎ －－ｎ＿ｌａｙｅｒｓ＝２ －－ｎ＿ｈｉｄｄｅｎ＝１６”という実行命令（コマンド）を生成し、実行する。同様に、ｎ＿ｌａｙｅｒｓが７であり、ｎ＿ｈｉｄｄｅｎが２５の場合には、“ｎｎ－ｔｒａｉｎ －－ｎ＿ｌａｙｅｒｓ＝７ －－ｎ＿ｈｉｄｄｅｎ＝２５”という実行命令（コマンド）を生成し、実行する。

【0046】

このようなＤｅｆｉｎｅ－ｂｙ－ｒｕｎ方式によりハイパーパラメタの値が設定されるパラメタ記述データをユーザ端末５０から取得すると、ハイパーパラメタ設定部１２０は、取得したパラメタ記述データに記述されている順にハイパーパラメタの値を決定及び保存し、既に決定及び保存されたハイパーパラメタの値に依存して他のハイパーパラメタの値を決定する。
［ハイパーパラメタ設定装置の他の実施例］
次に、図５を参照して、本開示の他の実施例によるハイパーパラメタ設定装置を説明する。上述した実施例では、ユーザにより指定された試行回数だけユーザプログラムは実行されるが、本実施例では、さらに、試行結果の中間評価に基づき、早期にユーザプログラムの訓練が終了される。すなわち、設定されたハイパーパラメタの値の下で試行されたユーザプログラムの中間的な試行結果に基づき、当該ユーザプログラムの試行が終了される。図５は、本開示の他の実施例によるハイパーパラメタ設定処理を示すシーケンス図である。

【0047】

図５に示されるように、ステップＳ２０１において、ユーザ端末５０は、試行対象のユーザプログラム（例えば、訓練対象の深層学習モデルなど）と、当該ユーザプログラムの試行に適用されるハイパーパラメタのパラメタ記述データとをインタフェース部１１０に提供する。

【0048】

ステップＳ２０２において、インタフェース部１１０は、ユーザ端末５０から取得したパラメタ記述データに基づきパラメタ要求を生成し、生成したパラメタ要求をハイパーパラメタ設定部１２０に送信する。

【0049】

ステップＳ２０３において、ハイパーパラメタ設定部１２０は、取得したパラメタ要求に基づき、ユーザプログラムの試行のためのハイパーパラメタの値を決定する。

【0050】

ステップＳ２０４において、ハイパーパラメタ設定部１２０は、決定したハイパーパラメタの値をインタフェース部１１０に返す。

【0051】

ステップＳ２０５において、インタフェース部１１０は、試行対象のユーザプログラム及び取得したハイパーパラメタの値をプログラム試行装置２００に送信し、当該ハイパーパラメタの値の下でユーザプログラムを試行するようプログラム試行装置２００に指示する。

【0052】

ステップＳ２０６において、プログラム試行装置２００は、インタフェース部１１０からの試行指示に従って、取得したハイパーパラメタの値の下でユーザプログラムを実行する。例えば、ユーザプログラムが深層学習モデルである場合、プログラム試行装置２００は、ハイパーパラメタ設定部１２０によって設定されたハイパーパラメタの値の下で実行される複数回のエポックを通じて深層学習モデルを訓練し、例えば、各エポックの終了後などに、当該ハイパーパラメタの値の下で訓練された深層学習モデルの精度、実行時間、進捗度などの評価値を中間試行結果として出力する。

【0053】

ステップＳ２０７において、プログラム試行装置２００は、各エポックにおける評価結果を中間試行結果としてインタフェース部１１０に返す。

【0054】

ステップＳ２０８において、インタフェース部１１０は、取得した中間試行結果をハイパーパラメタ設定部１２０に提供する。

【0055】

ステップＳ２０９において、ハイパーパラメタ設定部１２０は、通常の訓練終了より早期に取得した、ユーザプログラム実行中の各エポックの中間試行結果を評価（中間評価）し、当該中間試行結果に基づき、当該ユーザプログラムの実行を通常よりも早期に終了してもよい。例えば、ハイパーパラメタ設定部１２０は、精度、実行時間及び進捗度の１つ以上の中間試行結果からなる中間評価値に基づき、当該ユーザプログラムの更なる訓練を終了するか判断してもよい。

【0056】

また、この早期終了判定に利用される中間評価のための中間試行結果とユーザに報告される最終結果のための試行結果とは、異なるものであってもよい。例えば、ハイパーパラメタ設定部１２０は、進捗度に基づき更なる訓練の実行を終了してもよく、インタフェース部１１０は、実行時間を最終結果としてユーザ端末５０に報告してもよい。

【0057】

当該ユーザプログラムが早期終了すべきと判定された場合、ステップＳ２１０において、ハイパーパラメタ設定部１２０は、プログラム試行装置２００及びインタフェース部１１０に早期終了指示を送信し、当該ユーザプログラムの実行を終了させる。そして、ステップＳ２１１において、指定された試行回数に達していない場合、次の試行に適用するハイパーパラメタの値を設定する。なお、中間評価にかかる情報は任意にデータベース２５０に記憶されてもよい。

【0058】

早期終了すべきと判定されなかった場合、プログラム試行装置２００は、当該ユーザプログラムの実行を継続し、ステップＳ２０７に戻って、次のエポックの中間試行結果をインタフェース部１１０に提供する。その後、当該フローは、早期終了に該当せず、所定のエポック数の処理が終了したなどの終了条件が充足されるまで、上述した処理を繰り返す。

【0059】

そして、ステップＳ２１１において、ハイパーパラメタ設定部１２０は、取得した試行結果をデータベース２５０に記憶すると共に、指定された試行回数に達していない場合、次の試行に適用するハイパーパラメタの値を設定する。

【0060】

その後、指定された試行回数に到達するまで、ステップＳ２０４～Ｓ２１１が繰り返される。

【0061】

指定された試行回数に到達した場合、ステップＳ２１２において、インタフェース部１１０は、これまで取得された試行結果を最終結果としてユーザ端末５０に提供する。

【0062】

具体的には、ハイパーパラメタ設定装置１００は、ユーザプログラムの実行中にプログラム試行装置２００の標準出力を監視することによって中間評価値を取得する。各エポックに対するプログラム試行装置２００の標準出力が更新される毎に、ハイパーパラメタ設定装置１００は、例えば、所定の中間評価抽出関数を実行し、精度やＭＳＥなどの中間評価値を抽出する。そして、ハイパーパラメタ設定装置１００は、取得した中間評価値に基づき当該ユーザプログラムの実行を早期終了するか判断する。例えば、他のハイパーパラメタの設定値に対する試行の中間評価値と比較し、抽出した中間評価値が平均値以下であった場合、当該ユーザプログラムの実行を停止してもよい。

【0063】

このような早期終了を導入することによって、例えば、１００通りの値をとるハイパーパラメタを有する機械学習プログラムがあり、各ハイパーパラメタ値に対して当該機械学習プログラムを終了するのに１０秒かかるとする。また、１秒毎に１つの中間評価値を出力するとする。この場合、１００通りのハイパーパラメタ値の全てについて機械学習プログラムを評価するのに１００×１０秒＝１０００秒かかる。しかしながら、早期終了によると、例えば、ハイパーパラメタ設定装置１００が、５秒目の中間評価値と他の試行の中間評価値とを比較し、例えば、５秒目の中間評価値が他の試行の中間評価値の平均より低い場合、当該試行を途中で停止してもよい。早期終了を導入することによって、パイパーパラメタ最適化に要する時間を短縮することができる。

【0064】

また、一実施例では、ハイパーパラメタ設定装置１００及びプログラム試行装置２００は、単一の装置から構成されるプログラム試行システム１０によって実現されてもよい。この場合、プログラム試行システム１０は、図６に示されるようなフローチャートに従ってハイパーパラメタ設定処理を実行してもよい。

【0065】

図６に示されるように、ステップＳ３０１において、プログラム試行システム１０は、ユーザ端末５０からユーザプログラム及びパラメタ記述データを取得する。すなわち、プログラム試行システム１０は、試行対象のユーザプログラム（例えば、訓練対象の深層学習モデルなど）と、当該ユーザプログラムの試行に適用されるハイパーパラメタのパラメタ記述データとを取得する。

【0066】

ステップＳ３０２において、プログラム試行システム１０は、ハイパーパラメタ記述データに従ってハイパーパラメタを設定する。

【0067】

ステップＳ３０３において、プログラム試行システム１０は、設定したハイパーパラメタによってユーザプログラムを実行する。具体的には、プログラム試行システム１０は、ユーザプログラムをエポック数繰り返し実行する。

【0068】

ステップＳ３０４において、プログラム試行システム１０は、各エポックに対する中間評価値を取得する。

【0069】

ステップＳ３０５において、プログラム試行システム１０は、取得した中間評価値に基づき、ステップＳ３０２において設定されたハイパーパラメタ値による更なるユーザプログラムの繰り返しを終了するか判断する。例えば、取得した中間評価値が実行済みの他のハイパーパラメタ値による評価値の平均未満である場合（Ｓ３０５：ＹＥＳ）、プログラム試行システム１０は、設定されているハイパーパラメタ値によるユーザプログラムの更なる繰り返しを停止し、ステップＳ３０７に移行する。他方、取得した中間評価値が実行済みの他のハイパーパラメタ値による評価値の平均以上である場合（Ｓ３０５：ＮＯ）、プログラム試行システム１０は、ユーザプログラムを早期終了することなく、ステップＳ３０６に移行する。

【0070】

ステップＳ３０６において、プログラム試行システム１０は、所定の最大エポック数を超過したか判断する。最大エポック数を超過していない場合（Ｓ３０６：ＮＯ）、プログラム試行システム１０は、ステップＳ３０４に戻り、設定されているハイパーパラメタ値による次のエポックの中間評価値を取得する。他方、最大エポック数を超過した場合（Ｓ３０６：ＹＥＳ）、プログラム試行システム１０は、ステップＳ３０７に移行する。

【0071】

ステップＳ３０７において、プログラム試行システム１０は、ハイパーパラメタのとりうる全ての値に対してユーザプログラムを実行済みか判断する。ハイパーパラメタのとりうる全ての値に対してユーザプログラムを実行済みである場合（Ｓ３０７：ＹＥＳ）、プログラム試行システム１０は、当該ハイパーパラメタ設定処理を終了する。他方、ハイパーパラメタのとりうる全ての値に対してユーザプログラムを実行済みでない場合（Ｓ３０７：ＮＯ）、プログラム試行システム１０は、ステップＳ３０２において、次のハイパーパラメタ値を設定し、次のハイパーパラメタ設定値に対してユーザプログラムをエポック数繰り返し実行する。
［ハイパーパラメタ設定装置の他の実施例］
次に、図７を参照して、本開示の他の実施例によるハイパーパラメタ設定装置を説明する。本実施例では、ユーザプログラムの試行が分散化される。

【0072】

例えば、インタフェース部１１０は、ユーザ端末５０から図７に示されるようなパラメタ記述データを取得する。図示されたパラメタ記述データから理解されうるように、２つの同一のパラメタ記述データが、ユーザ端末５０上のコマンドラインインタフェースを介し入力される。当該パラメタ記述データを取得すると、インタフェース部１１０は、これら２つのパラメタ記述データに対応するパラメタ要求をハイパーパラメタ設定部１２０に送信し、ハイパーパラメタ設定部１２０は、各パラメタ記述データに対してハイパーパラメタの値を設定し、インタフェース部１１０に返す。インタフェース部１１０は、設定された２つのハイパーパラメタの値をプログラム試行装置２００にわたし、各ハイパーパラメタの値の下でユーザプログラムを並列的に試行するようプログラム試行装置２００に指示する。プログラム試行装置２００による試行が終了すると、インタフェース部１１０は、並列的に試行されたユーザプログラムの各試行結果を取得し、ハイパーパラメタ設定部１２０にわたす。これにより、より短い実行時間によってユーザプログラムの試行を終了することができる。
［ハイパーパラメタ設定装置のハードウェア構成］
実施形態におけるハイパーパラメタ設定装置１００において、各機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路であってもよい。また、各機能の制御を行う制御回路を備えていてもよい。各回路の実装は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等によるものであってもよい。

【0073】

上記の全ての記載において、ハイパーパラメタ設定装置の少なくとも一部はハードウェアで構成されていてもよいし、ソフトウェアで構成され、ソフトウェアの情報処理によりＣＰＵ（Central Processing Unit）等が実施をしてもよい。ソフトウェアで構成される場合には、ハイパーパラメタ設定装置及びその少なくとも一部の機能を実現するプログラムを記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスク（例えばフレキシブルディスク）や光ディスク（例えばＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ）等の着脱可能なものに限定されず、ハードディスク装置やメモリを利用するＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの固定型の記憶媒体であってもよい。すなわち、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実装されるものであってもよい。さらに、ソフトウェアによる処理は、ＦＰＧＡ等の回路に実装され、ハードウェアが実行するものであってもよい。ジョブの実行は、例えば、ＧＰＵ（Graphics Processing Unit）等のアクセラレータを使用して行ってもよい。

【0074】

例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。

【0075】

図８は、本開示の一実施例におけるハードウェア構成の一例を示すブロック図である。ハイパーパラメタ設定装置１００は、プロセッサ１０１と、主記憶装置１０２と、補助記憶装置１０３と、ネットワークインタフェース１０４と、デバイスインタフェース１０５と、を備え、これらがバス１０６を介して接続されたコンピュータ装置として実現できる。

【0076】

なお、図８のハイパーパラメタ設定装置１００は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、１台のハイパーパラメタ設定装置１００が示されているが、ソフトウェアが複数のコンピュータ装置にインストールされて、当該複数のハイパーパラメタ設定装置１００それぞれがソフトウェアの異なる一部の処理を実行してもよい。この場合、複数のハイパーパラメタ設定装置１００それぞれがネットワークインタフェース１０４等を介して、通信してもよい。

【0077】

プロセッサ１０１は、ハイパーパラメタ設定装置１００の制御部および演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry）である。プロセッサ１０１は、ハイパーパラメタ設定装置１００の内部構成の各装置などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各装置などに出力する。具体的には、プロセッサ１０１は、ハイパーパラメタ設定装置１００のＯＳ（Operating System）や、アプリケーションなどを実行することにより、ハイパーパラメタ設定装置１００を構成する各構成要素を制御する。プロセッサ１０１は、上記の処理を行うことができれば特に限られるものではない。ハイパーパラメタ設定装置１００及びそれらの各構成要素は、プロセッサ１０１により実現される。ここで、処理回路とは、１チップ上に配置された１又は複数の電気回路を指してもよいし、２つ以上のチップあるいはデバイス上に配置された１又は複数の電気回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。

【0078】

主記憶装置１０２は、プロセッサ１０１が実行する命令および各種データなどを記憶する記憶装置であり、主記憶装置１０２に記憶された情報がプロセッサ１０１により直接読み出される。補助記憶装置１０３は、主記憶装置１０２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれでもよい。ハイパーパラメタ設定装置１００内において各種データを保存するためのメモリ、例えば、メモリは、主記憶装置１０２又は補助記憶装置１０３により実現されてもよい。例えば、メモリの少なくとも一部は、この主記憶装置１０２又は補助記憶装置１０３に実装されていてもよい。別の例として、アクセラレータが備えられている場合には、前述したメモリの少なくとも一部は、当該アクセラレータに備えられているメモリ内に実装されていてもよい。

【0079】

ネットワークインタフェース１０４は、無線又は有線により、通信ネットワーク１０８に接続するためのインタフェースである。ネットワークインタフェース１０４は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース１０４により、通信ネットワーク１０８を介して通信接続された外部装置１０９Ａと情報のやり取りが行われてもよい。

【0080】

外部装置１０９Ａは、例えば、カメラ、モーションキャプチャ、出力先デバイス、外部のセンサ、入力元デバイスなどが含まれる。また、外部装置１０９Ａは、ハイパーパラメタ設定装置１００の構成要素の一部の機能を有する装置でもよい。そして、ハイパーパラメタ設定装置１００は、ハイパーパラメタ設定装置１００の処理結果の一部を、クラウドサービスのように通信ネットワーク１０８を介して受け取ってもよい。

【0081】

デバイスインタフェース１０５は、外部装置１０９Ｂと直接接続するＵＳＢ（Universal Serial Bus）などのインタフェースである。外部装置１０９Ｂは、外部記憶媒体でもよいし、ストレージ装置でもよい。メモリは、外部装置１０９Ｂにより実現されてもよい。

【0082】

外部装置１０９Ｂは出力装置でもよい。出力装置は、例えば、画像を表示するための表示装置でもよいし、音声などを出力する装置などでもよい。例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（ElectroLuminescence）ディスプレイ、スピーカなどがあるが、これらに限られるものではない。

【0083】

なお、外部装置１０９Ｂは入力装置でもよい。入力装置は、キーボード、マウス、タッチパネル、マイクロフォンなどのデバイスを備え、これらのデバイスにより入力された情報をハイパーパラメタ設定装置１００に与える。入力装置からの信号はプロセッサ１０１に出力される。

【0084】

例えば、本実施形態におけるハイパーパラメタ設定装置１００のインタフェース部１１０、ハイパーパラメタ設定部１２０等は、プロセッサ１０１により実現されてもよい。また、ハイパーパラメタ設定装置１００のメモリは、主記憶装置１０２又は補助記憶装置１０３により実現されてもよい。また、ハイパーパラメタ設定装置１００は、１又は複数のメモリを搭載してもよい。

【0085】

本明細書において、“ａ，ｂおよびｃの少なくとも１つ”は、ａ，ｂ，ｃ，ａ－ｂ，ａ－ｃ，ｂ－ｃ，ａ－ｂ－ｃの組み合わせだけでなく、ａ－ａ，ａ－ｂ－ｂ，ａ－ａ－ｂ－ｂ－ｃ－ｃなどの同じ要素の複数の組み合わせも含む表現である。また、ａ－ｂ－ｃ－ｄの組み合わせのように、ａ，ｂ，ｃ以外の要素を含む構成もカバーする表現である。

【0086】

同様に、本明細書において、“ａ，ｂ又はｃの少なくとも１つ”は、ａ，ｂ，ｃ，ａ－ｂ，ａ－ｃ，ｂ－ｃ，ａ－ｂ－ｃの組み合わせだけでなく、ａ－ａ，ａ－ｂ－ｂ，ａ－ａ－ｂ－ｂ－ｃ－ｃなどの同じ要素の複数の組み合わせも含む表現である。また、ａ－ｂ－ｃ－ｄの組み合わせのように、ａ，ｂ，ｃ以外の要素を含む構成もカバーする表現である。

【0087】

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。

【0088】

本出願は、２０１９年６月１２日に出願した日本国特許出願２０１９－１０９５３７号の優先権の利益に基づき、これを主張するものであり、２０１９－１０９５３７号の全内容を本出願に援用する。

【符号の説明】

【0089】

１０ プログラム試行システム
５０ ユーザ端末
１００ ハイパーパラメタ設定装置
１１０ インタフェース部
１２０ ハイパーパラメタ設定部
１０１ プロセッサ
１０２ 主記憶装置
１０３ 補助記憶装置
１０４ ネットワークインタフェース
１０５ デバイスインタフェース
１０８ 通信ネットワーク
１０９ 外部装置
２００ プログラム試行装置
２５０ データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】