(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023172230
(43)【公開日】2023-12-06
(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20231129BHJP
G06N 3/08 20230101ALI20231129BHJP
【ＦＩ】
G06N20/00 130
G06N3/08
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022083887
(22)【出願日】2022-05-23
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】鈴木 佳祐
(72)【発明者】
【氏名】辻川 剛範
(57)【要約】
【課題】勾配降下法による学習に用いる超パラメータの範囲をより適切に決定する。
【解決手段】情報処理装置（１）は、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得部（１１）と、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、取得部（１１）が取得した情報に応じて定まる範囲を決定する決定部（１２）とを備える。
【選択図】図１
【解決手段】情報処理装置（１）は、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得部（１１）と、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、取得部（１１）が取得した情報に応じて定まる範囲を決定する決定部（１２）とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得手段と、
勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段と
を備えている情報処理装置。
勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段と
を備えている情報処理装置。
【請求項2】
前記決定手段が決定した範囲に収まるように、前記少なくとも何れかの超パラメータの値を設定する設定手段
を更に備えている請求項１に記載の情報処理装置。
を更に備えている請求項１に記載の情報処理装置。
【請求項3】
前記決定手段が決定した範囲を提示する提示手段を更に備えている
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記複数の超パラメータには、
訓練データのサンプルサイズ、
学習率、及び、
パラメータ更新回数
の少なくとも何れかが含まれる
請求項１から３の何れか１項に記載の情報処理装置。
訓練データのサンプルサイズ、
学習率、及び、
パラメータ更新回数
の少なくとも何れかが含まれる
請求項１から３の何れか１項に記載の情報処理装置。
【請求項5】
前記複数の超パラメータには、
逆温度
が含まれる
請求項４に記載の情報処理装置。
逆温度
が含まれる
請求項４に記載の情報処理装置。
【請求項6】
前記損失関数が満たすべき条件には、
損失関数の勾配の原点でのノルムの上界を表す定数、
損失関数の勾配のリプシッツ定数を表す定数、及び、
損失関数の散逸性を表す定数
の少なくとも何れかが含まれる
請求項１から３の何れか１項に記載の情報処理装置。
損失関数の勾配の原点でのノルムの上界を表す定数、
損失関数の勾配のリプシッツ定数を表す定数、及び、
損失関数の散逸性を表す定数
の少なくとも何れかが含まれる
請求項１から３の何れか１項に記載の情報処理装置。
【請求項7】
前記勾配降下法の初期値に関する条件には、
初期分布の２次モーメントの上界を表す定数、及び、
初期分布の４次モーメントの上界を表す定数
の少なくとも何れかが含まれる
請求項１から３の何れか１項に記載の情報処理装置。
初期分布の２次モーメントの上界を表す定数、及び、
初期分布の４次モーメントの上界を表す定数
の少なくとも何れかが含まれる
請求項１から３の何れか１項に記載の情報処理装置。
【請求項8】
少なくとも１つのプロセッサが、
損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得することと、
勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得する工程において取得された情報に応じて定まる範囲を決定することと、を含む情報処理方法。
損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得することと、
勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得する工程において取得された情報に応じて定まる範囲を決定することと、を含む情報処理方法。
【請求項9】
コンピュータを、
損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得手段、及び
勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段、として機能させる情報処理プログラム。
損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得手段、及び
勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段、として機能させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、勾配降下法による学習のための技術に関する。
【背景技術】
【0002】
勾配降下法による学習には超パラメータ（逆温度、学習率、パラメータ更新回数、サンプルサイズ、等）の設定が必要である。超パラメータの設定方法として、従来では例えばグリッドサーチ又はランダムサーチ等の手法が用いられていた。すなわち、様々なパターンを試行し、結果が最もよいものを選択することが行われていた。また、特許文献１には、確率的勾配降下法において、損失関数の勾配の情報を基に学習率を調整することが記載されている。また、非特許文献１には、確率的勾配降下法の一般的なバリエーションであるStochastic Gradient Langevin Dynamics（ＳＧＬＤ）による非凸学習について記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１７／１８３５８７号
【非特許文献】
【0004】
【非特許文献1】M. Raginsky, A. Rakhlin, and M. Telgarsky, Non-Convex Learning via Stochastic Gradient Langevin Dynamics: A Nonasymptotic Analysis, In Proceedings of the 2017 Conference on Learning Theory, volume 65, pp. 1674-1703, 2017.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、グリッドサーチ又はランダムサーチ等の手法を用いる場合、様々なパターンの試行に時間を要するという問題があった。また、特許文献１に記載の技術においては、損失関数の勾配を加味して学習率を調整できるものの、勾配降下法による学習に用いる超パラメータをより適切に決定するという観点において改善の余地がある。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、勾配降下法による学習に用いる超パラメータの範囲をより適切に決定できる技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る情報処理装置は、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得手段と、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段とを備える。
【0008】
本発明の一態様に係る情報処理方法は、少なくとも１つのプロセッサが、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得することと、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得する工程において取得された情報に応じて定まる範囲を決定することと、を含む。
【0009】
本発明の一態様に係る情報処理プログラムは、コンピュータを、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得手段、及び勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段、として機能させる。
【発明の効果】
【0010】
本発明の一態様によれば、勾配降下法による学習に用いる超パラメータの範囲をより適切に決定することができる。
【図面の簡単な説明】
【0011】
【図1】例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】例示的実施形態１に係る情報処理方法の流れを示すフロー図である。
【図3】例示的実施形態２に係る情報処理装置の構成を示すブロック図である。
【図4】例示的実施形態２に係る手順１を示す図である。
【図5】例示的実施形態２に係る手順２を示す図である。
【図6】例示的実施形態２に係る手順３を示す図である。
【図7】例示的実施形態２に係る情報処理方法の流れを示すフロー図である。
【図8】表示パネルに表示される表示データを示す図である。
【図9】表示パネルに表示される表示データを示す図である。
【図10】本発明の各例示的実施形態に係る各装置の各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
（情報処理装置の構成）
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、取得部１１及び決定部１２を備える。
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、取得部１１及び決定部１２を備える。
【0014】
取得部１１は、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する。ここで、損失関数が満たすべき条件には、一例として、
（ｉ）損失関数の勾配の原点でのノルムの上界を表す定数、
（ｉｉ）損失関数の勾配のリプシッツ定数を表す定数、及び、
（ｉｉｉ）損失関数の散逸性を表す定数、
の少なくとも何れかが含まれる。
（ｉ）損失関数の勾配の原点でのノルムの上界を表す定数、
（ｉｉ）損失関数の勾配のリプシッツ定数を表す定数、及び、
（ｉｉｉ）損失関数の散逸性を表す定数、
の少なくとも何れかが含まれる。
【0015】
また、上記勾配降下法の初期値に関する条件には、一例として、
（ｉｖ）初期分布の２次モーメントの上界を表す定数、及び、
（ｖ）初期分布の４次モーメントの上界を表す定数、
の少なくとも何れかが含まれる。
（ｉｖ）初期分布の２次モーメントの上界を表す定数、及び、
（ｖ）初期分布の４次モーメントの上界を表す定数、
の少なくとも何れかが含まれる。
【0016】
決定部１２は、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、取得部１１が取得した情報に応じて定まる範囲を決定する。ここで、上記複数の超パラメータには、一例として、訓練データのサンプルサイズ、学習率、及び、パラメータ更新回数の少なくとも何れかが含まれる。また、上記複数の超パラメータには、逆温度が含まれていてもよい。
【0017】
ただし、上記超パラメータにおいて、逆温度以外の超パラメータを決めるためには、逆温度が確定していなければならない。また、パラメータ更新回数を決めるためには、学習率が確定していなければならない。つまり、逆温度と学習率とを決定部１２が決定せずに何らかの固定値を逆温度と学習率として用いる場合、これら固定値も入力される必要がある。よって、逆温度と学習率とを決定部１２が決定しない場合、これらを入力に含める。
【0018】
以上のように、本例示的実施形態に係る情報処理装置１においては、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得部１１と、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、取得部１１が取得した情報に応じて定まる範囲を決定する決定部１２とを備える、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置１によれば、勾配降下法による学習に用いる超パラメータの範囲をより適切に決定することができるという効果が得られる。
【0019】
（情報処理プログラム）
上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係る情報処理プログラムは、コンピュータを取得部１１及び決定部１２として機能させる。この情報処理プログラムによれば、勾配降下法による学習に用いる超パラメータの範囲をより適切に決定することができるという効果が得られる。
上述の情報処理装置１の機能は、プログラムによって実現することもできる。本例示的実施形態に係る情報処理プログラムは、コンピュータを取得部１１及び決定部１２として機能させる。この情報処理プログラムによれば、勾配降下法による学習に用いる超パラメータの範囲をより適切に決定することができるという効果が得られる。
【0020】
（情報処理方法の流れ）
本例示的実施形態に係る情報処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１の流れを示すフロー図である。なお、この情報処理方法における各ステップの実行主体は、情報処理装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
本例示的実施形態に係る情報処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１の流れを示すフロー図である。なお、この情報処理方法における各ステップの実行主体は、情報処理装置１が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
【0021】
Ｓ１１では、少なくとも１つのプロセッサが、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する。ステップＳ１２では、少なくとも１つのプロセッサが、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、ステップＳ１１で取得された情報に応じて定まる範囲を決定する。
【0022】
以上のように、本例示的実施形態に係る情報処理方法Ｓ１は、少なくとも１つのプロセッサが、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得することと、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、上記取得することにおいて取得された情報に応じて定まる範囲を決定することと、を含む。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、勾配降下法による学習に用いる超パラメータの範囲をより適切に決定することができるという効果が得られる。
【0023】
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0024】
＜情報処理装置１Ａの構成＞
図３は情報処理装置１Ａの構成を示すブロック図である。情報処理装置１Ａは、制御部１０Ａ、記憶部２０Ａ、入出力部３０Ａ及び通信部４０Ａを備える。
図３は情報処理装置１Ａの構成を示すブロック図である。情報処理装置１Ａは、制御部１０Ａ、記憶部２０Ａ、入出力部３０Ａ及び通信部４０Ａを備える。
【0025】
（入出力部３０Ａ）
入出力部３０Ａは、表示パネル、スピーカ、キーボード、マウス、タッチパネル等を備える。入出力部３０Ａは、情報処理装置１Ａに対する各種の情報の入力を受け付ける。また、入出力部３０Ａは、制御部１０Ａの制御の下、各種の情報を出力する。入出力部３０Ａに、表示パネル、スピーカ、キーボード、マウス、タッチパネル等の入出力機器が接続されてもよい。入出力部３０Ａとしては、例えばＵＳＢ（Universal Serial Bus）などのインタフェースが挙げられる。
入出力部３０Ａは、表示パネル、スピーカ、キーボード、マウス、タッチパネル等を備える。入出力部３０Ａは、情報処理装置１Ａに対する各種の情報の入力を受け付ける。また、入出力部３０Ａは、制御部１０Ａの制御の下、各種の情報を出力する。入出力部３０Ａに、表示パネル、スピーカ、キーボード、マウス、タッチパネル等の入出力機器が接続されてもよい。入出力部３０Ａとしては、例えばＵＳＢ（Universal Serial Bus）などのインタフェースが挙げられる。
【0026】
（通信部４０Ａ）
通信部４０Ａは、情報処理装置１Ａの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部４０Ａは、制御部１０Ａから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部１０Ａに供給したりする。
通信部４０Ａは、情報処理装置１Ａの外部の装置と通信回線を介して通信する。通信回線の具体的構成は本例示的実施形態を限定するものではないが、通信回線は一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらの組み合わせである。通信部４０Ａは、制御部１０Ａから供給されたデータを他の装置に送信したり、他の装置から受信したデータを制御部１０Ａに供給したりする。
【0027】
（制御部１０Ａ）
制御部１０Ａは、取得部１１、決定部１２、設定部１３、及び提示部１４を備える。
制御部１０Ａは、取得部１１、決定部１２、設定部１３、及び提示部１４を備える。
【0028】
（取得部）
取得部１１は、
（ａ）損失関数が満たすべき条件、
（ｂ）目標誤差、
（ｃ）勾配降下法の初期値に関する条件、及び、
（ｄ）モデルパラメータの次元、
の少なくとも何れかを取得する。ここで、（ａ）損失関数が満たすべき条件、及び、（ｃ）勾配降下法の初期値に関する条件は、上述した例示的実施形態１において説明した通りである。モデルパラメータは、勾配降下法により学習されるモデルのパラメータである。
取得部１１は、
（ａ）損失関数が満たすべき条件、
（ｂ）目標誤差、
（ｃ）勾配降下法の初期値に関する条件、及び、
（ｄ）モデルパラメータの次元、
の少なくとも何れかを取得する。ここで、（ａ）損失関数が満たすべき条件、及び、（ｃ）勾配降下法の初期値に関する条件は、上述した例示的実施形態１において説明した通りである。モデルパラメータは、勾配降下法により学習されるモデルのパラメータである。
【0029】
（決定部）
決定部１２は、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、取得部１１が取得した情報に応じて定まる範囲を決定する。ここで、超パラメータは、上述した例示的実施形態において説明した通りである。
決定部１２は、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、取得部１１が取得した情報に応じて定まる範囲を決定する。ここで、超パラメータは、上述した例示的実施形態において説明した通りである。
【0030】
（設定部・提示部）
設定部１３は、決定部１２が決定した範囲に収まるように、上記少なくとも何れかの超パラメータの値を設定する。提示部１４は、決定部１２が決定した範囲を提示する。
設定部１３は、決定部１２が決定した範囲に収まるように、上記少なくとも何れかの超パラメータの値を設定する。提示部１４は、決定部１２が決定した範囲を提示する。
【0031】
（記憶部）
記憶部２０Ａは、情報処理装置１Ａが使用する各種データを記憶する。記憶部２０Ａは例えば、入力情報ＩＭＦ、範囲情報ＲＩ、超パラメータ値ＨＰＶ、表示用データＤＩを記憶する。
記憶部２０Ａは、情報処理装置１Ａが使用する各種データを記憶する。記憶部２０Ａは例えば、入力情報ＩＭＦ、範囲情報ＲＩ、超パラメータ値ＨＰＶ、表示用データＤＩを記憶する。
【0032】
（入力情報）
入力情報ＩＭＦは、取得部１１が取得した（ａ）損失関数が満たすべき条件、（ｂ）目標誤差、（ｃ）勾配降下法の初期値に関する条件、及び（ｄ）モデルパラメータの次元、の総称である。また、入力情報ＩＭＦは、逆温度を含んでいてもよい。
入力情報ＩＭＦは、取得部１１が取得した（ａ）損失関数が満たすべき条件、（ｂ）目標誤差、（ｃ）勾配降下法の初期値に関する条件、及び（ｄ）モデルパラメータの次元、の総称である。また、入力情報ＩＭＦは、逆温度を含んでいてもよい。
【0033】
（範囲情報・超パラメータ値・表示用データ）
範囲情報ＲＩは、決定部１２が決定した範囲を示す情報である。超パラメータ値ＨＰＶは、設定部１３が設定した値を示す情報である。表示用データＤＩは、提示部１４が提示する提示情報の一例である。
範囲情報ＲＩは、決定部１２が決定した範囲を示す情報である。超パラメータ値ＨＰＶは、設定部１３が設定した値を示す情報である。表示用データＤＩは、提示部１４が提示する提示情報の一例である。
【0034】
＜手順の概要＞
ここで、本例示的実施形態に係る超パラメータが満たすべき範囲を決定する具体的な手順の一例について、図４～図６を参照しつつ説明する。この例で、超パラメータが満たすべき範囲を決定する手順は、手順１～手順３に大別される。ただし、手順１～３は、情報処理装置１Ａが実行する各処理であるが、必ずしも各処理の手順を限定するものではない。
ここで、本例示的実施形態に係る超パラメータが満たすべき範囲を決定する具体的な手順の一例について、図４～図６を参照しつつ説明する。この例で、超パラメータが満たすべき範囲を決定する手順は、手順１～手順３に大別される。ただし、手順１～３は、情報処理装置１Ａが実行する各処理であるが、必ずしも各処理の手順を限定するものではない。
【0035】
この例では、勾配降下法Ｘｋη
（ｎ，η）による学習に用いる超パラメータが満たすべき範囲を決定する手順を説明する。勾配降下法Ｘｋη
（ｎ，η）による学習に用いられる超パラメータは、一例として、
・訓練データのサンプルサイズｎ、
・学習率η、
・パラメータ更新回数ｋ、
・逆温度β、
を含む。ここで、訓練データのサンプルサイズｎ∈Ｎは、勾配降下法Ｘｋη （ｎ，η）による学習に用いる訓練データｚ∈Ｚのサンプルサイズである。学習率ηは、勾配降下法Ｘｋη （ｎ，η）による学習の学習率である。パラメータ更新回数ｋ∈Ｎは、勾配降下法Ｘｋη （ｎ，η）により更新されるモデルパラメータｗ∈Ｒｄの更新回数である。
・訓練データのサンプルサイズｎ、
・学習率η、
・パラメータ更新回数ｋ、
・逆温度β、
を含む。ここで、訓練データのサンプルサイズｎ∈Ｎは、勾配降下法Ｘｋη （ｎ，η）による学習に用いる訓練データｚ∈Ｚのサンプルサイズである。学習率ηは、勾配降下法Ｘｋη （ｎ，η）による学習の学習率である。パラメータ更新回数ｋ∈Ｎは、勾配降下法Ｘｋη （ｎ，η）により更新されるモデルパラメータｗ∈Ｒｄの更新回数である。
【0036】
また、この例で、訓練データｚ∈Ｚにおけるモデルパラメータｗ∈Ｒｄでの損失関数をｌ（ｗ；ｚ）とし、損失関数ｌ（ｗ；ｚ）の期待値である期待損失を、
とする。
【数1】
【0037】
また、Ｄにしたがう独立サンプルｚ１，…，ｚｎに対し経験損失を、
とする。
【数2】
【0038】
また、学習率η＞０、逆温度β＞０を持つ勾配降下法Ｘｋη
（ｎ，η）を、
と定義する。ただし、Ｎｋはｚ１，…ｚｎと独立な、ｄ次元標準正規分布の独立列である。
【数3】
【0039】
（手順１）
図４は、手順１を説明するための図である。手順１では、入力情報ＩＭＦが情報処理装置１Ａに入力される。図４において、入力情報ＩＭＦは、
（ｉ）損失関数ｌ（ｗ；ｚ）の勾配の原点でのノルムの上界を表す定数Ａ、
（ｉｉ）損失関数ｌ（ｗ；ｚ）の勾配のリプシッツ定数を表す定数Ｍ、
（ｉｉｉ）損失関数ｌ（ｗ；ｚ）の散逸性を表す定数ｍ、ｂ、
（ｉｖ）初期分布の２次モーメントの上界を表す定数Ｑ２、
（ｖ）初期分布の４次モーメントの上界を表す定数Ｑ４、
（ｖｉ）目標誤差ε１、ε２、ε３、ε４、及び、
（ｖｉｉ）モデルパラメータｗ∈Ｒｄの次元ｄ、
を含む。上記（ｉ）～（ｖｉｉ）の情報の条件は、図４に示すとおりである。
図４は、手順１を説明するための図である。手順１では、入力情報ＩＭＦが情報処理装置１Ａに入力される。図４において、入力情報ＩＭＦは、
（ｉ）損失関数ｌ（ｗ；ｚ）の勾配の原点でのノルムの上界を表す定数Ａ、
（ｉｉ）損失関数ｌ（ｗ；ｚ）の勾配のリプシッツ定数を表す定数Ｍ、
（ｉｉｉ）損失関数ｌ（ｗ；ｚ）の散逸性を表す定数ｍ、ｂ、
（ｉｖ）初期分布の２次モーメントの上界を表す定数Ｑ２、
（ｖ）初期分布の４次モーメントの上界を表す定数Ｑ４、
（ｖｉ）目標誤差ε１、ε２、ε３、ε４、及び、
（ｖｉｉ）モデルパラメータｗ∈Ｒｄの次元ｄ、
を含む。上記（ｉ）～（ｖｉｉ）の情報の条件は、図４に示すとおりである。
【0040】
ここで、上記（ｉ）～（ｖｉｉ）の情報の設定方法の一例について説明する。ここでは、説明の理解を容易にするため、１層のニューラルネットワークによる回帰問題で説明するが、層を増やした場合の扱いも同様である。ｄ次元の入力変数ｘ＝（ｘ１，…ｘｄ）、１次元の出力変数ｙの組をｚ＝（ｘ，ｙ）で表す。また、ｄ次元のモデルパラメータｗをｗ＝（ｗ１，…ｗｄ）で表す。そして、活性化関数をσ：Ｒ→Ｒ（すなわち、σは実数値を実数値に写す写像）で表す。このとき、正規化パラメータλ＞０に対し、
とおく。ここで、
である。
【数4】
【数5】
【0041】
ここで、σの１階、２階の微分をσ´、σ´´で表し、それぞれの絶対値の上限を、
｜｜σ｜｜∞、｜｜σ´｜｜∞、｜｜σ´´｜｜∞、で表す。
｜｜σ｜｜∞、｜｜σ´｜｜∞、｜｜σ´´｜｜∞、で表す。
【0042】
（定数Ａ＞０の設定）
損失関数ｌ（ｗ；ｚ）の定義より、その勾配は、
で与えられる。ここで、σ´はσの微分である。よって、
である。したがって、定数Ａ＞０は、データ点ｚ＝（ｘ，ｙ）を動かしたときの、
の上界ととればよい。
損失関数ｌ（ｗ；ｚ）の定義より、その勾配は、
【数6】
【数7】
【数8】
【0043】
（定数Ｍ＞０の設定）
また、上記（数式１）より、
が成り立つ。したがって、定数Ｍ＞０は、データ点ｚ＝（ｘ，ｙ）を動かしたときの、
の上界ととればよい。
また、上記（数式１）より、
【数9】
【数10】
【0044】
（定数ｍ、ｂ＞０の設定）
定数Ａ＞０は、データ点ｚ＝（ｘ，ｙ）を動かしたときの、
の上界に設定していた。よって、上記（数式１）より、
が成り立つ。したがって、ｍ＝λ、
ととればよい。
定数Ａ＞０は、データ点ｚ＝（ｘ，ｙ）を動かしたときの、
【数11】
【数12】
【数13】
【0045】
（定数Ｑ２、Ｑ４の設定）
例えば、初期値を原点に設定することで、Ｑ２＝Ｑ４＝０ととればよい。
例えば、初期値を原点に設定することで、Ｑ２＝Ｑ４＝０ととればよい。
【0046】
（次元ｄの設定）
入力変数ｘ＝（ｘ１，…ｘｄ）の次元として決定すればよい。
入力変数ｘ＝（ｘ１，…ｘｄ）の次元として決定すればよい。
【0047】
（目標誤差ε１、ε２、ε３、ε４＞０の設定）
目標誤差ε１、ε２、ε３、ε４は、ユーザが任意に設定すればよい。
目標誤差ε１、ε２、ε３、ε４は、ユーザが任意に設定すればよい。
【0048】
（手順２）
図５は、手順２を説明するための図である。手順２において、逆温度βが決定された場合、入力情報ＩＭＦ及び逆温度βを用いて、図５に示す定数Ｃ、Ｒ１、κ、Ｋρ、η０、Ｕconti, 2、Ｕdisc, 4、ζ、ｃ、Ｋdisc, approx、Ｕgen、Ｕdisc, approx、Ｕinv、が計算可能である。各定数の計算式は一例として、図５に示すとおりである。
図５は、手順２を説明するための図である。手順２において、逆温度βが決定された場合、入力情報ＩＭＦ及び逆温度βを用いて、図５に示す定数Ｃ、Ｒ１、κ、Ｋρ、η０、Ｕconti, 2、Ｕdisc, 4、ζ、ｃ、Ｋdisc, approx、Ｕgen、Ｕdisc, approx、Ｕinv、が計算可能である。各定数の計算式は一例として、図５に示すとおりである。
【0049】
手順２に記載された各パラメータに関する演算は、決定部１２が実行する。ただし、これらのパラメータの一部に関する演算は、予め人間によって実行される構成としてもよい。
【0050】
（手順３）
図６は、手順３を説明するための図である。逆温度β≧２／ｍであれば、任意のｋ∈Ｎに対し、
である。よって、超パラメータの範囲を図６に示す条件を満たす範囲に決定すれば、勾配降下法Ｘｋη
（ｎ，η）は、
を満たす。
図６は、手順３を説明するための図である。逆温度β≧２／ｍであれば、任意のｋ∈Ｎに対し、
【数14】
【数15】
【0051】
この場合、決定部１２が決定する範囲は、
を満たす逆温度βの範囲、
を満たすサンプルサイズｎの範囲、
を満たす学習率ηの範囲、及び、
を満たすパラメータ更新回数ｋの範囲、である。
【数16】
【数17】
【数18】
【数19】
【0052】
（情報処理方法の流れ）
図７は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ１Ａの流れを示すフロー図である。
図７は、情報処理装置１Ａが実行する情報処理方法の一例である情報処理方法Ｓ１Ａの流れを示すフロー図である。
【0053】
（ステップＳ１０１）
ステップＳ１０１において、取得部１１は、損失関数ｌ（ｗ；ｚ）が満たすべき条件、目標誤差、勾配降下法Ｘｋη （ｎ，η）の初期値に関する条件、及びモデルパラメータの次元を取得する。より具体的には、取得部１１は、（ｉ）定数Ａ、（ｉｉ）定数Ｍ、（ｉｉｉ）定数ｍ、ｂ、（ｉｖ）定数Ｑ２、（ｖ）定数Ｑ４、（ｖｉ）目標誤差ε１、ε２、ε３、ε４、及び、（ｖｉｉ）モデルパラメータの次元ｄ、を含む入力情報ＩＭＦを取得する。
ステップＳ１０１において、取得部１１は、損失関数ｌ（ｗ；ｚ）が満たすべき条件、目標誤差、勾配降下法Ｘｋη （ｎ，η）の初期値に関する条件、及びモデルパラメータの次元を取得する。より具体的には、取得部１１は、（ｉ）定数Ａ、（ｉｉ）定数Ｍ、（ｉｉｉ）定数ｍ、ｂ、（ｉｖ）定数Ｑ２、（ｖ）定数Ｑ４、（ｖｉ）目標誤差ε１、ε２、ε３、ε４、及び、（ｖｉｉ）モデルパラメータの次元ｄ、を含む入力情報ＩＭＦを取得する。
【0054】
取得部１１は、入力情報ＩＭＦを通信部４０Ａを介して他の装置から受信してもよく、また、入出力部３０Ａに入力される入力情報ＩＭＦを取得してもよい。また、取得部１１は、記憶部２０Ａ又は他の外部記憶装置から入力情報ＩＭＦを読み出すことにより入力情報ＩＭＦを取得してもよい。
【0055】
（ステップＳ１０２）
ステップＳ１０２において、決定部１２は、逆温度βを決定する。逆温度βの決定方法としては、例えば非特許文献１に開示された手法が挙げられるが、逆温度βの決定方法は上述した例に限られず、逆温度βは他の手法により決定されてもよい。
ステップＳ１０２において、決定部１２は、逆温度βを決定する。逆温度βの決定方法としては、例えば非特許文献１に開示された手法が挙げられるが、逆温度βの決定方法は上述した例に限られず、逆温度βは他の手法により決定されてもよい。
【0056】
（ステップＳ１０３）
ステップＳ１０３において、決定部１２は、超パラメータの範囲の決定に用いる定数を算出する。決定部１２は、一例として、上述の手順２で示した定数Ｃ、Ｒ１、κ、Ｋρ、η０、Ｕconti, 2、Ｕdisc, 4、ζ、ｃ、Ｋdisc, approx、Ｕgen、Ｕdisc, approx、Ｕinvを、入力情報ＩＭＦに含まれる上記（ｉ）～（ｖｉｉ）の情報を用いて算出する。
ステップＳ１０３において、決定部１２は、超パラメータの範囲の決定に用いる定数を算出する。決定部１２は、一例として、上述の手順２で示した定数Ｃ、Ｒ１、κ、Ｋρ、η０、Ｕconti, 2、Ｕdisc, 4、ζ、ｃ、Ｋdisc, approx、Ｕgen、Ｕdisc, approx、Ｕinvを、入力情報ＩＭＦに含まれる上記（ｉ）～（ｖｉｉ）の情報を用いて算出する。
【0057】
（ステップＳ１０４）
ステップＳ１０４において、決定部１２及び設定部１３は、入力情報ＩＭＦに含まれる上記（ｉ）～（ｖｉｉ）の情報と、目標誤差ε２とにより、訓練データセットのサンプルサイズｎを決定する。より具体的には、決定部１２は一例として、サンプルサイズｎが満たすべき範囲として、上記（数式２）を満たす範囲を決定する。また、設定部１３は、決定部１２が決定した範囲に収まるように、サンプルサイズｎの値を設定する。
ステップＳ１０４において、決定部１２及び設定部１３は、入力情報ＩＭＦに含まれる上記（ｉ）～（ｖｉｉ）の情報と、目標誤差ε２とにより、訓練データセットのサンプルサイズｎを決定する。より具体的には、決定部１２は一例として、サンプルサイズｎが満たすべき範囲として、上記（数式２）を満たす範囲を決定する。また、設定部１３は、決定部１２が決定した範囲に収まるように、サンプルサイズｎの値を設定する。
【0058】
（ステップＳ１０５）
ステップＳ１０５において、決定部１２及び設定部１３は、入力情報ＩＭＦに含まれる上記（ｉ）～（ｖｉｉ）の情報と、目標誤差ε３とにより、学習率ηを決定する。より具体的には、決定部１２は一例として、学習率η（０＜η≦η０）が満たすべき範囲として、上記（数式３）を満たす範囲を決定する。また、設定部１３は、決定部１２が決定した範囲に収まるように、学習率ηの値を設定する。
ステップＳ１０５において、決定部１２及び設定部１３は、入力情報ＩＭＦに含まれる上記（ｉ）～（ｖｉｉ）の情報と、目標誤差ε３とにより、学習率ηを決定する。より具体的には、決定部１２は一例として、学習率η（０＜η≦η０）が満たすべき範囲として、上記（数式３）を満たす範囲を決定する。また、設定部１３は、決定部１２が決定した範囲に収まるように、学習率ηの値を設定する。
【0059】
（ステップＳ１０６）
ステップＳ１０６において、決定部１２及び設定部１３は、入力情報ＩＭＦに含まれる上記（ｉ）～（ｖｉｉ）の情報と、目標誤差ε４とにより、パラメータ更新回数ｋを決定する。より具体的には、決定部１２は一例として、パラメータ更新回数ｋが満たすべき範囲として、上記（数式４）を満たす範囲を決定する。また、設定部１３は、決定部１２が決定した範囲に収まるように、パラメータ更新回数ｋを設定する。
ステップＳ１０６において、決定部１２及び設定部１３は、入力情報ＩＭＦに含まれる上記（ｉ）～（ｖｉｉ）の情報と、目標誤差ε４とにより、パラメータ更新回数ｋを決定する。より具体的には、決定部１２は一例として、パラメータ更新回数ｋが満たすべき範囲として、上記（数式４）を満たす範囲を決定する。また、設定部１３は、決定部１２が決定した範囲に収まるように、パラメータ更新回数ｋを設定する。
【0060】
情報処理方法Ｓ１Ａにおいて、情報処理装置１Ａは、ステップＳ１０５及び／又はステップＳ１０６を、ステップＳ１０４の前に実行してもよい。
【0061】
提示部１４は、決定部１２が決定した超パラメータが満たすべき範囲、及び、設定部１３が設定した超パラメータの値、の少なくともいずれか一方を示す情報を出力する。提示部１４は一例として、上記情報を入出力部３０Ａの表示パネル等に出力してもよく、また、通信部４０Ａを介して接続された他の装置に、上記情報を送信することにより出力してもよい。また、提示部１４は、記憶部２０Ａ又は他の外部記憶装置に、上記情報を書き込むことにより上記情報を出力してもよい。
【0062】
図８は、入出力部３０Ａが備える表示パネルに表示される表示データＤＤを示す図である。図８において、表示データＤＤは、逆温度βの推奨範囲、訓練データのサンプルサイズｎの推奨範囲、学習率ηの推奨範囲、及び、パラメータ更新回数ｋの推奨範囲、を含む。
【0063】
＜情報処理装置の効果＞
以上のように、本例示的実施形態に係る情報処理装置１Ａにおいては、決定部１２が決定した範囲に収まるように、上記少なくとも何れかの超パラメータの値を設定する設定部１３を更に備えている、構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、勾配降下法による学習に用いる超パラメータをより適切に決定できるという効果が得られる。また、設定部１３が設定した超パラメータを提示部１４が提示することで、情報処理装置１Ａのユーザ等は、学習に有効な超パラメータの値を事前に把握可能である。特に、本例示的実施形態によれば、ユーザは、目標誤差以内の汎化性能の達成に必要な訓練データセットのサイズを事前に把握できる。
以上のように、本例示的実施形態に係る情報処理装置１Ａにおいては、決定部１２が決定した範囲に収まるように、上記少なくとも何れかの超パラメータの値を設定する設定部１３を更に備えている、構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、勾配降下法による学習に用いる超パラメータをより適切に決定できるという効果が得られる。また、設定部１３が設定した超パラメータを提示部１４が提示することで、情報処理装置１Ａのユーザ等は、学習に有効な超パラメータの値を事前に把握可能である。特に、本例示的実施形態によれば、ユーザは、目標誤差以内の汎化性能の達成に必要な訓練データセットのサイズを事前に把握できる。
【0064】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、決定部１２が決定した範囲を提示する提示部１４を更に備えている、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、勾配降下法による学習に用いる超パラメータの好適な範囲をユーザが把握できるという効果が得られる。また、超パラメータの範囲を提示することで、パラメータの設定に関する理由をユーザが把握できる。また、提示された範囲を参照してユーザが超パラメータを設定することができる。
【0065】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、上記複数の超パラメータには、訓練データのサンプルサイズ、学習率、及び、パラメータ更新回数の少なくとも何れかが含まれる、構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、勾配降下法による学習に用いる超パラメータである、訓練データのサンプルサイズ、学習率、及び、パラメータ更新回数、の少なくともいずれかの範囲をより適切に決定できる、という効果が得られる。
【0066】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、上記複数の超パラメータには、逆温度が含まれるという構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、勾配降下法による学習に用いる超パラメータである逆温度の範囲をより適切に決定できるという効果が得られる。
【0067】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、上記損失関数が満たすべき条件には、損失関数の勾配の原点でのノルムの上界を表す定数、損失関数の勾配のリプシッツ定数を表す定数、及び、損失関数の散逸性を表す定数の少なくとも何れかが含まれる構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、勾配降下法による学習に用いる超パラメータを適切に決定できるという効果が得られる。
【0068】
また、本例示的実施形態に係る情報処理装置１Ａにおいては、上記勾配降下法の初期値に関する条件には、初期分布の２次モーメントの上界を表す定数、及び、初期分布の４次モーメントの上界を表す定数の少なくとも何れかが含まれる構成が採用されている。このため、本例示的実施形態に係る情報処理装置１Ａによれば、勾配降下法による学習に用いる超パラメータを適切に決定できるという効果が得られる。
【0069】
＜変形例＞
（変形例１）
上述の例示的実施形態において、訓練データｚのサンプルサイズｎを増やすことができない場合、情報処理装置１Ａは、サンプルサイズｎの範囲を決定する処理を行わず、他の超パラメータの範囲を決定してもよい。この場合、情報処理装置１Ａは、サンプルサイズｎについてのユーザ入力を受け付け、入力されたサンプルサイズｎを固定する。このとき、期待損失Ｅを目標誤差内で最小化する条件は、以下のように表現される。そのため、この条件を満たすように、期待損失Ｅを目標誤差内で最小化することになる。
（変形例１）
上述の例示的実施形態において、訓練データｚのサンプルサイズｎを増やすことができない場合、情報処理装置１Ａは、サンプルサイズｎの範囲を決定する処理を行わず、他の超パラメータの範囲を決定してもよい。この場合、情報処理装置１Ａは、サンプルサイズｎについてのユーザ入力を受け付け、入力されたサンプルサイズｎを固定する。このとき、期待損失Ｅを目標誤差内で最小化する条件は、以下のように表現される。そのため、この条件を満たすように、期待損失Ｅを目標誤差内で最小化することになる。
【数20】
【0070】
提示部１４は、表示用データＤＤに、入力された特定のサンプルサイズの値に対応する誤差（Ｕgen
ｎ－１）について具体的な値を含める。図９は、入出力部３０Ａが備える表示パネルに表示される表示データＤＤを示す図である。図９において、表示データＤＤは、逆温度βの推奨範囲、パラメータ更新回数ｋの推奨範囲、訓練データのサンプルサイズｎに対応する誤差、を含む。
【0071】
この態様によれば、利用するデータセットの与える汎化性能の限界を知ることで、勾配降下法Ｘｋη
（ｎ，η）により構築したモデルについて、テストデータに対する結果の妥当性を判断することができる。
【0072】
（変形例２）
また、上述の例示的実施形態において、情報処理装置１Ａは、決定された超パラメータを用いて、勾配降下法による学習を実施する学習部（図示略）を備えていてもよい。
また、上述の例示的実施形態において、情報処理装置１Ａは、決定された超パラメータを用いて、勾配降下法による学習を実施する学習部（図示略）を備えていてもよい。
【0073】
〔ソフトウェアによる実現例〕
情報処理装置１、１Ａの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１、１Ａの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0074】
後者の場合、情報処理装置１、１Ａは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１０に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１、１Ａとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１、１Ａの各機能が実現される。
【0075】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0076】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0077】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0078】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0079】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0080】
（付記１）
損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得手段と、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段とを備えている情報処理装置。
損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得手段と、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段とを備えている情報処理装置。
【0081】
（付記２）
前記決定手段が決定した範囲に収まるように、前記少なくとも何れかの超パラメータの値を設定する設定手段を更に備えている付記１に記載の情報処理装置。
前記決定手段が決定した範囲に収まるように、前記少なくとも何れかの超パラメータの値を設定する設定手段を更に備えている付記１に記載の情報処理装置。
【0082】
（付記３）
前記決定手段が決定した範囲を提示する提示手段を更に備えている付記１に記載の情報処理装置。
前記決定手段が決定した範囲を提示する提示手段を更に備えている付記１に記載の情報処理装置。
【0083】
（付記４）
前記複数の超パラメータには、訓練データのサンプルサイズ、学習率、及び、パラメータ更新回数の少なくとも何れかが含まれる付記１から３の何れか１つに記載の情報処理装置。
前記複数の超パラメータには、訓練データのサンプルサイズ、学習率、及び、パラメータ更新回数の少なくとも何れかが含まれる付記１から３の何れか１つに記載の情報処理装置。
【0084】
（付記５）
前記複数の超パラメータには、逆温度が含まれる付記４に記載の情報処理装置。
前記複数の超パラメータには、逆温度が含まれる付記４に記載の情報処理装置。
【0085】
（付記６）
前記損失関数が満たすべき条件には、損失関数の勾配の原点でのノルムの上界を表す定数、損失関数の勾配のリプシッツ定数を表す定数、及び、損失関数の散逸性を表す定数の少なくとも何れかが含まれる付記１から５の何れか１つに記載の情報処理装置。
前記損失関数が満たすべき条件には、損失関数の勾配の原点でのノルムの上界を表す定数、損失関数の勾配のリプシッツ定数を表す定数、及び、損失関数の散逸性を表す定数の少なくとも何れかが含まれる付記１から５の何れか１つに記載の情報処理装置。
【0086】
（付記７）
前記勾配降下法の初期値に関する条件には、初期分布の２次モーメントの上界を表す定数、及び、初期分布の４次モーメントの上界を表す定数の少なくとも何れかが含まれる付記１から６の何れか１つに記載の情報処理装置。
前記勾配降下法の初期値に関する条件には、初期分布の２次モーメントの上界を表す定数、及び、初期分布の４次モーメントの上界を表す定数の少なくとも何れかが含まれる付記１から６の何れか１つに記載の情報処理装置。
【0087】
（付記８）
少なくとも１つのプロセッサが、
損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得することと、
勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得する工程において取得された情報に応じて定まる範囲を決定することと、を含む情報処理方法。
少なくとも１つのプロセッサが、
損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得することと、
勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得する工程において取得された情報に応じて定まる範囲を決定することと、を含む情報処理方法。
【0088】
（付記９）
コンピュータを、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得手段、及び 勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段、として機能させる情報処理プログラム。
コンピュータを、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得手段、及び 勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得手段が取得した情報に応じて定まる範囲を決定する決定手段、として機能させる情報処理プログラム。
【0089】
（付記１０）
少なくとも１つのプロセッサを備え、前記プロセッサは、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得処理と、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得処理において取得した情報に応じて定まる範囲を決定する決定処理とを実行する情報処理装置。
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記決定処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
少なくとも１つのプロセッサを備え、前記プロセッサは、損失関数が満たすべき条件、目標誤差、勾配降下法の初期値に関する条件、及びモデルパラメータの次元の少なくとも何れかを取得する取得処理と、勾配降下法による学習に用いる複数の超パラメータの少なくとも何れかの超パラメータが満たすべき範囲であって、前記取得処理において取得した情報に応じて定まる範囲を決定する決定処理とを実行する情報処理装置。
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記決定処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0090】
１、１Ａ 情報処理装置
１１ 取得部
１２ 決定部
１３ 設定部
１４ 提示部
Ｓ１、Ｓ１Ａ 情報処理方法
１１ 取得部
１２ 決定部
１３ 設定部
１４ 提示部
Ｓ１、Ｓ１Ａ 情報処理方法
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】