(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】機械学習モデル決定システム及び機械学習モデル決定方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20231114BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
14
(21)【出願番号】P 2022507113
(86)(22)【出願日】2020-03-12
(86)【国際出願番号】 JP2020010804
(87)【国際公開番号】W WO2021181605
(87)【国際公開日】2021-09-16
【審査請求日】2022-10-07
(73)【特許権者】
【識別番号】000006622
【氏名又は名称】株式会社安川電機
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】足立 勝
(72)【発明者】
【氏名】横矢 剛
(72)【発明者】
【氏名】増村 諒
【審査官】真木 健彦
(56)【参考文献】
【文献】特開２０１６－２１８８６９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／００５７９４４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｎ ３／００
Ｇ０６Ｎ ９９／００
(57)【特許請求の範囲】
【請求項1】
情報通信ネットワークに接続され、互いに情報通信可能な少なくとも１つのサーバと複数のクライアント端末を有する機械学習モデル決定システムであって、前記サーバに備えられ、機械学習の学習結果に影響をもたらすパラメータに関し、前記パラメータの値について機械学習の学習結果に対する評価に関する情報である評価情報を記憶する評価情報データベースと、
前記サーバに備えられ、前記パラメータの特定の値及び、特定の教師データを用いた機械学習の学習結果の評価に基づいて、前記評価情報を更新する評価情報更新部と、
前記クライアント端末に備えられ、前記特定の教師データを入力する教師データ入力部と、
前記クライアント端末に備えられ、特定の検証データを入力する検証データ入力部と、
実行しようとする機械学習についての前記評価情報に基づいて、前記パラメータの特定の値を決定するパラメータ決定部と、
前記パラメータの特定の値に基づいて構成された機械学習モデルに対して、前記特定の教師データにより学習を行う学習部と、学習済みの前記機械学習モデルに対して前記特定の検証データにより機械学習の学習結果を評価する評価部を有する機械学習エンジンと、
を有し、
前記評価情報は、機械学習に用いられる機械学習モデルの種別及び入出力の形式を少なくとも定めるテンプレートに関連付けて記憶され、前記評価情報は、互いに異なる前記クライアント端末に対し入力される互いに異なる前記教師データ及び前記検証データについて、共通に用いられる、
機械学習モデル決定システム。
【請求項2】
前記パラメータ決定部は、複数の前記パラメータの特定の値を決定し、前記機械学習エンジンの学習部は、前記複数の前記パラメータの特定の値のそれぞれについて前記機械学習モデルを構築し、
前記機械学習エンジンの評価部は、構築された複数の機械学習モデルのそれぞれについて機械学習の学習結果を評価し、
前記機械学習の学習結果の評価に基づいて、前記複数の機械学習モデルの中から少なくとも１の機械学習モデルを決定するモデル決定部を有する、
請求項１に記載の機械学習モデル決定システム。
【請求項3】
前記評価情報更新部は、前記複数の機械学習モデルについて得られた機械学習の学習結果のそれぞれに基づいて、前記評価情報を更新する、請求項２記載の機械学習モデル決定システム。
【請求項4】
前記評価情報には、前記パラメータの特定の値が選択される確率を示す選択確率情報が含まれ、前記パラメータ決定部は、前記選択確率情報に基づいて、確率的に前記パラメータの特定の値を決定する、
請求項２又は３に記載の機械学習モデル決定システム。
【請求項5】
前記評価情報更新部は、前記パラメータの特定の値についての前記機械学習の結果に基づいて、前記選択確率情報における、当該特定の値についての前記選択確率情報の値と、当該特定の値の近傍の値についての前記選択確率情報の値を同方向に変更する、請求項４に記載の機械学習モデル決定システム。
【請求項6】
前記パラメータ決定部は、複数の前記パラメータの特定の値のうち、所定の割合の特定の値として、前記機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択する、請求項２～５のいずれか１項に記載の機械学習モデル決定システム。
【請求項7】
前記所定の割合を人為的に設定する割合設定部を有する、請求項６に記載の機械学習モデル決定システム。
【請求項8】
前記所定の割合を前記パラメータ決定部が決定する前記パラメータの特定の値の数に応じて設定する、請求項６に記載の機械学習モデル決定システム。
【請求項9】
前記サーバに備えられ、共通の教師データを記憶する共通教師データ記憶部と、前記サーバに備えられ、共通の検証データを記憶する共通検証データ記憶部と、
前記サーバに備えられ、前記サーバの負荷に応じて、実行しようとする機械学習についての前記評価情報に基づいて、前記パラメータの特定の値を決定するサーバ側パラメータ決定部と、
前記サーバに備えられ、前記パラメータの特定の値に基づいて構成された機械学習モデルに対して、前記共通の教師データにより学習を行う学習部と、学習済みの前記機械学習モデルに対して前記共通の検証データにより機械学習の学習結果を評価する評価部を有するサーバ側機械学習エンジンと、
を有し、
前記評価情報更新部は、さらに、前記パラメータの特定の値及び、前記共通の教師データを用いた機械学習の学習結果に基づいて、前記評価情報を更新する、
請求項１～８のいずれか１項に記載の機械学習モデル決定システム。
【請求項10】
前記サーバに備えられ、前記テンプレートを記憶するテンプレートデータベースと、前記クライアントに備えられ、前記テンプレートを選択する条件を入力する条件入力部と、
前記条件に基づいて、１又は複数のテンプレートを前記テンプレートデータベースから選択するとともに、選択された前記テンプレートについての１又は複数の評価情報を前記評価情報データベースから選択するテンプレート・評価情報選択部と、
を有し、
前記評価情報データベースは、前記評価情報を、前記テンプレート毎に記憶し、
前記機械学習エンジンの前記学習部は、前記パラメータの特定の値及び選択された前記テンプレートに基づいて前記機械学習モデルを構成し、
前記評価情報更新部は、選択された前記テンプレートについての前記評価情報を更新する、
請求項１～９のいずれか１項に記載の機械学習モデル決定システム。
【請求項11】
前記テンプレート選択部は、前記条件に基づいて１又は複数の前記テンプレートを選択し、前記パラメータ決定部は、選択された複数の前記テンプレートについての複数の前記評価情報に基づいて、使用する前記テンプレート及び前記パラメータの特定の値を決定する、
請求項１０に記載の機械学習モデル決定システム。
【請求項12】
前記評価部による機械学習の学習結果の評価は、構築された前記機械学習モデルの演算負荷を考慮した指標によりなされる、請求項１～１１のいずれか１項に記載の機械学習モデル決定システム。
【請求項13】
情報通信ネットワークに接続され、互いに情報通信可能な少なくとも１つのサーバと複数のクライアント端末を有する機械学習モデル決定方法であって、
前記サーバにおいて、機械学習の学習結果に影響をもたらすパラメータに関し、前記パラメータの値について機械学習の学習結果に対する評価に関する情報である評価情報を記憶し、
前記サーバにおいて、前記パラメータの特定の値及び、特定の教師データを用いた機械学習の学習結果の評価に基づいて、前記評価情報を更新し、
前記クライアント端末において、前記特定の教師データを入力し、
前記サーバ又は前記クライアント端末のいずれかにおいて、実行しようとする機械学習についての前記評価情報に基づいて前記パラメータの特定の値を決定し、
前記サーバ又は前記クライアント端末のいずれかにおいて、前記パラメータの特定の値に基づいて構成された機械学習モデルに対して、前記特定の教師データにより学習を行い、
前記サーバ又は前記クライアント端末のいずれかにおいて、学習済みの前記機械学習モデルに対して前記特定の検証データにより機械学習の学習結果を評価し、
前記評価情報は、機械学習に用いられる機械学習モデルの種別及び入出力の形式を少なくとも定めるテンプレートに関連付けて記憶され、前記評価情報は、互いに異なる前記クライアント端末に対し入力される互いに異なる前記教師データ及び前記検証データについて、共通に用いられる、
機械学習モデル決定方法。
【請求項14】
前記パラメータの特定の値は複数決定され、前記機械学習モデルは複数の前記パラメータの特定の値のそれぞれについて構築され、
構築された複数の前記機械学習モデルのそれぞれについて機械学習の学習結果を評価し、
前記機械学習の学習結果の評価に基づいて、複数の前記機械学習モデルの中から少なくとも１の機械学習モデルを決定する、
請求項１３に記載の機械学習モデル決定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習パラメータ決定方法及び機械学習パラメータ決定システムに関する。
【背景技術】
【0002】
特許文献１には、機械学習のハイパーパラメータ値の探索をする探索装置が記載されている。同文献記載の探索装置では、新規ハイパーパラメータ値の選択は、ハイパーパラメータ空間の中からランダムに選択する方法、ハイパーパラメータ空間の中で選択されるハイパーパラメータ値がグリッド状に並ぶように選択する方法、近い連続量ハイパーパラメータ予想値から近い予測性能を持つモデルが生成されるという性質を利用して、選択するハイパーパラメータ値を絞り込む方法などの様々な方法で行うことが可能であるとされている（段落０１０４）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－７９２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
いわゆるハイパーパラメータを含む機械学習における種々のパラメータを適切に設計することは一般に難しい。熟練者の勘や経験に頼ることによる不確かさを排除するべく、パラメータ空間内でのパラメータの探索を行おうにも、探索すべきパラメータ空間は広大であり、その全てについて探索を行うには膨大な計算リソースが必要であり、現実的ではない。
【0005】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、計算リソースを効率的に利用して、機械学習パラメータを適切に定めることである。
【課題を解決するための手段】
【0006】
本発明の一側面に係る機械学習モデル決定システムは、情報通信ネットワークに接続され、互いに情報通信可能な少なくとも１つのサーバと複数のクライアント端末を有する機械学習モデル決定システムであって、前記サーバに備えられ、機械学習の学習結果に影響をもたらすパラメータに関し、前記パラメータの値について機械学習の学習結果に対する評価に関する情報である評価情報を記憶する評価情報データベースと、前記サーバに備えられ、前記パラメータの特定の値及び、特定の教師データを用いた機械学習の学習結果の評価に基づいて、前記評価情報を更新する評価情報更新部と、前記クライアント端末に備えられ、前記特定の教師データを入力する教師データ入力部と、前記クライアント端末に備えられ、特定の検証データを入力する検証データ入力部と、実行しようとする機械学習についての前記評価情報に基づいて、前記パラメータの特定の値を決定するパラメータ決定部と、前記パラメータの特定の値に基づいて構成された機械学習モデルに対して、前記特定の教師データにより学習を行う学習部と、学習済みの前記機械学習モデルに対して前記特定の検証データにより機械学習の学習結果を評価する評価部を有する機械学習エンジンと、を有し、前記評価情報は、機械学習に用いられる機械学習モデルの種別及び入出力の形式を少なくとも定めるテンプレートに関連付けて記憶され、前記評価情報は、互いに異なる前記クライアント端末に対し入力される互いに異なる前記教師データ及び前記検証データについて、共通に用いられる。
【0007】
また、本発明の一側面に係る機械学習モデル決定システムにおいては、前記パラメータ決定部は、複数の前記パラメータの特定の値を決定し、前記機械学習エンジンの学習部は、前記複数の前記パラメータの特定の値のそれぞれについて前記機械学習モデルを構築し、前記機械学習エンジンの評価部は、構築された複数の機械学習モデルのそれぞれについて機械学習の学習結果を評価し、前記機械学習の学習結果の評価に基づいて、前記複数の機械学習モデルの中から少なくとも１の機械学習モデルを決定するモデル決定部を有するものであってよい。
【0008】
また、本発明の一側面に係る機械学習モデル決定システムにおいては、前記評価情報更新部は、前記複数の機械学習モデルについて得られた機械学習の学習結果のそれぞれに基づいて、前記評価情報を更新するものであってよい。
【0009】
また、本発明の一側面に係る機械学習モデル決定システムは、前記評価情報には、前記パラメータの特定の値が選択される確率を示す選択確率情報が含まれ、前記パラメータ決定部は、前記選択確率情報に基づいて、確率的に前記パラメータの特定の値を決定するものであってよい。
【0010】
また、本発明の一側面に係る機械学習モデル決定システムにおいては、前記評価情報更新部は、前記パラメータの特定の値についての前記機械学習の結果に基づいて、前記選択確率情報における、当該特定の値についての前記選択確率情報の値と、当該特定の値の近傍の値についての前記選択確率情報の値を同方向に変更するものであってよい。
【0011】
また、本発明の一側面に係る機械学習モデル決定システムにおいては、前記パラメータ決定部は、複数の前記パラメータの特定の値のうち、所定の割合の特定の値として、前記機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択するものであってよい。
【0012】
また、本発明の一側面に係る機械学習モデル決定システムは、前記所定の割合を人為的に設定する割合設定部を有するものであってよい。
【0013】
また、本発明の一側面に係る機械学習モデル決定システムは、前記所定の割合を前記パラメータ決定部が決定する前記パラメータの特定の値の数に応じて設定するものであってよい。
【0014】
また、本発明の一側面に係る機械学習モデル決定システムは、前記サーバに備えられ、共通の教師データを記憶する共通教師データ記憶部と、前記サーバに備えられ、共通の検証データを記憶する共通検証データ記憶部と、前記サーバに備えられ、前記サーバの負荷に応じて、実行しようとする機械学習についての前記評価情報に基づいて、前記パラメータの特定の値を決定するサーバ側パラメータ決定部と、前記サーバに備えられ、前記パラメータの特定の値に基づいて構成された機械学習モデルに対して、前記共通の教師データにより学習を行う学習部と、学習済みの前記機械学習モデルに対して前記共通の検証データにより機械学習の学習結果を評価する評価部を有するサーバ側機械学習エンジンと、を有し、前記評価情報更新部は、さらに、前記パラメータの特定の値及び、前記共通の教師データを用いた機械学習の学習結果に基づいて、前記評価情報を更新するものであってよい。
【0015】
また、本発明の一側面に係る機械学習モデル決定システムは、前記サーバに備えられ、前記テンプレートを記憶するテンプレートデータベースと、前記クライアントに備えられ、前記テンプレートを選択する条件を入力する条件入力部と、前記条件に基づいて、１又は複数のテンプレートを前記テンプレートデータベースから選択するとともに、選択された前記テンプレートについての１又は複数の評価情報を前記評価情報データベースから選択するテンプレート・評価情報選択部と、を有し、前記評価情報データベースは、前記評価情報を、前記テンプレート毎に記憶し、前記機械学習エンジンの前記学習部は、前記パラメータの特定の値及び選択された前記テンプレートに基づいて前記機械学習モデルを構成し、前記評価情報更新部は、選択された前記テンプレートについての前記評価情報を更新するものであってよい。
【0016】
また、本発明の一側面に係る機械学習モデル決定システムにおいては、前記テンプレート選択部は、前記条件に基づいて１又は複数の前記テンプレートを選択し、前記パラメータ決定部は、選択された複数の前記テンプレートについての複数の前記評価情報に基づいて、使用する前記テンプレート及び前記パラメータの特定の値を決定するものであってよい。
【0017】
また、本発明の一側面に係る機械学習モデル決定システムにおいては、前記評価部による機械学習の学習結果の評価は、構築された前記機械学習モデルの演算負荷を考慮した指標によりなされるものであってよい。
【0018】
また、本発明の一側面に係る機械学習モデル決定方法は、情報通信ネットワークに接続され、互いに情報通信可能な少なくとも１つのサーバと複数のクライアント端末を有する機械学習モデル決定方法であって、前記サーバにおいて、機械学習の学習結果に影響をもたらすパラメータに関し、前記パラメータの値について機械学習の学習結果に対する評価に関する情報である評価情報を記憶し、前記サーバにおいて、前記パラメータの特定の値及び、特定の教師データを用いた機械学習の学習結果の評価に基づいて、前記評価情報を更新し、前記クライアント端末において、前記特定の教師データを入力し、前記サーバ又は前記クライアント端末のいずれかにおいて、実行しようとする機械学習についての前記評価情報に基づいて前記パラメータの特定の値を決定し、前記パラメータの特定の値に基づいて構成された機械学習モデルに対して、前記特定の教師データにより学習を行い、前記サーバ又は前記クライアント端末のいずれかにおいて、学習済みの前記機械学習モデルに対して前記特定の検証データにより機械学習の学習結果を評価し、前記評価情報は、機械学習に用いられる機械学習モデルの種別及び入出力の形式を少なくとも定めるテンプレートに関連付けて記憶され、前記評価情報は、互いに異なる前記クライアント端末に対し入力される互いに異なる前記教師データ及び前記検証データについて、共通に用いられる。
【0019】
また、本発明の一側面に係る機械学習モデル決定方法においては、前記パラメータの特定の値は複数決定され、前記機械学習モデルは複数の前記パラメータの特定の値のそれぞれについて構築され、構築された複数の前記機械学習モデルのそれぞれについて機械学習の学習結果を評価し、前記機械学習の学習結果の評価に基づいて、複数の前記機械学習モデルの中から少なくとも１の機械学習モデルを決定するものであってよい。
【図面の簡単な説明】
【0020】
【図1】本発明の好適な実施形態に係る機械学習パラメータ決定システムの全体構成を示す模式図である。
【図2】サーバ及びクライアント端末のハードウェア構成の一例を示す図である。
【図3】本発明の好適な実施形態に係る機械学習モデル決定システムの主要な構成を示す機能ブロック図である。
【図4】本発明の好適な実施形態に係る機械学習モデル決定システムの概略の動作のフローを示す図である。
【図5】ユーザが条件入力部に入力する条件と、それら条件に応じて定められるテンプレートの例を示す表である。
【図7】パラメータの特定の値の決定の具体的な実装例を示す図である。
【図8】確率密度関数の更新の例を示す概念図である。
【図9】離散的な性質を持つパラメータについて、評価情報の更新の例を示す概念図である。
【図10】パラメータの特定の値の決定方法を説明する図である。
【図11】機械学習に使用されていないか、または使用された頻度が相対的に低いパラメータの特定の値を決定する方法を示す図である。
【図12】単独で評価情報を更新する構成を有するサーバの概略の構成を示す機能ブロック図である。
【発明を実施するための形態】
【0021】
以下、本発明の好適な実施形態に係る機械学習パラメータ決定方法及び機械学習パラメータ決定システムを、図面を参照して説明する。
【0022】
図１は、本発明の好適な実施形態に係る機械学習モデル決定システム１の全体構成を示す模式図である。機械学習モデル決定システム１は、電気通信ネットワークＮを介してコンピュータであるサーバ２、クライアント端末３（図中は３台のクライアント端末３が示されており、それぞれを区別する場合はａ，ｂ，ｃの添字を付して示す）が相互に情報通信可能に接続されている。
【0023】
ここで、電気通信ネットワークＮは、複数のコンピュータが相互に通信可能なネットワークであれば特に制限はなく、いわゆるインターネットのようなオープンネットワークであっても、企業内ネットワークのようなクローズドネットワークであってもよいし、有線／無線の別や、通信プロトコルは、限定されない。
【0024】
サーバ２は、後述するように各種データベースの管理その他を行う。クライアント端末３は、本例では、いわゆるディープラーニングなどの手法による機械学習による演算を行うことが予定されているコンピュータであり、それぞれ、適用されようとする用途に十分な演算能力を持つものが用意される。
【0025】
そして、クライアント端末３では、それぞれ独立に機械学習による情報処理が実行されることが予定されている。ここでは、機械学習を用いた情報処理を必要とするユーザ４（図中は３名のユーザ４が示されており、それぞれを区別する場合はａ，ｂ，ｃの添字を付して示す）が、当該情報処理に対応してクライアント端末３を設置し、それぞれ機械学習に必要な教師データを用意し、機械学習を実行して情報処理モデルを構築する状況を想定する。
【0026】
そして、図１において、クライアント端末３ａはユーザａが設置し運用するものであり、同様に、クライアント端末３ｂ及び３ｃはそれぞれユーザ４ｂ、４ｃが設置し運用するものとする。本実施形態において、クライアント端末３ａ～３ｃ及び、ユーザ４ａ～４ｃに技術的な意味における差異はないが、以下では、クライアント端末３ａ及びユーザ４ａを代表として説明する。したがって、特にそれぞれを区別する必要がない場合には、クライアント端末３ａを単にクライアント端末３と称し、ユーザ４ａを単にユーザ４と称する。
【0027】
なお、図１で示した模式図は、説明の便宜上、本発明の代表的な構成を例示したものにすぎず、機械学習モデル決定システム１の全体構成は必ずしも図示の通りでなくとも差し支えない。例えば、クライアント端末３及びユーザ４の数は任意かつ可変である。また、クライアント端末３とユーザ４の数は必ずしも一致している必要はなく、一のユーザ４が複数のクライアント端末３を運用することもできる。また、クライアント端末３は、それぞれが必ずしも物理的に独立した機器である必要はなく、いわゆるクラウドコンピューティングサービスなどを活用したバーチャルマシンであってもよい。その場合、物理的には同一の機器上に複数のクライアント端末３が構築されうる。また、サーバ２についても同様のことがいえ、サーバ２は必ずしも独立した単独の機器である必要はなく、バーチャルマシンとして構築されていてもよい。したがって、サーバ２及びクライアント端末３の物理的な所在は限定されず、複数の機器に分散されていても、同一の機器上に一部または全部が重複していても差し支えない。
【0028】
図２は、サーバ２及びクライアント端末３のハードウェア構成の一例を示す図である。同図に示されているのは、一般的なコンピュータ５であり、プロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１、メモリであるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０２、外部記憶装置５０３、ＧＣ（Ｇｒａｐｈｉｃｓ Ｃｏｎｔｒｏｌｌｅｒ）５０４、入力デバイス５０５及びＩ／Ｏ（Ｉｎｐｕｒ／Ｏｕｔｐｕｔ）５０６がデータバス５０７により相互に電気信号のやり取りができるよう接続されている。また、コンピュータ５は、必要に応じてさらに、並列演算器５０９がデータバス５０７に接続されていてもよい。なお、ここで示したコンピュータ５のハードウェア構成は一例であり、これ以外の構成のものであってもよい。
【0029】
外部記憶装置５０３はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の静的に情報を記録できる装置である。またＧＣ５０４からの信号はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やいわゆるフラットパネルディスプレイ等の、使用者が視覚的に画像を認識するモニタ５０８に出力され、画像として表示される。入力デバイス５０５はキーボードやマウス、タッチパネル等の、ユーザが情報を入力するための一又は複数の機器であり、Ｉ／Ｏ５０６はコンピュータ３が外部の機器と情報をやり取りするための一又は複数のインタフェースである。Ｉ／Ｏ５０６には、有線接続するための各種ポート及び、無線接続のためのコントローラが含まれていてよい。
【0030】
並列演算器５０９は、機械学習において頻出する大規模並列演算を高速に実行できるよう、多数の並列演算回路を備えた集積回路である。並列演算器５０９としては、一般にＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として知られる三次元グラフィクス用プロセッサが好適に利用できるほか、機械学習用に特に適したものとして設計された集積回路などを用いてよい。また、ＧＣ５０４がＧＰＵを備えており、かつ、かかるＧＰＵがユーザ４が実行しようとする機械学習を用いた情報処理に対して十分な演算性能を備えている場合には、並列演算器５０９として、又は、並列演算器５０９に加えてＧＣ５０４に備えられたＧＰＵを用いてもよい。
【0031】
コンピュータ５をサーバ２又はクライアント端末３として機能させるためのコンピュータプログラムは外部記憶装置５０３に記憶され、必要に応じてＲＡＭ５０２に読みだされてＣＰＵ５０１により実行される。すなわち、ＲＡＭ５０２には、ＣＰＵ５０１により実行されることにより、コンピュータ５をサーバコンピュータ２又はクライアントコンピュータ３として機能させるためのコードが記憶されることとなる。かかるコンピュータプログラムは、適宜の光ディスク、光磁気ディスク、フラッシュメモリ等の適宜のコンピュータ可読情報記録媒体に記録されて提供されても、Ｉ／Ｏ５０６を介して外部のインターネット等の情報通信回線を介して提供されてもよい。
【0032】
図３は本実施形態に係る機械学習モデル決定システム１の主要な構成を示す機能ブロック図である。なお、ここで「主要な」と断る理由は、機械学習モデル決定システム１は、図３に示したもの以外の付加的構成をさらに有してよいためであり、図３では図示が煩雑となるため、かかる付加的構成を示していない。この付加的構成については後述する。
【0033】
図２に示した通り、機械学習モデル決定システム１は複数のユーザが使用する複数のクライアント端末３を含むが、図３にはその内の代表する一のもの（すなわち、クライアント端末３ａ）が示されている。したがって、サーバ２に対し、複数のクライアント端末３が通信可能に接続されている場合、図２に示したクライアント端末３と同等の構成を持つ図示しないクライアント端末３が複数存在することとなる。一方、サーバ２は、かかる複数のクライアント端末３に対し、共通である。
【0034】
サーバ２には、テンプレートデータベース２０１、評価情報データベース２０２が設けられ、それぞれ、１又は複数のテンプレートと、各々のテンプレートに対応する１又は複数の評価情報を記憶している。本明細書でいうテンプレートは、機械学習に用いられる機械学習モデルの種別及び入出力の形式を少なくとも定める情報であり、また、評価情報は、機械学習の学習結果に影響をもたらすパラメータに関し、当該パラメータの値について機械学習の学習結果に対する評価に関する情報である。テンプレート及び評価情報のより具体的な説明は後述する。また、サーバ２には、評価情報更新部２０３が設けられ、評価情報データベース２０２に記憶された評価情報を更新可能となっている。
【0035】
クライアント端末３には、学習部３０１及び評価部３０２を含む機械学習エンジン３０３、教師データ入力部３０４、検証データ入力部３０５が設けられる。教師データ入力部３０４は、ユーザ４が用意した、特定の用途についての機械学習モデルを学習させるための特定の教師データを入力するためのものであり、検証データ入力部３０５は、同じく、ユーザ４が用意した、特定の用途についての学習を終えた機械学習モデルを検証させるための特定の検証データを入力するためのものである。教師データ入力部３０４及び検証データ入力部３０５は、適宜のＧＵＩ（グラフィカルユーザインタフェース）等を備え、ユーザ４が用意した特定の教師データ及び特定の検証データを機械学習エンジン３０３へと受け渡す。
【0036】
機械学習エンジン３０３が備える学習部３０１は、機械学習モデルを構築し、特定の教師データを用いて学習を行う。学習部３０１にて使用される機械学習モデルは、本実施例では、ユーザ４が機械学習を利用しようとする用途などの条件に基づいて、機械学習モデル決定システム１自体が自動的に構築する。機械学習モデル決定システム１による機械学習の自動構築の仕組みについては後述する。
【0037】
また、機械学習エンジン３０３が備える評価部３０１は、学習部３０１にて構築され、学習された機械学習モデルに対し、特定の検証データにより機械学習の学習結果を評価する。この学習結果の評価は、特定の検証データに含まれる設問を入力し、その出力結果を特定の検証データに含まれる解答と比較することにより行ってよい。本実施形態では、評価部３０１による評価は、特定の検証データにおける正解率（機械学習モデルの出力結果が解答と合致する比率）としているが、この評価の指標は、構築される機械学習モデルの性質や用途に応じた任意のものであってよい。本実施形態にて説明する単純な正解率以外の評価指標については、別途後述する。
【0038】
学習部３０１で用いられる機械学習モデルを構築するための構成として、クライアント端末３は、条件入力部３０６及びパラメータ決定部３０７を備えている。
【0039】
まず、条件入力部３０６は、ユーザ４がテンプレートを選択する条件を入力する部分であり、適宜のＧＵＩなどを備えたものであってよい。テンプレートを選択する条件とは、機械学習による情報処理を利用しようとするアプリケーションについての情報であり、その機械学習モデルの種別及び入出力の形式を少なくとも特定するに足る情報である。より具体的には、そのアプリケーションの用途、入力データおよび出力データのフォーマットなどを含む。
【0040】
かかるテンプレートを選択する条件は、サーバ２のテンプレート・評価情報選択部２０４に送られ、かかる条件に合致する１又は複数のテンプレートをテンプレートデータベース２０１から選択する。さらに、テンプレート・評価情報選択部２０４は、選択したテンプレートに関連付けられた１又は複数の評価情報を評価情報データベース２０２から選択する。選択されたテンプレートはクライアント端末３の学習部３０１に送られて機械学習モデルの構築に供され、また、選択された評価情報はクライアント端末のパラメータ決定部３０７に送られて、パラメータの特定の値の決定に利用される。
【0041】
パラメータ決定部３０７は、テンプレート・評価情報選択部２０４より送られた評価情報に基づいて、パラメータの特定の値を決定する。ここでテンプレート・評価情報選択部２０４より送られる評価情報は、ユーザが実行使用する機械学習について入力した条件に合致するように選択されたテンプレートに関連付けられた評価情報であるから、実行しようとする機械学習についての評価情報であるということができる。
【0042】
また、本明細書でいうパラメータは、前述の通り、機械学習の学習結果に影響をもたらす各種の設定値等をいい、全く同じ教師データにより学習を行い、全く同じ検証データにより学習結果の評価を行ったとしても、かかるパラメータを具体的にどのように定めるかに依存して、その結果が異なるものを指す。このパラメータは、数値パラメータであることも、有限個の選択肢のうちの１又は複数を選択する選択パラメータであることもでき、通常は複数種類のパラメータが存在する。このパラメータの代表例は、機械学習におけるいわゆるハイパーパラメータである。ハイパーパラメータ以外のパラメータとしては、機械学習の前処理や後処理におけるパラメータ（例えば、画像処理におけるエッジ抽出処理のフィルタの種類や重みの値等）が挙げられる。
【0043】
学習部３０１における機械学習モデルは、テンプレートを用いる場合、テンプレート・評価情報選択部２０４により選択されたテンプレートに、パラメータ決定部３０７により決定されたパラメータの特定の値を組み合わせることにより構築される。したがって、テンプレート・評価情報選択部２０４がｎ個のテンプレートを選択し、パラメータ決定部３０７が、選択されたｘ番目のテンプレートについて、ｍｘ個のパラメータの特定の値を決定したとすると、構築される機械学習モデルの数は、次の通りとなる。
【0044】
【数1】
【0045】
本機械学習モデル決定システム１により決定しようとする機械学習モデルの種別や用途が特定のものに限定されている場合には、用意されるテンプレートの数が１である場合に相当すると考えられる。その場合には、テンプレート及び評価情報を選択する必要はないため、サーバ２のテンプレート・評価情報選択部２０４及び、クライアント端末３の条件入力部３０６は省略されてよい。
【0046】
評価情報更新部２０３は、機械学習エンジン３０３の評価部３０２において得られた機械学習モデルの学習結果の評価に基づいて、当該機械学習モデルを構築する際のパラメータの特定の値を決定する際に用いられた評価情報を更新する。そして、当該機械学習モデルは、教師データ入力部３０４より入力される特定の教師データにより学習されたものであるから、評価情報更新部２０３は、パラメータの特定の値及び、特定の教師データを用いた機械学習の学習結果の評価に基づいて、評価情報を更新するものといえる。
【0047】
なお、評価部３０２において得られた機械学習モデルの学習結果の評価は、テンプレートデータベース２０１に記憶されたテンプレートの一部の更新に用いられてもよい。学習結果の評価に基づくテンプレートの更新については後述する。
【0048】
また、本実施形態に係る機械学習モデル決定システム１では、クライアント端末３はさらに、パラメータ指定部３０８及び割合設定部３０９を備えている。パラメータ指定部３０８は、パラメータ決定部３０７により決定されるパラメータの特定の値とは別に、ユーザが明示的にパラメータの特定の値を指定するものであり、適宜のＧＵＩを含むものであってよい。機械学習エンジン３０３の学習部３０１においては、パラメータ決定部３０７により決定されたパラメータの特定の値によるものに加え、パラメータ指定部３０８によりユーザに指定されたパラメータの特定の値による機械学習モデルが構築される。割合設定部３０９は、パラメータ決定部３０７により決定される複数のパラメータの特定の値として、機械学習に使用されていないか、または使用された頻度が相対的に低い値が優先的に選択される割合を設定するためのものであり、適宜のＧＵＩを含むものであってよい。この所定の割合についての詳細は後述する。
【0049】
さらに、クライアント端末３に設けられたモデル決定部３１０は、評価部３により得られた機械学習の評価に基づいて、機械学習エンジン３０３の学習部３０１において構築された複数の機械学習モデルの中から少なくとも１の機械学習モデルを決定する。この結果、ユーザが機械学習による情報処理を利用しようとするアプリケーションについて、複数の機械学習モデルをその候補として構築し、それぞれの候補について特定の教師データにより学習を行い、特定の検証データにより検証してそれぞれの評価を得ることにより、所望のアプリケーションに最も、又はより適した出力が得られる機械学習モデルを決定できる。
【0050】
なお、以上説明した機械学習モデル決定システム１においては、パラメータ決定部３０７、機械学習エンジン３０３、及びモデル決定部３１０はクライアント端末３上に構築するものとして説明したが、これらの全て又は一部は、サーバ２上に構築するものとして、クライアント端末３は、その結果のみをサーバ２から受信するように構成しても差し支えない。また、サーバ２に接続される複数のクライアント端末３の一部は、パラメータ決定部３０７、機械学習エンジン３０３、及びモデル決定部３１０をクライアント端末３上に構築し、複数のクライアント端末３の別の一部は、これらをサーバ２上に構築するものとしてもよい。クライアント端末３として十分な情報処理能力を持つものを用意できるユーザ４は、自前のクライアント端末３を用いて機械学習モデルの決定を迅速にできる一方、そのような強力なクライアント端末３を用意できないユーザ４は、情報処理の負担をサーバ２に委ねることで、機械学習モデルの決定を行うことができる。
【0051】
本実施形態に係る機械学習モデル決定システム１の概略の構成は以上の通りである。図４を参照してかかる構成による機械学習モデル決定システム１全体の動作の流れと、それによる技術的意義について以下に説明する。
【0052】
図４は、本実施形態に係る機械学習モデル決定システム１の概略の動作のフローを示す図である。同図では便宜上、注目する特定のユーザ４ａが使用するクライアント端末３ａとサーバ２、及び、特定のユーザ４ａ以外の１又は複数のユーザ４ｂ、４ｃ、・・・が使用する１又は複数のクライアント端末３ｂ、３ｃ、・・・に分けてフローを示す。なお、このフローの説明にあたっては、適宜図３を参照するものとし、機械学習モデル決定システム１が有する機能ブロックに言及する際には、図３に示された符号を付す。
【0053】
まず、前提として、他のクライアント端末３ｂ、３ｃ・・・において、すでに機械学習エンジン３０３により特定の用途に適した機械学習モデルが学習部３０１において構築され、学習され、さらに、評価部３０２によりその学習結果に対する評価がなされているものとする（ステップＳ１０１。ただし、後述するように、かかる評価が未だなされていなくとも差し支えはない）。
【0054】
学習結果は、サーバ２の評価情報更新部２０３に送信され、取得される（ステップＳ１０２）。評価情報更新部２０３は、かかる評価に基づいて、評価情報ＤＢに記憶された評価情報を更新する（ステップＳ１０３）。
【0055】
この評価情報の更新は、ユーザ４ｂ、４ｃ、・・・がクライアント端末３ｂ、３ｃ・・・を用いて機械学習を実行する度になされ、その結果は評価情報ＤＢに蓄積されていく。ここで、評価情報は、前述したとおり、機械学習の学習結果に影響をもたらすパラメータに関し、当該パラメータの値について機械学習の学習結果に対する評価に関する情報である。この評価情報の技術的意義を、理解を容易にするため、正確性を欠くものの大まかに説明するならば、次のようになる。すなわち、評価情報は、パラメータ決定部３０７がパラメータの特定の値を決定する際に、過去の機械学習の学習結果を反映して、好成績が得られた機械学習に用いられたパラメータの値と、その値に近似するパラメータの特定の値が選択されやすくなるようにするための情報である。
【0056】
すなわち、あるユーザ４がクライアント端末３を用いて、パラメータの特定の値についての機械学習結果として好成績を得たならば、その結果が評価情報に反映される。その次に更新された評価情報を用いて別のユーザ４がクライアント端末３を用いて機械学習を実行しようとした際には、先のユーザが使用したパラメータの値、又はその値に近似するパラメータの値がより選択されやすくなるのである。
【0057】
すなわち、本実施形態に係る機械学習モデル決定システム１では、各ユーザ４は、他のユーザ４が構築した機械学習モデル及びその学習結果を直接知ることはできないが、その学習結果の良否を評価情報を介して間接的に利用することができ、より精度の高い機械学習モデルを効率よく探索し発見することができるようになるのである。この機械学習モデル探索の効率及び精度は、より多くのユーザ４により、より多くの機械学習の結果が得られて、それら結果が評価情報に蓄積されるほどに向上していくことが見込まれる。すなわち、サーバ２に設けられた評価情報データベース２０２に記憶された評価情報が、複数のユーザ４間に共通に用いられる構成であることにより、評価情報の質はより効率的に向上していく。
【0058】
なお、この評価情報の質の向上は、必ずしも複数のユーザ４の存在を前提としなければならないわけではなく、複数の機械学習モデルの構築及び評価の結果が評価情報に蓄積される構成によりもたらされる効果である。ただし、より多くの機械学習の結果が評価情報に反映されるほど迅速に評価情報の質が向上するため、より多くの機械学習の結果を評価情報に反映するため、評価情報を複数のユーザ４に共通に用いられる構成とすることは有効である。かかる評価情報をどのようなものとし、どのように更新するかについては様々な実装が考えられ、具体的な例については後ほど詳述する。
【0059】
ここで、上のような評価情報の質の向上により、より精度の高い機械学習モデルを効率よく探索し発見することができるというためには、あるユーザ４がそのユーザ４固有の事情に基づいて構築し、好成績を収めた機械学習モデルにおいて採用されたパラメータの値が、他のユーザ４の他の事情に基づいて構築する機械学習モデルにおいても好成績を収めるであろうという仮定がなされなければならない。この仮定は、厳密には正しいとは言えない。すなわち、機械学習の用途や目的が相違していればもちろん、それらが同等であったとしても、互いに異なる教師データに基づいて学習がなされ、互いに異なる検証データに基づいて学習結果が評価される際に、同じパラメータの値を採用して構築された機械学習モデルの学習結果の評価が同等となる保証は一般にない。
【0060】
しかしながら、経験的に、機械学習のモデルや入出力の形式を同じくし、その用途及び目的が同等である機械学習においては、たとえ異なる教師データ、検証データを用いたとしても、多くの場合において、同じ又は近接したパラメータを採用して構築された機械学習モデルが優秀な成績を収めることが観察される。したがって、実用的には、過去の事例において好成績を収めた機械学習モデルを構築する際に採用されたパラメータの値を、別の新たな事例において機械学習モデルを構築する際に採用されやすくすることには大いに意味がある。
【0061】
特に、一般に機械学習においては、機械学習モデルを構築して、学習を行い、さらにその学習結果の評価をするためには膨大な計算量を必要とするため、広大なパラメータ空間のあらゆる可能性をくまなく探索することは非現実的である。過去の類似の事例に基づいて、好成績を収めた機械学習モデルの構築に用いられたパラメータの値またはその値に近似する値を優先的に採用して探索することは、より短時間に、より少ない計算量で好成績を上げる機械学習モデルを構築する際に、効果的かつ実用的なアプローチとなる。
【0062】
なお、上で述べた、機械学習におけるパラメータの値の類似性は、その用途や目的に共通性がみられる一群の機械学習モデルに見られ、そうでない機械学習モデル間には類似性は見られないか、あったとしても限定的である。例えば、一軸のサーボ－ボールねじシステムによる位置決め機構において、電流波形から機器の故障を検出する機械学習モデルにおいては、各機器の製造メーカーや型式、負荷が少々異なっていたり、教師データおよび検証データが異なっていたとしても、好成績を収める機械学習モデルに採用されるパラメータの値には類似性が観察される。これに対し、同じ一軸のサーボ－ボールねじシステムにおいて、電流波形から機器の故障を検出するものであったとしても、プレス機構に用いられるもののようにトルク制御を行うものは、機械学習モデルに適したパラメータの値が異なることが観察される。
【0063】
もちろん、構築しようとする機械学習モデルの種別や入出力の形式が異なっていれば、その機械学習モデルの構築に必要となるパラメータ自体が異なるため、これらを互いに利用することはできないことは言うまでもない。すなわち、機械学習におけるパラメータの値の類似性を利用することができる機械学習には、その類似性の範囲がある。
【0064】
本明細書において、テンプレートは、前述したとおり、機械学習に用いられる機械学習モデルの種別及び入出力の形式を少なくとも定める情報である。ここでも、このテンプレートの技術的意義を、理解を容易にするため、正確性を欠くものの大まかに説明するならば、次のようになる。すなわち、テンプレートは、ユーザ４が構築しようとする機械学習の類似性の範囲を定めるものである。すなわち、テンプレートを共通にして構築された機械学習モデル間には、その成績と、パラメータの値の間に相関があるものと推定される。そのため、テンプレートは、当該テンプレートに基づいて構築される機械学習モデル間にパラメータの値の類似性がみられるように設定される。
【0065】
より具体的には、テンプレートはまず、機械学習に用いられる機械学習モデルの種別及び入出力の形式を定める。これらが異なっている機械学習モデルでは、選択すべきパラメータがそもそも異なり、共通しないと考えられるためである。さらに、テンプレートは、機械学習の用途や目的を定めるものであってよい。上の一軸のサーボ－ボールねじシステムによる位置決め機構の例では、機械学習モデルの種別として「ＬＳＴＭ（長期短期メモリ）」、入力の形式として一次元時系列データ、出力の形式としてｎ次元ベクトル、用途及び目的として、「位置制御」及び「故障検出」を定めたテンプレートが用意される。
【0066】
評価情報は、テンプレート毎に関連付けられて用意されるため、同じテンプレートを選択して構築される機械学習モデルは、共通の評価情報を用いることとなり、適正に、過去の学習結果を反映したパラメータの選択がなされることがわかる。ここで上のテンプレートの例であれば、決定すべきパラメータは、おおむね次の通りとすることができる：
・入力データに対するフィルタのパラメータ（時定数など）
・ＬＳＴＭの隠れ層の層数及び各層のノード数
・学習率
・モーメンタム
・ＢＰＴＴ（通時的誤差逆伝播法）打ち切りステップ数
・勾配クリッピング値
・入力データに対するフィルタのパラメータ（時定数など）
・ＬＳＴＭの隠れ層の層数及び各層のノード数
・学習率
・モーメンタム
・ＢＰＴＴ（通時的誤差逆伝播法）打ち切りステップ数
・勾配クリッピング値
【0067】
すなわち、機械学習モデル決定システム１は、特定のテンプレートに基づいて構築される機械学習モデルに用いられるパラメータの実用的な好適値を、合理的手法により効率的かつ実用的に求めるシステムであるといえる。再び図４を参照し、かかるパラメータの値を求め、機械学習モデルを決定するまでの流れを説明する。
【0068】
ユーザ３ａが新たに特定の用途、目的のために機械学習モデルを構築しようとする際、かかる目的についての条件をクライアント端末３の条件入力部３０６に入力する（ステップＳ１０４）。この条件は、サーバ２に送られ、テンプレート・評価情報選択部２０４におけるテンプレートの選択に用いられる（ステップＳ１０５）。ユーザ３ａが条件入力部３０６に入力する条件は、必ずしも、テンプレートで定める機械学習モデルの種別や入出力データの形式を直接的に指定するものでなくともよい。
【0069】
図５は、ユーザ３ａが条件入力部３０６に入力する条件と、それら条件に応じて定められるテンプレートの例を示す表である。同図の表では、条件は、テンプレートを定めるための形式的な条件、すなわち、機械学習モデルの種別及び入出力データの形式を定める条件を横方向に、また、テンプレートを定めるための目的的な条件、すなわち、機械学習の用途・目的に関する条件を縦軸に示して両者を区別しているが、ユーザ３ａがこれら条件を入力する際には、この区別は必ずしも明示されなくともよく、必要な条件を例えば、いわゆるウイザード形式で入力していくＧＵＩを採用してもよい。
【0070】
図５に示されるように、形式的な条件と目的的な条件が定まると、一のテンプレートが定まる。なお、同図に示した表では、形式的な条件と目的的な条件を選択することで定まる各マスに割り当てられるテンプレートは全て異なるものとして示しているが、類似のものとして取り扱うことができる場合には、共通のテンプレートを使用するものとしてもよい。例えば、形式的条件として、一軸サーボモータを使用し、一次元の時系列データを入力とするものを選択した際に、目的的条件として、回転駆動系の位置決め（表中には「回転位置決め」と記した。）における故障検出の場合には、同表中テンプレートＡ１が示され、リニアモータ駆動系の位置決め（表中には「リニア位置決め」と記した。）における故障検出の場合には、同表中テンプレートＡ３が示されているが、この両者を同様に取り扱うことができる場合には、このテンプレートを共通のものとしてよい。
【0071】
そして、各テンプレートには、それぞれ、評価情報が対応付けられる。したがって、テンプレート・評価情報選択部２０４が入力された条件に基づいてテンプレートを選択することは、同時に評価情報を選択することでもある。
【0072】
また、テンプレート・評価情報選択部２０４は、ユーザ４ａが入力した条件によっては、複数のテンプレートを選択してもよい。例えば、ユーザ４ａが条件として、一軸サーボモータを使用し、一次元の時系列データを入力するものとし、さらに、位置決めにおける故障検出をその用途及び目的として入力したが、その位置決めが回転位置決めであるのか、ボールネジ駆動系における位置決め（表中には「ボールねじ位置決め」と記した。）であるのか、リニア位置決めであるのかを特に指定しなかった場合には、有り得る候補である、テンプレートＡ１、テンプレートＡ２及びテンプレートＡ３の全てが選択されてもよい。他にも、ある特定の条件においては、他の条件と紐づけられた複数のテンプレートが選択されるように定めておいてもよい。
【0073】
このように、テンプレート・評価情報選択部２０４にユーザ４ａが与える条件を、ユーザ３ａが機械学習を適用しようとする機器についての情報や、その目的及び用途とすることにより、ユーザ３ａが数多ある機械学習モデルについての十分な知識がなくとも、入力された条件から自動的に適した機械学習モデルを構築するためのテンプレートが選択される。条件によっては、いくつかある機械学習モデルの候補が複数存在する場合にもあると考えられるが、その場合には、当該機械学習モデルを構築するためのテンプレートを複数選択すればよい。各テンプレートは既知の機械学習モデルの定義を含んでおり、それらは、既存の機械学習モデルのアーキテクチャを示すものであってよい。例えば、そのようなアーキテクチャは、ＣＮＮ（畳み込みニューラルネットワーク）であれば、ＡｌｅｘＮｅｔ、ＺＦＮｅｔ、ＲｅｓＮＥＴといったアーキテクチャでよく、ＲＮＮ（再帰的ニューラルネットワーク）であれば単純ＲＮＮ、ＬＳＴＭ、Ｐｏｉｎｔｅｒ Ｎｅｔｗｏｒｋｓといったアーキテクチャであり得る。それ以外にも、ＣＲＮＮ（畳み込みニューラルネットワーク）、サポートベクタマシンなど、ユーザ４に提供しようとする機械学習の性質に応じてあらかじめ用意される。
【0074】
テンプレート・評価情報選択部２０４において選択されたテンプレートはテンプレートデータベース２０１より読みだされてクライアント端末３ａへと送られ、また、選択されたテンプレートに対応する評価情報もまた、評価情報データベース２０２より読みだされてクライアント端末３ａへと送られる。図４に戻り、続くステップＳ１０６では、クライアント端末３ａのパラメータ決定部３０７により、機械学習モデルを構築する際に用いられるパラメータの値が決定される。なお、本明細書では、この機械学習モデルを構築する際に用いられるパラメータの値のことを、パラメータの特定の値と称している。
【0075】
パラメータ決定部３０７では、理論的には一つのみであっても機械学習モデル決定システム１は機能するものの、通常は２以上の多数のパラメータの特定の値を決定する。テンプレートに含まれる機械学習モデルの定義に対して、具体的なパラメータの特定の値を適用することにより一の機械学習モデルが構築されるため、決定されたパラメータの特定の値の数は、この後学習部３０１にて構築される機械学習モデルの数を示すことになる。
【0076】
このことは、次のように理解することができる。すなわち、パラメータは、前述の通り、機械学習の学習結果に影響をもたらす各種の設定値等であるから、パラメータの特定の値によって、同じ教師データにより学習を行い、同じ検証データによりその学習結果の評価を行ったとしても、その評価は互いに異なり、優劣が生じる。そして、この優劣は、パラメータの値それ自体から事前に正確に予測することは一般に困難である。そのため、多数のパラメータの特定の値を決定しておいて、それらパラメータの特定の値に基づいて多数の機械学習モデルを構築し、それら多数の機械学習モデルの学習結果の評価を行って、最終的に採用されるパラメータの特定の値、すなわち、特定の機械学習モデルを決定する。
【0077】
パラメータの特定の値が決定される数は、ユーザ４ａが許容できるクライアント端末３ａの演算リソースに依存する。十分な時間及びクライアント端末３ａの演算能力が確保できる場合にはパラメータの特定の値の数を大きくすることが許されるであろうし、そうでない場合には、許容される時間及びコストを勘案して数を決定する。この数はユーザ４ａが任意に設定してよく、数十～数万であることが一般的であると考えられるが、特に制限はない。
【0078】
続けて、クライアント端末３ａの機械学習エンジン３０３の学習部３０１は、選択されたテンプレートに決定されたパラメータの特定値を適用することにより、機械学習モデルを構築する。構築された機械学習モデルが複数の場合には、各機械学習モデルに、教師データ入力部３０４より入力された特定の教師データを適用して機械学習を行う（ステップＳ１０７）。
【0079】
機械学習済みの各機械学習モデルには、機械学習エンジン３０３の評価部３０２により、検証データ入力部３０５より入力された特定の検証データを適用して、機械学習の結果の評価を行う（ステップＳ１０８）。この評価は、一例として、検証データに用意された正解に対する機械学習モデルからの出力の正解率を算出することにより行ってよい。したがって、構築され、学習済みの機械学習モデルが複数存在する場合には、この評価もまた複数存在することとなる。
【0080】
機械学習モデルの評価は、クライアント端末３ａのモデル決定部３１０における機械学習モデルの決定に利用される（ステップＳ１０９）。モデル決定部３１０では、単純には、最も評価の高い、すなわち、最も好成績を上げた機械学習モデルを採用モデルとして決定する。これ以外の実装、例えば、評価の上位の複数の機械学習モデルを候補としてユーザ４ａに提示して選択させるようなものも可能である。
【0081】
同時に、機械学習の評価は、各機械学習モデルの構築に用いられたパラメータの特定の値とともにサーバ２に送信され、取得される（ステップＳ１１０）。送信された評価は、サーバ２の評価情報更新部２０３において、当該機械学習モデルについての評価情報の更新に用いられる（ステップＳ１１１）。なお、この時サーバ２に送信された評価は、さらに、図３で矢印にて示されているように、テンプレートデータベース２０１に記憶されたテンプレートの更新に用いられてもよい。機械学習の評価とテンプレートとの関係については後述する。
【0082】
図４のフローのステップＳ１０７からステップＳ１１１により行われる処理を、構築される機械学習モデルに即して説明する概念図を図６に示す。図６では、同図に示す（ａ）～（ｅ）の順に機械学習モデルが構築され、最終的に採用されるモデルの決定がなされる様子を概念的に示している。
【0083】
図６の（ａ）及び（ｂ）は、ステップＳ１０７において、クライアント端末３ａの機械学習エンジン３０３の学習部３０１における、機械学習モデルを構築する際の処理である。まず（ａ）において、テンプレート・評価情報選択部２０４において選択されたテンプレートに対して、パラメータ決定部３０７により決定された１又は複数個のパラメータの特定の値、同図ではｎ個のパラメータ１～パラメータｎを適用する。
【0084】
このテンプレートに対するパラメータ１～ｎの適用を、具体的な情報処理の一例として説明すると次のようになる。テンプレートには、機械学習モデルのデータ形式やデータを操作するメソッドを定義するオブジェクトが定義されており、学習部３０１は、かかるオブジェクトに具体的なパラメータの特定の値を適用して、当該オブジェクトのデータセットであるインスタンスをクライアント端末３のメモリ上に作成する。
【0085】
この結果、クライアント端末３のメモリ上には、（ｂ）のように、ｎ個の機械学習モデルであるモデル１～ｎが作成される。
【0086】
さらに、学習部３０１は、（ｃ）に示すように、作成されたモデル１～ｎに、それぞれ、ユーザ４ａにより用意された特定の教師データを与えて機械学習を行う。機械学習の具体的方法は、使用された機械学習モデルの種別に依存する。情報処理の手法としては、モデル１～ｎの元となったオブジェクトに機械学習のためのメソッドを定義しておき、学習部３０１が機械学習の際にかかるメソッドを実行するように構成しておくと、学習部３０１において、機械学習モデルの種別ごとに機械学習のためのプログラムを記述する必要がなく、新たな機械学習モデルの種別を含むテンプレートを任意に追加・変更できるなど拡張性にも優れる。
【0087】
続いて、ステップＳ１０８において、学習済みのモデル１～ｎには、検証部３０２により、（ｄ）に示すように、ユーザ４ａにより用意された特定の検証データをそれぞれ与えて、その学習結果を評価する。各々の評価は定量的になされ、モデル１～ｎに対応するｎ個の評価１～ｎが得られる。
【0088】
（ｄ）により得られた評価１～ｎはステップＳ１１０においてサーバ２へと送られ、ステップＳ１１１において評価情報の更新に用いられることはすでに述べたとおりである。また一方で、クライアント端末のモデル決定部３１０は、ステップＳ１０９において、評価１～ｎを参照して最も好成績を収めた機械学習モデルであるモデルｐを（ｅ）に示すように決定する。ユーザ４ａは、このようにして決定されたモデルｐを採用モデルとして、機械学習を所望の用途に用いることができる。
【0089】
このように、機械学習モデル決定システム１では、ユーザ４ａは、機械学習を利用しようとする用途その他の条件を指定することにより、好適と考えられる機械学習モデルの候補を自動的に複数生成し、自動的に学習及び評価まで行って、好成績を収めた機械学習モデルを特定し、利用することができるため、機械学習の技術に精通した熟練技術者を必要とすることなく、優れた機械学習モデルを構築して、利用することができる。また、かかる学習及び評価の結果は、評価情報の更新に利用され、機械学習モデルの構築がなされる程に、優れた機械学習モデルが生成される確率が向上するため、機械学習モデル決定システム１の利用が進むほどに、より短時間、より低負荷で好成績を収める機械学習モデルが得られるようになっていく。
【0090】
続いて、パラメータ決定部３０７におけるパラメータの特定の値の決定の具体的な実装例を図７～図１１を参照して説明する。図７の（ａ）は、テンプレート・評価情報選択部２０４により選択されたテンプレートに関連付けられた評価情報に含まれる選択確率情報の観念図である。
【0091】
この例における選択確率情報は、確率密度関数である。すなわち、図７の（ａ）における横軸のｘは、決定しようとするパラメータであり、縦軸のＰ（ｘ）は、そのパラメータの値についての確率密度関数の値である。有意なパラメータの範囲として、区間［ａ，ｂ］が与えられているため、Ｐ（ｘ）は同区間内で定義されている。なお、説明の都合上、図７ではパラメータｘは１次元表示をしているが、決定すべきパラメータは複数であってよいため、パラメータｘはベクトル量であってよく、同図の横軸は任意の次元のパラメータ空間を示し、区間［ａ，ｂ］は、かかるパラメータ空間中の領域を示している。
【0092】
なお、一般的には、確率密度関数Ｐ（ｘ）はその定義域［ａ，ｂ］において、その積分値が次式の通り１となる（このことを、確率密度関数Ｐ（ｘ）が正規化されていると称する）。
【0093】
【数2】
【0094】
しかしながら、この後述べるように、本実施形態における評価情報に含まれる確率密度関数Ｐ（ｘ）は必ずしも正規化された形式で記憶されている必要はなく、正規化されていなくともよい。
【0095】
さて、パラメータ決定部３０７は、評価情報に含まれる確率密度関数に従って、区間［ａ，ｂ］に含まれるパラメータの特定の値Ｘを決定する。この決定は確率的になされるため、ｎ個のパラメータの特定の値がＸ１、Ｘ２、Ｘ３、・・・Ｘｎのように決定されると、それぞれのパラメータの特定の値は偶然の一致が起こらない限りは互いに異なるものとなり、その分布は確率密度関数Ｐ（ｘ）に従う。このように、パラメータ決定部３０７は、評価情報に基づいてパラメータの特定の値を確率的に決定し、そのため、評価情報には、パラメータの特定の値が選択される確率を示す選択確率情報が含まれる。ここで示した確率密度関数は、選択確率情報の一例である。
【0096】
選択確率情報から具体的なパラメータの特定の値を定める手法は任意のものであってよいが、その一例として、累積分布関数を用いる手法を説明する。図７（ｂ）は、同図（ａ）に示した確率密度関数Ｐ（ｘ）の累積分布関数Ｆ（ｘ）を示す図である。累積分布関数Ｆ（ｘ）もまた区間［ａ，ｂ］で定義され、
【0097】
【数3】
【0098】
【数4】
【0099】
ここで、０～Ｓの間で乱数ｐを発生させ、Ｆ（ｘ）と交わるｘの値としてパラメータの特定の値Ｘを定めると、Ｘは確率密度関数Ｐ（ｘ）により定義される確率分布に従う。
【0100】
このようにしてパラメータの特定の値Ｘを決定すると、確率密度関数Ｐ（Ｘ）の値が大きくなる値Ｘが選択されやすく、確率密度関数Ｐ（Ｘ）の値が小さくなる値Ｘは選択されにくくなる。そこで、確率密度関数Ｐ（ｘ）を、機械学習の結果として高評価が得られる蓋然性の高いパラメータの特定の値が選択されやすく、機械学習の結果として高評価が得られない蓋然性の高いパラメータの特定の値は選択されにくくなるように定めることにより、より短時間、より低負荷で好成績を収める機械学習モデルが得られることになる。
【0101】
しかしながら、理想的な確率密度関数Ｐ（ｘ）の形を予め与えることは困難である。そこで、本実施形態に係る機械学習モデル決定システム１では、ユーザ４による機械学習の学習結果の評価を利用して、確率密度関数Ｐ（ｘ）を逐次更新することにより、確率密度関数Ｐ（ｘ）を理想的な形状に近づけるようにしていく。すなわち、ユーザ４による機械学習の学習結果が多く得られれば得られるほど、確率密度関数Ｐ（ｘ）は、より機械学習の結果として高評価が得られる蓋然性の高いパラメータの特定の値が選択されやすい形状へと更新されていく。
【0102】
図８は、確率密度関数Ｐ（ｘ）の更新の例を示す概念図である。同図中（ａ）には、更新がなされる前の確率密度関数Ｐ（ｘ）を実線で示している。ここで、かかる確率密度関数Ｐ（ｘ）を用いて決定されたパラメータの特定の値ｃによる学習結果が高評価を得たとする。図８（ａ）には、わかりやすく示すため、パラメータの特定の値ｃが高評価を得たことを黒塗りの縦棒で示している。ただし、確率密度関数Ｐ（ｘ）とパラメータの特定の値ｃの縦軸の値は必ずしも同スケールではない。
【0103】
評価情報更新部２０３は、パラメータの特定の値ｃにより得られた評価に基づいて、図８の（ｂ）に破線で示されているように、確率密度関数Ｐ（ｘ）の更新曲線を生成する。ここでは、更新曲線は、ｃを中心とする正規分布としている。この時、分散σ２の値はパラメータの区間［ａ，ｂ］の大きさに応じて適宜定めるとよい。また、更新曲線の重み、すなわち、縦軸方向の大きさは、パラメータの特定の値ｃにより得られた評価に応じた適宜の係数ｋを乗じることにより調整するとよい。すなわち、機械学習の結果の評価が高ければ高いほど、より確率密度関数Ｐ（ｘ）は大きく変化するようにするとよい。
【0104】
例えば、機械学習の評価が、特定の検証データに対する正解率ａであり、正解率７０％以上の機械学習モデルを肯定的に評価するとした場合、更新曲線は次式のように表すことができる。
【0105】
【数5】
【0106】
そして、図８の（ｃ）に示すように、更新前の確率密度関数Ｐ（ｘ）と更新曲線を区間［ａ，ｂ］内で加算して、太線で示した新たな更新後の確率密度関数Ｐ（ｘ）を得る。なお、同図（ｃ）では、更新後の確率密度関数Ｐ（ｘ）を正規化しているため、高評価が得られたパラメータの特定の値ｃの近辺では確率密度関数Ｐ（ｘ）の値が増加し、ｃから離れた部分では確率密度関数Ｐ（ｘ）の値が減少することになる。
【0107】
上で例示した更新曲線の例では、正解率ａがちょうど７０％の場合には確率密度関数Ｐ（ｘ）の更新は行われず、正解率ａが７０％を上回る場合に、そのパラメータの特定の値ｃと、その近傍の値についての確率密度関数Ｐ（ｘ）の値を増加させる方向に変更する一方、正解率ａが７０％を下回る場合には、そのパラメータの特定の値ｃと、その近傍の値についての確率密度関数Ｐ（ｘ）の値を減少させる方向に変更することになる（更新曲線が下に凸の形状となるため）。すなわち、パラメータの特定の値ｃについての機械学習の結果に基づいて、かかる特定の値ｃ及びその近傍の値についての選択確率情報に含まれる確率密度関数Ｐ（ｘ）の値を同方向に変更している。
【0108】
これは、パラメータが連続的な性質を持つ場合、パラメータのある特定の値ｃにおける機械学習への影響と、かかる特定の値ｃの近傍の値における機械学習への影響は類似する性質を持つと予想されることから、特定の値ｃにおいて好成績が得られたならば、その近傍の値においても好成績が得られ、その逆に、特定の値ｃにおいて低成績が得られたならば、その近傍の値においても低成績が得られると予想されるためである。
【0109】
したがって、更新曲線は、上の説明では正規分布を用いたが、必ずしも正規分布を用いる必要はなく、更新後の確率密度関数Ｐ（ｘ）に対して、パラメータの特定の値ｃとその近傍の値について同方向の影響を与えうる曲線であれば、どのような曲線を選ぶかは任意である。また、ここでいう「曲線」は一般的な意味での用法であり、直線により構成される「曲線」を含む。そのような「曲線」は、例えば、三角波形状の曲線であったり、階段形状の曲線であったりしてよい。
【0110】
なお、ここで、パラメータが連続的な性質を持つとは、同種のパラメータの異なる値が、定量的な差異を示すことであり、当該パラメータ自体が連続したものとして取り扱われることを要さない。実際問題として、パラメータの値はコンピュータにおけるデジタル処理の際には、離散値の集合として取り扱われるが、かかる取り扱い自体は当該パラメータの連続的な性質そのものには影響を及ぼさない。
【0111】
一方で、パラメータによっては、そのパラメータが連続的な性質を持たず、離散的な性質を有する場合が考えられる。ここで、パラメータが離散的な性質を持つとは、同種のパラメータの異なる値が、定性的な差異を示すことといえ、かかるパラメータにおいては、異なるパラメータの値の間に直接的な関連がみられない。離散的なパラメータの例としては、例えば、機械学習における計算処理の種別を特定するものが挙げられる。具体的には、オプティマイザーの種別（モーメンタム、ＡｄａＧｒａｄ、ＡｄａＤｅｌｔａ、Ａｄａｍといった手法の別）や、学習手法（バッチ学習、ミニバッチ学習、オンライン学習といった手法の別）が代表的なものである。
【0112】
このような離散的な性質を持つパラメータについては、パラメータの特定の値ｃと、値ｃに隣接する別の値との間に相関はないと考えられる（例えば、パラメータが先のオプティマイザーの種別を特定するものであった場合、パラメータの特定の値ｃにモーメンタムが割り当てられた時、値ｃに隣接する別の値にどのオプティマイザーが割り当てられるかは任意に定められるものであり、両者の間に相関がないことは明らかである）。このようなパラメータに対しては、先に述べたように、パラメータの特定の値ｃについて得られた機械学習の評価に基づいて、値ｃの近傍のパラメータの値についての評価情報を同方向に変更することには根拠がなく、妥当とは言えない。
【0113】
図９は、離散的な性質を持つパラメータについて、評価情報の更新の例を示す概念図である。ここでは、パラメータはその値ｘとして、ａ～ｅの５つの値のいずれかを取るものとする。縦軸は、値ｘについての選択確率Ｐ’（ｘ）を示しており、連続関数ではない。
【0114】
図９（ａ）は、パラメータの値ａ～ｅについての選択確率を白抜きの縦棒グラフにて示したものであり、Ｐ’（ｘ）が正規化されていれば、Ｐ’（ａ）～Ｐ’（ｅ）全ての和は１となる。ここで、パラメータの特定の値ｄにおいて機械学習がなされ、高評価を得たとし、同図（ａ）に先ほどの例と同様に黒塗りの縦棒で示すこととする。
【0115】
この場合には、評価情報更新部２０３は、図９の（ｂ）に示すように、パラメータの値ｄについての選択確率Ｐ’（ｄ）をその機械学習の結果の評価に応じて増加させ、その他のパラメータの値ａ、ｂ、ｃ及びｅについては平等に選択確率を減少させる。同図の（ｂ）では、選択確率Ｐ’（ｘ）の変化分を破線により表示し、その変化の方向を矢印で示している。このような更新の一例としては、Ｐ’（ｘ）の変化量をΔＰ’（ｘ）、パラメータの総数をｎ、機械学習に用いられたパラメータをｘｓｐｅｃｉｆｉｃ、それ以外のパラメータをｘｏｔｈｅｒとし、機械学習の結果得られた正解率ａ及び任意の係数ｌを用いて、次のようにしてよい。
【0116】
【数6】
【0117】
上の方法においては、特定のパラメータｘの値についての選択確率Ｐ’（ｘ）が１を超え、又は０を下回る場合に適宜の補正を施せばよく、また、Ｐ’（ｘ）の値に上限値、下限値を設けてもよい。あるいは、ΔＰ’（ｘ）の加算によりＰ’（ｘ）を更新する手法に替えて、学習結果の評価に応じた割合によりＰ’（ｘ）を変化させたり、その他の手法を用いたりしてもよい。
【0118】
なお、評価情報更新部２０３による評価情報の更新は、本実施形態では、学習結果の評価の如何にかかわらず実施するものとしたため、肯定的な評価のみならず、否定的な評価が得られた場合にも更新がなされるが、これに替え、特定の評価が得られた場合にのみ評価情報を更新するものとしてもよい。例えば、学習結果の評価として、好成績が得られた場合（一例として、正解率が８０％以上）のみ評価情報を更新するものとしてもよい。いずれにせよ、得られた機械学習結果のそれぞれ、又は複数に基づいて評価情報を更新することにより、評価情報は速やかに更新されていくことになる。
【0119】
なお、すでに述べたとおり、評価情報に含まれる確率密度関数Ｐ（ｘ）や、選択確率Ｐ’（ｘ）の形状は、繰り返し機械学習の結果の評価が得られることにより定まっていく。そのため、機械学習モデル決定システム１の運用を開始する初期の時点では、確率密度関数Ｐ（ｘ）や、選択確率Ｐ’（ｘ）の形状は不明であって、任意の形状の初期形状を与えて差し支えない。そのような初期形状の一例としては、パラメータの全区間にわたり等確率となる形状が挙げられる。
【0120】
以上の説明は、テンプレート・評価情報選択部２０４によりテンプレートが一のみ選択され、したがって、評価情報もまた一つのみ選択される場合についてした。しかしながら、機械学習モデル決定システム１によっては、複数のテンプレートと、当該テンプレートについての複数の評価情報が選択されてもよい。複数のテンプレートの選択を認めることにより、機械学習の結果が高評価となる機械学習モデルをより広い範囲から探索することができる。以下は、テンプレート・評価情報選択部２０４により複数のテンプレート及び複数の評価情報が選択された場合の機械学習モデルの構築に用いられるテンプレート及びパラメータの特定の値の決定方法の説明である。
【0121】
テンプレート・評価情報選択部２０４は、条件入力部３０６より得られたユーザ指定の条件に基づいて、１又は複数のテンプレートを選択する。この際に、複数のテンプレートとして、テンプレート１、テンプレート２、・・・テンプレートｎのｎ個のテンプレートが選択された場合に、機械学習エンジン３０３の学習部３０１において、一の機械学習モデルの構築するためには、構築に用いられるテンプレート及びパラメータの特定の値を決定しなければならない。この決定方法には種々の方法が考えられるため、それら方法の例を説明する。
【0122】
最初に説明する方法は、複数のテンプレートのうち、一のテンプレートを選択し、その後、かかるテンプレートに関する評価情報を用いてパラメータの特定の値を決定する方法である。本方法を採用する場合には、個々のテンプレート毎に、テンプレート自体の評価を示すスコアが付されていることが望ましい。
【0123】
テンプレートのスコアは、当該テンプレートを使用して構築された機械学習モデルによる機械学習の結果の評価に基づいて定められる。具体的な例としては、かかるテンプレートによる機械学習の結果の評価のうち、最も高評価のものをスコアとして採用してよい。評価が正解率であるならば、正解率の最大値をスコアとして採用する。
【0124】
なお、スコアとしては別のものを採用してもよい。例えば、直近の所定個数の学習結果の評価の平均値であったり、上位所定個数の評価の平均値をスコアとして採用したりしてもよい。いずれにせよ、スコアは、過去の実績に基づいて、当該テンプレートを使用して機械学習モデルを構築して機械学習を行った際に、高評価が得られる蓋然性が高いほど良いスコアが付されるような基準に基づいて定められる指標である。
【0125】
かかるスコアは、各テンプレートに紐づけられ、テンプレートデータベース２０１に記憶される。一例として、スコアは、
テンプレート１：６５
テンプレート２：８０
…
テンプレートｎ：７５
のように定められる。
テンプレート１：６５
テンプレート２：８０
…
テンプレートｎ：７５
のように定められる。
【0126】
使用するテンプレートを決定する手法は、
（１）最も高い（高評価の）スコアを付されたテンプレートを選択する
（２）スコアに基づいて確率的にテンプレートを選択する
といったものが考えられ、いずれを採用してもよい。（２）の手法の場合、あるテンプレートが選択される確率を、
（１）最も高い（高評価の）スコアを付されたテンプレートを選択する
（２）スコアに基づいて確率的にテンプレートを選択する
といったものが考えられ、いずれを採用してもよい。（２）の手法の場合、あるテンプレートが選択される確率を、
【0127】
【数7】
【0128】
また、スコアは、機械学習の結果が得られる毎に、かかる結果を反映して最新のものに更新されることが望ましい。そのため、図３に示すように、機械学習エンジン３０３の評価部３０２により得られた機械学習の結果の評価は、テンプレートデータベース２０１に送信され、機械学習モデルの構築に用いられたテンプレートのスコアの更新に使用される。
【0129】
次に説明する方法は、複数のテンプレートのうち各々のテンプレートを使用する割合を割り振る方法である。前述したとおり、通常は、パラメータ決定部３０７では、多数の機械学習モデルを構築するため複数のパラメータの特定の値を決定する。決定されるパラメータの特定の値の数は、ユーザ４が用意する計算リソースに応じて定められ、例えば、１００、１０００という数が選択される。
【0130】
この数のうち、あるテンプレートを用いて構築される機械学習モデルの数を選択されたテンプレートのスコアに応じて分配する。この分配の方法をスコアに比例するものとした場合、先のスコアの例に準じると、各テンプレートを用いて構築される機械学習モデルの数の比は、テンプレート１：テンプレート２：…：テンプレートｎ＝６５：８０：…：ｎとなるように分配される。
【0131】
そして、あるテンプレートを用いて機械学習モデルを構築する際には、かかるテンプレートに対応する選択基準を用いてパラメータの特定の値を決定するから、各テンプレートのスコアに応じた比率の回数だけ、それぞれのテンプレートに対応する選択基準を用いてパラメータの特定の値を決定することになる。
【0132】
なお、各テンプレートにスコアを付していない場合には、選択されたテンプレート毎に均等にパラメータの特定の値を決定する回数を割り振ればよい。
【0133】
最後に説明する方法は、選択された複数のテンプレートに対応する複数の選択基準について、パラメータの特定の値及び使用すべきテンプレートを直接決定する方法である。この方法では、先に説明した選択基準に含まれる確率密度関数Ｐ（ｘ）を複数使用して、確率的にパラメータの特定の値を決定し、それに伴い、使用するテンプレートが決定される。
【0134】
説明のため、ここでは、テンプレート１及びテンプレート２が選択されたものとする。図１０は、本方法によるパラメータの特定の値の決定方法を説明する図である。図１０の（ａ）は、テンプレート１についての評価情報における、累積分布関数Ｆ（ｘ）の例を示しており、図１０の（ｂ）は、テンプレート２についての評価情報における、累積分布関数Ｆ’（ｘ）をの例を示している。累積分布関数Ｆ（ｘ）は区間［ａ，ｂ］について定義されており、累積分布関数Ｆ（ｘ）は区間［ａ’，ｂ’］について定義されている。区間［ａ，ｂ］と区間［ａ’，ｂ’］は、一致していてもよいが、必ずしも一致しなくともよい。また、その終端値Ｆ（ｂ）をＳ、Ｆ（ｂ’）をＳ’とする。Ｓ及びＳ’は必ずしも一致する必要はないが、累積分布関数Ｆ（ｘ）及びＦ’（ｘ）の元となった確率密度関数Ｐ（ｘ）及びＰ’（ｘ）が正規化されているならば、Ｓ＝Ｓ’＝１となる。
【0135】
この２つの累積分布関数Ｆ（ｘ）及びＦ’（ｘ）を、パラメータｘについて、図１０の（ｃ）に示すように連続するように接続し、接続累積分布関数Ｆ’’（ｘ）を得る。ここで、接続累積分布関数Ｆ’’（ｘ）は、累積分布関数Ｆ（ｘ）及びＦ’（ｘ）の区間［ａ，ｂ］及び［ａ’，ｂ’］を接続した区間［ａ，ｂ’］において定義される単調増加関数であり、終端値Ｆ’’（ｂ’）をＳ’’とする。
【0136】
このとき、Ｓ’’は単純にＳ＋Ｓ’としてもよいが、選択された各テンプレートにスコアが付されている場合、接続累積分布関数Ｆ’’（ｘ）における、元となった累積分布関数Ｆ（ｘ）及びＦ’（ｘ）に対応する値域の幅を、スコアに応じたものとすることが好ましい。例えば、図１０（ｃ）に示した、接続累積分布関数Ｆ’’（ｘ）における、累積分布関数Ｆ（ｘ）に対応する値域の幅（ｉ）と、接続累積分布関数Ｆ’’（ｘ）における、累積分布関数Ｆ’（ｘ）に対応する値域の幅（ｉｉ）の比を、それぞれの対応するテンプレートのスコアの比に等しいものとすればよい。
【0137】
具体的に、テンプレート１のスコアが８０であり、テンプレート２のスコアが６０であれば、（ｉ）：（ｉｉ）＝８０：６０となるように値域を調節して、累積分布関数Ｆ（ｘ）及びＦ’（ｘ）を接続して接続累積分布関数Ｆ’’（ｘ）を得る。そして、パラメータ決定部３０７において、０からＳ’’を範囲とする乱数を発生させて、接続累積分布関数Ｆ’’（ｘ）との交点を求めてパラメータの特定の値を決定し、同時に、かかるパラメータの特定の値が属する元の累積分布関数Ｆ（ｘ）又はＦ’（ｘ）に応じて、使用するテンプレートを選択すればよい。
【0138】
この方法によれば、複数のテンプレートを通じて、確率的にパラメータの特定の値が決定され、また、各テンプレートと、当該テンプレートに属するパラメータの特定の値が決定される確率が、それぞれのテンプレートに付されたスコアに応じたものとなる。なお、テンプレートにスコアを付していない場合には、接続累積分布関数Ｆ’’（ｘ）を構成するそれぞれの累積分布関数Ｆ（ｘ）に対応する値域の幅を等しいものとすればよい。
【0139】
以上説明した種々の手法により、機械学習モデル決定システム１はテンプレートデータベース２０１に記憶されたテンプレートを選択し、選択されたテンプレートに関連付けられた評価情報に基づいて評価情報に基づいてパラメータの特定の値を決定し、機械学習モデルを構築して、その学習結果を評価できる。そして、かかる学習結果の評価に基づき、評価情報は繰り返し更新され、そのパラメータの値の決定の正確性は持続的に向上していくものと見込まれる。
【0140】
ところで、先に述べたとおり、多くの場合において、パラメータの値から直接学習結果の評価を予測することは難しい。このことは、機械学習モデル決定システム１によって繰り返し機械学習モデルが構築される際に多数使用されたパラメータの特定の値とその近傍の値については、ある程度、機械学習の結果の評価の合理的な予測がつくが、そうでない値、すなわち、パラメータの特定の値として使用されていないか、使用された頻度が少ない値とその近傍の値については、機械学習の結果の評価が予測できないことを意味する場合が多いと考えられる。
【0141】
そして、上述の通り、機械学習モデル決定システム１は、すでに得られた機械学習の結果に基づいて、高評価が得られたパラメータの特定の値とその近傍の値が決定されやすくなるように評価情報を更新するものであるから、使用されていないか、使用された頻度が少ないパラメータの特定の値とその近傍の値は、機械学習モデルを構築するものとして決定される確率が低下していく。この結果、一定程度以上の高評価が得られるパラメータの特定の値がいったん判明すると、その値と異なるパラメータの値が選択されにくくなると予測される。
【0142】
しかしながら、パラメータの値と機械学習の結果の評価との関係の予測がむつかしい以上、使用されていないか、使用された頻度が少ないパラメータの特定の値とその近傍の値において、機械学習の結果として高評価が得られる可能性は残存する。そのため、機械学習モデル決定システム１は、このようなパラメータの値の領域についても機械学習モデルを作成し、その結果を評価することができる構成を有していることが望ましい。
【0143】
そのため、図３に示すように、本実施形態に係る機械学習モデル決定システム１は、割合設定部３０９が設けられている。割合設定部３０９は、所定の割合を定めるものであり、パラメータ決定部３０７は、自身が複数決定するパラメータの特定の値の内、かかる所定の割合の分を、機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択することになる。
【0144】
パラメータ決定部３０７が、機械学習に使用されていないか、または使用された頻度が相対的に低いパラメータの特定の値を決定する方法は種々のものが考えられるが、図１１に例示する方法であってよい。図１１の（ａ）は、そのような方法の一の例を説明する図である。この方法では、テンプレート・評価情報選択部２０４により選択されたテンプレートに関連付けられた評価情報に含まれる確率密度関数Ｐ（ｘ）をそのまま使用するのではなく、反転させる。
【0145】
図１１の（ａ）において、点線で示しているのが評価情報に含まれる元の確率密度関数Ｐ（ｘ）である。これを、破線で示した確率密度の任意の値を中心として反転させると、実線で示した新たな確率密度関数が得られる。これを元の確率密度関数Ｐ（ｘ）に替えて用いると、元の確率密度関数Ｐ（ｘ）において選択される確率が低いパラメータの値が選択されやすくなり、元の確率密度関数Ｐ（ｘ）において選択される確率が高いパラメータの値は選択されにくくなる。そして、元の確率密度関数Ｐ（ｘ）において選択される確率が低いパラメータの値は、パラメータの特定の値として使用されていないか、その頻度が少ない値とその近傍の値であると考えられるため、かかる新たな確率密度関数を用いてパラメータの特定の値を決定することにより、パラメータの特定の値として、機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択することができる。
【0146】
なお、図１１の（ａ）において、破線で示した確率密度の任意の値は、固定値として設定してもよいし、元の確率密度関数Ｐ（ｘ）の平均値や、最大値に所定の係数（例えば０．５）を乗じた値としてもよい。
【0147】
あるいは、図１１の（ｂ）に示す方法であってもよい。この方法では、図１１の（ｂ）に示した、破線で示した確率密度の任意の値より元の確率密度関数Ｐ（ｘ）の値が下回るパラメータｘの区間に、均等に選択確率を割り振る方法である。（ｂ）には、割り振られた後の選択確率を実線で示している。このような方法によっても、（ａ）にて説明した場合と同様の理由により、パラメータの特定の値として、機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択することができる。また、破線で示した確率密度の任意の値は、固定値として設定してもよいし、元の確率密度関数Ｐ（ｘ）の平均値や、最大値に所定の係数（例えば０．３）を乗じた値としてもよい点についても同様である。
【0148】
割合設定部３０９は、パラメータの特定の値を決定する中で、上説明した、機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択する方法を使用する割合を設定することになる。ここで、機械学習に使用されていないか、または使用された頻度が相対的に低いパラメータの値は、その学習の結果が高評価となる可能性もあるものの、多くの場合はそうでないと考えられる。一方で、すでに機械学習に使用され、高評価が得られたパラメータの値その近傍の値は、過去の例と同様に高評価が得られる蓋然性が高いと考えられる。そのため、通常は、パラメータの特定の値として、大部分は通常の方法、すなわち、機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択する方法を使用しない方法により決定し、一部分を機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択する方法とするのが通常であると考えられる。
【0149】
この割合は、機械学習の結果として高評価が得られる可能性が必ずしも高くない、機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択する方法にどれだけの計算リソースを割けるかにより定められる。一つの方法として、この割合をユーザ４が自ら人為的に定めるようにしてよい。その場合、ユーザ４は、割合設定部３０９が有する適宜のＧＵＩを用いて、この割合を例えば、５％のように指定する。
【0150】
別の方法として、この割合は、パラメータ決定部３０７が決定するパラメータの特定の値の数に応じて設定してもよい。この割合は、決定されるパラメータの特定の値の数が多いほど大きい値となるようにすることが望ましい。具体的な例としては、例えば、決定されるパラメータの特定の値の数が１００ならば５％、１０００ならば１０％、１００００ならば２０％といった具合である。
【0151】
この理由は、通常の方法によってパラメータの特定の値を決定する場合においても、機械学習に使用されるパラメータの特定の値の数がある程度なければ、十分に高評価が得られる機械学習モデルが得られる確率が低くなると考えられるため、決定するパラメータの特定の値の数が小さい場合には、通常の方法により決定されるパラメータの特定の値を十分確保する必要があるためである。一方で、決定するパラメータの特定の値の数が大きい場合には、通常の方法により十分に高評価が得られる機械学習モデルが得られる確率は高いと考えられるため、パラメータの特定の値として、機械学習に使用されていないか、または使用された頻度が相対的に低い値を優先的に選択する余裕が存在するため、かかる方法により決定されるパラメータの特定の値の数を増やすことができるからである。
【0152】
また、割合設定部３０９は、上に述べた２通りの方法をユーザ４が選択できるようにしてもよい。すなわち、ユーザ４は、上述の割合を人為的に設定するか、決定するパラメータの特定の値の数に応じて設定するかを任意に選択できてよい。
【0153】
以上説明した構成により、機械学習モデル決定システム１は、複数のユーザ４がクライアント端末３を用いて、それぞれの用途に用いるべく、機械学習モデルを構築すればするほど、好成績が得られる機械学習モデルをより効率的かつ高精度に決定することができるようになっていくことになる。
【0154】
しかしながら、このことは逆の見方をすると、ユーザ４が機械学習モデルの構築とその検証を行っていない場合には、サーバ２の評価情報データベース２０２に記憶された評価情報の更新は行われず、従って、機械学習モデル決定システム１による機械学習モデルの構築の効率及び精度に変化はないこととなる。その場合には、クライアント端末３とサーバ４間の通信もなされず、サーバ２は、少なくとも機械学習モデル決定システム１に関して言えば、特に実行すべき情報処理は存在しないことになる。
【0155】
そのため、サーバ２は、自身が行うべき処理の負荷が小さいとき、すなわち、演算リソースが余っている場合に、かかる演算リソースを活用して、ユーザ２及びクライアント端末３を介することなく、サーバ２単独で評価情報を更新する構成を有していてよい。
【0156】
図１２は、単独で評価情報を更新する構成を有するサーバ２の概略の構成を示す機能ブロック図である。ここで、テンプレートデータベース２０１、評価記述データベース２０２、及び評価基準更新部２０３は、図３に示した機械学習モデル決定システム１において、サーバ２を構成するものとして示したものと同一のものであり、すでに説明したとおりである。
【0157】
サーバ２はさらに、リソース検出部２０５を有している。このリソース検出部２０５は、サーバ２の余剰演算リソースを検出するものであり、サーバ２の負荷があらかじめ設定した閾値を下回っており、サーバ２単独で評価情報を更新するに足る演算処理の余裕があることを検出する。
【0158】
リソース検出部２０５が、サーバ２に十分な演算リソースがあることを検出すると、サーバ側テンプレート・評価情報決定部２０６が、テンプレートデータベース２０１に記憶されたテンプレートのいずれかを決定すると同時に、決定されたテンプレートに対応する評価情報を決定する。この決定において選択されるテンプレートは、後述する共通教師データ及び共通検証データが用意されているテンプレートである。該当するテンプレートが複数存在する場合には、確率的に、又は順番にテンプレートを選択してよい。
【0159】
サーバ側パラメータ決定部２１２は、選択された評価基準に基づいて、パラメータの特定の値を決定する。このサーバ側パラメータ決定部２１２は、先に説明した、クライアント端末３のパラメータ決定部３０７と同等の機能をもち、同一の動作を行う。
【0160】
選択されたテンプレート及び決定されたパラメータの特定の値に基づいて、サーバ側機械学習エンジン２０７の学習部２０８において機械学習モデルが構築される。そして、サーバ２の共通教師データ記憶部２１０に、あらかじめ用意され記憶された共通教師データにより、機械学習が行われる。
【0161】
共通教師データは、単独でなく、複数の学習用データを含むものであってよく、選択されたテンプレートを用いて構築された機械学習モデルに適したものが選択される。適した学習データが複数存在する場合には、それらのうちの１セットを任意に選択すればよい。
【0162】
学習がなされた機械学習モデルは、サーバ側機械学習エンジン２０７の評価部２０９において、サーバ２の共通検証データ記憶部２１１に、あらかじめ用意され記憶された共通検証データにより、機械学習の結果の評価が行われる。共通検証データについても、単独でなく、複数の検証用データを含むものであってよく、選択されたテンプレートを用いて構築された機械学習モデルに適したものが選択される。
【0163】
ここで説明したサーバ側機械学習エンジン２０７と学習部２０８、評価部２０９は、先に説明した、クライアント端末３の機械学習エンジン３０３、学習部３０１及び３０２と同等の機能をもち、同一の動作を行うものである。また、共通教師データ及び共通検証データは、サーバ２の管理者により用意されてもよいし、機械学習モデル決定システム１を利用するユーザ４の許可を得て、その特定の用途に適した機械学習モデルを得るために使用した特定の教師データ及び特定の検証データを、共通教師データ及び共通検証データとして用いるようにしてもよい。その際、本実施形態に係る機械学習モデル決定システム１においては、共通教師データ記憶部２１０及び共通検証データ記憶部２１１に記憶された共通教師データ及び共通検証データにはユーザ４はアクセスすることができず、あるユーザ４により提供された共通教師データ及び共通検証データを、他のユーザ４が入手することはできないようになっている。
【0164】
評価部２０９により得られた機械学習の結果の評価は、評価基準更新部２０３において使用され、評価基準データベース２０２に記憶された評価基準の更新に用いられる。
【0165】
以上の説明より明らかなように、図１２に示したサーバ２では、図３において示した構成にてサーバ２とクライアント端末３が互いに通信することにより行っていた、テンプレート及び評価情報の選択、パラメータの特定の値の決定、機械学習モデルの構築と学習、学習結果の評価及び、学習結果の評価に基づく評価情報の更新の一連の処理を、サーバ２単独で実施することができ、かかる一連の処理は、サーバ２の演算リソースに余剰がある場合に、その余剰を活用してなされる。
【0166】
サーバ２をかかる構成とすることで、評価情報の更新のためにより演算性能が高いコンピュータを用意するなどの追加のコストをかけることなく、また、サーバ２の通常の情報処理に影響を及ぼすことなく、余剰の演算リソースを有効利用して評価情報を更新し、機械学習モデルの構築及び選択をより効率的かつ高精度に実施できるようになる。
【0167】
ところで、以上の説明においては、クライアント端末３の機械学習エンジン３０３の評価部３０２及び、サーバ２のサーバ側機械学習エンジン２０７の評価部２０９における評価の例として、検証データ（サーバ側機械学習エンジン２０７の評価部２０９の場合、共通検証データ）に対する正解率をそのまま用いていた。
【0168】
これに対し、評価部３０２及び評価部２０９における機械学習の結果の評価として、構築された機械学習モデルの演算や推論の負荷を考慮した指標を用いるようにしてもよい。
【0169】
機械学習の結果の評価に演算や推論の負荷を考慮する理由は次の通りである。すなわち、ユーザ４が特定の用途に機械学習モデルを用いる際に、十分な演算能力を有するコンピュータを用意できるのであれば、単純に、かかる機械学習モデルにより得られる結果の精度が高いほうが良いと考えられる。この場合、機械学習の結果の評価に演算や推論の負荷を考慮する必要はさほどない。
【0170】
しかしながら、コンピュータの演算能力は、コストや、コンピュータの設置条件などの種々の条件とのトレードオフの関係にあることが多く、ユーザ４の想定する用途によっては、必ずしも十分な演算能力を有するコンピュータが利用できるとは限らない。
【0171】
また、機械学習の結果に影響を及ぼすパラメータの中には、ニューラルネットワークの隠れ層の層数や各層のノード数のように、最終的に得られた機械学習モデルの演算や推論の負荷に影響を与えるものが存在する。その結果、機械学習モデル決定システム１により構築され学習される機械学習モデルの中には、結果の精度が最もよいが演算や推論の負荷の大きな機械学習モデルと、結果の精度はやや劣るが演算や推論の負荷の小さな機械学習モデルの両方が含まれる場合が想定される。
【0172】
このとき、結果の精度が、ユーザ４の想定する用途に照らし、両モデルにおいて実用上の差異をもたらさない場合には、より演算や推論の負荷の小さな機械学習モデルのほうが総合的には優れていると判断される場合が有り得る。このような場合には、機械学習の結果の評価に演算や推論の負荷を考慮した指標を用いることが適切となると考えられる。
【0173】
そのような指標Ｉの例としては、例えば、機械学習の結果の精度に関する指標（例えば検証データに対する正解率）をａ、構築された機械学習モデルの演算や推論の負荷をＬとし、重み係数をｍ，ｎとして、
【0174】
【数8】
【0175】
また、機械学習の結果の評価の方法は、機械学習モデルを利用しようとする用途に応じて異なる可能性がある。そのため、評価部３０２及び評価部２０９における機械学習の結果の評価の指標として、単一のものを用いるのではなく、テンプレート毎に異なった評価の指標を用いるようにしてもよい。
【符号の説明】
【0176】
１ 機械学習モデル決定システム、２ サーバ、３ クライアント端末、４ ユーザ、２０１ テンプレートデータベース、２０２ 評価情報データベース、２０３ 評価情報更新部、２０４ テンプレート・評価情報選択部、２０５ リソース検出部、２０６ サーバ側テンプレート・評価情報決定部、２０７ サーバ側機械学習エンジン、２０８ 学習部、２０９ 評価部、２１０ 共通教師データ記憶部、２１１ 共通検証データ記憶部、２１２ サーバ側パラメータ決定部、３０１ 学習部、３０２ 評価部、３０３ 機械学習エンジン、３０４ 教師データ入力部、３０５ 検証データ入力部、３０６ 条件入力部、３０７ パラメータ決定部、３０８ パラメータ指定部、３０９ 割合設定部、３１０ モデル決定部、５０１ ＣＰＵ、５０２ ＲＡＭ、５０３ 外部記憶装置、５０４ ＧＣ、５０５ 入力デバイス、５０６ Ｉ／Ｏ、５０７ データバス、５０８ 並列演算器。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】