特表 2024-519823 機械学習ハイパーパラメータチューニング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-21

(54)【発明の名称】機械学習ハイパーパラメータチューニング

(51)【国際特許分類】

   G06N 3/0985 20230101AFI20240514BHJP

【ＦＩ】

G06N3/0985

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023571357

(86)(22)【出願日】2022-05-15

(85)【翻訳文提出日】2024-01-12

(86)【国際出願番号】 US2022072332

(87)【国際公開番号】W WO2022246378

(87)【国際公開日】2022-11-24

(31)【優先権主張番号】63/189,496

(32)【優先日】2021-05-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ウー，ジアシュン

(72)【発明者】

【氏名】イェ，ズーチュアン

(72)【発明者】

【氏名】デン，ミンゴー

(72)【発明者】

【氏名】ホルマティ，アミル

(57)【要約】

方法（４００）は、データ処理ハードウェア（１４４）により実行されるときに、データ処理ハードウェア（１４４）に、機械学習モデル（２１０）の１つまたは複数のハイパーパラメータ（２２）の最適化を要求するハイパーパラメータ最適化要求（２０）をユーザデバイス（１０）から受け取ることを含む動作を実行させる。動作は、機械学習モデル（２１０）をトレーニングするためのトレーニングデータ（１５２）を取得することと、ハイパーパラメータのハイパーパラメータパーミュテーション（２３２）のセットを決定することとを含む。ハイパーパラメータパーミュテーションのセット内のそれぞれのハイパーパラメータパーミュテーションの各々に関して、動作は、トレーニングデータおよびそれぞれのハイパーパラメータパーミュテーションを使用してユニーク機械学習モデルをトレーニングすることと、トレーニングされたモデルのパフォーマンス（１８２）を決定することとを含む。動作は、ユーザデバイスのトレーニングされたユニーク機械学習モデルの各々のパフォーマンスに基づいて、トレーニングされたモデルのうちの１つを選択することを含む。動作は、トレーニングされたモデルのうちの選択された１つを使用して１つまたは複数の予測を生成することを含む。

【特許請求の範囲】

【請求項1】

データ処理ハードウェア（１４４）により実行されるときに前記データ処理ハードウェア（１４４）に動作を実行させるコンピュータが実行する方法（４００）であって、前記動作は、
ユーザデバイス（１０）から、機械学習モデル（２１０）の１つまたは複数のハイパーパラメータ（２２）の最適化を要求するハイパーパラメータ最適化要求（２０）を受け取ることと、
前記機械学習モデル（２１０）をトレーニングするためのトレーニングデータ（１５２）を取得することと、
前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）のハイパーパラメータパーミュテーション（２３２）のセットを決定することと、
前記ハイパーパラメータパーミュテーション（２３２）のセット内のそれぞれのハイパーパラメータパーミュテーション（２３２）の各々に関して、
前記トレーニングデータ（１５２）および前記それぞれのハイパーパラメータパーミュテーション（２３２）を使用してユニーク機械学習モデル（２１０）をトレーニングすることと、
トレーニングされた前記ユニーク機械学習モデル（２１０）のパフォーマンス（１８２）を決定することと、
トレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）に基づいて、トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの１つを選択することと、
トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの選択された前記１つを使用して１つまたは複数の予測（１７４）を生成することとを含む、方法（４００）。

【請求項2】

前記ハイパーパラメータパーミュテーション（２３２）のセットを決定することは、前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）のハイパーパラメータ探索空間（２３４）で探索を実行することを含む、請求項１に記載の方法（４００）。

【請求項3】

前記ハイパーパラメータ探索空間（２３４）で前記探索を実行することは、バッチ式ガウス過程バンディット最適化を使用して前記探索を実行することを含む、請求項２に記載の方法（４００）。

【請求項4】

前記ハイパーパラメータパーミュテーション（２３２）のセットを決定することは、前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）と少なくとも１つのハイパーパラメータ（２２）を各々共有する１つまたは複数の先にトレーニングされた機械学習モデル（２１０）に基づく、請求項１～請求項３のいずれかに記載の方法（４００）。

【請求項5】

前記１つまたは複数の先にトレーニングされた前記機械学習モデル（２１０）は、前記ユーザデバイス（１０）のユーザ（１２）と関係づけられる、請求項４に記載の方法（４００）。

【請求項6】

前記ユニーク機械学習モデル（２１０）をトレーニングすることは、並列に２つ以上のユニーク機械学習モデル（２１０）をトレーニングすることを含む、請求項１～請求項５のいずれかに記載の方法（４００）。

【請求項7】

トレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンスを前記ユーザデバイス（１０）に提供することは、どのトレーニングされたユニーク機械学習モデル（２１０）が前記トレーニングデータ（１５２）に基づいて最高のパフォーマンス（１８２）を有するかを示す指示を前記ユーザデバイス（１０）に提供することを含む、請求項１～請求項６のいずれかに記載の方法（４００）。

【請求項8】

前記ハイパーパラメータ最適化要求（２０）は、ＳＱＬクエリを含む、請求項１～請求項７のいずれかに記載の方法（４００）。

【請求項9】

前記ハイパーパラメータ最適化要求（２０）は、バジェット（３２０）を含み、
前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）の前記ハイパーパラメータパーミュテーション（２３２）のセットのサイズは、前記バジェット（３２０）に基づく、請求項１～請求項８のいずれかに記載の方法（４００）。

【請求項10】

前記データ処理ハードウェア（１４４）は、分散型コンピューティングデータベースシステム（１４０）の一部である、請求項１～請求項９のいずれかに記載の方法（４００）。

【請求項11】

トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの前記１つを選択することは、
前記ユーザデバイス（１０）へトレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）を送信することと、
前記ユーザデバイス（１０）から、トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの前記１つを選択するトレーニングされたユニーク機械学習モデル（２１０）選択を受け取ることとを含む、請求項１～請求項１０のいずれかに記載の方法（４００）。

【請求項12】

データ処理ハードウェア（１４４）と、
前記データ処理ハードウェア（１４４）と通信するメモリハードウェア（１４６）とを備え、前記メモリハードウェア（１４６）は、命令を記憶し、前記命令は、前記データ処理ハードウェア（１４４）上で実行されるときに、前記データ処理ハードウェア（１４４）に動作を実行させ、前記動作は、
ユーザデバイス（１０）から、機械学習モデル（２１０）の１つまたは複数のハイパーパラメータ（２２）の最適化を要求するハイパーパラメータ最適化要求（２０）を受け取ることと、
前記機械学習モデル（２１０）をトレーニングするためのトレーニングデータ（１５２）を取得することと、
前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）のハイパーパラメータパーミュテーション（２３２）のセットを決定することと、
前記ハイパーパラメータパーミュテーション（２３２）のセット内のそれぞれのハイパーパラメータパーミュテーション（２２）の各々に関して、
前記トレーニングデータ（１５２）および前記それぞれのハイパーパラメータパーミュテーション（２３２）を使用してユニーク機械学習モデル（２１０）をトレーニングすることと、
トレーニングされた前記ユニーク機械学習モデル（２１０）のパフォーマンス（１８２）を決定することと、
トレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）に基づいて、トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの１つを選択することと、
トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの選択された前記１つを使用して１つまたは複数の予測（１７４）を生成することとを含む、システム（１００）。

【請求項13】

前記ハイパーパラメータパーミュテーション（２３２）のセットを決定することは、前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）のハイパーパラメータ探索空間（２３４）で探索を実行することを含む、請求項１２に記載のシステム（１００）。

【請求項14】

前記ハイパーパラメータ探索空間（２３４）で前記探索を実行することは、バッチ式ガウス過程バンディット最適化を使用して前記探索を実行することを含む、請求項１３に記載のシステム（１００）。

【請求項15】

前記ハイパーパラメータパーミュテーション（２３２）のセットを決定することは、前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）と少なくとも１つのハイパーパラメータ（２２）を各々共有する１つまたは複数の先にトレーニングされた機械学習モデル（２１０）に基づく、請求項１２～請求項１４のいずれかに記載のシステム（１００）。

【請求項16】

前記１つまたは複数の先にトレーニングされた前記機械学習モデル（２１０）は、前記ユーザデバイス（１０）のユーザ（１２）と関係づけられる、請求項１５に記載のシステム（１００）。

【請求項17】

前記ユニーク機械学習モデル（２１０）をトレーニングすることは、並列に前記ユニーク機械学習モデル（２１０）のうちの２つ以上をトレーニングすることを含む、請求項１２～請求項１６のいずれかに記載のシステム（１００）。

【請求項18】

トレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）を前記ユーザデバイス（１０）に提供することは、どのトレーニングされたユニーク機械学習モデル（２１０）が前記トレーニングデータ（１５２）に基づいて最高のパフォーマンス（１８２）を有するかを示す指示を前記ユーザデバイス（１０）に提供することを含む、請求項１２～請求項１７のいずれかに記載のシステム（１００）。

【請求項19】

前記ハイパーパラメータ最適化要求（２０）は、ＳＱＬクエリを含む、請求項１２～請求項１８のいずれかに記載のシステム（１００）。

【請求項20】

前記ハイパーパラメータ最適化要求（２０）は、バジェット（３２０）を含み、
前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）の前記ハイパーパラメータパーミュテーション（２３２）のセットのサイズは、前記バジェット（３２０）に基づく、請求項１２～請求項１９のいずれかに記載のシステム（１００）。

【請求項21】

前記データ処理ハードウェア（１４４）は、分散型コンピューティングデータベースシステム（１４０）の一部である、請求項１２～請求項２０のいずれかに記載のシステム（１００）。

【請求項22】

トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの前記１つを選択することは、
前記ユーザデバイス（１０）へトレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）を送信することと、
前記ユーザデバイス（１０）から、トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの前記１つを選択するトレーニングされたユニーク機械学習モデル（２１０）選択を受け取ることとを含む、請求項１２～請求項２１のいずれかに記載のシステム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
この開示は、機械学習ハイパーパラメータチューニングに関する。

【発明の概要】

【発明が解決しようとする課題】

【0002】

背景
機械学習ハイパーパラメータは、機械学習モデルの学習プロセスを制御するために使用される値である。例えば、機械学習ハイパーパラメータは、モデルのトポロジー、モデルのサイズ、およびモデルの学習率を含む。ハイパーパラメータがトレーニングデータにモデルをフィッティングしている間には推論され得ないという理由で、ハイパーパラメータチューニングは、従来は手作業の試行錯誤の試みである。このように、従来の機械学習モデルでは、時間およびリソースのかなりの部分が、最適なハイパーパラメータを探索することまたは決定することを狙って高度で、手作業の、そして骨の折れる検討を実行することを要求されることがある。

【課題を解決するための手段】

【0003】

概要
開示の１つの態様は、データ処理ハードウェアにより実行されるときにデータ処理ハードウェアに動作を実行させる機械学習ハイパーパラメータチューニングを実行するためのコンピュータが実行する方法を提供する。動作は、ユーザデバイスから、機械学習モデルの１つまたは複数のハイパーパラメータの最適化を要求するハイパーパラメータ最適化要求を受け取ることを含む。動作はまた、機械学習モデルをトレーニングするためのトレーニングデータを取得することと、機械学習モデルの１つまたは複数のハイパーパラメータのハイパーパラメータパーミュテーションのセットを決定することとを含む。ハイパーパラメータパーミュテーションのセット内のそれぞれのハイパーパラメータパーミュテーションの各々に関して、動作は、トレーニングデータおよびそれぞれのハイパーパラメータパーミュテーションを使用してユニーク機械学習モデルをトレーニングすることと、トレーニングされたユニーク機械学習モデルのパフォーマンスを決定することとを含む。動作はまた、トレーニングされたユニーク機械学習モデルの各々のパフォーマンスに基づいて、トレーニングされたユニーク機械学習モデルのうちの１つを選択することも含む。動作は、トレーニングされたユニーク機械学習モデルのうちの選択された１つを使用して１つまたは複数の予測を生成することを含む。

【0004】

開示の実装形態は、下記の任意選択の特徴のうちの１つまたは複数を含むことがある。いくつかの実装形態では、動作は、機械学習モデルの１つまたは複数のハイパーパラメータのハイパーパラメータ探索空間で探索を実行することを含むハイパーパラメータパーミュテーションのセットを決定することを含む。これらの実装形態のうちのいくつかでは、動作は、バッチ式ガウス過程バンディット最適化を使用して探索を実行することを含む。任意選択で、動作は、機械学習モデルの１つまたは複数のハイパーパラメータと少なくとも１つのハイパーパラメータを各々共有する１つまたは複数の先にトレーニングされた機械学習モデルに基づいてハイパーパラメータパーミュテーションのセットを決定することを含む。１つまたは複数の先にトレーニングされた機械学習モデルは、ユーザデバイスのユーザと関係づけられることがある。

【0005】

いくつかの例では、ユニーク機械学習モデルをトレーニングすることは、並列に２つ以上のユニーク機械学習モデルをトレーニングすることを含む。任意選択で、トレーニングされたユニーク機械学習モデルの各々のパフォーマンスをユーザデバイスに提供することは、どのトレーニングされたユニーク機械学習モデルがトレーニングデータに基づいて最高のパフォーマンスを有するかを示す指示をユーザデバイスに提供することを含む。ハイパーパラメータ最適化要求は、ＳＱＬクエリを含むことがある。任意選択で、ハイパーパラメータ最適化要求は、バジェットを含み、そして機械学習モデルの１つまたは複数のハイパーパラメータのハイパーパラメータパーミュテーションのサイズは、バジェットに基づく。いくつかの例では、データ処理ハードウェアは、分散型コンピューティングデータベースシステムの一部である。もう１つの実装形態では、トレーニングされたユニーク機械学習モデルのうちの１つを選択することは、ユーザデバイスへトレーニングされたユニーク機械学習モデルの各々のパフォーマンスを送信することと、ユーザデバイスから、トレーニングされたユニーク機械学習モデルの１つを選択するトレーニングされたユニーク機械学習モデル選択を受け取ることとを含む。

【0006】

開示のもう１つの態様は、機械学習ハイパーパラメータチューニングを実行するためのシステムを提供する。システムは、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行されるときに、データ処理ハードウェアに動作を実行させる命令を記憶する。動作は、ユーザデバイスから、機械学習モデルの１つまたは複数のハイパーパラメータの最適化を要求するハイパーパラメータ最適化要求を受け取ることを含む。動作はまた、機械学習モデルをトレーニングするためのトレーニングデータを取得することと、機械学習モデルの１つまたは複数のハイパーパラメータのハイパーパラメータパーミュテーションのセットを決定することとを含む。ハイパーパラメータパーミュテーションのセット内のそれぞれのハイパーパラメータパーミュテーションの各々に関して、動作は、トレーニングデータおよびそれぞれのハイパーパラメータパーミュテーションを使用してユニーク機械学習モデルをトレーニングすることと、トレーニングされたユニーク機械学習モデルのパフォーマンスを決定することとを含む。動作はまた、トレーニングされたユニーク機械学習モデルの各々のパフォーマンスに基づいて、トレーニングされたユニーク機械学習モデルのうちの１つを選択することも含む。動作は、トレーニングされたユニーク機械学習モデルのうちの選択された１つを使用して１つまたは複数の予測を生成することを含む。

【0007】

この態様は、下記の任意選択の特徴のうちの１つまたは複数を含むことがある。いくつかの実装形態では、動作は、機械学習モデルの１つまたは複数のハイパーパラメータのハイパーパラメータ探索空間で探索を実行することを含むハイパーパラメータパーミュテーションのセットを決定することを含む。これらの実装形態のうちのいくつかでは、動作は、バッチ式ガウス過程バンディット最適化を使用して探索を実行することを含む。任意選択で、動作は、機械学習モデルの１つまたは複数のハイパーパラメータと少なくとも１つのハイパーパラメータを各々共有する１つまたは複数の先にトレーニングされた機械学習モデルに基づいてハイパーパラメータパーミュテーションのセットを決定することを含む。１つまたは複数の先にトレーニングされた機械学習モデルは、ユーザデバイスのユーザと関係づけられることがある。

【0008】

いくつかの例では、ユニーク機械学習モデルをトレーニングすることは、並列に２つ以上のユニーク機械学習モデルをトレーニングすることを含む。任意選択で、トレーニングされたユニーク機械学習モデルの各々のパフォーマンスをユーザデバイスに提供することは、どのトレーニングされたユニーク機械学習モデルがトレーニングデータに基づいて最高のパフォーマンスを有するかを示す指示をユーザデバイスに提供することを含む。ハイパーパラメータ最適化要求は、ＳＱＬクエリを含むことがある。任意選択で、ハイパーパラメータ最適化要求は、バジェットを含み、そして機械学習モデルの１つまたは複数のハイパーパラメータのハイパーパラメータパーミュテーションのサイズは、バジェットに基づく。いくつかの例では、データ処理ハードウェアは、分散型コンピューティングデータベースシステムの一部である。もう１つの実装形態では、トレーニングされたユニーク機械学習モデルのうちの１つを選択することは、ユーザデバイスへトレーニングされたユニーク機械学習モデルの各々のパフォーマンスを送信することと、ユーザデバイスから、トレーニングされたユニーク機械学習モデルのうちの１つを選択するトレーニングされたユニーク機械学習モデル選択を受け取ることとを含む。

【0009】

開示の１つまたは複数の実装形態の詳細は、添付の図面および下記の説明に記述される。他の態様、特徴、および利点は、説明および図面から、ならびに特許請求の範囲から明らかであろう。

【図面の簡単な説明】

【0010】

【図1】機械学習ハイパーパラメータチューニングのための例のシステムの模式図である。

【図2】ハイパーパラメータ探索空間を探索するためのハイパーパラメータコントローラの構成要素の模式図である。

【図3A】パーミュテーションコントローラ用の増加しているバジェットを受け取るハイパーパラメータコントローラの模式図である。

【図3B】パーミュテーションコントローラ用の減少しているバジェットを受け取る図３Ａのハイパーパラメータコントローラの模式図である。

【図4】機械学習ハイパーパラメータチューニングを実行する方法の動作の例の配列のフローチャートである。

【図5】本明細書において説明されるシステムおよび方法を実装するために使用されることがある例のコンピューティングデバイスの模式図である。

【発明を実施するための形態】

【0011】

様々な図面では類似の参照符号は、類似の要素を表す。
詳細な説明
機械学習ハイパーパラメータは、機械学習モデルの学習プロセスを制御するために使用される値である。例えば、機械学習ハイパーパラメータは、モデルのトポロジー、モデルのサイズ、およびモデルの学習率を含む。ハイパーパラメータがトレーニングデータにモデルをフィッティングしている間には推論され得ないという理由で、ハイパーパラメータチューニングは、従来方式では手作業の試行錯誤の試みである。このように、従来方式の機械学習モデルでは、時間およびリソースのかなりの部分が、最適なハイパーパラメータの決定および／または探索に要求されることがある。このように、ハイパーパラメータチューニングおよび機械学習モデルのトレーニングを完全にまたは部分的に自動化できる（すなわち、手作業のチューニングを削減するまたは削除できる）コントローラを組み込むことが有利であり、クラウドコンピューティングシステムを活用することによって効率をさらに最適化することができる。

【0012】

本明細書における実装形態は、分散型コンピューティングシステム（例えば、クラウドデータベースシステム）同士の間で自動ハイパーパラメータチューニングを実施するハイパーパラメータコントローラを含む。コントローラは、ユーザがクラウドコンピューティングシステム内でハイパーパラメータチューニングを自動化することを可能にする構造化クエリ言語（ＳＱＬ）に基づくインターフェースを実装することができ、探索アルゴリズムは、機械学習モデルをトレーニングするための最適ハイパーパラメータを自動的に探索することができる。例えば、コントローラは、機械学習モデルのトレーニング中の使用のための自動ハイパーパラメータ探索のための探索空間を含んでもよい。

【0013】

加えて、コントローラは、将来のモデルのトレーニングを実行するために先にトレーニングされたモデルを集めそして適用することができる。これが、システム内の新しいモデルをアップデートしトレーニングするために、先の記憶されている情報を利用することによってシステムの効率を最大にする。最適化されているハイパーパラメータを探索し適用する自動化されているプロセスは、ユーザが手作業で探索することおよび個々のモデルレベルでの比較を行うことから解放されるように、ユーザにとっての効率を最大にする。システムは、トレーニング時間を大いに削減するために１回のイテレーションで（すなわち、並列に）複数のモデルをトレーニングすることが可能である。システムは、各々のトレーニングされたモデルのパフォーマンスをユーザに提供することができ、いくつかの例では、自動的にトレーニングされたモデルの各々から最良のモデルを選択することができる。

【0014】

ここで図１を参照すると、いくつかの実装形態では、例のハイパーパラメータチューニングシステム１００は、ネットワーク１１２を介して１つまたは複数のユーザデバイス１０と通信するリモートシステム１４０を含む。リモートシステム１４０は、単一のコンピュータ、複数のコンピュータまたは、コンピューティングリソース１４４（例えば、データ処理ハードウェア）および／もしくはストレージリソース１４６（例えば、メモリハードウェア）を含むスケーラブル／エラスティックリソース１４２を有している分散型システム（例えば、クラウド環境）であってもよい。データストア１５０（すなわち、リモートストレージデバイス）は、クライアント（例えば、ユーザデバイス１０）またはコンピューティングリソース１４４のうちの１つまたは複数によるストレージリソース１４６のスケーラブルな使用を可能にするために、ストレージリソース１４６上にオーバーレイされてもよい。データストア１５０は、（例えば、クラウドデータベース内に）トレーニングデータ１５２を記憶するように構成される。トレーニングデータ１５２は、ユーザ１２と関係づけられるまたはユーザ１２により制御されることがある。

【0015】

リモートシステム１４０は、例えば、ネットワーク１１２を介してそれぞれのユーザ１２に関係づけられているユーザデバイス１０からハイパーパラメータ最適化要求２０を受け取るように構成される。ユーザデバイス１０は、デスクトップワークステーション、ラップトップワークステーション、またはモバイルデバイス（すなわち、スマートフォン）などのいずれかのコンピューティングデバイスに対応してもよい。ユーザデバイス１０は、コンピューティングリソース１８（例えば、データ処理ハードウェア）および／またはストレージリソース１６（例えば、メモリハードウェア）を含む。ユーザ１２は、構造化クエリ言語（ＳＱＬ）インターフェース１４を使用して要求２０を作成することができる。すなわち、ユーザ１２は、ＳＱＬクエリを使用してハイパーパラメータ最適化要求２０を生成することができる。各々のハイパーパラメータ最適化要求２０は、機械学習モデル２１０の１つまたは複数のハイパーパラメータ２２、２２ａ～ｎを最適化することをリモートシステム１４０に要求する。

【0016】

リモートシステム１４０は、ハイパーパラメータコントローラ１６０が機械学習モデル２１０の１つまたは複数のハイパーパラメータ２２を最適化しそして最適化されているハイパーパラメータ２２を使用してモデル２１０をトレーニングすることをハイパーパラメータコントローラ１６０に要求する要求２０を受け取るハイパーパラメータコントローラ１６０を実行させる。チューニングするためのハイパーパラメータコントローラ１６０用の各々のハイパーパラメータ２２は、機械学習モデル２１０をトレーニングするために使用されることがある複数の可能な値を有する。これらのハイパーパラメータ２２のある種の可能な値は、他の可能なハイパーパラメータ値２２よりもさらに最適である（例えば、より早いまたはより効率的なトレーニングプロセスをもたらす）。

【0017】

ハイパーパラメータコントローラ１６０は、要求２０を受け取りそしてハイパーパラメータ２２を取得するパーミュテーションコントローラ２３０を含む。要求は、チューニング用のハイパーパラメータ２２のうちのいくつかまたはすべてを識別できる。加えてまたは代わりに、パーミュテーションコントローラ２３０は、要求２０によっては識別されない１つまたは複数のデフォルトハイパーパラメータ２２を取得する。パーミュテーションコントローラ２３０は、ハイパーパラメータ２２に基づいてハイパーパラメータパーミュテーション２３２、２３２ａ～ｎのセットを生成するまたは決定する。各々のハイパーパラメータパーミュテーション２３２は、ハイパーパラメータ２２のうちの少なくとも１つに関する異なる値を含む。明確にするために単純化されている例を使用すると、パーミュテーションコントローラ２３０が１、２、または３の可能な値を各々有する３つのハイパーパラメータ２２を受け取ると、パーミュテーションコントローラ２３０は、値｛１，１，１｝を有する第１のハイパーパラメータパーミュテーション２３２、値｛１，１，２｝を有する第２のハイパーパラメータパーミュテーション２３２、値｛１，１，３｝を有する第３のハイパーパラメータパーミュテーション２３２、値｛１，２，１｝を有する第４のハイパーパラメータパーミュテーション２３２、等を生成することができる。ハイパーパラメータパーミュテーション２３２のセットは、機械学習モデル２１０のハイパーパラメータ２２に関する可能性のある値の異なる組み合わせのうちのいくつかまたはすべてを含む。

【0018】

パーミュテーションコントローラ２３０は、１つまたは複数のチューニングアルゴリズムを使用してハイパーパラメータパーミュテーション２３２のセットを決定することができる（すなわち、ハイパーパラメータ２２をチューニングすることができる）。チューニングアルゴリズムのうちの１つまたは複数は、デフォルトであってもよいおよび／またはユーザ１２により（例えば、要求２０を介して）選択されてもよい。チューニングアルゴリズムは、機械学習モデル２１０をトレーニングするために使用されるハイパーパラメータ２２、２２ａ～ｎをチューニングするために（すなわち、値を調節するために）使用されることがある。いくつかの実装形態では、パーミュテーションコントローラ２３０は、ハイパーパラメータ２２が有効であるかまたは無効であるかどうかを決定する。パーミュテーションコントローラ２３０が、ハイパーパラメータ２２が無効である（例えば、無効な値、他のハイパーパラメータ２２またはモデル２１０と不適合である、等）ことを決定すると、そのときには、パーミュテーションコントローラ２３０は、無効なハイパーパラメータ２２を含んでいるハイパーパラメータパーミュテーション２３２を破棄することができるまたはそうでなければ使用しないことがある。

【0019】

いくつかの例では、要求２０は、生成すべき複数のハイパーパラメータパーミュテーション２３２（または、下記により詳細に論じるように、トレーニングすべき複数の機械学習モデル２１０）を含む。すなわち、要求は、トレーニングバジェットを含むことができる。パーミュテーションコントローラ２３０は、バジェットに達したときにハイパーパラメータパーミュテーション２３２を生成することを停止することができる。例えば、要求２０は、生成するハイパーパラメータパーミュテーション２３２の最大数が１００であることをユーザ１２が望むことを示す。

【0020】

ハイパーパラメータコントローラ１６０はまた、モデルトレーナ２４０も含む。モデルトレーナ２４０は、機械学習モデル２１０をトレーニングするためのトレーニングデータ１５２を取得する。モデルトレーナ２４０は、例えば、データストア１５０からトレーニングデータ１５２を検索することができる。他の例では、要求２０は、トレーニングデータ１５２を含む。トレーニングデータ１５２は、機械学習モデル２１０が（例えば、テキスト、画像、オーディオ、等）を受け取るようにトレーニングされる任意のタイプのデータを含むことができる。例えば、トレーニングデータ１５２は、データベースからのデータを含み、そして機械学習モデル２１０は、データベースからの値に基づいて将来の値を予測するためにトレーニングされる。モデルトレーナ２４０はまた、ハイパーパラメータパーミュテーション２３２のセット（すなわち、ハイパーパラメータ２２の各々に対して異なる値の異なる組み合わせ）も受け取る。

【0021】

ハイパーパラメータパーミュテーション２３２のセット内のそれぞれのハイパーパラメータパーミュテーション２３２の各々に関して、モデルトレーナ２４０は、トレーニングデータ１５２およびそれぞれのハイパーパラメータパーミュテーション２３２を使用してユニーク機械学習モデル２１０、２１０ａ～ｎをトレーニングすることができる。例えば、５０個の異なるハイパーパラメータパーミュテーション２３２があるときに、モデルトレーナ２４０は、５０個の異なる機械学習モデル２１０（すなわち、５０個の異なるハイパーパラメータパーミュテーション２３２の各々について１個）をトレーニングする。いくつかの例では、要求２０は、トレーニングされるモデル２１０の数をハイパーパラメータパーミュテーション２３２の全数よりも少ない数に限定するまたは制限する。各々の機械学習モデル２１０は、対応するハイパーパラメータパーミュテーション２３２により要求されるハイパーパラメータ２２を使用する同じトレーニングデータ１５２を使用してトレーニングされることがある。すなわち、各々の機械学習モデル２１０は、同じトレーニングデータ１５２であるがハイパーパラメータ２２に関しては異なる値を使用してトレーニングされる。モデルトレーナ２４０は、下記により詳細に説明されるように、並列に（すなわち、同時に）機械学習モデル２１０のうちの２つ以上をトレーニングすることができる。あるいは、モデルトレーナ２４０は、直列にモデル２１０をトレーニングすることができる。

【0022】

ここで図２を参照すると、ハイパーパラメータコントローラ１６０のパーミュテーションコントローラ２３０は、ハイパーパラメータ探索空間２３４から（すなわち、ハイパーパラメータ探索空間２３４を探索することによって）ハイパーパラメータパーミュテーション２３２のセットを決定する。ハイパーパラメータ探索空間２３４は、ハイパーパラメータ２２チューニングに関するすべての可能な解決策のセットを規定する利用可能な領域を表す。例えば、１００個の可能な値を各々有する状態の１０個のハイパーパラメータ２２を用いると、ハイパーパラメータ探索空間２３４は、全部で１００^１０個の可能な解を含む。ハイパーパラメータ２２の数が多くなるにつれて、ハイパーパラメータ探索空間２３４は計り知れないサイズに急速に大きくなることは容易に明らかである。したがって、パーミュテーションコントローラ２３０は、既知の取るに足りない部分を破棄することによっておよび／または既知の効果的な部分に焦点を当てることによってハイパーパラメータ探索空間２３４をインテリジェントにまたは効率的に「削減する」ことを試みることができる。

【0023】

いくつかの実装形態では、パーミュテーションコントローラ２３０は、モデルトレーナ２４０により先にトレーニングされたモデル２１０に少なくとも部分的に基づいてハイパーパラメータパーミュテーション２３２のセットを決定する。模式図２００により示されるように、パーミュテーションコントローラ２３０は、１つまたは複数のモデル２１０を決定し、モデルトレーナ２４０は、（例えば、ユーザ１２のプロファイルもしくは識別情報を介して）ユーザ１２について先にトレーニングされた、および／またはユーザ１２は（例えば、要求２０を介して）先にトレーニングされたモデル２１０のうちの１つもしくは複数を選択するもしくは提供する。これらの実装形態では、先にトレーニングされたモデル２１０は、ユーザデバイス１０のユーザ１２に関係づけられる。他の例では、パーミュテーションコントローラ２３０は、現在のトレーニングデータに類似のトレーニングデータ１５２とともに先にトレーニングされたモデル２１０を選択する。ソースに拘わらず、パーミュテーションコントローラ２３０は、ガイドとして先にトレーニングされたモデル２１０用に選択されたハイパーパラメータ２２を使用してハイパーパラメータパーミュテーション２３２を決定することができる。例えば、パーミュテーションコントローラ２３０は、現在の機械学習モデル２１０および／または要求２０のハイパーパラメータ２２と少なくとも１つのハイパーパラメータ２２を各々共有する１つまたは複数の先にトレーニングされた機械学習モデル２１０に基づいてハイパーパラメータパーミュテーション２３２のセットを決定する。パーミュテーションコントローラ２３０は、先にトレーニングされた機械学習モデル２１０のハイパーパラメータに沿っているハイパーパラメータ２２の値を凍結することまたは制限することによってハイパーパラメータ探索空間２３４を縮小するために先にトレーニングされた機械学習モデル２１０のハイパーパラメータ２２を使用することができる。パーミュテーションコントローラ２３０は、データストア１５０からハイパーパラメータを検索することができる。同様に、一旦、機械学習モデル２１０をトレーニングすることが完了すると、トレーニングされたモデルのうちの１つまたは複数のハイパーパラメータ２２は、データストア１５０のところのハイパーパラメータテーブルまたは他のデータ構造内に記憶されることがある。テーブルは、モデルトレーナ２４０が新しい機械学習モデル２１０をトレーニングするにつれて更新されることがある。

【0024】

いくつかの実装形態では、パーミュテーションコントローラ２３０は、ハイパーパラメータ２２の選択を改善するために転移学習を使用する。これらの実装形態では、パーミュテーションコントローラ２３０は、最適なハイパーパラメータ２２を探索することを改善するために同じハイパーパラメータ２２の少なくともあるサブセットを含み、ユーザ１２に関係づけられている先にトレーニングされた（すなわち、現在の最適化要求２０を受け取る前にトレーニングされた）機械学習モデル２１０からのデータを活用する。転移学習は、ハイパーパラメータ２２の初期バッチがランダムエクスプロレーション（ｒａｎｄｏｍ ｅｘｐｌｏｒａｔｉｏｎ）を介して選択される「コールドスタート」の回避に役立つことがある。上に論じたように、先にトレーニングされた機械学習モデル２１０は、現在の最適化要求２０を提供した同じユーザ１２と関係づけられることがある。他の例では、先にトレーニングされた機械学習モデル２１０は、同じユーザ１２には関係づけられていない。

【0025】

いくつかの実装形態では、パーミュテーションコントローラ２３０は、（例えば、ガウス過程バンディット、共分散行列適応進化戦略、ランダム探索、グリッド探索、等に基づいて）ハイパーパラメータ探索空間２３４内の最適なハイパーパラメータ２２を自動的に見つけるまたは探索するアルゴリズムを使用する。

【0026】

いくつかの例では、ユーザ１２は、要求２０を介してハイパーパラメータ探索空間２３４への制限を提供する。例えば、要求２０は、１つまたは複数のハイパーパラメータ２２の値についての制限または特定のアルゴリズムに対するパーミュテーションコントローラ２３０の限定を含んでもよい。要求２０がそのような限定を提供しないときには、パーミュテーションコントローラ２３０は、ハイパーパラメータ探索空間２３４への１つまたは複数のデフォルト限定を適用することができる。加えてまたは代わりに、パーミュテーションコントローラ２３０は、特定の条件が満足されるときを与えられると適用可能であるだけである条件付きハイパーパラメータ２２をサポートする。

【0027】

いくつかの例では、パーミュテーションコントローラ２３０は、ブラックボックス最適化問題を解くことによって、すなわち、「ブラックボックス」関数目標ｆ：Ｘ－＞Ｒを最適化するＸ^＊を見つけるためにハイパーパラメータチューニングを始める。「ブラックボックス」と言うと、比較的高いコストを有する入力された有限時間が与えられた関数出力を観察できるだけであり、関数のグラジエントおよびヘッシアン、等のような関数ｆの他の情報を利用できない。いくつかの実装形態では、コントローラは、上記のブラックボックス最適化問題を解くためにデフォルトアルゴリズムとしてガウスプロセスバンディットを使用する、とはいえ、他のアルゴリズム（例えば、共分散行列適応評価戦略、ランダム探索、グリッド探索、等）もまたデフォルトであってもよい。要求２０は、特定のアルゴリズムを指定することによっておよび／または外部アルゴリズムを提供することによってデフォルトアルゴリズムを無視してもよい。関数ｆがｘのパラメータ化されているガウス過程として、またはより具体的に、平均ｕ（ｘ）および共分散ｋ（ｘ，ｘ’）を有するｆ（ｘ）～ＧＰ（ｕ（ｘ），ｋ（ｘ，ｘ’））としてモデル化されるときに、コントローラは、ガウス過程回帰フィッティングを使用して解くことができる。

【0028】

いくつかの例では、過去の観測対：（ｘ＿１，ｆ（ｘ＿１）），（ｘ＿２，ｆ（ｘ＿２）），．．．，（ｘ＿ｔ，ｆ（ｘ＿ｔ））が与えられると、パーミュテーションコントローラ２３０は、過去の観測を用いてパラメータ化されているガウス過程モデル（ガウス過程リグレッサ）をフィッティングするおよび／またはアップデートする。パーミュテーションコントローラ２３０は、ベイジアンサンプリング手順を使用してｘ＿ｔ＋１を示唆でき、そしてモデル化されているｆ（ｘ）の平均および分散の両方を最大化するマルチアームドバンディット問題（すなわち、ｘ）に関する探査／利用バランス戦略が、最大確率を有するｘ＿ｔ＋１として選択されるだろう。

【0029】

ここで図３Ａおよび図３Ｂを参照すると、ユーザは、例えば、要求２０を介して提供されているバジェット３２０に基づいてトレーニングされたモデル２１０の総数（および並列にトレーニングされたモデル２１０の数）を設定することができるまたは特定することができるまたは要求することができる。バジェット３２０は、ユーザ１２が実行してしまうように要求する試みの数、リモートシステム１４０を動作させるもしくは利用するコストに関係する金銭的な値、ユーザ１２がトレーニングされてしまうことを選択するモデル２１０の数、および／またはユーザ１２がパラメータを設定してしまうことがある他の態様に対応することがある。例えば、図３Ａに描かれているように、ユーザ１２は、５つのハイパーパラメータパーミュテーション２３２、２３２ａ～ｅを生成しているパーミュテーションコントローラ２３０をもたらすバジェット３２０の増加を設定する。ハイパーパラメータパーミュテーション２３２の数は、この例では、モデルトレーナ２４０がトレーニングするモデル２１０の数に直接対応する。模式図３００ａは、パーミュテーションコントローラ２３０から受け取られている５つのハイパーパラメータパーミュテーション２３２、２３２ａ～ｅと対応する５つのモデル２１０、２１０ａ～ｅをトレーニングしているモデルトレーナ２４０を含む。図３Ａの例を続けると、模式図３００ｂ（図３Ｂ）は、より少ないモデル２１０がトレーニングされるようにバジェット３２０を減少させるユーザ１２を図示する。ここでは、減少しているバジェット３２０は、パーミュテーションコントローラ２３０により生成される２つのハイパーパラメータパーミュテーション２３２ａ、２３２ｂをもたらす。結果として、モデルトレーナ２４０は、２つのモデル２１０ａ、２１０ｂをトレーニングする。バジェット３２０は、５つよりも多くのモデル２１０、２１０ａ～ｎが５つよりも多くのパーミュテーション２３２、２３２ａ～ｎを使用してトレーニングされ得るおよび／または単一のモデル２１０が単一のハイパーパラメータパーミュテーション２３２を使用してトレーニングされ得るように、ユーザ１２の計算パラメータに応じて調節されることがある。これらは、単純化されている例であり、リモートシステムは、数百の、数千の、またはそれどころか数百万の異なるハイパーパラメータパーミュテーション２３２を生成することができる。

【0030】

モデルトレーナ２４０によりトレーニングされたモデル２１０の数は、パーミュテーションコントローラ２３０からのハイパーパラメータパーミュテーション２３２の数に直接関係を持つことがある。バジェット３２０は、パーミュテーションコントローラ２３０により決定されるハイパーパラメータパーミュテーション２３２の数を指図することによってトレーニングされるモデル２１０の数をこのように指図することができる。別なふうに言うと、ユーザ１２は、バジェット３２０のサイズを調節することによって生成されるモデル２１０の数を調節することができる。加えてまたは代わりに、バジェット３２０は、ハイパーパラメータ探索空間２３４を探索するデフォルト量がバジェット３２０に基づいて選択され得るように、ハイパーパラメータ探索空間２３４を探索する大きさ（例えば、持続時間、費やすべきリソースの量、等）を決定するために使用されることがある。例えば、ハイパーパラメータコントローラ１６０は、割り当てられているバジェット３２０内のモデル２１０の優先順位に基づいてハイパーパラメータ２２をチューニングする。

【0031】

図１に戻って参照すると、一旦、モデルトレーナ２４０がモデル２１０をトレーニングすると、パフォーマンスコントローラ１８０は、各々のトレーニングされたモデル２１０のそれぞれのパフォーマンス１８２、１８２ａ～ｎを決定する。例えば、パフォーマンスコントローラ１８０は、トレーニングサンプルのラベルまたはアノテーションを各々のモデル２１０により生成される予測と比較することによって各々のモデル２１０の精度を測定するためにトレーニングデータ１５２のうちのいくつかまたはすべてを使用する。パフォーマンスコントローラ１８０は、ユーザデバイス１０へ決定されているパフォーマンス１８２を提供する。ハイパーパラメータコントローラ１６０は、パフォーマンス１８２とともにモデル２１０の他の属性（例えば、モデル２１０のサイズ）を送ることができる。ユーザ１２は、提供されているパフォーマンス１８２および／または他の属性に基づいてトレーニングされたモデル２１０のうちの１つまたは複数を選択することができる。いくつかの例では、ハイパーパラメータコントローラ１６０は、モデル２１０（例えば、最高のパフォーマンス１８２を有するモデル２１０またはデフォルト基準または他の予め選択された基準を満足するモデル２１０）を自動的に選択する。これらの例では、ハイパーパラメータコントローラ１６０は、モデル２１０が選択されたユーザ１２へ指示を提供することができる。いくつかの実装形態では、パフォーマンス１８２に加えて、パフォーマンスコントローラ１８０は、トレーニングされたモデル２１０がトレーニングデータ１５２に基づいて最高のパフォーマンス１８２を有する指示１８４を（すなわち、ネットワーク１１２を介して送信することによって）提供する。ユーザ１２は、指示１８４、およびハイパーパラメータコントローラ１６０により提供されているいずれかの他の属性に基づいてトレーニングされたモデル２１０のうちのどれを選択するかをさらに判断することができる。

【0032】

ユーザ１２は、ハイパーパラメータコントローラ１６０の予測生成器１７０へトレーニングされたモデル選択１７２を送ることによってトレーニングされた機械学習モデル２１０のうちの１つを選択することができる。他の例では、パフォーマンスコントローラ１８０は、予測生成器１７０へトレーニングされたモデル選択１７２を送る。予測生成器１７０は、ユーザデバイス１０から受け取っているモデル選択１７２に基づいて予測１７４を生成する。例えば、予測生成器１７０は、追加データを（例えば、データストア１５０を介してまたはユーザデバイス１０を介して）受け取り、そして選択されるモデル２１０は、追加データに基づいて１つまたは複数の予測を作成する。予測１７４は、ユーザデバイス１０へ提供されることがある。あるいは、ハイパーパラメータコントローラ１６０は、ユーザデバイスをバイパスしてもよく、そして直接に最高のパフォーマンス１８２を有するトレーニングされたユニークモデル２１０のうちの１つを選択するトレーニングされたモデル選択１７を単純に生成し、次いで予測１７４を生成するために直接的に予測生成器１７０へトレーニングされたモデル選択１７２を提供する。

【0033】

図４は、ハイパーパラメータ２２をチューニングする方法４００に関する動作の例示的な配列のフローチャートである。コンピュータが実行する方法４００は、データ処理ハードウェア１４４により実行されるときに、データ処理ハードウェア１４４に動作を実行させる。方法４００は、動作４０２において、ユーザデバイス１０から、ハイパーパラメータ最適化要求２０を受け取ることを含む。ハイパーパラメータ最適化要求２０は、機械学習モデル２１０の１つまたは複数のハイパーパラメータ２２の最適化を要求する。方法４００は、動作４０４において、機械学習モデル２１０をトレーニングするためのトレーニングデータ１５２を取得することを含む。方法４００は、動作４０６において、機械学習モデル２１０のハイパーパラメータパーミュテーション２３２のセットを決定することを含む。方法４００は、動作４０８において、トレーニングデータ１５２およびそれぞれのハイパーパラメータパーミュテーション２３２を使用してユニーク機械学習モデル２１０をトレーニングすることを含む。方法４００は、動作４１０において、トレーニングされたユニーク機械学習モデル２１０のパフォーマンス１８２を決定することを含む。方法４００は、動作４１２において、トレーニングされたユニーク機械学習モデル２１０の各々のパフォーマンス１８２に基づいて、トレーニングされたユニーク機械学習モデル２１０のうちの１つを選択することを含む。動作４１４において、方法４００は、トレーニングされたユニーク機械学習モデル２１０のうちの選択された１つを使用して１つまたは複数の予測１７４を生成することを含む。

【0034】

図５は、この文書で説明しているシステムおよび方法を実行するために使用され得る例のコンピューティングデバイス５００の模式図である。コンピューティングデバイス５００は、ラップトップ、デスクトップ、ワークステーション、パーソナルディジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどのディジタルコンピュータの様々な形態を表すものである。ここに示されている構成要素、それらの接続および関係、ならびにそれらの機能は、単に例示的であることを意味し、この文書において説明しているおよび／または権利を主張している開示の実装形態を限定することを意味しない。

【0035】

コンピューティングデバイス５００は、プロセッサ５１０、メモリ５２０，ストレージデバイス５３０、メモリ５２０と高速拡張ポート５５０とを接続している高速インターフェース／コントローラ５４０、および低速バス５７０とストレージデバイス５３０とを接続している低速インターフェース／コントローラ５６０を含む。構成要素５１０、５２０、５３０、５４０、５５０、および５６０の各々は、様々なバスを使用して相互接続され、そして共通マザーボード上にまたは必要に応じて他の方式でマウントされてもよい。プロセッサ５１０は、高速インターフェース５４０につなげられているディスプレイ５８０などの外部入力／出力デバイス上のグラフィカルユーザインターフェース（ＧＵＩ）用のグラフィカル情報を表示するためにメモリ５２０内にまたはストレージデバイス５３０に記憶されている命令を含め、コンピューティングデバイス５００内での実行のための命令を処理できる。他の実装形態では、複数のプロセッサおよび／または複数のバスが、必要に応じて、複数のメモリおよび複数のタイプのメモリとともに使用されることがある。また、複数のコンピューティングデバイス５００は、（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）各々のデバイスが必要な動作の一部分を提供する状態で接続されてもよい。

【0036】

メモリ５２０は、コンピューティングデバイス５００内に一過性ではなく情報を記憶する。メモリ５２０は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットであってもよい。非一過性メモリ５２０は、コンピューティングデバイス５００による使用のために一時的にまたは恒久的なベースでプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を記憶するために使用されている物理デバイスであってもよい。不揮発性メモリの例は、フラッシュメモリおよび読出し専用メモリ（ＲＯＭ）／プログラマブル読出し専用メモリ（ＰＲＯＭ）／消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）／電子的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）（例えば、ブートプログラムなどのファームウェア用に典型的に使用される）を含むが、これらに限定されない。揮発性メモリの例は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）ならびにディスクまたはテープを含むが、これらに限定されない。

【0037】

ストレージデバイス５３０は、コンピューティングデバイス５００用の大容量ストレージを提供することが可能である。いくつかの実装形態では、ストレージデバイス５３０は、コンピュータ可読媒体である。様々な異なる実装形態では、ストレージデバイス５３０は、フロッピディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の類似の固体メモリデバイス、またはストレージエリアネットワークもしくは他の構成のデバイスを含めデバイスのアレイであってもよい。さらなる実装形態では、コンピュータプログラム製品は、情報キャリアに実体的に具現化される。コンピュータプログラム製品は、実行されたときに、上に説明したものなどの１つまたは複数の方法を実行する命令を含む。情報キャリアは、メモリ５２０、ストレージデバイス５３０、またはプロセッサ５１０上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

【0038】

高速コントローラ５４０は、コンピューティングデバイス５００用の帯域幅集中動作を管理し、一方で低速コントローラ５６０は、より低い帯域幅集中動作を管理する。デューティのこのような割り当ては、単に例示に過ぎない。いくつかの実装形態では、高速コントローラ５４０は、メモリ５２０に、（例えば、グラフィックプロセッサまたはアクセラレータを通して）ディスプレイ５８０に、そして様々な拡張カード（図示せず）を受け入れられる高速拡張ポート５５０につなげられる。いくつかの実装形態では、低速コントローラ５６０は、ストレージデバイス５３０および低速拡張ポート５９０につなげられる。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイアレスＥｔｈｅｒｎｅｔ）を含むことができる低速拡張ポート５９０は、キーボード、ポインティングデバイス、スキャナなどの１つもしくは複数の入力／出力デバイス、または、例えば、ネットワークアダプタを介して、スイッチもしくはルータなどのネットワーキングデバイスにつなげられてもよい。

【0039】

コンピューティングデバイス５００は、図に示されているように、複数の異なる形態で実装されることがある。例えば、標準サーバ５００ａとしてもしくはこのようなサーバ５００ａのグループで複数回、ラップトップコンピュータ５００ｂとして、またはラックサーバシステム５００ｃの一部として実装されてもよい。

【0040】

本明細書において説明されるシステムおよび技術の様々な実装形態が、ディジタル電子回路および／もしくは光回路、集積回路、特別に設計されているＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、ならびに／またはこれらの組み合わせで実現されることが可能である。これらの様々な実装形態は、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受け取るようにそして上記デバイスへデータおよび命令を送信するようにつなげられている用途特定または汎用であり得る少なくとも１つのプログラマブルプロセッサを含んでいるプログラマブルシステム上で実行可能であるおよび／または解釈可能である１つまたは複数のコンピュータプログラムでの実装を含むことが可能である。

【0041】

ソフトウェアアプリケーション（すなわち、ソフトウェアリソース）は、コンピューティングデバイスにタスクを実行させるコンピュータソフトウェアを呼ぶことがある。いくつかの例では、ソフトウェアアプリケーションは、「アプリケーション」、「アップ（ａｐｐ）」、または「プログラム」と呼ばれることがある。例のアプリケーションは、システム診断アプリケーション、システム管理アプリケーション、システム維持管理アプリケーション、ワードプロセシングアプリケーション、スプレッドシートアプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、およびゲーミングアプリケーションを含むが、これらに限定されない。

【0042】

これらのコンピュータプログラム（また、プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる）は、プログラマブルプロセッサ用の機械命令を含み、高レベル手続き型言語および／またはオブジェクト指向プログラミング言語で、および／またはアセンブリ／機械言語で実装されることが可能である。本明細書で使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、任意のコンピュータプログラム製品、非一過性のコンピュータ可読媒体、機械可読信号として機械命令を受け取る機械可読媒体を含め、プログラマブルプロセッサへ機械命令および／またはデータを提供するために使用される装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を呼ぶ。「機械可読信号」という用語は、プログラマブルプロセッサへ機械命令および／またはデータを提供するために使用される任意の信号を呼ぶ。

【0043】

この明細書で説明しているプロセスおよび論理フローは、入力データを処理することおよび出力を生成することによって機能を実行するために１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルプロセッサ、またデータ処理ハードウェアとも呼ばれる、により実行されることが可能である。プロセスおよび論理フローはまた、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）により実行されることも可能である。コンピュータプログラムの実行のために適しているプロセッサは、例として、汎用マイクロプロセッサおよび専用マイクロプロセッサの両方、ならびにいずれかの種類のディジタルコンピュータのうちの任意の１つまたは複数のプロセッサを含む。一般に、プロセッサは、読出し専用メモリまたはランダムアクセスメモリまたは両方から命令およびデータを受け取るだろう。コンピュータの必須の要素は、命令を実行するためのプロセッサならびに命令およびデータを記憶するための１つまたは複数のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための１つまたは複数の大容量ストレージデバイス、例えば、磁気ディスク、光磁気ディスク、または光ディスクからデータを受け取るために、上記デバイスへデータを伝送するためにまたは両方のために含むだろうまたは動作上でつなげられるだろう。しかしながら、コンピュータは、そのようなデバイスを必ずしも有する必要がない。コンピュータプログラム命令およびデータを記憶するために適しているコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス；磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク；光磁気ディスク；ならびに、ＣＤＲＯＭディスクおよびＤＶＤ－ＲＯＭディスクを含め、不揮発性メモリ、媒体およびメモリデバイスのすべての形態を含む。プロセッサおよびメモリは、専用論理回路により補完されるまたは組み込まれることが可能である。

【0044】

ユーザとの対話を提供するために、開示の１つまたは複数の態様は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）モニタ、またはタッチスクリーン、ならびにユーザがコンピュータに入力を与えることが可能な任意選択のキーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールを有するコンピュータ上に実装されることが可能である。他の種類のデバイスは、同様にユーザとの対話を提供するために使用されることが可能であり、例えば、ユーザへ提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであってもよく、そしてユーザからの入力は、音響入力、会話入力、または触覚入力を含め任意の形態で受け取られてもよい。加えて、コンピュータは、ユーザにより使用されるデバイスへ文書を送ることによっておよび上記デバイスから文書を受け取ることによって、例えば、ウェブブラウザから受け取られる要求に応じてユーザのクライアントデバイス上のウェブブラウザへウェブページを送ることによってユーザと対話できる。

【0045】

多数の実装形態が、説明されてきている。それにも関わらず、様々な修正形態が開示の精神および範囲から乖離せずに行われ得ることが理解されるだろう。したがって、他の実装形態は、別記の特許請求の範囲の範囲内である。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【手続補正書】

【提出日】2024-02-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

データ処理ハードウェア（１４４）により実行されるときに前記データ処理ハードウェア（１４４）に動作を実行させるコンピュータが実行する方法（４００）であって、前記動作は、
ユーザデバイス（１０）から、機械学習モデル（２１０）の１つまたは複数のハイパーパラメータ（２２）の最適化を要求するハイパーパラメータ最適化要求（２０）を受け取ることと、
前記機械学習モデル（２１０）をトレーニングするためのトレーニングデータ（１５２）を取得することと、
前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）のハイパーパラメータパーミュテーション（２３２）のセットを決定することと、
前記ハイパーパラメータパーミュテーション（２３２）のセット内のそれぞれのハイパーパラメータパーミュテーション（２３２）の各々に関して、
前記トレーニングデータ（１５２）および前記それぞれのハイパーパラメータパーミュテーション（２３２）を使用してユニーク機械学習モデル（２１０）をトレーニングすることと、
トレーニングされた前記ユニーク機械学習モデル（２１０）のパフォーマンス（１８２）を決定することと、
トレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）に基づいて、トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの１つを選択することと、
トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの選択された前記１つを使用して１つまたは複数の予測（１７４）を生成することとを含む、方法（４００）。

【請求項2】

前記ハイパーパラメータパーミュテーション（２３２）のセットを決定することは、前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）のハイパーパラメータ探索空間（２３４）で探索を実行することを含む、請求項１に記載の方法（４００）。

【請求項3】

前記ハイパーパラメータ探索空間（２３４）で前記探索を実行することは、バッチ式ガウス過程バンディット最適化を使用して前記探索を実行することを含む、請求項２に記載の方法（４００）。

【請求項4】

前記ハイパーパラメータパーミュテーション（２３２）のセットを決定することは、前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）と少なくとも１つのハイパーパラメータ（２２）を各々共有する１つまたは複数の先にトレーニングされた機械学習モデル（２１０）に基づく、請求項１～請求項３のいずれかに記載の方法（４００）。

【請求項5】

前記１つまたは複数の先にトレーニングされた前記機械学習モデル（２１０）は、前記ユーザデバイス（１０）のユーザ（１２）と関係づけられる、請求項４に記載の方法（４００）。

【請求項6】

前記ユニーク機械学習モデル（２１０）をトレーニングすることは、並列に２つ以上のユニーク機械学習モデル（２１０）をトレーニングすることを含む、請求項１～請求項３のいずれかに記載の方法（４００）。

【請求項7】

トレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンスを前記ユーザデバイス（１０）に提供することは、どのトレーニングされたユニーク機械学習モデル（２１０）が前記トレーニングデータ（１５２）に基づいて最高のパフォーマンス（１８２）を有するかを示す指示を前記ユーザデバイス（１０）に提供することを含む、請求項１～請求項３のいずれかに記載の方法（４００）。

【請求項8】

前記ハイパーパラメータ最適化要求（２０）は、ＳＱＬクエリを含む、請求項１～請求項３のいずれかに記載の方法（４００）。

【請求項9】

前記ハイパーパラメータ最適化要求（２０）は、バジェット（３２０）を含み、
前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）の前記ハイパーパラメータパーミュテーション（２３２）のセットのサイズは、前記バジェット（３２０）に基づく、請求項１～請求項３のいずれかに記載の方法（４００）。

【請求項10】

前記データ処理ハードウェア（１４４）は、分散型コンピューティングデータベースシステム（１４０）の一部である、請求項１～請求項３のいずれかに記載の方法（４００）。

【請求項11】

トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの前記１つを選択することは、
前記ユーザデバイス（１０）へトレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）を送信することと、
前記ユーザデバイス（１０）から、トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの前記１つを選択するトレーニングされたユニーク機械学習モデル（２１０）選択を受け取ることとを含む、請求項１～請求項３のいずれかに記載の方法（４００）。

【請求項12】

データ処理ハードウェア（１４４）と、
前記データ処理ハードウェア（１４４）と通信するメモリハードウェア（１４６）とを備え、前記メモリハードウェア（１４６）は、命令を記憶し、前記命令は、前記データ処理ハードウェア（１４４）上で実行されるときに、前記データ処理ハードウェア（１４４）に動作を実行させ、前記動作は、
ユーザデバイス（１０）から、機械学習モデル（２１０）の１つまたは複数のハイパーパラメータ（２２）の最適化を要求するハイパーパラメータ最適化要求（２０）を受け取ることと、
前記機械学習モデル（２１０）をトレーニングするためのトレーニングデータ（１５２）を取得することと、
前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）のハイパーパラメータパーミュテーション（２３２）のセットを決定することと、
前記ハイパーパラメータパーミュテーション（２３２）のセット内のそれぞれのハイパーパラメータパーミュテーション（２２）の各々に関して、
前記トレーニングデータ（１５２）および前記それぞれのハイパーパラメータパーミュテーション（２３２）を使用してユニーク機械学習モデル（２１０）をトレーニングすることと、
トレーニングされた前記ユニーク機械学習モデル（２１０）のパフォーマンス（１８２）を決定することと、
トレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）に基づいて、トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの１つを選択することと、
トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの選択された前記１つを使用して１つまたは複数の予測（１７４）を生成することとを含む、システム（１００）。

【請求項13】

前記ハイパーパラメータパーミュテーション（２３２）のセットを決定することは、前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）のハイパーパラメータ探索空間（２３４）で探索を実行することを含む、請求項１２に記載のシステム（１００）。

【請求項14】

前記ハイパーパラメータ探索空間（２３４）で前記探索を実行することは、バッチ式ガウス過程バンディット最適化を使用して前記探索を実行することを含む、請求項１３に記載のシステム（１００）。

【請求項15】

前記ハイパーパラメータパーミュテーション（２３２）のセットを決定することは、前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）と少なくとも１つのハイパーパラメータ（２２）を各々共有する１つまたは複数の先にトレーニングされた機械学習モデル（２１０）に基づく、請求項１２～請求項１４のいずれかに記載のシステム（１００）。

【請求項16】

前記１つまたは複数の先にトレーニングされた前記機械学習モデル（２１０）は、前記ユーザデバイス（１０）のユーザ（１２）と関係づけられる、請求項１５に記載のシステム（１００）。

【請求項17】

前記ユニーク機械学習モデル（２１０）をトレーニングすることは、並列に前記ユニーク機械学習モデル（２１０）のうちの２つ以上をトレーニングすることを含む、請求項１２～請求項１４のいずれかに記載のシステム（１００）。

【請求項18】

トレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）を前記ユーザデバイス（１０）に提供することは、どのトレーニングされたユニーク機械学習モデル（２１０）が前記トレーニングデータ（１５２）に基づいて最高のパフォーマンス（１８２）を有するかを示す指示を前記ユーザデバイス（１０）に提供することを含む、請求項１２～請求項１４のいずれかに記載のシステム（１００）。

【請求項19】

前記ハイパーパラメータ最適化要求（２０）は、ＳＱＬクエリを含む、請求項１２～請求項１４のいずれかに記載のシステム（１００）。

【請求項20】

前記ハイパーパラメータ最適化要求（２０）は、バジェット（３２０）を含み、
前記機械学習モデル（２１０）の前記１つまたは複数のハイパーパラメータ（２２）の前記ハイパーパラメータパーミュテーション（２３２）のセットのサイズは、前記バジェット（３２０）に基づく、請求項１２～請求項１４のいずれかに記載のシステム（１００）。

【請求項21】

前記データ処理ハードウェア（１４４）は、分散型コンピューティングデータベースシステム（１４０）の一部である、請求項１２～請求項１４のいずれかに記載のシステム（１００）。

【請求項22】

トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの前記１つを選択することは、
前記ユーザデバイス（１０）へトレーニングされた前記ユニーク機械学習モデル（２１０）の各々の前記パフォーマンス（１８２）を送信することと、
前記ユーザデバイス（１０）から、トレーニングされた前記ユニーク機械学習モデル（２１０）のうちの前記１つを選択するトレーニングされたユニーク機械学習モデル（２１０）選択を受け取ることとを含む、請求項１２～請求項１４のいずれかに記載のシステム（１００）。

【国際調査報告】