特表 2024-522708 機械学習モデルのトレーニング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-21

(54)【発明の名称】機械学習モデルのトレーニング

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240614BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023577235

(86)(22)【出願日】2022-06-07

(85)【翻訳文提出日】2023-12-13

(86)【国際出願番号】 EP2022065328

(87)【国際公開番号】W WO2022263220

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】17/346,760

(32)【優先日】2021-06-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(74)【復代理人】

【識別番号】100104880

【弁理士】

【氏名又は名称】古部 次郎

(74)【復代理人】

【識別番号】100118108

【弁理士】

【氏名又は名称】久保 洋之

(72)【発明者】

【氏名】クミェロフスキ、ルカシュ

(72)【発明者】

【氏名】クチャルチク、シモン

(72)【発明者】

【氏名】ケイト、キラン

(72)【発明者】

【氏名】リシュカ、ダニエル

(57)【要約】

方法、コンピュータシステム、およびコンピュータプログラム製品は、機械学習モデルをトレーニングする。本方法は、機械学習システムをネットワークに接続し、機械学習システムにより、ネットワークを介して推定器リストに含まれていない新しい推定器とそれぞれのドキュメントを受信することを含む。本方法はまた、メモリに保存されているリストに新しい推定器を追加することを含む。本方法はさらに、ドキュメントを読み込み、それぞれの抽出データを機械学習プロセスツールに提供することと、機械学習プロセスツールによって、抽出されたデータに基づいて、トレーニングデータセットのグループのうち少なくとも１つのトレーニングデータセットを新しい推定器に適合させることとを含む。最後に、本方法は、少なくとも１つのトレーニングデータセットを入力として、新しい推定器を使用して少なくとも機械学習モデルのサブセットをトレーニングすることを含み、トレーニングは出力をもたらす。
【選択図】図１

【特許請求の範囲】

【請求項1】

機械学習システムの機械学習プロセスツールによって機械学習システムの機械学習モデルをトレーニングするための方法であって、前記機械学習プロセスツールは、前記トレーニングを実行する際に、トレーニングデータセットのグループのうち少なくとも１つのトレーニングデータセットを、機械学習モデルのそれぞれの推定器への入力として提供し、前記推定器は、前記機械学習プロセスシステムのメモリに記憶された推定器リストの中から選択され、前記方法は、
前記機械学習システムをネットワークに接続することと、
前記機械学習システムにより、前記ネットワークを介して、前記推定器リストに含まれていない新しい推定器とそれぞれのドキュメントを受信することと、
前記メモリに保存されている前記リストに前記新しい推定器を追加することと、
前記ドキュメントを読み込み、それぞれの抽出されたデータを前記機械学習プロセスツールに提供することと、
前記機械学習プロセスツールによって、前記抽出されたデータに基づいて、トレーニングデータセットの前記グループのうち少なくとも１つのトレーニングデータセットを前記新しい推定器に適合させることと、
前記少なくとも１つのトレーニングデータセットを入力として、前記新しい推定器を使用して少なくとも前記機械学習モデルのサブセットをトレーニングし、前記トレーニングは出力をもたらす、トレーニングすることと、を含む方法。

【請求項2】

前記機械学習システムをネットワークに接続することは、アプリケーションプログラミングインタフェースを介して前記機械学習システムを前記ネットワークに接続することを含む、請求項１に記載の方法。

【請求項3】

前記ネットワークはインターネットである、前記請求項のいずれか１項に記載の方法。

【請求項4】

前記トレーニングで得られた前記入力と前記出力に基づいて前記機械学習モデルをランク付けし、最良のランクを有する前記機械学習モデルを選択することをさらに含む、前記請求項のいずれか１項に記載の方法。

【請求項5】

受け入れ可能な任意の新しい推定器を含むそれぞれの推定器に関して満たすべき規則を定義することを含み、少なくとも１つのトレーニングデータセットを適合させることは前記規則に従って行われる、前記請求項のいずれか１項に記載の方法。

【請求項6】

前記規則は、ハイパーパラメータの形式およびハイパーパラメータの１つまたは複数の値の少なくとも１つによって定義される、請求項５に記載の方法。

【請求項7】

前記ハイパーパラメータは、可変スキームによって編成される、請求項６に記載の方法。

【請求項8】

新しい推定器、新しいソフトウェア、新しいソフトウェアのバージョンのうち少なくとも１つのロード時に前記スキームを更新することをさらに含む、請求項７に記載の方法。

【請求項9】

前記規則に従った少なくとも１つのトレーニングデータセットの適合が不可能である場合、または前記新しい推定器が許容される推定器リストに含まれない場合、前記新しい推定器をフィルタリングすることをさらに含み、前記許容される推定器リストはメモリに記憶される、請求項５に記載の方法。

【請求項10】

前記ドキュメントの少なくとも一部を機械可読形式に変換することをさらに含む、前記請求項のいずれか１項に記載の方法。

【請求項11】

前記機械可読形式は、JavaScript Object Notation（登録商標）、JSONである、請求項１０に記載の方法。

【請求項12】

ソフトウェアがクラウド環境におけるサービスとして提供され、前記サービスが前記方法の少なくとも１つのステップの実行を提供する、前記請求項のいずれか１項に記載の方法。

【請求項13】

機械学習モデルを使用し、少なくとも１つのトレーニングデータセットを機械学習モデルのそれぞれの推定器への入力として使用することによる機械学習のためコンピュータシステムであって、前記推定器は推定器リストから選択され、前記コンピュータシステムは、
前記推定器リストとトレーニングデータセットのグループを記憶するメモリと、
前記機械学習モデルのグループを定義するために設定された機械学習プロセスツールであって、前記機械学習プロセスツールは、トレーニングを実行する際に、機械学習モデルのそれぞれの推定器への入力として、前記トレーニングデータセットのうちの少なくとも１つのトレーニングデータセットを提供するように構成されている、機械学習プロセスツールと、を含み、
前記コンピュータシステムは、
前記コンピュータシステムをネットワークに接続することと、
前記コンピュータシステムにより、前記ネットワークを介して、前記推定器リストに含まれていない新しい推定器とそれぞれのドキュメントを受信することと、
前記メモリに保存されている前記リストに前記新しい推定器を追加することと、
前記ドキュメントを読み込み、それぞれの抽出されたデータを前記機械学習プロセスツールに提供することと、
前記機械学習プロセスツールによって、前記抽出されたデータに基づいて、トレーニングデータセットの前記グループのうち少なくとも１つのトレーニングデータセットを前記新しい推定器に適合させることと、
前記少なくとも１つのトレーニングデータセットを入力として、前記新しい推定器を使用して少なくとも前記機械学習モデルのサブセットをトレーニングし、前記トレーニングは出力をもたらす、トレーニングすることと、
のために設定されている、コンピュータシステム。

【請求項14】

機械学習システムの機械学習プロセスツールであって、トレーニングを実行する際に、トレーニングデータセットのグループのうち少なくとも１つのトレーニングデータセットを、機械学習モデルのそれぞれの推定器への入力として提供し、前記推定器は、前記機械学習プロセスシステムのメモリに記憶された推定器リストの中から選択される、前記機械学習プロセスツールと、
コンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体と、を含み、前記コンピュータ可読プログラムコードは、方法を実施するように構成され、前記方法は、
前記機械学習システムをネットワークに接続することと、
前記機械学習システムにより、前記ネットワークを介して、前記推定器リストに含まれていない新しい推定器とそれぞれのドキュメントを受信することと、
前記メモリに保存されている前記リストに前記新しい推定器を追加することと、
前記ドキュメントを読み込み、それぞれの抽出されたデータを前記機械学習プロセスツールに提供することと、
前記機械学習プロセスツールによって、前記抽出されたデータに基づいて、トレーニングデータセットの前記グループのうち少なくとも１つのトレーニングデータセットを前記新しい推定器に適合させることと、
前記少なくとも１つのトレーニングデータセットを入力として、前記新しい推定器を使用して少なくとも前記機械学習モデルのサブセットをトレーニングし、前記トレーニングは出力をもたらす、トレーニングすることと、を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、機械学習（ＭＬ）の分野に関し、特に機械学習モデルのトレーニングに関する。

【背景技術】

【0002】

ＭＬモデルとは、ハードウェアやソフトウェアによって、あるいは専用のソフトウェアを実行するハードウェアやソフトウェアシステムによって使用されるデータファイルであり、所定の形式を持つ入力が提供されたときに特定の種類の出力を生成することを目的としている。ＭＬモデルは様々なステージから設定され、ステージ全体はパイプラインと呼ばれる。

【0003】

２つの異なるＭＬモデルは、これらのステージの少なくとも１つの定義が異なる。

【0004】

もちろん、ＭＬモデルによって、「線形回帰」、「論理回帰」、「決定木」、「ブースティング」など、まったく異なる学習方法を使うこともある。

【0005】

ＭＬモデルを特定のタスクに使用するためには、ＭＬモデルの内部パラメータ値を定義する必要がある。このパラメータ定義は、ＭＬモデルのトレーニングによって行われ、トレーニングデータが入力として使用される。

【0006】

いわゆる推定器はＭＬモデルの最初の段階を表す。推定器は、ＭＬモデルの後続ステージで使用するために、入力トレーニングデータを単一の値または複数の値に変換するアルゴリズムである。

【0007】

本発明は、それぞれ別の推定器を持つ異なるＭＬモデルグループからＭＬモデルをトレーニングする方法であって、例えばランク付けスコアを用いてランク付けを行い、最適なランク、例えば最も高いランク付けスコアを持つＭＬモデルを選択することを可能にする。これにより、適切なトレーニングデータを用いたトレーニング後に、所望のアプリケーションやタスクに最適なＭＬモデルを使用することができる。

【0008】

特定のタスクに関して、ユーザはＭＬモデルが適用する学習方法を事前に選択することができる。その際、選択する推定器は任意ではない。トレーニングに先立ち、ユーザは選択された学習方法に適していると思われる推定器を最初に選択するために、あらかじめ決められた基準を適用することができる。

【0009】

たとえば，対象変数が離散的（カテゴリー、名義、順序）であれば，「ロジスティック回帰」、「ナイーブベイズ分類器」、「サポートベクトルマシン」、「決定木」、「ブースティングツリー」、「ランダムフォレスト」、「ニューラルネットワーク」、「Ｋ‐最近傍」などの手法が使用できる。入力データ数が多い場合は、「ＳＧＤ」、「確率的勾配降下法」が役に立つかもしれない。「Ｋ‐最近傍」は、トレーニングデータが膨大でノイズが多い場合に有効である。

【0010】

逆に、ターゲット変数が連続的である場合、回帰アルゴリズムを使用する必要があるかもしれない。回帰アルゴリズムは、例えば、「線形回帰」、「多項式回帰」、「リッジ回帰」、「ラッソ回帰」、および「エラスティックネット回帰」からなるグループから選択される。

【0011】

推定器については、例えば学習法「ガウスナイーブベイズ（Gaussian Naive Bayes）」を用いたＭＬモデルの場合、推定器は平均値μ、分散２、さらに統計値Ｐ（Ｙ）を出力する必要がある。学習法「ロジスティック回帰」の場合、推定器ステージでは勾配降下法を用いて目的関数を最適化する必要がある。学習手法の「決定木」と「決定スタンプによるブースティング」については、よく知られたアルゴリズムが市販されている。「Ｋ‐最近傍」学習法の場合、推定器は新しい点を分類するためにすべてのトレーニングデータを保存する必要がある。Ｋは交差変量を用いて選択される。「サポートベクターマシン」学習法では、マージンを最大化する境界を求める２次方程式を解く必要がある。

【0012】

ユーザが自分のシステムで利用可能な最適な推定器を持っていない可能性がある。しかし、多くの専用推定器はサードパーティから、つまり特定の他のＭＬシステム用にこれらの推定器を供給するサプライヤから市場で入手可能である。このように異なるＭＬシステムには互換性がないため、一般的に第１のシステムのそれぞれの推定器を第２のシステムで最も単純に使用することはできない。

【発明の概要】

【0013】

様々な実施形態は、ＭＬシステムのＭＬプロセスツールによって、ＭＬシステムにおいて機械学習（ＭＬ）モデルをトレーニングするための方法を提供し、ＭＬプロセスツールは、トレーニングを実行する際に、トレーニングデータセットのグループのうちの少なくとも１つのトレーニングデータセットを、ＭＬモデルのそれぞれの推定器への入力として提供し、推定器は、ＭＬのメモリに記憶された推定器リストの中から選択され、様々な実施形態は、それぞれのプロセスシステムおよびコンピュータプログラム製品を提供し、これらの全ては、独立請求項の主題によって説明される通りである。有利な実施形態は従属請求項に記載されている。本発明の実施形態は、互いに排他的でなければ、互いに自由に組み合わせることができる。

【0014】

一実施形態において、本方法は、ＭＬシステムのＭＬプロセスツールによってＭＬシステム内のＭＬモデルをトレーニングするものであり、ＭＬプロセスツールは、トレーニングを実行する際に、トレーニングデータセットのグループのうちの少なくとも１つのトレーニングデータセットを、ＭＬモデルのそれぞれの推定器への入力として提供し、推定器は、ＭＬプロセスシステムのメモリに記憶された推定器リストの中から選択される。本方法は、ＭＬシステムをネットワークに接続することを含む。本方法はまた、ＭＬシステムにより、ネットワークを介して推定器リストに含まれていない新しい推定器とそれぞれのドキュメントを受信することを含む。さらに、本方法はメモリに保存されているリストに新しい推定器を追加することを含む。本方法はさらに、ドキュメントを読み込み、それぞれの抽出されたデータをＭＬプロセスツールに提供することを含む。また、本方法は、ＭＬプロセスツールによって、抽出されたデータに基づいて、トレーニングデータセットグループのうちの少なくとも１つのトレーニングデータセットを新しい推定器に適合させることを含む。最後に、本方法は、少なくとも１つのトレーニングデータセットを入力として、新しい推定器を使用して少なくともＭＬモデルのサブセットをトレーニングすることを含み、トレーニングは出力をもたらす。

【0015】

別の実施形態では、機械学習のためのコンピュータシステムは、ＭＬモデルと、ＭＬモデルのそれぞれの推定器への入力としての少なくとも１つのトレーニングデータセットとを使用し、推定器は、推定器リストから選択され、コンピュータシステムは、推定器リストとトレーニングデータセットのグループとを記憶するメモリと、ＭＬモデルのグループを定義するように設定されたＭＬプロセスツールとを含み、ＭＬプロセスツールは、トレーニングを実行する際に、ＭＬモデルのそれぞれの推定器への入力として、トレーニングデータセットのグループのうちの少なくとも１つのトレーニングデータセットを提供するように設定される。コンピュータシステムは、コンピュータシステムをネットワークに接続するように設定される。また、コンピュータシステムは、ネットワークを介して、推定器リストに含まれていない新しい推定器とそれぞれのドキュメントを受信するように設定されている。さらに、コンピュータシステムは、メモリに保存されているリストに新しい推定器を追加するように設定されている。さらに、コンピュータシステムは、ドキュメントを読み込み、それぞれの抽出データをＭＬプロセスツールに提供するように設定されている。また、コンピュータシステムは、ＭＬプロセスツールによって、抽出されたデータに基づいて、トレーニングデータセットのグループのうち少なくとも１つのトレーニングデータセットを新しい推定器に適合させるように設定される。最後に、コンピュータシステムは、少なくとも１つのトレーニングデータセットを入力として、新しい推定器を使用して少なくともＭＬモデルのサブセットをトレーニングするように設定され、トレーニングは出力をもたらす。

【0016】

別の実施形態では、コンピュータプログラム製品は、コンピュータ可読プログラムコードを具現化したコンピュータ可読記憶媒体を含み、コンピュータ可読プログラムコードは、上述の方法を実施するように設定される。

【0017】

以下では、本発明の実施形態について、図面を参照しながら、例としてのみ、より詳細に説明する。

【図面の簡単な説明】

【0018】

【図1】他のシステムにネットワークを介して接続された実施形態によるシステムの一例を示す。

【図2】実施形態による方法のフロー図の一例を示す。

【図3】本発明の実施形態で使用可能なクラウドコンピューティング環境を示す。

【図4】本発明の実施形態で実装可能な抽象化モデルレイヤを示す。

【発明を実施するための形態】

【0019】

本発明の様々な実施形態の説明は、説明の目的で提示されるが、開示された実施形態を網羅的または限定することを意図するものではない。説明した実施形態の範囲および精神から逸脱することなく、多くの修正および変形が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実用化または技術的改良を最もよく説明するため、または当業者が本明細書で開示される実施形態を理解できるようにするために選択された。

【0020】

本発明の課題は、ＭＬ環境において提供される可能性を向上させる可能性がある。特に、本課題では、ネットワークを介して新しい推定器を受信し、そのためのトレーニングデータを調整することを利用する。したがって、ユーザは、ユーザが利用する特定のシステム用の推定器を提供していないサプライヤ企業から推定器を収集することを決定するかもしれない。しかし、それでもユーザは新しい見積もりデータを簡単に使用することができる。これは一種の「プラグイン」として行うことができる。これにより、ＭＬシステムによって実行される最終的なタスクの精度が向上するかもしれない。

【0021】

一実施形態によれば、この方法は、アプリケーションプログラミングインタフェース（ＡＰＩ）を介してＭＬシステムをネットワークに接続することを含む。これは、ＭＬシステムの供給会社と別の供給会社で使用されている形式が異なっていたとしても、ユーザはＡＰＩを介して後者から新しい推定器をロードする（または受信する）ことができるという利点がある。

【0022】

一実施形態によれば、ネットワークはインターネットである。これは、ほぼすべてのユーザが利用可能であり、したがって新しい推定器の入手が容易である。

【0023】

一実施形態によれば、本方法は、トレーニングで得られた入力と出力に基づいてＭＬモデルをランク付けし、最良のランクを有するＭＬモデルを選択することをさらに含む。これにより、トレーニングが行われたタスクを実行する前に、全体的なトレーニングプロセスを完了させることができる。具体的には、新たな推定器を持つＭＬモデルを選択するか否かを決定してもよい。

【0024】

一実施形態によれば、本方法はさらに、受け入れ可能な新しい推定器を含むそれぞれの推定器に関して満たすべき規則を定義することを含み、少なくとも１つのトレーニングデータセットの適合は規則に従って行われる。従って、既にリストアップされている推定器であるか、新しい推定器であるかに関わらず、推定器の統一的な取り扱いが可能となる。

【0025】

一実施形態によれば、規則は、ハイパーパラメータの形式およびハイパーパラメータの１つまたは複数の値の少なくとも１つによって定義される。ハイパーパラメータを参照することは、手元で最も容易に行うことができるため、新しい推定器を迅速に統合する（または取り込む）ことができる。一実施形態では、ハイパーパラメータは可変スキームによって定義することができ、高い柔軟性を可能にする。例えば、ＭＬシステム全体が使用するソフトウェアのバージョンが更新された場合、新しいソフトウェアモジュールが追加された場合、または少なくとも新しい推定器を受信した場合に、スキームを更新することができる。これにより，ユーザは，サードパーティによる新しい推定器の提供など，この分野の発展に常に対応することができる。

【0026】

一実施形態によれば、本方法は、規則に従って少なくとも１つのトレーニングデータセットの適合が不可能である場合、または新しい推定器が許容される推定器リストに含まれない場合、新しい推定器をフィルタリングすることをさらに含み、許容される推定器リストはメモリに記憶される。従って、例えば未知のソースからの新しい推定器のロードを制御することができる上位インスタンスが提供される。

【0027】

一実施形態によれば、本方法は、ドキュメントの少なくとも一部を機械可読形式に変換することをさらに含む。したがって、このプロセスは完全に自動化された方法で実行することができる。機械可読形式は、JavaScript Object Notation（登録商標）、JSONであってもよい。

【0028】

一実施形態によれば、ソフトウェアは、クラウド環境においてサービスとして提供され、方法の少なくとも１つのステップの実行を提供する。

【0029】

図１は、インターネット２００を介して第２のシステム３００に接続された、本開示の一実施例によるシステム１００の例を示す。

【0030】

システム１００は、推定器１１１が記憶され、ＭＬモデル１１２が記憶され、トレーニングデータ１１３が記憶されるメモリ１１０を含んでいてもよい。さらに、オプションとして、メモリは、許容される推定器リスト１１４を記憶してもよく、これらには推定器１１および場合によっては受信可能な新しい推定器が含まれる。

【0031】

第２のシステム３００は、推定器３１１が記憶されるメモリ３１０を備えることもできる。

【0032】

システム１００は、システム１００によって実行されるプロセスを制御することができるユーザのための入出力ユニットＩ／Ｏ１２０を含むことができる。ユーザは、システム１００で利用可能な推定器を使用する機械学習システムを実行することができる。しかし、その推定器は最適なものではない可能性があり、具体的には時間の経過とともに古くなる可能性がある。例えば、推定器は、現場において別のより進歩的な方法に広く取って代わられた方法を使用するかもしれない。システム１００がサプライヤによって自動的に更新されない場合、ユーザは別のプロバイダによって供給される最新の見積もりツールを使用したいと思うかもしれない。ここで、例えばシステム３００から見積もりデータをダウンロードできるようにする必要性が生じる。

【0033】

ユーザは同様に、インターネット上のメモリ３１０に記憶された推定器３１１に関する情報を検出し、これらの１つまたは複数をシステム１００にロードできるように求めるかもしれない。これには、一般的なインターネットブラウザの使用が含まれる。例えば、システム３００は、システム３００のインターネットアドレスでインターネットブラウザを介してワールドワイドウェブでアクセス可能であるかもしれない。インターネットアドレスに（またはインターネットアドレスに関して）示され、記憶されているキーワードがあるかもしれない。キーワードから、ユーザは、システム３００のインターネットアドレスと共に、また、インターネットアドレスから、推定装置が提供される可能性があることを推測することができる。キーワードは、インターネット検索機に知られていてもよい（すなわち、保存されていてもよい）。次に、ユーザはブラウザでインターネット検索機のマスクを開き、これらのキーワードまたは類似の単語をマスクの検索フィールドに入力することができる。例えば、「推定器」および「回帰」というキーワードが、インターネット検索機がシステム３００のインターネットアドレスにリンクしていることを知っているキーワードに対応する場合、線形回帰を使用する推定器を見つけることができるかもしれない。他のキーワードのペアは、システム３００以外の場所で推定器を見つけることにつながるかもしれない。

【0034】

システム１００は、アプリケーションプログラミングインターフェース（ＡＰＩ）１３０を含み、それを介してインターネット２００に接続される。

【0035】

システム１００は、ＡＰＩ１３０から、すなわちインターネットから新しい推定器を受信する受信モジュール１４０を含むことができる。受信モジュール１４０は新しい推定器を送信し、１１１でメモリ１１０に記憶することができる。フィルタリング１８０のステップは任意であり、新しい推定器が許可された推定器リスト１１４に含まれているか否かをチェックすることを含む。

【0036】

受信モジュール１４０は、新たな推定器とともに受信したドキュメント（すなわちテキストファイル）を、読み込みモジュール１５０である可能性のあるさらなるモジュールに送信することができる。読み込みモジュール１５０は、ドキュメントをJavaScript Object Notation（登録商標）、JSONのような機械可読形式に変換する変換モジュールを含むことができる。このような変換の手順は、それ自体、Guillaume Bardautand, Peter D． Kirchner, Martin Hirzel, Kiran Kate, "Mining Documentation to extract Hyperparameter Schemas", IBM Research, New York, USA, 7th ICML Workshop on Automated Machine Learning (２０２０)から公知であり、したがって、ここでは、この手順のように実行されるかもしれない。したがって、読み込みモジュール１５０は、ハイパーパラメータ形式（ＨＰＯ）のデータを抽出してもよい。読み込みモジュール１５０は、方法を実行するブラックボックスとして動作してもよい。
Get_defaults() - デフォルトのハイパーパラメータを取得する。
Get_params() - 推定器のパラメータを取得する。
Get_param_ranges() - 推定器のパラメータ範囲を取得する。
Get_param_dist()- 推定パラメータの分布を取得する。
Get_op_Type() - 演算子タイプ（分類子など）を取得する。
さらにユニットやモジュールが実行することもある。
Set_params - 推定パラメータを設定する。
Fit()
Score()
Predict()
そしてパラメータは以下であってもよい。
N_jobs - 推定器フィルに使用するスレッド数。
Random_state - ランダムシード。

【0037】

システム１００は、一般的にトレーニングを担当するＭＬプロセスツール１６０を含んでもよい。このツールは、１１１でメモリ１１０から推定器を受信し、記憶されたＭＬモデル１１２と記憶されたトレーニングデータ１１３を受信する適合モジュール１６１から設定されてもよい。したがって、システムがデフォルトまたは標準の推定器とともに使用する新しい推定器およびそれぞれのトレーニングデータを受け取ることができる。適合モジュール１６１は、トレーニングデータを新しい推定器の要件に適合させる役割を果たす。そのために、読み込みモジュール１５０から、抽出されたデータ、すなわちハイパーパラメータと上記の値を受け取ることができる。

【0038】

一例を挙げると、適合モジュール１６１は、［１、３０］の実数範囲をカバーする別の推定器に一般的に使用されるトレーニングデータを受信することができる。適合モジュールは、Get_param_ranges()から、受信した新しい推定器が［１、１５］の範囲を必要とし、Get_param_dist()から、値が整数でなければならないという情報を受信する可能性がある。したがって、適合モジュール１６１は、元のトレーニングデータの値を２で割って、さらに範囲を離散化することができる。そして、適合されたトレーニングデータは新しい推定器に適している。

【0039】

適合モジュール１６１は、適合されたトレーニングデータと、新しい推定器を持つＭＬモデルをトレーニングモジュール１６２に送り、そこでトレーニングが行われる。

【0040】

各トレーニング時間のトレーニングモジュールの出力は、すべてのＭＬモデルがそのスコアに従ってランク付けされるランク付けモジュール１６３に送られるスコアであってもよい。

【0041】

ランク付けは、セレクティングモジュール１６４でセレクティングを可能にする。

【0042】

プロセスは、規則管理モジュール１７０内で、または規則管理モジュール１７０によって定義されるような規則に従うように作られてもよい。

【0043】

図２は、本主題に従った方法のフロー図の一例を示す。

【0044】

この方法は、ステップＳ１０から開始することができる。

【0045】

オプションとして、ステップＳ１２では、規則管理モジュール１７０などによって、受け入れられる可能性のある任意の新しい推定器を含むそれぞれの推定器に関して満たすべき規則を定義することができる。

【0046】

ステップＳ１４において、システム１００は、ＡＰＩ１３０およびインターネット２００を介してシステム３００に接続され得る。

【0047】

ステップＳ１６では、例えば受信モジュール１４０によって、新しい推定器が受信されることがある。

【0048】

ステップＳ１８では、１１１で新しい推定器をメモリ１１０に追加する。これは、ステップＳ１２で定義された規則の充足に依存する場合がある。並行して行われるステップＳ２０では、例えば読み込みモジュール１５０によってドキュメントが読み込まれる。

【0049】

ステップＳ２２において、トレーニングデータ１１３は、メモリ１１０から読み出されてもよい。次に、例えばＭＬプロセスツール１６０の適合モジュール１６１において、トレーニングデータは、新しい推定器および抽出されたデータとともに受信されてもよく、適合ステップＳ２４は、適合されたトレーニングデータを、例えばトレーニングモジュール１６２への入力として提供してもよい。

【0050】

ステップＳ２６において、ＭＬモデル１１２は、メモリ１１０から読み出されてもよく、これに続いて、新しい推定器およびステップＳ２４の結果として提供された入力を用いてＭＬモデルのサブセットをトレーニングするステップＳ２８が続いてもよい。ステップＳ３０において、トレーニングの結果としてスコアが計算されてもよい。

【0051】

ステップＳ３２では、例えばランク付けモジュール１６３によってランク付けが提供されることがある。

【0052】

ステップＳ３４では、例えばランク付けに基づいてＭＬモジュールが選択されてもよい。

【0053】

ステップＳ３６では、ステップＳ３４で選択されたＭＬモジュールを用いて、ユーザが新しい推定器のテストを希望したタスクそのものを実行してもよい。その後、最終出力が得られ、ステップＳ３８で本方法は終了する。

【0054】

本発明の実施形態は、クラウドコンピューティングのような、現在公知のまたは将来開発される他の任意の種類のコンピュータ環境と共に実施することができる。

【0055】

クラウドコンピューティングは、設定可能なコンピューティングリソースの共有プール（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）へ、簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、リソースは、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの実装モデルを含むことがある。

【0056】

特性は以下の通りである。

【0057】

オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。

【0058】

ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、ＰＤＡ）による利用が促進される。

【0059】

リソースプーリング：プロバイダのコンピューティングリソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。

【0060】

迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。

【0061】

測定されるサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの測定機能を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。

【0062】

サービスモデルは以下の通りである。

【0063】

サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインタフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。

【0064】

サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。

【0065】

サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含む任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースを準備することである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。

【0066】

展開モデルは以下の通りである。

【0067】

プライベートクラウド：このクラウドインフラストラクチャは、特定の組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

【0068】

コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。

【0069】

パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。

【0070】

ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。

【0071】

クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。

【0072】

図３は、本発明の少なくとも一実施形態によるクラウドコンピューティング環境４５０を示すブロック図である。クラウドコンピューティング環境４５０は１つまたは複数のクラウドコンピューティングノード４１０を含む。これらに対して、クラウド消費者が使用するローカルコンピュータ装置（例えば、ＰＤＡもしくは携帯電話４５４Ａ、デスクトップコンピュータ４５４Ｂ、ラップトップコンピュータ４５４Ｃ、もしくは自動車コンピュータシステム４５４Ｎまたはこれらの組み合わせなど）は通信を行うことができる。ノード４１０は互いに通信することができる。ノード４１０は、例えば、上述のプライベート、コミュニティ、パブリックもしくはハイブリッドクラウドまたはこれらの組み合わせなど、１つまたは複数のネットワークにおいて、物理的または仮想的にグループ化（不図示）することができる。これにより、クラウドコンピューティング環境４５０は、サービスとしてのインフラストラクチャ、プラットフォームもしくはソフトウェアまたはこれらの組み合わせを提供することができ、クラウド消費者はこれらについて、ローカルコンピュータ装置上にリソースを維持する必要がない。なお、図３に示すコンピュータ装置４５４Ａ～Ｎの種類は例示に過ぎず、コンピューティングノード４１０およびクラウドコンピューティング環境４５０は、任意の種類のネットワークもしくはネットワークアドレス指定可能接続（例えば、ウェブブラウザの使用）またはその両方を介して、任意の種類の電子装置と通信可能であることを理解されたい。

【0073】

図４は、本発明の少なくとも一実施形態による、図３に示されるクラウドコンピューティング環境４５０によって提供される機能的抽象化モデルレイヤのセットを示すブロック図である。なお、図４に示すコンポーネント、レイヤおよび機能は例示に過ぎず、本発明の実施形態はこれらに限定されないことをあらかじめ理解されたい。図示するように、以下のレイヤおよび対応する機能が提供される。

【0074】

ハードウェアおよびソフトウェアレイヤ４６０は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例には、メインフレーム４６１、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャベースのサーバ４６２、サーバ４６３、ブレードサーバ４６４、記憶装置４６５、ならびにネットワークおよびネットワークコンポーネント４６６が含まれる。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア４６７およびデータベースソフトウェア４６８を含む。

【0075】

仮想化レイヤ４７０は、抽象化レイヤを提供する。当該レイヤから、例えば以下の仮想エンティティを提供することができる：仮想サーバ４７１、仮想ストレージ４７２、仮想プライベートネットワークを含む仮想ネットワーク４７３、仮想アプリケーションおよびオペレーティングシステム４７４、ならびに仮想クライアント４７５。

【0076】

一例として、管理レイヤ４８０は以下の機能を提供することができる。リソース準備４８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を可能にする。計量および価格設定４８２は、クラウドコンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費に対する請求またはインボイス送付を可能にする。一例として、これらのリソースはアプリケーションソフトウェアのライセンスを含んでよい。セキュリティは、データおよび他のリソースに対する保護のみならず、クラウドコンシューマおよびタスクの識別確認を可能にする。ユーザポータル４８３は、コンシューマおよびシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理４８４は、要求されたサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を可能にする。サービス品質保証（ＳＬＡ）の計画および履行４８５は、ＳＬＡに従って将来必要になると予想されるクラウドコンピューティングリソースの事前手配および調達を可能にする。

【0077】

ワークロードレイヤ４９０は、クラウドコンピューティング環境が利用可能な機能の例を提供する。このレイヤから提供可能なワークロードおよび機能の例には、マッピングおよびナビゲーション４９１、ソフトウェア開発およびライフサイクル管理４９２、仮想教室教育の配信４９３、データ分析処理４９４、取引処理４９５、ならびに、新しい推定器を使用したＭＬモデルのサブセットのトレーニング４９６が含まれる。

【0078】

本発明の態様を、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書で説明する。フローチャート図もしくはブロック図またはその両方の各ブロック、ならびにフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されよう。

【0079】

本明細書で言及されるメモリもしくはコンピュータプログラム製品またはその両方は、データを保持および記憶し、命令実行装置によって使用される命令を記憶することができる任意の有形装置であってよい。メモリまたはコンピュータプログラム製品は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストとしては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶装置は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。

【0080】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置に、または、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくはワイヤレスネットワークネットワークまたはその組み合わせ）を介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。

【0081】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、統合回路のための構成データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され、または（例えば、インターネットサービスプロバイダーを使用したインターネット経由で）外部コンピュータに接続されてよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してパーソナライズすることにより、コンピュータ可読プログラム命令を実行することができる。

【0082】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に記載されている。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

【0083】

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／動作を実装するための手段を生成するように、機械を生成するために汎用コンピュータ、特殊用途コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置に提供されることができる。これらのコンピュータ可読プログラム命令はまた、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為の態様を実装する命令を含む生成品の１つを命令が記憶されたコンピュータ可読プログラム命令が構成するように、コンピュータ、プログラム可能なデータ処理装置、もしくは特定の方法で機能する他のデバイスまたはその組み合わせに接続可能なコンピュータ可読記憶媒体の中に記憶されることができる。

【0084】

コンピュータ、他のプログラム可能な装置、または他のデバイス上でフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為を実行する命令のように、コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の操作ステップを実行し、コンピュータ実装された過程を生成することができる。

【0085】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品が実行可能な実装の構成、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表してよく、これは、指定された論理機能を実装するための１つまたは複数の実行可能命令を構成する。いくつかの代替の実施形態では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して示される２つのブロックは、実際には、１つのステップとして達成される場合があり、同時に、実質的に同時に、部分的または全体的に時間的に重複する方法で実行されるか、またはブロックは、関係する機能に応じて逆の順序で実行される場合がある。ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能または動作を実行する、または特別な目的のハードウェアとコンピュータ命令の組み合わせを実行する特別な目的のハードウェアベースのシステムによって実装できることにも留意されたい。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-01-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

機械学習システムの機械学習プロセスツールによって機械学習システムの機械学習モデルをトレーニングするための方法であって、前記機械学習プロセスツールは、前記トレーニングを実行する際に、トレーニングデータセットのグループのうち少なくとも１つのトレーニングデータセットを、機械学習モデルのそれぞれの推定器への入力として提供し、前記推定器は、前記機械学習システムのメモリに記憶された推定器リストの中から選択され、前記方法は、
前記機械学習システムをネットワークに接続することと、
前記機械学習システムにより、前記ネットワークを介して、前記推定器リストに含まれていない新しい推定器とそれぞれのドキュメントを受信することと、
前記メモリに保存されている前記リストに前記新しい推定器を追加することと、
前記ドキュメントを読み込み、それぞれの抽出されたデータを前記機械学習プロセスツールに提供することと、
前記機械学習プロセスツールによって、前記抽出されたデータに基づいて、トレーニングデータセットの前記グループのうち少なくとも１つのトレーニングデータセットを前記新しい推定器に適合させることと、
前記少なくとも１つのトレーニングデータセットを入力として、前記新しい推定器を使用して少なくとも前記機械学習モデルのサブセットをトレーニングし、前記トレーニングは出力をもたらす、トレーニングすることと、を含む方法。

【請求項2】

前記機械学習システムをネットワークに接続することは、アプリケーションプログラミングインタフェースを介して前記機械学習システムを前記ネットワークに接続することを含む、請求項１に記載の方法。

【請求項3】

前記ネットワークはインターネットである、請求項１または２に記載の方法。

【請求項4】

前記トレーニングで得られた前記入力と前記出力に基づいて前記機械学習モデルをランク付けし、最良のランクを有する前記機械学習モデルを選択することをさらに含む、請求項１に記載の方法。

【請求項5】

受け入れ可能な任意の新しい推定器を含むそれぞれの推定器に関して満たすべき規則を定義することを含み、少なくとも１つのトレーニングデータセットを適合させることは前記規則に従って行われる、請求項１に記載の方法。

【請求項6】

前記規則は、ハイパーパラメータの形式およびハイパーパラメータの１つまたは複数の値の少なくとも１つによって定義される、請求項５に記載の方法。

【請求項7】

前記ハイパーパラメータは、可変スキームによって編成される、請求項６に記載の方法。

【請求項8】

新しい推定器、新しいソフトウェア、新しいソフトウェアのバージョンのうち少なくとも１つのロード時に前記スキームを更新することをさらに含む、請求項７に記載の方法。

【請求項9】

前記規則に従った少なくとも１つのトレーニングデータセットの適合が不可能である場合、または前記新しい推定器が許容される推定器リストに含まれない場合、前記新しい推定器をフィルタリングすることをさらに含み、前記許容される推定器リストはメモリに記憶される、請求項５に記載の方法。

【請求項10】

前記ドキュメントの少なくとも一部を機械可読形式に変換することをさらに含む、請求項１に記載の方法。

【請求項11】

前記機械可読形式は、JavaScript Object Notation（登録商標）、JSONである、請求項１０に記載の方法。

【請求項12】

ソフトウェアがクラウド環境におけるサービスとして提供され、前記サービスが前記方法の少なくとも１つのステップの実行を提供する、請求項１に記載の方法。

【請求項13】

機械学習モデルを使用し、少なくとも１つのトレーニングデータセットを機械学習モデルのそれぞれの推定器への入力として使用することによる機械学習のためコンピュータシステムであって、前記推定器は推定器リストから選択され、前記コンピュータシステムは、
前記推定器リストとトレーニングデータセットのグループを記憶するメモリと、
前記機械学習モデルのグループを定義するために設定された機械学習プロセスツールであって、前記機械学習プロセスツールは、トレーニングを実行する際に、機械学習モデルのそれぞれの推定器への入力として、前記トレーニングデータセットのうちの少なくとも１つのトレーニングデータセットを提供するように構成されている、機械学習プロセスツールと、を含み、
前記コンピュータシステムは、
前記コンピュータシステムをネットワークに接続することと、
前記コンピュータシステムにより、前記ネットワークを介して、前記推定器リストに含まれていない新しい推定器とそれぞれのドキュメントを受信することと、
前記メモリに保存されている前記リストに前記新しい推定器を追加することと、
前記ドキュメントを読み込み、それぞれの抽出されたデータを前記機械学習プロセスツールに提供することと、
前記機械学習プロセスツールによって、前記抽出されたデータに基づいて、トレーニングデータセットの前記グループのうち少なくとも１つのトレーニングデータセットを前記新しい推定器に適合させることと、
前記少なくとも１つのトレーニングデータセットを入力として、前記新しい推定器を使用して少なくとも前記機械学習モデルのサブセットをトレーニングし、前記トレーニングは出力をもたらす、トレーニングすることと、
のために設定されている、コンピュータシステム。

【請求項14】

機械学習システムの機械学習プロセスツールであって、トレーニングを実行する際に、トレーニングデータセットのグループのうち少なくとも１つのトレーニングデータセットを、機械学習モデルのそれぞれの推定器への入力として提供し、前記推定器は、前記機械学習システムのメモリに記憶された推定器リストの中から選択される、前記機械学習プロセスツールと、
コンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体と、を含み、前記コンピュータ可読プログラムコードは、方法を実施するように構成され、前記方法は、
前記機械学習システムをネットワークに接続することと、
前記機械学習システムにより、前記ネットワークを介して、前記推定器リストに含まれていない新しい推定器とそれぞれのドキュメントを受信することと、
前記メモリに保存されている前記リストに前記新しい推定器を追加することと、
前記ドキュメントを読み込み、それぞれの抽出されたデータを前記機械学習プロセスツールに提供することと、
前記機械学習プロセスツールによって、前記抽出されたデータに基づいて、トレーニングデータセットの前記グループのうち少なくとも１つのトレーニングデータセットを前記新しい推定器に適合させることと、
前記少なくとも１つのトレーニングデータセットを入力として、前記新しい推定器を使用して少なくとも前記機械学習モデルのサブセットをトレーニングし、前記トレーニングは出力をもたらす、トレーニングすることと、を含む、コンピュータプログラム製品。

【手続補正2】

【補正対象書類名】図面

【補正対象項目名】図２

【補正方法】変更

【補正の内容】

【図2】

【国際調査報告】