特許 7364146 データベースクエリ処理のための機械学習推論コール

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】データベースクエリ処理のための機械学習推論コール

(51)【国際特許分類】

   G06F 16/245 20190101AFI20231011BHJP

   G06N 20/00 20190101ALI20231011BHJP

【ＦＩ】

G06F16/245

G06N20/00

【請求項の数】 19

(21)【出願番号】P 2022517733

(86)(22)【出願日】2020-09-16

(65)【公表番号】

(43)【公表日】2022-11-24

(86)【国際出願番号】 US2020051072

(87)【国際公開番号】W WO2021055478

(87)【国際公開日】2021-03-25

【審査請求日】2022-04-12

(31)【優先権主張番号】16/578,060

(32)【優先日】2019-09-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】506329306

【氏名又は名称】アマゾン テクノロジーズ インコーポレイテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ソン、サンギル

(72)【発明者】

【氏名】ユーン、ヨンシク

(72)【発明者】

【氏名】グプタ、カマル カント

(72)【発明者】

【氏名】クリシュナムルシー、サイレシュワー

(72)【発明者】

【氏名】ステファニ、ステファノ

(72)【発明者】

【氏名】セングプタ、スディプタ

(72)【発明者】

【氏名】ノ、ジェユン

【審査官】原 秀人

(56)【参考文献】

【文献】特表２０１７－５２４１８３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／００１５７８３（ＵＳ，Ａ１）

【文献】特表２０１７－５０５９６４（ＪＰ，Ａ）

【文献】特開２００５－２５８６８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

１つ以上の電子デバイスによって実装されたデータベースサービスが、機械学習リクエストの第１のバッチを生成するために、一時データ構造を使用してデータベースサービスに格納されたデータにクエリの少なくとも一部分を実行することであって、前記クエリが機械学習サービスを識別する、前記実行することと、
前記データベースサービスが、機械学習リクエストの前記第１のバッチに基づいて、かつ、前記機械学習サービスに基づいて、機械学習リクエストの第２のバッチを生成することと、
前記データベースサービスが、複数の機械学習応答を取得することであって、前記複数の機械学習応答が、機械学習リクエストの前記第２のバッチを受信することに応答して、機械学習モデルを用いて、前記機械学習サービスによって生成される、前記取得することと、
を含む、方法。

【請求項2】

前記クエリが、構造化照会言語クエリ（ＳＱＬクエリ）である、請求項１に記載の方法。

【請求項3】

前記ＳＱＬクエリが、前記機械学習サービスへのアプリケーションプログラミングインターフェース（ＡＰＩ）コールを用いて前記機械学習サービスを識別する、請求項２に記載の方法。

【請求項4】

前記機械学習サービスが、前記ＡＰＩを公開し、複数のユーザから受信したリクエストに応答して、前記機械学習モデルを用いて推論を実行する、請求項３に記載の方法。

【請求項5】

前記クエリが、前記機械学習サービスによってホストされた前記機械学習モデルに関連付けられたエンドポイントを用いて前記機械学習サービスを識別する、請求項１～４のいずれか一項に記載の方法。

【請求項6】

機械学習リクエストの前記第２のバッチが、少なくとも１つのネットワークを介して前記機械学習サービスに送信されている、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記データベースサービスが、前記機械学習モデルのための前記機械学習サービスにリクエストを送信することと、
前記データベースサービスが、前記機械学習サービスから前記機械学習モデルを受信することであって、前記機械学習モデルが、前記機械学習サービスによって、前記データベースサービスのためにコンパイルされている、前記受信することと、をさらに含み、
機械学習リクエストの前記第２のバッチが、前記データベースサービスによってホストされた前記機械学習モデルに送信されている、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記データベースサービスが、前記データベースサービスの複数のノード内に前記機械学習モデルのコピーを格納することをさらに含み、前記クエリの処理の間に前記データベースサービスの特定のノードによって生成された機械学習リクエストが、前記特定のノードに格納された前記機械学習モデルの前記コピーに送信されている、請求項７に記載の方法。

【請求項9】

前記第２のバッチのサイズが、前記第１のバッチのサイズとは異なっており、前記第２のバッチのサイズが、前記機械学習サービスに関連付けられている、請求項１～８のいずれか一項に記載の方法。

【請求項10】

機械学習リクエストの前記第１のバッチが、複数の異なるユーザから受信した複数のクエリに応答して生成された機械学習リクエストを含む、請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記データベースサービスが、前記第１のバッチを、前記機械学習サービスに送信される複数の第２のバッチに分割することをさらに備える、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記第２のバッチが前記機械学習サービスにより処理された場合、前記データベースサービスが、前記第２のバッチの処理が完了したことを示すフラグ又はインジケータをシステムの出力バッファに追加することをさらに備える、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

第１の１つ以上の電子デバイスによって実装された機械学習サービスと、
第２の１つ以上の電子デバイスによって実装されたデータベースサービスと、を含むシステムであって、前記データベースサービスが、命令を含み、前記命令は、実行されるとデータベースに、
機械学習リクエストの第１のバッチを生成するために、一時データ構造を使用してデータベースサービスに格納されたデータにクエリの少なくとも一部分を実行することであって、前記クエリが前記機械学習サービスを識別する、前記実行することと、
機械学習リクエストの前記第１のバッチに基づいて、かつ、前記機械学習サービスに基づいて、機械学習リクエストの第２のバッチを生成することと、
複数の機械学習応答を取得することであって、前記複数の機械学習応答が、機械学習リクエストの前記第２のバッチを受信することに応答して、機械学習モデルを用いて、前記機械学習サービスによって生成される、前記取得することと、
を行わせる、システム。

【請求項14】

前記クエリが、構造化照会言語クエリ（ＳＱＬクエリ）である、請求項１３に記載のシステム。

【請求項15】

前記ＳＱＬクエリが、前記機械学習サービスへのアプリケーションプログラミングインターフェース（ＡＰＩ）コールを用いて前記機械学習サービスを識別する、請求項１４に記載のシステム。

【請求項16】

前記機械学習サービスが、前記ＡＰＩを公開し、複数のユーザから受信したリクエストに応答して前記機械学習モデルを用いた推論を実行する、請求項１５に記載のシステム。

【請求項17】

前記クエリが、前記機械学習サービスによってホストされた前記機械学習モデルに関連付けられたエンドポイントを用いて前記機械学習サービスを識別する、請求項１３～１６のいずれか一項に記載のシステム。

【請求項18】

前記データベースサービスは、前記第１のバッチを、前記機械学習サービスに送信される複数の第２のバッチに分割するように構成されている、請求項１３～１７のいずれか一項に記載のシステム。

【請求項19】

前記データベースサービスは、前記第２のバッチが前記機械学習サービスにより処理された場合、前記第２のバッチの処理が完了したことを示すフラグ又はインジケータを前記システムの出力バッファに追加するように構成されている、請求項１３～１８のいずれか一項に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

機械学習の分野は、テクノロジの将来の重要な牽引力になり得るとして広く認識されるようになっている。現在、世界中の組織は、機械学習技術を使用して、製品、プロセス、顧客体験などの側面の最適化などの多種多様な問題に対処することを模索している。機械学習の高レベルのビューはシンプルであると考えられているが、（例えば、トレーニングデータをコンピュータに供給して、コンピュータが、トレーニングデータから自動的に学習して他のデータに対して予測を行うことができるモデルを生成できるようにする）実際に機械学習手法を実装することは、非常に困難になり得る。

【0002】

この困難さは、機械学習アルゴリズムの基礎となるアルゴリズムと数学の複雑性に部分的によるものであり、これらは通常、当分野の最前線にいる学術研究者や個人によって開発されている。さらに時間とリソースを大きく消費し、複雑性で満たされたものであり得る有用なモデルを生成、更新、及び展開することもまた困難である。さらに機械学習モデルは、特定のユースケースと運用環境に極端に焦点を当てる傾向があり、それにより、基盤となる環境やユースケースへのいずれかの変化は、新規モデルの完全な再生成が必要となり得る。さらに機械学習テクノロジの構築と展開は、従来のソフトウェアエンジニアリングとはまったく異なり、従来のソフトウェアエンジニアリング開発チームが精通しているものとは異なるプラクティスとアーキテクチャを必要とする。機械学習技術は組織に多くの恩恵をもたらす一方で、そのような機械学習技術を使用するには、リレーショナルデータベースやその他のデータストアを使用する従来のデータ処理では簡単に使用できない重要な専門知識が必要とされる。

【0003】

本開示による様々な実施形態が、図面を参照して説明される。

【図面の簡単な説明】

【0004】

【図1】いくつかの実施形態による、データベースクエリ処理のための機械学習推論コールのための環境を示す図である。

【図2】いくつかの実施形態による非同期リクエストハンドラを示す図である。

【図3】いくつかの実施形態による、ローカル機械学習モデルを用いるデータベースクエリ処理のための機械学習推論コールのための環境を示す図である。

【図4】いくつかの実施形態による、ローカル機械学習モデルを用いるデータベースクエリ処理のための機械学習推論コールのための代替的環境を示す図である。

【図5】いくつかの実施形態による、機械学習推論コールのための例示的なユーザインターフェースを示す図である。

【図6】いくつかの実施形態による、データベースクエリ処理のための機械学習推論コールを行うための方法の動作を示すフロー図である。

【図7】いくつかの実施形態における、機械学習モデルがトレーニングされ、ホスティングされる例示的な動作環境のブロック図である。

【図8】いくつかの実施形態による、一例示的なプロバイダネットワーク環境を示す。

【図9】いくつかの実施形態による、顧客にストレージサービス及びハードウェア仮想化サービスを提供する一例示的なプロバイダネットワークのブロック図である。

【図10】いくつかの実施形態で使用され得る一例示的なコンピュータシステムを示すブロック図である。

【発明を実施するための形態】

【0005】

本開示は、データベースクエリ処理のための機械学習推論コールのための方法、装置、システム、及び非一時的なコンピュータ可読記憶媒体に関する。いくつかの実施形態によれば、機械学習推論コールは、データベースクエリに統合されることができ、ユーザに専門的な機械学習の知識を要求することなく、機械学習技術の使用を可能にする。いくつかの実施形態では、機械学習コールは、アプリケーション、データベースサービス、等に大幅な変更を加えることなく、構造化照会言語（ＳＱＬ）クエリなどのデータベースクエリ、または、構造化データの処理に使用される他の一般的なクエリ言語に統合され得る。

【0006】

図１は、いくつかの実施形態による、データベースクエリ処理のための機械学習推論コールの環境を示す図である。図１に示されるように、プロバイダネットワーク１００は、データベースサービス１１２を含むことができる。ユーザは、データベースサービス１１２の１つ以上のデータベースインスタンス１１０に格納されている構造化データを有し得る。データは、ユーザによって、ユーザデバイス１０２からデータベースサービスに追加され得るか、またはプロバイダネットワーク１００のサービス、もしくはプロバイダネットワーク１００の外部の他のサービスから追加され得る。このデータは、ユーザにとって有用な情報を取得するために分析され得る。この分析の一部は、機械学習技術を使用してデータの推論を実行することを含み得る。例えば、テキストデータは、データベースサービス１１２に格納された画像から抽出され得、テキストデータは、テキストデータのスニペットに関連するセンチメントを識別するために分析され得、及び／または他の特殊なモデルは、データに関する情報を取得するためにユーザのデータに対して推論を実行するために使用され得る。しかしながら、説明したように、機械学習技術の使用には多くの場合、専門知識を要し、データベースサービス１１２などのデータ管理サービスに十分に統合されていない。実施形態は、データベースクエリ処理のための機械学習推論コールを行うための技術を提供することによって、これらの問題に対処している。

【0007】

プロバイダネットワーク１００（または「クラウド」プロバイダネットワーク）は、コンピューティングリソース（例えば、仮想マシン（ＶＭ）インスタンス及び／またはコンテナを実行すること、バッチジョブを実行すること、サーバをプロビジョニングすることなくコードを実行すること）、データ／ストレージリソース（例えば、オブジェクトストレージ、ブロックレベルストレージ、データアーカイブストレージ、データベース及びデータベーステーブルなど）、ネットワーク関連リソース（例えば、コンピューティングリソース、コンテンツ配信ネットワーク（ＣＤＮ）、ドメインネームサービス（ＤＮＳ）の群を含む仮想ネットワークを構成すること）、アプリケーションリソース（例えば、データベース、アプリケーション構築／配備サービス）、アクセスポリシーまたはロール、アイデンティティポリシーまたはロール、マシンイメージ、ルータ、及び他のデータ処理リソースなど、様々な種類のコンピューティング関連リソースのうちの１つ以上を利用する能力をユーザに提供する。これら及び他のコンピューティングリソースは、コンピューティングインスタンスを実行できるハードウェア仮想化サービス、データオブジェクトを格納できるストレージサービスなどのサービスとして提供され得る。プロバイダネットワーク１００のユーザ（または「顧客」）は、顧客アカウントに対応付けられた１つ以上のユーザアカウントを利用することができるが、これらの用語は、使用される文脈に応じて、多少同じ意味で用いられることができる。ユーザは、例えば、アプリケーションプログラミングインターフェース（ＡＰＩ）コールの使用を通じて、ウェブサイトまたはアプリケーションとして実装されたコンソールを介して、など、１つ以上のインターフェース（複数可）１０４を介して、１つ以上の中間ネットワーク１０６（例えば、インターネット）をわたってプロバイダネットワーク１００と相互対話し得る。インターフェース（複数可）１０４は、プロバイダネットワーク１００のコントロールプレーン１０２の一部であり得るか、またはプロバイダネットワーク１００のコントロールプレーン１０２のフロントエンドとして機能することができ、プロバイダネットワーク１００のコントロールプレーン１０２は、顧客へとより直接的に提供され得るサービスをサポートし可能にする「バックエンド」サービスを含む。

【0008】

例えば、クラウドプロバイダネットワーク（または単に「クラウド」）とは、通常、アクセス可能な仮想化コンピューティングリソース（コンピューティング、ストレージ、ネットワークリソース、アプリケーション、サービスなど）の大規模なプールを指す。クラウドは、顧客のコマンドに応じてプログラムでプロビジョニング及びリリースできる構成可能なコンピューティングリソースの共有プールへの便利なオンデマンドネットワークアクセスを提供することができる。これらのリソースは、変動する負荷を調整するために動的にプロビジョニング及び再構成されることができる。したがって、クラウドコンピューティングは、公的にアクセス可能なネットワーク（例えば、インターネット、セルラー通信ネットワーク）を介してサービスとして提供されるアプリケーションと、これらのサービスを提供するクラウドプロバイダデータセンタのハードウェアとソフトウェアと、の両方と見なされ得る。

【0009】

概して、プロバイダネットワークのトラフィックと操作は、大きく２つのカテゴリに分類でき、それらは、論理コントロールプレーン上で実行されるコントロールプレーン操作と、論理データプレーン上で実行されるデータプレーン操作と、である。データプレーンは、分散型コンピューティングシステムを通じたユーザデータの動きを表す一方で、コントロールプレーンは、分散型コンピューティングシステムを通じた制御信号の動きを表す。コントロールプレーンは、通常、１つ以上のコントロールサーバにわたって分散され、１つ以上のコントロールサーバによって実装される１つ以上のコントロールプレーン構成要素を含む。コントロールプレーントラフィックは、通常、システム構成や管理（例えば、リソースの配置、ハードウェア容量管理、診断監視、システム状態情報など）などの運営管理操作を含む。データプレーンは、プロバイダネットワークに実装されている顧客リソース（例えば、コンピューティングインスタンス、コンテナ、ブロックストレージボリューム、データベース、ファイルストレージ）を含む。データプレーントラフィックには、通常、顧客データを顧客リソースとの間で転送するなどの非運営管理操作が含まれる。コントロールプレーン構成要素は通常、データプレーンサーバとは別のサーバセットに実装され、コントロールプレーントラフィックとデータプレーントラフィックは、別々の／異なるネットワークを介して送信され得る。

【0010】

プロバイダネットワーク１００は、これら及び他のコンピューティングリソースサービスを提供するために、仮想化技術に依存することが多い。例えば、仮想化テクノロジを使用して、計算インスタンス（例えば、基礎を成すホストＯ／Ｓの上部でさらに動作し得るか、またはし得ないハイパーバイザを使用して動作するゲストオペレーティングシステム（Ｏ／Ｓ）を使用するＶＭ、ＶＭ内で動作し得るかし得ないコンテナ、基礎を成すハイパーバイザなしに「ベアメタル」ハードウェア上で実行され得るインスタンス）を制御または利用する能力がユーザに提供され得、１つまたは複数の計算インスタンスは、単一の電子デバイスを使用して実装されることができる。したがって、ユーザは、プロバイダネットワークによってホストされるコンピューティングインスタンス（例えば、ハードウェア仮想化サービスによって提供される）を直接利用して、様々なコンピューティングタスクを実行することができる。追加的に、または代替的に、ユーザは、プロバイダネットワークにより実行されるコードを提出することによって計算インスタンスを間接的に利用することができ（例えば、オンデマンドコード実行サービスを介して）、これが、次いで、計算インスタンスを利用してコードを実行（通常、含まれる基礎となる計算インスタンス（複数可）のいずれの制御も知識もユーザが有することなく）する。

【0011】

図１に示されるように、リクエストがデータベースサービス１１２に送信され、１つ以上のデータベースインスタンス１１０に格納されたデータに対してクエリを実行することができる。いくつかの実施形態では、このリクエストは、数字１Ａに示されるように、ユーザデバイス１０２から発信されることができるか、または数字１Ｂに示されるように、プロバイダネットワーク１００のサービス１０８（例えば、サーバレス機能または他のサービス）から発信されることができる。様々な実施形態では、「サーバレス」機能は、オンデマンドで実行されることができる、ユーザまたは他のエンティティ（プロバイダネットワーク自体など）によって提供されるコードを含み得る。サーバレス機能は、オンデマンドコード実行サービスによってプロバイダネットワーク１００内で維持され得、特定のユーザまたはアカウントに関連付けられ得るか、または概して複数のユーザ／アカウントにアクセス可能になり得る。サーバレス機能は、ユニフォームリソースロケータ（ＵＲＬ）、ユニフォームリソース識別子（ＵＲＩ）、またはサーバレス機能を呼び出すために使用できるその他の参照に関連付けられることができる。サーバレス機能は、トリガーまたは呼び出されたときに、仮想マシン、コンテナなどの計算インスタンスによって実行され得る。いくつかの実施形態では、サーバレス機能は、アプリケーションプログラミングインターフェース（ＡＰＩ）コール、または特別にフォーマットされたハイパーテキストトランスポートプロトコル（ＴＸ）リクエストメッセージを介して呼び出されることができる。したがって、ユーザがサーバレス機能を実行するための専用インフラストラクチャを維持する必要なしに、ユーザは、オンデマンドで実行できるサーバレス機能を定義できる。代わりに、サーバレス機能は、プロバイダネットワーク１００によって維持されるリソースを使用してオンデマンドで実行されることができる。いくつかの実施形態では、これらのリソースは「準備完了」状態（例えば、サーバレス機能を実行するように構成された事前に初期化されたランタイム環境を有する）に維持され得、サーバレス機能がほぼリアルタイムで実行されることを可能にする。

【0012】

リクエストは、ユーザデバイス１０２上で実行されるクライアント１０４Ａ、またはサービス１０８のクライアント１０４Ｂから発信されることができ、これは、アプリケーションプログラミングインターフェース（ＡＰＩ）、テキストインターフェース、グラフィカルユーザインターフェース（ＧＵＩ）、または他のインターフェースなどの１つ以上のインターフェースを介してデータベースサービス１１２とインターフェースすることができる。リクエストには、ＳＱＬ（または他の照会言語）ステートメントなどのデータベースクエリが含まれ得る。実施形態は、概してＳＱＬステートメントを使用して説明されているが、これは説明を容易にするためであり、限定することを意図するものではない。実施形態は、代替の照会言語を使用して同様に実装され得る。データベースインスタンス１１０は、リクエストに含まれるクエリを処理することができる。様々な実施形態において、データベースサービスは、データベースクエリに含まれる推論リクエストを識別するために更新され得る。いくつかの実施形態では、データベースサービス１１２は、機械学習支援サービス１２０によって公開されたＡＰＩのためのＡＰＩコールを識別できるように更新されることができる。機械学習支援サービス１２０は、ユーザデータの推論を実行するために使用され得る１つ以上の事前トレーニングされたモデルを含み得る。このモデルは、センチメント分析、テキスト識別、オブジェクト検出など、複数のユーザによって使用され得る、様々な推論タスク用にトレーニングされ得る。

【0013】

いくつかの実施形態では、ユーザは、カスタムモデルをトレーニングするか、または独自のモデルを提供することができ、それらは、次いでホストされたモデル１１８として機械学習サービス１１６によってホストされる。これらのホストされたモデルは、ユーザ自身のトレーニングデータに基づいて、ユーザに固有の推論タスク、または他のユーザ固有のタスクを実行するために使用され得る。そのような実施形態では、ユーザは、クエリ実行中にデータベースサービスが認識する機能、またはモデル呼び出しコマンドを作成することができる。例えば、ユーザは、データベースサービス１１２に格納されたデータに対して不正検出を実行するために使用されることができるホストされたモデル１１８を有することができる。モデルを使用して推論を実行するために、ユーザは、以下のユーザ定義関数などを介して、いつクエリでモデルが呼び出されているかを認識するようにデータベースサービスに指示することができる。
ｃｒｅａｔｅ ｍｏｄｅｌ Ｍｙ＿ＦｒａｕｄＤｅｔｅｃｔｉｏｎ
ｆｒｏｍ ［ｓｔｏｒａｇｅ ｌｏｃａｔｉｏｎ］
ｒｅｔｕｒｎｓ ［ｔｙｐｅ］
（
［ｉｎｐｕｔｓ ｔｏ ｔｈｅ ｍｏｄｅｌ］
）；

【0014】

次に、ユーザは、モデルを使用して、データベースクエリ内のデータベースサービス１１２内のデータに対して推論を実行することができる。例えば、そのようなクエリは、ｓｅｌｅｃｔ Ｍｙ＿ＦｒａｕｄＤｅｔｅｃｔｉｏｎ（［ｉｎｐｕｔｓ］） ｆｒｏｍ ［ｄａｔａ ｓｏｕｒｃｅ］を含むことができ、ここで、ホストされたモデルであるＭｙ＿ＦｒａｕｄＤｅｔｅｃｔｉｏｎは、入力に基づいて、１つ以上のデータベーステーブル、１つ以上のデータベーステーブルの特定の列、などといったデータソースからのデータ上で呼び出される。クエリ処理中に、データベースパーサは、セレクトステートメント内のＭｙ＿ＦｒａｕｄＤｅｔｅｃｔｉｏｎコールを識別し、モデルを使用して推論を実行するために機械学習サービスに提供されるそのコールに関連付けられたデータを判定できる。例えば、［ｉｎｐｕｔｓ］は、特定のデータベーステーブルの１つ以上の列、特定のデータベーステーブルの特定の行（複数可）と列（複数可）、複数のデータベーステーブルのデータなどを識別するステートメントを含み得る。同様に、機械学習支援サービスに関連付けられたＡＰＩがクエリ処理中に識別された場合、データベースパーサは、クエリ内のＡＰＩを識別し、事前トレーニングされたモデルを使用して推論を実行するために機械学習支援サービスに提供されるＡＰＩに関連付けられたデータを決定できる。

【0015】

数字２において、機械学習サービスまたは機械学習支援サービスに提供されるデータは、非同期リクエストハンドラ１１４に提供されることができる。機械学習コールに関連付けられていると識別された各記録が、機械学習サービスまたは機械学習支援サービスに個別に渡される場合、結果として生じる（例えば、別のサービスの呼び出しによって追加された様々なネットワークコールと実際の推論時間によって導入された）遅延は、ユーザエクスペリエンスの低下に繋がる。代わりに、データベースインスタンス１１０のクエリ処理、及び機械学習サービス１１６または機械学習支援サービス１２０によって実行される推論は、非同期リクエストハンドラ１１４を使用して結合解除されることができる。

【0016】

非同期リクエストハンドラは、入力バッファで推論が実行されるデータを受信できる。このことが、データベースサービスが機械学習リクエストをバッチで送信することを可能にし、バッチは、入力バッファサイズまでの数の記録を含み得る。非同期リクエストハンドラが決定したデータが入力バッファに加えられると、非同期リクエストハンドラ１１４は、入力バッファからデータのミニバッチを作成して、数字３Ａと３Ｂに示されるように、クエリで呼び出されたサービスに応じて、機械学習サービスまたは機械学習支援サービスに送信されることができる。ミニバッチサイズは、サービス固有であり得、これは各サービスが、一度に異なる最大数の記録を受信するように構成されていることからである。例えば、所与のサービスによって提供されるＡＰＩは、バッチに含まれ得るリクエストの数に制限を設けることがある。ミニバッチサイズ及び入力バッファバッチサイズは異なり得、非同期リクエストハンドラは、入力バッファ内のリクエストからミニバッチを生成できる。いくつかの実施形態では、ミニバッチサイズは、入力バッファバッチサイズよりも小さくなり得、その場合、非同期リクエストハンドラは、入力バッファからのすべての機械学習リクエストが呼び出された外部サービス（例えば、機械学習サービスまたは機械学習支援サービス）に送信されるまで、複数のミニバッチを生成することができる。いくつかの実施形態では、ミニバッチサイズは、入力バッファバッチサイズより大きくてもよく、この場合、ミニバッチは、入力バッファに含まれるすべてのリクエストを含み得る。

【0017】

いくつかの実施形態では、単一のクエリは、非同期リクエストハンドラ１１４の入力バッファを満たすのに十分な機械学習リクエストを生成することができない。このような場合、非同期リクエストハンドラは、異なるユーザからのクエリを含む複数のクエリによって生成された機械学習リクエスト、及び／またはデータベースサービスによって実行されている異なるトランザクションの一部として機械学習リクエストを取得することができる。

【0018】

機械学習リクエストのミニバッチの受信に応答して、（クエリでどのサービスが呼び出されたかに応じて）機械学習サービス１１６または機械学習支援サービス１２０は、ミニバッチに含まれる記録に対して推論を実行し、各記録の応答を生成することができる。応答は、数字４Ａまたは４Ｂにおいて、非同期リクエストハンドラ１１４の出力バッファに加えられることができる。非同期リクエストハンドラは、出力バッファをモニタし、送信されたリクエストのミニバッチに対して応答の完全なセットが受信されたことを示すフラグまたはその他のデータを追加できる。データベースサービスは、出力バッファを監視することができ、フラグが識別されるときに、数字５で示されるように、出力バッファから応答をプルすることができる。非同期リクエストハンドラが、複数のユーザからのリクエスト、及び／またはトランザクションを処理しているいくつかの実施形態では、各データベースインスタンスは、その特定の応答について出力バッファを監視し、そのインスタンスによって送信されたリクエストに対応する応答のみをプルすることができる。いくつかの実施形態では、各応答は、応答が関連付けられているリクエスト、データベースインスタンス、ユーザ、及び／またはトランザクションを識別することができる。クエリ処理は、機械学習サービス及び／または機械学習支援サービスからの応答を使用してデータベースインスタンスによって完了されることができ、数字６Ａまたは６Ｂにおいて、クエリの結果が戻され得る。

【0019】

図２は、いくつかの実施形態による非同期リクエストハンドラを示す図である。データベースインスタンス１１０がクエリを処理するとき、クエリを実行するためのクエリ実行計画を識別することができる。所与のクエリは様々な方法で実行されることができ、それぞれの方法が、様々な性能特性を提示することができる。クエリオプティマイザは、クエリのための１つ以上の性能要件に基づく、所与のクエリのための最も良好なクエリ実行計画であり得る。いくつかの実施形態では、クエリ実行中に、データベースプロセッサ２０８は、スレッドを加えるためのクエリ実行計画の実行を可能にする仮想オペレータ２００を作成することができ、そこでは、機械学習リクエスト（複数可）が送信されることができ、メインクエリ処理スレッドをブロックすることなく応答が受信されることができる。いくつかの実施形態では、クエリオプティマイザは、クエリ内の述語の評価順序を変更して、仮想オペレータ２００によって行われる機械学習コールを必要とする記録の数を減らすことができる。

【0020】

仮想オペレータ２００は、非同期リクエストハンドラ１１４の入力バッファ２０２サイズに等しいバッチで機械学習サービスまたは機械学習支援サービスに送信される必要がある記録を識別することができる。いくつかの実施形態では、仮想オペレータ２００は、一時データ構造（例えば、一時的ファイル、スクラッチパッド、または他のデータ構造）として実装され得、これは、機械学習サービスまたは機械学習支援サービスに送信されることになる記録を識別するために、クエリの少なくとも一部分を実行するために用いられ得る。例えば、クエリは、データベースサービス内の複数のテーブルからのデータが結合されるように指定し、次いで、結合されたデータ内の記録の一部分が、機械学習サービスまたは機械学習支援サービスに送信されるために識別され得る。仮想オペレータを使用することで、機械学習リクエストが識別され、クエリの他の部分の処理と並行して非同期リクエストハンドラに送信され得る。数字１において、機械学習リクエストのバッチ（例えば、記録、モデルエンドポイント／ＡＰＩなどを含む）が、入力バッファ２０２に送信され得る。いくつかの実施形態では、機械学習リクエストが送信され得る機械学習サービス及び機械学習支援サービスごとに、異なる入力バッファが維持され得る。各入力バッファは、仮想オペレータによりリクエストが追加され得るキューまたはその他のデータ構造として実装され得る。バッチハンドラ２０４は、呼び出されるサービスのための適切なサイズのミニバッチを生成することができる。例えば、数字２において、バッチハンドラ２０４は、入力バッファ２０２からの入力バッチを、呼び出されたサービスに送信される複数のミニバッチに分割することができる。数字３において、各ミニバッチは、次に、呼び出された外部サービス（例えば、機械学習サービス１１６または機械学習支援サービス１２０）に送信されることができる。説明したように、いくつかの実施形態では、入力バッチサイズは、呼び出された外部サービスに関連付けられたバッチサイズよりも小さくなり得る。このような場合、ミニバッチには、入力バッチからのすべての機械学習リクエストが含まれ得る。

【0021】

機械学習応答が生成されると、外部サービスは、数字４で示されるように、非同期リクエストハンドラ１１４の出力バッファ２０６に結果を追加できる。各ミニバッチが完全に処理されると、外部サービスは、ミニバッチの処理が完了したことを示す出力バッファにフラグまたは他のインジケータを追加できる。いくつかの実施形態では、外部サービスは、所与のトランザクションに関連付けられたすべての機械学習リクエストが完了すると、追加的に、または代替的に、出力バッファにフラグまたは他のインジケータを追加することができる。データベースプロセッサ２０８は、機械学習リクエスト及び応答が別個のスレッドで取得されている間に、クエリ実行計画を同時に実行することができる。クエリ実行が機械学習サービス呼び出し（例えば、ＡＰＩコール、ユーザ定義関数など）に達すると、データベースプロセッサ２０８は、数字５において、機械学習応答のための出力バッファ２０６にアクセスすることができる。応答が出力バッファにまだ投入されていない場合、処理は、処理が完了したことを示す１つ以上のフラグが出力バッファに設定されるまで待機することができる。

【0022】

図３は、いくつかの実施形態による、ローカル機械学習モデルを用いたデータベースクエリ処理のための機械学習推論コールの環境を示す図である。説明したように、機械学習サービス１１６及びホストされたモデル１１８と共に使用されるとき、ユーザは、機械学習サービスが呼び出されていることをデータベースインスタンスが識別できるように、ホストされたモデル１１８に関連する関数を定義することができる。数字１において、ユーザ定義の関数ステートメントが、データベースパーサ２００（例えば、ＳＱＬパーサまたは他のパーサ）によって受信され得る。いくつかの実施形態では、数字２において、データベースサービスによって必要とされるネットワークコールの数を減らすために、リクエストが、ユーザ定義の関数ステートメントで識別されるモデルのための機械学習サービスに送信され得る。このリクエストは、データベースインスタンスの性能、ハードウェア、またはその他の特性を含むことができる。機械学習サービスは、データベースインスタンスのためのモデルのコピーをコンパイルし、数字３において、モデルをデータベースインスタンスに返すことができる。いくつかの実施形態では、コンパイルされたモデル３０６は、共有ライブラリ３０４に実装され得る。

【0023】

数字４において、呼び出された機械学習モデルをコンパイルされたモデル３０６にマッピングするモデルスキーマ３０２が生成されることができる。続いて、数字５において、クエリが、モデルを呼び出すデータベースインスタンス１１０によって受信されることができる。データベースプロセッサは、モデルスキーマ３０２を使用して、モデルライブラリ３０４内の対応するコンパイルされたモデル３０６を識別し、数字６で示されるように、非同期リクエストハンドラ３０２を介して機械学習リクエストをコンパイルされたモデルに向けることができる。機械学習リクエストと応答の処理は、外部サービスへのネットワークコールを介してリクエストのミニバッチを送信する代わりに、リクエストのミニバッチが、モデルライブラリ３０４内のコンパイルされたモデル３０６にローカルに送信されていることを除いて、概して、図２に関して上述したように進行することができる。このことが、所与のトランザクションで使用されているモデルの数に必要とされる必要なネットワークコールの数を低減する。

【0024】

図４は、いくつかの実施形態による、ローカル機械学習モデルを用いるデータベースクエリ処理のための機械学習推論コールの代替的環境を示す図である。図４の実施形態では、データベースサービスは、データベースインスタンス１１０（例えば、ヘッドノード）及び複数のノード４００Ａ～４００Ｎを含む複数のノードとして実装され得る。データベースインスタンスに格納されたデータは、複数のストレージノードにわたって分散され得る。数字１～３は、図３に関して上述したように進めることができるが、しかしながら、数字３において、コンパイルされたモデルは、モデル展開器４０２によって受信されている。モデル展開器４０２は、コンパイルされたモデルを取得して、数字４において、モデルのコピーを各ストレージノード４００Ａ～４００Ｎに展開することができる。

【0025】

数字５において、モデルスキーマ３０２が生成されることができ、これが呼び出された機械学習モデルをコンパイルされたモデル３０６にマッピングする。続いて、数字６において、クエリが、モデルを呼び出すデータベースインスタンス１１０によって受信されることができる。数字７において、クエリが、データが格納されている場所に基づいて、１つ以上のストレージノードで並行に実行され得る。クエリは並行して処理されるため、推論もまた、モデルスキーマ３０２を使用して識別されたコンパイルされたモデル３０６を使用して、各ストレージノードで並行して実行され得る。いくつかの実施形態では、各ノードはまた、対応するストレージノード上の各コンパイルされたモデルにリクエストのバッチを渡すことができる非同期リクエストハンドラを含み得る。機械学習のリクエスト及び応答の処理は、ネットワークコールを介してリクエストのミニバッチを外部サービスへ送信する代わりに、リクエストのミニバッチが、モデルライブラリ３０４内のコンパイルされたモデル３０６にローカルに送信されることを除いて、概して、図２に関して上述したように進めることができる。このことが、所与のトランザクションで使用されるモデルの数に必要とされるネットワークコールの数を低減する。

【0026】

図５は、いくつかの実施形態による、機械学習推論コールのための例示的ユーザインターフェースを示す図である。図５に示されるように、所与のデータベースクエリ内で行われる推論コールを可能にするために、複数のユーザインターフェース（ＵＩ）５００が実装されることができる。例えば、ＵＩ５０２は、テキスト入力でＭＬ＿ｓｅｒｖｉｃｅ関数（または他のユーザ定義関数）を使用して機械学習サービスを呼び出すことができる（例えば、選択ステートメントを介して、例えば、「ｒｅｖｉｅｗ＿ｔａｂｌｅ」という名称のデータベーステーブルから「ｒｅｖｉｅｗ」という名称の列を識別する）。追加的に、または代替的に、ＵＩ５０４は、データベーステーブルなどのデータセットからの「ｓｔｏｒａｇｅ＿ｌｏｃａｔｉｏｎ」に格納された「ｆｉｌｅ＿ｎａｍｅ」のファイル（例えば、データストア名、ＵＲＩ、ＵＲＬ、またはその他のロケーション識別子）などの任意のデータタイプに対して推論を実行するために使用され得る。追加的に、または代替的に、ＵＩ５０６は、ユーザ定義関数「ＭＬ＿ｆｕｎｃｔｉｏｎ」を呼び出すことができ、これは、前述のように、特定のモデル（例えば、ｍｏｄｅｌ＿ｎａｍｅ）を呼び出して、１つ以上の入力値に基づいて、データセットからの記録に対して推論を実行するためにユーザによって定義され得る。いくつかの実施形態では、モデルは、ＵＩ５０６に示されるユーザ定義関数を使用するのではなく、ＵＩ５０８に示されるように、直接呼び出され得る。いくつかの実施形態では、ビュースタイルＵＩ５１０が、事前定義されたビューＶ１から、特定の記録（図５に示されるように、テーブルＴ１に含まれるもの、または述語ステートメントで定義されるような他の記録）に推論を実行するためのモデルを呼び出すために使用されることができる。

【0027】

図６は、いくつかの実施形態による、データベースクエリ処理のための機械学習推論コールの方法の操作６００を示すフロー図である。操作６００（または本明細書で説明される他のプロセス、もしくはそれらの変形形態、及び／またはそれらの組み合わせ）のうちの一部または全ては、実行可能命令で構成された１つ以上のコンピュータシステムの制御下で実行され、ハードウェアまたはそれらの組み合わせにより、１つ以上のプロセッサ上で集合的に実行されるコード（例えば、実行可能命令、１つ以上のコンピュータプログラム、または１つ以上のアプリケーション）として実装される。コードは、例えば、１つ以上のプロセッサにより実行可能な命令を含むコンピュータプログラムの形態で、コンピュータ可読記憶媒体に格納される。コンピュータ可読記憶媒体は、非一時的である。いくつかの実施形態では、操作６００の１つまたは複数（またはすべて）は、他の図のデータベースインスタンス１１０、非同期リクエストハンドラ１１４、等によって実行される。

【0028】

操作６００は、ブロック６０２において、一時データ構造を使用してデータベースサービスに格納されたデータに対してクエリの少なくとも一部分を実行して、機械学習リクエストの第１のバッチを生成することを含み、このクエリは機械学習サービスを識別する。いくつかの実施形態では、一時データ構造は、クエリの全部または一部を実行するためにデータベースプロセッサによって作成されている仮想オペレータであり得る。いくつかの実施形態では、クエリの全部または一部を実行するために識別されたクエリプランは、クエリを処理するために行われる必要がある機械学習コールの数を低減するように最適化され得る。いくつかの実施形態では、クエリは、構造化照会言語（ＳＱＬ）クエリである。いくつかの実施形態では、ＳＱＬクエリは、機械学習サービスへのアプリケーションプログラミングインターフェース（ＡＰＩ）コールを使用して機械学習を識別する。いくつかの実施形態では、機械学習サービスは、複数のユーザから受信したリクエストに応答して、機械学習モデルを使用して推論を実行するためにＡＰＩを公開する。いくつかの実施形態では、クエリは、機械学習サービスによってホストされる機械学習モデルに関連付けられたエンドポイントを使用して、機械学習サービスを識別する。

【0029】

操作６００はさらに、ブロック６０４において、機械学習リクエストの第１のバッチに基づいて、及び機械学習サービスに基づいて、機械学習リクエストの第２のバッチを生成することを含む。いくつかの実施形態では、機械学習リクエストの第１のバッチは、非同期リクエストハンドラの入力バッファに追加されることができる。説明したように、非同期リクエストハンドラは、機械学習サービスまたは機械学習支援サービスに送信される機械学習リクエストを管理できる。いくつかの実施形態では、機械学習リクエストの第２のバッチは、少なくとも１つのネットワークを介して機械学習サービスに送信される。いくつかの実施形態では、第２のバッチサイズは、第１のバッチサイズとは異なり、第２のバッチサイズは、機械学習サービスに関連付けられている。例えば、機械学習サービスは、最大バッチサイズを有することができ、これは機械学習サービスにバッチで送信され得るリクエストの数を制限する。いくつかの実施形態では、機械学習リクエストの第１のバッチは、複数の異なるユーザから受信した複数のクエリに応答して生成された機械学習リクエストを含む。

【0030】

いくつかの実施形態では、操作６００は、機械学習モデルの機械学習サービスへリクエストを送信することと、機械学習サービスから機械学習モデルを受信することと、機械学習サービスによってデータベースサービス用にコンパイルされた機械学習モデルと、をさらに含むことができ、機械学習リクエストの第２のバッチは、データベースサービスによってホストされている機械学習モデルに送信されている。いくつかの実施形態では、操作６００は、データベースサービスの複数のノードに機械学習モデルのコピーを格納することをさらに含み得、データベースサービスの特定のノードによってクエリ処理中に生成された機械学習リクエストが、特定のノードに格納された機械学習モデルのコピーに送信されている。

【0031】

操作６００は、ブロック６０６において、複数の機械学習応答を取得することをさらに含み、これらの機械学習応答は、機械学習リクエストの第２のバッチを受信することに応答して機械学習モデルを用いて機械学習サービスによって生成されている。いくつかの実施形態では、説明したように、複数の機械学習応答が、非同期リクエストハンドラの出力バッファに追加されることができる。データベースプロセッサは、出力バッファから機械学習応答を取得し、クエリの処理を完了するためにその応答を使用することができる。

【0032】

いくつかの実施形態では、操作６００は、データベースサービスでリクエストを受信することであって、リクエストがデータベースサービス内のデータセットの少なくとも一部分に対して実行される構造化照会言語（ＳＱＬ）クエリを含む、受信することと、リクエストが、ＳＱＬクエリの処理に使用される機械学習サービスを識別することと、ＳＱＬクエリの少なくとも一部分を実行する仮想オペレータを作成することと、仮想オペレータによって実行されるＳＱＬクエリの少なくとも一部分に基づいた機械学習リクエストの第１のバッチを生成することと、機械学習リクエストの第１のバッチを非同期リクエストハンドラの入力バッファに送信することであって、非同期リクエストハンドラが、機械学習リクエストの第１のバッチに基づいて機械学習リクエストの第２のバッチを生成する、送信することと、非同期リクエストハンドラの出力バッファから複数の機械学習応答を取得することであって、機械学習応答が、機械学習リクエストの第２のバッチを受信することに応答して、機械学習モデルを用いて機械学習サービスによって生成されることと、機械学習応答に基づいてクエリ応答を生成することと、を含み得る。

【0033】

いくつかの実施形態では、少なくともＳＱＬクエリに基づいて機械学習リクエストの第１のバッチを生成することは、機械学習リクエストに関連付けられた記録の数を最小化するクエリ実行計画を決定することをさらに含む。いくつかの実施形態では、機械学習サービスは、機械学習リクエストの第２のバッチが処理されたときに、出力バッファにフラグを追加する。

【0034】

図７は、いくつかの実施形態における、機械学習モデルが訓練され、ホスティングされる例示的な動作環境のブロック図である。動作環境は、エンドユーザデバイス１０２、モデルトレーニングシステム７００、モデルホスティングシステム７０２、トレーニングデータストア７６０、トレーニングメトリクスデータストア７６５、コンテナデータストア７７０、トレーニングモデルデータストア７７５及びモデル予測データストア７８０を含む。

【0035】

本明細書で説明される機械学習サービス１１６は、モデルホスティングシステム７０２、モデルトレーニングシステム７０２などのような、これらのエンティティのうちの１つ以上を含み得る。

【0036】

いくつかの実施形態では、ユーザは、ユーザデバイス１０２を介して、モデルトレーニングシステム７０２と対話し、モデルトレーニングシステム７０２に、例えば、本明細書の別の場所に説明されるように、１つ以上の機械学習モデルを訓練させるデータを提供する。機械学習モデルは、概して、データセットを使用して「トレーニング」される１つ以上の方程式と考えることができる。いくつかの実施形態では、モデルトレーニングシステム７０２は、ＭＬ機能をウェブサービスとして提供し、したがって、ユーザデバイス１０２とモデルトレーニングシステム７０２（またはプロバイダネットワーク１００）との間、及び／またはモデルトレーニングシステム７０２（またはプロバイダネットワーク１００）の構成要素間でのメッセージングは、ＨＴＴＰメッセージを使用して、ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＸＭＬ）またはＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）などの機械可読ファイル形式でデータを転送できる。いくつかの実施形態では、ウェブサービスとして様々な機能性へのアクセスを提供することは、ワールドワイドウェブを介して交換される通信に限定されず、より一般的には、コンピュータネットワークを介して他の電子デバイスと通信できるサービスを指す。

【0037】

ユーザデバイス１０２は、モデルトレーニングシステム７０２のフロントエンド７２９を介してモデルトレーニングシステム７０２と対話することができる。例えば、ユーザデバイス１０２は、トレーニングリクエストをフロントエンド７２９に提供することができ、このトレーニングリクエストは、コンテナイメージ（もしくは複数のコンテナイメージ、またはコンテナイメージが格納されている１つ以上の場所の識別子）、入力データのインジケータ（例えば、入力データのアドレスまたは場所）、１つ以上のハイパーパラメータ値（例えば、アルゴリズムがどのように動作するか、並列に動作するアルゴリズムはいくつか、データを区別するためのクラスタはいくつか、などを示す値）、及び／または機械学習モデルを訓練するコンピューティングマシンについて説明する情報（例えば、グラフィック処理ユニット（ＧＰＵ）インスタンスタイプ、中央処理ユニット（ＣＰＵ）インスタンスタイプ、割り当てるメモリ量、トレーニングに使用する仮想マシンインスタンスの種類など）を含む

【0038】

いくつかの実施形態では、コンテナイメージは、１つ以上の層を含むことができ、ここで各層は実行可能命令を表す。実行可能命令の一部または全ては、共に、機械学習モデルを定義するアルゴリズムを表す。実行可能命令（例えば、アルゴリズム）は、任意のプログラミング言語（例えば、Ｐｙｔｈｏｎ、Ｒｕｂｙ、Ｃ＋＋、Ｊａｖａ（登録商標）など）で記述されることができる。いくつかの実施形態では、アルゴリズムは、ユーザデバイス１０２を介して、アルゴリズムリポジトリ（例えば、ネットワークアクセス可能なマーケットプレイス、機械学習トレーニングサービスによって提供されるデータストア、など）からユーザによって事前生成され、取得されている。いくつかの実施形態では、アルゴリズムは、完全にユーザ生成されるか、または部分的にユーザ生成されている（例えば、ユーザ提供のコードは、既存のアルゴリズムコードを変更または構成する）。

【0039】

いくつかの実施形態では、トレーニングリクエストにおいてコンテナイメージを提供する代わりに、ユーザデバイス１０２は、トレーニングリクエストにおいて、任意のプログラミング言語で記述されたアルゴリズムを提供することができる。以下でより詳細に説明されるように、モデルトレーニングシステム７０２は、次いで、機械学習モデルのトレーニングのために仮想マシンインスタンス７２２に最終的にロードされるコンテナに（任意選択で、ユーザが提供したコードが補足された「ベース」ＭＬアルゴリズムなど他のコードと共に）アルゴリズムをパッケージ化する。例えば、ユーザは、ユーザデバイス１０２を介して、アプリケーション（例えば、インタラクティブなウェブベースのプログラミング環境）を使用してアルゴリズム／コードを開発し、アルゴリズム／コードを、おそらくトレーニングリクエストの一部（またはトレーニングリクエストで参照されるもの）として、モデルトレーニングシステム７０２に提供されるようにすることができ、このアルゴリズム／コードは、例えば、それ自体でコンテナ化することも、または機械学習フレームワークを有する既存のコンテナと共に使用することもできる。

【0040】

いくつかの実施形態では、トレーニングリクエストにおいてコンテナイメージを提供する代わりに、ユーザデバイス１０２は、トレーニングリクエストにおいて、コンテナイメージのインジケータ（例えば、コンテナイメージが格納されているアドレスまたは場所の提示）を提供する。例えば、コンテナイメージは、コンテナデータストア７７０に格納されることができ、このコンテナイメージは、ユーザによって以前に作成／アップロードされた可能性がある。モデルトレーニングシステム７０２は、指示された場所からコンテナイメージを取り出し、取り出されたコンテナイメージを使用してコンテナを作成することができる。以下でより詳細に説明されるように、コンテナは、次いで、機械学習モデルを訓練するための仮想マシンインスタンス７２２にロードされる。

【0041】

モデルトレーニングシステム７０２は、ユーザデバイス１０２によって提供された情報を使用して、いくつかの実施形態では１つ以上の事前に構築された仮想マシンインスタンス７２２において機械学習モデルをトレーニングすることができる。特に、モデルトレーニングシステム７０２は、単一の物理コンピューティングデバイス、または１つ以上のコンピューティングネットワーク（図示せず）を使用して相互接続された複数の物理コンピューティングデバイスを含み、ここで、物理コンピューティングデバイス（複数可）は、１つ以上の仮想マシンインスタンス７２２をホスティングする。モデルトレーニングシステム７０２は、ユーザデバイス１０２によって提供された機械学習モデルをトレーニングするコンピューティングマシンについて記載した情報に基づいて、計算容量（例えば、以下でより詳細に説明されるコンテナ、インスタンスなど）の入手及び設定をハンドリングすることができる。以下でより詳細に説明されるように、モデルトレーニングシステム７０２は、次いで、計算容量を使用して機械学習モデルをトレーニングすることができる。モデルトレーニングシステム７０２は、フロントエンド７２９を介してユーザデバイス１０２から受信したトレーニングリクエストの量に基づいて自動的にスケールアップ及びスケールダウンすることができ、それにより、過剰利用（例えば、非常に少ないコンピューティングリソースを入手し、性能に問題をきたすこと）、または過少利用（例えば、機械学習モデルをトレーニングするのに必要であるよりも多くのコンピューティングリソースを入手し、したがって余分に支払うこと）について心配しなければならない負担からユーザを開放する。

【0042】

いくつかの実施形態では、仮想マシンインスタンス７２２は、タスクを実行するために利用される。例えば、そのようなタスクは、機械学習モデルをトレーニングすることを含み得る。図７に示すように、各仮想マシンインスタンス７２２は、オペレーティングシステム（ＯＳ）７２４、言語ランタイム７２６及び１つ以上のＭＬトレーニングコンテナ７３０を含む。概して、ＭＬトレーニングコンテナ７３０は、仮想マシンインスタンス内で利用可能なリソースを使用し、そのインスタンス内に作成される論理ユニットであり、タスクの実行をインスタンス内で発生する他のプロセス（例えば、タスクの実行）から分離するために利用されることができる。いくつかの実施形態では、ＭＬトレーニングコンテナ７３０は、１つ以上のコンテナイメージ及び上部コンテナ層から形成される。各コンテナイメージは、１つ以上のイメージ層を更に含み、各イメージ層は実行可能命令を表している。上述したように、実行可能命令の一部または全ては、共に機械学習モデルを定義するアルゴリズムを表す。ＭＬトレーニングコンテナ７３０に対してなされた変更（例えば、新規ファイルの作成、既存ファイルの修正、ファイルの削除など）は、上部コンテナ層に保存される。ＭＬトレーニングコンテナ７３０が削除された場合、上部コンテナ層も削除される。しかしながら、削除されたＭＬトレーニングコンテナ７３０の一部を形成するコンテナイメージ（複数可）は、変更されないままであり得る。ＭＬトレーニングコンテナ７３０は、例えば、Ｌｉｎｕｘ（登録商標）コンテナ（ＬＸＣ）、Ｄｏｃｋｅｒコンテナなどとして実装することができる。

【0043】

ＭＬトレーニングコンテナ７３０は、個々のランタイム７３４、コード７３７、及びいくつかの実施形態においてコード７３７によって必要とされる依存性７３２を含み得る。ランタイム７３４は、ＭＬトレーニングコンテナ７３０を形成するために使用されるコンテナイメージの少なくとも一部分を形成する１つ以上の実行可能命令（例えば、コンテナイメージから形成されたコンテナで実行するためのオペレーティングシステム及び／またはランタイムを定義するコンテナイメージ内の実行可能命令（複数可））によって定義されることができる。コード７３７は、ＭＬトレーニングコンテナ７３０を形成するために使用されるコンテナイメージの少なくとも一部分を形成する１つ以上の実行可能命令を含む。例えば、コード７３７は、依存性７３２からコードまたはライブラリを参照（または利用）できる機械学習モデルを定義するアルゴリズムを表す実行可能命令をコンテナイメージ内に含む。ランタイム７３４は、機械学習モデルトレーニングを開始するための命令に応答してコード７３７を実行するように構成されている。コード７３７を実行すると、以下で詳しく説明するように、モデルデータが生成される。

【0044】

いくつかの実施形態では、コード７３７は、異なる機械学習モデルを定義するアルゴリズムを表す実行可能命令を含む。例えば、コード７３７は、第１の機械学習モデルを定義する第１のアルゴリズムを表す実行可能命令の第１のセットと、第２の機械学習モデルを定義する第２のアルゴリズムを表す実行可能命令の第２のセットと、を含む。いくつかの実施形態では、仮想マシンインスタンス７２２は、コード７３７を実行し、すべての機械学習モデルをトレーニングする。いくつかの実施形態では、仮想マシンインスタンス７２２は、コード７３７を実行し、トレーニングする機械学習モデルの１つを選択する。例えば、仮想マシンインスタンス７２２は、トレーニングリクエストによって示されるトレーニングデータのタイプを識別し、識別されたタイプのトレーニングデータに対応するトレーニング（例えば、選択された機械学習モデルを定義するアルゴリズムを表す実行可能命令を実行する）する機械学習モデルを選択することができる。

【0045】

いくつかの実施形態では、ランタイム７３４は、仮想マシンインスタンス７２２によって利用されるランタイム７２６と同じである。いくつかの実施形態では、ランタイム７３４は、仮想マシンインスタンス７２２によって利用されるランタイム７２６とは異なっている。

【0046】

いくつかの実施形態では、モデルトレーニングシステム７０２は、トレーニングリクエストに含まれる１つ以上のコンテナイメージ（または受信したトレーニングリクエストに応答してコンテナデータストア７７０から取得されたコンテナイメージ）を使用して、仮想マシンインスタンス７２２内のＭＬトレーニングコンテナ７３０を作成及び初期化する。例えば、モデルトレーニングシステム７０２は、コンテナイメージ（複数可）及び／または上部コンテナ層を含むＭＬトレーニングコンテナ７３０を作成する。

【0047】

トレーニングプロセスを開始する前に、いくつかの実施形態では、モデルトレーニングシステム７０２は、トレーニングリクエストに示された場所からトレーニングデータを取り出す。例えば、トレーニングリクエストに示される場所は、トレーニングデータストア７６０内の場所であり得る。したがって、モデルトレーニングシステム７０２は、トレーニングデータストア７６０内の示された場所からトレーニングデータを取り出す。いくつかの実施形態では、モデルトレーニングシステム７０２は、トレーニングプロセスを開始する前にトレーニングデータを取得しない。むしろ、モデルトレーニングシステム７０２は、トレーニングプロセス中に示された場所からトレーニングデータをストリーミングする。例えば、モデルトレーニングシステム７０２は、最初にトレーニングデータの一部分を取り出し、取り出した部分を、機械学習モデルをトレーニングする仮想マシンインスタンス７２２に提供することができる。一旦、仮想マシンインスタンス７２２が取り出した部分を適用して使用すると、または仮想マシンインスタンス７２２が取り出した部分のすべてを使用しようとする（例えば、取り出した部分を格納するバッファがほぼ空になる）と、モデルトレーニングシステム７０２は、トレーニングデータの第２の部分を取り出し、第２に取り出した部分を仮想マシンインスタンス７２２に提供することができる、などである。

【0048】

機械学習モデルトレーニングを実行するために、仮想マシンインスタンス７２２は、いくつかの実施形態では、ＭＬトレーニングコンテナ７３０に格納されたコード７３７を実行する。例えば、コード７３７は、その中で初期化されたＭＬトレーニングコンテナ７３０のコンテナイメージを形成する実行可能命令の一部またはすべてを含む。したがって、仮想マシンインスタンス７２２は、機械学習モデルをトレーニングするためにその中で初期化されたＭＬトレーニングコンテナ７３０のコンテナイメージを形成する実行可能命令のいくつかまたはすべてを実行する。仮想マシンインスタンス７２２は、トレーニングリクエストに含まれるハイパーパラメータ値に従って、実行可能命令の一部またはすべてを実行する。例示的な例として、仮想マシンインスタンス７２２は、特定のパラメータ（例えば、係数、重み、セントロイドなど）の値を識別することによって機械学習モデルをトレーニングする。識別された値は、トレーニングの実行方法を定義するハイパーパラメータに依存する。したがって、仮想マシンインスタンス７２２は、実行可能命令を実行して、機械学習モデルトレーニングプロセスを開始することができ、トレーニングプロセスは、トレーニングリクエストに含まれるハイパーパラメータ値を使用して実行される。実行可能命令の実行は、実行されている命令のいくつかまたはすべてに対する入力パラメータとしてモデルトレーニングシステム７０２によって取り出されたトレーニングデータを適用する仮想マシンインスタンス７２２を含むことができる。

【0049】

いくつかの実施形態では、実行可能命令を実行することにより、仮想マシンインスタンス７２２（例えば、ＭＬトレーニングコンテナ７３０）がモデルデータを生成する。例えば、ＭＬトレーニングコンテナ７３０は、モデルデータを生成し、モデルデータをＭＬトレーニングコンテナ７３０のファイルシステムに格納する。モデルデータは、機械学習モデルの層の数、機械学習モデルのハイパーパラメータ、機械学習モデルの係数、機械学習モデルの重み、及び／または同様のもの、などのトレーニングされている機械学習モデルの特性を含む。特に、生成されたモデルデータは、トレーニングされている機械学習モデルを定義する特性の値を含む。いくつかの実施形態では、実行可能命令を実行すると、ＭＬトレーニングコンテナ７３０に変更が加えられ、モデルデータがＭＬトレーニングコンテナ７３０の上部コンテナ層、及び／またはＭＬトレーニングコンテナ７３０の一部分を形成するコンテナイメージ（複数可）に書き込まれ、モデルデータを含むように修正される。

【0050】

仮想マシンインスタンス７２２（またはモデルトレーニングシステム７０２自体）は、生成されたモデルデータをＭＬトレーニングコンテナ７３０から引き出し、生成されたモデルデータを、仮想マシンインスタンス７２２及び／またはトレーニング中の機械学習モデルに関連付けられたエントリのトレーニングモデルデータストア７７５に格納する。いくつかの実施形態では、仮想マシンインスタンス７２２は、モデルデータを含む単一のファイルを生成し、単一のファイルをトレーニングモデルデータストア７７５に格納する。いくつかの実施形態では、仮想マシンインスタンス７２２は、機械学習モデルをトレーニングする過程で複数のファイルを生成し、各ファイルはモデルデータを含む。いくつかの実施形態では、各モデルデータファイルは、同一の、または異なるモデルデータ情報を含む（例えば、１つのファイルがアルゴリズムの構造を識別し、別のファイルが係数のリストを含むなど）。仮想マシンインスタンス７２２は、トレーニングが完了すると、複数のファイルを単一のファイルにパッケージ化し、単一のファイルをトレーニングモデルデータストア７７５に格納することができる。代替的に、仮想マシンインスタンス７２２は、トレーニングモデルデータストア７７５に複数のファイルを格納する。仮想マシンインスタンス７２２は、トレーニングプロセスが進行中である間に、及び／またはトレーニングプロセスが完了した後に、ファイル（複数可）をトレーニングモデルデータストア７７５に格納する。

【0051】

いくつかの実施形態では、仮想マシンインスタンス７２２は、トレーニングプロセスが進行している間、モデルデータファイル（複数可）をトレーニングモデルデータストア７７５に定期的に格納する。したがって、モデルデータファイル（複数可）は、トレーニングプロセス中の異なる時間にトレーニングモデルデータストア７７５に格納されることができる。特定の時間に対応するモデルデータファイルの各セット、または特定の時間の時点でトレーニングモデルデータストア７７５に存在するモデルデータファイルの各セットは、トレーニングプロセスの異なる段階での間に部分的にトレーニングされた機械学習モデルの異なるバージョンを表すチェックポイントである可能性がある。したがって、トレーニングが完了する前に、ユーザは、ユーザデバイス１０２を介して、以下に説明する方法で展開及び／または実行リクエストを提出して、部分的にトレーニングされた機械学習モデル（例えば、トレーニングプロセスの特定の段階でトレーニングされた機械学習モデル）のバージョンを展開及び／または実行することができる。部分的にトレーニングされた機械学習モデルのバージョンは、トレーニングモデルデータストア７７５に保存されているモデルデータファイルの一部またはすべてに基づくことができる。

【0052】

いくつかの実施形態では、仮想マシンインスタンス７２２は、複数のＭＬトレーニングコンテナ７３０に格納されたコード７３７を実行する。例えば、コンテナイメージに含まれるアルゴリズムは、トレーニングプロセスの並列化を可能にする形式であることができる。したがって、モデルトレーニングシステム７０２は、トレーニングリクエストで提供されるコンテナイメージの複数のコピーを作成し、仮想マシンインスタンス７２２に、各コンテナイメージコピーを別個のＭＬトレーニングコンテナ７３０にロードさせることができる。次に、仮想マシンインスタンス７２２は、ＭＬトレーニングコンテナ７３０に格納されたコード７３７を並行して実行することができる。仮想マシンインスタンス７２２は、各ＭＬトレーニングコンテナ７３０に構成情報をさらに提供することができ（例えば、Ｎ個のＭＬトレーニングコンテナ７３０が機械学習モデルを集合的にトレーニングしており、構成情報を受信する特定のＭＬトレーニングコンテナ７３０がＮ個のうちＸ番目のＭＬトレーニングコンテナ７３０であることを示す情報）、これは、結果のモデルデータに含めることができる。トレーニングプロセスを並列化することにより、いくつかの実施形態において、モデルトレーニングシステム７０２は、トレーニング時間を大幅に短縮することができる。

【0053】

いくつかの実施形態では、複数の仮想マシンインスタンス７２２は、複数のＭＬトレーニングコンテナ７３０に格納されたコード７３７を実行する。例えば、特定の機械学習モデルをトレーニングするために使用されるリソースは、単一の仮想マシンインスタンス７２２の制限を超える可能性がある。しかしながら、コンテナイメージに含まれるアルゴリズムは、トレーニングプロセスの並列化を可能にする形式であることができる。したがって、モデルトレーニングシステム７０２は、トレーニングリクエストで提供されるコンテナイメージの複数のコピーを作成し、複数の仮想マシンインスタンス７２２を初期化し、各仮想マシンインスタンス７２２に、コンテナイメージコピーを１つ以上の別個のＭＬトレーニングコンテナ７３０にロードさせることができる。次に、仮想マシンインスタンス７２２は、ＭＬトレーニングコンテナ７３０に格納されたコード７３７をそれぞれ並行して実行することができる。モデルトレーニングシステム７０２は、仮想マシンインスタンス７２２を介して各ＭＬトレーニングコンテナ７３０に構成情報（例えば、Ｎ個のＭＬトレーニングコンテナ７３０が機械学習モデルを集合的にトレーニングし、構成情報を受信する特定のＭＬトレーニングコンテナ７３０が、Ｎ個のうちＸ番目のＭＬトレーニングコンテナ７３０であることを示す情報、Ｍ個の仮想マシンインスタンス７２２が集合的に機械学習モデルをトレーニングし、構成情報を受信する特定のＭＬトレーニングコンテナ７３０が、Ｍ個のうちＹ番目の仮想マシンインスタンス７２２で初期化されていることを示す情報）をさらに提供することができ、このことは、結果のモデルデータに含めることができる。上述のように、トレーニングプロセスを並列化することにより、モデルトレーニングシステム７０２は、いくつかの実施形態においてトレーニング時間を大幅に短縮することができる。

【0054】

いくつかの実施形態では、モデルトレーニングシステム７０２は、複数の物理コンピューティングデバイスを含み、２つ以上の物理コンピューティングデバイスは、コード７３７を実行する１つ以上の仮想マシンインスタンス７２２をホストする。したがって、並列化は、異なる仮想マシンインスタンス７２２及び／またはＭＬトレーニングコンテナ７３０に加えて、異なる物理コンピューティングデバイス上で発生する可能性がある。

【0055】

いくつかの実施形態では、モデルトレーニングシステム７０２は、ＭＬモデル評価器７２８を含む。ＭＬモデル評価器７２８は、機械学習モデルがトレーニングされ、生成されたモデルデータを取得し、モデルメトリクスを生成するために取得されたモデルデータを処理しているときに仮想マシンインスタンス７２２を監視する。例えば、モデルメトリクスは、トレーニング中の機械学習モデルのエラー率、トレーニング中の機械学習モデルの統計的分布、トレーニング中の機械学習モデルの待ち時間、トレーニング中の機械学習モデルの信頼レベル（例えば、トレーニング中の機械学習モデルの精度がわかっているという信頼レベル）などの品質メトリクスを含めることができる。ＭＬモデル評価器７２８は、トレーニング中の機械学習モデルのモデルデータと、トレーニングデータストア７６０からの評価データと、を取得することができる。評価データは、機械学習モデルのトレーニングに使用されるデータとは分離されており、入力データと期待される出力（例えば、既知の結果）の両方を含み、そのため、ＭＬモデル評価器７２８は、モデルデータを使用して機械学習モデルを定義し、機械学習モデルへの入力として入力データを提供することにより機械学習モデルを実行できる。次に、ＭＬモデル評価器７２８は、機械学習モデルの出力を期待される出力と比較し、比較に基づいてトレーニングされている機械学習モデルの１つ以上の品質メトリクスを決定できる（例えば、エラー率は、機械学習モデルの出力と期待される出力の間の差または距離であり得る）。

【0056】

ＭＬモデル評価器７２８は、トレーニングプロセス中に定期的にモデルメトリクスを生成し、いくつかの実施形態では、モデルメトリクスをトレーニングメトリクスデータストア７６５に格納する。機械学習モデルがトレーニングされている間、ユーザは、ユーザデバイス１０２を介して、トレーニングメトリクスデータストア７６５からモデルメトリクスにアクセスして取得することができる。ユーザは、次いでモデルメトリクスを使用して、トレーニングプロセスを調整するか、及び／またはトレーニングプロセスを停止するかを決定できる。例えば、モデルメトリクスは、機械学習モデルのパフォーマンスが低いことを示すことができ、（例えば、閾値を超えるエラー率を有し、予期されたか、または望ましい分布ではない統計分布（例えば、二項分布ではない、ポアソン分布、幾何分布、正規分布、ガウス分布など）を有し、閾値を超える実行待ち時間を有し、閾値を下回る信頼レベルを有する）、及び／または進行的な劣化を実行している（例えば、品質メトリックは経時的に劣化し続ける）。これに応答して、いくつかの実施形態では、ユーザは、ユーザデバイス１０２を介して、モデルトレーニングシステム７０２にリクエストを送信して、トレーニング中の機械学習モデルを変更することができる（例えば、変更リクエストを送信する）。リクエストは、新規のまたは変更されたコンテナイメージ、新規のまたは変更されたアルゴリズム、新規のまたは変更されたハイパーパラメータ（複数可）、及び／または機械学習モデルをトレーニングするコンピューティングマシンを記述する新規または変更された情報を含むことができる。それに応じて、モデルトレーニングシステム７０２は、機械学習モデルを変更することができる。例えば、モデルトレーニングシステム７０２は、仮想マシンインスタンス７２２に、既存のＭＬトレーニングコンテナ７３０を任意選択で削除させ、リクエストに含まれる情報の一部またはすべてを使用して新規ＭＬトレーニングコンテナ７３０を作成及び初期化し、新規ＭＬトレーニングコンテナ７３０に格納されたコード７３７に機械学習モデルのトレーニングプロセスの再開を実行させることができる。別の例として、モデルトレーニングシステム７０２は、仮想マシンインスタンス７２２に、変更リクエストで提供されたデータに従って、既存のＭＬトレーニングコンテナ７３０に格納されたコードの実行を変更させることができる。いくつかの実施形態では、ユーザは、ユーザデバイス１０２を介して、機械学習モデルトレーニングプロセスを停止するようにモデルトレーニングシステム７０２にリクエストを送信することができる。モデルトレーニングシステム７０２は、次いで、仮想マシンインスタンス７２２に、ＭＬトレーニングコンテナ７３０を削除するように、及び／またはトレーニングモデルデータストア７７５に格納された任意のモデルデータを削除するように指示することができる。

【0057】

以下に説明するように、いくつかの実施形態では、トレーニングモデルデータストア７７５に格納されたモデルデータは、機械学習モデルを展開するためにモデルホスティングシステム７００によって使用される。代替的または追加的に、ユーザデバイス１０２または別のコンピューティングデバイス（図示せず）は、トレーニングモデルデータストア７７５からモデルデータを取り出して、外部デバイスに学習アルゴリズムを実装することができる。実例として、ロボットデバイスは、入力データをキャプチャするためのセンサを含むことができる。ユーザデバイス１０２は、トレーニングモデルデータストア７７５からモデルデータを取り出し、ロボットデバイスにモデルデータを格納することができる。モデルデータは、機械学習モデルを定義する。したがって、ロボットデバイスは、キャプチャされた入力データを機械学習モデルへの入力として提供し、出力を生成できる。次に、ロボットデバイスは、結果の出力に基づいてアクション（例えば、前進、腕を上げる、音を生成するなど）を実行できる。

【0058】

仮想マシンインスタンス７２２の単一のグループとして仮想マシンインスタンス７２２が図７に示される一方で、本出願のいくつかの実施形態は、タスクを実行するためにアクティブに割り当てられる仮想マシンインスタンス７２２を、タスクを実行するためにアクティブに割り当てられていない仮想マシンインスタンス７２２から分離する。例えば、タスクを実行するためにアクティブに割り当てられた仮想マシンインスタンス７２２は、「アクティブプール」にグループ化され、一方で、タスクを実行するためにアクティブに割り当てられていない仮想マシンインスタンス７２２は、「ウォーミングプール」内に配置されている。いくつかの実施形態では、ウォーミングプール内のこれらの仮想マシンインスタンス７２２は、トレーニングリクエストに応答して、オペレーティングシステム、言語ランタイム、及び／またはタスクの迅速な実行を可能にするために必要な他のソフトウェアと共に事前に初期化（例えば、ＭＬトレーニングコンテナ（複数可）７３０における機械学習モデルトレーニングの迅速な初期化）されることができる。

【0059】

いくつかの実施形態では、モデルトレーニングシステム１０２は、処理ユニット、ネットワークインターフェース、コンピュータ可読媒体ドライブ、及び入力／出力デバイスインターフェースを含み、これらはすべて、通信バスを介して互いに通信することができる。ネットワークインターフェースは、１つ以上のネットワークまたはコンピューティングシステムへの接続性を提供できる。したがって、処理ユニットは、他のコンピューティングシステムまたはサービス（例えば、ユーザデバイス１０２、モデルホスティングシステム７００など）から情報及び命令を受信することができる。処理ユニットはまた、仮想マシンインスタンス７２２のメモリとの間で通信することができ、入力／出力デバイスインターフェースを介して任意選択のディスプレイのための出力情報をさらに提供することができる。入力／出力デバイスインターフェースは、任意選択の入力デバイスからの入力を受け入れることもできる。メモリは、本開示の１つ以上の態様を実装するために処理ユニットが実行するコンピュータプログラム命令（いくつかの実施形態ではモジュールとしてグループ化される）を含むことができる。

【0060】

いくつかの実施形態では、モデルホスティングシステム７００は、単一の物理コンピューティングデバイス、または１つ以上のコンピューティングネットワーク（図示せず）を使用して相互接続された複数の物理コンピューティングデバイスを含み、物理コンピューティングデバイス（複数可）は、１つ以上の仮想マシンインスタンス７４２をホストする。モデルホスティングシステム７００は、トレーニングされた機械学習モデルの実行に対する需要に基づいて、計算容量（例えば、コンテナ、インスタンスなど）の取得及び構成を処理することができる。次に、モデルホスティングシステム７００は、以下でより詳細に説明されるように、計算容量を使用して機械学習モデルを実行することができる。モデルホスティングシステム７００は、モデルホスティングシステム７００のフロントエンドを介してユーザデバイス１０２から受信された実行リクエストの量に基づいて、自動的にスケールアップ及びスケールダウンすることができ、それにより、（例えば、取得するコンピューティングリソースが少なすぎてパフォーマンスの問題が発生している）過剰利用、または（例えば、機械学習モデルを実行するために必要なものよりも多くのコンピューティングリソースを取得しているため、高額になっている）過小利用について、ユーザが心配しなければならない負担から解放する。

【0061】

いくつかの実施形態では、仮想マシンインスタンス７４２は、タスクを実行するために利用される。例えば、このようなタスクには、機械学習モデルの実行が含まれ得る。図７に示されるように、各仮想マシンインスタンス７４２は、オペレーティングシステム（ＯＳ）７４４、言語ランタイム７４６、及び１つ以上のＭＬスコアリングコンテナ７５０を含む。ＭＬスコアリングコンテナ７５０が、仮想マシンインスタンスで利用可能なリソースを使用して仮想マシンインスタンス内に形成された論理ユニットであり、仮想マシンインスタンス内に作成され、タスクの実行をインスタンス内で生じる他のプロセス（例えば、タスクの実行）から分離するために利用され得るという点で、ＭＬスコアリングコンテナ７５０は、ＭＬトレーニングコンテナ７３０に類似している。いくつかの実施形態では、ＭＬスコアリングコンテナ７５０は、１つ以上のコンテナイメージ及び上部コンテナ層から形成されている。各コンテナイメージは、１つ以上のイメージ層をさらに含み、各イメージ層は実行可能命令を表す。上述のように、実行可能命令の一部またはすべては、共に機械学習モデルを定義するアルゴリズムを表す。ＭＬスコアリングコンテナ７５０に加えられた変更（例えば、新しいファイルの作成、既存のファイルの変更、ファイルの削除など）は、上部コンテナ層に格納されている。ＭＬスコアリングコンテナ７５０が削除されると、上部コンテナ層も削除される。しかしながら、削除されたＭＬスコアリングコンテナ７５０の一部分を形成するコンテナイメージ（複数可）は、変更されないままであることができる。ＭＬスコアリングコンテナ７５０は、例えば、Ｌｉｎｕｘ（登録商標）コンテナとして実装されることができる。

【0062】

ＭＬスコアリングコンテナ７５０はそれぞれ、ランタイム７５４、コード７５６、及びいくつかの実施形態においてコード７５６によって必要とされる依存性７５２（例えば、ライブラリなどのサポートソフトウェア）を含む。ランタイム７５４は、ＭＬスコアリングコンテナ７５０を形成するために使用されるコンテナイメージの少なくとも一部分を形成する１つ以上の実行可能命令（例えば、コンテナイメージから形成されたコンテナ内で実行するためのオペレーティングシステム及び／またはランタイムを定義するコンテナイメージ内の実行可能命令（複数可））によって定義されることができる。コード７５６は、ＭＬスコアリングコンテナ７５０を形成するために使用されるコンテナイメージの少なくとも一部分を形成する１つ以上の実行可能命令を含む。例えば、コード７５６は、依存性７５２を参照できる機械学習モデルを定義するアルゴリズムを表すコンテナイメージ内に実行可能命令を含む。コード７５６はまた、以下でより詳細に説明されるように、定義された機械学習モデルの特性を表すモデルデータを含むことができる。ランタイム７５４は、機械学習モデルの実行を開始するための命令に応答してコード７５６を実行するように構成される。以下でより詳細に説明するように、コード７５６の実行は、出力（例えば、予測結果）の生成をもたらす。

【0063】

いくつかの実施形態では、ランタイム７５４は、仮想マシンインスタンス７４２によって利用されるランタイム７４６と同じである。いくつかの実施形態では、ランタイム７５４は、仮想マシンインスタンス７４２によって利用されるランタイム７４６とは異なる。

【0064】

いくつかの実施形態では、モデルホスティングシステム７００は、展開リクエストに含まれる１つ以上のコンテナイメージ（または受信した展開リクエストに応答してコンテナデータストア７７０から取り出したコンテナイメージ）を使用して、仮想マシンインスタンス７４２内でＭＬスコアリングコンテナ７５０を作成及び初期化する。例えば、モデルホスティングシステム７００は、コンテナイメージ（複数可）及び／または上部コンテナ層を含むＭＬスコアリングコンテナ７５０を作成する。

【0065】

上述のように、ユーザデバイス１０２は、いくつかの実施形態では、フロントエンドを介してモデルホスティングシステム７００に展開リクエスト及び／または実行リクエストを提出することができる。展開リクエストは、モデルホスティングシステム７００に、トレーニングされた機械学習モデルを仮想マシンインスタンス７４２に展開させる。例えば、展開リクエストは、エンドポイントの識別（例えば、ＨＴＴＰエンドポイント名などのエンドポイント名）と、１つ以上のトレーニングされた機械学習モデルの識別（例えば、トレーニングモデルデータストア７７５に保存されているモデルデータファイルの場所）と、を含むことができる。任意選択で、展開リクエストはまた、コンテナデータストア７７０に格納された１つ以上のコンテナイメージの識別も含む。

【0066】

展開リクエストを受信すると、モデルホスティングシステム７００は、１つ以上のホストされた仮想マシンインスタンス７４２内の１つ以上のＭＬスコアリングコンテナ７５０を初期化する。展開リクエストが１つ以上のコンテナイメージの識別を含む実施形態では、モデルホスティングシステム７００は、識別されたコンテナイメージ（複数可）からＭＬスコアリングコンテナ（複数可）７５０を形成する。例えば、展開リクエストで識別されるコンテナイメージは、展開リクエストに対応する機械学習モデルをトレーニングするために使用されるＭＬトレーニングコンテナ７３０を形成するために使用されるのと同じコンテナイメージであり得る。したがって、ＭＬスコアリングコンテナ（複数可）７５０のコード７５６は、機械学習モデルを定義するアルゴリズムを表すコンテナイメージ（複数可）内の１つ以上の実行可能命令を含む。展開リクエストがコンテナイメージの識別を含まない実施形態では、モデルホスティングシステム７００は、コンテナデータストア７７０に格納された１つ以上のコンテナイメージからＭＬスコアリングコンテナ（複数可）７５０を形成し、これらは識別されたトレーニングされた機械学習モデル（複数可）を実行するために適切である。例えば、適切なコンテナイメージは、識別されたトレーニングされた機械学習モデル（複数可）を定義するアルゴリズムを表す実行可能命令を含むコンテナイメージであることができる。

【0067】

モデルホスティングシステム７００は、いくつかの実施形態において、識別されたトレーニングされた機械学習モデル（複数可）に対応するモデルデータを取り出すことによって、ＭＬスコアリングコンテナ（複数可）７５０をさらに形成する。例えば、展開リクエストは、トレーニングモデルデータストア７７５に格納されているモデルデータファイル（複数可）の場所を識別できる。展開リクエストで単一のモデルデータファイルが識別された実施形態では、モデルホスティングシステム７００は、識別されたモデルデータファイルをトレーニングモデルデータストア７７５から取り出し、コード７５６の一部分を形成する単一のＭＬスコアリングコンテナ７５０にモデルデータファイルを挿入する。いくつかの実施形態では、モデルデータファイルは、アーカイブまたは圧縮される（例えば、個々のファイルのパッケージから形成される）。したがって、モデルホスティングシステム７００は、モデルデータファイルを復元または解凍して、複数の個別のファイルを取得し、個別のファイルをＭＬスコアリングコンテナ７５０に挿入する。いくつかの実施形態では、モデルホスティングシステム７００は、モデルデータファイルがモデルデータファイルを生成するＭＬトレーニングコンテナ７３０内に格納された場所と同じ場所にモデルデータファイルを格納する。例えば、モデルデータファイルは、最初に、特定のオフセットでＭＬトレーニングコンテナ７３０の上部コンテナ層に格納され、次に、モデルホスティングシステム７００は、ＭＬスコアリングコンテナ７５０の上部コンテナ層に同じオフセットでモデルデータファイルを格納する。

【0068】

複数のモデルデータファイルが展開リクエストで識別された実施形態では、モデルホスティングシステム７００は、識別されたモデルデータファイルをトレーニングモデルデータストア７７５から取り出す。モデルホスティングシステム７００は、同じＭＬスコアリングコンテナ７５０の中に、同じ仮想マシンインスタンス７４２で初期化された異なるＭＬスコアリングコンテナ７５０の中に、または異なる仮想マシンインスタンス７４２で初期化された異なるＭＬスコアリングコンテナ７５０内に、モデルデータファイルを挿入することができる。例示的な例として、展開リクエストは、トレーニングされた機械学習モデルが関連している（例えば、１つのトレーニングされた機械学習モデルの出力が別のトレーニングされた機械学習モデルへの入力として使用される）ために、異なるトレーニングされた機械学習モデルに対応する複数のモデルデータファイルを識別できる。したがって、ユーザは、複数の機械学習モデルを展開して、最終的に複数の機械学習モデルの出力に依存する単一の出力を受け取ることを望む場合がある。

【0069】

いくつかの実施形態では、モデルホスティングシステム７００は、初期化されたＭＬスコアリングコンテナ（複数可）７５０を、展開リクエストで識別されたエンドポイントに関連付ける。例えば、初期化されたＭＬスコアリングコンテナ（複数可）７５０のそれぞれは、ネットワークアドレスに関連付けられることができる。モデルホスティングシステム７００は、ネットワークアドレス（複数可）を識別されたエンドポイントにマッピングすることができ、モデルホスティングシステム７００または別のシステム（例えば、図示されていないルーティングシステム）は、マッピングを格納することができる。したがって、ユーザデバイス１０２は、エンドポイントを使用して、ＭＬスコアリングコンテナ（複数可）７５０に格納されたトレーニングされた機械学習モデル（複数可）を参照することができる。これにより、ユーザデバイス１０２を操作するユーザに、ユーザがトレーニングされた機械学習モデルを参照する方法を変更させることなく、ＭＬスコアリングコンテナ７５０のネットワークアドレスを変更することができる。

【0070】

ＭＬスコアリングコンテナ（複数可）７５０が初期化されると、ＭＬスコアリングコンテナ（複数可）７５０は、トレーニングされた機械学習モデル（複数可）を実行する準備ができている。いくつかの実施形態では、ユーザデバイス１０２は、フロントエンドを介してモデルホスティングシステム７００に実行リクエストを送信し、ここで実行リクエストは、エンドポイントを識別し、機械学習モデルへの入力（例えば、入力データのセット）を含む。モデルホスティングシステム７００または別のシステム（例えば、ルーティングシステム、図示せず）は、実行リクエストを取得し、識別されたエンドポイントに対応するＭＬスコアリングコンテナ（複数可）７５０を識別し、識別されたＭＬスコアリングコンテナ（複数可）７５０に入力をルーティングすることができる。

【0071】

いくつかの実施形態では、仮想マシンインスタンス７４２は、実行リクエストを受信するモデルホスティングシステム７００に応答して、識別されたＭＬスコアリングコンテナ７５０に格納されたコード７５６を実行する。特に、コード７５６の実行により、アルゴリズムに対応するコード７５６の実行可能命令が、ＭＬスコアリングコンテナ７５０に格納されたモデルデータファイルを読み取り、実行リクエストに含まれる入力を入力パラメータとして使用し、対応する出力を生成するようにさせる。例示的な例として、アルゴリズムは、係数、重み、層、クラスタセントロイド及び／または、同様のものを含むことができる。アルゴリズムに対応するコード７５６内の実行可能命令は、モデルデータファイルを読み取ることができ、係数、重み、層、クラスタセントロイド、及び／または、同様のものを決定することができる。実行可能命令は入力パラメータを含むことができ、実行リクエストに含まれる入力は、仮想マシンインスタンス７４２によって入力パラメータとして供給され得る。機械学習モデルの特性と提供された入力パラメータを使用して、仮想マシンインスタンス７４２による実行可能命令の実行を完了し、出力を得ることができる。

【0072】

いくつかの実施形態では、仮想マシンインスタンス７４２は、出力をモデル予測データストア７８０に格納する。代替的に、または追加的に、仮想マシンインスタンス７４２は、フロントエンドを介して実行結果を提出したユーザデバイス１０２に出力を送信する。

【0073】

いくつかの実施形態では、実行リクエストは、関連するトレーニングされた機械学習モデルのグループに対応している。したがって、ＭＬスコアリングコンテナ７５０は、同じ仮想マシンインスタンス７４２または異なる仮想マシンインスタンス７４２で初期化された第２のＭＬスコアリングコンテナ７５０に出力を送信することができる。第２のＭＬスコアリングコンテナ７５０を初期化した仮想マシンインスタンス７４２は、次いで、第２のＭＬスコアリングコンテナ７５０に格納された第２のコード７５６を実行し、受信した出力を第２のコード７５６内の実行可能命令への入力パラメータとして提供することができる。第２のＭＬスコアリングコンテナ７５０は、そこに格納されたモデルデータファイルをさらに含み、これは、機械学習モデルを定義する特性の値を決定するために第２のコード７５６内の実行可能命令によって読み取られる。第２のコード７５６を実行すると、第２の出力が生成される。第２のＭＬスコアリングコンテナ７５０を初期化した仮想マシンインスタンス７４２は、次いで、第２の出力を、フロントエンドを介してモデル予測データストア７８０及び／またはユーザデバイス１０２に送信することができるか（例えば、トレーニングされた機械学習モデルが出力を生成するためにこれ以上必要とされない場合）、または同じまたは異なる仮想マシンインスタンス７４２内で初期化された第３のＭＬスコアリングコンテナ７５０に第２の出力を送信することができ（例えば、１つ以上の追加のトレーニングされた機械学習モデルからの出力が必要な場合）、上で参照したプロセスは、第３のＭＬスコアリングコンテナ７５０に関して繰り返えされることができる。

【0074】

仮想マシンインスタンス７４２が、図７に仮想マシンインスタンス７４２の単一のグループとして示されているが、本出願のいくつかの実施形態は、タスクを実行するためにアクティブに割り当てられる仮想マシンインスタンス７４２を、タスクを実行するためにアクティブに割り当てられない仮想マシンインスタンス７４２から分離する。例えば、タスクを実行するためにアクティブに割り当てられた仮想マシンインスタンス７４２は、「アクティブプール」にグループ化され、一方で、タスクを実行するためにアクティブに割り当てられていない仮想マシンインスタンス７４２は、「ウォーミングプール」内に配置される。いくつかの実施形態では、ウォーミングプール内のこれらの仮想マシンインスタンス７４２は、展開及び／または実行のリクエストに応答して、タスク（例えば、ＭＬスコアリングコンテナ（複数可）７５０の迅速な初期化、ＭＬスコアリングコンテナ（複数可）内のコード７５６の迅速な実行、等）の迅速な実行を可能にするために必要とされるオペレーティングシステム、言語ランタイム、及び／または他のソフトウェアで事前に初期化されることができる。

【0075】

いくつかの実施形態では、モデルホスティングシステム７００は、処理ユニット、ネットワークインターフェース、コンピュータ可読媒体ドライブ、及び入力／出力デバイスインターフェースを含み、これらはすべて、通信バスを介して互いに通信することができる。ネットワークインターフェースは、１つ以上のネットワークまたはコンピューティングシステムへの接続性を提供できる。したがって、処理ユニットは、他のコンピューティングシステムまたはサービス（例えば、ユーザデバイス１０２、モデルトレーニングシステム７０２など）から情報及び命令を受信することができる。処理ユニットはまた、仮想マシンインスタンス７４２のメモリとの間で通信することができ、入力／出力デバイスインターフェースを介して任意選択のディスプレイ用に出力情報をさらに提供することができる。入力／出力デバイスインターフェースはまた、任意選択の入力デバイスからの入力を受け入れることもできる。メモリは、本開示の１つ以上の態様を実装するために処理ユニットが実行するコンピュータプログラム命令（いくつかの実施形態ではモジュールとしてグループ化される）を含むことができる。

【0076】

いくつかの実施形態では、動作環境は、マルチアームバンディットモデル、強化学習モデル、アンサンブル機械学習モデル、深層学習モデルなどの多くの異なるタイプの機械学習モデルをサポートする。

【0077】

図７に示されるモデルトレーニングシステム７０２及びモデルホスティングシステム７００は、制限を意味するものではない。例えば、モデルトレーニングシステム７０２、及び／またはモデルホスティングシステム７００はまた、図７に示されるよりも少ないか、または多い数のデバイスを有するコンピューティング環境内で動作することができる。したがって、図７のモデルトレーニングシステム７０２及び／またはモデルホスティングシステム７００の描写は、例示として解釈されることができ、本開示に限定されない。例えば、モデルトレーニングシステム７０２、及び／またはモデルホスティングシステム７００もしくはその様々な構成要素は、様々なウェブサービス構成要素、ホステッドもしくは「クラウド」コンピューティング環境、及び／またはピアツーピアネットワーク構成を実装して、本明細書で説明するプロセスの少なくとも一部分を実行する。いくつかの実施形態では、モデルトレーニングシステム７０２、及び／またはモデルホスティングシステム７００は、ハードウェアまたはハードウェアデバイスによって実行されるソフトウェアに直接実装され、例えば、本明細書に記載されている様々な機能を実行するためのコンピュータ実行可能な命令を実行するように構成された物理コンピュータハードウェアに実装された１つ以上の物理または仮想サーバを含み得る。１つ以上のサーバは、例えば、１つ以上のポイント・オブ・プレゼンス（ＰＯＰ）または局所的なデータセンタにおいて、地理的に分散されるか、または地理的に同じ位置に配置されることができる。

【0078】

フロントエンド７２９は、ユーザデバイス１０２から受信したすべてのトレーニングリクエストを処理し、仮想マシンインスタンス７２２をプロビジョニングする。いくつかの実施形態では、フロントエンド７２９は、モデルトレーニングシステム７０２によって提供される他のすべてのサービスへのフロントドアとして機能する。フロントエンド７２９はリクエストを処理し、リクエストが適切に承認されていることを確認する。例えば、フロントエンド７２９は、トレーニングリクエストに関連付けられたユーザが、トレーニングプロセスを開始することを許可されているかどうかを判定することができる。

【0079】

同様に、フロントエンドは、ユーザデバイス１０２から受信したすべての展開及び実行リクエストを処理し、仮想マシンインスタンス７４２をプロビジョニングする。いくつかの実施形態では、フロントエンドは、モデルホスティングシステム７００によって提供される他のすべてのサービスへのフロントドアとして機能する。フロントエンドはリクエストを処理し、リクエストが適切に承認されていることを確認する。例えば、フロントエンドは、展開リクエストまたは実行リクエストに関連付けられたユーザが、示されたモデルデータにアクセスすること、及び／または示された機械学習モデルを実行することを許可されているかどうかを判定することができる。

【0080】

トレーニングデータストア７６０は、トレーニングデータ及び／または評価データを格納する。トレーニングデータは、機械学習モデルのトレーニングに使用されるデータであることができ、評価データは、機械学習モデルの性能を評価するために使用されるデータであることができる。いくつかの実施形態では、トレーニングデータ及び評価データは共通のデータを有する。いくつかの実施形態では、トレーニングデータ及び評価データは共通のデータを有さない。いくつかの実施形態では、トレーニングデータは、入力データ及び期待される出力を含む。トレーニングデータストア７６０は、モデルトレーニングシステム７０２及びモデルホスティングシステム７００の外部に配置されているように描かれているが、これは限定を意味するものではない。例えば、示されていない、いくつかの実施形態では、トレーニングデータストア７６０は、モデルトレーニングシステム７０２またはモデルホスティングシステム７００のうちの少なくとも１つの内部に配置されている。

【0081】

いくつかの実施形態では、トレーニングメトリクスデータストア７６５は、モデルメトリクスを格納する。トレーニングメトリクスデータストア７６５は、モデルトレーニングシステム７０２及びモデルホスティングシステム７００の外部に配置されているように示されているが、これは限定を意味するものではない。例えば、示されていない、いくつかの実施形態では、トレーニングメトリクスデータストア７６５は、モデルトレーニングシステム７０２またはモデルホスティングシステム７００のうちの少なくとも１つの内部に配置されている。

【0082】

コンテナデータストア７７０は、ＭＬトレーニングコンテナ７３０及び／またはＭＬスコアリングコンテナ７５０を形成するために使用されるコンテナイメージなどのコンテナイメージを格納し、これらは、様々な仮想マシンインスタンス７２２及び／または７４２によって取り出されることができる。コンテナデータストア７７０は、モデルトレーニングシステム７０２及びモデルホスティングシステム７００の外部に配置されているように描かれているが、これは限定を意味するものではない。例えば、示されていない、いくつかの実施形態では、コンテナデータストア７７０は、モデルトレーニングシステム７０２及びモデルホスティングシステム７００のうちの少なくとも１つの内部に配置されている。

【0083】

トレーニングモデルデータストア７７５は、モデルデータファイルを格納する。いくつかの実施形態では、モデルデータファイルのうちいくつかは、単一のファイルで構成されているが、他のモデルデータファイルは、複数の個別のファイルのパッケージである。トレーニングモデルデータストア７７５は、モデルトレーニングシステム７０２及びモデルホスティングシステム７００の外部に配置されているように描かれているが、これは限定を意味するものではない。例えば、示されていない、いくつかの実施形態では、トレーニングモデルデータストア７７５は、モデルトレーニングシステム７０２またはモデルホスティングシステム７００のうちの少なくとも１つの内部に配置されている。

【0084】

モデル予測データストア７８０は、いくつかの実施形態では、ＭＬスコアリングコンテナ７５０によって生成された出力（例えば、実行結果）を格納する。モデル予測データストア７８０は、モデルトレーニングシステム７０２及びモデルホスティングシステム７００の外部に配置されているように描かれているが、これは限定を意味するものではない。例えば、示されていない、いくつかの実施形態では、モデル予測データストア７８０は、モデルトレーニングシステム７０２及びモデルホスティングシステム７００のうちの少なくとも１つの内部に配置されている。

【0085】

モデルトレーニングシステム７０２、モデルホスティングシステム７００、トレーニングデータストア７６０、トレーニングメトリクスデータストア７６５、コンテナデータストア７７０、トレーニングモデルデータストア７７５、及びモデル予測データストア７８０は、別個の構成要素として示されているが、これは制限を意味するものではない。いくつかの実施形態では、これらの構成要素のうちいずれか１つまたはすべては、組み合わせられ、本明細書に記載の機能性を実行することができる。例えば、これらの構成要素のうちいずれか１つまたはすべては、単一のコンピューティングデバイスによって、またはコンピュータサーバーなどの複数の別個のコンピューティングデバイスによって実装されることができ、共に論理的または物理的にグループ化され、サーバシステムとして集合的に動作する。これら構成要素のうちいずれか１つまたはすべては、共有内部ネットワークを介して通信することができ、集合システム（例えば、本明細書では機械学習サービスとも呼ばれる）は、１つ以上のネットワーク（複数可）１０６を介して１つ以上のユーザデバイス１０２と通信することができる。

【0086】

様々な例示的なユーザデバイス１０２が図７に示されており、デスクトップコンピュータ、ラップトップ、及び携帯電話を含み、それぞれが例示として提供されている。一般に、ユーザデバイス１０２は、デスクトップ、ラップトップまたはタブレットコンピュータ、パーソナルコンピュータ、ウェアラブルコンピュータ、サーバ、携帯情報端末（ＰＤＡ）、ハイブリッドＰＤＡ／携帯電話、携帯電話、電子ブックリーダ、セットトップボックス、音声コマンドデバイス、カメラ、デジタルメディアプレーヤなどの任意のコンピューティングデバイスであり得る。いくつかの実施形態では、モデルトレーニングシステム７０２及び／またはモデルホスティングシステム７００は、トレーニングリクエスト、展開リクエスト、及び／または実行リクエストを提出するために、１つ以上のユーザインターフェース、コマンドラインインターフェース（ＣＬＩ）、アプリケーションプログラミングインターフェース（ＡＰＩ）、及び／または他のプログラムインターフェースをユーザデバイス１０２に提供する。いくつかの実施形態では、ユーザデバイス１０２は、トレーニングリクエスト、展開リクエスト、及び／または実行リクエストを提出するために、モデルトレーニングシステム７０２及び／またはモデルホスティングシステム７００と相互作用するスタンドアロンアプリケーションを実行することができる。

【0087】

いくつかの実施形態では、ネットワーク１０６は、任意の有線ネットワーク、無線ネットワーク、またはそれらの組み合わせを含む。例えば、ネットワーク１０６は、パーソナルエリアネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、無線放送ネットワーク（例えば、ラジオまたはテレビ用）、ケーブルネットワーク、衛星ネットワーク、セルラー電話ネットワーク、またはそれらの組み合わせであり得る。さらなる例として、ネットワーク１０６は、リンクされたネットワークの公的にアクセス可能なネットワークであり得、恐らくインターネットなどの様々な別個の関係者によって運用されるものであり得る。いくつかの実施形態では、ネットワーク１０６は、企業または大学のイントラネットなどのプライベートまたはセミプライベートネットワークであり得る。ネットワーク１０６は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ（登録商標））ネットワーク、コードディビジョンマルチアクセス（ＣＤＭＡ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、または任意の他のタイプのワイヤレスネットワークなどの１つ以上のワイヤレスネットワークを含み得る。ネットワーク１０６は、インターネットまたはネットワークの他の前述のタイプのいずれかを介して通信するためのプロトコル及び構成要素を使用することができる。例えば、ネットワーク１０６によって使用されるプロトコルは、ＨＴＴＰ、ＨＴＴＰセキュア（ＨＴＴＰＳ）、メッセージキューテレメトリトランスポート（ＭＱＴＴ）、制約付きアプリケーションプロトコル（ＣｏＡＰ）、及び同様のものを含み得る。インターネットまたは通信ネットワークの他の前述のタイプのいずれかを介して通信するためのプロトコル及び構成要素は、当業者に周知であり、したがって、本明細書ではより詳細に説明されていない。

【0088】

図８は、いくつかの実施形態による、例示的なプロバイダネットワーク（または「サービスプロバイダシステム」）環境を示している。プロバイダネットワーク８００は、１つ以上の仮想化サービス８１０を介して顧客にリソース仮想化を提供することができ、これにより、顧客が、１つ以上のデータセンタ内の１つ以上のプロバイダネットワーク内のデバイスに実装された、コンピューテーション及びストレージリソースを含むがこれらに限定されない仮想化リソースのインスタンス８１２を購入、レンタル、または取得することを可能にする。ローカルインターネットプロトコル（ＩＰ）アドレス８１６は、リソースインスタンス８１２に関連付けられ得、ローカルＩＰアドレスは、プロバイダネットワーク８００上のリソースインスタンス８１２の内部ネットワークアドレスである。いくつかの実施形態では、プロバイダネットワーク８００はまた、顧客がプロバイダ８００から取得することができるパブリックＩＰアドレス８１４及び／またはパブリックＩＰアドレス範囲（例えば、インターネットプロトコルバージョン４（ＩＰｖ４）またはインターネットプロトコルバージョン６（ＩＰｖ６）アドレス）を提供することができる。

【0089】

従来的に、プロバイダネットワーク８００は、仮想化サービス８１０を介して、サービスプロバイダの顧客（例えば、１つ以上の顧客デバイス（複数可）８５２を含む１つ以上のクライアントネットワーク８５０Ａ～８５０Ｃを運用する顧客）が、顧客にアサインされた、または割り当てられた少なくともいくつかのパブリックＩＰアドレス８１４を顧客にアサインされた特定のリソースインスタンス８１２に動的に関連付けることを可能にし得る。プロバイダネットワーク８００はまた、顧客が、顧客に割り当てられた１つの仮想化コンピューティングリソースインスタンス８１２に以前にマッピングされたパブリックＩＰアドレス８１４を、同じく顧客に割り当てられた別の仮想化コンピューティングリソースインスタンス８１２に再マッピングすることを可能にし得る。サービスプロバイダによって提供される仮想化コンピューティングリソースインスタンス８１２及びパブリックＩＰアドレス８１４を使用することで、顧客ネットワーク（複数可）８５０Ａ～８５０Ｃのオペレータなどのサービスプロバイダの顧客は、例えば、顧客固有のアプリケーションを実装し、インターネットなどの中間ネットワーク８４０上の顧客のアプリケーションを提示する。次に、中間ネットワーク８４０上の他のネットワークエンティティ８２０は、顧客ネットワーク（複数可）８５０Ａ～８５０Ｃによって公開された宛先パブリックＩＰアドレス８１４へのトラフィックを生成することができ、トラフィックは、サービスプロバイダデータセンタにルーティングされ、データセンタでは、ネットワークサブストレートを介して、宛先パブリックＩＰアドレス８１４に現在マップされている仮想化コンピューティングリソースインスタンス８１２のローカルＩＰアドレス８１６にルーティングされる。同様に、仮想化コンピューティングリソースインスタンス８１２からの応答トラフィックは、ネットワークサブストレートを介して中間ネットワーク８４０に戻され、ソースエンティティ８２０にルーティングされ得る。

【0090】

本明細書で使用されるローカルＩＰアドレスは、例えば、プロバイダネットワーク内のリソースインスタンスの内部または「プライベート」ネットワークアドレスを指す。ローカルＩＰアドレスは、インターネット技術特別調査委員会（ＩＥＴＦ）のコメントのリクエスト（ＲＦＣ）１９１８によって確保されたアドレスブロック内、及び／またはＩＥＴＦ ＲＦＣ ４１９３によって指定されたアドレス形式のアドレスブロック内にあることができ、プロバイダネットワーク内で変更可能である。プロバイダネットワークの外部から発信されるネットワークトラフィックは、ローカルＩＰアドレスに直接ルーティングされず、代わりに、トラフィックはリソースインスタンスのローカルＩＰアドレスにマップされているパブリックＩＰアドレスを使用する。プロバイダネットワークは、パブリックＩＰアドレスからローカルＩＰアドレスへのマッピング、及びその逆方向のマッピングを実行するために、ネットワークアドレス変換（ＮＡＴ）または同様の機能を提供するネットワークデバイスまたはアプライアンスを含み得る。

【0091】

パブリックＩＰアドレスは、サービスプロバイダにより、または顧客により、リソースインスタンスにアサインされるインターネット可変ネットワークアドレスである。パブリックＩＰアドレスにルーティングされたトラフィックは、例えば１：１ＮＡＴを介して変換され、リソースインスタンスのそれぞれローカルＩＰアドレスに転送される。

【0092】

いくつかのパブリックＩＰアドレスは、プロバイダネットワークインフラストラクチャにより、特定のリソースインスタンスにアサインされ得、これらのパブリックＩＰアドレスは、標準パブリックＩＰアドレス、または単純に標準ＩＰアドレスと称され得る。いくつかの実施形態では、標準ＩＰアドレスをリソースインスタンスのローカルＩＰアドレスにマッピングすることは、全てのリソースインスタンスタイプのデフォルトの起動構成である。

【0093】

少なくともいくつかのパブリックＩＰアドレスは、プロバイダネットワーク８００の顧客に割り当てられ得、または顧客により取得され得、次に、顧客は、自身の割り当てられたパブリックＩＰアドレスを、顧客に割り当てられた特定のリソースインスタンスにアサインし得る。これらのパブリックＩＰアドレスは、顧客パブリックＩＰアドレス、または単純に顧客ＩＰアドレスと称され得る。顧客ＩＰアドレスは、標準ＩＰアドレスの事例のようにプロバイダネットワーク８００によりリソースインスタンスにアサインされる代わりに、例えばサービスプロバイダにより提供されるＡＰＩを介して、顧客によりリソースインスタンスにアサインされ得る。標準ＩＰアドレスと異なり、顧客ＩＰアドレスは、顧客アカウントに割り当てられ、必要または所望に応じて、それぞれの顧客により他のリソースインスタンスに再マッピングすることができる。顧客ＩＰアドレスは、特定のリソースインスタンスではなく、顧客のアカウントに対応付けられ、顧客がそのＩＰアドレスを解除することを選択するまで、顧客はそのＩＰアドレスを制御する。従来の静的ＩＰアドレスと異なり、顧客ＩＰアドレスは、顧客が、顧客のパブリックＩＰアドレスを、顧客のアカウントに対応付けられた任意のリソースインスタンスに再マッピングすることにより、リソースインスタンスまたはアベイラビリティゾーンの障害をマスクすることを可能にする。顧客ＩＰアドレスは、例えば、顧客が、顧客ＩＰアドレスを代替リソースインスタンスに再マッピングすることにより、顧客のリソースインスタンスまたはソフトウェアの問題に対処することを可能にする。

【0094】

図９は、いくつかの実施形態による、顧客にストレージサービス及びハードウェア仮想化サービスを提供する例示的なプロバイダネットワークのブロック図である。ハードウェア仮想化サービス９２０は、多数のコンピューテーションリソース９２４（例えばＶＭ）を顧客に提供する。コンピューテーションリソース９２４は、例えば、プロバイダネットワーク９００の顧客（例えば、顧客ネットワーク９５０を実装する顧客）にレンタルまたはリースすることができる。各コンピューテーションリソース９２４には、１つ以上のローカルＩＰアドレスを設けることができる。プロバイダネットワーク９００は、コンピューテーションリソース９２４のローカルＩＰアドレスからパブリックインターネット宛先に、かつ、パブリックインターネットソースからコンピューテーションリソース９２４のローカルＩＰアドレスにパケットをルーティングするように構成され得る。

【0095】

プロバイダネットワーク９００は、例えば、ローカルネットワーク９５６を介して中間ネットワーク９４０に結合された顧客ネットワーク９５０と、中間ネットワーク９４０及びプロバイダネットワーク９００に結合されたハードウェア仮想化サービス９２０を介して仮想コンピューティングシステム９９２を実装する能力と、を提供し得る。いくつかの実施形態では、ハードウェア仮想化サービス９２０は、１つ以上のＡＰＩ９０２、例えば、ウェブサービスインターフェースを提供することができ、それを介して、顧客ネットワーク９５０は、ハードウェア仮想化サービス９２０によって提供される機能性に、例えば、コンソール９９４（例えば、ウェブベースのアプリケーション、スタンドアロンアプリケーション、モバイルアプリケーションなど）を介してアクセスすることができる。いくつかの実施形態では、プロバイダネットワーク９００において、顧客ネットワーク９５０における各仮想コンピューティングシステム９９２は、リース、レンタル、または他の方法で顧客ネットワーク９５０に提供されるコンピューテーションリソース９２４に対応し得る。

【0096】

仮想コンピューティングシステム９９２及び／または別の顧客デバイス９９０のインスタンスから（例えば、コンソール９９４を介して）、顧客は、例えば、１つ以上のＡＰＩ９０２を介して、ストレージサービス９１０の機能性にアクセスして、データにアクセスし、プロバイダネットワーク９００によって提供される仮想データストア９１６のストレージリソース９１８Ａ～９１８Ｎ（例えば、フォルダまたは「バケット」、仮想化ボリューム、データベースなど）にデータを格納することができる。いくつかの実施形態では、仮想化データストアゲートウェイ（図示せず）が顧客ネットワーク９５０に提供され得、これは、少なくともいくつかのデータ、例えば、頻繁にアクセスされるデータまたは重要なデータをローカルにキャッシュし得、そして１つ以上の通信チャネルを介してストレージサービス９１０と通信してローカルキャッシュからの新規の、または修正されたデータをアップロードし、データのプライマリストア（仮想化データストア９１６）が維持されるようになっている。いくつかの実施形態では、ユーザは、仮想コンピューティングシステム９９２を介して、及び／または別の顧客デバイス９９０上で、ストレージ仮想化サービスとして機能するストレージサービス９１０を介して仮想データストア９１６ボリュームをマウント及びアクセスすることができ、これらのボリュームはローカル（仮想化）ストレージ９９８としてユーザに見えることができる。

【0097】

図９には示されていないが、仮想化サービス（複数可）はまた、ＡＰＩ（複数可）９０２を介してプロバイダネットワーク９００内のリソースインスタンスからアクセスされ得る。例えば、顧客、アプライアンスサービスプロバイダ、または他のエンティティは、ＡＰＩ９０２を介してプロバイダネットワーク９００上のそれぞれの仮想ネットワーク内から仮想化サービスにアクセスして、仮想ネットワーク内または別の仮想ネットワーク内の１つ以上のリソースインスタンスの割り当てをリクエストすることができる。

【0098】

例示的なシステム
いくつかの実施形態では、本明細書に記載の技術の一部またはすべてを実装するシステムは、図１０に示されるコンピュータシステム１０００などの１つ以上のコンピュータアクセス可能な媒体を含むか、またはそれにアクセスするように構成される汎用コンピュータシステムを含み得る。図示した実施形態では、コンピュータシステム１０００は、入力／出力（Ｉ／Ｏ）インターフェース１０３０を介してシステムメモリ１０２０に結合された１つ以上のプロセッサ１０１０を含む。コンピュータシステム１０００は、Ｉ／Ｏインターフェース１０３０に結合されたネットワークインターフェース１０４０をさらに含む。図１０は、コンピュータシステム１０００を単一のコンピューティングデバイスとして示す一方で、様々な実施形態では、コンピュータシステム１０００は、単一のコンピュータシステム１０００として共に動作するように構成された１つのコンピューティングデバイスまたは任意数のコンピューティングデバイスを含み得る。

【0099】

様々な実施形態では、コンピュータシステム１０００は、１つのプロセッサ１０１０を含むユニプロセッサシステム、またはいくつかのプロセッサ１０１０（例えば、２つ、４つ、８つ、または別の適切な数）を含むマルチプロセッサシステムであり得る。プロセッサ１０１０は、命令を実行することができる任意の適切なプロセッサであり得る。例えば、さまざまな実施形態では、プロセッサ１０１０は、ｘ８６、ＡＲＭ、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、またはＭＩＰＳ ＩＳＡ、または任意の他の適切なＩＳＡなどの様々な命令セットアーキテクチャ（ＩＳＡ）のいずれかを実装する汎用または組み込みプロセッサであり得る。マルチプロセッサシステムでは、各プロセッサ１０１０は、必ずしもそうである必要はないが、一般的に同じＩＳＡを実装することができる。

【0100】

システムメモリ１０２０は、プロセッサ（複数可）１０１０によってアクセス可能な命令及びデータを格納することができる。様々な実施形態では、システムメモリ１０２０は、ランダムアクセスメモリ（ＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）、同期式動的ＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、または任意の他の種類のメモリなど、任意の好適なメモリ技術を使用して実施され得る。例示された実施形態では、上述の方法、技術、及びデータなどの１つ以上の所望の機能を実装するプログラム命令及びデータが、データベースサービスコード１０２５及びデータ１０２６としてシステムメモリ１０２０内に格納されて示されている。

【0101】

一実施形態では、Ｉ／Ｏインターフェース１０３０は、プロセッサ１０１０、システムメモリ１０２０、及びネットワークインターフェース１０４０または他の周辺インターフェースを含むデバイス内の任意の周辺デバイスとの間のＩ／Ｏトラフィックを調整するように構成され得る。いくつかの実施形態では、Ｉ／Ｏインターフェース１０３０は、任意の必要なプロトコル、タイミング、または他のデータ変換を実行して、１つの構成要素（例えば、システムメモリ１０２０）からのデータ信号を別の構成要素（例えば、プロセッサ１０１０）によって使用するのに適したフォーマットに変換することができる。いくつかの実施形態では、Ｉ／Ｏインターフェース１０３０は、例えば、周囲構成要素相互接続（ＰＣＩ）バス規格またはユニバーサルシリアルバス（ＵＳＢ）規格の変形など、様々なタイプのペリフェラルバスを介して接続されたデバイスのサポートを含み得る。いくつかの実施形態では、Ｉ／Ｏインターフェース１０３０の機能は、例えば、ノースブリッジ及びサウスブリッジなどの２つ以上の別個の構成要素に分割され得る。また、いくつかの実施形態では、システムメモリ１０２０へのインターフェースなど、Ｉ／Ｏインターフェース１０３０の機能性のいくつかまたはすべてが、プロセッサ１０１０に直接的に組み込まれ得る。

【0102】

ネットワークインターフェース１０４０は、コンピュータシステム１０００と、例えば、図１に示されるような他のコンピュータシステムまたはデバイスなどの１つ以上のネットワーク１０５０に接続された他のデバイス１０６０との間でデータが交換され得るように構成され得る。様々な実施形態では、ネットワークインターフェース１０４０は、例えば、イーサネット（登録商標）ネットワークのタイプなどの任意の適切な有線または無線の一般的なデータネットワークを介した通信をサポートすることができる。さらに、ネットワークインターフェース１０４０は、アナログ音声ネットワークまたはデジタルファイバ通信ネットワークなどのテレコミュニケーション／テレフォニーネットワークを介し、ファイバチャネルＳＡＮなどのストレージエリアネットワーク（ＳＡＮ）を介し、またはＩ／Ｏ、他の任意の適切なタイプのネットワーク及び／またはプロトコルを介した通信をサポートすることができる。

【0103】

いくつかの実施形態では、コンピュータシステム１０００は、Ｉ／Ｏインターフェース１０３０（例えば、周辺構成要素相互接続エクスプレス（ＰＣＩ－Ｅ）規格のバージョン、またはＱｕｉｃｋＰａｔｈ相互接続（ＱＰＩ）もしくはＵｌｔｒａＰａｔｈ相互接続（ＵＰＩ）などの別の相互接続を実装するバス）を使用して接続された１つ以上のオフロードカード１０７０（１つ以上のプロセッサ１０７５を含み、場合によっては１つ以上のネットワークインターフェース１０４０を含む）を含む。例えば、いくつかの実施形態では、コンピュータシステム１０００は、計算インスタンスをホストするホスト電子デバイス（例えば、ハードウェア仮想化サービスの一部として動作する）として機能することができ、１つ以上のオフロードカード１０７０は、ホスト電子デバイスで実行する計算インスタンスを管理できる仮想化マネージャを実行する。一例として、いくつかの実施形態では、オフロードカード（複数可）１０７０は、計算インスタンスの一時停止及び／または一時停止解除、計算インスタンスの起動及び／または終了、メモリ転送／コピー操作の実行などの計算インスタンス管理操作を実行することができる。これらの管理操作は、いくつかの実施形態では、コンピュータシステム１０００の他のプロセッサ１０１０Ａ～１０１０Ｎによって実行されるハイパーバイザと連携して（例えば、ハイパーバイザからのリクエストに応じて）オフロードカード（複数可）１０７０によって実行され得る。しかしながら、いくつかの実施形態では、オフロードカード（複数可）１０７０により実施される仮想化マネージャは、他のエンティティからの（例えば計算インスタンス自体からの）リクエストに対応し得、任意の別個のハイパーバイザと協働し得ない（または任意の別個のハイパーバイザにサービス提供し得ない）。

【0104】

いくつかの実施形態では、システムメモリ１０２０は、前述されたプログラム命令及びデータを格納するように構成されたコンピュータアクセス可能媒体の一実施形態であり得る。しかし、別の実施形態では、プログラム命令及び／またはデータは、異なる種類のコンピュータアクセス可能媒体上で受信、送信、または格納され得る。一般的に言えば、コンピュータアクセス可能な媒体は、非一時的な記憶媒体、または磁気または光学媒体などの記憶媒体、例えば、Ｉ／Ｏインターフェース１０３０を介してコンピュータシステム１０００に結合されたディスクまたはＤＶＤ／ＣＤなどを含み得る。非一時的なコンピュータアクセス可能な記憶媒体はまた、ＲＡＭ（例えば、ＳＤＲＡＭ、ダブルデータレート（ＤＤＲ）ＳＤＲＡＭ、ＳＲＡＭなど）、読み取り専用メモリ（ＲＯＭ）などの任意の揮発性または非揮発性媒体を含むことができ、これらは、システムメモリ１０２０または別のタイプのメモリとしてコンピュータシステム１０００のいくつかの実施形態に含まれ得る。さらに、コンピュータアクセス可能な媒体は、ネットワークインターフェース１０４０を介して実装され得るような、ネットワーク及び／または無線リンクなどの通信媒体を介して伝達される、伝送媒体または電気、電磁、またはデジタル信号などの信号を含み得る。

【0105】

本明細書で論じられ、または提案される様々な実施形態は、多種多様な動作環境で実装されることができ、場合によっては、いくつかのアプリケーションのいずれかを動作させるために使用できる１つ以上のユーザコンピュータ、コンピューティングデバイス、または処理デバイスを含むことができる。ユーザまたはクライアントデバイスは、標準のオペレーティングシステムを実行するデスクトップまたはラップトップコンピュータや、モバイルソフトウェアを実行し、多数のネットワーク及びメッセージングプロトコルをサポートできるセルラー、ワイヤレス、及びハンドヘルドデバイスなど、任意の数の汎用パーソナルコンピュータを含むことができる。このようなシステムはまた、開発やデータベース管理などの目的で、様々な市販のオペレーティングシステムやその他の既知のアプリケーションのいずれかを実行する多数のワークステーションを含むことができる。これらのデバイスはまた、ダミー端末、シンクライアント、ゲームシステム、及び／またはネットワークを介して通信することができる他のデバイスなどの他の電子デバイスを含むことができる。

【0106】

ほとんどの実施形態は、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ファイル転送プロトコル（ＦＴＰ）、ユニバーサルプラグアンドプレイ（ＵＰｎＰ）、ネットワークファイルシステム（ＮＦＳ）、共通インターネットファイルシステム（ＣＩＦＳ）、エクステンシブルメッセージングアンドプレゼンスプロトコル（ＸＭＰＰ）、ＡｐｐｌｅＴａｌｋ、等、などの様々な広く利用可能なプロトコルのいずれかを使用する通信をサポートするために当業者によく知られている少なくとも１つのネットワークを利用する。ネットワーク（複数可）は、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、インターネット、イントラネット、エクストラネット、公衆交換電話ネットワーク（ＰＳＴＮ）、赤外線ネットワーク、ワイヤレスネットワーク、及びそれらの任意の組み合わせを含むことができる。

【0107】

ウェブサーバを利用する実施形態では、ウェブサーバは、ＨＴＴＰサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、共通ゲートウェインターフェース（ＣＧＩ）サーバ、データサーバ、Ｊａｖａ（登録商標）サーバ、ビジネスアプリケーションサーバなどを含む、様々なサーバまたは中間層アプリケーションのいずれかを実行できる。サーバ（複数可）はまた、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、Ｃ＋＋、またはＰｅｒｌ、Ｐｙｔｈｏｎ、ＰＨＰ、ＴＣＬ、及びそれらの組み合わせなどの任意のスクリプト言語などの任意のプログラミング言語で記述された１つ以上のスクリプトまたはプログラムとして実装され得る１つ以上のウェブアプリケーションを実行することなど、ユーザデバイスからのリクエストに応答してプログラムまたはスクリプトを実行可能であり得る。サーバ（複数可）はまた、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、ＩＢＭ（登録商標）などから市販されているものを含むがこれらに限定されないデータベースサーバを含むことができる。データベースサーバは、リレーショナルまたは非リレーショナル（例えば、「ＮｏＳＱＬ」）、分散型または非分散型などであり得る。

【0108】

本明細書に開示される環境は、上述のように、様々なデータストアならびに他のメモリ及び記憶媒体を含むことができる。これらは、１つ以上のコンピュータのローカル（及び／または常駐）の記憶媒体上、またはネットワーク上のコンピュータのいずれかまたはすべてからリモートの記憶媒体上など、様々な場所に常駐できる。特定の一連の実施形態では、情報は、当業者によく知られているストレージエリアネットワーク（ＳＡＮ）に存在し得る。同様に、コンピュータ、サーバ、またはその他のネットワークデバイスに起因する機能を実行するための任意の必要なファイルは、必要に応じてローカル及び／またはリモートに格納され得る。システムがコンピュータ化されたデバイスを含む場合、それぞれのそのようなデバイスは、バスを介して電気的に結合され得るハードウェア要素を含むことができ、これら要素は、例えば、少なくとも１つの中央処理ユニット（ＣＰＵ）、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、タッチスクリーン、またはキーパッド）、及び／または少なくとも１つの出力デバイス（例えば、ディスプレイデバイス、プリンタ、スピーカ）を含む。このようなシステムはまた、ディスクドライブ、光ストレージデバイス、ならびにランダムアクセスメモリ（ＲＡＭ）または読み取り専用メモリ（ＲＯＭ）及びリムーバブルメディアデバイス、メモリカード、フラッシュカード、等のようなソリッドステートストレージデバイスなどの１つ以上のストレージデバイスを含むことができる。

【0109】

そのようなデバイスはまた、コンピュータ可読記憶媒体リーダ、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイスなど）、及び上述のようなワーキングメモリを含むことができる。コンピュータ可読記憶媒体リーダは、リモート、ローカル、固定、及び／または取り外し可能な記憶装置、ならびにコンピュータ可読情報を一時的及び／またはより恒久的に収容、格納、送信、及び取り出すための記憶媒体を表す、コンピュータ可読記憶媒体と接続され得るか、または受信するように構成され得る。システム及び様々なデバイスはまた、通常、オペレーティングシステム及びクライアントアプリケーションやウェブブラウザなどのアプリケーションプログラムを含む、少なくとも１つのワーキングメモリデバイス内に配置された多数のソフトウェアアプリケーション、モジュール、サービス、またはその他の要素を含む。代替的な実施形態は、上述のものからの多数の変形を有し得ることが理解されるべきである。例えば、カスタマイズされたハードウェアもまた使用されることがあり、及び／または特定の要素が、ハードウェア、（アプレットなどのポータブルソフトウェアを含む）ソフトウェア、またはその両方に実装されることもある。さらに、ネットワーク入力／出力デバイスなどの他のコンピューティングデバイスへの接続が採用され得る。

【0110】

コードまたはコードの一部を含むための記憶媒体及びコンピュータ可読媒体は、記憶媒体及び通信媒体を含む、当技術分野で知られているまたは使用される任意の適切な媒体を含むことができ、それらは限定されるものでないが、揮発性及び非揮発性の、取り外し可能及び非取り外し可能な、任意の方法または技術で実装された情報の格納及び／または送信のための媒体であり、例えば、コンピュータ可読命令、データ構造、プログラムモジュール、またはＲＡＭ、ＲＯＭ、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他の記憶技術、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）またはその他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくはその他の磁気ストレージデバイス、または所望の情報を格納するために使用され得、かつシステムデバイスからアクセスされ得る任意の他の媒体を含む他のデータである。本明細書に提供される開示及び教示に基づいて、当業者は、多様な実施形態を実装するための他の方法及び／または手法を理解するであろう。

【0111】

上記の説明では、様々な実施形態が説明された。説明目的で、実施形態の完全な理解を提供するために、具体的な構成及び詳細が明らかにされた。しかしながら、実施形態は具体的な詳細を伴わずに実施され得ることは、当業者には明らかであろう。さらに、説明される実施形態を不明瞭にしないために、周知の特徴は省略または簡略化され得る。

【0112】

本明細書では、括弧で囲まれたテキスト及び破線（例えば大きい破線、小さい破線、鎖線、及び点）で囲まれたブロックを使用して、いくつかの実施形態に付加的特徴を追加する任意の動作が説明される。しかしながら、そのような表記は、これらが唯一の選択肢であるか、または任意の操作であること、及び／または特定の実施形態において実線の境界を有するブロックが任意ではないことを意味すると解釈されるべきではない。

【0113】

接尾辞が付いた参照番号（例、９１８Ａ～９１８Ｎ）は、様々な実施形態で参照エンティティの１つまたは複数のインスタンスが存在する可能性があることを示すために使用され得、複数のインスタンスが存在する場合、それぞれが同一である必要はないが、代わりにいくつかの一般的な特徴を共有するか、共通の方法で動作する。さらに、使用される特定の接尾辞は、特に反対の指示がない限り、特定の数のエンティティが存在することを意味するものではない。従って、同じまたは異なる接尾辞文字を使用する２つのエンティティは、様々な実施形態において同じ数のインスタンスを有しても有さなくてもよい。

【0114】

「一実施形態」、「実施形態」、「例示的な実施形態」などへの言及は、説明される実施形態が特定の特徴、構造、または特性を含み得ることを示すが、あらゆる実施形態が必ずしも特定の特徴、構造、または特性を含むわけではあり得ない。さらに、このような句は、必ずしも同じ実施形態を指すわけではない。さらに、特定の特徴、構造、または特性が実施形態に関連して説明される場合、他の実施形態と関連してこのような特徴、構造、または特性を備えることは、明確に記載されているか否かに関わらず、当業者の知識の範囲内であると考えられる。

【0115】

さらに、前述の様々な実施形態では、特に断りのない限り、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」という句などの選言的表現は、Ａ、Ｂ、またはＣのいずれか、あるいはこれらの任意の組み合わせ（例えばＡ、Ｂ、及び／またはＣ）を意味すると理解されることが意図される。よって、選言的表現は、所与の実施形態に少なくとも１つのＡ、少なくとも１つのＢ、または少なくとも１つのＣがそれぞれ存在する必要があることを意味する意図はなく、またそのように理解されるべきではない。

【0116】

開示される技術の少なくともいくつかの実施形態は、以下の条項を考慮して説明され得る。
１．データベースサービスにおいてリクエストを受信することであって、前記リクエストが、前記データベースサービス内でデータセットの少なくとも一部分に実行される構造化照会言語（ＳＱＬ）クエリを含み、前記リクエストが、前記ＳＱＬクエリの処理で使用される機械学習サービスを識別する、前記受信することと、
前記ＳＱＬクエリの少なくとも一部分を実行するために仮想オペレータを作成することと、
前記仮想オペレータによって実行される前記ＳＱＬクエリの前記一部分に少なくとも基づいて、機械学習リクエストの第１のバッチを生成することと、
機械学習リクエストの前記第１のバッチを非同期リクエストハンドラの入力バッファに送信することであって、前記非同期リクエストハンドラが、機械学習リクエストの前記第１のバッチに基づいて、機械学習リクエストの第２のバッチを生成する、前記送信することと、
前記非同期リクエストハンドラの出力バッファから複数の機械学習応答を取得することであって、前記機械学習サービスによって生成された前記機械学習応答が、機械学習リクエストの前記第２のバッチを受信することに応答して機械学習モデルを使用している、前記取得することと、
前記機械学習応答に基づいてクエリ応答を生成することと、
を含む、コンピュータ実装方法。

【0117】

２．前記ＳＱＬクエリに少なくとも基づいて、機械学習リクエストの第１のバッチを生成することが、
機械学習リクエストに関連付けられた記録の数を最小化するクエリ実行計画を決定することをさらに含む、条項１に記載のコンピュータ実装方法。

【0118】

３．機械学習リクエストの前記第２のバッチが処理されたときに、前記機械学習サービスが、前記出力バッファにフラグを追加する、条項１または２のいずれか一項に記載のコンピュータ実装方法。

【0119】

４．機械学習リクエストの第１のバッチを生成するために、一時データ構造を使用してデータベースサービスに格納されたデータにクエリの少なくとも一部分を実行することであって、前記クエリが機械学習サービスを識別する、前記実行することと、
機械学習リクエストの前記第１のバッチに基づいて、かつ、前記機械学習サービスに基づいて、機械学習リクエストの第２のバッチを生成することと、
複数の機械学習応答を取得することであって、前記機械学習応答が、機械学習リクエストの前記第２のバッチを受信することに応答して、機械学習モデルを使用して、前記機械学習サービスによって生成される、前記取得することと、
を含む、コンピュータ実装方法。

【0120】

５．前記クエリが、構造化照会言語（ＳＱＬ）クエリである、条項４に記載のコンピュータ実装方法。

【0121】

６．前記ＳＱＬクエリが、前記機械学習サービスへのアプリケーションプログラミングインターフェース（ＡＰＩ）コールを使用して前記機械学習を識別する、条項５に記載のコンピュータ実装方法。

【0122】

７．前記機械学習サービスが、前記ＡＰＩを公開し、複数のユーザから受信したリクエストに応答して前記機械学習モデルを用いた推論を実行する、条項６に記載のコンピュータ実装方法。

【0123】

８．前記クエリが、前記機械学習サービスによってホストされた前記機械学習モデルに関連付けられたエンドポイントを用いて前記機械学習サービスを識別する、条項４～７のいずれか一項に記載のコンピュータ実装方法。

【0124】

９．機械学習リクエストの前記第２のバッチが、少なくとも１つのネットワークを介して前記機械学習サービスに送信されている、条項４～８のいずれか一項に記載のコンピュータ実装方法。

【0125】

１０．前記機械学習モデルのための前記機械学習サービスにリクエストを送信することと、
前記機械学習サービスから前記機械学習モデルを受信することであって、前記機械学習モデルが、前記機械学習サービスによって、前記データベースサービスのためにコンパイルされている、前記受信することと、をさらに含み、
機械学習リクエストの前記第２のバッチが、前記データベースサービスによってホストされた前記機械学習モデルに送信されている、条項４～９のいずれか一項に記載のコンピュータ実装方法。

【0126】

１１．前記データベースサービスの複数のノード内に前記機械学習モデルのコピーを格納することをさらに含み、前記クエリの処理の間に前記データベースサービスの特定のノードによって生成された機械学習リクエストが、前記特定のノードに格納された前記機械学習モデルの前記コピーに送信されている、条項１０に記載のコンピュータ実装方法。

【0127】

１２．前記第２のバッチサイズが、前記第１のバッチサイズと異なっており、前記第２のバッチサイズが、前記機械学習サービスに関連付けられている、条項４～１１のいずれか一項に記載のコンピュータ実装方法。

【0128】

１３．機械学習リクエストの前記第１のバッチが、複数の異なるユーザから受信した複数のクエリに応答して生成された機械学習リクエストを含む、条項４～１２のいずれか一項に記載のコンピュータ実装方法。

【0129】

１４．第１の１つ以上の電子デバイスによって実装された機械学習サービスと、
第２の１つ以上の電子デバイスによって実装されたデータベースサービスと、を含むシステムであって、前記データベースサービスが、命令を含み、前記命令は、実行されると前記データベースに、機械学習リクエストの第１のバッチを生成するために、一時データ構造を使用してデータベースサービスに格納されたデータにクエリの少なくとも一部分を実行することであって、前記クエリが前記機械学習サービスを識別する、前記実行することと、
機械学習リクエストの前記第１のバッチに基づいて、かつ、前記機械学習サービスに基づいて、機械学習リクエストの第２のバッチを生成することと、
複数の機械学習応答を取得することであって、前記機械学習応答が、機械学習リクエストの前記第２のバッチを受信することに応答して、機械学習モデルを用いて、前記機械学習サービスによって生成される、前記取得することと、
を行わせる、前記システム。

【0130】

１５．前記クエリが、構造化照会言語（ＳＱＬ）クエリである、条項１４に記載のシステム。

【0131】

１６．前記ＳＱＬクエリが、前記機械学習サービスへのアプリケーションプログラミングインターフェース（ＡＰＩ）コールを用いて前記機械学習を識別する、条項１５に記載のシステム。

【0132】

１７．前記機械学習サービスが、前記ＡＰＩを公開し、複数のユーザから受信したリクエストに応答して前記機械学習モデルを用いた推論を実行する、条項１６に記載のシステム。

【0133】

１８．前記クエリが、前記機械学習サービスによってホストされた前記機械学習モデルに関連付けられたエンドポイントを用いて前記機械学習サービスを識別する、条項１４～１７のいずれか一項に記載のシステム。

【0134】

１９．機械学習リクエストの前記第２のバッチが、少なくとも１のネットワークを介して前記機械学習サービスに送信されている、条項１４～１８のいずれか一項に記載のシステム。

【0135】

２０．前記機械学習モデルのための前記機械学習サービスにリクエストを送信することと、
前記機械学習サービスから前記機械学習モデルを受信することであって、前記機械学習モデルが、前記機械学習サービスによって前記データベースサービスのためにコンパイルされ、
機械学習リクエストの前記第２のバッチは、前記データベースサービスによってホストされた前記機械学習モデルに送信されている、前記受信することと、
前記データベースサービスの複数のノード内に前記機械学習モデルのコピーを格納することであって、前記クエリの処理の間に前記データベースサービスの特定のノードによって生成された機械学習リクエストが、前記特定のノードに格納された前記機械学習モデルの前記コピーに送信されている、前記格納することと、
をさらに含む、条項１４～１９のいずれか一項に記載のシステム。

【0136】

明細書及び図面は、従って、限定的ではなく例示的な意味で考えられるべきである。しかしながら、特許請求の範囲に明記される本開示のより広い趣旨及び範囲から逸脱することなく、明細書及び図面に様々な修正及び変更が行われてもよいことは、明らかである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】