▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-28
(54)【発明の名称】プライベート転移学習
(51)【国際特許分類】
G06N 3/08 20060101AFI20221221BHJP
G06F 21/53 20130101ALI20221221BHJP
【ＦＩ】
G06N3/08
G06F21/53
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022523266
(86)(22)【出願日】2020-10-22
(85)【翻訳文提出日】2022-04-18
(86)【国際出願番号】 IB2020059918
(87)【国際公開番号】W WO2021079299
(87)【国際公開日】2021-04-29
(31)【優先権主張番号】16/662,087
(32)【優先日】2019-10-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(72)【発明者】
【氏名】リントン、ジェブ
(72)【発明者】
【氏名】ベンケン、ジョン
(72)【発明者】
【氏名】メルション、ジョン
(72)【発明者】
【氏名】アミサノ、マイケル
(72)【発明者】
【氏名】ライト、デイヴィッド
(57)【要約】
プライベート転移学習のための方法についての実施形態が開示される。本方法は、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することを含む。本方法は、所定の暗号化メカニズムを用いて機械学習モデルを暗号化することを更に含む。本方法は、暗号化された機械学習モデルを信頼された実行環境にコピーすることを更に含む。本方法は、推論ＡＰＩを用いて信頼された実行環境において機械学習モデルを実行することも含む。
【特許請求の範囲】
【請求項1】
プライベート転移学習のためのコンピュータ実施方法であって、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することと、
所定の暗号化メカニズムを用いて前記機械学習モデルを暗号化することと、
前記暗号化された機械学習モデルを信頼された実行環境にコピーすることと、
前記トレーニングＡＰＩおよび前記推論ＡＰＩのうちの少なくとも１つを用いて前記信頼された実行環境において前記機械学習モデルを実行することと、
を含む、コンピュータ実施方法。
【請求項2】
前記機械学習モデルは、ディープ・ニューラル・ネットワーク（ＤＮＮ）モデルを含む、請求項１に記載の方法。
【請求項3】
前記ＤＮＮモデルは一般タスクを実行するようにトレーニングされる、請求項２に記載の方法。
【請求項4】
前記トレーニングＡＰＩは、前記一般タスクを、前記一般タスクよりも特殊なタスクに精緻化するタスクを実行するように前記ＤＮＮモデルをトレーニングする、請求項３に記載の方法。
【請求項5】
前記信頼された実行環境において、前記機械学習モデルの本体と、追加の機械学習モデルのヘッドとの組合せを生成することを更に含む、請求項１ないし４のいずれかに記載の方法。
【請求項6】
前記組合せのために前記推論ＡＰＩを実行することを更に含む、請求項５に記載の方法。
【請求項7】
前記組合せのために前記トレーニングＡＰＩを実行することを更に含む、請求項５または６に記載の方法。
【請求項8】
プライベート転移学習のためのシステムであって、前記システムは、コンピュータ処理回路と、
前記コンピュータ処理回路によって実行されると、前記コンピュータ処理回路に方法を実行させるように構成された命令を記憶するコンピュータ可読ストレージ媒体とを備え、前記方法は、
トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することと、
所定の暗号化メカニズムを用いて前記機械学習モデルを暗号化することと、
前記暗号化された機械学習モデルを信頼された実行環境にコピーすることと、
前記トレーニングＡＰＩを用いて前記信頼された実行環境において前記機械学習モデルを実行することと、
前記推論ＡＰＩを用いることによって、前記トレーニングＡＰＩによってトレーニングされた前記機械学習モデルを実行することと、
を含む、システム。
【請求項9】
前記機械学習モデルは、ディープ・ニューラル・ネットワーク（ＤＮＮ）モデルを含む、請求項８に記載のシステム。
【請求項10】
前記ＤＮＮモデルは一般タスクを実行するようにトレーニングされる、請求項９に記載のシステム。
【請求項11】
前記トレーニングＡＰＩは、前記一般タスクを、前記一般タスクよりも特殊なタスクに精緻化するタスクを実行するように前記ＤＮＮモデルをトレーニングする、請求項１０に記載のシステム。
【請求項12】
前記方法は、前記信頼された実行環境において、前記機械学習モデルの本体と、追加の機械学習モデルのヘッドとの組合せを生成することを更に含む、請求項８ないし１１のいずれかに記載のシステム。
【請求項13】
前記方法は、前記組合せのために前記推論ＡＰＩを実行することを更に含む、請求項１２に記載のシステム。
【請求項14】
前記方法は、前記組合せのために前記トレーニングＡＰＩを実行することを更に含む、請求項１２または１３に記載のシステム。
【請求項15】
前記信頼された実行環境において前記トレーニングＡＰＩを用いて前記機械学習モデルを実行することは、ＧＰＵにおいて前記トレーニングＡＰＩを実行することを含み、前記推論ＡＰＩを用いることによって前記トレーニングＡＰＩによってトレーニングされた前記機械学習モデルを実行することは、前記ＧＰＵにおいて前記推論ＡＰＩを実行することを含む、請求項８ないし１４のいずれかに記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プライベート転移学習に関し、より詳細には、プライベート転移学習（private transfer learning）のためのセキュアなポータブルＤＮＮに関する。
【背景技術】
【0002】
ディープ・ニューラル・ネットワーク（ＤＮＮ）は機械学習アーキテクチャである。機械学習アーキテクチャは、コンピュータ・システム、例えば学習することができるマシンである。マシンが学習することができる１つのことは、どのようにアイテムを分類するか、例えば、どのように人物の画像を物体の画像と区別するかである。このため、ＤＮＮは、画像を入力として取り、ＤＮＮが画像を人物として分類するか、または物体として分類するかを示すその画像のラベルを出力することができる。機械学習、例えばＤＮＮによって物体を分類する動作は、本明細書において、推論または順方向パス（forward pass）と呼ばれる。対照的に、逆方向パス（backward pass）は、所定の分類を実行するように学習するコンピュータ・プログラムであるＤＮＮモデルのトレーニングを伴う。正確になるようにＤＮＮモデルをトレーニングすることは複雑である可能性があり、このため、人物の画像を物体の画像と区別する等の一般タスクをどのように行うかを学習するために、比較的大量のデータに依拠する可能性がある。
【0003】
したがって、当該技術分野において、上述した問題に対処することが必要とされている。
【発明の概要】
【0004】
複数の態様の観点から、本発明は、プライベート転移学習のためのコンピュータ実施方法、コンピュータ・プログラム製品およびシステムを提供し、これは、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することと、所定の暗号化メカニズムを用いて機械学習モデルを暗号化することと、暗号化された機械学習モデルを信頼された実行環境（trusted execution environment）にコピーすることと、推論ＡＰＩおよびトレーニングＡＰＩのうちの少なくとも１つを用いて信頼された実行環境において機械学習モデルを実行することとを含む。
【0005】
一態様の観点から、本発明は、プライベート転移学習のためのコンピュータ実施方法を提供し、本方法は、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することと、所定の暗号化メカニズムを用いて機械学習モデルを暗号化することと、暗号化された機械学習モデルを信頼された実行環境にコピーすることと、推論ＡＰＩを用いて信頼された実行環境において機械学習モデルを実行することとを含む。
【0006】
一態様の観点から、本発明は、コンピュータ可読ストレージ媒体に記憶されたプログラム命令を含むコンピュータ・プログラム製品を提供し、コンピュータ可読ストレージ媒体はそれ自体、一過性の信号ではなく、プログラム命令は、プロセッサに方法を実行させるようにこのプロセッサによって実行可能であり、この方法は、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することと、所定の暗号化メカニズムを用いて機械学習モデルを暗号化することと、暗号化された機械学習モデルを信頼された実行環境にコピーすることと、トレーニングＡＰＩを用いて信頼された実行環境において機械学習モデルを実行することとを含む。
【0007】
一態様の観点から、本発明はシステムを提供し、このシステムは、コンピュータ処理回路と、コンピュータ処理回路によって実行されると、コンピュータ処理回路に方法を実行させるように構成された命令を記憶するコンピュータ可読ストレージ媒体とを備え、方法は、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することと、所定の暗号化メカニズムを用いて機械学習モデルを暗号化することと、暗号化された機械学習モデルを信頼された実行環境にコピーすることと、トレーニングＡＰＩを用いて信頼された実行環境において機械学習モデルを実行することと、推論ＡＰＩを用いることによって、トレーニングＡＰＩによってトレーニングされた機械学習モデルを実行することとを含む。
【0008】
一態様の観点から、本発明はシステムを提供し、このシステムは、コンピュータ処理回路と、グラフィック処理回路（ＧＰＵ）と、コンピュータ処理回路によって実行されると、コンピュータ処理回路に方法を実行させるように構成された命令を記憶するコンピュータ可読ストレージ媒体とを備え、方法は、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することと、所定の暗号化メカニズムを用いて機械学習モデルを暗号化することと、暗号化された機械学習モデルを信頼された実行環境にコピーすることと、ＧＰＵにおいてトレーニングＡＰＩを実行することによって、信頼された実行環境において機械学習モデルを実行することと、ＧＰＵにおいて推論ＡＰＩを実行することによって、トレーニングＡＰＩによってトレーニングされた機械学習モデルを実行することとを含む。
【0009】
一態様の観点から、本発明は、プライベート転移学習のためのコンピュータ実施方法を提供し、本方法は、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することと、所定の暗号化メカニズムを用いて機械学習モデルを暗号化することと、暗号化された機械学習モデルを信頼された実行環境にコピーすることと、トレーニングＡＰＩを用いて信頼された実行環境において機械学習モデルを実行することとを含む。
【0010】
本発明の更なる態様の観点から、本発明は、プライベート転移学習のためのコンピュータ・プログラム製品を提供し、このコンピュータ・プログラム製品は、処理回路によって読み出し可能なコンピュータ可読ストレージ媒体を備え、本発明のステップを実行する方法を実行するための処理回路による実行のための命令を記憶する。
【0011】
更なる態様の観点から、本発明は、コンピュータ可読媒体上に記憶され、デジタルコンピュータの内部メモリにロード可能なコンピュータ・プログラムを提供し、このコンピュータ・プログラムは、このプログラムがコンピュータ上で実行されるとき、本発明のステップを実行するためのソフトウェア・コード部分を備える。
【0012】
プライベート転移学習のための方法についての実施形態が開示される。本方法は、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含む機械学習モデルを生成することを含む。本方法は、所定の暗号化メカニズムを用いて機械学習モデルを暗号化することを更に含む。本方法は、暗号化された機械学習モデルを信頼された実行環境にコピーすることを更に含む。本方法は、推論ＡＰＩを用いて信頼された実行環境において機械学習モデルを実行することも含む。
【0013】
本開示の更なる態様は、コンピュータ実施方法に関して上記で論考した機能に類似した機能を有するシステムおよびコンピュータ・プログラム製品を対象とする。この発明の概要は、本開示の各態様、全ての実施、またはあらゆる実施形態、あるいはその組合せを示すことを意図したものではない。
【0014】
本出願に含まれる図面は、本明細書に組み込まれ、本明細書の一部をなす。これらは本開示の実施形態を示し、明細書と共に、本開示の原理を説明するのに役立つ。図面は、単に特定の実施形態を示すものであり、本開示を限定するものではない。
【図面の簡単な説明】
【0015】
【図1】本開示のいくつかの実施形態によるプライベート転移学習のためのシステムのブロック図である。
【図2】本開示のいくつかの実施形態によるプライベート転移学習のためのシステムのブロック図である。
【図3】本開示のいくつかの実施形態によるプライベート転移学習のためのプロセスのデータ・フロー図である。
【図4】本開示のいくつかの実施形態によるプライベート転移学習のための例示的な方法のフローチャートである。
【図5】本開示のいくつかの実施形態による例示的な分類チャート・デジタル化（ＣＣＤ）マネージャのブロック図である。
【図6】本開示のいくつかの実施形態によるクラウド・コンピューティング環境を示す図である。
【図7】本発明のいくつかの実施形態による抽象化モデル層を示す図である。
【発明を実施するための形態】
【0016】
本開示は、様々な変形および代替の形態に修正可能であるが、その詳細は、図面に例として示されており、詳細に説明される。しかしながら、本開示を記載される特定の実施形態に限定することは意図されていないことを理解されたい。それどころか、本開示の範囲内にある全ての変形、等価物および代替を包含することが意図される。
【0017】
ＤＮＮは、入力と出力との間に複数の層を有する機械学習ソフトウェア・アーキテクチャである。ＤＮＮは、入力の関連パラメータ、およびＤＮＮが操作を学習する関連付けられた重みを用いて、入力を出力に算術的に変換することができる。トレーニング段階中、ＤＮＮは、比較的多数のラベル付けされた入力を処理し、入力を、ラベルに合致する出力に変換するように様々なパラメータの重みを操作することを学習することができる。これらの算術的変更は、線形および非線形を含む様々なタイプの数学的関係を表すことができる。このようにして、ＤＮＮは一般ＤＮＮモデルを生成することができる。
【0018】
転移学習は、一般ＤＮＮモデルを、より特殊なタスクを実行するモデルに展開するために有用である。例えば、人物の画像を物体と区別する一般ＤＮＮモデルを所与として、転移学習は、野球の試合の画像をクリケットの試合の画像と区別するモデルを展開することができる。転移学習の実行は、一般ＤＮＮモデルのためのトレーニングデータと比べて、比較的少量のトレーニングデータしか伴わないことが可能である。例えば、人物を物体と区別するように一般ＤＮＮモデルをトレーニングすることは、１万個のラベル付けされた入力を伴う可能性がある。対照的に、一般モデルを、野球の試合の画像をクリケットの試合の画像と区別する転移学習モデルに展開することは、５０個未満のラベル付けされた入力を伴う可能性がある。このようにして、転移学習は、他の機械学習技術と比べて、コストおよびリソースの低減の利点を提供する。このため、転移学習は、比較的高度にトレーニングされた一般ＤＮＮモデルから、比較的高度に特殊なタスクを実行する貴重なＤＮＮモデルを構築することができる。しかしながら、比較的高度に特殊なタスクを実行するように展開することができる、そのように高度にトレーニングされた一般ＤＮＮモデルを保有することは、認証されていないユーザ、窃盗犯または他の悪意のあるアクター、あるいはそれらの組合せに対するそれらの使用の保護に関するセキュリティの問題を暗に意味する可能性がある。
【0019】
信頼された実行環境は、ホスト・コンピュータ・システムに対するセキュア・エンクレーブを提供することができ、機密プログラムまたは制御されたプログラムを、認証されていないイントロスペクション（introspection）（ビュー）またはコピーなしで実行することができる。実際に、信頼された実行環境は、信頼された実行環境をホスティングするコンピュータにおける特権を有する管理者およびプロセスから、制御されたプログラムを保護することさえ可能である。
【0020】
したがって、本開示の実施形態は、高度にトレーニングされた一般ＤＮＮモデルの流布および使用を制御することができる。このようにして、実施形態は、未変更形態における推論のために一般ＤＮＮモデルを用いること、およびタスクに固有のトレーニングを用いて一般ＤＮＮモデルを転移学習モデルに展開することを可能にすることができる。順方向パスと対照的に、機械学習モデルのトレーニングの動作は、本明細書において、逆方向パスとも呼ばれる。このため、本開示の実施形態は、信頼された実行環境の外側で開くことができないＤＮＮモデルを、暗号化を用いてパッケージングすることができる。いくつかの実施形態では、ＤＮＮのアーキテクチャのためのコード、重みおよびバイアスは、２つのアプリケーション・プログラミング・インタフェース（ＡＰＩ）機能と共にパッケージングされる。ＡＰＩ機能のうちの１つは、ラベル付けされていない入力に対し推論を行う。このため、データは、ＤＮＮを通る順方向パスのためのラベルを有しない入力である。別のＡＰＩ機能は、一般ＤＮＮモデルをトレーニングする。このため、データは、一般ＤＮＮを通る逆方向パスのためのラベルを有する入力である。
【0021】
図１は、本開示のいくつかの実施形態によるプライベート転移学習のためのシステム１００のブロック図である。システム１００は、事前トレーニングされたモデル（pre-trained model）１０４を有するセキュア・エンクレーブ１０２と、推論ＡＰＩ１０６－１と、トレーニングＡＰＩ１－６－２とを備える。セキュア・エンクレーブ１０２は、セキュアな動作、すなわち信頼された実行環境（ＴＥＥ）のために予約されたコンピュータ・デバイス（図示せず）のシステム・メモリの所定の部分とすることができる。
【0022】
いくつかの実施形態によれば、システム１００を用いて、トレーニングされたディープ・ニューラル・ネットワーク・モデル、すなわち、事前トレーニングされたモデル１０４の流布および使用を制御することができる。システム１００は、未変更形態における推論のために事前トレーニングされたモデル１０４を用いることを可能にし、事前トレーニングされたモデル１０４はタスク固有のトレーニングを通じてカスタマイズされることを可能にすることができる。更に、システム１００は、事前トレーニングされたモデル１０４の使用または伝播あるいはその両方がどのように行われるかに対する制御を維持しながら、これらの利点を提供することができる。システム１００において、事前トレーニングされたモデル１０４は、１つまたは複数のユーザによるトレーニングに適することができ、ユーザは、１つまたは複数の当事者からのプライベート入力を用いてトレーニングまたは精緻化を提供することができる。
【0023】
セキュア・エンクレーブ１０２は、セキュア・エンクレーブ１０２内の使用に制限された鍵（図示せず）を含むことができる。セキュア動作は、セキュア・エンクレーブ１０２において実行されるコンピュータ・アプリケーションによって実行することができる。これらの動作をセキュア化するために、コンピュータ・アプリケーションの命令は、鍵を用いて暗号化され、セキュア・エンクレーブ１０２におけるメモリ・ロケーションに書き込まれる。更に、プロセッサ（図示せず）による実行の前に、これらのメモリ・ロケーションから命令が読み出され、鍵を用いて復号される。したがって、セキュア・エンクレーブ１０２からセキュア化された動作の命令を読み出そうと試みる悪意のあるアクター、例えばハッカーは、暗号化された命令を読み出すことに制限される。鍵なしでは、悪意のあるアクターは実際の命令を特定することができず、このため、動作はセキュアであり得る。
【0024】
例えば、事前トレーニングされたモデル１０４は、セキュア・エンクレーブ１０２において実行されるコンピュータ・アプリケーションとすることができる。いくつかの実施形態によれば、事前トレーニングされたモデル１０４は、一般タスクを実行するようにトレーニングされたＤＮＮモデルとすることができる。更に、事前トレーニングされたモデル１０４は、セキュア・エンクレーブ１０２にコピーされる前に暗号化することができる。これは、セキュア・エンクレーブ１０２に関して上記で説明した鍵暗号化に対する追加のレベルの暗号化を伴う。いくつかの実施形態では、事前トレーニングされたモデルの製造者は、２つの機能、すなわち推論ＡＰＩ１０６－１およびトレーニングＡＰＩ１０６－２を用いて、暗号化された分布ブロブにおける事前トレーニングされたモデル１０４の、アーキテクチャのためのコード、重みおよびバイアスを暗号化することができる。ラベルを有する導入されたデータは、事前トレーニングされたモデル１０４を通る逆伝搬パスのために推論ＡＰＩ１０６－１に入力することができる。ラベルを有しない導入されたデータは、事前トレーニングされたモデル１０４を通る順方向パスのためにトレーニングＡＰＩ１０６－２に入力することができる。このようにして、システム１００は、ＴＥＥ内部で開かれることに制約された、暗号化を伴う使用のためのディープ・ニューラル・ネットワークを提供することができる。
【0025】
２つのＡＰＩをセキュア・エンクレーブ１０２の外側に単に露出させることによって、事前トレーニングされたモデル１０４を意図されたように使用し、ユーザ固有のタスクおよびデータ・セットのためにカスタマイズすることができる。しかしながら、事前トレーニングされたモデル１０４は、ライセンスのないユーザへの制御されていない伝播のためにセキュア・エンクレーブ１０２の外にコピーすることができず、予め決められた範囲を超えた形で変更することができず、また、所定の有効期限を超えて用いることができず、有効期限後、ユーザは、事前トレーニングされたモデル１０４の新バージョンをダウンロードするように動機付けされ得る。
【0026】
当業者であれば理解するように、ディープ・ニューラル・ネットワークは、中央処理ユニット（ＣＰＵ）よりも、グラフィカル処理ユニット（ＧＰＵ）においてより効率的に動作することができる。しかしながら、信頼された実行環境は、セキュア・エンクレーブ１０２内にＧＰＵを含まない場合がある。したがって、データは、（比較的大きな事前トレーニングされたモデル１０４の場合）トレーニングまたは推論あるいはその両方のために、セキュア・エンクレーブ１０２の外側へＧＰＵに送信され得る。このため、いくつかの実施形態では、セキュア・エンクレーブ１０２は１つまたは複数のＧＰＵを含むことができる。更に、事前トレーニングされたモデル１０４は、仮想化されたＧＰＵ環境（ＧＰＵメモリがＴＥＥの外側の悪意のあるアクターによってイントロスペクトされる場合がある）における動作を禁止するように構成することができる。悪意のあるアクターがＧＰＵメモリからモデル・パラメータの推論を行うことをより困難にするために、事前トレーニングされたモデル１０４に、バッチ計算のランダム・シャッフリングを含めることも有用である場合がある。
【0027】
図２は、本開示のいくつかの実施形態によるプライベート転移学習のためのシステム２００のブロック図である。システム２００は、ＴＥＥ２０２と、実行環境２０４とを備える。上述したように、セキュア・エンクレーブはＴＥＥと呼ぶことができる。更に、用語ＴＥＥは、ＴＥＥ２０２等の専用メモリ要素の大きなグループを指すことができる。システム２００において、ＴＥＥ２０２は、図１に関して説明したセキュア・エンクレーブ１０２に類似することができるセキュア・エンクレーブ２０６を含む。ＴＥＥ２０２は、セキュア・エンクレーブ２０６のための暗号化鍵（図示せず）等の追加のメモリ要素も含むことができる。
【0028】
実行環境２０４は、コンピュータ・プロセッサ命令を記憶する専用メモリ要素のグループとすることができる。信頼された実行環境２０２およびセキュア・エンクレーブ２０６と対照的に、実行環境２０４はオープンとすることができ、これは、メモリ・ロケーションが悪意のあるユーザ等に読み出される可能性があることを意味する。実行環境２０４は、ＤＮＮコーディング・プラットフォームが実行されている可能性がある実行環境２０４の一部であり得るプログラミング環境２１０を含むことができる。ＤＮＮコーディング・プラットフォームは、例えばデータ・サイエンティストが、ＤＮＮモデル２０８等のモデルを構築、試験および実行することができる、コンピュータ・ソフトウェア・アーキテクチャを指すことができる。したがって、プログラミング環境２１０は、順方向パス（推論）ＡＰＩ２１２－１および逆方向パス（トレーニング）ＡＰＩ２１２－２を呼び出すことによって、信頼された実行環境２０２のセキュア・エンクレーブ２０６内のＤＮＮモデル２０８の実行を引き起こすコンピュータ・アプリケーションを含むことができる。本明細書において、これらのＡＰＩは、上述したように個々に、および集合的に、ＡＰＩ２１２と呼ばれる。
【0029】
セキュア・エンクレーブ２０６は、図１に関して説明した事前トレーニングされたモデル１０４に類似することができるＤＮＮモデル２０８を含むことができる。再び図２を参照すると、ＤＮＮモデル２０８は、例えば、比較的大きな画像内の比較的小さな物体の物体認識のためにトレーニングされた比較的大きな畳込みＤＮＮモデルとすることができる。そのようなＤＮＮモデルは、衛星からの地球の画像において比較的大きな範囲の電磁スペクトルが捕捉されるハイパースペクトル衛星写真において有用とすることができる。数千ＧＰＵ時間を費やして、比較的高い精度レベルでそのようなモデルをトレーニングすることができる。そのようなモデルをトレーニングすることは、大きな金融費用も消費し得る。更に、ＤＮＮモデル２０８のアーキテクチャは、広く知られていない貴重な先進専有技術を使用する場合があり、このため、企業スパイ行為または他のタイプのスパイ行為を防ぐためのセキュリティ制約を暗に意味し得る。
【0030】
別の例では、ＤＮＮモデル２０８は、予測テキスト生成のためにトレーニングされた比較的大きな言語モデルとすることができる。予測テキスト生成は、１つのキーまたはボタンが、モバイル・コンピューティング・デバイスの数値キーパッド等における複数の文字を表すことができる技術を指す。このようにして、キーの各選択の結果として、ユーザが入力している単語の予測を生成することができる。したがって、ユーザは、単語全体をタイピングする代わりに、いくつかのキー選択に基づいて予測される単語を選択することができる。予測テキスト生成は、専有アーキテクチャ技術も組み込むことができ、トレーニングに数千時間がかかり得る。そのようなＤＮＮモデル２０８は、比較的多岐にわたるトピックに関する質問回答、文法構文解析、テキスト要約および報告生成等のより複雑なタスクを実行するために、比較的少ないトレーニング時間で更にトレーニングすることができる。更に、トピックの範囲は、追加のトレーニングを通じて特定の領域において更に広くすることができる。そのようなＤＮＮモデル２０８は、ＤＮＮモデル２０８がＤＮＮモデル２０８の生成器に報酬を与えることなくＤＮＮモデル２０８が複製され得るパブリック空間にＤＮＮ２０８が流出したした場合に弱まり得る比較的大きな金融的価値を提供することができる。したがって、本開示の実施形態は、そのようなシナリオを防ぐようにＤＮＮモデル２０８をセキュア化することができる。
【0031】
順方向パスＡＰＩ２１２－１および逆方向パスＡＰＩ２１２－２は、信頼された実行環境２０２のセキュア・エンクレーブ２０６内で実行されるため、セキュア化されていない実行環境２０４からの、これらのＡＰＩ２１２を実行するための任意の呼び出しが、悪意のあるアクターによるＤＮＮモデル２０８の実行を回避するために、ＡＰＩ呼び出しを引き起こす権限について検証される。したがって、ＡＰＩは、ＤＮＮモデル２０８の暗号化された実行ファイルにプログラムされた認証情報に基づいた認証および認可を含む。これにより、ＤＮＮモデル２０８がどのように、誰によって、どれだけ、どの特殊な方式で用いられるかの精密な制御を可能にする。したがって、ＡＰＩ２１２は、ＤＮＮモデル２０８のトレーニングおよび推論の使用の制限を可能にするアクセス制御を含むことができる。加えて、これらのアクセス制御は、ＤＮＮモデル２０８に関する監査および性能メトリックを、ＤＮＮモデル２０８の提供者に戻して提供することができるテレメトリを提供することができる。このようにして、ＤＮＮモデル２０８は、（政府によって行われる攻撃を除く）イントロスペクトされているモデルのリスクなしで他の当事者に配信するのに適したものであり得る。いくつかの実施形態では、ＤＮＮモデル２０８は、利用権の異なるセットに従ってライセンス付与することができる。したがって、ＡＰＩの使用は、これらの権利に従って制約することができる。例えば、使用は、逆方向パスＡＰＩ２１２－２の実行に制限するか、または双方のＡＰＩ２１２について許可することができる。使用は、所定の期間の使用についても許可することができる。
【0032】
いくつかの実施形態では、ＤＮＮモデル２０８の使用は、ハイパーパラメータ・チューニングも含むことができる。ハイパーパラメータ・チューニングにより、順方向パスＡＰＩ２１２－１は、ＤＮＮモデル・ユーザが、ＤＮＮモデル２０８が学習する方式を構成するパラメータの選択を定義することを可能にすることができる。ハイパーパラメータは、ＡＤＡＭおよびＯｎｅ－Ｃｙｃｌｅ、学習率、トレーニングのエポック数、層ロック等の最適化アルゴリズムを含むことができる。
【0033】
いくつかの実施形態では、ＤＮＮモデル２０８の使用により、ＤＮＮモデル２０８の２つ以上の可能なアーキテクチャの変形の選択を可能にすることができる。例えば、ＤＮＮモデル２０８の本体は、複数カテゴリまたは単一カテゴリ分類のために別のＤＮＮモデルのヘッドと共に用いることができる。ＤＮＮモデル２０８の本体は、モデル・ロジックの一部分を参照することができる。モデル・ロジックは、複数の層に配置することができ、第１の層はＤＮＮモデル２０８の初期ロジックを含み、最後の層は最終ロジックを含む。したがって、ＤＮＮモデルのヘッドは、ＤＮＮモデル・ロジックの最後の層または最後のいくつかの層を指すことができる。いくつかの実施形態では、アーキテクチャの変形は、ＤＮＮモデル２０８を、生成ＤＮＮから分類器へと別の目的で用いることを伴うことができる。生成ＤＮＮは、分類ＤＮＮのためのラベル付けされた入力を生成するＤＮＮモデルを指す。分類ＤＮＮは、入力をラベル付け、例えば分類するＤＮＮモデルを指す。いくつかの実施形態では、これらのおよび他の潜在的アーキテクチャの変形は、順方向パスＡＰＩ２１２－１および逆方向パスＡＰＩ２１２－２内で選択可能とすることができる。
【0034】
いくつかの実施形態では、システム２００は、ＰｙＴｏｒｃｈおよびＴｅｎｓｏｒｆｌｏｗ（Ｒ）等の既存のＤＮＮコーディング・プラットフォームと統合することができる。このようにして、システム２００は、ＤＮＮモデル２０８を暗号化された分散ブロブにより容易にパッケージングすることを可能にすることができる。加えて、システム２００を既存のＤＮＮコーディング・プラットフォームと統合することにより、データ・サイエンティストが、自身が既に慣れている場合がある同じコーディング環境およびコマンドを用いることによってＤＮＮモデル２０８に対し推論およびトレーニングをより効率的に実行することを可能にすることもできる。
【0035】
図３は、本開示のいくつかの実施形態によるプライベート転移学習のためのプロセス３００のデータ・フロー図である。プロセス３００において、モデル所有者開発環境３０２を用いて機械学習（ＭＬ）モデル３０４が生成される。モデル所有者開発環境３０２は、データ・サイエンティストおよびソフトウェア・エンジニアが機械学習モデル３０４等の機械学習モデルを構築およびトレーニングすることを可能にするように構成された、プライベートでセキュアなコンピュータ・ハードウェアおよびソフトウェア・アーキテクチャとすることができる。機械学習モデル３０４は、比較的単純なアルゴリズムから、図２に関して説明したＤＮＮモデル２０８等のＤＮＮモデルに及ぶ、様々なタイプの機械学習モデルのうちの１つとすることができる。
【0036】
再び図３を参照すると、モデル所有者は、暗号化を用いて機械学習モデル３０４から暗号ブロブ（crypto blob）３０６を生成することができる。暗号ブロブ３０６は、Ｏｐａｌ規格に従って署名および管理することができる。Ｏｐａｌ規格は、ディスク・ドライブ等の電子ストレージ・デバイスのためのセキュリティ関連規格のグループを指す。例えば、これらの規格は、認証されていないユーザがデバイスの制御を行うかまたはデバイスに記憶されたデータを閲覧することを防ぐ、記憶されたデータのための暗号化方法を定義することができる。暗号化は、公開鍵－秘密鍵基盤（ＰＫＩ）、認証等によって提供することができる。ＰＫＩにおいて、２人のユーザによって共有された公開鍵は、認証されたユーザが機械学習モデル３０４等のセキュア化されたファイルにアクセスすることができることを確実にするために、暗号化された秘密鍵と協力して用いることができる。認証は、機械学習モデル３０４等のコンピュータ・アプリケーションの完全性を検証するための公開ハッシュタグおよびクリアリングハウス署名の使用を伴うことができる。認証は、セキュア・エンクレーブ２０６等のセキュア・エンクレーブ内の潜在的に悪意を持って符号化されたコンピュータ命令の回避策として用いることができる。
【0037】
再び図３を参照すると、モデル所有者は、複数の暗号ブロブ３０６として暗号化された機械学習モデルのライブラリをホスティングすることができるクラウド・ストレージ・システム３０８に暗号ブロブ３０６を記憶することができる。更に、このライブラリから機械学習モデルへのアクセスを得るために、顧客は、機械学習モデル３０４等の選択されたモデルに加入することができる。クラウド・ストレージ・システム３０８から、暗号ブロブ３０６はデータ所有者開発環境３１０にコピーすることができる。データ所有者開発環境３１０は、ＴＥＥ２０２等の信頼された実行環境とすることができる。データ所有者開発環境３１０は、セキュア・エンクレーブ３１２およびＡＰＩ３１４を含むことができる。セキュア・エンクレーブ３１２は、図２に関して説明したセキュア・エンクレーブ２０６に類似することができる。ＡＰＩ３１４は、図２に関して説明したＡＰＩ２１２に類似することができる。セキュア・エンクレーブ３１２は、機械学習モデル３０４と、秘密鍵を有するローダ３１６とを備えることができる。このため、セキュア・エンクレーブ３１２は、暗号ブロブ３０６を復号するために必要な鍵を有する。本開示の実施形態において、秘密鍵を有するローダ３１６は、暗号ブロブ３０６を復号し、これにより機械学習モデル３０４およびＡＰＩ３１４を生成することができる。更に、セキュア・エンクレーブ３１２は、これらの命令をセキュア・エンクレーブ３１２のメモリ・ロケーションに書き込む前に、それ自体の鍵（図示せず）を用いて機械学習モデル３０４の命令およびＡＰＩ３１４を暗号化することができる。
【0038】
セキュア・エンクレーブ３１２において実行されているが、機械学習モデル３０４は依然として暗号化メモリに記憶されており、これは管理者およびルート・ユーザ等の特権ユーザによって読み出し不可能である。セキュア・エンクレーブ３１２は、メモリ・バス・プローブ攻撃も防ぐ。なぜなら、暗号化されたデータのみがセキュア・エンクレーブ３１２からバスに沿って渡されるためである。このようにして、単にＡＰＩ３１４をユーザに露出させることで、機械学習モデル３０４が認証なしで誤使用も配信もされないことを確実にすることができる。
【0039】
図４は、本開示のいくつかの実施形態によるプライベート転移学習のための例示的な方法４００のフローチャートである。ブロック４０２において、図３に関して説明した機械学習モデル３０４等の機械学習モデルを生成することができる。機械学習モデル３０４は、トレーニング・アプリケーション・プログラミング・インタフェース（ＡＰＩ）および推論ＡＰＩを含むことができる。モデル所有者は、図３に関して説明したモデル所有者開発環境３０２等のモデル所有者開発環境において機械学習モデル３０４を生成することができる。
【0040】
再び図４を参照すると、ブロック４０４において、機械学習モデル３０４は、所定の暗号化メカニズムを用いて暗号化することができる。例えば、暗号化メカニズムは、公開鍵－秘密鍵基盤または認証を含むことができる。
【0041】
ブロック４０６において、暗号化された機械学習モデルは、図２に関して説明した信頼された実行環境２０２等の、信頼された実行環境にコピーすることができる。暗号化された機械学習モデルは、図３に関して説明した暗号ブロブ３０６等の暗号ブロブとすることができる。
【0042】
再び図４を参照すると、ブロック４０８において、機械学習モデルは、推論ＡＰＩまたはトレーニングＡＰＩを用いて信頼された実行環境において実行することができる。上述したように、推論ＡＰＩを用いて、機械学習モデルへの物体入力を分類することができる。更に、トレーニングＡＰＩを用いて、モデル所有者が機械学習モデルをトレーニングした一般タスクよりも特殊なタスクに対し、機械学習モデルのトレーニングを更に精緻化することができる。
【0043】
ここで図５を参照すると、本開示のいくつかの実施形態によるプライベート転移学習マネージャ５００のブロック図が示されている。様々な実施形態において、プライベート転移学習マネージャ５００はプライベート転移学習マネージャ２１４に類似しており、図４に記載の方法または図１～図３において論考した機能あるいはその両方を実行することができる。いくつかの実施形態では、プライベート転移学習マネージャ５００は、プライベート転移学習マネージャ５００によって提供される命令に基づいてクライアント・マシンが方法または方法の一部分を実行するように、上述した方法または機能あるいはその両方のための命令をクライアント・マシンに提供する。いくつかの実施形態では、プライベート転移学習マネージャ５００は、複数のデバイスに組み込まれたハードウェア上で実行されるソフトウェアを備える。
【0044】
プライベート転移学習マネージャ５００は、メモリ５２５と、ストレージ５３０と、相互接続（例えば、バス）５２０と、１つまたは複数のＣＰＵ５０５（本明細書においてプロセッサ５０５とも呼ばれる）と、Ｉ／Ｏデバイス・インタフェース５１０と、Ｉ／Ｏデバイス５１２と、ネットワーク・インタフェース５１５とを備える。
【0045】
各ＣＰＵ５０５は、メモリ５２５またはストレージ５３０に記憶されたプログラミング命令を取得し、実行する。相互接続５２０を用いて、ＣＰＵ５０５、Ｉ／Ｏデバイス・インタフェース５１０、ストレージ５３０、ネットワーク・インタフェース５１５、およびメモリ５２５の間でプログラミング命令等のデータを移動させる。相互接続５２０は、１つまたは複数のバスを用いて実装することができる。ＣＰＵ５０５は、種々の実施形態において、単一のＣＰＵ、複数のＣＰＵ、または複数の処理コアを有する単一のＣＰＵとすることができる。いくつかの実施形態において、ＣＰＵ５０５は、デジタル・シグナル・プロセッサ（ＤＳＰ）とすることができる。いくつかの実施形態において、ＣＰＵ５０５は、１つまたは複数の３Ｄ集積回路（３ＤＩＣ）（例えば、３Ｄウェハレベル・パッケージング（３ＤＷＬＰ）、３Ｄインタポーザ・ベース集積、３Ｄ積層ＩＣ（３Ｄ－ＳＩＣ）、モノリシック３ＤＩＣ、３Ｄヘテロジニアス集積、３Ｄシステム・イン・パッケージ（３ＤＳｉＰ）、またはパッケージ・オン・パッケージ（ＰｏＰ）あるいはその組合せのＣＰＵ構成）を含む。メモリ５２５は、一般に、ランダム・アクセス・メモリ（例えば、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、またはＦｌａｓｈ）を表すものとして含まれる。ストレージ５３０は、一般に、ハード・ディスク・ドライブ、ソリッド・ステート・デバイス（ＳＳＤ）、リムーバブル・メモリ・カード、光学ストレージ、またはフラッシュ・メモリ・デバイス、あるいはその組合せ等の不揮発性メモリを表すものとして含まれる。加えて、ストレージ５３０は、Ｉ／Ｏデバイス・インタフェース５１０を介してプライベート転移学習マネージャ５００にまたはネットワーク・インタフェース５１５を介してネットワーク５５０に接続される、ストレージ・エリア・ネットワーク（ＳＡＮ）デバイス、クラウドまたは他のデバイスを含むことができる。
【0046】
いくつかの実施形態では、メモリ５２５は命令５６０を記憶する。しかしながら、様々な実施形態において、命令５６０は、部分的にメモリ５２５に記憶され、部分的にストレージ５３０に記憶されるか、または完全にメモリ５２５に記憶されるかもしくは完全にストレージ５３０に記憶されるか、またはネットワーク・インタフェース５１５を介してネットワーク５５０を通じてアクセスされる。
【0047】
【0048】
様々な実施形態において、Ｉ／Ｏデバイス５１２は、情報を提示し、入力を受信することが可能なインタフェースを含む。例えば、Ｉ／Ｏデバイス５１２は、プライベート転移学習マネージャ５００とインタラクトするリスナーに情報を提示し、リスナーから入力を受信することができる。
【0049】
プライベート転移学習マネージャ５００は、ネットワーク・インタフェース５１５を介してネットワーク５５０に接続される。ネットワーク５５０は、物理、無線、セルラ、または異なるネットワークを含むことができる。
【0050】
いくつかの実施形態では、プライベート転移学習マネージャ５００は、マルチ・ユーザ・メインフレーム・コンピュータ・システム、単一ユーザ・システムもしくはサーバ・コンピュータ、または直接ユーザ・インタフェースをほとんどもしくは全く有しないが他のコンピュータ・システム（クライアント）からの要求を受信する類似のデバイスとすることができる。更に、いくつかの実施形態では、プライベート転移学習マネージャ５００は、デスクトップ・コンピュータ、ポータブル・コンピュータ、ラップトップもしくはノートブック・コンピュータ、タブレット・コンピュータ、ポケット・コンピュータ、電話、スマート・フォン、ネットワーク・スイッチもしくはルータ、または任意の他の適切なタイプの電子デバイスとして実装することができる。
【0051】
図５は、例示的なプライベート転移学習マネージャ５００の代表的な主要コンポーネントを示すことを意図されていることに留意されたい。しかしながら、いくつかの実施形態では、個々のコンポーネントは、図５に表すものよりも高いまたは低い複雑度を有する可能性があり、図５に示すもの以外のまたはそれに加えたコンポーネントが存在する可能性があり、そのようなコンポーネントの数、タイプおよび構成は変動し得る。
【0052】
本開示は、クラウド・コンピューティングに関する詳細な説明を含むが、本明細書に記載の教示の実施は、クラウド・コンピューティング環境に限定されない。むしろ、本開示の実施形態は、現在知られていない、または後に開発される任意の他のタイプのコンピューティング環境において実施されることが可能である。
【0053】
クラウド・コンピューティングは、最小限の管理労力およびサービス・プロバイダとの対話で迅速にプロビジョニングおよびリリースすることができる、構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシンおよびサービス）の共有プールへの好都合でオン・デマンドのネットワーク・アクセスを可能にするためのサービス送達のモデルである。このクラウド・モデルは、少なくとも５つの特性、少なくとも３つのサービス・モデル、および少なくとも４つの展開モデルを含むことができる。
【0054】
特性は以下の通りである。
オン・デマンドのセルフサービス：クラウド消費者は、サービス・プロバイダとの人間の対話を必要とすることなく、自動的に必要に応じて、サーバ時間およびネットワーク・ストレージ等のコンピューティング能力を一方的にプロビジョニングすることができる。
ブロード・ネットワーク・アクセス：能力は、ネットワークを介して利用可能にされ、異種シンまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップおよびＰＤＡ）による使用を促進する標準的なメカニズムを通じてアクセスされる。
リソース・プーリング：マルチ・テナント・モデルを用いて複数の消費者にサービングするために、プロバイダのコンピューティング・リソースがプールされ、異なる物理的リソースおよび仮想リソースは、要求に従って動的に割当ておよび再割当てされる。消費者が、通常、提供されるリソースの厳密な場所に対する制御も知識も有しないが、より高い抽象度（例えば、国、州またはデータセンタ）で場所を指定することが可能であり得るという点で、場所独立性の意義がある。
高速な拡張性：能力は、場合によっては自動的に、即座にスケール・アウトするように高速かつ弾力的に供給され、即座にスケール・インするように高速に解放され得る。消費者に対しては、プロビジョニングに利用可能な能力が、多くの場合無制限であるように見え、いつでも任意の量で購入可能である。
測定されるサービス：クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、アクティブなユーザ・アカウント）に適したある抽象度において計測能力を活用することによって、リソース使用を自動的に制御し、最適化する。リソース使用量は、モニタリング、制御、および報告することができ、利用サービスのプロバイダおよび消費者の両方に透明性がもたらされる。
オン・デマンドのセルフサービス：クラウド消費者は、サービス・プロバイダとの人間の対話を必要とすることなく、自動的に必要に応じて、サーバ時間およびネットワーク・ストレージ等のコンピューティング能力を一方的にプロビジョニングすることができる。
ブロード・ネットワーク・アクセス：能力は、ネットワークを介して利用可能にされ、異種シンまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップおよびＰＤＡ）による使用を促進する標準的なメカニズムを通じてアクセスされる。
リソース・プーリング：マルチ・テナント・モデルを用いて複数の消費者にサービングするために、プロバイダのコンピューティング・リソースがプールされ、異なる物理的リソースおよび仮想リソースは、要求に従って動的に割当ておよび再割当てされる。消費者が、通常、提供されるリソースの厳密な場所に対する制御も知識も有しないが、より高い抽象度（例えば、国、州またはデータセンタ）で場所を指定することが可能であり得るという点で、場所独立性の意義がある。
高速な拡張性：能力は、場合によっては自動的に、即座にスケール・アウトするように高速かつ弾力的に供給され、即座にスケール・インするように高速に解放され得る。消費者に対しては、プロビジョニングに利用可能な能力が、多くの場合無制限であるように見え、いつでも任意の量で購入可能である。
測定されるサービス：クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、アクティブなユーザ・アカウント）に適したある抽象度において計測能力を活用することによって、リソース使用を自動的に制御し、最適化する。リソース使用量は、モニタリング、制御、および報告することができ、利用サービスのプロバイダおよび消費者の両方に透明性がもたらされる。
【0055】
サービス・モデルは、以下の通りである。
サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される能力は、クラウド・インフラ上で実行中のプロバイダのアプリケーションを使用する能力である。アプリケーションは、ウェブ・ブラウザ等のシン・クライアント・インタフェース（例えば、ウェブ・ベースの電子メール）を通して、様々なクライアント・デバイスからアクセス可能である。消費者は、限定されたユーザ固有アプリケーションの構成設定は例外である可能性があるが、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または更には個々のアプリケーション能力を含む、基礎となるクラウド・インフラを管理または制御しない。
サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して生成された、消費者が作成または取得したアプリケーションを、クラウド・インフラ上に展開する能力である。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基礎となるクラウド・インフラを管理または制御しないが、展開されたアプリケーション、および、場合によっては、アプリケーション・ホスティング環境構成に対して制御を行う。
サービスとしてのインフラ（ＩａａＳ）：消費者に提供される能力は、処理、ストレージ、ネットワーク、ならびに消費者がオペレーティング・システムおよびアプリケーションを含み得る任意のソフトウェアを展開および実行することが可能な、他の基本コンピューティング・リソースをプロビジョニングする能力である。消費者は、基礎となるクラウド・インフラを管理または制御しないが、オペレーティング・システム、ストレージ、配置されたアプリケーションに対して制御を行い、かつ場合によっては、選択ネットワーキング・コンポーネント（例えば、ホスト・ファイアウォール）の限定的な制御を行う。
サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される能力は、クラウド・インフラ上で実行中のプロバイダのアプリケーションを使用する能力である。アプリケーションは、ウェブ・ブラウザ等のシン・クライアント・インタフェース（例えば、ウェブ・ベースの電子メール）を通して、様々なクライアント・デバイスからアクセス可能である。消費者は、限定されたユーザ固有アプリケーションの構成設定は例外である可能性があるが、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または更には個々のアプリケーション能力を含む、基礎となるクラウド・インフラを管理または制御しない。
サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して生成された、消費者が作成または取得したアプリケーションを、クラウド・インフラ上に展開する能力である。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基礎となるクラウド・インフラを管理または制御しないが、展開されたアプリケーション、および、場合によっては、アプリケーション・ホスティング環境構成に対して制御を行う。
サービスとしてのインフラ（ＩａａＳ）：消費者に提供される能力は、処理、ストレージ、ネットワーク、ならびに消費者がオペレーティング・システムおよびアプリケーションを含み得る任意のソフトウェアを展開および実行することが可能な、他の基本コンピューティング・リソースをプロビジョニングする能力である。消費者は、基礎となるクラウド・インフラを管理または制御しないが、オペレーティング・システム、ストレージ、配置されたアプリケーションに対して制御を行い、かつ場合によっては、選択ネットワーキング・コンポーネント（例えば、ホスト・ファイアウォール）の限定的な制御を行う。
【0056】
展開モデルは、以下の通りである。
プライベート・クラウド：クラウド・インフラは、組織のためだけに動作される。クラウド・インフラは、その組織または第三者によって管理されてもよく、構内または構外に存在し得る。
コミュニティ・クラウド：クラウド・インフラは、いくつかの組織によって共有され、共有の関心事（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスの考慮事項）を有する特定のコミュニティをサポートする。クラウド・インフラは、その組織または第三者によって管理されてもよく、構内または構外に存在し得る。
パブリック・クラウド：クラウド・インフラは、一般公衆または大きな業界団体に利用可能とされ、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド：クラウド・インフラは、一意なエンティティのままであるが、データおよびアプリケーション・ポータビリティを可能にする標準化技術または独自技術（例えば、クラウド間のロード・バランシングのためのクラウド・バースティング）によって結合された、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の合成物である。
プライベート・クラウド：クラウド・インフラは、組織のためだけに動作される。クラウド・インフラは、その組織または第三者によって管理されてもよく、構内または構外に存在し得る。
コミュニティ・クラウド：クラウド・インフラは、いくつかの組織によって共有され、共有の関心事（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスの考慮事項）を有する特定のコミュニティをサポートする。クラウド・インフラは、その組織または第三者によって管理されてもよく、構内または構外に存在し得る。
パブリック・クラウド：クラウド・インフラは、一般公衆または大きな業界団体に利用可能とされ、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド：クラウド・インフラは、一意なエンティティのままであるが、データおよびアプリケーション・ポータビリティを可能にする標準化技術または独自技術（例えば、クラウド間のロード・バランシングのためのクラウド・バースティング）によって結合された、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の合成物である。
【0057】
クラウド・コンピューティング環境は、無国籍、低結合、モジュール性、および意味相互運用性に焦点を当てたサービス指向型である。クラウド・コンピューティングの中心は、相互接続されたノードのネットワークを含むインフラである。
【0058】
ここで、本開示のいくつかの実施形態によるクラウド・コンピューティング環境６１０を示す図６を参照する。示すように、クラウド・コンピューティング環境６１０は、１つまたは複数のクラウド・コンピューティング・ノード６００を含む。クラウド・コンピューティング・ノード６００は、図４に示す方法、または図１～図３に論考された機能、あるいはその両方を実行することができる。更に、クラウド・コンピューティング環境６００は、クラウド消費者によって使用されるローカル・コンピューティング・デバイス、例えば、携帯情報端末（ＰＤＡ）もしくは携帯電話６００Ａ、デスクトップ・コンピュータ６００Ｂ、ラップトップ・コンピュータ６００Ｃ、または自動車コンピュータ・システム６００Ｎ、あるいはそれらの組合せと通信することができる。更に、クラウド・コンピューティング・ノード６００は、互いに通信することができる。クラウド・コンピューティング・ノード６００はまた、上述のようなプライベート、コミュニティ、パブリック、もしくはハイブリッド・クラウド、またはそれらの組合せ等の、１つまたは複数のネットワーク内で物理的または仮想的にグループ化されてもよい（図示せず）。これによって、クラウド・コンピューティング環境６１０が、インフラ、プラットフォーム、またはソフトウェア、あるいはそれらの組合せを、クラウド消費者がローカル・コンピューティング・デバイス上でリソースを維持する必要がないサービスとして提案することが可能となる。図６に示されるコンピューティング・デバイス６００Ａ～Ｎのタイプは、単なる例示であることを意図し、コンピューティング・ノード６００およびクラウド・コンピューティング環境６１０は、任意のタイプのネットワークまたはネットワーク・アドレス可能な接続あるいはその両方を経て（例えば、ウェブ・ブラウザを用いて）、任意のタイプのコンピュータ化デバイスと通信し得ると理解される。
【0059】
ここで図７を参照すると、本開示のいくつかの実施形態による、クラウド・コンピューティング環境６１０（図６）によって提供される機能抽象化モデル層のセットが示されている。図７に示されるコンポーネント、層、および機能は、単なる例示であることが意図され、本開示の実施形態は、それらに限定されないと、予め理解されるべきである。以下に示すように、以下の層および対応する機能が提供される。
【0060】
ハードウェアおよびソフトウェア層７００は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム７０２、ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャ・ベース・サーバ７０４、サーバ７０６、ブレード・サーバ７０８、ストレージ・デバイス７１０、ならびにネットワークおよびネットワーキング・コンポーネント７１２を含む。いくつかの実施形態では、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア７１４およびデータベース・ソフトウェア７１６を含む。
【0061】
仮想化層７２０は、仮想エンティティの以下の例、仮想サーバ７２２、仮想ストレージ７２４、仮想プライベート・ネットワークを含む仮想ネットワーク７２６、仮想アプリケーションおよびオペレーティング・システム７２８、ならびに仮想クライアント７３０が提供され得る、抽象化層を提供する。
【0062】
１つの例では、管理層７４０は、後述する機能を提供し得る。リソース・プロビジョニング７４２は、クラウド・コンピューティング環境内でタスクを実行するために利用される、コンピューティング・リソースおよび他のリソースの動的な調達を提供する。測定および価格設定７４４は、リソースがクラウド・コンピューティング環境内で利用されるときにコスト追跡を提供し、これらのリソースの消費に対する課金または請求を提供する。１つの例では、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含み得る。セキュリティは、データおよび他のリソースについての保護だけでなく、クラウド消費者およびタスクについての本人確認を提供する。ユーザ・ポータル７４６は、消費者およびシステム管理者にクラウド・コンピューティング環境へのアクセスを提供する。サービス・レベル管理７４８は、要求されるサービス・レベルが満たされるように、クラウド・コンピューティング・リソース配分および管理を提供する。サービス・レベル管理７４８は、スタティック・センサ・データを処理するのに適した処理能力およびメモリを配分することができる。サービス水準合意（ＳＬＡ）計画および遂行７５０は、ＳＬＡに従って将来の要件が予期されるクラウド・コンピューティング・リソースの事前配置および調達を提供する。
【0063】
ワークロード層７６０は、クラウド・コンピューティング環境が利用され得る機能性の例を提供する。この層から提供され得るワークロードおよび機能の例は、マッピングおよびナビゲーション７６２、ソフトウェア開発およびライフサイクル管理７６４、仮想クラスルーム教育配信７６６、データ解析処理７６８、トランザクション処理７７０、およびプライベート転移学習マネージャ７７２を含む。
【0064】
本開示は、統合の任意の可能な技術的詳細レベルにおける、システム、方法またはコンピュータ・プログラム製品あるいはその組合せとすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことができる。
【0065】
コンピュータ可読記憶媒体は、命令実行デバイスによって用いるための命令を保持および記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、限定ではないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光学ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または上記の任意の適切な組合せとすることができる。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには以下のもの、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録された溝内の隆起構造等の機械的に符号化されたデバイス、および上記の任意の適切な組合せが含まれる。本明細書において用いられるとき、コンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通じて伝播する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、または配線を介して送信される電気信号等の、一過性の信号自体であると解釈されるべきではない。
【0066】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、または、ネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはワイヤレス・ネットワークあるいはその組合せを介して外部コンピュータまたは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバあるいはその組合せを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インタフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それらのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体への記憶のために転送する。
【0067】
本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、または、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋等のオブジェクト指向プログラミング言語および「Ｃ」プログラミング言語もしくは同様のプログラム言語等の手続き型プログラミング言語を含む１つもしくは複数のプログラミング言語の任意の組合せで書かれたソース・コードもしくはオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、スタンドアローン・ソフトウェア・パッケージとして全体がユーザのコンピュータ上で、一部がユーザのコンピュータ上で、一部がユーザのコンピュータ上かつ一部がリモート・コンピュータ上で、または全体がコンピュータもしくはサーバ上で実行されてよい。後者の場合、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを介してユーザのコンピュータに接続することができ、または接続は外部コンピュータ（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）に対して行ってもよい。いくつかの実施形態では、本発明の態様を実行するために、例えばプログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。
【0068】
本開示の態様について、本開示の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照しながら本明細書において説明している。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方のブロックの組合せは、コンピュータ可読プログラム命令によって実施され得ることが理解されよう。
【0069】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実施する手段を作り出すように、コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されて、マシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作の態様を実施する命令を含む製造品を含むように、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに対して特定の方式で機能するように指示できるものであってもよい。
【0070】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイスで実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実施するように、コンピュータ実施プロセスを作り出すべくコンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の演算ステップを実行させるものであってもよい。
【0071】
図中のフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能性および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定される論理機能を実装するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または部分を表すことができる。いくつかの代替の実装形態では、ブロックに記載されている機能は、図に記載されている順序とは異なる順序で行われてもよい。例えば、連続して示されている２つのブロックは、関与する機能性に応じて、１つのステップとして達成されてもよく、同時に実行されてもよく、一部または全体が時間的に重複した方式で実質的に同時に実行されてもよく、またはそれらのブロックは場合によっては逆の順序で実行されてもよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方のブロックの組合せは、指定される機能または動作を実行するか、あるいは専用ハードウェアとコンピュータ命令との組合せを遂行する専用ハードウェア・ベースのシステムによって実施され得ることにも留意されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】