知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
特表2024-502177価値関数の最適化および所望のデータの生成のための教師付きＶＡＥ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-17
(54)【発明の名称】価値関数の最適化および所望のデータの生成のための教師付きＶＡＥ
(51)【国際特許分類】
G06N 3/09 20230101AFI20240110BHJP
G06N 3/0464 20230101ALI20240110BHJP
G06N 3/044 20230101ALI20240110BHJP
G06F 18/214 20230101ALI20240110BHJP
G06N 3/0455 20230101ALI20240110BHJP
【ＦＩ】
G06N3/09
G06N3/0464
G06N3/044
G06F18/214
G06N3/0455
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023541691
(86)(22)【出願日】2022-01-12
(85)【翻訳文提出日】2023-07-07
(86)【国際出願番号】 CN2022071599
(87)【国際公開番号】W WO2022152166
(87)【国際公開日】2022-07-21
(31)【優先権主張番号】17/148,132
(32)【優先日】2021-01-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(74)【復代理人】
【識別番号】100091568
【弁理士】
【氏名又は名称】市位 嘉宏
(72)【発明者】
【氏名】ミン、シュー
(72)【発明者】
【氏名】メイ、ジン
(72)【発明者】
【氏名】チャン、ユアン
(72)【発明者】
【氏名】タン、ゼファン
(57)【要約】
モデル学習およびサンプル値生成フレームワークは、元の入力サンプル・データ空間をできる限り正確に再構成するために、符号化、復号、および値予測、ならびに最適化の機能を包括的に統合するためのシステムおよび方法を含む。このシステムは変分オートエンコーダ・モデルを利用して、そのデータ空間のできる限り現実的なサンプルを生成する。このシステムは、元の入力データの代わりに潜在特徴データに基づいてターゲット結果を得るための価値予測関数を学習する。さらに、このシステムは制約なし潜在空間における最適化の課題を解決して、元のサンプル・データ空間における最適化の困難さを回避する。生成される最適サンプルは、現実世界の入力サンプルにできる限り類似したものとなる。システムは柔軟なデータ生成機構を提供し、これはさまざまな種類のターゲット結果の仕様にとって好適である。
【特許請求の範囲】
【請求項1】
ターゲット結果を得るための最適モデル入力データを生成するコンピュータ実施方法であって、前記方法が、教師付き変分オートエンコーダ（ＶＡＥ）のエンコーダ・モデルを用いて、潜在特徴空間における入力データの潜在特徴表現を生成することと、
前記入力データの前記潜在特徴表現を用いて前記入力データを再構成することを学習するためにＶＡＥデコーダ・モデルを受信することと、
前記入力データの前記潜在特徴表現を用いて前記入力データとターゲット結果との関係を学習するために値予測モデルを受信することと、
前記ＶＡＥデコーダ・モデルおよび前記値予測モデルを同時にトレーニングすることと、
トレーニング済の前記値予測モデルを用いて、前記入力データの前記潜在特徴空間表現を最適化することと、
トレーニング済の前記ＶＡＥデコーダ・モデルにおいて、前記入力データの前記最適化された潜在特徴空間表現を受信することと、
前記入力データの前記最適化された潜在特徴空間表現に基づいて前記ターゲット結果を得るための前記入力データの最適サンプルを生成するために、前記トレーニング済のＶＡＥデコーダ・モデルを実行することと
を含む、コンピュータ実施方法。
【請求項2】
前記ＶＡＥエンコーダ・モデル、前記ＶＡＥデコーダ・モデル、および前記値予測モデルが、畳み込みニューラル・ネットワーク（ＣＮＮ）、再帰型ニューラル・ネットワーク（ＲＮＮ）、または多層パーセプトロン（ＭＬＰ）から選択される機械学習済ディープ・ニューラル・ネットワーク・モデルを含む、請求項１に記載のコンピュータ実施方法。
【請求項3】
前記ＶＡＥデコーダ・モデルおよび前記値予測モデルを前記同時にトレーニングすることによって、前記ＶＡＥデコーダ・モデルのトレーニングに用いるための再構成誤差損失成分と、前記値予測モデルの前記トレーニングに用いるためのラベル予測誤差損失成分とを含む損失関数を最適化する、請求項１に記載のコンピュータ実施方法。
【請求項4】
前記入力データの前記潜在特徴空間表現を前記最適化することが、制約なし潜在空間における最適化の課題を形成することを含む、請求項１に記載のコンピュータ実施方法。
【請求項5】
前記最適化の課題が、最大のターゲット結果値を生成する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための大域的最適化である、請求項１に記載のコンピュータ実施方法。
【請求項6】
前記最適化の課題が、前記ターゲット結果値と一致する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための局所的最適化である、請求項１に記載のコンピュータ実施方法。
【請求項7】
前記最適化の課題が、所与の前記入力データに類似しているがより大きなターゲット結果を有する最適サンプルを見出すための特定の入力データを与えられたときの局所的最適化である、請求項１に記載のコンピュータ実施方法。
【請求項8】
前記最適化の課題が、前記潜在特徴空間表現の確率を最適化するための確率正則化成分を含む、請求項１に記載のコンピュータ実施方法。
【請求項9】
ターゲット結果を得るための最適モデル入力データを生成するコンピュータ・システムであって、前記コンピュータ・システムが、コンピュータ可読プログラムを記憶するためのメモリ・ストレージ・デバイスと、
前記コンピュータ可読プログラムを実行するように適合された少なくとも１つのプロセッサとを含み、前記コンピュータ可読プログラムが、
教師付き変分オートエンコーダ（ＶＡＥ）のエンコーダ・モデルを用いて、潜在特徴空間における入力データの潜在特徴表現を生成することと、
前記入力データの前記潜在特徴表現を用いて前記入力データを再構成することを学習するためにＶＡＥデコーダ・モデルを受信することと、
前記入力データの前記潜在特徴表現を用いて前記入力データとターゲット結果との関係を学習するために値予測モデルを受信することと、
前記ＶＡＥデコーダ・モデルおよび前記値予測モデルを同時にトレーニングすることと、
トレーニング済の前記値予測モデルを用いて、前記入力データの前記潜在特徴空間表現を最適化することと、
トレーニング済の前記ＶＡＥデコーダ・モデルにおいて、前記入力データの前記最適化された潜在特徴空間表現を受信することと、
前記入力データの前記最適化された潜在特徴空間表現に基づいて前記ターゲット結果を得るための前記入力データの最適サンプルを生成するために、前記トレーニング済のＶＡＥデコーダ・モデルを実行することと
を行うように前記少なくとも１つのプロセッサを構成するためのものである、コンピュータ・システム。
【請求項10】
前記ＶＡＥエンコーダ・モデル、前記ＶＡＥデコーダ・モデル、および前記値予測モデルが、畳み込みニューラル・ネットワーク（ＣＮＮ）、再帰型ニューラル・ネットワーク（ＲＮＮ）、または多層パーセプトロン（ＭＬＰ）から選択される機械学習済ディープ・ニューラル・ネットワーク・モデルを含む、請求項９に記載のコンピュータ・システム。
【請求項11】
前記ＶＡＥデコーダ・モデルおよび前記値予測モデルを同時にトレーニングするために、前記少なくとも１つのプロセッサが、前記ＶＡＥデコーダ・モデルのトレーニングに用いるための再構成誤差損失成分と、前記値予測モデルの前記トレーニングに用いるためのラベル予測誤差損失成分とを含む損失関数を最適化するようにさらに構成される、請求項９に記載のコンピュータ・システム。
【請求項12】
前記入力データの前記潜在特徴空間表現を前記最適化することが、制約なし潜在空間における最適化の課題を形成することを含む、請求項９に記載のコンピュータ・システム。
【請求項13】
前記最適化の課題が、最大のターゲット結果値を生成する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための大域的最適化である、請求項９に記載のコンピュータ・システム。
【請求項14】
前記最適化の課題が、前記ターゲット結果値と一致する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための局所的最適化か、または所与の前記入力データに類似しているがより大きなターゲット結果を有する最適サンプルを見出すための特定の入力データを与えられたときの局所的最適化から選択されるものである、請求項９に記載のコンピュータ・システム。
【請求項15】
前記最適化の課題が、前記潜在特徴空間表現の確率を最適化するための確率正則化成分を含む、請求項９に記載のコンピュータ実施方法。
【請求項16】
コンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品が、コンピュータ可読プログラムを記憶するコンピュータ可読記憶媒体を含み、前記コンピュータ可読プログラムが、少なくとも１つのプロセッサを含むコンピュータにおいて実行されるときに、前記少なくとも１つのプロセッサに、教師付き変分オートエンコーダ（ＶＡＥ）のエンコーダ・モデルを用いて、潜在特徴空間における入力データの潜在特徴表現を生成することと、
前記入力データの前記潜在特徴表現を用いて前記入力データを再構成することを学習するためにＶＡＥデコーダ・モデルを受信することと、
前記入力データの前記潜在特徴表現を用いて前記入力データとターゲット結果との関係を学習するために値予測モデルを受信することと、
前記ＶＡＥデコーダ・モデルおよび前記値予測モデルを同時にトレーニングすることと、
トレーニング済の前記値予測モデルを用いて、前記入力データの前記潜在特徴空間表現を最適化することと、
トレーニング済の前記ＶＡＥデコーダ・モデルにおいて、前記入力データの前記最適化された潜在特徴空間表現を受信することと、
前記入力データの前記最適化された潜在特徴空間表現に基づいて前記ターゲット結果を得るための前記入力データの最適サンプルを生成するために、前記トレーニング済のＶＡＥデコーダ・モデルを実行することと
を行わせる、コンピュータ・プログラム製品。
【請求項17】
前記ＶＡＥデコーダおよび値予測モデルを同時にトレーニングするために、前記コンピュータ可読媒体が、前記ＶＡＥデコーダ・モデルのトレーニングに用いるための再構成誤差損失成分と、前記値予測モデルの前記トレーニングに用いるためのラベル予測誤差損失成分とを含む損失関数を最適化するように前記少なくとも１つのプロセッサをさらに構成する、請求項１６に記載のコンピュータ・プログラム製品。
【請求項18】
前記入力データの前記潜在特徴空間表現を前記最適化することが、制約なし潜在空間における最適化の課題を形成することを含む、請求項１６に記載のコンピュータ・プログラム製品。
【請求項19】
前記最適化の課題が、最大のターゲット結果値を生成する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための大域的最適化である、請求項１６に記載のコンピュータ・プログラム製品。
【請求項20】
前記最適化の課題が、前記ターゲット結果値と一致する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための局所的最適化か、または所与の前記入力データに類似しているがより大きなターゲット結果を有する最適サンプルを見出すための特定の入力データを与えられたときの局所的最適化から選択されるものである、請求項１６に記載のコンピュータ・プログラム製品。
【請求項21】
前記最適化の課題が、前記潜在特徴空間表現の確率を最適化するための確率正則化成分を含む、請求項１６に記載のコンピュータ・プログラム製品。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ターゲット結果を得るための最適なサンプルを生成するという課題を解決し、かつ変分オートエンコーダ（ＶＡＥ：ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ）モデルを利用してデータ空間のできる限り現実的なサンプルを生成するために用いられる機械学習済モデルおよび人工知能モデルのアプリケーションに関する。
【背景技術】
【0002】
人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）アプリケーションにおいて、特定のターゲット結果が得られるように機械学習済モデルをトレーニングするために用いる入力として最適なデータ・サンプルを生成することが、非常に一般的に求められている。たとえば、病院などのヘルスケア・プロバイダは、最高の病院パフォーマンスを達成するために自身のリソースの利用を最適化する必要がある。この場合、最適化する必要があるのはリソース利用「現実世界」の入力サンプル・データであり、ターゲットとする結果は病院パフォーマンスである。別の例として、小学校の教師は、彼／彼女の生徒に１００点のモデル作文を見せるために作文を最適化する必要がある。この場合、最適化する必要があるのは現実世界の作文入力データであり、ターゲットとする結果は点数（スコア）である。
【0003】
しかし、こうした所望の入力データ・サンプルを生成するときに、いくつかの課題が存在する。第１に、入力データ・サンプルと出力ターゲットとの関係は事前に定義されず、大きいデータセットから学習される必要がある。言い換えると、第１の課題は、入力データｘと出力データｙとの関係をモデル化する必要があることである。
【0004】
第２に、入力ｘの空間はしばしば高次元であり、明確に定義されない。その結果、空間ｘにおける単純な最適化は実行不可能であり、ｘに対して明示的な制約を与えることは困難である。
【0005】
第３に、入力ｘに対応する生成された最適サンプル空間は、できる限り現実世界のサンプルに類似することが要求される。生成されるサンプルは、現実世界のデータとの一貫性を保つために、現実世界のデータと同じ分布からサンプリングされるべきである。
【0006】
既存の関連する方法は、上記の３つの課題すべてを同時に解決できない。
【発明の概要】
【0007】
以下の概要は、単なる例示であることが意図される。この概要は、請求項の範囲を限定することは意図されていない。
【0008】
ある態様によると、本開示は、入力サンプルと出力ターゲットとの関係が事前定義されずに大きいデータセットから学習される必要があるとき、すなわち入力データｘと出力データｙとの関係をモデル化する必要があるときに、特定のターゲット結果を得るための機械学習済モデルに対する最適データ・サンプルを生成するためのシステムおよび方法を提供する。
【0009】
さらなる態様によると、本開示は、入力データｘの空間が高次元であって明確に定義されていないために空間ｘにおける任意の単純な最適化が実行不可能であり、ｘに対して明示的な制約を与えることを困難にしているときに、特定のターゲット結果に対する最適サンプルを生成するためのシステムおよび方法を提供する。
【0010】
さらなる態様によると、本開示は、特定のターゲット結果に対する最適サンプルを生成し、生成された最適サンプルｘ＊が現実世界のサンプルとできる限り類似するようにするためのシステムおよび方法を提供し、すなわち、現実世界のデータとの一貫性を保つために、生成されるサンプルは現実世界のデータと同じ分布からサンプリングされるべきである。
【0011】
本発明の態様によると、ターゲット結果を得るための最適モデル入力データを生成するコンピュータ実施方法が提供される。この方法は、教師付き変分オートエンコーダ（ＶＡＥ）のエンコーダ・モデルを用いて、潜在特徴空間における入力データの潜在特徴表現を生成することと、入力データの潜在特徴表現を用いて入力データを再構成することを学習するためのＶＡＥデコーダ・モデルを受信することと、入力データの潜在特徴表現を用いて入力データとターゲット結果との関係を学習するための値予測モデルを受信することと、ＶＡＥデコーダ・モデルおよび値予測モデルを同時にトレーニングすることと、トレーニング済の値予測モデルを用いて、入力データの潜在特徴空間表現を最適化することと、トレーニング済のＶＡＥデコーダ・モデルにおいて、入力データの最適化された潜在特徴空間表現を受信することと、入力データの最適化された潜在特徴空間表現に基づいてターゲット結果を得るための入力データの最適サンプルを生成するために、トレーニング済のＶＡＥデコーダ・モデルを実行することとを含む。
【0012】
一態様によると、ターゲット結果を得るための最適モデル入力データを生成するためのコンピュータ・システムが提供される。このコンピュータ・システムは、コンピュータ可読プログラムを記憶するためのメモリ・ストレージ・デバイスと、コンピュータ可読プログラムを実行するように適合された少なくとも１つのプロセッサとを含み、このコンピュータ可読プログラムは、教師付き変分オートエンコーダ（ＶＡＥ）のエンコーダ・モデルを用いて、潜在特徴空間における入力データの潜在特徴表現を生成することと、入力データの潜在特徴表現を用いて入力データを再構成することを学習するためのＶＡＥデコーダ・モデルを受信することと、入力データの潜在特徴表現を用いて入力データとターゲット結果との関係を学習するための値予測モデルを受信することと、ＶＡＥデコーダ・モデルおよび値予測モデルを同時にトレーニングすることと、トレーニング済の値予測モデルを用いて、入力データの潜在特徴空間表現を最適化することと、トレーニング済のＶＡＥデコーダ・モデルにおいて、入力データの最適化された潜在特徴空間表現を受信することと、入力データの最適化された潜在特徴空間表現に基づいてターゲット結果を得るための入力データの最適サンプルを生成するために、トレーニング済のＶＡＥデコーダ・モデルを実行することとを行うように少なくとも１つのプロセッサを構成するためのものである。
【0013】
さらなる態様において、動作を行うためのコンピュータ・プログラム製品が提供される。このコンピュータ・プログラム製品は、処理回路によって可読であり、かつ方法を実行するために処理回路によって実行される命令を記憶する記憶媒体を含む。この方法は上記に挙げられた方法と同じである。
【0014】
前述の態様およびその他の特徴は、添付の図面に関連して行われる以下の記載において説明される。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態による、特定のターゲット結果に対する最適サンプルを自動的に生成するための実施形態を実装するために適用可能な例示的コンピュータ・システムを概略的に示す図である。
【図2】本発明の実施形態による、特定のターゲット結果に対する最適サンプルを生成するための２段階フレームワークをそれぞれ示すシステム・ブロック図である。
【図3】ある実施形態による、特定のターゲット結果に対する最適サンプルを生成するための２段階フレームワークを実行するためにコンピュータ・システムによって呼び出される方法を示す図である。
【図4】本発明の実施形態による、リソース利用最適化の課題の例の２段階ネットワーク処理によってもたらされる最適サンプル・データ入力／出力および最適化されたターゲット結果の例を示す表の例を示す図である。
【図5】本発明の実施形態によるコンピュータまたは処理システムの例を示す概略図である。
【図6】本発明の実施形態によるクラウド・コンピューティング環境を示す図である。
【図7】本発明の実施形態による抽象化モデル・レイヤを示す図である。
【発明を実施するための形態】
【0016】
ある実施形態によると、本開示は、ターゲット結果を得るための機械学習済モデルに対する最適サンプルを迅速かつ自動的に生成するためのシステムおよび方法を提供する。最適ターゲット結果（最適価値関数）をもたらすこととなる最適サンプル・データを生成するための課題を解決するために、教師付き変分オートエンコーダ方法が実装される。
【0017】
ある実施形態において、このシステムおよび方法は、学習段階および生成段階の２段階で実装される。学習段階において、教師付き変分オートエンコーダ（ＶＡＥ）は、（１）入力データｘの分布と、（２）入力データｘおよびターゲット出力ｙの関係との両方を同時に学習するようにトレーニングされる。生成段階においては、制約なし最適化の課題が、潜在空間ｚにおいてオプティマイザを用いて解決され、さまざまな目的に対するさまざまなデータが生成される。システムは、元の入力データの代わりに潜在特徴に基づく価値予測関数を学習する。システムは、さまざまな種類のターゲット結果仕様に適した柔軟なデータ生成機構を提供する。
【0018】
図１に示されるとおり、一実施形態による、最適ターゲット結果をもたらすこととなる最適サンプル・データを生成するための課題を解決する状況において、システムおよび方法を実装するツール１００はコンピュータ・システム、コンピュータ・デバイス、モバイル・デバイス、またはサーバである。いくつかの態様において、コンピュータ・デバイス１００は、たとえばパーソナル・コンピュータ、ラップトップ、タブレット、スマート・デバイス、スマート・フォン、または任意のその他の類似のコンピュータ・デバイスなどを含んでもよい。
【0019】
コンピュータ・システム１００は、１つ以上のハードウェア・プロセッサ１５２Ａ、１５２Ｂと、たとえばオペレーティング・システム、アプリケーション・プログラム・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅｓ）、およびプログラム命令などを記憶するためのメモリ１５０と、ネットワーク・インターフェース１５６と、ディスプレイ・デバイス１５８と、入力デバイス１５９と、コンピュータ・デバイスに共通する任意のその他の特徴とを含む。いくつかの態様において、コンピュータ・システム１００はたとえば、パブリックまたはプライベート通信ネットワーク９９を通じてウェブベースまたはクラウドベースのサーバ１２０を含む１つ以上のウェブサイト１２５と通信するように構成された任意のコンピュータ・デバイスなどであってもよい。たとえば、ウェブサイトは、特定のドメインに関する入力データを含んでいてもよい。実装例において、こうしたデータは、いかにして病院の労働費を最小化するかという課題を解決するために使用され得る病院リソース利用データを含んでもよい。こうしたデータは、電子的形態でデータベース１３０に記憶されてもよい。
【0020】
さらに、システム１００の一部として示されるとおり、取り付けられたメモリ・ストレージ・デバイス１６０を含み得るデータ処理フレームワークのために有用なローカル・メモリか、またはたとえばシステム１００への入力のためのリモート・ネットワーク接続を介してアクセス可能なデータベースなどのリモート・メモリ・ストレージ・デバイスが提供される。
【0021】
図１に示される実施形態において、プロセッサ１５２Ａ、１５２Ｂは、たとえばマイクロコントローラ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはさまざまな動作を行うように構成された任意のその他のプロセッサなどを含んでもよい。加えて示されているのは、システム１００のさまざまなコンポーネントの間で信号を転送するための、たとえばデータ・バス・ラインなどの有線接続、アドレス・バス・ライン、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）データ・ライン、ビデオ・バス、拡張バスなどの通信チャネル１４０である。プロセッサ１５２Ａ、１５２Ｂは、以下に記載される方法命令を実行するように構成される。これらの命令は、たとえばプログラムされたモジュールなどとして、さらなる関連メモリ・ストレージ・デバイス１５０に記憶されてもよい。
【0022】
メモリ１５０は、たとえばランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）もしくはキャッシュ・メモリまたはその両方、あるいはその他のものなどの、揮発性メモリの形態の非一時的なコンピュータ可読媒体などを含んでもよい。メモリ１５０は、たとえばその他の取り外し可能／取り外し不可能な、揮発性／不揮発性記憶媒体などを含んでもよい。単なる非限定的な例として、メモリ１５０は、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラマブル・リード・オンリ・メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）（ＥＰＲＯＭまたはフラッシュ・メモリ）、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、光ストレージ・デバイス、磁気ストレージ・デバイス、または前述の任意の好適な組み合わせを含んでもよい。
【0023】
ネットワーク・インターフェース１５６は、たとえば有線またはワイヤレス接続などを介して、ウェブサイト・サーバ１２０へのデータまたは情報の送信およびそこからの受信を行うように構成される。たとえば、ネットワーク・インターフェース１５６はたとえばＢｌｕｅｔｏｏｔｈ（Ｒ）、ＷＩＦＩ（例、８０２．１１ａ／ｂ／ｇ／ｎ）、セルラ・ネットワーク（例、ＣＤＭＡ、ＧＳＭ、Ｍ２Ｍ、および３Ｇ／４Ｇ／４Ｇ ＬＴＥ、５Ｇ）、近距離通信システム、衛星通信、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）を介するもの、広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）を介するもの、またはコンピュータ・デバイス１００がサーバ１２０に情報を送信するか、もしくはそこから情報を受信することを可能にする任意のその他の通信形態などのワイヤレス技術および通信プロトコルを使用してもよい。
【0024】
ディスプレイ１５８は、たとえばコンピュータ・モニタ、テレビ、スマート・テレビ、たとえばラップトップなどのパーソナル・コンピュータ・デバイスに統合されたディスプレイ・スクリーン、スマート・フォン、スマート・ウォッチ、仮想現実ヘッドセット、スマート・ウェアラブル・デバイス、またはユーザに情報を表示するための任意のその他の機構などを含んでもよい。いくつかの態様において、ディスプレイ１５８は液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、ａｎ ｅペーパー／ｅインク・ディスプレイ、有機ＬＥＤ（ＯＬＥＤ：ｏｒｇａｎｉｃ ＬＥＤ）ディスプレイ、またはその他の類似のディスプレイ技術を含んでもよい。いくつかの態様において、ディスプレイ１５８はタッチ・センサであってもよく、入力デバイスとしても機能してもよい。
【0025】
入力デバイス１５９は、たとえばキーボード、マウス、タッチ・センサ・ディスプレイ、キーパッド、マイクロホン、またはその他の類似の入力デバイス、またはユーザにコンピュータ・デバイス１００と対話する機能を提供するために単独または一緒に使用され得る任意のその他の入力デバイスなどを含んでもよい。ある実施形態において、ユーザはユーザ・インターフェースを通じて、解決されるべき課題に対して意図される特定のターゲット結果を入力できる。たとえば、病院リソース利用に関する課題を解決する状況において、ユーザはたとえばいかにして病院の労働費を最小化するかなどのターゲット結果ｙを指定してもよい。
【0026】
ターゲット出力を生成するためのモデルを構築するための最適サンプル（潜在）空間を生成するためにデータを分析および処理するようにコンピュータ・システムを構成することに関して、ローカルまたはリモート・メモリ１６０は、たとえば病院リソース利用データか、またはたとえばウェブ・サーバ（単数または複数）などのリモート位置から得られたその他のデータなどの、特定のドメインにおいて解決されるべき課題に関するデータまたは情報１６２を一時的に記憶するように構成されてもよい。
【0027】
これらのデータはデータベースとして記憶され、たとえばヘルスケア、教育などの特定のドメインにおける目下の課題を解決するために使用される最適サンプル空間の生成に使用するために処理される。
【0028】
取り込まれたデータ１６２は、電子データベース１３０またはその他のデータ・ソース（図示せず）に記憶された情報から取り出されたデータであり得る。代替的に、このデータは、コンピュータ・システム１００に取り付けられた別個のローカル・メモリ・ストレージ・デバイスに記憶されてもよい。
【0029】
図１に示されるとおり、コンピュータ・システム１００のメモリ１５０はさらに、ＶＡＥ技術を用いて課題を解決するために使用される最適潜在サンプル空間を提供するようにコンピュータ・システムを構成するように適合されたプロセッサ（単数または複数）によって実行されるプログラム命令を含む処理モジュールを記憶する。
【0030】
一実施形態において、関連するメモリ１５０に記憶されるプログラム処理モジュールの１つはデータ摂取モジュール１６５を含み、データ摂取モジュール１６５は、（例、構造化または非構造化）データのアクセス／受信を行って、それらのデータを本発明の実施形態に従ってデータを処理する他のモジュールによる使用のための入力データｘの形態にするように回路を動作させる命令およびロジックを提供する。
【0031】
ある実施形態において、ＶＡＥエンコーダ・モジュール１７０は、解決されるべき課題に関する入力データ内容を受信するように回路を動作させるための命令およびロジックを提供する。このデータは、解決されるべき予測の課題に用いられる情報のｎ次元ベクトルであってもよい。ＶＡＥエンコーダは、入力の潜在属性を確率論的方式（分布）で符号化することによって、潜在サンプル空間を生成する。エンコーダ（Ｅ：ｅｎｃｏｄｅｒ）は、入力データｘの分布を取り込んで、入力ｘを解きほぐされた潜在空間ｚに符号化する。
【0032】
ある実施形態において、ＶＡＥエンコーダ・モジュール１７０は、解決される課題のタイプに依存する入力データｘの符号化を行い得る畳み込みニューラル・ネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、再帰型ニューラル・ネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、または多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）モデル・パイプライン、ならびにその可能な組み合わせおよび変形１７５を含むがそれに限定されない、ディープ・ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデル・パイプライン・アーキテクチャに従ってモデル化された符号化関数を実行できる。
【0033】
システム１００の関連メモリ１５０に記憶される別のプログラム処理モジュールは、データｘを入力潜在サンプル空間ｚに基づいて最適な程度の誤差以内で再構成するためのデコーダ関数を提供する回路を動作させるためのロジックおよび命令を使用するＶＡＥデコーダ・モジュール１８０を含む。ある実施形態において、デコーダ（Ｄ：ｄｅｃｏｄｅｒ）モジュール１８０は、解決される課題のタイプに依存する入力潜在サンプル空間データｚの復号を行い得るＣＮＮ、ＲＮＮ、またはＭＬＰモデル・パイプライン、ならびにその可能な組み合わせおよび変形を含むがそれに限定されないディープ・ニューラル・ネットワーク・モデル・アーキテクチャ１８５に従ってモデル化された復号関数を実行できる。
【0034】
関連コンピュータ・メモリ１５０に記憶される別の処理モジュールは、指定される精度以内でターゲット結果を予測するために関数（Ｖ）を実行するように回路を動作させるためのロジックおよび命令を使用する値予測モジュール１９０を含む。ある実施形態において、値予測モジュール１９０は、潜在特徴空間ｚに基づいてできる限り正確にターゲット結果の値を予測するように構成されたＣＮＮ、ＲＮＮ、またはＭＬＰモデル・パイプライン、ならびにその可能な組み合わせおよび変形を含むがそれに限定されないディープ・ニューラル・ネットワーク・モデル・アーキテクチャも実行する。
【0035】
関連コンピュータ・メモリ１５０に記憶される別の処理モジュールは、特定の最適化の課題を解決するための回路を動作させるためのロジックおよび命令を使用するオプティマイザ・モジュール１９５を含む。オプティマイザは、解決される予測の課題において指定されるターゲット結果に対する最良の結果を得るために使用される最適化された潜在サンプル空間ｚ＊を生成するために、制約なし最適化の課題を解決するための最適化アルゴリズム（Ｏ：ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を実行する。最適化アルゴリズムは、たとえば確率的勾配降下法（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）などの、任意の一般的なアルゴリズムであり得る。いくつかのタイプの最適化を行うことができ、それらの唯一の相違点は最適化ターゲット定式化である。
【0036】
図１にさらに示されるとおり、メモリ１５０は、各々のプログラム・モジュールを呼び出して、解決される予測の課題において指定されるターゲット結果に対する最良の結果を得るため、すなわち最適ターゲット結果を有する最適サンプルを生成するために使用される潜在サンプル空間ｚ＊を最適化する教師付きＶＡＥの学習および生成段階に対する動作を呼び出すようにコンピュータ・システム１００を構成するための命令を有する監視プログラム１１０を含む。この監視プログラムは、最適潜在サンプル空間ｚ＊を復号することによって得られるデータ値ｘ＊、すなわちｘ＊＝Ｄ（ｚ＊）として表される最適ターゲット結果値を生成するようにコンピュータ・システムを構成する。
【0037】
図２は、第１の段階で教師付きＶＡＥを使用し、第２の段階でオプティマイザ（Ｏ：ｏｐｔｉｍｉｚｅｒ）を使用した入力データｘの処理の結果として潜在変数空間ｚにおける最適化された潜在変数ｚ＊を生成するための２段階フレームワーク２００を実装するシステムを示す。
【0038】
第１の学習段階２０５において、解決されるべき特定の課題に関する属性を含む１つ以上のベクトルの形態の入力データｘ２１０が、教師付きＶＡＥのエンコーダ・モデル（Ｅ）１７０に入力される。この入力属性データ・ベクトルｘに基づいて、エンコーダＤＮＮモデル（Ｅ）は入力データｘの分布を取り込み、かつ入力ｘを解きほぐされた潜在変数空間ｚに符号化する、すなわちＥ（ｘ）→ｚとすることによってトレーニングされる。エンコーダはサンプル・データｘを入力として受け取り、次いで潜在空間２２０における特徴表現ｚ＝Ｅ（ｘ）を生成する。入力データ・タイプｘに依存して、エンコーダ関数（Ｅ）の実施形態はＣＮＮ、ＲＮＮ、またはＭＬＰであり得る。符号化の利点は、複雑な高次元空間における入力を、解きほぐされた低次元潜在空間２２０に変換することである。
【0039】
続いて図２に示されるとおり、デコーダ・モデル１８５は入力としてサンプル潜在空間ｚ２２０を受信し、それを復号してサンプルｘを再構成し、すなわちＤ（ｚ）→ｘとして、損失関数によって定められた何らかの予め定められた損失または誤差の尺度以内となるようにする。入力データ・タイプｘに依存して、デコーダ関数（Ｄ）の実施形態はＣＮＮ、ＲＮＮ、またはＭＬＰであり得る。デコーダ・モデル処理の結果として、この方法は教師なし再構成誤差損失｜Ｄ（Ｅ（ｘ））－ｘ｜を生成する。
【0040】
同時に、値予測モデル（Ｖ：ｖａｌｕｅ ｐｒｅｄｉｃｔｏｒ ｍｏｄｅｌ）１９０は入力として同じサンプル潜在空間ｚ２２０を受信して、できる限り正確に、または予め定められた損失もしくは誤差尺度以内となるように、ターゲット結果ｙ２３０の値を予測する。よってこの方法は、潜在変数空間ｚ２２０を用いて入力データｘの分布を学習することに加えて、損失関数によって決定される何らかの予め定められた損失または誤差尺度以内となるような入力データｘとターゲット結果出力ｙとの関係、すなわちｘ→ｚ→（ｘ，ｙ）も学習する。入力データ・タイプｘに依存して、値予測関数（Ｖ）の実施形態は、ターゲット結果と入力データとの関係をモデル化するように設計されたＣＮＮ、ＲＮＮ、またはＭＬＰであり得る。しかし、これはｘからｙへの直接の関数ではない。この関数はｘからｚへ、次いでｙへの２ステップ関数である。この部分は、ＶＡＥのトレーニングのための教師付き予測誤差損失｜Ｖ（Ｅ（ｘ））－ｙ｜を生成する。これらの動作が与えられるとき、この方法は、ターゲット結果に対する下流の最適サンプル生成を行い得る。
【0041】
サンプル潜在空間が与えられて結果を予測する方式でＶＡＥモデルをトレーニングする際に、最小化されるべき損失は、以下の方程式１）によって代替的に示される。
【0042】
【数1】
【0043】
ここで｜｜Ｄ（Ｅ（ｘｉ））－ｘｉ｜｜は入力データｘを再作成するときの再構成損失を表す損失成分であり、｜｜ｙｉ－Ｖ（Ｅ（ｘｉ））｜｜はラベル予測損失を表す損失成分である。
【0044】
より具体的には、第１の学習段階２０５において、教師付きＶＡＥの損失関数は次の３つの部分からなる。１）再構成損失、すなわちＥ（ｌｏｇＰ（ｘ｜ｚ））。この部分は、連続する特徴および個別の特徴に対する２つの部分にさらに分けられ得る。２）事前損失、すなわちＤ＿ＫＬ（Ｑ（ｚ｜ｘ）｜Ｐ（ｚ））。この部分は、後のｚ｜ｘと前のｐ（ｚ）との間のＫＬ発散距離を算出する。および、３）予測損失、すなわちＥ（ｌｏｇＶ（ｙ｜ｚ））。一実施形態において、この部分は、ｙ｜ｚと真のｙとの間の平方誤差を算出する教師付き損失である。これらの損失関数は、特定の適用に従ってカスタマイズされ得る。すなわち、この方法はこうした広範囲の類似のタスクに対する効率的な解決策であり、異なるタスクは異なる損失関数を有してもよい。
【0045】
第１の段階において教師付きＶＡＥを用いた入力データｘの処理の結果として潜在変数空間ｚにおける最適化された潜在変数ｚ＊を生成するための、２段階フレームワーク２００を実装するシステムを示す図２にさらに示されるとおり、第２の学習段階２５０は、潜在変数空間ｚにおける制約なし最適化の課題を解決するための最適化技術を実行して、異なる目的に対するさまざまなデータ生成のやり方を提供する。
【0046】
ある実施形態において、学習段階２０５が終了した後に、生成段階２５０において、システムは最適化モジュール１９５を実行して、特定のターゲット結果に対する最適潜在空間変数ｚ＊２６０を見出すために用いられるオプティマイザを実行する。
【0047】
解決される最適化の課題の特定のタイプに依存して、異なるタイプのオプティマイザが用いられる。オプティマイザ間の唯一の相違点は、最適化ターゲット定式化のみである。最適化アルゴリズムは、たとえば確率的勾配降下法（ＳＧＤ）、Ａｄａｍ、ＡｄａＧｒａｄなどの、任意の一般的なアルゴリズムであり得る。
【0048】
ある実施形態において、第１のタイプのオプティマイザ（Ｏ１）は、以下によって定義される大域的最適化を解決する。
ｚ＊＝ａｒｇ ｍａｘｚＶ（ｚ）
ｚ＊＝ａｒｇ ｍａｘｚＶ（ｚ）
【0049】
ここでＶ（ｚ）は値予測モデルである。オプティマイザ（Ｏ１）を用いるタスクは、最大のターゲット結果値を生成する最良のサンプルを見出すための制約なし最適化である。
【0050】
さらなる実施形態において、第２のオプティマイザ（Ｏ２）は、以下によって定義される特定の入力データｘを与えられたときの局所的最適化を解決する。
ｚｘ ＊＝ａｒｇ ｍａｘｚＶ（ｚ）－γ｜｜Ｄ（ｚ）－ｘ｜｜
ｚｘ ＊＝ａｒｇ ｍａｘｚＶ（ｚ）－γ｜｜Ｄ（ｚ）－ｘ｜｜
【0051】
ここでＶ（ｚ）は値予測関数であり、Ｄ（ｚ）は対応する潜在空間変数ｚに適用されるデコーダ関数であり、ｘは特定の入力データ値であり、γは正則化項｜｜Ｄ（ｚ）－ｘ｜｜の影響を制御するための係数である。たとえば、正則化項の影響を制御するためのγ係数は０．１、または０．５、または他の値であり得る。オプティマイザ（Ｏ２）を用いる制約なし最適化の課題のタスクは、所与の入力ｘにより類似しているがより大きなターゲット結果を有する最適サンプルを生成することである。
【0052】
さらなる実施形態において、第３のタイプのオプティマイザ（Ｏ３）は、以下によって定義されるターゲット結果値ｙを与えられたときの局所的最適化を解決する。
ｚｙ ＊＝ａｒｇ ｍｉｎｚ｜｜Ｖ（ｚ）－ｙ｜｜
ｚｙ ＊＝ａｒｇ ｍｉｎｚ｜｜Ｖ（ｚ）－ｙ｜｜
【0053】
ここでＶ（ｚ）は値予測関数であり、ｙは予測された結果値である。オプティマイザ（Ｏ３）を用いるタスクは、ターゲット結果値ｙと一致する最適サンプルを生成するための制約なし最適化の課題である。
【0054】
任意のオプティマイザ（Ｏ１）～（Ｏ３）を用いて最適化の課題を解決した結果として、各潜在空間変数ｚに対して、対応する最適化された潜在変数空間ｚ＊が生成される。
【0055】
図２の続きにおいて、最適化された潜在空間変数ｚ＊は教師付きＶＡＥデコーダ１８５に入力されて、最適化された入力データ変数ｘ＊が生成され、すなわちＤ（ｚ＊）→ｘ＊となり、ここでｘ＊は最終の生成された出力サンプルである。たとえば、解決されるべき予測の課題に対して変数ｘを含む入力ベクトルが与えられるとき、第１および第２の段階の実行後に、最適化された入力変数ｘ＊に対応するベクトルが生成され、すなわち最適化されたターゲット結果ｙをもたらすように算出される。
【0056】
すなわち、最適化された潜在空間入力変数ｚ＊をその後に値予測関数Ｖ（ｚ＊）に入力することによって、予測関数は最適な（最良の）ターゲット出力値ｙを生成することとなる。
【0057】
図３は、図２の２段階フレームワーク２００において実装される方法を示す。第１のステップ３０２において、データ摂取モジュールは、解決されるべき課題に関する入力データを受信して、その入力データをＶＡＥエンコーダ・モジュール１７０によって使用される形態にするための任意のデータ・フォーマット化を行う。解決されるべき非限定的な課題の例はヘルスケア・ドメインにあり、具体的には、たとえばユーザ指定のターゲット結果データｙである患者当たりの労働費コストを最小化するような方式でリソース利用データｘを最適化することに関する課題である。入力データは、たとえば１００の病院などのいくつかの病院からのデータを含み得る。各病院は、入力データｘおよびｙの入力対を提供する。
【0058】
たとえば、図４に示されるとおり、たとえば病院などのヘルスケア・プロバイダを考えるとき、病院はたとえばベッド数、看護師の数、または何らかのその他のリソースなどの自身のリソースをいくらか利用する。それらのリソースの構成が異なると、異なる病院パフォーマンスがもたらされるだろう。よって解決されるべき課題は、病院が最良のパフォーマンスを得られるようにそれらのリソースの利用をいかに最適化するかということになるだろう。
【0059】
よってある実施形態において、本発明のシステム１００のタスクは、病院の労働費を最小化する最良の病院リソース利用を伴う最適サンプル空間を生成することである。
【0060】
図４は、病院の経費に寄与する関連リソース利用属性データ４０２（すなわち、ｘは現実世界のデータである）を含む各病院からのデータ入力を示す表４００を示す。この例において、システムが入力として受信するのは、たとえば１００の病院などのいくつかの病院における病院リソース使用に関するデータである。ある実施形態において、各病院に対する現実世界の入力データ４０２は２０次元のデータ・ベクトルであり、各次元は、図４の表に示されるそれぞれの行４０１として示される病院リソース利用属性に対応する。各病院からのこうしたデータ４０２は文字タイプ・データ４０５を含んでもよく、これはたとえば、病院が８０％以上のフル・タイムの立場の職員を有するかどうか、患者がケース・マネージャを有するかどうか、病院がティーチング・ホスピタルであるかどうか、または担当看護師が５０％以上の時間にわたり臨床患者ケアを提供するかなどを示す値「１」または「０」を有するバイナリ・データなどである。各病院からのこうしたデータ４０２は数値タイプ・データ４０８を含んでもよく、これはたとえば、勤務時間のパーセンテージとしての残業時間の数値、平均賃金指数（ａｖｅｒａｇｅ ｗａｇｅ ｉｎｄｅｘ）、病院ケース混合指数値、ベッド・キャパシティ、等価平均入院期間値、等価患者日当たりの支払い時間に関する値、または等価患者日当たりの労働費などである。病院リソース利用属性の１つが行４１０に示されており、これは最適化（最小化）されることが意図されるターゲット結果値４２０、すなわち等価患者日当たりの労働費に対応する。
【0061】
ある実施形態において、各々の入力データ属性値４０２に対して、各病院からの入力データに基づいて、対応するたとえば中央値４１１および平均値４１３などの統計値が計算される。たとえば、１００病院の各々の現実世界の入力データ・ベクトルから、「ベッド・キャパシティ」属性４１５の中央値が２４であることが決定されてもよい。各病院からのデータは、たとえば図４の病院リソース利用の例において示される２０次元ベクトルなどのｍ次元ベクトルとして入力されてもよい。学習段階の間に、システムは入力データｘの分布を学習する。
【0062】
図３に戻ると、ステップ３０２において、ユーザはさらに、解決されるべき課題に対するターゲット結果ｙを指定する。学習段階の間に、システムは入力データｘとｙとの関係を学習する。図４の例において、課題例のターゲット結果は、行４１０における属性を最適化すること、たとえば病院の労働費を最小化することである。よって、病院リソース利用の例における図３の方法は、病院労働費（すなわち、値予測関数Ｖ（ｚ＊）によって生成されるｙ＊）を最小化する最適サンプルｘ＊を決定するという課題を解決するためのものである。
【0063】
図３の３０４に進むと、たとえば各病院からの２０次元データ・ベクトルなどの受信された入力データに対してＶＡＥエンコーダ・モジュール１７０関数（Ｅ）を実行して、３０７において潜在サンプル空間変数の潜在サンプル空間ｚを生成するための動作が行われる。タスクおよび入力データ・タイプに依存して、エンコーダ・モデル関数Ｅ（）（および同様にＤ（）および予測Ｖ（）関数）はＭＬＰ、ＣＮＮ、またはＲＮＮのいずれか１つであり得る。たとえば、病院リソース利用の例における２０次元データ・ベクトルなどの入力データの構造タイプは、ＭＬＰモデル・タイプ・エンコーダ／デコーダを用いて処理される。
【0064】
代替的に、画像タイプの入力データはＣＮＮモデル・タイプ・エンコーダ／デコーダを使用することとなり、ここで入力データｘは写真の画素データであり、ターゲット結果ｙは写真のスコア（例、美しさ）であり得る。
【0065】
代替的に、時系列または連続的な入力データはＲＮＮモデル・タイプ・エンコーダ／デコーダを使用することとなる。たとえば、教育ドメインの使用ケースの例において、小学校の教師は、彼／彼女の生徒に１００点のモデル作文を見せるために作文を最適化する必要がある。こうした使用ケースにおいて、作文は最適化する必要があるものであり、作文スコアはターゲット結果（１００点（スコア）の作文）である。多くの作文データを取り込み、作文とスコアとの関係を考慮すると、１００点のスコアを与える最適作文を生成できる。入力ｘ＊は１００点の作文スコアを生じる作文となるだろう。この入力データｘは連続する単語であり、連続的なデータを構成するため、構造タイプのデータとは異なるだろう。
【0066】
ある実施形態において、こうしたエンコーダは、入力サンプルｘの次元を低減させることとなる。たとえば、ＭＬＰモデル・タイプ・エンコーダ関数を用いると、エンコーダ処理の出力は［２０ｘ５］に従って入力次元を変換し、すなわち病院の例における２０次元データ・ベクトルを５次元ベクトル出力に低減させる。教師付きトレーニングを用いて、損失関数を最小化して初期パラメータを調整することで入力ｘデータをより良好に再構成し、かつターゲット結果値ｙをより良好に予測することによって誘導されるとおりに反復を行った後に、最適エンコーダ／デコーダ・モデルが学習される。
【0067】
よって、３１０で、並行動作において、潜在サンプル空間属性ｚがＶＡＥデコーダ・モジュール関数（Ｄ）に入力され、これは３１６において出力再構成入力サンプルｘを得るために実行される。３１０において、潜在サンプル空間属性ｚは同時に値予測モデル（Ｖ）に入力され、これは３１６において出力予測値ｙを得るために実行される。デコーダ・モデルは［５ｘ２０］関数を実装して、出力次元が元の入力データｘに対応することを確実にできる。損失関数の最適化（例、最小化）によって、エンコーダ／デコーダ・モデルのパラメータが調整される。所与の例において、値予測モデル（Ｖ）は［５ｘ１］関数を実装して、出力次元が所望のターゲット結果ｙに対応することを確実にできる。
【0068】
図３の３１６において、デコーダ・モデルおよび予測モデルに対するそれぞれの損失関数を用いて、それぞれの誤差値が生成され、それらは次いで３１８において評価される。ある実施形態において、教師付きＶＡＥの損失関数はＥ（ｌｏｇＰ（ｘ｜ｚ））であり、ここでＥ（）は条件付き確率Ｐ（ｘ｜ｚ）の対数の期待値であり、オートエンコーダはｘを入力ｘにより近くなるように再構成するため、この条件付き確率はすなわち、潜在変数ｚを与えられたときのｘｉの条件付き確率である。Ｐ（）関数は、たとえばガウス分布などの任意の特定的な確率分布関数を用いて定義される。ガウス分布が用いられるとき、この損失式は、方程式１）による各データ属性ｉに対する入力データｘを再作成するために最小化されるべき再構成損失関数｜｜Ｄ（Ｅ（ｘｉ））－ｘｉ｜｜に変換される。ある実施形態において、この再構成損失は、連続する特徴および個別の特徴に対する２つの部分に分けられ得る。
【0069】
Ｄ＿ＫＬ（Ｑ（ｚ｜ｘ）｜Ｐ（ｚ））による２つの確率分布（ＱおよびＰ）の相違を最小化するためのさらなる事前損失が計算される。すなわち、後のｚ｜ｘと前のｐ（ｚ）との間の距離を測定するためのＫＬ発散損失関数が計算され、ここでＱ（ｚ｜ｘ）は入力データｘが与えられたときの潜在変数ｚの条件付き分布であり、これはデコーダ・ネットワークに対応し、Ｐ（ｚ）は、たとえば標準ガウス分布などの単一分布に従うものとして取られた潜在変数ｚの事前分布である。入力データｘのオートエンコーダ過剰適合を避けるために、この事前損失項は最小化される。
【0070】
ある実施形態において、Ｅ（ｌｏｇＶ（ｙ｜ｚ））に従って各データ属性ｉに対するラベル予測損失が計算され、ここでＶ（）は確率分布関数であり、Ｖ（ｙ｜ｚ）はｚが与えられたときのｙの確率を示す。この損失項は、ｙ｜ｚと真のｙとの間の平方誤差を算出する教師付き損失である。ｌｏｇＶ（ｙ｜ｚ）の期待値、すなわちＥ（ｌｏｇＶ（ｙ｜ｚ））を最大化することが望まれる。Ｖ（）に特定の分布を導入することによって、方程式１）の予測損失｜｜ｙ－Ｖ（ｚ）｜｜または｜｜ｙ－Ｖ（Ｅ（ｘ））｜｜項が得られる。
【0071】
図３の３１８において、再構成損失および予測ラベル損失が最小化されていないことが決定されるとき、プロセスは図３の３２０に続くことによってＥ（）、Ｄ（）、またはＶ（）モデル・パラメータを調整し、かつ図３の３０４に戻って再びＶＡＥエンコーダ・モデル、デコーダ・モデル、および予測モデルを実行してそれぞれの潜在空間変数ｚ、再構成入力サンプルｘ、およびターゲット予測値ｙを得ることによって繰り返される。誤差損失が過剰適合なしに最小化されるまで、ステップ３０４～３１８が繰り返される。
【0072】
３１８において誤差損失が指定された精度以内に最小化されたとき、プロセスは３２２に続くことによって、サンプルｚ＊が自然に現実世界のサンプルに類似するように、たとえばＳＧＤ、Ａｄａｍ、ＡｄａＧｒａｄなどの最適化アルゴリズムを用いてオートエンコーダが生成したターゲット結果に対する結果的な潜在サンプル空間サンプルｚ＊を最適化するために、オプティマイザ・モジュール１９０を使用する。特に３２２において、その最大値または最小値が見出されるべき最適化目的が定式化される。この最適化目的定式化は、課題特有のものである。図４に示される例示的な病院リソース利用の例に対して、最適化目的は予測関数Ｖ（ｚ）として表される労働費属性４２０であり、最適化の課題は第１のオプティマイザ・タイプによってｍｉｎＶ（ｚ）として定義され、すなわち病院労働費属性を最小化することである。この例において、最適潜在空間変数ｚはｚ＊＝ａｒｇ ｍｉｎＶ（ｚ）と示される。特定の課題に依存して、期待ターゲット結果に対する最適化目的は、次のような他のタイプのオプティマイザを用いて定式化されてもよい。ｚ＊＝ａｒｇ ｍａｘｚＶ（ｚ）もしくはｚｘ
＊＝ａｒｇ ｍａｘｚＶ（ｚ）－γ｜｜Ｄ（ｚ）－ｘ｜｜、または特定のターゲット結果ｙが提供されているときは、ｚｙ
＊＝ａｒｇ ｍｉｎｚ｜｜Ｖ（ｚ）－ｙ｜｜。
【0073】
図４の病院リソース利用の例において、期待ターゲット結果ｙは病院労働費４２０であり、これはｚに従って最小化されるべき変数である。すなわち、最適化変数は潜在変数空間である。よって、最適化目的の第１の部分は変数ｙに関するものであり、３つのタイプの目的関数のうちの１つ、たとえばｚ＊＝ａｒｇ ｍｉｎＶ（ｚ）などを用いて解決される。
【0074】
ある実施形態において、図３の最適潜在サンプル生成段階３２２に対して、最適化目的は以下の方程式２）によって定式化される。
ｍｉｎｚＶ（ｚ）－ｌｏｇＰ（ｚ） （２）
ｍｉｎｚＶ（ｚ）－ｌｏｇＰ（ｚ） （２）
【0075】
ここで第１の部分１）は３つのオプティマイザ・タイプのうちの１つを実装する期待ターゲット結果であり、第２の部分２）は確率正則化項、すなわち潜在特徴ｚ＊の確率である。この第２の正則化項は高確率の結果ｚ＊を確実にし、かつ復号サンプルの存在を確実にする。そうでない場合は、極端なｚ＊が非現実的なサンプルｘ＊をもたらすだろう。変数ｚを正則化することによって、結果ｚ＊の確率が過度に小さくならないことが確実にされる。
【0076】
最後に図３の３２５において、この方法はｚ＊を用いて最終最適サンプルｘ＊を生成して、ターゲット結果ｙ＊を得る。すなわち、デコーダ・モジュール１８０は、ターゲット結果を得るための最終最適サンプルｘ＊を生成するために、最適化された潜在サンプル空間ｚ＊を用いてＶＡＥデコーダ・モデルを実行する。すなわちこのステップにおいて、ｘ＊を得るために、学習段階から得られるデコーダ関数Ｄ（）は次のとおりに実行される。
【0077】
ｘ＊＝Ｄ（ｚ＊）＝Ｄ（ａｒｇ ｍｉｎＶ（ｚ））
【0078】
ターゲット結果ｙ＊は、学習段階から得られる値予測関数Ｖ（）を用いて次の計算をすることによって得られる。
ｙ＊＝Ｖ（Ｅ（ｘ＊））＝Ｖ（ｚ＊））
ｙ＊＝Ｖ（Ｅ（ｘ＊））＝Ｖ（ｚ＊））
【0079】
図４に戻ると、病院リソース利用の例４００に対して、最適化されたターゲット結果ｙ＊４２０は病院の労働費の最小化であり、その値は９５．３３である。すなわち、最適リソース利用データｘ＊を得た後に、このベクトルを用いて、１００の病院において労働費を減少させてコストを減少させるための変更を誘導する。非正規化データ列４２５における値のベクトルは、このターゲット結果を達成するであろう最適サンプルｘ＊である。
【0080】
図４の表の例４００に示されるとおり、最適潜在サンプル空間ｚ＊を構築するための本明細書の方法を実行した結果として、値予測モデルは、正規化最適結果データｘ＊４２３および対応する非正規化最適結果データｘ＊４２５を用いて、最適化されたターゲット結果出力ｙ＊を得るだろう。正規化結果データｘ＊４２３は、入力データの平均値からのｘ＊の偏差、たとえば平均値より大きいこと（正の値）または小さいこと（負の値）などを表す。非正規化最適結果データｘ＊４２５は、病院の労働費を最小化するというターゲット結果を達成するための各属性（行）に対する最良の利用値を表す。よって、特定の病院に対する、元の入力データ・ベクトルｘに基づいて病院の労働費の最小化をもたらし得る列４２５に示されるリソース利用の最良の構成が、１００の病院すべてに対して、その病院における労働費またはコストを最小化するというターゲット結果に基づいて与えられる。図４に示される例４００に基づいて、１００の病院すべてに対する等価患者日当たりのターゲット属性労働費４２０に対する平均値は＄５６４．９である。ある病院に対する等価患者日当たりの労働費４２０を最小化する最適値は＄９５である。ある病院においてこの最適非正規化値ｘ＊を達成するための最良のリソース利用は、列４２５に示されるとおりの病院リソースの構成となるだろう。たとえば、例示的な病院リソース利用の例を用いると、ｘ＊ベクトルは、労働費を減少させるという所望の結果の達成において、ベッド・キャパシティ属性４１５を平均値２４から新たな値３２に増加させるためのガイダンスを提供する。
【0081】
本明細書の実施形態による学習および生成フレームワーク１００は、符号化、復号、予測、および最適化を含む４つのモジュールを包括的に統合するシステムであり、かつ教師付きＶＡＥモデルを利用してできる限り現実的なサンプルを生成する。システム１００は、元の入力データの代わりに潜在特徴に基づく価値予測関数を学習し、これはよりロバストである。さらに、このシステムは制約なし潜在空間における最適化の課題を解決し、元の空間ｘにおける最適化の困難さを回避する。システム１００は柔軟なデータ生成機構を提供し、これはさまざまな種類のターゲット結果仕様にとって好適である。
【0082】
図５は、本発明によるコンピュータ・システムの例を示す。示されるコンピュータ・システムは好適な処理システムの単なる一例であり、本発明の実施形態の使用または機能の範囲に関するいかなる限定を示唆することも意図されていないことが理解されるべきである。たとえば、示されるシステムは、多数の他の汎用目的または特定目的のコンピュータ・システム環境または構成と共に動作してもよい。図５に示されるシステムと共に使用するために好適であり得る周知のコンピュータ・システム、環境、もしくは構成、またはその組み合わせの例は、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セット・トップ・ボックス、プログラマブル家電機器、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、および上記のシステムまたはデバイスのいずれかを含む分散型クラウド・コンピューティング環境などを含んでもよいが、それに限定されない。
【0083】
いくつかの実施形態において、コンピュータ・システムは、そのコンピュータ・システムによって実行される、メモリ１６に記憶されたプログラム・モジュールとして具現化されるコンピュータ・システム実行可能命令の一般的な文脈で記載されてもよい。一般的に、プログラム・モジュールは、本発明に従って特定のタスクを実行するか、あるいは特定の入力データもしくはデータ・タイプまたはその両方を実装するか、あるいはその両方である（例、図３を参照）、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、およびデータ構造などを含んでもよい。
【0084】
コンピュータ・システムのコンポーネントは、１つ以上のプロセッサまたは処理ユニット１２、メモリ１６、およびメモリ１６を含むさまざまなシステム・コンポーネントをプロセッサ１２に動作可能に結合するバス１４を含んでもよいが、それに限定されない。いくつかの実施形態において、プロセッサ１２は、メモリ１６からロードされた１つ以上のモジュール１１を実行してもよく、このプログラム・モジュール（単数または複数）は、本発明の１つ以上の方法実施形態をプロセッサに実行させるソフトウェア（プログラム命令）を具現化する。いくつかの実施形態において、モジュール１１は、メモリ１６、ストレージ・デバイス１８、ネットワーク２４、および／またはその組み合わせからロードされて、プロセッサ１２の集積回路にプログラミングされてもよい。
【0085】
バス１４は、メモリ・バスまたはメモリ・コントローラ、ペリフェラル・バス、アクセラレーテッド・グラフィクス・ポート、およびさまざまなバス・アーキテクチャのいずれかを用いるプロセッサまたはローカル・バスを含むいくつかのタイプのバス構造のいずれか１つ以上を表してもよい。限定ではなく例として、こうしたアーキテクチャは、インダストリ・スタンダード・アーキテクチャ（ＩＳＡ：Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ：Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張ＩＳＡ（ＥＩＳＡ：Ｅｎｈａｎｃｅｄ ＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ：Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカル・バス、およびペリフェラル・コンポーネント・インターコネクト（ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ）バスを含む。
【0086】
コンピュータ・システムは、さまざまなコンピュータ・システム可読媒体を含んでもよい。こうした媒体は、コンピュータ・システムによるアクセスが可能な任意の利用可能な媒体であってもよく、それは揮発性および不揮発性媒体、取り外し可能および取り外し不可能媒体の両方を含んでもよい。
【0087】
メモリ１６（システム・メモリと呼ばれることもある）は、たとえばランダム・アクセス・メモリ（ＲＡＭ）、キャッシュ・メモリ、もしくはその他の形態、またはその組み合わせなどの、揮発性メモリの形態のコンピュータ可読媒体を含み得る。コンピュータ・システムは、その他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ・システム記憶媒体をさらに含んでもよい。単なる例として、ストレージ・システム１８は、取り外し不可能な不揮発性磁気媒体（例、「ハード・ドライブ」）からの読取りおよびそこへの書込みのために提供され得る。示されていないが、取り外し可能な不揮発性磁気ディスク（例、「フレキシブル・ディスク」）からの読取りおよびそこへの書込みのための磁気ディスク・ドライブ、ならびにたとえばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、またはその他の光媒体などの取り外し可能な不揮発性光ディスクからの読取りまたはそこへの書込みのための光ディスク・ドライブが提供され得る。こうした場合に、各々は１つ以上のデータ媒体インターフェースによってバス１４に接続され得る。
【0088】
加えてコンピュータ・システムは、たとえばキーボード、ポインティング・デバイス、ディスプレイ２８などの１つ以上の外部デバイス２６；ユーザがコンピュータ・システムと対話することを可能にする１つ以上のデバイス；もしくはコンピュータ・システムが１つ以上の他のコンピュータ・デバイスと通信することを可能にする任意のデバイス（例、ネットワーク・カード、モデムなど）、またはその組み合わせと通信してもよい。こうした通信は、入力／出力（Ｉ／Ｏ）インターフェース２０を介して起こり得る。
【0089】
さらに、コンピュータ・システムはネットワーク・アダプタ２２を介して、たとえばローカル・エリア・ネットワーク（ＬＡＮ）、一般的な広域ネットワーク（ＷＡＮ）、もしくはパブリック・ネットワーク（例、インターネット）、またはその組み合わせなどの１つ以上のネットワーク２４と通信し得る。示されるとおり、ネットワーク・アダプタ２２は、バス１４を介してコンピュータ・システムのその他のコンポーネントと通信する。示されていないが、このコンピュータ・システムと共に、他のハードウェアもしくはソフトウェア・コンポーネントまたはその両方が使用され得ることが理解されるべきである。その例は、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイバル・ストレージ・システムなどを含むが、それに限定されない。
【0090】
本発明は、任意の可能な技術的詳細レベルの統合におけるシステム、方法、もしくはコンピュータ・プログラム製品、またはその組み合わせであってもよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数の媒体）を含んでもよい。
【0091】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶できる有形デバイスであり得る。コンピュータ可読記憶媒体は、たとえば電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、または前述の任意の好適な組み合わせなどであってもよいが、それに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは以下を含む。ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリ・メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、メモリ・スティック、フレキシブル・ディスク、機械的に符号化されたデバイス、たとえばパンチ・カードまたは記録された命令を有する溝の中の隆起構造体など、および前述の任意の好適な組み合わせ。本明細書において用いられるコンピュータ可読記憶媒体は、たとえば電波もしくはその他の自由に伝播する電磁波、導波路もしくはその他の伝送媒体を通じて伝播する電磁波（例、光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号など、それ自体が一時的な信号であると解釈されるべきではない。
【0092】
本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされ得るか、あるいはたとえばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくはワイヤレス・ネットワーク、またはその組み合わせなどのネットワークを介して外部コンピュータまたは外部ストレージ・デバイスにダウンロードされ得る。ネットワークは銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバ、またはその組み合わせを含んでもよい。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信して、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。
【0093】
本発明の動作を実行するためのコンピュータ可読プログラム命令はアセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路に対する構成データ、または１つ以上のプログラミング言語の任意の組み合わせで書かれたソース・コードもしくはオブジェクト・コードであってもよく、このプログラミング言語はオブジェクト指向プログラミング言語、たとえばＳｍａｌｌｔａｌｋ、またはＣ＋＋など、および手続き型プログラミング言語、たとえば「Ｃ」プログラミング言語または類似のプログラミング言語などを含む。コンピュータ可読プログラム命令は、すべてがユーザのコンピュータで実行されてもよいし、スタンドアロン・ソフトウェア・パッケージとして部分的にユーザのコンピュータで実行されてもよいし、一部がユーザのコンピュータで、一部がリモート・コンピュータで実行されてもよいし、すべてがリモート・コンピュータまたはサーバで実行されてもよい。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよいし、（たとえば、インターネット・サービス・プロバイダを用いてインターネットを通じて）外部コンピュータへの接続が行われてもよい。いくつかの実施形態において、たとえばプログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙｓ）などを含む電子回路は、本発明の態様を行うために電子回路をパーソナライズするためのコンピュータ可読プログラム命令の状態情報を使用することによって、コンピュータ可読プログラム命令を実行してもよい。
【0094】
本明細書においては、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照して、本発明の態様を説明している。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実装され得ることが理解されるだろう。
【0095】
これらのコンピュータ可読プログラム命令は、汎用目的のコンピュータか、特定目的のコンピュータか、またはマシンを生成するためのその他のプログラマブル・データ処理装置のプロセッサに提供されることによって、そのコンピュータまたはその他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートもしくはブロック図またはその両方の単数または複数のブロックにおいて指定される機能／動作を実装するための手段を生じてもよい。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブル・データ処理装置、もしくはその他のデバイス、またはその組み合わせに特定の方式で機能するように指示できるコンピュータ可読記憶媒体にも記憶されることによって、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートもしくはブロック図またはその両方の単数または複数のブロックにおいて指定される機能／動作の態様を実装する命令を含む製造物を含んでもよい。
【0096】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにもロードされて、コンピュータに実装されるプロセスを生成するためにコンピュータ、他のプログラマブル装置、または他のデバイスにおいて一連の動作ステップを行わせることによって、そのコンピュータ、他のプログラマブル装置、または他のデバイスにおいて実行される命令が、フローチャートもしくはブロック図またはその両方の単数または複数のブロックにおいて指定される機能／動作を実装してもよい。
【0097】
図面におけるフローチャートおよびブロック図は、本発明のさまざまな実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示すものである。これに関して、フローチャートまたはブロック図の各ブロックは、命令のモジュール、セグメント、または一部分を表してもよく、これは指定される論理機能（単数または複数）を実装するための１つ以上の実行可能命令を含む。いくつかの代替的実装において、ブロック内に示される機能は、図面に示されるものとは異なる順序で起こってもよい。たとえば、連続して示される２つのブロックは、実際には実質的に同時に実行されてもよく、または関与する機能に依存して、これらのブロックがときには逆の順序で実行されてもよい。加えて、ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能もしくは動作を行うか、または特定目的のハードウェアおよびコンピュータ命令の組み合わせを実行する特定目的のハードウェア・ベースのシステムによって実装され得ることが注目されるだろう。
【0098】
本明細書において用いられる用語は、単に特定の実施形態を説明する目的のためのものであり、本発明を限定することは意図されていない。本明細書において用いられる単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別様を明確に示さない限り複数形も含むことが意図される。この明細書において用いられるときの「含む（ｃｏｍｐｒｉｓｅｓ）」もしくは「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」またはその両方の用語は、記述される特徴、整数、ステップ、動作、エレメント、もしくはコンポーネント、またはその組み合わせの存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、エレメント、コンポーネント、もしくはそのグループ、またはその組み合わせの存在または付加を除外しないことがさらに理解されるだろう。以下の請求項におけるすべての構成要素に対応する構造、材料、動作、および均等物は、特定的に請求される他の請求構成要素と組み合わせてその機能を行うための任意の構造、材料、または動作を含むことが意図される。本発明の説明は例示および説明の目的のために提供されたものであるが、開示される形の本発明に対して網羅的または限定的になることは意図されていない。本発明の範囲および思想から逸脱することなく、当業者には多くの修正および変更が明らかになるだろう。実施形態は、本発明の原理および実際の適用を最もよく説明し、かつ他の当業者が予期される特定の使用に対して好適であるようなさまざまな修正を伴うさまざまな実施形態に対して本発明を理解できるようにするために選択されて記載されたものである。
【0099】
本開示はクラウド・コンピューティングの詳細な説明を含むが、本明細書に記述される教示の実装はクラウド・コンピューティング環境に限定されないことが理解されるべきである。むしろ、本発明の実施形態は、現在公知であるか、または後に開発される任意のその他のタイプのコンピューティング環境と共に実装され得る。
【0100】
クラウド・コンピューティングは、最小限の管理努力またはサービスのプロバイダとの対話によって迅速にプロビジョニングおよびリリースされ得る構成可能なコンピューティング・リソース（例、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンド・ネットワーク・アクセスを可能にするためのサービス配信のモデルである。このクラウド・モデルは少なくとも５つの特性と、少なくとも３つのサービス・モデルと、少なくとも４つの展開モデルとを含んでもよい。
【0101】
特性は次のとおりである。
【0102】
オンデマンド・セルフサービス。クラウド消費者は、たとえばサーバ時間およびネットワーク・ストレージなどのコンピューティング機能を、必要に応じて自動的に、サービスのプロバイダとの人的対話を必要とせずに一方的にプロビジョニングできる。
【0103】
広範なネットワーク・アクセス。機能はネットワークを通じて利用可能であり、さまざまなシンまたはシック・クライアント・プラットフォーム（例、携帯電話、ラップトップ、およびＰＤＡ）による使用を促進する標準的な機構を通じてアクセスされる。
【0104】
リソース・プール。マルチテナント・モデルを用いて複数の消費者にサービスするために、プロバイダのコンピューティング・リソースはプールされ、要求に従って異なる物理および仮想リソースが動的に割り当ておよび再割り当てされる。消費者は一般的に、提供されるリソースの正確な場所に対する制御も知識も有さないが、より高い抽象化レベルにおける場所（例、国、州、またはデータセンタ）を特定できてもよいという点で、場所独立性の意味が存在する。
【0105】
迅速な弾力性。機能は、素早くスケール・アウトするために場合によっては自動的に、迅速かつ弾力的にプロビジョニングされ、かつ素早くスケール・インするために迅速にリリースされ得る。消費者にとって、プロビジョニングのために利用可能な機能はしばしば無制限にみえ、任意のときに任意の量を購入できる。
【0106】
従量制サービス。クラウド・システムは、サービスのタイプ（例、ストレージ、処理、帯域幅、およびアクティブ・ユーザ・アカウント）に対して適切な何らかの抽象化レベルにおいて計測機能を利用することによって、リソースの使用を自動的に制御および最適化する。リソースの使用をモニタ、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に対する透明性を提供できる。
【0107】
サービス・モデルは次のとおりである。
【0108】
サービスとしてのソフトウェア（ＳａａＳ：Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）。消費者に提供される機能は、クラウド・インフラストラクチャにおいて動作するプロバイダのアプリケーションの使用である。アプリケーションは、さまざまなクライアント・デバイスからたとえばウェブ・ブラウザ（例、ウェブ・ベースのｅメール）などのシン・クライアント・インターフェースを通じてアクセス可能である。消費者はネットワーク、サーバ、オペレーティング・システム、ストレージ、または個々のアプリケーション機能さえも含む基礎的なクラウド・インフラストラクチャを管理または制御することはなく、例外となり得るのは限られたユーザ特有のアプリケーション構成設定である。
【0109】
サービスとしてのプラットフォーム（ＰａａＳ：Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ）。消費者に提供される機能は、プロバイダによってサポートされるプログラミング言語およびツールを用いて作成された、消費者が作成または取得したアプリケーションのクラウド・インフラストラクチャへの展開である。消費者はネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基礎的なクラウド・インフラストラクチャを管理または制御することはないが、展開されたアプリケーションおよび場合によってはアプリケーション・ホスティング環境構成に対する制御を有する。
【0110】
サービスとしてのインフラストラクチャ（ＩａａＳ：Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）。消費者に提供される機能は、オペレーティング・システムおよびアプリケーションを含み得る、消費者が任意のソフトウェアを展開および実行することが可能な処理、ストレージ、ネットワーク、およびその他の基本的なコンピューティング・リソースのプロビジョニングである。消費者は基礎的なクラウド・インフラストラクチャを管理または制御することはないが、オペレーティング・システム、ストレージ、展開されたアプリケーションに対する制御、および場合によってはネットワーク形成コンポーネント（例、ホスト・ファイアウォール）の選択に対する限られた制御を有する。
【0111】
展開モデルは次のとおりである。
【0112】
プライベート・クラウド。このクラウド・インフラストラクチャは、ある組織に対してのみ操作される。これはその組織またはサード・パーティによって管理されてもよく、オンプレミスまたはオフプレミスに存在してもよい。
【0113】
コミュニティ・クラウド。このクラウド・インフラストラクチャは複数の組織によって共有され、共通する関心事項（例、任務、セキュリティ要件、ポリシー、およびコンプライアンスの検討）を有する特定のコミュニティをサポートする。これはそれらの組織またはサード・パーティによって管理されてもよく、オンプレミスまたはオフプレミスに存在してもよい。
【0114】
パブリック・クラウド。このクラウド・インフラストラクチャは、一般人または大規模な産業グループに対して利用可能にされ、クラウド・サービスを販売する組織が所有している。
【0115】
ハイブリッド・クラウド。このクラウド・インフラストラクチャは２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合体であり、それらのクラウドは独自のエンティティに留まるが、データおよびアプリケーション・ポータビリティを可能にする標準または独自の技術（例、クラウド間のロード・バランシングのためのクラウド・バースティング）によって共に結合される。
【0116】
クラウド・コンピューティング環境はサービス指向型であり、ステートレス性、低結合性、モジュラリティ、およびセマンティックな相互運用性に焦点を合わせている。クラウド・コンピューティングの中心には、相互接続されたノードのネットワークを含むインフラストラクチャがある。
【0117】
ここで図６を参照すると、例示的なクラウド・コンピューティング環境５０が示されている。示されるとおり、クラウド・コンピューティング環境５０は１つ以上のクラウド・コンピューティング・ノード１０を含み、たとえばパーソナル・デジタル・アシスタント（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）もしくは携帯電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または自動車のコンピュータ・システム５４Ｎ、あるいはその組み合わせなどの、クラウド消費者によって用いられるローカル・コンピュータ・デバイスが、このクラウド・コンピューティング・ノード１０によって通信してもよい。ノード１０は互いに通信してもよい。これらのノードは、たとえば上述したプライベート、コミュニティ、パブリック、もしくはハイブリッド・クラウド、またはその組み合わせなどの１つ以上のネットワークにおいて、物理的または仮想的にグループ化（図示せず）されてもよい。このことは、クラウド・コンピューティング環境５０がインフラストラクチャ、プラットフォーム、もしくはソフトウェア、またはその組み合わせを、クラウド消費者がそれに対するリソースをローカル・コンピュータ・デバイスにおいて維持する必要のないサービスとして提供することを可能にする。図６に示されるコンピュータ・デバイス５４Ａ～Ｎのタイプは単なる例示であることが意図されており、コンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、任意のタイプのネットワークもしくはネットワーク・アドレス可能接続（例、ウェブ・ブラウザを使用するもの）またはその両方を通じて、任意のタイプのコンピュータ・デバイスと通信できることが理解される。
【0118】
ここで図７を参照すると、クラウド・コンピューティング環境５０（図６）によって提供される機能的抽象化レイヤのセットが示されている。図７に示されるコンポーネント、レイヤ、および機能は単なる例示であることが意図されており、本発明の実施形態はそれらに限定されないことが予め理解されるべきである。示されるとおり、以下のレイヤおよび対応する機能が提供される。
【0119】
ハードウェアおよびソフトウェア・レイヤ６０は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム６１、ＲＩＳＣ（縮小命令セット・コンピュータ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ））アーキテクチャ・ベースのサーバ６２、サーバ６３、ブレード・サーバ６４、ストレージ・デバイス６５、ならびにネットワークおよびネットワーク形成コンポーネント６６を含む。いくつかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア６７およびデータベース・ソフトウェア６８を含む。
【0120】
仮想化レイヤ７０は抽象化レイヤを提供し、この抽象化レイヤから仮想エンティティの以下の例が提供されてもよい。仮想サーバ７１、仮想ストレージ７２、仮想プライベート・ネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティング・システム７４、ならびに仮想クライアント７５。
【0121】
一例において、管理レイヤ８０は以下に記載される機能を提供してもよい。リソース・プロビジョニング８１は、クラウド・コンピューティング環境内でタスクを行うために使用されるコンピューティング・リソースおよびその他のリソースの動的調達を提供する。計測および価格決定８２は、クラウド・コンピューティング環境内でリソースが使用される際のコスト追跡と、これらのリソースの消費に対する課金またはインボイス作成を提供する。一例において、これらのリソースはアプリケーション・ソフトウェア・ライセンスを含んでもよい。セキュリティは、クラウド消費者およびタスクに対するアイデンティティ検証、ならびにデータおよびその他のリソースの保護を提供する。ユーザ・ポータル８３は、消費者およびシステム管理者に対するクラウド・コンピューティング環境へのアクセスを提供する。サービス・レベル管理８４は、要求されるサービス・レベルが満たされるようにクラウド・コンピューティング・リソースの割り当ておよび管理を提供する。サービス・レベル・アグリーメント（ＳＬＡ：Ｓｅｒｖｉｃｅ Ｌｅｖｅｌ Ａｇｒｅｅｍｅｎｔ）計画および実現８５は、ＳＬＡによって将来の要求が予測されるクラウド・コンピューティング・リソースに対する事前の取り決めおよびその調達を提供する。
【0122】
ワークロード・レイヤ９０は、クラウド・コンピューティング環境が使用され得る機能の例を提供する。このレイヤから提供され得るワークロードおよび機能の例は、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室の教育配信９３、データ分析処理９４、トランザクション処理９５、および本開示の態様によるターゲット結果に対する最適サンプルを自動的に生成するための処理９６を含む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-09-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
教師付き変分オートエンコーダ（ＶＡＥ）のエンコーダ・モデルを用いて、潜在特徴空間における入力データの潜在特徴表現を生成することと、前記入力データの前記潜在特徴表現を用いて前記入力データを再構成することを学習するためにＶＡＥデコーダ・モデルを受信することと、
前記入力データの前記潜在特徴表現を用いて前記入力データとターゲット結果との関係を学習するために値予測モデルを受信することと、
前記ＶＡＥデコーダ・モデルおよび前記値予測モデルを同時にトレーニングすることと、
トレーニング済の前記値予測モデルを用いて、前記入力データの前記潜在特徴空間表現を最適化することと、
トレーニング済の前記ＶＡＥデコーダ・モデルにおいて、前記入力データの前記最適化された潜在特徴空間表現を受信することと、
前記入力データの前記最適化された潜在特徴空間表現に基づいて前記ターゲット結果を得るための前記入力データの最適サンプルを生成するために、前記トレーニング済のＶＡＥデコーダ・モデルを実行することと
を含む、コンピュータ実施方法。
【請求項2】
前記ＶＡＥエンコーダ・モデル、前記ＶＡＥデコーダ・モデル、および前記値予測モデルが、畳み込みニューラル・ネットワーク（ＣＮＮ）、再帰型ニューラル・ネットワーク（ＲＮＮ）、または多層パーセプトロン（ＭＬＰ）からなる群からそれぞれ選択される機械学習済ディープ・ニューラル・ネットワーク・モデルを含む、請求項１に記載のコンピュータ実施方法。
【請求項3】
前記ＶＡＥデコーダ・モデルおよび前記値予測モデルを前記同時にトレーニングすることによって、前記ＶＡＥデコーダ・モデルのトレーニングに用いるための再構成誤差損失成分と、前記値予測モデルの前記トレーニングに用いるためのラベル予測誤差損失成分とを含む損失関数を最適化する、請求項１に記載のコンピュータ実施方法。
【請求項4】
前記入力データの前記潜在特徴空間表現を前記最適化することが、制約なし潜在空間における最適化の課題を解決することを含む、請求項１に記載のコンピュータ実施方法。
【請求項5】
前記最適化の課題が、最大のターゲット結果値を生成する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための大域的最適化である、請求項４に記載のコンピュータ実施方法。
【請求項6】
前記最適化の課題が、前記ターゲット結果値と一致する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための局所的最適化である、請求項４に記載のコンピュータ実施方法。
【請求項7】
前記最適化の課題が、所与の前記入力データに類似しているがより大きなターゲット結果を有する最適サンプルを見出すための特定の入力データを与えられたときの局所的最適化である、請求項４に記載のコンピュータ実施方法。
【請求項8】
前記最適化の課題が、前記潜在特徴空間表現の確率を最適化するための確率正則化成分を含む、請求項４に記載のコンピュータ実施方法。
【請求項9】
メモリ・ストレージ・デバイスと、前記メモリ・ストレージ・デバイスに結合された少なくとも１つのプロセッサと
を含み、前記プロセッサが、
教師付き変分オートエンコーダ（ＶＡＥ）のエンコーダ・モデルを用いて、潜在特徴空間における入力データの潜在特徴表現を生成することと、
前記入力データの前記潜在特徴表現を用いて前記入力データを再構成することを学習するためにＶＡＥデコーダ・モデルを受信することと、
前記入力データの前記潜在特徴表現を用いて前記入力データとターゲット結果との関係を学習するために値予測モデルを受信することと、
前記ＶＡＥデコーダ・モデルおよび前記値予測モデルを同時にトレーニングすることと、
トレーニング済の前記値予測モデルを用いて、前記入力データの前記潜在特徴空間表現を最適化することと、
トレーニング済の前記ＶＡＥデコーダ・モデルにおいて、前記入力データの前記最適化された潜在特徴空間表現を受信することと、
前記入力データの前記最適化された潜在特徴空間表現に基づいて前記ターゲット結果を得るための前記入力データの最適サンプルを生成するために、前記トレーニング済のＶＡＥデコーダ・モデルを実行することと
を行うように構成された、コンピュータ・システム。
【請求項10】
前記ＶＡＥエンコーダ・モデル、前記ＶＡＥデコーダ・モデル、および前記値予測モデルが、畳み込みニューラル・ネットワーク（ＣＮＮ）、再帰型ニューラル・ネットワーク（ＲＮＮ）、または多層パーセプトロン（ＭＬＰ）からなる群からそれぞれ選択される機械学習済ディープ・ニューラル・ネットワーク・モデルを含む、請求項９に記載のコンピュータ・システム。
【請求項11】
前記ＶＡＥデコーダ・モデルおよび前記値予測モデルを同時にトレーニングするために、前記少なくとも１つのプロセッサが、前記ＶＡＥデコーダ・モデルのトレーニングに用いるための再構成誤差損失成分と、前記値予測モデルの前記トレーニングに用いるためのラベル予測誤差損失成分とを含む損失関数を最適化するようにさらに構成される、請求項９に記載のコンピュータ・システム。
【請求項12】
前記入力データの前記潜在特徴空間表現を前記最適化することが、制約なし潜在空間における最適化の課題を解決することを含む、請求項９に記載のコンピュータ・システム。
【請求項13】
前記最適化の課題が、最大のターゲット結果値を生成する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための大域的最適化である、請求項１２に記載のコンピュータ・システム。
【請求項14】
前記最適化の課題が、前記ターゲット結果値と一致する前記入力データ・サンプルの前記最適化された潜在特徴空間表現を見出すための局所的最適化である、請求項１２に記載のコンピュータ・システム。
【請求項15】
前記最適化の課題が、所与の前記入力データに類似しているがより大きなターゲット結果を有する最適サンプルを見出すための特定の入力データを与えられたときの局所的最適化である、請求項１２に記載のコンピュータ・システム。
【請求項16】
前記最適化の課題が、前記潜在特徴空間表現の確率を最適化するための確率正則化成分を含む、請求項１２に記載のコンピュータ実施方法。
【請求項17】
少なくとも１つのプロセッサに、請求項１ないし８のいずれかに記載の方法を実行させるためのコンピュータ・プログラム。
【国際調査報告】