ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ ソニー株式会社の特許一覧 ▶ ソニー コーポレイション オブ アメリカの特許一覧
特開2024-12131オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012131
(43)【公開日】2024-01-25
(54)【発明の名称】オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成
(51)【国際特許分類】
G06N 3/08 20230101AFI20240118BHJP
G06N 3/0455 20230101ALI20240118BHJP
G06N 3/0475 20230101ALI20240118BHJP
【ＦＩ】
G06N3/08
G06N3/0455
G06N3/0475
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023111286
(22)【出願日】2023-07-06
(31)【優先権主張番号】63/368,264
(32)【優先日】2022-07-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/177,084
(32)【優先日】2023-03-01
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．ＢＬＵＥＴＯＯＴＨ
３．ＷＣＤＭＡ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(71)【出願人】
【識別番号】504257564
【氏名又は名称】ソニー コーポレイション オブ アメリカ
(74)【代理人】
【識別番号】100092093
【弁理士】
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(72)【発明者】
【氏名】マルズィエ エドラキ
(72)【発明者】
【氏名】中村 章
(57)【要約】 （修正有）
【課題】オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための電子装置及び方法を提供する。
【解決手段】ネットワーク環境１００において、第１の画像セットを含む第１の訓練データに基づいて、エンコーダモデル、学習済みコードブック、生成器モデル及び識別器モデルを含むオートエンコーダモデル並びにトランスフォーマモデルを微調整する電子装置は、第１の訓練データから画像サブセットを選択し、選択された画像サブセットにエンコーダモデルを適用し、エンコーダモデルの適用に基づいて、第２の画像セットを含む第２の訓練データを生成し、生成した第２の訓練データに基づいてオートエンコーダモデルの次世代を作成するようにオートエンコーダモデルを事前訓練する。生成された第２の訓練データは、選択された画像サブセットの量子化潜在表現に対応する。
【選択図】図１
【解決手段】ネットワーク環境１００において、第１の画像セットを含む第１の訓練データに基づいて、エンコーダモデル、学習済みコードブック、生成器モデル及び識別器モデルを含むオートエンコーダモデル並びにトランスフォーマモデルを微調整する電子装置は、第１の訓練データから画像サブセットを選択し、選択された画像サブセットにエンコーダモデルを適用し、エンコーダモデルの適用に基づいて、第２の画像セットを含む第２の訓練データを生成し、生成した第２の訓練データに基づいてオートエンコーダモデルの次世代を作成するようにオートエンコーダモデルを事前訓練する。生成された第２の訓練データは、選択された画像サブセットの量子化潜在表現に対応する。
【選択図】図１
【特許請求の範囲】
【請求項1】
回路を備えた電子装置であって、前記回路は、
第１の画像セットを含む第１の訓練データに基づいて、オートエンコーダモデルと、該オートエンコーダモデルに関連するトランスフォーマモデルとを微調整することであって、前記オートエンコーダモデルは、エンコーダモデルと、前記トランスフォーマモデルに関連する学習済みコードブックと、生成器モデルと、識別器モデルとを含む、ことと、
前記第１の訓練データから画像サブセットを選択することと、
前記学習済みコードブックに基づいて、前記選択された画像サブセットに前記エンコーダモデルを適用して符号化画像サブセットを決定することと、
前記エンコーダモデルの適用に基づいて、前記選択された画像サブセットの量子化潜在表現に対応する、第２の画像セットを含む第２の訓練データを生成することと、
前記生成された第２の訓練データに基づいて前記オートエンコーダモデルの次世代を作成するように前記オートエンコーダモデルを事前訓練することと、
を行うように構成される、
ことを特徴とする電子装置。
第１の画像セットを含む第１の訓練データに基づいて、オートエンコーダモデルと、該オートエンコーダモデルに関連するトランスフォーマモデルとを微調整することであって、前記オートエンコーダモデルは、エンコーダモデルと、前記トランスフォーマモデルに関連する学習済みコードブックと、生成器モデルと、識別器モデルとを含む、ことと、
前記第１の訓練データから画像サブセットを選択することと、
前記学習済みコードブックに基づいて、前記選択された画像サブセットに前記エンコーダモデルを適用して符号化画像サブセットを決定することと、
前記エンコーダモデルの適用に基づいて、前記選択された画像サブセットの量子化潜在表現に対応する、第２の画像セットを含む第２の訓練データを生成することと、
前記生成された第２の訓練データに基づいて前記オートエンコーダモデルの次世代を作成するように前記オートエンコーダモデルを事前訓練することと、
を行うように構成される、
ことを特徴とする電子装置。
【請求項2】
前記回路は、
前記トランスフォーマモデルを適用して、新たな合成画像の各々のトークン列を該トークン列の開始に基づいて予測し、
前記学習済みコードブックに基づいて、前記予測されたトークン列を量子化潜在表現に変換し、
前記量子化潜在表現に前記生成器モデルを適用して新たな合成画像を生成し、
前記生成された新たな合成画像に対応する第３の画像セットを含む第３の訓練データを生成し、
前記生成された第３の訓練データに基づいて、前記トランスフォーマモデルの次世代を作成するように前記トランスフォーマモデルを事前訓練する、
ようにさらに構成される、請求項１に記載の電子装置。
前記トランスフォーマモデルを適用して、新たな合成画像の各々のトークン列を該トークン列の開始に基づいて予測し、
前記学習済みコードブックに基づいて、前記予測されたトークン列を量子化潜在表現に変換し、
前記量子化潜在表現に前記生成器モデルを適用して新たな合成画像を生成し、
前記生成された新たな合成画像に対応する第３の画像セットを含む第３の訓練データを生成し、
前記生成された第３の訓練データに基づいて、前記トランスフォーマモデルの次世代を作成するように前記トランスフォーマモデルを事前訓練する、
ようにさらに構成される、請求項１に記載の電子装置。
【請求項3】
前記予測されたトークン列は、前記学習済みコードブックからのインデックス列に対応する、
請求項２に記載の電子装置。
請求項２に記載の電子装置。
【請求項4】
前記オートエンコーダモデル及び前記トランスフォーマモデルの微調整、並びに前記オートエンコーダモデルの事前訓練は、反復学習モデル（ＩＬＭ）に対応する、
請求項１に記載の電子装置。
請求項１に記載の電子装置。
【請求項5】
前記オートエンコーダモデルは、ベクトル量子化敵対的生成ネットワーク（ＶＱＧＡＮ）に基づく畳み込みニューラルネットワーク（ＣＮＮ）モデルに対応する、
請求項１に記載の電子装置。
請求項１に記載の電子装置。
【請求項6】
前記回路は、前記選択された画像サブセットに対する前記エンコーダモデルの適用に基づいて、前記選択された画像サブセットを画像空間から信号空間にマッピングするようにさらに構成される、
請求項１に記載の電子装置。
請求項１に記載の電子装置。
【請求項7】
前記信号空間は、前記学習済みコードブックに対応する、
請求項６に記載の電子装置。
請求項６に記載の電子装置。
【請求項8】
前記選択された画像サブセットの前記量子化潜在表現は、前記選択された画像サブセットに関連する多次元コードベクトルセットの各ベクトルを前記学習済みコードブックからの最も近いエントリに置き換えることに基づいて決定される、
請求項７に記載の電子装置。
請求項７に記載の電子装置。
【請求項9】
前記回路は、
前記エンコーダモデル、前記学習済みコードブック及び前記生成器モデルに関連する第１の損失関数を決定し、
前記オートエンコーダモデルに関連する第２の損失関数を決定し、
前記エンコーダモデルに関連する第３の損失関数を決定する、
ようにさらに構成され、前記オートエンコーダモデルの事前訓練は、前記決定された第１の損失関数、前記決定された第２の損失関数、及び前記決定された第３の損失関数にさらに基づく、
請求項１に記載の電子装置。
前記エンコーダモデル、前記学習済みコードブック及び前記生成器モデルに関連する第１の損失関数を決定し、
前記オートエンコーダモデルに関連する第２の損失関数を決定し、
前記エンコーダモデルに関連する第３の損失関数を決定する、
ようにさらに構成され、前記オートエンコーダモデルの事前訓練は、前記決定された第１の損失関数、前記決定された第２の損失関数、及び前記決定された第３の損失関数にさらに基づく、
請求項１に記載の電子装置。
【請求項10】
前記第３の損失関数の決定は、前記学習済みコードブックに対する、前記オートエンコーダモデルの次世代のエンコーダモデルに関連する第２のノルムに基づく、
請求項９に記載の電子装置。
請求項９に記載の電子装置。
【請求項11】
回路を備えた電子装置であって、前記回路は、
第１の画像セットを含む第１の訓練データに基づいて、エンコーダモデルと、トランスフォーマモデルに関連する学習済みコードブックと、生成器モデルと、識別器モデルとを含むオートエンコーダモデルを微調整し、
前記学習済みコードブックに基づいて前記第１の画像セットに前記エンコーダモデルを適用して、前記第１の画像セットの量子化潜在表現に対応する第１の符号化画像セットを決定し、
前記第１の訓練データからの画像サブセット、及び該画像サブセットの量子化潜在表現に基づいて、第２の画像データセットを含む第２の訓練データを生成し、
前記生成された第２の訓練データに基づいて、前記オートエンコーダモデルの次世代を作成するように前記オートエンコーダモデルを事前訓練し、
前記オートエンコーダモデルの最終世代に基づいて前記トランスフォーマモデルを微調整する、
ように構成される、
ことを特徴とする電子装置。
第１の画像セットを含む第１の訓練データに基づいて、エンコーダモデルと、トランスフォーマモデルに関連する学習済みコードブックと、生成器モデルと、識別器モデルとを含むオートエンコーダモデルを微調整し、
前記学習済みコードブックに基づいて前記第１の画像セットに前記エンコーダモデルを適用して、前記第１の画像セットの量子化潜在表現に対応する第１の符号化画像セットを決定し、
前記第１の訓練データからの画像サブセット、及び該画像サブセットの量子化潜在表現に基づいて、第２の画像データセットを含む第２の訓練データを生成し、
前記生成された第２の訓練データに基づいて、前記オートエンコーダモデルの次世代を作成するように前記オートエンコーダモデルを事前訓練し、
前記オートエンコーダモデルの最終世代に基づいて前記トランスフォーマモデルを微調整する、
ように構成される、
ことを特徴とする電子装置。
【請求項12】
前記オートエンコーダモデルの微調整、前記オートエンコーダの事前訓練、及び前記トランスフォーマモデルの微調整は、反復学習モデル（ＩＬＭ）に対応する、
請求項１１に記載の電子装置。
請求項１１に記載の電子装置。
【請求項13】
前記オートエンコーダモデルは、ベクトル量子化敵対的生成ネットワーク（ＶＱＧＡＮ）に基づく畳み込みニューラルネットワーク（ＣＮＮ）モデルに対応する、
請求項１１に記載の電子装置。
請求項１１に記載の電子装置。
【請求項14】
前記回路は、前記第１の画像セットに対する前記エンコーダモデルの適用に基づいて、前記第１の画像セットを画像空間から信号空間にマッピングするようにさらに構成される、
請求項１１に記載の電子装置。
請求項１１に記載の電子装置。
【請求項15】
前記信号空間は、前記学習済みコードブックに対応する、
請求項１４に記載の電子装置。
請求項１４に記載の電子装置。
【請求項16】
前記第１の画像セットの前記量子化潜在表現は、前記第１の画像セットに関連する多次元コードベクトルセットの各ベクトルを前記学習済みコードブックからの最も近いエントリに置き換えることに基づいて決定される、
請求項１５に記載の電子装置。
請求項１５に記載の電子装置。
【請求項17】
回路を備えた電子装置であって、前記回路は、
第１の画像セットを含む第１の訓練データに基づいて、オートエンコーダモデルと、該オートエンコーダモデルに関連するトランスフォーマモデルとを微調整することであって、前記オートエンコーダモデルは、エンコーダモデルと、前記トランスフォーマモデルに関連する学習済みコードブックと、生成器モデルと、識別器モデルとを含む、ことと、
前記トランスフォーマモデルを適用して、新たな合成画像の各々のトークン列を該トークン列の開始位置に基づいて予測することと、
前記学習済みコードブックに基づいて、前記予測されたトークン列を量子化潜在表現に変換することと、
前記量子化潜在表現に前記生成器モデルを適用して新たな合成画像を生成することと、
前記生成された新たな合成画像に対応する第３の画像セットを含む第３の訓練データを生成することと、
前記生成された第３の訓練データに基づいて、前記トランスフォーマモデルの次世代を作成するように前記トランスフォーマモデルを事前訓練することと、
を行うように構成される、
ことを特徴とする電子装置。
第１の画像セットを含む第１の訓練データに基づいて、オートエンコーダモデルと、該オートエンコーダモデルに関連するトランスフォーマモデルとを微調整することであって、前記オートエンコーダモデルは、エンコーダモデルと、前記トランスフォーマモデルに関連する学習済みコードブックと、生成器モデルと、識別器モデルとを含む、ことと、
前記トランスフォーマモデルを適用して、新たな合成画像の各々のトークン列を該トークン列の開始位置に基づいて予測することと、
前記学習済みコードブックに基づいて、前記予測されたトークン列を量子化潜在表現に変換することと、
前記量子化潜在表現に前記生成器モデルを適用して新たな合成画像を生成することと、
前記生成された新たな合成画像に対応する第３の画像セットを含む第３の訓練データを生成することと、
前記生成された第３の訓練データに基づいて、前記トランスフォーマモデルの次世代を作成するように前記トランスフォーマモデルを事前訓練することと、
を行うように構成される、
ことを特徴とする電子装置。
【請求項18】
前記オートエンコーダモデル及び前記トランスフォーマモデルの微調整、並びに前記オートエンコーダモデルの事前訓練は、反復学習モデル（ＩＬＭ）に対応する、
請求項１７に記載の電子装置。
請求項１７に記載の電子装置。
【請求項19】
電子装置において、
第１の画像セットを含む第１の訓練データに基づいて、オートエンコーダモデルと、該オートエンコーダモデルに関連するトランスフォーマモデルとを微調整することであって、前記オートエンコーダモデルは、エンコーダモデルと、前記トランスフォーマモデルに関連する学習済みコードブックと、生成器モデルと、識別器モデルとを含む、ことと、
前記第１の訓練データから画像サブセットを選択することと、
前記学習済みコードブックに基づいて、前記選択された画像サブセットに前記エンコーダモデルを適用して符号化画像サブセットを決定することと、
前記エンコーダモデルの適用に基づいて、前記選択された画像サブセットの量子化潜在表現に対応する、第２の画像セットを含む第２の訓練データを生成することと、
前記生成された第２の訓練データに基づいて前記オートエンコーダモデルの次世代を作成するように前記オートエンコーダモデルを事前訓練することと、
を含むことを特徴とする方法。
第１の画像セットを含む第１の訓練データに基づいて、オートエンコーダモデルと、該オートエンコーダモデルに関連するトランスフォーマモデルとを微調整することであって、前記オートエンコーダモデルは、エンコーダモデルと、前記トランスフォーマモデルに関連する学習済みコードブックと、生成器モデルと、識別器モデルとを含む、ことと、
前記第１の訓練データから画像サブセットを選択することと、
前記学習済みコードブックに基づいて、前記選択された画像サブセットに前記エンコーダモデルを適用して符号化画像サブセットを決定することと、
前記エンコーダモデルの適用に基づいて、前記選択された画像サブセットの量子化潜在表現に対応する、第２の画像セットを含む第２の訓練データを生成することと、
前記生成された第２の訓練データに基づいて前記オートエンコーダモデルの次世代を作成するように前記オートエンコーダモデルを事前訓練することと、
を含むことを特徴とする方法。
【請求項20】
前記トランスフォーマモデルを適用して、新たな合成画像の各々のトークン列をトークン列の開始に基づいて予測することと、
前記学習済みコードブックに基づいて、前記予測されたトークン列を量子化潜在表現に変換することと、
前記量子化潜在表現に前記生成器モデルを適用して新たな合成画像を生成することと、
前記生成された新たな合成画像に対応する第３の画像セットを含む第３の訓練データを生成することと、
前記生成された第３の訓練データに基づいて、前記トランスフォーマモデルの次世代を作成するように前記トランスフォーマモデルを事前訓練することと、
をさらに含む、請求項１９に記載の方法。
前記学習済みコードブックに基づいて、前記予測されたトークン列を量子化潜在表現に変換することと、
前記量子化潜在表現に前記生成器モデルを適用して新たな合成画像を生成することと、
前記生成された新たな合成画像に対応する第３の画像セットを含む第３の訓練データを生成することと、
前記生成された第３の訓練データに基づいて、前記トランスフォーマモデルの次世代を作成するように前記トランスフォーマモデルを事前訓練することと、
をさらに含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照／引用による組み入れ〕
本出願は、２０２２年７月１３日に出願された米国仮特許出願シリアル番号第６３／３６８，２６４号も参照する。上記特許出願は、その全体が引用により本明細書に組み入れられる。
本出願は、２０２２年７月１３日に出願された米国仮特許出願シリアル番号第６３／３６８，２６４号も参照する。上記特許出願は、その全体が引用により本明細書に組み入れられる。
【0002】
本開示の様々な実施形態は、画像処理に関する。具体的には、本開示の様々な実施形態は、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための電子装置及び方法に関する。
【背景技術】
【0003】
人工知能（ＡＩ）分野の進歩により、画像処理の分野でもＡＩモデルが使用されるようになってきた。人間の脳は、感覚系から構成的及び抽象的表現を抽出し、これらの表現を結びつけるルールを学習することに長けている。このような能力は、人間が新たな状況に瞬時に適応することを可能にする。一方で、新たな状況に瞬時に適応するという特性は、現在のＡＩモデルに欠けている重要な特徴であると考えることができる。ＡＩモデルは、訓練データからの分布シフト（ｄｉｓｔｒｉｂｕｔｉｏｎａｌ ｓｈｉｆｔ）が存在する時には性能が低下することがある。完全に構成的な画像表現への探求は、モデル一般化可能性（ｍｏｄｅｌ ｇｅｎｅｒａｌｉｚａｂｉｌｉｔｙ）を高めて未知のシナリオに対応するための、コンピュータビジョン及び機械学習の分野における未解決問題のうちの１つであると考えられる。構成性の概念は、言語学及び数理論理学の分野における確立された原理であることができる。構成性の概念は、全体の構成単位としての構成要素に、これらの構成要素の結び付け方に関するルールセットを加えたものに依拠することができる。言語の分野では、構成要素であるサブワードの意味と、サブワードを組み合わせるために使用されるルール又は文法とに基づいて、構成性を文の意味の推論に関連付けることができる。しかしながら、画像領域では、画像概念が高次元連続空間内で絡み合うことがあるため、構成性の定義がより困難なものとなり得る。
【発明の概要】
【発明が解決しようとする課題】
【0004】
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。
【課題を解決するための手段】
【0005】
実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための電子装置及び方法を提供する。
【0006】
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【0007】
【図1】本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的なネットワーク環境を示すブロック図である。
【図3】本開示の実施形態による、例示的なベクトル量子化敵対的生成ネットワーク（ＶＱＧＡＮ）を示す図である。
【図4】本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的な処理パイプラインを示す図である。
【図5】本開示の実施形態による、トランスフォーマモデルを事前訓練する例示的な処理パイプラインを示す図である。
【図6A】本開示の実施形態による、オートエンコーダモデルに対する反復学習の適用に基づく画像成分生成のための例示的な処理パイプラインを示す図である。
【図6B】本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的な処理パイプラインを示す図である。
【図7A】本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルの微調整の例示的なシナリオを示す図である。
【図7B】本開示の実施形態による、第２のデータ及び第３のデータの決定のための例示的なシナリオを示す図である。
【図7C】本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルの事前訓練のための例示的なシナリオを示す図である。
【図8】本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的な方法の動作を示すフローチャートである。
【図9】本開示の実施形態による、トランスフォーマモデルを事前訓練する例示的な方法の動作を示すフローチャートである。
【図10】本開示の実施形態による、オートエンコーダモデルに対する反復学習の適用に基づく画像成分生成のための例示的な方法の動作を示すフローチャートである。
【図11】本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的な方法の動作を示すフローチャートである。
【発明を実施するための形態】
【0008】
オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための電子装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づいて画像成分を生成する動作を実行できる電子装置（例えば、サーバ、デスクトップ、ラップトップ、又はパーソナルコンピュータ）を提供することができる。電子装置は、第１の画像セットを含む第１の訓練データに基づいて、オートエンコーダモデル、及びオートエンコーダモデルに関連するトランスフォーマモデルを微調整することができる。オートエンコーダモデルは、エンコーダモデル、トランスフォーマモデルに関連する学習済みコードブック、生成器モデル、及び識別器モデルを含むことができる。例えば、オートエンコーダモデルは、ベクトル量子化敵対的生成ネットワーク（ｖｅｃｔｏｒ ｑｕａｎｔｉｚｅｄ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ：ＶＱＧＡＮ）に基づく畳み込みニューラルネットワーク（ＣＮＮ）モデルに対応することができる。電子装置は、第１の訓練データから画像サブセットを選択することができる。電子装置は、学習済みコードブックに基づいて、選択された画像サブセットにエンコーダモデルを適用して符号化画像サブセットを決定することができる。電子装置は、エンコーダモデルの適用に基づいて、第２の画像セットを含む第２の訓練データを生成することができる。生成された第２の訓練データは、選択された画像サブセットの量子化潜在表現（ｑｕａｎｔｉｚｅｄ ｌａｔｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）に対応することができる。電子装置は、生成された第２の訓練データに基づいて、オートエンコーダモデルの次世代を作成するようにオートエンコーダモデルを事前訓練することができる。ある例では、オートエンコーダモデル及びトランスフォーマモデルの微調整、並びにオートエンコーダモデルの事前訓練が、反復学習モデル（ＩＬＭ）に対応することができる。
【0009】
電子装置は、トランスフォーマモデルをさらに適用して、選択された画像サブセットの各々のトークン列をトークン列の開始に基づいて予測することができる。電子装置は、学習済みコードブックに基づいて、予測されたトークン列を量子化潜在表現に変換することができる。電子装置は、量子化潜在表現に生成器モデルを適用して新たな合成画像を生成することができる。電子装置は、生成された新たな合成画像に対応する第３の画像データセットを含む第３の訓練データを生成することができる。電子装置は、生成された第３の訓練データに基づいて、トランスフォーマモデルの次世代を作成するようにトランスフォーマモデルを事前訓練することができる。ある例では、トランスフォーマモデルの事前訓練もＩＬＭに対応することができる。
【0010】
通常、人間の脳は、感覚系から構成的及び抽象的表現を抽出し、これらの表現を結びつけるルールを学習することに長けていると考えられる。このような能力は、人間が新たな状況に瞬時に適応することを可能にすることができる。一方で、新たな状況に瞬時に適応するという特性は、現在のＡＩモデルに欠けている重要な特徴であると考えることができる。ＡＩモデルは、訓練データからの分布シフトが存在する時には性能が低下することがある。完全に構成的な画像表現への探求は、モデル一般化可能性を高めて未知のシナリオに対応し及び／又はこのようなシナリオを管理するための、コンピュータビジョン及び機械学習の分野における未解決問題のうちの１つであると考えられる。さらに、画像領域では、画像概念が高次元連続空間内で絡み合うことがあるため、構成性の定義がより困難なものとなり得る。
【0011】
本開示は、画像成分生成に関する課題に対処するために、入力画像のための構成表現を見出すことができる。オートエンコーダモデルは、より速く下流の識別タスクに適応してより良く一般化することができる。さらに、学習済みコードブックのコードブックエントリの解釈可能性を改善することもできる。従って、生成画像の様々な特性は、学習済みコードブック内の一群の同様に挙動するコードブックエントリに起因することができる。本開示のトランスフォーマモデルは訓練シーケンスを記憶することができる。オートエンコーダモデル及びトランスフォーマモデルにＩＬＭを適用することで、オートエンコーダモデル及びトランスフォーマモデルの新世代の生成において役立つことができるデータ増強をもたらすことができる。オートエンコーダモデル及びトランスフォーマモデルは、各世代において、下流のタスクでより良い性能を発揮するように適合することができる。
【0012】
図１は、本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的なネットワーク環境を示すブロック図である。図１にはネットワーク環境１００を示す。ネットワーク環境１００は、電子装置１０２、サーバ１０４、データベース１０６、及び通信ネットワーク１０８を含むことができる。電子装置１０２は、モデルセット１１０に関連することができる。モデルセット１１０は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４を含むことができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。データベース１０６は、訓練データセット１１６を記憶することができる。訓練データセット１１６は、第１の訓練データ１１６Ａ、第２の訓練データ１１６Ｂ、及び第３の訓練データ１１６Ｃを含むことができる。訓練データセット１１６は、画像セット１１８に関連することができる。画像セット１１８は、第１の画像セット１１８Ａ、第２の画像セット１１８Ｂ、及び第３の画像セット１１８Ｃを含むことができる。図１には、電子装置１０２に関連することができるユーザ１２０をさらに示す。
【0013】
電子装置１０２は、（第１の画像セット１１８Ａを含むことができる）第１の訓練データ１１６Ａに基づいて、オートエンコーダモデル１１２、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。電子装置１０２は、第１の訓練データ１１６Ａから画像サブセットを選択することができる。電子装置１０２は、学習済みコードブック１１２Ｂに基づいて、選択された画像サブセットにエンコーダモデル１１２Ａを適用して符号化画像サブセットを決定することができる。電子装置１０２は、エンコーダモデル１１２Ａの適用に基づいて、第２の画像セット１１８Ｂを含む第２の訓練データ１１６Ｂなどの第２の訓練データを生成することができる。第２の訓練データ１１６Ｂなどの生成された第２の訓練データは、選択された画像サブセットの量子化潜在表現に対応することができる。電子装置１０２は、第２の訓練データ１１６Ｂ（例えば、第２の画像セット１１８Ｂ）などの第２の訓練データに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練することができる。ある例では、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整、並びにオートエンコーダモデル１１２の事前訓練が、反復学習モデル（ＩＬＭ）に対応することができる。いくつかのシナリオでは、電子装置１０２が、第３の訓練データ１１６Ｃ（例えば、第３の画像セット１１８Ｃ）などの第３の訓練データに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練することができる。このような事例では、トランスフォーマモデルの事前訓練もＩＬＭに対応ことができる。電子装置１０２の例としては、以下に限定するわけではないが、コンピュータ装置、スマートフォン、携帯電話機、ゲーム装置、メインフレームマシン、サーバ、コンピュータワークステーション、及び／又は消費者電子（ＣＥ）装置を挙げることができる。
【0014】
サーバ１０４は、オートエンコーダモデル及びトランスフォーマモデルの微調整のための動作、エンコーダモデル適用のための動作、第２の訓練データ生成のための動作、及びオートエンコーダモデルの事前訓練のための動作などの動作を実行するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。いくつかのシナリオでは、これらの動作が、トランスフォーマモデルの事前訓練のための動作をさらに含むことができる。１又は２以上の実施形態では、サーバ１０４が、電子装置１０２に関連する少なくとも１つの動作を実行することができる。サーバ１０４はクラウドサーバとして実装することができ、ウェブアプリケーション、クラウドアプリケーション、ＨＴＴＰリクエスト、リポジトリ動作及びファイル転送などを通じて動作を実行することができる。サーバ１０４の他の実装例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、ウェブサーバ、メディアサーバ、アプリケーションサーバ、メインフレームサーバ、又はクラウドコンピューティングサーバを挙げることができる。
【0015】
少なくとも１つの実施形態では、当業者に周知の複数の技術を使用することにより、サーバ１０４を複数の分散型クラウドベースリソースとして実装することができる。当業者であれば、本開示の範囲を２つの個別エンティティとしてのサーバ１０４及び電子装置１０２の実装に限定しないこともできると理解するであろう。いくつかの実施形態では、本開示の範囲から逸脱することなく、サーバ１０４の機能を全体的に又は少なくとも部分的に電子装置１０２に組み込むこともできる。いくつかの実施形態では、サーバ１０４がデータベース１０６をホストすることができる。或いは、サーバ１０４は、データベース１０６から分離してデータベース１０６に通信可能に結合することもできる。
【0016】
データベース１０６は、第１の訓練データ１１６Ａ、第２の訓練データ１１６Ｂ及び第３の訓練データ１１６Ｃを含む訓練データセット１１６を記憶するように構成できる好適なロジック、インターフェイス及び／又はコードを含むことができる。データベース１０６は、第１の画像セット１１８Ａ、第２の画像セット１１８Ｂ及び第３の画像セット１１８Ｃなどの画像セット１１８をさらに記憶することができる。ある例では、第１の訓練データ１１６Ａが第１の画像セット１１８Ａを含むことができ、第２の訓練データ１１６Ｂが第２の画像セット１１８Ｂを含むことができ、第３の訓練データ１１６Ｃが第３の画像セット１１８Ａを含むことができる。データベース１０６は、サーバ（例えば、サーバ１０４）又は電子装置１０２などの装置に記憶又はキャッシュすることができる。データベース１０６を記憶する装置は、画像セット１１８を含む訓練データセット１１６を求めるクエリを受け取るように構成することができる。これに応答して、データベース１０６を記憶する装置は、画像セット１１８を含む訓練データセット１１６を検索して電子装置１０２に提供することができる。
【0017】
いくつかの実施形態では、データベース１０６を、同じ場所又は異なる場所に記憶された複数のサーバ上にホストすることができる。データベース１０６の動作は、プロセッサ、（例えば、１又は２以上の動作の実行又はその制御を行う）マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実行することができる。他のいくつかの事例では、データベース１０６を、ソフトウェアを使用して実装することができる。
【0018】
通信ネットワーク１０８は、電子装置１０２とサーバ１０４とが互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１０８は、有線接続又は無線接続のいずれかであることができる。通信ネットワーク１０８の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、（ロングタームエボリューション及び第５世代（５Ｇ）新無線（ＮＲ）などの）セルラー又は無線モバイルネットワーク、（低軌道衛星セットのネットワークなどの）衛星ネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）などを挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。
【0019】
オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。ここでは、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ及び識別器モデル１１２Ｄに関する詳細を示す。
【0020】
エンコーダモデル１１２Ａは、画像を圧縮して画像の圧縮表現を生成するように構成できる好適なロジック、インターフェイス及び／又はコードを含むことができる。圧縮表現は、以下の式（１）に従って取得することができ、
（１）
ここで、
は画像の圧縮表現であることができ、「Ｒ」は実数空間であることができる。さらに、「ｈ」、「ｗ」及び「ｄ」は、例えば画像の高さを「Ｈ」として画像の幅を「Ｗ」とすることができる「Ｈ」×「Ｗ」などの解像度の画像の圧縮高さ、圧縮幅及びチャンネル数をそれぞれ表すことができる。
ここで、
【0021】
学習済みコードブック１１２Ｂは、画像の圧縮表現を量子化するように構成できる好適なロジック、インターフェイス及び／又はコードを含むことができる。学習済みコードブック１１２Ｂは、以下の式（２）に従って表すことができ、
（２）
ここで、Ｎはベクトルの「ｄ」次元コードブックの数であることができる。量子化関数
は、潜在表現の「ｈ×ｗ」格子内の「ｄ」次元ベクトルの各ベクトルを学習済みコードブック１１２Ｂからの最も近いエントリに置き換えるために使用することができる。
ここで、Ｎはベクトルの「ｄ」次元コードブックの数であることができる。量子化関数
【0022】
生成器モデル１１２Ｃは、トークン列から再構成画像を生成するように構成できる好適なロジック、インターフェイス及び／又はコードを含むことができる。ここでは、トークン列の各々を画素値にマッピングして画素値セットを取得することができる。画素値セットは、再構成画像に関連することができる。
【0023】
識別器モデル１１２Ｄは、再構成画像が本物であるか、それとも偽物であるかを判定するように構成できる好適なロジック、インターフェイス及び／又はコードを含むことができる。識別器モデル１１２Ｄは、再構成画像に関連する画素値セットを処理して、画素値が本物であるか、それとも偽物であるかを判定することができる。識別器モデル１１２Ｄは、本物の再構成画像と偽の再構成画像とを区別することができる。オートエンコーダモデル１１２は、識別器モデル１１２Ｄを使用して、生成器モデル１１２Ｃによって決定された再構成画像の品質／精度を高めることができる。
【0024】
トランスフォーマモデル１１４は、トランスフォーマモデル１１４を事前訓練又は微調整するために、トランスフォーマモデル１１４を適用して、選択された画像サブセットの各々のトークン列をトークン列の開始に基づいて予測するように構成できる好適なロジック、インターフェイス及び／又はコードを含むことができる。画像のトークン列の予測は、自然言語の文章内の単語の組み立てに類似すると考えることができる。例えば、ある実施形態では、トランスフォーマモデル１１４を事前訓練又は微調整する場合、画像サブセットを言語構造とみなすことができる一方で、学習済みコードブック１１２Ｂのエントリは言語の単語に対応することができる。さらに、トランスフォーマモデル１１４は、トランスフォーマモデル１１４を事前訓練又は微調整する特定のシーケンス内の単語の組み立てに基づいて言語の文章を作成するために使用できる、その言語の文法に対応することができる。
【0025】
ある実施形態では、オートエンコーダモデル１１２及び／又はトランスフォーマモデル１１４を、１又は２以上のニューラルネットワークモデルを使用して実装することができる。１又は２以上のニューラルネットワークモデルの各々は、ノードとしての複数の層状に配置されたコンピュータネットワーク又は人工ニューロンのシステムであることができる。ニューラルネットワークモデルの複数の層は、入力層、１又は２以上の隠れ層、及び出力層を含むことができる。複数の層の各層は、１又は２以上のノード（又は、例えば円によって表される人工ニューロン）を含むことができる。入力層における全てのノードの出力は、（単複の）隠れ層の少なくとも１つのノードに結合することができる。同様に、各隠れ層の入力は、ニューラルネットワークモデルの他の層における少なくとも１つのノードの出力に結合することができる。各隠れ層の出力は、ニューラルネットワークモデルの他の層における少なくとも１つのノードの入力に結合することができる。最終層の（単複の）ノードは、少なくとも１つの隠れ層から入力を受け取って結果を出力することができる。層の数及び各層におけるノードの数は、ニューラルネットワークモデルのハイパーパラメータから決定することができる。このようなハイパーパラメータは、訓練データセット（例えば、訓練データセット１１６）に基づくニューラルネットワークモデルの訓練前、訓練中、又は訓練後に設定することができる。
【0026】
ニューラルネットワークモデルの各ノードは、ニューラルネットワークモデルの訓練中に調整できるパラメータセットを有する数学関数（例えば、シグモイド関数又は正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ））に対応することができる。パラメータセットは、例えば重みパラメータ及び正則化パラメータなどを含むことができる。各ノードは、ニューラルネットワークモデルの他の（単複の）層（例えば、前の（単複の）層）のノードからの１又は２以上の入力に基づいて、数学関数を使用して出力を計算することができる。ニューラルネットワークモデルのノードの全部又は一部は、同じ又は異なる数学関数に対応することができる。
【0027】
ニューラルネットワークモデルの訓練では、（訓練データセットからの）所与の入力に対する最終層の出力がニューラルネットワークモデルの損失関数に基づく正しい結果に一致するかどうかに基づいてニューラルネットワークモデルの各ノードの１又は２以上のパラメータを更新することができる。上記の過程は、損失関数の最小値が達成されて訓練エラーが最小化されるまで同じ又は異なる入力について繰り返すことができる。当業では、勾配降下法、確率的勾配降下法、バッチ勾配降下法、勾配ブースト法及びメタヒューリスティック法などの複数の訓練法が知られている。
【0028】
ニューラルネットワークモデルは、例えば電子装置１０２及び／又はサーバ１０４上で実行可能なアプリケーションのソフトウェアコンポーネントとして実装できる電子データを含むことができる。ニューラルネットワークモデルは、電子装置１０２の回路（例えば、図２の回路２０２）などのコンピュータ装置による実行のために、ライブラリ、外部スクリプト又はその他のロジック／命令に依拠することができる。ニューラルネットワークモデルは、反復学習の適用に基づく画像成分生成のための１又は２以上の動作を図２の回路２０２などのコンピュータ装置が実行できるようにするように構成されたコード及びルーチンを含むことができる。これに加えて又は代えて、ニューラルネットワークモデルは、プロセッサ、（例えば、１又は２以上の動作の実行又はその制御を行う）マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。或いは、いくつかの実施形態では、ニューラルネットワークモデルを、ハードウェア及びソフトウェアの両方の組み合わせを使用して実装することもできる。ニューラルネットワークモデルの例としては、以下に限定するわけではないが、エンコーダネットワークモデル、デコーダネットワークモデル、トランスフォーマネットワークモデル、深層学習モデル、畳み込みニューラルネットワークモデル、ディープベイジアンニューラルネットワークモデル、又は敵対的生成ネットワーク（ＧＡＮ）モデルを挙げることができる。
【0029】
訓練データセット１１６は、第１の訓練データ１１６Ａ、第２の訓練データ１１６Ｂ、及び第３の訓練データ１１６Ｃを含むことができる。訓練データセット１１６の各訓練データは、画像セット１１８に関連することができる。例えば、第１の訓練データ１１６Ａは第１の画像セット１１８Ａを含むことができ、第２の訓練データ１１６Ｂは第２の画像セット１１８Ｂを含むことができ、第３の訓練データ１１６Ｃは第３の画像セット１１８Ｃを含ことができる。訓練データセット１１６は、モデルセット１１０を訓練するために使用することができる。例えば、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａは、オートエンコーダモデル１１２、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整するために使用することができる。
【0030】
動作時には、電子装置１０２を、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、オートエンコーダモデル１１２、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整するように構成することができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。オートエンコーダモデル１１２及びトランスフォーマモデル１１４は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の精度を高めるために、第１の訓練データ１１６Ａに基づいて微調整することができる。微調整及びオートエンコーダモデル１１２に関する詳細については、例えば図４（４０２）にさらに示す。
【0031】
電子装置１０２は、第１の訓練データ１１６Ａから画像サブセットを選択するように構成することができる。回路２０２は、第１の画像セット１１８Ａから画像サブセットをランダムに選択することができる。画像サブセットの選択に関する詳細については、例えば図４（４０４）にさらに示す。
【0032】
電子装置１０２は、学習済みコードブック１１２Ｂに基づいて、選択された画像サブセットにエンコーダモデル１１２Ａを適用して符号化画像サブセットを決定するように構成することができる。符号化画像サブセットを決定するために、選択された画像サブセットの各画像をエンコーダモデル１１２Ａに供給することができる。エンコーダモデル１１２Ａは、選択された画像サブセットの各画像を圧縮して符号化することができる。画像サブセットの符号化に関する詳細については、例えば図４（４０６）にさらに示す。
【0033】
電子装置１０２は、エンコーダモデル１１２Ａの適用に基づいて、第２の画像セット１１８Ｂを含む第２の訓練データ１１６Ｂを生成するように構成することができる。生成された第２の訓練データ１１６Ｂは、選択された画像サブセットの量子化潜在表現に対応することができる。第２の訓練データ１１６Ｂは、選択された画像サブセットと、選択された各画像サブセットの量子化潜在表現とを含む。従って、第２の訓練データ１１６Ｂを使用して、画像を量子化潜在空間にマッピングすることに関する情報を転送することができる。第２の訓練データに関する詳細については、例えば図４（４０８）にさらに示す。
【0034】
電子装置１０２は、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練するように構成することができる。オートエンコーダモデル１１２の事前訓練は、エンコーダモデル１１２Ａを事前訓練し、学習済みコードブック１１２Ｂを更新し、生成器モデル１１２Ｃを事前訓練し、識別器モデル１１２Ｄも事前訓練することができる。オートエンコーダモデル１１２の事前訓練に関する詳細については、例えば図４（４１０）にさらに示す。
【0035】
ある実施形態では、電子装置１０２を、トランスフォーマモデル１１４を適用して新たな画像（例えば、新たな合成画像）を生成するように構成することができる。トランスフォーマモデル１１４は、各新たな画像のトークン列の開始位置に基づいてトークン列を予測するために使用することができる。トークン列の決定に関する詳細については、例えば図５（５０２）にさらに示す。
【0036】
電子装置１０２は、学習済みコードブック１１２Ｂに基づいて、予測されたトークン列を（「Ｚｑ」で示す）量子化潜在表現に変換するように構成することができる。予測された列を量子化潜在表現に変換することに関する詳細については、例えば図５（５０４）にさらに示す。
【0037】
電子装置１０２は、量子化潜在表現に生成器モデル１１２Ｃを適用して新たな合成画像を生成するように構成することができる。生成器モデル１１２Ｃは、量子化潜在表現に基づいて新たな合成画像を生成することができる。トークン列は、トランスフォーマモデル１１４の適用に基づいて予測することができる。換言すれば、生成器モデル１１２Ｃは、トランスフォーマモデル１１４が予測できるトークン列に基づいて新たな合成画像を生成することができる。生成器モデル１１２Ｃは、トークン列に対応する第３の訓練データ１１６Ｃを生成することができる。生成器モデルの適用に関する詳細については、例えば図５（５０６）にさらに示す。
【0038】
電子装置１０２は、生成された新たな合成画像に対応する第３の画像セット１１８Ｃを含む第３の訓練データ１１６Ｃを生成するように構成することができる。第３の訓練データ生成に関する詳細については、例えば図５（５０８）にさらに示す。
【0039】
電子装置１０２は、生成された第３の訓練データ１１６Ｃに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練するよう構成することができる。トランスフォーマモデル１１４の次世代は、前世代のオートエンコーダコンポーネント（例えば、前世代のエンコーダモデル１１２Ａ、前世代の学習済みコードブック１１２Ｂ、及び前世代の生成器モデル１１２Ｃ）を使用することによって、生成された第３の訓練データ１１６Ｃに基づいて事前訓練できる新たなトランスフォーマモデル（Ｔｎ）であることができる。トランスフォーマモデルの事前訓練に関する詳細については、例えば図５（５１０）にさらに示す。
【0040】
ある実施形態では、電子装置１０２を、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ及び識別器モデル１１２Ｄを含むことができるオートエンコーダモデル１１２を微調整するように構成することができる。オートエンコーダモデル１１２の微調整に関する詳細については、例えば図６Ａにさらに示す。
【0041】
電子装置１０２は、学習済みコードブック１１２Ｂに基づいて第１の画像セット１１８Ａにエンコーダモデル１１２Ａを適用して、第１の画像セット１１８Ａの量子化潜在表現に対応できる第１の符号化画像セットを決定するように構成することができる。エンコーダモデル１１２Ａの適用に関する詳細については、例えば図６Ａにさらに示す。
【0042】
電子装置１０２は、第１の訓練データ１１６Ａからの画像サブセットと、画像サブセットの量子化潜在表現とに基づいて、第２の画像データセットを含む第２の訓練データ１１６Ｂを生成するように構成することができる。第２の訓練データ１１６Ｂの生成に関する詳細については、例えば図６Ａにさらに示す。
【0043】
電子装置１０２は、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練するよう構成することができる。オートエンコーダモデル１１２の事前訓練に関する詳細については、例えば図６Ａにさらに示す。
【0044】
電子装置１０２は、オートエンコーダモデル１１２の最終世代に基づいてトランスフォーマモデル１１４を微調整するように構成することができる。トランスフォーマモデル１１４の微調整に関する詳細については、例えば図６Ａにさらに示す。トランスフォーマモデル１１４の微調整に関する詳細については、例えば図６Ａにさらに示す。
【0045】
ある実施形態では、電子装置１０２を、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ及び識別器モデル１１２Ｄを含むオートエンコーダモデル１１２、並びにオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整するように構成することができる。オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整に関する詳細については、例えば図６Ｂにさらに示す。
【0046】
電子装置１０２は、第１の訓練データ１１６Ａから画像サブセットを選択するように構成することができる。画像サブセットに関する詳細については、例えば図６Ｂにさらに示す。
【0047】
電子装置１０２は、トランスフォーマモデル１１４を適用して、各新たな合成画像のトークン列をトークン列の開始に基づいて予測するように構成することができる。トークン列の予測に関する詳細については、例えば図６Ｂにさらに示す。
【0048】
電子装置１０２は、学習済みコードブック１１２Ｂに基づいて、予測されたトークン列を量子化潜在表現に変換するように構成することができる。予測されたトークン列の変換に関する詳細については、例えば図６Ｂにさらに示す。
【0049】
電子装置１０２は、量子化潜在表現に生成器モデル１１２Ｃを適用して新たな合成画像を生成するように構成することができる。生成器モデル１１２Ｃの適用に関する詳細については、例えば図６Ｂにさらに示す。
【0050】
電子装置１０２は、生成された新たな合成画像に対応する第３の画像セット１１８Ｃを含む第３の訓練データ１１６Ｃを生成するように構成することができる。第３の訓練データ１１６Ｃの生成に関する詳細については、例えば図６Ｂにさらに示す。
【0051】
電子装置１０２は、生成された第３の訓練データ１１６Ｃに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練するよう構成することができる。トランスフォーマモデル１１４の事前訓練に関する詳細については、例えば図６Ｂにさらに示す。
【0052】
本開示の電子装置１０２は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４に対する反復学習モデル（ＩＬＭ）の適用に基づいて効果的に画像成分を生成することができる。電子装置１０２は、ＩＬＭの適用に基づいて入力画像のための構成表現を見出すことができる。オートエンコーダモデル１１２は、より速く下流の識別タスクに適応することができ、より良く一般化することができる。さらに、学習済みコードブックのコードブックエントリの解釈可能性を改善することもできる。従って、生成画像の様々な特性は、一群の同様に挙動するコードブックエントリに起因することができる。本開示のトランスフォーマモデル１１４は、訓練シーケンスを記憶することができる。トランスフォーマモデル１１４に対するＩＬＭの適用は、データ増強法として機能するとともに、トランスフォーマモデル１１４の訓練の各世代にわたってトランスフォーマモデル１１４の精度を高めることができる。
【0053】
図２は、本開示の実施形態による、図１の例示的な電子装置を示すブロック図である。図２の説明は図１の要素に関連して行う。図２には電子装置１０２を示す。電子装置１０２は、回路２０２、メモリ２０４、入力／出力（Ｉ／Ｏ）装置２０６、及びネットワークインターフェイス２０８を含むことができる。入力／出力（Ｉ／Ｏ）装置２０６は、ディスプレイ装置２１０を含むことができる。電子装置１０２は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４を含むモデルセット１１０をさらに含むことができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。学習済みコードブック１１２Ｂはトランスフォーマモデル１１４に関連することができる。
【0054】
回路２０２は、電子装置１０２によって実行される異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。回路２０２は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４を微調整するように構成することができる。回路２０２は、第１の訓練データ１１６Ａから画像サブセットを選択するように構成することができる。回路２０２は、選択された画像サブセットにエンコーダモデル１１２Ａを適用するように構成することができる。回路２０２は、第２の訓練データ１１６Ｂを生成するように構成することができる。回路２０２は、オートエンコーダモデル１１２を事前訓練するように構成することができる。回路２０２は、トランスフォーマモデル１１４を事前訓練するようにさらに構成することができる。回路２０２は、独立したプロセッサとして実装できる１又は２以上の処理ユニットを含むことができる。ある実施形態では、１又は２以上の処理ユニットを、１又は２以上の特殊処理ユニットの機能をまとめて実行する統合プロセッサ又はプロセッサ群として実装することができる。回路２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路２０２の実装例は、Ｘ８６ベースのプロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路であることができる。
【0055】
メモリ２０４は、回路２０２によって実行される１又は２以上の命令を記憶するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。メモリ２０４は、モデルセット１１０及び（画像セット１１８を含む）訓練データセット１１６を記憶するように構成することができる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードなどを挙げることができる。
【0056】
Ｉ／Ｏ装置２０６は、入力を受け取り、受け取った入力に基づいて出力を提供するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。例えば、Ｉ／Ｏ装置２０６は、第１の訓練データ１１６Ａに対応する第１のユーザ入力を受け取ることができる。Ｉ／Ｏ装置２０６は、オートエンコーダモデル１１２又はトランスフォーマモデル１１４の少なくとも一方を事前訓練する命令を示す第２のユーザ入力をさらに受け取ることができる。Ｉ／Ｏ装置２０６は、第１の訓練データ１１６Ａに含まれる第１の画像セット１１８Ａ、第２の訓練データ１１６Ｂに含まれる第２の画像セット１１８Ｂ、又は第３の訓練データ１１６Ｃに含まれる第３の画像セット１１８Ｃのうちの少なくとも１つを表示するようにさらに構成することができる。Ｉ／Ｏ装置２０６は、ディスプレイ装置２１０を含むことができる。Ｉ／Ｏ装置２０６の例としては、以下に限定するわけではないが、タッチ画面、ディスプレイ装置（例えば、ディスプレイ装置２１０）、キーボード、マウス、ジョイスティック、マイク、又はスピーカを挙げることができる。
【0057】
ネットワークインターフェイス２０８は、通信ネットワーク１０８を介した電子装置１０２とサーバ１０４との間の通信を容易にするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０８は、様々な既知の技術を使用して電子装置１０２と通信ネットワーク１１２との間の有線又は無線通信をサポートするように実装することができる。ネットワークインターフェイス２０８は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者ＩＤモジュール（ＳＩＭ）カード、又はローカルバッファ回路を含むことができる。
【0058】
ネットワークインターフェイス２０８は、インターネット、イントラネット、無線ネットワーク、セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）又はメトロポリタンエリアネットワーク（ＭＡＮ）などのネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、第５世代（５Ｇ）新無線（ＮＲ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ又はＩＥＥＥ８０２．１１ｎなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（Ｗｉ－ＭＡＸ）、電子メール用プロトコル、インスタントメッセージ、及びショートメッセージサービス（ＳＭＳ）などの複数の通信標準、プロトコル及び技術のうちの１つ又は２つ以上を使用するように構成することができる。
【0059】
ディスプレイ装置２１０は、第１の画像セット１１８Ａ、第２の画像セット１１８Ｂ及び／又は第３の画像セット１１８Ｃを表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ディスプレイ装置２１０は、ユーザ（例えば、ユーザ１２０）がディスプレイ装置２１０を介してユーザ入力を提供できるようにするタッチ画面であることができる。タッチ画面は、抵抗膜式タッチ画面、静電容量式タッチ画面、又は熱式タッチ画面のうちの少なくとも１つであることができる。ディスプレイ装置２１０は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、又はその他のディスプレイ装置のうちの少なくとも１つなどの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ装置２１０は、ヘッドマウント装置（ＨＭＤ）のディスプレイ画面、スマートメガネ装置、シースルーディスプレイ、投影型ディスプレイ、エレクトロクロミックディスプレイ、又は透明ディスプレイを意味することができる。オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための回路２０２の様々な動作については、例えば図３でさらに説明する。
【0060】
図３は、本開示の実施形態による、ベクトル量子化敵対的生成ネットワーク（ＶＱＧＡＮ）の例示的なシナリオを示す図である。図３の説明は、図１及び図２の要素に関連して行う。図３には例示的なシナリオ３００を示す。シナリオ３００は、画像３０２、エンコーダモデル１１２Ａ、圧縮画像３０４、量子化潜在表現３０６、生成器モデル１１２Ｃ、再構成画像３０８、識別器モデル１１２Ｄ、学習済みコードブック１１２Ｂ、トランスフォーマモデル１１４、及び識別器出力３１０を含むことができる。ここでは、シナリオ３００に関連する一連の動作について説明する。なお、図３のシナリオ３００は例示を目的とするものであり、本開示の範囲を限定するように解釈すべきではない。
【0061】
画像生成のためのＶＱＧＡＮは密度推定モデルであることを観察することができる。例えば、画像生成のためのＶＱＧＡＮの場合には、画像３０２をエンコーダモデル１１２Ａに通すことができる。エンコーダモデル１１２Ａは、画像３０２を圧縮することができる。ある例では、画像３０２の解像度が、「Ｈ」の高さ及び「Ｗ」の幅に対応することができる。ここでは、圧縮画像３０４の圧縮高さが「Ｈ」、圧縮幅が「Ｗ」、チャンネル数が「ｄ」であるように画像３０２を圧縮することができる。圧縮画像３０４は、学習済みコードブック１１２Ｂを使用して量子化することができる。上述したように、式（２）より、学習済みコードブック１１２Ｂに関連する量子化関数
は、潜在表現の「ｈ×ｗ」格子内の「ｄ」次元ベクトルの各ベクトルを学習済みコードブック１１２Ｂからの最も近いエントリに置き換えて量子化潜在表現（「ｚq」）３０６を取得することができる。量子化潜在表現３０６は生成器モデル１１２Ｃに供給することができる。生成器モデル１１２Ｃは、量子化潜在表現３０６に基づいて画像を再構成して再構成画像３０８を取得することができる。再構成画像３０８は、識別器出力３１０を提供できる識別器モデル１１２Ｄに入力として提供することができる。識別器出力３１０は、生成画像３０８が本物であるか、それとも偽物であるかを分析することができる。
【0062】
ある実施形態では、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整、並びにオートエンコーダモデル１１２の事前訓練が、反復学習モデル（ＩＬＭ）に対応することができる。反復学習モデル（ＩＬＭ）は、人間の自然言語に重点を置くことができる認知科学ベースの学習モデルであることができる。反復学習モデルによれば、自然言語の進化は、言語の他の側面よりも言語再生（ｌａｎｇｕａｇｅ ｒｅｐｒｏｄｕｃｔｉｏｎ）を優先できる適応的学習過程とみなすことができる。例えば、ある言語が世代を超えて（例えば、親から子へ）存在し続ける場合には、その言語が構造保持的（ｓｔｒｕｃｔｕｒｅ ｐｒｅｓｅｒｖｉｎｇ）であることが必要となり得る。言語の構造保持属性は、その言語における構成性及び規則性を促すことにより、世代間の（例えば、子供の心への）ボトルネックを通過するにもかかわらず言語の再生を容易にすることができる。言語の構成要素を深く学習することで、馴染みのない文及び新手の文を一般化する人間の能力が向上し、無意味な文でさえ理解できるようになると考えられる。ＩＬＭは、４つの構成要素、すなわち意味空間、信号空間、少なくとも１つの学習エージェント、及び少なくとも１つの成人エージェント（ａｄｕｌｔ ａｇｅｎｔ）を有する。意味空間は、言語が伝えると考えられる一連の概念であることができる。信号空間は、概念を表すために使用できる一連の可能な記号であることができる。例えば、英語の信号空間は、長さに制約のないａ～ｚの文字列によって表すことができる。各ＩＬＭエージェントは、意味のための信号を生成するメカニズム、アルゴリズム又は技法であることができる。メカニズムは、各意味のための信号を生成することができる。アルゴリズムは、意味空間から信号空間へのマッピングであることができる。アルゴリズムは、（意味、信号）のペアを所与とする表現を誘導することができる。成人エージェントは、意味空間のサブセットのための信号を生成することができる。意味及び信号のサブセットは、次の学習世代のための訓練データの構築に使用することができる。各世代は、限られた訓練データの情報のギャップを埋めようと試みることができる。訓練過程は世代を超えて継続することができる。
【0063】
図４は、本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的な処理パイプラインを示す図である。図４の説明は、図１、図２及び図３の要素に関連して行う。図４には、４０２～４１０の例示的な動作を示す例示的な処理パイプライン４００を示す。例示的な動作４０２～４１０は、例えば図１の電子装置１０２又は図２の回路２０２などのいずれかのコンピュータシステムによって実行することができる。例示的な処理パイプライン４００は、モデルセット１１０をさらに示す。モデルセット１１０は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４を含むことができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。
【0064】
４０２において、オートエンコーダモデル及びトランスフォーマモデルの微調整のための動作を実行することができる。ある実施形態では、回路２０２を、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、オートエンコーダモデル１１２、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整するように構成することができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。なお、事前訓練された機械学習（ＭＬ）の微調整は、（特定のタスクのために事前訓練しておくことができる）事前訓練されたＭＬを、ＭＬモデルが別のタスクを実行できるように微調整されるよう適合させることができると理解することができる。さらに、事前訓練されたＭＬモデルの微調整は、ＭＬモデルの精度を高めることもできる。なお、オートエンコーダモデル１１２及びトランスフォーマモデル１１４もＭＬモデルであることができる。従って、オートエンコーダモデル１１２及びトランスフォーマモデル１１４は、第１の訓練データ１１６Ａに基づいて微調整することができる。
【0065】
ある実施形態では、オートエンコーダモデル１１２が、ベクトル量子化敵対的生成ネットワーク（ＶＱＧＡＮ）に基づく畳み込みニューラルネットワーク（ＣＮＮ）モデルに対応することができる。ＣＮＮモデルは、画像に関連する用途に使用できる深層学習ネットワークのクラスであると理解することができる。ＣＮＮモデルは、１又は２以上のＣＮＮ層と、後続の全結合層とを含むことができる。ＣＮＮモデルは、シフト不変かつ空間不変であることができ、従って画像分類及び自然言語処理などの下流のタスクに使用することができる。ベクトル量子化敵対的生成ネットワークは敵対的生成ネットワークモデルの一種であることができ、生成器モデル１１２Ｃ及び識別器モデル１１２Ｄなどの２つのニューラルネットワークモデルを含むことができる。敵対的生成ネットワークモデルの生成器モデル１１２Ｃ及び識別器モデル１１２Ｄは、競合し合って精度を高めることができる。ベクトル量子化敵対的生成ネットワークは、（第１の訓練データ１１６Ａなどの）データセットの変形形態を作成するために使用することができる。これらの変形形態に基づいて（第１の訓練データ１１６Ａなどの）データセットを増強することができる。ある実施形態では、生成器モデル１１２Ｃ及び識別器モデル１１２Ｄの両方を別々に訓練することができる。その後に、生成器モデル１１２Ｃに図３の量子化潜在表現３０６（例えば、一連の記号）を供給することができる。その後、生成器モデル１１２Ｃは、図３の生成画像３０８などの出力を生成することができる。さらに、図３の画像３０２などの実際のサンプル又はグランドトゥルースを使用して識別器モデル１１２Ｄを訓練することができる。その後、生成器モデル１１２Ｃの出力を識別器モデル１１２Ｄに供給することができる。識別器モデル１１２Ｄは、生成器モデル１１２Ｃの出力が実際のサンプルに類似しているかどうかを判定することができる。換言すれば、識別器モデル１１２Ｄは、生成画像３０８が（実際のサンプルと区別可能な）偽の画像であるか、それとも（実際のサンプルに類似する）本物の画像であるかを判定することができる。ある例では、識別器モデル１１２Ｄが、生成器モデル１１２Ｃの出力が実際のサンプルに類似している時には２値出力「１」を提供し、生成器モデル１１２Ｃの出力が実際のサンプルに類似していない時には２値出力「０」を提供することができる。
【0066】
４０４において、第１の訓練データから画像サブセットを選択する動作を実行することができる。ある実施形態では、回路２０２を、第１の訓練データ１１６Ａから画像サブセットを選択するように構成することができる。第１の訓練データ１１６Ａは、第１の画像セット１１８Ａを含む。回路２０２は、第１の画像セット１１８Ａから画像サブセットをランダムに選択することができる。例えば、回路２０２は、第１の画像セット１１８Ａの１０００枚の画像から１００枚の画像を画像サブセットとしてランダムに選択することができる。
【0067】
４０６において、エンコーダモデル適用動作を実行することができる。回路２０２は、学習済みコードブック１１２Ｂに基づいて、選択された画像サブセットにエンコーダモデル１１２Ａを適用して符号化画像サブセットを決定するように構成することができる。選択された画像サブセットの各画像は、エンコーダモデル１１２Ａに受け渡される。エンコーダモデル１１２Ａは、選択された画像サブセットの各画像を圧縮して符号化することができる。例えば、学習済みコードブック１１２Ｂに基づいて、選択された画像サブセットの各画像の画素に意味を割り当てて符号化することができる。ある実施形態では、符号化画像サブセットが量子化潜在表現に対応することができる。
【0068】
４０８において、第２の訓練データ生成動作を実行することができる。ある実施形態では、回路２０２を、エンコーダモデル１１２Ａの適用に基づいて、第２の画像セット１１８Ｂを含む第２の訓練データ１１６Ｂを生成するように構成することができる。生成された第２の訓練データ１１６Ｂは、選択された画像サブセットの量子化潜在表現に対応することができる。第２の訓練データ１１６Ｂは、選択された画像サブセットと、選択された各画像サブセットの量子化潜在表現とを含むことができる。従って、第２の訓練データ１１６Ｂを使用して、画像を量子化潜在にマッピングすることに関する情報を転送することができる。第２の訓練データ１１６Ｂは以下の式（３）によって表すことができ、
（３）
ここで、
は第２の訓練データ１１６Ｂであることができ、「ｘ」は選択された画像サブセットであることができ、「ｚqn-1」は選択された画像サブセットの量子化潜在表現であることができ、「Ｄr」は第１の訓練データ１１６Ａであることができ、「Ｅn-1（ｘ）」はエンコーダモデル１１２Ａであることができる。ここでは、「Ｅn-1（ｘ）」が、エンコーダモデル１１２Ａの前世代に対応することができる。
ここで、
【0069】
ある実施形態では、回路２０２を、選択された画像サブセットに対するエンコーダモデル１１２Ａの適用に基づいて、選択された画像サブセットを画像空間から信号空間にマッピングするようにさらに構成することができる。画像空間は、ユーザが伝えたいと望む画像の概念を含むことができる意味空間とみなすことができる。信号空間は、画像を表すことができるトークン列又はインデックス列であることができる。選択された画像サブセットの各々は、画像空間から信号空間にマッピングすることができる。
【0070】
ある実施形態では、信号空間が学習済みコードブック１１２Ｂに対応することができる。例えば、言語領域における信号空間は、長さに制約のないａ～ｚの文字列によって表すことができる。別の例では、数理論理領域における信号空間を一連の英数字によって表すことができる。
【0071】
ある実施形態では、選択された画像サブセットの量子化潜在表現を、選択された画像サブセットに関連する多次元コードベクトルセットの各ベクトルを学習済みコードブック１１２Ｂからの最も近いエントリに置き換えることに基づいて決定することができる。この例では、選択された画像サブセットの各画像が、行の数を「ｎ」として列の数を「ｍ」とする「ｎ×ｍ」の解像度を有することができる。各ベクトルは画像の行に対応することができる。従って、各行の画素値は、以下に限定するわけではないが、長さに制約のない文字ａ～ｚの文字列又は一連の英数字などの、学習済みコードブック１１２Ｂからの最も近いエントリに置き換えることができる。
【0072】
４１０において、オートエンコーダモデルの事前訓練動作を実行することができる。ある実施形態では、回路２０２を、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練するよう構成することができる。オートエンコーダモデル１１２の事前訓練は、エンコーダモデル１１２Ａの事前訓練、学習済みコードブック１１２Ｂの更新、生成器モデル１１２Ｃの事前訓練、及び識別器モデル１１２Ｄの事前訓練に対応することができる。なお、オートエンコーダモデル１１２の事前訓練は、生成された第２の訓練データ１１６Ｂに基づいてオートエンコーダモデル１１２を再訓練してオートエンコーダモデル１１２の次世代を取得することができると理解することができる。
【0073】
ある実施形態では、回路２０２を、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ及び生成器モデル１１２Ｃに関連する第１の損失関数を決定するようにさらに構成することができる。回路２０２は、オートエンコーダモデル１１２に関連する第２の損失関数を決定するようにさらに構成することができる。回路２０２は、エンコーダモデル１１２Ａに関連する第３の損失関数を決定するようにさらに構成することができる。オートエンコーダモデル１１２の事前訓練は、決定された第１の損失関数、決定された第２の損失関数、及び決定された第３の損失関数にさらに基づくことができる。なお、エンコーダモデル１１２Ａ、生成器モデル１１２Ｃ及び識別器モデル１１２Ｄはランダムに初期化することができ、以下のような式（４）に従う目的関数の最適化に基づいて事前訓練することができ、
（４）
ここで、「ＱILM」は目的関数であることができ、「ＬVQ」は第１の損失関数であることができ、「ＬGAN」は第２の損失関数であることができ、「ＬILM」は第３の損失関数であることができ、「Ｅn」はエンコーダモデル１１２Ａであることができ、「Ｚn」は学習済みコードブック１１２Ｂであることができ、「Ｇn」は生成器モデル１１２Ｃであることができ、「λ」は、目的関数「ＱILM」に対する第２の損失関数「ＬGAN」の寄与を制御できるハイパーパラメータであることができる。同様に、「γ」は、目的関数「ＱILM」に対する第３の損失関数「ＬILM」の寄与を制御できるハイパーパラメータであることができる。
ここで、「ＱILM」は目的関数であることができ、「ＬVQ」は第１の損失関数であることができ、「ＬGAN」は第２の損失関数であることができ、「ＬILM」は第３の損失関数であることができ、「Ｅn」はエンコーダモデル１１２Ａであることができ、「Ｚn」は学習済みコードブック１１２Ｂであることができ、「Ｇn」は生成器モデル１１２Ｃであることができ、「λ」は、目的関数「ＱILM」に対する第２の損失関数「ＬGAN」の寄与を制御できるハイパーパラメータであることができる。同様に、「γ」は、目的関数「ＱILM」に対する第３の損失関数「ＬILM」の寄与を制御できるハイパーパラメータであることができる。
【0074】
ある実施形態では、第３の損失関数の決定が、学習済みコードブック１１２Ｂに対する、オートエンコーダモデル１１２の次世代のエンコーダモデル１１２Ａに関連する第２のノルムに基づくことができる。第３の損失関数は、以下の式（５）に従って決定することができ、
（５）
ここで、「Ｅｎ（ｘ）」は次世代エンコーダモデル１１２Ａであることができ、
は前世代の学習済みコードブック１１２Ｂであることができる。
ここで、「Ｅｎ（ｘ）」は次世代エンコーダモデル１１２Ａであることができ、
【0075】
ある実施形態では、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整、並びにオートエンコーダモデル１１２の事前訓練が、反復学習モデル（ＩＬＭ）に対応することができる。なお、ある実施形態では、回路２０２を、トランスフォーマモデル１１４を画像成分生成過程のために事前訓練するようにさらに構成することができる。トランスフォーマモデル１１４の事前訓練のための例示的な処理パイプラインについては、例えば図５でさらに説明する。
【0076】
図５は、本開示の実施形態による、トランスフォーマモデルを事前訓練するための例示的な処理パイプラインを示す図である。図５の説明は、図１、図２、図３及び図４の要素に関連して行う。図５には、トランスフォーマモデル１１４を事前訓練するための５０２～５１０の例示的な動作を示す例示的な処理パイプライン５００を示す。例示的な動作５０２～５１０は、例えば図１の電子装置１０２又は図２の回路２０２などのいずれかのコンピュータシステムによって実行することができる。例示的な処理パイプライン５００には、トランスフォーマモデル１１４をさらに示す。
【0077】
５０２において、トランスフォーマモデル適用動作を実行することができる。ある実施形態では、回路２０２を、トランスフォーマモデル１１４を適用して、新たな各合成画像のトークン列（「Ｓ」）をトークン列の開始に基づいて予測するように構成することができる。例えば、トランスフォーマモデル１１４を使用して、以下のような式（６）に従って、トークンの事前分布に基づいてトークンの接合分布（ｊｏｉｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ）を決定することができ、
（６）
ここで、「ｐ（Ｓ）」はトークンの接合分布であることができ、「Ｓｉ」は「ｉ番目」のトークンであることができ、「ｈ×ｗ」は潜在表現に関連する格子の次元に対応することができる。ある実施形態では、トランスフォーマモデル１１４の適用前に、回路２０２が、トークン列を予測するために図４の動作４０２～４１０を実行することができる。
ここで、「ｐ（Ｓ）」はトークンの接合分布であることができ、「Ｓｉ」は「ｉ番目」のトークンであることができ、「ｈ×ｗ」は潜在表現に関連する格子の次元に対応することができる。ある実施形態では、トランスフォーマモデル１１４の適用前に、回路２０２が、トークン列を予測するために図４の動作４０２～４１０を実行することができる。
【0078】
５０４において、予測されたトークン列の変換動作を実行することができる。ある実施形態では、回路２０２を、学習済みコードブック１１２Ｂに基づいて、インデックス列（「Ｓ」）として知られている予測されたトークン列を量子化潜在表現（「Ｚｑ」）に変換するように構成することができる。ある実施形態では、予測されたトークン列が、学習済みコードブック１１２Ｂからのインデックス列に対応することができる。インデックスは、画像の圧縮表現を量子化するために使用できる学習済みコードブック１１２Ｂの要素であることができる。例えば、エンコーダモデル１１２Ａは画像の画素値を符号化し、学習済みコードブック１１２Ｂからの対応するインデックスと相関させて画像の量子化潜在表現を取得することができる。符号化された画素値に対応するインデックスを列の形で配置してインデックス列を取得することができる。
【0079】
５０６において、生成器モデル適用動作を実行することができる。ある実施形態では、回路２０２を、量子化潜在表現に生成器モデル１１２Ｃを適用して新たな合成画像を生成するように構成することができる。説明したように、生成器モデル１１２Ｃは、量子化潜在表現に基づいて画像を生成することができる。トークン列は、トランスフォーマモデル１１４の適用に基づいて決定することができる。生成器モデル１１２Ｃは、トークン列に対応する第３の訓練データ１１６Ｃを生成することができる。
【0080】
５０８において、第３の訓練データ生成動作を実行することができる。ある実施形態では、回路２０２を、生成された新たな合成画像に対応する第３の画像データセットを含む第３の訓練データ１１６Ｃを生成するように構成することができる。第３の画像データセット１１８Ｃは、以下の式（７）に基づいて決定することができ、
（７）
ここで、
は、生成された第３の訓練データ１１６Ｃであることができ、「ｘ’」は第３の画像セット１１８Ｃであることができ、「Ｇn-1（）」は生成器モデル１１２Ｃであることができ、「ｑs（．）」は、トークン列（「Ｓｉ、ｊ」）を学習済みコードブック１１２Ｂ（「Ｚ」）からの対応するエントリに置き換えることに基づいてトークン列（Ｓ）を潜在表現（「ｚq」）にマッピングすることができ、「Ｔn-1（）」はトランスフォーマモデル１１４であることができ、「ｓｏｓ」はトークン列（「Ｓ」）の開始であることができる。
ここで、
【0081】
５１０において、トランスフォーマモデル事前訓練動作を実行することができる。ある実施形態では、回路２０２を、生成された第３の訓練データ１１６Ｃに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練するよう構成することができる。トランスフォーマモデル１１４の次世代は、前世代のオートエンコーダコンポーネントを使用することによって式（７）の生成された第３の訓練データ「Ｄ’n」に基づいて事前訓練できる新たなトランスフォーマモデル（Ｔn）であることができる。例えば、前世代のオートエンコーダコンポーネントとしては、以下に限定するわけではないが、前世代のエンコーダモデル１１２Ａ（「Ｅn-1」）、前世代の学習済みコードブック１１２Ｂ（「Ｚn-1」）、及び前世代の生成器モデル１１２Ｃ（「Ｇn-1」）を挙げることができる。
【0082】
図６Ａは、本開示の実施形態による、オートエンコーダモデルに対する反復学習の適用に基づく画像成分生成のための例示的な処理パイプラインを示す図である。図６Ａの説明は、図１、図２、図３、図４及び図５の要素に関連して行う。図６Ａには、オートエンコーダモデル１１２に対する反復学習の適用に基づく画像成分生成のための６０２～６１０の例示的な動作を示す例示的な処理パイプライン６００Ａを示す。例示的な動作６０２～６１０は、例えば図１の電子装置１０２又は図２の回路２０２などのいずれかのコンピュータシステムによって実行することができる。例示的な処理パイプライン６００Ａには、オートエンコーダモデル１１２及びトランスフォーマモデル１１４を含むモデルセット１１０をさらに示す。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。
【0083】
６０２において、オートエンコーダモデルの微調整動作を実行することができる。ある実施形態では、回路２０２を、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいてオートエンコーダモデル１１２を微調整するように構成することができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。オートエンコーダモデル１１２及びトランスフォーマモデル１１４は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の精度を高めるために、第１の訓練データ１１６Ａに基づいて微調整することができる。さらに、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４を画像生成用途のために調整することができる。ある実施形態では、オートエンコーダモデル１１２が、ベクトル量子化敵対的生成ネットワーク（ＶＱＧＡＮ）に基づく畳み込みニューラルネットワーク（ＣＮＮ）モデルに対応することができる。微調整及びオートエンコーダモデル１１２に関する詳細については、例えば図４（４０２）にさらに示している。
【0084】
６０４において、エンコーダモデル適用動作を実行することができる。回路２０２は、学習済みコードブック１１２Ｂに基づいて第１の画像セット１１８Ａにエンコーダモデル１１２Ａを適用して、第１の画像セット１１８Ａの量子化潜在表現に対応できる第１の符号化画像セットを決定するように構成することができる。説明したように、エンコーダモデル１１２Ａは、第１の画像セット１１８Ａの各画像を圧縮して符号化することができる。ある実施形態では、回路２０２を、第１の画像セットに対するエンコーダモデル１１２Ａの適用に基づいて、第１の画像セットを画像空間から信号空間にマッピングするようにさらに構成することができる。エンコーダモデルの適用に関する詳細については、例えば図４（４０６）にさらに示している。
【0085】
６０６において、第２の訓練データ生成動作を実行することができる。ある実施形態では、回路２０２を、第１の訓練データ１１６Ａからの画像サブセット及び画像サブセットの量子化潜在表現に基づいて、第２の画像データセット（例えば、第２の画像セット１１８Ｂ）を含む第２の訓練データ（例えば、第２の訓練データ１１６Ｂ）を生成するようにさらに構成することができる。第２の訓練データの生成に関する詳細については、例えば図４（４０８）にさらに示している。
【0086】
６０８において、オートエンコーダ事前訓練動作を実行することができる。回路２０２は、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練するようさらに構成することができる。オートエンコーダモデル１１２の次世代は、前世代のオートエンコーダコンポーネントを使用することによって生成された第２の訓練データ１１６Ｂに基づいて事前訓練できる新たなオートエンコーダモデル（「Ｅn」）であることができる。オートエンコーダモデル１１２の事前訓練に関する詳細については、例えば図４（４１０）にさらに示している。
【0087】
６１０において、トランスフォーマモデル微調整動作を実行することができる。回路２０２は、オートエンコーダモデル（「Ｅn-1」）の最終世代に基づいてトランスフォーマモデル１１４を微調整するようにさらに構成することができる。前世代のオートエンコーダコンポーネントの例としては、以下に限定するわけではないが、前世代のエンコーダモデル１１２Ａ（「Ｅn-1」）、前世代の学習済みコードブック１１２Ｂ（「Ｚn-1」）、及び前世代の生成器モデル１１２Ｃ（「Ｇn-1」）を挙げることができる。ある実施形態では、オートエンコーダモデル１１２の微調整、オートエンコーダモデル１１２の事前訓練、及びトランスフォーマモデル１１４の微調整が、反復学習モデル（ＩＬＭ）に対応することができる。反復学習モデルに関する詳細については、例えば図３にさらに示している。
【0088】
図６Ｂは、本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的な処理パイプラインを示す図である。図６Ｂの説明は、図１、図２、図３、図４、図５及び図６Ａの要素に関連して行う。図６Ｂには、オートエンコーダモデル１１２及びトランスフォーマモデル１１４に対する反復学習の適用に基づく画像成分生成のための６１２～６２２の例示的な動作を示す例示的な処理パイプライン６００Ｂを示す。例示的な動作６１２～６２２は、例えば図１の電子装置１０２又は図２の回路２０２などのいずれかのコンピュータシステムによって実行することができる。例示的な処理パイプライン６００Ｂには、オートエンコーダモデル１１２及びトランスフォーマモデル１１４を含むモデルセット１１０をさらに示す。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。
【0089】
６１２において、オートエンコーダモデル及びトランスフォーマモデルの微調整動作を実行することができる。ある実施形態では、回路２０２を、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、オートエンコーダモデル１１２、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整するように構成することができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４を含む学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。オートエンコーダモデル１１２及びトランスフォーマモデル１１４は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の精度を高めるために、第１の訓練データ１１６Ａに基づいて微調整することができる。さらに、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４を画像生成用途のために調整することができる。ある実施形態では、オートエンコーダモデル１１２が、ベクトル量子化敵対的生成ネットワーク（ＶＱＧＡＮ）に基づく畳み込みニューラルネットワーク（ＣＮＮ）モデルに対応することができる。微調整、オートエンコーダモデル及びトランスフォーマモデルに関する詳細については、例えば図４（４０２）にさらに示している。
【0090】
６１４において、トランスフォーマモデル適用動作を実行することができる。ある実施形態では、回路２０２を、トランスフォーマモデル１１４を適用して、新たな合成画像の各々のトークン列をトークン列の開始に基づいて予測するようにさらに構成することができる。トランスフォーマモデルの適用に関する詳細については、例えば図５（５０２）にさらに示している。
【0091】
６１６において、予測されたトークン列決定の変換動作を実行することができる。ある実施形態では、回路２０２は、学習済みコードブック１１２Ｂに基づいて、予測されたトークン列Ｓを量子化潜在表現（「Ｚｑ」）に変換するようにさらに構成することができる。トークン列の決定に関する詳細については、例えば図５（５０４）にさらに示している。
【0092】
６１８において、生成器モデル適用動作を実行することができる。ある実施形態では、回路２０２を、量子化潜在表現に生成器モデル１１２Ｃを適用して新たな合成画像を生成するようにさらに構成することができる。説明したように、生成器モデル１１２Ｃは、量子化潜在表現に基づいて画像を生成することができる。トークン列は、トランスフォーマモデル１１４の適用に基づいて決定することができる。さらに、生成器モデル１１２Ｃは、トークン列に対応する第３の訓練データ１１６Ｃを生成することができる。
【0093】
６２０において、第３の訓練データ生成動作を実行することができる。ある実施形態では、回路２０２を、生成された新たな合成画像に対応する第３の画像データセット（例えば、第３の画像セット１１８Ｃ）を含む第３の訓練データ（例えば、第３の訓練データ１１６Ｃ）を生成するようにさらに構成することができる。第３の訓練データ１１６Ｃは、以下の式（８）に基づいて決定することができ、
（８）
ここで、
は生成された第３の訓練データであることができ、「ｘ’」は第３の画像データセットであることができ、「Ｇn-1（）」は生成器モデル１１２Ｃであることができ、「ｑs（．）」は、トークン列（「Ｓi、j」）を学習済みコードブック１１２Ｂからの対応するエントリ（「Ｚ」）に置き換えることによってトークン列（「Ｓ」）を潜在表現（「ｚq」）にマッピングすることができ、「Ｔn-1（）」は、トランスフォーマモデル１１４であることができ、「ｓｏｓ」はトークン列（「Ｓ」）の開始であることができる。
ここで、
【0094】
６２２において、トランスフォーマモデル事前訓練動作を実行することができる。回路２０２は、生成された第３の訓練データ（例えば、第３の訓練データ１１６Ｃ）に基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練するようさらに構成することができる。トランスフォーマモデル１１４の次世代は、前世代のオートエンコーダコンポーネントを使用することによって式（８）の生成された第２の訓練データ
に基づいて事前訓練された新たなトランスフォーマモデル（Ｔn）であることができる。前世代のオートエンコーダコンポーネントの例としては、以下に限定するわけではないが、前世代のエンコーダモデル１１２Ａ（「Ｅn-1」）、前世代の学習済みコードブック１１２Ｂ（「Ｚn-1」）、及び前世代の生成器モデル１１２Ｃ（「Ｇn-1」）を挙げることができる。ある実施形態では、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整、並びにトランスフォーマモデル１１４の事前訓練が、反復学習モデル（ＩＬＭ）に対応することができる。反復学習モデルに関する詳細については、例えば図３にさらに示している。
【0095】
図７Ａは、本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルの微調整の例示的なシナリオを示す図である。図７Ａの説明は、図１、図２、図３、図４、図５及び図６の要素に関連して行う。図７Ａには例示的なシナリオ７００Ａを示す。シナリオ７００Ａは、訓練データセット１１６、第１の画像セット７０２、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、トークン列（Ｓ）７０４Ａ、トランスフォーマモデル１１４、トークン列（Ｓ’）７０４Ｂ、生成／再構成画像７０６Ａ、及び識別器モデル１１２Ｄを含むことができる。シナリオ７００Ａには、動作７０８をさらに示す。ここでは、シナリオ７００Ａに関連する一連の動作について説明する。
【0096】
例えば、図７Ａからは、回路２０２が（第１の画像セット７０２を含む）第１の訓練データに基づいてオートエンコーダモデル１１２及びトランスフォーマモデル１１４を微調整することを観察することができる。オートエンコーダモデル１１２の微調整は、エンコーダモデル１１２Ａの微調整、学習済みコードブック１１２Ｂの更新、トークン列（Ｓ）の生成／更新７０４Ａ、及び識別器モデル１１２Ｄの微調整に対応することができる。ここでは、第１の画像セット７０２を入力としてエンコーダモデル１１２Ａに受け渡すことができる。エンコーダモデル１１２Ａは、第１の画像７０２を符号化して、トークン列（Ｓ）７０４Ａに変換できる量子化潜在表現を決定する。量子化潜在表現は、生成器モデル１１２Ｃに入力として提供することができる。生成器モデル１１２Ｃは、第１の符号化画像セット７０２に基づいて生成／再構成画像７０６Ａを決定することができる。再構成画像７０６Ａは、識別器モデル１１２Ｄに供給することができる。識別器モデル１１２Ｄの出力は、再構成画像７０６Ａが本物であるか否かを判定するために使用することができる。７０８において、再構成画像７０６Ａが本物であるか否かを判定する動作を実行することができる。回路２０２は、再構成画像７０６Ａが本物であるか否かを判定することができる。再構成画像７０６Ａの判定については、例えば図４でさらに説明している。
【0097】
図７Ｂは、本開示の実施形態による、第２のデータ及び第３のデータの決定のための例示的なシナリオを示す図である。図７Ｂの説明は、図１、図２、図３、図４、図５、図６Ａ、図６Ｂ及び図７Ａの要素に関連して行う。図７Ｂには例示的なシナリオ７００Ｂを示す。シナリオ７００Ｂは、合成データ生成７１０のためのブロック図と、第２のデータ決定７１８のためのブロック図とを含むことができる。合成データ生成７１０のためのブロック図は、トランスフォーマモデル１１４、予測されたトークン列（Ｓ’）７１２、生成器モデル１１２Ｃ、学習済みコードブック１１２Ｂ、第３の画像データセット７１４、及び第３の訓練データ７１６を含むことができる。第２のデータ決定７１８のためのブロック図は、訓練データセット１１６、第１の画像セット７０２、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、量子化潜在表現３０６、生成器モデル１１２Ｃ、生成／再構成画像７０６Ｂ、及び第２の訓練データ７２０を含むことができる。ここでは、シナリオ７００Ｂに関連する一連の動作について説明する。
【0098】
例えば、図７Ｂからは、第３の訓練データ７１６を合成データと呼ぶこともできることを観察することができる。トランスフォーマモデル１１４から取得されたトークン列（Ｓ’）７１２は、生成器モデル１１２Ｃに入力として提供することができる。生成器モデル１１２Ｃは、トークン列（Ｓ’）７１２及び学習済みコードブック１１２Ｂに基づいて第３の画像データセット７１４を生成することができる。例えば、トークン列（Ｓ’）７１２は、学習済みコードブック１１２Ｂから量子化潜在表現にマッピングすることができる。生成器モデル１１２Ｃは、第３の訓練データ７１６の各画像に関連する画素を決定するために使用することができる。第３の訓練データ７１６からは、第３の画像データセット７１４を決定することができる。図７Ｂからは、トークン列（Ｓ）７０４Ａを決定するために第１の画像セット７０２をエンコーダモデル１１２Ａに入力として提供できることを観察することもできる。トークン列（Ｓ）７０４Ａ及び第１の画像セット７０２は、第２の訓練データ７２０を決定するために使用することができる。第２の訓練データの生成については、例えば図４及び図６Ａでさらに説明している。第３の訓練データの生成については、例えば図５及び図６Ｂでさらに説明している。
【0099】
図７Ｃは、本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルの事前訓練のための例示的なシナリオを示す図である。図７Ｃの説明は、図１、図２、図３、図４、図５、図６Ａ、図６Ｂ、図７Ａ及び図７Ｂの要素に関連して行う。図７Ｃには例示的なシナリオ７００Ｃを示す。シナリオ７００Ｃは、トランスフォーマ事前訓練７２２のためのブロック図及びオートエンコーダ事前訓練７２６のためのブロック図を含むことができる。トランスフォーマ事前訓練７２２のためのブロック図は、第３の訓練データ７１６、第３の画像データセット７１４、エンコーダモデル１１２Ａ、トークン列（Ｓ）７０４Ａ、トークン列（Ｓ’）７０４Ｂ、トランスフォーマモデル（新）７２４、及び学習済みコードブック１１２Ｂを含むことができる。オートエンコーダ事前訓練７２６のためのブロック図は、第２の訓練データ７２０、第２の画像セット７２８、エンコーダモデル（新）７３０、トークン列（Ｓ）７０４Ａ、学習済みコードブック１１２Ｂ、生成器モデル（新）７３２、及び識別器モデル（新）７３４を含むことができる。ここでは、シナリオ７００Ｃに関連する一連の動作について説明する。
【0100】
なお、図７Ｂ及び図７Ｃは、知識移転フェーズ（ｋｎｏｗｌｅｄｇｅ ｔｒａｎｓｆｅｒ ｐｈａｓｅ）と呼ぶことができる。知識移転フェーズの実行の各エポック／反復の最後には、オリジナルデータセットに基づいてオートエンコーダモデル１１２及びトランスフォーマモデル１１４の新世代のための微調整フェーズを実行することができる。例えば、図７Ｃからは、トランスフォーマモデル（新）７２４がトランスフォーマモデル１１４の次世代であることを観察することができる。エンコーダモデル（新）７３０は、エンコーダモデル１１２Ａの次世代であることができる。さらに、生成器モデル（新）７３２は、生成器モデル１１２Ｃの次世代であることができる。識別器モデル（新）７３４は、識別器モデル１１２Ｄの次世代であることができる。トランスフォーマ事前訓練７２２では、トランスフォーマモデル（新）７２４などのトランスフォーマモデル１１４の次世代を生成することができる。オートエンコーダ事前訓練７２６では、エンコーダモデル１１２Ａの次世代（例えば、エンコーダモデル（新）７３０）、生成器モデル１１２Ｃの次世代（例えば、生成器モデル（新）７３２）、及び識別器モデル１１２Ｄの次世代（例えば、識別器モデル（新）７３４）を生成することができる。トランスフォーマ事前訓練７２２は、第３の訓練データ７１６に基づいて実行することができる。オートエンコーダ事前訓練７２６は、第２の訓練データ７２０に基づいて実行することができる。オートエンコーダモデルの事前訓練については、例えば図４でさらに説明している。トランスフォーマモデルの事前訓練については、例えば図５及び図６Ｂでさらに説明している。
【0101】
本開示の電子装置１０２は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４に対する反復学習モデル（ＩＬＭ）の適用に基づいて効果的に画像成分を生成することができる。さらに、ＶＱＧＡＮモデルに対するＩＬＭの適用は、入力画像の構成表現を見出すことができるモデルをもたらすことができる。ＶＱＧＡＮモデルは、不要な入力画像の詳細ではなく基本的な成分を学習しておくことができるので、オートエンコーダモデル１１２などのＶＱＧＡＮモデルのオートエンコーダコンポーネントは、より速く下流の識別タスクに適応してより良く一般化することができる。さらに、ＶＱＧＡＮモデルにＩＬＭを適用することで、学習済みコードブック１１２Ｂのコードブックエントリの解釈可能性を改善することもできる。従って、生成画像の様々な特性は、画像の高さを「ｈ」として幅を「ｗ」とすることができる「ｈ×ｗ」の潜在表現格子上の同じ空間位置に存在する場合、一群の同様に挙動するコードブックエントリに起因することができる。トランスフォーマモデル１１４は、訓練シーケンスの記憶に弱みを有することがある。従って、トランスフォーマモデル１１４にＩＬＭを適用することで、記憶のリスクを抑えることによって生成画像の多様性を高めることができる。例えば、トランスフォーマモデル１１４に対するＩＬＭの適用は、データ増強法として機能することができる。
【0102】
【0103】
図８は、本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的な方法の動作を示すフローチャートである。図８の説明は、図１、図２、図３、図４、図５、図６Ａ、図６Ｂ、図７Ａ、図７Ｂ及び図７Ｃの要素に関連して行う。図８にはフローチャート８００を示す。フローチャート８００は８０２～８１２の動作を含むことができ、図１の電子装置１０２又は図２の回路２０２によって実行することができる。フローチャート８００は、８０２から開始して８０４に進むことができる。
【0104】
８０４において、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ及び識別器モデル１１２Ｄを含むことができるオートエンコーダモデル１１２、並びにオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整することができる。ある実施形態では、回路２０２を、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、オートエンコーダモデル１１２、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整するように構成することができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。説明したように、オートエンコーダモデル１１２及びトランスフォーマモデル１１４は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の精度を高めるために、第１の訓練データ１１６Ａに基づいて微調整することができる。微調整及びオートエンコーダモデル１１２に関する詳細については、例えば図４（４０２）にさらに示している。
【0105】
８０６において、第１の訓練データ１１６Ａから画像サブセットを選択することができる。ある実施形態では、回路２０２を、第１の訓練データ１１６Ａから画像サブセットを選択するように構成することができる。回路２０２は、第１の画像セット１１８Ａから画像サブセットをランダムに選択することができる。画像サブセットの選択に関する詳細については、例えば図４（４０４）にさらに示している。
【0106】
８０８において、学習済みコードブック１１２Ｂに基づいて、選択された画像サブセットにエンコーダモデル１１２Ａを適用して符号化画像サブセットを決定することができる。ある実施形態では、回路２０２を、学習済みコードブック１１２Ｂに基づいて、選択された画像サブセットにエンコーダモデル１１２Ａを適用して符号化画像サブセットを決定するように構成することができる。選択された画像サブセットの各画像は、エンコーダモデル１１２Ａに供給することができる。エンコーダモデル１１２Ａは、選択された画像サブセットの各画像を圧縮して符号化することができる。画像サブセットの符号化に関する詳細については、例えば図４（４０６）にさらに示している。
【0107】
８１０において、エンコーダモデル１１２Ａの適用に基づいて、選択された画像サブセットの量子化潜在表現に対応できる、第２の画像セット１１８Ａを含む第２の訓練データ１１６Ｂを生成することができる。ある実施形態では、回路２０２を、エンコーダモデル１１２Ａの適用に基づいて、第２の画像セット１１８Ａを含む第２の訓練データ１１６Ｂを生成するように構成することができる。生成された第２の訓練データ１１６Ｂは、選択された画像サブセットの量子化潜在表現に対応することができる。第２の訓練データ１１６Ｂは、選択された画像サブセットと、選択された各画像サブセットの量子化潜在表現とを含むことができる。従って、第２の訓練データ１１６Ｂを使用して、画像を量子化潜在表現にマッピングすることに関する情報を転送することができる。第２の訓練データの生成に関する詳細については、例えば図４（４０８）にさらに示している。
【0108】
８１２において、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練することができる。ある実施形態では、回路２０２を、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練するよう構成することができる。オートエンコーダモデル１１２の事前訓練は、エンコーダモデル１１２Ａを事前訓練し、学習済みコードブック１１２Ｂを更新し、生成器モデル１１２Ｃを事前訓練し、識別器モデル１１２Ｄを事前訓練することができる。オートエンコーダモデルの事前訓練に関する詳細については、例えば図４（４１０）にさらに示している。制御は終了に進むことができる。
【0109】
フローチャート８００については、８０４、８０６、８０８、８１０及び８１２などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、実装に応じてこのような離散的動作をさらなる動作にさらに分割し、より少ない動作に結合し、又は削除することもできる。
【0110】
図９は、本開示の実施形態による、トランスフォーマモデルを事前訓練する例示的な方法の動作を示すフローチャートである。図９の説明は、図１、図２、図３、図４、図５、図６．Ａ、図６Ｂ、図７Ａ、図７Ｂ、図７Ｃ及び図８の要素に関連して行う。図９にはフローチャート９００を示す。フローチャート９００は、９０２～９１２の動作を含むことができ、図１の電子装置１０２又は図２の回路２０２によって実行することができる。フローチャート９００は、９０２から開始して９０４に進むことができる。
【0111】
９０４において、トランスフォーマモデル１１４を適用して、新たな合成画像の各々のトークン列をトークン列の開始に基づいて予測することができる。ある実施形態では、回路２０２を、トランスフォーマモデル１１４を適用して、新たな合成画像の各々のトークン列をトークン列の開始に基づいて予測するように構成することができる。トランスフォーマモデルの適用に関する詳細については、例えば図５（５０２）にさらに示している。
【0112】
９０６において、学習済みコードブック１１２Ｂに基づいて、予測されたトークン列を量子化潜在表現に変換することができる。ある実施形態では、回路２０２を、学習済みコードブック１１２Ｂに基づいて、予測されたトークン列を量子化潜在表現に変換するように構成することができる。トークン列の決定に関する詳細については、例えば図５（５０４）にさらに示している。
【0113】
９０８において、量子化潜在表現に生成器モデル１１２Ｃを適用して新たな合成画像を生成することができる。ある実施形態では、回路２０２を、量子化潜在表現に生成器モデル１１２Ｃを適用して新たな合成画像を生成するように構成することができる。生成器モデル１１２Ｃは、量子化潜在表現に基づいて新たな合成画像を生成することができる。トークン列は、トランスフォーマモデル１１４の適用に基づいて決定することができ、生成器モデル１１２Ｃは、トークン列に対応する第３の訓練データ１１６Ｃを生成することができる。生成器モデルの適用に関する詳細については、例えば図５（５０６で）にさらに示している。
【0114】
９１０において、第３の画像セット１１８Ｃを含む第３の訓練データ１１６Ｃを生成することができる。ある実施形態では、回路２０２を、生成された新たな合成画像に対応する第３の画像セット１１８Ｃを含む第３の訓練データ１１６Ｃを生成するように構成することができる。第３の訓練データ生成に関する詳細については、例えば図５（５０８）にさらに示している。
【0115】
９１２において、生成された第３の訓練データ１１６Ｃに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練することができる。ある実施形態では、回路２０２を、生成された第３の訓練データ１１６Ｃに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練するよう構成することができる。トランスフォーマモデル１１４の次世代は、前世代のオートエンコーダコンポーネント（例えば、前世代のエンコーダモデル１１２Ａ（「Ｅn-1」）、前世代の学習済みコードブック１１２Ｂ（「Ｚn-1」）、及び前世代の生成器モデル１１２Ｃ（「Ｇn-1」）を使用することによって、生成された第３の訓練データ
に基づいて事前訓練できる新たなトランスフォーマモデル（「Ｔn」）であることができる。トランスフォーマモデルの事前訓練に関する詳細については、例えば図５（５１０）にさらに示している。制御は終了に進むことができる。
【0116】
フローチャート９００は、９０４、９０６、９０８、９１０及び９１２などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、実装に応じてこのような離散的動作をさらなる動作にさらに分割し、より少ない動作に結合し、又は削除することもできる。
【0117】
図１０は、本開示の実施形態による、オートエンコーダモデルに対する反復学習の適用に基づく画像成分生成のための例示的な方法の動作を示すフローチャートである。図１０の説明は、図１、図２、図３、図４、図５、図６Ａ、図６Ｂ、図７Ａ、図７Ｂ、図７Ｃ、図８及び図９の要素に関連して行う。図１０にはフローチャート１０００を示す。フローチャート１０００は１００２～１０１２の動作を含み、図１の電子装置１０２又は図２の回路２０２によって実行することができる。フローチャート１０００は、１００２から開始して１００４に進むことができる。
【0118】
１００４において、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ及び識別器モデル１１２Ｄを含むことができるオートエンコーダモデル１１２を微調整することができる。ある実施形態では、回路２０２を、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいてオートエンコーダモデル１１２を微調整するように構成することができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ、トランスフォーマモデル１１４、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。オートエンコーダモデル１１２及びトランスフォーマモデル１１４は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の精度を高めるために、第１の訓練データ１１６Ａに基づいて微調整することができる。オートエンコーダモデル１１２の微調整に関する詳細については、例えば図６Ａ（６０２）にさらに示している。
【0119】
１００６において、学習済みコードブック１１２Ｂに基づいて第１の画像セット１１８Ａにエンコーダモデル１１２Ａを適用して、第１の画像セット１１８Ａの量子化潜在表現に対応できる第１の符号化画像セットを決定することができる。ある実施形態では、回路２０２を、学習済みコードブック１１２Ｂに基づいて、第１の画像セット１１８Ａのサブセットにエンコーダモデル１１２Ａを適用して符号化画像セットを決定するように構成することができる。第１の符号化画像セットは、第１の画像セットの第１のサブセット１１８Ａの量子化潜在表現に対応し、第２の訓練データを構築することができる。エンコーダモデルの適用に関する詳細については、例えば図６Ａ（６０４）にさらに示している。
【0120】
１００８において、第１の訓練データ１１６Ａからの画像サブセットと、画像サブセットの量子化潜在表現とに基づいて、第２の画像データセットを含む第２の訓練データ１１６Ｂを生成することができる。ある実施形態では、回路２０２を、第１の訓練データ１１６Ａからの画像サブセットと、画像サブセットの量子化潜在表現とに基づいて、第２の画像データセットを含む第２の訓練データ１１６Ｂを生成するようにさらに構成することができる。第２の訓練データ１１６Ｂの生成に関する詳細については、例えば図６Ａ（６０６）にさらに示している。
【0121】
１０１０において、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練することができる。ある実施形態では、回路２０２を、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練するようさらに構成することができる。オートエンコーダモデル１１２の事前訓練に関する詳細については、例えば図６Ａ（６０８）にさらに示している。
【0122】
１０１２において、オートエンコーダモデル１１２の最終世代に基づいてトランスフォーマモデル１１４を微調整することができる。ある実施形態では、回路２０２を、オートエンコーダモデル１１２の最終世代に基づいてトランスフォーマモデル１１４を微調整するようにさらに構成することができる。トランスフォーマモデル１１４の微調整に関する詳細については、例えば図６Ａ（６１０）にさらに示している。制御は終了に進むことができる。
【0123】
フローチャート１０００は、１００４、１００６、１００８、１０１０、及び１０１２などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、実装に応じてこのような離散的動作をさらなる動作にさらに分割し、より少ない動作に結合し、又は削除することもできる。
【0124】
図１１は、本開示の実施形態による、オートエンコーダモデル及びトランスフォーマモデルに対する反復学習の適用に基づく画像成分生成のための例示的な方法の動作を示すフローチャートである。図１１の説明は、図１、図２、図３、図４、図５、図６Ａ、図６Ｂ、図７Ａ、図７Ｂ、図７Ｃ、図８、図９及び図１０の要素に関連して行う。図１１にはフローチャート１１００を示す。フローチャート１１００は、１１０２～１１１４の動作を含むことができ、図１の電子装置１０２又は図２の回路２０２によって実行することができる。フローチャート１１００は、１１０２から開始して１１０４に進むことができる。
【0125】
１１０４において、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ及び識別器モデル１１２Ｄを含むことができるオートエンコーダモデル１１２、並びにオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整することができる。ある実施形態では、回路２０２を、第１の画像セット１１８Ａを含む第１の訓練データ１１６Ａに基づいて、オートエンコーダモデル１１２、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル１１４を微調整するように構成することができる。オートエンコーダモデル１１２は、エンコーダモデル１１２Ａ、トランスフォーマモデル１１４に関連する学習済みコードブック１１２Ｂ、生成器モデル１１２Ｃ、及び識別器モデル１１２Ｄを含むことができる。説明したように、オートエンコーダモデル１１２及びトランスフォーマモデル１１４は、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の精度を高めるために、第１の訓練データ１１６Ａに基づいて微調整することができる。オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整に関する詳細については、例えば図６Ｂ（６１２）にさらに示している。
【0126】
１１０６において、トランスフォーマモデル１１４を適用して、新たな合成画像の各々のトークン列をトークン列の開始に基づいて予測することができる。ある実施形態では、回路２０２を、トランスフォーマモデル１１４を適用して、新たな合成画像の各々のトークン列をトークン列の開始に基づいて予測するように構成することができる。トランスフォーマモデル１１４の適用に関する詳細については、例えば図６Ｂ（６１６）にさらに示している。
【0127】
１１０８において、学習済みコードブック１１２Ｂに基づいて、予測されたトークン列を量子化潜在表現に変換することができる。ある実施形態では、回路２０２を、学習済みコードブック１１２Ｂに基づいて、予測されたトークン列を量子化潜在表現に変換するように構成することができる。予測されたトークン列の変換に関する詳細については、例えば図６Ｂ（６１８）にさらに示す。
【0128】
１１１０において、量子化潜在表現に生成器モデル１１２Ｃを適用して新たな合成画像を生成することができる。ある実施形態では、回路２０２を、量子化潜在表現に生成器モデル１１２Ｃを適用して新たな合成画像を生成するように構成することができる。生成器モデル１１２Ｃの適用に関する詳細については、例えば図６Ｂ（６２０）にさらに示している。
【0129】
１１１２において、生成された新たな合成画像に対応する第３の画像セット１１８Ｃを含む第３の訓練データ１１６Ｃを生成することができる。ある実施形態では、回路２０２を、生成された新たな合成画像に対応する第３の画像セット１１８Ｃを含む第３の訓練データ１１６Ｃを生成するように構成することができる。第３の訓練データ生成に関する詳細については、例えば図６Ｂ（６２２）にさらに示している。
【0130】
１１１４において、生成された第３の訓練データ１１６Ｃに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練することができる。ある実施形態では、回路２０２を、生成された第３の訓練データ１１６Ｃに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練するよう構成することができる。トランスフォーマモデルの事前訓練に関する詳細については、例えば図７Ｃ（７２２）にさらに示している。
【0131】
フローチャート１１００については、１１０４、１１０６、１１０８、１１１０、１１１２及び１１１４などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、実装に応じてこのような離散的動作をさらなる動作にさらに分割し、より少ない動作に結合し、又は削除することもできる。
【0132】
本開示の様々な実施形態は、機械及び／又はコンピュータが電子装置（例えば、図１の電子装置１０２）を動作させるために実行できるコンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。このような命令は、オートエンコーダモデル（例えば、図１のオートエンコーダモデル１１２）、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル（例えば、図１のトランスフォーマモデル１１４）を、第１の画像セット（例えば、図１の第１の画像セット１１８Ａ）を含む第１の訓練データ（例えば、図１の第１の訓練データ１１６Ａ）に基づいて微調整することを含むことができる動作を電子装置１０２に実行させることができる。オートエンコーダモデルは、エンコーダモデル（例えば、図１のエンコーダモデル１１２Ａ）、トランスフォーマモデル１１４に関連する学習済みコードブック（例えば、図１の学習済みコードブック１１２Ｂ）、生成器モデル（例えば、図１の生成器モデル１１２Ｃ）、及び識別器モデル（例えば、図１の識別器モデル１１２Ｄ）を含むことができる。動作は、第２の訓練データ１１６Ｂを構築するために第１の訓練データ１１６Ａから画像サブセットを選択することをさらに含むことができる。この動作は、第２の訓練データ１１６Ｂを構築するために、学習済みコードブック１１２Ｂに基づいて、選択された画像サブセットにエンコーダモデル１１２Ａを適用して符号化画像サブセットを決定することをさらに含むことができる。動作は、エンコーダモデル１１２Ａの適用に基づいて、第２の画像セット（例えば、第２の画像セット１１８Ｂ）を含む第２の訓練データ（例えば、第２の訓練データ１１６Ｂ）を生成することをさらに含むことができる。生成された第２の訓練データ１１６Ｂは、選択された画像サブセットの量子化潜在表現に対応することができる。動作は、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練することをさらに含むことができる。
【0133】
本開示の様々な実施形態は、機械及び／又はコンピュータが電子装置（例えば、図１の電子装置１０２）を動作させるために実行できるコンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。このような命令は、オートエンコーダモデル（例えば、図１のオートエンコーダモデル１１２）、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル（例えば、図１のトランスフォーマモデル１１４）を、第１の画像セット（例えば、図１の第１の画像セット１１８Ａ）を含む第１の訓練データ（例えば、図１の第１の訓練データ１１６Ａ）に基づいて微調整することを含むことができる動作を電子装置１０２に実行させることができる。オートエンコーダモデル１１２は、エンコーダモデル（例えば、図１のエンコーダモデル１１２Ａ）、トランスフォーマモデル１１４に関連する学習済みコードブック（例えば、図１の学習済みコードブック１１２Ｂ）、生成器モデル（例えば、図１の生成器モデル１１２Ｃ）、及び識別器モデル（例えば、識別器モデル１１２Ｄ）を含むことができる。動作は、トランスフォーマモデル（例えば、図１のトランスフォーマモデル１１４）を適用して、新たな合成画像の各々のトークン列をトークン列の開始に基づいて予測することをさらに含むことができる。動作は、学習済みコードブック（例えば、図１の学習済みコードブック１１２Ｂ）に基づいて、予測されたトークン列を量子化潜在表現に変換することをさらに含むことができる。動作は、量子化潜在表現に生成器モデル（例えば、図１の生成器モデル１１２Ｃ）を適用して新たな合成画像を生成することをさらに含むことができる。動作は、生成された新たな合成画像に対応する第３の画像セットを含む第３の訓練データを生成することをさらに含むことができる。動作は、生成された第２の訓練データ１１６Ｂに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練することをさらに含むことができる。
【0134】
本開示の例示的な態様は、回路（回路２０２など）を含む電子装置（図１の電子装置１０２など）を提供することができる。回路２０２は、第１の画像セット（例えば、図１の第１の画像セット１１８Ａ）を含む第１の訓練データ（例えば、図１の第１の訓練データ１１６Ａ）に基づいて、オートエンコーダモデル（例えば、図１のオートエンコーダモデル１１２）、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル（例えば、図１のトランスフォーマモデル１１４）を微調整するように構成することができる。オートエンコーダモデル１１２は、エンコーダモデル（例えば、図１のエンコーダモデル１１２Ａ）と、トランスフォーマモデル１１４に関連する学習済みコードブック（例えば、図１の学習済みコードブック１１２Ｂ）と、生成器モデル（例えば、図１の生成器モデル１１２Ｃ）と、識別器モデル（例えば、図１の識別器モデル１１２Ｄ）とを含むことができる。回路２０２は、第１の訓練データ１１６Ａから画像サブセットを選択するように構成することができる。回路２０２は、学習済みコードブック１１２Ｂに基づいて、選択された画像サブセットにエンコーダモデル１１２Ａを適用して符号化画像サブセットを決定するように構成することができる。回路２０２は、エンコーダモデル１１２Ａの適用に基づいて、第２の画像セット（例えば、第２の画像セット１１８Ｂ）を含む第２の訓練データ（例えば、第２の訓練データ１１６Ｂ）を生成するように構成することができる。生成された第２の訓練データ１１６Ｂは、選択された画像サブセットの量子化潜在表現に対応することができる。回路２０２は、生成された第２の訓練データ１１６Ｂに基づいて、オートエンコーダモデル１１２の次世代を作成するようにオートエンコーダモデル１１２を事前訓練するよう構成することができる。
【0135】
本開示の例示的な態様は、（回路２０２などの）回路を含む（図１の電子装置１０２などの）電子装置を提供することができる。回路２０２は、第１の画像セット（例えば、図１の第１の画像セット１１８Ａ）を含む第１の訓練データ（例えば、図１の第１の訓練データ１１６Ａ）に基づいて、オートエンコーダモデル（例えば、図１のオートエンコーダモデル１１２）、及びオートエンコーダモデル１１２に関連するトランスフォーマモデル（例えば、図１のトランスフォーマモデル１１４）を微調整するように構成することができる。オートエンコーダモデル１１２は、エンコーダモデル（例えば、図１のエンコーダモデル１１２Ａ）と、トランスフォーマモデル１１４に関連する学習済みコードブック（例えば、図１の学習済みコードブック１１２Ｂ）と、生成器モデル（例えば、図１の生成器モデル１１２Ｃ）と、識別器モデル（例えば、識別器モデル１１２Ｄとを含むことができる。回路２０２は、学習済みコードブック１１２Ｂに基づいて、第１の画像セット１１８Ａにエンコーダモデル１１２Ａを適用して第１の符号化画像セットを決定するように構成することができる。第１の符号化画像セットは、第１の画像セット１１８Ａの量子化潜在表現に対応することができる。回路２０２は、トランスフォーマモデル（例えば、図１のトランスフォーマモデル１１４）を適用して、新たな合成画像の各々のトークン列をトークン列の開始に基づいて予測するように構成することができる。回路２０２は、学習済みコードブック（例えば、図１の学習済みコードブック１１２Ｂ）に基づいて、予測されたトークン列を量子化潜在表現に変換するように構成することができる。回路２０２は、量子化潜在表現に生成器モデル（例えば、図１の生成器モデル１１２Ｃ）を適用して新たな合成画像を生成するように構成することができる。回路２０２は、生成された新たな合成画像に対応する第３の画像セットを含む第３の訓練データを生成するように構成することができる。回路２０２は、生成された第２の訓練データ１１６Ｂに基づいて、トランスフォーマモデル１１４の次世代を作成するようにトランスフォーマモデル１１４を事前訓練するよう構成することができる。ある実施形態では、予測されたトークン列が、学習済みコードブック１１２Ｂからのインデックス列に対応することができる。
【0136】
ある実施形態では、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整、並びにオートエンコーダモデル１１２の事前訓練が、反復学習モデル（ＩＬＭ）に対応することができる。別の実施形態では、オートエンコーダモデル１１２及びトランスフォーマモデル１１４の微調整、並びにトランスフォーマモデル１１４の事前訓練が、反復学習モデル（ＩＬＭ）に対応することができる。
【0137】
ある実施形態では、オートエンコーダモデル１１２が、ベクトル量子化敵対的生成ネットワーク（ＶＱＧＡＮ）に基づく畳み込みニューラルネットワーク（ＣＮＮ）モデルに対応することができる。
【0138】
ある実施形態では、回路２０２を、選択された画像サブセットに対するエンコーダモデル１１２Ａの適用に基づいて、選択された画像サブセットを画像空間から信号空間にマッピングするようにさらに構成することができる。ある実施形態では、信号空間が学習済みコードブック１１２Ｂに対応することができる。
【0139】
ある実施形態では、選択された画像サブセットに関連する多次元コードベクトルセットの各ベクトルを学習済みコードブック１１２Ｂからの最も近いエントリに置き換えることに基づいて、選択された画像サブセットの量子化潜在表現を決定することができる。
【0140】
ある実施形態では、回路２０２を、エンコーダモデル１１２Ａ、学習済みコードブック１１２Ｂ及び生成器モデル１１２Ｃに関連する第１の損失関数を決定するようにさらに構成することができる。回路２０２は、オートエンコーダモデル１１２に関連する第２の損失関数を決定するようにさらに構成することができる。回路２０２は、エンコーダモデル１１２Ａに関連する第３の損失関数を決定するようにさらに構成することができる。オートエンコーダモデル１１２の事前訓練は、決定された第１の損失関数、決定された第２の損失関数、及び決定された第３の損失関数にさらに基づくことができる。
【0141】
ある実施形態では、第３の損失関数の決定が、学習済みコードブック１１２Ｂに対する、オートエンコーダモデル１１２の次世代のエンコーダモデルに関連する第２のノルムに基づくことができる。
【0142】
本開示は、本明細書で説明した方法の実行を可能にする全ての機能を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品内に位置付けることもできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【0143】
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【外国語明細書】