▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024059101
(43)【公開日】2024-04-30
(54)【発明の名称】デジタル画像データを処理するための方法及び装置
(51)【国際特許分類】
G06T 5/60 20240101AFI20240422BHJP
G06V 10/774 20220101ALI20240422BHJP
【ＦＩ】
G06T5/60
G06V10/774
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023178261
(22)【出願日】2023-10-16
(31)【優先権主張番号】22201999
(32)【優先日】2022-10-17
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ユメン リー
(72)【発明者】
【氏名】アンナ コレヴァ
(72)【発明者】
【氏名】ダン チャン
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE08
5B057DA20
5B057DB02
5B057DB06
5B057DB09
5B057DC22
5B057DC25
5L096DA01
5L096EA37
5L096GA19
5L096HA11
5L096KA04
5L096KA15
5L096MA03
(57)【要約】
【課題】デジタル画像データを処理する方法、例えばコンピュータ実装された方法に関する。
【解決手段】本方法は、第１のデジタル画像を、敵対的生成ネットワークＧＡＮシステムの生成器に関連付けられた拡大された潜在空間にマッピングするように構成されたエンコーダによって、第１のデジタル画像に関連付けられたノイズ予測を決定することと、ＧＡＮシステムの生成器によって、第１のデジタル画像に関連付けられたノイズ予測と、拡大された潜在空間に関連付けられた複数の潜在変数とに基づいて、少なくとも１つのさらなるデジタル画像を決定することと、を含む。
【選択図】図２
【解決手段】本方法は、第１のデジタル画像を、敵対的生成ネットワークＧＡＮシステムの生成器に関連付けられた拡大された潜在空間にマッピングするように構成されたエンコーダによって、第１のデジタル画像に関連付けられたノイズ予測を決定することと、ＧＡＮシステムの生成器によって、第１のデジタル画像に関連付けられたノイズ予測と、拡大された潜在空間に関連付けられた複数の潜在変数とに基づいて、少なくとも１つのさらなるデジタル画像を決定することと、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
デジタル画像データを処理する方法、例えばコンピュータ実装された方法であって、
前記方法は、
第１のデジタル画像（ｘ１）を、敵対的生成ネットワークＧＡＮシステム（１０）の生成器（１４；１４ａ）に関連付けられた拡大された潜在空間（ＳＰ－Ｗ＋）にマッピングするように構成されたエンコーダ（１２；１２ａ）によって、前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を決定すること（１００）と、
前記ＧＡＮシステム（１０）の前記生成器（１４）によって、前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ）とに基づいて、少なくとも１つのさらなるデジタル画像（ｘ’）を決定すること（１０２）と、
を含む、方法。
前記方法は、
第１のデジタル画像（ｘ１）を、敵対的生成ネットワークＧＡＮシステム（１０）の生成器（１４；１４ａ）に関連付けられた拡大された潜在空間（ＳＰ－Ｗ＋）にマッピングするように構成されたエンコーダ（１２；１２ａ）によって、前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を決定すること（１００）と、
前記ＧＡＮシステム（１０）の前記生成器（１４）によって、前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ）とに基づいて、少なくとも１つのさらなるデジタル画像（ｘ’）を決定すること（１０２）と、
を含む、方法。
【請求項2】
前記方法は、
前記複数の潜在変数（ＬＡＴ－ＶＡＲ）を、
ａ）例えば前記エンコーダ（１２）を使用して、前記第１のデジタル画像（ｘ１）とは異なる第２のデジタル画像（ｘ２）、
ｂ）複数の確率分布（ＤＩＳＴＲ）
のうちの少なくとも１つに基づいて決定すること（１１０）
を含む、
請求項１に記載の方法。
前記複数の潜在変数（ＬＡＴ－ＶＡＲ）を、
ａ）例えば前記エンコーダ（１２）を使用して、前記第１のデジタル画像（ｘ１）とは異なる第２のデジタル画像（ｘ２）、
ｂ）複数の確率分布（ＤＩＳＴＲ）
のうちの少なくとも１つに基づいて決定すること（１１０）
を含む、
請求項１に記載の方法。
【請求項3】
前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた前記複数の潜在変数（ＬＡＴ－ＶＡＲ）のうちの少なくともいくつかは、前記第１のデジタル画像（ｘ１）の以下の態様、すなわち、
ａ）スタイル、例えば非意味論的な外観、
ｂ）テクスチャ、
ｃ）色
のうちの少なくとも１つを特徴付ける、
請求項１又は２に記載の方法。
ａ）スタイル、例えば非意味論的な外観、
ｂ）テクスチャ、
ｃ）色
のうちの少なくとも１つを特徴付ける、
請求項１又は２に記載の方法。
【請求項4】
前記方法は、
ａ）前記第１のデジタル画像（ｘ１）に基づいて、複数の、例えば階層的な特徴マップ（ＦＭ）を決定すること（１２０）、
ｂ）前記複数の、例えば階層的な特徴マップ（ＦＭ）に基づいて、前記第１のデジタル画像（ｘ１）に関する前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ－ｘ１）を決定すること（１２２）、
ｃ）前記複数の、例えば階層的な特徴マップ（ＦＭ）のうちの少なくとも１つに基づいて、例えば加法性のノイズマップ（ＮＯＩＳＥ－ＭＡＰ）を決定すること（１２４）
のうちの少なくとも１つを含む、
請求項１乃至３のいずれか一項に記載の方法。
ａ）前記第１のデジタル画像（ｘ１）に基づいて、複数の、例えば階層的な特徴マップ（ＦＭ）を決定すること（１２０）、
ｂ）前記複数の、例えば階層的な特徴マップ（ＦＭ）に基づいて、前記第１のデジタル画像（ｘ１）に関する前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ－ｘ１）を決定すること（１２２）、
ｃ）前記複数の、例えば階層的な特徴マップ（ＦＭ）のうちの少なくとも１つに基づいて、例えば加法性のノイズマップ（ＮＯＩＳＥ－ＭＡＰ）を決定すること（１２４）
のうちの少なくとも１つを含む、
請求項１乃至３のいずれか一項に記載の方法。
【請求項5】
前記方法は、
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）の少なくとも一部をランダム及び／又は擬似ランダムにマスキングすること（１３０）
を含む、
請求項１乃至４の少なくとも一項に記載の方法。
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）の少なくとも一部をランダム及び／又は擬似ランダムにマスキングすること（１３０）
を含む、
請求項１乃至４の少なくとも一項に記載の方法。
【請求項6】
前記方法は、
前記ノイズマップ（ＮＯＩＳＥ－ＭＡＰ）を、例えばランダム及び／又は擬似ランダムにマスキングすること（１３２）
を含む、
請求項４乃至５の少なくとも一項に記載の方法。
前記ノイズマップ（ＮＯＩＳＥ－ＭＡＰ）を、例えばランダム及び／又は擬似ランダムにマスキングすること（１３２）
を含む、
請求項４乃至５の少なくとも一項に記載の方法。
【請求項7】
前記方法は、
前記ノイズマップ（ＮＯＩＳＥ－ＭＡＰ；ε）を複数の、例えばＰ×Ｐ個の、例えば重なり合っていないパッチ（ＰＡＴＣＨ）に分割すること（１３２ａ）、例えば空間的に分割することと、
前記複数のパッチ（ＰＡＴＣＨ）の部分集合（ＰＡＴＣＨ－ＳＵＢ）をランダム及び／又は擬似ランダムに選択すること（１３２ｂ）と、
前記複数のパッチ（ＰＡＴＣＨ）の前記部分集合（ＰＡＴＣＨ－ＳＵＢ）を、例えば同等のサイズの、例えば単位ガウス分布のランダム変数のパッチ（ＰＡＴＣＨ－ＲＮＤ）によって置き換えること（１３２ｃ）と、
を含む、
請求項６に記載の方法。
前記ノイズマップ（ＮＯＩＳＥ－ＭＡＰ；ε）を複数の、例えばＰ×Ｐ個の、例えば重なり合っていないパッチ（ＰＡＴＣＨ）に分割すること（１３２ａ）、例えば空間的に分割することと、
前記複数のパッチ（ＰＡＴＣＨ）の部分集合（ＰＡＴＣＨ－ＳＵＢ）をランダム及び／又は擬似ランダムに選択すること（１３２ｂ）と、
前記複数のパッチ（ＰＡＴＣＨ）の前記部分集合（ＰＡＴＣＨ－ＳＵＢ）を、例えば同等のサイズの、例えば単位ガウス分布のランダム変数のパッチ（ＰＡＴＣＨ－ＲＮＤ）によって置き換えること（１３２ｃ）と、
を含む、
請求項６に記載の方法。
【請求項8】
前記方法は、
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を、第２のデジタル画像（ｘ２）又は前記第２のデジタル画像（ｘ２）のスタイル予測（ＰＲＥＤ－ＳＴＹＬＥ－ｘ２）と組み合わせること（１４０）と、
組み合わせられた、前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記第２のデジタル画像（ｘ２）のスタイル予測（ＰＲＥＤ－ＳＴＹＬＥ－ｘ２）とに基づいて、前記生成器（１４ａ）を使用してさらなるデジタル画像（ｘ１２）を生成すること（１４２）と、
を含む、
請求項１乃至７の少なくとも一項に記載の方法。
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を、第２のデジタル画像（ｘ２）又は前記第２のデジタル画像（ｘ２）のスタイル予測（ＰＲＥＤ－ＳＴＹＬＥ－ｘ２）と組み合わせること（１４０）と、
組み合わせられた、前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記第２のデジタル画像（ｘ２）のスタイル予測（ＰＲＥＤ－ＳＴＹＬＥ－ｘ２）とに基づいて、前記生成器（１４ａ）を使用してさらなるデジタル画像（ｘ１２）を生成すること（１４２）と、
を含む、
請求項１乃至７の少なくとも一項に記載の方法。
【請求項9】
前記方法は、
前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を提供すること（１５０）と、
前記第１のデジタル画像（ｘ１）の内容、例えば意味論的な内容に適用されるべき種々異なるスタイルを特徴付ける種々異なる潜在変数の集合（ＳＥＴ－ＬＡＴ－ＶＡＲ）を提供すること（１５２）と、
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記種々異なるスタイルを特徴付ける前記種々異なる潜在変数の集合（ＳＥＴ－ＬＡＴ－ＶＡＲ）とに基づいて、前記生成器（１４ｂ）を使用して、種々異なるスタイルを有する複数のデジタル画像（ＰＬＵＲ－ｘ）を生成すること（１５４）と、
を含む、
請求項１乃至８の少なくとも一項に記載の方法。
前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を提供すること（１５０）と、
前記第１のデジタル画像（ｘ１）の内容、例えば意味論的な内容に適用されるべき種々異なるスタイルを特徴付ける種々異なる潜在変数の集合（ＳＥＴ－ＬＡＴ－ＶＡＲ）を提供すること（１５２）と、
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記種々異なるスタイルを特徴付ける前記種々異なる潜在変数の集合（ＳＥＴ－ＬＡＴ－ＶＡＲ）とに基づいて、前記生成器（１４ｂ）を使用して、種々異なるスタイルを有する複数のデジタル画像（ＰＬＵＲ－ｘ）を生成すること（１５４）と、
を含む、
請求項１乃至８の少なくとも一項に記載の方法。
【請求項10】
前記方法は、
例えば第１のドメイン（ＤＯＭ－１）に関連付けられた１つ又は複数のデジタル画像が含まれる画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）を提供すること（１６０）と、
例えば第２のドメイン（ＤＯＭ－２）に関連付けられた１つ又は複数のデジタル画像が含まれる画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－２）を提供すること（１６２）と、
前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＤ－ＤＡＴ－ＤＯＭ－１）に前記第２のドメイン（ＤＯＭ－２）のスタイル（ＳＴＹＬＥ－２）を適用すること（１６４）と、
を含む、
請求項１乃至９の少なくとも一項に記載の方法。
例えば第１のドメイン（ＤＯＭ－１）に関連付けられた１つ又は複数のデジタル画像が含まれる画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）を提供すること（１６０）と、
例えば第２のドメイン（ＤＯＭ－２）に関連付けられた１つ又は複数のデジタル画像が含まれる画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－２）を提供すること（１６２）と、
前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＤ－ＤＡＴ－ＤＯＭ－１）に前記第２のドメイン（ＤＯＭ－２）のスタイル（ＳＴＹＬＥ－２）を適用すること（１６４）と、
を含む、
請求項１乃至９の少なくとも一項に記載の方法。
【請求項11】
前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）は、ラベル（ＬＡＢ）を含み、
例えば、前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＤ－ＤＡＴ－ＤＯＭ－１）に前記第２のドメイン（ＤＯＭ－２）の前記スタイル（ＳＴＹＬＥ－２）を適用すること（１６４）は、前記ラベル（ＬＡＢ）を保存すること（１６４ａ）を含む、
請求項１０に記載の方法。
例えば、前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＤ－ＤＡＴ－ＤＯＭ－１）に前記第２のドメイン（ＤＯＭ－２）の前記スタイル（ＳＴＹＬＥ－２）を適用すること（１６４）は、前記ラベル（ＬＡＢ）を保存すること（１６４ａ）を含む、
請求項１０に記載の方法。
【請求項12】
前記方法は、
第１の内容情報（Ｉ－ＣＯＮＴ－１）を有する第１の画像データ（ＩＭＧ－ＤＡＴ－１）を提供すること（１７０）と、
例えば前記第１の内容情報（Ｉ－ＣＯＮＴ－１）とは異なる第２の内容情報（Ｉ－ＣＯＮＴ－２）が含まれる第２の画像データ（ＩＭＧ－ＤＡＴ－２）を提供すること（１７２）と、
前記第２の画像データ（ＩＭＧ－ＤＡＴ－２）のスタイル情報（Ｉ－ＳＴＹＬＥ－２）を抽出すること（１７４）と、
前記第１の画像データ（ＩＭＧ－ＤＡＴ－１）に前記第２の画像データ（ＩＭＧ－ＤＡＴ－２）の前記スタイル情報（Ｉ－ＳＴＹＬＥ－２）の少なくとも一部を適用すること（１７６）と、
を含む、
請求項１乃至１１の少なくとも一項に記載の方法。
第１の内容情報（Ｉ－ＣＯＮＴ－１）を有する第１の画像データ（ＩＭＧ－ＤＡＴ－１）を提供すること（１７０）と、
例えば前記第１の内容情報（Ｉ－ＣＯＮＴ－１）とは異なる第２の内容情報（Ｉ－ＣＯＮＴ－２）が含まれる第２の画像データ（ＩＭＧ－ＤＡＴ－２）を提供すること（１７２）と、
前記第２の画像データ（ＩＭＧ－ＤＡＴ－２）のスタイル情報（Ｉ－ＳＴＹＬＥ－２）を抽出すること（１７４）と、
前記第１の画像データ（ＩＭＧ－ＤＡＴ－１）に前記第２の画像データ（ＩＭＧ－ＤＡＴ－２）の前記スタイル情報（Ｉ－ＳＴＹＬＥ－２）の少なくとも一部を適用すること（１７６）と、
を含む、
請求項１乃至１１の少なくとも一項に記載の方法。
【請求項13】
前記方法は、
例えば少なくとも１つのニューラルネットワークシステム（ＮＮＳ）を訓練するための訓練データ（ＴＲＡＩＮ－ＤＡＴ）を生成すること（１８０）
を含み、
前記生成すること（１８０）は、例えばソースドメインの画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ）と、前記ソースドメインの修正された画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ’）とに基づいており、
例えば前記修正された画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ’）は、画像スタイルに関して、例えばさらなる画像データ（ＩＭＧ－ＤＡＴ’）のスタイルに基づいて修正され及び／又は修正されており、
前記方法は、任意選択肢として、
前記訓練データ（ＴＲＡＩＮ－ＤＡＴ）に基づいて前記少なくとも１つのニューラルネットワークシステム（ＮＮＳ）を訓練すること（１８２）
を含む、
請求項１乃至１２の少なくとも一項に記載の方法。
例えば少なくとも１つのニューラルネットワークシステム（ＮＮＳ）を訓練するための訓練データ（ＴＲＡＩＮ－ＤＡＴ）を生成すること（１８０）
を含み、
前記生成すること（１８０）は、例えばソースドメインの画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ）と、前記ソースドメインの修正された画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ’）とに基づいており、
例えば前記修正された画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ’）は、画像スタイルに関して、例えばさらなる画像データ（ＩＭＧ－ＤＡＴ’）のスタイルに基づいて修正され及び／又は修正されており、
前記方法は、任意選択肢として、
前記訓練データ（ＴＲＡＩＮ－ＤＡＴ）に基づいて前記少なくとも１つのニューラルネットワークシステム（ＮＮＳ）を訓練すること（１８２）
を含む、
請求項１乃至１２の少なくとも一項に記載の方法。
【請求項14】
請求項１乃至１３の少なくとも一項に記載の方法を実施するための装置（２００）。
【請求項15】
コンピュータプログラム（ＰＲＧ；ＰＲＧ’）であって、当該コンピュータプログラム（ＰＲＧ；ＰＲＧ’）がコンピュータ（２０２）によって実行された場合に、請求項１乃至１３の少なくとも一項に記載の方法を前記コンピュータ（２０２）に実施させるための命令を含むコンピュータプログラム（ＰＲＧ；ＰＲＧ’）。
【請求項16】
コンピュータ（２０２）によって実行された場合に、請求項１乃至１３の少なくとも一項に記載の方法を前記コンピュータ（２０２）に実施させるための命令（ＰＲＧ’）を含むコンピュータ可読記憶媒体（ＳＭ）。
【請求項17】
請求項１５に記載のコンピュータプログラム（ＰＲＧ；ＰＲＧ’）を搬送する及び／又は特徴付けるデータ搬送信号（ＤＣＳ）。
【請求項18】
請求項１乃至１３の少なくとも一項に記載の方法の、及び／又は、
請求項１４に記載の装置（２００）の、及び／又は、
請求項１５に記載のコンピュータプログラム（ＰＲＧ；ＰＲＧ’）の、及び／又は、
請求項１６に記載のコンピュータ可読記憶媒体（ＳＭ）の、及び／又は、
請求項１７に記載のデータ搬送信号（ＤＣＳ）の、
以下のことのうちの少なくとも１つのための使用（３００）であって、すなわち、
ａ）第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ）とに基づいて、少なくとも１つのさらなるデジタル画像（ｘ’）を決定すること（３０１）であって、前記複数の潜在変数（ＬＡＴ－ＶＡＲ）のうちの少なくともいくつかは、前記第１のデジタル画像（ｘ１）とは異なる別の画像及び／又は他のデータに関連付けられている、こと（３０１）、
ｂ）例えば前記第１のデジタル画像の内容を保存しながら、第２のデジタル画像からのスタイルを前記第１のデジタル画像に転移させること（３０２）、
ｃ）少なくとも１つのデジタル画像のスタイルと内容とを分離すること（３０３）、
ｄ）例えば前記第１のデジタル画像と、少なくとも１つのさらなるデジタル画像、例えば第２のデジタル画像のスタイルとに基づいて、変更されていない内容を有し、かつ、異なるようにスタイル付けされたデジタル画像を作成すること（３０４）、
ｅ）ラベル付けされた注釈を、スタイル付けされた画像のために使用すること、例えば再利用すること（３０５）、
ｆ）少なくとも１つのデジタル画像のスタイルを変化させる際に、注釈付け作業を回避すること（３０６）、
ｇ）例えば種々異なるスタイルを有する、例えば知覚的に現実的なデジタル画像を生成すること（３０７）、
ｈ）例えばニューラルネットワークシステムの分布外の汎化をテストするために、代理の妥当性確認集合を提供すること（３０８）、
ｉ）機械学習システムを訓練すること（３０９）、
ｊ）機械学習システムをテストすること（３１０）、
ｋ）機械学習システムを検証すること（３１１）、
ｌ）機械学習システムを妥当性確認すること（３１２）、
ｍ）例えば機械学習システムのための訓練データを生成すること（３１３）、
ｎ）例えば既存の画像データのデータ拡張（３１４）、
ｏ）機械学習システムの汎化性能を改善すること（３１５）、
ｐ）例えば複数のデータ集合に関連付けられた訓練なしで、画像スタイルを操作すること、例えば柔軟に操作すること（３１６）、
ｑ）画像スタイルを操作するためにエンコーダＧＡＮパイプラインを利用すること（３１７）、
ｒ）前記エンコーダ（１２）によって、画像スタイルに関連付けられた情報を、例えば中間の潜在変数に埋め込むこと（３１８）、
ｓ）複数のデジタル画像のスタイルを混合して、この混合に基づくスタイルが含まれる少なくとも１つのさらなるデジタル画像を生成すること（３１９）
のうちの少なくとも１つのための使用（３００）。
請求項１４に記載の装置（２００）の、及び／又は、
請求項１５に記載のコンピュータプログラム（ＰＲＧ；ＰＲＧ’）の、及び／又は、
請求項１６に記載のコンピュータ可読記憶媒体（ＳＭ）の、及び／又は、
請求項１７に記載のデータ搬送信号（ＤＣＳ）の、
以下のことのうちの少なくとも１つのための使用（３００）であって、すなわち、
ａ）第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ）とに基づいて、少なくとも１つのさらなるデジタル画像（ｘ’）を決定すること（３０１）であって、前記複数の潜在変数（ＬＡＴ－ＶＡＲ）のうちの少なくともいくつかは、前記第１のデジタル画像（ｘ１）とは異なる別の画像及び／又は他のデータに関連付けられている、こと（３０１）、
ｂ）例えば前記第１のデジタル画像の内容を保存しながら、第２のデジタル画像からのスタイルを前記第１のデジタル画像に転移させること（３０２）、
ｃ）少なくとも１つのデジタル画像のスタイルと内容とを分離すること（３０３）、
ｄ）例えば前記第１のデジタル画像と、少なくとも１つのさらなるデジタル画像、例えば第２のデジタル画像のスタイルとに基づいて、変更されていない内容を有し、かつ、異なるようにスタイル付けされたデジタル画像を作成すること（３０４）、
ｅ）ラベル付けされた注釈を、スタイル付けされた画像のために使用すること、例えば再利用すること（３０５）、
ｆ）少なくとも１つのデジタル画像のスタイルを変化させる際に、注釈付け作業を回避すること（３０６）、
ｇ）例えば種々異なるスタイルを有する、例えば知覚的に現実的なデジタル画像を生成すること（３０７）、
ｈ）例えばニューラルネットワークシステムの分布外の汎化をテストするために、代理の妥当性確認集合を提供すること（３０８）、
ｉ）機械学習システムを訓練すること（３０９）、
ｊ）機械学習システムをテストすること（３１０）、
ｋ）機械学習システムを検証すること（３１１）、
ｌ）機械学習システムを妥当性確認すること（３１２）、
ｍ）例えば機械学習システムのための訓練データを生成すること（３１３）、
ｎ）例えば既存の画像データのデータ拡張（３１４）、
ｏ）機械学習システムの汎化性能を改善すること（３１５）、
ｐ）例えば複数のデータ集合に関連付けられた訓練なしで、画像スタイルを操作すること、例えば柔軟に操作すること（３１６）、
ｑ）画像スタイルを操作するためにエンコーダＧＡＮパイプラインを利用すること（３１７）、
ｒ）前記エンコーダ（１２）によって、画像スタイルに関連付けられた情報を、例えば中間の潜在変数に埋め込むこと（３１８）、
ｓ）複数のデジタル画像のスタイルを混合して、この混合に基づくスタイルが含まれる少なくとも１つのさらなるデジタル画像を生成すること（３１９）
のうちの少なくとも１つのための使用（３００）。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、デジタル画像データを処理する方法に関する。
【0002】
本開示はさらに、デジタル画像データを処理するための装置に関する。
【背景技術】
【0003】
敵対的生成ネットワーク（ＧＡＮ：Generative adversarial network）は、公知であり、例えば画像データを生成するために使用することができる生成モデリングのアプローチを特徴付ける。
【発明の概要】
【課題を解決するための手段】
【0004】
概要
例示的な実施形態は、デジタル画像データを処理する方法、例えばコンピュータ実装された方法であって、本方法は、第１のデジタル画像を、敵対的生成ネットワークＧＡＮシステムの生成器に関連付けられた拡大された潜在空間にマッピングするように構成されたエンコーダによって、第１のデジタル画像に関連付けられたノイズ予測を決定すること、ＧＡＮシステムの生成器によって、第１のデジタル画像に関連付けられたノイズ予測と、拡大された潜在空間に関連付けられた複数の潜在変数とに基づいて、少なくとも１つのさらなるデジタル画像を決定することを含む、方法に関する。いくつかの例示的な実施形態においては、これにより、例えば第１のデジタル画像と類似又は同一の内容を含むが、任意選択肢として、例えば複数の潜在変数のうちの少なくともいくつかによって特徴付けられるような修正されたスタイルを有する、さらなるデジタル画像を決定すること、例えば生成することが可能となり得る。
例示的な実施形態は、デジタル画像データを処理する方法、例えばコンピュータ実装された方法であって、本方法は、第１のデジタル画像を、敵対的生成ネットワークＧＡＮシステムの生成器に関連付けられた拡大された潜在空間にマッピングするように構成されたエンコーダによって、第１のデジタル画像に関連付けられたノイズ予測を決定すること、ＧＡＮシステムの生成器によって、第１のデジタル画像に関連付けられたノイズ予測と、拡大された潜在空間に関連付けられた複数の潜在変数とに基づいて、少なくとも１つのさらなるデジタル画像を決定することを含む、方法に関する。いくつかの例示的な実施形態においては、これにより、例えば第１のデジタル画像と類似又は同一の内容を含むが、任意選択肢として、例えば複数の潜在変数のうちの少なくともいくつかによって特徴付けられるような修正されたスタイルを有する、さらなるデジタル画像を決定すること、例えば生成することが可能となり得る。
【0005】
いくつかの例示的な実施形態においては、デジタル画像データ及び／又は（第１の）デジタル画像は、限定するものではないが、ａ）少なくとも１つのデジタル画像、ｂ）ビデオストリームの画像又はフレーム、ｃ）ＲＡＤＡＲシステム、例えばイメージングＲＡＤＡＲシステムに関連付けられたデータ、例えばＲＡＤＡＲ画像、ｄ）ＬＩＤＡＲシステムに関連付けられたデータ、例えばＬＩＤＡＲ画像、ｅ）超音波画像、ｆ）モーション画像、ｇ）例えばサーマルイメージングシステムから取得されるようなサーマル画像のうちの少なくとも１つを含み得る。
【0006】
いくつかの例示的な実施形態においては、拡大された潜在空間に関連付けられた複数の潜在変数のうちの少なくともいくつかは、第１のデジタル画像の以下の態様、すなわち、ａ）スタイル、例えば非意味論的な外観、ｂ）テクスチャ、ｃ）色のうちの少なくとも１つを特徴付ける。いくつかの例示的な実施形態においては、デジタル画像のスタイルを、デジタル画像の少なくとも一部のテクスチャと、デジタル画像の少なくとも一部の色との組合せによって特徴付けることができる。
【0007】
いくつかの例示的な実施形態においては、本方法は、複数の潜在変数を、ａ）エンコーダを使用して、第１のデジタル画像とは異なる第２のデジタル画像、ｂ）例えばいくつかの例示的な実施形態においてデータ集合に基づいて取得することができるような複数の確率分布のうちの少なくとも１つに基づいて決定することを含む。
【0008】
いくつかの例示的な実施形態においては、本方法は、ａ）第１のデジタル画像に基づいて、複数の、例えば階層的な特徴マップを決定すること、ｂ）複数の、例えば階層的な特徴マップに基づいて、第１のデジタル画像に関する拡大された潜在空間に関連付けられた複数の潜在変数を決定すること、ｃ）複数の、例えば階層的な特徴マップのうちの少なくとも１つに基づいて、例えば加法性のノイズマップを決定することのうちの少なくとも１つを含む。
【0009】
いくつかの例示的な実施形態においては、本方法は、第１のデジタル画像に関連付けられたノイズ予測の少なくとも一部をランダム及び／又は擬似ランダムにマスキングすることを含む。さらなる例示的な実施形態によれば、各実施形態による原理に従ってスタイルを修正するために、例えばスタイル拡張のためにマスキングが要求されるものではないということに留意されたい。
【0010】
いくつかの例示的な実施形態においては、本方法は、ノイズマップを、例えばランダム及び／又は擬似ランダムにマスキングすることを含む。
【0011】
いくつかの例示的な実施形態においては、本方法は、ノイズマップを複数の、例えばＰ×Ｐ個の、例えば重なり合っていないパッチに分割すること、例えば空間的に分割すること、複数のパッチの部分集合をランダム及び／又は擬似ランダムに選択すること、複数のパッチの部分集合を、例えば同等のサイズの、例えば単位ガウス分布のランダム変数のパッチによって置き換えることを含む。
【0012】
いくつかの例示的な実施形態においては、本方法は、第１のデジタル画像に関連付けられたノイズ予測を、第２のデジタル画像のスタイル予測と組み合わせること、組み合わせられた、第１のデジタル画像に関連付けられたノイズ予測と、第２のデジタル画像のスタイル予測とに基づいて、生成器を使用してさらなるデジタル画像を生成することを含む。いくつかの例示的な実施形態においては、このことにより、さらなるデジタル画像に、スタイル、又は、例えば第２のデジタル画像のスタイルの少なくともいくつかの態様と、例えば第１のデジタル画像の内容とを提供することが可能となる。
【0013】
いくつかの例示的な実施形態においては、本方法は、第１のデジタル画像に関連付けられたノイズ予測を提供すること、第１のデジタル画像の内容、例えば意味論的な内容に適用されるべき種々異なるスタイルを特徴付ける種々異なる潜在変数の集合を提供すること、第１のデジタル画像に関連付けられたノイズ予測と、種々異なるスタイルを特徴付ける種々異なる潜在変数の集合とに基づいて、生成器を使用して、種々異なるスタイルを有する複数のデジタル画像を生成することを含む。
【0014】
いくつかの例示的な実施形態においては、本方法は、例えば第１のドメインに関連付けられた１つ又は複数のデジタル画像が含まれる、画像データを提供すること、例えば第２のドメインに関連付けられた１つ又は複数のデジタル画像が含まれる、画像データを提供すること、第１のドメインに関連付けられた画像データに第２のドメインのスタイルを適用することを含む。
【0015】
いくつかの例示的な実施形態においては、第１のドメインに関連付けられた画像データは、ラベルを含み、例えば、第１のドメインに関連付けられた画像データに第２のドメインのスタイルを適用することは、ラベルを保存することを含む。このようにして、同時にラベルを保存しながら、第１のドメインのデジタル画像のスタイルを修正することができ、これにより、別の異なるスタイルを有するさらなるラベル付けされた画像データを提供することができる。
【0016】
いくつかの例示的な実施形態においては、本方法は、第１の内容情報を有する第１の画像データを提供すること、例えば第１の内容情報とは異なる第２の内容情報が含まれる、第２の画像データを提供すること、第２の画像データのスタイル情報を抽出すること、第１の画像データに第２の画像データのスタイル情報の少なくとも一部を適用することを含む。
【0017】
いくつかの例示的な実施形態においては、本方法は、例えば少なくとも１つのニューラルネットワーク及び／又は機械学習システムを訓練するための訓練データを生成することを含み、生成することは、例えばソースドメインの画像データと、ソースドメインの修正された画像データとに基づいており、例えば、修正された画像データは、例えば各実施形態の原理による画像スタイルに関して、例えばさらなる画像データのスタイルに基づいて修正され及び／又は修正されており、本方法は、任意選択肢として、訓練データに基づいて少なくとも１つのニューラルネットワークシステムを訓練することを含む。
【0018】
さらなる例示的な実施形態は、各実施形態による方法を実施するための装置に関する。
【0019】
さらなる例示的な実施形態は、コンピュータによって実行された場合に、各実施形態による方法をコンピュータに実施させるための命令を含むコンピュータプログラムに関する。
【0020】
さらなる例示的な実施形態は、コンピュータによって実行された場合に、各実施形態による方法をコンピュータに実施させるための命令を含むコンピュータ可読記憶媒体に関する。
【0021】
さらなる例示的な実施形態は、各実施形態によるコンピュータプログラムを搬送する及び／又は特徴付けるデータ搬送信号に関する。
【0022】
さらなる例示的な実施形態は、各実施形態による方法の、及び／又は、各実施形態による装置の、及び／又は、各実施形態によるコンピュータプログラムの、及び／又は、各実施形態によるコンピュータ可読記憶媒体の、及び／又は、各実施形態によるデータ搬送信号の、以下のことのうちの少なくとも１つのための使用であって、すなわち、ａ）第１のデジタル画像に関連付けられたノイズ予測と、拡大された潜在空間に関連付けられた複数の潜在変数とに基づいて、少なくとも１つのさらなるデジタル画像を決定することであって、複数の潜在変数のうちの少なくともいくつかは、第１のデジタル画像とは異なる別の画像及び／又は他のデータに関連付けられている、こと、ｂ）例えば第１のデジタル画像の内容を保存しながら、第２のデジタル画像からのスタイルを第１のデジタル画像に転移させること、ｃ）少なくとも１つのデジタル画像のスタイルと内容とを分離すること、ｄ）例えば第１のデジタル画像と、少なくとも１つのさらなるデジタル画像、例えば第２のデジタル画像のスタイルとに基づいて、変更されていない内容を有し、かつ、異なるようにスタイル付けされたデジタル画像を作成すること、ｅ）ラベル付けされた注釈を、スタイル付けされた画像のために使用すること、例えば再利用すること、ｆ）少なくとも１つのデジタル画像のスタイルを変化させる際に、注釈付け作業を回避すること、ｇ）例えば種々異なるスタイルを有する、例えば知覚的に現実的なデジタル画像を生成すること、ｈ）例えばニューラルネットワークシステムの分布外の汎化をテストするために、代理の妥当性確認集合を提供すること、ｉ）機械学習システムを訓練すること、ｊ）機械学習システムをテストすること、ｋ）機械学習システムを検証（verify）すること、ｌ）機械学習システムを妥当性確認（validate）すること、ｍ）例えば機械学習システムのための訓練データを生成すること、ｎ）例えば既存の画像データのデータ拡張、ｏ）機械学習システムの汎化性能を改善すること、ｐ）例えば複数のデータ集合に関連付けられた訓練なしで、画像スタイルを操作すること、例えば柔軟に操作すること、ｑ）画像スタイルを操作するためにエンコーダＧＡＮパイプラインを利用すること、ｒ）エンコーダによって、画像スタイルに関連付けられた情報を、例えば中間の潜在変数に埋め込むこと、ｓ）複数のデジタル画像のスタイルを混合して、この混合に基づくスタイルが含まれる少なくとも１つのさらなるデジタル画像を生成すること、のうちの少なくとも１つのための使用に関する。
【0023】
以下においては、いくつかの例示的な実施形態を、添付の図面を参照しながら説明する。
【図面の簡単な説明】
【0024】
【図1】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図2】例示的な実施形態による簡略化されたブロック図を概略的に示す図である。
【図3】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図4】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図5】例示的な実施形態による簡略化されたブロック図を概略的に示す図である。
【図6A】例示的な実施形態による簡略化されたブロック図を概略的に示す図である。
【図6B】例示的な実施形態による簡略化されたブロック図を概略的に示す図である。
【図7】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図8】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図9】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図10】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図11】例示的な実施形態による簡略化されたブロック図を概略的に示す図である。
【図12】例示的な実施形態による簡略化されたブロック図を概略的に示す図である。
【図13】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図14】例示的な実施形態による簡略化されたブロック図を概略的に示す図である。
【図15】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図16】例示的な実施形態による簡略化されたフローチャートを概略的に示す図である。
【図17A】例示的な実施形態による画像データを概略的に示す図である。
【図18】例示的な実施形態による画像データを概略的に示す図である。
【図19】例示的な実施形態による概略的なブロック図を概略的に示す図である。
【図20】例示的な実施形態による使用の態様を概略的に示す図である。
【発明を実施するための形態】
【0025】
例示的な実施形態（例えば、図１、図２を参照のこと）は、例えば少なくとも１つのデジタル画像に関連付けられたデジタル画像データを処理する方法、例えばコンピュータ実装された方法であって、本方法は、第１のデジタル画像ｘ１を、敵対的生成ネットワークＧＡＮシステム１０の生成器１４に関連付けられた拡大された潜在空間ＳＰ－Ｗ＋にマッピングするように構成されたエンコーダ１２（図２）によって、第１のデジタル画像ｘ１に関連付けられたノイズ予測ＰＲＥＤ－ＮＯＩＳＥ－ｘ１を決定すること１００（図１）、ＧＡＮシステム１０の生成器１４によって、第１のデジタル画像ｘ１に関連付けられたノイズ予測ＰＲＥＤ－ＮＯＩＳＥ－ｘ１と、拡大された潜在空間ＳＰ－Ｗ＋に関連付けられた複数の潜在変数ＬＡＴ－ＶＡＲとに基づいて、少なくとも１つのさらなるデジタル画像ｘ’を決定すること１０２（図１）を含む、方法に関する。いくつかの例示的な実施形態においては、これにより、例えば第１のデジタル画像ｘ１と類似又は同一の内容を含むが、任意選択肢として、例えば複数の潜在変数のうちの少なくともいくつかによって特徴付けられるような修正されたスタイルを有する、さらなるデジタル画像ｘ’を決定すること、例えば生成することが可能となり得る。
【0026】
いくつかの例示的な実施形態においては、デジタル画像データ及び／又は（第１の）デジタル画像ｘ１は、限定するものではないが、ａ）少なくとも１つのデジタル画像、ｂ）ビデオストリームの画像又はフレーム、ｃ）ＲＡＤＡＲシステム、例えばイメージングＲＡＤＡＲシステムに関連付けられたデータ、例えばＲＡＤＡＲ画像、ｄ）ＬＩＤＡＲシステムに関連付けられたデータ、例えばＬＩＤＡＲ画像、ｅ）超音波画像、ｆ）モーション画像、ｇ）例えばサーマルイメージングシステムから取得されるようなサーマル画像のうちの少なくとも１つを含み得る。
【0027】
いくつかの例示的な実施形態においては、拡大された潜在空間ＳＰ－Ｗ＋に関連付けられた複数の潜在変数ＬＡＴ－ＶＡＲのうちの少なくともいくつかは、第１のデジタル画像の以下の態様、すなわち、ａ）スタイル、例えば非意味論的な外観、ｂ）テクスチャ、ｃ）色のうちの少なくとも１つを特徴付ける。いくつかの例示的な実施形態においては、デジタル画像のスタイルを、デジタル画像の少なくとも一部のテクスチャと、デジタル画像の少なくとも一部の色との組合せによって特徴付けることができる。
【0028】
図３のいくつかの例示的な実施形態においては、本方法は、複数の潜在変数ＬＡＴ－ＶＡＲ、例えば複数の潜在変数ＬＡＴ－ＶＡＲの特定の値を、ａ）例えばＧＡＮシステム１０のエンコーダ１２を使用して、第１のデジタル画像ｘ１とは異なる第２のデジタル画像ｘ２（図２）、ｂ）例えばいくつかの例示的な実施形態においてデータ集合（図示せず）に基づいて取得することができるような複数の確率分布ＤＩＳＴＲのうちの少なくとも１つに基づいて決定すること１１０を含む。図３の任意選択肢のブロック１１２は、例えば生成器１４を使用して、例えばさらなるデジタル画像ｘ’を生成するために、複数の潜在変数ＬＡＴ－ＶＡＲ、例えば複数の潜在変数ＬＡＴ－ＶＡＲの特定の値を使用することを象徴的に表現している。
【0029】
いくつかの例示的な実施形態においては、ＧＡＮシステム１０は、任意選択肢の弁別器１６を含み得るものであり、この弁別器１６は、いくつかのさらなる例示的な実施形態においては、例えば当技術分野で知られているように、例えばＧＡＮシステムの少なくとも１つのコンポーネントを訓練するために使用可能である。
【0030】
いくつかの例示的な実施形態は、ＧＡＮ反転の態様を使用することができ、このＧＡＮ反転は、例えば事前訓練されたＧＡＮ、例えば図２のＧＡＮシステム１０の潜在空間において潜在変数を見出すこと、例えば決定することに関連しており、いくつかの例示的な実施形態においては、例えばＧＡＮシステム１０によって、例えば所与の画像を忠実に再構築するために使用可能である。
【0031】
いくつかの例示的な実施形態においては、ＧＡＮシステム１０の生成器１４は、例えばランダムな（又は擬似ランダムな）潜在変数のような潜在変数からデジタル画像、例えば写実的なデジタル画像を生成するように構成及び／又は訓練されている。
【0032】
いくつかの例示的な実施形態においては、図２のＧＡＮシステム１０は、マッピングネットワーク（図２には図示せず）を含み得るものであり、ｚ∈Ｚによって表すことができるランダムな潜在ベクトルを、中間の「スタイル」潜在変数に、例えばｗ∈Ｗにマッピングするように構成可能であり、この中間の「スタイル」潜在変数は、いくつかの例示的な実施形態においては、例えば異なる解像ブロックにおいて、例えば特徴を変調するために使用可能である。
【0033】
いくつかの例示的な実施形態においては、例えば「スタイル」に加えて、例えばガウス分布からランダムにサンプリングされた空間確率ノイズを、例えば少なくとも１つの、例えばいくつかの、例えばそれぞれの特徴の変調後に追加することができる。
【0034】
いくつかの例示的な実施形態においては、エンコーダ１２（図２）は、例えば拡大された潜在空間ＳＰ－Ｗ＋（「Ｗ＋空間」）における「スタイル」潜在値とともに空間ノイズを予測するように構成されており、例えば訓練されており、この拡大された潜在空間ＳＰ－Ｗ＋（「Ｗ＋空間」）は、例えばいくつかの例示的な実施形態においては、潜在空間Ｗの拡大としてみなすことができる。
【0035】
いくつかの例示的な実施形態においては、Ｗ＋空間では、複数の異なる層における「スタイル」は、例えば、それぞれ異なるものとしてよい。いくつかの例示的な実施形態においては、例えばいくつかの例示的な実施形態に従ってノイズをランダムにマスキングアウトすることによって訓練された、例えば適当に訓練されたエンコーダ１２が、例えば教師なしでテクスチャ情報と構造情報とを分離することができる。より具体的には、いくつかの例示的な実施形態においては、エンコーダ１２は、テクスチャ情報を「スタイル」潜在値（潜在変数）に符号化し、内容情報をノイズに符号化する。しかしながら、さらなる例示的な実施形態によれば、各実施形態による原理に従ってスタイルを修正するために、例えばスタイル拡張のためにマスキングが（必ずしも）要求されるものではないということに留意されたい。換言すれば、いくつかの例示的な実施形態においては、スタイル混合、例えばスタイル拡張を、マスキングなしで実施することができる。
【0036】
いくつかの例示的な実施形態においては、例えば１つのＧＡＮモデルの、例えばＧＡＮシステム１０の事前訓練された生成器Ｇ（例えば、図２の生成器１２）が、例えばマッピング：Ｚ→Ｘを学習するならば、ＧＡＮ反転は、所与の画像、例えばデジタル画像ｘを、この画像の潜在表現ｚにマッピングすることを目的としている。形式的には、ＧＡＮ反転は、
のように記述可能であり、ここで、ｄ（・）は、例えば元の画像ｘと再構築された画像Ｇ（ｚ）との間の類似度を測定するための距離指標である。
【数1】
【0037】
いくつかの例示的な実施形態においては、（例えばarXiv:1801.03924v2 [cs.CV] 10 Apr 2018によって定義されるような）Ｌ２及びＬＰＩＰＳを、合わせて距離指標ｄ（・）として使用することができる。
【0038】
いくつかの例示的な実施形態においては、拡大された（中間の）潜在空間Ｗ＋は、比較的良好な再構築品質を促進する。いくつかの例示的な実施形態においては、例えば中間の潜在値を予測することに加えて、空間ノイズも同様に予測することができ、この空間ノイズは、いくつかの例示的な実施形態においては、例えば所与の画像における詳細情報をより良好に保存することができる。いくつかの例示的な実施形態においては、形式的に、エンコーダＥ及び生成器Ｇは、
のように記述可能であり、ここで、ｘ及びｘ＊は、それぞれ所与の元の画像及び再構築された画像であり、
は、予測された中間の潜在変数を特徴付け、εは、予測されたノイズを特徴付ける。いくつかの例示的な実施形態においては、例えば所与の画像ｘを、例えば忠実に再構築するようにエンコーダを訓練することができる。
【数2】
【数3】
【0039】
図４のいくつかの例示的な実施形態においては、本方法は、ａ）第１のデジタル画像ｘ１に基づいて、複数の、例えば階層的な特徴マップＦＭを決定すること１２０、ｂ）複数の、例えば階層的な特徴マップＦＭに基づいて、第１のデジタル画像ｘ１に関する拡大された潜在空間ＳＰ－Ｗ＋（図２）に関連付けられた複数の潜在変数ＬＡＴ－ＶＡＲ－ｘ１（例えば、複数の潜在変数ＬＡＴ－ＶＡＲ－ｘ１の値）を決定すること１２２（図４）、ｃ）複数の、例えば階層的な特徴マップＦＭのうちの少なくとも１つに基づいて、例えば加法性のノイズマップＮＯＩＳＥ－ＭＡＰを決定すること１２４ａのうちの少なくとも１つを含む。
【0040】
図５は、いくつかの例示的な実施形態によるＧＡＮシステム１０（図２）の態様を概略的に示している。要素１２ａは、例えば図２のエンコーダ１２と類似のエンコーダを象徴的に表現している。いくつかの例示的な実施形態においては、図２のエンコーダ１２は、図５のエンコーダ１２ａの構成を含み得る。要素１４ａは、例えば図２の生成器１４と類似の生成器を象徴的に表現している。いくつかの例示的な実施形態においては、図２の生成器１４は、図５の生成器１４ａの構成を含み得る。要素１４ａは、例えば図２の生成器１４と類似の生成器を象徴的に表現している。
【0041】
要素Ｅ１は、いくつかの例示的な実施形態による特徴ピラミッドを象徴的に表現しており、この特徴ピラミッドは、例えば第１のデジタル画像ｘ１に基づいて、複数の、例えば階層的な特徴マップＦＭを決定するステップ１２０（図４のブロック１２０を参照のこと）を実施するように構成されている。換言すれば、いくつかの例示的な実施形態においては、特徴ピラミッドＥ１は、特徴抽出器として動作するように構成されている。
【0042】
いくつかの例示的な実施形態においては、特徴ピラミッドＥ１は、例えば複数の、例えば階層的な特徴マップＦＭを提供するために、複数の畳み込み層を含み得る。
【0043】
いくつかの例示的な実施形態においては、特徴ピラミッドＥ１は、例えばarXiv:1612.03144v2 [cs.CV] 19 Apr 2017（“Feature Pyramid Networks for Object Detection”）の図３に図示されている構造に基づくことができ、例えば、類似又は同一であるものとしてよい。
【0044】
いくつかの例示的な実施形態においては、特徴ピラミッドＥ１のための他のトポロジも可能である。
【0045】
図５の要素Ｅ２－１，・・・，Ｅ２－ｎ，・・・は、例えば図４のブロック１２２と類似又は同一のように、複数の（本実施例においてはｋ個の）潜在変数ｗ１，・・・，ｗｋを決定するように構成されたブロックを象徴的に表現している。いくつかの例示的な実施形態においては、複数の異なるブロックＥ２－１，・・・，Ｅ２－ｎ，・・・は、それぞれ異なる階層レベルの特徴マップＦＭを受信し、これらの特徴マップＦＭに基づいて、潜在変数ｗ１，・・・，ｗｋ、例えば潜在変数ｗ１，・・・，ｗｋの値を、例えば生成器１４ａへの出力のために提供する。換言すれば、いくつかの例示的な実施形態においては、特徴ピラミッドＥ１のマルチスケールの特徴は、ブロックＥ２－１，・・・，Ｅ２－ｎによって、例えば生成器１４ａの対応するスケールで、それぞれ潜在ベクトル又は潜在コード｛ｗｋ｝にマッピングされる。
【0046】
図５の要素Ｅ３は、ノイズマッパーを象徴的に表現しており、このノイズマッパーは、特徴ピラミッドＥ１から少なくとも１つの特徴マップを受信し、この少なくとも１つの特徴マップに基づいて、例えば図４のブロック１２４に従ってノイズマップεを提供するように構成されている。いくつかの例示的な実施形態においては、ノイズマッパーＥ３は、特徴ピラミッドＥ１の階層の中間の（例えば、最高又は最低ではない）スケールでのノイズマップεを予測するように構成されている。
【0047】
いくつかの例示的な実施形態においては、例えばノイズマッパーＥ３は、例えば１×１畳み込み層のスタックを含み得るものであり、この１×１畳み込み層は、入力としてｈ×ｗ×ｃの特徴マップを取得するように、かつ、ｈ×ｗ×ｃ’の特徴マップを出力するように構成されている。
【0048】
図７のいくつかの例示的な実施形態においては、本方法は、第１のデジタル画像ｘ１に関連付けられたノイズ予測ＮＯＩＳＥ－ＰＲＥＤの少なくとも一部をランダム及び／又は擬似ランダムにマスキングすること１３０を含み、これにより、マスキングされたノイズ予測ＮＯＩＳＥ－ＰＲＥＤ－Ｍが取得される。
【0049】
図７のいくつかの例示的な実施形態においては、本方法は、ノイズマップε（図５）を、例えばランダム及び／又は擬似ランダムにマスキングすること１３２を含み、これにより、マスキングされたノイズマップＮＯＩＳＥ－ＭＡＰ－Ｍが取得され、このマスキングされたノイズマップＮＯＩＳＥ－ＭＡＰ－Ｍは、例えば図７のブロック１３０，１３２のうちの少なくとも１つに従ってマスキングを実施するように構成されたマスキングブロックＭの出力における、図５の要素εｍによって象徴的に表現されている。
【0050】
図５のいくつかの例示的な実施形態においては、マスキングされたノイズマップεｍが、例えば潜在変数ｗ１，・・・，ｗｋと類似のように生成器１４ａに出力され、生成器１４ａは、潜在変数ｗ１，・・・，ｗｋとマスキングされたノイズマップεｍとに基づいて、少なくとも１つのデジタル画像を出力するように構成されており、例えば訓練されている。
【0051】
いくつかの例示的な実施形態においては、図５の生成器１４ａは、潜在変数ｗ１，・・・，ｗｋとマスキングされたノイズマップεｍとに基づいて出力デジタル画像を生成するために、１つ又は複数の合成ブロックＥ４－１，・・・，Ｅ４－ｋと、結合器、例えば加算器（図５においては個別には参照せず）とを含み得る。
【0052】
いくつかの例示的な実施形態においては、生成器１４ａは、例えば以下の刊行物：ａ）arXiv: 2008.00951v2 [cs.CV] 21 Apr 2021、ｂ）Tero Karras，Samuli Laine，Miika Aittala，Janne Hellsten，Jaakko Lehtinen，及びTimo Aila著のAnalyzing and improving the image quality of stylegan. In CVPR，2020（arXiv:1912.04958v2も参照のこと）のうちの少なくとも１つに開示されているような、例えばＳｔｙｌｅＧＡＮタイプ又はＳｔｙｌｅＧＡＮ２タイプのものであってよい。
【0053】
一例として、いくつかの例示的な実施形態においては、生成器１４ａは、上記の刊行物ｂ）の図２（ｄ）によって例示的に示されているようなアーキテクチャを含み得る（arXiv:1912.04958v2も参照のこと）。
【0054】
図６Ａは、図５のブロックＥ２－１，・・・，Ｅ２－ｎのうちの少なくとも１つの例示的な構造を概略的に示している。要素Ｅ１０は、特徴ピラミッドＥ１によって特定の階層レベルにおいて例示的に取得されるような特徴マップを象徴的に表現しており、要素Ｅ１１，Ｅ１２は、特徴マップＥ１０に基づいて、いくつかのケースにおいては、例えばｗｉ，ｉ＝１，・・・，ｋとしても表される潜在ベクトルＥ１３を提供するように構成された、例えば訓練されたニューラルネットワークの、例えば畳み込みニューラルネットワークＣＮＮタイプの、例えば全結合ＣＮＮの１つ又は複数の要素、例えば層を象徴的に表現している。いくつかの例示的な実施形態においては、潜在ベクトルは、１×１×５１２タイプのベクトルであり、例えば５１２個のコンポーネントが含まれる１次元ベクトルである。
【0055】
図６Ｂは、例えばブロックＥ３によって取得されるような図５のノイズマップεと、図７のブロック１３０，１３２のマスキング技術のうちの少なくとも１つを実施するように構成されたマスキングブロックＭと、マスキングされたノイズマップεｍとの描写を示している。
【0056】
図８のいくつかの例示的な実施形態においては、本方法は、ノイズマップεを複数の、例えばＰ×Ｐ個の、例えば重なり合っていないパッチＰＡＴＣＨに分割すること１３２ａ、複数のパッチＰＡＴＣＨの部分集合ＰＡＴＣＨ－ＳＵＢをランダム及び／又は擬似ランダムに選択すること１３２ｂ、複数のパッチＰＡＴＣＨの部分集合ＰＡＴＣＨ－ＳＵＢを、例えば同等のサイズの、例えば単位ガウス分布のランダム変数のパッチＰＡＴＣＨ－ＲＮＤによって置き換えること１３２ｃを含む。換言すれば、いくつかの例示的な実施形態においては、ノイズマップεのいくつかの内容が、例えば単位ガウス分布のランダム変数のパッチによって置き換えられる。
【0057】
いくつかの例示的な実施形態においては、例えばＧＡＮシステム１０のエンコーダ１２，１２ａを使用して、例えばデジタル画像ｘ１のスタイルの態様を特徴付ける中間の潜在値ｗを変化させることによって、デジタル画像ｘ１のスタイルを修正することができる。
【0058】
これに関して、図１１は、さらなる例示的な実施形態によるブロック図を概略的に示している。要素ｘ１は、例えば図５のエンコーダ１２ａと類似又は同一のエンコーダの第１のインスタンス１２ｂ－１に提供される第１のデジタル画像を象徴的に表現している。要素ｘ２は、例えば図５のエンコーダ１２ａと類似又は同一のエンコーダの第２のインスタンス１２ｂ－２に提供される第２のデジタル画像を象徴的に表現している。両方のインスタンス１２ｂ－１，１２ｂ－２を、同一のエンコーダに基づいて提供することができ、同時に及び／又は時間的に部分的に重なり合って評価することができ、又は、時間的に重なり合うことなく（例えば、順次に）評価することができる。
【0059】
【0060】
要素Ｅ２２は、例えば上記で説明したような潜在変数ｗ（例えば、図５の要素ｗ１，・・・，ｗｋを参照のこと）によって特徴付けられる、それぞれの入力画像ｘ１，ｘ２のスタイルを特徴付ける情報を決定するように構成されたエンコーダのブロックを象徴的に表現している。いくつかの例示的な実施形態においては、図１１のブロックＥ２２は、例えば図５のブロックＥ２－１，・・・，Ｅ２－ｋを総称的に表すことができる。一例として、エンコーダインスタンス１２ｂ－２のブロックＥ２２は、第２のデジタル画像ｘ２のスタイルを特徴付ける潜在変数ｗ２を提供する。
【0061】
図１１の要素Ｅ２３は、例えば図５のブロックＥ３と類似又は同一のノイズマップを決定するように構成されたエンコーダのブロックを象徴的に表現している。一例として、エンコーダインスタンス１２ｂ－１のブロックＥ２３は、第１のデジタル画像ｘ１に基づいてノイズマップε１を提供する。
【0062】
図１１の要素１４ｂは、例えば図２又は図５の生成器１４，１４ａと類似又は同一のＧＡＮシステムの生成器を象徴的に表現している。ここでは、図１１の生成器１４ｂは、（例えば、ノイズマップε１によって特徴付けられるような）第１のデジタル画像ｘ１の内容、例えば意味論的な内容と、（例えば、潜在変数ｗ１，・・・，ｗｋによって特徴付けられるような）第２のデジタル画像ｘ２のスタイル（例えば、テクスチャ及び／又は色及び／又は他の非意味論的な内容）とが含まれるデジタル出力画像ｘｍｉｘを決定し、例えば生成し、したがって、例えばそれぞれの入力画像ｘ１，ｘ２の内容に関する態様とスタイルに関する態様とを混合する。
【0063】
換言すれば、いくつかの例示的な実施形態により、第１のデジタル画像ｘ１の内容を維持すること、例えば保存することが可能となり、例えば第１のデジタル画像ｘ１からのノイズ予測ε１と、第２のデジタル画像ｘ２の（例えば、中間の）潜在変数ｗ２とを組み合わせることによって、第２のデジタル画像ｘ２のスタイル情報を第１のデジタル画像ｘ１に転移させることが可能となる。いくつかの例示的な実施形態においては、例えばＳｔｙｌｅＧＡＮタイプ又はＳｔｙｌｅＧＡＮ２タイプの、例えば固定された生成器１４ｂが、コンポーネントε１，ｗ２を入力として受信し、混合された画像ｘｍｉｘを生成する。
【0064】
再び図６Ｂを参照すると、いくつかの例示的な実施形態は、例えばノイズマップのランダムマスキングによって、エンコーダ１２，１２ａのノイズ予測を正則化することを提案している。
【0065】
いくつかの例示的な実施形態においては、少なくとも部分的に上記で既述したようにノイズマップは、重なり合っていないＰ×ＰのパッチＰＡＴＣＨ（図８のブロック１３２ａも参照のこと）に空間的に分割され、このことは、例えば図６ＢのブロックＭによって実施される。
【0066】
いくつかの例示的な実施形態においては、例えば事前に定義された比率ρに基づいて、複数のパッチの部分集合ＰＡＴＣＨ－ＳＵＢが、例えばランダムに選択されて、同等のサイズの単位ガウス分布のランダム変数ε～Ｎ（０，１）のパッチによって置き換えられ、ここで、例えばＮ（０，１）は、例えば（例えば、ＳｔｙｌｅＧＡＮ２タイプであり得る）生成器１４，１４ａの訓練時におけるノイズマップの事前分布である。
【0067】
いくつかの例示的な実施形態においては、例えばエンコーダ１２，１２ａは、例えばノイズマップを予測するためにランダムマスキングによって訓練されるので、いくつかの例示的な実施形態においては、エンコーダ１２，１２ａは、「マスキングされたノイズエンコーダ」と称される場合がある。
【0068】
いくつかの例示的な実施形態においては、提案されるランダムマスキングは、ノイズマップの符号化容量を低減することができ、したがって、再構築のために潜在コード｛ｗｋ｝を共同で利用するようにエンコーダ１２，１２ａに促すことができる。したがって、いくつかの例示的な実施形態においては、エンコーダ１２，１２ａは、それぞれ内容画像及びスタイル画像からノイズマップ及び潜在コードを取得する。いくつかの例示的な実施形態においては、次いで、例えば新しい画像を合成するために、これらのノイズマップ及び潜在コードを（例えば、ＳｔｙｌｅＧＡＮ２タイプの）生成器１４，１４ａに供給することができる。
【0069】
いくつかの例示的な実施形態においては、エンコーダ１２，１２ａが、ランダムマスキングによって訓練されていない場合には、新しい画像は、例えば内容画像との如何なる知覚可能な違いも有さない可能性がある。いくつかの例示的な実施形態においては、このことは、潜在コード｛ｗｋ｝が、画像のうちの、無視し得る情報を符号化するということを意味する。対照的に、いくつかの例示的な実施形態においては、マスキングによって訓練されている場合には、エンコーダは、２つの異なる画像から内容及びスタイルを取得する新しい画像を作成する。いくつかの例示的な実施形態においては、この観察により、いくつかの例示的な実施形態による内容とスタイルとの分離に対するマスキングの重要な役割、ひいては、例えば改善されたスタイル混合性能が認められる。
【0070】
いくつかの例示的な実施形態においては、ノイズマップは、スタイル及び内容が含まれる画像の全ての知覚可能な情報を符号化せず、例えばもはや符号化しない。いくつかの例示的な実施形態においては、実質的に潜在コード｛ｗｋ｝が、スタイルの制御においてよりアクティブな役割を果たす。
【0071】
以下においては、いくつかの例示的な実施形態によるエンコーダ訓練損失に関する態様及び情報が提供される。
【0072】
いくつかの例示的な実施形態においては、マスキングされたノイズエンコーダＥＭを用いるＧＡＮ反転、例えばいくつかの例示的な実施形態によるＳｔｙｌｅＧＡＮ２反転に関する各実施形態による原理を、
として定式化することができる。
【数4】
【0073】
いくつかの例示的な実施形態においては、マスキングされたノイズエンコーダＥＭが、所与の画像ｘを潜在コード｛ｗｋ｝及びノイズマップεにマッピングする。
【0074】
いくつかの例示的な実施形態においては、生成器Ｇ（図２，図５の要素１４，１４ａも参照のこと）、例えばＳｔｙｌｅ－ＧＡＮ２タイプの生成器は、｛ｗｋ｝及びノイズマップεの両方を入力として受信し、画像ｘ＊を生成する。いくつかの例示的な実施形態においては、例えば、理想的には、ｘ＊は、ｘと同一であるものとしてよく、すなわち、完全な再構築であるものとしてよい。
【0075】
いくつかの例示的な実施形態においては、エンコーダ１２，１２、例えばマスキングされたノイズエンコーダＥＭは、例えば元の画像ｘを再構築するように訓練される。
【0076】
いくつかの例示的な実施形態においては、元の画像ｘを再構築するようにエンコーダ１２，１２、例えばマスキングされたノイズエンコーダＥＭを訓練する際に、元のノイズマップεが、例えば事前訓練された生成器Ｇに供給される前にマスキングされ、ここで、マスキングを、例えば
によって特徴付けることができ、ここで、Ｍｎｏｉｓｅは、例えばランダムバイナリマスクであり、
は、アダマール積を示し、
ｘは、マスキングされたノイズεΜを有する再構築された画像を表す。
【数5】
【数6】
【数7】
【0077】
いくつかの例示的な実施形態においては、エンコーダに関する訓練損失を、
によって特徴付けることができ、ここで、｛λｉ｝は、重み付け係数である。最初の３つの項は、ピクセル単位のＭＳＥ損失と、ＬＰＩＰＳ（learned perceptual image patch similarity）損失（例えば、Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang: The unreasonable effectiveness of deep features as a perceptual metric. In CVPR, 2018による）と、敵対的損失（例えば、Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, DavidWarde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In NeurIPS, 2014による）とであり、すなわち、
である。
【数8】
【数9】
【0078】
いくつかの例示的な実施形態においては、マスキングによって特定の空間位置における所与の画像ｘの情報が除去され、次いで、これらの位置における再構築の要件が緩和されるべきであるということに留意されたい。いくつかの例示的な実施形態においては、Ｍｉｍｇ及びＭｆｅａｔは、ノイズマスクＭｎｏｉｓｅを、例えば、ＶＧＧに基づく特徴抽出器の画像サイズ及び特徴サイズへとアップサンプリング及びダウンサンプリングすることによって取得可能である。
【0079】
いくつかの例示的な実施形態においては、敵対的損失は、再構築された画像と現実の画像とを区別するように訓練された弁別器Ｄ（図２の任意選択肢の要素１６も参照のこと）を用いた敵対的ゲームとして、エンコーダ訓練を定式化することによって取得される。
【0080】
いくつかの例示的な実施形態においては、最後の正則化項は、
として定義される。
【数10】
【0081】
いくつかの例示的な実施形態においては、Ｌ１ノルムは、スパースなノイズ予測を誘導するために役立つ。いくつかの例示的な実施形態においては、Ｌ１ノルムは、ランダムマスキングに相補的であり、ノイズマップの容量を低減する。いくつかの例示的な実施形態においては、第２の項は、潜在コードの予測
を訓練するために、合成された画像
のグランドトゥルースの潜在コードｗｇｔを使用することによって取得される（例えば、Xu Yao, Alasdair Newson, Yann Gousseau, and Pierre Hellier. Feature-Style Encoder for Style-Based GAN Inversion, arXiv preprint, 2022による）。いくつかの例示的な実施形態においては、第２の項は、エンコーダを生成器の元の潜在空間の近傍に留まるように案内して、収束を加速させる。
【数11】
【数12】
【0082】
図９のいくつかの例示的な実施形態においては、本方法は、第１のデジタル画像ｘ１（図２）に関連付けられたノイズ予測ＰＲＥＤ－ＮＯＩＳＥ－ｘ１を、（例えば、第２のデジタル画像ｘ２に関連付けられた潜在変数によって特徴付けられる）第２のデジタル画像ｘ２のスタイル予測ＰＲＥＤ－ＳＴＹＬＥ－ｘ２と組み合わせること１４０、組み合わせられた、第１のデジタル画像ｘ１に関連付けられたノイズ予測と、第２のデジタル画像ｘ２のスタイル予測ＰＲＥＤ－ＳＴＹＬＥ－ｘ２とに基づいて、生成器１４ａ（図５）を使用してさらなるデジタル画像ｘ１，２を生成すること１４２を含む。いくつかの例示的な実施形態においては、このことにより、さらなるデジタル画像ｘ１，２に、スタイル、又は、例えば第２のデジタル画像ｘ２のスタイルの少なくともいくつかの態様と、例えば第１のデジタル画像ｘ１の内容とを提供することが可能となる。
【0083】
図１０のいくつかの例示的な実施形態においては、本方法は、第１のデジタル画像ｘ１に関連付けられたノイズ予測ＰＲＥＤ－ＮＯＩＳＥ－ｘ１を提供すること１５０、第１のデジタル画像ｘ１の内容、例えば意味論的な内容に適用されるべき種々異なるスタイルを特徴付ける種々異なる潜在変数の集合ＳＥＴ－ＬＡＴ－ＶＡＲを提供すること１５２、第１のデジタル画像ｘ１に関連付けられたノイズ予測ＰＲＥＤ－ＮＯＩＳＥ－ｘ１と、種々異なるスタイルを特徴付ける種々異なる潜在変数の集合ＳＥＴ－ＬＡＴ－ＶＡＲとに基づいて、生成器１４ｂ（図５）を使用して、種々異なるスタイルを有する複数のデジタル画像ＰＬＵＲ－ｘを生成すること１５４を含む。
【0084】
いくつかの例示的な実施形態においては、１つ又は複数のデジタル画像及び／又はデータ集合からスタイル情報を取得するための複数の手法が存在する。例えば、図１７Ａ，図１７Ｂに例示的に示されているように、晴れた日のシーンをソースドメインＳＤとしてみなすと、各実施形態による原理を使用してこのソースドメインＳＤの訓練集合からスタイルを抽出することができる。例示的な実施形態においては、このことは、有利には、例えば他のデータ集合からの余分な情報を必要としない。なぜなら、このことは、既存のデータ（集合）内の情報を最大限に利用することとして解釈可能であるからである。図１７Ａ，図１７ＢのブラケットＢＲ１は、スタイルを象徴的に表現しており、図１７Ａ，図１７ＢのブラケットＢＲ２は、内容を象徴的に表現しており、ブラケットＴＤは、種々異なるターゲットドメインを象徴的に表現している。
【0085】
いくつかの例示的な実施形態においては、ターゲットドメインＴＤ（図１７Ａ，１７Ｂ）、例えば、「夜」、「霧」又は「雪」のシーンからの１つの、例えば単一の、例えばラベル付けされていない画像を使用することができ、その画像のスタイルを、例えば図１７Ａ，１７Ｂの（参照符号ＴＤが付されている）第２列乃至第４列によって示されているソースドメインＳＤに転移させることができる。
【0086】
いくつかの例示的な実施形態においては、例えば各実施形態による原理に基づいて、例えば１つ又は複数のデジタル画像から抽出されたスタイルを補間することもできる。図１８に例示的に示されているように、元のデジタル画像ｘ－ａは、（水平方向）の中央にあり、例えば内容情報を提供する。２つのさらなるデジタル画像ｘ－ｂ，ｘ－ｃが、それぞれ図１８の左側及び右側に設けられている。ブラケットｘ－ａｂは、画像ｘ－ａ，ｘ－ｂに基づいて補間されたスタイルを有する３つのデジタル画像を表し、ブラケットｘ－ａｃは、画像ｘ－ａ，ｘ－ｃに基づいて補間されたスタイルを有する３つのデジタル画像を表す。見て取れるように、補間された画像ｘ－ａｂ，ｘ－ａｃについての内容情報は、デジタル画像ｘ－ａによって提供されており、その一方で、補間された画像ｘ－ａｂ，ｘ－ａｃについてのそれぞれのスタイル情報は、さらなる画像ｘ－ｂ，ｘ－ｃによって提供されている。
【0087】
いくつかの例示的な実施形態においては、図１２によって示されるように、所与のデータ集合の分布ＤＩＳＴＲを学習することができる。いくつかの例示的な実施形態においては、１つのガウス分布を、例えば所与のソースデータ集合の潜在値ｗの予測に基づいて、例えばＷ＋空間におけるそれぞれのスケールｗｉ；ｉ＝１，・・・，ｋで、それぞれ当て嵌めることができる。
【0088】
いくつかの例示的な実施形態においては、その後、例えば１つの特定のデジタル画像ｘが与えられると、ノイズ予測、例えばノイズマップεを特定して、例えば回帰された（又は他の方法で決定された）分布ＤＩＳＴＲ、例えばガウス分布からサンプリングされたスタイルと組み合わせることができる。このようにして、いくつかの例示的な実施形態においては、例えば所与の画像ｘからの良好に保存された意味論的な内容を有する、（例えば意味論的な内容に関して）ソースに類似している多数のサンプル画像ｘｓａｍｐｌｅｄを生成することができる。いくつかの例示的な実施形態においては、ソースデータ集合は、必ずしもエンコーダ１２，１２ａ，１２ｂの訓練において基礎としたソースデータ集合であるとは限らない。
【0089】
図１３のいくつかの例示的な実施形態においては、本方法は、例えば第１のドメインＤＯＭ－１（図１４）に関連付けられた１つ又は複数のデジタル画像が含まれる、画像データＩＭＧ－ＤＡＴ－ＤＯＭ－１を提供すること１６０、例えば第２のドメインＤＯＭ－２に関連付けられた１つ又は複数のデジタル画像が含まれる、画像データＩＭＧ－ＤＡＴ－ＤＯＭ－２を提供すること１６２（図１３）、第１のドメインＤＯＭ－１に関連付けられた画像データＤＡＴ－ＤＯＭ－１に第２のドメインＤＯＭ－２のスタイルＳＴＹＬＥ－２を適用すること１６４であって、例えば１つ又は複数の「スタイル混合された」デジタル画像ｘ－ＣＯＮＴ－１－ＳＴＹＬＥ－２の形態の画像データが取得される、こと１６４を含む。
【0090】
図１３のいくつかの例示的な実施形態においては、第１のドメインＤＯＭ－１に関連付けられた画像データＩＭＧ－ＤＡＴ－ＤＯＭ－１は、ラベルＬＡＢを含み、例えば、第１のドメインに関連付けられた画像データに第２のドメインのスタイルを適用すること１６４は、ラベルＬＡＢを保存すること１６４ａを含む。このようにして、同時にラベルＬＡＢを保存しながら、第１のドメインのデジタル画像のスタイルを修正することができ、これにより、別の異なるスタイルを有するさらなるラベル付けされた画像データｘ－ＣＯＮＴ－１－ＳＴＹＬＥ－２を提供することができる。
【0091】
いくつかの例示的な実施形態においては、例えば図１１、図１２、図１３のうちの少なくとも１つに従って（又は上記で説明した例示的な実施形態のうちのいずれかの他の実施形態に従って）取得された、スタイル混合された画像ｘは、例えば１つ又は複数のニューラルネットワークが含まれる機械学習システムの訓練中に、例えばデータ拡張のために使用可能である。
【0092】
例えば、図１４は、例示的な実施形態によるセマンティックセグメンテーションネットワークＥ３０を訓練するための例示的なユースケースを示している。要素Ｅ３１は、訓練損失を象徴的に表現している。
【0093】
図１５のいくつかの例示的な実施形態においては、本方法は、（例えば、図１４のエンコーダインスタンス１２ｂ－１によって決定することができる）第１の内容情報Ｉ－ＣＯＮＴ－１を有する第１の画像データＩＭＧ－ＤＡＴ－１を提供すること１７０、例えば第１の内容情報Ｉ－ＣＯＮＴ－１とは異なる第２の内容情報Ｉ－ＣＯＮＴ－２が含まれる、第２の画像データＩＭＧ－ＤＡＴ－２を提供すること１７２、第２の画像データＩＭＧ－ＤＡＴ－２のスタイル情報Ｉ－ＳＴＹＬＥ－２を抽出すること１７４、例えば図１４のエンコーダ１４ｂを使用することにより、第１の画像データＩＭＧ－ＤＡＴ－１に第２の画像データＩＭＧ－ＤＡＴ－２のスタイル情報Ｉ－ＳＴＹＬＥ－２の少なくとも一部を適用すること１７６を含む。
【0094】
例示的な実施形態によれば、例えば生成器１４ｂを使用して処理している間、内容情報Ｉ－ＣＯＮＴ－１は、変更されることなく維持されるので、第１のドメイン又はソースドメインＤＯＭ－１のラベルＬＡＢを使用することができ、これらのラベルＬＡＢは、スタイル混合された画像ｘ－ＣＯＮＴ－１－ＳＴＹＬＥ－２の生成中ずっと保存される。いくつかの例示的な実施形態においては、デジタル画像のスタイル情報を、例えばラベルなしで、例えば任意のターゲットドメインから翻訳することができる。例示的な実施形態によるそのようなデータ拡張は、例えば汎化性能を改善するために役立つことができる。
【0095】
例えば、いくつかの例示的な実施形態においては、昼間のシーン（すなわち、１つの単一の特定のドメイン又はスタイル）のみに基づいて訓練された（機械学習）モデルは、例えば夜間のシーンのようなその他のシーンに対して上手く機能しない可能性がある。提案される例示的な実施形態によるスタイル混合されたデータ拡張により、昼間のシーンと夜間のシーンとの間での性能ギャップを大幅に縮小することができる。
【0096】
興味深いことに、いくつかの例示的な実施形態においては、ソースドメイン内でのスタイル混合は、例えばより多くのデータ集合へのアクセスなしで、ドメイン外（ＯＯＤ：out-of-domain）の汎化を改善すること、例えばブーストすることが可能であるということを観察することができる。いくつかの例示的な実施形態においては、いくつかの例示的な実施形態による内部混合式（intra-mix）のスタイル付けは、例えば平坦な最適値の近似解を発見するために役立つことができ、これにより、例えばより良好な汎化能力をもたらすことができるということが仮定されている。
【0097】
さらに、いくつかの例示的な実施形態においては、各実施形態による原理を適用して取得することができるようなスタイル混合された画像を、妥当性確認のために使用することもでき、この場合、例えばモデルを選択するための汎化の代理指標として、テスト性能を使用することができる。いくつかの従来のアプローチでは、例えばソースデータ集合だけが与えられた場合には、最良の汎化能力を有する先験的なモデルを選び出すための良好又は好適な手法が存在しない可能性がある。したがって、いくつかの例示的な実施形態においては、各実施形態による原理を適用することによるスタイル混合は、例えばターゲットデータ集合を必要とすることなく最良のモデルを選択するために役立つことができる。
【0098】
いくつかの例示的な実施形態においては、例えば、エンコーダ１２，１２ａを使用することによって例えばスタイルを抽出するために、１つの単一の、例えばラベル付けされていない画像を使用することができ、例えば１つの単一の、例えばラベル付けされていない画像で十分であり、この場合、スタイルを、例えばソースデータ集合に転移させることができる。いくつかの例示的な実施形態においては、ソースデータ集合にラベル付けすることができ、したがって、スタイル混合されたデータ集合に基づいてモデルをテストすることができる。このようにして決定されたテスト精度に基づいて、いくつかの例示的な実施形態においては、ターゲットデータ集合に対するモデルの汎化性能を近似することができる。
【0099】
図１６のいくつかの例示的な実施形態においては、本方法は、例えば少なくとも１つのニューラルネットワーク及び／又は機械学習システムを訓練するための（例えば、１つ又は複数の訓練データ集合が含まれる）訓練データＴＲＡＩＮ－ＤＡＴを生成すること１８０を含み、生成すること１８０は、例えばソースドメインの画像データＩＭＧ－ＤＡＴ－ＳＲＣと、ソースドメインの修正された画像データＩＭＧ－ＤＡＴ－ＳＲＣ’とに基づいており、例えば、修正された画像データＩＭＧ－ＤＡＴ－ＳＲＣ’は、例えば各実施形態の原理による画像スタイルに関して、例えばさらなる画像データＩＭＧ－ＤＡＴ’のスタイルに基づいて修正され及び／又は修正されている。いくつかの例示的な実施形態においては、任意選択肢として、訓練データＴＲＡＩＮ－ＤＡＴに基づいて少なくとも１つのニューラルネットワークシステムＮＮＳを訓練すること１８２を実施することができる。
【0100】
いくつかの例示的な態様を要約すると、いくつかの例示的な実施形態においては（例えば、図１１及び図１２を参照のこと）、例えば拡張された画像ｘｍｉｘ，ｘｓａｍｐｌｅｄを生成するために、各実施形態の原理によるスタイル混合及び／又はスタイルサンプリングが適用される。上記で既述したように、図１４は、セマンティックセグメンテーション訓練のための提案されるデータ拡張パイプラインの例示的なユースケースを概略的に示している。スタイル混合の視覚的な例は、例えば図１７Ａ，図１７Ｂ（図１７Ａのカラー版）に提示されており、ここでは、スタイルを、例えばソースドメインＳＤの訓練集合から抽出することができ、及び／又は、ターゲットドメインＴＤの画像から、例えば単一の画像から抽出することができる。上記でも既述したように、図１８には、いくつかの例示的な実施形態による例示的なスタイル補間によって取得することができるような画像が示されている。
【0101】
図１９のさらなる例示的な実施形態は、各実施形態による方法を実施するための装置２００に関する。
【0102】
いくつかの例示的な実施形態においては、装置２００は、少なくとも１つの計算ユニット、例えばプロセッサ２０２を含み、及び／又は、例えばコンピュータプログラムＰＲＧ及び／又はデータＤＡＴを少なくとも一時的に格納するための、少なくとも１つの計算ユニット２０２に関連付けられた（例えば、少なくとも１つの計算ユニット２０２によって使用可能である）少なくとも１つのメモリユニット２０４を含み、コンピュータプログラムＰＲＧは、例えばＧＡＮシステム１０（図２）の少なくとも一部の態様、例えばエンコーダ１２及び／又は生成器１４を実装するために、例えば装置２００の動作を少なくとも一時的に制御するように構成されている。
【0103】
いくつかの例示的な実施形態においては、少なくとも１つの計算ユニット２０２は、コンピュータプログラムＰＲＧ又はその少なくとも一部を実行するために、例えば各実施形態による方法又はその少なくとも１つ又は複数のステップ及び／又は他の態様を実行するために、少なくとも１つのコア（図示せず）を含む。
【0104】
さらなる例示的な実施形態においては、少なくとも１つの計算ユニット２０２は、以下の要素、すなわち、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルロジック要素（例えば、ＦＰＧＡ、フィールドプログラマブルゲートアレイ）、ＡＳＩＣ（特定用途向け集積回路）、ハードウェア回路、テンソルプロセッサ、グラフィックス処理ユニット（ＧＰＵ）のうちの少なくとも１つを含み得る。さらなる好ましい実施形態によれば、これらの要素のうちの２つ以上の任意の組合せも可能である。
【0105】
さらなる例示的な実施形態によれば、メモリユニット２０４は、以下の要素、すなわち、揮発性メモリ２０４ａ、例えばランダムアクセスメモリ（ＲＡＭ）、不揮発性メモリ２０４ｂ、例えばフラッシュＥＥＰＲＯＭのうちの少なくとも１つを含む。
【0106】
いくつかの例示的な実施形態においては、コンピュータプログラムＰＲＧは、不揮発性メモリ２０４ｂに少なくとも一時的に格納されている。例えば、いくつかの例示的な実施形態による方法を実行するために使用することができる以下のもの、例えばａ）デジタル画像、ｂ）ＧＡＮシステム１０のパラメータ及び／又はハイパーパラメータ、ｃ）潜在変数、ｄ）例えばノイズマップのマスキングのためのランダムデータ、ｅ）分布ＤＩＳＴＲ、ｆ）内容情報Ｉ－ＣＯＮＴ－１、ｇ）スタイル情報Ｉ－ＳＴＹＬＥ－２、及び、これらに類するものを、ＲＡＭ２０４ａに少なくとも一時的に格納することができる。
【0107】
いくつかの例示的な実施形態においては、例えばさらなるコンピュータプログラムＰＲＧ’の形態の命令が含まれる、任意選択肢のコンピュータ可読記憶媒体ＳＭを設けることができ、このさらなるコンピュータプログラムＰＲＧ’は、コンピュータによって、すなわち、計算ユニット２０２によって実行された場合に、各実施形態による方法をコンピュータ２０２に実施させることができる。一例として、記憶媒体ＳＭは、半導体メモリ装置（例えば、ソリッドステートドライブ、ＳＳＤ）のようなデジタル記憶媒体、及び／又は、ディスク又はハードディスクドライブ（ＨＤＤ）のような磁気記憶媒体、及び／又は、コンパクトディスク（ＣＤ）又はＤＶＤ（デジタルバーサタイルディスク）のような光学記憶媒体、又は、これらに類するものを含み得るものであり又は表し得るものである。
【0108】
いくつかの例示的な実施形態においては、装置２００は、例えば外部装置（図示せず）との双方向データ交換のための任意選択肢のデータインタフェース２０６を含み得る。一例として、データインタフェース２０６によってデータ搬送信号ＤＣＳを、例えば外部装置から、例えば有線又は無線のデータ伝送媒体を介して、例えばインタネットのような、例えば（仮想）プライベートコンピュータネットワーク及び／又はパブリックコンピュータネットワークを介して受信することができる。
【0109】
いくつかの例示的な実施形態においては、データ搬送信号ＤＣＳは、各実施形態によるコンピュータプログラムＰＲＧ，ＰＲＧ’又はその少なくとも一部を表し得るものであり又は搬送し得るものである。
【0110】
さらなる例示的な実施形態は、コンピュータ２０２によって実行された場合に、各実施形態による方法をコンピュータ２０２に実施させる命令を含む、コンピュータプログラムＰＲＧ，ＰＲＧ’に関する。
【0111】
図２０のさらなる例示的な実施形態は、各実施形態による方法の、及び／又は、各実施形態による装置２００の、及び／又は、各実施形態によるコンピュータプログラムＰＲＧ，ＰＲＧ’の、及び／又は、各実施形態によるコンピュータ可読記憶媒体ＳＭの、及び／又は、各実施形態によるデータ搬送信号ＤＣＳの、以下のことのうちの少なくとも１つのための使用３００であって、すなわち、ａ）第１のデジタル画像に関連付けられたノイズ予測と、拡大された潜在空間に関連付けられた複数の潜在変数とに基づいて、少なくとも１つのさらなるデジタル画像を決定すること３０１であって、複数の潜在変数のうちの少なくともいくつかは、第１のデジタル画像とは異なる別の画像及び／又は他のデータに関連付けられている、こと３０１、ｂ）例えば第１のデジタル画像の内容を保存しながら、第２のデジタル画像からのスタイルを第１のデジタル画像に転移させること３０２、ｃ）少なくとも１つのデジタル画像のスタイルと内容とを分離すること３０３、ｄ）例えば第１のデジタル画像と、少なくとも１つのさらなるデジタル画像、例えば第２のデジタル画像のスタイルとに基づいて、変更されていない内容を有し、かつ、異なるようにスタイル付けされたデジタル画像を作成すること３０４、ｅ）ラベル付けされた注釈を、スタイル付けされた画像のために使用すること、例えば再利用すること３０５、ｆ）少なくとも１つのデジタル画像のスタイルを変化させる際に、注釈付け作業を回避すること３０６、ｇ）例えば種々異なるスタイルを有する、例えば知覚的に現実的なデジタル画像を生成すること３０７、ｈ）例えばニューラルネットワークシステムの分布外の汎化をテストするために、代理の妥当性確認集合を提供すること３０８、ｉ）機械学習システムを訓練すること３０９、ｊ）機械学習システムをテストすること３１０、ｋ）機械学習システムを検証すること３１１、ｌ）機械学習システムを妥当性確認すること３１２、ｍ）例えば機械学習システムのための訓練データを生成すること３１３、ｎ）例えば既存の画像データのデータ拡張３１４、ｏ）機械学習システムの汎化性能を改善すること３１５、ｐ）例えば複数のデータ集合に関連付けられた訓練なしで、画像スタイルを操作すること、例えば柔軟に操作すること３１６、ｑ）画像スタイルを操作するためにエンコーダＧＡＮパイプライン１２，１４を利用すること３１７、ｒ）エンコーダ１２によって、画像スタイルに関連付けられた情報を、例えば中間の潜在変数に埋め込むこと３１８、ｓ）複数のデジタル画像のスタイルを混合して、この混合に基づくスタイルが含まれる少なくとも１つのさらなるデジタル画像を生成すること３１９のうちの少なくとも１つのための使用３００に関する。
【0112】
以下においては、いくつかの例示的な実施形態において互いに、及び／又は、上記で説明した例示的な態様のうちの少なくとも１つと組み合わせることができる、さらなる例示的な実施形態によるさらなる態様及び利点が提示される。
【0113】
いくつかの従来のアプローチでは、深層学習のために独立同分布（それぞれ互いに独立しており、かつ、同様の分布を有する）の仮定が行われており、すなわち、例えばデジタル画像のような訓練データ及びテストデータは、同様の分布から引き出されることが求められている。しかしながら、この独立同分布の仮定は、現実の生活の中では容易に違反される可能性がある。例えば、気象条件の違いや都市の違いは、分布のシフトを引き起こす可能性がある。少なくともいくつかの従来のアプローチでは、このようなデータシフトは、深刻な性能劣化をもたらす可能性がある。少なくともいくつかの従来のアプローチでは、教師なしのドメイン適応又はドメイン汎化は、この問題を軽減することを目的としている。
【0114】
いくつかの従来のアプローチでは、例えば色変換及びＣｕｔＭｉｘ（https://arxiv.org/pdf/1912.04958.pdf）のようなデータ拡張技術が提案されており、このデータ拡張技術は、データ集合の外観をランダムに修正することはできるが、別のデータ集合の外観／スタイルをソースデータ集合に転移させることはできない。いくつかの従来のアプローチでは、ドメイン適応のための画像から画像への（Image to Image）翻訳は、目標とされたこのような翻訳を行うことはできるが、画像から画像への翻訳モデルがソースドメイン及びターゲットドメインの両方に基づいて訓練されることを必要とする。
【0115】
いくつかの例示的な実施形態においては、各実施形態による原理を、例えばEncoding in Style: a StyleGAN Encoder for Image-to-Image Translation (pSp)（https://arxiv.org/pdf/2008.00951.pdf）のように、例えばエンコーダ－ＧＡＮアーキテクチャに対する拡張としてみなすことができ、及び／又は、使用することができる。特に、従来のアプローチとは対照的に、各実施形態による原理は、例えばマルチデータ集合の訓練なしで、画像スタイルを柔軟に操作することができる。いくつかの例示的な実施形態においては、例えば各実施形態による原理を適用することによって取得されるような画像、例えば合成された画像を、ネットワークの訓練中のデータ拡張のために、例えばモデル汎化性能を改善するために使用することができる。
【0116】
いくつかの例示的な実施形態においては、例えば各実施形態による原理を適用することによって取得されるようなスタイル付けされた画像を、例えばモデルの分布外（ＯＯＤ：out-of-distribution）の汎化性能を示すための妥当性確認のために使用することができる。
【0117】
いくつかの例示的な実施形態においては、画像スタイルを操作するためにエンコーダＧＡＮパイプラインが使用される。いくつかの例示的な実施形態においては、例えば適当に訓練されたエンコーダは、教師なしでスタイル情報と内容情報とを分離することが可能であるということを観察することができる。より具体的には、いくつかの例示的な実施形態においては、エンコーダは、スタイル情報を中間の潜在変数に埋め込むことができ、内容情報をノイズに埋め込むことができる。さらに、いくつかの例示的な実施形態においては、このパイプラインは、見たことのないデータ集合まで良好に一般化する。
【0118】
いくつかの例示的な実施形態においては、各実施形態による原理に関するエンコーダＧＡＮパイプラインのこれらの魅力ある特性の利点を利用して、例えば、画像スタイルを操作するための複数の用途、及び／又は、例えば訓練中及び／又は妥当性確認中におけるさらなる使用法が提案される。
【0119】
いくつかの例示的な実施形態においては、各実施形態による原理は、他のデータ集合のスタイルをソースデータ集合に転移させることを可能にし、元の画像の良好に保存された内容情報を有するスタイル付けされた画像を生成することを可能にする。
【0120】
いくつかの例示的な実施形態においては、各実施形態による原理は、スタイルを補間すること、及び／又は、スタイル分布を学習することを可能にし、スタイル分布からサンプリングすることを可能にする。いくつかの例示的な実施形態においては、各実施形態による原理を適用することによって取得されるようなスタイル付けされた画像を、例えば訓練中に、例えばデータ拡張のために使用することができる。
【0121】
いくつかの例示的な実施形態においては、各実施形態による原理を適用することによって取得されるようなスタイル付けされた画像を、例えば分布外（ＯＯＤ：out-of-distribution）のデータのための代理の妥当性確認集合として使用することができ、この場合、スタイル付けされた合成された画像に対するテスト精度は、ＯＯＤの汎化性能をある程度まで予測することができる。いくつかの例示的な実施形態においては、このことは、モデル選択のために役立つことができる。例えば、晴れた日のシーン（ソースドメイン）に基づいて訓練されたモデルでは、夜、霧、雪、及び、他の異なる気象条件下の任意のシーンは、ＯＯＤのサンプルとしてみなされる。いくつかの例示的な実施形態においては、ＯＯＤのサンプルのスタイルを、ソース画像の内容を保存しながらソースドメインに転移させることができる。いくつかの例示的な実施形態においては、ソースドメインの画像にラベル付けすることができるので、スタイル付けされたソース画像に基づいてモデルをテストすることができ、テスト精度は、モデルのＯＯＤの汎化能力を示すことができる。
【0122】
いくつかの例示的な実施形態においては、例えばエンコーダ１２，１２ａがスタイルと内容とを分離することによって、例示的な実施形態は、画像の内容を変更せずに維持しながら、例えば、元の画像の内容と同一の内容のまま維持しながら、異なるようにスタイル付けされた画像を生成することが可能となる。したがって、いくつかの例示的な実施形態においては、元の画像のラベル付けされた注釈も、スタイル付けされた画像のために使用することができる。
【0123】
いくつかの従来のアプローチでは、既存のデータによってカバーされていない分布からサンプルを引き出す場合には、収集されたサンプルにラベル付けする必要があるが、例示的な実施形態においては、ラベルが保存されることによって、このことが当てはまらない。
【0124】
したがって、いくつかの例示的な実施形態においては、例えば追加的な注釈付け作業のための時間及び／又はコストを節約することができる。
【0125】
さらに、いくつかの例示的な実施形態においては、各実施形態の原理を適用することによって取得することができるようなスタイル混合された画像は、知覚的に現実的であり、例えばターゲットデータ集合に近似している。したがって、いくつかの例示的な実施形態においては、これらのスタイル混合された画像を、分布外の汎化をテストするための代理の妥当性確認集合として使用することができる。
【0126】
いくつかの例示的な実施形態においては、各実施形態の原理によるエンコーダ－ＧＡＮパイプラインは、例えば画像から画像への翻訳のいくつかの従来の方法のようなターゲットデータ集合に基づく訓練を必要としない。いくつかの例示的な実施形態においては、単一のデータ集合に基づいて訓練されたモデルが、見たことのないデータ集合まで良好に汎化し、このことにより、より柔軟なスタイル混合及び操作が可能となる。
【0127】
いくつかの例示的な実施形態においては、各実施形態の原理は、例えば機械学習（ＭＬ）システムを訓練すること、この訓練のための訓練データを生成すること、例えば訓練されたＭＬシステムがそれから安全に動作可能であるかどうかをチェックするために、テストデータを生成することのうちの少なくとも１つのために使用可能である。
【0128】
いくつかの例示的な実施形態においては、各実施形態の態様は、例えば訓練データ又はテストデータを生成するための生成モデルに関し、及び／又は、このような生成モデルを特徴付け、生成モデルを訓練するための方法に関する。
【0129】
いくつかの例示的な実施形態においては、各実施形態による原理は、例えば、限定するものではないが、ａ）データ分析、例えばデジタル画像及び／又はビデオデータの分析、ｂ）デジタル画像データを分類すること、ｃ）データ内のオブジェクトの存在を検出すること、ｄ）限定するものではないが、例えばセマンティックセグメンテーションタスクにおいて見られるｄ１）交通標識、ｄ２）路面、ｄ３）歩行者、ｄ４）車両、ｄ５）オブジェクトクラス、例えば樹木、空等のうちの少なくとも１つに関するデータに基づいてセマンティックセグメーションを実施することのうちの少なくとも１つのために使用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【手続補正書】
【提出日】2023-12-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
デジタル画像データを処理する方法、例えばコンピュータ実装された方法であって、
前記方法は、
第１のデジタル画像（ｘ１）を、敵対的生成ネットワークＧＡＮシステム（１０）の生成器（１４；１４ａ）に関連付けられた拡大された潜在空間（ＳＰ－Ｗ＋）にマッピングするように構成されたエンコーダ（１２；１２ａ）によって、前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を決定すること（１００）と、
前記ＧＡＮシステム（１０）の前記生成器（１４）によって、前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ）とに基づいて、少なくとも１つのさらなるデジタル画像（ｘ’）を決定すること（１０２）と、
を含む、方法。
前記方法は、
第１のデジタル画像（ｘ１）を、敵対的生成ネットワークＧＡＮシステム（１０）の生成器（１４；１４ａ）に関連付けられた拡大された潜在空間（ＳＰ－Ｗ＋）にマッピングするように構成されたエンコーダ（１２；１２ａ）によって、前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を決定すること（１００）と、
前記ＧＡＮシステム（１０）の前記生成器（１４）によって、前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ）とに基づいて、少なくとも１つのさらなるデジタル画像（ｘ’）を決定すること（１０２）と、
を含む、方法。
【請求項2】
前記方法は、
前記複数の潜在変数（ＬＡＴ－ＶＡＲ）を、
ａ）例えば前記エンコーダ（１２）を使用して、前記第１のデジタル画像（ｘ１）とは異なる第２のデジタル画像（ｘ２）、
ｂ）複数の確率分布（ＤＩＳＴＲ）
のうちの少なくとも１つに基づいて決定すること（１１０）
を含む、
請求項１に記載の方法。
前記複数の潜在変数（ＬＡＴ－ＶＡＲ）を、
ａ）例えば前記エンコーダ（１２）を使用して、前記第１のデジタル画像（ｘ１）とは異なる第２のデジタル画像（ｘ２）、
ｂ）複数の確率分布（ＤＩＳＴＲ）
のうちの少なくとも１つに基づいて決定すること（１１０）
を含む、
請求項１に記載の方法。
【請求項3】
前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた前記複数の潜在変数（ＬＡＴ－ＶＡＲ）のうちの少なくともいくつかは、前記第１のデジタル画像（ｘ１）の以下の態様、すなわち、
ａ）スタイル、例えば非意味論的な外観、
ｂ）テクスチャ、
ｃ）色
のうちの少なくとも１つを特徴付ける、
請求項１に記載の方法。
ａ）スタイル、例えば非意味論的な外観、
ｂ）テクスチャ、
ｃ）色
のうちの少なくとも１つを特徴付ける、
請求項１に記載の方法。
【請求項4】
前記方法は、
ａ）前記第１のデジタル画像（ｘ１）に基づいて、複数の、例えば階層的な特徴マップ（ＦＭ）を決定すること（１２０）、
ｂ）前記複数の、例えば階層的な特徴マップ（ＦＭ）に基づいて、前記第１のデジタル画像（ｘ１）に関する前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ－ｘ１）を決定すること（１２２）、
ｃ）前記複数の、例えば階層的な特徴マップ（ＦＭ）のうちの少なくとも１つに基づいて、例えば加法性のノイズマップ（ＮＯＩＳＥ－ＭＡＰ）を決定すること（１２４）
のうちの少なくとも１つを含む、
請求項１に記載の方法。
ａ）前記第１のデジタル画像（ｘ１）に基づいて、複数の、例えば階層的な特徴マップ（ＦＭ）を決定すること（１２０）、
ｂ）前記複数の、例えば階層的な特徴マップ（ＦＭ）に基づいて、前記第１のデジタル画像（ｘ１）に関する前記拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ－ｘ１）を決定すること（１２２）、
ｃ）前記複数の、例えば階層的な特徴マップ（ＦＭ）のうちの少なくとも１つに基づいて、例えば加法性のノイズマップ（ＮＯＩＳＥ－ＭＡＰ）を決定すること（１２４）
のうちの少なくとも１つを含む、
請求項１に記載の方法。
【請求項5】
前記方法は、
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）の少なくとも一部をランダム及び／又は擬似ランダムにマスキングすること（１３０）
を含む、
請求項１に記載の方法。
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）の少なくとも一部をランダム及び／又は擬似ランダムにマスキングすること（１３０）
を含む、
請求項１に記載の方法。
【請求項6】
前記方法は、
前記ノイズマップ（ＮＯＩＳＥ－ＭＡＰ）を、例えばランダム及び／又は擬似ランダムにマスキングすること（１３２）
を含む、
請求項４に記載の方法。
前記ノイズマップ（ＮＯＩＳＥ－ＭＡＰ）を、例えばランダム及び／又は擬似ランダムにマスキングすること（１３２）
を含む、
請求項４に記載の方法。
【請求項7】
前記方法は、
前記ノイズマップ（ＮＯＩＳＥ－ＭＡＰ；ε）を複数の、例えばＰ×Ｐ個の、例えば重なり合っていないパッチ（ＰＡＴＣＨ）に分割すること（１３２ａ）、例えば空間的に分割することと、
前記複数のパッチ（ＰＡＴＣＨ）の部分集合（ＰＡＴＣＨ－ＳＵＢ）をランダム及び／又は擬似ランダムに選択すること（１３２ｂ）と、
前記複数のパッチ（ＰＡＴＣＨ）の前記部分集合（ＰＡＴＣＨ－ＳＵＢ）を、例えば同等のサイズの、例えば単位ガウス分布のランダム変数のパッチ（ＰＡＴＣＨ－ＲＮＤ）によって置き換えること（１３２ｃ）と、
を含む、
請求項６に記載の方法。
前記ノイズマップ（ＮＯＩＳＥ－ＭＡＰ；ε）を複数の、例えばＰ×Ｐ個の、例えば重なり合っていないパッチ（ＰＡＴＣＨ）に分割すること（１３２ａ）、例えば空間的に分割することと、
前記複数のパッチ（ＰＡＴＣＨ）の部分集合（ＰＡＴＣＨ－ＳＵＢ）をランダム及び／又は擬似ランダムに選択すること（１３２ｂ）と、
前記複数のパッチ（ＰＡＴＣＨ）の前記部分集合（ＰＡＴＣＨ－ＳＵＢ）を、例えば同等のサイズの、例えば単位ガウス分布のランダム変数のパッチ（ＰＡＴＣＨ－ＲＮＤ）によって置き換えること（１３２ｃ）と、
を含む、
請求項６に記載の方法。
【請求項8】
前記方法は、
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を、第２のデジタル画像（ｘ２）又は前記第２のデジタル画像（ｘ２）のスタイル予測（ＰＲＥＤ－ＳＴＹＬＥ－ｘ２）と組み合わせること（１４０）と、
組み合わせられた、前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記第２のデジタル画像（ｘ２）のスタイル予測（ＰＲＥＤ－ＳＴＹＬＥ－ｘ２）とに基づいて、前記生成器（１４ａ）を使用してさらなるデジタル画像（ｘ１，２）を生成すること（１４２）と、
を含む、
請求項１に記載の方法。
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を、第２のデジタル画像（ｘ２）又は前記第２のデジタル画像（ｘ２）のスタイル予測（ＰＲＥＤ－ＳＴＹＬＥ－ｘ２）と組み合わせること（１４０）と、
組み合わせられた、前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記第２のデジタル画像（ｘ２）のスタイル予測（ＰＲＥＤ－ＳＴＹＬＥ－ｘ２）とに基づいて、前記生成器（１４ａ）を使用してさらなるデジタル画像（ｘ１，２）を生成すること（１４２）と、
を含む、
請求項１に記載の方法。
【請求項9】
前記方法は、
前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を提供すること（１５０）と、
前記第１のデジタル画像（ｘ１）の内容、例えば意味論的な内容に適用されるべき種々異なるスタイルを特徴付ける種々異なる潜在変数の集合（ＳＥＴ－ＬＡＴ－ＶＡＲ）を提供すること（１５２）と、
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記種々異なるスタイルを特徴付ける前記種々異なる潜在変数の集合（ＳＥＴ－ＬＡＴ－ＶＡＲ）とに基づいて、前記生成器（１４ｂ）を使用して、種々異なるスタイルを有する複数のデジタル画像（ＰＬＵＲ－ｘ）を生成すること（１５４）と、
を含む、
請求項１に記載の方法。
前記第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）を提供すること（１５０）と、
前記第１のデジタル画像（ｘ１）の内容、例えば意味論的な内容に適用されるべき種々異なるスタイルを特徴付ける種々異なる潜在変数の集合（ＳＥＴ－ＬＡＴ－ＶＡＲ）を提供すること（１５２）と、
前記第１のデジタル画像（ｘ１）に関連付けられた前記ノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、前記種々異なるスタイルを特徴付ける前記種々異なる潜在変数の集合（ＳＥＴ－ＬＡＴ－ＶＡＲ）とに基づいて、前記生成器（１４ｂ）を使用して、種々異なるスタイルを有する複数のデジタル画像（ＰＬＵＲ－ｘ）を生成すること（１５４）と、
を含む、
請求項１に記載の方法。
【請求項10】
前記方法は、
例えば第１のドメイン（ＤＯＭ－１）に関連付けられた１つ又は複数のデジタル画像が含まれる画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）を提供すること（１６０）と、
例えば第２のドメイン（ＤＯＭ－２）に関連付けられた１つ又は複数のデジタル画像が含まれる画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－２）を提供すること（１６２）と、
前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）に前記第２のドメイン（ＤＯＭ－２）のスタイル（ＳＴＹＬＥ－２）を適用すること（１６４）と、
を含む、
請求項１に記載の方法。
例えば第１のドメイン（ＤＯＭ－１）に関連付けられた１つ又は複数のデジタル画像が含まれる画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）を提供すること（１６０）と、
例えば第２のドメイン（ＤＯＭ－２）に関連付けられた１つ又は複数のデジタル画像が含まれる画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－２）を提供すること（１６２）と、
前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）に前記第２のドメイン（ＤＯＭ－２）のスタイル（ＳＴＹＬＥ－２）を適用すること（１６４）と、
を含む、
請求項１に記載の方法。
【請求項11】
前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）は、ラベル（ＬＡＢ）を含み、
例えば、前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）に前記第２のドメイン（ＤＯＭ－２）の前記スタイル（ＳＴＹＬＥ－２）を適用すること（１６４）は、前記ラベル（ＬＡＢ）を保存すること（１６４ａ）を含む、
請求項１０に記載の方法。
例えば、前記第１のドメイン（ＤＯＭ－１）に関連付けられた前記画像データ（ＩＭＧ－ＤＡＴ－ＤＯＭ－１）に前記第２のドメイン（ＤＯＭ－２）の前記スタイル（ＳＴＹＬＥ－２）を適用すること（１６４）は、前記ラベル（ＬＡＢ）を保存すること（１６４ａ）を含む、
請求項１０に記載の方法。
【請求項12】
前記方法は、
第１の内容情報（Ｉ－ＣＯＮＴ－１）を有する第１の画像データ（ＩＭＧ－ＤＡＴ－１）を提供すること（１７０）と、
例えば前記第１の内容情報（Ｉ－ＣＯＮＴ－１）とは異なる第２の内容情報（Ｉ－ＣＯＮＴ－２）が含まれる第２の画像データ（ＩＭＧ－ＤＡＴ－２）を提供すること（１７２）と、
前記第２の画像データ（ＩＭＧ－ＤＡＴ－２）のスタイル情報（Ｉ－ＳＴＹＬＥ－２）を抽出すること（１７４）と、
前記第１の画像データ（ＩＭＧ－ＤＡＴ－１）に前記第２の画像データ（ＩＭＧ－ＤＡＴ－２）の前記スタイル情報（Ｉ－ＳＴＹＬＥ－２）の少なくとも一部を適用すること（１７６）と、
を含む、
請求項１に記載の方法。
第１の内容情報（Ｉ－ＣＯＮＴ－１）を有する第１の画像データ（ＩＭＧ－ＤＡＴ－１）を提供すること（１７０）と、
例えば前記第１の内容情報（Ｉ－ＣＯＮＴ－１）とは異なる第２の内容情報（Ｉ－ＣＯＮＴ－２）が含まれる第２の画像データ（ＩＭＧ－ＤＡＴ－２）を提供すること（１７２）と、
前記第２の画像データ（ＩＭＧ－ＤＡＴ－２）のスタイル情報（Ｉ－ＳＴＹＬＥ－２）を抽出すること（１７４）と、
前記第１の画像データ（ＩＭＧ－ＤＡＴ－１）に前記第２の画像データ（ＩＭＧ－ＤＡＴ－２）の前記スタイル情報（Ｉ－ＳＴＹＬＥ－２）の少なくとも一部を適用すること（１７６）と、
を含む、
請求項１に記載の方法。
【請求項13】
前記方法は、
例えば少なくとも１つのニューラルネットワークシステム（ＮＮＳ）を訓練するための訓練データ（ＴＲＡＩＮ－ＤＡＴ）を生成すること（１８０）
を含み、
前記生成すること（１８０）は、例えばソースドメインの画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ）と、前記ソースドメインの修正された画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ’）とに基づいており、
例えば前記修正された画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ’）は、画像スタイルに関して、例えばさらなる画像データ（ＩＭＧ－ＤＡＴ’）のスタイルに基づいて修正され及び／又は修正されている、
請求項１に記載の方法。
例えば少なくとも１つのニューラルネットワークシステム（ＮＮＳ）を訓練するための訓練データ（ＴＲＡＩＮ－ＤＡＴ）を生成すること（１８０）
を含み、
前記生成すること（１８０）は、例えばソースドメインの画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ）と、前記ソースドメインの修正された画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ’）とに基づいており、
例えば前記修正された画像データ（ＩＭＧ－ＤＡＴ－ＳＲＣ’）は、画像スタイルに関して、例えばさらなる画像データ（ＩＭＧ－ＤＡＴ’）のスタイルに基づいて修正され及び／又は修正されている、
請求項１に記載の方法。
【請求項14】
前記方法は、
前記訓練データ（ＴＲＡＩＮ－ＤＡＴ）に基づいて前記少なくとも１つのニューラルネットワークシステム（ＮＮＳ）を訓練すること（１８２）
を含む、
請求項１３に記載の方法。
前記訓練データ（ＴＲＡＩＮ－ＤＡＴ）に基づいて前記少なくとも１つのニューラルネットワークシステム（ＮＮＳ）を訓練すること（１８２）
を含む、
請求項１３に記載の方法。
【請求項15】
請求項１に記載の方法を実施するための装置（２００）。
【請求項16】
コンピュータプログラム（ＰＲＧ；ＰＲＧ’）であって、当該コンピュータプログラム（ＰＲＧ；ＰＲＧ’）がコンピュータ（２０２）によって実行された場合に、請求項１に記載の方法を前記コンピュータ（２０２）に実施させるための命令を含むコンピュータプログラム（ＰＲＧ；ＰＲＧ’）。
【請求項17】
請求項１６に記載のコンピュータプログラム（ＰＲＧ；ＰＲＧ’）を記憶しているコンピュータ可読記憶媒体（ＳＭ）。
【請求項18】
請求項１に記載の方法の、又は、
請求項１５に記載の装置（２００）の、又は、
請求項１６に記載のコンピュータプログラム（ＰＲＧ；ＰＲＧ’）の、又は、
請求項１７に記載のコンピュータ可読記憶媒体（ＳＭ）の、
以下のことのうちの少なくとも１つのための使用（３００）であって、すなわち、
ａ）第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ）とに基づいて、少なくとも１つのさらなるデジタル画像（ｘ’）を決定すること（３０１）であって、前記複数の潜在変数（ＬＡＴ－ＶＡＲ）のうちの少なくともいくつかは、前記第１のデジタル画像（ｘ１）とは異なる別の画像及び／又は他のデータに関連付けられている、こと（３０１）、
ｂ）例えば前記第１のデジタル画像の内容を保存しながら、第２のデジタル画像からのスタイルを前記第１のデジタル画像に転移させること（３０２）、
ｃ）少なくとも１つのデジタル画像のスタイルと内容とを分離すること（３０３）、
ｄ）例えば前記第１のデジタル画像と、少なくとも１つのさらなるデジタル画像、例えば第２のデジタル画像のスタイルとに基づいて、変更されていない内容を有し、かつ、異なるようにスタイル付けされたデジタル画像を作成すること（３０４）、
ｅ）ラベル付けされた注釈を、スタイル付けされた画像のために使用すること、例えば再利用すること（３０５）、
ｆ）少なくとも１つのデジタル画像のスタイルを変化させる際に、注釈付け作業を回避すること（３０６）、
ｇ）例えば種々異なるスタイルを有する、例えば知覚的に現実的なデジタル画像を生成すること（３０７）、
ｈ）例えばニューラルネットワークシステムの分布外の汎化をテストするために、代理の妥当性確認集合を提供すること（３０８）、
ｉ）機械学習システムを訓練すること（３０９）、
ｊ）機械学習システムをテストすること（３１０）、
ｋ）機械学習システムを検証すること（３１１）、
ｌ）機械学習システムを妥当性確認すること（３１２）、
ｍ）例えば機械学習システムのための訓練データを生成すること（３１３）、
ｎ）例えば既存の画像データのデータ拡張（３１４）、
ｏ）機械学習システムの汎化性能を改善すること（３１５）、
ｐ）例えば複数のデータ集合に関連付けられた訓練なしで、画像スタイルを操作すること、例えば柔軟に操作すること（３１６）、
ｑ）画像スタイルを操作するためにエンコーダＧＡＮパイプラインを利用すること（３１７）、
ｒ）前記エンコーダ（１２）によって、画像スタイルに関連付けられた情報を、例えば中間の潜在変数に埋め込むこと（３１８）、
ｓ）複数のデジタル画像のスタイルを混合して、この混合に基づくスタイルが含まれる少なくとも１つのさらなるデジタル画像を生成すること（３１９）
のうちの少なくとも１つのための使用（３００）。
請求項１５に記載の装置（２００）の、又は、
請求項１６に記載のコンピュータプログラム（ＰＲＧ；ＰＲＧ’）の、又は、
請求項１７に記載のコンピュータ可読記憶媒体（ＳＭ）の、
以下のことのうちの少なくとも１つのための使用（３００）であって、すなわち、
ａ）第１のデジタル画像（ｘ１）に関連付けられたノイズ予測（ＰＲＥＤ－ＮＯＩＳＥ－ｘ１）と、拡大された潜在空間（ＳＰ－Ｗ＋）に関連付けられた複数の潜在変数（ＬＡＴ－ＶＡＲ）とに基づいて、少なくとも１つのさらなるデジタル画像（ｘ’）を決定すること（３０１）であって、前記複数の潜在変数（ＬＡＴ－ＶＡＲ）のうちの少なくともいくつかは、前記第１のデジタル画像（ｘ１）とは異なる別の画像及び／又は他のデータに関連付けられている、こと（３０１）、
ｂ）例えば前記第１のデジタル画像の内容を保存しながら、第２のデジタル画像からのスタイルを前記第１のデジタル画像に転移させること（３０２）、
ｃ）少なくとも１つのデジタル画像のスタイルと内容とを分離すること（３０３）、
ｄ）例えば前記第１のデジタル画像と、少なくとも１つのさらなるデジタル画像、例えば第２のデジタル画像のスタイルとに基づいて、変更されていない内容を有し、かつ、異なるようにスタイル付けされたデジタル画像を作成すること（３０４）、
ｅ）ラベル付けされた注釈を、スタイル付けされた画像のために使用すること、例えば再利用すること（３０５）、
ｆ）少なくとも１つのデジタル画像のスタイルを変化させる際に、注釈付け作業を回避すること（３０６）、
ｇ）例えば種々異なるスタイルを有する、例えば知覚的に現実的なデジタル画像を生成すること（３０７）、
ｈ）例えばニューラルネットワークシステムの分布外の汎化をテストするために、代理の妥当性確認集合を提供すること（３０８）、
ｉ）機械学習システムを訓練すること（３０９）、
ｊ）機械学習システムをテストすること（３１０）、
ｋ）機械学習システムを検証すること（３１１）、
ｌ）機械学習システムを妥当性確認すること（３１２）、
ｍ）例えば機械学習システムのための訓練データを生成すること（３１３）、
ｎ）例えば既存の画像データのデータ拡張（３１４）、
ｏ）機械学習システムの汎化性能を改善すること（３１５）、
ｐ）例えば複数のデータ集合に関連付けられた訓練なしで、画像スタイルを操作すること、例えば柔軟に操作すること（３１６）、
ｑ）画像スタイルを操作するためにエンコーダＧＡＮパイプラインを利用すること（３１７）、
ｒ）前記エンコーダ（１２）によって、画像スタイルに関連付けられた情報を、例えば中間の潜在変数に埋め込むこと（３１８）、
ｓ）複数のデジタル画像のスタイルを混合して、この混合に基づくスタイルが含まれる少なくとも１つのさらなるデジタル画像を生成すること（３１９）
のうちの少なくとも１つのための使用（３００）。
【外国語明細書】