知財求人 - 知財ポータルサイト「IP Force」
▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024147525
(43)【公開日】2024-10-16
(54)【発明の名称】拡散モデルについての特定の等価性のトレーニング
(51)【国際特許分類】
G06T 7/00 20170101AFI20241008BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 650A
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024059380
(22)【出願日】2024-04-02
(31)【優先権主張番号】23166387
(32)【優先日】2023-04-03
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】アンナ コレヴァ
(72)【発明者】
【氏名】ニキータ キスター
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096DA01
5L096EA05
5L096EA37
5L096FA02
5L096FA69
5L096HA11
5L096JA11
5L096KA04
5L096MA03
(57)【要約】 （修正有）
【課題】ノイズを含む入力画像からノイズ除去された出力画像を生成する拡散モデルをトレーニングする方法及びトレーニング済み拡散モデルを用いて画像を編集する方法を提供する。
【解決手段】トレーニング方法（１００）は、ノイズトレーニングサンプルεを提供（１１０）し、トレーニング画像ｘ＊を提供（１２０）し、少なくとも１つの画像Ｉを変換画像Ｔ（Ｉ）へとマッピングする変換Ｔを提供（１３０）し、各ノイズサンプルεを１つ又は複数のトレーニング画像ｘ＊に適用してノイズを有する画像ｘｔを取得（１４０）し、変換Ｔを適用して拡散モデル（１）のための入力ｉ＝Ｔ（ｘｔ）を取得（１５０）し、少なくとも変換Ｔ及びノイズサンプルεに基づいて、拡散モデル（１）の予測出力ｏ＃を計算（１７０）し、所定の損失関数Ｌを用いて、拡散モデル（１）の挙動を特徴付けるパラメータ（１ａ）を最適化（１９０）する。
【選択図】図１
【解決手段】トレーニング方法（１００）は、ノイズトレーニングサンプルεを提供（１１０）し、トレーニング画像ｘ＊を提供（１２０）し、少なくとも１つの画像Ｉを変換画像Ｔ（Ｉ）へとマッピングする変換Ｔを提供（１３０）し、各ノイズサンプルεを１つ又は複数のトレーニング画像ｘ＊に適用してノイズを有する画像ｘｔを取得（１４０）し、変換Ｔを適用して拡散モデル（１）のための入力ｉ＝Ｔ（ｘｔ）を取得（１５０）し、少なくとも変換Ｔ及びノイズサンプルεに基づいて、拡散モデル（１）の予測出力ｏ＃を計算（１７０）し、所定の損失関数Ｌを用いて、拡散モデル（１）の挙動を特徴付けるパラメータ（１ａ）を最適化（１９０）する。
【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも１つのノイズサンプルεを含む入力画像ｉから、ノイズ除去された出力画像ｏを生成するように構成された拡散モデル（１）をトレーニングするための方法（１００）であって、
・ノイズトレーニングサンプルεを提供するステップ（１１０）と、
・トレーニング画像ｘ＊を提供するステップ（１２０）と、
・前記拡散モデル（１）を等価とすべき少なくとも１つの変換Ｔを提供するステップ（１３０）であって、前記変換Ｔは、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングするものである、ステップ（１３０）と、
・各ノイズサンプルεを１つ又は複数のトレーニング画像ｘ＊に適用するステップ（１４０）であって、これにより、ノイズを有する画像ｘｔを取得する、ステップ（１４０）と、
・前記ノイズを有する画像ｘｔに対して、及び／又は、前記ノイズを有する画像ｘｔが形成される前の前記ノイズサンプルεに対して、前記変換Ｔを適用するステップ（１５０）であって、これにより、トレーニングされるべき拡散モデル（１）のための入力ｉ＝Ｔ（ｘｔ）を取得する、ステップ（１５０）と、
・前記トレーニングされるべき拡散モデル（１）により、前記入力ｉから出力ｏを生成するステップ（１６０）と、
・少なくとも前記変換Ｔ及び前記ノイズサンプルεに基づいて、予測出力ｏ＃を計算するステップ（１７０）と、
・所定の損失関数Ｌを用いて、前記予測出力ｏ＃からの前記出力ｏの偏差を評価するステップ（１８０）と、
・さらなるノイズトレーニングサンプルεが処理されるときに損失関数Ｌの値が改善されるという目標へ向かって、前記拡散モデル（１）の挙動を特徴付けるパラメータ（１ａ）を最適化するステップ（１９０）と、
を含む方法（１００）。
・ノイズトレーニングサンプルεを提供するステップ（１１０）と、
・トレーニング画像ｘ＊を提供するステップ（１２０）と、
・前記拡散モデル（１）を等価とすべき少なくとも１つの変換Ｔを提供するステップ（１３０）であって、前記変換Ｔは、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングするものである、ステップ（１３０）と、
・各ノイズサンプルεを１つ又は複数のトレーニング画像ｘ＊に適用するステップ（１４０）であって、これにより、ノイズを有する画像ｘｔを取得する、ステップ（１４０）と、
・前記ノイズを有する画像ｘｔに対して、及び／又は、前記ノイズを有する画像ｘｔが形成される前の前記ノイズサンプルεに対して、前記変換Ｔを適用するステップ（１５０）であって、これにより、トレーニングされるべき拡散モデル（１）のための入力ｉ＝Ｔ（ｘｔ）を取得する、ステップ（１５０）と、
・前記トレーニングされるべき拡散モデル（１）により、前記入力ｉから出力ｏを生成するステップ（１６０）と、
・少なくとも前記変換Ｔ及び前記ノイズサンプルεに基づいて、予測出力ｏ＃を計算するステップ（１７０）と、
・所定の損失関数Ｌを用いて、前記予測出力ｏ＃からの前記出力ｏの偏差を評価するステップ（１８０）と、
・さらなるノイズトレーニングサンプルεが処理されるときに損失関数Ｌの値が改善されるという目標へ向かって、前記拡散モデル（１）の挙動を特徴付けるパラメータ（１ａ）を最適化するステップ（１９０）と、
を含む方法（１００）。
【請求項2】
前記変換Ｔを前記ノイズサンプルεに適用するステップ（１７１）であって、これにより、予測出力ｏ＃として、変換されたノイズサンプルＴ（ε）を取得する、ステップ（１７１）をさらに含む、
請求項１に記載の方法（１００）。
請求項１に記載の方法（１００）。
【請求項3】
前記変換Ｔは、
・変換されるべき画像Ｉを水平方向に又は垂直方向にフリップすること、
・変換されるべき画像Ｉを回転させること、
・変換されるべき画像Ｉをスケーリングすること、及び、
・変換されるべき画像Ｉ内の特定の関心領域に少なくとも１つの編集ステップを選択的に適用すること
のうちの１つ又は複数を含む（１３１）、
請求項１又は２に記載の方法（１００）。
・変換されるべき画像Ｉを水平方向に又は垂直方向にフリップすること、
・変換されるべき画像Ｉを回転させること、
・変換されるべき画像Ｉをスケーリングすること、及び、
・変換されるべき画像Ｉ内の特定の関心領域に少なくとも１つの編集ステップを選択的に適用すること
のうちの１つ又は複数を含む（１３１）、
請求項１又は２に記載の方法（１００）。
【請求項4】
前記編集ステップは、
・前記関心領域の内容を、前記変換されるべき画像Ｉ内の他の位置へ移動させること、及び、
・オプティカルフロー場を前記関心領域に適用すること
のうちの１つ又は複数を含む（１３１ａ）、
請求項３に記載の方法（１００）。
・前記関心領域の内容を、前記変換されるべき画像Ｉ内の他の位置へ移動させること、及び、
・オプティカルフロー場を前記関心領域に適用すること
のうちの１つ又は複数を含む（１３１ａ）、
請求項３に記載の方法（１００）。
【請求項5】
前記損失関数Ｌは、前記ノイズサンプルεからの前記出力ｏの偏差も測定する（１８１）、
請求項１乃至４のいずれか一項に記載の方法（１００）。
請求項１乃至４のいずれか一項に記載の方法（１００）。
【請求項6】
前記トレーニングの間に、前記損失関数Ｌにおいて、
・一方の、前記予測出力ｏ＃からの前記出力ｏの偏差と
・他方の、前記ノイズサンプルεからの出力ｏの偏差と
の間の重みがアニーリングスケジュールに従って変化させられる（１８２）、
請求項５に記載の方法（１００）。
・一方の、前記予測出力ｏ＃からの前記出力ｏの偏差と
・他方の、前記ノイズサンプルεからの出力ｏの偏差と
の間の重みがアニーリングスケジュールに従って変化させられる（１８２）、
請求項５に記載の方法（１００）。
【請求項7】
前記アニーリングスケジュールは、前記予測出力ｏ＃からの前記出力ｏの偏差へ向かって重みを徐々にシフトさせることを含む（１８２ａ）、
請求項６に記載の方法（１００）。
請求項６に記載の方法（１００）。
【請求項8】
少なくとも１つの画像Ｘを編集するための方法（２００）であって、
・トレーニング済み拡散モデル（１）、及び、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングする変換Ｔを提供するステップ（２１０）であって、前記トレーニング済み拡散モデル（１）は、前記変換Ｔに関して等価である、ステップ（２１０）と、
・所与の分布からノイズサンプルεをランダムに引き出すステップ（２２０）と、
・前記ノイズサンプルεを前記画像Ｘに適用するステップ（２３０）であって、これにより、ノイズを有する画像Ｘｔを取得する、ステップ（２３０）と、
・前記ノイズを有する画像Ｘｔに対して、及び／又は、前記ノイズを有する画像Ｘｔが形成される前の前記ノイズサンプルεに対して、前記変換Ｔを適用するステップ（２４０）であって、これにより、前記トレーニング済み拡散モデル（１）のための入力ｉを取得する、ステップ（２４０）と、
・前記拡散モデル（１）により、前記入力ｉから、編集の結果として出力ｏを生成するステップ（２５０）と、
を含む方法（２００）。
・トレーニング済み拡散モデル（１）、及び、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングする変換Ｔを提供するステップ（２１０）であって、前記トレーニング済み拡散モデル（１）は、前記変換Ｔに関して等価である、ステップ（２１０）と、
・所与の分布からノイズサンプルεをランダムに引き出すステップ（２２０）と、
・前記ノイズサンプルεを前記画像Ｘに適用するステップ（２３０）であって、これにより、ノイズを有する画像Ｘｔを取得する、ステップ（２３０）と、
・前記ノイズを有する画像Ｘｔに対して、及び／又は、前記ノイズを有する画像Ｘｔが形成される前の前記ノイズサンプルεに対して、前記変換Ｔを適用するステップ（２４０）であって、これにより、前記トレーニング済み拡散モデル（１）のための入力ｉを取得する、ステップ（２４０）と、
・前記拡散モデル（１）により、前記入力ｉから、編集の結果として出力ｏを生成するステップ（２５０）と、
を含む方法（２００）。
【請求項9】
前記ノイズサンプルεは、最大でも、所与の基準に従って、前記ノイズを有する画像Ｘｔにおいて所与の内容を認識可能なままとする強度で、前記画像Ｘに適用される（２３１）、
請求項８に記載の方法（２００）。
請求項８に記載の方法（２００）。
【請求項10】
前記画像Ｘは、道路交通状況を含み（２０５）、
前記変換Ｔは、前記道路交通状況における少なくとも１つの物体の再配置を含む（２１１）、
請求項８又は９に記載の方法（２００）。
前記変換Ｔは、前記道路交通状況における少なくとも１つの物体の再配置を含む（２１１）、
請求項８又は９に記載の方法（２００）。
【請求項11】
・前記画像Ｘは、画像間の少なくとも１つの物体の動きを含む画像シーケンスから取得され（２０６）、
・前記変換Ｔは、前記ノイズを有する画像Ｘｔ又はその一部に前記動きを適用することを含む（２１２）、
請求項８乃至１０のいずれか一項に記載の方法（２００）。
・前記変換Ｔは、前記ノイズを有する画像Ｘｔ又はその一部に前記動きを適用することを含む（２１２）、
請求項８乃至１０のいずれか一項に記載の方法（２００）。
【請求項12】
・前記画像Ｘ及び前記変換Ｔに関して既知であるグラウンドトゥルースラベルＧＸから、トレーニングされるべきニューラルネットワーク（２）のタスクに関する出力ｏのためのグラウンドトゥルースラベルＧＯを決定するステップ（２６０）と、
・前記出力ｏ及び前記グラウンドトゥルースラベルＧＯを使用して、教師あり形式で、前記トレーニングされるべきニューラルネットワーク（２）をトレーニングするステップ（２７０）と、
をさらに含む、
請求項８乃至１１のいずれか一項に記載の方法（２００）。
・前記出力ｏ及び前記グラウンドトゥルースラベルＧＯを使用して、教師あり形式で、前記トレーニングされるべきニューラルネットワーク（２）をトレーニングするステップ（２７０）と、
をさらに含む、
請求項８乃至１１のいずれか一項に記載の方法（２００）。
【請求項13】
１つ又は複数のコンピュータ及び／又はコンピューティングインスタンス上で実行されるときに、前記１つ又は複数のコンピュータ及び／又はコンピューティングインスタンスに請求項１乃至１２のいずれか一項に記載の方法（１００，２００）を実施させるための機械可読命令を含むコンピュータプログラム。
【請求項14】
請求項１３に記載のコンピュータプログラムを含む非一時的な機械可読データ担体及び／又はダウンロード製品。
【請求項15】
請求項１３に記載のコンピュータプログラムを含む、及び／又は、請求項１４に記載の機械可読データ担体及び／又はダウンロード製品を備える１つ又は複数のコンピュータ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ノイズを有する入力を現実に近い画像へと処理する拡散モデルに関する。
【背景技術】
【0002】
背景
画像分類器の教師あり形式におけるトレーニングには、「グラウンドトゥルース」でラベリングされた多数のトレーニング画像が必要である。トレーニング画像のラベリングは、多くの場合に手動のプロセスであるため、費用がかかる。また、いくつかの状況においては、トレーニング画像の数が少なすぎる。例えば、交通状況を処理する分類器のトレーニングのために、歩行者が関与する衝突寸前状況を安全にステージングすることは困難である。
画像分類器の教師あり形式におけるトレーニングには、「グラウンドトゥルース」でラベリングされた多数のトレーニング画像が必要である。トレーニング画像のラベリングは、多くの場合に手動のプロセスであるため、費用がかかる。また、いくつかの状況においては、トレーニング画像の数が少なすぎる。例えば、交通状況を処理する分類器のトレーニングのために、歩行者が関与する衝突寸前状況を安全にステージングすることは困難である。
【0003】
このため、多くのデータ拡張方法が探究されてきた。データ拡張とは、既知の意味論的内容ひいては既知の「グラウンドトゥルース」ラベルを有する所与の画像から、実質的に同等の内容を有する変更画像を生成することであり、これにより、既存の「グラウンドトゥルース」ラベルは変更画像に対して有効なままである。
【0004】
近年、拡散モデルに基づく画像生成器が登場してきている。こうした拡散モデルは、ノイズを有する入力を取り込み、複数の段階においてノイズを除去して、現実に近い画像を生成する。ここでの入力は、拡散モデルに何らかのガイダンスを与えるためにノイズが付加された、現実に近い画像であり得るが、最終出力の意味論的内容についての制御は、依然として制限されている。
【発明の概要】
【課題を解決するための手段】
【0005】
発明の開示
本発明は、拡散モデルをトレーニングするための方法を提供する。当該拡散モデルは、少なくとも１つのノイズサンプルεを含む入力画像ｉから、ノイズ除去された出力画像ｏを生成するように構成されている。特に、入力画像ｉがノイズサンプルεのみから成ることもある。しかし、入力画像ｉは、例えば、任意の画像とノイズサンプルεとのスーパーインポーズ（例えば加法的スーパーインポーズ）であるものとしてもよい。特に、このようなスーパーインポーズは、任意の画像内の情報を漸進的に消去するいくつかの段階から成るマルコフ連鎖において実行可能である。
本発明は、拡散モデルをトレーニングするための方法を提供する。当該拡散モデルは、少なくとも１つのノイズサンプルεを含む入力画像ｉから、ノイズ除去された出力画像ｏを生成するように構成されている。特に、入力画像ｉがノイズサンプルεのみから成ることもある。しかし、入力画像ｉは、例えば、任意の画像とノイズサンプルεとのスーパーインポーズ（例えば加法的スーパーインポーズ）であるものとしてもよい。特に、このようなスーパーインポーズは、任意の画像内の情報を漸進的に消去するいくつかの段階から成るマルコフ連鎖において実行可能である。
【0006】
当該方法の過程において、ノイズトレーニングサンプルεが提供される。例えば、これらのノイズサンプルεは、所与の分布からランダムに引き出すことができる。また、トレーニング画像ｘ＊も提供される。
【0007】
少なくとも１つの変換Ｔに関して拡散モデルを等価とすることがここでのトレーニングの目的である。したがって、次のような変換Ｔが提供される。変換Ｔは、画像Ｉを取り込み、これを変換画像へとマッピングするものである。当該変換Ｔに関して拡散モデルが等価であるとは、変換Ｔが拡散モデルの入力ｉに適用される場合に、拡散モデルの出力ｏに生じる変化が予測可能であることを意味する。
【0008】
拡散モデルのトレーニングをこうした方向へと移行させるために、各ノイズサンプルεが１つ又は複数のトレーニング画像ｘ＊に適用され、これにより、ノイズを有する画像ｘｔが取得される。前述したように、これはいくつかの段階において徐々に行われ得る。
【0009】
次いで、変換Ｔがノイズを有する画像ｘｔに適用される。これにより、トレーニングされるべき拡散モデルのための入力ｉ＝Ｔ（ｘｔ）が生成される。当該入力から、トレーニングされるべき拡散モデルが出力ｏを生成する。ノイズεの付与と同様に、ここでのノイズの除去も、複数の段階から成るマルコフ連鎖において実行可能である。これに代えて又はこれに組み合わせて、変換Ｔがトレーニング画像ｘ＊に適用されてノイズを有する画像ｘｔが形成される前に、変換Ｔをノイズサンプルεに適用することもできる。簡単化のために、２つのケースの双方において、変換の結果を、ノイズを有する画像ｘｔの変換Ｔ（ｘｔ）であるとみなす。
【0010】
変換Ｔ及びノイズサンプルεに基づいて、トレーニングされるべき拡散モデルの予測出力ｏ＃が計算される。当該予測出力ｏ＃は、トレーニングされるべき拡散モデルの入力ｉへの変換Ｔの適用によってこの拡散モデルの出力ｏに生じるはずの予測可能な変化を表現している。
【0011】
予測出力ｏ＃からの出力ｏの偏差が、所定の損失関数Ｌによって評価される。トレーニングされるべき拡散モデルの挙動を特徴付けるパラメータは、さらなるノイズトレーニングサンプルεが処理されるときに損失関数Ｌの値が改善されるという目標へ向かって最適化される。
【0012】
このように、拡散モデルは、入力ｉへの変換Ｔの適用によってその出力ｏに予測可能な変化が生じるという目的へ向かってトレーニングされる。このことにより、さらには、適当な変換Ｔを使用して、出力ｏに所望の変化を生じさせるために、入力ｉに対する意図的な編集を行うことができる。この点に関して、入力空間ｉは、畳み込みニューラルネットワークが画像から生成する特徴マップにある程度類似した、編集を行うために適した潜在空間であるとみなすことができる。主な相違点は、現在の潜在空間が出力画像ｏの空間に対してピクセルアライメントされていることである。特に、拡散モデルは、出力画像ｏに対する所望の変更を行うための「ツールボックス」を形成する複数の変換Ｔに関して等価となるようにトレーニングされ得る。
【0013】
ピクセルアライメント潜在変数ｉは、所与の画像内の特定の領域をリサンプリング可能にすることにより、細粒度の画像制御を可能にする能力を有する。所定の変換Ｔを使用する編集に関する等価性によって、例えば、潜在変数ｉの局所的なリサンプリングが出力ｏにおけるアピアランスの局所的な変化をもたらすように強制することができる。同様に、周囲の特定の物体に対応して局所的なセグメントを移動させる場合にも、その物体の位置は変更されるが、その物体のアピアランスは保持されなければならない。
【0014】
特に有利な実施形態においては、損失関数Ｌは、ノイズサンプルεからの出力ｏの偏差も測定する。ノイズサンプルεの予測は、拡散モデルをトレーニングするための標準的な目的である。これと組み合わせて、新たに導入される等価性の目的は、正則化項である。すなわち、変換Ｔが入力ｉに適用されない場合、拡散モデルは、トレーニング後に標準的な形式で正確に挙動するが、さらにこれに加えて変換Ｔが適用される場合には、出力ｏは、変換Ｔの性質を考慮して予測されるものとなる。
【0015】
損失関数Ｌにおいて、２つの目標の双方が任意の適当な形式で相互に対して重み付け可能となる。特に、トレーニングの間に、
・一方の、予測出力ｏ＃からの出力ｏの偏差と
・他方の、ノイズサンプルεからの出力ｏの偏差と
の間の重みをアニーリングスケジュールに従って変化させることができる。このようにして、２つの目的へ向かっての収束を容易にすることができる。
・一方の、予測出力ｏ＃からの出力ｏの偏差と
・他方の、ノイズサンプルεからの出力ｏの偏差と
の間の重みをアニーリングスケジュールに従って変化させることができる。このようにして、２つの目的へ向かっての収束を容易にすることができる。
【0016】
一例においては、アニーリングスケジュールは、予測出力ｏ＃からの出力ｏの偏差へ向かって重みを徐々にシフトさせることを含む。すなわち、トレーニングの開始時には、拡散モデルの挙動が標準挙動に適合すること、すなわち、ノイズサンプルεが正確に予測されることが、より重要である。この点に関して、トレーニングが進行していくと、等価性の目的を徐々に導入することができる。
【0017】
特に有利な実施形態においては、変換Ｔがノイズサンプルεに適用され、これにより、予測出力ｏ＃として、変換されたノイズサンプルＴ（ε）が取得される。このようにして、拡散ネットワークは、変換Ｔによる入力ｉの変更が対応する出力ｏの変更を生じさせるという等価性へ向かってトレーニングされる。
【0018】
ターゲット画像の編集のために使用可能な変換Ｔの例には、
・変換されるべき画像Ｉを水平方向に又は垂直方向にフリップすること、
・変換されるべき画像Ｉを回転させること、
・変換されるべき画像Ｉをスケーリングすること、及び、
・変換されるべき画像Ｉ内の特定の関心領域に少なくとも１つの編集ステップを選択的に適用すること、
が含まれる。
・変換されるべき画像Ｉを水平方向に又は垂直方向にフリップすること、
・変換されるべき画像Ｉを回転させること、
・変換されるべき画像Ｉをスケーリングすること、及び、
・変換されるべき画像Ｉ内の特定の関心領域に少なくとも１つの編集ステップを選択的に適用すること、
が含まれる。
【0019】
特に後者の場合、拡散モデルの入力ｉと出力ｏとの間のピクセルアライメントが有利である。
【0020】
さらに特に有利な一実施形態においては、適用される編集ステップは、
・関心領域の内容を、変換されるべき画像Ｉ内の他の位置へ移動させること、及び、
・オプティカルフロー場を関心領域に適用すること、
のうちの１つ又は複数を選択的に含む。
・関心領域の内容を、変換されるべき画像Ｉ内の他の位置へ移動させること、及び、
・オプティカルフロー場を関心領域に適用すること、
のうちの１つ又は複数を選択的に含む。
【0021】
こうした編集ステップは、依然として同等の意味論的内容を有する画像の変形を生成することにとって最も有用であり、これは、オリジナルの画像に割り当てられた「グラウンドトゥルース（ground truth）」ラベルが新たな画像においても依然として有効であることを意味する。例えば、物体に対応する領域の内容が画像内の他の位置へ移動された場合、この画像には依然として同一の物体が含まれる。また、物体に対応する領域にオプティカルフロー場を適用することによって、物体のアピアランス（例えば顔など）は変化し得るが、物体は依然として同一のままとなる。特に、オプティカルフロー場の適用は、画像内の人物の見かけの姿勢を変化させることに役立ち得る。等価性のためのトレーニングが行われない場合、顔の入力画像とノイズεとがスーパーインポーズされて、顔のデータセットにつきトレーニングされた拡散モデルのための入力ｉを形成するために、顔に対応する領域が異なる位置へと変換されると（又はオプティカルフロー場の適用によって歪みが与えられると）、拡散モデルの出力ｏが全く異なった顔を示す可能性がある。
【0022】
したがって、本発明は、少なくとも１つの画像Ｘを編集するための方法も提供する。
【0023】
当該方法の過程においては、トレーニング済み拡散モデルが、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングする変換Ｔと共に提供される。当該トレーニング済み拡散モデルは、変換Ｔに関して等価である。特に、トレーニング済み拡散モデルは、上述した方法に従ってトレーニングされたものである。
【0024】
ノイズサンプルεは所与の分布からランダムに引き出される。当該ノイズサンプルを画像Ｘに適用することにより、ノイズを有する画像Ｘｔが取得される。
【0025】
変換Ｔが、ノイズを有する画像Ｘｔに適用される。これにより、トレーニング済み拡散モデルのための入力ｉが生成される。これに代えて又はこれに組み合わせて、変換Ｔが画像Ｘに適用されてノイズを有する画像Ｘｔが形成される前に、変換Ｔを同様にノイズサンプルεに適用することもできる。簡単化のために、２つのケースの双方において、変換の結果を、ノイズを有する画像ｘｔの変換Ｔ（ｘｔ）であるとみなし、トレーニング済み拡散モデルのための入力ｉとして使用する。
【0026】
当該入力ｉから、トレーニング済み拡散モデルが、編集の結果として、出力ｏを生成する。
【0027】
上述したように、トレーニング済み拡散モデルに関して既知の等価性を有する変換Ｔを適用することによって、編集において、画像Ｘの意味論的内容についての制御可能な作用が生じる。特に、変換Ｔは、画像Ｘの意味論的内容を変更しないままとするように、又は、当該意味論的内容に対して明確に定義された変更を適用するように、選択可能である。
【0028】
特に有利な一実施形態においては、ノイズサンプルεは、最大でも、所与の基準に従って、ノイズを有する画像Ｘｔにおいて所与の内容を認識可能なままとする強度で、画像Ｘに適用される。このようにすることにより、拡散ネットワークは、オリジナルの画像Ｘの意味論的内容をより多く保持するように促される。
【0029】
さらに特に有利な一実施形態においては、画像Ｘが道路交通状況を含み、変換Ｔが、当該道路交通状況における少なくとも１つの物体の再配置を含む。このようにすることによって、稀にしか発生しない道路交通状況、及び／又は、きわめて困難若しくはきわめて危険であるためにステージングすることができない道路交通状況につき、現実に近い外観の画像を作成することができる。例えば、変換Ｔを、ノイズを有する画像Ｘｔに適用することにより、オリジナルの画像Ｘにおいては道路わきの歩道を適当に歩いている歩行者を、接近する車両の前方へ移動させることができる。これは、公共道路交通においてはステージングすることができないきわめて危険な状況である。それにもかかわらず、道路交通状況に関する画像分類器をトレーニングするにはこのような状況のトレーニング画像が必要であり、これにより、トレーニングされた画像分類器はこれらを正しく認識することができる。
【0030】
さらに有利な一実施形態においては、画像Ｘが、画像間の少なくとも１つの物体の動きを含む画像シーケンスから取得され、変換Ｔは、ノイズを有する画像Ｘｔ又はその一部に上記の動きを適用することを含む。このようにすることにより、画像シーケンスから抽出された動きを、画像Ｘのそれ以外の意味論的内容の完全性を保持したまま、画像Ｘから生成された出力画像ｏへ転移させることができる。例えば、オリジナル画像Ｘにおけるのと同様に動く異なる物体又は変更された物体を示す出力画像ｏのシーケンスを生成することができる。この場合、当該シーケンスは時間一致したものとなる。すなわち、シーケンスの１つのフレームと次のフレームとの間の変化が当該動きによって説明可能となり、１つの物体が突然に他の物体によって置き換えられるなど、突然かつ予期されない変化は生じない。
【0031】
前述したように、潜在空間での変換Ｔを用いた画像編集の利点は、画像の意味論的内容が変更されるかどうか、またどのように変更されるかについての良好な制御が行われることである。オリジナル画像Ｘがニューラルネットワークのトレーニングに関してグラウンドトゥルースラベルでラベリングされている場合、既知の等価性により、出力画像ｏのためのグラウンドトゥルースラベルを決定することができる。したがって、さらに特に有利な一実施形態においては、方法はさらに、
・画像Ｘ及び変換Ｔに関して既知であるグラウンドトゥルースラベルＧＸから、トレーニングされるべきニューラルネットワークのタスクに関する出力ｏのためのグラウンドトゥルースラベルＧＯを決定するステップと、
・出力ｏ及びグラウンドトゥルースラベルＧＯを使用して、教師あり形式で、トレーニングされるべきニューラルネットワークをトレーニングするステップと、
を含む。
・画像Ｘ及び変換Ｔに関して既知であるグラウンドトゥルースラベルＧＸから、トレーニングされるべきニューラルネットワークのタスクに関する出力ｏのためのグラウンドトゥルースラベルＧＯを決定するステップと、
・出力ｏ及びグラウンドトゥルースラベルＧＯを使用して、教師あり形式で、トレーニングされるべきニューラルネットワークをトレーニングするステップと、
を含む。
【0032】
特に、トレーニングされるべきニューラルネットワークは、画像分類器であるものとしてよい。このような画像分類器の、観測されていない状況への一般化を行う能力は、トレーニング画像のデータセットにおける十分なばらつきに依存する。
【0033】
方法は、全体的に又は部分的にコンピュータ実装され、ソフトウェアにおいて実現可能である。したがって、本発明は、１つ又は複数のコンピュータ及び／又はコンピューティングインスタンスによって実行されるときに、１つ又は複数のコンピュータ及び／又はコンピューティングインスタンスに方法を実施させるための機械可読命令を含むコンピュータプログラムにも関する。本明細書においては、機械可読命令を実行可能である、車両又はロボットのための制御ユニット、及び、他の組み込み型システムも、同様にコンピュータとみなすものとする。コンピューティングインスタンスは、クラウド内における機械可読命令の実行を可能にする仮想マシン、コンテナ又は他の実行環境を含む。
【0034】
非一時的な記憶媒体及び／又はダウンロード製品は、コンピュータプログラムを含み得る。ダウンロード製品は、オンラインで販売可能な電子製品であり、迅速な供給のためにネットワークを介して転送可能である。１つ又は複数のコンピュータ及び／又はコンピューティングインスタンスは、上記のコンピュータプログラム及び／又は上記の非一時的な記憶媒体及び／又はダウンロード製品を備えるものとしてよい。
【0035】
以下に、図面を使用して、本発明の範囲を限定するいかなる意図もなしに、本発明について説明する。
【図面の簡単な説明】
【0036】
【図1】少なくとも１つのノイズサンプルεを含む入力画像ｉからノイズ除去された出力画像ｏを生成するように構成された拡散モデル１をトレーニングするための方法１００の例示的な実施形態を示す図である。
【図2】少なくとも１つの画像Ｘを編集するための方法２００の例示的な実施形態を示す図である。
【図3】ノイズサンプルεをフリップする変換Ｔのための方法２００の効果を例示する図である。
【図4】潜在画像領域を移動させる変換Ｔのための方法２００の効果を例示する図である。
【発明を実施するための形態】
【0037】
図１は、拡散モデル１をトレーニングするための方法１００の一実施形態の概略的なフローチャートである。拡散モデル１は、少なくとも１つのノイズサンプルεを含む入力画像ｉからノイズ除去された出力画像ｏを生成するように構成されている。
【0038】
ステップ１１０において、ノイズトレーニングサンプルεが提供される。
【0039】
ステップ１２０においては、トレーニング画像ｘ＊が提供される。
【0040】
ステップ１３０においては、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングする少なくとも１つの変換Ｔが提供される。当該変換Ｔに関して拡散モデル１を等価とすることがここでのトレーニングの目的である。
【0041】
ブロック１３１によれば、変換Ｔは、
・変換されるべき画像Ｉを水平方向に又は垂直方向にフリップすること、
・変換されるべき画像Ｉを回転させること、
・変換されるべき画像Ｉをスケーリングすること、及び、
・変換されるべき画像Ｉ内の特定の関心領域に少なくとも１つの編集ステップを選択的に適用すること、
のうちの１つ又は複数を含み得る。
・変換されるべき画像Ｉを水平方向に又は垂直方向にフリップすること、
・変換されるべき画像Ｉを回転させること、
・変換されるべき画像Ｉをスケーリングすること、及び、
・変換されるべき画像Ｉ内の特定の関心領域に少なくとも１つの編集ステップを選択的に適用すること、
のうちの１つ又は複数を含み得る。
【0042】
ブロック１３１ａによれば、編集ステップは、
・関心領域の内容を、変換されるべき画像Ｉ内の他の位置へ移動させること、及び、
・オプティカルフロー場を関心領域に適用すること、
のうちの１つ又は複数を含み得る。
・関心領域の内容を、変換されるべき画像Ｉ内の他の位置へ移動させること、及び、
・オプティカルフロー場を関心領域に適用すること、
のうちの１つ又は複数を含み得る。
【0043】
ステップ１４０において、各ノイズサンプルεが１つ又は複数のトレーニング画像ｘ＊に適用される。これが行われるたびに、ノイズを有する画像ｘｔが生成される。
【0044】
ステップ１５０においては、変換Ｔがノイズを有する画像ｘｔに適用される。これにより、トレーニングされるべき拡散モデル１のための入力ｉ＝Ｔ（ｘｔ）が生成される。これに代えて又はこれに組み合わせて、変換Ｔがトレーニング画像ｘ＊に適用されてノイズを有する画像ｘｔが形成される前に、変換Ｔをノイズサンプルεに適用することもできる。簡単化のために、２つのケースの双方において、変換の結果を、ノイズを有する画像ｘｔの変換Ｔ（ｘｔ）であるとみなす。
【0045】
ステップ１６０においては、トレーニングされるべき拡散モデルにより、入力ｉから出力ｏが生成される。
【0046】
ステップ１７０においては、少なくとも変換Ｔ及びノイズサンプルεに基づいて、予測出力ｏ＃が計算される。
【0047】
ブロック１７１によれば、変換Ｔをノイズサンプルεに適用することによって、予測出力ｏ＃を決定することができる。
【0048】
ステップ１８０においては、所定の損失関数Ｌにより、予測出力ｏ＃からの出力ｏの偏差が評価される。
【0049】
ブロック１８１によれば、損失関数Ｌから、拡散モデル１のための標準損失として、ノイズサンプルεからの出力ｏの偏差を測定することもできる。
【0050】
ブロック１８２によれば、損失関数Ｌにおいて、
・一方の、予測出力ｏ＃からの出力ｏの偏差と
・他方の、ノイズサンプルεからの出力ｏの偏差と
の間の重みを、アニーリングスケジュールに従って変化させることができる。
・一方の、予測出力ｏ＃からの出力ｏの偏差と
・他方の、ノイズサンプルεからの出力ｏの偏差と
の間の重みを、アニーリングスケジュールに従って変化させることができる。
【0051】
ステップ１９０においては、さらなるノイズトレーニングサンプルεが処理されるときに損失関数Ｌの値が改善されるという目標へ向かって、拡散モデル１の挙動を特徴付けるパラメータ１ａが最適化される。パラメータ１ａの最適化状態には参照符号１ａ＊が付されている。最適化されたパラメータ１ａ＊は、拡散モデル１のトレーニング済み状態１＊を規定する。
【0052】
図２は、少なくとも１つの画像Ｘを編集するための方法２００の一実施形態の概略的なフローチャートである。
【0053】
ステップ２１０において、トレーニング済み拡散モデル１及び変換Ｔが提供される。変換Ｔは、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングするものである。トレーニング済み拡散モデル１は、変換Ｔに関して等価である。
【0054】
ブロック２０５によれば、画像Ｘは道路交通状況を含むものであり得る。ブロック２１１によれば、変換Ｔは、この場合、道路交通状況における少なくとも１つの物体の再配置を含むものであり得る。
【0055】
ブロック２０６によれば、画像Ｘは、画像間の少なくとも１つの物体の動きを含む画像シーケンスから取得可能である。次に、ブロック２１２によれば、変換Ｔは、ここでの動きを、ノイズを有する画像Ｘｔ又はその一部に適用することを含み得る。
【0056】
ステップ２２０においては、ノイズサンプルεが所与の分布からランダムに引き出される。
【0057】
ステップ２３０においては、ノイズサンプルεが画像Ｘに適用され、これにより、ノイズを有する画像Ｘｔが取得される。
【0058】
ブロック２３１によれば、ノイズサンプルεは、最大でも、所与の基準に従って、ノイズを有する画像Ｘｔにおいて所与の内容を認識可能なままとする強度で、画像Ｘに適用可能である。
【0059】
ステップ２４０においては、変換Ｔがノイズを有する画像Ｘｔに適用される。これにより、トレーニング済み拡散モデル１のための入力ｉが生成される。これに代えて又はこれに組み合わせて、変換Ｔが画像Ｘに適用されてノイズを有する画像Ｘｔが形成される前に、変換Ｔをノイズサンプルεに適用することもできる。
【0060】
ステップ２５０においては、トレーニング済み拡散モデル１により、編集の結果として、入力ｉから出力ｏが生成される。
【0061】
ステップ２６０においては、画像Ｘ及び変換Ｔに関して既知であるグラウンドトゥルースラベルＧＸから、トレーニングされるべきニューラルネットワーク２のタスクに関する出力ｏのためのグラウンドトゥルースラベルＧＯが決定される。
【0062】
ステップ２７０においては、出力ｏ及びグラウンドトゥルースラベルＧＯを使用して、トレーニングされるべきニューラルネットワーク２が、教師あり形式でトレーニングされる。ニューラルネットワーク２のトレーニング済み状態には、参照符号２＊が付されている。
【0063】
図３には、変換Ｔがノイズサンプルεをフリップするアプリケーションにおいて方法２００が有する効果が示されている。
【0064】
編集されるべき画像Ｘは、道路交通状況１０の画像である。道路交通状況１０は、道路１１と、樹木１２と、７０ｋｍ／ｈの制限速度標識１３とを含む。
【0065】
図３に示されている例においては、ノイズサンプルεは、その左側でその右側よりも高い密度を有する。ここでのノイズサンプルεをそのまま画像Ｘに適用すると、拡散モデル１のための入力ｉとして、ノイズを有する画像Ｘｔが得られる。
【0066】
当該ノイズを有する画像Ｘｔが拡散モデル１によって処理されると、出力画像ｏが得られる。図３に示されている例においては、出力画像ｏにおいて樹木１２のアピアランスがオリジナルの画像Ｘに比べて変化しているが、いまだ樹木として見えている。
【0067】
変換Ｔにより、ノイズサンプルεが水平方向にフリップされる。ここでの変更されたノイズサンプルがオリジナルの画像Ｘに適用されると、ノイズを有する画像Ｘｔ’が生じ、拡散モデル１のための別の入力ｉ’となる。
【0068】
方法２００において要求されているのとは異なって、拡散モデル１が変換Ｔに関して等価でない場合、拡散モデル１により入力ｉ’から生成される出力ｏ’は、入力ｉから生成される出力ｏとは大きく異なってくる。図３に示されている例においては、樹木１２が突然変異して家１４となり、制限速度標識１３が突然変異して停止標識１５となっている。
【0069】
対照的に、方法２００において要求されているように拡散モデル１が（例えば方法１００に従ったトレーニングによって提供可能である）上記の等価性を有している場合、出力画像ｏ’における上記の劇的な意味論的変化は回避される。
【0070】
図４には、ノイズを有する画像Ｘｔ内の潜在画像領域を移動させる変換Ｔのための方法の効果が示されている。すなわち、図３に示されている例とは異なり、変換Ｔは、ここでは、ノイズを有する画像Ｘｔ上の潜在空間において作用し、オリジナルの画像Ｘの空間から潜在空間内へ進行させるために使用されるノイズサンプルεに対しては作用していない。
【0071】
図４に示されている例においては、編集されるべき画像Ｘは、スマートフォン２１の写真２０である。ノイズサンプルεを当該画像Ｘに適用することによって、ノイズを有する画像Ｘｔが形成される。変換Ｔは、オリジナルの画像Ｘにおいてスマートフォン２１が見えている領域から、ノイズを有する画像Ｘｔの右下隅の同等のサイズの領域へと内容を移動させるものである。残余の領域のノイズは変更されず、内容のうち元の位置に生じた穴がランダムノイズで充填される。このようにして形成された変換画像Ｔ（Ｘｔ）が、拡散モデル１のための入力ｉとなる。
【0072】
方法２００において要求されているのとは異なって、拡散モデル１が変換Ｔに関して等価でない場合、出力画像ｏにおいては、スマートフォン２１の位置のみが意図される通りに変化するわけではない。むしろ、出力画像ｏにおいては、スマートフォン２１でなく、スマートフォンの前世代の携帯電話機２２が示されている。これは、重大な意味論的変化である。
【0073】
対照的に、方法２００において要求されているように拡散モデル１が（例えば方法１００に従ったトレーニングによって提供可能である）上記の等価性を有する場合、出力画像ｏにおける上記の劇的な意味論的変化は回避される。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2024-06-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも１つのノイズサンプルεを含む入力画像ｉから、ノイズ除去された出力画像ｏを生成するように構成された拡散モデル（１）をトレーニングするための方法（１００）であって、
・ノイズトレーニングサンプルεを提供するステップ（１１０）と、
・トレーニング画像ｘ＊を提供するステップ（１２０）と、
・前記拡散モデル（１）を等価とすべき少なくとも１つの変換Ｔを提供するステップ（１３０）であって、前記変換Ｔは、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングするものである、ステップ（１３０）と、
・各ノイズサンプルεを１つ又は複数のトレーニング画像ｘ＊に適用するステップ（１４０）であって、これにより、ノイズを有する画像ｘｔを取得する、ステップ（１４０）と、
・前記ノイズを有する画像ｘｔに対して、及び／又は、前記ノイズを有する画像ｘｔが形成される前の前記ノイズサンプルεに対して、前記変換Ｔを適用するステップ（１５０）であって、これにより、トレーニングされるべき拡散モデル（１）のための入力ｉ＝Ｔ（ｘｔ）を取得する、ステップ（１５０）と、
・前記トレーニングされるべき拡散モデル（１）により、前記入力ｉから出力ｏを生成するステップ（１６０）と、
・少なくとも前記変換Ｔ及び前記ノイズサンプルεに基づいて、予測出力ｏ＃を計算するステップ（１７０）と、
・所定の損失関数Ｌを用いて、前記予測出力ｏ＃からの前記出力ｏの偏差を評価するステップ（１８０）と、
・さらなるノイズトレーニングサンプルεが処理されるときに損失関数Ｌの値が改善されるという目標へ向かって、前記拡散モデル（１）の挙動を特徴付けるパラメータ（１ａ）を最適化するステップ（１９０）と、
を含む方法（１００）。
・ノイズトレーニングサンプルεを提供するステップ（１１０）と、
・トレーニング画像ｘ＊を提供するステップ（１２０）と、
・前記拡散モデル（１）を等価とすべき少なくとも１つの変換Ｔを提供するステップ（１３０）であって、前記変換Ｔは、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングするものである、ステップ（１３０）と、
・各ノイズサンプルεを１つ又は複数のトレーニング画像ｘ＊に適用するステップ（１４０）であって、これにより、ノイズを有する画像ｘｔを取得する、ステップ（１４０）と、
・前記ノイズを有する画像ｘｔに対して、及び／又は、前記ノイズを有する画像ｘｔが形成される前の前記ノイズサンプルεに対して、前記変換Ｔを適用するステップ（１５０）であって、これにより、トレーニングされるべき拡散モデル（１）のための入力ｉ＝Ｔ（ｘｔ）を取得する、ステップ（１５０）と、
・前記トレーニングされるべき拡散モデル（１）により、前記入力ｉから出力ｏを生成するステップ（１６０）と、
・少なくとも前記変換Ｔ及び前記ノイズサンプルεに基づいて、予測出力ｏ＃を計算するステップ（１７０）と、
・所定の損失関数Ｌを用いて、前記予測出力ｏ＃からの前記出力ｏの偏差を評価するステップ（１８０）と、
・さらなるノイズトレーニングサンプルεが処理されるときに損失関数Ｌの値が改善されるという目標へ向かって、前記拡散モデル（１）の挙動を特徴付けるパラメータ（１ａ）を最適化するステップ（１９０）と、
を含む方法（１００）。
【請求項2】
前記変換Ｔを前記ノイズサンプルεに適用するステップ（１７１）であって、これにより、予測出力ｏ＃として、変換されたノイズサンプルＴ（ε）を取得する、ステップ（１７１）をさらに含む、
請求項１に記載の方法（１００）。
請求項１に記載の方法（１００）。
【請求項3】
前記変換Ｔは、
・変換されるべき画像Ｉを水平方向に又は垂直方向にフリップすること、
・変換されるべき画像Ｉを回転させること、
・変換されるべき画像Ｉをスケーリングすること、及び、
・変換されるべき画像Ｉ内の特定の関心領域に少なくとも１つの編集ステップを選択的に適用すること
のうちの１つ又は複数を含む（１３１）、
請求項１に記載の方法（１００）。
・変換されるべき画像Ｉを水平方向に又は垂直方向にフリップすること、
・変換されるべき画像Ｉを回転させること、
・変換されるべき画像Ｉをスケーリングすること、及び、
・変換されるべき画像Ｉ内の特定の関心領域に少なくとも１つの編集ステップを選択的に適用すること
のうちの１つ又は複数を含む（１３１）、
請求項１に記載の方法（１００）。
【請求項4】
前記編集ステップは、
・前記関心領域の内容を、前記変換されるべき画像Ｉ内の他の位置へ移動させること、及び、
・オプティカルフロー場を前記関心領域に適用すること
のうちの１つ又は複数を含む（１３１ａ）、
請求項３に記載の方法（１００）。
・前記関心領域の内容を、前記変換されるべき画像Ｉ内の他の位置へ移動させること、及び、
・オプティカルフロー場を前記関心領域に適用すること
のうちの１つ又は複数を含む（１３１ａ）、
請求項３に記載の方法（１００）。
【請求項5】
前記損失関数Ｌは、前記ノイズサンプルεからの前記出力ｏの偏差も測定する（１８１）、
請求項１に記載の方法（１００）。
請求項１に記載の方法（１００）。
【請求項6】
前記トレーニングの間に、前記損失関数Ｌにおいて、
・一方の、前記予測出力ｏ＃からの前記出力ｏの偏差と
・他方の、前記ノイズサンプルεからの出力ｏの偏差と
の間の重みがアニーリングスケジュールに従って変化させられる（１８２）、
請求項５に記載の方法（１００）。
・一方の、前記予測出力ｏ＃からの前記出力ｏの偏差と
・他方の、前記ノイズサンプルεからの出力ｏの偏差と
の間の重みがアニーリングスケジュールに従って変化させられる（１８２）、
請求項５に記載の方法（１００）。
【請求項7】
前記アニーリングスケジュールは、前記予測出力ｏ＃からの前記出力ｏの偏差へ向かって重みを徐々にシフトさせることを含む（１８２ａ）、
請求項６に記載の方法（１００）。
請求項６に記載の方法（１００）。
【請求項8】
少なくとも１つの画像Ｘを編集するための方法（２００）であって、
・トレーニング済み拡散モデル（１）、及び、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングする変換Ｔを提供するステップ（２１０）であって、前記トレーニング済み拡散モデル（１）は、前記変換Ｔに関して等価である、ステップ（２１０）と、
・所与の分布からノイズサンプルεをランダムに引き出すステップ（２２０）と、
・前記ノイズサンプルεを前記画像Ｘに適用するステップ（２３０）であって、これにより、ノイズを有する画像Ｘｔを取得する、ステップ（２３０）と、
・前記ノイズを有する画像Ｘｔに対して、及び／又は、前記ノイズを有する画像Ｘｔが形成される前の前記ノイズサンプルεに対して、前記変換Ｔを適用するステップ（２４０）であって、これにより、前記トレーニング済み拡散モデル（１）のための入力ｉを取得する、ステップ（２４０）と、
・前記拡散モデル（１）により、前記入力ｉから、編集の結果として出力ｏを生成するステップ（２５０）と、
を含む方法（２００）。
・トレーニング済み拡散モデル（１）、及び、画像Ｉを変換画像Ｔ（Ｉ）へとマッピングする変換Ｔを提供するステップ（２１０）であって、前記トレーニング済み拡散モデル（１）は、前記変換Ｔに関して等価である、ステップ（２１０）と、
・所与の分布からノイズサンプルεをランダムに引き出すステップ（２２０）と、
・前記ノイズサンプルεを前記画像Ｘに適用するステップ（２３０）であって、これにより、ノイズを有する画像Ｘｔを取得する、ステップ（２３０）と、
・前記ノイズを有する画像Ｘｔに対して、及び／又は、前記ノイズを有する画像Ｘｔが形成される前の前記ノイズサンプルεに対して、前記変換Ｔを適用するステップ（２４０）であって、これにより、前記トレーニング済み拡散モデル（１）のための入力ｉを取得する、ステップ（２４０）と、
・前記拡散モデル（１）により、前記入力ｉから、編集の結果として出力ｏを生成するステップ（２５０）と、
を含む方法（２００）。
【請求項9】
前記ノイズサンプルεは、最大でも、所与の基準に従って、前記ノイズを有する画像Ｘｔにおいて所与の内容を認識可能なままとする強度で、前記画像Ｘに適用される（２３１）、
請求項８に記載の方法（２００）。
請求項８に記載の方法（２００）。
【請求項10】
前記画像Ｘは、道路交通状況を含み（２０５）、
前記変換Ｔは、前記道路交通状況における少なくとも１つの物体の再配置を含む（２１１）、
請求項８に記載の方法（２００）。
前記変換Ｔは、前記道路交通状況における少なくとも１つの物体の再配置を含む（２１１）、
請求項８に記載の方法（２００）。
【請求項11】
・前記画像Ｘは、画像間の少なくとも１つの物体の動きを含む画像シーケンスから取得され（２０６）、
・前記変換Ｔは、前記ノイズを有する画像Ｘｔ又はその一部に前記動きを適用することを含む（２１２）、
請求項８に記載の方法（２００）。
・前記変換Ｔは、前記ノイズを有する画像Ｘｔ又はその一部に前記動きを適用することを含む（２１２）、
請求項８に記載の方法（２００）。
【請求項12】
・前記画像Ｘ及び前記変換Ｔに関して既知であるグラウンドトゥルースラベルＧＸから、トレーニングされるべきニューラルネットワーク（２）のタスクに関する出力ｏのためのグラウンドトゥルースラベルＧＯを決定するステップ（２６０）と、
・前記出力ｏ及び前記グラウンドトゥルースラベルＧＯを使用して、教師あり形式で、前記トレーニングされるべきニューラルネットワーク（２）をトレーニングするステップ（２７０）と、
をさらに含む、
請求項８に記載の方法（２００）。
・前記出力ｏ及び前記グラウンドトゥルースラベルＧＯを使用して、教師あり形式で、前記トレーニングされるべきニューラルネットワーク（２）をトレーニングするステップ（２７０）と、
をさらに含む、
請求項８に記載の方法（２００）。
【請求項13】
１つ又は複数のコンピュータ上で実行されるときに、前記１つ又は複数のコンピュータに請求項１に記載の方法（１００）を実施させるための機械可読命令を含むコンピュータプログラム。
【請求項14】
請求項１３に記載のコンピュータプログラムを含む非一時的な機械可読データ担体。
【請求項15】
請求項１３に記載のコンピュータプログラムを含む、又は、請求項１４に記載の機械可読データ担体を備える１つ又は複数のコンピュータ。
【外国語明細書】