特許 7598173 テクスチャーの保存のための自己残差学習に基づく自己監督型ブラインド雑音装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-03

(45)【発行日】2024-12-11

(54)【発明の名称】テクスチャーの保存のための自己残差学習に基づく自己監督型ブラインド雑音装置及び方法

(51)【国際特許分類】

   G06T 5/70 20240101AFI20241204BHJP

   G06T 1/40 20060101ALI20241204BHJP

   H04N 23/60 20230101ALI20241204BHJP

   H04N 5/213 20060101ALI20241204BHJP

【ＦＩ】

G06T5/70

G06T1/40

H04N23/60 500

H04N5/213

【請求項の数】 16

(21)【出願番号】P 2023146078

(22)【出願日】2023-09-08

(65)【公開番号】P2024085374

(43)【公開日】2024-06-26

【審査請求日】2023-09-08

(31)【優先権主張番号】10-2022-0174325

(32)【優先日】2022-12-14

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2023-0033553

(32)【優先日】2023-03-14

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】314000442

【氏名又は名称】高麗大学校産学協力団

【氏名又は名称原語表記】ＫＯＲＥＡ ＵＮＩＶＥＲＳＩＴＹ ＲＥＳＥＡＲＣＨ ＡＮＤ ＢＵＳＩＮＥＳＳ ＦＯＵＮＤＡＴＩＯＮ

【住所又は居所原語表記】１４５， Ａｎａｍ－ｒｏ Ｓｅｏｎｇｂｕｋ－ｇｕ Ｓｅｏｕｌ ０２８４１， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100083138

【弁理士】

【氏名又は名称】相田 伸二

(74)【代理人】

【識別番号】100189625

【弁理士】

【氏名又は名称】鄭 元基

(74)【代理人】

【識別番号】100196139

【弁理士】

【氏名又は名称】相田 京子

(74)【代理人】

【識別番号】100199004

【弁理士】

【氏名又は名称】服部 洋

(72)【発明者】

【氏名】ジョン ウォンキ

(72)【発明者】

【氏名】イ カンガム

【審査官】伊知地 和之

(56)【参考文献】

【文献】中国特許出願公開第１１３３２７１９９（ＣＮ，Ａ）

【文献】中国特許出願公開第１１３２２２８１９（ＣＮ，Ａ）

【文献】Lee Wooseok et al.，“AP-BSN: Self-Supervised Denoising for Real-World Images via Asymmetric PD and Blind-Spot Network”，2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)[online]，IEEE，2022年，p.17704-17713，[検索日 2024.7.2], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9878719>，DOI: 10.1109/CVPR52688.2022.01720

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／９４

Ｈ０４Ｎ ５／１４ － ５／２１３

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ － ２３／７６

Ｈ０４Ｎ ２３／８０ － ２３／８２

Ｈ０４Ｎ ２３／９０ － ２３／９５９

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

ノイズを含む原画像を受信する受信部と、
前記原画像にピクセルシャッフルダウンサンプリング（ＰＤ：Ｐｉｘｅｌ－ｓｈｕｆｆｌｅ Ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を行って、少なくとも１枚以上のダウンサンプリングされた画像を生成するＰＤ部と、
前記原画像と前記ダウンサンプリングされた画像からそれぞれノイズを除去し、前記原画像の形状を復元した少なくとも１枚以上の予測画像を生成する予測画像生成部と、
前記予測画像と前記原画像を基にした少なくとも１つ以上の損失関数に基づいて、前記予測画像生成部を最適化学習させる学習部と、
を備える、ノイズの除去装置。

【請求項2】

前記ＰＤ部は、
少なくとも１つ以上のストライドファクター（ｓｔｒｉｄｅ ｆａｃｔｏｒ）に従って前記原画像から複数枚の前記ダウンサンプリングされた画像を生成して前記原画像のデータを増強させるものである、請求項１に記載のノイズの除去装置。

【請求項3】

前記ＰＤ部は、
ランダムに選択された変換行列を用いる順序－変異ＰＤ（ｏｒｄｅｒ－ｖａｒｉａｎｔ ＰＤ）を行い、
前記変換行列は、サンプリング順序に従ってシャッフルさせるものである、請求項２に記載のノイズの除去装置。

【請求項4】

前記予測画像生成部は、
前記原画像と前記ダウンサンプリングされた画像からノイズを除去する第１のネットワークと、
互いに異なるストライドファクターに従って生成された複数枚のダウンサンプリングされた画像からノイズを除去する第２のネットワークと、
前記第１のネットワークと前記第２のネットワークからのノイズの除去された画像から前記原画像の形状を復元して前記予測画像を生成する復元部と、
を備える、請求項２に記載のノイズの除去装置。

【請求項5】

前記学習部は、
前記第２のネットワークの自体損失を定義する第１の損失関数と、
前記第１のネットワークの残余ノイズ学習（ｒｅｓｉｄｕａｌ ｎｏｉｓｅ ｌｅａｒｎｉｎｇ）をサポートするための第２の損失関数と、
前記第１のネットワークと前記第２のネットワークからの予測画像との間の相互類似度を高めるための第３の損失関数と、
前記第１のネットワークからの予測画像の分布を制限するための第４の損失関数に基づいて、前記第１のネットワークと前記第２のネットワークを学習させるものである、請求項４に記載のノイズの除去装置。

【請求項6】

前記第１の損失関数は、
前記第２のネットワークからの予測画像と前記原画像との差から前記第２のネットワークの自体損失を定義するものである、請求項５に記載のノイズの除去装置。

【請求項7】

前記第２の損失関数は、
擬似ノイズマップ（ｐｓｅｕｄｏ－ｎｏｉｓｅ ｍａｐ）と前記第１のネットワークからの予測画像との差として定義されるが、
前記擬似ノイズマップは、前記原画像と前記第２のネットワークからの予測画像との差から生成されたものであり、
前記第１のネットワークからの予測画像は、前記原画像からの予測画像である、請求項５に記載のノイズの除去装置。

【請求項8】

前記第３の損失関数は、
前記第１のネットワークからの予測画像と前記第２のネットワークからの予測画像との間の低周波特徴の類似度を高めるために、
前記原画像と前記第１のネットワークからの予測画像との差分画像と前記第２のネットワークからの予測画像との差分値に基づいて定義され、
前記第１のネットワークと前記第２のネットワークからの予測画像は、同一のストライドファクターに従ってダウンサンプリングされた画像からの予測画像である、請求項５に記載のノイズの除去装置。

【請求項9】

前記第４の損失関数は、
前記第１のネットワークからの予測画像のノイズ分布が前記原画像のノイズ分布に近づくように、しきい値よりも高い大きさを有するノイズをピーナライズ（ｐｅｎａｌｉｚｉｎｇ）するノイズ先行損失（ｎｏｉｓｅ ｐｒｉｏｒ ｌｏｓｓ）として定義されるものであり、
前記第１のネットワークからの予測画像は、前記原画像からの予測画像である、請求項５に記載のノイズの除去装置。

【請求項10】

ノイズを含む原画像を受信するステップと、
前記原画像にピクセルシャッフルダウンサンプリング（ＰＤ：Ｐｉｘｅｌ－ｓｈｕｆｆｌｅ Ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を行って、少なくとも１枚以上のダウンサンプリングされた画像を生成するステップと、
前記原画像と前記ダウンサンプリングされた画像からそれぞれノイズを除去し、前記原画像の形状を復元した少なくとも１枚以上の予測画像を予測画像生成部で生成するステップと、
前記予測画像と前記原画像を基にした少なくとも１つ以上の損失関数に基づいて、前記予測画像生成部を最適化学習させるステップと、
を含む、ノイズの除去方法。

【請求項11】

前記予測画像を生成するステップは、
第１のネットワークを介して前記原画像と前記ダウンサンプリングされた画像からノイズを除去するステップと、
第２のネットワークを介して互いに異なるストライドファクターに従って生成された複数枚のダウンサンプリングされた画像からノイズを除去するステップと、
復元部を介して前記第１のネットワークと前記第２のネットワークからのノイズの除去された画像から前記原画像の形状を復元して前記予測画像を生成するステップと、
を含む、請求項１０に記載のノイズの除去方法。

【請求項12】

前記予測画像生成部を最適化学習させるステップは、
前記第２のネットワークの自体損失を定義する第１の損失関数と、
前記第１のネットワークの残余ノイズ学習（ｒｅｓｉｄｕａｌ ｎｏｉｓｅ ｌｅａｒｎｉｎｇ）をサポートするための第２の損失関数と、
前記第１のネットワークと前記第２のネットワークからの予測画像との間の相互類似度を高めるための第３の損失関数と、
前記第１のネットワークからの予測画像の分布を制限するための第４の損失関数に基づいて、前記第１のネットワークと前記第２のネットワークを学習させるステップと、
を含む、請求項１１に記載のノイズの除去方法。

【請求項13】

前記第１の損失関数は、
前記第２のネットワークからの予測画像と前記原画像との差から前記第２のネットワークの自体損失を定義するものである、請求項１２に記載のノイズの除去方法。

【請求項14】

前記第２の損失関数は、
擬似ノイズマップ（ｐｓｅｕｄｏ－ｎｏｉｓｅ ｍａｐ）と前記第１のネットワークからの予測画像との差として定義されるが、
前記擬似ノイズマップは、前記原画像と前記第２のネットワークからの予測画像との差から生成されたものであり、
前記第１のネットワークからの予測画像は、前記原画像からの予測画像である、請求項１２に記載のノイズの除去方法。

【請求項15】

前記第３の損失関数は、
前記第１のネットワークからの予測画像と前記第２のネットワークからの予測画像との間の低周波特徴の類似度を高めるために、
前記原画像と前記第１のネットワークからの予測画像との差分画像と前記第２のネットワークからの予測画像との差分値に基づいて定義され、
前記第１のネットワークと前記第２のネットワークからの予測画像は、同一のストライドファクターに従ってダウンサンプリングされた画像からの予測画像である、請求項１２に記載のノイズの除去方法。

【請求項16】

前記第４の損失関数は、
前記第１のネットワークからの予測画像のノイズ分布が前記原画像のノイズ分布に近づくように、しきい値よりも高い大きさを有するノイズをピーナライズ（ｐｅｎａｌｉｚｉｎｇ）するノイズ先行損失（ｎｏｉｓｅ ｐｒｉｏｒ ｌｏｓｓ）として定義されるものであり、
前記第１のネットワークからの予測画像は、前記原画像からの予測画像である、請求項１２に記載のノイズの除去方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、テクスチャーの保存のための自己残差学習に基づく自己監督型ブラインド雑音装置及び方法に関し、より詳細には、画像を取得する過程において生じるノイズを除去するための損失関数を基にしたノイズ除去モデル学習及び推論方法を利用するノイズの除去装置及び方法に関する。

【背景技術】

【0002】

従来の自己監督型ブラインドノイズ除去技術（ｓｅｌｆ－ｓｕｐｅｒｖｉｓｅｄ ｂｌｉｎｄ ｄｅｎｏｉｓｉｎｇ）は、空間相関があるノイズの損傷によって、実際の画像を見たときに品質に劣っていた。最近には、このようなノイズの空間相関を取り除くために、ピクセルシャッフルダウンサンプリング（ＰＤ：Ｐｉｘｅｌ－ｓｈｕｆｆｌｅ Ｄｏｗｎ－ｓａｍｐｌｉｎｇ）が提案されている。

【0003】

最近の非対称ＰＤとブラインドスポットネットワーク（ＢＳＮ）とを組み合わせた研究は、自己監督型ブラインドノイズの除去が実際のノイズ画像に適用可能であるということを成功的に裏付けている。

【0004】

しかしながら、ＢＳＮのＰＤに基づく推論は、ダウンサンプリングされた画像において高周波細部情報（例えば、周縁部）が破壊されるため、テスト段階（デノイジング段階）においてテクスチャーの細部情報を劣化させることが懸念される。

【0005】

このような問題を解決するために、テクスチャー情報を保持するようにＰＤプロセスなしにノイズを除去することが可能なモデルが求められる。また、全体の性能を向上させるために順序－変異ＰＤの制約条件、ノイズに関する事前知識に基づく損失関数及びＰＤを用いないための新たな推論体系が求められる。

【先行技術文献】

【特許文献】

【0006】

【文献】大韓民国公開特許第１０－２０２２－０１６７８２４号公報（２０２２．１２．２２）

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記のような問題を解決するために案出されたものであって、本発明の目的は、原画像のテクスチャー情報を保持するようにテスト段階においてＰＤプロセスなしにノイズを除去するためにノイズ画像だけでノイズ学習及び除去を行うことが可能なモデルを学習する方法を提供することにある。

【課題を解決するための手段】

【0008】

上記の目的を達成するための本発明の実施形態のうちの第１の側面によるノイズの除去装置は、ノイズを含む原画像を受信する受信部と、前記原画像にピクセルシャッフルダウンサンプリング（ＰＤ：Ｐｉｘｅｌ－ｓｈｕｆｆｌｅ Ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を行って、少なくとも１枚以上のダウンサンプリングされた画像を生成するＰＤ部と、前記原画像と前記ダウンサンプリングされた画像からそれぞれノイズを除去し、前記原画像の形状を復元した少なくとも１枚以上の予測画像を生成する予測画像生成部と、前記予測画像と前記原画像を基にした少なくとも１つ以上の損失関数に基づいて、前記予測画像生成部を最適化学習させる学習部と、を備えていてもよい。

【0009】

また、前記ＰＤ部は、少なくとも１つ以上のストライドファクター（ｓｔｒｉｄｅ ｆａｃｔｏｒ）に従って前記原画像から複数枚の前記ダウンサンプリングされた画像を生成して前記原画像のデータを増強させるものであってもよい。

【0010】

さらに、前記ＰＤ部は、ランダムに選択された変換行列を用いる順序－変異ＰＤ（ｏｒｄｅｒ－ｖａｒｉａｎｔ ＰＤ）を行い、前記変換行列は、サンプリング順序に従ってシャッフルさせるものであってもよい。

【0011】

さらにまた、前記予測画像生成部は、前記原画像と前記ダウンサンプリングされた画像からノイズを除去する第１のネットワークと、互いに異なるストライドファクターに従って生成された複数枚のダウンサンプリングされた画像からノイズを除去する第２のネットワークと、前記第１のネットワークと前記第２のネットワークからのノイズの除去された画像から前記原画像の形状を復元して前記予測画像を生成する復元部と、を備えていてもよい。

【0012】

さらにまた、前記学習部は、前記第２のネットワークの自体損失を定義する第１の損失関数と、前記第１のネットワークの残余ノイズ学習（ｒｅｓｉｄｕａｌ ｎｏｉｓｅ ｌｅａｒｎｉｎｇ）をサポートするための第２の損失関数と、前記第１のネットワークと前記第２のネットワークからの予測画像との間の相互類似度を高めるための第３の損失関数と、前記第１のネットワークからの予測画像の分布を制限するための第４の損失関数に基づいて、前記第１のネットワークと前記第２のネットワークを学習させるものであってもよい。

【0013】

さらにまた、前記第１の損失関数は、前記第２のネットワークからの予測画像と前記原画像との差から前記第２のネットワークの自体損失を定義するものであってもよい。

【0014】

さらにまた、前記第２の損失関数は、擬似ノイズマップ（ｐｓｅｕｄｏ－ｎｏｉｓｅ ｍａｐ）と前記第１のネットワークからの予測画像との差として定義されるが、前記擬似ノイズマップは、前記原画像と前記第２のネットワークからの予測画像との差から生成されたものであり、前記第１のネットワークからの予測画像は、前記原画像からの予測画像であってもよい。

【0015】

さらにまた、前記第３の損失関数は、前記第１のネットワークからの予測画像と前記第２のネットワークからの予測画像との間の低周波特徴の類似度を高めるために、前記原画像と前記第１のネットワークからの予測画像との差分画像と前記第２のネットワークからの予測画像との差分値に基づいて定義され、前記第１のネットワークと前記第２のネットワークからの予測画像は、同一のストライドファクターに従ってダウンサンプリングされた画像からの予測画像であってもよい。

【0016】

さらにまた、前記第４の損失関数は、前記第１のネットワークからの予測画像のノイズ分布が前記原画像のノイズ分布に近づくように、しきい値よりも高い大きさを有するノイズをピーナライズ（ｐｅｎａｌｉｚｉｎｇ）するノイズ先行損失（ｎｏｉｓｅ ｐｒｉｏｒ ｌｏｓｓ）として定義されるものであり、前記第１のネットワークからの予測画像は、前記原画像からの予測画像であってもよい。

【0017】

本発明の実施形態のうちの第２の側面によるノイズの除去方法は、ノイズを含む原画像を受信するステップと、前記原画像にピクセルシャッフルダウンサンプリング（ＰＤ：Ｐｉｘｅｌ－ｓｈｕｆｆｌｅ Ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を行って、少なくとも１枚以上のダウンサンプリングされた画像を生成するステップと、前記原画像と前記ダウンサンプリングされた画像からそれぞれノイズを除去し、前記原画像の形状を復元した少なくとも１枚以上の予測画像を生成するステップと、前記予測画像と前記原画像を基にした少なくとも１つ以上の損失関数に基づいて、前記予測画像生成部を最適化学習させるステップと、を含んでいてもよい。

【0018】

また、前記予測画像を生成するステップは、第１のネットワークを介して前記原画像と前記ダウンサンプリングされた画像からノイズを除去するステップと、第２のネットワークを介して互いに異なるストライドファクターに従って生成された複数枚のダウンサンプリングされた画像からノイズを除去するステップと、復元部を介して前記第１のネットワークと前記第２のネットワークからのノイズの除去された画像から前記原画像の形状を復元して前記予測画像を生成するステップと、を含んでいてもよい。

【0019】

また、前記予測画像生成部を最適化学習させるステップは、前記第２のネットワークの自体損失を定義する第１の損失関数と、前記第１のネットワークの残余ノイズ学習（ｒｅｓｉｄｕａｌ ｎｏｉｓｅ ｌｅａｒｎｉｎｇ）をサポートするための第２の損失関数と、前記第１のネットワークと前記第２のネットワークからの予測画像との間の相互類似度を高めるための第３の損失関数と、前記第１のネットワークからの予測画像の分布を制限するための第４の損失関数に基づいて、前記第１のネットワークと前記第２のネットワークを学習させるステップと、を含んでいてもよい。

【0020】

さらに、前記第１の損失関数は、前記第２のネットワークからの予測画像と前記原画像との差から前記第２のネットワークの自体損失を定義するものであってもよい。

【0021】

さらにまた、前記第２の損失関数は、擬似ノイズマップ（ｐｓｅｕｄｏ－ｎｏｉｓｅ ｍａｐ）と前記第１のネットワークからの予測画像との差として定義されるが、前記擬似ノイズマップは、前記原画像と前記第２のネットワークからの予測画像との差から生成されたものであり、前記第１のネットワークからの予測画像は、前記原画像からの予測画像であってもよい。

【0022】

さらにまた、前記第３の損失関数は、前記第１のネットワークからの予測画像と前記第２のネットワークからの予測画像との間の低周波特徴の類似度を高めるために、前記原画像と前記第１のネットワークからの予測画像との差分画像と前記第２のネットワークからの予測画像との差分値に基づいて定義され、前記第１のネットワークと前記第２のネットワークからの予測画像は、同一のストライドファクターに従ってダウンサンプリングされた画像からの予測画像であってもよい。

【0023】

さらにまた、前記第４の損失関数は、前記第１のネットワークからの予測画像のノイズ分布が前記原画像のノイズ分布に近づくように、しきい値よりも高い大きさを有するノイズをピーナライズ（ｐｅｎａｌｉｚｉｎｇ）するノイズ先行損失（ｎｏｉｓｅ ｐｒｉｏｒ ｌｏｓｓ）として定義されるものであり、前記第１のネットワークからの予測画像は、前記原画像からの予測画像であってもよい。

【発明の効果】

【0024】

上述した本発明の一側面によれば、ノイズ画像だけでノイズ除去モデルを学習することができ、最新の方法に比べてテクスチャーのような高周波領域の特性を効果的に修復し、ピクセル単位のノイズのみならず、空間相関があるノイズまでも除去することが可能である。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施形態によるノイズの除去装置の概略的な構成を示すブロック図である。

【図2】本発明の一実施形態による予測画像生成部の概略的な構成を示すブロック図である。

【図3】本発明の一実施形態による原画像のデータを増強させる従来の方法を説明する図である。

【図4】本発明の一実施形態による原画像のデータを増強させる本発明による方法を説明する図である。

【図5】本発明の一実施形態による予測画像生成部の学習過程を示す図である。

【図6】本発明の一実施形態によるノイズ除去モデルのノイズの除去過程を示す図である。

【図7】本発明の一実施形態によるノイズの除去装置が学習する各ステップを示すフローチャートである。

【図8】本発明の一実施形態によるノイズの除去能を示す図表である。

【図9】本発明の一実施形態によるノイズの除去方法のノイズの除去結果を示す図である。

【発明を実施するための形態】

【0026】

後述する本発明に関する詳しい説明は、本発明が実施されることが可能な特定の実施形態を例として示す添付図面を参照する。これらの実施形態は、当業者が本発明を実施できるのに十分なように詳しく説明される。本発明の様々な実施形態は、互いに異なるものの、相互排他的である必要はないということを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲を逸脱しないつつ、他の実施形態として実現され得る。また、それぞれの開示された実施形態内の個別的な構成要素の位置または配置は、本発明の精神及び範囲を逸脱しないつつ変更可能であるということを理解されたい。したがって、後述する詳しい説明は限定的な意味として取ろうとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張するものと均等なあらゆる範囲と併せて添付された請求項によってのみ限定される。図中、類似の参照符号は、色々な側面にわたって同一もしくは類似の機能を指す。

【0027】

以下では、添付図面を参照して本発明の好ましい実施形態についてさらに詳しく説明する。

【0028】

図１は、本発明の一実施形態によるノイズの除去装置１００の概略的な構成を示すブロック図であり、図２は、本発明の一実施形態による予測画像生成部１３０の概略的な構成を示すブロック図である。

【0029】

図１を参照すると、ノイズの除去装置１００は、受信部１１０、ＰＤ部１２０、予測画像生成部１３０及び学習部１４０を備えていてもよい。

【0030】

実施形態において、受信部１１０は、ノイズを含む原画像を受信することができる。例えば、本発明における原画像は、生成された後に別途の圧縮が加えられなかったり、別途の装置またはサーバーに伝送されていない画像、すなわち、損失が生じていない画像を意味する場合がある。ノイズは、原画像に加えられる圧縮により生じるか、あるいは、画像が伝送されることにつれて生じる画像ピクセルの損傷された部分を意味する場合がある。本発明において説明する「画像」は、静止画、または動画を構成する単位画像（例えば、フレーム）を網羅する概念であり得る。

【0031】

実施形態において、ＰＤ部１２０は、原画像にピクセルシャッフルダウンサンプリング（ＰＤ：Ｐｉｘｅｌ－ｓｈｕｆｆｌｅ Ｄｏｗｎ－ｓａｍｐｌｉｎｇ）を行って、少なくとも１枚以上のダウンサンプリングされた画像を生成することができる。

【0032】

例えば、ＰＤ部１２０において行うＰＤは、ノイズを含む原画像を１枚以上のピクセルシャッフルされた画像に増強させる過程であって、具体的には、少なくとも１つ以上のストライドファクター（ｓｔｒｉｄｅ ｆａｃｔｏｒ）に従って原画像から複数枚のダウンサンプリングされた画像を生成して、原画像のデータを増強させる過程を意味する場合がある。これについて、図３及び図４を参照して説明する。

【0033】

図３及び図４は、本発明の一実施形態による原画像のデータを増強させる従来の方法と本発明による方法をそれぞれ説明する図である。

【0034】

図３及び図４は、それぞれストライドファクターＰＤ_２に対する順序－不変ＰＤ及び順序－変異ＰＤの例を示す。

【0035】

まず、図３は、原画像のデータを増強させてダウンサンプリングされた画像を生成する従来のＰＤ方法を示している。

【0036】

図３に示す従来の方法によるＰＤは、変換行列Ｉ_０がある原画像に対するＰＤを示す。

【0037】

具体的には、図３に示す従来の方法によるＰＤは、空間相関があるノイズを含む原画像に対して、損失関数Ｌ_ｓ（自己監督型損失）のみを用いてＰＤを行うことになる。

【0038】

これに関し、損失関数Ｌ_ｓは、下記の数式１で表わすことができる。

【0039】

【数1】

【0040】

（式１中、ｘは、ノイズを含む原画像を示し、ｆは、ＢＳＮを示し、ＰＤ_５は、ストライドファクターｓ（ｓ＝５）を有するＰＤ関数を示し、Ｉ_０は、順序－不変ＰＤに対する変換行列を示す。）

【0041】

従来の方法による順序－不変ＰＤは、損失関数Ｌ_ｓのみを用いて予め定義されたピクセルサンプリング順序を用いてダウンサンプリングされた画像を生成するため、限られた数の下位画像が生成される。例えば、図３に示すように、順序－不変ＰＤは、４Х４入力画像から４枚の限られた数の２Х２下位画像を生成することができる。

【0042】

すなわち、従来の方法による順序－不変ＰＤは、規則的にピクセルを抽出してダウンサンプリングされた画像を生成する方式であって、空間相関があるノイズを含む原画像に対して、損失関数Ｌ_ｓ（自己監督型損失）のみを用いてＰＤを行うため、空間相関があるノイズを効果的に除去し難いという欠点がある。

【0043】

これに対し、本発明による順序－変異ＰＤは、不規則的なピクセルに対してもＰＤを行う方式であり、これについては、図４を参照して説明する。

【0044】

図４は、原画像のデータを増強させてダウンサンプリングされた画像を生成する本発明による方法を示す図である。

【0045】

図４に示す本発明の方法によるＰＤは、ランダムに不規則的に生成された変換行列Ｉ∈Ｉを有する順序－変異ＰＤを示す。

【0046】

図４に示すように、本発明は、ダウンサンプリングされた画像の枚数を増やすためにランダムに選択した変換行列Ｉを用いてサンプリング順序をシャッフルさせる順序－変異方式のＰＤであってもよい（ここで、変換行列は、サンプリング順序に従ってシャッフルさせるものであってもよい）。これによれば、本発明による順序－変異ＰＤに用いられる損失関数Ｌ_ｓは、下記の数式２のように変形可能である。

【0047】

【数2】

【0048】

（式２中、ｘは、ノイズを含む原画像を示し、ｆは、第２のネットワーク１３２であるＢＳＮを示し、Ｉは、順序－変異ＰＤに対する変換行列を示し、ＰＤ_５は、ストライドファクターｓ（ｓ＝５）を有するＰＤ関数を示す。）

【0049】

本発明の方法による順序－変異ＰＤは、不規則的なピクセルに対してもＰＤを行う方式であって、原画像を複数枚のダウンサンプリングされた画像に分割する過程が行われるため、ノイズの空間相関が消えてノイズ除去を非常に行い易くなるという特徴がある。また、本発明の方法によるＰＤは、様々な画像に対しても行われることができるので、画像の種類が制限的ではないという長所がある。

【0050】

本発明の順序－変異ＰＤによるノイズの除去能をさらに高め、ＡＰ－ＢＳＮ（非対称ＰＤ－ＢＳＮ）の視覚的なアーティファクトを低減するために、従来には、Ｒ^３（Ｒａｎｄｏｍ－Ｒｅｐｌａｃｉｎｇ Ｒｅｆｉｎｅｍｅｎｔ；ランダム置き換えリファインメント）という後処理方式が提案されていた。

【0051】

Ｒ^３は、ピクセルごとのノイズ（すなわち、ｘから選択）を初期の予測ｆ（ｘ；Ｉ_０，ＰＤ^２）にランダムに置き換えて生成された色々な合成ノイズ画像から復元された画像の平均を示す。しかしながら、Ｒ^３が繰り返されたノイズの除去を通じて復元された画像を過剰に滑らかにし過ぎるという傾向にあるため、テクスチャーの細部事項が損失される。この詳細については、図６を参照して後述する。

【0052】

図１に戻ると、実施形態において、予測画像生成部１３０は、原画像とダウンサンプリングされた画像からそれぞれノイズを除去し、原画像の形状を復元した少なくとも１枚以上の予測画像を生成することができる。予測画像を生成する予測画像生成部１３０の構成は、図２及び図５を参照して説明する。

【0053】

図２は、本発明の一実施形態による予測画像生成部１３０の概略的な構成を示すブロック図であり、図５は、本発明の一実施形態による予測画像生成部１３０の学習過程を示す図である。

【0054】

図２及び図５を参照すると、実施形態による予測画像生成部１３０は、予測画像２３０を生成するための第１のネットワーク１３１、第２のネットワーク１３２及び復元部１３３を備えていてもよい。具体的には、第１のネットワーク１３１は、原画像２１０とダウンサンプリングされた画像２２０からノイズを除去し、第２のネットワーク１３２は、互いに異なるストライドファクターに従って生成された複数枚のダウンサンプリングされた画像２２０からノイズを除去し、復元部１３３は、図５のフォワード（Ｆｏｒｗａｒｄ）段階に示すように、第１のネットワーク１３１と第２のネットワーク１３２からのノイズの除去された画像から原画像２１０の形状を復元して予測画像２３０を生成することができる。

【0055】

一方、第２のネットワーク１３２は、最新のネットワークとは異なり、ネットワークの構造が限られていて、入力及び出力のピクセルの形態が独立していなければならないという特定の条件を満たしてはじめて、ネットワークが使用可能であるという特徴がある。

【0056】

これに対し、第１のネットワーク１３１は、そのような特定の条件を満たさなくてもネットワーク学習を使用することができ、ＰＤ過程もまた省略可能であるので、ノイズ学習能が向上することができる。学習過程においてＰＤ過程が省略される場合、ノイズの除去過程においてもＰＤ過程が省略可能であるので、結果的にノイズの除去能が向上することができる。

【0057】

また、予測画像２３０は、第１のネットワーク１３１により原画像２１０からノイズが除去されて生成される第１の予測画像２３１、ダウンサンプリングされた画像２２０から第１のネットワーク１３１によりノイズが除去されて生成される第２の予測画像２３２、互いに異なるストライドファクターに従って生成された複数枚のダウンサンプリングされた画像２２０から第２のネットワーク１３２によりノイズが除去されて生成される第３の予測画像２３３及び第４の予測画像２３４を備えていてもよい。

【0058】

具体的には、第１の予測画像２３１は、順序－変異ＰＤ過程が行われずに第１のネットワーク１３１により原画像２１０から検出されたノイズが除去されて生成される画像であってもよい。第２の予測画像２３２は、ストライドファクターＰＤ_５に従って生成されたダウンサンプリングされた画像２２０から第１のネットワーク１３１により検出されたＰＤ_５ノイズが除去されて生成される画像であってもよい。第３の予測画像２３３は、ストライドファクターＰＤ_５に従って生成されたダウンサンプリングされた画像２２０から第２のネットワーク１３２により検出されたＰＤ_５ノイズが除去されて生成される画像であってもよい。第４の予測画像２３４は、ストライドファクターＰＤ_２に従って生成されたダウンサンプリングされた画像２２０から第２のネットワーク１３２により検出されたＰＤ_２ノイズが除去されて生成される画像であってもよい。

【0059】

すなわち、第１の予測画像２３１は、ＰＤが行われていない原画像２１０に対して第１のネットワーク１３１によりノイズが除去され、原画像２１０の形状に復元（図５における「ＰＤ_ｓ ^－１（・，・）」）された画像であってもよい。第２乃至第４の予測画像２３４は、原画像２１０にＰＤ（図５における「ＰＤ_ｓ（ｘ，・）」）が行われて 第１及び第２のネットワーク１３２によりノイズが除去され、原画像２１０の形状に復元（図５における「ＰＤ_ｓ ^－１（・，・）」）された画像であってもよい。第１乃至第４の予測画像２３４は、図５のフォワード段階に示す形状に生成されてもよい。

【0060】

実施形態において、図１及び図５を参照すると、学習部１４０は、予測画像２３０と原画像２１０による少なくとも１つ以上の損失関数に基づいて、予測画像生成部１３０を最適化学習させることができる。

【0061】

具体的には、学習部１４０は、第２のネットワーク１３２の自体損失を定義する第１の損失関数と、第１のネットワーク１３１の残余ノイズ学習（ｒｅｓｉｄｕａｌ ｎｏｉｓｅ ｌｅａｒｎｉｎｇ）をサポートするための第２の損失関数と、第１のネットワーク１３１と前記第２のネットワーク１３２からの予測画像２３０との間の相互類似度を高めるための第３の損失関数、及び第１のネットワーク１３１からの予測画像２３０の分布を制限するための第４の損失関数に基づいて、第１のネットワーク１３１と第２のネットワーク１３２を学習させることができる。

【0062】

これに関し、第１の損失関数Ｌ_ｓは、第２のネットワーク１３２からの予測画像２３０である第３の予測画像２３３と原画像２１０との差から第２のネットワーク１３２の自体損失を定義する関数であってもよい。第１の損失関数が第１のネットワーク１３１の残余ノイズ学習に用いられる場合、別途のノイズ画像なしに自体的に生成するノイズ画像だけでノイズ学習が行えるようにサポートすることができる。ここで、第１の損失関数は、前記数式２のように定義可能である。すなわち、第１の損失関数は、本発明のＰＤ過程において用いられる損失関数Ｌ_ｓと同一の関数であってもよい。

【0063】

第２の損失関数Ｌ_ｒは、擬似ノイズマップ（ｐｓｅｕｄｏ－ｎｏｉｓｅ ｍａｐ）と第１のネットワーク１３１からの予測画像２３０である第１の予測画像２３１との差として定義可能である。ここで、擬似ノイズマップは、原画像２１０と第２のネットワーク１３２から生成された予測画像２３０である第４の予測画像２３４との差から生成されてもよい。第２の損失関数は、下記の数式３のように定義可能である。

【0064】

【数3】

【0065】

（式３中、ｘは、原画像２１０を示し、

は、擬似ノイズマップを示し、

は、第１の予測画像２３１を示す。）

【0066】

第２の損失関数は、ＰＤ_５過程における過剰なダウンサンプリングによる学習－推論データ分布の不一致及びブラーリングアーティファクトの問題を解決することができる。ここで、主要な点は、ＰＤ_２ダウンサンプリングされた画像２２０が学習段階において用いられる場合、実際のノイズの除去段階においても用いられなければならないということである。

【0067】

第２の損失関数において、Ｉ_０を有する順序－不変ＰＤは、第１のネットワーク１３１に対するアリアシングアーティファクトを極力抑えるのに使用可能であるというメリットがある。擬似ノイズマップは、空間相関がある実際の雑音とダウンサンプリングによるアリアシングアーティファクトを考慮することができる。本発明によれば、擬似ノイズマップは、第１のネットワーク１３１の予測画像２３０の生成に比べて、テクスチャーの復元品質がさらに向上しているということを確認した。

【0068】

他のメリットは、ＰＤ_５のみを用いて学習する従来のネットワークとは異なり、学習のためのデータである原画像２１０が高解像度のノイズ画像のみから構成されることができるということである。また、第１のネットワーク１３１のネットワーク構造には、Ｊ－不変量（Ｊ－ｉｎｖａｒｉａｎｔ）特性が不要である。したがって、すべての最新の画像復元ネットワークアーキテクチャーを第１のネットワーク１３１に用いることができる。

【0069】

第３の損失関数Ｌ_ｏｖは、第１のネットワーク１３１からの予測画像２３０と第２のネットワーク１３２からの予測画像２３０との間の低周波特徴の類似度を高めるために、原画像２１０と第１のネットワーク１３１からの予測画像２３０との差分画像と第２のネットワーク１３２からの予測画像２３０との差分値に基づいて、次の数式４のように定義可能である。ここで、第１のネットワーク１３１からの予測画像２３０は、第２の予測画像２３２であり、第２のネットワーク１３２からの予測画像２３０は、第３の予測画像２３３であってもよい。また、第２の予測画像２３２と第３の予測画像２３３は、同一のストライドファクターＰＤ_５に従ってダウンサンプリングされた画像２２０からの予測画像２３０であってもよい。

【0070】

【数4】

【0071】

（式４中、ｘは、ノイズを含む原画像２１０を示し、ｆは、第２のネットワーク１３２であるＢＳＮを示し、Ｉ及びＩ’は、順序－変異ＰＤに対する変換行列を示し、ＰＤ_５は、ストライドファクターｓ（ｓ＝５）を有するＰＤ関数を示し、ｈは、第１のネットワーク１３１であるノイズ抽出子ｈを示し、

は、第３の予測画像２３３を示し、

は、第２の予測画像２３２を示す。）

【0072】

第４の損失関数Ｌ_ｎｐは、第１のネットワーク１３１からの予測画像２３０のノイズ分布が原画像２１０のノイズ分布に近づくように、しきい値よりも高い大きさを有するノイズをピーナライズ（ｐｅｎａｌｉｚｉｎｇ）するノイズ先行損失（ｎｏｉｓｅ ｐｒｉｏｒ ｌｏｓｓ）であって、次の数式５のように定義可能である。ここで、第１のネットワーク１３１からの予測画像２３０は、第１の予測画像２３１であってもよい。

【0073】

【数5】

【0074】

（式５中、ｘは、ノイズを含む原画像２１０を示し、

は、第１の予測画像２３１を示す。）

【0075】

提案された第１のネットワーク１３１（Ｎｏｉｓｅ Ｅｘｔｒａｃｔｏｒ ｈ；ノイズ抽出子ｈ）は、データ分布を一致させてノイズ除去品質を向上させるものの、特に、テクスチャーが豊富な画像においてテクスチャーの細部事項及び色合の変化が一部損失される。これは、第１のネットワーク１３１が第２の損失関数の実際のノイズのみならず、ＰＤ_２のアリアシングアーティファクトを過剰に適合化させるからである。このようなアリアシングアーティファクトは、テクスチャーの細部事項に寄与し、その大きさは、実際のノイズよりも大きいものと認められる。

【0076】

このため、テクスチャーの細部事項をさらに改善するために、第４の損失関数が提案可能である。第４の損失関数は、Ｌ_１（ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｔｅｒｍ；正規化項）を用いて、第１のネットワーク１３１から生成される第１の予測画像２３１の分布を制限（すなわち、高い大きさのノイズにペナルティーを与える）することができる。このＬ_１正規化項は、ミニレイアウト及び色合軸に沿って平均のピクセルごとの絶対値を取って第２の損失関数の擬似ノイズマップの異常値を効果的に抑えることができる。

【0077】

結果的に、第１のネットワーク１３１と第２のネットワーク１３２に対する総損失関数は、次の数式６のように定義可能である。

【0078】

【数6】

【0079】

（式６中、ハイパーパラメーターλ_Ｓ、λ_ｒ、λ_ＯＶ及びλ_ｎｐは、第１乃至第４の損失関数の寄与重み付け値を示す。）

【0080】

学習部１４０は、第１乃至第４の損失関数に基づいて、第１のネットワーク１３１と第２のネットワーク１３２を学習させることができる。

【0081】

例えば、学習部１４０は、第３の予測画像２３３及び原画像２１０に第１の損失関数を適用し、第４の予測画像２３４、原画像２１０及び第１の予測画像２３１の間の差分値に第２の損失関数を適用し、第３の予測画像２３３及び擬似ノイズマップに第３の損失関数を適用し、第１の予測画像２３１に第４の損失関数を適用して、第１のネットワーク１３１及び第２のネットワーク１３２を学習させることにより、ノイズ除去モデルを生成することができる。

【0082】

図５は、本発明の一実施形態による予測画像生成部１３０の学習過程を示す図である。

【0083】

図５を参照すると、ノイズの除去装置１００は、原画像２１０にピクセルシャッフルダウンサンプリングＰＤ_２またはＰＤ_５を行って、少なくとも１枚以上のダウンサンプリングされた画像２２０を生成することができる。

【0084】

ノイズの除去装置１００は、予測画像生成部１３０を介して、図５に示すフォワード段階のように、予測画像生成部１３０の第１のネットワーク１３１及び第２のネットワーク１３２を用いて、原画像２１０とダウンサンプリングされた画像２２０からそれぞれノイズを除去し、原画像２１０の形状を復元した少なくとも１枚以上の予測画像２３０を生成することができる。原画像２１０の形状を復元する過程は、ピクセルシャッフルダウンサンプリングに従ってノイズが除去された画像を再び原画像２１０の形状に復元する、図５に示すＰＤ_Ｓ ^－１（・，・）過程を示し得る。

【0085】

ノイズの除去装置１００は、学習部１４０を介して、図５に示すバックワード（Ｂａｃｋｗａｒｄ）段階のように、第１の損失関数乃至第４の損失関数、及び第１の予測画像２３１乃至第４の予測画像２３４と原画像２１０に基づいて、予測画像生成部１３０の第１のネットワーク１３１及び第２のネットワーク１３２を最適化学習させることができる。

【0086】

図５に示すバックワードの学習過程に従って全体の損失を極力抑えるように第１のネットワーク１３１及び第２のネットワーク１３２を学習した後、第１のネットワーク１３１及び第２のネットワーク１３２の構造的な限界によって基準線の学習結果に一部の視覚的なアーティファクトが残っている場合がある。このため、図５に示すノイズの除去過程が行われてもよい。

【0087】

図６は、本発明の一実施形態によるノイズ除去モデル３１０のノイズの除去過程を示す図である。

【0088】

従来の技術であるＡＰ－ＢＳＮにおいて提案したＲ^３（ランダム置き換えリファインメント）手法は、視覚的なアーティファクトを緩和させる手法である。しかしながら、様々なノイズサンプルに対する多重予測を平均化すれば、コンテンツの類似性が増加し、テクスチャーの細部情報が減少する。また、Ｒ^３の基準線は、テクスチャーの細部事項がＰＤ_２ダウンサンプリングにより低下されるという初期の予測に依存する。本発明においては、このようなＲ^３の欠点を解決するために、図５に示すノイズ除去モデル３１０であるＰＲ^３（Ｐｒｏｇｒｅｓｓｉｖｅｌｙ Ｒａｎｄｏｍ－Ｒｅｐｌａｃｉｎｇ Ｒｅｆｉｎｅｍｅｎｔ；漸進的にランダム置き換えリファインメント）が提案可能である。

【0089】

図６を参照すると、本発明においてノイズ除去モデルとＢＳＮ１３１との予測結果のアンサンブルをする基礎推論モデルであるベースラインと、本発明によるノイズ除去モデル１３２とＢＳＮ１３１に用いられるＰＲ^３方式が示されている。

【0090】

従来の方式の場合、ノイズの除去過程においても別途のＰＤ_２過程が行われるため、ノイズの除去に伴うリソースの増加に伴い、結果物の品質が良好ではないのに対し、本発明によるノイズ除去モデル３１０のＰＲ^３の場合、既にＰＤ過程を経た画像を用いるため、別途のＰＤ過程を省略することが可能であって、ランダム置き換え過程における出力物のテキストが押し潰されないので、出力物の高い品質を保証することができ、第２のネットワーク１３２から導き出される画像のストラクチャーアーティファクト（Ｓｔｒｕｃｔｕｒｅ ａｒｔｅｆａｃｔ）を効果的に除去することができる。

【0091】

図６を参照すると、ノイズ除去モデル３１０がノイズを含む原画像２１０のノイズを除去する過程が示されている。

【0092】

具体的には、ノイズ除去モデル３１０は、ノイズを含む原画像２１０ｘが第１のネットワーク１３１に入力されれば、第１のネットワーク１３１を介して原画像２１０から第１の予測画像を除去し、原画像２１０の形状を復元した図５におけるｘ－ｈ（ｘ）画像であるｐ_１をランダム置き換え手法を用いて生成することができる。

【0093】

次いで、ノイズ除去モデル３１０は、生成されたｐ_１を第２のネットワーク１３２に入力してノイズの除去及びランダム置き換えを行ってｐ_２を生成し、生成されたｐ_２を第１のネットワーク１３１に入力することができる。最後に、ノイズ除去モデル３１０は、第１のネットワーク１３１を介してｐ_２に対するノイズを検出して除去し、ノイズの除去されたｐ_２とｘ－ｈ（ｘ）画像との平均化（Ａｖｅｒａｇｅ）を行って最終的にノイズを除去することができる。

【0094】

図７は、本発明の一実施形態によるノイズの除去装置１００が学習する各ステップを示すフローチャートである。

【0095】

本発明の一実施形態によるノイズの除去方法は、図１に示すノイズの除去装置１００及び図２に示す予測画像生成部１３０と実質的に同一の構成上において行われるため、図１及び図２と同一の構成要素に対して同一の図面符号を付し、繰り返される説明は省略する。

【0096】

本発明のノイズの除去方法は、ノイズを含む原画像を受信するステップ（Ｓ１０）、原画像にピクセルシャッフルダウンサンプリングを行って、少なくとも１枚以上のダウンサンプリングされた画像を生成するステップ（Ｓ２０）、原画像とダウンサンプリングされた画像からそれぞれノイズを除去し、原画像の形状を復元した少なくとも１枚以上の予測画像を生成するステップ（Ｓ３０）及び予測画像と原画像に基づく少なくとも１つ以上の損失関数に基づいて、予測画像生成部１３０を最適化学習させるステップ（Ｓ４０）を含んでいてもよい。

【0097】

ノイズを含む原画像を受信するステップ（Ｓ１０）は、外部のサーバーまたはデバイスからノイズを含む原画像が受信されるステップを含んでいてもよい。

【0098】

原画像にピクセルシャッフルダウンサンプリングを行って、少なくとも１枚以上のダウンサンプリングされた画像を生成するステップ（Ｓ２０）は、少なくとも１つ以上のストライドファクター（ｓｔｒｉｄｅ ｆａｃｔｏｒ）に従って原画像から複数枚の前記ダウンサンプリングされた画像を生成するステップを含んでいてもよい。

【0099】

原画像とダウンサンプリングされた画像からそれぞれノイズを除去し、原画像の形状を復元した少なくとも１枚以上の予測画像を生成するステップ（Ｓ３０）は、第１のネットワーク１３１を介して原画像とダウンサンプリングされた画像からノイズを除去するステップ、第２のネットワーク１３２を介して互いに異なるストライドファクターに従って生成された複数枚のダウンサンプリングされた画像からノイズを除去するステップ及び復元部１３３を介して第１のネットワーク１３１と第２のネットワーク１３２からのノイズの除去された画像から原画像の形状を復元して予測画像を生成するステップを含んでいてもよい。

【0100】

予測画像と原画像を基にした少なくとも１つ以上の損失関数に基づいて、予測画像生成部１３０を最適化学習させるステップ（Ｓ４０）は、第２のネットワーク１３２の自体損失を定義する第１の損失関数と、第１のネットワーク１３１の残余ノイズ学習（ｒｅｓｉｄｕａｌ ｎｏｉｓｅ ｌｅａｒｎｉｎｇ）をサポートするための第２の損失関数と、第１のネットワーク１３１と第２のネットワーク１３２からの予測画像との間の相互類似度を高めるための第３の損失関数、及び第１のネットワーク１３１からの予測画像の分布を制限するための第４の損失関数に基づいて、第１のネットワーク１３１と第２のネットワーク１３２を学習させるステップを含んでいてもよい。

【0101】

図８は、本発明の一実施形態によるノイズの除去能を示す図表であり、図９は、本発明の一実施形態によるノイズの除去方法のノイズの除去結果を示す図である。

【0102】

図８は、スマートフォン画像ノイズ除去データセット（ＳＩＤＤ：Ｓｍａｒｔｐｈｏｎｅ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ Ｄａｔａｓｅｔ）検証データセットに対する損失関数の切除研究結果を示す図表である。図８を参照すると、各列には、当該損失関数がない結果が表され、最高と次善には下線が引かれており、最高の結果は、太く表示されている。

【0103】

図８において、第２の損失関数Ｌ_ｒを省略すれば、第３の損失関数Ｌ_ｏｖを用いたコンテンツ情報の保持以外には、第２のネットワークＢＳＮ ｆにおいて詳細情報ベースの学習がないため、全体的な性能の低下を示す。

【0104】

第３の損失関数Ｌ_ｏｖを省略すれば、ピーク信号対雑音比（ＰＳＮＲ：Ｐｅａｋ Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ）及び構造類似度指数測定（ＳＳＩＭ： Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ Ｉｎｄｅｘ Ｍｅａｓｕｒｅ）の性能が向上するのに対し、学習済み知覚画像パッチ類似性（ＬＰＩＰＳ：Ｌｅａｒｎｅｄ Ｐｅｒｃｅｐｔｕａｌ Ｉｍａｇｅ Ｐａｔｃｈ Ｓｉｍｉｌａｒｉｔｙ）及び構造及び深部画像の構造とテクスチャーの類似性（ＤＩＳＴＳ：Ｄｅｅｐ Ｉｍａｇｅ Ｓｔｒｕｃｔｕｒｅ ａｎｄ Ｔｅｘｔｕｒｅ Ｓｉｍｉｌａｒｉｔｙ）においては最小限の性能の低下が観察される。

【0105】

これは、第３の損失関数Ｌ_ｏｖがコンテンツの類似性を促し、テクスチャー復元能の向上の代わりにさらに高いＰＳＮＲ及びＳＳＩＭにつながるからである。

【0106】

第４の損失関数Ｌ_ｎｐを省略すれば、損失の前に雑音がなければ、第２のネットワークＢＳＮ ｆの擬似ノイズマップに過剰な適合性が生じてＬＰＩＰＳ及びＤＩＳＴＳの結果がＡＰ－ＢＳＮの結果に近づく。すなわち、第４の損失関数Ｌ_ｎｐは、擬似ノイズマップにおいて第１のネットワーク（ノイズ抽出子ｈ）がアリアシングアーティファクトを学習することを防いでテクスチャーの変形を成功的に低減することができる。

【0107】

追加的に、第１の損失関数Ｌ_ｓと第３の損失関数Ｌ_ｏｖにおいて順序－変異ＰＤプロセスを順序－不変ＰＤ（ＰＤｓ（・，Ｉ_０））に置き換えれば、全体的な性能が低下する。

【0108】

図８に示す本研究結果によれば、本発明の予測画像生成部の最適化学習過程であるＩ２Ｖと基本的な学習過程を用いたとき、各損失関数が除外される場合に性能が部分的に劣化するという現象が現れるものの、すべての損失関数を使用し切ったとき、全体的に高い性能を示すということを確認することができる。

【0109】

図９は、本発明の一実施形態によるノイズの除去方法のノイズの除去結果を示す図である。

【0110】

図９に関連する実験において、Ｉ２Ｖの幅広い適応のために外部教育データセットなしに完全自己監督方式によりノイズの除去実験を構成した。この実験においては、ターゲットノイズ画像のみが使用可能であると仮定する。

【0111】

自己教師あり学習のアプローチ方式とペアをなしていない画像ノイズの除去方法の場合、ＳＩＤＤ－ミディアムデータセットを用いてノイズ除去器が（例えば、第１のネットワークまたは第２のネットワーク）全体の画像の実際のアプリケーションシナリオを仮定するように自己監督型方法を学習する。

【0112】

本発明による自己教師あり学習に基づく方法は、深層学習モデルを教育するために対象ノイズ画像を直接的に使用する。そうではなければ、監督型ノイズ除去またはペアリングされていない画像ノイズの除去方法は、他のデータセットに属するクリーンであり、しかも、ノイズの多い画像として学習される虞がある。互いに異なるデータセットは、対象ノイズ画像と比較してテクスチャーまたは構造の情報が異なる場合がある。本発明による方法が自己教師あり学習のアプローチ方式と比較してＬＰＩＰＳ及びＤＩＳＴＳの側面からみて 類似であるか、あるいは、さらに良好な性能を示す理由であると見られる。

【0113】

図９を参照すると、リストーマー（Ｒｅｓｔｏｒｍｅｒ）は、自己教師あり学習に基づくノイズの除去方法であり、Ｃ２Ｎは、ペアをなしていないクリーンな画像のデータが必要であるアンペアド（ｕｎｐａｉｒｅｄ）画像ノイズの除去方法であり、ＡＰ－ＢＳＮとＩ２Ｖは、ノイズ画像のみを使用した方法である。下記の数字の場合、左側からＰＳＮＲ／ＳＳＩＭ／ＬＰＩＰＳ／ＤＩＳＴＳに対する性能を示す。

【0114】

図９から明らかなように、本発明によるＩ２Ｖは、すべてのメトリックに対する最先端自己監督型ノイズの除去方法のうち、その効果的な側面からみて最も高い効能を示している。また、最新の方法であるＡＰ－ＢＳＮと比較して、遥かに良好なテクスチャーと良好なＬＰＩＰＳとＤＩＳＴＳを得ることができる。

【0115】

このような本発明のノイズの除去方法は、様々なコンピューターの構成要素を通じて実行可能なプログラムコマンドの形態により実現されてコンピューターにて読み取り可能な記録媒体に記録可能である。前記コンピューターにて読み取り可能な記録媒体は、プログラムコマンド、データファイル、データ構造などを単独にてまたは組み合わせて含んでいてもよい。

【0116】

前記コンピューターにて読み取り可能な記録媒体に記録されるプログラムコマンドは、本発明のために特別に設計され、かつ構成されたものであってもよいし、あるいは、コンピューターソフトウェアの分野における当業者にとって公知となって使用可能なものであってもよい。

【0117】

コンピューターにて読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体、コンパクトディスク（ＣＤ）による読み出し専用メモリー（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及び読み出し専用メモリー（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリー（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリーなどのプログラムコマンドを記憶しかつ実行するように特別に構成されたハードウェア装置が含まれる。

【0118】

プログラムコマンドの例には、コンパイラーにより作成されるもののような機械語コードのみならず、インタープリーターなどを用いてコンピューターにより起動可能な高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆もまた同様である。

【0119】

以上においては、本発明の様々な実施形態について図示及び説明したが、本発明は、上述した特定の実施形態に何ら限定されるものではなく、特許請求の範囲において請求する本発明の要旨から逸脱することなく、当該発明が属する技術分野において通常の知識を有する者により種々の変形実施が可能であるということはいうまでもなく、これらの変形された実施形態は、本発明の技術的思想や見通しから個別的に理解されてはならない。

【符号の説明】

【0120】

１００ ノイズの除去装置
１１０ 受信部
１２０ ＰＤ部
１３０ 予測画像生成部
１３１ 第１のネットワーク
１３２ 第２のネットワーク
１３３ 復元部
１４０ 学習部
２１０ 原画像
２２０ ダウンサンプリングされた画像
２３０ 予測画像
２３１ 第１の予測画像
２３２ 第２の予測画像
２３３ 第３の予測画像
２３４ 第４の予測画像
３１０ ノイズ除去モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】