特表 2024-545795 画像ノイズ除去方法、装置及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-11

(54)【発明の名称】画像ノイズ除去方法、装置及び記憶媒体

(51)【国際特許分類】

   G06T 5/70 20240101AFI20241204BHJP

   G06T 5/60 20240101ALI20241204BHJP

【ＦＩ】

G06T5/70

G06T5/60

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024539914

(86)(22)【出願日】2022-12-29

(85)【翻訳文提出日】2024-07-01

(86)【国際出願番号】 CN2022143154

(87)【国際公開番号】W WO2023125750

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】202111672183.8

(32)【優先日】2021-12-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】524050235

【氏名又は名称】アークソフト コーポレーション リミテッド

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】ピエン、チアオリン

(72)【発明者】

【氏名】チェン、ピンピン

(72)【発明者】

【氏名】ホアン、ルー

(72)【発明者】

【氏名】ルー、イェンチン

(72)【発明者】

【氏名】ワン、チン

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE02

(57)【要約】

ノイズ除去対象の画像シーケンスを取得することと、前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力し、前記トレーニング済みニューラルネットワークによってノイズ除去を完了することと、前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることと、を含む画像ノイズ除去方法、装置及び記憶媒体。

【特許請求の範囲】

【請求項1】

ノイズ除去対象の画像シーケンスを取得することと、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力し、前記トレーニング済みニューラルネットワークによってノイズ除去を完了することと、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることとを含む、画像ノイズ除去方法。

【請求項2】

前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力する前に、ニューラルネットワークをトレーニングすることをさらに含み、
ニューラルネットワークをトレーニングすることは、
取得されたサンプルデータによって自己適応トレーニングデータセットを構築することと、
前記自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することと、
前記トレーニング対象のニューラルネットワークが予め設定された収束条件を満たすように、予め設定された損失目標を算出して、前記トレーニング対象のニューラルネットワークに対してパラメータ調整を行うこととを含む、請求項１に記載の方法。

【請求項3】

取得されたサンプルデータによって自己適応トレーニングデータセットを構築することは、
ノイズ付き画像シーケンスサンプルと、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とを含む複数のサンプルデータをそれぞれ取得することと、
前記複数のサンプルデータを比率で組み合わせて前記自己適応トレーニングデータセットを構築することとを含む、請求項３に記載の方法。

【請求項4】

前記予め設定された損失目標を算出する際に用いられる損失関数は、Ｌ１損失関数、Ｌ２損失関数、構造類似性損失関数、知覚損失関数及び周波数損失関数のいずれか１種又は複数種を含む、請求項２に記載の方法。

【請求項5】

各サンプルデータを取得することは、
外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることと、
予め設定された数のノイズ付き画像シーケンスサンプルを得て、前記予め設定された数のノイズ付き画像シーケンスサンプルを重畳した画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることとを含む、請求項３に記載の方法。

【請求項6】

予め設定された数のノイズ付き画像シーケンスサンプルを重畳することは、
予め設定された数のノイズ付き画像シーケンスサンプルを画素重み付けの方式で重畳することを含み、
ノイズ付き画像シーケンスサンプルにおける動体を構成する画素に対応する重み値は、非動体を構成する画素に対応する重み値より小さい、請求項５に記載の方法。

【請求項7】

各サンプルデータを取得することは、
予め設定された時間閾値より小さい露光時間を有する外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることと、
予め設定された時間閾値より大きい露光時間を有する外部機器によって同一の対称物を撮影して得られた画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることとを含む、請求項３に記載の方法。

【請求項8】

各サンプルデータを取得することは、
レンズにフィルタが装着された外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることと、
レンズにフィルタが装着されない外部機器によって同一の対称物を撮影して得られた画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることとを含む、請求項３に記載の方法。

【請求項9】

各サンプルデータを取得することは、
外部機器によって対称物を撮影して得られノイズが予め設定された閾値より小さい画像を、ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることと、
前記参照画像に取得された予め設定されたノイズを重畳したものを前記ノイズ付き画像シーケンスサンプルとすることとを含む、請求項３に記載の方法。

【請求項10】

前記予め設定されたノイズを取得することは、
ノイズ分布モデルに基づくシミュレーションによって前記予め設定されたノイズを取得することを含み、
前記ノイズ分布モデルの未定パラメータは、前記参照画像の異なる感光値、前記参照画像の異なる感光値での画素分散値、及び前記ノイズ分布モデルに対して定められた感光値と画素分散値との対応関係に基づいて取得される、請求項９に記載の方法。

【請求項11】

前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力することは、
前記ノイズ除去対象の画像シーケンスをブロック化した後、トレーニング済みニューラルネットワークに入力することを含み、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることは、
前記トレーニング済みニューラルネットワークから出力された画像ブロックを融合処理して得られた画像シーケンスを、ノイズ除去済み画像シーケンスとすることを含む、請求項１に記載の方法。

【請求項12】

前記ノイズ除去対象の画像シーケンスをブロック化することは、
前記ノイズ除去対象の画像シーケンスを、隣接する画像ブロックに重なり領域が存在するように、位置座標に応じて順にブロック化することを含み、
前記トレーニング済みニューラルネットワークから出力された画像ブロックを融合処理することは、
位置座標に応じて、画像ブロックと、それと重なり領域を有する隣接する画像ブロックとを順に融合処理することを含む、請求項１１に記載の方法。

【請求項13】

前記ノイズ除去対象の画像シーケンスをブロック化してトレーニング済みニューラルネットワークに入力した後に、前記トレーニング済みニューラルネットワークによって、異なるハードウェアリソースの性能に基づいて画像ブロックを前記異なるハードウェアリソースに割り当て、前記異なるハードウェアリソースにより、それぞれ割り当てられた画像ブロックを並行に処理することをさらに含む、請求項１１に記載の方法。

【請求項14】

前記自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することは、
前記自己適応トレーニングデータセットを感光値に応じてクラスに分類することと、
それぞれのクラスに属する自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することと、を含む、請求項２に記載の方法。

【請求項15】

前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力する前に、前記ノイズ除去対象の画像シーケンスを正規化処理することをさらに含み、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることは、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスを逆正規化処理して、前記ノイズ除去済み画像シーケンスを得ることを含む、請求項１に記載の方法。

【請求項16】

ノイズ除去対象の画像シーケンスを取得するように構成された収集ユニットと、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力し、前記トレーニング済みニューラルネットワークによってノイズ除去を完了するように構成されたノイズ除去ユニットと、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得るように構成される出力ユニットとを含む、画像ノイズ除去装置。

【請求項17】

１つ又は複数のプログラムが記憶されたコンピュータ読取可能な記憶媒体であって、
前記１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行されて、請求項１～１５のいずれか１項に記載の方法が実現可能である、コンピュータ読取可能な記憶媒体。

【請求項18】

プログラムが記憶されたメモリと、プロセッサとを含み、前記プログラムが前記プロセッサによって読み取られて実行されると、請求項１～１５のいずれか１項に記載の方法が実現される、画像ノイズ除去装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関し、特に画像ノイズ除去方法、装置及び記憶媒体に関する。

【背景技術】

【0002】

画像の生成中にノイズが混在するが、明るい光の場合に撮影された画像に比べて、暗い光の場合に撮影された画像に存在するノイズが大きい。ノイズは画像品質に画像の不鮮明や画像歪みなどのような損失をもたらす。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本願は、画像に含まれるノイズを除去し、画像品質を向上させることができる画像ノイズ除去方法、装置及び記憶媒体を提供する。

【課題を解決するための手段】

【0004】

本願による画像ノイズ除去方法は、
ノイズ除去対象の画像シーケンスを取得することと、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力し、前記トレーニング済みニューラルネットワークによってノイズ除去を完了することと、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることとを含む。

【0005】

一例示的な実施例として、前記方法は、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力する前に、ニューラルネットワークをトレーニングすることをさらに含み、
ニューラルネットワークをトレーニングすることは、
取得されたサンプルデータによって自己適応トレーニングデータセットを構築することと、
前記自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することと、
前記トレーニング対象のニューラルネットワークが予め設定された収束条件を満たすように、予め設定された損失目標を算出して、前記トレーニング対象のニューラルネットワークに対してパラメータ調整を行うこととを含む。

【0006】

一例示的な実施例として、取得されたサンプルデータによって自己適応トレーニングデータセットを構築することは、
ノイズ付き画像シーケンスサンプルと、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とを含む複数のサンプルデータをそれぞれ取得することと、
前記複数のサンプルデータを比率で組み合わせて前記自己適応トレーニングデータセットを構築することとを含む。

【0007】

一例示的な実施例として、前記予め設定された損失目標を算出する際に用いられる損失関数は、Ｌ１損失関数、Ｌ２損失関数、構造類似性損失関数、知覚損失関数及び周波数損失関数のいずれか１種又は複数種を含む。

【0008】

一例示的な実施例として、各サンプルデータを取得することは、
外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることと、
予め設定された数のノイズ付き画像シーケンスサンプルを得て、前記予め設定された数のノイズ付き画像シーケンスサンプルを重畳した画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることとを含む。

【0009】

一例示的な実施例として、予め設定された数のノイズ付き画像シーケンスサンプルを重畳することは、
予め設定された数のノイズ付き画像シーケンスサンプルを画素重み付けの方式で重畳することを含み、
ノイズ付き画像シーケンスサンプルにおける動体を構成する画素に対応する重み値は、非動体を構成する画素に対応する重み値より小さい。

【0010】

一例示的な実施例として、各サンプルデータを取得することは、
予め設定された時間閾値より小さい露光時間を有する外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることと、
予め設定された時間閾値より大きい露光時間を有する外部機器によって同一の対称物を撮影して得られた画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることとを含む。

【0011】

一例示的な実施例として、各サンプルデータを取得することは、
レンズにフィルタが装着された外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることと、
レンズにフィルタが装着されない外部機器によって同一の対称物を撮影して得られた画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることとを含む。

【0012】

一例示的な実施例として、各サンプルデータを取得することは、
外部機器によって対称物を撮影して得られノイズが予め設定された閾値より小さい画像を、ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることと、
前記参照画像に取得された予め設定されたノイズを重畳したものを前記ノイズ付き画像シーケンスサンプルとすることとを含む。

【0013】

一例示的な実施例として、前記予め設定されたノイズを取得することは、
ノイズ分布モデルに基づくシミュレーションによって前記予め設定されたノイズを取得することを含み、
前記ノイズ分布モデルの未定パラメータは、前記参照画像の異なる感光値、前記参照画像の異なる感光値での画素分散値、及び前記ノイズ分布モデルに対して定められた感光値と画素分散値との対応関係に基づいて取得される。

【0014】

一例示的な実施例として、前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力することは、
前記ノイズ除去対象の画像シーケンスをブロック化処理した後、トレーニング済みニューラルネットワークに入力することを含み、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることは、
前記トレーニング済みニューラルネットワークから出力された画像ブロックを融合処理して得られた画像シーケンスを、ノイズ除去済み画像シーケンスとすることを含む。

【0015】

一例示的な実施例として、前記ノイズ除去対象の画像シーケンスをブロック化することは、
前記ノイズ除去対象の画像シーケンスを、隣接する画像ブロックに重なり領域が存在するように、位置座標に応じて順にブロック化することを含み、
前記トレーニング済みニューラルネットワークから出力された画像ブロックを融合処理することは、
位置座標に応じて、画像ブロックと、それと重なり領域を有する隣接する画像ブロックとを順に融合処理することを含む。

【0016】

一例示的な実施例として、前記方法は、
前記ノイズ除去対象の画像シーケンスをブロック化して、トレーニング済みニューラルネットワークに入力した後に、前記トレーニング済みニューラルネットワークによって、異なるハードウェアリソースの性能に基づいて画像ブロックを前記異なるハードウェアリソースに割り当て、前記異なるハードウェアリソースにより、それぞれ割り当てられた画像ブロックを並行に処理することをさらに含む。

【0017】

一例示的な実施例として、前記自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することは、
前記自己適応トレーニングデータセットを感光値に応じて分類することと、
それぞれのクラスに属する自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することと、を含む。

【0018】

一例示的な実施例として、前記方法は、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力する前に、前記ノイズ除去対象の画像シーケンスを正規化処理することをさらに含み、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることは、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスを逆正規化処理して、前記ノイズ除去済み画像シーケンスを得ることを含む。
本願の実施例は、ノイズ除去対象の画像シーケンスを取得するように構成される収集ユニットと、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力し、前記トレーニング済みニューラルネットワークによってノイズ除去を完了するように構成されるノイズ除去ユニットと、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得るように構成される出力ユニットとを含む、画像ノイズ除去装置をさらに提供する。
本願の実施例は、１つ又は複数のプログラムが記憶されたコンピュータ読取可能な記憶媒体であって、前記１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行されて、上記のいずれか１項に記載の方法が実現可能である、コンピュータ読取可能な記憶媒体をさらに提供する。
本願の実施例は、プログラムが記憶されたメモリと、プロセッサとを含み、前記プログラムが前記プロセッサによって読み取られて実行されると、上記のいずれか１項に記載の方法が実現される、画像ノイズ除去装置をさらに提供する。

【発明の効果】

【0019】

本願の実施例は、ニューラルネットワークを利用して画像ノイズを除去する操作を実現し、画像品質を向上させる。

【0020】

本願の他の特徴及び利点は、後続の明細書で記述され、部分的に明細書から明らかになるか、又は本願の実施によって理解されるであろう。本願の他の利点は、明細書及び図面に記載された技術案によって達成され得る。

【図面の簡単な説明】

【0021】

図面は、本願の技術案に対する理解を提供し、明細書の一部を構成するために用いられ、本願の実施例とともに本願の技術案を解釈するためのものであり、本願の技術案を限定するものではない。

【0022】

【図1】本願の実施例による画像ノイズ除去方法のフローチャートである。

【図2】本願の実施例によるニューラルネットワークに対するトレーニング方法のフローチャートである。

【図3】本願の一実施例によるノイズモデルグラフである。

【図4A】本願の実施例によるノイズ除去対象の画像シーケンスをブロック化及び融合する模式図である。

【図4B】本願の実施例によるノイズ除去対象の画像シーケンスをブロック化して得られた画像ブロックの模式図である。

【図5】本願の実施例による画像ノイズ除去装置の構成ブロック図である。

【図6】本願の実施例による別の画像ノイズ除去装置の構成ブロック図である。

【発明を実施するための形態】

【0023】

本願は、複数の実施例を説明したが、該説明は例示的なものであり、限定的なものではなく、本願に説明された実施例に含まれる範囲内で、より多くの実施例及び実施形態があってもよいことは、当業者にとって明らかであろう。図面には、様々な可能な特徴の組み合わせが示され、かつ発明を実施するための形態で議論したが、開示された特徴の様々な他の組み合わせ方式も可能である。特に限定しない限り、任意の実施例の任意の特徴又は素子は、任意の他の実施例における任意の他の特徴又は素子と組み合わせて使用されてもよく、又は任意の他の実施例における任意の他の特徴又は素子を代替してもよい。

【0024】

本願は、当業者に知られている特徴及び素子との組み合わせを含み、想定した。本願で開示された実施例、特徴及び素子は、特許請求の範囲により定義されるユニークな発明の態様を形成するように、任意の従来の特徴又は素子と組み合わせてもよい。任意の実施例の任意の特徴又は素子は、特許請求の範囲により定義される別のユニークな発明の態様を形成するように、他の発明の態様からの特徴又は素子と組み合わせてもよい。したがって、本願で示された及び／又は議論された任意の特徴は、単独で又は任意の適切な組み合わせで実現され得ることは理解されるべきである。したがって、添付された特許請求の範囲及びその均等物による限定以外に、実施例はその他のものによって限定されない。なお、添付された特許請求の範囲の保護範囲内で種々の修正及び変更が可能である。

【0025】

なお、代表的な実施例を説明するにあたって、明細書は、すでに方法及び／又はプロセスを特定のステップシーケンスとして提示した可能性がある。しかしながら、該方法又はプロセスが本明細書に記載されたステップの特定の順序に依存しない程度で、該方法又はプロセスは、記載された特定の順序のステップに限定されるべきではない。他のステップの順序も可能であることは、当業者であれば理解されるであろう。したがって、明細書に記述されたステップの特定の順序は、特許請求の範囲を限定するものと解釈されるべきではない。なお、該方法及び／又はプロセスに対する特許請求の範囲は、記載された順序に応じてそれらのステップを実行することに限定されるべきではなく、これらの順序の変化が可能であり、且つ依然として本願の実施例の精神及び範囲内に保持されることは、当業者であれば容易に理解できる。

【0026】

本願の実施例は、画像ノイズ除去方法を提供し、図１に示すように、以下のステップを含む。

【0027】

ステップＳ１０１：ノイズ除去対象の画像シーケンスを取得する。

【0028】

ステップＳ１０２：前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力し、前記トレーニング済みニューラルネットワークによってノイズ除去を完了する。
トレーニング済みニューラルネットワークに入力されるノイズ除去対象の画像シーケンスは、シングルフレーム、マルチフレームが重畳されたシングルフレーム、又は連続したマルチフレームであってもよく、そのデータフォーマットは、例えばＲＧＢ、ＹＵＶ又はＲａｗＲＧＢのように複数であってもよく、なお、連続したマルチフレームをニューラルネットワークに入力する場合に、隣接するフレームの整列を維持する必要があり、本願の実施例は、複数のフォーマットの画像に対するノイズ除去をサポートし、異なる端末ユーザのニーズを満たすことができる。

【0029】

ステップＳ１０３：前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得る。
トレーニング済みニューラルネットワークから出力された画像シーケンスは、シングルフレームであり、そのデータフォーマットは、例えばＲＧＢ、ＹＵＶ又はＲａｗＲＧＢのように複数であってもよく、トレーニング済みニューラルネットワークに入力されたノイズ除去対象の画像シーケンスは、トレーニング済みニューラルネットワークから出力された所望の画像シーケンスとフォーマットが異なる場合、フォーマットの変換が必要になる。

【0030】

本願の実施例は、ニューラルネットワークを利用して画像ノイズを除去する操作を実現し、画像品質を向上させる。

【0031】

一例示的な実施例において、前記方法は、前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力する前に、ニューラルネットワークをトレーニングすることをさらに含む。

【0032】

一例示的な実施例において、図２に示すように、ニューラルネットワークをトレーニングするステップは、以下のステップを含む。

【0033】

ステップＳ２０１：取得されたサンプルデータによって自己適応トレーニングデータセットを構築する。
取得されたサンプルデータによって自己適応トレーニングデータセットを構築することは、ノイズ付き画像シーケンスサンプルと、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とを含む複数のサンプルデータをそれぞれ取得することと、前記複数のサンプルデータを比率で組み合わせて前記自己適応トレーニングデータセットを構築することとを含み、前記複数のサンプルデータの有する比率は設定可能であり、且つノイズ除去対象の画像シーケンスのタイプ及びサンプルデータの収集の難易度に基づいて調整することもできる。

【0034】

前記参照画像は、損失関数値を算出して、前記トレーニング対象のニューラルネットワークが予め設定された収束条件を満たすか否かを判断することに用いることができ、前記のノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像におけるマッチングとは、ノイズ付き画像シーケンスサンプルと参照画像とが画素でマッチングされることを指し、即ち、ノイズ付き画像シーケンスサンプルの任意の１つのフレームと参照画像とを切り替える場合、両者は画素レベルでの整列を満たし、画像品質上の違いだけ存在することを意味する。

【0035】

ステップＳ２０２：前記自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力する。
ニューラルネットワークのタイプは、ＲＮＮネットワーク、全層畳み込みネットワーク及びＵｎｅｔネットワークを含むが、これらに限定されない。

【0036】

ステップＳ２０３：前記トレーニング対象のニューラルネットワークが予め設定された収束条件を満たすように、予め設定された損失目標を算出して、前記トレーニング対象のニューラルネットワークに対してパラメータ調整を行い、例えば、前記トレーニング対象のニューラルネットワークに対してパラメータ調整を行うことにより、算出された損失関数値が予め設定された損失関数値の目標に達するまで次第に小さくなるようにして、ニューラルネットワークの収束を完了する。

【0037】

本願の実施例で、損失関数値を算出する際に用いられる損失関数は、Ｌ１損失関数、Ｌ２損失関数、構造類似性損失関数、知覚損失関数及び周波数損失関数のいずれか１種又は複数種を含んでもよい。

【0038】

ニューラルネットワークに対するトレーニングが終了された後、ネットワークパラメータが固定になるように、ネットワークパラメータを凍結してもよく、前記ネットワークパラメータは、浮動小数点のハードウェアリソース上で実行されてもよく、ＣＰＵ、グラフィックプロセッサ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）を含むが、これらに限定されず、ハードウェア加速プラットフォーム（量子化プラットフォームを含むが、これに限定されない）上で、ネットワークパラメータが整数化されるように、量子化トレーニング及びポスト量子化を行ってもよく、異なる入力データの要求に応じて、パラメータ及び重み値の８ビット量子化又は１６ビット量子化を行ってもよい。

【0039】

順方向性能の最適化を保障するために、ＧＰＵとＮＰＵが同時にネットワークの順方向を実行しなければならない場合、ＧＰＵとＮＰＵの結果の一致性を保障する必要がある。ポスト量子化ポリシーを採用する場合、ポスト量子化の精度によりＧＰＵとＮＰＵの結果の一致性を確保させる。トレーニング量子化である場合、損失関数に、ＧＰＵモデルとＮＰＵモデルの結果の教師付き損失関数をさらに追加してもよく、該教師付き損失関数はＬ１、Ｌ２などであってもよい。

【0040】

一例示的な実施例において、各サンプルデータを取得することは、以下を含む。

【0041】

方式１：外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとし、予め設定された数のノイズ付き画像シーケンスサンプルを得て、前記予め設定された数のノイズ付き画像シーケンスサンプルを重畳した画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とする。

【0042】

ノイズのランダム性により、予め設定された数のノイズ付き画像シーケンスサンプルを重畳することにより、ノイズを大幅に小さくし、信号対雑音比を向上させ、細部を向上させることができるため、重畳された画像を参照画像として用いることができる。前記予め設定された数は、各ノイズ付き画像シーケンスサンプルのノイズに基づいて決定することができ、例えばノイズが小さい（予め設定されたノイズ閾値より小さい）場合、前記予め設定された数は６～１０枚であってもよく、例えばノイズが大きい（予め設定されたノイズ閾値より大きい）場合、前記予め設定された数は６０～１００枚であってもよい。

【0043】

予め設定された数のノイズ付き画像シーケンスサンプルを重畳することは、予め設定された数のノイズ付き画像シーケンスサンプルを画素重み付けの方式で重畳することを含み、ノイズ付き画像シーケンスサンプルにおける動体を構成する画素に対応する重み値は、非動体を構成する画素に対応する重み値より小さい。動体の画素に対応する重み値を低減させることにより、画像の細部を保持するとともに、カメラの手振れ又は動体による画像汚れを減少させ、重畳された画像にゴースト像が生じる可能性を減少させ、ニューラルネットワークに対するトレーニング効果を向上させることができる。

【0044】

該方式１の利点として、適用シーンが多く、収集ツールに対し特別な要求がないことであり、欠点として、収集コストが高く、収集環境の要求が高く、明るさが変わらずに、収集プロセス中に手振れがないように保障しなければならないことである。

【0045】

方式２：予め設定された時間閾値より小さい露光時間を有する外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとし、予め設定された時間閾値より大きい露光時間を有する外部機器によって同一の対称物を撮影して得られた画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とする。

【0046】

一般的に、露光時間が短いほど、ノイズは大きくなり、露光時間が長いほど、ノイズは小さくなる。

【0047】

選択的に、ゲイン値＊露光時間＝ＥＶ０（ＥＶ０は、露光量が露光時間１秒に対応して絞りがｆ／１．０である組み合わせ又はその等価組み合わせであることを指す）に基づいて露光時間を決定してもよく、ゲイン値を小さく設定するほど、ＥＶ０が固定であるため、得られた露光時間は長くなり、ノイズは小さくなり、逆に、ゲイン値を大きく設定するほど、ＥＶ０が固定であるため、得られた露光時間は短くなり、ノイズは大きくなる。

【0048】

方式２の利点として、ＧＴ品質が方式１よりも良いことであり、欠点として、収集環境の要求が高く、明るさが変わらずに、収集プロセス中に手振れがないように保障しなければならないことである。

【0049】

方式３：レンズにフィルタが装着された外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとし、レンズにフィルタが装着されない外部機器によって同一の対称物を撮影して得られた画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とする。

【0050】

レンズにフィルタが装着された場合、暗い光環境をシミュレーションできるため、レンズにフィルタが装着された外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることができ、それに対応して、レンズにフィルタが装着されない外部機器によって同一の対称物を撮影して得られた画像を、参照画像とすることができる。

【0051】

該方式３の利点として、極めて暗いシーンを収集できることであり、欠点として、グレア効果があることである。

【0052】

方式４：外部機器によって対称物を撮影して得られノイズが予め設定された閾値より小さい画像を、参照画像とし、前記参照画像に取得された予め設定されたノイズを重畳したものを前記ノイズ付き画像シーケンスサンプルとする。

【0053】

前記予め設定されたノイズを取得することは、ノイズ分布モデルに基づくシミュレーションによって前記予め設定されたノイズを取得することを含んでもよい。

【0054】

前記ノイズ分布モデルの未定パラメータは、前記参照画像の異なる感光値、前記参照画像の異なる感光値での画素分散値、及び前記ノイズ分布モデルに対して定められた感光値と画素分散値との対応関係に基づいて取得される。

【0055】

具体的には、前記予め設定されたノイズ分布モデルは、以下のポアソンガウス分布モデルを満たす。
ｇＰｏｉｓｏｎ（Ｉ／ｇ）＋Ｎｏｒｍａｌ（０，δ^２ _ａｄｄ）
Ｐｏｉｓｏｎ（）はポアソン関数を表し、Ｎｏｒｍａｌ（）は正規分布関数を表し、Ｉは前記参照画像の感光値を表す。
前記参照画像の異なる感光値、前記参照画像の異なる感光値での画素分散値、及びノイズ分布モデル：δ（Ｉ）^２＝ｇ＊Ｉ＋δ^２ _ａｄｄ）に基づいて、ｇ及びδ^２ _ａｄｄが得られ、δ（Ｉ）^２は感光値Ｉで前記参照画像が対応する画素分散値を表す。図３は、Ｉ～δ（Ｉ）^２に対応するグラフを示し、図の横座標は感光値Ｉを表し、縦座標はδ（Ｉ）^２を表し、曲線の傾きはｇであり、切片はδ^２ _ａｄｄである。

【0056】

該方式４の利点として、データの生成が迅速であり、コストが低く、ＧＴが良いことであり、欠点として、特定のセンサから直接出力されたデータのみに適することである。
以上から分かるように、上記の４つの異なるサンプルデータ取得方式のそれぞれは、利点と欠点を有し、データの収集プロセスは、必要に応じて自己適応トレーニングデータセットを組み合わせて取得してもよい。例えば、ｒａｗドメインのノイズ除去の場合、最高の感光値は第３の方式でデータを取得し、最低の感光値は第４の方法でデータを取得してもよく、中間の感光値は第２の方法で取得しかつ第１の方法で一部のデータを補充してもよく、複数の方式で取得されたデータ集合で、完全な自己適応トレーニングデータセットが構成される。

【0057】

一例示的な実施例において、前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力することは、
前記ノイズ除去対象の画像シーケンスをブロック化した後、トレーニング済みニューラルネットワークに入力することを含み、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることは、
前記トレーニング済みニューラルネットワークから出力された画像ブロックを融合処理して得られた画像シーケンスを、ノイズ除去済み画像シーケンスとすることを含む。

【0058】

ノイズ除去対象の画像シーケンスが大きく、ニューラルネットワークの演算能力が限られている場合、画像シーケンスを分割した後ニューラルネットワークに入力してもよい。同様に、ニューラルネットワークのトレーニングを行う場合、ノイズ除去対象の画像シーケンスサンプルをブロック化した後、トレーニング対象のニューラルネットワークに入力してもよい。

【0059】

一例示的な実施例において、前記ノイズ除去対象の画像シーケンスをブロック化することは、
前記ノイズ除去対象の画像シーケンスを、隣接する画像ブロックに重なり領域が存在するように、位置座標に応じて順にブロック化することを含み、
前記トレーニング済みニューラルネットワークから出力された画像ブロックを融合処理することは、
位置座標に応じて、画像ブロックと、それと重なり領域を有する隣接する画像ブロックとを順に融合処理することを含む。

【0060】

図４Ａは、ノイズ除去対象の画像シーケンスをブロック化及び融合する模式図を示し、ノイズ除去対象の画像シーケンスをブロック化して得られた画像ブロックは、図４Ｂに示すようであり、図４Ｂに示された外枠に囲まれた画像ブロックは、ニューラルネットワークに入力される画像ブロックであり、内枠と外枠との間の部分は、周辺部分であり、画像ブロックの融合の際に、隣接する画像ブロックの周辺部分が重なる。

【0061】

ノイズ除去対象の画像シーケンスをブロック化する際に、得られた各画像ブロックをマーキングし、例えば、各画像ブロックの中心位置の座標を前記マークとし、画像ブロックを融合する際に、前記マークに応じて融合操作を行ってもよい。

【0062】

本願は、隣接する画像ブロック間に重なり領域を設けることにより、隣接する画像ブロックが融合された後に明らかな境界線が存在することを回避することができる。

【0063】

一例示的な実施例において、前記方法は、前記ノイズ除去対象の画像シーケンスをブロック化して、トレーニング済みニューラルネットワークに入力した後に、前記トレーニング済みニューラルネットワークによって、異なるハードウェアリソースの性能に基づいて画像ブロックを前記異なるハードウェアリソースに割り当て、前記異なるハードウェアリソースにより、それぞれ割り当てられた画像ブロックを並行に処理することをさらに含む。前記ハードウェアリソースのタイプは、ＧＰＵ、ＮＰＵ及びＣＰＵを含んでもよい。例えば、順方向性能の最適化を保持するために、ハードウェアにＧＰＵとＮＰＵを用いて並行実行し、ＧＰＵとＮＰＵとの性能比に基づいてＧＰＵとＮＰＵに画像ブロック数を割り当ててもよく、例えば、画像ブロックの総数が２００個であり、ＧＰＵとＮＰＵとの性能比が１：２である場合、そのうちの６６個の画像ブロックをＧＰＵに割り当て、残りの画像ブロックをＮＰＵに割り当ててもよい。

【0064】

一例示的な実施例において、前記方法は、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力する前に、前記ノイズ除去対象の画像シーケンスを正規化処理することをさらに含み、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることは、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスを逆正規化処理して前記ノイズ除去済み画像シーケンスを得ることを含む。

【0065】

正規化操作によることは、データを標準化処理し、異なる次元の影響を解消して、データを同一のオーダーになるようにすることで、ニューラルネットワークの出力結果の正確性を確保するためのものである。同様に、ニューラルネットワークをトレーニングする場合、ノイズ除去対象の画像シーケンスサンプルを正規化処理した後、トレーニング対象のニューラルネットワークに入力してもよい。

【0066】

一例示的な実施例において、前記自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することは、
前記自己適応トレーニングデータセットを感光値に応じて分類することと、
それぞれのクラスに属する自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することとを含む。

【0067】

該実施例によれば、各感光値に対して、１つのトレーニング済みニューラルネットワークが得られ、複数の感光値は、複数のトレーニング済みニューラルネットワークに対応するか、又は複数の感光値は、いずれも１つのトレーニング済みニューラルネットワークに対応し、各感光値は、該トレーニング済みニューラルネットワークの１つのチャネルに対応することができる。感光値が大きいほど、ノイズが多くなり、対応するトレーニング済みニューラルネットワーク又はニューラルネットワークのチャネルのノイズ除去能力が強く、同様に、感光値が小さいほど、ノイズが小さくなり、対応するトレーニング済みニューラルネットワーク又はニューラルネットワークのチャネルのノイズ除去能力が強い。

【0068】

選択的に、前記自己適応トレーニングデータセットを感光値に応じて分類することは、前記ノイズ付き画像シーケンスサンプルと前記参照画像を、１００～１６００である感光値、１６００～３２００である感光値、３２００～６４００である感光値、６４００～１２８００である感光値の順に分類することを含む。分類を細分化するほど、精度が高くなるが、ノイズ除去のメンテナンスコストも高くなり、本願の実施例は、感光値を以上の４つの種類に分けることにより、精度を維持しながら、メンテナンスコストを抑えることができる。

【0069】

本願の実施例は、図５に示すように、画像ノイズ除去装置であって、
ノイズ除去対象の画像シーケンスを取得するように構成される収集ユニット５０１と、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力し、前記トレーニング済みニューラルネットワークによってノイズ除去を完了するように構成されるノイズ除去ユニットであって、
トレーニング済みニューラルネットワークに入力されるノイズ除去対象の画像シーケンスは、シングルフレーム、マルチフレームが重畳されたシングルフレーム、又は連続したマルチフレームであってもよく、そのデータフォーマットは、例えばＲＧＢ、ＹＵＶ又はＲａｗＲＧＢのように複数であってもよく、本願の実施例は、複数のフォーマットの画像に対するノイズ除去をサポートし、異なる端末ユーザのニーズを満たすことができるノイズ除去ユニット５０２と、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得るように構成される出力ユニットであって、
トレーニング済みニューラルネットワークから出力された画像シーケンスは、シングルフレームであり、そのデータフォーマットは、例えばＲＧＢ、ＹＵＶ又はＲａｗＲＧＢのように複数であってもよく、トレーニング済みニューラルネットワークに入力されたノイズ除去対象の画像シーケンスは、トレーニング済みニューラルネットワークから出力された所望の画像シーケンスとフォーマットが異なる場合、フォーマットの変換が必要になる出力ユニット５０３と、を含む画像ノイズ除去装置をさらに提供する。

【0070】

本願の実施例は、ニューラルネットワークを利用して画像ノイズを除去する操作を実現し、画像品質を向上させる。

【0071】

本願の実施例は、１つ又は複数のプログラムが記憶されたコンピュータ読取可能な記憶媒体であって、前記１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行されて、上記のいずれかの実施例に記載の方法が実現可能である、コンピュータ読取可能な記憶媒体をさらに提供する。

【0072】

本願の実施例は、図６に示すように、プログラムが記憶されたメモリ６０１と、プロセッサ６０２とを含み、前記プログラムが前記プロセッサ６０２によって読み取られて実行されると、上記いずれかの実施例に記載の画像ノイズ除去方法が実現される、画像ノイズ除去装置をさらに提供する。

【0073】

上記に開示された方法における全部又は一部のステップ、システム、装置における機能モジュール／ユニットは、ソフトウェア、ファームウェア、ハードウェア及びそれらの適切な組み合わせとして実施されてもよいことは、当業者であれば理解できる。ハードウェアの実施形態において、上記の説明で言及された機能モジュール／ユニット間の区分は、必ずしも物理的部品の区分に対応するものではなく、例えば、１つの物理的部品が複数の機能を有してもよく、又はいくつかの物理的部品が協働して１つの機能又はステップを実行してもよい。いくつかの部品又はすべての部品は、デジタル信号プロセッサ又はマイクロプロセッサのようなプロセッサによって実行されるソフトウェアとして実施されるか、又はハードウェアとして実施されるか、又は専用集積回路のような集積回路として実施されてもよい。このようなソフトウェアは、コンピュータ読取可能な媒体に分散されてもよく、コンピュータ読取可能な媒体は、コンピュータ記憶媒体（又は非一時的媒体）及び通信媒体（又は一時的媒体）を含んでもよい。当業者によく知られているように、コンピュータ記憶媒体という用語は、情報（例えば、コンピュータ読取可能な命令、データ構造、プログラムモジュール又は他のデータ）を記憶するための任意の方法又は技術において実施される揮発性及び不揮発性、リムーバブル及び非リムーバブルな媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多機能ディスク（ＤＶＤ）又は他の光ディスク記憶装置、磁気カートリッジ、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又は所望の情報を記憶できコンピュータによってアクセス可能な任意の他の媒体を含むが、これらに限定されない。なお、通信媒体は、通常、コンピュータ読取可能な命令、データ構造、プログラムモジュール、又は例えば搬送波又は他の伝送メカニズムのような変調データ信号における他のデータを含み、且つ任意の情報配信媒体を含んでもよいことは、当業者にとって明らかである。

【0074】

本願は、２０２１年１２月３１日に提出された中国特許出願第２０２１１１６７２１８３．８号の優先権を主張し、ここに当該中国特許出願の内容を本願の一部として援用する。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【手続補正書】

【提出日】2024-07-01

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００６７

【補正方法】変更

【補正の内容】

【0067】

該実施例によれば、各感光値に対して、１つのトレーニング済みニューラルネットワークが得られ、複数の感光値は、複数のトレーニング済みニューラルネットワークに対応するか、又は複数の感光値は、いずれも１つのトレーニング済みニューラルネットワークに対応し、各感光値は、該トレーニング済みニューラルネットワークの１つのチャネルに対応することができる。感光値が大きいほど、ノイズが小さくなり、対応するトレーニング済みニューラルネットワーク又はニューラルネットワークのチャネルのノイズ除去能力が弱く、その逆に、感光値が小さいほど、ノイズが大きくなり、対応するトレーニング済みニューラルネットワーク又はニューラルネットワークのチャネルのノイズ除去能力が強い。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ノイズ除去対象の画像シーケンスを取得することと、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力し、前記トレーニング済みニューラルネットワークによってノイズ除去を完了することと、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることとを含む、画像ノイズ除去方法。

【請求項2】

前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力する前に、ニューラルネットワークをトレーニングすることをさらに含み、
ニューラルネットワークをトレーニングすることは、
取得されたサンプルデータによって自己適応トレーニングデータセットを構築することと、
前記自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することと、
前記トレーニング対象のニューラルネットワークが予め設定された収束条件を満たすように、予め設定された損失目標を算出して、前記トレーニング対象のニューラルネットワークに対してパラメータ調整を行うこととを含む、請求項１に記載の方法。

【請求項3】

取得されたサンプルデータによって自己適応トレーニングデータセットを構築することは、
ノイズ付き画像シーケンスサンプルと、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とを含む複数のサンプルデータをそれぞれ取得することと、
前記複数のサンプルデータを比率で組み合わせて前記自己適応トレーニングデータセットを構築することとを含む、請求項２に記載の方法。

【請求項4】

前記予め設定された損失目標を算出する際に用いられる損失関数は、Ｌ１損失関数、Ｌ２損失関数、構造類似性損失関数、知覚損失関数及び周波数損失関数のいずれか１種又は複数種を含む、請求項２に記載の方法。

【請求項5】

各サンプルデータを取得することは、
外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることと、
予め設定された数のノイズ付き画像シーケンスサンプルを得て、前記予め設定された数のノイズ付き画像シーケンスサンプルを重畳した画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることとを含む、請求項３に記載の方法。

【請求項6】

予め設定された数のノイズ付き画像シーケンスサンプルを重畳することは、
予め設定された数のノイズ付き画像シーケンスサンプルを画素重み付けの方式で重畳することを含み、
ノイズ付き画像シーケンスサンプルにおける動体を構成する画素に対応する重み値は、非動体を構成する画素に対応する重み値より小さい、請求項５に記載の方法。

【請求項7】

各サンプルデータを取得することは、
予め設定された時間閾値より小さい露光時間を有する外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることと、
予め設定された時間閾値より大きい露光時間を有する外部機器によって同一の対称物を撮影して得られた画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることとを含む、請求項３に記載の方法。

【請求項8】

各サンプルデータを取得することは、
レンズにフィルタが装着された外部機器によって対称物を撮影して得られた画像を、ノイズ付き画像シーケンスサンプルとすることと、
レンズにフィルタが装着されない外部機器によって同一の対称物を撮影して得られた画像を、前記ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることとを含む、請求項３に記載の方法。

【請求項9】

各サンプルデータを取得することは、
外部機器によって対称物を撮影して得られノイズが予め設定された閾値より小さい画像を、ノイズ付き画像シーケンスサンプルに対応しノイズが予め設定された閾値より小さい参照画像とすることと、
前記参照画像に取得された予め設定されたノイズを重畳したものを前記ノイズ付き画像シーケンスサンプルとすることとを含む、請求項３に記載の方法。

【請求項10】

前記予め設定されたノイズを取得することは、
ノイズ分布モデルに基づくシミュレーションによって前記予め設定されたノイズを取得することを含み、
前記ノイズ分布モデルの未定パラメータは、前記参照画像の異なる感光値、前記参照画像の異なる感光値での画素分散値、及び前記ノイズ分布モデルに対して定められた感光値と画素分散値との対応関係に基づいて取得される、請求項９に記載の方法。

【請求項11】

前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力することは、
前記ノイズ除去対象の画像シーケンスをブロック化した後、トレーニング済みニューラルネットワークに入力することを含み、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることは、
前記トレーニング済みニューラルネットワークから出力された画像ブロックを融合処理して得られた画像シーケンスを、ノイズ除去済み画像シーケンスとすることを含む、請求項１に記載の方法。

【請求項12】

前記ノイズ除去対象の画像シーケンスをブロック化することは、
前記ノイズ除去対象の画像シーケンスを、隣接する画像ブロックに重なり領域が存在するように、位置座標に応じて順にブロック化することを含み、
前記トレーニング済みニューラルネットワークから出力された画像ブロックを融合処理することは、
位置座標に応じて、画像ブロックと、それと重なり領域を有する隣接する画像ブロックとを順に融合処理することを含む、請求項１１に記載の方法。

【請求項13】

前記ノイズ除去対象の画像シーケンスをブロック化してトレーニング済みニューラルネットワークに入力した後に、前記トレーニング済みニューラルネットワークによって、異なるハードウェアリソースの性能に基づいて画像ブロックを前記異なるハードウェアリソースに割り当て、前記異なるハードウェアリソースにより、それぞれ割り当てられた画像ブロックを並行に処理することをさらに含む、請求項１１に記載の方法。

【請求項14】

前記自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することは、
前記自己適応トレーニングデータセットを感光値に応じてクラスに分類することと、
それぞれのクラスに属する自己適応トレーニングデータセットをトレーニング対象のニューラルネットワークに入力することと、を含む、請求項２に記載の方法。

【請求項15】

前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力する前に、前記ノイズ除去対象の画像シーケンスを正規化処理することをさらに含み、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得ることは、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスを逆正規化処理して、前記ノイズ除去済み画像シーケンスを得ることを含む、請求項１に記載の方法。

【請求項16】

ノイズ除去対象の画像シーケンスを取得するように構成された収集ユニットと、
前記ノイズ除去対象の画像シーケンスをトレーニング済みニューラルネットワークに入力し、前記トレーニング済みニューラルネットワークによってノイズ除去を完了するように構成されたノイズ除去ユニットと、
前記トレーニング済みニューラルネットワークから出力された画像シーケンスに基づいてノイズ除去済み画像シーケンスを得るように構成される出力ユニットとを含む、画像ノイズ除去装置。

【請求項17】

１つ又は複数のプログラムが記憶されたコンピュータ読取可能な記憶媒体であって、
前記１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行されて、請求項１～１５のいずれか１項に記載の方法が実現可能である、コンピュータ読取可能な記憶媒体。

【請求項18】

プログラムが記憶されたメモリと、プロセッサとを含み、前記プログラムが前記プロセッサによって読み取られて実行されると、請求項１～１５のいずれか１項に記載の方法が実現される、画像ノイズ除去装置。

【国際調査報告】