知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-21
(54)【発明の名称】画像処理方法及び装置
(51)【国際特許分類】
G06T 5/70 20240101AFI20241114BHJP
【ＦＩ】
G06T5/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024528477
(86)(22)【出願日】2021-12-31
(85)【翻訳文提出日】2024-05-13
(86)【国際出願番号】 CN2021143563
(87)【国際公開番号】W WO2023082453
(87)【国際公開日】2023-05-19
(31)【優先権主張番号】202111348360.7
(32)【優先日】2021-11-15
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】524179651
【氏名又は名称】深▲セン▼須弥雲図空間科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＸＵＭＩ ＹＵＮＴＵ ＳＰＡＣＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】２５Ｆ２５０４， Ｗｉｒｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｎｏ． ３３６９， Ｂｉｎｈａｉ Ａｖｅｎｕｅ， Ｈａｉｚｈｕ Ｃｏｍｍｕｎｉｔｙ， Ｙｕｅｈａｉ Ｓｔｒｅｅｔ， Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ． Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０５４ （ＣＮ）
(74)【代理人】
【識別番号】100146374
【弁理士】
【氏名又は名称】有馬 百子
(72)【発明者】
【氏名】程 剣杰
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CD05
5B057CE02
5B057DA20
5B057DC40
(57)【要約】
【要約】
画像処理方法及び装置であって、該方法は、処理対象画像を取得するステップと、処理対象画像が対応する天候タイプを特定するステップと、天候タイプに基づいて、処理対象画像のうち、天候タイプに対応する環境ノイズ特徴を取得するステップと、環境ノイズ特徴に基づいて、処理対象画像のノンノイズ画像特徴を取得するステップと、環境ノイズ特徴、ノンノイズ画像特徴及び処理対象画像に基づいて、処理対象画像が対応するノイズ除去画像を生成するステップと、を含む。よって、同一の技術フレームを用いてより多くの天候条件での画像品質劣化問題を解決し、画像ノイズ除去、増強の効果を向上させることができる。
【選択図】 図１
画像処理方法及び装置であって、該方法は、処理対象画像を取得するステップと、処理対象画像が対応する天候タイプを特定するステップと、天候タイプに基づいて、処理対象画像のうち、天候タイプに対応する環境ノイズ特徴を取得するステップと、環境ノイズ特徴に基づいて、処理対象画像のノンノイズ画像特徴を取得するステップと、環境ノイズ特徴、ノンノイズ画像特徴及び処理対象画像に基づいて、処理対象画像が対応するノイズ除去画像を生成するステップと、を含む。よって、同一の技術フレームを用いてより多くの天候条件での画像品質劣化問題を解決し、画像ノイズ除去、増強の効果を向上させることができる。
【選択図】 図１
【特許請求の範囲】
【請求項1】
画像処理方法であって、前記方法は、処理対象画像を取得するステップと、前記処理対象画像が対応する天候タイプを特定するステップと、前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップと、前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得するステップと、前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するステップと、を含む
ことを特徴とする画像処理方法。
【請求項2】
前記処理対象画像が対応する天候タイプを特定する前記ステップは、前記処理対象画像を、トレーニング済の天候タイプ分類モデルに入力して、前記処理対象画像が対応する天候タイプを取得するステップを含み、前記天候タイプ分類モデルは、サンプル画像、及びサンプル画像が対応する天候タイプフラグに基づき、トレーニングして得られた残余ネットワークであることを特徴とする請求項１に記載の画像処理方法。
【請求項3】
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得する前記ステップは、前記天候タイプに基づいて、前記天候タイプが対応する画像強化モデルを特定ステップであって、前記画像強化モデルがノイズ特徴抽出モジュールを備えるステップと、
前記処理対象画像を前記ノイズ特徴抽出モジュールに入力して、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップであって、前記環境ノイズ特徴が、前記天候タイプが対応する環境ノイズの前記処理対象画像における分布状況を反映する特徴であるステップと、を含む
ことを特徴とする請求項１に記載の画像処理方法。
【請求項4】
前記ノイズ特徴抽出モジュールは、Ｎ個の膨張畳み込み層及び集約畳み込み層を備え、それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズはいずれも異なり、且つＮが１よりも正整数であり、前記処理対象画像を前記ノイズ特徴抽出モジュールに入力して、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得する前記ステップは、
前記処理対象画像を前記Ｎ個の膨張畳み込み層にそれぞれ出力して、Ｎ個の第１ノイズ特徴を取得するステップであって、それぞれの第１ノイズ特徴のサイズは大きさが異なるステップと、
前記集約畳み込み層を利用して前記Ｎ個の第１ノイズ特徴に対して集約処理を行い、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップと、を含む
ことを特徴とする請求項３に記載の画像処理方法。
【請求項5】
前記画像強化モデルは、畳み込み層、エンコーディングネットワーク層、デコードネットワーク層及び出力層をさらに備え、前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得するステップと、前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成する前記ステップは、
前記環境ノイズ特徴を前記畳み込み層に入力して、第１特徴マップを取得するステップと、前記第１特徴マップを前記エンコーディングネットワーク層に入力して、Ｐ個のダウンサンプリング特徴マップ及びＰ個のノンノイズ画像特徴を取得するステップであって、Ｐが１よりも大きい正整数であるステップと、
前記Ｐ個のダウンサンプリング特徴マップと前記Ｐ個のノンノイズ画像特徴をデコードネットワーク層に入力して、ノイズ除去特徴マップを取得するステップと、前記ノイズ除去特徴マップ、前記第１特徴マップ、前記環境ノイズ特徴及び前記処理対象画像を前記出力層に入力して、前記処理対象画像が対応するノイズ除去画像を取得するステップと、を含む
ことを特徴とする請求項３に記載の画像処理方法。
【請求項6】
前記エンコーディングネットワーク層は、Ｐ個のカスケードエンコーディングネットワークモジュールを備え、それぞれのエンコーディングネットワークモジュールはいずれも１つの特徴集約密集畳み込みモジュール及び最大プーリング層を備え、前記第１特徴マップを前記エンコーディングネットワーク層に入力して、Ｐ個のダウンサンプリング特徴マップとＰ個のノンノイズ画像特徴を取得する前記ステップは、
前記第１特徴マップを１番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、１番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得するステップと、
ｉ－１番目のエンコーディングネットワークモジュールが出力したダウンサンプリング特徴マップをｉ番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、ｉ番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得するステップであって、ｉが１よりも大きくＰ以下の正整数であるステップと、を含む
ことを特徴とする請求項５に記載の画像処理方法。
【請求項7】
前記デコードネットワーク層は、Ｐ個のカスケードデコーディングネットワークモジュールを備え、それぞれのデコーディングネットワークモジュールはいずれも１つの特徴集約密集畳み込みモジュール及びアップサンプリング最大プーリング層を備え、前記Ｐ個のダウンサンプリング特徴マップと前記Ｐ個のノンノイズ画像特徴をデコードネットワーク層に入力して、ノイズ除去特徴マップを取得する前記ステップは、
Ｐ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップを１番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を前記１番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記アップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得するステップと、
Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップ、及びｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを、１＋ｊ番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得するステップであって、ｊが１以上でＰよりも小さい正整数であるステップと、
Ｐ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力したアップサンプリング特徴マップを、ノイズ除去特徴マップとするステップと、を含む
ことを特徴とする請求項６に記載の画像処理方法。
【請求項8】
前記特徴集約密集畳み込みモジュールは、Ｍ個の膨張畳み込み層、密集接続ネットワークモジュール及び全結合層を備え、それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズはいずれも異なり、且つＭが１よりも大きい正整数であり、前記Ｍ個の膨張畳み込み層は、特徴マップに基づいてＭ個の第２ノイズ特徴を生成するためのものであり、それぞれの第２ノイズ特徴のサイズは大きさが異なり、
前記密集接続ネットワークモジュールは、前記Ｍ個の第２ノイズ特徴に対して、畳み込み演算処理及びデータフィルタリング処理を行い、複数の畳み込み特徴マップを取得するためのものであり、
前記全結合層は、前記Ｍ個の第２ノイズ特徴及び前記複数の畳み込み特徴マップに対して集約処理を行い、集約特徴を取得するためのものである
ことを特徴とする請求項６に記載の画像処理方法。
【請求項9】
前記画像強化モデルの損失関数は、平均絶対誤差関数であることを特徴とする請求項３に記載の画像処理方法。
【請求項10】
前記天候タイプは、雨、雪、霧の少なくとも１つを含み、前記天候タイプが雨であると、前記環境ノイズ特徴は雨線ノイズ特徴であり、前記天候タイプが雪であると、前記環境ノイズ特徴はスノーフレークノイズ特徴であり、前記天候タイプが霧であると、前記環境ノイズ特徴は霧ノイズ特徴である
ことを特徴とする請求項１に記載の画像処理方法。
【請求項11】
画像処理装置であって、処理対象画像を取得するための画像取得モジュールと、
前記処理対象画像が対応する天候タイプを特定するためのタイプ特定モジュールと、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するための特徴取得モジュールと、
前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するための画像生成モジュールと、を備える
ことを特徴とする画像処理装置。
【請求項12】
メモリ、プロセッサ、前記メモリ内に記憶され前記プロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、前記プロセッサは前記コンピュータプログラムを実行する時に、請求項１に記載の方法のステップを実現する
ことを特徴とするコンピュータ機器。
【請求項13】
コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行される時に、請求項１に記載の方法のステップを実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本公開は、コンピュータ技術分野に関し、特に画像処理方法及び装置に関する。
【背景技術】
【0002】
屋外環境で、濃霧、大雨、大雪などの異常気象が発生した場合に、屋外カメラ監視機器で撮影された画像には、不明瞭なシーンや画像詳細が失われるなどの問題があり、交通監視、目標追跡、自律航法などの極端気象条件での画像認識やビデオ監視の用途が制限されてしまう。
【0003】
深層学習と物理モデリングに基づく従来の画像強調アルゴリズムは、特定の極端気象条件での画像品質劣化のみを解決することができ、例えば画像の雨除去のみが実現可能で、或いは画像の霧除去のみ実現可能であり、同一の技術フレームを用いてより多くの天候条件での画像品質劣化を解決することができず、且つ、極端天候で撮影された画像に対してノイズ除去回復を行うプロセスにおいて、不明瞭なシーンや画像詳細が失われるなどの問題がよく発生し、即ち画像における雨線、霧、スノーフレーク等のノイズを徹底的に除去し難く、画像回復品質が低い問題を引き起こす。
【発明の概要】
【0004】
これに鑑みて、本公開の実施例は、従来技術において画像復元の品質が悪い問題を解決するために、画像処理方法、装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体が提供される。
【0005】
本公開の実施例の第１態様では、
処理対象画像を取得するステップと、
前記処理対象画像が対応する天候タイプを特定するステップと、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップと、
前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得するステップと、前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するステップと、を含む画像処理方法が提供される。
処理対象画像を取得するステップと、
前記処理対象画像が対応する天候タイプを特定するステップと、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップと、
前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得するステップと、前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するステップと、を含む画像処理方法が提供される。
【0006】
本公開の実施例の第２態様では、
処理対象画像を取得するための画像取得モジュールと、
前記処理対象画像が対応する天候タイプを特定するためのタイプ特定モジュールと、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するための特徴取得モジュールと、
前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するための画像生成モジュールと、を備える画像処理装置が提供される。
処理対象画像を取得するための画像取得モジュールと、
前記処理対象画像が対応する天候タイプを特定するためのタイプ特定モジュールと、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するための特徴取得モジュールと、
前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するための画像生成モジュールと、を備える画像処理装置が提供される。
【0007】
本公開の実施例の第３態様では、メモリ、プロセッサ、メモリ内に記憶されプロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、該プロセッサがコンピュータプログラムを実行する時に上記方法のステップを実現するコンピュータ機器が提供される。
【0008】
本公開の実施例の第４態様では、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、プロセッサによって実行される時に、上記方法のステップを実現するコンピュータ読み取り可能な記憶媒体が提供される。
【0009】
本公開の実施例が従来技術に比べて存在する有益的な効果としては、本公開の実施例では、まず処理対象画像を取得することができ、そして前記処理対象画像が対応する天候タイプを特定することができ、次に前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得することができ、その直後、前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得することができ、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成することができる。本実施例では、異なる天候タイプに対して該天候タイプが対応する環境ノイズ特徴を取得することができ、該天候タイプが対応する環境ノイズ特徴に基づいて処理対象画像に対してノイズ除去処理を行うことができ、且つ、ノンノイズ画像特徴を用いてノイズ除去後の領域に対して画像の還元回復を行うことができるため、本実施例で提供される方法は、様々な天候タイプによるノイズを処理対象画像から除去することができ、且つ、様々な天候タイプによるノイズを除去すると同時に画像詳細情報を回復することを実現することができ、よって、同一の技術フレームを用いてより多くの天候条件での画像品質劣化問題を解決し、画像ノイズ除去、増強の効果を向上させることができることを実現することができる。
【図面の簡単な説明】
【0010】
本公開の実施例における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明に必要な図面を簡単に紹介し、明らかに、以下に説明する図面は本公開のいくつかの実施例に過ぎず、当業者にとって、創造的作業の必要がない前提で、これらの図面に基づいて他の図面を取得することができる。
【0011】
【図1】本公開の実施例の適用シナリオのシナリオ概略図である。
【図2】本公開の実施例で提供される画像処理方法のフローチャートである。
【図3】本公開の実施例で提供されるＲｅｓｎｅｔ１８のネットワークアーキテクチャ概略図である。
【図4】本公開の実施例で提供される画像強化モデルのネットワークアーキテクチャ概略図である。
【図5】本公開の実施例で提供されるノイズ特徴抽出モジュールのネットワークアーキテクチャ概略図である。
【図6】本公開の実施例で提供される特徴集約密集畳み込みモジュールのネットワークアーキテクチャ概略図である。
【図7】本公開の実施例で提供される画像処理装置のブロック図である。
【図8】本公開の実施例で提供されるコンピュータ機器の概略図である。
【発明を実施するための形態】
【0012】
下記の説明において、限定ではなく、説明するために、例えば特定のシステム構造、技術のような具体的詳細を提供することにより、本公開の実施例を徹底的に理解する。しかしながら、当業者は、これらの具体的詳細がない他の実施例においても本公開を実現できることを分かるすべきである。他の場合には、周知のシステム、装置、回路及び方法についての詳細な説明を省略し、不要な詳細が本公開の説明を妨げることを回避する。
【0013】
以下、図面を参照しながら、本公開の実施例による画像処理方法及び装置を詳細に説明する。
【0014】
従来技術で、深層学習と物理モデリングに基づく従来の画像強調アルゴリズムは、特定の極端気象条件での画像品質劣化のみを解決することができ、例えば画像の雨除去のみが実現可能で、或いは画像の霧除去のみ実現可能であり、同一の技術フレームを用いてより多くの天候条件での画像品質劣化を解決することができず、且つ、極端天候で撮影された画像に対してノイズ除去回復を行うプロセスにおいて、不明瞭なシーンや画像詳細が失われるなどの問題がよく発生し、即ち画像における雨線、霧、スノーフレーク等のノイズを徹底的に除去し難く、画像回復品質が低い問題を引き起こす。
【0015】
上記問題を解決するために、本発明は、画像処理方法であって、本実施例では、異なる天候タイプに対して該天候タイプが対応する環境ノイズ特徴を取得することができ、該天候タイプが対応する環境ノイズ特徴に基づいて処理対象画像に対してノイズ除去処理を行うことができ、且つ、ノンノイズ画像特徴を用いてノイズ除去後の領域に対して画像の還元回復を行うことができるため、本実施例で提供される方法は、様々な天候タイプによるノイズを処理対象画像から除去することができ、且つ、様々な天候タイプによるノイズを除去すると同時に画像詳細情報を回復することを実現することができ、よって、同一の技術フレームを用いてより多くの天候条件での画像品質劣化問題を解決し、画像ノイズ除去、増強の効果を向上させることができることを実現することができる画像処理方法が提供される。
【0016】
例として説明すると、本発明の実施例は、図１に示す適用シナリオに適用することができる。このシナリオでは、ターミナル機器１とサーバ２を備えてもよい。
【0017】
ターミナル機器１は、ハードウェアであってもよいし、ソフトウェアであってもよい。ターミナル機器１は、ハードウェアである場合に、画像を収集し、画像を記憶する機能を有し、且つサーバ２と通信するようにサポートする様々な電子機器であってもよい、スマートフォン、タブレット、ラップトップコンピュータ、デジタルカメラ、モニター、ビデオレコーダー及びデスクトップコンピュータ等を含むが、それらに限定されなく、ターミナル機器１は、ソフトウェアである場合に、例えば上記した電子機器にインストールされることができる。ターミナル機器１は、複数のソフトウェア或いはソフトウェアモジュールとして実現されてもよいし、単一のソフトウェア或いはソフトウェアモジュールとして実現されてもよく、本公開の実施例はこれを限定しない。更には、ターミナル機器１には、例えば画像収集アプリ、画像記憶アプリ、ライブチャットアプリ等の様々なアプリがインストールされることができる。
【0018】
サーバ２は、例えば、それと通信接続を構築するターミナル機器が送信した請求を受信するバックエンドサーバなどの様々なサビースを提供するサーバであってもよく、該バックエンドサーバは、ターミナル機器が送信した請求に対して受信及び分析等の処理を行って処理結果を生成することができる。サーバ２は、１台のサーバであってもよいし、いくつかのサーバからなるサーバクラスターであってもよいし、或いはクラウドコンピューティングサービスセンターであってもよく、本公開の実施例はこれを限定しない。
【0019】
なお、サーバ２は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ２は、ハードウェアである場合に、ターミナル機器１へ様々なサービスを提供する様々な電子機器であってもよい。サーバ２は、ソフトウェアである場合に、ターミナル機器１へ様々なサビースを提供する複数のソフトウェア或いはソフトウェアモジュールであってもよいし、ターミナル機器１へ様々なサビースを提供する単一のソフトウェア或いはソフトウェアモジュールであってもよく、本公開の実施例はこれを限定しない。
【0020】
ターミナル機器１とサーバ２は、ネットワークを介して通信接続されてもよい。ネットワークは、同軸ケーブル、ツイストペア及び光ファイバを用いて接続される有線ネットワークであってもよいし、例えば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、近距離無線通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，ＮＦＣ）、赤外線（Ｉｎｆｒａｒｅｄ）等の配線する必要がなく様々な通信機器相互接続を実現可能な無線ネットワークであってもよく、本公開の実施例はこれを限定しない。
【0021】
具体的には、ユーザは、ターミナル機器１により処理対象画像を特定することができ、且つ該処理対象画像のうち、天候要因によるノイズを選択してノイズ除去処理を行ってもよい。サーバ２は、該処理対象画像を受信した後、まず前記処理対象画像が対応する天候タイプを特定してもよい。その後、サーバ２は、前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得してもよい。そして、サーバ２は、前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成してもよい。最後、サーバ２は、ターミナル機器１がユーザに該ノイズ除去画像を展示するように、該ノイズ除去画像をターミナル機器１へ送信してもよい。このように、本実施例では、異なる天候タイプに対して該天候タイプが対応する環境ノイズ特徴を取得することができ、該天候タイプが対応する環境ノイズ特徴に基づいて処理対象画像に対してノイズ除去処理を行うことができ、且つ、ノンノイズ画像特徴を用いてノイズ除去後の領域に対して画像の還元回復を行うことができるため、本実施例で提供される方法は、様々な天候タイプによるノイズを処理対象画像から除去することができ、且つ、様々な天候タイプによるノイズを除去すると同時に画像詳細情報を回復することを実現することができ、よって、同一の技術フレームを用いてより多くの天候条件での画像品質劣化問題を解決し、画像ノイズ除去、増強の効果を向上させることができることを実現することができる。
【0022】
なお、ターミナル機器１、サーバ２及びネットワークの具体的なタイプ、数及び組み合わせについては、適用シナリオの実際需要に応じて調整することができ、本公開の実施例はこれを限定しない。
【0023】
注意すべきこととしては、上記適用シナリオは、本公開を容易に理解するために例示されるに過ぎないものであり、本公開の実施形態は、この点について限定されない。逆に、本公開の実施形態は、適用の任意シナリオに用いられてもよい。
【0024】
図２は本公開の実施例で提供される画像処理方法のフローチャートである。図２の画像処理方法は、図１のターミナル機器或いはサーバによって実行されてもよい。図２に示すように、該画像処理方法は、下記のステップを含む。
【0025】
Ｓ２０１：処理対象画像を取得する。
【0026】
本実施例において、処理対象画像は、天候要因によるノイズに対してノイズ除去処理を行う必要がある画像又はビデオフレームとして理解されてもよい。例えば、極端な天候（例えば大霧、大雨、大雪等）で撮影された画像又はビデオのビデオフレームを処理対象画像としてもよい。一例示として、ターミナル機器は１つのページを提供し、ユーザは該ページから画像をアップロードし、該画像のうち、天候要因によるノイズのノイズ除去をトリガーするように、プリセットボタンをクリックすることができ、この際に、該画像を処理対象画像とすることができる。
【0027】
Ｓ２０２：前記処理対象画像が対応する天候タイプを特定する。
【0028】
異なる天候によるノイズの特徴が相違しているため、例えば異なる天候タイプによるノイズの形状、分布方式は相違している。例として説明すると、一実施形態において、天候タイプは、雨、雪、霧を含んでもよく、天候タイプが雨であると、該天候タイプによるノイズは雨線であり、雨線の形状は線形であり、雨線の分布方式としては雨線の方向及び雨線の密度を含んでもよく、雨線の密度は雨線の密集度合に応じて大密度、中密度、小密度などの三種類に分けられてもよく、雨線の方向は、雨線の対応する雨の降る方向として理解されてもよく、天候タイプが雪であると、該天候タイプによるノイズはスノーフレークであり、スノーフレークの形状はフレーク状であり、スノーフレークの分布方式としてはスノーフレークの方向及びスノーフレークの密度を含んでもよく、スノーフレークの密度は、スノーフレークの密集度合に応じて大密度、中密度、小密度等の三種類に分けられてもよく、スノーフレークの方向は、スノーフレークの対応するスノーフレークの降る方向として理解されてもよく、天候タイプが霧であると、該天候タイプによるノイズは霧であり、霧の分布方式としては霧の濃度を含んでもよく、霧の分布位置はランダムな位置である。したがって、処理対象画像を取得した後、後に異なる天候タイプが対応するノイズの特徴に対して環境ノイズ特徴の抽出を行うように、まず処理対象画像が対応する天候タイプを特定してもよい。
【0029】
本実施例において、画像処理アルゴリズムを利用して、処理対象画像に対して天候タイプの分類処理を行い、処理対象画像が対応する天候タイプを特定してもよい。もちろん、ニューラルネットワークを利用して、処理対象画像に対して天候タイプの分類処理を行い、処理対象画像が対応する天候タイプを特定してもよい。なお、本実施例では、他の分類方式を用いて処理対象画像に対して天候タイプ分類を行ってもよく、ここで一つずつ説明しない。
【0030】
Ｓ２０３：前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得する。
【0031】
処理対象画像のうち、天候要因によるノイズを除去するために、後に該天候タイプが対応する環境ノイズ特徴に基づいて、該天候タイプが対応するノイズを除去することができるように、まず処理対象画像の天候タイプが対応するノイズ特徴に基づいて、前記処理対象画像のうち、該天候タイプが対応する環境ノイズ特徴を取得してもよい。理解できるように、１つの天候タイプが対応する環境ノイズ特徴は、該天候タイプが対応する環境ノイズの前記処理対象画像における分布状況を反映することができる特徴として理解されてもよく、例えば、１つの天候タイプが対応する環境ノイズ特徴は、処理対象画像のうち、該天候タイプが対応するノイズの形状、分布密度、分布濃度、分布領域等の状況を含んでもよく、なお、環境ノイズ特徴の特徴形式としては特徴マップであってもよく、もちろん、特徴行列の形式であってもよく、本実施例においてこれを限定しない。
【0032】
つまり、本実施例において、処理対象画像の天候タイプを特定した後、まず該天候タイプが対応するノイズ特徴に基づいて、処理対象画像から、該天候タイプに対応するノイズ特徴に関連するノイズ分布状況情報を抽出してもよい。その後、該ノイズ分布状況情報に基づいて、該天候タイプが対応する環境ノイズ特徴を生成してもよい。
【0033】
例として説明すると、仮に処理対象画像の天候タイプを雨とすると、処理対象画像における雨線の形状、雨線の方向、雨線の密度、雨線の位置等の雨線の分布状況情報を抽出することができ、処理対象画像における雨線の分布状況情報に基づいて雨線ノイズ特徴を生成することができ、理解できるように、前記天候タイプが雨であると、前記環境ノイズ特徴は雨線ノイズ特徴である。
【0034】
続いて例として説明すると、仮に処理対象画像の天候タイプを雪とすると、処理対象画像におけるスノーフレークの形状、スノーフレークの方向、スノーフレークの密度、スノーフレークの位置等のスノーフレークの分布状況情報を抽出することができ、処理対象画像におけるスノーフレークの分布状況情報に基づいてスノーフレークノイズ特徴を生成することができ、理解できるように、前記天候タイプが雪であると、前記環境ノイズ特徴はスノーフレークノイズ特徴である。
【0035】
続いて例として説明すると、仮に処理対象画像の天候タイプを霧とすると、処理対象画像における霧の濃度、霧の位置等の霧の分布状況情報を抽出することができ、処理対象画像における霧の分布状況情報に基づいて霧ノイズ特徴を生成することができ、理解できるように、前記天候タイプが霧であると、前記環境ノイズ特徴は霧ノイズ特徴である。
【0036】
Ｓ２０４：前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成する。
【0037】
本実施例において、環境ノイズ特徴を取得した後、処理対象画像のうち、環境ノイズ特徴が対応する領域の以外の領域を非ノイズ画像領域としてもよく、非ノイズ画像領域に対して特徴抽出を行い、ノンノイズ画像特徴を取得することができる。理解できるように、ノンノイズ画像特徴は、処理対象画像のうち非ノイズ画像領域の詳細を反映することができる特徴であり、例えば、ノンノイズ画像特徴は、非ノイズ画像領域のテクスチャ特徴、エッジ特徴、色特徴、形状特徴、空間特徴等の特徴情報を含んでよい。
【0038】
そして、環境ノイズ特徴を利用して処理対象画像のうち、天候タイプが対応するノイズを除去してもよく、例えば、環境ノイズ特徴を利用して、処理対象画像のうち、天候タイプが対応するノイズの位置を特定し、且つノイズの位置が対応するピクセルのピクセル値を所定初期値に調整してもよい。なお、環境ノイズ特徴は、天候タイプが対応するノイズ特徴に基づいて抽出されたため、取得した環境ノイズ特徴は、処理対象画像のうち、天候タイプが対応するノイズ（例えば雨線、霧、スノーフレーク）の物理的特徴をより明確に反映することができるため、環境ノイズ特徴を用いて処理対象画像のうち天候タイプが対応するノイズを除去すると、処理対象画像のうち、天候タイプが対応するノイズの除去効果を向上させることができる。さらに強調する必要があるが、実施例において異なる天候タイプが対応するノイズ特徴に対して抽出された環境ノイズ特徴であるため、本実施例で提供される方法では、多種の天候タイプによるノイズの除去に対応することができ、即ちそれぞれの天候タイプによるノイズに対していずれも本実施例で提供される方法を用いて除去することができ、よって同一の技術的枠組みを用いてより多くの天候条件での画像品質劣化の問題を解決することが実現される。
【0039】
次に、処理対象画像のノンノイズ画像特徴を利用して、ノイズ除去後の領域に対して画像詳細情報の回復還元を行ってもよい。なお、ノンノイズ画像特徴は、処理対象画像における非ノイズ画像領域の詳細の特徴を含み、即ちノンノイズ画像特徴は処理対象画像における非ノイズ画像領域の物理的特徴をより明確に反映することができるため、ノンノイズ画像特徴により、ノイズ除去後の領域と非ノイズ画像領域との間の特徴関係を演算することができ、よってノンノイズ画像特徴に基づいてノイズ除去後の領域に対して画像詳細の還元を行い、処理対象画像が対応するノイズ除去画像を取得することができ、例えば、ノンノイズ画像特徴に基づいてノイズ除去後の領域におけるピクセルの目標ピクセル値を演算し、ノイズ除去後の領域におけるピクセルのピクセル値を目標ピクセル値に調整する。このようにして、ノイズ除去後の処理対象画像の画像詳細回復度合を向上させることができ、ノイズ除去後の処理対象画像の歪みレベルを低減させ、さらに処理対象画像が対応するノイズ除去画像の明瞭度合を向上させることができる。
【0040】
このように分かるように、本公開の実施例が従来技術に比べて存在する有益的な効果としては、本公開の実施例では、 まず処理対象画像を取得することができ、そして前記処理対象画像が対応する天候タイプを特定することができ、次に前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得することができ、その直後、前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得することができ、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成することができる。本実施例では、異なる天候タイプに対して該天候タイプが対応する環境ノイズ特徴を取得することができ、該天候タイプが対応する環境ノイズ特徴に基づいて処理対象画像に対してノイズ除去処理を行うことができ、且つ、ノンノイズ画像特徴を用いてノイズ除去後の領域に対して画像の還元回復を行うことができるため、本実施例で提供される方法は、様々な天候タイプによるノイズを処理対象画像から除去することができ、且つ、様々な天候タイプによるノイズを除去すると同時に画像詳細情報を回復することを実現することができ、よって、同一の技術フレームを用いてより多くの天候条件での画像品質劣化問題を解決し、画像ノイズ除去、増強の効果を向上させることができることを実現することができる。
【0041】
次に、Ｓ２０２の一実施形態、即ち如何にニューラルネットワークを用いて処理対象画像に対して天候タイプの分類を行うかについて、説明する。本実施例において、「前記処理対象画像が対応する天候タイプを特定する」であるＳ２０２は下記のステップを含んでもよい。
【0042】
前記処理対象画像を、トレーニング済の天候タイプ分類モデルに入力して、前記処理対象画像が対応する天候タイプを取得する。
【0043】
本実施例において、前記天候タイプ分類モデルは、サンプル画像、及びサンプル画像が対応する天候タイプフラグに基づき、トレーニングして得られた残余ネットワークであってもよい。一実施形態において、前記残余ネットワークは図３に示すＲｅｓｅｎｔ１８ネットワークであってもよい。本実施例において、いくつか群のトレーニングサンプルが予め設定され、それぞれ群のトレーニングサンプルが、サンプル画像と、該サンプル画像が対応する天候タイプフラグとを含むようにしてもよい。所定のトレーニングサンプルを用いて残余ネットワークをトレーニングする方式としては、各セットのトレーニングサンプルにおけるサンプル画像を残余ネットワークに入力して、該サンプル画像が対応する予測天候タイプを取得し、その後、該サンプル画像が対応する天候タイプフラグ及び該予測天候タイプに基づいて損失値を特定した直後に、該残余ネットワークがトレーニング条件を満たすまで、該損失値により該残余ネットワークのネットワークパラメータを調整し、例えば、該残余ネットワークのネットワークパラメータがフィッティングし、或いは、トレーニングの回数が所定のトレーニング閾値を満たすと、トレーニング済の天候タイプ分類モデルを取得する。例として説明すると、仮に所定の天候タイプが雨、霧、雪を含むと、処理対象画像をトレーニング済の天候タイプ分類モデルに入力した後、処理対象画像の天候タイプが雨、霧、雪のうちの１つであることが取得される。
【0044】
その後、Ｓ２０３の一実施形態、即ち前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を如何に取得するかについて説明する。本実施例において、前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するＳ２０３は、下記のステップを含んでもよい。
【0045】
Ｓ２０３ａ：前記天候タイプに基づいて、前記天候タイプが対応する画像強化モデルを特定し、前記画像強化モデルがノイズ特徴抽出モジュールを備える。
【0046】
本実施例の一実施形態において、異なる天候タイプに対して異なる画像強化モデルをそれぞれ設定してもよい。なお、異なる天候タイプが対応する画像強化モデルのモデルネットワークアーキテクチャはいずれも同じであるが、相違としては異なる天候タイプが対応する画像強化モデルのトレーニングサンプルが異なることである。例として説明すると、仮に天候タイプ「雨」の対応する画像強化モデルのトレーニングサンプルにおけるサンプル画像を雨線ノイズあり画像とすると、サンプル画像の対応するサンプルノイズ除去画像が雨線ノイズが除去され画像詳細が回復された画像であり、仮に天候タイプ「雪」の対応する画像強化モデルのトレーニングサンプルにおけるサンプル画像をスノーフレークノイズあり画像とすると、サンプル画像の対応するサンプルノイズ除去画像がスノーフレークノイズが除去され画像詳細が回復された画像であり、仮に天候タイプ「霧」の対応する画像強化モデルのトレーニングサンプルにおけるサンプル画像を霧ノイズあり画像とすると、サンプル画像の対応するサンプルノイズ除去画像は霧ノイズが除去され画像詳細が回復された画像である。理解できるように、異なる天候タイプが対応する画像強化モデルのモデルネットワークアーキテクチャはいずれも同じであるが、異なる天候タイプが対応する画像強化モデルのモデルネットワークパラメータは相違する可能性があり、強調する必要があるが、その後説明する実現方法は、いずれもネットワークアーキテクチャレベルの実施形態に対して説明するため、その後説明する実施形態はすべての天候タイプが対応する画像強化モデルに適用する。もちろん、本実施例の多種の実施形態において、すべての天候タイプは、同一の画像強化モデルを設定してもよく、即ちすべての天候タイプはいずれも同一の画像強化モデルに対応し、理解できるように、本実施形態において、該画像強化モデルはすべての天候タイプが対応するサンプル画像、及びサンプル画像が対応するノイズ除去画像に基づきトレーニングして得られたものである。なお、本実施例において、主に異なる天候タイプに対して異なる画像強化モデルをそれぞれ設定する状況を例として説明する。
【0047】
異なる天候タイプに対して異なる画像強化モデルをそれぞれ設定する場合に、処理対象画像の天候タイプを取得した後、該天候タイプに基づいて、すべてのトレーニング済画像強化モデルにおいて該天候タイプが対応する画像強化モデルを特定することができる。例示として、各種の天候タイプが対応する画像強化モデルはいずれも天候タイプに対応するタイプ識別子が設けられるため、処理対象画像の天候タイプを取得した後、該天候タイプが対応するタイプ識別子に基づいて、すべてのトレーニング済画像強化モデルにおいてタイプ識別子と、該天候タイプが対応するタイプ識別子とが同じである画像強化モデルを特定することができる。
【0048】
Ｓ２０３ｂ：前記処理対象画像を前記ノイズ特徴抽出モジュールに入力して、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得する。
【0049】
本実施例において、図４に示すように、画像強化モデルは、ノイズ特徴抽出モジュールを備えてもよい。処理対象画像を取得した後、まず画像強化モデルを用いて、処理対象画像のうち、天候タイプに対応する環境ノイズ特徴を取得することによって、その後、該環境ノイズ特徴を用いてノイズ除去を行う。
【0050】
一実施形態において、図４に示すように、ノイズ特徴抽出モジュールは、マルチスケール特徴抽出ネットワークモジュール（Ｆｅａｔｕｒｅ Ｂｌｏｃｋ）であってもよい。該ノイズ特徴抽出モジュールが環境ノイズ特徴を抽出するプロセスは、Ｆ０＝Ｈ０（Ｉ０）として定義されてもよく、Ｉ０が処理対象画像を表し、Ｈ０がＦｅａｔｕｒｅ Ｂｌｏｃｋの特徴演算関数を表し、Ｆ０が取得した環境ノイズ特徴である。
【0051】
異なる形状、異なる分布方式のノイズの特徴（例えば異なる方向で異なる大きさの雨線ノイズ特徴、異なる濃度の霧ノイズ特徴、異なる方向で異なる大きさのスノーフレークノイズ特徴）を抽出するために、前記ノイズ特徴抽出モジュールは、Ｎ個の膨張畳み込み層及び集約畳み込み層を含んでもよく、それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズはいずれも異なり、且つＮが１よりも大きい正整数である。なお、それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズはいずれも異なるため、それぞれの膨張畳み込み層が畳み込み演算プロセスにおいて収集された隣接するピクセル間の間隔ピクセル数が異り、よって、それぞれの膨張畳み込み層の受容野の大きさも異なるようになり、さらにそれぞれの膨張畳み込み層から抽出された第１ノイズ特徴も異なり（例えば、サイズの大きさが異なり、含まれる画像特徴情報も異なる）、このようにして異なるスケールの第１ノイズ特徴、例えば異なる雨線、異なる濃度の霧を抽出することができ、トレーニングプロセスにおいてより多くの文脈上の空間情報を集約することができるとともに、トレーニングのパラメータがより少なく、モデルをより容易にトレーニングしてフィッティングを達することができる。
【0052】
具体的には、本実施形態において、まず前記処理対象画像を前記Ｎ個の膨張畳み込み層にそれぞれ出力して、Ｎ個の第１ノイズ特徴を取得するようにしてもよく、それぞれの第１ノイズ特徴のサイズは大きさが異なる。そして、前記集約畳み込み層を用いて前記Ｎ個の第１ノイズ特徴に対して集約処理を行い、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得し、異なるスケールの第１ノイズ特徴に含まれる画像特徴情報が異なるため、前記Ｎ個の第１ノイズ特徴を用いて集約して環境ノイズ特徴を取得するプロセスにおいて、より多くの文脈上空間情報を集約することができ、且つ集約して得られた環境ノイズ特徴うちの情報をより詳しくして、処理対象画像のうちのノイズの特徴抽出をより顕著に向上させることができ、即ち、取得された環境ノイズ特徴が、処理対象画像のうち天候タイプが対応するノイズをより明確に反映することができる。
【0053】
次に、図５を参照しながら、Ｓ２０３ｂの具体的な実施形態について例を挙げて説明する。図５に示すように、ノイズ特徴抽出モジュールは、４つの膨張畳み込み層及び３つの集約畳み込み層を含んでもよく、具体的には、４つの膨張畳み込み層は、第１膨張畳み込み層（Ｃｏｎｖ３＊３ＤＦ＝１）、第２膨張畳み込み層（Ｃｏｎｖ３＊３ＤＦ＝２）、第３膨張畳み込み層（Ｃｏｎｖ３＊３ＤＦ＝３）及び第４膨張畳み込み層（Ｃｏｎｖ３＊３ＤＦ＝４）を含み、前記集約畳み込み層は、第１集約畳み込み層（Ｃｏｎｖ１＊１ＤＦ＝１）、第２集約畳み込み層（Ｃｏｎｖ１＊１ＤＦ＝１）及び第３集約畳み込み層（Ｃｏｎｖ１＊１ＤＦ＝１）を含み、第１膨張畳み込み層は、畳み込みカーネル３＊３、ＤＦ＝１（ＤＦ＝１は、畳み込み演算プロセスにおいて収集された隣接するピクセル間に間隔がないことを表す）の畳み込み層であり、第２膨張畳み込み層は、畳み込みカーネル３＊３、ＤＦ＝２（ＤＦ＝２は、畳み込み演算プロセスにおいて収集された隣接するピクセル間の間隔数が１つのピクセルであることを表す）の畳み込み層であり、第３膨張畳み込み層は、畳み込みカーネル３＊３、ＤＦ＝３（ＤＦ＝３は、畳み込み演算プロセスにおいて収集された隣接するピクセル間の間隔数が２つのピクセルであることを表す）の畳み込み層であり、第４膨張畳み込み層は、畳み込みカーネル３＊３、ＤＦ＝４（ＤＦ＝４は、畳み込み演算プロセスにおいて収集された隣接するピクセル間の間隔数が３つのピクセルであることを表す）の畳み込み層であり、第１集約畳み込み層、第２集約畳み込み層及び第３集約畳み込み層は、いずれも畳み込みカーネル１＊１、ＤＦ＝１の畳み込み層である。具体的には、処理対象画像を第１膨張畳み込み層、第２膨張畳み込み層、第３膨張畳み込み層及び第４膨張畳み込み層にそれぞれ入力し、４つの第１ノイズ特徴を取得する。第１膨張畳み込み層、第２膨張畳み込み層が出力した２つの第１ノイズ特徴を第１集約畳み込み層に入力し、第１サブ集約特徴が取得され、第３膨張畳み込み層、第４膨張畳み込み層が出力した２つの第１ノイズ特徴を第２集約畳み込み層に入力し、第２サブ集約特徴が取得され、第１サブ集約特徴及び第２サブ集約特徴を第３集約畳み込み層に入力し、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴が取得される。なお、本例示で畳み込みカーネル１＊１の畳み込み層を用いて異なるスケールの特徴を集約し、３回の特徴集約を行って取得した特徴情報（即ち環境ノイズ特徴）はより詳しくなり、天候画像の環境ノイズ特徴抽出に対して顕著に向上させる。
【0054】
次に、Ｓ２０４の一実施形態、即ち処理対象画像が対応するノイズ除去画像を如何に生成するかについて説明する。前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するＳ２０４は、下記のステップを含んでもよい。
【0055】
Ｓ２０４ａ：前記環境ノイズ特徴を前記畳み込み層に入力して、第１特徴マップを取得する。
【0056】
本実施例において、図４に示すように、前記画像強化モデルは畳み込み層をさらに備える。環境ノイズ特徴を取得した後、前記環境ノイズ特徴を前記畳み込み層に入力して、畳み込み処理を行い、第１特徴マップを取得する。
【0057】
Ｓ２０４ｂ：前記第１特徴マップを前記エンコーディングネットワーク層に入力して、Ｐ個のダウンサンプリング特徴マップとＰ個のノンノイズ画像特徴を取得し、Ｐが１よりも大きい正整数である。
【0058】
本実施例において、図４に示すように、前記画像強化モデルはエンコーディングネットワーク層をさらに備える。前記エンコーディングネットワーク層は、Ｐ個のカスケードエンコーディングネットワークモジュールを含んでもよく、且つそれぞれのエンコーディングネットワークモジュールはいずれも１つの特徴集約密集畳み込みモジュール及び最大プーリング層を含み、一実施形態において、図４に示すように、１つのエンコーディングネットワークモジュールは、１つの特徴集約密集畳み込みモジュール及び１つの最大プーリング層を含んでもよく、例えば、特徴集約密集畳み込みモジュールは、図４のＦＪＤＢ（Ｆｅａｔｕｒｅ Ｊｏｉｎｔ Ｄｅｎｓｅ Ｂｌｏｃｋ）であってもよく、最大プーリング層は図４のＭａｘｐｏｏｌｉｎｇであってもよい。
【0059】
本実施例において、コーディング段階で、第１特徴マップを前記エンコーディングネットワーク層に入力し、エンコーディングネットワーク層のＰ個のカスケードエンコーディングネットワークモジュールを用いて第１特徴に対して特徴抽出を行い、Ｐ個のダウンサンプリング特徴マップ及びＰ個のノンノイズ画像特徴を取得し、なお、エンコーディングネットワーク層のＰ個のカスケードエンコーディングネットワークモジュールは、ダウンサンプリング畳み込み層として理解されてもよく、Ｐ個のカスケードエンコーディングネットワークモジュールが出力した特徴マップのサイズは異なり、且つエンコーディングネットワークモジュールのソートが遅くなるほど、出力した特徴マップのサイズが小さくなる。ダウンサンプリング特徴マップは、同じスケールの特徴の加算の和として理解されてもよく、ダウンサンプリング特徴マップは、天候要因によるノイズを除去するためのものであり、ノンノイズ画像特徴は、プーリング段階（即ちエンコーディングネットワークモジュールが特徴抽出する段階）でプーリングインデックス（Ｐｏｏｌｉｎｇ Ｉｎｄｉｃｅｓ）によって記録された該段階で失った画像詳細であり、ノンノイズ画像特徴は、アップサンプリング段階（即ち後のデコーディング段階）において、エンコーディングネットワークモジュールが特徴抽出を行う段階で失った詳細特徴を回復するように指導するためのものである。
【0060】
具体的には、前記第１特徴マップを１番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、１番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得するようにしてもよい。ｉ－１番目のエンコーディングネットワークモジュールが出力したダウンサンプリング特徴マップをｉ番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、ｉ番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得するようにしてもよく、ｉが１よりも大きくＰ以下の正整数である。
【0061】
例示として、図４に示すように、前記エンコーディングネットワーク層は、第１エンコーディングネットワークモジュール、第２エンコーディングネットワークモジュール及び第３エンコーディングネットワークモジュールである３つのカスケードエンコーディングネットワークモジュールを含んでもよく、且つそれぞれのエンコーディングネットワークモジュールは、いずれも１つの特徴集約密集畳み込みモジュール（即ちＦＩＤＢ）及び１つの最大プーリング層（Ｍａｘｐｏｏｌｉｎｇを。第１特徴マップＦ １を第１エンコーディングネットワークモジュールに入力し、第１エンコーディングネットワークモジュールは１つのダウンサンプリング特徴マップＦ ２及び１つのノンノイズ画像特徴を出力し、１番目のエンコーディングネットワークモジュールが出力したダウンサンプリング特徴マップＦ２を２番目のエンコーディングネットワークモジュールのうちの特徴集約密集畳み込みモジュールに入力して、２番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップＦ ３及び１つのノンノイズ画像特徴を取得し、２番目のエンコーディングネットワークモジュールが出力したダウンサンプリング特徴マップＦ ３を３番目のエンコーディングネットワークモジュールのうちの特徴集約密集畳み込みモジュールに入力して、３番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップＦ４及び１つのノンノイズ画像特徴を取得する。
【0062】
Ｓ２０５ｃ：前記Ｐ個のダウンサンプリング特徴マップと前記Ｐ個のノンノイズ画像特徴をデコードネットワーク層に入力して、ノイズ除去特徴マップを取得する。
【0063】
本実施例において、図４に示すように、前記画像強化モデルは、デコードネットワーク層をさらに備える。前記デコードネットワーク層は、Ｐ個のカスケードデコーディングネットワークモジュールを含み、且つそれぞれのデコーディングネットワークモジュールはいずれも１つの特徴集約密集畳み込みモジュール及びアップサンプリング最大プーリング層を含み、一実施形態において、図４に示すように、１つのデコーディングネットワークモジュールは、１つの特徴集約密集畳み込みモジュール及び１つのアップサンプリング最大プーリング層を含んでもよく、例えば、特徴集約密集畳み込みモジュールは、図４のＦＩＤＢ（Ｆｅａｔｕｒｅ Ｊｏｉｎｔ Ｄｅｎｓｅ Ｂｌｏｃｋ）であってもよく、アップサンプリング最大プーリング層は図４のＵｐＭａｘｐｏｏｌｉｎｇであってもよい。それぞれのデコーディングネットワークモジュールは、いずれも１つのエンコーディングネットワークモジュールに対応し、デコーディングネットワークモジュールの入力は、それに対応するエンコーディングネットワークモジュールが出力したダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を含む。
【0064】
本実施例において、デコーディング段階で、処理対象画像、Ｐ個のダウンサンプリング特徴マップ及びＰ個のノンノイズ画像特徴をデコードネットワーク層のＰ個のカスケードデコーディングネットワークモジュールに入力することによって、前記Ｐ個のカスケードデコーディングネットワークモジュールが前記Ｐ個のダウンサンプリング特徴マップを用いて処理対象画像に対して天候タイプが対応するノイズ除去を行うとともに、前記Ｐ個のノンノイズ画像特徴、及び画像詳細情報の回復還元によってノイズ除去特徴マップを取得するようになる。なお、デコードネットワーク層のＰ個のカスケードデコーディングネットワークモジュールは、アップサンプリング畳み込み層として理解されてもよく、Ｐ個のカスケードデコーディングネットワークモジュールが出力した特徴マップのサイズは異なり、且つデコーディングネットワークモジュールのソートが遅くなるほど、出力した特徴マップのサイズが大きくなる。これにより分かるように、本実施例では、エンコーディングネットワーク層及びデコードネットワーク層を一体に統合することによって、長期的な空間特徴の依存関係を演算することができる。プーリングインデックス（Ｐｏｏｌｉｎｇ Ｉｎｄｉｃｅｓ）を用いてダウンサンプリング段階（即ちコーディング段階）及びアップサンプリング段階（即ちデコーディング段階）の画像詳細情報の損失と補充を記録し、コーディング段階のそれぞれの最大プーリング層（Ｍａｘｐｏｏｌｉｎｇ）はいずれも１つのアップサンプリング最大プーリング層（ＵｐＭａｘｐｏｏｌｉｎｇ）に対応し、最大プーリング層（Ｍａｘｐｏｏｌｉｎｇ）がプーリングインデックスにより最大プーリング層（ＵｐＭａｘｐｏｏｌｉｎｇ）を指導してアップサンプリングさせ、このように、アップサンプリング段階でより多くの画像詳細を回復することができる。
【0065】
具体的には、Ｐ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップを１番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を前記１番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記アップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得するようにしてもよい。Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップ、及びｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを、１＋ｊ番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得するようにしてもよく、ｊが１以上でＰよりも小さい正整数である。Ｐ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力したアップサンプリング特徴マップを、ノイズ除去特徴マップとしてもよい。
【0066】
一例示として、図４に示すように、前記エンコーディングネットワーク層は、第１エンコーディングネットワークモジュール、第２エンコーディングネットワークモジュール及び第３エンコーディングネットワークモジュールである３つカスケードエンコーディングネットワークモジュールを含んでもよく、前記デコードネットワーク層は、第１デコーディングネットワークモジュール、第２デコーディングネットワークモジュール及び第３デコーディングネットワークモジュールである３つのカスケードデコーディングネットワークモジュールを含んでもよい。３番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップＦ ４を１番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記３番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を前記１番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記アップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップＦ ５を取得するようにしてもよい。２番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップＦ ３、及び１番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップＦ ５を、２番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記２番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を、前記２番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記２番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップＦ ６を取得するようにしてもよい。１番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップＦ ２、及び２番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップＦ ６を、３番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記１番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を、前記３番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記３番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップＦ ７を取得するようにしてもよく、３番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力したアップサンプリング特徴マップＦ ７をノイズ除去特徴マップとしてもよい。
【0067】
Ｓ２０６ｄ：前記ノイズ除去特徴マップ、前記第１特徴マップ、前記環境ノイズ特徴及び前記処理対象画像を前記出力層に入力して、前記処理対象画像が対応するノイズ除去画像を取得する。
【0068】
本実施例において、図４に示すように、前記画像強化モデルは出力層をさらに備える。ノイズ除去特徴マップ、第１特徴マップ、環境ノイズ特徴及び前記処理対象画像を前記出力層入力して、前記処理対象画像が対応するノイズ除去画像を取得し、例えば、出力層はノイズ除去特徴マップ、第１特徴マップ、環境ノイズ特徴及び処理対象画像を融合させ、処理対象画像が対応するノイズ除去画像を取得する。
【0069】
一実施形態において、図４に示すように、前記出力層は、第１出力層及び第２出力層を備え、第１出力層は、畳み込みカーネルの大きさが１＊１である畳み込み層（１＊１Ｃｏｎｖ）と、１つの畳み込み層（Ｃｏｎｖ）とを備え、第２出力層は、１つの畳み込み層（Ｃｏｎｖ）と、１つの活性化関数層（例えばＴａｎｈ関数層、即ちＴａｎｈ）とを備える。第１出力層の入力は、ノイズ除去特徴マップ及び第１特徴マップであり、第１出力層の出力は、第１出力特徴マップであり、第２出力層の入力は、第１出力特徴マップと環境ノイズ特徴Ｆ ０の融合特徴であり、第２出力層の出力は、第２出力特徴マップであり、次に、第２出力特徴マップと処理対象画像とを融合させ、処理対象画像が対応するノイズ除去画像を取得してもよい。
【0070】
なお、上記実施例で言及される特徴集約密集畳み込みモジュールは、いずれもＭ個の膨張畳み込み層、密集接続ネットワークモジュール及び全結合層を備える。それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズは、いずれも異なり、且つＭが１よりも大きい正整数である。
【0071】
前記Ｍ個の膨張畳み込み層は、特徴マップ（例えば第１特徴マップ、ダウンサンプリング特徴マップ、アップサンプリング特徴マップ）に基づいてＭ個の第２ノイズ特徴を生成するためのものであり、それぞれの第２ノイズ特徴のサイズは大きさが異なり、具体的には、特徴マップをＭ個の膨張畳み込み層にそれぞれ入力して、Ｍ個の第２ノイズ特徴を取得してもよい。例えば、図６に示すように、１つの特徴集約密集畳み込みモジュールは、３つの膨張畳み込み層を備えてもよく、３つの膨張畳み込み層は、第１サブ膨張畳み込み層（Ｃｏｎｖ３＊３ＤＦ＝１）、第２サブ膨張畳み込み層（Ｃｏｎｖ３＊３ＤＦ＝２）及び第３サブ膨張畳み込み層（Ｃｏｎｖ３＊３ＤＦ＝３）であり、第１サブ膨張畳み込み層は、畳み込みカーネル３＊３、ＤＦ＝１（ＤＦ＝１は、畳み込み演算プロセスにおいて収集された隣接するピクセル間に間隔がないことを表す）の膨張畳み込み層であり、第２サブ膨張畳み込み層は、畳み込みカーネル３＊３、ＤＦ＝２（ＤＦ＝２は、畳み込み演算プロセスにおいて収集された隣接するピクセル間の間隔数が１つのピクセルであることを表す）の膨張畳み込み層であり、第３サブ膨張畳み込み層は、畳み込みカーネル３＊３、ＤＦ＝３（ＤＦ＝３は、畳み込み演算プロセスにおいて収集された隣接するピクセル間の間隔数が２つのピクセルであることを表す）の膨張畳み込み層であり、本実施例で３種類の畳み込みカーネル膨張サイズの膨張畳み込みを用いて、異なるスケールの特徴情報（即ち特徴マップ）を集約し、サイズ３＊３の畳み込みカーネルは、雨線、霧、スノーフレーク等のノイズ特徴をよく抽出することができる。また、コーディング段階及びデコーディング段階で特徴マップのチャンネル数が一致するように保持し、即ち、エンコーディングネットワーク層及びデコードネットワーク層で出力された特徴マップのチャンネル数は同じである。これにより分かるように、本実施例は、畳み込みカーネル膨張サイズが異なる膨張畳み込みを用い、異なるスケールの特徴を一体に集約し、抽出された特徴に含まれる画像情報がより詳しくなるように向上させることができ、なお、雨線、スノーフレーク、霧のような形状、大きさが不規則で風向きによって随時変化するノイズ特徴にとっては、マルチスケール集約特徴を用いる技術的手段によって、ノイズ特徴の抽出効果がより良くなり、例えば単一の大きさの畳み込みカーネルを用いる畳み込みよりも、抽出された特徴がより詳しくなり、よって、取得した環境ノイズ特徴は、処理対象画像のうち天候タイプが対応するノイズ（例えば雨線、霧、スノーフレーク）の物理特徴を明確に反映することができ、さらに処理対象画像が対応するノイズ除去画像の明瞭度合を向上させることができる。一実施形態において、特徴集約密集畳み込みモジュールは、入力が異なるスケールの特徴ブロック、出力がサイズ不変の特徴ブロックであるようにしてもよい。
【0072】
前記密集接続ネットワークモジュールは、前記Ｍ個の第２ノイズ特徴に対して、畳み込み演算処理及びデータフィルタリング処理を行い、複数の畳み込み特徴マップを取得するためのものである。一実施形態において、図６に示すように、密集接続ネットワークモジュールは、複数の密集接続モジュールを備え、且つそれぞれの密集接続モジュールは、１つの畳み込み層（Ｃｏｎｖ）と、１つの活性化関数層（例えばＲｅＬｕ関数層、即ちＲｅＬｕ）とを備える。
【0073】
前記全結合層は、前記Ｍ個の第２ノイズ特徴及び前記複数の畳み込み特徴マップに対して集約処理を行い、集約特徴を取得するためのものである。一実施形態において、図６に示すように、前記全結合層は１つのｃｏｎｃａｔ関数層（即Ｃｏｎｃａｔ）と、畳み込みカーネルが１＊１である１つの畳み込み層（１＊１Ｃｏｎｖ）とを備える。
【0074】
図６を参照しながら例として説明すると、図６に示すように、仮に密集接続ネットワークモジュールが第１密集接続モジュール、第２密集接続モジュール及び第３密集接続モジュールである３つの密集接続モジュールを備え、Ｍ個の第２ノイズ特徴を融合した後、得られた融合特徴は第１密集接続モジュールの入力としてもよく、Ｍ個の第２ノイズ特徴を融合した後、得られた融合特徴、及び第１密集接続モジュールが出力した畳み込み特徴マップは、第２密集接続モジュールの入力としてもよく、Ｍ個の第２ノイズ特徴を融合した後、得られた融合特徴、第１密集接続モジュールが出力した畳み込み特徴マップ、及び第２密集接続モジュールが出力した畳み込み特徴マップは、第３密集接続モジュールの入力としてもよく、Ｍ個の第２ノイズ特徴を融合した後、得られた融合特徴、第１密集接続モジュールが出力した畳み込み特徴マップ、第２密集接続モジュールが出力した畳み込み特徴マップ、第３密集接続モジュールが出力した畳み込み特徴マップは、全結合層の入力としてもよく、全結合層が出力した特徴マップと、Ｍ個の膨張畳み込み層に入力された特徴マップ（例えば第１特徴マップ、ダウンサンプリング特徴マップ、アップサンプリング特徴マップ）とを融合して（即ち集約処理を行う）、集約特徴を取得してもよい。
【0075】
これによって分かるように、本実施例のスケールが異なるＭ個の第２ノイズ特徴を融合した後、Ｍ個の第２ノイズ特徴が融合された後得られた融合特徴を１つの密集接続ネットワークモジュールに入力し、その後、全結合層におけるＣｏｎｃａｔ層によりすべての段階の特徴を集約し、このようにして、コーディング段階において得られたダウンサンプリング特徴マップ及びノンノイズ画像特徴における特徴情報がより具体的に描写されるようにし、デコーディング段階において雨線、霧、スノーフレーク等のノイズ情報（即ちノイズ特徴）が除去された後、より多くの画像詳細を回復することができ、よって処理対象画像が対応するノイズ除去画像の歪みレベルを低減させることが実現される。
【0076】
なお、前記画像強化モデルの損失関数は、平均絶対誤差関数であってもよい。なお、本実施例において、雨線、霧、スノーフレーク等のノイズ情報（即ちノイズ特徴）が比較的にまばらであり、本実施例で描写されたものは、雨線、霧、スノーフレーク等のノイズ情報が除去された後の、予測ノイズ除去画像ｆ（ｘ）と真実無ノイズ画像Ｙとの違い度合であるため、本実施例では、まばらな特徴に敏感するＭＡＥ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ，平均絶対誤差）関数を、トレーニングの損失関数として選択してもよい。このように、損失関数を用いてモデルトレーニング用の入力画像が対応する損失値を特定した後、トレーニング完成条件を満たすまで、例えばトレーニング回数が所定の回数を達し、或いは画像強化モデルのモデルパラメータがフィッティングするまで、損失値を用いて画像強化モデルのモデルパラメータを調整することができる。
【0077】
一実施形態において、ＭＡＥ関数は、下記の式に示す。
【0078】
上式で、
は、画像強化モデルが出力した予測ノイズ除去画像を表し、Ｈ、Ｗ、Ｃは、それぞれ画像強化モデルの入力画像の高さ、広さ、チャンネル数を表し、Ｙｉ，ｊ，ｋは、真実無ノイズ画像を表し、ｉ、ｊ、ｋはそれぞれ画像の高さ、広さ、チャンネル数を表し、Ｌは損失値を表す。
【0079】
上記したすべての選択可能な技術的解決手段は、任意の組み合わせで本公開の選択可能な実施例を形成してもよいが、ここで一つずつに説明しない。
【0080】
下記は、本公開の方法実施例を実行するための本公開の装置実施例である。本公開の装置実施例に開示されない詳細については、本公開の方法実施例を参照してください。
【0081】
図７は、本公開の実施例で提供される画像処理装置の概略図である。図７に示すように、該画像処理装置は、
処理対象画像を取得するための画像取得モジュール７０１と、
前記処理対象画像が対応する天候タイプを特定するためのタイプ特定モジュール７０２と、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するための特徴取得モジュール７０３と、
前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するための画像生成モジュール７０４と、を備える。
処理対象画像を取得するための画像取得モジュール７０１と、
前記処理対象画像が対応する天候タイプを特定するためのタイプ特定モジュール７０２と、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するための特徴取得モジュール７０３と、
前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するための画像生成モジュール７０４と、を備える。
【0082】
いくつかの実施例において、前記タイプ特定モジュール７０２は、
前記処理対象画像を、トレーニング済の天候タイプ分類モデルに入力して、前記処理対象画像が対応する天候タイプを取得するためのものであり、
前記天候タイプ分類モデルは、サンプル画像、及びサンプル画像が対応する天候タイプフラグに基づき、トレーニングして得られた残余ネットワークである。
前記処理対象画像を、トレーニング済の天候タイプ分類モデルに入力して、前記処理対象画像が対応する天候タイプを取得するためのものであり、
前記天候タイプ分類モデルは、サンプル画像、及びサンプル画像が対応する天候タイプフラグに基づき、トレーニングして得られた残余ネットワークである。
【0083】
いくつかの実施例において、前記特徴取得モジュール７０３は、
前記天候タイプに基づいて、前記天候タイプが対応する画像強化モデルを特定するためのものであり、前記画像強化モデルがノイズ特徴抽出モジュールを備える。
前記天候タイプに基づいて、前記天候タイプが対応する画像強化モデルを特定するためのものであり、前記画像強化モデルがノイズ特徴抽出モジュールを備える。
【0084】
前記処理対象画像を前記ノイズ特徴抽出モジュールに入力し、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得し、前記環境ノイズ特徴は、前記天候タイプが対応する環境ノイズの前記処理対象画像における分布状況を反映する特徴である。
【0085】
いくつかの実施例において、前記ノイズ特徴抽出モジュールは、Ｎ個の膨張畳み込み層及び集約畳み込み層を備え、それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズはいずれも異なり、且つＮが１よりも正整数であり、
前記特徴取得モジュール７０３は、具体的に、
前記処理対象画像を前記Ｎ個の膨張畳み込み層にそれぞれ出力して、Ｎ個の第１ノイズ特徴を取得し、それぞれの第１ノイズ特徴のサイズは大きさが異なり、
前記集約畳み込み層を利用して前記Ｎ個の第１ノイズ特徴に対して集約処理を行い、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するためのものである。
前記特徴取得モジュール７０３は、具体的に、
前記処理対象画像を前記Ｎ個の膨張畳み込み層にそれぞれ出力して、Ｎ個の第１ノイズ特徴を取得し、それぞれの第１ノイズ特徴のサイズは大きさが異なり、
前記集約畳み込み層を利用して前記Ｎ個の第１ノイズ特徴に対して集約処理を行い、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するためのものである。
【0086】
いくつかの実施例において、前記画像強化モデルは、畳み込み層、エンコーディングネットワーク層、デコードネットワーク層及び出力層をさらに備え、
前記画像生成モジュール７０４は、
前記環境ノイズ特徴を前記畳み込み層に入力して、第１特徴マップを取得し、
前記第１特徴マップを前記エンコーディングネットワーク層に入力して、Ｐ個のダウンサンプリング特徴マップ及びＰ個のノンノイズ画像特徴を取得し、Ｐが１よりも大きい正整数であり、
前記Ｐ個のダウンサンプリング特徴マップと前記Ｐ個のノンノイズ画像特徴をデコードネットワーク層に入力して、ノイズ除去特徴マップを取得し、
前記ノイズ除去特徴マップ、前記第１特徴マップ、前記環境ノイズ特徴及び前記処理対象画像を前記出力層に入力して、前記処理対象画像が対応するノイズ除去画像を取得するためのものである。
前記画像生成モジュール７０４は、
前記環境ノイズ特徴を前記畳み込み層に入力して、第１特徴マップを取得し、
前記第１特徴マップを前記エンコーディングネットワーク層に入力して、Ｐ個のダウンサンプリング特徴マップ及びＰ個のノンノイズ画像特徴を取得し、Ｐが１よりも大きい正整数であり、
前記Ｐ個のダウンサンプリング特徴マップと前記Ｐ個のノンノイズ画像特徴をデコードネットワーク層に入力して、ノイズ除去特徴マップを取得し、
前記ノイズ除去特徴マップ、前記第１特徴マップ、前記環境ノイズ特徴及び前記処理対象画像を前記出力層に入力して、前記処理対象画像が対応するノイズ除去画像を取得するためのものである。
【0087】
いくつかの実施例において、前記エンコーディングネットワーク層は、Ｐ個のカスケードエンコーディングネットワークモジュールを備え、それぞれのエンコーディングネットワークモジュールはいずれも１つの特徴集約密集畳み込みモジュール及び最大プーリング層を備え、
前記画像生成モジュール７０４は、具体的に、
前記第１特徴マップを１番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、１番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得し、
ｉ－１番目のエンコーディングネットワークモジュールが出力したダウンサンプリング特徴マップをｉ番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、ｉ番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得するためのものであり、ｉが１よりも大きくＰ以下の正整数である。
前記画像生成モジュール７０４は、具体的に、
前記第１特徴マップを１番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、１番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得し、
ｉ－１番目のエンコーディングネットワークモジュールが出力したダウンサンプリング特徴マップをｉ番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、ｉ番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得するためのものであり、ｉが１よりも大きくＰ以下の正整数である。
【0088】
いくつかの実施例において、前記デコードネットワーク層は、Ｐ個のカスケードデコーディングネットワークモジュールを備え、それぞれのデコーディングネットワークモジュールはいずれも１つの特徴集約密集畳み込みモジュール及びアップサンプリング最大プーリング層を備え、
前記画像生成モジュール７０４は、具体的に、
Ｐ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップを１番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を前記１番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記アップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得し、
Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップ、及びｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを、１＋ｊ番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得し、ｊが１以上でＰよりも小さい正整数であり、
Ｐ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力したアップサンプリング特徴マップを、ノイズ除去特徴マップとするためのものである。
前記画像生成モジュール７０４は、具体的に、
Ｐ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップを１番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を前記１番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記アップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得し、
Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップ、及びｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを、１＋ｊ番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得し、ｊが１以上でＰよりも小さい正整数であり、
Ｐ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力したアップサンプリング特徴マップを、ノイズ除去特徴マップとするためのものである。
【0089】
いくつかの実施例において、前記特徴集約密集畳み込みモジュールは、Ｍ個の膨張畳み込み層、密集接続ネットワークモジュール及び全結合層を備え、それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズはいずれも異なり、且つＭが１よりも大きい正整数であり、
前記Ｍ個の膨張畳み込み層は、特徴マップに基づいてＭ個の第２ノイズ特徴を生成するためのものであり、それぞれの第２ノイズ特徴のサイズは大きさが異なり、
前記密集接続ネットワークモジュールは、前記Ｍ個の第２ノイズ特徴に対して、畳み込み演算処理及びデータフィルタリング処理を行い、複数の畳み込み特徴マップを取得するためのものであり、
前記全結合層は、前記Ｍ個の第２ノイズ特徴及び前記複数の畳み込み特徴マップに対して集約処理を行い、集約特徴を取得するためのものである。
前記Ｍ個の膨張畳み込み層は、特徴マップに基づいてＭ個の第２ノイズ特徴を生成するためのものであり、それぞれの第２ノイズ特徴のサイズは大きさが異なり、
前記密集接続ネットワークモジュールは、前記Ｍ個の第２ノイズ特徴に対して、畳み込み演算処理及びデータフィルタリング処理を行い、複数の畳み込み特徴マップを取得するためのものであり、
前記全結合層は、前記Ｍ個の第２ノイズ特徴及び前記複数の畳み込み特徴マップに対して集約処理を行い、集約特徴を取得するためのものである。
【0090】
いくつかの実施例において、前記画像強化モデルの損失関数は、平均絶対誤差関数である。
【0091】
いくつかの実施例において、前記天候タイプは、雨、雪、霧の少なくとも１つを含み、
前記天候タイプが雨であると、前記環境ノイズ特徴は雨線ノイズ特徴であり、前記天候タイプが雪であると、前記環境ノイズ特徴はスノーフレークノイズ特徴であり、前記天候タイプが霧であると、前記環境ノイズ特徴は霧ノイズ特徴である。
前記天候タイプが雨であると、前記環境ノイズ特徴は雨線ノイズ特徴であり、前記天候タイプが雪であると、前記環境ノイズ特徴はスノーフレークノイズ特徴であり、前記天候タイプが霧であると、前記環境ノイズ特徴は霧ノイズ特徴である。
【0092】
本公開の実施例で提供される技術的解決手段によれば、画像処理装置は、処理対象画像を取得するための画像取得モジュールと、前記処理対象画像が対応する天候タイプを特定するためのタイプ特定モジュールと、前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するための特徴取得モジュールと、前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するための画像生成モジュールと、を備える。本実施例では、異なる天候タイプに対して該天候タイプが対応する環境ノイズ特徴を取得することができ、該天候タイプが対応する環境ノイズ特徴に基づいて処理対象画像に対してノイズ除去処理を行うことができ、且つ、ノンノイズ画像特徴を用いてノイズ除去後の領域に対して画像の還元回復を行うことができるため、本実施例で提供される方法は、様々な天候タイプによるノイズを処理対象画像から除去することができ、且つ、様々な天候タイプによるノイズを除去すると同時に画像詳細情報を回復することを実現することができ、よって、同一の技術フレームを用いてより多くの天候条件での画像品質劣化問題を解決し、画像ノイズ除去、増強の効果を向上させることができることを実現することができる。
【0093】
理解すべきこととして、上記実施例における各ステップの番号の大きさは実行順序の前後を意味するものではなく、各プロセスの実行順序はその機能及び固有論理で確定されるべきであり、本公開の実施例の実施プロセスを任意に限定するものではない。
【0094】
図８は本公開の実施例で提供されるコンピュータ機器８の概略図である。図８に示すように、該実施例のコンピュータ機器８は、プロセッサ８０１、メモリ８０２、及び該メモリ８０２内に記憶されプロセッサ８０１で実行可能なコンピュータプログラム８０３を備える。プロセッサ８０１は、コンピュータプログラム８０３を実行する時に、上記各方法実施例におけるステップを実現する。或いは、プロセッサ８０１は、コンピュータプログラム８０３を実行する時に、上記各装置実施例における各モジュール／モジュールの機能を実現する。
【0095】
例示として、コンピュータプログラム８０３は、１つ又は複数のモジュール／モジュールに分割され、１つ又は複数のモジュール／モジュールがメモリ８０２内に記憶され、プロセッサ８０１によって実行されて、本公開を完成するようにしてもよい。１つ又は複数のモジュール／モジュールは、特定機能を発揮することができるシリーズのコンピュータプログラムコマンドセクションであってもよく、該コマンドセクションは、コンピュータプログラム８０３がコンピュータ機器８で実行されるプロセスを説明するためのものである。
【0096】
コンピュータ機器８は、デスクトップコンピュータ、ノートパソコン、パームトップコンピュータ及びクラウドサーバ等の計算機器であってもよい。コンピュータ機器８は、プロセッサ８０１及びメモリ８０２を備えてもよいが、それらに限定されない。当業者であれば理解できるように、図８はコンピュータ機器８の例示に過ぎず、コンピュータ機器８を限定するものではなく、図示より多いか又は少ない部品を含み、或いはある部品や異なる部品を組み合わせることができ、例えばコンピュータ機器は、入出力機器、ネットワークアクセス機器、バスなどを含んでもよい。
【0097】
プロセッサ８０１は、中央処理モジュール（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネント等であってもよい。汎用プロセッサはマイクロプロセッサであってもよいし、任意の一般的なプロセッサ等であってもよい。
【0098】
メモリ８０２は、例えばコンピュータ機器８のハードディスク又はメモリのようなコンピュータ機器８の内部記憶モジュールであってもよい。メモリ８０２は、例えば、コンピュータ機器８に装備されるプラグインハードドライブ、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ，ＳＭＣ），セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ，ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）等のようなコンピュータ機器８の外部記憶機器であってもよい。更には、メモリ８０２は、コンピュータ機器８の内部記憶モジュールも、外部記憶機器も備えても良い。メモリ８０２は、コンピュータプログラムと、コンピュータ機器に所要のほかのプログラム及びデータを記憶するためのものである。メモリ８０２は、出力された、又は出力されるべきデータを一時的に記憶するために用いられてもよい。
【0099】
当業者であれば、説明の利便性及び簡潔のために、上記各機能モジュール、モジュールの分割のみを例に挙げて説明したが、実際の適用において、必要に応じて上記機能を異なる機能モジュール、モジュールに割り当てて完成させることができ、すなわち前記装置の内部構造を異なる機能モジュール又はモジュールに分割することにより、以上に説明した全て又は一部の機能を完了することを明確に理解することができる。実施例における各機能モジュール、モジュールは１つの処理モジュールに統合されてもよいし、各モジュールが単独で物理的に存在してもよいし、２つ以上のモジュールが１つのモジュールに統合されてもよく、上記統合されたモジュールはハードウェアの形式で実現されてもよいし、ソフトウェア機能モジュールの形式で実現されてもよい。なお、各機能モジュール、モジュールの具体的な名称について互いに区別されやすいためのものであり、本公開の保護範囲を限定するものではない。上記システムにおけるモジュール、モジュールの具体的な動作過程については、前述方法の実施例における対応過程を参照することができ、ここで説明を省略する。
【0100】
上記実施例において、各実施例に対する説明はそれぞれの重点を有し、ある実施例において詳しく説明又は記載されていない部分については、他の実施例の関連説明を参照することができる。
【0101】
当業者であれば、本明細書に開示された実施例で説明された各例のモジュール及びアルゴリズムステップを、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現することができることを意識することができる。これらの機能がハードウェアで実行されるか、あるいはソフトウェアで実行されるかについては、技術的解決手段の特定の適用及び設計の制約条件に決められる。当業者は各特定の適用に対して異なる方法を用いて説明された機能を実現してもよいが、このような実現は本公開の範囲を超えると考えられるべきではない。
【0102】
本公開で提供される実施例において、開示された装置／コンピュータ機器及び方法は、他の方式で実現することができると理解すべきである。例えば、上記説明された装置／コンピュータ機器の実施例は例示的なものに過ぎず、例えば、前記モジュール又はモジュールの分けは、論理的機能分けに過ぎず、実際に実現時に他の分け方式があてもよく、例えば複数のモジュール又はコンポーネントを結合するか又は他のシステムに統合することができ、又はいくつかの特徴を無視するか、あるいは実行しなくてもよい。また、表示されるか又は議論される相互間の結合又は直接結合又は通信接続はいくつかのインタフェース、装置又はモジュールによる間接結合又は通信接続であってもよく、電気的、機械的又は他の形式であってもよい。
【0103】
また、分離部材として説明されるモジュールは物理的に分離されてもよいし、又はそうでなくてもよく、モジュールとして表示される部材は物理的モジュールであってもよいし又はそうでなくてもよく、即ち１つの箇所に位置してもよいし、又は複数のネットワークモジュールに分布してもよい。実際な需要に応じてそのうちの一部又は全部のモジュールを選択して本実施例の方案の目的を達成することができる。
【0104】
また、本公開の各実施例における各機能モジュールは、１つの処理モジュールに統合されてもよいし、各モジュールが単独で物理的に存在してもよいし、２つ以上のモジュールが１つのモジュールに統合されてもよい。上記統合されたモジュールはハードウェアの形式で実現されてもよく、ソフトウェア機能モジュールの形式で実現されてもよい。
【0105】
統合されたモジュール／モジュールは、ソフトウェア機能モジュールの形式で実現されるとともに、独立した製品として販売されるか又は使用される場合に、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解により、本公開は上記実施例の方法における全部又は一部のプロセスの実現について、コンピュータプログラムにより関連するハードウェアを指令して完了することができ、コンピュータプログラムをコンピュータ読み取り可能な記憶媒体に記憶することができ、該コンピュータプログラムがプロセッサにより実行される場合に、上記それぞれの方法実施例のステップを実現することができる。コンピュータプログラムは、コンピュータプログラムコードを含んでもよく、コンピュータプログラムコードはソースコード形式、オブジェクトコード形式、実行可能なファイル又はある中間形式等であってもよい。コンピュータ読み取り可能な記憶媒体は、コンピュータプログラムコードをキャリア可能な任意のエンティティ又は装置、記録媒体、Ｕディスク、リムーバブルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、電気搬送波信号、電気通信信号及びソフトウェア配布媒体等を含んでもよい。なお、コンピュータ読み取り可能な記憶媒体に含まれた内容は司法管轄エリア内立法及び特許実践の要求に応じて適当に増減を行うことができ、例えばある司法管轄エリアにおいて、立法及び特許実践に基づいて、コンピュータ読み取り可能な記憶媒体は電気搬送波信号及び電気通信信号を含まない。
【0106】
上記した実施例は本公開の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前述の実施例を参照して本公開を詳細に説明したが、当業者は、依然として前述の各実施例に記載の技術的解決手段を補正してもよく、又はそのうちの一部の技術的特徴を同等置換することができるが、これらの補正又は置換が、対応する技術的解決手段の実質が本公開の各実施例の技術的解決手段の思想及び範囲から逸脱することがなく、いずれも本公開の保護範囲内に含まれるべきであることを理解すべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2024-05-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像処理方法であって、前記方法は、処理対象画像を取得するステップと、前記処理対象画像が対応する天候タイプを特定するステップと、前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップと、前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得するステップと、前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するステップと、を含み、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップは、
前記天候タイプに基づいて、前記天候タイプが対応する画像強化モデルを特定ステップであって、前記画像強化モデルがノイズ特徴抽出モジュールを備えるステップと、
前記処理対象画像を前記ノイズ特徴抽出モジュールに入力して、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップであって、前記環境ノイズ特徴が、前記天候タイプが対応する環境ノイズの前記処理対象画像における分布状況を反映する特徴であるステップと、を含み、
前記ノイズ特徴抽出モジュールは、Ｎ個の膨張畳み込み層及び集約畳み込み層を備え、それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズはいずれも異なり、且つＮが１よりも正整数であり、
前記処理対象画像を前記ノイズ特徴抽出モジュールに入力して、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得する前記ステップは、
前記処理対象画像を前記Ｎ個の膨張畳み込み層にそれぞれ出力して、Ｎ個の第１ノイズ特徴を取得するステップであって、それぞれの第１ノイズ特徴のサイズは大きさが異なるステップと、
前記集約畳み込み層を利用して前記Ｎ個の第１ノイズ特徴に対して集約処理を行い、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップと、を含む
ことを特徴とする画像処理方法。
【請求項2】
前記処理対象画像が対応する天候タイプを特定する前記ステップは、前記処理対象画像を、トレーニング済の天候タイプ分類モデルに入力して、前記処理対象画像が対応する天候タイプを取得するステップを含み、前記天候タイプ分類モデルは、サンプル画像、及びサンプル画像が対応する天候タイプフラグに基づき、トレーニングして得られた残余ネットワークであることを特徴とする請求項１に記載の画像処理方法。
【請求項3】
画像処理方法であって、
前記方法は、処理対象画像を取得するステップと、前記処理対象画像が対応する天候タイプを特定するステップと、前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップと、前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得するステップと、前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するステップと、を含み、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップは、
前記天候タイプに基づいて、前記天候タイプが対応する画像強化モデルを特定ステップであって、前記画像強化モデルがノイズ特徴抽出モジュールを備えるステップと、
前記処理対象画像を前記ノイズ特徴抽出モジュールに入力して、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップであって、前記環境ノイズ特徴が、前記天候タイプが対応する環境ノイズの前記処理対象画像における分布状況を反映する特徴であるステップと、を含み、
前記画像強化モデルは、畳み込み層、エンコーディングネットワーク層、デコードネットワーク層及び出力層をさらに備え、
前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得するステップと、前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するステップは、
前記環境ノイズ特徴を前記畳み込み層に入力して、第１特徴マップを取得するステップと、前記第１特徴マップを前記エンコーディングネットワーク層に入力して、Ｐ個のダウンサンプリング特徴マップ及びＰ個のノンノイズ画像特徴を取得するステップであって、Ｐが１よりも大きい正整数であるステップと、
前記Ｐ個のダウンサンプリング特徴マップと前記Ｐ個のノンノイズ画像特徴をデコードネットワーク層に入力して、ノイズ除去特徴マップを取得するステップと、前記ノイズ除去特徴マップ、前記第１特徴マップ、前記環境ノイズ特徴及び前記処理対象画像を前記出力層に入力して、前記処理対象画像が対応するノイズ除去画像を取得するステップと、を含む
ことを特徴とする画像処理方法。
【請求項4】
前記エンコーディングネットワーク層は、Ｐ個のカスケードエンコーディングネットワークモジュールを備え、それぞれのエンコーディングネットワークモジュールはいずれも１つの特徴集約密集畳み込みモジュール及び最大プーリング層を備え、前記第１特徴マップを前記エンコーディングネットワーク層に入力して、Ｐ個のダウンサンプリング特徴マップとＰ個のノンノイズ画像特徴を取得する前記ステップは、
前記第１特徴マップを１番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、１番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得するステップと、
ｉ－１番目のエンコーディングネットワークモジュールが出力したダウンサンプリング特徴マップをｉ番目のエンコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力して、ｉ番目のエンコーディングネットワークモジュールにおける最大プーリング層が出力した１つのダウンサンプリング特徴マップ及び１つのノンノイズ画像特徴を取得するステップであって、ｉが１よりも大きくＰ以下の正整数であるステップと、を含む
ことを特徴とする請求項３に記載の画像処理方法。
【請求項5】
前記デコードネットワーク層は、Ｐ個のカスケードデコーディングネットワークモジュールを備え、それぞれのデコーディングネットワークモジュールはいずれも１つの特徴集約密集畳み込みモジュール及びアップサンプリング最大プーリング層を備え、前記Ｐ個のダウンサンプリング特徴マップと前記Ｐ個のノンノイズ画像特徴をデコードネットワーク層に入力して、ノイズ除去特徴マップを取得する前記ステップは、
Ｐ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップを１番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を前記１番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記アップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得するステップと、
Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのダウンサンプリング特徴マップ、及びｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを、１＋ｊ番目のデコーディングネットワークモジュールにおける特徴集約密集畳み込みモジュールに入力し、且つ、前記Ｐ－ｊ番目のエンコーディングネットワークモジュールが出力した１つのノンノイズ画像特徴を、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層に入力して、前記１＋ｊ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力した１つのアップサンプリング特徴マップを取得するステップであって、ｊが１以上でＰよりも小さい正整数であるステップと、
Ｐ番目のデコーディングネットワークモジュールにおけるアップサンプリング最大プーリング層が出力したアップサンプリング特徴マップを、ノイズ除去特徴マップとするステップと、を含む
ことを特徴とする請求項４に記載の画像処理方法。
【請求項6】
前記特徴集約密集畳み込みモジュールは、Ｍ個の膨張畳み込み層、密集接続ネットワークモジュール及び全結合層を備え、それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズはいずれも異なり、且つＭが１よりも大きい正整数であり、前記Ｍ個の膨張畳み込み層は、特徴マップに基づいてＭ個の第２ノイズ特徴を生成するためのものであり、それぞれの第２ノイズ特徴のサイズは大きさが異なり、
前記密集接続ネットワークモジュールは、前記Ｍ個の第２ノイズ特徴に対して、畳み込み演算処理及びデータフィルタリング処理を行い、複数の畳み込み特徴マップを取得するためのものであり、
前記全結合層は、前記Ｍ個の第２ノイズ特徴及び前記複数の畳み込み特徴マップに対して集約処理を行い、集約特徴を取得するためのものである
ことを特徴とする請求項４に記載の画像処理方法。
【請求項7】
前記画像強化モデルの損失関数は、平均絶対誤差関数であることを特徴とする請求項１に記載の画像処理方法。
【請求項8】
前記天候タイプは、雨、雪、霧の少なくとも１つを含み、前記天候タイプが雨であると、前記環境ノイズ特徴は雨線ノイズ特徴であり、前記天候タイプが雪であると、前記環境ノイズ特徴はスノーフレークノイズ特徴であり、前記天候タイプが霧であると、前記環境ノイズ特徴は霧ノイズ特徴である
ことを特徴とする請求項１に記載の画像処理方法。
【請求項9】
画像処理装置であって、処理対象画像を取得するための画像取得モジュールと、
前記処理対象画像が対応する天候タイプを特定するためのタイプ特定モジュールと、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するためのノイズ特徴抽出モジュールと、
前記環境ノイズ特徴に基づいて、前記処理対象画像のノンノイズ画像特徴を取得し、且つ前記環境ノイズ特徴、前記ノンノイズ画像特徴及び前記処理対象画像に基づいて、前記処理対象画像が対応するノイズ除去画像を生成するための画像生成モジュールと、を備え、
前記天候タイプに基づいて、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するためのノイズ特徴抽出モジュールは、Ｎ個の膨張畳み込み層及び集約畳み込み層を備え、それぞれの膨張畳み込み層の畳み込みカーネル膨張サイズはいずれも異なり、且つＮが１よりも正整数であり、
前記処理対象画像を前記ノイズ特徴抽出モジュールに入力して、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップは、
前記処理対象画像を前記Ｎ個の膨張畳み込み層にそれぞれ出力して、Ｎ個の第１ノイズ特徴を取得するステップであって、それぞれの第１ノイズ特徴のサイズは大きさが異なるステップと、
前記集約畳み込み層を利用して前記Ｎ個の第１ノイズ特徴に対して集約処理を行い、前記処理対象画像のうち、前記天候タイプに対応する環境ノイズ特徴を取得するステップと、を含む
ことを特徴とする画像処理装置。
【請求項10】
メモリ、プロセッサ、前記メモリ内に記憶され前記プロセッサで実行可能なコンピュータプログラムを備えるコンピュータ機器であって、前記プロセッサは前記コンピュータプログラムを実行する時に、請求項１に記載の方法のステップを実現する
ことを特徴とするコンピュータ機器。
【請求項11】
コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行される時に、請求項１に記載の方法のステップを実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【国際調査報告】