特許 7493867 深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-05-24

(45)【発行日】2024-06-03

(54)【発明の名称】深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法

(51)【国際特許分類】

   G06T 5/60 20240101AFI20240527BHJP

【ＦＩ】

G06T5/60

【請求項の数】 8

(21)【出願番号】P 2024024529

(22)【出願日】2024-02-21

【審査請求日】2024-02-21

(31)【優先権主張番号】202310155602.3

(32)【優先日】2023-02-23

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】520208373

【氏名又は名称】杭州電子科技大学

【氏名又は名称原語表記】Ｈａｎｇｚｈｏｕ Ｄｉａｎｚｉ Ｕｎｉｖｅｒｓｉｔｙ

【住所又は居所原語表記】Ｘｉａｓｈａ Ｈｉｇｈｅｒ Ｅｄｕｃａｔｉｏｎ Ｐａｒｋ， Ｈａｎｇｚｈｏｕ Ｃｉｔｙ， Ｚｈｅｊｉａｎｇ Ｐｒｏｖｉｎｃｅ， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100090398

【弁理士】

【氏名又は名称】大渕 美千栄

(74)【代理人】

【識別番号】100090387

【弁理士】

【氏名又は名称】布施 行夫

(72)【発明者】

【氏名】チェン ビン

(72)【発明者】

【氏名】ヤン ジアンハオ

(72)【発明者】

【氏名】シャオ ヤンリ

(72)【発明者】

【氏名】ウェイ ダン

(72)【発明者】

【氏名】ワン シンチ

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０２１－０２２２６３（ＪＰ，Ａ）

【文献】欧州特許出願公開第３９１３５７２（ＥＰ，Ａ１）

【文献】中国特許出願公開第１１２７３４６７３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００－ ５／６０

(57)【特許請求の範囲】

【請求項1】

Ｒｅｔｉｎｅｘ理論に基づいた画像分解、反射率復元、照度調節、及び強調融合を含む、深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法であって、具体的に、以下のステップ１～ステップ４を含み、
ステップ１において、Ｕ－Ｎｅｔネットワークにおける畳み込み層の代わりに残差モジュールを使用して反射率復元ネットワークを得、ネットワークの入力は低光画像Ｓ_ｌを分解することによって得られた低光照度画像Ｉ_ｌ及び低光反射率画像Ｒ_ｌであり、反射率復元ネットワークは低光反射率画像Ｒ_ｌから通常光反射率画像Ｒ_ｈへのマッピングを学習し、出力は反射率復元画像Ｒ_ｒであり、
反射率復元ネットワークの損失関数は、

【数1】

ＣＬＥＤＥはＣＬＥＤＥ＿２０００標準色差損失関数であり、
ステップ２において、Ｄｅｎｓｅ ｂｌｏｃｋのボトルネック層において残差スキップを導入し、ＤｅｎｓｅＮｅｔ－ｂｃを照度調節ネットワークとして使用して、低光照度画像Ｉ_ｌから通常光照度画像Ｉ_ｈへのマッピングを学習し、ネットワークの入力は低光照度画像Ｉ_ｌであり、出力は照度強調画像Ｉ_ｅであり、
照度調節ネットワークに対応する損失関数は、

【数2】

であり、
第１項は照度一貫性損失関数であり、第２項は勾配一貫性損失関数であり、第３項は構造一貫性損失関数であり、
ステップ３において、画像再構成の方法でステップ１の反射率復元画像とステップ２の照度強調画像とを融合させ、初期の強調画像Ｓ_ｒ１を得、
ステップ４において、知覚強化ネットワークを使用して、初期の強調画像Ｓ_ｒ１から通常光画像Ｓ_ｈへのマッピングを学習し、前記知覚強化ネットワークは、まず、初期の強調画像Ｓ_ｒ１に対して通常の畳み込み操作を使用し、次に拡張畳み込み操作を連続的に行い、且つ畳み込みの拡張率は２の倍数で順に増加し、更に拡張率が１である１回の畳み込み操作を使用し、最後に１ｘ１の畳み込み操作を使用してチャネル数を復元し、最終的な強調画像Ｓ_ｒ２を出力し、
知覚強化ネットワークに対応する損失関数は、

【数3】

であり、
第１項及び第２項はそれぞれＭＳＥ損失関数及び構造一貫性損失関数であり、第３項は知覚損失関数であって、

【数4】

であり、
φ_ｉ，ｊは事前学習済みモデルから抽出された特徴マップを表し、ｉは最大プーリングを表し、ｊは最大プーリング後のｊ番目の畳み込み層であり、Ｗ_ｉ，ｊ及びＨ_ｉ，ｊは特徴マップのサイズである、ことを特徴とする深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。

【請求項2】

Ｒｅｔｉｎｅｘ理論に基づいて低光画像Ｓ_ｌ及び通常光画像Ｓ_ｈをそれぞれ分解し、低光反射率画像Ｒ_ｌ、通常光反射率画像Ｒ_ｈ、低光照度画像Ｉ_ｌ、及び通常光照度画像Ｉ_ｈを得、計算式は、

【数5】

ことを特徴とする請求項１に記載の深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。

【請求項3】

層分解ネットワークを構築し、Ｒｅｔｉｎｅｘ理論に基づいて、入力された低光画像及び通常光画像をそれぞれ分解し、
前記層分解ネットワークは、まず、入力画像に対して１回の畳み込み操作を使用し、画像の浅層特徴を得、次に反射率分岐及び照度分岐をそれぞれ入力して分解し、最後にＳｉｇｍｏｉｄ関数を使用して２つの分岐の出力を［０，１］の範囲に制約し、
前記反射率分岐は、ダウンサンプリング及び畳み込み操作を使用して画像の浅層特徴を処理し、次にアップサンプリングし、同じ解像度のダウンサンプリング結果とチャネルのマージを行い、次に２回の畳み込み操作を行い、出力画像の解像度及びチャネル数を入力画像と同じになるよう復元し、
前記照度分岐は、まず、画像の浅層特徴に対して畳み込み操作を行い、次に反射率分岐における解像度及びチャネル数がいずれも同じである特徴マップを選択してチャネルのマージを行い、更に畳み込み操作を行って出力画像のチャネル数を入力と同じになるよう復元する、ことを特徴とする請求項１又は２に記載の深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。

【請求項4】

【数6】

【数7】

ＳＳＩＭは構造類似度を評価する指標関数であり、

【数8】

▽は水平方向と垂直方向の一次導関数演算子を表す、ことを特徴とする請求項１に記載の深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。

【請求項5】

前記反射率復元ネットワークは、入力データに対してチャネルのマージ及び１回の畳み込み操作を行った後に、符号化プロセス及び復号プロセスを行い、最後に復号プロセスで得られた特徴マップに対して１回の畳み込みを行い、チャネル数を復元し、前記符号化プロセスは４つの残差モジュールとダウンサンプリングモジュールの組み合わせを連続的に使用し、前記ダウンサンプリングモジュールは１回の２ｘ２の最大プーリング及び１回の１ｘ１の畳み込み操作を含み、復号モジュールは４つのアップサンプリング操作、チャネルのマージ操作及び残差モジュールの組み合わせを連続的に使用し、チャネルのマージ操作は、アップサンプリングの結果と符号化モジュールにおける同じ解像度の特徴マップに対してチャネルのマージを行う、ことを特徴とする請求項１に記載の深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。

【請求項6】

照度調節ネットワークの第１畳み込み層のチャネル数を６４に設定する、ことを特徴とする請求項１に記載の深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。

【請求項7】

前記画像再構成の方法は、反射率復元画像Ｒ_ｒと照度強調画像Ｉ_ｅを画素の乗算で融合することである、ことを特徴とする請求項１に記載の深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。

【請求項8】

知覚強化ネットワークは、７回の３ｘ３の拡張畳み込み操作を連続的に行い、拡張率はそれぞれ［２，４，８，１６，３２，６４，１２８］である、ことを特徴とする請求項１に記載の深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理の技術分野に属し、低光画像の強調方法に関し、具体的には深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法に関する。

【背景技術】

【0002】

撮影プロセスにおいて、画像が逆光、不均一な照明、微弱光等の低光条件の影響を受けると、最終的に得られる画像には、輝度及びコントラストが低く、ノイズが大きく、細部がぼやけ、色が歪む等の複数の劣化問題が存在し、画像の美的品質に影響を与えるだけでなく、検出処理、識別処理等のハイレベルの視覚処理の実行にも影響を与える。

【0003】

従って、低光画像に対して特定の処理を行い、画質を強調する必要がある。従来の低光画像強調方法は、ヒストグラム均等化、ガンマ補正、逆ヘイズ除去モデルに基づいた強調、Ｒｅｔｉｎｅｘ理論に基づいた強調等を含む。ヒストグラム均等化、ガンマ補正は、画像のコントラスト及び視認性を向上させることができるが、ハロー効果及び過剰な強調といった問題が存在する。逆ヘイズ除去モデルに基づいた強調方法は、夜間画像と霧画像の視覚的類似性に基づき、ダークチャネルプライア法で反転画像をヘイズ除去し、画像のダイナミックレンジを向上させるが、該方法は細部処理において安定していない。Ｒｅｔｉｎｅｘ理論に基づいた方法は、事前知識に基づいて低光画像から照度画像を推定し、且つ反射画像を強調結果とする方法であり、一般的にＳＳＲ、ＭＳＲを含むが、これらの方法には、過剰な強調及び色歪みの問題がある。このように、これら従来の強調方法にはある程度の良好な効果が期待できるが、欠点も存在する。

【0004】

深層学習を導入する方法は、ノイズ除去、超解像度、ぼやけ除去といったローレベルの視覚処理に優れており、低光画像強調の分野において従来の方法と比べても、精度、ロバスト性、速度がより良好であり、且つ画像の輝度及びコントラストの向上においては、従来の方法に比べて性能がより良好である。しかしながら、既存の方法は、ノイズ除去、細部復元、色の強調において理想的ではない。従って、ノイズと細部復元のバランスをとり、色を強調できる低光画像強調方法を研究することは非常に重要である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術における深層学習に基づいた低光画像強調技術の欠点に対して、本発明は深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法を提案する。これは深層学習とＲｅｔｉｎｅｘ理論の長所を組み合わせることで、強調された画像はより優れた細部及び色を実現できる。

【課題を解決するための手段】

【0006】

深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法であって、具体的に、以下のステップ１～ステップ５を含む。

【0007】

ステップ１において、Ｒｅｔｉｎｅｘ理論に基づいて低光画像Ｓ_ｌ及び通常光画像Ｓ_ｈをそれぞれ分解し、低光反射率画像Ｒ_ｌ、通常光反射率画像Ｒ_ｈ、低光照度画像Ｉ_ｌ、及び通常光照度画像Ｉ_ｈを得、具体的な操作は以下の通りである。
層分解ネットワークを構築し、Ｒｅｔｉｎｅｘ理論に基づいて入力された低光画像及び通常光画像をそれぞれ分解する。

【0008】

Ｒｅｔｉｎｅｘ理論で画像を分解する計算式は、

【数9】

【0009】

前記層分解ネットワークは、まず、入力画像に対して１回の畳み込み操作を使用し、画像の浅層特徴を得、次に反射率分岐及び照度分岐をそれぞれ入力して分解し、最後にＳｉｇｍｏｉｄ関数を使用して２つの分岐の出力を［０，１］の範囲に制約する。前記反射率分岐はダウンサンプリング及び畳み込み操作を使用して深層特徴を抽出し、更にアップサンプリングを使用して、同じ解像度のダウンサンプリング結果とチャネルのマージを行い、次に畳み込み操作を行って出力画像の解像度を入力と同じになるよう復元し、１ｘ１の畳み込み操作を使用して出力画像のチャネル数を入力と同じになるよう復元する。前記照度分岐は、まず、画像の浅層特徴に対して畳み込み操作を行い、次に反射率分岐における解像度及びチャネル数がいずれも同じである特徴マップとチャネルのマージを行い、更に１ｘ１の畳み込み操作を使用して出力画像のチャネル数を入力と同じになるよう復元する。

【0010】

ステップ２において、反射率復元ネットワークを使用して、低光反射率画像Ｒ_ｌから通常光反射率画像Ｒ_ｈへのマッピングを学習し、反射率復元画像Ｒ_ｒを得、具体的な操作ステップは以下の通りである。
前記反射率復元ネットワークの入力は低光照度画像Ｉ_ｌ及び低光反射率画像Ｒ_ｌであり、まず、Ｒ_ｌとＩ_ｌに対してチャネルのマージを行い、次に１回の畳み込み操作を使用して浅層特徴を得、更に符号化－復号モジュールを通過させた後、１ｘ１の畳み込み操作を使用してチャネル数を復元する。前記符号化モジュールは残差モジュールとダウンサンプリングモジュールを使用し、復号モジュールはアップサンプリング操作、チャネルのマージ及び残差モジュールを使用する。

【0011】

反射率復元ネットワークが反射率復元画像Ｒ_ｒを出力する計算式は、

【数10】

であり、
Ｆ_１（・）は反射率復元マッピング関数を表す。

【0012】

反射率復元ネットワークに対応する損失関数は、

【数1】

ＣＬＥＤＥはＣＬＥＤＥ＿２０００標準色差損失関数である。

【0013】

好ましくは、

【数11】

【0014】

【数7】

ＳＳＩＭは構造類似度を評価する指標関数である。

【0015】

【数8】

▽は水平方向と垂直方向の一次導関数演算子を表す。

【0016】

ステップ３において、照度調節ネットワークを使用して、低光照度画像Ｉ_ｌから通常光照度画像Ｉ_ｈへのマッピングを学習し、照度強調画像Ｉ_ｅを得、具体的な操作ステップは以下の通りである。
前記照度調節ネットワークは、まず、低光照度画像Ｉ_ｌに対して１回の畳み込み操作を使用し、浅層特徴を得、次に密接続モジュールＤｅｎｓｅ ｂｌｏｃｋ及び移行層ｔｒａｎｓｉｔｉｏｎ ｌａｙｅｒを使用して、更なる特徴抽出及びチャネルスクリーニングを行い、最後に１ｘ１の畳み込み操作を使用してチャネル数を復元する。照度調節ネットワークが照度強調画像を出力する計算式は、

【数12】

であり、
Ｆ_２（・）は照度調節のマッピング関数を表す。

【0017】

照度調節ネットワークに対応する損失関数は、

【数2】

であり、
第１項は照度一貫性損失関数であり、第２項は勾配一貫性損失関数であり、第３項は構造一貫性損失関数である。

【0018】

ステップ４において、画像再構成の方法でステップ２の反射率復元画像とステップ３の照度強調画像を融合させ、初期の強調画像Ｓ_ｒ１を得る。

【0019】

好ましくは、前記画像再構成の方法は、反射率復元画像Ｒ_ｒと照度強調画像Ｉ_ｅを画素の乗算で融合させる。

【0020】

ステップ５において、知覚強化ネットワークを使用して、初期の強調画像Ｓ_ｒ１から通常光画像Ｓ_ｈへのマッピングを学習し、最終的な強調画像Ｓ_ｒ２を得、具体的な操作ステップは以下の通りである。
前記知覚強化ネットワークは、まず、初期の強調画像Ｓ_ｒ１に対して通常の畳み込み操作を使用し、次に拡張畳み込み操作を連続的に行い、且つ畳み込みの拡張率は２の倍数で順に増加し、更に拡張率が１である１回の畳み込み操作を使用し、最後に１ｘ１の畳み込み操作を使用してチャネル数を復元し、知覚強化ネットワークが最終的な強調画像を出力する計算式は、

【数13】

であり、
Ｆ_３（・）は知覚強化のマッピング関数を表す。

【0021】

知覚強化ネットワークに対応する損失関数は、

【数3】

であり、
第１項及び第２項はそれぞれＭＳＥ損失関数及び構造一貫性損失関数であり、第３項は知覚損失関数であって、

【数4】

であり、
φ_ｉ，ｊはＩｍａｇｅＮｅｔを使用して学習済みのＶＧＧ－１６モデルから抽出された特徴マップを表し、ｉは最大プーリングを表し、ｊは最大プーリング後のｊ番目の畳み込み層であり、Ｗ_ｉ，ｊ及びＨ_ｉ，ｊは特徴マップのサイズである。

【発明の効果】

【0022】

本発明の有益な効果は以下の通りである。

【0023】

１、本方法は、反射率復元において通常の畳み込みの代わりに残差モジュールを使用し、反射率復元ネットワークはより多くの細部のテクスチャ特徴を学習でき、且つ反射率復元ネットワークの損失関数において色の損失を導入し、反射率復元画像の色を強調している。

【0024】

２、本方法は、照度調節において通常の畳み込みの代わりに密接続モジュールを使用し、浅層特徴の割合を増やし、復元画像の照度分布をより自然にすることができ、特徴抽出の後に、移行層を使用して特徴チャネルをスクリーニングし、演算量を減らしている。

【0025】

３、本方法は、初期の強調画像を得た後に知覚強化ネットワークを利用して更に画像を強調する。知覚強化ネットワークにおける拡張畳み込みにより、受容野を拡張でき、ネッ
トワークはより多くの大域的な特徴を学習でき、知覚損失関数は、画像の知覚品質の向上に寄与し、最終的な強調画像は、元の低光画像に比べて画像輝度を向上させるだけでなく、ノイズを抑制でき、テクスチャの細部を復元するとともに色情報も強調し、後続の視覚処理の実行に有利である。

【図面の簡単な説明】

【0026】

【図1】深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法のフローチャートである。

【図2】実施例に使用されるボトルネック層ｂｏｔｔｌｅｎｅｃｋ ｌａｙｅｒのネットワーク構造である。

【図3】実施例におけるＬＯＬデータセットにおいて１回目の画像強調を行った結果模式図である。

【図4】実施例におけるＬＯＬデータセットにおいて２回目の画像強調を行った結果模式図である。

【図5】実施例におけるＬＯＬデータセットにおいて３回目の画像強調を行った結果模式図である。

【発明を実施するための形態】

【0027】

本発明の目的、技術的解決手段及び要点をより明確にするために、以下では図面を参照しながら本発明を更に説明する。図１に示すように、深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法は、具体的に、ステップ１～ステップ５を含む。

【0028】

ステップ１において、Ｒｅｔｉｎｅｘ理論に基づいて、層分解ネットワークを使用して、低光画像及び通常光画像をそれぞれ分解し、且つ損失関数を使用して該分解プロセスを制約し、低光反射率画像Ｒ_ｌ、通常光反射率画像Ｒ_ｈ、低光照度画像Ｉ_ｌ、通常光照度画像Ｉ_ｈを得る。

【0029】

Ｒｅｔｉｎｅｘ理論で画像を分解する計算式は、

【数14】

Ｒは、物体の反射特性又は本質的な特性を表し、すなわち、低光画像と通常光画像を分解して得られた反射率画像は一貫する。

【0030】

前記層分解ネットワークは、まず、入力画像に対して３ｘ３の１回の畳み込み操作を使用して浅層特徴を得、次に反射率分岐及び照度分岐をそれぞれ入力し、最後にＳｉｇｍｏｉｄ関数を使用して２つの分岐の出力を［０，１］の範囲に制約する。反射率分岐は、２回のダウンサンプリングと畳み込み操作を使用して、深層特徴を更に抽出し、次にアップサンプリングし、アップサンプリングにより得られた特徴マップと同じ解像度のダウンサンプリング特徴マップに対してチャネルのマージを行った後に、更に１回のアップサンプリングとチャネルのマージ操作を１回行い、その後、２回の畳み込み操作を使用して、出力画像の解像度及びチャネル数を順に復元する。照度分岐は、まず、１回の畳み込み操作を行い、次に反射率分岐における同じ解像度及びチャネル数の特徴マップとチャネルのマージを行い、更に１ｘ１の１回の畳み込み操作を使用して出力画像のチャネル数を復元する。

【0031】

ステップ２において、反射率復元ネットワークは、低光照度画像Ｉ_ｌと低光反射率画像Ｒ_ｌをともに入力とし、低光画像において光照射分布がノイズ分布に関連しているため、Ｉ_ｌをノイズ分布アテンション画像として使用し、ネットワークのノイズ除去を指導する
。反射率復元画像の予測の計算式は、

【数10】

であり、
Ｆ_１（・）は反射率復元マッピング関数を表す。

【0032】

反射率復元ネットワークはＵ－Ｎｅｔネットワークを基に、畳み込み層の代わりに残差モジュールを使用する。前記反射率復元ネットワークは、まず、Ｒ_ｌとＩ_ｌに対してチャネルのマージを行い、次に、３ｘ３の１回の畳み込み操作を使用して画像の浅層特徴を得、その後、符号化－復号モジュールを使用して、得られた浅層特徴を処理し、最後に１ｘ１の畳み込み操作を使用して、出力されたチャネル数を復元する。符号化モジュールは、４つの残差モジュールとダウンサンプリングモジュールを連続的に使用し、残差モジュールが２回の３ｘ３の畳み込み操作と１回のスキップ接続にて構成されるため、通常の畳み込み操作に比べて、より多くの浅層特徴を保持することができ、画像中のテクスチャの細部の復元に有利である。ダウンサンプリングモジュールは１回の２ｘ２の最大プーリングと１回の１ｘ１の畳み込み操作からなる。復号モジュールは、４つのアップサンプリング操作とチャネルのマージ及び残差モジュールを連続的に使用し、アップサンプリング操作の後に、符号化モジュールにおける同じ解像度の特徴マップとチャネルのマージを行う。

【0033】

反射率復元ネットワークに対応する損失関数は、

【数15】

【0034】

【数6】

該損失関数はＲ_ｒとＲ_ｈの全体的な一貫性を制約する。

【0035】

【数7】

ＳＳＩＭは構造類似度を評価する指標であり、輝度、コントラスト及び構造という画像の３つの重要な特徴を計算する。

【0036】

【数8】

該損失関数は主に、Ｒ_ｒとＲ_ｈのテクスチャの一貫性を制約し、▽は水平方向と垂直方向の一次導関数演算子である。

【0037】

予測画像の色をより鮮明且つリアルにするために、

【数16】

ＣＬＥＤＥはＣＬＥＤＥ＿２０００標準色差損失関数であり、該損失関数はＬＡＢ色空間で色差を計算し、その機能として反射率復元画像Ｒ_ｒと通常光反射率画像Ｒ_ｈとの色における一貫性を制約する。

【0038】

ステップ３において、照度強調画像の予測の計算式は、

【数12】

であり、
Ｆ_２（・）は照度調節のマッピング関数を表す。

【0039】

照度調節ネットワークは、Ｄｅｎｓｅｎｅｔ－ｂｃネットワーク構造に基づいて、ｄｅｎｓｅｂｌｏｃｋボトルネック層を保持した上で、残差スキップを追加する。且つｄｅｎｓｅｂｌｏｃｋ及び移行層におけるプーリング層及びＢＮ層を除去し、プーリング操作による特徴の喪失を軽減するのに有利である。前記照度調節ネットワークは、まず、低光照度画像Ｉ_ｌに対して１回の畳み込み操作を使用し、チャネル数を６４に設定し、対応する浅層特徴を得る。画像生成処理に対して浅層情報が重要であるため、第１層畳み込みの出力チャネル数を増やすことによって浅層情報の割合を増やすことができる。次に４回の密接続モジュールＤｅｎｓｅ ｂｌｏｃｋ及び移行層ｔｒａｎｓｉｔｉｏｎ ｌａｙｅｒを使用して特徴抽出及びチャネルスクリーニングを行い、最後に、１ｘ１の畳み込み操作を使用して出力画像のチャネル数と入力画像のチャネル数とを同じにする。Ｄｅｎｓｅ ｂｌｏｃｋは４つの密に接続されたボトルネック層ｂｏｔｔｌｅｎｅｃｋ ｌａｙｅｒを含み、ｂｏｔｔｌｅｎｅｃｋ ｌａｙｅｒの構造は図２に示すとおりであり、残差接続の方法は、浅層からの情報と組み合わせることができ、Ｄｒｏｐｏｕｔ層は過剰適合の問題を解決することができ、ｔｒａｎｓｉｔｉｏｎ ｌａｙｅｒは、１回の１ｘ１の畳み込み操作及びＤｒｏｐｏｕｔ層を含み、主な作用として、出力のチャネル数を入力の半分に低減させる。

【0040】

照度調節ネットワークに対応する損失関数は、

【数2】

であり、
第１項は照度一貫性損失関数であり、第２項は勾配一貫性損失関数であり、第３項は構造一貫性損失関数であり、機能としては、照度強調画像Ｉ_ｅと通常光照度画像Ｉ_ｈとの間の輝度分布の一貫性を制約する。

【0041】

ステップ４において、画像再構成の方法でステップ２の反射率復元画像Ｒ_ｒとステップ３の照度強調画像Ｉ_ｅを融合させ、初期の強調画像Ｓ_ｒ１を得る。

【0042】

ステップ５において、知覚強化ネットワークを使用して、初期の強調画像Ｓ_ｒ１から通常光画像Ｓ_ｈへのマッピングを学習し、最終的な強調画像Ｓ_ｒ２を出力し、計算式は、

【数13】

であり、
Ｆ_３（・）は知覚強化のマッピング関数を表す。

【0043】

知覚強化ネットワークは、通常の畳み込み及び拡張畳み込みを使用して、初期の強調画像Ｓ_ｒ１に対して特徴抽出を行い、まず、通常の３ｘ３の１回の畳み込み操作を使用し、次に３ｘ３の７回の拡張畳み込み操作を連続的に使用し、畳み込みの拡張率はそれぞれ［２，４，８，１６，３２，６４，１２８］であり、更に、１ｘ１の１回の通常の畳み込み操作を使用することで、拡張畳み込みによるグリッド効果を軽減し、最後に１ｘ１の畳み込み操作を使用して出力のチャネル数と入力画像のチャネル数とを同じにする。
知覚強化ネットワークに対応する損失関数は、

【数3】

であり、
第１項及び第２項はそれぞれＭＳＥ損失関数及び構造一貫性損失関数であり、第３項は知覚損失関数であり、最終的な強調画像Ｓ_ｒ２と通常光画像Ｓ_ｈとの間のＶＧＧ特徴距離を制約することに用いられる。

【0044】

知覚損失関数の計算式は、

【数4】

であり、
φ_ｉ，ｊはＩｍａｇｅＮｅｔにおいて学習済みのＶＧＧ－１６モデルから抽出された特徴マップを表し、ｉは最大プーリングを表し、ｊは最大プーリング後のｊ番目の畳み込み層であり、Ｗ_ｉ，ｊ及びＨ_ｉ，ｊは特徴マップのサイズである。

【0045】

本方法の実行可能性及び有効性を更に証明するために、本実施例は、ＬＯＬ、ＬＩＭＥ、ＮＥＰ及びＭＥＦデータセットにおいてそれぞれ、本方法及び従来の低光画像強調方法を使用して実験を行い、且つ非参照画質評価指標ＮＩＱＥと完全参照画質評価指標ＳＳＩ
Ｍ及びＰＳＮＲを利用して実験結果を評価する。これらの指標のうちＮＩＱＥは、テスト画像から抽出された多変量ガウス分布モデルと自然画像から抽出された多変量ガウス分布モデルとの間の距離を利用して画像の視覚的な品質を評価し、ＮＩＱＥ値が低いほど、画像の視覚的な品質は高い。ピーク信号対雑音比ＰＳＮＲは、一般的に最大信号と背景雑音との間の画質参照値を評価することに用いられ、ＰＳＮＲ値が高いほど、画像のノイズが小さく、画像の歪みの程度が低く、構造類似性ＳＳＩＭは、一般的に２枚の画像の類似度を評価するのに用いられ、ＳＳＩＭ値が高いほど、画像は類似している。

【0046】

表１は本方法と他の低光画像強調方法のＬＯＬデータセットにおける異なる指標の評価値である。

【0047】

【表1】

【0048】

表２は本方法と他の低光画像強調方法のＬＩＭＥ、ＮＥＰ及びＭＥＦの３つのデータセットにおけるＮＩＱＥの評価値である。

【0049】

【表2】

【0050】

表１のデータから分かるように、本方法で得られた強調画像のＰＳＮＲ、ＳＳＩＭ指標はＬＯＬデータセットにおいて、いずれも他の方法よりも高く、且つＮＩＱＥ指標は２位である。表２のデータから分かるように、本方法で得られた強調画像のＮＩＱＥ指標は、ＬＩＭＥ、ＮＰＥ及びＭＥＦデータセットにおいて、いずれも他の方法よりも高く、これは、本方法で得られた強調画像の視覚的な品質がより高く、ノイズがより少なく、細部情報がより多いことを表している。実験結果及びデータの分析により、画像の視覚的な品質を効果的に向上させるといった本発明の方法の優位性が十分に証明された。

【0051】

図３、図４及び図５は、元の低光画像と、本方法及び上記表中の他の低光画像強調方法で得られた強調画像とを示している。（ａ）は元の低光画像、（ｂ）はＢＩＭＥＦ法で得られた強調画像、（ｃ）はＣＲＭ法で得られた強調画像、（ｄ）はＬＩＭＥ法で得られた強調画像、（ｅ）はＭＳＲ法で得られた強調画像、（ｆ）はＮＰＥ法で得られた強調画像、（ｇ）はＲｅｔｉｎｅｘ－Ｎｅｔ法で得られた強調画像、（ｈ）はＧＬＡＤ法で得られた強調画像、（ｉ）はＺｅｒｏ－ＤＣＥ法で得られた強調画像、（ｊ）はＥｎｌｉｇｈｔｅｎＧＡＮ法で得られた強調画像、（ｋ）はＫｉｎＤ法で得られた強調画像、（ｌ）は本方法で得られた強調画像である。写真から分かるように、画像の輝度向上において比較すると、図３、図４及び図５の（ｂ）、（ｃ）、（ｉ）は全体的な輝度が低く、画像の輝度向上において効果が芳しくない。図５の（ｄ）、（ｆ）、（ｉ）、（ｊ）、（ｋ）は極暗部の輝度が向上していないが、（ｅ）、（ｈ）及び（ｌ）では全体的及び局所的な極暗部に対する効果が良好である。ノイズ除去については、ＫｉｎＤ法及び本方法は効果が良好であったが、他の方法では結果に多くのノイズが存在していた。

【0052】

従って、上記実験結果によれば、評価指標の数値であっても、強調された画像であっても、本方法は輝度及びノイズ除去の効果を保持しつつ、画像の色及び細部のテクスチャにおいても従来技術よりも向上している。

【要約】      （修正有）

【課題】効果的に、入力画像のテクスチャの細部を復元し、色情報を強調し、画像の輝度分布をより自然にし、ノイズをより低くする深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法を提供する。
【解決手段】方法は、Ｒｅｔｉｎｅｘ理論に基づいて、層分解ネットワークを利用して低光画像、通常光画像を反射画像及び照度画像に分解し、次に、低光照度画像及び低光反射率画像を反射率復元ネットワークの入力とし、低光反射画像から通常光反射画像へのマッピングを学習して、反射率復元画像を得る。続いて、低光照度画像を照度調節ネットワークの入力とし、低光照度画像から通常光照度画像へのマッピングを学習して、照度強調画像を得る。次に、反射率復元画像と照度強調画像を融合させて、初期の強調画像を得、最後に、知覚強化ネットワークを使用して、初期の強調画像から通常光画像へのマッピングを学習し強調画像を得る。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】