特許 7379787 フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-07

(45)【発行日】2023-11-15

(54)【発明の名称】フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20231108BHJP

【ＦＩ】

G06T5/00 710

【請求項の数】 7

(21)【出願番号】P 2022517497

(86)(22)【出願日】2021-02-23

(65)【公表番号】

(43)【公表日】2022-11-21

(86)【国際出願番号】 CN2021077354

(87)【国際公開番号】W WO2021248938

(87)【国際公開日】2021-12-16

【審査請求日】2022-03-17

(31)【優先権主張番号】202010522038.0

(32)【優先日】2020-06-10

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】522106868

【氏名又は名称】南京郵電大学

(74)【代理人】

【識別番号】100103207

【弁理士】

【氏名又は名称】尾崎 隆弘

(72)【発明者】

【氏名】張登銀

(72)【発明者】

【氏名】曹雪傑

(72)【発明者】

【氏名】董江偉

(72)【発明者】

【氏名】周詩▲ちー▼

(72)【発明者】

【氏名】趙莎莎

【審査官】鈴木 肇

(56)【参考文献】

【文献】中国特許出願公開第１１０５７０３６３（ＣＮ，Ａ）

【文献】特開２０２０－０４２７６０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３９２５９６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－５／５０

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法であって、
下記のステップ、
ヘイズのある画像を事前にトレーニングされた敵対的生成ネットワークに入力し、ヘイズのある画像と対応するヘイズのない画像を取得すること、
を含み、
前記の敵対的生成ネットワークはクリエイターネットワーク及び弁別器ネットワークを含み、
前記のクリエイターネットワークが、順に接続されたバックボーンネットワーク、フィーチャーピラミッド及び画像再構成ネットワークを含み、
前記のヘイズのない画像の取得方法が、
下記のステップ、
前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うこと、
前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うこと、
前記の画像再構成ネットワークは融合されたフィーチャーに対する復元を行い、ヘイズのある画像と対応するヘイズのない画像を出力すること、
を含み、
前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うことは、バックボーンネットワークが入力されたヘイズのある画像に応答し、少なくとも2箇のスケールの異なるフィーチャーマップを出力することを含み、
前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うことは、前記バックボーンネットワークによって出力された少なくとも2箇のスケールの異なるフィーチャーマップを融合することを含み、
敵対的生成ネットワークのトレーニング方法は、
下記のステップ、
プリフェッチされた少なくとも2枚のヘイズのある画像及びそれと対応するヘイズのない画像に基づいてトレーニングサンプルセットを構成すること、
弁別器ネットワークの損失関数→0.5、クリエイターネットワークの損失関数→0をターゲットにし、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、トレーニングされた敵対的生成ネットワークを取得するまでそれに対するトレーニングを行うこと、
を含み、
弁別器ネットワークの損失関数は式が下記のとおりであり、

式の中、
L _D ：弁別器ネットワークの損失関数
D（I _i ^G ）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
D（I _i ^＊ ）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
であることを特徴とする、フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。

【請求項2】

フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法であって、
下記のステップ、
ヘイズのある画像を事前にトレーニングされた敵対的生成ネットワークに入力し、ヘイズのある画像と対応するヘイズのない画像を取得すること、
を含み、
前記の敵対的生成ネットワークはクリエイターネットワーク及び弁別器ネットワークを含み、
前記のクリエイターネットワークが、順に接続されたバックボーンネットワーク、フィーチャーピラミッド及び画像再構成ネットワークを含み、
前記のヘイズのない画像の取得方法が、
下記のステップ、
前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うこと、
前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うこと、
前記の画像再構成ネットワークは融合されたフィーチャーに対する復元を行い、ヘイズのある画像と対応するヘイズのない画像を出力すること、
を含み、
前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うことは、バックボーンネットワークが入力されたヘイズのある画像に応答し、少なくとも2箇のスケールの異なるフィーチャーマップを出力することを含み、
前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うことは、前記バックボーンネットワークによって出力された少なくとも2箇のスケールの異なるフィーチャーマップを融合することを含み、
敵対的生成ネットワークのトレーニング方法は、
下記のステップ、
プリフェッチされた少なくとも2枚のヘイズのある画像及びそれと対応するヘイズのない画像に基づいてトレーニングサンプルセットを構成すること、
弁別器ネットワークの損失関数→0.5、クリエイターネットワークの損失関数→0をターゲットにし、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、トレーニングされた敵対的生成ネットワークを取得するまでそれに対するトレーニングを行うこと、
を含み、
クリエイターネットワークの損失関数は、式が下記のとおりであり、

式の中、
L _G ：クリエイターネットワークの損失関数
I _i ^G ：クリエイターが生成したi番目の生成画像
I _i ^＊ ：トレーニングサンプルセットにおけるi番目のタグ付き画像
C：画像のチャンネル
W×H：画像の寸法
Ｄ（Ｉ _i ^G ）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
Ｄ（Ｉ _i ^＊ ）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
λ：重み係数の重み
であることを特徴とする、フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。

【請求項3】

敵対的生成ネットワークの弁別器ネットワークは順に接続された畳み込みアクティベーションレイヤー、コーディングユニットの抽出フィーチャレイヤー、完全に接続されたレイヤー及びsigmoidアクティベーションレイヤーを含み、前記のコーディングユニットの抽出フィーチャレイヤーは少なくとも2箇所あり、互いに直列に接続されていることを特徴とする請求項1または２に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。

【請求項4】

前記のバックボーンネットワークが事前にトレーニングされたMobileNet-V2ネットワークであることを特徴とする、請求項1または２に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。

【請求項5】

前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行う前にMobileNet-V2ネットワークに出力されたフィーチャーマップに対する1＊1畳み込み演算を行うことも含むことを特徴とする請求項4に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。

【請求項6】

前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対するトレーニングを行う前に平均値0及び標準偏差0.001のガウス分布によりランダムに重みWjiにおける各重さの初期化を行い、バイアスBjiが0となるようにすることを特徴とする請求項1または2に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。

【請求項7】

前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対する下記のもの、
トレーニング成績に応じて重みWji及びバイアスBjiを更新すること、
更新された重みWji及びバイアスBjiを損失関数に代入すること、
弁別器ネットワークの損失関数が0.5となり、トレーニングされた敵対的生成ネットワークを取得するまで重みWji及びバイアスBjiに関する更新及び代入の過程が重複するようにすること、
を含むトレーニングを行うことを特徴とする請求項6に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理の技術分野、特にフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法に関わる。

【0002】

本出願は2020年6月10日に中国特許局に提出され、出願番号が202010522038.0、発明の名称が「フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法」である中国特許により請求した優先権を請求し、その内容の全部が引用により本出願に結合されるものである。

【背景技術】

【0003】

ヘイズの気象条件で、空気に浮遊粒子と水滴がたくさんあり、これらの微粒子が光を吸収したり、散乱させたりして、画像取得システムによる画像パラメータの色の歪み、コントラスト低下及び細部紛失を引き起こし、ターゲット認識、セキュリティ監視、高度道路交通システムなどのコンピュータビジョンアプリケーションなどにおける画像の利用価値が低下した。そこで、イメージヘイズ除去技術改善に関する研究はヘイズ周囲におけるコンピュータビジョンシステムの正常な動作に対して具有十分に重要な現実的意義がある。従来のイメージヘイズ除去技術は大体に次の3種に区分される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

その一は、画像エンハンスメントに基づくヘイズ除去方法は画像劣化の原因を考慮に入れなく、画像エンハンスメントにより画像のコントラスト、彩度及び鋭さなどを向上させて画像の主観的視覚効果を向上させ、強化された画像はコントラストが更に高くなると同時に、情報紛失、画像の歪みなどの課題がある。

【0005】

その二は、復元に基づくヘイズ除去方法は大気中の光散乱モデルなどの物理モデルに基づき、様々な方法でモデルにおけるパラメータを推定し、インバージョンにより劣化までのオリジナル画像を求め、処理された画像は更に鮮明、自然であり、細部損失が少ないが、デヘイズ効果がモデルパラメータの選択に関わり、不正確なパラメータが直接に復元された画像の効果に影響を及ぼすと同時に、画像の予備知識に対する人工によるまとめ及び画像特徴デザインが必要であるので、複雑なシーンにユニバーサル性が乏しい。

【0006】

その三は、ディープラーニングに基づくヘイズ除去方法は人工デザインによるフィーチャー抽出器が不要であり、ニューラルネットワークのフィーチャー抽出力によりヘイズの特徴を習って良好な画像デヘイズ効果に達成するが、ネットワークモデルトレーニングパラメータが多すぎ、コンピューティングプラットフォームのメモリ及び計算力に対する需要が高く、画像のヘイズ除去効率が遅いという課題がある。

【0007】

そこで、本発明はフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法を提供して従来の技術における画像エンハンスメントによるヘイズ除去方法に処理された画像にある情報紛失の技術課題、画像復元によるヘイズ除去方法に処理された画像の不正確なパラメータが選択される場合に復元された画像の効果に影響を及ぼす技術課題、ディープラーニングに基づくヘイズ除去アルゴリズムを利用する場合に画像のヘイズ除去速度に影響を及ぼす技術課題を解決することを目的にする。

【課題を解決するための手段】

【0008】

下記のステップを含むフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法であり、
ヘイズのある画像を事前にトレーニングされた敵対的生成ネットワークに入力し、ヘイズのある画像と対応するヘイズのない画像を取得する。前記の敵対的生成ネットワークはクリエイターネットワーク及び弁別器ネットワークを含み、
敵対的生成ネットワークのクリエイターネットワークにフィーチャーピラミッドが融合された。

【0009】

望ましくは、敵対的生成ネットワークの弁別器ネットワークは順に接続された畳み込みアクティベーションレイヤー、コーディングユニットの抽出フィーチャレイヤー、完全に接続されたレイヤー及びsigmoidアクティベーションレイヤーを含み、前記のコーディングユニットの抽出フィーチャレイヤーは少なくとも2箇所あり、互いに直列に接続されている。

【0010】

望ましくは、前記のクリエイターネットワークは順に接続されたバックボーンネットワーク、フィーチャーピラミッド及び画像再構成ネットワークを含み、前記のヘイズのない画像の取得方法は下記のステップを含む。
１）前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行い、
２）前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行い、
３）前記の画像再構成ネットワークは融合されたフィーチャーに対する復元を行い、ヘイズのある画像と対応するヘイズのない画像を出力する。

【0011】

望ましくは、前記のバックボーンネットワークは事前にトレーニングされたMobileNet-V2ネットワークである。前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うことは、MobileNet-V2ネットワークが入力されたヘイズのある画像に応答し、少なくとも2箇のスケールの異なるフィーチャーマップを出力することを含む。

【0012】

望ましくは、前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行う前にMobileNet-V2ネットワークに出力されたフィーチャーマップに対する1＊1畳み込み演算を行うことも含む。

【0013】

望ましくは、敵対的生成ネットワークのトレーニング方法は下記のステップを含む。１）プリフェッチされた少なくとも2枚のヘイズのある画像及びそれと対応するヘイズのない画像に基づいてトレーニングサンプルセットを構成する。２）弁別器ネットワークの損失関数→0.5、クリエイターネットワークの損失関数→0をターゲットにし、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、トレーニングされた敵対的生成ネットワークを取得するまでそれに対するトレーニングを行う。

【0014】

望ましくは、弁別器ネットワークの損失関数は式が下記のとおりである。

【0015】

【数1】

式の中、
L_D：弁別器ネットワークの損失関数
D（I_i ^G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
D（I_i ^＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数

【0016】

望ましくは、クリエイターネットワークの損失関数は式が下記のとおりである。

【0017】

【数2】

式の中、
L_G：クリエイターネットワークの損失関数
I_i ^G：クリエイターが生成したi番目の生成画像
I_i ^＊：トレーニングサンプルセットにおけるi番目のタグ付き画像
C：画像のチャンネル
W×H：画像の寸法
Ｄ（Ｉ_i ^G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
Ｄ（Ｉ_i ^＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
λ：重み係数の重み

【0018】

望ましくは、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対するトレーニングを行うまで平均値0及び標準偏差0.001のガウス分布によりランダムに重みW_jiにおける各重さの初期化を行い、バイアスB_jiが0となるようにする。

【0019】

望ましくは、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対する下記のものを含むトレーニングを行う。
１）トレーニング成績に応じて重みW_ji及びバイアスB_jiを更新すること。
２）更新された重みW_ji及びバイアスB_jiを損失関数に代入すること。
３）弁別器ネットワークの損失関数が0.5となり、トレーニングされた敵対的生成ネットワークを取得するまで重みW_ji及びバイアスB_jiに関する更新及び代入の過程が重複するようにする。

【0020】

本発明ではフィーチャーピラミッド構成で普通の画像スケーリングを代替してマルチスケールのフィーチャー抽出を行い、弁別器ネットワークを追加し、元のネットワークのフレームを敵対的生成ネットワークに基づくフレームに展開し、クリエイター生成画像の品質及び効率を向上させる。その中、敵対的生成ネットワークのクリエイターはヘイズのある画像を入力し、ヘイズが除去された鮮明な画像を出力する。

【0021】

そこで、トレーニングが完了してからヘイズのある画像を敵対的生成ネットワークのクリエイターに入力するだけでヘイズが除去された鮮明な画像を取得できる。クリエイターでMobileNet-V2をバックボーンネットワークし、ネットワークモデルのトレーニングパラメータを少なくし、フィーチャー抽出の速度を向上させることができることができると同時に、ネットワークモデルに融合したフィーチャーピラミッド構成によりメモリ占用及び計算量を少なくすることができ、更に効率的にスケールの異なるヘイズのフィーチャーに関する情報が融合するようにし、ヘイズが除去された画像が更に鮮明で、自然であるようにすることができる。なお、モデルは敵対的生成ネットワークモデルに基づき、交互に反復するようなトレーニングを行なうので、同時にクリエイター生成画像の品質、安定性及び収束速度を向上させることができる。

【図面の簡単な説明】

【0022】

更に明らかに本発明の実例または従来の技術における技術策を示すために、次に実例に用いられる図について簡単に説明する。明らかに、次の説明における図は本発明の実例だけであり、本分野の普通の技術者が創造的労働をしないで、これらの図により他の図を取得することもできる。

【0023】

【図1】本発明の実施形態のプロセスチャートである。

【図2】本発明の実施形態における弁別器ネットワークの構成図である。

【図3】本発明の実施形態におけるクリエイターネットワークの構成図である。

【発明を実施するための形態】

【0024】

次に本発明の実例における図と合わせて本発明の実例における技術策について明らかに、完全に説明する。明らかに、説明関係の実例は本発明の実例の一部だけであり、その全部ではない。本分野の普通の技術者が本発明における実例に基づいていかなる創造的労働をしないで取得する他の実例のすべては本発明の請求項に属する。

【0025】

フィーチャーピラミッドは効率的なフィーチャー抽出方法であり、畳み込みニューラルネットワーク (Convolutional Neural Networks、CNN)モデル内部の低所から高所への複数の緯度のフィーチャーエクスプレスにより単一のイメージビューで画像に対する多次元のフィーチャーエクスプレスを生成し、画像ピラミッドと比べて大いにモデル計算及びメモリに対する需要を降下させた上、有効に普通のCNNモデルにエネルギーを与え、更に強い表現力のフィーチャーマップを生成できる。そこで、可以ネットワークモデルのフィーチャー抽出力を向上させると同時に、メモリ及び計算量に対する需要を降下させ、更に高い品質と効率の画像ヘイズ除去に達成できる。

【0026】

敵対的生成ネットワーク (Generative Adversarial Networks、GAN)モデルは敵対的過程により生成モデルを推定するフレームであり、クリエイターG及び弁別器Dというモデルの2つを含む。その中、クリエイターGは実際のサンプルデータの分布から新規データスペースに映射し、できる限りターゲット関数との誤差が小さくなるようにして弁別器を欺くようにする。弁別器Dは実際のデータ及びクリエイターGの生成データを入力し、努力して真と偽を判別し、両者が互いに対戦し、最終にナッシュ均衡に達成する。GANはモデルデザインが簡単であり、複雑な関数モデルの事前デザインが不要であり、トレーニング関数の逆伝播により、有効な損失関数に拘束されて更に効率的にネットワークモデルをトレーニングし、顕著にネットワークの収束性及び安定性を向上させることができる。

【0027】

上記の通りに、本発明の実例はフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法を提供したものである。図1は本発明の実例のプロセスチャートである。本発明はフィーチャーピラミッドを融合した敵対的生成ネットワークに基づいて達成するものであり、下記のステップを含む。

【0028】

ステップ1. RESIDE-BateにおけるOTS及びITSデータセットを取得してトレーニングサンプルにおけるヘイズのない画像セットにする。

【0029】

ステップ2.大気散乱モデルでステップ1におけるヘイズのない画像セットに濃度の異なるヘイズを入れてヘイズのある画像セットを取得する。ヘイズのある画像セット及びヘイズのない画像セットにおける画像を224＊224の画像ブロックにせん断し、HDF5のデータ形式に転換して記憶する。それぞれ比例に従ってヘイズのある画像の画像ブロック及びヘイズのない画像の画像ブロックを2つの部分に分かれ、その一部をトレーニングサンプル、他の一部を試験サンプルにしてトレーニングに用いる。この過程に、様々な天気条件下のヘイズの濃度に適応するために、ヘイズの異なる濃度下の画像フィーチャーをラーンし、ヘイズのない画像セット合成濃度10、20、30、40、50、60、70、80、90、100％のヘイズに対してヘイズのある画像セットを取得する。ヘイズのある画像及びヘイズのない画像の計2000対を選出してトレーニングサンプル、画像の残り400対を試験サンプルにする。

【0030】

ステップ3.ステップ2におけるHDF5形式のトレーニングサンプルを入力し、フィーチャーピラミッドを融合した敵対的生成ネットワークのデザインを行う。このフィーチャーピラミッドを融合した敵対的生成ネットワークは畳み込みニューラルネットワークからなる弁別器ネットワーク及びフィーチャーピラミッドを融合したクリエイターネットワークを含む。

【0031】

図2は本発明の実例における弁別器ネットワークの構成図であり、弁別器ネットワークが左から右へ順に接続された1つの畳み込みアクティベーションレイヤー、互いに直列に接続されている5つのコーディングユニットの抽出フィーチャレイヤー、1つの完全に接続されたレイヤー及び1つのsigmoidアクティベーションレイヤーを含む。

【0032】

畳み込みアクティベーションレイヤーは1つのConv畳み込みレイヤー及び1つのReluアクティベーションレイヤーを含み、畳み込みレイヤーはチャンネル数が32、ステップサイズが2、畳み込みカーネルはサイズが3×3であり、アクティベーションレイヤーはリニアユニットのReLUアクティベーション関数の修正により畳み込みの出力成績F₁に対する非線形回帰を行ってＦ_１ ^＊を取得し、式が下記のとおりである。

【0033】

【数3】

【0034】

各コーディングユニットの抽出フィーチャレイヤーは順に直列接続された1つのConv畳み込みレイヤー、1つのバッチノーマライゼーションレイヤー(BatchNorm)及び1つのアクティベーションレイヤー(Relu) を含み、5つのコーディングユニットの抽出フィーチャレイヤーが順に直列接続され、それと対応する畳み込みレイヤーパラメータを表1に示す。
表1：コーディングユニットの抽出フィーチャレイヤーで対応する畳み込みレイヤーパラメータ

【0035】

【表1】

【0036】

コーディングユニットの抽出フィーチャレイヤーでフィーチャー抽出を行ってから1×1の畳み込み(Conv)を行ってチャンネル数を削減して計算量を削減するようにする。完全に接続されたレイヤー(FC)はこの畳み込みレイヤーの後にあるので、抽出されたフィーチャーを区分してsigmoid関数で区分成績に対する正規化を行い、式が下記のとおりである。

【0037】

【数4】

【0038】

この関数により完全に接続されたレイヤーの成績を[0、1]に拘束でき、出力成績が弁別器により入力された画像が実際のヘイズのない画像であると判定する確率となる。

【0039】

図3は本発明の実例におけるクリエイターネットワークの構成図であり、クリエイターネットワークが順に接続されたフィーチャー抽出を行う1つのバックボーンネットワーク、フィーチャー融合を行う1つのフィーチャーピラミッド及びフィーチャーの復元を行う1つの画像再構成ネットワークを含む。

【0040】

バックボーンネットワークはプレトレーニングされたMobileNet-V2ネットワークであり、スケールの異なる4つのフィーチャーマップを出力し、それぞれMobileNet-V2ネットワークの「block_2_project」、「block_4_project」、「block_7_project」及び「block_11_project」レイヤーの出力画像であり、対応する寸法はそれぞれ112×112、56×56、28×28及び17×17である。ネットワークの計算量を削減するために、フィーチャーマップは、フィーチャーピラミッドに入力してフィーチャー融合を行う前に1×1の畳み込みを行う。

【0041】

フィーチャーピラミッドは1層目の操作が畳み込みカーネルが256×3×3、ステップサイズが1である1つの畳み込みレイヤー及び1つのReluのアクティベーションレイヤーについてアクティベーションされたフィーチャーマップを出力することである。それからのレイヤー別の操作は順に1つの2×2の逆畳み込みレイヤー、1つの入力フィーチャーマップの元素との加算レイヤー、1つの畳み込みカーネルが256×3×3、ステップサイズが1である畳み込みレイヤー及び1つのReluのアクティベーションレイヤーであり、アクティベーションされたフィーチャーマップが出力フィーチャーマップとなる。

【0042】

画像再構成ネットワークは逆畳み込みによりフィーチャーピラミッドに出力されたフィーチャーマップを一致するサイズのものに調整してからフィーチャーマップに連結し、畳み込み、アクティベーション、逆畳み込み及び元素の加算と融合により画像の再構成を行い、最後の再構成レイヤーで選択を行ってオリジナルヘイズのある画像を入力して加算操作を行って画像の低頻度細部を強化するようにする。
ステップ4.損失関数を構成する。

【0043】

弁別器ネットワークは損失関数が下式で算出できる。

【0044】

【数5】

式の中、
L_D：弁別器ネットワークの損失関数
D（I_i ^G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
D（I_i ^＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
クリエイターネットワークの損失関数は損失関数が下式で算出できる。

【0045】

【数6】

式の中、
L_G：クリエイターネットワークの損失関数
I_i ^G：クリエイターが生成したi番目の生成画像
I_i ^＊：トレーニングサンプルセットにおけるi番目のタグ付き画像
C：画像のチャンネル
W×H：画像の寸法
Ｄ（Ｉ_i ^G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
Ｄ（Ｉ_i ^＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
λ：重み係数の重み、0.01
この式で、右1項目の

は画像の像素損失を計算するための内容損失項目、右2項目の

は敵対的ネットワークにおける損失を計算するための敵対的損失項目である。

【0046】

これによると、弁別器の損失がサンプル画像及びタグ付き画像に対する判定確率の差であり、クリエイターの効果が望ましくなる場合、判定器が画像がヘイズ除去画像であるか、ヘイズのない画像であるかを判断できない。即ち、判定器は損失関数の成績が0.5である。この状態でクリエイターは実際と最も近く、ヘイズのない画像の成績を生じることができる。

【0047】

トレーニングを行う場合、先ずW_ji及びB_jiに対する初期化を行う。ネットワークモデルはレイヤー別の重みについて平均値0及び標準偏差0.001のガウス分布によりランダムにフィルターの重み、即ちW_jiにおける各重さに対する初期化を行う。初期化B_jiは0である。

【0048】

初期化を完成してから確率的勾配降下アルゴリズム及びにより重みW_ji及びバイアスB_jiを更新する。

【0049】

【数7】

式の中、
α：ラーン速度

【0050】

上記の2式における偏導関数は逆伝播アルゴリズムにより算出できる。即ち、損失関数式について下式によりそれぞれW_jiの偏導▽_ｗＬ及びB_jiの偏導▽_ＢＬを算出する。

【0051】

【数8】

【0052】

その中、逆伝播アルゴリズムは主なステップが次の通りである。
ステップ1.決まったサンプルを前へ伝え、ネットワークの神経ノードの全部の出力値を取得する。

【0053】

ステップ2.総誤差を算出し、総誤差によりある神経ノードについて偏導を求め、最終出力に対する当該神経ノードの影響を取得できる。
よって、ネットワークモデルトレーニングは完全なステップが次のとおりである。

【0054】

ネットワークの各レイヤーのパラメータに対する初期化を行う。

【0055】

ａ：各サンプルiについて、逆伝播により▽_ｗＬ及び▽_ＢＬを求める。

【0056】

ｂ：パラメータWji及びBjiの変化量を数式９により求める。その中、初期化の▽_ｗ及び▽_Ｂはともに0である。

【0057】

【数9】

【0058】

ｃ：パラメータの更新を完成する。

【0059】

ｄ：更新されたWji及びBjiを損失関数に代入し、判定器の損失関数が0.5となるまで重複してステップa）～d）を実行する。

【0060】

更新が完了すると、ステップ5に入る。

【0061】

ステップ5.新規ヘイズのある画像をトレーニングされたフィーチャーピラミッドを融合した敵対的生成ネットワークのクリエイターに入力し、取得した出力成績をこの新規ヘイズのある画像のヘイズが除去されたヘイズのない画像にする。

【0062】

本説明書の各実例についてステップバイステップ方式で説明し、各実例で主に他の実例との違いについて説明し、各実例で同じ、または類似的分について互いに参考して十分である。

【0063】

ここで具体的な例で本発明の原理及び実施方法について説明した。実例に関する上記の説明が本発明の方法及びその中核的な考え方に関する理解について支援を提供するものだけであり、本分野の普通の技術者が本発明の考え方に基づいて実例及び応用範囲で変更を行うことがあるので、本説明書の内容は本発明を制限するためのものであると理解されてはいけない。

【図1】

【図2】

【図3】