特許 7178438 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-16

(45)【発行日】2022-11-25

(54)【発明の名称】画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20221117BHJP

   G06T 1/40 20060101ALI20221117BHJP

【ＦＩ】

G06T5/00 700

G06T1/40

【請求項の数】 24

【外国語出願】

(21)【出願番号】P 2021040543

(22)【出願日】2021-03-12

(65)【公開番号】P2022103003

(43)【公開日】2022-07-07

【審査請求日】2021-03-16

(31)【優先権主張番号】17/134,216

(32)【優先日】2020-12-25

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390023582

【氏名又は名称】財團法人工業技術研究院

【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ

【住所又は居所原語表記】Ｎｏ．１９５，Ｓｅｃ．４，ＣｈｕｎｇＨｓｉｎｇＲｄ．，Ｃｈｕｔｕｎｇ，Ｈｓｉｎｃｈｕ，Ｔａｉｗａｎ ３１０４０

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100134577

【弁理士】

【氏名又は名称】石川 雅章

(72)【発明者】

【氏名】▲蒋▼ 泗得

(72)【発明者】

【氏名】高 得欽

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特開２０１９－１６５８３２（ＪＰ，Ａ）

【文献】国際公開第２０１５／１９０１８４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／２０－ １／４０

Ｇ０６Ｔ ５／００－ ５／５０

(57)【特許請求の範囲】

【請求項1】

画像ヘイズ除去方法であって、該画像ヘイズ除去方法は、
入力画像を受信するステップと、
ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記入力画像のヘイズ除去をするステップと、
HDR画像を出力するためのHDRモジュールにより露光不足または露光過度から前記ヘイズ除去RGB画像の画像輝度のダメージを回復するステップと、
ReflectNet推論モデルにより前記HDR画像の反射マップを除去するステップであって、前記ReflectNet推論モデルは深層学習アーキテクチャを用いる、ステップとを有する、画像ヘイズ除去方法。

【請求項2】

請求項１に記載の画像ヘイズ除去方法であって、
ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記画像のヘイズ除去をする前記ステップは、さらに、
最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定するステップと、
ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化するステップと、
大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出すステップと、
線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復するステップとを有する、画像ヘイズ除去方法。

【請求項3】

請求項２に記載の画像ヘイズ除去方法であって、
最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定する前記ステップは、さらに、
前記入力画像を複数のブロックセグメントにセグメント化するステップであって、前記ブロックセグメントの各々が中心画素を含む、ステップと、
全てのカラーチャネルのためのブロックセグメントの最低強度値を有する画素を見出すステップとを有する、画像ヘイズ除去方法。

【請求項4】

請求項２または請求項３に記載の画像ヘイズ除去方法であって、
ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化する前記ステップは、さらに、
形状精緻化を制御するためにソフト制約パラメータを用いて前記反転最小チャネルマップを平滑化するステップと、
Laplacianマトリックスを用いて前記反転最小チャネルマップを修正するステップとを有する、画像ヘイズ除去方法。

【請求項5】

請求項２から請求項４のいずれか一項に記載の画像ヘイズ除去方法であって、
大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出す前記ステップは、さらに、
前記ヘイズ透過マップ内で最も低い強度値を持つ画素を見出すステップを有する、画像ヘイズ除去方法。

【請求項6】

請求項２から請求項５のいずれか一項に記載の画像ヘイズ除去方法であって、
線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復する前記ステップは、さらに、
前記ヘイズ透過マップ及び大気係数を用いて前記ヘイズ除去RGB画像の強度値を計算するために画素ごとの操作を実行するステップを有し、前記大気係数は前記大気チャネル検出アルゴリズムにより見出される、画像ヘイズ除去方法。

【請求項7】

請求項１から請求項６のいずれか一項に記載の画像ヘイズ除去方法であって、
HDR画像を出力するためのHDRモジュールにより前記ヘイズ除去RGB画像の画像輝度を回復する前記ステップは、さらに、
Naka‐Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化するステップと、
ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化するステップと、を有する、画像ヘイズ除去方法。

【請求項8】

請求項７に記載の画像ヘイズ除去方法であって、
Naka-Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化する前記ステップは、さらに、
前記ヘイズ除去RGB画像のカラーチャネルを輝度マップに変換するカラー修正を実行するステップと、
前記輝度マップを用いて前記ヘイズ除去RGB画像の明るい画素及び暗い画素をセグメント化するための閾値を計算するステップであって、前記閾値は画素クラスタリングの閾値であるステップと、
前記輝度マップから計算された補償係数を用いて前記ヘイズ除去RGB画像の画素を変換するステップと、を有する、画像ヘイズ除去方法。

【請求項9】

請求項７または請求項８に記載の画像ヘイズ除去方法であって、
ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化する前記ステップは、さらに、
前記ヘイズ除去RGB画像に対して強度のヒストグラム均等化を実行するステップを有する、画像ヘイズ除去方法。

【請求項10】

請求項１から請求項９のいずれか一項に記載の画像ヘイズ除去方法であって、
前記ReflectNet推論モデルは、さらに、
前記画像からの反射マップを分離するために、予め教育された画像セグメント化モデルの特徴を有するエンコーダ－デコーダネットワークを含む、画像ヘイズ除去方法。

【請求項11】

請求項１から請求項１０のいずれか一項に記載の画像ヘイズ除去方法であって、
ReflectNet推論モデルにより前記HDR画像の反射を除去する前記ステップは、さらに、
前記HDR画像から特徴をエンコードするステップと、
RGB画像を出力するために前記特徴をデコードするステップとを有する、画像ヘイズ除去方法。

【請求項12】

請求項１から請求項１１のいずれか一項に記載の画像ヘイズ除去方法であって、
前記ReflectNet推論モデルは、
特徴損失と、
敵対的損失と、
傾き損失とを備える損失関数で教育される、画像ヘイズ除去方法。

【請求項13】

画像ヘイズ除去装置であって、該画像ヘイズ除去装置は、
センサと、
該センサに結合されたプロセッサと、を備え、該プロセッサは、少なくとも、
入力画像を受信するステップと、
ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記入力画像のヘイズ除去をするステップと、
HDR画像を出力するためのHDRモジュールにより露光不足または露光過度から前記ヘイズ除去RGB画像の画像輝度のダメージを回復するステップと、
ReflectNet推論モデルにより前記HDR画像の反射マップを除去するステップであって、前記ReflectNet推論モデルは深層学習アーキテクチャを用いる、ステップと、のために構成される、画像ヘイズ除去装置。

【請求項14】

請求項１３に記載の画像ヘイズ除去装置であって、
前記プロセッサは、ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記画像のヘイズ除去をするステップのために構成され、
ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記画像のヘイズ除去をする前記ステップは、さらに、
最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定するステップと、
ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化するステップと、
大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出すステップと、
線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復するステップと、のために構成される、画像ヘイズ除去装置。

【請求項15】

請求項１４に記載の画像ヘイズ除去装置であって、
前記プロセッサは、最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定するステップのために構成され、
最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定する前記ステップは、さらに、
前記入力画像を複数のブロックセグメントにセグメント化するステップであって、前記ブロックセグメントの各々が中心画素を含む、ステップと、
全てのカラーチャネルのためのブロックセグメントの最低強度値を有する画素を見出すステップと、のために構成される、画像ヘイズ除去装置。

【請求項16】

請求項１４から請求項１５のいずれか一項に記載の画像ヘイズ除去装置であって、
前記プロセッサは、ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化するステップのために構成され、
ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化する前記ステップは、さらに、
形状精緻化を制御するためにソフト制約パラメータを用いて前記反転最小チャネルマップを平滑化するステップと、
Laplacianマトリックスを用いて前記反転最小チャネルマップを修正するステップと、のために構成される、画像ヘイズ除去装置。

【請求項17】

請求項１４から請求項１６のいずれか一項に記載の画像ヘイズ除去装置であって、
前記プロセッサは、大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出すステップのために構成され、
大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出す前記ステップは、さらに、
前記ヘイズ透過マップ内で最も低い強度値を持つ画素を見出すステップのために構成される、画像ヘイズ除去装置。

【請求項18】

請求項１４から請求項１７のいずれか一項に記載の画像ヘイズ除去装置であって、
前記プロセッサは、線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復するステップのために構成され、
線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復する前記ステップは、さらに、
前記ヘイズ透過マップ及び大気係数を用いて前記ヘイズ除去RGB画像の強度値を計算するために画素ごとの操作を実行するステップのために構成され、前記大気係数は前記大気チャネル検出アルゴリズムにより見出される、画像ヘイズ除去装置。

【請求項19】

請求項１３から請求項１８のいずれか一項に記載の画像ヘイズ除去装置であって、
前記プロセッサは、HDR画像を出力するためのHDRモジュールにより前記ヘイズ除去RGB画像の画像輝度を回復するステップのために構成され、
HDR画像を出力するためのHDRモジュールにより前記ヘイズ除去RGB画像の画像輝度を回復する前記ステップは、さらに、
Naka‐Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化するステップと、
ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化するステップとのために構成される、画像ヘイズ除去装置。

【請求項20】

請求項１９に記載の画像ヘイズ除去装置であって、
前記プロセッサは、Naka-Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化するステップのために構成され、
Naka-Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化する前記ステップは、さらに、
前記ヘイズ除去RGB画像のカラーチャネルを輝度マップに変換するカラー修正を実行するステップと、
前記輝度マップを用いて前記ヘイズ除去RGB画像の明るい画素及び暗い画素をセグメント化するための閾値を計算するステップであって、前記閾値は画素クラスタリングの閾値であるステップと、
前記輝度マップから計算された補償係数を用いて前記ヘイズ除去RGB画像の画素を変換するステップと、のために構成される、画像ヘイズ除去装置。

【請求項21】

請求項１９または請求項２０に記載の画像ヘイズ除去装置であって、
前記プロセッサは、ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化するステップのために構成され、
ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化する前記ステップは、さらに、
前記ヘイズ除去RGB画像に対して強度のヒストグラム均等化を実行するステップのために構成される、画像ヘイズ除去装置。

【請求項22】

請求項１３から請求項２１のいずれか一項に記載の画像ヘイズ除去装置であって、
前記ReflectNet推論モデルは、さらに、
前記画像からの反射マップを分離するために、予め教育された画像セグメント化モデルの特徴を有するエンコーダ－デコーダネットワークのために構成される、画像ヘイズ除去装置。

【請求項23】

請求項１３から請求項２２のいずれか一項に記載の画像ヘイズ除去装置であって、
前記プロセッサは、ReflectNet推論モデルにより前記HDR画像の反射を除去するステップのために構成され、
ReflectNet推論モデルにより前記HDR画像の反射を除去する前記ステップは、さらに、
前記HDR画像から特徴をエンコードするステップと、
RGB画像を出力するために前記特徴をデコードするステップと、のために構成される、画像ヘイズ除去装置。

【請求項24】

請求項１３から請求項２３のいずれか一項に記載の画像ヘイズ除去装置であって、
前記ReflectNet推論モデルは、
特徴損失と、
敵対的損失と、
傾き損失とを備える損失関数で教育される、画像ヘイズ除去装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置に向けられている。

【背景技術】

【0002】

光を通過させて、進行する光強度に従って空間的に暗くすることができる塩化銀コート紙を露光するスリット技術を使用する撮像装置の出現以来、撮像装置の利用は、ますます多くのエンドユーザが静的から動的な撮像（すなわちビデオカメラ）への撮像装置の前進を間接的に支援する可能性のあるパトロンになるにつれて、年々増加してきている。プロ、科学、家電に至るまで、撮像装置の利用可能性は今まで以上に広がったことはない。大量生産システムに支持されて、ピクセル密度あたりの撮像装置のコストがそれに応じて低下してきた。これらの条件は、工学の関連分野におけるより広範な応用のための撮像装置（即ち、カメラ）の強い存在を生み出した。

【0003】

コンシューマエレクトロニクスにおけるIoT（Internet‐of‐Things）の能力の増加に伴い、自動運転車（ADV）の開発がより関連性を増してきた。図１は、障害物のための周囲環境を感知するために異なる撮像センサを利用するADVを例示する。ADVにおける最も顕著な撮像装置の一つは赤緑青色（RGB）カメラであり、該当するカメラの限られた視野（FOV）内の周囲環境の密な意味的またはインスタンス情報を提供することができる。この特定情報は、ADVの主な目標を達成するためのアクチュエータのための必須データを提供するであろう、すなわち、周囲軌道の予測内の物体または障害物を回避しながら、ある位置から別の位置へ自律的に移動することであろう。物体検出、画像セグメンテーション、物体追跡、深さ推定および他の関連応用のような画像データに種々の処理を適用することができるであろう。

【0004】

後続の処理モジュールの機能以外に、該当するRGBカメラから知覚される品質は、前記後続の処理モジュールの性能に影響を与える可能性がある。

【0005】

表１は、異なる環境制約におけるRGBカメラの性質を比較したものである。表１によれば、RGBカメラは、光ベースまたは天候ベースの条件からの干渉の影響を受けやすい。RGBカメラは受動センサであるため、画像データはセンサアレイへの知覚進行光信号に大きく依存する。進行光信号を減衰／分散させるであろういかなる浮遊粒子状物質または中間物質も、RGBカメラのためのダメージファクタとして考慮される。

【表1】

【0006】

ADVの開発において、異なる気象条件は、ある程度のRGBカメラの画像品質に影響を及ぼすであろう制御不可能な変数である。ADV開発のための共通シナリオに関する悪天候は、（a）太陽のまぶしい光／直射日光露光（b）降雨／積雪条件および（c）霧／もや条件に分類できる。太陽のまぶしい光／直射日光露光を含むシナリオでは、RGBカメラからの画質は、直射露光が光センサーアレイをクリップし／飽和させると、劣化し、露光画像領域だけでなくその隣接画像領域に影響を与える可能性がある。この特定シナリオは、露光画素とその隣接領域が過剰であるため、画像エントロピーを下げることにより、知覚される客観性を低減する。その結果、顕著な物体からの画像特徴は抑制された。これにより、ほとんどの物体検出アルゴリズムが適切な検出を生成するための困難なタスクが作成される。

【0007】

降雨／積雪条件を含むシナリオでは、水滴または雪片のような媒介物質の存在は、減衰度を有するカメラレンズに入る光の総量を減衰させるが、この減衰の程度は、降雨／積雪条件のいずれかの強度に直接対応する。また、これらの物質は、RGBカメラの設置方法および／または設計によっては、画像の歪みおよび／またはFOVの障害物を発生させる可能性がある。同様に、霧／もや条件を含むシナリオも、湿った空気／汚染物質の存在が、該当するもや／霧の状況がどれだけ厳しいかに応じて、ある程度の光量を吸収するので、RGBカメラの可視性を低下させるであろう。その結果、降雨／積雪条件と同様に、霧／もや条件のいずれかも、大部分の高周波情報が抑制されるので、特徴抽出のような分析を実行するための大部分の物体検出アルゴリズムに対する挑戦を提供するであろう。

【0008】

実用例として、図２Aに示す明瞭な午後条件の間、知覚される客観性は、かなりのコントラスト及び画像の可視性を伴って明瞭である。しかしながら、低光環境における不均衡な強度及び豪雨条件のような図２Bに示された悪条件は、自動運転車両上の周りの物体検知のためのRGBカメラの信頼性に疑問を呈する望ましくない状況を生み出している。低光環境での不均衡強度の間、他の画素の強度に影響する過剰露光が、ヒストグラム値のより高い範囲でシフトされるため、コントラスト比は抑制された。豪雨条件の間、大気チャネルは、センサーアレイへの進行光量を減衰させる浮遊物質の存在のために増加した。これらの条件は、受動センシングデバイスとしてのRGBカメラの限界を実証した。

【0009】

実用的な観点では、RGB画像の品質を高めるための画像前処理機能としてのソフトウェアソリューションの利用は、RGBカメラのためのパッチの要素になり得、その中の画質は悪天候条件によって一般的にダメージを受ける。しかしながら、RGBカメラのハードウェア改良は、あらゆる種類の気象条件（悪い、または通常のいずれか）中のRGBカメラの信頼性に大幅に対処するために、あらゆるソフトウェアソリューションの補完パッチとして必要である。画像前処理機能において、RGB画像は、選択的フィルタリング（すなわち、ヘイズ除去）を通して知覚される客観性を改善するとともに、画像コントラストを強化することを共通の目的として、画素ごとにまたは領域ごとにのいずれかで処理される。

【0010】

図２Cは、関連技術（例えば、J.edmon他によって教示されたYOLOv３「YOLOv３:漸進的な改善（Incremental Improvement）」、arXiv： １８０４．０２７６７、２０１８年４月）における物体検出アルゴリズムの性能を、元のバージョンおよび処理されたRGBバージョンの両方からの入力画像と比較する。（左上から右下へ）露出過多、露出不足、雨の降る状態および霧の状態のような悪天候条件の間、該当するカメラから直接、元のRGB画像を得た。一方、処理されたRGB画像は、該当する元のRGB画像上の画像前処理機能の積であるため、元のRGB画像強化バージョンと呼ぶことができる。この関連技術では、画像前処理機能として画像のヘイズ除去と高ダイナミックレンジ（HDR）強化が用いられた。

【0011】

この関連技術において、図２Cを参照すると、元のRGB画像を使用する実装された物体検出アルゴリズムの検出率は、処理されたRGB画像を使用する実装された物体検出アルゴリズムの検出率と比較してより低い。この条件は、画像前処理が元のRGB画像の知覚された客観性を強化することができ、従って、アルゴリズムの分級が以前に思い付いた物体を検出するために、より高い画像可視性を可能にすることを示唆している。加えて、誤検出率に関しては、元のRGB画像と処理されたRGB画像の両方が同一に低い。ある観点では、この条件は、この関連技術における実装された物体検出アルゴリズムのロバスト性から寄与することができるけれども、この条件は、誤検出をもたらすであろう望ましくないアーチファクトを生じるであろう過強調を避けることにおける画像前処理の機能を実証するかもしれない。

【0012】

上記によれば、RGB画像の知覚品質を規制し、改善するための画像前処理技術は、その後のコンピュータによる写真に重要である。処理されたRGB画像の適用は、コンピュータ及びマシンビジョンの範囲内で引き伸ばすことができる。最も一般的な用途は、地上車、飛行機または船舶を含む自動運転乗り物であり、これはセンシングデバイスとしてRGBカメラを必要とするであろう。しかしながら、それらのRGBカメラは、様々な悪天候状況にわたって品質劣化を有し得ることが実証されているので、いかなる誤りまたは過剰な強化効果ももたらさずに、様々な天候条件（悪天候または通常の天候条件のいずれか）の下で、画像コントラストと知覚対象の両方を改善するであろう解決パッチとして、画像前処理機能が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0013】

本発明は、デジタルビジョン技術の展開において遭遇し得る様々な課題を解決するためのハイブリッド画像処理フレームワークを提供する、同じ方法を使用する画像ヘイズ除去方法および画像ヘイズ除去装置に向けられる。

【課題を解決するための手段】

【0014】

一態様では、本発明は、画像ヘイズ除去方法に向けられ、この方法は、限定されないが、入力画像を受信するステップと、ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより画像のヘイズ除去をするステップと、HDR画像を出力するための高ダイナミックレンジ（HDR）モジュールにより前記ヘイズ除去RGB画像の画像輝度を回復するステップと、ReflectNet推論モデルにより前記HDR画像の反射を除去するステップであって、前記ReflectNet推論モデルは深層学習アーキテクチャを用いる、ステップとを含む。

【0015】

一態様では、本発明は、限定されないが、センサおよびセンサに結合されたプロセッサを含む画像ヘイズ除去装置に向けられる。プロセッサは、少なくとも、入力画像を受信するステップと、ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより画像のヘイズ除去をするステップと、HDR画像を出力するためのHDRモジュールにより前記ヘイズ除去RGB画像の画像輝度を回復するステップと、ReflectNet推論モデルにより前記HDR画像の反射を除去するステップであって、前記ReflectNet推論モデルは深層学習アーキテクチャを用いる、ステップと、のために構成される。

【発明の効果】

【0016】

以上の点に鑑み、本発明の画像ヘイズ除去方法及び画像ヘイズ除去装置を通じ、画像品質を高めることができ、物体検出及び画像セグメンテーション等の後続処理の性能を向上させることができる。

【0017】

前述のことをより分かりやすくするために、図面を伴ういくつかの実施形態を以下のように詳細に説明する。前記の一般的な説明および以下の詳細な説明の双方は、例示的なものであり、請求項に記載されている発明のさらなる説明を提供することを意図するものであることを理解されたい。

【0018】

しかしながら、本発明の概要は、本発明の態様および実施形態の全てを含んでいなくてもよく、したがって、いかなる態様においても限定的または制限的であることを意味するものではないことを理解されたい。また、本発明は、当業者にとって自明である改良および修正を含むであろう。

【図面の簡単な説明】

【0019】

添付図面は、本発明のさらなる理解を提供するために含まれ、本明細書に組み込まれ、その一部を構成する。図面は、本発明の例示的実施形態を例示し、説明とともに、本発明の原理を説明する役割を果たす。

【0020】

【図1】障害物のための周囲環境を感知するために異なる撮像センサを利用する自動運転車両（ADV）を例示する。

【図2A】 晴れた午後の状態でRGBカメラによって取得された画像を例示する。

【図2B】 RGBカメラが、夜の露光、豪雨、日光露光、濃霧、及び薄暗い夜などの悪 条件の影響を受けやすいことを例示する。

【図2C】 物体検出アルゴリズムのためのRGB画像に対する画像前処理の効果を例示 する。

【図3】本発明の例示的実施形態の１つに従った画像ヘイズ除去方法のステップを例示するフローチャートである。

【図4】本発明の例示的実施形態の１つによる画像ヘイズ除去装置のブロック図を例示する。

【図5】本発明の例示的実施形態の１つによる画像ヘイズ除去方法のステップを例示するフローチャートである。

【図6】本発明の例示的な実施形態の１つに従った、画像ヘイズ除去方法によって処理された入力RGB画像および出力RGB画像の実施例を例示する。

【図7】本発明の例示的実施形態の１つによる画像ヘイズ除去方法のステップを例示する詳細なフロー図である。

【図8】本発明の例示的な実施形態の１つに従ったヘイズ除去モジュールのアルゴリズムを例示する詳細なフロー図である。

【図9】ヘイズ除去モジュールのアルゴリズムによって処理される入力RGB画像及び出力ヘイズ除去画像の実施例を例示する。

【図10】本発明の例示的な実施形態の１つに従ったヘイズ除去モジュール内の最小チャネル推定アルゴリズムによって処理される入力RGB画像および最小チャネルマップの実施例を例示する。

【図11】本発明の例示的な実施形態の１つに従ったヘイズ除去モジュールにおけるガイド付きフィルタリングアルゴリズムによって処理される、反転された最小チャネルマップおよびヘイズ透過マップの実施例を例示する。

【図12】本発明の例示的な実施形態の１つに従ったヘイズ除去画像のヘイズ透過マップから強度値を見つけるヘイズ除去モジュールにおける大気チャネル検出アルゴリズムの実施例を例示する。

【図13】本発明の例示的な実施形態の１つに従った入力画像からヘイズ除去されたRGB画像を回復するヘイズ除去モジュールにおける線形カラー再構成アルゴリズムの実施例を例示する。

【図14】本発明の例示的実施形態の１つに従ったHDRモジュールのアルゴリズムを例示する詳細なフロー図である。

【図15】本発明の例示的実施形態の１つに従ったHDRモジュールへの入力ヘイズ除去画像と、HDRモジュールによって処理される出力HDR画像との実施例を例示する。

【図16】本発明の例示的な実施形態の１つに従った、Naka－Rushton補償器によるヘイズ除去RGB画像の画像輝度を増強するフロー図である。

【図17】本発明の例示的な実施形態の１つに従った、局所ヒストグラム操作によってヘイズ除去RGB画像の画像コントラストを強化する実施例を例示する。

【図18】本発明の例示的実施形態の１つに従ったReflectNet推論モデルによるHDR画像の反射の除去を例示するフロー図である。

【図19】本発明の例示的実施形態の１つに従ったReflectNet推論モデルによって処理される入力ヘイズ除去画像および出力HDR画像の実施例を例示する。

【図20】本発明の例示的実施形態の１つに従ったReflectNet推論モデルのエンコーダ－デコーダのアーキテクチャを例示する。

【図21】本発明の例示的実施形態の１つに従った、ReflectNet推論モデルを教育するために用いられるデータセットの中の元のRGB画像およびRGB画像の反射バージョンの実施例を例示する。

【図22】画像ヘイズ除去方法の実施例を関連技術におけるベンチマーク方法と比較する表である。

【図23】画像ヘイズ除去方法の実施例の性能評価を、関連技術におけるベンチマーク方法と比較する表である。

【図24】関連技術におけるベンチマーク方法によって処理された出力画像と比較して、本発明の例示的実施形態の１つによる画像ヘイズ除去方法によって処理された元の入力画像および出力画像の例を例示する。

【図25】関連技術におけるベンチマーク方法によって処理されたRGB画像および元のRGB画像上の物体検出の性能評価と比較して、本発明の例示的な実施形態の１つに従い、画像デヘイズ除去方法によって処理されたRGB画像上の物体検出の性能評価を例示する表である。

【図26】元の画像、関連技術におけるベンチマーク方法によって処理された画像および本発明の例示的な実施形態の１つに従い、画像デヘイズ除去方法によって処理された画像上の物体検出アルゴリズムの実施例を例示する。

【発明を実施するための形態】

【0021】

ここで、本発明の本例示的実施形態を詳細に参照する。その実施例は添付図面に図示されている。可能な限り、同一の参照番号が図面及び説明において使用されており、同一又は同様の部品を参照している。

【0022】

本発明は、デジタルビジョン技術の配備において遭遇する可能性のある様々な課題を解決するために、上述の課題に対して、ハイブリッド画像処理フレームワークを提供する。フレームワークは、画像ヘイズ除去方法を使用する画像ヘイズ除去装置の観点から説明される。この装置は、例えば、自動運転または自律走行車、空中ドローン、および海洋ドローンなどの屋外環境における自動の又は任意のロボットシステム内に配置することができる。この装置は、限定されないが、センサ及びセンサに結合されたプロセッサを含み、プロセッサは、少なくとも、入力画像を受け取り、ヘイズ除去されたRGB画像を出力するためにヘイズ除去モジュールによって画像をヘイズ除去し、ヘイズ除去されたRGB画像の画像輝度をHDRモジュールによって回復してHDR画像を出力し、ReflectNet推論モデルによってHDR画像の反射を除去するように構成され、ここで、ReflectNet推論モデルは、深層学習アーキテクチャを使用する。提供されたフレームワークを通して、画像品質を強化することができ、物体検出および画像セグメンテーションのような後続処理の性能を改善することができた。

【0023】

図３は、本発明の例示的実施形態の１つに従った画像ヘイズ除去方法のステップを例示するフローチャートである。ステップS３０１において、画像ヘイズ除去装置は、センサを介して入力画像を受信する。ステップS３０２において、画像ヘイズ除去装置は、ヘイズ除去されたRGB画像を出力するために、ヘイズ除去モジュールによって画像をヘイズ除去する。ステップS３０３において、画像ヘイズ除去装置は、HDRモジュールによってヘイズ除去されたRGB画像の画像輝度を回復して、HDR画像を出力する。ステップS３０４において、画像ヘイズ除去装置は、ReflectNet推論モデルによってHDR画像の反射を除去する。ここで、ReflectNet推論モデルは、深層学習アーキテクチャを使用する。

【0024】

図４は、本発明の例示的実施形態の１つによる画像ヘイズ除去装置のブロック図を例示する。画像ヘイズ除去装置４０は、限定されないが、センサ４０１と、センサ４０１に結合されたプロセッサ４０２とを含む。プロセッサ４０２は、少なくとも、入力画像を受け取り、ヘイズ除去されたRGB画像を出力するためにヘイズ除去モジュールによって画像をヘイズ除去し、HDRモジュールによってヘイズ除去されたRGB画像の画像輝度を回復してHDR画像を出力し、ReflectNet推論モデルによってHDR画像の反射を除去するように構成され得、ここで、ReflectNet推論モデルは、深層学習アーキテクチャを使用する。

【0025】

図５は、本発明の例示的実施形態の１つによる画像ヘイズ除去方法のステップを例示するフローチャートである。ステップS５０１において、画像ヘイズ除去装置は、センサを介して入力RGB画像を受信する。ステップS５０２において、例示的な実施形態の１つにおいて、画像ヘイズ除去装置は、RGB画像をヘイズ除去し、画像ヘイズ除去モジュールによってヘイズ除去されたRGB画像を出力する。より具体的には、画像ヘイズ除去装置は、もや／雨またはカメラセンサと物体との間の任意の他の媒介物質の存在から寄与する減衰効果を検出し、回復することができる。一実施形態では、画像ヘイズ除去モジュールは、２D RGB画像における奥行き感を保持しながら、奥行き知覚に基づいてヘイズ体積を検出し、次いで、影響を受けた画素を直線的に補償または回復するように、従来のコンピュータビジョンで設計することができる。具体的には、画像ヘイズ除去装置は、画像輝度を純粋に増加させる、もや又は雨から画素を回復することができる。ステップS５０３において、例示的な実施形態の１つにおいて、画像ヘイズ除去装置は、HDRモジュールによってヘイズ除去されたRGB画像の画像輝度を回復して、HDR画像を出力する。より具体的には、HDRモジュールは、該当するRGB画像のダイナミックレンジを改善するように設計することができる。一実施形態では、画像ヘイズ除去装置は、画像ヘイズ除去モジュールによって、または低光環境から自然に導入され得る画像の暗さを補償することができる。具体的には、画像ヘイズ除去装置は、任意の明るい光の画素に対して低光の画素間のバランスを見つける輝度強化を生成することができる。ステップS５０４において、画像ヘイズ除去装置は、HDR画像の反射を除去する。例示的な実施形態の１つにおいて、反射除去は、画像セグメンテーションのための在来機能性を有する機械学習アプローチを採用することができ、そのタスクは、反射のない出力画像を得るために、入力画像から反射マップを分離することである。具体的には、一実施形態では、反射除去は、エンコーダ－デコーダネットワークのような深層学習アーキテクチャを使用することができるReflectNet推論モデルによって実施することができる。

【0026】

図６は、本発明の例示的な実施形態の１つに従った、画像ヘイズ除去方法によって処理された入力RGB画像および出力RGB画像の実施例を例示する。図６を参照すると、画像６０１は、図５のステップS５０１に示されるように、センサによって受信され得る入力RGB画像の一例であり、画像６０２は、図５に示されるように、画像６０１がステップS５０２～S５０４の処理を経た後に、図５のステップS５０５において生成され得る出力RGB画像の一例である。

【0027】

図７は、本発明の例示的実施形態の１つによる画像ヘイズ除去方法のステップを例示する詳細なフロー図である。ステップS７０１において、画像ヘイズ除去装置は、センサを介して入力RGB画像を受信する。入力RGB画像は、I()のように表すことができる。例示的な実施形態の１つでは、ステップS７０２において、入力RGB画像I()は、まず画像ヘイズ除去モジュールによって処理されて、もや、雨、またはカメラセンサによって受ける光の量を減衰する他の任意の中間媒体から悪影響を除去する。具体的には、一実施形態では、ステップS７０２における画像ヘイズ除去モジュールは、４つのサブモジュール、すなわち、（a）最小チャネル推定（b）ガイド付きフィルタリング（c）大気チャネル検出（d）線形カラー再構成によって実施することができる。入力RGB画像I()を画像ヘイズ除去モジュールで処理した後、I_D()として示す出力ヘイズ除去画像を生成することができる。

【0028】

ステップS７０３において、例示的実施形態の１つにおいて、HDRモジュールは、画像を暗くする画像及び／又は低光環境からの露光のいずれかの画像ヘイズ除去モジュールから寄与し得る画像輝度のダメージを回復することができる。より具体的には、HDRモジュールは、Naka－Rushton補償器と局所ヒストグラム均等化（LHE）操作の２つのサブモジュールを含んでいる。Naka－Rushton補償器は、あらゆる露光不足または露光過度から画像輝度を回復するための補償手段である。この補償は初期化中に計算されたヘイズ除去画像I_D()から統計情報を取ることができる。LHE操作は、Naka－Rushton補償器から引き起こされる可能性のある任意のコントラストの損失に対して、各カラーチャネル（r、g、b）のための画像コントラストを強化することができる局所ヒストグラム均等化技術である。ヘイズ除去画像I_D()がHDRモジュールによって処理された後、I_H()のように表記されるHDR画像が生成され得る。

【0029】

ステップS７０４において、例示的実施形態の１つにおいて、反射除去モジュールは、機械学習アプローチ、すなわち、深層学習アーキテクチャに基づくことができるReflectNet推論モデルを使用することができる。一実施形態では、ReflectNet推論モデルは、セグメンテーション・アーキテクチャから事前教育されたモデルを備えたエンコーダ－デコーダ・ネットワークによって実装することができる。エンコーダ側及び（セグメンテーションアーキテクチャからの）予め教育されたモデルは、O()のように表記される出力RGB画像に対する反射マップの分離のためにデコーダ側によってデコードされるハイパーカラム特徴を生成する。

【0030】

図８は、本発明の例示的な実施形態の１つに従ったヘイズ除去モジュールのアルゴリズムを例示する詳細なフロー図である。ヘイズ除去モジュールは、次のように数学的に定式化することができる。

【数1】

ここで、I()は入力RGB画像であり、I_D()は出力ヘイズ除去画像であり、T()はヘイズ透過マップであり、Aは大気係数であり、xは画素位置である。

【0031】

ステップS８０１において、例示的実施形態の１つにおいて、大気チャネル検出における最小チャネル推定は、もや／雨の性質または式（１）で表される任意の中間媒体に基づいて設計された。ヘイズのないまたは無ヘイズの画像の場合、大部分の画素の色彩度は、物体の実際の色を反映するであろうが、ヘイズの存在は、画像の輝度を増加させ、色彩度を減少させる減衰効果を導入するであろう。無ヘイズの画像の場合、入力RGB画像I()の少なくともカラーチャネルは強度のローエンドスペクトルに落ちるであろう。換言すれば、最小画素値でカラーチャネルを観察することにより、式（１）に示されるように、ヘイズ媒体の存在に反映されるであろう。

【0032】

具体的には、一実施形態では、最小チャネル推定は、入力RGB画像I()を、ｎ（Ω）
個の数のブロックセグメントに区分するブロックごとの操作を実装し、Ω（ｘ）
はｘに中心座標を有するブロックセグメントであり、以下の式で定式化されるように該当するΩ（ｘ）の最小チャネル画素値を推定する。

【数2】

ここで、ｒ、ｇ、ｂは入力RGB 画像I()のカラーチャンネルである。Ω（ｘ）の次元は、望ましいヘイズ除去性能を得るために微調整できるユーザー制約である。Ω（ｘ）のより高い次元は、最小チャネルマップ
外1

のより低い解像度を構成し、一方、Ω（ｘ）のより低い次元は、最小チャネルの過剰推定を生成し得る。

【0033】

ステップS８０２では、例示的な実施形態の１つにおいて、A.Levin、D.Lischinski、およびY.Weiss「自然画像マッティングに対する閉じた形の解」、コンピュータビジョンとパターン認識、vol．１, ６１～６８頁、２００６年によって教示されているように、ガイド付きフィルタリングが実施される。すなわち、入力RGB画像I()中の色および形状情報に基づいて、反転最小チャネルマップ
外2

の形状をヘイズ透I()過マップT()に精緻化することによる。具体的には、一実施形態では、ガイド付きフィルタリングは、以下のように定式化され得る。

【数3】

ここで、EはI()のサイズの単位行列であり、λはソフト制約のパラメータである。λの値は、
外3

の形状の微細化を制御するためにどの程度の影響を与えるかを決定する。（３）では、T()はヘイズの透過を反映しなければならないため、最小のチャネルマップ
外4

が反転されたことに気付く。つまり、物体近傍やヘイズによる影響が少ない場合にはT()の低い値を示し、一方、
外5

の低い値はT()の反対に相当する。

【0034】

より具体的には、一実施形態において、（３）のLは、以下のように定式化されるラプラシアン行列である。

【数4】

ここで、I_i、I_jはi、j画素におけるI()の色であり、ρ_ijはクロネッカーデルタであり、ω_ｋはn（）の大きさを持つウインドウカーネルであり、μｋ_,δｋ はω_ｋの平均および共分散であり、εは正規化パラメータであり、E₃は３×３の寸法を持つ単位行列である（式（３）のEに類似している）。

【0035】

ステップS８０３において、例示的な実施形態の１つにおいて、大気チャネル検出を使用して大気係数を推定することができる。前記サブモジュールは、次のように数学的に表現される、T()の最低画素からのI()の強度値を見つける。

【数5】

このサブモジュールでは、周囲の強度の正しい表現ではない場合があるため、画像内の最も明るい画素に基づいて大気係数を推定しないことに注意する。Tを使用すると、大きな透過値を最も遠い物体／環境、つまり周囲の強度と仮定することで、周囲の強度を反映する画素の位置を確保できる。

【0036】

ステップS８０４において、例示的実施形態の１つにおいて、ヘイズ透過マップT()および大気係数Ａが決定された後、ヘイズ透過マップT()および大気係数Ａを使用して、いかなるヘイズ効果に対しても、線形カラー再構成によってI()のカラーチャネルを回復することができる。この演算は、以下で定式化されるように、各カラーチャネルにわたる画素ごとの計算である。

【数6】

【0037】

図９は、ヘイズ除去モジュールのアルゴリズムによって処理される入力RGB画像及び出力ヘイズ除去画像の実施例を例示する。図９を参照すると、線形カラー再構成は、ヘイズが引き起こされた画像９０１をヘイズがない画像９０２へ除去／抑制することができる。ヘイズがない画像９０２は、より良い可視性を導入するが、画像のヘイズ除去の性質がヘイズが引き起こされた画像からの輝度を低減することであるため、全体的な画像の輝度は、低減された。

【0038】

図１０は、ヘイズ除去モジュール内の最小チャネル推定アルゴリズムによって処理される入力RGB画像１００１および最小チャネルマップ１００２の実施例を例示する。最小チャネル推定アルゴリズムは、ブロック演算に基づいて、入力RGB画像１００１の最小チャネルマップ１００２を計算する。ヘイズが存在する場合、物体の画素値は、カメラに対するその相対位置に応じて、影響されるであろう。図１０では、最小のチャネルマップ１００２は、ヘイズ媒体が奥行き知覚を作り出すときに間接的に知覚される奥行きのようなマップを構成する。最小チャネル推定は、最小画素値を有するチャネルを使用するので、明るいまたは高色彩度の物体の存在は、図１０に示される交通信号灯のように、最小チャネルマップ１００２における奥行きのような効果に影響を及ぼすであろう。

【0039】

図１１は、ヘイズ除去モジュールにおけるガイド付きフィルタリングアルゴリズムによって処理される、反転された最小チャネルマップ１１０１およびヘイズ透過マップ１１０２の実施例を例示する。図１１に示されるように、ガイド付きフィルタリングアルゴリズムは、ラプラシアン変換を使用してIに提供される色および形状情報に基づいて、最小チャネルの誤った推定を修正するとともに、反転最小チャネルマップ１１０１の粗い形状を平滑化する。物体のプロフィールは、ヘイズ透過マップ１１０２においてより高い分解能で知覚することができる。

【0040】

図１２は、ヘイズ除去画像１２０２のヘイズ透過マップ１２０１から強度値１２０３を見つけるヘイズ除去モジュールにおける大気チャネル検出アルゴリズムの実施例を例示する。図１２に示されるように、大気チャネル検出アルゴリズムは、大気係数Aを表す強度値１２０３を推定することができる。強度値１２０３は、ヘイズ透過マップ１２０１内の最低画素から見出される。ヘイズ透過マップ１２０１の利用は、大きな透過値を最も遠い物体／環境、言い換えれば周囲の強度であると仮定することにより、周囲の強度を反映する画素の位置を確保する。

【0041】

図１３は、入力画像１３０１からヘイズ除去RGB画像１３０２を回復するヘイズ除去モジュールにおける線形カラー再構成アルゴリズムの実施例を例示する。図１３に示されるように、線形カラー再構成アルゴリズムは、入力画像１３０１内のヘイズが引き起こされた画像を除去または抑制し、ヘイズ除去RGB画像１３０２内のヘイズのない画像バージョンを回復することができる。ヘイズのない画像１３０２は、より良い可視性を導入するが、画像のヘイズ除去の性質は、入力画像１３０１からの輝度を低減することであるため、全体的な画像の輝度は、低減された。

【0042】

図１４は、本発明の例示的実施形態の１つに従ったHDRモジュールのアルゴリズムを例示する詳細なフロー図である。ステップS１４０１において、例示的実施形態の１つにおいて、Naka－Rushton補償器は、画素ごとのセグメンテーションおよび画素変換で設計された。

【0043】

図１５は、HDRモジュールへの入力ヘイズ除去画像１５０１と、HDRモジュールによって処理される出力HDR画像１５０２との実施例を例示する。図１５に示されるように、HDRモジュールは、画像、または、光もしくは低光環境からの露光、を暗くしたりするヘイズ除去モジュールによって、入力ヘイズ除去画像１５０１内にあり得る、出力HDR画像１５０２内の画像輝度を回復する。

【0044】

図１６は、本発明の例示的な実施形態の１つに従った、Naka－Rushton補償器によるヘイズ除去RGB画像の画像輝度を増強するフロー図である。具体的には、図１６は、Naka－Rushton補償器の詳細を例示する。このサブモジュールは、元のRGB画像１６０１のカラーチャネルを
I_D,yとして表される輝度マップ１６０２に変換するカラー修正から始まる。元のRGB画像I_D１６０１は、それぞれ、r、g、 b チャネル１６０３～１６０５、すなわち、I_D,r,I_D,b,I_D,gに分解される。

【0045】

ステップS１６１１において、これらのマップ１６０３～１６０５は、次のように、暗い画素I_D１６０７に対して明るい画素１６０６をセグメント化するために画素クラスタリングの閾値を計算するために使用される。

【数7】

ここで、μ_D,cはc^thチャネルにおけるI_Dの平均画像画素を表す。（７）には、I_D,yの輝度、すなわち、α及びβを非線形的かつ線形的にスケーリングする２つの係数がある。雑音をI_D,yから平滑化するために、Bと呼ばれる双線形フィルタカーネルが用いられる。

【0046】

ステップ１６１２では、画素ベースのセグメンテーションから、閾値ζを使用して、元のRGB画像I_D１６０１を異なるカラーチャネル１６０３～１６０５にセグメント化することができる。I_D,cはζに基づいてセグメント化され、画素は次の数式で変換される。

【数8】

【数9】

および

【数10】

【0047】

図１４を参照すると、ステップS１４０２において、一実施形態では、LHE操作は、Naka－Rushton補償器から誘導され得る任意のコントラストの損失に対して、各カラーチャネル（r、g、b）に対する画像コントラストを強化する局所ヒストグラム均等化技術である。

【0048】

図１７は、ヘイズ除去RGB画像I_D()１７０１の画像コントラストを強化し、局所ヒストグラム操作によってHDR画像I_H()１７０２を出力する実施例を例示する。図１７に示されるように、HDR画像I_H()１７０２におけるコントラストは、ローカル・ヒストグラム操作によって強化され得る。コントラストは、輝度を均等化するが、ヘイズ除去RGB画像I_D()１７０１内のコントラスト比を失う可能性があるNaka－Rushton補償器のために、低減され得る。

【0049】

図１８は、本発明の例示的実施形態の１つに従ったReflectNet推論モデルによるHDR画像の反射の除去を例示するフロー図である。ステップS１８０１では、一実施形態では、ReflectNet推論モデルは、通常の畳み込みと拡張畳み込み（dilated convolution）の組み合わせで設計することができ、これらの畳み込みは、セグメンテーションネットワークに一般的に利用される。

【0050】

図１９は、ReflectNet推論モデルによって処理される入力ヘイズ除去画像１９０１および出力HDR画像１９０２の実施例を例示する。図１９に示すように、ReflectNet推論モデルは、HDR強化による、または反射条件から自然に、小さい反射の強化から寄与した可能性のある、入力ヘイズ除去画像１９０１からの出力HDR画像１９０２内の任意の反射により引き起こされたアーチフェクトを抑制する。

【0051】

図２０は、１つの例示的実施形態におけるReflectNet推論モデルのアーキテクチャを例示する。ReflectNet推論モデルは、セグメンテーションアーキテクチャからの事前教育モデルによるエンコーダ‐デコーダネットワークを用いることができる。エンコーダ側と事前教育モデル（セグメンテーションアーキテクチャから）は、出力RGB画像に対する反射マップの分離のために、デコーダ側によりデコードされるであろうハイパーカラム特徴を作成するであろう。エンコーダ‐デコーダアーキテクチャは、反射除去に関連する特徴を学習するために教育され、一方、予め教育されたモデルは、空間セグメンテーションを実行するために学習された特徴を提供する。

【0052】

図２１を参照すると、一実施形態では、ReflectNet推論モデルは、一対の元のRGB画像およびその反射画像を用いて教育され得る。本実施形態では、データセットは、２つの画像を融合画像に融合するImageMix機能を用いて生成される。元のRGB画像はグラウンドトゥルースとして使用されるであろうが、融合された画像は入力として使用されるであろう。

【0053】

例示的な実施形態の１つでは、ＧＴ_Ｒは元のRGB画像を示し、I()は融合画像または任意の反射誘起RGB画像を示し、
外字6

は、それぞれ、出力反射除去RGB画像および推定反射マップである。損失関数は次のように計算される。

【数11】

ここで、ｗは、損失を均等化するためのウェイトでありθはネットワークウェイトである。
（１１）には、特徴損失、敵対的（adversarial）損失、傾き損失の３つの損失関数がある。特徴損失は次のように計算される。

【数12】

この損失は、モデル実行グラウンドトゥルースＧＴ_Ｒと入力RGB画像I()からの結果とを比較したときの
外字7

の層の差における選択された特徴を比較する。敵対的損失は、自然グラウンドトゥルースを持つための
外字8

の負の対数を以下のように測定する。

【数13】

最後に、傾き損失はグランドトゥルースと合成画像のコントラスト比較を測定する。これは次のように定式化される。

【数14】

この損失関数の双曲線正接は、I()におけるエッジの、両方からではなく、
外字9

のどちらか一方の、
外字10

の間のエッジの乖離を最小化するために使用される。

【0054】

図２２は、画像ヘイズ除去方法の実施例を関連技術におけるベンチマーク方法と比較する表である。図２２を参照すると、性能評価は、（a）提案された方法と（b）ベンチマーク方法の２つの方法からなる。いずれの方法も類似のフレームワークを持つ画像前処理アルゴリズムである。図５のフロー図に基づいて、提案した方法は、画像ヘイズ除去、HDR強化および反射除去を含む。評価公平性を確保するために、ベンチマーク方法を、各機能を持つ一般化フレームワークに適合するように、従来の技術から構築する。例えば、画像のヘイズ除去は、D.Ngo他の「単一画像ヘイズ除去のための改善されたカラー減衰」、Applied Science、［オンライン］、２０１９年９月、によって教示されるように、カラー減衰で表される。HDR強化は、OpenCVの「ヒストグラム均等化」、Open Source Computer Vision（オープンソースコンピュータビジョン）、［オンライン］、２０２０年７月．によって教示されるように、ヒストグラム均等化で表される。反射除去は、Q.Fan他の「単一画像反射除去と画像平滑化のための一般的アーキテクチャ」、ICCV、２０１７、によって教示されるように、CEILNetによって表される。提案された方法およびベンチマーク方法の両方は、図２２に示すように、同一のハードウェアおよびソフトウェアで実施される。

【0055】

図２３は、画像ヘイズ除去方法の実施例の性能評価を、関連技術におけるベンチマーク方法と比較する表である。例示的実施形態の１つでは、エントロピーベース測定向上（EME）２３０１、コントラスト改善指数（CII）２３０２、強度測定（IM）２３０３を含む種々の計量を、関連技術におけるベンチマーク方法と提案した画像ヘイズ除去方法との間の知覚品質の定量的評価を実施するために実施することができる。

【0056】

エントロピーベース測定向上（EME）２３０１は、エントロピー測度に基づく入力と比較して出力の改善指数を見出すための計量である。EMEのスコアが大きいほど、エントロピー情報のより高い指標を表す。EME ２３０１の最大値は∞である。一実施形態では、EME ２３０１は、次のように計算される。

【数15】

ここで、Ｎ_Ρは比較された画像の総画素であり、Ｎ_ｂはブロックサイズの寸法であり、
外字10

は基準画像および入力画像である。

【0057】

コントラスト改善指数（CII）２３０２は、コントラスト測定に基づく入力と比較して出力の改善指数を見つけるための計量である。CII ２３０２のスコアが大きいほど、コントラスト改善のより高い指数を表す。CII ２３０２の最大値は∞である。一実施形態では、CII ２３０２は、以下のように定式化される。

【数16】

ここで、Ｎ_Ρは比較された画像の総画素であり、Ｎ_ｂはブロックサイズの寸法であり、
外字11

は基準画像および入力画像である。

【0058】

強度測定（IM） ２３０３ は、元の画像に基づいて輝度持久の比率を見つけるための計量である。IM ２３０３のスコアが大きいほど、画像の輝度の持久が向上する。IM ２３０３の最大値は１である。一実施形態では、IM ２３０３は、次のように定義される。

【数17】

ここで、Ｎ_Ρは比較された画像の総画素であり、
外字12

は基準画像および入力画像である。

【0059】

一実施形態では、評価は、一般化されたフレームワークに基づいて、３つの段階すべてに対して、逐次的に実行された。図２３の評価によれば、提案した方法は、全ての段階において、全ての計量においてベンチマーク方法より性能が優れていた。これには、画像のヘイズ除去、HDRサブモジュールおよび反射除去機能が含まれる。最終結果スコア（反射除去結果を参照）に基づいて、提案した方法は、ベンチマーク方法よりCII = ２．６９５およびEME = ２．３３６または＋３９．９％高く、＋１７．５％高かった。これらの結果は、提案した方法がRGB画像におけるコントラストおよびエントロピー情報を強化できることを示唆した。

【0060】

一実施形態では、強度測定比に関して、提案した方法は、平均７４．８％の輝度を保存することができた。一方、ベンチマーク方法は、平均５５．２％の輝度を保存することができた。この結果は、元の画像が提供するであろう輝度を維持するために、一方、ヘイズ、反射およびコントラスト比を除去するために、提案した方法の能力を実証するであろう。知覚指標の他に、提案した方法とベンチマーク方法も時間の複雑さに応じて評価した。図２３は、全ての機能カテゴリーにおいて、提案した方法の時間複雑性がベンチマーク方法よりも低かったことを示している。これにより、提案した方法の関連技術に対する効率性を実証した。

【0061】

図２４は、関連技術におけるベンチマーク方法によって処理された出力画像と比較して、元の入力画像および本発明の例示的実施形態の１つによる画像ヘイズ除去方法によって処理された出力画像の例を例示する。図２４を参照すると、質的には、ベンチマーク方法は、画像の可視性を低下させる過剰な暗化効果だけでなく、いくつかの過剰な平滑化アーチファクトを導入するので、ヘイズ効果を確実に除去することができなかった。他方、提案した方法は、オリジナルのRGBと比較してわずかな輝度損失と適切な色再現でヘイズを除去することができた。

【0062】

図２５は、関連技術におけるベンチマーク方法によって処理されたRGB画像および元のRGB画像上の物体検出の性能評価と比較して、本発明の例示的な実施形態の１つに従い、画像デヘイズ除去方法によって処理されたRGB画像上の物体検出の性能評価を示す表である。この評価では、IoU ベースの計算を使用して、次のように予測とグラウンドトゥルースの重複の％を微調整する。

【数18】

Ｂ_ＤとＢ_Ｒはは検出ボックスとグラウンドトゥルースのそれぞれのデータである。
図２５を参照すると、一実施形態では、IoU情報を使用して、正解検知（TP）、誤検知（FP）および検知漏れ（FN）が測定され、次のように定式化される精度（ACC）２５０１および誤検知率（FPR）２５０２が得られる。

【数19】

【0063】

一実施形態では、図２５の実験によれば、提案した方法から得られた画像は、より良い精度および誤検知率を達成した。提案した方法は精度を８．２％高め、誤検知率を１０．９％低減できた。一方、ベンチマーク方法は精度を１．９％増加させ、誤検知率を４．２％増加させた。この現象は、ベンチマーク方法が、YOLOv３がオブジェクトとして推測するために望ましくないアーチファクトを作成した点までその画像を過剰に強化している可能性があることを示している。物体検出結果の可視化を図２６に示す。

【0064】

本発明の範囲または精神から逸脱することなく、本発明の実施形態に様々な修正および変形を行うことができることは、当業者には明らかである。以上のことを考慮すると本発明は、変更および変形をカバーすることが意図されている。ただし、それらが以下の特許請求の範囲およびそれらの均等物に含まれることを条件とする。

【産業上の利用可能性】

【0065】

本発明の画像ヘイズ除去方法および画像ヘイズ除去装置は、例えば、自動車、空中ドローン、および海洋ドローンなどの屋外環境における自動化または任意のロボットシステムにおいて適用することができる。

【符号の説明】

【0066】

４０ 画像ヘイズ除去装置
４０１ センサ
４０２ プロセッサ
６０１、９０１、１００１、１３０１ 入力RGB画像
６０２ 出力RGB画像
９０２ 出力ヘイズ除去画像
１００２ 最小チャネルマップ
１１０１ 反転された最小チャネルマップ
１１０２、１２０１ ヘイズ透過マップ
１２０２、１３０２ ヘイズ除去画像
１２０３ 強度値
１５０１、１６０１、１７０１，１９０１ 入力ヘイズ除去画像
１５０２、１７０２，１９０２ 出力HDR画像
１６０２ 輝度マップ
１６０３、１６０４，１６０５ カラーチャネル
１６０６ 明るい画素
１６０７ 暗い画素
２３０１ エントロピーベース測定向上（EME）
２３０２ コントラスト改善指数（CII）
２３０３ 強度測定（IM）
２５０１ 精度（ACC）
２５０２ 誤検知率（FPR）
S３０１、S３０２、S３０３、S３０４、S５０１、S５０２、S５０３、S５０４、S５０５、S７０１、S７０２、S７０３、S７０４、S８０１、S８０２、S８０３、S８０４、S１４０１、S１４０２、S１６１１、S１６１２、S１８０１ ステップ

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】