特許 6228670 霧除去装置および画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6228670

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】霧除去装置および画像生成方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20171030BHJP

   H04N 1/40 20060101ALI20171030BHJP

【ＦＩ】

   G06T5/00 700

   H04N1/40 101Z

【請求項の数】4

【全頁数】8

(21)【出願番号】特願2016-527494(P2016-527494)

(86)(22)【出願日】2014年6月12日

(86)【国際出願番号】JP2014003131

(87)【国際公開番号】WO2015189874

(87)【国際公開日】20151217

【審査請求日】2016年10月6日

(73)【特許権者】

【識別番号】391010116

【氏名又は名称】ＥＩＺＯ株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】中前 貴司

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１３−１５２３３４（ＪＰ，Ａ）

【文献】 特開２０１２−２８９８７（ＪＰ，Ａ）

【文献】 大脇一泰 外２名，撮影画像の明るさ最適化技術 ＣｏｎｔｒａｓｔＭａｇｉｃ，東芝レビュー，株式会社東芝，２００９年 ６月 １日，第64巻 第6号，第19−22頁

【文献】 Kaiming He et al.，Single Image Haze Removal Using Dark Channel Prior，IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE (TPAMI)，IEEE Computer Society，２０１１年１２月，VOL.33, NO.12，Pages 2341−2353

【文献】 Renjie He et al.，Single Image Dehazing with White Balance Correction and Image Decomposition，Digital Image Computing Techniques and Applications(DICTA), 2012 International Conference on，IEEE，２０１２年１２月

【文献】 Sudharsan Parthasarathy et al.，A RETINEX based Haze Removal Method，Industrial and Information Systems(ICIIS), 2012 7th IEEE International Conference on，IEEE，２０１２年 ８月

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０

(57)【特許請求の範囲】

【請求項1】

霧含有画像から反射率成分と照明光成分とを分離する分離手段、
前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、
前記分離した照明光成分について、前記霧濃度に基づいて霧を除去する照明光成分霧除去手段、
前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する合成手段、
を備え、
前記反射率成分霧除去手段及び前記照明光成分霧除去手段は、大気光には反射率成分はないこと及び前記照明光成分に対して大気モデルが成り立つことを条件として前記照明光成分と前記反射率成分とについて別々に霧除去し、前記反射率成分霧除去手段における霧除去と前記照明光成分霧除去手段における霧除去では、霧除去度が異なること、
を特徴とする霧除去装置。

【請求項2】

請求項１の霧除去装置において、
前記反射率成分霧除去手段における霧除去の方が、前記照明光成分霧除去手段における霧除去よりも、霧除去度が高いこと、
を特徴とする霧除去装置。

【請求項3】

請求項１の霧除去装置において、
前記照明光成分霧除去手段における霧除去の方が、前記反射率成分霧除去手段における霧除去よりも、霧除去度が高いこと、
を特徴とする霧除去装置。

【請求項4】

霧含有画像から反射率成分と照明光成分とを分離し、
前記反射率成分について、別途決定された霧濃度に基づいて霧を除去し、
前記照明光成分について、前記霧濃度に基づいて霧を除去し、
前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する画像生成方法であって、
大気光には反射率成分はないこと及び前記照明光成分に対して大気モデルが成り立つことを条件として、前記反射率成分についての霧除去処理と、前記照明光成分についての霧除去処理とで、霧除去度を変更した画像を生成すること、
を特徴とする画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、霧除去装置に関し、特に幅の広い霧除去技術にする。

【背景技術】

【0002】

特開2012-168936号公報には、大気モデルに基づく霧除去技術が開示されている（背景技術の欄、参照）。大気モデルとは、大気中に浮遊粒子がある場合に、撮像機で物体を撮像し又は肉眼で物体を観察する光学原理をいう。大気モデルは、下記式（１）で示される。

【0003】

I(x)=J(x)t(x)+A(1-t(x)) ・・・式 (1)
Iは観測画像（霧がある画像）、Jは処理画像（霧がない画像）、tは霧の濃度、xは対象画素の座標、Aは大気光を示す。

【0004】

撮像装置で観察した画像I(x)は、物体からの反射光J(x)が空中の浮遊粒子により散乱された後においても残存する部分J(x)t(x)と、太陽光が空中の浮遊粒子により散乱された結果である大気環境光A(1-t(x)) から構成される。

【0005】

なお、前記公報の図１０には、前記I(x)、J(x)、A、t(x)の各値が示す画像を用いて説明がなされている。

【0006】

上記式(1)より、霧の濃度tと、大気光Aを求めることで、観測画像Iから処理画像Jを求めることができる。

【0007】

Kaiming Heらは、IEEE Conference on Computer Vision and Pattern Recognition, 2009にて、論文「Single Image Haze Removal Using Dark Channel Prior」にて、新規の霧除去技術を提案した。

【0008】

簡単に説明すると、前記大気モデルにおいて、各画素に対して、下記式(2)により、周辺画素を含めた画素値の最小値を求め（ダークチャネルプライヤ（Dark Channel Prior（以下DCPと略す）））、かかる値が霧の濃度を表すと仮定し、このDCPの値より、霧除去の程度を変えるというものである。

【0009】

【数1】

【0010】

これは、一般的な霧のない自然画像においては、影や彩度が高い部分がどの画素の周辺にもあるため、DCPの値はほぼ0となる。一方、霧のある画像においては、霧により輝度が高くなり、DCPの値が高くなる。したがって、DCPが0となるように処理を行うことにより霧除去が可能となるというものである。

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかし、前記霧除去の手法においては以下のような問題があった。霧が濃い画像では、色成分が少なく、起伏がない画像となる。かかる画像では、DCPと入力画像が近い値となり、DCPの値を0になるように処理を行うと、処理後の画像は非常に暗くなる。逆に、画像が暗くなることを防ぐためにパラメータを弱めに設定すると、霧除去の効果が弱く、画像が明瞭にならないという問題があった。

【0012】

この発明は、上記問題を解決し、霧を含有する画像から霧除去をおこなう霧除去装置を提供することを目的とする。

【課題を解決するための手段】

【0013】

(1)本発明にかかる霧除去装置は、霧含有画像から反射率成分と照明光成分とを分離する分離手段、前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、前記分離した照明光成分について、前記霧濃度に基づいて霧を除去する照明光成分霧除去手段、前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する合成手段、を備え、前記反射率成分霧除去手段における霧除去と前記照明光成分霧除去手段における霧除去では、霧除去度が異なる。

【0014】

このように、前記反射率成分と前記照明光成分で霧除去度を異ならせて、合成することにより、より柔軟な霧除去処理が可能となる。

【0015】

(2)本発明にかかる霧除去装置においては、前記反射率成分霧除去手段における霧除去の方が、前記照明光成分霧除去手段における霧除去よりも、霧除去度が高い。したがって、前記霧が濃い場合でも、エッジを強調するとともに、画像全体の明るさを保持した画像を得ることができる。

【0016】

(3)本発明にかかる霧除去装置においては、前記照明光成分霧除去手段における霧除去の方が、前記反射率成分霧除去手段における霧除去よりも、霧除去度が高い。したがって、画像全体の明るさを下げつつ、エッジ強調をしない画像を得ることができる。

【0017】

(4)本発明にかかる画像生成方法においては、霧含有画像から反射率成分と照明光成分とを分離し、前記反射率成分について、別途決定された霧濃度に基づいて霧を除去し、前記照明光成分について、前記霧濃度に基づいて霧を除去し、前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する画像生成方法であって、前記反射率成分についての霧除去処理と、前記照明光成分についての霧除去処理とで、霧除去度を変更した画像を生成する。したがって、前記反射率成分と前記照明光成分で前記霧除去度を異ならせた画像を生成することができる。

【0018】

(5)本発明にかかる霧除去装置においては、霧含有画像から反射率成分と照明光成分とを分離する分離手段、前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、前記分離した照明光成分について、前記霧濃度に基づいて霧を除去する照明光成分霧除去手段、前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する合成手段を備えている。これにより、前記反射率成分および前記照明光成分を独立して、霧除去処理が可能となる。

【0019】

(6)本発明にかかる霧除去装置においては、霧含有画像から反射率成分と照明光成分とを分離する分離手段、前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、前記分離した照明光成分および前記霧除去後の反射率成分を合成する合成手段を備えている。したがって、反射率成分だけについて前記霧除去処理を施した画像を生成することができる。

【0020】

(7)本発明にかかる霧除去装置においては、霧含有画像から反射率成分と照明光成分とを分離する分離手段、前記分離した照明光成分について、別途決定された霧濃度に基づいて霧を除去する照明光成分霧除去手段、前記霧除去後の照明光成分および前記分離された反射率成分を合成する合成手段を備えている。したがって、照明光成分だけについて前記霧除去処理を施した画像を生成することができる。

【0021】

なお、本明細書において、「霧」とは、靄（もや）、霞（かすみ）、煙、粉塵、砂塵、雨、雪も含む概念である。

【0022】

請求項に記載した各種手段と、実施形態の構成との対応について説明する。「算出手段」とは、霧濃度算出部１１が該当する。「分離手段」とは、照明光分離部４が該当する。「反射率成分霧除去手段」は、反射率成分霧除去部１３が、「照明光成分霧除去手段」は、照明光成分霧除去部１４が、それぞれ該当する。「合成手段」は合成部１６が該当する。

【0023】

この発明の特徴、他の目的、用途、効果等は、実施形態および図面を参酌することにより明らかになるであろう。

【図面の簡単な説明】

【0024】

【図1】画像処理装置１の構成を示す。

【図2】照明光成分および反射率成分と、霧除去の強度との関係を示す。

【発明を実施するための形態】

【0025】

以下、本発明における実施形態について、図面を参照して説明する。図１に、本発明の１実施形態にかかる霧除去装置１０を有する画像処理装置１の構成を示す。

【0026】

霧除去装置１０は、照明光分離部２３、反射率成分霧除去部１３、照明光成分霧除去部１４、霧濃度算出部１１、および合成部１６を備えている。

【0027】

照明光分離部２３は、エッジ保存型ローパスフィルタを有しており、YUV変換部３にて、変換されたYUVデータの局所的な明るさの加重平均値、すなわち、照明光成分を算出し、これにより、照明光成分と、反射率成分の分離を行う。

【0028】

霧濃度算出部１１は、分離された照明光成分を用いて、与えられた入力画像の霧濃度を算出する。本実施形態においては、背景技術で説明したDCPが霧の濃度を表すと仮定し、このDCPの値より、最終的な霧濃度tを求めた。

【0029】

反射率成分霧除去部１３は、反射率算出部１２が算出した反射率成分について霧除去をおこなう。照明光成分霧除去部１４は分離された照明光成分について、霧除去をおこなう。照明光成分霧除去部１４と反射率成分霧除去部１３とで、霧除去の除去度は異なる。詳しくは後述する。

【0030】

合成部１６は、霧除去がなされた照明光成分と前記反射率成分を用いて、霧除去された画像を合成する。合成された画像は、RGB変換部１８にてYUVデータからRGBデータに変換される。

【0031】

照明光成分霧除去部１４と反射率成分霧除去部１３とで行う霧除去について説明する。

【0032】

レティネックス（Retinex）理論では、観測画像Iは、照明光Lと反射率Rの積で定義される。

【0033】

I＝RL ・・・式(3)
大気モデルの式(1)を変形すると、式(4)が得られる。

【0034】

J(x)＝（I(x)−A）/t(x)+A ・・・(4)
が得られる。

【0035】

ここで、上記I、J、Aに、レティネックス理論を適用し、それぞれを反射率成分および照明光成分の積で表すと、下記式(5)が求まる。

【0036】

J_R J_L=(I_R I_L−A_R A_L)/t +A_RA_L ・・・式 (5)
ここで、大気モデルにおいては、大気光Aには反射率成分はないと仮定する。また、照明光成分に対しても、当然大気モデルの式（１）が成り立つ。したがって、前記式(4)を照明光成分に限定して考えると、下記の２つの制約条件が設定できる。

【0037】

A_R=1 ・・・式(6)
J_L=(I_L-A_L)/t+A_L ・・・式(7)
式(6)、(7)を式(5)に代入すると式(8)が導出される。

【0038】

J_R=(I_R I_L-(1-t)A_L)/(I_L-(1-t)A_L ) ・・・式(8)
この式(8)から、J_Rの値は、I_R>1のときI_Rより大きくなり、I_R<1のときI_Rより小さくなる。つまり、反射率成分に対して、霧濃度に応じてエッジを強調する処理を行っており、これは、霧によりエッジがなまることとの整合性がある。

【0039】

このように、式(7)で照明光成分についての霧除去を、式(8)で反射率成分についての霧除去をと、照明光成分と反射率成分とを別々に霧除去可能となる。

【0040】

図２を用いて照明光成分と反射率成分とを別々に霧除去できることのメリットについて説明する。霧除去度を大きくすると、反射率成分はエッジ強調度が高くなり、照明光成分は明るさ(輝度)が減少する。逆に霧除去度を小さくすると、反射率成分はエッジ強調度が低くなり、照明光成分の減少度が低くなる。つまりそれほど暗くならない。したがって、霧が濃いことで、色が薄く、起伏が乏しい画像については、霧除去度を大きくすると、エッジは強まるものの、画像が暗くなってしまう。

【0041】

これに対して、本手法ではそのような画像であっても、反射率成分については、霧除去度を大きくし、一方、照明光成分は霧除去度を小さくすることができる。したがって、画像の明るさを保ったまま視認性を向上させることができる。

【0042】

かかる照明光成分と反射率成分とで、霧除去の程度を変える手法としては、照明光成分、反射率成分それぞれの霧除去処理における霧濃度を異なる値を用いる、または、照明光成分、反射率成分それぞれの霧除去処理結果について、重み付けするようにすればよい。

【0043】

前者としては、たとえば、式(7)、式(8)における値tを両者で変更すればよい。霧は濃く、かつ、画像の平均的な輝度が低い（高くない）画像であれば、エッジ強調強めにするが、輝度はあまり下げない方がよい。したがって、照明光成分の値tをt_Lと、反射率成分の値tをt_Rとした場合、照明光成分の霧除去は弱めに、反射率成分の霧除去は強めになるように（t_L＞ t_R）とすればよい。

【0044】

また、霧除去処理結果について、重み付けするには、たとえば、以下のようにすればよい。

【0045】

霧除去後の照明光成分をJ_L、重み付けした結果をJ_L’とする場合に下記式(9)にて、J_L’ を求める。

【0046】

J_L’＝I_L+k（J_L−I_L) ・・・(9)
(9)式は、求めた値に対して係数をかけるのではなく、元画像からの変化量に対して、係数kによって変更できるようにすることにより、重み付けを変えられるようにしたものである。具体的には、照明光成分の霧除去程度を弱くしたい場合には、k＜１とすればよい。

【0047】

このように、視認障害を含有する画像をレティネックス理論における照明光成分、反射率成分、それぞれに分離し、それぞれに対して大気モデルに基づく前記障害除去強度を異なるように画像処理をし、その後両者を合成することにより、それぞれに応じた視認障害の軽減処理が可能となる。本実施形態においては、照明光成分に対しては霧により明るくなった分の輝度を下げ、反射率成分に対しては霧によりなまったエッジを強調するようにしたが、両者は相対的な値であるので、照明光成分に対する処理のみを弱めるだけでも、同様の効果を奏する。

【0048】

また、霧除去後照明光成分と霧除去後反射率成分の別々の調整については、これ以外の組み合わせでも適用は可能である。

【0049】

（２. 他の実施形態）
本実施形態においては、RGB値を一旦、YUV値にて判断する場合について説明したが、他の色空間モデル（HSVなど）を採用してもよい。霧濃度算出および／または霧除去処理にて、必要な場合に、その段階でRGBから変換するようにしてもよい。

【0050】

また、本実施形態においては、霧除去する場合を例として、説明したが、霧以外の外光成分を除去する場合にも適用可能である。

【0051】

本実施形態においては、霧濃度について、DCPにて求めるようにしたが、霧濃度の算出について他の手法であってもよく、また、操作者が手動で調整するようにしてもよい。

【0052】

上記においては、本発明を好ましい実施形態として説明したが、限定のために用いたのではなく、説明のために用いたものであって、本発明の範囲および精神を逸脱することなく、添付のクレームの範囲において、変更することができるものである。

【符号の説明】

【0053】

４ 照明光分離部
１３ 反射率成分霧除去部
１４ 照明光成分霧除去部
１６ 合成部

【図1】

【図2】