特許 7510258 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-25

(45)【発行日】2024-07-03

(54)【発明の名称】画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体

(51)【国際特許分類】

   H04N 23/76 20230101AFI20240626BHJP

   G06T 5/92 20240101ALI20240626BHJP

【ＦＩ】

H04N23/76

G06T5/92

【請求項の数】 12

(21)【出願番号】P 2020028363

(22)【出願日】2020-02-21

(65)【公開番号】P2020195127

(43)【公開日】2020-12-03

【審査請求日】2023-02-13

(31)【優先権主張番号】P 2019098808

(32)【優先日】2019-05-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】大森 広崇

(72)【発明者】

【氏名】浦上 博行

【審査官】吉田 千裕

(56)【参考文献】

【文献】中国特許出願公開第１０４４６３８１６（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７４８１２０２（ＣＮ，Ａ）

【文献】中国特許出願公開第１０５５７４８３０（ＣＮ，Ａ）

【文献】中国特許出願公開第１０６５４８４６３（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７７６７３５３（ＣＮ，Ａ）

【文献】中国特許出願公開第１０３７０００７９（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７２７７２９９（ＣＮ，Ａ）

【文献】特開２０１０－０６２９２０（ＪＰ，Ａ）

【文献】国際公開第２０１９／０６４８２５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７６

Ｇ０６Ｔ ５／９２

(57)【特許請求の範囲】

【請求項1】

画像データを取得する取得手段と、
前記画像データの領域毎のダークチャネル値を取得して透過率を推定し、階調を補正する第１の階調補正手段と、
トーンカーブを用いて前記画像データの階調を補正する第２の階調補正手段と、
どの階調補正手段を用いて階調補正を行うかを制御する制御手段と、
を備え、
前記制御手段は、前記第１の階調補正手段に、徐々に補正効果を得るように階調補正を行わせ、前記画像データにおける被写体の輪郭部に白領域が抽出された場合に、前記第１の階調補正手段による前記階調補正を停止させることを特徴とする画像処理装置。

【請求項2】

前記制御手段は、前記第１の階調補正手段と前記第２の階調補正手段の一方に前記画像データの第１段の階調補正を行わせ、該第１段の階調補正を行った後の画像データの補正結果に基づいて、前記第１の階調補正手段と前記第２の階調補正手段の他方に、前記第１段の階調補正を行った後の画像データに対する第２段の階調補正を行わせることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記制御手段は、前記第１段の階調補正を行った後の画像データのコントラストが所定値より低い場合に、前記第１の階調補正手段と前記第２の階調補正手段の他方に、前記第１段の階調補正を行った後の画像データに対する前記第２段の階調補正を行わせることを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記コントラストは、前記第１段の階調補正を行った後の画像データの輝度ヒストグラムに基づいて算出されることを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記制御手段は、前記第１の階調補正手段と前記第２の階調補正手段の他方に、前記コントラストが目標とする値に達するまで、前記第２段の階調補正を行わせることを特徴とする請求項３または４に記載の画像処理装置。

【請求項6】

前記制御手段は、前記第１の階調補正手段に、前記第１段の階調補正を行わせることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記制御手段は、前記第２の階調補正手段に、前記第１段の階調補正を行わせることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。

【請求項8】

前記画像データを用いて解析を行う解析手段をさらに備え、前記解析手段の解析の結果に基づいて、前記第１の階調補正手段の階調補正動作と、前記第２の階調補正手段の階調補正動作とを制御することを特徴とする請求項１に記載の画像処理装置。

【請求項9】

被写体を撮像する撮像手段と、
請求項１乃至８のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。

【請求項10】

画像データを取得する取得工程と、
前記画像データの領域毎のダークチャネル値を取得して透過率を推定し、階調を補正する第１の階調補正工程と、
トーンカーブを用いて前記画像データの階調を補正する第２の階調補正工程と、
どの階調補正工程を用いて階調補正を行うかを制御する制御工程と、
を有し、
前記制御工程では、前記第１の階調補正工程において徐々に補正効果を得るように階調補正を行わせ、前記画像データにおける被写体の輪郭部に白領域が抽出された場合に、前記第１の階調補正工程における前記階調補正を停止させることを特徴とする画像処理方法。

【請求項11】

コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【請求項12】

コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、霧霞が発生している状況で撮影した画像の霧霞を除去して視認性を向上させる技術に関するものである。

【背景技術】

【0002】

従来の監視等の用途で使用されるカメラにおいては、屋外を撮影する際に霧霞が発生して視認性が低下する場合がある。このような画像を救済するため、霧霞が発生した場合にそれらを除去する補正処理を行う技術が知られている。補正処理には、全画面に対してトーンカーブを用いてコントラストを補正する方法、大気モデルにおいてミー散乱とレイリー散乱を分離し、霧霞など波長に依存しないミー散乱成分を除去する散乱分離方式を採用する方法とがある。

【0003】

散乱分離方式は、画像の領域毎のダークチャネル値を用いて透過率を推定し、階調を制御して霧霞を除去する方式である。具体的には、大気モデルにおける霧霞の濃度に起因する透過率を推定し、階調制御を行う技術が提案されている。

【0004】

特許文献１では、空領域または逆光領域を算出し、その領域におけるダークチャネル値を補正し、ダークチャネル値から透過率を算出し、その透過率を用いて入力画像から霧霞成分の除去を行う。

【0005】

特許文献２では、カラー画像で散乱光の基準強度の導出に用いる画素を選択し、散乱光の第１の色成分に対応する第１の基準強度と、第２の色成分に対応する第２の基準強度を導出する。第１の基準強度と重み値を用いてカラー画像の第１の色成分の画素値を補正するとともに、第２の基準強度と重み値を用いて第２の色成分の画素値を補正し、補正画像を生成する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１７－１３８６４７号公報

【文献】特開２０１５－１０３１６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示された従来技術では、ダークチャネル値を用いて散乱光に対する補正は可能であるが、画像内の輪郭部にハローノイズが発生してしまい、そのノイズを抑制することができない。

【0008】

また、特許文献２に開示された従来技術でも同様に、大気モデルにおける散乱光を用いて霧霞の濃度に起因する成分を除去して補正することはできるが、やはり画像内の輪郭部にハローノイズが発生してしまい、そのノイズを抑制することができない。

【0009】

本発明は上述した課題に鑑みてなされたものであり、その目的は、画像内の霧霞を良好に除去することができる画像処理装置を提供することである。

【課題を解決するための手段】

【0010】

本発明に係わる画像処理装置は、 画像データを取得する取得手段と、前記画像データの領域毎のダークチャネル値を取得して透過率を推定し、階調を補正する第１の階調補正手段と、トーンカーブを用いて前記画像データの階調を補正する第２の階調補正手段と、どの階調補正手段を用いて階調補正を行うかを制御する制御手段と、を備え、前記制御手段は、前記第１の階調補正手段に、徐々に補正効果を得るように階調補正を行わせ、前記画像データにおける被写体の輪郭部に白領域が抽出された場合に、前記第１の階調補正手段による前記階調補正を停止させることを特徴とする。

【発明の効果】

【0011】

本発明によれば、画像内の霧霞を良好に除去することができる画像処理装置を提供することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の画像処理装置の第１の実施形態であるデジタルカメラの構成を示す図。

【図2】第１の実施形態における画像処理回路１２０の構成を示すブロック図。

【図3】霧霞発生有無における輝度ヒストグラムを示す図。

【図4】霧霞発生度合いに応じたトーカーブ補正の例を示す図。

【図5】第１の実施形態における霧霞の除去動作を示したフローチャート。

【図6】第２の実施形態における霧霞の除去動作を示したフローチャート。

【図7】第３の実施形態における画像処理回路１２１の構成を示すブロック図。

【図8】第３の実施形態における霧霞の除去動作を示したフローチャート。

【図9】第４の実施形態における霧霞の除去動作を示したフローチャート。

【図10】第５の実施形態における撮像システムの構成を示す図。

【図11】第５の実施形態における霧霞の除去動作を示したフローチャート。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0014】

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラ１００の構成を示す図である。

【0015】

図１において、レンズ部１０２は、被写体の光学像を、ＣＣＤやＣＭＯＳセンサなどからなる撮像素子を有する撮像部１０１に結像させる。また、レンズ駆動装置１０３によってズーム制御、フォーカス制御、絞り制御などが行われる。撮像信号処理回路１０４は、撮像部１０１から出力される画像信号に各種の補正処理やデータ圧縮処理等を行う。また、撮像信号処理回路１０４は、内部に画像の霧霞を除去するための画像処理回路１２０を有する。撮像素子駆動回路１０５は撮像部１０１内の撮像素子に各種電源や撮影モードの指示信号、各種タイミング信号を出力する。

【0016】

メモリ部１０６は、画像データを一時的に記憶するためのメモリとして機能し、全体制御演算部１０７は各種演算とデジタルカメラ１００全体の制御を行う。記録媒体制御Ｉ／Ｆ部１０８は記録媒体へのデータの記録または記録媒体からのデータの読み出しを行うためのインターフェースである。記録媒体１０９は、画像データの記録または読み出しを行うための着脱可能な半導体メモリである。さらに、表示部１１０は、各種情報や撮影画像を表示する液晶表示装置などの表示デバイスである。

【0017】

図２は、図１における画像処理回路１２０の構成を示すブロック図である。画像処理回路１２０は、画像の輪郭部に発生するハローノイズを抑制しつつ霧霞を除去する機能を備える。

【0018】

図２において、画像処理回路１２０は、第１の画像処理部１１、第１のかすみ補正部１２、第２のかすみ補正部１４、第２の画像処理部１５、画像出力部１６、ヒストグラム取得・解析部１３を備える。

【0019】

撮像部１０１により撮像された画像データは、画像処理回路１２０に入力される。第１の画像処理部１１は、画像データの１段目の画像処理部である。具体的には撮像部１０１から取得した画像データに対して、センサ補正処理、キズ補正処理、ベイヤー型のＲＧＢ信号からＹＣ信号に変換する変換処理、輪郭強調処理、ノイズリダクション処理、ホワイトバランス処理などを行う。第１のかすみ補正部１２は、画像の領域毎のダークチャネル値を用いて透過率（濃度マップ）を推定し、階調を制御する第１の階調補正処理（階調補正動作）を行う第１段の階調補正部である。ヒストグラム取得・解析部１３は第１の階調補正処理を行った後の補正画像において、輝度成分のヒストグラムを取得し、その分散値を算出することにより画像のコントラストを検出する。第２のかすみ補正部１４はトーンカーブを用いてコントラストや中間階調の制御を行う第２の階調補正処理（階調補正動作）を行う第２段の階調補正部である。

【0020】

以下、第１の階調補正処理の詳細について説明する。まず、霧霞が発生している画像Ｉと、霧霞除去後の画像Ｊは式（１）のような大気モデルで関係づけられる。

【0021】

Ｉ(ｘ,ｙ)＝Ｊ(ｘ,ｙ)・ｔ(ｘ,ｙ)＋Ａ(１－ｔ(ｘ,ｙ) 式（１）
ｘ，ｙは画像内における水平方向と垂直方向の２次元座標位置、ｔは霧霞の濃度マップ、Ａは環境光を示す。ここで、濃度マップｔ（ｘ，ｙ）は大気による減衰を意味しており、カメラからの被写体距離が長いほど減衰量（画素値）が大きく、近いほど減衰量（画素値）は小さくなる。式（１）において、環境光Ａおよび、濃度マップｔ（ｘ，ｙ）を推定することで、霧霞除去後のJ（ｘ，ｙ）を求めることが可能になる。

【0022】

まず、環境光Ａの推定方法について数式を用いて説明する。環境光Ａは、空領域のＲＧＢ成分の平均画素値であり、式（２）のようにして算出される。

【0023】

【数1】

【0024】

ａｖｅ関数は引数内の平均値を算出する関数を表し、ｃは色成分を表し、Ωｓｋｙは空領域内の局所領域を示す。ここで、空領域は、例えば、ヒストグラムの分布に基づき算出する方法や、予め指定した座標位置を用いる方法、ユーザーからの指示位置を用いる方法等により特定することができる。

【0025】

続いて、濃度マップｔ（ｘ，ｙ）の推定方法について説明する。本実施形態における第１の階調処理は、ダークチャネル値に基づき濃度マップｔ（ｘ，ｙ）を推定する処理であり、霧霞が発生していない屋外画像において、ＲＧＢ成分の少なくとも１つの成分の画素値が局所的に非常に小さいことを前提にしている。ダークチャネル値Ｉ^drkは、式（３）のようにして算出される。

【0026】

【数2】

【0027】

ｃは色成分を表し、Ωは注目座標（ｘ，ｙ）を含む局所領域を示す。式（３）に示されるように、ダークチャネル値は、注目画素を含む局所領域内におけるＲＧＢ成分の最小値となる。式（１）の大気モデルに、式（３）のダークチャネルの算出式を代入すると、大気モデルからダークチャネル値を算出する式（４）が得られる。

【0028】

Ｉ^drk＝Ｊ^drk(ｘ,ｙ)・ｔ(ｘ,ｙ)＋Ａ(１－ｔ(ｘ,ｙ)) 式（４）
ここで、霧霞が発生していない画像において、ＲＧＢ成分の少なくとも１つの成分の画素値は局所的に小さいという前提を考慮すると、式（４）における霧霞除去画像のダークチャネル値Ｊ^drk（ｘ，ｙ）は０に限りなく近い値となる。従って、式（４）は式（５）のように近似することができる。

【0029】

Ｉ^drk(ｘ,ｙ）≒Ａ(１－ｔ(ｘ,ｙ)) 式（５）
式（５）の近似式を変形することで、式（６）のようにして濃度マップｔ（ｘ，ｙ）を推定することができる。

【0030】

ｔ(ｘ,ｙ)≒１－｛ω×Ｉ^drk(ｘ,ｙ)／Ａ｝ 式（６）
ここで、ωは霧霞の補正度合いを制御するパラメータであり、０．０から１．０の範囲で定義され、値が大きいほど霧霞の補正効果を強く設定することができる。以上説明した式（２）～（６）によって算出される大気光Ａ、濃度マップｔ（ｘ，ｙ）を式（７）に代入することで、霧霞除去後のＪ（ｘ，ｙ）を求めることができる。

【0031】

Ｊ(ｘ，ｙ)＝｛(Ｉ(ｘ,ｙ)－Ａ)／ｔ(ｘ,ｙ)｝＋Ａ 式（７）
式（１）に示されるように、ダークチャネルに基づく第１の階調補正処理は、環境光Ａに加えて、カメラからの被写体距離に応じて変化する濃度マップも考慮して、画素毎に補正量を算出する。従って、近景の被写体だけでなく、遠景の被写体に対しても、霧霞を効果的に除去できる。しかしながら、式（３）で示されるように、ダークチャネル値の算出がエッジ情報を考慮していない点や、式（４）で示されるように、濃度マップを近似で求めている点があるため、エッジ部周辺で誤補正、具体的には、白く浮きあがってしまう現象（以降、この現象をハローノイズ（白領域）と呼ぶ）が発生してしまう。

【0032】

続いて、第２のかすみ補正部１４の詳細について説明する。まず、ヒストグラム取得・解析部１３では、入力画像のヒストグラムを生成し、生成したヒストグラムの分布密度を表す統計値を算出する。例えば、式（８）のようにして、ヒストグラムの分散σ²を求める。

【0033】

σ²＝｛(ｘ1－μ)²・ｆ1＋(ｘ2－μ)²・ｆ2＋…＋(ｘN－μ）²}／ｎ 式（８）
ここで、ｘiは入力輝度レベル、ｘNは入力輝度レベルの最大値、ｆは頻度、ｎはデータの合計（総画素数）、μは平均を示す。なお、本実施形態では、分布密度を表す統計値として、ヒストグラムの分散を用いたが、これに限るものではない。

【0034】

更に、ヒストグラム取得・解析部１３では、前述のヒストグラムおよび、統計値に基づき、霧霞の発生度合いを算出する。一般的に霧霞が発生している画像は、図３（ａ）に示すように、ヒストグラムの分布が一部領域に集中し、コントラストの低い映像になっている。従って、霧霞が発生している場合は、分散値は比較的小さな値になる。そこで、霧霞補正部２は、任意の閾値Ｔｈと分散値σ²を比較することで、霧霞の発生度合いＨを算出する。例えば、式（９）のようにして算出する。

【0035】

０．０ （if σ²＜０）
Ｈ＝ （Ｔh－σ²）／Ｔh （if ０≦σ²≦Ｔh）
１．０ （if Ｔh＜σ²） 式（９）
ここで、式（９）で表される霧霞の発生度合いＨは、０．０から１．０の範囲で正規化され、値が大きいほど霧霞の発生度合いが強い指標となる。

【0036】

続いて、第２のかすみ補正部１４は、ヒストグラム取得・解析部１３で算出される霧霞の発生度合いに応じて、トーカーブを調整する。具体的には、図４に示されるように、霧霞の発生度合いが強いほど、暗部を下げ、明部を持ち上げるトーンカーブを適用する。前述のトーンカーブを適用することで、図３（ｂ）に示すように、ヒストグラムが滑らかに分布することになり、霧霞を除去することができる。

【0037】

従って、第２のかすみ補正部１４は、ヒストグラムの分布（霧霞の発生度合い）に応じて、画面全体のコントラストを向上させることで、弊害を抑えつつ、霧霞を除去することが可能になる。しかしながら、被写体距離を考慮した補正量を算出してないため、遠景の被写体に対して効果が弱い手法となる。

【0038】

なお、上記では第１のかすみ補正部１２（一方のかすみ補正部）で第１の階調補正処理を行った後に第２のかすみ補正部１４（他方のかすみ補正部）で第２の階調補正処理を行っているが、その順番は逆にしてもよい。つまり、第１のかすみ補正部１２で第２の階調補正処理を行った後に第２のかすみ補正部１４で第１の階調補正処理を行っても同様な霧霞除去効果が得られる。

【0039】

第２の画像処理部１５では第１のかすみ補正部１２、第２のかすみ補正部１４で霧霞を除去した画像に対して２段目の画像処理を行う。具体的には輪郭強調処理、ノイズリダクション処理、色補正処理、解像度変換処理などを行う。ここで、輪郭強調処理、ノイズリダクション処理、色補正処理等は、第１の画像処理部１１で行ってもよいし、第２の画像処理部１５で行ってもよい。画像出力部１６は、画像処理や霧霞除去処理を行った画像を画像圧縮処理等を行う別の画像処理部や表示部１１０等に出力する。

【0040】

なお、第１の階調補正処理においては、時間をかけて徐々に補正効果を得るように補正処理を実行する。具体的には、式（６）のωの値を小さな値から徐々に大きく設定する。そして、輪郭部にハローノイズを抽出した場合、第１の階調補正処理を中止（停止）する。そうすることにより、第１の階調補正処理で発生しうる輪郭部のハローノイズを抑制することが可能となる。

【0041】

また、上記で説明したように、第１のかすみ補正部１２で第１の階調補正処理を行い、第２のかすみ補正部１４で第２の階調補正処理を行う場合と、階調補正処理の順番をその逆とする場合とが考えられる。それぞれの場合について、以下のような方法で階調補正処理が行われる。

【0042】

まず、第１のかすみ補正部１２で第１の階調補正処理を行い、第２のかすみ補正部１４で第２の階調補正処理を行う場合は、次のような方法をとる。すなわち、第１のかすみ補正部１２で上記のようにハローノイズの出方を見ながら、徐々に第１の階調補正処理を行い、その階調補正処理が止まってから画像の統計量、具体的には輝度ヒストグラムをみて階調制御の効果（補正結果）を判断する。もし階調制御の効果が不十分な場合には、第２のかすみ補正部１４で、時間をかけて十分な効果が得られる階調補正量（目標とする階調）に達するまで第２の階調補正処理を行う。ただし、第２の階調補正処理は、ハローノイズを考慮する必要がないので、必ずしもゆっくり行う必要はない。

【0043】

また、第１のかすみ補正部１２で第２の階調補正処理を行い、第２のかすみ補正部１４で第１の階調補正処理を行う場合は、次のような方法をとる。すなわち、第１のかすみ補正部１２で、第２の階調補正処理の効果を見ながら、時間をかけて徐々に第２の階調補正処理を行う。第２の階調補正処理では、遠景部分には霧霞除去の大きな効果が得られないので、その効果の程度を見ながら処理を行う。ただし、第２の階調補正処理は、時間をかけて行った方が効果の変化を見やすいというメリットがあるが、上記で述べたようにハローノイズを考慮する必要がないので、必ずしもゆっくり行う必要はない。そして、第２の階調補正処理が止まってから、もし階調制御の効果が不十分な場合には、第２のかすみ補正部１４で、時間をかけて十分な効果が得られる階調補正に達するまで第１の階調補正処理を行う。この場合も、第１の階調補正処理では、輪郭部にハローノイズを抽出したら、処理を中止する。

【0044】

以上のような方法により、ハローノイズの発生を抑制した良好な霧霞除去処理を行うことができる。

【0045】

図３は、画像の輪郭部にハローノイズが発生しないように霧霞の除去を行う動作を示したフローチャートである。なお、図３は、第１のかすみ補正部１２で第１の階調補正処理を行い、第２のかすみ補正部１４で第２の階調補正処理を行う場合の例を示している。

【0046】

霧霞除去処理のフローが開始されると、ステップＳ３１では、撮像部１０１により取得された画像が画像処理部１２０に入力される。ステップＳ３２では、第１のかすみ補正部１２が、第１の階調補正処理を行う。ここでは、前述したように画像の輪郭部にハローノイズが発生しない範囲で補正処理を行う。

【0047】

ステップＳ３３では、全体制御演算部１０７は、ステップＳ３２において第１の階調補正処理を行った結果の画像に対して、コントラストの大きさを判断する。コントラストが所定の値より小さい場合には、ステップＳ３４に進み、コントラストが所定の値以上の場合には階調補正処理を終了する。

【0048】

ステップＳ３４では、ステップＳ３２において実行した第１の階調補正処理で取りきれなかった霧霞を除去するために、第２の階調補正処理を実行し、階調補正処理を終了する。

【0049】

なお、図３では、ステップＳ３２において第１の階調補正処理を行い、ステップＳ３４において第２の階調補正処理を行う例を示した。しかし、既に説明したように、ステップＳ３２において第２の階調補正処理を行い、ステップＳ３４において第１の階調補正処理を行うようにしてもよい。どちらの場合でも、第１の階調補正処理では、ハローノイズが発生しない範囲で補正処理を行う。

【0050】

以上説明したように、第１の実施形態によれば、ハローノイズが発生しない範囲で、効果的な霧霞除去処理を行うことが可能となる。

【0051】

（第２の実施形態）
以下、本発明の画像処理装置の第２の実施形態であるデジタルカメラについて説明する。第２の実施形態におけるデジタルカメラの全体構成は、図１に示した第１の実施形態の構成と同様であるので、その説明を省略する。この第２の実施形態では、第１の実施形態で説明した第１の階調補正処理と第２の階調補正処理に重みをつけて実施する。

【0052】

図４は、第２の実施形態における画像の輪郭部にハローノイズが発生しないように霧霞除去を行う動作を示したフローチャートである。

【0053】

霧霞除去処理のフローが開始されると、ステップＳ４１では、撮像部１０１により取得された画像が画像処理部１２０に入力される。ステップＳ４２では、第１の画像処理部１１は、入力された画像の輝度値の統計量、具体的には輝度ヒストグラムを取得する。

【0054】

ステップＳ４３では、全体制御演算部１０７は、ステップＳ４２において取得した輝度ヒストグラムからコントラストの大きさを判断する。コントラストが所定値よりも小さければ、霧霞が強くかかっていると判断してステップＳ４４へ進み、コントラストが所定値以上であれば、霧霞がそれほど強くはないと判断してステップＳ４６へ進む。

【0055】

ステップＳ４４では、第１の実施形態で説明した第１の階調補正処理の重みを大きくする。ここでは、画像の輪郭部に発生するハローノイズを多少許容してでも、霧霞の除去度合いを強くする。また、ステップＳ４５では、ステップＳ４４で取り切れなかった霧霞を除去するために、第１の実施形態で説明した第２の階調補正処理を行う。そして、霧霞除去処理を終了する。なお、ステップＳ４４とステップＳ４５の順序は逆でも同様な効果が得られる。

【0056】

ステップＳ４６では、コントラストがそれほど小さくはなく霧霞が強くはかかっていないため、画像の輪郭部のハローノイズが発生しないように、第１の階調補正処理の重みを小さくする。ステップＳ４７では、ステップＳ４６で取りきれなかった霧霞を除去するために、第２の階調補正処理の重みを大きくする。そして、霧霞除去処理を終了する。なお、ステップＳ４６とステップＳ４７の順序は逆でも同様な効果が得られる。

【0057】

以上説明したように、第２の実施形態によれば、霧霞の強さに応じて、効果的な霧霞除去処理を行うことが可能となる。

【0058】

（第３の実施形態）
以下、本発明の画像処理装置の第３の実施形態であるデジタルカメラについて説明する。第３の実施形態におけるデジタルカメラの全体構成も、図１に示した第１の実施形態の構成と同様である。ただし、本実施形態では、画像処理回路１２１の構成が、第１の実施形態の画像処理回路１２０の構成とは異なる。この第３の実施形態では、注目領域に応じて、霧霞除去の方式を切り換えて実行する。

【0059】

図５は、第３の実施形態における画像処理回路１２１の構成を示す図である。画像処理回路１２１は、注目領域を指定（設定）し、その領域の被写体距離を測定し、被写体距離に応じて階調制御の方式を切り換え、霧霞の除去を行う。

【0060】

図５において、画像処理回路１２１は、第１の画像処理部２１、注目領域指定部２２、距離情報取得部２３、第１のかすみ補正部２４、第２のかすみ補正部２５、第２の画像処理部２６、画像出力部２７を備える。

【0061】

撮像部１０１により撮像された画像データは、画像処理回路１２１に入力される。第１の画像処理部２１は、画像データの１段目の画像処理部であり、第１の実施形態で説明した第１の画像処理部１１と同様である。注目領域指定部２２は、画像データ内で注目したい領域を指定する機能を有し、注目したい領域をユーザーが指定するＧＵＩ等を備える。距離情報取得部２３は、注目領域指定部２２によって指定された注目領域までの距離を測定する。ここで注目領域までの距離は、レンズ部１０２に配置されたフォーカスレンズやズームレンズの制御情報等を用いて測定する。

【0062】

第１のかすみ補正部２４は、第１の実施形態で説明した第１の階調補正処理を実行する。第２のかすみ補正部２５は、第１の実施形態で説明した第２の階調補正処理を実行する。第２の画像処理部２６は、第１のかすみ補正部２４で補正された画像と第２のかすみ補正部２５で補正された画像の選択処理もしくは混合処理、及び２段目の画像処理を行う。第１のかすみ補正部２４は、遠い距離にある注目領域の霧霞を除去するのに効果があるため、距離情報取得部２３で取得した距離情報が第１の所定距離より遠い場合に、第１のかすみ補正部２４が選択される。第２のかすみ補正部２５は、近い距離にある注目領域の霧霞を除去するのに効果があるために、距離情報取得部２３で取得した距離情報が第２の所定距離より近い場合に、第２のかすみ補正部２５が選択される。距離情報取得部２３により取得された距離情報が第１の所定距離以下で、第２の所定距離以上の場合には、第１のかすみ補正部２４で補正された画像と第２のかすみ補正部２５で補正された画像の混合処理（合成処理）を行う。

【0063】

ここで、画像の合成比率は、領域ごとに被写体のエッジ情報を用いて決定する。具体的には、エッジであると考えられる領域に関しては、第１の実施形態で説明した第２の階調補正処理の比率を大きく設定する。一方、平坦であると考えられる領域に関しては、第１の実施形態で説明した第１の階調補正処理の比率を大きく設定する。このような比率で合成することで、エッジ部のハローノイズを抑制しつつ、霧霞除去を効果的に実行することができる。具体的な手順を以下で述べる。

【0064】

まず始めに、画像からエッジを検出する。エッジ検出の方法として、霧霞が発生している入力画像Ｉに対して、ソーベルフィルタを実行することで、エッジ情報を濃淡画像として抽出することができる。

【0065】

続いて、生成されたエッジ情報（濃度値 Ｆ（ｘ，ｙ））に基づき、例えば、式（１０）のようにして、混合比率Ｂｌｅｎｄ（ｘ，ｙ）を求める。

【0066】

Blend(ｘ,ｙ)＝Ｆ(ｘ,ｙ)／Ｆmax 式（１０）
ここで、Ｆmaxは濃度値の最大値を示し、混合比率は０．０から１．０の値で正規化される。

【0067】

最後に、式（１０）の混合比率に基づき、第１のかすみ補正部２４で補正された画像Ｄｅｈａｚｅ１（ｘ，ｙ）と、第２のかすみ補正部２５で補正された画像Ｄｅｈａｚｅ２（ｘ，ｙ）を式（１１）のようにして合成する。

【0068】

Dehaze_Blend(ｘ,ｙ)
＝(１．０－Blend(ｘ,ｙ))×Dehaze1(ｘ,ｙ)＋Blend(ｘ,ｙ)×Dehaze2(ｘ,ｙ)
式（１１）
以上のような手順を踏むことで、エッジ部のハローノイズを抑制しつつ、霧霞除去を効果的に実行された混合画像Ｄｅｈａｚｅ_{Ｂｌｅｎｄ}（ｘ，ｙ）が得られる。

【0069】

なお、第２の画像処理部２６は、第１の実施形態で説明した第２の画像処理部１５と同様である。各画像処理機能は第１の画像処理部２１で行ってもよいし、第２の画像処理部２６で行ってもよい。画像出力部２７は、画像処理や霧霞除去処理を行った画像を、画像圧縮処理等を行う別の画像処理部や表示部１１０等に出力する。

【0070】

図６は、指定した注目領域の距離に応じて階調制御の方式を切り換えて霧霞の除去を行う動作を示すフローチャートである。

【0071】

霧霞除去処理のフローが開始されると、ステップＳ６１では、撮像部１０１により取得された画像が画像処理部１２１に入力される。ステップＳ６２では、ユーザーが注目したい領域をＧＵＩ等で指定する。ステップＳ６３では、距離情報取得部２３が、ユーザーが指定した注目領域までの距離を測定する。注目領域までの距離は、レンズ部１０２に配置されたフォーカスレンズやズームレンズの制御情報等を用いて測定される。

【0072】

ステップＳ６４では、全体制御演算部１０７は、注目領域に含まれる被写体までの距離が第１の所定距離より遠いか否かを判別する。被写体までの距離が第１の所定距離より遠い場合には、ステップＳ６５に進む。被写体までの距離が第１の所定距離より遠くない場合には、ステップＳ６６に進む。

【0073】

ステップＳ６５では、遠い被写体にかかっている霧霞を除去するのに効果的な第１の実施形態で説明した第１の階調補正処理を実行する。

【0074】

ステップＳ６６では、注目領域に含まれる被写体までの距離が第２の所定距離より近いか否かを判別する。被写体までの距離が第２の所定距離より近い場合には、ステップＳ６７に進む。被写体までの距離が第２の所定距離より近くない場合には、ステップＳ６８に進む。

【0075】

ステップＳ６７では、近い被写体にかかっている霧霞を除去するのに効果的な第１の実施形態で説明した第２の階調補正処理を実行する。ステップＳ６８では、式（１０）で求められる合成比率に基づき。第１の実施形態で説明した第１の階調補正処理で得られた画像と第２の階調補正処理で得られた画像を式（１１）に示されるように混合処理を行う。このステップＳ６８は、注目領域に含まれる被写体までの距離が第１の所定距離以下で、第２の所定距離以上の場合に実行される。ステップＳ６５、またはＳ６７、またはＳ６８を実行後、霧霞の除去動作を終了する。

【0076】

以上説明したように、第３の実施形態によれば、被写体の距離に応じて、効果的な霧霞除去処理を行うことが可能となる。

【0077】

（第４の実施形態）
以下、本発明の画像処理装置の第４の実施形態であるデジタルカメラについて説明する。第４の実施形態における画像処理回路の構成は、図５に示した第３の実施形態の構成と同様である。ただし、本実施形態では、注目領域指定部２２は、注目したい被写体を検出して、その被写体が存在する領域を自動で指定する。

【0078】

図７は、注目被写体を検出して、注目被写体までの距離に基づいて階調制御の方式を切り換えて霧霞の除去を行う動作を示すフローチャートである。

【0079】

霧霞除去処理のフローが開始されると、ステップＳ７１では、撮像部１０１により取得された画像が画像処理部１２１に入力される。ステップＳ７２では、注目したい被写体を検出し、その被写体が存在する領域を自動的に指定する。注目したい被写体を検出するためには、例えばユーザーが注目したい物体や人を指定する。そしてオブジェクト検出やＡＩ技術等を用いて注目したい物体や人を検知し、それらを含む領域を指定する。あるいは動体検知などを用いて動いている物体や人を検知して、それらを含む領域を指定してもよい。

【0080】

ステップＳ７３では、距離情報取得部２３は、指定された注目被写体を含む領域までの距離を測定する。注目領域までの距離は、レンズ部１０２に配置されたフォーカスレンズやズームレンズの制御情報等を用いて測定される。

【0081】

ステップＳ７４では、全体制御演算部１０７は、注目被写体までの距離が第１の所定距離より遠いか否かを判別する。被写体までの距離が第１の所定距離より遠い場合には、ステップＳ７５に進む。被写体までの距離が第１の所定距離より遠くない場合には、ステップＳ７６に進む。

【0082】

ステップＳ７５では、遠い被写体にかかっている霧霞を除去するのに効果的な第１の実施形態で説明した第１の階調補正処理を実行する。

【0083】

ステップＳ７６では、注目被写体までの距離が第２の所定距離より近いか否かを判別する。被写体までの距離が第２の所定距離より近い場合には、ステップＳ７７に進む。被写体までの距離が第２の所定距離より近くない場合には、ステップＳ７８に進む。

【0084】

ステップＳ７７では、近い被写体にかかっている霧霞を除去するのに効果的な第１の実施形態で説明した第２の階調補正処理を実行する。ステップＳ７８では、第１の実施形態で説明した第１の階調補正処理で得られた画像と第２の階調補正処理で得られた画像の混合処理を行う。このステップＳ７８は、注目被写体までの距離が第１の所定距離以下で、第２の所定距離以上の場合に実行される。ステップＳ７５、またはＳ７７、またはＳ７８を実行後、霧霞の除去動作を終了する。

【0085】

以上説明したように、第４の実施形態によれば、検出された注目被写体の距離に応じて、効果的な霧霞除去処理を行うことが可能となる。

【0086】

（第５の実施形態）
以下、本発明の画像処理装置の第５の実施形態であるネットワークカメラについて説明する。第５の実施形態における画像処理回路の構成は、図１０に示されるように、ネットワークカメラと、ネットワーク、クライアント装置から構成されている。

【0087】

この第５の実施形態では、クライアント装置で実行される認識・解析アプリに応じて、霧霞除去の方式を切り替えて実行する。本実施形態では、人の顔の識別を行う顔識別アプリ、および、画面内に存在する被写体をカウントする人数カウントアプリを用いて例示的に説明する。

【0088】

それぞれのアプリの特徴として、顔識別アプリは、顔の細かな特徴をベースに識別を行うため、前述のハローノイズに代表されるアーチファクトの発生をなるべく抑える必要がある。一方、人数カウントアプリは、細かな構造をベースに検出を行う和ではなく、顔識別アプリと比較すると、より大雑把な構造、形状の検出を行い、人数をカウントする。そのため、人数カウントアプリを実行時に、霧霞を除去する場合、ハローノイズを抑えるよりは、霧霞の除去効果を優先した方が被写体の検出精度が向上する。なお、認識・解析アプリはこれに限るものではなく、例えば、人の動線をヒートマップ化する解析アプリ、特定人物を追尾するアプリ、被写体の属性を解析するアプリ等でもよい。

【0089】

図１１は、本実施形態において霧霞除去を行う動作を示すフローチャートである。

【0090】

霧霞除去処理のフローが開始されると、ステップＳ１１１では、撮像部１０１により取得された画像が画像処理部１２１に入力される。ステップＳ１１２では、クライアント装置で実行される認識・解析アプリの情報を取得する。

【0091】

ステップＳ１１３では、全体制御演算部１０７は、取得された認識・解析アプリの種類が顔識別アプリであるか否かを判別する。顔識別アプリである場合には、ステップＳ１１４に進む。顔識別アプリでない場合には、ステップＳ１１５に進む。

【0092】

ステップＳ１１４では、弊害を抑えつつ、霧霞を除去するのに効果的な第１の実施形態で説明した第２の階調補正処理を実行する。

【0093】

ステップＳ１１５では、取得された認識・解析アプリの種類が人数カウントアプリであるか否かを判別する。人数カウントアプリである場合には、ステップＳ１１６に進む。顔識別アプリでも人数カウントアプリでもない場合は、ステップＳ１１７に進む。

【0094】

ステップＳ１１６では、遠い被写体にかかっている霧霞を除去するのに効果的な第１の実施形態で説明した第１の階調補正処理を実行する。

【0095】

ステップＳ１１７では、第３の実施形態で説明したステップＳ６８と同様に、エッジ情報に基づき、第１の階調補正処理で得られた画像と第２の階調補正処理で得られた画像の混合処理を行う。ステップＳ１１４、またはステップＳ１１６、またはステップＳ１１７を実行後、霧霞の除去動作を終了する。

【0096】

以上説明したように、第５の実施形態によれば、クライアント装置で実行される認識・解析アプリに応じて、効果的な霧霞除去処理を行うことが可能となる。

【0097】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0098】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0099】

１００：デジタルカメラ、１０１：撮像部、１０２：レンズ部、１０４：撮像信号処理回路、１０７：全体制御演算部、１２０，１２１：画像処理回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】