特許 6624061 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6624061

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体

(51)【国際特許分類】

   G06T 5/00 20060101AFI20191216BHJP

   H04N 1/409 20060101ALI20191216BHJP

【ＦＩ】

   G06T5/00 705

   H04N1/409

【請求項の数】12

【全頁数】33

(21)【出願番号】特願2016-551514(P2016-551514)

(86)(22)【出願日】2015年9月17日

(86)【国際出願番号】JP2015004778

(87)【国際公開番号】WO2016051716

(87)【国際公開日】20160407

【審査請求日】2018年8月9日

(31)【優先権主張番号】特願2014-197732(P2014-197732)

(32)【優先日】2014年9月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】先崎 健太

(72)【発明者】

【氏名】戸田 真人

【審査官】 佐藤 卓馬

(56)【参考文献】

【文献】 国際公開第２０１３／１６１８４０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

(57)【特許請求の範囲】

【請求項1】

多重解像度画像を生成する多重解像度画像生成手段と、
前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算されたエッジ情報とに基づいて、明るさ補正量を算出する補正量算出手段と、
前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とに基づいて、ノイズ成分が抑圧された明るさ補正後の画像を算出するノイズ抑圧手段と
を有し、
前記エッジ情報は、
前記多重解像度画像を生成する際に参照する複数サイズの参照画素範囲が、各解像度で決定されたエッジ方向に基づき、複数のサブブロックに分割された、前記サブブロックごとのサブブロック平均画素値である、
画像処理装置。

【請求項2】

前記多重解像度画像生成手段は、
注目画素が中心である、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲において、解像度の異なる複数の画像の集合である多重解像度画像を生成し、
前記補正量算出手段は、
前記多重解像度画像を用いて、隣接する解像度間における差分情報である隣接解像度間差分情報を計算し、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲を、各解像度で決定されたエッジ情報に基づいて３つのサブブロックに分割し、
前記サブブロックごとの平均値であるサブブロック平均値を計算し、
注目画素において、当該解像度のサブブロック平均値に基づいて当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とに基づいて、当該解像度より高い解像度の画素値を算出し、当該解像度の画素値の補正を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるローパス成分を抽出し、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定し、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出し、
前記ノイズ抑圧手段は、
前記明るさ補正量の算出において算出した、当該該解像度のサブブロック平均値及び明るさ補正量に基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報に基づいて当該解像度より高い解像度の画素値を生成し、当該解像度より高い解像度の画素値の生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
請求項１に記載の画像処理装置。

【請求項3】

多重解像度画像を生成する多重解像度画像生成手段と、
前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算されたエッジ情報とに基づいて、明るさ補正量を算出する補正量算出手段と、
前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とに基づいて、ノイズ成分が抑圧された明るさ補正後の画像を算出するノイズ抑圧手段と
を有し、
前記多重解像度画像生成手段は、
注目画素が中心である、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲において、解像度の異なる複数の画像の集合である多重解像度画像を生成し、
前記補正量算出手段は、
前記多重解像度画像を用いて、隣接する解像度間における差分情報である隣接解像度間差分情報を計算し、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲を、各解像度で決定されたエッジ情報に基づいて３つのサブブロックに分割し、
前記サブブロックごとの平均値であるサブブロック平均値を計算し、
注目画素において、当該解像度のサブブロック平均値に基づいて当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とに基づいて、当該解像度より高い解像度の画素値を算出し、当該解像度の画素値の補正を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるローパス成分を抽出し、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定し、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出し、
前記ノイズ抑圧手段は、
前記明るさ補正量の算出において算出した、当該該解像度のサブブロック平均値及び明るさ補正量に基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報に基づいて当該解像度より高い解像度の画素値を生成し、当該解像度より高い解像度の画素値の生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
画像処理装置。

【請求項4】

前記補正量算出手段は、
当該解像度のサブブロック平均画素値に基づいて当該解像度の画素値及び当該解像度の隣接解像度間差分情報を補正する補正量を求め、
前記補正量に基づいて、当該解像度の画素値と当該解像度の隣接解像度間差分情報とを補正し、
前記補正された当該解像度の隣接解像度間差分情報に基づいてノイズ成分を抑圧し、
前記補正された当該解像度の画素値と、当該解像度のノイズ成分が抑圧された隣接解像度間差分情報とに基づいて、当該解像度より高解像度の画素値を生成する
ことを、最低解像度から所定の解像度まで順次繰り返すことにより、前記注目画素におけるローパス成分を算出することによって、前記明るさ補正量を算出する
請求項２又は請求項３に記載の画像処理装置。

【請求項5】

前記ノイズ抑圧手段は、
当該該解像度のサブブロック平均値及び明るさ補正量に基づいて、当該解像度の画素値を補正する補正量を求め、
前記補正量に基づいて、当該解像度の画素値を補正し、
前記補正された当該解像度の画素値と当該隣接解像度間差分情報とに基づいて当該解像度より高解像度の画素値を生成する
ことを、最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
請求項２から請求項４のいずれかに記載の画像処理装置。

【請求項6】

前記解像度の画素値及び前記解像度の隣接解像度間差分情報を補正する前記補正量は、
前記解像度の画素値と当該解像度の参照画素範囲における前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量と、を算出し、前記差分と前記エッジ量とに基づいて算出することによって求めた補正量である
請求項４又は請求項５に記載の画像処理装置。

【請求項7】

注目画素が中心である、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲において平均画素値を算出することによって、解像度の異なる複数の画像の集合である多重解像度画像を生成する多重解像度画像生成手段と、
前記多重解像度画像を用いて、隣接する解像度間における差分情報である隣接解像度間差分情報を計算する差分計算手段と、
前記多重解像度画像を生成するときに用いた、複数サイズの参照画素範囲の、エッジ方向を決定するエッジ方向決定手段と、
前記エッジ方向に基づいて、前記参照画素範囲を３つのサブブロックに分割し、前記サブブロックごとの平均値であるサブブロック平均値を計算する平均値計算手段と、
当該解像度における参照画素範囲の平均画素値と、当該解像度における参照画素範囲の前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて、当該解像度の画素値を補正する補正量を算出し、前記補正量に基づいて、当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とに基づいて、当該解像度より高解像度の画素値を算出する、ことを、最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことにより、前記注目画素におけるローパス成分を抽出し、前記ローパス成分に基づいて、前記注目画素における照明光成分を推定する照明光推定手段と、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出する補正量算出手段と、
前記明るさ補正量の算出において算出した解像度の画素値を補正する補正量と、当該解像度の明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とに基づいて当該解像度より高い解像度の画素値を生成し、当該解像度より高い解像度の画素値の生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出するノイズ抑圧手段と
を有する画像処理装置。

【請求項8】

多重解像度画像を生成し、
前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算されたエッジ情報とに基づいて、明るさ補正量を算出し、
前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とに基づいて、ノイズ成分が抑圧された明るさ補正後の画像を算出し、
前記エッジ情報は、
前記多重解像度画像を生成する際に参照する複数サイズの参照画素範囲が、各解像度で決定されたエッジ方向に基づき、複数のサブブロックに分割された、前記サブブロックごとのサブブロック平均画素値である、
画像処理方法。

【請求項9】

多重解像度画像を生成し、
前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算されたエッジ情報とに基づいて、明るさ補正量を算出し、
前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とに基づいて、ノイズ成分が抑圧された明るさ補正後の画像を算出し、
注目画素が中心である、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲において、解像度の異なる複数の画像の集合である多重解像度画像を生成し、
前記多重解像度画像を用いて、隣接する解像度間における差分情報である隣接解像度間差分情報を計算し、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲を、各解像度で決定されたエッジ情報に基づいて３つのサブブロックに分割し、
前記サブブロックごとの平均値であるサブブロック平均値を計算し、
注目画素において、当該解像度のサブブロック平均値に基づいて当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とに基づいて、当該解像度より高い解像度の画素値を算出し、当該解像度の画素値の補正を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるローパス成分を抽出し、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定し、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出し、
前記明るさ補正量の算出において算出した、当該該解像度のサブブロック平均値及び明るさ補正量に基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報に基づいて当該解像度より高い解像度の画素値を生成し、当該解像度より高い解像度の画素値の生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
画像処理方法。

【請求項10】

注目画素が中心である、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲において平均画素値を算出することによって、解像度の異なる複数の画像の集合である多重解像度画像を生成し、
前記多重解像度画像を用いて、隣接する解像度間における差分情報である隣接解像度間差分情報を計算し、
前記多重解像度画像を生成するときに用いた、複数サイズの参照画素範囲の、エッジ方向を決定し、
前記エッジ方向に基づいて、前記参照画素範囲を３つのサブブロックに分割し、
前記サブブロックごとの平均値であるサブブロック平均値を計算し、
当該解像度における参照画素範囲の平均画素値と、当該解像度における参照画素範囲の前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて、当該解像度の画素値を補正する補正量を算出し、前記補正量に基づいて、当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とに基づいて、当該解像度より高解像度の画素値を算出する、ことを、最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるローパス成分を抽出し、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定し、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出し、
前記明るさ補正量の算出において算出した解像度の画素値を補正する補正量と、当該解像度の明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とに基づいて当該解像度より高い解像度の画素値を生成し、当該解像度より高い解像度の画素値の生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
画像処理方法。

【請求項11】

多重解像度画像を生成する処理と、
前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算されたエッジ情報とから、明るさ補正量を算出する処理と、
前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とに基づいて、ノイズ成分が抑圧された明るさ補正後の画像を算出する処理と
をコンピュータに実行させ、
前記エッジ情報は、
前記多重解像度画像を生成する際に参照する複数サイズの参照画素範囲が、各解像度で決定されたエッジ方向に基づき、複数のサブブロックに分割された、前記サブブロックごとのサブブロック平均画素値である、
プログラム。

【請求項12】

多重解像度画像を生成する処理と、
前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算されたエッジ情報とから、明るさ補正量を算出する処理と、
前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とに基づいて、ノイズ成分が抑圧された明るさ補正後の画像を算出する処理と
をコンピュータに実行させ、
前記多重解像度画像を生成する処理において、コンピュータに、
注目画素が中心である、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲において、解像度の異なる複数の画像の集合である多重解像度画像を生成させ、
前記明るさ補正量を算出する処理において、コンピュータに、
前記多重解像度画像を用いて、隣接する解像度間における差分情報である隣接解像度間差分情報を計算させ、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲を、各解像度で決定されたエッジ情報に基づいて３つのサブブロックに分割させ、
前記サブブロックごとの平均値であるサブブロック平均値を計算させ、
注目画素において、当該解像度のサブブロック平均値に基づいて当該解像度の画素値を補正させ、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とに基づいて、当該解像度より高い解像度の画素値を算出させ、当該解像度の画素値の補正を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるローパス成分を抽出させ、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定させ、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出させ、
前記画像を算出する処理において、コンピュータに、
前記明るさ補正量の算出において算出した、当該該解像度のサブブロック平均値及び明るさ補正量に基づいて、当該解像度の画素値を補正させ、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報に基づいて当該解像度より高い解像度の画素値を生成させ、当該解像度より高い解像度の画素値の生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体に関する。

【背景技術】

【0002】

近年、監視カメラの利用が盛んになっている。しかし、監視カメラの実際の運用シーンにおいては、逆光撮影時に一部領域が暗く見づらくなり、撮影される映像が不鮮明となる問題が発生する。

【0003】

撮影された画像の逆光状態の画像を補正する技術としては、たとえば、特許文献１に開示された技術（階調補正、逆光補正、High Dynamic Range imaging, ＨＤＲ）がある。

【0004】

特許文献１に記載された技術について説明する。この手法によれば、図１に示される処理フローにより画像中の逆光部の補正が行われる。

【0005】

まず、特許文献１に記載されている画像処理システムは、入力された原画像から、１画素以上で構成される画像領域である局所領域を選択する（ステップＳ８０１）。

【0006】

次に、画像処理システムは、選択された局所領域の階調補正量を算出する（ステップＳ８０２）。画像処理システムは、局所領域の階調補正量を算出するために、局所領域の中心を原点とし、局所領域を内包する領域（周辺領域）の輝度（周辺領域輝度）を算出する。この周辺領域輝度としては、周辺領域の輝度ヒストグラムの中央値や平均値、周辺領域の輝度の加重平均をとった加重平均輝度値などを用いることができる。そして、画像処理システムは、周辺領域輝度に基づき、局所領域の階調補正量を算出する。

【0007】

局所領域の階調補正量が算出されると、画像処理システムは、得られた局所階調補正量に基づいて該当する局所領域の階調を補正する（ステップＳ８０３）。この局所階調補正は、１領域以上ある局所領域に対して逐次的に行われる。

【0008】

画像処理システムは、局所領域の階調補正が全ての補正対象の局所領域について行われたか否かを判定する（ステップＳ８０４）。未処理の局所領域が残っている場合（ステップＳ８０４−ＮＯ）、画像処理システムは、その領域に対して補正量の取得および階調補正を行う。

【0009】

全ての局所領域に対して処理が終了している場合（ステップＳ８０４−ＹＥＳ）、画像処理システムは、階調補正処理を終了する。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】国際公開第２００６／０２５４８６号

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかし、特許文献１の技術は、階調補正処理、すなわちＨＤＲ処理によってノイズを強調してしまうため、入力画像に含まれるノイズ強度が高いとき（すなわちノイズの分散が大きいとき）に鮮明な出力画像を生成できなかった。ＨＤＲ処理の前段、または後段にノイズ抑圧処理（デノイズ処理）を導入することによってノイズ強調を抑制できるが、デノイズ処理はＨＤＲ処理と同等の演算コストが必要になる。そのため、ＦＰＧＡ（field-programmable gate array）などの計算資源が限られる環境では、処理性能を落として演算負荷を下げるか、計算資源を増強しないと適用できなかった。

【0012】

また、特許文献１の技術は、照明光成分推定部において演算コストの低い線形ローパスフィルタを用いると、明るさが急激に変化する画像中のエッジ周辺領域においてハロと呼ばれる照明光成分推定誤差に起因する不具合が生じてしまう問題があった。エッジ保存型の非線形ローパスフィルタを用いて照明光成分を推定することによって、エッジ周辺での照明光成分推定の誤差を小さくすることができ、ハロの問題は発生しにくくなる。しかし、エッジ保存型の非線形ローパスフィルタは演算コストが高いため、単独で非線形ローパスフィルタを用いることは、ＦＰＧＡなどの計算資源が限られる環境では難しかった。

【0013】

本発明は上記課題に鑑みて発明されたものである。本発明の目的の１つは、ＨＤＲによるノイズ強調とハロの発生とを抑制できる低演算コストな画像処理方法、画像処理装置、及び画像処理プログラム等を提供することにある。

【課題を解決するための手段】

【0014】

本発明の一態様に係る画像処理装置は、多重解像度画像を生成する多重解像度画像生成手段と、前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算されたエッジ情報とに基づいて、明るさ補正量を算出する補正量算出手段と、前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とに基づいて、ノイズ成分が抑圧された明るさ補正後の画像を算出するノイズ抑圧手段とを有する。

【0015】

本発明の一態様に係る画像処理装置は、注目画素が中心である、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲において平均画素値を算出することによって、解像度の異なる複数の画像の集合である多重解像度画像を生成する多重解像度画像生成手段と、前記多重解像度画像を用いて、隣接する解像度間における差分を表す隣接解像度間差分値を計算する差分計算手段と、前記多重解像度画像を生成するときに用いた、複数サイズの参照画素範囲の、エッジ方向を決定するエッジ方向決定手段と、前記エッジ方向に基づいて、前記参照画素範囲を３つのサブブロックに分割し、前記サブブロックごとの平均値であるサブブロック平均値を計算する平均値計算手段と、当該解像度における参照画素範囲の平均画素値と、当該解像度における参照画素範囲の前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて、当該解像度の画素値を補正する補正量を算出し、前記補正量に基づいて、当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とに基づいて、当該解像度より高解像度の画素値を算出する、ことを、最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことにより、前記注目画素におけるローパス成分を抽出し、前記ローパス成分に基づいて、前記注目画素における照明光成分を推定する照明光推定手段と、前記照明光成分に基づいて、入力画像の明るさ補正量を算出する補正量算出手段と、前記明るさ補正量の算出において算出した解像度の画素値を補正する補正量と、当該解像度の明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とに基づいて当該解像度より高い解像度の画素値を生成し、当該解像度より高い解像度の画素値の生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出するノイズ抑圧手段とを有する。

【0016】

本発明の一態様に係る画像処理方法は、多重解像度画像を生成し、前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算されたエッジ情報とに基づいて、明るさ補正量を算出し、前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とに基づいて、ノイズ成分が抑圧された明るさ補正後の画像を算出する。

【0017】

本発明の一態様に係る画像処理方法は、注目画素が中心である、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲において平均画素値を算出することによって、解像度の異なる複数の画像の集合である多重解像度画像を生成し、前記多重解像度画像を用いて、隣接する解像度間における差分情報である隣接解像度間差分情報を計算し、前記多重解像度画像を生成するときに用いた、複数サイズの参照画素範囲の、エッジ方向を決定し、前記エッジ方向に基づいて、前記参照画素範囲を３つのサブブロックに分割し、前記サブブロックごとの平均値であるサブブロック平均値を計算し、当該解像度における参照画素範囲の平均画素値と、当該解像度における参照画素範囲の前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて、当該解像度の画素値を補正する補正量を算出し、前記補正量に基づいて、当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とに基づいて、当該解像度より高解像度の画素値を算出する、ことを、最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるローパス成分を抽出し、前記ローパス成分に基づいて、前記注目画素における照明光成分を推定し、前記照明光成分に基づいて、入力画像の明るさ補正量を算出し、前記明るさ補正量の算出において算出した解像度の画素値を補正する補正量と、当該解像度の明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とに基づいて当該解像度より高い解像度の画素値を生成し、当該解像度より高い解像度の画素値の生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返すことによって、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する。

【0018】

本発明の一態様に係るコンピュータ読み取り可能な記録媒体は、多重解像度画像を生成する処理と、前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算されたエッジ情報とから、明るさ補正量を算出する処理と、前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とに基づいて、ノイズ成分が抑圧された明るさ補正後の画像を算出する処理とをコンピュータに実行させるプログラムを記憶する。本発明は、前記記録媒体に記憶されたプログラムによっても実現される。

【発明の効果】

【0019】

本発明によれば、明るさ補正によるノイズ強調とハロの発生とを抑制できる低演算コストな画像処理方法、画像処理装置、及び画像処理プログラムを提供することができる。

【図面の簡単な説明】

【0020】

【図1】図１は、関連する逆光補正手法の動作を示すフローチャートである。

【図2】図２は、本発明の第１の実施の形態に係る画像処理システムの全体構成を示すブロック図である。

【図3】図３は、本発明の第１の実施の形態の画像処理装置２の構成を示すブロック図である。

【図4】図４は、エッジ方向を決定する際に用いられるブロックパターンの例である。

【図5】図５は、３つのサブブロックの平均画素値の関係が凹凸型(中央サブブロックが最大または最小)である場合の処理の流れを示した図である。

【図6】図６は、３つのサブブロックの平均画素値の関係が単調変化の場合の処理の流れを示した図である。

【図7】図７は、中央のサブブロックが極端な値を持つ場合に、エッジが消えるメカニズムを示した図である。

【図8】図８は、中央のサブブロックが極端な値を持つ場合でも、エッジを維持するための処理の流れを示した図である。

【図9】図９は、本発明の第１の実施形態の画像処理装置２の動作（画像処理方法）を示すフローチャートである。

【図10】図１０は、本発明の第２の実施形態の画像処理装置２Ａの構成を表すブロック図である。

【図11】図１１は、本発明の各実施形態に係る画像処理装置を実現できるコンピュータの構成を表すブロック図である。

【図12】図１２は、本発明の各実施形態に係る画像処理装置のハードウェア構成の一例を表すブロック図である。

【発明を実施するための形態】

【0021】

＜第１の実施形態＞
本発明の第１の実施形態に係る画像処理方法は、多重解像度画像を生成する。その画像処理方法は、前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算するエッジ情報とから、明るさ補正量を算出する。その画像処理方法は、前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とから、ノイズ成分が抑圧された明るさ補正後の画像を算出する。

【0022】

更に詳細に述べると、本発明の第１の実施形態に係る画像処理方法は、注目画素を中心とし、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲で平均画素値を算出し、解像度の異なる複数の画像の集合である多重解像度画像を生成する。前記多重解像度画像を用いて隣接する解像度間で差分情報である隣接解像度間差分情報を計算する。画像処理方法は、前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲のエッジ方向を決定する。画像処理方法は、前記エッジ方向に基づいて、前記参照画素範囲を３つのサブブロックに分割する。画像処理方法は、前記サブブロックごとの平均値であるサブブロック平均値を計算する。画像処理方法は、当該解像度における参照画素範囲の平均画素値と、当該解像度における参照画素範囲の前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出する（第１の算出）。画像処理方法は、前記差分と前記エッジ量とに基づいて、当該解像度の画素値を補正する補正量を算出する（第２の算出）。画像処理方法は、前記補正量に基づいて、当該解像度の画素値を補正する（第１の補正）。画像処理方法は、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とから、当該解像度より高解像度の画素値を算出する（第３の算出）。画像処理方法は、第１の算出と、第２の算出と、第１の補正と、第３の算出とを、最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるローパス成分を抽出する。なお、本発明の各実施形態の説明において、画素におけるローパス成分は、例えば画像に２次元ローパスフィルタを掛けることによっても得られる低周波数成分の画像の、その画素における画素値を表す。また、画像のローパス成分は、その画像に２次元ローパスフィルタを掛けることによっても得られる、その画像の低周波数成分の画像を表す。画像処理方法は、前記ローパス成分に基づいて、前記注目画素における照明光成分を推定する。画像処理方法は、前記照明光成分に基づいて、入力画像の明るさ補正量を算出する。画像処理方法は、前記明るさ補正量の算出において算出した解像度の画素値を補正する補正量と、当該解像度の明るさ補正量とに基づいて、当該解像度の画素値を補正する。画像処理方法は、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成する。画像処理方法は、この生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する。

【0023】

以下に、本発明の第１の実施の形態の具体例を説明する。

【0024】

図２は、本発明の第１の実施の形態に係る画像処理システムの構成を示すブロック図である。本実施形態の画像処理システムは、画像入力部１と画像処理装置２と画像出力部３とを備えている。図２に示す画像処理システムにおいて、データの流れは矢印の方向に限定されない。

【0025】

画像入力部１は、カメラやスキャナなどの撮像機器、または、その撮像機器により撮影されて画像データが蓄積される画像データベースによって実現される。画像入力部１は、さらに、それらが接続されるネットワークなどによって実現されてもよい。画像入力部１から原画像データが画像処理装置２に入力される。

【0026】

画像処理装置２は、入力される原画像の逆光部の視認性を改善する補正処理を行い、補正画像を画像出力部３に出力する。

【0027】

画像出力部３は、例えば、ディスプレイ、プリンタ、画像データを保持するハードディスクやメモリカードなどの記憶媒体によって実現される。画像出力部３は、さらに、あるいはそれらが接続されるネットワークなどによって実現されてもよい。画像出力部３は、画像の表示や蓄積あるいは伝送を行う。

【0028】

図３は、本実施形態の画像処理装置２の構成の一例を表すブロック図である。画像処理装置２は、図３に示されるように、生成部２１と、差分計算部２２と、エッジ方向決定部２３と、平均値計算部２４と、照明光推定部２５と、補正量算出部２６と、ノイズ抑圧部２７とを備える。なお、図３に示す画像処理装置２において、データの流れは矢印の方向に限定されない。

【0029】

以下、各部について説明する。

【0030】

生成部２１は、画像入力部１から入力される原画像データに対し、注目画素を中心とする、画素参照範囲が順次狭くなる（あるいは広くなる）複数サイズの参照画素範囲で平均画素値を算出することによって、多重解像度画像を生成する。多重解像度画像は、解像度の異なる複数の画像の集合である。そして、生成部２１は、生成した多重解像度画像を差分計算部２２に出力する。また、生成部２１は、多重解像度画像のうち最低解像度画像を、照明光推定部２５と、ノイズ抑圧部２７とに出力する。尚、平均画素値は、領域に存在する画素の相加平均値、相乗平均値、又は、加重平均値などである。以下の説明では、平均画素値が、領域に存在する画素の相加平均値である場合を説明する。

【0031】

ここで、多重解像度画像は、帯域通過性能の異なる複数のローパスフィルタを用いて生成される。入力画像ｕの注目画素位置ｘ＝（ｘ，ｙ）における画素値をｕ（ｘ，ｙ）、ｍ番目のローパスフィルタのオペレータを表す行列をｆ_ｍ、フィルタの参照範囲の半径をｋ_ｍとすると、このローパスフィルタの出力値ｌ_ｍ（ｘ，ｙ）は以下に示す式（１）のように表される。ローパスフィルタの出力値ｌ_ｍ（ｘ，ｙ）は、ｍ番目の解像度の画素位置（ｘ，ｙ）における画素値ｌ_ｍ（ｘ，ｙ）を表す。

【0032】

【数1】

【0033】

ｍ番目のローパスフィルタのフィルタ係数（前述のオペレータを表す行列ｆ_ｍの要素）ｆ_ｍ（ｉ，ｊ）は、例えば、１．０であってもよい（すなわち、ｆ_ｍ（ｉ，ｊ）＝１．０）。あるいは、生成部２１は、フィルタの係数ｆ_ｍ（ｉ，ｊ）を、以下の式（２）に示す等方的２次元正規分布に基づいて決定してもよい。

【0034】

【数2】

【0035】

差分計算部２２は、画像入力部１から入力される原画像データと、生成部２１から入力される多重解像度画像とをもとに、隣接する解像度間の差分画像を計算する（すなわち、隣接解像度間差分画像を生成する）。そして、差分計算部２２は、生成した隣接解像度間差分画像を、照明光推定部２５と、ノイズ抑圧部２７に出力する。

【0036】

ここでの隣接解像度間差分画像とは、多重解像度画像における、解像度が隣り合う２つの画像間での差分である。隣接解像度間差分画像をｄ_ｍ（ｘ）とすると、隣接解像度間差分画像は、ｄ_ｍ（ｘ）＝ｌ_ｍ−１（ｘ）−ｌ_ｍ（ｘ）と表される。なお、便宜上、ｌ_−１（ｘ）＝ｕ（ｘ）が成り立つ、すなわち、ｌ_−１（ｘ）が原画像であるとする。尚、ｄ_ｍ（ｘ）は、ノイズを含むハイパス成分によって構成される。なお、本発明の各実施形態の説明において、画像のハイパス成分は、例えば画像に２次元ハイパスフィルタを掛けることによっても得られる、その画像の高周波数成分の画像を表す。

【0037】

エッジ方向決定部２３は、画像入力部１から入力される原画像データをもとに、多重解像度画像を計算するために参照された各参照画素範囲における、エッジの方向を決定する。そして、エッジ方向決定部２３は、画像入力部１から入力される原画像データと、決定したエッジ方向とを、平均値計算部２４に出力する。

【0038】

エッジ方向決定部２３は、多重解像度画像を計算するために参照された参照画素範囲をそれぞれ３×３のブロックに分割し、各ブロックにおける平均画素値を計算する。そして、エッジ方向決定部２３は、図４に示す４つのエッジ方向パターンから１つを選択することによってエッジ方向を決定する。図４は、参照画素範囲を３×３のブロックに分割した場合における、横線のエッジ方向（図４の（ａ））、左下斜線（図４の（ｂ））、縦線（図４の（ｃ））、及び、右下斜線（図４の（ｄ））の４つのエッジ方向パターンを示している。エッジ方向決定部２３は、参照画素範囲を、３×３以外の数（例えば５×５等）のブロックに分割してもよい。エッジ方向パターンの数は、４以外の数（例えば２又は８など）であってもよい。

【0039】

エッジ方向の決定において、エッジ方向決定部２３は、参照画素範囲を分割した３×３のブロックを、図４に示されるパターンの、３つのサブブロック（ブロックの集合）に統合する。図４に示す例では、同じサブブロックに含まれるブロックは、同じ模様によって表されている。図４に示すように、３つのサブブロックは、それぞれ３つのブロックを含む。そして、エッジ方向決定部２３は、例えば図４に示す４つのパターンから、サブブロックにおける平均画素値の変動が最小であるパターンを選択することによって、エッジ方向の決定を実現する。エッジ方向決定部２３は、サブブロックにおける平均画素値の変動として、例えば、サブブロック内の隣接するブロック間の平均画素値の差分絶対値の合計を計算する。サブブロックにおける平均画素値の変動が最小であるパターンは、そのサブブロックの領域におけるもっとも支配的なエッジ方向に沿うパターンである。

【0040】

図４を用いて具体的に説明する。まず、参照画素範囲を３×３のブロックに分割した場合における、９つのブロックをブロック１〜９とする。参照画素範囲は、図４に示す３×３のブロックである。例えば、ブロック１、２、３から成るサブブロック、ブロック４、５、６から成るサブブロック及びブロック７、８、９から成るサブブロックの平均画素値の変動が最小である場合、エッジ方向決定部２３は、参照画素範囲のエッジ方向を横方向にする。また、ブロック１、２、４から成るサブブロック、ブロック３、５、７から成るサブブロック及びブロック６、８、９から成るサブブロックの平均画素値の変動が最小である場合、エッジ方向決定部２３は、参照画素範囲のエッジ方向を左下斜め方向にする。また、ブロック１、４、７から成るサブブロック、ブロック２、５、８から成るサブブロック及びブロック３、６、９から成るサブブロックの平均画素値の変動が最小である場合、エッジ方向決定部２３は、参照画素範囲のエッジ方向を縦方向にする。また、ブロック１、５、９から成るサブブロック、ブロック２、３、６から成るサブブロック及びブロック４、７、８から成るサブブロックの平均画素値の変動が最小である場合、エッジ方向決定部２３は、参照画素範囲のエッジ方向を右下斜め方向にする。

【0041】

平均値計算部２４は、エッジ方向決定部２３から入力される原画像データと、エッジ方向とをもとに、３×３のブロックを、選択されたエッジ方向パターンに合わせて３つのサブブロックに統合する。例えば、エッジ方向が横方向である場合、平均値計算部２４は、ブロック１から９の９個のブロックを、ブロック１、２、３から成るサブブロックと、ブロック４、５、６から成るサブブロックと、ブロック７、８、９から成るサブブロックとに統合する。そして、平均値計算部２４は、サブブロックごとの平均画素値を算出し、算出したサブブロックごとの平均画素値を、照明光推定部２５と、ノイズ抑圧部２７に出力する。例えば、前述の例では、平均値計算部２４は、ブロック１、２、３から成るサブブロックの平均画素値と、ブロック４、５、６から成るサブブロックの平均画素値と、ブロック７、８、９から成るサブブロックの平均画素値とを算出する。平均値計算部２４は、算出した３つの平均画素値を、照明光推定部２５と、ノイズ抑圧部２７とに出力する。

【0042】

なお、以下の説明では、ｍ番目の参照画素範囲におけるサブブロックごとの平均画素値を、ｌ_ｍ，０（ｘ）、ｌ_ｍ，１（ｘ）、ｌ_ｍ，２（ｘ）と表記する。なお、ｌ_ｍ，０（ｘ）、ｌ_ｍ，２（ｘ）は両端のサブブロックの平均画素値を示し、ｌ_ｍ，１（ｘ）は中央のサブブロックの平均画素値を示す。

【0043】

照明光推定部２５は、低解像度画像と、隣接解像度間差分画像と、サブブロックごとの平均画素値とをもとに、注目画素位置における照明光成分を推定する。上述のように、最低解像度画像は、生成部２１から入力される。隣接解像度間差分画像は、差分計算部２２から入力される。サブブロックごとの平均画素値は、平均値計算部２４から入力される。そして、推定した照明光成分を補正量算出部２６に出力する。

【0044】

照明光推定部２５は、注目画素において、最低解像度の画素値（画素参照範囲が最も広い平均フィルタから生成される画素値）から順に、当該解像度のサブブロック平均値情報をもとに、当該解像度の画素値を補正する。照明光推定部２５は、さらに、補正した当該解像度の画素値と、当該解像度の隣接解像度間差分値とをもとに、当該解像度の次に低い解像度における画素値を算出する。照明光推定部２５は、この補正と画素値の算出とを、入力画像の解像度と同じ解像度における画素値を生成する（すなわち算出する）まで繰り返すことによって、注目画素位置におけるエッジが保存されたローパス成分を抽出する。照明光推定部２５は、抽出されたローパス成分を照明光成分と推定する。

【0045】

なお、各解像度における照明光推定部２５による処理は、処理の強度パラメータを除いて同様であるため、以下では、最低解像度画像ｌ_２（ｘ）をもとに、その１つ上の解像度の、補正後の画像ｌ’_１（ｘ）を生成する処理について説明する。

【0046】

まず、照明光推定部２５は、注目画素ｘについて、最低解像度画素値ｌ_２（ｘ）と最低解像度における中央ブロック平均画素値ｌ_２，１（ｘ）との差分値ｇ（ｘ）を、式ｇ（ｘ）＝ｌ_２，１（ｘ）−ｌ_２（ｘ）に従って計算する。

【0047】

次に、照明光推定部２５は、エッジ量ｅ_２（ｘ）として、例えば、両端のサブブロックの平均画素値である、ｌ_２，０（ｘ）及びｌ_２，２（ｘ）の差分絶対値を、次式

【0048】

【数3】

【0049】

に従って計算する。なお、照明光推定部２５は、エッジ量として、当該解像度におけるノイズ強度σ_２を考慮した、以下の式によって表される補正エッジ量ｅ’_２（ｘ）を計算してもよい。

【0050】

【数4】

【0051】

以下では、補正エッジ量ｅ’_２（ｘ）を用いて説明する。すなわち、照明光推定部２５がエッジ量として補正エッジ量ｅ’_２（ｘ）を計算する場合について説明する。

【0052】

照明光推定部２５は、さらに、差分値ｇ（ｘ）の絶対値と補正エッジ量ｅ’_２（ｘ）の半分の値とのうち、小さいほうの値を補正値ｈ_１（ｘ）とする。そして、照明光推定部２５は、この補正値ｈ_１（ｘ）を、g（ｘ）の符号を考慮しながら、最低解像度画像ｌ_２（ｘ）に加算することによって、補正した最低解像度の画素値ｌ’_２（ｘ）を生成する。補正した最低解像度の画素値ｌ’_２（ｘ）は、次式によって表される。なお、ｓｉｇｎ（・）は正負の符号を表す関数である。

【0053】

【数5】

【0054】

以上の処理について、図を用いて説明する。まず、３つのサブブロックの平均画素値ｌ_２，０（ｘ）、ｌ_２，１（ｘ）、ｌ_２，２（ｘ）の関係が、凹凸型である場合を考える。凹凸型は、中央のサブブロックの平均画素値ｌ_２，１（ｘ）が、図５に示すように３つの平均画素値の最大値である場合、又は、３つの平均画素値の最小値である場合の、３つのサブブロックの平均画素値のパターンを表す。この例では、注目画素はエッジに含まれる。サブブロックの平均画素値のパターンが凹凸型のときは、必ず、ｅ’_２（ｘ）／２がｈ_１（ｘ）として選択され、ｌ_２（ｘ）に加算される。この処理により、ｌ’_２（ｘ）はエッジを維持した値となるため、ノイズを除去しつつ出力画像におけるエッジのボケを防ぐことができる。

【0055】

次に、３つのサブブロックの平均画素値ｌ_２，０（ｘ）、ｌ_２，１（ｘ）、ｌ_２，２（ｘ）の関係が、図６に示すように単調変化である場合を考える。単調変化は、中央のサブブロックの平均画素値ｌ_２，１（ｘ）が、他の２つのサブブロックの一方の平均画素値より大きく、他方の平均画素値より小さい場合の、３つのサブブロックの平均画素値のパターンを表す。この例では、注目画素は滑らかな領域に含まれる。このパターンでは、ｈ_１（ｘ）として選択される値は、ｌ_２，０（ｘ）とｌ_２，２（ｘ）の差分の大きさやノイズの強さに応じて異なる。値ｇ（ｘ）及び値ｅ’_２（ｘ）／２のいずれの値がｈ_１（ｘ）として選択されても、次式

【0056】

【数6】

【0057】

が成り立つため、この領域における単調性（すなわち信号の滑らかさ）が失われることはない。

【0058】

このように、本実施形態によると、ｈ_１（ｘ）による補正でエッジを維持しつつノイズを抑圧することができる。なお、図７に示すように中央ブロックの平均画素値が両端のブロックの平均画素値と比較して極端に大きい（または小さい）場合、サブブロックの平均画素値のパターンが凹凸型であるため、中央ブロックの山を消すような処理が適用される。そのため、線状のエッジが消えてしまう問題がある。その問題を回避するために、照明光推定部２５は、もう一つの補正値ｈ_２（ｘ）を算出し、補正値ｈ_１（ｘ）と補正値ｈ_２（ｘ）を以下のように使い分けることも可能である。ｈ_２（ｘ）は、当該解像度におけるノイズの標準偏差σ_２と、ｇ（ｘ）とをもとに、以下の式に従って計算される。

【0059】

【数7】

【0060】

ここで、αはノイズの標準偏差の何倍までをノイズ成分としてみなすかを示す係数である。
照明光推定部２５は、補正した最低解像度の画素値ｌ’_２（ｘ）を、式（４）の代わりに、以下の式（６）に従って算出する。

【0061】

【数8】

【0062】

ノイズ成分の強さにもよるが、式（６）に示すように補正値ｈ（ｘ）を用いることによって、図８に示すように、中央ブロックが極端な値を持つ場合（例えば線状のエッジの場合）においても、補正結果画像において線状のエッジを消さずに残すことができる。また、図５及び図６に示す例のような場合、ｈ_２（ｘ）は０に近づくため、補正値として選択されるのはｈ_１（ｘ）である。従って、ｈ_２（ｘ）の導入による影響は少ない。

【0063】

次に、照明光推定部２５は、補正された最低解像度の画素値ｌ’_２（ｘ）と隣接解像度間差分値ｄ_２（ｘ）とをもとに、最低解像度の次に低い解像度における画素値ｌ’_１（ｘ）を生成する。まず、照明光推定部２５は、隣接解像度間差分値ｄ_２（ｘ）を、式ｄ’_２（ｘ）＝ｄ_２（ｘ）−ｈ（ｘ）に従って補正する。補正された隣接解像度間差分値ｄ’_２（ｘ）はノイズを含むハイパス成分によって構成されている。そのため、照明光推定部２５は、以下のようにノイズ抑圧関数Ｆ_{ｒｅｓｉｄ}（・）を用いてｄ’_２（ｘ）に含まれるノイズ成分を適切に抑圧する。ノイズ抑圧部２７は、式（７）に示すように、ノイズ成分が抑圧されたノイズ抑圧関数の出力をｌ’_２（ｘ）に加算することによって、最低解像度の次に低解像度な画素値ｌ’_１（ｘ）を生成できる。

【0064】

【数9】

【0065】

ノイズ抑圧関数は様々な形態をとることができるが、本実施形態の説明では、一例として、以下の関数を用いる。

【0066】

【数10】

【0067】

なお、ｓｉｇｎ（・）は前述のように正負の符号を表す関数であり、βは補正強度を調整するためのパラメータである。

【0068】

照明光推定部２５は、以上のノイズ抑圧処理フローを、より高い解像度の画像に対しても順に適用し、所定の解像度まで繰り返すことによって、注目画素位置ｘにおけるローパス成分ｕ’（ｘ）を生成する。なお、照明光推定部２５は、最低解像度以外の解像度の画像の画素値として、入力画像にローパスフィルタを適用することによって算出された画素値ではなく、一つ低い解像度における処理において算出された当該解像度の補正後の画素値を用いる。

【0069】

以上の処理により、エッジをぼかすことなく入力画像のローパス成分を抽出できる。そのため、こうして算出された注目画素位置ｘにおける最終的なローパス成分ｕ’（ｘ）は、エッジ保存型の非線形ローパスフィルタの処理結果に相当する。

【0070】

続いて、照明光推定部２５は、ローパス成分ｕ’（ｘ）をもとに、注目画素における照明光成分ｓ（ｘ）を推定する。入力画像がＲＧＢ３チャネルの成分をもつカラー画像である場合、注目画素における各チャネルのローパス成分を

【0071】

【数11】

【0072】

とすると、照明光推定部２５は、以下の式に従ってｓ（ｘ）を算出してもよい。

【0073】

【数12】

【0074】

あるいは、照明光推定部２５は、各チャネルのローパス成分をＲＧＢ空間からＹＵＶ空間へ変換することによって得られる輝度値(Ｙ成分)を、照明光成分としてもよい。なお、入力画像がグレースケール画像であるならば、照明光推定部２５は、式ｓ（ｘ）＝ｕ’（ｘ）によってｓ（ｘ）を決めればよい。

【0075】

補正量算出部２６は、照明光推定部２５から入力される照明光成分と、画像入力部１から入力される原画像データとをもとに、注目画素における明るさ補正量を算出する。そして、補正量算出部２６は、算出した明るさ補正量をノイズ抑圧部２７に出力する。

【0076】

補正量算出部２６は、明るさ補正量を様々な方法によって算出することができる。以下の説明では、補正量算出部２６は、参考文献１（Toda, M.; Tsukada, M.; Inoue, A.; Suzuki, T., "High dynamic range rendering for YUV images with a constraint on perceptual chroma preservation," Image Processing (ICIP), 2009 16th IEEE International Conference on, pp. 1817-1820, 7-10 Nov. 2009.）に記載されている方法を用いて、明るさ補正量を算出する。

【0077】

参考文献１の方法では、カラー画像の明るさはＹＵＶ空間において補正される。そのため、入力画像がＲＧＢ３チャネルの成分をもつカラー画像である場合、入力画像はＲＧＢ空間からＹＵＶ空間へ変換される。

【0078】

まず、輝度成分に対する補正について説明する。注目画素位置ｘにおける照明光ｓ（ｘ）が目標とする明るさＳ_ｔａｒより小さい場合、補正量算出部２６は、補正のための指数値γ（ｘ）を以下のように算出する。

【0079】

【数13】

【0080】

式（１０）中のａ及びｂはそれぞれユーザが設定するパラメータである。補正量算出部２６は、この指数値γ（ｘ）を用いて、入力画像の輝度値Ｙ（ｘ）を以下のように補正する。

【0081】

【数14】

【0082】

補正量算出部２６は、以上の流れに従って、入力画像の輝度値を補正する。

【0083】

なお、以上で説明した補正により、画像の暗い領域が明るくなり、明るい領域は変化しない。そのため、画像全体のコントラストが低下することがある。この場合、補正量算出部２６は、明るさ補正後の輝度値Ｙ’（ｘ）に対して、ヒストグラム伸長などのコントラスト改善手法を適用してもよい。

【0084】

次に、色差成分の補正について説明する。一般に、ＹＵＶ色空間では、輝度成分(Ｙ成分)のみを補正した場合においても、補正前後で見かけの彩度（知覚彩度）が変動する。特に逆光補正機能においては、同一輝度値を持つ画素同士でも、その周囲の明るさによって補正量が大きく異なるため、知覚彩度の変動の仕方も変わってくる。そのため、輝度成分の補正量に合わせた色差成分の補正が必要となる。補正量算出部２６は、色差成分の補正を、補正前後の輝度成分の比率のべき乗によって算出される、式（１２）に示す補正係数ｃ（ｘ）を、各色差成分Ｕ（ｘ）およびＶ（ｘ）に乗ずることによって実現する。

【0085】

【数15】

【0086】

なお、式（１２）のρとして、参考文献１ではρ＝０．６９が使用されている。しかし、ユーザがρをパラメータとして与えてもよい。補正量算出部２６は、以上の流れに従って、入力画像の色差成分を補正する。

【0087】

最後に、補正量算出部２６は、補正されたＹＵＶ値をＲＧＢ値に変換することによって、ＲＧＢの各チャネルに対して明るさが補正された画素値

【0088】

【数16】

【0089】

を得る。

【0090】

補正量算出部２６は、こうして得られた明るさ補正後の画素値をもとに、各チャネルに対する明るさ補正量

【0091】

【数17】

【0092】

として、入力画素値ｕ_Ｘ（ｘ）と明るさが補正された画素値ｕ’’_Ｘ（ｘ）との比を算出する。

【0093】

【数18】

【0094】

なお、補正量算出部２６は、過度の明るさ強調を抑制するために、ω_Ｘ（ｘ）のとり得る範囲を制約してもよい。

【0095】

ノイズ抑圧部２７は、最低解像度画像と、差分計算部２２から入力される隣接解像度間差分画像と、サブブロックごとの平均画素値と、明るさ補正量とをもとに、注目画素におけるノイズ成分が適切に抑圧された明るさ補正後の画素値を算出する。最低解像度画像は、生成部２１から入力される。隣接解像度間差分画像は、平均値計算部２４から入力される。明るさ補正量は、補正量算出部２６から入力される。

【0096】

ノイズ抑圧部２７では、照明光推定部２５で入力画像のローパス成分を算出する処理と同様の処理フローを用いつつ、同時にＨＤＲ処理を実行する。なお、各色チャネルにおける処理は、パラメータを除いて同様であるため、以下の説明では、色成分ごとの明るさ補正量をω（ｘ）と表記する。そして、以下では、一つの色チャネルについて説明する。最低解像度画像ｌ_２（ｘ）をもとに、最低解像度よりその１つ高い解像度のノイズ抑圧一括補正後の画像ｌ’_１（ｘ）を生成する方法について説明する。

【0097】

まず、ノイズ抑圧部２７は、最低解像度における中央ブロック平均画素値ｌ_２，１（ｘ）と最低解像度画像ｌ_２（ｘ）の差分値に明るさ補正量ω_Ｘ（ｘ）を乗じることによって、明るさ補正を考慮した差分値ｇ（ｘ）を計算する。

【0098】

【数19】

【0099】

次に、ノイズ抑圧部２７は、両端のサブブロックの平均画素値ｌ_２，０（ｘ）とｌ_２，２（ｘ）の差分絶対値に明るさ補正量ω_Ｘ（ｘ）を乗じることによって、明るさ補正を考慮したエッジ量ｅ_２（ｘ）を計算する。なお、ノイズ抑圧部２７は、当該解像度におけるノイズ強度σ_２と明るさ補正の影響を考慮した、以下の式に従って、補正エッジ量ｅ_２（ｘ）を計算してもよい。

【0100】

【数20】

【0101】

さらに、ノイズ抑圧部２７は、差分値ｇ（ｘ）とエッジ量ｅ_２（ｘ）の半分の値のうち、小さいほうの値を補正値ｈ_１（ｘ）とする。

【0102】

次に、線状のエッジ維持のための補正量ｈ_２（ｘ）の導出について述べる。ｈ_２（ｘ）は、当該解像度におけるノイズの標準偏差σ_２と、ｇ（ｘ）とから、以下のように計算される。

【0103】

【数21】

【0104】

補正した最低解像度画像ｌ’_２（ｘ）は以下の式で生成される。

【0105】

【数22】

【0106】

最後に、ノイズ抑圧部２７は、補正された最低解像度画像ｌ’_２（ｘ）と、隣接解像度間差分画像ｄ_２（ｘ）と、式（１９）のｈ（ｘ）とをもとに、最低解像度より１つ高い解像度の画像ｌ’_１（ｘ）を、式（２０）に示す補正式を用いて生成する。

【0107】

【数23】

【0108】

ノイズ抑圧部２７は、以上のノイズ抑圧処理フローを、より高解像度な画像に対しても順に適用し、所定の解像度まで繰り返すことによって、最終的な補正画像を生成する。なお、ノイズ抑圧部２７は、最低解像度以外の解像度の画像として、入力画像にローパスフィルタを適用することによって算出された画像ではなく、一つ低い解像度における処理において算出された、当該解像度の補正後の画像を用いる。また、最低解像度以外の解像度の画像に対する処理の際、すでに平均画素値に対するＨＤＲ処理が実行されている。そのため、明るさ補正を考慮した処理を表す、上述の式（１６）及び式（１９）は、それぞれ、以下の式（２１）及び式（２２）によって置き換えられる。

【0109】

【数24】

【0110】

続いて、本実施形態の画像処理方法について説明する。図９は、本実施形態の画像処理装置２の動作（画像処理方法）を示すフローチャートである。

【0111】

まず、例えば生成部２１が、入力画像における注目画素位置を決定する（ステップＳ１０１）。画像処理装置２は、ステップＳ１０１及び以下のステップＳ１０２からステップＳ１０８までの処理を、入力画像の全画素に対して実行完了するまで繰り返す。

【0112】

生成部２１は、入力画像を表す原画像データをもとに、注目画素を中心とする、順次狭くなる（あるいは広くなる）複数サイズの、参照する画素範囲である参照画素範囲において平均画素値を算出することによって、多重解像度画像を生成する（ステップＳ１０２）。

【0113】

差分計算部２２は、原画像データと多重解像度画像とをもとに、隣接する解像度間の差分画像を生成する（ステップＳ１０３）。

【0114】

エッジ方向決定部２３は、多重解像度画像を計算するために参照された各参照画素範囲におけるエッジの方向を決定する（ステップＳ１０４）。

【0115】

平均値計算部２４は、多重解像度画像を計算するために参照された各参照画素範囲が分割された複数のブロックを、エッジ方向パターンに合わせて３つのサブブロックに統合する。そして、平均値計算部２４は、各解像度における、統合されたサブブロックごとの平均画素値を算出する（ステップＳ１０５）。

【0116】

照明光推定部２５は、最低解像度画像と、隣接解像度間差分画像と、各解像度におけるサブブロックごとの平均画素値とをもとに、注目画素の位置における照明光成分を算出する（ステップＳ１０６）。

【0117】

補正量算出部２６は、入力画像の照明光成分と、原画像データとをもとに、注目画素における明るさ補正量を算出する（ステップＳ１０７）。

【0118】

ノイズ抑圧部２７は、最低解像度画像と、隣接解像度間差分画像と、各解像度におけるサブブロックごとの平均画素値と、明るさ補正量とをもとに、注目画素におけるノイズ成分が適切に抑圧されるように明るさ補正後の画素値を算出する（ステップＳ１０８）。

【0119】

入力画像の全画素に対して実行が完了した場合（ステップＳ１０９においてＹＥＳ）、画像処理装置２は、処理を終了する。入力画像の全画素に対して実行が完了していない場合（ステップＳ１０９においてＮＯ）、画像処理装置２の動作はステップＳ１０１に戻る。そして、画像処理装置２は、注目画素位置を設定し直し、さらに、再度ステップＳ１０２からステップＳ１０８の処理を実行する。

【0120】

本実施形態の効果について説明する。

【0121】

本実施形態によると、ＨＤＲにおける照明光成分推定でエッジ保存型の非線形ローパスフィルタを用いて照明光成分推定の精度を改善するため、ハロの発生を抑制できる。

【0122】

また、演算コスト増加の要因となる、多重解像度画像及び多重解像度画像に関する情報の生成は、一回だけ実行される。そして、多重解像度画像及び多重解像度画像に関する情報は、照明光推定部２５とノイズ抑圧部２７によって共有される。従って、演算コストの増大を防ぐことができる。

【0123】

さらに、各画素における明るさ補正の情報を、デノイズにおいて参照できるため、明るさ補正において強調されるノイズを適切に抑制することができる。

【0124】

＜第２の実施形態＞
図１０は、本発明の第２の実施の形態に係る画像処理装置２Ａの構成を示すブロック図である。本発明の画像処理装置２Ａは、生成部２１と、補正量算出部２６と、ノイズ抑圧部２７とを含む。

【0125】

生成部２１は、多重解像度画像を生成する。補正量算出部２６は、前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算するエッジ情報とをもとに、明るさ補正量を算出する。ノイズ抑圧部２７は、前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とをもとに、ノイズ成分が抑圧された明るさ補正後の画像を算出する。

【0126】

以上で説明した本実施形態には、明るさ補正（ＨＤＲを含む）によるノイズ強調とハロの発生とを抑制できると言う効果がある。その理由は、補正量算出部２６が、最低解像度画像と、多重解像度画像間の隣接解像度間差分画像と、複数の解像度における多重解像度画像のエッジ情報とをもとに、明るさ補正量を計算するからである。そして、ノイズ抑圧部２７が、最低解像度画像と、隣接解像度間差分画像と、エッジ情報と、計算された明るさ補正量とをもとに、ノイズ成分が抑圧された明るさ補正後の画像を算出するからである。

【0127】

＜他の実施形態＞
尚、上述した説明からも明らかなように、上述した実施の形態に係る画像処理装置の各部を、ハードウェアにより構成することも可能である。上述した各実施形態に係る画像処理装置の各部を、コンピュータプログラムにより実現することも可能である。その場合、プログラムメモリと、そのプログラムメモリにロードされたコンピュータプログラムにより動作するプロセッサによって、上述した各実施形態の画像処理装置に係る各部と同様の機能及び動作が実現される。上述した各実施形態の画像処理装置に係る部は、具体的には、生成部２１、差分計算部２２、エッジ方向決定部２３、平均値計算部２４、照明光推定部２５、補正量算出部２６、及び、ノイズ抑圧部２７である。また、上述した実施の形態の画像処理装置２の一部の機能のみを、プログラムメモリと、そのプログラムメモリにロードされたコンピュータプログラムにより動作するプロセッサによって実現することも可能である。

【0128】

図１１は、本発明の各実施形態に係る画像処理装置を実現できるコンピュータの構成を表すブロック図である。図１１を参照すると、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記録媒体１００５にアクセスすることができる。プロセッサ１００１は、記録媒体１００５に格納されている、コンピュータ１０００を、画像処理装置２又は２Ａとして動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、画像処理装置２又は２Ａとして動作する。このように、画像処理装置２及び２Ａに含まれる部の一部又は全部は、それらの機能を実現するプログラムがロードされたメモリ１００２と、そのプログラムを実行するプロセッサ１００１とにより実現される。画像処理装置２及び２Ａに含まれる部は、上述のように、生成部２１、差分計算部２２、エッジ方向決定部２３、平均値計算部２４、照明光推定部２５、補正量算出部２６、及び、ノイズ抑圧部２７である。

【0129】

図１２は、本発明の各実施形態に係る画像処理装置のハードウェア構成の一例を表すブロック図である。図１２に示す画像処理装置２Ｂは、生成回路１２１と、差分計算回路１２２と、エッジ方向決定回路１２３と、平均値算出回路１２４と、照明光推定回路１２５と、補正量算出回路１２６と、ノイズ抑圧回路１２７とを含む。生成回路１２１は、生成部２１として動作する。差分計算回路１２２は、差分計算部２２として動作する。エッジ方向決定回路１２３は、エッジ方向決定部２３として動作する。平均値算出回路１２４は、平均値算出部２４として動作する。照明光推定回路１２５は、照明光推定部２５として動作する。補正量算出回路１２６は、補正量算出部２６として動作する。ノイズ抑圧回路１２７は、ノイズ抑圧部２７として動作する。画像処理装置２Ｂが含む回路の一部又は全部は、１つの、半導体装置又はコンピュータ等の装置によって実現されていてもよい。画像処理装置２Ｂが含む回路の一部又は全部は、複数の、半導体装置又はコンピュータ等の装置によって実現されていてもよい。

【0130】

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0131】

（付記１）
多重解像度画像を生成し、
前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算するエッジ情報とから、明るさ補正量を算出し、
前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とから、ノイズ成分が抑圧された明るさ補正後の画像を算出する
画像処理方法。

【0132】

（付記２）
前記エッジ情報は、
前記多重解像度画像を生成する際に参照する複数サイズの参照画素範囲を、各解像度で決定されたエッジ方向に基づき、複数のサブブロックに分割し、分割した前記サブブロックごとのサブブロック平均画素値を用いる
付記１に記載の画像処理方法。

【0133】

（付記３）
前記多重解像度画像の生成は、
注目画素を中心とし、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲で、解像度の異なる複数の画像の集合である多重解像度画像を生成し、
前記明るさ補正量の算出は、
前記多重解像度画像を用いて隣接する解像度間で差分情報である隣接解像度間差分情報を計算し、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲を、各解像度で決定されたエッジ情報に基づいて３つのサブブロックに分割し、
前記サブブロックごとの平均値であるサブブロック平均値を計算し、
注目画素において、当該解像度のサブブロック平均値に基づいて当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とから、当該解像度より高解像度の画素値を算出し、この補正を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるローパス成分を抽出し、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定し、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出し、
前記ノイズ成分の抑圧は、
前記明るさ補正量の算出において算出した、当該該解像度のサブブロック平均値及び明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成し、この生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
付記１又は付記２に記載の画像処理方法。

【0134】

（付記４）
前記明るさ補正量の算出は、
当該解像度のサブブロック平均画素値から当該解像度の画素値及び当該解像度の隣接解像度間差分情報を補正する補正量を求め、
前記補正量に基づいて、当該解像度の画素値と当該解像度の隣接解像度間差分情報とを補正し、
前記補正された当該解像度の隣接解像度間差分情報からノイズ成分を抑圧し、
前記補正された当該解像度の画素値と、当該解像度のノイズ成分が抑圧された隣接解像度間差分情報とから、当該解像度より高解像度の画素値を生成することを、
最低解像度から所定の解像度まで順次繰り返し、前記注目画素におけるローパス成分を算出することで、前記明るさ補正量を算出する
付記２又は付記３に記載の画像処理方法。

【0135】

（付記５）
前記ノイズ成分の抑圧は、
当該該解像度のサブブロック平均値及び明るさ補正量から、当該解像度の画素値を補正する補正量を求め、
前記補正量に基づいて、当該解像度の画素値を補正し、
前記補正された当該解像度の画素値と当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成することを、
最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
付記２から付記４のいずれかに記載の画像処理方法。

【0136】

（付記６）
前記解像度の画素値及び前記解像度の隣接解像度間差分情報を補正する補正量は、
当該解像度の画素値と当該解像度の参照画素範囲における前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて前補正量を算出する
付記２から付記５のいずれかに記載の画像処理方法。

【0137】

（付記７）
多重解像度画像を生成する多重解像度画像生成手段と、
前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算するエッジ情報とから、明るさ補正量を算出する明るさ補正量算出手段と、
前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とから、ノイズ成分が抑圧された明るさ補正後の画像を算出するノイズ抑圧手段とを有する画像処理装置。

【0138】

（付記８）
前記エッジ情報は、
前記多重解像度画像を生成する際に参照する複数サイズの参照画素範囲を、各解像度で決定されたエッジ方向に基づき、複数のサブブロックに分割し、分割した前記サブブロックごとのサブブロック平均画素値を用いる
付記７に記載の画像処理装置。

【0139】

（付記９）
前記多重解像度画像生成手段は、
注目画素を中心とし、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲で、解像度の異なる複数の画像の集合である多重解像度画像を生成し、
前記明るさ補正量算出手段は、
前記多重解像度画像を用いて隣接する解像度間で差分情報である隣接解像度間差分情報を計算し、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲を、各解像度で決定されたエッジ情報に基づいて３つのサブブロックに分割し、
前記サブブロックごとの平均値であるサブブロック平均値を計算し、
注目画素において、当該解像度のサブブロック平均値に基づいて当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とから、当該解像度より高解像度の画素値を算出し、この補正を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるローパス成分を抽出し、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定し、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出し、
前記ノイズ抑圧手段は、
前記明るさ補正量の算出において算出した、当該該解像度のサブブロック平均値及び明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成し、この生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
付記７又は付記８に記載の画像処理装置。

【0140】

（付記１０）
前記明るさ補正量算出手段は、
当該解像度のサブブロック平均画素値から当該解像度の画素値及び当該解像度の隣接解像度間差分情報を補正する補正量を求め、
前記補正量に基づいて、当該解像度の画素値と当該解像度の隣接解像度間差分情報とを補正し、
前記補正された当該解像度の隣接解像度間差分情報からノイズ成分を抑圧し、
前記補正された当該解像度の画素値と、当該解像度のノイズ成分が抑圧された隣接解像度間差分情報とから、当該解像度より高解像度の画素値を生成することを、
最低解像度から所定の解像度まで順次繰り返し、前記注目画素におけるローパス成分を算出することで、前記明るさ補正量を算出する
付記８又は付記９に記載の画像処理装置。

【0141】

（付記１１）
前記ノイズ抑圧手段は、
当該該解像度のサブブロック平均値及び明るさ補正量から、当該解像度の画素値を補正する補正量を求め、
前記補正量に基づいて、当該解像度の画素値を補正し、
前記補正された当該解像度の画素値と当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成することを、
最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
付記８から付記１０のいずれかに記載の画像処理装置。

【0142】

（付記１２）
前記解像度の画素値及び前記解像度の隣接解像度間差分情報を補正する補正量は、
当該解像度の画素値と当該解像度の参照画素範囲における前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて前補正量を算出する
付記８から付記１１のいずれかに記載の画像処理装置。

【0143】

（付記１３）
多重解像度画像を生成する処理と、
前記多重解像度画像の最低解像度画像と、前記多重解像度画像間の隣接解像度間差分画像と、前記多重解像度画像の各解像度で計算するエッジ情報とから、明るさ補正量を算出する処理と、
前記最低解像度画像と、前記隣接解像度間差分画像と、前記エッジ情報と、前記明るさ補正量とから、ノイズ成分が抑圧された明るさ補正後の画像を算出する処理と
をコンピュータに実行させるプログラム。

【0144】

（付記１４）
前記エッジ情報は、
前記多重解像度画像を生成する際に参照する複数サイズの参照画素範囲を、各解像度で決定されたエッジ方向に基づき、複数のサブブロックに分割し、分割した前記サブブロックごとのサブブロック平均画素値を用いる
付記１３に記載のプログラム。

【0145】

（付記１５）
前記多重解像度画像の生成処理は、
注目画素を中心とし、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲で、解像度の異なる複数の画像の集合である多重解像度画像を生成し、
前記明るさ補正量の算出処理は、
前記多重解像度画像を用いて隣接する解像度間で差分情報である隣接解像度間差分情報を計算し、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲を、各解像度で決定されたエッジ情報に基づいて３つのサブブロックに分割し、
前記サブブロックごとの平均値であるサブブロック平均値を計算し、
注目画素において、当該解像度のサブブロック平均値に基づいて当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とから、当該解像度より高解像度の画素値を算出し、この補正を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるローパス成分を抽出し、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定し、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出し、
前記ノイズ成分の抑圧は、
前記明るさ補正量の算出において算出した、当該該解像度のサブブロック平均値及び明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成し、この生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
付記１３又は付記１４に記載のプログラム。

【0146】

（付記１６）
前記明るさ補正量の算出処理は、
当該解像度のサブブロック平均画素値から当該解像度の画素値及び当該解像度の隣接解像度間差分情報を補正する補正量を求め、
前記補正量に基づいて、当該解像度の画素値と当該解像度の隣接解像度間差分情報とを補正し、
前記補正された当該解像度の隣接解像度間差分情報からノイズ成分を抑圧し、
前記補正された当該解像度の画素値と、当該解像度のノイズ成分が抑圧された隣接解像度間差分情報とから、当該解像度より高解像度の画素値を生成することを、
最低解像度から所定の解像度まで順次繰り返し、前記注目画素におけるローパス成分を算出することで、前記明るさ補正量を算出する
付記１４又は付記１５に記載のプログラム。

【0147】

（付記１７）
前記ノイズ成分の抑圧処理は、
当該該解像度のサブブロック平均値及び明るさ補正量から、当該解像度の画素値を補正する補正量を求め、
前記補正量に基づいて、当該解像度の画素値を補正し、
前記補正された当該解像度の画素値と当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成することを、
最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
付記１４から付記１６のいずれかに記載のプログラム。

【0148】

（付記１８）
前記解像度の画素値及び前記解像度の隣接解像度間差分情報を補正する補正量処理は、 当該解像度の画素値と当該解像度の参照画素範囲における前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて前補正量を算出する
付記１４から付記１７のいずれかに記載のプログラム。

【0149】

（付記１９）
注目画素を中心とし、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲で平均画素値を算出し、解像度の異なる複数の画像の集合である多重解像度画像を生成し、
前記多重解像度画像を用いて隣接する解像度間で差分情報である隣接解像度間差分情報を計算し、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲のエッジ方向を決定し、
前記エッジ方向に基づいて、前記参照画素範囲を３つのサブブロックに分割し、
前記サブブロックごとの平均値であるサブブロック平均値を計算し、
当該解像度における参照画素範囲の平均画素値と、当該解像度における参照画素範囲の前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて、当該解像度の画素値を補正する補正量を算出し、前記補正量に基づいて、当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とから、当該解像度より高解像度の画素値を算出することを、最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるローパス成分を抽出し、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定し、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出し、
前記明るさ補正量の算出において算出した解像度の画素値を補正する補正量と、当該解像度の明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成し、この生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する
画像処理方法。

【0150】

（付記２０）
注目画素を中心とし、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲で平均画素値を算出し、解像度の異なる複数の画像の集合である多重解像度画像を生成する多重解像度画像生成部と、
前記多重解像度画像を用いて隣接する解像度間で差分情報である隣接解像度間差分情報を計算する隣接解像度間差分情報計算部と、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲のエッジ方向を決定するエッジ方向決定部と、
前記エッジ方向に基づいて、前記参照画素範囲を３つのサブブロックに分割し、前記サブブロックごとの平均値であるサブブロック平均値を計算するサブブロック平均値計算部と、
当該解像度における参照画素範囲の平均画素値と、当該解像度における参照画素範囲の前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて、当該解像度の画素値を補正する補正量を算出し、前記補正量に基づいて、当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とから、当該解像度より高解像度の画素値を算出することを、最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるローパス成分を抽出し、前記ローパス成分に基づいて、前記注目画素における照明光成分を推定する照明光成分推定部と、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出する明るさ補正量算出部と、
前記明るさ補正量の算出において算出した解像度の画素値を補正する補正量と、当該解像度の明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成し、この生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出するノイズ抑圧部と
を有する画像処理装置。

【0151】

（付記２１）
注目画素を中心とし、参照する画素範囲が順次狭くなる又は広くなる複数サイズの参照画素範囲で平均画素値を算出し、解像度の異なる複数の画像の集合である多重解像度画像を生成する処理と、
前記多重解像度画像を用いて隣接する解像度間で差分情報である隣接解像度間差分情報を計算する処理と、
前記多重解像度画像を生成するときに用いた複数サイズの参照画素範囲のエッジ方向を決定する処理と、
前記エッジ方向に基づいて、前記参照画素範囲を３つのサブブロックに分割する処理と、
前記サブブロックごとの平均値であるサブブロック平均値を計算する処理と、
当該解像度における参照画素範囲の平均画素値と、当該解像度における参照画素範囲の前記注目画素に対応する画素値との差分と、当該解像度の参照画素範囲における３つのサブブロック平均値から得られるエッジ量とを算出し、前記差分と前記エッジ量とに基づいて、当該解像度の画素値を補正する補正量を算出し、前記補正量に基づいて、当該解像度の画素値を補正し、補正した当該解像度の画素値と当該解像度の隣接解像度間差分値とから、当該解像度より高解像度の画素値を算出することを、最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるローパス成分を抽出する処理と、
前記ローパス成分に基づいて、前記注目画素における照明光成分を推定する処理と、
前記照明光成分に基づいて、入力画像の明るさ補正量を算出する処理と、
前記明るさ補正量の算出において算出した解像度の画素値を補正する補正量と、当該解像度の明るさ補正量とに基づいて、当該解像度の画素値を補正し、前記補正した当該解像度の画素値及び当該隣接解像度間差分情報とから当該解像度より高解像度の画素値を生成し、この生成を最低解像度の画素値から順に所定の解像度の画素値を生成するまで繰り返し、前記注目画素におけるノイズ成分が抑圧された明るさ補正後の画素値を算出する処理と
をコンピュータに実行させるプログラム。

【0152】

以上、実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではない。本発明の構成や詳細には、その技術的思想の範囲内において当業者が理解し得る様々な変形を行い実施することが出来る。

【0153】

この出願は、２０１４年９月２９日に出願された日本出願特願２０１４−１９７７３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0154】

１ 画像入力部
２ 画像処理装置
２Ａ 画像処理装置
２Ｂ 画像処理装置
３ 画像出力部
２１ 生成部
２２ 差分計算部
２３ エッジ方向決定部
２４ 平均値計算部
２５ 照明光推定部
２６ 補正量算出部
２７ ノイズ抑圧部
１２１ 生成回路
１２２ 差分計算回路
１２３ エッジ方向決定回路
１２４ 平均値計算回路
１２５ 照明光推定回路
１２６ 補正量算出回路
１２７ ノイズ抑圧回路
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】