(58)【調査した分野】(Int.Cl.,DB名)
当該階層の領域の画素統計値と、当該階層の領域より広い階層の領域の画素統計値と、当該階層の領域より広い階層の領域におけるエッジ情報とを用いて、前記差分情報を算出する
請求項1又は請求項2に記載の画像処理方法。
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、当該階層の領域のノイズによる画素値の変動量に応じて補正の強度を変化させる
請求項5に記載の画像処理方法。
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、当該階層の領域より広い領域のエッジ量に応じて補正の強度を変化させる
請求項5に記載の画像処理方法。
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、前記差分情報がゼロに近づくほどゼロに近い値を出力し、前記差分情報が大きくなるほど補正を弱める補正を行う
請求項1から請求項7のいずれかに記載の画像処理方法。
【発明を実施するための形態】
【0014】
図1は、本発明の実施の形態である画像処理方法を説明するための図である。尚、
図1では、三階層の多重解像度処理を行う場合の処理の流れを示しているが、本発明は二階層にも対応できるし、四階層以上でも容易に拡張が可能である。
【0015】
図1は、本発明の実施の形態である画像処理方法を説明するための図である。
【0016】
本発明の実施の形態は、画素位置(x,y)(注目画素)を中心とする広領域における空間の画素統計値である空間平均値L3(x,y)、およびその領域でのエッジ情報、もしくはエッジ量E3(x,y)を用いて、中領域における空間平均値(L2(x,y))を補正する。さらに、L2(x,y)と、補正された中領域における空間平均値(L2’(x,y))の差分値R2(x,y)から、E3(x,y)に基づいて信号を抽出し、抽出した信号をL2’(x,y)に合成することで、L2(x,y)を再補正する。そして、再補正された中領域における空間平均値(L2”(x,y))、中領域でのエッジ量(E2(x,y))を用いて、狭領域の空間平均値(L1(x,y))を補正する。この補正を順番に処理していくことで、入力画素値P
in(x,y)を補正し、出力画素値P
out(x,y)を得ることを特徴とする。
【0017】
ここで、画素統計値とは、対象領域の空間平均値であり、空間平均値は領域に存在する画素の相加平均値や、相乗平均値、加重平均値などである。以下の説明では、画素統計値を空間平均値とし、空間平均値を領域に存在する画素の相加平均値である場合を説明する。また、エッジ量、もしくはエッジ情報とは、注目画素(入力画素)を中心とした上下左右の領域間の画素の統計量(平均値、メディアンなど)の差分値で定義されるものとする。以下の説明では、画素統計値と同様に、エッジ量を空間平均値の差分である場合を説明する。
【0018】
以下、具体的な処理の説明を行うが、
図1における各階層での処理は、補正量を決定するためのパラメータが異なるのみで、処理の流れは同一である。そこで,一例として,広領域における空間平均値L3(x,y)、およびその領域でのエッジ量E3(x,y)を用いて、中領域における空間平均値L2(x,y)を補正する処理の詳細を説明する。
【0019】
まず、画素位置(x,y)における広領域(範囲:-k3〜k3)の空間平均値L3(x,y)および中領域(範囲:-k2〜k2)の空間平均値L2(x,y)を式(1)および式(2)のように計算する。ここで、広領域、中領域をそれぞれk3、k2にて縦横同じ画素数で範囲を指定しているが、必ずしも縦横同じ画素数でなくてもよい。
次に、広領域におけるエッジ量E3(x,y)を算出する。エッジ量の算出では,まず、縦方向のエッジ量EV3(x,y)と横方向のエッジ量EH3(x,y)とを、式(3)および式(4)のように算出し、これらを式(5)のように加算することで、広領域におけるエッジ量E3(x,y)を算出する。ここで、広領域をk3にて縦横同じ画素数で範囲を指定しているが、必ずしも縦横同じ画素数でなくてもよい。
続いて、算出されたエッジ量E3(x,y)から算出される合成重みα3(x,y)を用いて、式(6)のように広領域における空間平均値L3(x,y)を補正し、補正された広領域の空間平均値L3’(x,y)を算出する。合成重みα3(x,y)は、あらかじめ設定されている閾値hi3およびlo3を用いて、式(7)のように算出される。
最後に、算出された空間平均値L3’を用い、式(8)のように中領域の空間平均値L2(x,y)を補正する。
補正関数Funcの一例として、
図2に示したものを用いる。例えば、画素位置(x,y)における中領域の空間平均値L2(x,y)の補正は、diffinを(L2(x,y)-L3”(x,y))とし、
図2の補正関数によって得られる補正量diffoutをL2(x,y)に加算することで、実行される。
図2の補正関数内のパラメータであるa,b,limitは、処理する解像度および補正する色成分毎に決定される。
【0020】
また、各階層において式(5)で算出されるエッジ量E3(x,y)を、ノイズ成分を抑制するFunc関数(補正関数)に反映させ、各階層のFunc関数(補正関数)を変更することで、各階層のノイズ成分を適応的に抑制する構成もできる。
【0021】
いま、エッジ量E3(x,y)に応じて式(9)に示すように値が変化する係数β3(x,y)を定義する。E3(x, y)の閾値であるhi3およびlo3は予め設定する値である。
式(9)で定義される係数β3(x,y)は、0〜1.0までの実数となる。係数β3(x,y)を利用して、以下の式(10)のように、Func関数におけるパラメータaを設定する。エッジ量E3(x,y)とパラメータaの関係を
図3に示す。
ここで、a_lo3は、エッジ量E3(x,y)が閾値lo3より小さい場合にパラメータaとして使用する値であり、a_hi3はエッジ量が閾値hi3より大きくなる場合のパラメータaに使用する値である。エッジ量E3(x,y)が閾値lo3からhi3までパラメータaは、a_hi3からa_lo3までの間の値となる。ここで、a_hi3は0以上の実数であり、a_lo3は,a_lo3>=a_hi3の実数である。
【0022】
こうして得られたFunc関数を用い、中領域の空間平均値L2(x,y)を式(11)のように補正する。
このようにして、式(1)から式(8)までを用いて、あるいは、式(1)から式(5)、および式(9)から式(11)までを用いて、補正された中領域における空間平均値L2’(x,y)を得る。
【0023】
続いて、式(12)に示すように、中領域における空間平均値L2(x,y)と、補正された中領域における空間平均値(L2’(x,y))の差分値R2(x,y)を求める。すなわち、R2(x,y)はL2(x,y)に対する補正量を表す。さらに、式(13)に示すように、R2(x,y)から、関数Fresidに基づいて信号を抽出し、抽出した信号をL2’(x,y)に合成して、再補正された中領域における空間平均値L2”(x,y)を得る。
式(13)における関数F
residの一例を以下の式(14)に示す。
α1<=α2であり、基本的には0.0<=α1<=α2<=1.0である。つまり、式(14)は、注目画素がエッジに含まれるような場合(E3(x,y)>hi3)は、差分値R2(x,y)から高い割合で値を抽出することにより、最終的な補正量を小さくしてエッジの喪失を防ぐ。また、注目画素が平坦領域に含まれるような場合(E3(x,y)<lo3)は、差分値R2(x,y)から低い割合で値を抽出することにより、最終的な補正量を大きく保って平坦領域でのノイズ除去性能を維持する。さらに、注目画素がテクスチャ領域に含まれる場合は、差分値R2(x,y)から対象領域のエッジ量に比例して値を抽出することで、解像度感を保ちつつノイズを除去する。式(14)において、関数F
residの入力r=1の場合の、エッジ量eと関数F
residの出力の関係を
図4に示す。
【0024】
なお、式(13)におけるα1及びα2は、各階層で変更してもよいし、そうでなくてもよい。
【0025】
また、関数F
residは式(14)に限定されるものでなく、例えば、以下の式(15)や式(16)のような構成も可能である。
式(15)、式(16)において、関数F
residの入力r=1の場合の、エッジ量eと関数F
residの出力の関係を
図5および
図6に示す。
【0026】
更に、式(13)を下記式(17)に置き換えることによっても、同様な効果を得ることができる。
ここで、関数F
residは、式(18)又は式(19)となる。式(18)におけるsign関数は入力の符号を出力する関数であり、式(18)や式(19)におけるλ’は式(20)となる。
ここで、式(20)のλはあらかじめ設定する値である。また、閾値hi、lo、パラメータα1、α2は式(14)、(15)、(16)に示されたものと同様に、各階層で変更してもよいし、そうでなくてもよい。
【0027】
λ’についても式(20)に限定されるものではなく、式(14)に対する式(15)および式(16)と同様に代替も可能である。
【0028】
このように、第1の実施形態では、エッジ情報に基づいて、ノイズ抑制における再補正量の制御を行っている。実施の形態で述べた画像処理方法を用いることにより、ノイズの目立ちやすい平坦領域におけるノイズ除去性能を維持しつつ、エッジ領域・テクスチャ領域の解像度感を改善することができる。
【0029】
次に、本発明の実施の形態の画像処理装置を説明する。
【0030】
図7は本発明の実施の形態の画像処理装置のブロック図である。
【0031】
第1の実施形態は、式(1)から式(8)までを用いて補正値を得る方法と、式(1)から式(5)、および式(9)から式(11)までを用いて補正値を得る方法がある。
【0032】
図7は式(1)から式(8)までを用いて補正値を得る場合の画像処理装置である。
【0033】
図7に示す本実施の形態の画像処理装置は、領域画素値抽出部1と、空間平均値算出部2と、補正部3と、再補正部4と、出力画像制御部5と、エッジ情報算出部6とを備える。
【0034】
領域画素値抽出部1は、画素位置(x,y)(注目画素)を中心とする広領域にある画素の画素値と、中領域にある画素の画素値と、狭領域にある画素の画素値と、入力画素値P
in(x,y) (注目画素)の画素値とを、それぞれのタイミングで抽出して空間平均値算出部2とエッジ情報算出部6に出力する。
【0035】
空間平均値算出部2は、領域画素値抽出部1からの各領域の画素値を受信し、その領域の空間平均値を算出する。そして、算出された広領域、中領域、狭領域の空間平均値は、補正部3と再補正部4に出力される。
【0036】
エッジ情報算出部6は、領域画素値抽出部1からの広領域に存在する画素の画素値に基づいて、広領域におけるエッジ量E3(x,y)を算出する。エッジ量の算出は、縦方向のエッジ量EV3(x,y)と横方向のエッジ量EH3(x,y)とを、式(3)および式(4)のように算出し、これらを式(5)のように加算することで、広領域におけるエッジ量E3(x,y)を算出する。同様に、中領域のエッジ量E2(x,y)、狭領域のエッジ量E1(x,y)を算出する。なお、横方向と縦方向のエッジ量について言及してあるが、斜め方向のエッジ量を算出し使用してもよい。
【0037】
補正部3は、エッジ情報算出部6により算出されたエッジ量E3 (x,y)から得られる合成重みα3 (x,y)を用いて、式(6)のように広領域における空間平均値L3(x,y)を補正し、補正された広領域の空間平均値L3”(x,y)を算出する。尚、合成重みα3 (x,y)は、あらかじめ設定されている閾値hi3およびlo3を用いて、式(7)のように算出される。
【0038】
更に、算出された空間平均値L3”を用い、式(8)のように中領域の空間平均値L2(x,y)を補正し、補正された空間平均値L2’(x,y)を得る。同様な補正を、空間平均値L1(x,y)、入力画素値P
in(x,y)にも行う。
【0039】
再補正部4は、補正前の空間平均値L2(x,y)と補正された空間平均値L2’(x,y)の差分値を計算し、エッジ情報算出部6により算出されたエッジ量E3 (x,y)に基づいて、式(17)のようにL2’(x,y)を再補正し、再補正された空間平均値L2”(x,y)を得る。同様な再補正を、補正された空間平均値L1’(x,y)、補正された入力画素値P
in’(x,y)にも行う。
【0040】
出力画像制御部5は、順次補正された空間平均値が入力される毎に、次階層の領域の画素の画素値を抽出するように領域画素値抽出部1に指示を出す。また、再補正された空間平均値が入力される毎に、補正部3にその値をフィードバックする。そして、1画素のP
out(x,y)が入力されると、出力画素値としてP
out(x,y)を出力する。
【0041】
次に、式(1)から式(5)、および式(9)から式(11)までを用いて補正値を得る場合の本発明の実施の形態の画像処理装置を
図8に示す。
【0042】
図8に示す本発明の実施の形態の画像処理装置は、領域画素値抽出部1と、空間平均値算出部2と、補正部3と、再補正部4と、出力画像制御部5と、エッジ情報算出部6と、補正関数決定部7とを備える。
【0043】
領域画素値抽出部1、空間平均値算出部2、再補正部4、出力画像制御部5、エッジ情報算出部6は、
図7に示す第1の実施形態の画像処理装置と同じ動作を行う。
【0044】
補正関数決定部7は、エッジ情報算出部6により算出されたエッジ量に基づいて、式(9)、(10)に示すようにFunc関数(補正関数)におけるパラメータaを算出し、各階層のFunc関数(補正関数)を決定する。
【0045】
補正部3は、補正関数決定部7で決定された各階層のFunc関数(補正関数)を用いて各階層の空間平均値を補正する。
【0046】
以上の如く、本発明の実施の形態によれば、エッジ情報に基づいて、ノイズ抑制における再補正量の制御を行うことで、ノイズの目立ちやすい平坦領域におけるノイズ除去性能を維持しつつ、エッジ領域・テクスチャ領域の解像度感を改善することができる。
【0047】
尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
【0048】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0049】
(付記1)
注目画素を含み、範囲が順次狭くなる多階層の領域毎に画素の画素統計値とエッジ情報とを求め、
当該階層の領域の画素統計値と当該階層の領域より広い階層の領域の画素統計値との差分情報を、前記エッジ情報を用いて補正し、
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値を用いて、当該階層の領域の画素統計値を補正し、
前記エッジ情報を用いて、補正前の前記当該階層の領域の画素統計値と、補正後の前記当該階層の領域の画素統計値の差分情報とを再補正し、
最大範囲から最小範囲の領域になるまで、順次各階層において、前記当該階層の領域の画素統計値の補正と再補正を繰り返すことで、前記注目画素を補正する
画像処理方法。
【0050】
(付記2)
前記再補正は、
前記注目画素がエッジに含まれる場合には補正量を小さくし、
前記注目画素が平坦領域に含まれる場合には補正量を大きくし、
前記注目画素がテクスチャ領域に含まれる場合にはエッジ情報に応じた補正量により、
補正を行う
付記1に記載の画像処理方法。
【0051】
(付記3)
当該階層の領域の画素統計値と、当該階層の領域より広い階層の領域の画素統計値と、当該階層の領域より広い階層の領域におけるエッジ情報とを用いて、前記差分情報を算出する
付記1又は付記2に記載の画像処理方法。
【0052】
(付記4)
当該階層の領域より広い階層の領域におけるエッジ情報が所定の閾値を超える場合、当該階層の画素統計値の補正を行わない
付記3に記載の画像処理方法。
【0053】
(付記5)
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、補正の強度を階層毎に変化させる
付記1から付記4のいずれかに記載の画像処理方法。
【0054】
(付記6)
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、当該階層の領域のノイズによる画素値の変動量に応じて補正の強度を変化させる
付記5に記載の画像処理方法。
【0055】
(付記7)
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、当該階層の領域より広い領域のエッジ量に応じて補正の強度を変化させる
付記5に記載の画像処理方法。
【0056】
(付記8)
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、前記差分情報がゼロに近づくほどゼロに近い値を出力し、前記差分情報が大きくなるほど補正を弱める補正を行う
付記1から付記7のいずれかに記載の画像処理方法。
【0057】
(付記9)
前記画素統計値は、画素の空間平均値を用いる
付記1から付記8のいずれかに記載の画像処理方法。
【0058】
(付記10)
前記空間平均値は、画素の相加平均値、相乗平均値、加重平均値のいずれかである
付記9に記載の画像処理方法。
【0059】
(付記11)
注目画素を含み、範囲が順次狭くなる多階層の領域毎に、その領域の画素の画素統計値を算出する画素統計値算出手段と、
注目画素を含み、範囲が順次狭くなる多階層の領域毎に、エッジ情報を算出するエッジ情報算出手段と、
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値を用いて、当該階層の領域の画素統計値を補正し、前記エッジ情報を用いて、補正前の前記当該階層の領域の画素統計値と、補正後の前記当該階層の領域の画素統計値の差分情報とを再補正し、最大範囲から最小範囲の領域になるまで、順次各階層において、前記当該階層の領域の画素統計値の補正と再補正を繰り返すことで、前記注目画素を補正する補正手段と
を有する画像処理装置。
【0060】
(付記12)
前記補正手段は、
前記注目画素がエッジに含まれる場合には補正量を小さくし、
前記注目画素が平坦領域に含まれる場合には補正量を大きくし、
前記注目画素がテクスチャ領域に含まれる場合にはエッジ情報に応じた補正量により、
補正を行う
付記11に記載の画像処理装置。
【0061】
(付記13)
前記補正手段は、当該階層の領域の画素統計値と、当該階層の領域より広い階層の領域の画素統計値と、当該階層の領域より広い階層の領域におけるエッジ情報とを用いて、前記差分情報を算出する
付記11又は付記12に記載の画像処理装置。
【0062】
(付記14)
前記補正手段は、当該階層の領域より広い階層の領域におけるエッジ情報が所定の閾値を超える場合、当該階層の画素統計値の補正を行わない
付記13に記載の画像処理装置。
【0063】
(付記15)
前記補正手段は、補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、補正の強度を階層毎に変化させる
付記11から付記14のいずれかに記載の画像処理装置。
【0064】
(付記16)
前記補正手段は、補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、当該階層の領域のノイズによる画素値の変動量に応じて補正の強度を変化させる
付記15に記載の画像処理装置。
【0065】
(付記17)
前記補正手段は、補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、当該階層の領域より広い領域のエッジ量に応じて補正の強度を変化させる
付記15に記載の画像処理装置。
【0066】
(付記18)
前記補正手段は、補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、前記差分情報がゼロに近づくほどゼロに近い値を出力し、前記差分情報が大きくなるほど補正を弱める補正を行う
付記11から付記17のいずれかに記載の画像処理装置。
【0067】
(付記19)
前記画素統計値は、画素の空間平均値を用いる
付記11から付記18のいずれかに記載の画像処理装置。
【0068】
(付記20)
前記空間平均値は、画素の相加平均値、相乗平均値、加重平均値のいずれかである
付記19に記載の画像処理装置。
【0069】
(付記21)
注目画素を含み、範囲が順次狭くなる多階層の領域毎に、その領域の画素の画素統計値を算出する画素統計値算出処理と、
注目画素を含み、範囲が順次狭くなる多階層の領域毎に、エッジ情報を算出するエッジ情報算出処理と、
補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値を用いて、当該階層の領域の画素統計値を補正し、前記エッジ情報を用いて、補正前の前記当該階層の領域の画素統計値と、補正後の前記当該階層の領域の画素統計値の差分情報とを再補正し、最大範囲から最小範囲の領域になるまで、順次各階層において、前記当該階層の領域の画素統計値の補正と再補正を繰り返すことで、前記注目画素を補正する補正処理と
を、コンピュータに実行させるプログラム。
【0070】
(付記22)
前記補正処理は、
前記注目画素がエッジに含まれる場合には補正量を小さくし、
前記注目画素が平坦領域に含まれる場合には補正量を大きくし、
前記注目画素がテクスチャ領域に含まれる場合にはエッジ情報に応じた補正量により、
補正を行う
付記21に記載のプログラム。
【0071】
(付記23)
前記補正処理は、当該階層の領域の画素統計値と、当該階層の領域より広い階層の領域の画素統計値と、当該階層の領域より広い階層の領域におけるエッジ情報とを用いて、前記差分情報を算出する
付記21又は付記22に記載のプログラム。
【0072】
(付記24)
前記補正処理は、当該階層の領域より広い階層の領域におけるエッジ情報が所定の閾値を超える場合、当該階層の画素統計値の補正を行わない
付記23に記載のプログラム。
【0073】
(付記25)
前記補正処理は、補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、補正の強度を階層毎に変化させる
付記11から付記14のいずれかに記載のプログラム。
【0074】
(付記26)
前記補正処理は、補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、当該階層の領域のノイズによる画素値の変動量に応じて補正の強度を変化させる
付記25に記載のプログラム。
【0075】
(付記27)
前記補正処理は、補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、当該階層の領域より広い領域のエッジ量に応じて補正の強度を変化させる
付記25に記載のプログラム。
【0076】
(付記28)
前記補正処理は、補正後の前記差分情報と、前記当該階層の領域より広い領域の画素統計値とを用いて、当該階層の領域の画素統計値を補正する際、前記差分情報がゼロに近づくほどゼロに近い値を出力し、前記差分情報が大きくなるほど補正を弱める補正を行う
付記21から付記27のいずれかに記載のプログラム。
【0077】
(付記29)
前記画素統計値は、画素の空間平均値を用いる
付記21から付記28のいずれかに記載のプログラム。
【0078】
(付記30)
前記空間平均値は、画素の相加平均値、相乗平均値、加重平均値のいずれかである
付記29に記載のプログラム。
【0079】
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【0080】
本出願は、2012年4月26日に出願された日本出願特願2012−100910号を基礎とする優先権を主張し、その開示の全てをここに取り込む。