(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024110219
(43)【公開日】2024-08-15
(54)【発明の名称】ノイズ低減処理装置及びプログラム
(51)【国際特許分類】
G06T 5/70 20240101AFI20240807BHJP
【FI】
G06T5/00 705
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023014674
(22)【出願日】2023-02-02
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】菊地 幸大
(72)【発明者】
【氏名】冨岡 宏平
(72)【発明者】
【氏名】安江 俊夫
(72)【発明者】
【氏名】北村 和也
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057CA16
5B057CE02
5B057CE20
5B057DC30
(57)【要約】
【課題】統計テーブルを用いた周波数成分への縮退演算を行うことで、画像に含まれるショットノイズを低減する際に、統計テーブルのスムージング化及び実装サイズの縮小化を、簡便な方法で実現する。
【解決手段】ノイズ低減処理装置1の除算部12は、画像信号gを低減率Nで除算し、離散ウェーブレット変換部13は、ハール基底を用いた2次元離散ウェーブレット変換を行い、ウェーブレット係数w
i/N及びスケーリング係数s
i/Nを求める。ヒストグラム算出部15は、整数化後のウェーブレット係数w
i/Nの取り得る値域内で確率密度関数P(w)及び期待値E
s(w)を求める。縮退処理部17は、P(w),E
s(w)を用いて縮退演算を行い、ウェーブレット係数λ’
iを求める。逆離散ウェーブレット変換部18は、ハール基底を用いた2次元逆離散ウェーブレット変換を行い、画像信号f/Nを求め、乗算部19は、f/NにNを乗算する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像を構成する画素毎の画像信号に含まれるショットノイズを低減するノイズ低減処理装置において、
前記画像信号を入力画像信号として、当該入力画像信号に予め設定された低減率N(Nは1よりも大きい実数)で除算し、除算後の画像信号を求める除算部と、
前記除算部により求めた前記除算後の画像信号に対し、ハール基底を用いた2次元離散ウェーブレット変換を行い、ウェーブレット係数wi/N(iは画素のサンプル番号)及びスケーリング係数si/Nを求める離散ウェーブレット変換部と、
前記離散ウェーブレット変換部により求めた前記ウェーブレット係数wi/Nを整数化し、整数化後のウェーブレット係数wi/Nを求める整数化部と、
前記整数化部により求めた前記整数化後のウェーブレット係数wi/Nの取り得る値域内の値毎に、当該整数化後のウェーブレット係数wi/Nの値の出現数を表すヒストグラムを算出し、総画素数で除算することで、ウェーブレット係数の確率密度関数P(w)を求めると共に、
当該整数化後のウェーブレット係数wi/Nと同じ値に対応する前記離散ウェーブレット変換部により求めた前記スケーリング係数si/Nの積分値を表すヒストグラムを算出し、総画素数で除算することで、スケーリング係数の期待値Es(w)を求め、
前記確率密度関数P(w)及び前記期待値Es(w)を統計テーブルに格納するヒストグラム算出部と、
前記整数化部により求めた前記整数化後のウェーブレット係数wi/N、並びに前記統計テーブルに格納された前記確率密度関数P(wi/N)及び前記期待値Es(wi/N)に基づいて(前記確率密度関数P及び前記期待値Esにおけるwi/Nは整数化後のウェーブレット係数)、前記ウェーブレット係数wi/Nに対する縮退演算を行い、縮退後のウェーブレット係数λ’iを求める縮退処理部と、
前記縮退処理部により求めた前記ウェーブレット係数λ’i及び前記離散ウェーブレット変換部により求めた前記スケーリング係数si/Nを用いて、ハール基底を用いた2次元逆離散ウェーブレット変換を行い、画像信号を求める逆離散ウェーブレット変換部と、
前記逆離散ウェーブレット変換部により求めた前記画像信号に前記低減率Nを乗算し、前記ショットノイズが低減された画像信号を求める乗算部と、
を備えたことを特徴とするノイズ低減処理装置。
【請求項2】
請求項1に記載のノイズ低減処理装置において、
さらに、ポアソン正規化部及びポアソン逆正規化部を備え、
前記ポアソン正規化部は、
前記入力画像信号から得られる所定のポアソン正規化パラメータを用いて、前記入力画像信号に対してポアソン分布のショットノイズについてのポアソン正規化を行い、画像信号を求め、
前記除算部は、
前記ポアソン正規化部により求めた前記画像信号を前記低減率Nで除算し、前記除算後の画像信号を求め、
前記ポアソン逆正規化部は、
前記所定のポアソン正規化パラメータを用いて、前記乗算部により求めた前記画像信号に対してポアソン分布のショットノイズについてのポアソン逆正規化を行い、前記ショットノイズが低減された画像信号を求める、ことを特徴とするノイズ低減処理装置。
【請求項3】
画像を構成する画素毎の画像信号に含まれるショットノイズを低減するノイズ低減処理装置において、
前記画像信号をg^として、前記画像信号g^から得られる所定のポアソン正規化パラメータα,βのうちの前記ポアソン正規化パラメータαに対し、予め設定された低減率N(Nは1よりも大きい実数)を乗算し、前記画像信号g^、前記ポアソン正規化パラメータβ及び乗算後のポアソン正規化パラメータNαを用いて、以下の式:
により、前記画像信号g^に対してポアソン分布のショットノイズについてのポアソン正規化を行い、画像信号g’を求めるポアソン正規化部と、
前記ポアソン正規化部により求めた前記画像信号g’に対し、ハール基底を用いた2次元離散ウェーブレット変換を行い、ウェーブレット係数w
i/N(iは画素のサンプル番号)及びスケーリング係数s
i/Nを求める離散ウェーブレット変換部と、
前記離散ウェーブレット変換部により求めた前記ウェーブレット係数w
i/Nを整数化し、整数化後のウェーブレット係数w
i/Nを求める整数化部と、
前記整数化部により求めた前記整数化後のウェーブレット係数w
i/Nの取り得る値域内の値毎に、当該整数化後のウェーブレット係数w
i/Nの値の出現数を表すヒストグラムを算出し、総画素数で除算することで、ウェーブレット係数の確率密度関数P(w)を求めると共に、
当該整数化後のウェーブレット係数w
i/Nと同じ値に対応する前記離散ウェーブレット変換部により求めた前記スケーリング係数s
i/Nの積分値を表すヒストグラムを算出し、総画素数で除算することで、スケーリング係数の期待値E
s(w)を求め、
前記確率密度関数P(w)及び前記期待値E
s(w)を統計テーブルに格納するヒストグラム算出部と、
前記整数化部により求めた前記整数化後のウェーブレット係数w
i/N、並びに前記統計テーブルに格納された前記確率密度関数P(w
i/N)及び前記期待値E
s(w
i/N)に基づいて(前記確率密度関数P及び前記期待値E
sにおけるw
i/Nは整数化後のウェーブレット係数)、前記ウェーブレット係数w
i/Nに対する縮退演算を行い、縮退後のウェーブレット係数λ’
iを求める縮退処理部と、
前記縮退処理部により求めた前記ウェーブレット係数λ’
i及び前記離散ウェーブレット変換部により求めた前記スケーリング係数s
i/Nを用いて、ハール基底を用いた2次元逆離散ウェーブレット変換を行い、画像信号f’を求める逆離散ウェーブレット変換部と、
前記ポアソン正規化パラメータαに対し前記低減率Nを乗算し、前記逆離散ウェーブレット変換部により求めた前記画像信号f’、前記ポアソン正規化パラメータβ及び乗算後のポアソン正規化パラメータNαを用いて、以下の式:
により、前記画像信号f’に対してポアソン分布のショットノイズについてのポアソン逆正規化を行い、前記ショットノイズが低減された画像信号f^を求めるポアソン逆正規化部と、
を備えたことを特徴とするノイズ低減処理装置。
【請求項4】
請求項1または3に記載のノイズ低減装置において、
前記縮退処理部は、
以下の式:
(前記式内のw
i/Nは整数化後のウェーブレット係数)により、前記縮退演算を行い、前記ウェーブレット係数λ’
iを求める、ことを特徴とするノイズ低減処理装置。
【請求項5】
請求項4に記載のノイズ低減処理装置において、
前記縮退処理部は、
前記整数化後のウェーブレット係数wi/N、並びに前記統計テーブルに格納された1フレーム前の画像についての前記確率密度関数P(w)及び前記期待値Es(w)を用いて、前記式により縮退演算を行い、前記ウェーブレット係数λ’iを求める、ことを特徴とするノイズ低減処理装置。
【請求項6】
請求項4に記載のノイズ低減処理装置において、
前記縮退処理部は、
前記統計テーブルから、所定数の複数フレームの画像についての前記確率密度関数P(w)及び前記期待値Es(w)を読み出してそれぞれの平均値を求め、前記整数化後のウェーブレット係数wi/N、並びに前記複数フレームの画像についての前記確率密度関数P(w)の平均値及び前記期待値Es(w)の平均値を用いて、前記式により縮退演算を行い、前記ウェーブレット係数λ’iを求める、ことを特徴とするノイズ低減処理装置。
【請求項7】
コンピュータを、請求項1から3までのいずれか一項に記載のノイズ低減処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像に含まれるノイズを低減する技術に関し、特に、特定の統計的性質を有するノイズ(より限定すると、ショットノイズ等のポアソン(Poisson)分布に従うノイズ)を低減するノイズ低減処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、イメージセンサの高精細化及び高フレームレート化により、画素サイズ及び露光時間は縮小する傾向にあり、また、夜間の監視カメラ及び天体観測用カメラの高画質化のニーズ等から、S/N比の改善、すなわちノイズ低減技術の重要性が増している。
【0003】
イメージセンサのノイズの発生源、特にランダムノイズ源は、(1)光の粒子性に起因するノイズ(ショットノイズ)、及び(2)センサ回路に起因するノイズ(1/Fノイズ、サーマルノイズ、kTCノイズ等)に分けられる。
【0004】
後者の(2)は、近年のセンサ技術の発展において、低ノイズ化が進む一方、前者の(1)は、原理的に不可避なノイズであり、特に、低照度の撮影においては、真の信号に対してノイズが支配的となり、画質を大きく低下させる。
【0005】
画像のノイズ低減手法として、特に実時間システムにおいては、平均値フィルタ、ガウシアンフィルタ、メディアンフィルタ等の空間フィルタリング手法、離散フーリエ変換、離散ウェーブレット(wavelet)変換等の空間射影した後の係数を縮退させるシュリンケージ手法が用いられてきた。
【0006】
一方、ショットノイズは、ポアソン分布を有することが知られている。前述のノイズ低減手法の多くは、ポアソン分布のような統計的性質を考慮した手法ではないため、ノイズが残留したり、ノイズと共に真の信号を除去してしまうオーバースムージングの原因となったりする可能性がある。
【0007】
また、ポスト処理によるノイズ低減手法としては、BM3D等のパッチベース処理、DNNを用いた処理等があるが、処理時間及び回路規模の観点で実時間処理は困難となる。
【0008】
ところで、ポアソン分布のような統計的性質を考慮したノイズ低減手法としては、例えば特許文献1の手法が提案されている。この手法は、予めショットノイズ値を実験で求めたうえで、局所領域毎に、平坦部であるか、またはエッジ部であるかをショットノイズ値に基づいて判定し、平坦部と判定された領域に対して局所領域の平均値を出力することで、ノイズ低減を実現するものである。
【0009】
しかしながら、この手法では、平坦部のショットノイズは低減できるが、エッジ部周辺のショットノイズは低減できず、ノイズが残留してしまう。
【0010】
また、統計的性質を考慮したノイズ低減手法の他の例として、非特許文献1の手法が提案されている。この手法は、画像に対し、ハール(Haar)基底を用いた2次元離散ウェーブレット変換(Haar-DWT)を行うことで、ショットノイズをスケラム(Skellam)分布(ポアソン分布の差)として展開し、ベイズ推定におけるリスク関数の最小化から得られるウェーブレット係数の縮退演算子によって、真の信号値を推定するものである。
【0011】
この手法によれば、縮退演算子の中で、エッジ部も含むウェーブレット係数の統計量に応じたノイズ低減を行うため、平坦部だけでなくエッジ部周辺のショットノイズも低減することができる。
【0012】
この非特許文献1の手法は、ショットノイズを有する元画像を2次元離散ウェーブレット変換して得られるウェーブレット係数に対し、以下の式に示す縮退演算子(Univariate minimum risk shrinkage operator)を適用する。この式は、非特許文献1において、第3頁右欄の(18)の式に相当する。
【数1】
【0013】
ここで、λiはノイズ低減後のウェーブレット係数、wiは元画像のウェーブレット係数である。添え字iはサンプルの番号であり、元画像を構成する各画素の番号に相当する。P(w)は、ウェーブレット係数wの確率密度関数である。Es(w)は、スケーリング係数sのウェーブレット係数wに対する期待値である。
【0014】
前記式(1)の実際の演算においては、確率密度関数P(w)及び期待値Es(w)は、画像に対する2次元離散ウェーブレット変換の結果から、統計処理により予め推定しておく。より具体的には、確率密度関数P(w)として、ウェーブレット係数wの出現数を全画素に対して積算した後、各出現数を総画素数で除算した度数分布表(ヒストグラム)を予め生成しておく。また、期待値Es(w)として、ウェーブレット係数wに対するスケーリング係数sを全画素に対して積算した後、各出現数を総画素数で除算した度数分布表を生成しておく。
【0015】
例えば確率密度関数P(w)において、ウェーブレット係数w1が得られたときに、当該ウェーブレット係数w=w1のbinに対応する出現数に対し(P(w1)に対し)、1が加算される。また、期待値Es(w)において、ウェーブレット係数w1が得られたときに、当該ウェーブレット係数w=w1のbinに対応する出現数(積分値)に対し(Es(w1)に対し)、当該ウェーブレット係数w=w1に対応するスケーリング係数が加算される。つまり、期待値Es(w1)には、全てのサンプルのうちウェーブレット係数w=w1と同じ値の複数のサンプルにつき、これらのサンプルにおける複数のスケーリング係数を加算した値が積分値として格納される。最後に、P(w)及びEs(w)の各出現数を総画素数で除算することで、それぞれの度数分布表を、確率密度関数及び期待値として正規化する。
【0016】
また、この手法をハードウェアに実装する際には、これら度数分布表は、ルックアップテーブルとしてメモリ内に格納しておくことが想定される。以下、これらの2種類のルックアップテーブルを「統計テーブル」という。
【0017】
これらの統計テーブルは、前記式(1)の演算において、ウェーブレット係数wの取り得る値域の値をbinに有する1次元のルックアップテーブルである。統計テーブルは、元画像のビット深度、ウェーブレット階層及びテーブル精度(テーブルのビット深度、テーブルの各座標に格納される値の精度)に応じて、テーブルサイズ(実装に必要なメモリ量)が増大する。
【0018】
例えば、元画像のビット深度が10ビット、ウェーブレット階層が3階、テーブル精度が32ビットである場合、それぞれの統計テーブルは、65217×32ビットのメモリが必要となる。この65217の値は、1019(SMPTE規格で規定されている10ビットの信号の最大値)×43(ウェーブレット変換1階層あたり4画素を加算)=65216に1を加えることで得られる。
【先行技術文献】
【特許文献】
【0019】
【非特許文献】
【0020】
【非特許文献1】W.Cheng and K.Hirakawa,“Minimum risk wavelet shrinkage operator for Poisson image denoising”, IEEE Trans. Image Process., vol.24, no.5, pp.1660-1671, May 2015.
【発明の概要】
【発明が解決しようとする課題】
【0021】
しかしながら、前述の非特許文献1の手法において、画像に対する2次元離散ウェーブレット変換の結果から確率密度関数P(w)及び期待値Es(w)を推定する場合、サンプル数は有限である。このため、不規則にデータの不足、過剰または欠落によって、これらの推定結果が不安定となり、結果的にショットノイズを十分に低減することができないという問題があった。
【0022】
この問題を解決するために、推定結果である確率密度関数P(w)及び期待値Es(w)に対してスムージングフィルタを適用することで、推定結果を安定させることが考えらえる。しかし、回路が複雑になり、追加のメモリが必要になる等の問題が生じる。
【0023】
また、前述の非特許文献1の手法をASIC、FPGA等のプロセッサに実装する場合、統計テーブルを実装するメモリの容量及び帯域速度が重要となる。特に、前記式(1)の演算の際に、統計テーブルへのメモリアクセス(読み出し)はランダム的になるため、帯域速度が制限されるプロセッサ外部のRAMを使用するのは困難である。また、高速アクセスに有利なプロセッサ内部のRAMを使用する場合、メモリ容量に制約があることから、サイズの大きい統計テーブルの実装が困難になるという問題が生じる。
【0024】
このため、前述の非特許文献1の手法において、前記式(1)の演算を行う際に、安定した推定結果の確率密度関数P(w)及び期待値Es(w)が格納された統計テーブルであって、かつサイズの小さい統計テーブルを用いることが所望されていた。
【0025】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、統計テーブルを用いた周波数成分への縮退演算を行うことで、画像に含まれるショットノイズを低減する際に、統計テーブルのスムージング化及び実装サイズの縮小化を、簡便な方法で実現可能なノイズ低減処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0026】
前記課題を解決するために、請求項1のノイズ低減処理装置は、画像を構成する画素毎の画像信号に含まれるショットノイズを低減するノイズ低減処理装置において、前記画像信号を入力画像信号として、当該入力画像信号に予め設定された低減率N(Nは1よりも大きい実数)で除算し、除算後の画像信号を求める除算部と、前記除算部により求めた前記除算後の画像信号に対し、ハール基底を用いた2次元離散ウェーブレット変換を行い、ウェーブレット係数wi/N(iは画素のサンプル番号)及びスケーリング係数si/Nを求める離散ウェーブレット変換部と、前記離散ウェーブレット変換部により求めた前記ウェーブレット係数wi/Nを整数化し、整数化後のウェーブレット係数wi/Nを求める整数化部と、前記整数化部により求めた前記整数化後のウェーブレット係数wi/Nの取り得る値域内の値毎に、当該整数化後のウェーブレット係数wi/Nの値の出現数を表すヒストグラムを算出し、総画素数で除算することで、ウェーブレット係数の確率密度関数P(w)を求めると共に、当該整数化後のウェーブレット係数wi/Nと同じ値に対応する前記離散ウェーブレット変換部により求めた前記スケーリング係数si/Nの積分値を表すヒストグラムを算出し、総画素数で除算することで、スケーリング係数の期待値Es(w)を求め、前記確率密度関数P(w)及び前記期待値Es(w)を統計テーブルに格納するヒストグラム算出部と、前記整数化部により求めた前記整数化後のウェーブレット係数wi/N、並びに前記統計テーブルに格納された前記確率密度関数P(wi/N)及び前記期待値Es(wi/N)に基づいて(前記確率密度関数P及び前記期待値Esにおけるwi/Nは整数化後のウェーブレット係数)、前記ウェーブレット係数wi/Nに対する縮退演算を行い、縮退後のウェーブレット係数λ’iを求める縮退処理部と、前記縮退処理部により求めた前記ウェーブレット係数λ’i及び前記離散ウェーブレット変換部により求めた前記スケーリング係数si/Nを用いて、ハール基底を用いた2次元逆離散ウェーブレット変換を行い、画像信号を求める逆離散ウェーブレット変換部と、前記逆離散ウェーブレット変換部により求めた前記画像信号に前記低減率Nを乗算し、前記ショットノイズが低減された画像信号を求める乗算部と、を備えたことを特徴とする。
【0027】
また、請求項2のノイズ低減処理装置は、請求項1に記載のノイズ低減処理装置において、さらに、ポアソン正規化部及びポアソン逆正規化部を備え、前記ポアソン正規化部が、前記入力画像信号から得られる所定のポアソン正規化パラメータを用いて、前記入力画像信号に対してポアソン分布のショットノイズについてのポアソン正規化を行い、画像信号を求め、前記除算部が、前記ポアソン正規化部により求めた前記画像信号を前記低減率Nで除算し、前記除算後の画像信号を求め、前記ポアソン逆正規化部が、前記所定のポアソン正規化パラメータを用いて、前記乗算部により求めた前記画像信号に対してポアソン分布のショットノイズについてのポアソン逆正規化を行い、前記ショットノイズが低減された画像信号を求める、ことを特徴とする。
【0028】
また、請求項3のノイズ低減処理装置は、画像を構成する画素毎の画像信号に含まれるショットノイズを低減するノイズ低減処理装置において、前記画像信号をg^として、前記画像信号g^から得られる所定のポアソン正規化パラメータα,βのうちの前記ポアソン正規化パラメータαに対し、予め設定された低減率N(Nは1よりも大きい実数)を乗算し、前記画像信号g^、前記ポアソン正規化パラメータβ及び乗算後のポアソン正規化パラメータNαを用いて、以下の式:
により、前記画像信号g^に対してポアソン分布のショットノイズについてのポアソン正規化を行い、画像信号g’を求めるポアソン正規化部と、前記ポアソン正規化部により求めた前記画像信号g’に対し、ハール基底を用いた2次元離散ウェーブレット変換を行い、ウェーブレット係数w
i/N(iは画素のサンプル番号)及びスケーリング係数s
i/Nを求める離散ウェーブレット変換部と、前記離散ウェーブレット変換部により求めた前記ウェーブレット係数w
i/Nを整数化し、整数化後のウェーブレット係数w
i/Nを求める整数化部と、前記整数化部により求めた前記整数化後のウェーブレット係数w
i/Nの取り得る値域内の値毎に、当該整数化後のウェーブレット係数w
i/Nの値の出現数を表すヒストグラムを算出し、総画素数で除算することで、ウェーブレット係数の確率密度関数P(w)を求めると共に、当該整数化後のウェーブレット係数w
i/Nと同じ値に対応する前記離散ウェーブレット変換部により求めた前記スケーリング係数s
i/Nの積分値を表すヒストグラムを算出し、総画素数で除算することで、スケーリング係数の期待値E
s(w)を求め、前記確率密度関数P(w)及び前記期待値E
s(w)を統計テーブルに格納するヒストグラム算出部と、前記整数化部により求めた前記整数化後のウェーブレット係数w
i/N、並びに前記統計テーブルに格納された前記確率密度関数P(w
i/N)及び前記期待値E
s(w
i/N)に基づいて(前記確率密度関数P及び前記期待値E
sにおけるw
i/Nは整数化後のウェーブレット係数)、前記ウェーブレット係数w
i/Nに対する縮退演算を行い、縮退後のウェーブレット係数λ’
iを求める縮退処理部と、前記縮退処理部により求めた前記ウェーブレット係数λ’
i及び前記離散ウェーブレット変換部により求めた前記スケーリング係数s
i/Nを用いて、ハール基底を用いた2次元逆離散ウェーブレット変換を行い、画像信号f’を求める逆離散ウェーブレット変換部と、前記ポアソン正規化パラメータαに対し前記低減率Nを乗算し、前記逆離散ウェーブレット変換部により求めた前記画像信号f’、前記ポアソン正規化パラメータβ及び乗算後のポアソン正規化パラメータNαを用いて、以下の式:
により、前記画像信号f’に対してポアソン分布のショットノイズについてのポアソン逆正規化を行い、前記ショットノイズが低減された画像信号f^を求めるポアソン逆正規化部と、を備えたことを特徴とする。
【0029】
また、請求項4のノイズ低減処理装置は、請求項1または3に記載のノイズ低減装置において、前記縮退処理部が、以下の式:
(前記式内のw
i/Nは整数化後のウェーブレット係数)により、前記縮退演算を行い、前記ウェーブレット係数λ’
iを求める、ことを特徴とする。
【0030】
また、請求項5のノイズ低減処理装置は、請求項4に記載のノイズ低減処理装置において、前記縮退処理部が、前記整数化後のウェーブレット係数wi/N、並びに前記統計テーブルに格納された1フレーム前の画像についての前記確率密度関数P(w)及び前記期待値Es(w)を用いて、前記式により縮退演算を行い、前記ウェーブレット係数λ’iを求める、ことを特徴とする。
【0031】
また、請求項6のノイズ低減処理装置は、請求項4に記載のノイズ低減処理装置において、前記縮退処理部が、前記統計テーブルから、所定数の複数フレームの画像についての前記確率密度関数P(w)及び前記期待値Es(w)を読み出してそれぞれの平均値を求め、前記整数化後のウェーブレット係数wi/N、並びに前記複数フレームの画像についての前記確率密度関数P(w)の平均値及び前記期待値Es(w)の平均値を用いて、前記式により縮退演算を行い、前記ウェーブレット係数λ’iを求める、ことを特徴とする。
【0032】
さらに、請求項7のプログラムは、コンピュータを、請求項1から3までのいずれか一項に記載のノイズ低減処理装置として機能させることを特徴とする。
【発明の効果】
【0033】
以上のように、本発明によれば、統計テーブルを用いた周波数成分への縮退演算を行うことで、画像に含まれるショットノイズを低減する際に、統計テーブルのスムージング化及び実装サイズの縮小化を、簡便な方法で実現することができる。
【図面の簡単な説明】
【0034】
【
図1】本発明の実施形態によるノイズ低減処理装置の構成例を示すブロック図である。
【
図2】ノイズ低減処理装置の処理例を示すフローチャートである。
【
図3】ウェーブレット係数wのbinを1/Nに削減したときの確率密度関数P(w)及び期待値E
s(w)を説明する図である。
【
図4】統計テーブルに格納されたウェーブレット係数w及び確率密度関数P(w)の例を示す図である。
【
図5】統計テーブルに格納されたウェーブレット係数w及び期待値E
s(w)の例を示す図である。
【
図7】
図6のシミュレーション結果を考察する図である。
【
図8】第1変形例のノイズ低減処理装置の構成例を示すブロック図である。
【
図9】第2変形例のノイズ低減処理装置の構成例を示すブロック図である。
【
図10】第3変形例のノイズ低減処理装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0035】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、ウェーブレット係数wの確率密度関数P(w)及びスケーリング係数sの期待値Es(w)が格納された統計テーブルを用いてウェーブレット係数wの縮退演算を行う際に、ウェーブレット係数wの取り得る値域のbin数を少なくした統計テーブルを用いて、後述する式(3)により縮退演算を行うことを特徴とする。
【0036】
これにより、統計テーブルのbin数を少なくしたため、データの不足、過剰または欠落を抑え、統計テーブルを平滑化すると共に、サイズを小さくすることができる。つまり、統計テーブルを用いた周波数成分への縮退演算を行うことで、画像に含まれるショットノイズを低減する際に、統計テーブルのスムージング化及び実装サイズの縮小化を、簡便な方法で実現することができる。
【0037】
〔ノイズ低減処理装置〕
まず、本発明の実施形態によるノイズ低減処理装置について説明する。
図1は、本発明の実施形態によるノイズ低減処理装置の構成例を示すブロック図であり、
図2は、ノイズ低減処理装置の処理例を示すフローチャートである。
【0038】
このノイズ低減処理装置1は、正規化パラメータ算出部10、ポアソン正規化部11、除算部12、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18、乗算部19及びポアソン逆正規化部20を備えている。
【0039】
ノイズ低減処理装置1は、図示しない撮像装置からイメージセンサのセンサ信号である画像(例えばグレースケール画像)を構成する画素毎の画像信号g^を入力する(ステップS201)。そして、ノイズ低減処理装置1は、ウェーブレット係数wのbinの数を少なくした画像データの度数分布表である統計テーブル16を生成し、当該統計テーブル16を用いてウェーブレット係数wの縮退演算を行い、画像信号g^に含まれるショットノイズが低減された画像信号f^を出力する。
【0040】
後述するステップS201~S208の処理は、1フレームの画像毎(フレーム毎)に行われ、当該フレームについてのウェーブレット係数wの確率密度関数P(w)及びスケーリング係数sの期待値Es(w)が統計テーブル16に格納される。また、後述するステップS201~S206,S209~S212の処理もフレーム毎に行われ、統計テーブル16に格納された1フレーム前の確率密度関数P(w)及び期待値Es(w)を用いて、ショットノイズが低減された画像信号f^が生成される。
【0041】
正規化パラメータ算出部10は、画像信号g^を入力し、画像信号g^に基づいて、画像信号g^に含まれるポアソン分布のショットノイズについての傾き及びオフセットを除去するためのポアソン正規化パラメータα,βを算出する(ステップS202)。そして、正規化パラメータ算出部10は、ポアソン正規化パラメータα,βをポアソン正規化部11及びポアソン逆正規化部20に出力する。
【0042】
正規化パラメータ算出部10による画像信号g^からポアソン正規化パラメータα,βを算出する処理は既知であるため、ここでは詳細な説明を省略する。
【0043】
ポアソン正規化部11は、画像信号g^を入力すると共に、正規化パラメータ算出部10からポアソン正規化パラメータα,βを入力する。そして、ポアソン正規化部11は、以下の式により、画像信号g^に対してポアソン分布のショットノイズについてのポアソン正規化を行い、画像信号gを求める(ステップS203)。ポアソン正規化部11は、画像信号gを除算部12に出力する。
【数2】
ポアソン正規化パラメータαは、画像信号g^に含まれるポアソン分布のショットノイズについての傾きを反映したパラメータである。また、ポアソン正規化パラメータβは、画像信号g^に含まれるポアソン分布のショットノイズについてのオフセットを反映したパラメータである。
【0044】
これにより、イメージセンサの出力特性に応じたポアソン分布のショットノイズについての特定の傾き及びオフセットを有する画像信号g^に対し、当該傾き及びオフセットの特性を除去した画像信号gが生成される。
【0045】
除算部12は、ポアソン正規化部11から画像信号gを入力し、画像信号gを予め設定された低減率Nで除算し(ステップS204)(画像信号gに1/Nを乗算し)、除算後の画像信号g/Nを離散ウェーブレット変換部13に出力する。
【0046】
ここで、予め設定された低減率Nは、1よりも大きい実数であり、統計テーブル16のサイズが当該ノイズ低減処理装置1のプロセッサの内部RAMの上限よりも下回る値とすることが好ましい。
【0047】
離散ウェーブレット変換部13は、除算部12から画像信号g/Nを入力する。そして、離散ウェーブレット変換部13は、画像信号g/Nに対し、ハール基底を用いた2次元離散ウェーブレット変換(以下、単に「2次元離散ウェーブレット変換」という。)を行い、ウェーブレット係数wi/N及びスケーリング係数si/Nを求める(ステップS205)。
【0048】
前述のとおり、iはサンプルの番号であり、画像を構成する各画素の番号に相当する。ウェーブレット係数wi/Nにおけるwi及びスケーリング係数si/Nにおけるsiは、それぞれ画像信号gに対して2次元離散ウェーブレット変換を行うことで得られるウェーブレット係数及びスケーリング係数である。尚、2次元離散ウェーブレット変換を行う際の階層は、例えばレベル1,2,3であってもよいし、レベル1であってもよい。
【0049】
離散ウェーブレット変換部13は、ウェーブレット係数wi/Nを整数化部14に出力すると共に、スケーリング係数si/Nをヒストグラム算出部15及び逆離散ウェーブレット変換部18に出力する。
【0050】
整数化部14は、離散ウェーブレット変換部13からウェーブレット係数wi/Nを入力し、ウェーブレット係数wi/Nの整数化を行う(ステップS206)。そして、整数化部14は、整数化後のウェーブレット係数wi/Nをヒストグラム算出部15及び縮退処理部17に出力する。
【0051】
例えば整数化部14は、ウェーブレット係数wi/Nの小数点以下を四捨五入することで、整数化を行う。尚、整数化部14は、ウェーブレット係数wi/Nの小数点以下を切り捨てるようにしてもよいし、切り上げるようにしてもよい。
【0052】
ヒストグラム算出部15は、ステップS206から移行して、整数化部14から整数化後のウェーブレット係数wi/Nを入力すると共に、離散ウェーブレット変換部13からスケーリング係数si/Nを入力する。
【0053】
ヒストグラム算出部15は、1フレームの画像を構成する全ての画素(全ての画像信号g^)について、整数化後のウェーブレット係数wi/Nの取り得る値域内の値毎に、当該整数化後のウェーブレット係数wi/Nの値の出現数を表すヒストグラムを算出し、総画素数で除算することで、確率密度関数P(w)を求める。また、ヒストグラム算出部15は、1フレームの画像を構成する全ての画素について、整数化後のウェーブレット係数wi/Nと同じ値に対応する(同じ値に対応するサンプル番号iの)スケーリング係数si/Nの積分値を表すヒストグラムを算出し、総画素数で除算することで、スケーリング係数の期待値Es(w)を求める(ステップS207)。
【0054】
具体的には、ヒストグラム算出部15は、整数化後のウェーブレット係数wi/Nに対応するbinの番号を特定し、当該binの番号に対応する確率密度関数P(w)の出現数である度数に1を加算する。この場合の確率密度関数P(w)におけるwは、整数化後のウェーブレット係数wi/Nである。
【0055】
また、ヒストグラム算出部15は、当該binの番号に対応する期待値Es(w)の度数にスケーリング係数si/Nを加算する。この場合の期待値Es(w)におけるwも、整数化後のウェーブレット係数wi/Nである。
【0056】
ヒストグラム算出部15は、1フレームの画像を構成する画素毎の全ての画像信号g^についての処理が完了したときに、ヒストグラムの各要素を総画素数で除算する。これにより、確率密度関数P(w)の出現数は出現確率に正規化され、期待値Es(w)の積分値は平均値(期待値)に正規化される。ヒストグラム算出部15は、そのときの確率密度関数P(w)及び期待値Es(w)を統計テーブル16に格納する(ステップS208)。
【0057】
これにより、統計テーブル16には、整数化後のウェーブレット係数wi/Nであるウェーブレット係数wと、当該ウェーブレット係数wに対応する確率密度関数P(w)とが組となって、複数の組のデータが格納される。また、統計テーブル16には、整数化後のウェーブレット係数wi/Nであるウェーブレット係数wと、当該ウェーブレット係数wに対応する期待値Es(w)とが組となって、複数の組のデータが格納される。
【0058】
本発明の実施形態では、画像信号gに対して2次元離散ウェーブレット変換を行うことで得られたウェーブレット係数wiの取り得る値域内の値毎にヒストグラム算出する場合(従来技術)に比べ、ウェーブレット係数wのbinを1/Nに削減することができる。
【0059】
図3は、ウェーブレット係数wのbinを1/Nに削減したときの確率密度関数P(w)及び期待値E
s(w)を説明する図である。(1)及び(2)は、画像信号gに対して2次元離散ウェーブレット変換を行うことで得られたウェーブレット係数w
iの取り得る値域内の値毎にヒストグラム算出した従来技術における確率密度関数P(w)及び期待値E
s(w)の例を示している。また、(3)及び(4)は、低減率N=4とした場合に、画像信号g/Nに対して2次元離散ウェーブレット変換を行うことで得られたウェーブレット係数w
i/Nの取り得る値域内の値毎にヒストグラム算出した本発明の実施形態における確率密度関数P(w)及び期待値E
s(w)の例を示している。
【0060】
(1)及び(3)において、横軸はウェーブレット係数w、縦軸は確率密度関数P(w)を示し、(2)及び(4)において、横軸はウェーブレット係数w、縦軸は期待値Es(w)を示す。
【0061】
(1)及び(2)の従来技術において、ウェーブレット係数wiであるウェーブレット係数wの取り得る値は、-1000~1000までの間の整数であり、そのbinの数は2001である。
【0062】
これに対し、(3)及び(4)の本発明の実施形態では、ウェーブレット係数wi/Nであるウェーブレット係数wの取り得る値は、-250~250までの間の整数であり、そのbinの数は501である。つまり、本発明の実施形態におけるbinの数は、従来技術よりも、約1/N=0.25倍に削減される。
【0063】
図4は、統計テーブル16に格納されたウェーブレット係数w及び確率密度関数P(w)の例を示す図であり、
図3(3)に示した例に対応している。
【0064】
図4に示すように、統計テーブル16には、整数化後のウェーブレット係数w
i/Nであるウェーブレット係数w(-250,-249,・・,0,・・,249,250)と、当該ウェーブレット係数wに対応する確率密度関数P(w)とが組となって、合計501組のデータが格納されている。これらの組のデータは、フレーム毎に格納される。
【0065】
図5は、統計テーブル16に格納されたウェーブレット係数w及び期待値E
s(w)の例を示す図であり、
図3(4)に示した例に対応している。
【0066】
図5に示すように、統計テーブル16には、整数化後のウェーブレット係数w
i/Nであるウェーブレット係数w(-250,-249,・・,0,・・,249,250)と、当該ウェーブレット係数wに対応する期待値E
s(w)とが組となって、合計501組のデータが格納されている。これらの組のデータは、フレーム毎に格納される。
【0067】
尚、
図3において、(1)及び(2)の従来技術の確率密度関数P(w)及び期待値E
s(w)は、ウェーブレット係数wに対して±Nの範囲で接線近似可能(直線的に増加または減少している)であり、また、期待値E
s(w)が1より十分大きいとみなせるものとする。この条件を満たすことで、(3)及び(4)の本発明の実施形態の確率密度関数P(w)及び期待値E
s(w)におけるbinの数は、従来技術よりも約1/N倍に削減することができる。
【0068】
すなわち、統計テーブル16に格納された確率密度関数P(w)及び期待値Es(w)が後段の縮退処理部17にて使用され、画像信号g^からショットノイズを低減できるようにするためには、画像信号gに対して2次元離散ウェーブレット変換を行うことで得られたウェーブレット係数wiの取り得る値域内の値毎にヒストグラム算出した確率密度関数P(w)及び期待値Es(w)について、独立変数となるウェーブレット係数wに対して±Nの範囲で接線近似可能であり、また、期待値Es(w)が1より十分大きいとみなせることが必要となる。
【0069】
このように、本発明の実施形態においては、画像信号gに対して2次元離散ウェーブレット変換が行われた際のウェーブレット係数wに対し、±Nの範囲で接線近似可能であり、また、期待値Es(w)が1より十分大きいとみなせることが前提となる。
【0070】
図1及び
図2に戻って、縮退処理部17は、ステップS206から移行して、整数化部14から整数化後のウェーブレット係数w
i/Nを入力する。そして、縮退処理部17は、統計テーブル16に格納された前フレームの確率密度関数P(w)及び期待値E
s(w)(当該整数化後のウェーブレット係数w
i/Nのフレームよりも1フレーム前の画像についての確率密度関数P(w)及び期待値E
s(w))を用いて、以下の式により、ウェーブレット係数w
i/Nの縮退演算を行い、ウェーブレット係数λ’
iを求める(ステップS209)。縮退処理部17は、ウェーブレット係数λ’
iを逆離散ウェーブレット変換部18に出力する。
【数3】
【0071】
具体的には、縮退処理部17は、統計テーブル16から、整数化後のウェーブレット係数wi/Nに対応する1フレーム前の確率密度関数P(w)、整数化後のウェーブレット係数wi/N+1に対応する1フレーム前の確率密度関数P(w)及び期待値Es(w)、並びに整数化後のウェーブレット係数wi/N-1に対応する1フレーム前の確率密度関数P(w)及び期待値Es(w)を読み出し、前記式(3)により、ウェーブレット係数λ’iを求める。
【0072】
ここで、前記式(3)は、以下のとおり、前記式(1)から導出することができる。
【数4】
【0073】
前記式(4)は、前述のとおり、画像信号gに対して2次元離散ウェーブレット変換を行うことで得られたウェーブレット係数wiの取り得る値域内の値毎にヒストグラム算出した確率密度関数P(w)及び期待値Es(w)について、ウェーブレット係数wに対して±Nの範囲で接線近似可能であり、また、期待値Es(w)が1より十分大きいとみなせることが前提となる。
【0074】
尚、ウェーブレット係数λ
iは、以下の式で表すことができる。
【数5】
つまり、ウェーブレット係数λ
iは、前記式(5)の右辺の第1項であるゲイン項に、第2項である縮退項を加えることで求めることができる。ウェーブレット係数λ’
iについても同様である。
【0075】
逆離散ウェーブレット変換部18は、離散ウェーブレット変換部13からスケーリング係数si/Nを入力すると共に、縮退処理部17からウェーブレット係数λ’iを入力する。そして、逆離散ウェーブレット変換部18は、ウェーブレット係数λ’i及びスケーリング係数si/Nを用いて、ハール基底を用いた2次元逆離散ウェーブレット変換(以下、単に「2次元逆離散ウェーブレット変換」という。)を行い、画像信号f/Nを求める(ステップS210)。逆離散ウェーブレット変換部18は、画像信号f/Nを乗算部19に出力する。これにより、画像信号g/Nからショットノイズが低減された画像信号f/Nが生成される。
【0076】
乗算部19は、逆離散ウェーブレット変換部18から画像信号f/Nを入力し、画像信号f/Nに予め設定された低減率Nを乗算し(ステップS211)、画像信号fをポアソン逆正規化部20に出力する。予め設定された低減率Nは、除算部12にて使用した低減率Nと同じである。これにより、画像信号gからショットノイズが低減された画像信号fが生成される。
【0077】
ポアソン逆正規化部20は、乗算部19から画像信号fを入力すると共に、正規化パラメータ算出部10からポアソン正規化パラメータα,βを入力する。そして、ポアソン逆正規化部20は、以下の式により、画像信号fに対してポアソン分布のショットノイズについてのポアソン逆正規化を行い、画像信号f^を求める(ステップS212)。ポアソン逆正規化部20は、画像信号f^を出力する。
【数6】
【0078】
これにより、イメージセンサの出力特性に応じたポアソン分布のショットノイズについての特定の傾き及びオフセットを有し、かつ画像信号g^からショットノイズが低減された画像信号f^が生成される。
【0079】
(シミュレーション結果)
次に、
図1に示した本発明の実施形態によるノイズ低減処理装置1のソフトウェアシミュレーション結果について説明する。
図6は、シミュレーション結果を説明する図である。このシミュレーション結果の撮影条件としては、4Kモノクロ及び画素サイズ1.22μmのイメージセンサを使用し、f20mm及びFn2.8のレンズを使用し、照度を550luxとした。
【0080】
図6において、(1)は、ノイズ低減処理装置1に入力される画像信号g^により構成されるチャート画像(ゲイン+18dB)を示し、(2)は、(1)のチャート画像に含まれるパッチ部のRMSノイズを測定することで得られたノイズ低減量を示している。(2)の横軸は低減率Nを示し、縦軸はノイズ低減量を示す。ノイズ低減量は、ノイズ低減処理装置1の入力信号である画像信号g^により構成される元画像のノイズを、ノイズ低減処理装置1の出力信号である画像信号f^により構成されるショットノイズ低減後の画像の残留ノイズで除算した値である。
【0081】
(2)から、例えば低減率N=2~5の範囲のノイズ低減量は、従来の低減率N=1のときのノイズ低減量よりも大きくなっており、本発明の実施形態の方が従来技術よりも、ショットノイズ低減効果が高いことがわかる。
【0082】
図7は、
図6のシミュレーション結果を考察する図である。(1)は、
図3(2)と同様に、従来技術における期待値E
s(w)の例を示している。(2)は、4タップのFIRフィルタを用いてテーブルを平滑化した場合の期待値E
s(w)の例を示している。
【0083】
(3)は、
図3(4)と同様に、低減率N=4とした場合の本発明の実施形態における期待値E
s(w)の例を示している。(1)~(3)において、横軸はウェーブレット係数w、縦軸は期待値E
s(w)を示す。
【0084】
(4)は、
図6(2)に対応しており、4タップのFIRフィルタを用いた場合のノイズ低減量を示している。横軸はFIRタップ数を示し、縦軸はノイズ低減量を示す。
【0085】
(2)から、(1)に示す期待値Es(w)のばらつき(データ不足に伴うばらつき)を平滑化することができ、(3)についても同様に平滑化できることがわかる。そして、(4)から、FIRフィルタを用いた場合に、ショットノイズを低減できることがわかる。
【0086】
この(4)に示すFIRフィルタを用いた場合のノイズ低減量は、
図6(2)に示した本発明の実施形態によるノイズ低減量と同等の特性となっている。つまり、本発明の実施形態では、統計テーブル16に格納された確率密度関数P(w)及び期待値E
s(w)のデータを例えばスムージングフィルタを用いて平滑化した場合と同等の効果を得ることができる。
【0087】
以上のように、本発明の実施形態のノイズ低減処理装置1によれば、ポアソン正規化部11は、画像信号g^に対しポアソン正規化を行って画像信号gを求め、除算部12は、画像信号gを予め設定された低減率Nで除算する。
【0088】
離散ウェーブレット変換部13は、画像信号g/Nに対して2次元離散ウェーブレット変換を行い、ウェーブレット係数wi/N及びスケーリング係数si/Nを求め、整数化部14は、ウェーブレット係数wi/Nを整数化する。
【0089】
ヒストグラム算出部15は、1フレームの画像を構成する全ての画素について、整数化後のウェーブレット係数wi/Nの取り得る値域内の値毎に、その出現数を表すヒストグラムを総画素数で除算することで、確率密度関数P(w)を求めると共に、整数化後のウェーブレット係数wi/Nと同じ値に対応するスケーリング係数si/Nの積分値を表すヒストグラムを総画素数で除算することで、スケーリング係数の期待値Es(w)を求め、確率密度関数P(w)及び期待値Es(w)を統計テーブル16に格納する。
【0090】
これにより、統計テーブル16に格納された確率密度関数P(w)及び期待値Es(w)におけるウェーブレット係数wのbin数は、従来の確率密度関数P(w)及び期待値Es(w)に比べ、1/Nに削減することができる。
【0091】
そして、縮退処理部17は、統計テーブル16に格納された1フレーム前の確率密度関数P(w)及び期待値Es(w)を用いて、前記式(3)により、ウェーブレット係数wi/Nの縮退演算を行い、ウェーブレット係数λ’iを求める。
【0092】
逆離散ウェーブレット変換部18は、ウェーブレット係数λ’i及びスケーリング係数si/Nを用いて、2次元逆離散ウェーブレット変換を行い、画像信号f/Nを求め、乗算部19は、画像信号f/Nに予め設定された低減率Nを乗算する。ポアソン逆正規化部20は、画像信号fに対しポアソン逆正規化を行って画像信号f^を求める。
【0093】
これにより、統計テーブル16のbinの数を少なくしたため、データの不足、過剰または欠落を抑え、統計テーブル16を平滑化すると共に、サイズを小さくすることができる。また、
図1に示した構成において、縮退処理部17は、縮退演算の前記式(3)により、統計テーブル16から確率密度関数P(w)及び期待値E
s(w)を読み出して四則演算を行い、除算部12は、画像信号gをNで除算する処理を行い、乗算部19は、画像信号f/NにNを乗算する処理を行うため、ショットノイズの低減効果を簡便な方法で実現することができる。
【0094】
したがって、統計テーブル16を用いた周波数成分への縮退演算を行うことで、画像に含まれるショットノイズを低減する際に、統計テーブル16のスムージング化及び実装サイズの縮小化を、簡便な方法で実現することができる。
【0095】
このように、ルックアップテーブルを用いた周波数成分への縮退演算を行う画像に含まれるショットノイズを低減する際に、ルックアップテーブルの平滑化によるノイズ低減効果の改善と、binの削減による実装サイズの縮小を両立することが可能となる。そして、実時間処理及び低遅延で、かつ外部のRAMを用いる必要のない小型で低消費電力にてショットノイズの低減を実現することができる。
【0096】
〔第1変形例〕
次に、第1変形例のノイズ低減処理装置について説明する。
図8は、第1変形例のノイズ低減処理装置の構成例を示すブロック図である。
【0097】
このノイズ低減処理装置2は、正規化パラメータ算出部10、ポアソン正規化部11、除算部12、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、乗算部21,22、逆離散ウェーブレット変換部18及びポアソン逆正規化部20を備えている。
【0098】
図1に示したノイズ低減処理装置1とこのノイズ低減処理装置2とを比較すると、両ノイズ低減処理装置1,2は、正規化パラメータ算出部10、ポアソン正規化部11、除算部12、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18及びポアソン逆正規化部20を備えている点で共通する。
【0099】
一方、ノイズ低減処理装置2は、乗算部21,22を備え、ノイズ低減処理装置1の乗算部19を備えていない点でノイズ低減処理装置1と相違する。
図8において、
図1と共通する部分には
図1と同一の符号を付し、その詳しい説明は省略する。
【0100】
離散ウェーブレット変換部13は、スケーリング係数si/Nをヒストグラム算出部15及び乗算部22に出力する。また、縮退処理部17は、ウェーブレット係数λ’iを乗算部21に出力する。
【0101】
乗算部21は、縮退処理部17からウェーブレット係数λ’iを入力し、ウェーブレット係数λ’iに予め設定された低減率Nを乗算し、ウェーブレット係数λi(=N×λ’i)を逆離散ウェーブレット変換部18に出力する。予め設定された低減率Nは、除算部12にて使用した低減率Nと同じである。
【0102】
乗算部22は、離散ウェーブレット変換部13からスケーリング係数si/Nを入力し、スケーリング係数si/Nに予め設定された低減率Nを乗算し、スケーリング係数siを逆離散ウェーブレット変換部18に出力する。予め設定された低減率Nは、除算部12にて使用した低減率Nと同じである。
【0103】
逆離散ウェーブレット変換部18は、乗算部21からウェーブレット係数λiを入力すると共に、乗算部22からスケーリング係数siを入力する。そして、逆離散ウェーブレット変換部18は、ウェーブレット係数λi及びスケーリング係数siを用いて、2次元逆離散ウェーブレット変換を行い、画像信号fを求め、画像信号fをポアソン逆正規化部20に出力する。これにより、画像信号gからショットノイズが低減された画像信号fが生成される。
【0104】
ポアソン逆正規化部20は、逆離散ウェーブレット変換部18から画像信号fを入力し、前述と同様のポアソン逆正規化を行い、画像信号f^を求めて出力する。
【0105】
以上のように、第1変形例のノイズ低減処理装置2によれば、ノイズ低減処理装置1の逆離散ウェーブレット変換部18の後段に備えた乗算部19の代わりに、逆離散ウェーブレット変換部18の前段に乗算部21,22を備えるようにした。
【0106】
これにより、ノイズ低減処理装置1と同様の効果を奏し、統計テーブル16を用いた周波数成分への縮退演算を行うことで、画像に含まれるショットノイズを低減する際に、統計テーブル16のスムージング化及び実装サイズの縮小化を、簡便な方法で実現することができる。
【0107】
〔第2変形例〕
次に、第2変形例のノイズ低減処理装置について説明する。
図9は、第2変形例のノイズ低減処理装置の構成例を示すブロック図である。
【0108】
このノイズ低減処理装置3は、正規化パラメータ算出部10、ポアソン正規化部11、離散ウェーブレット変換部13、除算部23,24、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、乗算部25、逆離散ウェーブレット変換部18及びポアソン逆正規化部20を備えている。
【0109】
図1に示したノイズ低減処理装置1とこのノイズ低減処理装置3とを比較すると、両ノイズ低減処理装置1,3は、正規化パラメータ算出部10、ポアソン正規化部11、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18及びポアソン逆正規化部20を備えている点で共通する。
【0110】
一方、ノイズ低減処理装置3は、除算部23,24及び乗算部25を備え、ノイズ低減処理装置1の除算部12及び乗算部19を備えていない点でノイズ低減処理装置1と相違する。
図9において、
図1と共通する部分には
図1と同一の符号を付し、その詳しい説明は省略する。
【0111】
ポアソン正規化部11は、画像信号gを離散ウェーブレット変換部13に出力する。離散ウェーブレット変換部13は、ポアソン正規化部11から画像信号gを入力し、画像信号gに対して2次元離散ウェーブレット変換を行い、ウェーブレット係数wi及びスケーリング係数siを求める。そして、離散ウェーブレット変換部13は、ウェーブレット係数wiを除算部23に出力し、スケーリング係数siを逆離散ウェーブレット変換部18及び除算部24に出力する。
【0112】
除算部23は、離散ウェーブレット変換部13からウェーブレット係数wiを入力し、ウェーブレット係数wiを予め設定された低減率Nで除算し、ウェーブレット係数wi/Nを整数化部14に出力する。
【0113】
除算部24は、離散ウェーブレット変換部13からスケーリング係数siを入力し、スケーリング係数siを予め設定された低減率Nで除算し、スケーリング係数si/Nをヒストグラム算出部15に出力する。予め設定された低減率Nは、除算部23にて使用した低減率Nと同じである。
【0114】
縮退処理部17は、ウェーブレット係数λ’iを乗算部25に出力する。乗算部25は縮退処理部17からウェーブレット係数λ’iを入力し、ウェーブレット係数λ’iに予め設定された低減率Nを乗算し、ウェーブレット係数λi(N×λ’i)を逆離散ウェーブレット変換部18に出力する。予め設定された低減率Nは、除算部23にて使用した低減率Nと同じである。
【0115】
逆離散ウェーブレット変換部18は、乗算部25からウェーブレット係数λiを入力すると共に、離散ウェーブレット変換部13からスケーリング係数siを入力する。そして、逆離散ウェーブレット変換部18は、ウェーブレット係数λi及びスケーリング係数siを用いて、2次元逆離散ウェーブレット変換を行い、画像信号fを求め、画像信号fをポアソン逆正規化部20に出力する。
【0116】
以上のように、第2変形例のノイズ低減処理装置3によれば、ノイズ低減処理装置1の離散ウェーブレット変換部13の前段に備えた除算部12の代わりに、離散ウェーブレット変換部13の後段に除算部23,24を備えるようにした。また、ノイズ低減処理装置1の逆離散ウェーブレット変換部18の後段に備えた乗算部19の代わりに、逆離散ウェーブレット変換部18の前段に乗算部25を備えるようにした。
【0117】
これにより、ノイズ低減処理装置1と同様の効果を奏し、統計テーブル16を用いた周波数成分への縮退演算を行うことで、画像に含まれるショットノイズを低減する際に、統計テーブル16のスムージング化及び実装サイズの縮小化を、簡便な方法で実現することができる。
【0118】
〔第3変形例〕
次に、第3変形例のノイズ低減処理装置について説明する。
図10は、第3変形例のノイズ低減処理装置の構成例を示すブロック図である。
【0119】
このノイズ低減処理装置4は、正規化パラメータ算出部10、ポアソン正規化部11、離散ウェーブレット変換部13、除算部26,27、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18、乗算部19及びポアソン逆正規化部20を備えている。
【0120】
図1に示したノイズ低減処理装置1とこのノイズ低減処理装置4とを比較すると、両ノイズ低減処理装置1,4は、正規化パラメータ算出部10、ポアソン正規化部11、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18、乗算部19及びポアソン逆正規化部20を備えている点で共通する。
【0121】
一方、ノイズ低減処理装置4は、除算部26,27を備え、ノイズ低減処理装置1の除算部12を備えていない点でノイズ低減処理装置1と相違する。
図10において、
図1と共通する部分には
図1と同一の符号を付し、その詳しい説明は省略する。
【0122】
ポアソン正規化部11は、画像信号gを離散ウェーブレット変換部13に出力する。離散ウェーブレット変換部13は、ポアソン正規化部11から画像信号gを入力し、画像信号gに対して2次元離散ウェーブレット変換を行い、ウェーブレット係数wi及びスケーリング係数siを求める。そして、離散ウェーブレット変換部13は、ウェーブレット係数wiを除算部26に出力し、スケーリング係数siを除算部27に出力する。
【0123】
除算部26は、離散ウェーブレット変換部13からウェーブレット係数wiを入力し、ウェーブレット係数wiを予め設定された低減率Nで除算し、ウェーブレット係数wi/Nを整数化部14に出力する。
【0124】
除算部27は、離散ウェーブレット変換部13からスケーリング係数siを入力し、スケーリング係数siを予め設定された低減率Nで除算し、スケーリング係数si/Nをヒストグラム算出部15及び逆離散ウェーブレット変換部18に出力する。予め設定された低減率Nは、除算部26にて使用した低減率Nと同じである。
【0125】
以上のように、第3変形例のノイズ低減処理装置4によれば、ノイズ低減処理装置1の離散ウェーブレット変換部13の前段に備えた除算部12の代わりに、離散ウェーブレット変換部13の後段に除算部26,27を備えるようにした。
【0126】
これにより、ノイズ低減処理装置1と同様の効果を奏し、統計テーブル16を用いた周波数成分への縮退演算を行うことで、画像に含まれるショットノイズを低減する際に、統計テーブル16のスムージング化及び実装サイズの縮小化を、簡便な方法で実現することができる。
【0127】
以上、実施形態、第1変形例、第2変形例及び第3変形例を挙げて本発明を説明したが、本発明は前記実施形態等に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0128】
例えば
図1に示したノイズ低減処理装置1は、除算部12及び乗算部19を備えるようにしたが、除算部12及び乗算部19を除いて構成するようにしてもよい。つまり、ノイズ低減処理装置1は、正規化パラメータ算出部10、ポアソン正規化部11、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18及びポアソン逆正規化部20を備えて構成されることとなる。
【0129】
この場合、ポアソン正規化部11は、正規化パラメータ算出部10から入力したポアソン正規化パラメータαに予め設定された低減率Nを乗算する。そして、ポアソン正規化部11は、画像信号g^、ポアソン正規化パラメータβ及び乗算後のポアソン正規化パラメータNαを用いて、以下の式により、画像信号g^に対してポアソン正規化を行い、画像信号g’(=g/N)を求める。
【数7】
【0130】
そして、離散ウェーブレット変換部13は、ポアソン正規化部11から画像信号g’を入力し、前述と同様の処理を行う。
【0131】
また、ポアソン逆正規化部20は、逆離散ウェーブレット変換部18から画像信号f’(=f/N)を入力すると共に、正規化パラメータ算出部10からポアソン正規化パラメータαを入力し、ポアソン正規化パラメータαに予め設定された低減率Nを乗算する。そして、ポアソン逆正規化部20は、画像信号f’、ポアソン正規化パラメータβ及び乗算後のポアソン正規化パラメータNαを用いて、以下の式により、逆離散ウェーブレット変換部18から入力した画像信号f’に対してポアソン逆正規化を行い、画像信号f^を求める。
【数8】
【0132】
尚、逆離散ウェーブレット変換部18は、前述と同様の処理を行い、画像信号f’(=f/N)を出力するものとする。
【0133】
これにより、統計テーブル16を用いた周波数成分への縮退演算を行うことで、画像に含まれるショットノイズを低減する際に、統計テーブル16のスムージング化及び実装サイズの縮小化を、一層簡便な方法で実現することができる。
【0134】
同様に、
図8に示したノイズ低減処理装置2については、除算部12及び乗算部21,22を除いて構成してもよく、
図9に示したノイズ低減処理装置3については、除算部23,24及び乗算部25を除いて構成してもよい。また、
図10に示したノイズ低減処理装置4については、除算部26,27及び乗算部19を除いて構成してもよい。
【0135】
つまり、ノイズ低減処理装置2,3,4は、前述の除算部12及び乗算部19を備えていないノイズ低減処理装置1と同様に、正規化パラメータ算出部10、ポアソン正規化部11、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18及びポアソン逆正規化部20を備えて構成されることとなる。いずれの場合も、ポアソン正規化部11及びポアソン逆正規化部20のそれぞれは、ポアソン正規化パラメータαに低減率Nを乗算して前述の処理を行う。
【0136】
また、前記実施形態等において、
図1に示したノイズ低減処理装置1は、正規化パラメータ算出部10、ポアソン正規化部11及びポアソン逆正規化部20を備えるようにしたが、正規化パラメータ算出部10、ポアソン正規化部11及びポアソン逆正規化部20を除いて構成するようにしてもよい。つまり、ノイズ低減処理装置1は、除算部12、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18及び乗算部19を備えて構成されることとなる。この場合、ノイズ低減処理装置1(除算部12)が入力する画像信号g^=gは、ポアソン正規化が行われた信号であるものとする。
【0137】
図8に示したノイズ低減処理装置2、
図9に示したノイズ低減処理装置3及び
図10に示したノイズ低減処理装置4についても、正規化パラメータ算出部10、ポアソン正規化部11及びポアソン逆正規化部20を除いて構成するようにしてもよい。
【0138】
つまり、ノイズ低減処理装置2は、除算部12、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、乗算部21,22及び逆離散ウェーブレット変換部18を備えて構成されることとなる。また、ノイズ低減処理装置3は、離散ウェーブレット変換部13、除算部23,24、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、乗算部25及び逆離散ウェーブレット変換部18を備えて構成されることとなる。また、ノイズ低減処理装置4は、離散ウェーブレット変換部13、除算部26,27、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18及び乗算部19を備えて構成されることとなる。
【0139】
いずれの場合も、ノイズ低減処理装置2,3,4(ノイズ低減処理装置2の除算部12、ノイズ低減処理装置3,4の離散ウェーブレット変換部13)が入力する画像信号g^=gは、ポアソン正規化が行われた信号であるものとする。
【0140】
また、前記実施形態等において、ノイズ低減処理装置1,2,3,4の縮退処理部17は、当該整数化後のウェーブレット係数wi/Nに対応するフレームよりも1フレーム前の画像についての確率密度関数P(w)及び期待値Es(w)を用いて、ウェーブレット係数wi/Nの縮退演算を行うようにした。
【0141】
これに対し、縮退処理部17は、当該整数化後のウェーブレット係数wi/Nに対応するフレームよりも前の所定数(2以上の整数)のフレーム(例えば直前の所定数のフレーム)の画像についての確率密度関数P(w)及び期待値Es(w)を読み出してそれぞれ平均値を求め、整数化後のウェーブレット係数wi/N、並びに確率密度関数P(w)の平均値及び期待値Es(w)の平均値を用いて、ウェーブレット係数wi/Nの縮退演算を行うようにしてもよい。
【0142】
また、前記実施形態等において、ノイズ低減処理装置1,2,3,4は、例えばグレースケール画像を構成する画素毎の画像信号g^を入力するようにした。本発明は、グレースケール画像だけでなく、カラー画像にも適用がある。この場合、ノイズ低減処理装置1,2,3,4は、RGBの各成分に対して前述の処理を行う。また、本発明は、輝度式差成分の画像にも適用があり、ノイズ低減処理装置1,2,3,4は、輝度式差成分に分解した各成分に対して前述の処理を行う。
【0143】
尚、本発明の実施形態によるノイズ低減処理装置1、並びに第1変形例、第2変形例及び第3変形例によるノイズ低減処理装置2,3,4のハードウェア構成としては、通常のコンピュータを使用することができる。ノイズ低減処理装置1,2,3,4は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0144】
ノイズ低減処理装置1に備えた正規化パラメータ算出部10、ポアソン正規化部11、除算部12、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18、乗算部19及びポアソン逆正規化部20の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0145】
ノイズ低減処理装置2に備えた正規化パラメータ算出部10、ポアソン正規化部11、除算部12、離散ウェーブレット変換部13、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、乗算部21,22、逆離散ウェーブレット変換部18及びポアソン逆正規化部20の各機能についても同様である。
【0146】
また、ノイズ低減処理装置3に備えた正規化パラメータ算出部10、ポアソン正規化部11、離散ウェーブレット変換部13、除算部23,24、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、乗算部25、逆離散ウェーブレット変換部18及びポアソン逆正規化部20の各機能についても同様である。
【0147】
また、ノイズ低減処理装置4に備えた正規化パラメータ算出部10、ポアソン正規化部11、離散ウェーブレット変換部13、除算部26,27、整数化部14、ヒストグラム算出部15、統計テーブル16、縮退処理部17、逆離散ウェーブレット変換部18、乗算部19及びポアソン逆正規化部20の各機能についても同様である。
【0148】
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0149】
1,2,3,4 ノイズ低減処理装置
10 正規化パラメータ算出部
11 ポアソン正規化部
12,23,24,26,27 除算部
13 離散ウェーブレット変換部
14 整数化部
15 ヒストグラム算出部
16 統計テーブル
17 縮退処理部
18 逆離散ウェーブレット変換部
19,21,22,25 乗算部
20 ポアソン逆正規化部
g^,g,g/N,g’,f,f/N,f^,f’ 画像信号
w,wi,wi/N,λ’i,λi ウェーブレット係数
s,si,si/N スケーリング係数
N 低減率
P(w) ウェーブレット係数の確率密度関数
Es(w) スケーリング係数の期待値