特許 7409606 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/213 20060101AFI20231226BHJP

   G06T 5/70 20240101ALI20231226BHJP

【ＦＩ】

H04N5/213

G06T5/00 705

【請求項の数】 10

(21)【出願番号】P 2020022178

(22)【出願日】2020-02-13

(65)【公開番号】P2021129190

(43)【公開日】2021-09-02

【審査請求日】2023-02-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】高田 洋佑

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０１９－１０１６８６（ＪＰ，Ａ）

【文献】特開２０１７－０４１７３２（ＪＰ，Ａ）

【文献】特開２０１８－１８５５８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２１３

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

画像のノイズを低減する画像処理装置であって、
前記画像中に複数のパッチを設定する設定手段と、
前記複数のパッチから基準パッチを算出する第１の算出手段と、
前記複数のパッチと前記基準パッチとから共分散行列を算出する第２の算出手段と、
前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第１の補正を行い第１の補正画素を取得する第１の補正手段と、
前記第１の補正画素に異常があるか否か判定する判定手段と、
前記判定手段で異常があると判定された前記第１の補正画素の位置の画素に対して、前記第１の補正と異なる第２の補正を行い、第２の補正画素を取得する第２の補正手段と、
前記第１の補正画素もしくは前記第２の補正画素で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。

【請求項2】

前記第１の算出手段は、前記複数のパッチの平均により前記基準パッチを算出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１の算出手段は、類似度に基づき、前記複数のパッチから選定された複数のパッチの平均により前記基準パッチを算出することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記判定手段は、前記複数のパッチに含まれる画素と前記第１の補正画素との差分が所定の閾値よりも大きい場合に、前記第１の補正画素に異常があると判定することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記所定の閾値は、画素毎に異なる値であり、前記基準パッチとノイズ量とに基づき算出されることを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記第２の補正手段は、前記判定手段で異常があると判定された前記第１の補正画素が含まれるパッチ内における前記第１の補正前の画素の平均値を前記第２の補正画素とすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記第２の補正手段は、前記判定手段で異常があると判定された前記第１の補正画素が含まれるパッチにおける前記第１の補正前の画素にローパスフィルタを適用し、前記第２の補正画素を取得することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項8】

前記第２の補正手段は、前記判定手段で異常があると判定された前記第１の補正画素の位置の画素を、前記第２の補正画素で置換することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

画像のノイズを低減する画像処理方法であって、
設定手段が、前記画像中に複数のパッチを設定する設定工程と、
第１の算出手段が、前記複数のパッチから基準パッチを算出する第１の算出工程と、
第２の算出手段が、前記複数のパッチと前記基準パッチとから共分散行列を算出する第２の算出工程と、
第１の補正手段が、前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第１の補正を行い第１の補正画素を取得する第１の補正手段と、
判定手段が、前記第１の補正画素に異常があるか否か判定する判定工程と、
第２の補正手段が、前記判定工程で異常があると判定された前記第１の補正画素の位置の画素に対して、前記第１の補正と異なる第２の補正を行い、第２の補正画素を取得する第２の補正工程と、
生成手段が、前記第１の補正画素もしくは前記第２の補正画素で出力画像を生成する生成工程と、を有することを特徴とする画像処理方法。

【請求項10】

コンピュータを、
画像のノイズを低減する画像処理装置であって、
前記画像中に複数のパッチを設定する設定手段と、
前記複数のパッチから基準パッチを算出する第１の算出手段と、
前記複数のパッチと前記基準パッチとから共分散行列を算出する第２の算出手段と、
前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第１の補正を行い第１の補正画素を取得する第１の補正手段と、
前記第１の補正画素に異常があるか否か判定する判定手段と、
前記判定手段で異常があると判定された前記第１の補正画素の位置の画素に対して、前記第１の補正と異なる第２の補正を行い、第２の補正画素を取得する第２の補正手段と、
前記第１の補正画素もしくは前記第２の補正画素で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像のノイズ低減を行う画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、カメラで撮影した画像に含まれるノイズを抑制するため、画像中の複数画素からなるパッチに着目し、パッチベースでノイズを低減する技術が知られている。非特許文献１に記載された処理は、撮影画像中の複数のパッチからなるパッチ集合を選び出してその平均と共分散行列で表されるパッチの確率モデルを生成し、パッチ集合を構成するパッチ各々に対して最大事後確率法に基づいたノイズ低減処理を行う。そして、ノイズ低減処理されたパッチを用い出力画像を生成する。この時、前記共分散行列の逆行列である逆共分散行列を算出し、これに基づいてノイズ低減処理後の画素値を決定する。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ “Ｎｏｎ－Ｌｏｃａｌ Ｂａｙｅｓ” （ＮＬ－Ｂａｙｅｓ） Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ Ａｌｇｏｒｉｔｈｍ。 Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｏｎ Ｌｉｎｅ， ３ （２０１３）， ｐｐ． １－４２．

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、ノイズ低減処理後のパッチ内の画素の値が異常値になる場合があり、結果として出力画像が破綻する可能性があった。

【0005】

本発明は、上記課題を鑑みてなされたものであり、ノイズ低減処理後の出力画像の破綻を抑制することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、画像のノイズを低減する画像処理装置であって、前記画像中に複数のパッチを設定する設定手段と、前記複数のパッチから基準パッチを算出する第１の算出手段と、前記複数のパッチと前記基準パッチとから共分散行列を算出する第２の算出手段と、前記共分散行列を用いて、前記複数のパッチに含まれる画素に対して第１の補正を行い第１の補正画素を取得する第１の補正手段と、前記第１の補正画素に異常があるか否か判定する判定手段と、前記判定手段で異常があると判定された前記第１の補正画素の位置の画素に対して、前記第１の補正と異なる第２の補正を行い、第２の補正画素を取得する第２の補正手段と、
前記第１の補正画素もしくは前記第２の補正画素で出力画像を生成する生成手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、ノイズ低減処理後の出力画像の破綻を抑制することが出来る。

【図面の簡単な説明】

【0008】

【図1】実施形態１のハードウェア構成

【図2】実施形態１の画像処理のブロック図

【図3】実施形態１の画像処理のフローチャート

【図4】実施形態１の第１の補正処理のフローチャート

【図5】実施形態１の異常判定処理のフローチャート

【図6】実施形態２の画像処理のブロック図

【図7】実施形態２の画像処理のフローチャート

【発明を実施するための形態】

【0009】

（実施形態１）
本実施形態では、パッチベースのノイズ低減処理において共分散行列を用いた補正の異常を判定して、異常である場合に出力画像の破綻を回避する方法を説明する。図１は、本実施形態に係るハードウェア構成を示すブロック図である。図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。汎用Ｉ／Ｆは、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続する。

【0010】

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

【0011】

まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算される。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３または外部メモリ１０７に格納したりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

【0012】

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。ここで、パッチベースのノイズ低減処理の概要について説明する。入力画像データの一部を切りだした部分画像をパッチと呼ぶ。着目パッチ近傍の所定の参照領域に存在する複数のパッチを参照パッチとし、着目パッチに対応したノイズ低減処理をする際に参照する。パッチベースのノイズ低減処理では、参照パッチのうち、着目パッチの画素値分布と類似したパッチを類似パッチとして検出し、それらをパッチ集合とする。なお、複数の参照パッチの中には着目パッチ自身が含まれていても構わない。パッチ集合に基づいて、各類似パッチに対してノイズ低減処理を実行する。ノイズを低減した類似パッチを集約（Ａｇｇｒｅｇａｔｉｏｎ）することにより、入力画像データに対してノイズ低減処理した画像を生成する。

【0013】

図２は、本実施形態にかかる画像処理のブロック図である。画像入力部２０１は、入力画像データを取得する。着目パッチ設定部２０２は、入力画像データから所定の形状の部分画像を切り出し着目パッチとする。本実施形態では、所定の形状を６画素×６画素の正方形とする。類似パッチ検出部２０３は、着目パッチ近傍の所定の参照領域に存在する複数のパッチを参照パッチとして設定し、参照パッチの内で着目パッチに類似するものを類似パッチとして検出する。各参照パッチは着目パッチと同一の形状である。また、本実施形態では類似パッチの中に着目パッチを含むものとする。基準パッチ算出部２０４は、複数の類似パッチに基づいて基準パッチを算出する。ノイズ量パッチ算出部２０５は、基準パッチを用いてノイズ量パッチを算出する。共分散行列算出部２０６は、複数の類似パッチに基づいて共分散行列を算出する。第１の補正部２０７は、共分散行列を用いて複数の類似パッチに含まれる画素を補正する。

【0014】

異常判定部２０８は、複数の類似パッチ各々に対して、補正済の補正画素毎に異常であるか否（正常である）かを判定する。第２の補正部２０９は、異常判定部２０８で異常と判定された画素があった場合に、第１の補正前のパッチにおける同座標の画素に対して、第１の補正とは異なる補正を行う。パッチ修正部２１０は、第２の補正による結果を用いて複数の第１の補正結果を修正する。

【0015】

パッチ集約部２１１は、補正された複数の類似パッチを集約（Ａｇｇｒｅｇａｔｉｏｎ）して、ノイズ低減された出力画像を生成する。パッチベースのノイズ低減処理において、複数の類似パッチの補正前後の変化から補正後のパッチの異常を画素毎に判定する異常判定部を持ち、異常である画素がある場合は別の補正を行ってパッチを修正する点が本発明の特徴である。本実施形態では、２つの異なる補正処理部を持ち、異常判定部の判定結果に応じて２つの補正処理部による補正結果を選択して用いる構成を説明する。本実施形態では、処理対象パッチについて、第１の補正結果が異常であると判定された場合にのみ、第２の補正部２０９が当該パッチを補正する構成について説明する。

【0016】

図３は、本実施形態にかかる画像処理のフローチャートである。

【0017】

ステップＳ３０１で画像入力部２０１は、入力画像データを取得する。また、集約用画像データをゼロで初期化する。集約用画像データは分母画像データと分子画像データからなり、いずれも入力画像データと同じ画素数である。ステップＳ３０２で着目パッチ設定部２０２は、着目パッチを１つ設定する。一般に１つの入力画像データに対して複数のパッチを着目パッチとして設定することができる。本ステップ以降の処理は、設定する着目パッチの位置を変えて繰り返し実行される。その際、すべてのパッチを１回ずつ着目パッチとして設定するように制御してもよいし、一部のパッチのみを着目パッチとして設定するように制御してもよい。本実施形態では、左上からラスタ順に全てのパッチを着目パッチとして設定する。前述の通り、本実施形態では入力画像データから６画素×６画素の正方形の部分画像を切り出し着目パッチとする。つまり着目パッチは３６画素からなる。以下では、着目パッチを、３６画素を縦に並べた列ベクトルＴで表す。一般に着目パッチがＭ画素からなる場合、着目パッチを、Ｍ画素を縦に並べた列ベクトルＴで表す。

【0018】

ステップＳ３０３で類似パッチ検出部２０３は、類似パッチを検出する。まず、着目パッチＴ近傍の所定の参照領域に存在する複数のパッチを参照パッチとして設定する。各参照パッチの形状は、着目パッチＴの形状と一致する。以下では、ｉ番目の参照パッチを、Ｍ画素を縦に並べた列ベクトルＲ＿ｉで表す。次に、複数の参照パッチそれぞれについて、着目パッチＴとの類似度を算出する。類似度は、参照パッチと着目パッチＴの、各画素の差分二乗和（ＳＳＤ）により算出される。具体的には、ｉ番目の参照パッチＲ＿ｉの類似度ＳＳＤ＿ｉは以下の式（１）で算出される。

【0019】

【数1】

【0020】

ここで、ベクトルＴのｊ番目の成分（画素値）をＴ（ｊ）で表している。この算出方法から明らかなように、類似度ＳＳＤ＿ｉの値が小さいほど、参照パッチＲ＿ｉが着目パッチＴに類似していることを意味する。さらに、複数の参照パッチの内から、類似度に基づいて一部のパッチを類似パッチとして検出する。本実施形態では、予め定める閾値ｔｈ１より類似度が小さいパッチを類似パッチとして検出する。ここで検出された類似パッチの個数をＮとし、ｉ番目の類似パッチをＰ＿ｉで表す。本実施形態では着目パッチが３６画素から成るため、類似パッチの個数は最低限３７個必要である。最低限の個数を検出できなかった場合には、閾値ｔｈ１を大きくして再度類似パッチを検出する。

【0021】

ステップＳ３０４で基準パッチ算出部２０４は、複数の類似パッチに基づいて基準パッチＱを以下の式（２）で算出する。

【0022】

【数2】

【0023】

ステップＳ３０５でノイズ量パッチ算出部２０５は、基準パッチＱを用いてパッチ内の画素（ｊ）毎のノイズ量を示すノイズ量パッチＶを以下の式（３）で算出する。

【0024】

【数3】

【0025】

ここで、ｋは定数、Ｖ＿０は基準パッチＱと同じ形状のベクトルであり、いずれも予め定めて保存しておく。

【0026】

ステップＳ３０６で共分散行列算出部２０６は、複数の類似パッチに基づいて共分散行列を算出する。ステップＳ３０４で算出した基準パッチＱを用いて、共分散行列Ｃを以下の式（４）で算出する。

【0027】

【数4】

【0028】

ここでは、パッチを表すベクトルを行列とみなし、行列としての演算を行う。ｔは行列の転置である。

【0029】

ステップＳ３０７で、第１の補正部２０７は、複数の類似パッチに対して第１の補正処理を行う。以下、第１の補正処理の詳細について説明する。図４は第１の補正処理のフローチャートである。各ステップは全て第１の補正部２０７が行う。以下では、第１の補正を行う前の類似パッチを第１補正前パッチ、第１の補正を行った後の類似パッチを第１補正後パッチと表す。

【0030】

ステップＳ４０１で、ステップＳ３０６で算出した共分散行列Ｃの逆行列である逆共分散行列Ｃ＾－１を算出する。

【0031】

ステップＳ４０２で、補正行列Ｈを以下の式（５）で算出する。

【0032】

【数5】

【0033】

ここでｄｉａｇ（Ｖ）は主対角上にベクトルＶの要素をもつ正方対角行列を表す。

【0034】

ステップＳ４０３で、複数の類似パッチそれぞれＰ＿ｉに対応する補正済みパッチＯ＿ｉを以下の式（６）で算出する。

【0035】

【数6】

【0036】

以上が第１の補正処理の詳細である。

【0037】

続いて、メインの画像処理フローに戻り、ステップＳ３０８で、異常判定部２０８は、第１補正後パッチに対して異常判定を行う。以下、異常判定処理について詳細を説明する。図５は異常判定のフローチャートである。各ステップは全て異常判定部２０８が行う。

【0038】

ステップＳ５０１で、異常判定結果を記憶する判定データを初期化する。判定データには、全処理対象パッチについて正常（＝「０」）か異常（＝「１」）かを判定した結果と、全処理対象パッチの画素位置が記憶される。

【0039】

ステップＳ５０２で、第１補正前パッチと第１補正後パッチの中から処理対象パッチをそれぞれ１つ選択する。第１補正前パッチから選択したパッチを処理対象パッチＩ、第１補正後パッチから選択したパッチを処理対象パッチＩ’とする。さらに、選択する両パッチは画素位置が一致するものとする。

【0040】

ステップＳ５０３で、処理対象パッチＩと処理対象パッチＩ’から同座標の画素をそれぞれ１つ選択する選択した画素を順にＩ＿ｊ、Ｉ’＿ｊとする。

【0041】

ステップＳ５０４で、異常な画素であるか否かの判定を行うための閾値ｔｈ２を決定する。閾値ｔｈ２は、ノイズ量パッチＶと予め定めた係数ｍ（本実施形態ではｍ＝５）を用いて画素（ｊ）毎に以下の式（７）で算出される。

【0042】

【数7】

【0043】

ステップＳ５０５で、画素Ｉ＿ｊ、Ｉ’＿ｊの差分絶対値と閾値ｔｈ２＿ｊを比較する。差分絶対値が閾値ｔｈ２＿ｊ以上である場合にＳ５０６に進み、そうでない場合にＳ５０７に進む。

【0044】

ステップＳ５０６で、ステップＳ５０５で異常と判定された画素（以後、異常画素）の画素位置を記録する。

【0045】

ステップＳ５０７で、処理対象パッチ内の全画素が選択済みであるか否かを判定する。処理対象パッチ内の全画素が選択済みである場合はステップＳ５０８に進み、そうでない場合はＳ５０３に進む。

【0046】

ステップＳ５０８で、全ての処理対象パッチが処理済みであるか否かを判定する。全ての処理対象パッチが処理済みである場合は第１の異常判定処理を終了し、そうでない場合はＳ５０２に進む。以上が異常判定処理の詳細である。

【0047】

再びメインの画像処理フローに戻り、ステップＳ３０９で、異常判定部２０８は、ステップＳ３０８の異常判定処理の結果に基づき、全ての第１補正後パッチについて異常画素があるか否かを判定する。第１補正後パッチに異常画素があると判定された場合は、ステップＳ３１０へ進み、異常画素が無いと判定された場合は、ステップＳ３１２に進む。

【0048】

ステップＳ３１０で、第２の補正部２０９は、第１補正前パッチについて、異常画素と同座標の画素（以後、補正対象画素）に対して第２の補正を行う。第２の補正は、第１の補正とは異なる処理であり、本実施形態では、補正対象画素とその周辺画素に対して平均値フィルタを適用する。

【0049】

ステップＳ３１１で、パッチ修正部２１０は、第２の補正結果を用いて第１補正後パッチを修正する。具体的には、第１補正後パッチの異常画素を第２の補正結果の同座標の画素に置換する。

【0050】

ステップＳ３１２において、全ての着目パッチが処理済みであるか否かを判定する。全ての着目パッチが処理済みである場合にＳ３１３に進み、そうでない場合にＳ３０２に進む。

【0051】

ステップＳ３１３で、パッチ集約部２１１は、第１あるいは第２の補正が成された複数の補正済みパッチに基づき集約用画像データを編集する。前述の通り、集約用画像データは分母画像データと分子画像データからなる。複数の補正済みパッチＯ＿ｉそれぞれについて、全画素の値を分子用画像データの対応する位置に加算する。この位置は、入力画像データにおいて各画素が存在した位置である。また、分母用画像における同じ位置に１を加算する。

【0052】

以上が本実施形態の画像処理のフローである。

【0053】

以上の処理により、共分散行列を用いたパッチベースのノイズ低減処理において、ノイズ低減後に異常が生じた場合でも当該異常を修正し、好適な出力画像を得ることができる。

【0054】

なお、本実施形態の処理は、各種の形式の画像データに適用できる。例えばモノクロ画像に対して適用できるし、複数の色成分からなるカラー画像にも適用できるし、Ｂａｙｅｒ配列の画像にも適用できる。

【0055】

また、参照パッチと着目パッチＴの類似度を、各画素の差分二乗和（ＳＳＤ）により算出したが、他の方法で算出してもよい。例えば、各画素の差分絶対値和（ＳＡＤ）で算出してもよいし、各画素の差分の絶対値の最大値、最小値、平均値、中央値などを用いてもよい。

【0056】

また、第２の補正として、第１補正前パッチに平均値フィルタを適用する例について述べたが、他の方法で補正してもよい。例えば、第１補正前パッチにガウシアンフィルタのようなノイズを低減可能なローパスフィルタを適用してもよい。他に、第１補正前パッチに対して、異常と判定された画素のみ補正を行わず、補正前の値をそのまま出力してもよいし、パッチ内の数画素から算出した平均画素値を出力してもよい。

【0057】

また、基準パッチを、複数の類似パッチの平均で算出したが、これに限らない。例えば、基準パッチの各画素の値を、複数の類似パッチの対応する画素の中央値や最小値などで定めても良い。

【0058】

また、異常判定として、第１補正前パッチと第１補正後パッチの中から処理対象パッチをそれぞれ１つ選択し、各パッチ内の同位置の画素毎に画素値の差分絶対値と閾値ｔｈ２とを比較したが、他の方法で異常を判定してもよい。例えば、処理対象パッチ内の各画素の画素値とノイズ量パッチＶ＿ｉの平方根との差分を比較してもよい。

【0059】

（実施形態２）
実施形態１では、第１補正後パッチの各画素が異常であるか否かの判定に用いる閾値ｔｈ２について、ノイズ量パッチＶに基づいて決定した。ノイズ量パッチは、ステップＳ３０３で検出した全ての類似パッチから求めた基準パッチを用いて算出している。共分散行列を算出するためには、最低限必要な類似パッチの個数があり、この条件を満たすために、類似度が低い類似パッチを検出して基準パッチを算出している。このため、閾値ｔｈ２の精度が低下する場合がある。そこで、実施形態２では、閾値ｔｈ２を決定する際、類似度の高い類似度パッチのみから算出した基準パッチを用いる例について説明する。

【0060】

具体的には、パッチ間の類似度を算出した後、第１の補正と閾値算出の処理に分岐して、閾値算出用に所定の類似度よりも高い類似度のパッチのみを集める工程を加えた例を説明する。なお、実施形態１と共通の部分は説明を省略する。

【0061】

図６は、本実施形態にかかる画像処理のブロック図である。類似パッチ選定部６０１は、類似パッチ検出部２０３で検出した類似パッチの中から類似度が高いパッチのみを選定する。異常判定用ノイズ量パッチ算出部６０２は、選定した類似パッチに基づいて基準パッチを算出し、それを用いてノイズ量パッチを算出する。異常判定部６０３は、補正した複数の類似パッチ各々に対して、画素毎に異常であるか否（正常である）かを判定する。

【0062】

図７は、本実施形態にかかる画像処理のフローチャートである。

【0063】

ステップＳ７０１で、類似パッチ選定部６０１は、類似パッチの中から類似度が高いパッチのみを選定する。具体的には、閾値ｔｈ１を小さくし（例えば係数ｃ＝０．５を乗算する）、閾値ｔｈ１より小さい類似パッチを選定する。あるいは、類似度の高い上位ｘ％（ｘ＝６０）を類似パッチとして選定してもよい。

【0064】

ステップＳ７０２で、異常判定用ノイズ量パッチ算出部６０２は、選定した全ての類似パッチについて画素毎の平均値を取って基準パッチＱ’を算出し、以下の式（８）によりノイズ量パッチＶ’を算出する。

【0065】

【数8】

【0066】

ステップＳ７０３で、異常判定部６０３は、第１補正後パッチに対して異常判定を行う。実施形態１との差異点であるステップＳ５０４について説明する。実施形態２では、ノイズ量パッチＶ’と予め定めた係数ｍ（本実施形態ではｍ＝５）を用いて画素（ｊ）毎にｔｈ２が以下の式（９）で算出される。

【0067】

【数9】

【0068】

以上、第１の補正処理用と閾値算出処理用に適したノイズ量パッチを算出することで、より精度良く第１の補正処理の異常結果を修正し、好適な出力画像を得ることができる。

【0069】

（その他の実施形態）
本発明は、前述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。

【0070】

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0071】

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。

【0072】

即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、二次関数係数演算部の一部は上位の制御手段から与えられる演算開始信号によって動作し、演算結果を保持しておき、画像が入力されている間は、ここで保持したデータ参照するのみにすることで電力を削減することが可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】