特許 7409607 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/213 20060101AFI20231226BHJP

   G06T 5/70 20240101ALI20231226BHJP

【ＦＩ】

H04N5/213

G06T5/00 705

【請求項の数】 9

(21)【出願番号】P 2020022180

(22)【出願日】2020-02-13

(65)【公開番号】P2021129191

(43)【公開日】2021-09-02

【審査請求日】2023-02-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】高田 洋佑

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０１９－１０１６８６（ＪＰ，Ａ）

【文献】特開２０１７－０４１７３２（ＪＰ，Ａ）

【文献】特開２０１８－１８５５８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２１３

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

画像のノイズを低減する画像処理装置であって、
前記画像中に複数のパッチを設定する設定手段と
前記複数のパッチに基づいて共分散行列を算出する算出手段と
前記共分散行列を用いて前記複数のパッチに含まれる画素に対して、第１の補正を行う第１の補正手段と、
前記複数のパッチに含まれる前記第１の補正前の画素に対して、前記第１の補正とは異なる第２の補正を行う第２の補正手段と、
前記第１の補正後の前記複数のパッチそれぞれに異常があるか否かを判定する判定手段と、
前記判定手段により異常と判定されたパッチに含まれる前記第１の補正後の画素を前記第２の補正の結果で修正する修正手段と、
前記第１の補正後の画素もしくは、前記修正された画素で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置。

【請求項2】

前記判定手段は、前記第１の補正前の複数のパッチそれぞれの統計量と前記第１の補正後の複数のパッチそれぞれの統計量との変化量を算出し、前記変化量が所定の値よりも大きい前記第１の補正後のパッチは異常であると判定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記統計量は、パッチに含まれる画素の標準偏差と、分散と、最大値の画素と、最小値の画素と、の少なくともいずれか一つであり、
前記変化量は、差分と、比率との少なくともいずれか一つに基づき算出されることを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記判定手段は、前記第１の補正前の複数のパッチそれぞれの画素と前記第１の補正後の複数のパッチそれぞれの画素との差分を算出し、前記差分が所定の値よりも大きい場合に当該画素は異常であると判定する第一の判定手段を有し、当該判定手段の判定に基づき、前記第１の補正後のパッチは異常であるか否かを判定することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記所定の値は、前記複数のパッチに含まれる画素から算出した統計量であることを特徴とする請求項２または請求項４に記載の画像処理装置。

【請求項6】

前記判定手段は、第一の判定手段で異常であると判定された画素数が所定の値よりも大きい前記第１の補正後のパッチは異常であると判定することを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記第２の補正手段は、前記複数のパッチに含まれる前記第１の補正前の画素に対してローパスフィルタを適用するか、前記複数のパッチに含まれる前記第１の補正前の画素と同じ値を出力するか、前記複数のパッチに含まれる前記第１の補正前の画素の平均値を出力することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置

【請求項8】

画像のノイズを低減する画像処理方法であって、
設定手段が、前記画像中に複数のパッチを設定する設定工程と
算出手段が、前記複数のパッチに基づいて共分散行列を算出する算出工程と
第１の補正手段が、前記共分散行列を用いて前記複数のパッチに含まれる画素に対して、第１の補正を行う第１の補正工程と、
第２の補正手段が、前記複数のパッチに含まれる前記第１の補正前の画素に対して、前記第１の補正とは異なる第２の補正を行う第２の補正工程と、
判定手段が、前記第１の補正後の前記複数のパッチそれぞれに異常があるか否かを判定する判定工程と、
修正手段が、前記判定工程で異常と判定されたパッチに含まれる前記第１の補正後の画素を前記第２の補正の結果で修正する修正工程と、
生成手段が、前記第１の補正後の画素もしくは、前記修正された画素で出力画像を生成する生成工程と、を有することを特徴とする画像処理方法。

【請求項9】

コンピュータを、
画像のノイズを低減する画像処理装置であって、
前記画像中に複数のパッチを設定する設定手段と
前記複数のパッチに基づいて共分散行列を算出する算出手段と
前記共分散行列を用いて前記複数のパッチに含まれる画素に対して、第１の補正を行う第１の補正手段と、
前記複数のパッチに含まれる前記第１の補正前の画素に対して、前記第１の補正とは異なる第２の補正を行う第２の補正手段と、
前記第１の補正後の前記複数のパッチそれぞれに異常があるか否かを判定する判定手段と、
前記判定手段により異常と判定されたパッチに含まれる前記第１の補正後の画素を前記第２の補正の結果で修正する修正手段と、
前記第１の補正後の画素もしくは、前記修正された画素で出力画像を生成する生成手段と、を有することを特徴とする画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像のノイズ低減を行う画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、カメラで撮影した画像に含まれるノイズを抑制するため、画像中の複数画素からなるパッチに着目し、パッチベースでノイズを低減する技術が知られている。非特許文献１に記載された処理は、撮影画像中の複数のパッチからなるパッチ集合を選び出してその平均と共分散行列で表されるパッチの確率モデルを生成し、パッチ集合を構成するパッチ各々に対して最大事後確率法に基づいたノイズ低減処理を行う。そして、ノイズ低減処理されたパッチを用い出力画像を生成する。この時、前記共分散行列の逆行列である逆共分散行列を算出し、これに基づいてノイズ低減処理後の画素値を決定する。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ “Ｎｏｎ－Ｌｏｃａｌ Ｂａｙｅｓ” （ＮＬ－Ｂａｙｅｓ） Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ Ａｌｇｏｒｉｔｈｍ。 Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｏｎ Ｌｉｎｅ， ３ （２０１３）， ｐｐ． １－４２．

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術ではノイズ低減処理後のパッチ内の画素の値が異常値になる場合があり、結果として出力画像が破綻する可能性があった。

【0005】

本発明は、上記課題を鑑みてなされたものであり、ノイズ低減処理後の出力画像の破綻を抑制することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、画像のノイズを低減する画像処理装置であって、前記画像中に複数のパッチを設定する設定手段と、前記複数のパッチに基づいて共分散行列を算出する算出手段と、前記共分散行列を用いて前記複数のパッチに含まれる画素に対して、第１の補正を行う第１の補正手段と、前記複数のパッチに含まれる前記第１の補正前の画素に対して、前記第１の補正とは異なる第２の補正を行う第２の補正手段と、前記第１の補正後の前記複数のパッチそれぞれに異常があるか否かを判定する判定手段と、前記判定手段により異常と判定されたパッチに含まれる前記第１の補正後の画素を前記第２の補正の結果で修正する修正手段と、前記第１の補正後の画素もしくは、前記修正された画素で出力画像を生成する生成手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、ノイズ低減処理後の出力画像の破綻を抑制することが出来る。

【図面の簡単な説明】

【0008】

【図1】実施形態１のハードウェア構成

【図2】実施形態１の画像処理のブロック図

【図3】実施形態１の画像処理のフローチャート

【図4】実施形態１の第１の補正処理のフローチャート

【図5】実施形態１の異常判定処理のフローチャート

【図6】実施形態２の画像処理のブロック図

【図7】実施形態２の画像処理のフローチャート

【図8】実施形態２の第１の異常判定のフローチャート

【図9】実施形態２の第２の異常判定のフローチャート

【発明を実施するための形態】

【0009】

（実施形態１）
本実施形態では、パッチベースのノイズ低減処理において共分散行列を用いた補正の異常を判定して、異常な場合に出力画像の破綻を回避する方法を説明する。

【0010】

本実施形態では、着目パッチとその周辺の小領域のノイズ量に基づいて適応的に類似パッチ数を決定することで、好適な画質を得るノイズ低減処理の例について述べる。

【0011】

図１は、本実施形態に係るハードウェア構成を示すブロック図である。図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。汎用Ｉ／Ｆは、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続する。

【0012】

以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

【0013】

まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算される。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３または外部メモリ１０７に格納したりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

【0014】

上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成し、出力する処理の詳細について説明する。

【0015】

ここで、パッチベースのノイズ低減処理の概要について説明する。入力画像データの一部を切りだした部分画像をパッチと呼ぶ。着目パッチ近傍の所定の参照領域に存在する複数のパッチを参照パッチとし、着目パッチに対応したノイズ低減処理をする際に参照する。パッチベースのノイズ低減処理では、参照パッチのうち、着目パッチの画素値分布と類似したパッチを類似パッチとして検出し、それらをパッチ集合とする。なお、複数の参照パッチの中には着目パッチ自身が含まれていても構わない。パッチ集合に基づいて、各類似パッチに対してノイズ低減処理を実行する。ノイズを低減した類似パッチを集約（Ａｇｇｒｅｇａｔｉｏｎ）することにより、入力画像データに対してノイズ低減処理した画像を生成する。

【0016】

図２は、本実施形態にかかる画像処理のブロック図である。

【0017】

画像入力部２０１は、入力画像データを取得する。

【0018】

着目パッチ設定部２０２は、入力画像データから所定の形状の部分画像を切り出し着目パッチとする。本実施形態では、所定の形状を６画素×６画素の正方形とする。

【0019】

類似パッチ検出部２０３は、着目パッチ近傍の所定の参照領域に存在する複数のパッチを参照パッチとして設定し、参照パッチの内で着目パッチに類似するものを類似パッチとして検出する。各参照パッチは着目パッチと同一の形状である。また、本実施形態では類似パッチの中に着目パッチを含むものとする。

【0020】

共分散行列算出部２０４は、複数の類似パッチに基づいて共分散行列を算出する。

【0021】

第１の補正部２０５は、共分散行列を用いて複数の類似パッチを補正する。

【0022】

異常判定部２０６は、補正した複数の類似パッチ各々に対して、異常であるか否（正常である）かを判定する。

【0023】

第２の補正部２０７は、異常判定部２０６で異常と判定された場合に、第１の補正前のパッチに対して、第１の補正とは異なる補正を行う。パッチ修正部２０８は、第２の補正による結果を用いて複数の類似パッチを修正する。パッチ集約部２０９は、補正された複数の類似パッチを集約（Ａｇｇｒｅｇａｔｉｏｎ）して、ノイズ低減された出力画像を生成する。

【0024】

パッチベースのノイズ低減処理において、複数の類似パッチの補正前後の変化から補正後のパッチの異常を判定する異常判定部を持ち、異常である場合は別の補正を行ってパッチを修正する点が本発明の特徴である。本実施形態では、２つの異なる補正処理部を持ち、異常判定部の判定結果に応じて２つの補正処理部による補正結果を選択して用いる構成を説明する。本実施形態では、処理対象パッチについて、第１の補正結果が異常であると判定された場合にのみ、第２の補正部２０７が当該パッチを補正し、パッチ修正部２０８が補正された結果を用いて当該パッチを修正する構成について説明する。

【0025】

図３は、本実施形態にかかる画像処理のフローチャートである。

【0026】

ステップＳ３０１で画像入力部２０１は、入力画像データを取得する。また、集約用画像データをゼロで初期化する。集約用画像データは分母画像データと分子画像データからなり、いずれも入力画像データと同じ画素数である。

【0027】

ステップＳ３０２で着目パッチ設定部２０２は、着目パッチを１つ設定する。一般に１つの入力画像データに対して複数のパッチを着目パッチとして設定することができる。本ステップ以降の処理は、設定する着目パッチの位置を変えて繰り返し実行される。その際、すべてのパッチを１回ずつ着目パッチとして設定するように制御してもよいし、一部のパッチのみを着目パッチとして設定するように制御してもよい。本実施形態では、左上からラスタ順に全てのパッチを着目パッチとして設定する。前述の通り、本実施形態では入力画像データから６画素×６画素の正方形の部分画像を切り出し着目パッチとする。つまり着目パッチは３６画素からなる。以下では、着目パッチを、３６画素を縦に並べた列ベクトルＴで表す。一般に着目パッチがＭ画素からなる場合、着目パッチを、Ｍ画素を縦に並べた列ベクトルＴで表す。

【0028】

ステップＳ３０３で類似パッチ検出部２０３は、類似パッチを検出する。まず、着目パッチＴ近傍の所定の参照領域に存在する複数のパッチを参照パッチとして設定する。各参照パッチの形状は、着目パッチＴの形状と一致する。以下では、ｉ番目の参照パッチを、Ｍ画素を縦に並べた列ベクトルＲ＿ｉで表す。次に、複数の参照パッチそれぞれについて、着目パッチＴとの類似度を算出する。類似度は、参照パッチと着目パッチＴの、各画素の差分二乗和（ＳＳＤ）により算出される。具体的には、ｉ番目の参照パッチＲ＿ｉの類似度ＳＳＤ＿ｉは以下の式（１）で算出される。

【0029】

【数1】

【0030】

ここで、ベクトルＴのｊ番目の成分（画素値）をＴ（ｊ）で表している。この算出方法から明らかなように、類似度ＳＳＤ＿ｉの値が小さいほど、参照パッチＲ＿ｉが着目パッチＴに類似していることを意味する。さらに、複数の参照パッチの内から、類似度に基づいて一部のパッチを類似パッチとして検出する。本実施形態では、予め定める閾値より類似度が小さいパッチを類似パッチとして検出する。ここで検出された類似パッチの個数をＮとし、ｉ番目の類似パッチをＰ＿ｉで表す。

【0031】

ステップＳ３０４で共分散行列算出部２０４は、複数の類似パッチに基づいて共分散行列を算出する。まず、複数の類似パッチに基づいて基準パッチＱを以下の式（２）で算出する。

【0032】

【数2】

【0033】

次に、基準パッチＱを用いてノイズ量パッチＶを以下の式（３）で算出する。

【0034】

【数3】

【0035】

ここで、ｋは定数、Ｖ＿０は基準パッチＱと同じ形状のベクトルであり、いずれも予め定めて保存しておく。

【0036】

そして、複数の類似パッチに基づき基準パッチＱを用いて、共分散行列Ｃを以下の式（４）で算出する。

【0037】

【数4】

【0038】

ここでは、パッチを表すベクトルを行列とみなし、行列としての演算を行う。ｔは行列の転置である。ステップＳ３０５で、第１の補正部２０５は、複数の類似パッチに対して第１の補正処理を行う。図４は第１の補正処理のフローチャートである。各ステップは全て第１の補正部２０５が行う。以下では、第１の補正を行う前の類似パッチを第１補正前パッチ、第１の補正を行った後の類似パッチを第１補正後パッチと表す。

【0039】

ステップＳ４０１で、ステップＳ３０４で算出した共分散行列Ｃの逆行列である逆共分散行列Ｃ＾－１を算出する。

【0040】

ステップＳ４０２で、補正行列Ｈを以下の式（５）で算出する。

【0041】

【数5】

【0042】

ここでｄｉａｇ（Ｖ）は主対角上にベクトルＶの要素をもつ正方対角行列を表す。

【0043】

ステップＳ４０３で、複数の類似パッチそれぞれＰ＿ｉに対応する補正済みパッチＯ＿ｉを以下の式（６）で算出する。

【0044】

【数6】

【0045】

ステップＳ３０６で、異常判定部２０６は、第１補正後パッチに対して異常判定を行う。図５は異常判定のフローチャートである。各ステップは全て異常判定部２０６が行う。

【0046】

ステップＳ５０１で、異常判定結果を記憶する判定データを初期化する。判定データには、全処理対象パッチについて正常（＝「０」）か異常（＝「１」）かを判定した結果と、全処理対象パッチの画素位置が記憶される。

【0047】

ステップＳ５０２で、第１補正前パッチと第１補正後パッチの中から処理対象パッチをそれぞれ１つ選択する。第１補正前パッチから選択したパッチを処理対象パッチＩ、第１補正後パッチから選択したパッチを処理対象パッチＩ’とする。さらに、選択する両パッチは画素位置が一致するものとする。

【0048】

ステップＳ５０３で、処理対象パッチＩと処理対象パッチＩ’各々について標準偏差σ＿Ｉ_、σ＿Ｉ’を算出する。

【0049】

ステップＳ５０４で、以下の式（７）に基づいて、標準偏差σ＿Ｉ_、σ＿Ｉ’の比率と閾値ｔｈを比較する。

【0050】

【数7】

【0051】

比率が閾値ｔｈ以上である場合は変化が大きいとしてＳ５０５に進み、そうでない場合にＳ５０６に進む。ここで、閾値ｔｈはあらかじめ設定された値でも良いし、パッチに含まれる各画素の統計量（平均値、分散）に基づく算出されるようにしても良い。

【0052】

ステップＳ５０５で、処理対象パッチＩ’が異常であると判定し、判定データに処理対象パッチＩ’の画素位置と判定結果である「１」を出力する。

【0053】

ステップＳ５０６で、処理対象パッチＩ’が正常であると判定し、判定データに処理対象パッチＩ’の画素位置と判定結果である「０」を出力する。

【0054】

ステップＳ５０７で、全ての処理対象パッチが処理済みであるか否かを判定する。全ての処理対象パッチが処理済みである場合は異常判定処理を終了し、そうでない場合はＳ５０２に進む。

【0055】

ステップＳ３０７で、異常判定部２０６は、判定データに基づき全ての第１補正後パッチに対して補正結果が異常であるか否かを判定する。異常と判定された第１補正後パッチは、ステップＳ３０８へ進み、正常と判定された第１補正後パッチは、ステップＳ３０９に進む。

【0056】

ステップＳ３０８で、第２の補正部２０７は、異常と判定された第１補正後パッチに画素位置が対応する第１補正前パッチに対して、第２の補正を行う。第２の補正は、第１の補正とは異なる処理であり、本実施形態では、平均値フィルタを適用する。

【0057】

ステップＳ３０９で、パッチ修正部２０８は、第２の補正結果を用いて第１補正後パッチを修正する。具体的には、第１補正後パッチを第２の補正結果に置換する。

【0058】

ステップＳ３１０において、全ての着目パッチが処理済みであるか否かを判定する。全ての着目パッチが処理済みである場合にＳ３１１に進み、そうでない場合にＳ３０２に進む。

【0059】

ステップＳ３１１で、パッチ集約部２０９は、第１或いは第２の補正が成された複数の補正済みパッチに基づき集約用画像データを編集する。前述の通り、集約用画像データは分母画像データと分子画像データからなる。複数の補正済みパッチＯ＿ｉそれぞれについて、全画素の値を分子用画像データの対応する位置に加算する。この位置は、入力画像データにおいて各画素が存在した位置である。また、分母用画像における同じ位置に１を加算する。

【0060】

以上が本実施形態の画像処理のフローである。

【0061】

以上の処理により、共分散行列を用いたパッチベースのノイズ低減処理において、ノイズ低減後に異常が生じた場合でも当該異常を修正し、好適な出力画像を得ることができる。

【0062】

なお、本実施形態の処理は、各種の形式の画像データに適用できる。例えばモノクロ画像に対して適用できるし、複数の色成分からなるカラー画像にも適用できるし、Ｂａｙｅｒ配列の画像にも適用できる。

【0063】

また、参照パッチと着目パッチＴの類似度を、各画素の差分二乗和（ＳＳＤ）により算出したが、他の方法で算出してもよい。例えば、各画素の差分絶対値和（ＳＡＤ）で算出してもよいし、各画素の差分の絶対値の最大値、最小値、平均値、中央値などを用いてもよい。

【0064】

また、異常判定として、第１補正前パッチと第１補正後パッチの中から処理対象パッチをそれぞれ１つ選択し、パッチの標準偏差の比率と閾値ｔｈとを比較したが、他の方法で異常を判定してもよい。例えば、パッチの分散、平均、最小値、最大値など他の統計量の比もしくは差分を用いてもよい。また、比もしくは差分以外でも、変化量が分かれば良い。

【0065】

また、第２の補正として、第１補正前パッチに平均値フィルタを適用する例について述べたが、他の方法で補正してもよい。例えば、第１補正前パッチにガウシアンフィルタのようなノイズを低減可能なローパスフィルタを適用してもよい。他に、第１補正前パッチに対して、異常と判定された画素のみ補正を行わず、補正前の値をそのまま出力してもよいし、パッチ内の数画素から算出した平均画素値を出力してもよい。

【0066】

また、基準パッチを、複数の類似パッチの平均で算出したが、これに限らない。例えば、基準パッチの各画素の値を、複数の類似パッチの対応する画素の中央値や最小値などで定めても良い。共分散行列の異常を判定する異常判定部を持ち、共分散行列が正常であると判定された場合に通常の「パッチベースのノイズ低減処理」を行う。一方で、共分散行列が異常であると判定された場合には通常の「パッチベースのノイズ低減処理」とは異なる補正処理を行うことが本実施形態の主眼である。この補正処理は、本実施形態で説明したものに限らない。例えば、補正済みパッチを、補正対象の類似パッチ、基準パッチ、あるいはそれらの線形和として算出するなどの方法がある。

【0067】

（実施形態２）
実施形態１では、補正されたパッチが異常であるか否かの判定をパッチ単位で行い、パッチ単位で修正処理を行う例について説明した。本実施形態では、補正されたパッチが異常であるか否かの判定処理を２段階で行う方法を説明する。

【0068】

具体的には、処理対象パッチ内の画素毎に異常判定する処理（１段階目）に加えて、１段階目の異常判定結果で異常と判定された画素の数を用いて処理対象パッチが異常であるか否かの判定処理（２段階目）を行う方法を説明する。実施形態１と共通の部分は説明を省略する。

【0069】

図６は、本実施形態にかかる画像処理のブロック図である。

【0070】

第１の異常判定部６０１は、第１の補正を行った類似パッチ（＝第１補正後パッチ）各々に対して、画素毎に異常であるか否（正常である）かを判定する。

【0071】

第２の異常判定部６０２は、より高精度に異常を判定するために、第１の異常判定結果を用いて第２の異常判定を行う。

【0072】

第２の補正部６０３は、第２の異常判定部６０２で異常と判定された場合に、第１の補正前のパッチに対して、第１の補正とは異なる補正を行う。

【0073】

図７は、本実施形態にかかる画像処理のフローチャートである。

【0074】

ステップＳ７０１で、第１の異常判定部６０１は、第１補正後パッチに対して異常判定を行う。

【0075】

図８は、第１の異常判定のフローチャートである。各ステップは全て第１の異常判定部６０１が行う。

【0076】

ステップＳ８０１で、第１の異常判定結果を記憶する第１判定データを初期化する。第１判定データには、全処理対象パッチについて画素毎に正常（＝「０」）か異常（＝「１」）かを判定した結果と、処理対象パッチ毎に異常と判定された画素をカウントした値ＣＮＴと、パッチの画素位置が記憶される。ＣＮＴはゼロで初期化しておく。

【0077】

ステップＳ８０２は、ステップＳ５０２と同様の処理である。

【0078】

ステップＳ８０３で、処理対象パッチＩと処理対象パッチＩ’から同じ位置の画素をそれぞれ１つ選択する。選択した画素を順にＩ＿ｊ、Ｉ’＿ｊとする。

【0079】

ステップＳ８０４で、画素Ｉ＿ｊ、Ｉ’＿ｊの差分絶対値と閾値ｔｈ１を比較する。ここで、閾値ｔｈ１は、ノイズ量パッチＶと予め定めた係数ｍを用いて以下の式（８）で算出される。

【0080】

【数8】

【0081】

差分絶対値が閾値ｔｈ１以上である場合にＳ８０５に進み、そうでない場合にＳ８０６に進む。

【0082】

ステップＳ８０５で、第１判定データのＣＮＴを１つインクリメントし、併せて画素位置も記憶しておく。

【0083】

ステップＳ８０６で、処理対象パッチ内の全画素が選択済みであるか否かを判定する。処理対象パッチ内の全画素が選択済みである場合は第１の異常判定処理を終了し、そうでない場合はＳ８０３に進む。

【0084】

ステップＳ８０７で、全ての処理対象パッチが処理済みであるか否かを判定する。全ての処理対象パッチが処理済みである場合は第１の異常判定処理を終了し、そうでない場合はＳ８０２に進む。

【0085】

ステップＳ７０２で、第２の異常判定部６０２は、第１の異常判定が行われたパッチに対して第１判定データに基づいて第２の異常判定を行う。

【0086】

図９は、第２の異常判定のフローチャートである。各ステップは全て第２の異常判定部６０２が行う。

【0087】

ステップＳ９０１で、第１判定データを読み込み、第２判定データを初期化する。第２判定データには、全処理対象パッチについて正常（＝「０」）か異常（＝「１」）かを判定した結果と、全処理対象パッチの画素位置が記憶される。

【0088】

ステップＳ９０２で、ステップＳ５０２と同様の処理である。

【0089】

ステップＳ９０３で、ＣＮＴと予め設定しておいた閾値ｔｈ２を比較する。閾値ｔｈ２は、処理対象パッチを内の画素数のｘ％として設定し、例えばｘ＝１０の場合、ｔｈ２＝３（小数点切り捨て）となる。ＣＮＴが閾値２以上である場合にＳ９０４に進み、そうでない場合にＳ９０５に進む。

【0090】

ステップＳ９０４で、処理対象パッチＩ’が異常であると判定し、判定データに処理対象パッチＩ’の画素位置と判定結果である「１」を出力する。

【0091】

ステップＳ９０５で、処理対象パッチＩ’が正常であると判定し、判定データに処理対象パッチＩ’の画素位置と判定結果である「０」を出力する。

【0092】

ステップＳ９０６で、全ての処理対象パッチが処理済みであるか否かを判定する。全ての処理対象パッチが処理済みである場合は第２の異常判定処理を終了し、そうでない場合はＳ９０２に進む。

【0093】

ステップＳ７０３で、第２の補正部６０３は、第１補正前パッチに対して、第２の補正を行う。第２の補正は、第１の補正とは異なる処理であり、本実施形態では、第１補正前パッチに対して、第１の異常判定でカウントアップされた画素のみを用いて平均値フィルタを適用する。

【0094】

以上、補正されたパッチが異常であるか否かの判定処理を２段階で行うことで、より精度良く第１の補正処理の異常結果を修正し、好適な出力画像を得ることができる。

【0095】

なお、異常判定として、第１補正前パッチと第１補正後パッチの中から処理対象パッチをそれぞれ１つ選択し、各パッチ内の同位置の画素毎に画素値の差分絶対値と閾値ｔｈとを比較したが、他の方法で異常を判定してもよい。例えば、処理対象パッチ内の各画素の画素値とノイズ量パッチＶ＿ｉの平方根との差分を比較してもよい。或いは、処理対象パッチ内の全画素の平均値と当該パッチ内の各画素との差分を比較してもよい。

【0096】

（その他の実施形態）
本発明は、前述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。

【0097】

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0098】

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。

【0099】

即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、二次関数係数演算部の一部は上位の制御手段から与えられる演算開始信号によって動作し、演算結果を保持しておき、画像が入力されている間は、ここで保持したデータ参照するのみにすることで電力を削減することが可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】