(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161707
(43)【公開日】2024-11-20
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
H04N 25/68 20230101AFI20241113BHJP
【ＦＩ】
H04N25/68
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2023076639
(22)【出願日】2023-05-08
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】新家 健太
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CX21
5C024CX25
5C024CX26
5C024CY37
5C024CY45
5C024HX14
(57)【要約】 （修正有）
【課題】画質差の発生を低減可能にする画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】画像処理方法は、取得した画像の欠陥画素に対し、欠陥画素とは異なる画素を参照画素として補間処理を適用し、その補間処理が適用された補間済み画素のノイズを増加させる。
【選択図】図３
【解決手段】画像処理方法は、取得した画像の欠陥画素に対し、欠陥画素とは異なる画素を参照画素として補間処理を適用し、その補間処理が適用された補間済み画素のノイズを増加させる。
【選択図】図３
【特許請求の範囲】
【請求項1】
画像の欠陥画素に対し、前記欠陥画素とは異なる画素を参照画素として補間処理を適用する補間手段と、
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加手段と、
を有することを特徴とする画像処理装置。
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記ノイズ増加手段にて前記ノイズを増加させた補間済み画素を含む画像に対して、ノイズ低減処理と圧縮符号化処理の少なくともいずれかを適用することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記補間済み画素の画素値と、画素値とノイズの分散との関係を表す数理モデルと、を基に、前記補間済み画素のノイズを増加させる際の目標ノイズを決定するノイズ決定手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記補間済み画素に対して第１のノイズ低減処理を適用する第１のノイズ低減手段を有し、
前記ノイズ決定手段は、前記補間済み画素に前記第１のノイズ低減処理を適用した後の画素値と、前記数理モデルとを用いて、前記目標ノイズを決定することを特徴とする請求項３に記載の画像処理装置。
前記ノイズ決定手段は、前記補間済み画素に前記第１のノイズ低減処理を適用した後の画素値と、前記数理モデルとを用いて、前記目標ノイズを決定することを特徴とする請求項３に記載の画像処理装置。
【請求項5】
前記第１のノイズ低減手段は、前記画像のうち前記補間済み画素を含む局所領域、または前記画像に対して、前記第１のノイズ低減処理を適用することを特徴とする請求項４に記載の画像処理装置。
【請求項6】
前記参照画素に対して第２のノイズ低減処理を適用する第２のノイズ低減手段を有し、
前記ノイズ決定手段は、前記補間済み画素の画素値と、前記参照画素に前記第２のノイズ低減処理を適用した後の画素値と、前記数理モデルとを用いて、前記目標ノイズを決定することを特徴とする請求項３に記載の画像処理装置。
前記ノイズ決定手段は、前記補間済み画素の画素値と、前記参照画素に前記第２のノイズ低減処理を適用した後の画素値と、前記数理モデルとを用いて、前記目標ノイズを決定することを特徴とする請求項３に記載の画像処理装置。
【請求項7】
前記第２のノイズ低減手段は、前記画像のうち前記参照画素を含む局所領域、または前記画像に対して、前記第２のノイズ低減処理を適用することを特徴とする請求項６に記載の画像処理装置。
【請求項8】
前記ノイズ増加手段は、前記補間済み画素に乱数を加算することによって前記ノイズを増加させることを特徴とする請求項１に記載の画像処理装置。
【請求項9】
前記ノイズ増加手段は、１以上の擬似乱数から選択した前記乱数を加算することを特徴とする請求項８に記載の画像処理装置。
【請求項10】
前記ノイズ増加手段は、分布パラメータとして分散を陽または陰に含む確率分布を基に、前記乱数を生成することを特徴とする請求項８に記載の画像処理装置。
【請求項11】
前記確率分布はガウス分布であることを特徴とする請求項１０に記載の画像処理装置。
【請求項12】
前記分布パラメータにおける前記分散は、目標ノイズの分散と、前記乱数の加算による前記補間済み画素のノイズ分散と、の差に略一致することを特徴とする請求項１０に記載の画像処理装置。
【請求項13】
前記補間処理は、前記参照画素の画素値の重み付き平均による画素値を前記補間済み画素の画素値とする処理であり、
前記ノイズ増加手段は、前記重み付き平均の重み係数と前記参照画素のノイズの分散とを用いて、前記補間済み画素のノイズの分散を取得することを特徴とする請求項１２に記載の画像処理装置。
前記ノイズ増加手段は、前記重み付き平均の重み係数と前記参照画素のノイズの分散とを用いて、前記補間済み画素のノイズの分散を取得することを特徴とする請求項１２に記載の画像処理装置。
【請求項14】
前記ノイズ増加手段は、前記参照画素のノイズの分散を、画素値とノイズの分散との関係を表す数理モデルを用いて決定することを特徴とする請求項１３に記載の画像処理装置。
【請求項15】
前記ノイズ増加手段は、前記参照画素に対してノイズ低減処理を行った後の画素値と、前記数理モデルとを用いて、前記参照画素のノイズの分散を算出することを特徴とする請求項１４に記載の画像処理装置。
【請求項16】
前記数理モデルは、均一かつ複数段階の明るさの複数の各画像の画素値の平均と分散との関係を表すモデルであることを特徴とする請求項３乃至７、１４、１５のいずれか１項に記載の画像処理装置。
【請求項17】
画像の欠陥画素に対し、前記欠陥画素とは異なる画素を参照画素として補間処理を適用する補間工程と、
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加工程と、
を有することを特徴とする画像処理方法。
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加工程と、
を有することを特徴とする画像処理方法。
【請求項18】
コンピュータを、
画像の欠陥画素に対し、前記欠陥画素とは異なる画素を参照画素として補間処理を適用する補間手段と、
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加手段と、
を有する画像処理装置として機能させるプログラム。
画像の欠陥画素に対し、前記欠陥画素とは異なる画素を参照画素として補間処理を適用する補間手段と、
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加手段と、
を有する画像処理装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像により得られた画像を処理する技術に関する。
【背景技術】
【0002】
ＣＣＤやＣＭＯＳなどの撮像素子には、損傷や埃などに起因する欠陥画素が含まれる場合がある。欠陥画素はそのままではいわゆる白傷や黒傷等として観測されてしまうため、これを防ぐための補正処理が行われている。一般に、該補正処理としては、欠陥画素の画素値を、他の画素値の重み付き平均にて得られた画素値で置き換える、補間処理に基づく方法が用いられている（特許文献１参照）。
その他、画像処理技術には、ノイズを増加させることで所定の効果を得る技術もあり、特許文献２には、画像のグラデーション領域で発生しやすい階調段差を抑制するために画像にノイズを付加する技術が開示されている。この特許文献２に開示された技術は、階調段差のような画質劣化の抑制を目的としている。
その他、画像処理技術には、ノイズを増加させることで所定の効果を得る技術もあり、特許文献２には、画像のグラデーション領域で発生しやすい階調段差を抑制するために画像にノイズを付加する技術が開示されている。この特許文献２に開示された技術は、階調段差のような画質劣化の抑制を目的としている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００９－１７７７９２号公報
【特許文献2】特開２０１０－２０６７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、欠陥画素に補間処理を施した後の画像に対し、さらにノイズ低減処理等が適用された場合、欠陥画素に補間処理がなされた後の画素とそれ以外の画素（元々欠陥画素ではない正常な画素）からなる領域との間で画質差が生ずることがある。
【0005】
そこで、本発明は、画質差の発生を低減可能にすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、画像の欠陥画素に対し、前記欠陥画素とは異なる画素を参照画素として補間処理を適用する補間手段と、前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加手段と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、画質差の発生を低減可能となる。
【図面の簡単な説明】
【0008】
【図1】第１の実施形態に係る画像処理装置の機能構成例を示す図である。
【図2】欠陥画素、参照画素及び補間処理の説明に用いる図である。
【図3】第１の実施形態に係る画像処理の流れを示すフローチャートである。
【図4】第２の実施形態に係る画像処理装置の機能構成例を示す図である。
【図5】第２の実施形態に係る画像処理の流れを示すフローチャートである。
【図6】第３の実施形態に係る画像処理装置の機能構成例を示す図である。
【図7】第３の実施形態に係る画像処理の流れを示すフローチャートである。
【図8】画像処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明に係る実施形態を、図面を参照しながら説明する。以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成には同じ参照符号を付して説明する。
【0010】
＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理装置１の機能構成の一例を示した図である。本実施形態の画像処理装置１は、欠陥画素に対して補間処理を適用した後、その補間処理後の画素（以下、補間済み画素とする）のノイズを増加させるような画像処理を行う。
ここで、本実施形態の画像処理装置１の構成および処理について説明する前に、欠陥画素に補間処理を施した後の画像に対し、例えばノイズ低減処理が適用された場合に生じ得る画質差について説明する。
図１は、第１の実施形態に係る画像処理装置１の機能構成の一例を示した図である。本実施形態の画像処理装置１は、欠陥画素に対して補間処理を適用した後、その補間処理後の画素（以下、補間済み画素とする）のノイズを増加させるような画像処理を行う。
ここで、本実施形態の画像処理装置１の構成および処理について説明する前に、欠陥画素に補間処理を施した後の画像に対し、例えばノイズ低減処理が適用された場合に生じ得る画質差について説明する。
【0011】
撮像素子に損傷や埃などに起因する欠陥画素がある場合、前述したように、その欠陥画素の画素値を他の画素値（以下、参照画素とする）の重み付き平均で得られた画素値で置き換える補間処理が行われることが多い。ただし、重み付き平均による補間処理が実施されると、その重み付き平均の性質上、補間済み画素のノイズ分散は、重み付き平均に用いられる他の画素（参照画素）のノイズ分散よりも小さくなる。一般に、参照画素は欠陥画素の近傍かつ画素値の変化が出来るだけ少ない連続領域から選択されるため、欠陥画素において画素欠陥が発生していなかったと仮定した場合のノイズ分散は、参照画素のノイズ分散で近似できる。したがって、補間済み画素のノイズ分散は、画素欠陥が発生していなかったと仮定した場合のノイズ分散より小さくなるとも言える。すなわち、該補間処理後の画像においては、本来よりもノイズ分散の小さい画素が点在することになる。
【0012】
そして例えば、補間処理後の画像に対してノイズ低減処理が実行された場合、補間済み画素において、実際より大きいノイズ分散を想定したノイズ低減処理が実行される可能性がある。つまりこの場合、該補間済み画素に対して過剰なノイズ低減処理が適用されることとなり、ボケなどの画質劣化が生じることがある。またノイズ低減処理の他にも、補間処理後の画像に対し、例えば非可逆な圧縮符号化処理が行われた場合、補間済み画素のノイズが局所的に少なくなることで空間周波数特性が変性し、該圧縮符号化処理後にアーチファクト等の画質劣化が生じることがある。
【0013】
また、撮像素子の種類によっては、撮像画像の各画素値に、被写体輝度に由来する信号値に加えて、光子数の統計的変動や熱などに起因するノイズが含まれることもある。特に夜間撮影や暗所撮影では、被写体の明るさを観測可能なレベルにするために高ゲイン設定がなされるが、この場合、信号値と共にノイズも増加してしまう。この場合もノイズ低減処理を適用してノイズを減らすことはできるが、前述同様にノイズ低減処理の適用によって画質劣化が生じることがある。
【0014】
以下、図２を参照しながら、重み付き平均による補間処理と、補間済み画素の画素値のノイズ分散が参照画素の画素値のノイズ分散より小さくなる原理について詳細に説明する。その後、補間処理により小さくなったノイズ分散を補償する本実施形態に係る画像処理について説明する。
【0015】
図２において、図中に格子状で示された各正方形は画素を表しており、黒色の各正方形は欠陥画素２００を、白色で且つ実線で示された各正方形は参照画素を示している。図２の例では、欠陥画素２００ｘに対して補間処理を適用する場合を想定して説明する。すなわち、欠陥画素２００ｘに対し、その欠陥画素２００ｘとは異なる画素を参照画素２０１として欠陥画素２００ｘの補間処理を行うことで、補間済み画素の画素値ｘを算出することを考える。ただし、説明を簡略にするために、参照画素２０１のノイズ分散は一定であると近似する。ここでは、参照画素２０１の個数をＭとし、また、それらの各画素値をｖmで表すとする。
【0016】
撮像画像の画素値は、信号値（真値）とノイズが合わさったものであるため、画素値ｖmは、以下の式（１）で表される。ただし、式（1）中のｓmは信号値、ｎmはノイズを表す。
【0017】
ｖm＝ｓm＋ｎm 式（１）
【0018】
画素値ｖmに対応する重み付き平均の重み係数をａmとすると、補間済み画素の画素値ｘは以下の式（２）で表される。ただし、重み付き平均の重み係数ａ1，ａ2，…，ａMはいずれも１以下の正定数で、かつＭ個の合計が１となる。
【0019】
【数1】
【0020】
また、補間済み画素の画素値ｘの分散をσ2とし、参照画素２０１のノイズ分散をσ2
refとすると、分散の和の公式より、以下の式（３）が導かれる。
【数2】
【0021】
ここで、以下の式（４）より、補間済み画素の画素値ｘの分散σ2が参照画素２０１のノイズ分散σ2
refより小さい、すなわち重み付き平均に基づく補間処理によってノイズが減少することがわかる。ただし、式（４）における等号成立の必要十分条件はＭ＝１であり、Ｍ≧２の場合には等号は成立しない。
【0022】
【数3】
【0023】
前述の通り、欠陥画素において画素欠陥が発生していなかったと仮定した場合のノイズ分散は、参照画素２０１のノイズ分散で近似できる。そのため、欠陥画素２００ｘに対して補間処理を行った後の補間済み画素のノイズ分散は、画素欠陥が発生していなかったと仮定した場合の分散よりも小さくなっていると言える。
【0024】
そこで、本実施形態の画像処理装置では、補間済み画素の実際のノイズ分散と、画素欠陥が発生していなかったと仮定した場合のノイズ分散との差を低減可能にするために、以下のようなノイズ分散の補償処理を行う。
前述したように、補間済み画素のノイズ分散は補間処理の影響により小さくなっているので、本実施形態の画像処理装置では、補間済み画素のノイズを増加させることによって、ノイズ分散の差を補償する。本実施形態では、特に、画素欠陥が発生していなかったと仮定した場合のノイズを目標ノイズとしてノイズを増加させる。
前述したように、補間済み画素のノイズ分散は補間処理の影響により小さくなっているので、本実施形態の画像処理装置では、補間済み画素のノイズを増加させることによって、ノイズ分散の差を補償する。本実施形態では、特に、画素欠陥が発生していなかったと仮定した場合のノイズを目標ノイズとしてノイズを増加させる。
【0025】
また本実施形態において、目標ノイズの分散を決定する方法は、補間済み画素の画素値と、画素値とノイズ分散の関係を表す数理モデルと、に基づいて推定する方法を用いるとする。ここで、該数理モデルは、例えば、予め均一かつ複数段階の明るさで撮像画像を取得し、それらの各画像の画素値の平均と分散を算出し、その関係を折れ線などで表すことで得ることができる。なお、前述したように、目標ノイズは参照画素のノイズ分散で近似できるため、参照画素の分散を算出し、得られた値を目標ノイズの分散とする方法を用いてもよい。
【0026】
また本実施形態において、ノイズを増加させる具体的な方法は、例えば乱数を加算する方法を用いるとする。例えば、所定の確率分布から生成された、画像に含まれるノイズとは無相関な乱数を加算すれば、その乱数加算後の画素値の分散は、乱数加算前の画素値の分散と所定の確率分布の分散との和に等しくなる。そこで本実施形態では、所定の確率分布としては、分布パラメータとして分散を陽または陰に含む確率分布を用い、その確率分布の分散を目標ノイズの分散と補間済み画素のノイズ分散の差に略一致させる。これにより、乱数加算による補間済み画素のノイズ分散は、目標ノイズの分散と略一致させることができることになる。
【0027】
また前述したように、補間済み画素のノイズ分散は、式（３）により算出することができる。ただし、式（３）による算出にあたっては、参照画素のノイズ分散が必要となる。本実施形態では、参照画素のノイズ分散を算出する方法は、参照画素の画素値と前述した数理モデルとに基づいて推定する方法を用いるとする。なお、撮像系で発生するノイズはガウス分布で近似でき、かつガウス分布には再生性があるため、確率分布としてはガウス分布を用いるのが好適である。
【0028】
以下、図１に示した第１の実施形態に係る画像処理装置の機能構成例について説明する。ここでは、不図示の外部の撮像装置から画像を取得し、該画像に対して本実施形態の画像処理装置１による画像処理を適用した後の画像を、不図示の外部の表示装置へ出力する例を挙げて説明する。
【0029】
本実施形態に係る画像処理装置１において、画像取得部１１は、外部の撮像装置から画像を取得する通信インターフェースである。例えば、撮像装置では撮像素子にて取得した画像に対し、ホワイトバランス調整処理とディベイヤー処理とが実行されており、画像取得部１１はそれらの処理後の画像を取得する。
【0030】
欠陥情報取得部１２は、外部の撮像装置から欠陥画素情報を取得する通信インターフェースである。例えば撮像装置は、撮像素子上の欠陥画素の位置や欠陥の種類等を示す欠陥画素情報を保持しており、欠陥情報取得部１２は、撮像装置から当該欠陥画素情報を取得する。なお、欠陥情報取得部１２が欠陥画素情報を取得する代わりに、画像処理装置１が欠陥画素検出部を備え、画像取得部１１が取得した画像から当該欠陥画素検出部が欠陥画素を検出する処理を行ってもよい。
【0031】
補間部１３は、画像取得部１１が取得した画像に対して、欠陥情報取得部１２が取得した欠陥画素情報に基づく補間処理を実行する。補間処理は、前述したように、欠陥画素の画素値を他の画素値（参照画素の画素値）の重み付き平均で得られた画素値で置き換えるような処理であるとする。なお、重み付き平均の重み係数の具体的な定め方としては、一例として前述した特許文献１に記載されているような方法を用いることができる。
【0032】
ノイズ増加部１４は、補間部１３で補間処理が適用された後の画像のなかの補間済み画素の画素値のノイズを増加させるようなノイズ増加処理を実行する。ノイズ増加部１４は、補間済み画素の画素値と、画素値とノイズ分散の関係を表す数理モデルと、に基づいて目標ノイズを決定する。そして、ノイズ増加部１４は、例えば前述したように、所定の確率分布から生成された乱数を加算する方法を用い、目標ノイズを基に補間済み画素に対するノイズ増加処理を行う。
【0033】
なお、本実施形態では、ノイズ増加部１４が目標ノイズを決定する機能を含む例を挙げるが、目標ノイズを決定するノイズ決定部が別途設けられていてもよい。また、本実施形態では、所定の確率分布から乱数を生成する例を挙げているが、乱数は他の方法により取得してもよい。例えば、ＲＯＭ１０４に記憶された１以上の擬似乱数から選択して取得してもよい。
【0034】
処理部１５は、ノイズ増加部１４によるノイズ増加処理後の画像に対し、ノイズ低減処理、圧縮符号化処理、ガンマ補正処理、超解像処理、鮮鋭化処理などの所定の各種処理を実行する。
画像出力部１６は、処理部１５による所定の各種処理後の画像を、不図示の外部の表示装置などに出力する通信インターフェースである。
画像出力部１６は、処理部１５による所定の各種処理後の画像を、不図示の外部の表示装置などに出力する通信インターフェースである。
【0035】
なお、図１に示した機能構成はあくまで一例であり、本実施形態に係る画像処理装置１の機能構成を限定するものではない。例えば画像処理装置１は、画像取得部１１と欠陥情報取得部１２と補間部１３とノイズ増加部１４と処理部１５と画像出力部１６と、光学系及び撮像素子を含む撮像部とを含む撮像装置を兼ねた画像処理装置であってもよい。
【0036】
図３は、本実施形態に係る画像処理装置１における処理の流れを示したフローチャートである。なお、以降の各フローチャートにおいて、参照符号のＳは処理ステップ（処理工程）を表しているとする。
【0037】
まずＳ１の処理として、画像処理装置１の画像取得部１１は、外部の撮像装置から画像を取得する。
次にＳ２の処理として、欠陥情報取得部１２は、外部の撮像装置から欠陥画素情報を取得する。
続けて画像処理装置１では、画像取得部１１が取得した画像に対し、欠陥情報取得部１２が取得した欠陥画素情報に含まれる欠陥画素の位置ごとに、Ｓ３およびＳ４のループ処理を実施する。
次にＳ２の処理として、欠陥情報取得部１２は、外部の撮像装置から欠陥画素情報を取得する。
続けて画像処理装置１では、画像取得部１１が取得した画像に対し、欠陥情報取得部１２が取得した欠陥画素情報に含まれる欠陥画素の位置ごとに、Ｓ３およびＳ４のループ処理を実施する。
【0038】
Ｓ３において、補間部１３は、欠陥画素に対し、その欠陥画素とは異なる画素を参照画素とした補間処理を適用する。
Ｓ４において、ノイズ増加部１４は、補間部１３による補間処理後の補間済み画素の画素値のノイズを増加させる。
そして、欠陥画素の位置ごとのＳ３およびＳ４のループ処理が終了すると、画像処理装置１の処理は、Ｓ５に進む。
Ｓ４において、ノイズ増加部１４は、補間部１３による補間処理後の補間済み画素の画素値のノイズを増加させる。
そして、欠陥画素の位置ごとのＳ３およびＳ４のループ処理が終了すると、画像処理装置１の処理は、Ｓ５に進む。
【0039】
Ｓ５に進むと、処理部１５は、Ｓ３とＳ４のループ処理が完了した画像、つまり各補間済み画素に対してノイズ増加処理がなされた後の画像に対し、ノイズ低減処理、圧縮符号化処理、ガンマ補正処理、超解像処理、鮮鋭化処理等の所定の各種処理を実行する。
その後、Ｓ６の処理として、画像出力部１６は、処理部１５による処理が適用された後の画像を、不図示の外部の表示装置などに出力する。
その後、Ｓ６の処理として、画像出力部１６は、処理部１５による処理が適用された後の画像を、不図示の外部の表示装置などに出力する。
【0040】
以上説明したように、第１の実施形態の画像処理装置１は、欠陥画素に対して補間処理を適用した後、その補間済み画素のノイズを増加させるような処理を行う。すなわち本実施形態によれば、補間済み画素の実際のノイズ分散と、画素欠陥が発生していなかったと仮定した場合のノイズ分散と、の差を低減可能となる。
したがって、その後に処理部１５において例えばノイズ低減処理が実行される場合であっても、そのノイズ低減処理で想定されるノイズ分散と実際のノイズ分散との差異に起因する画質劣化が低減されることになる。また処理部１５にて非可逆的な圧縮符号化処理が実行される場合でも、空間周波数特性の変性やアーチファクト等の画質劣化の発生を低減することができる。また本実施形態によれば、光子数の統計的変動や熱などに起因するノイズを低減するノイズ低減処理の適用によって生じ得る画質劣化の発生についても低減することができる。
したがって、その後に処理部１５において例えばノイズ低減処理が実行される場合であっても、そのノイズ低減処理で想定されるノイズ分散と実際のノイズ分散との差異に起因する画質劣化が低減されることになる。また処理部１５にて非可逆的な圧縮符号化処理が実行される場合でも、空間周波数特性の変性やアーチファクト等の画質劣化の発生を低減することができる。また本実施形態によれば、光子数の統計的変動や熱などに起因するノイズを低減するノイズ低減処理の適用によって生じ得る画質劣化の発生についても低減することができる。
【0041】
＜第２の実施形態＞
前述した第１の実施形態では、画素欠陥が発生していなかったと仮定した場合のノイズを目標ノイズとして用いる例を挙げた。
これに対し、以下の第２の実施形態では、補間済み画素を含む画像に対してノイズ低減処理を実行した後の画像を用いて目標ノイズを決定する構成例について説明する。
図４は、第２の実施形態に係る画像処理装置４１の機能構成例を示した図である。なお、図４の構成において、前述した第１の実施形態の図１の構成と概ね同様の機能部の説明は適宜省略する。第２の実施形態に係る画像処理装置４１は、前述した図１と同様の構成に加えて、補間画素ノイズ低減部１７を備えている。
前述した第１の実施形態では、画素欠陥が発生していなかったと仮定した場合のノイズを目標ノイズとして用いる例を挙げた。
これに対し、以下の第２の実施形態では、補間済み画素を含む画像に対してノイズ低減処理を実行した後の画像を用いて目標ノイズを決定する構成例について説明する。
図４は、第２の実施形態に係る画像処理装置４１の機能構成例を示した図である。なお、図４の構成において、前述した第１の実施形態の図１の構成と概ね同様の機能部の説明は適宜省略する。第２の実施形態に係る画像処理装置４１は、前述した図１と同様の構成に加えて、補間画素ノイズ低減部１７を備えている。
【0042】
補間画素ノイズ低減部１７は、補間部１３で補間処理が適用された後の画像において、補間済み画素を対象にノイズ低減処理を実行する。ここでノイズ低減処理の対象は、補間済み画素のみに限定されず、例えば補間済み画素を含む局所領域が対象となされてもよいし、画像全体が対象となされてもよい。
【0043】
第２の実施形態の場合、ノイズ増加部１４は、補間画素ノイズ低減部１７にてノイズ低減処理が実行された後の補間済み画素の画素値と、前述の数理モデルとに基づいて、目標ノイズの分散を推定する。そして、ノイズ増加部１４は、その推定した目標ノイズの分散を基に、補間部１３での補間処理後の補間済み画素の画素値のノイズ分散がより大きくなるようなノイズ増加処理を行う。なお、第２の実施形態でもノイズ増加部１４が目標ノイズを決定する機能を含む例を挙げているが、目標ノイズはノイズ増加部１４とは別の機能部として設けられたノイズ決定部が決定してもよい。
【0044】
図５は、第２の実施形態に係る画像処理装置４１における処理の流れを示したフローチャートである。なお、図５のフローチャートにおいて、前述した第１の実施形態の図３に示したフローチャートと概ね同様の処理ステップの説明は適宜省略する。第２の実施形態に係るフローチャートの場合、ループ処理は、Ｓ３とＳ４との間にＳ７の処理が加わったものとなされている。
【0045】
第２の実施形態の場合、Ｓ７の処理として、補間画素ノイズ低減部１７は、Ｓ３において補間部１３による補間処理後の画像について、前述したように補間済み画素、または補間済み画素を含む局所領域、または画像全体を対象として、ノイズ低減処理を実行する。
【0046】
次にＳ４において、ノイズ増加部１４は、補間画素ノイズ低減部１７によるノイズ低減処理後の補間済み画素の画素値と数理モデルとを基に目標ノイズの分散を推定する。そして、ノイズ増加部１４は、その推定した目標ノイズの分散を基に、補間部１３での補間処理後の補間済み画素の画素値のノイズ分散がより大きくなるようにする。すなわち第２の実施形態の場合、Ｓ４において、ノイズ増加部１４は、ノイズ低減処理後の補間済み画素の画素値と数理モデルとを用いて推定した目標ノイズの分散を基に、補間済み画素のノイズ増加処理を行う。なお、このフープ処理終了後のＳ５以降の処理は前述同様である。
【0047】
第２の実施形態によれば、ノイズ低減処理が実行された後の補間済み画素の画素値を用いることで、数理モデルに基づく補間済み画素のノイズ分散の推定精度が向上するため、より好適なノイズ増加が実現されることになる。
【0048】
なお第２の実施形態の場合、補間部１３による補間処理後の画像に対して補間画素ノイズ低減部１７がノイズ低減処理を実行する例を挙げているが、それら補間処理とノイズ低減処理の順序は問わない。すなわち例えば、画像取得部１１が取得した画像に対してノイズ低減処理を実行し、その後に補間処理が実行されてもよい。
【0049】
＜第３の実施形態＞
次に第３の実施形態として、前述した第１の実施形態同様に、補間済み画素に対するノイズ増加は乱数の加算により実現するが、当該乱数を求める際に、参照画素に対しノイズ低減処理を実行した画像を用いる場合について説明する。
図６は、第３の実施形態に係る画像処理装置６１の機能構成例を示した図である。なお、図６の構成において、前述した第１の実施形態の図１の構成と概ね同様の機能部の説明は適宜省略する。第３の実施形態に係る画像処理装置６１は、前述した図１と同様の構成に加えて参照画素ノイズ低減部１８を有する一方で、図１のノイズ増加部１４に代えて乱数加算部１９を備えている。
次に第３の実施形態として、前述した第１の実施形態同様に、補間済み画素に対するノイズ増加は乱数の加算により実現するが、当該乱数を求める際に、参照画素に対しノイズ低減処理を実行した画像を用いる場合について説明する。
図６は、第３の実施形態に係る画像処理装置６１の機能構成例を示した図である。なお、図６の構成において、前述した第１の実施形態の図１の構成と概ね同様の機能部の説明は適宜省略する。第３の実施形態に係る画像処理装置６１は、前述した図１と同様の構成に加えて参照画素ノイズ低減部１８を有する一方で、図１のノイズ増加部１４に代えて乱数加算部１９を備えている。
【0050】
参照画素ノイズ低減部１８は、補間部１３で補間処理が適用された後の画像において、参照画素を対象にノイズ低減処理を実行する。ここでノイズ低減処理の対象は、参照画素のみに限定されず、例えば参照画素を含む局所領域が対象となされてもよいし、画像全体が対象となされてもよい。
【0051】
乱数加算部１９は、補間部１３による補間処理後の画像において、前述した補間済み画素に対して乱数を加算する処理を実行することで、補間済み画像のノイズを増加させる。すなわち第３の実施形態の場合、乱数加算部１９は補間済み画素に対して乱数を加算することで、前述した実施形態のノイズ増加部と同様にノイズを増加させる。また、第３の実施形態の場合、乱数加算部１９は、参照画素にノイズ低減処理を実行した後の画素値と数理モデルとを用いて目標ノイズを決定する。なお第３の実施形態においても、目標ノイズは、乱数加算部１９とは別の機能部として設けられたノイズ決定部によって決定されてもよい。
【0052】
第３の実施形態において、乱数加算部１９は、前述の第１の実施形態でも説明したのと同様にして、所定の確率分布から乱数を生成し、また確率分布の分散は前述同様の目標ノイズの分散と補間済み画素のノイズ分散との差とする。補間済み画素のノイズ分散は、前述した式（３）に基づいて算出することができるが、当該算出の際には参照画素のノイズ分散が必要となる。乱数加算部１９は、この参照画素のノイズ分散を、参照画素ノイズ低減部１８によるノイズ低減処理後の参照画素の画素値と、数理モデルと、を用いて推定する。
【0053】
図７は、第３の実施形態に係る画像処理装置６１における処理の流れを示したフローチャートである。なお、図７のフローチャートにおいて、前述した図３のフローチャートと概ね同様の処理ステップの説明は適宜省略する。第３の実施形態に係るフローチャートの場合、Ｓ３の処理後、Ｓ８とＳ９の処理が行われ、これらＳ３からＳ９までがループ処理となされている。
【0054】
第３の実施形態において、Ｓ８の処理として、参照画素ノイズ低減部１８は、Ｓ３での補間部１３による補間処理後の画像に対し、参照画素、またはその参照画素を含む局所領域、または画像全体を対象として、ノイズ低減処理を実行する。
次にＳ９の処理として、乱数加算部１９は、補間部１３による補間処理後の画像において、補間済み画素を対象に乱数加算処理を実行する。
そして、第３の実施形態の画像処理装置６１では、欠陥画素の位置ごとのＳ３からＳ９までのループ処理が終了するとＳ５の処理に進む。Ｓ５以降の処理は前述同様である。
次にＳ９の処理として、乱数加算部１９は、補間部１３による補間処理後の画像において、補間済み画素を対象に乱数加算処理を実行する。
そして、第３の実施形態の画像処理装置６１では、欠陥画素の位置ごとのＳ３からＳ９までのループ処理が終了するとＳ５の処理に進む。Ｓ５以降の処理は前述同様である。
【0055】
第３の実施形態によれば、ノイズ低減処理が実行された後の参照画素の画素値を用いることで、前述した数理モデルを用いた参照画素のノイズ分散の推定精度が向上するため、確率分布の分散をより高精度に決定できる。その結果、より好適な乱数加算処理（ノイズ増加処理）の実現が可能となる。
【0056】
＜ハードウェア構成＞
図８は、前述した第１から第３の各実施形態に係る各画像処理装置のいずれにも適用可能なハードウェア構成の一例を示した図である。
各実施形態の画像処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、通信Ｉ／Ｆ部１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０４を備える。ＣＰＵ１０１、通信Ｉ／Ｆ部１０２、ＲＡＭ１０３、及びＲＯＭ１０４のそれぞれは、データバス１０５を介して相互に情報を送受信可能に接続されている。
図８は、前述した第１から第３の各実施形態に係る各画像処理装置のいずれにも適用可能なハードウェア構成の一例を示した図である。
各実施形態の画像処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、通信Ｉ／Ｆ部１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０４を備える。ＣＰＵ１０１、通信Ｉ／Ｆ部１０２、ＲＡＭ１０３、及びＲＯＭ１０４のそれぞれは、データバス１０５を介して相互に情報を送受信可能に接続されている。
【0057】
ＣＰＵ１０１は、ＲＯＭ１０４に記憶された制御用プログラムを読み出してＲＡＭ１０３に展開した上で、当該制御用プログラムを実行することで、各種制御を行う。ＲＡＭ１０３は、ワークエリアやＣＰＵ１０１により実行されるプログラムを展開するための一時記憶領域として用いられる。
【0058】
またＣＰＵ１０１は、ＲＯＭ１０４に記憶された、第１から第３の各実施形態のいずれかに係る画像処理プログラムを読み出してＲＡＭ１０３に展開した上で、当該画像処理プログラムを実行することで、前述の各実施形態の機能構成に係る処理を行う。すなわち本実施形態に係る画像処理プログラムには補間処理プログラムが含まれ、前述した補間部１３での補間処理は、ＣＰＵ１０１がＲＯＭ１０４に格納された補間処理プログラムを実行することにより実現され得る。また画像処理プログラムにはノイズ増加処理プログラムが含まれ、前述したノイズ増加部１４でのノイズ増加処理は、ＣＰＵ１０１がＲＯＭ１０４に格納されたノイズ増加処理プログラムを実行することで実現され得る。また画像処理プログラムには各種処理プログラムが含まれ、前述した処理部１５での各種処理は、ＣＰＵ１０１がＲＯＭ１０４に格納された各種処理プログラムを実行することで実現され得る。また画像処理プログラムには補間画素ノイズ低減処理プログラムが含まれ、前述の補間画素ノイズ低減部１７での補間画素ノイズ低減処理は、ＣＰＵ１０１がＲＯＭ１０４に格納された補間画素ノイズ低減処理プログラムを実行することで実現され得る。また画像処理プログラムには参照画素ノイズ低減処理プログラムが含まれ、前述した参照画素ノイズ低減部１８でのノイズ低減処理は、ＣＰＵ１０１がＲＯＭ１０４に格納された参照画素ノイズ低減処理プログラムを実行することで実現され得る。さらに画像処理プログラムには乱数加算処理プログラムが含まれ、前述した乱数加算部１９での乱数加算処理は、ＣＰＵ１０１がＲＯＭ１０４に格納された乱数加算処理プログラムを実行することで実現され得る。
【0059】
通信Ｉ／Ｆ部１０２は、前述した各実施形態の画像処理装置を外部の撮像装置や表示装置などに接続させるための通信Ｉ／Ｆであり、当該通信Ｉ／Ｆを介して他の装置との間で各種情報の送受信を行う。通信Ｉ／Ｆ部１０２を介して外部装置から受信した画像データ等は、データバス１０５を介してＣＰＵ１０１、ＲＡＭ１０３、及びＲＯＭ１０４に送受信される。また前述した実施形態における画像取得部１１、欠陥情報取得部１２、および画像出力部１６は、通信Ｉ／Ｆ部１０２により実現され得る。
【0060】
なお、前述した第１から第３の各実施形態においては、欠陥画素に対し、その欠陥画素とは異なる画素を参照画素として補間処理を適用し、その補間処理が適用された後の補間済み画素のノイズを増加させるようにしている。ここで、ノイズを増加させることで所定の効果を得る技術としては、前述した特許文献２に記載されているような、画像のグラデーション領域で発生しやすい階調段差を抑制するために画像にノイズを付加する技術もある。しかしながら、特許文献２に記載の技術は、階調段差という所定の画質劣化の抑制を目的としたものである。これに対し、本実施形態の画像処理は、補間処理により小さくなったノイズを補償するものであって、本実施形態の画像処理によればノイズ自体を最適化可能としている。このように、特許文献２に記載の技術と本実施形態の画像処理とでは、構成が異なるのみならず、目的と効果が異なっている。
【0061】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0062】
各実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
画像の欠陥画素に対し、前記欠陥画素とは異なる画素を参照画素として補間処理を適用する補間手段と、
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加手段と、
を有することを特徴とする画像処理装置。
（構成２）
前記ノイズ増加手段にて前記ノイズを増加させた補間済み画素を含む画像に対して、ノイズ低減処理と圧縮符号化処理の少なくともいずれかを適用することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記補間済み画素の画素値と、画素値とノイズの分散との関係を表す数理モデルと、を基に、前記補間済み画素のノイズを増加させる際の目標ノイズを決定するノイズ決定手段を有することを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記補間済み画素に対して第１のノイズ低減処理を適用する第１のノイズ低減手段を有し、
前記ノイズ決定手段は、前記補間済み画素に前記第１のノイズ低減処理を適用した後の画素値と、前記数理モデルとを用いて、前記目標ノイズを決定することを特徴とする構成３に記載の画像処理装置。
（構成５）
前記第１のノイズ低減手段は、前記画像のうち前記補間済み画素を含む局所領域、または前記画像に対して、前記第１のノイズ低減処理を適用することを特徴とする構成４に記載の画像処理装置。
（構成６）
前記参照画素に対して第２のノイズ低減処理を適用する第２のノイズ低減手段を有し、
前記ノイズ決定手段は、前記補間済み画素の画素値と、前記参照画素に前記第２のノイズ低減処理を適用した後の画素値と、前記数理モデルとを用いて、前記目標ノイズを決定することを特徴とする構成３に記載の画像処理装置。
（構成７）
前記第２のノイズ低減手段は、前記画像のうち前記参照画素を含む局所領域、または前記画像に対して、前記第２のノイズ低減処理を適用することを特徴とする構成６に記載の画像処理装置。
（構成８）
前記ノイズ増加手段は、前記補間済み画素に乱数を加算することによって前記ノイズを増加させることを特徴とする構成１乃至７のいずれか１構成に記載の画像処理装置。
（構成９）
前記ノイズ増加手段は、１以上の擬似乱数から選択した前記乱数を加算することを特徴とする構成８に記載の画像処理装置。
（構成１０）
前記ノイズ増加手段は、分布パラメータとして分散を陽または陰に含む確率分布を基に、前記乱数を生成することを特徴とする構成８に記載の画像処理装置。
（構成１１）
前記確率分布はガウス分布であることを特徴とする構成１０に記載の画像処理装置。
（構成１２）
前記分布パラメータにおける前記分散は、目標ノイズの分散と、前記乱数の加算による前記補間済み画素のノイズ分散と、の差に略一致することを特徴とする構成１０に記載の画像処理装置。
（構成１３）
前記補間処理は、前記参照画素の画素値の重み付き平均による画素値を前記補間済み画素の画素値とする処理であり、
前記ノイズ増加手段は、前記重み付き平均の重み係数と前記参照画素のノイズの分散とを用いて、前記補間済み画素のノイズの分散を取得することを特徴とする構成１２に記載の画像処理装置。
（構成１４）
前記ノイズ増加手段は、前記参照画素のノイズの分散を、画素値とノイズの分散との関係を表す数理モデルを用いて決定することを特徴とする構成１３に記載の画像処理装置。
（構成１５）
前記ノイズ増加手段は、前記参照画素に対してノイズ低減処理を行った後の画素値と、前記数理モデルとを用いて、前記参照画素のノイズの分散を算出することを特徴とする構成１４に記載の画像処理装置。
（構成１６）
前記数理モデルは、均一かつ複数段階の明るさの複数の各画像の画素値の平均と分散との関係を表すモデルであることを特徴とする構成３乃至７、１４、１５のいずれか１構成に記載の画像処理装置。
（方法１）
画像の欠陥画素に対し、前記欠陥画素とは異なる画素を参照画素として補間処理を適用する補間工程と、
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加工程と、
を有することを特徴とする画像処理方法。
（プログラム１）
コンピュータを、構成１乃至１６のいずれか１構成に記載の画像処理装置として機能させるためのプログラム。
（構成１）
画像の欠陥画素に対し、前記欠陥画素とは異なる画素を参照画素として補間処理を適用する補間手段と、
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加手段と、
を有することを特徴とする画像処理装置。
（構成２）
前記ノイズ増加手段にて前記ノイズを増加させた補間済み画素を含む画像に対して、ノイズ低減処理と圧縮符号化処理の少なくともいずれかを適用することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記補間済み画素の画素値と、画素値とノイズの分散との関係を表す数理モデルと、を基に、前記補間済み画素のノイズを増加させる際の目標ノイズを決定するノイズ決定手段を有することを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記補間済み画素に対して第１のノイズ低減処理を適用する第１のノイズ低減手段を有し、
前記ノイズ決定手段は、前記補間済み画素に前記第１のノイズ低減処理を適用した後の画素値と、前記数理モデルとを用いて、前記目標ノイズを決定することを特徴とする構成３に記載の画像処理装置。
（構成５）
前記第１のノイズ低減手段は、前記画像のうち前記補間済み画素を含む局所領域、または前記画像に対して、前記第１のノイズ低減処理を適用することを特徴とする構成４に記載の画像処理装置。
（構成６）
前記参照画素に対して第２のノイズ低減処理を適用する第２のノイズ低減手段を有し、
前記ノイズ決定手段は、前記補間済み画素の画素値と、前記参照画素に前記第２のノイズ低減処理を適用した後の画素値と、前記数理モデルとを用いて、前記目標ノイズを決定することを特徴とする構成３に記載の画像処理装置。
（構成７）
前記第２のノイズ低減手段は、前記画像のうち前記参照画素を含む局所領域、または前記画像に対して、前記第２のノイズ低減処理を適用することを特徴とする構成６に記載の画像処理装置。
（構成８）
前記ノイズ増加手段は、前記補間済み画素に乱数を加算することによって前記ノイズを増加させることを特徴とする構成１乃至７のいずれか１構成に記載の画像処理装置。
（構成９）
前記ノイズ増加手段は、１以上の擬似乱数から選択した前記乱数を加算することを特徴とする構成８に記載の画像処理装置。
（構成１０）
前記ノイズ増加手段は、分布パラメータとして分散を陽または陰に含む確率分布を基に、前記乱数を生成することを特徴とする構成８に記載の画像処理装置。
（構成１１）
前記確率分布はガウス分布であることを特徴とする構成１０に記載の画像処理装置。
（構成１２）
前記分布パラメータにおける前記分散は、目標ノイズの分散と、前記乱数の加算による前記補間済み画素のノイズ分散と、の差に略一致することを特徴とする構成１０に記載の画像処理装置。
（構成１３）
前記補間処理は、前記参照画素の画素値の重み付き平均による画素値を前記補間済み画素の画素値とする処理であり、
前記ノイズ増加手段は、前記重み付き平均の重み係数と前記参照画素のノイズの分散とを用いて、前記補間済み画素のノイズの分散を取得することを特徴とする構成１２に記載の画像処理装置。
（構成１４）
前記ノイズ増加手段は、前記参照画素のノイズの分散を、画素値とノイズの分散との関係を表す数理モデルを用いて決定することを特徴とする構成１３に記載の画像処理装置。
（構成１５）
前記ノイズ増加手段は、前記参照画素に対してノイズ低減処理を行った後の画素値と、前記数理モデルとを用いて、前記参照画素のノイズの分散を算出することを特徴とする構成１４に記載の画像処理装置。
（構成１６）
前記数理モデルは、均一かつ複数段階の明るさの複数の各画像の画素値の平均と分散との関係を表すモデルであることを特徴とする構成３乃至７、１４、１５のいずれか１構成に記載の画像処理装置。
（方法１）
画像の欠陥画素に対し、前記欠陥画素とは異なる画素を参照画素として補間処理を適用する補間工程と、
前記補間処理が適用された補間済み画素のノイズを増加させるノイズ増加工程と、
を有することを特徴とする画像処理方法。
（プログラム１）
コンピュータを、構成１乃至１６のいずれか１構成に記載の画像処理装置として機能させるためのプログラム。
【符号の説明】
【0063】
１，４１，６１：画像処理装置、１３：補間部、１４：ノイズ増加部、１５：処理部、１７：補間画素ノイズ低減部、１８：参照画素ノイズ低減部、１９：乱数加算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】