特許 5774456 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5774456

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月9日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/367 20110101AFI20150820BHJP

【ＦＩ】

   H04N5/335 670

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2011-261188(P2011-261188)

(22)【出願日】2011年11月30日

(65)【公開番号】特開2013-115676(P2013-115676A)

(43)【公開日】2013年6月10日

【審査請求日】2014年2月28日

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】日立マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】野中 雄一

【審査官】 鈴木 肇

(56)【参考文献】

【文献】 特開２０１１−２０５５８６（ＪＰ，Ａ）

【文献】 特開２００６−１４８２３０（ＪＰ，Ａ）

【文献】 特開２００５−２２３７９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０ − ５／３７８

Ｈ０４Ｎ ９／０４ − ９／１１

(57)【特許請求の範囲】

【請求項1】

被写体を撮像する撮像手段と、前記撮像手段からの出力信号を用いて注目画素の欠陥判定を行う欠陥判定手段と、前記欠陥判定手段により前記注目画素が欠陥であると判定された場合に、補間値を前記注目画素の値として出力する欠陥補正手段と、を有し、当該欠陥補正手段が当該注目画素と当該注目画素の周囲にある比較対象画素との差の値範囲並びに差分の分布に基づいて当該比較対象画素に対する補正量を調整した値を当該補間値として出力する撮像装置において、
前記欠陥補正手段は、前記注目画素と前記比較対象画素との前記差分が所定の閾値よりも小さな比較対象画素を除外して、当該比較対象画素の加重平均値を計算する手段と、前記注目画素と前記比較対象画素との前記差分が所定の閾値よりも小さな比較対象画素を除外して、当該差分の絶対値の最大値と最小値とを計算する手段と、前記加重平均値と前記差分の絶対値における最大値−最小値の値とを用いて、前記注目画素の値と前記比較対象画素の前記加重平均値との間の値で前記補間値を算出する手段と、を有することを特徴とする撮像装置。

【請求項2】

請求項１記載の撮像装置において、
前記所定の閾値は、前記注目画素の色毎に予め設定された値であることを特徴とする撮像装置。

【請求項3】

請求項１記載の撮像装置において、
前記欠陥補正手段は、前記注目画素の信号と前記比較対象画素の信号とを入力し、当該注目画素と当該比較対象画素との前記差の値の範囲並びに前記差分の分布に応じて、あらかじめ定められる前記比較対象画素のそれぞれの重み係数と混合係数とを算出する分布判定手段と、前記比較対象画素の値に対して前記重み係数を乗じて前記加重平均値を算出する補間信号生成手段と、前記注目画素の信号の出力と前記算出された前記比較対象画素の前記加重平均値とを前記混合係数によって混合し、当該注目画素の信号の出力と当該比較対象画素の当該加重平均値との間の値で前記補間値を算出する混合手段と、を有することを特徴とする撮像装置。

【請求項4】

請求項３記載の撮像装置において、
前記分布判定手段は、前記比較対象画素の出力の分散が所定閾値以下であれば当該注目画素と比して当該比較対象画素寄りに、当該所定閾値を超えていれば当該比較対象画素と比して当該注目画素寄りになるように前記混合係数を算出することを特徴とする撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特許文献１がある。該公報には、「レンズ１１が非合焦状態にあるときの撮像素子１３の輝度レベルを用いて欠陥検出回路２４で欠陥検出を行い、その検出した欠陥画素のアドレスをシステムコントローラ２６内に保持し、そのアドレス位置で欠陥補正を行うようにする。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−３２８１３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

撮像素子においては、製造工程において生じる画素欠陥と、温度変化や宇宙線などの放射線による経時変化で生じる画素欠陥とがあり、画素欠陥には欠陥箇所の輝度が高くなるいわゆる「白欠陥」と欠陥箇所の輝度が低くなるいわゆる「黒欠陥」とがある。

【0005】

製造工程において生じる画素欠陥は固定位置であるため、工場出荷時に欠陥画素の出力を近隣画素の出力を補間した値で補正する欠陥補正を施してから出荷することがおこなわれている。

【0006】

しかしながら、温度変化や経時変化で生じた撮像素子の画素欠陥には補間できないため画質を損なう問題があった。

【0007】

この問題を解決する例として、特許文献１では、レンズが非合焦状態にあるときの固体撮像素子の出力信号に基づいて画素欠陥検出を行うことにより、経時変化で現れる欠陥画素にも対応できることが記載されている。

【0008】

しかしながら、特許文献１では、白欠陥は、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が正の場合に白欠陥と判定し、黒欠陥は、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が負の場合に黒欠陥であると判定している。

【0009】

このため、白黒の撮像装置であれば正しく判定できるが、複数の色フィルタを配置したカラー撮像装置においては、同一色の画素との距離が離れていたり、隣の画素の輝度への重み係数が異なっているために、固定の閾値では、欠陥を補正できながったり、欠陥画素で無いにもかかわらず欠陥画素として補正してしまう問題があった。また、欠陥補正においてはその欠陥が目立ちやすいか否かに応じた補正の調整については何ら考慮されていなかった。

【0010】

本発明は、上記課題を解決し、カラー撮像装置においても、より精度の高い画素結果検出及び画素欠陥補正が可能な撮像装置を提供するものである。

【課題を解決するための手段】

【0011】

上記課題を解決するため、本発明は、被写体を撮像する撮像手段と、撮像手段からの出力信号を用いて注目画素の欠陥判定を行う欠陥判定手段と、欠陥判定手段により注目画素が欠陥であると判定された場合に、補間値を注目画素の値として出力する欠陥補正手段と、を有し、当該欠陥補正手段が当該注目画素と当該注目画素の周囲にある比較対象画素との差の値範囲並びに差分の分布に基づいて当該比較対象画素に対する補正量を調整した値を当該補間値として出力する撮像装置において、欠陥補正手段は、注目画素と比較対象画素との差分が所定の閾値よりも小さな比較対象画素を除外して、当該比較対象画素の加重平均値を計算する手段と、注目画素と比較対象画素との差分が所定の閾値よりも小さな比較対象画素を除外して、当該差分の絶対値の最大値と最小値とを計算する手段と、加重平均値と差分の絶対値における最大値−最小値の値とを用いて、注目画素の値と比較対象画素の加重平均値との間の値で補間値を算出する手段と、を有することを特徴とする。

【発明の効果】

【0020】

本発明によれば、カラー撮像装置においても精度の高い画素欠陥検出及び画素欠陥補正が可能な撮像装置を提供することができる。

【図面の簡単な説明】

【0021】

【図1】本発明に係る撮像装置の一構成例を示す図である。

【図2】欠陥検出・補正回路の第一の構成例を示す図である。

【図3】比較器２０１の動作フローを示す図である。

【図4】閾値選択回路２０３の補足説明のための画素の一例を示す図である。

【図5】閾値選択回路２０３の補足説明のための画素の他の例を示す図である。

【図6】欠陥検出・補正回路の第二の構成例を示す図である。

【図7】第一の欠陥検出回路の構成例を示す図である。

【図8】第一の欠陥検出回路の補足説明図である。

【図9】欠陥検出回路の他の構成例を示す図である。

【図10】本発明に係る欠陥画素検出に好適な処理アルゴリズムを示す図である。

【図11】第二の欠陥検出回路の構成例を示す図である。

【図12】第三の欠陥検出回路の構成例を示す図である。

【図13】欠陥検出・補正回路の他の構成例を示す図である。

【図14】第二の欠陥補正回路の構成例を示す図である。

【図15】混合係数計算の補足説明図である。

【図16】補間値計算の補足説明図である。

【図17】第一の欠陥補正回路の構成例を示す図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態について図面を用いて説明する。最初に、本発明の撮像装置の技術的概要を列挙すれば、基本機能は欠陥検出する画素の色情報に応じて欠陥か否かを判定する閾値を切り替えるものである。また、水平方向と垂直方向にそれぞれN*M画素(N,Mは奇数)の範囲の中心の画素を注目画素（欠陥判定をする画素）とし、比較対象画素を注目画素と同色の周囲画素として、同一の色のみを使用して注目画素が欠陥か否かを判定するものである。更に、水平方向と垂直方向にそれぞれN*M画素(N,Mは奇数)の範囲の中心の画素を注目画素（欠陥判定をする画素）とし、比較対象画素を緑色として、注目画素からの距離によって緑色のグループを分け平均値を算出し、グループ毎の平均値の差によって注目画素が欠陥か否かを判定するものである。加えて、水平方向と垂直方向にそれぞれN*M画素(N,Mは奇数)の範囲の中心の画素を注目画素（欠陥判定をする画素）とし、比較対象画素を注目画素と同色の周囲画素として、注目画素と比較対象画素の差分が閾値よりも小さな比較対象画素を除外して、比較対象画素の平均値と注目画素と比較対象画素の差分の絶対値の最大値と最小値を計算し、比較対象画素の平均値と差分の絶対値の最大値−最小値によって注目画素と比較対象画素の平均値の間の値で補間値を計算し、注目画素が欠陥の場合には、上記補間値を注目画素の値として出力するものである。これにより、欠陥と判定する画素の輝度に対する重み係数を考慮した閾値の切り替えや、判定を施し、さらに、ホワイトバランスの状態によって閾値の設定や判定方法を変えることで、カラー撮像装置においても、より精度の高い画素欠陥検出を行うことが可能となり、より精度の高い欠陥補正を施すことが可能となる。また、同一の色のみを使用して欠陥判定するため、例えばホワイトバランスがずれていた際にも、より精度の高い画素欠陥検出が可能となる。更に、欠陥判定画素との距離が近い画素の出力を用いて欠陥判定をするため、より周波数成分の高い被写体においても正しい画素欠陥検出が可能となる。その他、目立ちやすい欠陥と目立ちにくい欠陥とを切り分け、目立ちやすい欠陥では補正を強め、目立ちにくい欠陥では補正を弱めることで、大きな補正効果を得ることと、大きく画像を損ねないことの２つを両立し、かつ、その２つの間をバランスさせた欠陥補正を行うことが可能となる。

【実施例1】

【0023】

本実施形態では、撮像装置の一形態であるビデオカメラを例に用いて説明する。本発明に係る撮像装置の第一の実施形態の構成例は、図１に示す通り、撮像レンズ１０１と、撮像素子１０２と、Ａ／Ｄ変換回路１０３と、欠陥検出・補正回路１０４と、信号処理回路１０５と、タイミングジェネレータ１０６とを適宜用いて構成される。以下、本撮像装置による欠陥検出・欠陥補正について説明する。まず、撮像レンズ１０１を介して被写体から入射された光は撮像素子１０２に照射され、被写体像が結像される。撮像素子１０２はタイミングジェネレータ１０６による駆動パルスによって水平と垂直の走査がなされ、被写体像を撮像し電気信号を発生する。この電気信号はＡ／Ｄ変換回路１０３でデジタル信号に変換され、欠陥検出・補正回路１０４に入力する。欠陥検出・補正回路１０４では、タイミングジェネレータ１０６による色情報により、欠陥検出する閾値（白欠陥用/黒欠陥用）を適宜切り替え、入力信号と近隣の画素との差と閾値（白欠陥用/黒欠陥用）の関係により「正常」と判断した場合には入力信号を信号処理回路１０５に出力し、「欠陥」と判断した場合には近隣の画素から補間した信号を信号処理回路１０５に出力する。信号処理回路１０５はノイズ除去やガンマ補正などの各種カメラ信号処理を施し、TV信号などの信号に変換後出力する。

【0024】

次に、欠陥検出・補正回路１０４の第一の構成例の詳細について、図２を用いて説明する。図２に示す通り、欠陥検出・補正回路１０４の第一構成例は、比較器２０１と、データラッチ２０２と、閾値選択回路２０３とを適宜用いて構成される。欠陥検出・補正回路１０４への入力信号は、比較器２０１とデータラッチ２０２に供給される。データラッチ２０２では１画素前の入力信号を保持して、入力画素に対して１画素前の信号を逐次比較器２０１に出力する。一方、閾値選択回路２０３には、入力画素に対する色情報が入力される。閾値選択回路２０３では、あらかじめ各色に対する閾値（白欠陥用/黒欠陥用）が設定されており、入力された色情報の種類に応じた閾値（白欠陥用/黒欠陥用）を選択して、比較器２０１に出力する。

【0025】

ここで、比較器２０１の動作について、図３を用いて補足する。比較器２０１では、入力画素の信号量が白欠陥用閾値とデータラッチ２０２との信号量の和よりも大きいか判定し（STEP1）、入力画素の信号量が白欠陥用閾値とデータラッチ２０２との信号量の和よりも大きい時に「白欠陥」と判定し、近隣の画素から補間した信号に相当するデータラッチ２０２の信号量を信号処理回路１０５に出力する（STEP2）。入力画素の信号量が白欠陥用閾値とデータラッチ２０２との信号量の和よりも小さい時には、さらに、入力画素の信号量がデータラッチ２０２の信号量から黒欠陥用閾値を引いた信号量よりも小さいか判定し（STEP3）、入力画素の信号量がデータラッチ２０２の信号量から黒欠陥用閾値を引いた信号量よりも小さい場合には「黒欠陥」と判定し、近隣の画素から補間した信号に相当するデータラッチ２０２の信号量を信号処理回路１０５に出力する（STEP2と同じ）。上記の「白欠陥」「黒欠陥」と判定されなかった場合には、「正常」と判定し入力信号を信号処理回路１０５に出力する（STEP4）。なお、STEP1とSTEP3の順序は逆であっても構わない。

【0026】

さらに上記した閾値選択回路２０３の動作について図４を用いて補足する。図４は原色フィルタを用いたカラー撮像装置の一例でたとえばNTSCのTV方式の撮像装置では、赤（R）、緑（G）、青（B）の入力により輝度信号（Y）を、Y=0.29*R+0.60*G+0.11*Bの計算式で生成している。図４中の太枠で囲った水平*垂直の2*2の画素に着目するとGは二つあるため、輝度信号（Y）への重み係数は、
R:G:B = 0.29:0.30:0.11 ・・・（式１）
となっている。

【0027】

ここで赤（R）、緑（G）、青（B）のそれぞれの画素に欠陥があった場合を考えると、輝度信号（Y）へは上記（１）式の比率で欠陥の影響が現れることになるため、閾値の比率も上記（１）式の比率に合わせることで、精度の高い画素欠陥検出が可能となる。つまり、閾値選択回路２０３には、大略上記（１）式の比率であらかじめ各色に対する閾値（白欠陥用/黒欠陥用）を設定しておき、欠陥と判定する（入力）画素の色情報の種類に応じて切り替えると良いことがわかる。

【0028】

他の一例として、図５のような補色フィルタを用いた撮像装置では、信号処理のマトリクスの組み方に複数の組み方が考えられるが、例えば、 Y=K1*Ye+K2*Cy+K3*Mg+K4*Gの計算式で生成している場合には、
Ye:Cy:Mg:G = K1:K2:K3:K4 ・・・（式２）
で、上記（１）式と同様に大略上記（２）式の比率であらかじめ各色に対する閾値（白欠陥用/黒欠陥用）を設定しておくと良く、上記以外の他の色配置の場合でも同様に設定すると良いことがわかる。

【0029】

以上のように本実施刑では、欠陥検出する画素の色情報の輝度信号に対する影響度を考慮して、欠陥検出する画素の色情報に応じて欠陥か否かを判定する閾値を切り替えるのでカラー撮像装置においても精度の高い画素欠陥検出と画素欠陥補正可能とした撮像装置を提供することができる。また、本実施形態は、監視カメラシステムなど長期間に亘って通電し続け、欠陥画素が温度変化や経時変化で現れる撮像装置において、特に有効である。

【0030】

なお、本実施例では、データラッチ２０２を用いて、近隣画素として直前の画素の情報で欠陥検出と欠陥補正をおこなうこととして一例を説明したが、例えばラインメモリを用いて、１ライン手前の画素の情報で欠陥検出と欠陥補正をおこなっても良く、更にフィード（フレーム）メモリなどを用いて左右、1ライン上下、斜め右上、斜め右下、斜め左上、斜め左下、などを用いて、より広い周辺画素の情報で欠陥検出と欠陥補正をおこなっても良く、種々変更可能である。

【実施例2】

【0031】

本発明に係る撮像装置の第二の実施形態として、欠陥検出・補正回路が異なる例を説明する。図６は欠陥検出・補正回路の第二構成例を説明する図である。なお、図２で示す欠陥検出・補正回路の第一構成例と同じ動作をするものについては、図２と同じ番号を付し適宜説明を省略する。

【0032】

撮像装置においては、撮影する光源の色温度がさまざまであるため、白色が白色として撮影できるように色ゲインを自動で制御するいわゆるオートホワイトバランス制御が広く採用されている。例えば、色温度が高くなるほど赤色（R）のゲインを大きくし、青色（B）のゲインを小さくする。逆に色温度が低くなるほど赤色（R）のゲインを小さくし、青色（B）のゲインを大きくする。また、蛍光灯などの光源下では、緑色（G）のゲインを制御することもある。

【0033】

欠陥検出・補正回路１０４−２が、オートホワイトバランス制御前に配置されている場合には、上記したように、各色のゲインを変更するため、各色に対して設定してある閾値（白欠陥用/黒欠陥用）にも各色のゲインを考慮する必要がある。

【0034】

閾値選択回路３０３では、不図示のオートホワイトバランス制御部からの各色（R,G,B）のゲインを入力し、あらかじめ設定してある各色に対する閾値（白欠陥用/黒欠陥用）に対して入力した各色のゲインを乗じた値とし、入力された色情報の種類に応じた閾値（白欠陥用/黒欠陥用）を選択して、比較器２０１に出力する。

【0035】

本実施例では、撮影する光源が変わった際にでも、光源に合った色情報の輝度信号に対する影響度を考慮しているため、より精度の高い画素欠陥検出と画素欠陥補正可能とした撮像装置を提供することができる。

【実施例3】

【0036】

本発明に係る撮像装置の第三の実施形態として、図７で示す第一の欠陥検出回路を用いた例について以下に説明する。まず、本発明に係る欠陥画素の検出するに好適な処理アルゴリズムについて図１０を用いて説明する。同図に示したように、本画素欠陥検出アルゴリズムにおいては、同色画素にて画素欠陥判定処理を第1判定処理（GS１）にて行い、さらに異色（前記第1処理に用いた色の以外の色の画素）画素にて画素欠陥判定処理を第２判定処理（GS2）として行い、さらに、第1判定処理と第2判定処理の結果から最終的な画素欠陥判定として最終判定処理（GS3）を行う特徴がある。

【0037】

図７は、図１０のＳＴＥＰ１で示した同色画素による画素欠陥判定処理を行う第一の欠陥検出回路の構成例を説明する図である。たとえば、図４のような原色フィルタで、緑色（G）については赤色（R）の行にある緑色（G）をGrとし、青色（B）の行にある緑色（G）をGbとして分けて記載している。また、水平方向と垂直方向にそれぞれ5*5画素の範囲（以後スコープ）を例としている。

【0038】

図７では、スコープの中央の画素を注目画素（欠陥判定をする画素）とし座標（0,0）で表す。水平方向で左側を負、右側を正、垂直方向で上側を負、下側を正として、注目画素を基準に座標を割り当てている。注目画素は撮像素子の走査に従い移動する。比較対象画素を注目画素と同色の周囲8画素とする。すなわち座標(-2,-2),(0,-2),(+2,-2),(-2,0),(+2,0),(-2,+2),(0,+2),(+2,+2)が対象画素となる。ここでは、図７に示す通り、注目画素が赤色（R）の場合を例にとって説明する。

【0039】

注目画素の信号と比較対象画素の出力と差分の閾値７０９は比較器７０１〜７０８にそれぞれ加えられる。差分の閾値７０９は、白欠陥、黒欠陥と正常画素とを区別するための閾値で、あらかじめ色毎に設定した値を設定しておく。
比較器７０１〜７０８では、それぞれ、（Ａ）｜注目画素−比較対象画素｜ の演算結果と差分の閾値７０１との大小比較結果、（Ｂ）注目画素−比較対象画素 の符号の判定結果、の２つの結果を出力する。なお、記号｜｜は絶対値の演算であり、比較器７０１〜７０８では、｜注目画素−比較対象画素｜ ≧ 差分の閾値７０１ の場合には真(1)、それ以外では偽(0)を出力する。また、注目画素−比較対象画素 の演算結果が正または0の場合には真(1)、負の場合には偽(0)を出力する。

【0040】

比較器７０１では比較対象画素座標(-2,-2)、比較器７０２では比較対象画素座標(0,-2)、比較器７０３では比較対象画素座標(+2,-2)、比較器７０４では比較対象画素座標(-2,0)、比較器７０５では比較対象画素座標(+2,0)、比較器７０６では比較対象画素座標(+2,-2)、比較器７０７では比較対象画素座標(0,+2)、比較器７０８では比較対象画素座標(+2,+2)として比較演算をおこなう。比較器７０１〜７０８の判定結果は、それぞれ、加算器７１０と符号一致判定７１３に入力される。加算器７１０では、｜注目画素−比較対象画素｜ ≧ 差分の閾値７０１ となった比較対象の画素数をカウントする。加算器７１０のカウント結果と、数の閾値７１１を比較器７１２に入力し、比較器７１２では、加算器７１０のカウント結果 ≧ 数の閾値７１１ の場合には真(1)、そうでない場合には偽(0)を出力する。一方、符号一致判定７１３では、注目画素−比較対象画素 の符号がすべて一致した場合には真(1)、一致しなかった場合には偽(0)を出力する。比較器７１２の結果と符号一致判定７１３の結果はAND７１４により積論理が施され、比較器７１２の結果と符号一致判定７１３の結果がともに真(1)の場合に真(1)、そうでない場合には偽(0)を判定結果として出力する。以上の結果として、｜注目画素−比較対象画素｜ ≧ 差分の閾値７０１ となった画素数が数の閾値７１１以上で、かつ、注目画素−比較対象画素 の符号がすべて一致した場合に判定結果は真(1)＝「欠陥有り」、そうでない場合には偽(0)＝「欠陥無し」となる。

【0041】

なお、注目画素が撮像素子の有効画素範囲の上下左右2画素以下にある場合には、比較対象画素が無くなる部分の比較器（７０１〜７０８のいくつか）を無効とする処理を加算器７１０と符号一致判定７１３に付加すると良い。この場合、加算器７１０で、無効とした画素数分の比率で加算結果を補正しても良いし、数の閾値７１１を補正して判定しても良い。また、青色（B）、緑色（Gr,Gb）についても差分の閾値７０９の設定値が変わることがあるが動作は上記の赤色（R）と同様である。また、本実施例では、２と２√２の距離の画素を同一の差分の閾値７０９を用いて説明したが、２と２√２の距離の画素に対して別々の差分の閾値としても良い。

【0042】

本実施例では、同一の色のみを使用して比較、判定するため、たとえばホワイトバランスがずれていた際にでも、より精度の高い画素欠陥検出を可能とした撮像装置を提供することができる。

【0043】

なお、原色フィルタを用いて説明したが補色フィルタや、他の色フィルタ配置の撮像素子においても同様の効果を得られることは明らかである。また、スコープを水平方向と垂直方向にそれぞれ5*5画素の範囲としたが、他のサイズのスコープとしても同様の効果を得られることは明らかである。

【実施例4】

【0044】

本発明に係る撮像装置の第四の実施形態として、図７で示す第一の欠陥検出回路による判定結果に加えて、図１１で示す第二の欠陥検出回路並びに図１２で示す第三の欠陥検出回路を用いた例について、以下に説明する。

【0045】

前記実施例３における検出においては、注目画素に対して２と２√２の離れた距離の比較対象画素を用いて欠陥の検出をおこなっているために、たとえばRGBベイヤの画素配列を入力画像信号とした図８に示すように白欠陥の例（実線）と周波数成分の高い被写体の例（点線）との区別ができない問題がある。（逆に黒欠陥の場合も同様にある。）このため、本実施例では、前記実施例３の判定結果に加えて、前記実施例３の注目画素と比較対象画素の間の緑色（G：GrまたはGb）を用いて、欠陥判定をおこなうことで、より精度の高い画素欠陥検出を得るものである。

【0046】

たとえば、図９に示すように、前記実施例３による第一の欠陥検出回路９０１の判定結果に加えて、図１０に示したＳＴＥＰ３の処理を行う第二の欠陥検出回路９０２（図１１）と、図１０で示したＳＴＥＰ４の処理を行う第三の欠陥検出回路９０３（図１２)の判定結果を用いることで、前記実施例３における注目画素と比較対象画素の間を判定する。図１０に示したＳＴＥＰ５及びＳＴＥＰ６の処理を行う欠陥判定９０４では、注目画素に対する色情報が入力され、緑色（G：GrまたはGb）の場合には、第一の欠陥検出回路９０１と第二の欠陥検出回路９０２のANDを判定結果として出力し、注目画素が赤色（R）または、青色（B）の場合には、第一の欠陥検出回路９０１と第三の欠陥検出回路９０３のANDを判定結果として出力する。この画素欠陥判定方法によれば、図８に示す白欠陥の例（実線）と周波数成分の高い被写体の例（点線）との区別が可能となり、周波数成分の高い被写体を欠陥と誤判定してしまう弊害を防ぐことができる。

【0047】

また、たとえば、図１０のように、STEP1で第一の欠陥検出回路の判定結果が「欠陥無し」の場合には、STEP6で判定結果=欠陥無しとして終了し、「欠陥有り」の場合には、注目画素が緑色（G：GrまたはGb）ならSTEP3へ、注目画素が赤色（R）または、青色（B）ならSTEP4へ分岐する。STEP3では、第二の欠陥検出回路の判定結果が「欠陥有り」ならSTEP5で判定結果=欠陥有りとして終了し、「欠陥無し」ならSTEP6で判定結果=欠陥無しとして終了する。STEP4では、第三の欠陥検出回路の判定結果が「欠陥有り」ならSTEP5で判定結果=欠陥有りとして終了し、「欠陥無し」ならSTEP6で判定結果=欠陥無しとして終了とする、ことでも、図９と同じ結果が得られる。

【0048】

次に、第二の欠陥検出回路９０２の動作について図１１を用いて説明し、第三の欠陥検出回路９０３の動作について図１２を用いて説明する。

【0049】

図１１は、第二の欠陥検出回路の構成例であり、前記実施例３において、スコープを水平方向と垂直方向にそれぞれ3*3画素の範囲としたものと等価で、比較対象画素は(-1,-1),(+1,-1),(-1,+1),(+1,+1)とする。注目画素と比較対象画素の距離は√２で、注目画素がGrなら比較対象画素はGbになり、また逆に、注目画素がGbなら比較対象画素はGrとなる。

【0050】

比較器１１０１では比較対象画素座標(-1,-1) 。比較器１１０２では比較対象画素座標(+1,-1) 。比較器１１０３では比較対象画素座標(-1,+1)。比較器１１０４では比較対象画素座標(+1,+1)として比較演算をおこなう。差分の閾値１１０５、加算器１１０６、数の閾値１１０７、比較器１１０８、符号一致判定１１０９、AND１１１０は、それぞれ、前記実施例３における差分の閾値７０９、加算器７１０、数の閾値７１１、比較器７１２、符号一致判定７１３、AND７１４と同様に動作するため説明を省略する。なお、差分の閾値１１０５では、色は緑色（G：GrまたはGb）固定となるため、差分の閾値７０９における色情報の入力を省略している。また、比較器１１０８、符号一致判定１１０９の入力の数が異なり、数の閾値１１０７は数の閾値７１１の大略1/2の値となる。

【0051】

以上により、第二の欠陥検出回路の構成例での判定結果は、｜注目画素−比較対象画素｜ ≧ 差分の閾値１１０５ となった画素数が数の閾値１１０７以上で、かつ、注目画素−比較対象画素 の符号がすべて一致した場合に判定結果は真(1)、そうでない場合には偽(0)となる。この画素欠陥判定方法によれば、GrとGbは分光感度が同じまたは非常に似ている色成分同士であるため、同色と見なすことにより画素同士の差分のみで比較することが可能となる。従って、簡素な回路で実現できるため、低コスト低消費電力を実現できる。また、注目画素に対してより近い画素を用いて高周波の信号の分布を比較しているため、図８に示す白欠陥の例（実線）と周波数成分の高い被写体の例（点線）との区別が可能となり、周波数成分の高い被写体を欠陥と誤判定してしまう弊害を防ぐことができる。

【0052】

図１２は、第三の欠陥検出回路の構成例である。たとえば、比較対象画素を第１グループとして注目画素から距離=１だけ離れた座標(0,-1),(-1,0),(+1,0),(0,+1)と、第２グループとして注目画素から距離=√５だけ離れた座標(-1,-2),(+1,-2),(-2,-1),(+2,-1) (-2,+1),(+2,+1),(-1,+2),(+1,+2)の２つのグループに分ける。注目画素は赤色（R）または、青色（B）で、第１グループと第２グループは緑色（G：GrまたはGb）となる。平均値算出回路１２０１では第１グループの４画素の平均を算出し出力する。また、平均値算出回路１２０２では、第２グループの８画素の平均を算出し出力する。

【0053】

比較器１２０４では、|第１グループの平均値−第２グループの平均値|≦差分の閾値１２０３ の判定をおこない、|第１グループの平均値−第２グループの平均値|≦差分の閾値１２０３の場合には真(1)＝「欠陥有り」、そうでないならば偽(0)＝「欠陥無し」を判定結果として出力する。この画素欠陥判定方法によれば、注目画素であるRまたはBの画素に対して周辺に分布するG信号のうち、第１グループと第２グループの平均値を求めてから比較するため、比較器ひとつで構成することができ、低コスト低消費電力を実現できる。また、注目画素の周辺に分布するG画素を用いて高周波の信号の分布を比較しているため、図８に示す白欠陥の例（実線）と周波数成分の高い被写体の例（点線）との区別が可能となり、周波数成分の高い被写体を欠陥と誤判定してしまう弊害を防ぐことができる。尚、第１グループと第２グループについて平均値を求めて比較するとしたが、重み付け加算後の信号同士を比較する方法であっても同様の効果が得られることは明白である。その際には、平均値を求める方式に対して除算器を省くことができる。

【0054】

以上の第二の欠陥検出回路９０２と第三の欠陥検出回路９０３において、たとえば図８のように差分の閾値１１０５と差分の閾値１２０３を設定すると、図８の白欠陥の例（実線）と周波数成分の高い被写体の例（点線）とを区別できる。

【0055】

本実施例では、前記実施例３と同様に、同一の色のみを使用して比較、判定するため、たとえばホワイトバランスがずれていた際にでも、より精度の高い画素欠陥検出を可能とした撮像装置を提供することができ、また、注目画素との距離が近い画素の出力を用いて欠陥判定をするため、周波数成分の高い被写体においても正しい画素欠陥検出を可能とした撮像装置を提供することができる。

【実施例5】

【0056】

上記各実施例では欠陥を判定する方法について説明したが、欠陥と判定した画素を欠陥とわからないように補正する必要がある。欠陥補正の一実施例につき、図１７を用いて説明する。図１７は欠陥補正回路の第一の構成例を説明する図である。

【0057】

補間信号生成手段１７０１では、比較対象画素の信号出力と差分の分布判定手段１７０３からの重み係数を入力し、比較対象画素の信号について、それぞれ、重み係数によって加重平均を取った値を補正値として混合手段１７０２に出力する。
混合手段１７０２は、注目画素の信号出力と、補間信号生成手段１７０１からの補正値と、差分の分布判定手段１７０３からの混合係数（α）と、欠陥判定結果を入力し、欠陥検出結果が真(1)の場合には差分の分布判定手段１７０３からの混合係数（α）に応じて、
欠陥補正結果＝補間信号生成手段１７０１の補正値＊α−注目画素の値＊（１−α）
として出力し、欠陥検出結果が偽(0)の場合には、注目画素の値の値を欠陥補正結果として出力する。

【0058】

差分の分布判定手段１７０３では、注目画素の信号出力と比較対象画素の信号出力を入力し、注目画素と比較対象画素の差の値の範囲や分布に応じて、各比較対象画素の重み係数を算出し、補間信号生成手段１７０１に出力するとともに、混合係数（α）を算出し、混合手段１７０２に出力する。この時、欠陥画素の目立ちやすさとしては、比較対象画素の出力がほぼ均一の場合には、欠陥画素が目立ちやすく、比較対象画素の出力の分散が大きい場合には、欠陥画素が目立にくい、といった性質があるため、分布判定手段１７０３では、混合係数（α）の算出に当たっては、比較対象画素の出力がほぼ均一の場合には、混合係数（α）を比較対象画素寄りに、比較対象画素の出力の分散が大きい場合には、混合係数（α）を注目画素寄りに、なるように定めることで、比較対象画素の出力がほぼ均一の場合には、大きな補正効果を得、比較対象画素の出力の分散が大きい場合でも、大きく画像を損ねない、という２つを両立し、かつ、その２つの間をバランスさせた欠陥補正をおこなうことが可能となる。

【0059】

上記したように、本実施例では、目立ちやすい欠陥と、目立ちにくい欠陥を切り分け、目立ちやすい欠陥においては補正を強め、目立ちにくい欠陥では補正を弱めることで、大きな補正効果を得ることと、大きく画像を損ねないことの２つを両立し、かつ、その２つの間をバランスさせた欠陥補正をおこなうことを可能とした、撮像装置を提供できる。

【実施例6】

【0060】

上記実施例５で示した欠陥補正とは異なる他の欠陥補正の実施例について、図１３〜図１６を用いて説明する。なお、本実施例では、前記した実施例３における図７の欠陥検出回路を使用した場合を例にして説明する。

【0061】

図１３は欠陥検出・補正回路の一例を説明する図であり、図７の欠陥検出回路と同様の動作をするものには同一の番号を付し説明を省略する。欠陥補正回路１３０１では、入力として、注目画素の信号出力、注目画素と同色の周囲8画素の座標である(-2,-2),(0,-2),(+2,-2),(-2,0),(+2,0),(-2,+2),(0,+2),(+2,+2)の信号出力、比較器７０１〜７０８それぞれの｜注目画素−比較対象画素｜ と差分の閾値７０９との大小比較結果、加算器７１０による｜注目画素−比較対象画素｜ ≧ 差分の閾値７０１ となった比較対象の画素数、および、AND７１４の結果が加えられ、欠陥補正結果を出力する。

【0062】

上記した欠陥補正回路１３０１の構成例につき、図１４を用いて説明する。図１４は欠陥補正回路の一構成例を説明する図である。差分の絶対値計算１４０１〜１４０８はそれぞれ｜注目画素−比較対象画素｜ の演算をおこない、最大値、最小値、平均値算出１４０９に結果を出力する。絶対値計算１４０１では比較対象画素座標(-2,-2)。絶対値計算１４０２では比較対象画素座標(0,-2)。絶対値計算１４０３では比較対象画素座標(+2,-2)。絶対値計算１４０４では比較対象画素座標(-2,0)。絶対値計算１４０５では比較対象画素座標(+2,0)。絶対値計算１４０６では比較対象画素座標(+2,-2)。絶対値計算１４０７では比較対象画素座標(0,+2)。絶対値計算１４０８では比較対象画素座標(+2,+2)として差分の絶対値計算をおこなう。最大値、最小値、平均値算出１４０９は、比較器７０１〜７０８−＋の判定結果出力で｜注目画素−比較対象画素｜ ≧ 差分の閾値７０９ と真(1)となった比較対象画素に対して、（偽(0)となった比較対象画素を除いて）、差分の絶対値計算１４０１〜１４０８の中の最大値、差分の絶対値計算１４０１〜１４０８の中の最小値、並びに、比較対象画素をあらかじめ定めた重み係数によって重み付けした加重平均値、を求め、差分の絶対値計算１４０１〜１４０８の中の最大値−最小値、を算出して、混合係数計算１４１０に出力し、比較対象画素をあらかじめ定めた重み係数によって重み付けした加重平均値、を補間値計算１４１１に出力する。ここで、加算器７１０の加算結果出力は、比較器７０１〜７０８の判定結果出力で｜注目画素−比較対象画素｜ ≧ 差分の閾値７０９ と真(1)となった比較対象画素数であるから、上記、比較対象画素の加重平均値を求めるにあたって、比較器７０１〜７０８の判定結果出力で｜注目画素−比較対象画素｜ ≧ 差分の閾値７０９ と真(1)となった比較対象画素に対する信号に対して、それぞれの重み係数を乗じた値の合計値を、加算器７１０の加算結果出力の値に対して、それぞれの重み係数を乗じた値の合計値で割ることで算出することができる。

【0063】

混合係数計算１４１０は、下限値、傾き、閾値をパラメータとして、最大値、最小値、平均値算出１４０９から出力された差分の絶対値計算１４０１〜１４０８の中の 最大値−最小値の値から、混合係数（α）を計算し、補間値計算１４１１に出力する。

【0064】

この混合係数計算１４１０の例につき、図１５を用いて補足する。図１５は混合係数計算１４１０の説明を補足する図である。横軸は、差分の絶対値計算１４０１〜１４０８の中の 最大値− 最小値で、縦軸は、混合係数（α）である。差分の絶対値計算１４０１〜１４０８の中の 最大値−最小値が閾値以下の場合には、混合係数（α）を1.0とし、最大値−最小値が閾値を越えた場合には、最大値−最小値が閾値を越えた度合いに傾きを乗じて混合係数（α）を1.0から減ずる。また、このとき、混合係数（α）が下限値よりも小さくなった場合には、混合係数（α）を下限値の値で制限する。すなわち、混合係数（α）は、
1.0：最大値-最小値 ≦ 閾値、
1.0-傾き*(最大値-最小値-閾値)：閾値+(1.0-下限値)/傾き ＞ 最大値-最小値 ＞ 閾値、
下限値：最大値-最小値 ≧ 閾値+(1.0−下限値)/傾き、
となる。

【0065】

次に、補間値計算１４１１の例につき、図１６を用いて補足する。図１６は補間値計算１４１１の説明を補足する図である。補間値計算１４１１は、AND７１４の結果である欠陥検出結果と注目画素の値と比較対象画素の加重平均値と、混合係数計算１４１０からの混合係数（α）を入力し、欠陥検出結果が真(1)の場合には図１６のように混合係数計算１４１０からの混合係数（α）に応じて、補間値＝比較対象画素の加重平均値＊α−注目画素の値＊（１−α）、として、該補間値を欠陥補正結果として出力し、欠陥検出結果が偽(0)の場合には、注目画素の値の値を欠陥補正結果として出力する。なお、補間値計算１４１１では、欠陥検出結果に応じて、補間値と注目画素の値を切り替えるように説明したが、たとえば、欠陥検出結果が偽(0)の場合には、混合係数（α）＝０とするように欠陥検出結果に応じて、混合係数（α）を切り替えるように構成しても同様の結果を得ることできる。また、混合係数計算と補間値計算を別々の構成として説明したが１つにまとめて構成しても良い。

【0066】

本実施例によっても前記実施例５と同様に、目立ちやすい欠陥と、目立ちにくい欠陥を切り分け、目立ちやすい欠陥においては補正を強め、目立ちにくい欠陥では補正を弱めることで、大きな補正効果を得ることと、大きく画像を損ねないことの２つを両立し、かつ、その２つの間をバランスさせた欠陥補正をおこなうことを可能とした、撮像装置を提供できる。

【0067】

なお、本実施例の説明においては、差分の絶対値計算１４０１〜１４０８でおこなっている｜注目画素−比較対象画素｜の演算は、比較器７０１〜７０８の判定でもおこなっているため、比較器７０１〜７０８について｜注目画素−比較対象画素｜を最大値、最小値、平均値算出１４０９に出力するようにして、差分の絶対値計算１４０１〜１４０８を省略するように構成してもよい。

【0068】

また、図７の欠陥検出回路に対する欠陥補正回路として説明したが、注目画素がGbまたはGrの場合には、差分の絶対値計算の数を8から4に変えて構成することで、図１１の欠陥検出回路に対する欠陥補正回路としても同様に構成可能なことは明らかである。同様に、他のサイズのスコープに対しても構成可能なことは明らかである。さらに、図９のように２つの欠陥補正回路を有する構成にして、注目画素がGbまたはGrの欠陥の場合には、２通りの混合係数（α）が得られるが、どちらの一方の混合係数（α）を使っても良いし、２つの混合係数（α）の間の値を新たな混合係数（α）として補間しても良い。

【0069】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0070】

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0071】

１０１ 撮像レンズ
１０２ 撮像素子
１０３ Ａ／Ｄ変換回路
１０４ 欠陥検出・補正回路
１０５ 信号処理回路
１０６ タイミングジェネレータ
２０１ 比較器
２０２ データラッチ
２０３ 閾値選択回路
３０３ 閾値選択回路
７０１〜７０８ 比較器
７０９ 差分の閾値
７１０ 加算器
７１１ 数の閾値
７１２ 比較器
７１３ 符号一致判定
７１４ AND
９０１ 第一の欠陥検出回路
９０２ 第二の欠陥検出回路
９０３ 第三の欠陥検出回路
９０４ 欠陥判定
１１０１〜１１０４ 比較器
１１０５ 差分の閾値
１１０６ 加算器
１１０７ 数の閾値
１１０８ 比較器
１１０９ 符号一致判定
１１１０ AND
１２０１,１２０２ 平均値算出回路
１２０３ 差分の閾値
１２０４ 比較器
１３０１ 欠陥補正回路
１４０１〜１４０８ 差分の絶対値計算
１４０９ 最大値、最小値、平均値算出
１４１０ 混合係数計算
１４１１ 補間値計算
１７０１ 補間信号生成手段
１７０２ 混合手段
１７０３ 差分の分布判定手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】