(58)【調査した分野】(Int.Cl.,DB名)
前記中心画素が欠陥画素であるか否かの判定は、前記中心画素を基準として前記第1の画素群および前記第2の画素群を所定角度回転して得られる複数パターンに対してなされる、
請求項1〜4のいずれか一項に記載の欠陥画素判定装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に開示された手法は、欠陥補正として一般的な手法であるが、当該画素近傍の8画素の画素値の平均値と当該画素の画素値との差分値を見るだけでは副作用が大きく、実際には近傍の画素の画素値の全てが当該画素の画素値から離れている等の条件を追加する必要がある。そうした場合には、欠陥画素と近い値を持つエッジの近傍に存在する欠陥画素を欠陥と判定することができず、欠陥画素が残ってしまう。
【0007】
特許文献2に開示された手法は、特許文献1に開示された手法とは異なる欠陥画素判定手法であるが、欠陥の判定条件が設定ウィンドウ内で当該画素の画素値が最大値である場合に限られており、欠陥画素と近い値を持つエッジの近傍に存在する欠陥画素を欠陥と十分に判定することができず、欠陥画素が残ってしまう場合がある。
【0008】
特許文献3に開示された手法は、特許文献1に開示された手法および特許文献2に開示された手法とは異なる欠陥画素判定手法であるが、副作用を小さくする設定にすると、やはり欠陥画素と近い値を持つエッジの近傍に存在する欠陥画素を欠陥と十分に判定することができず、欠陥画素が残ってしまう場合がある。
【0009】
そこで、本発明は、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると判定することを可能とする技術を提供しようとするものである。
【課題を解決するための手段】
【0010】
本発明のある実施形態によれば、中心画素と同色レイヤであって前記中心画素に隣接する第1の画素群の画素値のうち第1の最大値と第1の最小値との第1の差分値を算出する第1の差分算出部と、前記中心画素と同色レイヤであって前記中心画素に隣接する第2の画素群の画素値のうち第2の最大値と第2の最小値との第2の差分値を算出する第2の差分算出部と、前記第1の最大値または前記第1の最小値と前記中心画素の画素値との関係と前記第1の差分値と前記第2の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定する判定部と、を備える、欠陥画素判定装置が提供される。
【0011】
かかる構成によれば、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると判定することが可能となる。特に、中心画素に対して水平方向または垂直方向に近傍するエッジが存在する場合においても中心画素が欠陥画素であるか否かを判定することが可能となる。
【0012】
前記判定部は、前記第1の最大値または前記第1の最小値と前記中心画素の画素値との関係が第1の条件を満たし、かつ、前記第1の差分値が第2の条件を満たし、かつ、前記第2の差分値が第3の条件を満たす場合に、前記中心画素が欠陥画素であると判定してもよい。かかる構成によれば、前記判定部は、第1の条件、第2の条件および第3の条件を満たす場合に、前記中心画素が欠陥画素であると判定することができる。
【0013】
前記第1の条件は、前記中心画素の画素値が前記第1の最大値よりも大きい場合には、前記中心画素の画素値から前記第1の最大値を減じた値が第1の閾値よりも大きいという条件であってもよい。かかる構成によれば、前記判定部は、前記中心画素の画素値が前記第1の最大値よりも大きい場合には、前記中心画素の画素値から前記第1の最大値を減じた値が第1の閾値よりも大きいという条件を満たすかによって前記第1の条件を満たすかを判定することができる。
【0014】
前記第1の条件は、前記中心画素の画素値が前記第1の最小値よりも小さい場合には、前記第1の最小値から前記中心画素の画素値を減じた値が第1の閾値よりも大きいという条件であってもよい。かかる構成によれば、前記判定部は、前記中心画素の画素値が前記第1の最小値よりも小さい場合には、前記第1の最小値から前記中心画素の画素値を減じた値が第1の閾値よりも大きいという条件を満たすかによって前記第1の条件を満たすかを判定することができる。
【0015】
前記第2の条件は、前記第1の差分値が第2の閾値よりも小さいという条件であってもよい。かかる構成によれば、前記判定部は、前記第1の差分値が第2の閾値よりも小さいという条件を満たすかによって前記第2の条件を満たすかを判定することができる。
【0016】
前記第3の条件は、前記第2の差分値が第3の閾値よりも小さいという条件であってもよい。かかる構成によれば、前記判定部は、前記第2の差分値が第3の閾値よりも小さいという条件を満たすかによって前記第3の条件を満たすかを判定することができる。
【0017】
前記中心画素が欠陥画素であるか否かの判定は、前記中心画素を基準として前記第1の画素群および前記第2の画素群を所定角度回転して得られる複数パターンに対してなされてもよい。かかる構成によれば、前記判定部は、1つのパターンだけではなく、当該複数のパターンに対して欠陥判定を行うことにより、より高精度に欠陥判定を行うことが可能となる。
【0018】
また、本発明の別の実施形態によれば、中心画素と同色レイヤであって前記中心画素に隣接する第1の画素群の画素値のうち第1の最大値と第1の最小値との第1の差分値を算出するステップと、前記中心画素と同色レイヤであって前記中心画素に隣接する第2の画素群の画素値のうち第2の最大値と第2の最小値との第2の差分値を算出するステップと、前記第1の最大値または前記第1の最小値と前記中心画素の画素値との関係と前記第1の差分値と前記第2の差分値とに基づいて、前記中心画素が欠陥画素であるか否かを判定するステップと、を含む、欠陥画素判定方法が提供される。
【0019】
かかる方法によれば、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると判定することが可能となる。特に、中心画素に対して水平方向または垂直方向に近傍するエッジが存在する場合においても中心画素が欠陥画素であるか否かを判定することが可能となる。
【発明の効果】
【0020】
以上説明したように、本発明によれば、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると判定することを可能とする技術を提供することが可能である。
【発明を実施するための形態】
【0022】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【0023】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0024】
まず、本発明の実施形態に適用し得るセンサの種類について説明する。
図1は、本発明の実施形態に適用し得る4原色センサ110Aの構成例を示す図である。なお、
図1を用いた説明においては、本発明の実施形態に適用し得るセンサとして4原色センサ110Aを例に説明するが、後に説明するように、本発明の実施形態に適用し得るセンサは4原色センサ110Aに限定されない。
【0025】
図1に示すように、4原色センサ110Aは、A,B,CおよびDにより示される4つのカラーフィルタが2×2画素を単位として並んでいるセンサである。しかし、4つのカラーフィルタは、それぞれが異なる波長領域の光を検出するものであれば、その構成は特に限定されない。例えば、4つのカラーフィルタは、R,GおよびBの3原色の画素に白画素を加えた構成でもよいし、かかる3原色の画素に赤外光画素を加えた構成でもよいし、可視光領域を4等分して得られる各々の波長領域の光をそれぞれが検出可能であってもよい。
【0026】
以上、本発明の実施形態に適用し得るセンサの種類について説明した。続いて、本発明の実施形態が解決しようとする課題を説明する。
図2は、本発明の実施形態が解決しようとする課題を示す図である。ここで、従来のダイナミック欠陥判定による手法は、同色レイヤ3×3の中で中心画素が孤立していることを条件としている。同色レイヤとは、例えば、
図1に示した4原色センサ110Aにおいては同一種類のカラーフィルタに相当する。したがって、3×3の画素群の中に1画素でも中心画素と同じか極めて近い値を持つ画素が存在する場合には、当該中心画素が欠陥と判定されない。
【0027】
すなわち、従来のダイナミック欠陥判定による手法によれば、平坦部を中心にほとんどの欠陥画素を判定および除去することができるが、
図2に示すように、画像M1から画像M2に欠陥補正がされたとすると、欠陥画素と同レベルのエッジが近傍にある場合は、その欠陥画素(例えば、
図2に示した欠陥画素R1、R2など)は欠陥画素であると判定されないため、欠陥補正がなされた後も除去されずに残ってしまうという問題があった。
【0028】
例えば、
図2に示した例では、欠陥画素R1と同色レイヤで欠陥画素R1の右側に存在する3画素は(より詳細には、欠陥画素R1と同色レイヤで欠陥画素R1の右上に存在する1画素、右に存在する1画素および右下に存在する1画素の計3画素は)欠陥画素R1と同じ画素値を持っており、欠陥画素R1は欠陥画素であると判定されない。また、欠陥画素R2と同色レイヤで欠陥画素R2の左上の1画素は欠陥画素R2と同じ画素値を持っており、欠陥画素R2は欠陥画素であると判定されない。
【0029】
そこで、本発明の実施形態においては、欠陥画素が当該欠陥画素の画素値と近い画素値を持つエッジの近傍に存在する場合であっても、当該欠陥画素を欠陥画素であると高精度に判定することを可能とする技術について説明する。
【0030】
続いて、本発明の実施形態に係る欠陥画素判定装置10の機能構成について説明する。
図3は、本発明の実施形態に係る欠陥画素判定装置10の機能構成を示す図である。
図3に示すように、欠陥画素判定装置10は、センサ110、ラインメモリ120、補正値算出部130、ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150、第2のエッジ近傍欠陥判定部160およびセレクタ170を備える。以下、欠陥画素判定装置10が備える各機能ブロックの機能について順次詳細に説明する。
【0031】
センサ110は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、CCD(Charge Coupled Device)であってもよいし、CMOS(Complementary Metal Oxide Semiconductor)であってもよい。なお、
図3に示された例では、センサ110は、欠陥画素判定装置10の内部に存在しているが、センサ110は、欠陥画素判定装置10の外部に存在してもよい。
【0032】
ここで、本発明の実施形態においては、センサ110の構成例として、2×2画素の中に各色1画素のみが存在する4原色センサ110Aを採用するが、センサ110の構成は、後に説明するようにかかる例に限定されない。センサ110からのRAW信号はラインメモリ120によって蓄積され、補正値算出部130、ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150、第2のエッジ近傍欠陥判定部160およびセレクタ170から読み出される。例えば、RAW信号は、画像信号として5ライン分ずつ読み出される。なお、
図3に示された例では、ラインメモリ120は、欠陥画素判定装置10の内部に存在しているが、ラインメモリ120は、欠陥画素判定装置10の外部に存在してもよい。
【0033】
補正値算出部130は、欠陥画素の画素値に対する補正がなされる場合における補正後の画素値(以下、「補正値」とも言う。)を算出する。ここで、例えば、
図3に示した例では、欠陥判定を行う機能ブロックとして、ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160が存在している。このように、欠陥判定を行う機能ブロックが欠陥画素判定装置10の内部に複数存在する場合には、補正値算出部130は、各々の欠陥判定に対応する補正値を算出し、当該補正値をセレクタ170に供給してもよい。補正値の具体例については、
図8を参照して後に説明する。なお、欠陥画素に対する補正を行う必要がない場合などには、欠陥画素判定装置10は補正値算出部130を備えなくてもよい。
【0034】
ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160は、ラインメモリ120から供給される画像信号を構成する複数の画素から中心画素を順次に選択し、当該中心画素が欠陥画素であるか否かの判定を行う。ダイナミック欠陥判定部140は、従来のダイナミック欠陥判定による欠陥判定条件を用いて、中心画素が欠陥画素であるか否かの判定を行う。なお、欠陥画素判定装置10はダイナミック欠陥判定部140を備えなくてもよい。
【0035】
ここで、上記したように、従来のダイナミック欠陥判定による手法によれば、欠陥画素と同レベルのエッジが近傍に存在する場合は、その欠陥画素は欠陥画素であると判定されない。一方、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160は、欠陥画素と同レベルのエッジが近傍にある場合であっても、その欠陥画素を欠陥画素であると判定することができる。
【0036】
具体的には、第1のエッジ近傍欠陥判定部150は、中心画素に対して水平方向または垂直方向に近傍するエッジが存在する場合においても中心画素が欠陥画素であるか否かを判定することができる。また、第2のエッジ近傍欠陥判定部160は、中心画素に対して斜め方向に近傍するエッジが存在する場合においても中心画素が欠陥画素であるか否かを判定することができる。
【0037】
なお、
図3に示した例では、欠陥画素判定装置10は第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160の双方を備えているが、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160のうちの少なくともいずれか一方を備えていればよい。第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160のそれぞれが有する機能の詳細については、後に説明する。
【0038】
セレクタ170は、ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160それぞれから供給される判定結果に基づいて、補正値算出部130により算出された各補正値からいずれかの補正値を選択する。ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160それぞれから供給される判定結果とセレクタ170により選択される補正値との関係については、
図8を参照しながら後に説明する。
【0039】
セレクタ170によって選択された補正値は、例えば、欠陥画素判定装置10の外部に存在する他の装置に出力され、当該他の装置において当該欠陥画素が当該補正値に補正されてもよい。なお、補正値を選択する必要がない場合などには(例えば、ダイナミック欠陥判定部140が存在せず、第2のエッジ近傍欠陥判定部160のみ存在する場合などには)、欠陥画素判定装置10はセレクタ170を備えなくてもよい。
【0040】
また、
図3に示したように、補正値算出部130、ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160を並列に設けることで、ラインメモリ120を重複して設ける必要がなく、ラインメモリ120のメモリサイズを小さく抑えることが可能となる。
【0041】
以上、本発明の実施形態に係る欠陥画素判定装置10の機能構成について説明した。
【0042】
続いて、第1のエッジ近傍欠陥判定部150の詳細について説明する。
図4は、第1のエッジ近傍欠陥判定部150の詳細構成を示す図である。また、
図5は、第1のエッジ近傍欠陥判定部150が有する機能の詳細を示す図である。
図4に示すように、第1のエッジ近傍欠陥判定部150は、第1の差分算出部1511、第2の差分算出部1512および判定部152を備える。
【0043】
以下の説明においては、
図5に示したように、中心画素を中心画素Pcと示し、中心画素Pcと同色レイヤであって中心画素Pcに隣接する画素群を第1の画素群(画素P1、画素P2、画素P4、画素P6および画素P7)と第2の画素群(画素P3、画素P5および画素P8)とに分ける。
【0044】
また、
図5の(数式1)に示されるように、第1の画素群の画素値のうち第1の最大値を、Pmax=MAX(P1,P2,P4,P6,P7)と示し、
図5の(数式2)に示されるように、第1の画素群の画素値のうち第1の最小値を、Pmin=MIN(P1,P2,P4,P6,P7)と示す。したがって、第1の最大値と第1の最小値との第1の差分値は、Pmax−Pminと示される。
【0045】
また、
図5の(条件3)に示されるように、第2の画素群の画素値のうち第2の最大値を、MAX(P3,P5,P8)と示し、第2の画素群の画素値のうち第2の最小値を、MIN(P3,P5,P8)と示す。また、
図5の(条件3)に示されるように、第2の最大値と第2の最小値との第2の差分値を、MAX(P3,P5,P8)−MIN(P3,P5,P8)と示す。
【0046】
ここで、第1の差分算出部1511は、Pmax−Pminを算出する。また、第2の差分算出部1512は、MAX(P3,P5,P8)−MIN(P3,P5,P8)を算出する。判定部152は、PmaxまたはPminと中心画素Pcの画素値との関係とPmax−PminとMAX(P3,P5,P8)−MIN(P3,P5,P8)とに基づいて、中心画素Pcが欠陥画素であるか否かを判定する。
【0047】
このような欠陥画素の判定手法によれば、中心画素Pcに対して水平方向または垂直方向に近傍するエッジが存在する場合においても中心画素Pcが欠陥画素であるか否かを判定することができる。当該判定手法は、中心画素Pcが白欠陥(Hot Pixel)の場合に対しても適用可能であり、中心画素Pcが黒欠陥(Cold Pixel)の場合に対しても適用可能である。
【0048】
なお、
図5には、中心画素Pcの右側に垂直方向のエッジが存在する場合を示しているが、中心画素Pcの左側に垂直方向のエッジが存在する場合、中心画素Pcの上側に水平方向のエッジが存在する場合および中心画素Pcの下側に水平方向のエッジが存在する場合に対しても当該手法を適用することができる。
【0049】
当該手法をかかる場合に適用するには、中心画素Pcが欠陥画素であるか否かの判定が、中心画素Pcを基準として第1の画素群(画素P1、画素P2、画素P4、画素P6および画素P7)および第2の画素群(画素P3、画素P5および画素P8)を所定角度回転して得られる複数パターンに対してなされる。例えば、所定角度が90度である場合には、90度ずつ回転して得られる4つのパターンに対して判定がなされればよい。このように、当該手法を複数のパターンに対して適用することにより、より高精度に欠陥判定を行うことが可能となる。
【0050】
当該複数パターンに対する判定がなされる場合には、判定部152は、当該複数パターンのうちの少なくともいずれか1つのパターンにおいて中心画素Pcが欠陥画素であると判定した場合には、中心画素Pcが欠陥画素であると判定すればよい。また、判定部152は、当該複数パターンの全てにおいて中心画素Pcが欠陥画素ではないと判定した場合には、中心画素Pcが欠陥画素ではないと判定すればよい。
【0051】
中心画素Pcを基準として第1の画素群および第2の画素群を所定角度回転して得られる複数パターンに対する判定がなされる場合には、第1の画素群および第2の画素群が所定角度回転された上で、上記の手法における判定と同一の判定がなされてもよい。あるいは、第1の画素群および第2の画素群自体は回転させずに、上記の手法における判定と異なる判定(例えば、中心画素Pcを基準として対象の画素自体を所定角度回転させた後の画素とした上での判定)がなされてもよい。
【0052】
どのような場合に判定部152が中心画素Pcを欠陥画素であると判定するかについては特に限定されないが、例えば、判定部152は、PmaxまたはPminと中心画素Pcの画素値との関係が第1の条件を満たし、かつ、Pmax−Pminが第2の条件を満たし、かつ、MAX(P3,P5,P8)−MIN(P3,P5,P8)が第3の条件を満たす場合に、中心画素Pcが欠陥画素であると判定してもよい。
【0053】
例えば、
図5の(数式3)および(条件1)に示されるように、第1の条件は、中心画素Pcの画素値がPmaxよりも大きい場合には、中心画素Pcの画素値からPmaxを減じた値(Pc−Pmax)が第1の閾値(TH1)よりも大きいという条件であってもよい。また、
図5の(数式3)および(条件1)に示されるように、第1の条件は、中心画素Pcの画素値がPminよりも小さい場合には、Pminから中心画素Pcの画素値を減じた値(Pmin−Pc)が第1の閾値(TH1)よりも大きいという条件であってもよい。
【0054】
また、例えば、
図5の(条件2)に示されるように、第2の条件は、Pmax−Pminが第2の閾値(TH2)よりも小さいという条件であってもよい。また、例えば、
図5の(条件3)に示されるように、第3の条件は、MAX(P3,P5,P8)−MIN(P3,P5,P8)が第3の閾値(TH3)よりも小さいという条件であってもよい。
【0055】
なお、例えば、判定部152は、PmaxまたはPminと中心画素Pcの画素値との関係が上記した第1の条件を満たさない場合、または、Pmax−Pminが上記した第2の条件を満たさない場合、または、MAX(P3,P5,P8)−MIN(P3,P5,P8)が上記した第3の条件を満たさない場合には、中心画素Pcが欠陥画素ではないと判定してもよい。
【0056】
以上、本発明の実施形態に係る欠陥画素判定装置10が有する第1のエッジ近傍欠陥判定部150の詳細について説明した。
【0057】
続いて、第2のエッジ近傍欠陥判定部160の詳細について説明する。
図6は、第2のエッジ近傍欠陥判定部160の詳細構成を示す図である。また、
図7は、第2のエッジ近傍欠陥判定部160が有する機能の詳細を示す図である。
図6に示すように、第2のエッジ近傍欠陥判定部160は、差分算出部161および判定部162を備える。
【0058】
以下の説明においては、
図7に示したように、中心画素を中心画素Pcと示し、中心画素Pcと同色レイヤであって中心画素Pcに隣接する画素群から四隅のいずれかの画素(画素P1)を除外した除去後の画素群(画素P2、画素P3、画素P4、画素P5、画素P6、画素P7および画素P8)を想定する。
【0059】
また、
図7の(数式4)に示されるように、除去後の画素群の画素値のうち最大値を、Pmax=MAX(P2,P3,P4,P5,P6,P7,P8)と示し、
図7の(数式5)に示されるように、除去後の画素群の画素値のうち最小値を、Pmin=MIN(P2,P3,P4,P5,P6,P7,P8)と示す。したがって、最大値と最小値との差分値は、Pmax−Pminと示される。
【0060】
ここで、差分算出部161は、Pmax−Pminを算出する。また、判定部162は、PmaxまたはPminと中心画素Pcの画素値との関係とPmax−Pminとに基づいて、中心画素Pcが欠陥画素であるか否かを判定する。
【0061】
このような欠陥画素の判定手法によれば、中心画素Pcに対して斜め方向に近傍するエッジが存在する場合においても中心画素Pcが欠陥画素であるか否かを判定することができる。当該判定手法は、中心画素Pcが白欠陥(Hot Pixel)の場合に対しても適用可能であり、中心画素Pcが黒欠陥(Cold Pixel)の場合に対しても適用可能である。
【0062】
なお、
図7には、中心画素Pcの左上側に斜め方向のエッジが存在する場合を示しているが、中心画素Pcの右上側に斜め方向のエッジが存在する場合、中心画素Pcの左下側に斜め方向のエッジが存在する場合および中心画素Pcの右下側に斜め方向のエッジが存在する場合に対しても当該手法を適用することができる。
【0063】
当該手法をかかる場合に適用するには、中心画素Pcが欠陥画素であるか否かの判定が、中心画素Pcを基準として除去後の画素群(P2,P3,P4,P5,P6,P7,P8)を所定角度回転して得られる複数パターンに対してなされる。例えば、所定角度が90度である場合には、90度ずつ回転して得られる4つのパターンに対して判定がなされればよい。このように、当該手法を複数のパターンに対して適用することにより、より高精度に欠陥判定を行うことが可能となる。
【0064】
当該複数パターンに対する判定がなされる場合には、判定部162は、当該複数パターンのうちの少なくともいずれか1つのパターンにおいて中心画素Pcが欠陥画素であると判定した場合には、中心画素Pcが欠陥画素であると判定すればよい。また、判定部162は、当該複数パターンの全てにおいて中心画素Pcが欠陥画素ではないと判定した場合には、中心画素Pcが欠陥画素ではないと判定すればよい。
【0065】
中心画素Pcを基準として除去後の画素群を所定角度回転して得られる複数パターンに対する判定がなされる場合には、除去後の画素群が所定角度回転された上で、上記の手法における判定と同一の判定がなされてもよい。あるいは、除去後の画素群自体は回転させずに、上記の手法における判定と異なる判定(例えば、中心画素Pcを基準として対象の画素自体を所定角度回転させた後の画素とした上での判定)がなされてもよい。
【0066】
どのような場合に判定部162が中心画素Pcを欠陥画素であると判定するかについては特に限定されないが、例えば、判定部162は、PmaxまたはPminと中心画素Pcの画素値との関係が第1の条件を満たし、かつ、Pmax−Pminが第2の条件を満たす場合に、中心画素Pcが欠陥画素であると判定してもよい。
【0067】
例えば、
図7の(数式3)および(条件1)に示されるように、第1の条件は、中心画素Pcの画素値がPmaxよりも大きい場合には、中心画素Pcの画素値からPmaxを減じた値(Pc−Pmax)が第1の閾値(TH1)よりも大きいという条件であってもよい。また、
図7の(数式3)および(条件1)に示されるように、第1の条件は、中心画素Pcの画素値がPminよりも小さい場合には、Pminから中心画素Pcの画素値を減じた値(Pmin−Pc)が第1の閾値(TH1)よりも大きいという条件であってもよい。
【0068】
また、例えば、
図7の(条件2)に示されるように、第2の条件は、Pmax−Pminが第2の閾値(TH2)よりも小さいという条件であってもよい。
図5に示した第1の閾値(TH1)と
図7に示した第1の閾値(TH1)とは同一であってもよいし、異なっていてもよい。また、
図5に示した第2の閾値(TH2)と
図7に示した第2の閾値(TH2)とは同一であってもよいし、異なっていてもよい。
【0069】
なお、例えば、判定部162は、PmaxまたはPminと中心画素Pcの画素値との関係が上記した第1の条件を満たさない場合、または、Pmax−Pminが上記した第2の条件を満たさない場合には、中心画素Pcが欠陥画素ではないと判定してもよい。
【0070】
以上、本発明の実施形態に係る欠陥画素判定装置10が有する第2のエッジ近傍欠陥判定部160の詳細について説明した。
【0071】
ここで、上記したように、補正値算出部130による補正値算出の手法については特に限定されない。以下では、補正値算出部130による補正値算出の手法の一例について説明する。
図8は、欠陥判定の種類と補正値との関係の一例を示す図である。なお、当然のことながら、補正値算出部130による補正値算出の手法は、
図8に示した例に限定されない。
【0072】
上記したように、欠陥画素と判定された画素の画素値は、例えば、補正値算出部130により算出された補正値により置き換えられる。
図8に示すように、補正値は、ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160のうちのいずれの機能ブロックにより欠陥判定(すなわち、中心画素Pcが欠陥画素であるという判定)がなされたかに応じて異なっていてもよい。
【0073】
例えば、ダイナミック欠陥判定部140により欠陥判定がなされた場合には、中心画素Pcの上下左右4画素(画素P2、画素P4、画素P5および画素P7)の平均値が補正値として使用されてもよい。
【0074】
また、第1のエッジ近傍欠陥判定部150により欠陥判定がなされた場合、エッジが中心画素Pcの左または右に存在する場合は、中心画素Pcの上下2画素(画素P2および画素P7)の平均値が補正値として使用されてもよく、エッジが中心画素Pcの上または下に存在する場合は、中心画素Pcの左右2画素(画素P4および画素P5)の平均値が補正値として使用されてもよい。
【0075】
第1のエッジ近傍欠陥判定部150により欠陥判定がなされ、かつ、エッジが中心画素Pcの左または右に存在するのは、エッジの方向が水平方向の場合である。一方、第1のエッジ近傍欠陥判定部150により欠陥判定がなされ、かつ、エッジが中心画素Pcの上または下に存在するのは、エッジの方向が垂直方向である場合である。そこで、エッジの方向が水平方向および垂直方向のいずれであるのかを判定する機能ブロックを設け、セレクタ170は、かかる機能ブロックにより判定されたエッジの方向からエッジが中心画素Pcの左または右に存在するのか上または下に存在するのかを判定してもよい。
【0076】
また、第2のエッジ近傍欠陥判定部160により欠陥判定がなされた場合、エッジが中心画素Pcの左上、右上、左下および右下のいずれかに存在する場合、中心画素Pcの上下左右4画素(画素P2、画素P4、画素P5および画素P7)の平均値が補正値として使用されてもよい。
【0077】
図8に示した例においては、使用される補正値は、上下2画素平均、左右2画素平均、上下左右4画素平均の3種類のいずれかである。この場合、補正値算出部130はこの3種類の補正値を算出してセレクタ170に供給し、セレクタ170は、ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160それぞれによる判定結果に基づいて、補正値を選択して他の装置に出力する。セレクタ170は、いずれの欠陥判定もなされなかった場合は、入力画素値をそのまま出力すればよい。
【0078】
セレクタ170には、ダイナミック欠陥判定部140、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160それぞれによる判定結果が同時に供給され得るため、セレクタ170が複数の欠陥判定を検出する場合もあり得る。そのような場合を想定し、判定結果を参照する順序を予め決めておき、セレクタ170は、最初に検出した欠陥判定に対応する補正値を選択してもよい。この判定結果を参照する順序は、例えば、
図8に示したように、ダイナミック欠陥判定、エッジ近傍欠陥判定1(第1のエッジ近傍欠陥判定部150による判定結果)およびエッジ近傍欠陥判定2(第2のエッジ近傍欠陥判定部160による判定結果)の順であってもよいが、特に限定されない。
【0079】
以上、補正値算出部130による補正値算出の手法の一例について説明した。
【0080】
本発明の実施形態によれば、中心画素と同レベルの値を持つエッジの近傍に存在する欠陥画素も欠陥画素であると判定し、補正および除去を行うことができる。かかる補正および除去は、従来のダイナミック欠陥補正では除去することが不可能であった。予備実験の結果では、従来のダイナミック欠陥補正と本発明の実施形態におけるエッジ近傍欠陥補正とを組み合わせることで99%以上の高い欠陥除去率を達成できており、また重要な画像情報を欠陥と誤判定して補正してしまうことで画像にダメージを与えてしまう副作用も非常に小さく抑えられている。
【0081】
第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160それぞれは、大小比較、加減算およびシフト演算のみで構成され得るため、乗算および割算を必要としない。演算遅延なども非常に小さく抑えられ、回路規模増加はごく僅かである。さらに、第1のエッジ近傍欠陥判定部150および第2のエッジ近傍欠陥判定部160は、ダイナミック欠陥判定部140において使用する所定ライン(例えば、5ライン)の信号を共用して使えるため、ラインメモリの追加も必要ない。以上から、本発明の実施形態は実装が容易であるという利点を有する。
【0082】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0083】
例えば、補正値としては、
図8に示した例に記載の補正値を用いる必要はなく、補正値算出に使用される画素の範囲は、5×5よりも大きなカーネルサイズにまで広げたり、中心画素Pcとは異色の画素の画素値を補正値の算出に使用したりしてもよい。本発明の実施形態の主眼は、エッジ近傍の同レベル欠陥の判定方法を提供することにある。
【0084】
また、本発明の実施形態においては、4原色センサを用いる場合を主に説明したが、2×2画素の中に各色1画素ずつが存在するという点では、3原色BayerセンサのR,B信号も同じであり、これに本発明の実施形態を適用しようとしても技術的な障壁はない。しかし、3原色Bayerセンサでは、2×2画素中に2画素存在するG信号を使ってデモザイキングを行うため、最終画像の解像感が高く、欠陥補正の副作用としての解像度低下がないか検討するのがよい。また、G信号を参照して欠陥の判定精度も上げられる可能性があることに留意すべきである。