特許 6063728 欠陥画素検出装置、欠陥画素検出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6063728

(24)【登録日】2016年12月22日

(45)【発行日】2017年1月18日

(54)【発明の名称】欠陥画素検出装置、欠陥画素検出方法及びプログラム

(51)【国際特許分類】

   H04N 5/367 20110101AFI20170106BHJP

   H04N 5/33 20060101ALI20170106BHJP

   H04N 9/07 20060101ALI20170106BHJP

【ＦＩ】

   H04N5/335 670

   H04N5/33

   H04N9/07 A

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2012-277230(P2012-277230)

(22)【出願日】2012年12月19日

(65)【公開番号】特開2014-121075(P2014-121075A)

(43)【公開日】2014年6月30日

【審査請求日】2015年10月7日

(73)【特許権者】

【識別番号】500548884

【氏名又は名称】ハンファテクウィン株式会社

【氏名又は名称原語表記】ＨＡＮＷＨＡ ＴＥＣＨＷＩＮ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110000981

【氏名又は名称】アイ・ピー・ディー国際特許業務法人

(72)【発明者】

【氏名】平野 真理子

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２０１０−０３５１１４（ＪＰ，Ａ）

【文献】 特開２００５−３１８３８３（ＪＰ，Ａ）

【文献】 特開２００９−１０５８７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０−５／３７８

Ｈ０４Ｎ ９／０４−９／１１

(57)【特許請求の範囲】

【請求項1】

対象画素の周囲に配された周囲画素であって所定方向に連なる複数色の前記周囲画素から成る周囲画素群の画素値の勾配を複数の方向について算出する算出部と、
前記算出部により算出された前記勾配が最も小さい方向を特定する特定部と、
前記対象画素の画素値と前記特定部により特定された方向の前記周囲画素群のうち前記対象画素と同色の前記周囲画素の画素値との差分に基づいて前記対象画素が欠陥画素であるか否かを判定する判定部と、
を備える欠陥画素検出装置。

【請求項2】

前記周囲画素群は、前記所定方向に前記対象画素と同色且つ前記対象画素に隣接する周囲画素を含む、請求項１に記載の欠陥画素検出装置。

【請求項3】

前記算出部は、前記周囲画素群が含む各色の前記周囲画素ごとに、前記所定方向に隣接する前記周囲画素の組み合わせについてそれぞれ算出される画素値の差に基づいて前記勾配を算出する、請求項１または２に記載の欠陥画素検出装置。

【請求項4】

前記判定部は、前記対象画素と前記所定方向に隣接する２つの同色の前記周囲画素との画素値の大小関係がそれぞれ同じで、且つ、前記対象画素と当該周囲画素との画素値の差分がいずれも閾値よりも大きい場合に前記対象画素が欠陥画素であると判定する、請求項１〜３のいずれか一項に記載の欠陥画素検出装置。

【請求項5】

前記欠陥画素検出装置は、前記対象画素の画素値を補正する補正部をさらに備え、
前記補正部は、前記判定部により前記対象画素は欠陥画素であると判定された場合に、前記周囲画素の画素値に基づいて前記対象画素の画素値を補正する、請求項１〜４のいずれか一項に記載の欠陥画素検出装置。

【請求項6】

前記補正部は、前記特定部により特定された方向に前記対象画素と同色且つ前記対象画素に隣接する前記周囲画素の画素値に基づいて前記対象画素の画素値を補正する、請求項５に記載の欠陥画素検出装置。

【請求項7】

前記対象画素および前記周囲画素は、マトリクス状に配置された２×２画素周期の異なる４色のカラーフィルタを有する撮像素子により出力される画像を構成する画素である、請求項１〜６のいずれか一項に記載の欠陥画素検出装置。

【請求項8】

対象画素の周囲に配された周囲画素であって所定方向に連なる複数色の前記周囲画素から成る周囲画素群の画素値の勾配を複数の方向について算出するステップと、
算出された前記勾配が最も小さい方向を特定するステップと、
前記対象画素の画素値と特定された方向の前記周囲画素群のうち前記対象画素と同色の前記周囲画素の画素値との差分に基づいて前記対象画素が欠陥画素であるか否かを判定するステップと、
を備える欠陥画素検出方法。

【請求項9】

コンピュータに、
対象画素の周囲に配された周囲画素であって所定方向に連なる複数色の前記周囲画素から成る周囲画素群の画素値の勾配を複数の方向について算出するステップと、
算出された前記勾配が最も小さい方向を特定するステップと、
前記対象画素の画素値と特定された方向の前記周囲画素群のうち前記対象画素と同色の前記周囲画素の画素値との差分に基づいて前記対象画素が欠陥画素であるか否かを判定するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特に２×２画素周期で異なる４色のカラーフィルタが割り当てられている撮像素子にも適用可能な欠陥画素検出装置、欠陥画素検出方法及びプログラムに関する。

【背景技術】

【0002】

ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの撮像素子は、不可避的に画素欠陥を生じることが知られている。

【0003】

このため、例えば製造工程に起因する画素欠陥については、撮像装置は、工場出荷時に検出された欠陥の位置情報を記憶しておくことで、撮像時にその位置情報に基づいて欠陥を補正する方法が知られている。他にも、製造後に後発的に発生する画素欠陥も含めて、撮像装置が、撮影時に画素欠陥を動的に検出して補正する方法が知られている。

【0004】

撮像された画像について、対象画素が欠陥画素であるか否かを判定する技術には、対象画素と同色の隣接画素の画素値を比較して対象画素が孤立点か否かを判断する方法が良く知られているが、欠陥画素が撮影画像の細線上や細線の近傍に存在するケースでは、同色周辺画素を使用するだけでは検出が困難な場合がある。そこで、Ｂａｙｅｒ配列の撮像素子の場合は、例えば下記特許文献１のように、対象画素周辺の、市松模様状に配置されたＧｒｅｅｎ（Ｇ）画素を使用してエッジ方向を検出し、エッジ方向に隣接する画素情報に基づいて、対象画素が欠陥画素であるか否かを判定する事で検出性能を上げる方法が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−１５４２７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、２×２画素周期で異なる４色のカラーフィルタが割り当てられている撮像素子の場合は、上述したＢａｙｅｒ配列のＧ画素の様に特にエッジ方向の検出に適した画素があるわけではなく、対象画素と同色周辺画素を使用するだけでは、撮影画像の細線上や細線の近傍に存在する欠陥画素の検出が困難な場合があるという問題があった。

【0007】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、２×２画素周期で異なる４色のカラーフィルタが割り当てられている撮像素子のような場合であっても、複数色の画素に基づいて撮影画像の細線上や細線の近傍に存在する欠陥画素を判定することが可能な、新規かつ改良された欠陥画素検出装置、欠陥画素検出方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のある観点によれば、対象画素の周囲に配された周囲画素であって所定方向に連なる複数色の前記周囲画素から成る周囲画素群の画素値の勾配を複数の方向について算出する算出部と、前記算出部により算出された前記勾配が最も小さい方向を特定する特定部と、前記対象画素の画素値と前記特定部により特定された方向の前記周囲画素群のうち前記対象画素と同色の前記周囲画素の画素値との差分に基づいて前記対象画素が欠陥画素であるか否かを判定する判定部と、を備える欠陥画素検出装置が提供される。

【0009】

前記周囲画素群は、前記所定方向に前記対象画素と同色且つ前記対象画素に隣接する周囲画素を含んでもよい。

【0010】

前記算出部は、前記周囲画素群が含む各色の前記周囲画素ごとに、前記所定方向に隣接する前記周囲画素の組み合わせについてそれぞれ算出される画素値の差に基づいて前記勾配を算出してもよい。

【0011】

前記判定部は、前記対象画素と前記所定方向に隣接する２つの同色の前記周囲画素との画素値の大小関係がそれぞれ同じで、且つ、前記対象画素と当該周囲画素との画素値の差分がいずれも閾値よりも大きい場合に前記対象画素が欠陥画素であると判定してもよい。

【0012】

前記欠陥画素検出装置は、前記対象画素の画素値を補正する補正部をさらに備え、前記補正部は、前記判定部により前記対象画素は欠陥画素であると判定された場合に、前記周囲画素の画素値に基づいて前記対象画素の画素値を補正してもよい。

【0013】

前記補正部は、前記特定部により特定された方向に前記対象画素と同色且つ前記対象画素に隣接する前記周囲画素の画素値に基づいて前記対象画素の画素値を補正してもよい。

【0014】

前記対象画素および前記周囲画素は、マトリクス状に配置された２×２画素周期の異なる４色のカラーフィルタを有する撮像素子により出力される画像を構成する画素であってもよい。

【0015】

また、上記課題を解決するために、本発明の別の観点によれば、対象画素の周囲に配された周囲画素であって所定方向に連なる複数色の前記周囲画素から成る周囲画素群の画素値の勾配を複数の方向について算出するステップと、算出された前記勾配が最も小さい方向を特定するステップと、前記対象画素の画素値と特定された方向の前記周囲画素群のうち前記対象画素と同色の前記周囲画素の画素値との差分に基づいて前記対象画素が欠陥画素であるか否かを判定するステップと、を備える欠陥画素検出方法が提供される。

【0016】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、対象画素の周囲に配された周囲画素であって所定方向に連なる複数色の前記周囲画素から成る周囲画素群の画素値の勾配を複数の方向について算出するステップと、算出された前記勾配が最も小さい方向を特定するステップと、前記対象画素の画素値と特定された方向の前記周囲画素群のうち前記対象画素と同色の前記周囲画素の画素値との差分に基づいて前記対象画素が欠陥画素であるか否かを判定するステップと、を実行させるためのプログラムが提供される。

【発明の効果】

【0017】

以上説明したように本発明によれば、２×２画素周期で異なる４色のカラーフィルタが割り当てられている撮像素子のような場合であっても、複数色の画素に基づいて撮影画像の細線上や細線の近傍に存在する欠陥画素を判定することが可能である。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る欠陥画素検出装置の概要を説明するための説明図である。

【図2】本実施形態に係る欠陥画素検出装置の構成を示すブロック図である。

【図3】本実施形態に係る欠陥画素検出装置に入力される画像の画素構成を示す説明図である。

【図4】本実施形態に係る欠陥画素検出装置の動作を示すフローチャートである。

【図5】本実施形態に係る欠陥画素検出装置により処理される画像の一例を示した説明図である。

【図6】本実施形態に係る算出部による０°方向の分布指標値の算出に用いられる周囲画素群を示す説明図である。

【図7】本実施形態に係る算出部による９０°方向の分布指標値の算出に用いられる周囲画素群を示す説明図である。

【図8】本実施形態に係る算出部による４５°方向の分布指標値の算出に用いられる周囲画素群を示す説明図である。

【図9】本実施形態に係る算出部による−４５°方向の分布指標値の算出に用いられる周囲画素群を示す説明図である。

【図10】対象画素の同色隣接画素の組み合わせを説明するための説明図である。

【図11】本実施形態に係る判定部による欠陥画素の判定を説明するための説明図である。

【発明を実施するための形態】

【0019】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0020】

＜＜１．欠陥画素検出装置の概要＞＞
本発明の一実施形態に係る欠陥画素検出装置１は、
Ａ．対象画素の周囲に配された周囲画素であって所定方向に連なる複数色の前記周囲画素から成る周囲画素群の画素値の勾配を複数の方向について算出する算出部（１１）と、
Ｂ．前記算出部により算出された前記勾配が最も小さい方向を特定する特定部（１３）と、
Ｃ．前記対象画素の画素値と前記特定部により特定された方向の前記周囲画素群のうち前記対象画素と同色の前記周囲画素の画素値との差分に基づいて前記対象画素が欠陥画素であるか否かを判定する判定部（１５）と、
を備える。

【0021】

以下では、まず、本実施形態に係る欠陥画素検出装置１の概要について、図１を参照して説明する。

【0022】

図１は、本実施形態に係る欠陥画素検出装置１の概要を説明するための説明図である。図１に示すように、欠陥画素検出装置１は、画像２０の欠陥画素２１０を検出し、検出した画素について補正を行う。ここで、画像２１は画像２０の一部を拡大したものを示し、ひとつのセルが一つの画素を示している。画像２１には、中央に画素値の大きい帯状の部分と、両端に画素値の小さい帯状の部分とがあり、中央部に画素値の小さい欠陥画素２１０がある。欠陥画素検出装置１は、画像２１の欠陥画素２１０を検出し、画素２２０に補正した画像２２を出力する。以下、欠陥画素検出装置１の動作の概要について説明する。

【0023】

欠陥画素検出装置１は、まず、欠陥画素であるか否かの判定対象である対象画素の、周囲に配された周囲画素の画素値の変化量、即ち勾配が最も小さい方向を特定する。例えば、画像２１において、対象画素２１０の９０°方向は、画素値の大きい帯状の部分が続くため、９０°方向に並ぶ画素の画素値の勾配は小さい。一方で、対象画素２１０の０°方向、４５°方向、および−４５°方向は、画素値の小さい部分と大きい部分とが交互に存在し、その方向に並ぶ画素の画素値の勾配は大きい。これより、欠陥画素検出装置１は、９０°方向が最も勾配の小さい方向であると特定する。

【0024】

次に、欠陥画素検出装置１は、周囲画素の最も勾配の小さい方向に存在する周囲画素に基づいて、対象画素が欠陥であるか否かを判定する。例えば、画像２１において、対象画素２１０の９０°方向は画素値が大きい画素が続いている。これより、欠陥画素検出装置１は、対象画素２１０の画素値が９０°方向に存在する周囲画素の画素値と比較して極端に小さい対象画素２１０を、欠陥画素であると判定する。

【0025】

このように、欠陥画素検出装置１は、対象画素の周囲に配された周囲画素の画素値の勾配が最も小さい方向を特定し、勾配が最も小さい方向に連なる周囲画素を用いて欠陥画素を判定する。このため、欠陥画素検出装置１は、複数色の画素に基づいて、撮影画像の細線上に存在する欠陥画素を判定することが可能である。

【0026】

ここで、一般的に、撮像素子は、１つのＲ（Ｒｅｄ：赤）フィルタ、２つのＧ（Ｇｒｅｅｎ：緑）フィルタ、および１つのＢ（Ｂｌｕｅ：青）フィルタを２×２周期で構成する、Ｂａｙｅｒ配列のカラーフィルタを有する。そのような撮像素子により得られた画像は、市松模様上にＧ画素が配置されており、Ｇ画素の数はＲ画素およびＢ画素の数と比較して多い。また、Ｒ画素同士およびＢ画素同士はそれぞれ２画素分離れて配置されているが、Ｇ画素同士は１画素分離れて配置されている。このため、上記非特許文献１では、エッジ方向の検出に適する、画素数が多く狭い間隔で配置されているＧ画素を用いて、エッジ方向を特定している。

【0027】

しかしながら、Ｂａｙｅｒ配列のうちひとつのＧフィルタの代わりにＲＧＢの３色とは異なる色のフィルタを加えた場合には、得られる画像に含まれるＲ画素、Ｇ画素、Ｂ画素、およびその他の色の画素の画素数は同数となる。また、各色の画素は、それぞれ２画素分離れて配置される。従って、得られる画像にはエッジ方向の検出に適する画素がないため、上記非特許文献１の適用は困難となる。

【0028】

これに対し、欠陥画素検出装置１は、Ｇ画素のみに限られず、他の色の画素をも用いて勾配が最も小さい方向を特定し、特定した方向に基づいて欠陥画素を検出する。このため、欠陥画素検出装置１は、撮像素子のカラーフィルタがＢａｙｅｒ配列であっても、２×２周期で４色異なるフィルタにより構成されていても、安定して欠陥画素を検出することができる。

【0029】

以上、欠陥画素検出装置１の概要について説明した。続いて、図２〜３を参照し、欠陥画素検出装置１の構成について説明する。

【0030】

＜＜２．構成＞＞
図２は、本実施形態に係る欠陥画素検出装置１の構成を示すブロック図である。図２に示した通り、欠陥画素検出装置１は、算出部１１、特定部１３、判定部１５、および補正部１７を含む。そして、欠陥画素検出装置１は、撮像装置２より出力された画像から欠陥画素を検出および補正して、補正後の画像を後段のカメラ信号処理部３に出力する。以下、欠陥画素検出装置１の各構成、撮像装置２、およびカメラ信号処理部３について詳細に説明する。

【0031】

（撮像装置）
撮像装置２は、複数色のカラーフィルタを有する撮像素子を有し、撮影した画像を欠陥画素検出装置１に出力する。撮像装置２が有するカラーフィルタはＢａｙｅｒ配列等の多様な構成を有すると考えられる。本明細書においては、一例として、撮像装置２の画像素子は、マトリクス状に配置された２×２画素周期の異なる４色のカラーフィルタを有するものとする。具体的には、撮像装置２は、Ｂａｙｅｒ配列のうちひとつのＧフィルタの代わりにＩＲ（ＩｎｆｒａＲｅｄ：赤外線）フィルタを加えたカラーフィルタを有するものとする。ここで、そのようなカラーフィルタを有する撮像装置２から欠陥画素検出装置１に出力される画像を、図３に示す。

【0032】

図３は、本実施形態に係る欠陥画素検出装置１に出力される画像２３の画素構成を示す説明図である。図３に示すように、欠陥画素検出装置１に出力される画像２３は、各カラーフィルタに対応する画素として、２×２周期で配されたＲ画素、Ｇ画素、Ｂ画素、およびＩＲ画素により構成されている。なお、画像２３に含まれる各画素を、以下ではテーブル２４に示した符号により識別するものとする。例えば画素Ａ１１はＲ画素であり、画素Ａ１１に隣接する画素Ｂ１２はＧ画素である。また、画素Ａ３３と同色であるＲ画素であって、画素Ａ３３と隣接する画素である、画素Ａ１１、Ａ１３、Ａ１５、Ａ３１、Ａ３５、Ａ５１、Ａ５３、およびＡ５５を、画素Ａ３３の同色隣接画素とも称する。

【0033】

なお、撮像装置２により出力された画像は欠陥画素検出装置１、具体的には、算出部１１および補正部１７にそれぞれ入力される。

【0034】

（欠陥画素検出装置）
・算出部
算出部１１は、撮像装置２により出力された画像に含まれる対象画素について、複数の周囲画素から成る周囲画素群における所定方向に連なる画素の画素値の変化量を示す勾配を、複数の方向について算出する。なお、算出部１１による勾配の算出方法については後述する。そして、算出部１１は、算出した勾配を、特定部１３に出力する。

【0035】

・特定部
特定部１３は、算出部１１により算出された勾配に基づいて、最も勾配の小さい方向を特定する。そして、特定部１３は、特定した最も勾配の小さい方向を、判定部１５に出力する。

【0036】

・判定部
判定部１５は、特定部１３により特定された方向を用いて、対象画素が欠陥画素であるか否かを判定する。具体的には、判定部１５は、周囲画素群のうち特定部１３により特定された方向に隣接する対象画素と同色の２つの周辺画素（同色隣接画素）の画素値に基づいて、対象画素が欠陥画素であるか否かを判定する。そして、判定部１５は、判定結果を補正部１７に出力する。

【0037】

・補正部
補正部１７は、判定部１５による判定結果に基づいて、撮像装置２より出力された画像の対象画素を補正する。より詳しくは、補正部１７は、周囲画素群のうち特定部１３により特定された方向に連なる画素の画素値に基づいて、対象画素の画素値を補正する。そして、補正部１７は、補正した画像をカメラ信号処理部３に出力する。

【0038】

（カメラ信号処理部）
カメラ信号処理部３は、欠陥画素を補正した画像に対して、ガンマ補正やホワイトバランス調整、色補間や圧縮等の処理を行う。

【0039】

以上、欠陥画素検出装置１の構成について説明した。

【0040】

＜＜３．動作＞＞
続いて、欠陥画素検出装置１の動作を図４〜１１を参照して説明する。なお、欠陥画素検出装置１は、撮像装置２から出力される画像に含まれる各画素について、欠陥画素であるか否かを判定（Ｓ１０４〜Ｓ１２４）し、続いて補正（Ｓ１２８）を行う。

【0041】

図４は、本実施形態に係る欠陥画素検出装置１の動作を示すフローチャートである。図４に示すように、まず、ステップＳ１０４で、算出部１１は、対象画素の周囲に配された周囲画素であって、所定方向に連なる複数色の周囲画素から成る周囲画素群の画素値の勾配を、複数の方向について算出する。より詳しくは、算出部１１は、勾配を示す指標として分布指標値を、勾配を算出する方向ごとに定義される周囲画素群に含まれるすべての色の画素の画素値を用いて算出する。

【0042】

ここで、図５を用いて具体的に算出部１１による勾配の算出処理を説明する。図５は、本実施形態に係る欠陥画素検出装置１により処理される画像の一例を示した説明図である。図５に示す画像２６は、テーブル２５に示す画素値（１２ｂｉｔ）を有するものである。また、図５の画像２６の各画素は、図３右のテーブル２４に対応しているものとする。この画像２６は、図１に示した画像２１と同様、中央に画素値の大きい帯状の部分と、両端に画素値の小さい帯状の部分とがある。ここで、欠陥画素検出装置１による欠陥画素の検出および補正の対象となる対象画素を、テーブル２５において画素値３６５を有する、画像２６の中央の画素Ａ３３とする。

【0043】

ステップＳ１０４においては、算出部１１は、複数の方向について各周囲画素群の画素値の勾配を算出する。一例として、算出部１１は、図５に示した対象画素Ａ３３の周囲に配された周囲画素であって、０°、９０°、４５°、−４５°の各方向に連なるすべての色の周囲画素から成る周囲画素群の画素値の勾配を算出するものとする。ここで、対象画素Ａ３３についての０°、９０°、４５°、−４５°の４方向の周囲画素群を、図６〜９に示す。

【0044】

図６は、本実施形態に係る算出部１１による０°方向の分布指標値の算出に用いられる周囲画素群を示す説明図である。図７は、本実施形態に係る算出部１１による９０°方向の分布指標値の算出に用いられる周囲画素群を示す説明図である。図８は、本実施形態に係る算出部１１による４５°方向の分布指標値の算出に用いられる周囲画素群を示す説明図である。図９は、本実施形態に係る算出部１１による−４５°方向の分布指標値の算出に用いられる周囲画素群を示す説明図である。

【0045】

図６〜図９で示した周囲画素群を用いて、算出部１１は、対象画素周辺の４色全ての画素の画素値を用いて分布指標値を算出する。その際、算出部１１は、周囲画素群が含む各色の周囲画素ごとに、所定方向に直接、又は対象画素を挟んで隣接する周囲画素の組み合わせについてそれぞれ算出される画素値の差に基づいて、分布指標値を算出する。具体的には、算出部１１は、以下に示す式に基づいて、０°方向の分布指標値ｄ０、９０°方向の分布指標値ｄ１、４５°方向の分布指標値ｄ２、−４５°方向の分布指標値ｄ３、を算出する。

【0046】

ｄ０＝｜Ａ３１−Ａ３５｜＋｜Ｂ３２−Ｂ３４｜＋｜Ｃ２１−Ｃ２３｜
＋｜Ｃ２３−Ｃ２５｜＋｜Ｃ４１−Ｃ４３｜＋｜Ｃ４３−Ｃ４５｜
＋｜Ｄ２２−Ｄ２４｜＋｜Ｄ４２−Ｄ４４｜ ・・・（数式１）

【0047】

ここで、上記数式１の右辺は、図６に示した０°方向の周囲画素群が含む、０°方向の同色隣接画素の組み合わせごとに算出された画素値の差分の絶対値の総和である。

【0048】

ｄ１＝｜Ａ１３−Ａ５３｜＋｜Ｂ１２−Ｂ３２｜＋｜Ｂ３２−Ｂ５２｜
＋｜Ｂ１４−Ｂ３４｜＋｜Ｂ３４−Ｂ５４｜＋｜Ｃ２３−Ｃ４３｜
＋｜Ｄ２２−Ｄ４２｜＋｜Ｄ２４−Ｄ４４｜ ・・・（数式２）

【0049】

ここで、上記数式２の右辺は、図７に示した９０°方向の周囲画素群が含む、９０°方向の同色隣接画素の組み合わせごとに算出された画素値の差分の絶対値の総和である。

【0050】

ｄ２＝｜Ａ１３−Ａ３１｜／２＋｜Ａ１５−Ａ５１｜＋｜Ａ３５−Ａ５３｜／２
＋｜Ｂ１４−Ｂ３２｜＋｜Ｂ３４−Ｂ５２｜＋｜Ｃ２３−Ｃ４１｜
＋｜Ｃ２５−Ｃ４３｜＋｜Ｄ２２−Ｄ４０｜／２＋｜Ｄ２４−Ｄ４２｜
＋｜Ｄ２６−Ｄ４４｜／２ ・・・（数式３）

【0051】

ここで、上記数式３の右辺は、図８に示した４５°方向の周囲画素群が含む、４５°方向の同色隣接画素の組み合わせごとに算出された画素値の差分の絶対値の総和である。なお、上記数式３においては、上記数式１および数式２との、同色隣接画素の組み合わせ数の均衡をとるため、対象画素Ａ３３から最も離れた位置の組み合わせを示す４項について１／２を掛けている。

【0052】

ｄ３＝｜Ａ１１−Ａ５５｜＋｜Ａ１３−Ａ３５｜／２＋｜Ａ３１−Ａ５３｜／２
＋｜Ｂ１２−Ｂ３４｜＋｜Ｂ３２−Ｂ５４｜＋｜Ｃ２１−Ｃ４３｜
＋｜Ｃ２３−Ｃ４５｜＋｜Ｄ２０−Ｄ４２｜／２＋｜Ｄ２２−Ｄ４４｜
＋｜Ｄ２４−Ｄ４６｜／２ ・・・（数式４）

【0053】

ここで、上記数式４の右辺は、図９に示した−４５°方向の周囲画素群が含む、−４５°方向の同色隣接画素の組み合わせごとに算出された画素値の差分の絶対値の総和である。なお、上記数式４においては、上記数式３と同様、対象画素Ａ３３から最も離れた位置の組み合わせを示す４項について１／２を掛けている。

【0054】

上記数式１〜４において算出された分布指標値は、値が大きい場合は周囲画素群の画素値の勾配が大きいことを示し、小さい場合は勾配が小さいことを示す。また、勾配が小さいことは、その方向に連なる画素の画素値の変化量が少ないことを意味するため、その方向に連なる画素の画素値の相関は高い。ここで、上記数式１〜４において、算出部１１は、分布指標値の算出に対象画素Ａ３３の画素値を用いない。このため、算出部１１は、対象画素Ａ３３が欠陥画素であったために画素値が異常値である場合であっても、異常値に影響されることなく分布指標値を算出することができる。

【0055】

図４に示したフローチャートの説明に戻る。ステップＳ１０４において複数方向の分布指標値が算出されると、ステップＳ１０８で、特定部１３は、算出部１１により算出された分布指標値が最も小さい方向を特定する。例えば、上述の図５の例では、特定部１３は、次式により分布指標値が最も小さい方向を特定する。

【0056】

ｄ_ｍｉｎ＝ＭＩＮ（ｄ０，ｄ１，ｄ２，ｄ３） ・・・（数式５）

【0057】

ここで、ｄ_ｍｉｎは分布指標値ｄ０、ｄ１、ｄ２、およびｄ３の最小値を示す。図５左のテーブル２５で示した画素値によると最小値ｄ_ｍｉｎ＝ｄ１となるため、特定部１３は、対象画素Ａ３３について、９０°方向を分布指標値が最も小さい方向として特定する。

【0058】

次いで、ステップＳ１１２で、判定部１５は、最小値ｄ_ｍｉｎが閾値ｔｈ１以下であるか否かを判定する。

【0059】

そして、最小値ｄ_ｍｉｎが閾値ｔｈ１を超える場合（Ｓ１１２／Ｎｏ）、判定部１５は対象画素が欠陥画素でないと判定する。この場合、図４に示した処理は終了する。一方で、最小値ｄ_ｍｉｎが閾値ｔｈ１以下である場合（Ｓ１１２／Ｙｅｓ）、ステップＳ１１６で、判定部１５は、対象画素の画素値と、特定部１３により特定された方向に対象画素と隣接する、２つの同色隣接画素の画素値との差分を算出する。

【0060】

その後、ステップＳ１２０で、算出部１１は、対象画素と２つの同色隣接画素との画素値の大小関係がそれぞれ同じで、且つ、Ｓ１１６で算出した画素値の差分がいずれも閾値ｔｈ２以上であるか否かを判定する。即ち、算出部１１は、次式で示す条件を満たすか否かを判定する。

【0061】

（（（対象画素−Ｐ０≧ｔｈ２）ＡＮＤ（対象画素−Ｐ１≧ｔｈ２））
ＯＲ
（（Ｐ０−対象画素≧ｔｈ２）ＡＮＤ（Ｐ１−対象画素≧ｔｈ２）））
・・・（数式６）

【0062】

ここで、上記数式６における「対象画素」は対象画素の画素値を示し、Ｐ０およびＰ１は同色隣接画素の画素値を示す。

【0063】

次いで、上記条件に該当しない場合（Ｓ１２０／Ｎｏ）、判定部１５は対象画素が欠陥画素でないと判定し、処理を終了する。一方で、上記条件に該当する場合（Ｓ１２０／Ｙｅｓ）、ステップＳ１２４で、判定部１５は対象画素が欠陥画素であると判定する。より詳しくは、判定部１５は、対象画素と特定部１３により特定された方向の２つの同色隣接画素との画素値の大小関係がそれぞれ同じで、且つ、画素値の差分がいずれも閾値ｔｈ２以上である場合に、対象画素は欠陥画素であると判定し、そうでない場合には欠陥画素ではないと判定する。

【0064】

ここで、ステップＳ１１６およびＳ１２０における、判定部１５による差分の算出、および閾値ｔｈ２との比較処理について、対象画素Ａ３３に関して具体的に説明する。

【0065】

まず、判定部１５は、対象画素Ａ３３の画素値と、分布指標値が最小となる方向の同色隣接画素の画素値との差分を算出する。そして、判定部１５は、対象画素と２つの同色隣接画素との画素値の大小関係を比較し、更に、算出した差分と閾値ｔｈ２とを比較することで、対象画素Ａ３３が欠陥画素であるか否かを判定する。ここで、０°、９０°、４５°、−４５°の４方向について、分布指標値が最小となった場合に、判定部１５が画素値の差分の算出対象とする同色隣接画素の組み合わせ（Ｐ０，Ｐ１）を、図１０に示す。

【0066】

図１０は、対象画素Ａ３３の同色隣接画素の組み合わせを説明するための説明図である。図１０に示すように、対象画素Ａ３３の０°方向の同色隣接画素はＡ３１およびＡ３５であり、９０°方向の同色隣接画素はＡ１３およびＡ５３である。また、対象画素Ａ３３の４５°方向の同色隣接画素はＡ１５およびＡ５１であり、−４５°方向の同色隣接画素はＡ１１およびＡ５５である。

【0067】

まず、判定部１５は、特定部１３により特定された９０°方向の同色隣接画素Ｐ０（Ａ１３）およびＰ１（Ａ５３）について、それぞれ対象画素との画素値の差分を算出する。そして、判定部１５は、対象画素と２つの同色隣接画素との画素値の大小関係がそれぞれ同じで、且つ、当該差分がいずれも閾値ｔｈ２よりも大きい場合に、対象画素Ａ３３は欠陥画素であると判定し、これに該当しない場合には欠陥画素ではないと判定する。

【0068】

ここで、判定部１５により欠陥画素であると判定されるのは、対象画素Ａ３３の画素値が同色隣接画素Ｐ０およびＰ１の両方の画素値よりも大きい場合（パターン１：上記数式６の前段）と、小さい場合（パターン２：上記数式６の後段）との２通りがある。以下、判定部１５によって欠陥画素であると判定される、パターン１およびパターン２について、図１１を参照して説明する。

【0069】

図１１は、本実施形態に係る判定部１５による欠陥画素の判定を説明するための説明図である。図１１に示すように、パターン１において、対象画素Ａ３３の画素値は、同色隣接画素Ｐ０の画素値よりも閾値ｔｈ２以上大きく、且つ、同色隣接画素Ｐ１の画素値よりも閾値ｔｈ２以上大きい。この場合、判定部１５は、対象画素Ａ３３を欠陥画素として判定する。即ち、判定部１５は、上記数式６の前段を示す次式を満たす場合に、パターン１として対象画素Ａ３３は欠陥画素であると判定する。

【0070】

Ａ３３−Ｐ０≧ｔｈ２， Ａ３３−Ｐ１≧ｔｈ２ ・・・（数式７）

【0071】

また、図１１に示すように、パターン２において、対象画素Ａ３３の画素値は、同色隣接画素Ｐ０の画素値よりも閾値ｔｈ２以上小さく、且つ、同色隣接画素Ｐ１の画素値よりも閾値ｔｈ２以上小さい。この場合、判定部１５は、対象画素Ａ３３を欠陥画素として判定する。即ち、判定部１５は、上記数式６の後段を示す次式を満たす場合に、パターン２として対象画素Ａ３３は欠陥画素であると判定する。

【0072】

Ｐ０−Ａ３３≧ｔｈ２， Ｐ１−Ａ３３≧ｔｈ２ ・・・（数式８）

【0073】

このように、判定部１５は、分布指標値が最も小さい方向は９０°方向であるため、対象画素Ａ３３と、９０°方向の同色隣接画素であるＡ１３およびＡ５３との画素値の差分を算出する。そして、判定部１５は、算出した差分が数式７または８を満たした場合に、対象画素Ａ３３は欠陥画素であると判定する。

【0074】

図４に示したフローチャートの説明に戻る。判定部１５により対象画素が欠陥画素であると判定された場合（Ｓ１２０／Ｙｅｓ）ステップＳ１２４に続いてステップＳ１２８で、補正部１７は、対象画素の画素値を補正する。具体的には、補正部１７は、特定部１３により特定された方向に対象画素と同色であり、対象画素に隣接する周囲画素、即ち同色隣接画素Ｐ０およびＰ１の画素値に基づいて、対象画素の画素値を補正する。これにより、補正部１７は、欠陥画素の画素値を、同色隣接画素との相関の高い尤もらしい値とすることができる。

【0075】

例えば、補正部１７は、次式で示すように、９０°方向の同色隣接画素Ｐ０およびＰ１であるＡ１３およびＡ５３の画素値の平均値を対象画素Ａ３３の画素値として置き換えることで、欠陥画素である対象画素Ａ３３を補正する。

【0076】

Ａ３３＝（Ｐ０＋Ｐ１）／２
＝（Ａ１３＋Ａ５３）／２ ・・・（数式９）

【0077】

以上、欠陥画素検出装置１による、画像２６に含まれる画素のうちひとつの画素Ａ３３を対象画素として、欠陥画素の検出および補正を行う動作について説明した。欠陥画素検出装置１は、以上説明した動作を画像２６に含まれるすべての画素について行うことで、画像２６全体の補正を行う。

【0078】

なお、欠陥画素検出装置１により補正された画像は、カメラ信号処理部３に出力される。

【0079】

＜＜４．効果＞＞
以上説明したように、欠陥画素検出装置１は、対象画素の周囲に配された周囲画素の画素値の勾配が最も小さい方向を特定し、勾配が最も小さい方向を用いて欠陥画素を検出する。このため、欠陥画素検出装置１は、２×２画素周期で異なる４色のカラーフィルタが割り当てられている撮像素子のような場合であっても、撮影画像の細線上や細線の近傍に存在する欠陥画素を検出することができる。そして、欠陥画素検出装置１は、検出した欠陥画素を補正することで、撮影画像の画質を向上させる事ができる。

【0080】

また、判定部１５は、周囲画素群に含まれるすべての色の画素に基づいて、対象画素が欠陥画素であるか否かを判定する。これに対し、周囲画素に含まれる画素であって、対象画素と同色の画素のみに基づいて欠陥画素を判定する比較例が考えられる。しかし、欠陥画素検出装置１は、このような比較例では検出することが困難な欠陥画素を、検出することができる。

【0081】

例えば、図５に示した画像の画素Ａ３３は、画素値の大きい帯状の部分における孤立点ではあるが、比較例では、同色隣接画素の画素値を参照するのみであり、画素Ａ３３を欠陥画素であると判定できない。なぜならば、画素Ａ３３は、同色隣接画素Ａ１１、Ａ１５、Ａ３１、Ａ３５、Ａ５１、およびＡ５５と画素値が近いため、同色隣接画素Ａ１３およびＡ５３と比較して画素値が大きく異なることに基づいて、比較例はＡ３３を欠陥画素であると判定できない。これに対し、欠陥画素検出装置１は、上記説明した通り、すべての色の画素を用いて勾配の最も少ない方向を特定し、その方向の中で欠陥画素であるか否かの判定を行うため、画素Ａ３３を欠陥画素であると検出し、補正することができる。

【0082】

また、欠陥画素検出装置１は、周囲画素群に含まれるすべての色の画素に基づいて、勾配が最も小さい方向を特定し、特定した方向の同色隣接画素を参照して欠陥画素を検出する。これに対し、周囲画素に含まれる画素であって、対象画素と同色の画素のみに基づいて欠陥画素の候補を抽出した後に、異なる色の画素を参照して欠陥画素を絞り込む比較例が考えられる。しかし、欠陥画素検出装置１は、このような比較例では検出することが困難な欠陥画素を、検出することができる。

【0083】

例えば、比較例では、上記説明したように、同色隣接画素の画素値を参照するだけでは、図５に示した画像の画素Ａ３３を欠陥画素の候補として抽出することは困難であるため、画素Ａ３３を欠陥画素として検出することが困難である。例えば、比較例では、上記説明したように、画素Ａ３３は、同色隣接画素Ａ１１、Ａ１５、Ａ３１、Ａ３５、Ａ５１、およびＡ５５と画素値が近いため、これらの画素値を参照するだけでは、画素Ａ３３を欠陥画素の候補として抽出することは困難である。これに対し、欠陥画素検出装置１は、上記説明した通り、周囲画素群に含まれるすべての色の画素に基づいて勾配が最も小さい方向を特定するため、画素Ａ３３を欠陥画素として検出することができる。

【0084】

＜＜５．補足＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0085】

例えば、上記実施形態では、欠陥画素検出装置１が処理する画像を、２×２周期で４色異なるフィルタにより構成されたカラーフィルタを有する撮像素子により出力されるものとしたが、本発明はかかる例に限定されない。例えば、欠陥画素検出装置１は、Ｂａｙｅｒ配列のカラーフィルタを有する撮像素子により出力される画像から、欠陥画素を検出して画素値を補正してもよい。

【0086】

また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記欠陥画素検出装置１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。

【符号の説明】

【0087】

１ 欠陥画素検出装置
１１ 算出部
１３ 特定部
１５ 判定部
１７ 補正部
２ 撮像装置
３ カメラ信号処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】