特許 6045523 画像処理装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6045523

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月14日

(54)【発明の名称】画像処理装置およびその制御方法

(51)【国際特許分類】

   H04N 5/367 20110101AFI20161206BHJP

【ＦＩ】

   H04N5/335 670

【請求項の数】14

【全頁数】19

(21)【出願番号】特願2014-37319(P2014-37319)

(22)【出願日】2014年2月27日

(65)【公開番号】特開2015-162816(P2015-162816A)

(43)【公開日】2015年9月7日

【審査請求日】2015年3月3日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】古谷 浩平

【審査官】 鈴木 肇

(56)【参考文献】

【文献】 特開２０１４−０２７３７３（ＪＰ，Ａ）

【文献】 特開平１０−１２６７９５（ＪＰ，Ａ）

【文献】 特開２００８−２７７９１１（ＪＰ，Ａ）

【文献】 特開２００５−２９３３６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０ − ５／３７８

Ｈ０４Ｎ ９／０４ − ９／１１

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

複数の色に対応する画素が予め定められた配列で配置され、かつ、所定のライン上の特定の色に対応する画素の位置に焦点検出用の画素が連続して配置された撮像素子によって生成された画像を取得する取得手段と、
前記画像のうち、前記所定のライン上の補正対象の焦点検出用の画素の位置を含む第１の領域を設定する第１の設定手段と、
前記画像のうち、前記焦点検出用の画素を含まず、かつ、前記所定のラインと異なる第１の参照ライン上に存在する複数の画素の位置を基準として、複数の第２の領域を設定する第２の設定手段と、
前記複数の第２の領域のそれぞれについて、前記第１の領域に対する相関量を算出する相関算出手段と、
前記相関量に基づいて定まる、前記第１の参照ライン上の画素の値を用いて補正値を算出し、前記補正値を用いて前記補正対象の焦点検出用の画素の位置における画素の値を補正する補正手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記画像のうち、前記焦点検出用の画素を含まず、かつ、前記第１の参照ラインとの間に前記所定のラインを挟む位置にある第２の参照ライン上に存在する複数の画素の位置を基準として、複数の第３の領域を設定する第３の設定手段を有し、
前記相関算出手段はさらに、前記複数の第３の領域のそれぞれについて、前記第１の領域に対する相関量を算出し、
前記補正手段は、前記相関量に基づいて定まる、前記第１の参照ライン上の画素の値と前記第２の参照ライン上の画素の値とを用いて、前記補正値を算出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記補正手段は、前記複数の第２の領域のうち、前記第１の領域に対する相関が最も高くなる相関量が得られる第２の領域から特定される前記第１の参照ライン上の画素の値を用いて前記補正値を算出することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記第１の領域に対する相関が最も高くなる相関量が得られる第２の領域が複数存在する場合、前記補正手段は、特定される前記第１の参照ライン上の複数の画素のうち、前記補正対象の焦点検出用の画素からの距離が最も短い前記特定の色の画素の値を用いて前記補正値を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記第１の設定手段は、前記特定の色に対応する画素を抽出して前記第１の領域を設定し、前記第２の設定手段は、前記第１の設定手段が抽出する画素と同色の画素を抽出して前記複数の第２の領域を設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第１の設定手段は、前記特定の色と異なる色の画素を抽出して前記第１の領域を設定し、前記第２の設定手段は、前記第１の設定手段が抽出する画素と同色の画素を抽出して前記第２の領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記第２の設定手段は、前記所定のラインからの距離が異なる複数の第１の参照ラインの各々について前記複数の第２の領域を設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記補正手段は、前記複数の第１の参照ラインの各々の上に存在する画素の値を用いて複数の補正値を算出し、前記複数の補正値を合成して最終的な補正値を算出することを特徴とする請求項７記載の画像処理装置。

【請求項9】

前記補正手段は、前記複数の第２の領域のそれぞれの前記第１の領域に対する相関量のうち、相関が高いことを表す相関量に基づいて定まる画素の値を用いて得られる補正値ほど割合が大きくなるように合成することを特徴とする請求項８記載の画像処理装置。

【請求項10】

前記補正手段は、前記補正対象の焦点検出用の画素に写っている被写体の方向が前記所定のラインの方向に近いほど、前記所定のラインからの距離が大きい前記第１の参照ラインから生成された第２の領域について算出された相関量に基づいて定まる画素の値を用いて得られる補正値の割合が大きくなるように合成することを特徴とする請求項８記載の画像処理装置。

【請求項11】

前記補正手段は、前記複数の第２の領域のそれぞれの前記第１の領域に対する相関量のうち、前記第１の領域と画素値の変化傾向との差が小さい第２の領域についての相関量に基づいて定まる画素の値を用いて得られる補正値ほど割合が大きくなるように合成することを特徴とする請求項８記載の画像処理装置。

【請求項12】

前記第１の参照ラインと前記所定のラインとの距離が、前記画像を生成した撮像素子の備えるカラーフィルターの繰り返し単位の倍数に等しいことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。

【請求項13】

複数の色に対応する画素が予め定められた配列で配置され、かつ、所定のライン上の特定の色に対応する画素の位置に焦点検出用の画素が連続して配置された撮像素子によって生成された画像を取得する取得ステップと、
前記画像のうち、前記所定のライン上の補正対象の焦点検出用の画素の位置を含む第１の領域を設定する第１の設定ステップと、
前記画像のうち、前記焦点検出用の画素を含まず、かつ、前記所定のラインと異なる参照ライン上に存在する複数の画素の位置を基準として、複数の第２の領域を設定する第２の設定ステップと、
前記複数の第２の領域のそれぞれについて、前記第１の領域に対する相関量を算出する相関算出ステップと、
前記相関量に基づいて定まる、前記参照ライン上の画素の値を用いて補正値を算出し、前記補正値を用いて前記補正対象の焦点検出用の画素の位置における画素の値を補正する補正ステップと、を有することを特徴とする画像処理装置の制御方法。

【請求項14】

コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置およびその制御方法に関し、特に欠陥画素の補正技術に関する。

【背景技術】

【0002】

デジタルカメラ等の撮像装置は、ＣＭＯＳセンサー等の撮像素子を用いて撮影するが、撮像素子には多数の画素が設けられるため、欠陥画素が存在するのが一般的である。このような欠陥画素の値を補正する技術として、欠陥画素の周辺に存在する正常画素の値から推定した、欠陥画素位置の画素値を用いる方法が知られている。以下、本明細書において、欠陥画素位置の画素値を求めることを、欠陥画素の補正という。

【0003】

例えば、特許文献１では、欠陥画素と同色の周辺画素の値を参照して、欠陥画素付近における被写体の形状を予め定められたパターンのいずれかに分類し、分類されたパターンに応じた周辺画素と方法を用いて欠陥画素を補正する方法が開示されている。また、特許文献２では、欠陥画素付近における被写体の空間周波数が高い場合に、欠陥画素の補正に用いる画素の参照方向の検出に隣接画素を用いることにより、同色画素を用いるより精度の高い補間を実現する方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１１−２２０６６１号公報

【特許文献2】特開２００５−１７５５４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献に開示された従来技術では、予め定められた特定の角度を有する被写体に対しては高精度で欠陥画素を補正することが可能だが、異なる角度の被写体に対しては誤補正となってしまう場合がある。例えば被写体が図１３（ａ）に示すように水平に近い角度（ここでは約２７度）を有する場合を考える。図１３（ａ）において、従来技術で欠陥画素の補正に用いる画素の参照範囲を太枠で示している。欠陥画素が存在しない場合の参照範囲内の同色画素値が図１３（ｂ）に示す値（０）であったとすると、参照範囲内の同色画素値（３０または４０）からは中心の欠陥画素を正しく補正できない。

【0006】

参照範囲を拡げることにより、欠陥画素の補正に適した画素値が参照範囲内で見つかる可能性は上昇する。しかし、例えば図１３（ｃ）のような繰り返しパターンにより、図１３（ｄ）のような画素値となっていた場合は、従来手法のような２点間の差分を求めるものでは被写体の角度を誤判定してしまう場合がある。

【0007】

本発明はこのような従来技術の課題に鑑みてなされたものであり、欠陥画素を含んだ被写体が特定の角度を有さない場合でも、適切な欠陥画素の補正を実現する画像処理装置およびその制御方法の提供を目的とする。

【課題を解決するための手段】

【0008】

上述の目的は、複数の色に対応する画素が予め定められた配列で配置され、かつ、所定のライン上の特定の色に対応する画素の位置に焦点検出用の画素が連続して配置された撮像素子によって生成された画像を取得する取得手段と、画像のうち、所定のライン上の補正対象の焦点検出用の画素の位置を含む第１の領域を設定する第１の設定手段と、画像のうち、焦点検出用の画素を含まず、かつ、所定のラインと異なる第１の参照ライン上に存在する複数の画素の位置を基準として、複数の第２の領域を設定する第２の設定手段と、複数の第２の領域のそれぞれについて、第１の領域に対する相関量を算出する相関算出手段と、相関量に基づいて定まる、第１の参照ライン上の画素の値を用いて補正値を算出し、補正値を用いて補正対象の焦点検出用の画素の位置における画素の値を補正する補正手段と、を有することを特徴とする画像処理装置によって達成される。

【発明の効果】

【0009】

このような構成より、本発明によれば、欠陥画素を含んだ被写体が特定の角度を有さない場合でも、適切な欠陥画素の補正を実現する画像処理装置およびその制御方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る撮像装置および情報処理装置のブロック図

【図2】実施形態における撮像素子の画素配置例を示す図

【図3】第１の実施形態における欠陥画素補正処理を示すフローチャート

【図4】第１の実施形態における相関量算出処理の模式図

【図5】別の実施形態における相関量算出処理を説明する図

【図6】第２の実施形態における参照ラインの設定について示す模式図

【図7】第３の実施形態を説明するための模式図

【図8】第４の実施形態を説明するための模式図

【図9】第４の実施形態による欠陥画素補正の概略を示す模式図

【図10】第４の実施形態における欠陥画素補正処理を示すフローチャート

【図11】第４の実施形態における補正値の合成方法の例を示す図

【図12】第４の実施形態における補正値の合成方法を説明するための図

【図13】従来技術で対応が困難な被写体条件の例を示す図

【発明を実施するための形態】

【0011】

以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態では本発明を撮像装置に適用した例について説明するが、本発明に係る画像処理装置には撮影ならびに撮影画像の記録に関する機能など、撮像装置に特有の構成は必須ではない。本発明は撮影によって得られた画像データと、その撮影に用いられた撮像素子の欠陥画素に関する情報が取得可能な任意の電子機器において実施可能である。また、撮像装置とは、デジタルカメラのような撮影を主な機能とする装置に限らず、撮像機能を有する任意の電子機器を意味する。

【0012】

●（第１の実施形態）
図１（ａ）は、本発明の実施形態に係る画像処理装置の一例である撮像装置１００の機能構成例を示すブロック図である。
撮像装置１００はデジタルカメラ、デジタルビデオカメラなど、被写体を撮影し、被写体の画像を表すデータ（画像データ）を取得する装置である。光学系１０１は、レンズ、シャッター、絞りを有し、ＣＰＵ１０３の制御によって被写体光学像を撮像素子１０２に結像させる。ＣＣＤもしくはＣＭＯＳイメージセンサなどの撮像素子１０２は、結像された被写体光学像を各画素で光電変換し、アナログ画像信号に変換する。ＣＰＵ１０３は、アナログ画像信号をデジタル画像信号（画像データ）に変換し、ホワイトバランス調整や色補間処理などのいわゆる現像処理や、符号化処理などを適用する。ＣＰＵ１０３はプログラムを実行して各機能ブロックを制御することにより、撮像装置１００の様々な機能を実現する。

【0013】

一次記憶装置１０４は例えばＲＡＭのような揮発性記憶装置であり、ＣＰＵ１０３のワークエリアなど、一時的なデータ記憶領域として用いられる。二次記憶装置１０５は例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）、ＣＰＵ１０３が実行するプログラム、各種の設定情報などを記憶する。

【0014】

例えば半導体メモリカードである記憶媒体１０６は、撮影によって得られた画像データを予め定められた形式のデータファイルとして記憶する。記憶媒体１０６は撮像装置１００から取り外し可能であり、記憶媒体１０６のアクセス機能を有する他の装置、例えばパーソナルコンピュータなどによっても利用可能である。つまり、撮像装置１００は記憶媒体１０６へのアクセス機能を有し、記憶媒体１０６に対するデータの読み書きが行えればよい。

【0015】

表示部１０７は、撮影時のビューファインダー画像の表示、撮影した／記憶媒体１０６から読み出した画像の表示、対話的な操作のためのユーザインタフェースの表示などに用いられる。操作部１０８は、例えばボタン、スイッチ、レバー、タッチパネルなどの入力デバイスを有し、撮像装置１００に対して使用者が各種の指示や設定を行うことを可能にする。なお、音声入力や視線入力のような、物理的な操作を必要としない入力方法を実現する構成も操作部１０８に含まれる。

【0016】

通信装置１０９は、撮像装置１００が外部装置と制御コマンドやデータの送受信を行うことを可能にする。外部機器との通信に用いるプロトコルに特に制限は無いが、例えばＰＴＰ（Picture Transfer Protocol）であってよい。なお、通信装置１０９は、例えばＵＳＢ（Universal Serial Bus）ケーブルなどの有線接続により外部機器と通信を行ってもよし、無線ＬＡＮなどの無線接続により外部機器と通信を行ってもよい。また、外部装置とは直接接続されてもよいし、サーバを経由したりインターネットなどのネットワークを介して接続されてもよい。

【0017】

図２（ａ）は本実施形態における撮像素子１０２の画素配置例を示している。撮像素子１０２は原色ベイヤー配列のカラーフィルターを有している。具体的には、水平２画素×垂直２画素の４画素を繰り返し単位として、左上の画素が赤（Ｒ）画素、右上と左下の画素が緑（Ｇ）画素、右下の画素が青（Ｂ）画素という配列を有する。図２（ａ）では、欠陥画素を中心としたごく一部の画素について示しているが、他の部分についても同様の配列を有している。なお、「欠陥画素」は撮像素子が有するものであるが、撮像素子の画素と撮影で得られる画像の画素とは対応関係にあるため、以下の説明においては、欠陥画素に対応する画像中の画素のことも欠陥画素と呼ぶ。

【0018】

次に、本実施形態における欠陥画素の補正動作の概要について説明する。ここでは図２（ａ）のように、Ｒ画素が欠陥画素となっているものとする。まず、図２（ａ）のような画像が得られた際に、補正対象となる欠陥画素を通るライン（着目ライン）から、欠陥画素を含む、そのラインの特徴を表す複数の画素を抽出し、抽出した画素から構成される特徴画素列を生成する（図２（ｂ））。ここでは例として、着目ラインが水平ラインであり、欠陥画素と同じ水平座標上にある、欠陥画素と同色の画素の画素を抽出して特徴画素列を生成する例を示している。なお、ここでは着目ライン上の欠陥画素と欠陥画素の前後２つの同色画素を特徴画素として抽出した例を示したが、特徴画素の抽出方法はこれに限定されない。

【0019】

次に、着目ラインと平行な別のライン（参照ライン）上に存在する画素から、そのラインの特徴を表す複数の画素を抽出し、抽出した画素から構成される特徴画素列を生成する（図２（ｃ））。ここでは例として、着目ラインから２画素分上方に参照ラインを設定し、参照ライン上の画素のうち、欠陥画素と同色の画素を抽出して特徴画素列を生成する例を示している。後述する相関量の算出を行うため、参照ラインから抽出する特徴画素の数は、着目ラインから抽出する特徴画素の数より多い。

【0020】

なお、本実施形態において、参照ラインは欠陥画素と同色の画素がライン上に存在するように設定する。従って、ベイヤー配列のＲ画素、Ｂ画素のように、繰り返し単位が２画素である場合、着目ラインとの距離が繰り返し単位の倍数（２ｎ[画素]。ｎは１以上の整数）となるように参照ラインを設定する。

【0021】

着目ラインおよび参照ラインから生成した特徴画素列の各画素値と、特徴画素列の画素値から生成した波形の例を図２（ｄ）に示す。このようにして着目ラインと参照ラインについて特徴画素列から２つの波形を生成した後、複数の相対的な位置（シフト量）について相関量を求めることで、２つの波形の相関が最も高くなるシフト量および方向を求める。

【0022】

例えば図２（ｅ）に示したように、着目ラインの特徴画素列の波形を＋２（右方向に２画素分）シフトすることによって参照ラインの特徴画素列の波形との相関が最も強くなるとする。特徴画素列はベイヤー配列における同色画素から構成しているため、シフト量（＋２）×２が元の画素配列における画素座標の差に相当する。従って、参照ラインにおいて欠陥画素と最も相関の高い画素は、図２（ｆ）に示すように、欠陥画素の水平座標＋４（右方向に４画素）に位置することが分かる。

【0023】

このため、例えば最も簡単な方法としては、欠陥画素と最も相関の高い画素の値を欠陥画素の値として用いることにより、欠陥画素の補正を行うことができる。

【0024】

次に、図３に示すフローチャートを用いて、上述した本実施形態の欠陥画素補正を図１（ａ）に示した撮像装置１００でどのように実現するかについて説明する。
まず、Ｓ３０１においてＣＰＵ１０３は、処理対象の画像データを取得する。ここで、画像データは、撮影によって取得してもよいし、記憶媒体１０６に記録されている画像データを読み出すことによって取得してもよい。あるいは通信装置１０９を通じて外部装置から取得してもよい。なお、ここで取得する画像データは欠陥画素の補正がなされていない状態であり、例えばＲＡＷ画像データである。

【0025】

ＣＰＵ１０３は取得した画像データを例えば一次記憶装置１０４に読み込む。そして、ＣＰＵ１０３は、画像データの各画素を走査しながら、Ｓ３０２で欠陥画素と判定された着目画素についてＳ３０２からＳ３０７までの処理を適用する。なお、図３の例では、画像データの各着目画素について欠陥画素かどうかＳ３０２で判別しているが、欠陥画素の位置情報を用いて、欠陥画素について順次Ｓ３０３〜Ｓ３０７について処理を行ってもよい。

【0026】

欠陥画素の情報は、例えば撮像装置１００の製造時に二次記憶装置１０５に記憶されている欠陥画素情報であってよい。また、例えば撮像装置１００の起動時などに特定の条件で撮影した画像から撮像素子１０２の欠陥画素を検出し、その位置情報を二次記憶装置１０５に記憶しておくようにしてもよい。この際、製造時に記憶されている情報を、その後の検出処理で得られた欠陥画素情報で更新してもよい。また、欠陥画素情報は付加情報として画像データに記録されていてもよい。

【0027】

以下、欠陥画素と判定された画素について行うＳ３０３以降の処理について説明する。第１の生成手段としてのＣＰＵ１０３はＳ３０３において、着目ラインの特徴画素列（第１の画素列）を生成する。例えば図２（ｂ）を用いて説明したような、欠陥画素と同じ水平座標上にある、欠陥画素と同色の画素を抽出して特徴画素列を生成する処理であってよい。なお、他の実施形態で説明するように、特徴画素の抽出は他の方法で行ってもよい。

【0028】

次に、第２の生成手段としてのＣＰＵ１０３はＳ３０４において参照ラインの特徴画素列（第２の画素列）を生成する。ここでも、例えば図２（ｃ）を用いて説明したような、着目ラインの２画素上方に設定した参照ライン上に位置する、欠陥画素と同色の画素を抽出して特徴画素列を生成する処理であってよい。

【0029】

Ｓ３０５で相関算出手段としてのＣＰＵ１０３は、欠陥画素の補正にどの画素の値を参照するのが適しているかを判定するため、着目ラインと参照ラインから生成した特徴画素列の相対的な位置を変えながら、相関が最大になるシフト量を検出する。

【0030】

図４を用いてＳ３０５における相関量算出処理の具体例について説明する。
図４は着目ラインの特徴画素列に対して参照ラインの特徴画素列をＸ画素（Ｘは整数であり、正は右方向、負は左方向を表す）シフトさせた時の相関量の算出例を模式的に示している。ＣＰＵ１０３は、各シフト量（相対的な位置）において矢印でつないだ画素値同士の差異を合計する。例えば、相関を算出する画素数を２Ｗ＋１（Ｗは正の整数）、着目ラインの特徴画素列のインデックスｉ（図４参照）における画素値をＴｉ、参照ラインの特徴画素列のインデックスｉにおける画素値をＲｉとする。この時、シフト量Ｘの時の相関量Ｓｘは以下の式により算出される。

【数1】

【0031】

つまり、相関量Ｓｘが小さいほど高い相関を表す。なお、これまで説明した方法では、着目ラインから欠陥画素を含む特徴画素を抽出して特徴画素列を生成していた。そのため、相関値の算出において欠陥画素（Ｔ０）の値は利用できない。従って、例えばｉ＝０の時のみ式（１）で加算する相関量を０として相関量Ｓｘを求める。

【0032】

所定範囲内の複数のシフト量について算出した相関量Ｓｘのうち、最小の相関量Ｓｘが得られたシフト量Ｘから、欠陥画素を補正するための参照画素の位置を判定することが可能となる。例えば、シフト量Ｘ＝＋２における相関量Ｓｘが最小値となった場合、同色画素で２画素右（参照ライン上で、欠陥画素よりも４画素右）にある画素を参照画素と判定する。

【0033】

図５（ａ）は、Ｓ３０５における相関量算出処理の具体例を示すフローチャートである。まず、ＣＰＵ１０３はＳ１７０１において、開始インデックスとなる−ＷをＸに代入した後、Ｓ１７０２において、最小相関量Ｓｍｉｎ、及び最小相関量となる時のシフト量Ｘｍｉｎの初期化を行う。その後、ＣＰＵ１０３はＳ１７０３からＳ１７０６までの処理を、Ｓ１７０５でＸをインクリメントしながら実行していく。

【0034】

Ｓ１７０３でＣＰＵ１０３は、算出した相関量Ｓｘが、その時点における最小相関量Ｓｍｉｎより小さいかどうか判定し、Ｓｘ＜Ｓｍｉｎであれば処理をＳ１７０４に進め、Ｓｘ≧Ｓｍｉｎであれば処理をＳ１７０５に進める。なお、最初に相関量Ｓｘを算出した場合（ここでは、Ｘ＝−Ｗの場合）、ＣＰＵ１０３はＳ１７０４に処理を進める。

【0035】

Ｓ１７０４でＣＰＵ１０３は、最小相関量Ｓｍｉｎを現在の相関量Ｓｘで更新する。また、最小相関量Ｓｍｉｎに対応するシフト量Ｗｍｉｎを現在のＸの値で更新する。そしてＳ１７０５でＣＰＵ１０３はＸをインクリメントし、Ｓ１７０６でシフト範囲全体について処理を行ったか判定する。ＣＰＵ１０３は、シフト範囲全体で処理を行っていれば処理を終了し、まだ処理していないデータが存在すれば処理をＳ１７０３に戻す。以上の処理により、シフト範囲内における最小相関量Ｓｍｉｎと、最小相関量が得られるシフト量Ｗｍｉｎを得ることができる。

【0036】

なお、図５（ａ）に示した相関値算出処理の方法は単なる一例であり、同様の結果が得られる他の任意の方法を用いることができる。例えば、シフト量Ｘは必ずしも最小値からインクリメントする必要はなく、各シフト量に対する相関値が算出できれば任意の順序で値を変更することができる。また、シフト量ごとの相関値を全て記憶しておき、最後に最小相関値に対応するシフト量を選択してもよい。

【0037】

このように、特徴画素列の相関量から参照画素の位置を判定したら、補正値算出手段としてのＣＰＵ１０３はＳ３０６において補正値を算出する。最も単純な場合、補正値は参照画素の値であってよいが、他の方法で補正値を算出してもよい。例えば、参照画素の値と、参照画素の周辺画素の値から算出した色差等の特徴量を用いて欠陥画素を補正してもよい。

【0038】

Ｓ３０６において補正値を算出すると、補正手段としてのＣＰＵ１０３はＳ３０７において、補正値を用いて欠陥画素を補正する。その後、ＣＰＵ１０３は画素走査が完了したかどうかの判定を行い、走査が完了するまでＳ３０２からＳ３０７までを繰り返し実行する。

【0039】

なお、本実施形態においては、水平方向に着目ラインおよび参照ラインを設定した例を説明したが、着目ラインおよび参照ラインを設定する角度に制限はなく、垂直方向や斜め方向など、任意の方向に設定することができる。

【0040】

また、本実施形態においては、欠陥画素を通る着目ラインの２画素分上方に参照ラインを設定したが、他の距離や方向に参照ラインを設定してもよい。例えば着目ラインの２画素下方に参照ラインを設定してもよいし、参照ラインを着目ラインの２画素上方と２画素下方の両方に設定し、各参照ライン上で判定した参照画素から算出した補正値を平均化して用いることもできる。このように、着目ラインに直交する方向（垂直方向）に複数の参照ラインを設定し、各参照ライン上で算出した補正値を用いることで、垂直方向の信号レベルの変化も反映させた精度の高い補間を行うことができる。また、着目ラインに対して同一方向に複数の参照ラインを設定する場合よりも、着目ラインを挟んだ両側に参照ラインを設定したほうが、着目ラインの近くに多くの参照ラインを設定でき、精度の高い補間を行うことができる。

【0041】

さらに、本実施形態においてはベイヤー配列のＲ画素が欠陥画素であった場合の例を示しているが、欠陥画素がＢ画素やＧ画素であっても同様に適用することができる。

【0042】

以上説明したように本実施形態によれば、欠陥画素を含む着目ラインと参照ラインの相関量に基づいて参照画素を決定する。そのため、被写体の形状によらず、欠陥画素の補正に適した参照画素を判定することができる。また、参照範囲を広げながらも、誤補正の弊害を軽減することが可能となる。

【0043】

●（第２の実施形態）
第１の実施形態においては、ベイヤー配列におけるＲ画素やＢ画素のように、カラーフィルターの繰り返し単位の中に１画素だけ含まれる画素が欠陥画素である場合の補正方法を説明した。本実施形態では、ベイヤー配列におけるＧ画素のように、各画素ラインに含まれる画素が欠陥画素である場合の補正方法に関する。

【0044】

ベイヤー配列のＲ画素やＢ画素が欠陥画素の場合、繰り返し単位が２画素であるため、欠陥画素と同色の画素が隣接する画素ラインには存在せず、最低でも２画素離れた位置に存在するため、着目ラインから２画素離れた画素ラインに参照ラインを設定した。しかし、例えば図６（ａ）のように、Ｇ画素が欠陥画素となっている場合は、隣接する画素ラインに同色画素が存在する。そのため、図６（ｃ）に示すように、参照ラインを着目ラインに平行で１画素離れた画素ラインに設定することができる。

【0045】

このように、隣接画素ラインに参照ラインを設定可能な場合は、着目ラインと参照ラインの距離が近いため、２画素離れた画素ラインに参照ラインを設定する場合よりも高精度の相関量が算出可能となる。ただし、ベイヤー配列ではＧ画素の座標が隣接画素ラインでは１画素ずれているため、特徴画素列間の相関が最も高くなる（相関量Ｓｘが最小となる）シフト量Ｘから参照画素位置を求める場合にこのずれを考慮する必要がある。

【0046】

例えば特徴画素列が図６（ｂ）および（ｃ）に示すように生成された場合、シフト量０において欠陥画素に対応する画素は参照ラインにおいて欠陥画素より１画素水平座標が小さい（左方向）の画素となる。従って、シフト量Ｘが得られた場合、参照ライン上の水平座標が（Ｘ×２−１）だけ欠陥画素からずれた画素を参照画素と判定する。例えばシフト量Ｘ＝２の場合に相関が最高となった場合、図６（ｄ）に示すように、参照ライン上で欠陥画素の水平座標から（２×２−１）＝＋３画素、すなわち右方向に３画素離れた画素を参照画素と判定する。

【0047】

本実施形態によれば、欠陥画素と同色の画素が隣接画素ラインに存在する場合に、より精度良く欠陥画素を補正することが可能になる。なお、欠陥画素が何色の画素であるのかについては、欠陥画素の位置情報と対応付けて記憶されていてもよいし、位置情報とは別に記憶されている情報を用いて割り出してもよい。なお、撮影に用いられた撮像素子が備えるカラーフィルターの配色パターンの情報は、例えば二次記憶装置１０５に記憶しておいてもよいし、画像データの付加情報から取得してもよい。従って、カラーフィルターの配色パターンと欠陥画素が何色の画素かとに応じて、第１の実施形態と本実施形態を選択的に実行するように構成することも可能である。

【0048】

●（第３の実施形態）
第１および第２の実施形態においては欠陥画素が孤立している場合の補正方法を説明した。本実施形態では、同色の欠陥画素が連続して存在する場合の補正方法を説明する。このような欠陥画素が生じるのは、製造誤差や経年変化だけでなく、図７（ａ）に示すように、撮像素子に焦点検出用の画素を配置した場合がある。焦点検出用画素は、位相差検出方式の焦点検出を行うための信号を生成するため、受光範囲が通常の画素より狭く形成されたり、カラーフィルターが設けられないなど、得られる画素値が通常の画素とは異なる。従って、このような焦点検出用画素も、図７（ｂ）に示すように同色画素が連続して欠陥画素であるものと見なして補正する必要がある。

【0049】

上述の実施形態と同様に着目ラインが水平方向であるとすると、第１の実施形態で説明したような、着目ライン上に存在する欠陥画素および欠陥画素と同色画素から特徴画素列を生成する方法は使用できない。

【0050】

そこで本実施形態では、上述の実施形態と異なる方法で、着目ラインおよび参照ラインの特徴画素列を生成する。具体的には、ＣＰＵ１０３は図３のＳ３０３における着目ラインに対する特徴画素列の生成処理において、図７（ｃ）のように、欠陥画素と同じ水平座標上にある、欠陥画素とは”異なる”色の画素を特徴画素として抽出する。ここでは、ベイヤー配列のカラーフィルターを用いており、欠陥画素がＲ画素であるため、着目ラインからはＧ画素を抽出して特徴画素列を生成する。

【0051】

また、欠陥画素がＲ画素であるため、ＣＰＵ１０３は第１の実施形態と同様、カラーフィルターの繰り返し単位である２画素分離れた位置（ここでは上方）に参照ラインを設定する。そして、ＣＰＵ１０３はＳ３０４において、着目ラインと同様、参照ライン上の、欠陥画素とは”異なる”色の画素を特徴画素として抽出し、特徴画素列を生成する（図７（ｄ））。参照ラインのカラーフィルターの色配列は着目ラインと同一であるため、参照ラインについても着目ラインと同色のＧ画素を抽出して特徴画素列が生成される。

【0052】

そして、特徴画素列間の相関量が最小となるシフト量が検出されたら、欠陥画素からこのシフト量に対応する位置の画素を参照画素として補正を行う。欠陥画素の位置をシフト量０として参照画素を決定するため、参照画素は欠陥画素と同色画素になる。

【0053】

なお、連続する欠陥画素がベイヤー配列のＧ画素のように隣接画素ラインに同色画素が存在する場合も、着目ラインと参照ラインの特徴画素列が同色画素で構成されるように参照ラインを設定する。

【0054】

また、本実施形態においては、欠陥画素と異なる色の画素の値をそのまま利用して特徴画素列を生成しているが、例えば隣接画素を含めた複数の画素の平均画素値を用いるようにしてもよい。
以上説明したように、本実施形態においても、上述した実施形態と同様の効果を実現することができる。

【0055】

なお、ここでは同色画素の欠陥画素が連続する場合に、欠陥画素と異なる色の画素を用いて補正するものとして説明したが、孤立する欠陥画素を補正する場合においても、本実施形態と同様の補正を実行してもよい。例えば、第１の実施形態において、着目ラインおよび参照ライン上のＧ画素を特徴画素として抽出するように構成してもよい。

【0056】

●（第４の実施形態）
上述の実施形態においては、参照画素が着目ラインから垂直方向にカラーフィルターの繰り返し単位１つ分もしくは隣接する画素ラインに設定した参照ラインから得られる場合について説明した。つまり、着目ラインと参照ラインとが水平方向に有意に高い相関を有している場合であった。

【0057】

しかし、水平に近い角度の繰り返しパターンを有する、図８（ａ）に示す被写体の場合、着目ラインから垂直方向にカラーフィルターの繰り返し単位１つ分もしくは隣接する画素ラインが有意に高い相関を有さない。なお、図８（ａ）では第３の実施形態のように欠陥画素が連続している場合を示しているが、孤立した欠陥画素の場合でも同様の問題が生じる。

【0058】

このように、水平に近い角度を有する被写体に含まれる着目ラインと、被写体に含まれない参照ラインとを用いた場合、特徴画素列を水平方向にシフトして相関量を求めても、かなり広範囲にシフト量を変化させないと、適切な参照画素が判定できる可能性は小さい。適切でない参照画素を用いて欠陥画素を補正すると、本来の画素値とは大きく異なった画素値に誤補正されてしまう。特に繰り返し形状を持つ被写体においては、誤補正も繰り返し発生し、被写体が本来持っていない繰り返しパターンを生成してしまう。

【0059】

図８（ａ）に示したような、水平に近い繰り返し形状を持つ被写体に欠陥画素が含まれる場合には、水平方向の探索範囲を拡げるよりも垂直方向の探索方向を拡げた方が適切な参照画素（欠陥画素と同じもしくは近い値を持つ画素）を見つけやすい。しかし、単純に垂直方向に探索範囲を広げた場合、図８（ｂ）に示したように、着目ラインと参照ラインとの距離が大きくなるため、特徴画素列間の相関量の精度が低下する場合がある。例えば、欠陥画素から垂直方向に４画素離れた位置の画素では、欠陥画素と異なる被写体が写っている場合である。このような場合、異なる被写体の画素値を参照して欠陥画素を誤補正してしまうことになりうる。そこで、本実施形態においては垂直方向に参照範囲を広げつつ、誤補正を抑制することのできる補正方法を提供する。

【0060】

図９は本実施形態における欠陥画素補正の概要を模式的に示す図である。処理１００１と１００２は、それぞれ着目ラインからの距離が異なる参照ラインＡおよびＢを用いて第３の実施形態と同様にして参照画素を判定する処理を示している。処理１００１では着目ラインの２画素上の画素ラインを参照ラインＡに設定し、処理１００２では着目ラインの４画素上の画素ラインを参照ラインＢに設定している。そして、それぞれの参照ライン上で判定した参照画素を用いて最終的な補正値を求め、欠陥画素の補正に用いる。

【0061】

図１０は本実施形態における処理の流れを示したフローチャートであり、図３と同様の処理については同様の参照数字を付してある。図３と図１０との比較から明らかなように、第３の実施形態（欠陥画素が孤立している場合は第１の実施形態）の処理を参照ラインＡ，Ｂそれぞれについて実行し、得られた補正値を合成して欠陥画素の補正値を得る。

【0062】

本実施形態の特徴は異なる参照ラインの各々について算出された補正値を、Ｓ１１１０において合成することにある。ＣＰＵ１０３はＳ１１１０において、参照ラインＡから算出した補正値Ｑａと参照ラインＢから算出した補正値Ｑｂとを合成する。ここで、合成率をα（０≦α≦１）とした時、最終的な補正値Ｑは以下の式により算出される。
Ｑ＝α×Ｑａ＋（１−α）×Ｑｂ （２）

【0063】

次に、合成率αの決定手法として、異なる評価基準を用いる３つの例を説明する。
１番目に、最小相関量に応じた合成率αの決定について説明する。この場合、Ｓ３０５Ａ及びＳ３０５Ｂの相関量算出処理で得られた相関量を利用し、参照ラインＡについての最小相関量Ｓａと、参照ラインＢについての最小相関量Ｓｂとの差分の大きさに応じて合成率αを決定する。最小相関量の差分をＳｓｕｂとすると、
Ｓｓｕｂ＝Ｓａ−Ｓｂ （３）
である。最小相関量の差分Ｓｓｕｂと合成率αとの関係例を図１１（ａ）に示す。上述の通り、相関量は小さいほど２つの特徴画素列の相関が高いことを示すため、差分相関量Ｓｓｕｂが小さいほど参照ラインＡから算出された補正値Ｑａの割合（合成率α）を大きくする。また、差分相関量Ｓｓｕｂが大きいほど合成率αを小さくして、参照ラインＢから算出された補正値Ｑｂの割合（１−α）を大きくする。

【0064】

２番目に、着目画素における方向検出結果に応じた合成率αの決定について説明する。本実施形態は水平に近い繰り返し形状を持つ被写体に特に有効であるため、例えば欠陥画素周辺における被写体の方向検出結果を用いて合成率αを決定する。方向検出の手法に制限はないが、例えば単純な方法として、図１１（ｂ）のように、欠陥画素に隣接する画素の値Ｇ_Ｒ，Ｇ_Ｕ，Ｇ_Ｌ，Ｇ_Ｄとした場合、横度Ｈは、
Ｈ＝｜Ｇ_Ｕ−Ｇ_Ｄ｜―｜Ｇ_Ｌ−Ｇ_Ｒ｜ （４）
として算出することが可能である。

【0065】

横度Ｈは値が大きいほど水平方向の被写体である可能性が高いことを示す。この横度Ｈは欠陥画素の隣接画素値から求めているため、横度Ｈが大きいということは、欠陥画素が被写体の水平方向に近いエッジ部分に存在する可能性が高いことを示す。従って、横度Ｈが大きい場合には、着目ラインより離れた参照ラインの方が信頼度が高いと考えられる。

【0066】

従って、図１１（ｃ）に示すように、横度Ｈが小さいほど、近い参照ラインＡから算出された補正値Ｑａの割合（合成率α）を大きくし、横度Ｈが大きいほど合成率αを小さくして遠い参照ラインＢから算出された補正値Ｑｂの割合（１−α）を大きくする。

【0067】

３番目に、着目ラインと参照ラインのデータの傾きの差異に応じた合成率αの決定について説明する。例えば図１２（ａ）のような被写体であった場合、レンズの収差特性等の影響により、図１２（ａ）中の領域Ｘと領域Ｂの光学的な特性は近いのに対し、領域Ｘと領域Ａの光学的な特性は異なっている場合がある。

【0068】

例えば着目ライン、参照ラインＡ、参照ラインＢから生成した特徴画素列が図１２（ｂ）のような画素値を有する場合、式（１）により算出される相関量Ｓｘは着目ラインＡの特徴画素列の方が小さくなる。しかし、前述のとおり参照ラインＡが通っている領域Ａと、着目ラインが通っている領域Ｘの光学的な特性は異なっている場合があるため、この場合は参照ラインＢで求められた補正値を用いる方がよい。

【0069】

光学的な特性が異なるかどうかの判定は、例えば各ラインの特徴画素列の両端の画素値を結んだ直線の傾きの差の大きさのような、特徴画素列の画素値の変化傾向の差異に基づいて行うことができる。例えば、図１２（ｂ）の例では、光学的な特性が近い着目ラインと参照ラインＢの特徴画素列の両端の画素値を結んだ直線は似た傾きを有する。一方、光学的な特性が異なる参照ラインＡの特徴画素列の両端の画素値を結んだ直線の傾きは負であり、着目ラインについて得られた傾きとは大きく異なる。このような、着目ラインと参照ラインの特徴画素列の画素値の変化傾向の差異を表す指標Ｇは、例えば以下の式により算出することが可能である。

【数2】

【0070】

指標Ｇは、特徴画素列の両端の画素値を結んだ直線の傾きの差を表すため、値が小さいほど、参照ラインと着目ラインの特徴画素列の画素値が同様の変化をしていることを表す。そして、着目ラインと参照ラインＡとについて求めた指標Ｇａ、及び着目ラインと参照ラインＢとについて求めた指標Ｇｂの差
Ｇｓｕｂ＝Ｇａ−Ｇｂ
に応じて合成率αを決定することができる。具体的には、図１１（ｄ）に示すように、Ｇｓｕｂの値が小さいほど参照ラインＡから算出された補正値Ｑａの割合（合成率α）を大きくし、Ｇｓｕｂの値が大きいほど合成率αを小さくして参照ラインＢから算出された補正値Ｑｂの割合（１−α）を大きくする。

【0071】

なお、各ラインの特徴画素列の画素値の変化傾向を考慮する場合、微分値の差分を求めることにより相関量を算出してもよい。この場合、相関量は以下の式（６）によって求められる。

【数3】

【0072】

なお、図１１（ａ），（ｃ），（ｄ）に示した合成率αの値と各評価基準の値との関係は単なる一例であり、他の関係によって合成率αを決定してもよい。また、上述した３つの評価基準とは異なる評価基準に基づいて合成率αを決定してもよい。また、複数の異なる評価基準に基づいて決定した合成率の１つを選択して用いたり、加重平均して用いたりすることもできる。この場合の選択や重みは、画像から得られる被写体の特徴量などに応じて決定することができる。
また、参照ラインを２つ用いる場合について説明したが、３つ以上用いてもよい。また、着目ラインの上方だけでなく下方にも参照ラインを設定するようにしてもよい。

【0073】

以上説明したように本実施形態によれば、着目ラインからの距離が異なる複数の参照ラインを設定し、各参照ラインについて求めた補正値から最終的な補正値を求めるようにした。そのため。１つの参照ラインから参照画素を決定する場合よりも様々な被写体に対して適切な参照画素もしくは補正値を求めることが可能になり、欠陥画素をより適切に補正することが可能になる。
特に、被写体が着目ラインの方向と近い方向のエッジを有する場合や、繰り返し形状を有する場合であっても、誤補正を抑制し、欠陥画素の補正精度を高めることができる。

【0074】

●（第５の実施形態）
次に、本発明の第５の実施形態について説明する。第１の実施形態において、図５（ａ）を用いて、相関量Ｓｘが最小となるシフト量Ｘを求める方法の例を説明した。図５（ａ）の処理において、シフト範囲内で得られる相関量Ｓｘが一定の場合、Ｓ１７０３の条件が満たされることがない（最初に相関量Ｓｘを算出した場合を除く）ため、結果として得られるＸｍｉｎは初期値（−Ｗ）となる。この場合、シフト量によらず同一の相関量が算出されているにもかかわらず、シフト範囲において欠陥画素から最も離れた位置の画素を参照して欠陥画素を補正することになる。

【0075】

例えば、図５（ｂ）のように、Ｇ値は似ているがＲ値が異なる被写体Ａ、Ｂが存在しており、被写体Ａが写ったＲ画素が欠陥画素である場合を想定する。この場合に、第３の実施形態で説明したような、着目ライン上の、欠陥画素とは異なる色の画素を特徴画素として抽出する方法を用いたとする。図５（ｂ）に示す水平範囲が参照範囲とした場合、被写体Ａ，ＢのＧ値は同一であるため、各シフト量Ｘにおける相関量Ｓｘは同一となる。従って、図５（ａ）の処理を行うと、参照ライン上で欠陥画素から最も離れた、図５（ｂ）の左上の画素を参照して補正値が算出される。しかし、この画素には被写体Ｂが写っており、Ｒの値は被写体Ａと異なるため、欠陥画素の補正精度が低下する。本実施形態においてはこのような問題を軽減可能な補正方法に関する。

【0076】

具体的には、相関量Ｓｘが最小となるシフト量の検出処理（図３のＳ３０５）を第１の実施形態（および第３の実施形態）とは異ならせる。図５（ｃ）は本実施形態における、相関量算出処理の具体例を示すフローチャートであり、図５（ａ）と同様の処理には同様の参照数字を付して重複する説明を省略する。

【0077】

Ｓ１７０２で変数の初期化が終わると、Ｓ１７１０でＣＰＵ１０３は、現在のシフト量Ｘが０以下か正かを判定し、シフト量Ｘが０以下であれば処理をＳ１７１１に、正であれば処理をＳ１７１２に進める。

【0078】

Ｓ１７１１でＣＰＵ１０３は、現在の相関量Ｓｘが最小相関量Ｓｍｉｎ以下かどうか判定し、現在の相関量Ｓｘが最小相関量Ｓｍｉｎ以下ならＳ１７０４へ、現在の相関量Ｓｘが最小相関量Ｓｍｉｎより大きければＳ１７０５へ、処理を進める。なお、Ｘが初期値（＝−Ｗ）の場合、ＣＰＵ１０３はＳ１７０４へ処理を進める。Ｓ１７１１の判定処理により、現在の相関量Ｓｘが最小相関量Ｓｍｉｎと等しい場合には最小相関量Ｓｍｉｎに対応するシフト量Ｘｍｉｎが更新される。

【0079】

一方、Ｓ１７１２でＣＰＵ１０３は、現在の相関量Ｓｘが最小相関量Ｓｍｉｎ未満かどうか判定し、現在の相関量Ｓｘが最小相関量Ｓｍｉｎ未満ならばＳ１７０４へ、現在の相関量Ｓｘが最小相関量Ｓｍｉｎ以上ならばＳ１７０５へ、処理を進める。Ｓ１７１２の判定処理により、現在の相関量Ｓｘが最小相関量Ｓｍｉｎと等しい場合には最小相関量Ｓｍｉｎに対応するシフト量Ｘｍｉｎは更新されない。

【0080】

この結果、シフト範囲全体に渡って同一の相関量Ｓｘが得られた場合、シフト量が負から０になるまでは最小相関量Ｓｍｉｎに対応するシフト量Ｘｍｉｎが更新され、シフト量が正の範囲では最小相関量Ｓｍｉｎに対応するシフト量Ｘｍｉｎが更新されない。従って、相関量算出処理において得られるシフト量Ｘｍｉｎは０となる。このように、本実施形態によれば、最小相関量Ｓｍｉｎが得られるシフト量が複数存在する場合、絶対値の最も小さなシフト量が検出される。

【0081】

シフト量の絶対値が低いほど、欠陥画素を補正するための参照画素と、欠陥画素との距離が近くなるため、本実施形態の相関量算出処理により、相関が強く、可能な範囲で欠陥画素に最も近い位置にある画素を参照して補正値を算出することが可能となる。

【0082】

なお、図５（ｃ）に示した相関値算出処理の方法は単なる一例であり、同様の結果が得られる他の任意の方法を用いることができる。例えば、シフト量Ｘは必ずしも最小値からインクリメントする必要はなく、各シフト量に対する相関値が算出できれば任意の順序で値を変更することができる。また、最小相関値が得られたシフト量を全て記憶しておき、対応する参照ライン上の画素位置が欠陥画素から最も近くなるシフト量を選択してもよい。

【0083】

以上説明したように、本実施形態によれば、複数のシフト量に対して同一の相関量が得られた場合、それら複数のシフト量のうち絶対値が最も小さいものが記憶されるように相関量を演算する。そのため、例えばシフト範囲全体で同一の相関量が得られた場合にはシフト量０が最小相関値に対応するシフト量として検出され、欠陥画素からの距離が近い画素を参照した補正が可能になる。

【0084】

（その他の実施形態）
以上、本発明を例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲に規定される範囲内で種々の変形及び変更が可能である。

【0085】

上述の実施形態では、着目ラインを水平方向に設定した場合についてのみ説明したが、他の方向に設定してもよい。例えば、欠陥画素付近に被写体のエッジが存在することが検出された場合には、エッジと交わる方向に着目ラインを設定するなど、被写体の特徴に応じた方向に着目ラインを設定してもよい。

【0086】

また、画像の撮像条件や特徴の解析結果に応じて上述の実施形態の複数を選択的に用いたり組み合わせて用いたりしてもよい。
また、上述の実施形態では原色ベイヤー配列のカラーフィルターを備えた撮像素子で撮影された画像の補正について説明したが、他のタイプの繰り返しパターンを有するカラーフィルターを備えた撮像素子で撮影された画像の補正も同様に行うことができる。

【0087】

図１（ｂ）は、実施形態に係る別の画像処理装置の例としての情報処理装置２００の機能構成例を示すブロック図である。図１（ｂ）において、表示部２０１は、撮影画像の表示や対話的な操作のためのユーザインタフェースの表示などに用いられる。操作部２０２は、例えばキーボード、マウス、タッチパッドなど、情報処理装置２００に対して使用者が各種の指示や設定を行うことを可能にする。ＣＰＵ２０３はＯＳやアプリケーションプログラムを実行して各機能ブロックを制御することにより、上述した実施形態に係る欠陥画素補正処理を実現する。

【0088】

一次記憶装置２０４は例えばＲＡＭのような揮発性記憶装置であり、ＣＰＵ２０３のワークエリアなど、一時的なデータ記憶領域として用いられる。二次記憶装置２０５は例えばハードディスクドライブ、ＳＳＤ、ＥＥＰＲＯＭのような不揮発性記憶装置であり、ＯＳやファームウェア、アプリケーションプログラム、各種の設定情報などを記憶する。

【0089】

通信装置２０６は、情報処理装置２００が外部装置と制御コマンドやデータの送受信を行うことを可能にする。なお、通信装置２０６は、例えばＵＳＢ（Universal Serial Bus）ケーブルなどの有線接続により外部機器と通信を行ってもよいし、無線ＬＡＮなどの無線接続により外部機器と通信を行ってもよい。また、外部装置とは直接接続されてもよいし、サーバを経由したりインターネットなどのネットワークを介して接続されてもよい。

【0090】

また、通信装置２０６は、撮像装置１００の記憶媒体１０６のような着脱可能な記録媒体をアクセスする機能を備えていてもよい。撮像装置から取り外した記録媒体を通信装置２０６に装着することで、記録媒体から画像データを情報処理装置２００に読み込むことができる。

【0091】

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】