特開 2015-122577 画素補間処理装置、撮像装置、プログラムおよび集積回路

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-122577(P2015-122577A)

(43)【公開日】2015年7月2日

(54)【発明の名称】画素補間処理装置、撮像装置、プログラムおよび集積回路

(51)【国際特許分類】

   H04N 9/07 20060101AFI20150605BHJP

【ＦＩ】

   H04N9/07 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】78

(21)【出願番号】特願2013-264372(P2013-264372)

(22)【出願日】2013年12月20日

(71)【出願人】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100104444

【弁理士】

【氏名又は名称】上羽 秀敏

(74)【代理人】

【識別番号】100112715

【弁理士】

【氏名又は名称】松山 隆夫

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100120662

【弁理士】

【氏名又は名称】川上 桂子

(74)【代理人】

【識別番号】100143498

【弁理士】

【氏名又は名称】中西 健

(72)【発明者】

【氏名】守口 順二

【テーマコード（参考）】

5C065

【Ｆターム（参考）】

5C065AA03

5C065BB30

5C065CC01

5C065DD01

5C065EE05

5C065GG13

(57)【要約】

【課題】色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に画素補間処理を実行する。
【解決手段】撮像装置１０００では、４色配列カラーフィルタ（４色のうち２色が同色用フィルタ）を有する単板式の撮像素子を有する撮像部Ｃ１で取得された画像信号に対して、注目画素の周辺領域の画素データを用いて、求めた相関値に基づいて、相関方向が決定される。撮像装置１０００では、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）ことを利用し、注目画素について、第１色〜第４色成分画素値を取得する。３色画素信号取得部４は、第１色〜第４色成分画素値のうち、同色の色成分値について、画素位置関係および／または相関方向を考慮し、精度の高い方の色成分値を選択し、出力用の第１色〜第３色成分画素値を取得する。
【選択図】図１

【特許請求の範囲】

【請求項1】

奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタであって、前記第１色成分用フィルタと前記第４色成分用フィルタとが同色の色成分用フィルタである前記４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理装置であって、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関値を取得する相関値算出部と、
前記相関値算出部により取得された前記相関値に基づいて、前記注目画素の周辺領域における相関方向を決定する相関方向決定部と、
前記注目画素に対して、画素補間処理を実行し、前記注目画素の第１色成分の画素値Ｄ１ｏｕｔと、前記注目画素の第２色成分の画素値Ｄ２ｏｕｔと、前記注目画素の第３色成分の画素値Ｄ３ｏｕｔと、前記注目画素の第４色成分の画素値Ｄ４ｏｕｔと、を取得する補間部と、
前記第１色成分用フィルタに対応する前記第１色成分の画素値Ｄ１ｏｕｔと、前記第１色成分用フィルタと同色である前記第４色成分用フィルタに対応する前記第４色成分の画素値Ｄ４ｏｕｔとの２つの画素値にうち、画素補間精度が高い方の画素を判定し、画素補間精度がより高いと判定された方の色成分の画素値を、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得し、
前記注目画素の第２色成分の画素値Ｄ２ｏｕｔを、出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２として取得し、
前記注目画素の第３色成分の画素値Ｄ３ｏｕｔを、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３として取得することで、前記出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１、前記出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２、および、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３からなる３色画素信号を取得する３色画素信号取得部と、
を備える画素補間処理装置。

【請求項2】

前記３色画素信号取得部は、
（１）前記注目画素に対応する色フィルタの色成分と、前記注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分である場合であって、前記注目画素が前記第１色成分用フィルタに対応する前記第１色成分の画素である場合、
前記注目画素の前記第１色成分の画素値Ｄ１ｏｕｔを、前記出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得し、
（２）前記注目画素に対応する色フィルタの色成分と、前記注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分である場合であって、前記注目画素が前記第４色成分用フィルタに対応する前記第４色成分の画素である場合、
前記注目画素の前記第４色成分の画素値Ｄ４ｏｕｔを、前記出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得する、
請求項１に記載の画素補間処理装置。

【請求項3】

前記３色画素信号取得部は、
（１）前記注目画素に対応する色フィルタの色成分と、前記注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分ではない場合であって、
前記相関方向決定部により決定された相関方向が水平方向または垂直方向である場合であり、かつ、
前記注目画素の相関方向において隣接する画素が前記第１色成分用フィルタに対応する前記第１色成分の画素である場合、
前記注目画素の前記第１色成分の画素値Ｄ１ｏｕｔを、前記出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得し、
（２）前記注目画素に対応する色フィルタの色成分と、前記注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分ではない場合であって、
前記相関方向決定部により決定された相関方向が水平方向または垂直方向である場合であり、かつ、
前記注目画素の相関方向において隣接する画素が前記第４色成分用フィルタに対応する前記第４色成分の画素である場合、
前記注目画素の前記第４色成分の画素値Ｄ４ｏｕｔを、前記出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得する、
請求項１又は２に記載の画素補間処理装置。

【請求項4】

前記注目画素の画素値をＰ０とし、
前記注目画素の上側に隣接する画素の画素値をＰＵとし、
前記注目画素の左側に隣接する画素の画素値をＰＬとし、
前記注目画素の右側に隣接する画素の画素値をＰＲとし、
前記注目画素の下側に隣接する画素の画素値をＰＤとし、
前記注目画素の前記第１色成分の画素値をＤ１ｏｕｔ（Ｐ０）とし、
前記注目画素の前記第２色成分の画素値をＤ２ｏｕｔ（Ｐ０）とし、
前記注目画素の前記第３色成分の画素値をＤ３ｏｕｔ（Ｐ０）とし、
前記注目画素の前記第４色成分の画素値をＤ４ｏｕｔ（Ｐ０）とし、
前記注目画素の前記出力用第１色成分値をＤｃ＿ｃｏｌｏｒ１（Ｐ０）とし、
前記注目画素の前記出力用第２色成分値をＤｃ＿ｃｏｌｏｒ２（Ｐ０）とし、
前記注目画素の前記出力用第３色成分値をＤｃ＿ｃｏｌｏｒ３（Ｐ０）とすると、
前記３色画素信号取得部は、
（１）前記注目画素に対応する色フィルタの色成分と、前記注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分ではない場合であって、
前記相関方向決定部により決定された相関方向が左斜め上方向である第１斜め方向である場合、
Ａｖｅ０＝（ＰＵ＋ＰＬ）／２
Ａｖｅ１＝（ＰＲ＋ＰＤ）／２
Ｅｖ０＝ａｂｓ（Ａｖｅ０−Ｄ４ｏｕｔ（Ｐ０））＋ａｂｓ（Ａｖｅ１−Ｄ４ｏｕｔ（Ｐ０））
Ｅｖ１＝ａｂｓ（Ａｖｅ０−Ｄ１ｏｕｔ（Ｐ０））＋ａｂｓ（Ａｖｅ１−Ｄ１ｏｕｔ（Ｐ０））
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理により、評価値Ｅｖ０およびＥｖ１を取得し、
（１Ａ）Ｅｖ０＜Ｅｖ１である場合、
Ｄｃ＿ｃｏｌｏｒ１（Ｐ０）＝Ｄ４ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ０）＝Ｄ２ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ０）＝Ｄ３ｏｕｔ（Ｐ０）
により、前記注目画素の前記出力用第１色成分値、前記出力用第２色成分値、および、前記出力用第３色成分値を取得し、
（１Ｂ）Ｅｖ０≧Ｅｖ１である場合、
Ｄｃ＿ｃｏｌｏｒ１（Ｐ０）＝Ｄ１ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ０）＝Ｄ２ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ０）＝Ｄ３ｏｕｔ（Ｐ０）
により、前記注目画素の前記出力用第１色成分値、前記出力用第２色成分値、および、前記出力用第３色成分値を取得する、
請求項１から３のいずれかに記載の画素補間処理装置。

【請求項5】

前記注目画素の画素値をＰ０とし、
前記注目画素の上側に隣接する画素の画素値をＰＵとし、
前記注目画素の左側に隣接する画素の画素値をＰＬとし、
前記注目画素の右側に隣接する画素の画素値をＰＲとし、
前記注目画素の下側に隣接する画素の画素値をＰＤとし、
前記注目画素の前記第１色成分の画素値をＤ１ｏｕｔ（Ｐ０）とし、
前記注目画素の前記第２色成分の画素値をＤ２ｏｕｔ（Ｐ０）とし、
前記注目画素の前記第３色成分の画素値をＤ３ｏｕｔ（Ｐ０）とし、
前記注目画素の前記第４色成分の画素値をＤ４ｏｕｔ（Ｐ０）とし、
前記注目画素の前記出力用第１色成分値をＤｃ＿ｃｏｌｏｒ１（Ｐ０）とし、
前記注目画素の前記出力用第２色成分値をＤｃ＿ｃｏｌｏｒ２（Ｐ０）とし、
前記注目画素の前記出力用第３色成分値をＤｃ＿ｃｏｌｏｒ３（Ｐ０）とすると、
前記３色画素信号取得部は、
（１）前記注目画素に対応する色フィルタの色成分と、前記注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分ではない場合であって、
前記相関方向決定部により決定された相関方向が右斜め上方向である第２斜め方向である場合、
Ａｖｅ０＝（ＰＵ＋ＰＲ）／２
Ａｖｅ１＝（ＰＬ＋ＰＤ）／２
Ｅｖ０＝ａｂｓ（Ａｖｅ０−Ｄ４ｏｕｔ（Ｐ０））＋ａｂｓ（Ａｖｅ１−Ｄ４ｏｕｔ（Ｐ０））
Ｅｖ１＝ａｂｓ（Ａｖｅ０−Ｄ１ｏｕｔ（Ｐ０））＋ａｂｓ（Ａｖｅ１−Ｄ１ｏｕｔ（Ｐ０））
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理により、評価値Ｅｖ０およびＥｖ１を取得し、
（１Ａ）Ｅｖ０＜Ｅｖ１である場合、
Ｄｃ＿ｃｏｌｏｒ１（Ｐ０）＝Ｄ４ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ０）＝Ｄ２ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ０）＝Ｄ３ｏｕｔ（Ｐ０）
により、前記注目画素の前記出力用第１色成分値、前記出力用第２色成分値、および、前記出力用第３色成分値を取得し、
（１Ｂ）Ｅｖ０≧Ｅｖ１である場合、
Ｄｃ＿ｃｏｌｏｒ１（Ｐ０）＝Ｄ１ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ０）＝Ｄ２ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ０）＝Ｄ３ｏｕｔ（Ｐ０）
により、前記注目画素の前記出力用第１色成分値、前記出力用第２色成分値、および、前記出力用第３色成分値を取得する、
請求項１から４のいずれかに記載の画素補間処理装置。

【請求項6】

奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有し、被写体光から画像信号を取得する撮像部と、
前記画像信号に対して、画素補間処理を行う、請求項１から５のいずれかに記載の画素補間処理装置と、
を備える撮像装置。

【請求項7】

奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタであって、前記第１色成分用フィルタと前記第４色成分用フィルタとが同色の色成分用フィルタである前記４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理方法をコンピュータで実行させるためのプログラムであって、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関値を取得する相関値算出ステップと、
前記相関値算出ステップにより取得された前記相関値に基づいて、前記注目画素の周辺領域における相関方向を決定する相関方向決定ステップと、
前記注目画素に対して、画素補間処理を実行し、前記注目画素の第１色成分の画素値Ｄ１ｏｕｔと、前記注目画素の第２色成分の画素値Ｄ２ｏｕｔと、前記注目画素の第３色成分の画素値Ｄ３ｏｕｔと、前記注目画素の第４色成分の画素値Ｄ４ｏｕｔと、を取得する補間ステップと、
前記第１色成分用フィルタに対応する前記第１色成分の画素値Ｄ１ｏｕｔと、前記第１色成分用フィルタと同色である前記第４色成分用フィルタに対応する前記第４色成分の画素値Ｄ４ｏｕｔとの２つの画素値にうち、画素補間精度が高い方の画素を判定し、画素補間精度がより高いと判定された方の色成分の画素値を、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得し、
前記注目画素の第２色成分の画素値Ｄ２ｏｕｔを、出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２として取得し、
前記注目画素の第３色成分の画素値Ｄ３ｏｕｔを、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３として取得することで、前記出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１、前記出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２、および、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３からなる３色画素信号を取得する３色画素信号取得ステップと、
を備える画素補間処理方法をコンピュータで実行させるためのプログラム。

【請求項8】

奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタであって、前記第１色成分用フィルタと前記第４色成分用フィルタとが同色の色成分用フィルタである前記４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う集積回路であって、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関値を取得する相関値算出部と、
前記相関値算出部により取得された前記相関値に基づいて、前記注目画素の周辺領域における相関方向を決定する相関方向決定部と、
前記注目画素に対して、画素補間処理を実行し、前記注目画素の第１色成分の画素値Ｄ１ｏｕｔと、前記注目画素の第２色成分の画素値Ｄ２ｏｕｔと、前記注目画素の第３色成分の画素値Ｄ３ｏｕｔと、前記注目画素の第４色成分の画素値Ｄ４ｏｕｔと、を取得する補間部と、
前記第１色成分用フィルタに対応する前記第１色成分の画素値Ｄ１ｏｕｔと、前記第１色成分用フィルタと同色である前記第４色成分用フィルタに対応する前記第４色成分の画素値Ｄ４ｏｕｔとの２つの画素値にうち、画素補間精度が高い方の画素を判定し、画素補間精度がより高いと判定された方の色成分の画素値を、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得し、
前記注目画素の第２色成分の画素値Ｄ２ｏｕｔを、出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２として取得し、
前記注目画素の第３色成分の画素値Ｄ３ｏｕｔを、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３として取得することで、前記出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１、前記出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２、および、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３からなる３色画素信号を取得する３色画素信号取得部と、
を備える集積回路。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルカメラ等の撮像装置で実行される信号処理に関する。特に、画素補間技術に関する。

【背景技術】

【0002】

デジタルカメラ等の撮像装置で利用されるＣＣＤ型イメージセンサ、ＣＭＯＳ型イメージセンサなどの撮像素子では、色フィルタを介して受光された光が光電変換により電気信号に変換され、画素信号として出力される。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。

【0003】

このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理により取得する必要がある。そして、この補間処理には、様々なアルゴリズムが用いられている。たとえば、水平方向の相関度と垂直方向の相関度とを算出し、相関度の高い方向の画素を用いて画素補間を行う方法が行われている。また、注目画素と周辺画素の距離に応じて重み付けを行った上で画素補間を行う方法などが行われている。

【0004】

下記特許文献１に開示されている技術では、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子により取得された画像の中のグレー領域とカラー領域を判別し、画像領域の特性に応じた画素補間を適用させるようにしている。特許文献１の技術では、特に、グレー領域とカラー領域との境界に位置する領域について偽色の発生を抑える工夫がなされている。具体的には、特許文献１の技術では、グレー領域とカラー領域との境界にある領域に対して、相関方向については、グレー画像用の判定方法を用いて相関方向の判定処理を行い、画素補間については、カラー画像領域用の画素補間方法を用いて、画素補間処理を行う。これにより、特許文献１の技術では、画素補間処理による偽色の発生を低減させることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−１８６９６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、色フィルタとして、ベイヤ-配列等に代表されるように、３色のフィルタが４つの画素を１つのパターン（２画素×２画素を１単位とするパターン）として配列されている色フィルタを有する撮像装置がある。なお、以下では、３色のフィルタが４つの画素を１つのパターン（２画素×２画素を１単位とするパターン）として配列されている色フィルタの配列を、「３色４画素パターン配列」という。

【0007】

このような３色４画素パターン配列の色フィルタを有する単板式の撮像素子を用いた場合、１画素について、３色のうちのいずれか１色の画素信号が出力される。

【0008】

特許文献１の技術では、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子を前提としており、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が既知であることを前提としている。このため、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合、特許文献１の技術をそのまま適用することは困難である。また、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合、適切に画素補間処理を行うことは困難である。

【0009】

そこで、本発明は、上記課題に鑑み、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために、第１の発明は、第１の発明は、奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタであって、第１色成分用フィルタと第４色成分用フィルタとが同色の色成分用フィルタである４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理装置であって、相関値算出部と、相関方向決定部と、補間部と、３色画素信号取得部と、を備える。

【0011】

相関値算出部は、注目画素の周辺領域の画素データを用いて、画像上において直交する２方向の複数組の相関値を取得する。

【0012】

相関方向決定部は、相関値算出部により取得された相関値に基づいて、注目画素の周辺領域における相関方向を決定する。

【0013】

補間部は、注目画素に対して、画素補間処理を実行し、注目画素の第１色成分の画素値Ｄ１ｏｕｔと、注目画素の第２色成分の画素値Ｄ２ｏｕｔと、注目画素の第３色成分の画素値Ｄ３ｏｕｔと、注目画素の第４色成分の画素値Ｄ４ｏｕｔと、を取得する。

【0014】

３色画素信号取得部は、第１色成分用フィルタに対応する第１色成分の画素値Ｄ１ｏｕｔと、第１色成分用フィルタと同色である第４色成分用フィルタに対応する第４色成分の画素値Ｄ４ｏｕｔとの２つの画素値にうち、画素補間精度が高い方の画素を判定し、画素補間精度がより高いと判定された方の色成分の画素値を、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得する。

【0015】

また、３色画素信号取得部は、注目画素の第２色成分の画素値Ｄ２ｏｕｔを、出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２として取得する。

【0016】

また、３色画素信号取得部は、注目画素の第３色成分の画素値Ｄ３ｏｕｔを、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３として取得することで、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１、出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２、および、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３からなる３色画素信号を取得する。

【0017】

この画素補間処理装置では、色フィルタの配列が３色４画素パターン配列である場合、つまり、カラーフィルタの４つの色（第１色〜第４色）のうちの２つ（上記では、第１色成分用フィルタと第４色成分用フィルタ）が同色の色フィルタである場合、画素の位置関係および／または相関方向を考慮して、２つの同色フィルタが配置されている画素から取得された注目画素の画素値（当該同色の色成分の画素値）のうち、より精度の高い方を選択して、３つの色成分値（色成分画素信号）からなる３色画素信号（画素補間処理後の画像信号）を取得する。したがって、この画素補間処理装置では、色フィルタの配列が３色４画素パターン配列である場合において、精度の高い、３つの色成分値（色成分画素信号）からなる３色画素信号（画素補間処理後の画像信号）を取得することができる。

【0018】

なお、第１色成分用フィルタと第４色成分用フィルタとが「同色の色成分用フィルタである」場合としては、例えば、第１色成分用フィルタが緑色成分用フィルタである場合、第４色成分用フィルタも緑色成分用フィルタである場合が該当する。

【0019】

第２の発明は、第１の発明であって、３色画素信号取得部は、以下の（１）、（２）の処理を行う。
（１）注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分である場合であって、注目画素が第１色成分用フィルタに対応する第１色成分の画素である場合、注目画素の第１色成分の画素値Ｄ１ｏｕｔを、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得する。
（２）注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分である場合であって、注目画素が第４色成分用フィルタに対応する第４色成分の画素である場合、注目画素の第４色成分の画素値Ｄ４ｏｕｔを、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得する。

【0020】

これにより、この画素補間処理装置では、注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分である場合において、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１を、注目画素の画素値とすることができる。したがって、この画素補間処理装置では、上記の場合において、精度の高い３色画素信号（画素補間処理後の画像信号）を取得することができる。

【0021】

第３の発明は、第１または第２の発明であって、３色画素信号取得部は、以下の（１）、（２）の処理を行う。
（１）注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分ではない場合であって、相関方向決定部により決定された相関方向が水平方向または垂直方向である場合であり、かつ、注目画素の相関方向において隣接する画素が第１色成分用フィルタに対応する第１色成分の画素である場合、
注目画素の第１色成分の画素値Ｄ１ｏｕｔを、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得する。
（２）注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分ではない場合であって、相関方向決定部により決定された相関方向が水平方向または垂直方向である場合であり、かつ、注目画素の相関方向において隣接する画素が第４色成分用フィルタに対応する第４色成分の画素である場合、
注目画素の第４色成分の画素値Ｄ４ｏｕｔを、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得する。

【0022】

これにより、この画素補間処理装置では、注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分でない場合であって、相関方向が水平方向または垂直方向である場合において、相関方向に存在する画素を用いて補間した結果を用いて、注目画素の出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１を取得することができる。したがって、この画素補間処理装置では、上記の場合において、精度の高い３色画素信号（画素補間処理後の画像信号）を取得することができる。

【0023】

なお、「水平方向」とは、画像信号により形成される２次元画像上の水平方向を含む概念である。また、「垂直方向」とは、画像信号により形成される２次元画像上の垂直方向を含む概念である。

【0024】

なお、画像信号により形成される２次元画像上の縦方向および横方向の一方の方向を「水平方向」に設定した場合、他方の方向を「垂直方向」と設定してもよい。また、その逆に設定してもよい。

【0025】

第４の発明は、第１から第３のいずれかの発明であって、
注目画素の画素値をＰ０とし、
注目画素の上側に隣接する画素の画素値をＰＵとし、
注目画素の左側に隣接する画素の画素値をＰＬとし、
注目画素の右側に隣接する画素の画素値をＰＲとし、
注目画素の下側に隣接する画素の画素値をＰＤとし、
注目画素の第１色成分の画素値をＤ１ｏｕｔ（Ｐ０）とし、
注目画素の第２色成分の画素値をＤ２ｏｕｔ（Ｐ０）とし、
注目画素の第３色成分の画素値をＤ３ｏｕｔ（Ｐ０）とし、
注目画素の第４色成分の画素値をＤ４ｏｕｔ（Ｐ０）とし、
注目画素の出力用第１色成分値をＤｃ＿ｃｏｌｏｒ１（Ｐ０）とし、
注目画素の出力用第２色成分値をＤｃ＿ｃｏｌｏｒ２（Ｐ０）とし、
注目画素の出力用第３色成分値をＤｃ＿ｃｏｌｏｒ３（Ｐ０）とすると、
３色画素信号取得部は、以下の処理を行う。
（１）注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分ではない場合であって、相関方向決定部により決定された相関方向が左斜め上方向である第１斜め方向である場合、３色画素信号取得部は、
Ａｖｅ０＝（ＰＵ＋ＰＬ）／２
Ａｖｅ１＝（ＰＲ＋ＰＤ）／２
Ｅｖ０＝ａｂｓ（Ａｖｅ０−Ｄ４ｏｕｔ（Ｐ０））＋ａｂｓ（Ａｖｅ１−Ｄ４ｏｕｔ（Ｐ０））
Ｅｖ１＝ａｂｓ（Ａｖｅ０−Ｄ１ｏｕｔ（Ｐ０））＋ａｂｓ（Ａｖｅ１−Ｄ１ｏｕｔ（Ｐ０））
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理により、評価値Ｅｖ０およびＥｖ１を取得する。
（１Ａ）Ｅｖ０＜Ｅｖ１である場合、３色画素信号取得部は、
Ｄｃ＿ｃｏｌｏｒ１（Ｐ０）＝Ｄ４ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ０）＝Ｄ２ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ０）＝Ｄ３ｏｕｔ（Ｐ０）
により、注目画素の出力用第１色成分値、出力用第２色成分値、および、出力用第３色成分値を取得する。
（１Ｂ）Ｅｖ０≧Ｅｖ１である場合、３色画素信号取得部は、
Ｄｃ＿ｃｏｌｏｒ１（Ｐ０）＝Ｄ１ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ０）＝Ｄ２ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ０）＝Ｄ３ｏｕｔ（Ｐ０）
により、注目画素の出力用第１色成分値、出力用第２色成分値、および、出力用第３色成分値を取得する。

【0026】

これにより、この画素補間処理装置では、注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分でない場合であって、相関方向が第１斜め方向である場合において、相関方向に存在する位置（画素ＰＵと画素ＰＬの中点の位置、および、画素ＰＲと画素ＰＤとの中点の位置）の画素推定値（平均値Ａｖｅ０、Ａｖｅ１）により近い値をとる注目画素の色成分値に基づいて、注目画素の出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１を取得することができる。したがって、この画素補間処理装置では、上記の場合において、精度の高い３色画素信号（画素補間処理後の画像信号）を取得することができる。

【0027】

第５の発明は、第１から第４のいずれかの発明であって、
注目画素の画素値をＰ０とし、
注目画素の上側に隣接する画素の画素値をＰＵとし、
注目画素の左側に隣接する画素の画素値をＰＬとし、
注目画素の右側に隣接する画素の画素値をＰＲとし、
注目画素の下側に隣接する画素の画素値をＰＤとし、
注目画素の第１色成分の画素値をＤ１ｏｕｔ（Ｐ０）とし、
注目画素の第２色成分の画素値をＤ２ｏｕｔ（Ｐ０）とし、
注目画素の第３色成分の画素値をＤ３ｏｕｔ（Ｐ０）とし、
注目画素の第４色成分の画素値をＤ４ｏｕｔ（Ｐ０）とし、
注目画素の出力用第１色成分値をＤｃ＿ｃｏｌｏｒ１（Ｐ０）とし、
注目画素の出力用第２色成分値をＤｃ＿ｃｏｌｏｒ２（Ｐ０）とし、
注目画素の出力用第３色成分値をＤｃ＿ｃｏｌｏｒ３（Ｐ０）とすると、
３色画素信号取得部は、以下の処理を行う。
（１）注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分ではない場合であって、相関方向決定部により決定された相関方向が右斜め上方向である第２斜め方向である場合、３色画素信号取得部は、
Ａｖｅ０＝（ＰＵ＋ＰＲ）／２
Ａｖｅ１＝（ＰＬ＋ＰＤ）／２
Ｅｖ０＝ａｂｓ（Ａｖｅ０−Ｄ４ｏｕｔ（Ｐ０））＋ａｂｓ（Ａｖｅ１−Ｄ４ｏｕｔ（Ｐ０））
Ｅｖ１＝ａｂｓ（Ａｖｅ０−Ｄ１ｏｕｔ（Ｐ０））＋ａｂｓ（Ａｖｅ１−Ｄ１ｏｕｔ（Ｐ０））
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理により、評価値Ｅｖ０およびＥｖ１を取得する。
（１Ａ）Ｅｖ０＜Ｅｖ１である場合、３色画素信号取得部は、
Ｄｃ＿ｃｏｌｏｒ１（Ｐ０）＝Ｄ４ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ０）＝Ｄ２ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ０）＝Ｄ３ｏｕｔ（Ｐ０）
により、注目画素の出力用第１色成分値、出力用第２色成分値、および、出力用第３色成分値を取得する。
（１Ｂ）Ｅｖ０≧Ｅｖ１である場合、３色画素信号取得部は、
Ｄｃ＿ｃｏｌｏｒ１（Ｐ０）＝Ｄ１ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ０）＝Ｄ２ｏｕｔ（Ｐ０）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ０）＝Ｄ３ｏｕｔ（Ｐ０）
により、注目画素の出力用第１色成分値、出力用第２色成分値、および、出力用第３色成分値を取得する。

【0028】

これにより、この画素補間処理装置では、注目画素に対応する色フィルタの色成分と、注目画素の斜め方向に隣接する画素に対応する色フィルタの色成分とが、同じ色の色成分でない場合であって、相関方向が第２斜め方向である場合において、相関方向に存在する位置（画素ＰＵと画素ＰＲの中点の位置、および、画素ＰＬと画素ＰＤとの中点の位置）の画素推定値（平均値Ａｖｅ０、Ａｖｅ１）とより近い値をとる注目画素の色成分値に基づいて、注目画素の出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１を取得することができる。したがって、この画素補間処理装置では、上記の場合において、精度の高い３色画素信号（画素補間処理後の画像信号）を取得することができる。

【0029】

第６の発明は、撮像部と、第１から第５のいずれかの発明である画素補間処理装置と、を備える。

【0030】

撮像部は、奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有し、被写体光から画像信号を取得する。

【0031】

画素補間処理装置は、第１から第５のいずれかの発明である画素補間装置であって、画像信号に対して、画素補間処理を行う。

【0032】

これにより、第１から第５のいずれかの発明である画素補間処理装置を用いた撮像装置を実現することができる。

【0033】

第７の発明は、奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタであって、第１色成分用フィルタと第４色成分用フィルタとが同色の色成分用フィルタである４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理方法をコンピュータで実行させるためのプログラムである。画素補間処理方法は、相関値算出ステップと、相関方向決定ステップと、補間ステップと、３色画素信号取得ステップと、を備える。

【0034】

相関値算出ステップは、注目画素の周辺領域の画素データを用いて、画像上において直交する２方向の複数組の相関値を取得する。

【0035】

相関方向決定ステップは、相関値算出ステップにより取得された相関値に基づいて、注目画素の周辺領域における相関方向を決定する。

【0036】

補間ステップは、注目画素に対して、画素補間処理を実行し、注目画素の第１色成分の画素値Ｄ１ｏｕｔと、注目画素の第２色成分の画素値Ｄ２ｏｕｔと、注目画素の第３色成分の画素値Ｄ３ｏｕｔと、注目画素の第４色成分の画素値Ｄ４ｏｕｔと、を取得する。

【0037】

３色画素信号取得ステップは、第１色成分用フィルタに対応する第１色成分の画素値Ｄ１ｏｕｔと、第１色成分用フィルタと同色である第４色成分用フィルタに対応する第４色成分の画素値Ｄ４ｏｕｔとの２つの画素値にうち、画素補間精度が高い方の画素を判定し、画素補間精度がより高いと判定された方の色成分の画素値を、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得する。

【0038】

また、３色画素信号取得ステップは、注目画素の第２色成分の画素値Ｄ２ｏｕｔを、出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２として取得する。

【0039】

また、３色画素信号取得ステップは、注目画素の第３色成分の画素値Ｄ３ｏｕｔを、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３として取得することで、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１、出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２、および、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３からなる３色画素信号を取得する。

【0040】

これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。

【0041】

第８の発明は、奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタであって、第１色成分用フィルタと第４色成分用フィルタとが同色の色成分用フィルタである４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う集積回路であって、相関値算出部と、相関方向決定部と、補間部と、３色画素信号取得部と、を備える。

【0042】

相関値算出部は、注目画素の周辺領域の画素データを用いて、画像上において直交する２方向の複数組の相関値を取得する。

【0043】

相関方向決定部は、相関値算出部により取得された相関値に基づいて、注目画素の周辺領域における相関方向を決定する。

【0044】

補間部は、注目画素に対して、画素補間処理を実行し、注目画素の第１色成分の画素値Ｄ１ｏｕｔと、注目画素の第２色成分の画素値Ｄ２ｏｕｔと、注目画素の第３色成分の画素値Ｄ３ｏｕｔと、注目画素の第４色成分の画素値Ｄ４ｏｕｔと、を取得する。

【0045】

３色画素信号取得部は、第１色成分用フィルタに対応する第１色成分の画素値Ｄ１ｏｕｔと、第１色成分用フィルタと同色である第４色成分用フィルタに対応する第４色成分の画素値Ｄ４ｏｕｔとの２つの画素値にうち、画素補間精度が高い方の画素を判定し、画素補間精度がより高いと判定された方の色成分の画素値を、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１として取得する。

【0046】

また、３色画素信号取得部は、注目画素の第２色成分の画素値Ｄ２ｏｕｔを、出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２として取得する。

【0047】

また、３色画素信号取得部は、注目画素の第３色成分の画素値Ｄ３ｏｕｔを、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３として取得することで、出力用第１色成分値Ｄｃ＿ｃｏｌｏｒ１、出力用第２色成分値Ｄｃ＿ｃｏｌｏｒ２、および、出力用第３色成分値Ｄｃ＿ｃｏｌｏｒ３からなる３色画素信号を取得する。

【0048】

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

【発明の効果】

【0049】

本発明によれば、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することができる。

【図面の簡単な説明】

【0050】

【図1】第１実施形態に係る撮像装置１０００の概略構成図。

【図2】撮像部Ｃ１に設置される任意の４色配列色フィルタＣ１１における第１成分用色フィルタ、第２成分用色フィルタ、第３成分用色フィルタおよび第４成分用色フィルタの配列パターンの一例を示す図。

【図3】垂直方向相関値Ｃｖの算出処理を説明するための図。

【図4】水平方向相関値Ｃｈの算出処理を説明するための図。

【図5】第１斜め方向相関値Ｃｄ１の算出処理を説明するための図。

【図6】第２斜め方向相関値Ｃｄ２の算出処理を説明するための図。

【図7】判定用相関値Ｃｖ，Ｃｈから相関方向を決定するための関係図。

【図8】判定用相関値Ｃｄ１，Ｃｄ２から相関方向を決定するための関係図。

【図9】中心画素（注目画素）が第１色画素であり、相関方向が水平方向である場合の５画素×５画素のマトリクス領域を示す図。

【図10】中心画素（注目画素）が第１色画素であり、相関方向が水平方向である場合の５画素×５画素のマトリクス領域を示す図。

【図11】中心画素（注目画素）が第１色画素であり、相関方向が水平方向である場合の５画素×５画素のマトリクス領域を示す図。

【図12】中心画素（注目画素）が第１色画素であり、相関方向が水平方向である場合の５画素×５画素のマトリクス領域を示す図。

【図13】中心画素（注目画素）が第１色画素であり、相関方向が垂直方向である場合の５画素×５画素のマトリクス領域を示す図。

【図14】中心画素（注目画素）が第１色画素であり、相関方向が垂直方向である場合の５画素×５画素のマトリクス領域を示す図。

【図15】中心画素（注目画素）が第１色画素であり、相関方向が垂直方向である場合の５画素×５画素のマトリクス領域を示す図。

【図16】中心画素（注目画素）が第１色画素であり、相関方向が垂直方向である場合の５画素×５画素のマトリクス領域を示す図。

【図17】中心画素（注目画素）が第１色画素であり、相関方向が第１斜め方向である場合の５画素×５画素のマトリクス領域を示す図。

【図18】中心画素（注目画素）が第１色画素であり、相関方向が第１斜め方向である場合の５画素×５画素のマトリクス領域を示す図。

【図19】中心画素（注目画素）が第１色画素であり、相関方向が第１斜め方向である場合の５画素×５画素のマトリクス領域を示す図。

【図20】中心画素（注目画素）が第１色画素であり、相関方向が第２斜め方向である場合の５画素×５画素のマトリクス領域を示す図。

【図21】中心画素（注目画素）が第１色画素であり、相関方向が第２斜め方向である場合の５画素×５画素のマトリクス領域を示す図。

【図22】中心画素（注目画素）が第１色画素であり、相関方向が第２斜め方向である場合の５画素×５画素のマトリクス領域を示す図。

【図23】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素である場合における３色画素信号取得部４での処理について説明するための図。

【図24】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素である場合における３色画素信号取得部４での処理について説明するための図。

【図25】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図。

【図26】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図。

【図27】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図。

【図28】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図。

【図29】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図。

【図30】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図。

【図31】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図。

【図32】中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図。

【発明を実施するための形態】

【0051】

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

【0052】

＜１．１：撮像装置の構成＞
図１は、第１実施形態に係る撮像装置１０００の概略構成図である。

【0053】

撮像装置１０００は、図１に示すように、被写体光を光電変換により画像信号として取得する撮像部Ｃ１と、撮像部Ｃ１により取得された画像信号に対して所定の信号処理を行う信号処理部Ｃ２と、信号処理部Ｃ２により所定の信号処理が施された画像信号に対して画素補間処理を行う画素補間処理部１００（画素補間処理装置）と、を備える。

【0054】

撮像部Ｃ１は、光学系と、任意の４色配列色フィルタと、撮像素子とを備える。

【0055】

なお、説明便宜のために、「任意の４色配列色フィルタ」は、第１色成分用フィルタ、第２色成分用フィルタ、第３色成分用フィルタ、および、第４色成分用フィルタからなるものとし、その配列は、以下の通りであるものとする。すなわち、
（１）第１列において、第１色フィルタ、第２色フィルタ、第１色フィルタ、第２色フィルタ・・・、と第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、
（２）第２列において、第３色フィルタ、第４色フィルタ、第３色フィルタ、第４色フィルタ・・・、と第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている。

【0056】

つまり、「任意の４色配列色フィルタ」は、奇数行では、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行では、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されているものとする。「任意の４色配列色フィルタ」は、このような配列を有するものとして、以下、説明する。

【0057】

なお、以下では、第１色フィルタの色成分と、第４色フィルタの色成分とが同じ色成分（例えば、緑色成分）であるとして、説明する。

【0058】

光学系は、１または複数のレンズからなり、被写体光を集光し、被写体光を撮像素子面に結像させる。なお、光学系は、露光調整、フォーカス調整機能等を有するものであってもよい。

【0059】

４色配列色フィルタは、第１色成分用色フィルタ、第２色成分用色フィルタ、第３色成分用色フィルタおよび第４色成分用色フィルタの４つ色成分フィルタを含み、上記で説明した配列を有している。４色配列色フィルタは、撮像素子の撮像素子面上に配置される。

【0060】

撮像素子は、複数の画素を有しており、光学系で集光され、４色配列色フィルタを介して、撮像素子面上に結像された被写体光を光電変換により画像信号（電気信号）に変換する。撮像素子は、第１色成分取得用の画素において、第１色成分画素信号を取得し、第２色成分取得用の画素において、第２色成分画素信号を取得する。また、撮像素子は、第３色成分取得用の画素において、第３色成分画素信号を取得し、第４色成分取得用の画素において、第４色成分画素信号を取得する。撮像素子は、各画素に取得した画素信号（第１色成分画素信号、第２色成分画素信号、第３色成分画素信号、および、第４色成分画素信号）を、画像信号として信号処理部Ｃ２に出力する。

【0061】

信号処理部Ｃ２は、撮像部Ｃ１から出力される画像信号を入力し、入力された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）を行う。信号処理部Ｃ２は、所定の信号処理を施した画像信号を、画像信号Ｄ＿ｒａｗとして、画素補間処理部１００に出力する。

【0062】

画素補間処理部１００は、図１に示すように、相関値算出部１と、相関方向決定部２と、補間部３と、３色画素信号取得部４と、を備える。

【0063】

相関値算出部１は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗ（画像信号Ｄ＿ｒａｗにより形成される１枚の画像（１フレーム画像）を画像Ｄ＿ｒａｗと表現する。以下、同様。）を入力する。相関値算出部１は、画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つの相関値を算出する（詳細については後述する）。
（Ａ１）垂直方向相関値Ｃｖ
（Ａ２）水平方向相関値Ｃｈ
（Ａ３）第１斜め方向相関値Ｃｄ１
（Ａ４）第２斜め方向相関値Ｃｄ２
相関値算出部１は、画像Ｄ＿ｒａｗ上の画素ごとに取得した上記４つの相関値を相関方向決定部２に出力する。なお、上記４つの相関値を総称して、「Ｃｘ」と表記する。

【0064】

相関方向決定部２は、相関値算出部１から出力される画素ごとの相関値Ｃｘを入力する。相関方向決定部２は、画素ごとに、相関値Ｃｘに基づいて、相関方向を決定する（詳細については後述する）。そして、相関方向決定部２は、画素ごとに決定した相関方向に関する情報Ｃｏ＿Ｄｉｒを、補間部３に出力する。

【0065】

補間部３は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗと、相関方向決定部２から出力される画素ごとに決定された相関方向に関する情報Ｃｏ＿Ｄｉｒを入力とする。補間部３は、画像Ｄ＿ｒａｗの画素ごとに、全ての画素が第１色成分、第２色成分、第３色成分、および、第４色成分を持つように、画素補間処理を行う（詳細については後述する）。そして、補間部３は、画素補間処理後の画像信号（全ての画素が第１色成分値（第１色成分画素信号）、第２色成分値（第２色成分画素信号）、第３色成分値（第３色成分画素信号）、および、第４色成分値（第４色成分画素信号）を有する画像信号）を、画像信号Ｄｏｕｔとして、出力する。

【0066】

３色画素信号取得部４は、補間部３から出力される画像信号Ｄｏｕｔを入力する。そして、３色画素信号取得部４は、画像信号Ｄｏｕｔ（１画素につき４つの色成分画素信号からなる画像信号Ｄｏｕｔ）から、１画素につき３つの色成分画素信号からなる画像信号Ｄｃ＿ｏｕｔを取得し、出力する。具体的には、３色画素信号取得部４は、第１色フィルタの色成分と、第４色フィルタの色成分とが同じ色成分（例えば、緑色成分）であるので、各画素について、
（１）第１色成分値（第１色成分画素信号）または第４色成分値（第４色成分画素信号）と、
（２）第２色成分値（第２色成分画素信号）と、
（３）第３色成分値（第３色成分画素信号）と、
の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔを取得し、出力する。

【0067】

＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１０００の動作について、以下、説明する。

【0068】

図２は、撮像部Ｃ１に設置される任意の４色配列色フィルタＣ１１における第１成分用色フィルタ、第２成分用色フィルタ、第３成分用色フィルタおよび第４成分用色フィルタの配列パターンの一例を示す図である。図２に示すように、４色配列色フィルタでは、奇数行において、第１成分用色フィルタ、第２成分用色フィルタ、第１成分用色フィルタ、第２成分用色フィルタ、・・・と、第１成分用色フィルタと第２成分用色フィルタとが交互に配列されている。そして、偶数行において、第３成分用色フィルタ、第４成分用色フィルタ、第３成分用色フィルタ、第４成分用色フィルタ、・・・と、第３成分用色フィルタと第４成分用色フィルタとが交互に配列されている。

【0069】

≪４色画素配列の画素の表記方法≫
ここで、４色配列色フィルタの画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図２の左上領域ＡＲ１のように表す。図２の左上領域ＡＲ１における記号Ｐは、画素がいずれの色成分用画素であるかを考慮しない表記である（図２に示す領域ＡＲ２〜ＡＲ４についても同様）。

【0070】

記号Ｐの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。なお、他の図面における画素配列の表記方法も上記と同様である。また、実施形態の説明や各数式において、記号Ｐは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。

【0071】

被写体からの光は、撮像部Ｃ１の光学系（不図示）で集光され、撮像素子面上に配置された４色配列色フィルタＣ１１を介して、撮像部Ｃ１の撮像素子（不図示）に入射される。なお、４色配列色フィルタＣ１１は、図２に示す配列パターンであるものとして、以下、説明する。

【0072】

撮像部Ｃ１の撮像素子では、画素ごとに、入射された被写体光は、光電変換により電気信号（画素信号）に変換される。つまり、第１色成分用画素では第１色成分画素値が取得され、第２色成分用画素では第２色成分画素値が取得され、第３色成分用画素では第３色成分画素値が取得され、第４色成分用画素では第４色成分画素値が取得される。そして、上記のようにして取得された画像信号（画素ごとに第１色成分画素値、第２色成分画素値、第３色成分画素値、第４色成分画素値のいずれか１つの画素値を有する画像信号）は、撮像部Ｃ１から信号処理部Ｃ２に出力される。

【0073】

信号処理部Ｃ２では、撮像部Ｃ１から取得された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）が実行される。そして、所定の信号処理が実行された画像信号（画像信号Ｄ＿ｒａｗ）は、画素補間処理部１００の相関値算出部１、および、補間部３に出力される。

【0074】

（１．２．１：相関値算出処理）
次に、相関値算出処理について説明する。

【0075】

相関値算出部１では、信号処理部Ｃ２から出力された画像信号Ｄ＿ｒａｗ(画像Ｄ＿ｒａｗ)から、画素ごとに、相関値Ｃｘが算出される。これについて、以下、詳細に説明する。

【0076】

相関値算出部１は、信号処理部Ｃ２から出力された画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つの相関値を算出する。
（Ａ１）垂直方向相関値Ｃｖ
（Ａ２）水平方向相関値Ｃｈ
（Ａ３）第１斜め方向相関値Ｃｄ１
（Ａ４）第２斜め方向相関値Ｃｄ２
上記（Ａ１）〜（Ａ４）の相関値の算出処理について、以下、説明する。

【0077】

≪（Ａ１）垂直方向相関値Ｃｖ≫
まず、垂直方向相関値Ｃｖの算出処理について、図３を用いて、説明する。

【0078】

図３は、垂直方向相関値Ｃｖの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

【0079】

相関値算出部１は、図３に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ４１において、垂直方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部１は、以下の数式に相当する処理を行うことで、垂直方向相関値Ｃｖを取得する。

【0080】

ｓｕｍ＝ａｂｓ（Ｐ０２―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４２）
＋ａｂｓ（Ｐ１１−Ｐ３１）＋ａｂｓ（Ｐ１３−Ｐ３３）
＋ａｂｓ（Ｐ１２−Ｐ３２）×２
＋（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））／２
Ｃｖ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１２−Ｐ３２）に係数「２」が、（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

【0081】

≪（Ａ２）水平方向相関値Ｃｈ≫
次に、水平方向相関値Ｃｈの算出処理について、図４を用いて、説明する。

【0082】

図４は、水平方向相関値Ｃｈの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

【0083】

相関値算出部１は、図４に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ５１において、水平方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部１は、以下の数式に相当する処理を行うことで、水平方向相関値Ｃｈを取得する。

【0084】

ｓｕｍ＝ａｂｓ（Ｐ２０―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２４）
＋ａｂｓ（Ｐ１１−Ｐ１３）＋ａｂｓ（Ｐ３１−Ｐ３３）
＋（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））／２
＋ａｂｓ（Ｐ２１−Ｐ２３）×２
Ｃｈ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ２１−Ｐ２３）に係数「２」が、（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

【0085】

≪（Ａ３）第１斜め方向相関値Ｃｄ１≫
次に、第１斜め方向相関値Ｃｄ１の算出処理について、図５を用いて、説明する。

【0086】

図５は、第１斜め方向相関値Ｃｄ１の算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

【0087】

相関値算出部１は、図５に示すように、第１斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部１は、以下の数式に相当する処理を行うことで、第１斜め方向相関値Ｃｄ１を取得する。

【0088】

ｓｕｍ＝ａｂｓ（Ｐ００―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４４）
＋ａｂｓ（Ｐ１１−Ｐ３３）×２
＋ａｂｓ（Ｐ１２−Ｐ３４）＋ａｂｓ（Ｐ１０−Ｐ３２）
＋ａｂｓ（Ｐ０１―Ｐ２３）＋ａｂｓ（Ｐ２１―Ｐ４３）
Ｃｄ１＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１１−Ｐ３３）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

【0089】

≪（Ａ４）第２斜め方向相関値Ｃｄ２≫
次に、第２斜め方向相関値Ｃｄ２の算出処理について、図６を用いて、説明する。

【0090】

図６は、第２斜め方向相関値Ｃｄ２の算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

【0091】

相関値算出部１は、図６に示すように、第２斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部１は、以下の数式に相当する処理を行うことで、第２斜め方向相関値Ｃｄ２を取得する。

【0092】

ｓｕｍ＝ａｂｓ（Ｐ０４―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４０）
＋ａｂｓ（Ｐ１３−Ｐ３１）×２
＋ａｂｓ（Ｐ１２−Ｐ３０）＋ａｂｓ（Ｐ１４−Ｐ３２）
＋ａｂｓ（Ｐ０３―Ｐ２１）＋ａｂｓ（Ｐ２３―Ｐ４１）
Ｃｄ２＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１３−Ｐ３１）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

【0093】

以上により、相関値算出部１により算出された４つの相関値である、（Ａ１）垂直方向相関値Ｃｖ、（Ａ２）水平方向相関値Ｃｈ、（Ａ３）第１斜め方向相関値Ｃｄ１、および、（Ａ４）第２斜め方向相関値Ｃｄ２は、相関方向決定部２に出力される。

【0094】

（１．２．２：相関方向決定部２での処理）
相関方向決定部２は、相関値算出部１により取得された相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図７の関係図または図８の関係図を用いて、相関方向を決定する。

【0095】

図７は、相関値Ｃｈ、Ｃｖと、相関方向判定用領域Ａ１〜Ａ４との関係を示す図である。図７において、横軸（Ｘ軸）は相関値Ｃｈであり、縦軸（Ｙ軸）は相関値Ｃｖである。また、図７に示すように、相関方向判定用領域Ａ１〜Ａ４は、直線Ｆ１〜Ｆ３によって決定されている。つまり、相関方向判定用領域Ａ１は、Ｙ軸と直線Ｆ１とに囲まれる領域であり、相関方向判定領域Ａ２は、Ｘ軸と直線Ｆ２とに囲まれる領域であり、相関方向判定領域Ａ３は、直線Ｆ１、直線Ｆ２および直線Ｆ３に囲まれる領域であり、相関方向判定領域Ａ４は、Ｘ軸、Ｙ軸および直線Ｆ３に囲まれる領域である。

【0096】

図８は、相関値Ｃｄ１、Ｃｄ２と、相関方向判定用領域Ｂ１〜Ｂ４との関係を示す図である。図８において、横軸（Ｘ軸）は相関値Ｃｄ２であり、縦軸（Ｙ軸）は相関値Ｃｄ１である。また、図８に示すように、相関方向判定用領域Ｂ１〜Ｂ４は、直線Ｆ１１〜Ｆ１３によって決定されている。つまり、相関方向判定領域Ｂ１は、Ｙ軸と直線Ｆ１１とに囲まれる領域であり、相関方向判定領域Ｂ２は、Ｘ軸と直線Ｆ１２とに囲まれる領域であり、相関方向判定領域Ｂ３は、直線Ｆ１１、直線Ｆ１２および直線Ｆ１３に囲まれる領域であり、相関方向判定領域Ｂ４は、Ｘ軸、Ｙ軸および直線Ｆ１３に囲まれる領域である。

【0097】

相関方向決定部２は、相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図７の関係図または図８の関係図を用いて、以下の（１）、（２）により、相関方向を決定する。
（１）相関方向決定部２は、画素ごとに、４つの相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、相関値Ｃｖまたは相関値Ｃｈが最小値をとる場合、つまり、
Ｃｖ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｈ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図７の関係図を用いて、相関方向を決定する。

【0098】

つまり、相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ１に含まれる場合、相関方向決定部２は、注目画素の相関方向を「水平方向」と判定する。

【0099】

また、相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ２に含まれる場合、相関方向決定部２は、注目画素の相関方向を「垂直方向」と判定する。

【0100】

また、相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ３に含まれる場合、相関方向決定部２は、注目画素について、「いずれの方向にも相関がない」と判定する。

【0101】

また、相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ４に含まれる場合、相関方向決定部２は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。
（２）相関方向決定部２は、画素ごとに、４つの相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、相関値Ｃｄ１または相関値Ｃｄ２が最小値をとる場合、つまり、
Ｃｄ１＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｄ２＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図８の関係図を用いて、相関方向を決定する。

【0102】

つまり、相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ１に含まれる場合、相関方向決定部２は、注目画素の相関方向を「第２斜め方向」（ｄ２方向）と判定する。

【0103】

また、相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ２に含まれる場合、相関方向決定部２は、注目画素の相関方向を「第１斜め方向」（ｄ１方向）と判定する。

【0104】

また、相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ３に含まれる場合、相関方向決定部２は、注目画素について、「いずれの方向にも相関がない」と判定する。

【0105】

また、相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ４に含まれる場合、相関方向決定部２は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。

【0106】

以上のようにして、画素ごとに取得された相関方向の判定結果（相関方向に関する情報Ｃｏ＿Ｄｉｒ）は、相関方向決定部２から、補間部３に出力される。

【0107】

なお、上記関係図は一例であり、他の直線により規定される領域を有する関係図であってもよい。

【0108】

（１．２．３：補間部３での処理）
補間部３では、相関方向決定部２により画素ごとに決定された相関方向Ｃｏ＿Ｄｉｒに基づいて、信号処理部Ｃ２から出力される画像Ｄ＿ｒａｗに対して、画素ごとに、画素補間処理が実行される。この具体的な処理について、以下、説明する。

【0109】

（１．２．３．１：水平方向画素補間（相関方向：水平方向））
相関方向決定部２により注目画素についての相関方向が「水平方向」であると判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素の第１色成分の画素値をＤ１ｏｕｔとし、第２色成分の画素値をＤ２ｏｕｔとし、第３色成分の画素値をＤ３ｏｕｔとし、第４色成分の画素値をＤ４ｏｕｔとする。

【0110】

以下では、注目画素が第１色成分画素である場合について、説明する。

【0111】

図９〜図１２は、注目画素が第１色成分画素であり、相関方向が水平方向である場合における画素補間処理について説明するための図である。

【0112】

注目画素が第１色成分画素である場合、補間部３は、以下の処理により、第１色成分の画素値Ｄ１ｏｕｔ、第２色成分の画素値をＤ２ｏｕｔ、第３色成分の画素値Ｄ３ｏｕｔ、および、第４色成分の画素値Ｄ４ｏｕｔを取得する。

【0113】

≪Ｄ１ｏｕｔ≫
補間部３は、注目画素の画素値Ｐ２２を、第１色成分の画素値Ｄ１ｏｕｔとする。すなわち、補間部３は、
Ｄ１ｏｕｔ＝Ｐ２２
とする。

【0114】

≪Ｄ２ｏｕｔ≫
第２色成分の画素値Ｄ２ｏｕｔを取得するために、補間部３は、以下の処理を行う。第２色成分の画素値Ｄ２ｏｕｔの取得処理（算出処理）を、図９を用いて、説明する。

【0115】

図９は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

【0116】

補間部３は、注目画素Ｐ２２（第１色成分画素）を中心とする水平方向の５つの画素Ｐ２０〜Ｐ２４を用いて、以下の数式に相当する処理により、第２色成分の画素値Ｄ２ｏｕｔを取得する。

【0117】

ｔ０＝（Ｐ２１＋Ｐ２３）／２
ｔ１＝（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
Ｄ２ｏｕｔ＝ｔ０−ｔ１
ここで、上記処理の意味について、説明する。

【0118】

Ｙ２２（画素Ｐ２２の第１色成分値）の低周波成分Ｙ２２Ｌは、
Ｙ２２Ｌ＝（Ｙ２０＋６×Ｙ２２＋Ｙ２４）／８
である。したがって、Ｙ２２の高周波成分Ｙ２２Ｈは、
Ｙ２２Ｈ＝Ｙ２２−Ｙ２２Ｌ
＝−（Ｙ２０−２×Ｙ２２＋Ｙ２４）／８
である。

【0119】

一方、Ｐ２２の第２色成分値Ｃ２２（画素Ｐ２２の第２色成分値をＣ２２と表記する。）の低周波成分Ｃ２２Ｌは、
Ｃ２２Ｌ＝（Ｃ２１＋２×Ｃ２２＋Ｃ２３）／４
である。したがって、Ｃ２２の高周波成分Ｃ２２Ｈは、
Ｃ２２Ｈ＝Ｃ２２―Ｃ２２Ｌ
＝Ｃ２２／２―（Ｃ２１＋Ｃ２３）／４
である。

【0120】

Ｐ２２において、各色成分の高周波成分がほぼ等しいと仮定すると、
Ｙ２２Ｈ≒Ｃ２２Ｈ
より、
Ｃ２２／２―（Ｃ２１＋Ｃ２３）／４≒−（Ｙ２０−２×Ｙ２２＋Ｙ２４）／８
となる。これをＣ２２について解くと、
Ｃ２２＝（Ｃ２１＋Ｃ２３）／２−（Ｙ２０−２×Ｙ２２＋Ｙ２４）／４
となる。

【0121】

この式において、（Ｙ２０−２×Ｙ２２＋Ｙ２４）は、水平方向のラプラシアン成分（２次微分成分）であり、Ｃ２１とＣ２３の平均値からラプラシアン成分の１／４倍したものを減算することで、Ｐ２２の第２色成分値Ｃ２２を算出することができる。

【0122】

つまり、補間部３は、
ｔ０＝（Ｐ２１＋Ｐ２３）／２
ｔ１＝（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
Ｄ２ｏｕｔ＝ｔ０−ｔ１
により、第２色成分の画素値Ｄ２ｏｕｔを取得することができる。

【0123】

なお、ｇａｉｎ０を「１／４」とすると、ｔ１は、ラプラシアン成分となるが、補間部３において、ｇａｉｎ０の値を調整し、ラプラシアン成分を調整することで、Ｄ２ｏｕｔの高周波成分量を調整することができる。例えば、撮像部Ｃ１の光学特性（例えば、撮像部Ｃ１に設けられる光学フィルタ等の特性）等に応じて、ｇａｉｎ０を調整することで（ラプラシアン成分を調整することで）、より品質の良い画素補間処理を行うことができる。

【0124】

≪Ｄ３ｏｕｔ≫
第３色成分の画素値Ｄ３ｏｕｔを取得するために、補間部３は、以下の処理を行う。第３色成分の画素値Ｄ３ｏｕｔの取得処理（算出処理）を、図１０、図１１を用いて、説明する。

【0125】

図１０、図１１は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

【0126】

補間部３は、図１０に示す領域ＡＲ＿ｑ０に含まれるＰ０１〜Ｐ４１を用いて、以下の数式に相当する処理により、Ｐ２１の第４色成分値ｑ０を取得する。

【0127】

ｑ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１
なお、（Ｐ０１−２×Ｐ２１＋Ｐ４１）は、ラプラシアン成分であり、ｇａｉｎ１は、ラプラシアン成分調整用のゲインである。

【0128】

また、補間部３は、図１０に示す領域ＡＲ＿ｑ１に含まれるＰ０３〜Ｐ４３を用いて、以下の数式に相当する処理により、Ｐ２３の第４色成分値ｑ１を取得する。

【0129】

ｑ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ２
なお、（Ｐ０３−２×Ｐ２３＋Ｐ４３）は、ラプラシアン成分であり、ｇａｉｎ２は、ラプラシアン成分調整用のゲインである。

【0130】

次に、補間部３は、図１１に示すように、画素Ｐ１１と画素Ｐ２１との間の第４色成分値の差を推定した値ｄ０ａを、
ｄ０ａ＝Ｐ１１―ｑ０
ｑ０：Ｐ２１の第４色成分値
として取得する。

【0131】

また、補間部３は、画素Ｐ１３と画素Ｐ２３との間の第４色成分値の差を推定した値ｄ０ｂを、
ｄ０ｂ＝Ｐ１３―ｑ１
ｑ１：Ｐ２３の第４色成分値
として取得する。

【0132】

そして、補間部３は、画素Ｐ１２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０を、
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
として取得する。

【0133】

一般に、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）と考えられる。

【0134】

相関方向が水平方向である場合、垂直方向における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い。

【0135】

つまり、垂直方向の変化（高周波成分に相当）を示す、（１）画素Ｐ１１、Ｐ２１間の第４色成分値の差の推定値ｄ０ａと、（２）画素Ｐ１３、Ｐ２３間の第４色成分値の差の推定値ｄ０ｂと、（３）画素Ｐ１２、Ｐ２２間の第４色成分値の差の推定値ｄ０と、は、相関が高いと判断できる。

【0136】

したがって、上記のように、
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
により、値ｄ０ａ、ｄ０ｂの平均値を取得することで、画素Ｐ１２、Ｐ２２間の第４色成分値の差の推定値ｄ０を適切に推定することができる。

【0137】

また、補間部３は、図１１に示すように、画素Ｐ３１と画素Ｐ２１との間の第４色成分値の差を推定した値ｄ１ａを、
ｄ１ａ＝Ｐ３１―ｑ０
ｑ０：Ｐ２１の第４色成分値
として取得する。

【0138】

また、補間部３は、画素Ｐ３３と画素Ｐ２３との間の第４色成分値の差を推定した値ｄ１ｂを、
ｄ１ｂ＝Ｐ３３―ｑ１
ｑ１：Ｐ２３の第４色成分値
として取得する。

【0139】

そして、補間部３は、画素Ｐ３２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１を、
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
として取得する。

【0140】

相関方向が水平方向である場合、垂直方向における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い。

【0141】

つまり、垂直方向の変化（高周波成分に相当）を示す、（１）画素Ｐ３１、Ｐ２１間の第４色成分値の差の推定値ｄ１ａと、（２）画素Ｐ３３、Ｐ２３間の第４色成分値の差の推定値ｄ１ｂと、（３）画素Ｐ３２、Ｐ２２間の第４色成分値の差の推定値ｄ１と、は、相関が高いと判断できる。

【0142】

したがって、上記のように、
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
により、値ｄ１ａ、ｄ１ｂの平均値を取得することで、画素Ｐ３２、Ｐ２２間の第４色成分値の差の推定値ｄ０を適切に推定することができる。

【0143】

そして、補間部３は、上記処理により取得された、（１）画素Ｐ１２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０と、（２）画素Ｐ３２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１とを用いて、
Ｄ３ｏｕｔ＝（Ｐ１２＋Ｐ３２）／２−（ｄ０＋ｄ１）×ｇａｉｎ３
ｇａｉｎ３：調整用ゲイン
により、第３色成分の画素値Ｄ３ｏｕｔを取得する。

【0144】

つまり、補間部３は、第３色成分用画素であるＰ１２、Ｐ３２の画素値の平均値と、相関方向（水平方向）と直交する方向（垂直方向）の高周波成分とに基づいて、第３色成分の画素値Ｄ３ｏｕｔを取得（推定）する。すなわち、補間部３は、第３色成分用画素であるＰ１２、Ｐ３２の画素値の平均値から、相関方向（水平方向）と直交する方向（垂直方向）における画素信号の変化率を示す（ｄ０＋ｄ１）×ｇａｉｎ３を減算することで、精度の高い第３色成分の画素値Ｄ３ｏｕｔを取得（推定）する。

【0145】

≪Ｄ４ｏｕｔ≫
第４色成分の画素値Ｄ４ｏｕｔを取得するために、補間部３は、以下の処理を行う。第４色成分の画素値Ｄ４ｏｕｔの取得処理（算出処理）を、図１２を用いて、説明する。

【0146】

図１２は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

【0147】

補間部３は、図１２に示す領域ＡＲ＿ｒ０に含まれるＰ１０〜Ｐ１４を用いて、以下の数式に相当する処理により、Ｐ１２の第４色成分値ｒ０を取得する。

【0148】

ｒ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ４
なお、（Ｐ１０−２×Ｐ１２＋Ｐ１４）は、ラプラシアン成分であり、ｇａｉｎ４は、ラプラシアン成分調整用のゲインである。

【0149】

また、補間部３は、図１２に示す領域ＡＲ＿ｒ１に含まれるＰ３０〜Ｐ３４を用いて、以下の数式に相当する処理により、Ｐ３２の第４色成分値ｒ１を取得する。

【0150】

ｒ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ５
なお、（Ｐ３０−２×Ｐ３２＋Ｐ３４）は、ラプラシアン成分であり、ｇａｉｎ５は、ラプラシアン成分調整用のゲインである。

【0151】

そして、補間部３は、（１）Ｐ１２の第４色成分値ｒ０と、（２）Ｐ３２の第４色成分値ｒ１、および、第３色成分の画素値Ｄ３ｏｕｔの算出処理で説明した、（３）画素Ｐ１２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０と、（４）画素Ｐ３２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１を用いて、
Ｄ４ｏｕｔ＝（ｒ０＋ｒ１）／２−（ｄ０＋ｄ１）×ｇａｉｎ６
ｇａｉｎ６：調整用ゲイン
により、第４色成分の画素値Ｄ４ｏｕｔを取得する。

【0152】

このように、補間部３は、注目画素の上下の列の画素を用いて算出したラプラシアン成分に基づいて、画素Ｐ１２、Ｐ３２の第４色成分値ｒ０、ｒ１を取得（推定）し、取得した画素Ｐ１２、Ｐ３２の第４色成分値ｒ０、ｒ１の平均値と、相関方向（水平方向）と直交する方向（垂直方向）の高周波成分とに基づいて、第４色成分の画素値Ｄ４ｏｕｔを取得（推定）する。すなわち、補間部３は、画素Ｐ１２、Ｐ３２の第４色成分値ｒ０、ｒ１の平均値から、相関方向（水平方向）と直交する方向（垂直方向）における画素信号の変化率を示す（ｄ０＋ｄ１）×ｇａｉｎ６を減算することで、精度の高い第４色成分の画素値Ｄ４ｏｕｔを取得（推定）する。

【0153】

なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

【0154】

（１．２．３．２：垂直方向画素補間（相関方向：垂直方向））
相関方向決定部２により注目画素についての相関方向が「垂直方向」であると判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素の第１色成分の画素値をＤ１ｏｕｔとし、第２色成分の画素値をＤ２ｏｕｔとし、第３色成分の画素値をＤ３ｏｕｔとし、第４色成分の画素値をＤ４ｏｕｔとする。

【0155】

以下では、注目画素が第１色成分画素である場合について、説明する。

【0156】

図１３〜図１６は、注目画素が第１色成分画素であり、相関方向が垂直方向である場合における画素補間処理について説明するための図である。

【0157】

注目画素が第１色成分画素である場合、補間部３は、以下の処理により、第１色成分の画素値Ｄ１ｏｕｔ、第２色成分の画素値をＤ２ｏｕｔ、第３色成分の画素値Ｄ３ｏｕｔ、および、第４色成分の画素値Ｄ４ｏｕｔを取得する。

【0158】

≪Ｄ１ｏｕｔ≫
補間部３は、注目画素の画素値Ｐ２２を、第１色成分の画素値Ｄ１ｏｕｔとする。すなわち、補間部３は、
Ｄ１ｏｕｔ＝Ｐ２２
とする。

【0159】

≪Ｄ３ｏｕｔ≫
第３色成分の画素値Ｄ３ｏｕｔを取得するために、補間部３は、以下の処理を行う。第２色成分の画素値Ｄ２ｏｕｔの取得処理（算出処理）を、図１３を用いて、説明する。

【0160】

図１３は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

【0161】

補間部３は、注目画素Ｐ２２（第１色成分画素）を中心とする水平方向の５つの画素Ｐ０２〜Ｐ４２を用いて、以下の数式に相当する処理により、第３色成分の画素値Ｄ３ｏｕｔを取得する。

【0162】

ｔ０＝（Ｐ１２＋Ｐ３２）／２
ｔ１＝（Ｐ０２−２×Ｐ２２＋Ｐ４２）×ｇａｉｎ１０
Ｄ３ｏｕｔ＝ｔ０−ｔ１
ｇａｉｎ１０：調整用ゲイン
なお、ｇａｉｎ１０を「１／４」とすると、ｔ１は、ラプラシアン成分となるが、補間部３において、ｇａｉｎ１０の値を調整し、ラプラシアン成分を調整することで、Ｄ３ｏｕｔの高周波成分量を調整することができる。例えば、撮像部Ｃ１の光学特性（例えば、撮像部Ｃ１に設けられる光学フィルタ等の特性）等に応じて、ｇａｉｎ１０を調整することで（ラプラシアン成分を調整することで）、より品質の良い画素補間処理を行うことができる。

【0163】

≪Ｄ２ｏｕｔ≫
第２色成分の画素値Ｄ２ｏｕｔを取得するために、補間部３は、以下の処理を行う。第２色成分の画素値Ｄ２ｏｕｔの取得処理（算出処理）を、図１４、図１５を用いて、説明する。

【0164】

図１４、図１５は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

【0165】

補間部３は、図１４に示す領域ＡＲ＿ｑ０に含まれるＰ１０〜Ｐ１４を用いて、以下の数式に相当する処理により、Ｐ１２の第４色成分値ｑ０を取得する。

【0166】

ｑ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ１１
なお、（Ｐ１０−２×Ｐ１２＋Ｐ１４）は、ラプラシアン成分であり、ｇａｉｎ１１は、ラプラシアン成分調整用のゲインである。

【0167】

また、補間部３は、図１４に示す領域ＡＲ＿ｑ１に含まれるＰ３０〜Ｐ３４を用いて、以下の数式に相当する処理により、Ｐ３２の第４色成分値ｑ１を取得する。

【0168】

ｑ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ１２
なお、（Ｐ３０−２×Ｐ３２＋Ｐ３４）は、ラプラシアン成分であり、ｇａｉｎ１２は、ラプラシアン成分調整用のゲインである。

【0169】

次に、補間部３は、図１５に示すように、画素Ｐ１１と画素Ｐ１２との間の第４色成分値の差を推定した値ｄ０ａを、
ｄ０ａ＝Ｐ１１―ｑ０
ｑ０：Ｐ１２の第４色成分値
として取得する。

【0170】

また、補間部３は、画素Ｐ３１と画素Ｐ３２との間の第４色成分値の差を推定した値ｄ０ｂを、
ｄ０ｂ＝Ｐ３１―ｑ１
ｑ１：Ｐ３２の第４色成分値
として取得する。

【0171】

そして、補間部３は、画素Ｐ２１と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０を、
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
として取得する。

【0172】

一般に、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）と考えられる。

【0173】

相関方向が垂直方向である場合、水平方向における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い。

【0174】

つまり、水平方向の変化（高周波成分に相当）を示す、（１）画素Ｐ１１、Ｐ１２間の第４色成分値の差の推定値ｄ０ａと、（２）画素Ｐ３１、Ｐ３２間の第４色成分値の差の推定値ｄ０ｂと、（３）画素Ｐ２１、Ｐ２２間の第４色成分値の差の推定値ｄ０と、は、相関が高いと判断できる。

【0175】

したがって、上記のように、
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
により、値ｄ０ａ、ｄ０ｂの平均値を取得することで、画素Ｐ２１、Ｐ２２間の第４色成分値の差の推定値ｄ０を適切に推定することができる。

【0176】

また、補間部３は、図１５に示すように、画素Ｐ１３と画素Ｐ１２との間の第４色成分値の差を推定した値ｄ１ａを、
ｄ１ａ＝Ｐ１３―ｑ０
ｑ０：Ｐ１２の第４色成分値
として取得する。

【0177】

また、補間部３は、画素Ｐ３３と画素Ｐ３２との間の第４色成分値の差を推定した値ｄ１ｂを、
ｄ１ｂ＝Ｐ３３―ｑ１
ｑ１：Ｐ３２の第４色成分値
として取得する。

【0178】

そして、補間部３は、画素Ｐ２３と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１を、
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
として取得する。

【0179】

相関方向が垂直方向である場合、水平方向における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い。

【0180】

つまり、水平方向の変化（高周波成分に相当）を示す、（１）画素Ｐ１３、Ｐ１２間の第４色成分値の差の推定値ｄ１ａと、（２）画素Ｐ３３、Ｐ３２間の第４色成分値の差の推定値ｄ１ｂと、（３）画素Ｐ２３、Ｐ２２間の第４色成分値の差の推定値ｄ１と、は、相関が高いと判断できる。

【0181】

したがって、上記のように、
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
により、値ｄ１ａ、ｄ１ｂの平均値を取得することで、画素Ｐ２３、Ｐ２２間の第４色成分値の差の推定値ｄ０を適切に推定することができる。

【0182】

そして、補間部３は、上記処理により取得された、（１）画素Ｐ２１と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０と、（２）画素Ｐ２３と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１とを用いて、
Ｄ２ｏｕｔ＝（Ｐ２１＋Ｐ２３）／２−（ｄ０＋ｄ１）×ｇａｉｎ１３
ｇａｉｎ１３：調整用ゲイン
により、第２色成分の画素値Ｄ２ｏｕｔを取得する。

【0183】

つまり、補間部３は、第２色成分用画素であるＰ２１、Ｐ２３の画素値の平均値と、相関方向（垂直方向）と直交する方向（水平方向）の高周波成分とに基づいて、第２色成分の画素値Ｄ２ｏｕｔを取得（推定）する。すなわち、補間部３は、第２色成分用画素であるＰ２１、Ｐ２３の画素値の平均値から、相関方向（垂直方向）と直交する方向（水平方向）における画素信号の変化率を示す（ｄ０＋ｄ１）×ｇａｉｎ１３を減算することで、精度の高い第２色成分の画素値Ｄ２ｏｕｔを取得（推定）する。

【0184】

≪Ｄ４ｏｕｔ≫
第４色成分の画素値Ｄ４ｏｕｔを取得するために、補間部３は、以下の処理を行う。第４色成分の画素値Ｄ４ｏｕｔの取得処理（算出処理）を、図１６を用いて、説明する。

【0185】

図１６は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

【0186】

補間部３は、図１６に示す領域ＡＲ＿ｒ０に含まれるＰ０１〜Ｐ４１を用いて、以下の数式に相当する処理により、Ｐ２１の第４色成分値ｒ０を取得する。

【0187】

ｒ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１４
なお、（Ｐ０１−２×Ｐ２１＋Ｐ４１）は、ラプラシアン成分であり、ｇａｉｎ１４は、ラプラシアン成分調整用のゲインである。

【0188】

また、補間部３は、図１６に示す領域ＡＲ＿ｒ１に含まれるＰ０３〜Ｐ４３を用いて、以下の数式に相当する処理により、Ｐ２３の第４色成分値ｒ１を取得する。

【0189】

ｒ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ１５
なお、（Ｐ０３−２×Ｐ２３＋Ｐ４３）は、ラプラシアン成分であり、ｇａｉｎ１５は、ラプラシアン成分調整用のゲインである。

【0190】

そして、補間部３は、（１）Ｐ２１の第４色成分値ｒ０と、（２）Ｐ２３の第４色成分値ｒ１、および、第２色成分の画素値Ｄ２ｏｕｔの算出処理で説明した、（３）画素Ｐ２１と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０と、（４）画素Ｐ２３と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１を用いて、
Ｄ４ｏｕｔ＝（ｒ０＋ｒ１）／２−（ｄ０＋ｄ１）×ｇａｉｎ１６
ｇａｉｎ１６：調整用ゲイン
により、第４色成分の画素値Ｄ４ｏｕｔを取得する。

【0191】

このように、補間部３は、注目画素の左右の列の画素を用いて算出したラプラシアン成分に基づいて、画素Ｐ２１、Ｐ２３の第４色成分値ｒ０、ｒ１を取得（推定）し、取得した画素Ｐ２１、Ｐ２３の第４色成分値ｒ０、ｒ１の平均値と、相関方向（垂直方向）と直交する方向（水平方向）の高周波成分とに基づいて、第４色成分の画素値Ｄ４ｏｕｔを取得（推定）する。すなわち、補間部３は、画素Ｐ２１、Ｐ２３の第４色成分値ｒ０、ｒ１の平均値から、相関方向（垂直方向）と直交する方向（水平方向）における画素信号の変化率を示す（ｄ０＋ｄ１）×ｇａｉｎ１６を減算することで、精度の高い第４色成分の画素値Ｄ４ｏｕｔを取得（推定）する。

【0192】

なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

【0193】

（１．２．３．３：第１斜め方向画素補間（相関方向：第１斜め方向））
相関方向決定部２により、相関方向が「第１斜め方向」であると判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

【0194】

以下では、注目画素が第１色成分画素である場合について、説明する。

【0195】

図１７〜図１９は、注目画素が第１色成分画素であり、相関方向が第１斜め方向である場合における画素補間処理について説明するための図である。

【0196】

注目画素が第１色成分画素である場合、補間部３は、以下の処理により、第１色成分の画素値Ｄ１ｏｕｔ、第２色成分の画素値をＤ２ｏｕｔ、第３色成分の画素値Ｄ３ｏｕｔ、および、第４色成分の画素値Ｄ４ｏｕｔを取得する。

【0197】

≪Ｄ１ｏｕｔ≫
補間部３は、注目画素の画素値Ｐ２２を、第１色成分の画素値Ｄ１ｏｕｔとする。すなわち、補間部３は、
Ｄ１ｏｕｔ＝Ｐ２２
とする。

【0198】

≪Ｄ４ｏｕｔ≫
第４色成分の画素値Ｄ４ｏｕｔを取得するために、補間部３は、以下の処理を行う。第４色成分の画素値Ｄ４ｏｕｔの取得処理（算出処理）を、図１７を用いて、説明する。

【0199】

図１７は、中心画素（注目画素）が第１色成分画素である場合の５画素×５画素のマトリクス領域を示す図である。

【0200】

補間部３は、Ｐ００、Ｐ１１、Ｐ２２、Ｐ３３、Ｐ４４の５つの画素を用いて、以下の処理により、Ｐ２２の第４色成分値Ｄ４ｏｕｔを取得する。

【0201】

Ｄ４ｏｕｔ＝（Ｐ１１＋Ｐ３３）／２−（Ｐ００−２×Ｐ２２＋Ｐ４４）×ｇａｉｎ４０
なお、（Ｐ００−２×Ｐ２２＋Ｐ４４）は、ラプラシアン成分であり、ｇａｉｎ４０は、ラプラシアン成分調整用のゲインである。

【0202】

≪Ｄ３ｏｕｔ≫
補間部３は、以下の処理により、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。

【0203】

補間部３は、図１８に示すように、Ｐ１３の第１色成分値ｓ０と、Ｐ２２の第１色成分値ｓと、Ｐ３１の第１色成分値ｓ１とを、以下の数式に相当する処理により算出する。

【0204】

ｓ０＝（Ｐ０２＋Ｐ２４）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２０＋Ｐ４２）／２
また、補間部３は、図１８に示すように、Ｐ１３とＰ２２との中点の第３色成分値ｑ０と、Ｐ２２とＰ３１との中点の第３色成分値ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

【0205】

ｑ０＝（３×Ｐ１２＋Ｐ３４）／４
ｑ１＝（Ｐ１０＋３×Ｐ３２）／４
そして、補間部３は、以下の数式に相当する処理により、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。

【0206】

Ｄ３ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４１は、ラプラシアン成分調整用のゲインである。

【0207】

このように、補間部３は、第１斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記では第１色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記では第３色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。これにより、補間部３では、第１斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２の第３色成分値Ｄ３ｏｕｔ）を取得することができる。

【0208】

≪Ｄ２ｏｕｔ≫
補間部３は、図１９に示すように、Ｐ１３の第１色成分値ｓ０と、Ｐ２２の第１色成分値ｓと、Ｐ３１の第１色成分値ｓ１とを、以下の数式に相当する処理により算出する。

【0209】

ｓ０＝（Ｐ０２＋Ｐ２４）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２０＋Ｐ４２）／２
また、補間部３は、図１９に示すように、Ｐ１３とＰ２２との中点の第２色成分値ｑ０と、Ｐ２２とＰ３１との中点の第２色成分値ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

【0210】

ｑ０＝（Ｐ０１＋３×Ｐ２３）／４
ｑ１＝（３×Ｐ２１＋Ｐ４３）／４
そして、補間部３は、以下の数式に相当する処理により、Ｐ２２の第２色成分値Ｄ２ｏｕｔを取得する。

【0211】

Ｄ２ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４２
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４２は、ラプラシアン成分調整用のゲインである。

【0212】

このように、補間部３は、第１斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記では第１色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記では第２色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２の第２色成分値Ｄ２ｏｕｔを取得する。これにより、補間部３では、第１斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２の第２色成分値Ｄ２ｏｕｔ）を取得することができる。

【0213】

なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

【0214】

（１．２．３．４：第２斜め方向画素補間（相関方向：第２斜め方向））
相関方向決定部２により、注目画素についての相関方向が「第２斜め方向」であると判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

【0215】

以下では、注目画素が第１色成分画素である場合について、説明する。

【0216】

図２０〜図２２は、注目画素が第１色成分画素であり、相関方向が第１斜め方向である場合における画素補間処理について説明するための図である。

【0217】

注目画素が第１色成分画素である場合、補間部３は、以下の処理により、第１色成分の画素値Ｄ１ｏｕｔ、第２色成分の画素値をＤ２ｏｕｔ、第３色成分の画素値Ｄ３ｏｕｔ、および、第４色成分の画素値Ｄ４ｏｕｔを取得する。

【0218】

≪Ｙｅｏｕｔ≫
補間部３は、注目画素の画素値Ｐ２２を、第１色成分の画素値Ｄ１ｏｕｔとする。

【0219】

つまり、補間部３は、
Ｄ１ｏｕｔ＝Ｐ２２
とする。

【0220】

≪Ｄ４ｏｕｔ≫
第４色成分の画素値Ｄ４ｏｕｔを取得するために、補間部３は、以下の処理を行う。第４色成分の画素値Ｄ４ｏｕｔの取得処理（算出処理）を、図２０を用いて、説明する。

【0221】

図２０は、中心画素（注目画素）が第１色成分画素である場合の５画素×５画素のマトリクス領域を示す図である。

【0222】

補間部３は、Ｐ０４、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ４０の５つの画素を用いて、以下の処理により、Ｐ２２の第４色成分値Ｄ４ｏｕｔを取得する。

【0223】

Ｄ４ｏｕｔ＝（Ｐ１３＋Ｐ３１）／２−（Ｐ０４−２×Ｐ２２＋Ｐ４０）×ｇａｉｎ５０
なお、（Ｐ０４−２×Ｐ２２＋Ｐ４０）は、ラプラシアン成分であり、ｇａｉｎ５０は、ラプラシアン成分調整用のゲインである。

【0224】

≪Ｄ３ｏｕｔ≫
補間部３は、以下の処理により、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。

【0225】

補間部３は、図２１に示すように、Ｐ１１の第１色成分値ｓ０と、Ｐ２２の第１色成分値ｓと、Ｐ３３の第１色成分値ｓ１とを、以下の数式に相当する処理により算出する。

【0226】

ｓ０＝（Ｐ０２＋Ｐ２０）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２４＋Ｐ４２）／２
また、補間部３は、図２１に示すように、Ｐ１１とＰ２２との中点の第３色成分値ｑ０と、Ｐ２２とＰ３３との中点の第３色成分値ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

【0227】

ｑ０＝（３×Ｐ１２＋Ｐ３０）／４
ｑ１＝（Ｐ１４＋３×Ｐ３２）／４
そして、補間部３は、以下の数式に相当する処理により、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。

【0228】

Ｄ３ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５１は、ラプラシアン成分調整用のゲインである。

【0229】

このように、補間部３は、第２斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記では第１色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記では第３色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。これにより、補間部３では、第２斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２の第３色成分値Ｄ３ｏｕｔ）を取得することができる。

【0230】

≪Ｄ２ｏｕｔ≫
補間部３は、図２２に示すように、Ｐ１１の第１色成分値ｓ０と、Ｐ２２の第１色成分値ｓと、Ｐ３３の第１色成分値ｓ１とを、以下の数式に相当する処理により算出する。

【0231】

ｓ０＝（Ｐ０２＋Ｐ２０）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２４＋Ｐ４２）／２
また、補間部３は、図３４に示すように、Ｐ１１とＰ２２との中点の第２色成分値ｑ０と、Ｐ２２とＰ３３との中点の第２色成分値ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

【0232】

ｑ０＝（Ｐ０３＋３×Ｐ２１）／４
ｑ１＝（３×Ｐ２３＋Ｐ４１）／４
そして、補間部３は、以下の数式に相当する処理により、Ｐ２２の第２色成分値Ｄ２ｏｕｔを取得する。

【0233】

Ｄ２ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５２
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５２は、ラプラシアン成分調整用のゲインである。

【0234】

このように、補間部３は、第２斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記では第１色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記では第２色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２の第２色成分値Ｄ２ｏｕｔを取得する。これにより、補間部３では、第２斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２の第２色成分値Ｄ２ｏｕｔ）を取得することができる。

【0235】

なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

【0236】

≪メディアン補間（カラー画像領域用）≫
相関方向決定部２により注目画素について「いずれの方向にも相関がない」と判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素の第１色成分の画素値をＤ１ｏｕｔとし、第２色成分の画素値をＤ２ｏｕｔとし、第３色成分の画素値をＤ３ｏｕｔとし、第４色成分の画素値をＤ４ｏｕｔとする。

【0237】

以下では、注目画素が第１色成分画素である場合について、説明する。

【0238】

注目画素（中心画素）が第１色成分画素である場合、補間部３は、以下の数式に相当する処理により、Ｄ１ｏｕｔ、Ｄ２ｏｕｔ、Ｄ３ｏｕｔ、Ｄ４ｏｕｔを取得する。

【0239】

Ｄ１ｏｕｔ＝Ｐ２２
Ｄ２ｏｕｔ＝ｍｅｄｉｕｍ（Ｐ２１，Ｐ２３，（Ｐ０１＋Ｐ０３＋Ｐ２１＋Ｐ２３）／４，（Ｐ２１＋Ｐ２３＋Ｐ４１＋Ｐ４３）／４）
Ｄ３ｏｕｔ＝ｍｅｄｉｕｍ（Ｐ１２，Ｐ３２，（Ｐ１０＋Ｐ３０＋Ｐ１２＋Ｐ３２）／４，（Ｐ１２＋Ｐ３２＋Ｐ１４＋Ｐ３４）／４）
Ｄ４ｏｕｔ＝ｍｅｄｉｕｍ（Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３）
なお、ｍｅｄｉｕｍ（）は、メディアン値を取得する関数である。ｍｅｄｉｕｍ（）は、要素数が偶数の場合、中央の２つの値の平均値をとるものとする。

【0240】

また、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで、メディアン補間処理を実行することができる。

【0241】

≪平均値補間（カラー画像領域用）≫
相関方向決定部２により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

【0242】

注目画素（中心画素）が第１色成分画素である場合、補間部３は、以下の数式に相当する処理により、Ｄ１ｏｕｔ、Ｄ２ｏｕｔ、Ｄ３ｏｕｔ、Ｄ４ｏｕｔを取得する。

【0243】

Ｄ１ｏｕｔ＝Ｐ２２
Ｄ２ｏｕｔ＝（Ｐ２１＋Ｐ２３）／２
Ｄ３ｏｕｔ＝（Ｐ１２＋Ｐ３２）／２
Ｄ４ｏｕｔ＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３）／４
なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで、カラー画像領域用の平均値補間処理を実行することができる。

【0244】

以上の処理により、補間部３では、画素ごとに、Ｄ１ｏｕｔ、Ｄ２ｏｕｔ、Ｄ３ｏｕｔ、Ｄ４ｏｕｔが取得される。そして、取得されたＤ１ｏｕｔ、Ｄ２ｏｕｔ、Ｄ３ｏｕｔ、Ｄ４ｏｕｔにより形成される画像（画素ごとに４つの色成分値（第１色成分値、第２色成分値、第３色成分値、第４色成分値）を持つ画像信号）が、補間部３から出力される。

【0245】

以上のように、撮像装置１０００では、画素補間処理部１００により、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切な画素補間処理が実行される。

【0246】

つまり、撮像装置１０００の画素補間処理部１００では、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）ことを利用し、注目画素について、第１色〜第４色成分画素値を取得するので、カラーフィルタの４つの色（第１色〜第４色）がどのような色であるかが不明であっても、適切に画素補間処理を実行することができる。また、撮像装置１０００の画素補間処理部１００では、カラーフィルタの配列パターンから、同一色の画素を用いて、ラプラシアン成分を取得し、取得したラプラシアン成分を用いて、所定の位置の画素の特定の色成分値を推定するので、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に、所定の位置の画素の特定の色成分値を推定（取得）することができる。

【0247】

つまり、撮像装置１０００の画素補間処理部１００では、このようにラプラシアン成分に基づいて、取得した所定の位置の画素の特定の色成分値を用い、さらに、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分がカラーフィルタの色に関係なく、相関が高い（類似する）ことを利用して、画素補間処理を実行するので、従来技術に比べて、格段に精度の良い画素補間処理を実現することができる。

【0248】

そして、撮像装置１０００の画素補間処理部１００では、色フィルタ配列のパターンについての情報（カラーフィルタを構成する色の情報）が不要であるので、従来技術のように、注目画素の色により場合分けして、画素補間処理を行う必要がない。したがって、撮像装置１０００の画素補間処理部１００では、少ない演算量で、高精度な画素補間処理を実現することができる。

【0249】

（１．２．４：３色画素信号取得部４での処理）
３色画素信号取得部４では、補間部３出力される画像信号Ｄｏｕｔ（１画素につき４つの色成分画素信号からなる画像信号Ｄｏｕｔ）から、１画素につき３つの色成分画素信号からなる画像信号Ｄｃ＿ｏｕｔが取得される。

【0250】

３色画素信号取得部４での処理について、図２３〜図３２を用いて説明する。

【0251】

（１．２．４．１：中心画素と斜め方向の隣接画素とが同じ色の色成分用画素である場合）
まず、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素である場合における３色画素信号取得部４での処理について、図２３、図２４を用いて、説明する。

【0252】

≪パターンＡ−１（中心画素：第１色成分画素）≫
図２３は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素である場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図２３は、中心画素を画素Ｐ２２とする５画素×５画素の領域（図２の領域ＡＲ１）を示している。なお、図２３の右図は、図示した画素の種別を示した図である。

【0253】

図２３に示すように、中心画素Ｐ２２が第１色成分画素であり、中心画素Ｐ２２の斜め方向に隣接する画素Ｐ１１、Ｐ１３、Ｐ３１、Ｐ３３の４つの画素が第４色成分画素である場合であって、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ２２の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２２）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ２２）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ２２）を、
Ｄｃ＿ｃｏｌｏｒ１（Ｐ２２）＝Ｄ１ｏｕｔ（Ｐ２２）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ２２）＝Ｄ２ｏｕｔ（Ｐ２２）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ２２）＝Ｄ３ｏｕｔ（Ｐ２２）
Ｄ１ｏｕｔ（Ｐ２２）：画素Ｐ２２の第１色成分の画素値
Ｄ２ｏｕｔ（Ｐ２２）：画素Ｐ２２の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ２２）：画素Ｐ２２の第３色成分の画素値
により取得する。そして、色画素信号取得部４は、注目画素Ｐ２２の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２２）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ２２）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ２２）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔを出力する。

【0254】

上記の場合、注目画素Ｐ２２が第１色成分画素であるので、注目画素Ｐ２２の画素値を用いて取得したＤ１ｏｕｔ（Ｐ２２）の方が、画素Ｐ１１、Ｐ１３、Ｐ３１およびＰ３３を用いて補間処理により取得した画素Ｐ２２の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ２２）よりも精度が高いと判断することができる。

【0255】

したがって、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２２）を、精度の高いＤ１ｏｕｔ（Ｐ２２）とする。これにより、色画素信号取得部４において、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0256】

≪パターンＡ−２（中心画素：第４色成分画素）≫
図２４は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素である場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図２４は、中心画素を画素Ｐ７７とする５画素×５画素の領域（図２の領域ＡＲ４）を示している。なお、図２４の右図は、図示した画素の種別を示した図である。

【0257】

図２４に示すように、中心画素Ｐ７７が第４色成分画素であり、中心画素Ｐ７７の斜め方向に隣接する画素Ｐ６６、Ｐ６８、Ｐ８６、Ｐ８８の４つの画素が第１色成分画素である場合であって、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ７７の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７７）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ７７）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ７７）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ７７）＝Ｄ４ｏｕｔ（Ｐ７７）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ７７）＝Ｄ２ｏｕｔ（Ｐ７７）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ７７）＝Ｄ３ｏｕｔ（Ｐ７７）
Ｄ４ｏｕｔ（Ｐ７７）：画素Ｐ７７の第４色成分の画素値
Ｄ２ｏｕｔ（Ｐ７７）：画素Ｐ７７の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ７７）：画素Ｐ７７の第３色成分の画素値
により取得する。そして、色画素信号取得部４は、注目画素Ｐ２２の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７７）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ７７）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ７７）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔを出力する。

【0258】

上記の場合、注目画素Ｐ７７が第４色成分画素であるので、注目画素Ｐ７７の画素値を用いて取得したＤ４ｏｕｔ（Ｐ７７）の方が、画素Ｐ６６、Ｐ６８、Ｐ８６およびＰ８８を用いて補間処理により取得した画素Ｐ７７の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ７７）よりも精度が高いと判断することができる。

【0259】

したがって、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７７）を、精度の高いＤ４ｏｕｔ（Ｐ７７）とする。

【0260】

以上のように、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素である場合、色画素信号取得部４は、中心画素を用いて取得した画素値の方が、中心画素と斜め方向に隣接する画素を用いて補間処理により取得した画素値よりも精度が高いので、中心画素を用いて取得した画素値を採用して、中心画素の画像信号Ｄｃ＿ｏｕｔを取得する。これにより、色画素信号取得部４において、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0261】

（１．２．４．２：中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合）
次に、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について、図２５〜図３２を用いて、説明する。

【0262】

≪パターンＢ−１（中心画素：第２色成分画素、相関方向：水平方向）≫
図２５は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図２５は、中心画素を画素Ｐ２７とする５画素×５画素の領域（図２の領域ＡＲ２）を示している。なお、図２５の右図は、図示した画素の種別を示した図である。

【0263】

図２５に示すように、中心画素Ｐ２７が第２色成分画素であり、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色であり、（１）中心画素Ｐ２７の斜め方向に隣接する画素Ｐ１６、Ｐ１８、Ｐ３６、Ｐ３８の４つの画素が第３色成分画素である場合であり、かつ、（２）相関方向が水平方向である場合（相関方向決定部２から３色画素信号取得部４に入力された相関方向に関する情報Ｃｏ＿Ｄｉｒにより、相関方向が水平方向であると判定された場合）、
色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ２７の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）＝Ｄ１ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）＝Ｄ２ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）＝Ｄ３ｏｕｔ（Ｐ２７）
Ｄ１ｏｕｔ（Ｐ２７）：画素Ｐ２７の第１色成分の画素値
Ｄ２ｏｕｔ（Ｐ２７）：画素Ｐ２７の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ２７）：画素Ｐ２７の第３色成分の画素値
により取得する。そして、色画素信号取得部４は、注目画素Ｐ２７の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔを出力する。

【0264】

上記の場合、相関方向が水平方向であるので、相関方向である水平方向において、注目画素Ｐ２７と隣接する画素Ｐ２６、Ｐ２８を用いて補間して取得した画素Ｐ２７の第１色成分値Ｄ１ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７と垂直方向に隣接する画素Ｐ１７、３７を用いて補間して取得した画素Ｐ２７の第４色成分値Ｄ４ｏｕｔ（Ｐ２７）よりも精度が高いと判断することができる。

【0265】

したがって、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）を、精度の高いＤ１ｏｕｔ（Ｐ２７）とする。これにより、色画素信号取得部４において、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0266】

≪パターンＢ−２（中心画素：第２色成分画素、相関方向：垂直方向）≫
図２６は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図２６は、中心画素を画素Ｐ２７とする５画素×５画素の領域（図２の領域ＡＲ２）を示している。なお、図２６の右図は、図示した画素の種別を示した図である。

【0267】

図２６に示すように、中心画素Ｐ２７が第２色成分画素であり、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色であり、（１）中心画素Ｐ２７の斜め方向に隣接する画素Ｐ１６、Ｐ１８、Ｐ３６、Ｐ３８の４つの画素が第３色成分画素である場合であり、かつ、（２）相関方向が垂直方向である場合（相関方向決定部２から３色画素信号取得部４に入力された相関方向に関する情報Ｃｏ＿Ｄｉｒにより、相関方向が垂直方向であると判定された場合）、
色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ２７の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）＝Ｄ４ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）＝Ｄ２ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）＝Ｄ３ｏｕｔ（Ｐ２７）
Ｄ４ｏｕｔ（Ｐ２７）：画素Ｐ２７の第４色成分の画素値
Ｄ２ｏｕｔ（Ｐ２７）：画素Ｐ２７の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ２７）：画素Ｐ２７の第３色成分の画素値
により取得する。そして、色画素信号取得部４は、注目画素Ｐ２７の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔを出力する。

【0268】

上記の場合、相関方向が垂直方向であるので、相関方向である垂直方向において、注目画素Ｐ２７と隣接する画素Ｐ１７、Ｐ３７を用いて補間して取得した画素Ｐ２７の第４色成分値Ｄ１ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７と水平方向に隣接する画素Ｐ２６、２８を用いて補間して取得した画素Ｐ２７の第１色成分値Ｄ１ｏｕｔ（Ｐ２７）よりも精度が高いと判断することができる。

【0269】

したがって、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）を、精度の高いＤ４ｏｕｔ（Ｐ２７）とする。これにより、色画素信号取得部４において、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0270】

≪パターンＢ−３（中心画素：第２色成分画素、相関方向：第１斜め方向）≫
図２７は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図２７は、中心画素を画素Ｐ２７とする５画素×５画素の領域（図２の領域ＡＲ２）を示している。なお、図２７の右図は、図示した画素の種別を示した図である。

【0271】

図２７に示すように、中心画素Ｐ２７が第２色成分画素であり、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色であり、（１）中心画素Ｐ２７の斜め方向に隣接する画素Ｐ１６、Ｐ１８、Ｐ３６、Ｐ３８の４つの画素が第３色成分画素である場合であり、かつ、（２）相関方向が第１斜め方向である場合（相関方向決定部２から３色画素信号取得部４に入力された相関方向に関する情報Ｃｏ＿Ｄｉｒにより、相関方向が第１斜め方向であると判定された場合）、色画素信号取得部４は、以下の（１）〜（３Ｂ）処理により、注目画素（処理対象画素）である中心画素Ｐ２７の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）を取得する。
（１）色画素信号取得部４は、注目画素Ｐ２７の上方向に隣接する画素Ｐ１７と、左方向に隣接する画素Ｐ２６の平均値Ａｖｅ０と、注目画素Ｐ２７の右方向に隣接する画素Ｐ２８と、下方向に隣接する画素Ｐ３７の平均値Ａｖｅ１と、を、
Ａｖｅ０＝（Ｐ１７＋Ｐ２６）／２
Ａｖｅ１＝（Ｐ２８＋Ｐ３７）／２
により算出する。平均値Ａｖｅ０は、画素Ｐ１７、Ｐ２６の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値とみなすことができる。また、平均値Ａｖｅ１は、画素Ｐ２８、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値とみなすことができる。
（２）次に、色画素信号取得部４は、Ａｖｅ０およびＡｖｅ１を用いて、以下の処理により評価値Ｅｖ０、Ｅｖ１を算出する。

【0272】

Ｅｖ０＝ａｂｓ（Ａｖｅ０−Ｄ４ｏｕｔ（Ｐ２７））＋ａｂｓ（Ａｖｅ１−Ｄ４ｏｕｔ（Ｐ２７））
Ｅｖ１＝ａｂｓ（Ａｖｅ０−Ｄ１ｏｕｔ（Ｐ２７））＋ａｂｓ（Ａｖｅ１−Ｄ１ｏｕｔ（Ｐ２７））
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
Ｄ１ｏｕｔ（Ｐ２７）：画素Ｐ２７の第１色成分の画素値
Ｄ４ｏｕｔ（Ｐ２７）：画素Ｐ２７の第４色成分の画素値
（３Ａ）Ｅｖ０＜Ｅｖ１である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ２７の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）＝Ｄ４ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）＝Ｄ２ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）＝Ｄ３ｏｕｔ（Ｐ２７）
Ｄ４ｏｕｔ（Ｐ２７）：画素Ｐ２７の第４色成分の画素値
Ｄ２ｏｕｔ（Ｐ２７）：画素Ｐ２７の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ２７）：画素Ｐ２７の第３色成分の画素値
により取得する。

【0273】

つまり、Ｅｖ０＜Ｅｖ１である場合、注目画素Ｐ２７の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ２７）よりも、画素Ｐ１７、Ｐ２６の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ０、あるいは、画素Ｐ２８、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ１に近い値であると考えられる。

【0274】

つまり、Ｅｖ０＜Ｅｖ１である場合、注目画素Ｐ２７の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ２７）よりも、相関方向である第１斜め方向に存在する、画素Ｐ１７、Ｐ２６の中点の第１色成分値（第１色成分値と同色である第４色成分値）、および、画素Ｐ２８、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）に近い値であると考えられる。

【0275】

したがって、この場合、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）を、精度の高いＤ４ｏｕｔ（Ｐ２７）とすることで、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。
（３Ｂ）Ｅｖ０≧Ｅｖ１である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ２７の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）＝Ｄ１ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）＝Ｄ２ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）＝Ｄ３ｏｕｔ（Ｐ２７）
Ｄ１ｏｕｔ（Ｐ２７）：画素Ｐ２７の第１色成分の画素値
Ｄ２ｏｕｔ（Ｐ２７）：画素Ｐ２７の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ２７）：画素Ｐ２７の第３色成分の画素値
により取得する。

【0276】

つまり、Ｅｖ０≧Ｅｖ１である場合、注目画素Ｐ２７の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ２７）よりも、画素Ｐ１７、Ｐ２６の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ０、あるいは、画素Ｐ２８、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ１に近い値であると考えられる。

【0277】

つまり、Ｅｖ０≧Ｅｖ１である場合、注目画素Ｐ２７の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ２７）よりも、相関方向である第１斜め方向に存在する、画素Ｐ１７、Ｐ２６の中点の第１色成分値（第１色成分値と同色である第４色成分値）、および、画素Ｐ２８、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）に近い値であると考えられる。

【0278】

したがって、この場合、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）を、精度の高いＤ１ｏｕｔ（Ｐ２７）とすることで、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0279】

以上のように、色画素信号取得部４により取得された、注目画素Ｐ２７の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔは、色画素信号取得部４から出力される。

【0280】

≪パターンＢ−４（中心画素：第２色成分画素、相関方向：第２斜め方向）≫
図２８は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図２８は、中心画素を画素Ｐ２７とする５画素×５画素の領域（図２の領域ＡＲ２）を示している。なお、図２８の右図は、図示した画素の種別を示した図である。

【0281】

図２８に示すように、中心画素Ｐ２７が第２色成分画素であり、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色であり、（１）中心画素Ｐ２７の斜め方向に隣接する画素Ｐ１６、Ｐ１８、Ｐ３６、Ｐ３８の４つの画素が第３色成分画素である場合であり、かつ、（２）相関方向が第２斜め方向である場合（相関方向決定部２から３色画素信号取得部４に入力された相関方向に関する情報Ｃｏ＿Ｄｉｒにより、相関方向が第２斜め方向であると判定された場合）、色画素信号取得部４は、以下の（１）〜（３Ｂ）処理により、注目画素（処理対象画素）である中心画素Ｐ２７の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）を取得する。
（１）色画素信号取得部４は、注目画素Ｐ２７の上方向に隣接する画素Ｐ１７と、右方向に隣接する画素Ｐ２８の平均値Ａｖｅ０と、注目画素Ｐ２７の左方向に隣接する画素Ｐ２６と、下方向に隣接する画素Ｐ３７の平均値Ａｖｅ１と、を、
Ａｖｅ０＝（Ｐ１７＋Ｐ２８）／２
Ａｖｅ１＝（Ｐ２６＋Ｐ３７）／２
により算出する。平均値Ａｖｅ０は、画素Ｐ１７、Ｐ２８の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値とみなすことができる。また、平均値Ａｖｅ１は、画素Ｐ２６、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値とみなすことができる。
（２）次に、色画素信号取得部４は、Ａｖｅ０およびＡｖｅ１を用いて、以下の処理により評価値Ｅｖ０、Ｅｖ１を算出する。

【0282】

Ｅｖ０＝ａｂｓ（Ａｖｅ０−Ｄ４ｏｕｔ（Ｐ２７））＋ａｂｓ（Ａｖｅ１−Ｄ４ｏｕｔ（Ｐ２７））
Ｅｖ１＝ａｂｓ（Ａｖｅ０−Ｄ１ｏｕｔ（Ｐ２７））＋ａｂｓ（Ａｖｅ１−Ｄ１ｏｕｔ（Ｐ２７））
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
Ｄ１ｏｕｔ（Ｐ２７）：画素Ｐ２７の第１色成分の画素値
Ｄ４ｏｕｔ（Ｐ２７）：画素Ｐ２７の第４色成分の画素値
（３Ａ）Ｅｖ０＜Ｅｖ１である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ２７の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）＝Ｄ４ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）＝Ｄ２ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）＝Ｄ３ｏｕｔ（Ｐ２７）
Ｄ４ｏｕｔ（Ｐ２７）：画素Ｐ２７の第４色成分の画素値
Ｄ２ｏｕｔ（Ｐ２７）：画素Ｐ２７の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ２７）：画素Ｐ２７の第３色成分の画素値
により取得する。

【0283】

つまり、Ｅｖ０＜Ｅｖ１である場合、注目画素Ｐ２７の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ２７）よりも、画素Ｐ１７、Ｐ２８の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ０、あるいは、画素Ｐ２６、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ１に近い値であると考えられる。

【0284】

つまり、Ｅｖ０＜Ｅｖ１である場合、注目画素Ｐ２７の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ２７）よりも、相関方向である第２斜め方向に存在する、画素Ｐ１７、Ｐ２８の中点の第１色成分値（第１色成分値と同色である第４色成分値）、および、画素Ｐ２６、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）に近い値であると考えられる。

【0285】

したがって、この場合、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）を、精度の高いＤ４ｏｕｔ（Ｐ２７）とすることで、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。
（３Ｂ）Ｅｖ０≧Ｅｖ１である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ２７の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）＝Ｄ１ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）＝Ｄ２ｏｕｔ（Ｐ２７）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）＝Ｄ３ｏｕｔ（Ｐ２７）
Ｄ１ｏｕｔ（Ｐ２７）：画素Ｐ２７の第１色成分の画素値
Ｄ２ｏｕｔ（Ｐ２７）：画素Ｐ２７の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ２７）：画素Ｐ２７の第３色成分の画素値
により取得する。

【0286】

つまり、Ｅｖ０≧Ｅｖ１である場合、注目画素Ｐ２７の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ２７）よりも、画素Ｐ１７、Ｐ２８の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ０、あるいは、画素Ｐ２６、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ１に近い値であると考えられる。

【0287】

つまり、Ｅｖ０≧Ｅｖ１である場合、注目画素Ｐ２７の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ２７）の方が、注目画素Ｐ２７の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ２７）よりも、相関方向である第２斜め方向に存在する、画素Ｐ１７、Ｐ２８の中点の第１色成分値（第１色成分値と同色である第４色成分値）、および、画素Ｐ２６、Ｐ３７の中点の第１色成分値（第１色成分値と同色である第４色成分値）に近い値であると考えられる。

【0288】

したがって、この場合、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）を、精度の高いＤ１ｏｕｔ（Ｐ２７）とすることで、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0289】

以上のように、色画素信号取得部４により取得された、注目画素Ｐ２７の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ２７）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ２７）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ２７）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔは、色画素信号取得部４から出力される。

【0290】

≪パターンＣ−１（中心画素：第３色成分画素、相関方向：水平方向）≫
図２９は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図２９は、中心画素を画素Ｐ７２とする５画素×５画素の領域（図２の領域ＡＲ３）を示している。なお、図２９の右図は、図示した画素の種別を示した図である。

【0291】

図２９に示すように、中心画素Ｐ７２が第３色成分画素であり、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色であり、（１）中心画素Ｐ７２の斜め方向に隣接する画素Ｐ６１、Ｐ６３、Ｐ８１、Ｐ８３の４つの画素が第２色成分画素である場合であり、かつ、（２）相関方向が水平方向である場合（相関方向決定部２から３色画素信号取得部４に入力された相関方向に関する情報Ｃｏ＿Ｄｉｒにより、相関方向が水平方向であると判定された場合）、
色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ７２の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）＝Ｄ４ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）＝Ｄ２ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）＝Ｄ３ｏｕｔ（Ｐ７２）
Ｄ４ｏｕｔ（Ｐ７２）：画素Ｐ７２の第４色成分の画素値
Ｄ２ｏｕｔ（Ｐ７２）：画素Ｐ７２の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ７２）：画素Ｐ７２の第３色成分の画素値
により取得する。そして、色画素信号取得部４は、注目画素Ｐ７２の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔを出力する。

【0292】

上記の場合、相関方向が水平方向であるので、相関方向である水平方向において、注目画素Ｐ７２と隣接する画素Ｐ７１、Ｐ７３を用いて補間して取得した画素Ｐ７２の第４色成分値Ｄ４ｏｕｔ（Ｐ７２）の方が、注目画素Ｐ７２と垂直方向に隣接する画素Ｐ６２、８２を用いて補間して取得した画素Ｐ７２の第１色成分値Ｄ１ｏｕｔ（Ｐ７２）よりも精度が高いと判断することができる。

【0293】

したがって、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）を、精度の高いＤ４ｏｕｔ（Ｐ７２）とする。これにより、色画素信号取得部４において、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0294】

≪パターンＣ−２（中心画素：第３色成分画素、相関方向：垂直方向）≫
図３０は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図３０は、中心画素を画素Ｐ７２とする５画素×５画素の領域（図２の領域ＡＲ３）を示している。なお、図３０の右図は、図示した画素の種別を示した図である。

【0295】

図３０に示すように、中心画素Ｐ７２が第３色成分画素であり、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色であり、（１）中心画素Ｐ７２の斜め方向に隣接する画素Ｐ６１、Ｐ６３、Ｐ８１、Ｐ８３の４つの画素が第２色成分画素である場合であり、かつ、（２）相関方向が垂直方向である場合（相関方向決定部２から３色画素信号取得部４に入力された相関方向に関する情報Ｃｏ＿Ｄｉｒにより、相関方向が垂直方向であると判定された場合）、
色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ７２の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）＝Ｄ１ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）＝Ｄ２ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）＝Ｄ３ｏｕｔ（Ｐ７２）
Ｄ１ｏｕｔ（Ｐ７２）：画素Ｐ７２の第１色成分の画素値
Ｄ２ｏｕｔ（Ｐ７２）：画素Ｐ７２の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ７２）：画素Ｐ７２の第３色成分の画素値
により取得する。そして、色画素信号取得部４は、注目画素Ｐ７２の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔを出力する。

【0296】

上記の場合、相関方向が垂直方向であるので、相関方向である垂直方向において、注目画素Ｐ７２と隣接する画素Ｐ６２、Ｐ８２を用いて補間して取得した画素Ｐ７２の第１色成分値Ｄ１ｏｕｔ（Ｐ７２）の方が、注目画素Ｐ７２と水平方向に隣接する画素Ｐ７１、７３を用いて補間して取得した画素Ｐ７２の第４色成分値Ｄ４ｏｕｔ（Ｐ７２）よりも精度が高いと判断することができる。

【0297】

したがって、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）を、精度の高いＤ１ｏｕｔ（Ｐ７２）とする。これにより、色画素信号取得部４において、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0298】

≪パターンＣ−３（中心画素：第３色成分画素、相関方向：第１斜め方向）≫
図３１は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図３１は、中心画素を画素Ｐ７２とする５画素×５画素の領域（図２の領域ＡＲ３）を示している。なお、図３１の右図は、図示した画素の種別を示した図である。

【0299】

図３１に示すように、中心画素Ｐ７２が第３色成分画素であり、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色であり、（１）中心画素Ｐ７２の斜め方向に隣接する画素Ｐ６１、Ｐ６３、Ｐ８１、Ｐ８３の４つの画素が第２色成分画素である場合であり、かつ、（２）相関方向が第１斜め方向である場合（相関方向決定部２から３色画素信号取得部４に入力された相関方向に関する情報Ｃｏ＿Ｄｉｒにより、相関方向が第１斜め方向であると判定された場合）、色画素信号取得部４は、以下の（１）〜（３Ｂ）処理により、注目画素（処理対象画素）である中心画素Ｐ７２の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）を取得する。
（１）色画素信号取得部４は、注目画素Ｐ７２の上方向に隣接する画素Ｐ６２と、左方向に隣接する画素Ｐ７１の平均値Ａｖｅ０と、注目画素Ｐ７２の右方向に隣接する画素Ｐ７３と、下方向に隣接する画素Ｐ８２の平均値Ａｖｅ１と、を、
Ａｖｅ０＝（Ｐ６２＋Ｐ７１）／２
Ａｖｅ１＝（Ｐ７３＋Ｐ８２）／２
により算出する。平均値Ａｖｅ０は、画素Ｐ６２、Ｐ７１の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値とみなすことができる。また、平均値Ａｖｅ１は、画素Ｐ７３、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値とみなすことができる。
（２）次に、色画素信号取得部４は、Ａｖｅ０およびＡｖｅ１を用いて、以下の処理により評価値Ｅｖ０、Ｅｖ１を算出する。

【0300】

Ｅｖ０＝ａｂｓ（Ａｖｅ０−Ｄ４ｏｕｔ（Ｐ７２））＋ａｂｓ（Ａｖｅ１−Ｄ４ｏｕｔ（Ｐ７２））
Ｅｖ１＝ａｂｓ（Ａｖｅ０−Ｄ１ｏｕｔ（Ｐ７２））＋ａｂｓ（Ａｖｅ１−Ｄ１ｏｕｔ（Ｐ７２））
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
Ｄ１ｏｕｔ（Ｐ７２）：画素Ｐ７２の第１色成分の画素値
Ｄ４ｏｕｔ（Ｐ７２）：画素Ｐ７２の第４色成分の画素値
（３Ａ）Ｅｖ０＜Ｅｖ１である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ７２の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）＝Ｄ４ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）＝Ｄ２ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）＝Ｄ３ｏｕｔ（Ｐ７２）
Ｄ４ｏｕｔ（Ｐ７２）：画素Ｐ７２の第４色成分の画素値
Ｄ２ｏｕｔ（Ｐ７２）：画素Ｐ７２の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ７２）：画素Ｐ７２の第３色成分の画素値
により取得する。

【0301】

つまり、Ｅｖ０＜Ｅｖ１である場合、注目画素Ｐ７２の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ７７）の方が、注目画素Ｐ７２の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ７２）よりも、画素Ｐ６２、Ｐ７１の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ０、あるいは、画素Ｐ７３、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ１に近い値であると考えられる。

【0302】

つまり、Ｅｖ０＜Ｅｖ１である場合、注目画素Ｐ７２の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ７２）の方が、注目画素Ｐ７２の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ７２）よりも、相関方向である第１斜め方向に存在する、画素Ｐ６２、Ｐ７１の中点の第１色成分値（第１色成分値と同色である第４色成分値）、および、画素Ｐ７３、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）に近い値であると考えられる。

【0303】

したがって、この場合、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）を、精度の高いＤ４ｏｕｔ（Ｐ７２）とすることで、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。
（３Ｂ）Ｅｖ０≧Ｅｖ１である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ７２の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）＝Ｄ１ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）＝Ｄ２ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）＝Ｄ３ｏｕｔ（Ｐ７２）
Ｄ１ｏｕｔ（Ｐ７２）：画素Ｐ７２の第１色成分の画素値
Ｄ２ｏｕｔ（Ｐ７２）：画素Ｐ７２の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ７２）：画素Ｐ７２の第３色成分の画素値
により取得する。

【0304】

つまり、Ｅｖ０≧Ｅｖ１である場合、注目画素Ｐ７２の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ７２）の方が、注目画素Ｐ７２の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ７２）よりも、画素Ｐ６２、Ｐ７１の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ０、あるいは、画素Ｐ７３、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ１に近い値であると考えられる。

【0305】

つまり、Ｅｖ０≧Ｅｖ１である場合、注目画素Ｐ７２の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ７２）の方が、注目画素Ｐ７２の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ７２）よりも、相関方向である第１斜め方向に存在する、画素Ｐ６２、Ｐ７１の中点の第１色成分値（第１色成分値と同色である第４色成分値）、および、画素Ｐ７３、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）に近い値であると考えられる。

【0306】

したがって、この場合、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）を、精度の高いＤ１ｏｕｔ（Ｐ７２）とすることで、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0307】

以上のように、色画素信号取得部４により取得された、注目画素Ｐ７２の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔは、色画素信号取得部４から出力される。

【0308】

≪パターンＣ−４（中心画素：第３色成分画素、相関方向：第２斜め方向）≫
図３２は、中心画素と斜め方向の隣接画素とが同じ色の色成分用画素ではない場合における３色画素信号取得部４での処理について説明するための図である。具体的には、図３２は、中心画素を画素Ｐ７２とする５画素×５画素の領域（図２の領域ＡＲ３）を示している。なお、図３２の右図は、図示した画素の種別を示した図である。

【0309】

図３２に示すように、中心画素Ｐ７２が第３色成分画素であり、第１色成分画素に対応する色フィルタの色と、第４色成分画素に対応する色フィルタの色とが同一色であり、（１）中心画素Ｐ７２の斜め方向に隣接する画素Ｐ６１、Ｐ６３、Ｐ８１、Ｐ８３の４つの画素が第２色成分画素である場合であり、かつ、（２）相関方向が第２斜め方向である場合（相関方向決定部２から３色画素信号取得部４に入力された相関方向に関する情報Ｃｏ＿Ｄｉｒにより、相関方向が第２斜め方向であると判定された場合）、色画素信号取得部４は、以下の（１）〜（３Ｂ）処理により、注目画素（処理対象画素）である中心画素Ｐ７２の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）を取得する。
（１）色画素信号取得部４は、注目画素Ｐ７２の上方向に隣接する画素Ｐ６２と、右方向に隣接する画素Ｐ７３の平均値Ａｖｅ０と、注目画素Ｐ７２の左方向に隣接する画素Ｐ７１と、下方向に隣接する画素Ｐ８２の平均値Ａｖｅ１と、を、
Ａｖｅ０＝（Ｐ６２＋Ｐ７３）／２
Ａｖｅ１＝（Ｐ７１＋Ｐ８２）／２
により算出する。平均値Ａｖｅ０は、画素Ｐ６２、Ｐ７３の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値とみなすことができる。また、平均値Ａｖｅ１は、画素Ｐ７１、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値とみなすことができる。
（２）次に、色画素信号取得部４は、Ａｖｅ０およびＡｖｅ１を用いて、以下の処理により評価値Ｅｖ０、Ｅｖ１を算出する。

【0310】

Ｅｖ０＝ａｂｓ（Ａｖｅ０−Ｄ４ｏｕｔ（Ｐ７２））＋ａｂｓ（Ａｖｅ１−Ｄ４ｏｕｔ（Ｐ７２））
Ｅｖ１＝ａｂｓ（Ａｖｅ０−Ｄ１ｏｕｔ（Ｐ７２））＋ａｂｓ（Ａｖｅ１−Ｄ１ｏｕｔ（Ｐ７２））
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
Ｄ１ｏｕｔ（Ｐ７２）：画素Ｐ７２の第１色成分の画素値
Ｄ４ｏｕｔ（Ｐ７２）：画素Ｐ７２の第４色成分の画素値
（３Ａ）Ｅｖ０＜Ｅｖ１である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ７２の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）＝Ｄ４ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）＝Ｄ２ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）＝Ｄ３ｏｕｔ（Ｐ７２）
Ｄ４ｏｕｔ（Ｐ７２）：画素Ｐ７２の第４色成分の画素値
Ｄ２ｏｕｔ（Ｐ７２）：画素Ｐ７２の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ７２）：画素Ｐ７２の第３色成分の画素値
により取得する。

【0311】

つまり、Ｅｖ０＜Ｅｖ１である場合、注目画素Ｐ７２の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ７７）の方が、注目画素Ｐ７２の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ７２）よりも、画素Ｐ６２、Ｐ７３の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ０、あるいは、画素Ｐ７１、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ１に近い値であると考えられる。

【0312】

つまり、Ｅｖ０＜Ｅｖ１である場合、注目画素Ｐ７２の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ７２）の方が、注目画素Ｐ７２の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ７２）よりも、相関方向である第２斜め方向に存在する、画素Ｐ６２、Ｐ７３の中点の第１色成分値（第１色成分値と同色である第４色成分値）、および、画素Ｐ７１、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）に近い値であると考えられる。

【0313】

したがって、この場合、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）を、精度の高いＤ４ｏｕｔ（Ｐ７２）とすることで、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。
（３Ｂ）Ｅｖ０≧Ｅｖ１である場合、色画素信号取得部４は、注目画素（処理対象画素）である中心画素Ｐ７２の画像信号Ｄｃ＿ｏｕｔの３つの色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）を
Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）＝Ｄ１ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）＝Ｄ２ｏｕｔ（Ｐ７２）
Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）＝Ｄ３ｏｕｔ（Ｐ７２）
Ｄ１ｏｕｔ（Ｐ７２）：画素Ｐ７２の第１色成分の画素値
Ｄ２ｏｕｔ（Ｐ７２）：画素Ｐ７２の第２色成分の画素値
Ｄ３ｏｕｔ（Ｐ７２）：画素Ｐ７２の第３色成分の画素値
により取得する。

【0314】

つまり、Ｅｖ０≧Ｅｖ１である場合、注目画素Ｐ７２の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ７２）の方が、注目画素Ｐ７２の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ７２）よりも、画素Ｐ６２、Ｐ７３の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ０、あるいは、画素Ｐ７１、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）の推定値Ａｖｅ１に近い値であると考えられる。

【0315】

つまり、Ｅｖ０≧Ｅｖ１である場合、注目画素Ｐ７２の第１色成分の画素値Ｄ１ｏｕｔ（Ｐ７２）の方が、注目画素Ｐ７２の第４色成分の画素値Ｄ４ｏｕｔ（Ｐ７２）よりも、相関方向である第２斜め方向に存在する、画素Ｐ６２、Ｐ７３の中点の第１色成分値（第１色成分値と同色である第４色成分値）、および、画素Ｐ７１、Ｐ８２の中点の第１色成分値（第１色成分値と同色である第４色成分値）に近い値であると考えられる。

【0316】

したがって、この場合、色画素信号取得部４は、上記の通り、出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）を、精度の高いＤ１ｏｕｔ（Ｐ７２）とすることで、精度の高い画像信号Ｄｃ＿ｏｕｔを取得することができる。

【0317】

以上のように、色画素信号取得部４により取得された、注目画素Ｐ７２の、（１）出力用第１色の色成分値Ｄｃ＿ｃｏｌｏｒ１（Ｐ７２）、（２）出力用第２色の色成分値Ｄｃ＿ｃｏｌｏｒ２（Ｐ７２）、および、（３）出力用第３色の色成分値Ｄｃ＿ｃｏｌｏｒ３（Ｐ７２）の３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔは、色画素信号取得部４から出力される。

【0318】

以上のように、撮像装置１０００では、色フィルタの配列パターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に画素補間処理を行うことができる。

【0319】

つまり、撮像装置１０００の画素補間処理部１００では、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）ことを利用し、注目画素について、第１色〜第４色成分画素値を取得するので、カラーフィルタの４つの色（第１色〜第４色）がどのような色であるかが不明であっても、適切に画素補間処理を実行することができる。また、撮像装置１０００の画素補間処理部１００では、カラーフィルタの配列パターンから、同一色の画素を用いて、ラプラシアン成分を取得し、取得したラプラシアン成分を用いて、所定の位置の画素の特定の色成分値を推定するので、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に、所定の位置の画素の特定の色成分値を推定（取得）することができる。

【0320】

つまり、撮像装置１０００の画素補間処理部１００では、このようにラプラシアン成分に基づいて、取得した所定の位置の画素の特定の色成分値を用い、さらに、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分がカラーフィルタの色に関係なく、相関が高い（類似する）ことを利用して、画素補間処理を実行するので、従来技術に比べて、格段に精度の良い画素補間処理を実現することができる。

【0321】

さらに、撮像装置１０００の画素補間処理部１００では、色フィルタの配列が３色４画素パターン配列である場合、つまり、カラーフィルタの４つの色（第１色〜第４色）のうちの２つ（上記では、第１色フィルタと第４色フィルタ）が同色の色フィルタである場合、画素の位置関係および／または相関方向を考慮して、２つの同色フィルタが配置されている画素から取得された注目画素の画素値（当該同色の色成分の画素値）のうち、より精度の高い方を選択して、３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔ（画素補間信号）を取得する。したがって、撮像装置１０００では、色フィルタの配列が３色４画素パターン配列である場合において、精度の高い、３つの色成分値（色成分画素信号）からなる画像信号Ｄｃ＿ｏｕｔ（画素補間信号）を取得することができる。

【0322】

そして、撮像装置１０００の画素補間処理部１００では、色フィルタ配列のパターンについての情報（カラーフィルタを構成する色の情報）が不要であるので、従来技術のように、注目画素の色により場合分けして、画素補間処理を行う必要がない。したがって、撮像装置１０００の画素補間処理部１００では、少ない演算量で、高精度な画素補間処理を実現することができる。

【0323】

［他の実施形態］
上記実施形態では、画素補間処理を実数演算により実行する場合を想定して説明している部分があるが、整数演算により、画素補間処理を実行するようにしてもよい。また、画素補間処理において、所定のビット数を使用した場合の制約や、所定のダイナミックレンジ内で処理を実行するために、適宜、ゲイン調整やクリップ処理を実行するようにしてもよい。

【0324】

上記実施形態の撮像装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。

【0325】

上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

【0326】

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

【0327】

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

【0328】

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

【0329】

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

【0330】

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

【符号の説明】

【0331】

１０００ 撮像装置
Ｃ１ 撮像部
Ｃ２ 信号処理部
１００ 画素補間処理部（画素補間処理装置）
１ 相関値算出部
２ 相関方向決定部
３ 補間部
４ ３色画素信号取得部

【図1】

【図7】

【図8】

【図2】

【図3】

【図4】

【図5】

【図6】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】