ホーム > 特許ランキング > 株式会社メガチップス
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6239358
(24)【登録日】2017年11月10日
(45)【発行日】2017年11月29日
(54)【発明の名称】画素補間装置、撮像装置、プログラムおよび集積回路
(51)【国際特許分類】
H04N 9/07 20060101AFI20171120BHJP
H04N 9/64 20060101ALI20171120BHJP
G02B 5/20 20060101ALI20171120BHJP
【ＦＩ】
H04N9/07 A
H04N9/07 D
H04N9/64 R
G02B5/20 101
【請求項の数】13
【全頁数】62
(21)【出願番号】特願2013-249480(P2013-249480)
(22)【出願日】2013年12月2日
(65)【公開番号】特開2015-106890(P2015-106890A)
(43)【公開日】2015年6月8日
【審査請求日】2016年11月22日
(73)【特許権者】
【識別番号】591128453
【氏名又は名称】株式会社メガチップス
(74)【代理人】
【識別番号】100125704
【弁理士】
【氏名又は名称】坂根 剛
(74)【代理人】
【識別番号】100104444
【弁理士】
【氏名又は名称】上羽 秀敏
(74)【代理人】
【識別番号】100112715
【弁理士】
【氏名又は名称】松山 隆夫
(74)【代理人】
【識別番号】100120662
【弁理士】
【氏名又は名称】川上 桂子
(72)【発明者】
【氏名】守口 順二
(72)【発明者】
【氏名】長谷川 弘
【審査官】
西谷 憲人
(56)【参考文献】
【文献】
特開２０１０−１０３７３６（ＪＰ，Ａ）
【文献】
特開２００６−１８６９６５（ＪＰ，Ａ）
【文献】
特開２００２−０１０２７９（ＪＰ，Ａ）
【文献】
特開２００９−０５５２８１（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ９／０７
Ｇ０２Ｂ ５／２０
Ｈ０４Ｎ ９／６４
(57)【特許請求の範囲】
【請求項1】
異なる３色のフィルタであって、第１色フィルタ、第２色フィルタ、および、第３色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、前記第１色フィルタを介して取得される第１色画素信号と、前記第２色フィルタを介して取得される第２色画素信号と、前記第３色フィルタを介して取得される第３色画素信号と、から構成される前記画像信号に対して、画素補間処理を行う画素補間処理装置であって、
前記第１色画素信号、前記第２色画素信号、および、前記第３色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第１〜第３色画素信号から構成される画像信号を第１画像信号として出力する信号補正部と、
前記信号補正部から出力される前記第１画像信号に基づいて、前記第１画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出部と、
前記第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をグレー相関度として取得するグレー相関値算出部と、
前記第１〜第３色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をカラー相関度として取得するカラー相関値算出部と、
前記彩度評価値算出部により取得された前記彩度評価値と、前記グレー相関値算出部により取得されたグレー相関度と、前記カラー相関値算出部により取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
前記画素補間法決定部により決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第２画像信号を取得する補間部と、
前記補間部により取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理部と、
を備える画素補間処理装置。
前記第１色画素信号、前記第２色画素信号、および、前記第３色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第１〜第３色画素信号から構成される画像信号を第１画像信号として出力する信号補正部と、
前記信号補正部から出力される前記第１画像信号に基づいて、前記第１画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出部と、
前記第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をグレー相関度として取得するグレー相関値算出部と、
前記第１〜第３色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をカラー相関度として取得するカラー相関値算出部と、
前記彩度評価値算出部により取得された前記彩度評価値と、前記グレー相関値算出部により取得されたグレー相関度と、前記カラー相関値算出部により取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
前記画素補間法決定部により決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第２画像信号を取得する補間部と、
前記補間部により取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理部と、
を備える画素補間処理装置。
【請求項2】
前記補間部は、
前記画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記第１〜第３色画素信号から構成される画像信号により形成される画像に対して、カラー画像用の画素補間処理を実行するカラー画像用補間部と、
前記画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記信号補正部から出力される前記第１画像信号により形成される画像に対して、グレー画像用の画素補間処理を実行するグレー画像用補間部と、
前記グレー画像用補間部により、グレー画像用の画素補間処理が実行された画像信号に対して、前記信号補正部により補正された信号レベルを、当該補正前の信号レベルと略同一となるように、信号レベルの逆補正を行う信号逆補正部と、
前記画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記カラー画像用の画素補間法により処理された画像信号を前記第２画像信号として取得し、前記画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記信号逆補正部により処理された画像信号を前記第２画像信号として取得し、取得した前記第２画像信号を前記補正処理部に出力する選択部と、
を備える、
請求項１に記載の画素補間処理装置。
前記画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記第１〜第３色画素信号から構成される画像信号により形成される画像に対して、カラー画像用の画素補間処理を実行するカラー画像用補間部と、
前記画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記信号補正部から出力される前記第１画像信号により形成される画像に対して、グレー画像用の画素補間処理を実行するグレー画像用補間部と、
前記グレー画像用補間部により、グレー画像用の画素補間処理が実行された画像信号に対して、前記信号補正部により補正された信号レベルを、当該補正前の信号レベルと略同一となるように、信号レベルの逆補正を行う信号逆補正部と、
前記画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記カラー画像用の画素補間法により処理された画像信号を前記第２画像信号として取得し、前記画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記信号逆補正部により処理された画像信号を前記第２画像信号として取得し、取得した前記第２画像信号を前記補正処理部に出力する選択部と、
を備える、
請求項１に記載の画素補間処理装置。
【請求項3】
前記補正処理部は、
前記補間部により取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する第１マトリックス変換部と、
前記第１マトリックス変換部により取得された前記ＲＧＢ色空間の画像信号をＹＣｂＣｒ色空間の画像信号に変換する色空間処理部と、
前記第１マトリックス変換部により取得された前記ＲＧＢ色空間の画像信号から、彩度信号を取得する彩度取得部と、
前記彩度取得部により取得された彩度信号に基づいて、前記色空間処理部により取得された前記ＹＣｂＣｒ色空間の画像信号のＣｂ成分信号およびＣｒ成分信号に対して、補正処理を行う色差補正部と、
前記色空間処理部により取得された前記ＹＣｂＣｒ色空間の画像信号のＹ成分信号と、前記色差補正部により補正された前記Ｃｂ成分信号および前記Ｃｒ成分信号とに対して、色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する第２マトリックス変換部と、
を備える請求項１又は２に記載の画素補間処理装置。
前記補間部により取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する第１マトリックス変換部と、
前記第１マトリックス変換部により取得された前記ＲＧＢ色空間の画像信号をＹＣｂＣｒ色空間の画像信号に変換する色空間処理部と、
前記第１マトリックス変換部により取得された前記ＲＧＢ色空間の画像信号から、彩度信号を取得する彩度取得部と、
前記彩度取得部により取得された彩度信号に基づいて、前記色空間処理部により取得された前記ＹＣｂＣｒ色空間の画像信号のＣｂ成分信号およびＣｒ成分信号に対して、補正処理を行う色差補正部と、
前記色空間処理部により取得された前記ＹＣｂＣｒ色空間の画像信号のＹ成分信号と、前記色差補正部により補正された前記Ｃｂ成分信号および前記Ｃｒ成分信号とに対して、色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する第２マトリックス変換部と、
を備える請求項１又は２に記載の画素補間処理装置。
【請求項4】
前記第１〜第３色画素信号から構成される画像信号により形成される画像上におけるカラー画像領域とグレー画像領域との境界部分を検出する境界検出部をさらに備え、
前記グレー相関値算出部は、
前記境界検出部により検出された前記カラー画像領域とグレー画像領域との境界部分が、グレー相関度算出のための画像領域に含まれる場合、グレー相関度算出の対象としている相関方向と平行なライン上であって、前記グレー相関度算出のための画像領域内の中央の領域に含まれる画素について、重み付けを大きくすることで、当該画素のグレー相関度算出処理における影響度を強くして、前記グレー相関度を取得する、
請求項１から３のいずれかに記載の画素補間処理装置。
前記グレー相関値算出部は、
前記境界検出部により検出された前記カラー画像領域とグレー画像領域との境界部分が、グレー相関度算出のための画像領域に含まれる場合、グレー相関度算出の対象としている相関方向と平行なライン上であって、前記グレー相関度算出のための画像領域内の中央の領域に含まれる画素について、重み付けを大きくすることで、当該画素のグレー相関度算出処理における影響度を強くして、前記グレー相関度を取得する、
請求項１から３のいずれかに記載の画素補間処理装置。
【請求項5】
前記グレー相関値算出部は、前記画像上における水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と前記第１斜め方向に直交する第２斜め方向の相関度を取得し、
前記カラー相関値算出部は、前記画像上における水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と前記第１斜め方向に直交する第２斜め方向の相関度を取得する、
請求項１から４のいずれかに記載の画素補間処理装置。
前記カラー相関値算出部は、前記画像上における水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と前記第１斜め方向に直交する第２斜め方向の相関度を取得する、
請求項１から４のいずれかに記載の画素補間処理装置。
【請求項6】
前記彩度評価値算出部は、注目画素を中心とする５画素×５画素の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得し、
前記グレー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、前記相関度を取得し、
前記カラー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、前記相関度を取得する、
請求項１から５のいずれかに記載の画素補間処理装置。
前記グレー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、前記相関度を取得し、
前記カラー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、前記相関度を取得する、
請求項１から５のいずれかに記載の画素補間処理装置。
【請求項7】
前記彩度評価値算出部は、
前記注目画素を中心とする５画素×５画素の画像領域に含まれる第１色の色成分画素の画素値の平均値をｐ００＿ｃｏｌｏｒ１とし、
前記注目画素を中心とする５画素×５画素の画像領域に含まれる第２色の色成分画素の画素値の平均値をｐ０１＿ｃｏｌｏｒ２とし、
前記注目画素を中心とする５画素×５画素の画像領域に含まれる第３色の色成分画素の画素値の平均値をｐ１０＿ｃｏｌｏｒ３とし、
所定の色成分差分値を取得するための係数を、ｋ０１、ｋ０２、ｋ０３、ｋ１１、ｋ１２、ｋ１３、とし、オフセット値を、ｏｆｆｓｅｔ０、ｏｆｆｓｅｔ１とすると、
に相当する処理を実行することで、２つの色成分差分値ｃｏｌｏｒ＿ｄｉｆｆ０およびｃｏｌｏｒ＿ｄｉｆｆ１を取得し、
ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ０）＋ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ１）
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理を実行することで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを取得し、
取得した平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを用いて、前記画像領域の前記彩度評価値を取得する、
請求項６に記載の画素補間処理装置。
前記注目画素を中心とする５画素×５画素の画像領域に含まれる第１色の色成分画素の画素値の平均値をｐ００＿ｃｏｌｏｒ１とし、
前記注目画素を中心とする５画素×５画素の画像領域に含まれる第２色の色成分画素の画素値の平均値をｐ０１＿ｃｏｌｏｒ２とし、
前記注目画素を中心とする５画素×５画素の画像領域に含まれる第３色の色成分画素の画素値の平均値をｐ１０＿ｃｏｌｏｒ３とし、
所定の色成分差分値を取得するための係数を、ｋ０１、ｋ０２、ｋ０３、ｋ１１、ｋ１２、ｋ１３、とし、オフセット値を、ｏｆｆｓｅｔ０、ｏｆｆｓｅｔ１とすると、
ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ０）＋ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ１）
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理を実行することで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを取得し、
取得した平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを用いて、前記画像領域の前記彩度評価値を取得する、
請求項６に記載の画素補間処理装置。
【請求項8】
前記彩度評価値算出部は、
（１）前記注目画素を中心とする５画素×５画素の画像領域において、前記注目画素と、前記注目画素と垂直方向、水平方向、および、斜め方向に隣接する８つの画素との差に基づいて、全体評価値ｇｌ＿ｃｏｌｏｒを取得し、
（２）前記注目画素を中心とする５画素×５画素の画像領域において、垂直方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、垂直方向評価値ｖ＿ｃｏｌｏｒを取得し、
（３）前記注目画素を中心とする５画素×５画素の画像領域において、水平方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、水平方向評価値ｈ＿ｃｏｌｏｒを取得し、
（４）前記注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第１斜め方向評価値ｄ１＿ｃｏｌｏｒを取得し、
（５）前記注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向と直交する第２斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第２斜め方向評価値ｄ２＿ｃｏｌｏｒを取得し、
前記平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、前記全体評価値ｇｌ＿ｃｏｌｏｒ、前記垂直方向評価値ｖ＿ｃｏｌｏｒ、前記水平方向評価値ｈ＿ｃｏｌｏｒ、前記第１斜め方向評価値ｄ１＿ｃｏｌｏｒ、および、前記第２斜め方向評価値ｄ２＿ｃｏｌｏｒの少なくとも１つに基づいて、前記画像領域の前記彩度評価値を取得する、
請求項７に記載の画素補間処理装置。
（１）前記注目画素を中心とする５画素×５画素の画像領域において、前記注目画素と、前記注目画素と垂直方向、水平方向、および、斜め方向に隣接する８つの画素との差に基づいて、全体評価値ｇｌ＿ｃｏｌｏｒを取得し、
（２）前記注目画素を中心とする５画素×５画素の画像領域において、垂直方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、垂直方向評価値ｖ＿ｃｏｌｏｒを取得し、
（３）前記注目画素を中心とする５画素×５画素の画像領域において、水平方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、水平方向評価値ｈ＿ｃｏｌｏｒを取得し、
（４）前記注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第１斜め方向評価値ｄ１＿ｃｏｌｏｒを取得し、
（５）前記注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向と直交する第２斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第２斜め方向評価値ｄ２＿ｃｏｌｏｒを取得し、
前記平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、前記全体評価値ｇｌ＿ｃｏｌｏｒ、前記垂直方向評価値ｖ＿ｃｏｌｏｒ、前記水平方向評価値ｈ＿ｃｏｌｏｒ、前記第１斜め方向評価値ｄ１＿ｃｏｌｏｒ、および、前記第２斜め方向評価値ｄ２＿ｃｏｌｏｒの少なくとも１つに基づいて、前記画像領域の前記彩度評価値を取得する、
請求項７に記載の画素補間処理装置。
【請求項9】
第１の色画素信号は、白色画素信号であり、
前記色空間処理部は、
前記ＲＧＢ色空間の画像信号から輝度信号を取得する輝度信号取得部と、
前記相関度に基づいて、相関の高い方向が判定される場合において、前記相関の高い方向と、注目画素の位置に対応する色フィルタの種類とに基づいて、前記輝度信号取得部により取得された輝度信号および前記第２画像信号に含まれる白色画素信号の中から、前記ＹＣｂＣｒ色空間の画像信号のＹ成分信号として使用する信号を選択する輝度信号出力部と、
を備える、
請求項３記載の画素補間処理装置。
前記色空間処理部は、
前記ＲＧＢ色空間の画像信号から輝度信号を取得する輝度信号取得部と、
前記相関度に基づいて、相関の高い方向が判定される場合において、前記相関の高い方向と、注目画素の位置に対応する色フィルタの種類とに基づいて、前記輝度信号取得部により取得された輝度信号および前記第２画像信号に含まれる白色画素信号の中から、前記ＹＣｂＣｒ色空間の画像信号のＹ成分信号として使用する信号を選択する輝度信号出力部と、
を備える、
請求項３記載の画素補間処理装置。
【請求項10】
前記所定のパターンは、２個の第１色フィルタと、１個の第２色フィルタと、１個の第３色フィルタとが２画素×２画素の領域に配置されたパターンであり、
前記２個の第１色フィルタは、白成分用のフィルタであり、前記２画素×２画素の領域において対角方向に配列される、
請求項１から９のいずれかに記載の画素補間処理装置。
前記２個の第１色フィルタは、白成分用のフィルタであり、前記２画素×２画素の領域において対角方向に配列される、
請求項１から９のいずれかに記載の画素補間処理装置。
【請求項11】
異なる３色のフィルタが所定のパターンで配列されている色フィルタを有し、被写体光から画像信号を取得する撮像部と、
前記画像信号に対して、画素補間処理を行う、請求項１から１０のいずれかに記載の画素補間処理装置と、
を備える撮像装置。
前記画像信号に対して、画素補間処理を行う、請求項１から１０のいずれかに記載の画素補間処理装置と、
を備える撮像装置。
【請求項12】
異なる３色のフィルタであって、第１色フィルタ、第２色フィルタ、および、第３色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、前記第１色フィルタを介して取得される第１色画素信号と、前記第２色フィルタを介して取得される第２色画素信号と、前記第３色フィルタを介して取得される第３色画素信号と、から構成される前記画像信号に対して、画素補間処理を行う画素補間処理方法を、コンピュータに実行させるプログラムであって、
前記第１色画素信号、前記第２色画素信号、および、前記第３色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第１〜第３色画素信号から構成される画像信号を第１画像信号として出力する信号補正ステップと、
前記信号補正ステップから出力される前記第１画像信号に基づいて、前記第１画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出ステップと、
前記第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をグレー相関度として取得するグレー相関値算出ステップと、
前記第１〜第３色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をカラー相関度として取得するカラー相関値算出ステップと、
前記彩度評価値算出ステップにより取得された前記彩度評価値と、前記グレー相関値算出ステップにより取得されたグレー相関度と、前記カラー相関値算出ステップにより取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定ステップと、
前記画素補間法決定ステップにより決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第２画像信号を取得する補間ステップと、
前記補間ステップにより取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理ステップと、
を備える画素補間処理方法を、コンピュータに実行させるプログラム。
前記第１色画素信号、前記第２色画素信号、および、前記第３色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第１〜第３色画素信号から構成される画像信号を第１画像信号として出力する信号補正ステップと、
前記信号補正ステップから出力される前記第１画像信号に基づいて、前記第１画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出ステップと、
前記第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をグレー相関度として取得するグレー相関値算出ステップと、
前記第１〜第３色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をカラー相関度として取得するカラー相関値算出ステップと、
前記彩度評価値算出ステップにより取得された前記彩度評価値と、前記グレー相関値算出ステップにより取得されたグレー相関度と、前記カラー相関値算出ステップにより取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定ステップと、
前記画素補間法決定ステップにより決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第２画像信号を取得する補間ステップと、
前記補間ステップにより取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理ステップと、
を備える画素補間処理方法を、コンピュータに実行させるプログラム。
【請求項13】
異なる３色のフィルタであって、第１色フィルタ、第２色フィルタ、および、第３色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、前記第１色フィルタを介して取得される第１色画素信号と、前記第２色フィルタを介して取得される第２色画素信号と、前記第３色フィルタを介して取得される第３色画素信号と、から構成される前記画像信号に対して、画素補間処理を行う集積回路であって、
前記第１色画素信号、前記第２色画素信号、および、前記第３色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第１〜第３色画素信号から構成される画像信号を第１画像信号として出力する信号補正部と、
前記信号補正部から出力される前記第１画像信号に基づいて、前記第１画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出部と、
前記第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をグレー相関度として取得するグレー相関値算出部と、
前記第１〜第３色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をカラー相関度として取得するカラー相関値算出部と、
前記彩度評価値算出部により取得された前記彩度評価値と、前記グレー相関値算出部により取得されたグレー相関度と、前記カラー相関値算出部により取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
前記画素補間法決定部により決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第２画像信号を取得する補間部と、
前記補間部により取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理部と、
を備える集積回路。
前記第１色画素信号、前記第２色画素信号、および、前記第３色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第１〜第３色画素信号から構成される画像信号を第１画像信号として出力する信号補正部と、
前記信号補正部から出力される前記第１画像信号に基づいて、前記第１画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出部と、
前記第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をグレー相関度として取得するグレー相関値算出部と、
前記第１〜第３色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する２方向の複数組の相関度をカラー相関度として取得するカラー相関値算出部と、
前記彩度評価値算出部により取得された前記彩度評価値と、前記グレー相関値算出部により取得されたグレー相関度と、前記カラー相関値算出部により取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
前記画素補間法決定部により決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第２画像信号を取得する補間部と、
前記補間部により取得された前記第２画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ等の撮像装置で実行される信号処理に関する。特に、画素補間技術に関する。
【背景技術】
【0002】
デジタルカメラ等の撮像装置で利用されるＣＣＤ型イメージセンサ、ＣＭＯＳ型イメージセンサなどの撮像素子では、色フィルタを介して受光された光が光電変換により電気信号に変換され、画素信号として出力される。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。
【0003】
このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理により取得する必要がある。そして、この補間処理には、様々なアルゴリズムが用いられている。たとえば、水平方向の相関度と垂直方向の相関度とを算出し、相関度の高い方向の画素を用いて画素補間を行う方法が行われている。また、注目画素と周辺画素の距離に応じて重み付けを行った上で画素補間を行う方法などが行われている。
【0004】
下記特許文献１に開示されている技術では、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子により取得された画像の中のグレー領域とカラー領域を判別し、画像領域の特性に応じた画素補間を適用させるようにしている。特許文献１の技術では、特に、グレー領域とカラー領域との境界に位置する領域について偽色の発生を抑える工夫がなされている。具体的には、特許文献１の技術では、グレー領域とカラー領域との境界にある領域に対して、相関方向については、グレー画像用の判定方法を用いて相関方向の判定処理を行い、画素補間については、カラー画像領域用の画素補間方法を用いて、画素補間処理を行う。これにより、特許文献１の技術では、画素補間処理による偽色の発生を低減させることができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００６−１８６９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述のように、特許文献１の技術は、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子を前提としている。ＲＧＢと異なる任意の色を有する３色フィルタの撮像素子から出力される画素信号に対して、適切な画素補間処理を行う具体的な技術は、開示されていない。
【0007】
そこで、本発明は、上記課題に鑑み、３色フィルタを有する単板式の撮像素子により取得された画像信号に対して、３色フィルタの配列がどのようなものであっても、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、第１の発明は、異なる３色のフィルタであって、第１色フィルタ、第２色フィルタ、および、第３色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、第１色フィルタを介して取得される第１色画素信号と、第２色フィルタを介して取得される第２色画素信号と、第３色フィルタを介して取得される第３色画素信号と、から構成される画像信号に対して、画素補間処理を行う画素補間処理装置である。
【0009】
この画素補間処理装置は、信号補正部と、彩度評価値算出部と、グレー相関値算出部と、カラー相関値算出部と、画素補間法決定部と、補間部と、補正処理部と、を備える。
【0010】
信号補正部は、第１色画素信号、第２色画素信号、および、第３色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の第１〜第３色画素信号から構成される画像信号を第１画像信号として出力する。
【0011】
彩度評価値算出部は、信号補正部から出力される第１画像信号に基づいて、第１画像信号が形成する画像の所定の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。
【0012】
グレー相関値算出部は、第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、画像上において直交する２方向の複数組の相関度をグレー相関度として取得する。
【0013】
カラー相関値算出部は、第１〜第３色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、画像上において直交する２方向の複数組の相関度をカラー相関度として取得する。
【0014】
画素補間法決定部は、彩度評価値算出部により取得された彩度評価値と、グレー相関値算出部により取得されたグレー相関度と、カラー相関値算出部により取得されたカラー相関度とに基づいて、注目画素の画素補間方法を決定する。
【0015】
補間部は、画素補間法決定部により決定された画素補間方法により、注目画素に対して、画素補間処理を実行することで、画素補間処理後の画像信号である第２画像信号を取得する。
【0016】
補正処理部は、補間部により取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する。
【0017】
この画素補間処理装置では、信号補正部により、撮像部の３色フィルタの配列に応じて、信号レベルの補正を行い、当該補正後の画像信号を用いて、彩度評価値算出処理、グレー相関値算出処理が実行される。したがって、この画素補間処理装置では、３色フィルタの配列がどのようなものであっても、精度の高い彩度評価値算出処理、グレー相関値算出処理により取得された結果に基づいて、画素補間方法が決定され、決定された画素補間方法により、精度の高い画素補間処理が実行される。さらに、この画素補間処理装置では、補間部により取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得することができる。
【0018】
第２の発明は、第１の発明であって、補間部は、カラー画像用補間部と、グレー画像用補間部と、信号逆補正部と、選択部と、を備える。
【0019】
カラー画像用補間部は、画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、第１〜第３色画素信号から構成される画像信号により形成される画像に対して、カラー画像用の画素補間処理を実行する。
【0020】
グレー画像用補間部は、画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、信号補正部から出力される第１画像信号により形成される画像に対して、グレー画像用の画素補間処理を実行する。
【0021】
信号逆補正部は、グレー画像用補間部により、グレー画像用の画素補間処理が実行された画像信号に対して、信号補正部により補正された信号レベルを、当該補正前の信号レベルと略同一となるように、信号レベルの逆補正を行う。
【0022】
選択部は、画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、カラー画像用補正部により処理された画像信号を第２画像信号として取得し、画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、信号逆補正部により処理された画像信号を第２画像信号として取得し、取得した第２画像信号を補正処理部に出力する。
【0023】
この画素補間処理装置では、信号補正部により、撮像部の３色フィルタの配列に応じて、信号レベルの補正を行い、当該補正後の画像信号を用いて、彩度評価値算出処理、グレー相関値算出処理、グレー画像用補間処理が実行される。また、この画素補間処理装置では、カラー画像用補間処理は、信号レベル補正を行わない画像信号を用いて実行し、グレー画像用補間処理後の画像信号に対して、信号逆補正部により、元の信号レベルに戻す逆補正が実行されるため、補間部から出力される画素補間処理後の信号の信号レベルを略同一にすることができる。つまり、この画素補間処理装置では、カラー画像用補間処理を行った場合と、グレー画像用補間処理を行った場合の信号レベルの差が極端に発生することがない。したがって、画素補間処理後の画像信号に対して、後段の処理においても精度を向上させやすい。
【0024】
第３の発明は、第１または第２の発明であって、補正処理部は、第１マトリックス変換部と、色空間処理部と、彩度取得部と、色差補正部と、第２マトリックス変換部と、を備える。
【0025】
第１マトリックス変換部は、補間部により取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する。
【0026】
色空間処理部は、第１マトリックス変換部により取得されたＲＧＢ色空間の画像信号をＹＣｂＣｒ色空間の画像信号に変換する。
【0027】
彩度取得部は、第１マトリックス変換部により取得されたＲＧＢ色空間の画像信号から、彩度信号を取得する。
【0028】
色差補正部は、彩度取得部により取得された彩度信号に基づいて、色空間処理部により取得されたＹＣｂＣｒ色空間の画像信号のＣｂ成分信号およびＣｒ成分信号に対して、補正処理を行う。
【0029】
第２マトリックス変換部は、色空間処理部により取得されたＹＣｂＣｒ色空間の画像信号のＹ成分信号と、色差補正部により補正されたＣｂ成分信号およびＣｒ成分信号とに対して、色空間変換を行うことで、ＲＧＢ色空間の画像信号を取得する。
【0030】
この画素補間処理装置では、精度の高い画素補間処理が実行された後の画像信号から、ＲＧＢ色空間の画像信号を取得し、さらに、（例えば、ＲＧＢ−ＨＳＶ変換により）彩度信号を取得する。そして、この画素補間処理装置では、取得した彩度信号に基づいて、色空間処理部により取得された色差信号であるＣｂ成分信号およびＣｒ成分信号に対して、補正処理を行う。つまり、精度の高い彩度信号に基づいて、注目画素がグレー画像領域に含まれるのか、それとも、カラー画像領域に含まれるのかを適切に判断することができるため、当該彩度信号に基づいて、Ｃｂ成分信号およびＣｒ成分信号を補正することで、偽色発生等の副作用を適切に抑制することができる。
【0031】
第４の発明は、第１から第３のいずれかの発明であって、第１〜第３色画素信号から構成される画像信号により形成される画像上におけるカラー画像領域とグレー画像領域との境界部分を検出する境界検出部をさらに備える。
【0032】
グレー相関値算出部は、境界検出部により検出されたカラー画像領域とグレー画像領域との境界部分が、グレー相関度算出のための画像領域に含まれる場合、グレー相関度算出の対象としている相関方向と平行なライン上であって、グレー相関度算出のための画像領域内の中央の領域に含まれる画素について、重み付けを大きくすることで、当該画素のグレー相関度算出処理における影響度を強くして、グレー相関度を取得する。
【0033】
これにより、この画素補間処理装置では、カラー画像領域とグレー画像領域との境界付近で相関度算出の精度を確保することができ、その結果、カラー画像領域とグレー画像領域との境界付近で頻繁に生じる偽色発生現象を適切に抑制することができる。
【0034】
第５の発明は、第１から第４のいずれかの発明であって、グレー相関値算出部は、画像上における水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と第１斜め方向に直交する第２斜め方向の相関度を取得する。
【0035】
カラー相関値算出部は、画像上における水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と第１斜め方向に直交する第２斜め方向の相関度を取得する。
【0036】
これにより、この画素補間処理装置では、水平方向の相関度と垂直方向の相関度、および、第１斜め方向の相関度と第２斜め方向の相関度を用いて、画素補間処理を行うことができる。
【0037】
なお、第１斜め方向は水平方向または垂直方向と４５度の角度をなす方向であることが好ましい。
【0038】
第６の発明は、第１から第５のいずれかの発明であって、彩度評価値算出部は、注目画素を中心とする５画素×５画素の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。
【0039】
グレー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、相関度を取得する。
【0040】
カラー相関値算出部は、注目画素を中心とする５画素×５画素の画像領域において、相関度を取得する。
【0041】
これにより、この画素補間処理装置では、５画素×５画素の画像領域を用いて、彩度評価、相関度取得を行うことができる。
【0042】
第７の発明は、第６の発明であって、彩度評価値算出部は、注目画素を中心とする５画素×５画素の画像領域に含まれる第１色の色成分画素の画素値の平均値をｐ００＿ｃｏｌｏｒ１とし、
注目画素を中心とする５画素×５画素の画像領域に含まれる第２色の色成分画素の画素値の平均値をｐ０１＿ｃｏｌｏｒ２とし、
注目画素を中心とする５画素×５画素の画像領域に含まれる第３色の色成分画素の画素値の平均値をｐ１０＿ｃｏｌｏｒ３とし、
所定の色成分差分値を取得するための係数を、ｋ０１、ｋ０２、ｋ０３、ｋ１１、ｋ１２、ｋ１３とし、オフセット値を、ｏｆｆｓｅｔ０、ｏｆｆｓｅｔ１とすると、
【数1】
【0043】
そして、彩度評価値算出部は、ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ０）＋ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ１）
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理を実行することで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを取得し、取得した平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを用いて、画像領域の前記彩度評価値を取得する。
【0044】
これにより、この画素補間処理装置では、５画素×５画素の画像領域を用いて取得した平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒに基づいて、画像領域の彩度評価値を取得することができる。
【0045】
そして、この画素補間処理装置では、上記係数ｋ０１〜ｋ０４、ｋ１１〜ｋ１４、および、オフセット値ｏｆｆｓｅｔ０、ｏｆｆｓｅｔ１を、３色フィルタの色と、取得したい色差成分とに基づいて、設定することで、３色フィルタの色がどのようなものであっても、色空間変換処理（色成分差分値取得処理）に相当する上記処理を実行し、所望の色成分差分値を取得することができる。
【0046】
第８の発明は、第７の発明であって、彩度評価値算出部は、以下の処理を行う。（１）注目画素を中心とする５画素×５画素の画像領域において、注目画素と、当該注目画素と垂直方向、水平方向、および、斜め方向に隣接する８つの画素との差に基づいて、全体評価値ｇｌ＿ｃｏｌｏｒを取得する。
（２）注目画素を中心とする５画素×５画素の画像領域において、垂直方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、垂直方向評価値ｖ＿ｃｏｌｏｒを取得する。
（３）注目画素を中心とする５画素×５画素の画像領域において、水平方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、水平方向評価値ｈ＿ｃｏｌｏｒを取得する。
（４）注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第１斜め方向評価値ｄ１＿ｃｏｌｏｒを取得する。
（５）注目画素を中心とする５画素×５画素の画像領域において、第１斜め方向と直交する第２斜め方向に隣接する、複数組の２つの画素を選択し、選択した２つの画素の画素値の差を、それぞれ、算出し、算出した複数組の２つの画素についての画素値の差に基づいて、第２斜め方向評価値ｄ２＿ｃｏｌｏｒを取得する。
【0047】
そして、彩度評価値算出部は、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、全体評価値ｇｌ＿ｃｏｌｏｒ、垂直方向評価値ｖ＿ｃｏｌｏｒ、および、水平方向評価値ｈ＿ｃｏｌｏｒの少なくとも１つに基づいて、画像領域の彩度評価値を取得する。
【0048】
これにより、この画素補間処理装置では、５画素×５画素の画像領域を用いて取得した、（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、（２）全体評価値ｇｌ＿ｃｏｌｏｒ、（３）垂直方向評価値ｖ＿ｃｏｌｏｒ、（４）水平方向評価値ｈ＿ｃｏｌｏｒ、（５）第１斜め方向評価値ｄ１＿ｃｏｌｏｒ、および、（６）第２斜め方向評価値ｄ２＿ｃｏｌｏｒの少なくとも１つに基づいて、画像領域の彩度評価値を取得することができる。
【0049】
第９の発明は、第１から第５のいずれかの発明であって、第１の色画素信号は、白色画素信号である。色空間処理部は、輝度信号取得部と、輝度信号出力部とを備える。
【0050】
輝度信号取得部は、前記ＲＧＢ色空間の画像信号から輝度信号を取得する。輝度信号出力部は、相関度に基づいて、相関の高い方向が判定される場合において、相関の高い方向と、注目画素の位置に対応する色フィルタの種類とに基づいて、輝度信号取得部により取得された輝度信号および第２画像信号に含まれる白色画素信号の中から、ＹＣｂＣｒ色空間の画像信号のＹ成分信号として使用する信号を選択する。
【0051】
これにより、相関の高い方向と注目画素の位置に対応する色フィルとに基づいて、注目画素のＹ成分信号を、ＲＧＢ空間の画像信号から生成された輝度信号と、第２画像信号に含まれる白色画素信号とから選択することができるため、精度の高いＹ成分信号を取得することができる。
【0052】
第１０の発明は、第１から第９のいずれかの発明であって、所定のパターンは、２個の第１色フィルタと、１個の第２色フィルタと、１個の第３色フィルタとが２画素×２画素の領域に配置されたパターンである。２個の第１色フィルタは、白成分用のフィルタであり、前記２画素×２画素の領域において対角方向に配列される。
【0053】
これにより、ＲＧＢ空間の画像信号に含まれる全ての色成分信号を多くの画素で取得することができるため、精度の高いＹ成分信号を取得することができる。
【0054】
第１１の発明は、異なる３色のフィルタが所定のパターンで配列されている色フィルタを有し、被写体光から画像信号を取得する撮像部と、第１から第１０のいずれかの発明である画素補間処理装置と、を備える。
【0055】
これにより、第１から第１０のいずれかの発明である画素補間処理装置を搭載した撮像装置を実現することができる。
【0056】
第１５の発明は、異なる３色のフィルタであって、第１色フィルタ、第２色フィルタ、および、第３色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、第１色フィルタを介して取得される第１色画素信号と、第２色フィルタを介して取得される第２色画素信号と、第３色フィルタを介して取得される第３色画素信号と、から構成される画像信号に対して、画素補間処理を行う画素補間処理方法を、コンピュータに実行させるプログラムである。
【0057】
画素補間処理方法は、信号補正ステップと、彩度評価値算出ステップと、グレー相関値算出ステップと、カラー相関値算出ステップと、画素補間法決定ステップと、補間ステップと、補正処理ステップと、を備える。
【0058】
信号補正ステップは、第１色画素信号、第２色画素信号、および、第３色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の第１〜第３色画素信号から構成される画像信号を第１画像信号として出力する。
【0059】
彩度評価値算出ステップは、信号補正ステップから出力される第１画像信号に基づいて、第１画像信号が形成する画像の所定の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。
【0060】
グレー相関値算出ステップは、第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、画像上において直交する２方向の複数組の相関度をグレー相関度として取得する。
【0061】
カラー相関値算出ステップは、第１〜第３色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、画像上において直交する２方向の複数組の相関度をカラー相関度として取得する。
【0062】
画素補間法決定ステップは、彩度評価値算出ステップにより取得された彩度評価値と、グレー相関値算出ステップにより取得されたグレー相関度と、カラー相関値算出ステップにより取得されたカラー相関度とに基づいて、注目画素の画素補間方法を決定する。
【0063】
補間ステップは、画素補間法決定ステップにより決定された画素補間方法により、注目画素に対して、画素補間処理を実行することで、画素補間処理後の画像信号である第２画像信号を取得する。
【0064】
補正処理ステップは、補間ステップにより取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する。
【0065】
これにより、第１の発明と同様の効果を奏する画素補間処理方法をコンピュータに実行させるプログラムを実現することができる。
【0066】
第１６の発明は、異なる３色のフィルタであって、第１色フィルタ、第２色フィルタ、および、第３色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、第１色フィルタを介して取得される第１色画素信号と、第２色フィルタを介して取得される第２色画素信号と、第３色フィルタを介して取得される第３色画素信号と、から構成される画像信号に対して、画素補間処理を行う集積回路である。
【0067】
この集積回路は、信号補正部と、彩度評価値算出部と、グレー相関値算出部と、カラー相関値算出部と、画素補間法決定部と、補間部と、補正処理部と、を備える。
【0068】
信号補正部は、第１色画素信号、第２色画素信号、および、第３色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の第１〜第３色画素信号から構成される画像信号を第１画像信号として出力する。
【0069】
彩度評価値算出部は、信号補正部から出力される第１画像信号に基づいて、第１画像信号が形成する画像の所定の画像領域の彩度を評価し、画像領域の彩度評価値を取得する。
【0070】
グレー相関値算出部は、第１画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、画像上において直交する２方向の複数組の相関度をグレー相関度として取得する。
【0071】
カラー相関値算出部は、第１〜第３色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、画像上において直交する２方向の複数組の相関度をカラー相関度として取得する。
【0072】
画素補間法決定部は、彩度評価値算出部により取得された彩度評価値と、グレー相関値算出部により取得されたグレー相関度と、カラー相関値算出部により取得されたカラー相関度とに基づいて、注目画素の画素補間方法を決定する。
【0073】
補間部は、画素補間法決定部により決定された画素補間方法により、注目画素に対して、画素補間処理を実行することで、画素補間処理後の画像信号である第２画像信号を取得する。
【0074】
補正処理部は、補間部により取得された第２画像信号に対して、色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する。
【0075】
これにより、第１の発明と同様の効果を奏する集積回路をコンピュータに実行させるプログラムを実現することができる。
【発明の効果】
【0076】
本発明によれば、３色フィルタを有する単板式の撮像素子により取得された画像信号に対して、３色フィルタの配列がどのようなものであっても、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することができる。
【図面の簡単な説明】
【0077】
【図1】第１実施形態に係る撮像装置１０００の概略構成図。
【図2】第１実施形態に係る補正処理部７の概略構成図。
【図3A】第１実施形態に係る色空間処理部７２の概略構成図。
【図3B】第１実施形態に係る色空間処理部７２Ａの概略構成図。
【図4】撮像部Ｃ１に設置される任意の３色配列色フィルタＣ１１における第１成分用色フィルタ、第２成分用色フィルタおよび第３成分用色フィルタの配列パターンの一例を示す図。
【図5】垂直方向評価値の取得処理を説明するための図。
【図6】水平方向評価値の取得処理を説明するための図。
【図7】彩度評価値Ｌと彩度評価係数ＫＬとの関係を示す図。
【図8】カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理を説明するための図。
【図9】カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒの算出処理を説明するための図水平方向評価値の取得処理を説明するための図。
【図10】中心画素が第２又は第３色成分画素である場合における、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理を説明するための図。
【図11】処理対象の画素が第１色成分画素である場合における、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理を説明するための図。
【図12】カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理を説明するための図。
【図13】処理対象の画素が第１色成分画素である場合における、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理を説明するための図。
【図14】グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図。
【図15】グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図。
【図16】グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図。
【図17】グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理を説明するための図。
【図18】彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により選択される相関判定方法および画素補間方法の種別を示す図。
【図19】判定用相関値Ｃｖ，Ｃｈの決定方法についてのフローチャート。
【図20】判定用相関値Ｃｄ１，Ｃｄ２の決定方法についてのフローチャート。
【図21】判定用相関値Ｃｖ，Ｃｈから相関方向を決定するための関係図。
【図22】判定用相関値Ｃｄ１，Ｃｄ２から相関方向を決定するための関係図。
【図23】中心画素（注目画素）がＷ色成分用画素である場合の５画素×５画素のマトリクス領域を示す図。
【図24】中心画素（注目画素）がＹｅ色成分用画素である場合の５画素×５画素のマトリクス領域を示す図。
【図25】第２実施形態に係る撮像装置２０００の概略構成図。
【図26】グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図。
【図27】グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図。
【図28】グレー画像領域用水平方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図。
【図29】グレー画像領域用水平方向相関値Ｃｄ２＿ｇｒａｙの算出処理を説明するための図。
【発明を実施するための形態】
【0078】
［第１実施形態］第１実施形態について、図面を参照しながら、以下、説明する。
【0080】
撮像装置１０００は、図１に示すように、被写体光を光電変換により画像信号として取得する撮像部Ｃ１と、撮像部Ｃ１により取得された画像信号に対して所定の信号処理を行う信号処理部Ｃ２と、信号処理部Ｃ２により所定の信号処理が施された画像信号に対して画素補間処理を行う画素補間処理部１００（画素補間処理装置）と、を備える。
【0081】
撮像部Ｃ１は、光学系と、任意の３色配列色フィルタと、撮像素子とを備える。
【0082】
なお、説明便宜のために、「任意の３色配列色フィルタ」が、Ｗ（白）−Ｙｅ（黄色）−Ｒ（赤）の３色配列色フィルタである場合を一例として、以下、説明する。
【0083】
光学系は、１または複数のレンズからなり、被写体光を集光し、被写体光を撮像素子面に結像させる。なお、光学系は、露光調整、フォーカス調整機能等を有するものであってもよい。
【0084】
Ｗ−Ｙｅ−Ｒ配列色フィルタは、Ｗ成分用色フィルタ、Ｙｅ成分用色フィルタ及びＲ成分用色フィルタの３種類の色成分フィルタを含み、所定のパターンにより構成されている。Ｗ−Ｙｅ−Ｒ配列色フィルタは、撮像素子の撮像素子面上に配置される。なお、Ｗ成分用色フィルタは、全ての色を透過する透明なフィルタである。
【0085】
撮像素子は、複数の画素を有しており、光学系で集光され、Ｗ−Ｙｅ−Ｒ配列色フィルタを介して、撮像素子面上に結像された被写体光を光電変換により画像信号（電気信号）に変換する。撮像素子は、Ｗ成分取得用の画素において、Ｗ成分画素信号を取得し、Ｙｅ成分取得用の画素において、Ｙｅ成分画素信号を取得する。また、撮像素子は、Ｒ成分取得用の画素において、Ｒ成分画素信号を取得する。撮像素子は、各画素に取得した画素信号（Ｗ成分画素信号、Ｙｅ成分画素信号およびＲ成分画素信号）を、画像信号として信号処理部Ｃ２に出力する。
【0086】
信号処理部Ｃ２は、撮像部Ｃ１から出力される画像信号を入力し、入力された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）を行う。信号処理部Ｃ２は、所定の信号処理を施した画像信号を、画像信号Ｄ＿ｒａｗとして、画素補間処理部１００に出力する。
【0087】
画素補間処理部１００は、図１に示すように、信号補正部１と、カラー相関値算出部２と、彩度評価値算出部３と、グレー相関値算出部４と、画素補間法決定部５と、補間部６と、補正処理部７と、を備える。
【0088】
信号補正部１は、信号処理部Ｃ２からの画像信号Ｄ＿ｒａｗを入力し、入力された画像信号Ｄ＿ｒａｗに対して、色成分画素信号ごとに、色フィルタの種別に応じた信号レベルの補正処理を行う。そして、当該補正処理後の画像信号を、画像信号Ｄ１として、彩度評価値算出部３と、グレー相関値算出部４と、補間部６のグレー画像用補間部６２とに出力する。
【0089】
カラー相関値算出部２は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗ（画像信号Ｄ＿ｒａｗにより形成される１枚の画像（１フレーム画像）を画像Ｄ＿ｒａｗと表現する。以下、同様。）を入力する。カラー相関値算出部２は、画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つのカラー相関値を算出する（詳細については後述する）。（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ
（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ
（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ
（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒ
カラー相関値算出部２は、画像Ｄ＿ｒａｗ上の画素ごとに取得した上記４つのカラー相関値を画素補間法決定部５に出力する。なお、上記４つのカラー相関値を総称して、「Ｃｘ＿ｃｏｌｏｒ」と表記する。
【0090】
彩度評価値算出部３は、信号補正部１から出力される画像信号Ｄ１を入力する。彩度評価値算出部３は、画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、彩度評価値Ｌを算出し、さらに、彩度評価値Ｌを所定の関数により正規化した彩度評価係数ＫＬ（０≦ＫＬ≦１）を取得する（詳細については後述する）。そして、彩度評価値算出部３は、画像Ｄ＿ｒａｗ上の画素ごとに取得した彩度評価係数ＫＬを画素補間法決定部５に出力する。
【0091】
グレー相関値算出部４は、信号補正部１から出力される画像信号Ｄ１を入力する。グレー相関値算出部４は、画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つのグレー相関値を算出する（詳細については後述する）。（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ
（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ
（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ
（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ
グレー相関値算出部４は、画像Ｄ＿ｒａｗ上の画素ごとに取得した上記４つのグレー相関値を画素補間法決定部５に出力する。なお、上記４つのグレー相関値を総称して、「Ｃｘ＿ｇｒａｙ」と表記する。
【0092】
画素補間法決定部５は、彩度評価値算出部３から出力される画素ごとの彩度評価係数ＫＬと、カラー相関値算出部２から出力される画素ごとのカラー相関値Ｃｘ＿ｃｏｌｏｒと、グレー相関値算出部４から出力される画素ごとのグレー相関値Ｃｘ＿ｇｒａｙとを入力する。画素補間法決定部５は、画素ごとに、彩度評価係数ＫＬと、カラー相関値Ｃｘ＿ｃｏｌｏｒと、グレー相関値Ｃｘ＿ｇｒａｙとに基づいて、相関方向と、画素補間方法とを決定する（詳細については後述する）。そして、画素補間法決定部５は、画素ごとに決定した、相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄを、補間部６に出力する。また、画素補間法決定部５は、画素ごとに決定した相関方向に関する情報を補正処理部７に出力する。
【0093】
補間部６は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗと、信号補正部１から出力される画像信号Ｄ１と、画素補間法決定部５から出力される画素ごとに決定された相関方向および画素補間方法に関する情報と、を入力する。補間部６は、画像Ｄ＿ｒａｗの画素ごとに、画素補間法決定部５により決定された相関方向および画素補間方法により、全ての画素が３色の成分（本実施形態では、Ｗ成分、Ｙｅ成分、Ｒ成分）を持つように、画素補間処理を行う（詳細については後述する）。そして、補間部６は、画素補間処理後の画像信号（全ての画素が、Ｗ成分、Ｙｅ成分、Ｒ成分を有する画像信号）を、画像信号Ｄ２として、補正処理部７に出力する。
【0094】
補間部６は、例えば、図１に示すように、カラー画像用補間部６１と、グレー画像用補間部６２と、信号逆補正部６３と、選択部６４とを備える。なお、図１では、図示を簡略化するため、補間部６の各機能部において、入出力を省略している部分がある。
【0095】
カラー画像用補間部６１は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗを入力する。カラー画像用補間部６１は、画像信号Ｄ＿ｒａｗに対して、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄに基づいて、カラー画像用補間処理を実行し、当該カラー画像用補間処理実行後の画像信号を選択部６４に出力する。
【0096】
グレー画像用補間部６２は、信号補正部１から出力される画像信号Ｄ１を入力する。グレー画像用補間部６２は、画像信号Ｄ１に対して、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄに基づいて、グレー画像用補間処理を実行し、当該グレー画像用補間処理実行後の画像信号を信号逆補正部６３に出力する。
【0097】
信号逆補正部６３は、グレー画像用補間部６２から出力される画像信号を入力する。信号逆補正部６３は、グレー画像用補間部６２から出力される画像信号に対して、信号補正部１で実行された補正処理と逆の補正処理を実行する。つまり、信号逆補正部６３は、グレー画像用補間部６２から出力される画像信号の信号レベルが、信号補正部１に入力される信号レベルと同等となるように、信号補正部１で実行された補正処理と逆の補正処理（逆補正処理）を実行する。そして、信号逆補正部６３は、当該逆補正処理後の画像信号を、選択部６４に出力する。
【0098】
選択部６４は、カラー画像用補間部６１から出力される画像信号と、信号逆補正部６３から出力される画像信号とを入力する。選択部６４は、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄに基づいて、カラー画像用補間部６１から出力される画像信号と、信号逆補正部６３から出力される画像信号とのいずれか一方の画像信号を選択し、選択した画像信号を、画像信号Ｄ２として、補正処理部７に出力する。
【0099】
補正処理部７は、補間部６から出力される画像信号Ｄ２と、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒとを入力する。補正処理部７は、画像信号Ｄ２に対して補正処理、変換処理等を実行し、ＲＧＢ色空間の信号である画像信号Ｄｏｕｔを取得する。
【0100】
補正処理部７は、例えば、図２に示すように、第１マトリックス変換部７１と、色空間処理部７２と、彩度取得部７３と、色差補正部７４と、第２マトリックス変換部７５とを備える。
【0101】
第１マトリックス変換部７１は、補間部６の選択部６４から出力される画像信号Ｄｏｕｔを入力する。第１マトリックス変換部７１は、画像信号Ｄ２に対して、マトリックス変換を行い、ＲＧＢ色空間の信号と、Ｗ成分画素信号とを含む画像信号Ｄ３を取得する。第１マトリックス変換部７１は、取得した画像信号Ｄ３を色空間処理部７２に出力する。
【0102】
また、第１マトリックス変換部７１は、画像信号Ｄ３に含まれる画素信号のうち、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号を、彩度取得部７３に出力する。
【0103】
色空間処理部７２は、第１マトリックス変換部７１から出力される画像信号Ｄ３と、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒとを入力する。色空間処理部７２は、相関方向に関する情報Ｃｏ＿Ｄｉｒに基づいて、画像信号Ｄ３からＹ成分画素信号（輝度信号）を取得する。また、色空間処理部７２は、画像信号Ｄ３のＲ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号と、上記Ｙ成分画素信号とから、Ｃｂ成分画素信号およびＣｒ成分画素信号を取得する。そして、色空間処理部７２は、取得したＹ成分画素信号、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号から構成される画像信号（ＹＣｂＣｒ色空間の信号）を、画像信号Ｄ４として、出力する。
【0104】
色空間処理部７２は、例えば、図３Ａに示すように、輝度信号取得部７２１と、選択信号生成部７２２と、輝度信号出力部７２３と、減算器７２４、７２６と、ゲイン調整部７２５、７２７とを備える。
【0105】
輝度信号取得部７２１は、第１マトリックス変換部７１から出力されるＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号を入力とする。輝度信号取得部７２１は、入力されたＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号から輝度成分画素信号Ｙ０を取得し、輝度信号出力部７２３に出力する。
【0106】
選択信号生成部７２２は、画素補間法決定部５から出力される画素ごとの相関方向に関する情報Ｃｏ＿Ｄｉｒを入力とし、当該相関方向に関する情報Ｃｏ＿Ｄｉｒに基づいて、選択信号を生成する。そして、選択信号生成部７２２は、生成した選択信号を輝度信号出力部７２３に出力する。
【0107】
輝度信号出力部７２３は、輝度信号取得部７２１から出力された輝度成分画素信号Ｙ０と、第１マトリックス変換部７１から出力されたＷ成分画素信号Ｗと、選択信号生成部７２２から出力される選択信号とを入力する。輝度信号出力部７２３は、選択信号に従って、輝度成分画素信号Ｙ０およびＷ成分画素信号Ｗから輝度成分画素信号Ｙ（Ｙ成分画素信号）を生成して出力する。
【0108】
減算器７２４は、輝度信号出力部７２３から出力された輝度成分画素信号Ｙ（Ｙ成分画素信号）と、第１マトリックス変換部７１から出力されたＢ成分画素信号とを入力とし、減算処理を行い、Ｂ−Ｙ信号（＝Ｂ成分画素信号−輝度成分画素信号Ｙ）を取得し、取得したＢ−Ｙ信号をゲイン調整部７２５に出力する。
【0109】
ゲイン調整部７２５は、減算器７２４から出力されたＢ−Ｙ信号に対して所定のゲイン調整を行うことでＣｂ成分画素信号を取得し、取得したＣｂ成分画素信号を出力する。
【0110】
減算器７２６は、輝度信号出力部７２３から出力された輝度成分画素信号Ｙ（Ｙ成分画素信号）と、第１マトリックス変換部７１から出力されたＲ成分信号とを入力とし、減算処理を行い、Ｒ−Ｙ信号（＝Ｒ成分画素信号−輝度成分画素信号Ｙｏｕｔ）を取得し、取得したＲ−Ｙ信号をゲイン調整部７２７に出力する。
【0111】
ゲイン調整部７２７は、減算器７２６から出力されたＲ−Ｙ信号に対して所定のゲイン調整を行うことでＣｒ成分画素信号を取得し、取得したＣｒ成分画素信号を出力する。
【0112】
つまり、色空間処理部７２は、取得したＹ成分画素信号、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号から構成される画像信号（ＹＣｂＣｒ色空間の信号）を、画像信号Ｄ４として、出力する。なお、色空間処理部７２は、画像信号Ｄ４のうち、Ｙ成分画素信号を、第２マトリックス変換部７５に出力し、Ｃｂ成分画素信号およびＣｒ画素成分信号を色差補正部７４に出力する。
【0113】
色空間処理部７２は、例えば、図３Ｂに示すように、色空間変換部７２１Ａと、選択信号生成部７２２と、輝度信号出力部７２３とを備えるものであってもよい。
【0114】
色空間変換部７２１Ａは、第１マトリックス変換部７１から出力されるＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号を入力とする。色空間変換部７２１Ａは、入力されたＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号に対して、ＲＧＢ−ＹＣｂＣｒ色空間変換を行い、輝度成分画素信号Ｙ０、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号を取得する。そして、色空間変換部７２１Ａは、輝度成分画素信号Ｙ０を輝度信号出力部７２３に出力し、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号を色差補正部７４に出力する。
【0115】
選択信号生成部７２２および輝度信号出力部７２３は、上記で説明したものと同様である。
【0116】
色空間処理部７２は、取得したＹ成分画素信号、Ｃｂ成分画素信号、および、Ｃｒ成分画素信号から構成される画像信号（ＹＣｂＣｒ色空間の信号）を、画像信号Ｄ４として、出力する。なお、色空間処理部７２は、画像信号Ｄ４のうち、Ｙ成分画素信号を、第２マトリックス変換部７５に出力し、Ｃｂ成分画素信号およびＣｒ画素成分信号を色差補正部７４に出力する。
【0117】
彩度取得部７３は、第１マトリックス変換部７１から出力される画像信号Ｄ３のうち、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号を入力する。彩度取得部７３は、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号から、彩度値Ｓを取得する。そして、彩度取得部７３は、取得した彩度値Ｓ（彩度信号Ｓ）を色差補正部７４に出力する。
【0118】
色差補正部７４は、色空間処理部７２から出力されるＣｂ成分画素信号およびＣｒ成分画素信号と、彩度取得部７３から出力される彩度値Ｓ（彩度信号Ｓ）とを入力する。色差補正部７４は、彩度値Ｓに基づいて、色空間処理部７２から出力されるＣｂ成分画素信号およびＣｒ成分画素信号に対して、色差成分補正処理を実行し、色差成分補正処理後のＣｂ成分画素信号およびＣｒ成分画素信号を、第２マトリックス変換部７５に出力する。
【0119】
第２マトリックス変換部７５は、色空間処理部７２から出力されるＹ成分画素信号と、色差補正部７４から出力される、色差成分補正処理後のＣｂ成分画素信号およびＣｒ成分画素信号とを入力する。第２マトリックス変換部７５は、入力された画素信号に対して、ＹＣｂＣｒ色空間をＲＧＢ色空間に変換する処理を行い、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号を取得する。第２マトリックス変換部７５は、取得した、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号から構成される画像信号を、画像信号Ｄｏｕｔとして出力する。
【0120】
＜１．２：撮像装置の動作＞以上のように構成された撮像装置１０００の動作について、以下、説明する。
【0121】
図４は、撮像部Ｃ１に設置される任意の３色配列色フィルタＣ１１における第１成分用色フィルタ、第２成分用色フィルタおよび第３成分用色フィルタの配列パターンの一例を示す図である。図４において、第１色成分用フィルタを白（Ｗ）とし、第２色成分用フィルタを黄色（Ｙｅ）とし、第３色成分用色フィルタを赤（Ｒ）としている。図４に示すように、３色配列色フィルタでは、横方向のある一列において、第１成分用色フィルタ、第２成分用色フィルタ、第１成分用色フィルタ、第２成分用色フィルタ、・・・と、第１成分用色フィルタと第２成分用色フィルタとが交互に配列されていると、その次の一列において、第３成分用色フィルタ、第１成分用色フィルタ、第３成分用色フィルタ、第１成分用色フィルタ、・・・と、第３成分用色フィルタと第１成分用色フィルタとが交互に配列されている。つまり、第１成分用色フィルタ、第２成分用色フィルタ、および、第３成分用色フィルタが、縦２画素×横２画素の領域に配列され、かつ、２つの第１成分用色フィルタが当該領域の対角方向に配列される。
【0122】
≪３色画素配列の画素の表記方法≫ここで、３色配列色フィルタの画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図４の左上領域ＡＲ１のように表す。図４の左上領域ＡＲ１における記号Ｐは、画素がいずれの色成分用画素であるかを考慮しない表記である（図４に示す領域ＡＲ２〜ＡＲ４についても同様）。これに対して、各画素の色成分を区別する場合、画素を示す円の中に、色を示すアルファベットを記載した記号により表記する。例えば、Ｗ（白）−Ｙｅ（黄色）−Ｒ（赤）の３色配列色フィルタである場合、Ｗ成分用画素を記号Ｗと画素位置を示す２桁の数字で示し、Ｙｅ成分用画素を記号Ｙと画素位置を示す２桁の数字で示し、Ｒ成分用画素を記号Ｙと画素位置を示す２桁の数字で示す。
【0123】
記号Ｐ，Ｗ，Ｙ，Ｒの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。なお、他の図面における画素配列の表記方法も上記と同様である。また、実施形態の説明や各数式において、記号Ｐ，Ｗ，Ｙ，Ｒは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。
【0124】
被写体からの光は、撮像部Ｃ１の光学系（不図示）で集光され、撮像素子面上に配置されたＷ−Ｙｅ−Ｒ配列色フィルタＣ１１を介して、撮像部Ｃ１の撮像素子（不図示）に入射される。なお、Ｗ−Ｙｅ−Ｒ配列色フィルタＣ１１は、図４に示す配列パターンであるものとして、以下、説明する。
【0125】
撮像部Ｃ１の撮像素子では、画素ごとに、入射された被写体光は、光電変換により電気信号（画素信号）に変換される。つまり、Ｗ色成分用画素ではＷ色成分画素値が取得され、Ｙｅ色成分用画素ではＹｅ色成分画素値が取得され、Ｒ色成分用画素ではＲ色成分画素値が取得される。そして、上記のようにして取得された画像信号（画素ごとにＷ色成分画素値、Ｙｅ色成分画素値、Ｒ色成分画素値のいずれか１つの画素値を有する画像信号）は、撮像部Ｃ１から信号処理部Ｃ２に出力される。
【0126】
信号処理部Ｃ２では、撮像部Ｃ１から取得された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）が実行される。そして、所定の信号処理が実行された画像信号（画像信号Ｄ＿ｒａｗ）は、画素補間処理部１００の信号補正部１、カラー相関値算出部２、および、補間部６のカラー画像用補間部６１に出力される。
【0127】
（１．２．１：信号補正処理）信号補正部１では、入力された画像信号Ｄ＿ｒａｗに対して、色成分画素信号（色成分画素値）ごとに、色フィルタの種別に応じた信号レベルの補正処理が実行される。具体的には、画像信号Ｄ＿ｒａｗを構成する、Ｗ成分画素信号、Ｙｅ成分画素信号およびＲ成分画素信号を、それぞれ、Ｗｉｎ、ＹｅｉｎおよびＲｉｎとし、Ｗ色フィルタ用補正ゲインをＧａｉｎ＿ｓｉｇ＿Ｗとし、Ｙｅ色フィルタ用補正ゲインをＧａｉｎ＿ｓｉｇ＿Ｙｅとし、Ｒ色フィルタ用補正ゲインをＧａｉｎ＿ｓｉｇ＿Ｒとすると、信号補正部１は、
Ｗｏｕｔ＝Ｗｉｎ×Ｇａｉｎ＿ｓｉｇ＿Ｗ
Ｙｅｏｕｔ＝Ｙｅｉｎ×Ｇａｉｎ＿ｓｉｇ＿Ｙｅ
Ｒｏｕｔ＝Ｒｉｎ×Ｇａｉｎ＿ｓｉｇ＿Ｒ
に相当する処理を実行する。
【0128】
なお、各色フィルタ用補正ゲイン（上記では、Ｇａｉｎ＿ｓｉｇ＿Ｗ、Ｇａｉｎ＿ｓｉｇ＿Ｙｅ、Ｇａｉｎ＿ｓｉｇ＿Ｒ）は、撮像部Ｃ１に設置された色フィルタの種別に応じて決定されるゲインである。例えば、Ｗ１００％の無彩色の光を撮像部Ｃ１の撮像素子で受光した場合、当該Ｗ１００％の無彩色の光が、各色フィルタを通過することにより、同一レベルの電気信号（画素信号）に変換されないことがある。これは、色フィルタの種類により、エネルギー損失の程度や、所定の色成分を多く含む光に対する撮像素子の感度が異なるためである。このような光が色フィルタを通過することにより発生する光電変換後の信号のレベル差を吸収させるように、各色フィルタ用補正ゲイン（上記では、Ｇａｉｎ＿ｓｉｇ＿Ｗ、Ｇａｉｎ＿ｓｉｇ＿Ｙｅ、Ｇａｉｎ＿ｓｉｇ＿Ｒ）が設定される。上述のように、Ｗ色フィルタは透明であるが、Ｗ１００％の光がＷ色フィルタを通過することにより、エネルギー損失等が発生する。このため、信号補正部１は、Ｗ成分画素信号に対しても信号レベルの補正処理を実行する。
【0129】
つまり、上記信号補正処理により、光が色フィルタを通過することにより発生する光電変換後の信号のレベル差を吸収することができ、その結果、信号補正処理後の各画素信号は、適切な輝度情報を有する信号となっている。したがって、信号補正処理後の各画素信号を用いて、グレー画像用補間処理や、グレー相関値算出処理や、彩度評価値算出処理を実行することで、より精度を高くすることができる。
【0130】
このように、信号補正部１では、上記処理が実行されることにより、信号補正処理後のＷ成分画素信号Ｗｏｕｔ、信号補正処理後のＹｅ成分画素信号Ｙｏｕｔ、および、信号補正処理後のＲ成分画素信号Ｒｏｕｔが取得される。
【0131】
そして、信号補正部１により取得された画像信号Ｄ１は、補間部６のグレー画像用補間部６２、彩度評価値算出部３、および、グレー相関値算出部４に出力される。
【0132】
彩度評価値算出部３では、信号補正部１から出力された画像信号Ｄ１ (画像Ｄ１)から、画素ごとに、彩度評価値が算出され、さらに、彩度評価値Ｌを所定の関数により正規化した彩度評価係数ＫＬ（０≦ＫＬ≦１）が取得される。これについて、以下、詳細に説明する。
【0133】
（１．２．２：彩度評価値算出処理）彩度評価値算出部３は、入力された画像Ｄ１において、注目画素を中心とする５画素×５画素の画像領域（以下、「マトリクス領域」という。）を設定する。彩度評価値算出部３は、設定したマトリクス領域において、色成分のばらつき状況を分析することで、当該マトリクス領域の彩度評価値（注目画素の彩度評価値）を算出する。
【0134】
具体的には、彩度評価値算出部３は、注目画素を含むマトリクス領域において、以下の（１）〜（３）の３つの評価値を算出し、算出した３つの評価値の中の最小値を彩度評価値Ｌとする。（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
（２）垂直方向評価値ｖ＿ｃｏｌｏｒ
（３）水平方向評価値ｈ＿ｃｏｌｏｒ
上記（１）〜（３）の評価値の算出処理について、以下、説明する。
【0136】
彩度評価値算出部３は、マトリクス領域を４つのパターンに分類する。
【0137】
図４において、画素Ｐ００及びＰ１１を第１色成分用画素（白）とし、画素Ｐ０１を第２色成分用画素（Ｙｅ）とし、画素Ｐ１０を第３色成分用画素（Ｒ）とすると、図４の５画素×５画素のマトリックス領域ＡＲ１〜ＡＲ４は、以下のように分類される。（Ａ）図４の５画素×５画素のマトリックス領域ＡＲ１は、中心画素が第１色成分用画素（画素Ｐ００と同色の画素Ｐ２２）であり、かつ、中心画素の横方向に隣接する画素が第２色成分画素と同色の画素である場合のマトリクス領域に分類される。
（Ｂ）図４の５画素×５画素のマトリックス領域ＡＲ２は、中心画素が第２色成分用画素（画素Ｐ０１と同色の画素Ｐ２７）の場合のマトリクス領域に分類される。
（Ｃ）図４の５画素×５画素のマトリックス領域ＡＲ３は、中心画素が第３色成分用画素（画素Ｐ１０と同色の画素Ｐ７２）の場合のマトリクス領域に分類される。
（Ｄ）図４の５画素×５画素のマトリックス領域ＡＲ４は、中心画素が第１色成分用画素（画素Ｐ１１と同色の画素Ｐ７７）であり、かつ、中心画素の横方向に隣接する画素が第３色成分画素と同色の画素である場合のマトリクス領域に分類される。
【0138】
彩度評価値算出部３は、上記のように分類した５画素×５画素のマトリックス領域について、以下のように、第１色成分用画素（Ｗ）の画素値の平均値ｐ００＿ｃｏｌｏｒ１と、第２色成分用画素（Ｙｅ）の画素値の平均値ｐ０１＿ｃｏｌｏｒ２と、第３色成分用画素（Ｒ）の画素値の平均値ｐ１０＿ｃｏｌｏｒ３とを算出する。（Ａ）５画素×５画素の領域が、上記（Ａ）に分類される場合、
ｐ００＿ｃｏｌｏｒ１＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３＋Ｐ２２）／５
ｐ０１＿ｃｏｌｏｒ２＝（Ｐ２１＋Ｐ２３）／２
ｐ１０＿ｃｏｌｏｒ３＝（Ｐ１２＋Ｐ３２）／２
（Ｂ）５画素×５画素の領域が、上記（Ｂ）に分類される場合、
ｐ００＿ｃｏｌｏｒ１＝（Ｐ１２＋Ｐ２１＋Ｐ２３＋Ｐ３２）／４
ｐ０１＿ｃｏｌｏｒ２＝Ｐ２２
ｐ１０＿ｃｏｌｏｒ３＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３）／４
（Ｃ）５画素×５画素の領域が、上記（Ｃ）に分類される場合、
ｐ００＿ｃｏｌｏｒ１＝（Ｐ１２＋Ｐ２１＋Ｐ２３＋Ｐ３２）／４
ｐ０１＿ｃｏｌｏｒ２＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３）／４
ｐ１０＿ｃｏｌｏｒ３＝Ｐ２２
（Ｄ）５画素×５画素の領域が、が、上記（Ｄ）に分類される場合、
ｐ００＿ｃｏｌｏｒ１＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３＋Ｐ２２）／５
ｐ０１＿ｃｏｌｏｒ２＝（Ｐ１２＋Ｐ３２）／２
ｐ１０＿ｃｏｌｏｒ３＝（Ｐ２１＋Ｐ２３）／２
そして、彩度評価値算出部３は、
【数2】
【0139】
なお、上記数式において、係数ｋ０１、ｋ０２、ｋ０３、ｋ１１、ｋ１２、および、ｋ１３は、取得しようとする色成分差分値に合わせて、設定される係数である。また、変数ｏｆｆｓｅｔ０およびｏｆｆｓｅｔ１は、オフセットを設定するための数値（オフセット値）である。
【0140】
彩度評価値算出部３は、上記係数ｋ０１〜ｋ０３、ｋ１１〜ｋ１３を、３色フィルタの色と、取得したい色差成分とに基づいて、設定することで、３色フィルタの色がどのようなものであっても、色空間変換処理（色成分差分値取得処理）に相当する上記処理を行うことで、所望の色成分差分値を取得することができる。
【0141】
３色フィルタがＷ−Ｙｅ−Ｒ配列色フィルタであり、第１色成分用画素が白であり、第２色成分画素が黄色であり、第３色成分画素が赤である場合、ｋ０１＝１
ｋ０２＝−１
ｋ０３＝０
ｋ１１＝１
ｋ１２＝０
ｋ１３＝−１
ｏｆｆｓｅｔ０＝ｏｆｆｓｅｔ１＝０
と設定することで、上記（数式）に相当する処理は、
ｃｏｌｏｒ＿ｄｉｆｆ０＝ｐ００＿ｃｏｌｏｒ１−ｐ０１＿ｃｏｌｏｒ２
ｃｏｌｏｒ＿ｄｉｆｆ１＝ｐ００＿ｃｏｌｏｒ１−ｐ１０＿ｃｏｌｏｒ３
に相当する処理となる。
【0142】
つまり、この場合、彩度評価値算出部３では、上記に相当する処理を実行することで、（Ｗ−Ｙｅ）成分であるｃｏｌｏｒ＿ｄｉｆｆ０と、（Ｗ−Ｒ）成分であるｃｏｌｏｒ＿ｄｉｆｆ１を取得することができる。
【0143】
彩度評価値算出部３は、上記のようにして取得した色成分差分値ｃｏｌｏｒ＿ｄｉｆｆ０およびｃｏｌｏｒ＿ｄｉｆｆ１を用いて、ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ
＝ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ０）＋ａｂｓ（ｃｏｌｏｒ＿ｄｉｆｆ１）
ａｂｓ（ｘ）：ｘの絶対値を取得する関数
に相当する処理を実行することで、平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒを算出する。
【0145】
彩度評価値算出部３は、図５（ａ）に示すように、画素Ｐ２２を中心画素とする３画素×３画素の領域ＡＲ２１において、以下の数式に相当する処理を行うことで、垂直方向の第１評価値ｖＭ＿ｃｏｌｏｒを取得する。
【0146】
ｖＭ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３１）＋（ａｂｓ（Ｐ１２−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３２））×２
＋ａｂｓ（Ｐ１３−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３３））／８
なお、上式において、係数「２」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。Ｐ１１、Ｐ３１、Ｐ２２、Ｐ１３、Ｐ３３の５つの画素が第１色の色成分（Ｗ）の画素となり、Ｐ２１、Ｐ２３の２つの画素が第２色の色成分（Ｙｅ）の画素となり、Ｐ１２、Ｐ３２の２つの画素が第３色の色成分（Ｒ）の画素となる。したがって、（第１色成分画素−第２色成分画素）の演算数が「４」であり、（第１色成分画素−第３色成分画素）の演算数が「２」であるため、（ａｂｓ（Ｐ１２−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３２））に「２」が乗算されている。なお、この乗算する係数は「２」に限定されることはなく、他の値としてもよい。
【0147】
また、彩度評価値算出部３は、図５（ｂ）に示すように、画素Ｐ１２を中心画素とする３画素×３画素の領域ＡＲ２２において、以下の数式に相当する処理を行うことで、垂直方向の第２評価値ｖＵ＿ｃｏｌｏｒを取得する。
【0148】
ｖＵ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ０１−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２１）＋（ａｂｓ（Ｐ０２−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２２））×２
＋ａｂｓ（Ｐ０３−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２３））／８
なお、上式において、係数２が乗算されている項があるのは、垂直方向の第１評価値ｖＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。
【0149】
また、彩度評価値算出部３は、図５（ｃ）に示すように、画素Ｐ３２を中心画素とする３画素×３画素の領域ＡＲ２３において、以下の数式に相当する処理を行うことで、垂直方向の第３評価値ｖＬ＿ｃｏｌｏｒを取得する。
【0150】
ｖＬ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ２１−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４１）＋（ａｂｓ（Ｐ２２−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４２））×２
＋ａｂｓ（Ｐ２３−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４３））／８
なお、上式において、係数「２」が乗算されている項があるのは、垂直方向の第１評価値ｖＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。
【0151】
彩度評価値算出部３は、上記処理により取得した垂直方向の第１〜第３の評価値に対して、以下の数式に相当する処理を行うことで、垂直方向評価値ｖ＿ｃｏｌｏｒを算出する。
【0152】
ｖ＿ｃｏｌｏｒ＝ｍｉｎ（ｖＭ＿ｃｏｌｏｒ，ｖＵ＿ｃｏｌｏｒ，ｖＬ＿ｃｏｌｏｒ）なお、関数ｍｉｎ（）は、要素の最小値を取得する関数である。
【0154】
彩度評価値算出部３は、図６（ａ）に示すように、画素Ｐ２２を中心画素とする３画素×３画素の領域ＡＲ３１において、以下の数式に相当する処理を行うことで、水平方向の第１評価値ｈＭ＿ｃｏｌｏｒを取得する。
【0155】
ｈＭ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１１−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１３）＋（ａｂｓ（Ｐ２１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２３））×２
＋ａｂｓ（Ｐ３１−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ３３））／８
なお、上式において、係数「２」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。Ｐ１１、Ｐ３１、Ｐ２２，Ｐ１３、Ｐ３３の５つの画素が第１色の色成分（Ｗ）の画素となり、Ｐ２１、Ｐ２３の２つの画素が第２色の色成分の画素（Ｙｅ）となり、Ｐ１２、Ｐ３２の２つの画素が第３色の色成分（Ｒ）の画素となる。したがって、（第１色成分画素−第３色成分画素）の演算数が「４」であり、（第１色成分画素−第２色成分画素）の演算数が「２」であるため、（ａｂｓ（Ｐ２１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２３））に「２」が乗算されている。なお、この乗算する係数は「２」に限定されることはなく、他の値としてもよい。
【0156】
また、彩度評価値算出部３は、図６（ｂ）に示すように、画素Ｐ２１を中心画素とする３画素×３画素の領域ＡＲ３２において、以下の数式に相当する処理を行うことで、水平方向の第２評価値ｈＬ＿ｃｏｌｏｒを取得する。
【0157】
ｈＬ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１０−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ１２）＋（ａｂｓ（Ｐ２０−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ２２））×２
＋ａｂｓ（Ｐ３０−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ３２））／８
なお、上式において、係数２が乗算されている項があるのは、水平方向の第１評価値ｈＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。
【0158】
また、彩度評価値算出部３は、図６（ｃ）に示すように、画素Ｐ２３を中心画素とする３画素×３画素の領域ＡＲ３３において、以下の数式に相当する処理を行うことで、水平方向の第３評価値ｈＲ＿ｃｏｌｏｒを取得する。
【0159】
ｈＲ＿ｃｏｌｏｒ＝（ａｂｓ（Ｐ１２−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ１４）＋（ａｂｓ（Ｐ２２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ２４））×２
＋ａｂｓ（Ｐ３２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ３４））／８
なお、上式において、係数「２」が乗算されている項があるのは、水平方向の第１評価値ｈＭ＿ｃｏｌｏｒの取得する処理において説明したのと同様の理由による。
【0160】
彩度評価値算出部３は、上記処理により取得した水平方向の第１〜第３の評価値に対して、以下の数式に相当する処理を行うことで、水平方向評価値ｈ＿ｃｏｌｏｒを算出する。
【0161】
ｈ＿ｃｏｌｏｒ＝ｍｉｎ（ｈＭ＿ｃｏｌｏｒ，ｈＬ＿ｃｏｌｏｒ，ｈＲ＿ｃｏｌｏｒ）なお、関数ｍｉｎ（）は、要素の最小値を取得する関数である。
【0162】
以上の処理を行った後、彩度評価値算出部３は、以下の数式に相当する処理を行うことで、彩度評価値Ｌを取得する。
【0163】
Ｌ＝ｍｉｎ（ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ，ｇｌ＿ｃｏｌｏｒ，ｖ＿ｃｏｌｏｒ，ｈ＿ｃｏｌｏｒ）なお、関数ｍｉｎ（）は、要素の最小値を取得する関数である。
【0164】
つまり、彩度評価値算出部３は、（１）平均色成分差分評価値ｄｉｆｆ＿ａｖｅ＿ｃｏｌｏｒ、（２）垂直方向評価値ｖ＿ｃｏｌｏｒ、（３）水平方向評価値ｈ＿ｃｏｌｏｒの３つの評価値の中で最小値をとる評価値を、彩度評価値Ｌとする。
【0165】
彩度評価値算出部３は、上記処理により取得した、注目画素についての彩度評価値Ｌを正規化して彩度評価係数ＫＬを算出する。図７は、注目画素についての彩度評価値Ｌを正規化して彩度評価係数ＫＬを算出するための関数の一例の入出力特性を示す図である。彩度評価値算出部３は、例えば、２つの閾値Ｔ１、Ｔ２を用いて、下記に相当する処理を行うことで、彩度評価係数ＫＬを取得する。
【0166】
ＫＬ＝ｆ（Ｌ）なお、関数ｆ（ｘ）は、
ｘ≦Ｔ１のとき、ｆ（ｘ）＝０
Ｔ１≦ｘ≦Ｔ２のとき、ｆ（ｘ）＝（ｘ−Ｔ１）／（Ｔ２−Ｔ１）
ｘ≧Ｔ２のとき、ｆ（ｘ）＝１
である。なお、関数ｆ（ｘ）は、上記に限定されず、彩度評価値Ｌがとる範囲を０〜１の範囲の値に変換する関数であれば他の関数（大局的に彩度評価係数が彩度評価値Ｌについて単調増加する関数等）であってもよい。
【0167】
上記処理により、彩度評価値Ｌは、０≦ＫＬ≦１を満たす彩度評価係数ＫＬに変換される。
【0168】
なお、２つの閾値Ｔ１、Ｔ２は、グレー画像領域（彩度の低い画像領域）とカラー画像領域（彩度の高い画像領域）の境界近傍に設定される閾値であるので、実験結果や経験に基づいて最適な値を決定するようにすればよいが、入力画像の特性によって決定される可変パラメータとすることが好ましい。入力画像の特性は、たとえば、撮像装置１０００の露光時間、絞り値などの撮影条件により決定される。また、入力画像の特性に、撮像素子（ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）の特性やレンズの光学特性などを考慮するようにしてもよい。
【0169】
以上のようにして彩度評価値算出部３により算出された彩度評価係数ＫＬは、画素補間法決定部５に出力される。
【0170】
（１．２．３：カラー相関値算出処理）次に、カラー相関値算出処理について説明する。
【0171】
カラー相関値算出部２では、信号処理部Ｃ２から出力された画像信号Ｄ＿ｒａｗ(画像Ｄ＿ｒａｗ)から、画素ごとに、カラー画像領域用相関値（彩度が高い画像領域用の相関値）が算出される。これについて、以下、詳細に説明する。
【0172】
カラー相関値算出部２は、信号処理部Ｃ２から出力された画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つのカラー画像領域用の相関値を算出する。（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ
（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ
（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ
（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒ
上記（Ａ１）〜（Ａ４）のカラー画像領域用の相関値の算出処理について、以下、説明する。
【0173】
≪（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ≫まず、カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理について説明する。カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理は、注目画素の色成分に関係なく、共通である。
【0174】
図８は、カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0175】
カラー相関値算出部２は、図８に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ４１において、垂直方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒを取得する。
【0176】
ｓｕｍ＝ａｂｓ（Ｐ０２―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４２）＋ａｂｓ（Ｐ１１−Ｐ３１）＋ａｂｓ（Ｐ１３−Ｐ３３）
＋ａｂｓ（Ｐ１２−Ｐ３２）×２
＋（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））／２
Ｃｖ＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１２−Ｐ３２）に係数「２」が、（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。
【0177】
≪（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ≫次に、カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒの算出処理について、図９を用いて、説明する。カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒの算出処理は、注目画素の色成分に関係なく、共通である。
【0178】
図９は、カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0179】
カラー相関値算出部２は、図９に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ５１において、水平方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒを取得する。
【0180】
ｓｕｍ＝ａｂｓ（Ｐ２０―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２４）＋ａｂｓ（Ｐ１１−Ｐ１３）＋ａｂｓ（Ｐ３１−Ｐ３３）
＋（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））／２
＋ａｂｓ（Ｐ２１−Ｐ２３）×２
Ｃｈ＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ２１−Ｐ２３）に係数「２」が、（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。
【0181】
≪（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ≫次に、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理について説明する。注目画素の色成分によって、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒを算出するに用いられる計算式が異なる。
【0182】
｛処理対象の画素が第２又は第３色成分画素である場合｝図１０は、注目画素が第２色成分画素（Ｙｅ）又は第３色成分画素（Ｒ）である場合における、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理を説明するための図である。図１０は、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0183】
カラー相関値算出部２は、図１０に示すように、第１斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒを取得する。
【0184】
ｓｕｍ＝ａｂｓ（Ｐ００―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４４）＋ａｂｓ（Ｐ１２−Ｐ３４）＋ａｂｓ（Ｐ２１―Ｐ４３）
＋ａｂｓ（Ｐ１１−Ｐ３３）×２
＋ａｂｓ（Ｐ１０−Ｐ３２）＋ａｂｓ（Ｐ０１―Ｐ２３）
Ｃｄ１＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１１−Ｐ３３）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。
【0185】
｛処理対象の画素が第１色成分画素である場合｝図１１は、注目画素が第１色成分画素（Ｗ）である場合における、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒの算出処理を説明するための図である。図１１は、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0186】
カラー相関値算出部２は、図１１に示すように、第１斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒを取得する。
【0187】
ｓｕｍ＝ａｂｓ（Ｐ００―Ｐ１１）＋（ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３））×２
＋ａｂｓ（Ｐ３３−Ｐ４４）
＋ａｂｓ（Ｐ１２−Ｐ３４）＋ａｂｓ（Ｐ１０−Ｐ３２）
＋ａｂｓ（Ｐ０１―Ｐ２３）＋ａｂｓ（Ｐ２１―Ｐ４３）
Ｃｄ１＿ｃｏｌｏｒ＝ｓｕｍ／１０
なお、上記数式では、ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、他の値であってもよい。
【0188】
≪（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒ≫次に、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理について説明する。注目画素の色成分によって、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒを算出するための計算式が異なる。
【0189】
｛注目画素が第２又は第３色成分画素である場合｝図１２は、注目画素が第２色成分画素（Ｙｅ）又は第３色成分画素（Ｒ）である場合における、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理を説明するための図である。図１２は、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0190】
カラー相関値算出部２は、図１２に示すように、第２斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒを取得する。
【0191】
ｓｕｍ＝ａｂｓ（Ｐ０４―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４０）＋ａｂｓ（Ｐ１２−Ｐ３０）＋ａｂｓ（Ｐ２３―Ｐ４１）
＋ａｂｓ（Ｐ１３−Ｐ３１）×２
＋ａｂｓ（Ｐ０３―Ｐ２１）＋ａｂｓ（Ｐ１４−Ｐ３２）
Ｃｄ２＿ｃｏｌｏｒ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１３−Ｐ３１）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。
【0192】
｛注目画素が第１色成分画素である場合｝図１３は、処理対象の画素が第１色成分画素（Ｗ）である場合における、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒの算出処理を説明するための図である。図１３は、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0193】
カラー相関値算出部２は、図１３に示すように、第２斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、カラー相関値算出部２は、以下の数式に相当する処理を行うことで、カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒを取得する。
【0194】
ｓｕｍ＝ａｂｓ（Ｐ０４―Ｐ１３）＋（ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３１））×２
＋ａｂｓ（Ｐ３１−Ｐ４０）
＋ａｂｓ（Ｐ１２−Ｐ３０）＋ａｂｓ（Ｐ１４−Ｐ３２）
＋ａｂｓ（Ｐ０３―Ｐ２１）＋ａｂｓ（Ｐ２３―Ｐ４１）
Ｃｄ１＿ｃｏｌｏｒ＝ｓｕｍ／１０
なお、上記数式では、ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３１）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、他の値であってもよい。
【0195】
以上により、カラー相関値算出部２により算出された４つのカラー相関値である、（Ａ１）カラー画像領域用垂直方向相関値Ｃｖ＿ｃｏｌｏｒ、（Ａ２）カラー画像領域用水平方向相関値Ｃｈ＿ｃｏｌｏｒ、（Ａ３）カラー画像領域用第１斜め方向相関値Ｃｄ１＿ｃｏｌｏｒ、および、（Ａ４）カラー画像領域用第２斜め方向相関値Ｃｄ２＿ｃｏｌｏｒは、画素補間法決定部５に出力される。
【0196】
（１．２．４：グレー画像領域用相関値算出処理）次に、グレー画像領域用相関値算出処理について、説明する。
【0197】
グレー相関値算出部４は、信号補正部１から出力された画像Ｄ１上の注目画素（処理対象の画素）について、以下の４つのグレー画像領域用の相関値を算出する。（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ
（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ
（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ
（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ
上記（Ｂ１）〜（Ｂ４）のグレー画像領域用の相関値の算出処理について、以下、説明する。
【0199】
図１４は、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0200】
グレー相関値算出部４は、図１４に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ６１において、垂直方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４は、以下の数式に相当する処理を行うことで、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙを取得する。
【0201】
ｓｕｍ＝ａｂｓ（Ｐ０２―Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４２）
＋ａｂｓ（Ｐ０１−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２１）
＋ａｂｓ（Ｐ２１−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４１）
＋ａｂｓ（Ｐ０３−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２３）
＋ａｂｓ（Ｐ２３−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４３）
Ｃｖ＿ｇｒａｙ＝ｓｕｍ／６
≪（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ≫
次に、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理について、図１５を用いて、説明する。
【0202】
図１５は、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0203】
グレー相関値算出部４は、図１５に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ７１において、水平方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４は、以下の数式に相当する処理を行うことで、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙを取得する。
【0204】
ｓｕｍ＝ａｂｓ（Ｐ２０―Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ２４）
＋ａｂｓ（Ｐ１０−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ１２）
＋ａｂｓ（Ｐ１２−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ１４）
＋ａｂｓ（Ｐ３０−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ３２）
＋ａｂｓ（Ｐ３２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ３４）
Ｃｈ＿ｇｒａｙ＝ｓｕｍ／６
≪（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ≫
次に、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理について、図１６を用いて、説明する。
【0205】
図１６は、グレー画像領域用水平方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0206】
グレー相関値算出部４は、図１６に示すように、第１斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４は、以下の数式に相当する処理を行うことで、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙを取得する。
【0207】
ｓｕｍ＝ａｂｓ（Ｐ００―Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４４）＋ａｂｓ（Ｐ１０−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４３）
＋ａｂｓ（Ｐ０１−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３４）
Ｃｄ１＿ｇｒａｙ＝ｓｕｍ／５
≪（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ≫
次に、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理について、図１７を用いて、説明する。
【0208】
図１７は、グレー画像領域用水平方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0209】
グレー相関値算出部４は、図１７に示すように、第２斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４は、以下の数式に相当する処理を行うことで、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙを取得する。
【0210】
ｓｕｍ＝ａｂｓ（Ｐ０４―Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４０）＋ａｂｓ（Ｐ０３−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３０）
＋ａｂｓ（Ｐ１４−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４１）
Ｃｄ２＿ｇｒａｙ＝ｓｕｍ／５
なお、図１４（グレー画像領域用垂直方向相関値算出処理）および図１５（グレー画像領域用水平方向相関値算出処理）における場合と、図１６（グレー画像領域用第１斜め方向相関値算出処理）および図１７（グレー画像領域用第２斜め方向相関値算出処理）における場合とでは、差分演算の対象となる画素間の距離が異なる。しかし、上記では、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、例えば、上記処理（グレー画像領域用の相関値算出処理）において、画素差分値について、画素間の距離に応じた重み付けを行うようにしてもよい（例えば、画素差分値に２の２乗根を乗算するようにしてもよい）。
【0211】
また、上記グレー画像領域用の相関値算出処理においては、カラー画像領域用の相関値との比較を容易にするためにスケールを合わせるようにしている。つまり、図１４〜図１７で示された演算対象の画素間の距離は、隣接する画素間の距離である。したがって、上記グレー画像領域用の相関値算出処理の数式においては、各画素差分値に「２」を乗算してスケールを合わせた結果、上記グレー画像領域用の相関値算出処理の数式の各式における最後の乗算値（１／６と１／５）が累積数の逆数の２倍の値となっている。ただし、グレー画像領域における相関方向は、グレー画像領域用の相関値のみを用いて判定されるため、必ずしもスケールを合わせる必要はない。
【0212】
以上により、グレー相関値算出部４により取得されたグレー画像領域用相関値（Ｃｖ＿ｇｒａｙ、Ｃｈ＿ｇｒａｙ、Ｃｄ１＿ｇｒａｙ、Ｃｄ２＿ｇｒａｙ）は、画素補間法決定部５に出力される。
【0213】
（１．２．５：画素補間法決定部５での処理）≪相関判定方法と画素補間方法の選択≫
画素補間法決定部５では、彩度評価値算出部３が算出した彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２（ＴＨ１≦ＴＨ２）との関係に基づいて、画素ごとに、相関判定方法と画素補間方法とを選択する。
【0214】
具体的には、相関判定方法の選択とは、（１）グレー画像領域用の相関値を採用して相関方向を判定するのか、（２）カラー画像領域用の相関値を採用して相関方向を判定するのか、あるいは、（３）グレー画像領域用とカラー画像領域用の相関値を総合判断して選択された相関値を用いて相関方向を判定するかの選択である。
【0215】
また、画素補間方法の選択とは、グレー画像領域用とカラー画像領域用のうちいずれの画素補間方法を採用するかの選択である。
【0216】
図１８は、彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により選択される相関判定方法および画素補間方法の種別を示している。具体的には、図１８に示すように、相関判定方法および画素補間方法は、以下の（ａ）〜（ｃ）の組み合わせに分類される。（ａ）ＫＬ＞ＴＨ２の場合
相関判定方法：カラー画像領域用の相関値を用いて相関方向を判定する。
画素補間方法：カラー画像領域用の画素補間方法を用いる。
（ｂ）ＴＨ１＜ＫＬ≦ＴＨ２の場合
相関判定方法：カラー画像領域用の相関値とグレー画像領域用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。
画素補間方法：カラー画像領域用の画素補間方法を用いる。
（ｃ）ＫＬ≦ＴＨ１の場合
相関判定方法：グレー画像領域用の相関値を用いて相関方向を判定する。
画素補間方法：グレー画像領域用の画素補間方法を用いる。
【0217】
上記により、画素ごとに決定された画素補間方法についての情報は、画素補間法決定部５から補間部６に出力される。
【0218】
（１．２．５．１：相関方向判定処理）≪判定用相関値の選択≫
画素補間法決定部５では、（１）カラー相関値算出部２により算出されたカラー画像領域用の４方向の相関値Ｃｖ＿ｃｏｌｏｒ，Ｃｈ＿ｃｏｌｏｒ，Ｃｄ１＿ｃｏｌｏｒ，Ｃｄ２＿ｃｏｌｏｒと、（２）グレー相関値算出部４により算出されたグレー画像領域用の４方向の相関値Ｃｖ＿ｇｒａｙ，Ｃｈ＿ｇｒａｙ，Ｃｄ１＿ｇｒａｙ，Ｃｄ２＿ｇｒａｙとから、次のようにして、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を選択する。なお、判定用相関値は、注目画素（処理対象画素）の相関方向（画素補間処理を実行するときに参照される相関方向）を決定するために用いられる。
（ａ）ＫＬ＞ＴＨ２の場合の判定用相関値
画素補間法決定部５は、カラー画像領域用の相関値を、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２として用いる。つまり、画素補間法決定部５は、
Ｃｖ＝Ｃｖ＿ｃｏｌｏｒ
Ｃｈ＝Ｃｈ＿ｃｏｌｏｒ
Ｃｄ１＝Ｃｄ１＿ｃｏｌｏｒ
Ｃｄ２＝Ｃｄ２＿ｃｏｌｏｒ
とする。
（ｃ）ＫＬ≦ＴＨ１の場合の判定用相関値
画素補間法決定部５は、グレー画像領域用の相関値を、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２として用いる。つまり、画素補間法決定部５は、
Ｃｖ＝Ｃｖ＿ｇｒａｙ
Ｃｈ＝Ｃｈ＿ｇｒａｙ
Ｃｄ１＝Ｃｄ１＿ｇｒａｙ
Ｃｄ２＝Ｃｄ２＿ｇｒａｙ
とする。
（ｂ）ＴＨ１＜ＫＬ≦ＴＨ２の場合の判定用相関値
この場合、画素補間法決定部５は、グレー画像領域用の相関値とカラー画像領域用の相関値とを総合判断して、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を決定する。この判断方法について、図１９、図２０のフローチャートを参照しながら、以下説明する。
【0219】
まず、判定用相関値Ｃｖ，Ｃｈの決定方法について、図１９のフローチャートを参照しながら、以下、説明する。
【0220】
（Ｓ１０１）：ステップＳ１０１において、画素補間法決定部５は、下記数式に示すように、カラー画像領域用の相関値Ｃｖ＿ｃｏｌｏｒとＣｈ＿ｃｏｌｏｒとの差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒを算出する。
【0221】
ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ＝ａｂｓ（Ｃｖ＿ｃｏｌｏｒ−Ｃｈ＿ｃｏｌｏｒ）また、画素補間法決定部５は、下記数式に示すように、グレー画像領域用の相関値Ｃｖ＿ｇｒａｙとＣｈ＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙを算出する。
【0222】
ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙ＝ａｂｓ（Ｃｖ＿ｇｒａｙ−Ｃｈ＿ｇｒａｙ）（Ｓ１０２）：
ステップＳ１０２において、画素補間法決定部５は、下記数式により、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙを算出する。
【0223】
ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ＝ａｂｓ（ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ−ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙ）（Ｓ１０３）：
ステップＳ１０３において、画素補間法決定部５は、ステップＳ１０２で算出した差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙと、閾値Ｔｈｖとの大小関係を判定する。
【0224】
そして、ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ≦Ｔｈｖである場合、画素補間法決定部５は、処理をステップＳ１０４に進める。それ以外の場合、画素補間法決定部５は、処理をステップＳ１０５に進める。
【0225】
（Ｓ１０４）：ステップＳ１０４において、画素補間法決定部５は、以下の数式に相当する処理を行うことで、判定用相関値Ｃｖ，Ｃｈを取得する。
【0226】
Ｃｖ＝ｍｉｎ（Ｃｖ＿ｃｏｌｏｒ、Ｃｖ＿ｇｒａｙ）Ｃｈ＝ｍｉｎ（Ｃｈ＿ｃｏｌｏｒ、Ｃｈ＿ｇｒａｙ）
なお、ｍｉｎ（）は、要素の最小値を取得する関数である。
【0227】
（Ｓ１０５〜Ｓ１０７）：ステップＳ１０５において、画素補間法決定部５は、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの大小関係を判定する。
【0228】
そして、ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙの場合、画素補間法決定部５は、Ｃｖ＝Ｃｖ＿ｃｏｌｏｒ
Ｃｈ＝Ｃｈ＿ｃｏｌｏｒ
とする（ステップＳ１０６）。
【0229】
一方、ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙではない場合、画素補間法決定部５は、Ｃｖ＝Ｃｖ＿ｇｒａｙ
Ｃｈ＝Ｃｈ＿ｇｒａｙ
とする（ステップＳ１０７）。
【0230】
以上の処理により、画素補間法決定部５は、判定用相関値Ｃｖ，Ｃｈを選択（決定）する。
【0231】
上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値ＴＨｖ以下の場合とは、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの差が小さいときである。つまり、この条件を満たす場合として、垂直方向、水平方向のいずれの方向にも強い相関が見られない場合が想定される。
【0232】
このような場合、画素補間法決定部５は、垂直方向、水平方向それぞれについて、グレー画像領域用とカラー画像領域用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択する（ステップＳ１０４）。
【0233】
また、上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値ＴＨｖより大きい場合とは、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙとの差が大きいときである。つまり、この条件を満たす場合として、垂直方向、水平方向のいずれかに強い相関が見られる場合が想定される。
【0234】
このような場合、画素補間法決定部５は、差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｖｈ＿ｇｒａｙの大小を比較し、差分絶対値が大きい方の相関値を選択する（ステップＳ１０５〜Ｓ１０７）。
【0235】
次に、判定用相関値Ｃｄ１，Ｃｄ２の決定方法について、図２０のフローチャートを参照しながら、以下、説明する。
【0236】
（Ｓ１１１）：ステップＳ１１１において、画素補間法決定部５は、下記数式に示すように、カラー画像領域用の相関値Ｃｄ１＿ｃｏｌｏｒとＣｄ２＿ｃｏｌｏｒとの差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒを算出する。
【0237】
ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ＝ａｂｓ（Ｃｄ１＿ｃｏｌｏｒ−Ｃｄ２＿ｃｏｌｏｒ）また、画素補間法決定部５は、下記数式に示すように、グレー画像領域用の相関値Ｃｄ１＿ｇｒａｙとＣｄ２＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙを算出する。
【0238】
ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙ＝ａｂｓ（Ｃｄ１＿ｇｒａｙ−Ｃｄ２＿ｇｒａｙ）（Ｓ１１２）：
ステップＳ１１２において、画素補間法決定部５は、下記数式により、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙを算出する。
【0239】
ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ＝ａｂｓ（ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ−ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙ）（Ｓ１１３）：
ステップＳ１１３において、画素補間法決定部５は、ステップＳ１１２で算出した差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙと、閾値Ｔｈｄとの大小関係を判定する。
【0240】
そして、ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙ≦Ｔｈｄである場合、画素補間法決定部５は、処理をステップＳ１１４に進める。それ以外の場合、画素補間法決定部５は、処理をステップＳ１１５に進める。
【0241】
（Ｓ１１４）：ステップＳ１１４において、画素補間法決定部５は、以下の数式に相当する処理を行うことで、判定用相関値Ｃｄ１，Ｃｄ２を取得する。
【0242】
Ｃｄ１＝ｍｉｎ（Ｃｄ１＿ｃｏｌｏｒ、Ｃｄ１＿ｇｒａｙ）Ｃｄ２＝ｍｉｎ（Ｃｄ２＿ｃｏｌｏｒ、Ｃｄ２＿ｇｒａｙ）
なお、ｍｉｎ（）は、要素の最小値を取得する関数である。
【0243】
（Ｓ１１５〜Ｓ１１７）：ステップＳ１１５において、画素補間法決定部５は、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの大小関係を判定する。
【0244】
そして、ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙの場合、画素補間法決定部５は、Ｃｄ１＝Ｃｄ１＿ｃｏｌｏｒ
Ｃｄ２＝Ｃｄ２＿ｃｏｌｏｒ
とする（ステップＳ１１６）。
【0245】
一方、ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒ＞ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙではない場合、画素補間法決定部５は、Ｃｄ１＝Ｃｄ１＿ｇｒａｙ
Ｃｄ２＝Ｃｄ２＿ｇｒａｙ
とする（ステップＳ１１７）。
【0246】
以上の処理により、画素補間法決定部５は、判定用相関値Ｃｄ１，Ｃｄ２を選択（決定）する。
【0247】
上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値Ｔｈｄ以下の場合とは、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの差が小さいときである。つまり、この条件を満たす場合として、第１斜め方向、第２斜め方向のいずれの方向にも強い相関が見られない場合が想定される。
【0248】
このような場合、画素補間法決定部５は、第１斜め方向、第２斜め方向それぞれについて、グレー画像領域用とカラー画像領域用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択する（ステップＳ１１４）。
【0249】
また、上記処理において、差分絶対値ｄｉｆｆ＿ｃｏｌｏｒ＿ｇｒａｙが閾値Ｔｈｄより大きい場合とは、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙとの差が大きいときである。つまり、この条件を満たす場合として、第１斜め方向、第２斜め方向のいずれかに強い相関が見られる場合が想定される。
【0250】
このような場合、画素補間法決定部５は、差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｃｏｌｏｒと差分絶対値ｄｉｆｆ＿Ｃｄ１２＿ｇｒａｙの大小を比較し、差分絶対値が大きい方の相関値を選択する（ステップＳ１１５〜Ｓ１１７）。
【0251】
以上の処理により、画素補間法決定部５は、グレー画像領域用の相関値とカラー画像領域用の相関値とを総合判断して、判定用相関値（ＴＨ１＜ＫＬ≦ＴＨ２の場合の判定用相関値）Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を決定する。
【0252】
画素補間法決定部５は、以上の演算処理を実行することにより、上記（ａ），（ｂ），（ｃ）のそれぞれの場合について、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を選択（決定）する。
【0253】
以上のように、本実施形態における相関判定方法と画素補間方法との組み合わせは、彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により３パターンに分類される。つまり、１つの閾値を設けて、グレー画像領域（彩度の低い画像領域）とカラー画像領域（彩度の高い画像領域）とを判定する方法ではなく、２つの閾値ＴＨ１とＴＨ２を設けることにより、グレー画像領域とカラー画像領域の境界領域において、画素補間処理方法が急激に変化することを緩和している。これにより、特に、画素補間処理後の画像上のグレー画像領域とカラー画像領域との境界付近に位置する画像領域において、視覚的違和感が生じることを効果的に抑制することができる。
【0254】
つまり、グレー画像領域とカラー画像領域との境界付近に位置する画像領域は、ＲＧＢの各成分の値が略等しいが、それらの値に多少のばらつきがある。したがって、相関を判定する場合には、ＲＧＢ各成分のばらつきが小さいことに着目して、ＲＧＢを区別することなく、なるべく近接する画素を用いて相関値を算出する。あるいは、ＲＧＢ各成分が多少なりともばらついていることに注目して、ＲＧＢを区別して相関値を算出する。このような２つの考え方を総合的に判断して、最適な相関値を選択することで、相関方向の判定精度を向上させることができる。これに対して、ＲＧＢ各成分のばらつきを無視し、グレー画像領域とみなして画素補間を行った場合、偽色が発生する可能性がある。そこで、撮像装置１０００では、画素補間についてはカラー画像領域用の画素補間処理を行うこととしている。
【0255】
なお、本実施形態においては、彩度評価値Ｌを正規化した彩度評価係数ＫＬを用い、彩度評価係数ＫＬと閾値ＴＨ１，ＴＨ２との比較により、グレー画像領域であるか、あるいは、カラー画像領域であるかの判定を行っているが、これは、処理上の便宜のためであり、本質的には、彩度評価値Ｌと２つの閾値との比較により、グレー画像領域であるか、あるいは、カラー画像領域であるかを判定していることにほかならない。
【0256】
≪各画素における相関方向の判定処理≫次に、画素補間法決定部５は、上記処理により取得した判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図２１の関係図または図２２の関係図を用いて、相関方向を決定する。
【0257】
図２１は、判定用相関値Ｃｈ、Ｃｖと、相関方向判定用領域Ａ１〜Ａ４との関係を示す図である。図２１において、横軸（Ｘ軸）は判定用相関値Ｃｈであり、縦軸（Ｙ軸）は判定用相関値Ｃｖである。また、図２１に示すように、相関方向判定用領域Ａ１〜Ａ４は、直線Ｆ１〜Ｆ３によって決定されている。つまり、相関方向判定用領域Ａ１は、Ｙ軸と直線Ｆ１とに囲まれる領域であり、相関方向判定領域Ａ２は、Ｘ軸と直線Ｆ２とに囲まれる領域であり、相関方向判定領域Ａ３は、直線Ｆ１、直線Ｆ２および直線Ｆ３に囲まれる領域であり、相関方向判定領域Ａ４は、Ｘ軸、Ｙ軸および直線Ｆ３に囲まれる領域である。
【0258】
図２２は、判定用相関値Ｃｄ１、Ｃｄ２と、相関方向判定用領域Ｂ１〜Ｂ４との関係を示す図である。図２２において、横軸（Ｘ軸）は判定用相関値Ｃｄ２であり、縦軸（Ｙ軸）は判定用相関値Ｃｄ１である。また、図２２に示すように、相関方向判定用領域Ｂ１〜Ｂ４は、直線Ｆ１１〜Ｆ１３によって決定されている。つまり、相関方向判定領域Ｂ１は、Ｙ軸と直線Ｆ１１とに囲まれる領域であり、相関方向判定領域Ｂ２は、Ｘ軸と直線Ｆ１２とに囲まれる領域であり、相関方向判定領域Ｂ３は、直線Ｆ１１、直線Ｆ１２および直線Ｆ１３に囲まれる領域であり、相関方向判定領域Ｂ４は、Ｘ軸、Ｙ軸および直線Ｆ１３に囲まれる領域である。
【0259】
画素補間法決定部５は、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図２１の関係図または図２２の関係図を用いて、以下の（１）、（２）により、相関方向を決定する。（１）画素補間法決定部５は、画素ごとに、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、判定用相関値Ｃｖまたは判定用相関値Ｃｈが最小値をとる場合、つまり、
Ｃｖ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｈ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図２１の関係図を用いて、相関方向を決定する。
【0260】
つまり、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ１に含まれる場合、画素補間法決定部５は、注目画素の相関方向を「水平方向」と判定する。
【0261】
また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ２に含まれる場合、画素補間法決定部５は、注目画素の相関方向を「垂直方向」と判定する。
【0262】
また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ３に含まれる場合、画素補間法決定部５は、注目画素について、「いずれの方向にも相関がない」と判定する。
【0263】
また、判定用相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ４に含まれる場合、画素補間法決定部５は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。（２）画素補間法決定部５は、画素ごとに、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、判定用相関値Ｃｄ１または判定用相関値Ｃｄ２が最小値をとる場合、つまり、
Ｃｄ１＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｄ２＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図２２の関係図を用いて、相関方向を決定する。
【0264】
つまり、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ１に含まれる場合、画素補間法決定部５は、注目画素の相関方向を「第２斜め方向」（ｄ２方向）と判定する。
【0265】
また、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ２に含まれる場合、画素補間法決定部５は、注目画素の相関方向を「第１斜め方向」（ｄ１方向）と判定する。
【0266】
また、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ３に含まれる場合、画素補間法決定部５は、注目画素について、「いずれの方向にも相関がない」と判定する。
【0267】
また、判定用相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ４に含まれる場合、画素補間法決定部５は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。
【0268】
以上のようにして、画素ごとに取得された相関方向の判定結果（相関方向に関する情報Ｃｏ＿Ｄｉｒ）は、画素補間法決定部５から、補間部６および補正処理部７に出力される。
【0269】
また、画素ごとに取得された画素補間方法（カラー画像領域用画素補間法／グレー画像領域用画素補間法）についての情報Ｐ＿Ｍｔｈｄは、画素補間法決定部５から補間部６に出力される。
【0270】
なお、上記関係図は一例であり、他の直線により規定される領域を有する関係図であってもよい。
【0271】
（１．２．６：補間部６での処理）補間部６では、画素補間法決定部５により画素ごとに決定された、（１）相関方向の判定結果、および、（２）画素補間方法に基づいて、
（Ａ）カラー画像用補間処理では、信号処理部Ｃ２から出力される画像Ｄ＿ｒａｗに対して、画素ごとに、画素補間処理が実行され、
（Ｂ）グレー画像用補間処理では、信号補正部１から出力される画像Ｄ１に対して、画素ごとに、画素補間処理が実行される。
【0272】
（１．２．６．１：グレー画像領域用画素補間処理）画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合、補間部６のグレー画像用補間部６２は、注目画素がどの色成分用の画素であるかを区別せずに、画素補間法決定部５により決定された相関方向に存在する画素を用いて画素補間処理を行う。グレー画像用補間部６２において「グレー画像領域用画素補間法」により画素補間処理が実行される場合の具体的な処理について、以下、説明する。
【0273】
≪領域Ａ１：水平方向画素補間（グレー画像領域用）≫画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「水平方向」であると判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
【0274】
Ｓｏｕｔ＝（Ｐ２１＋２×Ｐ２２＋Ｐ２３）／４つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＷ画素である場合、注目画素のＹｅ色成分値およびＲ色成分値を、それぞれ、Ｙｅ（Ｐ２２）およびＲ（Ｐ２２）とすると、
Ｙｅ（Ｐ２２）＝Ｒ（Ｐ２２）＝Ｓｏｕｔ
となる。
【0275】
≪領域Ａ２：垂直方向画素補間（グレー画像領域用）≫画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「垂直方向」であると判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
【0276】
Ｓｏｕｔ＝（Ｐ１２＋２×Ｐ２２＋Ｐ３２）／４つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＷ画素である場合、注目画素のＹｅ色成分値およびＲ色成分値を、それぞれ、Ｙｅ（Ｐ２２）およびＲ（Ｐ２２）とすると、
Ｒ（Ｐ２２）＝Ｙｅ（Ｐ２２）＝Ｓｏｕｔ
となる。
【0277】
≪領域Ｂ２：第１斜め方向画素補間（グレー画像領域用）≫画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「第１斜め方向」であると判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
【0278】
Ｓｏｕｔ＝（Ｐ１１＋２×Ｐ２２＋Ｐ３３）／４つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＷ画素である場合、注目画素のＹｅ色成分値およびＲ色成分値を、それぞれ、Ｙｅ（Ｐ２２）およびＲ（Ｐ２２）とすると、
Ｙｅ（Ｐ２２）＝Ｒ（Ｐ２２）＝Ｓｏｕｔ
となる。
【0279】
≪領域Ｂ１：第２斜め方向画素補間（グレー画像領域用）≫画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素についての相関方向が「第２斜め方向」であると判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
【0280】
Ｓｏｕｔ＝（Ｐ１３＋２×Ｐ２２＋Ｐ３１）／４つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＷ画素である場合、注目画素のＹｅ色成分値およびＲ色成分値を、それぞれ、Ｙｅ（Ｐ２２）およびＲ（Ｐ２２）とすると、
Ｙｅ（Ｐ２２）＝Ｒ（Ｐ２２）＝Ｓｏｕｔ
となる。
【0281】
≪領域Ａ３、Ｂ３：メディアン補間（グレー画像領域用）≫画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素について「いずれの方向にも相関がない」と判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
【0282】
Ｓｏｕｔ＝Ｐ２２つまり、グレー画像用補間部６２は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＷ画素である場合、注目画素のＹｅ色成分値およびＲ色成分値を、それぞれ、Ｙｅ（Ｐ２２）およびＲ（Ｐ２２）とすると、
Ｙｅ（Ｐ２２）＝Ｒ（Ｐ２２）＝Ｓｏｕｔ
となる。
【0283】
≪領域Ａ４、Ｂ４：平均値補間（グレー画像領域用）≫画素補間法決定部５により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部５により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、グレー画像用補間部６２は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
【0284】
Ｓｏｕｔ＝（Ｐ１１＋Ｐ１２＋Ｐ１３＋Ｐ２１＋Ｐ２２＋Ｐ２３
＋Ｐ３１＋Ｐ３２＋Ｐ３３）／９
つまり、カラー画像用補間部６１は、注目画素にない色の色成分値をＳｏｕｔとする。例えば、注目画素Ｐ２２がＷ画素である場合、注目画素のＹｅ色成分値およびＲ色成分値を、それぞれ、Ｙｅ（Ｐ２２）およびＲ（Ｐ２２）とすると、
Ｙｅ（Ｐ２２）＝Ｒ（Ｐ２２）＝Ｓｏｕｔ
となる。
【0285】
以上のようなグレー画像用補間処理が実行された画像信号は、グレー画像用補間部６２から信号逆補正部６３に出力される。
【0286】
≪信号逆補正処理≫信号逆補正部６３では、グレー画像用補間部６２から出力される画像信号に対して、信号補正部１で実行された補正処理と逆の補正処理が実行される。
【0287】
具体的には、グレー画像用補間部６２から出力される画像信号を構成する、Ｗ成分画素信号、Ｙｅ成分画素信号およびＲ成分画素信号を、それぞれ、Ｗｉｎ１、Ｙｅｉｎ１、および、Ｒｉｎ１とすると、信号逆補正部６３は、Ｗｏｕｔ＝Ｗｉｎ／Ｇａｉｎ＿ｓｉｇ＿Ｗ
Ｙｅｏｕｔ＝Ｙｅｉｎ／Ｇａｉｎ＿ｓｉｇ＿Ｙｅ
Ｒｏｕｔ＝Ｒｉｎ／Ｇａｉｎ＿ｓｉｇ＿Ｒ
に相当する処理を実行する。
【0288】
なお、ゲイン値Ｇａｉｎ＿ｓｉｇ＿Ｗ、Ｇａｉｎ＿ｓｉｇ＿Ｙｅ、および、Ｇａｉｎ＿ｓｉｇ＿Ｒは、信号補正部１での信号補正処理に使用された補正ゲインと同一のものである。
【0289】
上記処理を実行することで、グレー画像用補間処理後の画像信号の各画素信号の信号レベルを、信号補正部１で信号補正処理が実行される前の画像信号の各画素信号の信号レベルと同等にすることができる。
【0290】
信号逆補正部６３により、上記の信号逆補正処理が実行された画像信号は、選択部６４に出力される。
【0291】
（１．２．６．２：カラー画像領域用画素補間処理）画素補間法決定部５により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合、補間部６のカラー画像用補間部６１は、画素補間法決定部５により決定された相関方向に存在する画素を用いて画素補間処理を行う。なお、画素補間処理後の注目画素のＷ色成分の画素値をＷｏｕｔとし、Ｙｅ色成分の画素値をＹｅｏｕｔとし、Ｒ色成分の画素値をＲｏｕｔとする。
【0292】
≪水平方向画素補間≫注目画素がＷ色成分用であって、画素補間法決定部５により注目画素についての相関方向が「水平方向」であると判定された場合、カラー画像用補間部６１は、注目画素の水平方向に存在するＹｅ色成分用画素を用いて、Ｙｅｏｕｔを算出する。
【0294】
図２３において、記号Ｗ，Ｙ，Ｒの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。つまり、図２３は、注目画素Ｐ２２を含む２５個の画素Ｐ００〜Ｐ４４からなるマトリクス領域の画素配列を表しており、中心画素Ｐ２２（Ｗ２２）がＷ色成分用画素である場合を示している。また、実施形態の説明や各数式において、記号Ｐ，Ｗ，Ｙ，Ｒは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。
【0295】
図２３において、画素Ｗ２２が注目画素である場合、カラー画像用補間部６１は、画素Ｗ２２の水平方向に存在する画素Ｙ２１，Ｙ２３の平均値を算出することにより、画素Ｗ２２におけるＹｅ色成分の画素値Ｙｅｏｕｔを取得する。あるいは、カラー画像用補間部６１は、画素Ｙ２１，Ｙ２３だけでなく、水平方向に存在する画素Ｙ２１，Ｙ２３以外のＹｅ色成分用画素を用いてリニア補間を行うことにより、Ｙｅ色成分の画素値Ｙｅｏｕｔを取得してもよい。
【0296】
一方、画素Ｗ２２の水平方向には、Ｒ色成分用画素は存在しない。この場合、カラー画像用補間部６１は、補間方向（水平方向）に直角な垂直方向におけるＲ色成分の画素値の変化率（ラプラシアン）から、画素Ｗ２２におけるＲ色成分用の画素値Ｒｏｕｔを取得する。
【0297】
≪垂直方向画素補間（カラー画像領域用）≫注目画素がＷ色成分用画素であって、画素補間法決定部５により注目画素についての相関方向が「垂直方向」であると判定された場合、カラー画像用補間部６１は、注目画素の垂直方向に存在するＲ色成分用画素を用いて、Ｒｏｕｔを算出する。
【0298】
図２３において、画素Ｗ２２が注目画素である場合、カラー画像用補間部６１は、画素Ｗ２２の垂直方向に存在する画素Ｒ１２，Ｒ３２の平均値を算出することにより、画素Ｗ２２におけるＲ色成分の画素値Ｒｏｕｔを取得する。あるいは、カラー画像用補間部６１は、画素Ｒ１２，Ｒ３２だけでなく、垂直方向に存在する画素Ｒ１２，Ｒ３２以外のＲ色成分用画素を用いてリニア補間を行うことにより、Ｒ色成分の画素値Ｒｏｕｔを取得してもよい。
【0299】
一方、画素Ｗ２２の垂直方向には、Ｙｅ色成分用画素は存在しない。この場合、カラー画像用補間部６１は、補間方向（垂直方向）に直角な水平方向におけるＹｅ色成分の画素値の変化率（ラプラシアン）から、画素Ｗ２２におけるＹｅ色成分用の画素値Ｙｅｏｕｔを取得する。
【0300】
≪第１斜め方向画素補間（カラー画像領域用）≫注目画素がＹｅ色成分用画素であって、画素補間法決定部５により注目画素についての相関方向が「第１斜め方向」であると判定された場合、カラー画像用補間部６１は、注目画素の第１斜め方向に存在するＲ色成分用画素を用いて、Ｒｏｕｔを算出する。
【0302】
図２４において、画素Ｙ２２が注目画素である場合、カラー画像用補間部６１は、画素Ｙ２２の（矢印Ａの方向）に存在する画素Ｒ１１，Ｒ３３の平均値を算出することにより、画素Ｙ２２におけるＲ色成分の画素値Ｒｏｕｔを取得する。あるいは、カラー画像用補間部６１は、画素Ｒ１１，Ｒ３３だけでなく、第１斜め方向に存在する画素Ｒ１１，Ｒ３３以外のＲ色成分用画素を用いてリニア補間を行うことにより、Ｒ色成分の画素値Ｒｏｕｔを取得してもよい。
【0303】
一方、画素Ｙ２２の第１斜め方向には、Ｗ色成分用画素は存在しない。この場合、カラー画像用補間部６１は、補間方向（垂直方向）に直角な第２斜め方向（矢印Ｂ方向）における画素値の変化率（ラプラシアン）から、画素Ｙ２２におけるＷ色成分用の画素値Ｗｏｕｔを取得する。
【0304】
≪第２斜め方向画素補間（カラー画像領域用）≫注目画素がＹｅ色成分用画素であって、画素補間法決定部５により注目画素についての相関方向が「第２斜め方向」であると判定された場合、カラー画像用補間部６１は、注目画素の第２斜め方向に存在するＲ色成分用画素を用いて、Ｒｏｕｔを算出する。
【0305】
図２４において、画素Ｙ２２が注目画素である場合、カラー画像用補間部６１は、画素Ｙ２２の第２斜め方向（矢印Ｂ方向）に存在する画素Ｒ１３，Ｒ３１の平均値を算出することにより、画素Ｙ２２におけるＲ色成分の画素値Ｒｏｕｔを取得する。あるいは、カラー画像用補間部６１は、画素Ｒ１３，Ｒ３１だけでなく、第１斜め方向に存在する画素Ｒ１３，Ｒ３１以外のＲ色成分用画素を用いてリニア補間を行うことにより、Ｒ色成分の画素値Ｒｏｕｔを取得してもよい。
【0306】
一方、画素Ｙ２２の第２斜め方向には、Ｗ色成分用画素は存在しない。この場合、カラー画像用補間部６１は、補間方向（垂直方向）に直角な第１斜め方向（矢印Ａ方向）における画素値の変化率（ラプラシアン）から、画素Ｙ２２におけるＷ色成分用の画素値Ｗｏｕｔを取得する。
【0307】
なお、注目画素がＷ色成分用画素、Ｙｅ色成分用画素及びＲ色成分用画素のいずれであっても、上記と同様の方法により画素補間処理が実行される。
【0308】
≪メディアン補間（カラー画像領域用）≫画素補間法決定部５により注目画素について「いずれの方向にも相関がない」と判定された場合、カラー画像用補間部６１は、注目画素を中心とする３画素×３画素の領域内に存在する画素を用いて、メディアン補間を実行する。
【0309】
図２４に示すように、注目画素が画素Ｙ２２である場合、カラー画像用補間部６１は、画素Ｗ１２，Ｗ２１，Ｗ２３，Ｗ３２の中間値を計算して、画素Ｙ２２におけるＷｏｕｔを取得する。カラー画像用補間部６１は、画素Ｒ１１、Ｒ１３，Ｒ３１，Ｒ３３の中間値を計算して、画素Ｙ２２におけるＲｏｕｔを取得する。なお、中間画素がＷ色成分用画素又はＲ色成分用画素の場合であっても、同様の処理によりメディアン補間が行われる。また、中間値の計算対象となる画素は、注目画素を中心とする５画素×５画素の領域内に存在する画素であってもよい。
【0310】
≪平均値補間（カラー画像領域用）≫画素補間法決定部５により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、カラー画像用補間部６１は、注目画素を中心とする３画素×３画素の領域内に存在する画素を用いて、メディアン補間を実行する。
【0311】
図２４に示すように、注目画素が画素Ｙ２２である場合、カラー画像用補間部６１は、画素Ｗ１２，Ｗ２１，Ｗ２３，Ｗ３２の平均値を計算して、画素Ｙ２２におけるＷｏｕｔを取得する。カラー画像用補間部６１は、画素Ｒ１１、Ｒ１３，Ｒ３１，Ｒ３３の平均値を計算して、画素Ｙ２２におけるＲｏｕｔを取得する。なお、中間画素がＷ色成分用画素又はＲ色成分用画素の場合であっても、同様の処理により平均値補間が行われる。
【0312】
以上の処理により、カラー画像用補間部６１では、画素ごとに、Ｗｏｕｔ、Ｙｅｏｕｔ、Ｒｏｕｔが取得される。そして、取得されたＷｏｕｔ、Ｙｅｏｕｔ、Ｒｏｕｔにより形成される画像（画素ごとに３つの色成分値（Ｗ色成分値、Ｙｅ色成分値、Ｒ色成分値）を持つ画像信号）は、選択部６４に出力される。
【0313】
選択部６４では、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄに基づいて、信号逆補正部６３から出力される画像信号と、カラー画像用補間部６１から出力される画像信号とのいずれか一方が選択される。そして、選択された画像信号は、画像信号Ｄ２として、補正処理部７に出力される。
【0314】
例えば、相関方向が「垂直方向」であり、画素補間方法が「カラー画像領域用画素補間法」である場合、相関方向を垂直方向とするカラー画像領域用画素補間法を実行することにより取得された画像信号が、選択部６４により、選択され、当該画像信号が、補正処理部７に出力される。
【0315】
なお、補間部６は、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄにより決定される相関方向および画素補間方法により実行された画像信号が、補間部６から補正処理部７に出力される構成を有していればよい。したがって、補間部６の構成は、図１に示した構成に限定されず、他の構成であってもよい。
【0316】
また、補間部６は、画素補間法決定部５から出力される相関方向に関する情報Ｃｏ＿Ｄｉｒおよび画素補間方法に関する情報Ｐ＿Ｍｔｈｄにより決定される相関方向および画素補間方法による画素補間処理のみが実行されるように構成されていてもよい。
【0317】
（１．２．７：補正処理部７での処理）次に、補正処理部７での処理について、説明する。
【0318】
補正処理部７の第１マトリックス変換部７１において、入力された画像信号Ｄ２は、マトリックス変換処理が実行され、ＲＧＢ色空間の画像信号に変換される。
【0319】
具体的には、画像信号の第１色成分画素信号（Ｗ）、第２色成分画素信号（Ｙｅ）、および、第３色成分画素信号（Ｒ）を、それぞれ、ｃｏｌｏｒ１、ｃｏｌｏｒ２、および、ｃｏｌｏｒ３とすると、第１マトリックス変換部７１は、【数3】
【0320】
なお、また、ｏｆｆｓｅｔ＿Ｒ、ｏｆｆｓｅｔ＿Ｇ、および、ｏｆｆｓｅｔ＿Ｂは、オフセット値である。
【0321】
本実施形態では、ｃｏｌｏｒ１＝Ｗ
ｃｏｌｏｒ２＝Ｙｅ
ｃｏｌｏｒ３＝Ｒ
である。このため、Ｗ−Ｙｅ−Ｒ色空間を、ＲＧＢ色空間に変換する上記式（３）は、最終的には、以下の式となる。
【0322】
Ｒ＝ＲｏｕｔＧ＝Ｙｅｏｕｔ−Ｒｏｕｔ
Ｂ＝Ｗｏｕｔ−Ｙｅｏｕｔ
ここで、Ｒ、Ｇ、および、Ｂは、ＲＧＢ色空間におけるＲ成分値、Ｇ成分値、および、Ｂ成分値であり、Ｗｏｕｔ、Ｙｅｏｕｔ、およびＲｏｕｔは、Ｗ−Ｙｅ−Ｒ色空間（画像信号Ｄ２）におけるＷ色成分画素信号、Ｙｅ色成分画素信号、および、Ｒ成分画素信号である。
【0323】
上記色空間変換のための変換行列を、３色配列フィルタの色に応じて決定することで、３色配列フィルタを構成する色フィルタがどのようなものであっても、第１マトリックス変換部７１において、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号を取得することができる。この場合、上記式（３）における変換行列の係数は、色フィルタに応じて適宜変更される。
【0324】
上記により取得されたＲ成分画素信号、Ｇ成分画素信号、Ｂ成分画素信号と、画像信号Ｄ２に含まれるＷ成分画素信号とにより構成される画像信号は、画像信号Ｄ３として、第１マトリックス変換部７１から、色空間処理部７２に出力される。また、画像信号Ｄ３に含まれるＲ成分画素信号、Ｇ成分画素信号、Ｂ成分画素信号は、彩度取得部７３に出力される。
【0325】
色空間処理部７２では、第１マトリックス変換部７１から出力された画像信号Ｄ３が、ＹＣｂＣｒ色空間の画像信号Ｄ４に変換される。色空間処理部７２での具体的処理について、以下、説明する。
【0326】
色空間処理部７２の輝度信号取得部７２１では、図３Ａに示すように、第１マトリックス変換部７１から出力されるＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号が入力される。そして、輝度信号取得部７２１では、以下の数式に相当する処理により、輝度信号Ｙ０が取得される。
【0327】
Ｙ０＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂなお、Ｒ、Ｇ、Ｂは、注目画素のＲ色成分値、Ｇ色成分値、Ｂ色成分値である。
【0328】
選択信号生成部７２２では、画素補間法決定部５から出力された、画素ごとの相関方向および画素補間方法に関する情報から選択信号が生成される。具体的には、以下のようにして、選択信号が生成される。なお、図３Ａでは図示していないが、選択信号生成部７２２には、注目画素（処理対象の画素）の色成分についての情報が入力されているものとする。
【0329】
画像信号Ｄ３はＷ成分画素信号を含んでいるため、Ｗ成分画素信号を、注目画素の輝度信号として利用することも可能である。このため、選択信号生成部７２２は、注目画素の輝度として、Ｗ成分画素信号、輝度信号Ｙ０、および、平均値（Ｗ成分画素信号と輝度信号Ｙとの平均）のいずれか一つの選択を指示する選択信号を、輝度信号出力部７２３に出力する。具体的には、選択信号生成部７２２は、以下の処理を行う。
【0330】
選択信号生成部７２２は、注目画素におけるフィルタの色成分と、注目画素の相関方向に基づいて、Ｗ成分画素信号および輝度信号Ｙ０のいずれか一方の選択を指示する。（１）注目画素がＷ色成分用画素である場合、選択信号生成部７２２は、相関方向に関係なく、注目画素のＷ成分画素信号の選択を指示する選択信号を輝度信号出力部７２３に出力する。
（２）注目画素がＹｅ色成分用画素又はＲ色成分用画素であり、かつ、相関方向が水平方向及び垂直方向のいずれかである場合、選択信号生成部７２２は、注目画素のＷ成分画素信号の選択を指示する。注目画素の水平方向又は垂直方向にＷ色成分用画素が存在すため、Ｗ色成分用画素の画素値を利用することにより、輝度信号の精度を高めることができるためである。
（３）注目画素がＹｅ色成分用画素又はＲ色成分用画素であり、かつ、相関方向が第１斜め方向及び第２斜め方向のいずれかである場合、選択信号生成部７２２は、注目画素の輝度信号Ｙ０の選択を指示する。この理由は、注目画素の第１斜め方向又は第２斜め方向には、Ｗ色成分用画素が存在しないためである。
（４）注目画素がＹｅ色成分用画素又はＲ色成分用画素であり、かつ、いずれの方向にも相関を有しない場合、選択信号生成部７２２は、注目画素の輝度信号Ｙ０の選択を指示する。
（５）注目画素がＹｅ色成分用画素又はＲ色成分用画素であり、かつ、垂直方向及び水平方向の両者に相関を有する場合、選択信号生成部７２３は、注目画素におけるＷ成分画素信号と輝度信号Ｙ０との平均値の選択を指示する。
【0331】
以上のようにして、選択信号生成部７２２で生成された選択信号に従い、輝度信号出力部７２３では、Ｗ信号（Ｗ成分画素信号）およびＹ０信号からＹ信号（Ｙ成分画素信号）を生成し、生成したＹ信号（Ｙ成分画素信号）を第２マトリックス変換部７５に出力する。
【0332】
このように、色空間処理部７２では、注目画素がＷ画素である場合、Ｗ色信号（Ｗ成分画素信号）をＹ成分画素信号（Ｙｏｕｔ信号）とする。また、注目画素の相関方向が「垂直方向」又は「水平方向」である場合も同様に、Ｗ成分画素信号をＹｏｕｔ信号とする。それ以外の場合は、Ｒ色成分値、Ｇ色成分値およびＢ色成分値から変換により取得された輝度信号Ｙ０を用いて、Ｙｏｕｔを取得する。したがって、色空間処理部７２では、精度の高い輝度信号成分（Ｙ成分画素信号）を取得することができる。
【0333】
また、色空間処理部７２では、減算器７２４、７２６、および、ゲイン調整部７２５、７２７により、Ｙ信号（Ｙ成分画素信号）と、Ｒ成分信号（Ｒ成分画素信号）と、Ｂ信号成分（Ｂ成分画素信号）とから、Ｃｂ成分信号（Ｃｂ成分画素信号）およびＣｒ成分信号（Ｃｒ成分画素信号）が取得される。つまり、Ｃｂ成分画素信号およびＣｒ成分画素信号が、精度の良いＹ成分画素信号から取得されたものであるため、Ｃｂ成分画素信号およびＣｒ成分画素信号も精度の良い信号となる。
【0334】
なお、色空間処理部７２は、図３Ｂに示す構成を有するものであってもよい。この場合、第１マトリックス変換部７１から出力されるＲ成分画素信号、Ｇ成分画素信号およびＢ成分画素信号が色空間変換部７２１Ａに入力される。そして、色空間変換部７２１Ａでは、以下の数式に相当する処理（ＲＧＢ−ＹＣｂＣｒ色空間変換処理）により、輝度成分画素信号Ｙ０、Ｃｂ成分画素信号、およびＣｒ成分画素信号が取得される。
【0335】
Ｙ０＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×ＢＣｒ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
Ｃｂ＝−０．１６９×Ｒ−０．３３２×Ｇ＋０．５００×Ｂ
このようにして取得された輝度成分画素信号Ｙ０は、色空間変換部７２１Ａから輝度信号出力部７２３に出力され、輝度信号出力部７２３において、上記で説明したのと同様の処理が実行される。
【0336】
また、上記処理により取得された、Ｃｂ成分画素信号、およびＣｒ成分画素信号は、色空間変換部７２１Ａから色差補正部７４に出力される。
【0337】
彩度取得部７３では、第１マトリックス変換部７１から出力された画像信号Ｄ３に含まれるＲ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号から、彩度値Ｓが取得される。
【0338】
具体的には、彩度取得部７３は、ＲＧＢ色空間をＨＳＶ色空間（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換する処理を利用して、Ｒ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号から、（画素ごとに）彩度値Ｓを取得する。
【0339】
そして、彩度取得部７３により（画素ごとに）取得された彩度値Ｓ（彩度信号Ｓ）は、色差補正部７４に出力される。
【0340】
色差補正部７４では、彩度取得部７３から出力される彩度値Ｓに基づいて、色空間処理部７２から出力されるＣｂ成分画素信号およびＣｒ成分画素信号に対して、色差成分補正処理が実行される。
【0341】
具体的には、彩度値Ｓを閾値ＴＨｓと比較し、（１）Ｓ＞ＴＨｓである場合、
色差補正部７４は、
Ｃｂ’＝Ｃｂ
Ｃｒ’＝Ｃｒ
として、Ｃｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’を第２マトリックス変換部７５に出力する。
（２）Ｓ≦ＴＨｓである場合、
色差補正部７４は、
Ｃｂ’＝ｋｓ×Ｃｂ
Ｃｒ’＝ｋｓ×Ｃｒ
０≦ｋｓ≦１
として、Ｃｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’を第２マトリックス変換部７５に出力する。
【0342】
なお、この場合（Ｓ≦ＴＨｓである場合）、色差補正部７４は、
Ｃｂ’＝０
Ｃｒ’＝０
とし、つまり、Ｃｂ成分値およびＣｒ成分値を「０」（無彩色の信号）として、Ｃｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’を第２マトリックス変換部７５に出力するようにしてもよい。
【0343】
また、上記の場合（Ｓ≦ＴＨｓである場合）、色差補正部７４は、
Ｃｂ’＝ｆ（Ｃｂ）
Ｃｒ’＝ｆ（Ｃｒ）
とし、Ｃｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’を第２マトリックス変換部７５に出力するようにしてもよい。なお、関数ｆ（ｘ）は、入力信号ｘのレベルを小さくする関数であれば、どのような関数でもあってもよい。
【0344】
このように、色差補正部７４において、精度の高い画素補間処理後の画像信号Ｄ３を用いて取得した精度の高い彩度値Ｓに基づいて、色差成分画素信号の補正を行うことで、より偽色発生等の副作用を適切に低減することができる。
【0345】
画素補間処理部１００では、信号補正部１により、信号レベルの補正を行った画像信号Ｄ１を用いて、彩度評価値の算出、グレー相関値の算出、グレー画像用補間処理が実行される。また、画素補間処理部１００では、カラー画像用補間処理においても、相関方向を考慮して画素補間処理を行うため、精度の高い画素補間処理が実行される。
【0346】
つまり、画素補間処理部１００では、上記のように、精度の高い画素補間処理を実行することができるので、精度の高い画素補間処理後の画像信号Ｄ２を取得することができる。
【0347】
そして、この精度の高い画素補間処理後の画像信号Ｄ２を用いて、彩度取得部７３により、彩度値Ｓを算出することで、精度の高い彩度値Ｓを取得することができる。さらに、この精度の高い彩度値Ｓに基づいて、色差補正部７４により、上記のように、色差画素信号の補正処理を行うことで、注目画素が、グレー画像領域に含まれる画素である可能性が高い場合、当該注目画素の色成分を適切に低減し、偽色発生等の副作用を適切に防止することができる。
【0348】
以上のようにして取得された色差補正処理後の色差成分信号Ｃｂ’、Ｃｒ’は、第２マトリックス変換部７５に出力される。
【0349】
第２マトリックス変換部７５では、色空間処理部７２から出力されるＹ成分画素信号と、色差補正部７４から出力される補正後のＣｂ成分画素信号Ｃｂ’およびＣｒ成分画素信号Ｃｒ’とに対して、ＹＣｂＣｒ色空間をＲＧＢ色空間に変換する処理が実行される。つまり、第２マトリックス変換部７５では、ＹＣｂＣｒ色空間の画像信号を、ＲＧＢ色空間の画像信号に変換する処理が実行される。
【0350】
そして、上記色空間変換後のＲ成分画素信号、Ｇ成分画素信号、および、Ｂ成分画素信号により構成される画像信号Ｄｏｕｔが、第２マトリックス変換部７５から出力される。
【0351】
以上のように、撮像装置１０００では、信号補正部１により、撮像部Ｃ１の３色フィルタの配列に応じて、信号レベルの補正を行い、当該補正後の画像信号Ｄ１を用いて、彩度評価値算出処理、グレー相関値算出処理が実行される。また、撮像装置１０００では、画素補間法決定部５が、カラー相関値算出処理により取得された３つのカラー相関値Ｃｘ＿ｃｏｌｏｒと、３つのグレー相関値Ｃｘ＿ｇｒａｙと、彩度評価係数ＫＬとを用いて、相関方向および画素補間方法とを決定する。そして、撮像装置１０００では、決定された相関方向および画素補間方法により、補間部６が、カラー画像用の画素補間処理、または、グレー画像用の画素補間処理を、相関方向の画素を用いて実行する。従って、３色フィルタの配列がどのようなものであっても、精度の高い画素補間処理を実現することができる。
【0352】
このように、撮像装置１０００では、撮像部Ｃ１の３色フィルタの配列がどのようなものであっても、精度の高い画素補間処理が実行された画像信号Ｄ２を取得することができる。
【0353】
さらに、撮像装置１０００では、精度の高い画素補間処理が実行された画像信号Ｄ２を用いて、精度の高い彩度値Ｓを取得し、精度の高い画素補間処理が実行された画像信号Ｄ２から取得されたＹＣｂＣｒ色空間の画像信号の色差成分画素信号を補正する。これにより、偽色発生等の副作用を適切に防止することができる。
【0354】
以上のように、撮像装置１０００では、撮像部Ｃ１の３色フィルタの配列がどのようなものであっても、適切に画素補間処理を行うことができる。
【0355】
［第２実施形態］次に、第２実施形態について、説明する。
【0356】
なお、本実施形態において、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【0357】
図２５は、第２実施形態の撮像装置２０００の概略構成図である。
【0358】
撮像装置２０００は、第１実施形態の撮像装置１０００の画素補間処理部１００を画素補間処理部２００に置換した構成を有している。
【0359】
画素補間処理部２００は、第１の画素補間処理部１００において、グレー相関値算出部４を、グレー相関値算出部４Ａに置換し、境界検出部８を追加した構成を有している。
【0360】
境界検出部８は、画像信号Ｄ＿ｒａｗ（画像Ｄ＿ｒａｗ）を入力し、入力された画像Ｄ＿ｒａｗにおいて、グレー画像領域と、カラー画像領域との境界部分を検出する。そして、境界検出部８は、検出したカラー領域／グレー領域境界部分についての情報をグレー相関値算出部４Ａに出力する。
【0361】
グレー相関値算出部４Ａは、信号補正部１から出力される画像信号Ｄ１と、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報とを入力する。
【0362】
（２．１：グレー画像領域用相関値算出処理）グレー相関値算出部４Ａによるグレー画像領域用相関値算出処理について、以下、説明する。
【0363】
グレー相関値算出部４Ａは、信号補正部１から出力された画像Ｄ１上の注目画素（処理対象の画素）について、以下の４つのグレー画像領域用の相関値を算出する。（Ｂ１）グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙ
（Ｂ２）グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙ
（Ｂ３）グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙ
（Ｂ４）グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙ
上記（Ｂ１）〜（Ｂ４）のグレー画像領域用の相関値の算出処理について、以下、説明する。
【0365】
図２６は、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0366】
グレー相関値算出部４Ａは、図２６に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ６１において、垂直方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４Ａは、以下の数式に相当する処理を行うことで、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙを取得する。
【0367】
ｓｕｍ＝｛ａｂｓ（Ｐ０２―Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４２）｝×ｇｖ
＋ａｂｓ（Ｐ０１−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２１）
＋ａｂｓ（Ｐ２１−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４１）
＋ａｂｓ（Ｐ０３−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２３）
＋ａｂｓ（Ｐ２３−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４３）
Ｃｖ＿ｇｒａｙ＝ｓｕｍ／（４＋ｇｖ×２）
つまり、グレー相関値算出部４Ａは、領域ＡＲ６１の中心の列についての重み付けをゲイン値ｇｖで調整することができる。例えば、図２６に示すように、点線Ｌ１の左側の画像領域がカラー画像領域であり、点線Ｌ１の右側の画像領域がグレー画像領域である場合、グレー相関値算出部４Ａは、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報により、カラー領域／グレー領域境界部分が点線Ｌ１に相当する部分であると判断し、領域ＡＲ６１の中央列の差分値の比率（重み付け）が高くなるように、例えば、
ｇｖ＝２
に設定する。これにより、グレー相関値算出処理において、領域ＡＲ６１の中央列の重要度を上げて評価することができるようになるため、カラー領域／グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域／グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。
【0369】
図２７は、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0370】
グレー相関値算出部４Ａは、図２７に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ７１において、水平方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４Ａは、以下の数式に相当する処理を行うことで、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙを取得する。
【0371】
ｓｕｍ＝ａｂｓ｛（Ｐ２０―Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ２４）｝×ｇｈ
＋ａｂｓ（Ｐ１０−Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ１２）
＋ａｂｓ（Ｐ１２−Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ１４）
＋ａｂｓ（Ｐ３０−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ３２）
＋ａｂｓ（Ｐ３２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ３４）
Ｃｈ＿ｇｒａｙ＝ｓｕｍ／（４＋ｇｈ×２）
つまり、グレー相関値算出部４Ａは、領域ＡＲ７１の中心の行についての重み付けをゲイン値ｇｈで調整することができる。例えば、図２７に示すように、点線Ｌ２の上側の画像領域がカラー画像領域であり、点線Ｌ２の下側の画像領域がグレー画像領域である場合、グレー相関値算出部４Ａは、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報により、カラー領域／グレー領域境界部分が点線Ｌ２に相当する部分であると判断し、領域ＡＲ７１の中央行の差分値の比率（重み付け）が高くなるように、例えば、
ｇｈ＝２
に設定する。これにより、グレー相関値算出処理において、領域ＡＲ７１の中央行の重要度を上げて評価することができるようになるため、カラー領域／グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域／グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。
【0373】
図２８は、グレー画像領域用水平方向相関値Ｃｄ１＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0374】
グレー相関値算出部４Ａは、図２８に示すように、第１斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４は、以下の数式に相当する処理を行うことで、グレー画像領域用水平方向相関値Ｃｄ１＿ｇｒａｙを取得する。
【0375】
ｓｕｍ＝｛ａｂｓ（Ｐ００―Ｐ１１）＋ａｂｓ（Ｐ１１−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３３）＋ａｂｓ（Ｐ３３−Ｐ４４）｝×ｇｄ１＋ａｂｓ（Ｐ１０−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４３）
＋ａｂｓ（Ｐ０１−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３４）
Ｃｄ１＿ｇｒａｙ＝ｓｕｍ／（３＋ｇｄ１×２）
つまり、グレー相関値算出部４Ａは、中心ライン（図２８のＰ００〜Ｐ４４のライン）についての重み付けをゲイン値ｇｄ１で調整することができる。例えば、図２８に示すように、点線Ｌ３の左側の画像領域がカラー画像領域であり、点線Ｌ３の右側の画像領域がグレー画像領域である場合、グレー相関値算出部４Ａは、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報により、カラー領域／グレー領域境界部分が点線Ｌ３に相当する部分であると判断し、中央ライン（図２８のＰ００〜Ｐ４４のライン）の差分値の比率（重み付け）が高くなるように、例えば、
ｇｄ１＝１．５
に設定する。これにより、グレー相関値算出処理において、中央ラインの重要度を上げて評価することができるようになるため、カラー領域／グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域／グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。
【0377】
図２９は、グレー画像領域用水平方向相関値Ｃｄ２＿ｇｒａｙの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。
【0378】
グレー相関値算出部４Ａは、図２９に示すように、第２斜め方向に隣接する画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値を求める。つまり、グレー相関値算出部４Ａは、以下の数式に相当する処理を行うことで、グレー画像領域用水平方向相関値Ｃｄ１＿ｇｒａｙを取得する。
【0379】
ｓｕｍ＝｛ａｂｓ（Ｐ０４―Ｐ１３）＋ａｂｓ（Ｐ１３−Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ３１）＋ａｂｓ（Ｐ３１−Ｐ４０）｝×ｇｄ２＋ａｂｓ（Ｐ０３−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ３０）
＋ａｂｓ（Ｐ１４−Ｐ２３）＋ａｂｓ（Ｐ２３−Ｐ３２）＋ａｂｓ（Ｐ３２−Ｐ４１）
Ｃｄ２＿ｇｒａｙ＝ｓｕｍ／（３＋ｇｄ２×２）
つまり、グレー相関値算出部４Ａは、中心ライン（図２９のＰ０４〜Ｐ４０のライン）についての重み付けをゲイン値ｇｄ２で調整することができる。例えば、図２９に示すように、点線Ｌ４の左側の画像領域がカラー画像領域であり、点線Ｌ４の右側の画像領域がグレー画像領域である場合、グレー相関値算出部４Ａは、境界検出部８から出力されるカラー領域／グレー領域境界部分についての情報により、カラー領域／グレー領域境界部分が点線Ｌ４に相当する部分であると判断し、中央ライン（図２９のＰ０４〜Ｐ４０のライン）の差分値の比率（重み付け）が高くなるように、例えば、
ｇｄ２＝１．５
に設定する。これにより、グレー相関値算出処理において、中央ラインの重要度を上げて評価することができるようになるため、カラー領域／グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域／グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。
【0380】
以上により、グレー相関値算出部４Ａにより取得されたグレー画像領域用相関値（Ｃｖ＿ｇｒａｙ、Ｃｈ＿ｇｒａｙ、Ｃｄ１＿ｇｒａｙ、Ｃｄ２＿ｇｒａｙ）は、画素補間法決定部５に出力される。
【0381】
このように、第２実施形態の撮像装置２０００では、境界検出部８により検出されたカラー画像領域とグレー画像領域との境界に関する情報に基づいて、グレー相関値算出部４Ａが、中央ラインにおける相関度評価値の影響度（重み付け）を調整することができる。したがって、撮像装置２０００では、カラー画像領域とグレー画像領域との境界において生じやすい偽色発生現象を効果的に抑制することができる。
【0382】
なお、偽色は、垂直方向、あるいは、水平方向に、カラー画像領域とグレー画像領域との境界が存在するときに発生しやすい。したがって、グレー画像領域用垂直方向相関値Ｃｖ＿ｇｒａｙの算出処理用の調整値ｇｖ、および、グレー画像領域用水平方向相関値Ｃｈ＿ｇｒａｙの算出処理用の調整値ｇｈを、グレー画像領域用第１斜め方向相関値Ｃｄ１＿ｇｒａｙの算出処理用の調整値ｇｄ１、および、グレー画像領域用第２斜め方向相関値Ｃｄ２＿ｇｒａｙの算出処理用の調整値ｇｄ２よりも大きな値とすることが好ましい。
【0383】
以上のように、撮像装置２０００では、第１実施形態と同様に、撮像部Ｃ１の３色フィルタの配列がどのようなものであっても、適切に画素補間処理を行うことができ、さらに、カラー画像領域とグレー画像領域との境界における偽色発生を効果的に抑制することができる。
【0384】
［他の実施形態］上記実施形態では、画素補間処理を実数演算により実行する場合を想定して説明している部分があるが、整数演算により、画素補間処理を実行するようにしてもよい。また、画素補間処理において、所定のビット数を使用した場合の制約や、所定のダイナミックレンジ内で処理を実行するために、適宜、ゲイン調整やクリップ処理を実行するようにしてもよい。
【0385】
上記実施形態の撮像装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。
【0386】
上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【0387】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【0388】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【0389】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【0390】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【0391】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【0392】
１０００、２０００ 撮像装置Ｃ１ 撮像部
Ｃ２ 信号処理部
１００ 画素補間処理部（画素補間処理装置）
１ 信号補正部
２ カラー相関値算出部
３ 彩度評価値算出部
４ グレー相関値算出部
５ 画素補間法決定部
６ 補間部
６１ カラー画像用補間部
６２ グレー画像用補間部
６３ 信号逆補正部
６４ 選択部
７ 補正処理部
７１ 第１マトリックス変換部
７２ 色空間処理部
７３ 彩度取得部
７４ 色差補正部
７５ 第２マトリックス変換部