特許 7399194 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-07

(45)【発行日】2023-12-15

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   H04N 25/70 20230101AFI20231208BHJP

【ＦＩ】

H04N25/70

【請求項の数】 13

(21)【出願番号】P 2021574004

(86)(22)【出願日】2021-01-25

(86)【国際出願番号】 JP2021002355

(87)【国際公開番号】W WO2021153472

(87)【国際公開日】2021-08-05

【審査請求日】2022-09-06

(31)【優先権主張番号】P 2020015550

(32)【優先日】2020-01-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】岡田 和佳

(72)【発明者】

【氏名】岸根 慶延

(72)【発明者】

【氏名】川中子 睦

(72)【発明者】

【氏名】平川 友也

【審査官】橘 高志

(56)【参考文献】

【文献】国際公開第２０１７／０８１９２５（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０７４０６４（ＷＯ，Ａ１）

【文献】特開２０１６－１７１３６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／７０

(57)【特許請求の範囲】

【請求項1】

プロセッサと、偏光方向間の関係を記憶するメモリとを備え、前記プロセッサが画像処理を行う画像処理装置であって、
前記プロセッサは、
ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得する取得処理と、
前記第１画像データをデモザイク処理し、異なる前記偏光方向に応じたｎ枚の第１偏光画像データを生成する第１偏光画像データ生成処理と、
前記ｎ枚の第１偏光画像データと前記メモリに記憶された前記偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成する第２偏光画像データ生成性処理と、
を行う画像処理装置。

【請求項2】

前記偏光方向間の関係は、前記ｎ個の第１偏光子が有する特性と前記第１偏光子に対応する画素の物理量との関係である請求項１記載の画像処理装置。

【請求項3】

前記ｎが４の場合において、
前記第１画像データから偏光方向毎に分離した４枚の偏光画像データを、それぞれＩ_１、Ｉ_２、Ｉ_３、Ｉ_４とすると、前記プロセッサは、次式、

【数1】

（ただし、ａはパラメータ）
の演算を行い、前記デモザイク処理された４枚の第１偏光画像データを生成する、
請求項１又は２に記載の画像処理装置。

【請求項4】

前記ｎが４の場合において、
前記メモリは、
前記ｎ個の前記第１偏光子の偏光方向間の関係として、次の行列、

【数2】

（ただし、ｌ_１～ｌ_３、ｃ_０～ｃ_３は係数である）
を記憶し、
前記ｎ枚の第１偏光画像データの各画素位置に元から存在する第１画素値をｘ₀とし、
前記画素位置において、前記デモザイク処理により生成された３つの第２画素値をそれぞれｘ_１demo、ｘ_２demo、ｘ_３demoとすると、
前記プロセッサは、４枚以下の前記第２偏光画像データを生成するための、前記画素位置において生成する３個の画素値（ｘ_１ｒ、ｘ_２ｒ、ｘ_３ｒ）を、次式、

【数3】

により算出する、
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記撮像素子に光量分布が均一な非偏光の光が入射した場合に得られる隣接画素の４つの偏光情報をｘ_０～ｘ_３とすると、前記係数ｃ_０～ｃ_３と前記偏光情報ｘ_０～ｘ_３とは、次式、

【数4】

を満たす、
請求項４に記載の画像処理装置。

【請求項6】

パラメータｉを１～３とし、前記［数２］で表した行列内の係数ｌ_１、ｌ_２、ｌ_３をｌ
_ｉ、係数ｃ_１、ｃ_２、ｃ_３をｃ_ｉで表すと、前記ｌ_ｉは、次式、

【数10】

（ただし、行列Ａを、前記撮像素子から取得した４つの偏光情報から別の４個の物理量への変換を与えるｍ行４列の行列とすると、前記［数１０］式中の行列Ｂは、Ａ^ＴＡの第（ｉ＋１）行、及び第（ｊ＋１）列を除去した３行３列の行列Ｂの余因子行列である）
で表される、
請求項４又は５に記載に画像処理装置。

【請求項7】

前記行列Ａは、４行４列の単位行列である、
請求項６に記載の画像処理装置。

【請求項8】

パラメータｉを１～３とし、前記［数２］で示した行列内の係数ｌ_１、ｌ_２、ｌ_３をｌ_ｉとし、係数ｃ_１、ｃ_２、ｃ_３をｃ_ｉとすると、前記ｌ_ｉは、次式、

【数18】

で表される、
請求項４から７のいずれか１項に記載の画像処理装置。

【請求項9】

撮影光学系と、
ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子と、
請求項１から８のいずれか１項に記載の画像処理装置と、を備え、
前記プロセッサは、前記撮像素子から第１画像データを取得する、
撮像装置。

【請求項10】

瞳領域が第１瞳領域、第２瞳領域及び第３瞳領域に分割され、前記第１瞳領域、第２瞳領域及び第３瞳領域を通過する光をそれぞれ異なる方向に偏光する３個の第２偏光子と、
前記第１瞳領域、第２瞳領域及び第３瞳領域からそれぞれ異なる波長帯域の光を通過させる３個の波長選択素子と、を含む撮影光学系と、
２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なる４つの第１偏光子が規則的に設けられた撮像素子と、
請求項６に記載の画像処理装置と、を備え、
前記プロセッサは、前記撮像素子から前記第１画像データを取得し、
前記行列Ａは、前記第１画像データから、３つの各波長帯域の光の混信が除去された３つの各波長帯域の光に対応した３枚の画像データを算出する際の混信除去行列である、
撮像装置。

【請求項11】

プロセッサと、偏光方向間の関係を記憶するメモリとを備え、前記プロセッサが画像処理を行う画像処理方法であって、
ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得するステップと、
前記第１画像データをデモザイク処理し、偏光方向が異なるｎ枚の第１偏光画像データを生成するステップと、
前記ｎ枚の第１偏光画像データと前記メモリに記憶された前記偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成するステップと、
を含む画像処理方法。

【請求項12】

ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得する機能と、
前記第１画像データをデモザイク処理し、偏光方向が異なるｎ枚の第１偏光画像データを生成する機能と、
前記ｎ枚の第１偏光画像データと前記ｎ個の第１偏光子の偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成する機能と、
をコンピュータにより実現させる画像処理プログラム。

【請求項13】

非一時的かつコンピュータ読取可能な記録媒体であって、請求項１２に記載の画像処理プログラムが記録された記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特に撮像素子から取得した偏光画像データから、複数枚の偏光画像データを生成する技術に関する。

【背景技術】

【0002】

特許文献１に記載の撮像素子は、アレイ状に配列され、それぞれ特定の色および偏光角度の光を検出する複数の受光ユニット（セル）を備え、複数のセルは、検出する色および偏光角度の双方が隣接するセル間で異なっている。

【0003】

具体的には、複数のセルには、偏光角度０°、４５°、９０°、１３５°のいずれかの偏光角度の光を透過させる偏光子（偏光フィルタ）が設けられ、更に赤色、緑色、青色（ＲＧＢ）のいずれかの色フィルタが設けられている。

【0004】

これにより、偏光角度０°、４５°、９０°、１３５°毎に、ＲＧＢの画像（偏光画像）の生成を可能にしている。

【0005】

また、特許文献１には、偏光ＲＡＷ画像をデモザイクして偏光角度の異なる複数の偏光画像を生成する画像処理部が記載されている。ここで、デモザイクとは、撮像素子で捉えた画素群に基づき、同一偏光角度毎に偏光画像を生成する処理である。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１６－１７１３６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本開示の技術に係る一つの実施形態は、撮像素子から取得した偏光画像データから、複数枚の偏光画像データを良好に生成する画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。

【課題を解決するための手段】

【0008】

第１態様に係る発明は、プロセッサと、偏光方向間の関係を記憶するメモリとを備え、プロセッサが画像処理を行う画像処理装置であって、プロセッサは、ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得する取得処理と、第１画像データをデモザイク処理し、異なる偏光方向に応じたｎ枚の第１偏光画像データを生成する第１偏光画像データ生成処理と、ｎ枚の第１偏光画像データとメモリに記憶された偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成する第２偏光画像データ生成処理と、を行う。

【0009】

本発明の第２態様に係る画像処理装置において、偏光方向間の関係は、ｎ個の第１偏光子が有する特性と第１偏光子に対応する画素の物理量との関係であることが好ましい。

【0010】

本発明の第３態様に係る画像処理装置において、ｎが４の場合において、
第１画像データから偏光方向毎に分離した４枚の偏光画像データを、それぞれＩ_１、Ｉ_２、Ｉ_３、Ｉ_４とすると、プロセッサは、次式、

【0011】

【数1】

【0012】

（ただし、ａはパラメータ）
の演算を行い、デモザイク処理された４枚の第１偏光画像データを生成することが好ましい。

【0013】

本発明の第４態様に係る画像処理装置において、ｎが４の場合において、メモリは、ｎ個の第１偏光子の偏光方向間の関係として、次の行列、

【0014】

【数2】

【0015】

（ただし、ｌ_１～ｌ_３、ｃ_０～ｃ_３は係数である）
を記憶し、ｎ枚の第１偏光画像データの各画素位置に元から存在する第１画素値をｘ₀とし、画素位置において、デモザイク処理により生成された３つの第２画素値をそれぞれｘ_１demo、ｘ_２demo、ｘ_３demoとすると、プロセッサは、４枚以下の第２偏光画像データを生成するための、画素位置において生成する３個の画素値（ｘ_１ｒ、ｘ_２ｒ、ｘ_３ｒ）を、次式、

【0016】

【数3】

【0017】

により算出することが好ましい。

【0018】

本発明の第５態様に係る画像処理装置において、撮像素子に光量分布が均一な非偏光の光が入射した場合に得られる隣接画素の４つの偏光情報をｘ_０～ｘ_３とすると、係数ｃ_０～ｃ_３と偏光情報ｘ_０～ｘ_３とは、次式、

【0019】

【数4】

【0020】

を満たす。一例としてｘ_ｉは光の輝度値である。

【0021】

本発明の第６態様に係る画像処理装置において、パラメータｉを１～３とし、［数２］で表した行列内の係数ｌ_１、ｌ_２、ｌ_３をｌ_ｉ、係数ｃ_１、ｃ_２、ｃ_３をｃ_ｉで表すと、ｌ_ｉは、次式、

【0022】

【数10】

【0023】

（ただし、行列Ａを、撮像素子から取得した４つの偏光情報から別のｍ個の物理量への変換を与えるｍ行４列の行列とすると、［数１０］式中の行列Ｂは、Ａ^ＴＡの第（ｉ＋１）行、及び第（ｊ＋１）列を除去した３行３列の行列Ｂの余因子行列である）で表される。

【0024】

本発明の第７態様に係る画像処理装置において、行列Ａは、４行４列の単位行列であることが好ましい。

【0025】

本発明の第８態様に係る画像処理装置において、パラメータｉを１～３とし、［数２］で示した行列内の係数ｌ_１、ｌ_２、ｌ_３をｌ_ｉとし、係数ｃ_１、ｃ_２、ｃ_３をｃ_ｉとすると、ｌ_ｉは、次式、

【0026】

【数18】

【0027】

で表される。

【0028】

本発明の第９態様に係る撮像装置は、撮影光学系と、ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子と、第１態様から第８態様のいずれかの画像処理装置と、を備え、プロセッサは、撮像素子から第１画像データを取得する。

【0029】

本発明の第１０態様に係る撮像装置は、瞳領域が第１瞳領域、第２瞳領域及び第３瞳領域に分割され、第１瞳領域、第２瞳領域及び第３瞳領域を通過する光をそれぞれ異なる方向に偏光する３個の第２偏光子と、第１瞳領域、第２瞳領域及び第３瞳領域からそれぞれ異なる波長帯域の光を通過させる３個の波長選択素子と、を含む撮影光学系と、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なる４つの第１偏光子が規則的に設けられた撮像素子と、第６態様の画像処理装置と、を備え、プロセッサは、撮像素子から第１画像データを取得し、行列Ａは、第１画像データから、３つの各波長帯域の光の混信が除去された３つの各波長帯域の光に対応した３枚の画像データを算出する際の混信除去行列である。

【0030】

第１１態様に係る発明は、プロセッサと、偏光方向間の関係を記憶するメモリとを備え、プロセッサが画像処理を行う画像処理方法であって、ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得するステップと、第１画像データをデモザイク処理し、偏光方向が異なるｎ枚の第１偏光画像データを生成するステップと、ｎ枚の第１偏光画像データとメモリに記憶された偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成するステップと、を含む。

【0031】

本発明の第１２態様に係る画像処理プログラムは、ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得する機能と、第１画像データをデモザイク処理し、偏光方向が異なるｎ枚の第１偏光画像データを生成する機能と、ｎ枚の第１偏光画像データとｎ個の第１偏光子の偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成する機能と、をコンピュータにより実現させる。

【図面の簡単な説明】

【0032】

【図1】図１は、本発明に係る撮像装置の第1実施形態の概略構成を示す図である。

【図2】図２は、図１に示した撮像素子の概略構成を示す図である。

【図3】図３は、図２に示した１つ画素（図２の破線部）の概略構成を示す断面図である。

【図4】図４は、撮像素子の各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。

【図5】図５は、図１に示した撮像素子の画素の配列の概略構成を示す図である。

【図6】図６は、図１に示した画像処理装置の概略構成を示すブロック図である。

【図7】図７は、偏光ＲＡＷ画像データから、偏光方向毎の偏光画像データＩ_１～Ｉ_４が分離される態様を示す模式図である。

【図8】図８は、偏光画像データＩ_１～Ｉ_４毎にカーネルＫをコンボリューションすることにより、黒塗り部分の画素値を補間して４枚の第１偏光画像データを生成する態様を示す模式図である。

【図9】図９は、画素Ｐ１を中心とする隣接する８画素（合計９画素）を示す図である。

【図10】図１０は、偏光方向が異なる４つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の画素値の関係を示す模式図である。

【図11】図１１は、本発明に係る撮像装置の第２実施形態の概略構成を示す図である。

【図12】図１２は、図１１に示したバンドパスフィルタユニットの実施形態を示す正面図である。

【図13】図１３は、各バンドパスフィルタの透過波長特性の一例を示すグラフである。

【図14】図１４は、図１１に示した偏光フィルタユニットの実施形態を示す正面図である。

【発明を実施するための形態】

【0033】

以下、添付図面に従って本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムの好ましい実施形態について説明する。

【0034】

［撮像装置の構成］
図１は、本発明に係る撮像装置の第１実施形態の概略構成を示す図である。

【0035】

第１実施形態の撮像装置１－１は、それぞれ偏光方向が異なる４枚の偏光画像を撮像する偏光カメラであり、撮影光学系１０－１と、撮像素子１００と、画像処理装置２００と、を備える。

【0036】

撮影光学系１０－１は、被写体の光学像を撮像素子１００の受光面に結像させる一般的な撮影レンズである。

【0037】

また、撮影光学系１０－１は、図示しない焦点調節機構及び絞りを有する。焦点調節機構は、例えば、撮影光学系１０－１の全体を光軸Ｌに沿って前後移動させて、焦点を調節する。

【0038】

＜撮像素子＞
図２は、図１に示した撮像素子の概略構成を示す図である。図３は、図２に示した１つ画素（図２の破線部）の概略構成を示す断面図である。

【0039】

撮像素子１００は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のイメージセンサであり、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、及びマイクロレンズアレイ層１４０を有する。各層は、像面側から物体側に向かって、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、マイクロレンズアレイ層１４０の順で配置される。尚、撮像素子１００は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

【0040】

ピクセルアレイ層１１０は、多数の光電変換素子であるフォトダイオード１１２を２次元状に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配置される。

【0041】

偏光フィルタ素子アレイ層１２０は、透過させる光の偏光方向がそれぞれ異なるｎ個の第１偏光子（偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄ）が規則的に設けられている。尚、ｎは４以上の整数であり、本例では、ｎ＝４の場合に関して示している。

【0042】

図４は、撮像素子の各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。

【0043】

図４に示すように、隣接する４個（２×２個）の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４で１つの画素ブロックＰＢ（Ｘ，Ｙ）が構成され、画素ブロックＰＢ内の各画素Ｐ１、Ｐ２、Ｐ３、Ｐ４には、前述した偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄがそれぞれ設けられている。

【0044】

４個の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄは、互いに偏光方向が４５°異なっている。

【0045】

例えば、偏光フィルタ素子１２２Ａが、入射する光のうちの図４上で左右方向（ｘ軸方向）の光成分のみを透過する場合、この場合の偏光方向θ１を０°とすると、偏光フィルタ素子１２２Ｂの偏光方向θ２は４５°であり、偏光フィルタ素子１２２Ｃの偏光方向θ３は９０°であり、偏光フィルタ素子１２２Ｄの偏光方向θ４は１３５°である。尚、４種類の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄの配列パターンは、図４に示した例に限定されない。

【0046】

図５は、図１に示した撮像素子の画素の配列の概略構成を示す図である。

【0047】

図５に示すように、撮像素子１００は、前述したように受光面に４種類の画素Ｐ１～Ｐ４を有する。隣接する４個（２×２個）の画素ブロックＰＢ（Ｘ，Ｙ）が、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）に沿って規則的に配列される。

【0048】

撮像装置１－１は、シャッタレリーズスイッチ等から撮影指示入力を受け付けると、撮像素子１００における露光制御を行う。この露光制御により撮像素子１００の受光面に結像された被写体の光学像は、撮像素子１００により電気信号に変換される。撮像素子１００の各画素には、フォトダイオード１１２に入射する光の光量に応じた電荷が蓄積され、撮像素子１００からは各画素に蓄積された電荷量に応じた電気信号が画像信号（第１画像データ）として読み出される。

【0049】

ここで、第１画像データは、本例では画素Ｐ１～Ｐ４毎の４個の偏光情報を有する画像データである。以下、第１画像データを、「偏光ＲＡＷ画像データ」という。

【0050】

図１に戻って、画像処理装置２００は、撮像素子１００から偏光ＲＡＷ画像データを取得し、後述する画像処理（ＲＡＷ現像処理）を行い、偏光方向別の４枚の偏光画像データ（第２偏光画像データ）を生成する。

【0051】

＜画像処理装置＞
図６は、図１に示した画像処理装置の概略構成を示すブロック図である。

【0052】

図６に示すように、画像処理装置２００は、アナログ信号処理部２００Ａ、プロセッサ２００Ｂ及びメモリ２００Ｃを含む。

【0053】

アナログ信号処理部２００Ａは、撮像素子１００から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。

【0054】

プロセッサ２００Ｂは、アナログ信号処理部２００Ａから偏光ＲＡＷ画像データを取得する取得処理を行う。尚、撮像素子１００がＣＭＯＳ型撮像素子である場合、アナログ信号処理部等は、ＣＭＯＳ型撮像素子内に内蔵されていることが多く、この場合、プロセッサ２００Ｂは、ＣＭＯＳ型撮像素子から偏光ＲＡＷ画像データを取得することができる。

【0055】

プロセッサ２００Ｂは、取得した偏光ＲＡＷ画像データをデモザイク処理し、偏光方向がそれぞれ異なる４枚の偏光画像データ（第１偏光画像データ）を生成する。

【0056】

≪デモザイク処理≫
次に、偏光ＲＡＷ画像データのデモザイク処理について説明する。

【0057】

偏光ＲＡＷ画像データから偏光方向毎に分離した４枚の偏光画像データを、それぞれＩ_１、Ｉ_２、Ｉ_３、Ｉ_４とすると、プロセッサ２００Ｂは、次式、

【0058】

【数1】

【0059】

（ただし、ａはパラメータ）
の演算を行い、デモザイク処理された４枚の第１偏光画像データを生成する第１偏光画像データ生成処理を行う。

【0060】

４枚の偏光画像データ（Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４）のうちの偏光画像データＩ_１は、画素Ｐ１の画素値のみを有し、他の画素位置の画素値がゼロの画像データである。同様に、偏光画像データＩ_２は、画素Ｐ２の画素値のみを有し、他の画素位置の画素値がゼロの画像データであり、偏光画像データＩ_３は、画素Ｐ３の画素値のみを有し、他の画素位置の画素値がゼロの画像データであり、偏光画像データＩ_４は、画素Ｐ４の画素値のみを有し、他の画素位置の画素値がゼロの画像データである。

【0061】

［数１］式は、各偏光画像データＩ_１～Ｉ_４と重み付け係数を有する７×７のカーネルＫとの畳み込み演算（コンボリューション）により、画素値がゼロの画素位置における画素値を、その周辺画素の画素値により推定（補間）するデモザイク処理を示す。

【0062】

カーネルＫの係数は、画素値を推定する画素位置から近い画素位置ほど、大きい重み付け係数が割り当てられている。

【0063】

また、カーネルＫにおけるａはパラメータであり、パラメータａを調整することで、鮮鋭度をコントロールすることができる。例えば、パラメータａを０に近づけると、鮮鋭度が小さく、かつノイズが小さくなり、パラメータａをマイナスに大きくすると、鮮鋭度が高く、かつノイズが大きくなる。

【0064】

尚、［数１］式に示したカーネルＫのサイズ、重み付け係数、及びパラメータａは一例にすぎず、本発明はこれに限定されない。

【0065】

図７は、偏光ＲＡＷ画像データから、偏光方向毎の偏光画像データＩ_１～Ｉ_４が分離される態様を示す模式図である。偏光方向毎の偏光画像データＩ_１～Ｉ_４に分離することで、後の処理を行いやすくする。

【0066】

図７に示す偏光画像データＩ_１～Ｉ_４において、黒塗り部分の画素値はゼロである。デモザイク処理は、黒塗り部分の画素値を、その周辺画素の画素値に基づいて推定（補間）し、黒塗り部分に補間した画素値を埋め込み、４枚の第１偏光画像データを生成する処理である。

【0067】

図８は、偏光画像データＩ_１～Ｉ_４毎にカーネルＫをコンボリューションすることにより、黒塗り部分の画素値を補間して４枚の第１偏光画像データを生成する態様を示す模式図である。

【0068】

カーネルＫは、例えばメモリ２００Ｃに記憶されており、プロセッサ２００Ｂは、メモリ２００ＣからカーネルＫを読み出し、偏光画像データＩ_１～Ｉ_４毎にカーネルＫをコンボリューションすることで、４枚の第１偏光画像データを生成するデモザイク処理を行う。

【0069】

上記のデモザイク処理は、図４及び図５に示したように、偏光方向が異なる４種類の第１偏光子を有する画素Ｐ１～Ｐ４の空間的な配置関係から、偏光画像データＩ_１～Ｉ_４毎に、所定の画素位置（図８に示した黒塗り部分の画素位置）における画素値を補間処理により生成する。

【0070】

≪第２偏光画像データの生成方法≫
次に、ｎ枚の第１偏光画像データ、及びｎ個の第１偏光子の偏光方向間の関係を使用し、第１偏光画像データよりも補間精度を上げたｎ枚以下の第２偏光画像データを生成する方法について説明する。ｎ個の第１偏光子の偏光方向間の関係については後述する。

【0071】

以下、説明を簡単にするために、ｎが４の場合について説明する。

【0072】

ｎが４の場合、図６に示したメモリ２００Ｃは、偏光方向が異なるｎ個（４個）の第１偏光子の偏光方向間の関係として、次の行列、

【0073】

【数2】

【0074】

（ただし、ｌ_１～ｌ_３、ｃ_０～ｃ_３は係数である）
を記憶している。

【0075】

また、ｎが４の場合、デモザイク処理により４枚の第１偏光画像データが生成される。

【0076】

４枚の第１偏光画像データの同じ画素位置には、元から存在する画素値（以下、「第１画素値ｘ₀」という）と、デモザイク処理により生成した３個の画素値（以下、「第２画素値（ｘ_１demo、ｘ_２demo、ｘ_３demo）」という）とが存在する。

【0077】

図６に示したプロセッサ２００Ｂは、メモリ２００Ｃに記憶された、４個の第１偏光子の偏光方向間の関係（［数２］の行列）と、各画素位置の４つの画素値（第１画素値（ｘ₀）、３個の第２画素値（ｘ_１demo、ｘ_２demo、ｘ_３demo））とに基づいて、次式、

【0078】

【数3】

【0079】

の演算を行い、各画素位置において、デモザイク処理により生成した３個の第２画素値（ｘ_１demo、ｘ_２demo、ｘ_３demo）を補正した３個の画素値（ｘ_１ｒ、ｘ_２ｒ、ｘ_３ｒ）を演算する。

【0080】

これにより、プロセッサ２００Ｂは、デモザイク処理された４枚の第１偏光画像データよりも補間精度を上げた４枚以下（本例では、４枚）の第２偏光画像データ（Ｉ_１ｒ、Ｉ_２ｒ、Ｉ_３ｒ、Ｉ_４ｒ）を生成する第２偏光画像データ生成処理を行う。

【0081】

このようにして生成された４枚の第２偏光画像データ（Ｉ_１ｒ、Ｉ_２ｒ、Ｉ_３ｒ、Ｉ_４ｒ）は、後段の図示しない表示装置又は記録装置に出力され、表示又は記録することができる。

【0082】

≪偏光方向間の関係≫
ｎ個の第１偏光子の偏光方向間の関係としては、ｎ個の第１偏光子が有する特性と第１偏光子に対応する画素の物理量との関係などが挙げられる。一例として、［数２］の行列で示したｎ＝４の場合の第１偏光子の偏光方向間の関係について説明する。

【0083】

撮像素子１００に面内の光量分布が均一な非偏光の光（一例として自然光）が入射する場合、図４及び図５に示した隣接する４個（２×２個）の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４から得られる４つの偏光情報（画素値）をｘ_０～ｘ_３とすると、［数３］に示した行列内の係数ｃ_０～ｃ_３と、画素値ｘ_０～ｘ_３とは、次式、

【0084】

【数4】

【0085】

を満たす。換言すると、［数４］式を満たす係数ｃ_０～ｃ_３が存在する。

【0086】

ここで均一の度合いは、画素値の補正ができる範囲で分布（明暗差）は許容される。一例として２０％以下で確認を行った。また、非偏光とは単一方向の偏光ではなく、複数方向の偏光が混在していることを示す。

【0087】

図９は、画素Ｐ１を中心とする隣接する８画素（合計９画素）を示す図である。図１０は、偏光方向が異なる４つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の画素値の関係を示す模式図である。

【0088】

図１０に示すように偏光方向の間隔が４等分（４５°間隔）の場合、［数４］式のｃ_ｉは、ｃ０＝ｃ２＝１、ｃ１＝ｃ３＝－１である。

【0089】

しかしながら、実際には撮像素子１００の製造誤差の影響などで、上記関係から僅かにずれる。

【0090】

そこで、全体が真っ白な入力（均一な非偏光の光）を撮像素子１００に入射させ、撮像素子１００の出力結果を使用してキャリブレーションしておく。

【0091】

全体が真っ白な画像では、急峻な変化がないため、隣接画素間の関係を調べればよい。そして、［数４］式を満たすｃ_ｉを決める。ｃ_ｉを定数倍したものも同条件をみたすため、ｃ_ｉは一意に定まらない。したがって、ｃ_ｉの総和が１などの制約を設けることで、ｃ_ｉを決定する。

【0092】

［数４］式は、デモザイク処理により生成される偏光方向が異なる４つの画素値（ｘ_０demo、ｘ_１demo、ｘ_２demo、ｘ_３demo）の間でも成立し、画素値（ｘ_０demo、ｘ_１demo、ｘ_２demo、ｘ_３demo）と係数ｃ_０～ｃ_３との関係は、次式で表すことができる。

【0093】

［数５］
ｃ_０ｘ_０demo＋ｃ_１ｘ_１demo＋ｃ_２ｘ_２demo＋ｃ_３ｘ_３demo＝０
次の［数５’］式は、上記［数５］式を変形した数式である。

【0094】

［数５’］
ｘ_０demo＝－（１/ｃ_０)(ｃ_１ｘ_１demo＋ｃ_２ｘ_２demo＋ｃ_３ｘ_３demo)
また、偏光方向がそれぞれ異なる４つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４のうちの、ある偏光方向の画素（例えば、偏光方向０°の画素Ｐ１）において、元から存在する第１画素値と、デモザイク処理により推定した第２画素値（同じ偏光方向の画素値）との誤差をδとする。

【0095】

同様にして、４つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４のうちの、ある偏光方向の画素から偏光方向がそれぞれ４５°ずつ異なる３つの画素（例えば、偏光方向４５°、９０°、及び１３５°の画素Ｐ２、Ｐ３，Ｐ４）において、元から存在する第１画素値と、デモザイク処理により推定した第２画素値との誤差をそれぞれｌ_１δ、ｌ_２δ、ｌ_３δとする。

【0096】

係数ｌ_１、ｌ_２、ｌ_３は、［数２］の行列内のｌ_１、ｌ_２、ｌ_３と同じである。また、係数ｌ_１、ｌ_２、ｌ_３の算出方法については後述する。

【0097】

いま、画素Ｐ１の画素位置において、画素Ｐ１に対して偏光方向が４５°異なる画素Ｐ２の真の値（求めたい画素値）をｘ_１ｒとすると、画素値ｘ_１ｒは、次式、
［数６］
ｘ_１ｒ＝ｘ_１demo＋ｌ_１δ
により表すことができる。

【0098】

上記［数６］式における誤差δは、画素Ｐ１の元から存在する画素値ｘ_０と、デモザイク処理により推定した画素値ｘ_０demoとの誤差であるため、次式、
［数７］
δ＝ｘ_０－ｘ_０demo
で表すことができる。

【0099】

［数６］式のδに、［数７］式の右辺を代入すると、［数５］は、次式、
［数８］
ｘ_１ｒ＝ｘ_１demo＋ｌ_１（ｘ_０－ｘ_０demo）
で表すことができる。また、［数８］式のｘ_０demoに、［数５’］式の右辺を代入し、整
理すると、［数８］式は、次式により表すことができる。

【0100】

［数９］
ｘ_１ｒ=ｌ_１ｘ_０+｛(１+ｌ_１ｃ_１/ｃ_０)ｘ_１demo+(ｌ_１ｃ_２/ｃ_０)ｘ_２demo+(ｌ_１ｃ_３/ｃ_０)ｘ_３demo｝
上記［数９］式は、［数３］式において、ｘ_１ｒを算出する数式に相当する。

【0101】

また、画素Ｐ１の画素位置において、画素Ｐ１から偏光方向が９０°異なる画素Ｐ３の画素値ｘ_２ｒ（誤差ｌ_２δのない画素値）、及び偏光方向が１３５°異なる画素Ｐ４の画素値ｘ_３ｒ（誤差ｌ_３δのない画素値）を算出する数式も同様にして求めることができる。

【0102】

そして、［数３］式は、これらの誤差のない画素値（ｘ_１ｒ、ｘ_２ｒ、ｘ_３ｒ）を求める数式を表したものであり、［数３］式の右辺の行列は、［数２］で表したものである。

【0103】

尚、［数２］、及び［数３］式に示した係数ｌ_１～ｌ_３は、それぞれ１にしてもよい。

【0104】

≪係数ｌ_１、ｌ_２、ｌ_３の算出方法≫
［数２］で表した行列内の係数ｌ_１、ｌ_２、ｌ_３をｌ_ｉ、係数ｃ_１、ｃ_２、ｃ_３をｃ_ｉで表すと、ｌ_ｉは、次式、

【0105】

【数10】

【0106】

（ただし、行列Ａを、撮像素子から取得した４つの偏光情報から別の４個の物理量への変換を与えるｍ行４列の行列とすると、［数１０］式中の行列Ｂは、Ａ^ＴＡの第（ｉ＋１）行、及び第（ｊ＋１）列を除去した３行３列の行列Ｂの余因子行列である）で表すことができる。

【0107】

いま、行列Ａを、［数１１］に示す単位行列とする。

【0108】

【数11】

【0109】

Ａ^ＴＡは、［数１２］に示す行列で表すことができる。

【0110】

【数12】

【0111】

Ａ^ＴＡの第（ｉ＋１）行、及び第（ｊ＋１）列を除去した行列Ｂ_ｉ，ｊは、［数１３］で表すことができる。

【0112】

【数13】

【0113】

［数１０］式中の余因子行列Ｂ_ｉ，ｊは、［数１３］式の行列Ｂを元に、次式で表すことができる。

【0114】

【数14】

【0115】

また、ｃ_ｉは、第（ｉ＋１）成分を除外したベクトルであるため、次式で表すことができる。

【0116】

【数15】

【0117】

よって、［数１０］式の係数ｌ_１は、次式で表すことができる。

【0118】

【数16】

【0119】

同様にして、［数１０］式の係数ｌ_２、ｌ_３も、それぞれ次式で表すことができる。

【0120】

【数17】

【0121】

これにより、［数１０］式の係数ｌ_１～ｌ_３は、次式で表すことができる。

【0122】

【数18】

【0123】

また、本例の撮像素子１００に設けられた４種類の偏光フィルタ素子１２２Ａ～１２２Ｄのそれぞれの偏光方向（θ１～θ４）は、１８０°をｎ（＝４）等分した、４５°ずつ異なる０°、４５°、９０°、及び１３５°であるが、各偏光方向は、これに限定されない。

【0124】

次に、cos二乗モデルでの係数ｃ_iの導出について説明する。

【0125】

ｎを４以上の整数とすると、［数４］式は、次式で表すことができる。

【0126】

【数19】

【0127】

［数１９］式において、φ_ｉは撮像素子のそれぞれ異なる複数の画素の偏光方向を示す角度である。

【0128】

［数１９］式が任意のθで成立するためには、次式を満たす必要がある。

【0129】

【数20】

【0130】

変数が冗長なので、例えば、ｃ_０＝１にすると、［数２０］式は、次式に書き換えることがでる。

【0131】

【数21】

【0132】

［数２１］式は、次式で表すことができる。

【0133】

【数22】

【0134】

ここで、

【0135】

【数23】

【0136】

と表すことができる。

【0137】

例えば、φ_０＝0°、φ_１＝45°、φ_２＝90°、φ_４＝135°とすると、ｃ_０＝1、ｃ_１＝－1、ｃ_２＝1、ｃ_３＝－1となり、φ_０＝0°、φ_１＝10°、φ_２＝30°、φ_４＝60°とすると、ｃ_０＝1、ｃ_１＝－1.6527、ｃ_２＝0.8794、ｃ_３＝－0.2267となる。

【0138】

＜第２実施形態＞
図１１は、本発明に係る撮像装置の第２実施形態の概略構成を示す図である。

【0139】

第２実施形態の撮像装置１－２は、それぞれ波長帯域が異なる３枚以上の複数の画像（マルチスペクトル画像）を撮像するマルチスペクトルカメラであり、撮影光学系１０－２と、撮像素子１００と、画像処理装置２００－２と、を備える。

【0140】

尚、図１１において、図１に示した第１実施形態の撮像装置１－１と共通する部分には同一の符号を付し、その詳細な説明は省略する。また、画像処理装置２００－２は、図６に示した画像処理装置２００と共通するが、演算に使用する係数が相違する。

【0141】

第２実施形態の撮像装置１－２は、第１実施形態の撮像装置１－１と比較して、主として撮影光学系１０－２が、第１実施形態の撮像装置１－１の撮影光学系１０－１と相違する。

【0142】

≪撮影光学系≫
撮影光学系１０－２は、複数のレンズ１２を組み合わせて構成される。撮影光学系１０－２は、その瞳近傍にバンドパスフィルタユニット１６及び偏光フィルタユニット１８を有する。また、撮影光学系１０－２は、図示しない焦点調節機構を有する。焦点調節機構は、例えば、撮影光学系１０－２の全体を光軸Ｌに沿って前後移動させて、焦点を調節する。

【0143】

撮影光学系１０－２の瞳領域は、第１瞳領域、第２瞳領域及び第３瞳領域に分割される。バンドパスフィルタユニット１６は、第１瞳領域、第２瞳領域及び第３瞳領域からそれぞれ異なる波長帯域の光を通過させる３個の波長選択素子を有している。

【0144】

図１２は、図１１に示したバンドパスフィルタユニットの実施形態を示す正面図である。

【0145】

図１２に示すバンドパスフィルタユニット１６は、第１波長帯域λ１の光を通過させる第１瞳領域Ｚ１、第２波長帯域λ２の光を通過させる第２瞳領域Ｚ２、及び第３波長帯域λ３の光を通過させる第３瞳領域Ｚ３を有し、第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３ごとに異なる波長帯域の光を透過させる波長選択ユニットとして機能する。

【0146】

即ち、バンドパスフィルタユニット１６は、その中心が撮影光学系１０－２の光軸Ｌと一致するように配置され、中心角が９０°の３つ扇形の開口領域１６Ａ１、１６Ａ２、１６Ａ３を備えた遮光性を有する枠体１６Ａと、その枠体１６Ａの各開口領域１６Ａ１、１６Ａ２、１６Ａ３に設けられた３個の波長選択素子であるバンドパスフィルタ１６Ｂ１、１６Ｂ２、１６Ｂ３と、で構成される。

【0147】

図１３は、各バンドパスフィルタの透過波長特性の一例を示すグラフである。

【0148】

各バンドパスフィルタ１６Ｂ１～１６Ｂ３は、それぞれ異なる波長帯域の光を透過させる。具体的には、バンドパスフィルタ１６Ｂ１は、波長帯域λ１の光を透過させる。バンドパスフィルタ１６Ｂ２は、波長帯域λ２の光を透過させる。バンドパスフィルタ１６Ｂ３は、波長帯域λ３の光を透過させる。

【0149】

また、偏光フィルタユニット１８は、瞳分割された第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３を通過する光をそれぞれ異なる方向に偏光する３個の第２偏光子を有する。

【0150】

図１４は、図１１に示した偏光フィルタユニットの実施形態を示す正面図である。

【0151】

図１４に示す偏光フィルタユニット１８は、図１１に示したバンドパスフィルタユニット１６と同様に、その中心が撮影光学系１０－２の光軸Ｌと一致するように配置され、中心角が９０°の３つ扇形の開口領域１８Ａ１、１８Ａ２、１８Ａ３を備えた遮光性を有する枠体１８Ａと、第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３を通過する光をそれぞれ異なる方向に偏光する３個の第２偏光子（偏光フィルタ１８Ｂ１、１８Ｂ２、１８Ｂ３）と、で構成される。

【0152】

バンドパスフィルタユニット１６及び偏光フィルタユニット１８は近接配置され、それぞれの第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３の投影形状が同一である。したがって、バンドパスフィルタユニット１６のバンドパスフィルタ１６Ｂ１を透過した光は、偏光フィルタユニット１８の偏光フィルタ１８Ｂ１のみを通過し、同様にバンドパスフィルタ１６Ｂ２を透過した光は、偏光フィルタ１８Ｂ２のみを通過し、バンドパスフィルタ１６Ｂ３を透過した光は、偏光フィルタ１８Ｂ３のみを通過する。

【0153】

また、本例の偏光フィルタユニット１８の各偏光フィルタ１８Ｂ１、１８Ｂ２、１８Ｂ３の偏光方向（θ１、θ２、θ３）は、撮像素子１００の画素Ｐ１、Ｐ２、Ｐ３に設けられた各偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向（θ１、θ２、θ３）と同一である。

【0154】

したがって、第１瞳領域Ｚ１を通過する波長帯域λ１を有する偏光方向θ１の光は、撮像素子１００の同じ偏光方向θ１の画素Ｐ１と、偏光方向θ１と偏光方向が±４５°異なる画素Ｐ２，Ｐ４の各フォトダイオード１１２に入射し、同様に第２瞳領域Ｚ２を通過する波長帯域λ２を有する偏光方向θ２の光は、撮像素子１００の同じ偏光方向θ２の画素Ｐ２と、偏光方向θ２と偏光方向が±４５°異なる画素Ｐ３，Ｐ１の各フォトダイオード１１２に入射し、また第３瞳領域Ｚ３を通過する波長帯域λ３を有する偏光方向θ３の光は、撮像素子１００の同じ偏光方向θ３の画素Ｐ３と、偏光方向θ３と偏光方向が±４５°異なる画素Ｐ２，Ｐ４の各フォトダイオード１１２に入射する。

【0155】

撮像素子１００の画素Ｐ１のフォトダイオードには、撮影光学系１０－２の第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３をそれぞれ通過する波長帯域λ１を有する偏光方向θ１の光、波長帯域λ２を有する偏光方向θ２の光、及び波長帯域λ３を有する偏光方向θ３の光が入射する。

【0156】

即ち、撮像素子１００の画素Ｐ１のフォトダイオードには、各波長帯域λ１～λ３の光がそれぞれ入射（混信）する。同様に、撮像素子１００の画素Ｐ２～Ｐ４のフォトダイオードにも各波長帯域λ１～λ３の光がそれぞれ入射する。

【0157】

このため、画像処理装置２００－２（図１１）は、混信除去処理を行って、各波長帯域λ１～λ３の画像信号を生成する。

【0158】

混信除去を行う場合も［数３］式に示した演算を行うことで、各画素位置において、デモザイク処理により生成した３個の第２画素値（ｘ_１demo、ｘ_２demo、ｘ_３demo）を補正した３個の画素値（ｘ_１ｒ、ｘ_２ｒ、ｘ_３ｒ）を演算する。この場合、３個の画素値（ｘ_１ｒ、ｘ_２ｒ、ｘ_３ｒ）は、各波長帯域λ１～λ３の画素値である。

【0159】

また、混信除去を行う場合、バンドパスフィルタユニット１６及び偏光フィルタユニット１８の３つの第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３のうちのいずれか１の瞳領域のみを開口し、他の瞳領域を遮光して、全体が真っ白な入力を撮像素子１００に入射させ、撮像素子１００の出力結果を取得する。これを、３つの第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３ごとに実施する。このようにして取得した撮像素子１００の出力結果を使用し、隣接画素間の混信関係を調べて、［数４］式を満たすｃ_ｉを決める。

【0160】

また、［数１０］式で示した係数ｌ_ｉを求める場合の行列Ａ（余因子行列Ｂを求めるための元になる行列）を混信除去行列とする。

【0161】

図６に示した画像処理装置２００のメモリ２００Ｃは、混信除去を行う場合の［数２］に示した行列を記憶しており、プロセッサ２００Ｂは、混信除去を行う場合、メモリ２００Ｃに記憶された、混信除去用の４個の第１偏光子の偏光方向間の関係（［数２］の行列）と、各画素位置の４つの画素値（第１画素値（ｘ₀）、３個の第２画素値（ｘ_１demo、ｘ_２demo、ｘ_３demo））とに基づいて、［数３］式に示した演算を行うことで、各波長帯域λ１～λ３に対応した３枚のスペクトル画像（マルチスペクトル画像）を取得することができる。

【0162】

尚、撮影光学系１０－２のバンドパスフィルタユニット１６及び偏光フィルタユニット１８の３つの第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３は、それぞれ中心角が９０°の扇型であるが、中心角が１２０°の扇型でもよい。また、３つの瞳領域は、扇型に限らず、光軸Ｌを中心とする１つの円と、２つの環状帯とで構成される３つの瞳領域でもよい。

【0163】

［その他］
本実施形態の撮像素子１００は、カラーフィルタを備えていないが、各画素に赤色フィルタ、緑色フィルタ、又は青色フィルタが、例えば、２×２個の画素ブロックＰＢ毎にベイヤ配列で繰り返し配置されたものでもよい。これによれば、赤色、緑色、及び青色の色毎に偏光方向が異なる複数の偏光画像を取得することができ、また、色フィルタ、緑色フィルタ、又は青色フィルタの各波長帯域内で、３以下の波長帯域を選択するバンドパスフィルタを設けることで、最大で９枚（＝３×３）のマルチスペクトル画像を撮像することができる。

【0164】

また、本発明は撮像装置に限らず、例えば、図６に示した画像処理装置２００、及び図６に示した画像処理装置２００における画像処理方法及び画像処理プログラムを含む。

【0165】

この場合、画像処理方法は、プロセッサ２００Ｂと、メモリ２００Ｃとを備え、プロセッサ２００Ｂが、以下に示す各ステップを実行する。即ち、プロセッサ２００Ｂは、撮像素子１００から偏光ＲＡＷ画像データ（第１画像データ）を取得するステップと、第１画像データをデモザイク処理し、偏光方向が異なる４枚の第１偏光画像データを生成するステップと、４枚の第１偏光画像データとメモリ２００Ｃに記憶された４個の第１偏光子の偏光方向間の関係を使用し、４枚以下の第２偏光画像データを生成するステップと、を実行する。

【0166】

画像処理プログラムは、上記の画像処理方法をコンピュータにより実現させる。

【0167】

本実施形態において、例えば、プロセッサ２００Ｂの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0168】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0169】

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0170】

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0171】

１－１、１－２ 撮像装置
１０－１、１０－２ 撮影光学系
１２ レンズ
１６ バンドパスフィルタユニット
１６Ａ 枠体
１６Ａ１、１６Ａ２、１６Ａ３ 開口領域
１６Ｂ１、１６Ｂ２、１６Ｂ３ バンドパスフィルタ
１８ 偏光フィルタユニット
１８Ａ 枠体
１８Ａ１、１８Ａ２、１８Ａ３ 開口領域
１８Ｂ１、１８Ｂ２、１８Ｂ３ 偏光フィルタ
１００ 撮像素子
１１０ ピクセルアレイ層
１１２ フォトダイオード
１２０ 偏光フィルタ素子アレイ層
１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄ 偏光フィルタ素子
１４０ マイクロレンズアレイ層
２００ 画像処理装置
２００Ａ アナログ信号処理部
２００Ｂ プロセッサ
２００Ｃ メモリ
Ｌ 光軸

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】