知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-10
(45)【発行日】2023-03-20
(54)【発明の名称】撮像装置及び撮像システム
(51)【国際特許分類】
H04N 25/10 20230101AFI20230313BHJP
G02B 5/20 20060101ALI20230313BHJP
H04N 23/54 20230101ALI20230313BHJP
H04N 23/56 20230101ALI20230313BHJP
【ＦＩ】
H04N25/10
G02B5/20 101
H04N23/54
H04N23/56
【請求項の数】
12
(21)【出願番号】P 2020536419
(86)(22)【出願日】2019-07-19
(86)【国際出願番号】 JP2019028392
(87)【国際公開番号】W WO2020031655
(87)【国際公開日】2020-02-13
【審査請求日】2022-05-27
(31)【優先権主張番号】P 2018148195
(32)【優先日】2018-08-07
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100094363
【氏名又は名称】山本 孝久
(74)【代理人】
【識別番号】100118290
【弁理士】
【氏名又は名称】吉井 正明
(72)【発明者】
【氏名】杉山 寿伸
【審査官】豊田 好一
(56)【参考文献】
【文献】特開２０１８－１７０８０１（ＪＰ，Ａ）
【文献】特開２０１７－１１２４０１（ＪＰ，Ａ）
【文献】特開２０１６－０１２７４６（ＪＰ，Ａ）
【文献】国際公開第２０１６／０１３５２０（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２５／１０
Ｇ０２Ｂ ５／２０
Ｈ０４Ｎ ２３／５４
Ｈ０４Ｎ ２３／５６
(57)【特許請求の範囲】
【請求項1】
可視光である第１の色光に対応する波長帯域を透過する第１のカラーフィルタ、及び、赤外光の波長帯域の透過を制限する赤外光遮断フィルタを有する第１の画素、可視光である第２の色光に対応する波長帯域を透過する第２のカラーフィルタ、及び、赤外光遮断フィルタを有する第２の画素、
可視光である第３の色光に対応する波長帯域を透過する第３のカラーフィルタ、及び、赤外光遮断フィルタを有する第３の画素、
赤外光の波長帯域を透過する透過特性を有する第４の画素、並びに、
第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素、
第１の画素、第２の画素、第３の画素、第４の画素、及び、第５の画素から出力される信号強度に基づいて、少なくとも、赤外光遮断フィルタの赤外光透過率、又は、赤外光の強度に赤外光透過率を乗じた値、のいずれか一方を取得する信号処理部、
を有する撮像装置。
【請求項2】
赤色に対応する波長帯域、緑色に対応する波長帯域、青色に対応する波長帯域、及び、赤色に対応する波長帯域よりも波長の長い帯域である第１の赤外光波長帯域を透過するとともに、赤色に対応する波長帯域と第１の赤外光波長帯域との間の波長帯域である第１の波長帯域、及び、第１の赤外光波長帯域よりも長い波長帯域である第２の波長帯域を遮断するバンドパスフィルタを更に備える、請求項１に記載の撮像装置。
【請求項3】
赤外光遮断フィルタは、第１の赤外光波長帯域の透過を制限する選択的赤外光遮断フィルタである、請求項２に記載の撮像装置。
【請求項4】
第１のカラーフィルタは赤色のカラーフィルタ、第２のカラーフィルタは緑色のカラーフィルタ、及び、
第３のカラーフィルタは青色のカラーフィルタである、
請求項１に記載の撮像装置。
【請求項5】
第４の画素は、カラーフィルタが形成されていない白色画素、又は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、請求項４に記載の撮像装置。
【請求項6】
第５の画素は、選択的赤外光遮断フィルタが形成されていない緑色画素、選択的赤外光遮断フィルタが形成された白色画素、選択的赤外光遮断フィルタが形成された赤外光画素、又は、選択的赤外光遮断フィルタが形成されていない補色画素である、請求項５に記載の撮像装置。
【請求項7】
第１のカラーフィルタ、第２のカラーフィルタ、及び、第３のカラーフィルタは、補色フィルタである、請求項１に記載の撮像装置。
【請求項8】
第１のカラーフィルタはイエローのカラーフィルタ、第２のカラーフィルタはマゼンタのカラーフィルタ、及び、
第３のカラーフィルタはシアンのカラーフィルタである、
請求項７に記載の撮像装置。
【請求項9】
第４の画素は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、請求項８に記載の撮像装置。
【請求項10】
第５の画素は、選択的赤外光遮断フィルタが形成されていないイエローのカラーフィルタ、マゼンタのカラーフィルタ、又は、シアンのカラーフィルタである、請求項９に記載の撮像装置。
【請求項11】
第１の画素、第２の画素、第３の画素、第４の画素、及び、第５の画素を含む単位画素配列が、画素がマトリクス状に配置されて成る画素アレイ部上において、離散的に配置されている、請求項１に記載の撮像装置。
【請求項12】
赤外光を発光する光源、及び、可視光及び赤外光を取得可能な撮像装置を備え、
撮像装置は、
可視光である第１の色光に対応する波長帯域を透過する第１のカラーフィルタ、及び、赤外光の波長帯域の透過を制限する赤外光遮断フィルタを有する第１の画素、
可視光である第２の色光に対応する波長帯域を透過する第２のカラーフィルタ、及び、赤外光遮断フィルタを有する第２の画素、
可視光である第３の色光に対応する波長帯域を透過する第３のカラーフィルタ、及び、赤外光遮断フィルタを有する第３の画素、
赤外光の波長帯域を透過する透過特性を有する第４の画素、並びに、
第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素、
第１の画素、第２の画素、第３の画素、第４の画素、及び、第５の画素から出力される信号強度に基づいて、少なくとも、赤外光遮断フィルタの赤外光透過率、又は、赤外光の強度に赤外光透過率を乗じた値、のいずれか一方を取得する信号処理部、
を有する、
撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置及び撮像システムに関し、特に、可視光及び赤外光（ＩＲ：infrared）を同時に取得可能な撮像装置及び当該撮像装置を用いる撮像システムに関する。
【背景技術】
【0002】
近年、可視光及び赤外光（赤外線）を同時に取得可能な撮像装置が注目されている。この種の撮像装置は、パーソナルコンピュータやスマートホンなどに使用される顔認証、虹彩認証などのセキュリティー用途や、車載や監視、ゲームなどに利用される距離計測や暗時の物体認識などの用途において、通常のカラー画像の撮影機能と、赤外光によるこれらのセンシング機能とを同時に実現することができる。
【0003】
可視光及び赤外光を同時に取得可能な撮像装置において、可視光受光用の画素への赤外光の侵入を回避するために、可視光を取得するためのＲ（赤色），Ｇ（緑色），Ｂ（青色）フィルタと、赤外光を取得するためのＩＲ（赤外光）フィルタとが繰り返し単位となる単位画素配列毎に設けられている（例えば、特許文献１参照）。
【0004】
この従来技術では、撮像装置の前に、可視光及び特定の赤外光（投光赤外光）の波長帯域に透過性能をもつダブル（デュアル）バンドパスフィルタを備えることを前提としている。そして、Ｒ，Ｇ，Ｂフィルタの上には更に、上記の特定の赤外光の波長帯域とほぼ同じ波長領域に吸収特性をもつ選択的赤外光遮断フィルタを形成することにより、可視光画素には可視光の波長帯域のみが透過するようにし、一方、赤外光画素には上記の特定の赤外光の波長帯域の光のみが透過するようにしている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１７－２１６６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した特許文献１に記載の従来技術において、選択的赤外光遮断フィルタは、一般的に、遮断波長領域の透過率は完全には０％にならず、１０％から２０％程度の値を持つ。また、一般的に、選択的赤外光遮断フィルタは、遮断特性に不安定性があり、その赤外光透過率が撮像装置の面内でばらついたり、経時的に変化する傾向がある。このため、可視光成分と赤外光成分との分離演算において、可視光－赤外光の分離精度が悪化したり、分離演算の解が発散してしまう等の現象が起こる。その結果、画質が損なわれる。
【0007】
本開示は、選択的赤外光遮断フィルタの赤外光透過率が不明、もしくは、空間的、時間的に不安定であっても、可視光と赤外光とをより精度よく分離可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の目的を達成するための本開示の撮像装置は、
可視光である第１の色光に対応する波長帯域を透過する第１のカラーフィルタ、及び、赤外光の波長帯域の透過を制限する赤外光遮断フィルタを有する第１の画素、
可視光である第２の色光に対応する波長帯域を透過する第２のカラーフィルタ、及び、赤外光遮断フィルタを有する第２の画素、
可視光である第３の色光に対応する波長帯域を透過する第３のカラーフィルタ、及び、赤外光遮断フィルタを有する第３の画素、
赤外光の波長帯域を透過する透過特性を有する第４の画素、並びに、
第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素、
を有する。また、上記の目的を達成するための本開示の撮像システムは、上記の構成の撮像装置を用いる。
可視光である第１の色光に対応する波長帯域を透過する第１のカラーフィルタ、及び、赤外光の波長帯域の透過を制限する赤外光遮断フィルタを有する第１の画素、
可視光である第２の色光に対応する波長帯域を透過する第２のカラーフィルタ、及び、赤外光遮断フィルタを有する第２の画素、
可視光である第３の色光に対応する波長帯域を透過する第３のカラーフィルタ、及び、赤外光遮断フィルタを有する第３の画素、
赤外光の波長帯域を透過する透過特性を有する第４の画素、並びに、
第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素、
を有する。また、上記の目的を達成するための本開示の撮像システムは、上記の構成の撮像装置を用いる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の撮像装置及び撮像システム、全般に関する説明
２．本開示の撮像装置を用いる撮像システム（カメラシステム）
２－１．システム構成
２－２．従来例に係るＲＧＢＷカラーフィルタ配列
３．本開示の実施形態
３－１．実施例１（Ｒ，Ｇ，Ｂ，Ｗの画素配列を基本とする例）
３－２．実施例２（Ｒ，Ｇ，Ｂ，Ｗの画素配列をベースとし、Ｗ画素の半分をＧＩ画素に置き換えた例）
３－３．実施例３（Ｒ，Ｇ，Ｂ－ＩＲの画素配列を基本とする例）
３－４．実施例４（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、Ｇ画素の数を増やした例）
３－５．実施例５（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、Ｇ画素の半分をＷＳ画素に置き換えた例）
３－６．実施例６（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、ＩＲ画素の半分をｋＩＲ画素に置き換えた例）
３－７．実施例７（Ｒ，Ｇ，Ｂ－ＩＲの画素配列に対し、ＩＲ画素の半分をＷ画素に置き換えた例）
３－８．実施例８（Ｒ，Ｇ，Ｂ，Ｗの画素配列に対し、Ｇ画素の半分をＩＲ画素に置き換えた例）
３－９．実施例９（Ｒ，Ｂ，Ｗ，ＷＳ－ＩＲの画素配列を基本とする例）
３－１０．実施例１０（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、Ｒ画素の半分をＹＩ画素に置き換えた例）
３－１１．実施例１１（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、Ｒ画素の半分をＹｅ画素に置き換えた例）
３－１２．実施例１２（全てのカラーフィルタを補色フィルタに置き換えた例）
３－１３．実施例１３（透過率算出用の単位画素配列を離散的に配置する例）
４．実施形態の変形例
５．本開示がとることができる構成
１．本開示の撮像装置及び撮像システム、全般に関する説明
２．本開示の撮像装置を用いる撮像システム（カメラシステム）
２－１．システム構成
２－２．従来例に係るＲＧＢＷカラーフィルタ配列
３．本開示の実施形態
３－１．実施例１（Ｒ，Ｇ，Ｂ，Ｗの画素配列を基本とする例）
３－２．実施例２（Ｒ，Ｇ，Ｂ，Ｗの画素配列をベースとし、Ｗ画素の半分をＧＩ画素に置き換えた例）
３－３．実施例３（Ｒ，Ｇ，Ｂ－ＩＲの画素配列を基本とする例）
３－４．実施例４（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、Ｇ画素の数を増やした例）
３－５．実施例５（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、Ｇ画素の半分をＷＳ画素に置き換えた例）
３－６．実施例６（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、ＩＲ画素の半分をｋＩＲ画素に置き換えた例）
３－７．実施例７（Ｒ，Ｇ，Ｂ－ＩＲの画素配列に対し、ＩＲ画素の半分をＷ画素に置き換えた例）
３－８．実施例８（Ｒ，Ｇ，Ｂ，Ｗの画素配列に対し、Ｇ画素の半分をＩＲ画素に置き換えた例）
３－９．実施例９（Ｒ，Ｂ，Ｗ，ＷＳ－ＩＲの画素配列を基本とする例）
３－１０．実施例１０（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、Ｒ画素の半分をＹＩ画素に置き換えた例）
３－１１．実施例１１（Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとし、Ｒ画素の半分をＹｅ画素に置き換えた例）
３－１２．実施例１２（全てのカラーフィルタを補色フィルタに置き換えた例）
３－１３．実施例１３（透過率算出用の単位画素配列を離散的に配置する例）
４．実施形態の変形例
５．本開示がとることができる構成
【0011】
＜本開示の撮像装置及び撮像システム、全般に関する説明＞
本開示の撮像装置及び撮像システムにあっては、赤色に対応する波長帯域、緑色に対応する波長帯域、青色に対応する波長帯域、及び、赤色に対応する波長帯域よりも波長の長い帯域である第１の赤外光波長帯域を透過するバンドパスフィルタを更に備える構成とすることができる。このバンドパスフィルタは、赤色に対応する波長帯域と第１の赤外光波長帯域との間の波長帯域である第１の波長帯域、及び、第１の赤外光波長帯域よりも長い波長帯域である第２の波長帯域を遮断する機能を持っている。そして、バンドパスフィルタとしては、第１の赤外光波長帯域の透過を制限する選択的赤外光遮断フィルタを用いることが好ましい。
本開示の撮像装置及び撮像システムにあっては、赤色に対応する波長帯域、緑色に対応する波長帯域、青色に対応する波長帯域、及び、赤色に対応する波長帯域よりも波長の長い帯域である第１の赤外光波長帯域を透過するバンドパスフィルタを更に備える構成とすることができる。このバンドパスフィルタは、赤色に対応する波長帯域と第１の赤外光波長帯域との間の波長帯域である第１の波長帯域、及び、第１の赤外光波長帯域よりも長い波長帯域である第２の波長帯域を遮断する機能を持っている。そして、バンドパスフィルタとしては、第１の赤外光波長帯域の透過を制限する選択的赤外光遮断フィルタを用いることが好ましい。
【0012】
上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、第１のカラーフィルタについて赤色のカラーフィルタ、第２のカラーフィルタについて緑色のカラーフィルタ、及び、第３のカラーフィルタについて青色のカラーフィルタである構成とすることができる。
【0013】
更に、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、第４の画素について、カラーフィルタが形成されていない白色画素、又は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である構成とすることができる。また、第５の画素について、選択的赤外光遮断フィルタが形成されていない緑色画素、選択的赤外光遮断フィルタが形成された白色画素、選択的赤外光遮断フィルタが形成された赤外光画素、又は、選択的赤外光遮断フィルタが形成されていない補色画素である構成とすることができる。
【0014】
あるいは又、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、第１のカラーフィルタ、第２のカラーフィルタ、及び、第３のカラーフィルタについて、補色フィルタである構成とすることができる。そして、第１のカラーフィルタについてはイエローのカラーフィルタ、第２のカラーフィルタについてはマゼンタのカラーフィルタ、及び、第３のカラーフィルタについてはシアンのカラーフィルタである構成とすることができる。
【0015】
更に、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、第４の画素について、赤外光の波長帯域を透過する透過特性を有する赤外光画素である構成とすることができる。また、第５の画素について、選択的赤外光遮断フィルタが形成されていないイエローのカラーフィルタ、マゼンタのカラーフィルタ、又は、シアンのカラーフィルタである構成とすることができる。
【0016】
また、上述した好ましい構成を含む本開示の撮像装置及び撮像システムにあっては、第１の画素、第２の画素、第３の画素、第４の画素、及び、第５の画素を含む単位画素配列が、画素がマトリクス状に配置されて成る画素アレイ部上において、離散的に配置されている構成とすることができる。
【0017】
＜撮像システム＞
先ず、本開示の撮像装置を用いる撮像システム（カメラシステム）の構成について説明する。
［システム構成］
本開示の撮像装置を用いるカメラシステムの構成の概略を図１に示す。図１に示すように、本例に係るカメラシステム１は、赤外光（ＩＲ）を投光する光源部１０、画像を撮影する撮像部２０、及び、カメラ信号処理部３０を有する構成となっている。
先ず、本開示の撮像装置を用いる撮像システム（カメラシステム）の構成について説明する。
［システム構成］
本開示の撮像装置を用いるカメラシステムの構成の概略を図１に示す。図１に示すように、本例に係るカメラシステム１は、赤外光（ＩＲ）を投光する光源部１０、画像を撮影する撮像部２０、及び、カメラ信号処理部３０を有する構成となっている。
【0018】
光源部１０は、赤外光（ＩＲ）を発光する光源であるＩＲ-ＬＥＤ１１、及び、当該ＩＲ-ＬＥＤ１１を駆動するＩＲ-ＬＥＤドライバ１２から構成されている。ＩＲ-ＬＥＤ１１としては、例えば、波長８５０ｎｍの赤外光を発光する発光ダイオード（ＬＥＤ）が用いられる。
【0019】
撮像部２０は、レンズ２１、デュアルバンドパスフィルタ２２、及び、撮像装置２３から構成されている。そして、撮像装置２３として、後述する本開示の撮像装置が用いられる。本開示の撮像装置としては、例えば、Ｘ－Ｙアドレス方式の撮像装置の一種であるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを例示することができる。ＣＭＯＳイメージセンサは、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。
【0020】
デュアルバンドパスフィルタ２２は、赤色（Ｒ）に対応する波長帯域、緑色（Ｇ）に対応する波長帯域、青色（Ｂ）に対応する波長帯域、及び、赤色に対応する波長帯域よりも波長の長い帯域である第１の赤外光波長帯域を透過するバンドパスフィルタである。デュアルバンドパスフィルタ２２は、赤色に対応する波長帯域と第１の赤外光波長帯域との間の波長帯域である第２の波長帯域、及び、赤外光波長帯域よりも長い波長帯域である第３の波長帯域を遮断する機能を持っている。デュアルバンドパスフィルタ２２の分光特性の一例を図２Ａに示す。図２Ａに示すように、ここで例示するデュアルバンドパスフィルタ２２は、可視光の帯域、及び、波長８５０ｎｍの赤外光に対応した第１の赤外光波長帯域に透過特性を持っている。
【0021】
撮像装置２３は、可視光及び赤外光を同時に取得可能な撮像装置である。この種の撮像装置では、先述したように、可視光受光用の画素への赤外光の侵入を回避するために、Ｒ，Ｇ，Ｂ，ＩＲの画素配列のカラーフィルタが用いられている。このＲ，Ｇ，Ｂ，ＩＲの画素配列のカラーフィルタの他にも、可視光及び赤外光の同時取得を可能にするためのカラーフィルタとして、Ｒ，Ｇ，Ｂ，Ｗの画素配列のカラーフィルタが知られている。
【0022】
ここで、Ｗとは、カラーフィルタが形成されていない白色画素を意味する。Ｗ画素は、画素上にカラーフィルタを設けないことにより、画素アレイが形成されるシリコン基板自身の感度に対応する可視光、赤外光全ての帯域に感度を持つ画素である。
【0023】
［従来例に係るＲＧＢＷカラーフィルタ配列］
ここで、従来例に係るＲ，Ｇ，Ｂ，Ｗカラーフィルタ配列について説明する。従来例に係るＲ，Ｇ，Ｂ，Ｗカラーフィルタ配列を図２Ｂに示す。
ここで、従来例に係るＲ，Ｇ，Ｂ，Ｗカラーフィルタ配列について説明する。従来例に係るＲ，Ｇ，Ｂ，Ｗカラーフィルタ配列を図２Ｂに示す。
【0024】
従来例に係るＲ，Ｇ，Ｂ，Ｗカラーフィルタ配列（画素配列）では、赤外光のみを受光する専用画素がないため、それぞれの画素の受光信号に対し、次式（１）に示すような連立方程式をたて、逆演算を行うことにより、各色の信号強度の算出が行われる。
【0025】
【0026】
一般的に、式（１）の連立方程式は解析的に解くことが可能であるが、このフィルタ構成では、可視光画素に強い赤外光が混入したときなどは演算誤差が増大し、色再現、ノイズなどの面で画質劣化を招くこととなる。
【0027】
一方、このようなノイズの発生を回避するために、Ｒ，Ｇ，Ｂ，Ｗカラーフィルタ配列において、Ｒ画素、Ｇ画素、Ｂ画素のみに選択的赤外光遮断フィルタを形成する手法が考えられる。上記の連立方程式に対し、透過率ｋの選択的赤外光遮断フィルタを、Ｒ画素、Ｇ画素、Ｂ画素の上方のみに搭載した場合のマトリクス表記した換算式を次式（２）に示す。
【0028】
【0029】
式（２）の演算式に対し、マトリクスの逆行列を求めて逆算すれば、各色フィルタに対応する画素信号を分離することが可能である。このようにすると、Ｒ画素、Ｇ画素、Ｂ画素に含まれる信号のうち、赤外光の信号成分は透過率ｋを乗算した分だけ低減されるためノイズの抑制効果が得られる。しかしながら、透過率ｋ＝１／３（３３％）近傍においては、変換式の行列式（１－３ｋ）が０となり、逆演算の解が発散してしまい、正確な信号強度が得られなくなる。
【0030】
先に述べたように、選択的赤外光遮断フィルタの透過率は、空間的、経時的に不安定性を示すため、透過率が３３％近傍になることも想定される。よって、このような変化を前提とすると、Ｒ，Ｇ，Ｂ，Ｗカラーフィルタ配列（画素配列）では、有限の透過率を持つ選択的赤外光遮断フィルタを使用することは難しくなる。
【0031】
＜本開示の実施形態＞
本開示の実施形態では、以上の問題点に鑑み、選択的赤外光遮断フィルタの赤外光透過率ｋが不明、もしくは、空間的、時間的に不安定であっても、より高精度にて可視光と赤外光とを分離できるようにする。また、Ｒ，Ｇ，Ｂ，Ｗカラーフィルタ配列（画素配列）においても、選択的赤外光遮断フィルタの使用を可能にし、同様に、可視光と赤外光とをより精度よく分離できるようにする。
本開示の実施形態では、以上の問題点に鑑み、選択的赤外光遮断フィルタの赤外光透過率ｋが不明、もしくは、空間的、時間的に不安定であっても、より高精度にて可視光と赤外光とを分離できるようにする。また、Ｒ，Ｇ，Ｂ，Ｗカラーフィルタ配列（画素配列）においても、選択的赤外光遮断フィルタの使用を可能にし、同様に、可視光と赤外光とをより精度よく分離できるようにする。
【0032】
可視光と赤外光とをより高精度にて分離できるようにするために、本実施形態では、本開示の撮像装置のカラーフィルタの単位画素配列内に、選択的赤外光遮断フィルタの有無の組み合わせによる新たな画素構成を増やし、単位画素配列毎に選択的赤外光遮断フィルタの透過率も含めて入力信号を算出するようにする。
【0033】
より具体的には、本実施形態に係る撮像装置は、カラーフィルタの単位画素配列内に、次の機能を有する第１の画素、第２の画素、第３の画素、第４の画素、及び、第５の画素の５種類の画素を有することを特徴とする。
【0034】
第１の画素は、可視光である第１の色光に対応する波長帯域を透過する第１のカラーフィルタ、及び、赤外光の波長帯域の透過を制限する赤外光遮断フィルタを有する。第２の画素は、可視光である第２の色光に対応する波長帯域を透過する第２のカラーフィルタ、及び、赤外光遮断フィルタを有する。第３の画素は、可視光である第３の色光に対応する波長帯域を透過する第３のカラーフィルタ、及び、赤外光遮断フィルタを有する。第４の画素は、赤外光の波長帯域を透過する透過特性を有する。第５の画素は、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する。
【0035】
赤外光透過率ｋが空間的、時間的に変動する選択的赤外光遮断フィルタを使用したときに、赤外光透過率ｋを算出することにより、各信号成分の算出精度を上げることが可能となる。その結果、色再現、Ｓ／Ｎなどの画質指標の向上を図ることができる。また、通常の可視光－赤外光の分離計算では、赤外光透過率ｋの値により、各色の信号成分を求めるマトリクスが発散するような場合でも、各色の信号成分を求めることが可能となる。
【0036】
また、赤外光透過率ｋが不安定な選択的赤外光遮断フィルタを使用することが可能であることから、当該選択的赤外光遮断フィルタとして、より低コストな膜を使用することができるため、デバイス自体の低コスト化を図ることができる。
【0037】
以下に、可視光と赤外光とをより高精度にて分離することを目的として、カラーフィルタの単位画素配列内に、選択的赤外光遮断フィルタの有無の組み合わせによる新たな画素構成を有する本実施形態の具体的な実施例について説明する。
【0038】
［実施例１］
実施例１は、Ｒ，Ｇ，Ｂ，Ｗの画素配列を基本とする例である。実施例１に係るカラーフィルタの単位画素配列を図３Ａに示す。実施例１では、図３Ａに示す４行×４列のカラーフィルタ配列（画素配列）を単位として、各フィルタが画素アレイ部の各画素上に繰り返し展開される。
実施例１は、Ｒ，Ｇ，Ｂ，Ｗの画素配列を基本とする例である。実施例１に係るカラーフィルタの単位画素配列を図３Ａに示す。実施例１では、図３Ａに示す４行×４列のカラーフィルタ配列（画素配列）を単位として、各フィルタが画素アレイ部の各画素上に繰り返し展開される。
【0039】
但し、Ｒ，Ｇ，Ｂ，Ｗの単位画素配列に存在する４個のＧ画素のうち、２個のＧ画素には選択的赤外光遮断フィルタを形成し、他の２個のＧ画素には選択的赤外光遮断フィルタを形成しない構成となっている。選択的赤外光遮断フィルタは、投光赤外光の波長帯域とほぼ同じ波長領域に吸収特性をもつフィルタである。
【0040】
【0041】
ここで、ＧＩ画素は、選択的赤外光遮断フィルタが形成されていないＧ画素である。以下では、この選択的赤外光遮断フィルタが形成されていないＧ画素をＧＩ画素と表記する。ＧＩ画素は、Ｇの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつ画素である。
【0042】
選択的赤外光遮断フィルタの分光特性の一例を図３Ｂに示す。図３Ｂに示す分光特性では、８５０ｎｍ近傍での赤外光の透過率が１２％程度になっているが、この透過率は、撮像装置２３の面内でばらつく、又は、経時的にばらつく傾向にある。
【0043】
画素アレイ部２３１におけるＢ画素、Ｇ画素、及び、Ｒ画素の上には、赤外光（ＩＲ）を遮断する赤外光遮断フィルタ、例えば、光源からの投光赤外光の波長帯域とほぼ同じ波長領域、即ち、第１の赤外光波長帯域に吸収特性をもち、当該第１の波長帯域の透過を制限する選択的赤外光遮断フィルタ２３２が形成されている。そして、選択的赤外光遮断フィルタ２３２の上には、各画素に対応したカラーフィルタ２３３が形成されている。
【0044】
ＧＩ画素については、第１の赤外光波長帯域の透過を制限する選択的赤外光遮断フィルタ２３２が形成されておらず、Ｇのカラーフィルタのみが形成されている。Ｗ画素については、カラーフィルタは形成されておらず、シリコン基板自身の感度に対応する可視光、赤外光全ての帯域に感度を持つ。そして、画素アレイ部２３１の各画素の最上部には、オンチップレンズ２３４が画素単位で形成されている。
【0045】
上記の実施例１に係るカラーフィルタ配列において、Ｒ，Ｇ，Ｂの各画素は、可視光である第１の色光（赤色光）、第２の色光（緑色光）、第３の色光（青色光）に対応する波長帯域を透過する各フィルタ、及び、選択的赤外光遮断フィルタ２３２を有する第１、第２、第３の画素である。Ｗ画素は、赤外光の波長帯域を透過する透過特性を有する第４の画素である。ＧＩ画素は、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
【0046】
以上のカラーフィルタ配列（画素配列）を前提とした場合、単位画素配列を形成する各画素に入射する光信号は、カラーフィルタの積層構成に対応して、Ｒ，Ｇ，Ｂ，ＩＲ，ｋＩＲの５種類に分類される。ここで、ｋＩＲとは、選択的赤外光遮断フィルタ２３２を透過した赤外光を意味し、その強度は赤外光の強度ＩＲに赤外光透過率ｋを乗じたものである。
【0047】
また、これらの光が受光されたときに、各画素が発する信号強度をＲi，Ｇi，Ｂi，Ｗi，ＧＩiとすると、上記の信号種と各色成分の入力信号との関係は、次式（３）に示すようなマトリクス演算（変換マトリクスＡ）で表現される。
【0048】
【0049】
尚、変換マトリクスＡでは、説明を簡素化するために、単純に１と０の並びとなっているが、詳細には、各フィルタの分光特性に基づいて、実数値の成分として記述することも可能である。後述する各実施例においても同様である。
【0050】
ここで、先述した従来例に係るＲ，Ｇ，Ｂ，Ｗカラーフィルタ配列（図２Ｂ参照）と異なる点は、画素の種類としてＧＩ画素が増えており、それに対応して、ｋＩＲの強度も未知係数とすることにより、入射信号強度と画素信号との変換マトリクスＡが５行×５列となっている点である。これより、変換マトリクスＡの逆行列が存在すれば（行列式ｄｅｔＡ≠０）、逆マトリクス演算を行うことにより、５種の入射信号値から分離されたＲ，Ｇ，Ｂ，ＩＲ，ｋＩＲの信号値を算出することが可能となる。
【0051】
次式（４）は、実際に変換マトリクスＡの逆行列を求め、画素信号から、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各入射信号強度を分離する演算式を示したものである。本構成では、変換マトリクスＡの逆行列が存在する（行列式ｄｅｔＡ＝２）ため、各信号強度の算出が可能である。これにより、選択的赤外光遮断フィルタ２３２の赤外光透過率ｋも単位画素配列毎に求めることが可能となる。
【0052】
【0053】
上述した実施例１によれば、選択的赤外光遮断フィルタの赤外光透過率ｋ、もしくは、赤外光透過率ｋが乗算された赤外光成分ｋＩＲも単位画素配列毎に求めることができるため、先述した従来例に係るＲ，Ｇ，Ｂ，Ｗカラーフィルタ配列で問題となった、選択的赤外光遮断フィルタの赤外光透過率ｋの空間的、時間的な変動に影響されることなく、より高い精度で可視光と赤外光成分とを分離算出することが可能となる。また、従来例に係るＲ，Ｇ，Ｂ，Ｗカラーフィルタ配列で問題となった、解の発散の問題も回避することが可能となる。
【0054】
（実施例１の変形例）
実施例１に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ（赤外光）、全光（Ｗ）透過画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（３）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。４行×４列繰り返しのカラーフィルタ配列の変形例を図５Ａ及び図５Ｂに示し、２行×２列繰り返しのカラーフィルタ配列の変形例を図６Ａ、図６Ｂ、図７Ａ、及び、図７Ｂに示す。
実施例１に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ（赤外光）、全光（Ｗ）透過画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（３）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。４行×４列繰り返しのカラーフィルタ配列の変形例を図５Ａ及び図５Ｂに示し、２行×２列繰り返しのカラーフィルタ配列の変形例を図６Ａ、図６Ｂ、図７Ａ、及び、図７Ｂに示す。
【0055】
・第１変形例
実施例１の第１変形例に係るカラーフィルタ配列を図５Ａに示す。第１変形例に係るカラーフィルタ配列は、実施例１に係るカラーフィルタ配列（図３Ａ参照）において、ＧＩ画素をＧ画素に置き換え、３行３列目のＲ画素を、選択的赤外光遮断フィルタが形成されていないＲＩ画素に置き換えた構成となっている。ＲＩ画素は、Ｒの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＲ画素である。
実施例１の第１変形例に係るカラーフィルタ配列を図５Ａに示す。第１変形例に係るカラーフィルタ配列は、実施例１に係るカラーフィルタ配列（図３Ａ参照）において、ＧＩ画素をＧ画素に置き換え、３行３列目のＲ画素を、選択的赤外光遮断フィルタが形成されていないＲＩ画素に置き換えた構成となっている。ＲＩ画素は、Ｒの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＲ画素である。
【0056】
・第２変形例
実施例１の第２変形例に係るカラーフィルタ配列を図５Ｂに示す。第２変形例に係るカラーフィルタ配列は、実施例１に係るカラーフィルタ配列（図３Ａ参照）において、ＧＩ画素をＧ画素に置き換え、３行１列目のＢ画素を、選択的赤外光遮断フィルタが形成されていないＢＩ画素に置き換えた構成となっている。ＢＩ画素は、Ｂの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＢ画素である。
実施例１の第２変形例に係るカラーフィルタ配列を図５Ｂに示す。第２変形例に係るカラーフィルタ配列は、実施例１に係るカラーフィルタ配列（図３Ａ参照）において、ＧＩ画素をＧ画素に置き換え、３行１列目のＢ画素を、選択的赤外光遮断フィルタが形成されていないＢＩ画素に置き換えた構成となっている。ＢＩ画素は、Ｂの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＢ画素である。
【0057】
・第３変形例
実施例１の第３変形例に係るカラーフィルタ配列を図６Ａに示す。第３変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，Ｗ，ＧＩ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ＧＩ画素は、Ｇの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつ画素である。
実施例１の第３変形例に係るカラーフィルタ配列を図６Ａに示す。第３変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，Ｗ，ＧＩ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ＧＩ画素は、Ｇの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつ画素である。
【0058】
・第４変形例
実施例１の第４変形例に係るカラーフィルタ配列を図６Ｂに示す。第４変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、ＲＩ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ＲＩ画素は、Ｒの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＲ画素である。
実施例１の第４変形例に係るカラーフィルタ配列を図６Ｂに示す。第４変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、ＲＩ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ＲＩ画素は、Ｒの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＲ画素である。
【0059】
・第５変形例
実施例１の第５変形例に係るカラーフィルタ配列を図７Ａに示す。第５変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，Ｗ，Ｇ，ＢＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ＢＩ画素は、Ｂの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＢ画素である。
実施例１の第５変形例に係るカラーフィルタ配列を図７Ａに示す。第５変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，Ｗ，Ｇ，ＢＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ＢＩ画素は、Ｂの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＢ画素である。
【0060】
・第６変形例
実施例１の第６変形例に係るカラーフィルタ配列を図７Ｂに示す。第６変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，ＷＳ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ＷＳ画素は、選択的赤外光遮断フィルタが形成されたＷ画素である。
実施例１の第６変形例に係るカラーフィルタ配列を図７Ｂに示す。第６変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，ＷＳ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ＷＳ画素は、選択的赤外光遮断フィルタが形成されたＷ画素である。
【0061】
［実施例２］
実施例２は、Ｒ，Ｇ，Ｂ，Ｗの画素配列をベースとするカラーフィルタ配列において、Ｗ画素の半分を、Ｇの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＧＩ画素に置き換えた例である。実施例２に係るカラーフィルタ配列を図８Ａに示す。
実施例２は、Ｒ，Ｇ，Ｂ，Ｗの画素配列をベースとするカラーフィルタ配列において、Ｗ画素の半分を、Ｇの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＧＩ画素に置き換えた例である。実施例２に係るカラーフィルタ配列を図８Ａに示す。
【0062】
図８Ａに示すように、実施例２に係るカラーフィルタ配列では、４行×４列の画素配列において、１行目が、Ｒ画素、ＧＩ画素、Ｂ画素、ＧＩ画素から成り、２行目及び４行目が、Ｗ画素、Ｇ画素、Ｗ画素、Ｇ画素から成り、３行目がＧ画素、ＧＩ画素、Ｒ画素、ＧＩ画素から成る構成となっている。ここで、Ｒ画素、Ｇ画素、Ｂ画素は、選択的赤外光遮断フィルタが形成されている画素であり、ＧＩ画素、Ｗ画素は、選択的赤外光遮断フィルタが形成されていない画素である。実施例２に係るカラーフィルタ配列の変換マトリクス演算式は実施例１の場合と同じである。
【0063】
実施例１では、Ｇ画素の半分をＧＩ画素に置き換えている。実施例１の場合、赤外光の強度が強いときにＧＩ画素から算出されるＧ信号のノイズが増大するため、カラー画像の品質に影響を与える場合がある。これに対し、実施例２に係るカラーフィルタ配列では、Ｒ，Ｇ，Ｂ画素のカラーフィルタ構成については、従来例に係るＲ，Ｇ，Ｂ，Ｗカラーフィルタ配列（図２Ｂ参照）と同様であるため、赤外光の強度が強いときでも、カラー画像の品質はそのまま保持することが可能である。
【0064】
上述した実施例２によれば、実施例１の場合と同様に、選択的赤外光遮断フィルタの透過率ｋの空間的、時間的な変動に影響されることなく、より高い精度で可視光と赤外光成分とを分離算出することが可能となることに加えて、赤外光の強度が強いときでも、カラー画像の品質はそのまま保持することが可能となる。
【0065】
（実施例２の変形例）
実施例２の変形例に係るカラーフィルタ配列を図８Ｂに示す。実施例２の変形例に係るカラーフィルタ配列は、Ｒ，Ｇ，Ｂ，Ｗの画素配列をベースとする４行×４列繰り返しのカラーフィルタ配列において、Ｗ画素の半分を、Ｗ画素に選択的赤外光遮断フィルタ２３２が形成されたＷＳ画素に置き換えた例である。
実施例２の変形例に係るカラーフィルタ配列を図８Ｂに示す。実施例２の変形例に係るカラーフィルタ配列は、Ｒ，Ｇ，Ｂ，Ｗの画素配列をベースとする４行×４列繰り返しのカラーフィルタ配列において、Ｗ画素の半分を、Ｗ画素に選択的赤外光遮断フィルタ２３２が形成されたＷＳ画素に置き換えた例である。
【0066】
実施例２の変形例に係るカラーフィルタ配列において、各画素が発する信号強度をＲi，Ｇi，Ｂi，ＷＳi，Ｗiとすると、各色成分の強度と各画素の信号強度との関係は、次式（５）に示すようなマトリクス演算で表現される。
【0067】
【0068】
そして、次式（６）に示すように、変換マトリクスの逆行列を求め、逆変換を行うことにより、各画素の信号強度から、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各信号成分を分離算出することが可能になる。
【0069】
【0070】
実施例２に係るカラーフィルタ配列では、Ｗ画素の半分をＧＩ画素に置き換えているため、可視光（Ｒ，Ｂ）の成分に対しては感度が落ちてしまう。これに対し、実施例２の変形例に係るカラーフィルタ配列では、Ｗ画素の半分をＷＳ画素に置き換えているため、可視光（Ｒ，Ｇ，Ｂ）の成分に対して感度を維持することが可能となる。
【0071】
［実施例３］
実施例３は、Ｒ，Ｇ，Ｂ－ＩＲ（赤外光）の画素配列を基本とする２行×２列繰り返しのカラーフィルタ配列の例である。実施例３に係るカラーフィルタ配列を図９に示す。
実施例３は、Ｒ，Ｇ，Ｂ－ＩＲ（赤外光）の画素配列を基本とする２行×２列繰り返しのカラーフィルタ配列の例である。実施例３に係るカラーフィルタ配列を図９に示す。
【0072】
実施例３に係るカラーフィルタ配列において、実施例１に係るカラーフィルタ配列との差異は、図９から明らかなように、Ｗ画素が存在しないことである。すなわち、実施例３では、Ｗ画素をＩＲ画素に置き換えた画素配列となっており、当該４行×４列の画素配列を単位として、各フィルタが画素アレイ部の各画素上に繰り返し展開される。ＩＲ画素は、赤外光の波長帯域を透過する透過特性を有する画素である。
【0073】
実施例３に係るカラーフィルタ配列では、Ｒ，Ｇ，Ｂの各画素の上に選択的赤外光遮断フィルタを形成するとともに、当該カラーフィルタ配列に存在する４つのＧ画素のうち、２つのＧ画素には選択的赤外光遮断フィルタを形成し、他の２つのＧ画素（即ち、ＧＩ画素）には選択的赤外光遮断フィルタを形成しない構成となっている。
【0074】
具体的には、図９に示すように、実施例３では、４行×４列の画素配列において、１行目が、Ｒ画素、ＧＩ画素、Ｒ画素、Ｇ画素から成り、２行目及び４行目が、ＩＲ画素、Ｂ画素、ＩＲ画素、Ｂ画素から成り、３行目がＲ画素、Ｇ画素、Ｒ画素、ＧＩ画素から成る構成となっている。ここで、Ｒ画素、Ｇ画素、Ｂ画素、ＩＲ画素は、選択的赤外光遮断フィルタが形成されている画素であり、ＧＩ画素は、選択的赤外光遮断フィルタが形成されていない画素である。
【0075】
上記の実施例３に係るカラーフィルタ配列において、Ｒ，Ｇ，Ｂの各画素は、可視光である第１の色光（赤色光）、第２の色光（緑色光）、第３の色光（青色光）に対応する波長帯域を透過する各フィルタ、及び、選択的赤外光遮断フィルタを有する第１、第２、第３の画素である。ＩＲ画素は、赤外光の波長帯域を透過する透過特性を有する第４の画素である。ＧＩ画素は、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
【0076】
実施例３に係るカラーフィルタ配列において、各画素が発する信号強度をＲi，Ｇi，Ｂi，ＧＩi，ＩＲiとすると、各色成分の強度と各画素の信号強度との関係は、次式（７）に示すようなマトリクス演算で表現される。実施例１の場合と同様に、選択的赤外光遮断フィルタの赤外光透過率ｋを赤外光の強度に乗じたｋＩＲも未知数とすることにより、５行×５列の変換式となる。
【0077】
【0078】
そして、次式（８）に示すように、変換マトリクスの逆行列を求め、逆変換を行うことにより、各画素の信号強度から、選択的赤外光遮断フィルタの赤外光透過率ｋも含め、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各信号成分を分離算出することが可能になる。
【0079】
【0080】
上述したＲ，Ｇ，Ｂ－ＩＲの画素配列を基本とする実施例３においても、Ｒ，Ｇ，Ｂ，Ｗの画素配列を基本とする実施例１の場合と同様の作用、効果を得ることができる。すなわち、選択的赤外光遮断フィルタの赤外光透過率ｋ、もしくは、赤外光透過率ｋが乗算された赤外光成分ｋＩＲも単位画素配列毎に求めることができるため、選択的赤外光遮断フィルタの赤外光透過率ｋの空間的、時間的な変動に影響されることなく、より高い精度で可視光と赤外光成分とを分離算出することが可能となる。
【0081】
（実施例３の変形例）
実施例３に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ（赤外光）画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（７）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
実施例３に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ（赤外光）画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（７）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
【0082】
・第１変形例
実施例３の第１変形例に係るカラーフィルタ配列を図１０Ａに示す。第１変形例に係るカラーフィルタ配列は、実施例３に係るカラーフィルタ配列（図９参照）において、３行１列目及び１行３列目の各Ｒ画素を、選択的赤外光遮断フィルタが形成されていないＲＩ画素、即ち、Ｒの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＲＩ画素に置き換えた構成となっている。
実施例３の第１変形例に係るカラーフィルタ配列を図１０Ａに示す。第１変形例に係るカラーフィルタ配列は、実施例３に係るカラーフィルタ配列（図９参照）において、３行１列目及び１行３列目の各Ｒ画素を、選択的赤外光遮断フィルタが形成されていないＲＩ画素、即ち、Ｒの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＲＩ画素に置き換えた構成となっている。
【0083】
・第２変形例
実施例３の第２変形例に係るカラーフィルタ配列を図１０Ｂに示す。第２変形例に係るカラーフィルタ配列は、実施例３に係るカラーフィルタ配列（図９参照）において、４行２列目及び２行４列目の各Ｂ画素を、選択的赤外光遮断フィルタが形成されていないＢＩ画素、即ち、Ｂの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＢＩ画素に置き換えた構成となっている。
実施例３の第２変形例に係るカラーフィルタ配列を図１０Ｂに示す。第２変形例に係るカラーフィルタ配列は、実施例３に係るカラーフィルタ配列（図９参照）において、４行２列目及び２行４列目の各Ｂ画素を、選択的赤外光遮断フィルタが形成されていないＢＩ画素、即ち、Ｂの波長帯域、及び、デュアルバンドパスフィルタ２２を透過する赤外光の波長帯域の２つの波長帯域に感度をもつＢＩ画素に置き換えた構成となっている。
【0084】
［実施例４］
実施例４は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとする４行×４列繰り返しのカラーフィルタ配列において、解像度に効果が高いＧ画素の数を増やし、解像度に効果が低いＲ画素及びＢ画素の数を減らした例である。実施例４に係るカラーフィルタ配列を図１１に示す。
実施例４は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとする４行×４列繰り返しのカラーフィルタ配列において、解像度に効果が高いＧ画素の数を増やし、解像度に効果が低いＲ画素及びＢ画素の数を減らした例である。実施例４に係るカラーフィルタ配列を図１１に示す。
【0085】
図１１に示すように、実施例４では、Ｒ，Ｇ，Ｂ－ＩＲの画素配列において、４行×４列の計１６個の画素うち、半分の８個がＧ画素で、その８個のＧ画素のうち、４個のＧ画素には選択的赤外光遮断フィルタを形成し、他の４個のＧ画素には選択的赤外光遮断フィルタを形成しない構成となっている。そして、実施例３の場合の同様の変換式により、各フィルタの信号値を算出することが可能となる。
【0086】
具体的には、４行×４列の画素配列において、１行目が、Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素から成り、２行目及び４行目が、ＧＩ画素、ＩＲ画素、ＧＩ画素、ＩＲ画素から成り、３行目が、Ｂ画素、Ｇ画素、Ｒ画素、Ｇ画素から成る構成となっている。ここで、Ｒ画素、Ｇ画素、Ｂ画素、ＩＲ画素は、選択的赤外光遮断フィルタが形成されている画素であり、ＧＩ画素は、選択的赤外光遮断フィルタが形成されていない画素である。
【0087】
上述した実施例４によれば、Ｒ，Ｇ，Ｂ－ＩＲの画素配列を基本としているため、実施例３の場合と同様の作用、効果を得ることができる。この作用、効果に加えて、実施例４では、解像度に効果が高いＧ画素の数が、Ｒ画素及びＢ画素の数よりも多いため、高解像度化を図ることができる。
【0088】
（実施例４の変形例）
実施例４に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ（赤外光）画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（７）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
実施例４に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ（赤外光）画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（７）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
【0089】
・第１変形例
実施例４の第１変形例に係るカラーフィルタ配列を図１２Ａに示す。第１変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＧ画素に置き換えるとともに、３行３列目のＲ画素を、選択的赤外光遮断フィルタが形成されていないＲＩ画素に置き換えた構成となっている。
実施例４の第１変形例に係るカラーフィルタ配列を図１２Ａに示す。第１変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＧ画素に置き換えるとともに、３行３列目のＲ画素を、選択的赤外光遮断フィルタが形成されていないＲＩ画素に置き換えた構成となっている。
【0090】
・第２変形例
実施例４の第２変形例に係るカラーフィルタ配列を図１２Ｂに示す。第１変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＧ画素に置き換えるとともに、３行１列目のＢ画素を、選択的赤外光遮断フィルタが形成されていないＧＩ画素に置き換えた構成となっている。
実施例４の第２変形例に係るカラーフィルタ配列を図１２Ｂに示す。第１変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＧ画素に置き換えるとともに、３行１列目のＢ画素を、選択的赤外光遮断フィルタが形成されていないＧＩ画素に置き換えた構成となっている。
【0091】
［実施例５］
実施例５は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとする４行×４列繰り返しのカラーフィルタ配列において、Ｇ画素の半分を、選択的赤外光遮断フィルタが形成されたＷＳ画素に置き換えた例である。実施例５に係るカラーフィルタ配列を図１３Ａに示す。
実施例５は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとする４行×４列繰り返しのカラーフィルタ配列において、Ｇ画素の半分を、選択的赤外光遮断フィルタが形成されたＷＳ画素に置き換えた例である。実施例５に係るカラーフィルタ配列を図１３Ａに示す。
【0092】
図１３Ａに示すように、実施例５に係るカラーフィルタ配列は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列において、Ｇ画素の半分をＷＳ画素に置き換えるとともに、Ｇ画素、ＷＳ画素、及び、ＩＲ画素が４個ずつ配置された構成となっている。具体的には、４行×４列の画素配列において、１行目が、Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素から成り、２行目及び４行目が、ＷＳ画素、ＩＲ画素、ＷＳ画素、ＩＲ画素から成り、３行目が、Ｂ画素、Ｇ画素、Ｒ画素、Ｇ画素から成る構成となっている。ＷＳ画素は、選択的赤外光遮断フィルタが形成されたＷ画素である。
【0093】
上記の実施例５に係るカラーフィルタ配列において、Ｒ，Ｇ，Ｂの各画素は、可視光である第１の色光（赤色光）、第２の色光（緑色光）、第３の色光（青色光）に対応する波長帯域を透過する各フィルタ、及び、選択的赤外光遮断フィルタを有する第１、第２、第３の画素である。ＩＲ画素は、赤外光の波長帯域を透過する透過特性を有する第４の画素である。ＷＳ画素は、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
【0094】
実施例５に係るカラーフィルタ配列において、各画素が発する信号強度をＲi，Ｇi，Ｂi，ＷＳi，ＩＲiとすると、各色成分の強度と各画素の信号強度との関係は、次式（９）に示すようなマトリクス演算で表現される。
【0095】
【0096】
そして、次式（１０）に示すように、変換マトリクスの逆行列を求め、逆変換を行うことにより、各画素の信号強度から、選択的赤外光遮断フィルタの赤外光透過率ｋも含め、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各信号成分を分離算出することが可能になる。
【0097】
【0098】
上述した実施例５においても、Ｒ，Ｇ，Ｂ－ＩＲの画素配列を基本としているため、実施例３の場合と同様の作用、効果を得ることができる。また、実施例５の場合、Ｇ画素の半分をＷＳ画素に置き換えているため、実施例４に比べて赤外光の解像度が減少するものの、可視光の感度の向上を図ることができる。
【0099】
（実施例５の変形例）
実施例５の変形例に係るカラーフィルタ配列を図１３Ｂに示す。図１３Ｂに示すように、実施例５の変形例では、実施例５の画素配列（図１３Ａ）に対して、２行目、４行目の色配列が異なっている。具体的には、実施例５の画素配列では、２行目及び４行目が共にＷＳ画素、ＩＲ画素、ＷＳ画素、ＩＲ画素の配列となっている。これに対して、実施例５の変形例の画素配列では、２行目がＷＳ画素、Ｂ画素、ＩＲ画素、Ｂ画素の配列となり、４行目がＩＲ画素、Ｂ画素、ＷＳ画素、Ｂ画素の配列となっている。
実施例５の変形例に係るカラーフィルタ配列を図１３Ｂに示す。図１３Ｂに示すように、実施例５の変形例では、実施例５の画素配列（図１３Ａ）に対して、２行目、４行目の色配列が異なっている。具体的には、実施例５の画素配列では、２行目及び４行目が共にＷＳ画素、ＩＲ画素、ＷＳ画素、ＩＲ画素の配列となっている。これに対して、実施例５の変形例の画素配列では、２行目がＷＳ画素、Ｂ画素、ＩＲ画素、Ｂ画素の配列となり、４行目がＩＲ画素、Ｂ画素、ＷＳ画素、Ｂ画素の配列となっている。
【0100】
［実施例６］
実施例６は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとするカラーフィルタ配列において、ＩＲ画素の半分を、ＩＲ画素に選択的赤外光遮断フィルタが形成されたｋＩＲ画素に置き換えた例である。実施例６に係るカラーフィルタ配列を図１４Ａに示す。
実施例６は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとするカラーフィルタ配列において、ＩＲ画素の半分を、ＩＲ画素に選択的赤外光遮断フィルタが形成されたｋＩＲ画素に置き換えた例である。実施例６に係るカラーフィルタ配列を図１４Ａに示す。
【0101】
実施例６に係るカラーフィルタ配列は、４行×４列の画素配列において、１行目及び３行目が、Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素から成り、２行目が、ｋＩＲ画素、Ｂ画素、ＩＲ画素、Ｂ画素から成り、４行目が、ＩＲ画素、ｋＩＲ画素、Ｒ画素、Ｂ画素から成る構成となっている。
【0102】
上記の実施例６に係るカラーフィルタ配列において、Ｒ，Ｇ，Ｂの各画素は、可視光である第１の色光（赤色光）、第２の色光（緑色光）、第３の色光（青色光）に対応する波長帯域を透過する各フィルタ、及び、選択的赤外光遮断フィルタを有する第１、第２、第３の画素である。ＩＲ画素は、赤外光の波長帯域を透過する透過特性を有する第４の画素である。ｋＩＲ画素は、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
【0103】
実施例６に係るカラーフィルタ配列において、各画素が発する信号強度をＲi，Ｇi，Ｂi，ｋＩＲi，ＩＲiとすると、各色成分の強度と各画素の信号強度との関係は、次式（１１）に示すようなマトリクス演算で表現される。
【0104】
【0105】
そして、次式（１２）に示すように、変換マトリクスの逆行列を求め、逆変換を行うことにより、各画素の信号強度から、選択的赤外光遮断フィルタの赤外光透過率ｋも含め、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各信号成分を分離算出することが可能になる。
【0106】
【0107】
上述した実施例６においても、Ｒ，Ｇ，Ｂ－ＩＲの画素配列を基本としているため、実施例３の場合と同様の作用、効果を得ることができる。また、ＩＲ画素の半分をｋＩＲ画素に置き換えているため、赤外光の解像度は劣化するものの、ＩＲ画素及びｋＩＲ画素で選択的赤外光遮断フィルタの赤外光透過率ｋを算出することが可能になる。
【0108】
（実施例６の変形例）
実施例６の変形例に係るカラーフィルタ配列を図１４Ｂに示す。本変形例に係るカラーフィルタ配列では、４行×４列の画素配列において、１行目が、Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素から成り、２行目が、Ｇ画素、ｋＩＲ画素、Ｇ画素、ＩＲ画素から成り、３行目が、Ｂ画素、Ｇ画素、ＩＲ画素、Ｇ画素から成り、４行目が、Ｇ画素、ＩＲ画素、Ｇ画素、ｋＩＲ画素から成る構成となっている。
実施例６の変形例に係るカラーフィルタ配列を図１４Ｂに示す。本変形例に係るカラーフィルタ配列では、４行×４列の画素配列において、１行目が、Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素から成り、２行目が、Ｇ画素、ｋＩＲ画素、Ｇ画素、ＩＲ画素から成り、３行目が、Ｂ画素、Ｇ画素、ＩＲ画素、Ｇ画素から成り、４行目が、Ｇ画素、ＩＲ画素、Ｇ画素、ｋＩＲ画素から成る構成となっている。
【0109】
［実施例７］
実施例７は、Ｒ，Ｇ，Ｂ－Ｗ，ＩＲの画素配列を基本とするカラーフィルタ配列の例である。実施例７に係るカラーフィルタ配列を図１５に示す。
実施例７は、Ｒ，Ｇ，Ｂ－Ｗ，ＩＲの画素配列を基本とするカラーフィルタ配列の例である。実施例７に係るカラーフィルタ配列を図１５に示す。
【0110】
実施例７に係るカラーフィルタ配列では、実施例４に係るＲ，Ｇ，Ｂ－ＩＲの画素配列（図１１参照）に対し、ＩＲ画素の半分をＷ画素に置き換えた構成となっている。具体的には、実施例７に係るカラーフィルタ配列は、Ｒ，Ｇ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，Ｇ，Ｇ，Ｗの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0111】
実施例７に係るカラーフィルタ配列において、各画素が発する信号強度をＲi，Ｇi，Ｂi，Ｗi，ＩＲiとすると、各色成分の強度と各画素の信号強度との関係は、次式（１３）に示すようなマトリクス演算で表現される。
【0112】
【0113】
そして、次式（１４）に示すように、変換マトリクスの逆行列を求め、逆変換を行うことにより、各画素の信号強度から、選択的赤外光遮断フィルタの赤外光透過率ｋも含め、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各信号成分を分離算出することが可能になる。
【0114】
【0115】
上述したＲ，Ｇ，Ｂ－Ｗ，ＩＲの画素配列を基本とする実施例７においても、Ｒ，Ｇ，Ｂ，Ｗの画素配列を基本とする実施例１や、Ｒ，Ｇ，Ｂ－ＩＲの画素配列を基本とする実施例３の場合と同様の作用、効果を得ることができる。すなわち、選択的赤外光遮断フィルタの赤外光透過率ｋ、もしくは、赤外光透過率ｋが乗算された赤外光成分ｋＩＲも単位画素配列毎に求めることができるため、選択的赤外光遮断フィルタの赤外光透過率ｋの空間的、時間的な変動に影響されることなく、より高い精度で可視光と赤外光成分とを分離算出することが可能となる。
【0116】
（実施例７の変形例）
実施例７に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、Ｗ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１３）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
実施例７に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、Ｗ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１３）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
【0117】
・第１変形例
実施例７の第１変形例に係るカラーフィルタ配列を図１６Ａに示す。第１変形例に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例７の第１変形例に係るカラーフィルタ配列を図１６Ａに示す。第１変形例に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0118】
・第２変形例
実施例７の第２変形例に係るカラーフィルタ配列を図１６Ｂに示す。第２変形例に係るカラーフィルタ配列は、Ｒ，ｋＩＲ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例７の第２変形例に係るカラーフィルタ配列を図１６Ｂに示す。第２変形例に係るカラーフィルタ配列は、Ｒ，ｋＩＲ，Ｇ，Ｂの２行×２列の画素単位と、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0119】
［実施例８］
実施例８も、実施例７と同様に、Ｒ，Ｇ，Ｂ－Ｗ，ＩＲの画素配列を基本とするカラーフィルタ配列の例である。実施例８に係るカラーフィルタ配列を図１７に示す。
実施例８も、実施例７と同様に、Ｒ，Ｇ，Ｂ－Ｗ，ＩＲの画素配列を基本とするカラーフィルタ配列の例である。実施例８に係るカラーフィルタ配列を図１７に示す。
【0120】
実施例８に係るカラーフィルタ配列では、Ｒ，Ｇ，Ｂ，Ｗの画素配列に対し、Ｇ画素の半分をＩＲ画素に置き換えた構成となっている。具体的には、Ｒ，Ｗ，Ｗ，ＩＲの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，Ｇの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。実施例８に係るカラーフィルタ配列の変換マトリクス演算式は実施例７の場合と同じである。
【0121】
上述したＲ，Ｇ，Ｂ－Ｗ，ＩＲの画素配列を基本とする実施例８においても、Ｒ，Ｇ，Ｂ，Ｗの画素配列を基本とする実施例１や、Ｒ，Ｇ，Ｂ－ＩＲの画素配列を基本とする実施例３の場合と同様の作用、効果を得ることができる。すなわち、選択的赤外光遮断フィルタの赤外光透過率ｋ、もしくは、赤外光透過率ｋが乗算された赤外光成分ｋＩＲも単位画素配列毎に求めることができるため、選択的赤外光遮断フィルタの赤外光透過率ｋの空間的、時間的な変動に影響されることなく、より高い精度で可視光と赤外光成分とを分離算出することが可能となる。
【0122】
（実施例８の変形例）
実施例８に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、Ｗ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１３）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
実施例８に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、Ｗ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１３）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
【0123】
・第１変形例
実施例８の第１変形例に係るカラーフィルタ配列を図１８Ａに示す。第１変形例に係るカラーフィルタ配列は、実施例８に係るカラーフィルタ配列（図１７参照）において、ＩＲ画素をＧ画素に、Ｗ画素の半分をＩＲ画素に置き換えた構成となっている。具体的には、第１変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ＩＲ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，ＩＲ，Ｇの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例８の第１変形例に係るカラーフィルタ配列を図１８Ａに示す。第１変形例に係るカラーフィルタ配列は、実施例８に係るカラーフィルタ配列（図１７参照）において、ＩＲ画素をＧ画素に、Ｗ画素の半分をＩＲ画素に置き換えた構成となっている。具体的には、第１変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ＩＲ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，ＩＲ，Ｇの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0124】
・第２変形例
実施例７の第２変形例に係るカラーフィルタ配列を図１８Ｂに示す。第２変形例に係るカラーフィルタ配列は、実施例８に係るカラーフィルタ配列（図１７参照）において、ＩＲ画素をＧ画素に、Ｗ画素の半分をｋＩＲ画素に置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ｋＩＲ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，ｋＩＲ，Ｇの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例７の第２変形例に係るカラーフィルタ配列を図１８Ｂに示す。第２変形例に係るカラーフィルタ配列は、実施例８に係るカラーフィルタ配列（図１７参照）において、ＩＲ画素をＧ画素に、Ｗ画素の半分をｋＩＲ画素に置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ｋＩＲ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，ｋＩＲ，Ｇの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0125】
［実施例９］
実施例９は、Ｒ，Ｂ，Ｗ，ＷＳ－ＩＲの画素配列を基本とするカラーフィルタ配列の例である。実施例９に係るカラーフィルタ配列を図１９Ａに示す。
実施例９は、Ｒ，Ｂ，Ｗ，ＷＳ－ＩＲの画素配列を基本とするカラーフィルタ配列の例である。実施例９に係るカラーフィルタ配列を図１９Ａに示す。
【0126】
実施例９に係るカラーフィルタ配列では、実施例４に係るカラーフィルタ配列（図１１参照）において、Ｇ画素をＷＳ画素に、ＧＩ画素をＷ画素にそれぞれ置き換えた構成となっている。具体的には、実施例９に係るカラーフィルタ配列は、Ｒ，Ｗ，ＷＳ，ＩＲの２行×２列の画素単位と、Ｂ，Ｗ，ＷＳ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。Ｇ信号については、他の画素信号から算出することになる。
【0127】
実施例９に係るカラーフィルタ配列において、各画素が発する信号強度をＲi，Ｂi，ＷＳi，Ｗi，ＩＲiとすると、各色成分の強度と各画素の信号強度との関係は、次式（１５）に示すようなマトリクス演算で表現される。
【0128】
【0129】
そして、次式（１６）に示すように、変換マトリクスの逆行列を求め、逆変換を行うことにより、各画素の信号強度から、選択的赤外光遮断フィルタの赤外光透過率ｋも含め、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各信号成分を分離算出することが可能になる。
【0130】
【0131】
上述したＲ，Ｂ，Ｗ，ＷＳ－ＩＲの画素配列を基本とする実施例９においても、選択的赤外光遮断フィルタの赤外光透過率ｋ、もしくは、赤外光透過率ｋが乗算された赤外光成分ｋＩＲも単位画素配列毎に求めることができる。従って、選択的赤外光遮断フィルタの赤外光透過率ｋの空間的、時間的な変動に影響されることなく、より高い精度で可視光と赤外光成分とを分離算出することが可能となる。また、Ｇ画素をＷＳ画素に、ＧＩ画素をＷ画素にそれぞれ置き換えたことで、置き換えない場合よりも感度の向上を図ることができる。
【0132】
（実施例９の変形例）
実施例９に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、Ｗ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１５）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
実施例９に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、Ｗ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１５）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
【0133】
・第１変形例
実施例９の第１変形例に係るカラーフィルタ配列を図１９Ｂに示す。第１変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ＷＳ，Ｂの２行×２列の画素単位と、Ｒ，ＩＲ，ＷＳ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例９の第１変形例に係るカラーフィルタ配列を図１９Ｂに示す。第１変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ＷＳ，Ｂの２行×２列の画素単位と、Ｒ，ＩＲ，ＷＳ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0134】
・第２変形例
実施例９の第２変形例に係るカラーフィルタ配列を図２０Ａに示す。第２変形例に係るカラーフィルタ配列は、第１変形例に係るカラーフィルタ配列（図１９Ｂ参照）において、ＩＲ画素をｋＩＲ画素に置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ＷＳ，Ｂの２行×２列の画素単位と、Ｒ，ｋＩＲ，ＷＳ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例９の第２変形例に係るカラーフィルタ配列を図２０Ａに示す。第２変形例に係るカラーフィルタ配列は、第１変形例に係るカラーフィルタ配列（図１９Ｂ参照）において、ＩＲ画素をｋＩＲ画素に置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ＷＳ，Ｂの２行×２列の画素単位と、Ｒ，ｋＩＲ，ＷＳ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0135】
・第３変形例
実施例９の第３変形例に係るカラーフィルタ配列を図２０Ｂに示す。第３変形例に係るカラーフィルタ配列は、実施例９に係るカラーフィルタ配列（図１９Ａ参照）において、ＩＲ画素の半分をｋＩＲ画素に置き換えた構成となっている。具体的には、第３変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ＷＳ，ＩＲの２行×２列の画素単位と、Ｂ，Ｗ，ＷＳ，ｋＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例９の第３変形例に係るカラーフィルタ配列を図２０Ｂに示す。第３変形例に係るカラーフィルタ配列は、実施例９に係るカラーフィルタ配列（図１９Ａ参照）において、ＩＲ画素の半分をｋＩＲ画素に置き換えた構成となっている。具体的には、第３変形例に係るカラーフィルタ配列は、Ｒ，Ｗ，ＷＳ，ＩＲの２行×２列の画素単位と、Ｂ，Ｗ，ＷＳ，ｋＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0136】
［実施例１０］
実施例１０は、Ｒ，Ｇ，Ｂのカラーフィルタを補色フィルタに置き換えたカラーフィルタ配列の例である。補色フィルタとしては、Ｙｅ（イエロー），Ｍｇ（マゼンタ），Ｃｙ（シアン）を例示することができる。実施例１０に係るカラーフィルタ配列を図２１Ａに示す。
実施例１０は、Ｒ，Ｇ，Ｂのカラーフィルタを補色フィルタに置き換えたカラーフィルタ配列の例である。補色フィルタとしては、Ｙｅ（イエロー），Ｍｇ（マゼンタ），Ｃｙ（シアン）を例示することができる。実施例１０に係るカラーフィルタ配列を図２１Ａに示す。
【0137】
実施例１０に係るカラーフィルタ配列は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとするカラーフィルタ配列において、Ｒ，Ｇ，Ｂのうち、Ｒ画素の半分をＹＩ画素に置き換えた構成となっている。具体的には、実施例１０に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、ＹＩ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ここで、ＹＩ画素は、選択的赤外光遮断フィルタが形成されていないＹｅ画素である。
【0138】
上記の実施例１０に係るカラーフィルタ配列において、Ｒ，Ｇ，Ｂの各画素は、可視光である第１の色光（赤色光）、第２の色光（緑色光）、第３の色光（青色光）に対応する波長帯域を透過する各フィルタ、及び、選択的赤外光遮断フィルタ２３２を有する第１、第２、第３の画素である。ＩＲ画素は、赤外光の波長帯域を透過する透過特性を有する第４の画素である。補色画素であるＹＩ画素は、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
【0139】
実施例１０に係るカラーフィルタ配列において、各画素が発する信号強度をＲi，Ｇi，Ｂi，ＹＩi，ＩＲiとすると、各色成分の強度と各画素の信号強度との関係は、次式（１７）に示すようなマトリクス演算で表現される。
【0140】
【0141】
そして、次式（１８）に示すように、変換マトリクスの逆行列を求め、逆変換を行うことにより、各画素の信号強度から、選択的赤外光遮断フィルタの赤外光透過率ｋも含め、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各信号成分を分離算出することが可能になる。
【0142】
【0143】
上述したＲ，Ｇ，Ｂ－ＩＲのカラーフィルタ配列において、Ｒ画素の半分をＹＩ画素に置き換えた実施例１０においても、選択的赤外光遮断フィルタの赤外光透過率ｋ、もしくは、赤外光透過率ｋが乗算された赤外光成分ｋＩＲも単位画素配列毎に求めることができる。従って、選択的赤外光遮断フィルタの赤外光透過率ｋの空間的、時間的な変動に影響されることなく、より高い精度で可視光と赤外光成分とを分離算出することが可能となる。また、補色フィルタを使用する構成を採ることにより、Ｒ，Ｇ，Ｂのカラーフィルタを使用する場合に比べて、可視光の感度を上げることが可能になる。
【0144】
（実施例１０の変形例）
実施例１０に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、ＹＩ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１７）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
実施例１０に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、ＹＩ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１７）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
【0145】
・第１変形例
実施例１０の第１変形例に係るカラーフィルタ配列を図２１Ｂに示す。第１変形例に係るカラーフィルタ配列は、実施例１０に係るカラーフィルタ配列において（図２１Ａ参照）、ＹＩ画素をＭＩ画素に置き換えた構成となっている。具体的には、第１変形例に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、ＭＩ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ここで、補色画素であるＭＩ画素は、選択的赤外光遮断フィルタが形成されていないＭｇ画素であり、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
実施例１０の第１変形例に係るカラーフィルタ配列を図２１Ｂに示す。第１変形例に係るカラーフィルタ配列は、実施例１０に係るカラーフィルタ配列において（図２１Ａ参照）、ＹＩ画素をＭＩ画素に置き換えた構成となっている。具体的には、第１変形例に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、ＭＩ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ここで、補色画素であるＭＩ画素は、選択的赤外光遮断フィルタが形成されていないＭｇ画素であり、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
【0146】
・第２変形例
実施例１０の第２変形例に係るカラーフィルタ配列を図２２Ａに示す。第２変形例に係るカラーフィルタ配列は、実施例１０に係るカラーフィルタ配列において（図２１Ａ参照）、ＹＩ画素をＣＩ画素に置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、ＣＩ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ここで、補色画素であるＣＩ画素は、選択的赤外光遮断フィルタが形成されていないＣｙ画素であり、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
実施例１０の第２変形例に係るカラーフィルタ配列を図２２Ａに示す。第２変形例に係るカラーフィルタ配列は、実施例１０に係るカラーフィルタ配列において（図２１Ａ参照）、ＹＩ画素をＣＩ画素に置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、ＣＩ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ここで、補色画素であるＣＩ画素は、選択的赤外光遮断フィルタが形成されていないＣｙ画素であり、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
【0147】
・第３変形例
実施例１０の第３変形例に係るカラーフィルタ配列を図２２Ｂに示す。第３変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＹＩ画素に置き換えた構成となっている。具体的には、第３変形例に係るカラーフィルタ配列は、Ｒ，ＹＩ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，ＹＩ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１０の第３変形例に係るカラーフィルタ配列を図２２Ｂに示す。第３変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＹＩ画素に置き換えた構成となっている。具体的には、第３変形例に係るカラーフィルタ配列は、Ｒ，ＹＩ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，ＹＩ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0148】
・第４変形例
実施例１０の第４変形例に係るカラーフィルタ配列を図２３Ａに示す。第４変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＭＩ画素に置き換えた構成となっている。具体的には、第４変形例に係るカラーフィルタ配列は、Ｒ，ＭＩ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，ＭＩ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１０の第４変形例に係るカラーフィルタ配列を図２３Ａに示す。第４変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＭＩ画素に置き換えた構成となっている。具体的には、第４変形例に係るカラーフィルタ配列は、Ｒ，ＭＩ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，ＭＩ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0149】
・第５変形例
実施例１０の第５変形例に係るカラーフィルタ配列を図２３Ｂに示す。第５変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＣＩ画素に置き換えた構成となっている。具体的には、第５変形例に係るカラーフィルタ配列は、Ｒ，ＣＩ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，ＣＩ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１０の第５変形例に係るカラーフィルタ配列を図２３Ｂに示す。第５変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＣＩ画素に置き換えた構成となっている。具体的には、第５変形例に係るカラーフィルタ配列は、Ｒ，ＣＩ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，ＣＩ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0150】
［実施例１１］
実施例１１は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとするカラーフィルタ配列において、Ｒ，Ｇ，Ｂのうち、Ｒ画素の半分をＹｅ画素に置き換えた例である。ここで、Ｙｅ画素は、選択的赤外光遮断フィルタが形成されている画素である。実施例１１に係るカラーフィルタ配列を図２４Ａに示す。
実施例１１は、Ｒ，Ｇ，Ｂ－ＩＲの画素配列をベースとするカラーフィルタ配列において、Ｒ，Ｇ，Ｂのうち、Ｒ画素の半分をＹｅ画素に置き換えた例である。ここで、Ｙｅ画素は、選択的赤外光遮断フィルタが形成されている画素である。実施例１１に係るカラーフィルタ配列を図２４Ａに示す。
【0151】
実施例１１に係るカラーフィルタ配列は、実施例１０に係るカラーフィルタ配列（図２１Ａ参照）において、ＹＩ画素をＹｅ画素に置き換えた構成となっている。具体的には、実施例１１に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、Ｙｅ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。Ｙｅ画素は選択的赤外光遮断フィルタが形成されている画素である。
【0152】
実施例１１に係るカラーフィルタ配列において、各画素が発する信号強度をＲi，Ｇi，Ｂi，Ｙｅi，ＩＲiとすると、各色成分の強度と各画素の信号強度との関係は、次式（１９）に示すようなマトリクス演算で表現される。
【0153】
【0154】
そして、次式（２０）に示すように、変換マトリクスの逆行列を求め、逆変換を行うことにより、各画素の信号強度から、選択的赤外光遮断フィルタの赤外光透過率ｋも含め、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各信号成分を分離算出することが可能になる。
【0155】
【0156】
上述した実施例１１、即ち、Ｒ，Ｇ，Ｂ－ＩＲのカラーフィルタ配列において、Ｒ画素の半分をＹｅ画素に置き換えたカラーフィルタ配列においても、選択的赤外光遮断フィルタの赤外光透過率ｋ、もしくは、赤外光透過率ｋが乗算された赤外光成分ｋＩＲも単位画素配列毎に求めることができる。従って、選択的赤外光遮断フィルタの赤外光透過率ｋの空間的、時間的な変動に影響されることなく、より高い精度で可視光と赤外光成分とを分離算出することが可能となる。また、実施例１０の場合と同様に、補色フィルタを使用する構成を採ることにより、Ｒ，Ｇ，Ｂのカラーフィルタを使用する場合に比べて、可視光の感度を上げることが可能になる。
【0157】
（実施例１１の変形例）
実施例１１に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、Ｙｅ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１９）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
実施例１１に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、Ｙｅ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（１９）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
【0158】
・第１変形例
実施例１１の第１変形例に係るカラーフィルタ配列を図２４Ｂに示す。第１変形例に係るカラーフィルタ配列は、実施例１１に係るカラーフィルタ配列（図２４Ａ参照）において、Ｙｅ画素をＭ画素に置き換えた構成となっている。具体的には、第１変形例に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、Ｍｇ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。Ｍｇ画素は、選択的赤外光遮断フィルタが形成されている画素である。
実施例１１の第１変形例に係るカラーフィルタ配列を図２４Ｂに示す。第１変形例に係るカラーフィルタ配列は、実施例１１に係るカラーフィルタ配列（図２４Ａ参照）において、Ｙｅ画素をＭ画素に置き換えた構成となっている。具体的には、第１変形例に係るカラーフィルタ配列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、Ｍｇ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。Ｍｇ画素は、選択的赤外光遮断フィルタが形成されている画素である。
【0159】
・第２変形例
実施例１１の第２変形例に係るカラーフィルタ配列を図２５Ａに示す。第２変形例に係るカラーフィルタ配列は、実施例１１に係るカラーフィルタ配列（図２４Ａ参照）において、Ｙｅ画素をＣｙ画素に置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配ｇ列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、Ｃｙ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。Ｃｙ画素は、選択的赤外光遮断フィルタが形成されている画素である。
実施例１１の第２変形例に係るカラーフィルタ配列を図２５Ａに示す。第２変形例に係るカラーフィルタ配列は、実施例１１に係るカラーフィルタ配列（図２４Ａ参照）において、Ｙｅ画素をＣｙ画素に置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配ｇ列は、Ｒ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位と、Ｃｙ，ＩＲ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。Ｃｙ画素は、選択的赤外光遮断フィルタが形成されている画素である。
【0160】
・第３変形例
実施例１１の第３変形例に係るカラーフィルタ配列を図２５Ｂに示す。第３変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＹｅ画素に置き換えた構成となっている。具体的には、第３変形例に係るカラーフィルタ配列は、Ｒ，Ｙｅ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，Ｙｅ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１１の第３変形例に係るカラーフィルタ配列を図２５Ｂに示す。第３変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＹｅ画素に置き換えた構成となっている。具体的には、第３変形例に係るカラーフィルタ配列は、Ｒ，Ｙｅ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，Ｙｅ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0161】
・第４変形例
実施例１１の第４変形例に係るカラーフィルタ配列を図２６Ａに示す。第４変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＭｇ画素に置き換えた構成となっている。具体的には、第４変形例に係るカラーフィルタ配列は、Ｒ，Ｍｇ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，Ｍｇ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１１の第４変形例に係るカラーフィルタ配列を図２６Ａに示す。第４変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＭｇ画素に置き換えた構成となっている。具体的には、第４変形例に係るカラーフィルタ配列は、Ｒ，Ｍｇ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，Ｍｇ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0162】
・第５変形例
実施例１０の第５変形例に係るカラーフィルタ配列を図２６Ｂに示す。第５変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＣｙ画素に置き換えた構成となっている。具体的には、第５変形例に係るカラーフィルタ配列は、Ｒ，Ｃｙ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，Ｃｙ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１０の第５変形例に係るカラーフィルタ配列を図２６Ｂに示す。第５変形例に係るカラーフィルタ配列は、実施例４に係るカラーフィルタ配列（図１１参照）において、ＧＩ画素をＣｙ画素に置き換えた構成となっている。具体的には、第５変形例に係るカラーフィルタ配列は、Ｒ，Ｃｙ，Ｇ，ＩＲの２行×２列の画素単位と、Ｂ，Ｃｙ，Ｇ，ＩＲの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0163】
［実施例１２］
実施例１２は、全てのカラーフィルタを補色フィルタに置き換えた例である。補色フィルタとしては、実施例１０及び実施例１１の場合と同様に、Ｙｅ（イエロー），Ｍｇ（マゼンタ），Ｃｙ（シアン）を例示することができる。実施例１２に係るカラーフィルタ配列を図２７Ａに示す。
実施例１２は、全てのカラーフィルタを補色フィルタに置き換えた例である。補色フィルタとしては、実施例１０及び実施例１１の場合と同様に、Ｙｅ（イエロー），Ｍｇ（マゼンタ），Ｃｙ（シアン）を例示することができる。実施例１２に係るカラーフィルタ配列を図２７Ａに示す。
【0164】
実施例１２に係るカラーフィルタ配列は、実施例１０に係るカラーフィルタ配列（図２１Ａ参照）において、Ｒ画素をＹｅ画素に、Ｇ画素をＭｇ画素に、Ｂ画素をＣｙ画素にそれぞれ置き換えた構成となっている。具体的には、実施例１２に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、ＹＩ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。ここで、Ｙｅ画素、Ｍｇ画素、及び、Ｃｙ画素は、選択的赤外光遮断フィルタが形成されている画素であり、ＹＩ画素は、選択的赤外光遮断フィルタが形成されていないＹｅ画素である。
【0165】
上記の実施例１２に係るカラーフィルタ配列において、Ｙｅ，Ｍｇ，Ｃｙの各画素は、可視光である第１の色光（イエロー色光）、第２の色光（マゼンタ色光）、第３の色光（シアン色光）に対応する波長帯域を透過する各フィルタ、及び、選択的赤外光遮断フィルタ２３２を有する第１、第２、第３の画素である。ＩＲ画素は、赤外光の波長帯域を透過する透過特性を有する第４の画素である。ＹＩ画素は、第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素である。
【0166】
実施例１２に係るカラーフィルタ配列において、各画素が発する信号強度をＹｅi，Ｍｇi，Ｃｙi，ＹＩi，ＩＲiとすると、各色成分の強度と各画素の信号強度との関係は、次式（２１）に示すようなマトリクス演算で表現される。
【0167】
【0168】
そして、次式（２２）に示すように、変換マトリクスの逆行列を求め、逆変換を行うことにより、各画素の信号強度から、選択的赤外光遮断フィルタの赤外光透過率ｋも含め、Ｒ，Ｇ，Ｂ，ｋＩＲ，ＩＲの各信号成分を分離算出することが可能になる。
【0169】
【0170】
上述した実施例１２、即ち、全てのカラーフィルタを補色フィルタに置き換えたカラーフィルタ配列においても、選択的赤外光遮断フィルタの赤外光透過率ｋ、もしくは、赤外光透過率ｋが乗算された赤外光成分ｋＩＲも単位画素配列毎に求めることができる。従って、選択的赤外光遮断フィルタの赤外光透過率ｋの空間的、時間的な変動に影響されることなく、より高い精度で可視光と赤外光成分とを分離算出することが可能となる。
【0171】
（実施例１２の変形例）
実施例１２に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、ＹＩ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（２１）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
実施例１２に係るカラーフィルタ配列と同様な効果は、単位画素配列を構成する各色（ＩＲ画素、ＹＩ画素を含む）の画素において、選択的赤外光遮断フィルタの有り、無しの画素を備え、式（２１）に対応する変換マトリクスが逆行列を持てば（行列式ｄｅｔ≠０）、他の配列でも得ることが可能である。
【0172】
・第１変形例
実施例１２の第１変形例に係るカラーフィルタ配列を図２７Ｂに示す。第１変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、Ｍｇ画素の半分をＭＩ画素にそれぞれ置き換えた構成となっている。具体的には、第１変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ＩＲ，ＭＩ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１２の第１変形例に係るカラーフィルタ配列を図２７Ｂに示す。第１変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、Ｍｇ画素の半分をＭＩ画素にそれぞれ置き換えた構成となっている。具体的には、第１変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ＩＲ，ＭＩ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0173】
・第２変形例
実施例１２の第２変形例に係るカラーフィルタ配列を図２８Ａに示す。第２変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、Ｃｙ画素の半分をＣＩ画素にそれぞれ置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ＩＲ，Ｍｇ，ＣＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１２の第２変形例に係るカラーフィルタ配列を図２８Ａに示す。第２変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、Ｃｙ画素の半分をＣＩ画素にそれぞれ置き換えた構成となっている。具体的には、第２変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ＩＲ，Ｍｇ，ＣＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0174】
・第３変形例
実施例１２の第３変形例に係るカラーフィルタ配列を図２８Ｂに示す。第３変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、ＩＲ画素の半分をＷ画素にそれぞれ置き換えた構成となっている。具体的には、第３変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１２の第３変形例に係るカラーフィルタ配列を図２８Ｂに示す。第３変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、ＩＲ画素の半分をＷ画素にそれぞれ置き換えた構成となっている。具体的には、第３変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0175】
・第４変形例
実施例１２の第４変形例に係るカラーフィルタ配列を図２９Ａに示す。第４変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、ＩＲ画素の半分をＷＳ画素にそれぞれ置き換えた構成となっている。具体的には、第４変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ＷＳ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１２の第４変形例に係るカラーフィルタ配列を図２９Ａに示す。第４変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、ＩＲ画素の半分をＷＳ画素にそれぞれ置き換えた構成となっている。具体的には、第４変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ＷＳ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0176】
・第５変形例
実施例１２の第５変形例に係るカラーフィルタ配列を図２９Ｂに示す。第５変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、ＩＲ画素の半分をｋＩＲ画素にそれぞれ置き換えた構成となっている。具体的には、第５変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ｋＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
実施例１２の第５変形例に係るカラーフィルタ配列を図２９Ｂに示す。第５変形例に係るカラーフィルタ配列は、実施例１２に係るカラーフィルタ配列（図２７Ａ参照）において、ＹＩ画素をＹｅ画素に、ＩＲ画素の半分をｋＩＲ画素にそれぞれ置き換えた構成となっている。具体的には、第５変形例に係るカラーフィルタ配列は、Ｙｅ，ＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ｋＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0177】
［実施例１３］
以上説明した各実施例では、単位画素配列毎に、選択的赤外光遮断フィルタ２３２の赤外光透過率ｋを含めて各色信号成分を算出することとしている。これに対し、実施例３は、透過率算出用の単位画素配列を、画素がマトリクス状に配置されて成る画素アレイ部上において、離散的に配置する例である。実施例３は、選択的赤外光遮断フィルタ２３２の赤外光透過率ｋが、画素アレイ部上（撮像装置の撮像面上）で領域毎に粗い精度で求められれば十分である場合に有用なものとなる。
以上説明した各実施例では、単位画素配列毎に、選択的赤外光遮断フィルタ２３２の赤外光透過率ｋを含めて各色信号成分を算出することとしている。これに対し、実施例３は、透過率算出用の単位画素配列を、画素がマトリクス状に配置されて成る画素アレイ部上において、離散的に配置する例である。実施例３は、選択的赤外光遮断フィルタ２３２の赤外光透過率ｋが、画素アレイ部上（撮像装置の撮像面上）で領域毎に粗い精度で求められれば十分である場合に有用なものとなる。
【0178】
実施例１３に係るカラーフィルタ配列を図３０に示す。ここでは、例えば、実施例１に係る単位画素配列（図３Ａ参照）を、当該単位画素配列の５×５単位毎に配列した場合を図示している。ここで、選択的赤外光遮断フィルタ２３２の赤外光透過率ｋを求めるための透過率算出用の単位画素配列以外は、通常のＲ，Ｇ，Ｂ，Ｗの単位画素配列が配置される。そして、通常の単位画素配列のマトリクス演算を実行する場合の赤外光透過率ｋについては、５×５単位のエリアの中心に存在する透過率算出用の単位画素配列より算出された赤外光透過率ｋの値を用いる。
【0179】
実施例１に係るカラーフィルタ配列では、透過率算出用にＧ画素の半分に赤外光が入射する構成となっているため、Ｇ成分算出において、ノイズが多くなり、画素が劣化するデメリットが発生する。これに対し、実施例１３では、透過率算出用の単位画素配列を、撮像装置の撮像面上に離散的に配置し、その数を必要最小限に抑えるようにしているため、Ｇ成分算出におけるノイズに起因する画質劣化を抑えることが可能となる。
【0180】
＜実施形態の変形例＞
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像装置及び撮像システムの構成、構造は例示であり、適宜、変更することができる。
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像装置及び撮像システムの構成、構造は例示であり、適宜、変更することができる。
【0181】
例えば、上記の実施形態では、選択的赤外光遮断フィルタが有る画素への赤外光（ＩＲ）の混入として、選択的赤外光遮断フィルタの赤外光透過率ｋによる成分（ｋＩＲ）のみを考慮したが、これに限られるものではない。すなわち、それ以外にも、選択的赤外光遮断フィルタが無い画素から、選択的赤外光遮断フィルタが有る画素への混色（撮像装置の基板内での赤外光による信号電荷の漏れ込み）が考えられる。よって、上記の実施形態で説明した赤外光透過率ｋには、この混色成分も含まれているものとして考えてもよい。
【0182】
また、上記の実施形態では、選択的赤外光遮断フィルタとして１種の膜を前提としているが、２種以上の膜を形成し、５×５以上の多元のマトリクス構成により、２種以上の赤外光透過率ｋを未知数として扱い、各信号帯域の信号成分を求めるようにしてもよい。
【0183】
また、一方で、同色カラーフィルタで、選択的赤外光遮断フィルタの有り、無しの画素の組を備えていたとしても、赤外光透過率ｋを含む各画素信号を求めることができないカラーフィルタ配列が存在する。そのようなカラーフィルタ配列の例を図３１Ａに示す。このような構成のカラーフィルタ配列では、図３１Ｂに示す変換式において、行列式が０になってしまい逆行列を求めることができない。よって、本開示の技術を実現するためには、選択的赤外光遮断フィルタの配置の組み合わせとして、変換マトリクスの行列式が０でないものを選択する必要がある。
【0184】
また、上記の実施形態において、各実施例について種々に変形例を例示したが、これらの変形例に限られるものではない。例えば、補色フィルタを用いる場合のバリエーションについて以下に説明する。
【0185】
（Ｒ，Ｇ，Ｂ，Ｗベースの場合）
・バリエーション１
バリエーション１に係るカラーフィルタ配列を図３２Ａに示す。バリエーション１に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、ＹＩ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
・バリエーション１
バリエーション１に係るカラーフィルタ配列を図３２Ａに示す。バリエーション１に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、ＹＩ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0186】
・バリエーション２
バリエーション２に係るカラーフィルタ配列を図３２Ｂに示す。バリエーション２に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、ＭＩ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション２に係るカラーフィルタ配列を図３２Ｂに示す。バリエーション２に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、ＭＩ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0187】
・バリエーション３
バリエーション３に係るカラーフィルタ配列を図３３Ａに示す。バリエーション３に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、ＣＩ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション３に係るカラーフィルタ配列を図３３Ａに示す。バリエーション３に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、ＣＩ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0188】
・バリエーション４
バリエーション４に係るカラーフィルタ配列を図３３Ｂに示す。バリエーション４に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｙｅ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション４に係るカラーフィルタ配列を図３３Ｂに示す。バリエーション４に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｙｅ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0189】
・バリエーション５
バリエーション５に係るカラーフィルタ配列を図３４Ａに示す。バリエーション５に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｍｇ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション５に係るカラーフィルタ配列を図３４Ａに示す。バリエーション５に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｍｇ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0190】
・バリエーション６
バリエーション６に係るカラーフィルタ配列を図３４Ｂに示す。バリエーション６に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｃｙ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション６に係るカラーフィルタ配列を図３４Ｂに示す。バリエーション６に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｇ，Ｂの２行×２列の画素単位と、Ｃｙ，Ｗ，Ｇ，Ｂの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0191】
・バリエーション７
バリエーション７に係るカラーフィルタ配列を図３５Ａに示す。バリエーション７に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，ＹＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション７に係るカラーフィルタ配列を図３５Ａに示す。バリエーション７に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，ＹＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0192】
・バリエーション８
バリエーション８に係るカラーフィルタ配列を図３５Ｂに示す。バリエーション８に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，ＭＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション８に係るカラーフィルタ配列を図３５Ｂに示す。バリエーション８に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，ＭＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0193】
・バリエーション９
バリエーション９に係るカラーフィルタ配列を図３６Ａに示す。バリエーション９に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，ＣＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション９に係るカラーフィルタ配列を図３６Ａに示す。バリエーション９に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，ＣＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0194】
・バリエーション１０
バリエーション１０に係るカラーフィルタ配列を図３６Ｂに示す。バリエーション１０に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，Ｙｅの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション１０に係るカラーフィルタ配列を図３６Ｂに示す。バリエーション１０に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，Ｙｅの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0195】
・バリエーション１１
バリエーション１１に係るカラーフィルタ配列を図３７Ａに示す。バリエーション１１に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，Ｍｇの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション１１に係るカラーフィルタ配列を図３７Ａに示す。バリエーション１１に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，Ｍｇの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0196】
・バリエーション１２
バリエーション１２に係るカラーフィルタ配列を図３７Ｂに示す。バリエーション１２に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション１２に係るカラーフィルタ配列を図３７Ｂに示す。バリエーション１２に係るカラーフィルタ配列は、Ｒ，Ｗ，Ｗ，Ｇの２行×２列の画素単位と、Ｂ，Ｗ，Ｗ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0197】
（Ｙｅ，Ｍｇ，Ｃｙ，Ｗベースの場合）
・バリエーション１３
バリエーション１３に係るカラーフィルタ配列を図３８Ａに示す。バリエーション１３に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、ＭＩ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
・バリエーション１３
バリエーション１３に係るカラーフィルタ配列を図３８Ａに示す。バリエーション１３に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、ＭＩ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0198】
・バリエーション１４
バリエーション１４に係るカラーフィルタ配列を図３８Ｂに示す。バリエーション１４に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，Ｗ，ＭＩ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション１４に係るカラーフィルタ配列を図３８Ｂに示す。バリエーション１４に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，Ｗ，ＭＩ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0199】
・バリエーション１５
バリエーション１５に係るカラーフィルタ配列を図３９Ａに示す。バリエーション１５に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，Ｗ，Ｍｇ，ＣＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション１５に係るカラーフィルタ配列を図３９Ａに示す。バリエーション１５に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，Ｗ，Ｍｇ，ＣＩの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0200】
・バリエーション１６
バリエーション１６に係るカラーフィルタ配列を図３９Ｂに示す。バリエーション１６に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ＷＳ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション１６に係るカラーフィルタ配列を図３９Ｂに示す。バリエーション１６に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ＷＳ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0201】
・バリエーション１７
バリエーション１７に係るカラーフィルタ配列を図４０に示す。バリエーション１７に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ｋＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
バリエーション１７に係るカラーフィルタ配列を図４０に示す。バリエーション１７に係るカラーフィルタ配列は、Ｙｅ，Ｗ，Ｍｇ，Ｃｙの２行×２列の画素単位と、Ｙｅ，ｋＩＲ，Ｍｇ，Ｃｙの２行×２列の画素単位とが交互に配置された単位画素配列の構成となっている。
【0202】
＜本開示がとることができる構成＞
尚、本開示は、以下のような構成をとることもできる。
尚、本開示は、以下のような構成をとることもできる。
【0203】
≪Ａ．撮像装置≫
［Ａ－１］可視光である第１の色光に対応する波長帯域を透過する第１のカラーフィルタ、及び、赤外光の波長帯域の透過を制限する赤外光遮断フィルタを有する第１の画素、
可視光である第２の色光に対応する波長帯域を透過する第２のカラーフィルタ、及び、赤外光遮断フィルタを有する第２の画素、
可視光である第３の色光に対応する波長帯域を透過する第３のカラーフィルタ、及び、赤外光遮断フィルタを有する第３の画素、
赤外光の波長帯域を透過する透過特性を有する第４の画素、並びに、
第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素、
を有する撮像装置。
［Ａ－２］赤色に対応する波長帯域、緑色に対応する波長帯域、青色に対応する波長帯域、及び、赤色に対応する波長帯域よりも波長の長い帯域である第１の赤外光波長帯域を透過するとともに、赤色に対応する波長帯域と第１の赤外光波長帯域との間の波長帯域である第１の波長帯域、及び、第１の赤外光波長帯域よりも長い波長帯域である第２の波長帯域を遮断するバンドパスフィルタを更に備える、
上記［Ａ－１］に記載の撮像装置。
［Ａ－３］赤外光遮断フィルタは、第１の赤外光波長帯域の透過を制限する選択的赤外光遮断フィルタである、
上記［Ａ－２］に記載の撮像装置。
［Ａ－４］第１のカラーフィルタは赤色のカラーフィルタ、
第２のカラーフィルタは緑色のカラーフィルタ、及び、
第３のカラーフィルタは青色のカラーフィルタである、
上記［Ａ－１］乃至上記［Ａ－３］のいずれかに記載の撮像装置。
［Ａ－５］第４の画素は、カラーフィルタが形成されていない白色画素、又は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、
上記［Ａ－４］に記載の撮像装置。
［Ａ－６］第５の画素は、選択的赤外光遮断フィルタが形成されていない緑色画素、選択的赤外光遮断フィルタが形成された白色画素、選択的赤外光遮断フィルタが形成された赤外光画素、又は、選択的赤外光遮断フィルタが形成されていない補色画素である、
上記［Ａ－５］に記載の撮像装置。
［Ａ－７］第１のカラーフィルタ、第２のカラーフィルタ、及び、第３のカラーフィルタは、補色フィルタである、
上記［Ａ－１］乃至上記［Ａ－３］のいずれかに記載の撮像装置。
［Ａ－８］第１のカラーフィルタはイエローのカラーフィルタ、
第２のカラーフィルタはマゼンタのカラーフィルタ、及び、
第３のカラーフィルタはシアンのカラーフィルタである、
上記［Ａ－７］に記載の撮像装置。
［Ａ－９］第４の画素は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、
上記［Ａ－８］に記載の撮像装置。
［Ａ－１０］第５の画素は、選択的赤外光遮断フィルタが形成されていないイエローのカラーフィルタ、マゼンタのカラーフィルタ、又は、シアンのカラーフィルタである、
上記［Ａ－９］に記載の撮像装置。
［Ａ－１１］第１の画素、第２の画素、第３の画素、第４の画素、及び、第５の画素を含む単位画素配列が、画素がマトリクス状に配置されて成る画素アレイ部上において、離散的に配置されている、
上記［Ａ－１］乃至上記［Ａ－１０］のいずれかに記載の撮像装置。
［Ａ－１］可視光である第１の色光に対応する波長帯域を透過する第１のカラーフィルタ、及び、赤外光の波長帯域の透過を制限する赤外光遮断フィルタを有する第１の画素、
可視光である第２の色光に対応する波長帯域を透過する第２のカラーフィルタ、及び、赤外光遮断フィルタを有する第２の画素、
可視光である第３の色光に対応する波長帯域を透過する第３のカラーフィルタ、及び、赤外光遮断フィルタを有する第３の画素、
赤外光の波長帯域を透過する透過特性を有する第４の画素、並びに、
第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素、
を有する撮像装置。
［Ａ－２］赤色に対応する波長帯域、緑色に対応する波長帯域、青色に対応する波長帯域、及び、赤色に対応する波長帯域よりも波長の長い帯域である第１の赤外光波長帯域を透過するとともに、赤色に対応する波長帯域と第１の赤外光波長帯域との間の波長帯域である第１の波長帯域、及び、第１の赤外光波長帯域よりも長い波長帯域である第２の波長帯域を遮断するバンドパスフィルタを更に備える、
上記［Ａ－１］に記載の撮像装置。
［Ａ－３］赤外光遮断フィルタは、第１の赤外光波長帯域の透過を制限する選択的赤外光遮断フィルタである、
上記［Ａ－２］に記載の撮像装置。
［Ａ－４］第１のカラーフィルタは赤色のカラーフィルタ、
第２のカラーフィルタは緑色のカラーフィルタ、及び、
第３のカラーフィルタは青色のカラーフィルタである、
上記［Ａ－１］乃至上記［Ａ－３］のいずれかに記載の撮像装置。
［Ａ－５］第４の画素は、カラーフィルタが形成されていない白色画素、又は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、
上記［Ａ－４］に記載の撮像装置。
［Ａ－６］第５の画素は、選択的赤外光遮断フィルタが形成されていない緑色画素、選択的赤外光遮断フィルタが形成された白色画素、選択的赤外光遮断フィルタが形成された赤外光画素、又は、選択的赤外光遮断フィルタが形成されていない補色画素である、
上記［Ａ－５］に記載の撮像装置。
［Ａ－７］第１のカラーフィルタ、第２のカラーフィルタ、及び、第３のカラーフィルタは、補色フィルタである、
上記［Ａ－１］乃至上記［Ａ－３］のいずれかに記載の撮像装置。
［Ａ－８］第１のカラーフィルタはイエローのカラーフィルタ、
第２のカラーフィルタはマゼンタのカラーフィルタ、及び、
第３のカラーフィルタはシアンのカラーフィルタである、
上記［Ａ－７］に記載の撮像装置。
［Ａ－９］第４の画素は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、
上記［Ａ－８］に記載の撮像装置。
［Ａ－１０］第５の画素は、選択的赤外光遮断フィルタが形成されていないイエローのカラーフィルタ、マゼンタのカラーフィルタ、又は、シアンのカラーフィルタである、
上記［Ａ－９］に記載の撮像装置。
［Ａ－１１］第１の画素、第２の画素、第３の画素、第４の画素、及び、第５の画素を含む単位画素配列が、画素がマトリクス状に配置されて成る画素アレイ部上において、離散的に配置されている、
上記［Ａ－１］乃至上記［Ａ－１０］のいずれかに記載の撮像装置。
【0204】
≪Ｂ．撮像システム≫
［Ｂ－１］赤外光を発光する光源、及び、
可視光及び赤外光を取得可能な撮像装置を備え、
撮像装置は、
可視光である第１の色光に対応する波長帯域を透過する第１のカラーフィルタ、及び、赤外光の波長帯域の透過を制限する赤外光遮断フィルタを有する第１の画素、
可視光である第２の色光に対応する波長帯域を透過する第２のカラーフィルタ、及び、赤外光遮断フィルタを有する第２の画素、
可視光である第３の色光に対応する波長帯域を透過する第３のカラーフィルタ、及び、赤外光遮断フィルタを有する第３の画素、
赤外光の波長帯域を透過する透過特性を有する第４の画素、並びに、
第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素、を有する、
撮像システム。
［Ｂ－２］赤色に対応する波長帯域、緑色に対応する波長帯域、青色に対応する波長帯域、及び、赤色に対応する波長帯域よりも波長の長い帯域である第１の赤外光波長帯域を透過するとともに、赤色に対応する波長帯域と第１の赤外光波長帯域との間の波長帯域である第１の波長帯域、及び、第１の赤外光波長帯域よりも長い波長帯域である第２の波長帯域を遮断するバンドパスフィルタを更に備える、
上記［Ｂ－１］に記載の撮像システム。
［Ｂ－３］赤外光遮断フィルタは、第１の赤外光波長帯域の透過を制限する選択的赤外光遮断フィルタである、
上記［Ｂ－２］に記載の撮像システム。
［Ｂ－４］第１のカラーフィルタは赤色のカラーフィルタ、
第２のカラーフィルタは緑色のカラーフィルタ、及び、
第３のカラーフィルタは青色のカラーフィルタである、
上記［Ｂ－１］乃至上記［Ｂ－３］のいずれかに記載の撮像システム。
［Ｂ－５］第４の画素は、カラーフィルタが形成されていない白色画素、又は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、
上記［Ｂ－４］に記載の撮像システム。
［Ｂ－６］第５の画素は、選択的赤外光遮断フィルタが形成されていない緑色画素、選択的赤外光遮断フィルタが形成された白色画素、選択的赤外光遮断フィルタが形成された赤外光画素、又は、選択的赤外光遮断フィルタが形成されていない補色画素である、
上記［Ｂ－５］に記載の撮像システム。
［Ｂ－７］第１のカラーフィルタ、第２のカラーフィルタ、及び、第３のカラーフィルタは、補色フィルタである、
上記［Ｂ－１］乃至上記［Ｂ－３］のいずれかに記載の撮像システム。
［Ｂ－８］第１のカラーフィルタはイエローのカラーフィルタ、
第２のカラーフィルタはマゼンタのカラーフィルタ、及び、
第３のカラーフィルタはシアンのカラーフィルタである、
上記［Ｂ－７］に記載の撮像システム。
［Ｂ－９］第４の画素は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、
上記［Ｂ－８］に記載の撮像システム。
［Ｂ－１０］第５の画素は、選択的赤外光遮断フィルタが形成されていないイエローのカラーフィルタ、マゼンタのカラーフィルタ、又は、シアンのカラーフィルタである、
上記［Ｂ－９］に記載の撮像システム。
［Ｂ－１１］第１の画素、第２の画素、第３の画素、第４の画素、及び、第５の画素を含む単位画素配列が、画素がマトリクス状に配置されて成る画素アレイ部上において、離散的に配置されている、
上記［Ｂ－１］乃至上記［Ｂ－１０］のいずれかに記載の撮像システム。
［Ｂ－１］赤外光を発光する光源、及び、
可視光及び赤外光を取得可能な撮像装置を備え、
撮像装置は、
可視光である第１の色光に対応する波長帯域を透過する第１のカラーフィルタ、及び、赤外光の波長帯域の透過を制限する赤外光遮断フィルタを有する第１の画素、
可視光である第２の色光に対応する波長帯域を透過する第２のカラーフィルタ、及び、赤外光遮断フィルタを有する第２の画素、
可視光である第３の色光に対応する波長帯域を透過する第３のカラーフィルタ、及び、赤外光遮断フィルタを有する第３の画素、
赤外光の波長帯域を透過する透過特性を有する第４の画素、並びに、
第１の画素、第２の画素、第３の画素、及び、第４の画素のいずれとも異なる波長透過特性を有する第５の画素、を有する、
撮像システム。
［Ｂ－２］赤色に対応する波長帯域、緑色に対応する波長帯域、青色に対応する波長帯域、及び、赤色に対応する波長帯域よりも波長の長い帯域である第１の赤外光波長帯域を透過するとともに、赤色に対応する波長帯域と第１の赤外光波長帯域との間の波長帯域である第１の波長帯域、及び、第１の赤外光波長帯域よりも長い波長帯域である第２の波長帯域を遮断するバンドパスフィルタを更に備える、
上記［Ｂ－１］に記載の撮像システム。
［Ｂ－３］赤外光遮断フィルタは、第１の赤外光波長帯域の透過を制限する選択的赤外光遮断フィルタである、
上記［Ｂ－２］に記載の撮像システム。
［Ｂ－４］第１のカラーフィルタは赤色のカラーフィルタ、
第２のカラーフィルタは緑色のカラーフィルタ、及び、
第３のカラーフィルタは青色のカラーフィルタである、
上記［Ｂ－１］乃至上記［Ｂ－３］のいずれかに記載の撮像システム。
［Ｂ－５］第４の画素は、カラーフィルタが形成されていない白色画素、又は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、
上記［Ｂ－４］に記載の撮像システム。
［Ｂ－６］第５の画素は、選択的赤外光遮断フィルタが形成されていない緑色画素、選択的赤外光遮断フィルタが形成された白色画素、選択的赤外光遮断フィルタが形成された赤外光画素、又は、選択的赤外光遮断フィルタが形成されていない補色画素である、
上記［Ｂ－５］に記載の撮像システム。
［Ｂ－７］第１のカラーフィルタ、第２のカラーフィルタ、及び、第３のカラーフィルタは、補色フィルタである、
上記［Ｂ－１］乃至上記［Ｂ－３］のいずれかに記載の撮像システム。
［Ｂ－８］第１のカラーフィルタはイエローのカラーフィルタ、
第２のカラーフィルタはマゼンタのカラーフィルタ、及び、
第３のカラーフィルタはシアンのカラーフィルタである、
上記［Ｂ－７］に記載の撮像システム。
［Ｂ－９］第４の画素は、赤外光の波長帯域を透過する透過特性を有する赤外光画素である、
上記［Ｂ－８］に記載の撮像システム。
［Ｂ－１０］第５の画素は、選択的赤外光遮断フィルタが形成されていないイエローのカラーフィルタ、マゼンタのカラーフィルタ、又は、シアンのカラーフィルタである、
上記［Ｂ－９］に記載の撮像システム。
［Ｂ－１１］第１の画素、第２の画素、第３の画素、第４の画素、及び、第５の画素を含む単位画素配列が、画素がマトリクス状に配置されて成る画素アレイ部上において、離散的に配置されている、
上記［Ｂ－１］乃至上記［Ｂ－１０］のいずれかに記載の撮像システム。
【符号の説明】
【0205】
１・・・カメラシステム、１０・・・光源部、１１・・・ＩＲ-ＬＥＤ、１２・・・ＩＲ-ＬＥＤドライバ、２０・・・撮像部、２１・・・レンズ、２２・・・デュアルバンドパスフィルタ、２３・・・撮像装置、３０・・・カメラ信号処理部、２３１・・・画素アレイ部、２３２・・・選択的赤外光遮断フィルタ、２３３・・・カラーフィルタ、２３４・・・オンチップレンズ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】