特許 6019611 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6019611

(24)【登録日】2016年10月14日

(45)【発行日】2016年11月2日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/369 20110101AFI20161020BHJP

   H04N 5/225 20060101ALI20161020BHJP

   H04N 9/07 20060101ALI20161020BHJP

   H04N 13/02 20060101ALI20161020BHJP

   G03B 35/08 20060101ALI20161020BHJP

【ＦＩ】

   H04N5/335 690

   H04N5/225 D

   H04N5/225 Z

   H04N9/07 A

   H04N13/02

   G03B35/08

【請求項の数】15

【全頁数】25

(21)【出願番号】特願2012-37476(P2012-37476)

(22)【出願日】2012年2月23日

(65)【公開番号】特開2013-175807(P2013-175807A)

(43)【公開日】2013年9月5日

【審査請求日】2015年2月3日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】芝崎 清茂

(72)【発明者】

【氏名】浜島 宗樹

(72)【発明者】

【氏名】森 晋

【審査官】 鈴木 肇

(56)【参考文献】

【文献】 特開２００６−１６５６０１（ＪＰ，Ａ）

【文献】 特開２０１１−２２３２６４（ＪＰ，Ａ）

【文献】 特開２００８−２９４８１９（ＪＰ，Ａ）

【文献】 特開２００１−２１８０９９（ＪＰ，Ａ）

【文献】 特開２０１１−２３９２５９（ＪＰ，Ａ）

【文献】 特開２００６−０２４９８６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０ − ５／３７８

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ９／０４ − ９／１１

Ｈ０４Ｎ １３／００ −１７／０６

Ｇ０３Ｂ ３５／００ −３７／０６

(57)【特許請求の範囲】

【請求項1】

一の光学系からの入射光を第１分光と第２分光とに分光する分光部と、
前記第１分光を受光して、第１電気信号に光電変換する複数の光電変換素子が二次元的に配列された第１光電変換素子群を有し、前記複数の光電変換素子の少なくとも一部に対し、カラーフィルタ、および、前記入射光の断面領域内の特定の部分領域からの光束を通過させる位置に設けた開口部、の少なくとも一方を設けた第１撮像素子と、
前記第２分光を受光して、第２電気信号に光電変換する複数の光電変換素子が二次元的に配列された第２光電変換素子群を有し、前記複数の光電変換素子の少なくとも一部に対し、カラーフィルタ、および、前記入射光の断面領域内の特定の部分領域からの光束を通過させる位置に設けた開口部、の少なくとも一方を設けた第２撮像素子と、
前記第１電気信号及び前記第２電気信号から複数の画素の色データ、及び、複数の画素の視差データを抽出する画像抽出部と
を備え、
同一の物点からの第１分光が入射する前記第１撮像素子の光電変換素子と第２分光が入射する前記第２撮像素子の光電変換素子との組の少なくとも一部は互いに、前記カラーフィルタの有無および前記開口部の有無のうち少なくとも一つが異なっているとともに、一方が前記カラーフィルタを有する場合に他方が前記開口部を有する撮像装置。

【請求項2】

前記分光部は、入射光の一部を前記第１分光として透過して、残りを前記第２分光として反射する請求項１に記載の撮像装置。

【請求項3】

前記分光部は、前記第１分光と前記第２分光とを予め定められた光量の比で分光する請求項２に記載の撮像装置。

【請求項4】

前記第１撮像素子は、前記第２撮像素子を法線の周りに１８０°回転させた構成と同じ構成を有する請求項１または２に記載の撮像装置。

【請求項5】

前記第１撮像素子と前記第２撮像素子は、互いに鏡像の関係である請求項１または２に記載の撮像装置。

【請求項6】

前記第１撮像素子及び前記第２撮像素子のそれぞれに、カラーフィルタと開口マスクとが設けられている請求項１から５のいずれか１項に記載の撮像装置。

【請求項7】

前記分光部は、入射光のうち、第１波長帯域の光を第１分光として透過して、前記第１波長帯域と異なる第２波長帯域の光を前記第２分光として反射する請求項１または２に記載の撮像装置。

【請求項8】

前記第１分光は可視光であって、
前記第２分光は赤外光である請求項７に記載の撮像装置。

【請求項9】

前記分光部は、前記入射光を更に第３分光に分光し、
前記第３分光を受光して、第３電気信号に光電変換する複数の光電変換素子が二次元的に配列された第３光電変換素子群を有し、少なくともいずれかの光電変換素子に対してカラーフィルタおよび入射光の断面領域内の特定の部分領域からの光束を通過させる位置に設けた開口部の少なくとも一方を設けた第３撮像素子を更に備える請求項１に記載の撮像装置。

【請求項10】

前記第１分光及び前記第３分光は可視光であって、
前記第２分光は赤外光である請求項９に記載の撮像装置。

【請求項11】

前記分光部は、前記入射光を更に第３分光と第４分光とに分光し、
前記第３分光を受光して、第３電気信号に光電変換する複数の光電変換素子が二次元的に配列された第３光電変換素子群を有し、少なくともいずれかの光電変換素子に対してカラーフィルタおよび入射光の断面領域内の特定の部分領域からの光束を通過させる位置に設けた開口部の少なくとも一方を設けた第３撮像素子と、
前記第４分光を受光して、第４電気信号に光電変換する複数の光電変換素子が二次元的に配列された第４光電変換素子群を有し、少なくともいずれかの光電変換素子に対してカラーフィルタおよび入射光の断面領域内の特定の部分領域からの光束を通過させる位置に設けた開口部の少なくとも一方を設けた第４撮像素子とを更に備える請求項１に記載の撮像装置。

【請求項12】

前記第１分光、前記第３分光及び前記第４分光は可視光であって、
前記第２分光は赤外光である請求項１１に記載の撮像装置。

【請求項13】

前記第２撮像素子において、複数種類の開口部が周期的に配置されている請求項１から１２のいずれか１項に記載の撮像装置。

【請求項14】

抽出された前記色データ及び前記視差データに基づいて、前記色データ及び前記視差データを有さない画素に前記色データ及び前記視差データを補完する画像補完部を更に備える請求項１から１３のいずれか一項に記載の撮像装置。

【請求項15】

前記補完された画素の前記色データ及び対応する画素の前記視差データを合成する画像合成部を更に備える請求項１４に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関する。

【背景技術】

【0002】

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

それぞれがカラー画像である視差画像を取得するには、それぞれの視差画像を撮像するための複雑な撮影光学系を用意しなければならない。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、一の光学系からの入射光を第１分光と第２分光とに分光する分光部と、前記第１分光を受光して、第１電気信号に光電変換する複数の光電変換素子が二次元的に配列された第１光電変換素子群を有し、前記複数の光電変換素子の少なくとも一部に対し、カラーフィルタ、および、前記入射光の断面領域内の特定の部分領域からの光束を通過させる位置に設けた開口部、の少なくとも一方を設けた第１撮像素子と、前記第２分光を受光して、第２電気信号に光電変換する複数の光電変換素子が二次元的に配列された第２光電変換素子群を有し、前記複数の光電変換素子の少なくとも一部に対し、カラーフィルタ、および、前記入射光の断面領域内の特定の部分領域からの光束を通過させる位置に設けた開口部、の少なくとも一方を設けた第２撮像素子とを備え、同一の物点からの第１分光が入射する前記第１撮像素子の光電変換素子と第２分光が入射する前記第２撮像素子光電変換素子の組の少なくとも一部は互いに、前記カラーフィルタの有無、前記カラーフィルタの波長特性、前記開口部の有無、および、前記開口部の位置、のうち少なくとも一つが異なっている撮像装置を提供する。

【0005】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0006】

【図1】本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。

【図2】本発明の実施形態に係る撮像素子の断面を表す概略図である。

【図3】第１撮像素子１００の一部を拡大した様子を表す概略図である。

【図4】視差画素と被写体の関係を説明する概念図である。

【図5】視差画像を生成する処理を説明する概念図である。

【図6】繰り返しパターン１１０の他の例を示す図である。

【図7】二次元的な繰り返しパターン１１０の例を示す図である。

【図8】開口部１０４の他の形状を説明する図である。

【図9】ベイヤー配列を説明する図である。

【図10】第１撮像素子１００及び第２撮像素子３００を有する視差画像の撮像処理について説明する図である。

【図11】別の第１撮像素子１００及び第２撮像素子３００を有する視差画像の撮像処理について説明する図である。

【図12】別の第１撮像素子１００及び第２撮像素子３００を説明する図である。

【図13】分光部６５０が被写体光束を３つに分光するデジタルカメラ撮像光学部６１０の一部構成図である。

【図14】図１３のデジタルカメラ撮像光学部６１０における第１撮像素子１００、第２撮像素子３００、第３撮像素子４００を説明する正面図である。

【図15】図１３のデジタルカメラ撮像光学部６１０における別の第１撮像素子１００、第２撮像素子３００、第３撮像素子４００を説明する正面図である。

【図16】分光部７５０が被写体光束を４つに分光するデジタルカメラ撮像光学部７１０の一部構成図である。

【図17】図１６のデジタルカメラ撮像光学部７１０における第１撮像素子１００、第２撮像素子３００、第３撮像素子４００、第４撮像素子５００を説明する正面図である。

【図18】図１６のデジタルカメラ撮像光学部７１０における別の第１撮像素子１００、第２撮像素子３００、第３撮像素子４００、第４撮像素子５００を説明する正面図である。

【図19】図１６のデジタルカメラ撮像光学部７１０における別の第１撮像素子１００、第２撮像素子３００、第３撮像素子４００、第４撮像素子５００を説明する正面図である。

【図20】図１６のデジタルカメラ撮像光学部７１０における別の第１撮像素子１００、第２撮像素子３００、第３撮像素子４００、第４撮像素子５００を説明する正面図である。

【図21】開口の大きさを変更した撮像素子を説明する正面図である。

【図22】開口の大きさを変更した別の撮像素子を説明する正面図である。

【図23】撮像素子の種類を説明する表である。

【図24】分光部の種類を説明する表である。

【図25】２個の撮像素子を設ける場合の組み合せのバリエーションを説明する表である。

【図26】３個の撮像素子を設ける場合の組み合せのバリエーションを説明する表である。

【発明を実施するための形態】

【0007】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0008】

撮像装置の一形態である本実施形態に係るデジタルカメラは、複数の視点数の画像を一度の撮影により生成し、ＲＡＷ画像データセットとして保存する。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

【0009】

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、一の光学系の一例である撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する入射光の一例である被写体光束を第１撮像素子１００または第２撮像素子３００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、分光部５０、第１撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、ＡＦセンサ２１１、保存制御部２３８、第２撮像素子３００およびＡ／Ｄ変換回路３０２、メモリ３０３、駆動部３０４を備える。

【0010】

なお、図示するように、第１撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向、と定める。撮影における構図との関係はｘ軸が水平方向、ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

【0011】

撮影レンズ２０は、複数の光学レンズ群から構成され、被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。分光部５０は、撮影レンズ２０からの被写体光束を、第１分光ＤＬ１と、第２分光ＤＬ２とに分光する。第１分光ＤＬ１は、分光された後、第１撮像素子１００へと進行する。第２分光ＤＬ２は、分光された後、第２撮像素子３００へと進行する。これにより、複雑な光学系を設けることなく、撮影レンズ２０によって視差画像を撮像することができる。例えば、分光部５０は、設定された光量に基づいて光束を分光するペリクルミラー等のハーフミラー、波長帯域に基づいて光束を分光するダイクロイックミラー等の分光ミラー及びダイクロイックプリズムによって構成することができる。分光部５０がハーフミラーによって構成された場合、分光部５０は、被写体光束の一部を第１分光ＤＬ１として透過して、残りを第２分光ＤＬ２として反射する。これにより、分光部５０は、予め定められた光量の比で被写体光束を分光する。予め定められた光量の比の一例は、１：１である。また、予め定められた光量の比の他の例は、第１撮像素子１００及び第２撮像素子３００のバリエーションによりホワイトバランスの適用範囲を広げる設定に対応できる任意の比率である。分光部５０がダイクロイックミラーまたはダイクロイックプリズムによって構成された場合、分光部５０は、被写体光束のうち、第１波長帯域の光を第１分光ＤＬ１として透過して、第１波長帯域と異なる第２波長帯域の光を第２分光ＤＬ２として反射する。第１波長帯域の一例は、４００ｎｍから８００ｎｍの可視光領域である。第２波長帯域の一例は、８００ｎｍから１ｍｍの赤外光である。

【0012】

第１撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。第１撮像素子１００は、第１分光ＤＬ１を受光して、第１電気信号の一例である第１画像信号に光電変換する複数の光電変換素子が二次元的に配列された光電変換素子群を有する。第１撮像素子１００は、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。第１撮像素子１００では、少なくともいずれかの光電変換素子に対してカラーフィルタが設けられている。第２撮像素子３００は、第２分光ＤＬ２を受光して、第２電気信号の一例である第２画像信号に光電変換する複数の光電変換素子が二次元的に配列された光電変換素子群を有する。第２撮像素子３００では、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。第２撮像素子３００では、少なくともいずれかの光電変換素子に対して断面領域内の特定の部分領域からの被写体光束を通過させる位置に配置された開口マスクが設けられている。第１撮像素子１００と第２撮像素子３００は、配列における対応する位置において、カラーフィルタの波長特性と開口マスクの位置とのうち少なくとも一方が互いに異なっている。第１撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

【0013】

Ａ／Ｄ変換回路２０２は、第１撮像素子１００が出力する画像信号をデジタル信号に変換してＲＡＷ元画像データとしてメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、画像抽出部２３１、画像補完部２３２及び画像合成部２３３を有する。画像抽出部２３１は、メモリ２０３に記憶された第１撮像素子１００の光電変換素子群の電気信号及びメモリ３０３に記憶された第２撮像素子３００の光電変換素子群の電気信号から複数の画素の色データ及び複数の画素の視差データを抽出する。画像補完部２３２は、抽出された色データ及び視差データに基づいて、色データ及び視差データを有さない画素に色データ及び視差データを補完する。画像合成部２３３は、補完された画素の色データ及び対応する画素の視差データを合成して、メモリカード２２０に記憶させる。それぞれの処理の詳細については、後述する。Ａ／Ｄ変換回路３０２、メモリ３０３、駆動部３０４は、それぞれＡ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４と同様の構成である。

【0014】

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、上記種々の画像データは保存制御部２３８によりメモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

【0015】

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。尚、後述する視差画素が、ＡＦセンサ２１１の機能を兼用するように構成してもよい。この場合、ＡＦセンサ２１１は、省略できる。

【0016】

次に、第１撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される第１撮像素子１００の断面概略図である。また、図２（ｂ）は、第１撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面概略図である。

【0017】

図２（ａ）に示すように、第１撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

【0018】

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

【0019】

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口部１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。尚、開口部１０７は、配線層１０５の上層の配線１０６に形成してもよい。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

【0020】

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも３種類のカラーフィルタが配列されれば良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタである。これらのカラーフィルタは、後述するように、光電変換素子１０８に対応して格子状に配列される。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭｇの補色フィルタの組合せであっても良い。

【0021】

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

【0022】

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。画素は、連続的、かつ、周期的に配列されている。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、第１撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

【0023】

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。

【0024】

カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。

【0025】

輝度情報を取得する画素を視差画素とする場合、つまり、視差画像を少なくとも一旦はモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。

【0026】

スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、第１撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。

【0027】

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、第１撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色（透明である場合を含む）のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

【0028】

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

【0029】

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、第１撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、第１撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。

【0030】

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は第１撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

【0031】

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して第１撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、紙面右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

【0032】

別言すれば、例えば部分領域Ｐｆと紙面左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、紙面右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

【0033】

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

【0034】

つまり、被写体３０が合焦位置に存在する限りは、第１撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの紙面左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。

【0035】

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて紙面左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて紙面左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、第１撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

【0036】

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、第１撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも第１撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも第１撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

【0037】

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

【0038】

すると、第１撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

【0039】

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

【0040】

図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

【0041】

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、ｘ軸方向に平行な紙面横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、第１撮像素子１００上において、ｘ軸方向に６画素おき、かつ、ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、ｘ軸方向、つまり水平視差画像が得られる。

【0042】

しかし、本実施形態における第１撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、ｘ軸方向の画素数が１／６に間引かれた結果となり、ｙ軸方向に縦長の画像データが生成されてしまう。そこで、補間処理を施してｘ軸方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データがｘ軸方向に１／６に間引かれた画像であるので、ｘ軸方向の水平解像度は、ｙ軸方向の垂直解像度よりも低下している。つまり、生成される視差画像データの数と、解像度は相反関係にあると言える。

【0043】

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、ｘ軸方向に視差を有する６視点の水平視差画像を生成することができる。

【0044】

上記の例では、ｘ軸方向に平行な横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図６は、繰り返しパターン１１０の他の例を示す図である。

【0045】

図６（ａ）は、ｙ軸方向６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、ｘ軸方向に視差を与える６視点の水平視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、ｙ軸方向の垂直解像度を犠牲にする代わりにｘ軸方向の水平解像度を維持する繰り返しパターンであると言える。

【0046】

図６（ｂ）は、紙面斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、ｘ軸方向に視差を与える６視点の水平視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、ｙ軸方向の垂直解像度およびｘ軸方向の水平解像度をある程度維持しつつ、水平視差画像の数を増やす繰り返しパターンであると言える。

【0047】

図３の繰り返しパターン１１０、および図６（ａ）、図６（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、ｙ軸方向、ｘ軸方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、ｘ軸方向の水平解像度を１／６とする構成である。図６（ａ）の繰り返しパターン１１０の場合は、ｙ軸方向の垂直解像度を１／６とする構成である。また、図６（ｂ）の繰り返しパターン１１０の場合は、ｙ軸方向を１／３、ｘ軸方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ〜１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ〜Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。

【0048】

上述の例では、水平方向に視差を与える水平視差画像を生成する場合について説明したが、もちろん垂直方向に視差を与える垂直視差画像を生成することもできるし、水平垂直の二次元方向に視差を与える水平垂直視差画像を生成することもできる。図７は、二次元的な繰り返しパターン１１０の例を示す図である。

【0049】

図７の例によれば、ｙ軸６画素、ｘ軸６画素の３６画素を一組の光電変換素子群として繰り返しパターン１１０を形成する。それぞれの画素に対する開口部１０４の位置として、互いにｙ軸ｘ軸方向にシフトした３６種類の開口マスク１０３が用意されている。具体的には、各開口部１０４は、繰り返しパターン１１０の紙面上端画素から下端画素に向かって、紙面上側から下側へ徐々にシフトすると同時に、紙面左端画素から右端画素に向かって、紙面左側から右側へ徐々にシフトするように位置決めされている。

【0050】

このような繰り返しパターン１１０を有する第１撮像素子１００は、上下方向および左右方向に視差を与える、３６視点の視差画像を出力することができる。もちろん図７の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン１１０を定めることができる。

【0051】

以上の説明においては、開口部１０４の形状として矩形を採用した。特に、水平方向に視差を与える配列においては、シフトさせる方向であるｘ軸方向の幅よりも、シフトさせないｙ軸方向の幅を広くすることにより、光電変換素子１０８へ導く光量を確保している。しかし、開口部１０４の形状は矩形に限定されない。

【0052】

図８は、開口部１０４の他の形状を説明する図である。図においては、開口部１０４の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ１０１との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子１０８へ入射することを防ぐことができる。

【0053】

次に、カラーフィルタ１０２と視差画像について説明する。図９は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが紙面左上と右下の２画素に、赤フィルタが紙面左下の１画素に、青フィルタが紙面右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた紙面左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた紙面右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ紙面横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ紙面横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ紙面縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ紙面縦方向をＧｒ列とする。

【0054】

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては立体情報が減少する。逆に、視差画素の割合を増やせば、３Ｄ画像としては立体情報が増加するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。

【0055】

このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。

【0056】

図１０は、第１撮像素子１００及び第２撮像素子３００を有する視差画像の撮像処理について説明する図である。図１０に示す例においては、分光部５０は、ハーフミラーによって構成される。図１０に示すように、第１撮像素子１００では、紙面左上のＧｂ画素と右下のＧｒ画素とが、視差Ｌｔ画素に構成されているとともに、紙面左下のＲ画素と右上のＢ画素とが視差なし画素として構成されている。第１撮像素子１００は、第２撮像素子３００を法線の周りに１８０°回転させた構成と同じである。具体的には、第２撮像素子３００は、紙面左上のＧｒ画素と右下のＧｂ画素とが視差Ｒｔ画素に構成されているとともに、右上のＲ画素と左下のＢ画素とが視差なし画素として構成されている。これにより、同じ撮像素子を第１撮像素子１００及び第２撮像素子３００として適用することができるので、製造工程及び製造設備を簡略化することができる。尚、図１０に示す第１撮像素子１００及び第２撮像素子３００は、配列における対応する位置において、カラーフィルタ１０２の波長特性及び開口マスク１０３の開口部１０４の位置が互いに異なる例である。第１撮像素子１００及び第２撮像素子３００は、開口マスク及びカラーフィルタが設けられている。

【0057】

この第１撮像素子１００と第２撮像素子３００とを有するデジタルカメラ１０による視差画像の撮像処理について説明する。まず、第１撮像素子１００が、分光部５０によって分光された第１分光ＤＬ１によって、被写体を撮像して電気信号を出力するとともに、第２撮像素子３００が、分光部５０によって分光された第２分光ＤＬ２によって、被写体を撮像して電気信号を出力する。これらの電気信号は、それぞれがＡ／Ｄ変換回路２０２、３０２によって画像データにデジタル変換されてメモリ２０３、３０３に保存される。画像処理部２０５の画像抽出部２３１は、それぞれのデジタル化された画像データを取得する。

【0058】

画像処理部２０５の画像抽出部２３１は、抽出処理を実行する。抽出処理では、画像抽出部２３１は、第１撮像素子１００のＲ画素から出力された画像データＲＮ１と、Ｇｂ画素及びＧｒ画素から出力された画像データＧＬｔ１と、Ｂ画素から出力された画像データＢＮ１と、Ｇｂ画素及びＧｒ画素から出力された画像データＧＬｔ２とを、メモリ２０３に保存された第１撮像素子１００の画像データから分離して抽出する。画像データＲＮ１、画像データＧＬｔ１、及び、画像データＢＮ１は色データである。画像データＧＬｔ２は、視差データである。また、画像抽出部２３１は、第２撮像素子３００のＲ画素から出力された画像データＲＮ２と、Ｇｂ画素及びＧｒ画素から出力された画像データＧＲｔ１と、Ｂ画素から出力された画像データＢＮ２と、Ｇｂ画素及びＧｒ画素から出力された画像データＧＲｔ２とを、メモリ３０３に保存された第２撮像素子３００の画像データから分離して抽出する。画像データＲＮ２、画像データＧＲｔ１、及び、画像データＢＮ２は色データである。画像データＧＲｔ２は、視差データである。尚、各画像データは、色データ及び視差データの画素値のない画素である空格子を含む。

【0059】

次に、画像処理部２０５の画像補完部２３２は、補完処理を実行する。補完処理では、画像補完部２３２は、第１撮像素子１００のＲＮ１画像データＲＮ１と、第２撮像素子３００の画像データＲＮ２とを合成してＲ画像のＲ色データを含むＲ合成データを作成する。更に、画像補完部２３２は、Ｒ画像のＲ合成データにおいて、空格子が隣接する複数の画素のＲ色データに基づいて、当該空格子のＲ色データの画素値を生成する。画像補完部２３２は、それぞれの空格子のＲ色データを生成して補完することにより、全ての画素がＲ色データを有するプレーン画像データＲＮを生成する。同様に、画像補完部２３２は、画像データＧＬｔ１及び画像データＧＲｔ１から、全ての画素がＧ色データを有するプレーン画像データＧＮを生成する。画像補完部２３２は、画像データＢＮ１及び画像データＢＮ２から、全ての画素がＢ色データを有するプレーン画像データＢＮを生成する。

【0060】

また、補完処理において、画像補完部２３２は、第１撮像素子１００の画像データＧＬｔ２の空格子を補完することにより、全ての画素がＬｔ視差データを有するプレーン画像データＬｔを生成する。同様に、画像補完部２３２は、第２撮像素子３００の画像データＧＲｔ２の空格子を補完することにより、Ｒｔ視差データを有するプレーン画像データＲｔを生成する。

【0061】

次に、画像処理部２０５の画像合成部２３３は、合成処理を実行する。合成処理では、画像合成部２３３は、プレーン画像データＲＮと、プレーン画像データＬｔとを合成して、全ての画素がＲ色データ及びＬ視差データを有する画像データＲＬｔを生成する。同様に、画像合成部２３３は、プレーン画像データＲＮと、プレーン画像データＲｔとを合成して、全ての画素がＲ色データ及びＲ視差データを有する画像データＲＲｔを生成する。画像合成部２３３は、プレーン画像データＧＮと、プレーン画像データＬｔまたはプレーン画像データＲｔから、全ての画素がＧ色データと、Ｌ視差データまたはＲ視差データとを有する画像データＧｔ及び画像データＧＲｔを生成する。画像合成部２３３は、プレーン画像データＢＮと、プレーン画像データＬｔまたはプレーン画像データＲｔから、全ての画素がＢ色データと、Ｌ視差データまたはＲ視差データとを有する画像データＢＬｔ及び画像データＢＲｔを生成する。これにより、画像合成部２３３は、全ての画素がＲＧＢ色データ及びＲＬ視差データを有する画像データを生成する。

【0062】

図１１は、別の第１撮像素子１００及び第２撮像素子３００を有する視差画像の撮像処理について説明する図である。図１１に示す例においては、分光部５０は、ダイクロイックミラー等の分光ミラー及びダイクロイックプリズムによって構成される。図１１に示すように、第１撮像素子１００では、紙面左上のＧｂ画素、左下のＲ画素、右上のＢ画素、及び、右下のＧｒ画素の全てが視差なし画素に構成されている。第２撮像素子３００では、全ての画素が赤外線を受光可能なＩＲ画素に構成されている。第２撮像素子３００では、紙面左上のＩＲ画素及び右下のＩＲ画素が視差Ｌｔ画素に構成されるとともに、紙面左下のＩＲ画素及び右上のＩＲ画素が視差Ｒｔ画素に構成されている。分光部５０は、被写体光束に含まれる可視光を第１撮像素子１００に進行する第１分光ＤＬ１として、赤外光を第２撮像素子３００に進行する第２分光ＤＬ２として分光する。これにより、第２撮像素子３００が、第１撮像素子１００が不要としている赤外光を受光して視差データを生成できるので、第１撮像素子１００が受光する可視光の光量の低減を抑制できる。第２撮像素子３００が、赤外光を受光して視差データを生成することができるので、被写体光束に含まれる全ての赤外光を第２撮像素子３００へ分光できる。この結果、第１撮像素子１００が、ノイズとなる赤外光の影響を受けにくくなる。これにより、第１撮像素子１００が出力する画像データの質を向上させることができる。第２撮像素子３００において、複数種類の開口マスクが周期的に配列されている。

【0063】

このデジタルカメラ１０では、第１撮像素子１００及び第２撮像素子３００が被写体を撮像した後、画像処理部２０５の画像抽出部２３１は、抽出処理を実行する。抽出処理では、画像抽出部２３１は、第１撮像素子１００が出力した画像データから、Ｒ色データを有する画像データＲＮ１、Ｇ色データを有する画像データＧＮ１、及び、Ｂ色データを有する画像データＢＮ１を抽出して生成する。画像データＲＮ１、画像データＧＮ１、及び、画像データＢＮ１は、空格子を含む。

【0064】

画像抽出部２３１は、第２撮像素子３００が出力した画像データから、Ｌｔ視差データを含む画像データＩＲＬｔ１、及び、Ｒｔ視差データを含む画像データＩＲＲｔ１を抽出する。画像データＩＲＬｔ１、及び、画像データＩＲＲｔ１は、空格子を含む。

【0065】

次に、画像補完部２３２は、補完処理を実行する。補完処理では、画像補完部２３２は、画像データＲＮ１、画像データＧＮ１、及び、画像データＢＮ１のそれぞれの空格子の色データを、各空格子と隣接する画素の色データによって補完する。これにより、画像補完部２３２は、全ての画素がＲ色データを有するプレーン画像データＲＮ、全ての画素がＧ色データを有するプレーン画像データＧＮ、全ての画素がＢ色データを有するプレーン画像データＢＮを生成する。画像補完部２３２は、画像データＩＲＬｔ１、及び、画像データＩＲＲｔ１のそれぞれの空格子の視差データを、各空格子と隣接する画素の視差データによって補完する。これにより、画像補完部２３２は、全ての画素がＬ視差データを有するプレーン画像データＩＲＬｔ、及び、全ての画素がＲ視差データを有するプレーン画像データＩＲＲｔを生成する。

【0066】

次に、画像合成部２３３は、合成処理を実行する。合成処理では、画像合成部２３３は、プレーン画像データＲＮと、プレーン画像データＬｔまたはプレーン画像データＲｔから、全ての画素がＲ色データと、Ｌ視差データまたはＲ視差データとを有する画像データＲＬｔ及び画像データＲＲｔを生成する。画像合成部２３３は、プレーン画像データＧＮと、プレーン画像データＬｔまたはプレーン画像データＲｔから、全ての画素がＧ色データと、Ｌ視差データまたはＲ視差データとを有する画像データＧｔ及び画像データＧＲｔを生成する。画像合成部２３３は、プレーン画像データＢＮと、プレーン画像データＬｔまたはプレーン画像データＲｔから、全ての画素がＢ色データと、Ｌ視差データまたはＲ視差データとを有する画像データＢＬｔ及び画像データＢＲｔを生成する。これにより、画像合成部２３３は、全ての画素がＲＧＢ色データ及びＲｔＬｔ視差データを有する画像データを生成する。

【0067】

図１２は、別の第１撮像素子１００及び第２撮像素子３００を説明する図である。図１２に示す例においては、分光部５０は、ハーフミラーによって構成される。図１２に示す第１撮像素子１００と第２撮像素子３００は、互いに鏡像の関係にある。図１２に示す第１撮像素子１００は、図１０に示す第１撮像素子１００と同じ構成である。図１２に示す第２撮像素子３００は、紙面右上のＧｂ画素及び左下のＧｒ画素が視差Ｒｔ画素に構成されているとともに、紙面左上のＢ画素及び右下のＲ画素は視差なし画素に構成されている。

【0068】

図１３は、分光部６５０が被写体光束を３つに分光するデジタルカメラ撮像光学部６１０の一部構成図である。図１３に示すように、分光部６５０は、被写体光束を第１分光ＤＬ１、第２分光ＤＬ２、第３分光ＤＬ３に分光する。分光部６５０の一例は、ダイクロイックプリズムである。分光部６５０は、第１分光部材６５２と、第２分光部材６５４と、第３分光部材６５６とを有する。第１分光部材６５２、第２分光部材６５４、第３分光部材６５６の各端面に対向するように、第３撮像素子４００、第２撮像素子３００、第１撮像素子１００が配置されている。第３撮像素子４００は、上述の第１撮像素子１００または第２撮像素子３００と同様の構成を有する。尚、第１撮像素子１００、第２撮像素子３００、第３撮像素子４００の構成は、適宜入れ替えてよい。

【0069】

第１分光部材６５２の一面は、撮影レンズ２０と対向している。第１分光部材６５２の他面は、第２分光部材６５４の一面と対向している。第２分光部材６５４の他の面は、第３分光部材６５６の一面と対向している。被写体光束は、第１分光部材６５２に入射した後、第１分光部材６５２の他面によって例えば緑色の光束の一部が反射され、残りは透過する。反射された被写体光束は、第１分光部材６５２の一面に反射されて、第３分光ＤＬ３として第３撮像素子４００へと進行する。第１分光部材６５２の一面を透過した被写体光束のうち例えば緑色の光束の残りが、第２分光部材６５４の他面によって反射された後、第２分光部材６５４の一面に反射される。そして、当該緑色の光束の残りは、第２分光ＤＬ２として、第２撮像素子３００へと進行する。第１分光部材６５２の一面を透過した被写体光束の残りの青色及び赤色の光束は、第２分光部材６５４の他の面を透過して、第１分光ＤＬ１として第１撮像素子１００に達する。

【0070】

図１４は、図１３のデジタルカメラ撮像光学部６１０における第１撮像素子１００、第２撮像素子３００、第３撮像素子４００を説明する正面図である。図１４に示すように、第１撮像素子１００では、全ての画素がＧｂ画素であって、視差Ｌｔ画素に構成されている。第２撮像素子３００では、全ての画素がＧｒ画素であって、視差Ｒｔ画素に構成されている。第３撮像素子４００では、紙面左上の画素と右下の画素とがＢ画素であって、視差なし画素に構成されている。第３撮像素子４００では、紙面左下の画素と右上の画素とがＲ画素であって、視差なし画素に構成されている。

【0071】

図１５は、図１３のデジタルカメラ撮像光学部６１０における別の第１撮像素子１００、第２撮像素子３００、第３撮像素子４００を説明する正面図である。図１５に示すように、第１撮像素子１００では、全ての画素がＧ画素であって、視差なし画素に構成されている。第２撮像素子３００では、紙面左上の画素と右下の画素とがＢ画素であって、視差なし画素に構成されている。第２撮像素子３００では、紙面左下の画素と右上の画素とがＲ画素であって、視差なし画素に構成されている。第３撮像素子４００では、紙面左上の画素と右下の画素とがＩＲ画素であって、視差Ｌｔ画素に構成されている。第３撮像素子４００では、紙面左下の画素と右上の画素とがＩＲ画素であって、視差Ｒｔ画素に構成されている。図１５に示す例では、第１分光ＤＬ１及び第２分光ＤＬ２が、可視光であって、第３分光ＤＬ３が赤外光である。

【0072】

図１６は、分光部７５０が被写体光束を４つに分光するデジタルカメラ撮像光学部７１０の一部構成図である。図１６に示すように、分光部６５０は、被写体光束を第１分光ＤＬ１、第２分光ＤＬ２、第３分光ＤＬ３、第４分光ＤＬ４に分光する。分光部７５０の一例は、ダイクロイックプリズムである。分光部７５０は、第１分光部材７５２と、第２分光部材７５４と、第３分光部材７５６と、第４分光部材７５８とを有する。第１分光部材７５２、第２分光部材７５４、第３分光部材７５６、及び、第４分光部材７５８の一例は、プリズムである。第１分光部材７５２、第２分光部材７５４、第３分光部材７５６、及び、第４分光部材７５８の各端面に対向するように、第４撮像素子５００、第３撮像素子４００、第２撮像素子３００、第１撮像素子１００が配置されている。第４撮像素子５００は、上述の第１撮像素子１００または第２撮像素子３００と同様の構成を有する。尚、第１撮像素子１００、第２撮像素子３００、第３撮像素子４００、第４撮像素子５００の構成は、適宜入れ替えてよい。

【0073】

第１分光部材７５２の一面は、撮影レンズ２０と対向している。第１分光部材７５２の他面は、第２分光部材７５４の一面と対向している。第２分光部材７５４の他面は、第３分光部材７５６の一面と対向している。第３分光部材７５６の他面は、第４分光部材７５８の一面と対向している。

【0074】

被写体光束は、第１分光部材７５２に入射した後、第１分光部材７５２の他面によって一部が反射され、残りは透過する。反射された被写体光束は、第１分光部材７５２の一面によって反射されて、第４撮像素子５００へと導かれる。透過した被写体光束の一部は、第２分光部材７５４の他面または第３分光部材７５６の他面に反射された後、第３撮像素子４００または第２撮像素子３００へ導かれる。第１分光部材７５２、第２分光部材７５４及び第３分光部材７５６を透過した被写体光束は、第１撮像素子１００へと導かれる。

【0075】

図１７は、図１６のデジタルカメラ撮像光学部７１０における第１撮像素子１００、第２撮像素子３００、第３撮像素子４００、第４撮像素子５００を説明する正面図である。図１７に示すように、第１撮像素子１００では、全ての画素がＧ画素であって、視差なし画素に構成されている。第２撮像素子３００では、全ての画素がＲ画素であって、視差なし画素に構成されている。第３撮像素子４００では、全ての画素がＢ画素であって、視差なし画素に構成されている。第４撮像素子５００では、紙面左上の画素と右下の画素とがＩＲ画素であって、視差Ｌｔ画素に構成されている。第４撮像素子５００では、紙面左下の画素と右上の画素とがＩＲ画素であって、視差Ｒｔ画素に構成されている。図１７に示す例では、第１分光ＤＬ１、第２分光ＤＬ２及び第３分光ＤＬ３が、可視光であって、第４分光ＤＬ４が赤外光である。

【0076】

図１８は、図１６のデジタルカメラ撮像光学部７１０における別の第１撮像素子１００、第２撮像素子３００、第３撮像素子４００、第４撮像素子５００を説明する正面図である。図１８に示すように、第１撮像素子１００では、全ての画素がＧ画素であって、視差Ｌｔ画素に構成されている。第２撮像素子３００では、全ての画素がＧ画素であって、視差Ｒｔ画素に構成されている。第３撮像素子４００では、紙面左上の画素と右下の画素とがＢ画素であって、視差なし画素に構成されている。第３撮像素子４００では、紙面左下の画素と右上の画素とがＲ画素であって、視差なし画素に構成されている。第４撮像素子５００は、図１７の第４撮像素子５００と同じ構成である。尚、図１８に示す第１撮像素子１００及び第２撮像素子３００は、配列における対応する位置において、カラーフィルタ１０２の波長特性が同じであって、開口マスク１０３の開口部１０４の位置が互いに異なる例である。また、図１８に示す例では、第１分光ＤＬ１、第２分光ＤＬ２及び第３分光ＤＬ３が、可視光であって、第４分光ＤＬ４が赤外光である。

【0077】

図１９は、図１６のデジタルカメラ撮像光学部７１０における別の第１撮像素子１００、第２撮像素子３００、第３撮像素子４００、第４撮像素子５００を説明する正面図である。図１９に示す第１撮像素子１００及び第２撮像素子３００は、図１８の第１撮像素子１００及び第２撮像素子３００と同じ構成である。第３撮像素子４００では、紙面左上の画素と右下の画素とがＲ画素であって、視差Ｌｔ画素に構成されている。第３撮像素子４００では、紙面左下の画素と右上の画素とがＲ画素であって、視差Ｒｔ画素に構成されている。第４撮像素子５００では、紙面左上の画素と右下の画素とがＢ画素であって、視差Ｌｔ画素に構成されている。第４撮像素子５００では、紙面左下の画素と右上の画素とがＢ画素であって、視差Ｒｔ画素に構成されている。尚、図１９に示す第３撮像素子４００及び第４撮像素子５００は、配列における対応する位置において、開口マスク１０３の開口部１０４の位置が同じであって、カラーフィルタ１０２の波長特性が互いに異なる例である。

【0078】

図２０は、図１６のデジタルカメラ撮像光学部７１０における別の第１撮像素子１００、第２撮像素子３００、第３撮像素子４００、第４撮像素子５００を説明する正面図である。図２０に示す第１撮像素子１００及び第２撮像素子３００は、図１８の第１撮像素子１００及び第２撮像素子３００と同じ構成である。第３撮像素子４００では、全ての画素がＲ画素であって、視差なし画素に構成されている。第４撮像素子５００では、全ての画素がＢ画素であって、視差なし画素に構成されている。

【0079】

視差画素の開口の大きさを各撮像素子において変更してもよい。図２１は、開口の大きさを変更した撮像素子を説明する正面図である。図２１に示すように、第１撮像素子１００の紙面左上の画素及び右下の画素がＧｂ画素及びＧｒ画素であって、視差Ｌｔ画素である。第１撮像素子１００の紙面右上の画素及び左下の画素がＢ画素及びＲ画素であって、視差Ｒｔ画素である。一方、第２撮像素子３００では、第１撮像素子１００と色及び視差の配置は同じである。しかしながら、第２撮像素子３００の各画素の開口の面積は、第１撮像素子１００の各画素の開口の面積よりも小さい。例えば、第２撮像素子３００の各画素の開口の面積は、第１撮像素子１００の各画素の開口の面積の半分である。これにより、第１撮像素子１００及び第２撮像素子３００は、異なる絞りの視差画像を同時に撮像することができる。

【0080】

図２２は、開口の大きさを変更した別の撮像素子を説明する正面図である。図２２に示すように、第１撮像素子１００の紙面左上の画素及び右下の画素がＧｂ画素及びＧｒ画素であって、視差Ｌｔ画素及び視差Ｒｔ画素である。第１撮像素子１００の紙面右上の画素及び左下の画素がＢ画素及びＲ画素であって、視差なし画素である。尚、視差なし画素の開口の面積は、視差Ｌｔ画素及び視差Ｒｔ画素の開口の面積の例えば２倍の大きさである。一方、第２撮像素子３００では、第１撮像素子１００と色及び視差の配置は同じである。しかしながら、第２撮像素子３００の各画素の開口の面積は、第１撮像素子１００の各画素の開口の面積よりも小さい。例えば、第２撮像素子３００の各画素の開口の面積は、第１撮像素子１００の各画素の開口の面積の半分である。これにより、第１撮像素子１００及び第２撮像素子３００は、異なる絞りの視差画像を同時に撮像することができる。

【0081】

視差画素とカラーフィルタの関係について、種々のバリエーションを記載したが、更に別のバリエーションであってもよい。それぞれのバリエーションは、同一の物点からの一の分光が入射する撮像素子の光電変換素子と他の分光が入射する撮像素子の光電変換素子の組の少なくとも一部は互いに、カラーフィルタの有無、カラーフィルタの波長特性、開口部の有無、および、開口部の位置、のうち少なくとも一つが異なっていればよい。以下、表を参考にしてバリエーションについて説明する。

【0082】

図２３は、撮像素子の種類を説明する表である。図２３の表に示すように、撮像素子は、素子１から素子４の４種類である。視差画素が「○」の素子は視差画素を有し、それ以外は視差画素を有さない。色画素が「○」の素子はカラーフィルタを有し、それ以外はカラーフィルタを有さない。素子４の一例は、視差画素を有さない、白黒画像を撮像する素子である。

【0083】

図２４は、分光部の種類を説明する表である。図２４の表に示すように、分光部は、分光ａから分光ｃの３種類である。分光ａは、全波長の光を波長に関わらず光量によって複数に分光する。分光ｂは、特定の波長帯域毎に光を分光する。分光ｃは、赤外線を他の波長帯域の光から分光する。

【0084】

図２５は、２個の撮像素子を設ける場合の組み合せのバリエーションを説明する表である。例えば、バリエーションＶａ１は、素子１と、分光ａと、素子１から素子４の何れかとの組み合わせである。

【0085】

図２６は、３個の撮像素子を設ける場合の組み合せのバリエーションを説明する表である。例えば、バリエーションＶａ７は、素子１と、分光ａと、素子１から素子４の何れかと、分光ａから分光ｃの何れかと、素子１から素子４の何れかとの組み合わせである。

【0086】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0087】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0088】

１０ デジタルカメラ
２０ 撮影レンズ
２１ 光軸
３０ 被写体
３１ 被写体
５０ 分光部
１００ 第１撮像素子
１０１ マイクロレンズ
１０２ カラーフィルタ
１０３ 開口マスク
１０４ 開口部
１０５ 配線層
１０６ 配線
１０７ 開口部
１０８ 光電変換素子
１０９ 基板
１１０ パターン
１２０ 撮像素子
１２１ スクリーンフィルタ
１２２ カラーフィルタ部
１２３ 開口マスク部
２０１ 制御部
２０２ Ａ／Ｄ変換回路
２０３ メモリ
２０４ 駆動部
２０５ 画像処理部
２０７ メモリカードＩＦ
２０８ 操作部
２０９ 表示部
２１０ ＬＣＤ駆動回路
２１１ ＡＦセンサ
２２０ メモリカード
２３１ 画像抽出部
２３２ 画像補完部
２３３ 画像合成部
２３８ 保存制御部
３００ 第２撮像素子
３０２ Ａ／Ｄ変換回路
３０３ メモリ
３０４ 駆動部
４００ 第３撮像素子
５００ 第４撮像素子
６１０ デジタルカメラ撮像光学部
６５０ 分光部
６５２ 第１分光部材
６５４ 第２分光部材
６５６ 第３分光部材
７１０ デジタルカメラ撮像光学部
７５０ 分光部
７５２ 第１分光部材
７５４ 第２分光部材
７５６ 第３分光部材
７５８ 第４分光部材

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】