特許 5915537 撮像素子、及び、撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5915537

(24)【登録日】2016年4月15日

(45)【発行日】2016年5月11日

(54)【発明の名称】撮像素子、及び、撮像装置

(51)【国際特許分類】

   H04N 5/369 20110101AFI20160422BHJP

   H04N 9/07 20060101ALI20160422BHJP

   H04N 13/02 20060101ALI20160422BHJP

   H01L 27/14 20060101ALI20160422BHJP

【ＦＩ】

   H04N5/335 690

   H04N9/07 A

   H04N13/02

   H01L27/14 D

【請求項の数】7

【全頁数】33

(21)【出願番号】特願2012-546697(P2012-546697)

(86)(22)【出願日】2011年11月29日

(86)【国際出願番号】JP2011006666

(87)【国際公開番号】WO2012073491

(87)【国際公開日】20120607

【審査請求日】2014年10月30日

(31)【優先権主張番号】特願2010-265783(P2010-265783)

(32)【優先日】2010年11月29日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2010-265784(P2010-265784)

(32)【優先日】2010年11月29日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2011-70405(P2011-70405)

(32)【優先日】2011年3月28日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2011-70406(P2011-70406)

(32)【優先日】2011年3月28日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2011-90233(P2011-90233)

(32)【優先日】2011年4月14日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】芝崎 清茂

(72)【発明者】

【氏名】浜島 宗樹

(72)【発明者】

【氏名】森 晋

(72)【発明者】

【氏名】鈴木 智

【審査官】 鈴木 肇

(56)【参考文献】

【文献】 特開２０１０−２２０１９２（ＪＰ，Ａ）

【文献】 特開２００３−００７９９４（ＪＰ，Ａ）

【文献】 特開２００９−１４７６６５（ＪＰ，Ａ）

【文献】 特開２００９−２０４９８７（ＪＰ，Ａ）

【文献】 特開２００８−１４７８２１（ＪＰ，Ａ）

【文献】 特開２００９−０８６１４４（ＪＰ，Ａ）

【文献】 特開２００９−０６９２５５（ＪＰ，Ａ）

【文献】 特表２００３−５２３６４６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０ − ５／３７８

Ｈ０４Ｎ ９／０４ − ９／１１

Ｈ０４Ｎ １３／００ −１７／０６

Ｈ０１Ｌ ２１／３３９

Ｈ０１Ｌ ２７／１４ −２７／１４８

Ｈ０１Ｌ ２９／７６２

(57)【特許請求の範囲】

【請求項1】

入射光を電気信号に光電変換する光電変換素子と、
前記入射光の断面領域内の第１部分からの光束を通過させるように位置付けられた第１部分開口マスクと、
前記断面領域内の前記第１部分とは異なる第２部分からの光束を通過させるように位置付けられた第２部分開口マスクと、
前記入射光の有効光束の全体を通過させるように位置付けられた全開口マスクと、
前記入射光の第１波長帯域を通過させる第１フィルタと、
を備え、
隣接するｎ個（ｎは３以上の整数）の前記光電変換素子からなる一組の光電変換素子群は、前記第１フィルタが対応付けられた複数の前記光電変換素子を含み、
前記第１フィルタが対応付けられた複数の前記光電変換素子は、前記第１部分開口マスクが対応付けられた前記光電変換素子、前記第２部分開口マスクが対応付けられた前記光電変換素子、前記全開口マスクが対応付けられた前記光電変換素子を含む、
前記光電変換素子群が連続的に配列された撮像素子。

【請求項2】

前記入射光の第１波長帯域とは異なる第２波長帯域を通過させる第２フィルタを備え、
前記一組の光電変換素子群は、前記第２フィルタが対応付けられた複数の前記光電変換素子を含み、
前記第２フィルタが対応付けられた複数の前記光電変換素子は、前記第１部分開口マスクが対応付けられた前記光電変換素子、前記第２部分開口マスクが対応付けられた前記光電変換素子、前記全開口マスクが対応付けられた前記光電変換素子を含む請求項１に記載の撮像素子。

【請求項3】

前記第１部分開口マスクおよび前記第２部分開口マスクと、前記全開口マスクとは別体として設けられる請求項１または２に記載の撮像素子。

【請求項4】

前記光電変換素子のそれぞれに一対一に対応して設けられるマイクロレンズを備え、
前記第１部分開口マスク、前記第２部分開口マスクおよび前記全開口マスクのそれぞれは、前記マイクロレンズと前記光電変換素子の間に設けられる請求項１から３のいずれか１項に記載の撮像素子。

【請求項5】

前記一組の光電変換素子群の前記第１フィルタが対応付けられた前記光電変換素子のうち、前記第１部分開口マスクが対応付けられた前記光電変換素子と、前記第２部分開口マスクが対応付けられた前記光電変換素子とは、被写体が合焦位置に存在する場合に、前記被写体の一つの微小領域から放射される光束を受光する請求項１から４のいずれか１項に記載の撮像素子。

【請求項6】

入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
前記光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと
を備え、
隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの前記開口マスクの開口が、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が連続的に配列され、
一組の前記光電変換素子群を構成する前記光電変換素子のうち、前記部分領域からの前記光束を通過させる前記開口マスクが設けられた前記光電変換素子のそれぞれは、被写体が合焦位置に存在する場合に、前記被写体の二つ以上の微小領域から放射される光束のいずれかを受光する撮像素子。

【請求項7】

前記二つ以上の微小領域および隣接する前記光電変換素子群において対応する前記二つ以上の微小領域が、被写体平面において少なくとも一次元方向に等間隔となるように、前記開口マスクが設けられた請求項６に記載の撮像素子。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子、及び、撮像装置に関する。

【背景技術】

【0002】

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。

【課題を解決するための手段】

【0004】

上記課題を解決するために、本発明の第１の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと、光電変換素子のそれぞれに一対一に対応して設けられるカラーフィルタとを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの開口マスクの開口が、互いに異なる波長帯域を透過させる少なくとも２種類のカラーフィルタから構成されるカラーフィルタパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子を一組とする光電変換素子群が連続的に配列されている。

【0005】

また、本発明の第２の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子のそれぞれに一対一に対応して設けられる開口マスクとを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの開口マスクの開口が、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子を一組とする光電変換素子群が連続的に配列されている。

【0006】

本発明の第３の態様においては、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、前記光電変換素子のそれぞれに一対一に対応して開口マスクとを備え、隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの前記開口マスクの開口が、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が連続的に配列され、前記開口マスクを通過した入射光が少なくとも拡散するのを低減して前記光電変換素子に導く導波路をさらに備える撮像素子を提供する。

【0007】

本発明の第４の態様においては、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、前記光電変換素子のそれぞれに一対一に対応して開口マスクと、前記光電変換素子のそれぞれに一対一に対応して設けられるカラーフィルタとを備え、隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの前記開口マスクの開口が、互いに異なる波長帯域を透過させる少なくとも２種類の前記カラーフィルタから構成されるカラーフィルタパターンの一パターン内に含まれると共に、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が連続的に配列され、前記開口マスクを通過した入射光が少なくとも拡散するのを低減して前記光電変換素子に導く導波路をさらに備える撮像素子を提供する。

【0008】

本発明の第５の態様においては、上述の撮像素子と、前記撮像素子に光を導く光学部材とを備える撮像装置を提供する。

【0009】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係るデジタルカメラの構成を説明する図である。

【図2】本発明の実施形態に係る撮像素子の断面を表す概略図である。

【図3】撮像素子の一部を拡大した様子を表す概略図である。

【図4】視差画素と被写体の関係を説明する概念図である。

【図5】視差画像を生成する処理を説明する概念図である。

【図6】繰り返しパターンの他の例を示す図である。

【図7】位相ずらし配列でない視差画素と被写体の関係を説明する概念図である。

【図8】位相ずらし配列における視差画素と被写体の関係を説明する概念図である。

【図9】繰り返しパターンを説明する図である。

【図10】二次元的な繰り返しパターンの例を示す図である。

【図11】開口部の他の形状を説明する図である。

【図12】ベイヤー配列を説明する図である。

【図13】ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。

【図14】バリエーションの一例を示す図である。

【図15】他のバリエーションの一例を示す図である。

【図16】他のバリエーションの一例を示す図である。

【図17】他のバリエーションの一例を示す図である。

【図18】ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が３つである場合のバリエーションを説明する図である。

【図19】バリエーションの一例を示す図である。

【図20】ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が４つ以上である場合のバリエーションを説明する図である。

【図21】他のカラーフィルタ配列を説明する図である。

【図22】他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。

【図23】他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が３つである場合のバリエーションを説明する図である。

【図24】本発明の実施形態に係る他の撮像素子の断面を表す概略図である。

【図25】他のカラーフィルタ配列を説明する図である。

【図26】Ｗ画素と視差画素の配列の一例を示す図である。

【図27】視差画像と２Ｄ画像の生成過程を示す概念図である。

【図28】撮像素子の縦断面図である。

【図29】撮像素子の製造方法を説明する図である。

【図30】撮像素子の製造方法を説明する図である。

【図31】図３０の溝周辺の拡大図である。

【図32】撮像素子の製造方法を説明する図である。

【図33】撮像素子の製造方法を説明する図である。

【図34】導波路を変形した実施形態による撮像素子の縦断面図である。

【図35】導波路を変形した実施形態による撮像素子の縦断面図である。

【図36】導波路の内部に空気を充填した撮像素子の縦断面図である。

【図37】導波路の内部をカラーフィルタにより構成した撮像素子の縦断面図である。

【図38】導波路の形状を変更した撮像素子の縦断面図である。

【図39】撮像素子の一部を拡大した平面図である。

【発明を実施するための形態】

【0011】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0012】

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

【0013】

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。

【0014】

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

【0015】

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

【0016】

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。制御部２０１の一部である画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

【0017】

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、演算部２０６の演算結果に応じて実行される。

【0018】

デジタルカメラ１０は、通常の撮影モードの他に視差画像撮影モードを備える。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部を視認しながら、操作部２０８を操作することにより選択することができる。

【0019】

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子１００の断面を表す概略図である。

【0020】

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

【0021】

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

【0022】

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

【0023】

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。

【0024】

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

【0025】

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

【0026】

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、白黒画像信号を出力すれば良い場合にはカラーフィルタ１０２は設けない。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。

【0027】

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。撮像素子１００がカラーフィルタ１０２を備えない場合は、モノクロイメージセンサとしてモノクロの視差画像を生成することができる。また、カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

【0028】

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

【0029】

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的かつ連続的に敷き詰められて構成されていると言える。しかしながら、繰り返しパターン１１０は、２次元方向の少なくとも一方向に連続的に敷き詰められていればよく、他方向に非連続であってもよい。また、撮像素子１００は、実質的に視差画像を生成できる範囲内において、一部に繰り返しパターン１１０が省かれた部分を有してもよい。実質的に視差画像を生成できる範囲とは、例えば、像としての齟齬が生じないよう補間できる範囲である。また、繰り返しパターン１１０が省かれた部分が、視覚的に影響を与えない周辺領域である場合も、実質的に視差画像を生成できる。

【0030】

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

【0031】

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

【0032】

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

【0033】

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

【0034】

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。

【0035】

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

【0036】

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

【0037】

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

【0038】

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

【0039】

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

【0040】

図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

【0041】

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。

【0042】

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。

【0043】

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。

【0044】

上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図６は、繰り返しパターン１１０の他の例を示す図である。

【0045】

図６（ａ）は、縦６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。

【0046】

図６（ｂ）は、斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。

【0047】

図３の繰り返しパターン１１０、および図６（ａ）（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、横方向の解像度を１／６とする構成である。図６（ａ）の繰り返しパターン１１０の場合は、縦方向の解像度を１／６とする構成である。また、図６（ｂ）の繰り返しパターン１１０の場合は、縦方向を１／３、横方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ〜１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ〜Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。

【0048】

上述の繰り返しパターン１１０によれば、解像度と視差数はトレードオフの関係にあるが、次に視差の数を減らさずに解像度を上げる位相ずらし配列の手法について説明する。まずは、前提の構成となる、位相ずらし配列でない構成について説明する。

【0049】

図７は、位相ずらし配列でない視差画素と被写体の関係を説明する概念図である。図７で示す繰り返しパターン１１０によれば、それぞれの視差画素における開口部１０４ａ〜１０４ｉは、それぞれ撮影レンズ２０の瞳における部分領域Ｐａ〜Ｐｉからの被写体光束のみを通過させるので、撮像素子１００は、９視点の視差画像を出力する。この場合は、９つの視差画素が同一の微小領域から放射される光束を受光するので、９画素がそれぞれ別の微小領域から放射される光束を受光する場合に比べて１／９の解像度となる。例えば、合焦位置に存在する被写体３０のうち、微小領域Ｏ_ｓ３から放射された被写体光束は、９つの部分領域Ｐａ〜Ｐｉを通過することにより分割され、像側領域Ｉ_ｓ３で結像する。像側領域Ｉ_ｓ３は、開口部１０４ａ〜１０４ｉを有する一つの繰り返しパターン１１０に対応する領域である。

【0050】

同様に、微小領域Ｏ_ｓ２から放射された被写体光束は、９つの部分領域Ｐａ〜Ｐｉを通過して像側領域Ｉ_ｓ２で結像する。また、微小領域Ｏ_ｓ１から放射された被写体光束は、９つの部分領域Ｐａ〜Ｐｉを通過して像側領域Ｉ_ｓ１で結像する。像側領域Ｉ_ｓ２、Ｉ_ｓ１も、それぞれ開口部１０４ａ〜１０４ｉを有する一つの繰り返しパターン１１０に対応する領域である。つまり、微小領域と繰り返しパターン１１０が一対一に対応する構成である。したがって、視差画素に配置される開口部１０４ａ〜１０４ｉは、一つの繰り返しパターン１１０内で順番に配列されている。図においては、繰り返しパターン１１０内において、右端視差画素に開口部１０４ａが配置され、左へ向かってｂ、ｃ…と続き、左端視差画素に開口部１０４ｉが配置されている。この配列は、撮像素子１００を形成する繰り返しパターン１１０のいずれにおいても同様である。

【0051】

これに対し、位相ずらし配列は、一つの微小領域から放射された被写体光束のうち、複数の部分領域の全てではなく選択された幾つかの部分領域を通過する光束を受光するように、視差画素を配列して繰り返しパターン１１０を形成する。図８は、位相ずらし配列における視差画素と被写体の関係を説明する概念図である。図の例の位相ずらし配列は、一つの微小領域から放射された被写体光束のうち、選択された幾つかの部分領域を通過する光束を受光し、かつ、微小領域に対して選択される部分領域が隣り合う微小領域に対して変化するように構成されている。選択される部分領域を固定するパターンもあり得るが、ここでは図の例に即して説明する。

【0052】

図７の配列においては、一つの微小領域から放射される被写体光束に対して、９つの部分領域Ｐａ〜Ｐｉを通過する全てを受光すべく９つの視差画素で受光した。一方、図８の位相ずらし配列においては、一つの微小領域から放射される被写体光束に対して、９つの部分領域Ｐａ〜Ｐｉのうちの３つを受光すべく３つの視差画素で受光している。このように、部分領域の一部を選択することにより、微小領域の数を増やして解像度を上げている。図の例では、９つのうちの３つを選択することにより、解像度を３倍に上げている。

【0053】

具体的な配列としては、図７における繰り返しパターン１１０を構成する各視差画素のうち、隣接しない３つの視差画素を組として、互い違いに配列しなおした場合に相当する。より具体的には、開口部１０４ａ、ｄ、ｇを有する視差画素を一組、開口部１０４ｂ、ｅ、ｈを有する視差画素を一組、開口部１０４ｃ、ｆ、ｉを有する視差画素を一組として、互いの組の相対関係が互い違いとなるように組み替える。つまり、それぞれの組を、位相をずらして配列する。図の例では、位相をずらして配列した結果、新たに形成される繰り返しパターン１１０内において、右端視差画素に開口部１０４ｇが配置され、左へ向かって順にｅ、ｃ、ａ、ｈ、ｆ、ｄ、ｂと続き、左端視差画素に開口部１０４ｉが配置されている。この配列は、撮像素子１００を形成する繰り返しパターン１１０のいずれにおいても同様である。

【0054】

このように新たに形成された繰り返しパターン１１０に含まれる視差画素のそれぞれは、合焦位置に存在する被写体３０のうち、図７の繰り返しパターン１１０のように一つの微小領域のみから放射される被写体光束を受光するのではなく、三つの微小領域からそれぞれ放射される被写体光束のいずれかを受光する。例えば、図８の像側領域Ｉ_ｐ９近傍の繰り返しパターン１１０に含まれる各視差画素は、拡大図に示すように、微小領域Ｏ_ｐ９から放射される被写体光束を、開口部１０４ｃ、ｆ、ｉを有する３つの視差画素で受光する。そして、この繰り返しパターン１１０に含まれる開口部１０４ｇ、ａ、ｄを有する視差画素は別の微小領域からの被写体光束を、開口部１０４ｅ、ｈ、ｂを有する視差画素はさらに別の微小領域からの被写体光束をそれぞれ受光する。

【0055】

図９は、繰り返しパターンを説明する図である。図９（ａ）は、図７に対応する９画素の繰り返しパターン１１０であり、位相ずらし配列によるパターンではない。この場合、繰り返しパターン１１０を構成する視差画素は、すべて微小領域Ｏ_ｓ１から放射された光束を受光している。

【0056】

図９（ｂ）は、図８に対応する９画素の繰り返しパターン１１０であり、位相ずらし配列によるパターンである。この場合、繰り返しパターン１１０を構成する９つの視差画素は、右から左へ向かって順に開口部１０４ｇ、ｅ、ｃ、ａ、ｈ、ｆ、ｄ、ｂ、ｉを有する開口マスク１０３を備える光電変換素子群として定義され得る。なお、位相ずらし配列によるパターンでは、それぞれの視差画素が同一の微小領域からの被写体光束を受光するわけではないので、隣接する９画素を一組とすれば、いずれの画素間を区切りに設定しても良い。

【0057】

上述の例では、９視点の視差画像を生成する繰り返しパターン１１０から、３倍の解像度を得る位相ずらし配列による繰り返しパターン１１０を作る例を説明した。位相ずらし配列は、他にも様々なバリエーションが存在する。視差画素の配列を幾何学的に組み合わせることにより、視差画像数および解像度等のバランスを考慮しつつ、多種多様の繰り返しパターン１１０を設定することができる。

【0058】

なお、上述の例によれば、図８で示すように、位相ずらし配列に基づく繰り返しパターン１１０による微小領域の間隔は等間隔である。別言すれば、繰り返しパターン１１０が隣接して連続すれば、それぞれの視差画素が捉える微小領域は、ある被写体平面において少なくとも一次元方向に等間隔であると言える。微小領域の間隔が等間隔であれば、取得される視差画像に像としての歪みが生じないので、違和感のない視差画像が得られる。

【0059】

上述の例においては、図９（ａ）のように定義した繰り返しパターン１１０を、開口部１０４ａ、ｄ、ｇを有する視差画素を一組、開口部１０４ｂ、ｅ、ｈを有する視差画素を一組、開口部１０４ｃ、ｆ、ｉを有する視差画素を一組として、図９（ｂ）に示す繰り返しパターン１１０に組み替えた。この場合は、合焦位置に存在する被写体３０において微小領域が等間隔になるように視差画素の組を決定している。図８の例では、被写体３０においてｘ方向である一次元方向に等間隔の場合を説明したが、後述のようにｙ方向にも視差を与えるべく開口部１０４を変位させる場合にも、ｙ方向も加えた二次元方向に微小領域が等間隔に並ぶように視差画素の組を決定することができる。つまり、選択された視差画素の組のそれぞれが、互い違いに位相をずらして配列された場合に、それぞれの視差画素に対応する微小領域が、ｘ方向、ｙ方向の少なくとも一方において、等間隔に並ぶように組み替えることができる。二次元方向共に位相ずらし配列を採用する場合は、被写体領域によらず解像度が一定となるので、合焦位置に存在する被写体３０において微小領域が等間隔に並ぶように組み替えることが好ましい。または、観察者である人間の視覚特性を考慮して、合焦位置に存在する被写体３０において少なくとも横方向には微小領域が等間隔に並ぶように組み替えることが好ましい。なお、画像処理等により像としての歪みは解消し得るので、他の制約条件等を優先して、微小領域の間隔が等間隔とならない繰り返しパターン１１０を採用しても良い。

【0060】

上述の例では、主に左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図１０は、二次元的な繰り返しパターン１１０の例を示す図である。

【0061】

図１０の例によれば、縦６画素横６画素の３６画素を一組の光電変換素子群として繰り返しパターン１１０を形成する。それぞれの画素に対する開口部１０４の位置として、互いに上下左右方向にシフトした３６種類の開口マスク１０３が用意されている。具体的には、各開口部１０４は、繰り返しパターン１１０の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。

【0062】

このような繰り返しパターン１１０を有する撮像素子１００は、上下方向および左右方向に視差を与える、３６視点の視差画像を出力することができる。もちろん図１０の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン１１０を定めることができる。その場合、上述の位相ずらし配列を２次元配列に応用しても良い。

【0063】

以上の説明においては、開口部１０４の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子１０８へ導く光量を確保している。しかし、開口部１０４の形状は矩形に限定されない。

【0064】

図１１は、開口部１０４の他の形状を説明する図である。図においては、開口部１０４の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ１０１との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子１０８へ入射することを防ぐことができる。

【0065】

次に、カラーフィルタ１０２と視差画像について説明する。図１２は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。

【0066】

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。

【0067】

このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図１３は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素と、同じく右側に偏心した視差Ｒ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。

【0068】

それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。

【0069】

一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。

【0070】

以下にいくつかのバリエーションについて説明する。図１４は、バリエーションの一例を示す図である。図１４のバリエーションは、図１３における繰り返しパターン分類Ａ−１に相当する。

【0071】

図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＧ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌ画素と視差Ｒ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４を定めることもできるし、異なる微小領域から放射される光束を受光するように開口部１０４を定めることもできる。異なる微小領域から放射される光束を受光するように開口部１０４を定めた場合、位相ずらし配列として、例えば、左右に隣接する２つの繰り返しパターン１１０において、左側の繰り返しパターン１１０のＧｂ画素に割り当てられた視差Ｌ画素と、右側の繰り返しパターン１１０のＧｒ画素に割り当てられた視差Ｒ画素とが、同一の微小領域から放射される光束を受光するように構成することができる。

【0072】

図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。

【0073】

図１５は、他のバリエーションの一例を示す図である。図１５のバリエーションは、図１３における繰り返しパターン分類Ｂ−１に相当する。

【0074】

図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図１３の例よりも、更に２Ｄ画像の高画質化が望める。

【0075】

図１６は、更に他のバリエーションの一例を示す図である。図１６のバリエーションは、図１３における繰り返しパターン分類Ｃ−１に相当する。

【0076】

図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。さらに、左側のＧｒ画素にも視差Ｌ画素を、右側のＧｒ画素にも視差Ｒ画素を割り当てる。２つのＧｂ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光し、２つのＧｒ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図１５の例に比較して、３Ｄ画像としての解像度が縦方向に２倍となる。

【0077】

図１７は、更に他のバリエーションの一例を示す図である。図１７のバリエーションは、図１３における繰り返しパターン分類Ｄ−１に相当する。

【0078】

図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。さらに、左側のＲ画素に視差Ｌ画素を、右側のＲ画素に視差Ｒ画素を割り当てる。さらに、左側のＢ画素に視差Ｌ画素を、右側のＢ画素に視差Ｒ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。

【0079】

２つのＧｂ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図１５の例に比較して、３Ｄ画像としての解像度が縦方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。

【0080】

図１８は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が３つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素、偏心のない視差Ｃ画素および右側に偏心した視差Ｒ画素を想定している。偏心のない視差Ｃ画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導く点で視差画像を出力する視差画素であり、光電変換素子１０８に対して入射する被写体光束を制限しない視差なし画素とは異なる。したがって、これら３種類の視差画素により、３視点の視差画像が出力される。

【0081】

それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。２視点における２Ｄ画像と３Ｄ画像のトレードオフの関係は、３視点においても同様である。

【0082】

３視点におけるバリエーションの一例を説明する。図１９は、バリエーションの一例として、図１８における繰り返しパターン分類Ｂｔ−２に相当する図である。

【0083】

図の例においては、ベイヤー配列の４画素が左右方向に３組続く１２画素を繰り返しパターン１１０とする。１２画素のうち、３つのＧｂ画素にそれぞれ左右方向に対応させて視差Ｌ画素、視差Ｃ画素および視差Ｒ画素を割り当てる。他の画素には、全て視差なし画素を割り当てる。

【0084】

このような繰り返しパターン１１０によれば、２Ｄ画像としての解像度、カラー品質を高いレベルで維持しつつ、３視点の視差画像も同時に取得することができる。

【0085】

図２０は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が４つ以上である場合のバリエーションの一例を説明する図である。このように、視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。

【0086】

上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。図３等を用いて説明したように、カラーフィルタ配列を構成するある１色に着目して寄せ集めた場合に、隣接する複数の画素を一組の光電変換素子群とする繰り返しパターンを形成し、視差画像を出力するように視差画素が割り当てられていれば良い。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。

【0087】

図２１は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、緑フィルタが左上および右上の２画素に、赤フィルタが左下の１画素に、青フィルタが右下の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｒ画素と、同じく緑色フィルタが割り当てられた右上の画素をＧｂ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｒ画素およびＧｂ画素が並ぶ横方向をＧ行とし、Ｒ画素およびＢ画素が並ぶ横方向をＲＢ行とする。また、Ｇｒ画素およびＲ画素が並ぶ縦方向をＧｒ列とし、Ｇｂ画素およびＢ画素が並ぶ縦方向をＧｂ列とする。

【0088】

ベイヤー配列の場合と同じく、このような他のカラーフィルタ配列の場合であっても、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。また、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができ、視差画素の割合を増やせば、３Ｄ画像の画質を向上させることができる関係も同様である。

【0089】

図２２は、他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。

【0090】

一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。

【0091】

図２３は、他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が３つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素、偏心のない視差Ｃ画素および右側に偏心した視差Ｒ画素を想定している。

【0092】

それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。２視点における２Ｄ画像と３Ｄ画像のトレードオフの関係は、３視点においても同様である。

【0093】

図示は省くが、視差画素の種類が４つ以上であっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。

【0094】

図２４は、本発明の実施形態に係る他の撮像素子の断面を表す概略図である。図２では、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図を示したが、図２４では、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図を示す。

【0095】

輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図２４で示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。

【0096】

スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。

【0097】

図２５は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図１２で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。

【0098】

このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。

【0099】

Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。

【0100】

図２６は、図２５の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図２６のバリエーションは、ベイヤー配列における図１５の繰り返しパターン分類Ｂ−１に類似するので、ここではＢ'−１とする。図の例においては、他のカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＷ画素に視差Ｌ画素を、右側のＷ画素に視差Ｒ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。

【0101】

この場合、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを有し、隣接するｎ個（ｎは４以上の整数）の光電変換素子１０８のうち、少なくとも２つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも２種類のカラーフィルタ１０２から構成されるカラーフィルタパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的かつ連続的に配列されていれば良い。

【0102】

ここで、モノクロ画像としての視差画像の生成と、カラー画像としての２Ｄ画像の生成について説明する。

【0103】

図２７は、視差画像と２Ｄ画像の生成過程を示す概念図である。図示するように、視差Ｌ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｌ画像データが生成される。一つの繰り返しパターン１１０に含まれる視差Ｌ画素は一つであるので、Ｌ画像データを形成する各視差Ｌ画素は、それぞれ異なる繰り返しパターン１１０から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの視差Ｌ画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｌ画像データは、特定の視点（Ｌ視点）から被写体を捉えた一つの視差画像データとなる。そして、視差Ｌ画素は、Ｗ画素に割り振られているので、Ｌ画像データは、カラー情報を持たず、モノクロ画像として生成される。

【0104】

同様に、視差Ｒ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｒ画像データが生成される。寄せ集められたそれぞれの視差Ｒ画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｒ画像データは、特定の視点（Ｒ視点）から被写体を捉えた一つの視差画像データとなる。そして、視差Ｒ画素は、Ｗ画素に割り振られているので、Ｒ画像データは、カラー情報を持たず、モノクロ画像として生成される。

【0105】

被写体が合焦位置に存在するときに、一つの繰り返しパターン１１０において、Ｌ画素とＲ画素は、被写体の同一の微小領域から放射される光束を受光する。また、被写体が非合焦位置に存在するときに、一つの繰り返しパターン１１０において、Ｌ画素とＲ画素は、被写体の互いにずれた微小領域から放射される光束を受光する。そのずれは、被写体位置の合焦位置に対する相対関係と瞳の部分領域の関係とから、方向と量が定まる。したがって、Ｌ画像データとＲ画像データのそれぞれにおいて、視差Ｌ画素と視差Ｒ画素が撮像素子１００上の相対的な位置関係を維持しながら寄せ集められていれば、それぞれが視差画像を形成する。

【0106】

また、視差なし画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、２Ｄ画像データが生成される。このとき、Ｗ画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、Ｇｂ画素の出力に相当する出力が欠落する。そこで、例えば、この欠落した出力の値として、Ｇ画素の出力値を代入する。つまり、Ｇ画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して２Ｄ画像データを生成することができる。

【0107】

なお、以上の画像処理は、画像処理部２０５によって実行される。画像処理部２０５は、制御部２０１を介して撮像素子１００から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配してＬ画像データ、Ｒ画像データおよび２Ｄ画像データを生成する。

【0108】

以上の実施形態においては、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的かつ連続的に敷き詰められて構成されていると説明した。しかし、カラーフィルタを備える視差画素のそれぞれが被写体の離散的な微小領域を捉えて視差画像を出力すれば良いので、例えば、周期的な繰り返しパターン１１０の間に視差なし画素が連続していても良い。つまり、視差画素を含む繰り返しパターン１１０は、連続していなくても、周期的であれば視差画像を出力し得る。なお、本実施形態では、マイクロレンズ１０１が光電変換素子１０８のそれぞれに一対一に対応して設けられていると説明したが、複数の光電変換素子１０８に対して一つのマイクロレンズ１０１が設けられてもよい。この場合、一組の光電変換素子群を含む繰り返しパターン１１０に対して一つのマイクロレンズ１０１が設けられてもよいし、繰り返しパターン１１０に関係なくマイクロレンズが設けられてもよい。

【0109】

撮像素子の構成を変えた他の実施形態について説明する。図２８は、撮像素子の縦断面図である。図２８に示すように、撮像素子１６は、基板４０と、複数の光電変換素子４２と、絶縁層４４と、配線層４６と、配線層４８と、開口マスク５０ａから５０ｆと、導波路５６ａから５６ｆと、複数のカラーフィルタ６２と、マイクロレンズ６４とを備えている。尚、配線層４６は、第１金属層の一例である。配線層４８は、第２金属層の一例である。開口マスク５０ａから５０ｆは、第３金属層の一例である。図２８の例においては、６種類の開口マスク５０ａから５０ｆおよびそれらに対応して６種類の導波路５６ａから５６ｆが示されている。

【0110】

基板４０は、シリコン、ＧａＡｓ等の半導体材料、または、サファイア等の絶縁材料によって構成される。

【0111】

光電変換素子４２は、受光した光に対応する電気的な信号を出力する。光電変換素子４２は、基板４０の上面部に形成されている。光電変換素子４２は、フォトダイオード等を適用することができる。光電変換素子４２は、Ｘ方向及びＹ方向において一定の間隔を開けて、２次元状に配列されている。

【0112】

絶縁層４４は、光電変換素子４２、配線層４６及び配線層４８を互いに絶縁する。絶縁層４４は、基板４０及び光電変換素子４２を覆うように形成されている。絶縁層４４は、酸化シリコン、窒化シリコン等の絶縁材料によって構成されている。

【0113】

配線層４６及び配線層４８は、絶縁層４４の内部に埋め込まれている。配線層４８は、一定の間隔を空けて、配線層４６の上方に積層されている。配線層４６及び配線層４８は、金属等の導電性材料によって構成される。配線層４６及び配線層４８は、光電変換素子４２から出力された電気信号を伝達する。

【0114】

開口マスク５０ａから５０ｆは、一定の間隔を空けて、配線層４６の上方に積層されている。開口マスク５０ａから５０ｆは、絶縁層４４上に配置されている。これにより、配線層４６、配線層４８及び開口マスク５０ａから５０ｆは、光電変換素子４２の側から絶縁層４４を介してこの順に積層される。開口マスク５０ａから５０ｆは、金属等の可視光を遮光可能な材料からなる。開口マスク５０ａから５０ｆは、光電変換素子４２のそれぞれに一対一に対応して設けられている。開口マスク５０ａから５０ｆには、それぞれ開口６６ａから６６ｆが形成されている。開口６６ａから６６ｆの位置等については後述する。

【0115】

導波路５６ａから５６ｆは、絶縁層４４の内部に形成されている。導波路５６ａから５６ｆの入射側の端部は、それぞれ開口マスク５０ａから５０ｆから延びる。導波路５６ａから５６ｆの他方の端部は、光電変換素子４２まで延びる。これにより、導波路５６ａから５６ｆは、それぞれ開口６６ａから６６ｆと光電変換素子４２とを繋ぐ。導波路５６ａから５６ｆの構造および機能については後述する。

【0116】

カラーフィルタ６２は、例えば、メタクリル酸エステル等の材料からなる。カラーフィルタ６２は、開口マスク５０ａから５０ｆ上、及び、開口６６ａから６６ｆから露出した絶縁層４４上に形成されている。カラーフィルタ６２は、光電変換素子４２のそれぞれに一対一に対応して設けられている。カラーフィルタ６２は、各光電変換素子４２に対して特定の波長帯域の光を透過させるように着色されている。カラー画像を撮像するには、互いに異なる少なくとも２種類のカラーフィルタ６２を配列する。更に高画質のカラー画像を撮像するには、３種類以上のカラーフィルタ６２を配列する必要がある。カラーフィルタ６２の組み合わせの一例は、赤色波長帯域を透過させる赤色フィルタ、緑色波長帯域を透過させる緑色フィルタ、青色波長帯域を透過させる青色フィルタの組み合わせである。これらのカラーフィルタ６２の組み合わせを周期的に配列して、１つのカラーフィルタパターンが形成される。尚、白黒画像信号を出力する場合、カラーフィルタ６２は省略してもよい。

【0117】

マイクロレンズ６４は、カラーフィルタ６２上に形成されている。マイクロレンズ６４は、入射する被写体光束をより多く光電変換素子４２へと導くための集光レンズである。マイクロレンズ６４は、複数の光電変換素子４２のそれぞれに一対一に対応して設けられている。マイクロレンズ６４は、撮影レンズ２０の瞳中心と光電変換素子４２の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子４２に導かれるようにその光軸２１がシフトされていることが好ましい。尚、集光効率、光電変換効率がよい撮像素子１６の場合、マイクロレンズ６４は省略してもよい。

【0118】

各々の光電変換素子４２に対応して一対一に設けられる開口マスク５０ａから５０ｆ、導波路５６ａから５６ｆ、カラーフィルタ６２、マイクロレンズ６４の一単位を画素と呼ぶ。特に、視差を生じさせる開口６６ａから６６ｆが形成された開口マスク５０ａから５０ｆを含む画素を視差画素、視差を生じさせない開口が形成された開口マスクを含む視差なし画素と呼ぶ。例えば、撮像素子１６の有効画素領域が２４ｍｍ×１６ｍｍの場合、画素数は１２００万程度に及ぶ。

【0119】

この撮像素子１６では、撮影レンズ２０の光軸２１に沿って、被写体光束が入射すると、マイクロレンズ６４によって、集光された後、カラーフィルタ６２に入射する。光は、カラーフィルタ６２によって特定の波長帯域のみが選択的に透過される。その後、特定の方向から入射した光が開口マスク５０ａから５０ｆの開口６６ａから６６ｆを通過する。光は、導波路５６ａから５６ｆの外周壁部７４ａから７４ｆによって反射されつつ、瞳分割光として光電変換素子４２に入射して、電気信号に変換される。

【0120】

図２９、図３０、図３１、図３２、図３３は、撮像素子の製造方法を説明する図である。尚、図３１は、図３０の溝周辺の拡大図である。図２９に示すように、基板４０に光電変換素子４２が形成される。次に、配線層４６の下層まで、スピンコート法等により絶縁層４４ａが、基板４０及び光電変換素子４２の上面全体に形成される。リフトオフ法等によりパターニングされた配線層４６が、絶縁層４４ａの上面に形成される。スピンコート法等により絶縁層４４ｂが配線層４６及び絶縁層４４ａの上面全体に形成される。リフトオフ法等によりパターニングされた配線層４８が、絶縁層４４ｂの上面に形成される。次に、スピンコート法等により絶縁層４４ｃが、配線層４８及び絶縁層４４ｂの上面全体に形成される。尚、絶縁層４４ａ、４４ｂ、４４ｃによって、絶縁層４４が構成される。

【0121】

次に、図３０に示すように、ドライエッチング等の異方性エッチングにより、導波路５６ａから５６ｆの外周壁部７４ａから７４ｆに対応する領域の絶縁層４４を除去して溝８０を形成する。ここで、導波路５６ａ等の半径方向において、溝８０は、外周壁部７４ａ等よりも厚い。溝８０を形成した後に、図３１に示すように、絶縁層４４の除去された溝８０に絶縁材料を埋め込む。これにより、埋め込まれた絶縁材料の内部に空気が残り、図３０に示すように、空気が充填された外周壁部７４ａから７４ｆが形成される。

【0122】

次に、図３２に示すように、リフトオフ法等によって、パターニングされた複数の開口マスク５０ａから５０ｆが絶縁層４４上に形成される。それぞれの開口マスク５０ａから５０ｆの開口６６ａから６６ｆは、導波路５６ａから５６ｆの上端の位置および大きさに合わせて形成される。

【0123】

図３３に示すように、カラーフィルタ６２が、開口マスク５０ａから５０ｆの上面に形成される。尚、カラーフィルタ６２は、開口マスク５０ａから５０ｆの上面に材料が塗布された後、対応する各領域の色に現像されて形成される。この後、カラーフィルタ６２の上面にマイクロレンズ６４が形成されて、図２８に示す撮像素子１６が完成する。

【0124】

さらに図２８を用いて導波路５６ａ等の構成および作用を説明する。上記の通り、導波路５６ａから５６ｆの−Ｚ側の端部の開口は、それぞれ開口マスク５０ａから５０ｆの開口６６ａから６６ｆと略同じ位置および略同じ大きさに形成されている。導波路５６ａから５６ｆの下端の中心は、光電変換素子４２の中心と一致させている。

【0125】

導波路５６ａから５６ｆはそれぞれ、外周壁部７４ａから７４ｆを有する。外周壁部７４ａ等は、それぞれ導波路５６ａ等の外周を囲むように形成されている。外周壁部７４ａ等には、空気が満たされておりエアギャップ層として機能する。これにより、外周壁部７４ａ等の屈折率は、導波路５６ａ等の周囲の絶縁層４４の屈折率と異なる。より具体的には、外周壁部７４ａよりも内側には、空気と屈折率が異なる絶縁層４４が満たされている。絶縁層４４が酸化シリコン層の場合、絶縁層４４は、空気が満たされた外周壁部７４ａ等よりも屈折率が高くなる。尚、外周壁部７４ａから７４ｆをタングステン、アルミニウム、銅等の金属反射層によって構成してもよい。

【0126】

導波路５６ａから５６ｆの外周壁部７４ａから７４ｆの傾斜角度は、対応する開口マスク５０ａ等を通過した光束が、外周壁部７４ａ等で反射されて、光電変換素子４２において感度が高い中心付近に来るように設けられることが好ましい。図２８の左端の画素を例に説明すれば、開口マスク５０ａの開口６６ａが図４（ａ）の部分領域Ｐｆを見込む方向からのが光線Ｌ１であるとすると、外周壁部７４ａがなければ光電変換素子４２における感度の悪い周辺部に入射するか、または、光電変換素子４２から外れたり、隣の光電変換素子４２に入射するおそれがある。これに対し、光線Ｌ１を、対応する光電変換素子４２の中心付近に反射する角度を設定することにより、より的確に集光することができる。さらに、部分領域Ｐｆを見込む方向からの光線のうちマイクロレンズ６４の中心を通る光線Ｌ１と、中心から外れた光線Ｌ２とは当該マイクロレンズ６４により集光されるが、その集光点が外周壁部７４ａにより反射されて、対応する光電変換素子４２の中心付近に反射する角度に設定されることが好ましい。

【0127】

１回の反射で光電変換素子４２の中心付近に到達するように外周壁部７４ａから７４ｆの角度が決められてもよいし、２回上の反射で到達するように角度が決められてもよい。さらに、導波路５６ａから５６ｆ内の媒体の屈折率が、外周壁部７４ａから７４ｆの屈折率よりも大きい場合には、上記反射の角度が全反射となるように設定されることが好ましい。これにより、より効率的に画素に光を入射させることができる。

【0128】

上述したように本実施形態による撮像素子１６は、６種類の開口マスク５０ａから５０ｆを設けることにより、視差画像を生成することができる。これにより、複数の光学系等の装置を要することなく、視差画像を取得することができる。

【0129】

また、撮像素子１６は上記導波路５６ａから５６ｆを有するので、開口６６ａから６６ｆを通過した光の漏れを抑制して、効率よく光電変換素子４２へと導くことができる。また、導波路５６ａから５６ｆによって、光の漏れを抑制することにより、一の光電変換素子４２に受光されるべき光が、隣接する光電変換素子４２に受光されることを抑制できる。これにより、複数の視差画像からなる高精度の立体画像を得ることができる。更に、１つの繰り返しパターン１１０に複数の導波路５６ａから５６ｆを設けることにより、複数の光電変換素子４２に異なった瞳分割光を入射させることができる。この結果、より高精度の立体画像を得ることができる。

【0130】

図３４は、導波路を変形した実施形態による撮像素子の縦断面図である。図３４に示すように、本実施形態による撮像素子１１６は、配線層１４８から光電変換素子４２まで延びる導波路１５６ａから１５６ｆを有する。この場合、配線層１４８のうち、導波路１５６ａ等の近傍の配線層１４８はそれぞれ、導波路１５６ａ等の外周壁部１７４ａ等まで延びる。配線層１４８は、開口マスク５０ａ等を通過して入射した光の一部を遮光する遮光膜として機能する。尚、遮光膜として機能する領域の配線層１４８は、信号線として機能させてもよく、単なる遮光膜とし機能させてもよい。また、外周壁部１７４ａから１７４ｆの傾斜角度は、図３３の外周壁部７４ａから７４ｆの傾斜角度とそれぞれ同じであってよい。

【0131】

図３５は、導波路を変形した実施形態による撮像素子の縦断面図である。図３５に示すように、本実施形態による撮像素子２１６は、配線層２４６から光電変換素子４２まで延びる導波路２５６ａから２５６ｆを有する。この場合、配線層１４８のうち、導波路２５６ａ等の近傍の配線層２４６は、導波路２５６ａ等の外周壁部２７４ａ等まで延びる。配線層２４６は、開口マスク５０ａ等を通過して入射した光の一部を遮光する遮光膜として機能する。尚、遮光膜として機能する領域の配線層２４６は、信号線として機能させてもよく、単なる遮光膜とし機能させてもよい。また、外周壁部２７４ａから２７４ｆの傾斜角度は、図３３の外周壁部７４ａから７４ｆの傾斜角度とそれぞれ同じであってよい。

【0132】

図３６は、導波路の内部が空気である撮像素子の縦断面図である。図３６に示すように、本実施形態による撮像素子６１６は、空気が満たされた導波路６５６ａから６５６ｆを有する。これにより、導波路６５６ａから６５６ｆをエッチングすることにより容易に形成することができるとともに、外周壁部を省略できる。また、導波路６５６ａから６５６ｆの外周面すなわち絶縁層４４の内周面の傾斜角度は、図３３の外周壁部７４ａから７４ｆの傾斜角度とそれぞれ同じであってよい。なお、空気の屈折率が絶縁層４４の屈折率よりも小さい場合には導波路６５６ａ等の内側で全反射は起きないが、開口６６ａ等を通過した光線を当該境界面での正反射によって、少なくとも部分的には光電変換素子４２の中央に集めることができる。

【0133】

図３７は、導波路の内部を屈折率が空気よりも大きいカラーフィルタにより構成した撮像素子の縦断面図である。図３７に示すように、本実施形態による撮像素子３１６は、導波路５６ａから５６ｆの内部に埋め込まれたカラーフィルタ３６２を有する。これにより、撮像素子３１６を薄くすることができるとともに、フィルタ性能を向上させることができる。尚、導波路５６ａから５６ｆの内部のうち、表面に近い上部のみ、カラーフィルタ３６２を充填して、下部は空洞としてもよい。また、外周壁部７４ａから７４ｆの傾斜角度は、図３３の外周壁部７４ａから７４ｆの傾斜角度とそれぞれ同じであってよい。

【0134】

図３８は、導波路の形状を変更した撮像素子の縦断面図である。図３８に示すように、本実施形態による撮像素子４１６は、基板４０及び光電変換素子４４２の垂線と平行に形成された導波路４５６ａから４５６ｆを有する。例えば、導波路４５６ａの形状は、部分直錐台形状である。また、撮像素子４１６では、隣接する光電変換素子４４２と光電変換素子４４２との間隔が、対応する開口６６ａ等の間隔と一致する。これにより、光電変換素子４４２の中心が、対応する開口６６ａ等及び導波路４５６ａ等の中心と一致する。また、導波路４５６ａの底面の面積が、光電変換素子４４２の上面の面積と同じである。この場合、光電変換素子４４２の位置及び大きさを、導波路４５６ａ等の底面の位置及び大きさに対応して形成してもよい。導波路５６ａから５６ｆの外周壁部７４ａから７４ｆの角度は、対応する開口マスク５０ａ等を通過した光束のうちマイクロレンズ６４の中心を通る光線が、直接にまたは外周壁部７４ａ等で一回反射されて、光電変換素子４４２に到達するように設けられることが好ましい。

【0135】

また、上述の実施形態では、６種類の開口が形成された開口マスクを例に説明したが、５種類以下、または、７種類以上の開口が形成された開口マスクを撮像素子に設けてもよい。

【0136】

図３９は、他の撮像素子の一部を拡大した平面図である。図３９に示すように、４個の光電変換素子４２、及び、開口５６６、５６８、５７０のいずれかが形成された４個の開口マスク５５０、５５２、５５４に対して、１個のマイクロレンズ５６４が設けられている。これにより、マイクロレンズ５６４の構成を簡略化することができる。尚、各光電変換素子４２からは、トランジスタ等のスイッチング素子により時間的にずらされて、電気信号が出力される。尚、１個のマイクロレンズ５６４を、４個以外の光電変換素子４２に対応して設けてもよい。図３９においてもそれぞれの開口５６６、５６８、５７０に対応して図２８に示す導波路５６ａから５６ｆが設けられる。

【0137】

また、図２８から図３９に示す実施形態において、カラーフィルタ６２が、画素ごとにＲＧＢのように互いに異なる波長を透過する複数種類を含む場合には、屈折率の波長分散を考慮して、それぞれの波長において上記反射の条件を満たすように、対応する画素の外周壁部７４ａから７４ｆの傾斜角度が設けられてもよい。更に導波路の底面は高さ方向において光電変換素子に実質接続されていることが好ましいが、入射波長程度以下の距離があってもよい。

【0138】

上述のように、カラーフィルタ配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。以上説明した導波路の構成は、膨大な数の繰り返しパターン１１０の何れが適用された撮像素子に対しても適用することができる。また、以上の説明では、開口マスクを設けることにより被写体光束に視差を生じさせたが、配線層に設けられた配線を開口マスクと同形状に形成することで、配線を実質的に開口マスクとして機能させることができる。配線層に配線が多層設けられている場合には、被写体光束の入射方向から複数の層を投影した形状が、開口マスクと同形状になるよう各層を形成することで、複数の層を全体として開口マスクとして機能させることもできる。また、多層配線のうちの一層によって開口マスクの機能を実現する場合、多層配線のうち最下層の配線、つまり、光電変換素子に最も近い位置に形成された配線を開口マスクと同形状に形成することが好ましい。この場合、最下層の配線と光電変換素子とを近接させるのが好ましい。

【0139】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

【符号の説明】

【0140】

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０６ 演算部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２２０ メモリカード、１６ 撮像素子、４０ 基板、 ４２ 光電変換素子、 ４４ 絶縁層、 ４６ 配線層、 ４８ 配線層、 ５０ 開口マスク、 ５６ 導波路、 ６２ カラーフィルタ、 ６４ マイクロレンズ、 ６６ 開口、７４ 外周壁部、８０ 溝、１１６ 撮像素子、１４８ 配線層、１５６ 導波路、１７４ 外周壁部、２１６ 撮像素子、２４６ 配線層、２５６ 導波路、２７４ 外周壁部、３１６ 撮像素子、３６２ カラーフィルタ、４１６ 撮像素子、４４２ 光電変換素子、４５６ 導波路、５５０ 開口マスク、５５２ 開口マスク、５５４ 開口マスク、５６４ マイクロレンズ、５６６ 開口、５６８ 開口、５７０ 開口、 ６１６ 撮像素子、６５６ 導波路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】