(58)【調査した分野】(Int.Cl.,DB名)
各々が2行2列に配列された第1の光感知セル、第2の光感知セル、第3の光感知セル、および第4の光感知セルを含む複数の単位ブロックが撮像面に2次元状に配列された光感知セルアレイであって、各単位ブロックにおいて、前記第1の光感知セルは1行1列目に配置され、前記第2の光感知セルは2行1列目に配置され、前記第3の光感知セルは1行2列目に配置され、前記第4の光感知セルは2行2列目に配置されている光感知セルアレイと、
第1の分光要素、および前記第1の分光要素とは分光特性の異なる第2の分光要素を含む分光要素アレイであって、前記第1の分光要素は、前記第1および第3の光感知セルの少なくとも一方に前記第1の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第1および第3の光感知セルの配列方向に分離するように構成されており、前記第2の分光要素は、前記第2および第4の光感知セルの少なくとも一方に前記第2の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第2および第4の光感知セルの配列方向に分離するように構成されている分光要素アレイと、
前記第1から第4の光感知セルを覆うように配置された光学フィルタ群であって、前記第1および第3の光感知セルを覆う部分は、前記第2および第4の光感知セルを覆う部分よりも前記撮像面に近い位置に設けられている光学フィルタ群と、
を備える固体撮像素子。
前記第1から第4の分光要素は、入射する光を原色光と補色光とに分離する特性、または入射光を異なる3つの波長域の光に分離する特性を有している、請求項4に記載の固体撮像素子。
前記第1波長域は、赤、緑、青の波長域の1つであり、前記第2波長域は、赤、緑、青の波長域の他の1つであり、前記第3波長域は、赤、緑、青の波長域の残りの1つである、請求項8に記載の固体撮像素子。
前記光学フィルタ群を覆うように配置され、前記光学フィルタ群よりも高い光透過率を有する他の光学フィルタをさらに備えている請求項1から9のいずれかに記載の固体撮像素子。
前記信号処理部は、前記第1の光感知セルから出力される信号と前記第3の光感知セルから出力される信号との加算演算を含む処理によって生成される第1の輝度信号、および前記第2の光感知セルから出力される信号と前記第4の光感知セルから出力される信号との加算演算を含む処理によって生成される第2の輝度信号を生成し、前記第1の輝度信号と前記第2の輝度信号との差分結果に基づいて、前記色信号を補正する、請求項11に記載の撮像装置。
前記固体撮像素子に入射する斜め光の影響による前記第1および第3の光感知セルに入射する光の減少率を示す係数k1と、前記斜め光の影響による前記第1および第2の分光要素の分光特性の低下の程度を示す係数k2との相関関係を示す情報が記録された記録媒体をさらに備えている、請求項12に記載の撮像装置。
前記信号処理部は、前記第1の輝度信号と前記第2の輝度信号との差分結果、および前記相関関係を示す情報に基づいて、前記色信号を補正する、請求項13に記載の撮像装置。
前記信号処理部は、前記第1の光電変換信号と前記第3の光電変換信号との差分を示す第1の差信号と、前記第2の光電変換信号と前記第4の光電変換信号との差分を示す第2の差信号とを用いた信号演算により、第1の色差信号および第2の色差信号を生成し、前記第1の輝度信号と前記第2の輝度信号との差分結果を用いて、前記第1の色差信号および前記第2の色差信号を補正する、請求項12から14のいずれかに記載の撮像装置。
【背景技術】
【0002】
近年、CCDやCMOS等の固体撮像素子(以下、「撮像素子」と称する場合がある。)を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られ、撮像素子の高性能化が進んでいる。特に近年では、固体撮像素子の配線層が形成された面(表面)側ではなく裏面側で受光する裏面照射型(backside illumination)の撮像素子を用いたカメラも開発され、その特性等が注目されている。その一方で撮像素子の多画素化に伴い、1画素の受ける光量が低下するため、カメラ感度が低下するという問題が起きている。
【0003】
カメラの感度低下は、多画素化以外にも、色分離用の色フィルタが用いられることにも原因がある。通常のカラーカメラでは、撮像素子の各光感知セルに対向して有機顔料を色素とする減色型の色フィルタが配置される。色フィルタは、利用する色成分以外の光を吸収するため、このような色フィルタを用いた場合、カメラの光利用率は低下する。例えば、赤(R)1画素、緑(G)2画素、青(B)1画素を基本構成とするベイヤー型の色フィルタ配列をもつカラーカメラでは、R、G、Bの各色フィルタは、それぞれR、G、B光のみを透過させ、残りの光を吸収する。したがって、ベイヤー配列によるカラーカメラにおいて利用される光は、入射光全体の約1/3である。
【0004】
上記の感度低下の問題に対して、入射光を多く取り込むために、撮像素子の受光部にマイクロレンズアレイを取り付けることによって受光量を増やす技術が特許文献1に開示されている。この技術によれば、マイクロレンズを用いて光感知セルに集光することにより、撮像素子における光開口率を実質的に向上させることができる。この技術は現在殆どの固体撮像素子に用いられている。この技術を用いれば、確かに実質的な開口率は向上するが、色フィルタによる光利用率低下の問題を解決するものではない。
【0005】
光利用率低下と感度低下の問題を同時に解決する技術として、多層膜の色フィルタ(ダイクロイックミラー)とマイクロレンズとを組み合わせて、光を最大限利用する技術が特許文献2に開示されている。この技術では、光を吸収せず特定波長域の光を選択的に透過させ、他の波長域の光を反射する複数のダイクロイックミラーが用いられる。これにより、光を損失することなく、個々の光感知部に必要な波長域の光のみを入射させることができる。
【0006】
図10は、特許文献2に開示された撮像素子の撮像面に垂直な方向の断面を模式的に示す図である。この撮像素子は、撮像素子の表面および内部にそれぞれ配置された集光用のマイクロレンズ4a、4bと、遮光部20と、光感知セル2a、2b、2cと、ダイクロイックミラー17、18、19とを備えている。ダイクロイックミラー17、18、19は、光感知セル2a、2b、2cにそれぞれ対向して配置されている。ダイクロイックミラー17は、R光を透過させ、G光およびB光を反射する特性を有している。ダイクロイックミラー18は、G光を反射し、R光およびB光を透過させる特性を有している。ダイクロイックミラー19は、B光を反射し、R光およびG光を透過させる特性を有している。
【0007】
マイクロレンズ4aに入射した光は、マイクロレンズ4bによって光束を調整された後、第1のダイクロイックミラー17に入射する。第1のダイクロイックミラー17は、R光を透過させるが、G光およびB光を反射する。第1のダイクロイックミラー17を透過した光は、光感知セル2aに入射する。第1のダイクロイックミラー17で反射されたG光およびB光は、隣接する第2のダイクロイックミラー18に入射する。第2のダイクロイックミラー18は、入射した光のうちG光を反射し、B光を透過させる。第2のダイクロイックミラー18で反射されたG光は、光感知セル2bに入射する。第2のダイクロイックミラー18を透過したB光は、第3のダイクロイックミラー19で反射され、その直下の光感知セル2cに入射する。このように、特許文献2に開示された撮像素子によれば、集光マイクロレンズ4aに入射した可視光は、色フィルタによって吸収されず、そのRGBの各成分が3つの光感知セルによって無駄なく検出される。
【0008】
上記の従来技術のほか、マイクロプリズムを用いることによって光の損失を防ぐことができる撮像素子が特許文献3に開示されている。この撮像素子は、マイクロプリズムによって赤、緑、青に分離された光をそれぞれ異なる光感知セルが受ける構造を有している。このような撮像素子によっても光の損失を防ぐことができる。
【0009】
しかしながら、特許文献2および特許文献3に開示された技術では、利用するダイクロイックミラーの数だけ、または分光する数だけ光感知セルを設ける必要がある。例えばRGB3色の光を検出するには、光感知セルの数を、従来の色フィルタを用いた場合の光感知セルの数と比較して3倍に増やさなければならないという課題がある。
【0010】
以上の技術に対し、光の損失は一部発生するが、ダイクロイックミラーと反射とを用いて光の利用率を高める技術が特許文献4に示されている。
図11は当該技術を用いた撮像素子の断面図の一部を示したものである。図示されるように、透光性の樹脂21内にダイクロイックミラー22、23が配置される。ダイクロイックミラー22はG光を透過させ、R光およびB光を反射する特性を有する。また、ダイクロイックミラー23はR光を透過させ、G光およびB光を反射する特性を有する。
【0011】
このような構成により、B光は光感知部で受光できないが、R光、G光は以下の原理で全て検出できる。まずR光がダイクロイックミラー22、23に入射すると、ダイクロイックミラー22では反射され、ダイクロイックミラー23では透過する。ダイクロイックミラー22で反射されたR光は、さらに透光性の樹脂21と空気との界面でも反射され、ダイクロイックミラー23に入射する。R光は、ダイクロイックミラー23を透過し、さらにR光透過性を有する有機色素フィルタ25およびマイクロレンズ26も透過する。このようにして、一部が金属層27で反射するものの、ダイクロイックミラー22、23に入射するR光の殆どが光感知部に入射する。一方、G光がダイクロイックミラー22、23に入射すると、ダイクロイックミラー22では透過し、ダイクロイックミラー23では反射される。ダイクロイックミラー23で反射されたG光は、さらに透光性の樹脂21と空気との界面で全反射し、ダイクロイックミラー22に入射する。G光は、ダイクロイックミラー22を透過し、さらにG光透過性を有する有機色素フィルタ24およびマイクロレンズ26も透過する。このようにして、一部が金属層27で反射するものの、ダイクロイックミラー22、23に入射するG光の殆どが損失なく光感知部に入射する。
【0012】
上記の原理により、特許文献4に示された技術では、RGB光のうち1色は損失するものの2色は殆ど損失なく受光できる。このため、RGB3色分の光感知部を配置する必要はない。ここで、ダイクロイックミラーを有さず有機色素フィルタのみによってカラー化を行う場合と比較すると、有機色素フィルタのみによる場合の光利用率が約1/3であるのに対して、特許文献4に開示された技術を用いた場合の光利用率は全入射光の約2/3となる。すなわち、この技術によれば撮像感度が約2倍に向上する。しかしながら、この技術によっても、3色のうちの1色は損失することになる。
【0013】
一方、分光要素を用いて大幅に光感知セルを増やすことなく光利用率を高めるカラー化技術が特許文献5に開示されている。この技術によれば、光感知セルに対応して配置された分光要素によって光が波長域に応じて異なる光感知セルに入射する。個々の光感知セルは、複数の分光要素から異なる波長域の成分が重畳された光を受ける。その結果、各光感知セルから出力される光電変換信号を用いた信号演算によって色信号を生成することができる。
【発明を実施するための形態】
【0023】
本発明の例示的な実施形態の概要は以下の通りである。
【0024】
(1)本発明の一態様に係る固体撮像素子は、各々が2行2列に配列された第1の光感知セル、第2の光感知セル、第3の光感知セル、および第4の光感知セルを含む複数の単位ブロックが撮像面に2次元状に配列された光感知セルアレイであって、各単位ブロックにおいて、前記第1の光感知セルは1行1列目に配置され、前記第2の光感知セルは2行1列目に配置され、前記第3の光感知セルは1行2列目に配置され、前記第4の光感知セルは2行2列目に配置されている光感知セルアレイと、第1の分光要素、および前記第1の分光要素とは分光特性の異なる第2の分光要素を含む分光要素アレイであって、前記第1の分光要素は、前記第1および第3の光感知セルの少なくとも一方に前記第1の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第1および第3の光感知セルの配列方向に分離するように構成されており、前記第2の分光要素は、前記第2および第4の光感知セルの少なくとも一方に前記第2の分光要素の少なくとも一部が対向するように配置され、入射する光を波長に応じて前記第2および第4の光感知セルの配列方向に分離するように構成されている分光要素アレイと、前記第1から第4の光感知セルを覆うように配置された光学フィルタ群であって、前記第1および第3の光感知セルを覆う部分は、前記第2および第4の光感知セルを覆う部分よりも前記撮像面に近い位置に設けられている光学フィルタ群とを備える。
【0025】
(2)ある態様において、前記第1の分光要素は、前記第1または第3の光感知セルに対向し、前記第1の光感知セルおよび前記第3の光感知セルに異なる波長域の光が入射するように配置され、前記第2の分光要素は、前記第2または第4の光感知セルに対向し、前記第2の光感知セルおよび前記第4の光感知セルに異なる波長域の光が入射するように配置されている。
【0026】
(3)項目(2)に記載の固体撮像素子のある態様において、前記第1の分光要素は、前記第3の光感知セルに第1波長域の光を入射させ、前記第1の光感知セルに前記第1波長域の光の補色光を入射させ、前記第2の分光要素は、前記第2の光感知セルに第2波長域の光を入射させ、前記第4の光感知セルに前記第2波長域の光の補色光を入射させる。
【0027】
(4)項目(1)に記載の固体撮像素子のある態様において、前記分光要素アレイは、さらに第3の分光要素および第4の分光要素を含み、前記第1から第4の分光要素は、それぞれ前記第1から第4の光感知セルに対向して配置され、前記第1から第4の光感知セルに異なる波長域の光を入射させるように構成されている。
【0028】
(5)項目(4)に記載の固体撮像素子のある態様において、前記第1から第4の分光要素は、入射する光を原色光と補色光とに分離する特性、または入射光を異なる3つの波長域の光に分離する特性を有している。
【0029】
(6)項目(4)または(5)に記載の固体撮像素子のある態様において、前記第1の分光要素は、前記第3の光感知セルに第1波長域の光を入射させ、前記第1の光感知セルに前記第1波長域の光の補色光を入射させ、前記第3の分光要素は、前記第1の光感知セルに第2波長域の光を入射させ、前記第3の光感知セルに前記第2波長域の光の補色光を入射させる。
【0030】
(7)項目(4)から(6)のいずれかに記載の固体撮像素子のある態様において、前記第1の分光要素は、前記第1の光感知セルに第1波長域の光を入射させ、前記第3の光感知セルに前記第1波長域の光の補色光を入射させ、前記第3の分光要素は、前記第1の光感知セルに前記第1波長域の光を入射させ、前記第3の光感知セルに前記第1波長域の光の補色光を入射させる。
【0031】
(8)項目(5)から(7)のいずれかに記載の固体撮像素子のある態様において、前記第2の分光要素は、前記第4の光感知セルに第3波長域の光を入射させ、前記第2の光感知セルに前記第3波長域の光の補色光を入射させ、前記第4の分光要素は、前記第4の光感知セルに前記第3波長域の光を入射させ、前記第2の光感知セルに前記第3波長域の光の補色光を入射させる。
【0032】
(9)項目(8)に記載の固体撮像素子のある態様において、前記第1波長域は、赤、緑、青の波長域の1つであり、前記第2波長域は、赤、緑、青の波長域の他の1つであり、前記第3波長域は、赤、緑、青の波長域の残りの1つである。
【0033】
(10)項目(1)から(9)のいずれかに記載の固体撮像素子のある態様において、前記光学フィルタ群を覆うように配置され、前記光学フィルタ群よりも高い光透過率を有する他の光学フィルタをさらに備えている。
【0034】
(11)本発明の一態様に係る撮像装置は、項目(1)から(10)のいずれかに記載の固体撮像素子と、前記固体撮像素子の撮像面に像を形成する光学系と、前記第1から第4の光感知セルからそれぞれ出力される第1から第4の光電変換信号に基づいて色信号を生成する信号処理部とを備える。
【0035】
(12)項目(11)に記載の撮像装置のある態様において、前記信号処理部は、前記第1の光感知セルから出力される信号と前記第3の光感知セルから出力される信号との加算演算を含む処理によって生成される第1の輝度信号、および前記第2の光感知セルから出力される信号と前記第4の光感知セルから出力される信号との加算演算を含む処理によって生成される第2の輝度信号を生成し、前記第1の輝度信号と前記第2の輝度信号との差分結果に基づいて、前記色信号を補正する。
【0036】
(13)項目(12)に記載の撮像装置のある態様において、前記固体撮像素子に入射する斜め光の影響による前記第1および第3の光感知セルに入射する光の減少率を示す係数k1と、前記斜め光の影響による前記第1および第2の分光要素の分光特性の低下の程度を示す係数k2との相関関係を示す情報が記録された記録媒体をさらに備えている。
【0037】
(14)項目(13)に記載の撮像装置のある態様において、前記信号処理部は、前記第1の輝度信号と前記第2の輝度信号との差分結果、および前記相関関係を示す情報に基づいて、前記色信号を補正する。
【0038】
(15)項目(12)から(14)のいずれかに記載の撮像装置のある態様において、前記信号処理部は、前記第1の光電変換信号と前記第3の光電変換信号との差分を示す第1の差信号と、前記第2の光電変換信号と前記第4の光電変換信号との差分を示す第2の差信号とを用いた信号演算により、第1の色差信号および第2の色差信号を生成し、前記第1の輝度信号と前記第2の輝度信号との差分結果を用いて、前記第1の色差信号および前記第2の色差信号を補正する。
【0039】
以下、本開示の実施形態を具体的に説明する。
【0040】
特許文献5に開示された技術では、光が撮像素子の撮像面に垂直に入射することを想定しているため、実際のカメラにこの技術を適用した場合、斜め光の影響により、信号処理によって生成される色信号に誤差が生じ得る。例えば絞り量を大きくすることによって画像のボケの程度が増加したとき、本来白色になるべき被写体が赤く着色されるといった現象が生じ得る。この現象は、絞りの開口を大きくするほど撮像素子に入射する光に占める斜め光の割合が増加するため、各光感知セルに入射する光の波長域ごとの強度分布が想定からずれることに起因している。
【0041】
本願発明者らは、上記の課題を新たに見出し、特許文献5に開示された構成とは異なる光学系および信号処理を利用することにより、この課題を解決できることを見出した。以下、
図1、2A〜2Gを参照しながら、本開示の実施形態における基本原理を説明する。なお、以下の説明において、波長域または色成分の異なる光を空間的に分離することを「分光」と称することがある。
【0042】
本開示の実施形態による固体撮像素子(以下、単に「撮像素子」と呼ぶことがある。)は、撮像面に2次元状に配列された複数の光感知セル(画素)を含む光感知セルアレイと、複数の分光要素を含む分光要素アレイとを備えている。
図1は、固体撮像素子10の撮像面に形成された光感知セルアレイ200および分光要素アレイ100の一部を模式的に示す斜視図である。分光要素アレイ100は、光感知セルアレイ200に対向して光が入射する側に配置されている。なお、光感知セル2の配列、形状、サイズなどはこの図の例に限られず、公知のどのような配列、形状、サイズであってもよい。また、分光要素アレイ100は、便宜上、四角柱で表されているが、実際はこのような形状を有しているわけではなく、様々な構造をとり得る。
【0043】
各光感知セル2は、光を受けると光電変換によって受けた光の強度(入射光量)に応じた電気信号(以下、「光電変換信号」または「画素信号」と呼ぶこととする。)を出力する。本開示の実施形態では、各光感知セル2は、分光要素アレイ100によって進行方向が変化した複数の波長域(色成分)の光を受ける。その結果、各光感知セル2が受ける光は、分光要素が存在しないと仮定した場合に受ける光とは異なる分光分布(波長域ごとの強度分布)を有する。
【0044】
以下、
図2A〜
図2Eを参照しながら、撮像素子10の基本構造を説明する。
【0045】
図2Aは、光感知セルアレイ200の基本画素構成(単位ブロック)40の一例を示す平面図である。光感知セルアレイ200は、各々が4つの光感知セル2a、2b、2c、2dを含む複数の単位ブロック40が撮像面上に2次元状に配列された構造を有している。図示される例では、1つの単位ブロック内に4つの光感知セルが2行2列に配置されている。また、同図において、11aは可視光のみを透過させる第1の光学フィルタである。この光学フィルタ11aは、光感知セル2a〜2dを覆うように配置され、光感知セルアレイ200および分光要素アレイ100に対して垂直方向に1行おきに撮像面からの距離を変えて配置されている。すなわち、第1の光学フィルタ11aにおいて、光感知セル2a、2bを覆う部分は、光感知セル2c、2dを覆う部分よりも撮像面に近い位置に設けられている。同図には示していないが、撮像素子10の前面に、可視光のみを透過させる第2の光学フィルタが配置されている。第2の光学フィルタは可視光を殆ど透過させるように設計されており、第1の光学フィルタは第2の光学フィルタよりも透過率が低い。なお、第2の光学フィルタは、入射光に含まれる可視光以外の成分を除去するために設けられるが、必ずしも必要というわけではない。
【0046】
図2B、2Cは、それぞれ
図2AにおけるAA´線断面、BB´線断面を模式的に示す図である。
図2B、2Cは、撮像素子10に入射した光が分光要素アレイ100を透過する際に色成分によって進行方向が変化し、結果として各光感知セルが受ける光の分光分布が互いに異なっていることを示している。ここで、分光要素アレイ100が存在しないと仮定した場合に各光感知セルが受ける光をその光感知セルの「セル入射光」と呼ぶこととする。1つの単位ブロックに含まれる光感知セル2a〜2dが近接している場合、それらの光感知セルのセル入射光に含まれる光の強度および分光分布はほぼ同一であると考えることができる。
【0047】
図2D、2Eは、それぞれ
図2AにおけるC−C´線断面、D−D´線断面を模式的に示す図である。撮像素子10に入射した光は、垂直方向に関しては、分光要素アレイ100を透過する際に色成分によって進行方向が変化するわけではなく、そのまま直進する。
図2D、2Eは、そのような光の入射の様子を示している。ここで、光学絞りの開口により斜め光が入射した場合、光線LL’のように第1の光学フィルタ11a間の隙間を透過して光感知セルに入射する光も発生することになる。その結果、光感知セル2a、2bでは本来入射するはずの光を損失するため、受光量が減少し、逆に光感知セル2c、2dでは受光量が増加することになる。
【0048】
まず最初に、第1の光学フィルタが無く、撮像素子への入射光が垂直に入射するものと仮定した場合の各光感知セルが受ける光の強度(光量)を説明する。ここでは、光の強度を記号を用いて表す。光感知セルのセル入射光の可視光成分の強度を記号「W」で表すこととする。本明細書では、セル入射光に含まれる可視光成分を、大別して第1の色成分、第2の色成分、第3の色成分に分類する。第1〜第3の色成分の強度をそれぞれC1、C2、C3と表すと、W=C1+C2+C3となる。
【0049】
以下の説明では、各色成分の強度だけでなく、色成分自体をC1、C2、C3で表すことがある。また、各色成分を除く可視光の色成分をその色成分の「補色」と呼び、補色の光を「補色光」と呼ぶ。すると、第1の色成分C1の補色はC2+C3、第2の色成分C2の補色はC1+C3、第3の色成分C3の補色はC1+C2で表される。以下では、便宜上、色成分Cn(CnはC1、C2、C3のいずれか)の補色およびその強度をCn^で表す場合がある。第1〜第3の色成分の組み合わせは、典型的には赤(R)、緑(G)、青(B)の3原色の組み合わせであるが、可視光を3つの波長域に分けるものであれば他の色成分の組み合わせであってもよい。
【0050】
以上を前提として、本実施形態における分光要素アレイ100の働きを説明する。第1の光学フィルタ11aが無く、撮像素子10へ光が撮像面に垂直に入射することを仮定すれば、分光要素アレイ100は、第1の光感知セル2aのセル入射光(強度W)から第1の色成分の補色光(強度C1^)を除いた光に第1の色成分の光(強度C1)を加えた光を第1の光感知セル2aに入射させる。また、第2の光感知セル2bのセル入射光(強度W)から第1の色成分の光(強度C1)を除いた光に第1の色成分の補色光(強度C1^)を加えた光を第2の光感知セル2bに入射させる。さらに、第3の光感知セル2cのセル入射光(強度W)から第3の色成分の光(強度C3)を除いた光に第3の色成分の補色光(強度C3^)を加えた光を第3の光感知セル2cに入射させる。また、第4の光感知セル2dのセル入射光(強度W)から第3の色成分の補色光(強度C3^)を除いた光に第3の色成分の光(強度C3)を加えた光を第4の光感知セル2dに入射させる。
図2B〜2Eには、この場合に光感知セル2a〜2dが受ける光の強度が記号で示されている。光感知セル2a〜2dは、受光量に応じた光電変換信号(画素信号)を出力するように構成されているので、これらの信号間演算により、C1、C2、C3を示す信号、すなわち色信号が得られる。
【0051】
しかしながら、実際には斜め光の影響を考慮する必要がある。垂直方向の斜め光が発生すると、光感知セル2aと2bでは、その影響で本来入射するはずの光を損失するため、入射光量が(1−k1)倍となる。一方、光感知セル2cと2dでは、行ごとに撮像面からの距離が異なる第1の光学フィルタの隙間からの入射光の影響により、入射光量が(1+k1)倍となる。ここで、係数k1は、0<k1<1を満たす実数である。その結果、光感知セルアレイ200全体で考えると、奇数行目の画素配列部と偶数行目の画素配列部とで入射光量に差が発生する。
図2Fは、この場合に光感知セル2a〜2dが受ける光を示している。さらに水平方向の光感知セル間でも斜め光によるクロストークの影響で光の混合が増し、色の分離性が低下する。すなわち、分光要素アレイ200による
図2Bに示すC1光とC1^光の分離、および
図2Cに示すC3光とC3^光の分離が不完全になり、その結果、実際に生成される色信号と期待される信号との間に誤差が生じる。
図2Gは、この影響を考慮した場合に光感知セル2a〜2dが受ける光を示している。ここで、k2は、0<k2<1を満たす実数であり、後述するように分光の緩和の程度を表す係数である。
【0052】
以上の構成で、斜め光発生の影響を考慮した信号処理について説明する。まず、斜め光発生の影響が撮像の垂直方向のみに影響すると仮定する。光感知セル2a、2bでは、それぞれW−C1^+C1、W−C1+C1^の(1−k1)倍、光感知セル2c、2dでは、それぞれW−C3+C3^、W−C3^+C3の(1+k1)倍で表される強度の光を受ける。各光感知セルは、これらの強度に応じた光電変換信号(画素信号)を出力する。ここで、光感知セル2a〜2dが出力する光電変換信号をそれぞれS2a〜S2dとし、強度Wに対応する信号をWs、強度C1に対応する信号をC1s、強度C2に対応する信号をC2s、強度C3に対応する信号をC3s、さらに強度C1^に対応する信号をC1^s(=C2s+C3s)、強度C2^に対応する信号をC2^s(=C1s+C3s)、強度C3^に対応する信号をC3^s(=C1s+C2s)とし、Ws=C1s+C2s+C3sとする。すると、S2a〜S2dは、それぞれ以下の式1〜4で表すことができる。
(式1) S2a=(1−k1)(Ws−C1^s+C1s)=2(1−k1)C1s
(式2) S2b=(1−k1)(Ws−C1s+C1^s)=2(1−k1)C1^s
(式3) S2c=(1+k1)(Ws−C3s+C3^s)=2(1+k1)C3^s
(式4) S2d=(1+k1)(Ws−C3^s+C3s)=2(1+k1)C3s
【0053】
信号S2a、S2bの差分をD1とし、信号S2c、S2dの差分をD2とすると、D1、D2は、それぞれ以下の式5、6で表される。
(式5) D1=S2a−S2b=2(1−k1)(C1s−C1^s)
(式6) D2=S2d−S2c=2(1+k1)(C3s−C3^s)
【0054】
ここで、さらに斜め光発生の水平方向への影響を考える。斜め光発生の影響に関しては、上記のようにクロストークの影響で光の混合が増し、色の分離性が低下する。すなわち、その影響により上記D1、D2の絶対値が減少する。その減少の程度を記号k2で表すと、D1、D2は、それぞれ以下の式7、8で表される。
(式7) D1=k2(S2a−S2b)=2k2(1−k1)(C1s−C1^s)
(式8) D2=k2(S2d−S2c)=2k2(1+k1)(C3s−C3^s)
【0055】
なお、式7、8において信号(S2a−S2b)、(S2d−S2c)をk2倍することは、式1〜4におけるC1s、C1^s、C3s、C3^sのそれぞれをk2倍することに相当する。すなわち、式1〜4の代わりに以下の式9〜式12を用いることに相当する。
(式9) S2a=(1−k1)(Ws−k2・C1^s+k2・C1s)=(1−k1){(1−k2)Ws+2k2・C1s}
(式10) S2b=(1−k1)(Ws−k2・C1s+k2・C1^s)=(1−k1){(1−k2)Ws+2k2・C1^s}
(式11) S2c=(1+k1)(Ws−k2・C3s+k2・C3^s)=(1+k1){(1+k2)Ws+2k2・C3^s}
(式12) S2d=(1+k1)(Ws−k2・C3^s+k2・C3s)=(1+k1){(1+k2)Ws+2k2・C3s}
【0056】
さらに、C1^s=Ws−C1s、C3^s=Ws−C3sの関係により、式7、8からそれぞれ以下の式13、14が得られる。
(式13) D1=2k2(1−k1)(2C1s−Ws)
(式14) D2=2k2(1+k1)(2C3s−Ws)
式13、14で表される信号D1、D2は、色差信号として用いることができる。
【0057】
一方、S2aとS2bとの加算、S2cとS2dとの加算、およびS2a〜S2dの加算のいずれかの演算により、以下の式15〜17に示すように、最大でセル入射光の強度Wの4倍に相当する信号が得られる。これらの信号は、入射光の損失を大幅に抑えて光電変換されたものであり、特に式17を輝度信号として利用すれば、画像の感度としては理想的である。
(式15) S2a+S2b=2(1−k1)Ws
(式16) S2c+S2d=2(1+k1)Ws
(式17) S2a+S2b+S2c+S2d=4Ws
【0058】
式15〜式17のいずれかの演算によって求められる輝度信号と、式13、14によって求められる2つの色差信号が得られれば、行列演算により、カラー信号C1s、C2s、C3s(例えばRGB信号)を求めることができる。すなわち、光感知セル2a〜2dから出力される4つの光電変換信号S2a〜S2dに基づく信号演算によってカラー信号を算出できる。
【0059】
ここで、式13、14で表される色差信号D1、D2は、斜め光発生の影響を受けるが、k1、k2、が分かれば、それらの影響がない場合の信号を逆に求めることができる。以下、それらの係数の求め方の例を説明する。k1については、信号S2a〜S2dの値を式15、16に代入後、式15に示す信号と式16に示す信号との差分をとり、その差分を式17に示す信号で除算することによりWsを消去すれば、以下の式18に示すように求めることができる。
(式18) k1=(S2c+S2d−S2a−S2b)/(S2a+S2b+S2c+S2d)
【0060】
ところで、k1、k2は共に斜め光の影響によって決まる係数であり、k1とk2には相関関係がある。そこで、k2については、予め、次のシミュレーションあるいは実験によってk1とk2の関係を求めておき、k1の値に応じてk2の値を生成する。最初に、濃淡模様のない白の被写体を用意し、当該被写体を撮像する際に、入射光が撮像素子10にほぼ垂直に入射するように光学絞り等の光学系を調整する。また、入射光量を調整するためのNDフィルタを光路上に配置する。この状態で信号|S2a−S2b|/(S2a+S2b)、あるいは信号|S2c−S2b|/(S2c+S2d)を算出し、この値をEsとする。次に、光学絞りの値を小さくするなどの操作とNDフィルタの透過率を変えるなどの操作により、受光量は同じであるが撮像素子への光の入射状態を変えて撮像を行い、信号|S2a−S2b|/(S2a+S2b)、あるいは信号|S2c−S2b|/(S2c+S2d)を算出する。この値をExとし、k2=Ex/Esとする。また、式18を用いてk1の値も算出する。以上の操作を入射光の状態を変えながら繰り返し、k1とk2の関係を求め、データベース化する、あるいは定式化する。このようにして得られたデータベースまたは関数を利用すれば、k1の値に応じてk2の値を生成できる。
【0061】
本実施形態の撮像素子10によれば、分光要素を用いて信号演算によってカラー情報を得ることができる上、斜め光の発生により各光感知セルへの入射光のクロストークが増加しても、その影響を補正できる。その結果、光の損失を低減させることができ、撮像感度を高めること、および良好な色再現性を実現できる。
【0062】
なお、
図1および
図2B、Cでは、分光要素アレイ100は複数の光感知セルを覆う連続的な要素として描かれているが、分光要素アレイ100は、空間的に分離した複数の分光要素の集合体であり得る。このような分光要素として、例えば後述する高屈折率透明部材やマイクロプリズムなどが用いられ得る。分光要素アレイ100は、上記の式1〜4あるいは式9〜12で表される光電変換信号が得られればどのように構成されていてもよく、例えばホログラム素子などを用いて分光を行ってもよい。
【0063】
また、上記の例では、分光要素アレイ100は、
図2Gにおける1行目に関しては入射光をC1光とその補色光であるC1^光に分け、2行目に関しては入射光をC3光とその補色光であるC3^光に分けているが、分光の仕方はこの例に限定されない。光感知セル2a〜2dが互いに異なる分光分布の光を受けるように分光要素アレイ100が構成されていればよい。例えば、光感知セル2a〜2dが、以下の式19〜22に示す信号S2a〜S2dをそれぞれ出力するように分光要素アレイ100が構成されていてもよい。
(式19) S2a=(1+k1−k2)(Ws−k2C1s+k2C2s)
(式20) S2b=(1+k1−k2)(Ws−k2C2s+k2C1s)
(式21) S2c=(1−k1+k2)(Ws−k2C3s+k2C3s^)
(式22) S2d=(1−k1+k2)(Ws−k2C3s^+k2C3s)
【0064】
このような信号S2a〜S2dが出力される場合の具体例は、以下の実施形態1において説明する。
【0065】
以下、
図3から
図8を参照しながら、より具体的な実施形態を説明する。以下の説明において、共通または対応する要素には同一の符号を付している。
【0066】
(実施形態1)
図3は、第1の実施形態による撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部300と、撮像部300から送出される信号に基づいて画像を示す信号(画像信号)を生成する信号処理部400とを備えている。なお、撮像装置は静止画のみを生成してもよいし、動画を生成する機能を備えていてもよい。
【0067】
撮像部300は、被写体を結像するための光学レンズ12、光学絞り50と、光学フィルタ11bと、光学レンズ12および光学フィルタ11bを通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子10(イメージセンサ)とを備えている。撮像部300はさらに、撮像素子10を駆動するための基本信号を発生するとともに撮像素子10からの出力信号を受信して信号処理部400に送出する信号発生/受信部13と、信号発生/受信部13によって発生された基本信号に基づいて撮像素子10を駆動する素子駆動部14とを備えている。光学レンズ12は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。光学フィルタ11bは、画素配列が原因で発生するモアレパターンを低減するための水晶ローパスフィルタに、赤外線を除去するための赤外カットフィルタを合体させたものである。撮像素子10は、典型的にはCMOSまたはCCDであり、公知の半導体製造技術によって製造される。信号発生/受信部13および素子駆動部14は、例えばCCDドライバなどのLSIから構成されている。
【0068】
信号処理部400は、撮像部300から送出される信号を処理して画像信号を生成する画像信号生成部15と、画像信号の生成過程で発生する各種のデータを格納するメモリ30と、生成した画像信号を外部に送出する画像信号出力部16とを備えている。画像信号生成部15は、公知のデジタル信号処理プロセッサ(DSP)などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ30は、DRAMなどによって構成される。メモリ30は、撮像部300から送出された信号を記録するとともに、画像信号生成部15によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像信号出力部16を介して不図示の記録媒体や表示部などに送出される。
【0069】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源(電池)、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、撮像素子10および画像信号生成部15を除く構成要素には、公知の要素を適切に組み合わせて用いることができる。
【0070】
以下、本実施形態における固体撮像素子10を説明する。
【0071】
図4は、露光中にレンズ12を透過した光が撮像素子10に入射する様子を模式的に示す図である。
図4では、簡単のためレンズ12および撮像素子10以外の構成要素の記載は省略されている。また、レンズ12は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子10の撮像面10aには、2次元状に配列された複数の光感知セル(画素)を含む光感知セルアレイ200が配置されている。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた光電変換信号(画素信号)を出力する。撮像面10aにはレンズ12、光学絞り50、および光学フィルタ11bを透過した光(可視光)が入射する。一般に撮像面10aに入射する光の強度および波長域ごとの入射光量の分布(分光分布)は、入射位置に応じて異なる。また、光学絞り50の絞り値が大きいほど斜め光が多くなり、絞り値が小さいほど斜め光が少なくなる。
【0072】
図5は、本実施形態における画素配列の例を示す平面図である。光感知セルアレイ200は、例えば、同図に示すように撮像面10a上に正方格子状に配列された複数の光感知セルを有する。光感知セルアレイ200は、複数の単位ブロック40から構成され、各単位ブロック40は4つの光感知セル2a、2b、2c、2dを含んでいる。各単位ブロックに含まれる4つの光感知セル2a〜2dは、同図に示すように、互いに近接しているが、これらが離れていても、後述する分光要素アレイ100を適切に構成することによって色情報を得ることが可能である。また、各単位ブロックが5個以上の光感知セルを含んでいてもよい。
【0073】
光感知セルアレイ200に対向して、光が入射する側に複数の分光要素を含む分光要素アレイ100が配置される。本実施形態では、各単位ブロックに含まれる4つの光感知セルに対して各々1つずつ分光要素が設けられる。
【0074】
以下、本実施形態における分光要素を説明する。
【0075】
本実施形態における分光要素は、屈折率が異なる2種類の透光性部材の境界で生じる光の回折を利用して入射光を波長域に応じて異なる方向に向ける光学素子である。このタイプの分光要素は、屈折率が相対的に高い材料で形成された高屈折率透明部材(コア部)と、屈折率が相対的に低い材料で形成されコア部の各々の側面と接する低屈折率透明部材(クラッド部)とを有している。コア部とクラッド部との間の屈折率差により、両者を透過した光の間で位相差が生じるため、回折が起こる。この位相差は光の波長によって異なるため、光を波長域(色成分)に応じて空間的に分離することが可能となる。例えば、第1の方向および第2の方向に第1色成分の光を半分ずつ向け、第3の方向に第1色成分以外の光を向けることができる。また、3つの方向にそれぞれ異なる波長域(色成分)の光を向けることも可能である。コア部とクラッド部との屈折率差によって分光が可能になるため、本明細書では、高屈折率透明部材のことを「分光要素」と呼ぶことがある。このような回折型の分光要素の詳細は、例えば、特許第4264465号公報に開示されている。
【0076】
以上のような分光要素を有する分光要素アレイ100は、公知の半導体製造技術により、薄膜の堆積およびパターニングを実行することにより、製造され得る。分光要素の材質(屈折率)、形状、サイズ、配列パターンなどを適切に設計することにより、個々の光感知セルに所望の波長域の光を分離・統合して入射させることが可能となる。その結果、各光感知セルが出力する光電変換信号の組から、必要な色成分に対応する信号を算出することができる。
【0077】
以下、
図6A〜6Dを参照しながら本実施形態における撮像素子10の基本構造および各分光要素の働きを説明する。
【0078】
図6Aは撮像素子10の基本構造を示す平面図である。各単位ブロックにおいて、4つの光感知セル2a、2b、2c、2dの各々に対向して分光要素1a、1b、1c、1dがそれぞれ配置されている。このような基本構造を有する複数のパターンが撮像面10a上に繰り返し形成されている。また、同図において、11aは可視光のみを透過させる光学フィルタで、光感知セルアレイ200および分光要素アレイ100に対して垂直方向に1行おきに撮像面からの距離を変えて配置されている。撮像素子10の前面には、可視光のみを透過させる光学フィルタ11bが配置されている。以下、光学フィルタ11aを「第1の光学フィルタ」と呼び、光学フィルタ11bを「第2の光学フィルタ」と呼ぶことがある。第2の光学フィルタ11bは可視光を殆ど透過させるように設計されており、第1の光学フィルタ11aは第2の光学フィルタ11bよりも透過率が低い。
【0079】
図6B、6Cは、
図6AにおけるA−A´線断面およびB−B´線断面をそれぞれ示す図である。図示されるように、撮像素子10は、シリコンなどの材料からなる半導体基板7と、半導体基板7の内部に配置された光感知セル2a〜2dと、半導体基板7の表面側(光が入射する側)に形成された配線層5および低屈折率透明部材からなる透明層6aと、透明層6aの内部に配置された高屈折率透明部材からなる分光要素1a、1b、1c、1dとを備えている。
【0080】
図6A〜6Cに示す構造は、公知の半導体製造技術により作製され得る。
図6A〜6Cに示される撮像素子10は、配線層5の側から各光感知セルに光が入射する表面照射型の構造を有している。しかしながら、本実施形態の撮像素子10はこのような構造に限られず、配線層5の反対側から光を受ける裏面照射型の構造を有していてもよい。
【0081】
分光要素1a、1bは、
図6Bに示すように、光が透過する方向に長い長方形状の断面を有し、自身と透明層6aとの間の屈折率差によって分光する。分光要素1aは、対向する光感知セル2aに黄(W−B)光を入射させ、光感知セル2b、および隣接する単位ブロックに含まれる光感知セル(不図示)に青(B)光を半分ずつ入射させる。ここで、黄光を(W−B)で表したが、本明細書においてYeで表す場合もある。黄光は赤(R)光および緑(G)光から成る光である。一方、分光要素1bは、対向する光感知セル2bにシアン(W−R)光を入射させ、光感知セル2a、および隣接する他の単位ブロックに含まれる光感知セル(不図示)にR光を半分ずつ入射させる。ここで、シアン光を(W−R)で表したが、本明細書においてCyで表す場合もある。シアン光は緑(G)光および青(B)光から成る光である。本実施形態では、分光要素1a、1bが上記の分光特性をもつように分光要素1a、1bの長さおよび厚さが設計されている。なお、一般に入射光に含まれるR光およびG光の強度は必ずしも一致しないため、Ye光は赤と緑の混色である黄色を視認させる光であるとは限らない。同様に、一般に入射光に含まれるG光およびB光の強度は必ずしも一致しないため、Cy光は、緑と青の混色であるシアン色を視認させる光であるとは限らない。例えば、セル入射光がB光を全く含んでいない場合、Cy光は、G光と同様、緑色を視認させる光である。
【0082】
このような分光要素1a、1bを用いることにより、光感知セル2aは、分光要素1aからYe光(W−B)を受け、分光要素1b、および隣接する単位ブロックに含まれる分光要素からもR光を半分ずつ受ける。また、光感知セル2bは、分光要素1bからCy光(W−R)を受け、分光要素1a、および隣接する単位ブロックに含まれる分光要素(不図示)からもB光を半分ずつ受ける。
【0083】
また、分光要素1c、1dも、
図6Cに示すように、光が透過する方向に長い長方形状の断面を有し、自身と透明層6aとの間の屈折率差によって分光する。分光要素1cは、対向する光感知セル2cにマゼンタ(W−G)光を入射させ、光感知セル2d、および隣接する単位ブロックに含まれる光感知セル(不図示)に緑(G)光を半分ずつ入射させる。ここで、マゼンタ光を(W−G)で表したが、本明細書においてMで表すこともある。マゼンタ光は赤(R)光と青(B)光から成る光である。一方、分光要素1dは、対向する光感知セル2dに緑(W−M)光を入射させ、光感知セル2c、および隣接する他の単位ブロックに含まれる光感知セル(不図示)にマゼンタ(M)光を半分ずつ入射させる。ここで、緑光は(W−M)あるいはGで表わされる。本実施形態では、分光要素1c、1dが上記の分光特性をもつように分光要素1c、1dの長さおよび厚さが設計されている。なお、R光およびB光の強度は必ずしも一致しないため、マゼンタ光は、赤と青の混色である色を視認させる光であるとは限らない。例えば、セル入射光がB光を全く含んでいない場合、M光は、R光と同様、赤色を視認させる光である。
【0084】
上記の分光要素1a〜1dによる分光の結果、光学フィルタ11aの影響および光学絞り50の開口に伴う斜め光の影響を無視すれば、光感知セル2a〜2dは、
図6B、6Cに示されているように、それぞれ(W−B+R)、(W−R+B)、(W−G+M)、(W−M+G)で表される強度の光を受ける。しかし、実際には第1の光学フィルタ11aの影響、さらには光学絞り50の開口による斜め光の影響を受けるため、光感知セル2a〜2dには、
図6Dに示す光が入射する。但し、k1、k2は第1の光学フィルタ11aの形状や配置等の構造および斜め光の影響によって決まる係数である。ここで、赤光、緑光、青光の強度に相当する信号をそれぞれRs、Gs、Bsで表す。また、シアン光の強度に相当する信号CsをGs+Bs、黄光の強度に相当する信号YsをRs+Gs、マゼンタ光の強度に相当する信号MsをRs+Bs、白光の強度に相当する信号WsをRs+Gs+Bsとする。すると、光感知セル2a〜2dは、それぞれ以下の式23〜26で表される光電変換信号2a〜2dを出力する。
(式23)S2a=(1−k1)(Ws−k2・Bs+k2・Rs)
(式24)S2b=(1−k1)(Ws−k2・Rs+k2・Bs)
(式25)S2c=(1+k1)(Ws−k2・Gs+k2・Ms)
(式26)S2d=(1+k1)(Ws−k2・Ms+k2・Gs)
【0085】
これらの式23〜26は、式19〜22において、C1s=Bs、C2s=Rs、C3s=Gsとした場合の式に相当する。画像信号生成部15(
図3)は、式23〜26で示される光電変換信号を用いた演算によって色情報を生成する。以下、
図7を参照しながら、画像信号生成部15による色情報生成処理の例を説明する。
図7は、本実施形態における色情報生成処理の手順を示すフロー図である。
【0086】
画像信号生成部15は、まず、ステップS10において、光電変換信号S2a〜S2dを取得する。続いて、ステップS12において、(S2a−S2b)の演算によって信号2(1−k1)k2(Rs−Bs)を、(S2c−S2d)の演算によって信号2(1+k1)k2(Ms−Gs)を生成する。次に、ステップ14において、それら差分信号を加減算し、以下の式27、28に示す色差信号D11、D12を生成する。
(式27)D11=(S2a−S2b)+(S2c−S2d)
=2k2(1−k1)(Rs−Bs)+2k2(1+k1)(Rs+Bs−Gs)
=2k2{(2Rs―Gs)+k1(2Bs―Gs)}
(式28)D12=(S2c−S2d)−(S2a−S2b)
=2k2(1+k1)(Rs+Bs−Gs)−2k2(1−k1)(Rs−Bs)
=2k2{(2Bs―Gs)+k1(2Rs―Gs)}
【0087】
次に、ステップS16において、S2aとS2bの加算、およびS2cとS2dとの加算処理により、以下の式29、30に示す加算信号2(1−k1)Wsと2(1+k1)Wsとをそれぞれ生成する。
(式29) S2a+S2b=2(1−k1)Ws
(式30) S2c+S2d=2(1+k1)Ws
【0088】
次に、ステップS18において、これらの加算信号同士の差分結果、および予めデータ化したk1とk2の相関結果を用いて色差信号D11、D12を補正し、色差信号2(2Rs−Gs)、2(2Bs−Gs)を生成する。ここで、k1とk2との相関関係を示すデータベースまたは関数は、予めメモリ30等の記録媒体に記録されている。
【0089】
次に、ステップS20において、画素信号S2a〜S2dを合算することによってセル入射光の強度を示す信号4(Rs+Gs+Bs)=4Wsを生成し、これを輝度信号とする。最後に、ステップS22において、2つの色差信号と1つの輝度信号から行列演算によりRGBカラー信号、すなわちRs、Gs、Bsを得る。
【0090】
画像信号生成部15は、以上の信号演算を光感知セルアレイ200の単位ブロック40ごとに実行することによってR、G、Bの各色成分の画像を示す信号(「カラー画像信号」と呼ぶ。)を生成する。生成されたカラー画像信号は、画像信号出力部16によって不図示の記録媒体や表示部に出力される。ここで、単位ブロック40の撮像面上の位置によって斜め光の割合や入射方向が異なるため、係数k1、k2は、単位ブロック40によって異なる値に設定してもよい。単位ブロック40の位置に応じてこれらの係数を適正な値に設定することにより、色再現性をさらに向上させることができる。
【0091】
このように、本実施形態の撮像装置によれば、光電変換信号S2a〜S2dを用いた加減算処理およびk1、k2を用いた色信号の補正処理により、カラー画像信号が得られる。本実施形態における撮像素子10によれば、光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる上、光学絞り等による斜め光の発生があっても良好な色再現性を実現できる。
【0092】
以上のように、本実施形態の撮像素子10では、光感知セルアレイ200に対向して2行2列を基本構成とする分光要素アレイ100が配置される。光感知セルアレイ100の上部に第1の光学フィルタが、垂直方向の画素ピッチで当該方向に光感知セルとの距離を変えて配置される。分光要素アレイにおいて、1行1列目には光を青光と青光以外とに分ける分光要素1aが配置される。1行2列目には光を赤光と赤光以外とに分ける分光要素1bが配置される。2行1列目には光を緑光と緑光以外とに分ける分光要素1cが配置される。2行2列目には光をマゼンタ光(すなわち緑光以外)とマゼンタ光以外(すなわち緑光)とに分ける分光要素1dが配置される。このような分光要素の配列パターンが撮像面上に繰り返し形成されているため、光感知セルアレイ200における単位ブロック40の選び方を1行または1列ずつ変えても、得られる4つの光電変換信号は、常に式23〜26で表される4つの信号の組み合わせとなる。すなわち、演算対象の画素ブロックを1行および1列ずつずらしながら上記の信号演算を行うことにより、RGB各色成分の情報をほぼ画素数分だけ得ることができる。このことは、撮像装置の解像度を画素数の程度まで高めることができることを意味している。したがって、本実施形態の撮像装置は、従来の撮像装置よりも高感度であることに加えて、高解像度のカラー画像を生成することが可能である。さらに信号処理によって得られる係数k1、および予め実験などによって求められたk1とk2との相関関係に基づいてk1から得られる係数k2を用いて色信号を補正することにより、斜め光によるクロストークの影響の除去も可能である。
【0093】
なお、画像信号生成部15は、必ずしも3つの色成分の画像信号を全て生成しなくてもよい。用途に応じて1色または2色の画像信号だけを生成するように構成されていてもよい。また、必要に応じて信号処理の過程で各信号の増幅、合成、補正を行ってもよい。
【0094】
また、各分光要素は上述した分光性能を厳密に有していることが理想であるが、それらの分光性能が多少ずれていてもよい。すなわち、各光感セルから実際に出力される光電変換信号が、式23〜26に示す光電変換信号から多少ずれていてもよい。各分光要素の分光性能が理想的な性能からずれている場合であっても、ずれの程度に応じて信号を補正することによって良好な色情報を得ることができる。
【0095】
さらに、本実施形態における画像信号生成部15が行う信号演算を、撮像装置自身ではなく他の機器に実行させることも可能である。例えば、撮像素子10から出力される光電変換信号の入力を受けた外部の機器に本実施形態における信号演算処理を規定するプログラムを実行させることによっても色情報を生成することができる。その場合、撮像装置に上記の演算処理を実行する画像信号生成部15が設けられていなくてもよい。
【0096】
なお、撮像素子10の基本構造は
図6A〜6Cに示す構成に限られるものではない。例えば、分光要素1aと分光要素1bとが入れ替わった構成、あるいは分光要素1cと分光要素1dとが入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、
図6Aに示す1行目の配置と2行目の配置とが入れ替わっていてもよいし、分光要素1a、1bおよび分光要素1c、1dが行方向ではなく、列方向に並ぶように配置されていてもその有効性に変わりはない。その場合、第1の光学フィルタ11aの段差が1列ごとに変化するように構成されていればよい。
【0097】
また、分光要素1a〜1dの分光特性が、
図6A〜6Cに示す特性とは異なっていてもよい。例えば、分光要素1a〜1dは、両サイドの光感知セルに一部の色成分の光を半分ずつ入射させるのではなく、一方のサイドの隣接光感知セルにその色成分の光を入射させてもよい。さらに、分光要素1a〜1dが分光する光の色は上記の例に限定されない。光感知セル2a〜2dが受ける光の分光分布が異なるように分光要素アレイ100が構成されていれば、その構成に応じた信号処理によってカラー情報を得ることができる。
【0098】
以上の説明では、分光要素として、2つの部材の屈折率差を利用して分光する光学素子を用いているが、本開示の実施形態における分光要素は、各光感知セルに所望の色成分の光を入射できればどのようなものであってもよい。例えば、分光要素としてマイクロプリズム等を用いてもよい。また、異なる種類の分光要素を組み合わせて用いることも可能である。
【0099】
(実施形態2)
次に、
図8A〜8Dを参照しながら、第2の実施形態を説明する。本実施形態の撮像装置は、実施形態1の撮像装置と比較して、撮像素子10の分光要素の構成および信号処理のみが異なっており、その他の構成要素は同一である。以下、実施形態1の撮像装置との相違点を中心に説明し、重複する点は説明を省略する。
【0100】
図8Aは、本実施形態における撮像素子10の基本構成を示す図である。
図8Bは、
図8AのC−C’線断面図であり、
図8Cは、
図8AのD−D’線断面図である。本実施形態における撮像素子10の分光要素の構成は、
図8A〜8Cに示すように、分光要素アレイ100において、1行1列目には光を青光と青光以外とに分ける分光要素1aが配置される。2行2列目には光を赤光と赤光以外とに分ける分光要素1bが配置される。1行2列目と2行1列目の光感知セル上には分光要素は配置されない。その結果、斜め光の影響を無視すれば、光感知セル2a〜2dには
図8B、8Cに示すように、それぞれ(W−B)、(W+B)、(W+R)、(W−R)で表される強度の光が入射する。
【0101】
しかし、実際には斜め光の影響が存在するため、光感知セル2a〜2dには、
図8Dに示す光が入射する。その結果、各光感知セルの信号S2a、S2b、S2c、S2dは、係数k1、k2を用いて、それぞれ次の式31〜34で表される。
(式31)S2a=(1−k1)(Ws−k2・Bs)
(式32)S2b=(1−k1)(Ws+k2・Bs)
(式33)S2c=(1+k1)(Ws+k2・Rs)
(式34)S2d=(1+k1)(Ws−k2・Rs)
【0102】
この場合、画像信号生成部15は、以下の式35、36に示すように、差分信号S2c−S2dとS2b−S2aにより、R系の色信号2k2(1+k1)Rs、B系の色信号2k2(1−k1)Bsをそれぞれ作る。
(式35) S2c−S2d=2k2(1+k1)Rs
(式36) S2b−S2a=2k2(1−k1)Bs
【0103】
次に、以下の式37、38に示す加算信号S2c+S2dとS2b+S2aとを生成する。
(式37) S2c+S2d=2(1+k1)Ws
(式38) S2b+S2a=2(1−k1)Ws
【0104】
画像信号生成部15は、式37、38を用いて、それらの差と予めデータ化したk1とk2の相関関係からk1およびk2を求めた上で、式35、36からRsとBsを算出する。また、輝度信号として、4画素の信号の加算によって得られる信号S2a+S2b+S2c+S2d=4Wsを得る。4Wsを求めた後、(4Ws/4)−Rs−Bsの演算により、Gsを得る。
【0105】
以上のように、本実施形態の撮像装置によれば、光電変換信号S2a〜S2dを用いた加減算処理およびk1、k2を用いた色信号の補正処理により、カラー画像信号が得られる。これにより、斜め光の影響を除去することができるため、従来よりも色再現性のよい撮像が可能となる。
【0106】
なお、本実施形態では、分光要素1aは光感知セル2aに対向し、分光要素1bは光感知セル2dに対向するように配置されているが、分光要素1aは光感知セル2bに対向し、分光要素1bは光感知セル2cに対向するように配置されていてもよい。また、各分光要素は、水平方向ではなく、垂直方向に分光するように構成されていてもよい。その場合、第1の光学フィルタ11aの段差が1列ごとに異なるように構成されていればよい。実施形態1で説明した他の変形例についても、本実施形態に同様に適用可能である。
【0107】
上記の実施形態1、2では、各分光要素は、いずれかの光感知セルに対向するように配置しているが、分光要素は、その一部が複数の光感知セルの境界上に位置するように配置されていてもよい。例えば、光感知セル2a、2bの境界上に入射光を水平方向に分離する第1の分光要素が配置され、光感知セル2c、2dの境界上に入射光を水平方向に分離する第2の分光要素が配置されていてもよい。そのような構成であっても、第1および第2の分光要素の分光特性が異なり、結果として光感知セル2a〜2dに異なる分光分布の光が入射するように構成されていれば、信号処理によって色情報を生成することができる。
【0108】
また、各分光要素は、入射光を原色(R、G、B)と補色(Cy、Mg、Ye)とに分離する特性の代わりに、入射光を異なる3つの波長域の光に分離する特性を有していてもよい。例えば
図9に示すマイクロプリズムのように、入射光をC1、C2、C3の3成分に分離し、対向する光感知セルにC1光を、一方の隣接光感知セルにC2光を、他方の隣接光感知セルにC3光を入射させる分光要素を用いてもよい。