(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
種々の技術が、連続的なスペクトルを調べる際に満足できるスペクトル分解能で対象を分析するのに役立っている。
【0003】
これらの技術は、求める成分を特定するために、比較的狭い有限個の帯域(すなわち、連続的なスペクトルと比較して離散的なスペクトル)で十分である状況においてもうまく適用される。
【0004】
しかし、これらの技術は、分析される対象を不可分の存在、すなわち3次元に分解できない存在として考えるので、特に、単一の対象の内部において光の透過または反射の変化を識別するには適していない。
【0005】
特許文献1(FR2904432)は、マトリクス構造の光学的フィルタ及び結合したイメージセンサを示している。そのアイデアは、種々の色を把握することができる。詳細には、可視域のスペクトルにおいて取得された三原色(赤、緑、青)から開始して、ほとんどの色を再現することができる。
【0006】
上記の状況において、検出器のマトリクスの表面に配置されたフィルタのマトリクスが使用される。フィルタのマトリクスは、ベイヤーフィルタ(”Bayer” filter)であるが、このことは本発明にとって重要ではない。検出器のマトリクスは、アクティブピクセルセンサ相補型MOS(APS CMOS)マトリクスである。上記の検出器のマトリクスは、その面上に感光性の領域、電子回路及び電気接点が配置された半導体基板上に実現される。
【0007】
個別ピクセルに関し、感光性の領域は全面積の一部のみであり、残りの面積は制御用エレクトロニクスが占める。したがって、ピクセルの感光性の領域に入射光を集光させるために、ピクセルごとにマイクロレンズを備える必要がある。フィルタのマトリクスは、検出器と接触して配置され、組立品は、検出器−フィルタ−マイクロレンズを含む積み重ねからなるコンポーネントの形態となる。
【0008】
実際に、マイクロレンズの形状は特徴的であるので、マイクロレンズ上にフィルタのマトリクスを積み重ねることを考えることはできない。さらに、マイクロレンズは樹脂からなるので、有機材料上に無機のフィルタを製造するのは困難な場合がある。
【0009】
他方、フィルタをマイクロレンズの下に配置する場合に、フィルタへの入射ビームの開口角は大きい。フィルタの応答は、この入射角と密接に関連している。このことは、スペクトル応答の変化となる。
【0010】
フィルタへの入射角のこの問題を避けるために、マイクロレンズを省略することを考えることもできる。しかし、感光性の領域は、ピクセルの全面積と比較して小さな面積を示す。マイクロレンズによってもたらされる感度の増加は約50%である。したがって、マイクロレンズを省略することによって感度を失うのが適切ではないことは明らかである。
【0011】
また、そのようなコンポーネントの製造歩留まりは比較的低いことに言及すべきである。全体歩留まりは、以下の三つの歩留まりの積にほぼ等しい。
【0012】
検出器製造歩留まり
フィルタマトリクス製造歩留まり、及び
マイクロレンズアレイ製造歩留まり
上記の製造作業を重ねると、全体歩留まりは減少するという結果となる。
【0013】
以下に説明するように、上記の制約を示さない多スベクトル・イメージセンサが利用可能となる。
【0014】
上記の多スペクトル・イメージセンサは、その特性のほとんどに関して十分なものである。しかし、このセンサは、個別のピクセルとそれに隣接するピクセルとの間のクロストークのために性能が損なわれることが判明した。
【0015】
特許文献2(US2012/274786)は、イメージセンサにおけるクロストークを制限する方法を提案している。センサは、画像を規定するマクロピクセルのマトリクスの形態であり、各マクロピクセルは複数の個別ピクセルのマトリクスによって形成され、各ピクセルは別個のスペクトル帯域に割り当てられ、同一のスペクトル帯域に割り当てられた、個別ピクセルの集合はサブ画像を形成し、画像はトポロジカルに少なくとも1個のパーセルに
分割される。方法は以下のステップを含む。
【0016】
各個別ピクセルのスペクトル応答を測定するステップと、
パーセルにおける各サブ画像の平均スペクトル応答を計算するステップと、
該パーセルにおける各サブ画像の理想応答を定めることを目標に設定するステップと、
該パーセルにおけるクロストークを最小とする係数の組を推定するステップと、
該パーセルにおけるサブ画像を補正するために、マクロピクセルに該係数を適用するステップである。
【発明の概要】
【発明が解決しようとする課題】
【0018】
本発明の目的は、任意の多スペクトルイ・メージセンサ、特に以下に記載するセンサにおけるクロストークを制限することである。
【課題を解決するための手段】
【0019】
発明は、イメージセンサにおけるクロストークを制限する方法であって、該センサは画像を定める複数のマクロピクセルのマトリクスの形態であり、各マクロピクセルは複数の個別ピクセルによって形成され、各ピクセルは別個のスペクトル帯域に割り当てられ、同一のスペクトル帯域に割り当てられた、個別ピクセルの集合はサブ画像を形成し、該画像はトポロジカルに少なくとも1個のパーセルに
分割され、該方法は、各ピクセルのスペクトル応答を測定するステップと、パーセルにおける各サブ画像の平均スペクトル応答を計算するステップと、該パーセルにおける各サブ画像の理想応答を定めることを目標に設定するステップと、該パーセルにおけるクロストークを最小とする係数の組を推定するステップと、該パーセルにおけるサブ画像を補正するために、該複数のマクロピクセルに該係数を適用するステップと、を含み、該理想応答はガウス関数である方法を提供する。
【0020】
この方法は、イメージセンサにおけるクロストークを顕著に減少させる。
【0021】
第1の配置において、複数のパーセルが存在し、該複数のパーセルは該複数のマクロピクセルと一致する。
【0022】
第2の配置において、複数のパーセルが存在し、該パーセルの各々は、複数の連続したマクロピクセルを含む。
【0023】
第3の配置において、単一のパーセルが存在し、該パーセルは該画像に一致する。
【0024】
好ましい実施形態において、該推定するステップが、該係数によって補正されたサブ画像の応答とこれらのサブ画像の理想応答との差を最小化するように、該係数の組を生成する最適化段階を含む。
【0025】
該最適化段階が一般化簡約勾配法を利用するのが好ましい。
【0026】
第1のオプションにおいて、各個別ピクセルが、同じマクロピクセルの他の複数の個別ピクセルを考慮して処理される。
【0027】
この第1のオプションは、簡単であるという利点を有する。
【0028】
第2のオプションにおいて、各個別ピクセルが、それに隣接する他の複数の個別ピクセルを考慮して処理される
この第2のオプションは、より高い精度という利点を示す。
【発明を実施するための形態】
【0030】
二以上の図面に存在する構成要素にはそれぞれの図面で同じ符号を与えている。
【0031】
イメージセンサを、添付の図面(
図1−
図6)を参照して説明する。
【0032】
複数のほぼ同じフィルタセルを有するフィルタモジュールについて説明する。
【0033】
図1a及び1bを参照すると、フィルタセルは、帯を形成するように連続して一列に配置された、3個のファブリー−ペロー型の干渉フィルタFP1、FP2及びFP3を備える。
【0034】
該セルは、たとえば、ガラスまたは二酸化ケイ素からなる基板SUB上の積み重ねから構成される。該積み重ねは、第1のミラーMIR1、スペーサーSP及び第2のミラーMIR2を備える。
【0035】
各フィルタの中央波長を規定するスペーサーSPは、所定のフィルタに対して一定であり、フィルタごとに変化する。各フィルタはほぼ長方形の面を有するので、フィルタモジュールの断面は階段状である。
【0036】
薄膜技術でフィルタモジュールを製造する第1の方法を例として示す。
【0037】
図2aを参照して、基板SUB上に、最初に第1のミラーMIR1、続いてスペーサーSPを規定する一つまたは複数の誘電体層TFを堆積させる。ミラーは金属または誘電体である。
【0038】
図2bを参照して、誘電体TFをエッチングする。
【0039】
最初に、第2及び第3のフィルタFP2及びFP3において、第2のフィルタFP2におけるスペーサーSPの厚さを規定するためにエッチングする。
【0040】
その後、第3のフィルタFP3において、第3のフィルタFP3におけるスペーサーSPの厚さを規定するためにエッチングする。
【0041】
第1のフィルタFP1におけるスペーサーSPは堆積厚さを有する。
【0042】
図2cを参照して、3個のフィルタを完成させるために第2のミラーMIR2をスペーサーSP上に堆積させる。
【0043】
スペーサーSPは、誘電体TFを堆積させ、続いて上述のようにエッチングして得てもよいが、複数の薄い層を続けて堆積させることによって得ることもできる。
【0044】
例として、800ナノメータ(nm)から1000nmの波長領域は、スペーサーの光学的厚さを1.4λ
0/2から2.6λ
0/2の範囲で変更することによってカバーすることができる(λ
0=900nm及びn=1.45に対して、eは217nmから403nmの範囲にわたり変化)。
【0045】
ここで、スペーサーの厚さは、探査する範囲において一つの伝送帯のみを得るように、十分に小さい必要があることに注目すべきである。特に、この厚さが大きいほど、条件[ne=kλ/2]を満たす波長の数が多くなる。
【0046】
フィルタモジュールを製造する第2の方法を以下に説明する。
【0047】
図3aを参照して、シリコン基板SILの底面OX1及び上面OX2を熱によって酸化させることによって該方法は始まる。
【0048】
図3bを参照して、基板の底面及び上面OX1及びOX2を、それぞれ、感光性の樹脂からなる底面の層PHR1及び上面の層PHR2によって覆う。その後、フォトリソグラフィによって、底面の層PHR1に長方形の開口を形成する。
【0049】
図3cを参照して、底面OX1上の熱による酸化物を、底面の層PHR1に形成された長方形の開口に合わせてエッチングする。その後、底面の層及び上面の層PHR1及びPHR2を除去する。
【0050】
図3dを参照して、長方形の開口に合わせて、基板SILに異方性エッチング(たとえば、結晶の向き1−0−0)を実施する。ここで、底面OX1の熱による酸化物はマスクとして機能し、上面OX2の熱による酸化物はエッチング停止層として機能する。エッチングは、水酸化カリウム(KOH)または水酸化トリメチルアンモニウム(TMAH)の溶液を使用したウェットであっても、プラズマ中のドライであってもよい。この操作の結果は、長方形の開口の底面に酸化物の膜のみが残る。
【0051】
図3eを参照して、この酸化物をエッチングする。
【0052】
最初に、第2及び第3のフィルタFP2及びFP3において、第2のフィルタFP2におけるスペーサーSPの厚さを規定するためにエッチングする。
【0053】
その後、第3のフィルタFP3において、第3のフィルタFP3におけるスペーサーSPの厚さを規定するためにエッチングする。
【0054】
図3fを参照して、第1及び第2のミラーM1及びM2を基板SILの底面及び上面OX1及びOX2の表面に堆積させる。
【0055】
オプションとして、底面及び上面OX1及びOX2の一方または両方の表面に不活性化層(図示せず)を堆積させることによってフィルタモジュールの製造を終了することも可能である。
【0056】
このように、本発明によって、1次元空間と関係づけられた、並べられた複数のフィルタの組を製造することが可能となる。
【0057】
図4を参照して、2次元空間にフィルタセルを配置させることができる。そのような配置は、しばしばマトリクスと呼称される。
【0058】
4個の同一の水平方向の帯がそれぞれ4個のセルを備える。図の上部に見える第1の帯は、マトリクスの第1の行に対応し、セルIF11からIF14を備える。第2、第3及び第4の帯は、それぞれ、セルIF21からIF24、セルIF31からIF34、及びセルIF41からIF44を備える。
【0059】
j番目の水平の帯に所属するセルIFjkは、セルIF1k,IF2k,...,IF4kを備えるk番目の鉛直の帯の一部でもあるので、上記の配置はマトリクスといわれる。
【0060】
図5を参照して、それぞれのフィルタセルは9個のフィルタを有する。これらのセルのそれぞれは、正方形の形状であり、その中に別個の波長λ1,λ2,λ3,λ4,...,λ9に調整された対応するフィルタが存在する。
【0061】
本図において、わかりやすくするために、セル間の間隔は2個のフィルタ間の間隔と比較して大きくしている。いうまでもなく、実際には、セル間及びフィルタ間の間隔は同じである。
【0062】
このようにフィルタモジュールは、種々のフィルタによって生成される光束を測定することのできる検出器と結合している。検出器は複数の区画から構成される。
【0063】
図6を参照すると、
図5に示すフィルタモジュールMFが見られる。
【0064】
検出器DETは、シリコンからなる基板SS上にCMOS技術を使用して製造される。正方形状のそれぞれの区画CP1、CP2、CP3の中心に感光性の領域PS1、PS2、PS3が存在する。
【0065】
それぞれの区画CP1、CP2、CP3の上には、区画の辺と同じ直径のマイクロレンズML1、ML2、ML3が存在する。
【0066】
フィルタモジュールMFは、フィルタλ1,λ2,λ3がマイクロレンズML1、ML2、ML3に向き合うように、マイクロレンズML1、ML2、ML3のアレイに支えられる。
【0067】
このモジュールMFの位置合わせは、フォトリソグラフィの当業者に知られた技術であるアライメントパターンによって実施する。したがって、この技術についてここで詳細には記載しない。
【0068】
フィルタモジュールMFは、接着剤からなる縁STによって検出器DETに固定される。
【0069】
アイデアを明確にするために、ピクセルは通常5マイクロメータのオーダーのサイズを有することを明示する。
【0070】
本発明を、添付の図面(
図7−
図8)を参照しながら説明のために与える実施形態の以下の記載によって詳細に説明する。
【0071】
画像は、イメージセンサのマクロピクセルの集合によって形成されると仮定する。
【0072】
画像を、トポロジカルにパーセル(区画)に分割してもよい。
【0073】
トポロジカルな単位がマクロピクセルであるパーセルは、1個から全てのマクロピクセルを備えることができる。限界的な状況は、画像と一致する単一のパーセルである。
【0074】
以下に説明するのは、この特に有利な限界的な状況である。
【0075】
図5を参照して説明したマトリクス構成に戻り、9個のピクセルからなるマクロピクセルが存在する。
【0076】
図7を参照すると、本発明の方法の第1のステップは、各個別のピクセルを特徴づける特徴づけステップ700である。このステップを実施するために、例として、400nmから
1000nmの範囲を2nmのステップでカバーするモノクロメータを使用する。これは、個別のピクセルの全てのそれぞれのスペクトル応答を得るのに役立つ。
【0077】
その後、関連する個別のピクセルを考慮しながら、各サブ画像の平均スペクトル応答を計算する平均化ステップ701が存在する。例として、9個のサブ画像の中で、8個は別個のスペクトル帯域に向けられ、最後のサブ画像はパンクロマチック(全整色性)である。これは基準を提供する。
【0078】
次のステップは、各サブ画像の理想的なスペクトル応答を定める目標設定ステップ702である。本例においては、各サブ画像に対して、中央波長と半値幅を指定することによりガウス関数を選択する。パンクロマチックサブ画像は補正しない。
【0079】
次のステップは、上記の平均スペクトル応答に適用したときに理想の応答に可能な限り近づく、9×9の係数のテンソルを得る評価ステップ703である。本例において、この評価は、いわゆる一般化簡約勾配法を使用して実施される。しかし、当業者には、使用することのできる多数の他の方法が知られている。特に、以下の方法がある。
モンテカルロ法
シンプレクス法
最小二乗法
ネルダー・ミード法
ニュートン・ラフソン法
準ニュートン法
非線形最小二乗法
レベンバーグ・マーカート法
遺伝子アルゴリズム法
【0080】
最後に、補正ステップ704において、クロストーク補正画像を得るために、テンソルが元の画像に適用される。
【0081】
以下の表記を使用して、評価ステップを詳細に説明する。
Fr(λ):光束
QE
i(λ):フィルタλ
iを備えた個別ピクセルの量子効率
QEr
i(λ):クロストーク処理の後の仮想的な個別ピクセルの量子効率
P
i:λ
iフィルタと結合した個別ピクセルの応答
Pr
i:処理の後の仮想的な個別ピクセルの応答
CC
ij:センサのクロストーク係数
【0082】
以下の仮定を設ける。
マクロピクセルにわたり光束は均一であり、
ノイズは無視でき、
個別ピクセルの応答は線形であり(飽和はなく、「ブルーミング防止」、ガンマなどの補正はない)、
フィルタの応答は線形であり、波長のみに依存する。
【0084】
個別ピクセルの応答は以下のとおりである。
【数2】
【0085】
仮想ピクセルの応答は以下のとおりである。
【数3】
【0086】
式(1)を式(3)へ代入する。
【数4】
【0087】
係数CC
ijはλから独立しているので
【数5】
【0088】
式(2)を式(5)へ代入する。
【数6】
【0089】
上記は、元の個別ピクセルP
jの値の関数として補正された個別ピクセルPr
iの値を求めるのに役立つ。
【0090】
上述のように処理することによって、個別ピクセルは、所定のマクロピクセル内の複数の個別ピクセルの全ての関数として補正される。この解決策は、簡単であるという利点を有し、2個の隣接するマクロピクセルの間の輝度の変化が小さいという事実に依存している。
【0091】
図8を参照して、個別ピクセルを補正する際に、同じマクロピクセルの複数の個別ピクセルではなく、補正すべきピクセルの隣接ピクセルである複数の個別ピクセルを考慮することによって補正量を改善することができる。この方法は、当業者によく知られているように、3次元のデモザイシング処理も適用される場合に、特に選ばれる。
【0092】
例として、左上にあるマクロピクセルの個別ピクセルλ
9を補正するために、以下の複数の個別ピクセルが考慮される。
左上のマクロピクセルのλ
5、λ
6、λ
8
右上のマクロピクセルのλ
4、λ
7
右下のマクロピクセルのλ
1
左下のマクロピクセルのλ
2、λ
3
【0093】
補正方法は上述の方法と同様である。当該方法は当業者の能力の範囲内であるので、詳細には説明しない。
【0094】
上述の配置は、全体的に処理される画像に対して、1個のみのパーセルを有する。この配置の主要な利点は、計算するテンソルが1組しか存在しないということである。しかし、この配置は、その全範囲にわたりセンサがほぼ一様であるということを仮定している。このことは常には当てはまらない。
【0095】
別の配置において、画像は複数のパーセルに分割され、各パーセルは、画像の一様性よりもより良好な一様性を示す。例として、一方が画像の中央を形成し、他方が周辺を形成する2個のパーセルを、当該2個のパーセルが一緒になって画像と一致するように選択することができる。
【0096】
本発明の方法は、上記では画像全体に適用される処理が、ここでは、パーセルのそれぞれに次々に適用される点を除いて上記の方法と同じである。
【0097】
図7に戻り、発明の方法の第1のステップは依然として、各個別のピクセルを特徴づける特徴づけステップ700である。
【0098】
関連する複数の個別ピクセルを考慮しながら、各サブ画像のパーセルにおける平均スペクトル応答を計算する平均化ステップ701が続く。
【0099】
次のステップは、検討しているパーセルにおける各サブ画像の理想的なスペクトル応答を定める目標設定ステップ702である。
【0100】
次のステップは、検討しているパーセルにおける平均スペクトル応答に適用したときに理想の応答に可能な限り近づく、9×9の係数のテンソルを得る評価ステップ703である。本例において、この評価は、いわゆる一般化簡約勾配法を使用して実施される。
【0101】
最後に、補正ステップ704において、クロストーク補正パーセルを得るために、テンソルが元のパーセルに適用される。
【0102】
補正パーセルの集合が補正画像を生成する。
【0103】
本例においては2個のテンソルがよりよい精度を得るのに十分である。
【0104】
当然、精度を改善するためにパーセルの数を増加させてもよいが、それは計算時間を犠牲とする。
【0105】
マクロピクセルと同じ数のパーセルが存在する場合に最大の精度が得られる。
【0106】
そのような状況下では、平均化ステップ701は存在しない。特に、唯一の値の平均値はその値に等しいことに注目すべきである。
【0107】
発明の方法は、上記では画像全体または各パーセルへ適用される処理が、各個別のピクセルへ適用されるという点を除いて上記の方法と同じである。
【0108】
図7に戻り、発明の方法の第1のステップは依然として、各個別のピクセルを特徴づける特徴づけステップ700である。
【0109】
単一の値の平均値をとることを含むので、平均化ステップ701は省略される。
【0110】
次のステップは、検討しているマクロピクセルにおける各個別ピクセルの理想的なスペクトル応答を定める目標設定ステップ702である。
【0111】
次のステップは、検討しているマクロピクセルにおける各個別ピクセルに適用したときに理想の応答に可能な限り近づく、9×9の係数のテンソルを得る評価ステップ703である。本例において、この評価は、いわゆる一般化簡約勾配法を使用して実施される。
【0112】
最後に、補正ステップ704において、クロストーク補正マクロピクセルを得るために、テンソルが元のマクロピクセルに適用される。
【0113】
補正画像は、全ての補正マクロピクセルを再構成することによって得られる。
【0114】
本発明の上述の実施形態は、具体的な性質のために選択されたものである。しかし、本発明に含まれるすべての実施形態を網羅的に識別することは不可能である。特に、記載されたいずれの手段も、本発明の範囲を超えることなく、等価の手段と置き換えてもよい。