(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025001468
(43)【公開日】2025-01-08
(54)【発明の名称】固体撮像装置及び電子機器
(51)【国際特許分類】
H10F 39/12 20250101AFI20241225BHJP
H04N 25/61 20230101ALI20241225BHJP
H04N 25/70 20230101ALI20241225BHJP
G02B 3/00 20060101ALI20241225BHJP
【FI】
H01L27/146 D
H04N25/61
H04N25/70
G02B3/00 A
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023101079
(22)【出願日】2023-06-20
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100112874
【弁理士】
【氏名又は名称】渡邊 薫
(72)【発明者】
【氏名】木下 能開
(72)【発明者】
【氏名】纐纈 隆裕
【テーマコード(参考)】
4M118
5C024
【Fターム(参考)】
4M118AA06
4M118AB01
4M118BA09
4M118CA03
4M118CA05
4M118CB01
4M118CB02
4M118FA06
4M118FA27
4M118FA28
4M118GB02
4M118GB07
4M118GB11
4M118GC08
4M118GC14
4M118GD04
4M118GD07
4M118GD20
5C024CX41
5C024EX43
5C024EX52
5C024GX02
(57)【要約】 (修正有)
【課題】オンチップレンズに対応する光電変換部群上に形成される集光スポットの位置によらず光電変換部間での感度差を小さくする固体撮像装置及び固体撮像装置を備える電子機器を提供する。
【解決手段】固体撮像装置1は、複数の光電変換部102aを含む光電変換部群102と、光電変換部群に対応するオンチップレンズ500と、オンチップレンズの入光面500aと光電変換部群との間に配置されたアキシコンレンズ400Aと、を備え、オンチップレンズに対応する光電変換部群上に形成される集光スポットの位置によらず光電変換部間での感度差を小さくする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数の光電変換部を含む光電変換部群と、
前記光電変換部群に対応するオンチップレンズと、
前記オンチップレンズの入光面と前記光電変換部群との間に配置されたアキシコンレンズと、
を備える、固体撮像装置。
【請求項2】
前記入光面及び前記アキシコンレンズをこの順に介した光が前記複数の光電変換部に跨って入射される、請求項1に記載の固体撮像装置。
【請求項3】
前記アキシコンレンズが、前記オンチップレンズの内部に配置されている、請求項1に記載の固体撮像装置。
【請求項4】
前記アキシコンレンズが、前記オンチップレンズと前記光電変換部群との間に配置されている、請求項1に記載の固体撮像装置。
【請求項5】
前記アキシコンレンズは、前記オンチップレンズ側に凸である、請求項1に記載の固体撮像装置。
【請求項6】
前記アキシコンレンズは、前記光電変換部群側に凸である、請求項1に記載の固体撮像装置。
【請求項7】
前記オンチップレンズの光軸に沿って複数の前記アキシコンレンズが配置されている、請求項1に記載の固体撮像装置。
【請求項8】
前記複数のアキシコンレンズが、
前記オンチップレンズ側に凸の前記アキシコンレンズと、
前記光電変換部群側に凸の前記アキシコンレンズと、
を含む、請求項7に記載の固体撮像装置。
【請求項9】
前記複数の光電変換部が、前記オンチップレンズの光軸と交差する平面に沿って二次元配列されている、請求項1に記載の固体撮像装置。
【請求項10】
前記二次元配列は、マトリクス配列である、請求項9に記載の固体撮像装置。
【請求項11】
前記マトリクス配列は、N×N(Nは2以上の整数)のマトリクス配列である、請求項10に記載の固体撮像装置。
【請求項12】
前記二次元配列は、千鳥配列である、請求項9に記載の固体撮像装置。
【請求項13】
前記オンチップレンズの光軸と前記アキシコンレンズの光軸とが、平行である、請求項1に記載の固体撮像装置。
【請求項14】
前記オンチップレンズの光軸と前記アキシコンレンズの光軸とが、一致している、請求項1に記載の固体撮像装置。
【請求項15】
前記アキシコンレンズは、高さに対する底面の直径の比率が、2以上4以下である、請求項1に記載の固体撮像装置。
【請求項16】
前記アキシコンレンズに反射防止膜が設けられている、請求項1に記載の固体撮像装置。
【請求項17】
複数の前記光電変換部群が半導体基板の内部に該半導体基板の面内方向に二次元配列され、
前記光電変換部群毎に前記オンチップレンズ及び前記アキシコンレンズが設けられている、請求項1に記載の固体撮像装置。
【請求項18】
複数の前記オンチップレンズを含むオンチップレンズ群と前記半導体基板との間に配置された、複数のカラーフィルタを含むカラーフィルタ群を更に備える、請求項17に記載の固体撮像装置。
【請求項19】
前記複数のカラーフィルタが、前記複数の光電変換部群に個別に対応する、請求項18に記載の固体撮像装置。
【請求項20】
複数の光電変換部を含む光電変換部群と、
前記光電変換部群に対応するオンチップレンズと、
前記オンチップレンズの入光面と前記光電変換部群との間に配置されたアキシコンレンズと、
を含む、固体撮像装置を備える電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本開示に係る技術(以下「本技術」とも呼ぶ)は、固体撮像装置及び電子機器に関する。
【背景技術】
【0002】
従来、オンチップレンズを介した光を光電変換部へ入射させる固体撮像装置が知られている(例えば特許文献1参照)。
【0003】
例えば特許文献1に記載の固体撮像装置では、光電変換部の入光面が凸状に形成されており、集光効率を高めることができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の固体撮像装置は、オンチップレンズを介した光を複数の光電変換部を含む光電変換部群へ入射させる構成を採用した場合に、光電変換部群上に形成される集光スポットの位置によらず光電変換部間での感度差を小さくすることに関して改善の余地があった。
【0006】
そこで、本技術は、オンチップレンズに対応する光電変換部群上に形成される集光スポットの位置によらず光電変換部間での感度差を小さくすることができる固体撮像装置を提供することを主目的とする。
【課題を解決するための手段】
【0007】
本技術は、複数の光電変換部を含む光電変換部群と、
前記光電変換部群に対応するオンチップレンズと、
前記オンチップレンズの入光面と前記光電変換部群との間に配置されたアキシコンレンズと、
を備える、固体撮像装置を提供する。
前記入光面及び前記アキシコンレンズをこの順に介した光が前記複数の光電変換部に跨って入射されてもよい。
前記アキシコンレンズが、前記オンチップレンズの内部に配置されていてもよい。
前記アキシコンレンズが、前記オンチップレンズと前記光電変換部群との間に配置されていてもよい。
前記アキシコンレンズは、前記オンチップレンズ側に凸であってもよい。
前記アキシコンレンズは、前記光電変換部群側に凸であってもよい。
前記オンチップレンズの光軸に沿って複数の前記アキシコンレンズが配置されていてもよい。
前記複数のアキシコンレンズが、前記オンチップレンズ側に凸の前記アキシコンレンズと、前記光電変換部群側に凸の前記アキシコンレンズと、を含んでいてもよい。
前記複数の光電変換部が、前記オンチップレンズの光軸と交差する平面に沿って二次元配列されていてもよい。
前記二次元配列は、マトリクス配列であってもよい。
前記マトリクス配列は、N×N(Nは2以上の整数)のマトリクス配列であってもよい。
前記二次元配列は、千鳥配列であってもよい。
前記オンチップレンズの光軸と前記アキシコンレンズの光軸とが、平行であってもよい。
前記オンチップレンズの光軸と前記アキシコンレンズの光軸とが、一致していてもよい。
前記アキシコンレンズは、高さに対する底面の直径の比率が、2以上4以下であることが好ましい。
前記アキシコンレンズに反射防止膜が設けられていてもよい。
複数の前記光電変換部群が半導体基板の内部に該半導体基板の面内方向に二次元配列され、前記光電変換部群毎に前記オンチップレンズ及び前記アキシコンレンズが設けられていてもよい。
前記固体撮像装置が、複数の前記オンチップレンズを含むオンチップレンズ群と前記半導体基板との間に配置された、複数のカラーフィルタを含むカラーフィルタ群を更に備えていてもよい。
前記複数のカラーフィルタが、前記複数の光電変換部群に個別に対応していてもよい。
本技術は、複数の光電変換部を含む光電変換部群と、
前記光電変換部群に対応するオンチップレンズと、
前記オンチップレンズの入光面と前記光電変換部群との間に配置されたアキシコンレンズと、
を含む、固体撮像装置を備える電子機器も提供する。
【図面の簡単な説明】
【0008】
【
図1】本技術の一実施形態の実施例1に係る固体撮像装置の一部の断面図である。
【
図2】本技術の一実施形態の実施例1に係る固体撮像装置の他部の断面図である。
【
図3】本技術の一実施形態の実施例1に係る固体撮像装置の一部の斜視図である。
【
図4】本技術の一実施形態の実施例1に係る固体撮像装置の平面図である。
【
図5】
図5Aは、比較例1に係る固体撮像装置の作用を説明するための図である。
図5Bは、比較例2に係る固体撮像装置の作用を説明するための図(その1)である。
【
図6】比較例2に係る固体撮像装置の作用を説明するための図(その2)である。
【
図7】
図7Aは、本技術に係る固体撮像装置の作用を説明するための図(その1)である。
図7Bは、本技術に係る固体撮像装置の作用を説明するための図(その2)である。
【
図8】本技術の一実施形態の実施例2に係る固体撮像装置の一部の断面図である。
【
図9】本技術の一実施形態の実施例2に係る固体撮像装置の他部の断面図である。
【
図10】本技術の一実施形態の実施例2に係る固体撮像装置の一部の斜視図である。
【
図11】本技術の一実施形態の実施例3に係る固体撮像装置の一部の断面図である。
【
図12】本技術の一実施形態の実施例3に係る固体撮像装置の他部の断面図である。
【
図13】本技術の一実施形態の実施例4に係る固体撮像装置の一部の断面図である。
【
図14】本技術の一実施形態の実施例4に係る固体撮像装置の他部の断面図である。
【
図15】本技術の一実施形態の実施例5に係る固体撮像装置の一部の断面図である。
【
図16】本技術の一実施形態の実施例5に係る固体撮像装置の他部の断面図である。
【
図17】本技術の一実施形態の実施例6に係る固体撮像装置の一部の断面図である。
【
図18】本技術の一実施形態の実施例6に係る固体撮像装置の他部の断面図である。
【
図19】本技術の一実施形態の実施例7に係る固体撮像装置の断面図である。
【
図20】本技術の一実施形態の実施例8に係る固体撮像装置の一部の断面図である。
【
図21】本技術の一実施形態の実施例8に係る固体撮像装置の他部の断面図である。
【
図22】本技術の一実施形態の実施例9に係る固体撮像装置の断面図である。
【
図23】
図23Aは、本技術の一実施形態の変形例1に係る固体撮像装置の一部の平面構成を示す図である。
図23Bは、本技術の一実施形態の変形例2に係る固体撮像装置の一部の平面構成を示す図である。
【
図24】本技術の一実施形態の変形例3に係る固体撮像装置の平面図である。
【
図25】本技術を適用した固体撮像装置の使用例を示す図である。
【
図26】本技術を適用した固体撮像装置を備える電子機器の一例の機能ブロック図である。
【
図27】車両制御システムの概略的な構成の一例を示すブロック図である。
【
図28】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【
図29】内視鏡手術システムの概略的な構成の一例を示す図である。
【
図30】カメラヘッド及びCCUの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【0009】
以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、これにより本技術の範囲が狭く解釈されることはない。本明細書において、本技術に係る固体撮像装置及び電子機器が複数の効果を奏することが記載される場合でも、本技術に係る固体撮像装置及び電子機器は、少なくとも1つの効果を奏すればよい。本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
【0010】
また、以下の順序で説明を行う。
0.導入
1.本技術の一実施形態の実施例1に係る固体撮像装置
2.本技術の一実施形態の実施例2に係る固体撮像装置
3.本技術の一実施形態の実施例3に係る固体撮像装置
4.本技術の一実施形態の実施例4に係る固体撮像装置
5.本技術の一実施形態の実施例5に係る固体撮像装置
6.本技術の一実施形態の実施例6に係る固体撮像装置
7.本技術の一実施形態の実施例7に係る固体撮像装置
8.本技術の一実施形態の実施例8に係る固体撮像装置
9.本技術の一実施形態の実施例9に係る固体撮像装置
10.本技術の変形例
11.本技術を適用した固体撮像装置の使用例
12.本技術を適用した固体撮像装置の他の使用例
13.移動体への応用例
14.内視鏡手術システムへの応用例
【0011】
<0.導入>
近年のモバイル用途のCIS(Contact Image Sensor)の構造として、例えば2×2OCL(On Chip Lens)構造がある。これは、1つのカラーフィルタに対応する4つの光電変換部(PD)を縦2個、横2個で配列したQuad Bayer配列に対して、1つのOCLを配置する構造である。2×2OCL構造を用いることにより縦にも横にも位相差を取得できるという利点がある。
【0012】
一方で、2×2OCL構造(
図5B参照)では、例えばOCLの光軸ずれ等に起因する集光スポットLSのずれにより、同色間感度差(上記光電変換部間の感度差)が、例えば1×1OCLの構造(
図5A参照)に比べて大きくなることが懸念される。なお、
図5A、
図5Bにおいて、CF-Rは赤色(R)のカラーフィルタ、CF-Gは緑色(G)のカラーフィルタ、CF-Bは青色(B)のカラーフィルタを示す。
【0013】
そこで、発明者らは、鋭意検討の末、OCLの入光面を介した光の光路上にアキシコンレンズを配置して該光の断面形状をリング状に整形することにより、集光スポットのずれによる同色間感度差を小さくすることに成功した。
【0014】
そして、発明者らは、この技術を上位概念化した技術思想として、オンチップレンズに対応する光電変換部群上に形成される集光スポットの位置によらず光電変換部間での感度差を小さくすることができる固体撮像装置(本技術に係る固体撮像装置)を発明した。
【0015】
以下、本技術の一実施形態を幾つかの実施例を挙げて詳細に説明する。以下の各実施例において、便宜上、各図における上側を「上」、下側を「下」、左側を「左」、右側を「右」として説明する。
【0016】
<1.本技術の一実施形態の実施例1に係る固体撮像装置>
≪固体撮像装置の構成≫
(全体構成)
図1は、本技術の一実施形態の実施例1に係る固体撮像装置1の一部の断面図である。
図2は、本技術の一実施形態の実施例1に係る固体撮像装置1の他部の断面図である。
図3は、本技術の一実施形態の実施例1に係る固体撮像装置1の斜視図である。
図4は、本技術の一実施形態の実施例1に係る固体撮像装置1の平面図である。
図1は、
図4の1-1線断面図である。
図2は、
図4の2-2線断面図である。
【0017】
固体撮像装置1は、一例として、裏面照射型の固体撮像装置(イメージセンサ)である。固体撮像装置1は、一例として、
図1~
図4に示すように、複数(例えば4つ)の画素P(例えば画素P1、P2、P3、P4)を含む画素群PG(画素ブロック)を複数備える。ここでは、複数の画素群PGがマトリクス配列されている。各画素群PGは、Quad Bayer配列を有する。各画素Pは、撮像と位相差検出とを兼ねるデュアル画素である。
【0018】
各画素Pは、一例として、4つの光電変換部102aを含む光電変換部群102と、該光電変換部群102に対応するオンチップレンズ500と、該オンチップレンズ500の入光面500aと光電変換部群102との間に配置されたアキシコンレンズ400Aとを有する。
【0019】
各画素Pの光電変換部群102は、半導体基板SSに設けられている。半導体基板50には、例えばSi基板、Ge基板、GaAs基板、InGaAs基板等を用いることができる。各画素Pのオンチップレンズ500及びアキシコンレンズ400Aは、半導体基板SSと積層された光学基板OBに含まれている。すなわち、複数の画素Pの各々のオンチップレンズ500及びアキシコンレンズ400Aが一体に設けられている。
【0020】
以上の説明から分かるように、複数の光電変換部群102が半導体基板SSの内部に該半導体基板SSの面内方向に二次元配列(例えばマトリクス配列)され、光電変換部群102毎にオンチップレンズ500及びアキシコンレンズ400Aが設けられている。
【0021】
(光電変換部群、光電変換部)
各光電変換部群102の4つの光電変換部102aは、半導体基板SSの内部に面内方向に(オンチップレンズ500の光軸と交差する平面に沿って)二次元配列されている。該二次元配列は、マトリクス配列である。該マトリクス配列は、Nを2以上の整数として、N×N(例えば2×2)のマトリクス配列である。各光電変換部102aは、例えばPD(フォトダイオード)である。より詳細には、各光電変換部102aは、例えばPNフォトダイオード、PINフォトダイオード、SPAD(Single Photon Avalanche Photodiode)、APD(avalanche photo Diode)等である。
【0022】
(カラーフィルタ)
各画素Pは、半導体基板SS上に絶縁膜200を介して設けられたカラーフィルタ300を有する。絶縁膜200は、例えばSiO、SiO2、SiN、SiON等の絶縁体からなる。絶縁膜200は、一例として、複数の画素Pで共有されている。
【0023】
画素P1は、オンチップレンズ500と光電変換部群102との間にカラーフィルタ300Aを有する(
図1参照)。カラーフィルタ300Aは、青色帯域(例えば450~485nm)を透過波長帯域とする。
【0024】
画素P2は、オンチップレンズ500と光電変換部群102との間にカラーフィルタ300Bを有する(
図1参照)。カラーフィルタ300Bは、緑色帯域(例えば500~565nm)を透過波長帯域とする。
【0025】
画素P3は、オンチップレンズ500と光電変換部群102との間にカラーフィルタ300Bを有する(
図2参照)。カラーフィルタ300Bは、緑色帯域(例えば500~565nm)を透過波長帯域とする。
【0026】
画素P4は、オンチップレンズ500と光電変換部群102との間にカラーフィルタ300Cを有する(
図2参照)。カラーフィルタ300Cは、赤色帯域(例えば625nm~780nm)を透過波長帯域とする。
【0027】
以上の説明から分かるように、複数のオンチップレンズ500を含むオンチップレンズ群と半導体基板SSとの間に、複数のカラーフィルタ300を含むカラーフィルタ群が配置され、複数のカラーフィルタ300が複数の光電変換部群102に個別に対応している。
(画素内分離壁)
各画素Pは、隣接する2つの光電変換部102aの間に設けられた画素内分離壁104を有する。各画素Pにおいて、画素内分離壁104は、隣接する光電変換部102aを電気的に分離(絶縁)している。ここでは、画素内分離壁104は、半導体基板SSの厚さ方向(上下方向)の全域に亘って設けられているが、厚さ方向の一部のみに設けられていてもよい。画素内分離壁104は、平面視において、隣接する光電変換部102a間の境界線に沿って例えば格子状に形成されている。画素内分離壁104は、例えばSiO、SiO2、SiN、SiON等の絶縁体からなる。
【0028】
(画素間分離壁)
各画素群PGにおいて、隣接する2つの画素Pの間には、画素間分離壁103が設けられている。画素間分離壁103は、隣接画素間を電気的及び光学的に分離している。詳述すると、画素間分離壁103は、一例として、絶縁体(例えばSiO、SiO2、SiN、SiON等)からなる第1分離部103a及び金属(例えばW、Al、Ni等)からなる第2分離部103bを有する。第1分離部103aは、一例として、半導体基板SSの厚さ方向(上下方向)の全域に亘って設けられ、隣接画素間を電気的に分離(絶縁)している。第2分離部103bは、第1分離部103aの絶縁膜200側の端部(上端部)上に設けられ、隣接画素を光学的に分離する遮光壁として機能する。画素間分離壁103は、平面視において、隣接画素間の境界線に沿って例えば格子状に形成されている。なお、第1分離部103aは、半導体基板SSの厚さ方向の一部のみに設けられてもよい。
【0029】
(アキシコンレンズ)
各画素Pにおいて、アキシコンレンズ400Aがオンチップレンズ500の内部に配置されている。詳述すると、アキシコンレンズ400Aは、オンチップレンズ500の出光面に形成された円錐状の凹部に嵌め込み状態でオンチップレンズ500と一体に設けられている。アキシコンレンズは「円錐レンズ」とも呼ばれる。アキシコンレンズを介したビームは、近視野ではベッセルビームと近似する、ほとんど回折しないビームとなるため、光利用効率の低下を抑制できる。
【0030】
各画素Pにおいて、オンチップレンズ500の入光面、アキシコンレンズ400A及びカラーフィルタ300をこの順に介した光(
図7A参照)が4つの光電変換部102aに跨って入射される(
図7B参照)。このとき、各画素Pにおいて、光電変換部群102上に形成される集光スポットLS-Rがリング状であるため、集光スポットLS-Rの位置よらず光電変換部102a間の感度差(同色間感度差)を小さくすることが可能となる。さらに、分光特性(量子効率/波長)の光学シミュレーションの結果、円形の集光スポットを光電変換部群上に形成する固体撮像装置(
図5B参照)に比べて、R、G、Bの各波長帯域で量子効率が向上することが分かっている。
【0031】
アキシコンレンズ400Aは、一例として、オンチップレンズ500側に凸である。
【0032】
オンチップレンズ500の光軸OA1とアキシコンレンズ400Aの光軸OA2とが、平行であることが好ましい。
【0033】
オンチップレンズ500の光軸OA1とアキシコンレンズ400Aの光軸OA2とが、一致していることが好ましい。
【0034】
アキシコンレンズ400Aは、高さHに対する底面の直径Dの比率D/Hが、2以上4以下であることが好ましく、2.3以上3.5以下であることがより好ましく、2.5以上3以下であることがより一層好ましい。ここでは、一例として、D/H=2.8とされている。D/Hが2以上4以下であることにより、光電変換部群102上に適正なリング状集光スポットを形成することができる。
【0035】
アキシコンレンズ400Aの入光面及び/又は出光面にARコート(反射防止膜)が設けられることが好ましい。これにより、アキシコンレンズ400Aでの光の反射を防止でき、光利用効率の低下を抑制できる。
【0036】
(アナログ回路)
半導体基板SSには、一例として、各画素Pを制御する制御回路(アナログ回路)と、A/D変換回路(アナログ回路)とが形成されている。
【0037】
制御回路は、例えばトランジスタ等の回路素子を有する。詳述すると、制御回路は、一例として、複数の画素トランジスタ(いわゆるMOSトランジスタ)及び信号処理部を含んで構成される。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの3つのトランジスタで構成することができる。その他、選択トランジスタを追加して4つのトランジスタで構成することもできる。信号処理部は、各画素Pの2つの光電変換部102aからの電気信号に基づいて位相差検出を行う。A/D変換回路は、各画素Pで生成されたアナログ信号をデジタル信号に変換する。
【0038】
(処理基板)
一例として、半導体基板50の絶縁膜200側とは反対側(下側)には、配線層を介して、例えばロジック回路及びメモリ回路を含む処理基板(不図示)が配置される。ロジック回路は、上記A/D変換回路で生成されたデジタル信号を処理する。メモリ回路は、上記A/D変換回路で生成されたデジタル信号及び/又はロジック回路で処理されたデジタル信号を一時的に記憶、保持する。当該処理基板は、例えば半導体基板及び配線層が積層された積層構造を少なくとも1層有する。当該処理基板において、ロジック回路及びメモリ回路は、並置されていてもよいし、積層されていてもよい。
【0039】
≪固体撮像装置の動作例≫
以下、固体撮像装置1の動作例について説明する。固体撮像装置1では、一例として、フォーカス調整前に位相差検出モードが実行され、像面位相差AFによるフォーカス調整後に撮像モードが実行される。このサイクルが繰り返される。被写体からの光(像光)が、各画素Pのオンチップレンズ500、アキシコンレンズ400A及びカラーフィルタ300をこの順に介して該画素Pの4つの光電変換部102a、102a、102a、102aに跨って入射される。
【0040】
位相差検出モードのとき、縦方向に隣接する2つの光電変換部102a、102aが光電変換した電気信号が個別に信号処理部に送信される。信号処理部は、これらの電気信号(アナログ信号)の差分に基づいて、縦方向の位相差(フォーカスずれ)を検出する。位相差検出モードのとき、横方向に隣接する2つの光電変換部102a、102aが光電変換した電気信号が個別に信号処理部に送信される。信号処理部は、これらの電気信号(アナログ信号)の差分に基づいて、横方向の位相差(フォーカスずれ)を検出する。検出された縦方向の位相差及び横方向の位相差に基づいて、像面位相差AFによるフォーカス調整を行うことができる。
【0041】
撮像モードのとき、4つの光電変換部102a、102a、102a、102aで光電変換され合算された電気信号(アナログ信号)が、A/D変換回路に伝送されデジタル信号に変換された後、メモリ回路に一時的に記憶、保持され、順次ロジック回路に伝送される。ロジック回路は、伝送されたデジタル信号を処理する。なお、該デジタル信号は、ロジック回路での処理中及び/又は処理後にメモリ回路に一時的に記憶、保持させることもできる。
【0042】
≪固体撮像装置の効果≫
本技術に係る固体撮像装置1は、複数(例えば4つ)の光電変換部102aを含む光電変換部群102と、該光電変換部群102に対応するオンチップレンズ500と、該オンチップレンズ500の入光面と光電変換部群102との間に配置されたアキシコンレンズ400Aと、を備える。
【0043】
固体撮像装置1によれば、オンチップレンズ500に対応する光電変換部群102上に形成される集光スポットの位置によらず光電変換部102a間での感度差を小さくすることができる固体撮像装置を提供することができる。
【0044】
<2.本技術の一実施形態の実施例2に係る固体撮像装置>
図8は、本技術の一実施形態の実施例2に係る固体撮像装置2の一部の断面図である。
図9は、本技術の一実施形態の実施例2に係る固体撮像装置2の他部の断面図である。
図10は、本技術の一実施形態の実施例2に係る固体撮像装置2の斜視図である。
図8は、
図1に対応する断面図である。
図9は、
図2に対応する断面図である。
【0045】
固体撮像装置2は、
図8~
図10に示すように、各画素Pにおいて、アキシコンレンズ400Bが光電変換部群102側に凸である点を除いて、実施例1に係る固体撮像装置1と概ね同様の構成を有する。
【0046】
アキシコンレンズ400Bは、オンチップレンズ500の内部に光電変換部群102側に凸となるように埋め込み状態で設けられている。
【0047】
固体撮像装置2によれば、実施例1に係る固体撮像装置1と同様の効果が得られる。
【0048】
<3.本技術の一実施形態の実施例3に係る固体撮像装置>
図11は、本技術の一実施形態の実施例3に係る固体撮像装置3の一部の断面図である。
図12は、本技術の一実施形態の実施例3に係る固体撮像装置3の他部の断面図である。
図11は、
図1に対応する断面図である。
図12は、
図2に対応する断面図である。
【0049】
固体撮像装置3は、
図11及び
図12に示すように、各画素Pにおいて、オンチップレンズ500の光軸に沿って複数(例えば2つ)のアキシコンレンズが配置されている点を除いて、実施例1に係る固体撮像装置1と概ね同様の構成を有する。
【0050】
固体撮像装置3では、一例として、複数(例えば2つ)のアキシコンレンズが、オンチップレンズ500側に凸のアキシコンレンズ400Aと、光電変換部群102側に凸のアキシコンレンズ400Bとを含む。
【0051】
2つのアキシコンレンズ400A、400Bは、一例として、実質的に同一のアキシコンレンズであり、光軸同士が一致するように底面同士が接合されている。
【0052】
固体撮像装置3によれば、実施例1に係る固体撮像装置1と同様の効果が得られるとともに、2つのアキシコンレンズ400A、400Bの組み合わせによりリング状集光スポットの調整が可能である。
【0053】
<4.本技術の一実施形態の実施例4に係る固体撮像装置>
図13は、本技術の一実施形態の実施例4に係る固体撮像装置4の一部の断面図である。
図14は、本技術の一実施形態の実施例4に係る固体撮像装置4の他部の断面図である。
図13は、
図1に対応する断面図である。
図14は、
図2に対応する断面図である。
【0054】
固体撮像装置4は、
図13及び
図14に示すように、各画素Pにおいて、複数(例えば2つ)のアキシコンレンズがオンチップレンズ500の光軸方向に離間している点を除いて、実施例3に係る固体撮像装置3と概ね同様の構成を有する。
【0055】
2つのアキシコンレンズ400A、400Bは、一例として、光軸同士が一致し、且つ、底面同士が向かい合うようにオンチップレンズ500内に埋め込み状態で設けられている。
【0056】
固体撮像装置4によれば、実施例1に係る固体撮像装置1と同様の効果が得られるとともに、2つのアキシコンレンズ400A、400Bの組み合わせによりリング状集光スポットの調整が可能である。
【0057】
<5.本技術の一実施形態の実施例5に係る固体撮像装置>
図15は、本技術の一実施形態の実施例5に係る固体撮像装置5の一部の断面図である。
図16は、本技術の一実施形態の実施例5に係る固体撮像装置5の他部の断面図である。
図15は、
図1に対応する断面図である。
図16は、
図2に対応する断面図である。
【0058】
固体撮像装置5は、
図15及び
図16に示すように、各画素Pにおいて、アキシコンレンズ400Aが、オンチップレンズ500(詳しくは、オンチップレンズ500の出光面)と光電変換部群102との間に配置されている点を除いて、実施例1に係る固体撮像装置1と概ね同様の構成を有する。
【0059】
固体撮像装置5では、複数のオンチップレンズ500を含むオンチップレンズ群が透明基板600上に設けられている。透明基板600は、カラーフィルタ群上に配置されている。透明基板600の光電変換部群102側の面(下面)に形成された円錐状の凹部にアキシコンレンズ400Aが嵌め込み状態で設けられている。透明基板600の屈折率は、オンチップレンズ500の屈折率と同一であることが好ましい。
【0060】
固体撮像装置5によれば、実施例1に係る固体撮像装置1と同様の効果が得られる。
【0061】
<6.本技術の一実施形態の実施例6に係る固体撮像装置>
図17は、本技術の一実施形態の実施例6に係る固体撮像装置6の一部の断面図である。
図18は、本技術の一実施形態の実施例6に係る固体撮像装置6の他部の断面図である。
図17は、
図1に対応する断面図である。
図18は、
図2に対応する断面図である。
【0062】
固体撮像装置6は、
図17及び
図18に示すように、各画素Pにおいて、アキシコンレンズ400Bが、オンチップレンズ500(詳しくは、オンチップレンズ500の出光面)と光電変換部群102との間に配置されている点を除いて、実施例1に係る固体撮像装置1と概ね同様の構成を有する。
【0063】
固体撮像装置6では、複数のオンチップレンズ500を含むオンチップレンズ群が透明基板600上に設けられている。透明基板600は、カラーフィルタ群上に配置されている。透明基板600の内部にアキシコンレンズ400Bが埋め込み状態で設けられている。透明基板600の屈折率は、オンチップレンズ500の屈折率と同一であることが好ましい。
【0064】
固体撮像装置6によれば、実施例1に係る固体撮像装置1と同様の効果が得られる。
【0065】
<7.本技術の一実施形態の実施例7に係る固体撮像装置>
図19は、本技術の一実施形態の実施例7に係る固体撮像装置7の断面図である。
【0066】
固体撮像装置7は、
図19に示すように、単一画素を有する点を除いて、実施例1に係る固体撮像装置1と概ね同様の構成を有する。
【0067】
固体撮像装置7によれば、実施例1に係る固体撮像装置1と同様の効果が得られる、単一のカラー画素を有する固体撮像装置を実現できる。ここでは、青色(B)のカラーフィルタ300Aが設けられているが、これに代えて、緑色(G)のカラーフィルタ300Bや、赤色(R)のカラーフィルタ300Cを設けてもよい。
<8.本技術の一実施形態の実施例8に係る固体撮像装置>
図20は、本技術の一実施形態の実施例8に係る固体撮像装置8の一部の断面図である。
図21は、本技術の一実施形態の実施例8に係る固体撮像装置8の他部の断面図である。
図20は、
図1に対応する断面図である。
図21は、
図2に対応する断面図である。
【0068】
固体撮像装置8は、
図20及び
図21に示すように、カラーフィルタ群を有していない点を除いて、実施例1に係る固体撮像装置1と概ね同様の構成を有する。
【0069】
固体撮像装置8によれば、実施例1に係る固体撮像装置1と同様の効果が得られる、複数のモノクロ画素を有する固体撮像装置を実現できる。
【0070】
<9.本技術の一実施形態の実施例9に係る固体撮像装置>
図22は、本技術の一実施形態の実施例9に係る固体撮像装置9の断面図である。
【0071】
固体撮像装置9は、
図22に示すように、単一画素を有する点を除いて、実施例8に係る固体撮像装置8と概ね同様の構成を有する。
【0072】
固体撮像装置9によれば、実施例1に係る固体撮像装置1と同様の効果が得られる、単一のモノクロ画素を有する固体撮像装置を実現できる。
【0073】
<10.本技術の変形例>
以上説明した各実施例の固体撮像装置の構成は、適宜変更可能である。
【0074】
上記各実施例では、2×2のマトリクス配列で配列された4つの光電変換部102aに対して1つのオンチップレンズ500が共通に設けられているが、これに限らない。例えば、
図23Aに示す変形例1に係る固体撮像装置のように、3×3のマトリクス配列で配列された9つの光電変換部102aに対して1つのオンチップレンズ500が共通に設けられていてもよい。例えば、
図23Bに示す変形例2に係る固体撮像装置のように、4×4のマトリクス配列で配列された16個の光電変換部102aに対して1つのオンチップレンズ500が共通に設けられていてもよい。
【0075】
上記各実施例では、2×2のマトリクス配列で配列された4つの光電変換部102aに対して1つのオンチップレンズ500及び1つのカラーフィルタ300が共通に設けられているが、これに限らない。例えば、
図23Aに示す変形例1に係る固体撮像装置のように、3×3のマトリクス配列で配列された9つの光電変換部102aに対して1つのオンチップレンズ500及び1つのカラーフィルタ300が共通に設けられていてもよい。い。例えば、
図23Bに示す変形例2に係る固体撮像装置のように、4×4のマトリクス配列で配列された16個の光電変換部102aに対して1つのオンチップレンズ500及び1つのカラーフィルタ300が共通に設けられていてもよい。
【0076】
上記各実施例では、光電変換部群102を構成する複数の光電変換部102aがN×N(Nは2以上の整数)のマトリクス配列で配列されているが、これを拡張して、光電変換部群102を構成する複数の光電変換部102aがK×I(K、Iの少なくとも一方が2以上の整数)のマトリクス配列で配列されていてもよい。
【0077】
上記各実施例では、光電変換部群102を構成する複数の光電変換部102aがマトリクス配列されているが、これに限らない。例えば、
図24に示す変形例3に係る固体撮像装置のように、光電変換部群102を構成する複数の光電変換部102aが千鳥配列されていてもよい。この場合に、各カラーフィルタ300が、該複数の光電変換部102aの配置に応じた形状を有していることが好ましい。
【0078】
本技術に係る固体撮像装置の画素配列は、ベイヤー配列に限らず、他の配列であってもよい。例えば、斜めベイヤー配列であってもよい。例えば、RGBの各画素Pの一部(例えば対角要素)をW(ホワイト)で置き換えたRGBW配列であってもよい。例えば、B画素(青色画素)の一部をC(シアン)で置き換え、且つ、R画素(赤色画素)の一部をM(マゼンタ)で置き換え、且つ、G画素(緑色画素)の一部をY(イエロー)で置き換えた、RGB+補色配列であってもよい。
【0079】
例えば、上記各実施例及び各変形例の固体撮像装置の構成を技術的に矛盾しない範囲内で相互に組み合わせてもよい。
【0080】
上記各実施例及び各変形例の説明で用いた数値、材料、形状、寸法等は、一例であって、これらに限定されるものではない。
【0081】
<11.本技術を適用した固体撮像装置の使用例>
図25は、本技術に係る固体撮像装置(例えば各実施例及び変形例に係る固体撮像装置)が固体撮像装置(イメージセンサ)を構成する場合の使用例を示す図である。
【0082】
上述した各実施例及び各変形例は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングするさまざまなケースに使用することができる。すなわち、
図25に示すように、例えば、鑑賞の用に供される画像を撮影する鑑賞の分野、交通の分野、家電の分野、医療・ヘルスケアの分野、セキュリティの分野、美容の分野、スポーツの分野、農業の分野等において用いられる装置に使用することができる。
【0083】
具体的には、鑑賞の分野においては、例えば、デジタルカメラやスマートフォン、カメラ機能付きの携帯電話機等の、鑑賞の用に供される画像を撮影するための装置に、本技術に係る固体撮像装置を使用することができる。
【0084】
交通の分野においては、例えば、自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置に、本技術に係る固体撮像装置を使用することができる。
【0085】
家電の分野においては、例えば、ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビ受像機や冷蔵庫、エアーコンディショナ等の家電に供される装置で、本技術に係る固体撮像装置を使用することができる。
【0086】
医療・ヘルスケアの分野においては、例えば、内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置に、本技術に係る固体撮像装置を使用することができる。
【0087】
セキュリティの分野においては、例えば、防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置に、本技術に係る固体撮像装置を使用することができる。
【0088】
美容の分野においては、例えば、肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置に、本技術に係る固体撮像装置を使用することができる。
【0089】
スポーツの分野において、例えば、スポーツ用途等向けのアクションカメラやウェアラプルカメラ等の、スポーツの用に供される装置に、本技術に係る固体撮像装置を使用することができる。
【0090】
農業の分野においては、例えば、畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置に、本技術に係る固体撮像装置を使用することができる。
【0091】
次に、本技術に係る固体撮像装置(例えば各実施例及び各変形例に係る固体撮像装置)の使用例を具体的に説明する。例えば、上述で説明をした各実施例及び各変形例に係る固体撮像装置は、固体撮像装置501として、例えばデジタルスチルカメラやビデオカメラ等のカメラシステムや、撮像機能を有する携帯電話など、撮像機能を備えたあらゆるタイプの電子機器に適用することができる。
図26に、その一例として、電子機器510(カメラ)の概略構成を示す。この電子機器510は、例えば静止画または動画を撮影可能なビデオカメラであり、固体撮像装置501と、光学系(光学レンズ)502と、シャッタ装置503と、固体撮像装置501およびシャッタ装置503を駆動する駆動部504と、信号処理部505とを有する。
【0092】
光学系502は、被写体からの像光(入射光)を固体撮像装置501の画素領域へ導くものである。この光学系502は、複数の光学レンズから構成されていてもよい。シャッタ装置503は、固体撮像装置501への光照射期間および遮光期間を制御するものである。駆動部504は、固体撮像装置501の転送動作およびシャッタ装置503のシャッタ動作を制御するものである。信号処理部505は、固体撮像装置501から出力された信号に対し、各種の信号処理を行うものである。信号処理後の映像信号Doutは、メモリなどの記憶媒体に記憶されるか、あるいは、モニタ等に出力される。
【0093】
<12.本技術を適用した固体撮像装置の他の使用例>
本技術に係る固体撮像装置(例えば各実施例及び各変形例に係る固体撮像装置)は、例えば、TOF(Time Of Flight)センサなど、光を検出する他の電子機器へ適用することもできる。TOFセンサへ適用する場合は、例えば、直接TOF計測法による距離画像センサ、間接TOF計測法による距離画像センサへ適用することが可能である。直接TOF計測法による距離画像センサでは、フォトンの到来タイミングを各画素において直接時間領域で求めるため、短いパルス幅の光パルスを送信し、高速に応答する受信機で電気的パルスを生成する。その際の受信機に本開示を適用することができる。また、間接TOF法では、光で発生したキャリアーの検出と蓄積量が、光の到来タイミングに依存して変化する半導体素子構造を利用して光の飛行時間を計測する。本開示は、そのような半導体構造としても適用することが可能である。TOFセンサへ適用する場合は、
図1等に示したようなカラーフィルタ及びオンチップレンズを設けることは任意であり、これらの少なくとも一方を設けなくても良い。
【0094】
<13.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0095】
図27は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0096】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。
図27に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
【0097】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0098】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0099】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0100】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0101】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0102】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0103】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0104】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0105】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。
図27の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0106】
図28は、撮像部12031の設置位置の例を示す図である。
【0107】
図28では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
【0108】
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0109】
なお、
図28には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0110】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0111】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0112】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0113】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0114】
以上、本開示に係る技術(本技術)が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031等に適用され得る。具体的には、本開示の固体撮像装置111は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、歩留まりを向上させ、製造に係るコストを低減させることが可能となる。
【0115】
<14.内視鏡手術システムへの応用例>
本技術は、様々な製品へ応用することができる。例えば、本開示に係る技術(本技術)は、内視鏡手術システムに適用されてもよい。
【0116】
図29は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【0117】
図29では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
【0118】
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【0119】
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0120】
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
【0121】
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【0122】
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
【0123】
光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
【0124】
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
【0125】
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0126】
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0127】
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0128】
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
【0129】
図30は、
図29に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
【0130】
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
【0131】
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【0132】
撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
【0133】
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
【0134】
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
【0135】
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
【0136】
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【0137】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
【0138】
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
【0139】
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
【0140】
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【0141】
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
【0142】
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
【0143】
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
【0144】
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0145】
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
【0146】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、内視鏡11100や、カメラヘッド11102(の撮像部11402)等に適用され得る。具体的には、本開示の固体撮像装置111は、撮像部10402に適用することができる。内視鏡11100や、カメラヘッド11102(の撮像部11402)等に本開示に係る技術を適用することにより、歩留まりを向上させ、製造に係るコストを低減させることが可能となる。
【0147】
ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
【0148】
また、本技術は、以下のような構成をとることもできる。
(1)複数の光電変換部を含む光電変換部群と、
前記光電変換部群に対応するオンチップレンズと、
前記オンチップレンズの入光面と前記光電変換部群との間に配置されたアキシコンレンズと、
を備える、固体撮像装置。
(2)前記入光面及び前記アキシコンレンズをこの順に介した光が前記複数の光電変換部に跨って入射される、(1)に記載の固体撮像装置。
(3)前記アキシコンレンズが、前記オンチップレンズの内部に配置されている、(1)又は(2)に記載の固体撮像装置。
(4)前記アキシコンレンズが、前記オンチップレンズと前記光電変換部群との間に配置されている、(1)~(3)のいずれか1つに記載の固体撮像装置。
(5)前記アキシコンレンズは、前記オンチップレンズ側に凸である、(1)~(4)のいずれか1つに記載の固体撮像装置。
(6)前記アキシコンレンズは、前記光電変換部群側に凸である、(1)~(4)のいずれか1つに記載の固体撮像装置。
(7)前記オンチップレンズの光軸に沿って複数の前記アキシコンレンズが配置されていている、(1)~(6)のいずれか1つに記載の固体撮像装置。
(8)前記複数のアキシコンレンズが、
前記オンチップレンズ側に凸の前記アキシコンレンズと、
前記光電変換部群側に凸の前記アキシコンレンズと、
を含む、(7)に記載の固体撮像装置。
(9)前記複数の光電変換部が、前記オンチップレンズの光軸と交差する平面に沿って二次元配列されている、(1)~(8)のいずれか1つに記載の固体撮像装置。
(10)前記二次元配列は、マトリクス配列である、(9)に記載の固体撮像装置。
(11)前記マトリクス配列は、N×N(Nは2以上の整数)のマトリクス配列である、(10)に記載の固体撮像装置。
(12)前記二次元配列は、千鳥配列である、(9)に記載の固体撮像装置。
(13)前記オンチップレンズの光軸と前記アキシコンレンズの光軸とが、平行である、(1)~(12)のいずれか1つに記載の固体撮像装置。
(14)前記オンチップレンズの光軸と前記アキシコンレンズの光軸とが、一致している、(1)~(13)のいずれか1つに記載の固体撮像装置。
(15)前記アキシコンレンズの底面の直径に対する高さの比率は、2以上4以下である、(1)~(14)のいずれか1つに記載の固体撮像装置。
(16)前記アキシコンレンズに反射防止膜が設けられている、(1)~(15)のいずれか1つに記載の固体撮像装置。
(17)複数の前記光電変換部群が半導体基板の内部に該半導体基板の面内方向に二次元配列され、
前記光電変換部群毎に前記オンチップレンズ及び前記アキシコンレンズが設けられている、(1)~(16)のいずれか1つに記載の固体撮像装置。
(18)複数の前記オンチップレンズを含むオンチップレンズ群と前記半導体基板との間に配置された、複数のカラーフィルタを含むカラーフィルタ群を更に備える、(17)に記載の固体撮像装置。
(19)前記複数のカラーフィルタが、前記複数の光電変換部群に個別に対応する、(18)に記載の固体撮像装置。
(20)複数の光電変換部を含む光電変換部群と、
前記光電変換部群に対応するオンチップレンズと、
前記オンチップレンズの入光面と前記光電変換部群との間に配置されたアキシコンレンズと、
を含む、固体撮像装置を備える電子機器。
【符号の説明】
【0149】
1、2、3、4、5、6、7、8、9:固体撮像装置
102:光電変換部群
102a:光電変換部
300A:カラーフィルタ
300B:カラーフィルタ
300C:カラーフィルタ
400A:アキシコンレンズ
400B:アキシコンレンズ
500:オンチップレンズ
500a:入光面
SS:半導体基板
OA1:オンチップレンズの光軸
OA2:アキシコンレンズの光軸