(58)【調査した分野】(Int.Cl.,DB名)
前記照度は、前記閾値に応じて、前記第1の照度と、前記第1の照度よりも低い照度である第2の照度と、前記第2の照度よりも低い照度である第3の照度との3段階に分類される
請求項8に記載の固体撮像装置。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
【0015】
1.固体撮像装置の構成
2.本技術の実施の形態
3.変形例
4.電子機器の構成
5.固体撮像装置の使用例
6.移動体への応用例
【0017】
(固体撮像装置の構成例)
図1は、本技術を適用した固体撮像装置の一実施の形態の構成例を示すブロック図である。
【0018】
固体撮像装置10は、被写体からの入射光を取り込んで、撮像面上に結像された入射光の光量を画素単位で電気信号に変換し、画素信号として出力するイメージセンサである。
【0019】
図1において、固体撮像装置10は、画素アレイ部21、制御回路22、及び読み出し回路23を含んで構成される。
【0020】
画素アレイ部21は、複数のSPAD(Single Photon Avalanche Diode)画素を、2次元状(行列状)に配列している。ここで、SPAD画素は、単一光子アバランシェフォトダイオード(SPAD)を含む画素である。この単一光子アバランシェフォトダイオードは、1光子を検出できるように半導体内中に、アバランシェ部を作り、1光子から光電変換された電子がこの部分を通過することで、数万倍の電子に増倍(増幅)される構造からなる。
【0021】
制御回路22は、固体撮像装置10の各部の動作を制御する。
【0022】
また、制御回路22は、画素駆動線を介して、SPAD画素を駆動するための駆動信号(パルス)を出力することで、画素アレイ部21に2次元状に配列された複数のSPAD画素の駆動を制御する。例えば、制御回路22は、照度の検出結果に基づいて、画素アレイ部21に2次元状に配列された複数のSPAD画素の駆動を制御する。
【0023】
読み出し回路23は、画素アレイ部21に2次元状に配列された複数のSPAD画素を順次走査して、各SPAD画素により生成された画素信号を、信号線を介して読み出す。読み出し回路23は、読み出された画素信号を、後段の信号処理部(不図示)に出力する。
【0024】
固体撮像装置10は、以上のように構成される。
【0026】
ところで、固体撮像装置10は、複数のSPAD画素が2次元状に配列された画素アレイ部21を有し、明るい場面での撮像時に、例えば、数万の光子が入射してそれが増倍されることで、数億の電子が発生するため、消費電力の削減を行うことが望ましいが、本技術では、以下の手法によって、消費電力の削減を図っている。
【0027】
すなわち、固体撮像装置10では、基準の照度よりも高い照度となる場合に、画素アレイ部21に配列される複数のSPAD画素のうち、一部のSPAD画素が間引かれるようにすることで、より低い消費電力で撮像を行うことができるようにしている。
【0028】
なお、照度としては、例えば、閾値に応じて、高照度と、高照度よりも低い照度である中照度と、中照度よりも低い照度である低照度との3段階に分類することができる。具体的には、例えば、高照度は、10,000lux程度とされ、中照度は、1,000lux程度とされ、低照度は、0.01lux程度とされる。
【0029】
また、例えば、照度としては、閾値に応じて、高照度と、高照度よりも低い照度である低照度の2段階に分類することもできる。すなわち、照度は、閾値に応じて、複数の段階の照度に分類される。
【0030】
(SPAD画素の駆動の第1の例)
図2は、
図1の画素アレイ部21に配列される複数のSPAD画素の駆動の第1の例を示している。
【0031】
図2においては、画素アレイ部21に2次元状に配列される複数のSPAD画素100のうち、例えば、光の入射側から見て、左上の領域に配列される16行16列の画素を示している。
【0032】
なお、
図2においては、画素アレイ部21の左側の領域と上側の領域に、SPAD画素100のi行j列に対応した行番号と列番号が表記されている。以下の説明では、画素アレイ部21に配列された複数のSPAD画素100のi行j列を、SPAD画素100(i,j)と表記する。
【0033】
また、カラーフィルタとして、赤(R)のカラーフィルタが設けられ、Rカラーフィルタを透過した光から、赤(R)成分の光に対応した画素信号が得られる画素を、R画素と表記する。
【0034】
同様に、緑(G)のカラーフィルタを透過した光から、緑(G)成分の光に対応した画素信号が得られる画素を、G画素と表記する。また、青(B)のカラーフィルタを透過した光から、青(B)成分の光に対応した画素信号が得られる画素を、B画素と表記する。
【0035】
すなわち、画素アレイ部21においては、複数のSPAD画素100が、R画素、G画素、又はB画素として、2次元状に規則的に配列され、ベイヤー配列となっている。なお、ベイヤー配列とは、G画素が市松状に配され、残った部分に、R画素とB画素とが一列ごとに交互に配される配列パターンである。
【0036】
ここで、画素アレイ部21において、SPAD画素100(3,3)に注目すれば、このSPAD画素100(3,3)は、B画素であって、「OFF」である文字が付された間引き画素でもある。
【0037】
間引き画素とは、高照度時に、画素アレイ部21に配列された複数のSPAD画素100の中から間引かれる画素である。SPAD画素100(3,3)は、制御回路22からの駆動制御に従い、高照度時に間引き画素となる。
【0038】
画素アレイ部21において、SPAD画素100(2,9),SPAD画素100(4,7),SPAD画素100(4,13),SPAD画素100(6,2),SPAD画素100(6,7),SPAD画素100(6,14),SPAD画素100(7,13),及びSPAD画素100(8,5)は、SPAD画素100(3,3)と同様に、間引き画素とされる。
【0039】
さらに、画素アレイ部21において、SPAD画素100(9,16),SPAD画素100(10,4),SPAD画素100(10,13),SPAD画素100(11,1),SPAD画素100(11,5),SPAD画素100(11,9),SPAD画素100(13,3),SPAD画素100(13,13),SPAD画素100(14,6),SPAD画素100(14,9),及びSPAD画素100(15,15)は、SPAD画素100(3,3)と同様に、間引き画素とされる。
【0040】
このように、画素アレイ部21においては、高照度時に、複数のSPAD画素100のうち、任意のSPAD画素100が、画素単位で不規則(ランダム)に、間引き画素になっている。そして、高照度時において、画素アレイ部21に配列された複数のSPAD画素100のうち、一部のSPAD画素100が、画素単位で間引かれているため、消費電力を削減することができる。
【0041】
なお、間引き画素の位置に対応した画像信号は、例えば、後段の信号処理回路で、間引き画素の周辺の画素から得られる画像信号を用いた所定の信号処理(例えば補正処理)を行うことで求めることができる。
【0042】
(SPAD画素の駆動の第2の例)
図3は、
図1の画素アレイ部21に配列される複数のSPAD画素の駆動の第2の例を示している。
【0043】
図3の画素アレイ部21においては、
図2に示した画素アレイ部21と同様に、複数のSPAD画素100が、R画素、G画素、又はB画素として、2次元状に規則的に配列され、ベイヤー配列となっている。
【0044】
また、
図3の画素アレイ部21においても、複数のSPAD画素100のうち、一部のSPAD画素100が、間引き画素になっているが、間引き画素は、画素単位ではなく、複数の画素からなるブロック単位で配置されている。
【0045】
例えば、画素アレイ部21において、SPAD画素100(1,1)乃至100(1,4)、SPAD画素100(2,1)乃至100(2,4)、SPAD画素100(3,1)乃至100(3,4)、及びSPAD画素100(4,1)乃至100(4,4)からなる4×4画素のSPAD画素100によって、1つのブロックが構成されている。このブロック内のSPAD画素100は、高照度時に間引き画素となる。
【0046】
また、例えば、画素アレイ部21において、SPAD画素100(1,5)乃至100(1,8)、SPAD画素100(2,5)乃至100(2,8)、SPAD画素100(3,5)乃至100(3,8)、及びSPAD画素100(4,5)乃至100(4,8)からなる4×4画素のSPAD画素100によって、1つのブロックが構成されている。このブロック内のSPAD画素100は、通常の画素であって、高照度時でも、R画素、G画素、又はB画素のいずれかとなる。
【0047】
同様に、画素アレイ部21においては、4×4画素のブロック単位で、通常のSPAD画素100を含む第1のブロックと、高照度時に間引き画素となるSPAD画素100を含む第2のブロックとが、行方向と列方向で、交互に繰り返されている。
【0048】
このように、画素アレイ部21においては、高照度時に、複数のSPAD画素100のうち、任意のSPAD画素100が、ブロック単位で規則的に、間引き画素になっている。そして、高照度時において、画素アレイ部21に配列された複数のSPAD画素100のうち、一部のSPAD画素100が、ブロック単位で間引かれているため、消費電力を削減することができる。
【0049】
(SPAD画素の構造の第1の例)
図4は、SPAD画素100の構造の第1の例を示す断面図である。
【0050】
図4のSPAD画素100において、単一光子アバランシェフォトダイオード110では、例えば、アノード111又はカソード112に、アバランシェ増倍を発生させるための電圧が印加され、入射光の受光部となるn-wellとp+拡散層との間のpn接合によって、アバランシェ増倍を発生させる。
【0051】
単一光子アバランシェフォトダイオード110において、アノード111には、トランジスタ121が接続されている。トランジスタ121のゲートには、制御回路22からの駆動信号が入力され、トランジスタ121のオン/オフが制御される。
【0052】
制御回路22は、高照度以外の低照度又は中照度となる場合には、高照度時に間引き画素となるSPAD画素100に対し、所定のレベルの駆動信号が、トランジスタ121のゲートに入力されるようにすることで、対象のSPAD画素100を、R画素、G画素、又はB画素として駆動する。
【0053】
また、制御回路22は、高照度となる場合には、高照度時に間引き画素となるSPAD画素100に対し、所定のレベルの駆動信号が、トランジスタ121のゲートに入力されるようにすることで、対象のSPAD画素100を、間引き画素とする。
【0054】
なお、制御回路22は、通常の画素となるSPAD画素100に対しては、所定のレベルの駆動信号が、トランジスタ121のゲートに入力されるようにすることで、高照度や中照度、低照度に関係なく、常に、対象のSPAD画素100を、R画素、G画素、又はB画素として駆動する。
【0055】
このように、SPAD画素100において、単一光子アバランシェフォトダイオード110のアノード111に、トランジスタ121を接続して、その電圧を制御することで、高照度時において、画素アレイ部21に配列された複数のSPAD画素100のうち、一部のSPAD画素100を、画素単位又はブロック単位で間引くことが可能となる。
【0056】
(SPAD画素の構造の第2の例)
図5は、SPAD画素100の構造の第2の例を示す断面図である。
【0057】
図5のSPAD画素100において、単一光子アバランシェフォトダイオード110のカソード112には、トランジスタ122が接続されている。トランジスタ122のゲートには、制御回路22からの駆動信号が入力され、トランジスタ122のオン/オフが制御される。
【0058】
このように、SPAD画素100において、単一光子アバランシェフォトダイオード110のカソード112に、トランジスタ122を接続して、その電圧を制御することで、高照度時において、画素アレイ部21に配列された複数のSPAD画素100のうち、一部のSPAD画素100を、画素単位又はブロック単位で間引くことが可能となる。
【0059】
(SPAD画素の構造の第3の例)
図6は、SPAD画素100の構造の第3の例を示す平面図である。
【0060】
図6のSPAD画素100においては、単一光子アバランシェフォトダイオード110における倍増領域であるアバランシェ部131が複数に分割され、アノード111とカソード112が、分割されたアバランシェ部131のそれぞれに接続される構造からなる。
【0061】
ここでは、アバランシェ部131が4分割されて、分割アバランシェ部131−1乃至131−4が形成され、分割アバランシェ部131−1乃至131−4のそれぞれに対し、カソード112−1乃至112−4のそれぞれが接続されている。
【0062】
図7は、SPAD画素100の構造の第3の例を示す断面図として、
図6のA−A'断面を示している。
【0063】
図7の単一光子アバランシェフォトダイオード110において、分割アバランシェ部131−1には、カソード112−1が接続されている。このカソード112−1には、トランジスタ122−1が接続され、制御回路22からの駆動信号に従い、オン/オフの動作が制御される。
【0064】
一方で、分割アバランシェ部131−4には、カソード112−4が接続されている。このカソード112−4には、トランジスタ122−4が接続され、制御回路22からの駆動信号に従い、オン/オフの動作が制御される。
【0065】
制御回路22は、高照度となる場合には、高照度時に間引き画素となるSPAD画素100に対し、所定のレベルの駆動信号が、トランジスタ122−1乃至122−4のゲートに入力されるようにすることで、対象のSPAD画素100を、間引き画素とする。
【0066】
このとき、SPAD画素100においては、トランジスタ122−1乃至122−4のゲートのそれぞれに対し、所定のレベルの駆動信号が入力されるようにすることで、分割アバランシェ部131−1乃至131−4ごとに、駆動を制御することができる。
【0067】
例えば、低照度時又は中照度時には、分割アバランシェ部131−1乃至131−4の4つの分割アバランシェ部をすべて使用するが(すなわち、このときの使用割合は「4/4」となる)、高照度時には、分割アバランシェ部131−1乃至131−4のうち、3つの分割アバランシェ部のみを使用するようにする(すなわち、このときの使用割合は「3/4」となる)。
【0068】
なお、このような分割アバランシェ部単位の間引きの制御であるが、画素アレイ部21に配列された複数のSPAD画素100のすべてに対して行われるようにしてもよいし、一部のSPAD画素100のみに対して行われるようにしてもよい。
【0069】
このように、SPAD画素100において、アバランシェ部131を複数に分割した場合に、各分割アバランシェ部131−1乃至131−4のカソード112−1乃至112−4に対して、トランジスタ122−1乃至122−4を接続して、その電圧を制御することで、高照度時において、画素アレイ部21に配列された複数のSPAD画素100のうち、一部のSPAD画素100を、分割画素単位(分割アバランシェ部単位)で間引くことが可能となる。
【0070】
(SPAD画素の構造の第4の例)
図8は、SPAD画素100の構造の第4の例を示す平面図である。
【0071】
図8のSPAD画素100においては、上述した第3の例と同様に、アバランシェ部131が4分割され、アバランシェ部131−1乃至131−4に対し、アノード111とカソード112が接続された構造からなる。
【0072】
図9は、SPAD画素100の構造の第4の例を示す断面図として、
図8のA−A'断面を示している。
【0073】
図9の単一光子アバランシェフォトダイオード110において、分割アバランシェ部131−1には、カソード112が接続されるほか、分割アバランシェ部131−1の上部の一部を覆うようにゲート電極141−1が設けられている。
【0074】
ここで、ゲート電極141−1の上部には、配線用のコンタクトが接続される。ゲート電極141−1は、コンタクトを介して印加される駆動信号に応じて、オン/オフの動作を行うことで、分割アバランシェ部131−1からの電子が、カソード112に転送されるようにする。
【0075】
オーバーフロードレイン(OFD:Overflow Drain)142−1は、ゲート電極141−1がオフとされるとき、隣接するアバランシェ部131(例えば、分割アバランシェ部131−2乃至131−4)に、電子が漏れないように、不要な電子を排出できるようになされる。
【0076】
一方で、分割アバランシェ部131−4には、カソード112が接続されるほか、ゲート電極141−4とオーバーフロードレイン142−4が設けられている。ゲート電極141−4は、コンタクトを介して印加される駆動信号に応じて、オン/オフの動作を行うことで、分割アバランシェ部131−4からの電子が、カソード112に転送されるようにする。
【0077】
制御回路22は、高照度となる場合には、高照度時に間引き画素となるSPAD画素100に対し、所定のレベルの駆動信号が、ゲート電極141−1乃至141−4に印加されるようにすることで、対象のSPAD画素100を、間引き画素とする。
【0078】
このとき、SPAD画素100においては、ゲート電極141−1乃至141−4のそれぞれに対し、所定のレベルの駆動信号が入力されるようにすることで、分割アバランシェ部131−1乃至131−4ごとに、駆動を制御することができる。
【0079】
例えば、低照度時又は中照度時には、分割アバランシェ部131−1乃至131−4の4つの分割アバランシェ部をすべて使用するが(すなわち、このときの使用割合は「4/4」となる)、高照度時には、分割アバランシェ部131−1乃至131−4のうち、1つの分割アバランシェ部のみを使用するようにする(すなわち、このときの使用割合は「1/4」となる)。
【0080】
なお、このような分割アバランシェ部単位の間引きの制御であるが、画素アレイ部21に配列された複数のSPAD画素100のすべてに対し、あるいは一部のSPAD画素100のみに対して行われるようにすることができる。
【0081】
このように、SPAD画素100において、アバランシェ部131を複数に分割した場合に、カソード112とそれぞれ接続される各分割アバランシェ部131−1乃至131−4に対し、ゲート電極141−1乃至141−4を設けて、その電圧を制御することで、高照度時において、画素アレイ部21に配列された複数のSPAD画素100のうち、一部のSPAD画素100を、分割画素単位(分割アバランシェ部単位)で間引くことが可能となる。
【0082】
(アバランシェ発生確率を利用した駆動の例)
図10は、単一光子アバランシェフォトダイオード110のアノード−カソード間の電圧差によるアバランシェ発生確率の例を示す図である。
【0083】
図10において、横軸は、アノード−カソード間の電圧差を表し、縦軸は、アバランシェ発生確率を表している。
【0084】
図10に示すように、アノード−カソード間の電圧差が小さいほど、アバランシェ発生確率が低くなる一方で、アノード−カソード間の電圧差が大きいほど、アバランシェ発生確率が大きくなっている。
【0085】
すなわち、アノード−カソード間の電圧差が十分に高いときには、例えば、すべての電子がアバランシェ増倍を起こすことができるが、この電圧差が低くなると、例えば、アバランシェ増倍を起こす電子が略半分程度となる。
【0086】
ここでは、例えば、低照度時には、アノード−カソード間の電圧差を、アバランシェ発生確率が100%になるように制御する一方で、高照度時には、アノード−カソード間の電圧差を、アバランシェ発生確率が下がるように制御する。これにより、高照度時においても、より低い消費電力で撮像が行われるようにすることができる。
【0087】
(SPAD画素駆動制御処理の流れ)
次に、
図11のフローチャートを参照して、制御回路22により実行されるSPAD画素駆動制御処理の流れを説明する。
【0088】
ステップS11において、制御回路22は、照度の検出結果を取得する。
【0089】
ここでの照度の検出方法としては、様々な検出方法を採用することができるが、例えば、照度センサからの出力や、固体撮像装置10の出力から得られる画像の解析結果(例えば、画像が明るすぎて、飽和しているかどうかなど)などから、照度の検出結果を得ることができる。
【0090】
ステップS12において、制御回路22は、ステップS11の処理で得られる照度の検出結果に基づいて、照度の検出結果を閾値と比較して、高照度であるかどうかを判定する。
【0091】
なお、この判定処理では、照度の検出結果を、閾値に応じて、例えば、高照度、中照度、又は低照度の3段階や、高照度又は低照度の2段階などで判定することができる。
【0092】
ステップS12において、高照度であると判定された場合、処理は、ステップS13に進められる。ステップS13において、制御回路22は、間引き画素を決定する。
【0093】
ここでは、例えば、制御回路22は、あらかじめ設定された情報などに基づき、画素アレイ部21に配列された複数のSPAD画素100のうち、一部のSPAD画素100を、画素単位、ブロック単位、又は分割アバランシェ部単位などのどの単位で間引くかを決定し、さらに、実際にどのSPAD画素100を間引き画素にするかを決定する。
【0094】
すなわち、ここでは、画素アレイ部21に配列された複数のSPAD画素100のうち、高照度時に、有効にするSPAD画素100と、無効にするSPAD画素100とをそれぞれ決定しているとも言える。
【0095】
ステップS13の処理が終了すると、処理は、ステップS14の処理に進められる。なお、ステップS12において、低照度又は中照度であって、高照度ではないと判定された場合、ステップS13の処理はスキップされ、処理は、ステップS14の処理に進められる。
【0096】
ステップS14において、制御回路22は、画素アレイ部21に配列された複数のSPAD画素100の駆動を制御する。
【0097】
ここでは、高照度時には、ステップS13の処理で、間引く単位や間引く画素に関する情報が決定されているので、例えば、それらの情報に基づき、制御回路22は、画素アレイ部21に配列された複数のSPAD画素100の駆動を制御することができる。
【0098】
以上、SPAD画素駆動制御処理の流れについて説明した。
【0099】
このSPAD画素駆動制御処理では、高照度時において、画素アレイ部21に配列された複数のSPAD画素100のうち、一部のSPAD画素100を、所定の単位(例えば画素単位やブロック単位、分割アバランシェ部単位)で間引くことが可能となるため、より低い消費電力で撮像を行うことができる。
【0101】
(SPAD画素の構造の他の例)
図12は、SPAD画素100の構造の他の例を示す平面図である。
【0102】
上述した説明では、SPAD画素100において、アバランシェ部131を、4分割した場合の構造を示したが、アバランシェ部131の分割数は任意であって、例えば、2分割とした場合には、
図12に示すような構造とされる。
【0103】
すなわち、
図12においては、アバランシェ部131が2分割され、分割アバランシェ部131−1と分割アバランシェ部131−2が形成されている。ここでは、上述した第4の例と同様に、分割アバランシェ部131−1に対し、ゲート電極141−1を設けるとともに、分割アバランシェ部131−2に対し、ゲート電極141−2を設けることで、分割画素単位(分割アバランシェ部単位)で、一部のSPAD画素100を間引くことができる。
【0104】
なお、アバランシェ部131の分割数として、4分割と2分割を例示したが、その分割数は任意であって、例えば、3分割や8分割、10分割、100分割などであってもよい。
【0105】
図13は、SPAD画素100の構造のさらに他の例を示す平面図である。
【0106】
上述した説明では、SPAD画素100において、アバランシェ部131を、4分割した場合に、分割アバランシェ部131−1乃至131−4の領域の面積が、略同一の面積になる場合を例示したが、各分割アバランシェ部131−1乃至131−4の領域の面積は、異なるようにしてもよい。
【0107】
例えば、
図13に示すように、SPAD画素100において、分割アバランシェ部131−1が最も面積が大きく、分割アバランシェ部131−3,分割アバランシェ部131−2,分割アバランシェ部131−4の順に、その面積が小さくなっている。
【0108】
ここでも、上述した第4の例と同様に、分割アバランシェ部131−1乃至131−4のそれぞれに対し、ゲート電極141−1乃至ゲート電極141−4をそれぞれ設けることで、分割画素単位(分割アバランシェ部単位)で、一部のSPAD画素100を間引くことができる。
【0109】
なお、
図12及び
図13に示したSPAD画素100の構造においては、上述した第4の例と同様に、オーバーフロードレイン142を設けるようにしてもよい。また、
図12及び
図13に示したSPAD画素100の構造として、上述した第3の例と同様に、分割アバランシェ部131−N(N:1以上の整数)ごとに、異なるカソード112−Nに接続されるようにしてもよい。
【0110】
(SPAD画素の駆動の他の例)
上述した説明では、
図2に示した画素アレイ部21において、高照度時に、複数のSPAD画素100のうち、任意のSPAD画素100が、画素単位で不規則(ランダム)に、間引き画素になることで、消費電力を削減することができるとして説明したが、ここでは、画素単位で不規則に間引き画素になる場合に限らず、画素単位で規則的に間引き画素になるようにしてもよい。
【0111】
また、上述した説明では、
図3に示した画素アレイ部21において、高照度時に、複数のSPAD画素100のうち、任意のSPAD画素100が、ブロック単位で規則的に、間引き画素になることで、消費電力を削減することができるとして説明したが、ここでは、ブロック単位で規則的に間引き画素になる場合に限らず、ブロック単位で不規則(ランダム)に間引き画素になるようにしてもよい。
【0112】
さらに、高照度時において、画素アレイ部21に配列された複数のSPAD画素100から、間引きされる画素(間引き画素)の数は任意である。
【0113】
(SPAD画素の断面構造の他の例)
単一光子アバランシェフォトダイオード110において、アノードは、光の入射側の面である第1の面の側、又は第1の面と反対側の面である第2の面の側に形成され、カソードは、第2の面の側、又は第1の面の側に形成されるようにすることができる。すなわち、単一光子アバランシェフォトダイオード110のアノードとカソードは、例えば、半導体の表面にそれぞれ配置されていても、表面と裏面にそれぞれ配置されていてもよい。
【0114】
(他のセンサの例)
上述した説明では、固体撮像装置10として、画像データを得るためのイメージセンサ(例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ)を例にして説明したが、例えば、距離センサ(例えば、TOF(Time of Flight)法によって距離計測を行うセンサ)などの他のセンサとして用いられるようにしてもよい。
【0115】
(SPAD画素の配列パターンの他の例)
上述した説明では、画素アレイ部21に配列された複数のSPAD画素100の配列パターンとして、ベイヤー配列で配列される場合を説明したが、他の配列パターンを採用してもよい。また、SPAD画素100としては、R画素、G画素、又はB画素となる場合を説明したが、例えば、白(W)のW画素や、赤外線(IR)のIR画素などが含まれるようにしてもよい。
【0116】
(制御回路の他の例)
上述した説明では、画素アレイ部21に配列された複数のSPAD画素100は、制御回路22によって駆動が制御されるとして説明したが、例えば、固体撮像装置10とは異なる外部の装置からの制御に従い、SPAD画素100の駆動が制御されるようにするなど、他の手法によって、SPAD画素100の駆動が制御されるようにしてもよい。
【0118】
図14は、本技術を適用した固体撮像装置を有する電子機器の構成例を示すブロック図である。
【0119】
電子機器1000は、例えば、デジタルスチルカメラやビデオカメラ等の撮像装置や、スマートフォンやタブレット型端末等の携帯端末装置などの電子機器である。
【0120】
電子機器1000は、固体撮像装置1001、DSP回路1002、フレームメモリ1003、表示部1004、記録部1005、操作部1006、及び、電源部1007から構成される。また、電子機器1000において、DSP回路1002、フレームメモリ1003、表示部1004、記録部1005、操作部1006、及び電源部1007は、バスライン1008を介して相互に接続されている。
【0121】
固体撮像装置1001は、上述した固体撮像装置10(
図1)に対応しており、画素アレイ部21(
図1)に2次元状に配列される複数のSPAD画素100の構造として、上述の構造(例えば、SPAD画素100の構造の第1の例乃至第4の例)を採用し、その駆動として、上述の駆動(例えば、SPAD画素100の駆動の第1の例乃至第2の例)により制御を行うことができる。
【0122】
DSP回路1002は、固体撮像装置1001から供給される信号を処理するカメラ信号処理回路である。DSP回路1002は、固体撮像装置1001からの信号を処理して得られる画像データを出力する。フレームメモリ1003は、DSP回路1002により処理された画像データを、フレーム単位で一時的に保持する。
【0123】
表示部1004は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像装置1001で撮像された動画又は静止画を表示する。記録部1005は、固体撮像装置1001で撮像された動画又は静止画の画像データを、半導体メモリやハードディスク等の記録媒体に記録する。
【0124】
操作部1006は、ユーザによる操作に従い、電子機器1000が有する各種の機能についての操作指令を出力する。電源部1007は、DSP回路1002、フレームメモリ1003、表示部1004、記録部1005、及び、操作部1006の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
【0125】
電子機器1000は、以上のように構成される。本技術は、以上説明したように、固体撮像装置1001に適用される。具体的には、固体撮像装置10(
図1)は、固体撮像装置1001に適用することができる。固体撮像装置1001に本技術を適用することで、高照度時において、画素アレイ部21に配列された複数のSPAD画素100のうち、一部のSPAD画素100が、所定の単位(例えば画素単位やブロック単位、分割アバランシェ部単位)で間引かれるため、より低い消費電力で撮像を行うことができる。
【0127】
図15は、本技術を適用した固体撮像装置の使用例を示す図である。
【0128】
固体撮像装置10(
図1)は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。すなわち、
図15に示すように、鑑賞の用に供される画像を撮影する鑑賞の分野だけでなく、例えば、交通の分野、家電の分野、医療・ヘルスケアの分野、セキュリティの分野、美容の分野、スポーツの分野、又は、農業の分野などにおいて用いられる装置でも、固体撮像装置10を使用することができる。
【0129】
具体的には、鑑賞の分野において、例えば、デジタルカメラやスマートフォン、カメラ機能付きの携帯電話機等の、鑑賞の用に供される画像を撮影するための装置(例えば、
図14の電子機器1000)で、固体撮像装置10を使用することができる。
【0130】
交通の分野において、例えば、自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置で、固体撮像装置10を使用することができる。
【0131】
家電の分野において、例えば、ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビ受像機や冷蔵庫、エアーコンディショナ等の家電に供される装置で、固体撮像装置10を使用することができる。また、医療・ヘルスケアの分野において、例えば、内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置で、固体撮像装置10を使用することができる。
【0132】
セキュリティの分野において、例えば、防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置で、固体撮像装置10を使用することができる。また、美容の分野において、例えば、肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置で、固体撮像装置10を使用することができる。
【0133】
スポーツの分野において、例えば、スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置で、固体撮像装置10を使用することができる。また、農業の分野において、例えば、畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置で、固体撮像装置10を使用することができる。
【0135】
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0136】
図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0137】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。
図16に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
【0138】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0139】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0140】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0141】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0142】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0143】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0144】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0145】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0146】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。
図16の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0147】
図17は、撮像部12031の設置位置の例を示す図である。
【0148】
図17では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
【0149】
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0150】
なお、
図17には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0151】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0152】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0153】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0154】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0155】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、
図1の固体撮像装置10は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、高照度時において、画素アレイ部に配列された複数のSPAD画素のうち、一部のSPAD画素が、所定の単位(例えば画素単位やブロック単位、分割アバランシェ部単位)で間引かれるため、より低い消費電力で撮像を行うことが可能となる。
【0156】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0157】
また、本技術は、以下のような構成をとることができる。
【0158】
(1)
複数のSPAD(Single Photon Avalanche Diode)画素を2次元状に配列した画素アレイ部を備え、
基準の照度よりも高い照度である第1の照度となる場合に、前記画素アレイ部に配列される複数のSPAD画素のうち、一部のSPAD画素が間引かれるようにする
固体撮像装置。
(2)
前記画素アレイ部では、一部のSPAD画素である間引き画素が、画素単位、又は複数の画素からなるブロック単位で間引かれる
前記(1)に記載の固体撮像装置。
(3)
前記間引き画素は、画素単位又はブロック単位で、前記画素アレイ部にて規則的に又は不規則に配置される
前記(2)に記載の固体撮像装置。
(4)
前記間引き画素は、SPADのアノード又はカソードの電圧を制御することで、間引かれる
前記(1)又は(2)に記載の固体撮像装置。
(5)
前記SPAD画素は、SPADのアバランシェ部が複数に分割され、分割されたアバランシェ部である分割アバランシェ部単位で間引かれる
前記(1)に記載の固体撮像装置。
(6)
前記分割アバランシェ部は、アノード又はカソードの電圧を制御することで、間引かれる
前記(5)に記載の固体撮像装置。
(7)
前記分割アバランシェ部は、前記分割アバランシェ部の上部に設けられるゲート電極を制御することで、間引かれる
前記(5)に記載の固体撮像装置。
(8)
前記分割アバランシェ部ごとに、不要な電子を排出するためのオーバーフロードレインがさらに設けられる
前記(7)に記載の固体撮像装置。
(9)
一部のSPAD画素である間引き画素ごとに、SPADのアノードとカソードとの電位差を、アバランシェの発生確率との関係を利用して制御する
前記(1)乃至(8)のいずれかに記載の固体撮像装置。
(10)
前記照度は、基準となる閾値に応じて、前記第1の照度を含む複数の段階の照度に分類される
前記(1)乃至(9)のいずれかに記載の固体撮像装置。
(11)
前記照度は、前記閾値に応じて、前記第1の照度と、前記第1の照度よりも低い照度である第2の照度との2段階に分類される
前記(10)に記載の固体撮像装置。
(12)
前記照度は、前記閾値に応じて、前記第1の照度と、前記第1の照度よりも低い照度である第2の照度と、前記第2の照度よりも低い照度である第3の照度との3段階に分類される
前記(10)に記載の固体撮像装置。
(13)
前記SPAD画素のSPADにおいて、
アノードは、光の入射側の面である第1の面の側、又は前記第1の面と反対側の面である第2の面の側に形成され、
カソードは、前記第2の面の側、又は前記第1の面の側に形成される
前記(1)乃至(12)のいずれかに記載の固体撮像装置。
(14)
複数のSPAD画素を2次元状に配列した画素アレイ部を有する固体撮像装置の駆動方法において、
基準の照度よりも高い照度である第1の照度となる場合に、前記画素アレイ部に配列される複数のSPAD画素のうち、一部のSPAD画素が間引かれるようにする
駆動方法。