(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-04
(45)【発行日】2023-07-12
(54)【発明の名称】固体撮像素子、撮像装置、および、固体撮像素子の制御方法
(51)【国際特許分類】
H04N 25/707 20230101AFI20230705BHJP
H04N 25/773 20230101ALI20230705BHJP
【ＦＩ】
H04N25/707
H04N25/773
【請求項の数】
16
(21)【出願番号】P 2020525309
(86)(22)【出願日】2019-04-22
(86)【国際出願番号】 JP2019016989
(87)【国際公開番号】W WO2019239722
(87)【国際公開日】2019-12-19
【審査請求日】2022-03-03
(31)【優先権主張番号】P 2018111505
(32)【優先日】2018-06-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100112955
【弁理士】
【氏名又は名称】丸島 敏一
(72)【発明者】
【氏名】北野 伸
【審査官】松永 隆志
(56)【参考文献】
【文献】特開２００４－２８２６７９（ＪＰ，Ａ）
【文献】国際公開第２０１７／０１３８０６（ＷＯ，Ａ１）
【文献】国際公開第２０１５／１５９７２８（ＷＯ，Ａ１）
【文献】特表２０１６－５０１４９５（ＪＰ，Ａ）
【文献】特開昭６４－０７２６６７（ＪＰ，Ａ）
【文献】米国特許第０８９４６８４５（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／００－２５／７９
(57)【特許請求の範囲】
【請求項1】
複数の画素を配列した画素アレイ部を具備し、
前記複数の画素のそれぞれは、
光電変換により電子および正孔を生成するフォトダイオードと、
前記電子および前記正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成部と、
前記電子および前記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出部と
を備える固体撮像素子。
【請求項2】
前記画素信号生成部は、前記電子の量に応じた電圧の前記画素信号を生成し、前記検出部は、前記正孔の変化量が前記閾値を超えたか否かを検出する
請求項１記載の固体撮像素子。
【請求項3】
前記フォトダイオードと前記画素信号生成部の一部とは、所定の受光チップに配置され、前記画素信号生成部の残りと前記検出部とは、所定の回路チップに配置される
請求項１記載の固体撮像素子。
【請求項4】
前記画素信号生成部は、前記画素信号を生成する画素回路と、
前記画素信号と所定の参照信号とを比較する比較回路と
を備え、
前記フォトダイオードと前記画素回路と前記比較回路の一部とは、前記受光チップに配置され、
前記比較回路の残りと前記検出部とは、前記回路チップに配置される
請求項３記載の固体撮像素子。
【請求項5】
前記画素信号生成部は、前記画素信号を生成する画素回路と、
前記画素信号と所定の参照信号とを比較する比較回路と
を備え、
前記フォトダイオードおよび前記画素回路は、前記受光チップに配置され、
前記比較回路および前記検出部は、前記回路チップに配置される
請求項３記載の固体撮像素子。
【請求項6】
前記検出部により前記変化量が前記閾値を超えた旨が検出された場合には前記画素信号生成部を駆動して前記画素信号を生成させる駆動部をさらに具備する請求項１記載の固体撮像素子。
【請求項7】
前記画素信号に対して所定の信号処理を行って出力する列処理部と、所定の露光期間内に前記変化量が前記閾値を超えた旨が検出された場合には前記列処理部を制御して前記画素信号を出力させる制御回路と
を具備する請求項１記載の固体撮像素子。
【請求項8】
前記フォトダイオード、前記画素信号生成部および前記検出部は、複数の画素のそれぞれに配置され、前記画素信号生成部は、
アナログの前記画素信号を生成する画素回路と、
前記画素信号をデジタル信号に変換して出力するアナログデジタル変換器と
を備える請求項１記載の固体撮像素子。
【請求項9】
アナログの前記画素信号をデジタル信号に変換するアナログデジタル変換器をさらに具備し、前記フォトダイオード、前記画素信号生成部および前記検出部は、複数の画素のそれぞれに配置され、
前記画素信号生成部は、アナログの前記画素信号を生成して前記アナログデジタル変換器へ出力する
請求項１記載の固体撮像素子。
【請求項10】
前記画素信号生成部は、前記電子および前記正孔の一方の電荷を蓄積する電荷蓄積部と、
前記電荷を蓄積して当該電荷の量に応じた前記電圧に変換する浮遊拡散層と、
前記フォトダイオードから電荷蓄積部へ前記電荷を転送する第１の転送トランジスタと、
前記電荷蓄積部から前記浮遊拡散層へ前記電荷を転送する第２の転送トランジスタと
を備える
請求項１記載の固体撮像素子。
【請求項11】
前記検出部は、前記電子および前記正孔の他方からなる光電流を電圧に変換する変換部と、
減算により前記電圧の変化量を求める減算器と、
前記変化量と前記閾値とを比較して当該比較結果を前記検出信号として出力するコンパレータと
を備える請求項１記載の固体撮像素子。
【請求項12】
前記検出部は、前記変換部からの前記電圧の信号を前記減算器に出力するバッファをさらに備える請求項１１記載の固体撮像素子。
【請求項13】
前記変換部は、複数段のループ回路を備え、前記複数段のループ回路のそれぞれは、ループ状に接続された一対のトランジスタからなる
請求項１１記載の固体撮像素子。
【請求項14】
前記変換部は、ループ状に接続された一対のトランジスタと、
前記一対のトランジスタのそれぞれのゲートに接続された容量と
を備える請求項１１記載の固体撮像素子。
【請求項15】
複数の画素を配列した画素アレイ部と、
デジタル信号処理部と
を具備し、
前記複数の画素のそれぞれは、
光電変換により電子および正孔を生成するフォトダイオードと、
前記電子および前記正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成部と、
前記電子および前記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出部と
を備え、
前記デジタル信号処理部は、前記検出信号および前記画素信号に対して所定の処理を行う撮像装置。
【請求項16】
画素アレイ部内に配列された複数の画素のそれぞれが備える画素信号生成部および検出部のうち前記画素信号生成部が、光電変換により生成された電子および正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成手順と、前記検出部が、前記電子および前記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出手順と
を具備する固体撮像素子の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、輝度の変化量が閾値を超えたか否かを検出する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
【背景技術】
【0002】
従来より、垂直同期信号などの同期信号に同期して画像データを撮像する同期型の固体撮像素子が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができない。そのため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、その画素の輝度の変化量が所定の閾値を超えたか否かをアドレスイベントとしてリアルタイムに検出する非同期型の固体撮像素子が提案されている（例えば、特許文献１参照。）。このように、画素毎にアドレスイベントを検出する固体撮像素子は、ＤＶＳ（Dynamic Vision Sensor）と呼ばれる。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１６－５３３１４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の非同期型の固体撮像素子（すなわち、ＤＶＳ）では、同期型の固体撮像素子よりも遥かに高速に画像データを生成して出力することができる。また、この非同期型のＤＶＳにおいて、フォトダイオードを非同期型の回路と共有する同期型の固体撮像素子内の画素回路をさらに追加して、同期型より高画質の画像データをさらに生成することもできる。しかしながら、フォトダイオードを共有する非同期型および同期型の回路を設けた固体撮像素子において、画像データの画質の向上が困難であるという問題がある。フォトダイオードが電子を生成して転送する場合、その電子の一部が非同期型の回路に転送され、残りが同期型の回路に転送されて、それらの回路の一方のみを設ける場合と比較して各回路へ転送される電子の量が少なくなるためである。フォトダイオードの面積を広くすれば、電荷の量を増大させて画質を向上させることができるが、実装面積が増大するため望ましくない。
【0005】
本技術はこのような状況に鑑みて生み出されたものであり、アドレスイベントを検出する固体撮像素子において、画像データの画質を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、光電変換により電子および正孔を生成するフォトダイオードと、上記電子および上記正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成部と、上記電子および上記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出部とを具備する固体撮像素子、および、その制御方法である。これにより、電子および正孔の一方から画素信号が生成され、他方からアドレスイベントが検出されるという作用をもたらす。
【0007】
また、この第１の側面において、上記画素信号生成部は、上記電子の量に応じた電圧の上記画素信号を生成し、上記検出部は、上記正孔の変化量が上記閾値を超えたか否かを検出してもよい。これにより、電子から画素信号が生成され、正孔からアドレスイベントが検出されるという作用をもたらす。
【0008】
また、この第１の側面において、上記フォトダイオードと上記画素信号生成部の一部とは、所定の受光チップに配置され、上記画素信号生成部の残りと上記検出部とは、所定の回路チップに配置されてもよい。これにより、受光チップおよび回路チップのそれぞれの回路規模が削減されるという作用をもたらす。
【0009】
また、この第１の側面において、上記画素信号生成部は、上記画素信号を生成する画素回路と、上記画素信号と所定の参照信号とを比較する比較回路とを備え、上記フォトダイオードと上記画素回路と上記比較回路の一部とは、上記受光チップに配置され、上記比較回路の残りと上記検出部とは、上記回路チップに配置されてもよい。これにより、受光チップおよび回路チップのそれぞれの回路規模が削減されるという作用をもたらす。
【0010】
また、この第１の側面において、上記画素信号生成部は、上記画素信号を生成する画素回路と、上記画素信号と所定の参照信号とを比較する比較回路とを備え、上記フォトダイオードおよび上記画素回路は、上記受光チップに配置され、上記比較回路および上記検出部は、上記回路チップに配置されてもよい。これにより、受光チップおよび回路チップのそれぞれの回路規模が削減されるという作用をもたらす。
【0011】
また、この第１の側面において、上記検出部により上記変化量が上記閾値を超えた旨が検出された場合には上記画素信号生成部を駆動して上記画素信号を生成させる駆動部をさらに具備してもよい。これにより、アドレスイベントが生じた画素の画素信号のみが読み出されるという作用をもたらす。
【0012】
また、この第１の側面において、上記画素信号に対して所定の信号処理を行って出力する列処理部と、所定の露光期間内に上記変化量が上記閾値を超えた旨が検出された場合には上記列処理部を制御して上記画素信号を出力させる制御回路とを具備してもよい。これにより、露光期間内にアドレスイベントが生じた画素の画素信号のみが出力されるという作用をもたらす。
【0013】
また、この第１の側面において、上記フォトダイオード、上記画素信号生成部および上記検出部は、複数の画素のそれぞれに配置され、上記画素信号生成部は、アナログの上記画素信号を生成する画素回路と、上記画素信号をデジタル信号に変換して出力するアナログデジタル変換器とを備えてもよい。これにより、画素毎に画素信号がデジタル信号に変換されるという作用をもたらす。
【0014】
また、この第１の側面において、アナログの上記画素信号をデジタル信号に変換するアナログデジタル変換器をさらに具備し、上記フォトダイオード、上記画素信号生成部および上記検出部は、複数の画素のそれぞれに配置され、上記画素信号生成部は、アナログの上記画素信号を生成して上記アナログデジタル変換器へ出力してもよい。これにより、画素の外部で画素信号がデジタル信号に変換されるという作用をもたらす。
【0015】
また、この第１の側面において、上記画素信号生成部は、上記電子および上記正孔の一方の電荷を蓄積する電荷蓄積部と、上記電荷を蓄積して当該電荷の量に応じた上記電圧に変換する浮遊拡散層と、上記フォトダイオードから電荷蓄積部へ上記電荷を転送する第１の転送トランジスタと、上記電荷蓄積部から上記浮遊拡散層へ上記電荷を転送する第２の転送トランジスタとを備えてもよい。これにより、電荷蓄積部への電荷の転送と浮遊拡散層への電荷の転送とが順に行われるという作用をもたらす。
【0016】
また、この第１の側面において、上記検出部は、上記電子および上記正孔の他方からなる光電流を電圧に変換する変換部と、減算により上記電圧の変化量を求める減算器と、上記変化量と上記閾値とを比較して当該比較結果を上記検出信号として出力するコンパレータとを備えてもよい。これにより、光電流が電圧に変換され、その変化量と閾値との比較によりアドレスイベントが検出されるという作用をもたらす。
【0017】
また、この第１の側面において、上記検出部は、上記変換部からの上記電圧の信号を上記減算器に出力するバッファをさらに備えてもよい。これにより、バッファの後段の回路の駆動能力が向上するという作用をもたらす。
【0018】
また、この第１の側面において、上記変換部は、複数段のループ回路を備え、上記複数段のループ回路のそれぞれは、ループ状に接続された一対のトランジスタからなるものであってもよい。これにより、変換部の変換ゲインが向上するという作用をもたらす。
【0019】
また、この第１の側面において、上記変換部は、ループ状に接続された一対のトランジスタと、上記一対のトランジスタのそれぞれのゲートに接続された容量とを備えてもよい。これにより、変換部の安定性が向上するという作用をもたらす。
【0020】
また、本技術の第２の側面は、光電変換により電子および正孔を生成するフォトダイオードと、上記電子および上記正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成部と、上記電子および上記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出部と、上記検出信号および上記画素信号に対して所定の処理を行うデジタル信号処理部とを具備する撮像装置である。これにより、電子から生成された画素信号と正孔から生成された検出信号とが処理されるという作用をもたらす。
【発明の効果】
【0021】
本技術によれば、アドレスイベントを検出する固体撮像素子において、画像データの画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0022】
【図1】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図2】本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図3】本技術の第１の実施の形態における画素アレイ部の一構成例を示すブロック図である。
【図4】本技術の第１の実施の形態における画素の一構成例を示すブロック図である。
【図5】本技術の第１の実施の形態と比較例とにおけるフォトダイオードの断面図の一例である。
【図6】本技術の第１の実施の形態における画素信号生成部の一構成例を示すブロック図である。
【図7】本技術の第１の実施の形態におけるアドレスイベント検出部の一構成例を示すブロック図である。
【図8】本技術の第１の実施の形態における画素の一構成例を示す回路図である。
【図9】本技術の第１の実施の形態における撮像処理の一例を示すフローチャートである。
【図10】本技術の第１の実施の形態におけるＡＥＲ（Address Event Representation）処理の一例を示すフローチャートである。
【図11】本技術の第２の実施の形態における積層構造の一例を示す図である。
【図12】本技術の第２の実施の形態における画素の一構成例を示す回路図である。
【図13】本技術の第２の実施の形態の変形例における画素の一構成例を示す回路図である。
【図14】本技術の第３の実施の形態における画素の駆動方法の一例を示すタイミングチャートである。
【図15】本技術の第３の実施の形態の第１の変形例における画素の駆動方法の一例を示すタイミングチャートである。
【図16】本技術の第３の実施の形態の第２の変形例における固体撮像素子の一構成例を示すブロック図である。
【図17】本技術の第３の実施の形態の第２の変形例における画素の一構成例を示すブロック図である。
【図18】本技術の第４の実施の形態における画素の一構成例を示す回路図である。
【図19】本技術の第５の実施の形態におけるアドレスイベント検出部の一構成例を示す回路図である。
【図20】本技術の第６の実施の形態における対数変換部の一構成例を示す回路図である。
【図21】本技術の第７の実施の形態における対数変換部の一構成例を示す回路図である。
【図22】車両制御システムの概略的な構成の一例を示すブロック図である。
【図23】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0023】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（電子から画素信号を生成し、正孔から検出信号を生成する例）
２．第２の実施の形態（積層構造の固体撮像素子において電子から画素信号を生成し、正孔から検出信号を生成する例）
３．第３の実施の形態（正孔から検出信号が生成された画素において電子から画素信号を生成する例）
４．第４の実施の形態（アナログメモリに電子を転送して画素信号を生成し、正孔から検出信号を生成する例）
５．第５の実施の形態（バッファを設け、電子から画素信号を生成し、正孔から検出信号を生成する例）
６．第６の実施の形態（ループ回路を２段にし、電子から画素信号を生成し、正孔から検出信号を生成する例）
７．第７の実施の形態（容量を追加し、電子から画素信号を生成し、正孔から検出信号を生成する例）
８．移動体への応用例
１．第１の実施の形態（電子から画素信号を生成し、正孔から検出信号を生成する例）
２．第２の実施の形態（積層構造の固体撮像素子において電子から画素信号を生成し、正孔から検出信号を生成する例）
３．第３の実施の形態（正孔から検出信号が生成された画素において電子から画素信号を生成する例）
４．第４の実施の形態（アナログメモリに電子を転送して画素信号を生成し、正孔から検出信号を生成する例）
５．第５の実施の形態（バッファを設け、電子から画素信号を生成し、正孔から検出信号を生成する例）
６．第６の実施の形態（ループ回路を２段にし、電子から画素信号を生成し、正孔から検出信号を生成する例）
７．第７の実施の形態（容量を追加し、電子から画素信号を生成し、正孔から検出信号を生成する例）
８．移動体への応用例
【0024】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、光学部１１０、固体撮像素子２００およびＤＳＰ（Digital Signal Processing）回路１２０を備える。さらに撮像装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、光学部１１０、固体撮像素子２００およびＤＳＰ（Digital Signal Processing）回路１２０を備える。さらに撮像装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
【0025】
光学部１１０は、被写体からの光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期して、光電変換により画像データを生成するものである。ここで、垂直同期信号ＶＳＹＮＣは、撮像のタイミングを示す所定周波数の周期信号である。固体撮像素子２００は、生成した画像データをＤＳＰ回路１２０に信号線２０９を介して供給する。
【0026】
ＤＳＰ回路１２０は、固体撮像素子２００からの画像データに対して所定の信号処理を実行するものである。このＤＳＰ回路１２０は、処理後の画像データをバス１５０を介してフレームメモリ１６０などに出力する。なお、ＤＳＰ回路１２０は、特許請求の範囲に記載のデジタル信号処理部の一例である。
【0027】
表示部１３０は、画像データを表示するものである。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが想定される。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。
【0028】
バス１５０は、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０および電源部１８０が互いにデータをやりとりするための共通の経路である。
【0029】
フレームメモリ１６０は、画像データを保持するものである。記憶部１７０は、画像データなどの様々なデータを記憶するものである。電源部１８０は、固体撮像素子２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給するものである。
【0030】
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、ＤＡＣ（Digital to Analog Converter）２１１、駆動回路２１２、Ｘアービタ２１３、時刻コード発生部２３０、画素アレイ部２４０、列処理部２５０、制御回路２１５、Ｙアービタ２１６を備える。これらの回路は、例えば、単一の半導体チップに配置される。また、画素アレイ部２４０には、二次元格子状に複数の画素が配列される。以下、画素アレイ部２４０において所定の方向に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、ＤＡＣ（Digital to Analog Converter）２１１、駆動回路２１２、Ｘアービタ２１３、時刻コード発生部２３０、画素アレイ部２４０、列処理部２５０、制御回路２１５、Ｙアービタ２１６を備える。これらの回路は、例えば、単一の半導体チップに配置される。また、画素アレイ部２４０には、二次元格子状に複数の画素が配列される。以下、画素アレイ部２４０において所定の方向に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
【0031】
ＤＡＣ２１１は、ＤＡ（Digital to Analog）変換により、スロープ状に変化するアナログの参照信号を生成するものである。このＤＡＣ２１１は、参照信号を画素アレイ部２４０に供給する。
【0032】
駆動回路２１２は、垂直同期信号ＶＳＹＮＣに同期して画素アレイ部２４０内の画素を駆動するものである。
【0033】
画素アレイ部２４０内の画素のそれぞれは、画素信号を生成する。また、画素は、画素信号に加えて、アドレスイベントの検出信号も生成する。ここで、アドレスイベントは、オンイベントおよびオフイベントを含み、検出信号は、１ビットのオンイベントの検出結果と１ビットのオフイベントの検出結果とを含む。オンイベントは、輝度の変動量が所定の上限閾値を超えた旨を意味する。一方、オフイベントは、輝度の変化量が所定の下限閾値を下回った旨を意味する。なお、画素は、オンイベントおよびオフイベントの両方を検出しているが、一方のみを検出することもできる。
【0034】
画素は、画素信号を列処理部２５０に供給する。また、画素は、アドレスイベントを検出した際にＹアービタ２１６との間で、アドレスイベントの検出信号を外部出力させるためにリクエストおよび応答の送受信（以下、「ハンドシェイク」と称する。）を行う。次に画素は、Ｘアービタ２１３との間でハンドシェイクを行う。
【0035】
Ｘアービタ２１３は、各列からのリクエストを調停し、調停結果に基づいて、対応する列に応答を返すものである。
【0036】
時刻コード発生部２３０は、時刻コードを発生するものである。この時刻コードは、参照信号がスロープ状に変化する期間内の時刻を示す。時刻コード発生部２３０は、発生した時刻コードを画素アレイ部２４０に供給する。
【0037】
列処理部２５０は、画素信号に対して相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理などの信号処理を行い、処理後の画素信号をＤＳＰ回路１２０へ供給するものである。
【0038】
Ｙアービタ２１６は、各行からのリクエストを調停して調停結果に基づいて、対応する行に応答を返すものである。
【0039】
制御回路２１５は、リクエストの調停結果に基づいて、アドレスイベントの検出信号をＤＳＰ回路１２０に出力するものである。画素毎のアドレスイベントの検出信号を２次元格子状に配列することにより、画像データが生成される。
【0040】
以下、列処理部２５０から出力された画素信号からなる画像データを「通常画像データ」と称し、アドレスイベントの検出信号からなる画像データを「ＡＥＲ画像データ」と称する。画素信号のデータサイズは、検出信号よりも大きく、例えば、１５ビットである。このため、通常画像データの方がＡＥＲ画像データよりも高画質である。
【0041】
通常画像データおよびＡＥＲ画像データは、様々な用途において用いられる。例えば、撮像装置１００が車載カメラであれば、通常画像データは、ドライバに視認させるためにモニタ等に表示される。一方、ＡＥＲ画像データは、ＡＤＡＳ（Advanced Driver Assistance System）などにおいて、人や障害物を検知するために用いられる。
【0042】
なお、固体撮像素子２００は、通常画像データの全ての画素信号を出力しているが、後述するように、アドレスイベントの生じた画素の画素信号のみを出力することもできる。
【0043】
［画素アレイ部の構成例］
図３は、本技術の第１の実施の形態における画素アレイ部２４０の一構成例を示すブロック図である。この画素アレイ部２４０は、複数の時刻コード転送部２４１と、複数の画素３００とを備える。時刻コード転送部２４１は、時刻コード発生部２３０ごとに配置される。また、画素３００は、二次元格子状に配列される。
図３は、本技術の第１の実施の形態における画素アレイ部２４０の一構成例を示すブロック図である。この画素アレイ部２４０は、複数の時刻コード転送部２４１と、複数の画素３００とを備える。時刻コード転送部２４１は、時刻コード発生部２３０ごとに配置される。また、画素３００は、二次元格子状に配列される。
【0044】
時刻コード転送部２４１は、対応する時刻コード発生部２３０からの時刻コードを転送するものである。この時刻コード転送部２４１は、対応する時刻コード発生部２３０からの時刻コードを画素３００へ転送し、また、画素３００からの時刻コードをデジタルの画素信号として列処理部２５０に転送する。
【0045】
［画素の構成例］
図４は、本技術の第１の実施の形態における画素３００の一構成例を示すブロック図である。この画素３００は、フォトダイオード３０５、画素信号生成部３１０およびアドレスイベント検出部４００を備える。また、フォトダイオード３０５のアノードおよびカソードの一方は画素信号生成部３１０に接続され、他方はアドレスイベント検出部４００に接続される。例えば、フォトダイオード３０５のカソードが、画素信号生成部３１０に接続され、アノードがアドレスイベント検出部４００に接続される。
図４は、本技術の第１の実施の形態における画素３００の一構成例を示すブロック図である。この画素３００は、フォトダイオード３０５、画素信号生成部３１０およびアドレスイベント検出部４００を備える。また、フォトダイオード３０５のアノードおよびカソードの一方は画素信号生成部３１０に接続され、他方はアドレスイベント検出部４００に接続される。例えば、フォトダイオード３０５のカソードが、画素信号生成部３１０に接続され、アノードがアドレスイベント検出部４００に接続される。
【0046】
画素信号生成部３１０は、フォトダイオード３０５からの電荷の量に応じた電圧の画素信号を生成するものである。この画素信号生成部３１０は、アナログの画素信号をデジタル信号（すなわち、時刻コード）に変換して時刻コード転送部２４１に供給する。
【0047】
アドレスイベント検出部４００は、フォトダイオード３０５からの電荷の変化量が所定の閾値を超えた（すなわち、アドレスイベントが生じた）か否かを検出して検出信号を生成するものである。このアドレスイベント検出部４００は、アドレスイベントを検出した際にＸアービタ２１３およびＹアービタ２１６との間でハンドシェイクを行う。なお、アドレスイベント検出部４００は、特許請求の範囲に記載の検出部の一例である。
【0048】
図５は、本技術の第１の実施の形態と比較例とにおけるフォトダイオード３０５の断面図の一例である。同図におけるａは、第１の実施の形態におけるフォトダイオード３０５の断面図の一例であり、同図におけるｂは、比較例におけるフォトダイオード３０５の断面図の一例である。
【0049】
同図におけるａに例示するようにフォトダイオード３０５は、例えば、Ｎ層３０６およびＰ層３０７からなり、Ｎ層３０６は、カソードの電極を介して画素信号生成部３１０に接続される。一方、Ｐ層３０７は、アノードの電極を介してアドレスイベント検出部４００に接続される。
【0050】
フォトダイオード３０５は、光電変換により電子および正孔を生成する。生成される電子数は、輝度が高いほど多くなる。また、生成される正孔の個数は、電子数と同じである。同図において「ｅ－」は、電子を示し、「ｈ＋」は正孔を示す。これらの電荷のうち電子は、画素信号生成部３１０に出力され、正孔はアドレスイベント検出部４００に出力される。
【0051】
一方、同図におけるｂに例示するように比較例では、画素信号生成部３１０およびアドレスイベント検出部４００の両方がカソードに接続され、アノードは接地されるものとする。この比較例では、電子の一部が画素信号生成部３１０に出力され、残りがアドレスイベント検出部４００に出力される。また、正孔は、接地端子に排出される。このように比較例の構成では、電子および正孔のうち電子のみが、画素信号の生成とアドレスイベントの検出とに用いられ、正孔は、それらに用いられずに排出される。
【0052】
これに対して、第１の実施の形態の画素３００では、電子が画素信号の生成に用いられ、正孔がアドレスイベントの検出に用いられる。このため、電子のみを用いる比較例と比較して、同一輝度の下で画素信号のレベルが高くなり、アドレスイベントの検出精度が向上する。これにより、通常画像データおよびＡＥＲ画像データのそれぞれの画質が向上する。特に輝度の低い暗所における画質を向上させることができる。
【0053】
また、一般に電子から生成した画素信号や検出信号は、正孔から生成した場合と比較してノイズ量が少なくなる。このため、フォトダイオード３０５が電子を画素信号生成部３１０に供給することにより、画素信号の信号品質を向上させることができる。一方、アドレスイベント検出部４００には正孔が供給されるため、検出信号のノイズ量が多くなるものの、アドレスイベントの検出信号は画素毎に２ビットにすぎず、ノイズ量の増大による影響は、画素信号よりも少ない。
【0054】
なお、フォトダイオード３０５のカソードを画素信号生成部３１０に接続し、アノードをアドレスイベント検出部４００に接続しているが、逆にカソードをアドレスイベント検出部４００に接続し、アノードを画素信号生成部３１０に接続することもできる。
【0055】
［画素信号生成部の構成例］
図６は、本技術の第１の実施の形態における画素信号生成部３１０の一構成例を示すブロック図である。この画素信号生成部３１０は、ＡＤＣ（Analog-to-Digital Converter）３２０および画素回路３３０を備える。また、ＡＤＣ３２０は、比較回路３２１およびデータ記憶部３７０を備える。そして、比較回路３２１は、差動入力回路３４０、電圧変換回路３５０および正帰還回路３６０を備える。
図６は、本技術の第１の実施の形態における画素信号生成部３１０の一構成例を示すブロック図である。この画素信号生成部３１０は、ＡＤＣ（Analog-to-Digital Converter）３２０および画素回路３３０を備える。また、ＡＤＣ３２０は、比較回路３２１およびデータ記憶部３７０を備える。そして、比較回路３２１は、差動入力回路３４０、電圧変換回路３５０および正帰還回路３６０を備える。
【0056】
画素回路３３０は、駆動回路２１２の制御に従ってリセットレベルまたは信号レベルを画素信号ＳＩＧとして生成するものである。ここで、リセットレベルは、露光開始時以降に浮遊拡散層が初期化された時の電圧であり、信号レベルは、露光終了時の露光量に応じた電圧である。画素回路３３０は、リセットレベルおよび信号レベルを順に差動入力回路３４０に供給する。
【0057】
ＡＤＣ３２０は、画素信号ＳＩＧ（リセットレベルまたは信号レベル）をデジタル信号にＡＤ（Analog-to-Digital）変換するものである。リセットレベルをＡＤ変換したデータを以下、「Ｐ相データ」と称する。また、信号レベルをＡＤ変換したデータを以下、「Ｄ相データ」と称する。
【0058】
ＡＤＣ３２０内の差動入力回路３４０は、ＤＡＣ２１１からの参照信号ＲＥＦと、画素回路３３０からの画素信号ＳＩＧとを比較するものである。この差動入力回路３４０は、比較結果を示す比較結果信号を電圧変換回路３５０に供給する。
【0059】
電圧変換回路３５０は、差動入力回路３４０からの比較結果信号の電圧を変換して正帰還回路３６０に出力するものである。
【0060】
正帰還回路３６０は、出力の一部を入力（比較結果信号）に加算し、出力信号ＶＣＯとしてデータ記憶部３７０に出力するものである。
【0061】
データ記憶部３７０は、出力信号ＶＣＯが反転したときの時刻コードを保持するものである。このデータ記憶部３７０は、駆動回路２１２の制御に従ってリセットレベルに対応する時刻コードをＰ相データとして出力し、信号レベルに対応する時刻コードをＤ相データとして出力する。
【0062】
［アドレスイベント検出部の構成例］
図７は、本技術の第１の実施の形態におけるアドレスイベント検出部４００の一構成例を示すブロック図である。このアドレスイベント検出部４００は、対数変換部４１０、減算器４２０、コンパレータ４３０およびＡＥＲロジック回路４４０を備える。
図７は、本技術の第１の実施の形態におけるアドレスイベント検出部４００の一構成例を示すブロック図である。このアドレスイベント検出部４００は、対数変換部４１０、減算器４２０、コンパレータ４３０およびＡＥＲロジック回路４４０を備える。
【0063】
対数変換部４１０は、フォトダイオード３０５により生成された電荷（正孔など）からなる光電流を対数的に電圧に変換するものである。この対数変換部４１０は、変換した電圧の信号を減算器４２０に供給する。なお、対数変換部４１０は、特許請求の範囲に記載の変換部の一例である。
【0064】
減算器４２０は、減算動作により電圧信号の変化量を求めるものである。この減算器４２０は、変化量を示す微分信号をコンパレータ４３０に供給する。また、微分信号は、リセット信号ｘｒｓｔにより初期化される。
【0065】
コンパレータ４３０は、減算器４２０からの微分信号と、上限閾値Ｖｂｏｎおよび下限閾値Ｖｂｏｆｆのそれぞれとを比較するものである。このコンパレータ４３０は、微分信号と上限閾値Ｖｂｏｎとの比較結果をオンイベントの検出結果ＶＣＨとしてＡＥＲロジック回路４４０に出力する。また、コンパレータ４３０は、微分信号と下限閾値Ｖｂｏｆｆとの比較結果をオフイベントの検出結果ＶＣＬとしてＡＥＲロジック回路４４０に出力する。
【0066】
ＡＥＲロジック回路４４０は、検出結果ＶＣＨおよびＶＣＬからなる検出信号に基づいてハンドシェイクを行うものである。このＡＥＲロジック回路４４０は、アドレスイベントが生じた場合にＹアービタ２１６との間でハンドシェイクを行う。次にＡＥＲロジック回路４４０は、Ｘアービタ２１３との間でハンドシェイクを行い、応答を受け取るとリセット信号ｘｒｓｔにより減算器４２０をリセットする。
【0067】
図８は、本技術の第１の実施の形態における画素３００の一構成例を示す回路図である。画素信号生成部３１０は、画素回路３３０、負荷ＭＯＳ回路３１１、比較回路３２１およびデータ記憶部３７０を備える。また、画素回路３３０は、排出トランジスタ３３１、転送トランジスタ３３２、リセットトランジスタ３３３、浮遊拡散層３３４、増幅トランジスタ３３５および選択トランジスタ３３６を備える。排出トランジスタ３３１、転送トランジスタ３３２、リセットトランジスタ３３３および増幅トランジスタ３３５および選択トランジスタ３３６として、例えば、ＮＭＯＳ（N-type Metal Oxide Semiconductor）トランジスタが用いられる。また、排出トランジスタ３３１および転送トランジスタ３３２は、フォトダイオード３０５のカソードに接続される。
【0068】
排出トランジスタ３３１は、駆動回路２１２からの駆動信号ＯＦＧに従って、フォトダイオード３０５の電荷（電子など）を排出するものである。
【0069】
転送トランジスタ３３２は、駆動回路２１２からの転送信号ＴＲＧに従って、フォトダイオード３０５から浮遊拡散層３３４に電荷を転送するものである。
【0070】
リセットトランジスタ３３３は、駆動回路２１２からのリセット信号ＲＳＴに従って浮遊拡散層３３４の電荷の量を初期化するものである。
【0071】
浮遊拡散層３３４は、転送された電荷を蓄積し、その電荷量に応じた電圧を生成するものである。増幅トランジスタ３３５は、浮遊拡散層３３４の電圧を増幅するものである。
【0072】
選択トランジスタ３３６は、駆動回路２１２からの選択信号ＳＥＬに従って、増幅された電圧の信号を画素信号ＳＩＧとして比較回路３２１に供給するものである。
【0073】
負荷ＭＯＳ回路３１１は、選択トランジスタ３３６のソースと接地端子との間に挿入される。
【0074】
駆動回路２１２は、垂直同期信号ＶＳＹＮＣに同期して、全画素について露光開始時にリセット信号ＲＳＴにより浮遊拡散層３３４を初期化し、露光終了時に転送信号ＴＲＧにより電荷を転送させる。言い換えれば、グローバルシャッター方式が用いられる。また、駆動回路２１２は、選択信号ＳＥＬにより、行を順に選択して画素信号を出力させる。
【0075】
また、アドレスイベント検出部４００は、対数変換部４１０、減算器４２０、コンパレータ４３０およびＡＥＲロジック回路４４０を備える。対数変換部４１０は、ＰＭＯＳ（P-type Metal Oxide Semiconductor）トランジスタ４１１および４１２とＮＭＯＳトランジスタ４１３とを備える。減算器４２０は、容量４２１および４２３と、アンプ４２２と、スイッチ４２４とを備える。
【0076】
対数変換部４１０において、ＰＭＯＳトランジスタ４１１のソースは、フォトダイオード３０５のアノードに接続され、ドレインは接地される。また、ＰＭＯＳトランジスタ４１２およびＮＭＯＳトランジスタ４１３は、電源端子と接地端子との間において直列に接続され、ＰＭＯＳトランジスタ４１２のゲートがフォトダイオード３０５のアノードに接続される。また、ＰＭＯＳトランジスタ４１１のゲートは、ＰＭＯＳトランジスタ４１２およびＮＭＯＳトランジスタ４１３の接続点に接続され、ＮＭＯＳトランジスタ４１３のゲートは電源端子に接続される。これらのループ状に接続されたＰＭＯＳトランジスタ４１１および４１２によりフォトダイオード３０５からの光電流は対数的に電圧信号に変換され、ＰＭＯＳトランジスタ４１２およびＮＭＯＳトランジスタ４１３の接続点から出力される。
【0077】
減算器４２０において、容量４２１の一端は、対数変換部４１０の出力端子に接続され、他端は、アンプ４２２の入力端子に接続される。容量４２３は、アンプ４２２に並列に接続される。スイッチ４２４は、容量４２３の両端を接続する経路をリセット信号ｘｒｓｔに従って開閉するものである。
【0078】
アンプ４２２は、容量４２１を介して入力された電圧信号を増幅するものである。このアンプ４２２は増幅した信号をコンパレータ４３０に出力する。
【0079】
スイッチ４２４をオンした際に容量４２１の対数変換部４１０側に電圧信号Ｖｉｎｉｔが入力され、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、容量４２１に蓄積されている電位Ｑｉｎｉｔは、容量４２１の容量をＣ１とすると、次の式により表される。一方、容量４２３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ ・・・式１
Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ ・・・式１
【0080】
次に、スイッチ４２４がオフされて、容量４２１の入力側の電圧が変化してＶａｆｔｅｒになった場合を考えると、容量４２１に蓄積される電荷Ｑａｆｔｅｒは、次の式により表される。
Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ ・・・式２
Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ ・・・式２
【0081】
一方、容量４２３に蓄積される電荷Ｑ２は、出力電圧をＶｏｕｔとすると、次の式により表される。
Ｑ２＝-Ｃ２×Ｖｏｕｔ ・・・式３
Ｑ２＝-Ｃ２×Ｖｏｕｔ ・・・式３
【0082】
このとき、容量４２１および４２３の総電荷量は変化しないため、次の式が成立する。
Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２ ・・・式４
Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２ ・・・式４
【0083】
式４に式１乃至式３を代入して変形すると、次の式が得られる。
Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）・・・式５
Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）・・・式５
【0084】
式５は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ごとに減算器４２０を含むアドレスイベント検出部４００が搭載されるため、容量Ｃ１やＣ２には、面積上の制約がある。これらを考慮して、例えば、Ｃ１は、２０乃至２００フェムトファラッド（ｆＦ）の値に設定され、Ｃ２は、１乃至２０フェムトファラッド（ｆＦ）の値に設定される。
【0085】
［固体撮像素子の動作例］
図９は、本技術の第１の実施の形態における撮像処理の一例を示すフローチャートである。この撮像処理は、例えば、通常画像データの撮像のためのアプリケーションが実行されたときに開始される。
図９は、本技術の第１の実施の形態における撮像処理の一例を示すフローチャートである。この撮像処理は、例えば、通常画像データの撮像のためのアプリケーションが実行されたときに開始される。
【0086】
固体撮像素子２００は、ＶＳＹＮＣの立上りのタイミングであるか否かを判断する（ステップＳ９１１）。ＶＳＹＮＣの立上りのタイミングである場合に（ステップＳ９１１：Ｙｅｓ）、固体撮像素子２００内の画素のそれぞれは、露光終了の直前においてリセットレベルをＰ相データに変換する（ステップＳ９１２）。そして、画素は、露光終了時に電荷をＦＤに転送し（ステップＳ９１３）、信号レベルをＤ相データに変換する（ステップＳ９１４）。そして、固体撮像素子２００は、ＣＤＳ処理を実行する（ステップＳ９１５）。ＶＳＹＮＣの立上りのタイミング前の場合（ステップＳ９１１：Ｎｏ）、または、ステップＳ９１５の後に固体撮像素子２００は、ステップＳ９１１以降を繰り返し実行する。
【0087】
図１０は、本技術の第１の実施の形態におけるＡＥＲ処理の一例を示すフローチャートである。このＡＥＲ処理は、例えば、ＡＥＲのためのアプリケーションが実行されたときに開始される。
【0088】
固体撮像素子２００内の画素３００は、輝度の変化量が上限閾値を超えたか否かを判断する（ステップＳ９２１）。変化量が上限閾値以下の場合に（ステップＳ９２１：Ｎｏ）、画素３００は、輝度の変化量が下限閾値を下回ったか否かを判断する（ステップＳ９２２）。変化量が下限閾値未満の場合に（ステップＳ９２２：Ｙｅｓ）、画素３００は、オフイベントを検出する（ステップＳ９２３）。一方、変化量が上限閾値を超えた場合に（ステップＳ９２１：Ｙｅｓ）画素３００は、オンイベントを検出する（ステップＳ９２４）。
【0089】
ステップＳ９２３またはＳ９２４の後に画素３００は、アドレスイベントの検出結果をハンドシェイクにより転送し（ステップＳ９２５）、ステップＳ９２１以降を繰り返し実行する。また、変化量が下限閾値以上の場合（ステップＳ９２２：Ｎｏ）、画素３００は、ステップＳ９２１以降を繰り返し実行する。
【0090】
このように、本技術の第１の実施の形態によれば、画素信号生成部３１０が電子から画素信号を生成し、アドレスイベント検出部４００が正孔からアドレスイベントを検出するため、電子のみを用いる場合と比較して画像データの画質を向上させることができる。
【0091】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、単一の半導体チップに画素３００を配置していたが、画素数が多くなるほど、半導体チップの回路規模が増大するおそれがある。この第２の実施の形態の固体撮像素子２００は、積層された複数のチップに、画素３００内の回路を分散して配置する点において第１の実施の形態と異なる。
上述の第１の実施の形態では、単一の半導体チップに画素３００を配置していたが、画素数が多くなるほど、半導体チップの回路規模が増大するおそれがある。この第２の実施の形態の固体撮像素子２００は、積層された複数のチップに、画素３００内の回路を分散して配置する点において第１の実施の形態と異なる。
【0092】
図１１は、本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、回路チップ２０２と、その回路チップ２０２に積層された受光チップ２０１とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。
【0093】
図１２は、本技術の第２の実施の形態における画素３００の一構成例を示す回路図である。この第２の実施の形態の画素３００において、画素回路３３０は、増幅トランジスタ３３５および選択トランジスタ３３６を備えず、浮遊拡散層３３４の電圧信号が画素信号ＳＩＧとして比較回路３２１内の差動入力回路３４０に直接入力される。
【0094】
また、差動入力回路３４０は、ＰＭＯＳトランジスタ３４１および３４２と、ＮＭＯＳトランジスタ３４３乃至３４５とを備える。
【0095】
ＰＭＯＳトランジスタ３４１およびＮＭＯＳトランジスタ３４３は、電源端子とＮＭＯＳトランジスタ３４５のドレインとの間に直列に接続される。ＰＭＯＳトランジスタ３４２およびＮＭＯＳトランジスタ３４４は、電源端子とＮＭＯＳトランジスタ３４５のドレインとの間に直列に接続される。
【0096】
また、ＰＭＯＳトランジスタ３４２のゲートは、ＰＭＯＳトランジスタ３４１のゲートとＰＭＯＳトランジスタ３４２自身のドレインとに接続される。ＮＭＯＳトランジスタ３４３のゲートには、画素回路３３０からの画素信号ＳＩＧが入力され、ＮＭＯＳトランジスタ３４４のゲートには、ＤＡＣ２１１からの参照信号ＲＥＦが入力される。また、ＰＭＯＳトランジスタ３４１およびＮＭＯＳトランジスタ３４３の接続点は、電圧変換回路３５０に接続される。
【0097】
上述の回路構成において、画素回路３３０と、差動入力回路３４０内のＮＭＯＳトランジスタ３４３乃至３４５とが受光チップ２０１に配置される。また、差動入力回路３４０内のＰＭＯＳトランジスタ３４１および３４２と、その後段の回路と、アドレスイベント検出部４００とが回路チップ２０２に配置される。固体撮像素子２００内のＤＡＣ２１１、駆動回路２１２、Ｘアービタ２１３、時刻コード発生部２３０、列処理部２５０、制御回路２１５およびＹアービタ２１６は回路チップ２０２に配置される。
【0098】
なお、固体撮像素子２００内の回路や素子を２つのチップ（受光チップ２０１および回路チップ２０２）に分散して配置しているが、積層された３つ以上のチップに分散して配置することもできる。
【0099】
このように本技術の第２の実施の形態では、固体撮像素子２００内の回路を受光チップ２０１および回路チップ２０２に分散して配置したため、単一のチップに配置する場合と比較して、それぞれのチップの回路規模を削減することができる。
【0100】
［変形例］
上述の第２の実施の形態では、画素回路３３０と、比較回路３２１内のＮＭＯＳトランジスタ３４３乃至３４５とを受光チップ２０１に配置していたが、画素数が多くなるほど、受光チップ２０１の回路規模が増大するおそれがある。この第２の実施の形態の変形例の固体撮像素子２００は、画素回路３３０を受光チップ２０１に配置し、比較回路３２１の全体を回路チップ２０２に配置した点において第２の実施の形態と異なる。
上述の第２の実施の形態では、画素回路３３０と、比較回路３２１内のＮＭＯＳトランジスタ３４３乃至３４５とを受光チップ２０１に配置していたが、画素数が多くなるほど、受光チップ２０１の回路規模が増大するおそれがある。この第２の実施の形態の変形例の固体撮像素子２００は、画素回路３３０を受光チップ２０１に配置し、比較回路３２１の全体を回路チップ２０２に配置した点において第２の実施の形態と異なる。
【0101】
図１３は、本技術の第２の実施の形態の変形例における画素３００の一構成例を示す回路図である。第２の実施の形態の変形例において、画素回路３３０は、第１の実施の形態と同様に増幅トランジスタ３３５および選択トランジスタ３３６を備える。
【0102】
また、画素回路３３０および負荷ＭＯＳ回路３１１が受光チップ２０１に配置され、それら以外の比較回路３２１等は回路チップ２０２に配置される。
【0103】
このように、本技術の第２の実施の形態の変形例では、画素回路３３０を受光チップ２０１に配置し、比較回路３２１の全体を回路チップ２０２に配置したため、第２の実施の形態と比較して受光チップ２０１の回路規模を削減することができる。
【0104】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、垂直同期信号ＶＳＹＮＣに同期して全画素の画素信号を読み出していたが、画素数の増大に伴って回路規模が増大し、消費電力が大きくなるおそれがある。この第３の実施の形態の固体撮像素子２００は、アドレスイベントが生じた画素の画素信号のみを読み出す点において第１の実施の形態と異なる。
上述の第１の実施の形態では、垂直同期信号ＶＳＹＮＣに同期して全画素の画素信号を読み出していたが、画素数の増大に伴って回路規模が増大し、消費電力が大きくなるおそれがある。この第３の実施の形態の固体撮像素子２００は、アドレスイベントが生じた画素の画素信号のみを読み出す点において第１の実施の形態と異なる。
【0105】
図１４は、本技術の第３の実施の形態における画素３００の駆動方法の一例を示すタイミングチャートである。制御回路２１５は、アドレスイベントの検出信号を駆動回路２１２に供給する。固体撮像素子２００には垂直同期信号ＶＳＹＮＣが入力されない。また、駆動回路２１２は、全画素のうちアドレスイベントが生じた画素のみを駆動して、画素信号を生成させる。そして、アドレスイベントが生じた画素の画素信号のみが読み出される。
【0106】
例えば、タイミングＴ１において、ある画素３００の検出信号が制御回路２１５により出力されたものとする。駆動回路２１２は、その画素３００にリセット信号ＲＳＴを供給し、露光を開始させる。そして、露光終了の直前のタイミングＴ２において、比較回路３２１から出力信号ＶＣＯが出力され、リセットレベルのＡＤ変換（言い換えれば、読出し）が開始される。
【0107】
駆動回路２１２は、露光終了時のタイミングＴ３において転送信号ＴＲＧを供給し、その直後のタイミングＴ４において、比較回路３２１から出力信号ＶＣＯが出力され、信号レベルのＡＤ変換（読出し）が開始される。
【0108】
なお、固体撮像素子２００は、アドレスイベントが生じた際に、１つの画素の画素信号を読み出しているが、複数の画素のそれぞれの画素信号を読み出すこともできる。例えば、各々が複数の画素からなる一定サイズの画素ブロックに画素アレイ部２４０を分割し、ある画素ブロックでアドレスイベントが生じると、そのブロック内の複数の画素信号を読み出せばよい。
【0109】
このように、本技術の第３の実施の形態によれば、固体撮像素子２００は、全画素のうちアドレスイベントが生じた画素の画素信号のみを読み出すため、全画素を読み出す場合と比較して、固体撮像素子２００の消費電力を低減することができる。また、全画素を読み出す場合と比較して、読出し速度を速くすることができる。
【0110】
［第１の変形例］
上述の第３の実施の形態では、全画素のうちアドレスイベントが生じた画素のみを露光して読み出していたが、画素毎に露光タイミングが異なると、画素信号の出力タイミングが画素毎にばらついてしまう。この第３の実施の形態の第１の変形例の固体撮像素子２００は、全画素を露光して、アドレスイベントが生じた画素の画素信号のみを出力する点において第３の実施の形態と異なる。
上述の第３の実施の形態では、全画素のうちアドレスイベントが生じた画素のみを露光して読み出していたが、画素毎に露光タイミングが異なると、画素信号の出力タイミングが画素毎にばらついてしまう。この第３の実施の形態の第１の変形例の固体撮像素子２００は、全画素を露光して、アドレスイベントが生じた画素の画素信号のみを出力する点において第３の実施の形態と異なる。
【0111】
図１５は、本技術の第３の実施の形態の第１の変形例における画素３００の駆動方法の一例を示すタイミングチャートである。駆動回路２１２は、垂直同期信号ＶＳＹＮＣに同期して全画素を同時に露光する。言い換えれば、グローバルシャッター方式が用いられる。
【0112】
例えば、駆動回路２１２は、露光開始のタイミングＴ１０において全画素にＲＳＴ１、ＲＳＴ２およびＲＳＴ３などのリセット信号ＲＳＴｎを供給する。ＲＳＴｎ（ｎは整数）は、画素Ｐｎへ供給される。そして、露光終了のタイミングＴ２０において駆動回路２１２は、全画素に転送信号ＴＲＧｎを供給する。これにより、全画素が同時に露光される。
【0113】
そして、タイミングＴ１０乃至Ｔ２０の露光期間内に、アドレスイベントが検出された画素について駆動回路２１２は、列処理部２５０を制御して画素信号を出力させる。
【0114】
例えば、タイミングＴ１１およびＴ１２において画素Ｐ１およびＰ２の検出信号が制御回路２１５により出力され、画素Ｐ３の検出信号は出力されなかったものとする。この場合に駆動回路２１２は、露光終了直後のタイミングＴ２１において画素Ｐ１およびＰ２の画素信号を列処理部２５０に出力させる。これにより、画素Ｐ１およびＰ２の出力タイミングを垂直同期信号ＶＳＹＮＣに同期したタイミングに揃えることができる。
【0115】
このように本技術の第３の実施の形態の第１の変形例によれば、駆動回路２１２は、全画素を露光してアドレスイベントが生じた画素の画素信号のみを出力させるため、それらの画素の画素信号の出力タイミングを揃えることができる。
【0116】
［第２の変形例］
上述の第３の実施の形態では、画素毎にＡＤＣ３２０を設け、アドレスイベントが生じた画素の画素信号のみをＡＤ変換して（言い換えれば、読み出して）いたが、画素毎にＡＤＣ３２０を配置する構成では、画素３００の回路規模が増大してしまう。この第３の実施の形態の第２の変形例における固体撮像素子２００は、カラムごとにＡＤＣを配置する点において第３の実施の形態と異なる。
上述の第３の実施の形態では、画素毎にＡＤＣ３２０を設け、アドレスイベントが生じた画素の画素信号のみをＡＤ変換して（言い換えれば、読み出して）いたが、画素毎にＡＤＣ３２０を配置する構成では、画素３００の回路規模が増大してしまう。この第３の実施の形態の第２の変形例における固体撮像素子２００は、カラムごとにＡＤＣを配置する点において第３の実施の形態と異なる。
【0117】
図１６は、本技術の第３の実施の形態の第２の変形例における固体撮像素子２００の一構成例を示すブロック図である。この第３の実施の形態の第２の変形例の固体撮像素子２００は、列処理部２５０の代わりにカラムＡＤＣ２６０を備える点において第３の実施の形態と異なる。このカラムＡＤＣ２６０には、カラムごとにＡＤＣが設けられる。
【0118】
また、第３の実施の形態の第２の変形例において制御回路２１５は、カラムＡＤＣ２６０を制御してアドレスイベントが検出されたカラムからの画素信号についてのみＡＤ変換させる。
【0119】
図１７は、本技術の第３の実施の形態の第２の変形例における画素３００の一構成例を示すブロック図である。この第３の実施の形態の第２の変形例の画素３００は、ＡＤＣ３２０が設けられない点において第３の実施の形態と異なる。画素回路３３０は、列ごとに配線された垂直信号線ＶＳＬを介してアナログの画素信号をカラムＡＤＣ２６０に供給する。
【0120】
このように、本技術の第３の実施の形態の第２の変形例では、カラムごとにＡＤＣが配置されるため、画素毎にＡＤＣを配置する場合と比較して画素３００の回路規模を削減することができる。
【0121】
＜４．第４の実施の形態＞
上述の第１の実施の形態では、画素３００が露光終了後に画素信号をＡＤ変換していたが、フォトダイオード３０５の初期化によりノイズが生じるため、そのＡＤ変換中に次の露光を開始することができない。この第４の実施の形態の画素３００は、アナログメモリおよび転送トランジスタを追加してＡＤ変換中の露光開始を可能とした点において第１の実施の形態と異なる。
上述の第１の実施の形態では、画素３００が露光終了後に画素信号をＡＤ変換していたが、フォトダイオード３０５の初期化によりノイズが生じるため、そのＡＤ変換中に次の露光を開始することができない。この第４の実施の形態の画素３００は、アナログメモリおよび転送トランジスタを追加してＡＤ変換中の露光開始を可能とした点において第１の実施の形態と異なる。
【0122】
図１８は、本技術の第４の実施の形態における画素３００の一構成例を示す回路図である。この第４の実施の形態の画素３００は、転送トランジスタ３３７およびアナログメモリ３３８をさらに備える点において第１の実施の形態と異なる。転送トランジスタ３３７として、例えば、ＮＭＯＳトランジスタが用いられる。
【0123】
転送トランジスタ３３７は、駆動回路２１２からの転送信号ＴＲＸに従ってフォトダイオード３０５からアナログメモリ３３８へ電荷を転送するものである。なお、転送トランジスタ３３７は、特許請求の範囲に記載の第１の転送トランジスタの一例であり、転送トランジスタ３３２は、特許請求の範囲に記載の第２の転送トランジスタの一例である。
【0124】
アナログメモリ３３８は、電荷を蓄積するものである。アナログメモリ３３８は、原理的には配線容量でも成立するが、浮遊拡散層３３４への電荷転送を可能とするため、埋め込み型の完全空乏化が可能な容量を用いることが望ましい。なお、アナログメモリ３３８は、特許請求の範囲に記載の電荷蓄積部の一例である。
【0125】
駆動回路２１２は、露光期間が終了すると転送信号ＴＲＸにより、フォトダイオード３０５からアナログメモリ３３８へ電荷を転送させ、リセット信号ＲＳＴにより浮遊拡散層３３４を初期化させる。ＡＤＣ３２０は、リセットレベルのＡＤ変換を開始する。
【0126】
また、駆動回路２１２は、リセットレベルのＡＤ変換が終了すると、転送信号ＴＲＧにより、アナログメモリ３３８から浮遊拡散層３３４へ電荷を転送させる。ＡＤＣ３２０は、信号レベルのＡＤ変換を開始する。
【0127】
上述したようにＡＤ変換前にフォトダイオード３０５の電荷をアナログメモリ３３８へ転送しているため、駆動回路２１２は、ＡＤ変換中において駆動信号ＯＦＧにより次の露光を開始させることができる。
【0128】
このように、本技術の第４の実施の形態によれば、露光期間が終了すると転送トランジスタ３３７が、フォトダイオード３０５からアナログメモリ３３８へ電荷を転送するため、ＡＤ変換中に次の露光を開始することができる。
【0129】
＜５．第５の実施の形態＞
上述の第１の実施の形態では、対数変換部４１０が電圧信号を減算器４２０に供給していたが、この構成では、減算器４２０以降の回路の駆動力が不足するおそれがある。この第５の実施の形態のアドレスイベント検出部４００は、バッファ４５０を配置して駆動力を向上させた点において第１の実施の形態と異なる。
上述の第１の実施の形態では、対数変換部４１０が電圧信号を減算器４２０に供給していたが、この構成では、減算器４２０以降の回路の駆動力が不足するおそれがある。この第５の実施の形態のアドレスイベント検出部４００は、バッファ４５０を配置して駆動力を向上させた点において第１の実施の形態と異なる。
【0130】
図１９は、本技術の第５の実施の形態におけるアドレスイベント検出部４００の一構成例を示す回路図である。この第５の実施の形態のアドレスイベント検出部４００は、バッファ４５０をさらに備える点において第１の実施形態と異なる。
【0131】
バッファ４５０は、対数変換部４１０からの電圧信号を減算器４２０に出力するものである。このバッファ４５０は、ＮＭＯＳトランジスタ４５１および４５２を備える。これらのトランジスタは、電源端子と接地端子との間において直列に接続される。また、ＮＭＯＳトランジスタ４５１のゲートは対数変換部４１０に接続され、ＮＭＯＳトランジスタ４５１および４５２の接続点は、減算器４２０に接続される。ＮＭＯＳトランジスタ４５２のゲートは電源端子に接続される。
【0132】
バッファ４５０により、減算器４２０以降の後段を駆動する駆動力を向上させることができる。また、バッファ４５０により、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。
【0133】
このように本技術の第５の実施の形態では、減算器４２０の前段にバッファ４５０を配置したため、減算器４２０以降の回路の駆動力を向上させることができる。
【0134】
＜６．第６の実施の形態＞
上述の第１の実施の形態では、対数変換部４１０にＰＭＯＳトランジスタ４１１および４１２からなるループ回路を１つのみ配置していたが、ループ回路が１つのみでは電流を電圧に変換する際の変換ゲインが不足するおそれがある。この第６の実施の形態の対数変換部４１０は、２段のループ回路が設けられる点において第１の実施の形態と異なる。
上述の第１の実施の形態では、対数変換部４１０にＰＭＯＳトランジスタ４１１および４１２からなるループ回路を１つのみ配置していたが、ループ回路が１つのみでは電流を電圧に変換する際の変換ゲインが不足するおそれがある。この第６の実施の形態の対数変換部４１０は、２段のループ回路が設けられる点において第１の実施の形態と異なる。
【0135】
図２０は、本技術の第６の実施の形態における対数変換部４１０の一構成例を示す回路図である。この第６の実施の形態の対数変換部４１０は、ＰＭＯＳトランジスタ４１４および４１５がさらに設けられる点において第１の実施の形態と異なる。
【0136】
ＰＭＯＳトランジスタ４１１および４１４は、フォトダイオード３０５と接地端子との間に直列に接続され、ＰＭＯＳトランジスタ４１２および４１５とＮＭＯＳトランジスタ４１３とは、電源端子と接地端子との間に直列に接続される。また、ＰＭＯＳトランジスタ４１１のゲートは、ＰＭＯＳトランジスタ４１２および４１５の接続点に接続され、ＰＭＯＳトランジスタ４１４のゲートは、ＰＭＯＳトランジスタ４１５およびＮＭＯＳトランジスタ４１３の接続点に接続される。
【0137】
一方、ＰＭＯＳトランジスタ４１２のゲートは、フォトダイオード３０５およびＰＭＯＳトランジスタ４１１の接続点に接続される。ＰＭＯＳトランジスタ４１５のゲートは、ＰＭＯＳトランジスタ４１１および４１４の接続点に接続される。また、ＰＭＯＳトランジスタ４１５およびＮＭＯＳトランジスタ４１３の接続点は、減算器４２０に接続される。
【0138】
上述のように、ＰＭＯＳトランジスタ４１１および４１２からなるループ回路とＰＭＯＳトランジスタ４１４および４１５からなるループ回路とが２段に接続されているため、ループ回路が１段のみの場合と比較して変換ゲインが２倍となる。
【0139】
このように、本技術の第６の実施の形態では、２段のループ回路を対数変換部４１０に設けたため、１段のみの場合と比較して、変換ゲインを増大させることができる。
【0140】
＜７．第７の実施の形態＞
上述の第１の実施の形態では、対数変換部４１０内においてＰＭＯＳトランジスタ４１１および４１２をループ状に接続していたが、このループ状の回路が負帰還回路となり、一定の条件下で電圧信号が発振するおそれがある。この第７の実施の形態の対数変換部４１０は、容量の追加により、安定性を向上させた点において第１の実施の形態と異なる。
上述の第１の実施の形態では、対数変換部４１０内においてＰＭＯＳトランジスタ４１１および４１２をループ状に接続していたが、このループ状の回路が負帰還回路となり、一定の条件下で電圧信号が発振するおそれがある。この第７の実施の形態の対数変換部４１０は、容量の追加により、安定性を向上させた点において第１の実施の形態と異なる。
【0141】
図２１は、本技術の第７の実施の形態における対数変換部４１０の一構成例を示す回路図である。この第７の実施の形態の対数変換部４１０は、容量４１６をさらに備える点において第１の実施の形態と異なる。
【0142】
容量４１６の一端は、ＰＭＯＳトランジスタ４１２のゲートに接続され、他端はＰＭＯＳトランジスタ４１１のゲートに接続される。この容量４１６により、電圧信号の位相遅れを補償することができる。例えば、コンデンサの他、配線間容量やトランジスタなどの容量素子を容量４１６として用いることができる。
【0143】
ここで、容量４１６を設けない場合におけるＰＭＯＳトランジスタ４１１および４１２からなるループ回路の伝達関数は次の式により表される。
上式において、ｇｍは、ＰＭＯＳトランジスタ４１１の相互コンダクタンスであり、Ｇｍは、ＰＭＯＳトランジスタ４１２の相互コンダクタンスである。Ｒ０は、ループ回路の出力抵抗であり、ｓは複素数である。Ｃｐｄは、ＰＭＯＳトランジスタ４１１のソース側の容量であり、Ｃ０は、ＰＭＯＳトランジスタ４１１のゲート容量である。相互コンダクタンスの単位は、例えば、ジーメンス（Ｓ）であり、抵抗の単位は、例えば、オーム（Ω）である。また、容量の単位は、例えば、ファラッド（Ｆ）である。
【数1】
【0144】
これに対して、容量４１６を設けたループ回路の開ループ利得を考慮した伝達関数は、その容量の容量値ＣＣが出力端子に付く寄生容量よりも小さいことを仮定して、次の式により表される。
【数2】
【0145】
また、ＣＣとＣ０との間には、次の関係式が成立するものとする。この関係は、設計上、妥当な過程である。
ＣＣ＜＜Ｃ０ ・・・式８
ＣＣ＜＜Ｃ０ ・・・式８
【0146】
式７より、容量の追加によってｇｍ／Ｃｃの位置にゼロ点ができていることが分かる。このゼロ点の位置はｇｍに比例し、照度に依存する。このため、対応する照度依存の極(すなわち、ｇｍ／Ｃｐｄ＋Ｃｃの極)との関係を加味し、容量値ＣＣとＣｐｄ＋Ｃｃとが大きく乖離しない値にＣＣを設計することにより、全照度条件下において安定性を確保することができる。なお、容量値Ｃｃは、Ｃｐｄ／３乃至Ｃｐｄ／２の範囲内とすることが好ましい。
【0147】
このように、本技術の第７の実施の形態では、ループ回路において容量４１６を追加したため、電圧信号の位相遅れを補償することができる。これにより、対数変換部４１０の安定性を向上させることができる。
【0148】
＜８．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0149】
図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0150】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
【0151】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0152】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0153】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0154】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0155】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0156】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0157】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0158】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0159】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0160】
図２３は、撮像部１２０３１の設置位置の例を示す図である。
【0161】
図２３では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【0162】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0163】
なお、図２３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【0164】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0165】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0166】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0167】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【0168】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、画質を向上させて、より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
【0169】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【0170】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【0171】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【0172】
なお、本技術は以下のような構成もとることができる。
（１）光電変換により電子および正孔を生成するフォトダイオードと、
前記電子および前記正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成部と、
前記電子および前記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出部と
を具備する固体撮像素子。
（２）前記画素信号生成部は、前記電子の量に応じた電圧の前記画素信号を生成し、
前記検出部は、前記正孔の変化量が前記閾値を超えたか否かを検出する
前記（１）記載の固体撮像素子。
（３）前記フォトダイオードと前記画素信号生成部の一部とは、所定の受光チップに配置され、
前記画素信号生成部の残りと前記検出部とは、所定の回路チップに配置される
前記（１）または（２）に記載の固体撮像素子。
（４）前記画素信号生成部は、
前記画素信号を生成する画素回路と、
前記画素信号と所定の参照信号とを比較する比較回路と
を備え、
前記フォトダイオードと前記画素回路と前記比較回路の一部とは、前記受光チップに配置され、
前記比較回路の残りと前記検出部とは、前記回路チップに配置される
前記（３）記載の固体撮像素子。
（５）前記画素信号生成部は、
前記画素信号を生成する画素回路と、
前記画素信号と所定の参照信号とを比較する比較回路と
を備え、
前記フォトダイオードおよび前記画素回路は、前記受光チップに配置され、
前記比較回路および前記検出部は、前記回路チップに配置される
前記（３）記載の固体撮像素子。
（６）前記検出部により前記変化量が前記閾値を超えた旨が検出された場合には前記画素信号生成部を駆動して前記画素信号を生成させる駆動部をさらに具備する
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記画素信号に対して所定の信号処理を行って出力する列処理部と、
所定の露光期間内に前記変化量が前記閾値を超えた旨が検出された場合には前記列処理部を制御して前記画素信号を出力させる制御回路と
を具備する前記（１）から（５）のいずれかに記載の固体撮像素子。
（８）前記フォトダイオード、前記画素信号生成部および前記検出部は、複数の画素のそれぞれに配置され、
前記画素信号生成部は、
アナログの前記画素信号を生成する画素回路と、
前記画素信号をデジタル信号に変換して出力するアナログデジタル変換器と
を備える前記（１）から（７）のいずれかに記載の固体撮像素子。
（９）アナログの前記画素信号をデジタル信号に変換するアナログデジタル変換器をさらに具備し、
前記フォトダイオード、前記画素信号生成部および前記検出部は、複数の画素のそれぞれに配置され、
前記画素信号生成部は、アナログの前記画素信号を生成して前記アナログデジタル変換器へ出力する
前記（１）から（７）のいずれかに記載の固体撮像素子。
（１０）前記画素信号生成部は、
前記電子および前記正孔の一方の電荷を蓄積する電荷蓄積部と、
前記電荷を蓄積して当該電荷の量に応じた前記電圧に変換する浮遊拡散層と、
前記フォトダイオードから電荷蓄積部へ前記電荷を転送する第１の転送トランジスタと、
前記電荷蓄積部から前記浮遊拡散層へ前記電荷を転送する第２の転送トランジスタと
を備える
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１１）前記検出部は、
前記電子および前記正孔の他方からなる光電流を電圧に変換する変換部と、
減算により前記電圧の変化量を求める減算器と、
前記変化量と前記閾値とを比較して当該比較結果を前記検出信号として出力するコンパレータと
を備える前記（１）から（１０）のいずれかに記載の固体撮像素子。
（１２）前記検出部は、前記変換部からの前記電圧の信号を前記減算器に出力するバッファをさらに備える
前記（１１）記載の固体撮像素子。
（１３）前記変換部は、複数段のループ回路を備え、
前記複数段のループ回路のそれぞれは、ループ状に接続された一対のトランジスタからなる
前記（１１）または（１２）に記載の固体撮像素子。
（１４）前記変換部は、
ループ状に接続された一対のトランジスタと、
前記一対のトランジスタのそれぞれのゲートに接続された容量と
を備える前記（１１）または（１２）に記載の固体撮像素子。
（１５）光電変換により電子および正孔を生成するフォトダイオードと、
前記電子および前記正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成部と、
前記電子および前記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出部と、
前記検出信号および前記画素信号に対して所定の処理を行うデジタル信号処理部と
を具備する撮像装置。
（１６）光電変換により生成された電子および正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成手順と、
前記電子および前記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出手順と
を具備する固体撮像素子の制御方法。
（１）光電変換により電子および正孔を生成するフォトダイオードと、
前記電子および前記正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成部と、
前記電子および前記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出部と
を具備する固体撮像素子。
（２）前記画素信号生成部は、前記電子の量に応じた電圧の前記画素信号を生成し、
前記検出部は、前記正孔の変化量が前記閾値を超えたか否かを検出する
前記（１）記載の固体撮像素子。
（３）前記フォトダイオードと前記画素信号生成部の一部とは、所定の受光チップに配置され、
前記画素信号生成部の残りと前記検出部とは、所定の回路チップに配置される
前記（１）または（２）に記載の固体撮像素子。
（４）前記画素信号生成部は、
前記画素信号を生成する画素回路と、
前記画素信号と所定の参照信号とを比較する比較回路と
を備え、
前記フォトダイオードと前記画素回路と前記比較回路の一部とは、前記受光チップに配置され、
前記比較回路の残りと前記検出部とは、前記回路チップに配置される
前記（３）記載の固体撮像素子。
（５）前記画素信号生成部は、
前記画素信号を生成する画素回路と、
前記画素信号と所定の参照信号とを比較する比較回路と
を備え、
前記フォトダイオードおよび前記画素回路は、前記受光チップに配置され、
前記比較回路および前記検出部は、前記回路チップに配置される
前記（３）記載の固体撮像素子。
（６）前記検出部により前記変化量が前記閾値を超えた旨が検出された場合には前記画素信号生成部を駆動して前記画素信号を生成させる駆動部をさらに具備する
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記画素信号に対して所定の信号処理を行って出力する列処理部と、
所定の露光期間内に前記変化量が前記閾値を超えた旨が検出された場合には前記列処理部を制御して前記画素信号を出力させる制御回路と
を具備する前記（１）から（５）のいずれかに記載の固体撮像素子。
（８）前記フォトダイオード、前記画素信号生成部および前記検出部は、複数の画素のそれぞれに配置され、
前記画素信号生成部は、
アナログの前記画素信号を生成する画素回路と、
前記画素信号をデジタル信号に変換して出力するアナログデジタル変換器と
を備える前記（１）から（７）のいずれかに記載の固体撮像素子。
（９）アナログの前記画素信号をデジタル信号に変換するアナログデジタル変換器をさらに具備し、
前記フォトダイオード、前記画素信号生成部および前記検出部は、複数の画素のそれぞれに配置され、
前記画素信号生成部は、アナログの前記画素信号を生成して前記アナログデジタル変換器へ出力する
前記（１）から（７）のいずれかに記載の固体撮像素子。
（１０）前記画素信号生成部は、
前記電子および前記正孔の一方の電荷を蓄積する電荷蓄積部と、
前記電荷を蓄積して当該電荷の量に応じた前記電圧に変換する浮遊拡散層と、
前記フォトダイオードから電荷蓄積部へ前記電荷を転送する第１の転送トランジスタと、
前記電荷蓄積部から前記浮遊拡散層へ前記電荷を転送する第２の転送トランジスタと
を備える
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１１）前記検出部は、
前記電子および前記正孔の他方からなる光電流を電圧に変換する変換部と、
減算により前記電圧の変化量を求める減算器と、
前記変化量と前記閾値とを比較して当該比較結果を前記検出信号として出力するコンパレータと
を備える前記（１）から（１０）のいずれかに記載の固体撮像素子。
（１２）前記検出部は、前記変換部からの前記電圧の信号を前記減算器に出力するバッファをさらに備える
前記（１１）記載の固体撮像素子。
（１３）前記変換部は、複数段のループ回路を備え、
前記複数段のループ回路のそれぞれは、ループ状に接続された一対のトランジスタからなる
前記（１１）または（１２）に記載の固体撮像素子。
（１４）前記変換部は、
ループ状に接続された一対のトランジスタと、
前記一対のトランジスタのそれぞれのゲートに接続された容量と
を備える前記（１１）または（１２）に記載の固体撮像素子。
（１５）光電変換により電子および正孔を生成するフォトダイオードと、
前記電子および前記正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成部と、
前記電子および前記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出部と、
前記検出信号および前記画素信号に対して所定の処理を行うデジタル信号処理部と
を具備する撮像装置。
（１６）光電変換により生成された電子および正孔の一方の量に応じた電圧の画素信号を生成する画素信号生成手順と、
前記電子および前記正孔の他方の変化量が所定の閾値を超えたか否かを検出して検出信号を出力する検出手順と
を具備する固体撮像素子の制御方法。
【符号の説明】
【0173】
１００ 撮像装置
１１０ 光学部
１２０ ＤＳＰ回路
１３０ 表示部
１４０ 操作部
１５０ バス
１６０ フレームメモリ
１７０ 記憶部
１８０ 電源部
２００ 固体撮像素子
２０１ 受光チップ
２０２ 回路チップ
２１１ ＤＡＣ
２１２ 駆動回路
２１３ Ｘアービタ
２１５ 制御回路
２１６ Ｙアービタ
２３０ 時刻コード発生部
２４０ 画素アレイ部
２４１ 時刻コード転送部
２５０ 列処理部
２６０ カラムＡＤＣ
３００ 画素
３０５ フォトダイオード
３０６ Ｎ層
３０７ Ｐ層
３１０ 画素信号生成部
３１１ 負荷ＭＯＳ回路
３２０ ＡＤＣ
３２１ 比較回路
３３０ 画素回路
３３１ 排出トランジスタ
３３２、３３７ 転送トランジスタ
３３３ リセットトランジスタ
３３４ 浮遊拡散層
３３５ 増幅トランジスタ
３３６ 選択トランジスタ
３３８ アナログメモリ
３４０ 差動入力回路
３４１、３４２、４１１、４１２、４１４、４１５ ＰＭＯＳトランジスタ
３４３～３４５、４１３、４５１、４５２ ＮＭＯＳトランジスタ
３５０ 電圧変換回路
３６０ 正帰還回路
３７０ データ記憶部
４００ アドレスイベント検出部
４１０ 対数変換部
４１６、４２１、４２３ 容量
４２０ 減算器
４２２ アンプ
４２４ スイッチ
４３０ コンパレータ
４４０ ＡＥＲロジック回路
４５０ バッファ
１２０３１ 撮像部
１１０ 光学部
１２０ ＤＳＰ回路
１３０ 表示部
１４０ 操作部
１５０ バス
１６０ フレームメモリ
１７０ 記憶部
１８０ 電源部
２００ 固体撮像素子
２０１ 受光チップ
２０２ 回路チップ
２１１ ＤＡＣ
２１２ 駆動回路
２１３ Ｘアービタ
２１５ 制御回路
２１６ Ｙアービタ
２３０ 時刻コード発生部
２４０ 画素アレイ部
２４１ 時刻コード転送部
２５０ 列処理部
２６０ カラムＡＤＣ
３００ 画素
３０５ フォトダイオード
３０６ Ｎ層
３０７ Ｐ層
３１０ 画素信号生成部
３１１ 負荷ＭＯＳ回路
３２０ ＡＤＣ
３２１ 比較回路
３３０ 画素回路
３３１ 排出トランジスタ
３３２、３３７ 転送トランジスタ
３３３ リセットトランジスタ
３３４ 浮遊拡散層
３３５ 増幅トランジスタ
３３６ 選択トランジスタ
３３８ アナログメモリ
３４０ 差動入力回路
３４１、３４２、４１１、４１２、４１４、４１５ ＰＭＯＳトランジスタ
３４３～３４５、４１３、４５１、４５２ ＮＭＯＳトランジスタ
３５０ 電圧変換回路
３６０ 正帰還回路
３７０ データ記憶部
４００ アドレスイベント検出部
４１０ 対数変換部
４１６、４２１、４２３ 容量
４２０ 減算器
４２２ アンプ
４２４ スイッチ
４３０ コンパレータ
４４０ ＡＥＲロジック回路
４５０ バッファ
１２０３１ 撮像部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】