IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023110108
(43)【公開日】2023-08-09
(54)【発明の名称】撮像装置及び撮像方法
(51)【国際特許分類】
   H04N 25/779 20230101AFI20230802BHJP
   H04N 25/772 20230101ALI20230802BHJP
   H04N 25/77 20230101ALI20230802BHJP
   H04N 23/54 20230101ALI20230802BHJP
   H04N 23/65 20230101ALI20230802BHJP
【FI】
H04N5/376 500
H04N5/3745 500
H04N5/335 500
H04N5/225 300
H04N5/232 411
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2020105582
(22)【出願日】2020-06-18
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(72)【発明者】
【氏名】児玉 和俊
【テーマコード(参考)】
5C024
5C122
【Fターム(参考)】
5C024CX61
5C024CY42
5C024HX23
5C024HX27
5C024HX47
5C024JX45
5C122DA14
5C122EA52
5C122FC05
5C122FC06
5C122FC12
5C122HA86
5C122HA88
5C122HB02
5C122HB10
(57)【要約】      (修正有)
【課題】電源電圧の変動を抑制可能な撮像装置及び撮像方法を提供する。
【解決手段】DVSと呼ばれる非同期型の撮像と、階調用画像用の同期型の撮像とが並行して可能な装置である固体撮像素子200は、画素アレイ部30と、第1アクセス制御回路211aと、第2アクセス制御回路211bと、AD変換器212aと、DVS読み出し回路212bと、第1信号処理部213と、第2信号処理部214と、タイムスタンプ生成回路215と、タイミング制御回路216と、出力インターフェース217、218とを有する。
【選択図】図3
【特許請求の範囲】
【請求項1】
光量に応じた出力信号を出力する複数のDVS用画素と、前記複数のDVS用画素のそれぞれに対応し、対応する前記DVS用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第1回路と、を有する画素アレイ部と、
制御信号に応じて、前記複数のDVS用画素及び前記複数の第1回路に対応する電力消費を行うことが可能な第2回路部と、
前記複数の第1回路を駆動する第1制御期間と、駆動しない第2制御期間を有し、前記制御信号を用いて前記第2制御期間に前記第2回路部を駆動する制御を行う制御回路と、
を備える、撮像装置。
【請求項2】
前記第2回路部は、
前記制御信号に応じて出力信号を出力する複数の画素を有する、
請求項1に記載の撮像装置。
【請求項3】
前記複数の画素のそれぞれは、印可される電圧に応じた出力信号を出力する、請求項2に記載の撮像装置。
【請求項4】
前記第2回路部は、
前記対応するの前記画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第2回路を、
更に有する、請求項3に記載の撮像装置。
【請求項5】
前記第2回路部は、印可される電圧に応じて消費電力を調整可能であり、
前記制御信号に応じて、前記第2回路部に電圧を印可する第1電圧源を更に備える、請求項4に記載の撮像装置。
【請求項6】
前記第2回路部は、印可される第1電位と、前記第1電位よりも高い第2電位とで消費電力が異なり、
前記第1電圧源は、前記制御信号に応じて、第1電位の期間と、前記第1電位よりも高い第2電位の期間とを繰り返すパルス状の電圧を出力可能である、請求項5に記載の撮像装置。
【請求項7】
複数の第2回路のそれぞれは、前記第1電位では、前記所定の閾値を超えず、前記第2電位では、前記所定の閾値を超える、請求項6に記載の撮像装置。
【請求項8】
前記制御部は、複数のパルス状の電圧を出力させることが可能であり、前記複数のDVS用画素及び前記複数の第1回路の消費電力に応じて前記パルス状の電圧のパターンを変更する、請求項7に記載の撮像装置。
【請求項9】
前記制御部は、所定の時間間隔において前記複数の第1回路が検出するアドレスイベントの数に応じて、前記パルス状の電圧のパターンを変更する、請求項8に記載の撮像装置。
【請求項10】
前記制御部は、読み出し順が最後から数行分の前記複数の第1回路が検出するアドレスイベントの数に応じて前記パルス状の電圧のパターンを変更する、請求項9に記載の撮像装置。
【請求項11】
前記第2回路部は、印可される電圧に応じて消費電力を調整可能であり、
前記制御信号に応じて、前記第2回路部に電圧を印可する第1電圧源と、前記第1電圧源よりも電位の低い第2電圧源とを、更に備え、
前記第2回路部は、前記第1電圧源の電位と、前記第2電圧源の電位差に応じて消費電力が異なる、請求項4に記載の撮像装置。
【請求項12】
前記複数の画素のそれぞれは、前記第1電圧源と、前記第2電圧源との間に接続され、前記第1電圧源と、前記第2電圧源との電位に応じて、前記所定の閾値を超える前記複数の画素の数が制御可能である、請求項11に記載の撮像装置。
【請求項13】
前記画素アレイ部は、階調用の複数の階調用画素を更に備え、
前記複数のDVS用画素の出力信号に基づくDVS用画像と、
前記複数の階調用画素の出力信号に基づく階調用画像と、の生成が可能である、請求項1に記載の撮像装置。
【請求項14】
前記複数のDVS用画素は、前記画素アレイ部に行列状に配置され、前記画素アレイ部の行順に応じて、出力信号が読み出される、請求項1に記載の撮像装置。
【請求項15】
前記第2制御期間は、前記複数のDVS用画素の垂直ブランク期間に対応する、請求項1に記載の撮像装置。
【請求項16】
前記第2制御期間は、前記複数のDVS用画素の水平ブランク期間に対応する、請求項1に記載の撮像装置。
【請求項17】
光量に応じた出力信号を出力する複数のDVS用画素と、前記複数のDVS用画素のそれぞれに対応し、対応するの前記DVS用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第1回路と、を有する画素アレイ部の撮像方法であって、
前記複数の第1回路を駆動する第1制御期間と、駆動しない第2制御期間を有し、
前記複数のDVS用画素及び前記複数の第1回路に対応する電力消費を行うことが可能な第2回路部を、前記第2制御期間に駆動させる、撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置及び撮像方法に関する。
【背景技術】
【0002】
垂直同期信号などの同期信号に同期して画像データ(フレーム)を撮像する同期型の固体撮像素子が、撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期(例えば、1/60秒)ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、その画素の光量が閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像素子が提案されている。このように、画素毎にアドレスイベントを検出する固体撮像素子は、DVS(Dynamic Vision Sensor)と呼ばれる。同期型の固体撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】WO2019/087471号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、DVS用画素で生成した検出信号に基づくDVS用画像より、より高精細な画像の表示も求められる場合がある。ところが、DVS用画像とより高精細な階調用画像を同時に取得すると、DVS用画像の撮像期間とDVS用画像のブランク期間とで電源電圧が変動し、この電源電圧の変動とのカップリングにより階調用画像を取得する際に用いるAD特性に影響を与える恐れがある。
【0005】
そこで、本開示では、電源電圧の変動を抑制可能な撮像装置及び撮像方法を提供するものである。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示によれば、光量に応じた出力信号を出力する複数のDVS用画素と、前記複数のDVS用画素のそれぞれに対応し、対応する前記DVS用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第1回路と、を有する画素アレイ部と、
制御信号に応じて、前記複数のDVS用画素及び前記複数の第1回路に対応する電力消費を行うことが可能な第2回路部と、
前記複数の第1回路を駆動する第1制御期間と、駆動しない第2制御期間を有し、前記制御信号を用いて前記第2制御期間に前記第2回路部を駆動する制御を行う制御回路と、
を備える、撮像装置が提供される。
【0007】
前前記第2回路部は、
前記制御信号に応じて出力信号を出力する複数の画素を有してもよい。
【0008】
前記複数の画素のそれぞれは、印可される電圧に応じた出力信号を出力してもよい。
【0009】
前記第2回路部は、
前記対応するの前記画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第2回路を、更に有してもよい。
【0010】
前記第2回路部は、印可される電圧に応じて消費電力を調整可能であり、
前記制御信号に応じて、前記第2回路部に電圧を印可する第1電圧源を更に備えてもよい。
【0011】
前記第2回路部は、印可される第1電位と、前記第1電位よりも高い第2電位とで消費電力が異なり、
前記第1電圧源は、前記制御信号に応じて、第1電位と、前記第1電位よりも高い第2電位の期間を繰り返すパルス状の電圧を出力可能であってもよい。
【0012】
複数の第2回路のそれぞれは、前記第1電位では、前記所定の閾値を超えず、前記第2電位では、前記所定の閾値を超えてもよい。
【0013】
前記制御部は、複数のパルス状の電圧を出力させることが可能であり、前記複数のDVS用画素及び前記複数の第1回路の消費電力に応じて前記パルス状の電圧のパターンを変更してもよい。
【0014】
前記制御部は、所定の時間間隔において前記複数の第1回路が検出するアドレスイベントの数に応じて、前記パルス状の電圧のパターンを変更してもよい。
【0015】
前記制御部は、読み出し順が最後から数行分の前記複数の第1回路が検出するアドレスイベントの数に応じて前記パルス状の電圧のパターンを変更してもよい。
【0016】
前記第2回路部は、印可される電圧に応じて消費電力を調整可能であり、
前記制御信号に応じて、前記第2回路部に電圧を印可する第1電圧源と、前記第1電圧源よりも電位の低い第2電圧源とを、更に備え、
前記第2回路部は、前記第1電圧源の電位と、前記第2電圧源の電位差に応じて消費電力が異なってもよい。
【0017】
前記複数の画素のそれぞれは、前記第1電圧源と、前記第2電圧源との間に接続され、前記第1電圧源と、前記第2電圧源との電位に応じて、前記所定の閾値を超える前記複数の画素の数が制御可能であってもよい。
【0018】
前記画素アレイ部は、階調用の複数の階調用画素を更に備え、
前記複数のDVS用画素の出力信号に基づくDVS用画像と、
前記複数の階調用画素の出力信号に基づく階調用画像と、の生成が可能であってもよい。
【0019】
前記複数のDVS用画素は、前記画素アレイ部に行列状に配置され、前記画素アレイ部の行順に応じて、出力信号が読み出されてもよい。
【0020】
前記第2制御期間は、前記複数のDVS用画素の垂直ブランク期間に対応してもよい。
【0021】
前記第2制御期間は、前記複数のDVS用画素の水平ブランク期間に対応してもよい。
【0022】
本開示によれば、光量に応じた出力信号を出力する複数のDVS用画素と、前記複数のDVS用画素のそれぞれに対応し、対応するの前記DVS用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第1回路と、を有する画素アレイ部の撮像方法であって、
前記複数の第1回路を駆動する第1制御期間と、駆動しない第2制御期間を有し、
前記複数のDVS用画素及び前記複数の第1回路に対応する電力消費を行うことが可能な第2回路部を、前記第2制御期間に駆動させる、撮像方法が提供される。
【図面の簡単な説明】
【0023】
図1】本開示に係る技術が適用される像装置の構成の一例を示すブロック図。
図2】固体撮像素子の積層構造の一例を示す図。
図3】固体撮像素子の構成例を示すブロック図。
図4】行列状に配置される画素ブロック及び調整画素ブロックを模式的に示す図。
図5】画素ブロックの構成を模式的に示す図。
図6】調整画素ブロックの構成を模式的に示す図。
図7】AD変換部の構成例を示すブロック図。
図8】DVS読み出し回路の構成例を示すブロック図。
図9】階調用画素の構成例を示す図。
図10】DVS用画素の構成例を示す図。
図11】DVS用AFEの第1構成例を示すブロック図。
図12】電流電圧変換部の構成の一例を示す回路図。
図13】減算器及び量子化器の構成の一例を示す回路図
図14】DVS用AFEの第2構成例を示すブロック図。
図15】ダミーDVS用画素の構成例を示す図。
図16】第1電圧源に接続されるダミーDVS用AFEの構成例を示す図。
図17】タイミング制御回路による撮像制御例を示す図。
図18】各ダミーDVS用AFEを駆動させる場合の撮像制御例を示す図。
図19図17で示す処理を3周期行った処理例を示す図。
図20】ダミーDVS用AFEの制御例を模式的に示す図。
図21】第1実施形態の変形例2に係るダミーDVS用画素及びダミーDVS用AFEの制御例を模式的に示す図。
図22】第1実施形態の変形例3に係る固体撮像素子の構成例を示すブロック図。
図23】第1実施形態の変形例3係るDVS用画素の構成例を示す図。
図24】第2実施形態に係るダミーDVS用画素の構成例を示す図。
図25】ダミーDVS用画素及びダミーDVS用AFEをブランク期間に一律に駆動した場合の電源電圧の変動例を示す図。
図26】第2実施形態に係る撮像素子の構成例を示す図。
図27】本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。
図28】撮像部及び車外情報検出部の設置位置の例を示す図。
【発明を実施するための形態】
【0024】
以下、図面を参照して、撮像装置及び撮像方法の実施形態について説明する。以下では、撮像装置の主要な構成部分を中心に説明するが、撮像装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
【0025】
(第1実施形態)
[撮像装置の構成例]
図1は、本技術の実施の形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、撮像レンズ110、固体撮像素子200、記録部120および制御部130を備える。撮像装置100としては、ウェアラブルデバイスに搭載されるカメラや、車載カメラなどが想定される。
【0026】
撮像レンズ110は、入射光を集光して固体撮像素子200に導くものである。固体撮像素子200は、DVS用画素と階調用画素を有する。また、固体撮像素子200は、DVS用画素における輝度の変化量の絶対値が閾値を超えた旨をアドレスイベントとして検出することが可能である。このアドレスイベントは、例えば、輝度の上昇量が上限閾値を超えた旨を示すオンイベントと、輝度の低下量が上限閾値未満の下限閾値を下回った旨を示すオフイベントとを含む。そして、固体撮像素子200は、アドレスイベントの検出結果を示す検出信号をDVS用の画素毎に生成する。それぞれの検出信号は、オンイベントの有無を示すオンイベント検出信号VCHと、オフイベントの有無を示すオフイベント検出信号VCLとを含む。なお、固体撮像素子200は、オンイベントおよびオフイベントの両方の有無を検出しているが、一方のみを検出することもできる。また、本実施形態に係るDVS用画素は、検知信号の他に、DVS輝度信号を出力することも可能である。これにより、DVS用画素の検出信号に基づく第1DVS用画像と、DVS用画素の輝度信号に基づく第2DVS用画像とが構成される。
【0027】
一方で、階調用画素は階調用輝度信号を出力する。階調用画素が出力する階調用輝度信号に基づき、階調用画像が構成される。なお、本実施形態では、DVS用画素の検出信号に基づく画像を第1DVS用画像と称し、DVS用画素の輝度信号に基づく画像を第2DVS用画像と称し、階調用画素が出力する階調用輝度信号に基づく画像を階調用画像と称する。
【0028】
固体撮像素子200は、第1DVS画、第2DVS用画像、及び階調用画像に対し、画像認識処理などの所定の信号処理を実行し、その処理後のデータを記録部120に信号線209を介して出力する。
【0029】
記録部120は、固体撮像素子200からのデータを記録するものである。制御部130は、固体撮像素子200を制御して画像データを撮像させるものである。
【0030】
[固体撮像素子の構成例]
図2は、本技術の実施の形態における固体撮像素子200の積層構造の一例を示す図である。この固体撮像素子200は、検出チップ202と、その検出チップ202に積層された受光チップ201とを備える。これらの基板は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu-Cu接合やバンプにより接続することもできる。
【0031】
図3は、固体撮像素子200の構成例を示すブロック図である。図3に示すように、本開示に係る固体撮像素子200は、DVSと呼ばれる非同期型の撮像と、階調用画像用の同期型の撮像とが並行して可能な装置である。この固体撮像素子200は、画素アレイ部30と、第1アクセス制御回路211aと、第2アクセス制御回路211bと、AD変換器212aと、DVS読み出し回路212bと、第1信号処理部213と、第2信号処理部214と、タイムスタンプ生成回路215と、タイミング制御回路216と、出力インターフェース217、218とを有する。
【0032】
ここで、図4乃至図6の基づき、画素アレイ部30の構成を説明する。図4は、画素アレイ部30に行列状に配置される画素ブロック30a及び調整画素ブロック30bを模式的に示す図である。図4に示すように、画素アレイ部30には、複数の画素ブロック30aと、複数の調整画素ブロック30bとが行列状(アレイ状)に2次元配列されている。
【0033】
まず、図5に基づき、画素ブロック30aの構成を説明する。図5は、画素ブロック30aの構成を模式的に示す図である。図5に示すように、画素ブロック30aは、複数の階調用画素308aと、DVS用画素308bと、DVS用AFE(アナログ・フロント・エンド:Analog Front End)314とを有する。この画素ブロック30aには、複数の階調用画素308aとDVS用画素308bとが行列状に配置される。この画素配列に対して、階調用画素308aの画素列毎に、後述する垂直信号線VSL1が配線される。また、垂直信号線VSL1とは独立した垂直信号線VSL2が、DVS用画素308bの画素列毎に配線される。複数の複数の階調用画素308aのそれぞれは、光電流に応じた電圧のアナログ信号を階調用輝度信号として生成し、AD変換器212a(図3参照)に出力する。なお、本実施形態に係るDVS用AFE314が第1回路に対応する。
【0034】
一方で、DVS用画素308bは、光電流に応じた電圧のアナログ信号をDVS用AFE314に出力する。また、DVS用画素308bは、光電流に応じた電圧のアナログ信号をDVS用輝度信号として生成し、アドレスイベントが生じた場合にDVS読み出し回路212b(図3参照)に出力する。
【0035】
DVS用AFE(アナログ・フロント・エンド:Analog Front End)314は、DVS用画素308bの出力に基づく電圧信号から検出信号を生成し、第2信号処理部214(図3参照)に出力する。より詳細には、DVS用AFE314は、DVS用画素308bにおける光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、DVS用AFE314は、検出信号を第2信号処理部214に出力する。例えば、DVS用AFE314は、検出した活性画素のアドレス情報(X、Y)、タイムスタンプ情報T、及びアドレスイベント情報VCH、VCLを、例えば、イベント情報(X、Y、T、VCH、VCL))として、第2信号処理部214に出力する。また、DVS用AFE314は、検出チップ202に構成される。これらの複数の階調用画素308aと、DVS用画素308b及びDVS用AFE314とは、独立した制御系により、並列動作が可能である。なお、階調用画素308a、DVS用画素308b、及びDVS用AFE314の詳細な構成は、後述する。
【0036】
次に、図6に基づき、調整画素ブロック30bの構成を説明する。図6は、調整画素ブロック30bの構成を模式的に示す図である。図6に示すように、調整画素ブロック30bは、画素アレイ部30における電源電圧VDD2等の電圧降下を制御可能な画素ブロックである。この調整画素ブロック30bは、複数の階調用画素308aと、ダミーDVS用画素308cと、ダミーDVS用AFE316とを有する。すなわち、調整画素ブロック30bには、DVS用画素308bの替わりにダミーDVS用画素308cが構成される。ダミーDVS用画素308cは、受光量に依存せずに、制御信号により出力信号を制御可能な画素である。なお、本実施形態では、ダミーDVS用画素308cとダミーDVS用AFE316との構成数を調整画素ブロック30bごとに一つとしているが、これに限定されない。例えば、調整画素ブロック30bは、複数のダミーDVS用画素308cと、複数のダミーDVS用AFE316とを備えてもよい。また、本実施形態に係る複数の調整画素ブロック30bが第2回路部に対応し、ダミーDVS用画素308cが画素に対応する。
【0037】
ダミーDVS用AFE316は、ダミーDVS用画素308cの出力に基づく電圧信号の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。
【0038】
このように、調整画素ブロック30bのダミーDVS用AFE316の検出信号は、ダミーDVS用画素308cに対する制御信号により制御される。また、ダミーDVS用AFE316は、検出チップ202に構成される。なお、ダミーDVS用画素308c、及びダミーDVS用AFE316の詳細な構成も後述する。
【0039】
再び図3に戻り、第1アクセス制御回路211aは、複数の階調用画素308aを制御する。第1アクセス制御回路211aは、複数の階調用画素308aそれぞれの蓄積電荷のリセット、光電変換電流の蓄積量に応じた階調用輝度信号の生成、階調用輝度信号の出力などを制御する。例えば、第1アクセス制御回路211aは、複数の階調用画素308aそれぞれに蓄積された光電変換電流を、行毎に順に階調用輝度信号としてAD変換器212aに出力させる。なお、階調用画素308aの制御動作の詳細は後述する。
【0040】
第2アクセス制御回路211bは、複数のDVS用AFE314と、複数のダミーDVS用画素308cと、複数のダミーDVS用AFE316とを制御する。本実施形態に係る第2アクセス制御回路211bは、複数のDVS用AFE314に対して行毎にアドレスイベントを順に検出させ、検出信号を第2信号処理部214に対して行毎に順に出力させる。また、第2アクセス制御回路211bは、アドレスイベントが検出されたDVS用画素308bの輝度信号をDVS読み出し回路212bに対して行毎に順に出力させる。さらにまた、第2アクセス制御回路211bは、複数のダミーDVS用AFE314を制御し、電源電圧VDD等の電圧降下を調整する。なお、DVS用AFE314、ダミーDVS用画素308c及びダミーDVS用AFE316の制御動作の詳細は後述する。なお、本実施形態に係る第2アクセス制御回路211bが制御回路に対応する。
【0041】
図7に基づき、AD変換器212aの構成例を説明する。図7は、AD変換器212aの構成例を示すブロック図である。このAD変換器212aは、画素ブロック30a、30b毎に配置される階調用画素308aの列ごとにADC230を備える。ADC230は、垂直信号線VSL1を介して供給されたアナログの階調用輝度信号SIGをデジタル信号に変換する。このデジタル信号は、階調用輝度信号SIG1よりもビット数の多いデジタルの画素信号に変換される。例えば、階調用輝度信号SIG1を2ビットとすると、画素信号は、3ビット以上(16ビットなど)のデジタル信号に変換される。ADC230は、生成したデジタル信号を第1信号処理部213に供給する。
【0042】
図8に基づき、DVS読み出し回路212bの構成例を説明する。図8は、DVS読み出し回路212bの構成例を示すブロック図である。このDVS読み出し回路212bは、画素ブロック30a、30b毎に配置されるDVS用画素308bの列ごとにADC230を備える。ADC230は、垂直信号線VSL2を介して供給されたアナログのDVS用輝度信号SIG2をデジタル信号に変換する。このデジタル信号は、DVS用輝度信号SIG2よりもビット数の多いデジタルの画素信号に変換される。例えば、DVS用輝度信号SIG2を2ビットとすると、画素信号は、3ビット以上(16ビットなど)のデジタル信号に変換される。ADC230は、生成したデジタル信号を第2信号処理部214に供給する。
【0043】
再び図3に示すように、第1信号処理部213は、AD変換器212aからのデジタル信号に対し、CDS(Correlated Double Sampling)処理や画像認識処理などの所定の信号処理を実行するものである。この信号処理部212は、処理結果を示すデータと検出信号とを信号線209を介して記録部120に供給する。
【0044】
第2信号処理部214は、複数のDVS用AFE314からの検出信号に対して所定の信号処理を実行する。第2信号処理部214は、例えば検出信号を画素信号として二次元格子状に配列し、第1DVS用画像を生成する。また、第2信号処理部214は、DVS読み出し回路212bから供給されたデジタル信号に基づき第2DVS用画像を生成する。そして、第2信号処理部214は、第1DVS用画像、及び第2DVS用画像に画像認識処理などの画像処理を実行する。
【0045】
タイムスタンプ生成回路215は、タイムスタンプ情報Tを生成し、固体撮像素子200の各構成に供給する。例えば、タイムスタンプ生成回路215は、タイムスタンプ情報Tを複数のDVS用AFE314、及び複数のダミーDVS用AFE316に供給する。
【0046】
タイミング制御回路216は、固体撮像素子200の各構成のタイミングを制御する。例えば、タイミング制御回路216は、第1アクセス制御回路211a、及び第2アクセス制御回路211bのタイミングを制御する。
【0047】
出力インターフェース217は、第1信号処理部213から供給される画像データなどを記録部120に出力する。同様に、出力インターフェース218は、第2信号処理部214から供給される画像データなどを記録部120に出力する。
【0048】
ここで、図9に基づき、階調用画素308aの詳細な構成例及び制御動作例を説明する。図9は、階調用画素308aの構成例を示す図である。図9に示すように、階調用画素308aは、リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323および浮遊拡散層324、受光部330を有する。
【0049】
リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323および転送トランジスタ3310として、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジタが用いられる。また、光電変換素子311は、受光チップ201に配置される。光電変換素子311以外の素子の全ては、検出チップ202に配置される。
【0050】
光電変換素子311は、入射光を光電変換して電荷を生成する。
光電変換素子311から転送トランジスタ3310によって、光電変換素子311で光電変換された電荷が浮遊拡散層324に供給される。光電変換素子311から供給される電荷は、浮遊拡散層324に蓄積される。浮遊拡散層324は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。
【0051】
増幅トランジスタ322は、電源電圧VDDの電源ラインと垂直信号線VSL1との間に、選択トランジスタ323と直列に接続されている。増幅トランジスタ322は、浮遊拡散層324で電荷電圧変換された電圧信号を増幅する。
【0052】
選択トランジスタ323のゲート電極には、第1アクセス制御回路211aから選択信号SELが供給される。選択トランジスタ323は、選択信号SELに応答して、増幅トランジスタ322によって増幅された電圧信号を画素信号SIGとして垂直信号線VSL1を介してAD変換器212a(図3参照)へ出力する。
【0053】
[DVS用画素の回路構成例]
ここで、図10に基づき、DVS用画素308bの詳細な構成例を説明する。図10は、DVS用画素308bの構成例を示す図である。複数のDVS用画素308bのそれぞれは、受光部31、画素信号生成部32、及び、DVS用AFE314を有する構成となっている。
【0054】
上記の構成のDVS用画素308bにおいて、受光部31は、受光素子(光電変換素子)311、転送トランジスタ312、及び、OFG(Over Flow Gate)トランジスタ313を有する構成となっている。転送トランジスタ312及びOFGトランジスタ313としては、例えば、N型のMOS(Metal Oxide Semiconductor)トランジスタが用いられる。転送トランジスタ312及びOFGトランジスタ313は、互いに直列に接続されている。
【0055】
受光素子311は、転送トランジスタ312とOFGトランジスタ313との共通接続ノードN1とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。
【0056】
転送トランジスタ312のゲート電極には、図2に示す第2アクセス制御回路211bから転送信号TRGが供給される。転送トランジスタ312は、転送信号TRGに応答して、受光素子311で光電変換された電荷を画素信号生成部32に供給する。
【0057】
OFGトランジスタ313のゲート電極には、第2アクセス制御回路211bから制御信号OFGが供給される。OFGトランジスタ313は、制御信号OFGに応答して、受光素子311で生成された電気信号をDVS用AFE314に供給する。DVS用AFE314に供給される電気信号は、電荷からなる光電流である。
【0058】
画素信号生成部32は、リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323、及び、浮遊拡散層324を有する構成となっている。リセットトランジスタ321、増幅トランジスタ322、及び、選択トランジスタ323としては、例えば、N型のMOSトランジスタが用いられる。
【0059】
画素信号生成部32には、受光部31から転送トランジスタ312によって、受光素子311で光電変換された電荷が供給される。受光部31から供給される電荷は、浮遊拡散層324に蓄積される。浮遊拡散層324は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層324は、電荷を電圧に変換する。
【0060】
リセットトランジスタ321は、電源電圧VDDの電源ラインと浮遊拡散層324との間に接続されている。リセットトランジスタ321のゲート電極には、第2アクセス制御回路211bからリセット信号RSTが供給される。リセットトランジスタ321は、リセット信号RSTに応答して、浮遊拡散層324の電荷量を初期化(リセット)する。
【0061】
増幅トランジスタ322は、電源電圧VDDの電源ラインと垂直信号線VSLとの間に、選択トランジスタ323と直列に接続されている。増幅トランジスタ322は、浮遊拡散層324で電荷電圧変換された電圧信号を増幅する。
【0062】
選択トランジスタ323のゲート電極には、第2アクセス制御回路211bから選択信号SELが供給される。選択トランジスタ323は、選択信号SELに応答して、増幅トランジスタ322によって増幅された電圧信号を画素信号SIGとして垂直信号線VSLを介してDVS読み出し回路212b(図2参照)へ出力する。
【0063】
上記の構成のDVS用画素308bが2次元配置されて成る画素アレイ部30を有する撮像装置100において、第2アクセス制御回路211bは、図1に示す制御部13によりアドレスイベントの検出開始が指示されると、受光部31のOFGトランジスタ313に制御信号OFGを供給することによって当該OFGトランジスタ313を駆動してDVS用AFE314に光電流を供給させる。
【0064】
そして、あるDVS用画素308bにおいてアドレスイベントが検出されると、第2アクセス制御回路211bは、そのDVS用画素308bのOFGトランジスタ313をオフ状態にしてDVS用AFE314への光電流の供給を停止させる。次いで、第2アクセス制御回路211bは、転送トランジスタ312に転送信号TRGを供給することによって当該転送トランジスタ312を駆動して、受光素子311で光電変換された電荷を浮遊拡散層324に転送させる。
【0065】
このようにして、上記の構成のDVS用画素308bが2次元配置されて成る画素アレイ部30を有する撮像装置100は、アドレスイベントが検出されたDVS用画素308bの画素信号のみをDVS読み出し回路212bに出力する。これにより、アドレスイベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、撮像装置100の消費電力や、画像処理の処理量を低減することができる。
【0066】
なお、ここで例示したDVS用画素308bの構成は一例であって、この構成例に限定されるものではない。例えば、画素信号生成部32を備えない画素構成とすることもできる。この画素構成の場合は、受光部31において、OFGトランジスタ313を省略し、当該OFGトランジスタ313の機能を転送トランジスタ312に持たせるようにすればよい。
【0067】
[DVS用AFEの第1構成例]
図11は、DVS用AFE314の第1構成例を示すブロック図である。図11に示すように、本構成例に係るDVS用AFE314は、電流電圧変換部331、バッファ332、減算器333、量子化器334、及び、転送部335を有する構成となっている。
【0068】
電流電圧変換部331は、階調用画素308aの受光部31からの光電流を、その対数の電圧信号に変換する。電流電圧変換部331は、変換した電圧信号をバッファ332に供給する。バッファ332は、電流電圧変換部331から供給される電圧信号をバッファリングし、減算器333に供給する。
【0069】
減算器333には、第2アクセス制御回路211bから行駆動信号が供給される。減算器333は、行駆動信号に従って、バッファ332から供給される電圧信号のレベルを低下させる。そして、減算器333は、レベル低下後の電圧信号を量子化器334に供給する。量子化器334は、減算器333から供給される電圧信号をデジタル信号に量子化してアドレスイベントの検出信号として転送部335に出力する。
【0070】
転送部335は、量子化器334から供給されるアドレスイベントの検出信号を第2信号処理部214等に転送する。この転送部335は、アドレスイベントが検出された際に、アドレスイベントの検出信号を第2信号処理部214及び第2アクセス制御回路211bに供給する。
【0071】
続いて、DVS用AFE314における電流電圧変換部331、減算器333、及び、量子化器334の構成例について説明する。
【0072】
(電流電圧変換部の構成例)
図12は、DVS用AFE314における電流電圧変換部331の構成の一例を示す回路図である。図11に示すように、本例に係る電流電圧変換部331は、N型トランジスタ3311、P型トランジスタ3312、及び、N型トランジスタ3313を有する回路構成となっている。これらのトランジスタ3311~3313としては、例えば、MOSトランジスタが用いられる。
【0073】
N型トランジスタ3311は、電源電圧VDDの電源ラインと信号入力線3314との間に接続されている。P型トランジスタ3312及びN型トランジスタ3313は、電源電圧VDDの電源ラインとグランドとの間に直列に接続されている。そして、P型トランジスタ3312及びN型トランジスタ3313の共通接続ノードN2には、N型トランジスタ3311のゲート電極と、図11に示すバッファ332の入力端子とが接続されている。
【0074】
P型トランジスタ3312のゲート電極には、所定のバイアス電圧Vbiasが印加される。これにより、P型トランジスタ3312は、一定の電流をN型トランジスタ3313に供給する。N型トランジスタ3313のゲート電極には、信号入力線3314を通して、受光部31から光電流が入力される。
【0075】
N型トランジスタ3311及びN型トランジスタ3313のドレイン電極は電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された2つのソースフォロワにより、受光部31からの光電流は、その対数の電圧信号に変換される。
【0076】
(減算器及び量子化器の構成例)
図13は、DVS用AFE314における減算器333及び量子化器334の構成の一例を示す回路図である。
【0077】
本例に係る減算器333は、容量素子3331、インバータ回路3332、容量素子3333、及び、スイッチ素子3334を有する構成となっている。
【0078】
容量素子3331の一端は、図11に示すバッファ332の出力端子に接続され、その他端は、インバータ回路3332の入力端子に接続されている。容量素子3333は、インバータ回路3332に対して並列に接続されている。スイッチ素子3334は、容量素子3333の両端間に接続されている。スイッチ素子3334にはその開閉制御信号として、第2アクセス制御回路211bから行駆動信号が供給される。スイッチ素子3334は、行駆動信号に応じて、容量素子3333の両端を接続する経路を開閉する。インバータ回路3332は、容量素子3331を介して入力される電圧信号の極性を反転する。
【0079】
上記の構成の減算器333において、スイッチ素子3334をオン(閉)状態とした際に、容量素子3331のバッファ332側の端子に電圧信号Vinitが入力され、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子3331に蓄積されている電荷Qinitは、容量素子3331の容量値をC1とすると、次式(1)により表される。一方、容量素子3333の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Qinit=C1×Vinit ・・・(1)
【0080】
次に、スイッチ素子3334がオフ(開)状態となり、容量素子3331のバッファ332側の端子の電圧が変化してVafterになった場合を考えると、容量素子3331に蓄積される電荷Qafterは、次式(2)により表される。
Qafter=C1×Vafter ・・・(2)
【0081】
一方、容量素子3333に蓄積される電荷Q2は、容量素子3333の容量値をC2とし、出力電圧をVoutとすると、次式(3)により表される。
Q2=-C2×Vout ・・・(3)
【0082】
このとき、容量素子3331及び容量素子3333の総電荷量は変化しないため、次の式(4)が成立する。
Qinit=Qafter+Q2 ・・・(4)
【0083】
式(4)に式(1)乃至式(3)を代入して変形すると、次式(5)が得られる。
Vout=-(C1/C2)×(Vafter-Vinit) ・・・(5)
【0084】
式(5)は、電圧信号の減算動作を表し、減算結果の利得はC1/C2となる。通常、利得を最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、DVS用画素308b毎に減算器333を含むDVS用AFE314が搭載されるため、容量素子3331や容量素子3333には、面積上の制約がある。これらを考慮して、容量素子3331、3333の容量値C1、C2が決定される。
【0085】
図13において、量子化器334は、コンパレータ3341を有する構成となっている。コンパレータ3341は、インバータ回路3332の出力信号、即ち、減算器333からの電圧信号を非反転(+)入力とし、所定の閾値電圧Vthを反転(-)入力としている。そして、コンパレータ3341は、減算器333からの電圧信号と所定の閾値電圧Vthとを比較し、比較結果を示す信号をアドレスイベントの検出信号として転送部335に出力する。
【0086】
[DVS用AFEの第2構成例]
図14は、DVS用AFE14の第2構成例を示すブロック図である。図14に示すように、本構成例に係るDVS用AFE314は、電流電圧変換部331、バッファ332、減算器333、量子化器334、及び、転送部335の他に、記憶部336及び制御部337を有する構成となっている。
【0087】
記憶部336は、量子化器334と転送部335との間に設けられており、制御部337から供給されるサンプル信号に基づいて、量子化器334の出力、即ち、コンパレータ3341の比較結果を蓄積する。記憶部336は、スイッチ、プラスチック、容量などのサンプリング回路であってもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。
【0088】
制御部337は、コンパレータ3341の反転(-)入力端子に対して所定の閾値電圧Vthを供給する。制御部337からコンパレータ3341に供給される閾値電圧Vthは、時分割で異なる電圧値であってもよい。例えば、制御部337は、光電流の変化量が上限の閾値を超えた旨を示すオンイベントに対応する閾値電圧Vth1、及び、その変化量が下限の閾値を下回った旨を示すオフイベントに対応する閾値電圧Vth2を異なるタイミングで供給することで、1つのコンパレータ3341で複数種類のアドレスイベントの検出が可能になる。
【0089】
記憶部336は、例えば、制御部337からコンパレータ3341の反転(-)入力端子に、オフイベントに対応する閾値電圧Vth2が供給されている期間に、オンイベントに対応する閾値電圧Vth1を用いたコンパレータ3341の比較結果を蓄積するようにしてもよい。尚、記憶部336は、DVS用画素308bの内部にあってもよいし、DVS用画素308bの外部にあってもよい。また、記憶部336は、DVS用AFE314の必須の構成要素ではない。すなわち、記憶部336は、無くてもよい。
【0090】
[ダミーDVS用画素の構成例]
ここで、図15に基づき、ダミーDVS用画素308c、ダミーDVS用AFE316の詳細な構成例を説明する。図15は、ダミーDVS用画素308cの構成例を示す図である。図15に示すように、ダミーDVS用画素308cは、電圧電流変換器112を有する。電圧電流変換器112は、例えばオペアンプであり、一端がノードN1に接続され、他端が第1電圧源115に接続される。この電圧電流変換器112は、第1電圧源115から供給される電圧を電流に変換し、OFGトランジスタ313を介して、ダミーDVS用AFE316に供給する。これにより、ダミーDVS用画素308cは、第1電圧源1150から供給される電圧を制御信号として、制御信号に応じた電流をダミーDVS用AFE316に直接的に供給することが可能である。
【0091】
ダミーDVS用AFE316は、DVS用AFE314と同等の構成であり、ダミーDVS用画素308cから供給される供給される電流によりアドレスイベントの検出を行う点で相違している。このような構成により、ダミーDVS用AFE316は、DVS用AFE314と同様の駆動を第1電圧源1150から供給される電圧により行うことが可能となる。
【0092】
図16は、第1電圧源1150に接続されるダミーDVS用AFE316の構成例を示す図である。このように、各ダミーDVS用AFE316は、第1電圧源115に接続される。これにより、第1電圧源115から各ダミーDVS用AFE316に電圧を供給することにより、各ダミーDVS用AFE316は、DVS用AFE314と同様の駆動をする。これによりDVS用AFE314を駆動することにより生じる電源電圧VDD2の低下を各ダミーDVS用AFE316により再現することが可能となる。なお、図16では、固体撮像素子200の他の構成の記載は省略されている。
【0093】
ここで、図17に基づき固体撮像素子200の撮像制御例を説明する。
図17は、タイミング制御回路216による撮像制御例を示す図である。横軸は時刻を示す。また、時刻t1~t5は、DVS用画素データの各フレームf1~f5の読み出し開始時刻t1~t5を示す。ここでは、複数のダミーDVS用画素308c、及び複数のダミーDVS用AFE316を停止させている場合のタイミング制御回路216によるタイミング制御の一例を説明する。
【0094】
(a)図は、DVS用画素データの各フレームf1~f5における、画素行の読み出し開始時刻を示す模式図である。縦軸は、画素アレイ部30(図3参照)の画素行に対応する。ラインL1は、第1DVS用画像及び第2DVS用画像における画素行の読み出し開始時刻を示す。すなわち、第2アクセス制御回路211bは、タイミング制御回路216によるタイミング制御に従い、ラインL1で示す時刻に応じて、対応する行のDVS用AFE314にアドレスイベントの検知を行なわせる。各行のDVS用AFE314は、アドレスイベントを検出すると、第2信号処理部214にイベント情報を含む信号に出力する。第2信号処理部214は、アドレスイベントのあったDVS用画素308bの検出信号を画像信号として、画像信号を順次変更した第1DVS用画像を生成する。この第1DVS用画像は、例えば3値の画像となる。なお、本実施形態に係るブランク期間がDVS用画素308bの垂直ブランク期間に対応する。
【0095】
また、各行のDVS用AFE314は、アドレスイベントを検出すると第2アクセス制御回路211bにアドレス情報を含む信号を出力する。これにより、第2アクセス制御回路211bは、アドレスイベントの生じたDVS用画素308bからDVS用輝度信号をDVS読み出し回路212bを介してデジタル信号に変換し、第2信号処理部214に順次に出力する。第2信号処理部214は、アドレスイベントのあったDVS用画素308bの画像信号を順次変更した第2DVS用画像を生成する。
【0096】
同様にラインL2~L4は、フレームf2~f4の、画素行の読み出し開始時刻を示す。なお、本実施形態では、画素アレイ部30から読み出された一枚分の画像データをフレームと称する。
【0097】
(b)図は、複数のDVS用画素308b、及び複数のDVS用AFE314を駆動する電源電圧VDD2の変動例を示す。縦軸は電圧を示す。電源電圧VDD2は、DVS用AFE314の検知が行われている期間(DVS反応期間)では、電圧が低下する。一方で、DVS用AFE314の検知が行われていないブランク期間では、電圧が上昇する。このように、電源電圧VDD2は、複数のDVS用画素308b、及び複数のDVS用AFE314の駆動タイミングに連動して変動する。
【0098】
(c)図は、複数の階調用画素308aの各画素行の読み出し開始時刻L14を示す。すなわち、第1アクセス制御回路211aは、タイミング制御回路216によるタイミング制御に従い、ラインL14で示す時刻に応じて画素行ごとの階調用画素308aから階調用輝度信号の読み出しを行なわせる。各画素行の読み出しが行われるAd変換期間は、AD変換器212aがAd変換を行っている期間に対応する。AD変換器212aは、階調用輝度信号を順にデジタル信号に変換し、第1信号処理部213に供給する。第1信号処理部213は、全階調用画素308aの階調用輝度信号がデジタル信号として供給されると、階調用画像を生成し、所定の信号処理を行う。
【0099】
(b)図で示す電圧変動は、AD変換器212aとカップリングし、例えば階調用画像にライン状のノイズを発生させるなどの画質の低下を生じさせてしまう恐れがある。
【0100】
図18に基づき、各ダミーDVS用AFE316を駆動させている場合のタイミング制御回路216による撮像制御例の一例を説明する。
【0101】
図18は、タイミング制御回路216により各ダミーDVS用AFE316を駆動させる場合の撮像制御例を示す図である。図17と同様に、横軸は時刻を示す。また、時刻t1~t5は、DVS用画素データの各フレームf1~f5の読み出し開始時刻t1~t5を示す。
【0102】
(a)図は、DVS用画素データの各フレームf1~f5における、画素行の読み出し開始時刻を示すラインL1~L5と、各ダミーDVS用AFE316を駆動させている期間を示すラインDL1~DL4を示す模式図である。縦軸は、画素アレイ部30(図3参照)の画素行に対応する。ラインDL1は、ラインL1とラインL2との間隔のブランク期間に各ダミーDVS用AFE316を駆動させている期間を示す。同様に、ラインDL2~DL4は、各ブランク期間に各ダミーDVS用AFE316を駆動させている期間を示す。上述のように、各ダミーDVS用AFE316は、DVS用AFE314と同様の駆動が可能であるので、電源電圧VDD2の上昇を、各DVS用AFE314を駆動した場合と同様に低下させることが可能となる。
【0103】
(b)図は、電源電圧VDD2の変動例を示す。縦軸は電圧を示す。図17と比較すると、各ダミーDVS用AFE316を駆動させることにより、ブランク期間での電圧上昇が抑制される。これにより、例えば電源電圧VDD2とのカップリングにより生じる階調用画像の画質の低下を抑制できる。特に、ライン状のノイズ発生などの画質の低下を抑制できる。
【0104】
(c)図は、図17の(c)図と同様の図である。
【0105】
図19は、図18の(a)図におけるブランク期間における第1電圧源115の電圧供給パターンを示す図である。横軸が時間を示す。行単位同期信号Lt1~Lt6は、第1DVS用画像、第2DVS用画像を取得する際の行単位同期信号に対応する。第2アクセス制御回路211bは、行単位同期信号に同期して第1電圧源115を制御する。
【0106】
電源電圧パターン1は、縦軸が電圧を示している。この電圧は、ダミーDVS用AFE316がアドレスイベントとして検出する値に設定されている。このため、各ダミーDVS用AFE316は、第1電圧源115が高電位の際にアドレスイベントが発生していると検出する。これにより、各ダミーDVS用AFE316に対応する各ダミーDVS用画素は、画素信号生成部32(図15参照)を駆動する。このため、第1電圧源115が高電位の期間では、画素信号生成部32の消費電力が増加し、電源電圧VDD2が低下する。
【0107】
電源電圧パターン2は、縦軸が電圧を示している。この電圧は、ダミーDVS用AFE316がアドレスイベントとして検出する値に設定されている。第1電圧源115が高電位になる期間が電源電圧パターン1の3分の2となっている。このため、画素信号生成部32(図15参照)が駆動される期間が、電源電圧パターン1の3分の2となる。これにより、電源電圧VDD2の低下がブランク期間で平均すると、電源電圧パターン1より少なくなる。このように、電源電圧パターンを変更することにより、ブランク期間における電源電圧VDD2の低下を制御可能となる。
【0108】
以上説明したように、本実施形態によれば、第1DVS用画像、及び第2DVS用画像を撮像していないブランク期間に、第1DVS用画像、及び第2DVS用画像を撮像するDVS用画素308b及びDVS用AFE314と同等の構成を有するダミーDVS用画素308c及びダミーDVS用AFE316を駆動することとした。これにより、第1DVS用画像、及び第2DVS用画像の撮像期間に生じる電源電圧VDD2の電圧低下と同様の電圧低下をブランク期間に発生させることが可能となり、第1DVS用画像、及び第2DVS用画像の撮像期間と、ブランク期間とにより生じる電源電圧VDD2の変動を抑制できる。このため、電源電圧VDD2の変動により撮像画像に生じるカップリングノイズの発生などを抑制できる。
【0109】
(第1実施形態の変形例1)
第1実施形態の変形例1に係る撮像装置100は、第1電圧源115と第2電圧源117との間の電位差を制御することにより、ダミーDVS用画素308c及びダミーDVS用AFE316により電力消費量を制御する点で、第1実施形態に係る撮像装置100と相違する。以下では、第1実施形態に係る撮像装置100と相違する点に関して説明する。
【0110】
図20は、第1実施形態の変形例1に係るダミーDVS用AFE316の制御例を模式的に示す図である。図20に示すように、第1電圧源115と第2電圧源117とを画素アレイ部30(図3参照)の両端に配置する。このように、第1電圧源115と第2電圧源117との間に、各ダミーDVS用画素308cを介して電圧電流変換部112(図15参照)が接続される。このため、各電圧電流変換部112に印可される電圧315は、第1電圧源115と第2電圧源117との間の電位差により変更される。第1電圧源115の電位はダミーDVS用AFE316にアドレスイベントの発生を検出させる電位に設定される。一方で、第2電圧源117の電位はダミーDVS用AFE316にアドレスイベントの発生を検出させない電位に設定される。なお、図20では、固体撮像素子200の他の構成の記載は省略されている。
【0111】
このため、例えば第1電圧源115側に接続されるダミーDVS用AFE316にはアドレスイベントの発生を検出させ、第2電圧源117側に接続されるダミーDVS用AFE316にはアドレスイベントの発生を検出させない制御が可能となる。このように、第1電圧源115と第2電圧源117との電位を制御することにより、アドレスイベントの発生を検出させるダミーDVS用AFE316の数を制御することができる。すなわち、画素信号生成部32(図15参照)が駆動される数が、第1電圧源115と第2電圧源117との電位を制御することにより制御される。これらから分かるように、第1電圧源115と第2電圧源117の電位を制御することにより、ブランク期間における電源電圧VDD2の低下を制御可能となる。
【0112】
(第1実施形態の変形例2)
第1実施形態の変形例2に係る撮像装置100は、水平ブランク期間にもダミーDVS用画素308c及びダミーDVS用AFE316を駆動させる制御が可能である点で、第1実施形態に係る撮像装置100と相違する。以下では、第1実施形態に係る撮像装置100と相違する点に関して説明する。
【0113】
図21は、第1実施形態の変形例2に係るダミーDVS用画素308c及びダミーDVS用AFE316の制御例を模式的に示す図である。横軸は時間である。ラインL190は、水平同期信号HSに同期して画素アレイ部30の各行に対応する各DVS用画素308b及びDVS用AFE314を駆動する期間R1~Rnと、ダミーDVS用画素308c及びダミーDVS用AFE316を駆動させるHブランク期間Hb1~Hbnを示している。すなわち、Hブランク期間Hb1~Hbnは、複数のDVS用画素308cの水平ブランク期間に対応する。
【0114】
図21に示すように、第1電圧源115はHブランク期間Hb1~Hbnにアドレスイベントの発生を検出させる電位に設定される。これにより、Hブランク期間Hb1~HbnにダミーDVS用画素308c及びダミーDVS用AFE316を駆動させることにより、期間R1~Rnと同様の電力消費量を制御可能となる。このため、期間R1~Rnと対応するHブランク期間Hb1~Hbnとにおける電源電圧VDD2の短周期の変動が抑制される。
【0115】
(第1実施形態の変形例3)
第1実施形態の変形例3に係る撮像装置100は、第1DVS用画像のみを生成する点で、第1実施形態に係る撮像装置100と相違する。以下では、第1実施形態に係る撮像装置100と相違する点に関して説明する。
【0116】
図22は、第1実施形態の変形例3に係る固体撮像素子200aの構成例を示すブロック図である。図22に示すように、本開示に係る固体撮像素子200aは、DVS読み出し回路212bを有さない点で第1実施形態に係る固体撮像素子200と相違する。
【0117】
図23は、第1実施形態の変形例3に係るDVS用画素308bの構成例を示す図である。図23に示すように第1実施形態の変形例3に係るDVS用画素3080bは、受光素子311を有している。一方で、画素信号生成部32(図10参照)を有しない点で、第1実施形態に係るDVS用画素308bと相違する。
【0118】
図24は、第1実施形態の変形例3に係るダミーDVS用画素3080cの構成例を示す図である。図24に示すようにダミーDVS用画素3080cは、電圧電流変換器112を有している。このDVS用画素3080cは、画素信号生成部32(図15参照)を有さないので、画素信号生成部32(図15参照)の駆動による電源電圧VDD2の変動は発生しない。このため、第1電圧源115が高電位になる期間(図19参照)をより低減させることが可能である。これにより、撮像装置100の電力消費をより抑制しつつ、電源電圧VDD2の変動も抑制可能となる。
【0119】
(第2実施形態)
第2実施形態に係る撮像装置100は、アドレスイベントの発生数に応じて第1電圧源115の電圧発生パタンーンを変更する点で、第1実施形態に係る撮像装置100と相違する。以下では、第1実施形態に係る撮像装置100と相違する点に関して説明する。
【0120】
図25は、ダミーDVS用画素308c及びダミーDVS用AFE316をブランク期間に一律に駆動した場合の電源電圧VDD2の変動例を示す図である。図18と同様に、横軸は時刻を示す。また、時刻t1~t5は、DVS用画素データの各フレームf1~f5の読み出し開始時刻t1~t5を示す。図25に示すように、電源電圧VDD2の電圧の最大値は、活性化率が高い場合に周期的に変動する場合がある。例えば、撮像シーンが大きく変更された場合等である。マークM24の最大電圧は電圧設定値に達していない。これは、活性化率が高かった場合に、画素信号生成部32(図10参照)の駆動率が上がり、電源電圧VDD2の設定電圧までの復元が間に合わない状態が生じるために発生すると考えられている。なお、本実施形態では、各DVS用AFE314により検出されたアドレスイベントの数を全DVS用AFE314の数で除算した割合を活性化率と称する。このように、活性化率が高いと電源電圧VDD2の低下が大きくなり、電圧設定値に達しない場合が生じる。このような場合、DVS用AFE314(図14参照)の閾値が変わってしまい、過剰(or過小)なDVSの反応数になってしまう。
【0121】
図26は、第2実施形態に係る固体撮像素子200の構成例を示す図である。図26に示すように第2実施形態に係る固体撮像素子200は、DVSカウンタ部219を更に有している。
【0122】
DVSカウンタ部219は、各DVS用AFE314が検出したアドレスイベントの数をカウントし、第1電圧源115の制御電圧を第2アクセス制御回路211bに出力する。より具体的には、DVSカウンタ部219は、カウントしたアドレスイベントの数が増加するにしたがい、第1電圧源115が高電位となる回数(図19参照)を低下させる。これにより、アドレスイベント数のカウントが増加するに従い、ダミーDVS用画素308c及びダミーDVS用AFE316が消費する電力が低減され、電源電圧VDD2は、安定的に電圧設定値に達することができる。このように、DVS用画素308b(図3参照)の活性化率が増加するにしたがい、第1電圧源115が高電位となる回数を低下させ、ブランク期間の電源電圧VDD2の低下を抑制することにより、電源電圧VDD2は、安定的に電圧設定値に達することが可能となる。
【0123】
読み出し順が画素アレイ部30の最後から数行分の時間帯の電源電圧VDD2の変動が、ブランク期間の電源電圧VDD2の変動に最も影響を与える。このため、、DVSカウンタ部21は、読み出し順が画素アレイ部30の最後から数行分の各DVS用AFE314が検出したアドレスイベントの数に応じて前記パルス状の電圧のパターンを変更してもよい。
【0124】
<本開示に係る技術の適用例>
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
【0125】
[移動体]
図27は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図26に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
【0126】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図27では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
【0127】
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
【0128】
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【0129】
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0130】
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【0131】
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【0132】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【0133】
ここで、図28は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910、7912、7914、7916、7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912、7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0134】
尚、図28には、それぞれの撮像部7910、7912、7914、7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b、cは、それぞれサイドミラーに設けられた撮像部7912、7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910、7912、7914、7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
【0135】
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920、7922、7924、7926、7928、7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920、7926、7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【0136】
図27に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【0137】
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
【0138】
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【0139】
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
【0140】
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【0141】
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
【0142】
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
【0143】
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
【0144】
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
【0145】
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インターフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
【0146】
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインターフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【0147】
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【0148】
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【0149】
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図24の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【0150】
尚、図24に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
【0151】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部7910、7912、7914、7916、7918や、車外情報検出部7920、7922、7924、7926、7928、7930や、運転者状態検出部7510等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示における図1の撮像装置100を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
【0152】
なお、本技術は以下のような構成を取ることができる。
【0153】
(1)光量に応じた出力信号を出力する複数のDVS用画素と、前記複数のDVS用画素のそれぞれに対応し、対応する前記DVS用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第1回路と、を有する画素アレイ部と、
制御信号に応じて、前記複数のDVS用画素及び前記複数の第1回路に対応する電力消費を行うことが可能な第2回路部と、
前記複数の第1回路を駆動する第1制御期間と、駆動しない第2制御期間を有し、前記制御信号を用いて前記第2制御期間に前記第2回路部を駆動する制御を行う制御回路と、
を備える、撮像装置。
【0154】
(2)前記第2回路部は、
前記制御信号に応じて出力信号を出力する複数の画素を有する、
(1)に記載の撮像装置。
【0155】
(3)前記複数の画素のそれぞれは、印可される電圧に応じた出力信号を出力する、請求項(2)に記載の撮像装置。
【0156】
(4)前記第2回路部は、
前記対応するの前記画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第2回路を、
更に有する、請求項(3)に記載の撮像装置。
【0157】
(5)前記第2回路部は、印可される電圧に応じて消費電力を調整可能であり、
前記制御信号に応じて、前記第2回路部に電圧を印可する第1電圧源を更に備える、(4)に記載の撮像装置。
【0158】
(6)前記第2回路部は、印可される第1電位と、前記第1電位よりも高い第2電位とで消費電力が異なり、
前記第1電圧源は、前記制御信号に応じて、第1電位と、前記第1電位よりも高い第2電位の期間を繰り返すパルス状の電圧を出力可能である、請求項(5)に記載の撮像装置。
【0159】
(7)複数の第2回路のそれぞれは、前記第1電位では、前記所定の閾値を超えず、前記第2電位では、前記所定の閾値を超える、請求項(6)に記載の撮像装置。
【0160】
(8)前記制御部は、複数のパルス状の電圧を出力させることが可能であり、前記複数のDVS用画素及び前記複数の第1回路の消費電力に応じて前記パルス状の電圧のパターンを変更する、(7)に記載の撮像装置。
【0161】
(9)前記制御部は、所定の時間間隔において前記複数の第1回路が検出するアドレスイベントの数に応じて、前記パルス状の電圧のパターンを変更する、請求項(8)に記載の撮像装置。
【0162】
(10)前記制御部は、読み出し順が最後から数行分の前記複数の第1回路が検出するアドレスイベントの数に応じて前記パルス状の電圧のパターンを変更する、請求項(9)に記載の撮像装置。
【0163】
(11)前記第2回路部は、印可される電圧に応じて消費電力を調整可能であり、
前記制御信号に応じて、前記第2回路部に電圧を印可する第1電圧源と、前記第1電圧源よりも電位の低い第2電圧源とを、更に備え、
前記第2回路部は、前記第1電圧源の電位と、前記第2電圧源の電位差に応じて消費電力が異なる、(4)に記載の撮像装置。
【0164】
(12)前記複数の画素のそれぞれは、前記第1電圧源と、前記第2電圧源との間に接続され、前記第1電圧源と、前記第2電圧源との電位に応じて、前記所定の閾値を超える前記複数の画素の数が制御可能である、(11)に記載の撮像装置。
【0165】
(13)前記画素アレイ部は、階調用の複数の階調用画素を更に備え、
前記複数のDVS用画素の出力信号に基づくDVS用画像と、
前記複数の階調用画素の出力信号に基づく階調用画像と、の生成が可能である、(1)乃至(12)のいずれか一項に記載の撮像装置。
【0166】
(14)前記複数のDVS用画素は、前記画素アレイ部に行列状に配置され、前記画素アレイ部の行順に応じて、出力信号が読み出される、(1)乃至(13)のいずれか一項に記載の撮像装置。
【0167】
(15)前記第2制御期間は、前記複数のDVS用画素の垂直ブランク期間に対応する、(1)乃至(14)のいずれか一項に記載の撮像装置。
【0168】
(16)前記第2制御期間は、前記複数のDVS用画素の水平ブランク期間に対応する、(1)乃至(14)のいずれか一項に記載の撮像装置。
【0169】
(17) 光量に応じた出力信号を出力する複数のDVS用画素と、前記複数のDVS用画素のそれぞれに対応し、対応するの前記DVS用画素の出力信号が所定の閾値を超えた場合にアドレスイベントの発生を示す検出信号を出力する複数の第1回路と、を有する画素アレイ部の撮像方法であって、
前記複数の第1回路を駆動する第1制御期間と、駆動しない第2制御期間を有し、
前記複数のDVS用画素及び前記複数の第1回路に対応する電力消費を行うことが可能な第2回路部を、前記第2制御期間に駆動させる、撮像方法。
【0170】
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【0171】
30:画素アレイ部、30b:調整画素ブロック、100:撮像装置、200:固体撮像素子、211b:第2アクセス制御回路、308a:階調用画素308ab:DVS用画素、308c:ダミーDVS用画素、314:DVS用AFE、316:ダミーDVS用AFE、3080c:ダミーDVS用画素、3080b:DVS用画素。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28