(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-01
(45)【発行日】2025-04-09
(54)【発明の名称】撮像装置、電子機器及び撮像方法
(51)【国際特許分類】
H04N 25/77 20230101AFI20250402BHJP
H04N 25/60 20230101ALI20250402BHJP
H04N 25/50 20230101ALI20250402BHJP
【FI】
H04N25/77
H04N25/60
H04N25/50
(21)【出願番号】P 2021573982
(86)(22)【出願日】2021-01-21
(86)【国際出願番号】 JP2021002113
(87)【国際公開番号】W WO2021153428
(87)【国際公開日】2021-08-05
【審査請求日】2023-11-24
(31)【優先権主張番号】P 2020012841
(32)【優先日】2020-01-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100120031
【氏名又は名称】宮嶋 学
(72)【発明者】
【氏名】丹羽 篤親
【審査官】堀井 康司
(56)【参考文献】
【文献】国際公開第2017/013806(WO,A1)
【文献】特開2006-319684(JP,A)
【文献】特開2014-209696(JP,A)
【文献】特開2019-195135(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/30-5/33
H04N 23/11
H04N 23/20-23/30
H04N 25/00
H04N 25/20-25/61
H04N 25/615-25/79
(57)【特許請求の範囲】
【請求項1】
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含
み、
前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は略等しい、
撮像装置。
【請求項2】
前記光電変換部の低電位側基準電位は、前記検出部の低電位側基準電位よりも電位レベルが低い、
請求項1に記載の撮像装置。
【請求項3】
前記光電変換部の低電位側基準電位は、前記転送制御部のオフ電位よりも電位レベルが高い、
請求項1
又は2に記載の撮像装置。
【請求項4】
前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが高い第1基準電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第2基準電位である、
請求項1
乃至3のいずれか一項に記載の撮像装置。
【請求項5】
前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記検出部の低電位側基準電位は前記第1基準電位であり、
前記転送制御部のオフ電位は前記第2基準電位である、
請求項
4に記載の撮像装置。
【請求項6】
前記接地電位は0Vであり、
前記第1基準電位は正電位であり、
前記第2基準電位は負電位である、
請求項
4又は5に記載の撮像装置。
【請求項7】
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、
前記光電変換部の低電位側基準電位を切り替える電位選択部と、を備え
、
前記アナログデジタル変換器は、前記変化量が前記所定の閾値を超えたことが前記検出部で検出されると、前記画素信号を前記デジタル信号に変換し、
前記電位選択部は、前記変化量が前記所定の閾値を超えたか否かを前記検出部が検出する期間内には第1基準電位を選択し、前記アナログデジタル変換器が前記画素信号を前記デジタル信号に変換する期間内は、前記第1基準電位よりも電位レベルが高い第2基準電位を選択する、
撮像装置。
【請求項8】
前記第1基準電位は負電位であり、
前記第2基準電位は接地電位である、
請求項
7に記載の撮像装置。
【請求項9】
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる2つ以上の電位を含んでいる、
請求項
7又は8に記載の撮像装置。
【請求項10】
前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位とは接地電位であり、
前記転送制御部のオフ電位は負電位である、
請求項
7乃至9のいずれか一項に記載の撮像装置。
【請求項11】
前記第1基準電位及び前記第2基準電位の少なくとも一方を生成する電位生成部を備える、
請求項
4乃至10のいずれか一項に記載の撮像装置。
【請求項12】
少なくとも前記検出部は、前記光電変換部が配置される第1基板に積層される第2基板に配置される、
請求項1
乃至11のいずれか一項に記載の撮像装置。
【請求項13】
前記転送制御部内のトランジスタのバックゲートは、前記光電変換部の低電位側基準電位と同じ電位レベルの電位に設定される、
請求項1
乃至12のいずれか一項に記載の撮像装置。
【請求項14】
撮像された画像データを出力する撮像装置と、
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含
み、
前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は略等しい、
電子機器。
【請求項15】
複数の光電変換素子にて、入射光を光電変換して電気信号を生成するステップと、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力するステップと、
前記電気信号を転送するステップと、
前記転送された電気信号に基づいて画素信号を生成するステップと、
前記画素信号をデジタル信号に変換するステップと、を備え、
前記光電変換の際の低電位側基準電位と、前記検出信号を出力する際の低電位側基準電位と、前記画素信号を生成する際の低電位側基準電位と、前記画素信号をデジタル信号に変換する際の低電位側基準電位と、前記電気信号を転送する際のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでおり、これらの電位を用いて、前記電気信号を生成するステップと、前記検出信号を出力するステップと、前記電気信号を転送するステップと、前記画素信号を生成するステップと、前記デジタル信号に変換するステップとが行われ
、
前記光電変換の際の低電位側基準電位、前記画素信号を生成する際の低電位側基準電位、及び前記画素信号をデジタル信号に変換する際の低電位側基準電位は略等しい、
撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置、電子機器及び撮像方法に関する。
【背景技術】
【0002】
従来の撮像装置では、垂直同期信号などの同期信号に同期して画像データ(フレーム)を撮像する同期型の撮像素子を用いるのが一般的である。この種の同期型の撮像素子は、同期信号の周期(例えば、1/60秒)ごとにしか画像データを取得することができないため、画像データをより高速に取得する用途には適さない。そこで、画素アドレスごとに、その画素の光量が閾値を超えた旨をイベントとしてリアルタイムに検出するイベント検出回路を画素毎に設けた非同期型の撮像素子が提案されている(例えば、特許文献1参照。)。この撮像素子では、フォトダイオードと、イベントを検出するための複数のトランジスタとが画素毎に配置される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の非同期型の撮像素子では、同期型の撮像素子よりも遥かに高速にデータを生成して出力することができる。このため、例えば、交通分野において、人や障害物を画像認識する処理を高速に実行して、安全性を向上させることができる。しかしながら、電源電圧の低下や接地電圧の上昇などの電圧変動によりフォトダイオードの逆バイアスが低くなると、そのフォトダイオードの感度が低下し、暗電流が増大するおそれがある。このため、これらの感度の不足や暗電流に起因して、信号品質が低下するという問題がある。フォトダイオードの面積を大きくすれば、感度を向上させ、暗電流を低減することができるが、単位面積当たりの画素数が減少するため望ましくない。また、電源電圧を充分に高くすることによっても感度を向上させ、暗電流を低減することができるが、消費電力が増大するため好ましくない。
【0005】
本開示は、感度向上と暗電流の減少を図るとともに、消費電力を低減可能な撮像装置、電子機器及び撮像方法を提供するものである。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示によれば、それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、撮像装置。
【0007】
前記光電変換部の低電位側基準電位は、前記検出部の低電位側基準電位よりも電位レベルが低くてもよい。
【0008】
前記光電変換部の低電位側基準電位は、前記転送制御部のオフ電位よりも電位レベルが高くてもよい。
【0009】
前記光電変換部の低電位側基準電位は、前記画素信号生成部及び前記アナログデジタル変換器の少なくとも一方の低電位側基準電位よりも電位レベルが低くてもよい。
【0010】
前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第1基準電位であり、かつその他の少なくとも一つは前記第1基準電位よりも電位レベルが低い第2基準電位であってもよい。
【0011】
前記光電変換部の低電位側基準電位は前記第2基準電位であり、
前記検出部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記転送制御部のオフ電位は前記第2基準電位であってもよい。
【0012】
前記接地電位は0Vであり、
前記第1基準電位は負電位であり、
前記第2基準電位は、前記第1基準電位よりも電位レベルが低い負電位であってもよい。
【0013】
前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は略等しくてもよい。
【0014】
前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが高い第1基準電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第2基準電位であってもよい。
【0015】
前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記検出部の低電位側基準電位は前記第1基準電位であり、
前記転送制御部のオフ電位は前記第2基準電位であってもよい。
【0016】
前記接地電位は0Vであり、
前記第1基準電位は正電位であり、
前記第2基準電位は負電位であってもよい。
【0017】
本開示によれば、それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、
前記光電変換部の低電位側基準電位を切り替える電位選択部と、を備える、撮像装置が提供される。
【0018】
前記アナログデジタル変換器は、前記変化量が前記所定の閾値を超えたことが前記検出部で検出されると、前記画素信号を前記デジタル信号に変換し、
前記電位選択部は、前記変化量が前記所定の閾値を超えたか否かを前記検出部が検出する期間内には第1基準電位を選択し、前記アナログデジタル変換器が前記画素信号を前記デジタル信号に変換する期間内は、前記第1基準電位よりも電位レベルが高い第2基準電位を選択してもよい。
【0019】
前記第1基準電位は負電位であり、
前記第2基準電位は接地電位であってもよい。
【0020】
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる2つ以上の電位を含んでいてもよい。
【0021】
前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位とは接地電位であり、
前記転送制御部のオフ電位は負電位であってもよい。
【0022】
前記第1基準電位及び前記第2基準電位の少なくとも一方を生成する電位生成部を備えてもよい。
【0023】
少なくとも前記検出部は、前記光電変換部が配置される第1基板に積層される第2基板に配置されてもよい。
【0024】
前記転送制御部内のトランジスタのバックゲートは、前記光電変換部の低電位側基準電位と同じ電位レベルの電位に設定されてもよい。
【0025】
本開示の他の一態様によれば、撮像された画像データを出力する撮像装置と、
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、電子機器が提供される。
【0026】
本開示の他の一態様によれば、複数の光電変換素子にて、入射光を光電変換して電気信号を生成するステップと、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力するステップと、
前記電気信号を転送するステップと、
前記転送された電気信号に基づいて画素信号を生成するステップと、
前記画素信号をデジタル信号に変換するステップと、を備え、
前記光電変換の際の低電位側基準電位と、前記検出信号を出力する際の低電位側基準電位と、前記画素信号を生成する際の低電位側基準電位と、前記画素信号をデジタル信号に変換する際の低電位側基準電位と、前記電気信号を転送する際のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでおり、これらの電位を用いて、前記電気信号を生成するステップと、前記検出信号を出力するステップと、前記電気信号を転送するステップと、前記画素信号を生成するステップと、前記デジタル信号に変換するステップとが行われる、撮像方法が提供される。
【図面の簡単な説明】
【0027】
【
図1】第1の実施形態における撮像装置の一構成例を示すブロック図。
【
図2】第1の実施形態における固体撮像素子の積層構造の一例を示す図。
【
図3】第1の実施形態における固体撮像素子の一構成例を示すブロック図。
【
図4】第1の実施形態における画素アレイ部の一構成例を示すブロック図。
【
図5】第1の実施形態における画素ブロックの一構成例を示す回路図。
【
図6】アドレスイベント検出部の第1構成例を示すブロック図。
【
図7】第1の実施形態における電流電圧変換部の一構成例を示す回路図。
【
図8】第1の実施形態における減算器および量子化器の一構成例を示す回路図。
【
図9】第1の実施形態におけるカラムADCの一構成例を示すブロック図。
【
図10】第1の実施形態における固体撮像素子の動作の一例を示すタイミングチャート。
【
図11】第1の実施形態における固体撮像素子の動作の一例を示すフローチャート。
【
図12】第1の実施形態による撮像装置内の各部が使用する低電位側基準電位とオフ電位を示す図。
【
図13A】第1の実施形態の転送トランジスタをオフする場合の電位レベルの一例を示す図。
【
図13B】第1の実施形態の転送トランジスタをオンする場合の電位レベルの一例を示す図。
【
図14】第2の実施形態による撮像装置内の各部が使用する低電位側基準電位とオフ電位を示す図。
【
図15A】第2の実施形態の転送トランジスタをオフする場合の電位レベルの一例を示す図。
【
図15B】第2の実施形態の転送トランジスタをオンする場合の電位レベルの一例を示す図。
【
図16】第3の実施形態による撮像装置内の各部が使用する低電位側基準電位とオフ電位を示す図。
【
図17】アドレスイベント検出部の第2構成例を示すブロック図。
【
図18】スキャン方式の撮像装置の構成の一例を示すブロック図。
【
図19】移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。
【
図20】撮像部及び車外情報検出部の設置位置の例を示す図。
【発明を実施するための形態】
【0028】
以下、図面を参照して、撮像装置、電子機器及び撮像方法の実施形態について説明する。以下では、撮像装置及び電子機器の主要な構成部分を中心に説明するが、撮像装置及び電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
【0029】
<1.第1の実施形態>
[撮像装置の構成例]
図1は、本開示の第1の実施形態における撮像装置100の一構成例を示すブロック図である。この撮像装置100は、撮像レンズ110、固体撮像素子200、記録部120および制御部130を備える。撮像装置100としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。
【0030】
撮像レンズ110は、入射光を集光して固体撮像素子200に導くものである。固体撮像素子200は、入射光を光電変換して画像データを撮像するものである。この固体撮像素子200は、撮像した画像データに対して、画像認識処理などの所定の信号処理を行って、その処理結果とアドレスイベントの検出信号とを示すデータを記録部120に信号線209を介して出力する。検出信号の生成方法については後述する。
【0031】
記録部120は、固体撮像素子200からのデータを記録するものである。制御部130は、固体撮像素子200を制御して画像データを撮像させるものである。
【0032】
[固体撮像素子の構成例]
図2は、本開示の第1の実施形態における固体撮像素子200の積層構造の一例を示す図である。この固体撮像素子200は、検出チップ202と、その検出チップ202に積層された受光チップ201とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu-Cu接合やバンプにより接続することもできる。
【0033】
図3は、本開示の第1の実施形態における固体撮像素子200の一構成例を示すブロック図である。この固体撮像素子200は、駆動回路211、信号処理部212、アービタ213、カラムADC220および画素アレイ部300を備える。
【0034】
画素アレイ部300には、複数の画素が二次元格子状に配列される。また、画素アレイ部300は、それぞれが所定数の画素からなる複数の画素ブロックに分割される。以下、水平方向に配列された画素または画素ブロックの集合を「行」と称し、行に垂直な方向に配列された画素または画素ブロックの集合を「列」と称する。
【0035】
画素のそれぞれは、光電流に応じた電圧のアナログ信号を画素信号として生成する。また、画素ブロックのそれぞれは、光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、アドレスイベントが生じた際に画素ブロックは、リクエストをアービタ213に出力する。
【0036】
駆動回路211は、画素のそれぞれを駆動して画素信号をカラムADC220に出力させるものである。
【0037】
アービタ213は、それぞれの画素ブロックからのリクエストを調停し、調停結果に基づいて応答を画素ブロックに送信するものである。応答を受け取った画素ブロックは、検出結果を示す検出信号を駆動回路211および信号処理部212に供給する。
【0038】
カラムADC220は、画素ブロックの列ごとに、その列からのアナログの画素信号をデジタル信号に変換するものである。このカラムADC220は、デジタル信号を信号処理部212に供給する。
【0039】
信号処理部212は、カラムADC220からのデジタル信号に対し、CDS(Correlated Double Sampling)処理や画像認識処理などの所定の信号処理を実行するものである。この信号処理部212は、処理結果を示すデータと検出信号とを信号線209を介して記録部120に供給する。
【0040】
[画素アレイ部の構成例]
図4は、本開示の第1の実施形態における画素アレイ部300の一構成例を示すブロック図である。画素アレイ部300は、複数の画素ブロック310に分割される。画素ブロック310のそれぞれには、I行×J列(IおよびJは整数)に複数の画素が配列される。
【0041】
また、画素ブロック310は、画素信号生成部320と、I行×J列の複数の受光部330と、アドレスイベント検出部400とを備える。画素ブロック310内の複数の受光部330は、画素信号生成部320およびアドレスイベント検出部400を共有している。そして、ある座標の受光部330と画素信号生成部320およびアドレスイベント検出部400とからなる回路が、その座標の画素として機能する。また、画素ブロック310の列ごとに、垂直信号線VSLが配線される。画素ブロック310の列数をm(mは整数)とすると、m本の垂直信号線VSLが配列される。
【0042】
受光部330は、入射光を光電変換して光電流を生成するものである。この受光部330は、駆動回路211の制御に従って、画素信号生成部320およびアドレスイベント検出部400のいずれかに光電流を供給する。
【0043】
画素信号生成部320は、光電流に応じた電圧の信号を画素信号SIGとして生成するものである。この画素信号生成部320は、生成した画素信号SIGを垂直信号線VSLを介してカラムADC220に供給する。
【0044】
アドレスイベント検出部400は、受光部330のそれぞれからの光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出するものである。このアドレスイベントは、例えば、変化量が上限の閾値を超えた旨を示すオンイベントと、その変化量が下限の閾値を下回った旨を示すオフイベントとからなる。また、アドレスイベントの検出信号は、例えば、オンイベントの検出結果を示す1ビットと、オフイベントの検出結果を示す1ビットからなる。なお、アドレスイベント検出部400は、オンイベントのみを検出することもできる。
【0045】
アドレスイベントが発生した際に、アドレスイベント検出部400は、検出信号の送信を要求するリクエストをアービタ213に供給する。そして、リクエストに対する応答をアービタ213から受け取ると、アドレスイベント検出部400は、検出信号を駆動回路211および信号処理部212に供給する。なお、アドレスイベント検出部400は、特許請求の範囲に記載の検出部の一例である。
【0046】
[画素ブロックの構成例]
図5は、本開示の第1の実施形態における画素ブロック310の一構成例を示す回路図である。画素ブロック310において、画素信号生成部320は、リセットトランジスタ321、増幅トランジスタ322、選択トランジスタ323および浮遊拡散層324を備える。画素ブロック310内の複数の受光部330は、接続ノード340を介してアドレスイベント検出部400に共通に接続されている。
【0047】
また、受光部330のそれぞれは、転送トランジスタ331、OFG(OverFlow Gate)トランジスタ332および光電変換素子333を備える。画素ブロック310内の画素数をN(Nは整数)とすると、転送トランジスタ331、OFGトランジスタ332および光電変換素子333は、それぞれN個ずつ配置される。画素ブロック310内のn(nは1乃至Nの整数)個目の転送トランジスタ331のゲートには、駆動回路211により転送信号TRGnが供給される。n個目のOFGトランジスタ332のゲートには、駆動回路211により制御信号OFGnが供給される。本明細書では、転送トランジスタ331とOFGトランジスタ332を合わせて転送制御部335と呼び、光電変換素子を光電変換部334と呼ぶ。
【0048】
また、リセットトランジスタ321、増幅トランジスタ322および選択トランジスタ323として、例えば、N型のMOS(Metal-Oxide-Semiconductor)トランジスタが用いられる。転送トランジスタ331およびOFGトランジスタ332についても、同様にN型のMOSトランジスタが用いられる。
【0049】
また、光電変換素子333のそれぞれは、受光チップ201に配置される。光電変換素子333以外の素子の全ては、検出チップ202に配置される。なお、光電変換素子333以外の素子の一部を、受光チップ201に配置する変形例も考えられる。
【0050】
光電変換素子333は、入射光を光電変換して電荷を生成するものである。転送トランジスタ331は、転送信号TRGnに従って、対応する光電変換素子333から浮遊拡散層324へ電荷を転送するものである。OFGトランジスタ332は、制御信号OFGnに従って、対応する光電変換素子333により生成された電気信号を接続ノード340に供給するものである。ここで、供給される電気信号は、電荷からなる光電流である。
【0051】
浮遊拡散層324は、電荷を蓄積して蓄積した電荷の量に応じた電圧を生成するものである。リセットトランジスタ321は、駆動回路211からのリセット信号に従って浮遊拡散層324の電荷量を初期化するものである。増幅トランジスタ322は、浮遊拡散層324の電圧を増幅するものである。選択トランジスタ323は、駆動回路211からの選択信号SELに従って、増幅された電圧の信号を画素信号SIGとして垂直信号線VSLを介してカラムADC220へ出力するものである。
【0052】
駆動回路211は、制御部130によりアドレスイベントの検出開始が指示されると、全ての画素のOFGトランジスタ332を制御信号OFGnにより駆動して接続ノード340に光電流を供給させる。これにより、アドレスイベント検出部400には、画素ブロック310内の全ての受光部330の光電流の和の電流が供給される。
【0053】
そして、ある画素ブロック310においてアドレスイベントが検出されると、駆動回路211は、そのブロックの全てのOFGトランジスタ332をオフ状態にしてアドレスイベント検出部400への光電流の供給を停止させる。次いで駆動回路211は、転送信号TRGnにより、それぞれの転送トランジスタ331を順に駆動して、電荷を浮遊拡散層324に転送させる。これにより、画素ブロック310内の複数の画素のそれぞれの画素信号が順に出力される。
【0054】
このように、固体撮像素子200は、アドレスイベントが検出された画素ブロック310の画素信号のみをカラムADC220に出力する。これにより、アドレスイベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、固体撮像素子200の消費電力や、画像処理の処理量を低減することができる。
【0055】
また、複数の画素がアドレスイベント検出部400を共有するため、画素毎にアドレスイベント検出部400を配置する場合と比較して固体撮像素子200の回路規模を削減することができる。
【0056】
[アドレスイベント検出部400の構成例]
図6は、本開示の第1の実施形態におけるアドレスイベント検出部400の第1構成例を示すブロック図である。このアドレスイベント検出部400は、電流電圧変換部410、バッファ420、減算器430、量子化器440および転送部450を備える。
【0057】
電流電圧変換部410は、対応する受光部330からの光電流を、その対数の電圧信号に変換するものである。この電流電圧変換部410は、電圧信号をバッファ420に供給する。
【0058】
バッファ420は、電流電圧変換部410からの電圧信号を補正するものである。このバッファ420は、補正後の電圧信号を減算器430に出力する。
【0059】
減算器430は、駆動回路211からの行駆動信号に従ってバッファ420からの電圧信号のレベルを低下させるものである。この減算器430は、低下後の電圧信号を量子化器440に供給する。
【0060】
量子化器440は、減算器430からの電圧信号をデジタル信号に量子化して検出信号として転送部450に出力するものである。
【0061】
転送部450は、量子化器440からの検出信号を信号処理部212等に転送するものである。この転送部450は、アドレスイベントが検出された際に、検出信号の送信を要求するリクエストをアービタ213に供給する。そして、転送部450は、リクエストに対する応答をアービタ213から受け取ると、検出信号を駆動回路211および信号処理部212に供給する。
【0062】
[電流電圧変換部の構成例]
図7は、本開示の第1の実施形態における電流電圧変換部410の一構成例を示す回路図である。この電流電圧変換部410は、N型トランジスタ411および413とP型トランジスタ412とを備える。これらのトランジスタとして、例えば、MOSトランジスタが用いられる。
【0063】
N型トランジスタ411のソースは、受光部330に接続され、ドレインは電源端子に接続される。P型トランジスタ412およびN型トランジスタ413は、電源端子と接地端子との間において、直列に接続される。また、P型トランジスタ412およびN型トランジスタ413の接続ノードは、N型トランジスタ411のゲートとバッファ420の入力端子とに接続される。また、P型トランジスタ412のゲートには、所定のバイアス電圧Vbiasが印加される。
【0064】
N型トランジスタ411および413のドレインは電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された2つのソースフォロワにより、受光部330からの光電流は、その対数の電圧信号に変換される。また、P型トランジスタ412は、一定の電流をN型トランジスタ413に供給する。
【0065】
[減算器および量子化器の構成例]
図8は、本開示の第1の実施形態における減算器430および量子化器440の一構成例を示す回路図である。減算器430は、コンデンサ431および433と、インバータ432と、スイッチ434とを備える。また、量子化器440は、コンパレータ441を備える。
【0066】
コンデンサ431の一端は、バッファ420の出力端子に接続され、他端は、インバータ432の入力端子に接続される。コンデンサ433は、インバータ432に並列に接続される。スイッチ434は、コンデンサ433の両端を接続する経路を行駆動信号に従って開閉するものである。
【0067】
インバータ432は、コンデンサ431を介して入力された電圧信号を反転するものである。このインバータ432は反転した信号をコンパレータ441の非反転入力端子(+)に出力する。
【0068】
スイッチ434をオンした際にコンデンサ431のバッファ420側に電圧信号Vinitが入力され、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ431に蓄積されている電位Qinitは、コンデンサ431の容量をC1とすると、次の式により表される。一方、コンデンサ433の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Qinit=C1×Vinit ・・・(1)
【0069】
次に、スイッチ434がオフされて、コンデンサ431のバッファ420側の電圧が変化してVafterになった場合を考えると、コンデンサ431に蓄積される電荷Qafterは、次の式により表される。
Qafter=C1×Vafter ・・・(2)
【0070】
一方、コンデンサ433に蓄積される電荷Q2は、出力電圧をVoutとすると、次の式により表される。
Q2=-C2×Vout ・・・(3)
【0071】
このとき、コンデンサ431および433の総電荷量は変化しないため、次の式が成立する。
Qinit=Qafter+Q2 ・・・(4)
【0072】
式(4)に式(1)乃至式(3)を代入して変形すると、次の式が得られる。
Vout=-(C1/C2)×(Vafter-Vinit) ・・・(5)
【0073】
式(5)は、電圧信号の減算動作を表し、減算結果の利得はC1/C2となる。通常、利得を最大化することが望まれるため、コンデンサ431の容量C1を大きく、コンデンサ433の容量C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロックごとに減算器430を含むアドレスイベント検出部400が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1およびC2の値が決定される。
【0074】
コンパレータ441は、減算器430からの電圧信号と、反転入力端子(-)に印加された所定の閾値電圧Vthとを比較するものである。コンパレータ441は、比較結果を示す信号を検出信号として転送部450に出力する。
【0075】
また、上述のアドレスイベント検出部400全体のゲインAは、電流電圧変換部410の変換ゲインをCGlogとし、バッファ420のゲインを「1」とすると、次の式により表される。
【数1】
【0076】
上式において、iphoto_nは、n番目の画素の光電流であり、単位は例えば、アンペア(A)である。Nは、画素ブロック310内の画素数である。
【0077】
[カラムADC220の構成例]
図9は、本開示の第1の実施形態におけるカラムADC220の一構成例を示すブロック図である。このカラムADC220は、画素ブロック310の列ごとにADC230を備える。また、カラムADC220は、参照信号生成部223および出力部222を備える。参照信号生成部223は、ランプ信号などの参照信号を生成してADC230のそれぞれに供給するものである。参照信号生成部223として、DAC(Digital to Analog Converter)などが用いられる。出力部222は、ADC230からのデジタル信号を信号処理部212に供給するものである。
【0078】
ADC230は、垂直信号線VSLを介して供給されたアナログの画素信号SIGをデジタル信号に変換するものである。このADC230は、比較器236、カウンタ237、スイッチ238およびメモリ239を備える。比較器236は、参照信号と画素信号SIGとを比較し、カウンタ237は、比較結果が反転するまでの期間に亘って計数値を計数する。スイッチ238は、タイミング制御回路(不図示)などの制御に従って、計数値をメモリ239に供給して保持させる。メモリ239は、計数値を示すデジタル信号を水平駆動部(不図示)などの制御に従って出力部222に供給する。この構成により、画素信号SIGは、検出信号よりもビット数の多いデジタル信号に変換される。例えば、検出信号を2ビットとすると、画素信号は、3ビット以上(16ビットなど)のデジタル信号に変換される。なお、ADC230は、特許請求の範囲に記載のアナログデジタル変換器の一例である。
【0079】
[固体撮像素子の動作例]
図10は、本開示の第1の実施形態における固体撮像素子200の動作の一例を示すタイミングチャートである。タイミングT0において、制御部130によりアドレスイベントの検出開始が指示されると、駆動回路211は、制御信号OFGnを全てハイレベルにして、全画素のOFGトランジスタ332をオン状態にする。これにより、全画素の光電流の和がアドレスイベント検出部400に供給される。一方、転送信号TRGnは全てローレベルであり、全画素の転送トランジスタ331はオフ状態である。
【0080】
そして、タイミングT1において、アドレスイベント検出部400がアドレスイベントを検出し、ハイレベルの検出信号を出力したものとする。ここで、検出信号は、オンイベントの検出結果を示す1ビットの信号であるものとする。
【0081】
駆動回路211は、検出信号を受け取ると、タイミングT2において制御信号OFGnを全てローレベルにしてアドレスイベント検出部400への光電流の供給を停止させる。また、駆動回路211は、選択信号SELをハイレベルにし、リセット信号RSTを一定のパルス期間に亘ってハイレベルにして浮遊拡散層324の初期化を行う。この初期化時の電圧を画素信号生成部320は、リセットレベルとして出力し、ADC230は、そのリセットレベルをデジタル信号に変換する。
【0082】
リセットレベルの変換後のタイミングT3において、駆動回路211は、一定のパルス期間に亘ってハイレベルの転送信号TRG1を供給して、1つ目の画素に電圧を信号レベルとして出力させる。ADC230は、その信号レベルをデジタル信号に変換する。信号処理部212は、リセットレベルと信号レベルとの差分を正味の画素信号として求める。この処理は、CDS処理と呼ばれる。
【0083】
信号レベルの変換後のタイミングT4において、駆動回路211は、一定のパルス期間に亘ってハイレベルの転送信号TRG2を供給して、2つ目の画素に信号レベルを出力させる。信号処理部212は、リセットレベルと信号レベルとの差分を正味の画素信号として求める。以下、同様の処理が実行されて、画素ブロック310内のそれぞれの画素の画素信号が順に出力される。
【0084】
全ての画素信号が出力されると、駆動回路211は、制御信号OFGnを全てハイレベルにして、全画素のOFGトランジスタ332をオン状態にする。
【0085】
図11は、本開示の第1の実施形態における固体撮像素子200の動作の一例を示すフローチャートである。この動作は、例えば、アドレスイベントを検出するための所定のアプリケーションが実行されたときに開始される。
【0086】
画素ブロック310のそれぞれは、アドレスイベントの有無の検出を行う(ステップS901)。駆動回路211は、いずれかの画素ブロック310においてアドレスイベントがあったか否かを判断する(ステップS902)。アドレスイベントがあった場合に(ステップS902:Yes)、駆動回路211は、アドレスイベントの生じた画素ブロック310内のそれぞれの画素の画素信号を順に出力させる(ステップS903)。
【0087】
アドレスイベントが無い場合(ステップS902:No)、または、ステップS903の後に固体撮像素子200は、ステップS901以降を繰り返す。
このように、本開示の第1の実施形態によれば、複数(N個)の光電変換素子333(画素)のそれぞれの光電流の変化量をアドレスイベント検出部400が検出するため、アドレスイベント検出部400の配置数を、N画素ごとに1つにすることができる。このようにN画素で1つのアドレスイベント検出部400を共有することにより、アドレスイベント検出部400を共有せずに画素毎に設ける構成と比較して回路規模を削減することができる。
【0088】
なお、上述したNの値は任意である。例えば、回路規模の削減を考慮しなくてよい場合には、N=1として、画素ごとにアドレスイベント検出部400を設けてもよい。
【0089】
第1の実施形態では、撮像装置100内の各部が使用する低電位側基準電位とオフ電位が、電位レベルがそれぞれ異なる3種類以上の電位を含んでいる。低電位側基準電位とオフ電位は、典型的には接地電位GNDであるが、本実施形態では、撮像装置100内の各部によって、接地電位GND以外の電位レベルの電位を使用することを想定している。
【0090】
より具体的には、光電変換部334の低電位側基準電位と、検出部の低電位側基準電位と、画素信号生成部320の低電位側基準電位と、カラムADC220の低電位側基準電位と、転送制御部335のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる。
【0091】
例えば、光電変換部334の低電位側基準電位は、アドレスイベント検出部400の低電位側基準電位よりも電位レベルが低くてもよい。また、光電変換部334の低電位側基準電位は、転送制御部335のオフ電位よりも電位レベルが高くてもよい。また、光電変換部334の低電位側基準電位は、画素信号生成部320及びカラムADC220の少なくとも一方の低電位側基準電位よりも電位レベルが低くてもよい。
【0092】
図12は第1の実施形態による撮像装置100内の各部が使用する低電位側基準電位とオフ電位を示す図である。
図12では、撮像装置100内の各部が使用する低電位側基準電位とオフ電位が、電位レベルがそれぞれ異なる3つの電位を含む例を示している。
図12の例では、これら3つの電位を接地電位、第1基準電位、第2基準電位としている。接地電位は例えば0Vであり、第1基準電位は接地電位GNDよりも電位レベルが低い負電位、第2基準電位は第2基準電位よりもさらに電位レベルが低い負電位である。
【0093】
第1基準電位及び第2基準電位は、負電位供給部235から供給される。負電位供給部235は、例えばチャージポンプを用いて、接地電位GNDよりも低い第1基準電位と第2基準電位を生成する。
【0094】
図12の例では、光電変換部334の低電位側基準電位は第1基準電位である。また、アドレスイベント検出部400、画素信号生成部320及びカラムADC220の低電位側基準電位は接地電位GNDである。転送制御部335のオフ電位は第2基準電位である。転送制御部335は、転送トランジスタ331とOFGトランジスタ332で構成されており、転送制御部335のオフ電位とは、転送トランジスタ331とOFGトランジスタ332のゲートをオフするための電位を指す。
【0095】
図12において、光電変換部334の低電位側基準電位を負電位である第2基準電位に設定することで、光電変換部334の低電位側基準電位を接地電位GNDにする場合と比較して、光電変換部334内のフォトダイオード(光電変換素子)の逆バイアスが大きくなる。これにより、フォトダイオード311の感度が高くなり、暗電流を低減することができる。
【0096】
また、転送制御部335内の転送トランジスタ331とOFGトランジスタ332のバックゲートを負電位Vnにしてもよい。これにより、それらの電位を基準電位とする場合と比較して、基板バイアス効果により、それぞれのトランジスタの閾値電圧が高くなり、それらのトランジスタのゲート-ソース間電圧が0以下になることを防止することができる。ゲート-ソース間電圧が0以下になると、画素信号生成部320の回路構成上、正常な出力が得られなくなるため、バックゲートへの負電位Vnの供給により、そのような事態を抑制することができる。このように、フォトダイオード311の感度向上、暗電流の低下や、閾値電圧の上昇により、検出信号の信号品質を向上させることができる。
【0097】
図12では、アドレスイベント検出部400の低電位側基準電位(第1基準電位)を光電変換部334の低電位側基準電位(第1基準電位)よりも高い電位レベルにしている。仮に、アドレスイベント検出部400の低電位側基準電位を光電変換部334の低電位側基準電位よりも低くすると、光電変換部334内のフォトダイオードに十分な逆バイアスがかからず、リーク電流が増加したり、ノイズが増えたりして、応答が遅くなるおそれがある。
図12のように、アドレスイベント検出部400の低電位側基準電位を光電変換部334の低電位側基準電位よりも高い電位レベルにすることで、フォトダイオードに十分な逆バイアスをかけることができ、ノイズの低減や応答速度の向上が図れる。
【0098】
転送制御部335内のOFGトランジスタ332は、アドレスイベント検出部400でアドレスイベント検出処理を行う場合にオンする。このとき、転送トランジスタ331はオフしていなければならない。また、アドレスイベント検出部400でアドレスイベントが検出されると、OFGトランジスタ332がオフして、転送トランジスタ331がオンする。転送トランジスタ331がオンすると、フォトダイオードで光電変換した電気信号(光電流)が転送トランジスタ331を介して画素信号生成部320に送られて画素信号が生成され、その後カラムADC220に送られてデジタル信号が生成される。
【0099】
このように、OFGトランジスタ332と転送トランジスタ331は排他的にオン/オフする。OFGトランジスタ332と転送トランジスタ331に対して、排他的動作を確実に行わせるには、オンする方のトランジスタのゲートには正電位を与え、オフする方のトランジスタのゲートには負電位を与えるのが望ましい。このため、
図12では、転送制御部335のオフ電位を、負電位である第2基準電位に設定している。
【0100】
図13A及び
図13Bは第1の実施形態による撮像装置100内の各部に与える低電位側基準電位とオフ電位の具体的な電位レベルの一例である。
図13Aは転送トランジスタをオフする場合の電位レベル、
図13Bは転送トランジスタをオンする場合の電位レベルである。アドレスイベント検出を行う場合は、
図13Aの電位レベルに設定される。なお、
図13A及び
図13Bの電位レベルは一例であり、種々の変形例が考えられる。
【0101】
図13Aに示すように、転送トランジスタをオフする場合、フォトダイオードのアノードは負電位である-0.6Vに設定される。また、転送トランジスタのゲートは負電位である-1.8Vに設定される。これにより、転送トランジスタは確実にオフする。画素信号生成部320内のリセットトランジスタのゲートは2.2Vに設定される。これにより、リセットトランジスタがオンし、浮遊拡散層324の電荷量が初期化される。画素信号生成部320の正電位側基準電位は2.8Vに設定される。
【0102】
図13Aでは省略しているが、アドレスイベント検出を行う場合、OFGトランジスタのゲートは2.2~2.8V程度に設定される。また、アドレスイベント検出部400の低電位側基準電位は、フォトダイオードのアノード電位よりも高い接地電位GND(0V)に設定される。アドレスイベント検出部400の正電位側基準電位は2.2Vに設定される。
【0103】
図13Bに示すように、転送トランジスタをオンする場合、フォトダイオードのアノードは同じく-0.6Vに設定される。また、転送トランジスタのゲートは2.2Vに設定される。画素信号生成部320内のリセットトランジスタのゲートは負電位である-0.6Vに設定される。リセットトランジスタのドレインは2.2Vに設定される。画素信号生成部320内の増幅トランジスタ322のドレインは2.8Vに設定される。
【0104】
図13Aでは省略しているが、OFGトランジスタのゲートは-1.8Vに設定される。アドレスイベント検出部400の低電位側基準電位は
図13Aと同じく接地電位GND(0V)である。
【0105】
このように、第1の実施形態では、撮像装置100内の各部が使用する低電位側基準電位とオフ電位が、電位レベルがそれぞれ異なる3種類以上の電位を含んでいる。これにより、撮像装置100内の各部の動作を最適化することができる。例えば、光電変換部334の低電位側基準電位を基準電位に設定するため、フォトダイオードの感度を向上できるとともに、暗電流を低減できる。また、光電変換部334の低電位側基準電位よりも、アドレスイベント検出部400の低電位側基準電位を高くすることで、フォトダイオードに十分な逆バイアスがかかるようにして、ノイズ低減と応答速度の向上を図ることができる。さらに、転送制御部335のオフ電位を負電位にすることで、転送トランジスタとOFGトランジスタを確実に排他的に動作させることができる。
【0106】
(第2の実施形態)
図14は第2の実施形態による撮像装置100内の各部が使用する低電位側基準電位とオフ電位を示す図である。
図14の例でも、撮像装置100内の各部が使用する低電位側基準電位とオフ電位として、それぞれ電位レベルが異なる3種類の基準電位を使用するが、これら3種類の基準電位の電位レベルが
図12とは異なっている。より具体的には、
図14の第1基準電位は接地電位GNDよりも高い電位レベルであり、第2基準電位は接地電位GNDよりも低い電位レベルである。
【0107】
第2基準電位は、負電位供給部235から供給される。第1基準電位は、不図示の電源部から供給される。
【0108】
図14の例では、光電変換部334、画素信号生成部320、及びカラムADC220の低電位側基準電位は接地電位GND(0V)である。また、アドレスイベント検出部400の低電位側基準電位は、正電位である第1基準電位である。また、転送制御部335のオフ電位は第1基準電位より低い負電位である第2基準電位である。
【0109】
図14の場合、光電変換部334の低電位側基準電位を、アドレスイベント検出部400の低電位側基準電位よりも低くするため、光電変換部334内のフォトダイオードの逆バイアスを十分に大きくでき、ノイズ低減と応答速度の向上が図れる。また、転送制御部335のオフ電位を第1基準電位より低い負電位である第2基準電位に設定するため、転送トランジスタとOFGトランジスタを確実に排他的動作させることができる。
【0110】
図15A及び
図15Bは第2の実施形態による撮像装置100内の各部に与える低電位側基準電位とオフ電位の具体的な電位レベルの一例である。
図15Aは転送トランジスタをオフする場合の電位レベル、
図15Bは転送トランジスタをオンする場合の電位レベルである。
【0111】
図15Aに示すように、転送トランジスタをオフする場合、フォトダイオードのアノードは負電位である接地電位GND(0V)に設定される。また、転送トランジスタのゲートは負電位である-1.2Vに設定される。これにより、転送トランジスタは確実にオフする。画素信号生成部320内のリセットトランジスタのゲートは2.8Vに設定される。これにより、リセットトランジスタがオンし、浮遊拡散層324の電荷量が初期化される。画素信号生成部320の正電位側基準電位は2.8Vに設定される。アドレスイベント検出部400の低電位側基準電位は、フォトダイオードのアノード電位よりも高い0.6Vに設定される。アドレスイベント検出部400の正電位側基準電位は2.8Vに設定される。
【0112】
図15Bに示すように、転送トランジスタをオンする場合、フォトダイオードのアノードは同じく接地電位GND(0V)に設定される。また、転送トランジスタのゲートは2.8Vに設定される。画素信号生成部320内のリセットトランジスタのゲートは接地電位GND(0V)に設定される。リセットトランジスタのドレインは2.8Vに設定される。画素信号生成部320内の増幅トランジスタ322のドレインは2.8Vに設定される。
【0113】
【0114】
このように、第2の実施形態では、撮像装置100内の低電位側基準電位とオフ電位として、接地電位GND以外に、正電位の第1基準電位と負電位の第2基準電位を設けるため、撮像装置100内の各部に最適な電圧レベルの低電位側基準電位を設定することができ、各部の動作を最適化することができる。特に、光電変換部334の低電位側基準電位よりも、アドレスイベント検出部400の低電位側基準電位を高くすることで、フォトダイオードに十分な逆バイアスがかかるようにして、ノイズ低減と応答速度の向上を図ることができる。さらに、転送制御部335のオフ電位を負電位にすることで、転送トランジスタとOFGトランジスタを確実に排他的に動作させることができる。
【0115】
また、第2の実施形態では、低電位側基準電位及びオフ電位として、1種類の負電位のみを使用するため、負電位供給部235の回路構成を簡略化できる。
【0116】
(第3の実施形態)
図16は第3の実施形態による撮像装置100内の各部が使用する低電位側基準電位とオフ電位を示す図である。
【0117】
図16に示すように、第3の実施形態による撮像装置100は、光電変換部334の低電位側基準電位を切り替える電位選択部336を備えている。電位選択部336は、アドレスイベント検出部400にてフォトダイオードが光電変換した電気信号(光電流)の変化量が所定の閾値を超えたか否かをアドレスイベント検出部400が検出する期間内には第1基準電位を選択し、アナログデジタル変換器が画素信号をデジタル信号に変換する期間内は、第1基準電位よりも電位レベルが高い第2基準電位を選択する。
【0118】
第3の実施形態による撮像装置100の各部が使用する低電位側基準電位とオフ電位は、それぞれ電位レベルが異なる第1基準電位と第2基準電位である。すなわち、第3の実施形態は、第1及び第2の実施形態と比べて、基準電位の数が一つ少ない。
【0119】
第3の実施形態における第2基準電位は例えば接地電位GND(0V)であり、第1基準電位は接地電位GNDより電位レベルが低い負電位である。第1基準電位は、負電位供給部235から供給される。
【0120】
図16の撮像装置100では、アドレスイベント検出部400と、画素信号生成部320と、カラムADC220の低電位側基準電位は、接地電位GND(第2基準電位)である。転送制御部335のオフ電位は負電位(第1基準電位)である。
【0121】
アドレスイベント検出部400は、光電変換部334内のフォトダイオードが光電変換した電気信号に基づいて、いち早くアドレスイベントを検出する必要がある。よって、アドレスイベント検出部400がアドレスイベント検出動作を行う期間内は、光電変換部334の低電位側基準電位を負電位に下げて、フォトダイオードの感度向上と暗電流の低下を図る。一方、アドレスイベント検出部400でアドレスイベントが検出されると、画素信号生成部320で画素信号を生成する動作が行われるが、この期間内はフォトダイオードの感度を向上させる必要がないことから、受信部の低電位側基準電位は接地電位GNDにし、消費電力の削減を図る。
【0122】
このように、第3の実施形態では、光電変換部334の低電位側基準電位を、アドレスイベント検出を行う場合と画素信号を生成する場合とで切り替えるため、アドレスイベント検出時のフォトダイオードの感度向上や暗電流の減少を図れるとともに、画素信号生成時の消費電力を削減できる。
【0123】
(第4の実施形態)
上述した第1~第3の実施形態では、
図6のアドレスイベント検出部400を備えた撮像装置100について説明したが、アドレスイベント検出部400の内部構成は、必ずしも
図6に限定されない。
図17はアドレスイベント検出部400の第2構成例を示すブロック図である。
図17に示すように、本構成例に係るアドレスイベント検出部400は、電流電圧変換部410、バッファ420、減算器430、量子化器440、及び、転送部450の他に、記憶部460及び制御部470を有する構成となっている。
【0124】
記憶部460は、量子化器440と転送部450との間に設けられており、制御部470から供給されるサンプル信号に基づいて、量子化器440の出力、即ち、量子化器440内のコンパレータ441の比較結果を蓄積する。記憶部460は、スイッチ、プラスチック、容量などのサンプリング回路であってもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。
【0125】
制御部470は、コンパレータ441の反転(-)入力端子に対して所定の閾値電圧Vthを供給する。制御部470からコンパレータ441に供給される閾値電圧Vthは、時分割で異なる電圧値であってもよい。例えば、制御部470は、光電流の変化量が上限の閾値を超えた旨を示すオンイベントに対応する閾値電圧Vth1、及び、その変化量が下限の閾値を下回った旨を示すオフイベントに対応する閾値電圧Vth2を異なるタイミングで供給することで、1つのコンパレータ441で複数種類のアドレスイベントの検出が可能になる。
【0126】
記憶部460は、例えば、制御部470からコンパレータ441の反転(-)入力端子に、オフイベントに対応する閾値電圧Vth2が供給されている期間に、オンイベントに対応する閾値電圧Vth1を用いたコンパレータ441の比較結果を蓄積するようにしてもよい。尚、記憶部460は、画素30の内部にあってもよいし、画素30の外部にあってもよい。また、記憶部460は、アドレスイベント検出部400の必須の構成要素ではない。すなわち、記憶部460は、無くてもよい。
【0127】
[第2構成例に係る撮像装置100(スキャン方式)]
上述した
図6に示すアドレスイベント検出部400の第1構成例を備えた撮像装置10020は、非同期型の読出し方式にてイベントを読み出す非同期型の撮像装置100である。但し、イベントの読出し方式としては、非同期型の読出し方式に限られるものではなく、同期型の読出し方式であってもよい。同期型の読出し方式が適用される撮像装置100は、所定のフレームレートで撮像を行う通常の撮像装置100と同じ、スキャン方式の撮像装置100である。
【0128】
図18は、本開示に係る技術が適用される撮像システム10における撮像装置10020として用いられる、第2構成例に係る撮像装置100、即ち、スキャン方式の撮像装置100の構成の一例を示すブロック図である。
【0129】
図18に示すように、本開示の撮像装置100としての第2構成例に係る撮像装置10020は、画素アレイ部21、駆動部22、信号処理部25、読出し領域選択部27、及び、信号生成部221を備える構成となっている。
【0130】
画素アレイ部21は、複数の画素30を含む。複数の画素30は、読出し領域選択部27の選択信号に応答して出力信号を出力する。複数の画素30のそれぞれについては、例えば
図7に示すように、画素内に量子化器を持つ構成とすることもできる。複数の画素30は、光の強度の変化量に対応する出力信号を出力する。複数の画素30は、
図18に示すように、行列状に2次元配置されていてもよい。
【0131】
駆動部22は、複数の画素30のそれぞれを駆動して、各画素30で生成された画素信号を信号処理部25に出力させる。尚、駆動部22及び信号処理部25については、階調情報を取得するための回路部である。従って、イベント情報のみを取得する場合は、駆動部22及び信号処理部25は無くてもよい。
【0132】
読出し領域選択部27は、画素アレイ部21に含まれる複数の画素30のうちの一部を選択する。例えば、読出し領域選択部27は、画素アレイ部21に対応する2次元行列の構造に含まれる行のうちのいずれか1つもしくは複数の行を選択する。読出し領域選択部27は、予め設定された周期に応じて1つもしくは複数の行を順次選択する。また、読出し領域選択部27は、画素アレイ部21の各画素30からのリクエストに応じて選択領域を決定してもよい。
【0133】
信号生成部221は、読出し領域選択部27によって選択された画素の出力信号に基づいて、選択された画素のうちのイベントを検出した活性画素に対応するイベント信号を生成する。イベントは、光の強度が変化するイベントである。活性画素は、出力信号に対応する光の強度の変化量が予め設定された閾値を超える、又は、下回る画素である。例えば、信号生成部221は、画素の出力信号を基準信号と比較し、基準信号よりも大きい又は小さい場合に出力信号を出力する活性画素を検出し、当該活性画素に対応するイベント信号を生成する。
【0134】
信号生成部221については、例えば、信号生成部221に入ってくる信号を調停するような列選択回路を含む構成とすることができる。また、信号生成部221については、イベントを検出した活性画素の情報の出力のみならず、イベントを検出しない非活性画素の情報も出力する構成とすることができる。
【0135】
信号生成部221からは、出力線15を通して、イベントを検出した活性画素のアドレス情報及びタイムスタンプ情報(例えば、(X,Y,T))が出力される。但し、信号生成部221から出力されるデータについては、アドレス情報及びタイムスタンプ情報だけでなく、フレーム形式の情報(例えば、(0,0,1,0,・・・))であってもよい。
【0136】
[チップ構造の構成例]
上述した第1構成例又は第2構成例に係る撮像装置10020のチップ(半導体集積回路)構造としては、
図2に示したように、積層型のチップ構造を採ることができる。積層型のチップ構造、所謂、積層構造は、第1のチップである受光チップ201、及び、第2のチップである検出チップ202の少なくとも2つのチップが積層された構造となっている。そして、
図4に示す画素30の回路構成において、受光部330のそれぞれが受光チップ201上に配置され、受光素子311以外の素子の全てや、画素30の他の回路部分の素子などが検出チップ202上に配置される。受光チップ201と検出チップ202とは、ビア(VIA)、Cu-Cu接合、バンプなどの接続部を介して電気的に接続される。
【0137】
尚、ここでは、受光素子311を受光チップ201に配置し、受光素子311以外の素子や画素30の他の回路部分の素子などを検出チップ202に配置する構成例を例示したが、この構成例に限られるものではない。
【0138】
例えば、
図4に示す画素30の回路構成において、受光部330の各素子、及び、画素信号生成部32032のリセットトランジスタ321、浮遊拡散層324を受光チップ201に配置し、それ以外の素子を検出チップ202に配置する構成とすることができる。あるいは、アドレスイベント検出部400を構成する素子の一部を、受光部330の各素子などと共に受光チップ201に配置する構成とすることができる。
【0139】
[カラム処理部の構成例]
図9では、カラムADC220内に、画素アレイ部21の画素列に対して、1対1の対応関係でアナログ-デジタル変換器(ADC)230を配置する構成例を例示したが、この構成例に限定されるものではない。例えば、複数の画素列を単位としてアナログ-デジタル変換器(ADC)230を配置し、当該アナログ-デジタル変換器(ADC)230を複数の画素列間で時分割で用いる構成とすることもできる。
【0140】
アナログ-デジタル変換器(ADC)230は、垂直信号線VSLを介して供給されるアナログの画素信号SIGを、先述したアドレスイベントの検出信号よりもビット数の多いデジタル信号に変換する。例えば、アドレスイベントの検出信号を2ビットとすると、画素信号は、3ビット以上(16ビットなど)のデジタル信号に変換される。アナログ-デジタル変換器(ADC)230は、アナログ-デジタル変換で生成したデジタル信号を信号処理部25に供給する。
【0141】
[ノイズイベントについて]
ところで、第1構成例に係る撮像装置10020は、画素アドレス毎に、その画素の光量が所定の閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出部(即ち、アドレスイベント検出部400)を画素30毎に備えたDVSと呼ばれる非同期型の撮像装置100である。
【0142】
この非同期型の第1構成例に係る撮像装置100では、本来、シーンの中で何らかのイベント(即ち、真イベント)が発生したとき、当該真イベントの発生に起因するデータの取得が行われる。しかし、非同期型の撮像装置100では、真イベントの発生の無いシーンでも、センサノイズ等のノイズイベント(偽イベント)に起因して、無駄に、データの取得が行われる場合がある。これにより、ノイズ信号が読み出されてしまうだけでなく、信号出力のスループットを低下させることになる。
【0143】
<本開示に係る技術の適用例>
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
【0144】
[移動体]
図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。
図19に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
【0145】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータ(プロセッサ)と、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。
図19では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
【0146】
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
【0147】
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【0148】
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0149】
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【0150】
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【0151】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【0152】
ここで、
図20は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0153】
尚、
図20には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
【0154】
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【0155】
図19に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【0156】
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
【0157】
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【0158】
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
【0159】
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【0160】
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
【0161】
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
【0162】
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
【0163】
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
【0164】
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
【0165】
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【0166】
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【0167】
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【0168】
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。
図19の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【0169】
尚、
図19に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
【0170】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部7910,7912,7914,7916,7918や、車外情報検出部7920,7922,7924,7926,7928,7930や、運転者状態検出部7510等に適用され得る。具体的には、これらの撮像部や検出部に対して、本開示の撮像装置100を有する
図1の撮像システム10を適用することができる。そして、本開示に係る技術を適用することにより、センサノイズ等のノイズイベントの影響を緩和し、真イベントの発生を確実に、かつ、迅速に感知することができるため、安全な車両走行を実現することが可能となる。
【0171】
なお、本開示は以下のような構成を取ることができる。
(1)それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、撮像装置。
(2)前記光電変換部の低電位側基準電位は、前記検出部の低電位側基準電位よりも電位レベルが低い、(1)に記載の撮像装置。
(3)前記光電変換部の低電位側基準電位は、前記転送制御部のオフ電位よりも電位レベルが高い、(1)又は(2)に記載の撮像装置。
(4)前記光電変換部の低電位側基準電位は、前記画素信号生成部及び前記アナログデジタル変換器の少なくとも一方の低電位側基準電位よりも電位レベルが低い、(1)乃至(3)のいずれか一項に記載の撮像装置。
(5)前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第1基準電位であり、かつその他の少なくとも一つは前記第1基準電位よりも電位レベルが低い第2基準電位である、(1)乃至(4)のいずれか一項に記載の撮像装置。
(6)前記光電変換部の低電位側基準電位は前記第2基準電位であり、
前記検出部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記転送制御部のオフ電位は前記第2基準電位である、(5)に記載の撮像装置。
(7)前記接地電位は0Vであり、
前記第1基準電位は負電位であり、
前記第2基準電位は、前記第1基準電位よりも電位レベルが低い負電位である、(5)又は(6)に記載の撮像装置。
(8)前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は略等しい、(1)乃至(3)のいずれか一項に記載の撮像装置。
(9)前記光電変換部の低電位側基準電位、前記検出部の低電位側基準電位、前記画素信号生成部の低電位側基準電位、前記アナログデジタル変換器の低電位側基準電位、及び前記転送制御部のオフ電位の少なくとも一つは接地電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが高い第1基準電位であり、かつその他の少なくとも一つは前記接地電位よりも電位レベルが低い第2基準電位である、(1)乃至(3)、及び(8)のいずれか一項に記載の撮像装置。
(10)前記光電変換部、前記画素信号生成部及び前記アナログデジタル変換器の低電位側基準電位は前記接地電位であり、
前記検出部の低電位側基準電位は前記第1基準電位であり、
前記転送制御部のオフ電位は前記第2基準電位である、(9)に記載の撮像装置。
(11)前記接地電位は0Vであり、
前記第1基準電位は正電位であり、
前記第2基準電位は負電位である、(9)又は(10)に記載の撮像装置。
(12)それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、
前記光電変換部の低電位側基準電位を切り替える電位選択部と、を備える、撮像装置。
(13)前記アナログデジタル変換器は、前記変化量が前記所定の閾値を超えたことが前記検出部で検出されると、前記画素信号を前記デジタル信号に変換し、
前記電位選択部は、前記変化量が前記所定の閾値を超えたか否かを前記検出部が検出する期間内には第1基準電位を選択し、前記アナログデジタル変換器が前記画素信号を前記デジタル信号に変換する期間内は、前記第1基準電位よりも電位レベルが高い第2基準電位を選択する、(12)に記載の撮像装置。
(14)前記第1基準電位は負電位であり、
前記第2基準電位は接地電位である、(13)に記載の撮像装置。
(15)前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる2つ以上の電位を含んでいる、(12)乃至(14)のいずれか一項に記載の撮像装置。
(16)前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位とは接地電位であり、
前記転送制御部のオフ電位は負電位である、(12)乃至(15)のいずれか一項に記載の撮像装置。
(17)前記第1基準電位及び前記第2基準電位の少なくとも一方を生成する電位生成部を備える、(5)乃至(7)、(9)乃至(11)、及び(13)のいずれか一項に記載の撮像装置。
(18)少なくとも前記検出部は、前記光電変換部が配置される第1基板に積層される第2基板に配置される、(1)乃至(17)のいずれか一項に記載の撮像装置。
(19)前記転送制御部内のトランジスタのバックゲートは、前記光電変換部の低電位側基準電位と同じ電位レベルの電位に設定される、(1)乃至(18)のいずれか一項に記載の撮像装置。
(20)撮像された画像データを出力する撮像装置と、
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
それぞれが入射光を光電変換して電気信号を生成する複数の光電変換素子を有する光電変換部と、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力する検出部と、
前記電気信号に基づいて画素信号を生成する画素信号生成部と、
前記電気信号を前記画素信号生成部に転送する制御を行う転送制御部と、
前記画素信号をデジタル信号に変換するアナログデジタル変換器と、を備え、
前記光電変換部の低電位側基準電位と、前記検出部の低電位側基準電位と、前記画素信号生成部の低電位側基準電位と、前記アナログデジタル変換器の低電位側基準電位と、前記転送制御部のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでいる、電子機器。
(21)複数の光電変換素子にて、入射光を光電変換して電気信号を生成するステップと、
前記複数の光電変換素子のそれぞれの前記電気信号の変化量が所定の閾値を超えたか否かを示す検出信号を出力するステップと、
前記電気信号を転送するステップと、
前記転送された電気信号に基づいて画素信号を生成するステップと、
前記画素信号をデジタル信号に変換するステップと、を備え、
前記光電変換の際の低電位側基準電位と、前記検出信号を出力する際の低電位側基準電位と、前記画素信号を生成する際の低電位側基準電位と、前記画素信号をデジタル信号に変換する際の低電位側基準電位と、前記電気信号を転送する際のオフ電位とは、電位レベルがそれぞれ異なる3つ以上の電位を含んでおり、これらの電位を用いて、前記電気信号を生成するステップと、前記検出信号を出力するステップと、前記電気信号を転送するステップと、前記画素信号を生成するステップと、前記デジタル信号に変換するステップとが行われる、撮像方法。
【0172】
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【0173】
100 撮像装置、110 撮像レンズ、120 記録部、130 制御部、200 固体撮像素子、201 受光チップ、202 検出チップ、211 駆動回路、212 信号処理部、213 アービタ、220 カラムADC、221 信号生成部、223 参照信号生成部、222 出力部、230 ADC、235 負電位供給部、236 比較器、237 カウンタ、238 スイッチ、239 メモリ、240 差動増幅回路、241、242、412 P型トランジスタ、243、244、245、411、413 N型トランジスタ、250 カウンタ、300 画素アレイ部、310 画素ブロック、311 画素、312 通常画素、313 アドレスイベント検出画素、320 画素信号生成部、321 リセットトランジスタ、322 増幅トランジスタ、323 選択トランジスタ、324 浮遊拡散層、330 受光部、331 転送トランジスタ、332 OFGトランジスタ、333 光電変換素子、334 光電変換部、335 転送制御部、400 アドレスイベント検出部、410 電流電圧変換部、420 バッファ、430 減算器、431、433 コンデンサ、432 インバータ、434 スイッチ、440 量子化器、441 コンパレータ、450 転送部、12031 撮像部