(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-12
(45)【発行日】2024-07-23
(54)【発明の名称】デジタルピクセル記憶を用いたデルタ画像センサ
(51)【国際特許分類】
H04N 25/47 20230101AFI20240716BHJP
【FI】
H04N25/47
(21)【出願番号】P 2022579138
(86)(22)【出願日】2021-06-24
(86)【国際出願番号】 EP2021067341
(87)【国際公開番号】W WO2021260106
(87)【国際公開日】2021-12-30
【審査請求日】2022-12-21
(32)【優先日】2020-06-26
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】521465072
【氏名又は名称】アルプセンテク・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング
【氏名又は名称原語表記】ALPSENTEK GMBH
(73)【特許権者】
【識別番号】521465061
【氏名又は名称】ベイジン・ルイスーヂーシン・テクノロジー・カンパニー・リミテッド
【氏名又は名称原語表記】BEIJING RUISIZHIXIN TECHNOLOGY CO., LTD.
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ヂャー,インユン
(72)【発明者】
【氏名】ボシュトック,ロガー・マルク
(72)【発明者】
【氏名】ダン,ジエン
(72)【発明者】
【氏名】ゾウ,ユィ
【審査官】鈴木 明
(56)【参考文献】
【文献】特表2019-536389(JP,A)
【文献】国際公開第2014/174498(WO,A1)
【文献】国際公開第2020/080383(WO,A1)
【文献】特開2020-016654(JP,A)
【文献】国際公開第2020/110537(WO,A1)
【文献】米国特許出願公開第2020/0068149(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/00-25/79
(57)【特許請求の範囲】
【請求項1】
ピクセルの配列と、少なくとも1つのピクセルに対応し、集積回路の一部として形成される複数の取得回路(1)とを備えるデルタ画像センサであって、各取得回路(1)は、
前記少なくとも1つのピクセルのフォトセンサを照明する光信号に応じて、センサ信号(VSIG)を生成するように構成された前記フォトセンサを備える少なくとも1つのセンサ回路(11)と、
現在のVSIGに対応するデジタル表現を生成するように構成された少なくとも1つのアナログ/デジタル変換(A/D)回路(12)と、
以前のVSIGに対応する少なくとも1つのデジタル信号の表現を記憶するように構成された少なくとも1つのデジタル記憶回路(13)と、
前記記憶された表現のレベルを前記現在のVSIGと比較して、変更されたレベルが存在するか否かを検出するように構成された少なくとも1つのデジタル比較回路(14)と、
前記変更されたレベルの条件下でイベント出力を生成するように構成された少なくとも1つのデジタル出力回路(15)と、を備え、
前記センサ回路(11)は、それぞれの変更されたVSIGを生成するためにその読み出し特性のアナログ機能を変更するように構成される、画像センサ。
【請求項2】
前記少なくとも1つのセンサ回路(11)は、前記アナログ機能の修正をデジタル制御するためのデジタル制御信号を受信するように構成され、好ましくは、前記デジタル制御信号は、前記取得回路(1)のデジタル部分内で局所的に記憶および/または計算されたデジタル値によって提供される、請求項1に記載の画像センサ。
【請求項3】
前記アナログ機能の前記デジタル制御は、少なくとも1つのそれぞれのピクセル内のヒステリシス機能を提供する、請求項2に記載の画像センサ。
【請求項4】
前記アナログ機能の前記デジタル制御は、少なくとも1つのピクセルグループにわたるヒステリシス機能を提供する、請求項2または3に記載の画像センサ。
【請求項5】
前記センサ回路(11)は、前記記憶されたデジタルレベル、または隣接ピクセルの前記記憶されたデジタルレベルに対応する前記デジタル記憶回路(13)からのフィードバックを受信するように構成され、前記センサ回路(11)は、前記フィードバックに応じてVSIGを生成するように構成される、請求項1から4のいずれか1項に記載の画像センサ。
【請求項6】
各取得回路(1)は、少なくとも2つのピクセル間で共有され、好ましくは、前記ピクセルは互いに隣接している、請求項1から5のいずれか1項に記載の画像センサ。
【請求項7】
前記センサ回路(11)は、以下の関係、すなわち、
a)光強度に対する線形依存性、
b)前記光強度に対する非線形の、好ましくは対数の依存性、および
c)前記光強度に対する非線形および線形依存性の組み合わせ、のうちの1つに基づいてVSIGを生成するように構成され、
好ましくは、前記関係は制御信号に応答して変更可能である、請求項1から6のいずれか1項に記載の画像センサ。
【請求項8】
前記センサ回路(11)は、動作中に制御信号に応答して、好ましくは時折
、光強度に対するVSIGの依存性を変更するように構成され、および/または、
前記センサ回路(11)は、少なくとも1つのピクセルまたはピクセルのサブセットについて個々に、動作中に制御信号に応答して前記光強度に対する前記VSIGの依存性を変更するように構成される、請求項1から7のいずれか1項に記載の画像センサ。
【請求項9】
a)前記アナログ/デジタル変換回路(12)は、前記VSIGを、以下の掃引信号、すなわち、
aa)掃引アナロ
グ信号、および
ab
)掃引アナロ
グ信号
のシーケンスであって
、前記シーケンスの前記掃引アナログ信号の各々が異なる差分関数を提供する
、掃引アナロ
グ信号
のシーケンス、
のうちの1つと比較するように構成された比較器を備え、
好ましくは、前記
掃引信号は複数の変換回路(12)に提供され、および/または、
b)前記アナログ/デジタル変換回路(12)は、少なくとも1つのピクセルに、前記掃
引信号に並列して少なくとも1つのデジタルコードを提供するように更に構成され、
ba)好ましくは、前記デジタルコードはグレーコード化デジタル信号であり、
bb)好ましくは、前
記掃引信号と前記デジタルコードとの間の関係は、記憶ランプと比較ランプとの間で変更される、請求項1から8のいずれか1項に記載の画像センサ。
【請求項10】
a)前記掃引信号は線形ランプであるか、または
b)前記掃引信号は非線形ランプであるか、または
c)前記掃引信号は動作中に変更され、および/または
d)前記掃引信号の期間は動作中に変更され、および/または
e)前記掃引信号
のリピートは、動作中に短期間または長期間にわたって中断することができ、および/または
f)前記掃引信号のリピートレートは、好ましくはイベント出力を増大または抑制するように、前記フォトセンサを照明する前記光信号の光源変調に一致する1つまたは複数のリピートレートから選択される、請求項9に記載の画像センサ。
【請求項11】
前記画像センサは、掃引ランプ制限を設定するように構成された少なくとも1つの基準ピクセルを更に含み、
好ましくは、前記少なくとも1つの基準ピクセルは、前記ピクセルの配列の外側に位置決めされ、および/または
好ましくは、前記少なくとも1つの基準ピクセルは、基準条件下で付勢される、請求項9または10に記載の画像センサ。
【請求項12】
前記デジタル比較回路(14)は、前記
掃引信号の掃引中に前記記憶されたレベルとの比較を行うように構成されるか、または
前記デジタル比較回路(14)は、前記
掃引信号の掃引後に前記記憶されたレベルとの比較を行うように構成される、請求項9~11のいずれか1項に記載の画像センサ。
【請求項13】
a)前記デジタル比較回路(14)は、前記ピクセ
ルにおける静的ロジックを用いて比較を行うように構成されるか、または
b)前記デジタル比較回路(14)は、前記ピクセ
ルにおける動的ロジックを用いて比較を行うように構成され、および/または
c)前記デジタル比較回路(14)は、ヒステリシスとの比較を行うように構成され、および/または
d)前記デジタル比較回路(14)は、動作時に時折変更される差分を要する比較を行うように構成される、請求項1から12のいずれか1項に記載の画像センサ。
【請求項14】
前記出力回路(15)は、隣接ピクセルにおける前記比較回路(14)の比較結果に応じて出力を生成するように構成されるか、または
前記出力回路(15)は、固定構成または動作中に変更される構成において隣接ピクセルの関数に応じて出力を生成するように構成され、好ましくは、前記関数は平均関数であり、および/または
前記出力回路(15)は、前記比較の変化率が或る特定のしきい値を超えている場合、出力を生成するように構成される、請求項1から13のいずれか1項に記載の画像センサ。
【請求項15】
a)前記出力回路(15)は、隣接ピクセルにおける出力に応じて出力を生成するように構成されるか、または
b)前記出力回路(15)は、隣接ピクセルにおける前記記憶されたレベルに応じて出力を生成するように構成されるか、または
c)前記出力回路(15)は、複数の記憶された値に応じて出力を生成するように構成される、請求項1から14のいずれか1項に記載の画像センサ。
【請求項16】
a)前記出力回路(15)は、前記変更されたレベルの方向を示すイベント出力を生成するように構成され、および/または
b)前記出力回路(15)は、1つの方向において変更されたレベルのみを示すイベント出力を生成するように構成され、および/または
c)前記出力回路(15)は、前記変更されたレベルの大きさを示すイベント出力を生成するように構成され、および/または
d)前記出力回路(15)は、前記変更されたレベルの前および/または後の照明強度を示すイベント出力を生成するように構成される、請求項1から15のいずれか1項に記載の画像センサ。
【請求項17】
a)前記デジタル記憶回路(13)は、前記ピクセルの配列の出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および/または
b)前記デジタル記憶回路(13)は、イベント出力を有するピクセルについて選択的に前記ピクセルの配列の前記出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および/または
c)前記デジタル記憶回路(13)は、イベント列ラインを用いて前記出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および/または
d)前記デジタル記憶回路(13)は、前記記憶されたデジタル表現を前記ピクセルに書き込むように構成され、および/または
e)前記デジタル記憶回路(13)は、データストリームからの前記記憶されたデジタル表現を書き込むように構成され、および/または
f)前記デジタル記憶回路(13)は、イベントストリームであるデータストリームからの前記記憶されたデジタル表現を書き込むように構成される、請求項1から16のいずれか1項に記載の画像センサ。
【請求項18】
前記A/D回路(12)は、前記記憶されたデジタルレベル、または隣接ピクセルの前記記憶されたデジタルレベルからフィードバックを受信し、前記フィードバックに応じ
て出力信号を調整するように構成される、請求項1から17のいずれか1項に記載の画像センサ。
【請求項19】
前記センサ回路(11)は、VSIGのアナログ表現を提供するように構成され、および/または
前記画像センサは、複数の半導体層から構築され、各レベルは前記層の機能について最適化される、請求項1から18のいずれか1項に記載の画像センサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のピクセル回路を備えた画像センサに関する。
【背景技術】
【0002】
ピクセルごとに、またはピクセルの小さなサブセットごとに1つのADCを有する画像センサがよく知られている。これらは、通常、大きな処理がピクセルにおいて実行される用途(例えば、X線粒子軌道トレースまたは衛星撮像)において用いられる。
【0003】
各ピクセルが比較器を含むシングルスロープADCを有する画像センサが知られている。例えば、Reckleben他、2015、Suarez他、2010およびChi他、2010である。特に、Suarez他は、ピクセル配列について大域的にアナログスロープおよびデジタルコードを生成し、デジタルコードをピクセルに提供する。
【0004】
デジタル値がピクセル内に記憶され、イベント変更データを作成するためにサンプル間で比較される画像センサは知られていない。本発明は、高分解能でおよびコストが最適化されたセンサを生成する、面積が最適化されたスモールピクセル構造を可能にする。
【0005】
以前の照明レベルの表現がピクセルにデジタルで記憶され、サンプル間でイベント変更データを生成するために比較される画像センサがWO2014/174498A1から知られている一方で、Itoh他「4-Layer 3-D IC with a function of parallel signal processing」Microelectronic engineering、15巻、1~4号、1991、187~190頁は、固定レベルに対する単純なシングルビットピクセル比較を用いた概念的に関連する構造を以前に提案している。
【0006】
アナログ領域における画像ピクセルレベル変化の検出、記憶および比較を用いたイベント生成を用いる画像センサ、例えば、Chi他「CMOS Camera With In-Pixel Temporal Change Detection and ADC」IEEE Journal of Solid-State Circuits、42巻、10号、2007、2187~2196頁が知られている。アナログ領域における比較および記憶により、デジタル手法を上回る利点(例えば、コンパクトな実現)および欠点(例えば、「ホットピクセル」を含む漸進的な記憶劣化、不一致に対する感度、光対電気変換機能の低減された柔軟性)がもたらされる。
【0007】
ピクセル間で回路部を共有する画像センサがよく知られている。例えば、KR2020-0029328Aである。
【0008】
ストロボ効果の使用は、外乱(望ましくない信号)の期間にわたって平均または同期することによる高調波の抑制と共に一般的に知られている。例えば、米国特許出願公開第2015/358570号である。ここで、可変光源を検出し、これに同期し、次に光源に対する応答を抑制するための技法がカメラに適用されている。
【0009】
WO2020/080383A1は、隣接ピクセルのイベントステータス(単一ビット)に基づいて、1つのピクセルからのイベントを無視するためのフィルタを用いたイベントベースの動的ビジョンセンサを開示している。
【0010】
T. Delbruck「Frame-free dynamic desital vision」Proceedings of the International Conference on Secure Life Electronics、Advanced Electronics for Quality Life and Society、2008、21~26頁は、ピクセルの最後のイベントのタイムスタンプ、または隣接ピクセルのタイムスタンプに基づいて動的ビジョンセンサからのイベントをフィルタリングすることを開示している。この処理は、計算集約的な方式で(32ビットタイムスタンプ)、ピクセルアレイの外側で、後続のフィルタリングのためにアレイからイベントを送信することを必要として行われる。
【0011】
EP3 313 064 A1は、アナログ記憶動的ビジョンセンサを開示している。ここで、1つの比較器入力は、ピクセル照明の以前の値の表現であり、これは後に比較のために用いられる。これは、デジタルイベント出力が生成されるときに可能にされる(サンプリングされる)アナログ比較器の後続の関数を制御するための以前のレベルからのアナログフィードバックとみなすことができる。
【0012】
EP2 933 995 A1は、しきい値未満の動作におけるトランジスタを用いた動的ビジョンセンサの標準的なアナログ記憶の実施における不良な不一致の課題に対処する。このトランジスタモードにおける動作は、限られた範囲にわたってのみ正しく機能するため、満足のいく動作を得るために、アレイ全体の取得回路のアナログ部分への大域アナログフィードバックを用いる。
【発明の概要】
【課題を解決するための手段】
【0013】
ピクセル内の以前の照明強度の表現のデジタル記憶を有する改善されたピクセル回路を備えるデルタ回路センサが必要とされている場合がある。
【0014】
そのような需要は、独立請求項の主題によって満たされる。有利な実施形態は、従属請求項において定義される。
【0015】
本発明の実施形態の基礎をなす着想は、中でも以下の観測および認識に基づいているものとして解釈することができる。
【0016】
CMOS(相補型金属酸化膜シリコン)画像センサは、特殊化されたプロセスで大量に最適化された製造工場プロセスにおいて製造される。CMOSデジタル論理デバイスは、大量の最適化された製造工場プロセスにおいて製造される。双方のプロセスの密度は、特に論理プロセスの密度を増大させている。密度の増大により、画像センサにおけるピクセル回路に関係するデジタル複雑度が増大することになる。
【0017】
ピクセル回路における以前のレベルのデジタル記憶は、記憶の忠実性および記憶されたレベルの後続の処理において利点を有する。
【0018】
レベルの局所的処理は、冗長データの伝播および処理が限られているため、電力および面積における効率性の利点を有する。
【0019】
本発明は、デジタル変換および記憶が、ピクセル回路において、時間および場所にわたる差分の局所的評価、ならびにイベント情報の準備および伝播と組み合わされる構造および方法を開示する。
【0020】
本発明は、独立請求項において定義される。従属請求項は、その好ましい実施形態を記載する。
【0021】
本発明は、ピクセルの配列と、少なくとも1つのピクセルに対応し、集積回路の一部として形成される複数の取得回路とを備えるデルタ画像センサに関する。各取得回路は、少なくとも1つのピクセルのフォトセンサを照明する光信号に応じて、センサ信号(VSIG)を生成するように構成されたフォトセンサを備える少なくとも1つのセンサ回路と、現在のVSIGに対応するデジタル表現を生成するように構成された少なくとも1つのアナログ/デジタル変換回路とを備える。少なくとも1つのデジタル記憶回路は、少なくとも1つの以前のVSIGの表現を記憶するように構成される。少なくとも1つのデジタル比較回路は、記憶された表現のレベルを現在のVSIGと比較して、変更されたレベルが存在するかどうかを検出するように構成される。少なくとも1つのデジタル出力回路は、変更されたレベルの条件下でイベント出力を生成するように構成される。センサ回路は、それぞれの変更されたVSIGを生成するためにその読み出し特性のアナログ機能を変更するように構成される。
【0022】
様々な実施形態は、好ましくは、以下の特徴を実施することができる。
少なくとも1つのセンサ回路は、アナログ機能の修正をデジタル制御するためのデジタル制御信号を受信するように構成することができる。
【0023】
好ましくは、デジタル制御信号は、取得回路のデジタル部分内で局所的に記憶および/または計算されたデジタル値によって提供される。
【0024】
アナログ機能のデジタル制御は、少なくとも1つのそれぞれのピクセル内のヒステリシス機能を提供することができる。
【0025】
アナログ機能のデジタル制御は、少なくとも1つのピクセルグループにわたるヒステリシス機能を提供することができる。
【0026】
センサ回路は、記憶されたデジタルレベル、または隣接ピクセルの記憶されたデジタルレベルに対応するデジタル記憶回路からのフィードバックを受信するように構成することができ、センサ回路はフィードバックに応じてVSIGを生成するように構成することができる。
【0027】
各取得回路は、集積回路または集積回路の一部として形成することができる。取得回路は、本明細書全体を通じてピクセル回路と呼ぶこともできる。少なくとも1つのセンサ回路は、センサ信号を連続的にまたは周期的に生成することができる。アナログ/デジタル変換回路は、現在のVSIGをデジタル信号に変換することができる。したがって、デジタル記憶回路は、以前のVSIGに対応する少なくとも1つのデジタル信号の表現を記憶するように構成することができる。現在のおよび以前のVSIGのデジタル表現は、少なくとも1つのデジタル比較回路によって比較することができる。以前のVSIG、またはVSIGのデジタル表現はそれぞれ、任意の以前のサンプル期間において生成され、デジタル記憶回路に記憶された信号に対応することができる。これは、外部から提供し、基準信号として記憶することもできる。また、デルタ画像センサからのイベント出力を出力するために、少なくとも1つのイベント出力ラインを回路に含めることができる。少なくとも1つのイベント出力ラインは、複数のデジタル出力回路によって共有することもできる。
【0028】
好ましくは、各取得回路は、少なくとも2つのピクセル間で共有し、好ましくは、ピクセルが互いに隣接する。
【0029】
好ましくは、センサ回路は、以下の関係性のうちの1つに基づいてVSIGを生成するように構成される。
a)光強度に対する線形依存性、
b)光強度に対する非線形の、好ましくは対数の依存性、および
c)光強度に対する非線形および線形依存性の組み合わせであり、
好ましくは、関係は制御信号に応答して変更可能である。
【0030】
制御信号は、ピクセルのアレイおよび取得回路の外側から提供されもよい。アレイ全体について1つの制御信号が存在してもよく、またはよりターゲットを絞っていてもよい。
【0031】
好ましくは、センサ回路は、動作中に制御信号に応答して、好ましくは時折、光強度に対するVSIGの依存性を変更するように構成され、および/またはセンサ回路は、少なくとも1つのピクセルまたはピクセルのサブセットについて個々に、動作中に制御信号に応答して光強度に対するVSIGの依存性を変更するように構成される。
【0032】
時折の制御信号の変化は、大域光強度または動作モードの変化に起因する。時折の制御信号の変化を生成するための別個の回路が提供されてもよい。
【0033】
画像センサは、好ましくは、以下の特徴を更に実施することができる。
a)アナログ/デジタル変換回路は、VSIGを、以下の掃引信号、すなわち、
aa)掃引アナログ入力信号、および
ab)連続掃引アナログ入力信号であって、ここで、掃引アナログ信号の各々が異なる差分関数を提供する、連続掃引アナログ入力信号、
のうちの1つと比較するように構成された比較器を備え、
好ましくは、入力信号は複数の変換回路に提供され、および/または、
b)アナログ/デジタル変換回路は、少なくとも1つのピクセルに、掃引アナログ信号に並列して少なくとも1つのデジタルコードを提供するように更に構成することができ、
ba)好ましくは、デジタルコードはグレーコード化デジタル信号であり、
bb)好ましくは、アナログ掃引信号とデジタルコードとの間の関係は、記憶ランプと比較ランプとの間で変更される。
【0034】
さらに、
a)掃引信号は線形ランプとすることができるか、または
b)掃引信号は非線形ランプとすることができるか、または
c)掃引信号は動作中に変更することができ、および/または
d)掃引信号の期間は動作中に変更することができ、および/または
e)掃引信号のリピートは、動作中に短期間または長期間にわたって中断することができ、および/または
f)掃引信号のリピートレートは、好ましくはイベント出力を増大または抑制するように、フォトセンサを照明する光信号の光源変調に一致する1つまたは複数のリピートレートから選択することができる。
【0035】
特に、上記の項目f)から、好ましくは、ターゲット、例えば所与の周波数を有する光源に対する応答を増大させるかもしくは抑制し、または所与の周波数を有する外乱に対する応答を抑制するために、フォトセンサを照明する光信号の光源変調に一致する1つまたは複数のリピートレートから掃引信号のリピートレートを選択することができる。
【0036】
好ましくは、画像センサは、掃引ランプ制限を設定するように構成された少なくとも1つの基準ピクセルを更に備え、好ましくは、少なくとも1つの基準ピクセルは、ピクセルの配列の外側に位置決めされ、および/または好ましくは、少なくとも1つの基準ピクセルは基準条件下で付勢される。
【0037】
好ましくは、デジタル比較回路は、アナログ信号の掃引中に記憶されたレベルとの比較を行うように構成されるか、またはデジタル比較回路は、アナログ信号の掃引後に記憶されたレベルとの比較を行うように構成される。
【0038】
「アナログ信号の掃引中」および「掃引アナログ信号の間」は同じプロセスを示すことができる。
【0039】
特に、比較がアナログ信号の掃引中に行われる場合、A/D出力値は、記憶される必要がなく、比較結果のみでよい。この結果、メモリ要件が少なくなるが、比較が多くなる。比較がアナログ信号の掃引後に行われる場合、A/D出力値は、記憶される必要がない。これにより、メモリ要件が増大するが、必要な比較数が低減する。
【0040】
好ましくは、
a)デジタル比較回路は、ピクセル回路における静的ロジックを用いて比較を行うように構成されるか、または
b)デジタル比較回路は、ピクセル回路における動的ロジックを用いて比較を行うように構成され、および/または
c)デジタル比較回路は、ヒステリシスとの比較を行うように構成され、および/または
d)デジタル比較回路は、動作時に時折変更される差分を要する比較を行うように構成される。
【0041】
好ましくは、出力回路は、隣接ピクセルにおける比較回路の比較結果に応じて出力を生成するように構成されるか、または出力回路は、固定構成または動作中に変更される構成において隣接ピクセルの関数に応じて出力を生成するように構成され、好ましくは、関数は平均関数であり、および/または出力回路は、比較の変化率が或る特定のしきい値を超えている場合、出力を生成するように構成される。
【0042】
好ましくは、
a)出力回路は、隣接ピクセルにおける出力に応じて出力を生成するように構成されるか、または
b)出力回路は、隣接ピクセルにおける記憶されたレベルに応じて出力を生成するように構成されるか、または
c)出力回路は、複数の記憶された値に応じて出力を生成するように構成される。
【0043】
好ましくは、
a)出力回路は、変更されたレベルの方向を示すイベント出力を生成するように構成され、および/または
b)出力回路は、1つの方向において変更されたレベルのみを示すイベント出力を生成するように構成され、および/または
c)出力回路は、変更されたレベルの大きさを示すイベント出力を生成するように構成され、および/または
d)出力回路は、変更されたレベルの前および/または後の照明強度を示すイベント出力を生成するように構成される。
【0044】
好ましくは、
a)デジタル記憶回路は、ピクセルの配列の出力ラインにおいて記憶されたデジタル表現を提供するように構成され、および/または
b)デジタル記憶回路は、イベント出力を有するピクセルについて選択的にピクセルの配列の出力ラインにおいて記憶されたデジタル表現を提供するように構成され、および/または
c)デジタル記憶回路は、イベント列ラインを用いて出力ラインにおいて記憶されたデジタル表現を提供するように構成され、および/または
d)デジタル記憶回路は、記憶されたデジタル表現をピクセルに書き込むように構成され、および/または
e)デジタル記憶回路は、データストリームからの記憶されたデジタル表現を書き込むように構成され、および/または
f)デジタル記憶回路は、イベントストリームであるデータストリームからの記憶されたデジタル表現を書き込むように構成される。
【0045】
出力ラインは、単数または複数で提供することができる。出力ラインは、出力回路間で共有することもできる。出力回路も提供することができる。
【0046】
さらに、取得回路に記憶されたデジタル表現は、アレイの外側から書くこともできる。以前の出力は、回路のための変化する基準を提供するために、記憶されたピクセルデジタルレベルに書き戻すことができる。次に、回路は、基準に対する変化のみを報告する。通常、画像データは全てのピクセルを表す。しかしながら、イベントストリームは変化のみを含み、したがってより少ないデータを含む。したがって、イベントストリームを書き戻すことによりデータレートの低下が可能である。
【0047】
好ましくは、A/D回路は、記憶されたデジタルレベル、または隣接ピクセルの記憶されたデジタルレベルからフィードバックを受信することができ、フィードバックに応じて出力信号を調整するように構成することができる。
【0048】
好ましくは、センサ回路はVSIGを提供するように構成され、および/または画像センサは複数の半導体層から構築され、各レベルはその層の機能について最適化される。
【0049】
特に、VSIGのアナログ表現またはアナログレベルを提供し、回路またはアレイから直接読み出すことができる。
【0050】
取得回路のグループは、単数または複数の共通のイベント出力ラインに接続することができる。
【0051】
取得回路のグループは、以下の回路要素、すなわち、(a)デジタル出力回路、(b)デジタル比較回路、(c)更なるデジタル記憶回路、(d)更なるアナログ/デジタル変換回路、のうちの少なくとも1つを共有することができる。図面は代表的なものであり、共有要素の他の組み合わせは排除されない。
【0052】
本開示は、掃引アナログ信号およびデジタルコードを用いた比較器を用いるアナログ/デジタル変換の実施も包含することができる。
【0053】
本発明は、上記で特定したItoh他に開示されていないマルチシリコン層デバイスにおけるイベント生成を提供する。
【0054】
画像センサ内のピクセル間の共有回路部(例えば、KR2020-0029328A)は、密なピクセルアレイおよび高いピクセル分解能を生成するために画像センサ設計において重大である。本発明は、性能劣化を伴うことなく、ピクセル間のリソース共有に特に適したデジタル記憶およびイベント計算を時系列方式で用いる。
【0055】
さらに、本発明は、米国特許出願公開第2015/358570号によって開示された技法の使用を、動的ビジョンセンサに拡張する。ここで、デジタル記憶、および大域タイミングを用いた処理の使用が効果的であり、生成されるイベントの数の低減における影響が、電力消費および後続の処理にとって重要である。
【0056】
ピクセル内デジタル記憶によって可能にされる本発明は、隣接ピクセルに記憶されるデジタルレベル(複数ビット)に基づいてイベントを選択的に生成することができる。この選択的フィルタリングの特定の構成を用いて、WO2020/080383A1によって開示されたシングルビットフィルタリングと同じ結果を達成することができる。
【0057】
加えて、例えば上記で特定したT. Delbruckとの比較において、本発明は、タイムスタンプ複雑性の低減のためのA/D変換技法に起因して本質的時間基準を有し、更なる送信を伴うことなくイベントの局所的なデジタルの時間的フィルタリングを可能にする。
【0058】
本発明は、記憶されたデジタルレベルまたはイベント出力に基づいてアナログ回路パラメータを変調する。なぜなら、このフィードバックは、上記で説明したEP 3 313 064 A1の開示と異なるデジタル制御下でスイッチを用いて効果的に実現される(表面積)ためである。
【0059】
上記で説明したEP 2 933 995 A1との比較において、本発明は、局所的に記憶されたピクセルデジタルレベルまたはイベント出力に基づいたアナログ回路パラメータの変調を提案する。なぜなら、このフィードバックは、デジタル制御下でスイッチを用いて効果的に実現される(表面積)ためである。これは、機能(ピクセルに局所的)、実施(デジタル制御)および目的においてEP 2 933 995 A1と異なる。
【0060】
本発明は、デジタルピクセル内変換およびストレージの利点を用いて高分解能でコストが最適化されたセンサを生成する、面積が最適化された(スモール)ピクセル構造を可能にする。
【0061】
本発明は、図面を参照して更に説明される。
図1~
図4は、本発明の例示的な実施形態を示す。
【図面の簡単な説明】
【0062】
【
図1】本発明によるデルタ画像センサの第1の例示的な構成を概略的に示す。
【
図2】本発明によるデルタ画像センサの更なる例示的な構成を概略的に示し、
図2aはイベント生成回路の共有を示し、
図2bはイベント生成回路およびデジタル比較回路の共有を示し、
図2cは、イベント生成回路、デジタル比較回路およびデジタル記憶回路の共有を示し、
図2dは、イベント生成回路、デジタル比較回路、デジタル記憶回路およびA/D変換回路の共有を示す。
【
図3】アナログ(VSIG)からデジタルへの表現の変換が、ピクセル回路における比較器を用いて行われ、アナログ掃引信号がピクセル回路に適用される、例示的な実施形態を示す。
【
図4】本発明によるデルタ画像センサの更なる例示的な構成を概略的に示す。
【発明を実施するための形態】
【0063】
図面において、同じ参照符号は、同じまたは類似の構成要素を表す。したがって、冗長な説明は省かれる。
【0064】
図1は、本発明による第1の例示的な構成を概略的に示す。画像センサとも呼ばれるデルタ画像センサは、ピクセルの配列と、少なくとも1つの取得回路(1)とを備える。取得回路(1)は、ピクセル回路とも呼ばれる。回路は、集積回路の一部として形成される。各ピクセルの取得回路(1)は、少なくとも1つのピクセルのフォトセンサを照明する光信号または照明強度に応じてセンサ信号(VSIG)を生成するフォトセンサを含む少なくとも1つのセンサ回路(11)と、少なくとも1つのアナログ/デジタル変換回路(12、A/D変換器)とを備える。デジタル変換回路(12)は、センサ回路(11)の出力に接続することができる。少なくとも1つのデジタル記憶回路(13)は、以前のVSIGに対応する少なくとも1つのデジタル信号の表現を記憶するように構成される。デジタル記憶回路(13)は、A/D変換器(12)の出力に接続することができる。少なくとも1つのデジタル比較回路(14)は、記憶された表現のレベルを現在のVSIGと比較して、変更されたレベルが存在するかどうかを検出するように構成される。デジタル比較回路(14)は、デジタル記憶回路(13)の出力およびA/D変換器(12)の出力に接続することができる。少なくとも1つのデジタル出力回路(15)またはデジタルイベント生成回路は、変更されたレベルの条件下でイベント出力を生成するように構成される。出力回路(15)は、デジタル比較回路(14)の出力に接続することができる。
【0065】
少なくとも1つのイベント出力ライン(16)は、デルタ画像センサからのイベント出力を出力するために、ピクセル回路(1)内に含めるかまたはピクセル回路(1)外にあることができる。少なくとも1つのイベント出力ライン(16)は、複数のデジタル出力回路(15)によって共有することもできる。
【0066】
この第1の例示的なピクセル構成は、或る間隔にわたって変更された照明強度の検出を可能にする。デジタル比較回路(14)が記憶された信号のデジタル表現と、或る間隔後のデジタル表現との差分を検出し、この差分が所与の判断基準を満たす場合、イベントが生成され、変化の事実が、画像センサの出力においてイベント情報として報告される。
【0067】
レベルのデジタル記憶は、(i)記憶されるレベルが時間と共に劣化せず、(ii)記憶回路(13)を物理的により小さくすることができ、(iii)値を隣接セルにおいて容易に用いることができ、(iv)値を他のピクセルまたは以前の値との組み合わせ機能の実現のためにより柔軟に用いることができるため、幅広い用途で優先され得る。
【0068】
図2に示すように、更なる例示的な構成において、ピクセル回路の一部は、ピクセルのサブセット間で共有される。このとき、共有要素の使用は時系列で行われる。
【0069】
図2aはイベント生成回路(15)の共有を示し、
図2bはイベント生成回路(15)およびデジタル比較回路(14)の共有を示し、
図2cは、イベント生成回路(15)、デジタル比較回路(14)およびデジタル記憶回路(13)の共有を示し、
図2dは、イベント生成回路(15)、デジタル比較回路(14)、デジタル記憶回路(13)およびA/D変換回路(13)の共有を示す。
【0070】
他の共有構成が可能であり、上記のリストはこれらの可能性を排除しないことに留意されたい。異なる機能を異なる程度まで、例えばA/D変換回路(12)を4ピクセルにわたって、およびイベント生成回路(15)を16ピクセルにわたって共有することも可能である。他の構成も有利であり得る。
【0071】
本発明の1つの例示的な実施形態は、光照明強度信号を、線形関係を用いてアナログ電気信号に変換する。この実施形態は、フォトダイオードモードにおける電荷を統合し、画像捕捉用途について最適化された市販の標準セルを用いる低い光照明レベルにおいて有利である。
【0072】
本発明の更なる例示的な実施形態は、光照明強度信号を、対数関係を用いてアナログ電気信号に変換する。この実施形態は、出力アナログ信号が広範にわたる照明強度にわたって飽和しないため、ハイダイナミックレンジの光照明信号で有利である。
【0073】
本発明の更なる例示的な実施形態は、線形および対数関数、または類似の非線形関数の組み合わせを応答曲線として用いた変換の組み合わせを用いる。この実施形態は、良好な低光照明性能およびハイダイナミックレンジの双方を可能にするために有利である。第1の実施形態は、固定の構成を組み合わせた機能と共に用いる。
【0074】
更なる例示的な実施形態は、応答曲線がピクセルの完全な配列について動作中に変更されるような構成を可能にする。これは、好ましくは、画像センサアプリケーションの大域照明条件または動作モードに応じて実行される。
【0075】
更なる実施形態は、応答曲線がピクセルのサブセットについて独立して動作中に変更されるような構成を可能にする。これは、好ましくは、画像センサアプリケーションの局所的照明条件または注意の集中に応じて実行される。
【0076】
1つの例示的な実施形態において、
図3によれば、アナログ(VSIG)からデジタルへの表現の変換が、ピクセル回路(1)における比較器およびピクセル回路に適用されるアナログ掃引信号を用いて行われる。比較器出力が切り替わるポイントに応じて、デジタル表現がデジタル記憶回路(13)にコピーされる。
【0077】
導出される実施形態において、アナログ掃引信号は線形ランプであるが、更なる実施形態において、アナログ掃引信号は非線形ランプ、例えば対数ランプである。
【0078】
掃引信号は集中型で生成することができるため、非線形ランプの実施が有利である。なぜなら、この回路の追加の複雑度は、デバイスにおいて一度しか必要とされず、(i)面積の節減、および(ii)全てのピクセルについて整合した機能がもたらされるためである。
【0079】
特に、ランプの変更を用いて、センサ回路(11)における非理想性、または温度もしくは他の環境条件にわたる変動を補償することができる。
【0080】
特に、変更は、アナログ手段またはデジタル手段によって行うことができる。
特に、変更は、デバイスにおけるテストセルを参照して行うことができる。この実施は、テストセルにおいて反映される非理想性の補償が自動であるため、有利である。
【0081】
1つの例示的な実施形態において、同じアナログ掃引ランプが全体ピクセル配列と同時に提供される。導出される実施形態において、異なるアナログ掃引ランプが配列のサブセットに適用される。
【0082】
センサ回路(11)の特性がピクセル配列にわたって変動し(計画的なセル変動またはプロセスもしくは光学構成に起因したもの)、この変動が様々なランプの提供により補償される場合、様々なランプの使用が有利である。
【0083】
更なる実施形態において、アナログ掃引ランプは、動作中に時折、画像センサの動作モードに従って変更される。
【0084】
1つの例示的な実施形態において、変化するデジタルコードは、アナログランプと同時に提供される。デジタル記憶回路(13)に記憶されるデジタルコードは、比較器出力が切り替わるときのデジタルコードの値である。第1の実施形態において、コードはバイナリコードである。
【0085】
導出される実施形態において、デジタルコードはグレーコードである。グレーコードは、(i)一度に1つのエッジのみが変化し、エッジの両側のコードが有効であるため、デジタル記憶との同期が必要とされず、(ii)グレーコードが、サイクルにわたってより少ないエッジを有し、電力消費が低減されるため、有利である。
【0086】
導出される実施形態において、アナログおよびデジタルコード掃引は、記憶および比較掃引、または複数の比較掃引に順次分離される。アナログ信号レベルとデジタルコードとの間の関係は、基準と比較掃引との間で変動する。この手法は、より単純なデジタル比較ロジックがピクセルにおいて必要とされるため、有利である。これにより、必要とされる面積を低減することができる。
【0087】
導出される実施形態において、ピクセルの異なるサブセットについて、アナログ掃引レベルとデジタルコードとの間の異なる関係が生成される。
【0088】
この手法は、デジタルコードが(i)計算において、または(ii)デジタル回路とのタイミングにおいて、のいずれかで変動することができるため、有利である。これにより、複数のアナログランプの生成を上回る面積節減、および改善された柔軟性をもたらし、ピクセルの配列のサブセットの機能の補償または変更を可能にする。
【0089】
1つの例示的な実施形態において、記憶されたレベルと現在のレベルとの間のデジタル比較は、アナログ掃引中に連続して行われる。比較結果は、アナログ比較出力とデジタル比較との切り替えのタイミングに関係する。この実施形態において、ヒステリシス、または異なるイベント生成しきい値の実施は、相対的タイミングに基づいて行われる。
【0090】
1つの例示的な実施形態において、タイミングにおける変動は、クロックに基づいて生成される。更なる例示的な実施形態において、変動は、ピクセル回路内のタイマ回路により生成される。
【0091】
更なる例示的な実施形態において、記憶されたレベルと現在のレベルとの間のデジタル比較は、アナログ電圧掃引に後続して行われる。この実施形態は、ロジックが、連続した、例えばビット単位の要素を繰返し用いることができ、シリコン面積節減をもたらす場合に有利である。
【0092】
1つの例示的な実施形態において、連続ロジックは静的ロジックを用いて実行される。
更なる例示的な実施形態において、連続ロジックは動的ロジックを用いて実行される。
導出される実施形態において、デジタル比較は、以前の結果からのフィードバックを用いて行われる。これは通常、比較においてヒステリシスを実施するのに用いられ、ノイズの抑制およびスプリアスイベントの低減において有利である。
【0093】
導出される実施形態において、デジタル比較およびイベント生成は、イベントを生成するために異なる差分(>1)を必要として実行される。これは、(i)イベント数を低減するか、または(ii)イベントの生成の分解能を改善するために有利であり得る。
【0094】
必要とされる差分は、(i)信号レベル、(ii)動作モード、例えば関心領域、(iii)隣接ピクセルレベル、(iv)ピクセルの以前のレベル、(v)ピクセルの以前のイベント、(vi)隣接ピクセルのイベント、に依存することができる。
【0095】
導出される実施形態において、或る特定のレート未満のイベント生成レートはピクセル回路内で抑制される。これは、この情報が、後続の画像処理にとってより有用でなく、イベント抑制により電力および処理要件が低減するため、有利である。
【0096】
1つの例示的な実施形態において、イベント生成のためのデジタル条件は、隣接ピクセル回路のイベント生成に依存する。この動作は、例えば、スプリアスイベントの数を低減するためのイベントのフィルタリングを可能にする。
【0097】
1つの例示的な実施形態において、イベント生成のためのデジタル条件は、隣接ピクセル回路の記憶されるレベルに依存する。この動作は、例えば、エッジ付近の増大した感度を提供するためのイベントのフィルタリングを可能にする。
【0098】
1つの例示的な実施形態において、イベント生成のためのデジタル条件は、ピクセル回路の複数の記憶されたレベルに依存する。この動作は、例えば、スプリアスイベントの数を低減するためのアナログノイズのフィルタリングを可能にする。
【0099】
1つの例示的な実施形態において、サンプルレートは、外乱光源のフリッカ周波数と同期するように選択される。これは、この光源に起因したイベントの抑制を可能にするため、有利である。
【0100】
1つの例示的な実施形態において、イベント出力は、単一のイベントビット、例えばアップイベント、イベントなしである。換言すれば、アップイベントは、光強度の増大に対応する。
【0101】
更なる実施形態において、イベント出力は、2ビット、例えばアップおよびダウンである。換言すれば、イベント出力は、光強度またはセンサ信号VSIGが、記憶された光強度レベルまたは記憶されたVSIGよりも大きいかまたは小さいかを示すことができる。
【0102】
更なる例示的な実施形態において、イベント出力は、変化の大きさのデジタル表現を含む。この実施形態は、イベント情報からの画像の完全な再構成を可能にするため、有利である。
【0103】
更なる例示的な実施形態において、イベント出力は、変化の前および/または後の照明強度表現を含む。1つの実施形態において、ピクセルアレイ内に記憶された値のレベルを読み出すことが更に可能である。
【0104】
導出される実施形態において、ターゲットエリアからデジタル記憶された値は、選択的に、すなわちランダムアクセスにより読み出される。
【0105】
更なる実施形態において、デジタルレベルは、既存の共通イベント出力ラインを介して読み出される。1つの実施形態において、記憶されたデジタルレベルは、比較のための新たなまたは意図的に修正された基準を提供するためにピクセルの配列に書き込むことができる。導出される実施形態において、データのストリームは、イベント生成のための時間に依存した基準を意図的に提供するために記憶されたデジタルレベルに書き込まれる。
【0106】
関連する導出される実施形態において、データのストリームは、センサによって通常生成されるものに類似したイベントストリームである。
【0107】
1つの実施形態において、センサ回路(11)は、そのピクセルのVSIGレベルを調整するために、記憶されたデジタルレベル、または隣接ピクセルの記憶されたデジタルレベルからのフィードバックを有する。この実施形態は、最小表面積において、例えばヒステリシス機能を実現するために有利であり得る。
【0108】
図4a~
図4cを参照すると、デジタルトランジスタ制御が、MOSスイッチとして実施され、制御信号に高い耐ノイズ性を提供する。デジタル制御信号の記憶は、耐劣化性である。スイッチとしての構成により、明確に定義された大域信号(例えば、電流または電圧)の適用が可能になり、局所的な面積が重視されるスイッチの性能に対する緩和された耐性(高い不一致が受容可能である)を有する明確に定義された局所的効果がもたらされる。最小面積は、画像センサピクセルにおける集積に特に重要である。
【0109】
本発明のイベントのデジタル記憶および局所的デジタル計算は、読み出し回路のアナログ機能のデジタル制御(変調)の基礎を提供する。
【0110】
特に、例示的なアナログピクセル回路における代表的なスイッチ(通常、MOS)は、信号vgの大域制御下で局所トランジスタQによって生成される電流を切り換える例を示し、
図4aは、デジタル記憶回路に接続されているデジタルスイッチ局所制御を示し、
図4bは、デジタル比較回路に接続されているデジタルスイッチ局所制御を示し、
図4cは、デジタルイベント生成回路に接続されたデジタルスイッチ局所制御を示す。
【0111】
すなわち、実施形態において、デジタルスイッチ局所制御は、
図4aに示すように、デジタル記憶回路によって提供することができる。
【0112】
実施形態において、デジタルスイッチ局所制御は、
図4bに示すように、デジタル比較回路によって提供することができる。
【0113】
実施形態において、デジタルスイッチ局所制御は、
図4cに示すように、デジタルイベント生成回路によって提供することができる。
【0114】
1つの例示的な実施形態において、比較器回路は、比較器の機能を調整する、通常はオフセットを追加するために、記憶されたデジタルレベルまたは隣接ピクセルの記憶されたデジタルレベルからのフィードバックを有する。この実施形態は、最小表面積において、例えばヒステリシス機能を実現するために有利であり得る。
【0115】
1つの例示的な実施形態において、サンプルレートは、動作時に時折、電気的に構成可能であるかまたは電気的に変更される。
【0116】
電力消費およびイベント生成レートは、サンプルレートに依存することができる。サンプルレートを低減することによって、静かな条件下で非常に低い電力モードが可能になる。さらに、低いサンプルレートを、センサ回路(11)挙動の統合と組み合わせることにより、低い光条件における動作が可能になる。
【0117】
1つの例示的な実施形態において、サンプリングは、長期間にわたって完全に中断される。
【0118】
電力消費およびイベント生成レートは、サンプルレートに依存することができる。サンプリングを或る期間、例えば、1秒中断することによって、非常に低電力の動作が可能になるが、デジタル記憶に起因して、記録される画像の忠実性が保たれる。
【0119】
1つの例示的な実施形態において、アナログ信号レベル(VSIG)をピクセル配列から読み出すことができる。この実施形態は、共通イベント列ラインを用いて実現することができる。
【0120】
1つの例示的な実施形態において、画像センサは、複数の半導体層から構築され、ここで、各レベルの半導体プロセスタイプは、その層の機能について最適化される。この実施は、半導体プロセスの機能の最適化が、(i)性能の改善、(ii)シリコン面積の低減、および後続する(ii)a)デバイスサイズおよび(ii)b)デバイスコストの低減を可能にするため、有利である。変更された物理的構造により、(i)曲線因子、(ii)量子効率について光学性能が改善し、制御信号ラインとフォトセンサ回路との間の電気的外乱が低減する。
【0121】
複数のピクセルは、通常、「行」および「列」を有する2次元グリッドで編成される。「行」および「列」の定義は、本発明に影響を及ぼすことなく交換可能であることに留意されたい。また、本発明の適用可能性に影響を及ぼすことなく、2次元グリッドにマッピングする他の幾何学的構成も可能であることにも留意されたい。
【0122】
最後的に、「comprising(備える、含む)」という用語は、他の要素またはステップを除外するものではなく、「a」または「an」は複数を除外しないことに留意されたい。また、異なる実施形態と関連付けて記載した要素を組み合わせてもよい。特許請求の範囲における参照符号は、特許請求の範囲の適用範囲を限定するものと解釈されるべきでないことにも留意されたい。