特表 2023-532258 外部から書き込み可能なデジタルピクセル記憶を用いたデルタ画像センサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-27

(54)【発明の名称】外部から書き込み可能なデジタルピクセル記憶を用いたデルタ画像センサ

(51)【国際特許分類】

   H04N 25/707 20230101AFI20230720BHJP

   H04N 25/77 20230101ALI20230720BHJP

【ＦＩ】

H04N25/707

H04N25/77

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022579872

(86)(22)【出願日】2021-06-24

(85)【翻訳文提出日】2022-12-22

(86)【国際出願番号】 EP2021067359

(87)【国際公開番号】W WO2021260116

(87)【国際公開日】2021-12-30

(31)【優先権主張番号】20182536.1

(32)【優先日】2020-06-26

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】521465072

【氏名又は名称】アルプセンテク・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＡＬＰＳＥＮＴＥＫ ＧＭＢＨ

(71)【出願人】

【識別番号】521465061

【氏名又は名称】ベイジン・ルイスーヂーシン・テクノロジー・カンパニー・リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＲＵＩＳＩＺＨＩＸＩＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ヂャー，インユン

(72)【発明者】

【氏名】ボシュトック，ロガー・マルク

(72)【発明者】

【氏名】ダン，ジエン

(72)【発明者】

【氏名】ゾウ，ユィ

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024HX23

5C024HX29

5C024HX51

5C024HX57

5C024JX09

5C024JX46

(57)【要約】

本発明は、ピクセルの配列と、少なくとも１つのピクセルに対応し、集積回路の一部として形成される複数の取得回路とを備えるデルタ画像センサに関する。各取得回路は、少なくとも１つのピクセルのフォトセンサを照明する光信号に応じて、センサ信号（ＶＳＩＧ）を生成するように構成されたフォトセンサを備える少なくとも１つのセンサ回路と、現在のＶＳＩＧをデジタル信号に変換するように構成された、少なくとも１つのアナログ／デジタル変換（Ａ／Ｄ）回路と、以前のＶＳＩＧに対応する少なくとも１つのデジタル信号の表現を記憶するように構成された少なくとも１つのデジタル記憶回路と、記憶された表現のレベルを現在のＶＳＩＧと比較して、変更されたレベルが存在するかどうかを検出するように構成された少なくとも１つのデジタル比較回路と、変更されたレベルの条件下でイベント出力を生成するように構成された少なくとも１つのデジタル出力回路とを備える。デジタル表現は、少なくとも１つのピクセルのデジタル記憶回路に外部から書き込むことができる。

【特許請求の範囲】

【請求項1】

ピクセルの配列と、少なくとも１つのピクセルに対応し、集積回路の一部として形成される複数の取得回路（１）とを備えるデルタ画像センサであって、各取得回路（１）は、
前記少なくとも１つのピクセルのフォトセンサを照明する光信号に応じて、センサ信号（ＶＳＩＧ）を生成するように構成された前記フォトセンサを備える少なくとも１つのセンサ回路（１１）と、
現在のＶＳＩＧに対応するデジタル表現を生成するように構成された少なくとも１つのアナログ／デジタル変換（Ａ／Ｄ）回路（１２）と、
以前のＶＳＩＧに対応する少なくとも１つのデジタル信号の表現を記憶するように構成された少なくとも１つのデジタル記憶回路（１３）と、
前記記憶された表現のレベルを前記現在のＶＳＩＧと比較して、変更されたレベルが存在するかどうかを検出するように構成された少なくとも１つのデジタル比較回路（１４）と、
前記変更されたレベルの条件下でイベント出力を生成するように構成された少なくとも１つのデジタル出力回路（１５）と、
を備え、
デジタル表現は、前記少なくとも１つのピクセルの前記デジタル記憶回路（１３）に外部から書き込まれる、画像センサ。

【請求項2】

デジタル表現は、データストリームから前記デジタル記憶回路（１３）に外部から書き込む、好ましくは基準画像または基準時間変動画像として前記画像センサに入力することができる、請求項１に記載の画像センサ。

【請求項3】

デジタル表現は、イベントストリームであるデータストリームからデジタル記憶回路（１３）に外部から書き込む、好ましくは基準画像または基準時間変動画像として前記画像センサに入力することができる、請求項１または２に記載の画像センサ。

【請求項4】

前記基準画像は、少なくとも１つのピクセル、好ましくは少なくとも１つのピクセルグループ、より好ましくは、全てのピクセルについての基準画像データを含み、および／または
前記基準画像は、好ましくはフレームデータを用いて定期的に更新され、好ましくは、前記基準画像データは特定の順序で供給される、請求項２または３に記載の画像センサ。

【請求項5】

前記少なくとも１つのピクセルまたは前記少なくとも１つのピクセルグループは、基準画像データをそれぞれ前記少なくとも１つのピクセルおよび前記少なくとも１つのピクセルグループに、好ましくはランダムにアドレス指定された順序で順次書き込むように個々にアドレス可能である、請求項４に記載の画像センサ。

【請求項6】

各取得回路（１）は、少なくとも２つのピクセル間で共有され、好ましくは、前記ピクセルは互いに隣接している、先行する請求項のいずれか１項に記載の画像センサ。

【請求項7】

前記センサ回路（１１）は、以下の関係、すなわち、
ａ）光強度に対する線形依存性、
ｂ）前記光強度に対する非線形の、好ましくは対数の依存性、および
ｃ）前記光強度に対する非線形および線形依存性の組み合わせ、
のうちの１つに基づいてＶＳＩＧを生成するように構成され、
好ましくは、前記関係は制御信号に応答して変更可能である、先行する請求項のいずれか１項に記載の画像センサ。

【請求項8】

前記センサ回路（１１）は、動作中に制御信号に応答して、好ましくは時折、前記光強度に対するＶＳＩＧの依存性を変更するように構成され、および／または、
前記センサ回路（１１）は、少なくとも１つのピクセルまたはピクセルのサブセットについて個々に、動作中に制御信号に応答して前記光強度に対する前記ＶＳＩＧの依存性を変更するように構成される、先行する請求項のいずれか１項に記載の画像センサ。

【請求項9】

ａ）前記アナログ／デジタル変換回路（１２）は、前記ＶＳＩＧを、以下の掃引信号、すなわち、
ａａ）掃引アナログ入力信号、および
ａｂ）連続掃引アナログ入力信号であって、ここで、前記掃引アナログ信号の各々が異なる差分関数を提供する、連続掃引アナログ入力信号、
のうちの１つと比較するように構成された比較器を備え、
好ましくは、前記入力信号は複数の変換回路（１２）に提供され、および／または、
ｂ）前記アナログ／デジタル変換回路（１２）は、少なくとも１つのピクセルに、前記掃引アナログ信号に並列して少なくとも１つのデジタルコードを提供するように更に構成され、
ｂａ）好ましくは、前記デジタルコードはグレーコード化デジタル信号であり、
ｂｂ）好ましくは、前記アナログ掃引信号と前記デジタルコードとの間の関係は、記憶ランプと比較ランプとの間で変更される、先行する請求項のいずれか１項に記載の画像センサ。

【請求項10】

ａ）前記掃引信号は線形ランプであるか、または
ｂ）前記掃引信号は非線形ランプであるか、または
ｃ）前記掃引信号は動作中に変更され、および／または
ｄ）前記掃引信号の期間は動作中に変更され、および／または
ｅ）前記掃引信号の前記リピートは、動作中に短期間または長期間にわたって中断することができ、および／または
ｆ）前記掃引信号のリピートレートは、好ましくはイベント出力を増大または抑制するように、前記フォトセンサを照明する前記光信号の光源変調に一致する１つまたは複数のリピートレートから選択される、請求項９に記載の画像センサ。

【請求項11】

前記画像センサは、掃引ランプ制限を設定するように構成された少なくとも１つの基準ピクセルを更に含み、
好ましくは、前記少なくとも１つの基準ピクセルは、前記ピクセルの配列の外側に位置決めされ、および／または
好ましくは、前記少なくとも１つの基準ピクセルは、基準条件下でバイアスされる、請求項９または１０に記載の画像センサ。

【請求項12】

前記デジタル比較回路（１４）は、前記アナログ信号の掃引中に前記記憶されたレベルとの比較を行うように構成されるか、または
前記デジタル比較回路（１４）は、前記アナログ入力信号の前記掃引後に前記記憶されたレベルとの比較を行うように構成される、請求項９～１１のいずれか１項に記載の画像センサ。

【請求項13】

ａ）前記デジタル比較回路（１４）は、前記ピクセル回路における静的ロジックを用いて比較を行うように構成されるか、または
ｂ）前記デジタル比較回路（１４）は、前記ピクセル回路における動的ロジックを用いて比較を行うように構成され、および／または
ｃ）前記デジタル比較回路（１４）は、ヒステリシスとの比較を行うように構成され、および／または
ｄ）前記デジタル比較回路（１４）は、動作時に時折変更される差分を要する比較を行うように構成される、先行する請求項のいずれか１項に記載の画像センサ。

【請求項14】

前記出力回路（１５）は、隣接ピクセルにおける前記比較回路（１４）の比較結果に応じて出力を生成するように構成されるか、または
前記出力回路（１５）は、固定構成または動作中に変更される構成において隣接ピクセルの関数に応じて出力を生成するように構成され、好ましくは、前記関数は平均関数であり、および／または
前記出力回路（１５）は、前記比較の変化率が或る特定のしきい値を超えている場合、出力を生成するように構成される、先行する請求項のいずれか１項に記載の画像センサ。

【請求項15】

ａ）前記出力回路（１５）は、隣接ピクセルにおける出力に応じて出力を生成するように構成されるか、または
ｂ）前記出力回路（１５）は、隣接ピクセルにおける前記記憶されたレベルに応じて出力を生成するように構成されるか、または
ｃ）前記出力回路（１５）は、複数の記憶された値に応じて出力を生成するように構成される、先行する請求項のいずれか１項に記載の画像センサ。

【請求項16】

ａ）前記出力回路（１５）は、前記変更されたレベルの方向を示すイベント出力を生成するように構成され、および／または
ｂ）前記出力回路（１５）は、１つの方向において変更されたレベルのみを示すイベント出力を生成するように構成され、および／または
ｃ）前記出力回路（１５）は、前記変更されたレベルの大きさを示すイベント出力を生成するように構成され、および／または
ｄ）前記出力回路（１５）は、前記変更されたレベルの前および／または後の照明強度を示すイベント出力を生成するように構成される、先行する請求項のいずれか１項に記載の画像センサ。

【請求項17】

ａ）前記デジタル記憶回路（１３）は、前記ピクセルの配列の出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および／または
ｂ）前記デジタル記憶回路（１３）は、イベント出力を有するピクセルについて選択的に前記ピクセルの配列の前記出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および／または
ｃ）前記デジタル記憶回路（１３）は、イベント列ラインを用いて前記出力ラインにおいて前記記憶されたデジタル表現を提供するように構成される、先行する請求項のいずれか１項に記載の画像センサ。

【請求項18】

前記センサ回路（１１）は、前記記憶されたデジタルレベル、または隣接ピクセルの前記記憶されたデジタルレベルに対応する前記デジタル記憶回路（１３）からのフィードバックを受信し、前記センサ回路（１１）は前記フィードバックに応じてＶＳＩＧを生成するように構成され、および／または
前記Ａ／Ｄ回路（１２）は、前記記憶されたデジタルレベル、または隣接ピクセルの前記記憶されたデジタルレベルからフィードバックを受信し、前記フィードバックに応じて前記出力信号を調整するように構成される、先行する請求項のいずれか１項に記載の画像センサ。

【請求項19】

前記センサ回路（１１）は、ＶＳＩＧのアナログ表現を提供するように構成され、および／または
前記画像センサは、複数の半導体層から構築され、各レベルは前記層の機能について最適化される、先行する請求項のいずれか１項に記載の画像センサ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のピクセル回路を備えた画像センサに関する。

【背景技術】

【0002】

ピクセルごとに、またはピクセルの小さなサブセットごとに１つのＡＤＣを有する画像センサがよく知られている。これらは、通常、大きな処理がピクセルにおいて実行される用途（例えば、Ｘ線粒子軌道トレースまたは衛星撮像）において用いられる。

【0003】

各ピクセルが比較器を含むシングルスロープＡＤＣを有する画像センサが知られている。例えば、Ｒｅｃｋｌｅｂｅｎ他、２０１５、Ｓｕａｒｅｚ他、２０１０およびＣｈｉ他、２０１０である。特に、Ｓｕａｒｅｚ他は、ピクセル配列について大域的にアナログスロープおよびデジタルコードを生成し、デジタルコードをピクセルに提供する。

【0004】

デジタル値がピクセル内に記憶され、イベント変更データを作成するためにサンプル間で比較される画像センサは知られていない。本発明は、高分解能でおよびコストが最適化されたセンサを生成する、面積が最適化されたスモールピクセル構造を可能にする。

【0005】

以前の照明レベルの表現がピクセルにデジタルで記憶され、サンプル間でイベント変更データを生成するために比較される画像センサがＷＯ２０１４／１７４４９８Ａ１から知られている一方で、Ｉｔｏｈ他「４－Ｌａｙｅｒ ３－Ｄ ＩＣ ｗｉｔｈ ａ ｆｕｎｃｔｉｏｎ ｏｆ ｐａｒａｌｌｅｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ」Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ｅｎｇｉｎｅｅｒｉｎｇ、１５巻、１～４号、１９９１、１８７～１９０頁は、固定レベルに対する単純なシングルビットピクセル比較を用いた概念的に関連する構造を以前に提案している。

【0006】

アナログ領域における画像ピクセルレベル変化の検出、記憶および比較を用いたイベント生成を用いる画像センサ、例えば、Ｃｈｉ他「ＣＭＯＳ Ｃａｍｅｒａ Ｗｉｔｈ Ｉｎ－Ｐｉｘｅｌ Ｔｅｍｐｏｒａｌ Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ ＡＤＣ」ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ、４２巻、１０号、２００７、２１８７～２１９６頁が知られている。アナログ領域における比較および記憶により、デジタル手法を上回る利点（例えば、コンパクトな実現）および欠点（例えば、「ホットピクセル」を含む漸進的な記憶劣化、不一致に対する感度、光対電気変換機能の低減された柔軟性）がもたらされる。

【0007】

ピクセル間で回路部を共有する画像センサがよく知られている。例えば、ＫＲ２０２０－００２９３２８Ａである。

【0008】

ストロボ効果の使用は、外乱（望ましくない信号）の期間にわたって平均または同期することによる高調波の抑制と共に一般的に知られている。例えば、米国特許出願公開第２０１５／３５８５７０号である。ここで、可変光源を検出し、これに同期し、次に光源に対する応答を抑制するための技法がカメラに適用されている。

【0009】

ＷＯ２０２０／０８０３８３Ａ１は、隣接ピクセルのイベントステータス（単一ビット）に基づいて、１つのピクセルからのイベントを無視するためのフィルタを用いたイベントベースの動的ビジョンセンサを開示している。

【0010】

Ｔ． Ｄｅｌｂｒｕｃｋ「Ｆｒａｍｅ－ｆｒｅｅ ｄｙｎａｍｉｃ ｄｅｓｉｔａｌ ｖｉｓｉｏｎ」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｅｃｕｒｅ Ｌｉｆｅ Ｅｌｅｃｔｒｏｎｉｃｓ、Ａｄｖａｎｃｅｄ Ｅｌｅｃｔｒｏｎｉｃｓ ｆｏｒ Ｑｕａｌｉｔｙ Ｌｉｆｅ ａｎｄ Ｓｏｃｉｅｔｙ、２００８、２１～２６頁は、ピクセルの最後のイベントのタイムスタンプ、または隣接ピクセルのタイムスタンプに基づいて動的ビジョンセンサからのイベントをフィルタリングすることを開示している。この処理は、計算集約的な方式で（３２ビットタイムスタンプ）、ピクセルアレイの外側で、後続のフィルタリングのためにアレイからイベントを送信することを必要として行われる。

【0011】

ＥＰ３ ３１３ ０６４ Ａ１は、アナログ記憶動的ビジョンセンサを開示している。ここで、１つの比較器入力は、ピクセル照明の以前の値の表現であり、これは後に比較のために用いられる。これは、デジタルイベント出力が生成されるときに可能にされる（サンプリングされる）アナログ比較器の後続の関数を制御するための以前のレベルからのアナログフィードバックとみなすことができる。

【0012】

ＥＰ２ ９３３ ９９５ Ａ１は、しきい値未満の動作におけるトランジスタを用いた動的ビジョンセンサの標準的なアナログ記憶の実施における不良な不一致の課題に対処する。このトランジスタモードにおける動作は、限られた範囲にわたってのみ正しく機能するため、満足のいく動作を得るために、アレイ全体の取得回路のアナログ部分への大域アナログフィードバックを用いる。

【0013】

背景差分は、ビデオ画像処理において、よく知られており、広く用いられている技術である。例えば、Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ： Ｔｈｅｏｒｙ ａｎｄ Ｐｒａｃｔｉｃｅ， Ａｈｍｅｄ Ｅｌｇａｍｍａｌ， ＩＳＢＮ１６２７０５４４０５を参照されたい。これは通常、計算された画像差分に基づいて標準的な（イベントベースでない）画像センサを用いて画像センサの外側で行われる。

【0014】

ＷＯ２０２０／２２９９８１Ａ１は、イベントのような出力（正常範囲外のピクセルを示すフレーム）を用いて、ピクセルアレイの外側であるが画像センサチップ上で、静的であるが耐性のある背景差分を実行する手法を開示している。

【0015】

ピクセル内の以前の照明強度の表現のデジタル記憶を有する改善されたピクセル回路を備えるデルタ回路センサが必要とされている場合がある。

【0016】

そのような需要は、独立請求項の主題によって満たされる。有利な実施形態は、従属請求項において定義される。

【0017】

本発明の実施形態の基礎をなす着想は、中でも以下の観測および認識に基づいているものとして解釈することができる。

【0018】

ＣＭＯＳ（相補型金属酸化膜シリコン）画像センサは、特殊化されたプロセスで大量に最適化された製造工場プロセスにおいて製造される。ＣＭＯＳデジタル論理デバイスは、大量の最適化された製造工場プロセスにおいて製造される。双方のプロセスの密度は、特に論理プロセスの密度を増大させている。密度の増大により、画像センサにおけるピクセル回路に関係するデジタル複雑度が増大することになる。

【0019】

ピクセル回路における以前のレベルのデジタル記憶は、記憶の忠実性および記憶されたレベルの後続の処理において利点を有する。

【0020】

レベルの局所的処理は、冗長データの伝播および処理が限られているため、電力および面積における効率性の利点を有する。

【発明の概要】

【課題を解決するための手段】

【0021】

本発明は、デジタル変換および記憶が、ピクセル回路において、時間および場所にわたる差分の局所的評価、ならびにイベント情報の準備および伝播と組み合わされる構造および方法を開示する。

【0022】

本発明は、独立請求項において定義される。従属請求項は、その好ましい実施形態を記載する。

【0023】

本発明は、ピクセルの配列と、少なくとも１つのピクセルに対応し、集積回路の一部として形成される複数の取得回路とを備えるデルタ画像センサに関する。各取得回路は、少なくとも１つのピクセルのフォトセンサを照明する光信号に応じて、センサ信号（ＶＳＩＧ）を生成するように構成されたフォトセンサを備える少なくとも１つのセンサ回路と、現在のＶＳＩＧに対応するデジタル表現を生成するように構成された少なくとも１つのアナログ／デジタル変換回路とを備える。少なくとも１つのデジタル記憶回路は、少なくとも１つの以前のＶＳＩＧの表現を記憶するように構成される。少なくとも１つのデジタル比較回路は、記憶された表現のレベルを現在のＶＳＩＧと比較して、変更されたレベルが存在するかどうかを検出するように構成される。少なくとも１つのデジタル出力回路は、変更されたレベルの条件下でイベント出力を生成するように構成される。デジタル表現は、更に、少なくとも１つのピクセルのデジタル記憶回路に外部から書き込むことができる。

【0024】

様々な実施形態は、好ましくは、以下の特徴を実施することができる。
デジタル記憶回路は、データストリームからデジタル表現を書き込まれる、好ましくは基準画像または基準時間変動画像として画像センサに入力されるように構成することができる。

【0025】

デジタル記憶回路は、イベントストリームであるデータストリームからデジタル表現を書き込まれる、好ましくは基準画像または基準時間変動画像として画像センサに入力されるように構成することができる。

【0026】

基準画像は、少なくとも１つのピクセル、好ましくは少なくとも１つのピクセルグループ、より好ましくは、全てのピクセルについての基準画像データを含むことができる。

【0027】

基準画像は、好ましくはフレームデータを用いて定期的に更新することができ、好ましくは、基準画像データは特定の順序で供給することができる。

【0028】

少なくとも１つのピクセルまたは少なくとも１つのピクセルグループは、基準画像データをそれぞれ少なくとも１つのピクセルおよび少なくとも１つのピクセルグループに、好ましくはランダムにアドレス指定された順序で順次書き込むように個々にアドレス可能とすることができる。

【0029】

各取得回路は、集積回路または集積回路の一部として形成することができる。取得回路は、本明細書全体を通じてピクセル回路と呼ぶこともできる。少なくとも１つのセンサ回路は、センサ信号を連続的にまたは周期的に生成することができる。アナログ／デジタル変換回路は、現在のＶＳＩＧをデジタル信号に変換することができる。したがって、デジタル記憶回路は、以前のＶＳＩＧに対応する少なくとも１つのデジタル信号の表現を記憶するように構成することができる。現在のおよび以前のＶＳＩＧのデジタル表現は、少なくとも１つのデジタル比較回路によって比較することができる。以前のＶＳＩＧ、またはＶＳＩＧのデジタル表現はそれぞれ、任意の以前のサンプル期間において生成され、デジタル記憶回路に記憶された信号に対応することができる。これは、外部から提供し、基準信号として記憶することもできる。また、デルタ画像センサからのイベント出力を出力するために、少なくとも１つのイベント出力ラインを回路に含めることができる。少なくとも１つのイベント出力ラインは、複数のデジタル出力回路によって共有することもできる。

【0030】

好ましくは、各取得回路は、少なくとも２つのピクセル間で共有し、好ましくは、ピクセルが互いに隣接する。

【0031】

好ましくは、センサ回路は、以下の関係性のうちの１つに基づいてＶＳＩＧを生成するように構成される。
ａ）光強度に対する線形依存性、
ｂ）光強度に対する非線形の、好ましくは対数の依存性、および
ｃ）光強度に対する非線形および線形依存性の組み合わせであり、
好ましくは、関係は制御信号に応答して変更可能である。

【0032】

制御信号は、ピクセルのアレイおよび取得回路の外側から提供されもよい。アレイ全体について１つの制御信号が存在してもよく、またはよりターゲットを絞っていてもよい。

【0033】

好ましくは、センサ回路は、動作中に制御信号に応答して、好ましくは時折、光強度に対するＶＳＩＧの依存性を変更するように構成され、および／またはセンサ回路は、少なくとも１つのピクセルまたはピクセルのサブセットについて個々に、動作中に制御信号に応答して光強度に対するＶＳＩＧの依存性を変更するように構成される。

【0034】

時折の制御信号の変化は、大域光強度または動作モードの変化に起因する。時折の制御信号の変化を生成するための別個の回路が提供されてもよい。

【0035】

画像センサは、好ましくは、以下の特徴を更に実施することができる。
ａ）アナログ／デジタル変換回路は、ＶＳＩＧを、以下の掃引信号、すなわち、
ａａ）掃引アナログ入力信号、および
ａｂ）連続掃引アナログ入力信号であって、ここで、掃引アナログ信号の各々が異なる差分関数を提供する、連続掃引アナログ入力信号、
のうちの１つと比較するように構成された比較器を備え、
好ましくは、入力信号は複数の変換回路に提供され、および／または、
ｂ）アナログ／デジタル変換回路は、少なくとも１つのピクセルに、掃引アナログ信号に並列して少なくとも１つのデジタルコードを提供するように更に構成することができ、
ｂａ）好ましくは、デジタルコードはグレーコード化デジタル信号であり、
ｂｂ）好ましくは、アナログ掃引信号とデジタルコードとの間の関係は、記憶ランプと比較ランプとの間で変更される。

【0036】

さらに、
ａ）掃引信号は線形ランプとすることができるか、または
ｂ）掃引信号は非線形ランプとすることができるか、または
ｃ）掃引信号は動作中に変更することができ、および／または
ｄ）掃引信号の期間は動作中に変更することができ、および／または
ｅ）掃引信号のリピートは、動作中に短期間または長期間にわたって中断することができ、および／または
ｆ）掃引信号のリピートレートは、好ましくはイベント出力を増大または抑制するように、フォトセンサを照明する光信号の光源変調に一致する１つまたは複数のリピートレートから選択することができる。

【0037】

特に、上記の項目ｆ）から、好ましくは、ターゲット、例えば所与の周波数を有する光源に対する応答を増大させるかもしくは抑制し、または所与の周波数を有する外乱に対する応答を抑制するために、フォトセンサを照明する光信号の光源変調に一致する１つまたは複数のリピートレートから掃引信号のリピートレートを選択することができる。

【0038】

好ましくは、画像センサは、掃引ランプ制限を設定するように構成された少なくとも１つの基準ピクセルを更に備え、好ましくは、少なくとも１つの基準ピクセルは、ピクセルの配列の外側に位置決めされ、および／または好ましくは、少なくとも１つの基準ピクセルは基準条件下でバイアスされる。

【0039】

好ましくは、デジタル比較回路は、アナログ信号の掃引中に記憶されたレベルとの比較を行うように構成されるか、またはデジタル比較回路は、アナログ信号の掃引後に記憶されたレベルとの比較を行うように構成される。

【0040】

「アナログ信号の掃引中」および「掃引アナログ信号の間」は同じプロセスを示すことができる。

【0041】

特に、比較がアナログ信号の掃引中に行われる場合、Ａ／Ｄ出力値は、記憶される必要がなく、比較結果のみでよい。この結果、メモリ要件が少なくなるが、比較が多くなる。比較がアナログ信号の掃引後に行われる場合、Ａ／Ｄ出力値は、記憶される必要がない。これにより、メモリ要件が増大するが、必要な比較数が低減する。

【0042】

好ましくは、
ａ）デジタル比較回路は、ピクセル回路における静的ロジックを用いて比較を行うように構成されるか、または
ｂ）デジタル比較回路は、ピクセル回路における動的ロジックを用いて比較を行うように構成され、および／または
ｃ）デジタル比較回路は、ヒステリシスとの比較を行うように構成され、および／または
ｄ）デジタル比較回路は、動作時に時折変更される差分を要する比較を行うように構成される。

【0043】

好ましくは、出力回路は、隣接ピクセルにおける比較回路の比較結果に応じて出力を生成するように構成されるか、または出力回路は、固定構成または動作中に変更される構成において隣接ピクセルの関数に応じて出力を生成するように構成され、好ましくは、関数は平均関数であり、および／または出力回路は、比較の変化率が或る特定のしきい値を超えている場合、出力を生成するように構成される。

【0044】

好ましくは、
ａ）出力回路は、隣接ピクセルにおける出力に応じて出力を生成するように構成されるか、または
ｂ）出力回路は、隣接ピクセルにおける記憶されたレベルに応じて出力を生成するように構成されるか、または
ｃ）出力回路は、複数の記憶された値に応じて出力を生成するように構成される。

【0045】

好ましくは、
ａ）出力回路は、変更されたレベルの方向を示すイベント出力を生成するように構成され、および／または
ｂ）出力回路は、１つの方向において変更されたレベルのみを示すイベント出力を生成するように構成され、および／または
ｃ）出力回路は、変更されたレベルの大きさを示すイベント出力を生成するように構成され、および／または
ｄ）出力回路は、変更されたレベルの前および／または後の照明強度を示すイベント出力を生成するように構成される。

【0046】

好ましくは、
ａ）デジタル記憶回路は、ピクセルの配列の出力ラインにおいて記憶されたデジタル表現を提供するように構成され、および／または
ｂ）デジタル記憶回路は、イベント出力を有するピクセルについて選択的にピクセルの配列の出力ラインにおいて記憶されたデジタル表現を提供するように構成され、および／または
ｃ）デジタル記憶回路は、イベント列ラインを用いて出力ラインにおいて記憶されたデジタル表現を提供するように構成される。

【0047】

画像センサは、通常、画像データを出力する。実施形態において、画像センサに入力する画像データを受理することができる。類似の概念は文献において提示されていない。

【0048】

基準画像データが画像センサのデジタル記憶に書き込まれる場合、画像センサはイベントを生成することができ、ここで、現在の画像は基準画像と異なる。画像センサピクセルの物理的レイアウトに起因して、計算は効率的であり、既存のハードウェアを再利用する。好ましくは、実施形態は、
（ａ）ピクセル内の小さな差分に対するデジタル耐性、
（ｂ）画像変化のタイミングに対するデジタル耐性、または
（ｃ）基準および実際の画像の地理的位置合わせに対するデジタル耐性、
のうちの１つまたは全てを含むことができる。

【0049】

好ましい関心領域は、製造プロセスにおける目視検査におけるものとすることができる。
基準画像は、
（ａ）固定画像、
（ｂ）固定画像のシーケンス、または
（ｃ）ビデオシーケンス、
とすることができる。

【0050】

ピクセルは、ランダムにアドレス指定された順序で特定のピクセルについて画像情報を順次書き込むように個々にアドレス指定することができる。

【0051】

完全な基準画像を書き込むことができ、ここで、データは、画像データストリームを用いて全てのピクセルのデジタル記憶に書き込まれる。ピクセル情報は、特定の順番で供給することができる。完全な基準画像は、フレームデータを用いて定期的に更新することができる。

【0052】

基準画像データは、基準画像のピクセルレベル変化のみを含むデータストリームであるイベントストリームから書き込むことができる。イベントストリームは、基準画像データビデオフレームの圧縮バージョンを提供することができる。イベントストリームは、画像センサによって生成される出力データに適合することができる。これによって、書き戻しに用いられる基準ビデオキャプチャから同じイベントストリームが生成されることが可能になる。

【0053】

動的ビジョンセンサは、画像の一部における高速の変化に特に適し得る。高速イベントの書き戻しは、標準的なフレームベースのカメラには扱うことが困難であるかまたは不可能なビデオシーケンスのビデオの差別化を容易にすることができる。

【0054】

基準画像は、画像のオプティカルフロー計算に基づいた予測データとすることもできる。
画像のセクションが或る特定のレート（オプティカルフロー）でピクセルアレイにわたって動いていると判断された場合、画像のセクションの予測される動きをピクセルアレイに書き込むことができる。次に、ピクセルアレイは、予測と実際の画像の動きとの間の誤差をイベントとして報告する。これらの誤差を用いて予測を精緻化することができる。

【0055】

出力ラインは、単数または複数で提供することができる。出力ラインは、出力回路間で共有することもできる。出力回路も提供することができる。

【0056】

さらに、取得回路に記憶されたデジタル表現は、アレイの外側から書くこともできる。以前の出力は、回路のための変化する基準を提供するために、記憶されたピクセルデジタルレベルに書き戻すことができる。次に、回路は、基準に対する変化のみを報告する。通常、画像データは全てのピクセルを表す。しかしながら、イベントストリームは変化のみを含み、したがってより少ないデータを含む。したがって、イベントストリームを書き戻すことによりデータレートの低下が可能である。

【0057】

好ましくは、センサ回路は、記憶されたデジタルレベル、または隣接ピクセルの記憶されたデジタルレベルに対応するデジタル記憶回路からのフィードバックを受信し、センサ回路はフィードバックに応じてＶＳＩＧを生成するように構成される。Ａ／Ｄ回路は、記憶されたデジタルレベル、または隣接ピクセルの記憶されたデジタルレベルからフィードバックを受信することができ、フィードバックに応じて出力信号を調整するように構成することができる。

【0058】

好ましくは、センサ回路はＶＳＩＧを提供するように構成され、および／または画像センサは複数の半導体層から構築され、各レベルはその層の機能について最適化される。

【0059】

特に、ＶＳＩＧのアナログ表現またはアナログレベルを提供し、回路またはアレイから直接読み出すことができる。

【0060】

取得回路のグループは、単数または複数の共通のイベント出力ラインに接続することができる。

【0061】

取得回路のグループは、以下の回路要素、すなわち、（ａ）デジタル出力回路、（ｂ）デジタル比較回路、（ｃ）更なるデジタル記憶回路、（ｄ）更なるアナログ／デジタル変換回路、のうちの少なくとも１つを共有することができる。図面は代表的なものであり、共有要素の他の組み合わせは排除されない。

【0062】

本開示は、掃引アナログ信号およびデジタルコードを用いた比較器を用いるアナログ／デジタル変換の実施も包含することができる。

【0063】

本発明は、上記で特定したＩｔｏｈ他に開示されていないマルチシリコン層デバイスにおけるイベント生成を提供する。

【0064】

実施形態において、基準画像データは、後続のイベント生成に影響を及ぼすようにデジタル記憶回路に書き込まれる。

【0065】

画像センサ内のピクセル間の共有回路部（例えば、ＫＲ２０２０－００２９３２８Ａ）は、密なピクセルアレイおよび高いピクセル分解能を生成するために画像センサ設計において重大である。本発明は、性能劣化を伴うことなく、ピクセル間のリソース共有に特に適したデジタル記憶およびイベント計算を時系列方式で用いる。

【0066】

さらに、本発明は、米国特許出願公開第２０１５／３５８５７０号によって開示された技法の使用を、動的ビジョンセンサに拡張する。ここで、デジタル記憶、および大域タイミングを用いた処理の使用が効果的であり、生成されるイベントの数の低減における影響が、電力消費および後続の処理にとって重要である。

【0067】

ピクセル内デジタル記憶によって可能にされる本発明は、隣接ピクセルに記憶されるデジタルレベル（複数ビット）に基づいてイベントを選択的に生成することができる。この選択的フィルタリングの特定の構成を用いて、ＷＯ２０２０／０８０３８３Ａ１によって開示されたシングルビットフィルタリングと同じ結果を達成することができる。

【0068】

加えて、例えば上記で特定したＴ． Ｄｅｌｂｒｕｃｋとの比較において、本発明は、タイムスタンプ複雑性の低減のためのＡ／Ｄ変換技法に起因して本質的時間基準を有し、更なる送信を伴うことなくイベントの局所的なデジタルの時間的フィルタリングを可能にする。

【0069】

本発明は、記憶されたデジタルレベルまたはイベント出力に基づいてアナログ回路パラメータを変調する。なぜなら、このフィードバックは、上記で説明したＥＰ ３ ３１３ ０６４ Ａ１の開示と異なるデジタル制御下でスイッチを用いて効果的に実現される（表面積）ためである。

【0070】

上記で説明したＥＰ ２ ９３３ ９９５ Ａ１との比較において、本発明は、局所的に記憶されたピクセルデジタルレベルまたはイベント出力に基づいたアナログ回路パラメータの変調を提案する。なぜなら、このフィードバックは、デジタル制御下でスイッチを用いて効果的に実現される（表面積）ためである。これは、機能（ピクセルに局所的）、実施（デジタル制御）および目的においてＥＰ ２ ９３３ ９９５Ａ１と異なる。

【0071】

本発明は、デジタルピクセル内変換およびストレージの利点を用いて高分解能でコストが最適化されたセンサを生成する、面積が最適化された（スモール）ピクセル構造を可能にする。

【0072】

静的背景減算（例えば、ＷＯ２０２０／２２９９８１Ａ１）は、イベントベースの動的ビジョン検知の固有部分であり、画像センサ内で実現される。画像センサピクセルアレイにおいてデジタル記憶を使用し、その記憶に対する書き込み機能を提供することで、本発明は、動的ビジョンセンサの固有の差分関数を用いて、静的または動的背景（または基準）差分および真のイベント出力を提供する。

【0073】

本発明は、図面を参照して更に説明される。図１～図５は、本発明の例示的な実施形態を示す。

【図面の簡単な説明】

【0074】

【図1】本発明によるデルタ画像センサの第１の例示的な構成を概略的に示す。

【図2】本発明によるデルタ画像センサの更なる例示的な構成を概略的に示し、図２ａはイベント生成回路の共有を示し、図２ｂはイベント生成回路およびデジタル比較回路の共有を示し、図２ｃは、イベント生成回路、デジタル比較回路およびデジタル記憶回路の共有を示し、図２ｄは、イベント生成回路、デジタル比較回路、デジタル記憶回路およびＡ／Ｄ変換回路の共有を示す。

【図3】アナログ（ＶＳＩＧ）からデジタルへの表現の変換が、ピクセル回路における比較器を用いて行われ、アナログ掃引信号がピクセル回路に適用される、例示的な実施形態を示す。

【図4a】本発明によるデルタ画像センサの更なる例示的な構成を概略的に示し、特定のピクセルのための書き込み画像情報が示されている。

【図4b】本発明によるデルタ画像センサの更なる例示的な構成を概略的に示し、特定のピクセルのための書き込み画像情報が示されている。

【図5】本発明によるデルタ画像センサの更なる例示的な構造を概略的に示し、画像についてのオプティカルフロー計算に基づいた予測データが示されている。

【発明を実施するための形態】

【0075】

図面において、同じ参照符号は、同じまたは類似の構成要素を表す。したがって、冗長な説明は省かれる。

【0076】

図１は、本発明による第１の例示的な構成を概略的に示す。画像センサとも呼ばれるデルタ画像センサは、ピクセルの配列と、少なくとも１つの取得回路（１）とを備える。取得回路（１）は、ピクセル回路とも呼ばれる。回路は、集積回路の一部として形成される。各ピクセルの取得回路（１）は、少なくとも１つのピクセルのフォトセンサを照明する光信号または照明強度に応じてセンサ信号（ＶＳＩＧ）を生成するフォトセンサを含む少なくとも１つのセンサ回路（１１）と、少なくとも１つのアナログ／デジタル変換回路（１２、Ａ／Ｄ変換器）とを備える。デジタル変換回路（１２）は、センサ回路（１１）の出力に接続することができる。少なくとも１つのデジタル記憶回路（１３）は、以前のＶＳＩＧに対応する少なくとも１つのデジタル信号の表現を記憶するように構成される。デジタル記憶回路（１３）は、Ａ／Ｄ変換器（１２）の出力に接続することができる。少なくとも１つのデジタル比較回路（１４）は、記憶された表現のレベルを現在のＶＳＩＧと比較して、変更されたレベルが存在するかどうかを検出するように構成される。デジタル比較回路（１４）は、デジタル記憶回路（１３）の出力およびＡ／Ｄ変換器（１２）の出力に接続することができる。少なくとも１つのデジタル出力回路（１５）またはデジタルイベント生成回路は、変更されたレベルの条件下でイベント出力を生成するように構成される。出力回路（１５）は、デジタル比較回路（１４）の出力に接続することができる。

【0077】

少なくとも１つのイベント出力ライン（１６）は、デルタ画像センサからのイベント出力を出力するために、ピクセル回路（１）内に含めるかまたはピクセル回路（１）外にあることができる。少なくとも１つのイベント出力ライン（１６）は、複数のデジタル出力回路（１５）によって共有することもできる。

【0078】

この第１の例示的なピクセル構成は、或る間隔にわたって変更された照明強度の検出を可能にする。デジタル比較回路（１４）が記憶された信号のデジタル表現と、或る間隔後のデジタル表現との差分を検出し、この差分が所与の判断基準を満たす場合、イベントが生成され、変化の事実が、画像センサの出力においてイベント情報として報告される。

【0079】

レベルのデジタル記憶は、（ｉ）記憶されるレベルが時間と共に劣化せず、（ｉｉ）記憶回路（１３）を物理的により小さくすることができ、（ｉｉｉ）値を隣接セルにおいて容易に用いることができ、（ｉｖ）値を他のピクセルまたは以前の値との組み合わせ機能の実現のためにより柔軟に用いることができるため、幅広い用途で優先され得る。

【0080】

図２に示すように、更なる例示的な構成において、ピクセル回路の一部は、ピクセルのサブセット間で共有される。このとき、共有要素の使用は時系列で行われる。

【0081】

図２ａはイベント生成回路（１５）の共有を示し、図２ｂはイベント生成回路（１５）およびデジタル比較回路（１４）の共有を示し、図２ｃは、イベント生成回路（１５）、デジタル比較回路（１４）およびデジタル記憶回路（１３）の共有を示し、図２ｄは、イベント生成回路（１５）、デジタル比較回路（１４）、デジタル記憶回路（１３）およびＡ／Ｄ変換回路（１３）の共有を示す。

【0082】

他の共有構成が可能であり、上記のリストはこれらの可能性を排除しないことに留意されたい。異なる機能を異なる程度まで、例えばＡ／Ｄ変換回路（１２）を４ピクセルにわたって、およびイベント生成回路（１５）を１６ピクセルにわたって共有することも可能である。他の構成も有利であり得る。

【0083】

本発明の１つの例示的な実施形態は、光照明強度信号を、線形関係を用いてアナログ電気信号に変換する。この実施形態は、フォトダイオードモードにおける電荷を統合し、画像捕捉用途について最適化された市販の標準セルを用いる低い光照明レベルにおいて有利である。

【0084】

本発明の更なる例示的な実施形態は、光照明強度信号を、対数関係を用いてアナログ電気信号に変換する。この実施形態は、出力アナログ信号が広範にわたる照明強度にわたって飽和しないため、ハイダイナミックレンジの光照明信号で有利である。

【0085】

本発明の更なる例示的な実施形態は、線形および対数関数、または類似の非線形関数の組み合わせを応答曲線として用いた変換の組み合わせを用いる。この実施形態は、良好な低光照明性能およびハイダイナミックレンジの双方を可能にするために有利である。第１の実施形態は、固定の構成を組み合わせた機能と共に用いる。

【0086】

更なる例示的な実施形態は、応答曲線がピクセルの完全な配列について動作中に変更されるような構成を可能にする。これは、好ましくは、画像センサアプリケーションの大域照明条件または動作モードに応じて実行される。

【0087】

更なる実施形態は、応答曲線がピクセルのサブセットについて独立して動作中に変更されるような構成を可能にする。これは、好ましくは、画像センサアプリケーションの局所的照明条件または注意の集中に応じて実行される。

【0088】

１つの例示的な実施形態において、図３によれば、アナログ（ＶＳＩＧ）からデジタルへの表現の変換が、ピクセル回路（１）における比較器およびピクセル回路に適用されるアナログ掃引信号を用いて行われる。比較器出力が切り替わるポイントに応じて、デジタル表現がデジタル記憶回路（１３）にコピーされる。

【0089】

導出される実施形態において、アナログ掃引信号は線形ランプであるが、更なる実施形態において、アナログ掃引信号は非線形ランプ、例えば指数関数ランプである。

【0090】

掃引信号は集中型で生成することができるため、非線形ランプの実施が有利である。なぜなら、この回路の追加の複雑度は、デバイスにおいて一度しか必要とされず、（ｉ）面積の節減、および（ｉｉ）全てのピクセルについて整合した機能がもたらされるためである。

【0091】

特に、ランプの変更を用いて、センサ回路（１１）における非理想性、または温度もしくは他の環境条件にわたる変動を補償することができる。

【0092】

特に、変更は、アナログ手段またはデジタル手段によって行うことができる。
特に、変更は、デバイスにおけるテストセルを参照して行うことができる。この実施は、テストセルにおいて反映される非理想性の補償が自動であるため、有利である。

【0093】

１つの例示的な実施形態において、同じアナログ掃引ランプが全体ピクセル配列と同時に提供される。導出される実施形態において、異なるアナログ掃引ランプが配列のサブセットに適用される。

【0094】

センサ回路（１１）の特性がピクセル配列にわたって変動し（計画的なセル変動またはプロセスもしくは光学構成に起因したもの）、この変動が様々なランプの提供により補償される場合、様々なランプの使用が有利である。

【0095】

更なる実施形態において、アナログ掃引ランプは、動作中に時折、画像センサの動作モードに従って変更される。

【0096】

１つの例示的な実施形態において、変化するデジタルコードは、アナログランプと同時に提供される。デジタル記憶回路（１３）に記憶されるデジタルコードは、比較器出力が切り替わるときのデジタルコードの値である。第１の実施形態において、コードはバイナリコードである。

【0097】

導出される実施形態において、デジタルコードはグレーコードである。グレーコードは、（ｉ）一度に１つのエッジのみが変化し、エッジの両側のコードが有効であるため、デジタル記憶との同期が必要とされず、（ｉｉ）グレーコードが、サイクルにわたってより少ないエッジを有し、電力消費が低減されるため、有利である。

【0098】

導出される実施形態において、アナログおよびデジタルコード掃引は、記憶および比較掃引、または複数の比較掃引に順次分離される。アナログ信号レベルとデジタルコードとの間の関係は、基準と比較掃引との間で変動する。この手法は、より単純なデジタル比較ロジックがピクセルにおいて必要とされるため、有利である。これにより、必要とされる面積を低減することができる。

【0099】

導出される実施形態において、ピクセルの異なるサブセットについて、アナログ掃引レベルとデジタルコードとの間の異なる関係が生成される。

【0100】

この手法は、デジタルコードが（ｉ）計算において、または（ｉｉ）デジタル回路とのタイミングにおいて、のいずれかで変動することができるため、有利である。これにより、複数のアナログランプの生成を上回る面積節減、および改善された柔軟性をもたらし、ピクセルの配列のサブセットの機能の補償または変更を可能にする。

【0101】

１つの例示的な実施形態において、記憶されたレベルと現在のレベルとの間のデジタル比較は、アナログ掃引中に連続して行われる。比較結果は、アナログ比較出力とデジタル比較との切り替えのタイミングに関係する。この実施形態において、ヒステリシス、または異なるイベント生成しきい値の実施は、相対的タイミングに基づいて行われる。

【0102】

１つの例示的な実施形態において、タイミングにおける変動は、クロックに基づいて生成される。更なる例示的な実施形態において、変動は、ピクセル回路内のタイマ回路により生成される。

【0103】

更なる例示的な実施形態において、記憶されたレベルと現在のレベルとの間のデジタル比較は、アナログ電圧掃引に後続して行われる。この実施形態は、ロジックが、連続した、例えばビット単位の要素を繰返し用いることができ、シリコン面積節減をもたらす場合に有利である。

【0104】

１つの例示的な実施形態において、連続ロジックは静的ロジックを用いて実行される。
更なる例示的な実施形態において、連続ロジックは動的ロジックを用いて実行される。
導出される実施形態において、デジタル比較は、以前の結果からのフィードバックを用いて行われる。これは通常、比較においてヒステリシスを実施するのに用いられ、ノイズの抑制およびスプリアスイベントの低減において有利である。

【0105】

導出される実施形態において、デジタル比較およびイベント生成は、イベントを生成するために異なる差分（＞１）を必要として実行される。これは、（ｉ）イベント数を低減するか、または（ｉｉ）イベントの生成の分解能を改善するために有利であり得る。

【0106】

必要とされる差分は、（ｉ）信号レベル、（ｉｉ）動作モード、例えば関心領域、（ｉｉｉ）隣接ピクセルレベル、（ｉｖ）ピクセルの以前のレベル、（ｖ）ピクセルの以前のイベント、（ｖｉ）隣接ピクセルのイベント、に依存することができる。

【0107】

導出される実施形態において、或る特定のレート未満のイベント生成レートはピクセル回路内で抑制される。これは、この情報が、後続の画像処理にとってより有用でなく、イベント抑制により電力および処理要件が低減するため、有利である。

【0108】

１つの例示的な実施形態において、イベント生成のためのデジタル条件は、隣接ピクセル回路のイベント生成に依存する。この動作は、例えば、スプリアスイベントの数を低減するためのイベントのフィルタリングを可能にする。

【0109】

１つの例示的な実施形態において、イベント生成のためのデジタル条件は、隣接ピクセル回路の記憶されるレベルに依存する。この動作は、例えば、エッジ付近の増大した感度を提供するためのイベントのフィルタリングを可能にする。

【0110】

１つの例示的な実施形態において、イベント生成のためのデジタル条件は、ピクセル回路の複数の記憶されたレベルに依存する。この動作は、例えば、スプリアスイベントの数を低減するためのアナログノイズのフィルタリングを可能にする。

【0111】

１つの例示的な実施形態において、サンプルレートは、外乱光源のフリッカ周波数と同期するように選択される。これは、この光源に起因したイベントの抑制を可能にするため、有利である。

【0112】

１つの例示的な実施形態において、イベント出力は、単一のイベントビット、例えばアップイベント、イベントなしである。換言すれば、アップイベントは、光強度の増大に対応する。

【0113】

更なる実施形態において、イベント出力は、２ビット、例えばアップおよびダウンである。換言すれば、イベント出力は、光強度またはセンサ信号ＶＳＩＧが、記憶された光強度レベルまたは記憶されたＶＳＩＧよりも大きいかまたは小さいかを示すことができる。

【0114】

更なる例示的な実施形態において、イベント出力は、変化の大きさのデジタル表現を含む。この実施形態は、イベント情報からの画像の完全な再構成を可能にするため、有利である。

【0115】

図４ａは、書き込まれる第１のピクセルとして左上のピクセルから開始して、第１の最上行および後続の行へと、右下のピクセルまで走査する特定の順序での完全な画像の書き込み情報を示し、図４ｂは、任意の順序での任意のピクセルへのランダムアクセスを示す。

【0116】

図４ａを参照すると、完全な基準画像を書き込むことができ、ここで、データは、画像データストリームを用いて全てのピクセルのデジタル記憶に書き込まれる。ピクセル情報は、特定の順番で供給することができる。完全な基準画像は、フレームデータを用いて定期的に更新することができる。

【0117】

次に、図４ｂを参照すると、ピクセルは、ランダムにアドレス指定された順序で特定のピクセルについて画像情報を順次書き込むように個々にアドレス指定することができる。

【0118】

基準画像データは、基準画像のピクセルレベル変化のみを含むデータストリームであるイベントストリームから書き込むことができる。イベントストリームは、基準画像データビデオフレームの圧縮バージョンを提供することができる。イベントストリームは、画像センサによって生成される出力データに適合することができる。これによって、書き戻しに用いられる基準ビデオキャプチャから同じイベントストリームが生成されることが可能になる。

【0119】

動的ビジョンセンサは、画像の一部における高速の変化に特に適し得る。高速イベントの書き戻しは、標準的なフレームベースのカメラには扱うことが困難であるかまたは不可能なビデオシーケンスのビデオの差別化を容易にすることができる。

【0120】

図５を参照すると、基準画像は、画像のオプティカルフロー計算に基づいた予測データとすることもできる。画像のセクションが或る特定のレート（オプティカルフロー）でピクセルアレイにわたって動いていると判断された場合、画像のセクションの予測される動きをピクセルアレイに書き込むことができる。次に、ピクセルアレイは、予測と実際の画像の動きとの間の誤差をイベントとして報告する。これらの誤差を用いて予測を精緻化することができる。

【0121】

図５において、長方形が矢印の方向に画像を横切って動くことが予想され、長方形の前および長方形の後ろのピクセルのピクセル情報が、新たな予測値で書き込まれる。

【0122】

更なる例示的な実施形態において、イベント出力は、変化の前および／または後の照明強度表現を含む。１つの実施形態において、ピクセルアレイ内に記憶された値のレベルを読み出すことが更に可能である。

【0123】

導出される実施形態において、ターゲットエリアからデジタル記憶された値は、選択的に、すなわちランダムアクセスにより読み出される。

【0124】

更なる実施形態において、デジタルレベルは、既存の共通イベント出力ラインを介して読み出される。１つの実施形態において、記憶されたデジタルレベルは、比較のための新たなまたは意図的に修正された基準を提供するためにピクセルの配列に書き込むことができる。導出される実施形態において、データのストリームは、イベント生成のための時間に依存した基準を意図的に提供するために記憶されたデジタルレベルに書き込まれる。

【0125】

関連する導出される実施形態において、データのストリームは、センサによって通常生成されるものに類似したイベントストリームである。

【0126】

１つの実施形態において、センサ回路（１１）は、そのピクセルのＶＳＩＧレベルを調整するために、記憶されたデジタルレベル、または隣接ピクセルの記憶されたデジタルレベルからのフィードバックを有する。この実施形態は、最小表面積において、例えばヒステリシス機能を実現するために有利であり得る。

【0127】

１つの例示的な実施形態において、比較器回路は、比較器の機能を調整する、通常はオフセットを追加するために、記憶されたデジタルレベルまたは隣接ピクセルの記憶されたデジタルレベルからのフィードバックを有する。この実施形態は、最小表面積において、例えばヒステリシス機能を実現するために有利であり得る。

【0128】

１つの例示的な実施形態において、サンプルレートは、動作時に時折、電気的に構成可能であるかまたは電気的に変更される。

【0129】

電力消費およびイベント生成レートは、サンプルレートに依存することができる。サンプルレートを低減することによって、静かな条件下で非常に低い電力モードが可能になる。さらに、低いサンプルレートを、センサ回路（１１）挙動の統合と組み合わせることにより、低い光条件における動作が可能になる。

【0130】

１つの例示的な実施形態において、サンプリングは、長期間にわたって完全に中断される。

【0131】

電力消費およびイベント生成レートは、サンプルレートに依存することができる。サンプリングを或る期間、例えば、１秒中断することによって、非常に低電力の動作が可能になるが、デジタル記憶に起因して、記録される画像の忠実性が保たれる。

【0132】

１つの例示的な実施形態において、アナログ信号レベル（ＶＳＩＧ）をピクセル配列から読み出すことができる。この実施形態は、共通イベント列ラインを用いて実現することができる。

【0133】

１つの例示的な実施形態において、画像センサは、複数の半導体層から構築され、ここで、各レベルの半導体プロセスタイプは、その層の機能について最適化される。この実施は、半導体プロセスの機能の最適化が、（ｉ）性能の改善、（ｉｉ）シリコン面積の低減、および後続する（ｉｉ）ａ）デバイスサイズおよび（ｉｉ）ｂ）デバイスコストの低減を可能にするため、有利である。変更された物理的構造により、（ｉ）曲線因子、（ｉｉ）量子効率について光学性能が改善し、制御信号ラインとフォトセンサ回路との間の電気的外乱が低減する。

【0134】

複数のピクセルは、通常、「行」および「列」を有する２次元グリッドで編成される。「行」および「列」の定義は、本発明に影響を及ぼすことなく交換可能であることに留意されたい。また、本発明の適用可能性に影響を及ぼすことなく、２次元グリッドにマッピングする他の幾何学的構成も可能であることにも留意されたい。

【0135】

最後的に、「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」という用語は、他の要素またはステップを除外するものではなく、「ａ」または「ａｎ」は複数を除外しないことに留意されたい。また、異なる実施形態と関連付けて記載した要素を組み合わせてもよい。特許請求の範囲における参照符号は、特許請求の範囲の適用範囲を限定するものと解釈されるべきでないことにも留意されたい。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5】

【手続補正書】

【提出日】2022-12-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ピクセルの配列と、少なくとも１つのピクセルに対応し、集積回路の一部として形成される複数の取得回路（１）とを備えるデルタ画像センサであって、各取得回路（１）は、
前記少なくとも１つのピクセルのフォトセンサを照明する光信号に応じて、センサ信号（ＶＳＩＧ）を生成するように構成された前記フォトセンサを備える少なくとも１つのセンサ回路（１１）と、
現在のＶＳＩＧに対応するデジタル表現を生成するように構成された少なくとも１つのアナログ／デジタル変換（Ａ／Ｄ）回路（１２）と、
以前のＶＳＩＧに対応する少なくとも１つのデジタル信号の表現を記憶するように構成された少なくとも１つのデジタル記憶回路（１３）と、
前記記憶された表現のレベルを前記現在のＶＳＩＧと比較して、変更されたレベルが存在するかどうかを検出するように構成された少なくとも１つのデジタル比較回路（１４）と、
前記変更されたレベルの条件下でイベント出力を生成するように構成された少なくとも１つのデジタル出力回路（１５）と、
を備え、
デジタル表現は、前記少なくとも１つのピクセルの前記デジタル記憶回路（１３）に外部から書き込まれる、画像センサ。

【請求項2】

デジタル表現は、データストリームから前記デジタル記憶回路（１３）に外部から書き込む、好ましくは基準画像または基準時間変動画像として前記画像センサに入力することができる、請求項１に記載の画像センサ。

【請求項3】

デジタル表現は、イベントストリームであるデータストリームからデジタル記憶回路（１３）に外部から書き込む、好ましくは基準画像または基準時間変動画像として前記画像センサに入力することができる、請求項１または２に記載の画像センサ。

【請求項4】

前記基準画像は、少なくとも１つのピクセル、好ましくは少なくとも１つのピクセルグループ、より好ましくは、全てのピクセルについての基準画像データを含み、および／または
前記基準画像は、好ましくはフレームデータを用いて定期的に更新され、好ましくは、前記基準画像データは特定の順序で供給される、請求項２または３に記載の画像センサ。

【請求項5】

前記少なくとも１つのピクセルまたは前記少なくとも１つのピクセルグループは、基準画像データをそれぞれ前記少なくとも１つのピクセルおよび前記少なくとも１つのピクセルグループに、好ましくはランダムにアドレス指定された順序で順次書き込むように個々にアドレス可能である、請求項４に記載の画像センサ。

【請求項6】

各取得回路（１）は、少なくとも２つのピクセル間で共有され、好ましくは、前記ピクセルは互いに隣接している、請求項１～５のいずれか１項に記載の画像センサ。

【請求項7】

前記センサ回路（１１）は、以下の関係、すなわち、
ａ）光強度に対する線形依存性、
ｂ）前記光強度に対する非線形の、好ましくは対数の依存性、および
ｃ）前記光強度に対する非線形および線形依存性の組み合わせ、
のうちの１つに基づいてＶＳＩＧを生成するように構成され、
好ましくは、前記関係は制御信号に応答して変更可能である、請求項１～６のいずれか１項に記載の画像センサ。

【請求項8】

前記センサ回路（１１）は、動作中に制御信号に応答して、好ましくは時折、前記光強度に対するＶＳＩＧの依存性を変更するように構成され、および／または、
前記センサ回路（１１）は、少なくとも１つのピクセルまたはピクセルのサブセットについて個々に、動作中に制御信号に応答して前記光強度に対する前記ＶＳＩＧの依存性を変更するように構成される、請求項１～７のいずれか１項に記載の画像センサ。

【請求項9】

ａ）前記アナログ／デジタル変換回路（１２）は、前記ＶＳＩＧを、以下の掃引信号、すなわち、
ａａ）掃引アナログ入力信号、および
ａｂ）連続掃引アナログ入力信号であって、ここで、前記掃引アナログ信号の各々が異なる差分関数を提供する、連続掃引アナログ入力信号、
のうちの１つと比較するように構成された比較器を備え、
好ましくは、前記入力信号は複数の変換回路（１２）に提供され、および／または、
ｂ）前記アナログ／デジタル変換回路（１２）は、少なくとも１つのピクセルに、前記掃引アナログ信号に並列して少なくとも１つのデジタルコードを提供するように更に構成され、
ｂａ）好ましくは、前記デジタルコードはグレーコード化デジタル信号であり、
ｂｂ）好ましくは、前記アナログ掃引信号と前記デジタルコードとの間の関係は、記憶ランプと比較ランプとの間で変更される、請求項１～８のいずれか１項に記載の画像センサ。

【請求項10】

ａ）前記掃引信号は線形ランプであるか、または
ｂ）前記掃引信号は非線形ランプであるか、または
ｃ）前記掃引信号は動作中に変更され、および／または
ｄ）前記掃引信号の期間は動作中に変更され、および／または
ｅ）前記掃引信号の前記リピートは、動作中に短期間または長期間にわたって中断することができ、および／または
ｆ）前記掃引信号のリピートレートは、好ましくはイベント出力を増大または抑制するように、前記フォトセンサを照明する前記光信号の光源変調に一致する１つまたは複数のリピートレートから選択される、請求項９に記載の画像センサ。

【請求項11】

前記画像センサは、掃引ランプ制限を設定するように構成された少なくとも１つの基準ピクセルを更に含み、
好ましくは、前記少なくとも１つの基準ピクセルは、前記ピクセルの配列の外側に位置決めされ、および／または
好ましくは、前記少なくとも１つの基準ピクセルは、基準条件下でバイアスされる、請求項９または１０に記載の画像センサ。

【請求項12】

前記デジタル比較回路（１４）は、前記アナログ信号の掃引中に前記記憶されたレベルとの比較を行うように構成されるか、または
前記デジタル比較回路（１４）は、前記アナログ入力信号の前記掃引後に前記記憶されたレベルとの比較を行うように構成される、請求項９～１１のいずれか１項に記載の画像センサ。

【請求項13】

ａ）前記デジタル比較回路（１４）は、前記ピクセル回路における静的ロジックを用いて比較を行うように構成されるか、または
ｂ）前記デジタル比較回路（１４）は、前記ピクセル回路における動的ロジックを用いて比較を行うように構成され、および／または
ｃ）前記デジタル比較回路（１４）は、ヒステリシスとの比較を行うように構成され、および／または
ｄ）前記デジタル比較回路（１４）は、動作時に時折変更される差分を要する比較を行うように構成される、請求項１～１２のいずれか１項に記載の画像センサ。

【請求項14】

前記出力回路（１５）は、隣接ピクセルにおける前記比較回路（１４）の比較結果に応じて出力を生成するように構成されるか、または
前記出力回路（１５）は、固定構成または動作中に変更される構成において隣接ピクセルの関数に応じて出力を生成するように構成され、好ましくは、前記関数は平均関数であり、および／または
前記出力回路（１５）は、前記比較の変化率が或る特定のしきい値を超えている場合、出力を生成するように構成される、請求項１～１３のいずれか１項に記載の画像センサ。

【請求項15】

ａ）前記出力回路（１５）は、隣接ピクセルにおける出力に応じて出力を生成するように構成されるか、または
ｂ）前記出力回路（１５）は、隣接ピクセルにおける前記記憶されたレベルに応じて出力を生成するように構成されるか、または
ｃ）前記出力回路（１５）は、複数の記憶された値に応じて出力を生成するように構成される、請求項１～１４のいずれか１項に記載の画像センサ。

【請求項16】

ａ）前記出力回路（１５）は、前記変更されたレベルの方向を示すイベント出力を生成するように構成され、および／または
ｂ）前記出力回路（１５）は、１つの方向において変更されたレベルのみを示すイベント出力を生成するように構成され、および／または
ｃ）前記出力回路（１５）は、前記変更されたレベルの大きさを示すイベント出力を生成するように構成され、および／または
ｄ）前記出力回路（１５）は、前記変更されたレベルの前および／または後の照明強度を示すイベント出力を生成するように構成される、請求項１～１５のいずれか１項に記載の画像センサ。

【請求項17】

ａ）前記デジタル記憶回路（１３）は、前記ピクセルの配列の出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および／または
ｂ）前記デジタル記憶回路（１３）は、イベント出力を有するピクセルについて選択的に前記ピクセルの配列の前記出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および／または
ｃ）前記デジタル記憶回路（１３）は、イベント列ラインを用いて前記出力ラインにおいて前記記憶されたデジタル表現を提供するように構成される、請求項１～１６のいずれか１項に記載の画像センサ。

【請求項18】

前記センサ回路（１１）は、前記記憶されたデジタルレベル、または隣接ピクセルの前記記憶されたデジタルレベルに対応する前記デジタル記憶回路（１３）からのフィードバックを受信し、前記センサ回路（１１）は前記フィードバックに応じてＶＳＩＧを生成するように構成され、および／または
前記Ａ／Ｄ回路（１２）は、前記記憶されたデジタルレベル、または隣接ピクセルの前記記憶されたデジタルレベルからフィードバックを受信し、前記フィードバックに応じて前記出力信号を調整するように構成される、請求項１～１７のいずれか１項に記載の画像センサ。

【請求項19】

前記センサ回路（１１）は、ＶＳＩＧのアナログ表現を提供するように構成され、および／または
前記画像センサは、複数の半導体層から構築され、各レベルは前記層の機能について最適化される、請求項１～１８のいずれか１項に記載の画像センサ。

【国際調査報告】