特許 7537687 長期中断可能動作を有するデジタル画素記憶を有するデルタ画像センサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】長期中断可能動作を有するデジタル画素記憶を有するデルタ画像センサ

(51)【国際特許分類】

   H04N 25/47 20230101AFI20240814BHJP

   H04N 25/707 20230101ALI20240814BHJP

   H04N 25/772 20230101ALI20240814BHJP

【ＦＩ】

H04N25/47

H04N25/707

H04N25/772

【請求項の数】 17

(21)【出願番号】P 2022575456

(86)(22)【出願日】2021-06-24

(65)【公表番号】

(43)【公表日】2023-07-18

(86)【国際出願番号】 EP2021067368

(87)【国際公開番号】W WO2021260122

(87)【国際公開日】2021-12-30

【審査請求日】2022-12-07

(31)【優先権主張番号】20182536.1

(32)【優先日】2020-06-26

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】521465072

【氏名又は名称】アルプセンテク・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＡＬＰＳＥＮＴＥＫ ＧＭＢＨ

(73)【特許権者】

【識別番号】521465061

【氏名又は名称】ベイジン・ルイスーヂーシン・テクノロジー・カンパニー・リミテッド

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＲＵＩＳＩＺＨＩＸＩＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ヂャー，インユン

(72)【発明者】

【氏名】ボシュトック，ロガー・マルク

(72)【発明者】

【氏名】ダン，ジエン

(72)【発明者】

【氏名】ゾウ，ユィ

【審査官】鈴木 明

(56)【参考文献】

【文献】国際公開第２０１４／１７４４９８（ＷＯ，Ａ１）

【文献】特表２０１８－５０１６７５（ＪＰ，Ａ）

【文献】特開２０１８－０６７７７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／００－２５／７９

(57)【特許請求の範囲】

【請求項1】

画素の配列と、少なくとも１つの画素に対応し、かつ集積回路の一部として形成された複数の取得回路（１）とを備えるデルタ画像センサであって、各取得回路（１）は、
前記少なくとも１つの画素の光センサを照明する光信号に応じてセンサ信号ＶＳＩＧを生成するように構成された光センサを備える少なくとも１つのセンサ回路（１１）と、
現在のＶＳＩＧに対応するデジタル表現を生成するように構成された少なくとも１つのアナログデジタル変換Ａ／Ｄ回路（１２）と、
以前のＶＳＩＧに対応する少なくとも１つのデジタル信号の表現を記憶するように構成された少なくとも１つのデジタル記憶回路（１３）と、
前記記憶された表現のレベルを前記現在のＶＳＩＧと比較して、変更されたレベルが存在するかどうかを検出するように構成された少なくとも１つのデジタル比較回路（１４）と、
前記変更されたレベルの条件下でイベント出力を生成するように構成された少なくとも１つのデジタル出力回路（１５）と、を含み、
前記アナログデジタル変換回路（１２）は、前記ＶＳＩＧを以下から選択される掃引信号のうちの１つと比較するように構成された比較器を備え、
ａａ）掃引アナログ信号、
ａｂ）掃引アナログ信号のシーケンスであって、前記シーケンスの前記掃引アナログ信号の各々が異なる差分関数を提供する、掃引アナログ信号のシーケンス、
前記掃引信号の反復は、動作中に短期間または長期間中断することができる、画像センサ。

【請求項2】

イベント発生間の時間は可変であり、および／または０．１秒～２４時間、好ましくは０．２秒～１時間、より好ましくは０．５秒～６０秒、最も好ましくは１～５秒の範囲である、請求項１に記載の画像センサ。

【請求項3】

前記掃引信号の反復速度は、好ましくはイベント出力を増大または抑制するために、前記光センサを照明する前記光信号の光源変調に対応する１つまたは複数の反復速度から選択される、請求項１または２に記載の画像センサ。

【請求項4】

各取得回路（１）は、少なくとも２つの画素間で共有され、好ましくは前記画素は互いに隣接している、請求項１から３のいずれか１項に記載の画像センサ。

【請求項5】

前記センサ回路（１１）は、以下の関係、すなわち、
ａ）光強度の線形依存性、
ｂ）前記光強度に対する非線形の、好ましくは対数の依存性、
ｃ）前記光強度に対する非線形依存性と線形依存性との組み合わせ、のうちの１つに基づいてＶＳＩＧを生成するように構成され、
好ましくは、前記関係は、制御信号に応答して変更可能である、請求項１から４のいずれか１項に記載の画像センサ。

【請求項6】

前記センサ回路（１１）は、動作中に、好ましくは時々、制御信号に応答して光強度に対するＶＳＩＧの依存性を変更するように構成され、および／または
前記センサ回路（１１）は、少なくとも１つの画素または画素のサブセットについて個別に、動作中に制御信号に応答して前記光強度に対するＶＳＩＧの依存性を変更するように構成されている、請求項１から５のいずれか１項に記載の画像センサ。

【請求項7】

前記掃引信号は複数の変換回路（１２）に提供され、および／または
ｂ）前記アナログデジタル変換回路（１２）は、前記掃引信号と並列の少なくとも１つのデジタルコードを少なくとも１つの画素に提供するようにさらに構成され、
ｂａ）好ましくは、前記デジタルコードは、グレイコード化されたデジタル信号であり、
ｂｂ）好ましくは、前記掃引信号と前記デジタルコードとの間の関係は、記憶ランプと比較ランプとの間で変更される、請求項３から６のいずれか１項に記載の画像センサ。

【請求項8】

ａ）前記掃引信号は線形ランプであり、または
ｂ）前記掃引信号は非線形ランプであり、または
ｃ）前記掃引信号は動作中に変更され、および／または
ｄ）前記掃引信号の周期は、動作中に変更される、
請求項７に記載の画像センサ。

【請求項9】

掃引ランプ限界を設定するように構成された少なくとも１つの基準画素をさらに備え、
好ましくは、前記少なくとも１つの基準画素は、前記画素の配列の外側に配置され、および／または、
好ましくは、前記少なくとも１つの参照画素は、参照条件下でバイアスされる、請求項７または８に記載の画像センサ。

【請求項10】

前記デジタル比較回路（１４）は、前記掃引信号の掃引中に前記記憶された表現の前記レベルとの比較を実行するように構成されるか、または
前記デジタル比較回路（１４）は、前記掃引信号の掃引後に前記記憶された表現の前記レベルとの比較を行うように構成されている、請求項７から９のいずれか１項に記載の画像センサ。

【請求項11】

ａ）前記デジタル比較回路（１４）は、前記画素内の静的論理を使用して比較を実行するように構成されるか、または
ｂ）前記デジタル比較回路（１４）は、前記画素内の動的論理を使用して比較を実行するように構成される、および／または
ｃ）前記デジタル比較回路（１４）は、ヒステリシスとの比較を実行するように構成される、および／または
ｄ）前記デジタル比較回路（１４）は、動作中に時々変化する差を必要とする比較を実行するように構成されている、
請求項１から１０のいずれか１項に記載の画像センサ。

【請求項12】

前記出力回路（１５）は、隣接する画素における前記比較回路（１４）の比較結果に依存する出力を生成するように構成されるか、または、
前記出力回路（１５）は、固定構成または動作中に変更される構成において隣接する画素の関数に依存する出力を生成するように構成され、好ましくは前記関数は平均関数であり、および／または
前記出力回路（１５）は、前記比較の前記比較の変化率が特定の閾値を超える場合に出力を生成するように構成されている、請求項１から１１のいずれか１項に記載の画像センサ。

【請求項13】

ａ）前記出力回路（１５）は、隣接する画素の出力に依存する出力を生成するように構成されるか、または
ｂ）前記出力回路（１５）は、隣接する画素内の前記記憶された表現の前記レベルに依存する出力を生成するように構成されるか、または
ｃ）前記出力回路（１５）は、複数の記憶された値に依存する出力を生成するように構成されている、
請求項１から１２のいずれか１項に記載の画像センサ。

【請求項14】

ａ）前記出力回路（１５）は、前記変更されたレベルの方向を示すイベント出力を生成するように構成される、および／または
ｂ）前記出力回路（１５）は、一方向に変化したレベルのみを示すイベント出力を生成するように構成される、および／または
ｃ）前記出力回路（１５）は、前記変更されたレベルの大きさを示すイベント出力を生成するように構成される、および／または
ｄ）前記出力回路（１５）は、前記変更されたレベルの前および／または後の照明の大きさを示すイベント出力を生成するように構成されている、
請求項１から１３のいずれか１項に記載の画像センサ。

【請求項15】

ａ）前記デジタル記憶回路（１３）は、前記記憶されたデジタル表現を前記画素の配列の出力線に提供するように構成される、および／または
ｂ）前記デジタル記憶回路（１３）は、イベント出力を有する画素に対して選択的に前記画素の配列の前記出力線に前記記憶されたデジタル表現を提供するように構成される、および／または
ｃ）前記デジタル記憶回路（１３）は、イベント列線を使用して前記出力線に前記記憶されたデジタル表現を提供するように構成される、および／または
ｄ）前記デジタル記憶回路（１３）は、前記記憶されたデジタル表現を前記画素に書き込むように構成される、および／または
ｅ）前記デジタル記憶回路（１３）は、データストリームから前記記憶されたデジタル表現を書き込むように構成される、および／または
ｆ）前記デジタル記憶回路（１３）は、イベントストリームであるデータストリームから前記記憶されたデジタル表現を書き込むように構成されている、
請求項１から１４のいずれか１項に記載の画像センサ。

【請求項16】

前記センサ回路（１１）は、前記記憶されたデジタルレベル、または隣接する画素の前記記憶されたデジタルレベルに対応するフィードバックを前記デジタル記憶回路（１３）から受信し、前記センサ回路（１１）は、前記フィードバックに応じてＶＳＩＧを生成するように構成され、および／または
前記Ａ／Ｄ回路（１２）は、前記記憶されたデジタルレベル、または隣接する画素の前記記憶されたデジタルレベルからフィードバックを受信し、前記フィードバックに応じて出力信号を調整するように構成されている、請求項１から１５のいずれか１項に記載の画像センサ。

【請求項17】

前記センサ回路（１１）は、ＶＳＩＧのアナログ表現を提供するように構成される、および／または
前記画像センサは複数の半導体層で構成され、各レベルはその層の機能に合わせて最適化される、請求項１から１６のいずれか１項に記載の画像センサ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の画素回路を備える画像センサに関する。

【背景技術】

【0002】

画素ごとに、または画素の小さなサブセットごとに１つのＡＤＣを有する画像センサが周知である。これらは、通常、画素内で重要な処理が実行される用途（例えば、Ｘ線粒子追跡または衛星撮像）で使用される。

【0003】

各画素が比較器を含むシングルスロープＡＤＣを有する画像センサが知られており、例えば、Ｒｅｃｋｌｅｂｅｎら２０１５年、Ｓｕａｒｅｚら２０１０年、およびＣｈｉら２０１０年である。特に、Ｓｕａｒｅｚらは、画素配列のためのアナログ勾配およびデジタルコードを一体的に作成し、デジタルコードを画素に提供する。

【0004】

デジタル値が画素の内部に記憶され、イベント変化データを作成するためにサンプル間で比較される画像センサは知られていない。本発明は、高解像度およびコスト最適化されたセンサを生成する面積最適化された小画素構造を可能にする。

【0005】

以前の照度レベルの表現が画素にデジタル的に記憶され、イベント変化データを作成するためにサンプル間で比較される画像センサは、国際公開第２０１４／１７４４９８号パンフレットから知られているが、Ｉｔｏｈらによる「４－Ｌａｙｅｒ ３－Ｄ ＩＣ ｗｉｔｈ ａ ｆｕｎｃｔｉｏｎ ｏｆ ｐａｒａｌｌｅｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ」、Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ｅｎｇｉｎｅｅｒｉｎｇ、ｖｏｌ１５、ｎｏ．１－４、１９９１年、１８７－１９０ページは、先に、固定レベルとの単純な単一ビット画素比較を有する概念的に関連する構造を提案した。

【0006】

画像画素レベル変化の検出、およびアナログ領域での記憶および比較を使用したイベント生成を有する画像センサは、例えばＣｈｉらによる「ＣＭＯＳ Ｃａｍｅｒａ Ｗｉｔｈ Ｉｎ－Ｐｉｘｅｌ Ｔｅｍｐｏｒａｌ Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ ＡＤＣ」、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ、ｖｏｌ．４２、ｎｏ．１０、２００７年、２１８７－２１９６ページが知られている。アナログ領域での比較および記憶は、デジタルアプローチを超える利点（例えばコンパクトな実現）および欠点（例えば、「ホットピクセル」を含む緩やかな記憶劣化、ミスマッチに対する感度、光の電気変換機能に対する柔軟性の低下）を提供する。

【0007】

画素間で回路を共有する画像センサは周知であり、例えば韓国公開公報第２０２０－００２９３２８号明細書である。

【0008】

ストロボ効果の使用、ならびに外乱（不要信号）の期間にわたって平均化または同期化することによる高調波の抑制が一般に知られており、例えば米国特許出願公開第２０１５／３５８５７０号明細書では、この技術は、可変光源を検出して同期化し、次いで光源への応答を抑制するためにカメラに適用される。

【0009】

国際公開第２０２０／０８０３８３号パンフレットは、隣接する画素のイベントステータス（単一ビット）に基づいて、１つの画素からのイベントを無視するフィルタを有するイベントベースの動的視覚センサを開示している。

【0010】

Ｔ．Ｄｅｌｂｒｕｃｋによる「Ｆｒａｍｅ－ｆｒｅｅ ｄｙｎａｍｉｃ ｄｉｇｉｔａｌ ｖｉｓｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｅｃｕｒｅ Ｌｉｆｅ Ｅｌｅｃｔｒｏｎｉｃｓ、Ａｄｖａｎｃｅｄ Ｅｌｅｃｔｒｏｎｉｃｓ ｆｏｒ Ｑｕａｌｉｔｙ Ｌｉｆｅ ａｎｄ Ｓｏｃｉｅｔｙ、２００８年、２１－２６ページは、その画素の最後のイベントのタイムスタンプ、または隣接する画素のタイムスタンプに基づいて動的視覚センサからのイベントをフィルタリングすることを開示している。この処理は画素アレイの外側で実行され、後続のフィルタリングのために、計算コストが高い方法（３２ビットのタイムスタンプ）で、アレイからイベントを送信する必要がある。

【0011】

欧州特許出願公開第３３１３０６４号明細書は、アナログ記憶の動的視覚センサを開示しており、１つの比較器入力は、画素照度の以前の値の表現であり、その後比較に使用される。これは、デジタルイベント出力が生成されるときにイネーブル（サンプリング）されるアナログ比較器の後続の機能を制御するための以前のレベルからのアナログフィードバックと考えることができる。

【0012】

欧州特許出願公開第２９３３９９５号明細書は、閾値以下の動作でトランジスタを使用する動的視覚センサの標準的なアナログ記憶の実装における拙劣な不一致の問題に対処している。このトランジスタモードでの動作は限られた範囲にわたってのみ正しく機能するため、アレイ全体の取得回路のアナログ部分へのグローバルアナログフィードバックを使用して満足のいく動作を得る。

【発明の概要】

【課題を解決するための手段】

【0013】

画素内の以前の照度の表現のデジタル記憶を有する改良された画素回路を備えるデルタ画像センサが必要とされる場合がある。

【0014】

そのような必要性は、独立請求項の主題によって満たされ得る。有利な実施形態は、従属請求項に定義されている。

【0015】

本発明の基礎となる実施形態の考えは、とりわけ、以下の観察および認識に基づいていると解釈され得る。

【0016】

ＣＭＯＳ（相補型金属酸化シリコン）画像センサは、特殊なプロセスにおいて大量に最適化された鋳造プロセスで製造される。ＣＭＯＳデジタル論理デバイスは、大量の最適化された鋳造プロセスで製造される。両方のプロセスの密度、特に論理プロセスの密度が増加している。密度の増加は、画像センサ内の画素回路に関連するデジタルの複雑さの増加を可能にする。

【0017】

画素回路内の以前のレベルのデジタル記憶は、記憶の忠実度および記憶されたレベルの後続の処理において利点を有する。

【0018】

レベルのローカル処理は、冗長データの伝播および処理が制限されるため、電力および面積において効率的な利点を有する。

【0019】

本発明は、デジタル変換および記憶が、経時的な差の局所的評価ならびにイベント情報の配置、準備および伝播と共に画素回路内で組み合わされる構造および方法を開示する。

【0020】

本発明は、独立請求項に定義される。従属請求項は、その好ましい実施形態を記載する。

【0021】

本発明は、画素の配列と、少なくとも１つの画素に対応し、かつ集積回路の一部として形成された複数の取得回路とを備えるデルタ画像センサに関する。各取得回路は、少なくとも１つの画素の光センサを照明する光信号に応じてセンサ信号ＶＳＩＧを生成するように構成された光センサを備える少なくとも１つのセンサ回路と、現在のＶＳＩＧに対応するデジタル表現を生成するように構成された少なくとも１つのアナログデジタル変換回路とを含む。少なくとも１つのデジタル記憶回路は、少なくとも１つの以前のＶＳＩＧの表現を記憶するように構成される。少なくとも１つのデジタル比較回路は、記憶された表現のレベルを現在のＶＳＩＧと比較して、変更されたレベルが存在するかどうかを検出するように構成される。少なくとも１つのデジタル出力回路は、変更されたレベルの条件下でイベント出力を生成するように構成される。

【0022】

様々な実施形態は、好ましくは、以下の特徴を実装することができる。
好ましくは、イベント発生間の時間は可変であり、および／または０．１秒～２４時間、好ましくは０．２秒～１時間、より好ましくは０．５秒～６０秒、最も好ましくは１～５秒の範囲である。

【0023】

アナログデジタル変換回路は、ＶＳＩＧを掃引信号と比較するように構成された比較器を備えることができ、掃引信号の反復は、動作中に短期間または長期間中断することができ、および／または掃引信号の反復速度は、好ましくはイベント出力を増大または抑制するために、光センサを照明する光信号の光源変調に対応する１つまたは複数の反復速度から選択される。

【0024】

各取得回路は、集積回路または集積回路の一部として形成されてもよい。取得回路は、本明細書全体を通して画素回路とも呼ばれ得る。少なくとも１つのセンサ回路は、センサ信号を連続的または周期的に生成することができる。アナログデジタル変換回路は、現在のＶＳＩＧをデジタル信号に変換することができる。したがって、デジタル記憶回路は、以前のＶＳＩＧに対応する少なくとも１つのデジタル信号の表現を記憶するように構成されてもよい。現在および以前のＶＳＩＧのデジタル表現は、少なくとも１つのデジタル比較回路によって比較されてもよい。以前のＶＳＩＧ、またはＶＳＩＧのデジタル表現は、それぞれ、任意の以前のサンプル期間に生成され、デジタル記憶回路に記憶された信号に対応してもよい。これはまた、外部に提供され、基準信号として記憶されてもよい。また、少なくとも１つのイベント出力線は、デルタ画像センサからのイベント出力を出力するために回路内に含まれてもよい。少なくとも１つのイベント出力線はまた、複数のデジタル出力回路によって共有されてもよい。

【0025】

好ましくは、各取得回路は少なくとも２つの画素間で共有され、好ましくは画素は互いに隣接している。

【0026】

好ましくは、センサ回路は、以下の関係、すなわち、
ａ）光強度の線形依存性、
ｂ）光強度に対する非線形の、好ましくは対数の依存性、
ｃ）光強度に対する非線形依存性と線形依存性との組み合わせ、のうちの１つに基づいてＶＳＩＧを生成するように構成され、
好ましくは、関係は、制御信号に応答して変更可能である。

【0027】

制御信号は、画素のアレイおよび取得回路の外側から提供されてもよい。アレイ全体に対して１つの制御信号があってもよく、またはより多くの対象があってもよい。

【0028】

好ましくは、センサ回路は、動作中に、好ましくは時々、制御信号に応答して光強度に対するＶＳＩＧの依存性を変更するように構成され、および／またはセンサ回路は、少なくとも１つの画素または画素のサブセットについて個別に、動作中に制御信号に応答して光強度に対するＶＳＩＧの依存性を変更するように構成される。

【0029】

制御信号は、グローバル光強度または動作モードの変化に起因して時々変化し得る。制御信号の時々の変化を生成するための別個の回路が設けられてもよい。

【0030】

画像センサは、好ましくは、以下の特徴をさらに実装することができる。
ａ）アナログデジタル変換回路は、ＶＳＩＧを以下の掃引信号のうちの１つと比較するように構成された比較器を備えることができる。

【0031】

ａａ）掃引アナログ入力信号、および
ａｂ）順次掃引アナログ入力信号であって、各々が異なる差分関数を提供する、順次掃引アナログ入力信号、
好ましくは、入力信号は複数の変換回路に提供される。および／または
ｂ）アナログデジタル変換回路は、掃引アナログ信号と並列の少なくとも１つのデジタルコードを少なくとも１つの画素に提供するようにさらに構成されてもよい。

【0032】

ｂａ）好ましくは、デジタルコードは、グレイコード化されたデジタル信号であり、
ｂｂ）好ましくは、アナログ掃引信号とデジタルコードとの間の関係は、記憶ランプと比較ランプとの間で変更される。

【0033】

さらに、
ａ）掃引信号は線形ランプであってもよく、または
ｂ）掃引信号は非線形ランプであってもよく、または
ｃ）掃引信号は動作中に変更されてもよく、および／または
ｄ）掃引信号の周期は、動作中に変更されてもよい。

【0034】

特に、掃引信号の反復速度は、好ましくは、ターゲット、例えば所与の周波数を有する光源に対する応答を増加または抑制するために、または所与の周波数を有する外乱に対する応答を抑制するために、光センサを照明する光信号の光源変調に対応する１つまたは複数の反復速度から選択されてもよい。

【0035】

好ましくは、画像センサは、掃引ランプ限界を設定するように構成された少なくとも１つの基準画素をさらに備え、好ましくは、少なくとも１つの基準画素は、画素の配列の外側に配置され、および／または好ましくは、少なくとも１つの基準画素は、基準条件下でバイアスされる。

【0036】

好ましくは、デジタル比較回路は、アナログ信号の掃引中に記憶レベルとの比較を実行するように構成されるか、またはデジタル比較回路は、アナログ信号の掃引後に記憶レベルとの比較を実行するように構成される。

【0037】

「アナログ信号の掃引中」および「掃引アナログ信号中」は、同じプロセスを示すことができる。

【0038】

特に、アナログ信号の掃引中に比較が実行される場合、Ａ／Ｄ出力値は記憶する必要はなく、比較の結果のみが記憶される。これにより、メモリ要件は少なくなるが、比較は多くなる。アナログ信号の掃引後に比較を行う場合、Ａ／Ｄ出力値を記憶する必要はない。これは、メモリ要件を増加させるが、必要な比較の数を減少させる。

【0039】

好ましくは、
ａ）デジタル比較回路は、画素回路内の静的論理を使用して比較を実行するように構成されるか、または
ｂ）デジタル比較回路は、画素回路内の動的論理を使用して比較を実行するように構成される、および／または
ｃ）デジタル比較回路は、ヒステリシスとの比較を実行するように構成される、および／または
ｄ）デジタル比較回路は、動作中に時々変化する差を必要とする比較を実行するように構成される。

【0040】

好ましくは、出力回路は、隣接する画素における比較回路の比較結果に依存する出力を生成するように構成されるか、または出力回路は、固定構成または動作中に変更される構成において隣接する画素の関数に依存する出力を生成するように構成され、好ましくは、関数は平均関数であり、および／または出力回路は、比較の変化率が特定の閾値を超える場合に出力を生成するように構成される。

【0041】

好ましくは、
ａ）出力回路は、隣接する画素の出力に依存する出力を生成するように構成されるか、または
ｂ）出力回路は、隣接する画素内の記憶レベルに依存する出力を生成するように構成されるか、または
ｃ）出力回路は、複数の記憶された値に依存する出力を生成するように構成される。

【0042】

好ましくは、
ａ）出力回路は、変更されたレベルの方向を示すイベント出力を生成するように構成される、および／または、
ｂ）出力回路は、一方向に変化したレベルのみを示すイベント出力を生成するように構成される、および／または、
ｃ）出力回路は、変更されたレベルの大きさを示すイベント出力を生成するように構成される、および／または
ｄ）出力回路は、変更されたレベルの前および／または後の照明の強度を示すイベント出力を生成するように構成される。

【0043】

好ましくは、
ａ）デジタル記憶回路は、記憶されたデジタル表現を画素の配列の出力線に提供するように構成される、および／または
ｂ）デジタル記憶回路は、イベント出力を有する画素に対して選択的に画素の配列の出力線に記憶されたデジタル表現を提供するように構成される、および／または
ｃ）デジタル記憶回路は、イベント列線を使用して出力線に記憶されたデジタル表現を提供するように構成される、および／または
ｄ）デジタル記憶回路は、記憶されたデジタル表現を画素に書き込むように構成される、および／または
ｅ）デジタル記憶回路は、データストリームから記憶されたデジタル表現を書き込むように構成される、および／または
ｆ）デジタル記憶回路は、イベントストリームであるデータストリームから記憶されたデジタル表現を書き込むように構成される。

【0044】

出力線は、単一または複数の数で提供されてもよい。それらはまた、出力回路間で共有されてもよい。また、出力回路を設けてもよい。

【0045】

さらに、取得回路内の記憶されたデジタル表現は、アレイの外側から書き込まれてもよい。以前の出力は、記憶された画素デジタルレベルに書き戻されて、回路の変更基準を提供することができる。その後、回路は、基準に対する変化のみを報告する。通常、画像データはすべての画素を表す。しかしながら、イベントストリームは変化のみを含み、したがってより少ないデータを含む。したがって、イベントストリームを書き戻すことは、より低いデータレートを可能にする。

【0046】

好ましくは、センサ回路は、記憶されたデジタルレベル、または隣接する画素の記憶されたデジタルレベルに対応するフィードバックをデジタル記憶回路から受信し、センサ回路は、フィードバックに応じてＶＳＩＧを生成するように構成される。Ａ／Ｄ回路は、記憶されたデジタルレベル、または隣接する画素の記憶されたデジタルレベルからフィードバックを受信することができ、フィードバックに応じて出力信号を調整するように構成することができる。

【0047】

好ましくは、センサ回路はＶＳＩＧを提供するように構成される、および／または画像センサは複数の半導体層で構成され、各レベルはその層の機能に合わせて最適化される。

【0048】

特に、ＶＳＩＧのアナログ表現またはアナログレベルを提供し、回路またはアレイから直接読み出すことができる。

【0049】

取得回路のグループは、共通または複数の共通のイベント出力線に接続されてもよい。
取得回路のグループは、以下の回路素子、（ａ）デジタル出力回路、（ｂ）デジタル比較回路、（ｃ）追加的なデジタル記憶回路、（ｄ）追加的なアナログデジタル変換回路、のうちの少なくとも１つを共有することができる。図は代表的なものであり、共有要素の他の組み合わせは除外されない。

【0050】

本開示はまた、掃引アナログ信号およびデジタルコードを有する比較器を使用するアナログデジタル変換の実施態様を含むことができる。

【0051】

本発明は、マルチシリコン層デバイス上でのイベント生成を提供するが、これは上記に挙げたＩｔｏｈらによっては開示されていない。

【0052】

画像センサ内の画素間の共有回路（例えば、韓国公開公報第２０２０－００２９３２８号明細書）は、高密度画素アレイおよび高画素解像度を形成するために画像センサ設計において重要である。本発明は、デジタル記憶およびイベント計算を時系列的に使用し、これは、性能を低下させることなく画素間でリソースを共有するのに特に適している。

【0053】

さらに、本発明は、米国特許出願公開第２０１５／３５８５７０号明細書によって開示された技術の使用を動的視覚センサに拡張し、グローバルタイミングでのデジタル記憶および処理の使用が効率的であり、生成されるイベントの数の低減における影響が、電力消費およびその後の処理にとって重要である。

【0054】

画素内デジタル記憶によって可能にされる本発明は、隣接する画素内の記憶されたデジタルレベル（複数ビット）に基づいてイベントを選択的に生成することができる。この選択的フィルタリングの特定の構成は、国際公開第２０２０／０８０３８３号パンフレットによって開示されている単一ビットフィルタリングと同じ結果を達成するために使用することができる。

【0055】

加えて、例えば上記に挙げたＴ．Ｄｅｌｂｒｕｃｋと比較して、本発明は、タイムスタンプの複雑さを低減するためのＡ／Ｄ変換技術に起因する固有のタイムベースを有し、さらなる送信なしでイベントのローカル、デジタル、時間的フィルタリングを可能にする。

【0056】

本発明は、記憶されたデジタルレベルまたはイベント出力に基づいてアナログ回路パラメータを変調するが、これは、このフィードバックがデジタル制御下のスイッチによって効率的に実現される（表面積）ためであり、欧州特許出願公開第３３１３０６４号明細書の上記の開示とは異なる。

【0057】

上記の欧州特許出願公開第２９３３９９５号明細書と比較して、本発明は、ローカルに記憶された画素デジタルレベルまたはイベント出力に基づくアナログ回路パラメータの変調を提案するが、これは、このフィードバックがデジタル制御下のスイッチによって効率的に実現される（表面積）ためである。これは、欧州特許出願公開第２９３３９９５号明細書に関して機能（画素ローカル）、実装（デジタル制御）および目的が異なる。

【0058】

本発明は、デジタル画素内変換および記憶の利点を使用して、高解像度およびコスト最適化されたセンサを生成する面積最適化された（小）画素構造を可能にする。

【0059】

本発明を、図面を参照してさらに説明する。ここで、図１～図３は、本発明の例示的な実施形態を示す。

【図面の簡単な説明】

【0060】

【図1】本発明によるデルタ画像センサの第１の例示的な構成を概略的に示す。

【図2】本発明によるデルタ画像センサのさらなる例示的な構成を概略的に示し、図２ａはイベント生成回路の共有を示し、図２ｂはイベント生成回路およびデジタル比較回路の共有を示し、図２ｃは、イベント生成回路、デジタル比較回路およびデジタル記憶回路の共有を示し、図２ｄは、イベント生成回路、デジタル比較回路、デジタル記憶回路およびＡ／Ｄ変換回路の共有を示す。

【図3】アナログ（ＶＳＩＧ）表現からデジタル表現への変換が画素回路内の比較器を使用して実行され、アナログ掃引信号が画素回路に印加される例示的な実施形態を示す。

【発明を実施するための形態】

【0061】

同一の参照番号は、図中の同一または類似の構成要素を示す。したがって、重複する説明は省略する。

【0062】

図１は、本発明による第１の例示的な構成を概略的に示している。画像センサとも呼ばれるデルタ画像センサは、画素の配列と、少なくとも１つの取得回路（１）とを備える。取得回路（１）は、画素回路と呼ばれることもある。回路は、集積回路の一部として形成される。各画素の取得回路（１）は、少なくとも１つの画素の光センサを照明する光信号または照度に依存するセンサ信号（ＶＳＩＧ）を生成する光センサと、少なくとも１つのアナログデジタル変換回路（１２、Ａ／Ｄ変換器）とを備える少なくとも１つのセンサ回路（１１）を備える。デジタル変換回路（１２）は、センサ回路（１１）の出力に接続されてもよい。少なくとも１つのデジタル記憶回路（１３）は、以前のＶＳＩＧに対応する少なくとも１つのデジタル信号の表現を記憶するように構成される。デジタル記憶回路（１３）は、Ａ／Ｄ変換器（１２）の出力に接続されてもよい。少なくとも１つのデジタル比較回路（１４）は、記憶された表現のレベルを現在のＶＳＩＧと比較して、変更されたレベルが存在するかどうかを検出するように構成される。デジタル比較回路（１４）は、デジタル記憶回路（１３）の出力およびＡ／Ｄ変換器（１２）の出力に接続されてもよい。少なくとも１つのデジタル出力回路（１５）またはデジタルイベント生成回路は、変更されたレベルの条件下でイベント出力を生成するように構成される。出力回路（１５）は、デジタル比較回路（１４）の出力に接続されてもよい。

【0063】

少なくとも１つのイベント出力線（１６）は、デルタ画像センサから出力されたイベントを出力するために、画素回路（１）内または画素回路（１）の外側に含まれてもよい。少なくとも１つのイベント出力線（１６）はまた、複数のデジタル出力回路（１５）によって共有されてもよい。

【0064】

この第１の例示的な画素構成は、ある間隔にわたって変化した照度の検出を可能にする。デジタル比較回路（１４）が、記憶された信号のデジタル表現と間隔後のデジタル表現との差を検出し、この差が所与の基準を満たす場合、イベントが生成され、変化の事実が画像センサの出力においてイベント情報として報告される。

【0065】

レベルのデジタル記憶は、（ｉ）記憶レベルが時間とともに劣化しない、（ｉｉ）記憶回路（１３）が物理的により小さくなり得る、（ｉｉｉ）値が隣接するセルにおいて容易に使用され得る、（ｉｖ）値が他の画素または以前の値との組み合わせ関数の実現により柔軟に使用され得る、というように、ある範囲の用途において優先され得る。

【0066】

さらなる構成例では、図２に示されるように、画素回路の一部が画素のサブセット間で共有される。次いで、共有要素の使用は時系列的に実行される。

【0067】

図２ａは、イベント生成回路（１５）の共有を示し、図２ｂは、イベント生成回路（１５）およびデジタル比較回路（１４）の共有を示し、図２ｃは、イベント生成回路（１５）、デジタル比較回路（１４）、およびデジタル記憶回路（１３）の共有を示し、図２ｄは、イベント生成回路（１５）、デジタル比較回路（１４）、デジタル記憶回路（１３）およびＡ／Ｄ変換回路（１３）の共有を示す。

【0068】

他の共有構成も可能であり、上記のリストはこれらの可能性を除外しないことに留意されたい。例えば、Ａ／Ｄ変換回路（１２）を４を超える画素で、イベント生成回路（１５）を１６を超える画素でなど、異なる機能を異なる程度で共有することも可能である。他の構成も有利であり得る。

【0069】

本発明の１つの例示的な実施形態は、光照度信号を線形関係を有するアナログ電気信号に変換する。この実施形態は、フォトダイオードモードで電荷を集積し、画像捕捉用途のために最適化された市販の標準セルを使用する低い光照射レベルで有利である。

【0070】

本発明のさらなる例示的な実施形態は、光照度信号を対数関係を有するアナログ電気信号に変換する。この実施形態は、出力アナログ信号が広範囲の照度にわたって飽和しないため、光照明信号の高ダイナミックレンジで有利である。

【0071】

本発明のさらなる例示的な実施形態は、線形関数および対数関数、または同様の非線形関数の組み合わせを応答曲線として使用する変換の組み合わせを使用する。この実施形態は、良好な低照明性能および高ダイナミックレンジの両方を可能にするのに有利である。第１の実施形態は、機能を組み合わせた固定構成を用いる。

【0072】

さらなる例示的な実施形態は、動作中に画素の全配列に対して応答曲線が変更されるような構成を可能にする。これは、好ましくは、グローバル照明条件または画像センサアプリケーションの動作モードに応じて実行される。

【0073】

さらなる実施形態は、動作中に画素のサブセットに対して独立して応答曲線が変更されるような構成を可能にする。これは、好ましくは、ローカル照明条件または画像センサアプリケーションの焦点に応じて実行される。

【0074】

例示的な一実施形態では、図３によれば、アナログ（ＶＳＩＧ）からデジタル表現への変換は、画素回路（１）内の比較器、および画素回路に印加されるアナログ掃引信号を使用して実行される。比較器出力がトグルする点に応じて、デジタル表現がデジタル記憶回路（１３）にコピーされる。

【0075】

導出された実施形態では、アナログ掃引信号は線形ランプであり、さらなる実施形態では、アナログ掃引信号は非線形ランプ、例えば指数ランプである。

【0076】

掃引信号は中央で生成され得るので、非線形ランプの実装は、この回路の追加の複雑さがデバイス上で１回だけ必要とされ、（ｉ）面積節約、および（ｉｉ）すべての画素の一致関数を提供するので有利である。

【0077】

特に、ランプの変更は、センサ回路（１１）内の非理想性を補償するために、または温度もしくは他の環境条件にわたる変動を補償するために使用することができる。

【0078】

特に、変更は、アナログまたはデジタル手段によって実行されてもよい。
特に、変更は、デバイス上の試験セルを参照して実施されてもよい。この実施態様は、試験セルに反映された非理想性の補償が自動的であるため有利である。

【0079】

例示的な一実施形態では、同じアナログ掃引ランプが画素配列全体に同時に提供される。導出された実施形態では、異なるアナログ掃引ランプが配列のサブセットに適用される。

【0080】

異なるランプの使用は、センサ回路（１１）の特性が画素配列にわたって変化し（意図的なセル変動またはプロセスもしくは光学構成による）、この変動が異なるランプの提供によって補償される場合に有利である。

【0081】

さらなる実施形態では、アナログ掃引ランプは、動作中に時々画像センサの動作モードに従って変更される。

【0082】

例示的な一実施形態では、変化するデジタルコードがアナログランプと同時に提供される。デジタル記憶回路（１３）に記憶されるデジタルコードは、比較器出力がトグルするときのデジタルコードの値である。第１の実施形態では、コードはバイナリコードである。

【0083】

導出された実施形態では、デジタルコードはグレイコードである。グレイコードは、（ｉ）一度に１つのエッジのみが変化し、エッジのいずれかの側のコードが有効であるため、デジタル記憶との同期が必要とされず、（ｉｉ）グレイコードがサイクルにわたってより少ないエッジを有し、電力消費が低減されるため、有利である。

【0084】

導出された実施形態では、アナログおよびデジタルコード掃引は、記憶および比較掃引、または複数の比較掃引に順次分離される。アナログ信号レベルとデジタルコードとの間の関係は、基準掃引と比較掃引との間で変化する。このアプローチは、画素においてより単純なデジタル比較論理が必要とされるため有利である。これにより、必要な面積が減少する可能性がある。

【0085】

導出された実施形態では、アナログ掃引レベルとデジタルコードとの間の異なる関係が、画素の異なるサブセットに対して作成される。

【0086】

このアプローチは、デジタルコードを（ｉ）計算または（ｉｉ）デジタル回路を用いたタイミングのいずれかで変えることができるので有利である。これは、複数のアナログランプの生成に対する面積節約および改善された柔軟性を提供し、画素の配列のサブセットの機能の補償または変更を可能にする。

【0087】

例示的な一実施形態では、記憶レベルと現在のレベルとの間のデジタル比較は、アナログ掃引中に連続的に実行される。比較結果は、アナログ比較器出力およびデジタル比較のトグルのタイミングに関連する。この実施形態では、ヒステリシス、または異なるイベント生成閾値の実装は、相対タイミングに基づいて実行される。

【0088】

例示的な一実施形態では、タイミングの変動はクロックに基づいて生成される。さらなる例示的な実施形態では、変動は、画素回路内のタイマ回路によって生成される。

【0089】

さらなる例示的な実施形態では、記憶レベルと現在のレベルとの間のデジタル比較は、アナログ電圧掃引後に実行される。この実施形態は、論理が、シリコン面積の節約を繰り返し提供する順次の、例えばビットごとの要素を使用することができる場合に有利である。

【0090】

例示的な一実施形態では、順次論理は静的論理で実行される。
さらなる例示的な実施形態では、順次論理は動的論理で実行される。

【0091】

導出された実施形態では、デジタル比較は、以前の結果からのフィードバックを用いて実行される。これは、通常、比較においてヒステリシスを実装するために使用され、ノイズの抑制およびスプリアスイベントの低減において有利である。

【0092】

導出された実施形態では、デジタル比較およびイベント生成は、イベントを生成するために異なる差（１より大きい）を必要として実行される。これは、（ｉ）イベントの数を減らすため、または（ｉｉ）イベントの生成の分解能を向上させるために有利であり得る。

【0093】

必要な差は、（ｉ）信号レベル（ｉｉ）動作モード、例えば関心領域（ｉｉｉ）隣接画素レベル（ｉｖ）画素の以前のレベル（ｖ）画素の以前のイベント（ｖｉ）隣接画素のイベントに依存し得る。

【0094】

導出された実施形態では、特定のレートを下回るイベント生成レートは、画素回路内で抑制される。これは、この情報が後続の画像処理にあまり有用でなく、イベント抑制が電力および処理要件を低減するので有利である。

【0095】

例示的な一実施形態では、イベント生成のためのデジタル条件は、隣接する画素回路のイベント生成に依存する。この動作は、例えば、スプリアスイベントの数を減らすためのイベントのフィルタリングを可能にする。

【0096】

例示的な一実施形態では、イベント生成のためのデジタル条件は、隣接する画素回路の記憶レベルに依存する。この動作は、例えば、イベントのフィルタリングを可能にして、エッジ付近の感度を向上させる。

【0097】

例示的な一実施形態では、イベント生成のためのデジタル条件は、画素回路の複数の記憶レベルに依存する。この動作は、例えば、スプリアスイベントの数を低減するためのアナログノイズのフィルタリングを可能にする。

【0098】

例示的な一実施形態では、サンプルレートは、外乱光源のフリッカ周波数と同期するように選択される。これは、この光源に起因するイベントの抑制を可能にするので有利である。

【0099】

例示的な一実施形態では、イベント出力は、単一のイベントビット、例えばアップイベント、イベントなしである。言い換えれば、アップイベントは光強度の増加に対応する。

【0100】

さらなる実施形態では、イベント出力は２ビット、例えばアップとダウンである。言い換えれば、イベント出力は、光強度またはセンサ信号ＶＳＩＧが記憶された光強度レベルまたは記憶されたＶＳＩＧよりも大きいか小さいかを示すことができる。

【0101】

さらなる例示的な実施形態では、イベント出力は、変化の大きさのデジタル表現を含む。この実施形態は、イベント情報からの画像の完全な再構成を可能にするので有利である。

【0102】

動的視覚センサカメラのアナログ実装は、以前の画素照度の表現のアナログ記憶を含む。これは、典型的には、記憶用のコンデンサを有するサンプルホールド構造回路を使用してサンプリングされる。コンデンサ自体または接続されたスイッチに起因する回路の漏れは、記憶された情報の劣化につながる。この劣化はデータ出力には示されず、情報損失につながる。

【0103】

この情報損失のために、アナログ動的視覚センサは、通常、既知の状態を回復するために画像フィールドが読み出されるリフレッシュフレームを必要とする。これは通常、高いレート（数十ヘルツ）で必要とされる。

【0104】

これは、電力を消費し、動作を中断し（例えば、複雑な物体追跡）、データレートを増加させ、動的視覚センサアレイの第２の機能モードを必要とし、これは面積を必要とし、典型的にはアレイの主機能ではなく、この二次機能を動的視覚センサの主機能と同調させなければならないという追加の制約を受けるため、理想的ではない。本発明は、アレイ内の二次機能のための中間リフレッシュフレームまたは支援回路を必要としない技術を提供する。

【0105】

デジタル記憶は経時的な劣化を示さず、情報損失または画像フレームリフレッシュの要件なしに、情報を無期限に保持することができる。

【0106】

例えば、監視、アクセスポイントのスマートトリガなどのいくつかの用途では、通常、画像に変化がない長期間があり、観察割合を劇的に低下させ、電力を節約することが許容される。デジタル的に記憶された画像の劣化が無いことで、リフレッシュ動作またはリフレッシュ回路なしで潜在的には無期限、典型的には数秒間この中断が可能になる。

【0107】

さらなる例示的な実施形態では、イベント出力は、変更前および／または変更後の照度表現を含む。一実施形態では、画素アレイ内の記憶された値のレベルを読み出すことがさらに可能である。

【0108】

導出された実施形態では、対象領域からのデジタル記憶値は、選択的に読み取られる、すなわちランダムアクセスを介して読み取られる。

【0109】

さらなる例示的な実施形態では、デジタルレベルは、既存の共通イベント出力線を介して読み取られる。一実施形態では、記憶されたデジタルレベルは、比較のための新しいまたは意図的に変更された基準を提供するために画素の配列に書き込まれることができる。導出された実施形態では、イベント生成のための時間依存の基準を意図的に提供するために、データのストリームが記憶されたデジタルレベルに書き込まれる。

【0110】

関連する導出された実施形態では、データのストリームは、センサによって通常生成されるものと同様のイベントストリームである。

【0111】

一実施形態では、センサ回路（１１）は、記憶されたデジタルレベル、または隣接する画素の記憶されたデジタルレベルからのフィードバックを有して、その画素のＶＳＩＧレベルを調整する。この実施形態は、最小表面積において、例えばヒステリシス関数を実現するのに有利であり得る。

【0112】

例示的な一実施形態では、比較器回路は、記憶されたデジタルレベル、または隣接する画素の記憶されたデジタルレベルからのフィードバックを有して、比較器の機能を調整し、典型的にはオフセットを追加する。この実施形態は、最小表面積において、例えばヒステリシス関数を実現するのに有利であり得る。

【0113】

例示的な一実施形態では、サンプルレートは、電気的に構成可能であるか、または動作中に時々電気的に変更される。

【0114】

電力消費およびイベント生成率は、サンプルレートに依存し得る。サンプルレートを低減することにより、静かな条件下で非常に低い電力モードが可能になる。さらに、積分センサ回路（１１）の挙動と組み合わせた低いサンプルレートは、低光条件での動作を可能にする。

【0115】

例示的な一実施形態では、サンプリングは長期間にわたって完全に中断される。
電力消費およびイベント生成率は、サンプルレートに依存し得る。サンプリングを例えば１秒間中断すると、非常に低電力の動作が可能になるが、デジタル記憶が記録画像の忠実度を保持するためである。

【0116】

例示的な一実施形態では、アナログ信号レベル（ＶＳＩＧ）を画素配列から読み出すことができる。この実施形態は、共通のイベント列線を使用して実現することができる。

【0117】

例示的な一実施形態では、画像センサは複数の半導体層で構成され、各レベルの半導体プロセスタイプはその層の機能に合わせて最適化される。この実施態様は、半導体プロセスの機能の最適化が、（ｉ）性能の改善、（ｉｉ）シリコン面積、ならびにその後の（ｉｉ）ａ）デバイスサイズおよび（ｉｉ）ｂ）デバイスコストの削減を可能にするので有利である。変更された物理的構造は、（ｉ）フィルファクタ（ｉｉ）量子効率の光学性能を改善し、制御信号線と光センサ回路との間の電気的擾乱を低減する。

【0118】

複数の画素は、典型的には、「行」および「列」を有する２次元グリッドに編成される。「列」および「列」の定義は、本発明に影響を及ぼすことなく交換することができることに留意されたい。本発明の適用性に影響を与えることなく、２次元グリッドにマッピングする他の幾何学的構成も可能であることにも留意されたい。

【0119】

「備える（ｃｏｍｐｒｉｓｉｎｇ）」という語は他の要素またはステップを排除せず、「ａ」または「ａｎ」は複数を排除するものではないことに留意されたい。また、異なる実施形態に関連して説明した要素を組み合わせてもよい。特許請求の範囲における参照符号は、特許請求の範囲を限定するものとして解釈されるべきではないことにも留意されたい。

【図1】

【図2】

【図3】