特開 2024-56930 事象ベースの視覚センサのためのデータ速度制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024056930

(43)【公開日】2024-04-23

(54)【発明の名称】事象ベースの視覚センサのためのデータ速度制御

(51)【国際特許分類】

   H04N 25/47 20230101AFI20240416BHJP

【ＦＩ】

H04N25/47

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024022196

(22)【出願日】2024-02-16

(62)【分割の表示】P 2022036833の分割

【原出願日】2017-12-29

(31)【優先権主張番号】01764/16

(32)【優先日】2016-12-30

(33)【優先権主張国・地域又は機関】CH

(31)【優先権主張番号】01765/16

(32)【優先日】2016-12-30

(33)【優先権主張国・地域又は機関】CH

(71)【出願人】

【識別番号】522091140

【氏名又は名称】ソニー アドバンスト ビジュアル センシング アーゲー

(74)【代理人】

【識別番号】100206335

【弁理士】

【氏名又は名称】太田 和宏

(72)【発明者】

【氏名】ベルナー ラファエル

(72)【発明者】

【氏名】ブレントリ クリスティアン

(72)【発明者】

【氏名】ザンノーニ マッシモ

(57)【要約】      （修正有）

【課題】ダイナミック視覚センサ（ＤＶＳ：Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）または事象ベースの変化検出センサの構成をシーンに適合させる。
【解決手段】変化検出センサ１００は、光を検出するピクセルを備えたピクセルアレイと、ピクセルが有し、ピクセルが受け取った光に関連付けられる事象を検出するための事象検出器と、事象を評価するための事象速度検出器と、事象速度検出器に基づいて、ピクセルが事象を検出する仕方を変えるためのコントローラと、を備える。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

光を検出するピクセルを備えたピクセルアレイと、
前記ピクセルによって受け取られた光に関連付けられる事象を検出するための事象検出器と、
前記事象を評価するための事象速度検出器と、
前記事象速度検出器に基づいて、前記ピクセルが前記事象を検出する仕方を変えるためのコントローラと、
を備える、変化検出センサ。

【請求項2】

前記事象速度検出器は、前記事象検出器からの事象を数えることによって前記事象を評価するための計数器を備える、請求項１に記載のセンサ。

【請求項3】

前記事象速度検出器は、事象を推定することによって前記事象を評価するための事象推定器を備える、請求項１に記載のセンサ。

【請求項4】

前記事象速度検出器は、事象を記録する前記事象検出器の数に基づくアナログ信号を分析することによって前記事象を評価する、請求項１に記載のセンサ。

【請求項5】

前記事象検出器によって適用される閾値を設定するための閾値生成回路をさらに備える、請求項１に記載のセンサ。

【請求項6】

前記コントローラは、前記事象速度検出器によって与えられた前記評価に応じて与えられる前記閾値を変える、請求項１に記載のセンサ。

【請求項7】

前記コントローラは、前記ピクセルアレイ内のＯＮ事象およびＯＦＦ事象に基づいて、ＯＮ事象およびＯＦＦ事象に関する閾値を別々に設定する、請求項１に記載のセンサ。

【請求項8】

前記ピクセルの各々は、前記ピクセルがリセットされたときに受け取る光に対応する電荷を蓄積するための、前記事象検出器の内の１つのメモリキャパシタを備える、請求項１に記載のセンサ。

【請求項9】

前記ピクセルの各々は、受け取った光の変化を、前記事象を検出するための１つまたはそれ以上の閾値と比較するための、前記事象検出器の内の１つの、１つまたはそれ以上の比較器を備える、請求項１に記載のセンサ。

【請求項10】

受け取った光の変化を、前記事象を検出するための１つまたはそれ以上の閾値と比較するための、前記事象検出器の比較器をさらに備え、前記比較器は読み出し回路内に位置する、請求項１に記載のセンサ。

【請求項11】

変化検出センサの動作の方法であって、
ピクセルアレイ内のピクセルによって受け取られた光に関連付けられる事象を検出するステップと、
前記ピクセルアレイからの前記事象を評価するステップと、
前記ピクセルアレイからの前記事象の前記評価に基づいて、前記ピクセルが前記事象を検出する仕方を変えるステップと、
を含む、方法。

【請求項12】

前記事象を評価するステップは、前記事象を数えるステップを含む、請求項１１に記載の方法。

【請求項13】

前記事象を評価するステップは、前記事象を推定するステップを含む、請求項１１に記載の方法。

【請求項14】

前記事象の前記評価に応じて、前記ピクセルに対して事象検出器によって適用される閾値を設定するステップをさらに含む、請求項１１に記載の方法。

【請求項15】

前記ピクセルアレイからのＯＮ事象およびＯＦＦ事象に基づいて、ＯＮ事象およびＯＦＦ事象に関する閾値を別々に設定するステップをさらに含む、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本出願は、２０１６年１２月３０日に出願されたスイス仮特許出願第ＣＨ２０１６０００１７６４号、および２０１６年１２月３０日に出願されたスイス仮特許出願第ＣＨ２０１６０００１７６５号の優先権を主張するものであり、これら両方は、それらの全体が引用により本明細書に組み入れられる。

【背景技術】

【0002】

今日、機械視覚は、大部分、従来のカメラおよびそれらに付随するフレームベースの画像センサに基づく。幾つかの機械視覚タスク、例えば、物体認識、に対しては、これらの従来のフレームベースのカメラがよく適している。しかし、他のタスク、例えば、追跡、または位置および動きの推定のためには、従来の画像センサは欠陥を有する。

【0003】

主な欠陥は、従来のカメラが、捕捉し、通信しおよび処理する必要がある相当な量の冗長且つ不要なデータを生ずることである。この高いデータ仕事量が、時間分解能を低下させることにより反応時間を減速し、消費電力の増加をもたらし、ならびに、機械視覚システムのサイズおよび経費を増加させる。さらに、大部分の画像センサは、限られたダイナミックレンジ、不十分な弱光性能および動きボケに悩まされる。

【0004】

これらの欠陥は、データが一連の静止画像（フレーム）として捕捉されるという事実から生じる。場合によっては、ダイナミックシーンを静止画像として符号化することは、美しい画像および映像を、データ処理の最適化無しに、生成するのに有用であるが、このことは多くの機械視覚の用途ではあまり重要ではない。

【0005】

従来のカメラを用いる従来のコンピュータ視覚システムは、典型的には、物体認識のための連続する画像フレームの間で特徴を比較する。可動システムの位置および向きを推定するため、および、周囲世界の３次元マップを推測するために、部分的に重なるが異なる時間において異なる姿勢から取られた２つの連続する画像が比較される。２つのフレームの間で生じた動きを推測するために、特徴的な目印（キーポイントまたは他の視覚的特徴）を２つの画像にわたって一致させる必要がある。両方の画像内で互いに対応するポイントのこれらの対を見出すことは、「対応問題」を解決することとして知られる。

【0006】

対応問題を解決することは、相当な量の処理能力を必要とする。目印を検出するために、画像内のあらゆるピクセルを、独特な特徴（曲がり角、小塊、縁など）について探索する必要があり得る。次に、ピクセルおよびそれらを囲む周囲のピクセルは、いわゆる特徴記述子を特徴付けるようにグループ化され、その特徴記述語がフレームの間の特徴を合わせるために使用され、それにより、対応するポイントの対を確立する。これは、計算集約的である。ピクセル強度を直接比較する直接手法は、計算的にさらにより複雑である。

【0007】

他方、いわゆるダイナミック視覚センサ（ＤＶＳ：Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）または事象ベースの変化検出センサは、フレームベースの符号化の限界を克服するセンサである。ピクセル内データ圧縮を用いることにより、データ冗長性が取り除かれ、高時間分解能、低遅延、低電力消費、動きボケがほとんどない高ダイナミックレンジが達成される。従って、ＤＶＳは特に太陽光またはバッテリで電力供給される圧縮センシングに、または、システムの位置を推定する必要があり、限られたバッテリ容量によって処理能力が制約される移動機械視覚用途に、よく適している。

【0008】

ＤＶＳは、視覚情報を局部的に前処理する。鮮明な画像を生成する代わりに、ＤＶＳは、コンピュータアプリケーションのためのスマートデータを生成する。従来の画像センサは、映画を一連の静止画像として捕捉するが、ＤＶＳは、シーン内の変化の位置を検出し単に伝達する。従って、これは、ピクセル内データ圧縮を符号化するために、従来のカメラより、遥かにより効率的に視覚情報を符号化する。具体的には、フレームを画像データとして符号化するのではなく、ＤＶＳは変化を検出し、それらの変化を変化事象として符号化する。このことは、より少ない資源、より低い正味電力を用い、より速いシステム反応時間で、データの処理が可能であることを意味する。高い時間分解能は、視覚的特徴を連続的に追跡することを可能にし、それにより対応問題を克服する。さらに、ＤＶＳの構成は、高いダイナミックレンジおよび良好な弱光性能を可能にする。

【発明の概要】

【課題を解決するための手段】

【0009】

ＤＶＳまたは変化検出センサの一般的特性は、事象の速度が、センサが観測しているシーンおよびセンサ構成に依存するために、出力データ速度が可変であることである。

【0010】

センサから読み出される可変量の変化事象は、特に、プロセッサが実時間で処理することができるよりも多くの事象が読み出される場合、センサ上およびシステムレベルにおける問題を引き起こす可能性がある。

【0011】

事象を処理することができない場合にその事象を廃棄することは、データ損失をもたらし、それ故に、システムはそれの状態に関する情報（例えば、それの動作および位置に関する）を失う。変化検出センサの場合には、その結果は、センサが、例えば、それのピクセルフィールドの一部分において起きる事象を失うことになり得る。

【0012】

センサの構成をシーンに適合させることは、全体のシステムがその状態に関する可能な限り多くの情報を取得するのに必要な、しかし多過ぎない、データを有することを可能にする。他方、事象の数はセンサの状態に基づいて制御することができる。例えば、電力を減らすためには、スリープサイクル中などに事象の数を減らし、次いで、正常動作モード中の事象の数を増すことが望ましいかもしれない。

【0013】

本明細書において提案されるシステムは、事象速度を制御または調節するようにチップまたはセンサの構成を変える。例えば、この制御は、事象速度を望ましい速度の近くにまたは望ましい範囲内に保つために用いることができる。

【0014】

それでも、所与の時間スライス中に生成される事象の量は、それらを出力しおよび数えた後にのみ最終的に決定することができる。ここで、幾つかの実施形態は、それらを読み出す前のペンディング事象の数の大まかな推定を可能にする事象カウント推定器を使用する。

【0015】

ペンディング事象の数の大まかな推定であっても、システムは、データに対処しそれらを読み出すことができるかどうか、或いは、多すぎる（または少な過ぎる）事象が存在するかどうか、判断することができ、システムは、より高い閾値を用いて変化検出をやり直し、より少ない事象を取得する（または、より低い閾値との比較をやり直し、より多くの事象を取得する）ことができる。

【0016】

一般に、一態様によれば、本発明は、変化検出センサを特徴とする。センサは、光を検出するピクセルを備えるピクセルアレイ、および、ピクセルによって受け取られた光に関連付けられる事象を検出するための事象検出器を備える。本発明によれば、事象を評価するための事象速度検出器が準備される。次に、コントローラが事象速度検出器に基づいて、ピクセルが事象を検出する仕方を変化させる。

【0017】

一実施形態において、事象速度検出器は、事象検出器からの事象を数えることによって事象を評価するための計数器を備える。

【0018】

別の実施形態において、事象速度検出器は、事象を推定することによって事象を評価するための事象推定器を備える。これは、事象検出器が記録する事象の数に基づくアナログ信号を分析することによって実施することができる。

【0019】

好ましくは、センサは、事象検出器によって適用される閾値を設定するための閾値生成回路を含む。次いで、コントローラが、事象速度検出器によって与えられる評価に応じて与えられる閾値を変える。

【0020】

好ましくは、コントローラは、ピクセルアレイ内のＯＮ事象およびＯＦＦ事象に基づいてＯＮ事象およびＯＦＦ事象に対する閾値を別々に設定する。

【0021】

現在の実施形態において、ピクセルの各々は、ピクセルがリセットされたときに受け取る光に対応する電荷を格納するための、事象検出器の内の１つのメモリキャパシタを備える。ピクセルの各々は、受け取った光の変化を、事象を検出するための１つまたはそれ以上の閾値と比較するための、事象検出器の１つまたはそれ以上の比較器をさらに備えることができる。

【0022】

他の実施形態において、比較器は読み出し回路内に配置される。

【0023】

一般に、別の態様によれば、本発明は、変化検出センサの動作の方法を特徴とする。その方法は、ピクセルアレイ内のピクセルによって受け取られる光に関連付けられる事象を検出するステップと、ピクセルアレイからの事象を評価するステップと、ピクセルアレイからの事象の評価に基づいて、ピクセルが事象を検出する仕方を変化させるステップと、を含む。

【0024】

構造および部品の組み合わせの様々な新規の細部を含む本発明の上記および他の特徴、ならびに他の利点を、次に、添付の図面を参照しながらより具体的に説明し、特許請求の範囲において指摘することになる。本発明を具体化する特定の方法および機器は、本発明の限定としてではなく、例証のために示されることを理解されたい。本発明の原理および特徴は、本発明の範囲から逸脱することなく、種々様々な実施形態において使用することができる。

【0025】

添付の図面において、参照文字は、種々異なる図を通じて同じ部品を指す。図面は必ずしも一定の比率に縮小されてはおらず、むしろ本発明の原理を例証することに重点が置かれている。

【図面の簡単な説明】

【0026】

【図1A】事象速度制御部を含む、事象ベースの変化検出センサのブロック図である。

【図1B】ピクセルアレイ１１０内で使用することが可能な変化検出ピクセルの一例を示す回路図である。

【図2】周期的にリセットされる事象計数器として実施される事象速度検出器の一実施形態を示すブロック図である。

【図3A】事象速度検出器に基づいて、閾値生成回路を制御するためのコントローラ１２０の動作を示す流れ図である。

【図3B】事象速度検出器に基づいて、閾値生成回路を制御するためのコントローラ１２０の動作を示す流れ図である。

【図4】別の実施形態による、事象速度推定値を生成する事象ベースの変化検出センサを示す概略図である。

【図5】さらに別の実施形態による、事象速度推定値を生成する事象ベースの変化検出センサを示す概略図である。

【図6】以前の実施形態の電流ＡＤＣ２１２の可能な実施を示す回路図である。

【図7】コントローラ１２０の可能な実施を示す状態図である。

【図8】基本的な閾値生成回路を示すブロック図である。

【発明を実施するための形態】

【0027】

図１Ａは、事象速度制御部を有する事象ベースの変化検出センサ１００のブロック図である。

【0028】

一般に、変化検出センサ１００は、特に現行システムに関連する５つの要素、
変化検出ピクセルのアレイ１１０と、
事象速度検出器２００と、
コントローラ１２０と、
閾値生成回路１３０と、
読み出し回路１４０と、
を含む。

【0029】

ピクセルアレイ１１０は、可変量のデータ、変化事象を生成する。事象速度検出器２００は、例えば、変化事象を数えるかまたは推定することによって事象を周期的に評価する。次に、コントローラ１２０は、次の時間ステップにおいてピクセルアレイ１１０が、望ましい速度により近い変化事象の量を生成するように、センサ構成を適合させる。

【0030】

ピクセルアレイは、引用により本明細書に組み入れられる「Ｐｈｏｔｏａｒｒａｙ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｔｉｍｅ－Ｄｅｐｅｎｄｅｎｔ Ｉｍａｇｅ Ｄａｔａ」と題する、Ｌｉｃｈｔｓｔｅｉｎｅｒ他による、米国特許出願公開第２００８／００１３５７３１号に記載されているような変化検出ピクセル、または、２０１７年１２月２９日出願の「Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ Ａｒｃｈｉｔｅｃｔｕｒｅ」と題する米国特許出願第１５／８５８、４２７号（以後、Ｂｅｒｎｅｒ特許文献、この文献は引用によりその全体が本明細書に組み入れられる）に記載されているような変化検出ピクセル、または、Ｊ．Ｋｒａｍｅｒ、「Ａｎ ｏｎ／ｏｆｆ ｔｒａｎｓｉｅｎｔ ｉｍａｇｅｒ ｗｉｔｈ ｅｖｅｎｔ－ｄｒｉｖｅｎ，ａｓｙｎｃｈｒｏｎｏｕｓ ｒｅａｄ－ｏｕｔ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，２００２、第２巻、ページ１６５～１６８、２００２年、に開示されているような変化検出ピクセル、或いは代替的に、Ｒｕｅｄｉｔ他、「Ａ １２８ｘ１２８ ｐｉｘｅｌ １２０－ｄＢ ｄｙｎａｍｉｃ－ｒａｎｇｅ ｖｉｓｉｏｎ－ｓｅｎｓｏｒ ｃｈｉｐ ｆｏｒ ｉｍａｇｅ ｃｏｎｔｒａｓｔ ａｎｄ ｏｒｉｅｎｔａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎ」、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，第３８巻、１２号、ページ２３２５～２３３３、１２月、２００３年におけるような空間コントラスト検出ピクセル、などの任意のアレイとすることができる。

【0031】

図１Ｂは、１つの可能な変化検出ピクセル１１２の回路図である。

【0032】

２次元アレイ１１０のこの例示的なピクセル１１２は、衝突する光を検出または計測して光強度を信号に変換する光ダイオードＰＤ（ｐｈｏｔｏｄｉｏｄｅ）のような光センサを含む。ここで、信号は電流、Ｉｐｈｏｔｏである。ピクセル１１２はさらに事象検出器１１４を有し、これは、例えば、ある事象が起きたような十分な変化が光センサによって検出される光の中に存在するかどうかを決定する。このことは、電流Ｉｐｈｏｔｏを監視することにより達成される。

【0033】

より詳細には、例示的な事象検出器１１４は、光受容器回路ＰＲＣを含み、これが次に光強度に応じて光受容器信号Ｖｐｒを生成する。次に、メモリキャパシタＣ１が過去の光受容器信号を記憶する。

【0034】

比較器Ａ１は、現在の光受容器信号Ｖｐｒと過去の光受容器信号との間の差を閾値Ｖｂと比較する。この閾値Ｖｂは、閾値生成回路１３０によって供給される。

【0035】

好ましくは、比較器Ａ１または一対の比較器が、ＯＮ事象閾値に基づいてＯＮ事象を検出し、ＯＦＦ事象閾値に基づいてＯＦＦ事象を検出する。ＯＮ事象は、光センサによって受け取られた光の増加の特性であり、ＯＦＦ事象は、光センサによって受け取られた光の減少の特性である。単一の比較器が使用される場合、ＯＮ事象閾値およびＯＦＦ事象閾値は、時間的に連続して閾値Ｖｂとして与えられる。

【0036】

この比較器Ａ１は、各々のピクセル内に存在することができ、或いはピクセルのサブセット（例えば、列）の間で共有されることができる。一事例では、比較器は、読み出し回路１４０内で共有され配置される。そのような構成の種々の例がＢｅｒｎｅｒ特許文献に開示されている。

【0037】

しかし、好ましい実施形態においては、比較器Ａ１はピクセル１１２に組み込まれることになり、各々のピクセルが１つまたはそれ以上の専用の比較器Ａ１を有する。

【0038】

メモリ５０は、事象または複数事象を格納する。事象は、コントローラ１２０からのサンプル信号に基づいて、比較器出力Ｖｃｏｍｐから取られる。メモリは、サンプリング回路（例えば、スイッチおよび寄生または明示的キャパシタ）またはデジタルメモリ回路（ラッチまたはフリップ－フロップ）とすることができる。一実施形態において、メモリはサンプリング回路となり、各々のピクセルは、１つがいずれかのＯＮ事象を格納するため、１つがいずれかのＯＦＦ事象を格納するための、２つのメモリを有することになる。メモリは１つまたはそれ以上のラインＥｖｔに出力を供給する。

【0039】

条件付きリセット回路Ｒ１は、記憶されている比較器出力の状態と、コントローラ１２０によって適用されるリセット信号ＧｌｏｂａｌＲｅｓｅｔとの組み合わせに基づいて、条件付きリセットをもたらす。

【0040】

ピクセル回路１１２およびコントローラ１２０は以下のように動作する。

【0041】

光センサＰＤによって受け取られた光強度の変化は、光受容器信号Ｖｐｒの変化に変わることになる。リセット回路Ｒ１が非導通状態にあるとき、Ｖｐｒの変化はさらに、比較器Ａ１への反転入力（－）における電圧Ｖｄｉｆｆに反映されることになる。このことは、メモリキャパシタＣ１を横切る電圧が一定のままであるために、生じる。

【0042】

コントローラ１２０によって選択された時間において、事象検出器１１４の比較器Ａ１は、メモリキャパシタＣ１の第２の端子の電圧（ＶＤｉｆｆ）を、比較器Ａ１の非反転入力（＋）に印加される閾値電圧Ｖｂ（閾値生成回路１３０からの）と比較する。

【0043】

コントローラ１２０は、メモリ５０を、比較器の出力Ｖｃｏｍｐを格納するように動作させる。メモリ５０は、典型的には、図示されるようにピクセル回路１１２の一部として実施される。

【0044】

しかし、他の実施形態においては、メモリ５０は、読み出し回路１４０（ピクセルアレイ１１０の各列毎に１つの周辺回路）の一部として実施される。

【0045】

図示される実施形態において、センサの読み出し回路１４０は、アレイ１１０内の各々のピクセル１１２のメモリ５０を読み出す。一例において、読み出し回路１４０は、変化事象を検出したアレイ内のピクセルの座標を格納する。

【0046】

メモリ内５０に保持された格納された比較器出力の状態が、光強度の十分な変化（即ち、事象）を示し、および（ＡＮＤ）コントローラ１２０からのグローバルリセット信号ＧｌｏｂａｌＲｅｓｔ信号がアクティブである場合、条件付きリセット回路Ｒ１は導通状態になる。ここで「ＡＮＤ」は論理ＡＮＤ演算子を示す。導通状態にある条件付きリセット回路Ｒ１により、比較器Ａ１の反転入力における電圧（Ｖｄｉｆｆ）が既知のレベルにリセットされる。従って、これは、メモリキャパシタＣ１上に、現在の光受容器信号Ｖｐｒを格納する。

【0047】

事象の計数

【0048】

図２は、事象速度計数器の一実施形態を示す。

【0049】

ここで、事象速度検出器２００は、コントローラ１２０によって周期的にリセットされる計数器２１０として実施される。この計数器は読み出し回路１４０によって読み出される事象に基づいてインクリメントされる。事象のカウントはコントローラ１２０に供給される。次いで、計数器２１０は、新しいカウントが必要なとき、コントローラ１２０によってリセットされる。

【0050】

一例において、事象速度検出器２００は、所与の時間窓の間にセンサアレイ１１０によって出力される事象の数を数える。ここで、これは、読み出し回路が、ピクセルアレイ１１０から事象を読み出す毎に、インクリメント信号を計数器２１０に送るように遂行される。

【0051】

１つの特定の例において、事象速度検出器２００は、所与の時間窓の間にセンサアレイ１１０によって出力されるＯＮ事象とセンサアレイ１１０によって出力されるＯＦＦ事象との両方を数える。これは、計数器２１０の中の別々のＯＮ事象計数器およびＯＦＦ事象計数器を用いて遂行されることが好ましい。

【0052】

図３Ａは、一実施形態による、事象速度検出器２００に基づいて、閾値生成回路１３０を制御するためのコントローラ１２０の動作を示す流れ図である。

【0053】

具体的には、ステップ３１０において事象速度検出器２００の計数器２１０は、新しいカウントが必要なときに、コントローラ１２０によってリセットされる。

【0054】

ステップ３１２において、コントローラ１２０は、所定の時間後に事象のカウントを読み出す。

【0055】

次に、ステップ３１４において、コントローラは、ピクセルアレイ１１０に適用される事象閾値の変化を計算する。この新しい閾値は、ステップ３１６において閾値生成回路１３０に送られる。次に、この閾値は、センサアレイ１１０の事象検出器１１４に、事象の次のセットを決定するステップにおける閾値Ｖｂとして、適用される。

【0056】

図３Ｂは、別の実施形態による、事象速度検出器２００を制御するためのコントローラ１２０の動作を示す流れ図である。

【0057】

この実施形態において、コントローラ１２０は、ステップ３１０において計数器をリセットする前に、ステップ３１８において外部トリガーを待つ。この実施形態は、センサが外部タイミングソースに同期させる必要がある状況において最も有用であろう。

【0058】

事象カウント推定器

【0059】

第２の手法は、事象速度推定値を生成するステップに依拠する。この手法は、事象速度検出器２００の内部の事象カウント推定器を使用する。これは、事象の数を決定するために、アレイからの全ての事象を読む必要を避ける。その代わりに、この手法は、事象が読み出される前にまたは読み出しプロセスの一部として、事象の数を大まかに推定することを可能にする。

【0060】

図４は、別の実施形態による事象速度推定値を生成する、事象ベースの変化検出センサ１００を示す概略図である。

【0061】

より詳細には、事象検出器１１４は、アレイ１１０の各ピクセル１１２内に、入射光を検出するための光受容器１１６と共に配置され、各ピクセル回路の一部である。各ピクセル回路１１２の電流源１１８は、このピクセル内に事象が存在する場合にのみ、作動させられる。

【0062】

具体的には、事象検出器１１４が、例えば、ＯＮ事象および／またはＯＦＦ事象による、光受容器１１６によって受け取られる光の変化を記録する場合、事象信号Ｅｖｔがアクティブとなり、これがピクセル１１２に関連付けられるスイッチ１１７を閉じる。

【0063】

アレイ１１０の全てのピクセル１１２の電流、またはセンサ１００のアレイ１１０の範囲にわたって分布するピクセルのサンプリングは合計され、事象速度検出器２００の電流アナログ・デジタル変換器（ＡＤＣ：ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）２１２に供給される。このＡＤＣ２１２は電流を取り込み、電流の大きさをデジタル表示に変換する。この電流の合計のデジタル表示は、次に、コントローラ１２０に、検出された事象の数の推定値として供給され、既知の期間にわたって行われた場合には、これは事象速度を示す。

【0064】

一般に、電流源１１８は、ピクセル１１２の間で非常によく適合するものではないであろう。このことは、電流の合計が、幾つのピクセルがペンディング事象を有するかの正確な推定を可能にしないが、大まかな推定値を可能にするであろうことを意味する。

【0065】

図５は、別の実施形態による事象速度推定値を生成する変化検出センサを示す概略図である。

【0066】

より詳細には、各ピクセル１１２の光受容器１１６は、その光受容器１１６によって検出される光の瞬間的な量に敏感な且つそれを示す信号を生成する。この情報は、事象検出器１１４に送られる。

【0067】

従って、事象検出器１１４内の比較器の出力は、光受容器１１６によって受け取られる光が、最後にリセットされた閾値より大きい量だけ変化したとき、変化する。多くの場合、ＯＮ事象閾値は、光受容器１１６によって検出される光の量の増加に関連付けられるＯＮ事象を識別するためのＰｉｘｅｌ Ｔｈｒｅｓｈｏｌｄとして、ピクセルに供給される。次に、ＯＦＦ事象閾値が、光受容器によって検出される光の量の減少に関連付けられるＯＦＦ事象を識別するためのＰｉｘｅｌ Ｔｈｒｅｓｈｏｌｄとして、ピクセルに供給される。

【0068】

他の場合には、事象検出器は、ＯＮ事象を識別するためのＯＮ事象閾値を受け取る第１の比較器と、ＯＦＦ事象を識別するためのＯＦＦ事象閾値を受け取る第２の比較器と、の２つの比較器を含む。

【0069】

信号Ｅｎａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒがアクティブ（およびそれ故に、Ｄｉｓａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒが非アクティブ）である場合、全ての読み出しラインが、スイッチ１８８の閉鎖によって互いに短絡され、読み出しラインはスイッチ１９０の開放によって列読み出し回路１８０から切断される。全ての読み出しラインが電流ＡＤＣ２１２に接続されると、電流は、電流ＡＤＣ２１２から全てのピクセルへ流れることになり、それらピクセル内で比較器出力が高くなり、Ｅｖｔがアクティブとなり、それにより、各ピクセル１１２内のスイッチ１１７を閉じる。さらに、各行のＯＲゲート１８６が、各ピクセル１１２内のスイッチ１７８を、Ｅｎａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒがアクティブであるために、閉じることになる。それ故に、全電流は、比較器１７４の出力が高であるかまたは信号ライン（単数または複数）のＥｖｔがアクティブであるピクセルの数に依存することになる。

【0070】

信号Ｅｎａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒが非アクティブ（およびそれ故にＤｉｓａｂｌｅ ｅｖｔ ｃｏｕｎｔｅｒがアクティブ）である場合、ピクセル読み出しラインは、対応するＲｅａｄｏｕｔ ｒｏｗ ｓｅｌｅｃｔ Ｘがアクティブである場合に、それらの対応する列読み出し回路１８０に接続される。

【0071】

図６は、以前の実施形態の電流ＡＤＣ２１２の可能な実施を示す。

【0072】

合計された電流が、負帰還構成にある抵抗Ｒ２１６によって演算増幅器Ａ２１４に供給される。基準電圧と演算増幅器の出力部における電圧との間の電圧差は、入力電流の大きさに比例し、従って、ペンディング事象の数を表す。

【0073】

演算増幅器の出力部における電圧は次に、フラッシュＡＤＣ、ＳＡＲ ＡＤＣ、シグマ－デルタＡＤＣなどとして実施することができる従来の電圧ＡＤＣ２１８に供給される。

【0074】

電流から電圧への変換の後、長くなり得るＡＤＣ変換を、ピクセルが読み出される間に行うことができるように、電圧サンプリングステップ（ＯｐＡｍｐ２１４および電圧ＡＤＣ２１８の出力の間）を加えることができる。ひとたびＡＤＣ変換が完了すると、必要であれば、ピクセルの読み出しを停止することができる。

【0075】

コントローラ１２０

【0076】

コントローラ１２０は、事象速度検出器２００の入力、センサ１００の外部からの望ましい事象速度（または望ましい事象速度の範囲）、ならびに、オプションとしてトリガー入力、を有するデジタルブロックである可能性が最も高い。コントローラ１２０は、チップ構成のための制御信号（即ち、時間分解能および閾値生成回路１３０に対する閾値）を出力する。

【0077】

コントローラ１２０は、伝統的なＰ、ＰＩまたはＰＩＤコントローラとして、或いはより簡単に状態機械として実施することができる。

【0078】

しかし、事象速度推定器を使用するとき、コントローラ１２０は、アナログ回路として実施することもできる。このアナログコントローラに対する入力は、それ故に、デジタル表現ではなく、その代わりに、図６の演算増幅器２１４の出力電圧が、典型的には直接にコントローラ１２０に供給される。

【0079】

図７は、コントローラ１２０の状態図である。

【0080】

事象閾値は、事象速度推定器からの信号、
・ 事象速度：事象速度検出器２００からの入力、
・ ＭｉｎＥｖｅｎｔＲａｔｅ：定数、最小の望ましい事象速度、
・ ＭａｘＥｖｅｎｔＲａｔｅ：定数、最大の望ましい事象速度、
・ ＭｉｎＥｖｅｎｔＴｈｒｅｓｈｏｌｄ：パラメータ、最小閾値設定、
・ ＭａｘＥｖｅｎｔＴｈｒｅｓｈｏｌｄ：パラメータ、最大閾値設定、
・ Ｓｔｅｐ：パラメータ、事象閾値がループの各通過の間に変化するステップ、
・ ＥｖｅｎｔＴｈｒｅｓｈｏｌｄ：事象生成回路に供給される出力、
・ Ｔｒｉｇｇｅｒ：ループを開始する周期的入力信号、
に基づいて、事象速度を望ましい範囲内に保持するように、修正される。

【0081】

より詳細には、コントローラ１２０は、状態７１０においてトリガーを待つ。それを受け取ると、コントローラ１２０は、状態７１２において、事象速度検出器２００によって与えられた事象速度を、最小事象速度と比較する。事象速度が最小事象速度より小さい場合には、コントローラは状態７１６に進む。状態７１６において、コントローラ１２０は事象閾値を最小事象閾値と比較し、事象閾値がより小さい場合、７１０の待ち状態に戻る。他方、事象閾値が最小事象閾値より大きい場合、状態７１８において事象閾値が減らされ、待ち状態７１０に戻る。

【0082】

他方、状態７１２において、事象速度が最小事象閾値より大きい場合、事象速度は、状態７１４において、最大事象速度と比較され、事象速度がより小さい場合には、コントローラ１２０は待ち状態７１０に戻る。他方、事象速度が最大事象速度より大きい場合、状態７２０において事象閾値が最大事象閾値と比較される。状態７２０において事象閾値が最大事象閾値より大きい場合、コントローラ１２０は待ち状態７１０に戻る。他方、事象閾値が最大事象閾値より小さい場合、事象閾値は状態７２２において１ステップだけ増加させられ、待ち状態７１０に戻る。

【0083】

閾値生成回路

【0084】

引用により本明細書に組み入れられる「Ｐｈｏｔｏａｒｒａｙ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｔｉｍｅ－Ｄｅｐｅｎｄｅｎｔ Ｉｍａｇｅ Ｄａｔａ」と題する、Ｌｉｃｈｔｓｔｅｉｎｅｒ他による、米国特許出願公開第２００８／００１３５７３１号に開示されているような変化検出ピクセルに関して、事象閾値は、閾値電圧と増幅器バイアス電圧との間の差である。Ｏｎ閾値電圧は通常バイアス電圧より高く、他方、Ｏｆｆ閾値電圧はより低い。

【0085】

基本閾値生成

【0086】

図８は、例えば、Ｐ．Ｌｉｃｈｔｓｔｅｉｎｅｒ，Ｃ．Ｐｏｓｃｈ，およびＴ．Ｄｅｌｂｒｕｃｋ、「Ａ １２８ｘ１２８ １２０ｄＢ １５μｓ Ｌａｔｅｎｃｙ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｅｍｐｏｒａｌ Ｃｏｎｔｒａｓｔ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ」、ＩＥＥＥ Ｊ． Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，第４３巻、２号、ページ５６６～５７６、２月、２００８年、ならびに、Ｔ．Ｄｅｌｂｒｕｃｋ， Ｒ．Ｂｅｒｎｅｒ， Ｐ．Ｌｉｃｈｔｓｔｅｉｎｅｒ，およびＣ．Ｄｕａｌｉｂｅ、「３２－ｂｉｔ Ｃｏｎｆｉｇｕｒａｂｌｅ ｂｉａｓ ｃｕｒｒｅｎｔ ｇｅｎｅｒａｔｏｒ ｗｉｔｈ ｓｕｂ－ｏｆｆ－ｃｕｒｒｅｎｔ ｃａｐａｂｉｌｉｔｙ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，２０１０，ページ１６４７～１６５０に開示されているような、一組の電圧デジタル・アナログ変換器（ＤＡＣ：ｄｉｇｉｔａｌ ｔｏ ａｎａｌｏｇ ｃｏｎｖｅｒｔｅｒ）または電流ＤＡＣ８１０、８１２の基本閾値生成回路を示す。具体的には、一組のＤＡＣ８１０、８１２、８１４に関して、比較器バイアス電圧を生成するための１つ８１４、ＯｎＴｈｒｅｓ電圧のための１つ８１０およびＯｆｆＴｈｒｅｓ電圧のための１つ８１２が存在する。

【0087】

事象速度および均衡制御

【0088】

さらに別の実施形態において、センサ１００はＯＮ（増加する光強度）およびＯＦＦ（減少する光強度）事象を、別々に数える。次に、ＯＮ事象とＯＦＦ事象との間の比が、ＯＮおよびＯＦＦ閾値を別々に制御するために使用される。一般に、大きい（秒より大きい）時間窓にわたる類似の量のＯＮ事象およびＯＦＦ事象が望ましい。

【0089】

非動き閾値

【0090】

事象ベースの変化検出センサの特性は、シーンの中に動きがない場合に、データを（または非常に僅かなデータしか）生成しないことである。そのような、動きがない場合には、閾値を変えることは望ましくない可能性があり、それ故に、コントローラを、それより下ではＥｖｅｎｔＴｈｒｅｓｈｏｌｄ出力を変えるための制御ループが活性化されない最小事象速度閾値を含むように、拡張することができる。

【0091】

時間分解能制御

【0092】

幾つかのピクセル設計において、時間ビン速度（比較の速度）変えることができる。米国特許出願第ＵＳ２００８／００１３５７３１号における記載によって提案されるようなピクセルにおいては、無反応バイアス（ｒｅｆｒａｃｔｏｒｙ ｂｉａｓ）を制御することができ、このことが、ピクセルが事象を生成できる速度を制限することを可能にする。

【0093】

本発明は、その好ましい実施形態に関連して具体的に示され、説明されたが、当業者であれば、添付の特許請求の範囲によって包含される本発明の範囲から逸脱せずに、その中で、形状および細部に様々な変更を加えることができることを理解するであろう。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2024-03-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

変化検出センサであって、
光を検出する第１のピクセルを備えたピクセルアレイと、
前記第１のピクセルによって受け取った光に関連するＯＮ事象およびＯＦＦ事象を検出するための事象検出器と、
前記ＯＮ事象および前記ＯＦＦ事象を別々に評価する事象速度検出器と、
前記事象速度検出器に基づいてＯＮ事象閾値およびＯＦＦ事象閾値を別々に制御するためのコントローラと、
前記コントローラの制御下で前記ＯＮ事象閾値および前記ＯＦＦ事象閾値を別々に出力する閾値生成回路と、
を備え、
前記事象検出器は、第１の入力および第２の入力を有する比較器を包含し、前記第１の入力は、前記第１のピクセルに
前記第２の入力は、前記閾値生成回路から前記ＯＮ事象および前記ＯＦＦ事象の両方を時間内に連続的に受け取る、変化検出センサ

【請求項2】

前記事象速度検出器は、前記事象検出器からの事象を計数することにより、前記事象を評価するための計数器を備える、請求項１に記載の変化検出センサ。

【請求項3】

前記事象速度検出器は、事象を推定することにより、前記事象を評価するための事象推定器を備える、請求項１に記載の変化検出センサ。

【請求項4】

前記事象速度検出器は、事象検出器が記録する事象の数に基づくアナログ信号を分析することによって前記事象を評価する、請求項１に記載の変化検出センサ。

【請求項5】

前記コントローラは、前記事象速度検出器によって与えられた評価に応じて、前記閾値を変化させる、請求項１に記載の変化検出センサ。

【請求項6】

前記第１のピクセルは、前記第１のピクセルがリセットされたときに受け取る光に対応する電荷を格納するための、事象検出器の内の１つのメモリキャパシタを備える、請求項１に記載の変化検出センサ。

【請求項7】

前記比較器は、読み出し回路内に配置される、請求項１に記載の変化検出センサ。

【請求項8】

前記コントローラは、前記ピクセルアレイ内のＯＮ事象およびＯＦＦ事象に基づいて、ＯＮ事象およびＯＦＦ事象に対する閾値を別々に設定する、請求項１に記載の変化検出センサ。

【請求項9】

前記事象速度検出器は、前記事象検出器からの事象を計数することにより、前記事象を評価するための計数器を備え、前記計数器は、コントローラによって周期的にリセットされる、請求項１に記載の変化検出センサ。

【請求項10】

前記事象速度検出器は、計数器の中の別々のＯＮ事象計数器およびＯＦＦ事象計数器を用いて、所与の時間窓の間に前記ピクセルアレイによって出力されるＯＮ事象と前記ピクセルアレイによって出力されるＯＦＦ事象との両方の数を計数する、請求項１に記載の変化検出センサ。

【請求項11】

前記コントローラは、スリープサイクルモード中に事象の数を減らし、次いで、正常動作モード中に事象の数を増す、請求項１に記載の変化検出センサ。

【請求項12】

前記コントローラは、ＯＮ事象とＯＦＦ事象との間の比に基づいて、ＯＮ閾値およびＯＦＦ閾値を制御する、請求項１に記載の変化検出センサ。

【請求項13】

変化検出センサの動作の方法であって、
ピクセルアレイ中の第１のピクセルによって受け取った光に関連するＯＮ事象およびＯＦＦ事象を検出する、ステップと、
事象検出器を有する前記ピクセルアレイの前記第１のピクセルから前記ＯＮ事象および前記ＯＦＦ事象を別々に評価するステップと、
閾値生成回路からＯＮ事象の前記閾値およびＯＦＦ事象の前記閾値を別々に制御することにより、
前記ピクセルアレイから前記ＯＮ事象および前記ＯＦＦ事象の評価に基づいて、前記第１のピクセルが前記ＯＮ事象および前記ＯＦＦ事象を検出する仕方を変えるステップと、
を含み、
前記事象検出器は、第１の入力および第２の入力を有する比較器を包含し、前記第１の入力は、前記第１のピクセルに
前記第２の入力は、前記閾値生成回路から前記ＯＮ事象および前記ＯＦＦ事象の両方を時間内に連続的に受け取る、方法。

【請求項14】

事象を評価するステップは、前記事象を計数するステップを含む、請求項１３に記載の方法。

【請求項15】

事象を評価するステップは、前記事象を推定するステップを含む、請求項１３に記載の方法。

【請求項16】

変化検出センサであって、
光を検出する第１のピクセルを備えたピクセルアレイであって、
前記第１のピクセルは、光センサ、および前記光センサの応答に基づいて光センサ信号を出力する光受容器回路を含む、ピクセルアレイと、
前記光センサ信号を比較することにより、前記第１のピクセルによって受け取った光に関連するＯＮ事象およびＯＦＦ事象を検出するための事象検出器と、
前記ＯＮ事象および前記ＯＦＦ事象を別々に評価する事象速度検出器と、
前記変化検出センサの異なるモードの事象の数を変えるために、前記事象速度検出器に基づいてＯＮ事象閾値およびＯＦＦ事象閾値を別々に制御するためのコントローラと、
前記コントローラの制御下で前記ＯＮ事象閾値および前記ＯＦＦ事象閾値を別々に出力する閾値生成回路と、
を備え、
前記事象検出器は、第１の入力および第２の入力を有する比較器を包含し、前記第１の入力は、前記第１のピクセルに
前記第２の入力は、前記閾値生成回路から前記ＯＮ事象および前記ＯＦＦ事象の両方を時間内に連続的に受け取る、変化検出センサ

【請求項17】

前記モードは、スリープサイクルモードおよび正常動作モードを含む、請求項１６に記載の変化検出センサ。

【請求項18】

事象の数は、スリープサイクルモード中に事象の数を減らし、次いで、正常動作モード中に事象の数を増す、請求項１７に記載の変化検出センサ。

【外国語明細書】