特表 2024-546847 センサ装置及びセンサ装置の動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-26

(54)【発明の名称】センサ装置及びセンサ装置の動作方法

(51)【国際特許分類】

   H04N 25/47 20230101AFI20241219BHJP

   H04N 25/707 20230101ALI20241219BHJP

   H04N 25/70 20230101ALI20241219BHJP

【ＦＩ】

H04N25/47

H04N25/707

H04N25/70

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024535393

(86)(22)【出願日】2022-11-28

(85)【翻訳文提出日】2024-08-05

(86)【国際出願番号】 EP2022083487

(87)【国際公開番号】W WO2023117315

(87)【国際公開日】2023-06-29

(31)【優先権主張番号】21215926.3

(32)【優先日】2021-12-20

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110003339

【氏名又は名称】弁理士法人南青山国際特許事務所

(72)【発明者】

【氏名】バーナー ラファエル

(72)【発明者】

【氏名】ブランドリ クリスチャン ピーター

(72)【発明者】

【氏名】モハジェラニ モディ

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024GX03

5C024GY31

5C024HX29

5C024HX50

5C024HX51

5C024HX55

5C024JX09

5C024JX46

(57)【要約】

センサ装置（１０１０）は、複数のセンサ部（１０１１ａ）であって、各々が、センサ部（１０１１ａ）に与える影響の強度を検出し、それぞれの所定の閾値よりも大きい影響の強度の正又は負の変化をイベントとして検出することが可能である複数のセンサ部と、少なくとも１つの所定の期間に、複数のセンサ部（１０１１ａ）によって検出されたイベントの一部を読み出すためにランダムに選択するように構成されたフィルタ部（１０１２）と、検出されたイベントの、及び／又はフィルタ部（１０１２）の読み出し選択動作の履歴データを記憶するように構成されたメモリ部（１０１３）と、少なくとも１つの所定の期間の各々について、フィルタ部（１０１２）からイベントの選択された一部を受信して出力するように構成された出力インタフェース（１０１４）とを含む。ここで、フィルタ部（１０１２）は、履歴データに基づいて、一連の少なくとも１つの所定の期間について、ランダム選択を繰り返し実行するように構成される、
【選択図】 図２

【特許請求の範囲】

【請求項1】

複数のセンサ部（１０１１ａ）であって、各々が、前記センサ部（１０１１ａ）に与える影響の強度を検出し、それぞれの所定の閾値よりも大きい前記影響の強度の正又は負の変化をイベントとして検出することが可能である複数のセンサ部と、
少なくとも１つの所定の期間に、前記複数のセンサ部（１０１１ａ）によって検出されたイベントの一部を読み出すためにランダムに選択するように構成されたフィルタ部（１０１２）と、
検出されたイベントの、及び／又は前記フィルタ部（１０１２）の読み出し選択動作の履歴データを記憶するように構成されたメモリ部（１０１３）と、
前記少なくとも１つの所定の期間の各々について、前記フィルタ部（１０１２）から前記イベントの選択された一部を受信して出力するように構成された出力インタフェース（１０１４）と
を含み、前記フィルタ部（１０１２）は、前記履歴データに基づいて、一連の前記少なくとも１つの所定の期間について、前記ランダム選択を繰り返し実行するように構成される、センサ装置（１０１０）。

【請求項2】

前記複数のセンサ部（１０１１ａ）、前記フィルタ部（１０１２）、前記メモリ部（１０１３）、及び前記出力インタフェース（１０１４）は全て、単一のセンサチップ（１０１５）の一部である、請求項１に記載のセンサ装置（１０１０）。

【請求項3】

各所定の期間に、前記メモリ部（１０１３）は、前記履歴データとして、この所定の期間に検出された前記イベント及び前記イベントの数を記憶するように構成され、
前記フィルタ部（１０１２）は、記憶されたイベントの数とイベント選択閾値とを比較し、前記記憶されたイベントの数が、前記イベント選択閾値よりも大きいときは、前記メモリ部（１０１３）に記憶された前記イベントに対してランダム選択を実行し、前記記憶されたイベントの数が、前記イベント選択閾値よりも小さいときは、前記メモリ部（１０１３）に記憶されたイベントに対して前記ランダム選択を実行しないように構成される、請求項１に記載のセンサ装置（１０１０）。

【請求項4】

前記フィルタ部（１０１２）は、前記記憶されたイベントのうち１つのイベントを、前記出力インタフェース（１０１４）に転送する確率を、前記イベント選択閾値と前記記憶されたイベントの数との比として設定するように構成される、請求項３に記載のセンサ装置（１０１０）。

【請求項5】

前記フィルタ部（１０１２）は、前記メモリ部（１０１３）に記憶された複数のイベントのランダム選択を並行して実行するように構成される、請求項４に記載のセンサ装置（１０１０）。

【請求項6】

前記フィルタ部（１０１２）は、前記同じ記憶されたイベントを２回選択することなく、前記出力インタフェース（１０１４）に転送するために保存されたイベントをランダムに選択し、前記転送されたイベントの数をカウントし、前記転送されたイベントの数が、前記イベント選択閾値に達したときに、前記記憶されたイベントの転送を停止することによって、ランダム選択を実行するように構成される、請求項３に記載のセンサ装置（１０１０）。

【請求項7】

前記メモリ部（１０１３）は、同時にＮ個のイベントを記憶するための少なくとも１つのメモリ空間を有し、
各所定の期間において、前記フィルタ部（１０１２）は、Ｎ個のイベントが記憶されるまで、新たに検出された各イベントを、前記メモリ空間に記憶し、その後、新たに検出されたイベントによって前記メモリ空間に記憶されたイベントを上書きするか否かをランダムに決定するように構成される、請求項１に記載のセンサ装置（１０１０）。

【請求項8】

前記メモリ空間に記憶されたイベントを上書きするか否かをランダムに決定するために、前記フィルタ部（１０１２）は、前記検出されたイベントの数をカウントし、前記カウントされた数を履歴データとして前記メモリ部（１０１３）に記憶し、新たに検出されたイベント毎に、１と検出されたイベントの瞬時数との間の乱数を発生し、前記乱数が数Ｎより大きい場合は、前記新たに検出されたイベントを破棄し、前記乱数がＮより小さいか等しい場合、前記乱数に対応する位置に、前記メモリ空間に記憶されたイベントを上書きするように構成される、請求項７に記載のセンサ装置（１０１０）。

【請求項9】

前記メモリ部（１０１３）は、前記所定の期間中に検出されたイベントの数を前記履歴データとして記憶するように構成され、
前記フィルタ部（１０１２）は、現在の所定の期間中のイベントを、以前の所定の期間の検出されたイベントの数に依存する確率でランダムに選択するように構成される、請求項１に記載のセンサ装置（１０１０）。

【請求項10】

前記センサ部（１０１１ａ）は、センサ部のグループに分割され、各々が、好ましくは、同数のセンサ部（１０１１ａ）を含み、
前記フィルタ部（１０１２）は、前記センサ部（１０１１ａ）のグループ毎に、前記検出されたイベントのランダム選択を個別に実行するように構成される、請求項１に記載のセンサ装置。

【請求項11】

前記メモリ部（１０１３）は、前記履歴データとして、前記所定の期間中に検出されたイベントの総数、及び前記センサ部（１０１１ａ）の各グループ内で検出されたイベントの数を記憶するように構成され、
前記フィルタ部（１０１２）は、前記イベントの総数、及び以前の所定の期間において前記特定のグループに対してカウントされたイベントの数に基づいて、現在の所定の期間において１つの特定のグループ内で検出されたイベントをランダムに選択する確率を決定するように構成される、請求項１０に記載のセンサ装置（１０１０）。

【請求項12】

前記フィルタ部（１０１２）は、前記センサ部（１０１１ａ）の各グループに、それぞれのグループから読み出されるイベントの所望の数を割り当て、前記割り当てられた所望の数に基づく確率でランダム選択を実行するように構成される、請求項１０に記載のセンサ装置。

【請求項13】

前記フィルタ部（１０１２）は、１つの所定の期間中に検出されたイベントの全て又はサブセットをイベントベクトルにグループ化し、前記イベントベクトルと、ランダムに分布した１ｓの数とそれ以外の０ｓを含むランダムベクトルとの間でビットワイズ論理演算を実行することによって、ランダム選択を実行するように構成される、請求項１に記載のセンサ装置（１０１０）。

【請求項14】

前記センサ装置（１０１０）は、固体撮像装置であり、
前記センサ部（１０１１ａ）は、画素アレイに配置された撮像画素であり、各撮像画素は、前記撮像画素（１０１１ａ）に入射する光の強度を感知することができ、それぞれの所定の閾値よりも大きい光強度の正又は負の変化をイベントとして検出することができる、請求項１に記載のセンサ装置（１０１０）。

【請求項15】

請求項１に記載のセンサ装置（１０１０）を動作する方法であって、
複数のセンサ部（１０１１ａ）によりイベントを検出し、
少なくとも１つの所定の期間に、前記複数のセンサ部（１０１１ａ）により検出された前記イベントの一部を読み出すためにランダムに選択し、
検出されたイベントの、及び／又は読み出し選択動作の履歴データを記憶し、
前記少なくとも１つの所定の期間の各々について、前記イベントの選択された一部を出力することを含み、前記ランダム選択は、前記履歴データに基づいて、一連の少なくとも１つの所定の期間について繰り返し実行される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、イベント検出が可能なセンサ装置及びその動作方法に関する。特に、本開示は、ダイナミックビジョンセンサ（ＤＶＳ）のような、光強度の変化に反応するイベント検出センサの分野に関する。

【背景技術】

【0002】

コンピュータビジョンは、機械やコンピュータが、デジタル画像やビデオから高レベルの理解を得る方法を扱うものである。一般的に、コンピュータビジョンの方法は、イメージセンサを通して得られた生の画像データから、機械やコンピュータが他のタスクに使用するタイプの情報を抽出することを目的としている。

【0003】

機械制御、プロセス監視又はサーベイランスタスク等の多くの用途は、撮像されたシーン内の物体の動きの評価に基づいている。複数の画素が、画素のアレイに配列された従来のイメージセンサは、一連の静止画像（フレーム）を送達する。一連のフレームから動く物体を検出するには、通常、精巧で高価な画像処理方法が必要とされる。

【0004】

ＤＶＳのようなイベント検出センサは、撮像されたシーンにおける位置の変化に関する情報のみを送達することによって、動き検出の問題に取り組むものである。フレーム内で大量の画像情報を転送するイメージセンサとは異なり、変化しない画素に関する情報の転送は省略される可能性があり、その結果、一種の画素内データ圧縮が行われる。画素内データ圧縮により、データの冗長性がなくなり、高い時間分解能、低遅延、低消費電力、高いダイナミックレンジ、動体ブレの少なさが実現される。このため、ＤＶＳは、特に、太陽電池やバッテリー駆動の圧縮センシングや、イメージセンサを含むシステムの動きを推定する必要があり、バッテリー容量が限られているため処理能力が制限されるモバイルマシンビジョン用途に適している。原理的には、ＤＶＳのアーキテクチャは、高いダイナミックレンジと優れた低照度性能を可能にする。

【0005】

しかしながら、ＤＶＳのような視覚イベント検出センサだけでなく、例えば、聴覚センサ、触覚センサ、化学センサ等のような他のタイプのイベントベースのセンサも、非常に大量のイベントデータが発生する可能性がある。その結果、スループットが大きくなり、キューイングや処理の遅延が発生し、消費電力も増加する。実際、データ量が多い場合、すなわち、イベント量が多い場合、データ出力は疎になり、イベントベースのセンサの肯定的な特性を打ち消すことになる。

【0006】

従って、イベントベースのセンサ、特に、ＤＶＳのようなイベント検出に適合したフォトレセプタモジュールやイメージセンサの高い時間分解能を利用し、さらに推し進めることが望ましい。

【発明の概要】

【発明が解決しようとする課題】

【0007】

イベント検出は、上述の利点を提供するが、これらの利点は、大量のイベントに対しては減少する恐れがある。例えば、大量のイベントは、消費電力を増加させる可能性がある。さらに、大量のイベントによって生成される出力データの大きなピークは、レイテンシを導入し、システムのリアルタイム挙動を悪化させる。本開示は、従来のイベント検出センサ装置のこのような欠点を緩和する。

【課題を解決するための手段】

【0008】

この目的のために、複数のセンサ部であって、各々が、センサ部に与える影響の強度を検出し、それぞれの所定の閾値よりも大きい影響の強度の正又は負の変化をイベントとして検出することが可能である複数のセンサ部と、少なくとも１つの所定の期間に、複数のセンサ部によって検出されたイベントの一部を読み出すためにランダムに選択するように構成されたフィルタ部と、検出されたイベントの、及び／又はフィルタ部の読み出し選択動作の履歴データを記憶するように構成されたメモリ部と、少なくとも１つの所定の期間の各々について、フィルタ部からイベントの選択された一部を受信して出力するように構成された出力インタフェースとを含むセンサ装置が提供される。ここで、フィルタ部は、履歴データに基づいて、一連の少なくとも１つの所定の期間について、ランダム選択を繰り返し実行するように構成される。

【0009】

さらに、上記のようなセンサ装置を動作する方法が提供され、複数のセンサ部によりイベントを検出し、少なくとも１つの所定の期間に、複数のセンサ部により検出されたイベントの一部を読み出すためにランダムに選択し、検出されたイベントの、及び／又は読み出し選択動作の履歴データを記憶し、少なくとも１つの所定の期間の各々について、イベントの選択された一部を出力することを含む。ここで、ランダム選択は、履歴データに基づいて、一連の少なくとも１つの所定の期間について繰り返し実行される。

【0010】

大量に発生する疎なイベントデータは、その疎性と利点を失う。これを軽減するために、上述したイベントデータの追加フィルタリングが導入され、重要な特徴を保持しながらデータをさらに削減する。特に、ランダム選択が情報を表現する効率的な方法であることが示されている。ランダムに選択されたサンプルは、出力後も正しく解釈できる重要な詳細を捉えることができる。従って、本開示のセンサ装置及び方法は、限られた処理速度でもリアルタイム動作を保証するために、大量のイベントの状況に効果的に対処することができる。従って、イベントベースのセンサの利点、特に、その高い時間分解能は、大量のイベントが発生する複雑な状況にも使用できる。

【図面の簡単な説明】

【0011】

【図1】イベント検出用センサ装置の簡略ブロック図である。

【図2】イベント検出用センサ装置を動作する方法の概略プロセスフローである。

【図3】イベント検出用の他のセンサ装置の簡略化したブロック図である。

【図4】イベント検出用センサ装置を動作する他の方法の概略的なプロセスフローである。

【図5】イベント検出用の他のセンサ装置の簡略化されたブロック図である。

【図6】イベント検出用のセンサ装置を動作する他の方法の概略的なプロセスフローである。

【図7】イベント検出用の他のセンサ装置の簡略化したブロック図である。

【図8】イベント検出用のセンサ装置を動作する他の方法の概略プロセスフローである。

【図9】イベント検出用の他のセンサ装置の簡略化したブロック図である。

【図10】イベント検出用のセンサ装置を動作する他の方法の概略的なプロセスフローである。

【図11】イベント検出用のセンサ装置を動作する他の方法の概略プロセスフローである。

【図12】イベント検出用のセンサ装置を動作する他の方法の概略的なプロセスフローである。

【図13A】画素アレイを含む固体撮像装置のイベント検出回路の簡略化されたブロック図である。

【図13B】図１３Ａに示された画素アレイの簡略化されたブロック図である。

【図13C】図１３Ａの固体撮像装置の撮像信号読み出し回路の簡略化されたブロック図である。

【図14】本開示の一実施形態による積層構造を有する固体撮像装置の簡略化した斜視図である。

【図15】本開示による技術が適用され得る多層固体撮像装置の構成例を簡略化して示す図である。

【図16】車両制御システムの概略構成の一例を示すブロック図である。

【図17】図１６の車両制御システムの車外情報検出部と撮像部の設置位置の一例を説明するための補助図である。

【発明を実施するための形態】

【0012】

図１は、多数のイベントが検出された場合でも、低レイテンシと低消費電力を維持できるイベント検出用センサ装置１０１０の簡略化したブロック図である。

【0013】

センサ装置１０１０は、各々が、センサ部１０１１ａに対する影響の強度を検出することができ、それぞれの所定の閾値よりも大きい影響の強度の正又は負の変化をイベントとして検出することができる複数のセンサ部１０１１ａを含む。このようなセンサ部１０１１ａの主な例は、測定された光強度の変化をイベントとして検出するダイナミックビジョンセンサ（ＤＶＳ）の画素である。しかしながら、原理的には、音、温度、圧力等の任意の影響の強度を検出することができる任意のセンサを、イベントを検出することができるセンサ部１０１１ａを構成するように設計することができる。

【0014】

センサ装置１０１０は、読み出し回路１０１１ｂをさらに含み、読み出し回路１０１１ｂは、好ましくは、イベントを検出したセンサ部１０１１ａのアドレス又は他の識別子を登録して転送することによって、検出されたイベントを読み出すように構成される。さらに、読み出し回路は、イベントの極性、すなわち、強度の変化が正であったか負であったかを登録して転送してもよく、かつ測定された強度を出力してもよい。読み出し回路１０１１ｂは、追加の回路であってもよいし、各センサ部１０１１ａの一部として形成されていてもよい。

【0015】

少なくとも１つの所定の期間中に、センサ部１０１１ａ（又はそのサブセット）によって検出されたイベントは、センサ装置１０１０のメモリ部１０１３に記憶され、その後、センサ装置１０１０のフィルタ部１０１２に転送される。フィルタ部１０１２は、この所定の期間に検出されたイベントの一部を読み出すために、ランダムに選択するように構成される。つまり、所定の期間中に登録された全てのイベントの読み出しが許可されるわけではなく、その一部がランダムにドロップされる。イベントをランダムにドロップすることで、イベントの情報内容を過度に劣化させることなく、イベント量の削減を達成できることが示されている。これは、大量のイベントについては、イベントの特定の空間的又は時間的順序に偏ることなく、ランダムな選択によってイベントの数が間引かれるという事実に依拠している。このように、イベントの一般的なパターンは基本的に変わらないが、より少ないイベントによって形成されることになる。これにより、後の処理段階でのレイテンシと消費電力が削減される。

【0016】

ランダム選択を安全に適用するために、所定の期間中に十分な量のイベントが検出されたか否かを決定できるようにするために、メモリ部１０１３は、検出されたイベントの、及び／又はフィルタ部１０１２の読み出し選択動作の履歴データを記憶する。これらの履歴データに基づいて、フィルタ部１０１２は、ランダム選択を、好ましくは、一連の少なくとも１つの所定の期間について繰り返し実行する。履歴データは、例えば、現在又は以前の所定の期間間隔でカウントされたイベントの数を参照してもよく、このようにして、現在検出されたイベントの数が、イベントの平均数又は処理可能なイベントの数よりも大きいかどうかを推定することができる。また、履歴データは、フィルタ部１０１２によって読み出しが許可されたイベントの数、又は、読み出しイベントがどのセンサ部１０１１ａから検出されたか、すなわち、読み出しイベントがセンサ部１０１１ａにわたってどのように分布されたかを参照してもよい。このように、履歴データに基づいてランダム選択を行うことにより、必要な場合にのみランダム選択が実行されることが保証され、イベントが十分に少ない数の状況での情報内容の劣化が防止される。

【0017】

読み出しのために選択されたイベントは、フィルタ部１０１２からセンサ装置１０１０の出力インタフェース１０１４に転送され、センサ装置１０１０は、少なくとも１つの所定の期間の各々について、この選択されたイベントの一部を受信して出力する。出力されたイベントは、一般的なイベントベースのセンサで知られているように処理することができる。

【0018】

図１に示されるように、複数のセンサ部１０１１ａ（読み出し回路１０１１ｂを含む）、フィルタ部１０１２、メモリ部１０１３、及び出力インタフェース１０１４は全て、単一のセンサチップ１０１５の一部であってもよい。このセンサチップ１０１５は、例えば、一般的に知られているイベント検出用のチップに置き換えることができるが、センサチップ１０１５によって出力されるイベントの数が、低レイテンシで、かつ、過度の電力消費を伴わずに処理できるレベルにとどまるという利点を提供する。このように、一般的に知られているチップの代わりにセンサチップ１０１５をセンサ装置１０１０で使用することは、レイテンシと消費電力の削減につながる。その結果、電池寿命の延長や小型電池の使用が可能になる。さらに、レイテンシが削減されるため、センサ装置１０１０は、スマートフォンやヘッドマウントディスプレイの用途や自律走行車内のように、大量の刺激がある環境でのリアルタイム用途にも適している。

【0019】

センサ装置１０１０の動作原理を、図２の概略フロー図に示す。Ｓ１０で、複数のセンサ部１０１１ａにより、イベントが検出される。Ｓ２０で、少なくとも１つの所定の期間内に、複数のセンサ部１０１１ａで検出されたイベントの一部が、読み出し用にランダムに選択される。Ｓ３０で、検出されたイベントの、及び／又は読み出し選択動作の履歴データが記憶され、この履歴データに基づいて、一連の少なくとも１つの所定の期間について、ランダム選択が繰り返し実行される。Ｓ４０で、イベントの選択された部分が、少なくとも１つの所定の期間の各々について出力される。

【0020】

図３に、メモリ部１０１３とフィルタ部１０１２の基本的な内部構造の一例を概略ブロック図で示す。メモリ部１０１３は、本例では、バッファ部１０１３ａ、イベントカウントレジスタ１０１３ｂ、及び閾値レジスタ１０１３ｃを含む。バッファ部１０１３において、読み出し回路１０１１ｂによって出力されたフィルタリングされていないイベントが、そこから読み出すためのイベントをランダムに選択する前に、中間的に記憶される。イベントの記憶は、好ましくは、イベントを検出したセンサ部１０１１ａのアドレス又は他の識別子を、任意で、イベントの極性及び／又は測定された強度と共に記憶することによって行われる。イベントカウントレジスタ１０１３ｂにおいて、バッファリングされたイベントの数、すなわち、検出されたイベントの数がカウントされ、カウントされた値は、イベントカウントレジスタ１０１３ｂに検索のために記憶される。このイベントカウントが、本例における履歴データを構成する。閾値レジスタ１０１３ｃには、読み出しを希望するイベントの数が、イベント選択閾値として記憶される。

【0021】

フィルタ部１０１２は、本例では、計算部１０１２ａ、乱数発生器１０１２ｂ、及びイベントドロップ部１０１２ｃを含む。各所定の期間間隔後、計算部１０１２ａは、イベントカウントレジスタ１０１３ｂからカウント値を検索し、いくつのイベントが検出され、バッファ部１０１３ａにバッファリングされたかを学習する。さらに、計算部１０１２ａは、閾値レジスタ１０１３ｃからイベント選択閾値を検索する。カウント値とイベント選択閾値に基づいて、乱数発生器１０１２ｂが制御され、一連の乱数をイベントドロップ部１０１２ｃに提供し、そこで、各乱数は、バッファ部１０１３ａに記憶されたイベントの１つを参照する。発生した乱数に基づいて、イベントドロップ部１０１２ｃは、対応するイベントをドロップすべきか、又は出力インタフェース１０１４に転送すべきかを決定する。このようにして、所定の期間中に検出された各イベントは、ランダムな選択プロセスにかけられる。選択される確率は、イベントカウント値のような履歴データと、イベント選択閾値のような所定の条件を介して乱数発生器を調整することにより制御することができる。

【0022】

この特定の例を、図４及び図５に関して説明する。図４はランダム選択の概略プロセスフローを示し、図５はセンサ装置１０１０の対応する構成の概略ブロック図を示す。

【0023】

図４に示すように、Ｓ１０１で、バッファ部１０１３ａをリセットし、イベントカウント値をゼロに設定することにより、プロセスが初期化される。Ｓ１０２で、イベントが検出され、イベントカウント値が１増加する。Ｓ１０３で、検出されたイベントが、バッファ部１０１３ａに記憶される。Ｓ１０４で、所定の期間内の全てのイベントが処理されていない場合、例えば、所定の期間がまだ終了していない場合、プロセスはＳ１０２に戻る。所定の期間が終了すると、Ｓ１０５において、到達したイベントカウント値がイベント選択閾値より大きいか否かを計算部１０１２ａで比較し、プロセスを継続する。そうでない場合には、ランダム選択は不要となり、Ｓ１０６で、全てのイベントがバッファ部１０１３ａから読み出され、出力インタフェース１０１４に送信される。

【0024】

イベントカウント値が閾値より大きい場合、Ｓ１０７からＳ１１１で、ランダム選択が行われる。すなわち、センサ装置１０１０において、メモリ部１０１３は、各所定の期間中、イベントと、この所定の期間中に検出されたイベントの数とを履歴データとして記憶する。フィルタ部１０１２は、記憶されたイベントの数とイベント選択閾値とを比較し、記憶されたイベントの数がイベント選択閾値よりも大きいときは、メモリ部１０１３に記憶されたイベントに対してランダム選択を行い、記憶されたイベントの数がイベント選択閾値よりも小さいときは、メモリ部１０１３に記憶されたイベントに対してランダム選択を行わないように構成される。このように、検出されたイベントの数が十分に大きい場合にのみ、ランダム選択が実行されることが保証される。

【0025】

Ｓ１０７で、フィルタ部１０１２の計算部１０１２ａは、記憶されたイベントのうち１つのイベントを出力インタフェース１０１４に転送する確率を、イベント選択閾値と記憶されたイベントの数との比として設定する。Ｓ１０８で、イベントドロップ部１０１２ｃは、バッファ部１０１３ａから１つのイベントを読み出す。Ｓ１０９で、乱数発生器１０１２ｂは、Ｓ１０７で設定された確率で「１」を発生し、それ以外の場合は「０」を発生する。Ｓ１０９で、乱数発生器１０１２ｂが「１」を発生した場合、そのイベントは出力インタフェース１０１４に転送される。そうでない場合、イベントはドロップされる。Ｓ１１１で、バッファ部１０１３ａからの全てのイベントが処理されたかどうかがチェックされる。そうでない場合、プロセスはＳ１０８に戻り、バッファ部１０１２ａから次のイベントを選択する。所定の期間内にバッファリングされた全てのイベントが処理された場合、Ｓ１１２で、バッファ部１０１２ａ及びイベントカウント値はリセットされ、Ｓ１０１で、次の所定の期間内の処理が開始される。

【0026】

図５からわかるように、このプロセスは、例えば、計算部１０１２ａ及びイベントドロップ部１０１２ｃによって正の出力が生成された場合、バッファ部１０１３ａのエントリを転送するマルチプレクサ１０１２ｄが追加されれば、図３の構成によって実行することができる。

【0027】

このように、ランダム選択によって大量のイベントを削減することで、レイテンシを削減することができる。メモリ部１０１３に記憶された複数のイベントを並列にランダム選択することで、さらなるレイテンシの削減を図ることができる。このため、１つの所定の期間の読み出しサイクルをより早く終了させるために、バッファ部１０１３ａに記憶されたイベントに対して並列に動作する複数の乱数発生器１０１２ｂ及びイベントドロップ部１０１２ｃを設けることができる。

【0028】

本例では、所定の期間間隔毎に選択され出力インタフェース１１４に転送されるイベントの数は、イベント選択閾値を中心に確率的に変動する。これは、さらなる処理ステップでイベント選択閾値を超えないようにしなければならない場合、不利になる可能性がある。以下では、この問題を軽減するセンサ装置１０１０の構成について、図６及び図７を参照して説明する。

【0029】

図６及び図７は、フィルタ部１０１２が、出力インタフェース１０１４に転送する記憶されたイベントを、同じ記憶されたイベントを２回選択することなくランダムに選択し、転送されたイベントの数をカウントし、転送されたイベントの数がイベント選択閾値に達したら、記憶されたイベントの転送を停止することで、ランダム選択を実行するセンサ装置１０１０の例示的な構成を示す。このように、ランダムな選択が行われるが、出力されるイベントの数は、イベント選択閾値と最大で等しくなる。

【0030】

これは、図６の概略的なプロセスフローに示されるように達成することができる。ここで、ステップＳ２０１からＳ２０６は、図４について上述したステップＳ１０１からＳ１０６と同等である。従って、ここでも、１つの所定の期間中に検出されたイベントがバッファリングされ、カウントされる。イベントカウント値がイベント選択閾値より小さい場合、ランダム選択の必要なく、バッファリングされた全てのイベントを出力インタフェース１０１４に転送することができる。

【0031】

Ｓ２０５で、検出されたイベントの数がイベント選択閾値よりも大きいことが判明した場合、Ｓ２０７で、出力インタフェースに転送されたイベントの数をカウントするためのカウンタがゼロに設定される。Ｓ２０８で、乱数発生器１０１２ｂは、１とイベントカウント値との間の数をランダムに発生させるが、リセット前に同じ数値を２回出力することはない。Ｓ２０９で、乱数発生器１０１２ｂによって発生した数が、バッファ部１０１３ａにおける対応するイベントのアドレスへのポインタとして使用される。これは、バッファ部の対応するアドレス空間にはイベントカウント値に等しい数のイベントが記憶されており、乱数発生した数値がイベントカウント数に最大に相当するため、可能である。Ｓ２１０で、乱数に対応するイベントが読み出され、出力インタフェース１０１４に転送される。同時に、転送されたイベントの数についてのカウンタが１増加する。Ｓ２１１で、このカウンタがイベント選択閾値より小さいかどうかがチェックされる。そうであれば、プロセスはステップＳ２０８に戻る。そうでなければ、読み出されるイベントの最大許容数に達している。その後、Ｓ２１２で乱数発生器１０１２ｂがリセットされ、プロセスはステップＳ２０１で次の所定の期間に継続する。

【0032】

ここでも、図７からわかるように、このプロセスは、図３又は図５に示したセンサ装置１０１０の構成によって実行することができる。ここで、マルチプレクサ１０１２ｄは、計算部１０１２ａがイベント選択閾値を超えたことを信号で通知し、イベントドロップ部１０１２ｃが既に読み出されたイベントの数もイベント選択閾値を超えなかったことを信号で通知したときに、バッファ部１０１３ａからバッファリングされたイベントを出力インタフェースに転送する。

【0033】

上述の例では、１つの所定の期間中に検出された全てのイベントをバッファ部１０１３ａに記憶する必要があり、これは、多数のイベントを扱うためには、バッファ部１０１３ａが十分に大きくなければならないことを意味する。しかしながら、図８及び図９に関して以下に説明するように、この制約なしにイベントのランダム選択を実行することもできる。

【0034】

図８及び図９の構成によれば、メモリ部１０１３は、同時にＮ個のイベントを記憶するための少なくとも１つのメモリ空間１０１３ｄを有する。フィルタ部１０１２は、所定の期間毎に、Ｎ個のイベントが記憶されるまで、新たに検出された各イベントをメモリ空間１０１３ｄに記憶し、その後、新たに検出されたイベントによってメモリ空間１０１３ｄに記憶されたイベントを上書きするか否かをランダムに決定する。従って、メモリ空間１０１３ｄの最大エントリ数は、検出されたイベントの数に関係なく、Ｎに等しい。これにより、一方では、メモリ部１０１３のメモリ空間１０１３ｄを所定のサイズに制限できることが保証される。さらに、Ｎ個のイベントのみがメモリ空間１０１３ｄへの記憶と出力のために選択されるため、出力インタフェースに転送されるイベントの数をＮ個に制限されることが保証される。従って、Ｎは、この構成におけるイベント選択閾値として機能する。

【0035】

図８は、このランダム選択方法の例示的な概略プロセスフローを示す。ステップＳ３０１からＳ３３０３は、図４のステップＳ１０１からＳ１０３又は図６のステップＳ２０１からＳ２０３に対応する。ここで、検出されたイベントがカウントされ、イベント選択閾値をまだ超えていないかチェックされる。もし超えていなければ、Ｓ３０４で、イベントは、イベント選択閾値に等しいサイズＮを有するメモリ空間１０１３ｄに記憶される。Ｓ３０５で、図４のステップＳ１０４について上述したように、現在の所定の期間内の全てのイベントが処理されたかどうかがチェックされる。

【0036】

イベント検出閾値を超えた場合、これはメモリ空間１０１３ｄが記憶されたイベントで完全に満たされたことを意味する。次に、Ｓ３０６で、乱数発生器１０１２ｂは、１と現在のイベントカウント値との間の整数をランダムに発生する。Ｓ３０７で、このようにして発生した乱数がイベント選択閾値より大きいか否か、すなわちＮより大きいか否かがチェックされる。大きくない場合には、発生した乱数がメモリ空間１０１３ｄの対応する記憶位置へのポインタとして使用され、そこに記憶されているイベントが新たに検出されたイベントで上書きされる。乱数が数Ｎより大きい場合、そのイベントは破棄される。このように、本構成では、メモリ空間１０１３ｄにイベントを記憶するか否かをランダムに決定することにより、ランダム選択が行われる。

【0037】

この決定がなされた後、プロセスはステップＳ３０５に戻り、現在の所定の期間間隔で全てのイベントが処理されるまで継続する。現在の所定の期間間隔で全てのイベントを処理した後、全てのイベントは、ランダムイベント選択のない一般的なイベントセンサの場合と同様に、メモリ空間１０１３ｄから出力インタフェース１０１４に転送される。

【0038】

このように、メモリ空間に記憶されたイベントを上書きするか否かをランダムに決定するために、フィルタ部１０１２は、検出されたイベントの数をカウントし、カウントされた数を履歴データとしてメモリ部１０１３に記憶し、新たに検出されたイベント毎に、１と検出されたイベントの瞬時数との間の乱数を発生し、乱数が数Ｎよりも大きい場合、新たに検出されたイベントを破棄し、乱数がＮよりも小さいか等しい場合、メモリ空間に記憶されたイベントを乱数に対応する位置に上書きするように構成される。

【0039】

上記プロセスに適合するセンサ装置１０１０の可能な構成を図９に示す。この場合、イベントドロップ部１０１２ｃを省略してメモリ空間１０１３ｄに置き換えることができる。バッファ部１０１３ａは、前述した構成よりも小さいサイズに設計することができる。例えば、バッファ部１０１３ａとして、メモリ空間１０１３ｄに転送するか否かの決定が進行中のイベントのイベントデータを記憶するのに十分な、数エントリのみのＦＩＦＯバッファを用いることができる。この転送は、乱数発生器１０１２ｂからの乱数が、イベントカウントレジスタ１０１３ｂによって提供されるイベントカウント値と比較して十分に小さい場合にのみ可能となる。さらに、ランダム選択は、計算部１０１２ａが、イベントカウント値がイベント選択閾値より大きいことを信号で通知した場合にのみ実行される。これらの条件は、図９では、バッファ部１０１３ａからメモリ空間１０１３ｄへのイベントデータの転送をシンボリックに制御するマルチプレクサ１０１２ｄの入力信号としてシンボリックに示されている。

【0040】

このように、ランダム選択において大きなメモリを回避することができるため、レイテンシをさらに削減することができる。さらに、乱数発生器によって各々供給される複数のメモリ空間を使用することによって、複数のイベントを並行して処理することができるので、レイテンシをさらに削減することができる。

【0041】

必要なメモリ量及び処理のレイテンシのさらなる削減は、以前の所定の期間間隔のイベントレートに基づいてイベントをドロップする確率を計算することによって達成することができる。これについては、図１０を参照して後述する。

【0042】

センサ装置１０１０のこの構成では、メモリ部１０１３は、所定の期間に検出されたイベントの数を履歴データとして記憶し、フィルタ部１０１２は、現在の所定の期間のイベントを、以前の所定の期間の検出されたイベントの数に依存する確率でランダムに選択する。

【0043】

図１０に示すように、Ｓ４０１でイベントカウント値はゼロに設定され、Ｓ４０２でこのイベントカウント値は新たに検出されたイベント毎に増加する。ただし、これまでの構成とは対照的に、イベントのバッファリングは行われない。Ｓ４０３で、乱数発生器１０１２ｂが、以前の所定の期間間隔のイベントの処理中に設定された確率Ｐで、「１」又は「０」のいずれかをランダムに発生させる。「１」が返された場合、Ｓ４０４で、現在のイベントはバッファリングされることなく出力インタフェース１０１４に直接転送される。「０」が返された場合、イベントはドロップされる。

【0044】

そして、Ｓ４０５で、所定の期間中に検出された全てのイベントが検出されたかどうかをチェックする。これは、現在の所定の期間が終了したか否かをチェックすることと同等である。このチェックが否である限り、Ｓ４０２からＳ４０４を、新たに検出されたイベント各々について繰り返す。現在の所定の期間のイベントが全て処理されると、この次の所定の期間のイベントを処理するために、プロセスがＳ４０１に戻る前に、Ｓ４０６で、次の所定の期間の確率Ｐが設定される。

【0045】

Ｐの値は、例えば、イベント選択閾値、１つ又は複数の以前の所定の期間間隔のイベントカウント値、及び／又は１つ又は複数の以前の所定の期間間隔の間に使用された確率Ｐに依存することがある。例えば、Ｐは、イベント選択閾値と以前の所定の期間間隔のイベントカウント値との間の比に等しい場合がある：Ｐ（Ｔ）＝閾値／ＥｖｔＣｎｔ（Ｔ－１）。これは、例えば、前に使用された確率を反映するタームによって修正されるかもしれない：Ｐ（Ｔ）＝ａＰ（Ｔ－１）＋ｂ閾値／ＥｖｔＣｎｔ（Ｔ－１）（式中、ａとｂは（調整可能又は固定）パラメータである）。ただし、原理的には、イベント選択閾値と以前の所定の期間のイベントカウント値に基づく任意の関数を使用して、確率Ｐを決定することができる。

【0046】

これまでの構成では、所定の期間中に全てのセンサ部１０１１ａによって検出された全てのイベントを一度に処理できるという前提であった。しかしながら、チップ上のスペースの制限等によるメモリの制約がある場合、これは不可能かもしれない。この場合、センサ部１０１１ａをブロック又はグループに分割し、イベントのランダム選択をブロック／グループ単位で実行することができる。これについては図１１を参照して後述する。

【0047】

この構成では、センサ部１０１１ａは、好ましくは、同数のセンサ部１０１１ａを各々含むセンサ部のグループに分割され、フィルタ部１０１２は、センサ部１０１１ａの各グループについて、検出されたイベントのランダム選択を個別に行う。例えば、センサ部１０１１ａが撮像画素によって構成される場合、各グループは、１つ又は複数の画素列によって、又はｎ×ｎの撮像画素のブロックによって形成され得る。メモリは、センサ部グループの1つで検出されたイベントに対してのみ用意すればよいので、全てのセンサ部１０１１ａを一度に処理するアプローチと比較して、メモリのサイズを小さくすることができる。

【0048】

メモリ部１０１３は、所定の期間内に検出されたイベントの総数だけでなく、センサ部１０１１ａの各グループ内で検出されたイベントの数も履歴データとして記憶してもよい。このように、イベントの総数がカウントされると共に、各グループ内のイベントの数がカウントされる。次に、フィルタ部１０１２は、イベントの総数と、以前の所定の期間において特定のグループに対してカウントされたイベントの数とに基づいて、現在の所定の期間において１つの特定のグループにおいて検出されたイベントをランダムに選択する確率を決定してもよい。このように、ランダム選択は、イベントの総数と、それぞれのセンサ部グループにおけるイベントの数とに基づいて、センサ部グループの各々に適合させることができる。これにより、一時的に多くのイベントを発生させるセンサ部グループ１０１１ａのクラスターでのイベントを間引くことができる一方、他のセンサ部グループ１０１１ａは発生させるイベントが少ないため、ランダム選択の対象としない。これにより、選択プロセスの自由度が向上する。

【0049】

フィルタ部１０１２は、センサ部１０１１ａの各グループに、それぞれのグループから読み出されるイベントの所望の数を割り当て、割り当てられた所望の数に基づく確率でランダム選択を行ってもよい。従って、センサ部１０１１ａのグループ毎に、読み出すべきイベントをほぼ所定数確保することができる。このため、読み出しイベントの予想される数に合わせて回路を特別に設計することができるので、回路のレイアウトが簡素化される。

【0050】

上記は、例えば図１１に示すように実施することができる。ここで、Ｓ５０１で、現在処理中のセンサ部グループについて、グループイベントカウント値をゼロに設定することにより、プロセスが初期化される。Ｓ５０２で、センサ部グループでイベントが検出されると、グループイベントカウント値が１増加する。また、Ｓ５０２で、全センサ部１０１１ａで検出された全イベントの数を示すグローバルイベントカウント値が増加する。Ｓ５０３で、検出されたイベントをバッファ部１０１３ａに記憶する。ここで、メモリ部１０１３は、異なるグループで発生したイベントを連続して記憶するために、１つのバッファ部１０１３ａを使用してよい。つまり、バッファ部１０１３ａは、１つのセンサ部グループからのイベントを処理するのに十分な大きさでなければならない。このようにして、メモリ空間を節約することができる。

【0051】

Ｓ５０４で、現在のセンサ部グループで検出された全てのイベントがバッファされたかどうかがチェックされる。そうでない場合、プロセスはＳ５０２に戻る。もしそうであれば、Ｓ５０５で、グループイベントカウント値が、現在処理中のセンサ部グループに割り当てられたイベントのベースバジェットより小さいかどうかがチェックされる。グループイベントカウント値がベースバジェットより小さいか等しい場合、Ｓ５０６で、バッファリングされたイベントがインタフェース部１０１４に転送され、Ｓ５１５でプロセスが継続される。

【0052】

現在処理中のグループにおいて、ベースバジェットを超えるイベントが検出された場合、Ｓ５０７で、現在処理中のグループについて、以前の所定の期間に決定されたイベントアクティビティがメモリ部１０１３から検索される。イベントアクティビティは、基本的には、センサ部グループのイベント検出の履歴に基づいて、いくつのイベントが発生すると予想されたかを示す。これは、以前の所定の期間にセンサ部グループで検出されたイベントの数と等しいかもしれない。また、検出されたイベントの数の最小値と、イベント出力の全バジェットが１つのセンサ部グループに費やされないことを保証する上限値とが等しくなる場合もある。

【0053】

Ｓ５０８で、動的イベント選択閾値が計算され、それは、イベントアクティビティ、基本バジェット、及びイベントアクティビティと同じ方法で定義されるが、全てのセンサ部１０１１ａについて、合計イベントアクティビティに依存する可能性がある。例えば、動的イベント選択閾値ＥｖｔＢｇｔは、以下の方法で、ベースバジェットＢａｓｅＢｇｔ、イベントアクティビティＢｌｋＡｃｔｉｖｉｔｙ、及び合計イベントアクティビティＨ１ｓｔＡｃｔｉｖｉｔｙに依存する可能性がある。ＥｖｔＢｇｔ＝ＢａｓｅＢｇｔ＋Ｃ ＢｌｋＡｃｔｉｖｉｔｙ／Ｈ１ｓｔＡｃｔｉｖｉｔｙ。Ｃは定数である。このように、各所定の期間について、新しいイベント選択閾値がセンサ部グループの各々に割り当てられ、これは一定の基本バジェットと、グローバルイベントアクティビティに対するローカルイベントアクティビティの加重比の合計である。

【0054】

Ｓ５０９で、現在処理中のセンサ部グループのグループカウント値に対する動的イベント選択閾値の比が、イベントのランダム選択の確率として設定される。Ｓ５１０で、バッファ部１０１３ａからのイベントの読み出しが開始される。Ｓ５１１で、乱数発生器１０１２ｂは、Ｓ５０９で決定された確率で、読み出されたイベントに対して「１」を発生させ、そうでなければ「０」を発生させる。「０」が発生した場合、そのイベントはドロップされる。「１」が発生した場合、イベントはＳ５１２で出力インタフェース１０１４に転送される。Ｓ５１３で、現在処理中のセンサ部グループにおいて、現在の所定の期間内に検出された全てのイベントがバッファ部１０１３ａから読み出されたかどうかがチェックされる。

【0055】

そうでない場合、プロセスはＳ５１０に戻る。そうであれば、Ｓ５１４で、イベントアクティビティがグループイベントカウント値に設定される。ここで、グループイベントカウント値が所定の上限を超える場合、イベントアクティビティもＳ５１４で上限に設定されてもよい。Ｓ５１５で、次の所定の期間におけるセンサ部グループの処理のために、イベントアクティビティが記憶される。Ｓ５１６で、全てのセンサ部グループが処理されたかどうかがチェックされる。そうでない場合、プロセスはＳ５０１に戻り、次のセンサ部グループの処理を開始する。現在の所定の期間について全てのセンサ部グループが処理された場合、Ｓ５１７で、グローバルイベントカウント値が合計イベントアクティビティとして設定される。Ｓ５１８で、グローバルイベントカウント値はゼロにリセットされ、処理は次の所定の期間のプロセスのためにＳ５０１に戻る。

【0056】

図４、図１０及び図１１に関して上述した構成において、乱数発生器１０１２ｂは、「１」又は「０」をランダムに発生させ、「１」が発生した場合に、対応するイベントを選択して出力する。つまり、イベント選択がシリアルに行われる。後述するような並列処理を行うことで、さらなるレイテンシの削減を図ることができる。

【0057】

特に、フィルタ部１０１２は、１つの所定の期間中に検出されたイベント（例えば、１２８個のセンサ部１０１１ａのイベント）の全て又はサブセットをイベントベクトルにグループ化し、イベントベクトルと、ランダムに分布された１ｓの数及びそれ以外の０を含むランダムベクトルとの間でビットワイズの論理演算を実行することによって、ランダム選択を実行してもよい。このように、１ｓと０をシリアルに発生するのではなく、選択のためにイベントを検索する際に、１つの処理ステップでイベント選択を実行できるランダムベクトルを発生させる。例えば、ビットワイズの論理演算として、論理ＡＮＤ演算を使用することができる。この場合、ＡＮＤ演算されたイベントベクトルには「１」のイベントだけが残り、他のエントリはゼロになる。従って、ＡＮＤ演算の後、イベントベクトルの残りのエントリを出力インタフェース１０１４に転送することができる。また、１つの所定の期間又は１つのセンサ部グループのイベントを複数のイベントベクトルにグループ化し、これらのイベントベクトルの各々に対してランダムベクトルを発生することも可能であることに留意すべきである。さらに、ＡＮＤ演算の上述の動作を実装するために、異なるビットワイズの論理演算を使用できることに留意すべきである。例えば、入力を反転させ、論理ＮＯＲ演算を使用することができる。さらに、ランダムベクトルの入力だけを反転させて、ＸＯＲ演算を使用することもできる。このように、単一演算における複数のイベントをフィルタリングすることができるビットワイズの論理演算を用いることができる。

【0058】

ランダムベクトルには、図４、図１０、図１１の構成のイベント選択確率とイベントベクトル全体のサイズを掛け合わせて得られる１ｓの数が含まれる。さらに、イベントベクトルを所定のベクトルサイズに正規化することが可能であり、これは、イベントベクトルが、検出されたイベントの数に関係なく、全ての所定の期間において一定のサイズを有することを意味する。ランダムベクトルの１ｓの数は、ベクトルサイズにイベントベクトルのエントリ数に対するイベントバジェットを掛けたものに等しくなる。ここで、イベントバジェットは特定の構成に依存する。図４及び図１０の構成ではイベント選択閾値となり、図１１の構成では動的イベント選択閾値となる。このようにして決定された１ｓの数は、ランダムベクトル中に均等に分布していてもよいし、ランダムに分布していてもよい。

【0059】

図１２は、この方法の概略的なプロセスフローである。Ｓ６０１で、イベントベクトル、例えば、イベントが記憶されるバッファ部１０１３内のアドレスへのポインタとして使用できる位置に「１」を含むことによって、例えば、バッファ部１０１３ａ内にバッファリングされたイベントに対応するエントリを有するベクトルが記憶される。Ｓ６０２で、イベントベクトルの非ゼロエントリの数、例えば、イベントベクトル内の１ｓの数が計算される。Ｓ６０３で、この数が適用可能な（動的な）イベント選択閾値より大きいかどうかがチェックされる。そうでない場合、Ｓ６０４で、１ｓだけを含むベクトルが発生する。もしそうであれば、Ｓ６０５で、ランダムベクトル中の１ｓの割合が計算され、該当する（動的な）イベント選択閾値とイベントベクトルのエントリ数の比となる。

【0060】

Ｓ６０６で、イベントベクトルのサイズを有するベクトルのエントリの計算された割合を、好ましくは均等に分布された方法で、１ｓで埋めることによって、ランダムベクトルが発生する。任意で、Ｓ６０７で、ランダムベクトルのエントリをランダムにシャッフルしてもよい。Ｓ６０８で、計算されたランダムベクトルがイベントベクトルとＡＮＤされ、残りのエントリ（又はそれらが指すイベント）が出力インタフェース１０１４に転送される。

【0061】

このようにして、レイテンシの削減を確実にする高度に並列化された方法でランダム選択を行うことができる。

【0062】

上述のようなセンサ装置１０１０の特定の有用な例は、センサ装置１０１０が固体撮像装置１００であり、センサ部１０１１が画素アレイ１１０に配列された撮像画素１１１であり、各々が、それぞれの所定の閾値よりも大きい、撮像画素１１１に入射する光の強度の正又は負の変化をイベントとして検出することが可能である場合、すなわち、センサ装置がＤＶＳ、ＥＶＳ等である場合に、実現することができる。イベント検出に関する限り、このような固体撮像装置１００の原理的な機能については、以下で説明する。さらに、このような固体撮像装置１００の有用な応用例を説明する。

【0063】

図１３Ａは、イベントベースの変化検出を採用するこのような固体撮像装置１００のブロック図である。固体撮像装置１００は、１つ又は複数の撮像画素１１１を有する画素アレイ１１０を含み、各画素１１１は光電変換素子ＰＤを含む。画素アレイ１１０は、全ての画素の光電変換素子ＰＤが直線又は蛇行した線に沿って配列された一次元画素アレイであってもよい（ラインセンサ）。特に、画素アレイ１１０は、画素１１１の光電変換素子ＰＤが直線又は蛇行した行に沿って配列され、直線又は蛇行した線に沿って配列された２次元アレイであってもよい。

【0064】

図示された実施形態は、画素１１１の２次元アレイを示し、画素１１１は、直線状の行に沿って配置され、行と直交する直線状の列に沿って配置される。各画素１１１は、入射光を、入射光強度を表す撮像信号と、光強度の変化、例えば、少なくとも上限閾値量による増加及び／又は少なくとも下限閾値量による減少を示すイベント信号とに変換する。必要に応じて、強度及びイベント検出に関する各画素１１１の機能を分割し、同じ立体角を観測する異なる画素がそれぞれの機能を実行することができる。これらの異なる画素はサブ画素であってもよく、回路の一部を共有するように実装することができる。また、異なる画素は、異なるイメージセンサの一部であってもよい。本開示では、撮像信号及びイベント信号を生成することができる画素について言及する場合は常に、上述のようにこれらの機能を個別に実行する画素の組み合わせも含むものと理解すべきである。

【0065】

コントローラ１２０は、画素アレイ１１０内のプロセスのフロー制御を実行する。例えば、コントローラ１２０は、画素アレイ１１０内の個々の画素１１１に閾値を決定して供給する閾値生成回路１３０を制御してよい。読み出し回路１４０は、個々の画素１１１をアドレス指定するための制御信号を供給し、イベントを示すそのような画素１１１の位置に関する情報を出力する。固体撮像装置１００は、イベントベースの変化検出を採用しているので、読み出し回路１４０は、時間単位当たり可変量のデータを出力してもよい。読み出し回路１４０は、読み出し回路１０１１ｂに相当する。

【0066】

図１３Ｂは、イベント検出能力に関する限り、図１３Ａの撮像画素１１１の詳細を例示的に示す。当然のことながら、イベントの検出を可能にする他の任意の実装を採用することができる。各画素１１１は、フォトレセプタモジュールＰＲを含み、画素バックエンド３００に割り当てられ、各完全な画素バックエンド３００は、１つの単一のフォトレセプタモジュールＰＲに割り当てられてもよい。あるいは、画素バックエンド３００又はその一部は、２つ以上のフォトレセプタモジュールＰＲに割り当てられてもよく、画素バックエンド３００の共有部分は、割り当てられたフォトレセプタモジュールＰＲに多重化されたやり方で順次接続されてもよい。

【0067】

フォトレセプタモジュールＰＲは、光電変換素子ＰＤ、例えば、フォトダイオード又は他のタイプのフォトセンサを含む。光電変換素子ＰＤは、光電変換素子ＰＤを介して、射突光９を光電流Ｉｐｈｏｔｏに変換し、光電流Ｉｐｈｏｔｏの量は、射突光９の光強度の関数である。

【0068】

フォトレセプタ回路ＰＲＣは、光電流Ｉｐｈｏｔｏをフォトレセプタ信号Ｖｐｒに変換する。フォトレセプタ信号Ｖｐｒの電圧は、光電流Ｉｐｈｏｔｏの関数である。

【0069】

メモリキャパシタ３１０は、電荷を蓄積し、過去のフォトレセプタ信号Ｖｐｒに量が依存するメモリ電圧を保持する。特に、メモリキャパシタ３１０は、メモリキャパシタ３１０の第１の電極がフォトレセプタ信号Ｖｐｒ、ひいては光電変換素子ＰＤによって受光された光に応答する電荷を担持するように、フォトレセプタ信号Ｖｐｒを受光する。メモリキャパシタＣ１の第２の電極は、コンパレータ回路３４０のコンパレータノード（反転入力）に接続されている。従って、コンパレータノードの電圧Ｖｄｉｆｆは、フォトレセプタ信号Ｖｐｒの変化に応じて変化する。

【0070】

コンパレータ回路３４０は、現在のフォトレセプタ信号Ｖｐｒと過去のフォトレセプタ信号との差を閾値と比較する。コンパレータ回路３４０は、各画素バックエンド３００に設けることもできるし、画素のサブセット（例えば、列）間で共有することもできる。一例によれば、各画素１１１は、コンパレータ回路３４０を含む画素バックエンド３００を含み、コンパレータ回路３４０は、撮像画素１１１と一体であり、各撮像画素１１１は、専用のコンパレータ回路３４０を有する。

【0071】

メモリ素子３５０は、コントローラ１２０からのサンプル信号に応答してコンパレータ出力を記憶する。メモリ素子３５０は、サンプリング回路（例えば、スイッチ及び寄生又は明示キャパシタ）及び／又はラッチ又はフリップフロップ等のデジタルメモリ回路）を含んでいてもよい。一実施形態において、メモリ素子３５０はサンプリング回路であってもよい。メモリ素子３５０は、１つ、２つ又はそれ以上の２進ビットを記憶するように構成されてよい。

【0072】

リセット回路３８０の出力信号は、コンパレータ回路３４０の反転入力を所定の電位に設定してよい。リセット回路３８０の出力信号は、メモリ素子３５０の内容に応答して、及び／又はコントローラ１２０から受信されたグローバルリセット信号に応答して制御されてよい。

【0073】

固体撮像装置１００は次のように動作する。入射放射線９の光強度の変化は、フォトレセプタ信号Ｖｐｒの変化に変換される。コントローラ１２０によって指定された時間に、コンパレータ回路３４０は、反転入力（コンパレータノード）におけるＶｄｉｆｆを、その非反転入力に印加された閾値Ｖｂと比較する。同時に、コントローラ１２０は、コンパレータ出力信号Ｖｃｏｍｐを記憶するためにメモリ素子３５０を動作させる。メモリ素子３５０は、図１３Ａに示す画素回路１１１か、読み出し回路１４０のいずれかに配置してよい。

【0074】

記憶されたコンパレータ出力信号の状態が光強度の変化を示し、かつグローバルリセット信号ＧｌｏｂａｌＲｅｓｅｔ（コントローラ１２０によって制御される）がアクティブである場合、条件付きリセット回路３８０は、Ｖｄｉｆｆを既知のレベルにリセットするリセット出力信号を出力する。

【0075】

記憶素子３５０は、画素１１１によって検出された光強度が閾値以上変化したことを示す情報を含んでよい。

【0076】

固体撮像装置１２０は、光強度変化が検出された画素１１１のアドレス（ここで、画素１１１のアドレスは、その行番号及び列番号に対応する）を出力し得る。所定の画素で検出された光強度変化はイベントと呼ばれる。より具体的には、「イベント」という用語は、画素の光強度の関数を表し、かつそれであるフォトレセプタ信号が、閾値生成回路１３０を介してコントローラによって適用される閾値より大きいか等しい量だけ変化したことを意味する。イベントを送信するために、光強度変化が正であったか負であったかを示すデータと共に、対応する画素１１１のアドレスが送信される。光強度変化が正であったか負であったかを示すデータは、１つの単一ビットを含み得る。

【0077】

時間における現在のインスタンスと以前のインスタンスとの間の光強度の変化を検出するために、各画素１１１は、時間における以前のインスタンスでの光強度の表現を記憶する。

【0078】

より具体的には、各画素１１１は、当該画素１１１において最後に登録されたイベントの時のフォトレセプタ信号と、この画素１１１における現在のフォトレセプタ信号との差を表す電圧Ｖｄｉｆｆを記憶する。

【0079】

イベントを検出するために、コンパレータノードにおけるＶｄｉｆｆは、まず、光強度の増加（ＯＮ－イベント）を検出するために第１の閾値と比較してよく、コンパレータ出力は、（明示的又は寄生）キャパシタ上にサンプリングされるか、又はフリップフロップに記憶される。次に、コンパレータノードのＶｄｉｆｆが第２の閾値と比較され、光強度の減少（ＯＦＦ－イベント）を検出し、コンパレータ出力が（明示的又は寄生）キャパシタにサンプリングされるか、又はフリップフロップに記憶される。

【0080】

グローバルリセット信号が全ての画素１１１に送られ、各画素１１１において、このグローバルリセット信号が、サンプリングされたコンパレータ出力と論理ＡＮＤされ、イベントが検出された画素のみがリセットされる。その後、サンプリングされたコンパレータ出力電圧が読み出され、対応する画素アドレスがデータ受信装置に送られる。

【0081】

図１３Ｃは、アクティブ画素センサＡＰＳの形態で強度撮像信号の読み出しに使用されるイメージセンサアセンブリ１０を含む固体撮像装置１００の構成例を示す。ここで、図１３Ｃは、純粋に例示的なものである。撮像信号の読み出しは、他の公知の方法で実施することもできる。上述したように、イメージセンサアセンブリ１０は、同じ画素１１１を使用してもよいし、又はこれらの画素１１１をそれぞれ同じ立体角を観察する追加の画素で補足してもよい。以下の説明では、同じ画素アレイ１１０を使用する例示的な場合を選択する。

【0082】

イメージセンサアセンブリ１０は、画素アレイ１１０、アドレスデコーダ１２、画素タイミング駆動部１３、ＡＤＣ（アナログ／デジタル変換器）１４、及びセンサコントローラ１５を含む。

【0083】

画素アレイ１１０は、行と列にマトリクス状に配置された複数の画素回路１１Ｐを含む。各画素回路１１Ｐは、受光素子と、受光素子によって出力される信号を制御するためのＦＥＴ（電界効果トランジスタ）とを含む。

【0084】

アドレスデコーダ１２及び画素タイミング駆動部１３は、画素アレイ１１０に配置された各画素回路１１Ｐの駆動を制御する。すなわち、アドレスデコーダ１２は、センサコントローラ１５から供給されるアドレスやラッチ信号等に応じて、駆動すべき画素回路１１Ｐを指定するための制御信号等を画素タイミング駆動部１３に供給する。画素タイミング駆動部１３は、センサコントローラ１５から供給される駆動タイミング信号及びアドレスデコーダ１２から供給される制御信号に従って、画素回路１１ＰのＦＥＴを駆動する。画素回路１１Ｐの電気信号（画素出力信号、撮像信号）は、垂直信号線ＶＳＬを介してＡＤＣ１４に供給され、各ＡＤＣ１４は、垂直信号線ＶＳＬの１つに接続され、各垂直信号線ＶＳＬは、画素アレイ部１１の１列の全ての画素回路１１Ｐに接続されている。各ＡＤＣ１４は、画素アレイ部１１の列から順次出力される画素出力信号に対してアナログ／デジタル変換を行い、デジタル画素データＤＰＸＳを信号処理部に出力する。この目的のために、各ＡＤＣ１４は、コンパレータ２３、デジタルアナログ変換器（ＤＡＣ）２２及びカウンタ２４を含む。

【0085】

センサコントローラ１５は、イメージセンサアセンブリ１０を制御する。すなわち、例えば、センサコントローラ１５は、アドレス及びラッチ信号をアドレスデコーダ１２に供給し、駆動タイミング信号を画素タイミング駆動部１３に供給する。さらに、センサコントローラ１５は、ＡＤＣ１４を制御するための制御信号を供給してもよい。

【0086】

画素回路１１Ｐは、受光素子として光電変換素子ＰＤを含む。光電変換素子ＰＤは、例えば、フォトダイオードを含むか、又はフォトダイオードで構成されてもよい。１つの光電変換素子ＰＤに関して、画素回路１１Ｐは、能動素子として機能する４つのＦＥＴ、すなわち、転送トランジスタＴＧ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬを有していてよい。光電変換素子ＰＤは、入射光を電荷（ここでは、電子）に光電変換する。光電変換素子ＰＤで発生する電荷量は、入射光量に対応する。

【0087】

転送トランジスタＴＧは、光電変換素子ＰＤとフローティングディフュージョン領域ＦＤとの間に接続されている。転送トランジスタＴＧは、光電変換素子ＰＤからフローティングディフュージョン領域ＦＤへ電荷を転送するための転送素子として機能する。フローティングディフュージョン領域ＦＤは、一時的な局所電荷記憶として機能する。転送トランジスタＴＧのゲート（転送ゲート）には、転送制御線を介して制御信号となる転送信号が供給される。

【0088】

このように、転送トランジスタＴＧは、光電変換素子ＰＤによって光電変換された電子をフローティングディフュージョンＦＤに転送し得る。

【0089】

リセットトランジスタＲＳＴは、フローティングディフュージョンＦＤと正電源電圧ＶＤＤが供給される電源ラインとの間に接続される。リセットトランジスタＲＳＴのゲートには、リセット制御線を介して制御信号としてのリセット信号が供給される。

【0090】

このように、リセット素子として機能するリセットトランジスタＲＳＴは、フローティングディフュージョンＦＤの電位を電源ラインの電位にリセットする。

【0091】

フローティングディフュージョンＦＤは、増幅素子として機能する増幅トランジスタＡＭＰのゲートに接続されている。すなわち、フローティングディフュージョンＦＤは、増幅素子として機能する増幅トランジスタＡＭＰの入力ノードとして機能する。

【0092】

増幅トランジスタＡＭＰと選択トランジスタＳＥＬは、電源ラインＶＤＤと垂直信号線ＶＳＬとの間に直列に接続されている。

【0093】

このように、増幅トランジスタＡＭＰは、選択トランジスタＳＥＬを介して信号線ＶＳＬに接続され、ＡＤＣ１４の一部として図示される定電流源２１を有するソースフォロア回路を構成する。

【0094】

そして、アドレス信号に対応する制御信号として機能する選択信号が、選択制御線を介して選択トランジスタＳＥＬのゲートに供給され、選択トランジスタＳＥＬがオンになる。

【0095】

選択トランジスタＳＥＬがオンになると、増幅トランジスタＡＭＰは、フローティングディフュージョンＦＤの電位を増幅し、フローティングディフュージョンＦＤの電位に応じた電圧を信号線ＶＳＬに出力する。信号線ＶＳＬは、画素回路１１Ｐからの画素出力信号をＡＤＣ１４に転送する。

【0096】

転送トランジスタＴＧ、リセットトランジスタＲＳＴ、及び選択トランジスタＳＥＬのそれぞれのゲートは、例えば、行単位で接続されているので、これらの動作は、１行の各画素回路１１Ｐに対して同時に実行される。さらに、単一の画素又は画素グループを選択的に読み出すことも可能である。

【0097】

ＡＤＣ１４は、ＤＡＣ２２、垂直信号線ＶＳＬに接続された定電流源２１、コンパレータ２３、及びカウンタ２４を含んでいてもよい。

【0098】

画素回路１１Ｐの垂直信号線ＶＳＬ、定電流源２１及び増幅トランジスタＡＭＰは、ソースフォロア回路に結合される。

【0099】

ＤＡＣ２２は、基準信号を生成して出力する。一定間隔、例えば、１ずつ増加するデジタル信号のデジタルアナログ変換を実行することによって、ＤＡＣ２２は、基準電圧ランプを含む基準信号を生成し得る。電圧ランプ内では、基準信号は時間単位毎に着実に増加する。増加は線形であっても線形でなくてもよい。

【0100】

コンパレータ２３は、２つの入力端子を有する。ＤＡＣ２２から出力された基準信号は、第１のキャパシタＣ１を介してコンパレータ２３の第１の入力端子に供給される。垂直信号線ＶＳＬを介して送信される画素出力信号は、第２のキャパシタＣ２を介してコンパレータ２３の第２の入力端子に供給される。

【0101】

コンパレータ２３は、２つの入力端子に供給される画素出力信号と基準信号とを互いに比較し、比較結果を表すコンパレータ出力信号を出力する。すなわち、コンパレータ２３は、画素出力信号と基準信号との大小関係を表すコンパレータ出力信号を出力する。例えば、コンパレータ出力信号は、画素出力信号が基準信号よりも高い場合にハイレベルとなり、そうでない場合にローレベルとなり、逆もまた同様である。コンパレータ出力信号ＶＣＯはカウンタ２４に供給される。

【0102】

カウンタ２４は、所定のクロックに同期してカウント値をカウントする。すなわち、カウンタ２４は、ＤＡＣ２２が基準信号を減少し始めると、Ｐ相又はＤ相の開始からカウント値のカウントを開始し、画素出力信号と基準信号との大小関係が変化して、コンパレータ出力信号が反転するまでカウント値をカウントする。コンパレータ出力信号が反転すると、カウンタ２４はカウント値のカウントを停止し、そのときのカウント値を画素出力信号のＡＤ変換結果（デジタル画素データＤＰＸＳ）として出力する。

【0103】

図１４は、上述した機能が実装され得る、マトリクス状にアレイ形式で配列された複数の画素を有する固体撮像素子２３０２０の積層構造の一例を示す斜視図である。各画素は、少なくとも１つの光電変換素子を含む。

【0104】

固体撮像装置２３０２０は、第１のチップ（上部チップ）９１０と第２のチップ（下部チップ）９２０の積層構造を有する。

【0105】

積層された第１及び第２のチップ９１０、９２０は、第１のチップ９１０に形成されたＴＣ（Ｓ）Ｖｓ（Ｔｈｒｏｕｇｈ Ｃｏｎｔａｃｔ（Ｓｉｌｉｃｏｎ）Ｖｉａｓ）を介して互いに電気的に接続されてもよい。

【0106】

固体撮像素子２３０２０は、第１チップ９１０と第２チップ９２０がウェハレベルで接着され、ダイシングによって切り出されるようなやり方で、積層構造を有するように形成されてもよい。

【0107】

上下２つのチップの積層構造において、第１チップ９１０は、各画素の少なくとも１つのアナログ成分、例えば、アレイ形式で配置された光電変換素子を含むアナログチップ（センサチップ）であってもよい。例えば、第１チップ９１０は、光電変換素子のみを含んでいてもよい。

【0108】

あるいは、第１のチップ９１０は、各フォトレセプタモジュールのさらなる素子を含んでいてもよい。例えば、第１のチップ９１０は、光電変換素子に加えて、フォトレセプタモジュールのｎチャネルＭＯＳＦＥＴの少なくとも一部又は全部を含むことができる。あるいは、第１のチップ９１０は、フォトレセプタモジュールの各素子を含んでいてもよい。

【0109】

第１のチップ９１０は、画素バックエンド３００の一部を含んでいてもよい。例えば、第１のチップ９１０は、メモリキャパシタ、又はメモリキャパシタに加えて、サンプル／ホールド回路及び／又はメモリキャパシタとイベント検出コンパレータ回路との間に電気的に接続されたバッファ回路を含んでいてもよい。あるいは、第１のチップ９１０は、完全な画素バックエンドを含んでいてもよい。図１３のＡを参照すると、第１のチップ９１０は、読み出し回路１４０、閾値生成回路１３０及び／又はコントローラ１２０の少なくとも一部又は制御部全体を含んでいてもよい。

【0110】

第２のチップ９２０は、固体撮像装置２３０２０に対する第１のチップ９１０上の回路を補完する素子を含む、主に、論理チップ（デジタルチップ）であってもよい。第２のチップ９２０は、アナログ回路、例えば、第１のチップ９１０からＴＣＶを介して転送されたアナログ信号を量子化する回路を含んでいてもよい。

【0111】

第２のチップ９２０は、１つ又は複数のボンディングパッドＢＰＤを有していてもよく、第１のチップ９１０は、第２のチップ９２０へのワイヤボンディングに使用するための開口部ＯＰＮを有していてもよい。

【0112】

２つのチップ９１０、９２０の積層構造を有する固体撮像素子２３０２０は、以下の特徴的な構成を有し得る。

【0113】

第１のチップ９１０と第２のチップ９２０との間の電気的接続は、例えば、ＴＣＶを介して行われる。ＴＣＶは、チップ端部又はパッド領域と回路領域との間に配置してよい。制御信号の送信や電力供給のためのＴＣＶは、例えば、固体撮像素子２３０２０の４隅に主に集中させてよく、これにより、第１のチップ９１０の信号配線面積を削減することができる。

【0114】

典型的には、第１のチップ９１０はｐ型基板を含み、ｐチャネルＭＯＳＦＥＴの形成は、典型的には、ｐチャネルＭＯＳＦＥＴのｐ型ソース領域及びドレイン領域を互いに分離し、さらにｐ型領域から分離するｎドープウェルの形成を示唆する。従って、ｐチャネルＭＯＳＦＥＴの形成を回避することにより、第１チップ９１０の製造プロセスを簡略化し得る。

【0115】

図１５は、固体撮像装置２３０１０、２３０２０の概略構成例を示す。

【0116】

図１５のパートＡに図示した単層固体撮像素子２３０１０は、単一ダイ（半導体基板）２３０１１を含む。単一ダイ２３０１１上に実装及び／又は形成されているのは、画素領域２３０１２（光電変換素子）、制御回路２３０１３（読み出し回路、閾値生成回路、コントローラ、制御部）、及び論理回路２３０１４（画素バックエンド）である。画素領域２３０１２には、画素がアレイ形式で配置されている。制御回路２３０１３は、画素の駆動制御を含む各種制御を実行する。論理回路２３０１４は、信号処理を実行する。

【0117】

図１５のパートＢ及びＣは、積層構造の多層固体撮像装置の概略構成例を示している。図１５のパートＢ及びＣに示されているように、２つのダイ（チップ）、すなわち、センサダイ２３０２１（第１のチップ）と論理ダイ２３０２４（第２のチップ）が、固体撮像素子２３０２０内にスタックされている。これらのダイは電気的に接続され、１つの半導体チップを形成する。

【0118】

図１５のパートＢを参照すると、画素領域２３０１２及び制御回路２３０１３は、センサダイ２３０２１上に形成又は実装され、論理回路２３０１４は、論理ダイ２３０２４上に形成又は実装される。論理回路２３０１４は、画素バックエンドの少なくとも一部を含んでいてよい。画素領域２３０１２は、少なくとも光電変換素子を含む。

【0119】

図１５のパートＣを参照すると、画素領域２３０１２は、センサダイ２３０２１上に形成又は実装され、制御回路２３０１３及び論理回路２３０１４は、論理ダイ２３０２４上に形成又は実装される。

【0120】

他の例（図示せず）によれば、画素領域２３０１２及び論理回路２３０１４、又は画素領域２３０１２及び論理回路２３０１４の一部をセンサダイ２３０２１上に形成又は実装し、制御回路２３０１３を論理ダイ２３０２４上に形成又は実装してもよい。

【0121】

複数のフォトレセプタモジュールＰＲを有する固体撮像装置内では、全てのフォトレセプタモジュールＰＲが同じモードで動作してもよい。あるいは、フォトレセプタモジュールＰＲの第１のサブセットは、低ＳＮＲ及び高時間分解能を有するモードで動作してもよく、フォトレセプタモジュールの第２の相補的なサブセットは、高ＳＮＲ及び低時間分解能を有するモードで動作してもよい。また、制御信号は、照明条件の関数ではなく、例えば、ユーザ設定の関数であってもよい。

【0122】

＜移動体への適用例＞
本開示による技術は、例えば、自動車、電気自動車、ハイブリッド電気自動車、オートバイ、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等、あらゆるタイプの移動体に搭載される装置として実現されてよい。

【0123】

図１６は、本開示の実施形態による技術を適用可能な移動体制御システムの一例としての車両制御システムの概略構成の一例を示すブロック図である。

【0124】

車両制御システム１２０００は、通信ネットワーク１２００１を介して互いに接続された複数の電子制御部を含む。図１６に図示された例では、車両制御システム１２０００は、走行システム制御部１２０１０と、車体システム制御部１２０２０と、車外情報検出部１２０３０と、車内情報検出部１２０４０と、統合制御部１２０５０とを含む。また、統合制御部１２０５０の機能構成として、マイクロコンピュータ１２０５１、音／画像出力部１２０５２、車載ネットワークインタフェース（Ｉ／Ｆ）１２０５３が図示されている。

【0125】

走行システム制御部１２０１０は、各種プログラムに従って車両の走行システムに関連する装置の動作を制御する。例えば、走行システム制御部１２０１０は、内燃機関や走行用モータ等の車両の駆動力を発生する駆動力発生装置、車輪に駆動力を伝達する駆動力伝達機構、車両の操舵角を調整する操舵機構、車両の制動力を発生する制動装置等の制御装置として機能する。

【0126】

車体システム制御部１２０２０は、各種プログラムに従って、車体に設けられた各種装置の動作を制御する。例えば、車体システム制御部１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、又は、ヘッドランプ、バックアップランプ、ブレーキランプ、ターンシグナル、フォグランプ等の各種ランプ類の制御装置として機能する。この場合、ボディシステム制御部１２０２０には、キーに代えて携帯端末から送信される電波や、各種スイッチの信号を入力することができる。車体システム制御部１２０２０は、これらの入力された電波や信号を受信し、車両のドアロック装置、パワーウィンドウ装置、ランプ類等を制御する。

【0127】

車外情報検出部１２０３０は、車両制御装置１２０００を含む車外の情報を検出する。例えば、車外情報検出部１２０３０は、撮像部１２０３１と接続されている。車外情報検出部１２０３０は、撮像部１２０３１に車外の画像を撮像させ、撮像された画像を受信する。車外情報検出部１２０３０は、受信した画像に基づいて、人、車両、障害物、標識、路面の文字等の物体を検出する処理や、その距離を検出する処理を行ってよい。

【0128】

撮像部１２０３１は、本開示によるイベント検出モジュール及びフォトレセプタモジュールを有する固体撮像センサであってもよいし、それを含んでもよい。撮像部１２０３１は、電気信号を、イベントを検出した画素を識別する位置情報として出力してよい。撮像部１２０３１が受光する光は、可視光であってもよいし、赤外線等の不可視光であってもよい。

【0129】

車内情報検出部１２０４０は、車内の情報を検出するものであり、本開示によるイベント検出モジュール及びフォトレセプタモジュールを備えた固体撮像センサであってもよいし、それを含んでいてもよい。車内情報検出部１２０４０は、例えば、運転者の状態を検出する運転者状態検出部１２０４１と接続されている。運転者状態検出部１２０４１は、例えば、運転者に焦点を合わせたカメラを含む。車内情報検出部１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度や運転者の集中度を算出したり、運転者の居眠りの有無を判定してよい。

【0130】

マイクロコンピュータ１２０５１は、車外情報検出部１２０３０又は車内情報検出部１２０４０により取得された車内又は車外の情報に基づいて、駆動力発生装置、操舵機構、又は制動装置の制御目標値を算出し、走行システム制御部１２０１０に制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避や衝撃緩和、追従距離に基づく追従走行、車速維持走行、車両の衝突警報、車両の車線逸脱警報等を含む先進運転支援システム（ＡＤＡＳ）の機能を実現することを目的とした協調制御を行うことができる。

【0131】

また、マイクロコンピュータ１２０５１は、車外情報検出部１２０３０又は車内情報検出部１２０４０により取得された車外又は車内の情報に基づいて、駆動力発生装置、操舵機構、制動装置等を制御することにより、運転者の動作等に依存することなく車両を自律的に走行させる自動運転を目的とした協調制御を行うことができる。

【0132】

また、マイクロコンピュータ１２０５１は、車外情報検出部１２０３０が取得した車外情報に基づいて、車体システム制御部１２０２０に制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出部１２０３０によって検出された先行車や対向車の位置に応じて、例えば、ヘッドランプをハイビームからロービームに切り替えるように制御することで、眩しさを防止することを目的とした協調制御を行うことができる。

【0133】

音／画像出力部１２０５２は、音又は画像の少なくとも一方の出力信号を、車両の乗員又は車外に視覚的又は聴覚的に情報を通知可能な出力装置に送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２、及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、車載ディスプレイ又はヘッドアップディスプレイの少なくとも１つを含んでいてよい。

【0134】

図１７は、撮像部１２０３１の設置位置の一例を示す図であり、撮像部１２０３１は、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を含んでいてよい。

【0135】

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リヤバンパー、バックドアに設けられた位置や、車室内のフロントガラスの上部に設けられた位置に配置される。フロントノーズに設けられた撮像部１２１０１と、車室内のウィンドシールド上部に設けられた撮像部１２１０５とは、主に、車両１２１００の前方の画像を取得する。サイドミラーに設けられた撮像部１２１０２、１２１０３は、主に、車両１２１００の側面の画像を取得する。リヤバンパー又はバックドアに設けられた撮像部１２１０４は、主に、車両１２１００の後方の画像を取得する。車室内のフロントガラス上部に設けられた撮像部１２１０５は、主に、先行車両、歩行者、障害物、信号、交通標識、車線等を検出するために用いられる。

【0136】

ちなみに、図１７は、撮像部１２１０１から１２１０４の撮像範囲の一例を示す図である。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を表す。撮像範囲１２１１２、１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２、１２１０３の撮像範囲を表す。撮像範囲１２１１４は、リヤバンパー又はバックドアに設けられた撮像部１２１０４の撮像範囲を表す。撮像部１２１０１から１２１０４によって撮像された画像データを重ね合わせることによって、例えば、上方から見た車両１２１００の鳥瞰画像が得られる。

【0137】

撮像部１２１０１から１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１から１２１０４の少なくとも１つは、複数の撮像素子で構成されるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

【0138】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１から１２１０４から得られる距離情報に基づいて、撮像範囲１２１１１から１２１１４内の各立体物までの距離と、距離の時間的変化（車両１２１００に対する相対速度）とを求めることができ、これにより、先行車両として、特に、車両１２１００の走行経路上に存在し、車両１２１００と実質的に同一方向に所定速度（例えば、時速０ｋｍに等しいかそれ以上）で走行する最も近い立体物を抽出する。さらに、マイクロコンピュータ１２０５１は、先行車両の前方に維持すべき追従距離を予め設定し、自動ブレーキ制御（追従停止制御を含む）、自動加速制御（追従発進制御を含む）等を行うことができる。これにより、運転者等の動作に依存することなく、車両を自律走行させる自動運転を目的とした協調制御を行うことができる。

【0139】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１から１２１０４から得られる距離情報に基づいて、三次元物体に関する三次元物体データを、二輪車、普通車、大型車、歩行者、電柱、その他の三次元物体の三次元物体データに分類し、分類された三次元物体データを抽出し、抽出された三次元物体データを障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周囲の障害物を、車両１２１００の運転者が目視で認識できる障害物と、車両１２１００の運転者が目視で認識することが困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険性を示す衝突危険度を判定する。マイクロコンピュータ１２０５１は、衝突リスクが設定値と等しいかそれ以上であり、衝突の可能性がある場合には、音声スピーカ１２０６１又は表示部１２０６２を介して運転者に警告を出力し、走行システム制御部１２０１０を介して強制減速又は回避操舵を行う。これにより、マイクロコンピュータ１２０５１は、衝突回避のための運転を支援することができる。

【0140】

撮像部１２１０１から１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。マイクロコンピュータ１２０５１は、例えば、撮像部１２１０１から１２１０４の撮像画像に歩行者が写っているか否かを判定することにより、歩行者を認識することができる。このような歩行者の認識は、例えば、赤外線カメラとしての撮像部１２１０１から１２１０４の撮像画像中の特徴点を抽出する手順と、物体の輪郭を表す一連の特徴点に対してパターンマッチング処理を行うことにより歩行者であるか否かを判定する手順とにより行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１から１２１０４の撮像画像に歩行者が写っていると判定し、これにより歩行者を認識すると、音／画像出力部１２０５２は、認識した歩行者に重畳するように強調用の四角形の輪郭線を表示するように表示部１２０６２を制御する。また、音／画像出力部１２０５２は、歩行者を表すアイコン等が所望の位置に表示されるように表示部１２０６２を制御してもよい。

【0141】

以上、本開示による技術が適用可能な車両制御システムの例について説明した。イベントトリガ型の画像情報を取得するためのフォトレセプタモジュールを適用することで、通信ネットワークを介して送信される画像データを削減することができ、運転支援に悪影響を与えることなく消費電力を削減し得る。

【0142】

さらに、本技術の実施形態は、上述した実施形態に限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加えることができる。

【0143】

本開示による固体撮像装置は、可視光、赤外光、紫外光、Ｘ線等の放射線を分析及び／又は処理するために使用される任意の装置であってよい。例えば、固体撮像装置は、交通分野、家電分野、医療ヘルスケア分野、セキュリティ分野、美容分野、スポーツ分野、農業分野、画像再生分野等の任意の電子装置であってよい。

【0144】

具体的には、画像再生分野では、固体撮像装置は、デジタルカメラ、スマートフォン、カメラ機能を有する携帯電話端末等、鑑賞に供する画像をキャプチャする装置としてよい。また、交通の分野では、例えば、自動停止や運転者の状態認識等の安全運転のために、車両の前方、後方、周辺、車内等をキャプチャする車載センサや、走行車両や道路を監視する監視カメラ、車間距離等を測定する測距センサ等に固体撮像素子を組み込んでもよい。

【0145】

家電製品の分野では、固体撮像装置は、テレビ受信機、冷蔵庫、エアコン等の家電製品に設けられ、ユーザのジェスチャをキャプチャし、ジェスチャに従って装置動作を実行する装置に使用できる任意のタイプのセンサに統合されてもよい。従って、固体撮像装置は、テレビ受像機、冷蔵庫、エアコン等の家電製品、及び／又は、家電製品を制御する装置に組み込まれてもよい。さらに、医療及びヘルスケアの分野では、固体撮像装置は、内視鏡や赤外光を受光して血管造影を行う装置等、医療及びヘルスケアで使用するために提供される任意のタイプのセンサ、例えば、固体撮像装置に組み込まれてもよい。

【0146】

また、セキュリティの分野では、固体撮像装置は、防犯用の監視カメラや人物認証用のカメラ等、セキュリティに使用される装置に組み込むことができる。さらに、美容の分野では、固体撮像装置は、肌をキャプチャする肌測定器やプローブをキャプチャする顕微鏡等、美容に使用される装置に組み込むことができる。また、スポーツの分野では、固体撮像装置は、アクションカメラやスポーツ用ウェアラブルカメラ等、スポーツに用いられる装置に組み込むことができる。さらに、農業の分野では、固体撮像装置は、畑や作物の状態を監視するためのカメラ等、農業で使用するために提供される装置に使用することができる。

【0147】

なお、本技術は以下に述べるように構成することもできる。
（１）複数のセンサ部であって、各々が、センサ部に与える影響の強度を検出し、それぞれの所定の閾値よりも大きい影響の強度の正又は負の変化をイベントとして検出することが可能である複数のセンサ部と、
少なくとも１つの所定の期間に、複数のセンサ部によって検出されたイベントの一部を読み出すためにランダムに選択するように構成されたフィルタ部と、
検出されたイベントの、及び／又はフィルタ部の読み出し選択動作の履歴データを記憶するように構成されたメモリ部と、
少なくとも１つの所定の期間の各々について、フィルタ部からイベントの選択された一部を受信して出力するように構成された出力インタフェースと
を含み、フィルタ部は、履歴データに基づいて、一連の少なくとも１つの所定の期間について、ランダム選択を繰り返し実行するように構成される、センサ装置。
（２）複数のセンサ部、フィルタ部、メモリ部、及び出力インタフェースは全て、単一のセンサチップの一部である、（１）に記載のセンサ装置。
（３）各所定の期間に、メモリ部は、履歴データとして、この所定の期間に検出されたイベント及びイベントの数を記憶するように構成され、
フィルタ部は、記憶されたイベントの数とイベント選択閾値とを比較し、記憶されたイベントの数が、イベント選択閾値よりも大きいときは、メモリ部に記憶されたイベントに対してランダム選択を実行し、記憶されたイベントの数が、イベント選択閾値よりも小さいときは、メモリ部に記憶されたイベントに対してランダム選択を実行しないように構成される、（１）又は（２）に記載のセンサ装置。
（４）フィルタ部は、記憶されたイベントのうち１つのイベントを、出力インタフェースに転送する確率を、イベント選択閾値と記憶されたイベントの数との比として設定するように構成される、（３）に記載のセンサ装置。
（５）フィルタ部は、メモリ部に記憶された複数のイベントのランダム選択を並行して実行するように構成される、（４）に記載のセンサ装置。
（６）フィルタ部は、同じ記憶されたイベントを２回選択することなく、出力インタフェースに転送するために保存されたイベントをランダムに選択し、転送されたイベントの数をカウントし、転送されたイベントの数が、イベント選択閾値に達したときに、記憶されたイベントの転送を停止することによって、ランダム選択を実行するように構成される、（３）に記載のセンサ装置。
（７）メモリ部は、同時にＮ個のイベントを記憶するための少なくとも１つのメモリ空間を有し、
各所定の期間において、フィルタ部は、Ｎ個のイベントが記憶されるまで、新たに検出された各イベントを、メモリ空間に記憶し、その後、新たに検出されたイベントによってメモリ空間に記憶されたイベントを上書きするか否かをランダムに決定するように構成される、（１）又は（２）に記載のセンサ装置。
（８）メモリ空間に記憶されたイベントを上書きするか否かをランダムに決定するために、フィルタ部は、検出されたイベントの数をカウントし、カウントされた数を履歴データとしてメモリ部に記憶し、新たに検出されたイベント毎に、１と検出されたイベントの瞬時数との間の乱数を発生し、乱数が数Ｎより大きい場合は、新たに検出されたイベントを破棄し、乱数がＮより小さいか等しい場合、乱数に対応する位置に、メモリ空間に記憶されたイベントを上書きするように構成される、（７）に記載のセンサ装置。
（９）メモリ部は、所定の期間中に検出されたイベントの数を履歴データとして記憶するように構成され、
フィルタ部は、現在の所定の期間中のイベントを、以前の所定の期間の検出されたイベントの数に依存する確率でランダムに選択するように構成される、（１）又は（２）に記載のセンサ装置。
（１０）センサ部は、センサ部のグループに分割され、各々が、好ましくは、同数のセンサ部を含み、
フィルタ部は、センサ部のグループ毎に、検出されたイベントのランダム選択を個別に実行するように構成される、（１）に記載のセンサ装置。
（１１）メモリ部は、履歴データとして、所定の期間中に検出されたイベントの総数、及びセンサ部の各グループ内で検出されたイベントの数を記憶するように構成され、
フィルタ部は、イベントの総数、及び以前の所定の期間において特定のグループに対してカウントされたイベントの数に基づいて、現在の所定の期間において１つの特定のグループ内で検出されたイベントをランダムに選択する確率を決定するように構成される、（１０）に記載のセンサ装置。
（１２）フィルタ部は、センサ部の各グループに、それぞれのグループから読み出されるイベントの所望の数を割り当て、割り当てられた所望の数に基づく確率でランダム選択を実行するように構成される、（１０）又は（１１）に記載のセンサ装置。
（１３）フィルタ部は、１つの所定の期間中に検出されたイベントの全て又はサブセットをイベントベクトルにグループ化し、イベントベクトルと、ランダムに分布した１ｓの数とそれ以外の０ｓを含むランダムベクトルとの間でビットワイズ論理演算を実行することによって、ランダム選択を実行するように構成される、（１）から（１２）のいずれか１つに記載のセンサ装置。
（１４）センサ装置は、固体撮像装置であり、
センサ部は、画素アレイに配置された撮像画素であり、各撮像画素は、撮像画素に入射する光の強度を感知することができ、それぞれの所定の閾値よりも大きい光強度の正又は負の変化をイベントとして検出することができる、（１）から（１３）のいずれか１つに記載のセンサ装置。
（１５）（１）から（１４）のいずれか１項に記載のセンサ装置を動作する方法であって、
複数のセンサ部によりイベントを検出し、
少なくとも１つの所定の期間に、複数のセンサ部により検出されたイベントの一部を読み出すためにランダムに選択し、
検出されたイベントの、及び／又は読み出し選択動作の履歴データを記憶し、
少なくとも１つの所定の期間の各々について、イベントの選択された一部を出力することを含み、ランダム選択は、履歴データに基づいて、一連の少なくとも１つの所定の期間について繰り返し実行される、方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図14】

【図15】

【図16】

【図17】

【国際調査報告】