特許 7428307 ピクセル取得回路及び画像センサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-29

(45)【発行日】2024-02-06

(54)【発明の名称】ピクセル取得回路及び画像センサ

(51)【国際特許分類】

   H04N 25/707 20230101AFI20240130BHJP

   H04N 25/47 20230101ALI20240130BHJP

【ＦＩ】

H04N25/707

H04N25/47

【請求項の数】 9

(21)【出願番号】P 2022525427

(86)(22)【出願日】2020-03-06

(65)【公表番号】

(43)【公表日】2023-01-18

(86)【国際出願番号】 CN2020078229

(87)【国際公開番号】W WO2021103341

(87)【国際公開日】2021-06-03

【審査請求日】2022-05-11

(31)【優先権主張番号】201911203365.3

(32)【優先日】2019-11-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520363281

【氏名又は名称】オムニビジョン センサー ソリューション （シャンハイ） カンパニー リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】チェン、ショウシュン

(72)【発明者】

【氏名】グオ、メンガン

【審査官】鈴木 肇

(56)【参考文献】

【文献】国際公開第２０１９／１７８９３９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０２６８５５３（ＵＳ，Ａ１）

【文献】国際公開第２０１９／２１１３１７（ＷＯ，Ａ１）

【文献】特表２０１０－５１０７３２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１９４４５４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ５／３０ － ５／３３

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／１１

Ｈ０４Ｎ ２３／２０ －２３／３０

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｈ０４Ｎ ２５／００

Ｈ０４Ｎ ２５／２０ －２５／６１

Ｈ０４Ｎ ２５／６１５－２５／７９

(57)【特許請求の範囲】

【請求項1】

視野内の光強度変化を検出し、光強度変化が設定された閾値を超えると、ピクセルトリガ信号を生成して、トリガ状態に入るようにピクセル取得回路に指示するための動き検出モジュールと、
前記動き検出モジュールに結合されており、前記ピクセルトリガ信号を受信すると、前記ピクセル取得回路がトリガされる時刻の時間情報を表す時間信号を生成するための時間信号生成モジュールとを含み、
前記動き検出モジュール及び前記時間信号生成モジュールは、それぞれ周辺の読み出しユニットに結合され、
前記動き検出モジュールは、前記読み出しユニットが列方向にすべての列要求信号を管理するように、ピクセル取得回路がトリガ状態に入った時、前記読み出しユニットに行要求信号を出力し、前記読み出しユニットから行応答を受け取った時、前記読み出しユニットに列要求信号を出力するとともに、対応する動き検出列選択線を有効にすることにより、対応するピクセル取得回路のトリガ状態を解放して、外部光強度に再応答できるようにし、
前記時間信号生成モジュールは、前記読み出しユニットが、時間信号列出力線を介して対応するピクセル取得回路から出力された時間信号を１つずつスキャンして読み取るように、前記読み出しユニットが時間信号行選択線を有効にする時、時間信号列出力線に時間信号を出力するとともに、最後の行目のピクセル取得回路の時間信号が読み取られると、同期されたタイムサーフェスフレームが形成され、
前記時間信号生成モジュールは、
第１の端が固定電圧（ＶＡ）に結合され、第２の端がバッファ（Ｂ１）の第１の端に結合される第１のスイッチ（Ｋ１）と、
一端が接地され、他端が前記第１のスイッチ（Ｋ１）の第２の端及び第１のバッファ（Ｂ１）の第１の端に結合される、並列に接続された第１のコンデンサ（Ｃ１）及び第１の抵抗（Ｒ１）と、
第２の端が第２のスイッチ（Ｋ２）の第１の端に結合される第１のバッファ（Ｂ１）と、
第２の端が時間信号列出力線に結合される第２のスイッチ（Ｋ２）と、を含み、
前記第１のスイッチ（Ｋ１）は前記動き検出モジュールから出力されたピクセルトリガ信号によって制御され、ピクセルトリガ信号が有効である場合、前記第１のスイッチ（Ｋ１）がオンにされ、前記第２のスイッチ（Ｋ２）は前記読み出しユニットから出力された時間信号行選択信号によって制御され、時間信号行選択信号が有効である場合、前記第２のスイッチ（Ｋ２）がオンにされる、
ピクセル取得回路。

【請求項2】

視野内の光強度変化を検出し、光強度変化が設定された閾値を超えると、ピクセルトリガ信号を生成して、トリガ状態に入るようにピクセル取得回路に指示するための動き検出モジュールと、
前記動き検出モジュールに結合されており、前記ピクセルトリガ信号を受信すると、前記ピクセル取得回路がトリガされる時刻の時間情報を表す時間信号を生成するための時間信号生成モジュールとを含み、
前記動き検出モジュール及び前記時間信号生成モジュールは、それぞれ周辺の読み出しユニットに結合され、
前記動き検出モジュールは、前記読み出しユニットが列方向にすべての列要求信号を管理するように、ピクセル取得回路がトリガ状態に入った時、前記読み出しユニットに行要求信号を出力し、前記読み出しユニットから行応答を受け取った時、前記読み出しユニットに列要求信号を出力するとともに、対応する動き検出列選択線を有効にすることにより、対応するピクセル取得回路のトリガ状態を解放して、外部光強度に再応答できるようにし、
前記時間信号生成モジュールは、前記読み出しユニットが時間信号列出力線を介して対応するピクセル取得回路から出力された時間信号を１つずつスキャンして読み取るように、前記読み出しユニットが時間信号行選択線を有効にする時、時間信号列出力線に時間信号を出力するとともに、最後の行目のピクセル取得回路の時間信号が読み取られると、同期されたタイムサーフェスフレームが形成され、
前記時間信号生成モジュールは、
第１の端が固定電圧（ＶＡ）に結合され、第２の端が第２のバッファ（Ｂ２）の第１の端に結合される第３のスイッチ（Ｋ３）と、
一端が接地され、他端が前記第３のスイッチ（Ｋ３）の第２の端及び第２のバッファ（Ｂ２）の第１の端に結合される、並列に接続された第２のコンデンサ（Ｃ２）及び定電流源（Ｉ）と、
第２の端が第４のスイッチ（Ｋ４）の第１の端に結合される第２のバッファ（Ｂ２）と、
第２の端が時間信号列出力線に結合される第４のスイッチ（Ｋ４）とを含み、
第２のコンデンサ（Ｃ２）及び定電流源（Ｉ）に基づいて時間信号の減衰速度を確定して、
前記第３のスイッチ（Ｋ３）は、前記動き検出モジュールから出力されたピクセルトリガ信号によって制御され、ピクセルトリガ信号が有効である場合、前記第３のスイッチ（Ｋ３）がオンにされ、前記第４のスイッチ（Ｋ４）は、前記読み出しユニットによって出力され時間信号行選択信号によって制御され、時間信号行選択信号が有効である場合、前記第４のスイッチ（Ｋ４）がオンにされる、
ピクセル取得回路。

【請求項3】

前記時間信号は、前記ピクセル取得回路がトリガ状態に入った時、瞬時電圧パルスを示し、その後、時間とともに減衰する請求項１又は２に記載のピクセル取得回路。

【請求項4】

前記動き検出モジュールは、
照射された光信号をリアルタイムで監視し、対応する電気信号を出力するための光電検知サブモジュールと、
第１の入力端子が前記光電検知サブモジュールに結合され、第１の出力端子が読み出しインターフェースサブモジュールに結合され、第２の出力端子が前記時間信号生成モジュールに結合されるトリガ生成サブモジュールであって、前記電気信号が予め設定されたトリガ条件を満たす場合、読み出しインターフェースサブモジュール及び前記時間信号生成モジュールへのトリガ生成信号を生成するためのトリガ生成サブモジュールと、
前記トリガ生成サブモジュールに結合されており、読み出しユニットと通信するための読み出しインターフェースサブモジュールとを含む請求項１から３のいずれか一項に記載のピクセル取得回路。

【請求項5】

前記第１のスイッチ（Ｋ１）又は第３のスイッチ（Ｋ３）は、前記動き検出モジュールから出力されたピクセルトリガ信号によって制御され、前記ピクセルトリガ信号が有効である場合、第１のスイッチ（Ｋ１）又は第３のスイッチ（Ｋ３）がオンにされ、
前記第２のスイッチ（Ｋ２）又は第４のスイッチ（Ｋ４）は、前記読み出しユニットから出力された時間信号行選択信号によって制御され、前記時間信号行選択信号が有効である場合、第２のスイッチ（Ｋ２）又は第４のスイッチ（Ｋ４）がオンにされる請求項１に記載のピクセル取得回路。

【請求項6】

前記第１の抵抗（Ｒ１）は調整可能な抵抗であり、
第１のコンデンサ（Ｃ１）及び第１の抵抗（Ｒ１）で構成される時定数に基づいて時間信号の減衰速度を確定する請求項１に記載のピクセル取得回路。

【請求項7】

複数の請求項１～６のいずれか１項に記載のピクセル取得回路を含むピクセル取得回路アレイと、
前記ピクセル取得回路アレイの初期動作状態を制御するためのものであり、更に、画像センサの電源投入時に、前記ピクセル取得回路アレイをリセットし、及び、ピクセル取得回路アレイが安定した初期状態を維持した場合に、前記ピクセル取得回路アレイが動作し始めるようにリセットを解除するためのグローバル制御ユニットと、
前記ピクセル取得回路アレイを行ごとにスキャンして、前記ピクセル取得回路アレイに関する時間情報を出力するための読み出しユニットとを含み、
前記読み出しユニットは、
行方向に前記ピクセル取得回路アレイを管理するための行選択モジュールと、
列方向に前記ピクセル取得回路アレイを管理するための列選択モジュールと、
それぞれ前記行選択モジュール及び前記列選択モジュールに結合されており、前記行選択モジュール及び前記列選択モジュールの出力を制御するための読み出し制御モジュールとを含む画像センサ。

【請求項8】

前記行選択モジュールは、
動き検出行要求線及び動き検出行選択線を介して前記ピクセル取得回路における動き検出モジュールに結合されており、前記ピクセル取得回路アレイからの行要求信号に応答するための動き検出行選択サブモジュールと、
時間信号行選択線を介して前記ピクセル取得回路における時間信号生成モジュールに結合されており、前記ピクセル取得回路の時間信号行選択線を行ごとに有効にするための時間信号行選択サブモジュールとを含む請求項７に記載の画像センサ。

【請求項9】

前記列選択モジュールは、
動き検出列要求線及び動き検出列選択線を介して前記ピクセル取得回路における動き検出モジュールに結合されており、前記ピクセル取得回路アレイからの列要求信号に応答するための動き検出列選択サブモジュールであって、前記列要求信号は前記ピクセル取得回路が行応答を取得するときに有効である動き検出列選択サブモジュールと、
時間信号列出力線を介して前記ピクセル取得回路における時間信号生成モジュールに結合されており、前記時間信号列出力線によって前記ピクセル取得回路の時間信号を読み取るための時間信号列選択サブモジュールであって、前記ピクセル取得回路は、それと結合される時間信号行選択線が有効である場合、時間信号を出力する時間信号列選択サブモジュールとを含む請求項７又は８に記載の画像センサ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像取得技術分野に関し、特にピクセル取得回路及び画像センサに関する。

【背景技術】

【0002】

ビジョンアプリケーションの分野における人工知能技術の重要な分野として、マシンビジョン技術は近年急速な発展を遂げてきた。高い計算能力に支えられたマシンビジョンアルゴリズムに依存するマシンビジョン技術は、パターン認識、特徴抽出、移動物体検出、追跡などの多くの分野で広く使用されている。

【0003】

フロントエンドの画像データ取得のソースとして、画像センサはマシンビジョンシステム全体の重要な部分でもある。ほとんどの画像センサは固定フレームレートでフルフレーム画像を出力するため、主流のマシンビジョンアルゴリズムもフルフレームの画像フレーム情報を入力として使用する。ただし、これらの画像フレーム情報には、多くの冗長な情報（主に不要な背景情報）が含まれると同時に、マシンビジョンアプリケーションで重要な視野内の動的情報が失われる。上記の問題により、記憶と計算能力の点でバックエンドアルゴリズムの負担が増大している。対照的に、別の画像センサ、すなわち動的ビジョン画像センサ（以下、「動的ビジョンセンサ」と呼ぶ）は、原則として、画像データソースに対するマシンビジョンの要件により一致している。動的ビジョンセンサは、視野内の動的情報にのみ応答して出力し、不要な背景情報を自動的にマスクして除外する。固定フレームレートで出力する画像センサとは異なり、動的ビジョンセンサの出力は、時空間ドメインで視野内の動的情報を直接表す非同期イベントストリームである。

【0004】

前述のように、動的ビジョンセンサは視野内の動的情報を直接検出し、出力データの冗長性を低減する。ただし、動的ビジョンセンサの非同期イベントストリームの出力形式は、入力データに対する主流のマシンビジョンアルゴリズムの要件と互換性がない。従って、フロントエンドが画像データを収集する場合、動的ビジョンセンサを使用すると、フロントエンドによって出力される非同期イベントストリームデータを何らかの方法で同期フレームデータに変換する必要がある。ただし、データ変換操作は依然として多くの外部記憶スペースと計算能力を消費するため、画像処理システム全体の効率が低下する。

【0005】

このため、上記の問題を解決するには、新しい画像センサが必要である。

【発明の概要】

【0006】

本発明は、上記の問題の少なくとも１つを解決または少なくとも軽減するために、ピクセル取得回路及び画像センサを提供する。

【0007】

本発明の一形態では、視野内の光強度変化を検出し、光強度変化が設定された閾値を超えると、ピクセルトリガ信号を生成して、トリガ状態に入るようにピクセル取得回路に指示するための動き検出モジュールと、動き検出モジュールに結合されており、ピクセルトリガ信号を受信すると、前記ピクセル取得回路がトリガされる時刻の時間情報を表す時間信号を生成するための時間信号生成モジュールとを含み、動き検出モジュール及び時間信号生成モジュールは、それぞれ周辺の読み出しユニットに結合されて、読み出しユニッは、ピクセル取得回路をスキャンしてピクセル取得回路の時間情報を出力するピクセル取得回路を提供する。

【0008】

オプションとして、本発明に係るピクセル取得回路では、時間信号は、ピクセル取得回路がトリガ状態に入った時、瞬時電圧パルスを示し、その後、時間とともに減衰する。

【0009】

オプションとして、本発明に係るピクセル取得回路では、動き検出モジュールは、照射された光信号をリアルタイムで監視し、対応する電気信号を出力するための光電検知サブモジュールと、第１の入力端子が光電検知サブモジュールに結合され、第１の出力端子が読み出しインターフェースサブモジュールに結合され、第２の出力端子が時間信号生成モジュールに結合されるトリガ生成サブモジュールであって、電気信号が予め設定されたトリガ条件を満たす場合、読み出しインターフェースサブモジュール及び時間信号生成モジュールへのトリガ生成信号を生成するトリガ生成サブモジュールと、トリガ生成サブモジュールに結合されており、読み出しユニットと通信するための読み出しインターフェースサブモジュールとを含む。

【0010】

オプションとして、本発明に係るピクセル取得回路では、時間信号生成モジュールは、第１の端が固定電圧（ＶＡ）に結合され、第２の端がバッファ（Ｂ１）の第１の端に結合される第１のスイッチ（Ｋ１）と、一端が接地され、他端が前記第１のスイッチ（Ｋ１）の第２の端及び第１のバッファ（Ｂ１）の第１の端に結合される、並列に接続された第１のコンデンサ（Ｃ１）及び第１の抵抗（Ｒ１）と、第２の端が第２のスイッチ（Ｋ２）の第１の端に結合される第１のバッファ（Ｂ１）と、第２の端が時間信号列出力線に結合される第２のスイッチ（Ｋ２）と、を含む。

【0011】

オプションとして、本発明に係るピクセル取得回路では、時間信号生成モジュールは、第１の端が固定電圧（ＶＡ）に結合され、第２の端が第２のバッファ（Ｂ２）の第１の端に結合される第３のスイッチ（Ｋ３）と、一端が接地され、他端が前記第３のスイッチ（Ｋ３）の第２の端及び第２のバッファ（Ｂ２）の第１の端に結合される、並列に接続された第２のコンデンサ（Ｃ２）及び定電流源（Ｉ）と、第２の端が第４のスイッチ（Ｋ４）の第１の端に結合される第２のバッファ（Ｂ２）と、第２の端が時間信号列出力線に結合される第４のスイッチ（Ｋ４）とを含む。

【0012】

オプションとして、本発明に係るピクセル取得回路では、第１のスイッチ（Ｋ１）又は第３のスイッチ（Ｋ３）は、動き検出モジュールから出力されたピクセルトリガ信号によって制御され、ピクセルトリガ信号が有効である場合、第１のスイッチ（Ｋ１）又は第３のスイッチ（Ｋ３）がオンにされ、第２のスイッチ（Ｋ２）又は第４のスイッチ（Ｋ４）は、読み出しユニットから出力された時間信号行選択信号によって制御され、時間信号行選択信号が有効である場合、第２のスイッチ（Ｋ２）又は第４のスイッチ（Ｋ４）がオンにされる。

【0013】

オプションとして、本発明に係るピクセル取得回路では、第１の抵抗（Ｒ１）は調整可能な抵抗であり、第１のコンデンサ（Ｃ１）及び第１の抵抗（Ｒ１）で構成される時定数に基づいて時間信号の減衰速度を確定する。

【0014】

オプションとして、本発明に係るピクセル取得回路では、第２のコンデンサ（Ｃ２）及び定電流源（Ｉ）に基づいて時間信号の減衰速度を確定する。

【0015】

本発明の別の形態では、複数の上記のピクセル取得回路を含むピクセル取得回路アレイと、ピクセル取得回路アレイの初期動作状態を制御するためのグローバル制御ユニットと、ピクセル取得回路アレイを行ごとにスキャンして、ピクセル取得回路アレイに関する時間情報を出力するための読み出しユニットとを含む画像センサを提供する。

【0016】

オプションとして、本発明に係る画像センサでは、読み出しユニットは、行方向にピクセル取得回路アレイを管理するための行選択モジュール、と、列方向にピクセル取得回路アレイを管理するための列選択モジュール、と、それぞれ行選択モジュール及び列選択モジュールに結合されており、行選択モジュール及び列選択モジュールの出力を制御するための読み出し制御モジュールとを含む。

【0017】

オプションとして、本発明に係る画像センサでは、行選択モジュールは、動き検出行要求線及び動き検出行選択線を介してピクセル取得回路における動き検出モジュールに結合されており、ピクセル取得回路アレイからの行要求信号に応答するための動き検出行選択サブモジュールと、時間信号行選択線を介してピクセル取得回路における時間信号生成モジュールに結合されており、ピクセル取得回路の時間信号行選択線を行ごとに有効にするための時間信号行選択サブモジュールとを含む。

【0018】

オプションとして、本発明に係る画像センサでは、行選択モジュールは、動き検出行要求線及び動き検出行選択線を介してピクセル取得回路における動き検出モジュールに結合されており、ピクセル取得回路アレイからの行要求信号に応答するための動き検出行選択サブモジュールと、時間信号行選択線を介してピクセル取得回路における時間信号生成モジュールに結合されており、ピクセル取得回路の時間信号行選択線を行ごとに有効にするための時間信号行選択サブモジュールとを含む。

【0019】

オプションとして、本発明に係る画像センサでは、グローバル制御ユニットは、更に画像センサの電源投入時に、ピクセル取得回路アレイをリセットし、及び、ピクセル取得回路アレイが安定した初期状態を維持した場合に、ピクセル取得回路アレイが動作し始めるようにリセットを解除するためのものである。

【0020】

本開示の画像センサ１００によれば、時間信号生成モジュール２２０がピクセル取得回路２００に追加され、当該時間信号生成モジュール２２０はローカル時間信号を生成し、当該時間信号は、一般に電圧信号であり、イベントがピクセル取得回路２００によって検出されると、瞬時電圧パルスとして現れ、その後、当該時間信号は、時間の経過を表すように徐々に減衰する。周辺の読み出しユニット１３０には、時間信号行選択サブモジュール１３２４および時間信号列選択サブモジュール１３４４が追加され、これらは、すべてのピクセル取得回路２００において時間信号生成モジュール２２０によって出力された時間信号を定期的にスキャンすることで、タイムサーフェスフレームを形成して出力する。

【0021】

以上のように、当該画像センサ１００は、従来の動的ビジョンセンサの動的情報の非同期検出の利点を保持するだけでなく、ピクセル取得回路の時間情報を表すタイムサーフェスフレームをバックエンドマシンビジョンアルゴリズムに直接出力することもできる。当該タイムサーフェスフレームは、バックエンドのマシンビジョンアルゴリズムでトレーニングサンプルとして使用したり、オブジェクトの認識や追跡などのタスクを実現したりするために使用できる。このようにして、当該画像センサ１００は、画像処理システムのバックエンドでのデータ変換に必要な記憶および計算能力のオーバーヘッドを効果的に節約することができ、それにより、画像処理システムの効率を改善する。

【図面の簡単な説明】

【0022】

上記および関連する目的を達成するために、特定の例示的な態様は、本明細書に開示される原理が実施され得る様々な方法を示す以下の説明および図面と併せて本明細書に記載され、すべての態様およびそれらの同等物は、請求された主題の範囲内に入ることが意図される。本開示の上記および他の目的、特徴および利点は、添付の図面と併せて以下の詳細な説明を読むことによってより明らかになるであろう。この開示を通して、同じ参照番号は一般に同じ部品または要素を指す。

【図1】図１は本発明のいくつかの実施例に係る画像センサ１００の模式図である。

【図2】本発明のいくつかの実施例に係るピクセル取得回路２００の模式図である。

【図3】本発明の一実施例に係る時間信号生成モジュール２２０の模式図である。

【図4A】本発明の一実施例に係る時間信号の波形図である。

【図4B】本発明の一実施例に係る時間信号の波形図である。

【図4C】本発明の一実施例に係る時間信号の波形図である。

【図4D】本発明の一実施例に係る時間信号の波形図である。

【図5】本発明の別の実施例に係る時間信号生成モジュール２２０の模式図である。

【図6A】本発明の別の実施例に係る時間信号の波形図である。

【図6B】本発明の別の実施例に係る時間信号の波形図である。

【図6C】本発明の別の実施例に係る時間信号の波形図である。

【図6D】本発明の別の実施例に係る時間信号の波形図である。

【図7】本発明の一実施例に係る視野のシーンの模式図である。

【図8A】図７に示すシーンでおいて出力されたタイムサーフェスフレームの模式図である。

【図8B】図７に示すシーンでおいて出力されたタイムサーフェスフレームの模式図である。

【図8C】図７に示すシーンでおいて出力されたタイムサーフェスフレームの模式図である。

【図8D】図７に示すシーンでおいて出力されたタイムサーフェスフレームの模式図である。

【図8E】図７に示すシーンでおいて出力されたタイムサーフェスフレームの模式図である。

【図8F】図７に示すシーンでおいて出力されたタイムサーフェスフレームの模式図である。

【図8G】図７に示すシーンでおいて出力されたタイムサーフェスフレームの模式図である。

【発明を実施するための形態】

【0023】

以下、本開示の例示的な実施例は、図面を参照してより詳細に説明される。図面には本開示の例示的な実施例が示されているが、本開示は様々な形態で実現することができ、本明細書に記載の実施例によって限定されるべきではないことを理解されたい。むしろ、これらの実施例は、本開示をより完全に理解し、本開示の範囲を当業者に完全に伝えるように提供される。

【0024】

図１は、本発明のいくつかの実施例に係る画像センサ１００の模式図を示す。当該画像センサ１００は、高速移動物体を検出するシーンに適用して、移動イベントに関連するイベントデータストリームを出力することができる。実現方法によれば、当該画像センサ１００は、外部画像プロセッサ（図示せず）に結合され、さらなる計算および適用のために、時間情報を表す画像フレームを外部画像プロセッサに出力する。当該画像プロセッサは通常、オブジェクト検出、ターゲット追跡など、特定のマシンビジョンアルゴリズムを実現するために使用される。本発明の実施例はこれを限定するものではない。

【0025】

図１に示されるように、画像センサ１００は、ピクセル取得回路アレイ１１０、グローバル制御ユニット１２０、および読み出しユニット１３０を含む。画像センサ１００のコア部分としてのピクセル取得回路アレイ１１０は、行方向および列方向に均等に分布する複数のピクセル取得回路２００で構成されている（図１は、３×３ピクセル取得回路アレイを示しているが、これに限定されない）。

【0026】

グローバル制御ユニット１２０は、ピクセル取得回路アレイ１１０に結合されており、当該グローバル制御ユニット１２０は、ピクセル取得回路アレイ１１０の初期動作状態を制御することができる。一般的に言えば、グローバル制御ユニット１２０は、各ピクセル取得回路１１２がいずれも安定した初期状態を維持することを保証するために、画像センサ１００の電源投入時に、ピクセル取得回路アレイ１１０全体をリセットする役割を果たす。続いて、グローバル制御ユニット１２０はリセットを解除し、ピクセル取得回路アレイ１１０は正常に動作し始める。

【0027】

読み出しユニット１３０は、ピクセル取得回路アレイ１１０に結合されている。本発明の実施形態によれば、読み出しユニット１３０は２つの機能を実行する。１つは、ピクセル取得回路アレイ２００によって生成されるイベントを管理することであり、もう１つは、ピクセル取得回路アレイ１１０によって生成される時間信号をスキャンして、ピクセル取得回路アレイ１１０の時間情報に関する画像フレームを生成することである。当該画像フレーム内のピクセルの位置は、ピクセル取得回路の行と列のアドレスであり、ピクセルのサイズは、ピクセル取得回路の時間信号のサイズである。一実施例では、当該画像フレームは、タイムサーフェスフレーム（ＴｉｍｅＳｕｒｆａｃｅ）と呼ばれ、過去の短期間の視野内の動的情報の時間的および空間的分布を反映する。同時に、これら２つの機能は互いに独立している。

【0028】

上記の機能を達成するために、読み出しユニット１３０は、合計３つのサブユニットを含み、それらは、行選択モジュール１３２、列選択モジュール１３４、および読み出し制御モジュール１３６である。行選択モジュール１３２は、行方向にピクセル取得回路アレイ１１０を管理し、列選択モジュール１３４は、列方向にピクセル取得回路アレイ１１０を管理し、読み出し制御モジュール１３６は、行選択モジュール１３２および列選択モジュール１３４を調整する。

【0029】

一般的な動的ビジョンセンサとは異なり、本発明に係る画像センサ１００では、ピクセル取得回路２００は、動き検出モジュール２１０だけでなく、時間信号生成モジュール２２０も含む。図２は本発明に係るいくつかの実施例のピクセル取得回路２００の模式図を示す。動き検出モジュール２１０は、視野内の動的情報を検出するために使用され、時間信号生成モジュール２２０は、ピクセル取得回路２００がトリガされる時刻の時間情報を表すローカル時間信号を生成するために使用される。具体的には、動き検出モジュール２１０は、視野内の光強度の変化にリアルタイムで応答し、外部光強度の変化が設定された閾値を超えると、ピクセル取得回路２００をトリガ状態に入らせて、当該ピクセル取得回路２００がイベントを検出したことを表す。ピクセル取得回路２００における時間信号生成モジュール２２０は、ローカル時間信号を生成する役割を果たし、当該時間信号は、一般に電圧信号であり、ピクセル取得回路２００がトリガ状態に入ったときに瞬時電圧パルス信号として現れる。次に、当該時間信号の振幅は、何らかの方法で時間とともに徐々に減衰する。したがって、ある瞬間の当該時間信号の振幅を取得することにより、対応するピクセル取得回路２００がイベントを検出したかどうか、いつ検出したかを知ることができる。いくつかの実施例では、図１に示すように、ピクセル取得回路２００における動き検出モジュール２１０および時間信号生成モジュール２２０に対応して、行選択モジュール１３２は、動き検出行選択サブモジュール１３２２および時間信号行選択サブモジュール１３２４にさらに分割される。列選択モジュール１３４は、動き検出列選択サブモジュール１３４２と時間信号列選択サブモジュール１３４４にさらに分割される。

【0030】

ピクセル取得回路アレイ１１０における各ピクセル取得回路２００について、読み出しユニット１３０は、対応する行バスおよび列バスを介してそれに結合されて、イベントの管理および時間信号のスキャンを実現する。同時に、読み出しユニット１３０によるイベントの管理と時間情報のスキャンは、互いに独立している。図２を参照して、２つの処理手順を以下に詳細に説明する。

【0031】

動き検出行選択サブモジュール１３２２は、動き検出行要求線及び動き検出行選択線を介してピクセル取得回路２００における動き検出モジュール２１０に結合されており、動き検出列選択サブモジュール１３４２は、動き検出列要求線及び動き検出列選択線を介してピクセル取得回路２００における動き検出モジュール２１０に結合されている。

【0032】

一実施例では、あるピクセル取得回路２００がトリガ状態に入った後、ピクセル取得回路２００内の動き検出モジュール２１０は、対応する動き検出行要求線を有効にする。動き検出行選択サブモジュール１３２２は、ピクセル取得回路アレイ１１０のすべての動き検出行要求線を管理し、受信された行要求信号に応答する。オプションとして、動き検出行選択サブモジュール１３２２は、対応する動き検出行選択線を有効にすることによって、有効な行要求信号に応答する。ある行のピクセル取得回路の行要求信号が応答されると、この行のピクセル取得回路の列要求信号が有効になり、このとき、動き検出列選択サブモジュール１３４２がこれらの列要求信号に応答する。動き検出列選択サブモジュール１３４２は、列方向にすべての列要求信号を管理し、対応する動き検出列選択線を有効にすることにより、対応するピクセル取得回路のトリガ状態を解放して、外部光強度に再応答できるようにする。この行のトリガ状態にあるすべてのピクセル取得回路がトリガ状態から解放された後、読み出し制御モジュール１３６は、動き検出行選択サブモジュール１３２２に、改行動作を実行するように通知し、動き検出行選択サブモジュール１３２２は、ピクセル取得回路アレイ１１０におけるすべてのピクセル取得回路に対して上記のスキャンプロセスが実行されるまで、現在の行の動き検出行選択信号をキャンセルし、次の行を選択し、以下同様である。

【0033】

同様に、時間信号行選択サブモジュール１３２４は、時間信号行選択線を介して、ピクセル取得回路２００における時間信号生成モジュール２２０に結合され、時間信号列選択サブモジュール１３４４は、時間信号列出力線を介してピクセル取得回路２００の時間信号生成モジュール２２０に結合される。一実施例では、時間信号行選択サブモジュール１３２４は、ピクセル取得回路２００によって生成される時間信号行選択線を行ごとに有効にする（例えば、最初に、第１行目の時間信号行選択線を有効にする）。ピクセル取得回路２００は、それに結合された時間信号行選択線が有効であるときに時間信号列出力線に時間信号を出力する。このとき、時間信号列選択サブモジュール１３４４は、時間信号列出力線を介して、当該ピクセル取得回路２００から出力された時間信号を１つずつスキャンして読み取る。当該行内のすべてのピクセル取得回路２００の時間信号が読み取られると、読み出し制御モジュール１３６は、時間信号行選択サブモジュール１３２４に改行動作を実行するように通知し、時間信号行選択サブモジュール１３２４は、現在の行の時間信号行選択信号をキャンセルし、次の行を選択する。このように続けて、最後の行目のピクセル取得回路２００の時間信号が読み取られると、タイムサーフェスフレームが形成される。次に、読み出し制御モジュール１３６は、最後の行目の時間信号行選択信号をキャンセルし、第１行目の時間信号行選択信号を再度有効にし、次のタイムサーフェスフレームの読み出し動作を開始する。

【0034】

上記の読み出しメカニズムによれば、画像センサ１００の出力は、同期されたタイムサーフェスフレームであり、当該タイムサーフェスフレームは、画像センサ１００の視野内の動きの時空間情報を含み、これは、オブジェクト認識やターゲット追跡などのタスクを実現するように、トレーニングサンプルとしてバックエンドのマシンビジョンアルゴリズムによって直接使用することができる。具体的な実現では、動き検出行選択サブモジュール１３２２および動き検出列選択サブモジュール１３４２は、スキャン回路または決定器を選択することによって実現することができ、時間信号行選択サブモジュール１３２４及び時間信号列選択サブモジュール１３４４。は、フルスキャン回路によって実現することができる。上記の回路は本分野の公知技術に属しているので、ここでは繰り返さない。

【0035】

以下、ピクセル取得回路２００における動き検出モジュール２１０および時間信号生成モジュール２２０の構造をそれぞれ説明する。
従来の動的ビジョンセンサのピクセル取得回路と同様に、動き検出モジュール２１０は、互いに結合された光電検知サブモジュール２１２、トリガ生成サブモジュール２１４及び読み出しインターフェースサブモジュール２１６を含む。ここで、光電検知サブモジュール２１２は、照射された光信号をリアルタイムで監視し、対応する電気信号を出力する。トリガ生成サブモジュール２１４は、第１の入力端子が光電検知サブモジュール２１２に結合され、第１の出力端子が読み出しインターフェースサブモジュール２１６に結合され、且つ第２の出力端子が時間信号生成モジュール２２０に結合される。トリガ生成サブモジュール２１４は、電気信号が予め設定されたトリガ条件を満たす場合、読み出しインターフェースサブモジュール２１６及び時間信号生成モジュール２２０へのトリガ生成信号を生成する。読み出しインターフェースサブモジュール２１６は、トリガ生成サブモジュール２１４に結合されて、読み出しユニット１３０と通信する。動き検出モジュール２１０は既存の動的ビジョンセンサにすでに存在するので、ここでは繰り返さない。

【0036】

前述のように、時間信号は、ピクセル取得回路２００がトリガ状態に入った時、瞬時電圧パルスを示し、その後、時間とともに減衰する。本発明の実施形態によれば、時間信号は、指数形式で減衰してもよく、線形形式で減衰してもよく、それに限定されない。

【0037】

時間信号の異なる減衰形式によれば、図３および図５は、それぞれ、本発明の実施例に係る２つの時間信号生成モジュール２２０の模式図を提供する。ここで、図３は指数形式減衰を示し、図５は線形形式減衰を示している。

【0038】

図３に示すように、指数減衰型時間信号生成モジュール２２０は、第１のスイッチ（Ｋ１）、第１のコンデンサ（Ｃ１）、第１の抵抗（Ｒ１）、第１のバッファ（Ｂ１）及び第２のスイッチ（Ｋ２）を含む。ここで、第１のスイッチ（Ｋ１）は、第１の端が、固定電圧（ＶＡ）に結合され、第２の端が第１のバッファ（Ｂ１）の第１の端に結合される。第１のコンデンサ（Ｃ１）及び第１の抵抗（Ｒ１）は、並列に接続されており、一端が接地され、他端が第１のスイッチ（Ｋ１）の第２の端及び第１のバッファ（Ｂ１）の第１の端に結合される。第１のバッファ（Ｂ１）の第２の端は第２のスイッチ（Ｋ２）の第１の端に結合される。第２のスイッチ（Ｋ２）の第２の端は時間信号列出力線に結合される。また、第１のスイッチ（Ｋ１）は動き検出モジュール２１０から出力されたピクセルトリガ信号によって制御され、ピクセルトリガ信号が有効である場合、第１のスイッチ（Ｋ１）がオンにされる。第２のスイッチ（Ｋ２）は読み出しユニット１３０から出力された時間信号行選択信号によって制御され、時間信号行選択信号が有効である場合、第２のスイッチ（Ｋ２）がオンにされる。一実施例では、第１の抵抗（Ｒ１）は調整可能な抵抗である。第１のコンデンサ（Ｃ１）及び第１の抵抗（Ｒ１）で構成される時定数に基づいて、時間信号の減衰速度を確定する。

【0039】

図４Ａ～図４Ｄは、図３に示される時間信号生成モジュール２２０によって生成された時間信号の波形図を示す。

【0040】

ここで、図４Ａはピクセル取得回路２００が１回トリガされたときの時間信号を示し、図４Ｂはピクセル取得回路２００が複数回トリガされたときの時間信号（２回連続したトリガがここに示されている）を示す。時間信号図では、横軸は時間ｔを表し、縦軸はピクセルトリガ信号ＶＴを表す。図４ Ｃ及び図４Ｄはそれぞれ図４Ａ及び図４Ｂの時間信号に対応する波形図を示す。波形図では、横軸は時間ｔを表し、縦軸は出力された時間信号の電圧値Ｖ１を表す。

【0041】

図４Ａおよび４Ｃを参照すると、ピクセル取得回路がトリガされない場合（ｔ＜ｔ１）、ピクセルトリガ信号ＶＴはローレベルにあり、第１のスイッチＫ１がオフにされ、Ｖ１は第１の抵抗Ｒ１を介してゼロ位置に放電される。時刻ｔ１において、ピクセル取得回路２００がトリガされ、ピクセルトリガ信号ＶＴは非常に短いパルス信号である。このとき、第１のスイッチＫ１がオンにされ、第１のコンデンサＣ１が固定電圧ＶＡに強制的に充電される。つまり、Ｖ１は時刻ｔ１で瞬時にＶＡに引き上げられる。その後、ピクセルトリガ信号が無効になり、第１のスイッチＫ１が再びオフにされ、第１のコンデンサＣ１の電荷が第１の抵抗Ｒ１を介してゆっくりと放電され、したがって、Ｖ１は指数形式で徐々に減衰し、ｔがｔ３より大きい場合、Ｖ１はゼロ電位に減衰する。

【0042】

図４Ｂおよび図４Ｄを参照すると、ピクセル取得回路２００は、それぞれ時刻ｔ１および時刻ｔ２でトリガされ、２つのトリガ間の時間は短い。時刻ｔ１で、ピクセルトリガ信号ＶＴは狭いパルスを与え、第１のスイッチＫ１がオンにされ、時間信号Ｖ１が強制的に固定電圧ＶＡに引き上げられ、次に第１のスイッチＫ１がオフにされ、Ｖ１は指数形式で減衰し始める。直後、ピクセル取得回路２００は時刻ｔ２で再びトリガされ、ピクセルトリガ信号ＶＴは再び狭いパルスを与え、時間信号Ｖ１が再びＶＡに引き上げられ、次に第１のスイッチＫ１がオフにされ、Ｖ１は指数形式で減衰する。当該ピクセル取得回路が読み出されると、時間信号行選択信号は有効になり、第２のスイッチＫ２はオンにされ、Ｖ１は第１のバッファＢ１を介して時間信号列出力線に送られ、そして、列選択モジュール３４４によって取得して出力される。

【0043】

上記の時間信号の波形図から、時間信号のある瞬間での瞬時振幅は、ピクセル取得回路がトリガされた時刻から現在の時刻までの時間情報を表すことができ、つまり、瞬時振幅が大きいほど、ピクセル取得回路がトリガされた時刻に近くなり、瞬時振幅が小さいほど、ピクセル取得回路がトリガされた時刻から遠くなることがわかる。前述のように、時間信号の減衰速度は、第１のコンデンサＣ１及び第１の抵抗Ｒ１で構成される時定数によって確定される。当該減衰速度を便利に調整するために、第１の抵抗Ｒ１を調整可能な抵抗にすることができ、時間信号の減衰速度を調整するように、さまざまなバックエンドアプリケーションの必要に応じてさまざまな抵抗値を変更する。

【0044】

図５は、線形減衰型の時間信号生成モジュール２２０を示しており、図３とは異なる点は、第１の抵抗Ｒ１が定電流源Ｉに置き換えられ、第３のスイッチＫ３がオフになると、第２のコンデンサＣ２に蓄積された電荷が定電流源Ｉを通して放電され、それによって、時間とともに線形に減衰する時間信号（Ｖ２）の波形が形成されることである。図５に示すように、当該時間信号生成モジュール２２０は、第３のスイッチ（Ｋ３）、第２のコンデンサ（Ｃ２）、定電流源（Ｉ）、第２のバッファ（Ｂ２）及び第４のスイッチ（Ｋ４）を含む。ここで、第３のスイッチ（Ｋ３）は、第１の端が固定電圧（ＶＡ）に結合され、第２の端が第２のバッファ（Ｂ２）の第１の端に結合される。第２のコンデンサ（Ｃ２）及び定電流源（Ｉ）は、並列に接続されており、一端が接地され、他端が第３のスイッチ（Ｋ３）の第２の端及び第２のバッファ（Ｂ２）の第１の端に結合される。第２のバッファ（Ｂ２）の第２の端は第４のスイッチ（Ｋ４）の第１の端に結合され、第４のスイッチ（Ｋ４）の第２の端は時間信号列出力線に結合される。当該時間信号生成モジュール２２０では、第３のスイッチ（Ｋ３）は、動き検出モジュール２１０から出力されたピクセルトリガ信号によって制御され、ピクセルトリガ信号が有効である場合、第３のスイッチ（Ｋ３）がオンにされる。第４のスイッチ（Ｋ４）は、読み出しユニット１３０によって出力され時間信号行選択信号によって制御され、時間信号行選択信号が有効である場合、第４のスイッチ（Ｋ４）がオンにされる。一実施例では、第２のコンデンサ（Ｃ２）及び定電流源（Ｉ）に基づいて時間信号の減衰速度を確定する。

【0045】

図６Ａ～図６Ｄは、図５に示される時間信号生成モジュール２２０によって生成された時間信号の波形図を示す。ここで、図６Ａはピクセル取得回路２００が１回トリガされたときの時間信号を示し、図６Ｂはピクセル取得回路２００が複数回トリガされたときの時間信号（２回連続したトリガがここに示されている）を示す。時間信号図では、横軸は時間ｔを表し、縦軸はピクセルトリガ信号ＶＴを表す。図６Ｃ及び図６Ｄはそれぞれ図６Ａ及び図６Ｂの時間信号に対応する波形図を示す。波形図では、横軸は時間ｔを表し、縦軸は出力された時間信号の電圧値Ｖ２を示す。

【0046】

図６Ａ及び図６Ｃを参照すると、ピクセル取得回路がトリガされない場合（ｔ＜ｔ１）、ピクセルトリガ信号ＶＴはローレベルにあり、第３のスイッチＫ３がオフにされ、Ｖ２は定電流源Ｉを介してゼロ位置に放電される。時刻ｔ１において、ピクセル取得回路２００がトリガされ、ピクセルトリガ信号ＶＴは非常に短いパルス信号である。このとき、第３のスイッチＫ３がオンにされ、第２のコンデンサＣ２が固定電圧ＶＡに強制的に充電される。つまり、Ｖ２は時刻ｔ１で瞬時にＶＡに引き上げられる。その後、ピクセルトリガ信号が無効になり、第３のスイッチＫ３が再びオフにされ、第２のコンデンサＣ２の電荷が定電流源Ｉを介してゆっくりと放電され、従って、Ｖ２は線形形式で減衰し、ｔがｔ３より大きい場合、Ｖ２はゼロ電位に減衰する。

【0047】

同様に、図６Ｂおよび図６Ｄを参照すると、ピクセル取得回路２００は、それぞれ時刻ｔ１および時刻ｔ２でトリガされ、２つのトリガ間の時間は短い。時刻ｔ１で、ピクセルトリガ信号ＶＴは狭いパルスを与え、第３のスイッチＫ３がオンにされ、時間信号Ｖ２が強制的に固定電圧ＶＡに引き上げられ、次に第３のスイッチＫ３がオフにされ、Ｖ２は線形形式でに減衰し始める。直後、ピクセル取得回路２００は時刻ｔ２で再びトリガされ、ピクセルトリガ信号ＶＴは再び狭いパルスを与え、時間信号Ｖ２が再びＶＡに引き上げられ、次に第３のスイッチＫ３がオフにされ、Ｖ２が線形形式で減衰する。当該ピクセル取得回路２００が読み出されると、時間信号行選択信号は有効になり、第４のスイッチＫ２はオンにされ、Ｖ２は第２のバッファＢ２を介して時間信号列出力線に送られ、そして、列選択モジュール１３４によって取得して出力される。

【0048】

当該時間信号の瞬時振幅によって表される時間情報は、図６Ｃに示される１回トリガの時間信号の波形図によってよりよく説明することができる。説明の便宜上、線形放電時間（ｔ１～ｔ３）は２０ｍｓであると仮定する。つまり、時間信号は２０ｍｓ後にＶＡから完全にゼロ電位に放電される。さらに、理解を容易にするために、瞬時電圧振幅はＶＡの振幅に従って正規化され、正規化振幅と呼ばれ、その正規化振幅の範囲は０から１である。図６Ｃに示すように、ピクセル取得回路２００が読み取られると、時間信号出力線で得られた正規化振幅が１である場合、当該ピクセル取得回路２００がちょうど当該読み出し時刻でトリガされたことを意味し、または、当該読み出し時刻で、当該ピクセル取得回路２００が０ｍｓ間トリガされたことを意味する。取得された正規化振幅が０．７５（すなわち、図６Ｃに示されるＶＢ）である場合、当該読み出し時刻で、当該ピクセル取得回路２００が５ｍｓ間トリガされたことを意味する。取得された正規化振幅が０．５（すなわち、図６Ｃに示されるＶＣ）である場合、当該読み出し時刻で、当該ピクセル取得回路２００が１０ｍｓ間トリガされたことを意味する。取得された正規化振幅が０である場合、当該ピクセル取得回路２００が２０ｍｓ間を超えてトリガされたか、または当該ピクセル取得回路２００が全くトリガされなかったことを意味する。長時間トリガされたピクセル取得回路２００は、非トリガピクセル取得回路と見なすことができる。なぜなら、出力されたタイムサーフェスフレームは、現在の時刻および直前の時間に発生した動きにのみ焦点を合わせ、ずっと前に起こった動きに注意を払わないからである。ここでの線形放電時間の仮定および正規化処理は、理解を容易にするためだけのものであり、本発明の実施例はそれに限定されないことを理解されたい。

【0049】

前述のように、時間信号の減衰速度は、第２のコンデンサＣ２および定電流源Ｉの大きさによって確定することができる。第２のコンデンサＣ２が大きいほど、定電流源Ｉが小さく、時間信号の減衰速度が遅くなる。第２のコンデンサＣ２が小さいほど、定電流源Ｉが大きく、時間信号の減衰速度が速くなる。

【0050】

また、図３および図５は、指数減衰型および線形減衰型を代表する時間信号生成モジュール２２０の単なる例であり、他の減衰形式の時間信号生成モジュール２２０もまた、さまざまな形態で達成することができるため、ここでは繰り返されない。

【0051】

以下、本開示に係る画像センサ１００によって出力されるタイムサーフェスフレームの情報を、簡単なシーを通してさらに説明する。図７は、本発明の一実施例に係る視野のシーン模式図を示す。図８Ａ～８Ｇはそれぞれ図７に示すシーンにおいて出力されたタイムサーフェスフレーム時の模式図を示す。

【0052】

説明の便宜上、画像センサ１００のピクセル取得回路アレイ１１０は、６行６列のピクセル取得回路２００を含むと仮定する。図７に示すように、ピクセル取得回路アレイ１１０に対応する視野領域は、背景が白であり、黒い移動物体Ａ（移動物体Ａを区別するために、図７において黒い移動物体Ａはグリッド線で満たされている）は視野領域の左下から入り、水平方向に沿って視野領域の最も右端に移動し、その運動軌跡は、第４行目から第６行目のすべてのピクセル取得回路をカバーする。

【0053】

移動物体Ａが時刻０で視野領域の左側の境界に位置し、その移動速度が５ｍｓ／ピクセル取得回路であると仮定すると、図８Ａは、移動プロセス中に物体Ａによってトリガされるピクセル取得回路をスラッシュ「／」で示し、対応するトリガ時間をマークする。たとえば、第５行目第４列目のピクセル取得回路は２０ｍｓ目でトリガされる。グリッド線で満たされていないピクセル取得回路２００は、当該プロセス中にトリガされていないことを示す。前述のように、完全なタイムサーフェスフレームの出力は、時間信号行選択サブモジュール１３２４および時間信号列選択サブモジュール１３４４を必要とし、読み出しユニット１３０の制御下でピクセル取得回路アレイ１１０全体を行ごとにスキャンして各ピクセル取得回路２００の時間信号生成モジュール２２０によって出力された時間信号を取得する。

【0054】

ここでのピクセル取得回路２００は、図５に示す線形減衰型時間信号生成モジュール２２０を採用している。同時に、放電時間を２０ｍｓに設定し、出力振幅に対して正規化処理を行い、これにより、ピクセル取得回路に関する時間情報（即ち、タイムサーフェスフレーム）を出力する過程を説明する。

【0055】

１つのピクセル取得回路２００のトリガ時間が現在のタイムサーフェスフレームの読み出し時刻に近いほど、対応する正規化振幅は１に近くなり、そうでない場合、対応する正規化振幅は０に近くなる。読み出しユニット１３０が５ｍｓごとにタイムサーフェスフレームを取得すると仮定すると、５ｍｓ目から３０ｍｓ目まで、画像センサ１００は、それぞれ図８Ｂ～８Ｇに示すように、合計６つのタイムサーフェスフレームを出力する。その中で、タイムサーフェスフレームはそれぞれタイムサーフェスフレーム１、タイムサーフェスフレーム２、タイムサーフェスフレーム３、...、タイムサーフェスフレーム６として記録され、対応する出力時間はそれぞれ５ｍｓ、１０ｍｓ、１５ｍｓ、２０ｍｓ、２５ｍｓ、３０ｍｓである。

【0056】

タイムサーフェスフレーム１を示す図８Ｂに対応して、その読み出し時刻は５ｍｓ目である。この読み出し時刻及びその前では、第１列目の第４行目から第６行目までのピクセル取得回路のみが５ｍｓ目でトリガされるため、タイムサーフェスフレームでは、これらのピクセル取得回路に対応する正規化振幅は１であり、残りのピクセル取得回路の正規化振幅はすべて０である。

【0057】

タイムサーフェスフレーム２を示す図８Ｃに対応して、その読み出し時刻は１０ｍｓ目である。この読み出し時刻及びその前では、第１列目の第４行目から第６行目までのピクセル取得回路は５ｍｓ目でトリガされるため、タイムサーフェスフレーム２では、これらのピクセル取得回路に対応する正規化振幅は０．７５（０．７５＝１－（１０ｍｓ－５ｍｓ）／２０ｍｓ）であり、第２列目の第４行目から第６行目までのピクセル取得回路は１０ｍｓ目でトリガされるため、タイムサーフェスフレーム２では、これらのピクセル取得回路の対応する正規化振幅は１であり、残りのピクセル取得回路の正規化振幅はすべて０である。

【0058】

タイムサーフェスフレーム３を示す図８Ｄに対応して、その読み出し時刻は１５ｍｓである。この読み出し時刻及びその前では、第１列目の第４行目から第６行目までのピクセル取得回路が５ｍｓ目でトリガされるため、タイムサーフェスフレーム３では、これらのピクセル取得回路に対応する正規化振幅は０．５（０．５＝１－（１５ｍｓ－５ｍｓ）／２０ｍｓ）であり、第２列目の第４行目から第６行目までのピクセル取得回路は１０ｍｓ目でトリガされるため、タイムサーフェスフレーム３では、これらのピクセル取得回路に対応する正規化振幅は０．７５（０．７５＝１－（１５ｍｓ－１０ｍｓ）／２０ｍｓ）であり、第３列目の第４行目から第６行目までのピクセル取得回路は１５ｍｓ目でトリガされるため、タイムサーフェスフレーム３では、これらのピクセル取得回路に対応する正規化振幅は１であり、残りのピクセル取得回路の正規化振幅はすべて０である。

【0059】

タイムサーフェスフレーム４を示す図８Ｅに対応して、その読み出し時刻は２０ｍｓである。この読み出し時刻及びその前では、第１列目の第４行目から第６行目までのピクセル取得回路が５ｍｓ目でトリガされるため、タイムサーフェスフレーム４では、これらのピクセル取得回路に対応する正規化振幅は０．２５（０．２５＝１－（２０ｍｓ－５ｍｓ）／２０ｍｓ）であり、第２列目の第４行目から第６行目までのピクセル取得回路は１０ｍｓ目でトリガされるため、タイムサーフェスフレーム４では、これらのピクセル取得回路に対応する正規化振幅は０．５（０．５＝１－（２０ｍｓ－１０ｍｓ）／２０ｍｓ）であり、第３列目の第４行目から第６行目までのピクセル取得回路は１５ｍｓ目でトリガされるため、タイムサーフェスフレーム４では、これらのピクセル取得回路に対応する正規化振幅は０．７５（０．７５＝１－（２０ｍｓ－１５ｍｓ）／２０ｍｓ）であり、第４列目の第４行目から第６行目までのピクセル取得回路は２０ｍｓ目でトリガされるため、タイムサーフェスフレーム４では、これらのピクセル取得回路に対応する正規化振幅は１であり、残りのピクセル取得回路の正規化振幅はすべて０である。

【0060】

タイムサーフェスフレーム５を示す図８Ｆに対応して、その読み出し時刻は２５ｍｓである。この読み出し時刻及びその前では、第１列目の第４行目から第６行目までのピクセル取得回路が５ｍｓ目でトリガされるため、タイムサーフェスフレーム５では、これらのピクセル取得回路に対応する正規化振幅は０（０＝１－（２５ｍｓ－５ｍｓ）／２０ｍｓ）であり、第２列目の第４行目から第６行目までのピクセル取得回路は１０ｍｓ目でトリガされるため、タイムサーフェスフレーム５では、これらのピクセル取得回路に対応する正規化振幅は０．２５（０．２５＝１－（２５ｍｓ－１０ｍｓ）／２０ｍｓ）であり、第３列目の第４行目から第６行目までのピクセル取得回路は１５ｍｓ目でトリガされるため、タイムサーフェスフレーム５では、これらのピクセル取得回路に対応する正規化振幅は０．５（０．５＝１－（２５ｍｓ－１５ｍｓ）／２０ｍｓ）であり、第４列目の第４行目から第６行目までのピクセル取得回路は２０ｍｓ目でトリガされるため、タイムサーフェスフレーム５では、これらのピクセル取得回路に対応する正規化振幅は０．７５（０．７５＝１－（２５ｍｓ－２０ｍｓ）／２０ｍｓ）であり、第５列目の第４行目から第６行目までのピクセル取得回路は２５ｍｓ目でトリガされるため、タイムサーフェスフレーム５では、これらのピクセル取得回路に対応する正規化振幅は１であり、残りのピクセル取得回路の正規化振幅はすべて０である。

【0061】

タイムサーフェスフレーム６を示す図８Ｇに対応して、その読み出し時刻は３０ｍｓである。この読み出し時刻及びその前では、第１列目の第４行目から第６行目までのピクセル取得回路が５ｍｓ目でトリガされるため、タイムサーフェスフレーム６では、これらのピクセル取得回路に対応する正規化振幅は０（現在の読み出し時刻とこれらのピクセル取得回路が前回にトリガされた時刻との間の時間は、放電時間より２０ｍｓ長くなる）であり、第２列目の第４行目から第６行目までのピクセル取得回路は１０ｍｓ目でトリガされるため、タイムサーフェスフレーム６では、これらのピクセル取得回路に対応する正規化振幅は０（０＝１－（３０ｍｓ－１０ｍｓ）／２０ｍｓ）であり、第３列目の第４行目から第６行目までのピクセル取得回路は１５ｍｓ目でトリガされるため、タイムサーフェスフレーム６では、これらのピクセル取得回路に対応する正規化振幅は０．２５（０．２５＝１－（３０ｍｓ－１５ｍｓ）／２０ｍｓ）であり、第４列目の第４行目から第６行目までのピクセル取得回路は２０ｍｓ目でトリガされるため、タイムサーフェスフレーム６では、これらのピクセル取得回路に対応する正規化振幅は０．５（０．５＝１－（３０ｍｓ－２０ｍｓ）／２０ｍｓ）であり、第５列目の第４行目から第６行目までのピクセル取得回路は２５ｍｓ目でトリガされるため、タイムサーフェスフレーム６では、これらのピクセル取得回路に対応する正規化振幅は０．７５（０．７５＝１－（３０ｍｓ－２５ｍｓ）／２０ｍｓ）であり、第６列目の第４行目から第６行目までのピクセル取得回路は３０ｍｓ目でトリガされるため、タイムサーフェスフレーム６では、これらのピクセル取得回路に対応する正規化振幅は１である。

【0062】

本開示の画像センサ１００によれば、時間信号生成モジュール２２０がピクセル取得回路２００に追加され、当該時間信号生成モジュール２２０はローカル時間信号を生成し、当該時間信号は、一般に電圧信号であり、イベントがピクセル取得回路２００によって検出されると、瞬時電圧パルスとして現れ、その後、当該時間信号は、時間の経過を表すように徐々に減衰する。周辺の読み出しユニット１３０には時間信号行選択サブモジュール１３２４および時間信号列選択サブモジュール１３４４が追加され、これらは、すべてのピクセル取得回路２００において時間信号生成モジュール２２０によって出力された時間信号を定期的にスキャンすることで、タイムサーフェスフレームを形成して出力する。

【0063】

以上のように、当該画像センサ１００は、従来の動的ビジョンセンサの動的情報の非同期検出の利点を保持するだけでなく、ピクセル取得回路の時間情報を表すタイムサーフェスフレームをバックエンドマシンビジョンアルゴリズム（例えば、マシンビジョンアルゴリズムを実行する図像プロセッサ）に直接出力することもできる。当該タイムサーフェスフレームは、バックエンドのマシンビジョンアルゴリズムでトレーニングサンプルとして使用したり、オブジェクトの認識や追跡などのタスクを実現したりするために使用できる。このようにして、当該画像センサ１００は、画像処理システムのバックエンドでのデータ変換に必要な記憶および計算能力のオーバーヘッドを効果的に節約することができ、それにより、画像処理システムの効率を改善する。

【0064】

提供される明細書では、多くの特定の詳細が示されている。しかしながら、本発明の実施例は、これらの特定の詳細なしで実施され得ることが理解される。いくつかの実施例では、本明細書に対する理解を曖昧にしないために、公知の方法、構造、及び技術が詳細に示されていない。

【0065】

同様に、本開示を簡単にするとともに、発明の各態様における１つ又は複数を理解しやすくするために、以上の本発明の例示的な実施例の記述において、本発明の各特徴は一緒に１つの実施例、図やこれらの記述に分類されることを理解できる。ただし、該開示の方法は、特許しようとする本発明が、各々の請求項に明記されている特徴よりも多くの特徴を要求することを意図すると解釈すべきではない。より正確には、以下の特許請求の範囲に記載のとおり、発明の態様は以上で開示された単一の実施例の全ての特徴よりも少ないことにある。したがって、具体的な実施形態に従う特許請求の範囲はこれにより該具体的な実施形態に明確に組み込まれ、これらの各請求項自体は本発明の個別の実施例とされる。

【0066】

当業者が理解できるように、本明細書で開示された例における機器のモジュール又はユニット又はアセンブリは、該実施例に記述された機器に配置されてもよく、又は任意に、この例における機器と異なる１つ又は複数の機器に固定されてもよい。前述例におけるモジュールは、組み合わせられて１つのモジュールとなったり、又は複数のサブモジュールに分けられたりすることが可能である。

【0067】

当業者が理解できるように、実施例の機器のモジュールを適応的に変化して該実施例と異なる１つ又は複数の機器に配置してもよい。実施例のモジュール又はユニット又はアセンブリは、組み合わせられて１つのモジュール又はユニット又はアセンブリとなったり、複数のサブモジュール又はサブユニット又は子アセンブリに分けられたりすることが可能である。このような特徴及び／又はプロセス又はユニットのうちの少なくとも一部が互いに矛盾しない限り、本明細書（添付の特許請求の範囲、要約書及び図面を含む）において開示された全ての特徴及びこのように開示された任意の方法や機器の全てのプロセス又はユニットを任意の組み合わせで、組み合わせることが可能である。明記していない限り、本明細書（添付の特許請求の範囲、要約書及び図面を含む）に開示されている各特徴は、同じ、同等または類似の目的を果たす代替の特徴に置き換えることができる。

【0068】

さらに、当業者が理解できるように、ここで記載されるいくつかの実施例は、他の特徴ではなく、他の実施例に含まれる一部の特徴を含むに関わらず、異なる実施例の特徴の組み合わせは、本発明の範囲内であり、且つ異なる実施例を構成する。例えば、以下の特許請求の範囲において、保護しようとする実施例のいずれかを任意の組み合わせで使用することができる。

【0069】

さらに、前記実施例の一部は、ここでは、コンピュータシステムのプロセッサ又は前記機能を実行する他の装置により実施可能な方法又は方法の要素の組み合わせとして記述されてもよい。したがって、前記方法又は方法の要素を実施するのに必要な命令を有するプロセッサは、該方法又は方法の要素を実施する装置を構成する。さらに、ここで記載される装置の実施例の要素は該発明の目的を実施するための要素により実行される機能を実施するための装置の例である。

【0070】

ここで使用されるように、別の規定がない限り、序数詞「第１の」、「第２の」、「第３の」などで一般的な対象を記述する場合は類似した対象に関する異なる例を示すものに過ぎず、且つこのように記述された対象が必ずしも時間的、空間的、順番や他の任意の方式による所定の順序を有することを示唆することを意図しない。

【0071】

限られた実施例にて本発明を記述したが、以上の記述から、当業者が分かるように、このように記述された本発明の範囲を逸脱することなく他の実施例を想到し得る。さらに、本明細書に使用されている表現は主に読みやすさや示教の目的のために選択されるものであり、本発明の主題を解釈又は限定するために選択されるものではない。したがって、添付の特許請求の範囲及び精神を逸脱することなく、当業者にとっては多くの修正や変更が明らかなである。本発明の範囲に対しては、本発明について行われる開示は説明的なものであり、限定的なものではなく、本発明の範囲は添付の特許請求の範囲により定められる。

【図1】

【図2】

【図3】

【図4A.4C】

【図4B.4D】

【図5】

【図6A.6C】

【図6B.6D】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図8F】

【図8G】