(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-18
(45)【発行日】2024-03-27
(54)【発明の名称】図像センサ及び図像取得システム
(51)【国際特許分類】
H04N 25/76 20230101AFI20240319BHJP
H04N 25/78 20230101ALI20240319BHJP
【FI】
H04N25/76
H04N25/78
(21)【出願番号】P 2022512780
(86)(22)【出願日】2019-09-30
(86)【国際出願番号】 CN2019109334
(87)【国際公開番号】W WO2021035873
(87)【国際公開日】2021-03-04
【審査請求日】2022-04-19
(31)【優先権主張番号】201910818487.7
(32)【優先日】2019-08-30
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520363281
【氏名又は名称】オムニビジョン センサー ソリューション (シャンハイ) カンパニー リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】チェン、ショウシュン
(72)【発明者】
【氏名】グオ、メンガン
【審査官】三沢 岳志
(56)【参考文献】
【文献】特開2016-021236(JP,A)
【文献】特表2017-531864(JP,A)
【文献】特表2018-501675(JP,A)
【文献】米国特許出願公開第2016/0093273(US,A1)
【文献】米国特許出願公開第2018/0013969(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/76
H04N 25/78
(57)【特許請求の範囲】
【請求項1】
複数のピクセル取得回路からなるピクセル取得回路アレイであって、前記ピクセル取得回路は、視野内の光強度変化を監視するのに適しており、光強度変化が特定の条件を満たすときにトリガー状態となるピクセル取得回路アレイと、
トリガー状態にあるピクセル取得回路から境界にあるトリガーピクセル取得回路を確定するのに適する境界トリガーピクセル決定アレイと、
境界にあるトリガーピクセル取得回路に応答し、それに対応するアドレス情報を出力するのに適する読み出しユニットとを含む図像センサ。
【請求項2】
前記境界トリガーピクセル決定アレイは、更に、前記ピクセル取得回路アレイからの列要求信号に基づいて、読み出し要求信号及びフラグビットを生成するのに適し、そのうち、前記フラグビットは、対応するピクセル取得回路の位置タイプを示す請求項1に記載の図像センサ。
【請求項3】
前記境界トリガーピクセル決定アレイは複数の境界トリガーピクセル決定ユニットを含み、前記境界トリガーピクセル決定ユニットの数は前記ピクセル取得回路アレイにおけるピクセル取得回路の列数である請求項2に記載の図像センサ。
【請求項4】
前記境界トリガーピクセル決定ユニットは、
当該境界トリガーピクセル決定ユニットと対応する列及びその隣接する列のピクセル取得回路からの列要求信号に基づいて、読み出し要求信号を生成することに適する読み出し要求信号生成モジュールと、
当該境界トリガーピクセル決定ユニットと対応する列及び少なくとも1つの隣接する列のピクセル取得回路からの列要求信号に基づいて、フラグビットを生成するフラグビット生成モジュールとを含む請求項3に記載の図像センサ。
【請求項5】
前記読み出しユニットは、
前記ピクセル取得回路アレイからの行要求信号に応答するのに適し、更に行応答が得られた行アドレス情報を出力するのに適する行選択モジュールと、
前記境界トリガーピクセル決定アレイからの前記読み出し要求信号に基づいて、対応するピクセル取得回路をスキャンし、対応する列アドレス情報及びフラグビットをスキャン及び出力するのに適する列選択モジュールと、
行アドレス情報及び列アドレス情報の出力を制御するのに適する読み出し制御モジュールとを含む請求項
2から4のいずれか1項に記載の図像センサ。
【請求項6】
前記読み出し要求信号生成モジュールは、
その入力端子はピクセル取得回路アレイに結合され、現在の境界トリガーピクセル決定ユニットに隣接する2列のピクセル取得回路の列要求信号を受信し、その出力端子はANDゲートの入力端子に結合されるNANDゲートと、
その入力端子はピクセル取得回路アレイに結合され、前記NANDゲートの出力及び当該境界トリガーピクセル決定ユニットに対応する列のピクセル取得回路の列要求信号を受信するANDゲートとを含む請求項4に記載の図像センサ。
【請求項7】
前記フラグビット生成モジュールは、
その入力端子はピクセル取得回路アレイに結合され、現在の境界トリガーピクセル決定ユニットに隣接する一列のピクセル取得回路の列要求信号を受信し、その出力端子はANDゲートの入力端子に結合されるNOTゲートと、
その入力端子はピクセル取得回路アレイに結合され、前記NOTゲートの出力及び当該境界トリガーピクセル決定ユニットに対応する列のピクセル取得回路の列要求信号を受信するANDゲートとを含む請求項4に記載の図像センサ。
【請求項8】
前記フラグビット生成モジュールは、
その入力端子はピクセル取得回路アレイに結合され、現在の境界トリガーピクセル決定ユニットの左右に隣接する列のピクセル取得回路の列要求信号を受信し、その出力端子はANDゲートの入力端子に結合されるNORゲートと、
その入力端子はピクセル取得回路アレイに結合され、前記NORゲートの出力及び当該境界トリガーピクセル決定ユニットに対応する列のピクセル取得回路の列要求信号を受信するANDゲートとを含む請求項4に記載の図像センサ。
【請求項9】
前記ピクセル取得回路は、
照射された光信号をリアルタイムで監視し、対応する電気信号を出力するのに適する光電検出モジュールと、
その第1の入力端子が前記光電検出モジュールに結合され、その第1の出力端子が読み出しインターフェースモジュールに結合されるトリガー生成モジュールであって、前記電気信号が特定のトリガー条件を満たすときに、読み出しインターフェースモジュールへのトリガー生成信号を生成するトリガー生成モジュールと、
前記トリガー生成モジュールに結合されており、行要求線、行選択線、列要求線及び列選択線を介して前記読み出しユニットと通信するのに適する読み出しインターフェースモジュールとを含む請求項1から8のいずれか1項に記載の図像センサ。
【請求項10】
請求項1から9のいずれか1項に記載の図像センサと、
前記図像センサに結合されており、受信された前記境界にあるトリガーピクセル取得回路のアドレス情報に基づいて、前記図像センサのうち、トリガー状態にあるすべてのピクセル取得回路のアドレス情報を確定するのに適する図像プロセッサとを含む図像取得システムであって、
前記図像センサは、前記境界にあるトリガーピクセル取得回路のアドレス情報及び対応するフラグビットを前記図像プロセッサに出力するのに適し、
前記図像プロセッサは、更に、前記境界にあるトリガーピクセル取得回路のアドレス情報及び対応するフラグビットに基づいて、前記図像センサのうち、トリガー状態にあるすべてのピクセル取得回路のアドレス情報を確定するのに適する、図像取得システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は図像取得技術分野に関し、特に図像センサ及び図像取得システムに関する。
【背景技術】
【0002】
図像センサの多くの応用分野の中で、移動物体の検出は1つの重要な側面である。この応用分野では、従来の図像センサ(例えばアクティブピクセルセンサなど)と比較して、ダイナミックビジョン図像センサは、その独自の利点により徐々に人々の注目を集めている。
【0003】
ダイナミックビジョン図像センサ(以下、ダイナミックビジョンセンサと呼ぶ)は、視野内の動的情報にのみ応答し、視野内の光強度の変化を直接捉えるため、マシンビジョンなどの分野での適用に特に適している。ダイナミックビジョンセンサでは、各ピクセル取得回路は、独立して非同期に動作し、視野内のこの領域の光強度の変化を検出する。対応する光強度の変化が検出されると、ピクセル取得回路はイベントを出力する。外部読み出し回路は、ピクセル取得回路のアレイ全体を管理し、生成されたイベントの情報を読み出す。
【0004】
ダイナミックビジョンセンサは視野内の動的情報にのみ応答するため、従来の固定フレームレートで出力する図像センサよりも多くの帯域幅を節約し、応答速度が速くなる。しかし、視野内に大量の動的情報がある場合、例えば、1つの視野内の比較的近い高速移動物体を検出する場合、ピクセル取得回路アレイは短期間に多数のイベントを生成する。読み出し回路は各イベントを1つずつスキャンして読み取るため、ダイナミックビジョンセンサの低帯域幅の利点は明らかではなくなる。さらに、各イベントの読み出しには一定の時間が必要であり、読み出しチャネルがブロックされ、ピクセル取得回路アレイによって生成された多数のイベントをキューで読み出しなければならないため、大きな読み出し遅延が発生し、読み出し遅延によりイベント時間情報の偏差が発生し、バックエンドでの適用にも悪影響を及ぼす。
【0005】
上記の説明に基づいて、上記の問題を解決するために新しい図像センサが必要である。
【発明の概要】
【0006】
本発明は、上記の問題の少なくとも1つを解決または少なくとも軽減しようとするための図像センサ及び図像取得システムを提供する。
【0007】
本発明の一形態によれば、複数のピクセル取得回路からなるピクセル取得回路アレイであって、ピクセル取得回路は、視野内の光強度変化を監視するのに適しており、光強度変化が特定の条件を満たすときにトリガー状態となるピクセル取得回路アレイと、トリガー状態にあるピクセル取得回路から境界にあるトリガーピクセル取得回路を確定するのに適する境界トリガーピクセル決定アレイと、境界にあるトリガーピクセル取得回路に応答し、それに対応するアドレス情報を出力するのに適する読み出しユニットとを含む図像センサを提供する。
【0008】
オプションとして、本発明に係る図像センサでは、境界トリガーピクセル決定アレイは、更に、ピクセル取得回路アレイからの列要求信号に基づいて、読み出し要求信号及びフラグビットを生成するのに適し、そのうち、フラグビットは、対応するピクセル取得回路の位置タイプを示す。
【0009】
オプションとして、本発明に係る図像センサでは、境界トリガーピクセル決定アレイは複数の境界トリガーピクセル決定ユニットを含み、境界トリガーピクセル決定ユニットの数はピクセル取得回路アレイにおけるピクセル取得回路の列数である。
【0010】
オプションとして、本発明に係る図像センサでは、境界トリガーピクセル決定ユニットは、当該境界トリガーピクセル決定ユニットと対応する列及びその隣接する列のピクセル取得回路からの列要求信号に基づいて、読み出し要求信号を生成することに適する読み出し要求信号生成モジュールと、当該境界トリガーピクセル決定ユニットと対応する列及び少なくとも1つの隣接する列のピクセル取得回路からの列要求信号に基づいて、フラグビットを生成するフラグビット生成モジュールとを含む。
【0011】
オプションとして、本発明に係る図像センサでは、読み出しユニットは、ピクセル取得回路アレイからの行要求信号に応答するのに適し、更に行応答が得られた行アドレス情報を出力するのに適する行選択モジュールと、境界トリガーピクセル決定アレイからの読み出し要求信号に基づいて、対応するピクセル取得回路をスキャンし、対応する列アドレス情報及びフラグビットをスキャン及び出力するのに適する列選択モジュールと、行アドレス情報及び列アドレス情報の出力を制御するのに適する読み出し制御モジュールとを含む。
【0012】
オプションとして、本発明に係る図像センサでは、読み出し要求信号生成モジュールは、その入力端子はピクセル取得回路アレイに結合され、現在の境界トリガーピクセル決定ユニットに隣接する2列のピクセル取得回路の列要求信号を受信し、その出力端子はANDゲートの入力端子に結合されるNANDゲートと、その入力端子はピクセル取得回路アレイに結合され、NANDゲートの出力及び当該境界トリガーピクセル決定ユニットに対応する列のピクセル取得回路の列要求信号を受信するANDゲートとを含む。
【0013】
オプションとして、本発明に係る図像センサでは、フラグビット生成モジュールは、その入力端子はピクセル取得回路アレイに結合され、現在の境界トリガーピクセル決定ユニットに隣接する一列のピクセル取得回路の列要求信号を受信し、その出力端子はANDゲートの入力端子に結合されるNOTゲートと、その入力端子はピクセル取得回路アレイに結合され、NOTゲートの出力及び当該境界トリガーピクセル決定ユニットに対応する列のピクセル取得回路の列要求信号を受信するANDゲートとを含む。
【0014】
オプションとして、本発明に係る図像センサでは、フラグビット生成モジュールは、その入力端子はピクセル取得回路アレイに結合され、現在の境界トリガーピクセル決定ユニットの左右に隣接する列のピクセル取得回路の列要求信号を受信し、その出力端子はANDゲートの入力端子に結合されるNORゲートと、その入力端子はピクセル取得回路アレイに結合され、NORゲートの出力及び当該境界トリガーピクセル決定ユニットに対応する列のピクセル取得回路の列要求信号を受信するANDゲートとを含む。
【0015】
オプションとして、本発明に係る図像センサは、図像センサの電源がオンになったときに、ピクセル取得回路アレイをリセットすることに適し、更にピクセル取得回路アレイが安定した初期状態を維持したときに、リセットを解放して、ピクセル取得回路アレイが動作を開始することに適するグローバル制御ユニットを更に含む。
【0016】
オプションとして、本発明に係る図像センサでは、フラグビットは、ヘッダフラグビット、テールフラグビット、分離フラグビットのうちの1つを含む。
【0017】
オプションとして、本発明に係る図像センサでは、ピクセル取得回路は、照射された光信号をリアルタイムで監視し、対応する電気信号を出力するのに適する光電検出モジュールと、その第1の入力端子が前記光電検出モジュールに結合され、その第1の出力端子が読み出しインターフェースモジュールに結合されるトリガー生成モジュールであって、前記電気信号が特定のトリガー条件を満たすときに、読み出しインターフェースモジュールへのトリガー生成信号を生成するトリガー生成モジュールと、トリガー生成モジュールに結合されており、行要求線、行選択線、列要求線及び列選択線を介して読み出しユニットと通信するのに適する読み出しインターフェースモジュールとを含む。
【0018】
オプションとして、本発明に係る図像センサでは、トリガー生成モジュールは、その入力端子が光電検出モジュールの出力端子に結合されており、電気信号に対してフィルタリング及び増幅処理を行うのに適するフィルタ増幅モジュールと、その入力端子がフィルタ増幅モジュールの出力端子に結合されており、フィルタ増幅モジュールからの電気信号を受信し、且つ当該電気信号が特定の条件を満たすときに、トリガー生成信号を生成する閾値比較モジュールとを含む。
【0019】
本発明の他の形態によれば、上記のような図像センサと、図像センサに結合されており、受信された境界にあるトリガーピクセル取得回路のアドレス情報に基づいて、図像センサのうち、トリガー状態にあるすべてのピクセル取得回路のアドレス情報を確定するのに適する図像プロセッサとを含む図像取得システムを提供する。
【0020】
オプションとして、本発明に係る図像取得システムでは、図像センサは、境界にあるトリガーピクセル取得回路のアドレス情報及び対応するフラグビットを図像プロセッサに出力するのに適し、図像プロセッサは、更に、境界にあるトリガーピクセル取得回路のアドレス情報及び対応するフラグビットに基づいて、図像センサのうち、トリガー状態にあるすべてのピクセル取得回路のアドレス情報を確定するのに適する。
【0021】
本発明の画像センサによれば、まず、すべてのトリガー状態にあるピクセル取得回路から、境界にあるピクセル取得回路を確定し、次に読み出しユニットがイベント(すなわち、トリガー状態にあるピクセル取得回路の行列アドレス情報)を読み出す時、連続する複数のトリガー状態のピクセル取得回路を読み取る必要がなく、境界にあるピクセル取得回路及びそのフラグビットのみをスキャンして読み出す。その結果、図像センサが読み出す必要のあるイベントのデータ量が削減されるだけでなく、高度動的情報シーンでのダイナミックビジョンセンサの低帯域幅特性が保証され、さらに、データの読み取り速度が加速され、読み出しチャネルのブロッキングが減少し、読み出し遅延が減少する。
【図面の簡単な説明】
【0022】
上記及び関連する目的を達成するために、特定の例示的な態様は、以下の説明及び添付の図面と併せて本明細書で説明される。これらの特定の例示的な態様は、本明細書に開示された原理が実施され得る様々な方法を示しており、すべての態様及びそれらの同等物は、保護しようとする主題の範囲内に入ることが意図されている。本開示の上記及び他の目的、特徴及び利点は、添付の図面と併せて以下の詳細な説明を読むことによってより明らかになる。この開示を通して、同じ符号は一般に同じ部品または要素を指す。
【
図1】本発明のいくつかの実施例に係る図像センサ100を示す模式図である。
【
図2】本発明の一実施例に係る3種類のフラグビットを示す模式図である。
【
図3】本発明の一実施例に係る境界トリガーピクセル決定アレイ120を示す構造模式図である。
【
図4A】本発明のいくつかの実施例に係る境界トリガーピクセル決定ユニット122を示す回路図である。
【
図4B】本発明のいくつかの実施例に係る境界トリガーピクセル決定ユニット122を示す回路図である。
【
図4C】本発明のいくつかの実施例に係る境界トリガーピクセル決定ユニット122を示す回路図である。
【
図5】本発明の実施例に係る図像センサの読み出しシーンを示す模式図である。
【
図6】本発明の一実施例に係る図像取得システム600を示す模式図である。
【発明を実施するための形態】
【0023】
本開示の例示的な実施例は、添付の図面を参照して以下でより詳細に説明される。本開示の例示的な実施例が図面に示されているが、本開示は様々な形態で実現することができ、本明細書に記載の実施例によって限定されるべきではないことが理解される。むしろ、これらの実施例は、本開示がより完全に理解され、本開示の範囲を当業者に完全に伝えるように提供される。
【0024】
図1は、本発明のいくつかの実施例に係る画像センサ100を示す模式図である。当該画像センサ100は、高速移動物体を検出するシーンに適用して、移動イベントに関連するイベントデータストリームを出力することができる。一実現方法によれば、当該画像センサ100は、外部画像プロセッサと結合され、さらなる計算及び適用のために、出力されたイベントデータストリームを外部画像プロセッサに送信する。本発明の実施例はこれを限定するものではない。
【0025】
図1に示すように、図像センサ100は、ピクセル取得回路アレイ110、境界トリガーピクセル決定アレイ120及び読み出しユニット130を含む。ピクセル取得回路アレイ110は、図像センサ100の中核部分として、行方向及び列方向に均等に分散された複数のピクセル取得回路112から構成される(
図1は、3×3ピクセル取得回路アレイを示す。これに限定されない)。境界トリガーピクセル決定アレイ120は、それぞれ、ピクセル取得回路アレイ110及び読み出しユニット130に結合され、読み出しユニット130はピクセル取得回路アレイ110にさらに結合される。
【0026】
その上、図像センサ100は、グローバル制御ユニット140を更に含む。グローバル制御ユニット140は、ピクセル取得回路アレイ110に結合されており、各ピクセル取得回路112の動作状態を制御するためのものである。一般的に言えば、グローバル制御ユニット140は、各ピクセル取得回路112がいずれも安定した初期状態を維持することを保証するために、図像センサ100の電源がオンになったときに、ピクセル取得回路アレイ110全体をリセットする責任がある。続いて、グローバル制御ユニット140はリセットを解放して、ピクセル取得回路アレイ110は正常に動作し始める。
【0027】
本発明の実施形態によれば、図像センサは、視野内の光強度変化にのみ応答し、その機能は主に各ピクセル取得回路112により実現される。グローバル制御ユニット140のリセットが解放された後、ピクセル取得回路アレイ110は外光強度変化に応答し始める。具体的には、ピクセル取得回路アレイ110は視野内の光強度変化を監視し、光強度変化が一定の条件を満たす(オプションとして、ここでの条件は、光強度変化が設定閾値を超えたこととして設定することができるが、これに限定されない)場合、トリガー状態に入る(一実施例では、トリガー状態に入ったピクセル取得回路は、トリガーピクセルイベント又はイベントと呼ばれる)。
【0028】
境界トリガーピクセル決定アレイ120は、複数の境界トリガーピクセル決定ユニット122を含み、境界トリガーピクセル決定ユニット122の数は、ピクセル取得回路アレイ110におけるピクセル取得回路の列数である(
図1に示すように、3つの境界トリガーピクセル決定ユニット122を含む)。換言すれば、各境界トリガーピクセル決定ユニット122は、ピクセル取得回路の各列に対応し、当該列のピクセル取得回路からの信号を受信するために使用される。
【0029】
一実施例では、境界トリガーピクセル決定アレイ120は、トリガー状態にあるピクセル取得回路112から、境界にあるトリガーピクセル取得回路を確定する。本発明の実施例によれば、トリガー状態にあるピクセル取得回路Aの左側または右側には、非トリガー状態にある隣接するピクセル取得回路Bを有する場合、当該ピクセル取得回路Aは境界にあるトリガーピクセル取得回路である。逆に、当該条件が満たされない場合、当該ピクセル取得回路Aは、内部にあるトリガーピクセル取得回路である。
【0030】
各境界トリガーピクセル決定ユニット122は、それに対応する一列のピクセル取得回路からの信号を受信し、それに応じて、当該列のピクセル取得回路で、どのピクセル取得回路がトリガー状態にあるかを確認する。更に、境界トリガーピクセル決定アレイ120は、トリガー状態にあるピクセル取得回路から、どのピクセル取得回路が境界にあるトリガーピクセル取得回路であるかを確定する。
【0031】
ピクセル取得回路アレイ110の周辺モジュールとして、読み出しユニット130は、主に、ピクセル取得回路アレイ110によって生成されたイベント(すなわち、トリガー状態のピクセル取得回路)を管理する責任がある。一実施形態では、読み出しユニット130は、境界にあるトリガーピクセル取得回路に応答し、対応するアドレス情報を出力し、アドレス情報は、当該ピクセル取得回路が配置されている行アドレス情報及び列アドレス情報を含む。
【0032】
一実施形態では、読み出しユニット130は、アドレス情報を外部画像プロセッサに出力し、外部画像プロセッサは、画像センサ100によって生成されたイベントストリームデータを処理し、最終的に、視野内の移動の変化を表す画像フレームを生成する。
【0033】
画像センサ100の各部分は、
図1を参照して以下でさらに説明される。
【0034】
光強度の変化のリアルタイム検出及び外部読み出し回路との通信などの機能を実現するために、各ピクセル取得回路112は、一般に、光電検出モジュール、トリガー生成モジュール、及び読み出しインターフェースモジュールを含む。
【0035】
そのうち、光電検出モジュールは、照射された光信号をリアルタイムで監視し、対応する電気信号を出力する。トリガー生成モジュールは、第1の入力端子が光電検出モジュールに結合され、その第1の出力端子が読み出しインターフェースモジュールに結合され、トリガー生成モジュールは、電気信号が特定のトリガー条件を満たすときに、読み出しインターフェースモジュールへのトリガー生成信号を生成する。読み出しインターフェースモジュールは、トリガー生成モジュールに結合されており、行要求線、行選択線、列要求線及び列選択線を介して読み出しユニット130と通信する。
【0036】
さらに、トリガー生成モジュールは、フィルタ増幅モジュール及び閾値比較モジュールを含む。フィルタ増幅モジュールは、入力端子が光電検出モジュールの出力端子に結合されており、光電検出モジュールから出力された電気信号に対してフィルタリング及び増幅処理を行う。閾値比較モジュールは、入力端子がフィルタ増幅モジュールの出力端子に結合されており、フィルタ増幅モジュールからの電気信号(即ち、フィルタリング及び増幅処理された電気信号)を受信し、当該電気信号が特定の条件を満たすときに、トリガー生成信号を生成する。
【0037】
ただし、ダイナミックビジョンセンサのピクセル取得回路は本分野の従来技術に属し、本発明の実施例は、ピクセル取得回路にあまりにも多くの制限を課さない。したがって、各モジュールの具体的な構造と機能はここでは繰り返されない。
【0038】
図1に続くと、読み出しユニット130は、行選択モジュール132、列選択モジュール134、及び読み出し制御モジュール136を含む。そのうち、行選択モジュール132は、行方向にピクセル取得回路アレイ110全体を管理する。列選択モジュール134は、境界トリガーピクセル決定アレイ120に結合されて、境界トリガーピクセル決定アレイ120を介して列方向にピクセル取得回路アレイ110全体を管理する。読み出し制御モジュール136は、それぞれ、行選択モジュール132及び列選択モジュール134に結合されて、行選択モジュール132及び列選択モジュール344を調整する。
【0039】
一実施例では、あるピクセル取得回路112は、トリガー状態に入った後、所属する行の行要求線を有効に設定する。読み出しユニット130における行選択モジュール132は、ピクセル取得回路アレイ110におけるすべての行要求線を管理し、対応する行選択線を有効に設定することによって有効な行要求に応答する。同時に、選択された行のアドレス情報は、行選択モジュール132によって符号化されてから出力される。行選択線が有効になった後、当該行においてトリガーされたピクセル取得回路112は、対応する列要求線を有効に設定する。
【0040】
このとき、境界トリガーピクセルアレイ120内の当該列に対応する境界トリガーピクセル決定ユニット122は、当該列要求信号を受信する。ます、境界トリガーピクセルアレイ120は、受信された列要求信号に従って、境界にあるトリガーピクセル取得回路、すなわち、実際に読み出される必要のあるピクセル取得回路を確定し、対応する読み出し要求信号を生成する。次に、対応するフラグビットがこれらの境界にあるトリガーピクセル取得回路に対して生成され、フラグビットは、対応するピクセル取得回路の位置タイプ、すなわち、境界にあるトリガーピクセル取得回路が所属する位置タイプを示す。本発明に係る実施例では、位置タイプは、ヘッド、テール、または中央の分離位置であってもよく、対応するフラグは、ヘッダフラグビット、テールフラグビット、及び分離フラグビットのうちの1つである。
【0041】
要約すると、各境界トリガーピクセル決定ユニット122は、ピクセル取得回路アレイ110によって送信された列要求信号を読み出し要求信号に変換し、対応するフラグビットを生成し、それらを一括に対応する列選択モジュール134に出力する。
【0042】
列選択モジュール134は、読み出し要求信号及びフラグビットを受信する。一実施例では、列選択モジュール134は、読み出し要求信号に従って対応するピクセル取得回路をスキャンし、対応する列アドレス情報及びフラグビットをススキャン及び出力する。これにより、バックエンドの画像プロセッサは、当該フラグビットに従って当該行のトリガー状態にある他のピクセル取得回路を復元する。
【0043】
読み出し制御モジュール136は、行アドレス情報及び列アドレス情報の出力を制御する。一実施例では、当該行のすべてのトリガー状態に入ったピクセル取得回路が読み出された後、読み出し制御モジュール136は、行選択モジュール132に行変更動作を実行するように通知する。行選択モジュール132は、現在の行の行選択信号をキャンセルし、次の行を選択する。有効な行要求信号に対する行選択モジュール132の応答は、有効な行要求信号に公正に応答できることが保証される限り、ランダムであるか、またはある固定された順序に従ってスキャンすることができる。同様に、列選択モジュール134も、有効な読み出し要求信号をランダムにまたはある固定された順序でスキャンすることができる。上記の読み出しメカニズムによれば、画像センサ100は、非同期イベントストリームを出力し、各イベントストリームは、当該イベントの行アドレスX、列アドレスY、時間情報T(時間情報Tは、当該イベントが読み出される、つまり、バックエンドの図像プロセッサが受信した時間である)及びフラグビットFを含み、つまり出力されたイベント形式は(X、Y、T、F)として記録される。
【0044】
さらに、
図2は、本発明のいくつかの実施例に係る3種類のフラグビットを示す模式図である。
図2を参照して、上記の3種類のフラグビットの観点から、フラグビットを生成する過程をそれぞれ以下に説明する。
【0045】
図2がピクセル取得回路アレイ110における1行のピクセル取得回路を示すと仮定すると、
図2に示される例では、「/」で満たされたピクセル取得回路は、トリガー状態にあるものを示す。つまり、2番目、4番目から9番目のピクセル取得回路はトリガー状態になる。そのうち、2番目のピクセル取得回路の左側(及び右側)、4番目のピクセル取得回路の左側、及び9番目のピクセル取得回路の右側は、いずれも非トリガーピクセル取得回路である。上記と組み合わせて、境界トリガーピクセル決定アレイ120は、2番目、4番目及び9番目のピクセル取得回路が、境界にあるトリガーピクセル取得回路であると確定することができる。これに基づいて、境界トリガーピクセル決定アレイ120は、これらの3つの境界にあるトリガーピクセル取得回路にフラグビットを追加する。
【0046】
ただし、ここに示されている3種類のフラグビットとその判断基準は単なる例である。本発明の実施例の説明に基づいて、当業者は、境界にあるトリガーピクセル取得回路の位置タイプを説明するための他の解決策を導き出すこともでき、これらはすべて、本発明の保護範囲内にある。ここでは1つずつ説明しない。
【0047】
実施例1-ヘッダフラグビット
ヘッダフラグビットは、当該境界にあるトリガーピクセル取得回路がいくつかの連続トリガーピクセル取得回路の始まりであることを示す。その判断は、当該境界トリガーピクセル取得回路に隣接する左側がトリガー状態のピクセル取得回路であるかどうかに基づいて行われる。トリガー状態のピクセル取得回路でない場合は、該境界にあるトリガーピクセル取得回路のヘッダフラグビットが1に設定され、そうでない場合は0に設定される。
図2に示すように、2番目、4番目、及び9番目の境界にあるトリガーピクセル取得回路のヘッダフラグビットは、それぞれ1、1、及び0である。
【0048】
実施例2-テールフラグビット
テールフラグビットは、当該境界にあるトリガーピクセル取得回路がいくつかの連続トリガーピクセル取得回路の終わりであることを示す。その判断は、当該境界にあるトリガーピクセル取得回路に隣接する右側がトリガー状態のピクセル取得回路であるかどうかに基づいて行われる。トリガー状態のピクセル取得回路でない場合は、当該境界にあるトリガーピクセル取得回路のテールフラグビットが1に設定され、そうでない場合は0に設定される。
図2に示すように、2番目、4番目、及び9番目の境界にあるトリガーピクセル取得回路のテールフラグビットは、それぞれ1、0、及び1ある。
【0049】
実施例3-分離フラグビット
分離フラグビットは、当該境界にあるトリガーピクセル取得回路が分離トリガーピクセル取得回路であることを示す。その判断は、当該境界にあるトリガーピクセル取得回路に隣接する左側と右側がトリガー状態のピクセル取得回路であるかどうかに基づいて行われる。いずれもトリガー状態のピクセル取得回路でない場合は、当該境界にあるトリガーピクセル取得回路の分離フラグビットが1に設定され、そうでない場合は0に設定される。
図2に示すように、2番目、4番目、及び9番目の境界にあるトリガーピクセル取得回路の分離フラグビットは、それぞれ1、0、及び0ある。
【0050】
境界トリガーピクセル決定アレイ120の動作原理をさらに説明するために、
図3は、本発明の一実施例に係る境界トリガーピクセル決定アレイ120の構造模式図を示す。
【0051】
図3に示すように、境界トリガーピクセル決定アレイ120は、N個の同じな境界トリガーピクセル決定ユニット122から構成され、これらはそれぞれ、境界トリガーピクセル決定ユニット<1>、境界トリガーピクセル決定ユニット<2>、境界トリガーピクセル決定ユニット<3>、……、境界トリガーピクセル決定ユニット<N>として表される。そのうち、Nはピクセル取得回路アレイ110の列数である。各境界トリガーピクセル決定ユニット122は、読み出し要求信号生成モジュール及びフラグビット生成モジュール(
図3には示されていない)をさらに含む。一実施例によれば、読み出し要求信号生成モジュールは、当該境界トリガーピクセル決定ユニット122に対応する列及びその隣接する列のピクセル取得回路からの列要求信号に基づいて、読み出し要求信号を生成する。フラグビット生成モジュールは、当該境界トリガーピクセル決定ユニット122に対応する列及び少なくとも1つの隣接する列のピクセル取得回路からの列要求信号に基づいて、フラグビットを生成する。つまり、ヘッドとテールにある2つの境界トリガーピクセル決定ユニット122を除いて、他の境界トリガーピクセル決定ユニット122は、それぞれ、REQ_IN、REQ_L、REQ_Rとして表される3つの列要求信号を受信する。そのうち、REQ_INは現在の列の列要求信号、REQ_Lは現在の列の左側に隣接する列の列要求信号、REQ_Rは現在の列の右側に隣接する列の列要求信号である。
図3に示すように、境界トリガーピクセル決定ユニット<2>の場合、その入力信号は、列要求信号<2>(REQ_IN)、その左側の列要求信号<1>(REQ_L)、及び右側の列要求信号<3>(REQ_R)であり、これらの3つの列要求信号に従って、境界トリガーピクセル決定ユニット<2>は列選択モジュール134への読み出し要求信号<2>(READ_REQ)及びフラグビット<2>(FLAG)を生成する。
【0052】
ただし、ヘッドとテールにある2つの境界トリガーピクセル決定ユニット122に対して、本発明に係る一実施例では、その対応するピクセル取得回路がトリガー状態に入ると確定される限り、境界にあるトリガーピクセル取得回路とみなすことができ、読み出し要求信号が有効に設定される。例えば、ヘッドにある境界トリガーピクセル決定ユニット<1>に対して、その入力信号は列要求信号<1>(REQ_IN)及びその右側の列要求信号<2>(REQ_R)であり、デフォルトはREQ_Lが0である。テールにある境界トリガーピクセル決定ユニット<N>に対して、その入力信号は列要求信号<N>(REQ_IN)及びその左側の列要求信号<N-1>(REQ_L)であり、デフォルトはREQ_Rが0である。次に、これに基づいてフラグビットが計算され、ここでは繰り返されない。
【0053】
本発明の実施形態によれば、各境界トリガーピクセル決定ユニット122に対して、読み出し要求信号生成モジュール1222によって、対応するピクセル取得回路が境界にあるトリガーピクセル取得回路であることが確認された場合、読み出し要求信号置が有効に設定され、対応するフラグビットがフラグビット生成モジュール1224によって生成される。読み出し要求信号生成モジュール1222によって、対応するピクセル取得回路が境界にあるトリガーピクセル取得回路ではないことが確認された場合、読み出し要求信号置は無効に設定される。これらの機能は、論理回路によって実現できる。
【0054】
図4Aから4Cはそれぞれ、本発明のいくつかの実施例に係る境界トリガーピクセル決定ユニット122を示す回路図である。
【0055】
生成されたラグビットの異なるタイプに従って、
図4Aから
図4Cはそれぞれ、ヘッダフラグ、テールフラグ、及び分離フラグを生成するための回路図を示している。
【0056】
図4Aでは、読み出し要求信号生成モジュール1222は1つのNANDゲート及び1つのANDゲートから構成される。そのうち、NANDゲートの入力端子は、ピクセル取得回路アレイに結合され、現在の境界トリガーピクセル決定ユニット122に隣接する2つの列のピクセル取得回路の列要求信号(それぞれ、REQ_L及びREQ_Rとして表される)を受信する。NANDゲートの出力端子は、ANDゲートの一方の入力端子に結合され、ANDゲートの他方の入力端子は、ピクセル取得アレイに結合され、当該境界トリガーピクセル決定ユニットに対応する列のピクセル取得回路の列要求信号(REQ_INとして表される)を受信する。このように、ANDゲートの入力はREQ_IN及びNANDゲートの出力であり、ANDゲートの出力は読み出し要求信号(READ_REQとして表される)である。REQ_INが1であり(即ち、現在のピクセル取得回路がトリガー状態にあり)、REQ_LとREQ_Rが両方とも1であるわけではない(即ち、現在のピクセル取得回路の両側に隣接するピクセル取得回路がすべてトリガー状態にあるわけではない)場合かつその場合に限り、READ_REQは1であり、読み出し要求信号は有効である。
【0057】
フラグビット生成モジュール1224は、1つのNOTゲート及び1つのANDゲートから構成される。そのうち、NOTゲートの入力端子は、ピクセル取得回路アレイに結合され、現在の境界トリガーピクセル決定ユニットに隣接する一列のピクセル取得回路の列要求信号を受信する。ヘッダフラグビットを例とし、
図4Aに示すように、NOTゲートの入力端子は、現在の対応するピクセル取得回路の左側に隣接するピクセル取得回路の列要求信号(REQ_Lと表される)を受信する。NOTゲートの出力端子はANDゲートの一方の入力端子に結合され、ANDゲートの他方の入力端子はピクセル取得回路アレイに結合され、当該境界トリガーピクセル決定ユニットと対応する列のピクセル取得回路の列要求信号(REQ_INと表される)を受信する。このように、ANDゲートの入力はREQ_IN及びNOTゲートの出力であり、ANDゲートの出力はフラグビット(FLAGと表される)である。REQ_Lが0(即ち、左側ピクセル取得回路がトリガー状態ではない)、REQ_INが1である(即ち、現在のピクセル取得回路がトリガー状態にある)場合かつその場合に限り、FLAGは1である。
【0058】
図4Bでは、読み出し要求信号生成モジュール1222は
図4Aとまったく同じであり、ここでは繰り返されない。
【0059】
フラグビット生成モジュール1224は、テールフラグビットを生成することを例としても、1つのNOTゲート及び1つのANDゲートから構成される。そのうち、NOTゲートの入力端子は、現在の対応するピクセル取得回路の右側に隣接するピクセル取得回路の列要求信号(REQ_Rと表される)を受信する。NOTゲートの出力端子は、ANDゲートの一方の入力端子に結合され、ANDゲートの他方の入力端子はピクセル取得回路アレイに結合され、当該境界トリガーピクセル決定ユニットに対応する列のピクセル取得回路の列要求信号(REQ_INと表される)を受信する。このように、ANDゲートの入力はREQ_IN及びNOTゲートの出力であり、ANDゲートの出力はフラグビット(FLAGと表される)である。REQ_INが1(即ち、現在のピクセル取得回路がトリガー状態にある)、REQ_Rが0である(即ち、現在のピクセル取得回路の右側に隣接するピクセル取得回路がトリガー状態ではない)場合かつその場合に限り、FLAGは1である。
【0060】
図4Cでは、読み出し要求信号生成モジュール1222は
図4Aとまったく同じであり、ここでは繰り返されない。
【0061】
フラグビット生成モジュール1224は、分離フラグビットを生成することを例とし、1つのNORゲート及び1つのANDゲートから構成される。そのうち、NORゲートの入力端子は、ピクセル取得回路アレイに結合され、現在の境界トリガーピクセル決定ユニット122の左右に隣接する列のピクセル取得回路の列要求信号(REQ_L及びREQ_Rと表される)を受信する。NORゲートの出力端子は、ANDゲートの一方の入力端子に結合され、ANDゲートの他方の入力端子はピクセル取得回路アレイに結合され、当該境界トリガーピクセル決定ユニット122に対応する列のピクセル取得回路の列要求信号(REQ_INと表される)を受信する。このように、ANDゲートの入力はREQ_IN及びNORゲートの出力であり、ANDゲートの出力はフラグビット(FLAGと表される)である。REQ_INが1(即ち、現在のピクセル取得回路がトリガー状態にある)、REQ_L及びREQ_Rがいずれも0である(即ち、現在のピクセル取得回路の左右に隣接する2つのピクセル取得回路がいずれもトリガー状態ではない)場合、FLAGは1である。
【0062】
もちろん、境界トリガーピクセル決定ユニット122の回路図は、ここでは一例としてのみ示され、本発明の実施例はそれに限定されない。本発明の関連する実施例の説明に基づいて、ピクセル取得回路アレイの列要求信号に従って対応する読み出し要求信号及びフラグビットを生成する任意の論理回路は、本発明の保護範囲内にある。
【0063】
本発明の実施例に係る画像センサ100の利点の比較及び説明の便宜上、
図5は、1つの図像センサの読み出しシーンの模式図を示す。
【0064】
当該シーンは、視野内でより多くの動的な情報を持つシーンであるため、トリガーされたピクセル取得回路は、ピクセル取得回路アレイ全体の大部分を占める。このシーンでは、ピクセル取得回路アレイは4行10列で構成されている。1つのブロックは1つのピクセル取得回路を表すために使用され、区別しやすいように、トリガーされたピクセル取得回路は「/」で埋められて示される。
【0065】
まず、従来のダイナミックビジョンセンサ出力イベントのプロセスを例としする。簡単に言えば、従来のダイナミックビジョンセンサでは、あるピクセル取得回路がトリガー状態に入った後、対応する行要求線を有効にする。読み出しユニットにおける行選択モジュールは、対応する行選択線を有効にすることにより、1つの有効な行要求に応答する。同時に、選択された行のアドレス情報は、行選択モジュールによって符号化されてから出力される。行選択線が有効な場合、当該行でトリガーされたピクセル取得回路は、対応する列要求線を有効に設定し、列選択モジュールは列方向にすべての列要求を管理し、当該行のすべての有効な列要求線を1つずつスキャンし、その対応する列アドレスを符号化してから出力する。当該行のトリガーされたピクセル取得回路がすべて読み出されると、読み出し制御モジュールは、行変更動作を実行するように行選択ユニットに通知する。
【0066】
したがって、読み出しユニットは、ピクセル取得回路アレイ内のトリガー状態にあるすべてのピクセル取得回路を1つずつ読み出し、それらの行・列アドレス及び時間情報を(X、Y、T)の形式で出力する。そのうち、時間Tの単位は、ダイナミックビジョンセンサが1つのピクセル取得回路を読み取るのに必要な時間であり、表現の都合上、ここでは1とするとともに、仮に行変更に時間を要しないと想定される。ここでは、行選択モジュールと列選択モジュールが小さいものから大きいものへとスキャンされると想定される。まず、行選択モジュールは、1番目の行を選択し、次に列選択モジュールは、当該行におけるトリガー状態にあるすべてのピクセル取得回路を小さいものから大きいものへの順に次読み出し、トリガーされていないピクセル取得回路は自動的に無視される。即ち、出力されたイベントストリームは、(1,2,1)、(1,4,2)、(1,5,3)、(1,6,4)、(1,7,5)、(1,8,6)、(1,9,7)である。次に、1番目の行がすべて読み取られると、読み取り制御モジュールは、行選択モジュールに行を変更するように通知する。行選択モジュールは1番目の行をキャンセルして2番目の行を選択し、列選択モジュールは当該行におけるトリガー状態にあるすべてのピクセル取得回路を小さいものから大きいものへの順に読み出す。即ち、出力されたイベントストリームは(2,3,8)、(2,4,9)、(2,5,10)、(2,6,11)、(2,8,12)、(2,9,13)、(2,10,14)である。次に、行選択モジュールは3番目の行と4番目の行を連続して選択し、出力されたイベントストリームは(3,1,15)、(3,2,16)、(3,3,17)、(3,4,18)、(3,8,19)、(3,9,20)、(3,10,21)、(4,3,22)、(4,4,23)、(4,5,24)、(4,6,25)である。
【0067】
出力されたイベントストリーム全体から、ダイナミックビジョンセンサは、合計25個のイベントを読み出し、25個の読み取り時間単位を消費していることがわかる。ピクセル取得回路アレイーには合計40個のピクセル取得回路が含まれているため、この読み出し方法では、ダイナミックビジョンセンサが節約できる帯域幅は非常に限られている。この読み出しは、各ピクセル取得回路(トリガーされているかどうかに関係なく)がいずれも読み出されるスキャン方法と比較して、帯域幅の約40%しか節約できない。さらに重要なことは、読み出し全体が25個の時間単位を消費しているため、最後に読み出されたピクセル取得回路にとっては、ダイナミックビジョンセンサによって提供される時間情報が実際にトリガーされる時間より25個の時間単位遅くなり、時間情報が不正確になり、バックエンドで当該時間を適用することにより大きなエラーが発生することである。
【0068】
しかし、出願者は、研究の結果、視野内により多くの動的な情報がある場合、これらのイベントの空間分布は通常、主に動きの連続性によって引き起こされる特定の連続性を持っていることを発見した。一定の期間内に、同一の移動物体によって励起されたピクセル取得回路は空間に密接に配置される。したがって、本発明の実施例によって提案された画像センサ100によれば、イベント読み出し中に、アドレス空間が連続しているトリガー状態のピクセル取得回路について、境界にあるトリガーピクセル取得回路のみが読み取られ、内部のトリガーピクセル取得回路が読み取られないため、読み出しが必要なピクセル取得回路のデータが削減され、ダイナミックビジョンセンサの出力帯域幅と読み出し遅延が削減される。
【0069】
例として
図5の例をさらに取り上げると、行選択モジュールが1番目の行を選択するとき、当該行には、トリガー状態にある合計7つのピクセル取得回路があり、これらはそれぞれ2番目の列及び4番目から9番目の列にある。2番目の列のピクセル取得回路の左右両側にはトリガー状態のピクセル取得回路がないため(1番目の列も3番目の列がいずれもトリガーされていない)、2番目の列のピクセル取得回路が境界にあるトリガーピクセル取得回路であり、読み出される。4番目から9番目の列のピクセル取得回路は、行方向に連続して配置された6つのトリガー状態のピクセル取得回路であり、境界にあるトリガーピクセル取得回路は、4番目と9番目の列のピクセル取得回路であり、残りの4つは、いずれも内部ピクセル取得回路である。連続する6つのトリガー状態のピクセル取得回路については、境界の4番目と9番目のピクセル取得回路のみが読み取られ、フラグビットによって、これらの2つのピクセル取得回路が境界位置にあることがバックエンドの画像プロセッサに通知される。画像プロセッサは2つの境界にあるピクセル取得回路を受信した後、中間のトリガー状態のピクセル取得回路を復元できるため、ダイナミックビジョンセンサの読み出しイベントの量を減らすことを前提として、有効なイベント情報が失われていない。
【0070】
従って、本発明の解決策によれば、物体の動きの連続性を考慮すると、一定の期間内にピクセル取得回路アレイによって生成されるイベントは、空間上でほとんど連続的である。イベントは空間に多くの冗長性がある。これらの冗長な情報を削除できれば、有効なイベントが失われないようにすることを前提として、読み出す必要のあるイベントの量を減らすことができる。したがって、本発明に係る画像センサ100は、トリガーされた各ピクセル取得回路を1つずつスキャンすることはもはやなく、まず境界にあるピクセル取得回路を抽出し、次に読み出しユニットがイベント(すなわち、トリガー状態にあるピクセル取得回路の行列アドレス情報)を読み出す時、連続する複数のトリガー状態のピクセル取得回路を読み取る必要がなく、境界にあるピクセル取得回路及びそのフラグビットのみをスキャンして読み出す。その結果、ダイナミックビジョンセンサが読み出す必要のあるイベントのデータ量が削減されるだけでなく、高度動的情報シーンでのダイナミックビジョンセンサの低帯域幅特性が保証され、さらに、データの読み取り速度が加速され、読み出しチャネルのブロッキングが減少し、読み出し遅延が減少する。
【0071】
図6は、本発明の一実施例に係る画像取得システム600を示す模式図である。
図6に示すように、当該画像取得システム600は、画像センサ100及び画像プロセッサ610を含む。そのうち、画像プロセッサ610は、画像センサ100に結合されている。
【0072】
前述のように、画像センサ100は、視野内の光強度変化が特定の条件を満たすことを検出すると、トリガーイベントに関するイベントデータストリームを出力する。当該イベントデータストリームは、境界にあるピクセル取得回路のアドレス情報及び対応するフラグビットを含む(ただし、イベントデータストリームは、時間情報を含んでもよく、それに限定されない)。画像センサ100は、上記のイベントデータストリームを画像プロセッサ610に出力する。
【0073】
画像プロセッサ610は、受信された境界にあるトリガーピクセル取得回路のアドレス情報及び対応するフラグビットに基づいて、図像センサ100のうち、トリガー状態にあるすべてのピクセル取得回路のアドレス情報を確定する。
【0074】
画像プロセッサ610が、境界にあるトリガーピクセル取得回路のアドレス情報及び対応するフラグビットに基づいて、図像センサ100のうち、トリガー状態にあるすべてのピクセル取得回路のアドレス情報を回復するプロセスをさらに説明するために、また
図2に示されている3種類のフラグビットを例として取り上げる。
【0075】
実施例1-ヘッダフラグビット
画像プロセッサ610は、2番目、4番目、9番目の境界にあるトリガーピクセル取得回路のアドレス情報及び対応するヘッダフラグビットを受信した後、すべてのトリガー状態のピクセル取得回路を復元する。具体的には、2番目のピクセル取得回路のヘッダフラグビットは1であり、ヘッドにある境界トリガーピクセル取得回路境界であることを示し、4番目のピクセル取得回路のヘッダフラグビットは1であり、これもヘッドにある境界トリガーピクセル取得回路境界である。これは、2番目のピクセル取得回路の左側と右側にトリガー状態のピクセル取得回路がないことを示す。9番目のピクセル取得回路のヘッダフラグビットは0であり、ヘッドにある境界トリガーピクセル取得回路境界ではないことを示し、前の4番目のピクセル取得回路がヘッドにある境界トリガーピクセル取得回路境界であることを示す。4番目から9番目の列がすべてトリガー状態のピクセル取得回路であることを示す。このようにして、当該行におけるすべてのトリガー状態のピクセル取得回路が2番目、4番目から9番目のピクセル取得回路であることが最終的に確定される。
【0076】
実施例2-テールフラグビット
画像プロセッサ610は、2番目、4番目、9番目の境界にあるトリガーピクセル取得回路のアドレス情報及び対応するテールフラグビットを受信した後、当該行におけるすべてのトリガー状態のピクセル取得回路を復元する。具体的には、2番目のピクセル取得回路のテールフラグビットは1であり、テールにある境界トリガーピクセル取得回路境界であることを示す。当該ピクセル取得回路は、当該行から出力された1番目の境界ピクセル取得回路であるため、1番目及び3番目のピクセル取得回路がトリガー状態のピクセル取得回路ではないと確定することができる。次に、4番目のピクセル取得回路のテールフラグビットは0であり、テールにある境界トリガーピクセル取得回路境界ではないことを示し、9番目のピクセル取得回路のテールフラグビットは1であり、テールにある境界トリガーピクセル取得回路境界であることを示す。4番目から9番目の列がすべてトリガー状態のピクセル取得回路であることを示す。このようにして、当該行におけるすべてのトリガー状態のピクセル取得回路が2番目、4番目から9番目のピクセル取得回路であることが最終的に確定される。
【0077】
実施例3-分離フラグビット
図像プロセッサ610は、2番目、4番目、9番目の境界にあるトリガーピクセル取得回路のアドレス情報及び対応する分離フラグビットを受信した後、当該行におけるすべてのトリガー状態のピクセル取得回路を復元する。具体的には、2番目のピクセル取得回路の分離フラグビットは1であり、分離されたトリガー状態のピクセル取得回路であることを示す。4番目のピクセル取得回路及び9番目のピクセル取得回路の分離フラグビットは、いずれも0であり、いずれも分離されたトリガー状態のピクセル取得回路ではないことを示す。4番目のピクセル取得回路がいくつかの連続するトリガー状態のピクセル取得回路の始まりであり、9番目のピクセル取得回路がいくつかの連続するトリガー状態のピクセル取得回路の終わりであることを更に確定することができる。このようにして、当該行におけるすべてのトリガー状態のピクセル取得回路が2番目、4番目から9番目のピクセル取得回路であることが最終的に確定される。一言で言えば、本発明に係る画像取得システム600は、視野内の高速移動物体の移動情報を収集し、その後のオプティカルフロー計算を実行して、高速移動物体のターゲット検出及びターゲット追跡に適用するが、これに限定されない。
【0078】
提供される明細書では、多くの特定の詳細が示されている。しかしながら、本発明の実施例は、これらの特定の詳細なしで実施され得ることが理解される。いくつかの実施例では、本明細書に対する理解を曖昧にしないために、よく知られた方法、構造、及び技法が詳細に示されていない。
【0079】
同様に、本開示を単純化し、様々な発明の態様のうちの1つまたは複数を理解するのを助けるために、本発明の例示的な実施例の前述の説明において、本発明の様々な特徴は、単一の実施例、図、またはその説明に一緒にグループ化されることがあることが理解されるべきである。しかしながら、この開示の方法は、保護しようとする本発明が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映していると解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明の態様は、前述開示された単一の実施例のすべての特徴よりも少ない特徴にある。したがって、具体的な実施形態に従う特許請求の範囲は、これにより、この具体的な実施形態に明示的に組み込まれ、各請求項は、本発明の別個の実施例としてそれ自体で成り立つ。
【0080】
当業者には、本明細書に開示される例における機器のモジュールまたはユニットまたはコンポーネントが、当該実施例に記載されるような機器内に配置されることができるか、あるいは当該例における機器とは異なる1つ又は複数の機器に配置することもできることが理解される。前記例におけるモジュールは、1つのモジュールに組み合わせることも、さらに複数のサブモジュールに分割することもできる。
【0081】
当業者には、実施例における機器内のモジュールを適応的に変更して、当該実施例とは異なる1つまたは複数の機器に配置できることが理解される。実施例におけるモジュールまたはユニットまたはコンポーネントは、1つのモジュールまたはユニットまたはコンポーネントに組み合わせることができ、さらに、それらは、複数のサブモジュールまたはサブユニットまたはサブコンポーネントに分割することができる。そのような特徴及び/または手順またはユニットにおける少なくとも一部が相互に排他的であることを除いて、本明細書(付随する特許請求の範囲、要約及び図面を含む)に開示されるすべての特徴及びそのように開示される任意の方法又は機器のすべての手順またはユニットは、任意の組み合わせで組み合わせることができる。本明細書(付随する特許請求の範囲、要約及び図面を含む)に開示されている各特徴は、特に明記しない限り、同じ、同等または類似の目的を果たす代替の特徴に置き換えることができる。
【0082】
さらに、当業者には、本明細書に記載の実施例のいくつかは、他の特徴ではなく、他の実施例に含まれる特定の特徴を含むが、異なる実施例の特徴の組み合わせは本発明の範囲内にあり異なる実施例を形成することを意味することが理解される。例えば、以下の特許請求の範囲では、保護しようとする実施例のいずれかを任意の組み合わせで使用することができる。
【0083】
さらに、前記実施例のいくつかは、コンピュータシステムのプロセッサによって、または前記機能を実行するための他の手段によって実施することができる方法または方法要素の組み合わせとして本明細書に記載されている。したがって、前記方法または方法要素を実行するために必要な命令を有するプロセッサは、当該方法または方法要素を実装するための手段を形成する。さらに、本明細書に記載の装置実施形態の要素は、当該本発明を実施する目的で要素によって実行される機能を実行するための手段の例である。
【0084】
本明細書で使用されるように、特に明記しない限り、普通のオブジェクトを説明するための序数「第1」、「第2」、「第3」などの使用は、単に係る類似のオブジェクトの異なる実例を指し、そのように記述されたオブジェクトが、時間、空間、順序、またはその他の方法で特定の順序を持っている必要があることを意味することを意図しない。
【0085】
本発明は限られた数の実施例に基づいて説明されてきたが、上記の説明に基づいて、当業者は、他の実施例がこのように説明された本発明の範囲内で考えられることを理解できる。さらに、本明細書で使用される言語は、本発明の主題を解釈または限定するためではなく、主に読みやすさ及び教育目的のために選択されていることに留意されたい。したがって、多くの修正及び変形は、添付の特許請求の範囲及び精神から逸脱することなく、当業者には明らかであろう。本発明の範囲に関して、本発明の開示は、限定的ではなく、例示的であることを意図している。本発明の範囲は、添付の特許請求の範囲によって定義される。