特許 7099783 画素収集回路及びオプティカルフローセンサー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-04

(45)【発行日】2022-07-12

(54)【発明の名称】画素収集回路及びオプティカルフローセンサー

(51)【国際特許分類】

   H04N 5/345 20110101AFI20220705BHJP

【ＦＩ】

H04N5/345

【請求項の数】 10

(21)【出願番号】P 2020552018

(86)(22)【出願日】2018-05-24

(65)【公表番号】

(43)【公表日】2021-08-19

(86)【国際出願番号】 CN2018088260

(87)【国際公開番号】W WO2019205217

(87)【国際公開日】2019-10-31

【審査請求日】2020-11-25

(31)【優先権主張番号】201810380023.8

(32)【優先日】2018-04-25

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520363281

【氏名又は名称】オムニビジョン センサー ソリューション （シャンハイ） カンパニー リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】チェン、ショウシュン

【審査官】大室 秀明

(56)【参考文献】

【文献】特開２０１７－０８５５４９（ＪＰ，Ａ）

【文献】特開２０００－３１６１２７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１２５９９４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ５／３０－５／３７８

(57)【特許請求の範囲】

【請求項1】

画素収集回路であって、
照射される光信号の強度を表す第１電信号をリアルタイムに出力する光強度検出器と、
第１入力端子が光強度検出器にカップリングされ、第１出力端子が行請求線にカップリングされ、第２出力端子が列請求線にカップリングされ、第１電信号の変化が所定の条件を満たすと、トリガー状態に入り、該トリガー状態を記憶し、トリガー状態ではそれぞれ行請求信号及び／又は列請求信号を行請求線及び列請求線に送信し、さらにトリガー状態ではパルス信号を該画素収集回路の上、下、左、右の４つの隣接する隣接画素収集回路の少なくとも１つに送信する第１状態記憶モジュールと、
第１入力端子が前記隣接画素収集回路の少なくとも１つにカップリングされ、出力端子が前記第１状態記憶モジュールにカップリングされ、前記隣接画素収集回路の少なくとも１つからのパルス信号を受信すると、受動トリガー状態に入り、該受動トリガー状態を記憶し、前記第１状態記憶モジュールがそれぞれ行請求信号及び／又は列請求信号を行請求線及び列請求線に送信するように、受動トリガー状態では通知を前記第１状態記憶モジュールに送信する第２状態記憶モジュールと、
第１入力端子が前記光強度検出器の出力端子にカップリングされ、第２入力端子が前記第１状態記憶モジュールにカップリングされ、第３入力端子が前記第２状態記憶モジュールにカップリングされ、該画素収集回路の状態に応じて第１電信号を光強度信号として記憶して出力する光強度信号収集及び記憶モジュールと、
第１入力端子が時間信号ラインにカップリングされ、第２入力端子が前記第１状態記憶モジュールにカップリングされ、第３入力端子が前記第２状態記憶モジュールにカップリングされ、該画素収集回路の状態に応じて対応する時間信号を記憶して出力する時間情報記憶モジュールと、
を備える画素収集回路。

【請求項2】

入力端子が前記光強度検出器の出力端子にカップリングされ、前記第１電信号を前処理して第２電信号を生成する光強度変化アンプと、
出力端子が前記光強度変化アンプの出力端子にカップリングされ、第２電信号の変化が所定の条件を満たすか否かを判断するデュアル閾値フィルタと、をさらに備え、
前記第１状態記憶モジュールはデュアル閾値フィルタにカップリングされ、第２電信号の変化が所定の条件を満たすと、トリガー状態に入る請求項１に記載の画素収集回路。

【請求項3】

前記光強度信号収集及び記憶モジュールはさらに、
該画素収集回路が非トリガー状態であると、前記第１電信号をリアルタイムにサンプリングし、
該画素収集回路がトリガー状態に入ると、第１状態記憶モジュール又は第２状態記憶モジュールを経由して伝送された行応答信号を受信するまで、サンプリングされた第１電信号を記憶し、この期間に記憶された第１電信号を光強度信号として出力する請求項１又は２に記載の画素収集回路。

【請求項4】

前記時間情報記憶モジュールはさらに、
該画素収集回路が非トリガー状態であると、時間信号ラインからの第１時間信号をリアルタイムにサンプリングし、
該画素収集回路がトリガー状態になると、第１状態記憶モジュール又は第２状態記憶モジュールを経由して伝送された行応答信号を受信するまで、サンプリングされた第１時間信号を記憶し、この期間に記憶された第１時間信号を時間信号として出力する請求項１～３のいずれか一項に記載の画素収集回路。

【請求項5】

前記第１状態記憶モジュールは、第２入力端子が行応答線にカップリングされ、第３入力端子が列応答線にカップリングされ、さらに同時にそれぞれ行応答線及び列応答線からの行応答信号及び列応答信号を受信すると、トリガー状態を解除し、
前記第１状態記憶モジュールは、第３出力端子が光強度変化アンプにカップリングされ、さらに該画素収集回路がトリガー状態に入る又はトリガー状態を解除すると、リセット信号を前記光強度変化アンプに送信する請求項２～４のいずれか一項に記載の画素収集回路。

【請求項6】

前記第１状態記憶モジュールは、
第２電信号が所定の条件を満たすと、セットされ、且つ行応答信号及び列応答信号を同時に受信すると、リセットされる第１ラッチを備え、
前記第１状態記憶モジュールはさらに、前記第１ラッチがセット又は被リセットされると、リセット信号を光強度変化アンプに送信する請求項５に記載の画素収集回路。

【請求項7】

前記第２状態記憶モジュールは、第２入力端子が行応答線にカップリングされ、第３入力端子が列応答線にカップリングされ、さらに同時にそれぞれ行応答線及び列応答線からの行応答信号及び列応答信号を受信すると、受動トリガー状態を解除し、
前記第２状態記憶モジュールはさらに、該画素収集回路が受動トリガー状態を解除すると、第１状態記憶モジュールを介してリセット信号を光強度変化アンプに送信する請求項２～６のいずれか一項に記載の画素収集回路。

【請求項8】

オプティカルフローセンサーであって、
請求項１～７のいずれか一項に記載の画素収集回路を複数備える画素収集回路アレイと、
前記画素収集回路アレイからの行請求信号に応答し、さらに行応答を得た行アドレスを出力する画素行信号通信ユニットと、
前記画素収集回路アレイからの列請求信号に応答し、さらに列応答を得た列アドレス及び対応する光強度信号、時間信号を出力する画素列信号通信ユニットと、
時間信号ラインを介して前記画素収集回路アレイに第１時間信号を出力する時間制御ユニットと、
行アドレス、列アドレス、時間信号及び光強度信号の出力を制御する中央調整及び制御ユニットと、
を備えるオプティカルフローセンサー。

【請求項9】

前記画素行信号通信ユニットは、
前記画素収集回路アレイ中の少なくとも１つの画素収集回路からの行請求信号を受信し、行応答信号をそのうちの１つの行請求信号に出力する行信号応答通信モジュールと、
行応答を得た行の行アドレスのコードを出力する行アドレス収集ユニットと、を備える請求項８に記載のオプティカルフローセンサー。

【請求項10】

前記画素列信号通信ユニットは、
前記画素収集回路アレイ中の少なくとも１つの画素収集回路からの列請求信号を受信し、列応答信号をそのうちの１つの列請求信号に出力する列信号応答通信モジュールと、
列応答を得た列アドレスをコード化出力する列アドレス収集モジュールと、
光強度信号、時間信号及び列アドレスの出力順序を制御する列出力選択制御モジュールと、を備える請求項８又は９に記載のオプティカルフローセンサー。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像収集の技術分野に関し、特に画素収集回路及びオプティカルフローセンサーに関する。

【背景技術】

【0002】

情報技術の継続的な発展に伴い、コンピュータビジョン及び画像情報処理はますます重要となっている。その中で、オプティカルフロー法は画像情報に基づいて対象物の運動状況を決定することができる。軍用航空、交通監視、情報科学、気象や医学等の様々な分野に適用できる。

【0003】

オプティカルフローの概念は、１９５０年にＧｉｂｓｏｎによって最初に提出された。実物は感光素子によってイメージング可能である。形成された画像中の点は実物の点に一対一対応している。対象物が三次元シーンで運動する場合、対応する画像フレームシーケンス中の画像輝度モードが流れを示す。このような画像輝度モードの流れはオプティカルフローと呼ばれてもよい。長年の研究の結果、オプティカルフローアルゴリズムは様々なバージョンで改善されているが、オプティカルフロー拘束方程式は依然として主な拘束条件である。オプティカルフロー拘束方程式中のパラメータはオプティカルフロー計算対象の画素点の横方向勾配値、縦方向勾配値及び相対的な短い時間差内の該画素点の光強度変化を備える。従来のオプティカルフロー法の計算はほとんどフレーム計算に基づいて行われ、視野内の背景が静止している又は変化が非常に小さい場合、フレーム計算には大量の冗長なデータ情報が発生し、オプティカルフロー計算によって横方向勾配値、縦方向勾配値及び光強度変化値を取得する際に、すべての画素情報が処理され、その結果、画像処理に大量の並行演算が増加し、目標物体の運動の分析速度が低下してしまう。特に高速運動物体の場合、短時間の遅延によって分析結果と物体の運動との間に大きなずれが生じ、従って、高速運動の目標物体に対して分析速度の向上は重要になる。

【0004】

上記理由に鑑みて、新たなオプティカルフロー収集方案が望まれている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、以上の少なくとも１つの課題を解決又は少なくとも軽減するために、画素収集回路及びオプティカルフローセンサーを提供する。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、画素収集回路を提供し、照射される光信号の強度を表す第１電信号をリアルタイムに出力する光強度検出器と、第１入力端子が光強度検出器にカップリングされ、第１出力端子が行請求線にカップリングされ、第２出力端子が列請求線にカップリングされ、第１電信号の変化が所定の条件を満たすと、トリガー状態に入り、該トリガー状態を記憶し、トリガー状態ではそれぞれ行請求信号及び／又は列請求信号を行請求線及び列請求線に送信し、さらにトリガー状態ではパルス信号を該画素収集回路の少なくとも１つの隣接画素収集回路に送信する第１状態記憶モジュールと、第１入力端子が少なくとも１つの隣接画素収集回路にカップリングされ、出力端子が前記第１状態記憶モジュールにカップリングされ、少なくとも１つの隣接画素収集回路からのパルス信号を受信すると、受動トリガー状態に入り、該受動トリガー状態を記憶し、前記第１状態記憶モジュールがそれぞれ行請求信号及び／又は列請求信号を行請求線及び列請求線に送信するように、受動トリガー状態では通知を前記第１状態記憶モジュールに送信する第２状態記憶モジュールと、第１入力端子が前記光強度検出器の出力端子にカップリングされ、第２入力端子が前記第１状態記憶モジュールにカップリングされ、第３入力端子が前記第２状態記憶モジュールにカップリングされ、該画素収集回路の状態に応じて第１電信号を光強度信号として記憶して出力する光強度信号収集及び記憶モジュールと、第１入力端子が時間信号ラインにカップリングされ、第２入力端子が前記第１状態記憶モジュールにカップリングされ、第３入力端子が前記第２状態記憶モジュールにカップリングされ、該画素収集回路の状態に応じて対応する時間信号を記憶して出力する時間情報記憶モジュールと、を備える。

【0007】

本発明に係る画素収集回路では、入力端子が前記光強度検出器の出力端子にカップリングされ、第１電信号を前処理し、第２電信号を生成する光強度変化アンプと、出力端子が光強度変化アンプの出力端子にカップリングされ、第２電信号の変化が所定の条件を満たすか否かを判断するデュアル閾値フィルタと、をさらに備え、第１状態記憶モジュールはデュアル閾値フィルタにカップリングされ、第２電信号の変化が所定の条件を満たすと、トリガー状態に入るようにしてもよい。

【0008】

本発明の別の態様によれば、オプティカルフローセンサーを提供し、複数の前記画素収集回路を備える画素収集回路アレイと、画素収集回路アレイからの行請求信号に応答し、さらに行応答を得た行アドレスを出力する画素行信号通信ユニットと、画素収集回路アレイからの列請求信号に応答し、さらに列応答を得た列アドレス及び対応する光強度信号、時間信号を出力する画素列信号通信ユニットと、時間信号ラインを介して画素収集回路アレイに第１時間信号を出力する時間制御ユニットと、行アドレス、列アドレス、時間信号及び光強度信号の出力を制御する中央調整及び制御ユニットと、を備える。

【発明の効果】

【0009】

以上のように、本発明の方案によれば、オプティカルフローセンサーの画素収集回路アレイ中の画素ユニットは視野内の光強度変化をリアルタイムに検出し、感知された光強度変化が所定の条件を満たすと、画素ユニットが能動トリガー状態に入るようにトリガーする。トリガーされた画素ユニットがその周辺の４つ以上の画素ユニットにパルス信号を同時に送信し、非トリガー状態の周辺画素ユニットをトリガーして受動トリガー状態にする。画素ユニットがトリガーされる時刻において、該画素ユニット及びその周辺の受動トリガーされた画素ユニットの光強度情報及び時間情報がサンプリング、記憶され、後続の画像収集システムに出力される。

【0010】

該オプティカルフローセンサーに基づいて、視野内の目標運動物体のある時刻における対応する画素ユニットの光強度及び必要な周辺画素ユニットの光強度並びに同一画素ユニットの異なる時刻における光強度値を収集でき、それによってオプティカルフローアルゴリズム中のオプティカルフロー拘束方程式パラメータ、すなわち画素ユニットの時間領域、空間領域勾配値を取得する。このように、ハードウェアによってアルゴリズムパラメータの抽出を実現し、リア端のデータ処理における並行演算を低減させる。高速運動物体の識別処理速度を効果的に向上させることができる。

【図面の簡単な説明】

【0011】

上記及び関連目的を実現するために、本願において、以下の説明及び図面を参照しながらいくつかの例示的な態様を説明し、これらの態様は本願に開示されている原理を実施できる様々な形態を示し、且つすべての態様及びその同等態様は請求された主題の範囲に属する。図面を参照しながら以下の詳細説明を読むことにより、本開示の上記及びほかの目的、特徴及び利点がさらに明らかになる。本開示を通して、同一符号は通常、同一部材又は要素を示す。

【0012】

【図1】図１は本発明のいくつかの実施例に係るオプティカルフローセンサー１００の模式図を示す。

【図2】図２は本発明のいくつかの実施例に係る画素収集回路２００の模式図を示す。

【図3A】図３Ａは本発明のいくつかの実施例に係る光強度検出器２１０の模式図を示す。

【図3B】図３Ｂは本発明のいくつかの実施例に係る光強度検出器２１０の模式図を示す。

【図3C】図３Ｃは本発明のいくつかの実施例に係る光強度検出器２１０の模式図を示す。

【図4A】図４Ａは本発明のいくつかの実施例に係る光強度変化アンプ２６０の模式図を示す。

【図4B】図４Ｂは本発明のいくつかの実施例に係る光強度変化アンプ２６０の模式図を示す。

【図4C】図４Ｃは本発明のいくつかの実施例に係る光強度変化アンプ２６０の模式図を示す。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら本開示の例示的な実施例をさらに詳細に説明する。図面には本開示の例示的な実施例が示されているが、ここで説明される実施例に限定されることなく、様々な形態で本開示を実施できると理解すべきである。その反面、これらの実施例は本開示をよりよく理解でき、且つ本開示の範囲を当業者に完全に伝えることができるために提供されている。

【0014】

図１は本発明のいくつかの実施例に係るオプティカルフローセンサー１００の模式図を示す。該オプティカルフローセンサー１００は高速運動物体の検出及び追跡シーンに適用でき、オプティカルフローアルゴリズムパラメータを抽出する。一実施形態では、該オプティカルフローセンサー１００は外部の画像収集システムにカップリングされ、抽出されたオプティカルフローアルゴリズムパラメータを外部画像収集システムに伝送し、さらなる計算を行う。本発明の実施例ではこれを限定しない。図１に示すように、該オプティカルフローセンサー１００は少なくとも、画素収集回路アレイ１１０、画素行信号通信ユニット１２０、画素列信号通信ユニット１３０、時間制御ユニット１４０、及び中央調整及び制御ユニット１５０を備える。

【0015】

本発明の実施形態によれば、画素収集回路アレイ１１０は一次元又は二次元の複数の同じ画素収集回路（又は「画素ユニット」という）からなり、画素収集回路の構造は図２に示される。図１は１つの３×３画素収集回路アレイを示すが、これに限定されない。各画素収集回路は視野内の光強度情報をリアルタイムに検出し、光強度に相対変化が発生し、且つ所定の閾値を超えると感知すると、本画素収集回路がトリガーされ、画素収集回路に検出可能な光強度変化の閾値はハイパスフィルタによって異なる応用シーンに応じて調整されてもよく、それによって特定の閾値に達する光強度変化のみが「運動」とみなして検出されることを確保する。このようにトリガーされた画素収集回路は能動トリガーされた画素ユニットという。能動トリガーされた画素ユニットはその周辺の４つ以上の画素ユニットにパルス信号を送信し、非トリガー状態の周辺画素ユニットを受動トリガー状態にする。図１に示すように、画素ユニット（ｉ，ｊ）はトリガー状態であり、周辺の上、下、左、右の４つの画素ユニットにパルス信号を送信し（図１中の「

【数1】

」参照）、周辺画素ユニット（ｉ－１，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ－１）、（ｉ，ｊ＋１）を受動トリガー状態にする。能動トリガーされる画素ユニットも受動トリガーされる画素ユニットも、トリガーされる時刻に、その光強度及び時間情報をサンプリングして本画素ユニット内に記憶し、本画素ユニットが選択されるときに読み出す。

【0016】

画素行信号通信ユニット１２０は行方向において画素収集回路アレイ１１０を管理し、本行の画素収集回路にトリガーされた画素ユニットがある場合のみ、該行の画素収集回路が選択され、同時に、１行の画素収集回路のみが選択されて読み出すことを確保する。画素行信号通信ユニット１２０による画素収集回路アレイ１１０の操作処理は、画素収集回路アレイ１１０からの行請求信号に応答すること、行応答信号を対応する画素収集回路にフィードバックすること、及び、行応答を得た行アドレスを出力することを含むが、これらに限定されない。

【0017】

本発明の一実施例では、画素行信号通信ユニット１２０は行信号応答通信モジュール１２２及び行アドレス収集ユニット１２４を備える。行信号応答通信モジュール１２２は画素収集回路アレイ１１０中の少なくとも１つの画素収集回路からの行請求信号を受信し、行応答信号をそのうちの１つの行請求信号に出力する。行信号応答通信モジュール１２２はスキャナーを用いて複数の行請求信号を順番応答してもよく、勿論、複数の行請求信号にランダムに応答してもよく、応答方式を問わず、衝突を回避するために、１回あたり１つの行請求信号のみに応答する。行アドレス収集ユニット１２４は行応答を得た行アドレスをコード化出力する。

【0018】

それに対応して、画素列信号通信ユニット１３０は列方向において画素収集回路アレイ１１０を管理し、トリガーされた画素ユニットを処理し、それによって本列の画素収集回路にトリガーされた画素ユニットがある場合のみ、本列の画素収集回路が選択され、同時に、１列の画素収集回路のみが選択されて読み出すことを確保する。また、画素列信号通信ユニット１３０はさらにトリガーされた画素ユニットに記憶された光強度情報及び時間情報を外部の画像取得システムに報告してもよい。画素列信号通信ユニット１３０による画素収集回路アレイ１１０の操作処理は、画素収集回路アレイ１１０からの列請求信号に応答すること、列応答信号を対応する画素収集回路にフィードバックすること、及び、列応答を得た列アドレス及び対応する光強度信号、時間信号を出力することを含むが、これらに限定されない。

【0019】

本発明の別の実施例によれば、画素列信号通信ユニット１３０は列信号応答通信モジュール１３２、列アドレス収集モジュール１３４及び列出力選択制御モジュール１３６を備える。列信号応答通信モジュール１３２は画素収集回路アレイ１１０中の少なくとも１つの画素収集回路からの列請求信号を受信し、列応答信号をそのうちの１つの列請求信号に出力する。列信号応答通信モジュール１３２はスキャナーを用いて複数の列請求信号に順番応答してもよく、複数の列請求信号にランダムに応答してもよく、列応答の方式を問わず、衝突を回避するために、１回あたり１つの列請求信号のみに応答する。列アドレス収集モジュール１３４は列応答を得た列アドレスをコード化出力する。列出力選択制御モジュール１３６は光強度信号、時間信号及び列アドレスの出力順序を制御する。

【0020】

時間制御ユニット１４０は時間的に連続した第１時間信号を生成し、時間信号ラインを介して画素収集回路アレイ１１０に該第１時間信号を出力する。

【0021】

中央調整及び制御ユニット１５０は上記行アドレス、列アドレス、時間信号及び光強度信号の出力を制御する。中央調整及び制御ユニット１５０は後続の処理機器のニーズに応じて視野内の目標運動物体の特定の時刻における対応する画素ユニットの光強度を出力するように制御する。

【0022】

以下、図２を参照しながら画素収集回路アレイ１１０中の画素収集回路をさらに説明する。図２は本発明のいくつかの実施例に係る画素収集回路２００の模式図を示す。

【0023】

本発明の実施例では、画素収集回路２００は少なくとも、光強度検出器２１０、第１状態記憶モジュール２２０、第２状態記憶モジュール２３０、光強度信号収集及び記憶モジュール２４０及び時間情報記憶モジュール２５０を備える。第１状態記憶モジュール２２０は、第１入力端子が光強度検出器２１０にカップリングされ、第１出力端子が行請求線にカップリングされ、第２出力端子が列請求線にカップリングされ、第２状態記憶モジュール２３０は、第１入力端子が少なくとも１つの隣接画素収集回路にカップリングされ、出力端子が第１状態記憶モジュール２２０にカップリングされ、光強度信号収集及び記憶モジュール２４０は、第１入力端子が光強度検出器２１０の出力端子にカップリングされ、第２入力端子が第１状態記憶モジュール２２０にカップリングされ、第３入力端子が第２状態記憶モジュール２３０にカップリングされ、時間情報記憶モジュール２５０は、第１入力端子が時間信号ラインにカップリングされ、第２入力端子が第１状態記憶モジュール２２０にカップリングされ、第３入力端子が第２状態記憶モジュール２３０にカップリングされる。

【0024】

本発明の別のいくつかの実施例では、画素収集回路２００は光強度変化アンプ２６０及びデュアル閾値フィルタ２７０をさらに備え、光強度検出器２１０と第１状態記憶モジュール２２０との間に順番に配置される。具体的には、光強度変化アンプ２６０の入力端子が光強度検出器２１０の出力端子にカップリングされ、デュアル閾値フィルタ２７０の出力端子が光強度変化アンプ２６０の出力端子にカップリングされる。このようにして、第１状態記憶モジュール２２０の第１入力端子がデュアル閾値フィルタ２７０にカップリングされる。図２に示される。

【0025】

以下、画素収集回路２００の上記構成要素をさらに説明する。

【0026】

光強度検出器２１０は照射される光信号の強度を表す第１電信号をリアルタイムに出力し、つまり、光強度検出器２１０は検出した光電流を第１電信号に変換し、該第１電信号は検出した光強度変化に応じてその分リアルタイムに変化する。光強度検出器２１０はトリガー対数光検出器として実現されてもよく、光電流を、対数関係を有する連続時間電圧信号に変換し、負帰還によって光検出器の帯域幅を増加させることができる。本発明の別のいくつかの実施例では、光強度検出器２１０はパッシブ対数光検出器として実現されてもよく、又は多層のトランジスタを積層する方法によって光検出器にさらに大きな電圧電流変換ゲインを付与する。図３Ａ～図３Ｃはそれぞれ本発明の実施形態におけるいくつかの光強度検出器２１０の模式図を示す。

【0027】

図３Ａに示すように、光検出器２１０はアノードが接地されるフォトダイオード（ＰＤ_１）及び第１トランジスタ（Ｔ_１）を備え、第１トランジスタ（Ｔ_１）は、ソースがフォトダイオード（ＰＤ_１）のカソードに接続され、ドレイン及びゲートが電源（ＶＤＤ）に接続される。一応用シーンでは、フォトダイオードＰＤ_１は照明信号を受信すると、電流Ｉを生成する。これをもとに、Ｔ_１のソースとゲートとの間に発生する電圧変化はｌｎＩに直線的に関連する。換言すれば、本実施例では、光検出器により出力された第１電信号は入射光信号強度と対数関係を有する。

【0028】

図３Ｂに示される実施例では、光検出器２１０はアノードが接地されるフォトダイオードＰＤ_１、第１トランジスタＴ_１及び第２トランジスタＴ_２を備える。第１トランジスタＴ_１はソースが電源ＶＤＤに接続され、ゲート及びドレインが第２トランジスタＴ_２のドレインに接続される。第２トランジスタＴ_２のソースがフォトダイオードＰＤ_１のカソードに接続される。

【0029】

図３Ｃに示される実施例では、光検出器２１０はアノードが接地されるフォトダイオードＰＤ_１、直列接続されるＮ個のトランジスタ（Ｎ≧２）及び第１アンプＡ_１を備える。第１個のトランジスタのソースがフォトダイオードＰＤ_１のカソードに接続され、第Ｎ個のトランジスタのソースが電源ＶＤＤに接続され、第２個～第Ｎ個のトランジスタのそれぞれのドレインが前のトランジスタのソースに接続され、第２個～第Ｎ個のトランジスタのそれぞれのゲートがドレインに接続される。第１アンプＡ_１はフォトダイオードＰＤ_１のカソードと第１個のトランジスタのゲートとの間に接続される。第１アンプＡ_１によって、画素収集回路による光強度変化検出の速度を向上させる。図３ＣにはＮ＝２の場合における光検出器２１０の構造のみが示され、これをもとに、当業者はほかの光検出器２１０（Ｎ＞２）の構造を容易に想到でき、ここでは詳細説明を省略する。

【0030】

上記複数の光検出器の実施例を除き、本発明はさらに様々な公知の高リアルタイム性の光検出器を採用してもよく、ここでは詳細説明を省略する。なお、従来の光検出技術は通常、コンデンサ充電を行う必要があり、その後、連続露光（コンデンサ連続放電）を行い、さらにコンデンサの残量に応じて累積照明強度を決定する。本発明の光検出器２１０は光信号強度を示す第１電信号を生成する時、追加の露光時間が必要ではない。従って、光検出器２１０は遅延なく第１電信号を出力することができる。

【0031】

光強度変化アンプ２６０は第１電信号を前処理し、第２電信号を生成する。本発明の一実施例では、前処理は直流成分分離及び交流成分増幅の処理を含み、それによって第１電信号を増幅する。光強度変化アンプ２６０の前処理によって画素収集回路２００による光強度検出の感度を向上させる。

【0032】

本発明のいくつかの実施例では、光強度変化アンプ２６０はスイッチングコンデンサ増幅回路を採用し、フロントエンドの光検出器２１０の出力電圧の直流成分を隔離し、２つのコンデンサの比を設定することによって交流成分にゲインを提供する。本発明の別のいくつか実施例では、光強度変化アンプ２６０は抵抗帰還式アンプ又は相関二重サンプリング回路によって実現される。図４Ａ～図４Ｃは本発明のいくつかの実施形態における光強度変化アンプ２６０の模式図を示す。

【0033】

図４Ａに示される実施例では、光強度変化アンプ２６０は第２アンプＡ_２、第１抵抗器Ｒ_１及び第２抵抗器Ｒ_２を備える。第２アンプＡ_２は、入力正極が光検出器２１０の出力端子に接続され、入力負極にプルダウン抵抗器である第１抵抗器Ｒ_１が接続され、出力端子と入力負極との間に第２抵抗器Ｒ_２が接続される。

【0034】

図４Ｂに示される実施例では、光強度変化アンプ２６０は相関二重サンプリング回路によって実現される。ドレインが光強度検出器２１０の出力端子に接続される第３トランジスタＴ_３と、ドレインが光強度検出器２１０の出力端子に接続される第４トランジスタＴ_４と、第１端子が第３トランジスタＴ_３のソースに接続され、第２端子が接地される第１コンデンサＣ_１と、第１端子が前記第４トランジスタＴ_４のソースに接続され、第２端子が接地される第２コンデンサＣ_２と、ドレインが第１コンデンサＣ_１の第１端子に接続され、ゲートが第６トランジスタＴ_６のゲートに接続される第５トランジスタ（Ｔ_５）と、ドレインが第２コンデンサＣ_２の第１端子に接続される第６トランジスタＴ_６と、入力正極が第５トランジスタＴ_５のソースに接続され、入力負極が第６トランジスタＴ_６のソースに接続される第３アンプＡ_３と、を備える。図４Ｂに示すように、初期時刻において、光強度変化アンプ２６０のトランジスタをオフし、開始動作時、ｔ１時刻において、Ｔ_３をオンし、サンプリングされる電圧をコンデンサＣ_１にサンプリングし、サンプリング時間経過後、Ｔ_１をオフし、ｔ２時刻（ｔ２とｔ１との間の時間差はサンプリング時間よりも大きい）において、Ｔ_４をオンし、サンプリングされる電圧をコンデンサＣ_２にサンプリングし、サンプリング時間経過後、Ｔ_４をオフし、ｔ３時刻（ｔ３とｔ２との間の時間差はサンプリング時間よりも大きい）において、Ｔ_５をオンし、第３アンプＡ_３は正及び負２つの入力電極の電圧差を増幅して電圧を出力する。

【0035】

図４Ｃに示される実施例では、光強度変化アンプ２６０は、第４アンプＡ_４、第３コンデンサＣ_３、第４コンデンサＣ_４及び第１スイッチＫ_１を備える。第３コンデンサＣ_３は第１端子が光検出器２１０の出力端子に接続され、第４アンプＡ_４は入力負極が固定電位に接続され、入力正極が第３コンデンサＣ_３の第２端子に接続され、第４コンデンサＣ_４及び第１スイッチＫ_１は第４アンプＡ_４の入力正極と出力端子との間に並列接続される。第１状態記憶モジュール２２０からのリセット信号を受信すると、第１スイッチＫ_１をオンする。

【0036】

なお、上記複数の光強度変化アンプ２６０の実施例を除き、本発明はさらにほかの公知の光強度変化アンプを採用してもよく、当業者が既知の又は容易に想到できる光強度変化アンプの実施形態はすべて本発明の保護範囲に属し、ここでは詳細説明を省略する。

【0037】

デュアル閾値フィルタ２７０は光強度変化アンプ２６０により処理された第１電信号（すなわち、第２電信号）の変化が所定の条件を実粕か否かを判断する。本発明の実施形態では、デュアル閾値フィルタ２７０は時間連続コンパレータによって実現でき、正及び負方向閾値を設定することで、光強度の増減を検出する。

【0038】

所望の構成に応じて、デュアル閾値フィルタ２７０は２つの電圧コンパレータを設置することで、第２電信号が負方向閾値よりも低いか否か、又は正方向閾値よりも高いか否かを判断し、第２電信号が負方向閾値より低く、又は正方向閾値よりも高いと、第２電信号の変化が所定の条件を満たすと判断する。ここでは詳細説明を省略する。

【0039】

本発明の実施形態では、各画素ユニットは、能動トリガー状態、受動トリガー状態及び非トリガー状態の３種の状態を含み、能動トリガー状態及び受動トリガー状態はトリガー状態と総称される。第１状態記憶モジュール２２０は画素ユニットの能動トリガー状態及び非トリガー状態を記憶し、第２状態記憶モジュール２３０は画素ユニットの受動トリガー状態及び非トリガー状態を記憶する。

【0040】

デュアル閾値フィルタ２７０によって処理後の第１電信号（すなわち、第２電信号）の変化が所定の条件を満たすと判断されると、画素ユニットはトリガーされて能動トリガー状態に入り、このとき、第１状態記憶モジュール２２０は能動トリガー状態に入り、該能動トリガー状態を記憶する。本発明の一実施例では、画素収集回路と周辺回路との通信は第１状態記憶モジュール２２０によって行われる。第１状態記憶モジュール２２０は能動トリガー状態で行請求信号を行請求線に送信する。上記のように、オプティカルフローセンサーの画素行信号通信ユニット１２０は行請求信号を受信した後、受信した多行の画素回路の行請求から１行をランダムに選択して応答する。本発明の一実施例では、第１状態記憶モジュール２２０は第２入力端子が行応答線にカップリングされ、第３入力端子が列応答線にカップリングされる。トリガー状態（能動トリガー状態又は受動トリガー状態）では、第１状態記憶モジュール２２０は画素行信号通信ユニット１２０からフィードバックされる行応答信号を受信すると、列請求信号を列請求線に送信すると同時に、光強度信号収集及び記憶モジュール２４０に第１電信号を光強度信号として出力することを通知し、時間情報モジュール２６０に対応する時間信号を出力することを通知する。

【0041】

本発明のさらに別の実施形態では、第１状態記憶モジュール２２０はトリガー状態では該画素収集回路の少なくとも１つの隣接画素収集回路にパルス信号を送信し、その周辺の非トリガー状態の画素収集回路を受動トリガー状態にする。本発明の一実施例では、第１状態記憶モジュール２２０はトリガー状態では該画素ユニットの上、下、左、右の４つの隣接する画素ユニットにパルス信号を送信し、その上、下、左、右の４つの隣接する画素ユニットを受動トリガー状態にする。

【0042】

本発明のまたさらなる別の実施形態では、第１状態記憶モジュール２２０はさらに、それぞれ行応答線及び列応答線からの行応答信号及び列応答信号を同時に受信すると、トリガー状態を解除し、すなわち、非トリガー状態に入る。図２に示すように、第１状態記憶モジュール２２０は第３出力端子が光強度変化アンプ２６０にカップリングされ、該画素収集回路がトリガー状態に入る又はトリガー状態を解除すると、リセット信号を光強度変化アンプ２６０に送信する。所望の構成に応じて、第１状態記憶モジュール２２０はトリガー状態及び非トリガー状態を記憶する第１ラッチを備える。第２電信号が所定の条件を満たすと、該第１ラッチがセットされ、すなわち、画素ユニットがトリガー状態に入り、行応答信号及び列応答信号を同時に受信すると、該第１ラッチがリセットされ、すなわち、画素ユニットが非トリガー状態に入り、第１ラッチがセット又はリセットされるごとに、第１状態記憶モジュールはリセット信号を光強度変化アンプ２６０に送信する。

【0043】

少なくとも１つの隣接画素収集回路からのパルス信号を受信すると、画素ユニットは受動トリガー状態に入り、このとき、第２状態記憶モジュール２３０は受動トリガー状態に入り、該受動トリガー状態を記憶する。画素ユニット同士は第２状態記憶モジュール２３０によって通信する。本発明の一実施例では、各画素ユニットはその周辺の上、下、左、右の４つの画素ユニットと通信し、その周辺の上、下、左、右の４つの画素ユニットのうちの少なくとも１つの画素ユニットのパルス信号を受信すると、本画素ユニットは受動トリガー状態に入る。受動トリガー状態では、画素ユニットはほかの画素ユニットにパルス信号を送信しない。且つ、受動トリガー状態の画素ユニットは光強度変化を感知し続けることができ、行応答を受信する前、トリガーされて能動トリガー状態に入ることができる。

【0044】

第２状態記憶モジュール２３０は受動トリガー状態では通知を第１状態記憶モジュール２２０に送信し、それによって第１状態記憶モジュールはトリガー状態では行請求信号を行請求線に送信する。上記のように、オプティカルフローセンサーの画素行信号通信ユニット１２０は行請求信号を受信した後、受信した多行の画素回路の行請求から１行をランダムに選択して応答する。

【0045】

本発明の一実施例では、第２状態記憶モジュール２３０は第２入力端子が行応答線にカップリングされ、第３入力端子が列応答線にカップリングされる（図２では不図示）。トリガー状態では、第２状態記憶モジュール２３０は画素行信号通信ユニット１２０からフィードバックされる行応答信号を受信すると、第１状態記憶モジュール２２０を介して列請求信号を列請求線に送信すると同時に、光強度信号収集及び記憶モジュール２４０に第１電信号を光強度信号として出力することを通知し、時間情報モジュール２６０に対応する時間信号を出力することを通知する。

【0046】

なお、第２状態記憶モジュール２３０は第１状態記憶モジュール２２０に直接カップリングされてもよく、トリガー状態では、第１状態記憶モジュール２２０を介してそれぞれ行応答線及び列応答線からの行応答信号及び列応答信号を受信する。つまり、画素ユニットの内部の応答信号はほかの各モジュールを介して行応答線及び／又は列応答線に直接接続されることで取得されてもよく、第１状態記憶モジュール２２０によってバッファされた後、各モジュール（例えば、第２状態記憶モジュール２３０、光強度信号収集及び記憶モジュール２４０、時間情報記憶モジュール２５０）に統合的に割り当てられてもよいが、本発明の実施例ではこれを限定しない。

【0047】

本発明のまたさらに別の実施例では、第２状態記憶モジュール２３０がそれぞれ行応答線及び列応答線からの行応答信号及び列応答信号を同時に受信すると、画素ユニットは受動トリガー状態を解除する。且つ、該画素ユニットが受動トリガー状態を解除すると、第２状態記憶モジュール２３０は第１状態記憶モジュール２２０を介してリセット信号を光強度変化アンプ２６０に送信する。所望の構成に応じて、第２状態記憶モジュール２３０は受動トリガー状態及び非トリガー状態を記憶する第２ラッチを備える。少なくとも１つの隣接画素収集回路からのパルス信号を受信すると、第２ラッチがセットされ、画素ユニットが受動トリガー状態に入り、行応答信号及び列応答信号を同時に受信すると、第２ラッチがリセットされ、画素ユニットが非トリガー状態に入り、第２ラッチがリセットされると、第２状態記憶モジュール２３０がリセット信号を光強度変化アンプ２６０に送信する。

【0048】

光強度信号収集及び記憶モジュール２４０は該画素収集回路の状態に応じて第１電信号を光強度信号として記憶して出力する。画素収集回路が非トリガー状態であると、光強度信号収集及び記憶モジュール２４０は第１電信号をリアルタイムにサンプリングし、画素収集回路がトリガー状態（能動トリガー状態又は受動トリガー状態）に入ると、第１状態記憶モジュール２２０又は第２状態記憶モジュール２３０を経由して伝送される行応答信号を受信するまで、光強度信号収集及び記憶モジュール２４０はサンプリングした第１電信号を記憶し、この期間に記憶された第１電信号を光強度信号として出力する。

【0049】

時間情報記憶モジュール２５０は画素収集回路の状態に応じて、対応する時間信号を記憶して出力する。画素収集回路が非トリガー状態であると、時間信号ラインからの第１時間信号をリアルタイムにサンプリングし、画素収集回路がトリガー状態（能動トリガー状態又は受動トリガー状態）に入ると、第１状態記憶モジュール２２０又は第２状態記憶モジュール２３０を経由して伝送される行応答信号を受信するまで、時間情報記憶モジュール２５０はサンプリングした第１時間信号を記憶し、この期間に記憶された第１時間信号を時間信号として出力する。

【0050】

以上のように、本発明の方案によれば、オプティカルフローセンサー１００の画素収集回路アレイ中の画素ユニットは視野内の光強度変化をリアルタイムに検出し、感知された光強度変化が所定の条件を満たすと、画素ユニットが能動トリガー状態に入るようにトリガーする。トリガーされた画素ユニットがその周辺の４つ以上の画素ユニットにパルス信号を同時に送信し、非トリガー状態の周辺画素ユニットをトリガーして受動トリガー状態にする。画素ユニットがトリガーされる時刻において、該画素ユニット及びその周辺の受動トリガーされた画素ユニットの光強度情報及び時間情報がサンプリング、記憶され、後続の画像収集システムに出力される。

【0051】

該オプティカルフローセンサーによれば、視野内の目標運動物体の特定の時刻における対応する画素ユニットの光強度及び必要な周辺画素ユニットの光強度並びに同一画素ユニットの異なる時刻における光強度値を収集でき、それによってオプティカルフローアルゴリズム中のオプティカルフロー拘束方程式パラメータ、すなわち画素ユニットの時間領域、空間領域勾配値を取得する。このようにして、ハードウェアによってアルゴリズムパラメータの抽出を実現し、リア端のデータ処理における並行演算を低減させる。高速運動物体の識別処理速度を効果的に向上させることができ、それによって運動物体の運動速度及び方向を効率よく分析し、衝突防止システム、ドローン、無人地上車両等による視野内の高速運動物体の分析の遅延課題を解決し、システム判断の効率及び正確性を向上させる。

【0052】

ここで提供される明細書では、大量の詳細が説明されている。それにもかかわらず、本発明の実施例はこれらの詳細なしで実施されてもよいと理解できる。いくつかの例では、本明細書の理解の曖昧さを回避するために、公知の方法、構造及び技術は詳細説明されていない。

【0053】

同様に、本開示を簡略化し各発明の態様の１つ又は複数を理解するのを助けるために、以上の本発明の例示的な実施例についての説明では、本発明の各特徴は単一の実施例、図、又はその説明にグループされてもよいと理解すべきである。それにもかかわらず、該開示されている方法は、主張する本発明は各請求項に明確に記載される特徴よりも多くの特徴を必要とすることを反映するものではないと理解すべきである。より正確には、以下の特許請求の範囲に反映されるように、発明の態様は前に開示された単一の実施例のすべての特徴よりも少ないことにある。従って、具体的な実施形態に準拠する特許請求の範囲は該具体的な実施形態に明確に組み込まれており、各請求項自体は本発明の単独な実施例である。

【0054】

当業者であれば、本明細書に開示されている例における機器のモジュール又はユニット又はアセンブリは該実施例に説明されている機器に配置され、又は該例における機器と異なる１つ又は複数の機器に置換可能に位置決めされるようにしてよいと理解すべきである。上記例におけるモジュールを組み合わせて１つのモジュールを形成してもよく、さらに複数のサブモジュールに分けてもよい。

【0055】

当業者であれば、実施例における機器のモジュールを適応的に変更し、該実施例と異なる１つ又は複数の機器に設置するようにしてもよいと理解できる。実施例におけるモジュール又はユニット又はアセンブリを組み合わせて１つのモジュール又はユニット又はアセンブリを形成してもよく、さらにそれらを複数のサブモジュール又はサブユニット又はサブアセンブリに分けてもよい。このような特徴及び／又はプロセス又はユニットの少なくとも一部が相互に矛盾する以外、本明細書（添付する特許請求の範囲、要約書及び図面を備える）に開示されるすべての特徴及びこのように開示されているいずれかの方法又は機器のすべてのプロセス又はユニットを任意に組み合わせることができる。特に断らない限り、本明細書（添付する特許請求の範囲、要約書及び図面を備える）に開示されている各特徴は同一、同等又は類似目的を提供する代替特徴によって代替されてもよい。

【0056】

本発明はさらに以下のように開示している。

【0057】

Ａ８、第２状態記憶モジュールは、少なくとも１つの隣接画素収集回路からのパルス信号を受信すると、セットされ、行応答信号及び列応答信号を同時に受信すると、リセットされる第２ラッチを備え、前記第２状態記憶モジュールはさらに前記第２ラッチがリセットされると、リセット信号を光強度変化アンプに送信するＡ７に記載の画素収集回路。

【0058】

Ａ９、前処理は直流成分分離及び交流成分増幅の処理を含むＡ２－８のいずれか一項に記載の画素収集回路。

【0059】

Ａ１０、光検出器は、アノードが接地されるフォトダイオード（ＰＤ_１）と、ソースがフォトダイオード（ＰＤ_１）のカソードに接続され、ドレイン及びゲートが電源（ＶＤＤ）に接続される第１トランジスタ（Ｔ_１）と、を備えるＡ１－９のいずれか一項に記載の画素収集回路。

【0060】

Ａ１１、光検出器は、アノードが接地されるフォトダイオード（ＰＤ_１）と、ソースが電源（ＶＤＤ）に接続され、ゲート及びドレインが第２トランジスタ（Ｔ_２）のドレインに接続される第１トランジスタ（Ｔ_１）と、ソースがフォトダイオード（ＰＤ_１）のカソードに接続される第２トランジスタ（Ｔ_２）と、を備えるＡ１－９のいずれか一項に記載の画素収集回路。

【0061】

Ａ１２、光検出器は、アノードが接地されるフォトダイオード（ＰＤ_１）と、直列接続されるＮ個（Ｎ≧２）のトランジスタであって、第１個のトランジスタのソースがフォトダイオード（ＰＤ_１）のカソードに接続され、第Ｎ個のトランジスタのソースが電源（ＶＤＤ）に接続され、第２個～第Ｎ個のトランジスタのそれぞれのドレインが前のトランジスタのソースに接続され、第２個～第Ｎ個のトランジスタのそれぞれのゲートがドレインに接続されるＮ個のトランジスタと、フォトダイオード（ＰＤ_１）のカソードと第１個のトランジスタのゲートとの間に接続される第１アンプ（Ａ_１）と、を備えるＡ１－９のいずれか一項に記載の画素収集回路。

【0062】

Ａ１３、光強度変化アンプは、入力正極が前記光検出器の出力端子に接続され、入力負極にプルダウン抵抗器である第１抵抗器（Ｒ_１）が接続され、出力端子と入力負極との間に第２抵抗器（Ｒ_２）が接続され、前記光検出器により出力された第１電信号を前処理する第２アンプ（Ａ_２）を備えるＡ２－１２のいずれか一項に記載の画素収集回路。

【0063】

Ａ１４、光強度変化アンプは、ドレインが前記光強度検出器の出力端子に接続される第３トランジスタ（Ｔ_３）と、ドレインが光強度検出器の出力端子に接続される第４トランジスタ（Ｔ_４）と、第１端子が第３トランジスタ（Ｔ_３）のソースに接続され、第２端子が接地される第１コンデンサ（Ｃ_１）と、第１端子が第４トランジスタ（Ｔ_４）のソースに接続され、第２端子が接地される第２コンデンサ（Ｃ_２）と、ドレインが第１コンデンサ（Ｃ_１）の第１端子に接続され、ゲートが第６トランジスタ（Ｔ_６）のゲートに接続される第５トランジスタ（Ｔ_５）と、ドレインが第２コンデンサ（Ｃ_２）の第１端子に接続される第６トランジスタ（Ｔ_６）と、入力正極が第５トランジスタ（Ｔ_５）のソースに接続され、入力負極が第６トランジスタ（Ｔ_６）のソースに接続される第３アンプ（Ａ_３）と、を備えるＡ２－１２のいずれか一項に記載の画素収集回路。

【0064】

また、当業者であれば、ここに記載されるいくつかの実施例はほかの特徴ではなく、ほかの実施例に含まれるいくつかの特徴を備えるにもかかわらず、異なる実施例の特徴の組み合わせは本発明の範囲内に属し且つ異なる実施例を形成すると理解できる。例えば、以下の特許請求の範囲では、主張する実施例のいずれかを任意な組み合わせ方式で使用してもよい。

【0065】

また、前記実施例のうちのいくつかは、ここでは、コンピュータシステムのプロセッサ又は前記機能を実行するほかの装置に実施可能な方法又は方法の要素の組み合わせとして説明されている。従って、前記方法又は方法の要素を実施するための必要な命令を有するプロセッサは該方法又は方法の要素を実施するための装置を形成する。また、装置の実施例のここで記載される要素は、該発明の目的を実施するための要素によって実行される機能を実施するための装置の例である。

【0066】

ここで使用されるように、特に断らない限り、「第１」、「第２」、「第３」等の序数詞を使用して普通の対象を説明する場合、単に係る類似対象の異なる例を示し、このように説明される対象が必ず時間、空間、ランキング又はほかの任意の方式での特定の順序を有することを暗示しない。

【0067】

限られた実施例を参照しながら本発明を説明したが、以上の説明からわかるように、当業者は、ここで説明される本発明の範囲を逸脱せずに、ほかの実施例を想到し得ると理解できる。また、なお、本明細書に使用される言語は主に可読性及び教示の目的のために選択され、本発明の主題を説明又は限定するためのものではない。従って、添付特許請求の範囲の範囲及び精神を逸脱せずに、当業者には種々の修正や変更が明らかになる。本発明の範囲について、本発明は制限的ではなく例示的に開示されており、本発明の範囲は添付特許請求の範囲によって定められる。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】