特許 6994501 画素データとノイズ信号の比較をオーバーサンプリングすることによる画素情報リカバリ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-15

(45)【発行日】2022-01-14

(54)【発明の名称】画素データとノイズ信号の比較をオーバーサンプリングすることによる画素情報リカバリ

(51)【国際特許分類】

   H04N 5/369 20110101AFI20220106BHJP

   G01B 11/00 20060101ALI20220106BHJP

【ＦＩ】

H04N5/369

G01B11/00 H

【請求項の数】 15

(21)【出願番号】P 2019510418

(86)(22)【出願日】2017-10-31

(65)【公表番号】

(43)【公表日】2019-12-12

(86)【国際出願番号】 US2017059194

(87)【国際公開番号】W WO2018093560

(87)【国際公開日】2018-05-24

【審査請求日】2020-06-09

(31)【優先権主張番号】15/353,936

(32)【優先日】2016-11-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514145729

【氏名又は名称】ノースロップ グルマン システムズ コーポレーション

【氏名又は名称原語表記】ＮＯＲＴＨＲＯＰ ＧＲＵＭＭＡＮ ＳＹＳＴＥＭＳ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100082072

【弁理士】

【氏名又は名称】清原 義博

(72)【発明者】

【氏名】クルトゥラン，デンポール

【審査官】大室 秀明

(56)【参考文献】

【文献】特表２００３－５１０５６１（ＪＰ，Ａ）

【文献】米国特許第０６３２３９４２（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１６／０３０９０９９（ＵＳ，Ａ１）

【文献】特開平０７－２３９３８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ１１／００－１１／３０

Ｈ０４Ｎ ５／３０－５／３７８

(57)【特許請求の範囲】

【請求項1】

電子光処理セルであって、該電子光処理セルは：
フォトセンサユニットであって、フォトセンサに当たる光の量に比例したアナログ電気出力を供給するフォトセンサユニット；
フォトセンサユニットからの出力と無相関のノイズ出力を供給するノイズ源；
コンパレーターであって、画像のフレーム中において複数回、アナログ電気出力およびノイズ出力を比較し、各比較を示す２値デジタル出力を供給する、コンパレーター；
デジタルカウンターであって、フレーム中に２値デジタル出力をカウントし、フレームの終わりにカウントを格納し、格納されたカウントの値はフォトセンサに当たる光と比例し、格納されたカウント値はフレーム内の様々な位置を表わす複数のそのような値に基づいて画像をレンダリングするための画像処理装置の使用に適している、デジタルカウンター
を含む電子光処理セル。

【請求項2】

各フレーム中に複数のクロック出力をもたらすクロックジェネレーター、およびクロック出力間の与えられた状態で２値デジタル出力を保持するデジタルラッチをさらに含む、請求項１に記載の電子光処理セル。

【請求項3】

カウンター値が増加する割合を縮小するために予定値に到達している格納されたカウント値に基づいてアナログ電気出力のレベルを変更するオートゲインコントロール（ＡＧＣ）回路をさらに含む、請求項１に記載の電子光処理セル。

【請求項4】

フォトセンサはそれ自体の出力としてアナログ電気出力を持つアンプを含み、ＡＧＣ回路はアンプの増幅定数を縮小し、アナログ電気出力の規模を縮小し、したがってカウンターがインクリメントされる割合を縮小する、請求項３に記載の電子光処理セル。

【請求項5】

２値デジタル出力を十分にオーバーサンプリングするためにフレーム中のクロック出力数は４０９６より多く、それによって各フレームの終わりにカウンターによって保持されたカウントが、フレーム中にフォトセンサに当たる光の規模と比例する値を示す、請求項２に記載の電子光処理セル。

【請求項6】

画像のフレーム中にフォトセンサに当たる光の規模と比例するデジタル値を生成するための方法であって、該方法は：
フォトセンサに当たる光の量に比例したアナログ電気出力を生成する工程；
アナログ電気出力と無相関のノイズ出力を生成する工程；
各フレーム中に複数回、アナログ電気出力とノイズ出力を比較し、各比較を表す２値デジタル出力を生成する工程；
各フレーム中に２値デジタル出力をカウントし、フレームの終わりにカウントを格納する工程であって、格納されたカウントの値はフォトセンサに当たる光と比例し、格納されたカウントの値は画像をレンダリングするために画像処理装置による使用に適している、工程
を含む方法。

【請求項7】

各フレーム中に複数のクロック出力を生成し、クロック出力間の与えられた状態で２値デジタル出力を保持するためにデジタルラッチを使用する工程をさらに含む、請求項６に記載の方法。

【請求項8】

カウント値が増加する割合を縮小するために予定値に到達する格納されたカウンター値に基づいてアナログ電気出力のレベルを変更するオートゲインコントロール（ＡＧＣ）を供給する工程をさらに含む、請求項６に記載の方法。

【請求項9】

それ自体の出力としてアナログ電気出力を持つアンプを使用する工程であって、ＡＧＣはアンプの増幅定数を縮小し、アナログ電気出力の規模を縮小し、したがってカウントの割合を縮小させる、工程をさらに含む、請求項８に記載の方法。

【請求項10】

フレーム中のクロック出力数は４０９６より多く、かつ２値デジタル出力を十分にオーバーサンプリングし、それによって各フレームの終わりのカウントがフレーム中にフォトセンサに当たる光の規模と比例する値を示す、請求項７に記載の方法。

【請求項11】

電子機器であって、該電子機器は：
光のパルスを出力する発光源；
フォトセンサに当たる光の規模に比例したアナログ電気出力を供給するフォトセンサユニット；
フォトセンサユニットからの出力と無相関のノイズ出力を供給するノイズ源；
コンパレーターであって、アナログ電気出力およびノイズ出力を比較し、標的からの光パルスの反射に対応する反射された光パルスを感知するフォトセンサユニットを表す２値デジタル出力を供給する、コンパレーター；
予定周波数をもつ連続するクロック信号を出力するクロック；
クロックとコンパレーターに連結されているデジタルカウンターであって、１つの光パルスの生成とコンパレーターからの２値デジタル出力との間に画定されているフレーム中に生じるクロック信号の数をカウントし、その数の値は標的から反射された光のパルスがフォトセンサユニットに到達するために必要な時間に比例する、デジタルカウンター
を含む電子機器。

【請求項12】

反射された光パルスの既知の移動速度および反射された光パルスがフォトセンサユニットに到達するのに必要な時間に基づいて、値をフォトセンサユニットからの標的の距離へと変換する距離換算装置をさらに含む、請求項１１に記載の電子機器。

【請求項13】

判定された距離の正確性を高めるためにフレーム中のクロック信号の予定周波数は４０９６より多い、請求項１２に記載の電子機器。

【請求項14】

標的までの距離を判定するための方法であって、該方法は：
光のパルスを生成する工程；
フォトセンサに当たる光に比例したアナログ電気出力を生成する工程；
アナログ電気出力と無相関のノイズ出力を生成する工程；
アナログ電気出力およびノイズ出力を比較し、その標的からの光パルスの反射に対応する反射された光パルスを感知するフォトセンサユニットを表す２値デジタル出力を供給する工程；
予定周波数をもつ連続するクロック信号を生成する工程；
１つの光パルスの生成とコンパレーターからの２値デジタル出力との間に画定されているフレーム中に生じるクロック信号の数をカウントする工程であって、その数の値は標的から反射された光のパルスがフォトセンサユニットに到達するために必要な時間に比例する、工程；
反射された光パルスの既知の移動速度、および値と予定周波数に基づいて反射された光パルスがフォトセンサへ到達するために必要な時間に基づいて、値をフォトセンサから標的までの距離へと変換する工程
を含む方法。

【請求項15】

判定された距離の正確性を高めるためにフレーム中のクロック信号の予定周波数は４０９６より多い、請求項１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、個々の画素位置からの出力またはイベント検出のリカバリに関連し、より具体的には単位セルからのアナログ電圧をデジタル化する技術に関する。一実施形態では、単位セルのコンデンサーは必要ではない。

【背景技術】

【0002】

アレイ中の個々のフォトディテクタからアナログ電流出力をデジタル化する一般的な技術は、比例電圧レベルへ電流出力を統合するためにコンデンサーを使用し、比例電圧レベルはその後アナログデジタル変換器によってデジタル信号に変換される。ピッチ、つまり隣接したフォトディテクタ間の距離、がより鮮明な画像解像度の増加を達成するために小さくなるほど、コンデンサーに利用可能な結果として生じる領域がより小さくなり、それにより、より少ない容量値を用いたコンデンサーの使用に結びつくことができる。これは、フォトディテクタの処理のダイナミックレンジおよび性能を下げかねない。したがって、一層密なフォトディテクタアレイおよび１つのセル位置当たりに関連する領域制限を適応可能にする必要性がある。

【発明の概要】

【0003】

本発明は、この必要性を満たすことを目的とする。

【0004】

典型的な電子光処理セルは、フォトセンサに当たる光の量に比例したアナログ電気出力を供給するためにフォトセンサユニットを使用する。ノイズ源は、各比較を表す２値デジタル出力を生成するために、コンパレーターによって画像フレーム中において複数回、アナログ電気出力と比較されるノイズ出力を供給する。デジタルカウンターはフレーム中に２値デジタル出力をカウントし、フレームの終わりにカウントを格納し、格納されたカウントの値はフォトセンサに当たる光と比例する。格納されたカウントの値は画像をレンダリングするための画像処理装置による使用に適している。

【0005】

本発明の別の実施形態は、上記の実施形態で概して述べられている工程を行なうための典型的な方法を含む。

【図面の簡単な説明】

【0006】

本発明の典型的な実施の特徴は、請求項、および添付の図面から明らかとなる。

【図1】図１は、本発明のフォトディテクタ中のセルの典型的な実施形態のブロック図である。

【図2】図２は、アレイ中のセルの典型的な相互接続を示すダイアグラムである。

【図3】図３は、セルの典型的なＸ－Ｙアレイを図示する。

【図4】図４は、図１の実施形態に類似する別の典型的な実施形態のブロック図である。

【発明を実施するための形態】

【0007】

本発明の１つの様態はフォトディテクタのアレイ内の各セル中に利用可能な徐々に小さくなるエリアに適応させること、および各セルで要求される総領域の縮小に対する阻害要因を取り除くために各セル位置においてコンデンサーおよびＡ／Ｄ変換器を使用する要求を排除する異なるアプローチに起因することに関連する問題の認識に帰している。

【0008】

典型的な回路および要素の相互関係を概して特定した後、回路のオペレーションが説明される。典型的なピクセルセンサ（１０５）は、それに当たる光（１１０）の量に比例する出力電流を供給する。トランスインピーダンスアンプ（１１５）はピクセルセンサ（１０５）からの出力電流を、コンパレーター（１２５）の１つの入力に連結される対応する比例電圧出力へと変換する。コンパレーター（１２５）の他の出力は、検出ために望まれる最小のセンサアナログ電圧よりも小さな規模および、望ましいフレームレートより何倍も速いオーバーサンプリング比（ＯＳＲ）、例えば４０９６-１６，３８４のＯＳＲである周波数を持つ均一な無相関ノイズ電圧を受信する。コンパレーター（１２５）の出力は、クロックドフリップフロップ（１３５）のデータ（Ｄ）入力に接続される。フリップフロップ（１３５）の出力（Ｑ）は、アップ／ダウンカウンター（１４０）のアップ／ダウンカウンター入力に連結される。カウンター（１４０）からの直列出力（１４５）はラッチ（１５５）を介してデータ出力（Ｄｏｕｔ）（１６０）に連結される。カウンター（１４０）によって保持されたカウントの最上位ビットの一部だけを含む、カウンター（１４０）からの別の出力（１５０）は、アンプ（１１５）の自動利得制御（ＡＧＣ）の一部としての使用するためにこの値を保持するラッチ（１５５）に連結される。このラッチされたデジタル値は、アンプ（１１５）に渡って接続するために、異なる値をつけられた抵抗器（１７２）、（１７３）、（１７４）および（１７５）のうちの１つを選択する選択器（１２０）の制御入力（１７０）にライン（１６５）経由で連結される。異なる値の抵抗器は、アンプ（１１５）の増幅する相応して異なるレベルを判定する。次の入力／ラインは以下の様に使用される：クロック（１８０）、データイネーブル（１８２）、リードイネーブル（１８４）およびデータイン（１８６）。

【0009】

ノイズ源（１３０）からの電圧レベル変動は上記のような規模および周波数を持つように選択されている。この目的は、ノイズ信号により寄与された累積平均値がフリップフロップ（１３５）からのＱ出力カウントに対してほぼ０になるように十分な程度で、オーバーサンプリングを行うことである。クロック信号のフレームの終わりにカウンター（１４０）に蓄積および格納されるアップダウンカウントはフォトセンサ（１０５）の出力に比例する。ロジック１がその入力にある場合、つまり増幅されたフォトセンサ出力がノイズレベルより大きい時に、カウンターはインクリメントする。カウンター（１４０）は求められるサンプルレートと解像度に依存する望ましいビット長、例えば８－１２ビット、である可能性がある。カウンターは、フレームの終わりに、相応するフォトセンサ（１０５）の出力を表す２進数を保持する。データイネーブル（１８２）とリードイネーブル（１８４）はデータをカウンター（１４０）（および他のセルの他のカウンター）に書き込み、データをカウンター（１４０）から読み出すことを可能にするためにカウンター（１４０）によって使用される。データイン（１８６）（Ｄｉｎ）はカウンターにデジタルデータを運ぶために使用される。これは、フレームの終わりに、各カウンターからの出力を結果として生じる最終の画像を作り出すためにフォトセンサからのデータをさらに処理する処理装置のメモリへと出力を直列的に転送し、格納されたデータ出力を直列連鎖内の各セルの１つのカウンターから直列連鎖内の次のカウンターへ運ぶことができる。アンプ（１１５）は別のタイプのフォトセンサが使用される際、十分な電圧範囲がコンパレーター（１２５）のオペレーションのためのセンサから直接利用可能な場合に必要ではない場合がある。

【0010】

アンプ（１１５）からの出力レベルのＡＧＣが供給される。ラッチ（１５５）は、入力（１５０）を介して最上位ビット（ｍｓｂ）の数Ｒ、例えばＲ＝２ｍｓｂ、をカウンター（１４０）から受信する。このＲ２進数は、アンプ１１５の利得を判別するできる限り異なるレジスタ値Ｓ、例えばＳ＝４、のうちの１つを選択するためにセレクタ（１２０）によって解釈される。これは、数Ｒが増加する際、例えば、Ｒの数が、０（標準あるいは利得の減少なし）から１まで、０から２まで、および最後に０から３まで（２ビットのＲの数を仮定する）増加することができると、アンプ（１１５）周辺のフィードバックループ中の減少している抵抗値を選択することにより、アンプの利得がＲビット数値の比率を減少させることを可能にする。「０」のＲ値は、ｍｓｂが０から１まで更に小さく変更されている規模にカウントが未だに到達していないことを示す。与えられたフレームの端部でのカウントは、増幅時の各フォトセンサに対する光レベルが、対応するＡＧＣ補償を開始するための光レベルに届かなかったことを表すＲの０値を結果としてもたらしうる。ＡＧＣ動作は将来的な増幅出力の相応する減少という結果をもたらし、そしてフレーム中にカウンター（１４０）によって保持することができるビットの数の起こりうるオーバーフローを防ぐために、ＡＧＣを供給する。この例において、ＡＧＣ動作は、０から１に変化するカウンター（１４０）によって保持された最上位ビットの小さな方に基づいて引き起こされる。アンプ利得のさらなる減少は、ｍｓｂ数値がカウンターにおいて増大すると適応されるダイナミックＡＧＣ動作がもたらされる。あるいは、ＡＧＣ制御は以下に基づくある場合がある：デジタルの代わりにアナログ、ｍｓｂに基づくアナログ電圧の生成による制御レベル、アンプフィードバックループで使用される抵抗に代わる静電容量値における変化をＡＧＣ動作を開始し制御する異なる数のｍｓｂデジット、および様々なダイナミックレンジはフィードバック要素おける非線形工程／変動による非線形アンプ利得制御等による非線形ＡＧＣ応答を含む場合がある。万が一アンプ／コンバータ（１１５）が異なるタイプのフォトセンサの使用等により必要でなければ、ＡＧＣは今までどおり、制御可能なレベルの低電圧化をする選択可能な分圧器等によってセンサからの信号レベルを変動させることにより実行することができる。

【0011】

図２は、典型的な相互に連結したセル（２０５）、（２１０）、（２１５）および（２２０）のアレイ（２００）を示す。これらのセルの各々は、図１に関して記載されるものに類似してもよい。画像出力の観点から、これらのセルは直列で接続される。すなわち、セル（２０５）の対応するフォトセンサによって感知された光を表わすデジタル出力（Ｄｏｕｔ）は、次の隣接セル（２１０）のデジタル入力（Ｄｉｎ）で接続される。Ｎセル（２２０）の出力（Ｄｏｕｔ）（２２５）が直列で最終セルを表すように、Ｎセルの各々は直列で接続される。例えば、これらの直列的なセルの各々は、行と列に整列されたセルのＸ－Ｙアレイの１つの行における異なるフォトセンサと対応しうる。画像フレームの終わりにセルの各々のカウンターに存在する２進数は、出力（２２５）が画像処理装置（２３０）のメモリ（２３５）へ直列入力を供給するように、直列的にセル間でクロックされる。したがって、画像フレームのおわりに、メモリ（２３５）はＮセルの各々に関連するカウンター値を含む。同様に、アレイ中の他の行の各々に関連したＮセルはまた、画像処理装置（２３０）がアレイ中のフォトセンサの各々に対応する感知された情報を表す対応するデジタル数を利用可能にするように、画像フレームの終わりにメモリ（２３５）（あるいは他の対応するメモリ）へ運ばれる。画像処理装置（２３０）はディスプレイのため等の最終フレーム画像をレンダリングする前に、様々な既知である画像処理の増強を適用する場合がある。この例において、画像処理装置（２３０）のクロック（２４０）はアレイ中のセルの各々にマスタークロックを供給する。画像処理装置（２３０）はマイクロプロセッサー、リードオンリーメモリ、ランダムアクセスメモリおよび外部要素を用いるデジタル情報の受信および送信ための入出力モジュールを含んでいる場合もある。

【0012】

オフセットデータメモリ（２４５）は直列で第１のセルのデータ入力（Ｄｉｎ）に連結され、および異なるフォトセンサの感度を標準化するための、例えばいわゆる「暗電流」を中和するための、補償に使用される直列的に接続されたセル各々に関連したデジタル値を包含する場合もある。それぞれのフォトセンサ中の暗電流または他の差異性を中和するために、それぞれのデジタル値は画像フレームの開始前により先にセルのカウンターの各々に連続的にクロックされる場合がある。第２のメモリ（２４５）が示されているが都合が良い場合は、メモリ（２３５）にデータのセットのそれぞれを格納することができる。このオフセット値は比較的一定の場合、それぞれのセルに個々に格納され、画像フレームの開始時にそれぞれのカウンターに読み込むことができる。画像処理装置（２３０）のメモリに格納された既知のアルゴリズムは、セルからのメモリ（２３５）へのデジタルデータのクロッキング、およびオフセット補償を提供するためのそれぞれのセルのカウンターへのオフセットデータのクロッキングを制御するために活用されうる。

【0013】

図３は画像取り込みセルの典型的なＸ－Ｙアレイ（３００）を表わす。この典型的なアレイは、８つの行（３０５）および 列（３１０）を含んでおり、それぞれがフォトセンサを含んでいるセル各々からなる。この典型的なアレイ構成では、それぞれの行内のセルの各々に関連した、感知された情報を含む８つのデータ出力（Ｄｏｕｔ）（３１５）が提供される。それぞれのカウンターからの情報のクロッキングの速度を上げるために、８つそれぞれの行からの出力はメモリ（２３５）（あるいはレジスタ）へと並列でクロックされ、および最終画像出力を生成する際に画像処理装置（２３０）による使用のために格納される。あるいは、十分な接続が利用可能で、感知された情報を受信するメモリに収容能力がある場合、動作の速度を向上させるためにカウンター値の各セルからの並列転送を使用することがある。あるいは、データ転送の速度が特定の用途に対する懸念でない場合、すべてのセルは直列で接続され、各セルからの出力はさらなる処理のため、単一出力通信回線を介してメモリまたはレジスタへとクロックされうる。

【0014】

図４は、図１の実施形態（１００）に類似した、別の典型的な実施形態（４００）のブロック図である。実施形態（４００）の要素は実施形態（１００）に関して上述されるように同様に作動する。実施形態（４００）は、標的までの時間（ｔｉｍｅ ｔｏ ｔａｒｇｅｔ）あるいは飛行時間（ＴＯＦ）のモードを提供する。光源、例えばレーザー（４０５）は標的に向けられた光のパルス（４０７）を出力する。光のパルス（４０７）の出力の開始は、パルス制御回路（４１０）によって制御される。光パルス（４１５）は、標的からの光のパルス（４０７）の戻り反射を表わす。フォトセンサ（１０５）は反射されたパルス（４１５）を感知することに利用される。パルス制御（４１０）からの出力（４２０）が、飛行時間モードイネーブル信号に対応するライン（１８２）に連結された信号をカウンター（１４０）へ供給する。この信号は例示されたイベント信号（４２５）に対応し、そこでは１から０への推移がレーザーパルスの開始に対応する。本実施形態において、反射されたパルス（４１５）からの重要な信号だけがコンパレーター（１２５）の状態変化を引き起こし、従ってラッチ１３５のＱ出力で出力をもたらすように、均一のノイズ源（１３０）の規模は調節される。本実施形態において、ライン（１８２）上で０信号により可能にされるようなカウンター（１４０）は、レーザー（４０５）によるパルス（４０７）の伝達から生じるクロック周期（４３５）の数の継続的なカウント（４３０）を始める。戻りパルス（４１５）が感知される際、ラッチ（１３５）からのＱ出力は状態を変化させ、およびカウンター（１４０）の「アップ／ダウン」入力に信号を供給する。実施形態（１００）と異なり、実施形態（４００）では、カウンター（１４０）の「アップ／ダウン」入力へのこの入力はカウンターによるさらなるカウントを阻害するために活用され、したがってカウンター（１４０）のカウント値を、光パルス（４０７）の伝達と戻りパルス（４１５）の検出との間の生じるクロック周期の数にラッチする。クロックの周波数は一定かつ既知であるので、カウント値は標的間のラウンド・トリップ時間に比例する。これは、標的への距離が、標的までの時間（１／２のラウンド・トリップ時間）およびレーザーパルスの既知の速度に基づいて、算出されることを可能にする。本実施形態において、距離計算装置、例えばマイクロプロセッシングユニット、はクロックパルスの既知の周波数に基づいた値をラウンド・トリップ時間に変換すること、標的からセンサまでの時間を判定するためにラウンド・トリップ時間に０．５を掛けること、および距離（フィート、マイル等）を得るためにその時間に対しレーザーパルスの移動の格納された既知の速度を掛け合わせることによって標的までの距離を算出する。

【0015】

本発明の典型的な実施が本明細書で表され、かつ詳細に記述されてきたが、本発明の趣旨から逸脱することなく様々な変更、追加、置換などがなされうることは当業者に明白である。例えば、センサは、いくつかのアクティブモード・ユニット・センサおよびいくつかのパッシブモード・ユニット・センサを持つ、マルチモードセンサの場合でもよい。本発明の範囲は以下の請求項で定義される。

【図1】

【図2】

【図3】

【図4】