(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【0005】
本開示に従って、複数の検出器と、各セクションがフレームのシーケンスを生成するために対応する検出器1つによって生成される電荷を供給される複数のユニットセルセクションと、各セクションがユニットセルの対応する1つへ結合される複数組のストレージセクションとを備える焦点面アレイが提供される。ストレージセクションの各組は、フレームを順次に格納する複数のストレージユニットを有する。関心領域セレクタセクションは、複数のユニットセルのフレームを調べて、所定の特性を有する少なくとも1つのフレームを検出する。プロセッサは、(i)所定の特性を有すると検出された少なくとも1つのユニットセルの近くにある複数のユニットセルセクションの中のサブセットを特定し、(ii)定められた関心領域内のユニットセルセクションのサブセットへ結合されているストレージセクション内の複数のストレージユニットを順次に読み出す。
【0006】
そのような構成によれば、有効なエテンデュを大いに増大させる構造が提供される。構造は、イベントを読み出して、イベントの周囲及びそれより前にあるデータの前のフレームを“見返す(look back)”。構造は、センサのFOV内の動き又は変化のエリアにおけるセンサシステムのバンド幅リソースに適用され得る。それは
、イベントの正確な特性を得るために、それらが変化又は移動
した前
のセンサのFOV内の動き又は変化のエリアの観測を可能にするとともに、センサバンド幅をより良く管理するよう窓付きモードで働き始めることができる。
【0007】
一実施形態において、複数の検出器と、各セクションが検出器の対応する1つによって生成される電荷を供給される複数のユニットセルセクションと備える焦点面アレイが提供される。セルの夫々1つは、(i)供給された前記電荷をレートR1での第1の積分/リセットで積分する積分器と、(ii)R2はR1/Mであるとして、低フレームレートR2でフレームを生成するよう複数のM個の前記生成されたフレームを足し合わせる加算器と、(iii)高フレームレートでフレームを生成する高データフレーム出力と前記加算器との間で前記積分された電荷を周期的に切り替えるトグルとを有する。低データレートセクションは、複数のユニットセルの生成された低フレームレートフレームを処理するために、複数のユニットセルによって低フレームレートで生成されたフレームを供給される。高データレートセクションは、複数のユニットセルによって高フレームレートで生成されたフレームへ結合される。前記高データレートセクションは、複数組のストレージセクションを有し、該セクションの夫々1つは、ユニットセルの対応する1つへ結合され、ストレージセクションの各組は、高フレームレートで生成されたフレームを順次に格納する複数のストレージユニットを有する。関心領域セレクタは、所定の特性を有する低フレームレートで生成されたフレームの中の少なくとも1つを検出するよう複数のユニットセルからの低フレームレートで生成されたフレームを調べ、所定の特性を有すると検出されたユニットセルセクションの少なくとも1つの近くにある複数のユニットセルのサブセットを特定して関心領域を定め、該特定されたユニットセルセクションへ結合されているストレージセクション内の複数のストレージユニットを高フレームレートで順次に読み出す。
【0008】
高バンド幅でデータを取得し、同時に低バンド幅でデータを送信することによって、FOR全体にわたって持続性を保つことが可能である。イベントが起こる場合にのみ、システムは、依然としてシステムのバンド幅制約内で動作を維持しながら、イベントを追跡して特性化するよう再構成される。
【0009】
そのような構成によれば、アナログ及びデジタル回路は、所望の高サンプルレートで取得されたFOV全体におけるあらゆるピクセルからのピクセルデータを絶えず読み出し、離散時間サンプリングされたデータを絶えず記憶し、低レートデータで時間フィルタリングを絶えず実行してイベントを検出し、サンプルの積分を絶えず実行し、それらを達成可能なより低いシステムデータレートで外部システムへ読み出すよう機能する。有意なイベントの検出があると、このROIC/プロセッサ(ROICP)は、FOV全体から通常の低レートデータを読み出し続け、イベントの位置の周囲の小さい領域(関心領域(ROI;)Region Of Interest)を(高時間レートで)モニタリングするROIデータストリームをデジタルデータストリームに挿入し、より高いデータレートでイベントより前
の所定の複数のフレームを読み出すことから始めて、より高いデータレートで実時間においてデータを読み出し続ける。
【0010】
このように、システムは、多数の比較的小さいROI窓の高速読み出しを可能にするようフレームごとに複数のROIを特定する能力を備える。
【0011】
本開示の1つ以上の実施形態の詳細は、添付の図面及び以下の記載において説明される。本開示の他の特徴、目的、及び利点は、本明細書及び図面から並びに特許請求の範囲から明らかである。
【発明を実施するための形態】
【0020】
これより
図1及び2を参照すると、焦点面アレイ10、ここでは例えば、凝視型アレイが示されている。焦点面アレイ10は、ここでは貫通シリコンビア(Through Silicon Vias)及び直接接合ハイブリッド形成(Direct Bond Hybridization)を用いて、
図1で示されるようにスタック配置において、電気接点16を介して第1の半導体(ここでは例えば、シリコン)ROIC1チップ14へ貼着されて電気的に接続されている検出器アレイ半導体(ここでは例えば、HgCdTe)チップ12と、電気接点20を介してROIC1チップ14へ貼着されて電気的に接続されている第2の半導体(ここでは例えば、シリコン)ROIC2チップ18とを有する。
【0021】
検出器アレイチップ12は、複数の検出器、ここでは、例えば、
図3Aで示されるように、2048行及び2048列で配置されているEO及び/又はIRダイオード検出器D
1,1乃至D
2048,2048の正方2048×2048アレイを有する。
【0022】
再び
図2を参照すると、ROIC1チップ14は、複数のユニットセル24
1,1乃至24
2048,2048を有する。ユニットセル24
1,1乃至24
2048,2048の夫々1つは、図示されるように、検出器D
1,1乃至D
2048,2048のうちの対応する1つへ結合されている。複数のユニットセル24
1,1乃至24
2048,2048は、ここでは、
図3Bで示されるように、行及び列で配置されている複数のユニットセル24
1,1乃至24
2048,2048の正方2048×2048アレイである。特に、複数のユニットセル24
1,1乃至24
2048,2048は、プロセッシング・コンシダレーションのために、領域、ここでは例えば、
図3Bで示されるように、16個の柱状の領域、領域1乃至領域16に分割されている。
【0023】
再び
図2を参照すると、セル24
1,1乃至24
2048,2048の夫々1つは、構造が同じであり、ユニットセルコントローラ/クロック25からタイミング信号を受信して同時に動作する。その例となる1つ、ここではセル24
1,1は、検出器D1,1によって供給されるリセット可能な積分器26を有するよう示されている。そのような積分器26は、所定のレートR1、ここでは例えば、200Hzでリセットされる。積分器26の出力は、R2がR1/Mであるとして、低フレームレートR2でフレームを生成するよう複数M個の生成されたフレームを足し合わせるために、マルチサンプル加算セクション及びスイッチセクション27へ供給される。ここで、例えば、M=20及びR2は10Hzである。
【0024】
特に、マルチサンプル加算セクション及びスイッチセクション27は、リセット可能な積分器26の出力へ結合されている入力部と、一対の出力部とを備えるトグルスイッチ28を有する。図示されるように、1つの出力部は、マルチサンプル加算セクション及びスイッチセクション27の高フレームレート出力30
1であり、第2の出力部は、キャパシタ34及び直列に接続されているリセット可能な加算器36への低フレームレート出力32
1へ結合されている。リセット可能な加算器36は、上述されたように、R2がR1/Mであるとして、複数M個の生成されたフレームを足し合わせて出力部32
1において低フレームレートR2でフレームを生成するためにレートR2でリセットされる。ここで、例えば、M=20及びR2は10Hzである。低データレート出力32
1,1乃至32
2048,2048は、
図4に関連して詳細に記載される低データレートプロセッサ、MUX及びA/Dコンバータセクション38へ並列に供給される。高データレート出力は、ROIC1チップ14を通じてROIC2チップ18へ供給される。そのようなチップ18は、
図5に関連して詳細に記載される高データレートプロセッサ、潜在的関心領域ストレージセクション、及びA/Dコンバータセクション48を備える。
【0025】
低データレートプロセッサ、MUX及びA/Dコンバータセクション38(
図4)は、複数の、ここでは16個のマルチプレクサ40
1乃至40
16を有する。夫々のマルチプレクサは2048×128の入力を有し、夫々の入力は、16個の領域1乃至16(
図3B)のうちの対応する1つにあるユニットセルによって供給される。よって、例えば、領域1における例となるユニットセル24
1,1〜24
2048,128及び領域16におけるユニットセル24
1,1920〜24
2048,2048(
図3B)を考え、他のユニットセルが同様に接続されていると理解するならば、ユニットセル24
1,1〜24
2048,128の出力32
1,1〜32
2048,128は領域マルチプレクサ40
1へ結合され、ユニットセル24
1,1920〜24
2048,2048の出力32
1,1920〜32
2048,2048は領域マルチプレクサ40
16へ結合される。領域マルチプレクサ40
1乃至40
16は同時に動作し、夫々1つは、その出力部で、2.62MHz=128×2048×10Hzのマルチプレクサレートで順次に供給されたユニットセルからの出力に対して電荷を生成する。よって、例となるマルチプレクサ40
1を考えると、ユニットセル24
1,1〜24
2048,128の出力
321,1〜
322048,128が、2.62MHzレートでマルチプレクサ40
1の出力で順次に現れる。上述されたように、全部で16個のマルチプレクサ40
1乃至40
16は、このようにして同時に動作する。よって、出力の夫々1つは、128×2048のアナログ信号のシーケンスを生成する。
【0026】
16個の領域マルチプレクサ40
1乃至40
16の夫々1つの出力は、128×2048のデジタルワードの16個のストリームを同時に生成するよう、図示されるように、16個のアナログ−デジタルコンバータ42
1乃至42
16のうちの対応する1つへ結合される。128×2048のデジタルワードの夫々1つは、R2×128×2048のレートで出力44
1乃至44
16のうちの対応する1つへ結合される。
【0027】
これより
図5を参照すると、ROIC2チップ18は、高データレートプロセッサ、潜在的関心領域セレクタセクション、及びA/Dコンバータセクション84を有する。特に、高データレートプロセッサ、潜在的関心領域セレクタセクション、及びA/Dコンバータセクション84は、複数の、ここでは2048×2048の分配器50
1乃至50
2048×2048を有する。2048×2048の分配器50
1乃至50
2048×2048の夫々1つは、ユニットセル24
1,1乃至24
2048,2048の高データレート出力30
1,1乃至30
2048,2048(
図2)のうちの対応する1つから夫々電荷を供給される。高データレートプロセッサ、潜在的関心領域セレクタセクション、及びA/Dコンバータセクション84は、複数のアナログストレージセクション52
1乃至52
2048×2048を有する。夫々のアナログストレージセクションは、
図5で示されるように、2048×2048の分配器50
1乃至50
2048×2048のうちの対応する1つへ結合される。ここで、アナログストレージセクション52
1乃至52
2048×2048の夫々1つは、例となるストレージセクション52
1及び52
2048×2048について示されるように、複数の、ここでは例えば、20個のキャパシタC
1乃至C
20を有する。分配器50
1乃至50
2048×2048の夫々1つは、その入力部にある電荷を、200Hzのレートで、自身へ結合されているアナログストレージセクション52
1乃至52
2048×2048のうちの1つにおける20個のキャパシタC
1乃至C
20のうちの対応する1つへ順次に分配する。よって、例となる分配器50
1を考えると、5ミリ秒の第1フレーム期間の間のユニットセル24
1,1(
図2)からの出力30
1,1での高データレートフレームは、最初にキャパシタC
1へ、次いでキャパシタC
2へ、そしてキャパシタC
20まで分配される。その後に、分配プロセスは繰り返す。このようにして、アナログストレージセクション52
1乃至52
2048×2048におけるキャパシタC
1乃至C
20は、検出器D
1,1乃至D
2048,2048(
図3)のアレイ全体にわたる過去20個のフレームを格納する。
【0028】
高データレートプロセッサ、潜在的関心領域セレクタセクション、及びA/Dコンバータセクション84は、低データレートプロセッサ、MUX及びA/Dコンバータセクション38(
図4)から16個の出力44
1乃至44
16を供給される関心領域セレクタセクション60を更に有する。関心領域セレクタセクション60は、所定の特性又はシグニチャを有する1つ以上の検出器を特定するよう、低フレームレートで捕捉されるアレイ内のユニットセルの夫々の1つにおける電荷を調べるために使用される。特定されると、関心領域セレクタセクション60は、関心領域、すなわち、シグニチャを有する特定された1つ以上の検出器及びその特定された1つ以上の検出器の近くにある更なる検出器を含む検出器のアレイ全体の中のサブアレイを生成し、又は“生み出す(spawn)”。ここで、関心領域は、特定された1つ以上の検出器及びその特定された1つ以上の検出器の周りの他の検出器を含む64×64の検出器のサブセットアレイであり、これが生成され又は生み出される。ここで、この例では、所定の特性又はシグニチャは、予め決定されている閾レベルである。すなわち、例えば、バックグラウンドノイズのような、所定の閾値よりも大きい信号を検出する検出器である。よって、ここでは、関心領域セレクタセクション60は、複数の16個の閾検出器64
1乃至64
16を有する。夫々の閾検出器は、低データレートプロセッサ、MUX及びA/Dコンバータセクション38からの16個の出力44
1乃至44
16のうちの対応する1つへ結合される。16個の閾検出器64
1乃至64
16からの出力はROI発生器66、ここでは例えば、ルックアップテーブル、又はリードオンリーメモリ(ROM)へ供給される。ROI発生器66は、シグニチャを有する1つ以上の検出器及びその特定された1つ以上の検出器の近くにある更なる検出器に関連する出力イネーブル/ディセーブルライン68
1乃至68
2048×2048のうちの64×64においてイネーブル信号を生成するようプログラムされる。出力イネーブル/ディセーブルライン68
1乃至68
2048×2048のうちの残り全てのラインは無効にされる。すなわち、ROI発生器66は、特定された1つ以上の検出器及びその特定された1つ以上の検出器の周りの他の検出器を含む検出器の2048×2048アレイ全体のうちの64×64の検出器のサブセットアレイの関心領域を確立し、又は生み出す。
【0029】
アナログストレージセクション52
1乃至52
2048×2048の夫々におけるキャパシタC
1乃至C
20の出力は、示されているように、2048×2048の20:1コミュテータ70
1乃至70
2048×2048のうちの対応する1つへ供給される。コミュテータ70
1乃至70
2048×2048は、コミュテータ70
1乃至70
2048×2048の出力72
1乃至72
2048×2048で夫々、高データレートR
1、ここでは200Hzのレートでアレイ全体から順次にデータの20個のフレームを生成するよう、同時に動作する。出力72
1乃至72
2048×2048の夫々1つは、2048×2048のゲート増幅器74
1乃至74
2048,2048のうちの対応する1つへ夫々結合される。ゲート増幅器74
1乃至74
2048×2048の夫々1つは、示されるように、ROI発生器66の出力イネーブル/ディセーブルライン68
1乃至68
2048×2048のうちの対応する1つから夫々イネーブル/ディセーブル信号を供給される。上述されたように、単一の関心領域に対応する、イネーブル/ディセーブルライン68
1乃至68
2048×2048のうちの64×64のみが、有効にされる。
【0030】
ゲート増幅器74
1乃至74
2048,2048からの出力は、セレクタ78へ供給される。セレクタ78は2048×2048の入力部を備え、夫々の入力部は、示されるように、2048×2048のゲート増幅器74
1乃至74
2048,2048のうちの対応する1つへ結合されている。セレクタ78は、イネーブル/ディセーブルライン68
1乃至68
2048×2048においてイネーブル/ディセーブル信号を更に供給される。セレクタ78は、その出力ライン80
1乃至80
64×64へ、有効にされているゲート増幅器からの出力のみを送る。このようにして、セレクタ78の出力は、特定された関心領域内の検出器の64×64アレイに含まれる検出器のみからの20個の直近のフレームからフレームのシーケンスを生成する。セレクタ78からの64×64の出力は、アナログ−デジタル(A/D)コンバータセクション84によってデジタル信号に変換される。
【0031】
これより
図6を参照すると、システム(
図2)の動作が示されている。よって、アレイ全体における全ての検出器からの光電流は、高サンプリングレート(例えば、200Hz)でユニットセルのうちの夫々の対応する1つの光電流積分器セクションにおいて積分される。幾つかのサンプルにわたって(例えば、20個のサンプル又はフレームにわたって)捕捉された積分された電荷は加算されて、低フレームレート(例えば、毎秒10フレーム)でROIC1へ出力される。低フレームレートでのフレームサンプルは、ROIC1においてA/Dコンバータで対応するデジタルデータサンプルに変換される。
【0032】
アレイ全体におけるセルの夫々1つについての積分された電荷は、ROIC2における複数組のアナログストレージセクションのうちの対応する1つで蓄積される。アナログストレージセクションの夫々は複数のN個のアナログストレージデバイスを有する。サンプルは、Nが整数であるとして、複数のN個の前のフレームを格納するよう、200Hzレートで複数のアナログストレージデバイスの夫々1つにおいて順次に格納される。
【0033】
アレイ内のセルの夫々における積分された電荷は、所定の特性又はシグニチャに関してROIC1から得られる低フレームデータレートで捕捉される。アレイ内のセルの少なくとも1つが所定の特性又はシグニチャを有するかどうかに関して判定がなされる。判定は関心領域セレクタ60において行われる。所定の特性を有するセルのアレイのサブセットが存在する場合には、関心領域が確立され、確立された関心領域における特定されたサブセットに対応する複数のストレージセルのうちの選択されたものに蓄えられている積分された電荷が読み出され、関心領域内のアナログ電荷は高データレートで対応するデジタルデータに変換される。
【0034】
なお、当然ながら、本開示に従うシステムは、複数の検出器と、夫々のセクションが、フレームのシーケンスを生成するために、対応する検出器によって生成される電荷を供給される、複数のユニットセルセクションと、夫々のセクションが前記ユニットセルセクションの対応する1つへ結合される複数組のストレージセクションであって、ストレージセクションの各組が、前記フレームを順次に格納する複数のストレージユニットを含む、前記複数組のストレージセクションと、所定の特性を有する前記フレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションの前記フレームを調べる関心領域セレクタセクションと、(i)関心領域を定めるよう前記所定の特性を有する前記検出されたユニットセルセクションの近くにある前記複数のユニットセルセクションのサブセットを特定し、(ii)前記定められた関心領域内の前記ユニットセルセクションのサブセットへ結合されている前記ストレージセクション内の前記複数のストレージユニットを順次に読み出すプロセッサとを有する。システムは、次の特徴のうちの1つ以上を独立して又は他の特徴と組み合わせて有してよく、前記ストレージユニットの夫々1つがアナログストレージユニットを有すること、前記ストレージユニットの夫々1つがキャパシタを有すること、又は前記ストレージユニットの夫々1つがデジタルストレージユニットを有することを含む。
【0035】
なお、当然ながら、本開示に従う焦点面アレイは、(A)複数の検出器と、(B)複数のユニットセルセクションであって、該セクションの夫々1つが、フレームのシーケンスを生成するために前記検出器の対応する1つによって生成される電荷を供給される、前記複数のユニットセルセクションと、(C)複数組のストレージセクションであって、該セクションの夫々1つが、前記ユニットセルセクションの対応する1つへ結合され、ストレージセクションの各組が、(i)前記フレームを順次に格納する複数のストレージユニットを有する、前記複数組のストレージセクションと、(D)所定の特性を有する前記複数のユニットセルセクションによって生成された前記フレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションの前記フレームを調べる関心領域セレクタと、(E)(i)関心領域を定めるよう前記所定の特性を有すると検出された前記ユニットセルセクションの前記少なくとも1つの近くにある前記複数のユニットセルセクションのサブセットを特定し、(ii)前記定められた関心領域内の前記ユニットセルセクションのサブセットへ結合されている前記ストレージセクション内の前記複数のストレージユニットを順次に読み出すプロセッサとを有する。
【0036】
なお、更に当然ながら、本開示に従う焦点面アレイは、(A)複数の検出器と、(B)複数のユニットセルセクションであって、該セクションの夫々1つが、前記検出器の対応する1つによって生成される電荷を供給され、前記セルセクションの夫々1つが、(i)供給された前記電荷をレートR1での第1の積分/リセットで積分する積分器と、(ii)R2はR1/Mであるとして、低フレームレートR2でフレームを生成するよう複数のM個の前記生成されたフレームを足し合わせる加算器と、(iii)高フレームレートでフレームを生成する高データフレーム出力と前記加算器との間で前記積分された電荷を周期的に切り替えるトグルとを有する、前記複数のユニットセルセクションと、(C)前記複数のユニットセルセクションの生成された低フレームレートフレームを処理するために、前記複数のユニットセルセクションによって前記低フレームレートで生成されたフレームを供給される低データレートセクションと、(D)前記複数のユニットセルセクションによって前記高フレームレートで生成されたフレームへ結合される高データレートセクションであって、(i)複数組のストレージセクションであって、該セクションの夫々1つが、前記ユニットセルセクションの対応する1つへ結合され、ストレージセクションの各組が、前記高フレームレートで生成されたフレームを順次に格納する複数のストレージユニットを有する、前記複数組のストレージセクションと、(ii)所定の特性を有する前記低フレームレートで生成されたフレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションからの前記低フレームレートで生成されたフレームを調べ、関心領域を定めるよう前記所定の特性を有すると検出された前記ユニットセルセクションの少なくとも1つの近くにある前記複数のユニットセルセクションのサブセットを特定し、該特定されたユニットセルセクションへ結合されている前記ストレージセクション内の前記複数のストレージユニットを前記高フレームレートで順次に読み出す関心領域セレクタとを有する高データレートセクションとを有する。焦点面アレイは、(A)複数組のストレージセクションであって、該セクションの夫々1つが、前記ユニットセルセクションの対応する1つへ結合され、ストレージセクションの各組が、(i)前記フレームを順次に格納する複数のストレージユニットを有する、前記複数組のストレージセクションと、(B)所定の特性を有する前記複数のユニットセルセクションによって生成された前記フレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションの前記フレームを調べる関心領域セレクタと、(C)(i)関心領域を定めるよう前記所定の特性を有すると検出された前記ユニットセルセクションの前記少なくとも1つの近くにある前記複数のユニットセルセクションのサブセットを特定し、(ii)前記定められた関心領域内の前記ユニットセルセクションのサブセットへ結合されている前記ストレージセクション内の前記複数のストレージユニットを順次に読み出すプロセッサとを更に有する。
【0037】
本開示の多数の実施形態が記載されてきた。それでもなお、様々な変更が、本開示の主旨及び適用範囲から逸脱することなしになされてよいことが理解されるであろう。例えば、アナログストレージユニットが記載されているが、電荷は、対応するデジタル信号に変換されてよく、その場合に、ストレージユニットはデジタルストレージユニットである。更に、同じ又は異なったシグニチャを有する複数の関心領域セレクタセクションは、対応する複数の関心領域が同時に観測されることを可能にするよう含まれてよい。また更に、他のデータレート及びプロセッシングレート、並びに回路素子が使用されてよい。然るに、他の実施形態は、特許請求の範囲の適用範囲内にある。