特表 2023-546673 インテグレーション中のポーリングを利用することによるデジタルピクセルのダイナミックレンジの増加

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-07

(54)【発明の名称】インテグレーション中のポーリングを利用することによるデジタルピクセルのダイナミックレンジの増加

(51)【国際特許分類】

   H04N 25/772 20230101AFI20231030BHJP

   H04N 25/78 20230101ALI20231030BHJP

【ＦＩ】

H04N25/772

H04N25/78

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023524535

(86)(22)【出願日】2021-11-02

(85)【翻訳文提出日】2023-04-21

(86)【国際出願番号】 US2021057650

(87)【国際公開番号】W WO2022108748

(87)【国際公開日】2022-05-27

(31)【優先権主張番号】16/950,488

(32)【優先日】2020-11-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】503455363

【氏名又は名称】レイセオン カンパニー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ハリス，ミッキー

(72)【発明者】

【氏名】モクタリ，ロヤ

(72)【発明者】

【氏名】コスタ，ジュリエッテ

(72)【発明者】

【氏名】コスタ，ジョセフ

(72)【発明者】

【氏名】ボーヴィル，エリック

(72)【発明者】

【氏名】デヴィット，ジョン

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CX43

5C024GX18

5C024HX23

5C024HX29

5C024HX32

5C024HX35

5C024HX51

5C024JX45

(57)【要約】

画像センサのピクセルに関連付けられたデジタルカウンタの少なくとも１つのビットを周期的に読み取るデジタル回路が提供される。特定のデジタルカウンタのリードビットが、その後の読み取りの間に減少すると、デジタル回路は、特定のデジタルカウンタに関連付けられたオーバーフローカウンタをインクリメントする。デジタル回路のオーバーフローカウンタそれぞれの値は、フレーム（画像とも称される）についてピクセル値を生成するために、デジタルカウンタの対応する値と共に使用される。

【特許請求の範囲】

【請求項1】

ビデオフレームのダイナミックレンジを増加させるためにデジタル回路を使用して実行される方法であって、前記方法は、
撮像システムの複数のデジタルカウンタそれぞれに関連付けられたオーバーフローカウンタを保管するステップであり、
前記デジタルカウンタそれぞれは、前記撮像システムのピクセルのそれぞれ１つと関連付けられて、通信し、かつ、
前記デジタルカウンタそれぞれは、前記ピクセルのそれぞれ１つから受信される信号に基づいてデジタルカウンタ値を保管するように構成されており、
前記複数のデジタルカウンタそれぞれに対して、
複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを周期的に読み取り、
前記複数の反復のうち１つの反復からの前記デジタルカウンタ値の前記少なくとも１つのビットを、前記複数の反復のうち以前の反復と比較する、
ステップと、
前記デジタルカウンタ値の前記少なくとも１つのビットによって表される値が、前記以前の反復から前記１つの反復へ減少した場合に、
前記デジタル回路の関連するオーバーフローカウンタをインクリメントするステップと、
前記ビデオフレームの少なくとも１つのピクセル値として、前記複数のデジタルカウンタおよび前記関連するオーバーフローカウンタのうち少なくとも１つからの前記デジタルカウンタ値を、変換し、かつ、出力するステップと、
を含む、方法。

【請求項2】

前記少なくとも１つのビットは、前記デジタルカウンタ値の全てのビットよりも小さい、
請求項１に記載の方法。

【請求項3】

前記少なくとも１つのビットは、前記デジタルカウンタ値の最上位ビットのみである、
請求項２に記載の方法。

【請求項4】

前記方法は、さらに、
複数のピクセルそれぞれについて、前記ピクセルによって生成された電荷を、それぞれのピクセルに関連付けられた複数の電気蓄積装置のうちの１つに保管するステップと、
それぞれの電気蓄積装置における累積電荷が、既定の閾値を超えているか否かを周期的に判定するステップと、
前記それぞれの電気蓄積装置における累積電荷が、既定の閾値を超えているとの判定に応答して、
既定の電荷低減量だけ前記それぞれの電気蓄積装置に保管された電荷を低減するステップと、
前記デジタルカウンタに保管され、かつ、前記それぞれのピクセルに関連付けられた複数のデジタルカウンタ値のうちの１つをインクリメントするステップと、
を含む、請求項１乃至３いずれか一項に記載の方法。

【請求項5】

前記ピクセルそれぞれは、さらに、ピクセル上に衝突する光に応答して、前記電荷を生成するように構成された光検出器、を含み、かつ、
前記方法は、さらに、
前記ピクセルのうち少なくとも１つの前記光検出器に衝突する光の強度に基づいて、前記デジタル回路が、複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを読み取る期間の持続時間を決定するステップ、を含む、
請求項４に記載の方法。

【請求項6】

期間の持続時間は、ピクセルの中で最も高い強度の光を受けているピクセルの前記光検出器の上に衝突している光の強度に基づいて決定される、
請求項５に記載の方法。

【請求項7】

前記方法は、さらに、
前記複数のピクセルそれぞれについて、前記複数のピクセルそれぞれの、前記それぞれの電気蓄積装置における残余電荷をアナログ信号へと周期的に変換するステップと、
複数のアナログ－デジタル変換器のうち１つを使用して、各ピクセルからの前記アナログ信号をそれぞれのデジタルバイナリ値へと変換するステップであり、
前記複数のアナログ－デジタル変換器それぞれは、入力および出力を有しており、
前記複数のアナログ－デジタル変換器それぞれは、入力を介して、前記複数のピクセルのうちの対応する１つの前記それぞれの電気蓄積装置に結合されている、
ステップと、を含み、
前記各デジタルバイナリ値は、前記複数のデジタルカウンタおよび前記関連するオーバーフローカウンタのうち少なくとも１つを、前記ビデオフレームの前記少なくとも１つのピクセル値へと変換する際に、追加的に使用される、
請求項４乃至６いずれか一項に記載の方法。

【請求項8】

ビデオフレームのダイナミックレンジを増加させるためのデジタル回路であって、前記デジタル回路は、
撮像システムの複数のデジタルカウンタそれぞれに関連付けられたオーバーフローカウンタを保管し、
前記デジタルカウンタそれぞれは、前記撮像システムのピクセルのそれぞれ１つと関連付けられて、通信し、かつ、
前記デジタルカウンタそれぞれは、前記ピクセルのそれぞれ１つから受信される信号に基づいてデジタルカウンタ値を保管するように構成されており、
前記複数のデジタルカウンタそれぞれに対して、
複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを周期的に読み取り、
前記複数の反復のうち１つの反復からの前記デジタルカウンタ値の前記少なくとも１つのビットを、前記複数の反復のうち以前の反復と比較する、
ように構成されており、かつ、
前記デジタルカウンタ値の前記少なくとも１つのビットによって表される値が、前記以前の反復から前記１つの反復へ減少した場合に、関連付けられたオーバーフローカウンタをインクリメントする、
ように構成されている、デジタル回路。

【請求項9】

前記少なくとも１つのビットは、前記デジタルカウンタ値の全てのビットよりも小さい、
請求項８に記載のデジタル回路。

【請求項10】

前記少なくとも１つのビットは、前記デジタルカウンタ値の最上位ビットのみである、
請求項９に記載のデジタル回路。

【請求項11】

前記ピクセルそれぞれは、さらに、ピクセル上に衝突する光に応答して、電荷を生成するように構成された光検出器、を含み、かつ、
前記デジタル回路が、複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを読み取る期間の持続時間は、前記ピクセルのうち少なくとも１つの前記光検出器に衝突する光の強度に基づいて、決定される、
請求項８乃至１０いずれか一項に記載のデジタル回路。

【請求項12】

期間の持続時間は、ピクセルの中で最も高い強度の光を受けているピクセルの前記光検出器の上に衝突している光の強度に基づいて決定される、
請求項１1に記載のデジタル回路。

【請求項13】

撮像システムであって、
ピクセルのアレイであり、前記ピクセルそれぞれは、
光電流からの電荷を蓄積するように構成された電気蓄積装置、および、
前記電気蓄積装置に結合され、かつ、前記電荷をアナログ量子化イベント信号に変換するように構成されている量子化回路、
を含む、ピクセルのアレイと、
前記ピクセルのアレイに対応する複数のデジタルカウンタであり、
前記デジタルカウンタそれぞれは、前記ピクセルのそれぞれ１つと関連付けられて、通信し、かつ、
前記デジタルカウンタそれぞれは、前記ピクセルのそれぞれ１つからの前記アナログ量子化イベント信号の受信に応答して、デジタルカウンタ値を保管する、
ように構成されている、複数のデジタルカウンタと、
前記複数のデジタルカウンタそれぞれに関連付けられたオーバーフローカウンタを保管するデジタル回路であり、前記複数のデジタルカウンタそれぞれに対して、
複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを周期的に読み取り、
前記複数の反復のうち１つの反復からの前記デジタルカウンタ値の前記少なくとも１つのビットを、前記複数の反復のうち以前の反復と比較し、かつ、
前記デジタルカウンタ値の前記少なくとも１つのビットによって表される値が、前記以前の反復から前記１つの反復へ減少した場合に、関連するオーバーフローカウンタをインクリメントする
ように構成されている、デジタル回路と、
を含む、撮像システム。

【請求項14】

前記少なくとも１つのビットは、前記デジタルカウンタ値の全てのビットよりも小さい、
請求項１３に記載の撮像システム。

【請求項15】

前記少なくとも１つのビットは、前記デジタルカウンタ値の最上位ビットのみである、
請求項１４に記載の撮像システム。

【請求項16】

前記ピクセルそれぞれは、さらに、ピクセル上に衝突する光に応答して、前記電荷を生成するように構成された光検出器、を含み、かつ、
前記デジタル回路が、複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを読み取る期間の持続時間は、前記ピクセルのうち少なくとも１つの前記光検出器に衝突する光の強度に基づいて、決定される、
請求項１３乃至１５いずれか一項に記載の撮像システム。

【請求項17】

期間の持続時間は、ピクセルの中で最も高い強度の光を受けているピクセルの前記光検出器の上に衝突している光の強度に基づいて決定される、
請求項１６に記載の撮像システム。

【請求項18】

前記撮像システムは、さらに、
前記複数のデジタルカウンタ、および、前記関連するオーバーフローカウンタのうち少なくとも１つからのデジタルカウンタ値を、ビデオフレームの少なくとも１つのピクセル値へと変換する、ように構成されたデジタルフォーマッタ、を含む、
請求項１３乃至１７いずれか一項に記載の撮像システム。

【請求項19】

前記撮像システムは、さらに、
複数のアナログ－デジタル変換器、を含み、
前記複数のアナログ－デジタル変換器それぞれは、入力および出力を有し、
前記複数のアナログ－デジタル変換器それぞれは、前記入力を介して、前記ピクセルのうち少なくとも１つに係る前記電気蓄積装置に結合され、かつ、それぞれの前記電気蓄積装置における残余電荷をデジタルバイナリ値へと変換するように構成されており、かつ、
前記デジタルフォーマッタは、前記複数のデジタルカウンタおよび前記関連するオーバーフローカウンタのうち少なくとも１つから前記ビデオフレームの前記少なくとも１つのピクセル値への前記デジタルカウンタ値の変換において、前記複数のアナログ－デジタル変換器のうち少なくとも１つからの前記デジタルバイナリ値を追加的に利用する、
請求項１８に記載の撮像システム。

【請求項20】

前記ピクセルそれぞれは、さらに、
光検出器であり、前記光検出器の上に衝突する光に応答して前記光電流を生成するように構成されている、光検出器を含み、
前記デジタルカウンタ値は、前記ピクセルのそれぞれ１つの前記光検出器の上に衝突する前記光の強度に対応している、
請求項１３乃至１９いずれか一項に記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般的に、デジタル画像センサに関する。そして、より詳細には、デジタル画像センサのダイナミックレンジを改善することに関する。

【背景技術】

【0002】

最近のデジタル画像センサは、しばしば、アイドル状態の最中にセンサがトリガされる、積分読取（integrated-then-read）モードを含んでいる。積分読取モードで動作する場合、画像センサは、出力帯域幅を十分に利用せず、そして、出力帯域幅は、しばしば、アイドル状態である。

【0003】

デジタル画像センサは、十分頻繁にポーリング(すなわち、読出し又はリセット)が行われない場合、飽和およびノイズを受けやすい。例えば、ピクセルは、しばしば、ピクセルによって受信される光の強度をトラックするためのデジタルカウンタを含んでいる。デジタルカウンタは、Nビットを含み、そして、ピクセルによって受信される光の量がデジタルカウンタの容量を超える場合、ロールオーバー(すなわち、より低い値にリセット)することができる。これは、結果として生じる画像に不確実性を生じさせる。

【発明の概要】

【0004】

一般的な実施形態において、本開示は、ピクセルのダイナミックレンジを拡張するためにオンチップまたはオフチップのいずれかに保管されるピクセルのデジタルカウンタのステータスを周期的に読み出すことによって、デジタル画像センサの帯域幅をより完全に利用するためのシステムおよび方法を提供する。

【0005】

一つの実施形態において、デジタル回路は、画像センサのピクセルに関連するデジタルカウンタの少なくとも１つのビットを周期的に読み取る。特定のデジタルカウンタのリードビットがその後の読出しの間に減少すると、デジタル回路は、特定のデジタルカウンタに関連付けられたオーバーフローカウンタをインクリメントする。各フレームの終わりに、デジタル回路のオーバーフローカウンタそれぞれの値が、デジタルカウンタの対応する値と共に使用され、フレーム（画像（image）とも称される）のピクセル値を生成する。

【0006】

この開示の態様および実施形態は、一般的に、ピクセルの二次元アレイ(検出素子（detector element)とも称される)を含む、焦点面アレイ(focal plane arrays、FPA)の読出し集積回路(Read-Out Integrated Circuits、ROIC)を対象とする。従来のROICとは異なり、ここにおいて説明される撮像システム（imaging system）は、ROICのデジタルカウンタとインターフェイスするためのデジタル回路を含んでいる。より高いビットのデジタルカウンタを含む代わりに、デジタル回路は、デジタルカウンタがいつロールオーバーするかをトラックすることによって、ピクセルのダイナミックレンジを拡張する（つまり、デジタルカウンタのリミットビットを超えて拡張する）ことを可能にする。

【0007】

一つの実施形態に従って、ビデオフレームのダイナミックレンジを増加させるためにデジタル回路を使用して実行される方法が提供される。前記方法は、撮像システムの複数のデジタルカウンタそれぞれに関連付けられたオーバーフローカウンタを保管するステップを含む。前記デジタルカウンタそれぞれは、前記撮像システムのピクセルのそれぞれ１つと関連付けられて、通信し、かつ、前記デジタルカウンタそれぞれは、前記ピクセルのそれぞれ１つから受信される信号に基づいてデジタルカウンタ値を保管するように構成されている。前記複数のデジタルカウンタそれぞれに対して、前記方法は、複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを周期的に読み取り、前記複数の反復のうち１つの反復からの前記デジタルカウンタ値の前記少なくとも１つのビットを、前記複数の反復のうち以前の反復と比較し、そして、前記デジタルカウンタ値の前記少なくとも１つのビットによって表される値が、前記以前の反復から前記１つの反復へ減少した場合に、前記デジタル回路の関連するオーバーフローカウンタをインクリメントする。本方法は、また、前記ビデオフレームの少なくとも１つのピクセル値として、前記複数のデジタルカウンタおよび前記関連するオーバーフローカウンタのうち少なくとも１つからの前記デジタルカウンタ値を、変換し、かつ、出力する。

【0008】

代替的または追加的に、前記少なくとも１つのビットは、前記デジタルカウンタ値の全てのビットよりも小さい。

【0009】

代替的または追加的に、前記少なくとも１つのビットは、前記デジタルカウンタ値の最上位ビットのみである。

【0010】

代替的または追加的に、前記方法は、さらに、複数のピクセルそれぞれについて、前記ピクセルによって生成された電荷を、それぞれのピクセルに関連付けられた複数の電気蓄積装置のうちの１つに保管する。本方法は、それぞれの電気蓄積装置における累積電荷が、既定の閾値を超えているか否かを周期的に判定する。前記それぞれの電気蓄積装置における累積電荷が、既定の閾値を超えているとの判定に応答して、本方法は、既定の電荷低減量だけ前記それぞれの電気蓄積装置に保管された電荷を低減し、そして、前記デジタルカウンタに保管され、かつ、前記それぞれのピクセルに関連付けられた複数のデジタルカウンタ値のうちの１つをインクリメントする。

【0011】

代替的または追加的に、前記ピクセルそれぞれは、さらに、ピクセル上に衝突する光に応答して、前記電荷を生成するように構成された光検出器を含む。前記ピクセルのうち少なくとも１つの前記光検出器に衝突する光の強度に基づいて、前記方法は、前記デジタル回路が、複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを読み取る期間の持続時間を決定する。

【0012】

代替的または追加的に、期間の持続時間は、ピクセルの中で最も高い強度の光を受けているピクセルの前記光検出器の上に衝突している光の強度に基づいて決定される。

【0013】

代替的または追加的に、前記方法は、前記複数のピクセルそれぞれについて、前記複数のピクセルそれぞれの、前記それぞれの電気蓄積装置における残余電荷をアナログ信号へと周期的に変換する。前記方法は、また、複数のアナログ－デジタル変換器のうち１つを使用して、各ピクセルからの前記アナログ信号をそれぞれのデジタルバイナリ値へと変換し、前記複数のアナログ－デジタル変換器それぞれは、入力および出力を有しており、前記複数のアナログ－デジタル変換器それぞれは、入力を介して、前記複数のピクセルのうちの対応する１つの前記それぞれの電気蓄積装置に結合されている。前記各デジタルバイナリ値は、前記複数のデジタルカウンタおよび前記関連するオーバーフローカウンタのうち少なくとも１つを、前記ビデオフレームの前記少なくとも１つのピクセル値へと変換する際に、追加的に使用される。

【0014】

別の実施形態に従って、ビデオフレームのダイナミックレンジを増加させるためのデジタル回路が提供される。前記デジタル回路は、撮像システムの複数のデジタルカウンタそれぞれに関連付けられたオーバーフローカウンタを保管する。前記デジタルカウンタそれぞれは、前記撮像システムのピクセルのそれぞれ１つと関連付けられて、通信し、かつ、前記デジタルカウンタそれぞれは、前記ピクセルのそれぞれ１つから受信される信号に基づいてデジタルカウンタ値を保管するように構成されている。前記複数のデジタルカウンタそれぞれに対して、前記回路は、複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを周期的に読み取り、前記複数の反復のうち１つの反復からの前記デジタルカウンタ値の前記少なくとも１つのビットを、前記複数の反復のうち以前の反復と比較する。そして、前記デジタルカウンタ値の前記少なくとも１つのビットによって表される値が、前記以前の反復から前記１つの反復へ減少した場合に、関連付けられたオーバーフローカウンタをインクリメントする。

【0015】

代替的または追加的に、前記少なくとも１つのビットは、前記デジタルカウンタ値の全てのビットよりも小さい。

【0016】

代替的または追加的に、前記少なくとも１つのビットは、前記デジタルカウンタ値の最上位ビットのみである。

【0017】

代替的または追加的に、前記ピクセルそれぞれは、さらに、ピクセル上に衝突する光に応答して、電荷を生成するように構成された光検出器を含む。前記デジタル回路が、複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを読み取る期間の持続時間は、前記ピクセルのうち少なくとも１つの前記光検出器に衝突する光の強度に基づいて決定される。

【0018】

代替的または追加的に、期間の持続時間は、ピクセルの中で最も高い強度の光を受けているピクセルの前記光検出器の上に衝突している光の強度に基づいて決定される。

【0019】

別の実施形態に従って、ピクセルのアレイ、複数のデジタルカウンタ、およびデジタル回路を含んでいる、撮像システムが提供される。前記ピクセルそれぞれは、光電流からの電荷を蓄積するように構成された電気蓄積装置、および、前記電気蓄積装置に結合され、かつ、前記電荷をアナログ量子化イベント信号に変換するように構成されている。前記ピクセルのアレイに対応する複数のデジタルカウンタであり、前記デジタルカウンタそれぞれは、前記ピクセルのそれぞれ１つと関連付けられて、通信し、かつ、前記デジタルカウンタそれぞれは、前記ピクセルのそれぞれ１つからの前記アナログ量子化イベント信号の受信に応答して、デジタルカウンタ値を保管する、ように構成されている。デジタル回路は、前記複数のデジタルカウンタそれぞれに関連付けられたオーバーフローカウンタを保管する。前記複数のデジタルカウンタそれぞれに対して、前記デジタル回路は、複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを周期的に読み取り、前記複数の反復のうち１つの反復からの前記デジタルカウンタ値の前記少なくとも１つのビットを、前記複数の反復のうち以前の反復と比較し、かつ、前記デジタルカウンタ値の前記少なくとも１つのビットによって表される値が、前記以前の反復から前記１つの反復へ減少した場合に、関連するオーバーフローカウンタをインクリメントする。

【0020】

代替的または追加的に、前記少なくとも１つのビットは、前記デジタルカウンタ値の全てのビットよりも小さい。

【0021】

代替的または追加的に、前記少なくとも１つのビットは、前記デジタルカウンタ値の最上位ビットのみである。

【0022】

代替的または追加的に、前記ピクセルそれぞれは、さらに、ピクセル上に衝突する光に応答して、前記電荷を生成するように構成された光検出器を含む。前記デジタル回路が、複数の反復にわたり、前記デジタルカウンタ値の少なくとも１つのビットを読み取る期間の持続時間は、前記ピクセルのうち少なくとも１つの前記光検出器に衝突する光の強度に基づいて決定される。

【0023】

代替的または追加的に、期間の持続時間は、ピクセルの中で最も高い強度の光を受けているピクセルの前記光検出器の上に衝突している光の強度に基づいて決定される。

【0024】

代替的または追加的に、前記システムは、加えて、前記複数のデジタルカウンタ、および、前記関連するオーバーフローカウンタのうち少なくとも１つからのデジタルカウンタ値を、ビデオフレームの少なくとも１つのピクセル値へと変換する、ように構成されたデジタルフォーマッタを含む。

【0025】

代替的または追加的に、前記システムは、また、複数のアナログ－デジタル変換器を含み、前記複数のアナログ－デジタル変換器それぞれは、入力および出力を有している。前記複数のアナログ－デジタル変換器それぞれは、前記入力を介して、前記ピクセルのうち少なくとも１つに係る前記電気蓄積装置に結合され、かつ、それぞれの前記電気蓄積装置における残余電荷をデジタルバイナリ値へと変換するように構成されている。前記デジタルフォーマッタは、前記複数のデジタルカウンタおよび前記関連するオーバーフローカウンタのうち少なくとも１つから前記ビデオフレームの前記少なくとも１つのピクセル値への前記デジタルカウンタ値の変換において、前記複数のアナログ－デジタル変換器のうち少なくとも１つからの前記デジタルバイナリ値を追加的に利用する。

【0026】

代替的または追加的に、前記ピクセルそれぞれは、さらに、光検出器であり、前記光検出器の上に衝突する光に応答して前記光電流を生成するように構成されている、光検出器を含む。前記デジタルカウンタ値は、前記ピクセルのそれぞれ１つの前記光検出器の上に衝突する前記光の強度に対応している。

【0027】

本発明の実施形態に関して多数の特徴が、ここにおいて説明されているが、所与の実施形態に関して説明された特徴は、また、他の実施形態と関連して使用することもできる。以下の説明および添付の図面は、本発明の特定の例示的な実施形態を明らかにしている。しかしながら、これらの実施形態は、本発明の原理が使用され得る種々の方法のうちのいくつかを示しているに過ぎない。本発明の態様に従った、他の目的、利点、および新規な特徴は、図面と併せて考察すると、以下の詳細な説明から明らかになるだろう。

【図面の簡単な説明】

【0028】

添付の図面は、必ずしも縮尺通りである必要はないが、本発明の種々の態様を示しており、そこでは、種々のビュー（view）における同一又は類似の部分を示すために、同様の参照番号が使用されている。

【図1】図1は、撮像システムのブロック図である。

【図2】図2は、撮像システムを使用してピクセル値を生成するための方法に係るブロック図である。

【図3】図3は、図2の方法のための撮像システムの時間における例示的な出力を示している。

【図4】図4は、ピクセル値に対する、図1の撮像システムにおける標準ピクセル、およびピクセルについての時間とのプロットである。

【図5】図5は、追加的にアナログ－デジタル変換器を含む、図1の撮像システムに係るブロック図である。

【図6】図6は、フレームのダイナミックレンジを増加させるための方法に係るブロック図である。

【0029】

これから、本発明が、図面を参照して詳細に説明され。図面において、参照番号を付した各要素は、参照番号の後の任意の文字指定とは無関係に、同じ参照番号を伴う他の要素と同様である。本文において、参照番号の後に特定の文字指定を伴う参照番号は、その番号及び文字指定を伴う特定の要素を指し、また、特定の文字指定を伴わない参照番号は、図面における参照番号の後の文字指定とは無関係に、同一の参照番号を伴う全ての要素を指す。

【発明を実施するための形態】

【0030】

図1を参照すると、撮像システム100の一般的な実施形態が示されており、光検出器（photodetector）105、入射光110、キャパシタ115、バイアス回路120、比較器（comparator）125、電荷除去回路（charge removal circuit）135、複数のデジタルカウンタ145、トライステート（tri-state）ゲート150、データアウトライン180、アレイ195内の複数のピクセル190(検出器素子またはピクセルとも称される)、および、デジタル回路210を含んでいる。デジタルカウンタ145それぞれは、ピクセル190のそれぞれと関連付けられ、そして、通信する。各デジタルカウンタ145は、デジタルカウンタ値をインクリメントし、そして、保管する。ピクセル190それぞれは、キャパシタ115に結合された量子化回路(電気蓄積装置（electrical storage device）とも称される)を含み、そして、電荷をアナログ量子化イベント信号へと変換するように構成されている。各デジタルカウンタ145は、デジタルカウンタ145に関連付けられたピクセルからのアナログ量子化イベント信号の受信に応答して、デジタルカウンタ値を保管する。

【0031】

デジタル回路210は、複数のデジタルカウンタそれぞれに関連付けられたオーバーフローカウンタをメモリ230(例えば、非一時的コンピュータ読取可能媒体)に保管する。特に、デジタル回路210は、複数の反復にわたり、デジタルカウンタ145それぞれについて、値の少なくとも１つのビットを周期的に読み取る。デジタル回路210は、１つの反復からデジタルカウンタ値のビットを以前の反復と比較する。特定のデジタルカウンタ145のビットの値が以前の反復から現在の反復へ減少すると、デジタル回路210は関連するオーバーフローカウンタをインクリメントする。

【0032】

一つの実施形態において、デジタル回路210は、デジタルカウンタそれぞれの全ビットのうち一部のみを読み取る。すなわち、各デジタルカウンタ145の値は、デジタルバイナリ値(すなわち、複数のビットによって表される値)であってよく、そして、デジタル回路210は、デジタルカウンタ145それぞれのデジタルカウンタ値を表す数ビットのみを読み取ることができる。例えば、デジタル回路210は、デジタルカウンタ145それぞれの最上位ビットのみを読み取ることができる。各デジタルカウンタ値を表すビットの一部のみを読み出すことによって、デジタルカウンタ値は、デジタル回路によってより頻繁に(すなわち、より高い周波数で)読み出すことができ、エイリアシングが発生する可能性を低減している(以下で、より詳細に説明される)。

【0033】

ピクセル190それぞれは、光電流からの電荷を蓄積するための電気蓄積装置を含んでいる。一つの実施形態において、ピクセル190は、光検出器105によって受信された光110のフラックスに基づいて光電流を生成する、光検出器(フォトダイオードとも称される)105を含んでいる。電荷（charge）は、積分時間インターバルにわたり電荷を効果的に積分し、光束（flux of light）110の強度に対応する電圧を生成する、キャパシタ115(容量性素子とも称される)において蓄積される。光検出器105は、電圧V_biasを用いてバイアスされたバイアス回路120(MOSトランジスタまたは直接注入ゲート、といったもの)を介して、キャパシタ115に結合され得る。

【0034】

電荷除去回路135は、コンデンサ115の電圧を初期状態にリセットすることができる回路、並びに、アレイ195の出力に転送するためのデータアウトライン180(列または行ワイヤとも称される)に対して電荷または電圧を伝達することができる回路を含んでいる。以下で説明されるように、そうした電圧または電荷は、フォーカルプレーンアレイ195に関連付けられた回路によってデジタル化することができ、その結果、バイナリ値(例えば、フォーカルプレーンアレイ195の各ピクセル190について少なくとも１つの値)となる。従って、光束の二次元パターンをバイナリ値の二次元アレイへと変換するために、フォーカルプレーンアレイ195を使用することができる。そうした結果として得られたアレイは、しばしば、デジタル画像またはフレームと呼ばれる。

【0035】

アレイ195は、列および行によって組織化された二次元(2D)アレイとして構成され得る。デジタルピクセル190のアレイ195は、フォーカルプレーンアレイの読出し集積回路(ROIC)として具体化することができる。アレイ195がROICとして具現化される場合、デジタル回路210は、ROICから離れた場所に配置されてよく、ROICのコストおよび複雑さを低減する。例えば、デジタル回路210は、ROICに通信可能に結合されたフィールドプログラマブルゲートアレイ（FPGA）又はASCIISとして具体化することができる。別個のデジタル構造であるデジタル回路210は、面積効率およびコストを改善し、そして、出力帯域幅をより良好に利用することができる。デジタル回路210(例えば、FPGA)のための別個の構造を使用することによって、既存の(例えば、棚外の)ROICを使用することも、また、可能になる。

【0036】

デジタル回路210は、任意の適切なデバイスを含み得る。プロセッサ(例えばCPU)、プログラマブル回路、集積回路、メモリおよびＩ／Ｏ回路、特定用途向け集積回路、マイクロコントローラ、複雑なプログラマブル論理デバイス、そのプログラマブル回路、等といったものである。デジタル回路210は、また、非一時的なコンピュータ読取り可能媒体も含み得る。ランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、消去可能なプログラマブル・リードオンリーメモリ（EPROMまたはフラッシュメモリ）、または、任意の他の適切な媒体、等といったものである。

【0037】

一つの実施形態において、デジタル回路210は、実装のために市販の（commercial-off-the-shelf、CTOS）メモリを利用する。デジタル回路210の電力要求は、アレイ195がROICとして具現化されたときに存在する、アレイ195の既存のシリアライゼーションリンクによって否定されてよい。加えて、読取中の統合システムにおいて、ROICの帯域幅は、典型的に、デジタル回路210によって使用されるように利用可能である。データ(フレームまたは画像、といったもの)が送信されていないときに、帯域幅は、使用されないからである。

【0038】

アレイ195がROICとして具現化されるとき、ROICは、バスに対する行接続をスタッガ（staggering）することにより、既存のバス上で複数の行をアクティブにさせることによって、ポーリングのために最適化され得る。この技法は、ピクセルアレイの最上位ビットを読み取るためのタイミング要求を緩和することができ、より高いポーリング速度を可能にする。

【0039】

図1に示される実施形態において示されるように、デジタル回路210は、アレイ195とは別個の物理的構造体であってよい。例えば、デジタル回路210は、少なくとも１つのデジタルカウンタ値およびオーバーフローカウンタを保管するためのデジタルメモリ230を含むFPGAを使用して実現することができる。デジタル回路210は、例えば、アレイ195と同じ論理構成(例えば、1920×1080記憶素子)、または、異なる論理構成を有してよい。

【0040】

読出し間の統合（integrated-while-read）アーキテクチャにおいて、デジタル回路210は、各ピクセル190に対するメモリ位置の２つセット、ピクセル190に関連付けられた電流オーバーフローカウンタ値256を保管する第１位置、および、ピクセル190に関連付けられた以前のオーバーフローカウンタ値256を保管する第２位置を含み得る。

【0041】

以下でさらに詳細に説明されるように、積分インターバルにわたりピクセル190によって蓄積される電荷の有効量は、デジタルカウンタ145(デジタルカウント回路とも称される)の追加によって増加される。いくつかの実施形態において、各ピクセル190には、固有のデジタルカウンタ145(関連するデジタルカウンタと呼ばれる)が与えられている。説明されるように、各ピクセルに含まれる回路は、各ピクセル190のキャパシタ115から既定の量の電荷を除去し、そして、対応して、関連するデジタルカウンタの値を１カウントだけ増加させることを可能にする。従って、積分インターバルの経過時間にわたり、(1)ピクセル190のコンデンサ115は、光電荷を積分し、(2)ピクセル内の回路は、既定の量の電荷を除去し、そして、(3)ピクセル190に関連するデジタルカウンタ145は、電荷除去の数をカウントする。このようにして、関連するデジタルカウンタ145がキャパシタ115の容量を効果的に拡張するので、積分インターバルにわたりピクセル190によって蓄積される実効電荷量が増加され得る。

【0042】

デジタルカウンタ145は、ピクセル190のアレイ195に結合された複数のデジタルメモリ素子に含まれてよい。電荷除去を記録するために使用されるデジタルカウンタ145のタイプは、任意の論理的バリエーションであってよい。バイナリ、グレーコード、リニア・フィードバック・シフト・レジスタ（LFSR）、または、電荷除去をカウントすることができる任意の他のデジタルカウント回路を含むものである。さらに、電荷除去の相対的符号（relative sign）は、回路のグランドに対して、プラスまたはマイナスであり得るので、電荷除去は、いくつかの場合において、電荷付加（charge addition）とみなすことができる。

【0043】

図2に移ると、フレーム内のピクセル190について値を生成するための方法300に係るフローチャートが示されている。プロセスブロック302では、光検出器105からの光電流がキャパシタ115に集積（integrated）される。決定ブロック304では、キャパシタ115が電荷蓄積について容量に達したかどうかを判断するために連続チェックが実行される。キャパシタ115がその容量に達していない場合、プロセスは、プロセスブロック302に戻り、そして、キャパシタ115は、電荷を集積し続ける。キャパシタ115がその容量に達した場合、プロセスは、プロセスブロック306へ移る。プロセスブロック306において、キャパシタ115は、追加電荷の蓄積を可能にするためにリセットされる。プロセスブロック308では、関連するデジタルカウンタ145(すなわち、ピクセル190に関連付けられたデジタルカウンタ145)がインクリメントされ、そして、プロセスは、プロセスブロック302に戻る。

【0044】

決定ブロック310では、関連するデジタルカウンタ145をポーリングする時間であるかどうかを確認するためにチェックが実行される。例えば、ピクセル190に関連付けられたデジタルカウンタ145は、所与の周波数でポーリングされてよく、そして、クロックは、追加のポーリングを実行する時間であるように、最後のポーリングから十分な時間が経過したかどうかを決定するためにチェックされてよい。デジタルカウンタ145をポーリングする時間ではない場合、プロセスは、関連するデジタルカウンタ145をポーリングする時間になるまで、決定ブロック310に戻る。関連するデジタルカウンタ145をポーリングする時間である場合、プロセスは、プロセスブロック312に移る。図2に示される実施形態のプロセスブロック312では、関連するデジタルカウンタ145のMSB(または、全てのビットより小さいビットのある数)がポーリングされ、そして、デジタル回路210に送信される。

【0045】

決定ブロック314では、関連するデジタルカウンタ145の以前にポーリングされたMSBが、関連するデジタルカウンタ145の最後（the most recently）にポーリングされたMSBよりも大きいかどうかを判断するためにチェックが実行される。そうでない場合、プロセスは、決定ブロック310に戻る。そうである（“yes”）場合、プロセスは、プロセスブロック316に移る。プロセスブロック316において、デジタル回路210は、ピクセル190に関連付けられたオーバーフローカウンタ316をインクリメントする。

【0046】

決定ブロック320では、フレーム(画像とも称される)をキャプチャするための時間に達したかどうかを判断するためにチェックが実行される。例えば、フレームは、特定の周波数でキャプチャされてよく、または、画像キャプチャ命令が、露光設定に基づいて生成されてよい。そうである（“yes”）場合、プロセスは、プロセスステップ322に移る。プロセスステップ322では、関連するデジタルカウンタ145の値およびピクセル190のキャパシタ115からのデジタル化された残余（residue）が読み出される。プロセスステップ324においては、関連するデジタルカウンタ145の値、キャパシタ115のデジタル化された残余の値、および、オーバーフローカウンタの値が結合されて、ピクセル190の値を生成する。アレイ195内の全てのピクセル190に対してこのプロセスを実行することによって、改善されたダイナミックレンジを有するフレームが生成される。

【0047】

図3を参照すると、キャパシタ115、関連するデジタルカウンタ145、および、オーバーフローカウンタの値の間の例示的な関係が、時間に対して示されている。図示された例において、光検出器105上の光電流は、集積され、そして、キャパシタ115に保管される。キャパシタ115によって保管された電荷(残余（residue）とも称される)250は、充填されるとリセットされ、その結果、残余250は、図3において鋸歯状（sawtooth）プロットとして現れる。残余250がリセットされると(図3において最大値から最小値へ減少する残余250によって表されている)、関連するデジタルカウンタ145のデジタルカウンタ値252がインクリメントされる。

【0048】

デジタルカウンタ値252の増分（incrementing）は、図3において階段ステップ（stair step）パターンおよびカウンタビットによって表される。図3において、デジタルカウンタ値252は、最下位ビット（LSB）およびMSB 254を含む、4個のカウンタビットによって表される。デジタルカウンタ値252は、図3では4ビットで表されているが、これは単なる一例に過ぎず、デジタルカウンタ値252は、任意の数のビットで表されてよい。

【0049】

デジタルカウンタ値252が、カウンタビットによって表される最大値を超えると、デジタルカウンタ値252は、ロールオーバーし、そして、最小値にリセットされる。例えば、4ビットの場合、最大値は15であり、かつ、最小値はゼロである。デジタルカウンタ値252を15からインクリメントすると、デジタルカウンタ値252は、16に達する代わりにゼロにリセットされる。このことは、最大値から最小値に遷移している、図3の階段ステップパターンによって表されている。デジタルカウンタ値254のこのロールオーバーが発生すると、オーバーフローカウンタ値256がインクリメントされる。デジタルカウンタ値252のロールオーバーは、デジタルカウンタ値252のMSB 254を周期的にポーリングすることによって検出することができる。MSB 254がポーリングの間に減少すると、このことは、MSB 254がロールオーバーしたことを示すインジケータとして使用され得る。

【0050】

図3において、フレーム端（frame end）（破線で示されている）が発生し、そして、フレームが生成される場合、デジタルカウンタ値256および光検出器105からの残余250が読み出され、そして、ピクセル190の値を決定するために、オーバーフローカウンタ値256と組み合わさる。例えば、ピクセル値は、以下のように定義され得る。
Pix_Val=Overflow_Val×(2^num_bits-1)+DigCounter_Val+Res/Mag_Res
ここで、Pix_Valはピクセル値であり、Overflow_Valはオーバーフロー値256であり、DigCounter_Valはデジタルカウンタ値252であり、num_bitsはデジタルカウンタ値254のビット数であり、Resは残余250であり、そして、Mag_Resは残余がリセットされる前の残余の最大値である。

【0051】

一つの実施形態において、撮像システム100は、追加的に、複数のデジタルカウンタ145および関連するオーバーフローカウンタのうち少なくとも１つから、デジタルカウンタ値252をフレームの少なくとも１つのピクセル190へと変換するためのデジタルフォーマッタを含み得る。デジタルフォーマッタは、デジタル回路210の一部として、オフチップ(すなわち、別個)のコンピュータハードウェア、または、オンチップ(すなわち、含まれている)であってよい。

【0052】

デジタルカウンタ値252それぞれのビットを、デジタル回路210が読取り、かつ／あるいは、保管する周波数（frequencyは）、ピクセル190のうち少なくとも１つの光検出器105に衝突する光110の強度に基づいて決定することができる。例えば、ピクセル190のうち少なくとも１つが明るい光を受けている場合、デジタルカウンタ値252のビットをデジタル回路210が読み出す、読取り周波数は、エイリアシングを回避するために増加させることができる。エイリアシングは、読取り周波数がデジタルカウンタのビットの変化を説明するのに十分な速さでないときに発生する。例えば、図3においては、デジタルカウンタ145のMSB 254が、デジタル回路210によるポーリングの間に「0」から「1」に切り替わり、かつ、「0」に戻ると、「0」のみを見たが発生する。すなわち、デジタル回路210が、デジタルカウンタ145のうち１つのMSB 254を「0」から「1」にフリップし、かつ、「0」に戻ることを見逃し、そして、代わりに、「0」のみを見て、かつ、ポーリング時に「0」である場合、エイリアシングが発生する。

【0053】

図4に移ると、ピクセル値258対ピクセル190の時間に係るプロットが示されている。破線は、デジタル回路210を使用せずに、ピクセル190に対する最大ピクセル値258を表している。そうしたピクセル190について、最大ピクセル値258は、ピクセル190の容量及び／又はデジタルカウンタ145のビット数によってキャップアウト（capped out）される。図4における実線は、デジタルカウンタ145を含み、そして、上述のようにオーバーフローカウンタを維持するためにデジタル回路210を使用する、ピクセル190についてピクセル値を示している。示されるように、実線によって表されるピクセル値258は、破線によって表されるピクセル値258と同じ方法で制限されるものではない。代わりに、破線によって表されるピクセル値258は、時間経過と共に増加し続ける。

【0054】

図5に示される実施形態において、各ピクセル190は、電圧を生成するために光電荷を集積するためのキャパシタ115、電圧が基準電圧を超えたときを検出する比較器125、キャパシタ115から既定の固定量の電荷を除去する電荷除去回路135、および、キャパシタ115から電荷を除去するたびにインクリメントするデジタルカウンタ145を含んでいる。リセットロジック140は、クロックタイプの信号を電荷除去回路135に供給し、電荷除去回路をトリガして、キャパシタの両端の電圧が基準電圧を超えたことを示しているコンパレータ125からの信号に応答して、キャパシタ115から既定の量の電荷を除去する。各電荷除去／リセットイベントで、デジタルカウンタ145はインクリメントされる。デジタルカウンタ145の値は、データアウトライン180上のトライステートゲート150を介して読み出され得る。デジタルカウンタ145の値を出力のセットに伝達する複数の他の手段が、トライステートゲート150の代替手段として存在している(例えば、値がシフトアウトされてよい)。

【0055】

アレイ195において、コンデンサのサイズは、比較的に小さな値(例えば、1フェムトファラッドまたは10フェムトファラッド)であってよく、そして、カウンタビットの数は、カウント値の大きい範囲を結果として生じる、あるビット数（例えば、16ビット）であってよい。それに応じて、コンデンサ115の電圧範囲は、比較的に小さくてよい(例えば、250ミリボルト)。このコンフィグレーションにおいて、デジタルカウンタ145は、アナログ－デジタル変換器（ADC）として動作し得る。キャパシタ115からの電荷除去は、MOSFETといった単純なデバイスを使用して、第１電圧に戻ってリセットされ得る。電荷除去は、また、キャパシタ電圧を第１値から第２値に変化させる、電荷の量を除去する、より複雑な回路であってよい。

【0056】

上述のデジタルフォーマッタは、(1)複数のデジタルカウンタのうち少なくとも１つからのデジタルカウンタ値252、および、(2)関連するオーバーフローカウンタの値、に係るピクセル値への変換において、複数のアナログ－デジタル変換器のうち少なくとも１つからのデジタルバイナリ値を追加的に利用することができる。

【0057】

バッファ345は、列読出し（column read-out）ライン335とADC 340との間に結合され得る。電圧移動は、電荷移動と置き換えることができ、そして、そうした移動は、本発明の全体的な機能または動作に実質的な影響を及ぼさない。

【0058】

上述のように、アナログアレイ195内のピクセルは、列および行において配列されてよい。一つの例において、ピクセルの各列は、残余電圧250をデジタル化する、対応する列ベースのADC 340に結合されている。しかしながら、上述の機能を実行するために異なる回路トポロジを使用することができること、そして、さらに、ADC340は、異なる列間で時分割（time-shared）され得ること(例えば、ADC340のうち１つを、複数の異なるピクセル列または行に対して使用することができる)が理解されよう。ADC340は、ROIC上に配置されてもよい。

【0059】

図6を参照すると、画像のダイナミックレンジを増加させるための方法500が示されている。プロセスブロック502において、デジタル回路210は、撮像システム100の複数のデジタルカウンタそれぞれに関連付けられたオーバーフローカウンタ145を保管する。プロセスブロック506では、デジタルカウンタ145それぞれについて、デジタルカウンタ値252のビットが以前の値として読み出される。

【0060】

プロセスブロック508では、ある期間の後に各デジタルカウンタのビットが電流値として読み出される。決定ブロック512においては、現在の反復(すなわち、現在の値)からのデジタルカウンタ値252のビットが、以前の反復(すなわち、以前の値)と比較される。デジタルカウンタ値のビットによって表される値が、後続の反復の間に減少した場合(すなわち、現在の値が以前の値よりも小さい場合)、関連するオーバーフローカウンタの値256は、プロセスブロック514においてインクリメントされる。後続の反復の間またはプロセスブロック514の後で、値が減少しなかった場合、フレームの終端に到達したかどうかを判定するためのチェックが決定ブロック516において実行される。例えば、チェックは、フレーム読出し信号が受信されたかどうかを判定するため、または、フレームを出力するタイミング(例えば、フレーム周波数によって決定される)に達したかどうかを判定するために実行され得る。そうである（“yes”）場合、プロセスは、ブロック520に進む。プロセスブロック520では、ピクセル190それぞれについてピクセル値が生成され、そして、出力されて、フレームを形成する。各ピクセル190について、ピクセル値は、ピクセル190に関連付けられたデジタルカウンタ145からのデジタルカウンタ値252、および、関連するオーバーフローカウンタの両方に基づいて、生成される。決定ブロック516でフレームの終端に到達しなかった場合、プロセスは、プロセスブロック508に戻る。

【0061】

明細書および請求項において開示されている全ての範囲および比率限界（ratio limit）は、任意の方法で組み合わせることができる。特に明記しない限り、「１つ（“a”、“an”、及び／又は“the”）」への言及は、１つ又はそれ以上を含み得る。そして、単数の項目への言及は、また、複数の項目も含み得る。

【0062】

本発明は、所定の実施形態に関して示され、そして、説明されてきたが、この明細書および添付の図面を読んで、かつ、理解することで、当業者にとって等価な変更および修正が生じる。特に、上述のエレメント(コンポーネント、アセンブリ、デバイス、組成、物等)によって実行される種々の機能に関して、そうしたエレメントを記述するために使用される用語(「手段（“means”）」への言及を含む)は、別段の指示がない限り、本発明に係るここにおいて示された例示的な実施形態においてその機能を実行する開示された構造とは構造的に等価でないとしても、説明されたエレメントの特定の機能を実行する任意のエレメントに対応する(すなわち、機能的に同等である)ことが意図されている。加えて、本発明の特定の特徴が、例示されたいくつかの実施形態のうち１つまたは複数のみに関して上述されてきたが、そうした特徴は、任意の所与の又は特定のアプリケーションについて望ましく、かつ、有利であり得るように、他の実施形態の１つ以上の他の特徴と組み合わせることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】