特許7401986グレイスケールイメージングのための時間分解イメージセンサ及びイメージングユニット並びにグレイスケールイメージ生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-12
(45)【発行日】2023-12-20
(54)【発明の名称】グレイスケールイメージングのための時間分解イメージセンサ及びイメージングユニット並びにグレイスケールイメージ生成方法
(51)【国際特許分類】
G01S 17/89 20200101AFI20231213BHJP
G01S 7/486 20200101ALI20231213BHJP
【ＦＩ】
G01S17/89
G01S7/486
【請求項の数】
16
(21)【出願番号】P 2019132654
(22)【出願日】2019-07-18
(65)【公開番号】P2020016654
(43)【公開日】2020-01-30
【審査請求日】2022-07-13
(31)【優先権主張番号】62/702,891
(32)【優先日】2018-07-24
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/140,529
(32)【優先日】2018-09-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】ワン， イービン ミシェル
(72)【発明者】
【氏名】シ， リーロン
(72)【発明者】
【氏名】オフシアンイコフ， イリア
【審査官】佐藤 宙子
(56)【参考文献】
【文献】特開２００５－２３５８９３（ＪＰ，Ａ）
【文献】特開２０１４－０８１２５４（ＪＰ，Ａ）
【文献】特開２００４－２９４４２０（ＪＰ，Ａ）
【文献】特開２００９－０４７６６２（ＪＰ，Ａ）
【文献】特開２００９－１９２４９９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０２１７２６１（ＵＳ，Ａ１）
【文献】米国特許第１０１１６９２５（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／４８－ ７／５１
Ｇ０１Ｓ １７／００－１７／９５
(57)【特許請求の範囲】
【請求項1】
イメージセンサであって、オブジェクトに向けて照射された光パルスに対応して前記オブジェクトから反射された１つ以上の光子を少なくとも１つのピクセルによって検出することに応答して、各光パルスに対応する複数の第１信号及び第２信号のペアを出力する複数のピクセルを含む時間分解センサと、
前記複数の第１信号及び第２信号のペアに基づいて、複数の光パルスが反射された前記オブジェクトの表面反射率を判定するプロセッサと、を備え、
前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第１信号の振幅の第１比率は、前記検出された１つ以上の光子の飛行時間に比例し、
前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第２信号の振幅の第２比率は、前記検出された１つ以上の光子の飛行時間に比例し、
前記複数のピクセルの少なくとも１つのピクセルは、
各単一光子アバランシェダイオード（ＳＰＡＤ）がアクティブシャッター信号に応答して前記オブジェクトから反射されて該ＳＰＡＤに入射する１つ以上の光子を検出することに基づいて信号を出力する少なくとも１つのＳＰＡＤと、
前記アクティブシャッター信号の開始に応答して活性化され、前記少なくとも１つのＳＰＡＤの出力信号に応答して非活性化される第１活性信号、及び前記少なくとも１つのＳＰＡＤの出力信号に応答して活性化され、前記アクティブシャッター信号の終了に応答して非活性化される第２活性信号を生成する前記少なくとも１つのＳＰＡＤの出力信号に連結される論理回路と、
前記第１活性信号及び第２活性信号に連結される差動時間電荷変換（ＤＴＣＣ）回路と、を含むことを特徴とするイメージセンサ
【請求項2】
前記プロセッサは、前記複数の第１信号及び第２信号のペアに基づいて、前記オブジェクトまでの距離を更に判定することを特徴とする請求項１に記載のイメージセンサ。
【請求項3】
前記プロセッサは、前記複数の第１信号及び第２信号のペアに基づいて、前記オブジェクトのグレイスケールイメージを生成することを特徴とする請求項１に記載のイメージセンサ。
【請求項4】
前記プロセッサは、前記複数のピクセルの予め定められたピクセルによって検出される光子の到達時間の少なくとも１つのヒストグラムを生成して前記グレイスケールイメージを生成することを特徴とする請求項３に記載のイメージセンサ。
【請求項5】
前記ＤＴＣＣ回路は、第１端子と接地電位に連結された第２端子とを含む容量性デバイスと、
前記容量性デバイスの第１端子に連結された第１端子、第１フローティングディフュージョンノードに連結された第２端子、及び前記第１活性信号に連結される第３端子を有し、前記第１活性信号に応答して前記容量性デバイスの第１電荷を前記第１フローティングディフュージョンノードに転送する第１スイッチングデバイスと、
前記容量性デバイスの第１端子に連結された第１端子、第２フローティングディフュージョンノードに連結された第２端子、及び前記第２活性信号に連結される第３端子を有し、前記第２活性信号に応答して前記容量性デバイスの残りの電荷を前記第２フローティングディフュージョンノードに転送する第２スイッチングデバイスと、
前記第１フローティングディフュージョンノードの前記第１電荷に基づく第１電圧を含む前記第１信号、及び前記第２フローティングディフュージョンノードの前記残りの電荷に基づく第２電圧を含む前記第２信号のペアを出力する出力回路と、を含むことを特徴とする請求項１に記載のイメージセンサ。
【請求項6】
前記イメージセンサは、傾斜関数に基づいて変化する駆動信号を更に含み、前記駆動信号は、前記１つ以上の光子が検出される光パルスの開始時間に応答して変化を開始し、前記アクティブシャッター信号の終了まで変化し、
前記駆動信号は、
前記第１活性信号がアクティブである場合、前記第１スイッチングデバイスの第３端子に連結され、
前記第２活性信号がアクティブである場合、前記第２スイッチングデバイスの第３端子に連結されることを特徴とする請求項５に記載のイメージセンサ
【請求項7】
前記第１電圧と前記第２電圧との和に対する前記第１電圧の第１比率は、前記１つ以上の光子の飛行時間から遅延時間を差し引いた値に更に比例し、前記第１電圧と前記第２電圧との和に対する前記第２電圧の第２比率は、前記１つ以上の光子の飛行時間から遅延時間を差し引いた値に更に比例し、
前記遅延時間は、前記光パルスの伝送時間の開始から前記駆動信号が変化を開始する時間までの間の時間を含むことを特徴とする請求項６に記載のイメージセンサ。
【請求項8】
前記容量性デバイスは、キャパシタ又は埋め込みダイオードであることを特徴とする請求項６に記載のイメージセンサ。
【請求項9】
イメージングユニットであって、オブジェクトの表面に向けて照射される一連の光パルスで前記オブジェクトを照明する光源と、
前記光源に同期化され、前記オブジェクトの表面から反射された光パルスに対応する１つ以上の光子を少なくとも１つのピクセルで検出することに応答して、各光パルスに対応する複数の第１信号及び第２信号のペアを出力する複数のピクセルを含む時間分解センサと、
前記複数の第１信号及び第２信号のペアに基づいて、前記オブジェクトまでの距離を判定し、前記複数の第１信号及び第２信号のペアに基づいて、複数の光パルスが反射された前記オブジェクトの表面反射率を判定するプロセッサと、を備え、
前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第１信号の振幅の第１比率は、前記検出された１つ以上の光子の飛行時間に比例し、
前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第２信号の振幅の第２比率は、前記検出された１つ以上の光子の飛行時間に比例し、
前記複数のピクセルの少なくとも１つのピクセルは、
各単一光子アバランシェダイオード（ＳＰＡＤ）がアクティブシャッター信号に応答して前記オブジェクトから反射されて該ＳＰＡＤに入射する１つ以上の光子を検出することに基づいて信号を出力する少なくとも１つのＳＰＡＤと、
前記アクティブシャッター信号の開始に応答して活性化され、前記少なくとも１つのＳＰＡＤの出力信号に応答して非活性化される第１活性信号、及び前記少なくとも１つのＳＰＡＤの出力信号に応答して活性化され、前記アクティブシャッター信号の終了に応答して非活性化される第２活性信号を生成する前記少なくとも１つのＳＰＡＤの出力信号に連結される論理回路と、
前記第１活性信号及び第２活性信号に連結される差動時間電荷変換（ＤＴＣＣ）回路と、を含むことを特徴とするイメージングユニット。
【請求項10】
前記プロセッサは、前記複数の表面反射率に基づいて、前記オブジェクトのグレイスケールイメージを更に生成することを特徴とする請求項９に記載のイメージングユニット。
【請求項11】
前記プロセッサは、前記複数のピクセルの予め定められたピクセルによって検出される光子の到達時間の少なくとも１つのヒストグラムを生成して前記グレイスケールイメージを生成することを特徴とする請求項１０に記載のイメージングユニット。
【請求項12】
前記ＤＴＣＣ回路は、第１端子と接地電位に連結された第２端子とを含む容量性デバイスと、
前記容量性デバイスの第１端子に連結された第１端子、第１フローティングディフュージョンノードに結合された第２端子、及び前記第１活性信号に連結される第３端子を有し、前記第１活性信号に応答して前記容量性デバイスの第１電荷を前記第１フローティングディフュージョンノードに転送する第１スイッチングデバイスと
前記容量性デバイスの第１端子に連結された第１端子、第２フローティングディフュージョンノードに連結された第２端子、及び前記第２活性信号に連結される第３端子を有し、前記第２活性信号に応答して前記容量性デバイスの残りの電荷を前記第２フローティングディフュージョンノードに転送する第２スイッチングデバイスと、を含み、
前記第１信号は、前記第１フローティングディフュージョンノードの前記第１電荷に基づく第１電圧を含み、
前記第２信号は、前記第２フローティングディフュージョンノードの前記残りの電荷に基づく第２電圧を含み、
前記イメージングユニットは、前記１つ以上の光子が検出される光パルスの開始時間に応答して変化を開始し、前記アクティブシャッター信号の終了まで変化する駆動信号を更に含み、
前記駆動信号は、
前記第１活性信号がアクティブである場合、前記第１スイッチングデバイスの第３端子に連結され、
前記第２活性信号がアクティブである場合、前記第２スイッチングデバイスの第３端子に連結されることを特徴とする請求項９に記載のイメージングユニット。
【請求項13】
前記容量性デバイスは、キャパシタ又は埋め込みダイオードであることを特徴とする請求項１２に記載のイメージングユニット。
【請求項14】
オブジェクトのグレイスケールイメージを生成する方法であって、光源から一連の光パルスを前記オブジェクトの表面に向けて照射するステップと、
少なくとも１つのピクセルで、前記オブジェクトの表面から反射された光パルスに対応する１つ以上の光子を検出するステップと、
複数のピクセルを含んで前記光源に同期化される時間分解センサにより、前記１つ以上の光子を検出することに応答し、各ピクセルに対して、各々が前記一連の光パルスに対応する複数の第１信号及び第２信号のペアを生成するステップと、
プロセッサにより、前記複数の第１信号及び第２信号のペアに基づいて、前記オブジェクトまでの距離を判定するステップと、
前記プロセッサにより、前記複数の第１信号及び第２信号のペアの少なくとも１つに基づいて、前記オブジェクトの表面反射率を判定するステップと、を有し、 前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第１信号の振幅の第１比率は、前記検出された１つ以上の光子の飛行時間に比例し、
前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第２信号の振幅の第２比率は、前記検出された１つ以上の光子の飛行時間に比例し、
前記複数のピクセルの少なくとも１つのピクセルは、
各単一光子アバランシェダイオード（ＳＰＡＤ）がアクティブシャッター信号に応答して前記オブジェクトから反射されて該ＳＰＡＤに入射する１つ以上の光子を検出することに基づいて信号を出力する少なくとも１つのＳＰＡＤと、
前記アクティブシャッター信号の開始に応答して活性化され、前記少なくとも１つのＳＰＡＤの出力信号に応答して非活性化される第１活性信号、及び前記少なくとも１つのＳＰＡＤの出力信号に応答して活性化され、前記アクティブシャッター信号の終了に応答して非活性化される第２活性信号を生成する前記少なくとも１つのＳＰＡＤの出力信号に連結される論理回路と、
前記第１活性信号及び第２活性信号に連結される差動時間電荷変換（ＤＴＣＣ）回路と、を含むことを特徴とする方法。
【請求項15】
前記プロセッサにより、前記複数の第１信号及び第２信号のペアに基づいて、前記オブジェクトのグレイスケールイメージを生成するステップを含むことを特徴とする請求項１４に記載の方法。
【請求項16】
前記プロセッサにより、前記複数のピクセルの予め定められたピクセルによって検出される光子の到達時間の少なくとも１つのヒストグラムを生成して前記グレイスケールイメージを生成するステップを更に含むことを特徴とする請求項１５に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージセンサに関し、より詳細には、蓄積された光子検出イベントからグレイスケールイメージを生成するＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）イメージセンサ及びイメージングユニット並びにオブジェクトのグレイスケールイメージを生成する方法に関する。
【背景技術】
【0002】
３次元（３Ｄ）イメージング（Ｉｍａｇｉｎｇ）システムは、工業生産、ビデオゲーム、コンピュータグラフィックス、ロボット手術、消費者ディスプレイ、監視映像、３Ｄモデリング、不動産販売などのような広範囲で多様なアプリケーションにおいて、ますます多く使用されている。現存する３Ｄイメージング技術は、例えばＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）ベースの距離イメージング、ステレオビジョンシステム、及び構造光（ＳＬ：Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ）の方法を含む。
【0003】
ＴＯＦ方法では、３Ｄオブジェクトまでの距離は、知られている光の速度に基づいて、光信号がイメージの各点についてカメラと３Ｄオブジェクトとの間を移動するのに必要とする往復時間を測定することにより決定される。ＴＯＦカメラは、各レーザー又は光パルスでシーン全体をキャプチャーするために、スキャナレス（ｓｃａｎｎｅｒｌｅｓｓ）のアプローチを使用することができる。ＴＯＦ方法の一部の模範的なアプリケーションは、リアルタイムの距離イメージに基づく能動的歩行者保護や衝突前検出のような改善された車両アプリケーション、ビデオゲームコンソール上のゲームとの間の相互作用のように、人々の動きを追跡すること、産業マシンビジョン（ｉｎｄｕｓｔｒｉａｌ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ）におけるベルトコンベア上の物品のようなオブジェクトを識別してロボットによる物品の探し出しを助けることなどを含む。
【0004】
ステレオスコピックイメージング（ｓｔｅｒｅｏｓｃｏｐｉｃ－ｉｍａｇｉｎｇ）又はステレオビジョンシステムにおいて、互いに水平に配置された２台のカメラがシーン又はシーン内の３Ｄオブジェクトから２つの異なる視野を獲得するために使用される。このような２つのイメージを比較することにより、３Ｄオブジェクトに対する相対的なデプス（ｄｅｐｔｈ）情報が獲得される。ステレオビジョンは、ロボット工学などのような分野において特に重要であり、自律システム／ロボットの近くにある３Ｄオブジェクトの相対的な位置に対する情報を抽出する。ロボット工学のための他のアプリケーションは、オブジェクトの認識を含む。ここで、ステレオスコピックのデプス情報により、ロボットシステムは隠しているイメージの構成要素を分離する。これがないと、ロボットは、１つのオブジェクトが他の１つの前に位置して他の１つのオブジェクトを部分的に又は完全に隠す２つのオブジェクトを区別することができない。３Ｄステレオディスプレイは、またエンターテイメントや自動化されたシステムで使用され得る。
【0005】
ＳＬ方法において、オブジェクトの３Ｄ形状は、照射された光のパターン及びイメージングのためのカメラを用いて測定される。ＳＬ方法において、光の既知のパターン（しばしば、格子や水平線や並列ストライプのパターン）がシーン又はシーン内の３Ｄオブジェクトに照射される。照射されたパターンは、３Ｄオブジェクトの表面に衝突する際に変形されるか又は変換される。このような変形により、ＳＬビジョンシステムはオブジェクトのデプス及び表面の情報を計算することができる。従って、狭帯域の光を３Ｄ表面に照射することは、プロジェクターの視点と異なる視点から歪曲されて表われる照明ラインを生成し、照明された表面形態の幾何学的再構成に使用される。ＳＬベースの３Ｄイメージングは、警察による３Ｄシーン内の指紋の撮影、製造工程中の構成要素のインライン検査（ｉｎｌｉｎｅ ｉｎｓｐｅｃｔｉｏｎ）、人体形態、及び／又は皮膚の微細構造のライブ測定のためのヘルスケアのような多様なアプリケーションにおいて使用される。
【先行技術文献】
【特許文献】
【0006】
【文献】米国特許第９５１６２４４号明細書
【文献】米国特許出願公開第２０１０／０１２７１６０号明細書
【文献】米国特許出願公開第２０１７／００５２０６５号明細書
【非特許文献】
【0007】
【文献】ＮＩＣＬＡＳＳ， Ｃｒｉｓｔｉａｎｏ， ｅｔ ａｌ．，“Ｃｍｏｓ Ｉｍａｇｅｒ Ｂａｓｅｄ ｏｎ Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅｓ，”Ｔｈｅ １３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｓｅｎｓｏｒｓ， Ａｃｔｕａｔｏｒｓ ａｎｄ Ｍｉｃｒｏｓｙｓｔｅｍｓ， ２００５， Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ， ＴＲＡＮＳＤＵＣＥＲＳ ’０５， Ａｕｇｕｓｔ ２２， ２００５， ５ ｐａｇｅｓ．
【文献】ＮＩＣＬＡＳＳ， Ｃｒｉｓｔｉａｎｏ， ｅｔ ａｌ．，“Ｔｏｗａｒｄ ａ ３－Ｄ Ｃａｍｅｒａ Ｂａｓｅｄ ｏｎ Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅｓ，”ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｅｌｅｃｔｅｄ Ｔｏｐｉｃｓ ｉｎ Ｑｕａｎｔｕｍ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｖｏｌ． １０， Ｎｏ． ４， Ｊｕｌｙ／Ａｕｇｕｓｔ ２００４， ｐｐ． ７９６－８０２．
【文献】ＳＴＯＰＰＡ， Ｄａｖｉｄ， ｅｔ ａｌ．，“Ａ ＣＭＯＳ ３－Ｄ Ｉｍａｇｅｒ Ｂａｓｅｄ ｏｎ Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ， Ｉ： Ｒｅｇｕｌａｒ Ｐａｐｅｒｓ， Ｖｏｌ． ５４， Ｎｏ． １， Ｊａｎｕａｒｙ ２００７， ｐｐ． ４－１２．
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、オブジェクトから反射された光パルスを感知してオブジェクトの３Ｄイメージ及び２Ｄイメージの両方を生成するイメージセンサ及びイメージングユニット並びにオブジェクトのグレイスケールイメージを生成する方法を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するためになされた本発明の一態様によるイメージセンサは、オブジェクトに向けて照射された光パルスに対応して前記オブジェクトから反射された１つ以上の光子を少なくとも１つのピクセルによって検出することに応答して、第１信号及び第２信号のペアを出力する前記少なくとも１つのピクセルを含む時間分解センサと、前記第１信号及び第２信号のペアに基づいて、前記光パルスが反射された前記オブジェクトの表面反射率を判定するプロセッサと、を備え、前記ペアの第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第１信号の振幅の第１比率は、前記検出された１つ以上の光子の飛行時間に比例し、前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第２信号の振幅の第２比率は、前記検出された１つ以上の光子の飛行時間に比例する。
【0010】
前記プロセッサは、前記第１信号及び第２信号のペアに基づいて前記オブジェクトまでの距離を更に決定し得る。
前記時間分解センサは、前記オブジェクトに向けて照射された複数の光パルスに対して前記オブジェクトから反射された１つ以上の光子を前記ピクセルによって検出することに応答して、各第１信号及び第２信号のペアが各光パルスに対応する複数の第１信号及び第２信号のペアを出力し、前記プロセッサは、前記複数の第１信号及び第２信号のペアに基づいて前記複数の光パルスが反射された前記オブジェクトの表面反射率を判定し得る。
前記時間分解センサは、前記オブジェクトに向けて照射された複数の光パルスに対して前記オブジェクトから反射された１つ以上の光子を前記ピクセルによって検出することに応答して、各第１信号及び第２信号のペアが各光パルスに対応する複数の第１信号及び第２信号のペアを出力し、前記プロセッサは、前記複数の第１信号及び第２信号のペアに基づいて前記複数の光パルスが反射された前記オブジェクトの表面反射率を判定し得る。
【0011】
上記目的を達成するためになされた本発明の一態様によるイメージングユニットは、オブジェクトの表面に向けて照射される一連の光パルスで前記オブジェクトを照明する光源と、前記光源に同期化され、前記オブジェクトの表面から反射された光パルスに対応する１つ以上の光子を検出することに応答して、第１信号及び第２信号のペアを出力する前記少なくとも１つのピクセルを含む時間分解センサと、前記第１信号及び第２信号のペアに基づいて、前記オブジェクトまでの距離を判定し、前記第１信号及び第２信号のペアに基づいて、前記光パルスが反射された前記オブジェクトの表面反射率を判定するプロセッサと、を備え、前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第１信号の振幅の第１比率は、前記検出された１つ以上の光子の飛行時間に比例し、前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第２信号の振幅の第２比率は、前記検出された１つ以上の光子の飛行時間に比例する。
【0012】
前記時間分解センサは、前記オブジェクトから反射された１つ以上の光子を前記ピクセルによって検出することに応答して、前記第１信号及び第２信号のペアのそれぞれが前記オブジェクトに向けて照射された複数の光パルスのそれぞれに対応する複数の第１信号及び第２信号のペアを出力し、前記プロセッサは、対応する前記第１信号及び第２信号のペアに基づいて、前記オブジェクトの複数の表面反射率を更に判定し得る。
前記プロセッサは、前記複数の表面反射率に基づいて、前記オブジェクトのグレイスケールイメージを更に生成し得る。
前記プロセッサは、前記複数の表面反射率に基づいて、前記オブジェクトのグレイスケールイメージを更に生成し得る。
【0013】
上記目的を達成するためになされた本発明のオブジェクトのグレイスケールイメージを生成する方法は、光源から一連の光パルスを前記オブジェクトの表面に向けて照射するステップと、ピクセルで、前記オブジェクトの表面から反射された光パルスに対応する１つ以上の光子を検出するステップと、前記光源に同期化される時間分解センサにより、前記１つ以上の光子を検出することに応答して、第１信号及び第２信号のペアを生成するステップと、プロセッサにより、前記第１信号及び第２信号のペアに基づいて、前記オブジェクトまでの距離を判定するステップと、前記プロセッサにより、前記第１信号及び第２信号のペアに基づいて、前記オブジェクトの表面反射率を判定するステップと、を有し、前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第１信号の振幅の第１比率は、前記検出された１つ以上の光子の飛行時間に比例し、前記ペアの前記第１信号の振幅と前記第２信号の振幅との和に対する前記ペアの前記第２信号の振幅の第２比率は、前記検出された１つ以上の光子の飛行時間に比例する。
【0014】
前記方法は、前記ピクセルで、前記オブジェクトに向けて照射されて複数の第１信号及び第２信号のペアの各々が前記一連の光パルスのそれぞれの光パルスに対応する複数の光パルスに対して前記オブジェクトから反射された１つ以上の光子を検出するステップと、前記プロセッサにより、前記複数の第１信号及び第２信号のペアの少なくとも１つに基づいて、前記オブジェクトの表面反射率を判定するステップと、を更に含み得る。
前記方法は、前記プロセッサにより、前記複数のピクセルの予め定められたピクセルによって検出される光子の到達時間の少なくとも１つのヒストグラムを生成して前記グレイスケールイメージを生成するステップと、を更に含み得る。
前記方法は、前記プロセッサにより、前記複数のピクセルの予め定められたピクセルによって検出される光子の到達時間の少なくとも１つのヒストグラムを生成して前記グレイスケールイメージを生成するステップと、を更に含み得る。
【発明の効果】
【0015】
本発明によると、オブジェクトに向けて光パルスを照射する時からオブジェクトから反射された光パルスが感知されるまで、充電電荷が移された量が第１信号に変換され、充電電荷の残りの電荷量が第２信号に変換される。第１信号及び第２信号に基づいて光パルスの飛行時間が計算され、飛行時間から距離が計算されて３Ｄイメージが生成される。第１信号及び第２信号に基づいて、反射された光パルスの電力が計算され、計算された電力又は計算された距離から反射率が計算され、オブジェクトの２Ｄグレイスケールイメージが生成される。
【図面の簡単な説明】
【0016】
【図1】イメージセンサシステムの概略構成図である。
【図3】３Ｄデプスの測定がどのように遂行されるかの一例を示すフローチャートである。
【図4】３Ｄデプスの測定のためにポイントのスキャンがどのように遂行されるかの一例を説明するための図である。
【図6a】ピクセルアレイ構造の一例を示す図である。
【図6b】ピクセルアレイ構造の他の例を示す図である。
【図6c】ピクセルアレイ構造の更に他の例を示す図である。
【図7】ピクセルの一例を示す回路図である。
【図10】論理ユニットがピクセルでどのように具現されるかを説明するための図である。
【図12】イメージセンサユニットの一部分の一例を示すレイアウト図である。
【図13】ピクセルの他の例を示す回路図である。
【図15】時間分解センサの一例を示すブロック図である。
【図20】時間分解センサの他の例を示すブロック図である。
【図23】時間分解センサの更に他の例を示す回路図である。
【図26a】ＳＰＡＤからのトリガー波形出力の一例を示す図である。
【図26b】形成されるピクセルの光検出時間の一例を示すヒストグラムである。
【図26c】ヒストグラムの一例として、照射されたパルス（図示せず）のＦＷＨＭを示すウィンドウ幅を表し、イベントカウントの最大（ｅｖｅｎｔ ｃｏｕｎｔ ｍａｘｉｍｕｍ）が判定されることを説明するための図である。
【図27】ピクセルに対する一例を示すヒストグラムである。
【図28】シーンのデプス又は範囲、マップ、及びグレイスケールイメージを生成する一例を示す方法のフローチャートである。
【図29a】シーンの一例を示すイメージである。
【発明を実施するための形態】
【0017】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。しかし、本発明は、このような特定の実施形態に限定されずに実施され得ることが、この分野における熟練した者に理解される。よく知られた方法、手順、構成要素、及び回路は、本発明を曖昧にしないために詳細に記述しない。また、本発明は、これらに限定されず、スマートフォン、ユーザー装置（ＵＥ）、及び／又はラップトップコンピュータを含む任意のイメージングデバイス又はシステムで、低消費電力、３Ｄデプスの測定を遂行するように具現される。
【0018】
本明細書で「一実施例」又は「実施例」の参照は、その実施例に関連して記述する特定の特色、構造、又は特性が本明細書に記載した少なくとも１つの実施例に含まれ得ることを意味する。従って、本明細書の多様な部分において「一実施形態では」、「実施形態では」、又は「一実施例による」のフレーズ（又は類似の意味を有する他のフレーズ）の登場は、全て同じ実施例を参照するものとしてはならない。なお、特定の特色、構造、又は特性は、１つ以上の実施例で任意の適切な方法で組み合わせられる。これに関連して、本明細書で使用するように、「模範的な」の言葉は、「１つの例、事例、又は実例として提供される」ということを意味する。ここで「模範的な」と記述する任意の実施例は、他の実施例よりも選好されたり、長所を有するものとされたりしてはならない。また、特定の特色、構造、又は特性は、１つ以上の実施例で任意の適切な方法で組み合わせられる。また、本明細書で説明するコンテキストに依存して、単数形は対応する複数形を含み、複数形は対応する単数形を含み得る。同様に、ハイフンで連結された用語（例えば、「２－次元」、「事前に－定められた」、「ピクセル－特化」など）は、時折対応するハイフンなしのバージョン（例えば、「２次元」、「事前に定められた」、「ピクセル特化」など）に代替して使用され、英文の大文字の項目（例えば、「カウンタクロック（Ｃｏｕｎｔｅｒ Ｃｌｏｃｋ）」、「行選択（Ｒｏｗ Ｓｅｌｅｃｔ）」、「ＰＩＸＯＵＴ」など）は、対応する大文字なしのバージョン（例えば、「カウンタクロック（ｃｏｕｎｔｅｒ ｃｌｏｃｋ）」、「行選択（ｒｏｗ ｓｅｌｅｃｔ）」、「ｐｉｘｏｕｔ」など）に代替して使用され得る。このような不定期的な代替使用は、互いに矛盾するものとされてはならない。
なお、本明細書に記載するコンテキストに依存して、単数形は対応する複数形を含み、複数形は対応する単数形を含み得る。本明細書に示して説明する多様な図面（構成要素図を含む）は、説明の目的のためのみであり、同じ比率に限定されない。同様に、多様な波形及びタイミング図が説明の目的のためのみに示される。例えば、要素の一部の次元は明確性のために他の要素よりも強調されることがある。また、適切であると思われる場合、参照符号は図面で繰り返されて対応する及び／又は類似の要素を指す。
なお、本明細書に記載するコンテキストに依存して、単数形は対応する複数形を含み、複数形は対応する単数形を含み得る。本明細書に示して説明する多様な図面（構成要素図を含む）は、説明の目的のためのみであり、同じ比率に限定されない。同様に、多様な波形及びタイミング図が説明の目的のためのみに示される。例えば、要素の一部の次元は明確性のために他の要素よりも強調されることがある。また、適切であると思われる場合、参照符号は図面で繰り返されて対応する及び／又は類似の要素を指す。
【0019】
本明細書で使用する用語は、いくつかの実施例を説明する目的のためのみであり、本発明の限定を意図しない。本明細書で使用するように、コンテキストから明らかに異なるものとされない限り、単数形は複数形もまた含むことを意味する。本明細書で使用される場合、「含む（ｃｏｍｐｒｉｓｅ）」及び／又は「含む（ｃｏｍｐｒｉｓｉｎｇ）」の用語は、言及する特色、整数、ステップ、動作、要素、及び／又は構成要素の存在を明示し、１つ以上の他の特色、整数、ステップ、動作、要素、構成要素、及び／又はこれらのグループの存在を排除しない。本明細書で使用するように、「第１」、「第２」などの用語は、これらが後に続く名詞に対するラベルに使用され、明らかにそのように定義されない場合、任意の形態の順序（例えば、空間的、時間的、論理的など）を示唆しない。また、同一の参照符号は、２つ以上の図面で使用されて同じ又は類似の機能を有する部品、構成要素、ブロック、回路、ユニット、又はモジュールを示すことがある。しかし、このような使用は、説明の単純化及び説明の容易さのためのみであり、このような構成要素、ユニットの構造、又は構造的詳細さが全ての実施例に亘って同一であるか、或いはこのような共通で参照される部品／モジュールが本明細書に記載された実施例の一部を具現する唯一の方法であることを示唆するものではない。
【0020】
要素又は階層が他の要素又は階層の上にあるか、接続されるか、又は結合されることで参照される場合、その要素又は階層は、他の要素又は階層の直ぐ上にあるか、直接連結されるか、又は直接結合されることがあり、また割り込み要素又は階層が存在することが理解される。逆に、要素が他の要素又は階層の直上にあるか、直接連結されるか、又は直接結合されることで参照される場合、割り込み要素又は階層が存在しない。類似の参照符号は、全体的に類似の要素を指す。本明細書で使用するように、「及び／又は」の用語は、関連して列挙する物品の１つ以上のものの任意且つ全ての組み合わせを含む。
【0021】
本明細書で使用するように、「第１」、「第２」などの用語は、これらが後に続く名詞に対するラベルに使用され、明らかにそのように定義しない場合、任意の形態の順序（例えば、空間的、時間的、論理的など）を示唆しない。また、２つ以上の図面に亘って使用する同一の参照符号は、同じ又は類似の機能を有する部品、構成要素、ブロック、回路、ユニット、又はモジュールを指す。しかし、このような使用は、説明の単純化及び説明の容易さのためのみであり、このような構成要素、ユニットの構造、又は構造的詳細さが全ての実施例に亘って同一であるか、或いはこのような共通に参照される部品／モジュールが本明細書に記述する実施例の一部を具現する唯一の方法であることを示唆するものではない。
【0022】
図面に示すように、「の（真）下に」、「より下に」、「下位の」、「の上に」、「上位の」などのような空間的に相対的な用語は、ここで１つの要素又は特色の異なる要素（複数の要素）又は特色（複数の特色）に対する関係を記述する説明の容易さのために使用される。空間的に相対的な用語は、図面で示す方向に加えて使用又は動作中のデバイスの他の方向を含むことを意図することが理解される。例えば、図面のデバイスを裏返した場合、他の要素又は特色の「より下に」又は「の下に」に説明する要素は、他の要素又は特色の「の上に」の方向であり得る。従って、「より下に」の用語は上下方向の両方を含む。デバイスが違う方向に向けられると（９０度回転すると、又は他の方向に）、本明細書で使用する空間的に相対的な説明は、それに応じて解釈される。
【0023】
異なった方法で定義しない場合、本明細書で使用する全ての用語（技術的及び科学的用語を含む）は、本発明の属する分野における通常の技術を有する者によって共通に理解されるものと同じ意味を有する。共通に使用される辞典で定義されたものと同じ用語は、関連分野のコンテキストにおいてそれらの意味と一致する意味を有するものと解釈されるべきであり、本明細書で明確にそのように定義されない場合、理想化されたり、過度に形式的に解釈されたりすべきではない。
【0024】
本明細書で使用するように、「モジュール」の用語は、モジュールに関連付けられて本明細書に記述する機能を提供するように構成されるソフトウェア、ファームウェア、及び／又はハードウェアの任意の組み合わせを指す。ソフトウェアは、ソフトウェアパッケージ、コード、及び／又はコマンドセット若しくはコマンドで搭載され、本明細書で記述する任意の具現で使用する「ハードウェア」の用語は、例えば単独又は任意の組み合わせでプログラム可能な回路によって実行されるコマンドを格納するハードウェアの内蔵されたハードワイアード（ｈａｒｄｗｉｒｅｄ）回路、プログラム可能な回路、状態マシン回路、及び／又はファームウェアを含み得る。モジュールは、総括的に又は個別的に、例えばこれらに限定されないが、集積回路（ＩＣ）、システム・オン・チップ（ＳｏＣ）などのより大規模なシステムの一部を形成する回路として搭載され得る。
【0025】
上述した３Ｄ技術は多くの問題点を有する。例えば、ＴＯＦベースの３Ｄイメージング（ｉｍａｇｉｎｇ）システムは、光学的又は電気的シャッターを動作させるために電力を必要とする。このようなシステムは、通常数メートルから数十メートルの範囲に亘って動作するが、このようなシステムの解像度は短い距離の測定において減少し、約１メートルの距離で３Ｄイメージを作ることは殆ど不可能である。従って、ＴＯＦシステムは、写真が殆ど近くの距離で撮影される携帯電話ベースのカメラアプリケーションに対しては好ましくない。ＴＯＦセンサは、また通常７μｍよりも大きいピクセルサイズを有する特殊なピクセルを必要とする。このようなピクセルは、また周辺光に脆弱である。
【0026】
ステレオスコピックイメージングの方法は、一般的にテクスチャード（ｔｅｘｔｕｒｅｄ）表面のみで動作する。これは特徴に整合してオブジェクトのステレオペアのイメージ間の対応性を探し出す必要によって高い演算の複雑度を有する。これは高いシステム電力を必要とし、スマートフォンのように省電力が必要なアプリケーションにおいて適切な特性ではない。また、ステレオイメージングは、２つのレンズと共に２つの常設の高ビット解像度のセンサを必要とするため、デバイスの所有地（デバイス空間）が重要視される携帯電話又はタブレットのようにポータブル機器のアプリケーションに対してアセンブリ全体が適合しない。
【0027】
ＳＬの方法は、距離の曖昧さを示し、高いシステム電力を必要とする。３Ｄデプスの測定に対して、ＳＬの方法は多数のパターンを有する多数のイメージを必要とすることがある。これらの全ては、演算の複雑度及び消費電力を増加させる。なお、ＳＬイメージングは、高ビット解像度を有する常設のイメージセンサを必要とする。従って、構造化された光ベースのシステムは、スマートフォンの低コスト、低消費電力、コンパクトイメージセンサに適さない可能性がある。
【0028】
３Ｄ技術と対照的に、本明細書で記述するいくつかの実施例は、スマートフォン、タブレット、ユーザー装置（ＵＥ）のようなポータブル電子装置の低消費電力３Ｄイメージングシステムを具現することを提供する。本明細書で記述するいくつかの実施例による２Ｄイメージングセンサは、２Ｄ ＲＧＢ（赤、緑、青）のイメージと可視光レーザースキャンで３Ｄデプスの測定をキャプチャーし、３Ｄデプスの測定中に周辺光を遮断することができる。次の技術で、ポイントスキャンのための光として可視光レーザーについて頻繁に言及し、イメージ／光キャプチャーデバイスとして２Ｄ ＲＧＢセンサについて頻繁に言及するが、このような言及は、説明の一貫性の目的のためのみである。以下で記述する可視光レーザーやＲＧＢセンサベースの例は、スマートフォン、タブレット、ユーザー装置（ＵＥ）のようなカメラを有する低消費電力、消費者グレード（ｃｏｎｓｕｍｅｒ－ｇｒａｄｅ）モバイル電子装置でアプリケーションを見つけることができる。しかし、本発明は、以下で言及する可視光ＲＧＢセンサベースの例に限定されない。代わりに、本明細書に記載するいくつかの実施例によると、ポイントスキャンベースの３Ｄデプスの測定及び周辺光遮断方法は、これらに限定されないが、（ｉ）レーザーソースが赤色光（Ｒ）、緑色光（Ｇ）、又は青光（Ｂ）のレーザー又はレーザーソースがこのような光の組み合わせを生成する可視光レーザーソースを備えた２Ｄカラー（ＲＧＢ）センサ、（ｉｉ）赤外線（ＩＲ）遮断フィルタを有する２Ｄ ＲＧＢカラーセンサを備えた可視光レーザー、（ｉｉｉ）２Ｄ ＩＲセンサを備えた近赤外線（ＮＩＲ）レーザー、（ｉｖ）２Ｄ ＮＩＲセンサを備えたＮＩＲレーザー、（ｖ）２Ｄ ＲＧＢセンサ（ＩＲ遮断フィルタがない）を備えたＮＩＲレーザー、（ｖｉ）２Ｄ ＲＧＢセンサ（ＮＩＲ遮断フィルタがない）を備えたＮＩＲレーザー、（ｖｉｉ）可視光又はＮＩＲレーザーを備えた２Ｄ ＲＧＢ－ＩＲセンサ、（ｖｉｉｉ）可視光又はＮＩＲレーザーを備えた２Ｄ ＲＧＢＷ（赤、緑、青、白）センサなどのような２Ｄセンサ及びレーザー光源（ポイントスキャンのため）の多数の異なる組み合わせを用いて遂行され得る。
【0029】
３Ｄデプスの測定のうち、全てのセンサはレーザースキャンに関連してバイナリセンサーとして動作して３Ｄコンテンツを再構成する。いくつかの実施例で、センサのピクセルサイズは１μｍほど小さい可能性がある。なお、低ビット解像度のため、本明細書に記載するいくつかの実施例によるイメージセンサのアナログ／デジタル変換器（ＡＤＣ）ユニットは、通常的な３Ｄイメージングシステムにおける高ビット分解能センサに必要なものよりも非常に少ない処理電力を必要とすることがある。低処理電力の必要によって、本発明による３Ｄイメージングモジュールは、低システム消費電力を必要とし、従ってスマートフォンのような低消費電力装置に含まれることに非常に適する。
【0030】
いくつかの実施例で、本発明は、ラインセンサのグループにより３Ｄデプスの測定のためのレーザー光源で三角測量及びポイントスキャンを使用する。レーザースキャン平面及びイメージング平面はエピポーラ線幾何（ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ）を用いて方向付けられる。本明細書に記載する一実施例によるイメージセンサは、タイムスタンプを用いて三角測量の方法の曖昧さを除去する。従ってデプス演算及びシステム電力の量を減らす。３Ｄレーザースキャンモードだけでなく、通常、２Ｄ（ＲＧＢカラー又は非ＲＧＢ）イメージングモードで同一のイメージセンサ（即ち、イメージセンサの各ピクセル）が使用される。しかし、レーザースキャンモードで、イメージセンサのＡＤＣの解像度は、バイナリ出力（１ビット分解能）に減少する。従ってイメージセンサに関連付けられる処理ユニットを含むチップで読み出し速度が向上し、消費電力（例えば、ＡＤＣユニット内のスイッチングに起因する）が節減される。ポイントスキャン方法は、システムが一度に全ての測定をすることによって、デプスの測定のためのレイテンシを減らし、モーションブラー（被写体ぶれ）を減らす。
【0031】
上述したように、いくつかの実施例で、全体のイメージセンサは、可視光レーザースキャンを用いた３Ｄデプスイメージだけではなく、例えば周辺光を用いた通常の２Ｄ ＲＧＢカラーイメージのためにも使用される。このような同じカメラユニットの二重使用は、モバイル装置の空間及びコストを節約することができる。特定のアプリケーションにおいて、３Ｄアプリケーションのための可視光レーザーは、近赤外線（ＮＩＲ）レーザーと比較して、ユーザーの目の安全のためにより良い可能性がある。センサは、ＮＩＲスペクトルよりは可視スペクトルであり、より高い量子効率を有し、光源の低消費電力を引き出すことができる。一実施例で、二重使用のイメージセンサは、通常、２Ｄセンサとして２Ｄイメージングのための動作の線形モードで動作する。しかし、３Ｄイメージングのために、センサは、通常の光条件下では線形モードで動作し、強力な周辺光の下では対数（ｌｏｇａｒｉｔｈｍｉｃ）モードで動作し、強力な周辺光を遮断して可視レーザー光源の持続的な使用を可能にする。周辺光の遮断は、例えばＲＧＢセンサに採用されたＩＲ遮断フィルタの通過帯域の帯域幅が十分に広くない場合に、ＮＩＲレーザーでもまた必要になることがある。
【0032】
要約すると、本明細書の記載は、ピクセルで多数の隣接するＳＰＡＤからの出力によって制御される振幅変調（ａｍｐｌｉｔｕｄｅ－ｍｏｄｕｌａｔｅｄ）の電荷転送（ｃｈａｒｇｅ－ｔｒａｎｓｆｅｒ）動作を有する時間電荷変換（ＴＣＣ：ｔｉｍｅ－ｔｏ－ｃｈａｒｇｅ ｃｏｎｖｅｒｔｅｒ）としてピクセルで埋め込みフォトダイオード（ＰＰＤ：ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ）を使用してＴＯＦを決定する。周辺光が高い場合、ＳＰＡＤは反射された光子（例えば、反射された光パルス３７内の）の代わりに周辺光子によってトリガーされる確率が高い。このようなトリガーに対する依存は、距離の測定エラーを誘発し得る。従って、本明細書の記載で、電子シャッターがオンである場合のように、２つ以上のＳＰＡＤが非常に短く、予め定義された時間間隔にトリガーされた場合、ＰＰＤ電荷転送は停止されてＴＯＦのみが記録される。その結果、本明細書の記載の教示に従った全天候型自律走行システムは、例えば、低光、霧、悪天候、強力な周辺光などのような難しい走行条件で運転者に改善された視野を提供することができる。いくつかの実施例で、本明細書の記載の教示に従った走行システムは、１００ｋＬｕｘまでの高い周辺光を遮断することができる。いくつかの実施例で、より少ないピクセルサイズで高い空間解像度のピクセル構造がＳＰＡＤ対ＰＰＤで１：１の比率として提供される。いくつかの実施例で、ＳＰＡＤはブレークダウン電圧（ｂｒｅａｋｄｏｗｎ ｖｏｌｔａｇｅ）よりも低くバイアスされ、アバランシェフォトダイオード（ＡＰＤ：ａｖａｌａｎｃｈｅ ｐｈｏｔｏｄｉｏｄｅ）モードで使用される。
【0033】
図１は、イメージングシステム１５０の概略構成図であり、図２は、図１のイメージセンサシステムの動作の一例を説明するための構成図である。システム１５は、プロセッサモジュール（又は単にプロセッサ）１９又はホストに結合されて通信するイメージングモジュール１７を含む。システム１５は、またプロセッサモジュール１９に結合されてイメージングモジュール１７から受信されるイメージデータなどのコンテンツを格納するメモリモジュール（又は、単にメモリ）２０を含む。いくつかの実施例で、システム全体は、単一の集積回路（ＩＣ）又はチップにカプセル化され得る。また、モジュール（１７、１９、２０）のそれぞれは、分離されたチップで具現され得る。メモリモジュール２０は、１つ以上のメモリチップを含み、プロセッサモジュール１９は、また多数のプロセッシングチップを含み得る。図１のモジュールのパッケージの詳細、モジュールがどのように製造されるか又は具現されるかに対する詳細（シングルチップ、又は多数の分離されたチップ）は、本説明に関係しないため、このような詳細は本明細書で提供しない。
【0034】
システム１５は、本発明による２Ｄ及び３Ｄカメラアプリケーションのために構成された任意の低消費電力の電子機器であり得る。システム１５は、ポータブルであるか又はポータブルではない。システム１５のポータブルバージョンの一部の例は、これらに限定されないが、モバイル装置、携帯電話、スマートフォン、ユーザー装置（ＵＥ）、タブレット、デジタルカメラ、ノートパソコン又はデスクトップコンピュータ、電子スマート時計、マシンツーマシン（Ｍ２Ｍ）通信ユニット、バーチャルリアリティ（ＶＲ）装置又はモジュール、ロボットなどのような一般的な消費者電子ツールを含む。一方、システム１５のポータブルでないバージョンの一部の例は、ビデオアーケードのゲームコンソール、インタラクティブビデオ端末、自動車、マシン視野システム、産業ロボット、ＶＲ装置、自動車の運転者側の実装カメラ（例えば、運転者が居眠りしている否かをモニターする）などを含む。本明細書に記載する３Ｄイメージング機能は、これらに限定されないが、全天候自律走行、及び低光又は悪天候条件における運転者支援などの自動車アプリケーション、ヒューマンマシンインターフェース及びゲーミングアプリケーション、並びにマシンビジョン及びロボット工学アプリケーションのような多くのアプリケーションにおいて使用される得る。
【0035】
本明細書に記載するいくつかの実施例で、イメージングモジュール１７は、プロジェクターモジュール（又は、光源モジュール２２）及びイメージセンサユニット２４を含む。プロジェクターモジュール２２の光源は、例えば近赤外線（ＮＩＲ：Ｎｅａｒ Ｉｎｆｒａｒｅｄ）、短波赤外線（ＳＷＩＲ：Ｓｈｏｒｔ Ｗａｖｅ Ｉｎｆｒａｒｅｄ）レーザーのような赤外線（ＩＲ）レーザーであり、照明が目に見えないようにする。他の実施例で、光源は可視光レーザーであり得る。イメージセンサユニット２４は、図２に示すように、ピクセルアレイと補助処理回路とを含む。
【0036】
一実施例で、プロセッサモジュール１９は、汎用マイクロプロセッサである中央処理装置（ＣＰＵ）である。本明細書で使用するように、「プロセッサ」及び「ＣＰＵ」の用語は、代替して使用され得る。しかし、ＣＰＵの代わりに又はＣＰＵに加えて、プロセッサモジュール１９は、これらに限定されないが、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理装置（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）プロセッサなどのような他の任意のタイプのプロセッサを含む。一実施例で、プロセッサモジュール１９（又は、ホスト）は分散処理環境で動作する１つ以上のＣＰＵを含む。プロセッサモジュール１９は、コマンドを実行し、これらに限定されないが、ＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ）命令セットアーキテクチャ（ＩＳＡ：Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ）に依存するｘ８６命令セットアーキテクチャ（３２ビット又は６４ビットバージョン）やパワーＰＣ（登録商標）ＩＳＡ又はＭＩＰＳ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ ｗｉｔｈｏｕｔ Ｉｎｔｅｒｌｏｃｋｅｄ Ｐｉｐｅｌｉｎｅ Ｓｔａｇｅｓ）命令セットアーキテクチャのような特殊なＩＳＡ：に基づいてデータを処理するように構成され得る。一実施例で、プロセッサモジュール１９は、ＣＰＵの機能に追加的な機能を有するシステムオンチップ（ＳｏＣ）である。
【0037】
いくつかの実施例で、メモリモジュール２０は、これらに限定されないが、同期式ＤＲＡＭ（ＳＤＲＡＭ）、高帯域幅メモリ（ＨＢＭ）モジュール、ハイブリッドメモリキューブ（ＨＭＣ）メモリモジュールのようなＤＲＡＭベースの３次元スタック（３ＤＳ）メモリモジュールのようなダイナミックランダムアクセスメモリ（ＤＲＡＭ）であり得る。他の実施例で、メモリモジュール２０は、ソリッドステートドライブ（ＳＳＤ）、非３ＤＳ ＤＲＡＭモジュール、これらに限定されないが、静的ランダムアクセスメモリ（ＳＲＡＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ又はＰＣＲＡＭ）、抵抗性ランダムアクセスメモリ（ＲｅＲＡＭ）、導電性ブリッジＲＡＭ（ＣＢＲＡＭ）、磁気ＲＡＭ（ＭＲＡＭ）、又はスピントランスファートルクＭＲＡＭ（ＳＴＴ－ＭＲＡＭ）のような他の任意の半導体ベースのストレージシステムであり得る。
【0038】
図２は、本発明による図１のイメージングシステム１５の例示的な動作の構成を示す。システム１５は、個々のオブジェクト又はシーン（図示せず）内のオブジェクトであるオブジェクト（又は、３Ｄオブジェクト）２６のようなオブジェクトに対する距離又はデプス情報（Ｚ－軸に沿って）を獲得するために使用される。システム１５は、（ピクセルアレイの）イメージフレーム当たり単一のパルスが使用される直接のＴＯＦイメージャー（ｉｍａｇｅｒ）であり得る。いくつかの実施例で、多数の短いパルスがオブジェクト２６に伝送され得る。一実施例で、距離／デプス情報は、イメージセンサユニット２４から受信されるスキャンデータに基づいてプロセッサモジュール１９によって判定される。他の実施例で、距離／デプス情報は、イメージセンサユニット２４によって判定される。いくつかの実施例で、デプス情報は３Ｄユーザーインターフェースの一部としてプロセッサモジュール１９によって使用され、システム１５のユーザーがオブジェクトの３Ｄイメージとコミュニケーションするか、或いはオブジェクトの３Ｄイメージをシステム１５で実行されているゲーム又は自律走行アプリケーションのような他のアプリケーションの一部として使用させることができる。本発明による３Ｄイメージングは、また他の目的又はアプリケーションのために使用され、実質的に任意のシーンや３Ｄオブジェクトにも適用され得る。
【0039】
図２において、Ｘ軸はシステム１５の前面に沿った水平方向であり、Ｙ軸は垂直方向であり（視野内のページの外側）、Ｚ軸はシステム１５からイメージになるオブジェクト２６の一般的な方向に伸長される方向である。デプスの測定のために、光源モジュール２２、イメージセンサユニット２４の光軸がＺ軸に平行する。他の光学配列が使用されて、本明細書に記述する原理を具現することができ、このような代替的な配列は、本発明の範囲内であると考えられる。
【0040】
光学視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）内でオブジェクト２６をポイントスキャンするために使用される光ビーム又は光学的放射（ｏｐｔｉｃａｌ ｒａｄｉａｔｉｏｎ）の照明経路を示す対応する点線（３０、３１）に関連付けられた矢印（２８、２９）で示すように、プロジェクター（又は光源）モジュール２２はオブジェクト２６を照明する。オブジェクト表面のライン単位のポイントスキャンは、一実施例で、レーザーコントローラ３４によって動作されて制御されるレーザー光源（又は、単にレーザー）３３である光学的放射源を利用して遂行される。レーザー光源３３からの光ビームは、レーザーコントローラ３４の制御下で、投影装置のレンズ３５を通してオブジェクト２６の表面のＸ－Ｙ方向にポイントスキャンされる。ポイントスキャンは、図４を参照してより詳細に説明するように、スキャンラインに沿ってオブジェクトの表面に光の点を投影する。投影装置のレンズ３５は、レーザー光源３３からのレーザービームをオブジェクト２６の表面のポイント若しくは点に集中させる集中レンズ、ガラス／プラスチック表面、又は他の円筒形の光学要素であり得る。図２に示した実施例で、投影装置のレンズ３５として凸構造を図示する。しかし、他の任意の適切なレンズが投影装置で選択され得る。オブジェクト２６は、レーザー光源３３からの照明光が投影装置のレンズ３５によって光点に集中する集中位置に配置される。従って、ポイントスキャンで、オブジェクト２６の表面のポイント又は狭いエリア／スポットは、投影装置のレンズ３５から集中された光ビームによって順次に照明される。
【0041】
いくつかの実施例で、レーザー光源３３（又は照明ソース）は、可視光を発光するダイオードレーザー若しくは発光ダイオード（ＬＥＤ）、ＮＩＲレーザー、ポイント光源、可視光スペクトル内の単色の照明ソース（白色ランプ及び単色光器（ｍｏｎｏｃｈｒｏｍａｔｏｒ）の組み合わせのような）、又は他の任意のタイプのレーザー光源であり得る。レーザー３３は、システム１５のハウジング内の１つの位置に固定されるが、Ｘ－Ｙ方向に回転可能である。レーザー光源３３は、Ｘ－Ｙアドレス指定可能であり（例えば、レーザーコントローラ３４によって）、３Ｄオブジェクト２６のポイントスキャンを遂行することができる。一実施例で、可視光は、実質的に緑色光であり得る。レーザー光源３３からの可視光照明は鏡（図示せず）を利用して３Ｄオブジェクト２６の表面に投影され、またポイントのスキャンは完全に鏡なしに遂行され得る。いくつかの実施例で、光源モジュール２２は、図２に示した実施例よりも多いか又は少ない構成要素を含み得る。
【0042】
図２の実施例で、オブジェクト２６のポイントスキャンから反射された光は、矢印（３６、３７）及び点線（３８、３９）で示した収集経路に沿って移動する。光収集経路は、レーザー光源３３からの光が受信されるにつれて、オブジェクト２６の表面から反射又は散乱された光子を運ぶ。ここで、図２の（そしてまた、図４にも適用可能な）実線の矢印及び点線を用いた多様な伝送経路の表示は、説明の目的のみのためのものであり、実際にある光信号伝送経路を示するものと見なしてはならない。実際に、照明や収集信号経路は、図２に示したものと異なる場合があり、図２に示すように明確に定義されない可能性がある。
【0043】
照明したオブジェクト２６から受信される光は、イメージセンサユニット２４の収集装置のレンズ４４を通して２Ｄピクセルアレイ（又は、単にピクセルアレイ）４２のいずれか１つ以上のピクセルに集中する。投影装置のレンズ３５と同様に、収集装置のレンズ４４は、オブジェクト２６から受信された反射光を２Ｄピクセルアレイ４２内の１つ以上のピクセルに集中させる集中レンズ、ガラス／プラスチック表面、又は他の円筒形の光学要素である。図２に示した実施例で、収集装置のレンズ４４として凸構造を示す。しかし、任意の他の適切なレンズのデザインが収集装置のレンズ４４として選択され得る。図２で、ピクセルアレイ４２は、単に３×３ピクセルアレイであるものとして図示されるが、最新のピクセルアレイは、数千個又は数百万個のピクセルを含むことが理解されるべきである。ピクセルアレイ４２は、異なるピクセルが異なる色の光信号を収集するＲＧＢピクセルアレイであり得る。いくつかの実施例で、ピクセルアレイ４２は、これらに限定されないが、ＩＲ遮断フィルタを備えた２Ｄ ＲＧＢセンサ、２Ｄ ＩＲセンサ、２Ｄ ＮＩＲセンサ、２Ｄ ＲＧＢＷセンサ、又は２Ｄ ＲＧＢ－ＩＲセンサのような任意の２Ｄセンサであり得る。システム１５は、オブジェクト２６の２Ｄ ＲＧＢカラーイメージングだけでなく、オブジェクト２６の３Ｄイメージング（デプスの測定を含む）のために、同じピクセルアレイ４２を使用することができる。
【0044】
ピクセルアレイ４２は受信された光子を対応する電気信号に変換し、電気信号はその後に関連付けられるピクセル処理ユニット４６によって処理され、オブジェクト２６の３Ｄデプスイメージが判定される。一実施例で、ピクセル処理ユニット４６は、デプスの測定のための三角測量を利用する。三角測量の方法は、図４を参照して後述する。ピクセル処理ユニット４６は、ピクセルアレイ４２の動作を制御するための回路を含む。
【0045】
プロセッサ１９は、光源モジュール２２及びイメージセンサユニット２４の動作を制御する。例えば、システム１５は、２Ｄイメージングモードを３Ｄイメージングモードに切り替えるように、ユーザーによって制御可能なモードスイッチ（図示せず）を有することができる。ユーザーがモードスイッチを利用して２Ｄイメージングモードを選択すると、プロセッサ１９はイメージセンサユニット２４を活性化することができるが、２Ｄイメージングモードは、周辺光を使用するため、光源モジュール２２を活性化できないこともある。一方、ユーザーがモードスイッチを利用して３Ｄイメージングモードを選択すると、プロセッサ１９は、光源モジュール２２及びイメージセンサユニット２４の両方を活性化し、またピクセル処理ユニット４６でリセット（ＲＳＴ）信号のレベルの変化をトリガーする。例えば周辺光が強すぎて線形モードが拒否されると、（以下で、更に記述するように）、プロセッサ１９は、線形モードから対数モードに変更することができる。ピクセル処理ユニット４６から受信される処理されたイメージデータは、プロセッサ１９によってメモリ２０に格納される。プロセッサ１９は、またユーザーによって選択された２Ｄ又は３Ｄイメージをシステム１５のディスプレイスクリーン（図示せず）に表示することができる。プロセッサ１９は、ソフトウェア又はファームウェアでプログラムされて、本明細書に記述する様々な処理タスクを行うことができる。代わりに又はそれに加えて、プロセッサ１９は、プロセッサ１９の機能の一部又は全部を遂行するためのプログラム可能なハードウェア論理回路を含み得る。いくつかの実施例で、メモリ２０は、プロセッサ１９にプロセッサ１９の機能を提供するプログラムコード、検索表、及び／又は中間演算結果を格納する。
【0046】
図３は、３Ｄデプスの測定がどのように遂行されるかの一例を示すフローチャート５０である。図３に示した様々な動作は、システム１５内の単一のモジュール、複数のモジュール、又はシステムの構成要素の組み合わせによって遂行され得る。特定のタスクは、例示的にのみ、特定のモジュール又はシステムの構成要素によって遂行されるものとして記述する。他のモジュール又はシステムの構成要素が、このようなタスクを遂行するように適切に構成される。
【0047】
図３において、ステップ５２で、システム１５（より詳細には、プロセッサモジュール１９）は、光源モジュール２２のような光源を利用し、スキャンラインに沿って図２のオブジェクト２６のような３Ｄオブジェクトの１次元（１Ｄ）ポイントスキャンを遂行する。ポイントスキャンの一部として、光源モジュール２２は、例えばプロセッサ１９により線単位の方法で３Ｄオブジェクト２６の表面に一連の光点を投影するように構成される。ステップ５４で、システム１５のピクセル処理ユニット４６は、２Ｄピクセルアレイ４２のようなイメージセンサのピクセルの行を選択する。２Ｄピクセルアレイ４２は、メージ平面を形成する２Ｄアレイ内に配列された複数のピクセルを含み、ピクセルの選択された行はイメージ平面上のスキャニングライン（ステップ５２で）のエピポーラ線（ｅｐｉｐｏｌａｒ ｌｉｎｅ）を形成する。エピポーラ線幾何の簡単な説明を、図４を参照して提供する。ステップ５６で、ピクセル処理ユニット４６は、ピクセルの行の対応するピクセルを利用して各光点を検出するようにプロセッサ１９によって協調的に構成される。照明光の点から反射された光は、照明点から反射された光が収集装置のレンズ４４により２つ以上の隣接するピクセルに集中するのと同様に、単一のピクセル又は１つ以上のピクセルによって検出されることに留意しなければならない。２つ以上の光点から反射された光は、また２Ｄピクセルアレイ４２内の単一のピクセルで収集される。タイムスタンプベースの方法は、２つの異なる点が同じピクセルによってイメージされるか、又は単一の点が２つの異なるピクセルによってイメージされることに起因するデプスの計算に関連する曖昧さを除去するために使用される。ステップ５８で、ピクセル処理ユニット４６（プロセッサ１９によって適切に構成されるにつれて）は、一連の光点（ステップ５２のポイントスキャンの）の対応する光点のピクセル特定の検出（ステップ５６で）に応答して、ピクセル特定の出力を生成する。その結果、ステップ６０で、ピクセル処理ユニット４６は、少なくともピクセル特定の出力（ステップ５８で）及び対応する光点（ステップ５２で）を投影するために、光源によって使用されたスキャン角に基づいて３Ｄオブジェクトの表面の対応する光点の３Ｄ距離（又はデプス）を判定する。デプスの特定は、図４を参照してより詳細に説明する。
【0048】
図４は、３Ｄデプスの測定のためにポイントのスキャンがどのように遂行されるかの一例を説明するための図である。図４に、レーザー光源３３のＸＹ回転能力を、Ｘ方向（角度βを有する）及びＹ方向（角度αを有する）でレーザーの角運動を示す矢印（６２、６４）によって示す。一実施例で、レーザーコントローラ３４は、プロセッサ１９から受信されたスキャンコマンド／入力に基づいてレーザー光源３３のＸＹ回転を制御する。例えば、ユーザーが３Ｄイメージモードを選択すると、プロセッサ１９は、レーザーコントローラ３４が投影装置のレンズ３５に対向するオブジェクトの表面の３Ｄデプスの測定を開始するように構成・制御する。それに応答して、レーザーコントローラ３４は、レーザー光源３３のＸＹ移動を通じて、オブジェクト表面の１Ｄ ＸＹポイントのスキャンを開始する。図４に示したように、レーザー３３は、１Ｄスキャニングラインに沿って光点を投影することにより、オブジェクト２６の表面をポイントスキャンする。２つのスキャニングライン（ＳＲ６６及びＳＲ＋１６８）を図４に点線で示す。オブジェクト２６の表面の曲がりのため、光点７０～７３は、図４でスキャンニングラインＳＲ６６を形成する。スキャンニングラインＳＲ＋１６８を形成する光点は参照符号で示していない。レーザー３３は、例えば行（Ｒ、Ｒ＋１）に沿って左側から右側方向に一度に１つのスポットずつオブジェクト２６をスキャンする。行（Ｒ、Ｒ＋１）の値は、２Ｄピクセルアレイ４２のピクセルの行を参照して知ることができる。例えば、図４の２Ｄピクセルアレイ４２で、ピクセルの行（Ｒ）を参照番号「７５」を用いて示し、行（Ｒ＋１）を参照番号「７６」を用いて示す。行（Ｒ、Ｒ＋１）は、説明の目的のみのために複数の行から選択されることが理解される。
【0049】
２Ｄピクセルアレイ４２のピクセルの行を含む平面はイメージ平面と呼ばれ、ライン（ＳＲ、ＳＲ＋１）のようなスキャンラインを含む平面はスキャン平面と呼ばれる。図４に示した実施例で、イメージ平面及びスキャン平面は、２Ｄピクセルアレイ４２で、各行（Ｒ、Ｒ＋１）が対応するスキャンライン（ＳＲ、ＳＲ＋１）のエピポーラ線を形成するようにエピポーラ線幾何を用いて方向付けられる。イメージ平面上の照明スポットの投影（スキャンラインで）が行（Ｒ）に沿って明瞭なスポットを形成する場合、ピクセルの行（Ｒ）は、スキャンラインに対応するエピポーラ線と見なされる。例えば、図４において、矢印６８は、レーザー光源３３による光点７１の照明を示し、矢印８０は、光点７１が収集装置のレンズ４４によって行（Ｒ）に沿ってイメージ化や投影されることを示す。図４に示していないが、光点（７０～７３）の全ては、行（Ｒ）の対応するピクセルでイメージ化されるはずである。従って、一実施例で、位置及び方向のようなレーザー光源３３とピクセルアレイ４２の物理的な配列はオブジェクト２６の表面のスキャンラインの照明された光点がピクセルアレイ４２の対応する行のピクセルによってキャプチャー又は検出され、ピクセルの該当する行はスキャンラインのエピポーラ線を形成する。
【0050】
２Ｄピクセルアレイ４２のピクセルは、行及び列に配列される。照明された光点は、ピクセルアレイ４２の対応する行及び列によって参照される。例えば、図４において、スキャンライン（ＳＲ）の光点７１はＸＲ，ｉに指定され、光点７１がピクセルアレイ４２の行Ｒ及び列ｉ（Ｃｉ）によってイメージされることを示す。列（Ｃｉ）は点線８２で示される。他の照明されたスポットは、同様に識別される。上述したように、２つ以上の光の点から反射された光は行内の単一のピクセルによって受信されるか、或いは単一の光点から反射された光はピクセルの行の１つ以上のピクセルによって受信される。タイムスタンプベースの方法は、このような多重又は重複投影から発生するデプスの計算の曖昧さを除去するために使用され得る。
【0051】
図４において、参照番号「８４」を有する矢印は、システム１５の前面に沿って、図２に示したＸ軸のようなＸ軸から光点７１のデプスや距離Ｚ（Ｚ－軸に沿う）を示す。図４において、参照番号「８６」を有する点線は、投影装置のレンズ３５及び収集装置のレンズ４４もまた含む垂直平面に含まれるものとして視覚化される軸を示す。しかし、三角測量ベースの説明をし易くするために、図４のレーザー光源３３を、投影装置のレンズ３５の代わりにＸ軸８６に存在するのもので示す。三角測量ベースの方法で、Ｚの値は次の数学式１を用いて判定される。
【0052】
【数1】
【0053】
数学式１において、「ｈ」は、収集装置のレンズ４４とピクセルアレイ４２との間のＺ－軸に沿った距離であり、収集装置のレンズ４４の後面の垂直平面にあるものとみなされる。「ｄ」は、イメージセンサユニット２４に関連付けられたレーザー光源３３と収集装置のレンズ４４との間のオフセット距離である。「ｑ」は、収集装置のレンズ４４に対応する光点を検出したピクセル（図４の例で、検出／イメージングピクセル（ｉ）を、光点（ＸＲ，ｉ）７１に関連付けられた列（Ｃｉ）で示す）との間のオフセット距離を示す。「θ」は、関連付けられた光点（図４の例で、光点７１）に対する光源のスキャン角度又はビーム角度である。代案的に、「ｑ」は、またピクセルアレイ４２の視野内の光点のオフセットであると考えられる。数学式１のパラメータを、また図４に示す。
【0054】
数学式１から、パラメータ（θ、ｑ）のみが与えられたポイントのスキャンに対する変数であるｈ及びｄは、システム１５の物理的な幾何学的情報に基づいて、原則として予め定められるか又は固定されることが見られる。行（Ｒ）７５がスキャンライン（ＳＲ）のエピポーラ線であるため、オブジェクト２６のデプスの差異やデプスプロファイルはイメージ化される、異なる光点についてｑの値として示されるように、水平方向にイメージの移動が反映される。タイムスタンプベースの方法は、キャプチャーされた光点のピクセル位置とレーザー光源３３の対応するスキャン角との間の対応性を見つけることに使用される。即ち、タイムスタンプは、ｑとθの値との間の関係を示すことができる。従って、スキャン角（θ）の知られた値とイメージ化された光点（ｑに示すように）の対応する位置から、光点への距離Ｚは数学式１の三角測量を利用して判定することができる。距離測定のための三角測量は、また例えばブラウンなど（Ｂｒｏｗｎ ｅｔ ａｌ．）によって出願された米国特許出願公開公報第２０１１／０１０２７６３Ａ１号を含む関連文献に記述される。従って、三角測量ベースの距離測定に関連付けられるブラウンの公開文書の記載は、全体的に本明細書に参照として含まれる。
【0055】
図５は、図２のピクセルアレイ４２のピクセル４３のようなピクセルの一例を示すブロック図である。ＴＯＦ測定のために、ピクセル４３は、時間分解センサとして動作することができる。図５に示したように、ピクセル４３は、ＰＰＤコア部分（又は、単にＰＰＤコア）５０２に電気的に連結されるＳＰＡＤコア部分（又は、単にＳＰＡＤコア）５０１を含む。本明細書に記載したように、ピクセル内のＳＰＡＤ及びＰＰＤコア配列の他の例示的な構成を図６ａ～図６ｃに示す。ＳＰＡＤコア部分５０１は、第１制御回路５０４に協調的に連結される２つ以上のＳＰＡＤ５０３を含む。１つ以上のＳＰＡＤ５０３は入射光５０５を受信して対応するＳＰＡＤ特定の電気信号を生成し、ＳＰＡＤ特定の電気信号は第１制御回路５０４によって処理されてＳＰＡＤ特定のデジタル出力を生成する。このようなＳＰＡＤ特定のデジタル出力の全てを、図５の矢印５０６で統合的且つ記号的に示す。ＰＰＤコア５０２は、ＰＰＤ５０８に結合される第２制御回路５０７を含む。第２制御回路５０７は、ＳＰＡＤ出力５０６を受信し、ＳＰＡＤ出力５０６に応答してＰＰＤ５０８からの電荷転送を制御してピクセル特定のアナログ出力信号（又は、単にピクセル出力）（ＰＩＸＯＵＴ５１０）を生成する。より具体的には、以下でより詳細に説明するように、ピクセル４３内の２つ以上の隣接する多数のＳＰＡＤ５０３が予め定められた時間間隔内で入射光５０５から（反射された）光子を検出したときにのみ、ＰＰＤ５０８からの電荷の転送が第２制御回路５０７によって停止され、ＴＯＦ値と３Ｄオブジェクト２６に対する対応する距離を記録させる。言い換えると、少なくとも２つの隣接するＳＰＡＤ５０３の出力間の空間的／時間的相関がＰＰＤ５０８の動作を制御するために使用される。ピクセル４３に対して、光感知機能はＳＰＡＤ５０３によって行われ、ＰＰＤ５０８は光感知要素の代わりにＴＣＣに使用される。反射された光子（反射された光パルス３７の）は、伝送された光パルス２８に相関し（相関しない周辺光と比較して）、ＰＰＤ５０８からの電荷転送の制御が予め定められた時間間隔内で２つ以上の隣接するＳＰＡＤのトリガーに基づいており、周辺光子を排除することによって強い周辺光の状況でイメージセンサユニット２４の改善された性能を提供する。従って実質的に距離測定エラーを防止することができる。
【0056】
図６ａ～図６ｃは、ピクセルアレイ構造の３つの異なる例をそれぞれ示す図である。図６ａ～図６ｃに示したピクセルアレイ構造のいずれも、図２のピクセルアレイ４２を具現するために使用され得る。図６ａにおいて、例示的な２×２ピクセルアレイ構造６００Ａを示し、各ピクセル（６０１～６０４）（一部の実施例で、図５のピクセル４３を示す）は、１つのピクセル特定のＰＰＤコア及び４つのピクセル特定のＳＰＡＤコアを含む。単純化のために、ＰＰＤ及びＳＰＡＤコアはピクセル６０１についてのみ識別され、ＰＰＤコアを参照番号「６０５」で示し、ＳＰＡＤコアを参照番号「６０６～６０９」で示す。
【0057】
図６ａに示した構造６００Ａは、与えられたサイズの半導体ダイの各ピクセルによって占有される物理的空間のために、低（空間的）解像度構造とされる。その結果、３×３ピクセルアレイ構造のより高い解像度を提供する図６ｂの例示的な構造６００Ｂと比較して、比較的に少ない数のピクセルがダイのピクセルアレイに形成される。図６ｂのより高い解像度構造６００Ｂで、１つのＳＰＡＤコアは４つ（２×２）の隣接するＰＰＤコアによって共有される。例えば、図６ｂにおいて、ＳＰＡＤコア６２５は、隣接するピクセル（６２１～６２４）（一部の実施例で、これらのそれぞれは、図５のピクセル４３を示す）のＰＰＤコアにより共有されるものとして示される。単純化のために、図６ｂのピクセルアレイ構造６００Ｂの他の構成要素は参照番号で識別されていない。１つのＳＰＡＤが、４つの隣接するピクセルの間に共有される図６ｂのピクセルアレイ構造６００Ｂの構成は、ピクセル内のＰＰＤとピクセルに関連するＳＰＡＤとの間に１：１の効率的な比率を提供する。
【0058】
このような共有は、図６ｃのピクセルアレイ構造６００Ｃによって示されるように、３×３の共有又はそれより多くに拡張される。各ＳＰＡＤがダイの隣接するピクセルで共有されると、ピクセルアレイに、より多くのピクセルが形成されるため、図６ｂに示したＳＰＡＤ共有構成は、ピクセルアレイに対する高い（空間）解像度の構造を提供する。従ってダイのより多くの空間がより多くのピクセルを収容することができる。なお、図６ｂのピクセルアレイ構造６００Ｂのピクセルが、２×２構成で４つのＳＰＡＤコアに関連付けられた単一のＰＰＤコアを有するため、４つまでの一致する光子が各ピクセルにより検出（即ち、ＳＰＡＤ当たり１つの光子）される。
【0059】
図６ａ及び図６ｂは、単一のダイでＰＰＤ及びＳＰＡＤが具現された例示的なピクセルアレイ構造を示している。即ち、ＳＰＡＤ及びＰＰＤは、ダイ内の同じレベルに有る。対照的に、図６ｃは、ピクセルが積層されたダイに具現された例示的な４×４ピクセルアレイ構造６００ｃを示す。例えば、ＳＰＡＤコアは上位ダイに具現され、ＰＰＤコア（及び読み出し回路）は下部ダイに具現される。従って、ＰＰＤ及びＳＰＡＤは積層された２つの異なるダイに有り、このダイの回路要素（ＰＰＤ、ＳＰＡＤ、トランジスタなど）は配線や金属バンプによって電気的に連結され得る。図６ｂの構造６００Ｂのように、図６ｃのピクセルアレイ構造６００Ｃは、また単一ＳＰＡＤコアが９個（３×３）の隣接するＰＰＤコアによって共有される高解像度構造を提供する。同様に、図６ｃに示したように、ＰＰＤコア６４１のような単一のＰＰＤコアは、ＳＰＡＤコア（６４２～６５０）の９つのＳＰＡＤコアに関連して単一のピクセルを形成する。ＳＰＡＤコア（６４２～６５０）は、また他のピクセルによって共有される。単純化のために、他のピクセル、それらのＰＰＤコア、及び関連するＳＰＡＤコアは、図６ｃで参照番号により識別されていない。更に、図６ｃのピクセルアレイ構造６００Ｃのピクセルが３×３構成の９つのＳＰＡＤコアに関連付けられた単一のＰＰＤコアを有するため、９個までの一致する光子が各ピクセルにより検出（即ち、ＳＰＡＤ当たり１つの光子）される。
【0060】
図７は、ピクセル７００の一例を示す回路図である。図７に示したピクセル７００は、図２及び図５に示したより包括的なピクセル４３の例であり得る。電子シャッター信号７０１が各ピクセルに提供（図８、図９、及び図１４のタイミング図を参照して次により詳細に説明するように）され、ピクセル７００が反射された光パルス３７によって誘発されたピクセル特定の光電子を時間関連の方法でキャプチャーする。より一般的に、ピクセル７００は、電荷転送トリガーの部分、電荷の生成及び転送部分、並びに電荷収集及び出力部分を有するものとされ得る。電荷転送トリガー部分はＳＰＡＤコア５０１及び論理ユニット７０２を含む。電荷の生成及び転送部分は、ＰＰＤ５０８、第１ＮＭＯＳＦＥＴ（Ｎ－ｃｈａｎｎｅｌ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｆｉｅｌｄ Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）（又は第１ＮＭＯＳトランジスタ）（又は、単に第１トランジスタ）７０３、第２ＮＭＯＳトランジスタ７０４、及び第３ＮＭＯＳトランジスタ７０５を含む。電荷収集及び出力部分は、第３ＮＭＯＳトランジスタ７０５、第４ＮＭＯＳトランジスタ７０６、及び第５ＮＭＯＳトランジスタ７０７を含む。いくつかの実施例で、図７のピクセル７００のＰＰＤコア及び図１３のピクセル９００のＰＰＤコアは、ＰＭＯＳＦＥＴ（Ｐ－ｃｈａｎｎｅｌ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｆｉｅｌｄ Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒｓ）、ＰＭＯＳトランジスタ若しくは他のタイプのトランジスタ、又は電荷転送デバイスで形成される。なお、本明細書で記述したピクセル７００の各部分は、説明の目的のみのためのものである。いくつかの実施例で、ピクセル７００の各部分は、本明細書に記述したものよりもより多いか、より少ないか、又は他の回路要素を含み得る。
【0061】
ＰＰＤ５０８は、キャパシタと同様に電荷を貯蔵することができる。一実施例で、ＰＰＤ５０８は、カバーされることによって光に応答しない可能性がある。従って、ＰＰＤ５０８は、光感知要素の代わりにＴＣＣに使用され得る。しかし、上述したように、光感知機能はＳＰＡＤコア５０１内のＳＰＡＤによって達成される。いくつかの実施例で、フォトゲート（ｐｈｏｔｏｇａｔｅ）又は他の半導体デバイス（適切な修正を有する）が図７及び図１３のピクセル構成のＰＰＤの代わりに使用され得る。
【0062】
電荷転送トリガー部分は、電子シャッター信号７０１の制御下で転送アクティブ（ＴＸＥＮ）信号７０８を生成して、ＰＰＤ５０８に貯蔵された電荷の転送をトリガーする。ＳＰＡＤは図２のオブジェクト２６のようなオブジェクトから反射されて伝送された光パルスの光子を検出（以下、「光子検出イベント」と呼ぶ）してパルス信号を出力し、パルス信号は論理ユニット７０２による後続の処理のために電子シャッター信号７０１の協調的な制御下でラッチされる。論理ユニット７０２は、例えば電子シャッター信号７０１が活性化された間の予め定められた時間間隔内に、少なくとも２つの隣接するＳＰＡＤから受信された出力５０６がある場合に、全てのデジタルＳＰＡＤ出力５０６を処理してＴＸＥＮ信号７０８を生成する論理回路を含む。
【0063】
電荷生成及び転送部分で、ＰＰＤ５０８は、初期に第３トランジスタ７０５と共にリセット信号（ＲＳＴ）を用いてそれ自体のフルウェルキャパシティ（ｆｕｌｌ ｗｅｌｌ ｃａｐａｃｉｔｙ）に設定される。第１トランジスタ７０３は、第１トランジスタ７０３のドレイン端子から伝送電圧（ＶＴＸ）信号７１０を受信してゲート端子でＴＸＥＮ信号７０８を受信する。ＴＸ信号７１１は、第１トランジスタ７０３のソース端子から利用可能であり、第２トランジスタ７０４のゲート端子に印加される。図示したように、第１トランジスタ７０３のソース端子は、第２トランジスタ７０４のゲート端子に連結される。ＶＴＸ信号７１０（又は、等価的にＴＸ信号７１１）は、振幅変調信号として使用されて第２トランジスタ７０４のソース端子に連結されたＰＰＤ５０８から伝送される電荷を制御する。第２トランジスタ７０４は、ソース端子からのＰＰＤ５０８の電荷をトランジスタ７０４のドレイン端子に転送し、ドレイン端子は、第４トランジスタ７０６のゲート端子に連結され、フローティングディフュージョン（ＦＤ：Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）ノード／ジャンクション７１２で参照される電荷の「コレクションサイト（ｃｏｌｌｅｃｔｉｏｎ ｓｉｔｅ）」を形成する。いくつかの実施例で、ＰＰＤ５０８から転送される電荷は振幅変調信号（ＶＴＸ信号７１０）（又は、等価的にＴＸ信号７１１）によって提供される変調に依存する。図７及び図１３の実施例で、転送される電荷は電子である。しかし、本発明は、本記載に限定されず、他の設計を有するＰＰＤが使用され、転送される電荷はホールであり得る。
【0064】
電荷収集及び出力部分で、第３トランジスタ７０５は、第３トランジスタ７０５のゲート端子でＲＳＴ信号７０９を受信して第３トランジスタ７０５のドレイン端子からピクセル電圧（ＶＰＩＸ）信号７１３を受信する。第３トランジスタ７０５のソース端子は、フローティングディフュージョンノード／ジャンクション７１２に連結される。一実施例で、ＶＰＩＸ信号７１３の電圧レベルは、総括電源電圧（ＶＤＤ）の電圧レベルと同じであり、２．５Ｖから３．０Ｖの範囲内であり得る。第４トランジスタ７０６のドレイン端子は、またＶＰＩＸ信号７１３を受信する。いくつかの実施例で、第４トランジスタ７０６は、ＮＭＯＳのソースフォロワー（ｓｏｕｒｃｅ ｆｏｌｌｏｗｅｒ）として動作し、バッファアンプとして機能する。第４トランジスタ７０６のソース端子は、第５トランジスタ７０７のドレイン端子に連結され、第５トランジスタ７０７のドレイン端子は、ソースフォロワーの第４トランジスタ７０６とカスコード（ｃａｓｃｏｄｅ）である、第５トランジスタ７０７のゲート端子は、選択（ＳＥＬ）信号７１４を受信する。ＰＰＤ５０８から転送されてフローティングディフュージョンノード／ジャンクション７１２で収集された電荷は第５トランジスタ７０７のソース端子にピクセル特定の出力（ＰＩＸＯＵＴ）のデータラインとして現われる。
【0065】
ＰＰＤ５０８からフローティングディフュージョンノード／ジャンクション７１２に転送された電荷はＶＴＸ信号７１０（及び、ＴＸ信号７１１）によって制御される。フローティングディフュージョンノード／ジャンクション７１２に到達する電荷の量はＴＸ信号７１１によって変調される。一実施例で、転送電圧（ＶＴＸ）信号７１０（及び、ＴＸ信号７１１）は、傾斜された（ｒａｍｐｅｄ）ＰＰＤ５０８からの電荷をフローティングディフュージョンノード／ジャンクション７１２に漸進的に伝達する。従って、転送される電荷の量は振幅変調信号（ＴＸ信号７１１）の関数であり、ＴＸ信号７１１の傾斜（ｒａｍｐｉｎｇ）は時間の関数である。従って、ＰＰＤ５０８からフローティングディフュージョンノード／ジャンクション７１２に転送される電荷の量は、また時間の関数である。ＰＰＤ５０８からフローティングディフュージョンノード／ジャンクション７１２への電荷の転送中に、ＳＰＡＤコア５０１で、少なくとも２つの隣接するＳＰＡＤに対して光子検出イベントが発生したことに起因するＳＰＡＤコア５０１によるＴＸＥＮ信号７０８の生成のために第２トランジスタ７０４がターンオフされると、ＰＰＤ５０８からフローティングディフュージョンノード／ジャンクション７１２への電荷の転送は停止する。その結果、フローティングディフュージョンノード／ジャンクション７１２に転送される電荷の量とＰＰＤ５０８に残った電荷の量の両方は、入射する光子のＴＯＦの関数である。その結果は、時間電荷変換であり、シングルエンド差動信号変換である。従って、ＰＰＤ５０８は、時間電荷変換（ＴＣＣ：ｔｉｍｅ－ｔｏ－ｃｈａｒｇｅ ｃｏｎｖｅｒｔｅｒ）として動作する。電荷がフローティングディフュージョンノード／ジャンクション７１２により多く転送されるほど、フローティングディフュージョンノード／ジャンクション７１２の電圧がより大きく減少してＰＰＤ５０８の電圧がより大きく増加する。
【0066】
フローティングディフュージョンノード／ジャンクション７１２の電圧は、その後にＰＩＸＯＵＴ信号として第５トランジスタ７０７を介してアナログ／デジタル変換器（ＡＤＣ）ユニット（図示せず）に伝送され、更なる処理のために適切なデジタル信号／値に変換され得る。図７の多様な信号のタイミング及び動作のより多くの詳細は、図９の説明を参照して提供される。その場合、図７の実施例で、フローティングディフュージョンノード／ジャンクション７１２はＰＰＤ５０８の電荷を電圧に変換し、電荷がフローティングディフュージョンノード／ジャンクション７１２に完全に転送された後、第５トランジスタ７０７は、ピクセル７００を選択するためのＳＥＬ信号７１４を受信してフローティングディフュージョンノード／ジャンクション７１２に転送された電荷をＰＩＸＯＵＴ１（又はピクセル出力１）電圧として出力し、ＰＰＤ５０８に残った電荷をＰＩＸＯＵＴ２（又はピクセル出力２）電圧として出力することができる。ピクセル出力５１０のデータラインは、順次にＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２信号を、図１０を参照して後述するように、順次に読み出して出力する。他の実施例で、ＰＩＸＯＵＴ１信号とＰＩＸＯＵＴ２信号の両方ではなく、１つが読み出される。
【0067】
図８は、図７のピクセル７００で変調された電荷の転送メカニズムの概要の一例を示すタイミング図８００である。図８に示した波形（図９及び図１４もまた）は、事実上単純化されて説明の目的のみとして参照される。実際の波形は、回路の具現に依存して形態だけでなくタイミングも異なる場合がある。図７及び図８で、共通の信号は、同一の参照符号を用いて識別され、ＶＰＩＸ信号７１３、ＲＳＴ信号７０９、電子シャッター信号７０１、及びＶＴＸ信号７１０を含む。図８で、２つの異なる波形（８０１、８０２）がまた示され、電荷転送の間にＶＴＸ信号７１０が印加されたときのＰＰＤ５０８内の電荷の状態及びフローティングディフュージョンノード／ジャンクション７１２内の電荷の状態をそれぞれ示す。図８の実施例で、ＶＰＩＸ信号７１３は、ピクセル７００の動作中に、低い論理電圧（例えば、論理０又は０Ｖ）から開始してピクセル７００を初期化した後、高い論理電圧（例えば、論理１又は３Ｖ）に変化する。リセット（ＲＳＴ）信号７０９は、ピクセル７００の初期化の間に高い論理電圧パルス（例えば、論理０から論理１に変化してから論理０に戻るパルス）で開始してＰＰＤ５０８内の電荷をフルウェルキャパシティに設定し、フローティングディフュージョンノード／ジャンクション７１２の電荷をゼロクーロン（０Ｃ、ｚｅｒｏ Ｃｏｕｌｏｍｂｓ）に設定する。フローティングディフュージョンノード／ジャンクション７１２のためのリセット電圧レベルは論理１レベルである。距離（ＴＯＦ）測定動作中に、フローティングディフュージョンノード／ジャンクション７１２がＰＰＤ５０８からより多くの電子を受け取るほど、フローティングディフュージョンノード／ジャンクション７１２の電圧はより低くなる。ピクセル７００の初期化の間に電子シャッター信号７０１は、低い論理電圧（例えば、論理０又は０Ｖ）から開始し、ピクセル７００の動作中に最小測定距離に対応する時間に論理１レベル（例えば、３Ｖ）に変化してＳＰＡＤコア５０１のＳＰＡＤ５０３に反射された光パルス３７の光子（秒）を検出させ、その後に最大測定距離に対応する時間に論理０レベル（例えば、０Ｖ）に変化する。従って、電子シャッター信号７０１の論理１レベルの区間は事前に定義された時間区間／ウィンドウを提供し、その時間のうちに隣接するＳＰＡＤから受信される出力は空間的及び時間的相関を有する。ＰＰＤ５０８内の電荷は初期化中に完全に充電されて開始し、ＶＴＸ信号７１０が０Ｖからより高い電圧に傾斜される（なるべく線形的に）につれて減少する。振幅変調信号（ＶＴＸ信号７１０）の制御下のＰＰＤ電荷レベルは、図８で８０１の参照番号を有する波形によって示される。ＰＰＤ電荷の減少はＶＴＸ信号がどれくらい長く傾斜されるかの関数であり、これはＰＰＤ５０８からフローティングディフュージョンノード／ジャンクション７１２に特定量の電荷転送を誘発する。従って、図８で８０１の参照番号を有する波形によって示されるように、フローティングディフュージョンノード／ジャンクション７１２の電荷は、低い電荷（例えば、０Ｃ）から開始してＶＴＸ信号７１０が０Ｖからより高いレベルに傾斜されるにつれて増加し、ＰＰＤ５０８からフローティングディフュージョンノード／ジャンクション７１２に特定量の電荷を部分的に転送する。電荷転送はＶＴＸ信号７１０がどれくらい長く傾斜されるかの関数である。
【0068】
上述したように、ＰＩＸＯＵＴ５１０のデータラインへのピクセル特定の出力は、フローティングディフュージョンノード／ジャンクション７１２に転送されたＰＰＤ電荷から導出される。従って、ＰＩＸＯＵＴ信号５１０は、振幅変調信号（ＶＴＸ信号７１０）（又は、等価的にＴＸ信号７１１）によって、時間に応じて振幅変調されたものとされ得る。このような方式で、ＴＯＦ情報がＶＴＸ信号７１０（又は、等価的にＴＸ信号７１１）を用いたピクセル特定の出力の振幅変調を通じて提供される。いくつかの実施例で、ＶＴＸ信号７１０を生成するための変調関数は単調（ｍｏｎｏｔｏｎｉｃ）である。図８、図９、及び図１４に示した例示的な実施例で、振幅変調信号は、傾斜関数（ｒａｍｐ ｆｕｎｃｔｉｏｎ）を用いて生成される。従ってこれらは傾斜タイプの波形を有するものとみられる。しかし、他の実施例で、他のタイプのアナログ波形／関数が変調信号として使用され得る。
【0069】
一実施例で、２つのピクセルの出力の合計（ここで、ＰＩＸＯＵＴ１＋ＰＩＸＯＵＴ２）に対する１つのピクセルの出力（例えば、ＰＩＸＯＵＴ１）の比率は、例えば図９に示され、以下でより詳細に説明するようにＴｔｏｆとＴｄｌｙとの時間差に比例する。例えば、ピクセル７００の例で、パラメータ（Ｔｔｏｆ）はＳＰＡＤコアに５０１で２つ以上のＳＰＡＤによって受信された光信号のピクセル特定のＴＯＦ値であり、遅延時間のパラメータ（Ｔｄｌｙ）は光信号（光パルス２８）が初期に伝送されたときからＶＴＸ信号７１０が傾斜し始めるまでの時間である。通常、電子シャッター信号７０１が開かれたときに発生するＶＴＸ信号７１０が傾斜し始めた後に光パルス２８が伝送されると、遅延時間（Ｔｄｌｙ）は負である。比例関係は、数学式２で表される。
【0070】
【数2】
【0071】
しかし、本発明は、数学式２の関係に限定されない。以下で説明するように、数学式２の比率は、オブジェクトのデプスや距離を計算するために使用され、ＰＩＸＯＵＴ１とＰＩＸＯＵＴ２との合計が常に同じでない場合、ピクセルツーピクセルの変動よりもそれほど敏感ではない。
【0072】
便宜のために、本明細書で使用するように、「Ｐ１」の用語は「ＰＩＸＯＵＴ１」を示すのに使用され、「Ｐ２」の用語は「ＰＩＸＯＵＴ２」を示すのに使用される。ピクセル特定のＴＯＦ値は、ピクセル特定の出力値（Ｐ１、Ｐ２）の比率で判定されることが数学式２の関係から示される。いくつかの実施例で、ピクセル特定のＴＯＦ値が判定されると、オブジェクト（図２のオブジェクト２６のような）へのピクセル特定の距離Ｄ（Ｄｉｓｔａｎｃｅ）、範囲Ｒ（Ｒａｎｇｅ）、又はオブジェクト上の特定の位置が数学式３により与えられる。
【0073】
【数3】
【0074】
ここで、ｃは光速度である。或いは、いくつかの実施例で、図７のＶＴＸ信号７１０（又はＴＸ信号７１１）のような変調信号は、例えばシャッターウィンドウ内で線形であり、範囲（又は距離）は数学式４で計算される。
【0075】
【数4】
【0076】
従って、オブジェクト２６のようなオブジェクトの３Ｄイメージは、上記で与えられた数学式により判定されたピクセル特定の範囲の値に基づいてＴＯＦシステム１５によって生成され得る。
【0077】
ピクセル内の振幅変調ベースの操作又はＰＰＤ電荷分散の制御は、距離測定及び解像度もまた制御可能にする。ＰＰＤ電荷のピクセルレベル振幅変調は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのようなローリングシャッター、又は例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサのようなグローバルシャッターである。本明細書での記載は、図１及び図２のシステム１５のような単一パルスＴＯＦイメージングシステムのコンテキストで主に提供されるが、本明細書で説明するピクセルレベルの内部振幅変調方法の原理は、適切な修正（必要な場合に）を通して、ピクセル４３（図５参照）を備えた連続波変調のＴＯＦイメージングシステム又は非ＴＯＦシステムでも具現され得る。
【0078】
図９は、図７のピクセル７００がＴＯＦ値を測定するための図２及び図１２のピクセルアレイ４２のようなピクセルアレイで使用される場合の、図１及び図２のシステム１５における異なる信号の一例を示すタイミング図９００である。図２及び図７の実施例に示されて伝送された光パルス２８、ＶＰＩＸ信号７１３、ＴＸＥＮ信号７０８などのような多様な信号が同一の参照符号号を用いて図９で識別される。図９の説明に先立ち、図９のコンテキストで（そして、図１４の場合にもまた）、パラメータＴｄｌｙは、参照番号「９０１」で示すように、照射された光パルス２８の立ち上がりエッジとＶＴＸ信号７１０が傾斜し始めるときとの間の時間遅延を示し、パラメータＴｔｏｆは、参照番号「９０２」で示すように、照射された光パルス２８及び反射された光パルス３７の立ち上がりエッジ間の遅延で測定されるピクセル特定のＴＯＦ値を示し、パラメータＴｓｈは、参照番号「９０３」で示すように、そして電子シャッター信号７０１の活性化（例えば、論理１又はオン）及び非活性化（例えば、論理０又はオフ）に与えられるように、電子シャッターのオープニング（ｏｐｅｎｉｎｇ）とクロージング（ｃｌｏｓｉｎｇ）との間の時間区間を示すことに留意しなければならない。従って、電子シャッター信号７０１は、参照番号「９０４」で識別される区間Ｔｓｈの間に活性化されると考えられる。いくつかの実施例で、遅延Ｔｄｌｙは、予め定められて動作条件に関係なく固定され得る。他の実施例で、遅延Ｔｄｌｙは、例えば外部の気象条件に依存してリアルタイムで調節可能である。ここで、高いか又は低い信号レベルは、ピクセル７００の設計に関連することに留意しなければならない。図９に示した信号の極性やバイアスレベルは、例えばトランジスタや使用される他の回路構成要素のタイプに基づいて、他のタイプのピクセル設計で異なることがある。
【0079】
上述したように、図９の波形（図１４でも、また）は、事実上単純化されたものであり、そして説明の目的だけのためであり、実際の波形は、回路の具現に依存して形態だけでなくタイミングでも異なり得る。図９に示したように、反射された光パルス３７は、照射された光パルス２８の時間方式で遅延されたバージョンである。いくつかの実施例で、照射された光パルス２８は、例えば約５ｎｓ～約１０ｎｓの範囲内のような非常に短い区間であり得る。反射された光パルス３７は、ピクセル７００の２つ以上のＳＰＡＤを用いて感知される。電子シャッター信号７０１は、ＳＰＡＤを活性化して反射された光パルス３７のピクセル特定の光子をキャプチャーする。電子シャッター信号７０１は、ゲーテッドディレイ（ｇａｔｅｄ ｄｅｌａｙ）（照射された光パルス２８に対する）を有し、ピクセルアレイ４２に到達することによる光散乱を回避することができる。照射された光パルス２８の光散乱は、例えば悪天候が原因で発生することがある。
【0080】
多様な外部信号（例えば、ＶＰＩＸ信号７１３、ＲＳＴ信号７０９など）及び内部信号（例えば、ＴＸ信号７１１、ＴＸＥＮ信号７０８、フローティングディフュージョンノード／ジャンクション７１２の電圧）に加えて、図９のタイミング図９００は、また次のイベントや時間区間を識別する。次のイベントや時間区間は、（ｉ）ＲＳＴ、ＶＴＸ、ＴＸＥＮ、及びＸ信号がハイ（ｈｉｇｈ）であり、そしてＶＰＩＸ信号７１３及び電子シャッター信号７０１がロー（ｌｏｗ）であるときのＰＰＤプリセット９０５、（ｉｉ）ＲＳＴ信号がハイ（ｈｉｇｈ）からロー（ｌｏｗ）に戻るまでのＴＸ信号がロー（ｌｏｗ）であるときからの第１フローティングディフュージョンリセット９０６、（ｉｉｉ）遅延時間Ｔｄｌｙ９０１、（ｉｖ）飛行時間Ｔｔｏｆ９０２、（ｖ）電子シャッターオンや活性化区間Ｔｓｈ９０３、及び（ｖｉ）第２時間の間のＲＳＴ信号７０９が論理１のときの区間に対する第２ＦＤリセットイベント９０７を含む。図９は、また電子シャッターが初期にいつクロージング（ｃｌｏｓｉｎｇ）されるのか又はオフであるのか（参照番号「９０８」で示す）、初期にフローティングディフュージョンノード／ジャンクション７１２に転送された電荷がＰＩＸＯＵＴ５１０のデータラインを通じていつ読み出されるのか（参照番号「９０９」で示す）、第２ＦＤリセットイベント９０７でフローティングディフュージョンノード／ジャンクション７１２の電圧がいつ第２時間をリセットするのか、そしてＰＰＤ５０８に残った電荷がいつフローティングディフュージョンノード／ジャンクション７１２に伝送されてイベント９１０で読み出されるのか（例えば、ＰＩＸＯＵＴ５１０への出力として）を示す。一実施例で、シャッターオン区間ＴｓｈはＶＴＸ信号７１０の傾斜時間よりも短いか又は同じである。
【0081】
図９を参照すると、図７のピクセル７００の例で、ＰＰＤ５０８は、初期化の段階で電荷それ自体のフルウェルキャパシティまで満たされる（例えば、ＰＰＤプリセット９０５イベント）。ＰＰＤプリセット９０５時間の間に、図示したように、ＲＳＴ信号７０９、ＶＴＸ信号７１０、ＴＸＥＮ信号７０８、及びＴＸ信号７１１はハイであり、ＶＰＩＸ信号７１３及び電子シャッター信号７０１はローである。その後に、ＶＴＸ信号７１０（そして、ＴＸ信号７１１）はローになって第２トランジスタ７０４をシャットオフし、ＶＰＩＸ信号７１３はハイになって完全に充電されたＰＰＤ５０８からの電荷転送を開始する。いくつかの実施例で、ピクセルアレイ４２のピクセルの行の全てのピクセルは、同時に共に選択され、選択された行の全てのピクセルのＰＰＤはＲＳＴ信号７０９を用いて共にリセットされる。ピクセルの選択された行の各ピクセルは個別に読み出され、アナログベースのＰＩＸＯＵＴ信号は対応する列ＡＤＣユニット（図示せず）によってデジタル値に変換され得る。一実施例で、ピクセルの選択されない行のＲＳＴラインはハイ又はオンに維持されてブルーミングが防止される。
【0082】
図９に示した実施例で、ＴＸＥＮ信号７０８を除く全ての信号は、図示したように論理０又はローレベルから始まる。初期に、ＲＳＴ信号７０９、ＶＴＸ信号７１０、ＴＸＥＮ信号７０８、及びＴＸ信号７１１が論理１レベルになり、そしてＶＰＩＸ信号７１３がローに維持されているとき、ＰＰＤ５０８はプリセットされる。その後、ＶＴＸ信号７１０及びＴＸ信号７１１が論理０になり、ＶＰＩＸ信号７１３がハイ（又は論理１）になるとき、ＲＳＴ信号７０９が論理１である間にフローティングディフュージョンノード／ジャンクション７１２はリセットされる。便宜のために、図７のフローティングディフュージョンノード／ジャンクション及び図９のタイミング図の関連する電圧波形を示すために同じ参照番号「７１２」を使用する。フローティングディフュージョンノード／ジャンクション７１２がハイ（例えば、電荷ドメインから０Ｃ）にリセットされた後で、ＴＸＥＮ信号７０８が論理１である間にＶＴＸ信号７１０が傾斜する。飛行時間ＴｔｏｆのＴＯＦ区間９０２は、光パルス２８が伝送されたときから反射された光パルス３７が受信されるまでであり、また電荷がＰＰＤ５０８からフローティングディフュージョンノード／ジャンクション７１２に部分的に転送される時間の間である。ＶＴＸ信号７１０（そして、ＴＸ信号７１１）は、電子シャッター信号７０１がオン又は開いている間に傾斜する。これは、ＰＰＤ５０８内の相当量の電荷がフローティングディフュージョンノード／ジャンクション７１２に転送され、ＶＴＸがどれくらい長く傾斜するかの関数である。伝送された光パルス２８がオブジェクト２６で反射されてピクセル７００のＳＰＡＤコア５０１内の少なくとも２つのＳＰＡＤによって受信されると、生成されたＳＰＡＤ出力５０６は論理ユニット７０２によって処理される、言い換えると、ＴＸＥＮ信号７０８が固定された論理０になるようにする。従って、時間的に相関する方法では、少なくとも２つの隣接ＳＰＡＤによる反射された光パルス３７の検出（即ち、シャッターがオン又は活性化されるとき）はＴＸＥＮ信号７０８の論理０レベルによって示される。ＴＸＥＮ信号７０８の論理ローレベルは、第１トランジスタ７０３及び第２トランジスタ７０４をターンオフし、これは電荷のＰＰＤ５０８からのフローティングディフュージョンのノード／ジャンクション７１２への転送を停止する。電子シャッター信号７０１が論理０になり、そしてＳＥＬ信号７１４（図９で示される）が論理１になると、フローティングディフュージョンノード／ジャンクション７１２の電荷はＰＩＸＯＵＴ５１０の電圧（ＰＩＸＯＵＴ１）のデータラインに出力される。その後、フローティングディフュージョンノード／ジャンクション７１２は、論理ハイのＲＳＴ信号７０９に再びリセット（参照番号「９０７」で示すように）される。その後、ＴＸＥＮ信号７０８が論理１になると、ＰＰＤ５０８に残った電荷はフローティングディフュージョンノード／ジャンクション７１２に実質的に完全に伝達され、ＰＩＸＯＵＴ５１０から電圧（ＰＩＸＯＵＴ２）のデータラインに出力される。上述したように、ＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２信号は、適切なＡＤＣユニット（図示せず）によって対応するデジタル値（Ｐ１、Ｐ２）に変換され得る。特定の実施例で、このようなＰ１及びＰ２の値は、上記数学式３又は数学式４で使用され、ピクセル７００とオブジェクト２６とのピクセル特定の距離（又は範囲）を判定することができる。
【0083】
一実施例で、論理ユニット７０２は、論理回路（図示せず）を含み、Ｇ（）関数（図１０を参照して説明する）に基づいて出力を生成し、その後に出力を図１４に示すＴＸＲＭＤ信号１４０１に類似する信号のような内部的に生成された信号と論理的にＯＲ演算し、最終的にＴＸＥＮ信号７０８を獲得することができる。このような内部的に生成された信号は、電子シャッターがオンの間にローに保持されるが、ＴＸＥＮ信号７０８が論理１になってＰＰＤ５０８に残った電荷の転送（図９のイベント９１０）が可能になるようにハイに活性化される。いくつかの実施例で、ＴＸＲＭＤ信号又は類似の信号は外部から供給され得る。
【0084】
図１０は、論理ユニット７０２（図７）又は論理ユニット１３１９（図１３）のような論理ユニットがピクセル７００（図７）又はピクセル１３００（図１３）のようなピクセルでどのように具現されるかを説明するための図である。図１０は、図６ａ又は図６ｂに示したものに類似する２×２構造の構成であり、４つのＳＰＡＤコア（１００２～１００５）に関連付けられたＰＰＤコア１００１を備えたピクセル１０００（ピクセル７００又は１３００いずれかを示す）の非常に単純化された図面を示す。４つのＳＰＡＤの利用可能性は、時間的及び空間的に相関する４つの同時発生的な光子の検出を可能にする。いくつかの実施例で、ピクセル１０００の論理ユニット（図示せず）は、図１０に示した関数Ｆ（ｘ、ｙ）及びＧ（ａ、ｂ、ｃ）を具現する論理回路（図示せず）を含む。図１０のＦ（ｘ、ｙ）ブロック（１００６～１００９）は、関数Ｆ（ｘ、ｙ）を具現する論理回路の入力及び出力を示す。従って、Ｆ（ｘ、ｙ）ブロック（１００６～１００９）は、このような論理回路を示し、そしてピクセル１０００の論理ユニットの一部を総括的に形成する。説明の容易さのために、このようなブロックは、Ｆ（ｘ、ｙ）ブロックで参照される。便宜性のために、Ｆ（ｘ、ｙ）ブロック（１００６～１００９）をＰＰＤコア１００１の外部要素として図示するが、Ｆ（ｘ、ｙ）ブロック（１００６～１００９）の機能を具現する論理回路は、ＰＰＤコア１００１内の論理ユニット（図示せず）の一部であり得ることを理解すべきである。
【0085】
図示したように、各Ｆ（ｘ、ｙ）のブロック（１００６～１００９）は、２つの入力（ｘ、ｙ）、即ち２つの関連するＳＰＡＤコアのそれぞれから１つの入力を受信する。図５及び図７のコンテキストにおいて、このような入力はＳＰＡＤコア５０１からの出力信号（ＳＰＡＤ出力５０６）の形態である。図１３のコンテキストにおいて、ＳＰＡＤ出力（１３１０、１３１８）は、論理ユニット１３１９内のＦ（ｘ、ｙ）ブロックに必要な入力（ｘ、ｙ）を示す。ＳＰＡＤコアのペア当たり類似する２つの入力のＦ（ｘ、ｙ）ブロックが、例えば図６ｃのピクセルアレイの構成６００ｃのようなＰＰＤコアに関連付けられた４つよりも多くのＳＰＡＤコアを有するピクセルに対して提供される。いくつかの実施例で、Ｆ（ｘ、ｙ）ブロック（１００６～１００９）の全ては、ＳＰＡＤ出力（それ自体のｘ及びｙの入力として）の異なるペアに対して動作するように構成され、個々のＦ（ｘ、ｙ）ブロック（１００６～１００９）の機能を具現する論理回路を含むＰＰＤコア１００１内の単一Ｆ（ｘ、ｙ）ユニットを通して統合されて具現され得る。上述したように、本明細書に記載したＴＯＦ測定は、ピクセル内の少なくとも２つのＳＰＡＤによる空間的及び時間的に相関する光子の検出に基づいて行われる。従って、図１０で言及したように、各Ｆ（ｘ、ｙ）ブロック（１００６～１００９）（より詳細には、Ｆ（ｘ、ｙ）のブロック内の論理回路）は、事前に定義された次の動作を遂行するように構成され得る。事前に定義された動作は、（ｉ）２つ又は４つの同時発生的な光子を検出するための対応するそれぞれの入力ｘ及び入力ｙに対する否定ＮＡＮＤ論理演算（（ｘ＊ｙ）で与えられる）、並びに（ｉｉ）３つの同時発生的な光子を検出するための対応するそれぞれの入力ｘ及び入力ｙに対するの否定ＮＯＲ論理演算（（ｘ＋ｙ）で与えられる）を含む。従って、ＳＰＡＤコア（１００２～１００５）からの信号（ＳＰＡＤ出力５０６）（図５）が２つ（又は４つ全て）のＳＰＡＤがシャッターオン区間の間に検出された光子を有することを示す場合、Ｆ（ｘ、ｙ）ブロック（１００６～１００９）を具現する論理回路は、ＮＡＮＤ論理演算を遂行する。同様に、ＳＰＡＤコア（１００２～１００５）からの信号（ＳＰＡＤ出力５０６）が３つのＳＰＡＤがシャッターオン区間の間に検出された光子を有することを示す場合、ＮＯＲ論理演算が選択される。図１０に示した例で、３つのパルス（１０１０～１０１２）を図示し、３つのＳＰＡＤコア（１００３～１００５）のそれぞれが反射された光パルス３７（図２）のような入射光を検出した時に３つの同時発生的な光子を検出する例を示す。
【0086】
再び図１０を参照すると、各Ｆ（ｘ、ｙ）のブロック（１００６～１００９）の出力は対応する参照文字（ａ、ｂ、ｃ、ｄ）を用いて表示される。ＰＰＤコア１００１内の論理ユニット（図示せず）は、出力（ａ～ｄ）を受信して処理する追加的な論理回路（図示せず）を含む。論理回路は、このような出力４つの全てを入力として受信し、事前に定義された論理関数Ｇ（ａ，ｂ，ｃ，ｄ）に基づいてこれらについて演算する。例えば、図１０に示したように、２つの同時発生的な光子を検出する場合に、Ｇ（）関数は入力（ａ～ｄ）の４つの全てに対してＮＡＮＤ論理演算（（ａ＊ｂ＊ｃ＊ｄ）で与えられる）を行う。一方、３つ又は４つの同時発生的な光子を検出する場合、Ｇ（）関数は入力（ａ～ｄ）の４つの全てに対してＮＯＲ論理演算（（ａ＋ｂ＋ｃ＋ｄ）で与えられる）を遂行する。一実施例で、図７のＴＸＥＮ信号７０８又は図１３のＴＸＥＮ信号１３２５のようなＴＸＥＮ信号はＧ（）関数を具現する論理回路の出力である。他の実施例において、Ｇ（）関数のための論理回路の出力は、図１４のＴＸＲＭＤ信号１４０１のような内部的に生成された信号と論理和（ＯＲ）演算されて、最終的なＴＸＥＮ信号を獲得することができる。
【0087】
図１１は、図１及び図２のシステム１５でＴＯＦ値がどのように判定されるかの一例を示すフローチャート１１００である。図１１に示した多様なステップは、システム１５の単一のモジュールやモジュールの組み合わせやシステム構成要素によって遂行され得る。本明細書の説明で、例示の手段としてのみ特定のタスクが特定のモジュール又はシステム構成要素によって遂行されるものとして記述する。他のモジュール又はシステム構成要素は、またこのようなタスクを遂行するように適切に構成され得る。ステップ１１０１で言及するように、システム１５（より詳細には、プロジェクターモジュール２２）は、図２の光パルス２８のようなレーザーパルスを図２のオブジェクト２６のようなオブジェクトに照射する。ステップ１１０２で、プロセッサ１９（又は特定の実施例でピクセル処理ユニット４６）は、図７のＶＴＸ信号７１０のような振幅変調信号を図７のピクセル７００内のＰＰＤ５０８のようなピクセル内のＰＰＤに印加する。ピクセル７００は、図２のピクセルアレイ４２のピクセル４３の任意のものである。ステップ１１０３で、ピクセル処理ユニット４６は、振幅変調信号（ＶＴＸ信号７１０）から受信された変調に基づいて、ＰＰＤ５０８に格納された電荷の一部の転送を開始する。このような電荷転送を開始するために、ピクセル処理ユニット４６は、電子シャッター信号７０１、ＶＰＩＸ信号７１３、及びＲＳＴ信号７０９のような多様な外部信号を、図９の例示的なタイミング図に示した論理レベルでピクセル７００に提供する。ステップ１１０４で、反射された光パルス３７のような反射されたパルスがピクセル７００内の複数のＳＰＡＤを用いて検出される。上述したように、反射された光パルス３７はオブジェクト２６から反射された照射された光パルス２８であり、ピクセル７００内の各ＳＰＡＤ（ＳＰＡＤコア５０１内の）は反射されたパルスから受信された明るさを、対応する（ＳＰＡＤ特定）電気信号に変換する。
【0088】
明るさを受信する各ＳＰＡＤに対して、ピクセル７００内のＳＰＡＤコア５０１内の第１制御回路５０４は、対応する（ＳＰＡＤ－特定）電気信号を処理してＳＰＡＤ特定のデジタル出力を生成する（ステップ１１０５）。このようなＳＰＡＤ特定のデジタル出力の全ては、図５及び図７の参照番号「５０６」を有する矢印により総括的に表される。図９の説明を参照して言及したように、論理ユニット７０２は、ＳＰＡＤ出力５０６を処理し、出力が時間的及び空間的に相関する限りＴＸＥＮ信号７０８を論理０（ロー）の状態に置く。ＴＸＥＮ信号７０８の論理０レベルはピクセル７００内の第１トランジスタ７０３及び第２トランジスタ７０４をターンオフし、これはＰＰＤ５０８からフローティングディフュージョンノード／ジャンクション７１２への電荷の転送を停止する。従って、ステップ１１０６で、図９の区間（シャッターオン区間９０４）のシャッター内のような予め定められた時間区間の間に少なくとも２つのＳＰＡＤのデジタル出力が生成されるに伴い、第２制御回路５０７は先に開始された電荷の一部の転送（ステップ１１０３で）を終了する。
【0089】
図７を参照して上述したように、フローティングディフュージョンノード／ジャンクション７１２に転送された電荷の一部はＰＩＸＯＵＴ１信号として読み出されて適切なデジタル値Ｐ１に変換され、デジタル値Ｐ１は後続で生成されるデジタル値Ｐ２（ＰＩＸＯＵＴ２信号に対して）と共に使用され、「Ｐ１／（Ｐ１＋Ｐ１）」の比率からＴＯＦ情報を獲得するために使用される。従って、ステップ１１０７で、終了（ステップ１１０６で）により、転送されたアナログ電荷の一部分に基づいて、システム１５内のピクセル処理ユニット４６又はプロセッサ１９は、反射された光パルス３７のＴＯＦ値を判定することができる。
【0090】
図１２は、イメージセンサユニット１２００の一部分の一例を示すレイアウト図である。イメージセンサユニット１２００は、図１及び図２に示したイメージセンサユニット２４に対応する。図１２に示したイメージセンサユニット１２００の一部分は、反射された光をキャプチャーしてＴＯＦ値（数学式２から）の後続の計算のためのＰ１及びＰ２の値を生成し、必要に応じてオブジェクト２６の３Ｄイメージの生成のために必要な信号を提供することに関連付けられる。図２の場合のように、図１２のイメージセンサユニット１２００内のピクセルアレイ１２０１を、便宜のために３×３に配置された９つのピクセルを有するものとして示す。実際には、ピクセルアレイは多数の行及び列で数十万又は数百万個のピクセルを含み得る。いくつかの実施例で、ピクセルアレイ１２０１の各ピクセルは同じ構成を有することができ、従って各ピクセルは図１２に示したように同一の参照番号「１２０２」を用いて識別される。図１２の実施例で、２Ｄピクセルアレイ１２０１は、各ピクセル１２０２が図１３に示すピクセル１３００の可能性があるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）アレイであり得る。図１２の例示的なレイアウトは図１３のピクセル構成に関するものであるが、図１２のイメージセンサユニット１２００は、各ピクセル１２０２が図７に示した構成を有する場合に適切に修正され得ることが理解されるべきである。いくつかの実施例で、ピクセル１２０２は、図７及び図１３に示すものとは異なる構成を有することができ、行デコーダ／ドライバ１２０３、列デコーダ１２０４などのような図１２の補助処理ユニットは、必要なピクセル構成で動作するために適切に修正され得る。
【0091】
ピクセルアレイ１２０１に加えて、図１２に示した実施例で、イメージセンサユニット１２００は、また行デコーダ／ドライバ１２０３、列デコーダ１２０４、そして２Ｄ及び３Ｄイメージング中に使用される列特定のアナログ／デジタル変換器（ＡＤＣ）だけでなく、相関ダブルサンプリング（ＣＤＳ）のための回路を含むピクセルの列ユニット１２０５を含む。一実施例で、ピクセルの列当たり１つのＡＤＣが有る。いくつかの実施例で、処理ユニット（１２０３、１２０４、１２０５）は、図２に示したピクセル処理ユニット４６の一部であり得る。図１２の実施例で、行デコーダ／ドライバ１２０３は、ピクセルの行の各ピクセル１２０２への入力として６つの異なる信号を提供してピクセルアレイ１２０１のピクセルの動作を制御することにより、列特定のＰＩＸＯＵＴ信号（１２０６～１２０８）の生成を可能にするものとして示される。図１２の矢印（１２０９～１２１１）のそれぞれは、対応する行の各ピクセル４３への入力に適用されるこのような信号の行特定のセットを示す。このような信号は、リセット（ＲＳＴ）信号、第２伝送（ＴＸ２）信号、電子シャッター（ＳＨ）信号、伝送電圧（ＶＴＸ）信号、ピクセル電圧（ＶＰＩＸ）信号、及び行選択（ＳＥＬ）信号を含む。図１３は、このような信号がピクセルにどのように印加されるのかを示す。図１４は、このような信号の多数を含む例示的なタイミング図を示す。
【0092】
一実施例で、行選択（ＳＥＬ）信号は、ピクセルの適切な行を選択するために活性化される。行デコーダ／ドライバ１２０３は、例えばプロセッサ１９から行アドレス／制御入力１２１２を介して、選択される行に対するアドレス又は制御情報を受信する。行デコーダ／ドライバ１２０３は、受信された行アドレス／制御入力１２１２をデコードし、行デコーダ／ドライバ１２０３がＳＥＬ信号を用いて適切な行を選択するようにし、また対応するＲＳＴ、ＶＴＸ、及び他の信号を選択された／デコーディングされた行に提供する。ピクセル入力として適用される場合、このような信号のより詳細な説明を、図１３及び図１４の説明を参照して後に提供する。いくつかの実施例で、行デコーダ／ドライバ１２０３は、また例えばプロセッサ１９から制御信号（図示せず）を受信し、矢印（１２０９～１２１１）で示したＳＥＬ、ＲＳＴ、ＶＴＸ、ＳＨ、及び多様な他の信号のために、適切な電圧レベルを印加するように行デコーダ／ドライバ１２０３を構成する。
【0093】
ピクセルの列ユニット１２０５は、選択された行のピクセルからＰＩＸＯＵＴ信号（１２０６～１２０８）を受信し、これらを処理してＴＯＦ測定が獲得されるピクセル特定の信号値を生成する。信号値は、図１２の矢印１２１３で示すように、上述したＰ１及びＰ２の値である。各列特定のＡＤＣユニットは、受信された入力（ＰＩＸＯＵＴ信号）を処理して、対応するデジタルデータ出力（Ｐ１及びＰ２の値）を生成する。ピクセルの列ユニット１２０５内のＣＤＳ及びＡＤＣ回路（図示せず）によって提供されるＣＤＳ及びＡＤＣの動作の追加的な詳細は、図１４を参照して以下に提供する。図１２に示した実施例で、列デコーダ１２０４は、ピクセルの列ユニット１２０５に結合されるものして図示される。列デコーダ１２０４は、与えられた行選択（ＳＥＬ）信号に関連して選択される列に対する列アドレス／制御入力１２１４を、例えばプロセッサ１９から受信する。列の選択は順次的であり、従って対応するＳＥＬ信号により選択された行の各ピクセルからのピクセル出力の順次受信が可能である。プロセッサ１９は、適切な行アドレス入力を提供してピクセルの行を選択し、また適切な列アドレス入力を列デコーダ１２０４に提供してピクセルの列ユニット１２０５が選択された行の個々のピクセルから出力（ＰＩＸＯＵＴ信号）を受信するようにする。
【0094】
図１３は、ピクセル１３００の他の例を示す回路図である。図１３のピクセル１３００は、図２に示したより包括的なピクセル４３の他の例である。ピクセル１３００は、ＳＰＡＤコアの一部として多数のＳＰＡＤコア（即ち、ＳＰＡＤコア１～ＳＰＡＤコアＮ、Ｎは２以上）を含み得る。図１３で、２つのこのようなＳＰＡＤコア（１３０１Ａ及び１３０１Ｎ）をいくつかの回路の詳細と共に示す。いくつかの実施例で、類似の回路が図７のピクセル７００内のＳＰＡＤコアのために採用され得ることに留意しなければならない。ＳＰＡＤコア１３００Ａは、抵抗性素子１３０４（抵抗のような）を介してＳＰＡＤ動作電圧（ＶＳＰＡＤ）１３０３を受信するＳＰＡＤ１３０２を含む。しかし、ＳＰＡＤの構成は図１３に示したものに限定されない。一実施例で、レジスタ１３０４とＳＰＡＤ１３０２との位置は交換され得る。ＳＰＡＤコア１３０１Ａで、ＳＰＡＤ１３０２は光に応答する。ＳＰＡＤ１３０２が光子を受信すると、ＳＰＡＤ１３０２は、ＶＳＰＡＤのレベルから０Ｖになり、ＶＳＰＡＤに復元するパルスを出力する。ＳＰＡＤ１３０２からの出力は、キャパシタ１３０５を介してフィルタリングされてインバータ１３０６（バッファ及びラッチの組み合わせで機能する）に印加される。一実施例で、キャパシタ１３０５は省略され得る。ＳＰＡＤコア１３０１Ａは、ゲート端子で電子シャッター信号１３０８を受信するＰＭＯＳトランジスタ１３０７を含み、トランジスタ１３０７のドレイン端子はキャパシタ（そしてインバータ１３０６の入力）に連結され、トランジスタ１３０７のソース端子は供給電圧１３０９（ＶＤＤ）（又は一部の実施例でＶＰＩＸの電圧）を受信する。電子シャッター信号１３０８がターンオフされると（例えば、論理０又はローレベル）、トランジスタ１３０７は導通し、インバータ１３０６の出力１３１０は、ＳＰＡＤコア１３０１Ａから受信された任意の出力の状態とは無関係に固定された電圧レベル（例えば、論理ロー又は論理０の状態）に維持される。電子シャッター信号１３０８がターンオン又は活性である場合、ＳＰＡＤコア１３０１Ａからの出力は、ＰＰＤコア１３１１のみ適用される。シャッターが活性である場合（例えば、論理１レベル）、トランジスタ１３０７はターンオフされ、ＳＰＡＤ生成出力はインバータ１３０６に転送（カップリングキャパシタ１３０５を介して）されて出力ライン１３１０で正のパルス（ローからハイに）として表われる。
【0095】
ＳＰＡＤコア１３０１Ｎは、回路の詳細でＳＰＡＤコア１３０１Ａと同一の可能性があり、従ってＳＰＡＤコア１３０１Ｎの動作的詳細は提供されない。図示したように、ＳＰＡＤコア１３１０Ｎは、コア特定のＳＰＡＤ１３１２、ＶＳＰＡＤ信号１３０３をＳＰＡＤ１３１２に供給する抵抗性素子１３１３、及び電子シャッター信号１３０８の入力を介してインバータ１３１６の動作を制御するＰＭＯＳトランジスタ１３１７を含む。インバータ１３１６の出力は、更なる処理のためにＰＰＤコア１３１１に提供される。いくつかの実施例で、ＶＳＰＡＤ信号１３０３、ＶＤＤ信号１３０９、及び電子シャッター信号１３０８は、図２のピクセル処理ユニット４６（又はプロセッサ）の図１２に示した行デコーダ／ドライバ１２０３又は他の任意のモジュール（図示せず）のような外部ユニットから各ＳＰＡＤコア（１３０１Ａ、１３０１Ｎ）に供給される得る。ＳＰＡＤコア特定の出力（１３１０、１３１８）の両方は、総括的に図５の参照番号「５０６」を用いて識別される信号を形成する。
【0096】
従って、電子シャッター信号１３０８は、ＳＰＡＤコア（１３０１Ａ、１３０１Ｎ）からの出力（１３１０、１３１８）がピクセル１３００の中のＳＰＡＤコア（１３０１Ａ、１３０１Ｎ）の隣接する位置によって空間的に相関することに加えて、時間的に（又は時間方式で）相関する。追加のピクセル幾何情報は、図６ａ～図６ｃの例示的な実施例に示される。
【0097】
図７のピクセル７００のように、図１３のピクセル１３００は、またＰＰＤ５０８、論理ユニット１３１９、第１ＮＭＯＳトランジスタ１３２０、第２ＮＭＯＳトランジスタ１３２１、第３ＮＭＯＳトランジスタ１３２２、第４ＮＭＯＳトランジスタ１３２３、及び第５ＮＭＯＳトランジスタ１３２４を含み、内部入力（ＴＸＥＮ信号１３２５）を生成し、外部入力のＲＳＴ信号１３２６、ＶＴＸ信号１３２７（そして、ＴＸ信号１３２８）、ＶＰＩＸ信号１３２９、及びＳＥＬ信号１３３０を受信し、フローティングディフュージョン（ＦＤ）ノード／ジャンクション１３３１を有し、ＰＩＸＯＵＴ信号５１０を出力する。図７のピクセル７００とは異なるように、図１３のピクセル１３００は、またＴＸＥＮ信号１３２５の相補信号であり第６ＮＭＯＳトランジスタ１３３４のゲート端子に供給されるＴＸＥＮ信号（ＴＸＥＮＢ）１３３３を生成する。第６ＮＭＯＳトランジスタ１３３４は、第１ＮＭＯＳトランジスタ１３２０のソース端子に連結されたドレイン端子及び接地（ＧＮＤ）電位１３３５に連結されたソース端子を有する。ＴＸＥＮＢ信号１３３３は、ＧＮＤ電位を第２ＮＭＯＳトランジスタ１３２１（ＴＸトランジスタ）のゲート端子に移すのに使用される。ＴＸＥＮＢ信号１３３３がない場合、ＴＸＥＮ信号１３２５がローになる時に第２ＮＭＯＳトランジスタ１３２１（ＴＸトランジスタ）のゲートはフローティングされ、ＰＰＤ５０８からの電荷の転送が完全に終了しない可能性がある。このような状況は、ＴＸＥＮＢ信号１３３３を利用して改善される。更に、ピクセル１３００は、またストレージディフュージョン（ＳＤ）キャパシタ１３３６及び第７ＮＭＯＳトランジスタ１３３７を含む。ＳＤキャパシタ１３３６は、第２ＮＭＯＳトランジスタ１３２１のドレイン端子及び第７ＮＭＯＳトランジスタ１３３７のソース端子のジャンクションに連結され、ジャンクションにＳＤノード１３３８を形成する。第７ＮＭＯＳトランジスタ１３３７は、ゲート端子で入力として異なる第２伝送（ＴＸ２）信号１３３９を受信する。第７ＮＭＯＳトランジスタ１３３７のドレインは、図示したようにＦＤノード１３３１に連結される。
【0098】
いくつかの実施例で、ＲＳＴ信号、ＶＴＸ信号、ＶＰＩＸ信号、ＴＸ２信号、及びＳＥＬ信号は図１２に示した行デコーダ／ドライバ１２０３のような外部ユニットからピクセル１３００に供給され得る。いくつかの実施例で、ＳＤキャパシタ１３３６は、余分のキャパシタではなく、単にＳＤノード１３３８のジャンクションキャパシタである可能性もある。図５と図１３との比較は、ピクセル１３００でＳＰＡＤコア（１３０１Ａ、１３０１Ｎ）の全てが総括的に図５のＳＰＡＤ５０３を形成し、各ＳＰＡＤコア（１３０１Ａ、１３０１Ｎ）からの非ＳＰＡＤ回路要素の全てが総括的に図５の第１制御回路５０４を形成し、そしてＰＰＤコア５０２の非ＰＰＤ回路要素の全てが図５の第２制御回路５０７を形成できることを示す。
【0099】
ピクセル１３００において、電荷転送トリガー部分はＳＰＡＤコア（１３０１Ａ、１３０１Ｎ）（そして、他のこのようなコア）及び論理ユニット１３１９を含む。電荷の生成及び転送部分は、ＰＰＤ５０８、ＮＭＯＳトランジスタ（１３２０～１３２２、１３３４、１３３７）、及びＳＤキャパシタ１３３６を含む。電荷収集及び出力部分はＮＭＯＳトランジスタ（１３２２～１３２４）を含む。様々な回路構成要素のそれぞれの部分への分割は、例示的で説明の目的のみのためのものであることに留意しなければならない。いくつかの実施例で、このような部分は、本明細書に記載したものよりも多いか又はより少ない他の回路構成要素を含み得る。
【0100】
上述したように、ＣＤＳベースの電荷収集及び出力部分を除いて、図１３のピクセル構成は、図７のものと実質的に類似する。従って、便宜のために、トランジスタ（１３２０～１２３４）に関連付けられた入力（ＲＳＴ信号、ＳＥＬ信号、ＶＰＩＸ信号など）のような図７と図１３との間で共通の回路部分及び信号は、本明細書で説明しない。ＣＤＳは、ピクセル／センサ出力電圧（ＰＩＸＯＵＴ）のような電気的値を不必要なオフセットの除去を許容する方法で測定するためのノイズ低減技術である。いくつかの実施例で、列特定のＣＤＳユニット（図示せず）は、ピクセルの列ユニット１２０５（図１２）に採用されて相関する二重サンプリングを行うことができる。ＣＤＳで、図１３のピクセル１３００のようなピクセルの出力は、一回は知られている条件で、そして一回は知られていない条件で二回測定され得る。知られている条件から測定された値は、知られていない条件から測定された値から減算され、測定される物理量に対する既知の関係を有する値、即ち受信された光のピクセル特定の部分を表すＰＰＤ電荷を生成することができる。ＣＤＳを用いて、各電荷転送の終わりでピクセルの信号電圧からピクセルの基準電圧（例えば、リセットされた後のピクセルの電圧）を除去することにより、ノイズが低減され得る。従って、ＣＤＳで、ピクセルの電荷が出力に転送される前にリセット／基準値がサンプルされ、これはその後にピクセルの電荷が転送された後の値から差し引かれる。
【0101】
図１３の実施例で、ＳＤキャパシタ１３３６（又は関連するＳＤノード１３３８）は、ＰＰＤ電荷がフローティングディフュージョンノード１３３１に転送される前に、ＰＰＤ電荷を格納し、従って電荷がフローティングディフュージョンノード１３３１に転送される前にフローティングディフュージョンノード１３３１で適切なリセット値が樹立（そしてサンプリング）されるようにする。その結果、各ピクセル特定の出力（ＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２）は、ピクセルの列ユニット１２０５（図１２）の列特定のＣＤＳユニット（図示せず）で処理され、ピクセル特定のＣＤＳ出力のペアを獲得することができる。その後に、ピクセル特定のＣＤＳ出力は、ピクセルの列ユニット１２０５の各列特定のＡＤＣユニット（図示せず）によって、図１２の矢印１２１３で示されるＰ１及びＰ２のようなデジタル値に変換され得る。図１３のトランジスタ（１３３４、１３３７）、並びにＴＸＥＮＢ信号１３３３及びＴＸ２信号１３３９は、ＣＤＳベーのス電荷転送を遂行するために必要且つ補助的な回路構成要素を提供する。一実施例で、Ｐ１及びＰ２の値は、例えば列特定のＡＤＣユニットの一部としてＡＤＣ回路の同じペアを利用して並列に生成され得る。従って、ＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２信号のリセットレベルと対応するＰＰＤ電荷レベルとの間の差は、列並列ＡＤＣによってデジタル値に変換されてピクセル特定の信号値（即ち、Ｐ１及びＰ２）に出力され、上記数学式２に基づいてピクセル１３００に対する反射された光パルス３７のピクセル特定のＴＯＦ値の計算を可能にする。上述したように、このような計算は、システム１５のピクセル処理ユニット４６又はプロセッサ１９によって遂行され得る。その結果、オブジェクト２６（図２）のピクセル特定の距離も、また例えば数学式３及び数学式４を用いて判定され得る。ピクセル単位の電荷収集動作は、ピクセルアレイ４２のピクセルの行の全てに対して繰り返しされる。ピクセルアレイ４２のピクセル４３のピクセル特定の距離又は範囲の値に基づいて、オブジェクト２６の３Ｄイメージは、例えばプロセッサ１９によって生成されてシステム１５に関連する適切なディスプレイ又はユーザーインターフェースに表示され得る。オブジェクト２６の２Ｄイメージは、例えば範囲の値が計算されない場合又は値の範囲が可能であるにも拘らず２Ｄイメージが必要な場合に、Ｐ１及びＰ２の値を単純に加えることで生成される。いくつかの実施例で、このような２Ｄイメージは、例えばＩＲレーザーが使用されたときに、単純にグレイスケールイメージである。
【0102】
図７及び図１３に示したピクセル構成は例示的なものに過ぎないことに留意しなければならない。多数のＳＰＡＤを有する他のタイプのＰＰＤベースのピクセル、もまた本発明を具現するために使用され得る。このようなピクセルは、例えば単一の出力（図７及び図１３の実施例のＰＩＸＯＵＴ５１０のデータラインような）を有するピクセル又はＰＩＸＯＵＴ１及びＰＩＸＯＵＴ信号がピクセルで異なる出力を介して出力される二重出力を有するピクセルを含む。
【0103】
図１４は、図２及び図１２のピクセルアレイ４２のようなピクセルアレイで図１３のピクセル１３００がＴＯＦ値を測定するために使用される場合の、図１及び図２のシステム１５の異なる信号の他の例を示すタイミング図１４００である。図１４のタイミング図１４００は、特にＶＴＸ信号、シャッター信号、ＶＰＩＸ信号、及びＴＸ信号の波形、そして例えばＰＰＤリセットイベント、シャッターオン区間、及び遅延時間区間（Ｔｄｌｙ）などのような多様な時間区間又はイベントの識別について図９のタイミング図９００に類似する。図９のタイミング図９００の上述した広範な説明に対し、便宜のために図１４のタイミング図１４００で区別される特色の概略的な説明を提供する。
【0104】
図１４で、ＶＰＩＸ信号１３２９、ＲＳＴ信号１３２６、電子シャッター信号１３０８、振幅変調信号（ＶＴＸ信号１３２７）、ＴＸ２信号１３３９のような多様な外部的に供給される信号、及び内部的に生成されたＴＸＥＮ信号１３２５を、図１３で使用したものと同じ参照符号を用いて識別する。同様に、便宜のために、同じ参照番号「１３３１」を、図１３のフローティングディフュージョンノード１３３１と図１４のタイミング図の関連する電圧を示すのに使用する。伝送モード（ＴＸＲＭＤ信号１４０１）を図１４に示すが、図１３又は図１０のタイミング図には示していない。いくつかの実施例で、ＴＸＲＭＤ信号１４０１は、論理ユニット１３１９によって内部的に生成さるか、又は行デコーダ／ドライバ（図１２の行デコーダ／ドライバ１２０３のような）によって論理ユニット１３１９に、外部的に供給され得る。一実施例で、論理ユニット１３１９は、Ｇ（）関数（図１０）に基づいて出力を生成し、その後に出力をＴＸＲＭＤ信号１４０１のような内部的に生成された信号と論理和（ＯＲ）演算して最終的なＴＸＥＮ信号１３２５を獲得する論理回路（図示せず）を含む。図１４に示したように、一実施例で、このような内部的に生成されたＴＸＲＭＤ信号１４０１は、電子シャッターがオンの間ローに保持され、その後にハイに活性化されてＴＸＥＮ信号１３２５が論理１になってＰＰＤの残りの電荷の転送（図１４のイベント１４１０）が遂行される。
【0105】
図１４のＰＰＤプリセット１４０３イベント、遅延時間（Ｔｄｌｙ）１４０４、ＴＯＦ区間（Ｔｔｏｆ）１４０５、シャッターオフ区間１４０６、シャッターオン区間１４０８又は有効区間（Ｔｓｈ）１４０７、及びＦＤリセット信号１４０９は、図９に示した対応するイベント又は時間区間に類似する。従って、このようなパラメータの追加的な説明は提供されない。初期に、ＦＤリセット１４０９イベントは、図示したように、ＦＤ１３３１信号がハイになることをもたらす。ＳＤノード１３３８は、ＰＰＤ５０８がローにプリセットされた後にハイにリセットされる。更に詳しくは、ＰＰＤプリセット１４０３のイベントの間に、ＴＸ信号１３２８はハイであり、ＴＸ２信号１３３９はハイであり、ＲＳＴ信号１３２６はハイであり、ＶＰＩＸ信号１３２９はローであり、電子をＰＰＤ５０８に満たし、そしてＰＰＤ５０８を０Ｖにプリセットする。その後、ＴＸ信号１３２８はローになり、ＴＸ２信号１３３９及びＲＳＴ信号１３２６は、短くハイに残って、ハイのＶＰＩＸ信号１３２９と共にＳＤノード１３３８をハイにリセットしてＳＤキャパシタ１３３６から電子を除去する。同時に、ＦＤノード１３３１はリセットされる（ＦＤリセット１４０９イベントに続いて）。ＳＤノード１３３８の電圧やＳＤリセット信号は、図１４に示していない。
【0106】
図７及び図９の実施例とは対照的に、電子シャッター信号１３０８が活性化され、ＶＴＸ信号１３２７が傾斜して上がると、ＴＸ信号１３２８の波形に示したように、ＰＰＤ電荷は振幅変調され、そして初期にＳＤノード１３３８に転送（ＳＤキャパシタ１３３６を介して）される。シャッターオン区間１４０８の間にピクセル１３００（図１３）で、少なくとも２つのＳＰＡＤによる光子の検出に応じて、ＴＸＥＮ信号１３２５はローになり、そしてＰＰＤ５０８からＳＤノード１３３８への初期電荷転送は停止する。ＳＤノード１３３８に格納して転送された電荷は第１読み出し区間１４１２の間にＰＩＸＯＵＴ５１０のデータラインから（ＰＩＸＯＵＴ１出力として）読み出される。第１読み出し区間１４１２で、ＲＳＴ信号１３２６は、電子シャッター信号１３０８が非活性化又はオフされた後、短くハイに活性化されてフローティングディフュージョンノード１３３１をリセットする。その後、ＴＸ２信号１３３９はハイのパルスとなり、ＴＸ２信号１３３９がハイである間にＳＤノード１３３８からの電荷をフローティングディフュージョンノード１３３１に転送する。フローティングディフュージョンノード１３３１の電圧波形は電荷転送動作を示す。転送された電荷は、その後、第１読み出し区間１４１２の間にＰＩＸＯＵＴ５１０のデータラインを介してＳＥＬ信号１３３０（図１４に示さず）を用いて（ＰＩＸＯＵＴ１電圧として）読み出される。
【0107】
第１読み出し区間１４１２の間に、初期の電荷がＳＤノードからＦＤノードに転送され、ＴＸ２信号１３３９が論理ローレベルに復帰した後、ＴＸＲＭＤ信号１４０１はハイに活性化（パルスのように）されてＴＸＥＮ信号１３２５の入力にハイパルスを生成する。図１４で参照番号「１４０２」に示したように、順番にＴＸ信号１３２８の入力にハイパルスを生成してＰＰＤ５０８の残りの電荷をＳＤノード１３３８に転送（ＳＤキャパシタ１３３６を介して）する。その後、ＲＳＴ信号１３２６が短くハイに再び活性化されると、ＦＤノード１３３１は再びリセットされる。第２ＲＳＴハイパルスは第２読み出し区間１４１３を定義し、ＴＸ２信号１３３９は再びパルスのようにハイになり、ＴＸ２信号がハイである間にＰＰＤ５０８の残りの電荷をＳＤノード１３３８からフローティングディフュージョンノード１３３１に転送（イベント１４１０）する。フローティングディフュージョンノード１３３１の電圧波形は第２電荷転送動作を示す。転送された残りの電荷はその後に第２読み出し区間１４１３の間にＰＩＸＯＵＴ５１０のデータラインを介してＳＥＬ信号１３３０（図１４に示さず）を用いて読み出される（ＰＩＸＯＵＴ２電圧として）。上述したように、ＰＩＸＯＵＴ１及びＰＩＸＯＵＴ２信号は、適切なＡＤＣユニット（図示せず）によって、対応するデジタル値（Ｐ１、Ｐ２）に変換され得る。特定の実施例で、Ｐ１及びＰ２の値は、上記数学式３又は数学式４で使用され、ピクセル１３００とオブジェクト２６との間のピクセル特定の距離（又は範囲）を判定することができる。図１４に示したＳＤベースの電荷転送は、図１３の説明を参照して上述したように、ピクセル特定のＣＤＳ出力のペアの生成を可能にする。ＣＤＳベースの信号処理は追加的なノイズ低減を提供する。
【0108】
図１５は、時間分解センサ１５００の一例を示すブロック図である。時間分解センサ１５００は、ＳＰＡＤ回路１５０１、論理回路１５０３、及びＰＰＤ回路１５０５を含む。
【0109】
ＳＰＡＤ回路１５０１は、光子を検出するためのＳＰＡＤと、ＶＳＰＡＤ電圧を受信する第１入力と、電子シャッターの開閉を制御するためのシャッター信号を受信する第２入力と、ＶＤＤ電圧を受信する第３入力と、検出イベント（ＤＥ）信号を出力するための出力と、を含む。光子を受信することに応答して、ＳＰＡＤ回路１５０１は、ＶＳＰＡＤ電圧からＳＰＡＤ破壊電圧よりも低い電圧まで急速に上昇し、その後にＶＳＰＡＤ電圧から徐々に復帰するパルス信号を出力する。
【0110】
論理回路１５０３は、ＳＰＡＤ回路１５０１からのＤＥ信号出力に連結される第１入力と、ＰＰＤ回路１５０５のＰＰＤ内に残った電荷をＦＤノードに完全に転送するためのＴＸＲＭＤ信号を受信するための第２入力と、ＴＸＥＮ信号を出力するための出力と、を含む。
【0111】
ＰＰＤ回路１５０５は、論理回路１５０３からのＴＸＥＮ信号出力に連結される第１入力と、電荷をＰＰＤ回路１５０５のＰＰＤからＰＰＤ回路１５０５のＦＤノードに部分的又は完全に転送するためのＶＴＸ信号を受信する第２入力と、ＦＤノードの電荷をリセットしてＰＰＤの電荷をプリセットするためのＲＳＴ信号を受信する第３入力と、ＰＰＤ回路１５０５に対するＶＰＩＸの信号を受信する第４入力と、ＰＩＸＯＵＴ１信号（ＦＤノードの電荷を表す）又はＰＩＸＯＵＴ２信号（ＰＰＤに残った電荷を示す）の読み出しを可能にするためのＳＥＬ信号を受信する第５入力と、ＳＥＬ信号に応答してＰＩＸＯＵＴ１信号及びＰＩＸＯＵＴ２信号を出力するためのＰＩＸＯＵＴ出力と、を含む。
【0112】
図１６は、図１５の時間分解センサ１５００のＳＰＡＤ回路１５０１の一例を示す回路図である。一実施例で、ＳＰＡＤ回路１５０１は、抵抗１６０１、ＳＰＡＤ１６０３、キャパシタ１６０５、ｐタイプＭＯＳＦＥＴ１６０７、及びバッファ１６０９を含む。抵抗１６０１は、ＶＳＰＡＤ電圧を受信する第１端子及び第２端子を含む。ＳＰＡＤ１６０３は、接地電位に連結された正極及び抵抗１６０１の第２端子に連結された負極を含む。他の実施例で、抵抗１６０１とＳＰＡＤ１６０３との位置は交換され得る。ＳＰＡＤ１６０３は光に応答する。光子を受信することに応答して、ＳＰＡＤ１６０３は、ＶＳＰＡＤ電圧から絶縁破壊電圧よりも低い電圧に急激に変化してその後にＶＳＰＡＤ電圧へより徐々に復帰するパルス信号を出力する。一例で、破壊（ブレークダウン）電圧は、特定の閾値電圧である。
【0113】
キャパシタ１６０５は、ＳＰＡＤ１６０３の負極に接続された第１端子及びもう一方の第２端子を含む。代案的な実施例で、キャパシタ１６０５は省略され得る。ＰタイプＭＯＳＦＥＴ１６０７は、キャパシタ１６０５の第２端子に連結された第１のＳ／Ｄ端子と、ＶＰＩＸ電圧（ＶＤＤ）を受信する第２のＳ／Ｄ端子と、シャッター信号を受信するゲートと、を含む。バッファ１６０９は、キャパシタ１６０５の第２端子に連結された入力と、ＤＥ信号を出力する出力と、を含む。ＤＥ信号は、ＳＰＡＤ回路１５０１のＤＥ出力に対応する。代案的な実施例で、バッファ１６０９はインバータであり得る。
【0114】
【0115】
ラッチ１７０１は、ＳＰＡＤ回路１５０１からのＤＥ信号出力に連結される入力及びその出力を含む。ＤＥ信号に応答して、ラッチ１７０１は、例えば論理１から論理０に変化し、論理０を維持するためのロジック信号を出力する。言い換えると、ラッチ１７０１は、パルスタイプの信号を論理０から論理０に変化させ、そしてリセットされるまで論理１に復帰せずに論理０を維持する信号に変換する。ラッチ出力はＤＥ信号の先頭エッジによってトリガーされ、ここでリードエッジはＳＰＡＤ回路１５０１の設計に依存して正又は負の方向である。
【0116】
２入力ＯＲゲート１７０３は、ラッチ１７０１の出力に連結された第１入力と、ＴＸＲＭＤ信号を受信する第２入力と、ＴＸＥＮ信号を出力する出力と、を含む。２入力ＯＲゲート１７０３は、論理ＯＲ関数を遂行して結果をＴＸＥＮ信号に出力する。具体的には、シャッター信号が論理１のとき、ＳＰＡＤ回路１５０１によって光子が受信されるか、又はＰＰＤ回路１５０５のＰＰＤの残りの電荷がＰＩＸＯＵＴ２信号に読み出されるためにＦＤノードに完全に転送されるときに発生するＴＸＲＭＤ信号が論理１のとき、２入力ＯＲゲート１７０３の出力は論理１になる。
【0117】
図１８は、図１５の時間分解センサ１５００のＰＰＤ回路１５０５の一例を示す回路図である。ＰＰＤ回路１５０５は、第１トランジスタ１８０３、第２トランジスタ１８０５、第３トランジスタ１８０７、第４トランジスタ１８０９、第５トランジスタ１８１１、及びＰＰＤ１８０１を含む。
【0118】
ＰＰＤ１８０１は、接地電位に連結された正極及びもう一方の負極を含む。ＰＰＤ１８０１は、キャパシタに類似する方式で電荷を格納する。一実施例で、ＰＰＤ１８０１はカバーされ、従って光に応答せずに光感知素子の代わりにＴＣＣとして使用され得る。
【0119】
第１トランジスタ１８０３は、論理回路１５０３のＴＸＥＮ信号出力に連結されるゲート端子と、ＶＴＸ信号を受信する第１のＳ／Ｄ端子と、もう一方の第２のＳ／Ｄ端子と、を含む。第１トランジスタ１８０３は、ＶＴＸ信号を受信してＶＴＸ信号がＴＸＥＮ信号の制御下で第１トランジスタ１８０３を通過して第１トランジスタ１８０３の第２のＳ／Ｄ端子からＴＸ信号を出力する。
【0120】
第２トランジスタ１８０５は、第１トランジスタ１８０３の第２のＳ／Ｄ端子に連結されたゲート端子と、ＰＰＤ１８０１の負極に連結された第１のＳ／Ｄ端子と、もう一方の第２のＳ／Ｄ端子と、を含む。第２のトランジスタ１８０５は、ゲート端子でＴＸ信号を受信してソース端子のＰＰＤ１８０１の電荷をＦＤノードに連結されたドレイン端子に転送する。図１８に示していないが、ＦＤノードと接地との間にストレーキャパシタンス（ｓｔｒａｙ ｃａｐａｃｉｔａｎｃｅ、寄生容量）が存在し得る。一実施例で、寄生容量は、またＦＤノードと接地との間に連結され得る。
【0121】
第３トランジスタ１８０７は、ＲＳＴ信号を受信するゲート端子と、ＶＰＩＸ信号を受信する第１のＳ／Ｄ端子と、第２のトランジスタ１８０５の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子と、を含む。
【0122】
第４トランジスタ１８０９は、第２トランジスタ１８０５の第２のＳ／Ｄ端子に連結されたゲート端子と、第３トランジスタ１８０７の第１のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子と、もう一方の第２のＳ／Ｄ端子と、を含む。
【0123】
第５トランジスタ１８１１は、ＳＥＬ信号を受信するゲート端子と、第４トランジスタ１８０９の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子と、ＰＰＤ回路１５０５のＰＩＸＯＵＴ出力である第２のＳ／Ｄ端子と、を含む。第５トランジスタ１８１１は、ピクセルを選択するためのＳＥＬ信号を受信してＦＤノードの電荷（ＰＩＸＯＵＴ１として）又はＰＰＤ（１８０１）の残りの電荷（ＰＩＸＯＵＴ２として）を読み出す。
【0124】
ＰＰＤ１８０１からＦＤノードに転送される電荷はＴＸ信号によって制御される。一実施例で、ＶＴＸ信号は第１トランジスタを介して結合されてＴＸ信号になる。ＶＴＸ信号は上方向に傾斜して、ＰＰＤ１８０１からＦＤノードに電荷を徐々に多く転送する。ＰＰＤ１８０１からＦＤノードに転送される電荷の量はＴＸ信号のレベルの関数であり、ＴＸ信号の傾きは時間の関数である。従って、ＰＰＤ１８０１からＦＤノードに転送される電荷は時間の関数である。ＰＰＤ１８０１からＦＤノードへの電荷の転送の間に、第２トランジスタ１８０５は入射する光子を検出するＳＰＡＤ回路１５０１に応答してターンオフされ、ＰＰＤ１８０１からＦＤノードへの電荷の転送は停止する。ＦＤノードに転送される電荷の量及びＰＰＤ１８０１に残った電荷の量は全て入射する光子のＴＯＦに関連付けられる。ＴＸ信号及び入射する光子の検出に基づくＰＰＤ１８０１からＦＤノードへの電荷の転送は、電荷から時間へのシングルエンドの差動変換を提供するものと見なされる。
【0125】
第４トランジスタ１８０９は、ＦＤノードに格納された電荷を第４トランジスタ１８０９の第２のＳ／Ｄ端子で電圧に変換する。ＳＥＬ信号は、ピクセルを選択してＦＤノードに転送された電荷に対応するＰＩＸＯＵＴ１信号又は後続するＰＰＤ１８０１の残りの電荷がＦＤノードに転送された後にＰＰＤ１８０１に残った電荷に対応するＰＩＸＯＵＴ２信号を読み出すために使用される。一実施例で、ＰＩＸＯＵＴ１信号とＰＩＸＯＵＴ２信号との和に対するＰＩＸＯＵＴ１信号の比率は、上記数学式２の比率に示したように、ピクセルによって受信された光信号のＴＯＦと遅延時間との差に比例する。ＶＴＸ信号が上方に傾斜し始めた後に光パルスが伝送される実施例で、遅延時間は負である。
【0126】
時間分解センサ１５００について、上記数学式２で記述した比率は、オブジェクトのデプス又は範囲を判定するために使用され、ＰＩＸＯＵＴ１信号とＰＩＸＯＵＴ２信号との和が測定毎に変化しない場合、測定値の変動にそれほど敏感ではない。一実施例で、ＶＴＸ信号は理想的に線形であり、ＴＯＦピクセルアレイの異なるピクセルに亘って理想的に均一である。しかし、実際に、ＴＯＦピクセルアレイの異なるピクセルに印加されるＶＴＸ信号は、ピクセル単位で変化し、従ってピクセル単位のＶＴＸ信号の可変に依存する範囲の測定にエラーを誘導し、また測定単位で変化し得る。
【0127】
一実施例で、第１トランジスタ１８０３、第２トランジスタ１８０５、第３トランジスタ１８０７、第４トランジスタ１８０９、及び第５トランジスタ１８１１は、それぞれｎ型ＭＯＳＦＥＴ又はｐタイプＭＯＳＦＥＴである。しかし、任意の適切なトランジスタが使用され得るため、本発明はｎ型ＭＯＳＦＥＴ又はｐ型ＭＯＳＦＥＴを使用するものに限定されない。
【0128】
図１９は、図１５の時間分解センサ１５００に対する一例を示す相対的な信号のタイミング図である。図１９において、シャッターオフ（初期化）区間の間、ＲＳＴ信号、ＶＴＸ信号、及びＴＸ信号のそれぞれは、ハイ（論理１）になり、後に０（論理０）に戻りＰＰＤ回路１５０５をリセットする。ＴＸＥＮ信号はハイである。ＰＰＤ１８０１は、初期化区間でそれ自体のフルウェルキャパシティまで電荷で満たされる。ＶＴＸ信号及びＴＸ信号はローになってＰＰＤ回路１５０５の第２トランジスタ１８０５をターンオフする。ＶＰＩＸ信号はハイになり、従ってＦＤノードがリセットされる。光パルスは、ＲＳＴ信号が０に戻るときに、又はそれから暫くオブジェクトに向けて光パルスを伝送する。ＶＴＸ信号は、その後に上方に傾斜し始め、そしてシャッター信号はハイになって、シャッターオン区間を開始する。
【0129】
ＶＴＸ信号が上方に傾斜するにつれて、ＴＸ信号もまた上方に傾斜し、そしてＦＤノードの電荷はＴＸ信号に応答して減少し始める。反射された光パルスによって、ＴＸＥＮ信号がロー（論理０）になり、従ってＦＤノードとＰＰＤ１８０１との間の電荷の転送が停止される。
【0130】
遅延時間（Ｔｄｌｙ）は、伝送された光パルスの開始とＴＸ信号が上方に傾斜し始める時との間の間隔を示す。飛行時間（Ｔｔｏｆ）は、伝送された光パルスの開始とリターン信号が受信される時との間の時間を示す。シャッターオン区間（Ｔｓｈ）は、電子シャッターが開かれたときから電子シャッターが閉じたときまでの時間（シャッターオン区間）を示す。一実施例で、シャッター区間（Ｔｓｈ）はＶＴＸ信号の傾斜時間と同じか又はそれより少ない。
【0131】
転送された電荷は転送された電荷の読出し区間でＰＩＸＯＵＴ１信号として読み出される。シャッター信号がローである間、ＲＳＴ信号は２番目のハイになってＦＤノードの電荷をリセットし、その後にＴＸＲＭＤ信号、ＴＸＥＮ信号、及びＴＸ信号はハイになってＰＰＤ１８０１に残った電荷をＰＩＸＯＵＴ２信号に読み出すためにＦＤノードに転送する。
【0132】
図２０は、時間分解センサ２０００の他の例を示すブロック図である。時間分解センサ２０００は、ＳＰＡＤ回路２００１、論理回路２００３、及び第２のＰＰＤ回路２００５を含む。
【0133】
ＳＰＡＤ回路２００１は、光子を検出するためのＳＰＡＤと、ＶＳＰＡＤ電圧を受信する第１入力と、電子シャッターの開閉を制御するためのシャッター信号を受信する第２入力と、ＶＤＤ電圧（ＶＤＤ）を受信する第３入力と、検出イベント（ＤＥ）信号を出力するための出力と、を含む。光子を受信することに応答して、ＳＰＡＤ回路２００１は、急速にＶＳＰＡＤから０になり、ゆっくりとＶＳＰＡＤに戻るパルス信号を出力する。一実施例で、ＳＰＡＤ回路２００１は、図１５に示したＳＰＡＤ回路１５０１と同じである。
【0134】
論理回路２００３は、ＳＰＡＤ回路２００１のＤＥ出力に連結された第１入力及び第２のＰＰＤ回路２００５のＰＰＤに残った電荷を完全に転送するためのＴＸＲＭＤ信号を受信する第２入力と、ＴＸＥＮ信号を出力するための出力と、を含む。一実施例で、論理回路２００３は、図１５に示した論理回路１５０３と同じである。
【0135】
第２のＰＰＤ回路２００５は、論理回路２００３からのＴＸＥＮ信号出力に連結された第１入力と、ＴＸＲＭＤ信号を受信する論理回路２００３の第２入力に連結された第２入力と、第２のＰＰＤ回路２００５のＰＰＤから第２のＰＰＤ回路２００５の第１フローティングディフュージョン（ＦＤ１）ノードに電荷を部分的又は完全に転送するためのＶＴＸ信号を受信する第３入力と、ＦＤ１ノードの電荷をリセットしてＰＰＤの電荷をプリセットするためのＲＳＴ信号を受信する第４入力と、第２のＰＰＤ回路２００５に対するＶＰＩＸ信号を受信する第５入力と、ＦＤ１ノードの電荷に対応するＰＩＸＯＵＴ１信号をＰＩＸＯＵＴ１出力から読み出して第２のＰＰＤ回路２００５のＰＰＤに残った電荷に対応するＰＩＸＯＵＴ２信号をＰＩＸＯＵＴ２出力から読み出すためのＳＥＬ信号を受信する第６入力と、を含む。
【0136】
図２１は、図２０の時間分解センサ２０００の第２のＰＰＤ回路２００５の一例を示す回路図である。第２のＰＰＤ回路２００５は、第１トランジスタ２１０３、第２トランジスタ２１０５、第３トランジスタ２１０７、第４トランジスタ２１０９、第５トランジスタ２１１１、第６トランジスタ２１１３、第７トランジスタ２１１５、第８トランジスタ２１１７、第９トランジスタ２１１９、及びＰＰＤ２１０１を含む。
【0137】
ＰＰＤ２１０１は、接地電位に連結された正極及びもう一方の負極を含む。ＰＰＤ２１０１は、キャパシタと同様の方法で電荷を貯蔵する。一実施例で、ＰＰＤ２１０１は、カバーされ、従って光に応答せずに光感知素子の代わりにＴＣＣとして使用され得る。
【0138】
第１トランジスタ２１０３は、ＴＸＥＮ信号出力を受信する論理回路２００３の出力に連結されるゲート端子と、ＰＰＤ２１０１からの電荷の転送を制御するためのＶＴＸ電圧を受信する第１のＳ／Ｄ端子と、もう一方の第２のＳ／Ｄ端子と、を含む。
【0139】
第２トランジスタ２１０５は、ＰＰＤ２１０１からの電荷を転送するためのＴＸ信号を受信するために第１トランジスタ２１０３の第２のＳ／Ｄ端子に連結されたゲート端子と、ＰＰＤ２１０１の負極に接続された第１のＳ／Ｄ端子と、ＰＰＤ２１０１から電荷が転送される第１フローティングディフュージョン（ＦＤ１）ノードに連結された第２のＳ／Ｄ端子と、を含む。ＦＤ１ノードは、第１キャパシタを有し得る。ＦＤ１ノードと接地との間に、図２１に示さないストレーキャパシタンスが存在し得る。一実施例で、物理的キャパシタもまたＦＤ１ノードと接地との間に連結され得る。ＰＰＤ２１０１から第２トランジスタ２１０５を介してＦＤ１ノードに転送される電荷はＴＸ信号によって制御される。
【0140】
第３トランジスタ２１０７は、ＦＤ１ノード及び第２トランジスタ２１０５の第２のＳ／Ｄ端子に連結されたゲート端子と、ＶＰＩＸの電圧を受信する第１のＳ／Ｄ端子と、もう一方の第２のＳ／Ｄ端子と、を含む。第３トランジスタ２１０７は、ＦＤ１ノードに格納された電荷を第３トランジスタ２１０７の第２のＳ／Ｄ端子で電圧に変換する。
【0141】
第４トランジスタ２１０９は、ＦＤ１ノードの電荷レベルを設定するためのＲＳＴ信号を受信するゲート端子と、ＶＰＩＸの電圧を受信する第１のＳ／Ｄ端子と、第２トランジスタ２１０５の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子と、を含む。
【0142】
第５トランジスタ２１１１は、ＦＤ１ノードの電荷を読み出すためのＳＥＬ信号を受信するゲート端子と、第３トランジスタ２１０７の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子と、ＦＤ１ノードの電荷に対応する電圧をＰＩＸＯＵＴ１信号として出力するためのピクセル出力（ＰＩＸＯＵＴ１）のデータラインに連結された第２のＳ／Ｄ端子と、を含む。
【0143】
第６トランジスタ２１１３は、ＰＰＤ２１０１に残った電荷を第２フローティングディフュージョン（ＦＤ２）ノードに完全に転送するためのＴＸＲＭＤ信号を受信するゲート端子と、ＰＰＤ２１０１の負極に連結された第１のＳ／Ｄ端子と、ＦＤ２ノードに連結された第２のＳ／Ｄ端子と、を含む。ＦＤ２ノードは、第２キャパシタンスを有し得る。ＦＤ２ノードと接地との間に図２１に示していないストレーキャパシタンスが存在し得る。一実施例で、物理的キャパシタもまたＦＤ２ノードと接地との間に連結され得る。一実施例で、ＦＤ２ノードの第２キャパシタンスはＦＤ１ノードの第１キャパシタンスと同じであり得る。ＰＰＤ２１０１に残った任意の残りの電荷は第６トランジスタ２１１３を介してＦＤ２ノードに転送される。
【0144】
第７トランジスタ２１１５は、第６トランジスタ２１１３の第２のＳ／Ｄノード及びＦＤ２ノードに連結されたゲート端子と、ＶＰＩＸ信号を受信する第１のＳ／Ｄ端子と、もう一方の第２のＳ／Ｄ端子と、を含む。第７トランジスタ２１１５は、ＦＤ２ノードに格納された電荷を第７トランジスタの第２のＳ／Ｄ端子で電圧に変換する。
【0145】
第８トランジスタ２１１７は、ＦＤ２ノードの電荷レベルを設定するためのＲＳＴ信号を受信するゲート端子と、ＶＰＩＸ信号を受信する第１のＳ／Ｄ端子と、第６トランジスタ２１１３の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子と、を含む。
【0146】
第９トランジスタ２１１９は、ピクセルを選択してＦＤ２ノードの電荷に対応する電圧を読み出すためのＳＥＬ信号を受信するゲート端子と、第７トランジスタ２１１５の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子と、ＦＤ２ノードの電荷に対応する電圧をＰＩＸＯＵＴ２信号に出力するためのピクセル出力（ＰＩＸＯＵＴ２）のデータラインに連結された第２のＳ／Ｄ端子と、を含む。
【0147】
一実施例で、ＶＴＸ信号（そしてＴＸ信号）は、上方に傾斜してＰＰＤ２１０１からＦＤ１ノードに電荷を転送する。ＰＰＤ２１０１からＦＤ１ノードに転送される電荷の量は、ＴＸ信号のレベルの関数であり、ＴＸ信号の傾きは時間の関数である。従って、ＰＰＤ２１０１からＦＤ１ノードに転送される電荷は時間の関数である。ＰＰＤ２１０１からＦＤ１ノードへの電荷の転送の間に、ＳＰＡＤ回路２００１が入射する光子を検出することに応答して第２トランジスタ２１０５がターンオフされると、ＰＰＤ２１０１からＦＤ１ノードへの電荷の転送は停止し、ＦＤ１ノードに転送された電荷の量及びＰＰＤ２１０１に残った電荷の量の全ては入射する光子のＴＯＦに関連付けられる。ＴＸ信号及び入射する光子の検出に基づくＰＰＤ２１０１からＦＤ１ノードへの電荷の転送は、チャージツータイムのシングルエンド差動変換（ｓｉｎｇｌｅ－ｅｎｄｅｄ－ｔｏ－ｄｉｆｆｅｒｅｎｔｉａｌ ｃｏｎｖｅｒｓｉｏｎ ｏｆ ｃｈａｒｇｅ ｔｏ ｔｉｍｅ）を提供する。
【0148】
時間分解センサ２０００について、上記数学式２に記述した比率は、オブジェクトのデプス又は範囲を判定するために使用され、ＰＩＸＯＵＴ１とＰＩＸＯＵＴ２信号との合計が測定毎に変化しなければ測定値の変動にそれほど敏感ではない。一実施例で、ＶＴＸ信号は理想的に線形であり得る、ＴＯＦピクセルアレイの異なるピクセルに亘って理想的に均一であり得る。しかし、実際にＴＯＦピクセルアレイの異なるピクセルに印加されるＶＴＸ信号はピクセル毎に変動し、従ってピクセル毎にＶＴＸ信号の変動に依存して範囲の測定にエラーを誘発し、また測定毎に変動し得る。
【0149】
一実施例で、第１トランジスタ２１０３、第２トランジスタ２１０５、第３トランジスタ２１０７、第４トランジスタ２１０９、第５トランジスタ２１１１、第６トランジスタ２１１３、第７トランジスタ２１１５、第８トランジスタ２１１７、及び第９トランジスタ２１１９は、それぞれｎ型ＭＯＳＦＥＴ又はｐ型ＭＯＳＦＥＴであり得るが、任意の他の適切なトランジスタが用いられる。
【0150】
図２２は、図２０の時間分解センサ２０００の他の例を示す相対的な信号のタイミング図２２００である。図２２の信号タイミング図は図１９の信号タイミング図に類似しており、類似点は図１９を参照して説明される。図２２の信号タイミング図は、ＦＤ信号を含み、シャッターオン区間のエンド部分でＰＰＤ２１０１の残りの電荷がＴＸＲＭＤ信号の動作によってＦＤ２ノードに転送される点で異なる。また、ＰＩＸＯＵＴ１とＰＩＸＯＵＴ２信号は同時に読み出される。
【0151】
第２のＰＰＤ回路２００５は、変わらないフルウェルキャパシティに依存して最大の範囲を判定するが、時間分解センサ２０００の実際の具現は、異なる第２のＰＰＤ回路２００５との間の熱雑音に基づいてＰＰＤ２１０１に対するフルウェルキャパシティ変動を経験することに留意しなければならない。また、ＶＴＸ信号は、ピクセルアレイのピクセルの位置に基づいて異なる傾斜（傾き）を有することができる。即ち、ピクセルで、ＶＴＸ信号の傾斜（傾き）は、ピクセルがＶＴＸ信号のソースからどれくらい近いかに依存して変動する。
【0152】
図２３は、時間分解センサ２３００の更に他の例を示す回路図である。時間分解センサ２３００は、１つ以上のＳＰＡＤ回路（２３０１ａ～２３０１ｎ）、論理回路２３０３、及び第３のＰＰＤ回路２３０５を含む。
【0153】
一実施例で、１つ以上のＳＰＡＤ回路２３０１のそれぞれは、ＳＰＡＤ２３１１、抵抗２３１３、キャパシタ２３１５、ｐタイプＭＯＳＦＥＴトランジスタ２３１７、及びバッファ２３１９を含む。ＳＰＡＤ２３１１は、接地電位に連結された正極及びもう一方の負極を含む。抵抗２３１３は、ＶＳＰＡＤ電圧を受信する第１端子及びＳＰＡＤ２３１１の負極に連結された第２端子を含む。他の実施例で、ＳＰＡＤ２３１１と抵抗２３１３との位置は交換され得る。ＳＰＡＤ２３１１は光に応答する。光子を受信することに応答して、ＳＰＡＤ２３１１は、急激にＶＳＰＡＤ電圧からブレークダウン電圧よりも低い電圧になり、その後にＶＳＰＡＤ電圧によってゆっくり復帰するパルス信号を出力する。
【0154】
キャパシタ２３１５は、ＳＰＡＤ２３１１の負極に連結された第１端子及びもう一方の第２端子を含む。代案的な実施例で、キャパシタ２３１５は省略され得る。ＰタイプＭＯＳＦＥＴトランジスタ２３１７は、シャッター信号を受信するゲート端子と、キャパシタ２３１５の第２端子に連結された第１のＳ／Ｄ端子と、ＶＰＩＸの電圧（ＶＤＤ）を受信する第２のＳ／Ｄ端子と、を含む。バッファ２３１９は、キャパシタ２３１５の第２端子に連結される入力と、ＳＰＡＤ回路２３１１の出力に対応するＤＥ信号を出力する反転出力と、を含む。代案的な実施例で、バッファ２３１９は反転しない可能性がある。
【0155】
論理回路２３０３は、１つ以上のＳＰＡＤ回路（２３０１ａ～２３０１ｎ）のそれぞれのＤＥ信号出力に連結される入力と、ＴＸＥＮ信号及びＴＸＥＮ信号の反転であるＴＸＥＮＢ信号を出力する出力と、を含む。
【0156】
第３のＰＰＤ回路２３０５は、容量性デバイス（ＳＣ）、第１トランジスタ２３５１、第２トランジスタ２３５３、第３トランジスタ２３５５、第４トランジスタ２３５７、第５トランジスタ２３５９、第６トランジスタ２３６１、第７トランジスタ２３６３、第８トランジスタ２３６５、第９トランジスタ２３６７、第１０トランジスタ２３６９、第１１トランジスタ２３７１、第１２トランジスタ２３７３、及び第１３トランジスタ２３７５を含む。
【0157】
容量性デバイス（ＳＣ）は、接地電位に連結された第１端子及びもう一方の第２端子を含む。容量性デバイス（ＳＣ）は、キャパシタに類似する方式で電荷を貯蔵する。一実施例で、容量性デバイス（ＳＣ）はキャパシタであり得る。他の実施例で、容量性デバイス（ＳＣ）はカバーされて光に応答していないＰＰＤであり得る。もうひとつの実施例で、容量性デバイス（ＳＣ）はＴＣＣの一部として使用され得る。
【0158】
第１トランジスタ２３５１は、ＲＳＴ信号に連結されたゲート端子２３５１と、接地電位に連結された第１のＳ／Ｄ端子と、容量性デバイス（ＳＣ）の第２端子に連結された第２のＳ／Ｄ端子と、を含む。
【0159】
第２トランジスタ２３５３は、ＴＸＡ信号に連結されたゲート端子と、第１フローティングディフュージョン（ＦＤ１）ノードに連結された第１のＳ／Ｄ端子と、第１トランジスタ２３５１の第２のＳ／Ｄ端子及び容量性デバイス（ＳＣ）の第２端子に連結された第２のＳ／Ｄ端子と、を含む。第１フローティングディフュージョン（ＦＤ１）ノードは、図２３で、キャパシタ符号で表される。ＦＤ１ノードと接地との間に、図２３に示していないストレーキャパシタンスが存在し得る。一実施例で、物理的キャパシタもまたＦＤ１ノードと接地との間に連結され得る。
【0160】
第３トランジスタ２３５５は、ＦＤ１ノード及び第２トランジスタ２３５３の第１のＳ／Ｄノードに連結されたゲート端子と、ＶＰＩＸの電圧に連結された第１のＳ／Ｄ端子と、もう一方の第２のＳ／Ｄ端子と、を含む。第３トランジスタ２３５５は、ＦＤ１ノードの電荷を第３トランジスタ２３５５の第２のＳ／Ｄ端子で電圧に変換する。
【0161】
第４トランジスタ２３５７は、ＲＳＴ信号に連結されたゲート端子と、ＶＰＩＸの電圧に連結された第１のＳ／Ｄ端子と、第３トランジスタ２３５５の第１のＳ／Ｄ端子及びＦＤ１に連結された第２のＳ／Ｄ端子と、を含む。
【0162】
第５トランジスタ２３５９は、ＴＸＥＮ信号に連結されたゲート端子と、ＶＴＸ信号に接続された第１のＳ／Ｄ端子と、第２トランジスタ２３５３のゲート端子に連結された第２のＳ／Ｄ端子と、を含む。
【0163】
第６トランジスタ２３６１は、ＴＸＥＮＢ信号に連結されたゲート端子と、接地電位に連結された第１のＳ／Ｄ端子と、第２トランジスタ２３５３のゲート端子及び第５トランジスタ２３５９の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子と、を含む。
【0164】
第７トランジスタ２３６３は、ＳＥＬ信号に連結されたゲート端子と、第３トランジスタ２３５５の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子と、ピクセル出力のデータライン（ＰＩＸＡ）に連結された第２のＳ／Ｄ端子と、を含む。
【0165】
第８トランジスタ２３６５は、ＴＸＢ信号に連結されたゲート端子と、第２フローティングディフュージョン（ＦＤ２）ノードに連結された第１のＳ／Ｄ端子と、第１トランジスタ２３５１の第２のＳ／Ｄ端子、容量性デバイス（ＳＣ）の第２端子、及び第２トランジスタ２３５３の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子と、を含む。第２フローティングディフュージョン（ＦＤ２）ノードは、図２３で、キャパシタ符号で示される。ＦＤ２ノードと接地との間に、図２３に示していないストレーキャパシタンスが存在し得る。一実施例で、物理的キャパシタもまたＦＤ２ノードと接地との間に連結され得る。
【0166】
第９トランジスタ２３６７は、ＦＤ２ノード及び第８トランジスタ２３６５の第１のＳ／Ｄ端子に連結されたゲート端子と、ＶＰＩＸの電圧に連結された第１のＳ／Ｄ端子と、もう一方の第２のＳ／Ｄ端子と、を含む。第９トランジスタ２３６７は、ＦＤ２ノードの電荷を第９トランジスタ２３６７の第２のＳ／Ｄ端子で電圧に変換する。
【0167】
第１０トランジスタ２３６９は、ＲＳＴ信号に連結されたゲート端子と、ＶＰＩＸの電圧に連結された第１のＳ／Ｄ端子と、第９トランジスタ２３６７のゲート端子、ＦＤ２ノード、及び第８トランジスタ２３６５の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子と、を含む。
【0168】
第１１トランジスタ２３７１は、ＴＸＥＮＢ信号に連結されたゲート端子と、ＶＴＸ信号に連結された第１のＳ／Ｄ端子と、第８トランジスタ２３６５のゲート端子に連結された第２のＳ／Ｄ端子と、を含む。
【0169】
第１２トランジスタ２３７３は、ＴＸＥＮ信号に連結されたゲート端子と、接地電位に連結された第１のＳ／Ｄ端子と、第８トランジスタ２３６５のゲート端子及び第１１トランジスタ２３７１の第２のＳ／Ｄ端子に連結された第２のＳ／Ｄ端子と、を含む。
【0170】
第１３トランジスタ２３７５は、ＳＥＬ信号に連結されたゲート端子と、第９トランジスタ２３６７の第２のＳ／Ｄ端子に連結された第１のＳ／Ｄ端子と、ピクセル出力のデータライン（ＰＩＸＢ）に連結された第２のＳ／Ｄ端子と、を含む。
【0171】
図２４は、図２３の時間分解センサ２３００の更に他の例を示す相対的な信号のタイミング図である。図２４の信号タイミング図は図１９及び図２２の信号タイミング図に類似し、類似点は、図１９を参照して記述される。図２４の信号タイミング図は、ＴＸＲＭＤ信号及びＴＸ信号を含まず、代わりにＴＸＥＮＢ信号、ＴＸＡ信号、及びＴＸＢ信号を含むことが、図２２の信号タイミング図と異なる。
【0172】
図２４の信号タイミング図で、ＴＸＥＮＢ信号はＴＸＥＮ信号の反転信号である。シャッター信号がハイに活性（アクティブ）であるときにＴＸＥＮ信号は活性であり、ＶＴＸ信号は第５トランジスタ２３５９を通過してＴＸＡ信号が活性化されるようにする。容量性デバイス（ＳＣ）の電荷は第２トランジスタ２３５３を介してＦＤ１ノードに転送される。同時に、接地電位は第１２トランジスタ２３７３を通過してＴＸＢ信号が非活性化されるようにする。
【0173】
検出イベント（ＤＥ）が発生（反射された光パルスを受信）したときにＴＸＥＮ信号は非活性化され、ＴＸＥＮＢ信号は活性化される。ＴＸＥＮ信号が非活性化されると、ＴＸＡ信号もまた非活性化され、電荷が容量性デバイス（ＳＣ）から第２トランジスタ２３５３を介してＦＤ１ノードに転送されることが停止される。ＴＸＥＮＢ信号が活性化されると、ＴＸＢ信号は活性化され、電荷は容量性デバイス（ＳＣ）から第８トランジスタ２３６５を介してＦＤ２ノードに転送される。
【0174】
シャッター信号が終了すると、ＴＸＢ信号は非活性化され、電荷が容量性デバイス（ＳＣ）から第８トランジスタ２３６５を介してＦＤ２ノードに転送されることが停止される。ＦＤ１ノード及びＦＤ２ノードの電荷に関連付けられたそれぞれの電圧はＰＩＸＡ及びＰＩＸＢの出力ラインから読み出される。
【0175】
ピクセル単位のＶＴＸ信号の傾きの変動及び容量性デバイス（ＳＣ）のキャパシタンスの変動は、第２トランジスタ２３５３（ＴＸＡ）及び第８トランジスタ２３６５（ＴＸＢ）がアクティブ（活性）シャッター信号の間に線形モードである限り、範囲の測定エラーが発生しないことに留意しなければならない。
【0176】
図２５は、図２３の時間分解センサ２３００を利用して時間を分解する方法２５００の一例を示すフローチャートである。方法はステップ２５０１から始まる。ステップ２５０２で、アクティブシャッター信号が生成される。ステップ２５０３で、アクティブシャッター信号の間に少なくとも１つのＳＰＡＤ回路２３０１に入射する１つ以上の光子が検出される。１つ以上の検出された光子はオブジェクトから反射されたものである。ステップ２５０４で、検出イベント（ＤＥ）に基づいて出力信号が生成される。ステップ２５０５で、検出イベント（ＤＥ）に対する出力信号に基づいて第１アクティブ（活性）信号（例えば、ＴＸＥＮ）及び第２アクティブ信号（例えば、ＴＸＥＮＢ）が生成される。一実施例で、第１アクティブ信号はアクティブシャッター信号の開始に応答して活性化されて出力信号に応答して非活性化され、第２アクティブ信号は出力信号に応答して活性化されてアクティブシャッター信号の終了に応答して非活性化される。
【0177】
ステップ２５０６で、第１アクティブ（活性）信号がアクティブである場合、容量性デバイス（ＳＣ）の電荷が第１フローティングディフュージョン（ＦＤ１）ノードに転送され、第１フローティングディフュージョン（ＦＤ１）ノードで第１電荷を形成する。ステップ２５０７で、第２アクティブ信号が活性である場合、容量性デバイス（ＳＣ）の残りの電荷が第２フローティングディフュージョン（ＦＤ２）ノードに転送され、第２フローティングディフュージョン（ＦＤ２）ノードで第２電荷を形成する。ステップ２５０８で、第１電荷に基づく第１電圧及び第２電荷に基づく第２電圧が出力される。第１電圧と第２電圧との和に対する第１電圧の第１比率は１つ以上の検出された光子の飛行時間に比例し、第１電圧及び第２電圧の和に対する第２電圧の第２比率は１つ以上の検出された光子の飛行時間に比例する。ステップ２５０９で、方法が終了する。
【0178】
一実施例で、第１電荷及び第２電荷を転送するステップは、傾斜関数（ｒａｍｐ ｆｕｎｃｔｉｏｎ）に基づいてＶＴＸ信号（又は駆動信号）を変更するステップを含み、ＶＴＸ信号（又は駆動信号）は、１つ以上の光子が検出される光パルスの開始時間に応答して変化し始め、アクティブシャッター信号の終了まで変化する。また、容量性デバイスの電荷を第１フローティングディフュージョン（ＦＤ１）ノードに転送して第１フローティングディフュージョン（ＦＤ１）ノードで第１電荷を形成するステップは、更に第１アクティブ信号がアクティブのときにＶＴＸ信号（又は駆動信号）のレベルに基づき行われ、容量デバイスの残りの電荷を第２フローティングディフュージョン（ＦＤ２）ノードに転送して第２フローティングディフュージョン（ＦＤ２）ノードで第２電荷を形成するステップは、更に第２アクティブ信号がアクティブのときにＶＴＸ信号（又は駆動信号）のレベルに基づき行われる。
【0179】
他の実施例で、第１電圧と第２電圧との和に対する第１電圧の第１比率は、更に１つ以上の検出された光子の飛行時間から遅延時間を差し引いた時間に比例する。同様に、第１電圧と第２電圧との和に対する第２電圧の第２割合は、更に１つ以上の検出された光子の飛行時間から遅延時間を差し引いた時間に比例する。遅延時間は光パルスの伝送時間の開始とＶＴＸ信号（又は駆動信号）が変化し始めた時との間の時間を含む。
【0180】
ＳＰＡＤを使用するＬｉＤＡＲ（光検出、並びに距離測定）システムは、一般的に光強度に基づくイメージングの能力を提供しない。距離情報と共に強度をイメージングすることは、向上した運転者補助システム（ＡＤＡＳ）及び自律走行アプリケーションにおけるオブジェクト認識性能を大幅に向上させることができる。本発明は、距離測定及び強度イメージング情報の両方を提供するイメージングシステムを提供する。距離イメージ及び強度イメージの両方は、同じソースから生成され、イメージの整列問題が存在せず、また複雑な混合アルゴリズムを必要としない。本明細書に記載したピクセルの実施例はＴＣＣになるように構成される。更に、時間デジタル変換器に（ＴＤＣに）なるように構成されるピクセルは、また使用され得るが、ＴＣＣになるように構成されるピクセルよりも空間的により低い解像度を有するイメージを提供することができる。即ち、ＴＣＣになるように構成されるピクセルは、より小さくそしてＴＤＣになるように構成されるピクセルを用いる画素アレイよりも高い解像度を有するピクセルアレイを提供することができる。
【0181】
距離及び光強度情報を提供するイメージング処理システムの一例は図１に示したイメージングシステム１５である。ピクセルアレイ４２は、図５に示したピクセル４３、図７に示したピクセル７００、図１３に示したピクセル１３００、図２１に示したピクセル２１００、及び／又は図２３に示したピクセル２３００のような本明細書に記載したＴＣＣピクセルの実施例を含む。光源２２は、図３及び図４に連携して記載したように、ピクセル処理ユニット４６に同期化されるポイントのスキャンを提供するように制御される。ポイントスキャンは、多数回繰り返され、距離情報及び光強度情報の両方に対する統計的平均を提供することができる。光強度情報は、イメージ処理システム１５の視野内のオブジェクトの反射率を判定するのに使用され得る。代案的な実施例で、光源モジュール２２は、シーン全体を照明するように制御され得る。多数の光パルスが照射されてキャプチャーされると、各ピクセルに対するヒストグラムが形成され、ヒストグラムでのピーク周辺のビン（ｂｉｎｓ）を加算することにより、ＡＤＡＳ及び自律走行アプリケーションにおけるオブジェクト認識性能を大幅に向上させるのに使用されるグレイスケールイメージが生成され得る。代案的な実施例は、ＴＤＣの出力を提供するように構成されるピクセルを使用することができることに留意しなければならない。
【0182】
イメージセンサユニット２４によってキャプチャーされる各点の反射率は、各点に対する距離及びグレイスケール値に基づいて判定され得る。グレイスケールイメージは、またレーザーパルスなしに生成され得る。多数のフレームを共に加算することで、イメージセンサユニット２４はピクセル当たりのフレーム当たり最大１つの光子をキャプチャーする量子（Ｑｕａｎｔａ）イメージセンサのように動作することができる。多数のビットプレーン（即ち、フレーム）を共に加算する場合、高いダイナミック距離イメージングが達成され得る。オブジェクト認識のための同じイメージセンサユニットから生成される３Ｄ及び２Ｄイメージの両方を利用することにより、複雑なイメージの混合処理が回避されて認識の性能が向上され得る。
【0183】
一実施例で、ピクセルのグレイスケール値は、ピクセルによって検出された光子の到着時間（即ち、検出時間）のヒストグラムのピーク値を直接に利用することで生成され得る。ウィンドウ幅は、照射されたレーザー光又はパルスの半値幅（ＦＷＨＭ：ｆｕｌｌ ｗｉｄｔｈ ａｔ ｈａｌｆ－ｍａｘｉｍｕｍ）と同じであり得る。光検出時間のヒストグラムが形成されて検出された光のピーク数に対応するビン（ｂｉｎ）は、光パルスが反射されたポイントでオブジェクトの表面反射率を測定するのに使用され得る。代案的に、ピクセルのヒストグラムは、ＳＰＡＤから出力されたトリガー波形でコンボリューションされ、最大検出された光子カウントがその後選択され得る。
【0184】
図２６ａは、ＳＰＡＤからのトリガー波形２６００出力の一例を示す図である。図２６の横軸は相対的な時間（単位なし）であり、図２６の縦軸は相対的な振幅（単位なし）である。図２６ｂは、形成されるピクセルの光検出時間の一例を示すヒストグラム２６０１である。図２６ｂの横軸は相対的な正規化された時間であり、縦軸は光子検出イベントのカウントを示す。
【0185】
図２６ｃは、ヒストグラム２６０２の一例として、照射されたパルス（図示せず）のＦＷＨＭを示すウィンドウ幅を２６０２ａに示したウィンドウで表し、イベントカウントの最大が判定されることを説明するための図である。図２６ｄは、ヒストグラム２６０３の一例を示し、ＳＰＡＤから出力されたトリガー波形（図２６ａ）がヒストグラムでコンボリューションされてイベントカウントの最大が判定されることを説明するための図である。
【0186】
表面反射率（Ｓ）は、次の数学式５からスタートして測定される。
【0187】
【数5】
【0188】
ここで、Ｐはピクセル値であり、αはルクス（ｌｕｘ）をピクセル値に変換するシステム依存の定数であり、Ｓは表面反射率であり、Ｌは光強度である。光強度（Ｌ）は、ＬａｍｂとＬｌａｓｅｒとの合計で表され、それぞれのセンサに到達する周辺光の強度及びレーザー光の強度である。
【0189】
従って、表面反射率（Ｓ）は、数学式６で測定される。
【0190】
【数6】
【0191】
周辺光の強度（Ｌａｍｂ）は数学式７で表される。
【0192】
【数7】
【0193】
ここで、Ｎは光パルスから検出されたイベントの数であり、Ｍは光パルスが検出される前に検出されたイベント（即ち、周辺から）の数であり、Ｄは測定された距離であり、βは補償される他のシステムに依存する変数である。
【0194】
図２７は、ピクセルに対する一例を示すヒストグラム２７００である。ヒストグラム２７００の横軸は相対的な時間（単位なし）であり、ヒストグラム２７００の縦軸は光子検出イベントのカウントである。光パルスの前に検出されたイベントの数（Ｍ）を２７０１に示す。光パルスのうちの検出されたイベントの数（Ｎ）を２７０２に示す。
【0195】
放射するレーザーパワー（Ｉｌａｓｅｒで示す）と受信されるレーザーパワー（Ｌｌａｓｅｒ）との間の関係は、数学式８である。
【0196】
【数8】
【0197】
ここで、γはシステム定数である。
【0198】
その後、「＜ｘ、ｙ＞」位置における反射率（Ｓ）の測定は、数学式９で表される。
【0199】
【数9】
【0200】
ここで、ｆ（Ｄ）は距離に依存する関数である。即ち、数学式１０で導出される。
【0201】
【数10】
【0202】
図２８は、シーンのデプス又は範囲、マップ、及びグレイスケールイメージを生成する一例を示す方法のフローチャート２８００である。方法はステップ２８０１から始まる。ステップ２８０２で、シーンは、例えば図１に示したイメージングシステム１５によってポイントスキャンされる。イメージングシステム１５のピクセルアレイ（４２）は、例示的なピクセル（４３（図５）、７００（図７）、１３００（図１３）、２１００（図２１）、及び／又は２３００（図２３））を含み得る。ポイントスキャンは一回だけ実行され得るが、ポイントスキャンを多数回繰り返すことにより、より良い結果が得られることがあるものと理解すべきである。ステップ２８０３で、光検出イベントがピクセルアレイ４２のピクセルに対して累積される。ステップ２８０４で、デプス又は範囲、マップが本明細書に記載したように生成される。距離情報は、ピクセル処理ユニット４６及び／又はプロセッサ１９によって判定される。ステップ２８０５で、シーンのグレイスケールイメージがシーンの反射率の測定に基づいて生成される。グレイスケールイメージは、ピクセル処理ユニット４６及び／又はプロセッサ１９によって判定される。方法は、ステップ２８０６で終了する。
【0203】
図２９ａは、シーン２９００の一例を示すイメージである。図２９ｂ及び図２９ｃは、図２９ａに示したシーンの一例をそれぞれ示すデプスマップ２９０１及びグレイスケールイメージ２９０２である。図２９ｂの右側のスケールはメートルである。
【0204】
図３０は、図１及び図２に示したイメージングシステム１５の全体的なレイアウトの一例を示すブロック図である。イメージングモジュール１７は、図２、図５、図７（又は図１３）の模範的な実施例で示した必要なハードウェアを含み、本実施形態の進歩した側面に基づいて２Ｄ／３Ｄイメージング及びＴＯＦ測定を達成することができる。プロセッサ１９は、多数の外部装置に接続するように構成される。一実施例で、イメージングモジュール１７は、図１２のＰ１及びＰ２のような処理されたピクセル出力の形態でプロセッサ１９に更なる処理のためにデータ入力を提供する入力装置として機能することができる。プロセッサ１９は、またシステム１５の一部である他の入力デバイス（図示せず）から入力を受信することができる。このような入力装置の一部の例は、コンピュータキーボード、タッチパッド、タッチスクリーン、ジョイスティック、物理的若しくは仮想の「クリック可能なボタン」、及び／又はコンピュータマウス／ポインティングデバイスを含み得る。図３０において、プロセッサ１９は、システムメモリ２０、周辺ストレージユニット２７５、１つ以上の出力装置（ディスプレイユニット２７７）、及びネットワークインターフェース２７８に結合される。いくつかの実施例で、システム１５は、図示した装置の１つ以上のインスタンスを含み得る。システム１５の一部の例は、コンピュータシステム（デスクトップ又はラップトップ）、タブレットコンピュータ、モバイル装置、携帯電話、ビデオゲームユニット又はコンソール、マシンツーマシン（Ｍ２Ｍ）通信ユニット、ロボット、自動車、バーチャルリアリティ装置、ステートレスシンクライアントシステム（ｓｔａｔｅｌｅｓｓ ｔｈｉｎ ｃｌｉｅｎｔ ｓｙｓｔｅｍ）、車両のダッシュカム（ｄａｓｈ－ｃａｍ）又は後方注視（ｒｅａｒｖｉｅｗ）カメラシステム、自律走行システム、及び他の全てのタイプのコンピューティング又はデータ処理装置を含む。多様な実施例で、図３０に示した構成要素の全ては、単一のハウジング内に実装され得る。従って、システム１５は、スタンドアロンシステム又は他の任意の適切なフォームファクタで構成され。いくつかの実施例で、システム１５は、サーバシステムではないクライアントシステムに構成され得る。
【0205】
いくつかの実施例で、システム１５は１つ以上のプロセッサ（例えば、分散処理構成で）を含み得る。システム１５がマルチプロセッサシステムである場合、プロセッサ１９の１つ以上のインスタンスが存在するか、又はそれぞれのインターフェース（図示せず）を介してプロセッサ１９に結合される多数のプロセッサが存在し得る。プロセッサ１９は、システムオンチップ（ＳｏＣ）であり、１つ以上の中央処理ユニット（ＣＰＵ）を含み得る。
【0206】
システムメモリ２０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＰＲＡＭ、ＲｅＲＡＭ、ＣＢＲＡＭ、ＭＲＡＭ、ＳＴＴ－ＭＲＡＭなどのような半導体ベースのストレージシステムであり得る。いくつかの実施例で、メモリユニット２０は、１つ以上の非３ＤＳメモリモジュールと共に少なくとも１つの３ＤＳメモリモジュールを含み得る。非３ＤＳメモリモジュールは、ダブルデータレート、ダブルデータレート２、３、又は４同期ダイナミックランダムアクセスメモリ（ＤＤＲ／ＤＤＲ２／ＤＤＲ３／ＤＤＲ４ ＳＤＲＡＭ）、ラムバス（登録商標）ＤＲＡＭ、フラッシュメモリ、様々な形態の読み取り専用メモリ（ＲＯＭ）などを含み得る。また、一部の実施例で、システムメモリ２０は、単一のタイプのメモリではなく多数の異なるタイプの半導体メモリを含み得る。他の実施例で、システムメモリ２０は、非一時的データ貯蔵媒体であり得る。
【0207】
周辺ストレージユニット２７５は、様々な実施例で、ハードディスクドライブ、光学ディスク（コンパクトディスク（ＣＤ）又はデジタル多用途ディスク（ＤＶＤ）のような）、不揮発性ランダムアクセスメモリ（ＲＡＭ）デバイスなどのような磁気、光学、磁気光学、又はソリッド・ステート・ストレージ媒体を含み得る。いくつかの実施例で、周辺ストレージユニット２７５は、ディスクアレイ（適切なＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋｓ）構成であり得る）、又はストレージエリアネットワーク（ＳＡＮ）のような、より複雑なストレージデバイス／システムを含み、周辺ストレージユニット２７５は、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）インターフェース、ファイバチャネルインターフェース、ファイヤーワイヤー（登録商標）（ＩＥＥＥ１３９４）インターフェース、ＰＣＩｅ Ｅｘｐｒｅｓｓ（登録商標）（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）標準ベースのインターフェース、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）プロトコルベースのインターフェース、又は他の適切なインターフェースのような標準的な周辺インターフェースを介してプロセッサ１９に結合され得る。このような多様なストレージデバイスは、非一時的データ記憶媒体であり得る。
【0208】
ディスプレイユニット２７７は出力装置の例であり得る。出力装置の他の例は、グラフィックス／ディスプレイ装置、コンピュータスクリーン、警告システム、ＣＡＤ／ＣＡＭ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ／Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｍａｃｈｉｎｉｎｇ）システム、ビデオゲームステーション、スマートフォンのディスプレイスクリーン、自動車のダッシュボードの搭載ディスプレイスクリーン、又は他の適切なタイプのデータ出力装置を含む。いくつかの実施例で、イメージングモジュール１７のような入力装置（複数可）及びディスプレイユニット２７７のような出力装置（複数可）は、Ｉ／Ｏや周辺インターフェースを介してプロセッサ１９と結合され得る。
【0209】
一実施例で、ネットワークインターフェース２７８はプロセッサ１９と通信し、システム１５がネットワーク（図示せず）に結合される。他の実施例で、ネットワークインターフェース２７８は全くない可能性がある。ネットワークインターフェース２７８は、システムを無線又は有線でネットワークに連結するための適切な装置、媒体、及び／又はプロトコルのコンテンツを含み得る。多様な実施例で、ネットワークは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）、有線若しくは無線イーサネット（登録商標）、無線通信ネットワーク、衛星リンク、又は他の適切なタイプのネットワークを含み得る。
【0210】
システム１５は、オン・ボードの電源供給ユニット２８０を含み、図３０に示した多様なシステム構成要素に電気的電力を供給する。電源供給ユニット２８０は、バッテリを含み、ＡＣ電気電力アウトレット（ｏｕｔｌｅｔ）、又は自動車ベースの電力アウトレットに連結され得る。一実施例で、電源供給ユニット２８０は、太陽エネルギーや他の再生可能なエネルギーを電力に変換することができる。
【0211】
一実施例で、イメージングモジュール１７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）２．０又は３．０インターフェースのような、任意のパーソナルコンピュータ（ＰＣ）又はラップトップコンピュータに組み込まれる高速インターフェースに集積され得る。例えば、システムメモリ２０又はＣＤ／ＤＶＤのような周辺データストレージユニットのような、コンピュータ読み取り可能な非一時的記録媒体は、プログラムコード又はソフトウェアを格納することができる。イメージングモジュール１７のプロセッサ１９及び／又はピクセル処理ユニット４６（図２）はプログラムコードを実行するように構成され、システム１５は、図１～～図２９を参照して上述したオペレーションのような、２Ｄイメージング（例えば、３Ｄオブジェクトのグレイスケールイメージ）、ＴＯＦ及び距離測定、並びにピクセル特定の距離（又は範囲）の値を用いたオブジェクトの３Ｄイメージの生成を行うことができる。例えば、特定の実施例で、プログラムコードの実行に応じて、プロセッサ１９及び／又はピクセル処理ユニット４６は、図１２の行デコーダ／ドライバ１２０３及び列デコーダ１２０４のような関連する回路構成要素を適切に構成（又は活性化）して、シャッター信号、ＲＳＴ信号、ＶＴＸ信号、ＳＥＬ信号などのような適切な入力信号をピクセルアレイ４２のピクセル４３に印加し、反射されたレーザーパルスから光をキャプチャーし、後続してＴＯＦ及び距離の測定に必要なピクセル特定値（Ｐ１、Ｐ２）のためにピクセル出力を処理する。プログラムコード又はソフトウェアは、プロセッサ１９及び／又はピクセル処理ユニット４６のような適切な処理エンティティで実行されることによって、処理エンティティが多様なピクセル特定のＡＤＣの出力（Ｐ１及びＰ２の値）を処理して距離の値を判定し、その結果を、例えばＴＯＦベースの距離測定に基づいて、遠くにあるオブジェクトの３Ｄイメージを表示することを含む多様な形態で提示する登録ソフトウェア又はオープンソースのソフトウェアであり得る。特定の実施例で、イメージングモジュール１７のピクセル処理ユニット４６は、ピクセル出力データが追加の処理及び表示のためのプロセッサ１９に伝送される前に、ピクセル出力の処理の一部を遂行することができる。他の実施例で、プロセッサ１９は、またピクセル処理ユニット４６の機能の一部又は全部を遂行することができる。この場合、ピクセル処理ユニット４６はイメージングモジュール１７の一部ではない可能性がある。
【0212】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【0213】
１５ システム
１７ イメージングモジュール
１９ プロセッサ（モジュール）
２０ メモリ（モジュール）、システムメモリ
２２ プロジェクターモジュール（光源モジュール）
２４ イメージセンサユニット
２６ （３Ｄ）オブジェクト
２８ 光パルス
３３ レーザー（光源）
３４ レーザーコントローラ
３５ 投影装置のレンズ
３７ 反射された光パルス
４２、１２０１ （２Ｄ）ピクセルアレイ
４３、６０１～６０４、６２１～６２４、７００、１０００、１２０２、１３００ ピクセル
４４ 収集装置のレンズ、
４６ ピクセル処理ユニット
６６ スキャニングライン（ＳＲ）
６８ スキャニングライン（ＳＲ＋１）
７０～７３ 光点
７５ 行
７７ ＲＳＴ電子
２７５ 周辺ストレージユニット
２７７ ディスプレイユニット
２７８ ネットワークインターフェース
２８０ 電源供給ユニット
５０１、６０６～６０９、６２５、６４２～６５０、１００２～１００５、１３０１Ａ～１３０１Ｎ ＳＰＡＤコア（部分）
５０２、６０５、１００１、１３１１ ＰＰＤコア（部分）
５０３ 多数のＳＰＡＤ
５０４ 第１制御回路
５０５ 入射光
５０６、１３１０、１３１８ ＳＰＡＤ出力 ５０７ 第２制御回路
５０８ ＰＰＤ
５１０、５４０、１２０６～１２０８ ピクセル（特定アナログ）出力（ＰＩＸＯＵＴ）信号
６００Ａ、６００Ｂ ピクセルアレイ構造 ６４１ ＰＤＲコア
７０１、１３０８ 電子シャッター信号
７０２、１３１９ 論理ユニット
７０３～７０７ 第１～第５（ＮＭＯＳ）トランジスタ
７０８、１３２５ 転送アクティブ（ＴＸＥＮ）信号
７０９、１３２６ ＲＳＴ信号
７１０、１３２７ 伝送電圧（ＶＴＸ）信号（振幅変調信号）
７１１、１３２８ ＴＸ信号
７１２、１３３１ フローティングディフュージョン（ＦＤ）ノード／ジャンクション
７１３、１３２９ ピクセル電圧（ＶＰＩＸ）信号
７１４、１３３０ 選択（ＳＥＬ）信号
８０１ ＰＰＤ内の電荷
８０２ ＦＤ内の電荷
９０１、１４０４ 遅延時間Ｔｄｌｙ
９０２、１４０５ ＴＯＦ区間（飛行時間）Ｔｔｏｆ
９０３、９０４、１４０７、１４０８ シャッターオン区間Ｔｓｈ
９０５ ＰＰＤプリセット
９０６、９０７、１４０９ フローティングディフュージョン（ＦＤ）リセット
９０８、１４０６ シャッターオフ区間 １００６～１００９ Ｆ（ｘ、ｙ）ブロック
１２００ イメージセンサユニット
１２０３ 行デコーダ／ドライバ（ユニット）
１２０４ 列デコーダ（ユニット）
１２０５ ピクセルの列ユニット（列ＣＤＳ及び列ＡＤＣ）
１２０９、１２１０、１２１１ ＲＳＴ，ＶＴＸ，ＶＰＩＸシャッター，ＴＸ２，ＳＥＬ信号 １２１２ 行アドレス／制御入力
１２１３ Ｐ１／Ｐ２値
１２１４ 列アドレス／制御入力
１３０２、１３１２、１６０３、２３１１ ＳＰＡＤ
１３０３ ＳＰＡＤ動作電圧（ＶＳＰＡＤ）（信号）
１３０４、１３１３、１６０１、２３１３ 抵抗（性素子）
１３０５、１３１５、１６０５、２３１５ キャパシタ
１３０６、１３１６ インバータ
１３０７、１３１７ （ＰＭＯＳ）トランジスタ
１３０９ 供給電圧（ＶＤＤ）（信号）
１３１０、１３１８ 出力
１３２０、１３２１、１３２２、１３２３、１３２４、１３３４、１３３７ 第１～第７（ＮＭＯＳ）トランジスタ１３３７
１３３３ ＴＸＥＮＢ信号
１３３５ 接地（ＧＮＤ）電位
１３３６ ストレージディフュージョン（ＳＤ）キャパシタ
１３３８ ＳＤノード
１３３９ 第２伝送（ＴＸ２）信号
１４０１ ＴＸＲＭＤ信号
１４０３ ＰＰＤプリセット
１５００、２０００、２３００ 時間分解センサ
１５０１、２００１ ＳＰＡＤ回路
１５０３、２００３、２３０３ 論理回路
１５０５ ＰＰＤ回路
１６０７、２３１７ ＰタイプＭＯＳＦＥＴ
１６０９、２３１９ バッファ
１７０１ ラッチ
１７０３ ２入力論理和（ＯＲ）ゲート
１８０１、２１０１ ＰＰＤ
１８０３、１８０５、１８０７、１８０９、１８１１ 第１～第５トランジスタ
２００５ 第２のＰＰＤ回路
２１０３、２１０５、２１０７、２１１１、２１１３、２１１５、２１１７、２１１９ 第１～第９トランジスタ ２３０１ａ～２３０１ｎ １つ以上のＳＰＡＤ回路
２３０５ 第３のＰＰＤ回路
２３５１、２３５３、２３５５、２３５７、２３５９、２３６１、２３６３、２３６５、２３６７、２３６９、２３７１、２３７３、２３７５ 第１～第１３トランジスタ
１７ イメージングモジュール
１９ プロセッサ（モジュール）
２０ メモリ（モジュール）、システムメモリ
２２ プロジェクターモジュール（光源モジュール）
２４ イメージセンサユニット
２６ （３Ｄ）オブジェクト
２８ 光パルス
３３ レーザー（光源）
３４ レーザーコントローラ
３５ 投影装置のレンズ
３７ 反射された光パルス
４２、１２０１ （２Ｄ）ピクセルアレイ
４３、６０１～６０４、６２１～６２４、７００、１０００、１２０２、１３００ ピクセル
４４ 収集装置のレンズ、
４６ ピクセル処理ユニット
６６ スキャニングライン（ＳＲ）
６８ スキャニングライン（ＳＲ＋１）
７０～７３ 光点
７５ 行
７７ ＲＳＴ電子
２７５ 周辺ストレージユニット
２７７ ディスプレイユニット
２７８ ネットワークインターフェース
２８０ 電源供給ユニット
５０１、６０６～６０９、６２５、６４２～６５０、１００２～１００５、１３０１Ａ～１３０１Ｎ ＳＰＡＤコア（部分）
５０２、６０５、１００１、１３１１ ＰＰＤコア（部分）
５０３ 多数のＳＰＡＤ
５０４ 第１制御回路
５０５ 入射光
５０６、１３１０、１３１８ ＳＰＡＤ出力 ５０７ 第２制御回路
５０８ ＰＰＤ
５１０、５４０、１２０６～１２０８ ピクセル（特定アナログ）出力（ＰＩＸＯＵＴ）信号
６００Ａ、６００Ｂ ピクセルアレイ構造 ６４１ ＰＤＲコア
７０１、１３０８ 電子シャッター信号
７０２、１３１９ 論理ユニット
７０３～７０７ 第１～第５（ＮＭＯＳ）トランジスタ
７０８、１３２５ 転送アクティブ（ＴＸＥＮ）信号
７０９、１３２６ ＲＳＴ信号
７１０、１３２７ 伝送電圧（ＶＴＸ）信号（振幅変調信号）
７１１、１３２８ ＴＸ信号
７１２、１３３１ フローティングディフュージョン（ＦＤ）ノード／ジャンクション
７１３、１３２９ ピクセル電圧（ＶＰＩＸ）信号
７１４、１３３０ 選択（ＳＥＬ）信号
８０１ ＰＰＤ内の電荷
８０２ ＦＤ内の電荷
９０１、１４０４ 遅延時間Ｔｄｌｙ
９０２、１４０５ ＴＯＦ区間（飛行時間）Ｔｔｏｆ
９０３、９０４、１４０７、１４０８ シャッターオン区間Ｔｓｈ
９０５ ＰＰＤプリセット
９０６、９０７、１４０９ フローティングディフュージョン（ＦＤ）リセット
９０８、１４０６ シャッターオフ区間 １００６～１００９ Ｆ（ｘ、ｙ）ブロック
１２００ イメージセンサユニット
１２０３ 行デコーダ／ドライバ（ユニット）
１２０４ 列デコーダ（ユニット）
１２０５ ピクセルの列ユニット（列ＣＤＳ及び列ＡＤＣ）
１２０９、１２１０、１２１１ ＲＳＴ，ＶＴＸ，ＶＰＩＸシャッター，ＴＸ２，ＳＥＬ信号 １２１２ 行アドレス／制御入力
１２１３ Ｐ１／Ｐ２値
１２１４ 列アドレス／制御入力
１３０２、１３１２、１６０３、２３１１ ＳＰＡＤ
１３０３ ＳＰＡＤ動作電圧（ＶＳＰＡＤ）（信号）
１３０４、１３１３、１６０１、２３１３ 抵抗（性素子）
１３０５、１３１５、１６０５、２３１５ キャパシタ
１３０６、１３１６ インバータ
１３０７、１３１７ （ＰＭＯＳ）トランジスタ
１３０９ 供給電圧（ＶＤＤ）（信号）
１３１０、１３１８ 出力
１３２０、１３２１、１３２２、１３２３、１３２４、１３３４、１３３７ 第１～第７（ＮＭＯＳ）トランジスタ１３３７
１３３３ ＴＸＥＮＢ信号
１３３５ 接地（ＧＮＤ）電位
１３３６ ストレージディフュージョン（ＳＤ）キャパシタ
１３３８ ＳＤノード
１３３９ 第２伝送（ＴＸ２）信号
１４０１ ＴＸＲＭＤ信号
１４０３ ＰＰＤプリセット
１５００、２０００、２３００ 時間分解センサ
１５０１、２００１ ＳＰＡＤ回路
１５０３、２００３、２３０３ 論理回路
１５０５ ＰＰＤ回路
１６０７、２３１７ ＰタイプＭＯＳＦＥＴ
１６０９、２３１９ バッファ
１７０１ ラッチ
１７０３ ２入力論理和（ＯＲ）ゲート
１８０１、２１０１ ＰＰＤ
１８０３、１８０５、１８０７、１８０９、１８１１ 第１～第５トランジスタ
２００５ 第２のＰＰＤ回路
２１０３、２１０５、２１０７、２１１１、２１１３、２１１５、２１１７、２１１９ 第１～第９トランジスタ ２３０１ａ～２３０１ｎ １つ以上のＳＰＡＤ回路
２３０５ 第３のＰＰＤ回路
２３５１、２３５３、２３５５、２３５７、２３５９、２３６１、２３６３、２３６５、２３６７、２３６９、２３７１、２３７３、２３７５ 第１～第１３トランジスタ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図6c】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26a】
【図26b】
【図26c】
【図26d】
【図27】
【図28】
【図29a】
【図29b】
【図29c】
【図30】