IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オキュラス ブイアール,エルエルシーの特許一覧

特許7292269拡張ダイナミックレンジを有するデジタルピクセル
<>
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図1A
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図1B
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図2
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図3
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図4
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図5
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図6A
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図6B
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図6C
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図7
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図8
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図9A
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図9B
  • 特許-拡張ダイナミックレンジを有するデジタルピクセル 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-08
(45)【発行日】2023-06-16
(54)【発明の名称】拡張ダイナミックレンジを有するデジタルピクセル
(51)【国際特許分類】
   H01L 31/10 20060101AFI20230609BHJP
   H01L 27/146 20060101ALI20230609BHJP
   H04N 25/79 20230101ALI20230609BHJP
【FI】
H01L31/10 A
H01L31/10 G
H01L27/146 D
H01L27/146 A
H04N25/79
【請求項の数】 11
(21)【出願番号】P 2020520431
(86)(22)【出願日】2018-06-25
(65)【公表番号】
(43)【公表日】2020-08-27
(86)【国際出願番号】 US2018039352
(87)【国際公開番号】W WO2019005697
(87)【国際公開日】2019-01-03
【審査請求日】2021-04-01
(31)【優先権主張番号】62/525,045
(32)【優先日】2017-06-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/719,345
(32)【優先日】2017-09-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ, リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】META PLATFORMS TECHNOLOGIES, LLC
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人World IP
(72)【発明者】
【氏名】リュウ, シンチャオ
【審査官】原 俊文
(56)【参考文献】
【文献】特開2015-065524(JP,A)
【文献】国際公開第2016/194653(WO,A1)
【文献】国際公開第2006/129762(WO,A1)
【文献】特開2014-107596(JP,A)
【文献】特開2015-126043(JP,A)
【文献】特開2014-236183(JP,A)
【文献】特開2012-054876(JP,A)
【文献】米国特許出願公開第2012/0205520(US,A1)
【文献】米国特許出願公開第2012/0133807(US,A1)
【文献】国際公開第2015/182390(WO,A1)
【文献】特開2015-211259(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H01L 31/00-31/0392
H01L 31/08-31/119
H01L 27/146
H04N 5/30-5/33
H04N 25/70-25/79
(57)【特許請求の範囲】
【請求項1】
フォトダイオードと、前記フォトダイオードによって生成された電荷をアナログ信号に変換するように構成された1つまたは複数のトランジスタデバイスとを含む第1の半導体基板であって、前記フォトダイオードが前記第1の半導体基板内の第1の領域を占有する、第1の半導体基板と、
前記アナログ信号を1つまたは複数のデジタル信号に変換するように構成された1つまたは複数のトランジスタデバイスを含む第2の半導体基板であって、前記第2の半導体基板の前記1つまたは複数のトランジスタデバイスが前記第2の半導体基板内の第2の領域を占有する、第2の半導体基板と
を備えるピクセルセルであって、
前記第1の半導体基板が、軸に沿って前記第2の半導体基板と積層構造を形成し、
前記第1の領域および前記第2の領域が、前記軸に沿って少なくとも部分的に重なり合
前記第1の半導体基板は、第1の表面と第2の表面とを含み、
前記第1の半導体基板が、前記第2の表面上に配置された1つまたは複数の第1の金属相互接続を含み、
前記第2の半導体基板が、前記第2の表面に面する第3の表面を含み、
前記第2の半導体基板が、前記第3の表面上に配置された1つまたは複数の第2の金属相互接続を含み、
前記ピクセルセルが、前記1つまたは複数の第1の金属相互接続と前記1つまたは複数の第2の金属相互接続との間に電気接続を提供するために、1つまたは複数の第3の金属相互接続をさらに含む、
ピクセルセル。
【請求項2】
前記第1の表面が、光の光子を受け取るように構成された、請求項に記載のピクセルセル。
【請求項3】
前記第1の半導体基板が、前記第2の半導体基板とは異なるドーピングプロファイルを含む、請求項1に記載のピクセルセル。
【請求項4】
前記第1の半導体基板が、前記第1の半導体基板の前記第1の表面と前記第2の表面との間に電界を導入するためのドーピング勾配を含む、請求項に記載のピクセルセル。
【請求項5】
前記第1の半導体基板が、前記第2の半導体基板とは異なる厚さを有する、請求項1に記載のピクセルセル。
【請求項6】
前記第1の半導体基板の厚さが、所定の周波数に関連する光子の目標量子効率に基づいて構成された、請求項に記載のピクセルセル。
【請求項7】
前記第1の半導体基板の前記1つまたは複数のトランジスタデバイスが、前記フォトダイオードに結合されたソース端子と、キャパシタとして構成されたドレイン端子と、前記フォトダイオードによって生成された電子の前記キャパシタへの流れを制御するように動作可能なゲート端子とを有する第1のトランジスタを備え、
前記第2の半導体基板の前記1つまたは複数のトランジスタデバイスが、前記第1のトランジスタの前記ドレイン端子におけるアナログ電圧に基づいて前記1つまたは複数のデジタル信号を生成するように構成されたデジタル-アナログ変換器を備える、
請求項1に記載のピクセルセル。
【請求項8】
前記デジタル-アナログ変換器が、カウンタと、メモリと、電圧比較器とを備え、
前記メモリが、前記カウンタによって出力された1つまたは複数のカウント値を記憶するように構成され、
前記電圧比較器が、前記1つまたは複数のデジタル信号を生成するために、前記第1のトランジスタの前記ドレイン端子における前記アナログ電圧に基づいて前記メモリにおける前記1つまたは複数のカウント値の前記記憶を制御するように構成された、
請求項に記載のピクセルセル。
【請求項9】
前記ゲート端子が、前記フォトダイオードにおいて貯蔵された電荷の量が閾値を超えると、電子が前記フォトダイオードから前記キャパシタに流れることを可能にするように制御される、請求項に記載のピクセルセル。
【請求項10】
前記第1の半導体基板の前記1つまたは複数のトランジスタデバイスが、リセットモード中に、前記キャパシタにおいて貯蔵された電荷を除去するように構成された第2のトランジスタを備える、請求項に記載のピクセルセル。
【請求項11】
前記第1の半導体基板の前記1つまたは複数のトランジスタデバイスが、リセットモード中に、前記キャパシタおよび前記フォトダイオードにおいて貯蔵された電荷を除去するように構成された第2のトランジスタを備える、請求項に記載のピクセルセル。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して画像センサに関し、より具体的には、画像生成のための光強度を決定するためのインターフェース回路を含むピクセルセル構造に関する。
【背景技術】
【0002】
典型的な画像センサは、光子を電荷(例えば、電子または正孔)に変換することによって入射光を感知するフォトダイオードを含む。画像センサは、露光期間中にフォトダイオードによって生成された電荷を収集するキャパシタとして構成されたフローティングノードをさらに含む。収集された電荷は、キャパシタにおいて電圧を発生させることができる。電圧は、バッファリングされ、アナログ-デジタル変換器(ADC)に供給され得、ADCは、電圧を入射光の強度を表すデジタル値に変換することができる。従来、キャパシタ、バッファ、およびADCは、配線と関連する寄生容量とを減少させるために、同じ半導体基板上のフォトダイオードと統合され得、ADCは、フォトダイオードと同じ側に配置される。
【0003】
特定の期間内にフローティングノードにおいて貯蔵された電荷の数を反映するADCによって生成されたデジタル値は、入射光の強度と相関し得る。しかしながら、相関の程度は、様々な要因によって影響を受ける可能性がある。第1に、フォトダイオードによって生成される電荷のレートは、フォトダイオードが飽和限界に達するまで、入射光の強度に直接関係することができ、飽和限界を超えると、生成される電荷のレートは、停滞するか、または、少なくとも光強度に対して線形に増加しない場合がある。さらに、フローティングノードにおいて収集された電荷は、入射光の強度に関係しないノイズ電荷も含む。ノイズ電荷の1つの原因は、暗電流である可能性があり、暗電流は、結晶学的欠陥のためにフォトダイオードのp-n接合およびキャパシタに接続された他の半導体デバイスのp-n接合において生成される漏洩電流である可能性がある。暗電流は、キャパシタに流れ込み、入射光の強度と相関しない電荷を追加する可能性がある。ノイズ電荷の別の原因は、他の回路との容量結合によるものである可能性がある。ノイズ電荷は、測定可能な光強度の下限を決定することができ、飽和限界は、画像センサの測定可能な光強度の上限を決定し得る。上限と下限との間の比率は、ダイナミックレンジを定義し、ダイナミックレンジは、画像センサに関する動作光強度の範囲を設定し得る。
【0004】
画像は、画像センサのアレイによって提供される強度データに基づいて生成され得、各画像センサは、画像のピクセルに対応するピクセルセルを形成する。ピクセルセルのアレイは、行および列に配置され得、各ピクセルセルは、画像内の特定の場所に関連付けられたピクセルに関する強度を表す電圧を生成する。アレイ内に含まれるいくつかのピクセルは、生成される画像の解像度を決定することができる。電圧は、ADCによってデジタル強度データに変換され得、各ピクセルのデジタル強度データに基づいて画像が再構築され得る。
【0005】
ADCのサイズおよび制限された利用可能なエリアのために、専用のADCをピクセルアレイの各ピクセルセルと同じ側に置くことは不可能な場合がある。結果として、ピクセルセルのうちのいくつかは、デジタル強度データを生成するためにADCにアクセスする際に交替でやらなければならない場合がある。例えば、1行内の各ピクセルセルによって生成された電圧を同時に処理するために、ADCのセットが提供される。しかし、ピクセルセルの隣接する行は、ADCのセットにアクセスする際に交替でやらなければならない場合がある。一例において、画像を生成するために、ピクセルアレイは、各ピクセル行が強度データを順次に生成するように入射光に露光されるローリングシャッタ方式において動作され得る。例えば、画像センサの1ピクセル行が、露光期間中に入射光に露光され得る。行内の各ピクセルセルは、露光期間中にフォトダイオードによって生成された電荷に基づいて電圧を生成し、電圧をADCに転送することができる。ADCは、そのピクセル行によって受け取られた入射光の強度を表すデジタルデータのセットを生成することができる。1ピクセル行に関してデジタルデータのセットが生成された後、すべてのピクセル行が入射光に露光され、出力強度データを有するまで、デジタル強度データの別のセットを生成するために後続の露光期間において次のピクセル行が入射光に露光され得る。さらに別の例において、ピクセルの異なる行の露光時間は、いくらかの重複を有することができるが、ピクセルの各行は、依然として、フォトダイオードから生成された電圧をデジタルデータに変換する際に交替でやる必要がある。各ピクセル行のデジタル強度に基づいて画像が生成され得る。
【0006】
画像センサは、多くの異なる用途において見いだされ得る。例として、画像センサは、デジタル撮像を提供するデジタル撮像デバイス(例えば、デジタルカメラ、スマートフォンなど)内に含まれる。別の例として、画像センサは、ウェアラブル仮想現実(VR)システムならびに/または拡張現実(AR)および/もしくは複合現実(MR)システムにおけるニアアイディスプレイの表示コンテンツを制御するまたは影響を与えるなど、デバイスの動作を制御するまたは影響を与える入力デバイスとして構成され得る。例えば、画像センサは、ユーザが位置する物理的環境の物理的画像データを生成するために使用され得る。物理的画像データは、例えば、物理的環境内のユーザの位置、ユーザの向き、および/またはユーザの移動経路を追跡する同時位置推定およびマッピング(SLAM)アルゴリズムを動作する位置追跡システムに提供され得る。画像センサは、物理的環境内のユーザとオブジェクトとの間の距離を測定するためのステレオ深度情報を含む物理的画像データを生成するためにも使用され得る。画像センサは、近赤外線(NIR)センサとしても構成され得る。照明器が、NIR光のパターンをユーザの眼球に投影し得る。眼球の内部構造(例えば、瞳孔)は、NIR光から反射パターンを生成し得る。画像センサは、反射パターンの画像をキャプチャし、ユーザの注視点を決定するためにユーザの眼球の動きを追跡するシステムに画像を提供することができる。これらの物理的画像データに基づいて、VR/AR/MRシステムは、インタラクティブ体験をユーザに提供するために、ニアアイディスプレイを介してユーザに表示するための仮想画像データを生成および更新し得る。例えば、VR/AR/MRシステムは、ユーザの注視方向(オブジェクトにおけるユーザの関心を合図し得る)、ユーザの位置などに基づいて、仮想画像データを更新し得る。
【0007】
上記で論じたように、従来、ADC(および他の支援回路)は、配線と関連する寄生容量とを減少させるために、フォトダイオードと同じ半導体基板上にあるように配置され得る。そのような手法は、ウェアラブルVR/AR/MRシステムではうまく機能しない場合がある。第1に、ユーザのより正確な位置/移動追跡のために、物理的環境の異なる視野を提供するために、VR/AR/MRシステムの異なる場所において複数の画像センサが含まれる場合がある。ウェアラブルVR/AR/MRシステムの限られたフォームファクタにより、画像センサの各々は、非常に小さいエリアを占める場合がある。ADCをフォトダイオードと同じ側に置くことによって、フォトダイオードに利用可能なエリアは、減少する場合がある。より小さいフォトダイオードエリアは、画像センサの全体的な光感度を低下させ、これは、低光環境用途にとって重大である可能性がある。より小さいフォトダイオードは、フォトダイオードにおいて収集され得る光子の量も制限する。結果として、低光強度の下で、フォトダイオードにおいて収集された光子は、ノイズ電荷によってマスクされる可能性があり、これは、測定可能な光強度の範囲の縮小、ならびに、画像センサのダイナミックレンジの縮小につながる可能性がある。さらに、ADC回路は、典型的には、センサ基板エリア全体の大きい部分を占めるので、フォームファクタの制約により、より少ないピクセルセルが画像センサの各々に含まれる可能性があり、これは、利用可能な解像度を低下させる。さらに、複数のピクセル(例えば、それらの列全体)がADCを共有するセンサアーキテクチャにおいて、画像を生成するための処理時間は、増加する。増加した処理時間はまた、画像に基づく位置/眼球追跡に遅延を追加する。
【0008】
一方、ウェアラブルVR/AR/MRシステムは、非常に広範囲の光強度を伴う環境において動作し得る。例えば、ウェアラブルVR/AR/MRシステムは、屋内環境もしくは屋外環境において、および/または、一日の異なる時間において動作することが可能である場合があり、ウェアラブルVR/AR/MRシステムの動作環境の光強度は、大幅に変化し得る。さらに、ウェアラブルVR/AR/MRシステムは、前述のNIR眼球追跡システムも含む場合があり、眼球に損傷を与えることを防ぐために、非常に低い強度の光をユーザの眼球に投影することを必要とする場合がある。結果として、ウェアラブルVR/AR/MRシステムの画像センサは、異なる動作環境に関連する非常に広い範囲の光強度にわたって適切に動作する(例えば、入射光の強度と相関する出力を生成する)ことを可能にするために、広いダイナミックレンジを有することを必要とする場合がある。ウェアラブルVR/AR/MRシステムの画像センサは、ユーザの位置、向き、注視点などの追跡を可能にするために、十分な高速において画像を生成することも必要とする場合がある。比較的制限されたダイナミックレンジを有し、比較的低速において画像を生成する画像センサは、そのようなウェアラブルVR/AR/MRシステムには適さない場合がある。
【0009】
さらに、デバイスが共通の半導体基板を共有する場合、光感知のための半導体デバイス(例えば、フォトダイオード、電荷貯蔵用のフローティングノードを提供するトランジスタデバイスなど)とADCのための半導体デバイスとを最適化することは、典型的には困難である。これは、光感知用の半導体デバイスおよびADCのための半導体デバイスが典型的には異なる性能目標を有し、これが共通半導体基板の競合する構成につながる可能性があるためである。例えば、光感知を担当する半導体デバイスにおける暗電流を低減することが望ましい。上記で論じたように、暗電流は、これらの半導体デバイスのp-n接合における漏れ電流として生成される。漏れ電流を低減する1つの方法は、電荷キャリアの移動度を低減するために半導体基板のドーピングを変更することである。しかしながら、半導体デバイスの帯域幅が減少し、それがADCのスループットを低下させる場合があるので、電荷キャリアの移動度を低減することは、ADCの半導体デバイスに望ましくない場合がある。さらに、最適化された光感知用の半導体デバイスは、ADC動作についてより高い電力消費をもたらす場合もあり、これは、ウェアラブルVR/AR/MRシステムに関する重大なパフォーマンス側面である可能性がある。最低の電力消費でより高速なデジタル機能動作のために、ADCおよび他のセンサ論理機能ブロックについて最先端の半導体プロセス技術ノードを使用することが有利であるが、そのようなプロセス技術ノードは、光感知に最適化されない。結果として、従来の手法におけるように、光感知デバイスおよびADCデバイスが同じ半導体基板を共有する場合、良好な光感知能力と、高い処理速度と、低電力消費とを提供する画像センサを組み立てるためにデバイスの両方のセットを最適化することが非常に困難になる。
【0010】
したがって、解像度と、低い光感度と、処理速度とを改善するためにフォトダイオードおよびADCのためのより大きい利用可能なエリアと、拡張されたダイナミックレンジとを画像センサに提供する必要がある。また、パフォーマンスの改善と電力削減の両方のために、光感知とADCデバイスとを独立して最適化する必要がある。
【発明の概要】
【0011】
本開示は、画像センサに関する。より具体的には、限定はしないが、本開示は、ピクセルセルを形成するためのスタック構造を使用することに関する。本開示は、2つの異なる計測モードにおいて入射光の強度を測定するようにピクセルセルの回路を動作させることにも関する。
【0012】
一例において、ピクセルセルが提供される。ピクセルセルは、フォトダイオードと、フォトダイオードによって生成された電荷をアナログ信号に変換するように構成された1つまたは複数のトランジスタデバイスとを含む第1の半導体層であって、フォトダイオードが第1の半導体層内の第1の領域を占有する、第1の半導体層と、アナログ信号を1つまたは複数のデジタル信号に変換するように構成された1つまたは複数のトランジスタデバイスを含む第2の半導体層であって、第2の半導体層の1つまたは複数のトランジスタデバイスが第2の半導体層内の第2の領域を占有する、第2の半導体層とを備え得る。第1の半導体層は、軸に沿って第2の半導体層と積層構造を形成し得る。第1の領域および第2の領域は、軸に沿って少なくとも部分的に重なり合う。
【0013】
いくつかの態様において、第1の半導体層は、第1の表面と第2の表面とを含む。第1の半導体層は、第2の表面上に配置された1つまたは複数の第1の金属相互接続を含み得る。第2の半導体層は、第2の表面に面する第3の表面を含み得る。第2の半導体層は、第3の表面上に配置された1つまたは複数の第2の金属相互接続を含み得る。ピクセルセルは、1つまたは複数の第1の金属相互接続と1つまたは複数の第2の金属相互接続との間に電気接続を提供するために、1つまたは複数の第3の金属相互接続をさらに含み得る。第1の表面は、光の光子を受け取るように構成される。
【0014】
いくつかの態様において、第1の半導体層は、第2の半導体層とは異なるドーピングプロファイルを含む。第1の半導体層は、第1の半導体層の第1の表面と第2の表面との間に電界を導入するドーピング勾配を含み得る。第1の半導体層は、第2の半導体層とは異なる厚さも有し得る。第1の半導体層の厚さは、所定の周波数に関連する光子の目標量子効率に基づいて構成され得る。
【0015】
いくつかの態様において、第1の半導体層の1つまたは複数のトランジスタデバイスは、フォトダイオードに結合されたソース端子と、キャパシタとして構成されたドレイン端子と、フォトダイオードによって生成された電子のキャパシタへの流れを制御するように動作可能なゲート端子とを有する第1のトランジスタを備える。第2の半導体層の1つまたは複数のトランジスタデバイスは、第1のトランジスタのドレイン端子におけるアナログ電圧に基づいて1つまたは複数のデジタル信号を生成するように構成されたデジタル-アナログ変換器を備え得る。デジタル-アナログ変換器は、カウンタと、メモリと、電圧比較器とを備え得る。メモリは、カウンタによって出力された1つまたは複数のカウント値を記憶するように構成される。電圧比較器は、1つまたは複数のデジタル信号を生成するために、第1のトランジスタのドレイン端子におけるアナログ電圧に基づいてメモリにおける1つまたは複数のカウント値の記憶を制御するように構成され得る。ゲート端子は、フォトダイオードにおいて貯蔵された電荷の量が閾値を超えると、電子がフォトダイオードからキャパシタに流れることを可能にするように制御され得る。第1の半導体層の1つまたは複数のトランジスタデバイスは、リセットモード中に、キャパシタにおいて貯蔵された電荷を除去するように構成された第2のトランジスタを備え得る。第1の半導体層の1つまたは複数のトランジスタデバイスは、リセットモード中に、キャパシタおよびフォトダイオードにおいて貯蔵された電荷を除去するように構成された第2のトランジスタを備え得る。
【0016】
別の例において、ピクセルセルが提供される。ピクセルセルは、フォトダイオードと、フォトダイオードによって生成された電荷を貯蔵するように構成されたキャパシタと、フォトダイオードに入射する光の強度を表すデータを生成するために第1の測定モードおよび第2の測定モードのうちの少なくとも1つを実行するように構成された処理回路とを備え得る。第1の測定モードにおいて、処理回路は、キャパシタがフォトダイオードに電気的に結合されたときに、キャパシタにおいて貯蔵された電荷の量を測定するように構成される。第2の測定モードにおいて、処理回路は、キャパシタがフォトダイオードから電気的に分離されたときに、キャパシタにおいて貯蔵された電荷の量を測定するように構成される。
【0017】
いくつかの態様において、処理回路は、可変閾値生成器と、比較器と、カウンタとを備え得る。第1の測定モードにおいて、可変閾値生成器は、固定閾値電圧を生成するように構成され得る。比較器は、判定出力を生成するために、固定閾値電圧を、キャパシタにおいて貯蔵された電荷の量を表す電圧と比較するように構成され得る。カウンタは、判定出力に基づいてカウント値のセットを生成するように構成され得る。判定出力における変化に対応するカウンタによって生成されたカウント値のセットのうちの1つまたは複数は、フォトダイオードに入射する光の強度を表し得る。フォトダイオードに入射する光の強度が増加すると、カウント値のセットのうちの1つまたは複数は、減少する。固定閾値電圧は、フォトダイオードの飽和光強度に対応する。
【0018】
いくつかの態様において、第2の測定モードにおいて、可変閾値生成器は、カウンタによって生成されたカウント値のセットに基づいてランピング電圧を生成するように構成され得る。比較器は、判定出力を生成するために、ランピング電圧を、キャパシタにおいて貯蔵された電荷の量を表す電圧と比較するように構成され得る。カウンタは、判定出力に基づいてカウント値のセットを生成するように構成され得る。判定出力における変化に対応するカウンタによって生成されたカウント値のセットのうちの1つまたは複数は、フォトダイオードに入射する光の強度を表し得る。フォトダイオードに入射する光の強度が増加すると、カウント値のセットのうちの1つまたは複数は、増加する。
【0019】
いくつかの態様において、処理回路は、フォトダイオードがフォトダイオードと電気的に結合されたときにキャパシタにおいて貯蔵された電荷の量が閾値を超えるという、第1の測定モードからの決定に基づいて、第2の測定モードをスキップするように構成される。
【0020】
例示的な実施形態について、以下の図を参照して説明する。
【図面の簡単な説明】
【0021】
図1A】ニアアイディスプレイの実施形態の図である。
図1B】ニアアイディスプレイの実施形態の図である。
図2】ニアアイディスプレイの断面の実施形態の図である。
図3】単一の光源アセンブリを有する導波路ディスプレイの実施形態の等角図である。
図4】導波路ディスプレイの実施形態の断面図である。
図5】ニアアイディスプレイを含むシステムの実施形態のブロック図である。
図6A】ピクセルセルの実施形態のブロック図である。
図6B】ピクセルセルの実施形態のブロック図である。
図6C】ピクセルセルの実施形態のブロック図である。
図7】ピクセルセルの内部構成要素の例を示すブロック図である。
図8】光強度を決定するための例示的な方法を示す図である。
図9A】光強度を決定するためのピクセルセルの動作の例を示す図である。
図9B】光強度を決定するためのピクセルセルの動作の例を示す図である。
図10】光強度を決定するためのプロセスのフローチャートの実施形態の図である。
【発明を実施するための形態】
【0022】
図は、例示のみの目的のための本開示の実施形態を示す。当業者は、以下の説明から、図示された構造および方法の代替実施形態が、本開示の原理またはうたわれる利点から逸脱することなく用いられ得ることを容易に認識するであろう。
【0023】
添付の図において、同様の構成要素および/または特徴は、同じ参照ラベルを有する場合がある。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第2のラベルを参照ラベルの後に続けることによって区別され得る。第1の参照ラベルのみが明細書において使用されている場合、説明は、第2の参照ラベルに関係なく同じ第1の参照ラベルを有する類似の構成要素のいずれかに適用可能である。
【0024】
以下の説明において、説明の目的のために、特定の発明の実施形態の完全な理解を提供するために、特定の詳細が述べられている。しかしながら、これらの特定の詳細なしで様々な実施形態が実施され得ることは明らかであろう。図および説明は、限定的であることを意図していない。
【0025】
本開示は、全体的には画像センサに関する。より具体的には、限定することなく、本開示は、積層構造を有するピクセルセルに関し、ピクセルセルのフォトダイオードは、フォトダイオードの出力をデジタル信号に変換するための回路の少なくとも一部の上に積層される。積層構造を提供することによって、ピクセルセルのフットプリントは、低減され得、これは、より多くのピクセルセルが画像センサ内に含まれることを可能にし、これは、画像センサの解像度を改善することができる。さらに、積層構造は、各ピクセルセルがフォトダイオードの出力をデジタル化するための専用回路を有することも可能にし、これは、ピクセルセルがデジタル出力を生成するレートを高めることができる。これらのすべては、ピクセルセルのデジタル出力に依存する用途(例えば、VR/AR/MRシステム)の性能ならびにユーザ体験を改善することができる。
【0026】
本開示は、2つの測定モードの下で光強度測定を実行するようにピクセルセルを動作させることにも関する。ピクセルセルは、フォトダイオードと、フォトダイオードによって生成された電荷を貯蔵するように構成されたキャパシタとを含み得る。第1の測定モードにおいて、キャパシタがフォトダイオードと電気的に結合されているとき、ピクセルセルは、キャパシタ内に貯蔵された電荷に基づいて光強度を測定するように動作され得る。第2の測定モードにおいて、キャパシタがフォトダイオードから電気的に分離されているとき、ピクセルセルは、キャパシタ内に貯蔵された電荷を測定するように動作され得る。2つの異なる測定モードにより、強度がフォトダイオードの飽和限界を超えるときに、ピクセルセルは、入射光の強度を追跡するデジタル出力を生成することが可能である場合がある。これは、ピクセルセルのダイナミックレンジを拡張することができ、ピクセルセルのデジタル出力に依存するアプリケーション(例えば、VR/AR/MRシステム)のパフォーマンス、ならびにユーザ体験を改善することもできる。
【0027】
本発明の実施形態は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示前になんらかの方法で調整された現実の形式であり、例えば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、またはそれらのなんらかの組合せおよび/もしくは派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた(例えば、現実世界の)コンテンツと組合せた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、音声、触覚フィードバック、または、それらのなんらかの組合せを含み得、それらのいずれかは、単一のチャネルもしくは複数のチャネル(観察者に立体効果をもたらすステレオビデオなど)において提示され得る。加えて、いくつかの実施形態において、人工現実は、例えば、人工現実におけるコンテンツを作成するために使用される、および/または人工現実において他の方法で使用される(例えば、人工現実における活動を実行する)用途、製品、アクセサリ、サービス、またはそれらのなんらかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続された頭部装着型ディスプレイ(FDVID)、独立型FDVID、モバイルデバイスもしくはコンピューティングシステム、または、1人もしくは複数の観察者に人工現実コンテンツを提供することができる任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
【0028】
図1Aは、ニアアイディスプレイ100の実施形態の図である。ニアアイディスプレイ100は、メディアをユーザに提示する。ニアアイディスプレイ100によって提示されるメディアの例は、1つまたは複数の画像、ビデオ、および/または音声を含む。いくつかの実施形態において、音声は、ニアアイディスプレイ100、コンソール、またはその両方から音声情報を受け取り、音声情報に基づいて音声データを提示する外部デバイス(例えば、スピーカおよび/またはヘッドフォン)を介して提示される。ニアアイディスプレイ100は、一般に、仮想現実(VR)ディスプレイとして動作するように構成される。いくつかの実施形態において、ニアアイディスプレイ100は、拡張現実(AR)ディスプレイおよび/または複合現実(MR)ディスプレイとして動作するように修正される。
【0029】
ニアアイディスプレイ100は、フレーム105とディスプレイ110とを含む。フレーム105は、1つまたは複数の光学要素に結合される。ディスプレイ110は、ユーザがニアアイディスプレイ100によって提示されるコンテンツを見るように構成される。いくつかの実施形態において、ディスプレイ110は、1つまたは複数の画像からの光をユーザの目に向けるための導波路ディスプレイアセンブリを備える。
【0030】
ニアアイディスプレイ100は、画像センサ120a、120b、120c、および120dをさらに含む。画像センサ120a、120b、120c、および120dの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルアレイを含み得る。例えば、センサ120aおよび120bは、Z軸に沿った方向Aに向かう2つの視野を表す画像データを提供するように構成され得、センサ120cは、X軸に沿った方向Bに向かう視野を表す画像データを提供するように構成され得、センサ120dは、X軸に沿った方向Cに向かう視野を表す画像データを提供するように構成され得る。
【0031】
いくつかの実施形態において、センサ120a~120dは、ニアアイディスプレイ100を着用しているユーザにインタラクティブVR/AR/MR体験を提供するために、ニアアイディスプレイ100の表示コンテンツを制御または影響を与える入力デバイスとして構成され得る。例えば、センサ120a~120dは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境内のユーザの位置および/または移動経路を追跡するために、位置追跡システムに提供され得る。次いで、システムは、インタラクティブ体験を提供するために、例えば、ユーザの位置および向きに基づいて、ディスプレイ110に提供される画像データを更新することができる。いくつかの実施形態において、位置追跡システムは、ユーザが物理的環境内を移動するときに、物理的環境内およびユーザの視野内のオブジェクトのセットを追跡するために、SLAMアルゴリズムを動作させ得る。位置追跡システムは、オブジェクトのセットに基づいて物理的環境のマップを構築および更新し、マップ内のユーザの位置を追跡することができる。複数の視野に対応する画像データを提供することによって、センサ120a~120dは、位置追跡システムに物理的環境のより全体的なビューを提供することができ、これは、マップの構築および更新内により多くのオブジェクトが含まれることにつながり得る。そのような配置により、物理的環境内のユーザの位置を追跡することの精度および堅牢性が改善され得る。
【0032】
いくつかの実施形態において、ニアアイディスプレイ100は、光を物理的環境に投影するために1つまたは複数のアクティブ照明器130をさらに含み得る。投影された光は、異なる周波数スペクトル(例えば、可視光、赤外線、紫外線など)に関連付けられ得、様々な目的を果たすことができる。例えば、照明器130は、例えば、ユーザの位置追跡を可能にするために、暗い環境内の異なるオブジェクトの画像をキャプチャする際にセンサ120a~120dを支援するために、暗い環境内で(または、低い強度の赤外線、紫外線などを有する環境内で)光を投影し得る。照明器130は、マップ構築/更新のためにオブジェクトを識別する際に位置追跡システムを支援するために、環境内のオブジェクトに特定のマーカを投影し得る。
【0033】
いくつかの実施形態において、照明器130は、立体撮像も可能にし得る。例えば、センサ120aまたは120bの1つまたは複数は、可視光感知用の第1のピクセルアレイと、赤外(IR)光感知用の第2のピクセルアレイの両方を含むことができる。第1のピクセルアレイには、カラーフィルタ(例えば、ベイヤーフィルタ)が重ねられ得、第1のピクセルアレイの各ピクセルは、特定の色(例えば、赤色、緑色、または青色の1つ)に関連付けられた光の強度を測定するように構成される。第2のピクセルアレイ(IR光感知用)にも、IR光のみを通過させるフィルタが重ねられ得、第2のピクセルアレイの各ピクセルは、IR光の強度を測定するように構成される。ピクセルアレイは、オブジェクトのRGB画像およびIR画像を生成することができ、IR画像の各ピクセルは、RGB画像の各ピクセルにマッピングされる。照明器130は、IRマーカのセットをオブジェクト上に投影し得、その画像は、IRピクセルアレイによってキャプチャされ得る。画像内に示されたオブジェクトのIRマーカの分布に基づいて、システムは、IRピクセルアレイからのオブジェクトの異なる部分の距離を推定し、距離に基づいてオブジェクトの立体画像を生成することができる。オブジェクトの立体画像に基づいて、システムは、例えば、ユーザに対するオブジェクトの相対位置を決定し、インタラクティブ体験を提供するために、相対位置に基づいて、ディスプレイ100に提供される画像データを更新することができる。
【0034】
上記で論じたように、ニアアイディスプレイ100は、非常に広い範囲の光強度に関連する環境において動作され得る。例えば、ニアアイディスプレイ100は、屋内環境もしくは屋外環境において、および/または1日の異なる時間において動作され得る。ニアアイディスプレイ100は、アクティブ照明器130がオンにされていてもいなくても動作し得る。結果として、画像センサ120a~120dは、ニアアイディスプレイ100に関する異なる動作環境に関連する非常に広い範囲の光強度にわたって適切に動作する(例えば、入射光の強度と相関する出力を生成する)ことを可能にするために、広いダイナミックレンジを有することを必要とする場合がある。
【0035】
図1Bは、ニアアイディスプレイ100の別の実施形態の図である。図1Bは、ニアアイディスプレイ100を着用しているユーザの眼球135に面するニアアイディスプレイ100の側面を示す。図1Bに示すように、ニアアイディスプレイ100は、複数の照明器140a、140b、140c、140d、140e、および140fをさらに含み得る。ニアアイディスプレイ100は、複数の画像センサ150aおよび150bをさらに含む。照明140a、140b、および140cは、(図1Aの方向Aと反対である)方向Dに向けて特定の周波数範囲(例えば、NIR)の光を照射し得る。放射された光は、特定のパターンに関連付けられ得、ユーザの左眼球によって反射される可能性がある。センサ150aは、反射光を受け取り、反射パターンの画像を生成するピクセルアレイを含み得る。同様に、照明器140d、140e、および140fは、パターンを搬送するNIR光を放射し得る。NIR光は、ユーザの右眼球によって反射される可能性があり、センサ150bによって受け取られ得る。センサ150bは、反射パターンの画像を生成するピクセルアレイも含み得る。センサ150aおよび150bからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいてディスプレイ100に提供される画像データを更新することができる。
【0036】
上記で論じたように、ユーザの眼球を損傷することを防ぐために、照明器140a、140b、140c、140d、140e、および140fは、典型的には、非常に低い強度の光を出力するように構成される。画像センサ150aおよび150bが図1Aの画像センサ120a~120dと同じセンサデバイスを備える場合、画像センサ120a~120dは、入射光の強度が非常に低いときに入射光の強度と相関する出力を生成できる必要がある場合があり、これは、画像センサのダイナミックレンジ要件をさらに増大させる場合がある。
【0037】
さらに、画像センサ120a~120dは、眼球の動きを追跡するために、高速において出力を生成できることを必要とする場合がある。例えば、ユーザの眼球は、1つの眼球位置から別の眼球位置への素早いジャンプが存在する可能性がある非常に急速な動き(例えば、サッカード運動)を実行する可能性がある。ユーザの眼球の急速な動きを追跡するために、画像センサ120a~120dは、高速で眼球の画像を生成する必要がある。例えば、画像センサが画像フレームを生成するレート(フレームレート)は、少なくとも眼球の動きの速度に一致する必要がある。高いフレームレートは、画像フレームを生成する際に関与するピクセルセルのすべてに関する短い総露光時間、ならびに、センサ出力を画像生成のためデジタル値に変換する高い速度を必要とする。さらに、上記で論じたように、画像センサは、低光強度を有する環境において動作できることも必要とする。
【0038】
図2は、図1に示すニアアイディスプレイ100の断面200の実施形態である。ディスプレイ110は、少なくとも1つの導波路ディスプレイアセンブリ210を含む。射出瞳230は、ユーザがニアアイディスプレイ100を着用しているときに、ユーザの単一の眼球220がアイボックス領域内に配置される場所である。例示の目的のために、図2は、眼球220と単一の導波路ディスプレイアセンブリ210とに関連する断面200を示すが、第2の導波路ディスプレイがユーザの第2の眼球のために使用される。
【0039】
導波路ディスプレイアセンブリ210は、射出瞳230において位置するアイボックスと眼球220とに画像光を向けるように構成される。導波路ディスプレイアセンブリ210は、1つまたは複数の屈折率を有する1つまたは複数の材料(例えば、プラスチック、ガラスなど)から構成され得る。いくつかの実施形態において、ニアアイディスプレイ100は、導波路ディスプレイアセンブリ210と眼球220との間に1つまたは複数の光学要素を含む。
【0040】
いくつかの実施形態において、導波路ディスプレイアセンブリ210は、限定はしないが、積層導波路ディスプレイ、可変焦点導波路ディスプレイなどを含む、1つまたは複数の導波路ディスプレイのスタックを含む。積層導波路ディスプレイは、それぞれの単色光源が異なる色のものである導波路ディスプレイを積層することによって作成される多色ディスプレイ(例えば、赤-緑-青(RGB)ディスプレイ)である。堆積導波路ディスプレイは、複数の平面上に投影され得る多色ディスプレイ(例えば、多平面カラーディスプレイ)でもある。いくつかの構成において、堆積導波路ディスプレイは、複数の平面上に投影され得る単色ディスプレイ(例えば、多平面単色ディスプレイ)である。可変焦点導波路ディスプレイは、導波路ディスプレイから放射される画像光の焦点位置を調整することができるディスプレイである。代替実施形態において、導波路ディスプレイアセンブリ210は、堆積導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。
【0041】
図3は、導波路ディスプレイ300の実施形態の等角図を示す。いくつかの実施形態において、導波路ディスプレイ300は、ニアアイディスプレイ100の構成要素(例えば、導波路ディスプレイアセンブリ210)である。いくつかの実施形態において、導波路ディスプレイ300は、画像光を特定の場所に向けるなんらかの他のニアアイディスプレイまたは他のシステムの一部である。
【0042】
導波路ディスプレイ300は、光源アセンブリ310と、出力導波路320と、コントローラ330とを含む。例示の目的のために、図3は、単一の眼球220に関連する導波路ディスプレイ300を示すが、いくつかの実施形態において、導波路ディスプレイ300から分離した、または部分的に分離した別の導波路ディスプレイが、画像光をユーザの別の目に提供する。
【0043】
光源アセンブリ310は、画像光355を生成する。光源アセンブリ310は、画像光355を生成し、出力導波路320の第1の側面370-1上に位置する結合要素350に出力する。出力導波路320は、拡大された画像光340をユーザの眼球220に出力する光導波路である。出力導波路320は、第1の側面370-1上に位置する1つまたは複数の結合要素350において画像光355を受け取り、受け取った入力画像光355を方向付け要素360に導く。いくつかの実施形態において、結合要素350は、光源アセンブリ310からの画像光355を出力導波路320に結合する。結合要素350は、例えば、回折格子、ホログラフィック格子、1つもしくは複数のカスケード型反射器、1つもしくは複数のプリズム表面要素、および/またはホログラフィック反射器のアレイであり得る。
【0044】
方向付け要素360は、受け取られた入力355が分離要素365を介して出力導波路320から分離されるように、受け取られた入力画像光355を分離要素365に向け直す。方向付け要素360は、出力導波路320の第1の側面370-1の一部であるか、または出力導波路320の第1の側面370-1に取り付けられる。分離要素365は、方向付け要素360が分離要素365に対向するように、出力導波路320の第2の側面370-2の一部であるか、または出力導波路320の第2の側面370-2に取り付けられる。方向付け要素360および/または分離要素365は、例えば、回折格子、ホログラフィック格子、1つもしくは複数のカスケード型反射器、1つもしくは複数のプリズム表面要素、および/またはホログラフィック反射器のアレイであり得る。
【0045】
第2の側面370-2は、x次元およびy次元に沿った平面を表す。出力導波路320は、画像光355の内部全反射を促進する1つまたは複数の材料で構成され得る。出力導波路320は、例えば、シリコン、プラスチック、ガラス、および/またはポリマーで構成され得る。出力導波路320は、比較的小さいフォームファクタを有する。例えば、x次元に沿って約50mm幅、y次元に沿って30mm長、およびz次元に沿って0.5~1mm厚であり得る。
【0046】
コントローラ330は、光源アセンブリ310のスキャン動作を制御する。コントローラ330は、光源アセンブリ310に対するスキャン命令を決定する。いくつかの実施形態において、出力導波路320は、拡大された画像光340を大きい視野(FOV)でユーザの眼球220に出力する。例えば、拡大された画像光340は、60度以上および/または150度以下の対角FOV(xおよびyにおける)でユーザの眼球220に提供される。出力導波路320は、20mm以上および/もしくは50mm以下の長さ、ならびに/または10mm以上および/もしくは50mm以下の幅を有するアイボックスを提供するように構成される。
【0047】
さらに、コントローラ330は、画像センサ370によって提供される画像データに基づいて、光源アセンブリ310によって生成される画像光355も制御する。画像センサ370は、第1の側面370-1上に位置し得、例えば、(例えば、位置決定のために)ユーザの前面の物理的環境の画像データを生成するために図1Aの画像センサ120a~120dを含み得る。画像センサ370は、第2の側面370-2上に位置し得、(例えば、注視点決定のための)ユーザの眼球220の画像データを作成するために図1Bの画像センサ150aおよび150bを含み得る。画像センサ370は、導波路ディスプレイ300内に位置しないリモートコンソールとインターフェースし得る。画像センサ370は、画像データをリモートコンソールに提供し得、リモートコンソールは、例えば、ユーザの位置、ユーザの注視点などを決定し、ユーザに表示されるべき画像のコンテンツを決定し得る。リモートコンソールは、決定されたコンテンツに関連する命令をコントローラ330に送信することができる。命令に基づいて、コントローラ330は、光源アセンブリ310による画像光355の生成および出力を制御することができる。
【0048】
図4は、導波路ディスプレイ300の断面400の実施形態を示す。断面400は、光源アセンブリ310と、出力導波路320と、画像センサ370とを含む。図4の例において、画像センサ370は、ユーザの前面の物理的環境の画像を生成するために、第1の側面370-1上に位置するピクセルセル402のセットを含み得る。いくつかの実施形態において、ピクセルセル402のセットの露出を制御するために、ピクセルセル402のセットと物理的環境との間に挿入された機械的シャッタ404が存在し得る。いくつかの実施形態において、機械的シャッタ404は、以下で論じるように、電子シャッタゲートに置き換えられ得る。ピクセルセル402の各々は、画像の1つのピクセルに対応し得る。図4には示されていないが、ピクセルセル402の各々は、ピクセルセルによって感知されるべき光の周波数範囲を制御するために、フィルタも重ねられ得ることが理解される。
【0049】
リモートコンソールから命令を受信した後、機械的シャッタ404は、露光期間において開き、ピクセルセル402のセットを露光することができる。露光期間中、画像センサ370は、ピクセルセル402のセットに入射する光のサンプルを取得し、ピクセルセル402のセットによって検出された入射光のサンプルの強度分布に基づいて画像データを生成することができる。画像センサ370は、次いで、画像データをリモートコンソールに提供することができ、リモートコンソールは、表示コンテンツを決定し、表示コンテンツ情報をコントローラ330に提供する。コントローラ330は、次いで、表示コンテンツ情報に基づいて画像光355を決定することができる。
【0050】
光源アセンブリ310は、コントローラ330からの命令に従って画像光355を生成する。光源アセンブリ310は、光源410と光学系415とを含む。光源410は、コヒーレント光または部分的にコヒーレントな光を生成する光源である。光源410は、例えば、レーザダイオード、垂直キャビティ面発光レーザ、および/または発光ダイオードであり得る。
【0051】
光学系415は、光源410からの光を調節する1つまたは複数の光学構成要素を含む。光源410からの光を調節することは、例えば、コントローラ330からの命令に従って、拡大すること、コリメートすること、および/または方位を調節することを含み得る。1つまたは複数の光学構成要素は、1つまたは複数のレンズ、液体レンズ、鏡、開口、および/または格子を含み得る。いくつかの実施形態において、光学系415は、閾値のスキャン角度を有する光ビームのスキャンが光ビームを液体レンズの外側の領域にシフトさせる複数の電極を有する液体レンズを含む。光学系415(および光源アセンブリ310も)から放出される光は、画像光355と呼ばれる。
【0052】
出力導波路320は、画像光355を受け取る。結合要素350は、光源アセンブリ310からの画像光355を出力導波路320に結合する。結合要素350が回折格子である実施形態において、出力導波路320内で内部全反射が生じ、画像光355が出力導波路320内で分離要素365に向かって(例えば、内部全反射によって)内部的に伝播するように、回折格子のピッチが選択される。
【0053】
方向付け要素360は、出力導波路320から分離するために、画像光355を分離要素365の方に向け直す。方向付け要素360が回折格子である実施形態において、回折格子のピッチは、入射画像光355が分離要素365の表面に対して傾斜角において出力導波路320を出るように選択される。
【0054】
いくつかの実施形態において、方向付け要素360および/または分離要素365は、構造的に類似している。出力導波路320を出る拡大された画像光340は、1つまたは複数の次元に沿って拡大される(例えば、x次元に沿って延長され得る)。いくつかの実施形態において、導波路ディスプレイ300は、複数の光源アセンブリ310と複数の出力導波路320とを含む。光源アセンブリ310の各々は、原色(例えば、赤色、緑色、または青色)に対応する波長の特定の帯域の単色画像光を放出する。出力導波路320の各々は、多色化された拡大された画像光340を出力するために、分離距離とともに一緒に積層され得る。
【0055】
図5は、ニアアイディスプレイ100を含むシステム500の実施形態のブロック図である。システム500は、各々がコンソール510に結合された、ニアアイディスプレイ100と、撮像デバイス535と、入力/出力インターフェース120a~120dおよび150a~150bとを備える。
【0056】
ニアアイディスプレイ100は、メディアをユーザに提示するディスプレイである。ニアアイディスプレイ100によって提示されるメディアの例は、1つまたは複数の画像、ビデオ、および/または音声を含む。いくつかの実施形態において、ニアアイディスプレイ100および/またはコンソール510から音声情報を受信し、音声情報に基づいて音声データをユーザに提示する外部デバイス(例えば、スピーカおよび/またはヘッドフォン)を介して音声が提示される。いくつかの実施形態において、ニアアイディスプレイ100は、ARアイウェアグラスとしても機能し得る。いくつかの実施形態において、ニアアイディスプレイ100は、コンピュータ生成要素(例えば、画像、ビデオ、音など)を用いて、物理的な現実世界環境のビューを増強する。
【0057】
ニアアイディスプレイ100は、導波路ディスプレイアセンブリ210、1つもしくは複数の位置センサ525、および/または慣性測定ユニット(IMU)530を含む。導波路ディスプレイアセンブリ210は、光源アセンブリ310と、出力導波路320と、コントローラ330とを含む。
【0058】
IMU530は、位置センサ525のうちの1つまたは複数から受信した測定信号に基づいて、ニアアイディスプレイ100の初期位置に対するニアアイディスプレイ100の推定位置を示す高速較正データを生成する電子デバイスである。
【0059】
撮像デバイス535は、様々な用途のための画像データを生成し得る。例えば、撮像デバイス535は、コンソール510から受信した較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス535は、例えば、ユーザの位置追跡を実行するためにユーザが位置する物理的環境の画像データを生成するための図1Aの画像センサ120a~120dを含み得る。撮像デバイス535は、例えば、ユーザの関心対象を識別するためにユーザの注視点を決定するための画像データを生成するための図1Bの画像センサ150a~150bをさらに含み得る。
【0060】
入力/出力インターフェース540は、ユーザがアクション要求をコンソール510に送信することを可能にするデバイスである。アクション要求は、特定のアクションを実行する要求である。例えば、アクション要求は、アプリケーションを開始もしくは終了すること、またはアプリケーション内で特定のアクションを実行することであり得る。
【0061】
コンソール510は、撮像デバイス535、ニアアイディスプレイ100、および入力/出力インターフェース540のうちの1つまたは複数から受信した情報に従って、ユーザに提示するためのメディアをニアアイディスプレイ100に提供する。図5に示す例において、コンソール510は、アプリケーションストア545と、追跡モジュール550と、エンジン555とを含む。
【0062】
アプリケーションストア545は、コンソール510による実行のための1つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されると、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例は、ゲーミングアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションを含む。
【0063】
追跡モジュール550は、1つまたは複数の較正パラメータを使用してシステム500を較正し、ニアアイディスプレイ100の位置の決定における誤差を低減するために1つまたは複数の較正パラメータを調整し得る。
【0064】
追跡モジュール550は、撮像デバイス535からの低速較正情報を使用してニアアイディスプレイ100の動きを追跡する。追跡モジュール550は、高速較正情報からの位置情報を使用してニアアイディスプレイ100の基準点の位置も決定する。
【0065】
エンジン555は、システム500内でアプリケーションを実行し、追跡モジュール550からニアアイディスプレイ100の位置情報、加速度情報、速度情報、および/または予想される将来の位置を受信する。いくつかの実施形態において、エンジン555によって受信された情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリへの信号(例えば、表示命令)をもたらすために使用され得る。例えば、インタラクティブ体験を提供するために、エンジン555は、(例えば、追跡モジュール550によって提供される)ユーザの位置、(例えば、撮像デバイス535によって提供される画像データに基づく)ユーザの注視点(例えば、撮像デバイス535によって提供される画像データに基づく)オブジェクトとユーザとの間の距離に基づいて、ユーザに提示されるべきコンテンツを決定し得る。
【0066】
図6A図6Cは、ピクセルセル600の例を示す。ピクセルセル600は、ピクセルアレイの一部であり得、画像のピクセルに対応するデジタル強度データを生成することができる。例えば、ピクセルセル600は、図4のピクセルセル402の一部であり得る。図6Aは、ピクセルセル600の回路概略図を示し、図6Bは、ピクセルセル600のデバイス構造を示す。図6Aに示すように、ピクセルセル600は、フォトダイオード602と、第1のスイッチ604と、第2のスイッチ606と、第3のスイッチ607と、キャパシタ608と、バッファ609と、ピクセルADC610とを含み得る。いくつかの実施形態において、フォトダイオード602は、P-NダイオードまたはP-I-Nダイオードを含み得る。第1のスイッチ604、第2のスイッチ606、および第3のスイッチ607の各々は、トランジスタを含むことができる。トランジスタは、例えば、金属酸化物半導体電界効果トランジスタ(MOSFET)、バイポーラ接合トランジスタ(BJT)などを含み得る。キャパシタ608は、第1のスイッチ604のトランジスタのフローティング端子であり得る。フローティング端子は、例えば、電圧を確立するために電荷を貯蔵することができる寄生容量を有する(MOSFET用の)ドレイン端子、(BJT用の)コレクタ端子などであり得る。バッファ609は、キャパシタ608とADC610との間に電圧バッファを提供するように構成され得る。本開示の残りについて、第1のスイッチ604と、第2のスイッチ606と、第3のスイッチ607の両方がMOSFETトランジスタであり、バッファ609もソースフォロワとして構成されたMOSFETトランジスタを備えると仮定する。ピクセルADC610は、入射光の強度のデジタル表現を提供する任意の回路を含み得る。ピクセルADC610の例を以下に提供する。
【0067】
いくつかの実施形態において、第1のスイッチ604は、ピクセル600の露光期間を制御するために(図4の機械的シャッタ404の代わりに、またはそれと組み合わせて)電子シャッタゲートとして機能することができる。露光期間中、第1のスイッチ604は、露光イネーブル信号611によって無効化され(オフにされ)得、第2のスイッチ606は、蓄積イネーブル信号612によって有効化され(オンにされ)得る。露光期間中、フォトダイオード602は、光子を電荷に変換し、光電流Iphを生成することによって、入射光を感知することができる。フォトダイオード602が飽和していない場合、光電流Iphの量は、入射光の強度と相関することができる。電荷は、フォトダイオード602のカソードから流れ出て、第2のスイッチ606を介してキャパシタ608に流れ込むことができ、キャパシタ608においてアナログ電圧が発生され得る。バッファ609は、アナログ電圧を感知し、アナログ出力ノード614においてアナログ電圧の(しかしより大きい駆動強度を有する)複製を生成することができる。キャパシタ608において蓄積された電荷の量(または電荷の量における変化)は、光電流Iphの大きさに相関し、アナログ出力ノード614において発生されたアナログ電圧は、光電流Iphの大きさに相関する。以下で論じるように、露光期間中、アナログ出力ノード614におけるアナログ電圧は、ピクセルADC610によってデジタルデータ(例えば、論理1および0を備える)のセットに変換され得る。デジタルデータは、露光期間中の光強度を表すために、ピクセル出力バス616のセットによって、例えば、図5のコンソール510に送信され得る。
【0068】
露光期間が完了した後、オプションの静的測定期間が続く場合があり、この静的測定期間において、キャパシタ608において蓄積された電荷の量(または貯蔵された電荷の量における変化)が露光期間中に捕捉された光の強度に相関するように、第1のスイッチ604および第2のスイッチ606が、キャパシタ608において蓄積された電荷を保存するように制御され得る。例えば、フォトダイオード602によって生成された任意の光電流をキャパシタ608から離れてフォトダイオード電流シンク617に導くために、露光イネーブル信号611によって第1のスイッチ604が有効化され(オンにされ)得る。光電流がキャパシタ608を充電/放電することを防止するために、第2のスイッチ606はまた、蓄積イネーブル信号612によって無効化され(オフにされ)得る。以下で論じるように、静的測定期間中、(キャパシタ608において貯蔵された総電荷を反映する)アナログ出力ノード614におけるアナログ電圧はまた、露光期間中の光強度を表すために、デジタルデータの別のセットに変換され得る。
【0069】
露光期間の終了(およびオプションで静的測定期間)の終了後、キャパシタ608内に貯蔵された電荷を除去するために、ピクセルセル600はリセット期間において動作され得る。リセット期間中、第1のスイッチ604は、キャパシタ608から光電流を遠ざけるために有効化されたままであり得、第2のスイッチ606も、光電流がキャパシタ608に入るのを防止するために無効化されたままであり得る。さらに、第3のスイッチ607は、キャパシタ608において貯蔵された電荷を除去するために、キャパシタ608を電荷シンク620に接続するために、リセット信号618によって有効化され得る。光電流が負電荷を備える場合、フォトダイオード電流シンク617と電荷シンク620の両方が、負電荷を引き付けるための正電圧を有する電圧源であり得る。光電流が正電荷を備える場合、フォトダイオード電流シンク617と電荷シンク620の両方が、正電荷を引き付けるための接地または負電圧を有する電圧源であり得る。リセット期間が終了した後、光強度の新しいサンプルを取得するために、ピクセルセル600が再び露光され得る。
【0070】
いくつかの実施形態において、ピクセルセル600の露光が機械的シャッタ(例えば、機械的シャッタ404)によって制御される場合、第1のスイッチ604が省略され得るが、第3のスイッチ607(および電荷シンク620)は、依然としてリセットスイッチとして機能することができる。そのような場合、リセット期間中、入射光からピクセルセル600をブロックする機械的シャッタにより、フォトダイオード602が光電流を生成していないと同時に、キャパシタ608において蓄積された電荷を除去するために、第3のスイッチ607と第2のスイッチ606の両方が有効化され得る。露光段階中、フォトダイオード602によって生成された光電流がキャパシタ608に流れ込むことを可能にするために、第3のスイッチ607は、無効化され得、第2のスイッチ6060は、有効化され得る。ADC610は、露光段階中の任意の時点において、キャパシタ608において貯蔵された電荷を表すデジタル信号を生成することができる。さらに、露光段階の終わりに、ADC610が露光段階中に蓄積された総電荷を測定することを可能にするために、第2のスイッチ606はまた、静的測定期間において無効化され得る。
【0071】
ピクセルセル600内にピクセルADC610を設けることによって、ピクセルアレイの各ピクセルセル600は、入射光に露光され、グローバルシャッタ動作を提供するために、同時にピクセルセルにおいて受け取られる入射光強度のデジタル表現を生成することができる。高速モーションキャプチャについて、異なる時間において動いているオブジェクトの異なる部分の画像をキャプチャするピクセルセルの行によって引き起こされるローリングシャッタ動作に関連するモーション歪み問題を回避するので、グローバルシャッタが有利である。さらに、ピクセルセルの行が露光され強度データを生成する際に交替でやる従来の手法と比較して、ピクセルセル600を使用する画像生成の処理時間は、短縮され得る。位置/眼球追跡を実行するためにインタラクティブVR/AR/MRシステムによって画像が使用される場合、低減された画像生成時間は、追跡を高速化することができ、これは、よりよいユーザ体験につながる可能性がある。
【0072】
図6Bは、ピクセルセル600のデバイス構造の側面図を示し、図6Cは、ピクセルセル600の構成要素のうちのいくつかの三次元図を示す。図6Bに示すように、ピクセルセル600は、2つの半導体層630および645を含む。半導体層630は、シリコン基板632を含み得る。シリコン基板632は、フォトダイオード602を形成し得るP型層634とN型層636を含むP型基板であり得る。シリコン基板632は、N型ドレイン635と、N型ドレイン637と、N型ドレイン638と、N型ドレイン639とをさらに含む。シリコン基板632は、シリコン基板632の前面644上に、ポリシリコンゲート640と、ポリシリコンゲート641と、ポリシリコンゲート642とをさらに含む。N型ドレイン637およびポリシリコンゲート640は、第1のスイッチ604のためのNMOSトランジスタの一部を形成し得、N型ドレイン638およびポリシリコンゲート640は、第2のスイッチ606のためのNMOSトランジスタの一部を形成し得る。N型ドレイン638は、キャパシタ608として構成され得る。さらに、N型ドレイン635、N型ドレイン639、およびポリシリコンゲート642は、N型ドレイン638において発生された電圧をバッファリングするためのバッファ609のためのNMOSトランジスタ(例えば、ソースフォロワ)の一部を形成し得、N型ドレイン635は、電圧源(図6Bには図示せず)に接続され、ポリシリコンゲート642は、バッファ入力として構成され、N型ドレイン639は、バッファ出力として構成される。図6Aには示されていないが、シリコン基板632は、(リセット用の)第3のスイッチ607を形成するデバイスをさらに含み得る。
【0073】
半導体層630は、例えば、金属650、652、および653を含む金属線のセットをさらに含む。金属650は、ポリシリコンゲート641に信号(例えば、蓄積イネーブル信号612)を送信するためのものであり得、金属653は、バッファ609によるバッファリングのためにN型ドレイン638(キャパシタ608)における電圧をポリシリコンゲート642に送信するためのものであり得る。バッファ609の出力は、N型ドレイン639であり得る。以下により詳細に説明するように、金属652は、アナログ-デジタル変換のために、バッファリングされた電圧を半導体層645に送信し得る。金属650と652の両方は、銅から作られ得る。半導体層630は、前面644においてシリコン基板632とインターフェースし、金属650および652、N型ドレイン637、638、および639、ならびにポリシリコンゲート640、641、および642を覆う絶縁体654をさらに含み得る。絶縁体654は、金属、ならびに半導体層630のゲートおよびドレイン/ソース端子に対する電気的絶縁を提供するために、例えば、二酸化ケイ素を含み得る。

【0074】
光651がシリコン基板632の裏面646に衝突すると、光651の光子は、P型層634とN型層636との間のp-n接合に入り、電子-正孔対を作成し得る。金属650を介してポリシリコンゲート641に加えられた電圧に基づいて、第2のスイッチ606が有効化され得、N型層636とN型ドレイン638との間のシリコン基板632の領域内に電子チャネルが形成し得る。p-n接合において光子によって作成された電子は、光電流Iphとして、N型層636から電子チャネルを通ってN型ドレイン638に流れ得る。電子は、次いで、N型ドレイン638において蓄積され得、アナログ電圧を発生させることができる。N型ドレイン639(バッファ609の出力)において、アナログ電圧のバッファリングされたバージョンが生成され得る。
【0075】
いくつかの実施形態において、シリコン基板632は、正電荷として光電流Iphを生成するP型層634を有するようにも構成され得る。そのような場合、シリコン基板632は、第1のスイッチ604、第2のスイッチ606、バッファ609(および、図6Bには図示されていない第3のスイッチ607)のためのPMOSトランジスタを形成するために、(N型ドレインの代わりに)P型ドレイン637、638、および639を取り囲む1つまたは複数のNウェルを含み得る。
【0076】
さらに、半導体層645は、シリコン基板660を含む。シリコン基板660は、p型ドレイン/ソース662a、662b、662c、および662d、n型ドレイン/ソース664aおよび664b、ならびにNウェル領域666などを含み得る。シリコン基板660は、前面670上にポリシリコンゲート668a、668b、および668cなどをさらに含み得る。ドレイン/ソース、Nウェル領域、ならびにポリシリコンゲートは、ピクセルADC610のためのデバイスを形成することができる。半導体層645は、半導体層630から延びる金属652、ならびに金属672をさらに含む。金属652は、ピクセルADC610のポリシリコンゲート668cへの入力として、p型ドレイン641において発生されたアナログ電圧を送信するために使用され得る。金属672は、ピクセルADC610によって生成されたアナログ電圧のデジタル表現を送信するためのピクセル出力バス616の一部であり得る。半導体層645は、電気的絶縁を提供するために、前面670においてシリコン基板660とインターフェースし、金属652および672、ならびにドレイン/ソース端子およびシリコン基板660のポリシリコンゲートを覆う絶縁体674をさらに含み得る。
【0077】
いくつかの実施形態において、図6Bおよび図6Cに示すように、半導体層630および645は、積層構造を形成するために、z軸に沿って積層され得、(P型層634とN型層636とを備える)フォトダイオード602が、ピクセルADC610のデバイスと少なくとも部分的に重なり合う。そのような積層構造により、ピクセルADC610は、フォトダイオード602と同じ側にあるように配置される必要はない。そのような配置は、各フォトダイオードのための利用可能なエリアを増加させることができる。上記で論じたように、ウェアラブルVR/AR/MRシステムは、複数の視野を生成するために複数の画像センサを含む場合があるが、ウェアラブルシステムは、画像センサを設置するための非常に限られたエリアを提供することしかできない。積層構造により、より多くのピクセル(および関連するフォトダイオード)がこれらの画像センサのピクセルアレイ内に含まれ得、これは、これらの画像センサの解像度における大幅な改善をもたらすことができる。さらに、積層構造は、各ピクセルセルがフォトダイオードの下に、追加のエリアを取ることなく、積層された専用ADC(例えば、ピクセルADC610)を含むことも可能にする。これは、ピクセルアレイの各ピクセルセルが同時に入射光に露光され、入射光強度のデジタル表現を生成することを可能にし、これは、上記で論じたように、画像生成のための処理時間を短縮する。
【0078】
フォトダイオードのための利用可能なエリアを増加させることに加えて、積層構造は、N型ドレイン639(バッファ609の出力)とピクセルADC610との間のルーティングを最小にすることも可能にする。最小化されたルーティングは、容量結合とノイズ電荷とを削減することができる。例えば、図6Bおよび図6Cに示すように、半導体層630および645は、シリコン基板632の前面644がシリコン基板660の前面670に面するように配向され得る。そのような配置により、(キャパシタとして構成された)N型ドレイン639と(ピクセルADC610の入力端子として構成された)ポリシリコンゲート668cとの間のルーティング距離は、低減され得る。図6Bおよび図6Cの例において、N型ドレイン639およびポリシリコンゲート668cは、まっすぐな金属652によって接続され得る。低減されたルーティングにより、ノイズ電荷は、低減され得、これは、ピクセルセル600による最小測定可能光強度を低下させることができる。結果として、ピクセルセル600のダイナミックレンジは、拡張され得る。少なくとも、低減されたルーティング距離によりバッファ609の駆動強度が低減され得るので、ルーティング距離およびその関連する寄生容量の低減は、電力消費も大幅に低減させる。
【0079】
ステック構造は、シリコン基板632とシリコン基板660との間の分離も可能にし、これは、光感知デバイス(例えば、フォトダイオード602、第1のスイッチ604)がピクセルADC610のデバイスから独立して最適化されることを可能にする。例として、(例えば、前面644と裏面646との間で測定される)シリコン基板632の厚さは、特定の周波数範囲に関連する光子を感知する際のフォトダイオード602の量子効率を改善するように設定され得る。一方、シリコン基板660の厚さは、目標量子効率に基づいて影響を受けない。例示的な例として、シリコン基板632の厚さは、約4ミクロンに設定され得る。IR光を感知する際のフォトダイオード602の量子効率を改善するために、P型層634は、約3ミクロンの厚さを有し得、N型層636は、約1ミクロンの厚さを有し得る。一方、シリコン基板660の厚さは、典型的には、300ミクロンの範囲内にある。
【0080】
異なる厚さのほかに、積層構造は、光感知デバイスとピクセルADC610のデバイスとを最適化するために、シリコン基板632およびシリコン基板660に異なるドーピングプロファイルが導入されることも可能にする。例えば、シリコン基板632において、フォトダイオード602への(光子によって作成された)電荷の移動を促進するために静電界を作成するために、P型層634内にドーピング勾配が導入され得る。そのような配置により、より多くの光電子がN型ドレイン638によって収集され、これは、光651の強度のより正確な表現を提供することができる。シリコン基板632のドーピングプロファイルは、(例えば、漏れ電流を低減するために基板内のキャリアの移動度を低減することによって)暗電流を低減するように調整もされ得る。一方、シリコン基板660のドーピングプロファイルは、例えば、デバイスの帯域幅を改善する、ピクセルADC610の電力消費を低減するなどのために、キャリアの移動度を高めるように調整され得る。積層構造は、センサシャッタ効率も高め、これは、シャッタオフ期間中の光漏れのために収集される(理想的にはゼロであるべき)光子電荷の測定値である。積層センサの実施形態において、すべてのピクセルのバッファ出力ノード614におけるアナログ電圧は、シャッタがオフにされた直後にピクセルADCによって同時に量子化されるので、光漏れによる蓄積された追加の光子は、非常に小さい。対照的に、ADCがピクセルの列によって共有される場合、いくつかのピクセルは、シャッタオフの後に量子化されるまで長時間待たなければならない。そのような種類のセンサアーキテクチャは、信号電荷を保持するためにピクセル内部に電荷貯蔵ダイオードを必要とし、このタイプのセンサは、長期間にわたる漏れ光の蓄積により、より低いシャッタ効率を有する傾向がある。
【0081】
図7は、ピクセルADC610の内部構成要素の例を示す。図7に示すように、ピクセルADC610は、閾値生成器702と、比較器704と、デジタル出力生成器706とを含む。デジタル出力生成器706は、カウンタ708とメモリデバイス710とをさらに含み得る。カウンタ708は、自走クロック信号712に基づいてカウント値のセットを生成することができ、メモリ710は、カウンタ708によって生成されたカウント値のうちの少なくともいくつか(例えば、最新のカウント値)を記憶することができる。いくつかの実施形態において、メモリ710は、カウンタ708の一部であり得る。メモリ710は、例えば、以下で説明するように、ローカルピクセル値に基づいてカウンタ値を記憶するラッチ回路であり得る。閾値生成器702は、デジタル値のセットを受け入れ、デジタル値のセットを表すアナログ電圧を出力することができるデジタル-アナログ変換器(DAC)713を含む。以下でより詳細に論じるように、閾値生成器702は、固定閾値を生成するために静的デジタル値を受け入れるか、またはランピング閾値を生成するためにカウンタ708の出力714を受け入れ得る。
【0082】
図7は、DAC713(および閾値生成器702)がピクセルADC610の一部であることを示しているが、DAC713(および閾値生成器702)は、異なるピクセルセルからの複数のデジタル出力生成器706と結合され得ることが理解される。さらに、デジタル出力生成器706は、デジタル値を生成するために複数のピクセルセル間で共有もされ得る。
【0083】
比較器704は、アナログ出力ノード614において発生されたアナログ電圧を、閾値生成器702によって提供された閾値と比較し、比較結果に基づいて判定716を生成することができる。例えば、アナログ出力ノード614におけるアナログ電圧が閾値生成器702によって生成された閾値に等しいかそれを超える場合、比較器704は、判定716のための論理1を生成することができる。アナログ電圧が閾値を下回る場合、比較器704は、判定716のための論理ゼロを生成することもできる。判定716は、アナログ出力ノード614におけるアナログ電圧のプロパティを測定するために、カウンタ708のカウント動作および/またはメモリ710内に記憶されたカウント値を制御することができる。プロパティは、ピクセルセル600に入射する光の強度を表すことができる。メモリ710内に記憶されたカウント値は、ピクセルセル600によって出力されるデジタル強度値として、ピクセル出力バス616によって送信され得る。
【0084】
ピクセルADC610によって測定され得るアナログ電圧のプロパティは、アナログ電圧のランピングレートである。アナログ電圧のランピングレートは、入射光の強度を反映することができる。上記で論じたように、入射光強度が増加すると、より多くの光子が時間期間中にピクセルセル600に入る。光子の数の増加により、フォトダイオード602は、その時間期間中により多くの電荷を生成することもできる。第1のスイッチ604が有効にされていると仮定すると、その時間期間内により多くの電荷がキャパシタ608内に蓄積される。より多くの電荷がキャパシタ608内に蓄積されると、アナログ出力ノード614におけるアナログ電圧も、より速くランプアップする。
【0085】
図8は、異なる入射光強度に対するアナログ出力ノード614における(初期リセット電圧レベルとある時点の瞬時の電圧レベルとの間の)アナログ電圧変化の例を示す。図8において、縦軸は電圧を表し、横軸は時間を表す。プロット802は、フォトダイオード602が第1の強度レベルを有する入射光に露光される時間に対するアナログ出力ノード614におけるアナログ電圧の変化を表す。プロット804は、フォトダイオード602が第2の強度レベルを有する入射光に露光される時間に対するアナログ出力ノード614におけるアナログ電圧の変化を表す。さらに、プロット806は、フォトダイオード602が第3の強度レベルを有する入射光に露光される時間に対するアナログ出力ノード614におけるアナログ電圧の変化を表す。図8の例において、第1の強度レベルは、第2の強度レベルよりも高く、第2の強度レベルは、第3の強度レベルよりも高い。
【0086】
強度レベルにおける差は、アナログ電圧の異なる変化率、ならびに、ランピングアナログ電圧が特定の閾値に達するための持続時間においても反映される。例えば、プロット802によって表されるアナログ電圧が閾値808に達するにはT1の持続時間がかかり、プロット804によって表されるアナログ電圧が同じ閾値808に達するにはT2の持続時間がかかり、プロット806によって表されるアナログ電圧が閾値808に達するにはT3の持続時間がかかる。持続時間T1、T2、およびT3は、それぞれ、入射光の第1の強度レベル、第2の強度レベル、および第3の強度レベルを表す(または推定する)ために使用され得、持続時間の長さは、強度レベルに反比例する。持続時間は、図7のカウンタ708などのカウンタを使用して測定され得る。
【0087】
持続時間の測定は、光強度がフォトダイオードの飽和限界を超えるときに入射光強度を推定するための有用な方法となり得る。上記で論じたように、フォトダイオードによって生成される電荷(例えば、光電流)のレートは、フォトダイオードが飽和限界に達するまで入射光の強度に直接関係することができ、飽和限界を超えると、光電流は、停滞するようになる場合があり、入射光強度に対してもはや線形に増加しない。したがって、一定の持続時間内(例えば、露光期間内)にフォトダイオードによって発生された総電荷の測定は、飽和限界を超える入射光強度の正確な表現を提供しない場合がある。一方、ランピングアナログ電圧が閾値に達する持続時間によって反映される、フォトダイオードによって生成された電荷のレートの直接測定は、飽和限界を超える入射光強度のより正確な表現を提供し得る。
【0088】
図8に戻って参照すると、閾値808は、飽和限界を超える入射光強度の測定のために使用される飽和閾値電圧であり得る。例えば、(プロット804が対応する)第2の強度レベルは、フォトダイオード602の光電流が入射光強度レベルに線形に関連したままである、フォトダイオード602が飽和の範囲外のままである最大入射光強度レベルであり得る。閾値808は、時間T2によってマークされた露光期間の終わりにおいてアナログ出力ノード614における最大アナログ電圧変化になるように選択され得る。
【0089】
いくつかの実施形態において、ピクセルADC610は、入射光強度が飽和限界を超えるかどうかを決定するために閾値808を使用することができ、飽和限界に達したかどうかに基づいて入射光強度をデジタルで表す方法を決定することができる。例えば、図8に戻って参照すると、(プロット802によって表されるアナログ電圧の変化を引き起こす)入射光の第1の強度レベルが(プロット804によって表されるアナログ電圧の変化を引き起こす)入射光の第2の強度レベルを超えているので、プロット802によって表されるアナログ電圧は、露光期間の終了(T2)前の時間T1において閾値808に達する。一方、(プロット806によって表されるアナログ電圧の変化を引き起こす)入射光の第3の強度レベルが(プロット804によって表されるアナログ電圧の変化を引き起こす)入射光の第2の強度レベルよりも低いので、プロット806によって表されるアナログ電圧は、露光期間の終了(T2)後の時間T3において閾値808に達する。
【0090】
したがって、ピクセルADC610は、アナログ出力ノード614におけるランピングアナログ電圧が露光期間の終了前に閾値808に達するかどうかに基づいて、入射光強度が飽和限界を超えるかどうかを決定することができる。(例えば、プロット802と同様に)露光期間中にアナログ電圧が閾値808に達した場合、ピクセルADC610は、入射光強度が飽和限界を超えていると決定し得る。ピクセルADC610は、飽和までの時間測定を実行するために、アナログ電圧が閾値808に到達する持続時間を測定するためにカウンタ708を使用することができる。飽和までの時間測定値を表すカウント値は、入射光強度を推定するために使用され得る。一方、(例えば、プロット806と同様に)露光期間中にアナログ電圧が閾値808に達しない場合、ピクセルADC610は、入射光強度が飽和限界を超えていないと決定し得る。そのような場合、ピクセルADC610は、入射光強度を推定するために、露光期間中にフォトダイオード602によって生成された総電荷を表す、露光期間の終わりにおけるアナログ電圧のレベルを測定し得る。
【0091】
そのような配置により、ピクセルセル600に関する最大測定可能光強度は、フォトダイオード602の飽和限界を超えて増加し得、これは、ピクセルセル600のダイナミックレンジをさらに増加させることができる。増加したダイナミックレンジにより、ピクセルセル600は、非常に広範囲の光強度を有する環境において良好な品質の画像データを提供することができる場合がある。
【0092】
ここで、露光期間中のピクセルセルADC610の動作を示す図9Aを参照する。プロット902は、時間に対するアナログ出力ノード614におけるアナログ電圧の変化を表し、プロット903は、閾値生成器702による閾値出力を表す。閾値出力は、飽和閾値電圧を表す固定閾値(例えば、図8の閾値808)を出力するようにプログラムされた閾値生成器702のDAC713によって生成され得る。プロット704は、時間に対する比較器704によって出力される判定716における変化を表す。プロット706は、時間に対するメモリ710内に記憶されたカウント値の変化を表す。
【0093】
露光期間の開始時(時間T0)に、ピクセルセル600の第3のスイッチ607は、キャパシタ608を既知の電圧にリセットするか、またはキャパシタ608内に貯蔵された電荷を他の方法でクリアすることを許可される。例示の目的のために、この例では、フォトダイオード602によって提供される光電流がキャパシタ608内に貯蔵された電荷を増加させる(および、アナログ出力ノード614におけるアナログ電圧を上昇させる)と仮定されるが、光電流はまた、キャパシタ608内に貯蔵された電荷を減少させる(および、アナログ出力ノード614におけるアナログ電圧を低下させる)場合もあることが理解される。プロット902において示すように、アナログ出力ノード614におけるアナログ電圧は、ランプアップし続け、時間T1において(閾値生成器702によって出力された)閾値に達する。時間T1において、アナログ電圧が飽和限界を超えると、比較器704による判定716も反転する(例えば、論理1から論理0になる)。それに基づいて、判定716の反転は、飽和期間中に発生し、ピクセルADC610は、入射光強度が飽和限界を超えていると決定し、入射光の強度を表す飽和までの時間測定値を取得することを決定し得る。この決定に基づいて、ピクセルADC610は、時間T1において、メモリ710からカウンタ708の最新のカウント値を取得し、カウンタ708のカウントを停止し得る(および/または、メモリ710内に記憶されたカウント値を凍結する)。ピクセルADC610は、次いで、入射光強度を表すために、メモリ710内に記憶されたカウント値を提供することができる。ピクセルADC610は、カウント値が飽和までの時間測定値として取得され、入射光強度に反比例することを示す信号(例えば、フラグインジケータ)も含み得る。
【0094】
一方、判定716が露光期間中に反転しない場合、これは、入射光強度が飽和限界を超えていないことを示し、ピクセルADC610は、入射光強度レベルを推定するために、露光期間中にフォトダイオード602によって生成された総電荷を表す、露光期間の終わりにおけるアナログ電圧を測定することを決定し得る。
【0095】
ここで、露光期間が終了した後のピクセルADC610の動作を示す図9Bを参照する。プロット912は、アナログ出力ノード614におけるアナログ電圧を表す。プロット913は、閾値生成器702によって出力される閾値を表す。露光期間が終了した後、閾値生成器702は、電圧ランプを生成するようにカウンタ出力714によってプログラムされ得る。プロット914は、時間に対する比較器704によって出力される判定716の変化を表す。プロット916は、時間に対するメモリ710内に記憶されたカウント値の変化を表す。
【0096】
露光期間の終わり(時間T2)において、ピクセルセル600の第1のスイッチ604は、フォトダイオード602をキャパシタ608か分離するために無効化される。プロット912に示すように、アナログ電圧は、静的なままである。時間T2において、カウンタ708はまた、クロック信号712に基づいてカウント値のセットを生成するために有効化される。カウント値は、プロット913によって表されるように、ランピング閾値を生成するように閾値生成器702のDAC713をプログラムするために出力される。ランピング閾値がアナログ電圧に達する前に、比較器704は、プロット914によって表されるように、判定716のための論理1を出力する。メモリ710は、カウンタ708によって出力された最新のカウント値も記憶する。時間T3において、ランピング閾値は、アナログ電圧に到達する(またはそれを超える)。その時点において、判定716が反転し、ピクセルADC610は、カウンタ708が更新するのを停止することができ、および/またはメモリ710内に記憶されたカウント値を凍結することができる。ピクセルADC610は、次いで、入射光強度を表すために、メモリ710内に記憶されたカウント値を提供することができる。ピクセルADC610は、カウント値が露光期間中にフォトダイオード602によって生成された総電荷の測定値として取得され、入射光強度に直接関係することを示す信号(例えば、フラグインジケータ)も含み得る。
【0097】
いくつかの実施形態において、ピクセルADC610は、フォトダイオード602における飽和までの時間測定も実行し、これは、フォトダイオード602におけるより低い暗電流により強度測定の精度を改善することができる。露光期間中、第1のスイッチ604は、フォトダイオード602において(電荷蓄積によって)発生された電圧が飽和限界に対応する電圧閾値を超えるまで、フォトダイオード602によって生成された光電流を遮断する障壁として構成され得る。電圧が閾値を超えると、光電流がキャパシタ608に流れ始め、これは、アナログ出力ノード614におけるアナログ電圧におけるジャンプを引き起こす。ピクセルADC610は、露光期間の開始と、ジャンプが発生する時間との間に経過する時間を(例えば、カウンタ708を使用して)測定することによって、フォトダイオード602における飽和までの時間を実行することができる。
【0098】
図10は、ピクセルセル(例えば、ピクセルセル600)における入射光強度を決定するためのプロセス1000のフローチャートの実施形態を示す。プロセス1000は、ピクセルセル600の様々な構成要素とともにコントローラによって実行され得る。プロセス1000は、ステップ1002において、ピクセルセル600がリセット期間において動作されて開始する。図6Aの例を参照すると、ステップ1002のリセット期間中、コントローラは、例えば、キャパシタ608における電圧をリセットし、フォトダイオード602によって生成された光電流がキャパシタ608に到達するのを阻止するために、第1のスイッチ604と第3のスイッチ607とを有効にし、第2のスイッチ606を無効にすることができる。
【0099】
ステップ1004において、ピクセルセル600は、リセット期間を出て露光期間に入るように動作され得る。露光期間中、コントローラは、フォトダイオード602によって生成された光電流がキャパシタ内に貯蔵された電荷量を変化させるようにキャパシタ608に到達することを可能にするために、第1のスイッチ604を無効にし、第2のスイッチ606を有効にし、第3のスイッチ607を無効にすることができる。
【0100】
ステップ1006において、ピクセルセル600は、入射光の強度が露光期間中に飽和限界に達する(またはそれを超える)かどうかを決定するように動作され得る。決定は、例えば、アナログ出力ノード614におけるアナログ電圧が(光電流からのキャパシタ608における追加の電荷の蓄積により)露光期間中に飽和限界に到達するかどうかに基づくことができる。飽和限界に達した場合、ピクセルセル600は、ステップ1008において、光強度決定のための飽和までの時間測定を実行するように動作され得る。
【0101】
一方、飽和限界に達していない場合、ピクセルセル600は、ステップ1010において、露光期間の終わりにおいてキャパシタ608において蓄積された総電荷を決定するように動作され得る。ステップ1010において、コントローラは、静的測定期間に入ることができ、静的測定期間において、測定のためにキャパシタ608において貯蔵された電荷を保存するために、第1のスイッチ604が有効にされ、第2のスイッチ606および第3のスイッチ607が無効にされる。
【0102】
本開示の実施形態の前述の説明は、例示の目的のために提示されており、網羅的であること、または本開示を開示された正確な形態に限定することを意図していない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを理解することができる。
【0103】
この説明のいくつかの部分は、情報に対する動作のアルゴリズムおよび記号表現に関して本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、当業者の仕事の実質を他の当業者に効果的に伝えるために、データ処理における当業者によって一般的に使用される。これらの動作は、機能的、計算的、または論理的に説明されているが、コンピュータプログラム、または同等の電気回路、マイクロコードなどによって実装されると理解される。さらに、一般性を失うことなく、これらの動作の配置をモジュールと呼ぶことがときには便利であることもわかっている。説明した動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、および/またはハードウェアにおいて具体化され得る。
【0104】
説明したステップ、動作、またはプロセスは、単独で、または他のデバイスと組み合わせて、1つまたは複数のハードウェアまたはソフトウェアモジュールを用いて実行または実装され得る。いくつかの実施形態において、ソフトウェアモジュールは、説明したステップ、動作、またはプロセスのいずれかまたはすべてを実行するためのコンピュータプロセッサによって実行され得るコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実装される。
【0105】
本開示の実施形態は、説明した動作を実行するための装置にも関係し得る。装置は、必要とされる目的のために特別に構築され得、および/または、コンピュータ内に記憶されたコンピュータプログラムによって選択的にアクティブ化もしくは再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的で有形のコンピュータ可読記憶媒体内、または、コンピュータシステムバスに結合され得る電子命令を記憶するのに適した任意のタイプの媒体内に記憶され得る。さらに、本明細書において言及される任意のコンピューティングシステムは、単一のプロセッサを含み得、または、増加したコンピューティング能力のために複数のプロセッサ設計を用いるアーキテクチャであり得る。
【0106】
本開示の実施形態は、本明細書で説明したコンピューティングプロセスによって作り出される製品にも関係し得る。そのような製品は、コンピューティングプロセスから結果として生じる情報を備え得、情報は、非一時的な有形のコンピュータ可読記憶媒体上に記憶され、本明細書で説明したコンピュータプログラム製品または他のデータの組合せの任意の実施形態を含み得る。
【0107】
本明細書において使用される言語は、主として読みやすさと教示目的のために選択されており、発明の主題を描写または制限するために選択されていない場合がある。したがって、本開示の範囲は、この詳細な説明によってではなく、本明細書に基づく出願において発行される任意の請求項によって制限されることが意図されている。したがって、実施形態の開示は、限定はしないが、以下の特許請求の範囲に記載される本開示の範囲の例示であることが意図されている。本開示は、以下に記載する実施形態をさらに含む。
(実施形態1)
フォトダイオードと、前記フォトダイオードによって生成された電荷をアナログ信号に変換するように構成された1つまたは複数のトランジスタデバイスとを含む第1の半導体層であって、前記フォトダイオードが前記第1の半導体層内の第1の領域を占有する、第1の半導体層と、
前記アナログ信号を1つまたは複数のデジタル信号に変換するように構成された1つまたは複数のトランジスタデバイスを含む第2の半導体層であって、前記第2の半導体層の前記1つまたは複数のトランジスタデバイスが前記第2の半導体層内の第2の領域を占有する、第2の半導体層と
を備えるピクセルセルであって、
前記第1の半導体層が、軸に沿って前記第2の半導体層と積層構造を形成し、
前記第1の領域および前記第2の領域が、前記軸に沿って少なくとも部分的に重なり合う、
ピクセルセル。
(実施形態2)
前記第1の半導体層は、第1の表面と第2の表面とを含み、
前記第1の半導体層が、前記第2の表面上に配置された1つまたは複数の第1の金属相互接続を含み、
前記第2の半導体層が、前記第2の表面に面する第3の表面を含み、
前記第2の半導体層が、前記第3の表面上に配置された1つまたは複数の第2の金属相互接続を含み、
前記ピクセルセルが、前記1つまたは複数の第1の金属相互接続と前記1つまたは複数の第2の金属相互接続との間に電気接続を提供するために、1つまたは複数の第3の金属相互接続をさらに含む、
実施形態1に記載のピクセルセル。
(実施形態3)
前記第1の表面が、光の光子を受け取るように構成された、実施形態2に記載のピクセルセル。
(実施形態4)
前記第1の半導体層が、前記第2の半導体層とは異なるドーピングプロファイルを含む、実施形態1に記載のピクセルセル。
(実施形態5)
前記第1の半導体層が、前記第1の半導体層の第1の表面と第2の表面との間に電界を導入するためのドーピング勾配を含む、実施形態4に記載のピクセルセル。
(実施形態6)
前記第1の半導体層が、第2の半導体層とは異なる厚さを有する、実施形態1に記載のピクセルセル。
(請求項7)
前記第1の半導体層の厚さが、所定の周波数に関連する光子の目標量子効率に基づいて構成された、実施形態6に記載のピクセルセル。
(請求項8)
前記第1の半導体層の前記1つまたは複数のトランジスタデバイスが、前記フォトダイオードに結合されたソース端子と、キャパシタとして構成されたドレイン端子と、前記フォトダイオードによって生成された電子の前記キャパシタへの流れを制御するように動作可能なゲート端子とを有する第1のトランジスタを備え、
前記第2の半導体層の前記1つまたは複数のトランジスタデバイスが、前記第1のトランジスタの前記ドレイン端子におけるアナログ電圧に基づいて前記1つまたは複数のデジタル信号を生成するように構成されたデジタル-アナログ変換器を備える、
実施形態1に記載のピクセルセル。
(実施形態9)
前記デジタル-アナログ変換器が、カウンタと、メモリと、電圧比較器とを備え、
前記メモリが、前記カウンタによって出力された1つまたは複数のカウント値を記憶するように構成され、
前記電圧比較器が、前記1つまたは複数のデジタル信号を生成するために、前記第1のトランジスタの前記ドレイン端子における前記アナログ電圧に基づいて前記メモリにおける前記1つまたは複数のカウント値の前記記憶を制御するように構成された、
実施形態8に記載のピクセルセル。
(実施形態10)
前記ゲート端子が、前記フォトダイオードにおいて貯蔵された電荷の量が閾値を超えると、電子が前記フォトダイオードから前記キャパシタに流れることを可能にするように制御される、実施形態8に記載のピクセルセル。
(実施形態11)
前記第1の半導体層の前記1つまたは複数のトランジスタデバイスが、リセットモード中に、前記キャパシタにおいて貯蔵された電荷を除去するように構成された第2のトランジスタを備える、実施形態8に記載のピクセルセル。
(実施形態12)
前記第1の半導体層の前記1つまたは複数のトランジスタデバイスが、リセットモード中に、前記キャパシタおよび前記フォトダイオードにおいて貯蔵された電荷を除去するように構成された第2のトランジスタを備える、実施形態8に記載のピクセルセル。
(実施形態13)
フォトダイオードと、
前記フォトダイオードによって生成された電荷を貯蔵するように構成されたキャパシタと、
前記フォトダイオードに入射する光の強度を表すデータを生成するために第1の測定モードおよび第2の測定モードのうちの少なくとも1つを実行するように構成された処理回路と
を備えるピクセルセルであって、
前記第1の測定モードにおいて、前記処理回路が、前記キャパシタが前記フォトダイオードに電気的に結合されたときに、前記キャパシタにおいて貯蔵された電荷の量を測定するように構成され、
前記第2の測定モードにおいて、前記処理回路が、前記キャパシタが前記フォトダイオードから電気的に分離されたときに、前記キャパシタにおいて貯蔵された電荷の量を測定するように構成された、
ピクセルセル。
(実施形態14)
前記処理回路が、可変閾値生成器と、比較器と、カウンタとを備える、実施形態13に記載のピクセルセル。
(実施形態15)
前記第1の測定モードにおいて、
前記可変閾値生成器が、固定閾値電圧を生成するように構成され、
前記比較器が、判定出力を生成するために、前記固定閾値電圧を、前記キャパシタにおいて貯蔵された電荷の量を表す電圧と比較するように構成され、
前記カウンタが、前記判定出力に基づいてカウント値のセットを生成するように構成され、
前記判定出力における変化に対応する前記カウンタによって生成された前記カウント値のセットのうちの1つまたは複数が、前記フォトダイオードに入射する光の強度を表す、
実施形態14に記載のピクセルセル。
(実施形態16)
前記フォトダイオードに入射する光の前記強度が増加すると、前記カウント値のセットのうちの1つまたは複数が減少する、実施形態15に記載のピクセルセル。
(実施形態17)
前記固定閾値電圧が、前記フォトダイオードの飽和光強度に対応する、実施形態15に記載のピクセルセル。
(実施形態18)
前記第2の測定モードにおいて、
前記可変閾値生成器が、前記カウンタによって生成されたカウント値のセットに基づいてランピング電圧を生成するように構成され、
前記比較器が、判定出力を生成するために、前記ランピング電圧を、前記キャパシタにおいて貯蔵された電荷の前記量を表す電圧と比較するように構成され、
前記カウンタが、前記判定出力に基づいて前記カウント値のセットを生成するように構成され、
前記判定出力における変化に対応する前記カウンタによって生成された前記カウント値のセットのうちの1つまたは複数が、前記フォトダイオードに入射する光の強度を表す、
実施形態14に記載のピクセルセル。
(実施形態19)
前記フォトダイオードに入射する光の前記強度が増加すると、前記カウント値のセットのうちの1つまたは複数が増加する、実施形態18に記載のピクセルセル。
(実施形態20)
前記処理回路が、前記フォトダイオードが前記フォトダイオードと電気的に結合されたときに前記キャパシタにおいて貯蔵された電荷の量が閾値を超えるという、前記第1の測定モードからの決定に基づいて、前記第2の測定モードをスキップするように構成された、実施形態13に記載のピクセルセル。
図1A
図1B
図2
図3
図4
図5
図6A
図6B
図6C
図7
図8
図9A
図9B
図10