知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-04
(45)【発行日】2024-07-12
(54)【発明の名称】プログラム可能なピクセルアレイ
(51)【国際特許分類】
H04N 25/77 20230101AFI20240705BHJP
G01S 17/89 20200101ALI20240705BHJP
【ＦＩ】
H04N25/77
G01S17/89
【請求項の数】
20
(21)【出願番号】P 2021531109
(86)(22)【出願日】2019-12-17
(65)【公表番号】
(43)【公表日】2022-01-26
(86)【国際出願番号】 US2019066805
(87)【国際公開番号】W WO2020131847
(87)【国際公開日】2020-06-25
【審査請求日】2022-10-04
(31)【優先権主張番号】62/780,904
(32)【優先日】2018-12-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/715,792
(32)【優先日】2019-12-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】レイセルホーフェ， ハンス
(72)【発明者】
【氏名】ベルコビッチ， アンドリュー サミュエル
(72)【発明者】
【氏名】リュウ， シンチャオ
【審査官】鈴木 明
(56)【参考文献】
【文献】米国特許出願公開第２０１７／００４１５７１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０１１５７２５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１１／０１５５８９２（ＵＳ，Ａ１）
【文献】欧州特許出願公開第０２０３７５０５（ＥＰ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２５／００－２５／７９
Ｇ０１Ｓ １７／８９
(57)【特許請求の範囲】
【請求項1】
ピクセルセルのアレイであって、ピクセルセルの前記アレイの各ピクセルセルが、ピクセルレベルプログラミングデータと測定データとを記憶するためのメモリと、
前記メモリからの前記ピクセルレベルプログラミングデータに基づいて、前記測定データを生成するために光測定動作を実施することと、前記メモリに前記測定データを記憶することとを行うように構成された光測定回路と
を含む、ピクセルセルのアレイと、
各ピクセルセルをターゲットにするピクセルレベルプログラミングデータを含むピクセルアレイプログラミングマップを受け取ることと、
前記ピクセルアレイプログラミングマップから前記ピクセルレベルプログラミングデータを抽出することと、
ピクセルセルの前記アレイの各ピクセルセルの前記メモリにおける記憶のために、ならびに前記各ピクセルセルにおける前記光測定動作および前記測定データの生成を個々に制御するために、前記各ピクセルセルに前記ピクセルレベルプログラミングデータを送信することと
を行うように構成された周辺回路と
を備える、装置。
【請求項2】
前記各ピクセルセルが、個々にアドレス指定可能であり、前記周辺回路が、
前記ピクセルアレイプログラミングマップからピクセルセルの前記アレイの第１のピクセルセルのための第１のピクセルレベルプログラミングデータを抽出することと、
前記ピクセルアレイプログラミングマップからピクセルセルの前記アレイの第２のピクセルセルのための第２のピクセルレベルプログラミングデータを抽出することと、
前記第１のピクセルレベルプログラミングデータに基づいて第１のアドレスを生成することと、
前記第２のピクセルレベルプログラミングデータに基づいて第２のアドレスを生成することと、
前記第１のアドレスに基づいて、前記第１のピクセルレベルプログラミングデータを受け取るために前記第１のピクセルセルの前記メモリを選択することと、
前記第２のアドレスに基づいて、前記第２のピクセルレベルプログラミングデータを受け取るために前記第２のピクセルセルの前記メモリを選択することと
を行うように構成された、請求項１に記載の装置。
【請求項3】
前記ピクセルアレイプログラミングマップが、ピクセルレベルプログラミングデータのアレイを含み、前記第１のアドレスが、ピクセルレベルプログラミングデータの前記アレイ内の前記第１のピクセルレベルプログラミングデータのロケーションに基づいて生成され、
前記第２のアドレスが、ピクセルレベルプログラミングデータの前記アレイ内の前記第２のピクセルレベルプログラミングデータのロケーションに基づいて生成される、
請求項２に記載の装置。
【請求項4】
前記周辺回路が、第１のピクセルセルを含むピクセルセルの前記アレイの少なくともサブセットにチップレベルプログラミング信号を送信するように構成され、前記第１のピクセルセルの前記光測定回路が、前記ピクセルレベルプログラミングデータに基づいて、前記チップレベルプログラミング信号に基づいて前記光測定動作を実施すること、または前記ピクセルレベルプログラミングデータに基づいて前記光測定動作を実施することのいずれかを行うように構成された、
請求項１に記載の装置。
【請求項5】
前記第１のピクセルセルの前記光測定回路が、前記チップレベルプログラミング信号、または前記ピクセルレベルプログラミングデータの少なくとも第２のサブセットを出力として選択するために、前記ピクセルレベルプログラミングデータの少なくとも第１のサブセットによって制御可能なマルチプレクサを含み、前記第１のピクセルセルの前記光測定回路が、前記マルチプレクサの前記出力に基づいて前記光測定動作を実施するように構成された、
請求項４に記載の装置。
【請求項6】
前記チップレベルプログラミング信号が、第１のチップレベルプログラミング信号であり、前記周辺回路が、前記第１のピクセルセルを含むピクセルセルの前記アレイの前記サブセットに、第２のチップレベルプログラミング信号を送信するように構成され、
前記マルチプレクサが第１のマルチプレクサであり、
前記出力が、第１の出力であり、前記光測定動作の一部として前記光測定回路の第１の構成要素の第１の動作を制御し、
前記光測定回路が、前記第２のチップレベルプログラミング信号、または前記ピクセルレベルプログラミングデータの少なくとも第３のサブセットを第２の出力として選択するために、前記ピクセルレベルプログラミングデータの少なくとも前記第１のサブセットによって制御可能な第２のマルチプレクサをさらに備え、
前記第２の出力が、前記光測定動作の一部として前記光測定回路の第２の構成要素の第２の動作を制御する、
請求項５に記載の装置。
【請求項7】
前記第１のマルチプレクサと前記第２のマルチプレクサとが、前記ピクセルレベルプログラミングデータの前記第１のサブセットの異なるビットによって制御可能である、請求項６に記載の装置。
【請求項8】
前記チップレベルプログラミング信号が、前記光測定動作中にピクセルセルの前記アレイの前記サブセットの各々によって消費されるべき電流の第１の量を設定し、前記ピクセルレベルプログラミングデータが、前記光測定動作中に前記第１のピクセルセルによって消費されるべき電流の第２の量と、前記チップレベルプログラミング信号によって設定された前記第１の量をオーバーライドすべきかどうかとを設定する、
請求項４に記載の装置。
【請求項9】
前記光測定回路が比較器を備え、前記チップレベルプログラミング信号が、前記比較器の第１のバイアスを設定し、
前記ピクセルレベルプログラミングデータが、前記比較器の第２のバイアスを設定する、
請求項８に記載の装置。
【請求項10】
前記光測定回路がフォトダイオードを含み、前記チップレベルプログラミング信号は、ピクセルセルの前記アレイの前記サブセットの各々の前記フォトダイオードが前記光測定動作のための光に応答して電荷を生成する、第１の露光期間を設定し、
前記ピクセルレベルプログラミングデータは、前記第１のピクセルセルの前記フォトダイオードが前記光測定動作のための光に応答して電荷を生成する、第２の露光期間と、前記チップレベルプログラミング信号によって設定された前記第１の露光期間をオーバーライドすべきかどうかとを設定する、
請求項４に記載の装置。
【請求項11】
前記光測定回路がフォトダイオードを含み、前記チップレベルプログラミング信号が、前記測定データを生成するために、前記フォトダイオードによって生成された電荷を量子化するためにピクセルセルの前記アレイの前記サブセットの各々の前記光測定回路によって実施されるべき第１の量子化動作および第２の量子化動作を指示し、前記第１の量子化動作と前記第２の量子化動作とが、異なる強度範囲に関連付けられ、
前記ピクセルレベルプログラミングデータは、前記第１のピクセルセルの前記光測定回路が前記測定データを生成するために前記第２の量子化動作を実施すべきであることと、前記チップレベルプログラミング信号をオーバーライドすべきかどうかとを指示する、
請求項４に記載の装置。
【請求項12】
前記チップレベルプログラミング信号は、ピクセルセルの前記アレイの前記サブセットの各々が第１のフレームについて前記メモリに前記測定データを記憶すべきであることを指示し、前記ピクセルレベルプログラミングデータは、前記第１のピクセルセルの前記光測定回路が前記第１のフレームについて前記メモリに前記測定データを記憶すべきでないことと、前記チップレベルプログラミング信号をオーバーライドすべきかどうかとを指示する、
請求項４に記載の装置。
【請求項13】
前記チップレベルプログラミング信号が、前記メモリに記憶されるべき前記測定データの第１のビット数を設定し、前記ピクセルレベルプログラミングデータが、前記メモリに記憶されるべき前記測定データの第２のビット数と、前記チップレベルプログラミング信号をオーバーライドすべきかどうかとを設定する、
請求項４に記載の装置。
【請求項14】
前記光測定動作が第１の光測定動作であり、ピクセルセルの前記アレイの第１のピクセルセルの前記メモリが、前記ピクセルレベルプログラミングデータの少なくとも第１のサブセットおよび第２のサブセットを記憶するように構成されたシフトレジスタを含み、
前記周辺回路が、前記シフトレジスタに、第１の時間において前記ピクセルレベルプログラミングデータの前記第１のサブセットを出力することと、第２の時間において前記ピクセルレベルプログラミングデータの前記第２のサブセットを出力することとを行わせるために、前記第１のピクセルセルの前記シフトレジスタにシフト信号を送信するように構成され、
前記第１のピクセルセルの前記光測定回路が、前記第１の時間において前記ピクセルレベルプログラミングデータの前記第１のサブセットに基づいて第１の光測定動作を実施することと、前記第２の時間において前記ピクセルレベルプログラミングデータの前記第２のサブセットに基づいて第２の光測定動作を実施することとを行うように構成された、
請求項１に記載の装置。
【請求項15】
ピクセルセルの前記アレイの前記各ピクセルセルの前記メモリが、前記ピクセルレベルプログラミングデータを記憶するための前記シフトレジスタを含み、前記周辺回路が、
前記第１の時間において、前記各ピクセルセルに前記第１の光測定動作を実施させることと、
前記第２の時間において、ピクセルセルの前記アレイの第１のサブセットに前記第２の光測定動作を実施させ、ピクセルセルの前記アレイの第２のサブセットに前記第２の光測定動作を実施させないことと
を行うために、前記各ピクセルセルの前記シフトレジスタに前記シフト信号を送信するように構成された、請求項１４に記載の装置。
【請求項16】
前記ピクセルレベルプログラミングデータが、第１のピクセルレベルプログラミングデータであり、ピクセルセルの前記アレイの第２のピクセルセルの前記メモリが、第２のピクセルレベルプログラミングデータのサブセットを記憶するように構成されたシフトレジスタを含み、
前記周辺回路が、前記第２のピクセルレベルプログラミングデータの前記サブセットとしての記憶のために、前記第１のピクセルレベルプログラミングデータの前記第１のサブセットおよび前記第２のサブセットを前記第２のピクセルセルの前記シフトレジスタに伝搬するために、前記第１のピクセルセルの前記シフトレジスタに前記シフト信号を送信することと、前記第２のピクセルセルの前記シフトレジスタに伝搬信号を送信することとを行うように構成された、
請求項１４に記載の装置。
【請求項17】
ピクセルセルの前記アレイの前記各ピクセルセルの前記メモリが、前記ピクセルレベルプログラミングデータを記憶するための前記シフトレジスタを含み、前記周辺回路は、
前記第１の時間において、ピクセルセルの前記アレイの第１のサブセットに、第１のフレームを生成するために前記第１の光測定動作を実施させることであって、ピクセルセルの前記アレイの前記第１のサブセットが、前記第１のフレームにおける関心領域（ＲＯＩ）に対応する、前記第１の光測定動作を実施させることと、
前記第２の時間において、ピクセルセルの前記アレイの第２のサブセットに、第２のフレームを生成するために前記第２の光測定動作を実施させることであって、ピクセルセルの前記アレイの前記第２のサブセットが、前記第２のフレームにおける前記ＲＯＩに対応する、前記第２の光測定動作を実施させることと
を行うために、前記各ピクセルセルの前記シフトレジスタに前記シフト信号を送信するように構成された、請求項１６に記載の装置。
【請求項18】
前記ピクセルアレイプログラミングマップが、前記各ピクセルセルをターゲットにする第１のピクセルレベルプログラミングデータを含む第１のピクセルアレイプログラミングマップであり、前記光測定動作が第１の光測定動作であり、
前記周辺回路が、
各ピクセルセルをターゲットにする前記第１のピクセルレベルプログラミングデータを含む前記第１のピクセルアレイプログラミングマップを受け取ることと、
第１のフレームを生成するように前記各ピクセルセルにおける前記第１の光測定動作を制御するために、前記各ピクセルセルに前記第１のピクセルレベルプログラミングデータを送信することと、
各ピクセルセルをターゲットにする第２のピクセルレベルプログラミングデータを含む第２のピクセルアレイプログラミングマップを受け取ることと、
第２のフレームを生成するように前記各ピクセルセルにおける第２の光測定動作を制御するために、前記各ピクセルセルに前記第２のピクセルレベルプログラミングデータを送信することと
を行うように構成された、請求項１に記載の装置。
【請求項19】
前記第２のピクセルアレイプログラミングマップの各エントリは、前記各エントリに記憶された前記第２のピクセルレベルプログラミングデータが、前記第１のピクセルアレイプログラミングマップの対応するエントリとの差を表すかどうかの指示と、前記第２のピクセルレベルプログラミングデータとを含む、請求項１８に記載の装置。
【請求項20】
ピクセルセルのアレイの各ピクセルセルをターゲットにするピクセルレベルプログラミングデータを含むピクセルアレイプログラミングマップを受け取ることと、前記ピクセルアレイプログラミングマップから前記ピクセルレベルプログラミングデータを抽出することと、
前記各ピクセルセルによってアクセス可能なメモリにおける記憶のために、ならびに前記各ピクセルセルにおける光測定動作および測定データの生成を個々に制御するために、前記各ピクセルセルに前記ピクセルレベルプログラミングデータを送信することと
を含む、方法。
【発明の詳細な説明】
【背景技術】
【0001】
本開示は、一般に画像センサーに関し、より詳細には、プログラム可能なピクセルアレイを備える画像センサーに関する。
【0002】
一般的な画像センサーは、ピクセルセルのアレイを含む。各ピクセルセルは、光子を電荷（たとえば、電子または正孔）に変換することによって光を検知するためのフォトダイオードを含み得る。各ピクセルセルにおいて変換された電荷は、量子化されてデジタルピクセル値になり得、デジタルピクセル値のアレイから画像が生成され得る。ピクセルセルのアレイの動作は、アレイ内のすべてのピクセルセルに適用される１つまたは複数のチップレベルプログラミング信号に基づいて構成され得る。
【発明の概要】
【0003】
本開示は、画像センサーに関する。より詳細には、限定はしないが、本開示は、プログラム可能なピクセルセルアレイを有する画像センサーに関する。
【0004】
一例では、装置が提供される。本装置は、ピクセルセルのアレイと周辺回路とを含む。ピクセルセルのアレイの各ピクセルセルは、ピクセルレベルプログラミングデータと測定データとを記憶するためのメモリと、制御メモリからのピクセルレベルプログラミングデータに基づいて、測定データを生成するために光測定動作を実施することと、データメモリに測定データを記憶することとを行うように構成された光測定回路とを含む。周辺回路は、各ピクセルセルをターゲットにするピクセルレベルプログラミングデータを含むピクセルアレイプログラミングマップを受け取ることと、ピクセルアレイプログラミングマップからピクセルレベルプログラミングデータを抽出することと、ピクセルセルのアレイの各ピクセルセルのメモリにおける記憶のために、ならびに各ピクセルセルにおける光測定動作および測定データの生成を個々に制御するために、各ピクセルセルにピクセルレベルプログラミングデータを送信することとを行うように構成される。
【0005】
いくつかの態様では、ピクセルセルのアレイの各ピクセルセルは、個々にアドレス指定可能である。周辺回路は、ピクセルアレイプログラミングマップからピクセルセルのアレイの第１のピクセルセルのための第１のピクセルレベルプログラミングデータを抽出することと、ピクセルアレイプログラミングマップからピクセルセルのアレイの第２のピクセルセルのための第２のピクセルレベルプログラミングデータを抽出することと、第１のプログラミングデータに基づいて第１のアドレスを生成することと、第２のピクセルレベルプログラミングデータに基づいて第２のアドレスを生成することと、第１のアドレスに基づいて、第１のプログラミングデータを受け取るために第１のピクセルセルのメモリを選択することと、第２のアドレスに基づいて、第２のピクセルレベルプログラミングデータを受け取るために第２のピクセルセルのメモリを選択することとを行うように構成される。
【0006】
いくつかの態様では、ピクセルアレイプログラミングマップは、ピクセルレベルプログラミングデータのアレイを含む。第１のアドレスは、ピクセルレベルプログラミングデータのアレイ内の第１のピクセルレベルプログラミングデータのロケーションに基づいて生成される。第２のアドレスは、ピクセルレベルプログラミングデータのアレイ内の第２のピクセルレベルプログラミングデータのロケーションに基づいて生成される。
【0007】
いくつかの態様では、周辺回路は、第１のピクセルセルを含むピクセルセルのアレイの少なくともサブセットにチップレベルプログラミング信号を送信するように構成される。第１のピクセルセルの光測定回路は、ピクセルレベルプログラミングデータに基づいて、チップレベルプログラミング信号に基づいて光測定動作を実施すること、またはピクセルレベルプログラミングデータに基づいて光測定動作を実施することのいずれかを行うように構成される。
【0008】
いくつかの態様では、第１のピクセルセルの光測定回路は、チップレベルプログラミング信号、またはピクセルレベルプログラミングデータの少なくとも第２のサブセットを出力として選択するために、ピクセルレベルプログラミングデータの少なくとも第１のサブセットによって制御可能なマルチプレクサを含む。第１のピクセルセルの光測定回路は、マルチプレクサの出力に基づいて光測定動作を実施するように構成される。
【0009】
いくつかの態様では、チップレベルプログラミング信号は、第１のチップレベルプログラミング信号である。周辺回路は、第１のピクセルセルを含むピクセルセルのアレイのサブセットに、第２のチップレベルプログラミング信号を送信するように構成される。マルチプレクサは第１のマルチプレクサである。出力は、第１の出力であり、光測定動作の一部として測定回路の第１の構成要素の第１の動作を制御する。光測定回路は、第２のチップレベルプログラミング信号、またはピクセルレベルプログラミングデータの少なくとも第３のサブセットを第２の出力として選択するために、ピクセルレベルプログラミングデータの少なくとも第１のサブセットによって制御可能な第２のマルチプレクサをさらに備える。第２の出力は、光測定動作の一部として測定回路の第２の構成要素の第２の動作を制御する。
【0010】
いくつかの態様では、第１のマルチプレクサと第２のマルチプレクサとは、ピクセルレベルプログラミングデータの第１のサブセットの異なるビットによって制御可能である。
【0011】
いくつかの態様では、チップレベルプログラミング信号は、光測定動作中にピクセルセルのアレイのサブセットの各々によって消費されるべき電流の第１の量を設定する。ピクセルレベルプログラミングデータは、光測定動作中に第１のピクセルセルによって消費されるべき電流の第２の量と、チップレベルプログラミング信号によって設定された第１の量をオーバーライドすべきかどうかとを設定する。
【0012】
いくつかの態様では、光測定回路は比較器を備える。チップレベルプログラミング信号は、比較器の第１のバイアスを設定する。ピクセルレベルプログラミングデータは、比較器の第２のバイアスを設定する。
【0013】
いくつかの態様では、光測定回路はフォトダイオードを含む。チップレベルプログラミング信号は、ピクセルセルのアレイのサブセットの各々のフォトダイオードが光測定動作のための光に応答して電荷を生成する、第１の露光期間を設定する。ピクセルレベルプログラミングデータは、第１のピクセルセルのフォトダイオードが光測定動作のための光に応答して電荷を生成する、第２の露光期間と、チップレベルプログラミング信号によって設定された第１の露光期間をオーバーライドすべきかどうかとを設定する。
【0014】
いくつかの態様では、光測定回路はフォトダイオードを含む。チップレベルプログラミング信号は、測定データを生成するために、フォトダイオードによって生成された電荷を量子化するためにピクセルセルのアレイのサブセットの各々の光測定回路によって実施されるべき第１の量子化動作および第２の量子化動作を指示し、第１の量子化動作と第２の量子化動作とは、異なる強度範囲に関連付けられる。ピクセルレベルプログラミングデータは、第１のピクセルセルの光測定回路が測定データを生成するために第２の量子化動作を実施すべきであることと、チップレベルプログラミング信号をオーバーライドすべきかどうかとを指示する。
【0015】
いくつかの態様では、チップレベルプログラミング信号は、ピクセルセルのアレイのサブセットの各々が第１のフレームについてメモリに測定データを記憶すべきであることを指示する。ピクセルレベルプログラミングデータは、第１のピクセルセルの光測定回路が第１のフレームについてメモリに測定データを記憶すべきでないことと、チップレベルプログラミング信号をオーバーライドすべきかどうかとを指示する。
【0016】
いくつかの態様では、チップレベルプログラミング信号は、メモリに記憶されるべき測定データの第１のビット数を設定する。ピクセルレベルプログラミングデータは、メモリに記憶されるべき測定データの第２のビット数と、チップレベルプログラミング信号をオーバーライドすべきかどうかとを設定する。
【0017】
いくつかの態様では、光測定動作は第１の光測定動作である。ピクセルセルのアレイの第１のピクセルセルのメモリは、ピクセルレベルプログラミングデータの少なくとも第１のサブセットおよび第２のサブセットを記憶するように構成されたシフトレジスタを含む。周辺回路は、シフトレジスタに、第１の時間においてピクセルレベルプログラミングデータの第１のサブセットを出力することと、第２の時間においてピクセルレベルプログラミングデータの第２のサブセットを出力することとを行わせるために、第１のピクセルセルのシフトレジスタにシフト信号を送信するように構成される。第１のピクセルセルの光測定回路は、第１の時間においてピクセルレベルプログラミングデータの第１のサブセットに基づいて第１の光測定動作を実施することと、第２の時間においてピクセルレベルプログラミングデータの第２のサブセットに基づいて第２の光測定動作を実施することとを行うように構成される。
【0018】
いくつかの態様では、ピクセルセルのアレイの各ピクセルセルのメモリは、ピクセルレベルプログラミングデータを記憶するためのシフトレジスタを含む。周辺回路は、第１の時間において、各ピクセルセルに第１の光測定動作を実施させることと、第２の時間において、ピクセルセルのアレイの第１のサブセットに第２の光測定動作を実施させ、ピクセルセルのアレイの第２のサブセットに第２の光測定動作を実施させないこととを行うために、各ピクセルセルのシフトレジスタにシフト信号を送信するように構成される。
【0019】
いくつかの態様では、ピクセルレベルプログラミングデータは、第１のピクセルレベルプログラミングデータである。ピクセルセルのアレイの第２のピクセルセルのメモリは、第２のピクセルレベルプログラミングデータのサブセットを記憶するように構成されたシフトレジスタを含む。周辺回路は、第２のピクセルレベルプログラミングデータのサブセットとしての記憶のために、第１のピクセルレベルプログラミングデータの第１のサブセットおよび第２のサブセットを第２のピクセルセルのシフトレジスタに伝搬するために、第１のピクセルセルのシフトレジスタにシフト信号を送信することと、第２のピクセルセルのシフトレジスタに伝搬信号を送信することとを行うように構成される。
【0020】
いくつかの態様では、ピクセルセルのアレイの各ピクセルセルのメモリは、ピクセルレベルプログラミングデータを記憶するためのシフトレジスタを含む。周辺回路は、第１の時間において、ピクセルセルのアレイの第１のサブセットに、第１のフレームを生成するために第１の光測定動作を実施させることであって、ピクセルセルのアレイの第１のサブセットが、第１のフレームにおける関心領域（ＲＯＩ）に対応する、第１の光測定動作を実施させることと、第２の時間において、ピクセルセルのアレイの第２のサブセットに、第２のフレームを生成するために第２の光測定動作を実施させることであって、ピクセルセルのアレイの第２のサブセットが、第２のフレームにおけるＲＯＩに対応する、第２の光測定動作を実施させることとを行うために、各ピクセルセルのシフトレジスタにシフト信号を送信するように構成される。
【0021】
いくつかの態様では、ピクセルアレイプログラミングマップは、各ピクセルセルをターゲットにする第１のピクセルレベルプログラミングデータを含む第１のピクセルアレイプログラミングマップである。光測定動作は第１の光測定動作である。周辺回路は、各ピクセルセルをターゲットにする第１のプログラミングデータを含む第１のピクセルアレイプログラミングマップを受け取ることと、第１のフレームを生成するように各ピクセルセルにおける第１の光測定動作を制御するために、各ピクセルセルに第１のピクセルレベルプログラミングデータを送信することと、各ピクセルセルをターゲットにする第２のピクセルレベルプログラミングデータを含む第２のピクセルアレイプログラミングマップを受け取ることと、第２のフレームを生成するように各ピクセルセルにおける第２の光測定動作を制御するために、各ピクセルセルに第２のピクセルレベルプログラミングデータを送信することとを行うように構成される。
【0022】
いくつかの態様では、第２のピクセルアレイプログラミングマップの各エントリは、各エントリに記憶された第２のピクセルレベルプログラミングデータが、第１のピクセルアレイプログラミングマップの対応するエントリとの差を表すかどうかの指示と、第２のピクセルレベルプログラミングデータとを含む。
【0023】
いくつかの例では、方法が提供される。本方法は、ピクセルセルのアレイの各ピクセルセルをターゲットにするピクセルレベルプログラミングデータを含むピクセルアレイプログラミングマップを受け取ることと、ピクセルアレイプログラミングマップからピクセルレベルプログラミングデータを抽出することと、各ピクセルセルによってアクセス可能なメモリにおける記憶のために、ならびに各ピクセルセルにおける光測定動作および測定データの生成を個々に制御するために、各ピクセルセルにピクセルレベルプログラミングデータを送信することとを含む。
【0024】
以下の図を参照しながら、例示的な実施形態が説明される。
【図面の簡単な説明】
【0025】
【図1A】ニアアイディスプレイ（ｎｅａｒ－ｅｙｅ ｄｉｓｐｌａｙ）の一実施形態の図である。
【図1B】ニアアイディスプレイ（ｎｅａｒ－ｅｙｅ ｄｉｓｐｌａｙ）の一実施形態の図である。
【図2】ニアアイディスプレイの断面の一実施形態の図である。
【図3】単一のソースアセンブリ（ｓｏｕｒｃｅ ａｓｓｅｍｂｌｙ）をもつ導波路ディスプレイ（ｗａｖｅｇｕｉｄｅ ｄｉｓｐｌａｙ）の一実施形態の等角図である。
【図4】導波路ディスプレイの一実施形態の断面を示す図である。
【図5】ニアアイディスプレイを含むシステムの一実施形態のブロック図である。
【図6A】画像センサーおよびその動作の例を示す図である。
【図6B】画像センサーおよびその動作の例を示す図である。
【図6C】画像センサーおよびその動作の例を示す図である。
【図6D】画像センサーおよびその動作の例を示す図である。
【図7A】画像処理システムおよびその動作の一例を示す図である。
【図7B】画像処理システムおよびその動作の一例を示す図である。
【図7C】画像処理システムおよびその動作の一例を示す図である。
【図11】画像処理システムおよびその動作の別の例を示す図である。
【図12】画像データを生成するための例示的なプロセスのフローチャートである。
【発明を実施するための形態】
【0026】
図は、単に例示の目的で本開示の実施形態を図示する。本開示の原理または本開示においてうたわれている利益から逸脱することなく、示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。
【0027】
添付の図において、同様の構成要素および／または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第２のラベルを参照ラベルの後に続けることによって区別され得る。第１の参照ラベルのみが明細書において使用される場合、説明は、第２の参照ラベルには関係なく同じ第１の参照ラベルを有する同様の構成要素のいずれか１つに適用可能である。
【0028】
以下の説明では、説明の目的で、いくつかの発明の実施形態の完全な理解を提供するために、具体的な詳細が記載される。ただし、様々な実施形態がこれらの具体的な詳細なしに実践され得ることは明らかであろう。図および説明は、限定するものではない。
【0029】
画像センサーは、ピクセルセルのアレイを含む。各ピクセルセルは、光検知動作を実施するための回路構成要素を含む。たとえば、各ピクセルセルは、光子を電荷（たとえば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードと、電荷を電圧に変換するための電荷検知ユニット（たとえば、フローティングドレインおよびバッファ）とを含み得る。画像センサーは、ピクセルセルの電荷検知ユニットによって出力された電圧をデジタル値に量子化するための１つまたは複数のアナログデジタル変換器（ＡＤＣ）をも含み得る。ＡＤＣは、たとえば、比較器を使用して、電荷を表す電圧を１つまたは複数の量子化レベルと比較することによって、電荷を量子化することができ、比較結果に基づいてデジタル値が生成され得る。デジタル値は、次いで、画像を生成するためにメモリに記憶され得る。画像センサーは、一般に、画像センサーのピクセルセルの動作を構成するために１つまたは複数のチップレベルプログラミング信号を送出するためのコントローラを含む。たとえば、コントローラは、画像センサーのすべてのピクセルセルをオンまたはオフにし、ピクセルセルが光検知動作を実施するグローバル露光時間を設定することができる、などである。
【0030】
画像センサーからのピクセルデータは、２Ｄ検知と３Ｄ検知との融合、物体認識および追跡、ロケーション追跡など、様々なアプリケーションをサポートすることができる。これらのアプリケーションは、算出を実施するために画像のピクセルのサブセットから特徴情報を抽出することができる。たとえば、３Ｄ検知を実施するために、アプリケーションは、反射された構造化光のピクセル（たとえば、ドット）を識別し、ピクセルから抽出されたパターンを透過された構造化光と比較し、比較に基づいて深度算出を実施することができる。アプリケーションはまた、２Ｄ検知と３Ｄ検知との融合を実施するために、構造化光の抽出されたパターンを提供する同じピクセルセルから２Ｄピクセルデータを識別することができる。物体認識および追跡を実施するために、アプリケーションはまた、物体の画像特徴のピクセルを識別し、ピクセルから画像特徴を抽出し、抽出結果に基づいて認識および追跡を実施することができる。物体認識および追跡結果は、同時位置特定およびマッピング（ＳＬＡＭ）アプリケーション、手追跡アプリケーションなど、より高いレベルのアプリケーションをサポートすることができる。これらのアプリケーションは、一般に、ホストプロセッサ上で実行され、ホストプロセッサは、画像センサーと電気的に接続され、相互接続を介してピクセルデータを受け取ることができる。ホストプロセッサ、画像センサー、および相互接続は、モバイルデバイスの一部であり得る。
【0031】
これらのホストアプリケーションは、ピクセルセルのアレイによって生成された画像データから恩恵を受けることができるが、これらのアプリケーションは、一般に、これらのピクセルセルの画像データの生成ならびに光検知動作を構成しない。その上、画像センサーのピクセルセルのアレイは、一般に、チップレベルプログラミング信号によって構成される。そのような画像センサーは、一般に、ピクセルセルのアレイスケール構成を提供するにすぎず、ピクセルセルの（たとえば、ピクセルレベル、またはピクセルのサブセットにおける）きめの細かい構成を可能にしない。
【0032】
ピクセルセルの構成に関するホストアプリケーションからの入力の欠如、ならびにピクセルセルのきめの細かい構成の欠如は、画像センサーおよびこれらのアプリケーションの達成可能な性能に制限を課し得る。たとえば、ホストアプリケーションは、高解像度画像および／または高いフレームレートから恩恵を受けることができる。より高い解像度の画像は、アプリケーションが、より詳細な特徴／パターン（たとえば、反射された構造化光のより精細化されたパターン、より詳細な画像特徴など）を抽出することを可能にするが、より高いフレームレートにおいて生成された画像を提供することは、アプリケーションが、より高いサンプリングレートにおいて、物体のロケーション、モバイルデバイスのロケーションなどを追跡することを可能にし、それらのどちらのプロセスでも、アプリケーションの性能を改善することができる。しかしながら、高解像度画像および高いフレームレートは、大量のピクセルデータの生成、送信、および処理につながり得、これは多数の課題を提示し得る。たとえば、高データレートにおいて大量のピクセルデータを送信および処理することは、画像センサー、相互接続、およびホストプロセッサにおける高い電力消費につながり得る。その上、画像センサーおよびホストプロセッサは、大量のピクセルデータの生成および処理に帯域幅制限を課し、レイテンシを追加し得る。高電力および高帯域幅要件は、フォームファクタおよび安全性考慮により、比較的低い電力でおよび比較的低い速度において動作する傾向があるモバイルデバイスにとって、特に問題になり得る。
【0033】
大量のピクセルデータを送信することに加えて、ピクセルセルアレイのきめの細かい構成の欠如も電力の浪費につながり得、これもモバイルデバイスにとって問題になる。たとえば、高解像度画像生成をサポートするために、画像センサーのすべてのピクセルセルが、高解像度画像を生成するために、オンにされ、同じ設定（たとえば、同じ露光時間、同じＡＤＣ分解能など）で構成され得るが、事実上、ピクセルセルのサブセットのみが、ホストアプリケーションに関係のあるピクセルデータを生成する。たとえば、ホストアプリケーションは物体を追跡していることがあり、ピクセルセルの小さいサブセットのみが物体のピクセルデータを生成するが、ピクセルセルの残りによって出力されたピクセルデータは、廃棄され得るか、または少なくともホストアプリケーションにとって重要でない。その結果、高解像度でおよび／または高いフレームレートにおいてそれらのピクセルデータを生成することに費やされる電力は浪費される。モバイルデバイスにおいて利用可能な電力量はごく限られているので、ピクセルセルのきめの細かい構成の欠如は、ピクセルセルに、より低い解像度でおよび／またはより低いフレームレートにおいてピクセルデータを生成することを強制し得、これは、画像センサーおよびホストアプリケーションの達成可能な性能を制限し得る。
【0034】
本開示は、上記の問題点のうちの少なくともいくつかに対処することができる画像センサーに関する。画像センサーは、ピクセルセルのアレイと周辺回路とを備える。画像センサーは、相互接続を介してホストプロセッサに電気的に接続され得る。画像センサー、ホストプロセッサ、および相互接続は、モバイルデバイス中に含まれ得る。
【0035】
ピクセルセルのアレイの各ピクセルセルは、ピクセルレベルプログラミングデータと測定データとを記憶するためのメモリ、ならびに、制御メモリからのピクセルレベルプログラミングデータに基づいて、測定データを生成するために光測定動作を実施することと、メモリに測定データを記憶することとを行うように構成された測定回路を含む。測定回路は、光に応答して電荷を生成するためのフォトダイオードと、電荷を電圧に変換するための電荷検知ユニットと、電圧を測定データに量子化するための量子化器とを含み得る。周辺回路はまた、ピクセルセルのアレイの各ピクセルセルをターゲットにするピクセルレベルプログラミングデータを含むピクセルアレイプログラミングマップを受け取り、各ピクセルセルをターゲットにするプログラミングデータに基づいて、各ピクセルセルにおける光測定動作を構成することができる。
【0036】
いくつかの例では、ピクセルセルのアレイの各ピクセルセルは、個々にアドレス指定可能である。各ピクセルセルは、行バスおよび列バスに接続され得、列バスにおけるピクセルセルのロケーションおよび行バスにおけるピクセルセルのロケーションに基づいて、行アドレスおよび列アドレスを割り当てられる。各ピクセルセルは、１つまたは複数の信号バスとも接続される。ピクセルアレイプログラミングマップの各ピクセルレベルプログラミングデータはまた、ターゲットピクセルセルの行アドレスおよび列アドレスに関連付けられる。特定のピクセルセルにピクセルレベルプログラミングデータを送信するために、周辺回路は、ピクセルアレイプログラミングマップからピクセルレベルプログラミングデータを抽出し、抽出されたピクセルレベルプログラミングデータを１つまたは複数の信号バス上で送信し、ならびにターゲットピクセルセルの行アドレスおよび列アドレスを行バスおよび列バス上で送信することができる。ターゲットピクセルセルは、一致する行アドレスおよび列アドレスを有することに基づいて、１つまたは複数の信号バスからピクセルレベルプログラミングデータを受け取り、ピクセルレベルプログラミングデータをメモリに記憶し、メモリからのピクセルレベルプログラミングデータに基づいて、光測定動作および測定データ生成を実施することができる。プログラミング動作では、周辺回路は、各ピクセルセルにおける光測定動作および測定データ生成を個々にプログラムするために、ピクセルアレイプログラミングマップから各ピクセルセルのためのピクセルレベルプログラミングデータを抽出し、ピクセルレベルプログラミングデータならびに各ピクセルセルの行アドレスおよび列アドレスを、それぞれ、信号バス、行バス、および列バスに送信することができる。
【0037】
いくつかの例では、静的ピクセルアレイプログラミングマップが、複数の画像フレームにわたるピクセルセルにおける光測定動作および測定データ生成を構成するために提供され得る。そのような場合、各ピクセルセルのためのピクセルアレイプログラミングマップの個々のピクセルレベルプログラミングデータは、複数の画像フレームの生成を構成するために各ピクセルセルのメモリに記憶され得る。いくつかの例では、ピクセルアレイプログラミングマップはまた、ピクセルセルにおける光測定動作および測定データ生成が、異なるフレームについて別様に構成されるように、フレーム間で動的に更新され得る。
【0038】
ピクセルセルのメモリに記憶されたピクセルレベルプログラミングデータは、光測定動作および測定データ生成の様々な態様を制御することができる。いくつかの例では、ピクセルセルは、ピクセルセルの光測定動作および測定データ生成を個々に無効化／有効化するように、ピクセルレベルプログラミングデータによって制御可能な電力ゲートを含み得る。いくつかの例では、ピクセルレベルプログラミングデータはまた、フォトダイオードが電荷を生成する露光時間を設定すること、量子化器によって実施されるべき１つまたは複数の量子化動作を選択すること、量子化器の帯域幅および／または量子化分解能を設定すること、メモリが測定データを記憶するかどうかを制御すること、メモリに記憶される測定データの精度（たとえば、ビット数）を制御することなど、測定回路の様々な構成要素を構成することができる。いくつかの例では、ピクセルレベルプログラミングデータは、これらの構成要素の各々について２つの代替構成から１つの構成を選択するための単一のビットを含むことができる。たとえば、ピクセルレベルプログラミングデータは、２つの露光期間設定、２つの量子化帯域幅および／分解能設定、２つの測定データ精度設定などから選択することができる。いくつかの例では、ピクセルレベルプログラミングデータは、これらの構成要素の各々について構成値を指定するための複数のビットを含むことができる。いくつかの例では、ピクセルレベルプログラミングデータはまた、２つの動作モードから選択するための単一のビットのみを含むことができ、各動作モードは、これらの構成要素についての構成の異なるセットを有する。これらの例では、ビットの集合または単一のビットは、命令を形成することができ、ビット値の様々な並べ替えが、ピクセルセルによってサポートされる命令セットを形成することができる。ピクセルレベルプログラミングデータがｍ個のビットを含む場合、命令セットは最高２ｍ個の命令を含み得る。
【0039】
ピクセルアレイプログラミングマップ中のピクセルレベルプログラミングデータは、ホストアプリケーションの動作を促進するために、各ピクセルセルにおける光測定動作および／または測定データ生成を個々に構成することができる。いくつかの例では、ホストにおける物体追跡アプリケーションをサポートするために、ピクセルアレイプログラミングマップは、電力とホストに送信されるピクセルデータの量とを低減するために、物体の画像をキャプチャする関心領域（ＲＯＩ）内のピクセルセルのサブセットの電源が投入されるが、ＲＯＩ外にあるピクセルの残りの電源が切断されることを引き起こすことができる。いくつかの例では、ピクセルアレイプログラミングマップはまた、異なる露光期間にわたって、ピクセルセルの異なるサブセットにおける測定データの記憶をスタガ配置する（ｓｔａｇｇｅｒ）ことができる。そのような仕組みは、ピクセルセルのアレイが、ホストに送信されるピクセルデータの量を低減するために、異なる露光期間において異なる領域がキャプチャされる画像フレームを生成することを可能にする。
【0040】
別の例では、ピクセルセルの電源を完全に切断する代わりに、プログラミングマップは、ＲＯＩ内のピクセルセルの量子化分解能を最大にしながら、ＲＯＩ外のピクセルセルの量子化分解能を低減することができる。そのような仕組みは、ホストが、ＲＯＩが妥当であることを確認するために、推定上ＲＯＩ外にあるピクセルセルから情報を抽出することを可能にし、これは、追跡動作を改善することができる。いくつかの例では、プログラミングマップは、フィードバックプロセスの一部としてホストアプリケーションによって生成され得、ホストアプリケーションは、画像センサーによって生成されたフル解像度画像からＲＯＩを決定し、ＲＯＩに基づいてプログラミングマップを生成し、プログラミングマップを周辺回路に送信して、ピクセルセルがＲＯＩ内にあるかどうかに基づいて各ピクセルセルを個々に構成する。ホストアプリケーションは、画像センサーによって提供される後続の画像データに基づいて、ＲＯＩおよびプログラミングマップを継続的に更新することができる。
【0041】
物体追跡のほかに、プログラミングマップはまた、ピクセルセルにおける光測定動作および／または測定データ生成を、たとえばシーンまたは特定の適用例に適応させるために使用され得る。適応は、たとえば、露光時間、量子化器帯域幅、量子化分解能などを調整することに基づき得る。たとえば、画像センサーによって提供された画像データから、ホストアプリケーションは、ピクセルセルのサブセットが強い光に露光されたと決定し得る。ホストアプリケーションは、適応露光方式の一部としてピクセルセルのサブセットについての露光時間を低減して、それらのピクセルセルによるブルーミングの可能性を低減するために、プログラミングマップを生成することができる。その上、ホストアプリケーションは、フレームがより高いフレームレートにおいて生成されることを必要とし得、より高いフレームレートを達成するために、露光時間を低減し、および／またはピクセルセルの量子化器帯域幅を増加させることができる。
【0042】
いくつかの例では、量子化器は、高光強度についてのフォトダイオードによって生成された電荷の量が飽和限界を超える時間を測定するための飽和までの時間（ＴＴＳ：ｔｉｍｅ－ｔｏ－ｓａｔｕｒａｔｉｏｎ）モード、および中光強度についてのフォトダイオードによってオーバーフロー電荷の量を測定するためのＦＤ ＡＤＣモード、および低光強度についてのフォトダイオードにおいて蓄積された残留電荷の量を測定するためのＰＤ ＡＤＣモードなど、異なる光強度範囲についての複数の量子化動作をサポートし得る。画像センサーによってキャプチャされた画像のピクセル値に基づいて、ホストアプリケーションは、ピクセルセルによって受け取られた光の強度範囲の分布を決定し、強度範囲の分布に基づいて各ピクセルセルのための量子化モードを選択し得る。選択は、各ピクセルセルによって受け取られる光の予想される強度に基づいて各ピクセルセルのための１つまたは複数の量子化動作を選択するための適応量子化方式の一部として、プログラミングマップにおいて符号化され得る。
【0043】
いくつかの例では、画像フレームのシーケンスから、ホストアプリケーションは、シーンが静的であると決定し得る。ホストアプリケーションは、次いで、電力を低減し、ホストに送られるピクセルデータの量を低減するために、たとえば、量子化器の帯域幅、メモリが測定データを更新するレートなどを低減することに基づいて、フレームレートを低減するために、プログラミングマップを生成することができる。
【0044】
いくつかの例では、画像センサーは、チップレベルプログラミング信号を生成することができるチップレベルプログラミング信号生成器をさらに含む。チップレベルプログラミング信号生成器は、すべてのピクセルセルの光測定動作および測定データ動作を構成するために、すべてのピクセルセルにチップレベルプログラミング信号を送信することができる。各ピクセルセルに記憶されたピクセルレベルプログラミングデータは、チップレベルプログラミング信号をゲートおよびオーバーライドすることができる。たとえば、チップレベルプログラミング信号は、すべてのピクセルセルについてのグローバル露光時間、すべてのピクセルセルによって実施されるべき量子化動作のグローバルセット、グローバル量子化分解能および／または帯域幅、各ピクセルセルのメモリに記憶されるべき測定データのグローバル精度などを設定することができる。各ピクセルセルは、これらのグローバル信号を入力として受け入れる、ピクセルレベルプログラミングデータによって制御可能な複数のマルチプレクサを含むことができる。ピクセルセルにローカルに記憶されたピクセルレベルプログラミングデータの第１のサブセットが、これらのチップレベルプログラミング信号をピクセルセルの光測定回路の異なる構成要素に受け渡すこと、またはこれらのチップレベルプログラミング信号をオーバーライドするためのピクセルレベルプログラミングデータの第２のサブセットを受け渡すことのいずれかを行うようにマルチプレクサを制御することができる。
【0045】
いくつかの例では、各ピクセルセルのメモリの一部が、ピクセルレベルプログラミングデータを記憶するためのシフトレジスタとして構成され得る。周辺回路からのグローバルシフト信号に応答して、各ピクセルセルにおけるシフトレジスタは、ピクセルレベルプログラミングデータをシフトし、ピクセルレベルプログラミングデータのビットの異なるサブセットを異なる時間に出力することができる。ピクセルレベルプログラミングデータのビットの各サブセットは、ピクセルセルにおける光測定動作および測定データ生成のための構成の異なるセットを定義することができる。そのような仕組みは、周辺回路によって受け取られるプログラミングマップの数と、周辺回路によって実施されるプログラミング動作の数とを低減しながら、ピクセルセルを連続的に構成することを可能にする。たとえば、あるプログラミング動作では、周辺回路は、構成のシーケンスを定義する命令のシーケンスを定義するピクセルレベルプログラミングデータを各ピクセルセルに送信することができる。各ピクセルセルは、次いで、命令／構成のシーケンスを取得するために、ピクセルレベルプログラミングデータの一部を連続的にシフトアウトすることができる。
【0046】
ピクセルセルの連続的な構成は、ピクセルセルの出力にアクセスするだけでなく、ピクセルセルについての異なる構成要件をも有する、複数のホストアプリケーションの動作を促進することができる。たとえば、ホストは、ＳＬＡＭアプリケーションと手追跡アプリケーションとを同時に動作させ得る。どちらのアプリケーションも、ピクセルセルによって出力された画像フレームを使用し得るが、各々は、ピクセルセルについての異なる構成要件を有する。たとえば、ＳＬＡＭアプリケーションは、より低いフレームレートを必要とするが、フル解像度画像フレームを必要とし得、手追跡アプリケーションは、より高いフレームレートを必要とするが、画像フレームのＲＯＩに関してのみ動作し得る。両方のアプリケーションをサポートするために、プログラミングマップは、ＳＬＡＭアプリケーション（たとえば、すべてのピクセルセルが有効化されるが、各々はより低速で量子化器を動作させる）のためのピクセルセルを構成するためのビットの第１のサブセットと、手追跡アプリケーション（たとえば、ＲＯＩに対応するピクセルセルのサブセットのみが有効化され、各有効化されたピクセルセルはより高速で量子化器を動作させる）のためのピクセルセルを構成するためのビットの第２のサブセットとを有するピクセルレベルプログラミングデータを含むことができる。周辺回路は、各ピクセルセルのシフトレジスタに記憶するために、単一のプログラミング動作において、プログラミングマップのピクセルレベルプログラミングデータをピクセルセルに送信することができる。周辺回路はまた、ピクセルレベルプログラミングデータをシフトして、ピクセルレベルプログラミングデータのビットの第１のサブセットを出力することとビットの第２のサブセットを出力することとを交替するために、各ピクセルセルのシフトレジスタにシフト信号を送信することができ、これは、ＳＬＡＭアプリケーションためのピクセルセルと手追跡アプリケーションのためのピクセルセルとを異なる時間に構成することができる。ホストは、たとえば、ＲＯＩのロケーションおよび／またはサイズの変化に基づいて、プログラミングマップを更新することができ、周辺回路は、後続のプログラミング動作において、更新されたピクセルレベルプログラミングデータをピクセルセルに送信することができる。
【0047】
いくつかの例では、複数のピクセルセルのシフトレジスタは、複数のピクセルセルにわたってスパンするシフトレジスタを形成するために接続され得、これは、ピクセルレベルプログラミングデータが、あるピクセルセルから別のピクセルセルに伝搬されることを可能にする。そのような仕組みは、周辺回路が別のプログラミング動作を実施することを必要とすることなしに、時間に関してピクセルセルプログラミングにおける空間シフトを提供することができる。いくつかの例では、そのような仕組みは、ＲＯＩによって追跡されている物体の移動を考慮するために、ＲＯＩのシフト、ならびにＲＯＩの一部として指定されたピクセルのサブセットのシフトを可能にする。
【0048】
いくつかの例では、各ピクセルセルはデジタル論理をさらに含み得、デジタル論理は、メモリと組み合わさって、ローカル状態機械を形成して、ピクセルレベルプログラミングデータまたは測定データのうちの少なくとも１つを操作することができる。適応露光期間など、様々な動作が、ローカル状態機械によってサポートされ得る。たとえば、ピクセルレベルプログラミングデータは、デフォルト露光期間に対してピクセルセルの露光期間を低減するかまたは増加させ得、ローカル状態機械は、調整された露光期間を考慮するために測定データをスケールアップまたはスケールダウンすることができる。別の例として、ピクセルレベルプログラミングデータによって設定された露光期間において取得された測定データに基づいて、デジタル論理は、ピクセルレベルプログラミングデータによって設定された露光期間が長すぎるまたは短すぎると決定し得、次のフレームの生成のための次の露光期間を設定するようにピクセルレベルプログラミングデータを調整することができる。
【0049】
開示される技法によれば、画像センサーの各ピクセルセルは、特定のホストアプリケーションの要件に従って個々に構成され得る。その上、ホストは、ホストアプリケーションの出力に基づいてピクセルセルを個々に構成するためのプログラミングマップを生成することができるので、画像センサーの動作は、ホストアプリケーションとより緊密に結合され得る。その上、ピクセルレベルプログラミングデータを各ピクセルセルにローカルに記憶することによって、周辺回路によって実施されるプログラミング動作が低減され得る。その上、ピクセルレベルプログラミングデータをシフトレジスタに記憶することと、ピクセルレベルプログラミングデータが、あるピクセルセルから別のピクセルセルに伝搬することを可能にすることとはまた、単一のプログラミング動作からの異なるピクセルセルのための命令のシーケンスの作成を可能にし、これは、さらに、ホストアプリケーションのためのピクセルセルにおける動作を調整するために必要とされるプログラミング動作を低減することができる。これらのすべては、システム全体の電力および帯域幅を低減しながら、ホストアプリケーションの性能を改善することができる。
【0050】
開示される技法は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において別様に使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
【0051】
図１Ａは、ニアアイディスプレイ１００の一実施形態の図である。ニアアイディスプレイ１００は、ユーザにメディアを提示する。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００、コンソール、またはその両方からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータを提示する。ニアアイディスプレイ１００は、概して、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの実施形態では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。
【0052】
ニアアイディスプレイ１００は、フレーム１０５とディスプレイ１１０とを含む。フレーム１０５は、１つまたは複数の光学要素に結合される。ディスプレイ１１０は、ユーザがニアアイディスプレイ１００によって提示されたコンテンツを見るように構成される。いくつかの実施形態では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの眼に向けるための導波路ディスプレイアセンブリを備える。
【0053】
ニアアイディスプレイ１００は、画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルアレイを含み得る。たとえば、センサー１２０ａおよび１２０ｂは、Ｚ軸に沿った方向Ａに向かう２つの視野を表す画像データを提供するように構成され得、センサー１２０ｃは、Ｘ軸に沿った方向Ｂに向かう視野を表す画像データを提供するように構成され得、センサー１２０ｄは、Ｘ軸に沿った方向Ｃに向かう視野を表す画像データを提供するように構成され得る。
【0054】
いくつかの実施形態では、センサー１２０ａ～１２０ｄは、ニアアイディスプレイ１００を装着したユーザにインタラクティブＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００のディスプレイコンテンツを制御するかまたはニアアイディスプレイ１００のディスプレイコンテンツに影響を与えるための入力デバイスとして構成され得る。たとえば、センサー１２０ａ～１２０ｄは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境におけるユーザのロケーションおよび／または移動の経路を追跡するためのロケーション追跡システムに提供され得る。システムは、次いで、インタラクティブ体験を提供するために、たとえば、ユーザのロケーションおよび向きに基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの実施形態では、ロケーション追跡システムは、ユーザが物理的環境内を移動するにつれて、物理的環境におけるおよびユーザの視野内の物体のセットを追跡するために、ＳＬＡＭアルゴリズムを動作させ得る。ロケーション追跡システムは、物体のセットに基づいて物理的環境のマップを構築および更新し、マップ内のユーザのロケーションを追跡することができる。複数の視野に対応する画像データを提供することによって、センサー１２０ａ～１２０ｄは、ロケーション追跡システムに物理的環境のより全体的なビューを提供することができ、これは、より多くの物体がマップの構築および更新に含まれることにつながり得る。そのような仕組みにより、物理的環境内のユーザのロケーションを追跡することの正確さおよびロバストネスが改善され得る。
【0055】
いくつかの実施形態では、ニアアイディスプレイ１００は、物理的環境に光を投影するための１つまたは複数のアクティブ照明器１３０をさらに含み得る。投影された光は、異なる周波数スペクトル（たとえば、可視光、赤外光、紫外光など）に関連付けられ得、様々な目的を果たすことができる。たとえば、照明器１３０は、たとえば、ユーザのロケーション追跡を可能にするために、センサー１２０ａ～１２０ｄが暗い環境内の異なる物体の画像をキャプチャするのを支援するために、暗い環境において（または、低強度の赤外光、紫外光などを伴う環境において）光を投影し得る。照明器１３０は、ロケーション追跡システムがマップ構築／更新のために物体を識別するのを支援するために、環境内の物体上にいくつかのマーカーを投影し得る。
【0056】
いくつかの実施形態では、照明器１３０は、立体撮像をも可能にし得る。たとえば、センサー１２０ａまたは１２０ｂのうちの１つまたは複数は、可視光検知のための第１のピクセルアレイと赤外（ＩＲ）光検知のための第２のピクセルアレイの両方を含むことができる。第１のピクセルアレイは、色フィルタ（たとえば、バイエルフィルタ）でオーバーレイされ得、第１のピクセルアレイの各ピクセルが、特定の色（たとえば、赤色、緑色または青色のうちの１つ）に関連付けられた光の強度を測定するように構成される。また、（ＩＲ光検知のための）第２のピクセルアレイは、ＩＲ光の通過のみを可能にするフィルタでオーバーレイされ得、第２のピクセルアレイの各ピクセルが、ＩＲ光の強度を測定するように構成される。ピクセルアレイは、物体のＲＧＢ画像およびＩＲ画像を生成することができ、ＩＲ画像の各ピクセルが、ＲＧＢ画像の各ピクセルにマッピングされる。照明器１３０は、物体上にＩＲマーカーのセットを投影し得、その画像は、ＩＲピクセルアレイによってキャプチャされ得る。画像に示されている物体のＩＲマーカーの分布に基づいて、システムは、ＩＲピクセルアレイからの物体の異なる部分の距離を推定し、その距離に基づいて物体の立体画像を生成することができる。物体の立体画像に基づいて、システムは、たとえば、ユーザに対する物体の相対位置を決定することができ、インタラクティブ体験を提供するために、相対位置情報に基づいて、ディスプレイ１００に提供された画像データを更新することができる。
【0057】
上記で説明されたように、ニアアイディスプレイ１００は、極めて広範囲の光強度に関連する環境において動作され得る。たとえば、ニアアイディスプレイ１００は、屋内環境または屋外環境において、および／あるいは１日の異なる時間において動作され得る。ニアアイディスプレイ１００はまた、アクティブ照明器１３０がオンにされていてもいなくても動作し得る。その結果、画像センサー１２０ａ～１２０ｄは、ニアアイディスプレイ１００のための異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること（たとえば、入射光の強度と相関する出力を生成すること）が可能であるために、広いダイナミックレンジを有する必要があり得る。
【0058】
図１Ｂは、ニアアイディスプレイ１００の別の実施形態の図である。図１Ｂは、ニアアイディスプレイ１００を装着したユーザの（１つまたは複数の）眼球１３５に面するニアアイディスプレイ１００の側面を示す。図１Ｂに示されているように、ニアアイディスプレイ１００は、複数の照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含み得る。ニアアイディスプレイ１００は、複数の画像センサー１５０ａおよび１５０ｂをさらに含む。照明器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａと反対である）方向Ｄに向かってある周波数範囲の光（たとえば、ＮＩＲ）を放出し得る。放出された光は、あるパターンに関連付けられ得、ユーザの左眼球によって反射され得る。センサー１５０ａは、反射された光を受け取り、反射パターンの画像を生成するためのピクセルアレイを含み得る。同様に、照明器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを搬送するＮＩＲ光を放出し得る。ＮＩＲ光は、ユーザの右眼球によって反射され得、センサー１５０ｂによって受け取られ得る。センサー１５０ｂも、反射パターンの画像を生成するためのピクセルアレイを含み得る。センサー１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいて、ディスプレイ１００に提供された画像データを更新することができる。
【0059】
上記で説明されたように、ユーザの眼球に損傷を与えることを回避するために、照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆは、一般的に、極めて低強度の光を出力するように構成される。画像センサー１５０ａおよび１５０ｂが図１Ａの画像センサー１２０ａ～１２０ｄと同じセンサーデバイスを備える場合、画像センサー１２０ａ～１２０ｄは、入射光の強度が極めて低いときに入射光の強度と相関する出力を生成することが可能である必要があり得、これは、画像センサーのダイナミックレンジ要件をさらに増加させ得る。
【0060】
その上、画像センサー１２０ａ～１２０ｄは、眼球の移動を追跡するために高速で出力を生成することが可能である必要があり得る。たとえば、ユーザの眼球は、ある眼球位置から別の眼球位置への素早いジャンプがあり得る極めて急速な移動（たとえば、サッカード運動（ｓａｃｃａｄｅ ｍｏｖｅｍｅｎｔ））を実施することができる。ユーザの眼球の急速な移動を追跡するために、画像センサー１２０ａ～１２０ｄは、高速で眼球の画像を生成する必要がある。たとえば、画像センサーが画像フレームを生成するレート（フレームレート）は、少なくとも、眼球の移動の速度に一致する必要がある。高いフレームレートは、画像フレームを生成することに関与するピクセルセルのすべてについての短い総露光時間、ならびに、画像生成のためにセンサー出力をデジタル値に変換するための高い速度を必要とする。その上、上記で説明されたように、画像センサーは、低光強度を伴う環境において動作することが可能である必要もある。
【0061】
図２は、図１に示されているニアアイディスプレイ１００の断面２００の一実施形態である。ディスプレイ１１０が、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ユーザがニアアイディスプレイ１００を装着したときにユーザの単一の眼球２２０がアイボックス（ｅｙｅｂｏｘ）領域中に配置されるロケーションである。例示の目的で、図２は、眼球２２０と単一の導波路ディスプレイアセンブリ２１０に関連する断面２００を示すが、第２の導波路ディスプレイがユーザの第２の眼のために使用される。
【0062】
導波路ディスプレイアセンブリ２１０は、画像光を、射出瞳２３０に位置するアイボックスに、および眼球２２０に向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率をもつ１つまたは複数の材料（たとえば、プラスチック、ガラスなど）から構成され得る。いくつかの実施形態では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学要素を含む。
【0063】
いくつかの実施形態では、導波路ディスプレイアセンブリ２１０は、制限はしないが、積層導波路ディスプレイ、可変焦点導波路ディスプレイなどを含む、１つまたは複数の導波路ディスプレイのスタックを含む。積層導波路ディスプレイは、それぞれの単色ソースが異なる色のものである導波路ディスプレイを積層することによって作り出された多色ディスプレイ（たとえば、赤緑青（ＲＧＢ）ディスプレイ）である。積層導波路ディスプレイは、複数の平面上に投影され得る多色ディスプレイ（たとえば、多平面カラーディスプレイ）でもある。いくつかの構成では、積層導波路ディスプレイは、複数の平面上に投影され得る単色ディスプレイ（たとえば、多平面単色ディスプレイ）である。可変焦点導波路ディスプレイは、導波路ディスプレイから放出された画像光の焦点位置を調整することができるディスプレイである。代替実施形態では、導波路ディスプレイアセンブリ２１０は、積層導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。
【0064】
図３は、導波路ディスプレイ３００の一実施形態の等角図を示す。いくつかの実施形態では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（たとえば、導波路ディスプレイアセンブリ２１０）である。いくつかの実施形態では、導波路ディスプレイ３００は、画像光を特定のロケーションに向ける何らかの他のニアアイディスプレイまたは他のシステムの一部である。
【0065】
導波路ディスプレイ３００は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。例示の目的で、図３は、単一の眼球２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの実施形態では、導波路ディスプレイ３００とは別個の、または部分的に別個の別の導波路ディスプレイが、ユーザの別の眼に画像光を提供する。
【0066】
ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０－１上に位置する結合要素３５０に出力する。出力導波路３２０は、拡大された画像光３４０をユーザの眼球２２０に出力する光導波路である。出力導波路３２０は、第１の側面３７０－１上に位置する１つまたは複数の結合要素３５０において画像光３５５を受け取り、受け取られた入力画像光３５５を方向付け要素３６０に導く。いくつかの実施形態では、結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。
【0067】
方向付け要素３６０は、受け取られた入力画像光３５５が分離要素３６５を介して出力導波路３２０から分離されるように、受け取られた入力画像光３５５を分離要素３６５に向け直す。方向付け要素３６０は、出力導波路３２０の第１の側面３７０－１の一部であるか、または出力導波路３２０の第１の側面３７０－１に取り付けられる。分離要素３６５は、方向付け要素３６０が分離要素３６５に対向するように、出力導波路３２０の第２の側面３７０－２の一部であるか、または出力導波路３２０の第２の側面３７０－２に取り付けられる。方向付け要素３６０および／または分離要素３６５は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。
【0068】
第２の側面３７０－２は、ｘ次元およびｙ次元に沿った平面を表す。出力導波路３２０は、画像光３５５の内部全反射を促進する１つまたは複数の材料から構成され得る。出力導波路３２０は、たとえば、シリコン、プラスチック、ガラス、および／またはポリマーから構成され得る。出力導波路３２０は、比較的小さいフォームファクタを有する。たとえば、出力導波路３２０は、ｘ次元に沿って幅約５０ｍｍ、ｙ次元に沿って長さ約３０ｍｍ、およびｚ次元に沿って厚さ約０．５～１ｍｍであり得る。
【0069】
コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０のためのスキャン命令を決定する。いくつかの実施形態では、出力導波路３２０は、拡大された画像光３４０を大きい視野（ＦＯＶ）でユーザの眼球２２０に出力する。たとえば、拡大された画像光３４０は、６０度のおよび／またはそれよりも大きい、ならびに／あるいは１５０度のおよび／またはそれよりも小さい（ｘおよびｙにおける）対角ＦＯＶでユーザの眼球２２０に提供される。出力導波路３２０は、２０ｍｍ以上および／または５０ｍｍ以下の長さ、ならびに／あるいは１０ｍｍ以上および／または５０ｍｍ以下の幅をもつアイボックスを提供するように構成される。
【0070】
その上、コントローラ３３０は、画像センサー３７０によって提供される画像データに基づいて、ソースアセンブリ３１０によって生成される画像光３５５をも制御する。画像センサー３７０は、第１の側面３７０－１上に位置し得、たとえば、図１Ａの画像センサー１２０ａ～１２０ｄを含み得る。画像センサー１２０ａ～１２０ｄは、たとえば、（たとえば、第１の側面３７０－１に面する）ユーザの前にある物体３７２の、２Ｄ検知および３Ｄ検知を実施するように動作され得る。２Ｄ検知の場合、画像センサー１２０ａ～１２０ｄの各ピクセルセルは、光源３７６によって生成され、物体３７２から反射された光３７４の強度を表すピクセルデータを生成するように動作され得る。３Ｄ検知の場合、画像センサー１２０ａ～１２０ｄの各ピクセルセルは、照明器３２５によって生成された光３７８についての飛行時間測定を表すピクセルデータを生成するように動作され得る。たとえば、画像センサー１２０ａ～１２０ｄの各ピクセルセルは、照明器３２５が光３７８を投影することを可能にされた第１の時間と、ピクセルセルが、物体３７２から反射された光３７８を検出する第２の時間とを決定することができる。第１の時間と第２の時間との間の差は、画像センサー１２０ａ～１２０ｄと物体３７２との間の光３７８の飛行時間を指示することができ、飛行時間情報は、画像センサー１２０ａ～１２０ｄと物体３７２との間の距離を決定するために使用され得る。画像センサー１２０ａ～１２０ｄは、異なる時間に２Ｄ検知と３Ｄ検知とを実施するように動作され、導波路ディスプレイ３００内に位置し得る（または位置しないことがある）リモートコンソール３９０に、２Ｄ画像データおよび３Ｄ画像データを提供することができる。リモートコンソールは、たとえば、ユーザが位置する環境の３Ｄモデルを生成するために、ユーザのロケーションおよび／または向きを追跡するためになど、２Ｄ画像と３Ｄ画像とを組み合わせ得る。リモートコンソールは、２Ｄ画像および３Ｄ画像から導出された情報に基づいて、ユーザに表示されるべき画像のコンテンツを決定し得る。リモートコンソールは、決定されたコンテンツに関係する命令をコントローラ３３０に送信することができる。命令に基づいて、コントローラ３３０は、ユーザにインタラクティブ体験を提供するために、ソースアセンブリ３１０による画像光３５５の生成および出力を制御することができる。
【0071】
図４は、導波路ディスプレイ３００の断面４００の一実施形態を示す。断面４００は、ソースアセンブリ３１０と、出力導波路３２０と、画像センサー３７０とを含む。図４の例では、画像センサー３７０は、ユーザの前にある物理的環境の画像を生成するために、第１の側面３７０－１上に位置するピクセルセル４０２のセットを含み得る。いくつかの実施形態では、ピクセルセル４０２のセットと物理的環境との間に挿入された、機械的シャッター４０４および光学フィルタアレイ４０６があり得る。機械的シャッター４０４は、ピクセルセル４０２のセットの露光を制御することができる。いくつかの実施形態では、機械的シャッター４０４は、以下で説明されるように、電子シャッターゲートと置き換えられ得る。光学フィルタアレイ４０６は、以下で説明されるように、ピクセルセル４０２のセットが露光される光の光波長範囲を制御することができる。ピクセルセル４０２の各々は、画像の１つのピクセルに対応し得る。図４には示されていないが、ピクセルセル４０２の各々はまた、ピクセルセルによって検知されるべき光の光波長範囲を制御するために、フィルタでオーバーレイされ得ることを理解されたい。
【0072】
リモートコンソールから命令を受け取った後に、機械的シャッター４０４は、露光期間において開き、ピクセルセル４０２のセットを露光することができる。露光期間中に、画像センサー３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。画像センサー３７０は、次いで、画像データを、ディスプレイコンテンツを決定しディスプレイコンテンツ情報をコントローラ３３０に提供するリモートコンソールに提供することができる。コントローラ３３０は、次いで、ディスプレイコンテンツ情報に基づいて画像光３５５を決定することができる。
【0073】
ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、ソース４１０と光学システム４１５とを含む。ソース４１０は、コヒーレント光または部分的にコヒーレントな光を生成する光源である。ソース４１０は、たとえば、レーザーダイオード、垂直キャビティ面発光レーザー、および／または発光ダイオードであり得る。
【0074】
光学システム４１５は、ソース４１０からの光を調節する１つまたは複数の光学的構成要素を含む。ソース４１０からの光を調節することは、たとえば、コントローラ３３０からの命令に従って拡大し、コリメートし、および／または向きを調整することを含み得る。１つまたは複数の光学的構成要素は、１つまたは複数のレンズ、液体レンズ、ミラー、開口、および／または格子を含み得る。いくつかの実施形態では、光学システム４１５は、光ビームを液体レンズ外の領域にシフトするためにしきい値のスキャン角度を伴う光ビームのスキャンを可能にする複数の電極をもつ液体レンズを含む。光学システム４１５（同じくソースアセンブリ３１０）から放出される光は、画像光３５５と呼ばれる。
【0075】
出力導波路３２０は、画像光３５５を受け取る。結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０が回折格子である実施形態では、内部全反射が出力導波路３２０中で発生し、画像光３５５が、分離要素３６５に向かって、（たとえば、内部全反射によって）出力導波路３２０中を内部的に伝搬するように、回折格子のピッチが選定される。
【0076】
方向付け要素３６０は、出力導波路３２０から分離するために、画像光３５５を分離要素３６５のほうへ向け直す。方向付け要素３６０が回折格子である実施形態では、回折格子のピッチは、入射画像光３５５が、分離要素３６５の表面に対して（１つまたは複数の）傾斜角において出力導波路３２０を出ることを引き起こすように選定される。
【0077】
いくつかの実施形態では、方向付け要素３６０および／または分離要素３６５は、構造的に同様である。出力導波路３２０を出た拡大された画像光３４０は、１つまたは複数の次元に沿って拡大される（たとえば、ｘ次元に沿って延長され得る）。いくつかの実施形態では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０と複数の出力導波路３２０とを含む。ソースアセンブリ３１０の各々は、原色（たとえば、赤、緑、または青）に対応する、波長の固有の帯域の単色画像光を放出する。出力導波路３２０の各々は、多色である拡大された画像光３４０を出力するために、離間距離を伴って一緒に積層され得る。
【0078】
図５は、ニアアイディスプレイ１００を含むシステム５００の一実施形態のブロック図である。システム５００は、各々制御回路要素５１０に結合された、ニアアイディスプレイ１００と、撮像デバイス５３５と、入出力インターフェース５４０と、画像センサー１２０ａ～１２０ｄおよび１５０ａ～１５０ｂとを備える。システム５００は、ヘッドマウントデバイス、モバイルデバイス、ウェアラブルデバイスなどとして構成され得る。
【0079】
ニアアイディスプレイ１００は、ユーザにメディアを提示するディスプレイである。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００および／または制御回路要素５１０からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータをユーザに提示する。いくつかの実施形態では、ニアアイディスプレイ１００はまた、ＡＲアイウェアグラスとして働き得る。いくつかの実施形態では、ニアアイディスプレイ１００は、コンピュータ生成された要素（たとえば、画像、ビデオ、音など）を用いて、物理的現実世界の環境のビューを増強する。
【0080】
ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数の位置センサー５２５、および／または慣性測定ユニット（ＩＭＵ）５３０を含む。導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。
【0081】
ＩＭＵ５３０は、位置センサー５２５のうちの１つまたは複数から受け取られた測定信号に基づいて、ニアアイディスプレイ１００の初期位置に対するニアアイディスプレイ１００の推定位置を指示する高速較正データを生成する電子デバイスである。
【0082】
撮像デバイス５３５は、様々な用途のための画像データを生成し得る。たとえば、撮像デバイス５３５は、制御回路要素５１０から受け取られた較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス５３５は、たとえば、ユーザのロケーション追跡を実施するために、ユーザが位置する物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ～１２０ｄを含み得る。撮像デバイス５３５は、たとえば、ユーザの関心物体を識別するために、ユーザの注視点を決定するための画像データを生成するために、図１Ｂの画像センサー１５０ａ～１５０ｂをさらに含み得る。
【0083】
入出力インターフェース５４０は、ユーザが制御回路要素５１０にアクション要求を送ることを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、アプリケーションを開始または終了するためのものであるか、あるいはアプリケーション内で特定のアクションを実施するためのものであり得る。
【0084】
制御回路要素５１０は、撮像デバイス５３５、ニアアイディスプレイ１００、および入出力インターフェース５４０のうちの１つまたは複数から受け取られた情報に従って、ユーザへの提示のためのメディアをニアアイディスプレイ１００に提供する。いくつかの例では、制御回路要素５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収容され得る。いくつかの例では、制御回路要素５１０は、システム５００の他の構成要素と通信可能に結合されたスタンドアロンコンソールデバイスであり得る。図５に示されている例では、制御回路要素５１０は、アプリケーションストア５４５と、追跡モジュール５５０と、エンジン５５５とを含む。
【0085】
アプリケーションストア５４５は、制御回路要素５１０が実行するための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。
【0086】
追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、ニアアイディスプレイ１００の位置の決定における誤差を低減するために、１つまたは複数の較正パラメータを調整し得る。
【0087】
追跡モジュール５５０は、撮像デバイス５３５からの低速較正情報を使用して、ニアアイディスプレイ１００の移動を追跡する。追跡モジュール５５０はまた、高速較正情報からの位置情報を使用して、ニアアイディスプレイ１００の基準点の位置を決定する。
【0088】
エンジン５５５は、システム５００内でアプリケーションを実行し、追跡モジュール５５０から、ニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または予測された将来の位置を受け取る。いくつかの実施形態では、エンジン５５５によって受け取られた情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリ２１０への信号（たとえば、ディスプレイ命令）をもたらすために使用され得る。たとえば、インタラクティブ体験を提供するために、エンジン５５５は、（たとえば、追跡モジュール５５０によって提供される）ユーザのロケーション、または（たとえば、撮像デバイス５３５によって提供される画像データに基づく）ユーザの注視点、（たとえば、撮像デバイス５３５によって提供される画像データに基づく）物体とユーザとの間の距離に基づいて、ユーザに提示されるべきコンテンツを決定し得る。
【0089】
図６Ａ、図６Ｂ、図６Ｃ、および図６Ｄは、画像センサー６００およびその動作の例を示す。図６Ａに示されているように、画像センサー６００は、ピクセルセル６０１を含むピクセルセルのアレイを含むことができ、画像のピクセルに対応するデジタル強度データを生成することができる。ピクセルセル６０１は、図４のピクセルセル４０２の一部であり得る。図６Ａに示されているように、ピクセルセル６０１は、フォトダイオード６０２と、電子シャッタートランジスタ６０３と、転送トランジスタ６０４と、電荷貯蔵デバイス６０５と、バッファ６０６と、量子化器６０７とを含み得る。フォトダイオード６０２は、たとえば、Ｐ－Ｎダイオード、Ｐ－Ｉ－Ｎダイオード、ピン止めダイオードなどを含み得るが、電荷貯蔵デバイス６０５は、転送トランジスタ６０４のフローティングドレインノードであり得る。フォトダイオード６０２は、露光期間内に光を受け取ると、残留電荷を生成および蓄積することができる。露光期間内の残留電荷による飽和時に、フォトダイオード６０２は、転送トランジスタ６０４を介して電荷貯蔵デバイス６０５にオーバーフロー電荷を出力することができる。電荷貯蔵デバイス６０５は、オーバーフロー電荷を電圧に変換することができ、電圧は、バッファ６０６によってバッファされ得る。バッファされた電圧は、たとえば、露光期間内にフォトダイオード６０２によって受け取られた光の強度を表すために、測定データ６０８を生成するために量子化器６０７によって量子化され得る。
【0090】
量子化器６０７は、バッファされた電圧を、異なる強度範囲に関連付けられた異なる量子化動作のための異なるしきい値と比較するための、比較器を含み得る。たとえば、フォトダイオード６０２によって生成されたオーバーフロー電荷の量が電荷貯蔵デバイス６０５の飽和限界を超える、高強度範囲の場合、量子化器６０７は、バッファされた電圧が、飽和限界を表す静的しきい値を超えるかどうかを検出することと、バッファされた電圧が静的しきい値を超える場合、バッファされた電圧が静的しきい値を超えるのに要する時間を測定することとによって、飽和までの時間（ＴＴＳ）測定動作を実施することができる。測定された時間は、光強度に反比例し得る。また、フォトダイオードが残留電荷によって飽和されるが、オーバーフロー電荷が電荷貯蔵デバイス６０５の飽和限界を下回るままである、中強度範囲の場合、量子化器６０７は、電荷貯蔵デバイス６０５に貯蔵されたオーバーフロー電荷の量を測定するために、ＦＤ ＡＤＣ動作を実施することができる。さらに、フォトダイオードが残留電荷によって飽和されず、オーバーフロー電荷が電荷貯蔵デバイス６０５において蓄積されない、低強度範囲の場合、量子化器６０７は、フォトダイオード６０２において蓄積された残留電荷の量を測定するために、ＰＤ ＡＤＣ動作を実施することができる。ＴＴＳ動作、ＦＤ ＡＤＣ動作、またはＰＤ ＡＤＣ動作のうちの１つの出力は、画像６１０を形成するために、光の強度を表すための測定データ６０８として出力され得る。
【0091】
図６Ｂは、ピクセルセル６０１の動作の例示的なシーケンスを示す。図６Ｂに示されているように、露光期間は、有効化されたとき、フォトダイオード６０２によって生成された電荷を遠くへ誘導する（ｓｔｅｅｒ）ことができる、電子シャッタートランジスタ６０３を制御するＡＢ信号のタイミングに基づいて、および、読出しのために電荷貯蔵デバイス６０５にオーバーフロー電荷を転送し、次いで残留電荷を転送するように制御され得る、転送トランジスタ６０４を制御するＴＧ信号のタイミングに基づいて定義され得る。たとえば、図６Ｂを参照すると、ＡＢ信号は、フォトダイオード６０２が電荷を生成することを可能にするために、時間Ｔ０においてアサート解除され得る。Ｔ０は、露光期間の開始をマークすることができる。露光期間内に、ＴＧ信号は、フォトダイオード６０２が飽和するまで、フォトダイオード６０２が残留電荷として電荷の少なくとも一部を蓄積することを可能にするために、部分的にオンの状態に転送トランジスタ６０４を設定することができ、その後に、オーバーフロー電荷が電荷貯蔵デバイス６０５に転送され得る。時間Ｔ０と時間Ｔ１との間に、量子化器６０７は、電荷貯蔵デバイス６０５におけるオーバーフロー電荷が飽和限界を超えるかどうかを決定するために、ＴＴＳ動作を実施することができ、次いで、時間Ｔ１と時間Ｔ２との間に、量子化器６０７は、電荷貯蔵デバイス６０５におけるオーバーフロー電荷の量を測定するために、ＦＤ ＡＤＣ動作を実施することができる。時間Ｔ２と時間Ｔ３との間に、ＴＧ信号は、電荷貯蔵デバイス６０５に残留電荷を転送するために、完全にオンの状態にある転送トランジスタ６０４をバイアスするためにアサートされ得る。時間Ｔ３において、ＴＧ信号は、フォトダイオード６０２から電荷貯蔵デバイス６０５を隔離するためにアサート解除され得るが、ＡＢ信号は、フォトダイオード６０２によって生成された電荷を遠くへ誘導するためにアサートされ得る。時間Ｔ３は、露光期間の終了をマークすることができる。時間Ｔ３と時間Ｔ４との間に、量子化器６０７は、残留電荷の量を測定するためにＰＤ動作を実施することができる。
【0092】
ＡＢ信号およびＴＧ信号は、露光期間の持続時間と量子化動作のシーケンスとを制御するために、ピクセルセル６０１の一部であり得るコントローラ（図６Ａに図示せず）によって生成され得る。コントローラはまた、測定データ６０８として、ＴＴＳ動作、ＦＤ ＡＤＣ動作、またはＰＤ ＡＤＣ動作のうちの１つからの出力を選択するために、電荷貯蔵デバイス６０５が飽和されたかどうかと、フォトダイオード６０２が飽和されたかどうかとを検出することができる。たとえば、電荷貯蔵デバイス６０５が飽和された場合、コントローラは、測定データ６０８としてＴＴＳ出力を提供することができる。電荷貯蔵デバイス６０５は飽和されないが、フォトダイオード６０２が飽和された場合、コントローラは、測定データ６０８としてＦＤ ＡＤＣ出力を提供することができる。フォトダイオード６０２が飽和されない場合、コントローラは、測定データ６０８としてＰＤ ＡＤＣ出力を提供することができる。露光期間内に生成された画像センサー６００の各ピクセルセルからの測定データ６０８は、画像フレームを形成することができる。コントローラは、後続の画像フレームを生成するために、後続の露光期間において図６Ｂ中の動作のシーケンスを繰り返すことができる。
【0093】
画像センサー６００からの画像フレームデータは、物体６１２を識別および追跡すること、画像センサー６００に対して物体６１２の深度検知を実施することなど、異なる用途をサポートするために、ホストプロセッサ（図６Ａ～図６Ｄに図示せず）に送信され得る。すべてのこれらの用途について、ピクセルセルのサブセットのみが、関連情報（たとえば、物体６１２のピクセルデータ）を提供するが、ピクセルセルの残りは、関連情報を提供しない。たとえば、図６Ｃを参照すると、時間Ｔ０において、画像センサー６００のピクセルセルのグループ６２０が、物体６１２によって反射された光を受け取るが、時間Ｔ６において、物体６１２は、（たとえば、物体６１２の移動、画像センサー６００の移動、またはその両方により）位置を変えていることがあり、画像センサー６００のピクセルセルのグループ６３０が、物体６１２によって反射された光を受け取る。
【0094】
いくつかの例では、画像センサー６００は、送信されているピクセルデータの量を低減するために、ホストプロセッサに、ピクセルセルのグループ６２０および６３０からのピクセルデータのみを送信することができる。いくつかの例では、画像センサー６００はまた、ピクセルデータを送信するためにすべてのピクセルを有することができるが、ピクセルセルのグループ６２０および６３０は、他のものとは異なる構成を有することができる。たとえば、ピクセルセルのグループ６２０および６３０は、物体６１２の画像を表すために、より高い量子化分解能でピクセルデータを生成および出力することができるが、ピクセルセルの残りは、より低い解像度でピクセルデータを生成および出力することができる。別の例として、ピクセルセル６２０および６３０は、他のものよりも長い露光期間を有することができる。すべてのこれらの仕組みは、電力および帯域幅の対応する増加なしに、より高い解像度の画像の生成および送信を可能にすることができる。たとえば、より多くのピクセルセルを含むより大きいピクセルセルアレイが、画像解像度を改善するために、物体６１２を撮像するために使用され得るが、改善された画像解像度を提供するために必要とされる帯域幅および電力は、物体６１２のピクセルデータを提供するピクセルセルを含むピクセルセルのサブセットのみが、高解像度ピクセルデータを生成し、その高解像度ピクセルデータをホストプロセッサに送信するが、ピクセルセルの残りは、ピクセルデータを生成／送信していないか、または極めて低い解像度でピクセルデータを生成／送信しているかのいずれかであるとき、低減され得る。その上、画像センサー６００は、より高いフレームレートにおいて画像を生成するように動作され得るが、帯域幅および電力の増加は、高解像度であり、多数のビットによって表される、ピクセル値の小さいセットのみを各画像が含むが、ピクセル値の残りが、極めて低い解像度であり、より少ない数のビットによって表されるとき、低減され得る。
【0095】
ピクセルデータ送信の量はまた、３Ｄ検知の場合、低減され得る。たとえば、図６Ｄを参照すると、照明器６４０が、物体６５０上に構造化光のパターン６４２を投影することができる。構造化光は、物体６５０の表面上で反射され得、反射された光のパターン６５２が、画像を生成するために画像センサー６００によってキャプチャされ得る。ホストプロセッサは、パターン６５２をパターン６４２と照合し、画像におけるパターン６５２の画像ロケーションに基づいて、画像センサー６００に対する物体６５０の深度を決定することができる。３Ｄ検知について、ピクセルセル６６０、６６２、６６４、および６６６のグループのみが、関連情報（たとえば、パターン６５２のピクセルデータ）を含んでいる。送信されているピクセルデータの量を低減するために、画像センサー６００は、ホストプロセッサに、ピクセルセル６６０、６６２、６６４、および６６６のグループからのピクセルデータのみを送るように構成されるか、または、ピクセルセル６６０、６６２、６６４、および６６６のグループからのピクセルデータを高解像度で送るが、ピクセルデータの残りは低解像度であるように構成され得る。
【0096】
図７Ａおよび図７Ｂは、画像処理システム７００およびその動作の例を示す。画像処理システム７００は、ホストデバイス７０２と画像センサー７０４とを含む。ホストデバイス７０２は、たとえば、２Ｄ検知と３Ｄ検知との融合、物体認識および追跡、ロケーション追跡などを含む、動作を実施することができるアプリケーション７０８を動作させるホストプロセッサ７０６を含むことができる。いくつかの例では、画像処理システム７００は、モバイルデバイス中にあり得る。いくつかの例では、処理システム７００は、複数の別個のデバイスにスプリットされ得る。たとえば、ホストデバイス７０２は、パーソナルコンピュータ（ＰＣ）、スマートフォン、カメラ基地局、または、中央処理ユニット（ＣＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マイクロコントローラユニット（ＭＣＵ）などの集積回路であり得る。ホストデバイス７０２と画像センサー７０４とは、モバイルインダストリプロセッサインターフェース（ＭＩＰＩ）規格に適合する相互接続など、相互接続（図７Ａに図示せず）を介して、電気的に接続され得る。いくつかの例では、ホストデバイス７０２と画像センサー７０４とはまた、同じダイ上にあり得るか、または半導体パッケージ内に収容された積層センサーシステムの異なる層上にあり得る。
【0097】
図７Ａを参照すると、画像センサー７０４は、周辺回路７１６と、ピクセルセルアレイ７１８と、グローバル信号生成器７１９とを含む。ピクセルセルアレイ７１８の各ピクセルセルは、ピクセルデータを生成するための光測定動作を実施するために、フォトダイオード６０２、電子シャッタートランジスタ６０３、転送ゲート６０４、電荷貯蔵デバイス６０５、および量子化器６０７など、図６Ａのピクセルセル６０１と同様の構成要素を含むことができる。いくつかの例では、ピクセルセルアレイ７１８中の各ピクセルセルは、各ピクセルセルにおける光測定動作を構成／プログラムするためのピクセルレベルプログラミングデータを記憶することと、光測定動作からの測定データを記憶することとを行うためのメモリを含み得る。いくつかの例では、ピクセルセルのブロック（たとえば、ピクセルセルの２×２ブロック）は、ピクセルセルのブロックにおける光測定動作を構成／プログラムするためのピクセルレベルプログラミングデータを記憶することと、ピクセルセルのブロックからの測定データを記憶することとを行うためにメモリを共有することができる。各ピクセルセル、またはピクセルセルの各ブロックは、個々にアドレス指定可能であり得、これは、各ピクセルセルにおける（またはピクセルセルの各ブロックにおける）光測定動作が、ホストデバイス７０２によって提供されるピクセルアレイプログラミングマップ７２０に基づいて周辺回路７１６によって個々にプログラムされることを可能にする。ピクセルアレイプログラミングマップ７２０に基づいて、周辺回路７１６は、各ピクセルセル（またはピクセルセルの各ブロック）をターゲットにする異なるピクセルレベルプログラミングデータを表すためのピクセルレベルプログラミング信号７２２を生成し、各ピクセルセルのメモリにおける記憶のために各ピクセルセルに（またはピクセルセルのブロックによって共有されるメモリにおける記憶のためにピクセルセルの各ブロックに）、ピクセルレベルプログラミングデータを表すピクセルレベルプログラミング信号７２２を送信することができる。ピクセルレベルプログラミングデータは、各ピクセルセルにおける光測定動作を構成するために各ピクセルセルのメモリから、またはピクセルセルのブロックにおける光測定動作を構成するためにピクセルセルの各ブロックの共有メモリから読み出され得る。ピクセルセルアレイ７１８は、ピクセルデータ７２８を生成することができ、ピクセルデータ７２８は、次いで、ホストデバイス７０２に送信され得る。
【0098】
以下で詳細に説明されるように、ピクセルセルにおける光測定動作の構成は、たとえば、ピクセルセルの光測定動作および測定データ生成を無効化／有効化すること、露光時間を設定すること、１つまたは複数の量子化動作（たとえば、ＴＴＳ、ＦＤ ＡＤＣ、ＰＤ ＡＤＣ）を選択すること、量子化器の帯域幅および／または量子化分解能を設定すること、メモリが測定データを記憶するかどうかを制御すること、メモリに記憶される測定データの精度（たとえば、ビット数）を制御することなどを含むことができる。いくつかの例では、ピクセルセルアレイ７１８および周辺回路７１６は、画像センサー７０４の受光面を最大にするためにスタック構造を形成することができ、これは、ピクセルセルアレイ７１８が、解像度を改善するためにより多くのピクセルセルを含むことを可能にする。
【0099】
ピクセルアレイプログラミングマップ７２０は、ピクセルセルのアレイの各ピクセルセルをターゲットにするピクセルレベルプログラミングデータを含むことができる。図７Ｂは、ピクセルアレイプログラミングマップ７２０の一例を示す。図７Ｂに示されているように、ピクセルアレイプログラミングマップ７２０は、ピクセルレベルプログラミングデータの２次元アレイを含むことができ、２次元アレイの各ピクセルレベルプログラミングデータは、ピクセルセルアレイ７１８のピクセルセルをターゲットにする。たとえば、ピクセルセルアレイ７１８が、Ｍ個のピクセルの幅（たとえば、ピクセルのＭ個の列）およびＮ個のピクセルの高さ（たとえば、ピクセルのＮ個の行）を有する場合、ピクセルアレイプログラミングマップ７２０も、Ｍ個のエントリの幅（たとえば、エントリのＭ個の列）およびＮ個のエントリの高さ（たとえば、エントリのＮ個の行）を有する。ピクセルアレイプログラミングマップ７２０のエントリ（０，０）にあるピクセルレベルプログラミングデータＡ００は、ピクセルセルアレイ７１８のピクセルロケーション（０，０）にあるピクセルセルＰ００をターゲットにするが、ピクセルアレイプログラミングマップ７２０のエントリ（０，１）にあるピクセルレベルプログラミングデータＡ０１は、ピクセルセルアレイ７１８のピクセルロケーション（０，１）にあるピクセルセルＰ０１をターゲットにする。いくつかの例では、シンボルＰ００、Ｐ０１などの各々は、ピクセルセルのグループ（たとえば、ピクセルセルの２×２ブロック）を表すことができる。そのような場合、ピクセルアレイプログラミングマップ７２０の各エントリは、ピクセルセルのブロックのためのピクセルレベルプログラミングデータを含むことができる。高さおよび幅に沿ったピクセルアレイプログラミングマップ７２０のエントリの数は、各グループ中のピクセルセルの数に基づいてスケーリングされ得る。
【0100】
図７Ｃは、ピクセルアレイプログラミングマップ７２０のエントリに記憶され得るピクセルレベルプログラミングデータ７５０の一例を示す。いくつかの例では、各エントリにおけるピクセルレベルプログラミングデータは、２つの構成のうちの１つを表すための単一のビットを含むことができる。いくつかの例では、図７Ｃに示されているように、ピクセルレベルプログラミングデータは、（図７Ｃ中でＣ０、Ｃ１、Ｃ２、．．．Ｃｎによって表される）複数のビットを含むことができる。ピクセルレベルプログラミングデータがｍ個のビットを含む場合、ピクセルレベルプログラミングデータは、２ｍ個の構成のうちの１つを表すことができ、複数のビットの各ビット（またはビットのサブセット）は、ピクセルセル６０１の異なる構成要素を制御することができる。いくつかの例では、ピクセルレベルプログラミングデータは、ピクセルレベルプログラミングデータを表すために使用されるビット数を低減するために符号化され得、ピクセルレベルプログラミングデータがどのように復号されるべきであるかを指示するための（図７Ｃ中でＯｐによって表される）オペコードを含むことができる。一例では、オペコードは、エントリのピクセルレベルプログラミングデータが、前のピクセルアレイプログラミングマップ７２０の対応するエントリからのデルタを表すことを指示することができ、その結果、ピクセルセルがピクセルレベルプログラミングデータを受け取るとき、ピクセルセルは、メモリに記憶されているものからピクセルレベルプログラミングデータを減算して、実際のピクセルレベルプログラミングデータを生成するべきである。別の例では、オペコードは、ピクセルレベルプログラミングデータがランレングス符号化に基づいて符号化されることを指示することができ、その結果、ピクセルセルがピクセルレベルプログラミングデータを受け取るとき、ピクセルセルは、相応にピクセルレベルプログラミングデータを復号して、実際のピクセルレベルプログラミングデータを生成することができる。
【0101】
いくつかの例では、ピクセルアレイプログラミングマップ７２０は、ピクセルセルアレイ７１８からのピクセルデータを消費するホストデバイス７０２において動作するアプリケーション（たとえば、アプリケーション７０８）によって生成され得る。たとえば、アプリケーション７０８は、画像から、関連情報を含んでいるピクセルを識別し、ピクセルを含む関心領域（ＲＯＩ）を決定し得る。次いで、ＲＯＩに対応するピクセルデータを生成するピクセルセルが識別され得る。例示的な例として、再び図６Ｃの例を参照すると、アプリケーション７０８は、時間Ｔ０における画像中の関連情報（たとえば、物体６１２のピクセルデータ）を提供するものとして、ピクセルセルのグループ６２０を含むＲＯＩを識別し得る。アプリケーション７０８は、次いで、たとえば、画像センサー６００に対する物体６１２の移動の方向および速度に基づいて、時間Ｔ０と時間Ｔ６との間のＲＯＩの変化を予測することができる。アプリケーション７０８は、次いで、時間Ｔ０におけるピクセルセルのグループ６２０の画像ロケーションと予測された変化とに基づいて、ピクセルセルのグループ６３０を含む、時間Ｔ６におけるＲＯＩの新しい画像ロケーションを予測することができる。時間Ｔ６におけるピクセルセルのグループ６３０の画像ロケーションに基づいて、アプリケーション７０８は、ピクセルセルのグループ６３０に対応するエントリにおいて第１のピクセルレベルプログラミングデータを設定することと、エントリの残りについて第２のピクセルレベルプログラミングデータを設定することとに基づいて、ピクセルアレイプログラミングマップ７２０を生成することができる。
【0102】
第１のピクセルレベルプログラミングデータと第２のピクセルレベルプログラミングデータとは、電力および帯域幅を低減しながらアプリケーション７０８の動作を促進するための異なるやり方でピクセルセルを構成することができる。たとえば、第１のピクセルレベルプログラミングデータは、ピクセルセルのグループ６３０を有効化することができるが、第２のピクセルレベルプログラミングデータは、ピクセルセル６３０の残りを無効化することができる。別の例として、第１のピクセルレベルプログラミングデータは、現在フレームのための測定データを記憶するためにメモリへの書込み動作を有効化することができるが、第２のピクセルレベルプログラミングデータは、メモリへの書込み動作を低減するために、メモリが依然として前のフレームのための測定データを記憶するように、メモリへの書込み動作を無効化することができる。また別の例として、第１のピクセルレベルプログラミングデータは、アプリケーション７０８が、ＲＯＩに関するピクセルセルのグループ６３０からのより多くの情報と、ピクセルセルの残りからのより少ない情報とを取得することができるように、ピクセルセルの残りに対して、ピクセルセルのグループ６３０の量子化分解能および／またはフレームレートを増加させることができる。すべてのこれらの仕組みは、アプリケーション７０８に送信されるピクセルデータの全体的な量を低減しながら、アプリケーション７０８に関係のあるピクセルデータの品質を改善することができる。
【0103】
いくつかの例では、アプリケーション７０８はまた、ピクセルセルアレイ７１８の動作を、たとえば、シーン、アプリケーション７０８の要件などに適応させることができる。適応は、たとえば、ピクセルアレイプログラミングマップ７２０を介して、露光時間、量子化器帯域幅、量子化分解能を調整すること、特定の量子化動作を選択することなどに基づき得る。たとえば、画像データから、アプリケーション７０８は、ピクセルセルのサブセットが強い光に露光されたと決定し得る。アプリケーション７０８は、適応露光方式の一部としてピクセルセルのサブセットについての露光時間を低減して、それらのピクセルセルによるブルーミングの可能性を低減するために、ピクセルアレイプログラミングマップ７２０を生成することができる。その上、アプリケーション７０８はまた、ピクセルアレイプログラミングマップ７２０を介して、ＴＴＳ動作のみを実施し、ＦＤ ＡＤＣおよびＰＤ ＡＤＣ動作を実施しないように、ピクセルセルのサブセットを構成することができる。そのような仕組みはまた、ピクセルセルのサブセットによる電力消費を低減するために、ＴＴＳ動作が実施された後にピクセルセルのサブセットを電源切断モードにすることができる。その上、アプリケーション７０８が、フレームがより高いフレームレートにおいて生成されることを必要とする場合、アプリケーション７０８はまた、必要とされるフレームレートにおいてフレームを生成するために、すべてのピクセルセル（またはピクセルセルのサブセット）の量子化器帯域幅を増加させることができる。
【0104】
図８Ａおよび図８Ｂは、画像センサー７０４の例示的な追加の構成要素を示す。図８Ａに示されているように、周辺回路７１６は、列コントローラ８０４と行コントローラ８０６とを含むことができる。列コントローラ８０４は、列バス８０８（たとえば、８０８ａ、８０８ｂ、８０８ｃ、．．．８０８ｎなど）と接続されるが、行コントローラ８０６は、行バス８１０（たとえば、８１０ａ、８１０ｂ、．．．８０８ｎなど）と接続される。行列コントローラ８０４または行コントローラ８０６のうちの一方は、ピクセルレベルプログラミング信号７２２を送信するために、ピクセルレベルプログラミングバス８１２とも接続される。さらに、画像センサー７０４は、チップレベルプログラミング信号８１８を送信するためにチップレベルプログラミングバス８１６と接続される、チップレベルプログラミング信号生成器８１４をさらに含む。チップレベルプログラミング信号８１８は、ピクセルセルアレイ７１８のすべてのピクセルセルに適用されるチップレベルプログラミング信号を含むことができる。以下で説明されるように、一部または全部のチップレベルプログラミング信号８１８は、いくつかのピクセルセルにおいてピクセルレベルプログラミング信号７２２によってオーバーライドされ得る。いくつかの例では、チップレベルプログラミング信号８１８はまた、特定の列バス８０８および／または特定の行バス８１０に接続されたピクセルセル（またはピクセルセルのグループ）への列レベルプログラミング信号または行レベルプログラミング信号として提供され得る。
【0105】
図８Ａでは、Ｐ００、Ｐ０１、Ｐ０ｊなどと標示された各ボックスは、上記で説明されたように、ピクセルセルのアレイ７１８のピクセルセルまたはピクセルセルのグループ（たとえば、２×２ピクセルセルのグループ）を表すことができる。各ピクセルセル（またはピクセルセルのグループ）は、列バス８０８のうちの１つ、行バス８１０のうちの１つ、ピクセルレベルプログラミングバス８１２、チップレベルプログラミングバス８１６、および測定データを出力するための出力データバス（図８Ａに図示せず）に接続される。図８Ｂは、ピクセルセルの接続の追加の詳細を示す。図８Ｂに示されているように、各ピクセルセルは、トランジスタＳ（たとえば、Ｓ００、Ｓ１０、Ｓ１０、Ｓ１１など）およびトランジスタＴ（たとえば、Ｔ００、Ｔ１０、Ｔ１０、Ｔ１１など）を介して、列バスおよび行バスと接続される。トランジスタＳは、列バス、行バス、およびトランジスタＴのゲートと接続される。トランジスタＴは、ピクセルレベルプログラミングバス８１２とピクセルセルとの間に接続される。トランジスタＳに接続された列バスと行バスの両方が論理１を搬送するとき、トランジスタＴは、有効化され、ピクセルレベルプログラミング信号７２２が、ピクセルセルを通して伝搬することと、ピクセルセルに伝搬することとを可能にすることができる。たとえば、（Ｒ０と標示された）行バス８１０ａと（Ｃ０と標示された）列バス８０８ａとが両方とも論理１を搬送し、他の行バスおよび列バスが論理０を搬送するとき、トランジスタＳ００は、トランジスタＴ００がピクセルレベルプログラミング信号７２２をピクセルセルＰ００に受け渡すように有効化することができる。その上、行バス８１０ａ（Ｒ０）と（Ｃ１と標示された）列バス８０８ｂとが両方とも論理１を搬送し、他の行バスおよび列バスが論理０を搬送するとき、トランジスタＳ１０は、トランジスタＴ１０がピクセルレベルプログラミング信号７２２をピクセルセルＰ１０に受け渡すように有効化することができる。そのような仕組みにより、各ピクセルセルは、列バス８０８および行バス８１０上の信号によって個々にアドレス指定可能であり、１つまたは複数のピクセルセルが、ピクセルレベルプログラミングバス８１２を介してピクセルレベルプログラミングデータを一度に受け取るように選択され得る。
【0106】
さらに、各ピクセルセルはまた、各ピクセルセルがチップレベルプログラミングバス８１６から同じチップレベルプログラミング信号８１８を受け取るように、チップレベルプログラミングバス８１６に直接接続される。その上、測定データを出力する、各ピクセルセルの出力端子は、選択トランジスタＵ（たとえば、Ｕ００、Ｕ０１、Ｕ１０、Ｕ１１など）を介して、出力データバス（たとえば、Ｄ０、Ｄ１など）に接続される。選択トランジスタＵは、出力データバス上に測定データを出力するためのピクセルセルの行を選択するように、読取り信号（たとえば、Ｒｅａｄ＿Ｒ０、Ｒｅａｄ＿Ｒ１など）によって駆動され得る。たとえば、読取り信号Ｒｅａｄ＿Ｒ０がアサートされるとき、ピクセルセルＰ００およびＰ１０を含むピクセルセルの行が、測定データを出力するように選択され得る。
【0107】
再び図８Ａを参照すると、周辺回路７１６は、さらに、ピクセルセルアレイ７１８の各ターゲットピクセルセルについてピクセルアレイプログラミングマップ７２０からピクセルレベルプログラミングデータを抽出することができるプログラミングマップパーサ８２０を含み、各ターゲットピクセルセルにピクセルレベルプログラミングデータを送信するためにピクセルレベルプログラミング信号７２２ならびに行アドレス信号８５０および列アドレス信号８５２を生成する。詳細には、プログラミングマップパーサ８２０は、各ピクセルセルのためのピクセルレベルプログラミングデータを識別するために、シリアルデータストリーム中にあり得る、ピクセルアレイプログラミングマップ７２０をパースすることができる。ピクセルレベルプログラミングデータの識別は、たとえば、２次元ピクセルアレイプログラミングマップがシリアルフォーマットに変換されるあらかじめ決定されたスキャンパターン、ならびにピクセルレベルプログラミングデータがシリアルデータストリームからプログラミングマップパーサ８２０によって受け取られる順序に基づき得る。プログラミングマップパーサ８２０は、次いで、行アドレス信号８５０および列アドレス信号８５２を、それぞれ、行コントローラ８０６および列コントローラ８０４に送信して、１つまたは複数のピクセルセルを選択し、プログラミングデータを含む制御信号７２２を、ピクセルレベルプログラミングバス８１２を介して送信することができる。選択された１つまたは複数のピクセルセルは、次いで、図８Ｂで説明されるように、制御信号７２２を受け取ることができる。
【0108】
図９Ａ～図９Ｅは、構成可能な光測定動作および測定データ生成をサポートするためのピクセルセル６０１の追加の構成要素を示す。図９Ａを参照すると、ピクセル６０１は、図６Ａに示されているように、フォトダイオード６０２と、電子シャッタートランジスタ６０３と、転送トランジスタ６０４と、電荷貯蔵デバイス６０５と、バッファ６０６と、量子化器６０７とを含むことができる。電荷貯蔵デバイス６０５は、電荷－電圧変換利得を設定するために、構成可能なキャパシタンスを有することができる。いくつかの例では、電荷貯蔵デバイス６０５のキャパシタンスは、電荷貯蔵デバイス６０５がオーバーフロー電荷によって飽和される可能性を低減するために、中光強度のためのＦＤ ＡＤＣ動作についてオーバーフロー電荷を貯蔵するために増加され得る。電荷貯蔵デバイス６０５のキャパシタンスはまた、低光強度のためのＰＤ ＡＤＣ動作について電荷－電圧変換利得を増加させるために減少され得る。電荷－電圧変換利得の増加は、量子化誤差を低減し、量子化分解能を増加させることができる。いくつかの例では、電荷貯蔵デバイス６０５のキャパシタンスはまた、量子化分解能を増加させるためにＦＤ ＡＤＣ動作中に減少され得る。さらに、バッファ６０６は、バイアス信号ＢＩＡＳ１によって電流が設定され得る電流源９０３、ならびにバッファ６０６をオン／オフするためにＰＷＲ＿ＧＡＴＥ信号によって制御され得るパワートランジスタ９０５ａを含む。バッファ６０６は、ピクセルセル６０１を無効化することの一部としてオフにされ得る。
【0109】
その上、量子化器６０７は、バイアス電流がバイアス信号ＢＩＡＳ２によって制御され得、利得が利得制御信号ＧＡＩＮによって制御され得る、比較器９０４を含む。さらに、ピクセル６０１はメモリ９０６を含む。メモリ９０６は、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイスを含むことができる。メモリ９０６は、測定データ９０８を記憶する第１の部分と、ピクセルレベルプログラミングデータ９１０を記憶する第２の部分とを含むことができる。ピクセルレベルプログラミングデータ９１０は、ピクセルレベルプログラミング信号７２２に基づいてメモリ９０６に記憶され得る。いくつかの例では、メモリ９０６は、ピクセルセル９０２の内部または外部にあり得る自走カウンタから、カウンタ値を受け取ることができる。量子化動作（たとえば、ＴＴＳ動作、ＦＤ ＡＤＣ動作、およびＰＤ ＡＤＣ動作）に応じて、比較器９０４は、出力を生成するために、バッファされた電圧を、異なるＶＲＥＦ電圧と比較することができ、出力は、メモリ９０６の第１の部分が、出力バス（たとえば、図８ＢのＤ０、Ｄ１など）に出力され得る測定データ９０８として、自走カウンタからの値を記憶することを引き起こすことができる。比較器９０４は、さらに、比較器９０４をオン／オフするために、ＰＷＲ＿ＧＡＴＥ信号によっても制御され得るパワートランジスタ９０５ｂを含む。比較器９０４はまた、ピクセルセル６０１を無効化することの一部としてオフにされ得る。
【0110】
さらに、ピクセルセル６０１は、ＡＢ、ＴＧ、ＢＩＡＳ１、ＢＩＡＳ２、ＧＡＩＮ、ＶＲＥＦ、ＰＷＲ＿ＧＡＴＥなど、制御信号を生成することと、メモリ９０６への測定データの書込み動作を制御することとを行うための論理回路を含むことができる、コントローラ９１２を含む。図９Ｂは、コントローラ９１２の例示的な内部構成要素を示す。図９Ｂに示されているように、ピクセルセル６０１は、たとえば、電力ゲートモジュール９２０、露光期間モジュール９２２、量子化動作モジュール９２４、量子化器構成モジュール９２６、測定データ出力モジュール９２８、測定データ書込みモジュール９３０など、いくつかのモジュールを含む。各モジュールは、制御信号の生成および／またはメモリ９０６における測定データの記憶を制御するための論理回路を含む。
【0111】
たとえば、電力ゲートモジュール９２０は、ピクセルセル６０１を有効化／無効化するようにＰＷＲ＿ＧＡＴＥ信号を制御することができる。露光期間モジュール３２２は、露光期間を設定するようにＡＢ信号を制御することができる。量子化動作モジュール９２４は、たとえば、図６Ｂで説明されるように、ＴＴＳ動作、ＦＤ ＡＤＣ動作、およびＰＤ ＡＤＣ動作を実施するために、比較器９０４に供給されるＶＲＥＦ信号ならびに転送トランジスタ６０４に供給されるＴＧ信号を制御することができる。量子化器構成モジュール９２６は、たとえば、比較器９０４のＢＩＡＳ２を設定することによって、量子化器の帯域幅を制御することができる。量子化器構成モジュール９２６はまた、たとえば、電荷－電圧変換比を増加させるために電荷貯蔵デバイス６０５のキャパシタンスを減少させること、比較器９０４の利得を増加させるためにＧＡＩＮ信号を設定することなどによって、量子化分解能を制御することができる。
【0112】
さらに、測定データ出力モジュール９２８は、ピクセル６０１によって出力される強度測定値の精度を制御するために、メモリ９０６に記憶されるべき測定データのビット数を設定することができる。たとえば、測定データ出力モジュール９２８は、メモリ９０６へのメモリデータ入力として、カウンタ値の最下位ビット（ＬＳＢ）のサブセットを選択することができる。一例では、測定データ出力モジュール９２８は、ピクセル６０１によって出力される強度測定値を表すために、メモリ９０６へのメモリデータ入力として強度範囲を指示する比較器決定を選択することができる。
【0113】
その上、測定データ書込みモジュール９３０は、メモリ９０６における測定データの書込み動作を制御する、メモリ９０６の書込みイネーブル信号を制御することができる。書込みイネーブル信号は、比較器９０４の出力に基づいて生成され得る。たとえば、測定データ書込みモジュール９３０は、比較器出力に基づいて強度範囲を決定し、メモリ９０６に記憶するために、ＴＴＳ量子化動作、ＦＤ ＡＤＣ量子化動作、またはＰＤ ＡＤＣ量子化動作のうちの１つを選択することができる。選択に基づいて、測定データ書込みモジュール９３０は、選択されなかった量子化動作中に書込み動作をアサート解除し、選択された量子化動作中にのみ書込み動作をアサートすることができる。書込みイネーブル信号のアサーションは、メモリ９０６が、測定データ出力モジュール９２８の出力（図９Ｂ中のメモリデータ入力）をメモリ９０６に記憶することを引き起こすことができる。
【0114】
いくつかの例では、コントローラ９１２のモジュールの一部または全部は、ピクセルレベルプログラミングデータ９１０に基づいてプログラムされ得る。たとえば、ピクセルレベルプログラミングデータ９１０は、ピクセルセル６０１を有効化／無効化するためにＰＷＲ＿ＧＡＴＥ信号をアサート／アサート解除するように電力ゲートモジュール９２０を構成することができる。その上、ピクセルレベルプログラミングデータ９１０は露光期間を設定することができ、これに基づいて、露光期間モジュール９２２はＡＢ信号のタイミングを設定することができる。ピクセルレベルプログラミングデータ９１０はまた、他の量子化動作をスキップしながら、実施されるべき１つまたは複数の量子化動作（たとえば、ＴＴＳ、ＦＤ ＡＤＣ、ＰＤ ＡＤＣなど）を選択するように、量子化動作モジュール９２４を構成することができる。さらに、ピクセルレベルプログラミングデータ９１０は、それぞれ、比較器９０４の利得および帯域幅を設定するために、ＧＡＩＮ信号および／またはＢＩＡＳ２信号を設定することができる。比較器９０４の利得の設定は、ピクセルセル６０１のターゲット量子化分解能に基づき得、より高い利得が、より低い比較器誤差およびより高い量子化分解能につながり、その逆も同様である。その上、比較器９０４の帯域幅の設定は、たとえば、ピクセルセル６０１のターゲットフレームレートに基づき得る。さらに、ピクセルレベルプログラミングデータ９１０は、（強度範囲を指示する）比較器出力をメモリ９０６に記憶すること、またはカウンタ値をメモリ９０６に記憶することの間で選択するように、およびメモリ９０６に記憶されるべき測定データのビット数を選択するように、測定データ出力モジュール９２８を構成することができる。ピクセルレベルプログラミングデータ９１０はまた、フレームについて測定データ出力モジュール９２８からの測定データをメモリ９０６に記憶すること、またはそのフレームについて測定データの記憶をスキップすることを行うように、測定データ書込みモジュール９３０を構成することができる。
【0115】
ピクセルセルアレイ７１８の各ピクセルセルのコントローラ９１２は、アプリケーション７０８の動作を促進するために、ピクセルアレイプログラミングマップ７２０から抽出されたピクセルレベルプログラミングデータ９１０に基づいて、個々にプログラムされ得る。たとえば、物体追跡アプリケーションをサポートするために、ＲＯＩ内のピクセルセルのピクセルレベルプログラミングデータ９１０は、それらのピクセルにおいてＰＷＲ＿ＧＡＴＥ信号をアサートするように電力ゲートモジュール９２０を制御することができるが、ＲＯＩ外のピクセルセルのピクセルレベルプログラミングデータ９１０は、ＰＷＲ＿ＧＡＴＥ信号をアサート解除するように電力ゲートモジュール９２０を構成することができる。いくつかの例では、ＲＯＩ内のピクセルセルのピクセルレベルプログラミングデータ９１０は、量子化器構成モジュール９２６を介して比較器の利得を増加させ、測定データ出力モジュール９２８を介して測定データのビット数を増加させ、および／または測定データ書込みモジュール９３０を介してメモリ９０６への測定データの書込みを有効化することができる。ＲＯＩ外のピクセルセルのピクセルレベルプログラミングデータ９１０はまた、量子化器構成モジュール９２６を介して比較器の利得を減少させ、測定データ出力モジュール９２８を介して測定データのビット数を減少させ、および／または測定データ書込みモジュール９３０を介してメモリ９０６への測定データの書込みを無効化することができる。ピクセルレベルプログラミングデータ９１０がコントローラ９１２中の各モジュールを構成する様々なやり方がある。たとえば、各モジュールは、複数の候補構成（たとえば、バイアス値のセット、利得値のセット、露光期間持続時間のセットなど）を記憶することができ、ピクセルレベルプログラミングデータ９１０は、候補構成から構成を選択するように各モジュールを制御することができる。別の例として、ピクセルレベルプログラミングデータ９１０は、構成（たとえば、バイアス値、利得値、露光期間持続時間など）を符号化し、符号化された構成で各モジュールを構成することができる。
【0116】
ピクセルセルアレイ７１８の各ピクセルセルのコントローラ９１２は、各ピクセルセルにおける光検知動作および／または測定データ生成を適応させるために、ピクセルアレイプログラミングマップ７２０から抽出されたピクセルレベルプログラミングデータ９１０に基づいて、個々にプログラムされ得る。たとえば、ピクセルセルの第１のサブセットのピクセルレベルプログラミングデータ９１０は、露光期間モジュール８２２を介して露光期間を低減し、ならびに／またはＴＴＳ動作を選択し、ＦＤ ＡＤＣ動作およびＰＤ ＡＤＣ動作を選択解除することができるが、ピクセルセルの第２のサブセットのピクセルレベルプログラミングデータ９１０は、露光期間モジュール８２２を介して露光期間を増加させ、ならびに／またはＰＤ ＡＤＣ動作を選択し、ＴＴＳ動作およびＦＤ ＡＤＣ動作を選択解除することができる。そのような構成は、アプリケーション７０８が、ピクセルセルの第１のサブセットによって受け取られた光は高強度のものであるが、ピクセルセルの第２のサブセットによって受け取られた光は低強度のものであると、前の画像フレームから決定することに基づき得る。別の例として、ピクセルレベルプログラミングデータ９１０は、量子化器構成モジュール９２６を介して比較器９０４の帯域幅を低減することができる。帯域幅の低減は、ピクセルセルのフレームレートの低減に基づき得る。フレームレートの低減は、たとえば、アプリケーション７０８（たとえば、ＳＬＡＭアプリケーション）の要件、シーンが静的であるというアプリケーション７０８による決定などに基づき得る。また別の例として、ピクセルセルのピクセルレベルプログラミングデータ９１０は、異なる露光期間において異なる領域がキャプチャされる画像フレームを生成するように、ピクセルセルの異なるサブセットにおける測定データの書込み動作のタイミングを制御することができる。そのような仕組みは、アプリケーション７０８の要件に基づき得、および／またはホストプロセッサ７０６に送信されるピクセルデータの量を低減することができる。
【0117】
いくつかの例では、コントローラ９１２のモジュールの一部または全部は、ピクセルレベルプログラミングデータ９１０とチップレベルプログラミング信号８１８との組合せに基づいてプログラムされ得る。図９Ｃ～図９Ｅは、ピクセルレベルプログラミングデータ９１０とチップレベルプログラミング信号８１８との組合せに基づいてコントローラ９１２をプログラムすることの異なる例を示す。図９Ｃに示されているように、電力ゲートモジュール９２０、露光期間モジュール９２２、量子化動作モジュール９２４、量子化器構成モジュール９２６、測定データ出力モジュール９２８、および測定データ書込みモジュール９３０の各々は、それぞれ、マルチプレクサ９４０、９４２、９４４、９４６、９４８、および９５０から、プログラミングデータを受け取る。各マルチプレクサは、ピクセルレベルプログラミングデータ９１０のビットの第１のサブセット（たとえば、図９Ｃ中のビット０、図９Ｄおよび図９Ｅ中のビット０およびビット１）によって制御され得る。マルチプレクサは、（図９Ｃおよび図９Ｅに示されているように）ビットの同じ第１のサブセットによって制御されるか、または（図９Ｄに示されているように）ビットの第１のサブセット内の異なるビットによって制御されるかのいずれかであり得る。
【0118】
各マルチプレクサは、各モジュールに、チップレベルプログラミング信号８１８を通過すること、またはピクセルレベルプログラミングデータ９１０のビットの第２のサブセットを通過することの間で選択するように制御され得る。マルチプレクサが複数のビットによって制御される場合（たとえば、図９Ｅ）、マルチプレクサは、出力として、チップレベルプログラミング信号８１８のビットの複数のサブセットおよび／またはピクセルレベルプログラミングデータ９１０のビットの複数のサブセットから選択するように制御され得る。チップレベルプログラミング信号８１８は、たとえば、各モジュールについてデフォルトモードを定義することができる。たとえば、デフォルトモード下で、ＰＷＲ＿ＧＡＴＥがアサートされるべきであり、フォトダイオードが電荷を生成するためのデフォルト露光期間が提供され、量子化動作（たとえば、図６Ｂの場合のような、ＴＴＳ、ＦＤ ＡＤＣ、およびＰＤ ＡＤＣ）のデフォルトシーケンスが設定されるべきであり、比較器９０４のデフォルト利得およびバイアスが、デフォルト量子化分解能およびデフォルトフレームレートについて設定されるべきであり、メモリ９０６に記憶されるべき測定データのデフォルト精度が設定されるべきであり、メモリ９０６への測定データの書込み動作が各フレームについて実施されるべきである。ピクセルレベルプログラミングデータ９１０のビットの第１のサブセットは、モジュールの一部または全部が、デフォルトモード下で動作するのか、ピクセルレベルプログラミングデータ９１０のビットの第２のサブセットによるプログラミングに基づいて動作するのかを選択することができる。
【0119】
いくつかの例では、マルチプレクサの代わりに、コントローラ９１２の各モジュールは、チップレベルプログラミング信号８１８をピクセルレベルプログラミングデータ９１０と組み合わせるための論理回路を含むことができる。たとえば、論理回路は、ピクセルレベルプログラミングデータ９１０を使用してチップレベルプログラミング信号８１８を復号／操作するためのデコーダを含み得る。各ピクセルセルが、異なるピクセルレベルプログラミングデータ９１０を受け取ることができるので、論理回路は、すべてのピクセルセルについて共通であるチップレベルプログラミング信号８１８を、ピクセル精度／ピクセル固有のやり方で復号することができる。例示的な例として、チップレベルプログラミング信号８１８は、比較器９０４のためのデフォルトバイアス電流設定を搬送し得るが、ピクセルレベルプログラミングデータ９１０は、各ピクセルセルのためのピクセルレベルバイアス電流設定を生成するために、デフォルトバイアス電流設定に適用されるべきピクセル固有スケーリングファクタを含むことができる。
【0120】
ピクセルレベルプログラミングデータ９１０とチップレベルプログラミング信号８１８との組合せは、画像センサー７００によってサポートされる命令の数を非常に拡大することができる。たとえば、チップレベルプログラミング信号８１８がｎビット並列信号を含むようにチップレベルプログラミングバス８１６がｎ個のビットを含み、ピクセルレベルプログラミングデータ９１０がｍ個のビットを含むと仮定すると、異なる動作モードを各々表す、合計２（ｍ＋ｎ）個の異なる命令がサポートされ得る。命令／動作の空間グラニュラリティは、ピクセルセルアレイ７１８内の各ピクセルセルがピクセルレベルプログラミングデータ９１０の異なるｎ個のビットを受け取ることができるので、ピクセルレベルプログラミングデータ９１０のｎ個のビットによって表され得るが、命令／動作の時間グラニュラリティは、すべてのピクセルセルが所与の時間において同じチップレベルプログラミング信号８１８を受け取るが、異なるチップレベルプログラミング信号８１８が、異なる時間にピクセルセルに提供され得るので、ｍ個のビットによって提示され得る。
【0121】
図１０Ａおよび図１０Ｂは、ピクセルセルアレイ７１８のピクセルセルの内部構成要素の他の例を示す。図１０Ａに示されているように、ピクセルレベルプログラミングデータ９１０のビットのサブセット（たとえば、図９Ｃ～図９Ｅにおいて上記で説明されたビットの第１のサブセット）を記憶するメモリ９０６の一部が、循環シフトレジスタ１００２として構成され得る。ビットの第１のサブセットは、フィードバックループを破壊するために負荷信号１００６をアサートすることによって、シフトレジスタ１００２にロードされ得る。ビットの第１のサブセットがロードされた後に、グローバルシフト信号１００８（たとえば、クロック信号）が周辺回路７１６から送られて、ビットの第１のサブセットをシフトし、第１のサブセットのビットの異なるセットを異なる時間に出力することができる。たとえば、図１０Ａでは、シフトレジスタ１００２は、グローバルシフト信号１００８に応答して、ピクセルレベルプログラミングデータ９１０の第１のビットを出力することと第２のビットを出力することとを交替することができる。周辺回路７１６は、各フレームについてまたはいくつかのフレームの後に、シフト信号１００８を送出することができる。いくつかの例では、シフト信号１００８はまた、（たとえば、コントローラ９１２によって）ピクセルセルにおいてローカルに生成され得る。
【0122】
シフトレジスタ１００２によって出力される各ビットは、ピクセルセルにおける光測定動作および測定データ生成のための構成の異なるセットを定義することができる。たとえば、第１のビットは、コントローラ９１２に、チップレベルプログラミング信号８１８に基づいてデフォルトモードで動作させることができるが、第２のビットは、コントローラ９１２に、ピクセルレベルプログラミングデータ９１０に従って動作させることができる。別の例として、第１のビットと第２のビットとは、コントローラ９１２に、ピクセルレベルプログラミングデータ９１０のビットの異なるサブセットに基づいて動作させることができる。
【0123】
そのような仕組みは、周辺回路によって受け取られるプログラミングマップの数と、周辺回路によって実施されるプログラミング動作の数とを低減しながら、ピクセルセルを連続的に構成することを可能にする。たとえば、あるプログラミング動作では、周辺回路７１６は、構成のシーケンスに対応する命令のシーケンスを定義するプログラミングデータを各ピクセルセルに送信し、負荷信号１００６をアサートしてプログラミングデータのビットの第１のサブセットを各ピクセルセルのシフトレジスタ１００２に記憶することができる。周辺回路７１６は、次いで、シフトレジスタ１００２にグローバルシフト信号１００８を送信して、命令／構成のシーケンスを取得するためにビットの第１のサブセットの一部を連続的にシフトアウトすることができる。
【0124】
ピクセルセルの連続的な構成は、ピクセルセルの出力にアクセスするだけでなく、ピクセルセルについての異なる構成要件をも有する、複数のホストアプリケーションの動作を促進することができる。たとえば、ホストプロセッサ７０６は、ＳＬＡＭアプリケーションと手追跡アプリケーションとを同時に動作させ得る。どちらのアプリケーションも、ピクセルセルアレイ７１８によって出力された画像フレームを使用し得るが、各々は、ピクセルセルについての異なる構成要件を有する。たとえば、ＳＬＡＭアプリケーションは、より低いフレームレートを必要とするが、フル解像度画像フレームを必要とし得、手追跡アプリケーションは、より高いフレームレートを必要とするが、画像フレームのＲＯＩに関してのみ動作し得る。両方のアプリケーションをサポートするために、プログラミングマップは、ＳＬＡＭアプリケーション（たとえば、すべてのピクセルセルが有効化されるが、各々はより低速で量子化器を動作させる）のためのピクセルセルを構成するための第１のビット（またはビットの第１のサブセット）と、手追跡アプリケーション（たとえば、ＲＯＩに対応するピクセルセルのサブセットのみが有効化され、各有効化されたピクセルセルはより高速で量子化器を動作させる）のためのピクセルセルを構成するための第２のビット（またはビットの第２のサブセット）とを有するプログラミングデータを含むことができる。上記で説明されたように、周辺回路７１６は、各ピクセルセルのシフトレジスタ１００２に記憶するために、単一のプログラミング動作において、ピクセルレベルプログラミングデータをピクセルセルに送信することができる。周辺回路７１６はまた、ＳＬＡＭアプリケーションためのピクセルセルと手追跡アプリケーションのためのピクセルセルとを異なる時間に構成するために、ピクセルレベルプログラミングデータのビットの第１のサブセットを出力することとビットの第２のサブセットを出力することとを交替するために各ピクセルセルのシフトレジスタ１００２にグローバルシフト信号１００８を送信することができる。周辺回路７１６は、たとえば、ＲＯＩのロケーションおよび／またはサイズの変化に基づいて、プログラミングマップがホストプロセッサ７０６によって更新されるまで、ピクセルセルを再プログラムする必要がない。周辺回路７１６は、次いで、後続のプログラミング動作において、更新されたピクセルレベルプログラミングデータをピクセルセルに送信することができる。
【0125】
図１０Ｂは、ピクセルセルアレイ７１８のピクセルセルの内部構成要素の別の例を示す。図１０Ｂに示されているように、ピクセルセル１０３０および１０４０など、複数のピクセルセルのシフトレジスタ１００２は接続されて、複数のピクセルセルにわたってスパンするシフトレジスタを形成し得る。これは、ピクセルレベルプログラミングデータ９１０のビットの第１のサブセットが、たとえば、周辺回路７１６からの伝搬信号１０４２に基づいて、ピクセルセル１０３０からピクセルセル１０４０に伝搬されることを可能にする。そのような仕組みは、周辺回路７１６が別のプログラミング動作を実施することを必要とすることなしに、時間に関してピクセルセルプログラミングにおける空間シフトを提供することができる。いくつかの例では、そのような仕組みは、ＲＯＩによって追跡されている物体の移動を考慮するために、ＲＯＩのシフト、ならびにＲＯＩの一部として指定されたピクセルのサブセットのシフトを可能にする。たとえば、再び図６Ｃを参照すると、ピクセルセルのグループ６３０は、ＲＯＩの移動を考慮するために、ピクセルセルのグループ６２０からピクセルレベルプログラミングデータ９１０のビットの第１のサブセットを受け取ることができる。そのような仕組みは、たとえば、ピクセルセルのグループ６２０の電力ゲートモジュール９２０が時間Ｔ０においてＰＷＲ＿ＧＡＴＥをアサートするように制御され、時間Ｔ６においてピクセルセルのグループ６３０の電力ゲートモジュール９２０が後続することを可能にする。
【0126】
図１１は、ピクセルセルアレイ７１８のピクセルセルの内部構成要素の別の例を示す。図１１に示されているように、ピクセルセルは、ビット単位論理演算モジュール１１００などのデジタル論理回路をさらに含み得、デジタル論理回路は、メモリ９０６と組み合わさって、ローカル状態機械を形成して、ピクセルレベルプログラミングデータ９１０または測定データ９０８のうちの少なくとも１つを操作することができる。ビット単位論理演算モジュール１１００は、コントローラ９１２の一部であり得、たとえば、算術論理ユニット（ＡＬＵ）を含み得る。適応露光期間など、様々な動作が、ローカル状態機械によってサポートされ得る。たとえば、ピクセルレベルプログラミングデータ９１０は、デフォルト露光期間に対してピクセルセルの露光期間を低減するかまたは増加させ得、ローカル状態機械は、すべてのピクセルセルによって出力されるすべての測定データが、同じスケールに基づくように、調整された露光期間から取得された測定データ９０８をスケールアップまたはスケールダウンすることができる。別の例として、ピクセルレベルプログラミングデータ９１０によって設定された露光期間において取得された測定データ９０８に基づいて、デジタル論理回路は、ピクセルレベルプログラミングデータ９１０によって設定された露光期間が長すぎるまたは短すぎると決定し得る。たとえば、測定データ９０８は、光の強度が極めて高いことを指示し得、デジタル論理回路は、ブルーミングのリスクを低減するために露光期間を短縮するようにピクセルレベルプログラミングデータ９１０を調整し得る。別の例として、測定データ９０８は、光の強度が極めて低いことを指示し得、デジタル論理回路は、フォトダイオードがより多くの電荷を蓄積して信号対雑音比を増加させることを可能にするために、露光期間を延長するようにピクセルレベルプログラミングデータ９１０を調整し得る。そのような仕組みは、ピクセルセルが、ピクセルセルの光測定動作および測定データ生成を動作条件に適応させる際により敏感であることを可能にしながら、ホストによるプログラミング動作の数を低減することができ、それらのすべてはシステム全体の性能を改善することができる。
【0127】
図１２は、画像センサー７０４などの画像センサーを動作させる方法１２００を示す。方法１２００はステップ１２０２から開始し、画像センサーの周辺回路（たとえば、図７Ａの周辺回路７１６）が、ピクセルセルアレイ７１８などのピクセルセルのアレイの各ピクセルセルをターゲットにするピクセルレベルプログラミングデータを含む、ピクセルアレイプログラミングマップ７２０などのピクセルアレイプログラミングマップを受け取る。上記で説明されたように、ピクセルセルアレイ７１８中の各ピクセルセルは、各ピクセルセルにおける光測定動作を構成／プログラムするためのピクセルレベルプログラミングデータを記憶することと、光測定動作からの測定データを記憶することとを行うためのメモリを含み得る。いくつかの例では、ピクセルセルのブロック（たとえば、ピクセルセルの２×２ブロック）は、ピクセルセルのブロックにおける光測定動作を構成／プログラムするためのピクセルレベルプログラミングデータを記憶することと、ピクセルセルのブロックからの測定データを記憶することとを行うためにメモリを共有することができる。各ピクセルセル、またはピクセルセルの各ブロックは、個々にアドレス指定可能であり得、これは、各ピクセルセルにおける（またはピクセルセルの各ブロックにおける）光測定動作が、ピクセルアレイプログラミングマップに基づいて周辺回路７１６によって個々にプログラムされることを可能にする。ピクセルアレイプログラミングマップは、ホストデバイスによって提供され得る。
【0128】
ステップ１２０４において、周辺回路は、ピクセルアレイプログラミングマップからピクセルレベルプログラミングデータを抽出することができる。詳細には、周辺回路は、各ピクセルセルのためのピクセルレベルプログラミングデータを識別するために、シリアルデータストリーム中にあり得る、ピクセルアレイプログラミングマップをパースすることができる。ピクセルレベルプログラミングデータの識別は、たとえば、２次元ピクセルアレイプログラミングマップがシリアルフォーマットに変換されるあらかじめ決定されたスキャンパターン、ならびにピクセルレベルプログラミングデータがシリアルデータストリームから周辺回路によって受け取られる順序に基づき得る。ピクセルレベルプログラミングデータは、上記で説明されたように、２進形式であり得るか、または複数のビットを含むことができる。各ピクセルレベルプログラミングデータは、ピクセルセル、またはピクセルセルのグループをターゲットにすることができる。
【0129】
ステップ１２０６において、周辺回路は、各ピクセルセルによってアクセス可能なメモリにおける記憶のために、ならびに各ピクセルセルにおける光測定動作および測定データの生成を制御するために、各ピクセルセルにピクセルレベルプログラミングデータを送信することができる。メモリは、各ピクセルセルの一部であるか、またはピクセルセルのグループによって共有され得る。周辺回路は、プログラミングデータを受け取るための１つまたは複数のピクセルセルを選択するために、行アドレス信号、列アドレス信号、ならびにプログラミングデータを含む制御信号をピクセルセルアレイに送信することができる。選択された１つまたは複数のピクセルセルは、次いで、図８Ｂで説明されるように、制御信号７２２を受け取ることができる。ピクセルレベルプログラミングデータは、次いで、各ピクセルセルにおける光測定動作を構成するために各ピクセルセルのメモリから、またはピクセルセルのブロックにおける光測定動作を構成するためにピクセルセルの各ブロックの共有メモリから読み出され得る。いくつかの例では、メモリは、異なるピクセルレベルプログラミングデータが、異なる時間に読み出されることを可能にするために、シフトレジスタを含み得る。いくつかの例では、複数のピクセルセル（またはピクセルセルの複数のグループ）からのメモリは、たとえば、画像フレームにわたる関心領域（ＲＯＩ）の移動を考慮するために、あるピクセルセルから別のピクセルセルにピクセルレベルプログラミングデータを伝搬するようにシフトレジスタを形成することができる。
【0130】
ピクセルセルにおける光測定動作の構成は、たとえば、ピクセルセルの光測定動作および測定データ生成を無効化／有効化すること、露光時間を設定すること、１つまたは複数の量子化動作（たとえば、ＴＴＳ、ＦＤ ＡＤＣ、ＰＤ ＡＤＣ）を選択すること、量子化器の帯域幅および／または量子化分解能を設定すること、メモリが測定データを記憶するかどうかを制御すること、メモリに記憶される測定データの精度（たとえば、ビット数）を制御することなどを含むことができる。ピクセルレベルプログラミングデータによる光測定動作の構成はまた、チップレベルプログラミングデータによるピクセルセルの構成をゲートすること、および／またはチップレベルプログラミングデータを復号することを含むことができる。
【0131】
本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアにおいて具現され得る。
【0132】
説明されるステップ、動作、またはプロセスは、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。いくつかの実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。
【0133】
本開示の実施形態はまた、説明される動作を実施するための装置に関し得る。本装置は、必要とされる目的のために特別に構築され得、および／あるいは、本装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または、コンピュータシステムバスに結合され得る、電子命令を記憶するのに好適な任意のタイプのメディアに記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または増加された計算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【0134】
本開示の実施形態はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の実施形態を含み得る。
【0135】
本明細書で使用される言い回しは、主に読みやすさおよび教授の目的で選択されており、その言い回しは、本発明の主題を画定または制限するために選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図10A】
【図10B】
【図11】
【図12】