▶ マイクロソフト テクノロジー ライセンシング，エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】ＴＯＦピクセルを用いたＨＤＲ可視光イメージング
(51)【国際特許分類】
H04N 25/583 20230101AFI20241111BHJP
H04N 25/70 20230101ALI20241111BHJP
H04N 23/54 20230101ALI20241111BHJP
G01S 17/894 20200101ALI20241111BHJP
【ＦＩ】
H04N25/583
H04N25/70
H04N23/54
G01S17/894
【請求項の数】
20
(21)【出願番号】P 2022507604
(86)(22)【出願日】2020-06-12
(65)【公表番号】
(43)【公表日】2022-10-12
(86)【国際出願番号】 US2020037345
(87)【国際公開番号】W WO2021025782
(87)【国際公開日】2021-02-11
【審査請求日】2023-05-10
(31)【優先権主張番号】16/536,000
(32)【優先日】2019-08-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】314015767
【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ラジャセカラン，ビジェイ
【審査官】藏田 敦之
(56)【参考文献】
【文献】特開２０１７－１９５５８８（ＪＰ，Ａ）
【文献】国際公開第２００７／１１９６２６（ＷＯ，Ａ１）
【文献】国際公開第２０１８／１５９２８９（ＷＯ，Ａ１）
【文献】国際公開第２０１６／１２９４１０（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０１７６４９２（ＵＳ，Ａ１）
【文献】特開２００９－０８８９２８（ＪＰ，Ａ）
【文献】特開２０１５－２０７８６２（ＪＰ，Ａ）
【文献】特開２０１６－１４３９１９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２５／５８３
Ｈ０４Ｎ ２５／７０
Ｈ０４Ｎ ２３／５４
Ｇ０１Ｓ １７／８９４
(57)【特許請求の範囲】
【請求項1】
各々が第１の電荷収集ポイント及び第２の電荷収集ポイントを有するピクセルのアレイを有する奥行き画像センサを介してハイダイナミックレンジ（ＨＤＲ）画像を生成する方法であって、前記第１の電荷収集ポイント及び前記第２の電荷収集ポイントは集積期間中に電流を集積するために独立して制御可能であり、前記方法は：ＨＤＲ集積期間中に、第１のデューティサイクルにしたがって前記第１の電荷収集ポイント及び前記第２の電荷収集ポイントを動作させることであって、前記第１のデューティサイクルは、第１の露出時間の間、前記第１の電荷収集ポイントを制御すること、及び、第２の露出時間の間、前記第２の電荷収集ポイントを制御することを含み、前記第２の露出時間は、前記第１の露出時間より短く、且つ（ｉ）前記第１の露出時間の間、前記第１の電荷収集ポイントがアクティブであり、前記第２の電荷収集ポイントが非アクティブであり、（ｉｉ）前記第２の露出時間の間、前記第２の電荷収集ポイントがアクティブであり、前記第１の電荷収集ポイントが非アクティブであるように、前記第１の露出時間と交互になる、動作させることと；
前記ピクセルのアレイの各ピクセルに対して、
前記第１の電荷収集ポイントで収集された電荷及び前記第２の電荷収集ポイントで収集された電荷を閾値と比較することと、
前記比較することに基づいて、前記ＨＤＲ画像に含めるために、前記第１の電荷収集ポイントで収集された前記電荷及び前記第２の電荷収集ポイントで収集された前記電荷のうちの１つを選択することと；
前記ＨＤＲ画像を出力することと；
奥行き画像集積期間中に、第２のデューティサイクルにしたがって前記第１の電荷収集ポイント及び前記第２の電荷収集ポイントを動作させることであって、前記第２のデューティサイクルは、第３の露出時間の間、前記第１の電荷収集ポイントを制御すること、及び、第４の露出時間の間、前記第２の電荷収集ポイントを制御することを含み、前記第２のデューティサイクルは前記第１のデューティサイクルとは異なる、動作させることと；
前記ピクセルのアレイの各ピクセルに対して、前記第３の露出時間の間に収集された電荷及び前記第４の露出時間の間に収集された電荷に基づいて奥行き値を決定することと；
決定された前記奥行き値に少なくとも部分的に基づいて奥行き画像を出力することと；
を含む、方法。
【請求項2】
前記第１の露出時間は、前記ＨＤＲ集積期間の９９～９９．９％を含み、前記第２の露出時間は、前記ＨＤＲ集積期間の０．１～１％を含む、請求項１に記載の方法。
【請求項3】
前記第１の電荷収集ポイントは、第１のポリシリコンゲートを含み、前記第２の電荷収集ポイントは、第２のポリシリコンゲートを含む、請求項１に記載の方法。
【請求項4】
前記奥行き画像及び前記ＨＤＲ画像は交互に生成される、請求項３に記載の方法。
【請求項5】
２つ以上の奥行き画像が前記ＨＤＲ画像ごとに生成される、請求項３に記載の方法。
【請求項6】
前記閾値は、ピクセル飽和値の８０～９０％内である、請求項１に記載の方法。
【請求項7】
前記ＨＤＲ画像に含めるために、前記第１の電荷収集ポイントで収集された前記電荷と前記第２の電荷収集ポイントで収集された前記電荷のうちの１つを選択することは、前記第１の電荷収集ポイントで収集された前記電荷が前記閾値を超えないときに、前記第１の電荷収集ポイントで収集された前記電荷を選択することと、前記第１の電荷収集ポイントで収集された前記電荷が前記閾値を超えるときに、前記第２の電荷収集ポイントで収集された前記電荷を選択することとを含む、請求項１に記載の方法。
【請求項8】
ブルーミングを防止するために、前記集積期間の終わりに、各ピクセルの、フローティング拡散ノード、前記第１の電荷収集ポイント、及び前記第２の電荷収集ポイントから電荷をクリアすることをさらに含む、請求項１に記載の方法。
【請求項9】
各々が第１のポリシリコンゲート及び第２のポリシリコンゲートを有するピクセルのアレイを持つ異なるピクセルのアレイを有する差動ＴＯＦカメラであって、前記第１のポリシリコンゲート及び前記第２のポリシリコンゲートは、集積期間中に電荷を集積するために独立して制御可能である、差動ＴＯＦカメラと；論理サブシステムと；
記憶サブシステムであって：
ハイダイナミックレンジ（ＨＤＲ）集積期間中に、第１のデューティサイクルにしたがって前記第１のポリシリコンゲート及び前記第２のポリシリコンゲートを動作させ、前記第１のデューティサイクルは、第１の露出時間の間電荷を集積するように前記第１のポリシリコンゲートを制御すること及び第２の露出時間の間電荷を集積するように前記第２のポリシリコンゲートを制御することを含み、前記第２の露出時間は、前記第１の露出時間より短く、且つ、（ｉ）前記第１の露出時間の間、前記第１のポリシリコンゲートが電荷を集積し、前記第２のポリシリコンゲートが非アクティブであり、（ｉｉ）前記第２の露出時間の間、前記第２のポリシリコンゲートが電荷を集積し、前記第１のポリシリコンゲートが非アクティブであるように、前記第１の露出時間と交互になり；
前記異なるピクセルのアレイの複数のピクセルの各ピクセルについて、
前記第１のポリシリコンゲートで集積された前記電荷及び前記第２のポリシリコンゲートで集積された前記電荷を閾値と比較し、
前記比較に基づいて、ハイダイナミックレンジ（ＨＤＲ）画像に含めるために、前記第１のポリシリコンゲートで集積された前記電荷及び前記第２のポリシリコンゲートで集積された前記電荷のうちの１つを選択し；
前記ＨＤＲ画像を出力し；
奥行き集積期間中に、第２のデューティサイクルにしたがって前記第１のポリシリコンゲート及び前記第２のポリシリコンゲートを動作させ、前記第２のデューティサイクルは、第３の露出時間の間、前記第１のポリシリコンゲートを制御すること、及び、第４の露出時間の間、前記第２のポリシリコンゲートを制御することを含み、前記第２のデューティサイクルは前記第１のデューティサイクルとは異なり；
前記異なるピクセルのアレイの複数のピクセルの各ピクセルに対して、前記第３の露出時間の間に収集された電荷及び前記第４の露出時間の間に収集された電荷に基づいて奥行き値を決定し；
決定された前記奥行き値に少なくとも部分的に基づいて奥行き画像を出力する；ように、
前記論理サブシステムによって実行可能な命令を記憶する、記憶サブシステムと；
を有する、
装置。
【請求項10】
前記第１の露出時間は、前記ＨＤＲ集積期間の９９～９９．１％を含み、前記第２の露出時間は、前記ＨＤＲ集積期間の０．１～１％を含む、請求項９に記載の装置。
【請求項11】
前記命令は、前記奥行き画像及び前記ＨＤＲ画像を交互に生成するように実行可能である、請求項９に記載の装置。
【請求項12】
前記命令は、２つ以上の奥行き画像を各前記ＨＤＲ画像ごとに生成するように実行可能である、請求項９に記載の装置。
【請求項13】
前記閾値は、ピクセル飽和値を含む、請求項９に記載の装置。
【請求項14】
前記命令は、前記第１のポリシリコンゲートで収集された前記電荷が前記閾値を超えないときに、前記第１のポリシリコンゲートで収集された前記電荷を選択し、前記第１のポリシリコンゲートで収集された前記電荷が前記閾値を超えるときに、前記第２のポリシリコンゲートで収集された前記電荷を選択するように実行可能である、請求項９に記載の装置。
【請求項15】
前記命令は、さらに、ブルーミングを防止するために、前記集積期間の終わりに、各ピクセルの、フローティング拡散ノード、前記第１のポリシリコンゲート、及び前記第２のポリシリコンゲートから電荷をクリアするように実行可能である、請求項９に記載の装置。
【請求項16】
前記ピクセルは、３．５マイクロメートル以下のサイズを有する、請求項９に記載の装置。
【請求項17】
各々が第１のポリシリコンゲート及び第２のポリシリコンゲートを有する異なるピクセルのアレイを有する奥行き画像センサであって、前記第１のポリシリコンゲート及び前記第２のポリシリコンゲートは、集積期間中に電荷を集積するために独立して制御可能である、奥行き画像センサと；論理サブシステムと；
記憶サブシステムであって：
ハイダイナミックレンジ（ＨＤＲ）集積期間中に、第１のデューティサイクルにしたがって前記第１のポリシリコンゲート及び前記第２のポリシリコンゲートを動作させ、前記第１のデューティサイクルは、第１の露出時間の間電荷を集積するように前記第１のポリシリコンゲートを制御すること及び第２の露出時間の間電荷を集積するように前記第２のポリシリコンゲートを制御することを含み、前記第２の露出時間は、前記第１の露出時間より短く、且つ、（ｉ）前記第１の露出時間の間、前記第１のポリシリコンゲートが電荷を集積し、前記第２のポリシリコンゲートが非アクティブであり、（ｉｉ）前記第２の露出時間の間、前記第２のポリシリコンゲートが電荷を集積し、前記第１のポリシリコンゲートが非アクティブであるように、前記第１の露出時間と交互になり；
前記異なるピクセルのアレイの複数のピクセルの各ピクセルについて、
前記第１のポリシリコンゲートで集積された前記電荷及び前記第２のポリシリコンゲートで集積された前記電荷を１つ又は複数の閾値と比較し、
前記比較に基づいて、ＨＤＲ画像に含めるために、前記第１のポリシリコンゲートで集積された前記電荷及び前記第２のポリシリコンゲートで集積された前記電荷のうちの１つを選択し；
前記ＨＤＲ画像を出力し；
奥行き集積期間中に、第２のデューティサイクルにしたがって第３の露出時間の間、電荷を集積するように前記第１のポリシリコンゲートを制御し、第４の露出時間の間、電荷を集積するように前記第２のポリシリコンゲートを制御し、前記第２のデューティサイクルは前記第１のデューティサイクルとは異なり；
前記異なるピクセルのアレイの複数のピクセルの各ピクセルに対して、奥行き画像を生成するために、前記第３の露出時間の間に収集された電荷及び前記第４の露出時間の間に収集された電荷に基づいて奥行き値を前記ピクセルに割り当てる；
決定された前記奥行き値に少なくとも部分的に基づいて奥行き画像を出力する；ように、
前記論理サブシステムによって実行可能な命令を記憶する、記憶サブシステムと；
を有する、
装置。
【請求項18】
前記第１の露出時間は、前記ＨＤＲ集積期間の９９～９９．１％を含み、前記第２の露出時間は、前記ＨＤＲ集積期間の０．１～１％を含む、請求項１７に記載の装置。
【請求項19】
前記装置は、ウェアラブルデバイス又は自動車である、請求項１７に記載の装置。
【請求項20】
（ｉ）前記第１の露出時間の間、前記第１の電荷収集ポイントに電圧を印加すること及び前記第２の電荷収集ポイントに前記電圧を印加しないこと；及び（ｉｉ）前記第２の露出時間の間、前記第２の電荷収集ポイントに前記電圧を印加すること及び前記第１の電荷収集ポイントに前記電圧を印加しないこと；をさらに含む、
請求項１に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
ハイダイナミックレンジ（ＨＤＲ）イメージングは、標準的なイメージング技術によってキャプチャされるものよりも大きい光度のダイナミックレンジ（dynamic range of luminosity）を有する画像のキャプチャである。ＨＤＲイメージングの１つの目標は、人間の眼が経験するオーダーの輝度の（luminance）範囲を達成することである。
【発明の概要】
【0002】
この概要は、以下の詳細な説明でさらに記述される簡略化された形式で概念の選択を導入するために提供される。この概要は、請求項に記載された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求項に記載された主題の範囲を限定するために使用することを意図したものでもない。さらに、請求項に記載された主題は、本開示のいずれかの部分に記載されたいずれかの又はすべての欠点を解決する実装に限定されない。
【0003】
ＨＤＲイメージングを実行するために飛行時間（ＴＯＦ）カメラを用いることに関連する例が開示されている。一例は、集積期間（integration period）中に相補クロック信号によって制御される２つのポリシリコンゲート（ポリフィンガ（polyfingers））を有する差動ＴＯＦピクセルを介してＨＤＲ画像を生成する方法を提供する。この方法は、集積期間中に、第１の露出時間（exposure time）の間第１のポリフィンガを制御することと、集積期間中に、第２の露出時間の間第２のポリフィンガを制御することとを含み、第２の露出時間は、第１の露出時間よりも短い。この方法は、さらに、複数のピクセルの各ピクセルについて、第１のポリフィンガで収集された電荷及び第２のポリフィンガで収集された電荷を閾値と比較することと、比較に基づいて、ＨＤＲ画像に含めるために第１のポリフィンガで収集された電荷及び第２のポリフィンガで収集された電荷のうちの１つを選択することとを含む。
【図面の簡単な説明】
【0004】
【図1】奥行き（depth）画像センサが周囲環境の奥行き画像と二次元モノクロ画像の両方を取得する例示的な使用シナリオを示す。
【0005】
【図2】奥行き画像センサが周囲環境の奥行き画像と二次元モノクロ画像の両方を取得する例示的な使用シナリオを示す。
【0006】
【図3】奥行き画像センサが周囲環境の奥行き画像と二次元モノクロ画像の両方を取得する例示的な使用シナリオを示す。
【0007】
【図4】奥行き画像センサが周囲環境の奥行き画像と二次元モノクロ画像の両方を取得する例示的な使用シナリオを示す。
【0008】
【図5】例示的なシリコンベースの背面照明飛行時間センサピクセルの態様を示す。
【0009】
【図6】例示的な飛行時間奥行き画像センサの態様を示す。
【0010】
【0011】
【0012】
【図9】集積期間中に第１のポリフィンガで収集された長い露出を介して取得された例示的な画像を示す。
【0013】
【図10】集積期間中に第２のポリフィンガで収集された短い露出を介して取得された例示的な画像を示す。
【0014】
【図11】奥行き画像センサを介してＨＤＲ画像を生成する例示的な方法を示すフローチャートを示す。
【0015】
【図12】例示的なコンピューティングシステムを示すブロック図を示す。
【発明を実施するための形態】
【0016】
ＨＤＲイメージング技術は、同一画像内のシーンの低光（low light）部分と高光（high light）部分の両方を適切にキャプチャする固有の能力を持たない画像センサを使用して、ＨＤＲ画像をキャプチャするために使用され得る。一例として、ＨＤＲイメージング技術は、明るい面と暗い面の両方を有する状態（例えば、太陽に面したとき、夜間にヘッドライトに遭遇したときなど）の画像を得るために、自動車画像センサシステムにおいて使用され得る。
【0017】
様々な異なるＨＤＲイメージング技術が使用され得る。例えば、ＨＤＲ画像は、異なる露出設定で時系列な方法で多重露出を取得し、次いで、多重露出のシーケンス（sequence of multiple exposures）をマージすることによって、従来のＲＧＢカメラを介して生成され得る。これは、単一の露出設定で取られる個々の露出よりも高い輝度範囲のＨＤＲ画像を生成するために使用され得る。しかしながら、異なる露出が異なる時間に取られるので、フレーム間のイメージングされたシーン内の動きが、結果として生じるＨＤＲ画像のミスアライメント（misalignment）及びモーションアーチファクト（motion artifacts）（例えばゴースト）を生じさせる可能性がある。
【0018】
モーションアーチファクトに関するこのような問題に対処するために、他のＨＤＲイメージング技術は、空間多重化アプローチを利用し得る。一例として、グローバルシャッタマルチフォトダイオード画像センサアーキテクチャは、時間多重化（time-multiplexed）ＨＤＲアプローチに関連するゴーストを回避するのに役立ち得る。グローバルシャッタマルチダイオード画像センサは、各フォトダイオードにおいて異なる光レベルをキャプチャするために、ピクセル当たり２つ以上のフォトダイオードを含み得る。例えば、各ピクセルは、より低い光シーンをキャプチャするための比較的大きいフォトダイオードと、より明るいシーンをキャプチャするための比較的小さいフォトダイオードとを含み得る。グローバルシャッタでは、第１のフォトダイオードは長い露出を取得し、第２のフォトダイオードは同じ集積期間中に短い露出を取得する。しかし、ピクセル当たりの複数のフォトダイオードの使用は、望ましくないほど大きなピクセルサイズ及び複雑性を生じさせ得、また、異なるサイズのフォトダイオード間にスペクトル感度の不整合をもたらし得る。
【0019】
空間的多重化に対する別のアプローチは、インターリーブＨＤＲであり、この場合、画像センサは、センサアレイのピクセルの奇数行及び偶数行において、長い及び短い露出を別々に取得する。しかしながら、そのような技術は画像解像度を低下させる。例えば、長時間露出のために奇数行のみを使用し、短時間露出のために偶数行のみを使用することは、画像解像度を半分に減らす。
【0020】
従って、周囲環境の二次元ＨＤＲ画像を得るために、奥行き画像感知のために（例えば、差動ＴＯＦカメラにおける）構成されたグローバルシャッタＴＯＦピクセルを使用することに関連する例が開示される。以下により詳細に説明するように、センサの各ピクセルは、集積期間中に光露出からの電荷を集積する（integrate）ために個々に制御可能な一対のポリシリコンゲート（本明細書では、第１のポリフィンガ及び第２のポリフィンガと称する）を含む。集積期間中、第１のポリフィンガは第１の露出時間の間光を集積し、第２のポリフィンガは第２の短い露出時間の間光を集積する。これは、センサアレイが、同じ集積期間中に、シーンからの高光及び低光データを収集することを可能にする。読み出し時に、各ポリフィンガで収集された電荷は、第１のポリフィンガで収集された電荷又は第２のポリフィンガで収集された電荷をＨＤＲ画像に含めるかどうかを決定するために、ピクセル飽和値などの１つ以上の閾値と比較される。ＨＤＲ画像に含めるために選択されたピクセルは、次いで、ＨＤＲ画像を形成するように一緒にステッチされる（stitched）。画像センサアレイの各ピクセルに対する二重ポリフィンガアーキテクチャは、マルチフォトダイオードアプローチで見られるサイズ、複雑性、及びスペクトル感度不整合の問題を回避するのに役立つ。さらに、同じセンサアレイは、また、各ポリフィンガがＨＤＲ画像と比較して奥行き画像のためのアクティブ光（active light）を集積する制御クロック信号デューティサイクルを変更することによって奥行き画像をキャプチャし得る。
【0021】
図１は、第１の自動車１０４の奥行き画像センサ１０２が、周囲の実世界環境の奥行き画像及びＨＤＲ画像の両方をキャプチャする例示的な使用シナリオ１００を示す。以下にさらに詳細に説明するように、奥行き画像センサ１０２は、各々が飛行時間（ＴＯＦ）奥行きイメージングのために構成された２つの独立したクロックの（independently clocked）ポリフィンガを有するピクセルのアレイを有する。奥行き画像センサ１０２は、さらに、通過する可視光又は赤外光（ＩＲ）を切り替えるように構成された電気的に制御される光学フィルタを有し、これは、奥行きイメージングモードと可視光イメージングモードとの間で切り替えるのに役立ち得る。奥行き画像センサ１０２は、コンピューティングシステムに動作可能に結合され、このコンピューティングシステムは、奥行き画像センサと一体化されてもよく、又は奥行き画像センサから離れた場所（例えば、自動車１０４の他の場所）に配置されてもよい。図１２を参照して、コンピューティングシステムの例を以下に説明する。
【0022】
この例では、第１の自動車１０４が第２の自動車１０６に接近すると、第１の集積期間のセットの間に奥行き画像センサ１０２を介して取得された奥行き画像は、第１の自動車１０４の第２の自動車１０６への近接を監視するのに役立ち得る。奥行き感知集積期間中、第１のポリフィンガは、第１の露出時間の間、電荷を集積するように制御され、第２のポリフィンガは、第１の露出時間と重複していない可能性がある第２の露出時間の間、電荷を集積するように制御される。奥行き検知では、各ポリフィンガは、集積期間の約５０％の間、電荷を集積し得る。次に、各ピクセルについて、第１のポリフィンガに集積された電荷と第２のポリフィンガに集積された電荷との差は、ピクセルの奥行き値（depth value）を計算するために使用され得る。
【0023】
奥行きセンサ１０２を介して得られたＨＤＲ画像は、車載ディスプレイシステム上の表示に使用され得る。ＨＤＲ集積期間中、コンピューティングシステムは、比較的長い露出時間の間電荷を集積するように第１のポリフィンガを制御し、比較的短い露出時間の間電荷を集積するように第２のポリフィンガを制御し得る。いくつかの例では、比較的長い露出時間は、集積期間の９９～９９．９％を構成し得、一方、短い露出時間は、集積期間の０．１～１％を構成し得る。集積後、ピクセルアレイの各ピクセルについて、コンピューティングシステムは、どの電荷を2次元画像に含めるかを決定するために、第１のポリフィンガで収集された電荷及び第２のポリフィンガで収集された電荷を、（例えば、電荷をアナログ－デジタル変換器を介してデジタル信号に変換することによって）１つ以上の閾値と比較する。コンピューティングシステムは、次いで、ＨＤＲ画像を形成するように、ピクセルの全てについて選択されたデータを一緒にステッチする。図２に示すように、図１の使用シナリオ１００で生成されたＨＤＲ画像２００は、第１の自動車１０４の内部ディスプレイを介して表示され得る。
【0024】
図３は、第１の自動車３０２が、２つの駐車された自動車３０４と３０６との間の縦列駐車スペースにバックしている例示的な使用シナリオ３００を示す。第１の自動車３０２の後部に配置された奥行き画像センサ３０８は、第１の集積期間のセットの間に、第１の自動車３０２と他の物体（例えば、駐車車両３０６）との間の距離を監視するために使用される実世界の周囲の奥行き画像を取得する。異なる第２の集積期間のセットの各々の間、奥行き画像センサ３０８の各ピクセルの第１のポリフィンガ及び第２のポリフィンガは、上述のように、長い及び短い露出を収集するように制御される。奥行き画像センサ１０２は、電気的に制御される光学フィルタを、集積期間の第１のセットの間の通過する赤外光と集積期間の第２のセットの間の可視光との間で切り替え得る。各ピクセルについての２つの露出は、次いで、各ピクセルについてのどの電荷がＨＤＲ画像に含めるかを決定するために、１つ以上の閾値と比較され、各ピクセルについての選択された露出は、ＨＤＲ画像を形成するように、他の露出とステッチされる。図４に示すように、周囲環境のＨＤＲ画像４００はディスプレイに、例えば、第１の自動車３０２のドライバに視覚的なフィードバックを提供するために、出力され得る。
【0025】
奥行き画像センサは、任意の適切なシーケンス及び比率で奥行き画像及びＨＤＲ画像を生成し得る。いくつかの例では、奥行き画像センサは、ＨＤＲ画像と奥行き画像を１：１の比で交互に生成するように構成され得る。他の例では、奥行き画像センサは、各ＨＤＲ画像ごとに２つ以上の奥行き画像を生成するように構成され得る。
【0026】
図１～図４の例は、自動車のコンテキストにおいてマシンビジョンを使用するが、他の例では、奥行き画像センサは、任意の他の好適なコンテキストにおいてＨＤＲイメージを取得するために使用され得る。例えば、奥行き画像センサは、ロボットシステムの目として使用され得る。１つのこのような例では、ロボット手術システムが、器具のトラッキングのために、手術器具と解剖学的基準点との間の奥行き感知を実行し得、外科医に可視画像を表示するためにＨＤＲイメージングを利用し得る。別の例として、奥行き画像センサは、他の可能な用途の中で、奥行き感知を実行し、ビデオフィードスルー拡張現実（ＡＲ）画像を提示するために、ヘッドマウントディスプレイデバイスのようなウェアラブルデバイスと一体化され得る
【0027】
図５は、奥行き画像センサ１０２及び／又は３０８として使用され得る飛行時間（ＴＯＦ）画像センサの例示的なピクセル５００を示す。ピクセル５００を含む画像センサアレイは、ウエハーをパターン化するために標準的な相補型金属酸化物半導体（ＣＯＭＳ）プロセスを用いてシリコンウエハー上に製造され得る。ＣＭＯＳプロセスは、フロントエンド（front-end-of-line）（ＦＥＯＬ）ステージ及びバックエンド（back-end-of-line）（ＢＥＯＬ）ステージを含み、これらは、ＦＥＯＬ（又はシリコンＥＰＩ）層５０２及びＢＥＯＬ層５０４を有する構造を形成する。ピクセル５００は、第１の独立して制御可能なポリフィンガ光電子コレクタ５０６Ａ及び第２の独立して制御可能なポリフィンガ光電子コレクタ５０６Ｂを含み、これらは、ＢＥＯＬステージにおいてＢＥＯＬ層５０４上に形成され得る、さらに、ピクセル５００は、１つ以上の誘電体反射防止層を含む光学積層体（optical stack）５０８を含む。光学積層体５０８は、さらに、マイクロレンズアレイをさらに含み得る。
【0028】
第１のポリフィンガ５０６Ａに印加される電気バイアスは、第２のポリフィンガ５０６Ｂに印加される電気バイアスに対して時間的にシフトされる。奥行きイメージングのために、シフトは、各ポリフィンガ５０６Ａ、５０６Ｂに対して約５０％のデューティサイクルを達成するような方法で実行され得る。対照的に、ＨＤＲイメージングでは、シフトは、一方のポリフィンガでより長い露出を達成し、他方のポリフィンガでより短い露出を達成するような方法で実行され得る。いずれの場合も、光の吸収によって生成された光電子ａ及びｂは、シリコンＦＥＯＬ層５０２に注入され、印加されたバイアスに応じて、独立して制御可能なポリフィンガ５０６Ａ、５０６Ｂの一方又は他方に向かって移動する。
【0029】
図６は、複数のピクセル５００を有する画像センサアレイ６０２を含む、例示的なＴＯＦ奥行き画像センサ６００の態様を概略的に示す。奥行き画像センサ６００は、対象６０６に変調された光－正弦変調、パルス変調、又は他の任意の周期波形に従って変調された光を照射するように構成されたエミッタ６０４を含む。より具体的なの実施形態では、エミッタ６０４は、連続変調モード又は反復バーストモードで放射可能なプログラマブル近赤外レーザであり得る。一つの具体例では、エミッタ６０４は、５０～３００メガヘルツ（ＭＨｚ）の変調周波数で動作するように構成される。
【0030】
エミッタ６０４からの幾つかの変調された光は、対象６０６から画像センサアレイ６０２へ反射して戻る。光検出器アレイ６０２で受信された光パルスは、対象６０６に移動して戻ったので、それらは、エミッタ６０４によって放出されたパルス列とは位相が異なる。位相差は、対象６０６の距離に比例して変化し（例えば、増加し）、奥行きイメージングをするとき各ピクセル５００において距離を決定することを可能にする。同様に、ＨＤＲイメージングの間、コントローラ６０８は、より長い露出及びより短い露出からそれぞれ電荷を収集し、読み出すために、各ピクセル５００の第１及び第２のポリフィンガを制御し、各ピクセルにおけるより長い露出又はより短い露出のうちの１つは、例えば閾値に基づいて、ＨＤＲイメージに含まれるように選択される。
【0031】
周囲光除去（ambient-light rejection）の何らかの手段を提供するために、画像センサアレイ６０２は、光学フィルタ６１０の背後に配置され得る。上述のように、光学フィルタ６１０は、可視光又はＩＲ光のいずれかを一度に選択的に通過させるように電気的に切り替え可能であり得、それによって、可視光イメージングのコンテキストと奥行きイメージングのコンテキストとの間を切り替えるように画像センサアレイ６０２を構成する。一実施形態では、エミッタ６０４は、ＩＲレーザ又はＩＲ発光ダイオード（ＬＥＤ）などの狭帯域赤外（ＩＲ）エミッタであり得る。ＩＲにおける照射及び光検出は、人間の対象がエミッタ６０４からの照射を検出しないという点で、追加の潜在的な利点を提供する。赤外線光を通過させるように制御されるとき、通過帯域は、エミッタ６０４の発光波長帯域と一致するように選択され得る。
【0032】
図７は、ピクセル５００を駆動する及び読み出すための例示的な電気回路７０２の概略図を示し、図８は、回路７０２を制御するための例示的な方法を示すタイミング図を示す。第１のポリフィンガの回路（光ゲートＡ、又はＰＧＡとして示される）は、集合的に７０４で示され、第２のポリフィンガの回路（光ゲートＢ、又はＰＧＢとして示される）は、集合的に７０６で示される。上述のように、ＰＧＡ及びＰＧＢは、個々に制御可能であり、その結果、各ポリフィンガにおいて電荷を集積するためのデューティサイクルは、奥行きイメージングと強度イメージングとの間で調整することができる。いくつかの例では、各ピクセル５００のサイズは、３．５マイクロメートルのオーダーである。
【0033】
タイミングスキーム８００は、様々な例において、奥行き画像センサ６００の制御回路及び／又はホストコンピューティングシステムによって実行可能な記憶された命令として実装され得る。集積／読出サイクルを開始するために、グローバルリセット８０２が、フローティング拡散ノードＦＤＡ、ＦＤＢ、及びポリフィンガＰＧＡ、ＰＧＢ（図７）における残留電荷をクリアするために使用され得る。次に、集積期間８０４において、各ポリフィンガについて、より低い電圧が第１のトランスファーゲートＴＧ１に印加され、より高い電圧が第２のトランスファーゲートＴＧ２に印加される。集積期間８０４中、第１のポリフィンガ（ＰＧＡ）は、より長い露出時間の間電荷を収集するために、第１のより長い露出時間の間バイアスをかけられ、第２のポリフィンガ（ＰＧＢ）は、より短い露出時間の間電荷を収集するために、より短い第２の露出時間の間バイアスをかけられる。集積期間８０４が２００マイクロ秒である１つの例では、第１のポリフィンガは、９９～９９．９％のデューティサイクルのために、集積期間８０４中、１９８～１９９．８マイクロ秒の総露出を達成するように制御され得、第２のポリフィンガは、０．１～１％のデューティサイクルのために、集積期間８０４中、０．２～２秒のために制御され得る。図示の例では、ＰＧＡ及びＰＧＢの露出はインターリーブされる（interleaved）。これは、キャプチャされたシーンが動いているオブジェクトを含むときに、モーションアーチファクトを回避するのに役立つ。
【0034】
過飽和によって引き起こされる、過剰に露出されたピクセルから他の近傍のピクセルへの光電荷のにじみ、ブルーミング（blooming）を防止するのを助けるために、タイミングスキーム８００は、アンチブルーミング期間８０６を含む。例えば、太陽が、イメージングされるシーン内にある場合、アンチブルーミング期間８０６がなければ、過飽和ピクセル（複数可）は、結果として生じる画像内でブルーミングを引き起こす可能性がある。図示されたアンチブルーミング期間８０６は、フローティング拡散ノード（floating diffusion nodes）ＦＤＡ、ＦＤＢ及びポリフィンガＰＧＡ、ＰＧＢにおいて収集された電荷をクリアし、リセットゲートを通して電荷をフラッシュし、残りの電荷が読出期間８０８中に読出されるピクセル内メモリにおいて収集された電荷に影響を与えないようにする。
【0035】
次に、行（row）読出し８０８の間、電荷が各ポリフィンガＰＧＡ、ＰＧＢのピクセル内メモリからそれぞれのフローティング拡散ノードＦＤＡ、ＦＤＢへ転送され、サンプリングされる前に、ピクセルのすべての行がリセットされ、サンプリングされる。電荷は増幅され、アナログ－デジタル変換器を介してデジタル信号に変換される。いくつかの例では、受信光レベルは、１～２０の乗数によって増幅され、これは、アナログ－デジタル信号変換の前又は後に生じ得る。
【0036】
図９は、奥行き画像センサの各ピクセルの第１のポリフィンガ（例えば、ＰＧＡ）によってキャプチャされた露出を介して取得されたモノクロ画像９００の一例を示し、図１０は、同じピクセルの各々の第２のポリフィンガ（例えば、ＰＧＢ）によってキャプチャされた露出を介して取得されたモノクロ画像１０００の一例を示す。図９では、窓の外側のイメージングされた環境は飽和しているように見えるが、イメージングされたオフィスの内部は十分な詳細を含んでいる。対照的に、イメージング化された屋外環境の多くの詳細は、画像１０００内に可視である。従って、図１０からの屋外環境の選択されたピクセルは、単一のＨＤＲ画像を形成するように、図９からの屋内の選択されたピクセルと組み合わされ得る。
【0037】
各ピクセルからのどのデータをＨＤＲ画像に含めるかを選択するために、第１の画像９００及び第２の画像１０００の各々について、各ピクセルで収集された電荷が、１つ以上の閾値と比較され得る（例えば、各画像の各ピクセルにおける電荷を、アナログ－デジタル変換器を使用してデジタル信号に変換することによって）。一例として、ピクセル飽和値に近い閾値が使用され得る。このような例では、信号が閾値を超えない限り、より長い露出からの信号がピクセルに対して選択され得、信号が飽和に近いか又は飽和あることを示し、その場合、より短い露出からの信号が選択され得る。比較に基づいて、ＰＧＡで収集された電荷とＰＧＢで収集された電荷のうちの１つが、ＨＤＲ画像に含めるために選択される。ピクセル毎の閾値比較を実行した後、各画像からの選択されたピクセルが、ＨＤＲ画像を形成するように一緒にステッチされる。
【0038】
図１１は、ピクセルのアレイを含むＴＯＦピクセルを介してＨＤＲ画像を生成する例示的な方法１１００を示し、各ピクセルは、集積期間１１０１中に電荷を集積するために独立して制御可能である第１のポリフィンガ及び第２のポリフィンガを有する。集積期間１１０１中、方法１１００は、１１０２において、第１の露出時間の間電荷を集積するように第１のポリフィンガをバイアスすることによって第１の露出時間の間第１のポリフィンガを制御することを含む。いくつかの例において、第１の露出時間は、１１０４において示されるように、集積期間の９９～９９．９％を含む。集積期間１１０１中、方法１１００はまた、１１０６において、第２の露出時間の間電荷を集積するように第２のポリフィンガをバイアスすることによって第２の露出時間の間第２のポリフィンガを制御することを含む。いくつかの例において、第２の露出時間は、１１０８において示されるように、集積期間の０．１１～１％を含む。
【0039】
集積期間１１０１の後、いくつかの例では、方法１１００は、１１１０において、ブルーミングを防止するために、フローティング拡散ノード、第１のポリフィンガ、及び第２のポリフィンガから電荷をクリアすることを含み得る。方法１１００は、さらに、複数のピクセルの各ピクセルについて、１１１２において示されるように、第１のポリフィンガで収集された電荷及び第２のポリフィンガで収集された電荷を閾値と比較することを含む。閾値は、１１１４において示されるように、ピクセル飽和値の近傍又はピクセル飽和値にあり得る（例えば、ピクセル飽和値の８０～９０％以内）、又は任意の他の適切なレベルに設定され得る。比較に基づいて、１１１６において、方法１１００は、複数のピクセルの各ピクセルについて、第１のポリフィンガで収集された電荷及び第２のポリフィンガで収集された電荷のうちの１つを、ＨＤＲ画像に含めるために選択することを含む。選択することは、１１１８において示されるように、第１のポリフィンガで収集された電荷が閾値を超えないとき、第１のポリフィンガで収集された電荷を選択すること、及び、第１のポリフィンガで収集された電荷が閾値を超えるとき、第２のポリフィンガで収集された電荷を選択することを含み得る。
【0040】
１１２０において、方法１１００は、複数のピクセルの各ピクセルについて、集積期間中に集積された電荷に基づいて、ピクセルのＨＤＲ値を計算することを含む。方法１１００は、１１２２において示されるように、ＨＤＲ画像を生成することをさらに含む。
【0041】
いくつかの例では、集積期間は、第１の集積を含み、方法１１００は、第２の集積期間１１２３中、第３の露出時間１１２４（例えば、第２の集積期間の５０％）の間電荷を集積するように第１のポリフィンガを制御すること、及び第４の露出時間１１２６（例えば、第２の集積期間の５０％）の間電荷を集積するように第２のポリフィンガを制御することを含む。さらに、複数のピクセルの各ピクセルについて、方法１１００は、１１２８において示されるように、奥行き画像を生成するために、第３の露出時間の間に集積された電荷及び第４の露出時間の間に集積された電荷に基づいて、ピクセルの奥行き値を計算することを含む。方法１１００は、１１３０において示されるように、奥行き画像を生成することをさらに含む。
【0042】
ＨＤＲ及び奥行き画像は、任意の適切な順序で生成され得る。場合によっては、方法１１００は、奥行き画像とＨＤＲ画像とを交互に生成することを含む。他の例では、方法１１００は、ＨＤＲ画像当たり２つ以上の奥行き画像を生成することを含む。
【0043】
いくつかの実施形態では、本明細書に記載される方法及びプロセスは、１つ以上のコンピューティングデバイスのコンピューティングシステムと結び付けられ得る。特に、このような方法及びプロセスは、コンピュータアプリケーションプログラム又はサービス、アプリケーションプログラミングインターフェース（ＡＰＩ）、ライブラリ、及び／又は他のコンピュータプログラム製品として実装され得る。
【0044】
図１２は、上述の方法及びプロセスのうちの１つ以上を実施することができるコンピューティングシステム１２００の非限定的な実施形態を概略的に示す。コンピューティングシステム１２００は、単純化された形式で示されている。コンピューティングシステム１２００は、１つ以上のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテインメントコンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（例えば、スマートフォン）、及び／又は他のコンピューティングデバイスの形態をとり得る。
【0045】
コンピューティングシステム１２００は、論理機械１２０２及び記憶機械１２０４を含む。コンピューティングシステム１２００は、オプションで、表示サブシステム１２０６、入力サブシステム１２０８、通信サブシステム１２１０、及び／又は図１２に示されていない他のコンポーネントを含み得る。
【0046】
論理機械１２０２は、命令を実行するように構成された１つ以上の物理デバイスを含む。例えば、論理機械は、１つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、又は他の論理構造の一部である命令を実行するように構成され得る。このような命令は、タスクを実行するため、データ型を実装するため、１つ以上のコンポーネントの状態を変換するため、技術的効果を達成するため、又は他の方法で所望の結果に到達するために実装され得る。
【0047】
論理機械１２０２は、ソフトウェア命令を実行するように構成された１つ以上のプロセッサを含み得る。追加的又は代替的に、論理機械は、ハードウェア又はファームウェア命令を実行するように構成された１つ以上のハードウェア又はファームウェア論理機械を含み得る。論理機械のプロセッサは、シングルコア又はマルチコアであり得、その上で実行される命令は、逐次、並列、及び／又は分散処理のために構成され得る。論理装置の個々のコンポーネントは、オプションで、２つ以上の別個のデバイス間に分散され得、これらのデバイスは、遠隔的に配置され得る、及び／又は、協調処理のために構成され得る。論理マシンの態様は、クラウドコンピューティング構成内に構成されたリモートアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化され、実行され得る。
【0048】
記憶機械１２０４は、本明細書に記載される方法及びプロセスを実装するために、論理機械によって実行可能な命令を保持するように構成される１つ以上の物理デバイスを含む。このような方法及びプロセスが実装されるとき、記憶機械１２０４の状態は、例えば異なるデータを保持するように、変換され得る。
【0049】
記憶機械１２０４は、取り外し可能装置及び／又は内蔵装置を含み得る。記憶機械１２０４は、とりわけ、光学メモリ（例えば、CD、DVD、HD-DVD、Blu-Ray Discなど）、半導体メモリ（例えば、RAM、EPROM、EEPROMなど）、及び／又は磁気メモリ（例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、MRAMなど）を含み得る。記憶機械１２０４は、揮発性、不揮発性、動的、静的、読み取り／書き込み、読み取り専用、ランダムアクセス、順次アクセス、位置アドレス指定可能、ファイルアドレス指定可能、及び／又はコンテンツアドレス指定可能なデバイスを含み得る。
【0050】
記憶機械１２０４は、１つ以上の物理デバイスを含むことが理解されるであろう。しかしながら、本明細書に記載される命令の態様は、代替的に、有限の期間物理デバイスによって保持されない通信媒体（例えば、電磁信号、光信号など）によって伝搬されてもよい。
【0051】
論理機械１２０２及び記憶機械１２０４の態様は、一緒に１つ以上のハードウェア論理コンポーネントに統合されてもよい。このようなハードウェア－論理コンポーネントは、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラム及び特定用途向け集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラム及び特定用途向け標準製品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、及び複雑なプログラマブル論理デバイス（ＣＰＬＤ）を含み得る。
【0052】
用語「プログラム」は、特定の機能を実行するように実装されるコンピューティングシステム１２００の態様を記述するために使用され得る。ある場合には、プログラムは、記憶機械１２０４によって保持された命令を実行する論理機械１２０２を介してインスタンス化され得る。異なるプログラムが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数などからインスタンス化され得ることが理解されよう。同様に、同じプログラムは、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数などによってインスタンス化され得る。用語「プログラム」は、実行可能なファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等の個々のもの又はグループを含み得る。
【0053】
含まれる場合、表示サブシステム１２０６は、記憶機械１２０４によって保持されるデータの視覚的表現を提示するために使用され得る。この視覚的表現は、グラフィカルユーザインターフェース（ＧＵＩ）の形態をとり得る。本明細書に記載される方法及びプロセスが、記憶装置によって保持されるデータを変更し、従って、記憶装置の状態を変換するとき、表示サブシステム１２０６の状態は、同様に、基礎となるデータの変化を視覚的に提示するように変換され得る。表示サブシステム１２０６は、実質的に任意の種類の技術を利用する１つ以上の表示装置を含み得る。このような表示装置は、共有エンクロージャ内の論理機械１２０２及び／又は記憶機械１２０４と組み合わされてもよく、又はこのような表示装置は周辺の表示装置であってもよい。
【0054】
含まれる場合、入力サブシステム１２０８は、キーボード、マウス、タッチスクリーン、又はゲームコントローラなどの１つ以上のユーザ入力デバイスを有し得る又はそれらとインターフェースで接続し得る。いくつかの実施形態では、入力サブシステムは、選択された自然ユーザ入力（ＮＵＩ）コンポーネントを有し得る又はそれとインターフェースで接続し得る。そのようなコンポーネントは、統合され得る又は周辺的なものであり得、入力アクションの変換（transduction）及び／又は処理は、オンボード又はオフボードで処理され得る。例示的なＮＵＩコンポーネントは、スピーチ及び／又は音声認識のためのマイクロホン；マシンビジョン及び／又はジェスチャ認識のための赤外線、カラー、立体視、及び／又は奥行きカメラ；運動検出及び／又は意図認識のためのヘッドトラッカー、アイトラッカー、加速度計、及び／又はジャイロスコープ；ならびに脳活動を評価するための電界検出コンポーネントを含み得る。
【0055】
含まれる場合、通信サブシステム１２１０は、コンピューティングシステム１２００を１つ以上の他のコンピューティングデバイスと通信可能に結合するように構成され得る。通信サブシステム１２１０は、１つ以上の異なる通信プロトコルと互換性がある有線及び／又は無線通信デバイスを含み得る。非限定的な例として、通信サブシステムは、無線電話ネットワーク、或いは、有線又は無線のローカル又はワイドエリアネットワークを介して通信するように構成され得る。いくつかの実施形態では、通信サブシステムは、コンピューティングシステム１２００が、インターネットなどのネットワークを介して、他の装置に及び／又は他の装置から、メッセージを送信及び／又は受信することを可能にし得る。
【0056】
別の例は、各々が第１のポリフィンガ及び第２のポリフィンガを有するピクセルのアレイを有する奥行き画像センサを介してハイダイナミック解像度（ＨＤＲ）画像を生成する方法であって、第１のポリフィンガ及び第２のポリフィンガは、集積期間中に電流を積分するように独立に制御可能であり、本方法は、集積期間中に、第１のポリフィンガを第１の露出時間の間制御することと、集積期間中に、第２のポリフィンガを第２の露出時間の間制御することであって、第２の露出時間は、第１の露出時間より短い、制御することと、複数のピクセルの各ピクセルについて、第１のポリフィンガで収集された電荷及び第２のポリフィンガで収集された電荷を閾値と比較することと、比較に基づいてＨＤＲ画像に含めるために、第１のポリフィンガで収集された電荷及び第２のポリフィンガで収集された電荷のうちの１つを選択することとを含む。このような例では、第１の露出時間は、集積期間の９９～９９．９％を追加的又は代替的に含み、第２の露出時間は、集積期間の０．１～１％を追加的又は代替的に含み得る。このような例では、集積期間は、追加的に又は代替的に第１の集積期間を含み得、本方法は、追加的に又は代替的に：第２の集積期間中に、第３の露出時間の間電荷を収集するように第１のポリフィンガを制御することと、第２の集積期間中に、第４の露出時間の間電荷を収集するように第２のポリフィンガを制御することと、複数のピクセルの各ピクセルについて、奥行き画像を生成するように第３の露出時間の間に集積された電荷及び第４の露出時間の間に集積された電荷に基づいてピクセルの奥行き値を計算することとを含み得る。このような例では、奥行き画像とＨＤＲ画像は、追加的に又は代替的に、交互に生成され得る。このような例では、２つ以上の奥行き画像が、追加的に又は代替的に、ＨＤＲ画像ごとに生成され得る。このような例では、閾値は、追加的に又は代替的に、ピクセル飽和値の８０～９０内であり得る。このような例では、ＨＤＲ画像に含めるために第１のポリフィンガで収集された電荷及び第２のポリフィンガで収集された電荷のうちの１つを選択することは、追加的に又は代替的に、第１のポリフィンガで収集された電荷が閾値を超えないときに、第１のポリフィンガで収集された電荷を選択することと、第１のポリフィンガで収集された電荷が閾値を超えるときに、第２のポリフィンガで収集された電荷を選択することとを含み得る。このような例では、本方法は、追加的に又は代替的に、ブルーミングを防止するために、集積期間の終わりに、各ピクセルの、フローティング拡散ノード、第１のポリフィンガ、及び第２のポリフィンガから電荷をクリアすることを含み得る。
【0057】
別の例は、各々が第１のポリフィンガ及び第２のポリフィンガを有するピクセルのアレイを有する差動ＴＯＦピクセルであって、第１のポリフィンガ及び第２のポリフィンガは、集積期間中に電荷を集積するために独立して制御可能である、差動ＴＯＦピクセルと、論理サブシステムと、記憶サブシステムであって：集積期間中に、第１の露出時間の間電荷を集積するように第１のポリフィンガを制御し、集積期間中に、第２の露出時間の間電荷を集積するように第２のポリフィンガを制御し、第２の露出時間は、第１の露出時間より短く、複数のピクセルの各ピクセルについて、第１のポリフィンガで集積された電荷及び第２のポリフィンガで集積された電荷を閾値と比較し、比較に基づいて、ハイダイナミックレンジ（ＨＤＲ）画像に含めるために第１のポリフィンガで集積された電荷及び第２のポリフィンガで集積された電荷のうちの１つを選択するように、論理サブシステムによって実行可能な命令を記憶する記憶サブシステムと、を有する装置を提供する。このような例では、第１の露出時間は、追加的又は代替的に、集積期間の９９～９９．１％を含み得、第２の露出時間は、追加的又は代替的に、集積期間の０．１～１％を含み得る。このような例では、集積期間は、追加的に又は代替的に、第１の集積期間を含み得、命令は、追加的に又は代替的に：第２の集積期間中に、第３の露出時間の間電荷を集積するように第１のポリフィンガを制御し、第２の集積期間中に、第４の露出時間の間電荷を集積するように第２のポリフィンガを制御し、複数のピクセルの各ピクセルについて、奥行き画像を生成するように、第３の露出時間の間に集積された電荷及び第４の露出時間の間に集積された電荷に基づいてピクセルに奥行き値を割り当てるように実行可能であり得る。このような例では、命令は、追加的又は代替的に、奥行き画像とＨＤＲ画像を交互に生成するように実行可能であり得る。このような例では、命令は、追加的又は代替的に、各ＨＤＲ画像毎に２つ以上の奥行き画像を生成するように実行可能であり得る。このような例では、閾値は、追加的に又は代替的に、ピクセル飽和値を含み得る。このような例では、命令は、追加的又は代替的に、第１のポリフィンガで収集された電荷が閾値を超えないとき、第１のポリフィンガで収集された電荷を選択し、第１のポリフィンガで収集された電荷が閾値を超えるとき、第２のポリフィンガで収集された電荷を選択するように実行可能であり得る。このような例では、命令は、追加的に又は代替的に、ブルーミングを防止するために、集積期間の終わりに、各ピクセルのフローティング拡散ノード、第１のポリフィンガ、及び第２のポリフィンガにおいて、電荷をクリアするように実行可能であり得る。このような例では、各ピクセルは、追加的に又は代替的に、３．５マイクロメートル以下のサイズを有し得る。
【0058】
別の例は、各々が第１のポリフィンガ及び第２のポリフィンガを有するピクセルのアレイを含む奥行き画像センサであって、第１のポリフィンガ及び第２のポリフィンガは、集積期間中に電荷を集積するように独立して制御可能である、奥行き画像センサと、ロジックサブシステムと、記憶サブシステムであって：第１の集積期間中に、第１の露出時間の間電荷を集積するように第１のポリフィンガを制御し、第１の集積期間中に、第２の露出時間の間電荷を集積するように第２のポリフィンガを制御し、前記第２の露出時間は、前記第１の露出時間よりも短く、複数のピクセルの各ピクセルについて、第１のポリフィンガで集積された電荷及び第２のポリフィンガで集積された電荷を１つ以上の閾値と比較し、比較に基づいて、ＨＤＲ画像に含めるために第１のポリフィンガで集積された電荷及び第２のポリフィンガで集積された電荷のうちの１つを選択し、第２の集積期間中に、第３の露出時間の間電荷を集積するように第１のポリフィンガを制御し、第２の集積期間中に、第４の露出時間の間電荷を集積するように第２のポリフィンガを制御し、複数のピクセルの各ピクセルについて、奥行き画像を生成するために、第３の露出時間の間に集積された電荷及び第４の露出時間の間に集積された電荷に基づいて、ピクセルに奥行き値を割り当てるように、ロジックサブシステムによって実行可能な命令を記憶する記憶サブシステムと、を有する装置を提供する。このような例では、第１の露出時間は、追加的又は代替的に、第１の集積期間の９９～９９．９％を含み得、第２の露出時間は、第１の集積期間の０．１～１％を含む。このような例では、装置は、追加的に又は代替的に、ウェアラブルデバイス又は自動車を含み得る。
【0059】
本明細書に記載された構成及び／又はアプローチは、本質的に例示的なものであり、これらの特定の実施形態又は例は、多くのバリエーションが可能であるため、限定的な意味で考慮されるべきではないことが理解されよう。本明細書に記載される特定のルーチン又は方法は、任意の数の処理戦略のうちの１つ以上を表し得る。そのようなものとして、図示され及び／又は記載された種々の行為は、図示され及び／又は記載されたシーケンスで、他のシーケンスで、並列に、又は省略されて実行され得る。同様に、上述した処理の順序は変更され得る。
【0060】
本開示の主題は、様々なプロセス、システム及び構成、ならびに本明細書に開示された他の特徴、機能、行為、及び／又は特性、ならびにそれらのすべての均等物の、すべての新規及び非自明の組み合わせ及びサブコンビネーションを含む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】