IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マイクロソフト テクノロジー ライセンシング,エルエルシーの特許一覧

特表2022-543459TOFピクセルを用いたHDR可視光イメージング
<>
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図1
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図2
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図3
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図4
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図5
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図6
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図7
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図8
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図9
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図10
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図11
  • 特表-TOFピクセルを用いたHDR可視光イメージング 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-12
(54)【発明の名称】TOFピクセルを用いたHDR可視光イメージング
(51)【国際特許分類】
   H04N 5/355 20110101AFI20221004BHJP
   H04N 5/369 20110101ALI20221004BHJP
   H04N 5/225 20060101ALI20221004BHJP
   G01S 17/894 20200101ALI20221004BHJP
【FI】
H04N5/355 540
H04N5/369
H04N5/225 300
G01S17/894
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022507604
(86)(22)【出願日】2020-06-12
(85)【翻訳文提出日】2022-02-07
(86)【国際出願番号】 US2020037345
(87)【国際公開番号】W WO2021025782
(87)【国際公開日】2021-02-11
(31)【優先権主張番号】16/536,000
(32)【優先日】2019-08-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLU―RAY DISC
(71)【出願人】
【識別番号】314015767
【氏名又は名称】マイクロソフト テクノロジー ライセンシング,エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ラジャセカラン,ビジェイ
【テーマコード(参考)】
5C024
5C122
5J084
【Fターム(参考)】
5C024CX47
5C024CX54
5C024CY17
5C024EX12
5C024GY39
5C024GY41
5C122EA21
5C122FC06
5C122FC07
5C122HB01
5J084AA04
5J084AA05
5J084AC02
5J084AC07
5J084AC08
5J084AD01
5J084BA02
5J084BA03
5J084BA20
5J084BA34
5J084BA40
5J084BB01
5J084BB20
5J084CA07
5J084CA10
5J084CA34
5J084CA49
5J084CA52
5J084CA65
5J084CA67
5J084EA06
(57)【要約】
1つの例は、各々が第1の電荷収集ポイント及び第2の電荷収集ポイントを有するピクセルのアレイを有する差動TOFピクセルを介してハイダイナミックレンジ画像を生成する方法を提供し、第1の電荷収集ポイント及び第2の電荷収集ポイントは、集積期間中に電流を集積するように独立して制御可能であり、この方法は、集積期間中に、第1の露出時間の間第1の電荷収集ポイントを制御することと、第2の露出時間の間第2の電荷収集ポイントを制御することと、各ピクセルについて、HDR画像に含めるための1つを選択するために、第1の電荷収集ポイントで収集された電荷及び第2の電荷収集ポイントで収集された電荷を閾値と比較することとを含む。
【特許請求の範囲】
【請求項1】
各々が第1の電荷収集ポイント及び第2の電荷収集ポイントを有するピクセルのアレイを有する奥行き画像センサを介してハイダイナミック解像度(HDR)画像を生成する方法であって、前記第1の電荷収集ポイント及び前記第2の電荷収集ポイントは集積期間中に電流を集積するために独立して制御可能であり、前記方法は:
前記集積期間中に、第1の露出時間の間、前記第1の電荷収集ポイントを制御することと;
前記集積期間中に、第2の露出時間の間、前記第2の電荷収集ポイントを制御することであって、前記第2の露出時間は前記第1の露出時間より短い、制御することと;
前記複数のピクセルの各ピクセルに対して、
前記第1の電荷収集ポイントで収集された電荷及び前記第2の電荷収集ポイントで収集された電荷を閾値と比較することと、
前記比較することに基づいて、前記HDR画像に含めるために、前記第1の電荷収集ポイントで収集された前記電荷及び前記第2の電荷収集ポイントで収集された前記電荷のうちの1つを選択することと;
を含む、方法。
【請求項2】
前記第1の露出時間は、前記集積期間の99~99.9%を含み、前記第2の露出時間は、前記集積期間の0.1~1%を含む、
請求項1に記載の方法。
【請求項3】
前記集積期間は、第1の集積期間を含み、前記第1の電荷収集ポイントは、第1のポリフィンガを含み、前記第2の電荷収集ポイントは、第2のポリフィンガを含み、前記方法は、さらに:
第2の集積期間中に、第3の露出時間の間電荷を集積するように前記第1のポリフィンガを制御することと;
前記第2の集積期間中に、第4の露出時間の間電荷を集積するように前記第2のポリフィンガを制御することと;
前記複数のピクセルの各ピクセルについて、奥行き画像を生成するように、前記第3の露出時間の間に集積された前記電荷及び前記第4の露出時間の間に集積された前記電荷に基づいて前記ピクセルの深さ値を計算することと;を含む、
請求項1に記載の方法。
【請求項4】
前記奥行き画像及び前記HDR画像は交互に生成される、
請求項3に記載の方法。
【請求項5】
2つ以上の奥行き画像が前記HDR画像ごとに生成される、
請求項3に記載の方法。
【請求項6】
前記閾値は、ピクセル飽和値の80~90内である、
請求項1に記載の方法。
【請求項7】
前記HDR画像に含めるために、前記第1の電荷収集ポイントで収集された前記電荷と前記第2の電荷収集ポイントで収集された前記電荷のうちの1つを選択することは、前記第1の電荷収集ポイントで収集された前記電荷が前記閾値を超えないときに、前記第1の電荷収集ポイントで収集された前記電荷を選択することと、前記第1の電荷収集ポイントで収集された前記電荷が前記閾値を超えるときに、前記第2の電荷収集ポイントで収集された前記電荷を選択することとを含む、
請求項1に記載の方法。
【請求項8】
ブルーミングを防止するために、前記集積期間の終わりに、各ピクセルの、フローティング拡散ノード、前記第1の電荷収集ポイント、及び前記第2の電荷収集ポイントから電荷をクリアすることをさらに含む、
請求項1に記載の方法。
【請求項9】
各々が第1のポリフィンガ及び第2のポリフィンガを有するピクセルのアレイを有する差動TOFピクセルであって、前記第1のポリフィンガ及び前記第2のポリフィンガは、集積期間中に電荷を集積するために独立して制御可能である、差動TOFピクセルと;
論理サブシステムと;
記憶サブシステムであって:
前記集積期間中に、第1の露出時間の間電荷を集積するように前記第1のポリフィンガを制御し;
前記集積期間中に、第2の露出時間の間電荷を集積するように前記第2のポリフィンガを制御し、前記第2の露出時間は前記第1の露出時間より短く;
前記複数のピクセルの各ピクセルについて、
前記第1のポリフィンガで集積された前記電荷及び前記第2のポリフィンガで集積された前記電荷を閾値と比較し、
前記比較に基づいて、ハイダイナミックレンジ(HDR)画像に含めるために、前記第1のポリフィンガで集積された前記電荷及び前記第2のポリフィンガで集積された前記電荷のうちの1つを選択する;ように、
前記論理サブシステムによって実行可能な命令を記憶する、記憶サブシステムと;
を有する、
装置。
【請求項10】
前記第1の露出時間は、前記集積期間の99~99.1%を含み、前記第2の露出時間は、前記集積期間の0.1~1%を含む、
請求項9に記載の装置。
【請求項11】
前記集積期間は、第1集積期間を含み、前記命令は、さらに:
第2の集積期間中に、第3の露出時間の間電荷を集積するように前記第1のポリフィンガを制御し;
前記第2の集積期間中に、第4の露出時間の間電荷を集積するように前記第2のポリフィンガを制御し;
前記複数のピクセルの各ピクセルについて、奥行き画像を生成するように、前記第3の露出時間の間に集積された前記電荷及び前記第4の露出時間の間に集積された前記電荷に基づいて、前記ピクセルに奥行き値を割り当てる;
ように実行可能である、
請求項9に記載の装置。
【請求項12】
前記命令は、前記奥行き画像及び前記HDR画像を交互に生成するように実行可能である、
請求項11に記載の装置。
【請求項13】
前記命令は、2つ以上の奥行き画像を各前記HDR画像ごとに生成するように実行可能である、
請求項11に記載の装置。
【請求項14】
前記閾値は、ピクセル飽和値を含む、
請求項9に記載の装置。
【請求項15】
前記命令は、前記第1のポリフィンガで収集された前記電荷が前記閾値を超えないときに、前記第1のポリフィンガで収集された前記電荷を選択し、前記第1のポリフィンガで収集された前記電荷が前記閾値を超えるときに、前記第2のポリフィンガで収集された前記電荷を選択するように実行可能である、
請求項9に記載の装置。
【発明の詳細な説明】
【背景技術】
【0001】
ハイダイナミックレンジ(HDR)イメージングは、標準的なイメージング技術によってキャプチャされるものよりも大きい光度のダイナミックレンジ(dynamic range of luminosity)を有する画像のキャプチャである。HDRイメージングの1つの目標は、人間の眼が経験するオーダーの輝度の(luminance)範囲を達成することである。
【発明の概要】
【0002】
この概要は、以下の詳細な説明でさらに記述される簡略化された形式で概念の選択を導入するために提供される。この概要は、請求項に記載された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求項に記載された主題の範囲を限定するために使用することを意図したものでもない。さらに、請求項に記載された主題は、本開示のいずれかの部分に記載されたいずれかの又はすべての欠点を解決する実装に限定されない。
【0003】
HDRイメージングを実行するために飛行時間(TOF)カメラを用いることに関連する例が開示されている。一例は、集積期間(integration period)中に相補クロック信号によって制御される2つのポリシリコンゲート(ポリフィンガ(polyfingers))を有する差動TOFピクセルを介してHDR画像を生成する方法を提供する。この方法は、集積期間中に、第1の露出時間(exposure time)の間第1のポリフィンガを制御することと、集積期間中に、第2の露出時間の間第2のポリフィンガを制御することとを含み、第2の露出時間は、第1の露出時間よりも短い。この方法は、さらに、複数のピクセルの各ピクセルについて、第1のポリフィンガで収集された電荷及び第2のポリフィンガで収集された電荷を閾値と比較することと、比較に基づいて、HDR画像に含めるために第1のポリフィンガで収集された電荷及び第2のポリフィンガで収集された電荷のうちの1つを選択することとを含む。
【図面の簡単な説明】
【0004】
図1】奥行き(depth)画像センサが周囲環境の奥行き画像と二次元モノクロ画像の両方を取得する例示的な使用シナリオを示す。
【0005】
図2】奥行き画像センサが周囲環境の奥行き画像と二次元モノクロ画像の両方を取得する例示的な使用シナリオを示す。
【0006】
図3】奥行き画像センサが周囲環境の奥行き画像と二次元モノクロ画像の両方を取得する例示的な使用シナリオを示す。
【0007】
図4】奥行き画像センサが周囲環境の奥行き画像と二次元モノクロ画像の両方を取得する例示的な使用シナリオを示す。
【0008】
図5】例示的なシリコンベースの背面照明飛行時間センサピクセルの態様を示す。
【0009】
図6】例示的な飛行時間奥行き画像センサの態様を示す。
【0010】
図7図5のピクセルのための例示的な回路の概略図を示す。
【0011】
図8図7の回路を介してモノクロ画像を生成するための例示的なタイミング図を概略的に示す。
【0012】
図9】集積期間中に第1のポリフィンガで収集された長い露出を介して取得された例示的な画像を示す。
【0013】
図10】集積期間中に第2のポリフィンガで収集された短い露出を介して取得された例示的な画像を示す。
【0014】
図11】奥行き画像センサを介してHDR画像を生成する例示的な方法を示すフローチャートを示す。
【0015】
図12】例示的なコンピューティングシステムを示すブロック図を示す。
【発明を実施するための形態】
【0016】
HDRイメージング技術は、同一画像内のシーンの低光(low light)部分と高光(high light)部分の両方を適切にキャプチャする固有の能力を持たない画像センサを使用して、HDR画像をキャプチャするために使用され得る。一例として、HDRイメージング技術は、明るい面と暗い面の両方を有する状態(例えば、太陽に面したとき、夜間にヘッドライトに遭遇したときなど)の画像を得るために、自動車画像センサシステムにおいて使用され得る。
【0017】
様々な異なるHDRイメージング技術が使用され得る。例えば、HDR画像は、異なる露出設定で時系列な方法で多重露出を取得し、次いで、多重露出のシーケンス(sequence of multiple exposures)をマージすることによって、従来のRGBカメラを介して生成され得る。これは、単一の露出設定で取られる個々の露出よりも高い輝度範囲のHDR画像を生成するために使用され得る。しかしながら、異なる露出が異なる時間に取られるので、フレーム間のイメージングされたシーン内の動きが、結果として生じるHDR画像のミスアライメント(misalignment)及びモーションアーチファクト(motion artifacts)(例えばゴースト)を生じさせる可能性がある。
【0018】
モーションアーチファクトに関するこのような問題に対処するために、他のHDRイメージング技術は、空間多重化アプローチを利用し得る。一例として、グローバルシャッタマルチフォトダイオード画像センサアーキテクチャは、時間多重化(time-multiplexed)HDRアプローチに関連するゴーストを回避するのに役立ち得る。グローバルシャッタマルチダイオード画像センサは、各フォトダイオードにおいて異なる光レベルをキャプチャするために、ピクセル当たり2つ以上のフォトダイオードを含み得る。例えば、各ピクセルは、より低い光シーンをキャプチャするための比較的大きいフォトダイオードと、より明るいシーンをキャプチャするための比較的小さいフォトダイオードとを含み得る。グローバルシャッタでは、第1のフォトダイオードは長い露出を取得し、第2のフォトダイオードは同じ集積期間中に短い露出を取得する。しかし、ピクセル当たりの複数のフォトダイオードの使用は、望ましくないほど大きなピクセルサイズ及び複雑性を生じさせ得、また、異なるサイズのフォトダイオード間にスペクトル感度の不整合をもたらし得る。
【0019】
空間的多重化に対する別のアプローチは、インターリーブHDRであり、この場合、画像センサは、センサアレイのピクセルの奇数行及び偶数行において、長い及び短い露出を別々に取得する。しかしながら、そのような技術は画像解像度を低下させる。例えば、長時間露出のために奇数行のみを使用し、短時間露出のために偶数行のみを使用することは、画像解像度を半分に減らす。
【0020】
従って、周囲環境の二次元HDR画像を得るために、奥行き画像感知のために(例えば、差動TOFカメラにおける)構成されたグローバルシャッタTOFピクセルを使用することに関連する例が開示される。以下により詳細に説明するように、センサの各ピクセルは、集積期間中に光露出からの電荷を集積する(integrate)ために個々に制御可能な一対のポリシリコンゲート(本明細書では、第1のポリフィンガ及び第2のポリフィンガと称する)を含む。集積期間中、第1のポリフィンガは第1の露出時間の間光を集積し、第2のポリフィンガは第2の短い露出時間の間光を集積する。これは、センサアレイが、同じ集積期間中に、シーンからの高光及び低光データを収集することを可能にする。読み出し時に、各ポリフィンガで収集された電荷は、第1のポリフィンガで収集された電荷又は第2のポリフィンガで収集された電荷をHDR画像に含めるかどうかを決定するために、ピクセル飽和値などの1つ以上の閾値と比較される。HDR画像に含めるために選択されたピクセルは、次いで、HDR画像を形成するように一緒にステッチされる(stitched)。画像センサアレイの各ピクセルに対する二重ポリフィンガアーキテクチャは、マルチフォトダイオードアプローチで見られるサイズ、複雑性、及びスペクトル感度不整合の問題を回避するのに役立つ。さらに、同じセンサアレイは、また、各ポリフィンガがHDR画像と比較して奥行き画像のためのアクティブ光(active light)を集積する制御クロック信号デューティサイクルを変更することによって奥行き画像をキャプチャし得る。
【0021】
図1は、第1の自動車104の奥行き画像センサ102が、周囲の実世界環境の奥行き画像及びHDR画像の両方をキャプチャする例示的な使用シナリオ100を示す。以下にさらに詳細に説明するように、奥行き画像センサ102は、各々が飛行時間(TOF)奥行きイメージングのために構成された2つの独立したクロックの(independently clocked)ポリフィンガを有するピクセルのアレイを有する。奥行き画像センサ102は、さらに、通過する可視光又は赤外光(IR)を切り替えるように構成された電気的に制御される光学フィルタを有し、これは、奥行きイメージングモードと可視光イメージングモードとの間で切り替えるのに役立ち得る。奥行き画像センサ102は、コンピューティングシステムに動作可能に結合され、このコンピューティングシステムは、奥行き画像センサと一体化されてもよく、又は奥行き画像センサから離れた場所(例えば、自動車104の他の場所)に配置されてもよい。図12を参照して、コンピューティングシステムの例を以下に説明する。
【0022】
この例では、第1の自動車104が第2の自動車106に接近すると、第1の集積期間のセットの間に奥行き画像センサ102を介して取得された奥行き画像は、第1の自動車104の第2の自動車106への近接を監視するのに役立ち得る。奥行き感知集積期間中、第1のポリフィンガは、第1の露出時間の間、電荷を集積するように制御され、第2のポリフィンガは、第1の露出時間と重複していない可能性がある第2の露出時間の間、電荷を集積するように制御される。奥行き検知では、各ポリフィンガは、集積期間の約50%の間、電荷を集積し得る。次に、各ピクセルについて、第1のポリフィンガに集積された電荷と第2のポリフィンガに集積された電荷との差は、ピクセルの奥行き値(depth value)を計算するために使用され得る。
【0023】
奥行きセンサ102を介して得られたHDR画像は、車載ディスプレイシステム上の表示に使用され得る。HDR集積期間中、コンピューティングシステムは、比較的長い露出時間の間電荷を集積するように第1のポリフィンガを制御し、比較的短い露出時間の間電荷を集積するように第2のポリフィンガを制御し得る。いくつかの例では、比較的長い露出時間は、集積期間の99~99.9%を構成し得、一方、短い露出時間は、集積期間の0.1~1%を構成し得る。集積後、ピクセルアレイの各ピクセルについて、コンピューティングシステムは、どの電荷を2次元画像に含めるかを決定するために、第1のポリフィンガで収集された電荷及び第2のポリフィンガで収集された電荷を、(例えば、電荷をアナログ-デジタル変換器を介してデジタル信号に変換することによって)1つ以上の閾値と比較する。コンピューティングシステムは、次いで、HDR画像を形成するように、ピクセルの全てについて選択されたデータを一緒にステッチする。図2に示すように、図1の使用シナリオ100で生成されたHDR画像200は、第1の自動車104の内部ディスプレイを介して表示され得る。
【0024】
図3は、第1の自動車302が、2つの駐車された自動車304と306との間の縦列駐車スペースにバックしている例示的な使用シナリオ300を示す。第1の自動車302の後部に配置された奥行き画像センサ308は、第1の集積期間のセットの間に、第1の自動車302と他の物体(例えば、駐車車両306)との間の距離を監視するために使用される実世界の周囲の奥行き画像を取得する。異なる第2の集積期間のセットの各々の間、奥行き画像センサ308の各ピクセルの第1のポリフィンガ及び第2のポリフィンガは、上述のように、長い及び短い露出を収集するように制御される。奥行き画像センサ102は、電気的に制御される光学フィルタを、集積期間の第1のセットの間の通過する赤外光と集積期間の第2のセットの間の可視光との間で切り替え得る。各ピクセルについての2つの露出は、次いで、各ピクセルについてのどの電荷がHDR画像に含めるかを決定するために、1つ以上の閾値と比較され、各ピクセルについての選択された露出は、HDR画像を形成するように、他の露出とステッチされる。図4に示すように、周囲環境のHDR画像400はディスプレイに、例えば、第1の自動車302のドライバに視覚的なフィードバックを提供するために、出力され得る。
【0025】
奥行き画像センサは、任意の適切なシーケンス及び比率で奥行き画像及びHDR画像を生成し得る。いくつかの例では、奥行き画像センサは、HDR画像と奥行き画像を1:1の比で交互に生成するように構成され得る。他の例では、奥行き画像センサは、各HDR画像ごとに2つ以上の奥行き画像を生成するように構成され得る。
【0026】
図1図4の例は、自動車のコンテキストにおいてマシンビジョンを使用するが、他の例では、奥行き画像センサは、任意の他の好適なコンテキストにおいてHDRイメージを取得するために使用され得る。例えば、奥行き画像センサは、ロボットシステムの目として使用され得る。1つのこのような例では、ロボット手術システムが、器具のトラッキングのために、手術器具と解剖学的基準点との間の奥行き感知を実行し得、外科医に可視画像を表示するためにHDRイメージングを利用し得る。別の例として、奥行き画像センサは、他の可能な用途の中で、奥行き感知を実行し、ビデオフィードスルー拡張現実(AR)画像を提示するために、ヘッドマウントディスプレイデバイスのようなウェアラブルデバイスと一体化され得る
【0027】
図5は、奥行き画像センサ102及び/又は308として使用され得る飛行時間(TOF)画像センサの例示的なピクセル500を示す。ピクセル500を含む画像センサアレイは、ウエハーをパターン化するために標準的な相補型金属酸化物半導体(COMS)プロセスを用いてシリコンウエハー上に製造され得る。CMOSプロセスは、フロントエンド(front-end-of-line)(FEOL)ステージ及びバックエンド(back-end-of-line)(BEOL)ステージを含み、これらは、FEOL(又はシリコンEPI)層502及びBEOL層504を有する構造を形成する。ピクセル500は、第1の独立して制御可能なポリフィンガ光電子コレクタ506A及び第2の独立して制御可能なポリフィンガ光電子コレクタ506Bを含み、これらは、BEOLステージにおいてBEOL層504上に形成され得る、さらに、ピクセル500は、1つ以上の誘電体反射防止層を含む光学積層体(optical stack)508を含む。光学積層体508は、さらに、マイクロレンズアレイをさらに含み得る。
【0028】
第1のポリフィンガ506Aに印加される電気バイアスは、第2のポリフィンガ506Bに印加される電気バイアスに対して時間的にシフトされる。奥行きイメージングのために、シフトは、各ポリフィンガ506A、506Bに対して約50%のデューティサイクルを達成するような方法で実行され得る。対照的に、HDRイメージングでは、シフトは、一方のポリフィンガでより長い露出を達成し、他方のポリフィンガでより短い露出を達成するような方法で実行され得る。いずれの場合も、光の吸収によって生成された光電子a及びbは、シリコンFEOL層502に注入され、印加されたバイアスに応じて、独立して制御可能なポリフィンガ506A、506Bの一方又は他方に向かって移動する。
【0029】
図6は、複数のピクセル500を有する画像センサアレイ602を含む、例示的なTOF奥行き画像センサ600の態様を概略的に示す。奥行き画像センサ600は、対象606に変調された光-正弦変調、パルス変調、又は他の任意の周期波形に従って変調された光を照射するように構成されたエミッタ604を含む。より具体的なの実施形態では、エミッタ604は、連続変調モード又は反復バーストモードで放射可能なプログラマブル近赤外レーザであり得る。一つの具体例では、エミッタ604は、50~300メガヘルツ(MHz)の変調周波数で動作するように構成される。
【0030】
エミッタ604からの幾つかの変調された光は、対象606から画像センサアレイ602へ反射して戻る。光検出器アレイ602で受信された光パルスは、対象606に移動して戻ったので、それらは、エミッタ604によって放出されたパルス列とは位相が異なる。位相差は、対象606の距離に比例して変化し(例えば、増加し)、奥行きイメージングをするとき各ピクセル500において距離を決定することを可能にする。同様に、HDRイメージングの間、コントローラ608は、より長い露出及びより短い露出からそれぞれ電荷を収集し、読み出すために、各ピクセル500の第1及び第2のポリフィンガを制御し、各ピクセルにおけるより長い露出又はより短い露出のうちの1つは、例えば閾値に基づいて、HDRイメージに含まれるように選択される。
【0031】
周囲光除去(ambient-light rejection)の何らかの手段を提供するために、画像センサアレイ602は、光学フィルタ610の背後に配置され得る。上述のように、光学フィルタ610は、可視光又はIR光のいずれかを一度に選択的に通過させるように電気的に切り替え可能であり得、それによって、可視光イメージングのコンテキストと奥行きイメージングのコンテキストとの間を切り替えるように画像センサアレイ602を構成する。一実施形態では、エミッタ604は、IRレーザ又はIR発光ダイオード(LED)などの狭帯域赤外(IR)エミッタであり得る。IRにおける照射及び光検出は、人間の対象がエミッタ604からの照射を検出しないという点で、追加の潜在的な利点を提供する。赤外線光を通過させるように制御されるとき、通過帯域は、エミッタ604の発光波長帯域と一致するように選択され得る。
【0032】
図7は、ピクセル500を駆動する及び読み出すための例示的な電気回路702の概略図を示し、図8は、回路702を制御するための例示的な方法を示すタイミング図を示す。第1のポリフィンガの回路(光ゲートA、又はPGAとして示される)は、集合的に704で示され、第2のポリフィンガの回路(光ゲートB、又はPGBとして示される)は、集合的に706で示される。上述のように、PGA及びPGBは、個々に制御可能であり、その結果、各ポリフィンガにおいて電荷を集積するためのデューティサイクルは、奥行きイメージングと強度イメージングとの間で調整することができる。いくつかの例では、各ピクセル500のサイズは、3.5マイクロメートルのオーダーである。
【0033】
タイミングスキーム800は、様々な例において、奥行き画像センサ600の制御回路及び/又はホストコンピューティングシステムによって実行可能な記憶された命令として実装され得る。集積/読出サイクルを開始するために、グローバルリセット802が、フローティング拡散ノードFDA、FDB、及びポリフィンガPGA、PGB(図7)における残留電荷をクリアするために使用され得る。次に、集積期間804において、各ポリフィンガについて、より低い電圧が第1のトランスファーゲートTG1に印加され、より高い電圧が第2のトランスファーゲートTG2に印加される。集積期間804中、第1のポリフィンガ(PGA)は、より長い露出時間の間電荷を収集するために、第1のより長い露出時間の間バイアスをかけられ、第2のポリフィンガ(PGB)は、より短い露出時間の間電荷を収集するために、より短い第2の露出時間の間バイアスをかけられる。集積期間804が200マイクロ秒である1つの例では、第1のポリフィンガは、99~99.9%のデューティサイクルのために、集積期間804中、198~199.8マイクロ秒の総露出を達成するように制御され得、第2のポリフィンガは、0.1~1%のデューティサイクルのために、集積期間804中、0.2~2秒のために制御され得る。図示の例では、PGA及びPGBの露出はインターリーブされる(interleaved)。これは、キャプチャされたシーンが動いているオブジェクトを含むときに、モーションアーチファクトを回避するのに役立つ。
【0034】
過飽和によって引き起こされる、過剰に露出されたピクセルから他の近傍のピクセルへの光電荷のにじみ、ブルーミング(blooming)を防止するのを助けるために、タイミングスキーム800は、アンチブルーミング期間806を含む。例えば、太陽が、イメージングされるシーン内にある場合、アンチブルーミング期間806がなければ、過飽和ピクセル(複数可)は、結果として生じる画像内でブルーミングを引き起こす可能性がある。図示されたアンチブルーミング期間806は、フローティング拡散ノード(floating diffusion nodes)FDA、FDB及びポリフィンガPGA、PGBにおいて収集された電荷をクリアし、リセットゲートを通して電荷をフラッシュし、残りの電荷が読出期間808中に読出されるピクセル内メモリにおいて収集された電荷に影響を与えないようにする。
【0035】
次に、行(row)読出し808の間、電荷が各ポリフィンガPGA、PGBのピクセル内メモリからそれぞれのフローティング拡散ノードFDA、FDBへ転送され、サンプリングされる前に、ピクセルのすべての行がリセットされ、サンプリングされる。電荷は増幅され、アナログ-デジタル変換器を介してデジタル信号に変換される。いくつかの例では、受信光レベルは、1~20の乗数によって増幅され、これは、アナログ-デジタル信号変換の前又は後に生じ得る。
【0036】
図9は、奥行き画像センサの各ピクセルの第1のポリフィンガ(例えば、PGA)によってキャプチャされた露出を介して取得されたモノクロ画像900の一例を示し、図10は、同じピクセルの各々の第2のポリフィンガ(例えば、PGB)によってキャプチャされた露出を介して取得されたモノクロ画像1000の一例を示す。図9では、窓の外側のイメージングされた環境は飽和しているように見えるが、イメージングされたオフィスの内部は十分な詳細を含んでいる。対照的に、イメージング化された屋外環境の多くの詳細は、画像1000内に可視である。従って、図10からの屋外環境の選択されたピクセルは、単一のHDR画像を形成するように、図9からの屋内の選択されたピクセルと組み合わされ得る。
【0037】
各ピクセルからのどのデータをHDR画像に含めるかを選択するために、第1の画像900及び第2の画像1000の各々について、各ピクセルで収集された電荷が、1つ以上の閾値と比較され得る(例えば、各画像の各ピクセルにおける電荷を、アナログ-デジタル変換器を使用してデジタル信号に変換することによって)。一例として、ピクセル飽和値に近い閾値が使用され得る。このような例では、信号が閾値を超えない限り、より長い露出からの信号がピクセルに対して選択され得、信号が飽和に近いか又は飽和あることを示し、その場合、より短い露出からの信号が選択され得る。比較に基づいて、PGAで収集された電荷とPGBで収集された電荷のうちの1つが、HDR画像に含めるために選択される。ピクセル毎の閾値比較を実行した後、各画像からの選択されたピクセルが、HDR画像を形成するように一緒にステッチされる。
【0038】
図11は、ピクセルのアレイを含むTOFピクセルを介してHDR画像を生成する例示的な方法1100を示し、各ピクセルは、集積期間1101中に電荷を集積するために独立して制御可能である第1のポリフィンガ及び第2のポリフィンガを有する。集積期間1101中、方法1100は、1102において、第1の露出時間の間電荷を集積するように第1のポリフィンガをバイアスすることによって第1の露出時間の間第1のポリフィンガを制御することを含む。いくつかの例において、第1の露出時間は、1104において示されるように、集積期間の99~99.9%を含む。集積期間1101中、方法1100はまた、1106において、第2の露出時間の間電荷を集積するように第2のポリフィンガをバイアスすることによって第2の露出時間の間第2のポリフィンガを制御することを含む。いくつかの例において、第2の露出時間は、1108において示されるように、集積期間の0.11~1%を含む。
【0039】
集積期間1101の後、いくつかの例では、方法1100は、1110において、ブルーミングを防止するために、フローティング拡散ノード、第1のポリフィンガ、及び第2のポリフィンガから電荷をクリアすることを含み得る。方法1100は、さらに、複数のピクセルの各ピクセルについて、1112において示されるように、第1のポリフィンガで収集された電荷及び第2のポリフィンガで収集された電荷を閾値と比較することを含む。閾値は、1114において示されるように、ピクセル飽和値の近傍又はピクセル飽和値にあり得る(例えば、ピクセル飽和値の80~90%以内)、又は任意の他の適切なレベルに設定され得る。比較に基づいて、1116において、方法1100は、複数のピクセルの各ピクセルについて、第1のポリフィンガで収集された電荷及び第2のポリフィンガで収集された電荷のうちの1つを、HDR画像に含めるために選択することを含む。選択することは、1118において示されるように、第1のポリフィンガで収集された電荷が閾値を超えないとき、第1のポリフィンガで収集された電荷を選択すること、及び、第1のポリフィンガで収集された電荷が閾値を超えるとき、第2のポリフィンガで収集された電荷を選択することを含み得る。
【0040】
1120において、方法1100は、複数のピクセルの各ピクセルについて、集積期間中に集積された電荷に基づいて、ピクセルのHDR値を計算することを含む。方法1100は、1122において示されるように、HDR画像を生成することをさらに含む。
【0041】
いくつかの例では、集積期間は、第1の集積を含み、方法1100は、第2の集積期間1123中、第3の露出時間1124(例えば、第2の集積期間の50%)の間電荷を集積するように第1のポリフィンガを制御すること、及び第4の露出時間1126(例えば、第2の集積期間の50%)の間電荷を集積するように第2のポリフィンガを制御することを含む。さらに、複数のピクセルの各ピクセルについて、方法1100は、1128において示されるように、奥行き画像を生成するために、第3の露出時間の間に集積された電荷及び第4の露出時間の間に集積された電荷に基づいて、ピクセルの奥行き値を計算することを含む。方法1100は、1130において示されるように、奥行き画像を生成することをさらに含む。
【0042】
HDR及び奥行き画像は、任意の適切な順序で生成され得る。場合によっては、方法1100は、奥行き画像とHDR画像とを交互に生成することを含む。他の例では、方法1100は、HDR画像当たり2つ以上の奥行き画像を生成することを含む。
【0043】
いくつかの実施形態では、本明細書に記載される方法及びプロセスは、1つ以上のコンピューティングデバイスのコンピューティングシステムと結び付けられ得る。特に、このような方法及びプロセスは、コンピュータアプリケーションプログラム又はサービス、アプリケーションプログラミングインターフェース(API)、ライブラリ、及び/又は他のコンピュータプログラム製品として実装され得る。
【0044】
図12は、上述の方法及びプロセスのうちの1つ以上を実施することができるコンピューティングシステム1200の非限定的な実施形態を概略的に示す。コンピューティングシステム1200は、単純化された形式で示されている。コンピューティングシステム1200は、1つ以上のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテインメントコンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス(例えば、スマートフォン)、及び/又は他のコンピューティングデバイスの形態をとり得る。
【0045】
コンピューティングシステム1200は、論理機械1202及び記憶機械1204を含む。コンピューティングシステム1200は、オプションで、表示サブシステム1206、入力サブシステム1208、通信サブシステム1210、及び/又は図12に示されていない他のコンポーネントを含み得る。
【0046】
論理機械1202は、命令を実行するように構成された1つ以上の物理デバイスを含む。例えば、論理機械は、1つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、又は他の論理構造の一部である命令を実行するように構成され得る。このような命令は、タスクを実行するため、データ型を実装するため、1つ以上のコンポーネントの状態を変換するため、技術的効果を達成するため、又は他の方法で所望の結果に到達するために実装され得る。
【0047】
論理機械1202は、ソフトウェア命令を実行するように構成された1つ以上のプロセッサを含み得る。追加的又は代替的に、論理機械は、ハードウェア又はファームウェア命令を実行するように構成された1つ以上のハードウェア又はファームウェア論理機械を含み得る。論理機械のプロセッサは、シングルコア又はマルチコアであり得、その上で実行される命令は、逐次、並列、及び/又は分散処理のために構成され得る。論理装置の個々のコンポーネントは、オプションで、2つ以上の別個のデバイス間に分散され得、これらのデバイスは、遠隔的に配置され得る、及び/又は、協調処理のために構成され得る。論理マシンの態様は、クラウドコンピューティング構成内に構成されたリモートアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化され、実行され得る。
【0048】
記憶機械1204は、本明細書に記載される方法及びプロセスを実装するために、論理機械によって実行可能な命令を保持するように構成される1つ以上の物理デバイスを含む。このような方法及びプロセスが実装されるとき、記憶機械1204の状態は、例えば異なるデータを保持するように、変換され得る。
【0049】
記憶機械1204は、取り外し可能装置及び/又は内蔵装置を含み得る。記憶機械1204は、とりわけ、光学メモリ(例えば、CD、DVD、HD-DVD、Blu-Ray Discなど)、半導体メモリ(例えば、RAM、EPROM、EEPROMなど)、及び/又は磁気メモリ(例えば、ハードディスクドライブ、フロッピー(登録商標)ディスクドライブ、テープドライブ、MRAMなど)を含み得る。記憶機械1204は、揮発性、不揮発性、動的、静的、読み取り/書き込み、読み取り専用、ランダムアクセス、順次アクセス、位置アドレス指定可能、ファイルアドレス指定可能、及び/又はコンテンツアドレス指定可能なデバイスを含み得る。
【0050】
記憶機械1204は、1つ以上の物理デバイスを含むことが理解されるであろう。しかしながら、本明細書に記載される命令の態様は、代替的に、有限の期間物理デバイスによって保持されない通信媒体(例えば、電磁信号、光信号など)によって伝搬されてもよい。
【0051】
論理機械1202及び記憶機械1204の態様は、一緒に1つ以上のハードウェア論理コンポーネントに統合されてもよい。このようなハードウェア-論理コンポーネントは、例えば、フィールドプログラマブルゲートアレイ(FPGA)、特定プログラム及び特定用途向け集積回路(PASIC/ASIC)、特定プログラム及び特定用途向け標準製品(PSSP/ASSP)、システムオンチップ(SOC)、及び複雑なプログラマブル論理デバイス(CPLD)を含み得る。
【0052】
用語「プログラム」は、特定の機能を実行するように実装されるコンピューティングシステム1200の態様を記述するために使用され得る。ある場合には、プログラムは、記憶機械1204によって保持された命令を実行する論理機械1202を介してインスタンス化され得る。異なるプログラムが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、関数などからインスタンス化され得ることが理解されよう。同様に、同じプログラムは、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、関数などによってインスタンス化され得る。用語「プログラム」は、実行可能なファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等の個々のもの又はグループを含み得る。
【0053】
含まれる場合、表示サブシステム1206は、記憶機械1204によって保持されるデータの視覚的表現を提示するために使用され得る。この視覚的表現は、グラフィカルユーザインターフェース(GUI)の形態をとり得る。本明細書に記載される方法及びプロセスが、記憶装置によって保持されるデータを変更し、従って、記憶装置の状態を変換するとき、表示サブシステム1206の状態は、同様に、基礎となるデータの変化を視覚的に提示するように変換され得る。表示サブシステム1206は、実質的に任意の種類の技術を利用する1つ以上の表示装置を含み得る。このような表示装置は、共有エンクロージャ内の論理機械1202及び/又は記憶機械1204と組み合わされてもよく、又はこのような表示装置は周辺の表示装置であってもよい。
【0054】
含まれる場合、入力サブシステム1208は、キーボード、マウス、タッチスクリーン、又はゲームコントローラなどの1つ以上のユーザ入力デバイスを有し得る又はそれらとインターフェースで接続し得る。いくつかの実施形態では、入力サブシステムは、選択された自然ユーザ入力(NUI)コンポーネントを有し得る又はそれとインターフェースで接続し得る。そのようなコンポーネントは、統合され得る又は周辺的なものであり得、入力アクションの変換(transduction)及び/又は処理は、オンボード又はオフボードで処理され得る。例示的なNUIコンポーネントは、スピーチ及び/又は音声認識のためのマイクロホン;マシンビジョン及び/又はジェスチャ認識のための赤外線、カラー、立体視、及び/又は奥行きカメラ;運動検出及び/又は意図認識のためのヘッドトラッカー、アイトラッカー、加速度計、及び/又はジャイロスコープ;ならびに脳活動を評価するための電界検出コンポーネントを含み得る。
【0055】
含まれる場合、通信サブシステム1210は、コンピューティングシステム1200を1つ以上の他のコンピューティングデバイスと通信可能に結合するように構成され得る。通信サブシステム1210は、1つ以上の異なる通信プロトコルと互換性がある有線及び/又は無線通信デバイスを含み得る。非限定的な例として、通信サブシステムは、無線電話ネットワーク、或いは、有線又は無線のローカル又はワイドエリアネットワークを介して通信するように構成され得る。いくつかの実施形態では、通信サブシステムは、コンピューティングシステム1200が、インターネットなどのネットワークを介して、他の装置に及び/又は他の装置から、メッセージを送信及び/又は受信することを可能にし得る。
【0056】
別の例は、各々が第1のポリフィンガ及び第2のポリフィンガを有するピクセルのアレイを有する奥行き画像センサを介してハイダイナミック解像度(HDR)画像を生成する方法であって、第1のポリフィンガ及び第2のポリフィンガは、集積期間中に電流を積分するように独立に制御可能であり、本方法は、集積期間中に、第1のポリフィンガを第1の露出時間の間制御することと、集積期間中に、第2のポリフィンガを第2の露出時間の間制御することであって、第2の露出時間は、第1の露出時間より短い、制御することと、複数のピクセルの各ピクセルについて、第1のポリフィンガで収集された電荷及び第2のポリフィンガで収集された電荷を閾値と比較することと、比較に基づいてHDR画像に含めるために、第1のポリフィンガで収集された電荷及び第2のポリフィンガで収集された電荷のうちの1つを選択することとを含む。このような例では、第1の露出時間は、集積期間の99~99.9%を追加的又は代替的に含み、第2の露出時間は、集積期間の0.1~1%を追加的又は代替的に含み得る。このような例では、集積期間は、追加的に又は代替的に第1の集積期間を含み得、本方法は、追加的に又は代替的に:第2の集積期間中に、第3の露出時間の間電荷を収集するように第1のポリフィンガを制御することと、第2の集積期間中に、第4の露出時間の間電荷を収集するように第2のポリフィンガを制御することと、複数のピクセルの各ピクセルについて、奥行き画像を生成するように第3の露出時間の間に集積された電荷及び第4の露出時間の間に集積された電荷に基づいてピクセルの奥行き値を計算することとを含み得る。このような例では、奥行き画像とHDR画像は、追加的に又は代替的に、交互に生成され得る。このような例では、2つ以上の奥行き画像が、追加的に又は代替的に、HDR画像ごとに生成され得る。このような例では、閾値は、追加的に又は代替的に、ピクセル飽和値の80~90内であり得る。このような例では、HDR画像に含めるために第1のポリフィンガで収集された電荷及び第2のポリフィンガで収集された電荷のうちの1つを選択することは、追加的に又は代替的に、第1のポリフィンガで収集された電荷が閾値を超えないときに、第1のポリフィンガで収集された電荷を選択することと、第1のポリフィンガで収集された電荷が閾値を超えるときに、第2のポリフィンガで収集された電荷を選択することとを含み得る。このような例では、本方法は、追加的に又は代替的に、ブルーミングを防止するために、集積期間の終わりに、各ピクセルの、フローティング拡散ノード、第1のポリフィンガ、及び第2のポリフィンガから電荷をクリアすることを含み得る。
【0057】
別の例は、各々が第1のポリフィンガ及び第2のポリフィンガを有するピクセルのアレイを有する差動TOFピクセルであって、第1のポリフィンガ及び第2のポリフィンガは、集積期間中に電荷を集積するために独立して制御可能である、差動TOFピクセルと、論理サブシステムと、記憶サブシステムであって:集積期間中に、第1の露出時間の間電荷を集積するように第1のポリフィンガを制御し、集積期間中に、第2の露出時間の間電荷を集積するように第2のポリフィンガを制御し、第2の露出時間は、第1の露出時間より短く、複数のピクセルの各ピクセルについて、第1のポリフィンガで集積された電荷及び第2のポリフィンガで集積された電荷を閾値と比較し、比較に基づいて、ハイダイナミックレンジ(HDR)画像に含めるために第1のポリフィンガで集積された電荷及び第2のポリフィンガで集積された電荷のうちの1つを選択するように、論理サブシステムによって実行可能な命令を記憶する記憶サブシステムと、を有する装置を提供する。このような例では、第1の露出時間は、追加的又は代替的に、集積期間の99~99.1%を含み得、第2の露出時間は、追加的又は代替的に、集積期間の0.1~1%を含み得る。このような例では、集積期間は、追加的に又は代替的に、第1の集積期間を含み得、命令は、追加的に又は代替的に:第2の集積期間中に、第3の露出時間の間電荷を集積するように第1のポリフィンガを制御し、第2の集積期間中に、第4の露出時間の間電荷を集積するように第2のポリフィンガを制御し、複数のピクセルの各ピクセルについて、奥行き画像を生成するように、第3の露出時間の間に集積された電荷及び第4の露出時間の間に集積された電荷に基づいてピクセルに奥行き値を割り当てるように実行可能であり得る。このような例では、命令は、追加的又は代替的に、奥行き画像とHDR画像を交互に生成するように実行可能であり得る。このような例では、命令は、追加的又は代替的に、各HDR画像毎に2つ以上の奥行き画像を生成するように実行可能であり得る。このような例では、閾値は、追加的に又は代替的に、ピクセル飽和値を含み得る。このような例では、命令は、追加的又は代替的に、第1のポリフィンガで収集された電荷が閾値を超えないとき、第1のポリフィンガで収集された電荷を選択し、第1のポリフィンガで収集された電荷が閾値を超えるとき、第2のポリフィンガで収集された電荷を選択するように実行可能であり得る。このような例では、命令は、追加的に又は代替的に、ブルーミングを防止するために、集積期間の終わりに、各ピクセルのフローティング拡散ノード、第1のポリフィンガ、及び第2のポリフィンガにおいて、電荷をクリアするように実行可能であり得る。このような例では、各ピクセルは、追加的に又は代替的に、3.5マイクロメートル以下のサイズを有し得る。
【0058】
別の例は、各々が第1のポリフィンガ及び第2のポリフィンガを有するピクセルのアレイを含む奥行き画像センサであって、第1のポリフィンガ及び第2のポリフィンガは、集積期間中に電荷を集積するように独立して制御可能である、奥行き画像センサと、ロジックサブシステムと、記憶サブシステムであって:第1の集積期間中に、第1の露出時間の間電荷を集積するように第1のポリフィンガを制御し、第1の集積期間中に、第2の露出時間の間電荷を集積するように第2のポリフィンガを制御し、前記第2の露出時間は、前記第1の露出時間よりも短く、複数のピクセルの各ピクセルについて、第1のポリフィンガで集積された電荷及び第2のポリフィンガで集積された電荷を1つ以上の閾値と比較し、比較に基づいて、HDR画像に含めるために第1のポリフィンガで集積された電荷及び第2のポリフィンガで集積された電荷のうちの1つを選択し、第2の集積期間中に、第3の露出時間の間電荷を集積するように第1のポリフィンガを制御し、第2の集積期間中に、第4の露出時間の間電荷を集積するように第2のポリフィンガを制御し、複数のピクセルの各ピクセルについて、奥行き画像を生成するために、第3の露出時間の間に集積された電荷及び第4の露出時間の間に集積された電荷に基づいて、ピクセルに奥行き値を割り当てるように、ロジックサブシステムによって実行可能な命令を記憶する記憶サブシステムと、を有する装置を提供する。このような例では、第1の露出時間は、追加的又は代替的に、第1の集積期間の99~99.9%を含み得、第2の露出時間は、第1の集積期間の0.1~1%を含む。このような例では、装置は、追加的に又は代替的に、ウェアラブルデバイス又は自動車を含み得る。
【0059】
本明細書に記載された構成及び/又はアプローチは、本質的に例示的なものであり、これらの特定の実施形態又は例は、多くのバリエーションが可能であるため、限定的な意味で考慮されるべきではないことが理解されよう。本明細書に記載される特定のルーチン又は方法は、任意の数の処理戦略のうちの1つ以上を表し得る。そのようなものとして、図示され及び/又は記載された種々の行為は、図示され及び/又は記載されたシーケンスで、他のシーケンスで、並列に、又は省略されて実行され得る。同様に、上述した処理の順序は変更され得る。
【0060】
本開示の主題は、様々なプロセス、システム及び構成、ならびに本明細書に開示された他の特徴、機能、行為、及び/又は特性、ならびにそれらのすべての均等物の、すべての新規及び非自明の組み合わせ及びサブコンビネーションを含む。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
【国際調査報告】