(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-21
(54)【発明の名称】飛行時間型回路および飛行時間型読出し方法
(51)【国際特許分類】
G01S 7/4865 20200101AFI20241114BHJP
G01S 17/894 20200101ALI20241114BHJP
【FI】
G01S7/4865
G01S17/894
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024533001
(86)(22)【出願日】2022-11-14
(85)【翻訳文提出日】2024-07-26
(86)【国際出願番号】 EP2022081781
(87)【国際公開番号】W WO2023104436
(87)【国際公開日】2023-06-15
(32)【優先日】2021-12-09
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】ディン チィン
(72)【発明者】
【氏名】チェン イェ
【テーマコード(参考)】
5J084
【Fターム(参考)】
5J084AD01
5J084BA34
5J084BA36
5J084BA40
5J084CA03
5J084CA65
5J084EA06
5J084EA11
(57)【要約】
本開示は飛行時間型回路に概して関するものであり、この回路は、撮像素子と、複数の時間シフトされた読出しタップを上記撮像素子の複数の出力に適用するように構成された読出し回路とを具備し、上記時間シフトされた読出しタップは、上記撮像素子の上記複数の出力が次々に読出しされるように、互いに対して時間的にシフトされている。
【選択図】
図1A
【特許請求の範囲】
【請求項1】
撮像素子と、
複数の時間シフトされた読出しタップを前記撮像素子の複数の出力に適用するように構成された読出し回路と
を具備し、
前記時間シフトされた読出しタップは、前記撮像素子の前記複数の出力が次々に読出しされるように、互いに対して時間的にシフトされている
飛行時間型回路。
【請求項2】
前記撮像素子は、複数の撮像サブエレメントを含む
請求項1に記載の飛行時間型回路。
【請求項3】
各サブエレメントが少なくとも1つの出力を含む
請求項2に記載の飛行時間型回路。
【請求項4】
前記複数の出力は、前記撮像素子の複数の容量に対応する
請求項1に記載の飛行時間型回路。
【請求項5】
前記複数の時間シフトされた読出しタップは、各タイムシフト読出し信号が適用されるメイン読出し容量に基づいて、前記複数の容量に適用され、前記複数の時間シフト読出し信号の1つのそれぞれの時間シフト読出し信号でそれぞれ読み出される複数のサブ容量に基づいて適用されている
請求項4に記載の飛行時間型回路。
【請求項6】
各容量が少なくとも2つの読出しスイッチに結合されている
請求項4に記載の飛行時間型回路。
【請求項7】
前記複数の出力が複数のカウンタに対応する
請求項1に記載の飛行時間型回路。
【請求項8】
前記複数のカウンタ内のカウントに基づいてヒストグラムが生成されている
請求項7に記載の飛行時間型回路。
【請求項9】
前記カウンタは、双方向カウンタである
請求項7に記載の飛行時間型回路。
【請求項10】
前記ヒストグラムは、前記双方向カウンタにおけるカウントに基づいて生成され、
前記ヒストグラムのエントリは、それらのそれぞれの隣接するエントリに対する相対カウントに対応する
請求項9に記載の飛行時間型回路。
【請求項11】
複数の時間シフトされた読出しタップを撮像素子の複数の出力に適用するステップを含み、
前記時間シフトされた読出しタップは、前記撮像素子の前記複数の出力が次々に読出しされるように、互いに対して時間的にシフトされる
飛行時間読出し方法。
【請求項12】
前記撮像素子は、複数の撮像サブエレメントを含む
請求項11に飛行時間読出し方法。
【請求項13】
各サブエレメントが少なくとも1つの出力を含む
請求項12に記載の飛行時間読出し方法。
【請求項14】
前記複数の出力は、前記撮像素子の複数の容量に対応する
請求項11に記載の飛行時間読出し方法。
【請求項15】
前記複数の時間シフトされた読出しタップは、各タイムシフト読出し信号が適用されるメイン読出し容量に基づいて、前記複数の容量に適用され、前記複数の時間シフト読出し信号の1つのそれぞれの時間シフト読出し信号でそれぞれ読み出される複数のサブ容量に基づいて適用されている
請求項14に記載の飛行時間読出し方法。
【請求項16】
各容量が少なくとも2つの読出しスイッチに結合されている
請求項14に記載の飛行時間読出し方法。
【請求項17】
前記複数の出力が複数のカウンタに対応する
請求項11に記載の飛行時間読出し方法。
【請求項18】
前記複数のカウンタ内のカウントに基づいてヒストグラムが生成されている
請求項17に記載の飛行時間読出し方法。
【請求項19】
前記カウンタは、双方向カウンタである
請求項17に記載の飛行時間読出し方法。
【請求項20】
前記ヒストグラムは、前記双方向カウンタにおけるカウントに基づいて生成され、
前記ヒストグラムのエントリは、それらのそれぞれの隣接するエントリに対する相対カウントに対応する
請求項19に記載の飛行時間読出し方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、飛行時間型回路および飛行時間型読出し方法に関する。
【背景技術】
【0002】
一般に、シーン(例えば、領域、オブジェクトなど)までの距離を決定するための飛行時間型(ToF:Time-of-Flight)装置が知られている。
【0003】
例えば、それは、iToF (間接ToF)とdToF (直接ToF)との間で区別され得、これらは、距離を決定するアプローチにおいて異なる。
【0004】
dToFでは、シーンで反射された後の発光から検出までの光パルスのラウンドトリップ遅延を測定することによって、距離を直接測定することができる。
【0005】
dToFでは、イメージセンサに入射する(反射した)光に基づいて生成される増倍電子信号を数えることができる複数のカウンタを使用することができる。カウンタは、時間同期されてもよく、その結果、ヒストグラムが生成されてもよく、距離は、ヒストグラムのピークに基づいて結論付けられてもよい。
【0006】
iToFでは、変調信号に基づいて距離が測定される場合がある。例えば、変調信号を用いて光源を変調し、変調された光が放射されるようにしてもよい。変調信号は、複数の変調信号がイメージセンサの出力に印加されるように、再使用および再生されることが可能であり、ここで、変調信号はさらに位相シフトされることが可能である。検出され、戻ってくる変調光信号と位相シフト変調信号との重複に基づいて、距離を決定することができる。
【0007】
距離計測を実行するための技術が存在するが、一般に、飛行時間型回路および飛行時間型読み出し方法を提供することが望ましい。
【発明の概要】
【0008】
第1の態様によれば、本開示は飛行時間型回路を提供し、この回路は、撮像素子と、複数の時間シフトされた読出しタップを上記撮像素子の複数の出力に適用するように構成された読出し回路とを具備し、上記時間シフトされた読出しタップは、上記撮像素子の上記複数の出力が次々に読出しされるように、互いに対して時間的にシフトされている。
【0009】
第2の態様によれば、本開示は飛行時間読出し方法を提供し、この方法は、複数の時間シフトされた読出しタップを撮像素子の複数の出力に適用するステップを含み、上記時間シフトされた読出しタップは、上記撮像素子の上記複数の出力が次々に読出しされるように、互いに対して時間的にシフトされる。
【0010】
さらなる複数の態様が、従属請求項、以下の説明および図面に示されている。
【図面の簡単な説明】
【0011】
本開示における実施形態は、添付の図面を参照して例として説明される。
【
図1A】空間多重化Ntapセンサとして実装されるToF回路の一実施形態を示す。
【
図1B】
図1AのToF回路の信号のタイミング図の一実施形態を示す。
【
図2A】SPADに基づく、9つの撮像サブ要素を有する撮像素子を含むToF回路の一実施形態を示す。
【
図2B】
図2AのToF回路のタイミング図の一実施形態を示す。
【
図3A】時間的多重化Ntapセンサの原理を説明するためのToF回路の2つの実施形態を示す。
【
図3B】
図3Aの右側ToF回路のタイミング図の一実施形態を示す。
【
図4】Aは、複数のカウンタを有するToF回路の一実施形態を示す。Bは、
図4AのToF回路のタイミング図の一実施形態を示す。Cは、
図4AのToF回路に基づいて生成されるヒストグラムの一実施形態を示す。
【
図5A-C】Aは、複数の双方向カウンタを含むToF回路の一実施形態を示す。Bは、
図5AのToF回路のタイミング図の一実施形態を示す。Cは、
図5Aのカウンタのためのタイミング図の一実施形態を示す。
【
図5D】
図5AのToF回路に基づいて生成されるデルタヒストグラムの一実施形態を示す。
【
図6】本開示によるToF読出し方法を示す。この場合、複数の読出しタップは、複数の画像サブ素子に適用される。
【
図7】本開示によるToF読出し方法のさらなる実施形態であり、複数の時間シフト読出しタップが、撮像素子の複数の容量に適用される。
【
図8】本開示によるToF読出し方法のさらなる実施形態を示しており、複数の時間シフトされた読出しタップが複数のカウンタに適用される。
【
図9】複数のカウンタに基づいてヒストグラムが生成される、本開示によるToF読み出し方法のさらなる実施形態を示す。
【
図10】ToF撮像システムの一実施形態を図示する。
【発明を実施するための形態】
【0012】
図1から始まる実施形態の詳細な説明が与えられる前に、一般的な説明がなされる。
【0013】
最初に述べたようなToF装置が一般に知られている。しかしながら、信号対雑音比(SNR)と脱エイリアシング範囲(iToFにおいて)との間のトレードオフ関係を改善するために、Nタップ動作が利用され得ることが認識されている。
【0014】
N-タップ操作は、iToFについて公知であるように、2つのタップの代わりに複数のタップ(例えば、8つ以上(またはそれ未満))を使用することを指し得、その結果、iToFセンサは、高い環境光下でのSNRに関してdToFセンサに匹敵し得る。
【0015】
しかしながら、N-タップは、本開示の原理が、例えば、パルス光を検出することによって、変調信号またはタップに基づいて検出される、dToFセンサまたはdToF読出し回路に適用されてもよいので、iToF事例に限定されない。
【0016】
さらに、例えば、電荷循環技術を使用することによって、または本明細書で説明するように1つの画素に複数のタップを使用することによって、タップ不整合を低減/軽減することが望ましいことが認識されている。
【0017】
ダイナミックレンジ(および/または面積効率)を増加させ、本明細書に記載されるように、例えば、デルタ計数技術に基づいて、より少ないビット幅カウンタを使用することによって、シリコン面積を節約することが望ましいことがさらに認識されている。
【0018】
一般に、本開示の原理は、積層されたセンサ構成(例えば、光センサ層および読出し/変調回路が別個のウエハ上にあり得る)に適用されるように説明され得るが、必要であれば、それに応じて、本開示の原理は、非積層構成に適合され得る。
【0019】
さらに、アナログまたはデジタル・ベースの回路において空間的または時間的多重化方法でNタップを実装することによって、より設計の複雑さが低いNタップセンサを提供することが望ましいと認識されており、その結果、成熟したiToFまたはdToF技術を使用することもできる。
【0020】
従って、いくつかの実施形態は、飛行時間型回路に関するものであり、この回路は、撮像素子と、複数の時間シフトされた読出しタップを上記撮像素子の複数の出力に適用するように構成された読出し回路とを具備し、上記時間シフトされた読出しタップは、上記撮像素子の上記複数の出力が次々に読出しされるように、互いに対して時間的にシフトされている。
【0021】
ToF回路は、撮像素子および読出し回路よりもさらなる要素を含んでもよいが、本開示の原理を実施するためには、これら2つの要素で十分であってもよい。例えば、対応する接続および電子素子などは、当業者の通常のスキルに従って想定され得る。
【0022】
撮像素子は、ダイオード技術、ゲート技術、復調技術など、ToF測定を実施するのに適した任意の撮像技術に基づいてもよい。したがって、撮像素子は、SPAD (シンジフォトンアバランシェダイオード)、APD (アバランシェフォトダイオード)、CAPD (電流支援フォトニクス復調器)、ゲートToF画素、光子乗算器、または(固有の)電子乗算機能もしくはゲインを有する任意の他の撮像素子などのうちの少なくとも1つに基づくことができる。
【0023】
撮像素子は、読出しタップに対応する複数の出力を含むことができる。
【0024】
例えば、撮像素子がダイオード技術に基づく場合(ここで、本開示は、SPADおよびADPに限定されない。何らかのダイオードまたは電子増倍技術が想定され得るので、それに基づいて、光子を数えることができる)、出力は、光子カウンタまたはレジスタを含む、または接続することができる接続を指すことができる。
【0025】
別の例では、撮像素子がCAPDまたはゲート技術に基づく場合、出力は、ゲートまたはタップ(一般に知られているように、特定のドーピングを伴う)に対応し得る。
【0026】
従って、読出し回路は、このような出力の読出に用いることができる任意の回路であってもよく、すなわち、CPU (中央処理装置)、GPU (グラフィック処理装置)、FPGA (フィールド・プログラマブル・ゲート・アレイ)、任意のタイプの集積回路(IC)等のような読出タップを適用するために使用することができ、このようなエンティティの複数のものもまた、対応するインターフェースなどを使用して組み合わせることが想定され得る。
【0027】
本開示によれば、撮像素子の出力に複数の読出しタップを適用することができる。いくつかの実施形態では、読出しタップは、機能的エンティティを指し、したがって、例えば、CAPDのタップに限定されないことがある。いくつかの実施形態において、読出しタップは、信号を指し、それは、出力から読出しのためにそれぞれの出力に印加される。
【0028】
上に示したように、読出しタップは互いに時間シフトされてもよい。例えば、各読出しタップは、各読出しタップの適用間に所定の時間(間隔)を置いて、別の後に適用されてもよい。所定の時間は、各読出しタップ間で異なっていてもよいし、各読出しタップ間で同じ(大まかに)であってもよい。
【0029】
一部の実施形態では、読出しタップ間の時間シフトは、各読出しタップに対して等しい。しかしながら、いくつかの実施形態では、時間シフトは等しい必要はない。
【0030】
一部の実施形態では、前の読出しタップがもはや適用されない所定の時間の後に読出しタップが適用される。
【0031】
一部の実施形態では、先の読出しタップの直後に読出しタップが適用される。
【0032】
したがって、いくつかの実施形態では、時間シフトされた読出しタップは、上述のように、互いに対して時間的にシフトされ、上述のように、「互いに対して」異なる種類の読出しタップを適用することが想定され得る。
【0033】
さらに、実施形態では、時間シフトされた読出しタップでは、撮像素子の出力が次々と読み出されるようにシフトされる。
【0034】
例えば、第1の(電気)電荷(例えば、電子、正孔、電子-正孔対、等)を、第1の出力(第1の出力内、または第1の出力についての所定の領域のいずれかから)集めてもよい(撮像素子から、または撮像素子内から)。第1の電荷が収集され、読み出された後、第2の電荷が収集され、読み出されるなどなされる。
【0035】
いくつかの実施形態では、電荷は、出力において同時に収集されてもよく、その結果、読出しタップが次々に適用される場合(例えば、時間的に重複することなく)、出力、したがって、電荷は、次々に読み出され得る。
【0036】
いくつかの実施形態では、電荷は、撮像素子の同じ領域(例えば、感光性領域)に生成されてもよく、対応する読出しタップは、電荷をそれぞれの出力に向かって引き寄せることができる。従って、読出しタップがオーバーラップしないように時間シフトされた場合、第1の時間間隔に対して発生された第1の電荷は第1の読出しタップで読み出され、第2の時間間隔に対して発生された第2の電荷は第2の読出しタップで読み出されるなどなされる。
【0037】
いくつかの実施形態では、複数の読出しタップの数は複数の出力の数に対応するが、これらの数はまた異なってもよい。
【0038】
例えば、全ての出力が読出し回路によって読出されるべきである場合、読出しタップの数は、少なくとも出力の数と同程度であるべきである。これらの数は等しくてもよいが、読出しタップの数は出力の数よりも多くてもよい。例えば、(1つまたはいくつかの)特定の出力またはすべての出力が、(例えば、iToFから公知の復調方式で、または任意の他の理由で)2つ以上の読出しタップで読まれることが想定され得る。読出しタップの数は、出力の数よりも対応して高くなり得る。
【0039】
しかしながら、全ての出力が、異なる理由により、読出し回路によって読み出されるわけではないことが想定される。例えば、出力は、読み取ることができないような欠陥であり得る。1つの撮像素子(例えば、マクロ画素)を確立する複数の撮像サブ要素の場合、全ての出力を読み取る必要はない。これは、例えば、低解像度モードにおいて、またはToF回路が任意の他の撮像モードにおいて駆動される場合であり得る。
【0040】
一方、すべての出力が読出し回路によって読まれるべきでない場合であっても、読出しタップの数は、2つ以上の読出しタップによる複数の出力の読出し等のような、上記に与えられたのと同様の理由のために、依然として出力の数と等しいか、またはそれよりも高くすることができる。
【0041】
本開示がどのように実施されるかに応じて、当業者は、「時間シフトされた」が、一部の実施形態において「位相シフトされた」にも言及し得ることを理解し得る。読出しタップがタイムシフトであるか位相シフトであるかは、どの回路要素またはどの信号が実際に使用されるかに依存し得る。
【0042】
いくつかの実施形態では、撮像素子は、本明細書で論じられるように、複数の撮像サブ要素を含む。
【0043】
例えば、所定回数の画像サブエレメントを接続して、本開示に従ってそれらを読み出すことができるようにすることができる。例えば、4つの2タップ画素(例えば、CAPDに基づく)が使用され得、各タップは、マクロ画素の出力に対応し得るが、任意の数の出力および画像サブ素子が使用され得るので、その点に関して本開示を限定することはない。
【0044】
例示的な実施形態として、8つの出力を使用することができ、これは、
図1を参照してさらに説明される。
【0045】
図1Aは、撮像素子2および読出し回路10を含む、本開示によるToF回路1を示す。ToF回路1は、各画素内に1つのダンピングノードを備えたN/2個の2タップ画素を有する空間多重化Nタップセンサとして実装される。
【0046】
この実施形態では、撮像素子2は、全てが2タップToF画素である4つの撮像サブ素子A、B、CおよびDを含む。
【0047】
画像サブエレメントA~Dの各々は、ダンプノードDuA、DuB、DuC、およびDuDと、収集ノードA1、A2、B1、B2、C1、C2、D1、およびD2とを含む。ダンプノードDuA~DuDは、そのゲートと共に読出し回路に接続されるトランジスタ3を含む。別のノードでは、トランジスタ3はフォトダイオード4に接続されている。また、ノード5を介して、トランジスタ3およびフォトダイオード4はトランジスタ6および7で接続されており、そのゲートはそれぞれの収集ノードA1~D2である。
【0048】
しかしながら、本明細書で言及されているトランジスタはいずれも特定のタイプに限定されない。例えば、
図1Bのタイミング図のためにNMOSトランジスタを使用することができる。しかしながら、トランジスタは、任意のタイプのトランジスタであってもよく、または、
図1Bの信号の極性が逆転され得るPMOSのような、異なる種類のドーピングを含んでもよい。
【0049】
更に、それぞれの他のノードによって、トランジスタ6および7は、電源電圧バイアスされている別のトランジスタ8および9のゲートに接続されている。
【0050】
従って、ダンピングノードDuA~DuDに信号が印加されると、フォトダイオード4で発生した電流がそれぞれのダンピングノードDuA~DuDに向かって引き込まれるように、2タップ画素A~Dを制御することができる。信号が収集ノードA1~D2に印加されると、フォトダイオード内の電流が、それぞれの収集ノードA1~D2に向かって引き込まれる。
【0051】
信号は、収集ノードA1からD2へ、またはダンプノードDuAからDuDへ接続されたそれぞれの信号線11を介して、読出し回路10によって印加される。例えば、線A1は収集ノードA1に接続され、線DuBはダンプノードDuBに接続されるなどされる。
【0052】
読出し回路10は、さらに、それぞれの信号を生成するように構成された信号発生器MV (変調クロック発生器および運転者用のショート)を含む。
【0053】
図1Bは、信号線11を介してそれぞれのノード(ダンピングノードDuA~DuDおよび収集ノードA1~D2)に印加される信号のタイミング15を示す。
【0054】
一般に、撮像サブ素子A~Dの撮像サブ素子が読み出されるべきでない場合、それぞれのダンピングノードDuA~DuDに印加される電圧は高い(または論理的なもの)であり、それぞれの撮像サブエレメントが読み出されるべき場合、それぞれのダンピングノードDuA~DuDに印加される電圧は低い(または論理的なゼロ)である。上述のように、異なるトランジスタが使用される場合、信号は、変更されるか、または逆にさえされ得る。
【0055】
本実施形態では、撮像素子A~Dは、互いに後から読み出される。また、収集ノードA1~D2は、互いに読み出される。
【0056】
したがって、第1の時点では、何も読み出されない場合、ダンピングノードDuA~DuD上の信号は高く、収集ノードA1~D2上の信号は低い。読出しが開始されると、同時に、第1のダンピングノードA1における信号がハイである一方、ダンピングノードDuAにおける信号はローに設定される。
【0057】
所定の信号幅の後、A1上の信号は再びローにセットされ、その直後に、A2上の信号は所定の信号幅の間ハイにセットされる。再びA2をローにすると、DuAは再びハイに、DuBはローになる。同時に、所定の信号幅に対して、B1がハイに設定される。B1がローにセットされた後、B2は、所定の信号幅の間、ハイにセットされる。その後、再度DuBをハイにし、DuCをローにすることで、C1とC2があらかじめ設定された信号幅に対して次々にハイになるように設定される。再度C2をローにセットした後、DuCは再度ハイにセットされ、DuDはローにセットされる。その結果、D1とD2はあらかじめ決められた信号幅に対して次々にハイにセットされる。その後、DuDは再びハイに設定される。
【0058】
この実施形態では、すべての収集ノードA1~D2は、同じ所定の時間の間、読み出されるが、各収集ノードに対する読み出し時間は、それに応じて適合されてもよく、例えば、異なるフォトダイオード(異なる量子収率を有する)が使用される場合、または画像サブエレメントが異なる要素を有する場合、または較正に基づく場合、異なってもよい。
【0059】
さらに、タイミング15は、変調パターン全体の一部を示すだけであり、状況に応じて適合または変更することができる。パターンは、マイクロ画素(または画像サブ素子)が光電子を収集する(すなわち、それぞれのダンプノード(またはダンプゲート)が低いとき)、全露光にわたって列内で繰り返されてもよい。
【0060】
図1に示す実施は、一般的に知られている2タップ技術を使用する。したがって、既知の撮像サブエレメントを使用することができ、読出しおよび読出し回路のみを適合させることが十分であり得る。さらに、画像サブエレメントは成熟したCIS (CMOSイメージセンサ)技術に基づいてもよく、それぞれの出力(タップ)は互いに接近して提供されてもよいので、変調速度が最適化される。
【0061】
さらに、いくつかの実施形態では、読出し回路が共有ソースフォロワを含む場合に、それぞれの読出し回路の不整合/オフセットを緩和することができ、それは、1つのマクロ画素(本実施形態では、撮像素子)内のすべてのタップに対して共有することができる。
【0062】
さらに、本開示は、
図1の4つの画像サブ素子のような任意の数の画像サブ素子に限定されない。
【0063】
いくつかの実施形態において、各サブエレメントは、少なくとも1つの出力を含む。上記の例では、各撮像素子は、2つの出力を有するが、異なる種類の出力を有する異なる種類の撮像素子が、本開示に従って使用されてもよく、出力は、それに従って制御されてもよい。
【0064】
図2Aは、各々が1つの出力23を有する9つの撮像サブエレメント22を有する撮像素子21を含むToF回路20の一実施形態を示しており、出力23はパルス発生器として実装される。9個の撮像用サブエレメント22は、3倍の3画素アレイとして配列されている。各画像副素子は、SPAD 24(単一光子アバランシェダイオード)、およびカウンタ25をさらに含む。
【0065】
ToF回路20は、信号生成MVおよび信号線27を含むToF読出し回路26をさらに含む。そのうち3つの信号線27があり、その各々は画素アレイの各行の撮像サブエレメントに接続されている。従って、信号線G[0:2]は第1行の出力23に接続され、信号線G[3:5]は第2行の出力23に接続され、信号線G[6:8]は第3行の出力23に接続される。したがって、線G[0:2]、変調信号G[0]、G[1]、およびG[2]を介して、第1の行の出力に印加することができ、ここで、信号G[0]は、この行の第1の画素に印加され、G[1]は、この行の第2の画素に印加され、G[2]は、この行の第3の画素に印加される。対応して、信号線G[3:5]を介して、変調信号G[3]、G[4]、およびG[5]を第2の行の第1、第2、および第3の画素に印加することができ、信号線G[6:8]を介して、変調信号G[6]、G[7]、およびG[8]を第3の行の第1、第2、および第3の画素に印加することができる。
【0066】
変調信号がそれぞれのパルス発生器または出力23に印加されると、SPAD 24においてアバランシェ信号が生成される場合、それぞれのカウンタ25が増加する。互いに駆動された出力23の場合、異なるカウンタ25の計数結果をそれぞれの時間ビンに関連付けることができる。
【0067】
図2Bは、信号G[1]からG[8]が出力23に印加されるタイミング28を示す。このような実施形態では、空間多重化と呼ぶこともできる。
【0068】
タイミング28から得られるように、読み出し位相が開始する前に、信号G[1]からG[8]はローに設定される。そして、信号G[0]は、所定の時間の間、ハイに設定され、次いで、再びローに設定される。その後、信号G[1]は所定の時間の間ハイにセットされ、その後再びローにセットされる。同じことが、全て互いに直後に印加される残りの信号G[2]~G[8]にも当てはまる。
【0069】
したがって、この実施形態では、
図1と同様のパターンが適用され、したがって、SPADベースの撮像素子においてNタップ操作が実現される。
【0070】
モザイクを使用する空間多重化は、
図1および2の例示的な実施形態に関して説明されている。そのような実施形態では、マクロ画素のレイアウトは、モザイク状の方法で複数の(サブ)画素を含むことができ、その中で、(サブ)画素のそれぞれは、個々に、Nタップセンサの中の少なくとも1つのタップに対応することができ、したがって、対応する位相の入射光を分解するために、ターンで動作することができる。(サブ)画素は、アクティブ画素デバイスまたは他の装置、例えば、3T、4T、SPAD、APDなどに基づくことができる。
【0071】
モザイクは、複数の画素が一緒に使用されることを指すことができる。しかしながら、状況に応じて任意のモザイクパターンが想定され得るので、これらは、必ずしも隣接画素でなくてもよい。
【0072】
タップがアドレス指定されない場合、信号を生成するが、そのような信号は、例えば、配置されてもよい。いくつかの実施形態では、複数の出力は、撮像素子の複数の容量に対応する。
【0073】
例えば、撮像素子の異なる領域は、別の領域に対して容量が存在するようにすることができる。例えば、ToF回路が半導体内に設けられる場合、異なるドープ領域(出力として)が設けられてもよく、この場合、読出しタップを介して電荷が収集され、読み出されてもよく、これは異なるドープ領域に印加されてもよい。ドープ領域は、半導体の別の層(例えば、読み出し層)と共に寄生容量を構成し得るので、キャパシタによって記号的に表され得る。しかし、ToF回路がどのように実装されるかによって、同様に「実在」コンデンサを使用することができる。
【0074】
いくつかの実施形態では、複数のタイムシフト読出タップは、各タイムシフト読出信号が印加される主読出容量に基づいて、かつ、各タイムシフト読出信号の1つのそれぞれのタイムシフト読出信号でそれぞれ読み出される複数の副容量に基づいて、複数のタイムシフト読出タップが複数の容量に印加される。
【0075】
このような実施形態を説明するために、以下では、
図3を参照する。
【0076】
図3Aは、時間的多重化が実施され得る2つの実施形態を示す。時間多重化は、複数の読出しノードによる1つの撮像素子の共有を指すことができる。
【0077】
図3Aの左側には、受動ToF (積分器)回路30が示されている。ToF回路30は、フォトダイオードおよびアナログ変調器32を含む撮像素子31を含み、アナログ変調器は、記憶素子および電荷循環回路(図示せず)をさらに含む。
【0078】
また、アナログ変調器32を多入力多出力で読み出すための読出し回路33が設けられている。
【0079】
読出し回路33は、トランジスタ34のゲートでアナログ変調器32に接続されている。トランジスタ34は、電源電圧VDDおよびさらなるトランジスタ35にさらに接続されている。
【0080】
さらに、トランジスタ36は、トランジスタ34およびアナログ変調器32のゲートに接続されている。
【0081】
図3Aの右側には、Nメモリ素子を備えたシングルエンド容量性トランスインピーダンスに基づく能動積分器として実現される読出し回路40が示されており、読出し回路40は、積分素子および循環素子の両方として働く。
【0082】
読出し回路40は、読出し回路40を撮像素子(図示せず)に接続するコンデンサ41に接続されている。
【0083】
読出し回路40は、演算増幅器42を含み、この演算増幅器は、一方の入力ノードと共に、基準電圧V_refに接続され、他方の入力ノードと共に、コンデンサ43およびリセットスイッチ(RST)44に接続され、次に、演算増幅器42の出力に接続される。
【0084】
さらに、演算増幅器42の出力は、スイッチSHに接続され、スイッチSHが閉じると、読出し回路40とコンデンサ41との接続が確立される。
【0085】
読出し回路41はさらに、5つのサブ回路45を含む。本開示は、5つのサブ回路45に限定されないことに留意されたい。なぜなら、これは例示的な実施形態に過ぎず、任意の数のサブ回路が想定され得るからである。さらに、5つのサブ回路が示されているが、本実施形態は、8つのサブ回路を含み、5つは、例示の目的のためにのみ示されていることに留意されたい。
【0086】
各サブ回路45は、サブ回路45が演算増幅器42の入力に結合されるように、コンデンサ43に接続されるコンデンサ46を含む。
【0087】
また、サブ回路45は、コンデンサ46に接続される(他方の側の)2本の並列信号線47,48を有している。
【0088】
信号線47はスイッチGDを含み、演算増幅器42の出力に接続されている。スイッチGDは複数のスイッチの記号であり、そのタイミングは
図3Bを参照してさらに説明され、GD1からGD8として列挙される。
【0089】
信号線48は、スイッチSWGNDを含み、基準電圧V_refに接続されている。スイッチSWGNDは複数のスイッチの記号であり、そのタイミングは
図3Bを参照してさらに論じられ、SWGND1~SWGND8として列挙される。
【0090】
スイッチSHが閉じている場合には、以下の例示的な実施形態に従って読出しを実行することができ、これについては、
図3Bを参照して論じる。
【0091】
図3Bは、読出し回路40が駆動され得るタイミング50を示す。以下では、ハイ信号(または論理的なもの)が印加されると、読出し回路40のそれぞれのスイッチが閉じられ、ロー信号(または論理的なゼロ)が印加されると、読出し回路40のそれぞれのスイッチが開かれる。
【0092】
リセット相51において、全てのノードは、スイッチRST 44およびGD1~GD7(
図3AのスイッチGDに対応するが、サブ回路45を区別するために列挙される)に印加されるハイ信号52によってリセット電圧にリセットされる。
【0093】
さらに、ハイ信号53がスイッチGD8(この実施形態では、主静電容量のための主スイッチである)に印加され、ハイ信号53は、ハイ信号52よりも長く、積分相55に延びる。積分フェーズの間に、
図2Bを参照して論じた変調パターンと同様な変調パターンが適用される。すなわち、相互のスイッチが所定の時間だけ閉じられた後である。しかしながら、
図2Bとは逆に、GD8はダンプノード(またはダンプタップ)として使用されるので、スイッチGD8は、スイッチGD1~GD7よりも長時間閉じられる。その後、所定数の変調サイクルが行われるまで、変調パターンが繰り返される。
【0094】
リセット相51および積分相55の間、スイッチSWGND1~SWGND8の信号はローに保たれる。
【0095】
積分フェーズ55の後、ダンプノードGD8は、RST 44にハイ信号を印加し、ダンプノードリセットフェーズ56中に信号をGD8上に高く保つことによってリセットされる。残りの信号はローに保たれる。つまり、他のすべてのスイッチは開いたままになる。
【0096】
ダンプノードリセットフェーズ56の後、RST 44は再びローに設定されるが、GD8はハイに保たれる。この相は、電荷循環相とも呼ばれる。本開示によれば、各ノードが次々に読み出される複数の電荷循環位相が実行される。
【0097】
第1の電荷循環相57では、電荷がGD7からGD8に移送され、GD8がまだハイ(すなわち、閉じている)なので、GD8から引き出される。さらに、SWGND7はハイに設定されるが、GD7はローに設定され、電荷はGD7からGD8に流れることができる。
【0098】
第1の電荷循環位相57の後に、第2の電荷循環位相58が実行され、電荷はGD7をハイに、SWGND6をハイに設定することによってGD6からGD7に流れる。同じことがGD5にも当てはまり、その電荷はGD6に移される、等なされる。すべてのスイッチ(またはタブ)が1つの電荷転送を行った後、新しい統合相が開始し、GD上の変調パターンもまた、第1の統合期間から1タブだけ不整合である。積分と電荷転送期間の組み合わせは、N回(Nはダンプノードを除くタブの数に等しい、すなわち、この実施形態では8回)またはN回の積分を繰り返す。
【0099】
このような電荷の循環は、フォトダイオードと異なるコンデンサとの間の転送速度の不整合を均等にするために使用され得る。
【0100】
この動作の後、電荷循環57から開始して、全てのタブが読み出される。すなわち、電荷は、読出しのためにGD7からGD8に転送される。第1の電荷循環位相57の後、GD7をハイに、SWGND6をハイにするなどして、GD6からGD7に電荷が流れる第2の電荷循環位相を行う。その後、第1の電荷循環相57が再度実行され、GD8から電荷が読み出される。同じことがGD5にも当てはまり、その電荷は同様の方法でGD8に移送される、などである。先に議論した電荷循環を用いて、例えば、容量不整合による読出し電圧のオフセットを除去するために、読出しが1つのタブで実行されることを確実にすることができる。
【0101】
この実施形態では、容量性トランスインピーダンスアンプCTIAが、積分および電荷循環の両方のために使用されるが、電荷循環のみのために使用される場合、リセットのタイミングのみが、電荷循環と読出し出位相とが関連してもよい。
【0102】
いくつかの実施形態では、各容量は、本明細書で論じられるように、少なくとも2つの読み出しスイッチに結合される。
【0103】
図3を参照して、時間的多重化について説明した。この非限定的な例では、N個のアナログ積分器または同じ画素デバイスを共有するN個のカウンタ素子によってNタップ操作が実施される。そのような実施形態では、1つの画素デバイスのみがいくつかのタップのために使用され得るので、画素不整合は存在し得ない。
【0104】
アナログ実施では、N個のメモリ素子は、N個の統合コンデンサによって実現され得、コンデンサ間のスイッチング動作は、アナログスイッチによって実現され得る。カウントの実施において、N個のメモリ素子は、N個のカウンタによって実現されてもよく、コンデンサ間のスイッチング動作は、マルチプレクサによって実現されてもよい。
【0105】
いくつかの実施形態において、複数の出力は、複数のカウンタに対応する。カウンタは、いくつかの実施形態では、複数の出力または複数のタップを表す。
【0106】
例えば、第1のカウンタ(dToFから公知であるようである)は、第1の時間間隔の間、光子をカウントすることができ、第2のカウンタは、第2の時間間隔の間、光子をカウントすることができ、以下同様である。
【0107】
カウンタは、
図4に関して以下で説明される対応する回路に基づいてタイミング調整されてもよい。
【0108】
図4Aは、パルス発生器62に電荷を転送するSPAD 61を含むToF回路60を示す。パルス発生器がSPAD 61からのアバランシェ信号を検出すると、パルスが生成され、マルチプレクサ63に送信される。
【0109】
制御ライン64はマルチプレクサ63に接続されており、カウンタ65a、65b、65c、65x(xは任意の数を表す、すなわち本開示は
図4Aに表示されるように4つのカウンタに限定されない)のそれぞれのカウンタが、制御ライン64によって送信される変調信号に従ってマルチプレクサ63によって駆動されるようになっている。
【0110】
図4Bは、マルチプレクサ63がカウンタ66を駆動するタイミング
図66を示している。
【0111】
図2Bの変調パターンと同様に、異なる変調信号a、b、c、およびx(ここで、xは任意の数字を表し、本明細書で使用される文字は、カウンタ65a、65b、65c、および65xに使用される文字に対応する)が、連続的に適用される。上側カウンタ65aは、上側変調信号がハイであると同時にパルス発生器62からのパルスが発生すると増加する。したがって、パルス発生器62からのパルスが上からの第2変調信号がハイと同時に発生すると上からの第2カウンタ65bが増加する、等がなされる。
【0112】
従って、
図4Bのタイミング
図66によれば、マルチプレクサ制御信号は、画像SPAD 61の出力を対応するタップに時間的に多重化する方法で生成される。
【0113】
マルチプレクサは、任意の特定の要素に限定されず、NANDゲート、ANDゲート、送信スイッチなどに基づいて実装されてもよい。
【0114】
カウンタに基づいて、一般的に知られているように、
図4Cに示されるように、ヒストグラム67が、どの深さ生成が決定され得るかに基づいて生成され得る。
【0115】
したがって、いくつかの実施形態では、本明細書で論じられるように、ヒストグラムは、複数のカウンタ内のカウントに基づいて生成される。
【0116】
図4を参照して、DEM (動的要素マッチング)技術の非限定的な実施例を検討した。例えば、タップ回路/電荷循環による不整合相殺技術は、アナログ積分器によって実行することができる。そのような実施形態では、Nタップは、ゲート画素(Nゲートを有する)などのNタップ画素概念によって、またはアナログ積分器で変調される別の画素によって実装されてもよい。オフセットを低減するために、レーザ位相が相応に変化し得る間に、電荷は、積分器のアナログメモリ成分を通して循環させられ得る。
【0117】
いくつかの実施形態において、カウンタは双方向カウンタである。
【0118】
双方向カウンタが使用される場合、ヒストグラムはあまり複雑でない可能性があるため、カウンタによって占有されるシリコン空間は少なくなり得る。したがって、いくつかの実施形態では、ヒストグラムは、双方向カウンタ内のカウントに基づいて生成され、ヒストグラムのエントリは、それらのそれぞれの隣接するエントリに関する相対カウントに対応する。
【0119】
図5を参照すると、双方向カウンタおよびそのタイミングを備えたToF回路が説明されている。
【0120】
図5Aにおいて、パルス発生器72に接続されたSPAD 71を含むToF回路70が示されている。SPAD 71からの信号に応答して、パルス発生器72は、マルチプレクサ73に送信されるパルスを生成するように構成される。マルチプレクサは、本明細書で論じられるように、パルスが変調信号または読出し出タップに従った所定のカウンタにのみ送信されるように、本開示によるToF読出し出回路によって制御される。従って、ToF回路は、複数の双方向カウンタ74をさらに含む。
図4Aのカウンタ65とは対照的に、本実施形態の双方向カウンタ74は、デルタカウントを行うことができるので、より少ないカウント値を節約する必要があるので、より少ないシリコン空間を占める。
【0121】
デルタカウントを実行するために、双方向カウンタ74に符号が付けられ、循環的に動作する。
【0122】
n番目のタップの場合、対応するカウンタnは、SPAD 71からのカウントを正または負の方向に蓄積するように構成され、カウンタn-1は、反対の方向にカウントする。したがって、1つのカウンタは、2つの隣接するタップの差動信号値および部分的な環境光カウント値を処理するように構成される。
【0123】
さらに、各々がマルチプレクサ75の1つの出力を(
図4Aのような1つのカウンタの代わりに)2つの隣接するカウンタに接続する加算器82が設けられる。加算器は、デジタルORゲートなどの任意のタイプの加算器であってもよい。
【0124】
図5Bは、マルチプレクサ73に印加される複数のタップのタイミング75を示す。タップ75は、
図2Bと同様に、マルチプレクサ73内の異なるスイッチ76に互いに後から印加される時間シフト変調信号に基づいており、パルス発生器72からのパルスが、それぞれのスイッチ76に接続されたそれぞれのカウンタ74に送信されるようになっている。
【0125】
図5Cは、カウンタ74がカウントするように構成されたタイミング77を示す。このタイミング77は、複数の時間シフト変調信号78を含み、これらを相互に後から適用する。時間シフトされた変調信号78は、タップ75(またはマルチプレクサ制御信号)に再利用される。
【0126】
それぞれのカウンタ用の変調信号78のハイ領域79が、パルス発生器72のパルスと重複する場合、カウンタ74は、カウントアップするように(すなわち、それに関して本開示を限定することなく、1つを加えたもの)構成される。変調信号78のロー計数領域80がパルスと重複する場合、カウンタ75はカウントダウンするように(すなわちマイナス1に、その点で本開示を限定しない)構成される。変調信号78は、カウントが行われない領域81(「標識無ケア領域」とも呼ばれる)をさらに含む。領域81は、隣接するカウンタの変調信号のハイ領域と重なり合い、その結果、デルタカウントを行うことができる。
【0127】
図5Dは、ToF回路70に基づいて生成されたデルタヒストグラム85を示す(右側)。左側には、2つのヒストグラムを比較するための
図4Dのヒストグラム67が示されている。さらに、ヒストグラム67の左から2番目のバー上には、ヒストグラム67の第1のバーと第2のバーの間の微分値を表す、1番目のバーと2番目のバーの間の微分値バー86が示されている。
【0128】
第2のバーは第1のバーよりも低いので、微分値は負である。したがって、この微分値は右側のデルタヒストグラム85の負の第2の値として描かれる。ヒストグラム85の第1のバーは、第1のバーと最後のバーとの比較に基づいて、同様の方法で導出される。注意すべきことであるが、
図5の実施形態によれば、ヒストグラム67を生成する必要はなく、それに基づいて、デルタヒストグラム85を生成する。ToF回路70は、デルタヒストグラム85を直接生成するように構成されるからである。
【0129】
デルタヒストグラム85には、2つのピークが示されている。デルタカウントが実行されるので、ToF測定が実行されるたびに少なくとも2つのピークが見え、ここで、2つのピークは符号が付されており、すなわち、一方は正であり、他方は負である。
【0130】
デルタヒストグラム85に基づいて、ヒストグラム67は、コモンモードカウントなしで再構成され得る。あるいは、2つのピークに基づいて、ピークの位置は、2つのカウンタ間の異なる符号を有する大きなデルタカウント値のフリップに直接基づいて結論付けられてもよい。残りのビンは小さな値(すなわち、所定の閾値未満)である。なぜなら、コモンモードカウントは、すでに差し引かれているか、または最初の場所でカウントされていない可能性があるからである。上記の実施形態では、ピークは、左から見た第6のビンに位置する。
【0131】
図5を参照して、デルタ計数回路および方法の非限定的な例を説明した。このような構成では、
図4の実施形態と比較して、より小さいサイズのマクロセルが必要とされ得る。なぜなら、より小さいサイズのヒストグラムのために、より少ない単位セルまたは計数要素が必要とされ得るからである。したがって、
図5の実施形態は、より領域効率的であり得る。
【0132】
一般に、デルタカウントは、生のカウント値を記憶する代わりに、2つの隣接するタップ間の差を記憶することを指すことができる。上述のように、符号付き双方向カウンタは、その点で本開示を限定することなく使用することができる。すべてのカウンタは順番に動作し得るが、2つの隣接するカウンタのうちの1つがカウントアップし、他の1つがカウントダウンし得る間に、2つの隣接するカウンタが同時に可能にされ得る。
【0133】
カウンタは、2つの隣接するタップの差動信号値とクリップされた周囲光値(すなわち、デルタカウントにより露光中に直ちに差分されることがあるので、周囲光値は考慮されないことがある)を処理するように適合されてもよく、その結果、合計で、カウンタ領域は、露光時間全体の間、受光信号および周囲光を記憶するようにのみ適合されるカウンタとは対照的に保存される。
【0134】
一部の実施形態は、飛行時間読出し方法に関するものであり、この方法は、複数の時間シフトされた読出しタップを撮像素子の複数の出力に適用するステップを含み、上記時間シフトされた読出しタップは、上記撮像素子の上記複数の出力が次々に読出しされるように、互いに対して時間的にシフトされる。
【0135】
ToF読出し方法は、本開示に従い、ToF回路および/またはToF読出し回路で実施することができる。
【0136】
いくつかの実施形態では、撮像素子は、本明細書で論じられるように、複数の撮像サブエレメントを含む。いくつかの実施形態では、各サブエレメントは、本明細書で論じられるように、少なくとも1つの出力を含む。いくつかの実施形態では、複数の出力は、本明細書で論じられるように、撮像素子の複数の容量に対応する。いくつかの実施形態では、複数のタイムシフト読み出しタップは、メイン読み出しキャパシタンスに基づいて複数の容量に適用される。このメイン読み出しキャパシタンスは、タイムシフト読み出し信号ごとに読み出され、複数のタイムシフト読み出し信号の1つのタイムシフト読み出し信号で読み出される複数の副キャパシタンスに基づいて、本明細書で論じられる。いくつかの実施形態では、各容量は、本明細書で論じられるように、少なくとも2つの読み出しスイッチに結合される。いくつかの実施形態では、複数の出力は、本明細書で論じられるように、複数のカウンタに対応する。いくつかの実施形態では、ヒストグラムは、本明細書で論じられるように、複数のカウンタ内のカウントに基づいて生成される。いくつかの実施形態では、カウンタは、本明細書で論じられるように、双方向カウンタである。いくつかの実施形態では、ヒストグラムは、双方向カウンタ内のカウントに基づいて生成され、ここで、ヒストグラムのエントリは、本明細書で論じられるように、それらのそれぞれの隣接するエントリに関する相対カウントに対応する。
【0137】
本明細書に記載する方法はまた、コンピュータおよび/またはプロセッサに本方法を実行させるコンピュータプログラムとして、コンピュータおよび/またはプロセッサに実行されるいくつかの実施形態において実施される。いくつかの実施形態では、上述のプロセッサによって実行されると、本明細書に記載の方法を実行させるコンピュータプログラム製品を記憶する非一時的なコンピュータ可読記録媒体も提供される。
【0138】
図6は、本開示によるToF読出し方法90を示しており、ここでは、複数の読出しタップが複数の画像サブエレメントに印加されている。
【0139】
したがって、91で、複数の時間シフト読出しタップが、本明細書で論じられるように、複数の画像サブエレメントに適用される。画像サブエレメントは、各々が複数の出力を有するCAPDに基づく。
【0140】
図7は、本開示によるToF読出し方法95のさらなる実施形態を示しており、複数の時間シフト読出しタップは、撮像素子の複数の容量に適用される。
【0141】
従って、92で、
図3の実施形態のように、複数の時間シフト読出しタップが、本明細書で論じられるように、複数の容量に適用される。
【0142】
図8は、複数の時間シフトされた読出しタップが複数のカウンタに適用される、本開示によるToF読出し方法100のさらなる実施形態を描写する。
【0143】
従って、101で、複数の時間シフト読出しタップが、この実施形態では、
図5を参照して議論されるような双方向カウンタである複数のカウンタに適用される。
【0144】
図9は、本開示によるToF読み出し方法105のさらなる実施形態を示し、この方法では、複数のカウンタに基づいてヒストグラムが生成される。
【0145】
106で、ここで論じられるように、複数のタイムシフト読出し出タップが複数の双方向カウンタに適用される。
【0146】
107において、本明細書で論じられるように、デルタヒストグラムが生成される。
【0147】
図10では、高レベルで、飛行時間撮像システム110の一実施形態が図示されており、これは、ここではToFカメラとして具体化され、深さセンシングまたは距離計測を提供するために使用することができ、本明細書で論じるような方法を実行するように構成され、ToF装置110の制御を構成する飛行時間光回路117を含む(また、図示されていないが、当業者に一般的に知られているような対応するプロセッサ、メモリ、および記憶装置を含む)。
【0148】
ToF撮像システム110は、パルス光源111を有し、(レーザダイオードに基づく)発光素子を含む。本実施形態では、発光素子は、狭帯域レーザ素子である。
【0149】
光源111は、光を反射するシーン112(注目領域またはオブジェクト)にパルス光を放射する。シーン112に繰り返し光を放射することによって、当業者に一般的に知られているように、シーン112を走査することができる。反射された光は、光学積層体113によって光検出器114に集束される。
【0150】
飛行時間ライト回路117はまた、対応する制御回路(図示せず)も含むように、光源の制御を構成する。
【0151】
光検出部114は、画素(撮像要素)のアレイ内に形成された複数のSPAD(シングルフォトンアバランシェダイオード)に基づいて実現されるイメージセンサ115と、シーン112から(イメージセンサ115の各画素に対して)イメージセンサ115に反射された光の焦点を結ぶマイクロレンズアレイ116とを含む。
【0152】
発光時間情報は、光源111から、シーン112から反射される光が検出されたときに、同じくイメージセンサ115からそれぞれの時間情報を受け取る飛行時間読出し回路118を含む飛行時間光回路117に供給される。光源111から受信された発光時間情報およびイメージセンサ115から受信された到着時間情報に基づいて、飛行時間読出し回路118は、光源111から放射され、シーン112によって反射される光の往復時間を計算し、それに基づいて、イメージセンサ115とシーン112との間の距離d(奥行情報)を計算する。
【0153】
奥行情報は、飛行時間計測装置118から受信した奥行情報に基づいて、シーン112の3D画像を再構成(生成)する飛行時間光回路117の3D画像再構成ユニット119に供給される。
【0154】
ToF回路117のユニット118および119への分割は、例示の目的のためにのみなされ、本開示は、特定のユニットにおける機能の特定の分割に限定されないことに留意されたい。例えば、ToF回路117は、それぞれのプログラムされたプロセッサ、フィールド・プログラマブル・ゲート・アレイなどによって実現することができる。
【0155】
本明細書に記載する方法はまた、コンピュータおよび/またはプロセッサ上で実施されるときに、コンピュータおよび/またはプロセッサに本方法を実施させるコンピュータプログラムとして実施することもできる。いくつかの実施形態ではまた、上述のプロセッサのようなプロセッサによって実行されると、上述の方法を実行させるコンピュータプログラム製品を記憶する非一時的コンピュータ可読記録媒体が提供される。
【0156】
本明細書に記載され、添付の特許請求の範囲に請求されるすべてのユニットおよびエンティティは別段の記載がない限り、例えばチップ上の集積回路ロジックとして実装することができ、そのようなユニットおよびエンティティによって提供される機能は、別段の記載がない限り、ソフトウェアによって実装することができる。
【0157】
上述の開示の実施形態が少なくとも部分的に、ソフトウェア制御されたデータ処理装置を使用して実施される限り、そのようなソフトウェア制御を提供するコンピュータプログラム、およびそのようなコンピュータプログラムが提供される伝送、記憶、または他の媒体が、本開示の態様として想定されることが理解される。
【0158】
なお、本技術は以下のような構成も取ることができる。
(1) 撮像素子と、
複数の時間シフトされた読出しタップを前記撮像素子の複数の出力に適用するように構成された読出し回路と
を具備し、
前記時間シフトされた読出しタップは、前記撮像素子の前記複数の出力が次々に読出しされるように、互いに対して時間的にシフトされている
飛行時間型回路。
(2) 前記撮像素子は、複数の撮像サブエレメントを含む
(1)に記載の飛行時間型回路。
(3) 各サブエレメントが少なくとも1つの出力を含む
(2)に記載の飛行時間型回路。
(4) 前記複数の出力は、前記撮像素子の複数の容量に対応する
(1)に記載の飛行時間型回路。
(5) 前記複数の時間シフトされた読出しタップは、各タイムシフト読出し信号が適用されるメイン読出し容量に基づいて、前記複数の容量に適用され、前記複数の時間シフト読出し信号の1つのそれぞれの時間シフト読出し信号でそれぞれ読み出される複数のサブ容量に基づいて適用されている
(4)に記載の飛行時間型回路。
(6) 各容量が少なくとも2つの読出しスイッチに結合されている
(4)または(5)に記載の飛行時間型回路。
(7) 前記複数の出力が複数のカウンタに対応する
(1)に記載の飛行時間型回路。
(8) 前記複数のカウンタ内のカウントに基づいてヒストグラムが生成されている
(7)に記載の飛行時間型回路。
(9) 前記カウンタは、双方向カウンタである
(7)または(8)に記載の飛行時間型回路。
(10) 前記ヒストグラムは、前記双方向カウンタにおけるカウントに基づいて生成され、
前記ヒストグラムのエントリは、それらのそれぞれの隣接するエントリに対する相対カウントに対応する
(9)に記載の飛行時間型回路。
(11) 複数の時間シフトされた読出しタップを撮像素子の複数の出力に適用するステップを含み、
前記時間シフトされた読出しタップは、前記撮像素子の前記複数の出力が次々に読出しされるように、互いに対して時間的にシフトされる
飛行時間読出し方法。
(12) 前記撮像素子は、複数の撮像サブエレメントを含む
(11)に飛行時間読出し方法。
(13) 各サブエレメントが少なくとも1つの出力を含む
(12)に記載の飛行時間読出し方法。
(14) 前記複数の出力は、前記撮像素子の複数の容量に対応する
(11)に記載の飛行時間読出し方法。
(15) 前記複数の時間シフトされた読出しタップは、各タイムシフト読出し信号が適用されるメイン読出し容量に基づいて、前記複数の容量に適用され、前記複数の時間シフト読出し信号の1つのそれぞれの時間シフト読出し信号でそれぞれ読み出される複数のサブ容量に基づいて適用されている
(14)に記載の飛行時間読出し方法。
(16) 各容量が少なくとも2つの読出しスイッチに結合されている
(14)または(15)に記載の飛行時間読出し方法。
(17) 前記複数の出力が複数のカウンタに対応する
(11)に記載の飛行時間読出し方法。
(18) 前記複数のカウンタ内のカウントに基づいてヒストグラムが生成されている
(17)に記載の飛行時間読出し方法。
(19) 前記カウンタは、双方向カウンタである
(17)または(18)に記載の飛行時間読出し方法。
(20) 前記ヒストグラムは、前記双方向カウンタにおけるカウントに基づいて生成され、
前記ヒストグラムのエントリは、それらのそれぞれの隣接するエントリに対する相対カウントに対応する
(19)に記載の飛行時間読出し方法。
(21) コンピュータ上で実行されるときに、前記コンピュータに(11)~(20)のいずれか1つに記載の方法を実行させるプログラムコードを具備するコンピュータプログラム。
(22) プロセッサによって実行されると、(11)~(20)のいずれか1つに記載の方法を実行させるコンピュータプログラム製品を記憶する非一時的なコンピュータ可読記録媒体。
【国際調査報告】