知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】飛行時間型画像センサのための処理回路および方法
(51)【国際特許分類】
H04N 25/705 20230101AFI20240521BHJP
H04N 25/77 20230101ALI20240521BHJP
【ＦＩ】
H04N25/705
H04N25/77
【請求項の数】
20
(21)【出願番号】P 2021552991
(86)(22)【出願日】2020-02-26
(65)【公表番号】
(43)【公表日】2022-05-02
(86)【国際出願番号】 JP2020007881
(87)【国際公開番号】W WO2020184190
(87)【国際公開日】2020-09-17
【審査請求日】2023-02-07
(31)【優先権主張番号】16/352,074
(32)【優先日】2019-03-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】シェン アリエル ベン
【審査官】鈴木 明
(56)【参考文献】
【文献】特開２０１６－１８４８６８（ＪＰ，Ａ）
【文献】特開２０１０－０２８７８１（ＪＰ，Ａ）
【文献】特開２００９－１２４５５０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２５／００－２５／７９
(57)【特許請求の範囲】
【請求項1】
飛行時間型センサであって、複数の画素回路を含む画素アレイであって、前記複数の画素回路のそれぞれが、第１タップ信号を出力するように構成された第１タップ出力および第２タップ信号を出力するように構成された第２タップ出力を含む、画素アレイと、
前記第１タップ信号および前記第２タップ信号で少なくとも１つの論理操作を実施するように構成された飛行時間型処理回路、および前記飛行時間型処理回路の出力に基づいてデジタル信号を出力するように構成されたカウンタを含む、信号処理回路と、
を備える、飛行時間型センサ。
【請求項2】
前記飛行時間型処理回路は、前記信号処理回路のモードに基づいて飛行時間決定信号を出力するように構成される、請求項１に記載の飛行時間型センサ。
【請求項3】
前記モードは、前記飛行時間決定信号が前記第１タップ信号に対応する第１タップモード、前記飛行時間決定信号が前記第２タップ信号に対応する第２タップモード、前記飛行時間決定信号が前記第１タップ信号または前記第２タップ信号のうち大きい方に対応する最大タップモード、前記飛行時間決定信号が前記第１タップ信号と前記第２タップ信号との合計に対応する合計タップモード、または前記飛行時間決定信号が前記第１タップ信号と前記第２タップ信号との差異に対応する差異タップモード、のうち少なくとも１つである、請求項２に記載の飛行時間型センサ。
【請求項4】
前記飛行時間型処理回路は、制御信号に基づいてモードを選択するように構成されたマルチプレクサを含む、請求項１に記載の飛行時間型センサ。
【請求項5】
前記飛行時間型処理回路は、前記第１タップ信号を受信するように構成された第１比較器と、前記第２タップ信号を受信するように構成された第２比較器とを含む、請求項１に記載の飛行時間型センサ。
【請求項6】
前記飛行時間型処理回路は、前記第１タップ信号または前記第２タップ信号を選択的に受信するように構成された比較器を含む、請求項１に記載の飛行時間型センサ。
【請求項7】
光波を放射するように構成された光発生器をさらに備える、請求項１に記載の飛行時間型センサ。
【請求項8】
前記光波は、周期的な波形を有する、請求項７に記載の飛行時間型センサ。
【請求項9】
前記複数の画素回路の前記それぞれは、対象物から反射される前記光波の第１の量に基づいて前記第１タップ信号を生成し、前記対象物から反射される前記光波の第２の量に基づいて前記第２タップ信号を生成するように構成される、請求項７に記載の飛行時間型センサ。
【請求項10】
前記複数の画素回路の前記それぞれは、時間分割方式で、前記第１タップ信号および前記第２タップ信号を生成するように構成される、請求項１に記載の飛行時間型センサ。
【請求項11】
複数の画素回路を含む画素アレイであって、前記複数の画素回路のそれぞれが第１タップ出力および第２タップ出力を含む、画素アレイと、信号処理回路とを備える飛行時間型センサを操作する方法であって、前記第１タップ出力によって第１タップ信号を出力することと、前記第２タップ出力によって第２タップ信号を出力することと、
前記信号処理回路の飛行時間型処理回路によって前記第１タップ出力および前記第２タップ出力で少なくとも１つの論理操作を実施することと、
前記信号処理回路のカウンタによって前記飛行時間型処理回路の出力に基づいてデジタル信号を出力することと、
を含む、方法。
【請求項12】
前記飛行時間型処理回路によって前記信号処理回路のモードに基づいて飛行時間決定信号を出力すること、をさらに含む、請求項１１に記載の方法。
【請求項13】
前記モードは、前記飛行時間決定信号が前記第１タップ信号に対応する第１タップモード、前記飛行時間決定信号が前記第２タップ信号に対応する第２タップモード、前記飛行時間決定信号が前記第１タップ信号または前記第２タップ信号のうち大きい方に対応する最大タップモード、前記飛行時間決定信号が前記第１タップ信号と前記第２タップ信号との合計に対応する合計タップモード、または前記飛行時間決定信号が前記第１タップ信号と前記第２タップ信号との差異に対応する差異タップモード、のうち少なくとも１つである、請求項１２に記載の方法。
【請求項14】
前記飛行時間型処理回路のマルチプレクサによって制御信号に基づいてモードを選択すること、をさらに含む、請求項１１に記載の方法。
【請求項15】
前記飛行時間型処理回路の第１比較器によって前記第１タップ信号を受信することと、前記飛行時間型処理回路の第２比較器によって前記第２タップ信号を受信することと、
をさらに含む、請求項１１に記載の方法。
【請求項16】
前記飛行時間型処理回路の比較器によって前記第１タップ信号および前記第２タップ信号を受信すること、をさらに含む、請求項１１に記載の方法。
【請求項17】
前記飛行時間型センサは、光発生器をさらに備え、前記方法は、前記光発生器によって光波を放射すること、を含む、請求項１１に記載の方法。
【請求項18】
前記光波は、周期的な波形を有する、請求項１７に記載の方法。
【請求項19】
前記複数の画素回路の前記それぞれは、対象物から反射される前記光波の第１の量に基づいて前記第１タップ信号を生成し、前記対象物から反射される前記光波の第２の量に基づいて前記第２タップ信号を生成するように構成される、請求項１７に記載の方法。
【請求項20】
前記複数の画素回路の前記それぞれは、時間分割方式で、前記第１タップ信号および前記第２タップ信号を生成するように構成される、請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、概して、画像センサに関する。より具体的には、本出願は、飛行時間型画像センサでの距離および奥行き決定のためのシステムおよび方法に関する。
【背景技術】
【0002】
典型的には、画像センシングデバイスは、概して、画素回路のアレイ、ならびに、信号処理回路、および任意の関連制御またはタイミング回路として実装される画像センサを含む。画像センサ自体の内部で、光の衝突の結果として、画素回路の光電変換装置に電荷が集められる。典型的には、極めて大きな数（例えば、数千万）の個々の光電変換装置があり、また多くの信号処理回路構成要素が並行して動作している。信号処理回路内部の種々の構成要素は、多数の光電変換装置によって共有されており、例えば、光電変換装置の１つまたは複数の列は、単一のアナログ－デジタル変換器（Analog-To-Digital Converter：ＡＤＣ）またはサンプルホールド（Sample-And-Hold：Ｓ／Ｈ）回路を共有していることがある。
【0003】
写真撮影用途においては、画素回路の出力は、画像を生成するために使用される。写真撮影に加えて、画像センサは、追加または代替の目的で集めた電荷を利用することがある多様な用途で使用される。例えば、ゲームマシーン、自動運転車、遠隔計測システム、工場検査、ジェスチャ制御のコンピュータ入力装置などの用途において、３次元空間の種々の対象物の奥行きを検出することが望ましい場合がある。
【0004】
さらに、一部の画像センサは、画素ビニング操作をサポートする。ビニングでは、近傍の画素回路からの入力画素値は、出力画素値を作成するために、重みを伴って、または重みを伴わずに一緒に平均算出される。ビニングは、出力画像の解像度または画素数を下げて、低光条件で、または低減された電力消費で画像センサが効率的に動作するように利用される場合がある。
【0005】
画像センサで情景内の各ポイントの奥行きを決定するための一方法として、飛行時間（Time-Of-Flight：ＴＯＦ）センシングがある。ＴＯＦ法は、放射光波および反射光波を利用して、これらの２つの光波の関係に基づいて距離を決定する。直接飛行時間（Direct Time-Of-Flight：ＤＴＯＦ）方法では、距離は、放射光波と反射光波との総伝搬時間に基づいて決定される場合がある。間接（Indirect Time-Of-Flight：ＩＴＯＦ）方法では、距離は、周期的な波形を有する放射光波と比較した反射光波の位相偏移に基づいて決定される場合がある。一部の実装形態では、ＩＴＯＦセンサは、画素ビニングなどの様々なモードを実装し、距離決定に関する種々の計算を実施するために、複合処理回路を必要とすることがある。これらの回路により、電力消費の増大、および／または必要とされる領域の増大をもたらす可能性がある。
【0006】
したがって、ごくわずかな電力のみを消費し、占有する領域を減らし、かついくつかの操作モードをサポートする、ＩＴＯＦ画像センサでの距離決定システムおよび方法の必要性がある。さらに、既存の画像センサ設計と適合性があり、大幅な再設計を伴わない、ＩＴＯＦ画像センサでの距離決定システムおよび方法の必要性がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示の種々の態様は、画像センサおよびその距離決定方法に関する。
【課題を解決するための手段】
【0008】
本開示の一態様において、飛行時間型イメージングデバイスが提供される。飛行時間型イメージングデバイスは、複数の画素回路を含む画素アレイであって、該複数の画素回路のそれぞれが第１タップ信号を出力するように構成された第１タップ出力および第２タップ信号を出力するように構成された第２タップ出力を含む、画素アレイと、信号処理回路のモードに基づいて第１タップ信号および第２タップ信号で少なくとも１つの論理操作を実施するように構成された飛行時間型処理回路、および飛行時間型処理回路の出力に基づいてデジタル信号を出力するように構成されたカウンタを含む、信号処理回路と、を備える画像センサを備える。
【0009】
本開示の別の態様において、複数の画素回路を含む画素アレイであって、該複数の画素回路のそれぞれが第１タップ出力および第２タップ出力を含む、画素アレイと、信号処理回路とを備える画像センサを備える飛行時間型イメージングデバイスを操作する方法が提供される。方法は、第１タップ出力によって第１タップ信号を出力することと、第２タップ出力によって第２タップ信号を出力することと、信号処理回路の飛行時間型処理回路によって信号処理回路のモードに基づいて第１タップ出力および第２タップ出力で少なくとも１つの論理操作を実施することと、信号処理回路のカウンタによって飛行時間型処理回路の出力に基づいてデジタル信号を出力することと、を含む。
【0010】
このようにして、本開示の上記の態様は、奥行きセンシングの少なくとも技術分野、ならびに、イメージング、画像処理などの関連する技術分野における改善を提供する。
【0011】
本開示は、コンピュータ実装方法、コンピュータプログラム製品、コンピュータシステムおよびネットワーク、ユーザインターフェース、およびアプリケーションプログラミングインターフェース、ならびに、ハードウェア実装方法、信号処理回路、画像センサ回路、特定用途向け集積回路、フィールドプログラマブルゲートアレイなどによって制御されるハードウェアまたは回路を含む種々の形式で具現化され得る。前述の概要は、単に本開示の種々の態様の一般的な着想を与えることを目的としており、いかなる点においても本開示の範囲を限定するものではない。
【図面の簡単な説明】
【0012】
種々の実施形態のこれらのおよび他のより詳細かつ特定の特徴について、添付図面を参照しながら、以下の記載においてより完全に開示する。
【0013】
【図1】本開示の種々の態様による例示的ＴＯＦイメージングシステムを示す図である。
【図2】本開示の種々の態様による例示的画像センサを示す図である。
【図3】本開示の種々の態様による例示的画素回路を示す図である。
【図4】本開示の種々の態様による例示的出力波形のセットを示す図である。
【図5A】本開示の種々の態様で使用される例示的ＴＯＦ処理回路を示す図である。
【図5B】本開示の種々の態様で使用される例示的ＴＯＦ処理回路を示す図である。
【図5C】本開示の種々の態様で使用される例示的ＴＯＦ処理回路を示す図である。
【図6】本開示の種々の態様で使用される例示的ＴＯＦ処理回路を示す図である。
【図7】本開示の種々の態様による例示的画像センサを示す図である。
【図8】本開示の種々の態様で使用される例示的ＴＯＦ処理回路を示す図である。
【図10】本開示の種々の態様で使用される例示的ＴＯＦ処理回路を示す図である。
【発明を実施するための形態】
【0014】
以下の記載において、フローチャート、データ表およびシステム構成などの多数の詳細が明らかになる。これらの特定の詳細は単に例示的なものであり、本出願の範囲を制限することを意図していないことは、当業者にとって明らかであろう。
【0015】
さらに、本開示は、主に処理回路が画像センサ内で使用される例に焦点を当てているが、これは単に実装形態の一例であることを理解されよう。さらに、開示のシステムおよび方法は、電波ベースセンサでの距離検出を必要とする、例えば、音声回路、フォノンセンサ、レーダシステムなどの任意のデバイス内で使用される場合があることを理解されよう。
【0016】
＜イメージングシステム＞
図１は、距離ｄを隔てて配置された対象物１０２を撮像するように構成されたＴＯＦイメージングシステム１０１を示している。ＴＯＦイメージングシステム１０１は、対象物１０２に向かって放射光波１２０を発生するように構成された光発生器１１１と、対象物１０２からの反射光波１３０を受信するように構成された画像センサ１１２とを含む。放射光波１２０は、周期的な波形を有する場合がある。画像センサ１１２は、入射光を信号に変換させることができる任意のデバイスであってよい。例えば、画像センサは、相補型金属酸化物半導体（Complementary Metal-Oxide Semiconductor：ＣＭＯＳ）画像センサ（Complementary Metal-Oxide Semiconductor Image Sensor：ＣＩＳ）、電荷結合素子（Charge-Coupled Device：ＣＣＤ）などであってよい。ＴＯＦイメージングシステム１０１は、さらに後述するように、飛行時間処理の１つまたは複数の例を実施するために動作する場合がある制御部１１３（例えば、ＣＰＵ）、メモリ１１４などの距離決定回路をさらに含む場合がある。
図１は、距離ｄを隔てて配置された対象物１０２を撮像するように構成されたＴＯＦイメージングシステム１０１を示している。ＴＯＦイメージングシステム１０１は、対象物１０２に向かって放射光波１２０を発生するように構成された光発生器１１１と、対象物１０２からの反射光波１３０を受信するように構成された画像センサ１１２とを含む。放射光波１２０は、周期的な波形を有する場合がある。画像センサ１１２は、入射光を信号に変換させることができる任意のデバイスであってよい。例えば、画像センサは、相補型金属酸化物半導体（Complementary Metal-Oxide Semiconductor：ＣＭＯＳ）画像センサ（Complementary Metal-Oxide Semiconductor Image Sensor：ＣＩＳ）、電荷結合素子（Charge-Coupled Device：ＣＣＤ）などであってよい。ＴＯＦイメージングシステム１０１は、さらに後述するように、飛行時間処理の１つまたは複数の例を実施するために動作する場合がある制御部１１３（例えば、ＣＰＵ）、メモリ１１４などの距離決定回路をさらに含む場合がある。
【0017】
光発生器１１１は、例えば、発光ダイオード（Light Emitting Diode：ＬＥＤ）、レーザーダイオード、あるいは任意の他の光を発生するデバイス、またはデバイスの組み合わせであってよく、また光波形は、制御部１１３によって制御されてよい。光発生器は、光の可視スペクトルによる干渉を低減するような赤外線の範囲で動作する場合があるが、画像センサ１１２によって感知可能な任意の波長帯が利用されてもよい。制御部１１３は、画像センサから画像を受信して、対象物１０２の様々なポイントまでの距離ｄを示す奥行きマップを計算するように構成されてよい。
【0018】
図２は、本開示の種々の態様による例示的画像センサ２００を示している。画像センサ２００は、図１に示されている画像センサ１１２の例である場合がある。図２に示されているように、画像センサ２００は、水平信号ライン２１２と、一対の垂直信号ライン２１３ａおよび２１３ｂとが互いに交差する交差点にそれぞれが配置された画素回路２１１のアレイ２１０を含む。水平信号ライン２１２は、画素アレイ２１０の外側のポイントで、「行走査回路」または「垂直駆動回路」とも呼ばれる垂直走査回路２２０に動作可能に接続される。水平信号ライン２１２は、垂直走査回路２２０から画素回路２１１の特定の行まで信号を搬送する。図２は、画素回路２１１の所与の行ごとに、単一の水平信号ライン２１２を示しているが、実際には、複数の水平信号ライン２１２が、画素回路２１１のそれぞれの行に設けられてもよい。
【0019】
画素回路２１１は、後で詳しく述べるような方式で、（例えば、図３に示されているように）浮動拡散ＦＤａおよびＦＤｂで交互に入射光の量に対応する電荷を蓄積し、垂直信号ライン２１３ａおよび２１３ｂへの電荷の量に対応するアナログ信号を選択的に出力する。図２は、所与の画素回路２１１のその両側の垂直信号ライン２１３ａおよび２１３ｂを示しているが、実際には、垂直信号ライン２１３ａと２１３ｂとの両方は、所与の画素回路２１１の片側に設けられてもよい。さらに説明の便宜上、アレイ２１０の画素回路２１１のサブセットのみが、図２に実際に示されているが、実際には、画像センサ２００は、任意の数の画素回路２１１を有していてもよい。図２は、画素回路２１１の列ごとに、２つの垂直信号ライン２１３ａおよび２１３ｂを示しているが（「２タップ」システム）、実際には、画像センサ２００には、画素回路２１１の列ごとに、さらに多くの垂直信号ラインが組み込まれていてもよい。
【0020】
垂直信号ライン２１３ａおよび２１３ｂは、垂直信号ラインごとに比較器２３２を含む比較器回路２３１に、特定の列向けのアナログ信号（それぞれ、ＡおよびＢ）を導く。各比較器２３２は、アナログ信号を、参照信号生成器２３３から出力された参照信号と比較する。参照信号生成器２３３は、例えば、デジタル－アナログ変換器（Digital-To-Analog Converter：ＤＡＣ）であってもよく、また参照信号は、例えば、周期的なランプ波形を有していてもよい。各比較器２３２は、対応する垂直信号ラインからの入力アナログ信号と、参照信号との比較を示すデジタル信号を出力する。画素回路２１１の列ごとに、一対の比較器２３２が、対応するデジタル信号をＴＯＦ処理回路２３４に出力する。ＴＯＦ処理回路２３４は、デジタル信号の種々の操作を実施して、カウンタ２３５に決定信号を出力する。タップごとにカウンタを必要とする他の実装形態と比較して、画像センサ２００は、画素列ごとに、１つのカウンタ２３５を好ましくは利用する。
【0021】
集合的に、比較器回路２３１、ＴＯＦ処理回路２３４、およびカウンタ２３５は、「信号処理回路」と呼ばれることもある。信号処理回路は、例えば、ラッチ、Ｓ／Ｈ回路などの追加の構成要素を含む場合がある。信号処理回路は、相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）の方法を実施することができるものである場合がある。ＣＤＳは、各画素回路２１１を２回サンプリングすることによって、いくつかの画素ノイズ関連問題を解決することができる。まず、画素回路２１１のリセット電圧Ｖｒｅｓｅｔが、サンプリングされる。これは、Ｐ位相値またはｃｄｓ値と呼ばれる場合もある。次に、画素回路２１１のデータ電圧Ｖｄａｔａ（すなわち、画素回路２１１が光に露出された電圧）が、サンプリングされる。これは、Ｄ位相値または光露出値と呼ばれる場合もある。次に、画素回路２１１に向けられている光の量を反映する値を提供するために、リセット値Ｖｒｅｓｅｔが、データ値Ｖｄａｔａから減算される。ＣＤＳ方法は、画素回路２１１のタップごとに実施される場合がある。
【0022】
信号処理回路の種々の構成要素は、「列走査回路」または「水平駆動回路」としても知られている水平走査回路２４０によって制御される。水平走査回路２４０は、出力回路２５０を介して、さらなる処理、蓄積、伝送などのために、信号処理回路に信号を出力させる。垂直走査回路２２０、参照回路生成器２３３、および水平回路２４０は、駆動制御部２６０および／またはクロック回路２８０に基づいて順番に動作する場合がある通信およびタイミング回路２７０の制御下で動作する場合がある。クロック回路２８０は、画像センサ２００の種々の構成要素向けに１つまたは複数のクロック信号を生成するクロック生成器であってもよい。追加または代替として、クロック回路２８０は、画像センサ２００の外部から受信された１つまたは複数のクロック信号を変換し、変換したクロック信号を、画像センサ２００の種々の構成要素に提供するクロック変換器であってもよい。
【0023】
図３は、２タップ構成を有する例示的画素回路３００を示している。画素回路３００は、図２に示されている画素回路２１１の例である場合がある。図３に示されているように、画素回路３００は、光電変換装置３０１（例えば、光ダイオード）、画素リセットトランジスタ３０２、第１転送トランジスタ３０３ａ、第２転送トランジスタ３０３ｂ、第１浮動拡散ＦＤａ、第２浮動拡散ＦＤｂ、第１タップリセットトランジスタ３０４ａ、第２タップリセットトランジスタ３０４ｂ、第１介在トランジスタ３０５ａ、第２介在トランジスタ３０５ｂ、第１増幅トランジスタ３０６ａ、第２増幅トランジスタ３０６ｂ、第１選択トランジスタ３０７ａおよび第２選択トランジスタ３０７ｂを含む。光電変換装置３０１、第１転送トランジスタ３０３ａ、第１タップリセットトランジスタ３０４ａ、第１介在トランジスタ３０５ａ、第１増幅トランジスタ３０６ａ、および第１選択トランジスタ３０７ａは、アナログ信号（Ａ）を出力するために、図２に示されている垂直信号ライン２１３ａの例である場合がある第１垂直信号ライン３０８ａを介して制御される。構成要素のセットは、「タップＡ」と呼ばれる場合がある。光電変換装置３０１、第２転送トランジスタ３０３ｂ、第２タップリセットトランジスタ３０４ｂ、第２介在トランジスタ３０５ｂ、第２増幅トランジスタ３０６ｂ、および第２選択トランジスタ３０７ｂは、アナログ信号（Ｂ）を出力するために、図２に示されている垂直信号ライン２１３ｂの例である場合がある第２垂直信号ライン３０８ｂを介して制御される。構成要素のセットは、「タップＢ」と呼ばれる場合がある。
【0024】
第１転送トランジスタ３０３ａおよび第２転送トランジスタ３０３ｂは、それぞれ、第１転送ゲートライン３０９ａおよび第２転送ゲートライン３０９ｂで制御信号によって制御される。第１タップリセットトランジスタ３０４ａおよび第２タップリセットトランジスタ３０４ｂは、タップリセットゲートライン３１０で制御信号によって制御される。第１介在トランジスタ３０５ａおよび第２介在トランジスタ３０５ｂは、ＦＤゲートライン３１１で制御信号によって制御される。第１選択トランジスタ３０７ａおよび第２選択トランジスタ３０７ｂは、選択ゲートライン３１２で制御信号によって制御される。第１転送ゲートライン３０９ａおよび第２転送ゲートライン３０９ｂ、タップリセットゲートライン３１０、ＦＤゲートライン３１１、および選択ゲートライン３１２は、図２に示されている水平信号ライン２１２の例である場合がある。
【0025】
動作中、画素回路３００は、時間分割方式で制御され、この場合、水平期間の最初の半分の間に、タップＡを介して入射光が変換されて出力信号Ａが生成され、かつ水平期間の次の半分の間に、タップＢを介して入射光が変換されて出力信号Ｂが生成される。
【0026】
図３は、特定の構成で複数のトランジスタを有する画素回路３００を示しているが、目下の開示は、それほど制限されず、かつ、より少ない、またはより多いトランジスタ、ならびに追加のコンデンサ、レジスタなどの他の要素を画素回路３００が含む構成に適用されてよい。
【0027】
＜ＴＯＦ処理回路＞
奥行きマップを（例えば、図１に関して前述したように）計算するために、画像センサ１１２から、制御部１１３に実際の信号ＡおよびＢを出力することは必須ではない。その代わりに、これらの値のそれぞれを処理し、信号ＡおよびＢの種々の算術的な組み合わせを選択的に生成することが可能である。このプロセスは、画像センサ自体の内部の処理回路で、例えば、図２に示されているＴＯＦ処理回路２３４で、好ましくは実施される。具体的には、ＴＯＦ処理回路２３４は、信号ＡおよびＢを受信し、かつ、信号Ａ－Ｂの差、信号Ａ＋Ｂの組み合わせ、最大信号Ｍａｘ（Ａ、Ｂ）、信号Ａ、または信号Ｂ、のうち１つまたは複数を選択的に出力するように構成される場合がある。これらの出力の一例を、図４に示す。
奥行きマップを（例えば、図１に関して前述したように）計算するために、画像センサ１１２から、制御部１１３に実際の信号ＡおよびＢを出力することは必須ではない。その代わりに、これらの値のそれぞれを処理し、信号ＡおよびＢの種々の算術的な組み合わせを選択的に生成することが可能である。このプロセスは、画像センサ自体の内部の処理回路で、例えば、図２に示されているＴＯＦ処理回路２３４で、好ましくは実施される。具体的には、ＴＯＦ処理回路２３４は、信号ＡおよびＢを受信し、かつ、信号Ａ－Ｂの差、信号Ａ＋Ｂの組み合わせ、最大信号Ｍａｘ（Ａ、Ｂ）、信号Ａ、または信号Ｂ、のうち１つまたは複数を選択的に出力するように構成される場合がある。これらの出力の一例を、図４に示す。
【0028】
具体的には、図４は、信号Ａが１００のデジタル値を有し、かつ信号Ｂが３００のデジタル値を有する特定のケースでの出力波形の例示的セットを示している。このようなケースでは、信号Ｍａｘ（Ａ、Ｂ）は、信号ＡおよびＢのうち単により大きなものであり（３００）、信号Ａ－Ｂは、信号Ｂがハイ、かつ信号Ａがローの期間によって表され（２００）、また、信号Ａ＋Ｂは、信号ＡとＢとの両方がハイの期間を、信号Ｂがハイ、かつ信号Ａがローの期間に加えて２倍にすることによって表される（４００）。
【0029】
図５Ａから５Ｃは、図４に示されている種々の出力信号を生成することができる例示的ＴＯＦ処理回路を示している。図４から分かるように、Ｍａｘ（Ａ、Ｂ）は、信号ＡおよびＢで実施される論理ＮＡＮＤ操作に対応する。したがって、図５Ａに示されるように、ＴＯＦ処理回路２３４ａは、入力として信号ＡおよびＢを受信し、出力として信号Ｍａｘ（Ａ、Ｂ）を提供する、ＮＡＮＤゲート５０１を含む。さらに、図４から分かるように、Ａ－Ｂは、信号ＡおよびＢで実施される論理ＸＯＲ操作に対応する。したがって、図５Ｂに示されるように、ＴＯＦ処理回路２３４ｂは、入力として信号ＡおよびＢを受信し、出力として信号Ａ－Ｂを提供する、ＸＯＲゲート５０２を含む。
【0030】
信号Ａ＋Ｂは、単一の論理操作に直接対応しないが、論理操作の組み合わせによって表される場合がある。一例では、信号Ａ＋Ｂは、図５Ｃに示されるように、ＴＯＦ処理回路２３４ｃによって生成される場合がある。ＴＯＦ処理回路２３４ｃは、ＸＯＲゲート５０３およびＮＯＲゲート５０４を含む。ＸＯＲゲート５０３とＮＯＲゲート５０４との両方は、入力として信号ＡおよびＢを受信する。ＸＯＲゲート５０３の出力により、図２に示されるカウンタ２３５など下流カウンタは１ずつインクリメントされる。ＮＯＲゲート５０４の出力により、図２に示されるカウンタ２３５など下流カウンタは２ずつインクリメントされる。ＸＯＲゲート５０３とＮＯＲゲート５０４との両方からの出力の結果として、下流カウンタは、Ａ＋Ｂに対応する値を出力する。
【0031】
図５Ａから５Ｃに示されている操作は、単一の処理回路に組み合わされてもよい。図６は、単一の回路を用いて各モードを実装する例示的ＴＯＦ処理回路２３４ｄを示している。ＴＯＦ処理回路２３４ｄは、例えば、図２に示されているＴＯＦ処理回路２３４である場合がある。ＴＯＦ処理回路２３４ｄは、ＸＯＲゲート６０１、ＮＡＮＤゲート６０２、ＮＯＲゲート６０３、およびマルチプレクサ６０４を含む。ＸＯＲゲート６０１、ＮＡＮＤゲート６０２、およびＮＯＲゲート６０３のそれぞれは、入力として信号ＡおよびＢを受信する。ＸＯＲゲート６０１、ＮＡＮＤゲート６０２、およびＮＯＲゲート６０３の出力は、マルチプレクサ６０４に提供される。追加として、信号ＡおよびＢは、マルチプレクサ６０４に直接提供される。このようにして、マルチプレクサ６０４は、図４に示されている信号の１つを出力するように、制御信号ＭＯＤＥに応じて、所望のモードを選択することができ、同時に、比較器２３２などの比較器、およびカウンタ２３５などのカウンタは通常通り動作する。
【0032】
モードは、飛行時間決定信号が第１タップ信号に対応する第１タップモード、飛行時間決定信号が第２タップ信号に対応する第２タップモード、飛行時間決定信号が第１タップ信号または第２タップ信号のうち大きい方に対応する最大タップモード、飛行時間決定信号が第１タップ信号と第２タップ信号との合計に対応する合計タップモード、または飛行時間決定信号が第１タップ信号と第２タップ信号との差異に対応する差異タップモード、の任意の１つであってよい。
【0033】
＜イメージングシステムおよびＴＯＦ処理回路の改良型＞
図２から６は、１つの比較器が、タップごとに設けられているイメージングシステムを示している（この場合、２つの比較器が画素列ごとに設けられる）が、１つの比較器が、２つのタップごとに設けられているイメージングシステムを使用して、上記の操作を実装することも可能である（この場合、１つの比較器が画素列ごとに設けられる）。図７は、この原理を利用する本開示の種々の態様による例示的画像センサ７００を示しており、また、図１に示されている画像センサ１１２の別の例である場合がある。
図２から６は、１つの比較器が、タップごとに設けられているイメージングシステムを示している（この場合、２つの比較器が画素列ごとに設けられる）が、１つの比較器が、２つのタップごとに設けられているイメージングシステムを使用して、上記の操作を実装することも可能である（この場合、１つの比較器が画素列ごとに設けられる）。図７は、この原理を利用する本開示の種々の態様による例示的画像センサ７００を示しており、また、図１に示されている画像センサ１１２の別の例である場合がある。
【0034】
図７に示されているように、画像センサ７００は、水平信号ライン７１２と、一対の垂直信号ライン７１３ａおよび７１３ｂとが互いに交差する交差点にそれぞれが配置された（「タップ」とも呼ばれる）画素回路７１１のアレイ７１０を含む。画素回路７１１のそれぞれは、例えば、図３に示されている画素回路３００である場合がある。水平信号ライン７１２は、画素アレイ７１０の外側のポイントで、「行走査回路」または「垂直駆動回路」とも呼ばれる垂直走査回路７２０に動作可能に接続される。水平信号ライン７１２は、垂直走査回路７２０から画素回路７１１の特定の行まで信号を搬送する。図７は、画素回路７１１の所与の行ごとに、単一の水平信号ライン７１２を示しているが、実際には、複数の水平信号ライン７１２が、画素回路７１１のそれぞれの行に設けられてもよい。
【0035】
画素回路７１１は、後で詳しく述べるような方式で、垂直信号ライン７１３ａおよび７１３ｂへの入射光の量に対応するアナログ信号を選択的に出力する。図７は、所与の画素回路７１１のその両側の垂直信号ライン７１３ａおよび７１３ｂを示しているが、実際には、垂直信号ライン７１３ａと７１３ｂとの両方は、所与の画素回路７１１の片側に設けられてもよい。さらに説明の便宜上、画素回路７１０のサブセットのみが、図７に実際に示されているが、実際には、画像センサ７００は、任意の数の画素回路７１０を有していていもよい。図７は、画素回路７１１の列ごとに、２つの垂直信号ライン７１３ａおよび７１３ｂを示しているが（「２タップ」システム）、実際には、画像センサ７００には、画素回路７１１の列ごとに、さらに多くの垂直信号ラインが組み込まれていてもよい。
【0036】
垂直信号ライン７１３ａおよび７１３ｂは、後で詳しく述べるように、比較器および追加の処理回路を含むＴＯＦ処理回路７３１に、特定の列向けのアナログ信号（それぞれ、ＡおよびＢ）を導く。ＴＯＦ処理回路７３１は、信号ＡおよびＢを使用する種々の操作、および参照信号生成器７３２からの参照信号出力を実施する。参照信号生成器７３２は、例えば、ＤＡＣであってもよく、また参照信号は、例えば、周期的なランプ波形を有していてもよい。ＴＯＦ処理回路７３１は、種々の操作を示すデジタル信号をカウンタ７３３に出力する。タップごとにカウンタを必要とする他の実装形態と比較して、画像センサ７００は、画素列ごとに、１つのカウンタ７３３を利用する。集合的に、ＴＯＦ処理回路７３１、およびカウンタ７３３は、「信号処理回路」と呼ばれることもある。信号処理回路は、例えば、ラッチ、Ｓ／Ｈ回路など、追加の構成要素を含む場合がある。信号処理回路は、ＣＤＳの方法を実施することができるものである場合がある。
【0037】
信号処理回路の種々の構成要素は、「列走査回路」または「水平駆動回路」としても知られている水平走査回路７４０によって制御される。水平走査回路７４０は、出力回路７５０を介して、さらなる処理、蓄積、伝送などのために、信号処理回路に信号を出力させる。垂直走査回路７２０、参照回路生成器７３３、および水平回路７４０は、駆動制御部７６０および／またはクロック回路７８０に基づいて順番に動作する場合がある通信およびタイミング回路７７０の制御下で動作する場合がある。クロック回路７８０は、画像センサ７００の種々の構成要素向けに１つまたは複数のクロック信号を生成するクロック生成器であってもよい。追加または代替として、クロック回路７８０は、画像センサ７００の外部から受信された１つまたは複数のクロック信号を変換し、変換したクロック信号を、画像センサ７００の種々の構成要素に提供するクロック変換器であってもよい。
【0038】
画像センサ２００は、単一計数と二重計数との組み合わせを使用するＡ＋Ｂモードを実装していた。代替として、ＡとＢとの平均算出に基づいてＡ＋Ｂモードを実装することも可能である。この代替実装形態は、画像センサ７００によって実施される場合がある。画像センサ２００と比べて、画像センサ７００は、少ない論理回路を使用して、Ａ＋Ｂモードを実装することができる。例えば、画像センサ７００は、図８に示されているようなアナログビニングコンデンサを使用することによって、Ａ＋Ｂを実装することができる。図８は、図４に示されているような出力信号Ａ＋Ｂを生成することができる例示的ＴＯＦ処理回路を示している。図８に示されているように、ＴＯＦ処理回路７３１ａは、比較器８１０、３つのコンデンサ８２１、８２２、および８２３、６つのスイッチ８３１、８３２、８３３、８３４、８３５および８３６、ならびにマルチプレクサ８４０を含む。比較器８１０は、その１つの入力で参照信号ＲＥＦ（例えば、図７に示されている参照信号生成器７３３からの）を受信し、その他の入力でスイッチ８３１、８３２、８３３、８３４、８３５および８３６の状態に基づいて第２信号を受信する。それぞれの信号は、コンデンサ８２１、８２２および８２３を介して比較器８１０に提供される。コンデンサ８２２および８２３は、コンデンサ８２１の半分の容量値である、それぞれの容量値を有する場合がある。マルチプレクサ８４０は、信号ＡおよびＢを受信し、かつ追加の信号Ａ´およびＢ´を選択的に提供されてもよい。例えば、隣接する画素ビニングモードを使用して、信号Ａ´は、隣接画素列のＡタップに対応し、信号Ｂ´は、隣接画素列のＢタップに対応する場合がある。スイッチ８３６は、ＴＯＦ処理回路７３１ａが、隣接画素ビニングモードであるかどうかを制御する。スイッチ８３１、８３２、８３３、８３４および８３５は、ＴＯＦ処理回路７３１ａが、Ａ＋Ｂを実施するか、または通常モードであるかを制御する。より多い、またはより少ないスイッチが設けられてよい。例えば、スイッチ８３１、８３２および８３３のうちの２つのみが、必要とされてもよい。
【0039】
図９Ａから図９Ｃは、ＴＯＦ処理回路７３１ａの種々のモードを示している。図９Ａは、平均算出モードを示しており、この場合、ＴＯＦ処理回路７３１ａは、信号（Ａ＋Ｂ）／２を出力する。信号Ａ＋Ｂは、例えば、デジタルドメインで平均算出信号を２倍にすることによって、下流に生成されてよい。平均算出モードでは、スイッチ８３１および８３４は開いているが、スイッチ８３２、８３５および８３６は閉じている。図９Ｂは、「Ｒｅａｄ Ａ」モードを示しており、この場合、ＴＯＦ処理回路７３１ａは、信号Ａを出力する。Ｒｅａｄ Ａモードでは、スイッチ８３１、８３４および８３５は開いているが、スイッチ８３２および８３６は閉じている。図９Ｃは、「Ｒｅａｄ Ｂ」モードを示しており、この場合、ＴＯＦ処理回路７３１ａは、信号Ｂを出力する。Ｒｅａｄ Ｂモードでは、スイッチ８３１、８３２および８３４は開いているが、スイッチ８３５および８３６は閉じている。
【0040】
平均算出ベースＡ＋Ｂモードは、単一の処理回路を使用して、Ａ－ＢモードおよびＭａｘ（Ａ、Ｂ）モードと共に実装されてよい。図１０は、単一の回路を用いて各モードを実装する例示的ＴＯＦ処理回路７３１ｂを示している。ＴＯＦ処理回路７３１ｂは、例えば、図７に示されているＴＯＦ処理回路７３１である場合がある。ＴＯＦ処理回路７３１ｂは、第１比較器１０１１、第２比較器１０１２、第１マルチプレクサ１０２１、第２マルチプレクサ１０２２、ＸＯＲゲート１０３１、およびＮＡＮＤゲート１０３１を含む。説明を明確にするために、図８に示されているようなスイッチおよびコンデンサなどの一部の要素は、図１０には示していない。画像センサ７００は、（タップごとに１つの比較器を実装する画像センサ２００とは対照的に）画素列ごとに１つの比較器を実装するので、ＴＯＦ処理回路７３１ｂは、２つの隣接画素列に対して設けられる場合がある。
【0041】
第１比較器１０１１は、１つの入力で参照信号ＲＥＦ（例えば、図７に示されている参照信号生成器７３３からの）を受信し、別の入力で画素アレイのｎ列から信号Ａを受信し、かつ、第１マルチプレクサ１０２１の出力に基づいて画素アレイの列からの信号Ｂか、または画素アレイの隣接（ｎ＋１）列からの信号Ａを選択的に受信する。種々のスイッチ（図示せず）および第１マルチプレクサ１０２１の状態に応じて、第１比較器１０１１は、ＡまたはＡ＋Ｂに対応する信号を出力する。第２比較器１０１２は、参照信号ＲＥＦ、および画素アレイのｎ列と、ｎ＋１列との両方から信号Ｂを受信する。第１比較器１０１１の出力は、ＸＯＲゲート１０３１とＮＡＮＤゲート１０３２との両方の１つの入力に、ならびに第２マルチプレクサ１０２２に直接提供される。第２比較器１０１２の出力は、ＸＯＲゲート１０３１とＮＡＮＤゲート１０３２との両方のその他の入力に、ならびに第２マルチプレクサ１０２２に直接提供される。このようにして、第２マルチプレクサ１０２２は、図４に示されている信号の１つを出力するように、制御信号ＭＯＤＥに応じて、所望のモードを選択することができる。
【0042】
モードは、飛行時間決定信号が第１タップ信号に対応する第１タップモード、飛行時間決定信号が第２タップ信号に対応する第２タップモード、飛行時間決定信号が第１タップ信号または第２タップ信号のうち大きい方に対応する最大タップモード、飛行時間決定信号が第１タップ信号と第２タップ信号との合計に対応する合計タップモード、または飛行時間決定信号が第１タップ信号と第２タップ信号との差異に対応する差異タップモード、の任意の１つであってよい。
【0043】
＜結論＞
本明細書に記載のプロセス、システム、方法、発見的手法などに関して、かかるプロセスのステップなどが、ある特定の順序付けられたシーケンスに従って行われると説明してきたが、かかるプロセスは、本明細書に記載の順序以外の順序で記載のステップが実施される状態で行うことができることを理解すべきである。さらに、ある特定のステップが同時に実施され、他のステップが追加され、または本明細書に記載の特定のステップが省略され得ることも理解すべきである。言い換えると、本明細書のプロセスの解説は、ある特定の実施形態を説明する目的で提供されるものであり、いかなる場合も特許請求の範囲を限定すると解釈されるべきではない。
本明細書に記載のプロセス、システム、方法、発見的手法などに関して、かかるプロセスのステップなどが、ある特定の順序付けられたシーケンスに従って行われると説明してきたが、かかるプロセスは、本明細書に記載の順序以外の順序で記載のステップが実施される状態で行うことができることを理解すべきである。さらに、ある特定のステップが同時に実施され、他のステップが追加され、または本明細書に記載の特定のステップが省略され得ることも理解すべきである。言い換えると、本明細書のプロセスの解説は、ある特定の実施形態を説明する目的で提供されるものであり、いかなる場合も特許請求の範囲を限定すると解釈されるべきではない。
【0044】
したがって、上記の解説は、例示的なものであり、限定的なものでないことを意図していることを理解すべきである。提示した例以外の多くの実施形態および応用が、上記の解説を読むことによって明らかになるであろう。範囲は、上記の説明を参照するのではなく、代わりに、添付の特許請求を参照して判断されるべきであり、そのような特許請求の範囲が権利を与えられる等価物の完全な範囲と共に判断されるべきである。将来的な開発は本明細書に記載の技術で行われ、かつ開示のシステムおよび方法は、かかる将来的な実施形態に組み込まれることが予測および意図される。つまり、応用の修正形態および変形形態が可能であることを理解すべきである。
【0045】
特許請求の範囲で使用されているすべての用語は、本明細書において反対の明確な指示がない限り、最も広い適切な解釈、および本明細書に記載の技術における知見によって理解される一般的な意味を与えることを意図しているものである。特に、「ａ」、「ｔｈｅ」、「ｓａｉｄ（上記の）」などの単数形の使用は、請求項が明確に反対の制限を述べていない限り、示される要素の１つまたは複数を述べていると読み取るべきである。
【0046】
本開示の要約は、読み手が、技術的開示の性質を速やかに確認することを可能にするために提示される。それは、特許請求の範囲の範囲または意味を解釈または制限するために使用されないという理解を前提して提示されるものである。加えて、前述の詳細な説明において、種々の特徴が、本開示を簡素化する目的で、種々の実施形態で一緒に分類されていることも理解されるであろう。開示の本方法は、請求される実施形態が各請求項で明示されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ、添付の特許請求の範囲が反映するように、本発明の主題は、単一の開示される実施形態のすべての特徴よりも少ないものにある。このように、添付の特許請求の範囲は、別個の請求される主題として各請求項が独立した状態で詳細な説明に組み込まれる。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】