特許 7431552 センサ、センサシステム、および撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-06

(45)【発行日】2024-02-15

(54)【発明の名称】センサ、センサシステム、および撮像方法

(51)【国際特許分類】

   G01S 7/4863 20200101AFI20240207BHJP

   G01S 17/89 20200101ALI20240207BHJP

   G01C 3/06 20060101ALI20240207BHJP

【ＦＩ】

G01S7/4863

G01S17/89

G01C3/06 120Q

G01C3/06 140

【請求項の数】 13

(21)【出願番号】P 2019186634

(22)【出願日】2019-10-10

(65)【公開番号】P2020060568

(43)【公開日】2020-04-16

【審査請求日】2022-04-13

(31)【優先権主張番号】16/156,392

(32)【優先日】2018-10-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516320322

【氏名又は名称】センサーズ・アンリミテッド・インコーポレーテッド

(74)【代理人】

【識別番号】100086232

【弁理士】

【氏名又は名称】小林 博通

(74)【代理人】

【識別番号】100092613

【弁理士】

【氏名又は名称】富岡 潔

(72)【発明者】

【氏名】ジョン アンジェロ ウィーナーズ

【審査官】藤田 都志行

(56)【参考文献】

【文献】国際公開第２０１２／１３７４３４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／００５９２２４（ＵＳ，Ａ１）

【文献】特表２０１４－５１４７３３（ＪＰ，Ａ）

【文献】特開２０１５－００７６１５（ＪＰ，Ａ）

【文献】国際公開第２０１８／１０１０４９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００７／０２０１８５９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－ ７／５１

Ｇ０１Ｓ １７／００－１７／９５

Ｇ０１Ｃ ３／００－ ３／３２

Ｇ０１Ｂ １１／００－１１／３０

Ｈ０１Ｌ ２７／１４６

Ｈ０４Ｎ ２５／７０５

(57)【特許請求の範囲】

【請求項1】

複数の受動撮像画素、及び
複数の飛行時間（ＴＯＦ）撮像画素
を含む、センサアレイ
を備え、
前記受動撮像画素及び前記ＴＯＦ撮像画素がすべて、ＳＷＩＲ照明に対して感度を有し、
前記受動撮像画素が、前記センサアレイ上の前記ＴＯＦ撮像画素と交互のパターンで配置され、
前記交互のパターンが、前記センサアレイ全体に受動撮像画素の列及びＴＯＦ撮像画素の列を交互に含み、
前記受動撮像画素が、それぞれＰＩＮフォトダイオードを含んでおり、
前記ＴＯＦ撮像画素が、それぞれアバランシェフォトダイオードを含む、センサ。

【請求項2】

前記受動撮像画素及び前記ＴＯＦ撮像画素が、前記センサアレイ内の半導体の共通層にある、請求項１に記載のセンサ。

【請求項3】

各ＴＯＦ撮像画素が、
第１のノードに電気的に接続された定電流源と、
前記第１のノードと接地との間に電気的に接続される積分コンデンサと、
前記第１のノードと第２のノードとの間に電気的に接続されるサンプリングトランジスタと、
フォトダイオードであって、そのフォトダイオードに入射する放射に応答して前記サンプリングトランジスタを介して電気的な接続性を切り替えるために、前記サンプリングトランジスタのベース端子と前記接地との間に電気的に接続される、フォトダイオードと、
を含む、請求項１に記載のセンサ。

【請求項4】

各ＴＯＦ画素が、そのＴＯＦ画素と視野内の一点との間の距離を表す画素値を生成するように構成される、請求項１に記載のセンサ。

【請求項5】

複数の受動撮像画素、及び複数の飛行時間（ＴＯＦ）撮像画素を含む、センサアレイを備えた、請求項１に記載のセンサと、
前記センサアレイに動作可能に接続される読み出し専用集積回路（ＲＯＩＣ）と、
を備える、センサシステムであって、
前記ＲＯＩＣが、
前記受動撮像画素から撮像データを示す電気信号を受信するように各受動撮像画素に動作可能に接続される、それぞれのＲＯＩＣ画素と、
前記ＴＯＦ撮像画素からＴＯＦを示す電気信号を受信するように各ＴＯＦ撮像画素に動作可能に接続される、それぞれのＲＯＩＣ画素と、
を含み、
前記受動撮像画素及び前記ＴＯＦ撮像画素がすべて、ＳＷＩＲ照明に対して感度を有する、センサシステム。

【請求項6】

前記ＲＯＩＣから受動撮像データ及びＴＯＦ撮像データを受信するように、前記ＲＯＩＣに動作可能に接続されたサポートモジュールをさらに備える、請求項５に記載のシステム。

【請求項7】

前記サポートモジュールが、受動撮像データ及びＴＯＦ撮像データを含む混合画像を出力するように構成される、請求項６に記載のシステム。

【請求項8】

前記サポートモジュールが、受動撮像データ及びＴＯＦ撮像データを前記ＲＯＩＣから分離し、受動撮像及びＴＯＦ撮像のための別個の画像を出力するように構成される、請求項７に記載のシステム。

【請求項9】

照明源と、前記照明源及び前記センサアレイに動作可能に接続されてＴＯＦ撮像画素積分及び前記照明のパルスを開始するコントローラと、をさらに備え、
前記ＴＯＦ撮像画素が、前記照明のパルスの飛行時間（ＴＯＦ）を示す信号を出力する、請求項５に記載のシステム。

【請求項10】

前記コントローラが、前記照明源を使用してシーンをフラッシュし、前記照明源を使用して前記シーンをフラッシュしながら、前記受動撮像画素からの受動撮像データを収集するように構成される、請求項９に記載のシステム。

【請求項11】

各ＴＯＦ画素が、そのＴＯＦ画素と視野内の一点との間の距離を表す画素値を生成するように構成される、請求項５に記載のシステム。

【請求項12】

撮像の方法であって、
請求項１～４のいずれかに記載のセンサにおけるセンサアレイからの受動撮像データを収集することと、
前記センサアレイからの飛行時間（ＴＯＦ）撮像データを収集することと、
を備える、方法。

【請求項13】

受動撮像データを収集すること及びＴＯＦ撮像データを収集することが、少なくとも部分的に同時に視差のない単一の光軸に沿って実行される、請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像に関し、より詳細には、三次元撮像装置などの受動撮像及び飛行時間撮像に関する。

【背景技術】

【0002】

いくつかの撮像処理アプリケーションでは、シーン及び飛行時間（ＴＯＦ）深度感知に関する値及び／または色情報を提供するための受動撮像も必要である。例えば、スマートカーのアプリケーションでは、スマートカーは標識がどれだけ離れているかに関する情報を必要とし得る。ＴＯＦセンサシステムはその情報を提供できる。スマートカーアプリケーションはまた、標識の内容を認識する必要があり得るが、これは、受動撮像を使用して標識を撮影するカメラによって提供することができる。従来のシステムでは、ＴＯＦ撮像及び受動撮像にはそれぞれ別個のセンサが必要である。これに対する解決策の１つは、構造化照明などの代替タイプの深度感知を使用することである。

【発明の概要】

【発明が解決しようとする課題】

【0003】

従来技術は、それらの意図された目的に十分であると考えられてきた。しかし、ＴＯＦ撮像及び受動撮像の改善の必要性は常に存在する。本開示は、この必要性に対する解決策を提供する。

【課題を解決するための手段】

【0004】

センサはセンサアレイを含む。センサアレイは、複数の受動撮像画素及び複数の飛行時間（ＴＯＦ）撮像画素を含む。

【0005】

受動撮像画素は、センサアレイ上のＴＯＦ撮像画素と交互パターンで配置できる。交互パターンは、センサアレイ全体に受動撮像画素の列及びＴＯＦ撮像画素の列を交互に含むことができる。受動撮像画素及びＴＯＦ撮像画素は、センサアレイ内の半導体の共通層内にあり得る。受動撮像画素は、それぞれＰＩＮフォトダイオードを含むことができる。ＴＯＦ撮像画素は、それぞれアバランシェフォトダイオードを含むことができる。受動撮像画素及びＴＯＦ画素はすべて、ＳＷＩＲ照明に対して感度を有し得る。

【0006】

各ＴＯＦ撮像画素は、第１のノードに電気的に接続された定電流源を含むことができる。積分コンデンサは、第１のノードと接地の間に電気的に接続できる。サンプリングトランジスタは、第１のノードと第２のノードとの間に電気的に接続できる。フォトダイオードは、フォトダイオードに入射する放射に応答してサンプリングトランジスタを介して電気的な接続性を切り替えるために、サンプリングトランジスタのベース端子と接地との間に電気的に接続できる。各ＴＯＦ画素は、そのＴＯＦ画素と視野内の一点との間の距離を表す画素値を生成するように構成できる。

【0007】

センサシステムは、上述のセンサアレイ及び、センサアレイに動作可能に接続される読み出し専用集積回路（ＲＯＩＣ）を含む。ＲＯＩＣは、受動撮像画素から撮像データを示す電気信号を受信するために各受動撮像画素に動作可能に接続される、それぞれのＲＯＩＣ画素を含む。ＲＯＩＣは、ＴＯＦ撮像画素からＴＯＦを示す電気信号を受信するために各ＴＯＦ撮像画素に動作可能に接続される、それぞれのＲＯＩＣ画素も含む。

【0008】

サポートモジュールをＲＯＩＣに動作可能に接続して、ＲＯＩＣから受動撮像データ及びＴＯＦ撮像データを受信できる。サポートモジュールは、受動撮像データ及びＴＯＦ撮像データを含む混合画像を出力するように構成できる。サポートモジュールは、受動撮像データ及びＴＯＦ撮像データをＲＯＩＣから分離して、受動撮像及びＴＯＦ撮像の別個の画像を出力するように構成できる。

【0009】

ＴＯＦ撮像画素が、照明のパルスの飛行時間（ＴＯＦ）を示す信号を出力するように、システムには、照明源と、照明源及びセンサアレイに動作可能に接続されてＴＯＦ撮像画素積分を開始するコントローラとを含めることができる。コントローラは、照明源を使用してシーンをフラッシュし、照明源を使用してシーンをフラッシュしながら、受動撮像画素からの受動撮像データを収集するように構成できる。

【0010】

撮像の方法は、センサアレイからの受動撮像データを収集すること、及びセンサアレイからの飛行時間（ＴＯＦ）撮像データを収集することを含む。受動撮像データを収集すること、及びＴＯＦ撮像データを収集することは、少なくとも部分的に同時に視差のない単一の光軸に沿って実行できる。

【0011】

主題の開示のシステム及び方法のこれら及び他の特徴は、図面と併せて好ましい実施形態の以下の詳細な説明から当業者により容易に明らかになるであろう。

【0012】

主題の開示が関係する当業者が、過度の実験なしに主題の開示のデバイス及び方法を作成し使用する方法を容易に理解するように、その好ましい実施形態は、以下の特定の図を参照して本明細書に詳細に記載されている。

【図面の簡単な説明】

【0013】

【図1】本開示に従って構築された、センサアレイ及びサポート回路を示すシステムの例示的な実施形態の概略図である。

【図2】飛行時間（ＴＯＦ）画素の１つの回路アーキテクチャを示す、図１のシステムの一部を示す概略図である。

【図3】受動撮像画素及びＴＯＦ画素の交互パターンを示す、図１のセンサアレイの概略平面図である。

【発明を実施するための形態】

【0014】

次に、同様の参照番号が、主題の開示の類似の構造的特徴または態様を識別する図面を参照する。説明及び例示のために、限定ではなく、本開示によるシステムの例示的な実施形態の部分図が図１に示され、一般に参照文字１００によって示される。説明するように、本開示によるシステムの他の実施形態、またはその態様は、図２～図３に提供される。本明細書に説明されているシステム及び方法は、各画素値が、その画素と視野内の一点との間の距離を表す、ＴＯＦ撮像の形成及び、各画素値が、単一のセンサを使用して、視野の一部の色または値を表す、受動撮像を形成するために使用できる。

【0015】

例えば、複合ＴＯＦ撮像及び受動撮像カメラ用のセンサシステム１００は、センサ画素１１０、１１１のセンサアレイ１０２を有するセンサを含む。システム１００は、センサ画素１１０、１１１からの信号を画像データに変換するために、センサアレイ１０２に動作可能に接続されるサポート回路１０４を含む。

【0016】

図３を参照すると、センサアレイ１０２は、複数の受動撮像画素１１１及び複数の飛行時間（ＴＯＦ）撮像画素１１０を含む。受動撮像画素１１１は、センサアレイ１０２上のＴＯＦ撮像画素１１０と交互パターンで配置される。交互パターンは、センサアレイ１０２全体に受動撮像画素１１１の列１１３及びＴＯＦ撮像画素１１３の列を交互に含む。本開示の範囲から逸脱することなく、任意の他の適切なパターンを使用できることを、当業者ならば容易に理解するであろう。図３の右方向及び下方向の省略は、任意の適切な数の画素１１１及び１１０をセンサアレイ１０２に含めることができることを示す。受動撮像画素１１１及びＴＯＦ撮像画素１１０は、例えば、受動撮像画素１１１の下のセンサアレイ内のＴＯＦ撮像画素１１０をより深くするのではなく、センサアレイ１０２内の半導体の共通層に並んでいる。受動撮像画素１１１は、それぞれＰＩＮフォトダイオードを含むことができる。ＴＯＦ撮像画素１１０は、それぞれアバランシェフォトダイオードを含むことができる。受動撮像画素１１１及びＴＯＦ画素１１０はすべて、ＳＷＩＲ照明、または任意の他の適切な照明帯域に対して感度を有し得る。

【0017】

ＴＯＦ撮像画素１１０が、照明のパルスの飛行時間（ＴＯＦ）を示す信号を出力できるように、システム１００には、照明源１０６と、照明源１０６及びセンサアレイ１０２に動作可能に接続されて画素積分及び照明源１０６からの照明パルスを開始するコントローラ１０８とが含まれる。光学系１１２は、シーン１１４からＴＯＦ撮像画素１１０への照明、例えば、照明源１０６からの照明のパルスの戻りを収束させるために、センサ画素１１０のアレイ１０２に光学的に接続される。光学系１１２は、受動撮像画素１１１による受動撮像のために、シーン１１４の画像をセンサアレイ１１２上に集束させることもできる。サポート回路１０４は、コントローラ１０８及び、センサ画素１１０からの出力のデータ調整のためにアレイ１０２に動作可能に接続された読み出し専用集積回路（ＲＯＩＣ）１１６を含む。コントローラ１０８は、照明源１０６を使用してシーン１１４をフラッシュし、照明源を使用してシーンをフラッシュしながら、受動撮像画素１１１からの受動撮像データを収集するように構成することもできる。

【0018】

ここで図２を参照すると、定電流源１１８は、電力レール１１９を各画素１１０の第１のノード１２０に電気的に接続する。単一の電流源１１８は、アレイ１０２内のすべての画素１１０によって共有することができるか、または画素１１０の各列は、例えば、それ自体の電流源１１８を有することができる。積分コンデンサ１２２は、第１のノード１２０と接地１２４、例えば、実際の接地、共有負ノードなどのローカル接地などとの間に電気的に接続される。サンプリングトランジスタ１２６、例えば、ＰＭＯＳトランジスタは、第１のノード１２０と第２のノード１２８との間に電気的に接続される。フォトダイオード１３０は、フォトダイオード１３０に入射する放射に応答してサンプリングトランジスタ１２６を介して第１のノード１２０及び第２のノード１２８の電気的な接続性を切り替えるために、サンプリングトランジスタ１２６のベース端子１３２と接地１２４との間に電気的に接続される。レジスタ１２７または他の適切なインピーダンス素子は、トランジスタ１２６のベース端子１３２と電力レール１２９との間を電気的に接続する。電力レール１２９は、電力レール１１９と同じであっても異なっていてもよい。

【0019】

サンプリングコンデンサ１３４は、サンプリングトランジスタ１２６が、積分コンデンサ１２２をサンプリングコンデンサ１３４に電気的に接続するように切り替えたときに、積分コンデンサ１２２に蓄積されるサンプリング電圧のために、第２のノード１２８と接地１２４との間に電気的に接続される。増幅器１３６は、第２のノード１２８に電気的に接続され、サンプリングコンデンサ１３４からＲＯＩＣ１１６（図１に示す）への電気信号を増幅する。アレイ１０２（図１に示す）の各感知画素１１０の増幅器１３６は、アレイ１０２からの出力のデータ調整のために増幅電気信号をＲＯＩＣ１１６に出力するように接続できる。各画素１１０は、それ自体の増幅器１３６を含み、リセットトランジスタ１３８、例えば、ＮＭＯＳトランジスタは、第１のノード１２０からリセットトランジスタ１３８を介して電気的な接続性を切り替えるために、第１のノード１２０と接地１２４との間に電気的に接続され、リセットトランジスタ１３８のベース端子１４０で受信されたコントローラ１０８（図１に示す）からのリセット信号に応答して、接地１２４への積分コンデンサ１２２の電圧をゼロにし、積分コンデンサ１２２の電圧をリセットして積分を開始する。

【0020】

再び、図１を参照すると、読み出し専用集積回路（ＲＯＩＣ）１１６は、センサアレイ１０２に動作可能に接続されている。ＲＯＩＣ１１６は、受動撮像画素１１１から撮像データを示す電気信号を受信するために、各受動撮像画素１１１に動作可能に接続される、（図１のＲＯＩＣ１１６のテクスチャによって概略的に示される）それぞれのＲＯＩＣ画素を含む。ＲＯＩＣ１１６は、ＴＯＦ撮像画素１１０からＴＯＦを示す電気信号を受信するために、各ＴＯＦ撮像画素１１０に動作可能に接続される、（図１のＲＯＩＣ１１６のテクスチャによって概略的に示される）それぞれのＲＯＩＣ画素も含む。

【0021】

例えば、コントローラ１０８の一部である、サポートモジュール１０９は、ＲＯＩＣ１１６に動作可能に接続され、ＲＯＩＣ１１６からの受動撮像データ及びＴＯＦ撮像データを受信する。すなわち、ＲＯＩＣ１１６は、センサアレイ１０２からの生の値を調整し、調整されたデータをサポートモジュール１０９に出力する。サポートモジュール１０９は、受動撮像データ及びＴＯＦ撮像データを含む混合画像を出力するように構成できる。混合された出力は、例えば、ＴＯＦサーフェス上にオーバーレイされたＳＷＩＲ画像とすることができる。サポートモジュール１０９は、受動撮像データ及びＴＯＦ撮像データをＲＯＩＣ１１６から分離して、受動撮像及びＴＯＦ撮像の別個の画像を出力するように構成できる。

【0022】

撮像の方法は、センサアレイ、例えば、センサアレイ１０２からの受動撮像データを収集すること、及びセンサアレイからの飛行時間（ＴＯＦ）撮像データを収集することを含む。ＴＯＦ撮像画素及び受動撮像画素１１１は、同じセンサアレイ、例えば、センサアレイ１０２に散在していると考えると、受動撮像データを収集すること、及びＴＯＦ撮像データを収集することは、少なくとも部分的に同時に視差のない単一の光軸Ａに沿って実行できる。

【0023】

本明細書で開示されるシステム及び方法は、長距離感知または明るい環境／屋外環境など、構造化された光深度感知が十分でないシナリオにおける単一センサの解決策を可能にすることができる。従来のシステムに優る追加の利点には、単一のセンサを使用した同時の受動撮像及び飛行時間撮像、２つの別個のセンサから画像を受信するのと比べてカメラエレクトロニクスのコストが低くなること、及び画素が焦点面アレイ上の同一場所に配置できるため視差エラーがなくなることがある。

【0024】

本開示の方法及びシステムは、上述のように、図面に示されるように、ＴＯＦ撮像及び受動撮像に、両方に単一のセンサを使用すること及び、それに伴うコスト及び複雑性を節減することを含む優れた特性を提供する。主題の開示の装置及び方法は、好ましい実施形態を参照して示され説明されているが、主題の開示の範囲から逸脱することなく、それらに対して変更及び／または修正がなされ得ることを当業者ならば容易に理解するであろう。

【図1】

【図2】

【図3】