(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】高解像度飛行時間深度画像化
(51)【国際特許分類】
G01S 17/89 20200101AFI20240214BHJP
【ＦＩ】
G01S17/89
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023546308
(86)(22)【出願日】2022-01-26
(85)【翻訳文提出日】2023-07-31
(86)【国際出願番号】 US2022013886
(87)【国際公開番号】W WO2022169649
(87)【国際公開日】2022-08-11
(31)【優先権主張番号】17/166,990
(32)【優先日】2021-02-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507364838
【氏名又は名称】クアルコム，インコーポレイテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】ジアン・マ
(72)【発明者】
【氏名】セルジウ・ラドゥ・ゴマ
(72)【発明者】
【氏名】ビアイ－チェン・シェイ
【テーマコード（参考）】
5J084
【Ｆターム（参考）】
5J084AA05
5J084AB07
5J084AD01
5J084AD02
5J084BA04
5J084BA05
5J084BA19
5J084BA20
5J084BA38
5J084BA48
5J084BB02
5J084BB04
5J084BB11
5J084BB20
5J084BB28
5J084CA03
5J084CA07
5J084CA65
5J084EA04
(57)【要約】
高解像度飛行時間(ToF)深度画像化のための技法およびシステムが提供される。いくつかの例では、装置が、1つまたは複数の光放出デバイスを含む投射システムを含み、各光放出デバイスは、投射システムの視野(FOV)全体の少なくとも1つの部分を照射するように構成される。FOV全体は複数のFOV部分を含む。装置は、1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、複数の画像を連続して取り込むように構成されたセンサを含む受信システムも含む。複数の画像の各画像は、複数のFOV部分のうちの1つに対応する。各画像に関連付けられた画像解像度は、センサのフル解像度に対応する。装置は、複数の画像を使って、FOV全体に関連付けられた高解像度化深度マップを生成するように構成されたプロセッサをさらに含む。
【特許請求の範囲】
【請求項1】
高解像度飛行時間深度画像化のための装置であって、1つまたは複数の光放出デバイスを含む投射システムであって、前記1つまたは複数の光放出デバイスの各光放出デバイスは、前記投射システムの視野(FOV)全体の少なくとも1つの部分を照射するように構成され、前記FOV全体は複数のFOV部分を含む、投射システムと、
前記1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、複数の画像を連続して取り込むように構成されたセンサを含む受信システムであって、前記複数の画像の各画像は、前記複数のFOV部分のうちの1つに対応し、前記複数の画像の各画像に関連付けられた画像解像度は、前記センサのフル解像度に対応する、受信システムと、
前記複数の画像を使って、前記FOV全体に関連付けられた高解像度化深度マップを生成するように構成されたプロセッサとを備える装置。
【請求項2】
前記投射システムは、前記複数のFOV部分の各々を連続照射順序で照射するように構成され、前記連続照射順序は、一度に単一のFOV部分を照射することを含み、前記受信システムは、前記連続照射順序に対応する連続受信順序で、前記複数の照射反射の各照射反射を受信するように、および各照射反射に基づいて、前記複数の画像の各画像を生成するように構成される、請求項1に記載の装置。
【請求項3】
前記複数のFOV部分の各々を前記連続照射順序で照射するために、前記投射システムは、前記複数のFOV部分のうちの第1のFOV部分を照射することと、
前記第1のFOV部分に対応する第1の照射反射を受信することと、
前記第1の照射反射を受信した後、前記複数のFOV部分のうちの第2のFOV部分を照射することと、
前記第2のFOV部分に対応する第2の照射反射を受信することとを行うように構成される、請求項2に記載の装置。
【請求項4】
前記1つまたは複数の光放出デバイスは複数の光放出デバイスを含み、前記投射システムは複数の投射レンズを含み、前記複数の投射レンズの各投射レンズは、前記複数の光放出デバイスのうちの1つによって放出された光を、前記複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成される、請求項1に記載の装置。
【請求項5】
前記投射システムは、前記複数の投射レンズに相対して位置する1つまたは複数の拡散器を含み、前記1つまたは複数の拡散器は、前記複数の光放出デバイスによって放出された前記光を拡散するように構成される、請求項4に記載の装置。
【請求項6】
前記複数の投射レンズの各々は、前記複数の光放出デバイスの上方に位置する、請求項4に記載の装置。
【請求項7】
前記投射システムはセグメント化プリズムアレイを含み、前記セグメント化プリズムアレイは、前記複数のFOV部分の各FOV部分へ前記光を誘導するように構成される、請求項1に記載の装置。
【請求項8】
前記1つまたは複数の光放出デバイスは単一の光放出デバイスを含み、前記投射システムは走査ミラーを含み、前記走査ミラーは、異なる配向に配向されると、前記単一の光放出デバイスによって放出された光を、前記複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成される、請求項1に記載の装置。
【請求項9】
前記走査ミラーは微小電気機械システム(MEMS)ミラーを含む、請求項8に記載の装置。
【請求項10】
前記走査ミラーは前記単一の光放出デバイスの上方に位置し、前記走査ミラーの前記異なる配向の各々は、前記走査ミラーと前記単一の光放出デバイスの面との間の異なる配向角に対応する、請求項8に記載の装置。
【請求項11】
前記投射システムは、前記走査ミラーに相対して位置する1つまたは複数の拡散器を含み、前記1つまたは複数の拡散器は、前記単一の光放出デバイスによって放出された前記光を拡散するように構成される、請求項8に記載の装置。
【請求項12】
前記受信システムは画像レンズのアレイを含み、前記画像レンズのアレイの各画像レンズは、前記センサに、前記複数のFOV部分のそれぞれのFOV部分に対応するシーンの異なる部分に関連付けられた光を投射するように構成される、請求項1に記載の装置。
【請求項13】
前記受信システムは、前記センサの上方に位置するフィルタをさらに備え、前記フィルタは、前記1つまたは複数の光放出デバイスによって放出された光の周波数に対応する周波数をもつ光を送信するように構成される、請求項1に記載の装置。
【請求項14】
前記プロセッサは、前記複数のFOV部分のうちの特定のFOV部分を照射するように前記投射システムに指示する第1の制御信号を、前記投射システムへ送ることと、
前記センサによって受信された照射反射を前記特定のFOV部分に関連付けるように前記受信システムに指示する第2の制御信号を、前記受信システムへ送ることであって、前記第1の制御信号と前記第2の制御信号は時間同期される、こととに少なくとも部分的に基づいて、前記投射システムと前記受信システムを同期させるように構成される、請求項1に記載の装置。
【請求項15】
前記複数のFOV部分のうちの第1のFOV部分は、前記複数のFOV部分のうちの少なくとも第2のFOV部分と部分的に重なる、請求項1に記載の装置。
【請求項16】
前記FOV全体に関連付けられた前記高解像度化深度マップを生成するために、前記プロセッサは、複数の部分的距離測定を生成することであって、前記複数の部分的距離測定の各々は、前記複数の照射反射のうちの1つに対応する、ことと、
前記複数の部分的距離測定を組み合わせることとを行うように構成される、請求項1に記載の装置。
【請求項17】
前記高解像度化深度マップの画像解像度は、前記センサの最大解像度を前記複数のFOV部分の数で乗算したものに対応する、請求項1に記載の装置。
【請求項18】
高解像度飛行時間深度画像化のための方法であって、投射システムの1つまたは複数の光放出デバイスを使って、前記投射システムの視野(FOV)全体の複数のFOV部分を照射するステップであって、前記1つまたは複数の光放出デバイスの各光放出デバイスは、前記FOV全体の少なくとも1つの部分を照射するように構成される、ステップと、
前記1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、受信システムのセンサによって、複数の画像を連続して取り込むステップであって、前記複数の画像の各画像は、前記複数のFOV部分のうちの1つに対応し、前記複数の画像の各画像に関連付けられた画像解像度は、前記センサのフル解像度に対応する、ステップと、
前記複数の画像を使って、前記FOV全体に関連付けられた高解像度化深度マップを生成するステップとを含む方法。
【請求項19】
前記複数のFOV部分を照射するステップは、前記複数のFOV部分の各々を連続照射順序で照射するステップを含み、前記連続照射順序は、一度に単一のFOV部分を照射することを含み、前記複数の照射反射の各照射反射を受信するステップは、前記連続照射順序に対応する連続受信順序で各反射を受信するステップを含み、
前記複数の照射反射の各照射反射に基づいて、前記複数の画像の各画像を生成するステップをさらに含む、請求項18に記載の方法。
【請求項20】
前記複数のFOV部分の各々を前記連続照射順序で照射するステップは、前記複数のFOV部分のうちの第1のFOV部分を照射するステップと、
前記第1のFOV部分に対応する第1の照射反射を受信するステップと、
前記第1の照射反射を受信した後、前記複数のFOV部分のうちの第2のFOV部分を照射するステップと、
前記第2のFOV部分に対応する第2の照射反射を受信するステップとを含む、請求項19に記載の方法。
【請求項21】
前記1つまたは複数の光放出デバイスは複数の光放出デバイスを含み、前記投射システムは複数の投射レンズを含み、前記複数の投射レンズの各投射レンズは、前記複数の光放出デバイスのうちの1つによって放出された光を、前記複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成される、請求項18に記載の方法。
【請求項22】
前記投射システムは、前記複数の投射レンズに相対して位置する1つまたは複数の拡散器を含み、前記1つまたは複数の拡散器は、前記複数の光放出デバイスによって放出された前記光を拡散するように構成される、請求項21に記載の方法。
【請求項23】
前記複数のレンズの各々は、前記複数の光放出デバイスの上方に位置する、請求項21に記載の方法。
【請求項24】
前記投射システムはセグメント化プリズムアレイを含み、前記セグメント化プリズムアレイは、前記複数のFOV部分の各FOV部分へ前記光を誘導するように構成される、請求項18に記載の方法。
【請求項25】
前記1つまたは複数の光放出デバイスは単一の光放出デバイスを含み、前記投射システムは走査ミラーを含み、前記走査ミラーは、異なる配向に配向されると、前記単一の光放出デバイスによって放出された光を、前記複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成される、請求項18に記載の方法。
【請求項26】
前記走査ミラーは微小電気機械システム(MEMS)ミラーを含む、請求項25に記載の方法。
【請求項27】
前記走査ミラーは前記単一の光放出デバイスの上方に位置し、前記走査ミラーの前記異なる配向の各々は、前記走査ミラーと前記単一の光放出デバイスの面との間の異なる配向角に対応する、請求項25に記載の方法。
【請求項28】
前記投射システムは、前記走査ミラーに相対して位置する1つまたは複数の拡散器を含み、前記1つまたは複数の拡散器は、前記単一の光放出デバイスによって放出された前記光を拡散するように構成される、請求項25に記載の方法。
【請求項29】
前記受信システムは画像レンズのアレイを含み、前記画像レンズのアレイの各画像レンズは、前記センサに、前記複数のFOV部分のそれぞれのFOV部分に対応するシーンの異なる部分に関連付けられた光を投射するように構成される、請求項18に記載の方法。
【請求項30】
前記受信システムは、前記センサの上方に位置するフィルタをさらに備え、前記フィルタは、前記1つまたは複数の光放出デバイスによって放出された光の周波数に対応する周波数をもつ光を送信するように構成される、請求項18に記載の方法。
【請求項31】
前記複数のFOV部分のうちの特定のFOV部分を照射するように前記投射システムに指示する第1の制御信号を、前記投射システムへ送ることと、前記センサによって受信された照射反射を前記特定のFOV部分に関連付けるように前記受信システムに指示する第2の制御信号を、前記受信システムへ送ることであって、前記第1の制御信号と前記第2の制御信号は時間同期される、こととに少なくとも部分的に基づいて、前記投射システムと前記受信システムを同期させるステップをさらに含む、請求項18に記載の方法。
【請求項32】
前記複数のFOV部分のうちの第1のFOV部分は、前記複数のFOV部分のうちの少なくとも第2のFOV部分と部分的に重なる、請求項18に記載の方法。
【請求項33】
前記FOV全体に関連付けられた前記高解像度化深度マップを生成するステップは、複数の部分的距離測定を生成するステップであって、前記複数の部分的距離測定の各々は、前記複数の照射反射のうちの1つに対応する、ステップと、
前記複数の部分的距離測定を組み合わせるステップとを含む、請求項18に記載の方法。
【請求項34】
前記高解像度化深度マップの画像解像度は、前記センサの最大解像度を前記複数のFOV部分の数で乗算したものに対応する、請求項18に記載の方法。
【請求項35】
高解像度飛行時間深度画像化のための非一時的コンピュータ可読記憶媒体であって、内部記憶された命令を含み、前記命令は、1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
投射システムの1つまたは複数の光放出デバイスを使って、前記投射システムの視野(FOV)全体の複数のFOV部分を照射することであって、前記1つまたは複数の光放出デバイスの各光放出デバイスは、前記FOV全体の少なくとも1つの部分を照射するように構成される、ことと、
前記1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、受信システムのセンサによって、複数の画像を連続して取り込むことであって、前記複数の画像の各画像は、前記複数のFOV部分のうちの1つに対応し、前記複数の画像の各画像に関連付けられた画像解像度は、前記センサの最大解像度に対応する、ことと、
前記複数の画像を使って、前記FOV全体に関連付けられた高解像度化深度マップを生成することとを行わせる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は概して、飛行時間(ToF)検知に関する。いくつかの例では、本開示の態様は、画像化システムの視野(FOV)の部分を連続して走査することによって、ToFデータに基づいて生成された深度マップの画像解像度を上げることに関する。
【背景技術】
【0002】
画像センサは一般に、カメラ、モバイルフォン、自律システム(たとえば、自律ドローン、車、ロボットなど)、スマートウェアラブル、エクステンデッドリアリティ(たとえば、拡張現実、仮想現実、複合現実)デバイス、および多くの他のデバイスなど、幅広い電子デバイスに統合される。画像センサにより、ユーザは、画像センサを装備するどの電子デバイスからも、ビデオおよび画像を取り込むことができる。ビデオおよび画像は、他の用途の中でも、娯楽使用、専門家による撮影、監視、およびオートメーションのために取り込まれ得る。画像センサによって取り込まれたビデオおよび画像は、ビデオまたは画像の品質を上げ、いくつかの芸術的効果を生み出すために、様々なやり方で操作することができる。
【0003】
いくつかの場合には、画像センサによって取り込まれた光信号および画像データが、画像データおよび/または画像データによって取り込まれたシーンについてのいくつかの特性を識別するために分析されてよく、これらは次いで、取り込まれた画像データを修正し、または様々なタスクを実施するのに使うことができる。たとえば、光信号および/または画像データが、画像データによって取り込まれたシーンの距離を推定するために分析され得る。距離情報を推定することは、3次元(3D)写真術、エクステンデッドリアリティエクスペリエンス、物体走査、自律車両運行、地球地形測定、コンピュータビジョンシステム、顔認識システム、ロボット工学、ゲームなどの様々なアプリケーション、ならびにぶれおよびぼかし効果(たとえば、焦点はずし効果)など、様々な芸術的効果の作成にとって有用であり得る。ただし、十分な解像度および/または精度で距離情報を推定するのは、法外に電力および計算集約的な場合がある。
【発明の概要】
【課題を解決するための手段】
【0004】
高解像度飛行時間(ToF)深度画像化を実施するように実装することができるシステムおよび技法について、本明細書に記載する。少なくとも1つの例によると、高解像度ToF深度画像化のための装置が提供される。例示的装置は、1つまたは複数の光放出デバイスを含む投射システムを含むことができ、1つまたは複数の光放出デバイスの各光放出デバイスは、投射システムの視野(FOV)全体の少なくとも1つの部分を照射するように構成される。FOV全体は、複数のFOV部分を含み得る。装置は、1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、複数の画像を連続して取り込むように構成されたセンサを含む受信システムも含むことができる。複数の画像の各画像は、複数のFOV部分のうちの1つに対応する。さらに、複数の画像の各画像に関連付けられた画像解像度は、センサのフル解像度に対応する。装置は、1つのメモリ(または複数のメモリ)、および1つのメモリ(または複数のメモリ)に結合された1つのプロセッサまたは複数のプロセッサ(たとえば、回路構成で実装される)も含むことができる。1つのプロセッサ(または複数のプロセッサ)は、複数の画像を使って、FOV全体に関連付けられた高解像度化深度マップを生成するように構成することができる。
【0005】
別の例では、装置は、投射システムの視野(FOV)全体の複数のFOV部分を照射するための手段であって、照射するための手段は、FOV全体の少なくとも1つの部分を連続して照射するように構成される、手段と、照射するための手段によって放出された光に対応する複数の照射反射に基づいて、複数の画像を連続して取り込むための手段であって、複数の画像の各画像は、複数のFOV部分のうちの1つに対応し、複数の画像の各画像に関連付けられた画像解像度は、受信するための手段のフル解像度に対応する、手段と、複数の画像を使って、FOV全体に関連付けられた高解像度化深度マップを生成するための手段とを含み得る。
【0006】
別の例では、高解像度ToF深度画像化のための方法が提供される。例示的方法は、投射システムの1つまたは複数の光放出デバイスを使って、投射システムのFOV全体の複数のFOV部分を照射するステップを含むことができ、1つまたは複数の光放出デバイスの各光放出デバイスは、FOV全体の少なくとも1つの部分を照射するように構成される。方法は、1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、受信システムのセンサによって、複数の画像を連続して取り込むステップも含むことができる。複数の画像の各画像は、複数のFOV部分のうちの1つに対応する。さらに、複数の画像の各画像に関連付けられた画像解像度は、センサのフル解像度に対応する。方法は、複数の画像を使って、FOV全体に関連付けられた高解像度化深度マップを生成するステップも含むことができる。
【0007】
別の例では、高解像度ToF深度画像化のための非一時的コンピュータ可読媒体が提供される。例示的な非一時的コンピュータ可読媒体は命令を記憶することができ、命令は、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、投射システムの1つまたは複数の光放出デバイスを使って、投射システムの視野(FOV)全体の複数のFOV部分を照射することであって、1つまたは複数の光放出デバイスの各光放出デバイスは、FOV全体の少なくとも1つの部分を照射するように構成される、ことと、受信システムのセンサを使って、1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、複数の画像を連続して取り込むことであって、複数の画像の各画像は、複数のFOV部分のうちの1つに対応し、複数の画像の各画像に関連付けられた画像解像度は、センサのフル解像度に対応する、ことと、複数の画像を使って、FOV全体に関連付けられた高解像度化深度マップを生成することとを行わせる。
【0008】
いくつかの態様では、上述した方法、装置、およびコンピュータ可読媒体は、複数のFOV部分の各々を連続照射順序で照射することであって、連続照射順序は、一度に単一のFOV部分を照射することを含む、ことと、連続照射順序に対応する連続受信順序で、複数の照射反射の各照射反射を受信することと、複数の照射反射の各照射反射に基づいて、複数の画像の各画像を生成することとを含み得る。いくつかの例では、複数のFOV部分の各々を連続照射順序で照射することは、複数のFOV部分のうちの第1のFOV部分を照射することと、第1のFOV部分に対応する第1の照射反射を受信することと、第1の照射反射を受信した後、複数のFOV部分のうちの第2のFOV部分を照射することと、第2のFOV部分に対応する第2の照射反射を受信することとを含み得る。
【0009】
いくつかの態様では、1つまたは複数の光放出デバイスは、複数の光放出デバイスを含み得る。いくつかの場合には、投射システムは複数の投射レンズを含むことができ、複数の投射レンズの各投射レンズは、複数の光放出デバイスのうちの1つによって放出された光を、複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成される。いくつかの場合には、複数の投射レンズの各投射レンズは、複数の光放出デバイスの上方に位置してよい。いくつかの例では、投射システムは、複数の投射レンズに相対して位置する1つまたは複数の拡散器を含む。たとえば、1つまたは複数の拡散器は、複数の光放出デバイスによって放出された光を拡散するように構成することができる。いくつかの例では、投射システムはセグメント化プリズムアレイを含む。たとえば、セグメント化プリズムアレイは、複数のFOV部分の各FOV部分へ光を誘導するように構成することができる。
【0010】
いくつかの態様では、1つまたは複数の光放出デバイスは、単一の光放出デバイスを含み得る。いくつかの場合には、投射システムは、異なる配向に配向されると、単一の光放出デバイスによって放出された光を、複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成された走査ミラーを含み得る。一例では、走査ミラーは微小電気機械システム(MEMS)ミラーであってよい。いくつかの態様では、走査ミラーは、単一の光放出デバイスの上方に位置してよい。いくつかの場合には、走査ミラーの異なる配向の各々は、走査ミラーと単一の光放出デバイスの面との間の異なる配向角に対応し得る。いくつかの例では、投射システムは、走査ミラーに相対して位置する1つまたは複数の拡散器を含む。たとえば、1つまたは複数の拡散器は、単一の光放出デバイスによって放出された光を拡散するように構成することができる。
【0011】
いくつかの態様では、受信システムは画像レンズのアレイを含む。画像レンズのアレイの各画像レンズは、センサに、複数のFOV部分のそれぞれのFOV部分に対応するシーンの異なる部分に関連付けられた光を投射するように構成することができる。
【0012】
いくつかの態様では、上述した方法、装置、およびコンピュータ可読媒体は、センサの上方に位置するフィルタを含み得る。フィルタは、1つまたは複数の光放出デバイスによって放出された光の周波数に対応する周波数をもつ光を送信するように構成される。
【0013】
いくつかの態様では、上述した方法、装置、およびコンピュータ可読媒体は、複数のFOV部分のうちの特定のFOV部分を照射するように投射システムに指示する第1の制御信号を、投射システムへ送ることと、センサによって受信された照射反射を特定のFOV部分に関連付けるように受信システムに指示する第2の制御信号を、受信システムへ送ることとに少なくとも部分的に基づいて、投射システムと受信システムを同期させることを含むことができ、第1の制御信号と第2の制御信号は時間同期される。
【0014】
いくつかの態様では、複数のFOV部分のうちの第1のFOV部分は、複数のFOV部分のうちの少なくとも第2のFOV部分と部分的に重なり得る。
【0015】
いくつかの態様では、FOV全体に関連付けられた高解像度化深度マップを生成することは、複数の部分的距離測定を生成することであって、複数の部分的距離測定の各々は、複数の照射反射のうちの1つに対応する、ことと、複数の部分的距離測定を組み合わせることとを含み得る。いくつかの例では、高解像度化深度マップの画像解像度は、センサの最大解像度を複数のFOV部分の数で乗算したものに対応し得る。
【0016】
いくつかの態様では、上述した各装置は、カメラ、モバイルデバイス(たとえば、携帯電話、すなわち、いわゆる「スマートフォン」もしくは他のモバイルデバイス)、スマートウェアラブルデバイス、エクステンデッドリアリティデバイス(たとえば、仮想現実(VR)デバイス、拡張現実(AR)デバイス、もしくは複合現実(MR)デバイス)、パーソナルコンピュータ、ラップトップコンピュータ、サーバコンピュータ、自動運転車、または他のデバイスであるか、またはそれらを含む。いくつかの態様では、装置は、1つまたは複数のビデオおよび/または画像を取り込むための1つのカメラまたは複数のカメラを含む。いくつかの態様では、装置はさらに、1つまたは複数のビデオおよび/または画像を表示するためのディスプレイを含む。いくつかの態様では、上述した装置は、1つまたは複数のセンサを含むことができる。
【0017】
本概要は、特許請求される主題の主要なまたは必須の特徴を特定することが意図されておらず、特許請求される主題の範囲を決定するために単独で使用されることも意図されていない。本主題は、本特許の明細書全体、いずれかまたはすべての図面、および各請求項の適切な部分を参照することによって理解されるべきである。
【0018】
上記のことは、他の特徴および例とともに、以下の明細書、特許請求の範囲、および添付の図面を参照するとより明らかになるであろう。
【0019】
本出願の説明のための例が、以下の図面を参照して以下で詳細に説明される。
【図面の簡単な説明】
【0020】
【図1】本開示のいくつかの例による、飛行時間(ToF)信号処理のための例示的画像処理システムを示す簡略ブロック図である。
【図2A】本開示のいくつかの例による、直接ToF検知手順の例を示す簡略ブロック図である。
【図2B】本開示のいくつかの例による、間接ToF検知手順の例を示す簡略ブロック図である。
【図3】本開示のいくつかの例による、光信号の位相角を測定するための例示的技法を示す図である。
【図4】本開示のいくつかの例による、ToF検知のための連続波法を示す図である。
【図5】本開示のいくつかの例による、ToF信号処理のための例示的画像処理システムを示す簡略ブロック図である。
【図6A】本開示のいくつかの例による、ToF信号処理のための画像処理システムの例示的視野(FOV)を示す図である。
【図6B】本開示のいくつかの例による、画像処理システムのFOVの例示的部分の図である。
【図7】本開示のいくつかの例による、画像処理システムのFOVの部分を照射するための例示的デバイスの図である。
【図8】本開示のいくつかの例による、画像処理システムのFOVの部分を照射するための別の例示的デバイスの図である。
【図9A】本開示のいくつかの例による、画像処理システムのFOVの部分の照射反射を受信するための例示的デバイスの図である。
【図9B】本開示のいくつかの例による、例示的連続ToF画像取込みプロセスを示す図である。
【図9C】本開示のいくつかの例による、例示的連続ToF画像取込みプロセスを示す図である。
【図10A】本開示のいくつかの例による、同期化ToF検知のための例示的システムの図である。
【図10B】本開示のいくつかの例による、同期化ToF検知のための例示的システムの図である。
【図11】いくつかの例による、高解像度ToF深度画像化のためのプロセスの例を示す流れ図である。
【図12】本明細書に記載されるいくつかの態様を実装するためのシステムの例を示す図である。
【発明を実施するための形態】
【0021】
本開示のいくつかの態様および例が、以下で提供される。当業者に明らかになるように、これらの態様および例のうちのいくつかは独立して適用されてよく、それらのうちのいくつかは組み合わせて適用されてよい。以下の説明では、説明の目的で、本出願の主題の完全な理解をもたらすために、具体的な詳細が記載される。しかしながら、これらの具体的な詳細なしに様々な例が実践されてよいことは明らかであろう。図および説明は限定的であることが意図されていない。
【0022】
次の記載は、説明のための例のみを提供し、本開示の範囲、適用可能性、または構成を限定することは意図されない。むしろ、次の記載は、当業者に、説明のための例を実装することを可能にする記載を提供することになる。添付の特許請求の範囲に記載されるような本出願の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が加えられてよいことを理解されたい。
【0023】
画像センサは一般に、カメラ、モバイルフォン、自律システム(たとえば、自律ドローン、車、ロボットなど)、エクステンデッドリアリティ(たとえば、拡張現実、仮想現実、複合現実)デバイス、モノのインターネット(IoT)デバイス、スマートウェアラブル、および多くの他のデバイスなど、非常に様々な電子デバイスに統合される。ビデオおよび画像記録能力は、ますます多くの電子デバイスがそのような画像センサを装備するにつれ、より普及してきている。さらに、電子デバイスの画像処理能力は絶えず向上しており、より高品質のビデオおよび画像を生じ、多様な芸術的効果を生み出し、様々なアプリケーションに画像データを実装するように、画像データを操作できるようにしている。たとえば、センサによって取り込まれた光信号および画像データが、画像データ、および/または画像データによって取り込まれたシーンについてのいくつかの特性を識別するように分析され得る。この情報は次いで、取り込まれた画像データを修正し、または様々なタスクを実施するのに使われ得る。たとえば、光信号および/または画像データが、画像データによって取り込まれたシーン内の物体の距離を推定するために分析され得る。
【0024】
飛行時間(ToF)センサシステムが、光(たとえば、赤外線(IR)光、近赤外線(NIR)光、および/または他の光)を、ターゲット(たとえば、周辺/近隣シーン、1つまたは複数の周辺/近隣物体など)についての深度および/または距離情報を判断するのに使うことができる。ToFセンサシステムは、ターゲットに向けて光信号を放出するように構成された光エミッタを含んでよく、光信号は、ターゲットに当たり、反射してToFセンサシステムへ戻り得る。ToFセンサシステムは、戻り/反射光を検出および/または測定するように構成されたセンサも含むことができ、この光は次いで、ターゲットについての深度および/または距離情報を判断するのに使うことができる。ToFセンサシステムに相対したターゲットの距離は、深度マッピングを実施するのに使うことができる。ターゲットの距離は、直接ToFまたは間接ToFを通して算出することができる。
【0025】
いくつかのToFセンサシステムの解像度(たとえば、画像解像度)は、ToFセンサシステムが一度に受信し、処理することができる反射光信号の数に対応し得る。たとえば、ToFセンサシステムの画像解像度は、ToFセンサのピクセル(たとえば、感光性要素)の数に対応し得る。多くの場合、ToFセンサ技術は、複合ハードウェアおよび/または広範な処理能力を使用する。その結果、ToFセンサの解像度(たとえば、ピクセルの数)を上げることは、非現実的および/または不可能な(たとえば、法外なコストがかかる)場合がある。たとえば、いくつかの既存のToFシステムは、320×240ピクセル以下の解像度に制限されている。そのような低解像度は、特に、長距離画像化、広視野(FOV)画像化、自律車両運行、機械視覚システム、顔認識システム、デジタル測定システム、ゲーム、ロボット工学など、様々なタイプの画像化および検知アプリケーションにとって不十分な場合がある。したがって、高解像度画像深度情報を効率的に取り込むための改良型ToFシステムおよび技法を開発することが有益である。
【0026】
本開示は、高解像度ToF深度画像化を提供するためのシステム、装置、方法、およびコンピュータ可読媒体(まとめて、「システムおよび技法」と呼ばれる)について記載する。本明細書に記載するシステムおよび技法は、ToFシステムが、ToFシステムのToFセンサのフル(たとえば、最大)解像度を超える解像度で、深度マップ(たとえば深度画像マップ)を生成することを可能にする。さらに、ToFシステムは、処理時間の大幅な遅延を招くことなく、高解像度深度マップを生成することができる。高解像度深度マップを生成するために、ToFシステムは、ToFシステムの視野(FOV)全体のいくつかの部分に関連付けられた深度情報を取り込むことができる。いくつかの場合には、ToFシステムは、FOV全体の個々の部分(FOV部分と呼ばれる)に関連付けられた深度情報を連続して取り込むことができる。たとえば、ToFシステムは、FOV部分の中を「走査する」ことができる。ToFシステムは、各FOV部分を走査するのに、単一のToFセンサ(たとえば、同じToFセンサ)を使用することができる。個々のFOV部分は、単一のToFセンサのFOVに対応し(またはほぼ対応し)得る。ToFシステムは、各FOV部分から取得された深度情報を組み合わせることによって、FOV全体に対応する深度マップを生成することができる。したがって、FOV全体の深度マップの解像度(たとえば、画像解像度)は、単一のToFセンサの解像度を、走査されたFOV部分の数で乗算したものに対応する。さらに、各FOV部分は全FOVよりも小さいので、ToFデバイスによって各FOV部分に投射される光は、高度に凝縮される(たとえば、すぐにFOV全体に照射するToFシステムによって投射される光の凝縮と比較して)。この照射増大の結果に対応して、露出時間(たとえば、正確な距離測定を取得するのに要する時間の量)が減少し、そうすることによって、ToFシステムは、深度マップを生成または更新しながら、高フレームレートを維持することが可能になる。たとえば、ToFシステムがFOVをx個のサブFOVに分割する場合、ToFシステムは、FOV部分を連続して走査するわけではないToFシステムと同じレイテンシで、x倍高い解像度を有する深度マップを生成することができる。
【0027】
いくつかの例では、ToFシステムは、個々のFOV部分を連続して照射するように構成されたプロジェクタシステムを含み得る。プロジェクタシステムは、1つまたは複数の光放出デバイスを含み得る。一例では、光放出デバイスは、垂直キャビティ面発光レーザー(VCSEL)アレイの中に並べられた複数のVCSELを含み得る。いくつかの場合には、VCSELアレイの中の各VCSELが、狭帯域近赤外線(NIR)光で光を放出することができる。プロジェクタシステムは、光放出デバイスによって放出された光を適切に誘導する1つまたは複数の光誘導機構(たとえば、1つもしくは複数の投射レンズ、プリズム、投射レンズと1つもしくは複数のプリズムの組合せ、および/または走査ミラー)も含み得る。
【0028】
一例では、プロジェクタシステムは、複数の光放出デバイス(たとえば、複数のVCSELアレイ)を含むことができ、各光放出デバイスは、FOV全体の特定のFOV部分を照射するように構成される。たとえば、光放出デバイスの数は、FOVが分割されるFOV部分の数に等しくてよい。各光放出デバイスは、選択的に、および/または個々にアクティブ化することができる(たとえば、任意の時点において、単一の光放出デバイスのみが、それぞれのFOV部分に向けて光を放出中であるように)。そのような例では、1つまたは複数の光誘導機構は、複数の投射レンズからなるレンズアレイおよび/またはプリズム(もしくはいくつかの場合には複数のプリズム)を含み得る。たとえば、レンズアレイの各投射レンズは、それぞれの光放出デバイスに対応してよい。レンズアレイの複数の投射レンズは、各光放出デバイスによって放出された光が適切なFOV部分を確実に照射するように位置して(たとえば、特定の角度に保持されて)よい。複数の光放出デバイスをレンズアレイおよび/または1つのプリズム(もしくは複数のプリズム)と組み合わせて使うと、FOV全体についての距離測定を取り込むいかなる機械的動きも確実に必要なくなり得る。
【0029】
別の例では、プロジェクタシステムは、個々のFOV部分を選択的に照射するように構成された単一の光放出デバイス(たとえば、単一のVCSELアレイ)を含み得る。そのような例では、1つまたは複数の光誘導機構は、走査ミラー(たとえば、微小電気機械システム(MEMS))ミラー)を含み得る。走査ミラーの配向は、各FOV部分を照射するために、光放出デバイスによって放出された光を連続して反射するように、定期的に調節する(たとえば、特定の角度に動かす)ことができる。走査ミラーを使うことは、ToFシステムの機械的動きを伴い得るが、走査ミラーの機械的疲労は無視でき得る。したがって、走査ミラーの機械的動きにより、走査ミラーの存続期間にわたって、プロジェクタシステムの性能が低下しない可能性がある。走査ミラーを使うことで、単一の光放出デバイスのみがToFシステムによって使われることが可能になり得る。
【0030】
ToFシステムは、FOV全体の個々のFOV部分に対応する距離測定を組み合わせることによって、FOV全体の完全深度マップを生成することができる。たとえば、ToFシステムは、個々のFOV部分に対応するフレームを「縫い合わせる」ことができる。フレームは、フレームが取り込まれるときに、またはフレームすべてが取り込まれた後で、組み合わせることができる。いくつかの場合には、隣接FOV部分に対応するフレームは、所定の量の重なり(たとえば、所定の数の重複ピクセル)を含み得る。重なりにより、ToFシステムは、個々のフレームを、FOV全体の凝集性深度マップに効率的に、および/またはシームレスにまとめることが可能になり得る。
【0031】
いくつかの場合には、ToFシステムは、同期方式に従って、プロジェクタシステムとToFセンサを同期させることができる。同期を実施することによって、ToFシステムは、特定のFOV部分が照射されるとき、その特定のFOV部分に関連付けられた距離測定を確実にToFセンサが判断するようにし得る。一例では、ToFシステムは、プロジェクタシステムへ同期信号を送るコントローラを含み得る。プロジェクタシステムが複数の光放出デバイス(たとえば、複数のVCSELアレイ)を含む場合、同期信号は、どの光放出デバイスが現在オンにされるべきであるかを示すことができる。プロジェクタシステムが走査ミラーを含む場合、同期信号は、走査ミラーが配向されるべきである特定の角度を示すことができる。さらに、コントローラは、ToFセンサへ同期信号を送ることができる。この同期信号は、センサに対して、どのFOV部分が現在、プロジェクタシステムによって照射されているかを示すことができる。同期信号に基づいて、ToFセンサは、FOV部分が連続して照射されるとき、個々のFOV部分に関連付けられた距離測定を正確にラベル付けすることができる。
【0032】
高解像度ToFシステムに関するさらなる詳細が、ここで様々な図面に関して与えられる。図1は、飛行時間(ToF)信号処理のための例示的画像処理システム100を示す図である。この説明のための例では、画像処理システム100は、ToFシステム102、画像センサ104、ストレージ106、およびアプリケーションプロセッサ110を含み得る。いくつかの例では、画像処理システム100は任意選択で、他の計算構成要素108、たとえば、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、および/または画像信号プロセッサ(ISP)などを含むことができ、画像処理システム100はこれらを、アプリケーションプロセッサ110に関して本明細書に記載する動作/機能性のうちの1つまたは複数を実施するのに使うことができる。いくつかの場合には、アプリケーションプロセッサ110および/または他の計算構成要素108は、ToFエンジン130、画像処理エンジン134、および/またはレンダリングエンジン136を実装することができる。
【0033】
いくつかの例では、アプリケーションプロセッサ110および/または他の計算構成要素108は、図1に示さない1つまたは複数の計算エンジンも実装できることに留意されたい。ToFエンジン130、画像処理エンジン134、およびレンダリングエンジン136は本明細書では、例示および説明目的のために挙げられ、他の可能な計算エンジンについては、簡単のために示さない。また、例示および説明目的のために、ToFエンジン130、画像処理エンジン134、レンダリングエンジン136、およびそれらの様々な開示する動作については、アプリケーションプロセッサ110によって実装されるものとして本明細書に記載する。ただし、他の例では、ToFエンジン130、画像処理エンジン134、レンダリングエンジン136、および/またはそれらの様々な開示する動作が、他の計算構成要素108によって実装できることが、当業者には認識されよう。
【0034】
画像処理システム100は、1つのコンピューティングデバイスまたは複数のコンピューティングデバイスの一部であるか、またはそれらによって実装することができる。いくつかの例では、画像処理システム100は、カメラシステム(たとえば、デジタルカメラ、IPカメラ、ビデオカメラ、セキュリティカメラなど)、電話システム(たとえば、スマートフォン、セルラー電話、会議システムなど)、ラップトップもしくはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、テレビジョン、ディスプレイデバイス、デジタルメディアプレーヤ、ゲーム機、ビデオストリーミングデバイス、ヘッドマウントディスプレイ(HMD)、エクステンデッドリアリティ(XR)デバイス、ドローン、車内コンピュータ、IoT(モノのインターネット)デバイス、スマートウェアラブルデバイス、または任意の他の適切な電子デバイスなど、1つの電子デバイス(または複数のデバイス)の一部であってよい。いくつかの実装形態では、ToFシステム102、画像センサ104、ストレージ106、他の計算構成要素108、アプリケーションプロセッサ110、ToFエンジン130、画像処理エンジン134、およびレンダリングエンジン136は、同じコンピューティングデバイスの一部であってよい。
【0035】
たとえば、いくつかの場合には、ToFシステム102、画像センサ104、ストレージ106、他の計算構成要素108、アプリケーションプロセッサ110、ToFエンジン130、画像処理エンジン134、およびレンダリングエンジン136は、カメラ、スマートフォン、ラップトップ、タブレットコンピュータ、スマートウェアラブルデバイス、HMD、XRデバイス、IoTデバイス、ゲーム用システム、および/またはどの他のコンピューティングデバイスにも統合することができる。ただし、いくつかの実装形態では、ToFシステム102、画像センサ104、ストレージ106、他の計算構成要素108、アプリケーションプロセッサ110、ToFエンジン130、画像処理エンジン134、および/またはレンダリングエンジン136のうちの1つまたは複数は、2つ以上の別個のコンピューティングデバイスの一部であるか、またはそれらによって実装することができる。
【0036】
ToFシステム102は、近赤外線光(NIR)などの光を、ターゲット(たとえば、周辺/近隣シーン、1つまたは複数の周辺/近隣物体など)についての深度および/または距離情報を判断するのに使うことができる。いくつかの例では、ToFシステム102は、シーンなどのターゲットの中の各ピクセルの距離と強度の両方を測定することができる。ToFシステム102は、ターゲット(たとえば、シーン、物体など)に向けて光信号を放出するための光エミッタを含んでよく、光信号は、ターゲットに当たり、ToFシステム102に戻り/反射し得る。ToFシステム102は、戻り/反射光を検出および/または測定するためのセンサを含むことができ、この光は次いで、ターゲットについての深度および/または距離情報を判断するのに使うことができる。ToFシステム102に相対したターゲットの距離は、深度マッピングを実施するのに使うことができる。ターゲットの距離は、直接ToFまたは間接ToFを通して算出することができる。
【0037】
直接ToFでは、距離は、放出光パルス信号および戻り/反射光パルス信号の移動時間(たとえば、光信号が放出されてから、戻り/反射光信号が受信されるまでの時間)に基づいて算出することができる。たとえば、放出光信号および戻り/反射光信号の往復距離は、放出光パルス信号および戻り/反射光パルス信号の移動時間を、一般にcと記される、光の速度で乗算することによって算出することができる。算出された往復距離は次いで、ToFシステム102からターゲットまでの距離を判断するために、2で除算すればよい。
【0038】
間接ToFでは、距離は、ターゲットに向けて変調光を送り、戻り/反射光の位相を測定することによって算出することができる。放出光の周波数(f)、戻り/反射光の位相シフト、および光の速度がわかると、ターゲットまでの距離を算出することができる。たとえば、放出光の経路と戻り/反射光の経路との間のランタイム差により、戻り/反射光の位相シフトが生じる。放出光と戻り/反射光との間の位相差および光の変調周波数(f)は、ToFシステム102とターゲットとの間の距離を算出するのに使うことができる。たとえば、ToFシステム102とターゲットとの間の距離のための公式は、(c/2f)×位相シフト/2πであり得る。これが示すように、より高い周波数の光が、より高い測定精度を与えることができるが、測定可能な、より短い最大距離を生じる。
【0039】
したがって、いくつかの例では、本明細書においてさらに説明するように、二重周波数が、測定精度および/または距離を向上するのに使われてよい。たとえば、60MHz光信号が、2.5メートル離れたターゲットを測定するのに使われてよく、100MHz光信号が、1.5メートル離れたターゲットを測定するのに使われてよい。二重周波数シナリオでは、60MHz光信号と100MHz光信号の両方が、ターゲットまでの距離を算出するのに使われ得る。
【0040】
画像センサ104は、デジタルカメラセンサ、ビデオカメラセンサ、スマートフォンカメラセンサ、テレビジョンまたはコンピュータなどの電子装置上の画像/ビデオキャプチャデバイス、カメラなどのような、どの画像および/またはビデオセンサまたは取込みデバイスも含み得る。いくつかの場合には、画像センサ104は、デジタルカメラ、ビデオカメラ、IPカメラ、スマートフォン、スマートテレビジョン、ゲームシステムなどのような、カメラまたはコンピューティングデバイスの一部であってよい。いくつかの例では、画像センサ104は、後部および前部センサデバイスなど、複数の画像センサを含んでよく、デュアルカメラまたは他のマルチカメラアセンブリ(たとえば、2つのカメラ、3つのカメラ、4つのカメラ、もしくは他の数のカメラを含む)の一部であってよい。画像センサ104は、画像および/またはビデオフレーム(たとえば、未加工画像および/またはビデオデータ)を取り込むことができ、これらは次いで、本明細書においてさらに記載するように、アプリケーションプロセッサ110、ToFエンジン130、画像処理エンジン134、および/またはレンダリングエンジン136によって処理することができる。
【0041】
ストレージ106は、データを記憶するための、どの記憶デバイスであることもできる。その上、ストレージ106は、画像処理システム100の構成要素のいずれからのデータも記憶することができる。たとえば、ストレージ106は、ToFシステム102からのデータ(たとえば、ToFセンサデータもしくは測定)、画像センサ104(たとえば、フレーム、ビデオなど)、他の計算構成要素108および/もしくはアプリケーションプロセッサ110からの、および/もしくはそれらによって使われるデータ(たとえば、処理パラメータ、画像データ、ToF測定、深度マップ、調整パラメータ、処理出力、ソフトウェア、ファイル、設定など)、ToFエンジン130(たとえば、1つもしくは複数のニューラルネットワーク、画像データ、調整パラメータ、補助メタデータ、ToFセンサデータ、ToF測定、深度マップ、トレーニングデータセットなど)、画像処理エンジン134(たとえば、画像処理データおよび/もしくはパラメータなど)からの、および/もしくはそれらによって使われるデータ、レンダリングエンジン136(たとえば、出力フレーム)、画像処理システム100のオペレーティングシステム、画像処理システム100のソフトウェアからの、および/もしくはそれらによって使われるデータ、ならびに/またはどの他のタイプのデータも記憶することができる。
【0042】
アプリケーションプロセッサ110は、たとえば限定はしないが、CPU112、GPU114、DSP116、および/またはISP118を含んでよく、アプリケーションプロセッサ110はこれらを、画像/ビデオ処理、ToF信号処理、グラフィックスレンダリング、機械学習、データ処理、算出、および/または任意の他の動作など、様々な計算動作を実施するのに使うことができる。図1に示す例では、アプリケーションプロセッサ110は、ToFエンジン130、画像処理エンジン134、およびレンダリングエンジン136を実装する。他の例では、アプリケーションプロセッサ110は、1つまたは複数の他の処理エンジンを実装することもできる。その上、いくつかの場合には、ToFエンジン130は、ToF信号処理を実施し、かつ/または深度マップを生成するように構成された1つまたは複数の機械学習アルゴリズム(たとえば、1つまたは複数のニューラルネットワーク)を実装することができる。
【0043】
いくつかの場合には、アプリケーションプロセッサ110は、メモリ122(たとえば、ランダムアクセスメモリ(RAM)、ダイナミックRAMなど)およびキャッシュ120も含み得る。メモリ122は、1つまたは複数のメモリデバイスを含むことができ、たとえば、揮発性メモリ(たとえば、RAM、DRAM、SDRAM、DDR、スタティックRAMなど)、フラッシュメモリ、フラッシュベースのメモリ(たとえば、固体状態ドライブ)などのような、どのタイプのメモリも含むことができる。いくつかの例では、メモリ122は、1つまたは複数のDDR(たとえば、DDR、DDR2、DDR3、DDR4など)メモリモジュールを含み得る。他の例では、メモリ122は、他のタイプのメモリモジュールを含み得る。メモリ122は、たとえば、画像データ、ToFデータ、処理パラメータ(たとえば、ToFパラメータ、調整パラメータなど)、メタデータ、および/または任意のタイプのデータなどのデータを記憶するのに使うことができる。いくつかの例では、メモリ122は、ToFシステム102、画像センサ104、ストレージ106、他の計算構成要素108、アプリケーションプロセッサ110、ToFエンジン130、画像処理エンジン134、ならびに/またはレンダリングエンジン136からの、および/もしくはそれらによって使われるデータを記憶するのに使うことができる。
【0044】
キャッシュ120は、データを記憶する1つまたは複数のハードウェアおよび/またはソフトウェア構成要素を含むことができ、そうすることによって、そのデータについての将来の要求が、メモリ122またはストレージ106上に記憶された場合よりも速くサービスされ得る。たとえば、キャッシュ120は、たとえば、システムキャッシュまたはL2キャッシュなど、どのタイプのキャッシュまたはバッファも含み得る。キャッシュ120は、メモリ122およびストレージ106よりも速く、および/またはコスト効率が良い可能性がある。その上、キャッシュ120は、メモリ122およびストレージ106よりも低い電力および/または動作要求もしくはフットプリントを有することができる。したがって、いくつかの場合には、キャッシュ120は、画像データまたはToFデータなど、画像処理システム100の1つまたは複数の構成要素(たとえば、アプリケーションプロセッサ110)によって、将来において処理および/または要求されることが予想される、ある特定のタイプのデータを記憶/バッファリングし、迅速にサービスするのに使うことができる。
【0045】
いくつかの例では、ToFエンジン130、画像処理エンジン134、およびレンダリングエンジン136(ならびに任意の他の処理エンジン)向けの動作は、アプリケーションプロセッサ110中の計算構成要素のいずれかによって実装することもできる。1つの説明のための例において、レンダリングエンジン136の動作はGPU114によって実装することができ、ToFエンジン130、画像処理エンジン134、および/または1つもしくは複数の他の処理エンジンの動作は、CPU112、DSP116、および/またはISP118によって実装することができる。いくつかの例では、ToFエンジン130、および画像処理エンジン134の動作は、ISP118によって実装することができる。他の例では、ToFエンジン130、および/または画像処理エンジン134の動作は、ISP118、CPU112、DSP116、ならびに/またはISP118、CPU112、およびDSP116の組合せによって実装することができる。
【0046】
いくつかの場合には、アプリケーションプロセッサ110は、本明細書において記載する様々な動作のいずれをも実施するための、他の電子回路もしくはハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらのどの組合せも含むことができる。いくつかの例では、ISP118は、ToFシステム102および/または画像センサ104によって取り込まれるか、または生成されたデータ(たとえば、画像データ、ToFデータなど)を受信し、そのデータを、出力深度マップおよび/またはフレームを生成するように処理することができる。フレームは、ビデオシーケンスのビデオフレームまたは静止画像を含むことができる。フレームは、シーンを表すピクセルアレイを含むことができる。たとえば、フレームは、ピクセルごとに赤、緑、および青色成分を有する赤緑青(RGB)フレーム、ピクセルごとにルーマ成分ならびに2つのクロマ(色)成分(赤差および青差)を有するルーマ、赤差、青差(YCbCr)フレーム、または任意の他の適切なタイプのカラーもしくはモノクロピクチャであることができる。
【0047】
いくつかの例では、ISP118は、1つまたは複数の処理エンジン(たとえば、ToFエンジン130、画像処理エンジン134など)を実装することができ、深度算出、深度マッピング、フィルタリング、デモザイク、スケーリング、色補正、色変換、ノイズ低減フィルタリング、空間フィルタリング、アーティファクト補正などのような、ToF信号処理および/または画像処理動作を実施することができる。ISP118は、ToFシステム102、画像センサ104、ストレージ106、メモリ122、キャッシュ120、アプリケーションプロセッサ110の中の他の構成要素からのデータ、および/または遠隔カメラ、サーバもしくはコンテンツプロバイダなどの遠隔ソースから受信されたデータを処理することができる。
【0048】
画像処理システム100はいくつかの構成要素を含むものとして示されるが、画像処理システム100は図1に示されるものよりも多数または少数の構成要素を含むことができることが、当業者には諒解されよう。たとえば、画像処理システム100は、いくつかの事例では、図1に示さない、1つもしくは複数の他のメモリデバイス(たとえば、RAM、ROM、キャッシュなど)、1つもしくは複数のネットワーキングインターフェース(たとえば、ワイヤードおよび/もしくはワイヤレス通信インターフェースなど)、1つもしくは複数のディスプレイデバイス、ならびに/または他のハードウェアもしくは処理デバイスも含むことができる。画像処理システム100とともに実装することができるコンピューティングデバイスおよびハードウェア構成要素の説明のための例については、図10に関して以下で説明する。
【0049】
図2Aは、直接ToF検知手順200の例を示す簡略ブロック図である。この例では、ToFシステム102は最初に、光パルス202をターゲット210に向けて放出する。ターゲット210は、たとえば、シーン、1つまたは複数の物体、1匹または複数の動物、1人または複数の人々などを含み得る。光パルス202は、ターゲット210に当たるまで、ターゲット210に向けて移動することができる。光パルス202がターゲット210に当たると、光パルス202の少なくとも何らかの部分が反射されてToFシステム102へ戻り得る。
【0050】
したがって、ToFシステム102は、ターゲット210から反射して戻された光パルス202の少なくとも何らかの部分を含む反射光パルス204を受信することができる。ToFシステム102は、反射光パルス204を検知し、反射光パルス204に基づいて、ターゲット210までの距離206を算出することができる。距離206を算出するために、ToFシステム102は、放出光パルス202および反射光204が移動した総時間(たとえば、光パルス202が放出されてから、反射光パルス204が受信されるまでの時間)を算出すればよい。ToFシステム102は、放出光パルス202および反射光パルス204が移動した総時間を、光の速度(c)で乗算して、光パルス202および反射光パルス204が移動した総距離(たとえば、往復時間)を判断することができる。ToFシステム102は次いで、ToFシステム102からターゲット210までの距離206を取得するために、移動した総時間を、2で除算すればよい。
【0051】
図2Bは、間接ToF検知手順220の例を示す簡略ブロック図である。この例では、ターゲット210についての深度および距離を判断するために、反射光の位相シフトが算出され得る。ここで、ToFシステム102は最初に、ターゲット210に向けて変調光222を放出する。変調光222は、一定の知られている、または所定の周波数を有し得る。変調光222は、ターゲット210に当たるまで、ターゲット210に向けて移動することができる。変調光222がターゲット210に当たると、変調光222の少なくとも何らかの部分が反射されてToFシステム102へ戻り得る。
【0052】
ToFシステム102は、反射光224を受信し、反射光224の位相シフト226およびターゲット210までの距離206を、距離(206)=(c/2f)×位相シフト/2πという公式を使って判断することができ、ここで、fは変調光222の周波数であり、cは光の速度である。
【0053】
いくつかの場合には、深度および距離(たとえば、206)を算出するとき、光がどのように反射されるかに影響する1つまたは複数の要因を、考慮に入れるか、または算出を調整するのに使うことができる。たとえば、物体および表面が、光を異なるように反射させることができる特定の特性を有し得る。例示のために、異なる表面は、異なる屈折率を有してよく、これは、光がどのように移動し、または表面および/もしくは表面中の材料と接触するかに影響し得る。その上、材料不規則性または散乱中心などの不均一性が、光を反射させ、屈折させ、伝達させ、または吸収させる場合があり、ときにはエネルギーの損失を引き起こし得る。したがって、光は、表面に当たると、吸収、反射、伝達などをされる場合がある。表面に反射される光の割合は、光の反射率と呼ばれる。ただし、反射率は、表面(たとえば、屈折率、材料の性質、均一性または不均一性など)のみに依存するのではなく、反射される光のタイプおよび周辺環境(たとえば、温度、環境光、水蒸気など)にも依存し得る。したがって、後でさらに説明するように、いくつかの場合には、ターゲット210についての距離206および/または深度情報を算出するとき、周辺環境、光のタイプ、および/またはターゲット210の特性についての情報を考慮に入れることができる。
【0054】
図3は、光信号の位相角を測定するための例示的技法を示す図である。この例では、ToFシステム102は、変調光信号222を放出し、反射光224を受信する。ToFシステム102は、反射光224の振幅(A)を、4つの異なる点302、304、306、および308において測定して、測定点302における振幅A1、測定点304における振幅A2、測定点306における振幅A3、および測定点308における振幅A4を判断する。測定点302、304、306、および308は、等間隔点(たとえば、0°、90°、180°、270°)であってよい。
【0055】
反射光224の位相角は、以下の式によって表すことができる。
【0056】
【数1】
【0057】
式1は、点302、304、306、および308における振幅測定と、反射光224の位相角との間の関係を示す。A1とA3との間の差と、A2とA4との間の差の比は、位相角の正接に等しい。
【0058】
図4は、ToF検知のための連続波法400を示す図である。この例では、放出された光信号402および反射光信号404は、反射光信号404の位相遅延を判断するために、相互相関され得る。光信号402は最初に、放出されてよく、反射光信号404のサンプリングされた量406～412(Q1、Q2、Q3、Q4)が、4つの位相外れ時間ウィンドウ(たとえば、センサ積分時間ウィンドウ)C1414、C2416、C3418およびC4420を使って測定されてよく、各ウィンドウ(414～420)は、C1が0度であり、C2が180度であり、C3が90度であり、C4が270度であるように位相段階付けされる。図4に示すように、測定された量406～412は、測定時間ウィンドウと反射光信号404との間の重なり領域に対応する。
【0059】
放出された光信号402と反射光信号404との間の位相遅延、すなわち
【0060】
【数2】
【0061】
、および距離、すなわちdが次いで、以下の式によって算出され得る。
【0062】
【数3】
【0063】
いくつかの例では、量406～412(Q1、Q2、Q3、Q4)は、ピクセル強度およびオフセットを計算するのに使うことができる。その上、いくつかの場合には、項(Q3-Q4)および(Q1-Q2)は、量(406～412)から定数オフセットの影響を削減することができる。位相方程式、すなわち式2における商は、たとえば、システム増幅、システム減衰、反射強度などのような距離測定からの、システムまたは環境変動の効果を削減することができる。
【0064】
図5は、ToF信号処理のための例示的画像処理システム500を示す図である。いくつかの場合には、画像処理システム500は、図1の画像処理システム100の全部または一部分に対応し得る。図5に示すように、画像処理システム500は、投射システム502、受信システム508、およびプロセッサ518を含み得る。画像処理システム500のこれらおよび/または他の構成要素は、深度マップ516を生成するように構成することができる。深度マップ516は、画像処理システム500のFOV内のターゲット(たとえば、物体)に関連付けられた深度情報を含み得る。
【0065】
いくつかの場合には、投射システム502は、1つまたは複数の光放出デバイス504を含み得る。1つまたは複数の光放出デバイス504は、1つまたは複数のターゲットについての深度情報(たとえば、距離測定)を取得する目的のために光を放出するように構成されたどのデバイスも含み得る。説明のための例では、1つまたは複数の光放出デバイス504は、1つまたは複数の垂直キャビティ面発光レーザー(VCSEL)または他のレーザーデバイスを含み得る。たとえば、1つまたは複数の光放出デバイス504は、VCSELアレイの中に並べられた複数のVCSELを含み得る。後でより詳細に説明するように、投射システム502は、単一のVCSELアレイ、または複数のVCSELアレイを含み得る。いくつかの場合には、1つまたは複数の光放出デバイス504は、一定の波長(または一定の波長範囲)をもつ光を放出するように構成することができる。非限定的例では、1つまたは複数の光放出デバイス504は、狭帯域近赤外線(NIR)光(たとえば、800から2500ナノメートルの間の波長をもつ光)を放出するように構成することができる。1つまたは複数の光放出デバイス504は、ToFデータを取得するのに適したどの波長をもつ光も放出することができる。
【0066】
図示のように、投射システム502は、1つまたは複数の光誘導デバイス506を含み得る。1つまたは複数の光誘導デバイス506は、1つまたは複数の光放出デバイス504によって放出された光の角度を変え、調節し、またはそうでなければ誘導するように構成されたどのデバイスも含み得る。一例では、1つまたは複数の光誘導デバイス506は、屈折を用いて光を分散する1つまたは複数の投射レンズを含み得る。別の例では、光誘導デバイス506は、鏡面反射の法則に基づいて、所望の角度で光を反射する1つまたは複数のミラーを含み得る。以下でより詳しく説明するように、1つまたは複数の光誘導デバイス506は、1つまたは複数の光放出デバイス504によって放出された光を、画像処理システム500のFOVの特定の部分へ選択的に誘導するように構成することができる。
【0067】
いくつかの場合には、投射システム502は、照射信号512を生成し、投射することができる。照射信号512は、1つまたは複数の光放出デバイス504によって放出され、1つまたは複数の光誘導デバイス506によって誘導された光に対応し得る。一例では、照射信号512は、異なる時点において放出された複数の照射信号を含み得る。たとえば、照射信号512は、画像処理システム500の異なるFOV部分へ連続して誘導される一連の照射信号を含み得る。照射信号512は、1つまたは複数のターゲットによって吸収、送信、および/または反射することができる。反射された照射信号の全部または一部分は、受信システム508によって取り込むことができる。反射され、取り込まれた照射信号は、図5の照射反射514に対応し得る。一例では、照射反射514は、受信システム508のセンサ510によって受信され得る。センサ510は、1つまたは複数の光放出デバイス504によって放出された光の波長を有する光を受信し、取り込み、かつ/または処理するように構成されたどのタイプまたは形のデバイスも含み得る。一例では、センサ510は、環境干渉の全部または一部分(たとえば、大部分)をフィルタリングし、照射信号512とほぼ同じ(たとえば、その一定の許容差内の)波長を有する光を透過するスペクトル帯域通過フィルタを含み得る。いくつかの場合には、センサ510はToFセンサを含み得る。たとえば、センサ510は、画像処理システム100のToFシステム102および/または画像センサ104の全部または一部分に対応し得る。センサ510は、照射反射514を処理して、1つまたは複数のターゲットに関連付けられた距離情報を判断することができる。たとえば、センサ510は、照射信号の投射と、対応する照射反射の受信との間の時間量に基づいて、ターゲットまでの距離を(上述した直接ToF技法に従って)判断することができる。別の例では、センサ510は、照射信号と、対応する照射反射との間の位相シフトに基づいて、ターゲットまでの距離を(上述した間接ToF技法に従って)判断することができる。いくつかの場合には、センサ510の解像度(たとえば、画像解像度)は、センサ510内のピクセル(たとえば、感光性要素)の数に対応する。センサ510のピクセルの全部または一部分は、投射された照射信号に応答して、照射反射を受信することができる。一例では、センサ510は、センサ510の各ピクセルに対応する距離測定を判断することができる。
【0068】
いくつかの例では、プロセッサ518は、センサ510によって判断された距離測定に少なくとも部分的に基づいて、深度マップ516を生成することができる。たとえば、センサ510および/またはプロセッサ518は、個々のFOV部分に関連付けられた距離測定を組み合わせて、画像処理システム500のFOV全体についての距離測定の完全セットを生成することができる。プロセッサ518は、距離測定の完全セットを使って、FOV全体についての深度マップを判断することができる。
【0069】
図6Aは、図5の画像処理システム500の例示的FOV602の図である。この例では、FOV602は、投射システム502の累積FOVに対応し得る。たとえば、FOV602は、投射システム502の総拡散角度を表し得る。上述したように、1つまたは複数の光誘導デバイス506は、1つまたは複数の光放出デバイス504によって放出された光を様々な角度で誘導する(たとえば、特定のFOV部分への投射システム502の拡散角度を削減するために)ように構成することができる。一例では、各FOV部分は、投射システム502の構成要素の特定の構成に関連付けられ得る。したがって、FOV602は、投射システム502の各可能な投射構成から生じるFOVの組合せを表し得る。
【0070】
図6Bは、FOV602の例示的FOV部分の図である。この例では、FOV602は、9つのFOV部分を含み得る。いくつかの場合には、各FOV部分に関連付けられたToFデータの解像度(たとえば、画像解像度)は、センサ510のフル解像度に対応し得る。たとえば、各FOV部分のシーンは、センサ510全体において連続して画像化される。このようにして、センサ510のフル解像度は、各構成において使用され得る。さらに、投射システム502のフル照射電力が、各構成において使用され得る。以下でより詳しく説明するように、画像処理システム500は、複数のFOV部分に関連付けられたToFデータを組み合わせて、センサ510の解像度よりも大きい解像度を有する深度マップを生成することができる。たとえば、深度マップ516の解像度は、センサ510の解像度を、FOV602が分割されるFOV部分の数で乗算したものに対応し得る。説明のための例では、センサ510の解像度は、r=n×mとして与えることができ、FOV602は、N×M個のFOV部分に分割することができる。この例では、FOV全体に対応する累積深度マップの解像度は、R=Nn×Mmとして与えられ得る。さらに、1つのFOV部分が水平投射角度θxおよび垂直投射角度θyに対応する場合、FOV602の水平および垂直投射角度は、それぞれ、θX=NθxおよびθY=Mθyとして与えられ得る。参考のために、図6Aおよび図6Bを参照されたい。
【0071】
いくつかの場合には、投射システム502が、FOV602の各FOV部分を連続して照射することができる。たとえば、投射システム502は、第1の投射構成にある間に第1の照射信号を投射することによって、第1のFOV部分を照射することができる。受信システム508は、第1の照射反射をセンサ510全体の解像度で取り込み、処理することができ、第1の照射のフル解像度ToFフレームがメモリバッファに記憶される。第1の照射反射が受信および/または処理された後、投射システム502は、第2の投射構成にある間に第2の照射信号を投射することによって、第2のFOV部分を照射することができる。受信システム508は、第2の照射反射をセンサ510全体の解像度で取り込み、処理することができ、第2の照射のフル解像度ToFフレームもメモリバッファに記憶される。いくつかの例では、画像処理システム500は、各FOV部分に対応する照射反射が受信されるまで、照射信号を投射し、照射反射を受信するプロセスを繰り返せばよい。このプロセス中、一度に単一のFOV部分が照射され得る。たとえば、投射システム502は、1つのFOV部分に向けて光を投射するのを、別のFOV部分に向けて光を投射する前に停止するように構成されてよい。
【0072】
一例では、投射システム502は、連続照射順序に従ってFOV部分を照射することができる。連続照射順序は、投射システム502がFOV部分を「走査する」所定の順序に対応し得る。連続照射順序は、他の照射順序の中でも、FOV部分の複数の行にわたって走査すること、FOV部分の複数の列にわたって走査すること、FOV部分を対角線状に走査することを含み得る。説明のための例では、図6Bに示す、FOV部分を照射するための連続照射順序は、ToFフレームFOV1,1、FOV1,2、FOV1,3、FOV2,1などのシーケンスに従い得る。いくつかの場合には、受信システム508は、連続照射順序に対応する連続受信順序で照射反射を受信し得る。たとえば、センサ510は、センサ510によって受信された各照射反射に応答して、距離測定を判断することができる。センサ510は、連続照射順序に基づいて、特定の距離測定を、適切なFOV部分に関連付けて記録することができる。たとえば、画像処理システム500は、投射システム502および受信システム508へ同期信号を送り得る。同期信号は、投射システム502と受信システム508の両方に対して、現在照射されているFOVを示し得る。
【0073】
上述したように、画像処理システム500は、個々のFOV部分に関連付けられた距離測定を組み合わせて(たとえば、「縫い合わせて」)、FOV全体についての距離測定の完全セットを生成することができる。個々のFOV部分に関連付けられた距離測定を組み合わせるために、画像処理システム500は、各FOV部分についてのToFフレーム(たとえば、図6BのFOV部分についてのToFフレームFOV1,1、FOV1,2、FOV1,3、FOV2,1からFOV3,3)を記憶すればよい。一例では、画像処理システム500は、ToFフレームを、センサ510の内蔵型メモリバッファに記憶することができる。別の例では、画像処理システム500は、ToFフレームを、センサ510の外部のシステムメモリ(たとえば、画像処理システム100のストレージ106)に記憶することができる。いくつかの場合には、画像処理システム500は、FOV部分に関連付けられた距離測定をリアルタイムに組み合わせることができる。たとえば、センサ510および/またはプロセッサ518は、連続照射順序に従って新たな照射反射が受信され、処理されると、距離測定を、距離測定の完全セットに組み込むことができる。他の例では、センサ510および/またはプロセッサ518は、各FOV部分が走査された後、距離測定の完全セットを生成することができる。距離測定の完全セットは、単一のロケーション(たとえば、同じファイルまたはデータ構造)に記憶され、深度マップ516を生成するために使われ得る。画像スティッチング動作は、画像処理システム500のセンサエレクトロニクスによって、またはセンサエレクトロニクスの外部で(たとえば、デバイスCPUもしくは他のプロセッサによって)実装することができる。
【0074】
いくつかの例では、あるFOV部分が、別のFOV部分と部分的に重なり得る。たとえば、図6Bは、FOV1,1とFOV1,2との間の例示的重なり612を示す。一例では、重なり612は、所定の数のピクセルの重なりに対応し得る。たとえば、FOV1,1の水平解像度nはn=nx+xによって与えられてよく、ここでnxは、FOV1,1にとって一意のピクセルに対応し、xは、FOV1,1とFOV1,2の両方に含まれるピクセルに対応する。同様に、FOV1,1およびFOV2,1は、重なり614を共有し得る。一例では、FOV1,1の垂直解像度mはm=my+yによって与えられてよく、ここでmyは、FOV1,1にとって一意のピクセルに対応し、yは、FOV1,1とFOV2,1の両方に含まれるピクセルに対応する。図6Bに示すように、残りのFOV部分の全部または一部分が、同様の重なりを含み得る。いくつかの場合には、FOV部分の間の重なりにより、自動化デジタル整列技法を使ってFOV部分をシームレスに「縫い合わせる」画像スティッチ方式の実装が容易になり得る。たとえば、画像処理システム500は、重複(たとえば、一致する)距離測定を検出したことに少なくとも部分的に基づいて、FOV全体に相対して、FOV部分内でピクセルを位置特定することができる。画像処理システム500は、重なりなしを含む、任意の適切なサイズの重なりを実装することができる。
【0075】
図7は、図5の投射システム502の例示的実装形態に対応するデバイス700の図である。いくつかの例では、デバイス700は、複数の光放出デバイスを含み得る。説明のための例では、デバイス700は、複数のVCSELアレイを有し得る。図示のように、デバイス700は、光放出デバイス708(A)、708(B)、および708(C)を含む1つまたは複数の光放出デバイスを含み得る。図7は、3つの光放出デバイス708(A)、708(B)、および708(C)を示すが、デバイス700は、任意の適切な構成で並べられた任意の適切な数の光放出デバイスを含んでよい。説明のための例では、デバイス700は、3×3グリッドに並べられた9つの光放出デバイスを含み得る。いくつかの場合には、デバイス700の光放出デバイスの数は、FOV602が分割されるFOV部分の数に対応し得る。これらの場合、各光放出デバイスは、異なるFOV部分に対応し得る。たとえば、投射システム502は、各FOV部分を走査するために、各光放出デバイスを連続して順番にアクティブ化する(たとえば、オンにする)ことができる。
【0076】
いくつかの場合には、デバイス700は、光放出デバイスによって放出された光を投射するように構成された、1つまたは複数の投射レンズおよび/または追加の光誘導構成要素を含み得る。たとえば、デバイス700は、複数の投射レンズ(たとえば、投射レンズ710(A)、710(B)、および/または710(C)を含む投射レンズアレイ)を含み得る。いくつかの場合には、投射レンズアレイの各投射レンズは、光放出デバイスのうちの1つに対応し得る(たとえば、光放出デバイス708(A)からの光が、複数の投射レンズのうちの対応する投射レンズ710(A)を通して放出され、光放出デバイス708(B)からの光が、対応する投射レンズ710(B)を通して放出され、以下同様である)。説明のための例では、投射レンズアレイは、複数の個別(たとえば、分離された)投射レンズを含み得る。いくつかの例では、デバイス700は投射レンズアレイを含まない(すなわち、投射レンズアレイは任意選択であってよい)。いくつかの場合には、投射レンズアレイの投射レンズ710(A)、710(B)、および710(C)の焦点長さにより、FOV部分の各々、たとえば、FOV1,1、FOV1,2、...FOVn,m、...の度数が決まる。いくつかの場合には、光誘導要素(たとえば、プリズム714)とともに投射レンズ710(A)、710(B)、および710(C)の焦点長さにより、FOV部分の間の重複の量が決まる。
【0077】
いくつかの場合には、図7に示すプリズム714は、異なる角度(または異なる角度範囲)で光を誘導するように構成することができる。いくつかの例では、投射レンズアレイの各投射レンズは、プリズム714とともに、特定の角度で光を誘導するように構成することができる。たとえば、1つの光放出デバイス708(A)、708(B)、または708(C)がアクティブ化されると、プリズム714(または、特定の光放出デバイスに対応する投射レンズプリズムアセンブリ)が、光放出デバイス(たとえば、光放出デバイス708(A)、708(B)、または708(C))からの光を、所望のFOV部分に向けて曲げ得る。一例では、プリズム714は、異なる方向に光を屈折するように構成された複数のプリズムセグメントを含むセグメント化プリズムアレイであってよい。たとえば、セグメント化プリズムアレイ上の各プリズムは、対応する光放出デバイスからの光を、特定のFOV部分に関連付けられた所望の角度に曲げることができる。プリズム714が図7に示されているが、回折光学要素(DOE)など、プリズム以外の別のタイプの光学要素が使われてよい。プリズムセグメント(または他の光学要素)が光を屈折する方向は、他の特性の中でも、プリズムセグメントの屈折率、プリズムセグメントの頂点角度(たとえば、プリズムセグメント上の2つの面の間の角度)に依存し得る。いくつかの場合には、光放出デバイスに対応するプリズムセグメント(たとえば、光放出デバイスの上方に位置するプリズムセグメント)の特性は、プリズムセグメントが、光放出デバイスによって放出された光を所望のFOV部分に向けて曲げるように選択されてよい。
【0078】
いくつかの例では、デバイス700は、複数の拡散器(たとえば、拡散器アレイ712)を含み得る。拡散器アレイ712の各拡散器は、投射レンズアレイのそれぞれの投射レンズに対応し(たとえば、その上方に位置し)得る(たとえば、投射レンズ710(A)の上方の第1の拡散器、投射レンズ710(B)の上方の第2の拡散器、および投射レンズ710(C)の上方の第3の拡散器)。いくつかの場合には、拡散器アレイ712は(たとえば、投射レンズアレイとともに)、ピクセル化VCSEL(または他のタイプの光源)から放出した光を拡散し、デバイス700によって生成された照射投射の均一性を増すことができる。いくつかの場合には、拡散器712は、投射レンズアレイの投射レンズ710(A)、710(B)、および710(C)の反対側、VCSELアレイ708の上、またはどの他の適切な構成に置かれてもよい。デバイス700は、図7に示さないどの追加または代替の光誘導デバイスを含んでもよい。
【0079】
図8は、図5の投射システム502の別の例示的実装形態に対応するデバイス800の図である。いくつかの例では、デバイス800は、単一の光放出デバイス808を含み得る。説明のための例では、光放出デバイス808は単一のVCSELアレイであってよい。単一の光放出デバイス808は、フルFOVが分割される各FOV部分を連続して照射するのに使うことができる。いくつかの場合には、光放出デバイス808によって放出された光は、走査ミラー814によって誘導され得る。説明のための例では、走査ミラー814は微小電気機械システム(MEMS)ミラーであってよい。MEMSミラースキャナは、他の利益の中でも、高信頼性、長い存続期間、コンパクトサイズ、低コストを含む、様々な利益を与えることができる。走査ミラー814は、任意の追加または代替タイプの走査ミラーを含み、かつ/またはそれに対応し得る。
【0080】
いくつかの場合には、デバイス800は、放出光の方向を調節するために、走査ミラー814の配向を調節することができる。たとえば、走査ミラー814は、複数の配向を有し得る。各配向は、異なるFOV部分の照射に対応し得る。いくつかの場合には、走査ミラー814の特定の配向は、走査ミラー814と基準面との間の特定の角度に対応し得る。一例では、基準面は、光放出デバイス808の1つのプレーン(たとえば、1つの面)であってよい。図8は、走査ミラー814の3つの例示的配向を示す。走査ミラー814の配向O1が、図8において破線で示される。配向O1において走査ミラー814によって投射された光の方向は、対応する破線矢印で示される。配向O2およびO3(ならびに投射された光の、それらの対応する方向)が、それぞれ、実線および点線で示される。
【0081】
デバイス800は、投射レンズ810および/または拡散器812など、1つまたは複数の追加の光誘導デバイスを含み得る。いくつかの場合には、拡散器812は(たとえば、いくつかの場合にはレンズ810とともに)、デバイス800によって生成された照射投射の均一性を増すことができる。いくつかの場合には、拡散器812は、投射レンズ810の反対側に、または光放出デバイス808(たとえば、VCSELアレイ)の上に置かれてよい。投射レンズ810の焦点長さにより、FOV部分の各々、たとえば、FOV1,1、FOV1,2、...FOVn,m、...の度数が決まる。いくつかの場合には、光誘導ミラー814の角度とともに投射レンズ810の焦点長さにより、FOV部分の間の重複の量が決まる。デバイス800は、図8に示さないどの追加または代替の光誘導デバイスを含んでもよい。いくつかの例では、デバイス800は投射レンズ810を含まない(すなわち、投射レンズ810は任意選択であってよい)。
【0082】
図9Aは、図5の受信システム508の例示的実装形態に対応するデバイス900の図である。いくつかの例では、デバイス900は、センサ910(たとえば、図5のセンサ510に対応する)を含み得る。デバイス900は、照射反射(たとえば、図5の投射システム502、図7のデバイス700、または図8のデバイス800によって放出された照射信号512に基づく照射反射514)をセンサ910上に集中させるように構成された1つまたは複数の構成要素も含み得る。たとえば、デバイス900は、1つまたは複数の画像レンズ(たとえば、画像レンズ902(A)、902(B)、および/または902(C))を含む画像レンズアレイ902を含み得る。説明のための例では、画像レンズアレイ902は、3×3行列の画像レンズを含み得る。いくつかの場合には、画像レンズアレイ902の屈折特性(たとえば、屈折率、角度、傾斜、曲率、傾きなど)が、1つのFOV部分に対応する照射反射をセンサ910上に集中させるために選択されてよい。さらに、センサ910は、画像レンズアレイ902(または図9に示さない他の画像レンズアレイ)から、照射反射の取込みを容易にする距離の所に位置してよい。たとえば、センサ910は、画像レンズアレイ902の裏焦点面内に位置してよい。1つの説明のための例では、画像レンズアレイ902は、焦点長さfを有し得る。センサ910は、図7または図8のプロジェクタによって照射されるシーンが焦点化され、またはセンサ910上で画像化されることを容易にし、かつ/または確実にするように、画像レンズアレイ902から距離fの所に位置してよい。さらに、いくつかの場合には、センサ910は、画像レンズアレイ902の中央および/または中心レンズセグメントに相対して中心づけられ得る。これらの場合、画像レンズセグメントの間の中心から中心までの距離は、特定のサイズ(たとえば、特定の投射角度)のFOV部分の照射を容易にするように、および/または照射反射の集中化を容易にするように設計されてよい。たとえば、画像レンズ902(A)、902(B)、および/または902(C)のロケーションは、所望のレベルの光拡散および/または集光を容易にするように設計されてよい。画像レンズアレイ902の各画像レンズ(画像レンズ902(A)、902(B)、および902(C))は、FOVの部分、すなわち、FOV1,1、FOV1,2、...FOVn,m、...をセンサ910に対して画像化するために指定される。いくつかの場合には、画像レンズの数は、FOV部分の数と同じである。
【0083】
いくつかの例では、画像レンズアレイ902は、軸外画像化のために構成することができる。たとえば、軸外画像化構成では、画像レンズの光学軸は、センサの中心と整列されない。いくつかの場合には、そのような軸外画像化は、収差(たとえば、光の望ましくない拡散)を生じ得る。軸外画像化に関連付けられた収差を補正し、かつ/またはなくすために、画像レンズアレイ902内の1つまたは複数の画像レンズを、図9Aに示すように、互いに対して傾ければよい。たとえば、センサ910は、画像レンズアレイ902の中心画像レンズ902(B)と整列されて(たとえば、そのすぐ下に位置して)よく、画像レンズアレイ902の他の画像レンズ(たとえば、画像レンズ902(A)および902(C))は、センサ910に対してずらされてよい。
【0084】
いくつかの場合には、デバイス900は、照射反射の取込みを容易にする1つまたは複数のフィルタを含み得る。たとえば、デバイス900は、1つまたは複数の光放出デバイス(たとえば、図7のデバイス700および/または図8のデバイス800の光放出デバイス)によって放出された光の周波数に対応する周波数をもつ光を通過させるように構成された帯域通過フィルタを含み得る。説明のための例では、デバイス900は、NIR光に対応する中心周波数をもつ狭帯域通過フィルタを含み得る。帯域通過フィルタは、照射反射に対応する光を通過させることができ、外部光源、たとえば、日光からの光干渉を少なくとも部分的にブロックし、そうすることによって、信号対雑音または信号対背景雑音比を増し、したがって、生成された深度マップの精度および/または品質を増す。図9Aは、デバイス900内に実装することができる例示的フィルタ922を示す。図示のように、フィルタ922は、センサ910の上方に位置し得る。
【0085】
光投射システム(たとえば、図7のデバイス700および/または図8のデバイス800を含み得る、図5の投射システム502)とともに、デバイス900は、連続ToF画像取込みプロセスを実施することができる。図9Bおよび図9Cは、デバイス900ならびにデバイス700および/または800によって実施することができる例示的連続ToF画像取込みプロセスを示す。以下の説明は、デバイス900およびデバイス700によって実施される連続ToF画像取込みプロセスの例を挙げる。時間T1において、デバイス700は、光放出デバイス708(A)をアクティブ化することができ、プリズム714および/または投射レンズアレイの対応する投射レンズ710(A)によって、第1のFOV部分に向けて光を誘導させる。応答として(たとえば、時間T1と同期された時間において)、センサ910は、第1のFOV部分(たとえば、図6BのToFフレームFOV1,1に対応するFOV部分)の照射反射に対応する光を受信することができる。この光は、図9Cでは光L1として示される。図9Bおよび図9Cに示すように、受信された光L1は、画像レンズ902(A)によって、および/またはデバイス900の追加の光誘導構成要素によって、センサ910へ誘導することができる。時間T2において、デバイス700は、光放出デバイス708(B)をアクティブ化することができ、プリズム714および/または対応する投射レンズ710(B)によって、第2のFOV部分に向けて光を誘導させる。応答として(たとえば、時間T2と同期された時間において)、センサ910は、第2のFOV部分(たとえば、図6BのToFフレームFOV1,2に対応するFOV部分)の照射反射に対応する光を受信することができる。この光は、図9Cでは光L2として示される。受信された光L2は、画像レンズ902(B)によって、および/またはデバイス900の追加の光誘導構成要素によって、センサ910へ誘導することができる。時間T3において、デバイス700は、光放出デバイス708(C)をアクティブ化することができ、プリズム714および/または対応する投射レンズ710(C)によって、第3のFOV部分に向けて光を誘導させる。応答として(たとえば、時間T3と同期された時間において)、センサ910は、第3のFOV部分(たとえば、図6BのToFフレームFOV1,3に対応するFOV部分)の照射反射に対応する光を受信することができる。この光は、図9Cでは光L3として示される。受信された光L3は、画像レンズ902(C)によって、および/またはデバイス900の追加の光誘導構成要素によって、センサ910へ誘導することができる。
【0086】
いくつかの場合には、時間T1と時間T2との間の(および時間T2と時間T3との間の)時間の量は、デバイス700が1つのFOVに照射信号を投射し、デバイス900が照射信号に対応する照射反射を受信し、デバイス900(および/または追加プロセッサもしくはコンピューティングデバイス)が照射反射を、深度マップへの組込みのために処理するのに十分であり得る。いくつかの例では、連続ToF照射プロセスは、デバイス700に接続されたドライバ702(図7に示す)によって、少なくとも部分的に指示され得る。たとえば、ドライバ702は、制御信号716(A)、716(B)、および716(C)を、それぞれ光放出デバイス708(A)、708(B)、および708(C)へ送り得る。制御信号は、単一の光放出デバイスが一度にアクティブになるよう、指示し得る。たとえば、制御信号は、光放出デバイスのアクティブ化を交互にし得る。
【0087】
以下の説明は、デバイス800およびデバイス900によって実施される連続ToF画像取込みプロセスの例を挙げる。時間T1において、デバイス800は、走査ミラー814を配向O1に向けることができ、光を第1のFOV部分に向けて誘導させる。応答として(たとえば、時間T1と同期された時間において)、センサ910は、第1のFOV部分(たとえば、図6BのToFフレームFOV1,1に対応するFOV部分)の照射反射に対応する光を受信することができる。時間T2において、デバイス800は、走査ミラー814を配向O2に向けることができ、光を第2のFOV部分に向けて誘導させる。応答として(たとえば、時間T2と同期された時間において)、センサ910は、第2のFOV部分(たとえば、図6BのToFフレームFOV1,2に対応するFOV部分)の照射反射に対応する光を受信することができる。時間T3において、デバイス800は、その走査ミラーを配向O3に向けることができ、光を第3のFOV部分に向けて誘導させる。応答として(たとえば、時間T3と同期された時間において)、センサ910は、第3のFOV部分(たとえば、図6BのToFフレームFOV1,3に対応するFOV部分)の照射反射に対応する光を受信することができる。いくつかの場合には、時間T1と時間T2との間の(および時間T2と時間T3との間の)時間の量は、デバイス800が1つのFOVに照射信号を投射し、デバイス900が照射信号に対応する照射反射を受信し、デバイス900(および/または追加プロセッサもしくはコンピューティングデバイス)が照射反射を、深度マップへの組込みのために処理するのに十分であり得る。いくつかの例では、連続照射プロセスは、デバイス800に通信可能に接続されたドライバ802によって、少なくとも部分的に指示され得る。たとえば、ドライバ802は、走査ミラー814へ制御信号816を送り得る。制御信号816は、各FOV部分を走査するために、適切な時間に走査ミラー814の配向を調節するよう、走査ミラー814に指示し得る。
【0088】
いくつかの場合には、デバイス700は、機械的動きなしで、複数のFOV部分についての距離測定を連続して取得することを容易にすることができる。たとえば、デバイス700は、デバイス700の構成要素の物理的位置および/または配向を調節することによってではなく、光放出デバイスの選択的アクティブ化により、所望のFOV部分を照射することができる。機械的動きの必要性をなくすことで、デバイス700内での故障の危険性を低減することができる。上述したように、デバイス800は、走査ミラーの機械的調節により、複数のFOV部分についての距離測定を取得することができる。ただし、走査ミラーの機械的調節によって引き起こされる機械的疲労(および対応する性能低下)は、無視でき得る。さらに、デバイス800は、単一の光放出デバイスを含んでよく、これにより、デバイスのサイズ、コスト、および/または複雑さを削減することができる。
【0089】
図5に戻ると、上述したように、画像処理システム500は、投射システム502と受信システム508を同期信号により同期させることができる。たとえば、画像処理システム500は、投射システム502へ第1の制御信号を送ることと、受信システム508へ第2の制御信号を送ることとを含む同期方式を実装することができる。一例では、第1の制御信号は連続照射順序を示すことができ、第2の制御信号は、対応する連続受信順序を示すことができる。いくつかの場合には、第1の制御信号および第2の制御信号は、同じ(または同様の)時間同期された信号であってよい。
【0090】
図10Aは、例示的同期化ToFシステム1000(A)の図である。一例では、同期化ToFシステム1000(A)の全部または一部分が、図7のデバイス700および図9Aのデバイス900に対応し得る。図示のように、同期化ToFシステム1000(A)はコントローラ1002を含み得る。コントローラ1002は、デバイス700のドライバ(たとえば、ドライバ702)へ制御信号1004を送り得る。いくつかの場合には、制御信号1004はVCSEL選択信号を表し得る。たとえば、制御信号1004は、適切な時間に、デバイス700の光放出デバイス708を選択的にアクティブ化するよう、ドライバ702に指示し得る。一例では、制御信号1004は、図7に示す制御信号716(A)、716(B)、および/または716(C)を送るよう、ドライバ702に指示し得る。いくつかの場合には、制御信号716(A)、716(B)、および/または716(C)は、光放出デバイス708の動作に適した駆動電流(たとえば、パルス列駆動電流または連続波(CW)変調駆動電流)を含み得る。コントローラ1002はまた、デバイス900のセンサエレクトロニクス1008へ制御信号1006を送り得る。センサエレクトロニクス1008は、照射反射に関連付けられた距離測定を判断するように構成されたハードウェアおよび/またはソフトウェア構成要素を含み得る。いくつかの場合には、制御信号1006は、制御信号1004と同期されてよい。たとえば、制御信号1006は、センサエレクトロニクス1008に対して、どのFOV部分が現在照射されているかと、したがって、どのFOV部分が現在の照射反射に対応するかとを示し得る。制御信号1004および1006に基づいて、同期化ToFシステム1000(A)は、距離測定を、対応するFOV部分に関連付けてラベル付けすることができる。
【0091】
図10Bは、例示的同期化ToFシステム1000(B)の図である。一例では、同期化ToFシステム1000(B)の全部または一部分が、図8のデバイス800および図9Aのデバイス900に対応し得る。図示のように、同期化ToFシステム1000(B)はコントローラ1012を含み得る。コントローラ1012は、デバイス800のドライバ(たとえば、ドライバ802)へ制御信号1014を送り得る。いくつかの場合には、制御信号1014は角度選択信号を表し得る。たとえば、制御信号1014は、適切な時間に、走査ミラー814の角度を調節するよう、ドライバ802に指示し得る。いくつかの例では、コントローラ1012は、追加ドライバ1016へ制御信号1020を送り得る。一例では、ドライバ1016は、デバイス800の光放出デバイス808用のドライバであってよい。いくつかの場合には、制御信号1020はVCSEL同期信号を表し得る。たとえば、制御信号1020は、FOV部分を連続して照射するために、光放出デバイス808に適切な駆動電流を与えるよう、ドライバ1016に指示し得る。図示のように、コントローラ1012は、デバイス900のセンサエレクトロニクス1018へ制御信号1022を送り得る。センサエレクトロニクス1018は、照射反射に関連付けられた距離測定を判断するように構成されたハードウェアおよび/またはソフトウェア構成要素を含み得る。いくつかの場合には、制御信号1022は、制御信号1014および/または制御信号1020と同期されてよい。たとえば、制御信号1022は、センサエレクトロニクス1018に対して、どのFOV部分が現在照射されているかと、したがって、どのFOV部分が現在の照射反射に対応するかとを示し得る。制御信号1014、1020および/または1022に基づいて、同期化ToFシステム1000(B)は、距離測定を、対応するFOV部分に関連付けてラベル付けすることができる。
【0092】
本明細書に記載するシステムおよび技法を使って、ToFシステムは、ToFシステムのToFセンサのフル解像度を超える解像度を有する深度マップ(たとえば深度画像マップ)を生成することができる。システムおよび技法はまた、ToFシステムが、処理時間の大幅な遅延を招くことなく、また、センサのサイズを増すことなく(したがって、センサのコストを下げる)、高解像度深度マップを生成できるようにする。
【0093】
図11は、高解像度ToF深度画像化のための例示的プロセス1100を示す流れ図である。明快のために、図5、図7、図8、および図9Aのシステムおよびデバイスを参照して、プロセス1100について説明する。本明細書において概説するステップまたは動作は例であり、いくつかのステップまたは動作を除き、追加し、または修正する組合せを含む、それらのどの組合せで実装することもできる。
【0094】
動作1102において、プロセス1100は、1つまたは複数の光放出デバイスを含む投射システムのFOVの少なくとも1つの部分を照射することを含み、FOV全体は複数のFOV部分を含む。いくつかの例では、複数のFOV部分のうちの第1のFOV部分は、複数のFOV部分のうちの少なくとも第2のFOV部分と部分的に重なり得る。いくつかの例では、複数のFOV部分を照射することは、複数のFOV部分の各々を連続照射順序で照射する(たとえば、一度に単一のFOV部分を照射することによって)ことを含む。そのような例では、複数の照射反射の各照射反射を受信することは、連続照射順序に対応する連続受信順序で各反射を受信することを含む。プロセス1100は、複数の照射反射の各照射反射に基づいて、複数の画像の各画像を生成することを含み得る。説明のための例として図5を参照すると、画像処理システム500の投射システム502は、少なくとも部分的に、一度に単一のFOV部分を照射することによって、複数のFOV部分の各々を連続照射順序で照射することができる。いくつかの例では、投射システム502は、光放出デバイス504および/または光誘導デバイス506を使って、照射信号512を連続して投射することができる。
【0095】
1つの説明のための例では、光放出デバイス504は複数の光放出デバイスを含むことができ、光誘導デバイス506は複数の投射レンズを含むことができる。複数の投射レンズの各投射レンズは、複数の光放出デバイスのうちの1つによって放出された光を、複数のFOV部分のうちの異なるFOV部分に向けて(たとえば、プリズム714などのプリズムと一緒に)投射するように構成することができる。いくつかの例では、投射システム502は、複数のFOV部分の各FOV部分へ光を誘導するように構成されたセグメント化プリズムアレイを含み得る。たとえば、複数の光放出デバイス504は図7の光放出デバイス708を含んでよく、複数の光誘導デバイスは図7のプリズム714を含んでよい。一例では、プリズム714は、複数のプリズムセグメントを含むセグメント化プリズムアレイであってよい。プリズム714の各プリズムセグメントは、光放出デバイス708のうちの1つの上方に位置し得る。さらに、プリズム714の各プリズムセグメントは、光放出デバイス708の面に相対して異なる角度に配向されてよい。いくつかの例では、投射システム502は、走査ミラーに相対して位置する1つまたは複数の拡散器を含み得る。1つまたは複数の拡散器は、単一の光放出デバイスによって放出された光を拡散するように構成される。たとえば、図7のデバイス700(投射システム502の例として)は、拡散器アレイ712を含み得る。別の例として、図8のデバイス800は拡散器812を含み得る。
【0096】
別の説明のための例では、光放出デバイス504は単一の光放出デバイスを含んでよく、光誘導デバイス506は走査ミラーを含むことができる。走査ミラーは、異なる配向に配向されると、単一の光放出デバイスによって放出された光を、複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成することができる。たとえば、単一の光放出デバイスは図8の光放出デバイス808を含むことができ、単一の光誘導デバイスは図8の走査ミラー814を含むことができる。走査ミラー814は、走査ミラーであってよい。いくつかの場合には、走査ミラー814は、光放出デバイス808の上方に位置し得る。さらに、走査ミラー814の各異なる配向は、走査ミラー814と、光放出デバイス808の面との間の異なる配向角に対応し得る。
【0097】
動作1104において、プロセス1100は、1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、(たとえば、受信システム508などの受信システムのセンサによって)複数の画像を連続して取り込むことを含む。複数の画像の各画像は、複数のFOV部分のうちの1つに対応する。さらに、複数の画像の各画像に関連付けられた画像解像度は、センサのフル解像度に対応する。図5を参照する1つの説明のための例では、画像処理システム500の受信システム508が、照射信号512の連続照射順序に対応する連続受信順序で、照射反射514を受信し得る。受信システム508のセンサは、各照射反射に対する画像を取り込むことができる。たとえば、投射システム502は、複数のFOV部分のうちの第1のFOV部分を照射することができ、受信システム508は、第1の照射反射を受信することができ、センサは、第1のFOV部分に対応する第1の画像を取り込むことができる。第1の照射反射を受信した後、投射システム502は、複数のFOV部分のうちの第2のFOV部分を照射し得る。受信システム508は次いで、第2の照射反射を受信することができ、センサは、第2のFOV部分に対応する第2の画像を取り込むことができる。
【0098】
一例では、投射システム502と受信システム508は同期されてよい。たとえば、画像処理システム500のプロセッサ518は、投射システム502へ、複数のFOV部分のうちの特定のFOV部分を照射するように投射システム502に指示する第1の制御信号を送り得る。プロセッサ518はまた、受信システム508へ、センサ510によって受信された照射反射を特定のFOV部分に関連付けるように受信システム508に指示する第2の制御信号を送り得る。第1の制御信号および第2の制御信号は時間同期されてよい。
【0099】
いくつかの例では、受信システム508は、画像レンズのアレイを含むことができ、アレイの各画像レンズは、受信システム508のセンサへ、複数のFOV部分のそれぞれのFOV部分に対応するシーンの異なる部分に関連付けられた光を投射するように構成される。たとえば、図9Aのデバイス900(受信システム508の例として)は画像レンズアレイ902を含み得る。いくつかの場合には、受信システム508は、センサ510の上方に位置するフィルタを含み得る。たとえば、デバイス900はフィルタ922を含み得る。フィルタ922は、光放出デバイス504(たとえば、図7の光放出デバイス708および/または図8の光放出デバイス808)によって放出された光の周波数に対応する周波数をもつ光を送信するように構成することができる。
【0100】
動作1106において、プロセス1100は、複数の画像(および/または照射反射)を使って、FOV全体に関連付けられた高解像度化深度マップを生成することを含む。たとえば、プロセッサ518は深度マップ516を生成することができ、このマップは、FOV全体の各FOV部分に関連付けられた様々なフル解像度画像に基づく高解像度化深度マップを含み得る。一例では、プロセッサ518は、照射反射514のうちの1つに各々が対応する複数の部分的距離測定を(たとえば、画像として)生成することができる。プロセッサ518は次いで、複数の部分的距離測定を組み合わせることによって、深度マップ516を生成することができる。さらに、一例では、深度マップ516の画像解像度は、センサ510の最大解像度を、個々のFOV部分の数で乗算したものに対応し得る。
【0101】
いくつかの例では、プロセス1100および/または本明細書に記載する他のプロセスは、1つまたは複数のコンピューティングデバイスまたは装置によって実施されてよい。いくつかの例では、プロセス1100および/または本明細書に記載する他のプロセスは、図5に示す画像処理システム500、図7に示すデバイス700、図8に示すデバイス800、図9Aに示すデバイス900、図10Aに示す同期化ToFシステム1000(A)、図10Bに示す同期化ToFシステム1000(B)、および/または図12に示すコンピューティングデバイスアーキテクチャ1200をもつ1つもしくは複数のコンピューティングデバイスによって実施することができる。いくつかの場合には、そのようなコンピューティングデバイスまたは装置は、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはプロセス1100のステップを行うように構成されたデバイスの他の構成要素を含み得る。いくつかの例では、そのようなコンピューティングデバイスまたは装置は、画像データを取り込むように構成された1つまたは複数のセンサを含み得る。たとえば、コンピューティングデバイスは、スマートフォン、カメラ、ヘッドマウントディスプレイ、モバイルデバイス、または他の適切なデバイスを含み得る。いくつかの例では、そのようなコンピューティングデバイスまたは装置は、1つまたは複数の画像またはビデオを取り込むように構成されたカメラを含んでよい。いくつかの場合には、そのようなコンピューティングデバイスは、画像を表示するためのディスプレイを含み得る。いくつかの例では、1つまたは複数のセンサおよび/またはカメラはコンピューティングデバイスとは別個であり、その場合、コンピューティングデバイスが、検知されたデータを受信する。そのようなコンピューティングデバイスは、データを通信するように構成されたネットワークインターフェースをさらに含み得る。
【0102】
コンピューティングデバイスの構成要素は、回路構成の中に実装され得る。たとえば、構成要素は、1つもしくは複数のプログラム可能電子回路(たとえば、マイクロプロセッサ、グラフィックス処理装置(GPU)、デジタル信号プロセッサ(DSP)、中央処理装置(CPU)、および/または他の適切な電子回路)を含み得る、電子回路もしくは他の電子ハードウェアを含むことができ、かつ/またはそれらを使用して実装することが可能であり、かつ/あるいは、本明細書において説明される様々な動作を実施するために、コンピュータソフトウェア、ファームウェア、もしくはこれらの任意の組合せを含むことができ、かつ/またはそれらを使用して実装することが可能である。コンピューティングデバイスは、(出力デバイスの例として、もしくは出力デバイスに加えて)ディスプレイ、データを通信および/もしくは受信するように構成されたネットワークインターフェース、それらの任意の組合せ、ならびに/または他の構成要素をさらに含み得る。ネットワークインターフェースは、インターネットプロトコル(IP)ベースのデータまたは他のタイプのデータを通信および/または受信するように構成され得る。
【0103】
プロセス1100は、論理フロー図として示され、その動作は、ハードウェア、コンピュータ命令、またはそれらの組合せで実装され得る動作のシーケンスを表す。コンピュータ命令の文脈では、動作は、1つまたは複数のプロセッサによって実行されると、記載された動作を実施する、1つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実施するかまたは特定のデータタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図せず、説明する任意の数の動作は、プロセスを実装するために任意の順序で、かつ/または並列に組み合わせられ得る。
【0104】
追加として、プロセス1100、および/または本明細書で説明する他のプロセスは、実行可能命令を用いて構成された1つまたは複数のコンピュータシステムの制御下で実施されてよく、1つもしくは複数のプロセッサ上で、ハードウェアによって、またはそれらの組合せで、集合的に実行するコード(たとえば、実行可能命令、1つもしくは複数のコンピュータプログラム、または1つもしくは複数のアプリケーション)として実装されてよい。上述のように、コードは、たとえば、1つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読記憶媒体または機械可読記憶媒体上に記憶され得る。コンピュータ可読記憶媒体または機械可読記憶媒体は非一時的であってよい。
【0105】
図12は、本技術のいくつかの態様を実装するためのシステムの例を示す図である。具体的には、図12はコンピューティングシステム1200の例を示し、これは、たとえば、内部コンピューティングシステム、リモートコンピューティングシステム、カメラ、または、システムの構成要素が接続1205を使用して互いに通信しているそれらの任意の構成要素を構成する、任意のコンピューティングデバイスであり得る。接続1205は、バスを使用した物理接続、またはチップセットアーキテクチャなどにおけるプロセッサ1210への直接接続であり得る。接続1205はまた、仮想接続、ネットワーク接続、または論理接続であり得る。
【0106】
いくつかの例では、コンピューティングシステム1200は、本開示において説明された機能が、データセンター、複数のデータセンター、ピアネットワークなどに分散され得る分散型システムである。いくつかの例では、説明されたシステム構成要素の1つまたは複数は、そのために構成要素が説明される機能の一部またはすべてを各々実施するような多くの構成要素を表す。いくつかの場合には、構成要素は物理デバイスまたは仮想デバイスであることができる。
【0107】
例示的なシステム1200は、少なくとも1つの処理装置(CPUまたはプロセッサ)1210と、読取り専用メモリ(ROM)1220およびランダムアクセスメモリ(RAM)1225などのシステムメモリ1215を含む様々なシステム構成要素をプロセッサ1210に結合する接続1205とを含む。コンピューティングシステム1200は、プロセッサ1210と直接接続されるか、それに極めて近接しているか、またはその一部として統合される、高速メモリのキャッシュ1212を含むことができる。
【0108】
プロセッサ1210は、任意の汎用プロセッサ、およびプロセッサ1210、ならびにソフトウェア命令が実際のプロセッサ設計へと組み込まれるような専用プロセッサを制御するように構成される、記憶デバイス1230に記憶されるサービス1232、1234、および1236などの、ハードウェアサービスまたはソフトウェアサービスを含むことができる。プロセッサ1210は基本的に、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む、完全に自己完結型のコンピューティングシステムであってよい。マルチコアプロセッサは、対称または非対称でよい。
【0109】
ユーザ対話を可能にするために、コンピューティングシステム1200は入力デバイス1245を含み、これは、発話のためのマイクロフォン、ジェスチャー入力またはグラフィカル入力のためのタッチ感知スクリーン、キーボード、マウス、モーション入力、発話などの、任意の数の入力機構を表すことができる。コンピューティングシステム1200は出力デバイス1235も含むことができ、これは、ある数の出力機構のうちの1つまたは複数であってよい。いくつかの事例では、多モードのシステムが、コンピューティングシステム1200と通信するためにユーザが複数のタイプの入力/出力を提供することを可能にし得る。コンピューティングシステム1200は通信インターフェース1240を含むことができ、これは全般に、ユーザ入力およびシステム出力を支配して管理することができる。通信インターフェースは、オーディオジャック/プラグ、マイクロフォンジャック/プラグ、ユニバーサルシリアルバス(USB)ポート/プラグ、Apple(登録商標)Lightning(登録商標)ポート/プラグ、イーサネットポート/プラグ、光ファイバポート/プラグ、プロプライエタリワイヤードポート/プラグ、BLUETOOTH(登録商標)ワイヤレス信号転送、BLUETOOTH(登録商標)low energy(BLE)ワイヤレス信号転送、IBEACON(登録商標)ワイヤレス信号転送、無線周波数識別(RFID)ワイヤレス信号転送、近距離通信(NFC)ワイヤレス信号転送、専用短距離通信(DSRC)ワイヤレス信号転送、802.12 Wi-Fiワイヤレス信号転送、ワイヤレスローカルエリアネットワーク(WLAN)信号転送、可視光通信(VLC)、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)、赤外線(IR)通信ワイヤレス信号転送、公衆交換電話網(PSTN)信号転送、統合サービスデジタルネットワーク(ISDN)信号転送、3G/4G/5G/LTEセルラーデータネットワークワイヤレス信号転送、アドホックネットワーク信号転送、無線波信号転送、マイクロ波信号転送、赤外線信号転送、可視光信号転送、紫外光信号転送、電磁スペクトルに沿ったワイヤレス信号転送、またはこれらの何らかの組合せを利用したものを含む、ワイヤードおよび/またはワイヤレストランシーバを使用したワイヤード通信またはワイヤレス通信の、受信および/または送信を実施または促進し得る。通信インターフェース1240はまた、1つまたは複数の全地球航法衛星システム(GNSS)システムに関連する1つまたは複数の衛星からの1つまたは複数の信号の受信に基づいて、コンピューティングシステム1200の位置を判断するために使われる、1つまたは複数のGNSS受信機またはトランシーバを含んでよい。GNSSシステムは、限定はされないが、米国の全地球測位システム(GPS)、ロシアの全地球航法衛星システム(GLONASS)、中国の北斗航法衛星システム(BDS)、および欧州のGalileo GNSSを含む。いずれの特定のハードウェア構成上で動作することに対し制約がないので、ここではこの基本的な特徴は、開発されるにつれて、改善されたハードウェアまたはファームウェアの構成により容易に置き換えられることがある。
【0110】
記憶デバイス1230は、不揮発性および/または非一時的および/またはコンピュータ可読のメモリデバイスであってよく、ハードディスク、または磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、磁気ストリップ/ストライプ、任意の他の磁気記憶媒体、フラッシュメモリ、メモリスタメモリ、任意の他のソリッドステートメモリ、コンパクトディスク読取り専用メモリ(CD-ROM)光ディスク、再書き込み可能コンパクトディスク(CD)光ディスク、デジタルビデオディスク(DVD)光ディスク、ブルーレイディスク(BDD)光ディスク、ホログラフィック光ディスク、別の光媒体、セキュアデジタル(SD)カード、マイクロセキュアデジタル(microSD)カード、メモリスティック(登録商標)カード、スマートカードチップ、EMVチップ、加入者識別モジュール(SIM)カード、ミニ/マイクロ/ナノ/ピコSIMカード、別の集積回路(IC)チップ/カード、ランダムアクセスメモリ(RAM)、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、フラッシュEPROM(FLASHEPROM)、キャッシュメモリ(L1/L2/L3/L4/L5/L#)、抵抗性ランダムアクセスメモリ(RRAM/ReRAM)、位相変化メモリ(PCM)、スピン転送トルクRAM(STT-RAM)、別のメモリチップもしくはカートリッジ、および/またはそれらの組合せなどの、コンピュータによってアクセス可能であるデータを記憶できる他のタイプのコンピュータ可読媒体であってよい。
【0111】
記憶デバイス1230は、そのようなソフトウェアを定義するコードがプロセッサ1210によって実行されるとシステムに機能を実施させる、ソフトウェアサービス、サーバ、サービスなどを含むことができる。いくつかの例では、特定の機能を実施するハードウェアサービスは、機能を行うために、プロセッサ1210、接続1205、出力デバイス1235などの必要なハードウェア構成要素と接続している、コンピュータ可読媒体に記憶されているソフトウェア構成要素を含むことができる。
【0112】
本明細書において使われる限り、「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブルの記憶デバイス、光記憶デバイス、ならびに命令および/またはデータを記憶、収容、または搬送することができる様々な他の媒体を含む。コンピュータ可読媒体は、データがそこに記憶され得るとともに、ワイヤレスにまたはワイヤード接続を介して伝搬する搬送波および/または一時的な電子信号を含まない非一時的媒体を含み得る。非一時的媒体の例は、限定はしないが、磁気ディスクもしくは磁気テープ、コンパクトディスク(CD)もしくはデジタル多用途ディスク(DVD)などの光記憶媒体、フラッシュメモリ、メモリ、またはメモリデバイスを含み得る。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造、もしくはプログラムステートメントの任意の組合せを表し得る、その上に記憶されたコードおよび/または機械実行可能命令を有し得る。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容を渡すことおよび/または受けることによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の適切な手段を使用して渡され、転送され、または送信され得る。
【0113】
いくつかの例では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリームなどを含むケーブルまたはワイヤレス信号を含み得る。ただし、言及されるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号などの媒体を本来は明確に除く。
【0114】
本明細書で提供される例の完全な理解を与えるために、上記の説明において具体的な詳細が与えられている。しかしながら、例はこれらの具体的な詳細なしに実践されてもよいことが、当業者によって理解されよう。説明を明快にするために、いくつかの事例では、本技術は、デバイスと、デバイス構成要素と、ソフトウェア、またはハードウェアとソフトウェアの組合せにおいて具現化された方法におけるステップまたはルーチンとを備える機能ブロックを含む個々の機能ブロックを含むものとして提示される場合がある。図に示されるものおよび/または本明細書で説明されるもの以外の追加の構成要素が使用されてよい。たとえば、不必要な詳細で例を不明瞭にしないように、回路、システム、ネットワーク、プロセス、または他の構成要素がブロック図の形態で構成要素として示される場合がある。他の事例では、例を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、不必要な詳細なしに示される場合がある。
【0115】
個々の例が、フローチャート、流れ図、データフロー図、構造図、またはブロック図として示されるプロセスまたは方法として上で説明される場合がある。フローチャートは動作を逐次プロセスとして説明する場合があるが、動作の多くは並行してまたは同時に実施することが可能である。加えて、動作の順序は並べ替えられてよい。プロセスは、その動作が完了するときに終了するが、図の中に含まれない追加のステップを有する場合がある。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応するとき、その終了は、その関数が呼出し関数またはメイン関数に戻ることに対応することがある。
【0116】
上記で説明された例によるプロセスおよび方法は、記憶されたまたは他の方法でコンピュータ可読媒体から入手可能なコンピュータ実行可能命令を使用して実装することが可能である。そのような命令は、たとえば、汎用コンピュータ、専用コンピュータ、または処理デバイスに、特定の機能または機能のグループを実施させるか、またはそうでなければ実施するように汎用コンピュータ、専用コンピュータ、または処理デバイスを構成する、命令およびデータを含むことができる。使用されるコンピュータリソースの部分は、ネットワークを介してアクセス可能であり得る。コンピュータ実行可能命令は、たとえば、アセンブリ言語、ファームウェア、ソースコードなどのようなバイナリ、中間フォーマット命令であってよい。命令、使用される情報、および/または説明された例による方法の間に作成される情報を記憶するために使用される場合があるコンピュータ可読媒体の例は、磁気または光ディスク、フラッシュメモリ、不揮発性メモリを備えたUSBデバイス、ネットワーク接続された記憶デバイスなどを含む。
【0117】
これらの開示によるプロセスおよび方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せを含むことができ、様々なフォームファクタのうちのいずれをもとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施されるとき、必要なタスクを実施するためのプログラムコードまたはコードセグメント(たとえば、コンピュータプログラム製品)は、コンピュータ可読媒体または機械可読媒体に記憶され得る。プロセッサは、必要なタスクを実施することができる。フォームファクタの典型的な例は、ラップトップ、スマートフォン、モバイルフォン、タブレットデバイスまたは他の小型フォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどを含む。本明細書で説明する機能性はまた、周辺装置またはアドインカードの中で具現され得る。そのような機能性はまた、さらなる例として、異なるチップの中の回路基板上、または単一のデバイスの中で実行する異なるプロセス上で実施され得る。
【0118】
命令、そのような命令を伝えるための媒体、命令を実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明される機能を提供するための例示的な手段である。
【0119】
上記の説明では、本出願の態様はそれらの特定の例に関して説明されているが、本出願がそれらに限定されないことが、当業者には認識されよう。したがって、本出願の例示的な例が本明細書で詳細に説明されたが、本発明の概念が他の方法で様々に具現化され採用されてもよいことと、従来技術によって限定される場合を除き、添付の特許請求の範囲がそのような変形を含むものと解釈されることが意図されることとを理解されたい。上記で説明した適用例の様々な特徴および態様は、個別にまたは共同で使用され得る。さらに、例は、本明細書のより広い趣旨および範囲から逸脱することなく、本明細書で説明したものを越えた任意の数の環境および適用例において使用されてもよい。したがって、本明細書および図面は、限定的ではなく例示的であると見なされるべきである。例示のために、方法は特定の順序で説明された。代替例では、説明された順序とは異なる順序で方法が実施されてもよいことを諒解されたい。
【0120】
本明細書において使われる、未満(「<」)およびよりも大きい(「>」)という記号または用語は、本記述の範囲から逸脱することなく、それぞれ、以下(「≦」)および以上(「≧」)という記号で置き換えられることが可能であることが、当業者には諒解されよう。
【0121】
構成要素がいくつかの動作を実施する「ように構成される」ものとして説明される場合、そのような構成は、たとえば、動作を実施するように電子回路もしくは他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路(たとえば、マイクロプロセッサ、もしくは他の好適な電子回路)をプログラムすることによって、またはそれらの任意の組合せで達成することが可能である。
【0122】
「に結合された」という句は、直接もしくは間接的にのいずれかで別の構成要素に物理的に接続された任意の構成要素、および/または、直接もしくは間接的にのいずれかで別の構成要素と通信している(たとえば、ワイヤードもしくはワイヤレス接続および/または他の好適な通信インターフェースを介して別の構成要素に接続された)任意の構成要素を指す。
【0123】
セット「のうちの少なくとも1つ」および/またはセットのうちの「1つまたは複数」と記載する請求項の文言または他の文言は、セットの1つのメンバーまたはセットの(任意の組合せでの)複数のメンバーが請求項を満足することを示す。たとえば、「AおよびBのうちの少なくとも1つ」と記載する請求項の文言は、A、B、またはAおよびBを意味する。別の例では、「A、B、およびCのうちの少なくとも1つ」と記載する請求項の文言は、A、B、C、またはAおよびB、またはAおよびC、またはBおよびC、またはAおよびBおよびCを意味する。セット「のうちの少なくとも1つ」および/またはセットのうちの「1つまたは複数」という文言は、セットを、セットの中に列挙される項目に限定するものではない。たとえば、「AおよびBのうちの少なくとも1つ」を記載する請求項の文言は、A、B、またはAおよびBを意味することができ、加えて、AおよびBのセットに列挙されていない項目をさらに含むことができる。
【0124】
本明細書で開示した例に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの組合せとして実装され得る。ハードウェアとソフトウェアとのこの互換性を明瞭に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、それらの機能性に関して上記で概略的に説明されている。そのような機能性が、ハードウェアとして実装されるのか、それともソフトウェアとして実装されるのかは、具体的な適用例および全体的なシステムに課される設計制約によって決まる。当業者は、説明された機能性を具体的な適用例ごとに様々な方法で実装してもよいが、そのような実装決定は、本出願の範囲からの逸脱を引き起こすものと解釈されるべきではない。
【0125】
本明細書で説明される技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなどの、様々なデバイスのうちのいずれかにおいて実装され得る。モジュールまたは構成要素として説明される任意の特徴は、集積論理デバイスの中で一緒に、または個別であるが相互動作可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装される場合、技法は、実行されると、上で説明された方法のうちの1つまたは複数を実施する命令を含むプログラムコードを備える、コンピュータ可読データ記憶媒体によって少なくとも部分的に実現されてよい。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、FLASHメモリ、磁気または光データ記憶媒体などの、メモリまたはデータ記憶媒体を備えてよい。技法は、追加または代替として、伝搬される信号または波などの、命令またはデータ構造の形態のプログラムコードを搬送または通信するとともに、コンピュータによってアクセスされ、読み取られ、かつ/または実行され得る、コンピュータ可読通信媒体によって少なくとも部分的に実現されてよい。
【0126】
プログラムコードは、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積論理回路構成もしくは個別論理回路構成などの、1つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示に記載された技法のいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであってよいが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってよい。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されてよい。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明する技法の実装に適した任意の他の構造もしくは装置のうちのいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明する機能性は、符号化および復号のために構成された専用のソフトウェアモジュールもしくはハードウェアモジュール内に設けられてよく、または複合ビデオエンコーダデコーダ(コーデック)の中に組み込まれてよい。
【0127】
本開示の説明のための態様は、以下を含む。
【0128】
態様1:高解像度飛行時間深度画像化のための装置であって、1つまたは複数の光放出デバイスを含む投射システムであって、1つまたは複数の光放出デバイスの各光放出デバイスは、投射システムの視野(FOV)全体の少なくとも1つの部分を照射するように構成され、FOV全体は複数のFOV部分を含む、投射システムと、1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、複数の画像を連続して取り込むように構成されたセンサを含む受信システムであって、複数の画像の各画像は、複数のFOV部分のうちの1つに対応し、複数の画像の各画像に関連付けられた画像解像度は、センサのフル解像度に対応する、受信システムと、複数の画像を使って、FOV全体に関連付けられた高解像度化深度マップを生成するように構成されたプロセッサとを備える装置。
【0129】
態様2:投射システムは、複数のFOV部分の各々を連続照射順序で照射するように構成され、連続照射順序は、一度に単一のFOV部分を照射することを含み、受信システムは、連続照射順序に対応する連続受信順序で、複数の照射反射の各照射反射を受信するように、および各照射反射に基づいて、複数の画像の各画像を生成するように構成される、態様1による装置。
【0130】
態様3:複数のFOV部分の各々を連続照射順序で照射するために、投射システムは、複数のFOV部分のうちの第1のFOV部分を照射することと、第1のFOV部分に対応する第1の照射反射を受信することと、第1の照射反射を受信した後、複数のFOV部分のうちの第2のFOV部分を照射することと、第2のFOV部分に対応する第2の照射反射を受信することとを行うように構成される、態様2による装置。
【0131】
態様4:1つまたは複数の光放出デバイスは複数の光放出デバイスを含み、投射システムは複数の投射レンズを含み、複数の投射レンズの各投射レンズは、複数の光放出デバイスのうちの1つによって放出された光を、複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成される、態様1による装置。
【0132】
態様5:投射システムは、複数の投射レンズに相対して位置する1つまたは複数の拡散器を含み、1つまたは複数の拡散器は、複数の光放出デバイスによって放出された光を拡散するように構成される、態様4による装置。
【0133】
態様6:複数の投射レンズの各々は、複数の光放出デバイスの上方に位置する、態様4による装置。
【0134】
態様7:投射システムはセグメント化プリズムアレイを含み、セグメント化プリズムアレイは、複数のFOV部分の各FOV部分へ光を誘導するように構成される、態様1による装置。
【0135】
態様8:1つまたは複数の光放出デバイスは単一の光放出デバイスを含み、投射システムは走査ミラーを含み、走査ミラーは、異なる配向に配向されると、単一の光放出デバイスによって放出された光を、複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成される、態様1による装置。
【0136】
態様9:走査ミラーは微小電気機械システム(MEMS)ミラーを含む、態様8による装置。
【0137】
態様10:走査ミラーは単一の光放出デバイスの上方に位置し、走査ミラーの異なる配向の各々は、走査ミラーと単一の光放出デバイスの面との間の異なる配向角に対応する、態様8による装置。
【0138】
態様11:投射システムは、走査ミラーに相対して位置する1つまたは複数の拡散器を含み、1つまたは複数の拡散器は、単一の光放出デバイスによって放出された光を拡散するように構成される、態様8による装置。
【0139】
態様12:受信システムは画像レンズのアレイを含み、画像レンズのアレイの各画像レンズは、センサに、複数のFOV部分のそれぞれのFOV部分に対応するシーンの異なる部分に関連付けられた光を投射するように構成される、態様1による装置。
【0140】
態様13:受信システムは、センサの上方に位置するフィルタをさらに備え、フィルタは、1つまたは複数の光放出デバイスによって放出された光の周波数に対応する周波数をもつ光を送信するように構成される、態様1による装置。
【0141】
態様14:プロセッサは、複数のFOV部分のうちの特定のFOV部分を照射するように投射システムに指示する第1の制御信号を、投射システムへ送ることと、センサによって受信された照射反射を特定のFOV部分に関連付けるように受信システムに指示する第2の制御信号を、受信システムへ送ることであって、第1の制御信号と第2の制御信号は時間同期される、こととに少なくとも部分的に基づいて、投射システムと受信システムを同期させるように構成される、態様1による装置。
【0142】
態様15:複数のFOV部分のうちの第1のFOV部分は、複数のFOV部分のうちの少なくとも第2のFOV部分と部分的に重なる、態様1による装置。
【0143】
態様16:FOV全体に関連付けられた高解像度化深度マップを生成するために、プロセッサは、複数の部分的距離測定を生成することであって、複数の部分的距離測定の各々は、複数の照射反射のうちの1つに対応する、ことと、複数の部分的距離測定を組み合わせることを行う
ように構成される、態様1による装置。
ように構成される、態様1による装置。
【0144】
態様17:高解像度化深度マップの画像解像度は、センサの最大解像度を複数のFOV部分の数で乗算したものに対応する、態様1による装置。
【0145】
態様18:高解像度飛行時間深度画像化のための方法であって、投射システムの1つまたは複数の光放出デバイスを使って、投射システムの視野(FOV)全体の複数のFOV部分を照射するステップであって、1つまたは複数の光放出デバイスの各光放出デバイスは、FOV全体の少なくとも1つの部分を照射するように構成される、ステップと、1つまたは複数の光放出デバイスによって放出された光に対応する複数の照射反射に基づいて、受信システムのセンサによって、複数の画像を連続して取り込むステップであって、複数の画像の各画像は、複数のFOV部分のうちの1つに対応し、複数の画像の各画像に関連付けられた画像解像度は、センサのフル解像度に対応する、ステップと、複数の画像を使って、FOV全体に関連付けられた高解像度化深度マップを生成するステップとを含む方法。
【0146】
態様19:複数のFOV部分を照射するステップは、複数のFOV部分の各々を連続照射順序で照射するステップを含み、連続照射順序は、一度に単一のFOV部分を照射することを含み、複数の照射反射の各照射反射を受信するステップは、連続照射順序に対応する連続受信順序で各反射を受信するステップを含み、複数の照射反射の各照射反射に基づいて、複数の画像の各画像を生成するステップをさらに含む、態様18による方法。
【0147】
態様20:複数のFOV部分の各々を連続照射順序で照射するステップは、複数のFOV部分のうちの第1のFOV部分を照射するステップと、第1のFOV部分に対応する第1の照射反射を受信するステップと、第1の照射反射を受信した後、複数のFOV部分のうちの第2のFOV部分を照射するステップと、第2のFOV部分に対応する第2の照射反射を受信するステップとを含む、態様19による方法。
【0148】
態様21:1つまたは複数の光放出デバイスは複数の光放出デバイスを含み、投射システムは複数の投射レンズを含み、複数の投射レンズの各投射レンズは、複数の光放出デバイスのうちの1つによって放出された光を、複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成される、態様18による方法。
【0149】
態様22:投射システムは、複数の投射レンズに相対して位置する1つまたは複数の拡散器を含み、1つまたは複数の拡散器は、複数の光放出デバイスによって放出された光を拡散するように構成される、態様21による方法。
【0150】
態様23:複数のレンズの各々は、複数の光放出デバイスの上方に位置する、態様21による方法。
【0151】
態様24:投射システムはセグメント化プリズムアレイを含み、セグメント化プリズムアレイは、複数のFOV部分の各FOV部分へ光を誘導するように構成される、態様18による方法。
【0152】
態様25:1つまたは複数の光放出デバイスは単一の光放出デバイスを含み、投射システムは走査ミラーを含み、走査ミラーは、異なる配向に配向されると、単一の光放出デバイスによって放出された光を、複数のFOV部分のうちの異なるFOV部分に向けて投射するように構成される、態様18による方法。
【0153】
態様26:走査ミラーは微小電気機械システム(MEMS)ミラーを含む、態様25による方法。
【0154】
態様27:走査ミラーは単一の光放出デバイスの上方に位置し、走査ミラーの異なる配向の各々は、走査ミラーと単一の光放出デバイスの面との間の異なる配向角に対応する、態様25による方法。
【0155】
態様28:投射システムは、走査ミラーに相対して位置する1つまたは複数の拡散器を含み、1つまたは複数の拡散器は、単一の光放出デバイスによって放出された光を拡散するように構成される、態様25による方法。
【0156】
態様29:受信システムは画像レンズのアレイを含み、画像レンズのアレイの各画像レンズは、センサに、複数のFOV部分のそれぞれのFOV部分に対応するシーンの異なる部分に関連付けられた光を投射するように構成される、態様18による方法。
【0157】
態様30:センサの上方に位置するフィルタをさらに含み、フィルタは、1つまたは複数の光放出デバイスによって放出された光の周波数に対応する周波数をもつ光を送信するように構成される、態様18による方法。
【0158】
態様31:複数のFOV部分のうちの特定のFOV部分を照射するように投射システムに指示する第1の制御信号を、投射システムへ送ることと、センサによって受信された照射反射を特定のFOV部分に関連付けるように受信システムに指示する第2の制御信号を、受信システムへ送ることであって、第1の制御信号と第2の制御信号は時間同期される、こととに少なくとも部分的に基づいて、投射システムと受信システムを同期させるステップをさらに含む、態様18による方法。
【0159】
態様32:複数のFOV部分のうちの第1のFOV部分は、複数のFOV部分のうちの少なくとも第2のFOV部分と部分的に重なる、態様18による方法。
【0160】
態様33:FOV全体に関連付けられた高解像度化深度マップを生成するステップは、複数の部分的距離測定を生成するステップであって、複数の部分的距離測定の各々は、複数の照射反射のうちの1つに対応する、ステップと、複数の部分的距離測定を組み合わせるステップとを含む、態様18による方法。
【0161】
態様34:高解像度化深度マップの画像解像度は、センサの最大解像度を複数のFOV部分の数で乗算したものに対応する、態様18による方法。
【0162】
態様35:命令を記憶した非一時的コンピュータ可読記憶媒体であって、命令は、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、態様1～34のいずれかによる動作を実施させる、非一時的コンピュータ可読記憶媒体。
【0163】
態様36:態様1～34のうちのいずれかによる動作を実施するための手段を備える装置。
【符号の説明】
【0164】
100 画像処理システム
102 ToFシステム
104 画像センサ
106 ストレージ
108 計算構成要素
110 アプリケーションプロセッサ
112 CPU
114 GPU
116 DSP
118 ISP
120 キャッシュ
122 メモリ
130 ToFエンジン
134 画像処理エンジン
136 レンダリングエンジン
202 放出光パルス
204 反射光パルス
206 距離
210 ターゲット
222 変調光
224 反射光
402 放出光信号
404 反射光信号
500 画像処理システム
502 投射システム
504 光放出デバイス
506 光誘導デバイス
508 受信システム
510 センサ
512 照射信号
514 照射反射
516 深度マップ
518 プロセッサ
602 FOV
700 デバイス
702 ドライバ
708 光放出デバイス
710 投射レンズ
712 拡散器アレイ、拡散器
714 プリズム
716 制御信号
800 デバイス
802 ドライバ
808 光放出デバイス
810 投射レンズ、レンズ
812 拡散器
814 走査ミラー、光誘導ミラー
816 制御信号
900 デバイス
902 画像レンズ、画像レンズアレイ
910 センサ
922 フィルタ
1000 同期化ToFシステム
1002 コントローラ
1004 制御信号
1006 制御信号
1008 センサエレクトロニクス
1012 コントローラ
1016 ドライバ
1018 センサエレクトロニクス
1020 制御信号
1022 制御信号
1200 コンピューティングシステム、システム
1210 プロセッサ
1205 接続
1212 キャッシュ
1215 システムメモリ
1220 読取り専用メモリ(ROM)
1225 ランダムアクセスメモリ(RAM)
1230 記憶デバイス
1235 出力デバイス
1240 通信インターフェース
1245 入力デバイス
102 ToFシステム
104 画像センサ
106 ストレージ
108 計算構成要素
110 アプリケーションプロセッサ
112 CPU
114 GPU
116 DSP
118 ISP
120 キャッシュ
122 メモリ
130 ToFエンジン
134 画像処理エンジン
136 レンダリングエンジン
202 放出光パルス
204 反射光パルス
206 距離
210 ターゲット
222 変調光
224 反射光
402 放出光信号
404 反射光信号
500 画像処理システム
502 投射システム
504 光放出デバイス
506 光誘導デバイス
508 受信システム
510 センサ
512 照射信号
514 照射反射
516 深度マップ
518 プロセッサ
602 FOV
700 デバイス
702 ドライバ
708 光放出デバイス
710 投射レンズ
712 拡散器アレイ、拡散器
714 プリズム
716 制御信号
800 デバイス
802 ドライバ
808 光放出デバイス
810 投射レンズ、レンズ
812 拡散器
814 走査ミラー、光誘導ミラー
816 制御信号
900 デバイス
902 画像レンズ、画像レンズアレイ
910 センサ
922 フィルタ
1000 同期化ToFシステム
1002 コントローラ
1004 制御信号
1006 制御信号
1008 センサエレクトロニクス
1012 コントローラ
1016 ドライバ
1018 センサエレクトロニクス
1020 制御信号
1022 制御信号
1200 コンピューティングシステム、システム
1210 プロセッサ
1205 接続
1212 キャッシュ
1215 システムメモリ
1220 読取り専用メモリ(ROM)
1225 ランダムアクセスメモリ(RAM)
1230 記憶デバイス
1235 出力デバイス
1240 通信インターフェース
1245 入力デバイス
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図11】
【図12】
【国際調査報告】