特表2022-521093動体視覚センサおよびパターン投影を用いる３次元撮像および感知
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-05
(54)【発明の名称】動体視覚センサおよびパターン投影を用いる３次元撮像および感知
(51)【国際特許分類】
G01B 11/25 20060101AFI20220329BHJP
G06T 7/521 20170101ALI20220329BHJP
【ＦＩ】
G01B11/25 H
G06T7/521
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021548708
(86)(22)【出願日】2020-02-21
(85)【翻訳文提出日】2021-08-18
(86)【国際出願番号】 EP2020054685
(87)【国際公開番号】W WO2020169834
(87)【国際公開日】2020-08-27
(31)【優先権主張番号】62/809,557
(32)【優先日】2019-02-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/810,926
(32)【優先日】2019-02-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/965,149
(32)【優先日】2020-01-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520207608
【氏名又は名称】プロフェシー
【氏名又は名称原語表記】ＰＲＯＰＨＥＳＥＥ
【住所又は居所原語表記】７４ ｒｕｅ ｄｕ Ｆａｕｂｏｕｒｇ Ｓａｉｎｔ Ａｎｔｏｉｎｅ， ７５０１２ ＰＡＲＩＳ， ＦＲＡＮＣＥ
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】チカン，グイラウメ
(72)【発明者】
【氏名】ブランビラ，マヌエル
(72)【発明者】
【氏名】ラゴース，サヴィア
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA52
2F065BB05
2F065BB27
2F065DD06
2F065FF04
2F065GG02
2F065HH06
2F065HH07
2F065JJ03
2F065MM16
2F065PP22
2F065QQ03
2F065QQ21
2F065QQ24
2F065QQ25
2F065QQ28
2F065QQ31
2F065UU05
5L096DA01
5L096FA06
(57)【要約】
１つの実装において、画像センサから、複数の投影ラインパターンに関連付けられた電磁パルスによって生じる反射に基づき、かつ画像センサの１または複数の第１の画素に対応する１または複数の第１のイベントを検出する少なくとも１つのプロセッサを含む３次元画像感知システムが提供される。また少なくとも１つのプロセッサは、画像センサから、反射に基づき、かつ画像センサの１または複数の第２の画素に対応する１または複数の第２のイベントを検出し、１または複数の第２のイベントおよび１または複数の第１のイベントに対応するラインを識別し、識別されたラインに基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元光線を計算し、３次元光線および平面方程式に基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元像点を計算する。
【選択図】図５Ａ
【選択図】図５Ａ
【特許請求の範囲】
【請求項1】
３次元画像を検出するためのシステムであって、電磁パルスを備える複数のラインをシーン（３０５）に投影するように構成されたプロジェクタ（３０１）と、
複数の画素を備え、前記投射された複数のラインによって生じる前記シーン（３０５）内の反射を検出するように構成された画像センサ（３０９）と、
を備えるシステムにおいて、
前記検出された反射に基づき、かつ前記画像センサの１または複数の第１の画素に対応する、前記画像センサからの１または複数の第１のイベントを検出（５５１）し、
前記検出された反射に基づき、かつ前記画像センサの１または複数の第２の画素に対応する、前記画像センサからの１または複数の第２のイベントを検出（５５５）し、
前記１または複数の第２のイベントおよび前記１または複数の第１のイベントに対応する投影ラインを識別（５５９）し、
前記識別されたラインに基づいて３次元像点を計算（５６３）する
ように構成された少なくとも１つのプロセッサを更に備えることを特徴とするシステム。
【請求項2】
前記少なくとも１つのプロセッサは更に、前記識別されたラインに基づいて、前記１または複数の第１の画素および前記１または複数の第２の画素に関する３次元光線を計算（５６１）し、前記３次元光線および前記識別されたラインに関連付けられた平面方程式に基づいて、前記３次元像点を計算（５６３）するように更に構成される、請求項１に記載のシステム。
【請求項3】
前記少なくとも１つのプロセッサは更に、前記複数のラインに関連付けられた複数のパターンを決定するように構成され、前記１または複数の第１のイベントは、前記複数のラインに関連付けられた前記複数のパターンの始まりに対応し、好適には、前記１または複数の第２のイベントは、前記複数のラインに関連付けられた前記複数のパターンの終わりに対応する、請求項１に記載のシステム。
【請求項4】
前記プロジェクタは、各ラインの１または複数のドットを同時にまたは連続的に投影するように構成される、請求項１に記載のシステム。
【請求項5】
前記複数のパターンは、時間の長さで区切られた少なくとも２つの異なるパルス長、異なる時間の長さで区切られた複数のパルス、またはシンボルを符号化するために用いられる選択された周波数、位相シフト、またはデューティサイクルの少なくとも１つを有するパルスの１つを備える、請求項１～４のいずれかに記載のシステム。
【請求項6】
前記プロジェクタ（３０１）は、前記複数のラインを前記シーン内の複数の空間位置に投影するように構成され、好適には、前記複数の空間位置の少なくとも１つは、第１のパターンに対応し、前記複数の空間位置の他の少なくとも１つは、第２のパターンに対応する、請求項１～５のいずれかに記載のシステム。
【請求項7】
前記プロジェクタ（３０１）は、前記複数のラインの１または複数のドットを複数の異なる投影時間に投影するように構成され、好適には、前記投影時間の少なくとも１つは、前記１または複数の第１のイベントの少なくとも１つに対応し、前記投影時間の他の少なくとも１つは、前記１または複数の第２のイベントの少なくとも１つに対応する、請求項１～６のいずれかに記載のシステム。
【請求項8】
前記画像センサ（３０９）の各画素は、少なくとも１つの第１の感光性要素に電気接続され、前記少なくとも１つの第１の感光性要素に衝突する光の輝度の関数であるアナログ信号が条件に一致するとトリガ信号を生成するように構成された検出器
を備える、請求項１～７のいずれかに記載のシステム。
【請求項9】
前記トリガ信号に応答して少なくとも１つの第２の感光性要素に衝突する光の輝度の関数である信号を出力するように構成された前記少なくとも１つの第２の感光性要素を更に備え、好適には、前記少なくとも１つの第１の感光性要素は、前記少なくとも１つの第２の感光性要素を備え、または、前記少なくとも１つのプロセッサは更に、前記第１の感光性要素および前記第２の感光性要素の少なくとも１つから１または複数の第１の信号を受信するように構成され、前記１または複数の第１の信号は、前記条件が増加条件である場合、正極性を有し、前記条件が減少条件である場合、負極性を有し、好適には、前記少なくとも１つのプロセッサは更に、前記１または複数の第１のイベントを取得するために前記１または複数の第１の信号の極性を復号するように構成され、および／または前記少なくとも１つのプロセッサは更に、閾値を超過する時間量離れた前記１または複数の第１の信号のいずれをも、または所定の範囲内にない光帯域幅を伴う前記１または複数の第１の信号のいずれをも破棄するように構成される、請求項８に記載のシステム。
【請求項10】
前記少なくとも１つのプロセッサは更に、前記複数のパターンのうちのどのパターンが前記１または複数の第１のイベントおよび前記１または複数の第２のイベントによって表されるかに基づいて、前記平面方程式を決定し、前記複数のラインに関連付けられた複数の平面方程式を決定し、前記複数の平面方程式のうちの前記関連する平面方程式を決定するために、前記１または複数の第１のイベントおよび前記１または複数の第２のイベントに関連付けられた前記ラインを選択し、または、前記複数の光線と前記関連する平面方程式との交点に基づいて、前記３次元像点を計算するように構成され、好適には、前記複数の光線は、前記センサを起点とし、前記１または複数の第１の画素および前記１または複数の第２の画素に対応する前記シーン内の３次元点のセットを表す、請求項２～９のいずれかに記載のシステム。
【請求項11】
前記少なくとも１つのプロセッサは更に、前記１または複数の第１のイベントに基づいて１または複数のステートマシンを初期化し、前記１または複数の初期化されたステートマシンおよび前記１または複数の第１のイベントを前記１または複数の第２のイベントと連結するための候補を備えるファイナライズされたステートマシン格納するように構成され、好適には、前記少なくとも１つのプロセッサは更に、後続するイベントに関して前記候補を決定する際に前記格納されたファイナライズされたステートマシンを用いるように構成され、前記１または複数の第２のイベントを前記１または複数の第１のイベントと連結するための前記候補の決定は、前記複数のパターン、および前記格納されたファイナライズされたステートマシンの１または複数を用い、および／または、前記候補が、前記１または複数の第１のイベントを前記１または複数の第２のイベントと時間的に連結するように、前記１または複数の第２のイベントは、前記１または複数の第１のイベントの後にタイムスタンプされる、請求項１～１０のいずれかに記載のシステム。
【請求項12】
前記１または複数の第１のイベントを検出するために、前記少なくとも１つのプロセッサは更に、前記画像センサから１または複数の第１の信号を受信し、前記１または複数の第１の信号に基づいて前記１または複数の第１のイベントを検出するように構成され、または、前記１または複数の第１のイベントを検出するために、前記少なくとも１つのプロセッサは更に、前記画像センサから１または複数の第１の信号を受信するように構成され、前記１または複数の第１の信号は、前記１または複数の第１のイベントを符号化する、請求項１～１１のいずれかに記載のシステム。
【請求項13】
前記複数のラインは、幾何学線、曲線、または点線または変化する強度を有する複数の点の少なくとも１つを備える、請求項１～１２のいずれかに記載のシステム。
【請求項14】
前記少なくとも１つのプロセッサは更に、前記複数のラインの少なくとも１つの空間特性に関連する複数のシンボルを、前記複数のラインに関連付けられた複数のパターンに符号化し、
前記複数のパターンを前記シーンに投影するように前記プロジェクタに指示し、
前記１または複数の第１のイベントに基づいて、１または複数のステートマシンを初期化（５５３）し、
前記１または複数の第２のイベントを前記１または複数の第１のイベントに連結するための１または複数の候補を決定（５５７）し、
前記１または複数の候補および前記１または複数のステートマシンを用いて、前記少なくとも１つの空間特性を取得するために前記１または複数の第１のイベントおよび前記１または複数の第２のイベントを復号し、
前記センサにおける前記１または複数の第１のイベントおよび前記１または複数の第２のイベントの位置および前記少なくとも１つの空間特性に基づいて、前記１または複数の第１の画素および前記１または複数の第２の画素に関する３次元像点を計算（５６３）する
ように構成される、請求項１に記載のシステム。
【請求項15】
複数の画素を備える撮像システムであって、各画素は、
第１の感光性要素と、
請求項８に記載の３次元画像を検出するためのシステムと
を備える、撮像システム。
【請求項16】
前記少なくとも１つのプロセッサは更に、前記シーンに投影された電磁パルスを備える複数のラインに関連付けられた複数のパターンを決定するように構成され、前記複数のパターンを決定するために、前記少なくとも１つのプロセッサは、時間間隔で区切られた振幅を定めるデジタル信号を受信するように構成される、請求項１５に記載の撮像システム。
【請求項17】
前記時間間隔で区切られた前記振幅を定める前記デジタル信号は、前記複数のパターンに従って複数の電磁パルスを投影するように構成されたプロジェクタに関連付けられたコントローラから受信され、または、前記時間間隔で区切られた前記振幅を定める前記デジタル信号は、前記複数のパターンを格納している少なくとも１つの非一時的メモリから取得される、請求項１６に記載の撮像システム。
【請求項18】
前記第１の感光性要素は、１または複数の第２の感光性要素を備える、請求項１５～１７のいずれか１項に記載の撮像システム。
【請求項19】
１または複数の第２の感光性要素に衝突する光の輝度の関数である信号を出力するように構成された前記１または複数の第２の感光性要素を更に備え、好適には、前記第１の感光性要素は、前記１または複数の第２の感光性要素を備える、請求項１５に記載の撮像システム。
【請求項20】
３次元画像を検出するための方法であって、プロジェクタによってシーンに放出された電磁パルスを備える複数のラインに対応する複数のパターンを決定すること（５０１）と、
画像センサ（３０９）から、前記複数の電磁パルスによって生じる反射に基づき、かつ前記画像センサの１または複数の第１の画素に対応する１または複数の第１のイベントを検出すること（５０５）と、
前記画像センサ（３０９）から、前記反射に基づき、かつ前記画像センサの１または複数の第２の画素に対応する１または複数の第２のイベントを検出すること（５１１）と、
前記１または複数の第２のイベントおよび前記１または複数の第１のイベントに対応する投影ラインを識別すること（５５９）と、
前記識別されたラインに基づいて、前記１または複数の第１の画素および前記１または複数の第２の画素に関する３次元光線を計算すること（５６１）と、
前記３次元光線、および前記識別されたラインに対応する前記複数のラインの１つに関連付けられた平面方程式に基づいて、前記１または複数の第１の画素および前記１または複数の第２の画素に関する３次元像点を計算すること（５６３）と
を備える方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、画像感知および処理の分野に関する。限定ではなく、具体的には、本開示は、３次元撮像および感知のためのコンピュータ実装システムおよび方法に関する。本開示は更に、イベントベースの画像センサを用いる３次元画像感知に関する。本明細書に開示される画像センサおよび技術は、たとえばセキュリティシステム、自律車両、および高速かつ高効率の３次元感知および検出による利益を得る他のシステムなどの様々なアプリケーションおよび視覚システムにおいて用いられ得る。
【背景技術】
【0002】
現在存在する３次元画像感知システムは、シーンの深さマップを生成するシステムを含む。そのような感知システムは、低い空間および／または時間分解能を含む欠点を有する。またそのような３次元画像感知システムは、計算上コストが高すぎること、および／または他の処理制限を有することを含む、他の欠点にも苛まれる。
【0003】
たとえば、飛行時間型カメラシステムは一般に、深さを直接測定する。そのようなカメラにおいて、レーザプロジェクタを用いて変調信号が放出され、放出信号と、観測シーン内の物体からのその反射との間の時間シフトを測定することによって、距離が推定される。実装に依存して、飛行時間型システムは、通常、毎秒最大６０深度画像を生成する。しかし、多くの飛行時間型カメラは、低い空間分解能（たとえば１００，０００画素以下）を有する。また、レーザプロジェクタの使用により、飛行時間型カメラが、高域および高い空間分解能を保持しながら低電力アプリケーションで用いられることはできない。
【0004】
ステレオカメラは、１つのビューからの点を他のビュー内の点と一致させることが可能であるという概念に基づく。２つのカメラの相対点を用いて、ステレオカメラは、空間内の点の３次元位置を推定する。しかし、ステレオカメラは一般に、陰影のある環境から検出された点のみが測定され得ることにより、限られた画像密度を有する。また、ステレオカメラは、計算上コストが高いので、低い時間分解能に苛まれると共に、低電力アプリケーションでの使用において制限される。
【0005】
構造化光カメラは、ステレオカメラと同様に機能するが、第２のカメラの代わりにパターンプロジェクタを用いる。投影パターンを定めることによって、構造化光カメラは、第２のカメラを用いることなく三角測量を行い得る。構造化光ソリューションは、通常、高い空間分解能（たとえば最大３００，０００画素）を有する。しかし、構造化光カメラは、計算上コストが高く、および／または一般に低い時間分解能（たとえば約３０ｆｐｓ）に苛まれる。時間分解能は高められ得るが、空間分解能が犠牲になる。飛行時間型カメラと同様、構造化光カメラは、低電力アプリケーションでの使用において制限される（たとえば、範囲および空間分解能において制限される）。
【0006】
能動ステレオ画像センサは、受動ステレオおよび構造化光技術を併用する。特に、プロジェクタは、２つのカメラによって認識され得るパターンを投影する。両方の画像内のパターンを一致させることにより、三角測量によって一致点における深さの推定が可能である。能動ステレオは、たとえば屋外環境、長距離モードなど、パターンが容易に復号され得ない状況において、受動ステレオに逆戻りし得る。その結果、能動ステレオは、構造化光技術およびステレオ技術と同様、低い時間分解能に苛まれると共に、低電力アプリケーションでの使用において制限される。
【0007】
イベントベースのカメラを統合するいくつかの構造化光システムが開発されてきた。これらのシステムにおいて、レーザビームは、所与の周波数で単一の点滅ドットを投影する。カメラはその後、点滅ドットによって生じるコントラストの変化を検出してよく、イベントベースのカメラは、非常に高い時間精度でそのような変化を検出し得る。レーザの所与の周波数におけるコントラストの変化を検出することにより、システムは、シーン内の他のイベントから、点滅ドットによって生成されたイベントを区別することが可能である。いくつかの実装において、投影されたドットは２つのカメラによって検出され、点滅ドットに対応する点における深さは、三角測量を用いて再構成される。本出願者であるプロフェシー社によって開発された他のシステムにおいて、プロジェクタは、パターンまたはシンボルを、シーン内に投影されたドットパルスに符号化してよい。イベントベースの画像センサは、その後、シーンから反射した同じパターンまたはシンボルを検出し、シーン内の対応する点における深さを決定するために、パターンが投影された位置およびパターンが検出された位置を用いて三角測量を行ってよい。
【0008】
画像内のランダムな位置において一度に１つのドットしか投影しない場合、時間分解能は、用いられたドット位置の数と直接関係して減少する。また、複数のドットを同時に投影するようにシステムが実装された場合でも、時間コード全体が復号されるまで、シーンは安定する必要があり得る。したがって、このアプローチは、動的シーンを再構成することができない場合がある。
【発明の概要】
【0009】
本開示の実施形態は、上述した欠点に対処するコンピュータ実装システムおよび方法を提供する。本開示において、たとえば計算効率が良いこと、ならびに動的シーンに対応することなどの利点を有する３次元画像感知のためのシステムおよび方法が提供される。本実施形態の場合、生成されたデータは、深さ情報を含み、たとえば点群として、シーンの３次元再構成を可能にし得る。加えて、本開示の実施形態は、他の高電力ソリューションに匹敵する、またはそれよりも高い品質のデータを提供しながらも、たとえば拡張現実、ロボット工学などの低電力アプリケーションにおいて用いられ得る。
【0010】
本開示の実施形態は、電磁パルスのパターンを備えるラインを投影し、画像センサにおけるそれらのパターンの反射を受信し得る。いくつかの実施形態において、プロジェクタ（たとえばレーザプロジェクタ）は、投影ラインを曲線に変形させ得る。したがって、全体を通して用いられる場合、「ライン」は、幾何学線または曲線を指してよい。また、ラインは、ラインが点線などを備え得るように、変化する強度を有する複数のドットを備えてよい。パターンは、プロジェクタの空間座標にインデックスを付けてよく、画像センサは、反射を受信する画素（複数も可）の位置（複数も可）で、受信された反射にインデックスを付けてよい。したがって、本開示の実施形態は、プロジェクタおよび画素（複数も可）の空間座標に基づいて深さを三角測量し得る。
【0011】
ラインを用いることによって、本開示の実施形態は、ドットベースのアプローチに比べて高速かつ高い密度であり得る。また、ラインは、ドットと比べてプロジェクタのために必要な制御信号が少なく、電力消費を低減し得る。
【0012】
動的シーンを考慮するために、本開示の実施形態は、ステートマシンを用いて、投影ラインに対応する反射曲線を識別してよい。加えて、いくつかの実施形態において、ステートマシンは更に、画像センサの画素にわたり移動する受信パターンを時間的に追跡してよい。よって、異なる画素がパターンの異なる部分を受信する場合でも、深さが計算され得る。したがって、本開示の実施形態は、上述したように現在存在する技術によって示された技術的問題を解決し得る。
【0013】
本開示の実施形態は、より高い時間分解能も提供し得る。たとえば、捕捉画像における一致点ではなく既知のパターン（たとえば、格納されたパターンおよび／またはパターンのプロジェクタから三角測量を行うプロセッサに提供されたパターン）の三角測量を用いることによって、レイテンシが低く維持される。また、ステートマシンの使用は、レイテンシを犠牲にすることなく精度を高めることができる。生のレーザラインスイープと比べて、本開示の実施形態は、レイテンシおよびジッタへの感度を低減し得る。また、本開示の実施形態は、環境光と投影ラインからの反射との区別における精度を高め得る。
【0014】
いくつかの実施形態において、時間分解能は、イベントベースの画像センサを用いることによって、更に高められ得る。そのようなセンサは、閾値を超過する画素における照明の変化に基づいてシーン内のイベントを捕捉し得る。非同期センサは、生成されるデータの量を低減しながら、シーン内に投影されたパターンを検出し得る。したがって、時間分解能が高められ得る。
【0015】
また、いくつかの実施形態において、イベントベースの画像センサの使用によるデータの低減は、各画素における光サンプリングレートを、たとえば毎秒３０回または毎秒６０回（すなわち、一般的なＣＭＯＳ画像センサのフレームレート）から、たとえば毎秒１，０００回、毎秒１０，０００回、それ以上などのより高いレートに高めることを可能にし得る。より高い光サンプリングレートは、現在存在する技術と比べて、パターン検出の精度を高める。
【0016】
１つの実施形態において、３次元画像を検出するためのシステムは、電磁パルスを備える複数のラインをシーンに投影するように構成されたプロジェクタと、複数の画素を備え、投影された複数のラインによって生じるシーン内の反射を検出するように構成された画像センサと、少なくとも１つのプロセッサとを備えてよい。少なくとも１つのプロセッサは、検出された反射に基づき、かつ画像センサの１または複数の第１の画素に対応する、画像センサからの１または複数の第１のイベントを検出し、検出された反射に基づき、かつ画像センサの１または複数の第２の画素に対応する、画像センサからの１または複数の第２のイベントを検出し、１または複数の第２のイベントおよび１または複数の第１のイベントに対応する投影ラインを識別するように構成され得る。また、いくつかの実施形態において、少なくとも１つのプロセッサは、識別されたラインに基づいて３次元像点を計算するように構成され得る。また更に、少なくとも１つのプロセッサは、識別されたラインに基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元光線を計算し、３次元光線および識別されたラインに関連付けられた平面方程式に基づいて、３次元像点を計算するように構成され得る。追加または代替として、３次元像点は、曲面方程式を用いて計算され得る。
【0017】
そのような実施形態において、少なくとも１つのプロセッサは更に、複数のラインに関連付けられた複数のパターンを決定するように構成され得る。また、１または複数の第１のイベントは、複数のラインに関連付けられた複数のパターンの始まりに対応してよい。また、１または複数の第２のイベントは、複数のラインに関連付けられた複数のパターンの終わりに対応してよい。
【0018】
これらの実施形態のいずれにおいても、プロジェクタは、各ラインの１または複数のドットを同時に投影するように構成され得る。あるいは、プロジェクタは、各ラインの１または複数のドットを連続的に投影するように構成され得る。
【0019】
これらの実施形態のいずれにおいても、複数のパターンは、時間の長さで区切られた少なくとも２つの異なるパルス長を備えてよい。追加または代替として、複数のパターンは、異なる時間の長さで区切られた複数のパルスを備えてよい。追加または代替として、複数のパターンは、シンボルを符号化するために用いられる選択された周波数、位相シフト、またはデューティサイクルの少なくとも１つを有するパルスを備えてよい。
【0020】
これらの実施形態のいずれにおいても、プロジェクタは、複数のラインをシーン内の複数の空間位置に投影するように構成され得る。また、空間位置の少なくとも１つは、第１のパターンに対応してよく、空間位置の他の少なくとも１つは、第２のパターンに対応してよい。
【0021】
これらの実施形態のいずれにおいても、プロジェクタは、複数のラインの１または複数のドットを複数の異なる投影時間に投影するように構成され得る。また、投影時間の少なくとも１つは、１または複数の第１のイベントの少なくとも１つに対応してよく、投影時間の他の少なくとも１つは、１または複数の第２のイベントの少なくとも１つに対応してよい。
【0022】
これらの実施形態のいずれにおいても、画像センサの各画素は、少なくとも１つの第１の感光性要素に電気接続され、少なくとも１つの第１の感光性要素に衝突する光の輝度の関数であるアナログ信号が条件に一致するとトリガ信号を生成するように構成された検出器を備えてよい。いくつかの実施形態において、トリガ信号に応答して少なくとも１つの第２の感光性要素に衝突する光の輝度の関数である信号を出力するように構成された少なくとも１つの第２の感光性要素が提供され得る。また更に、少なくとも１つの第１の感光性要素は、少なくとも１つの第２の感光性要素を備えてよい。これらの実施形態のいずれかにおいて、少なくとも１つのプロセッサは、第１の感光性要素および第２の感光性要素の少なくとも１つから１または複数の第１の信号を受信してよく、１または複数の第１の信号は、条件が増加条件である場合、正極性を有し、条件が減少条件である場合、負極性を有してよい。したがって、少なくとも１つのプロセッサは更に、１または複数の第１のイベントまたは１または複数の第２のイベントを取得するために、１または複数の第１の信号の極性を復号するように構成され得る。追加または代替として、少なくとも１つのプロセッサは更に、閾値を超過する時間量離れた１または複数の第１の信号のいずれをも、または所定の範囲内にない光帯域幅を伴う前記１または複数の第１の信号のいずれをも破棄するように構成され得る。
【0023】
これらの実施形態のいずれにおいても、少なくとも１つの第１の感光性要素は、少なくとも１つの第２の感光性要素を備えてよい。いくつかの実施形態と一貫して、条件検出器からのイベントのみが画像センサによって出力されるように、露光測定回路は取り除かれ得る。したがって、第１および第２の感光性要素は、条件検出器によってのみ用いられる単一の要素を備えてよい。
【0024】
あるいは、少なくとも１つの第１の感光性要素および少なくとも１つの第２の感光性要素は、少なくとも部分的に、個別の要素であってよい。
【0025】
これらの実施形態のいずれにおいても、システムは更に、所定の範囲内にない波長を伴う任意の反射を遮断するように構成された光学フィルタを備えてよい。
【0026】
これらの実施形態のいずれにおいても、複数のパターンは、電磁パルスに符号化された固有シンボルのセットを備えてよい。あるいは、複数のパターンは、電磁パルスに符号化された半固有シンボルのセットを備えてよい。たとえば、シンボルは、幾何学的に画定された空間内で固有であってよい。そのような実施形態において、幾何学的に画定された空間は、複数のラインの１つを備えてよい。
【0027】
これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、複数のパターンのうちのどのパターンが１または複数の第１のイベントおよび１または複数の第２のイベントによって表されるかに基づいて、平面方程式を決定するように構成され得る。追加または代替として、少なくとも１つのプロセッサは、複数のラインに関連付けられた複数の平面方程式を決定し、複数の平面方程式のうちの関連する平面方程式を決定するために、１または複数の第１のイベントおよび１または複数の第２のイベントに関連付けられた前記ラインを選択するように構成され得る。
【0028】
これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、複数の光線と、関連する平面方程式との交点に基づいて、３次元像点を計算するように構成され得る。そのような実施形態において、複数の光線は、センサを起点とし、１または複数の第１の画素および１または複数の第２の画素に対応するシーン内の３次元点のセットを表してよい。
【0029】
たとえば、３次元（３Ｄ）空間への直線の投影は、対応する平面方程式がａ’Ｘ＋ｂ’Ｙ＋ｃ’Ｚ＋ｄ’＝０（式１）を備え得る３Ｄ平面に対応し、式中、Ｘ、Ｙ、およびＺは、３Ｄ空間内の平面上に存在する点の座標であり、ａ’、ｂ’、ｃ’、およびｄ’は、平面を定める定数である。原点は、位置（０，０，０）におけるカメラの光学中心である。ｉ番目の画素行およびｊ番目の画素列に位置するセンサ上の画素（ｉ，ｊ）に関して、３Ｄ空間内の画素位置は、センサ較正パラメータ（ｘ，ｙ，ｆ）を用いて識別されてよく、ここでｆは、ピンホールカメラモデルに準拠する焦点距離である。センサ上の（ｉ，ｊ）に投影する全ての３Ｄ点は、（ｘ，ｙ，ｆ）および光学中心（０，０，０）を通過する３Ｄ光線上にある。光線上の全ての３Ｄ点に関して、次の式（式２）
によって定義されるスカラー定数λが存在する。プロジェクタからの３Ｄ平面とカメラからの３Ｄ光線との交点において３Ｄ点を三角測量するために、
のように式２が式１に挿入されてよく、その結果、
かつ
となる。
【数1】
【数2】
【数3】
【数4】
【0030】
いくつかの実施形態において、投影は、３Ｄ空間内への曲線である。これはもはや平面ではなく、曲面である。したがって、上述した平面方程式に基づくものではなく、他の三角測量演算が用いられ得る。たとえば、一般方程式
の二次曲面モデルが用いられてよく、式中、Ｑは３×３の行列であり、Ｐは３次元行ベクトルであり、Ｒはスカラー定数である。カメラからの３Ｄ光線と３Ｄ表面との交点における３Ｄ点の三角測量は、式２を二次曲面方程式に挿入し、λを解くことによって可能である。
【数5】
【0031】
これらの実施形態のいずれにおいても、少なくとも１つのプロセッサは、１または複数の第１のイベントに基づいて１または複数のステートマシンを初期化するように構成され得る。また更に、少なくとも１つのプロセッサは、記憶デバイスのメモリ内に、１または複数の初期化されたステートマシンおよび１または複数の第１のイベントを１または複数の第２のイベントと連結するための候補を備えるファイナライズされたステートマシンを格納するように構成され得る。したがって、少なくとも１つのプロセッサは更に、後続するイベントに関する候補を決定する際に、格納されたステートマシンを用いるように構成され得る。
【0032】
これらの実施形態のいずれにおいても、１または複数の第２のイベントを１または複数の第１のイベントと連結するための候補の決定は、複数のパターンおよび１または複数の格納されたステートマシンを用いてよい。追加または代替として、候補が１または複数の第１のイベントを１または複数の第２のイベントと時間的に連結するように、１または複数の第２のイベントは、１または複数の第１のイベントの後にタイムスタンプされ得る。
【0033】
これらの実施形態のいずれにおいても、１または複数の第１のイベントの検出は、画像センサから１または複数の第１の信号を受信することと、１または複数の第１の信号に基づいて１または複数の第１のイベントを検出することとを備えてよい。追加または代替として、１または複数の第１のイベントの検出は、画像センサから１または複数の第１の信号を受信することを備えてよく、１または複数の第１の信号は、１または複数の第１のイベントを符号化する。
【0034】
１つの実施形態において、撮像システムは、複数の画素および少なくとも１つのプロセッサを備えてよい。各画素は、第１の感光性要素と、第１の感光性要素に電気接続され、第１の感光性要素に衝突する光の輝度の関数であるアナログ信号が条件に一致する場合、トリガ信号を生成するように構成された検出器とを備えてよい。任意選択的に、１または複数の第２の感光性要素に衝突する光の輝度の関数である信号を出力するように構成された１または複数の第２の感光性要素も提供され得る。いくつかの実施形態において、少なくとも１つのプロセッサは、シーンから検出された反射に基づき、かつ検出器からのトリガ信号に応答し、複数の画素のうちの１または複数の第１の画素に対応する、１または複数の第２の感光性要素からの１または複数の第１のイベントを検出し、１または複数の第１のイベントに基づいて１または複数のステートマシンを初期化し、シーンから検出された反射に基づき、かつ検出器からのトリガ信号に応答し、受信した第２の信号に基づく複数の画素のうちの１または複数の第２の画素に対応する、１または複数の第２の感光性要素からの１または複数の第２のイベントを検出し、１または複数の第２のイベントを１または複数の第１のイベントと連結するための１または複数の候補を決定し、１または複数の候補を用いて、１または複数の第２のイベントおよび１または複数の第１のイベントに対応する投影ラインを識別するように構成され得る。また、いくつかの実施形態において、少なくとも１つのプロセッサは、識別されたラインに基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元光線を計算し、３次元光線に基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元像点を計算するように構成され得る。いくつかの実施形態において、３次元像点は更に、識別されたラインに対応するシーンに投影されたラインに関連付けられた平面方程式に基づいて計算され得る。他の実施形態において、曲線および上述した二次曲面方程式に基づく三角測量演算が用いられ得る。
【0035】
そのような実施形態において、少なくとも１つのプロセッサは更に、シーンに投影された電磁パルスを備える複数のラインに関連付けられた複数のパターンを決定するように構成されてよく、複数のパターンを決定することは、時間間隔で区切られた振幅を定めるデジタル信号を受信することを備えてよい。たとえば、時間間隔で区切られた振幅を定めるデジタル信号は、複数のパターンに従って複数の電磁パルスを投影するように構成されたプロジェクタに関連付けられたコントローラから受信され得る。追加または代替として、時間間隔で区切られた振幅を定めるデジタル信号は、パターンを格納している少なくとも１つの非一時的メモリから取得され得る。
【0036】
上述した実施形態のいずれにおいても、第１の感光性要素は、１または複数の第２の感光性要素を備えてよい。また、いくつかの実施形態において、第２の感光性要素は存在しない。
【0037】
１つの実施形態において、３次元画像を検出するための方法は、プロジェクタによってシーンに放出された電磁パルスを備える複数のラインに対応する複数のパターンを決定することと、画像センサから、複数の電磁パルスによって生じる反射に基づき、かつ画像センサの１または複数の第１の画素に対応する１または複数の第１のイベントを検出することと、１または複数の第１のイベントに基づいて１または複数のステートマシンを初期化することと、画像センサから、反射に基づき、かつ画像センサの１または複数の第２の画素に対応する１または複数の第２のイベントを検出することと、１または複数の第２のイベントを１または複数の第１のイベントと連結するための１または複数の候補を決定することと、１または複数の候補を用いて、１または複数の第２のイベントおよび１または複数の第１のイベントに対応する投影ラインを識別することと、識別されたラインに基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元光線を計算することと、３次元光線、および識別されたラインに対応する複数のラインの１つに関連付けられた平面方程式に基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元像点を計算することと、を備えてよい。
【0038】
１つの実施形態において、３次元画像を検出するためのシステムは、電磁パルスを備える複数のラインをシーンに投影するように構成されたプロジェクタと、複数の画素を備え、投影された複数のラインによって生じるシーン内の反射を検出するように構成された画像センサと、少なくとも１つのプロセッサとを備えてよい。少なくとも１つのプロセッサは、複数のラインの少なくとも１つの空間特性に関連する複数のシンボルを、複数のラインに関連付けられた複数のパターンに符号化し、複数のパターンをシーンに投影するようにプロジェクタに指示し、検出された反射に基づき、かつ画像センサの１または複数の第１の画素に対応する１または複数の第１のイベントを検出し、１または複数の第１のイベントに基づいて、１または複数のステートマシンを初期化し、検出された反射に基づき、かつ画像センサの１または複数の第２の画素に対応する１または複数の第２のイベントを検出し、１または複数の第２のイベントを１または複数の第１のイベントに連結するための１または複数の候補を決定し、１または複数の候補および１または複数のステートマシンを用いて、少なくとも１つの空間特性を取得するために１または複数の第１のイベントおよび１または複数の第２のイベントを復号し、センサにおける１または複数の第１のイベントおよび１または複数の第２のイベントの位置および少なくとも１つの空間特性に基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元像点を計算するように構成され得る。
【0039】
本開示の追加の目的および利点は、以下の詳細な説明において部分的に記載され、説明から部分的に明らかになり、または本開示の実施によって習得され得る。本開示の目的および利点は、特許請求の範囲において具体的に指示された要素および組み合わせによって実現および達成される。
【0040】
上記概要および以下の詳細な説明は、典型的かつ説明的なものにすぎず、開示される実施形態を限定するものではないことが理解される。
【0041】
本明細書の一部を備える添付図面は、様々な実施形態を例示し、説明と共に、開示される実施形態の原理および特徴を解説する役割を果たすものである。
【図面の簡単な説明】
【0042】
【図1A】本開示の実施形態に係る、典型的なムーアステートマシンの概略図である。
【図1B】本開示の実施形態に係る、典型的なミーリーステートマシンの概略図である。
【図2A】本開示の実施形態に係る、典型的な画像センサの概略図である。
【図2B】本開示の実施形態に係る、典型的な非同期画像センサの概略図である。
【図3A】本開示の実施形態に係る、画像センサと共にパターンプロジェクタを用いるシステムの概略図である。
【図3B】本開示の実施形態に係る、光線の交差および関連する平面方程式を用いて３次元像点を決定するグラフィック表現である。
【図4A】本開示の実施形態に係る、ステートマシンによって変換される電磁パターン例の概略図である。
【図4B】本開示の実施形態に係る、ステートマシンを用いて曲線を識別するグラフィック表現である。
【図5A】本開示の実施形態に係る、３次元画像を検出するための典型的な方法のフローチャートである。
【図5B】本開示の実施形態に係る、３次元画像を検出するための他の典型的な方法のフローチャートである。
【図6】本開示の実施形態に係る、典型的なステートマシン復号のグラフィック図である。
【図7】本開示の実施形態と合致する、画像センサからクラスタにイベントを接続するための典型的な方法のフローチャートである。
【図8】本開示の実施形態に係る、検出された振幅変化を用いる典型的なシンボル符号化のグラフィック図である。
【図9】本開示の実施形態と合致する、イベントバーストを検出するための典型的な方法のフローチャートである。
【発明を実施するための形態】
【0043】
開示される実施形態は、たとえば１または複数の直線パターンなどの投影された光パターンの反射を感知することによって３次元画像を捕捉するためのシステムおよび方法に関する。また開示される実施形態は、３次元撮像のために、たとえば同期または非同期画像センサなどの画像センサを用いるための技術にも関する。有利な点として、典型的な実施形態は、高速かつ高効率の３次元画像感知を提供し得る。本開示の実施形態は、たとえば自律車両、ロボット工学、拡張現実、および高速かつ高効率の３次元画像検出による利益を得る他のシステムなどの様々なアプリケーションおよび視覚システムにおいて実施および使用され得る。
【0044】
本開示の実施形態は、ハードウェア、ソフトウェア、および／またはファームウェアの任意の適当な組み合わせによって実装され得る。本開示の構成要素および特徴は、ハードウェアプロセッサによって実行されるプログラマブル命令で実現され得る。いくつかの実施形態において、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、本明細書に開示される動作および方法を行うために少なくとも１つのプロセッサによって実行され得る。非一時的媒体の共通形態は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光学データ記憶媒体、ホールパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭまたは他の任意のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、他の任意のメモリチップまたはカートリッジ、およびそれらのネットワーク化バージョンを含む。いくつかの実施形態において、本開示と合致するシステムは、１または複数のプロセッサ（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェース、および／またはメモリを含んでよい。ネットワーク化構成において、システムと通信している１または複数のサーバおよび／またはデータベースが提供され得る。
【0045】
本開示の実施形態は、一般に画像センサを参照して本明細書で説明されるが、そのようなシステムは、カメラ、ＬＩＤＡＲ、または他の撮像システムの一部であってよいことが理解される。また、いくつかの実施形態は、（たとえばレーザプロジェクタなどの）プロジェクタと組み合わせて説明されるが、そのような構成要素は、本明細書で説明される画像センサおよび／またはプロセッサから独立してよいことが理解される。
【0046】
本開示の実施形態は、シーンに投影されたラインに対応する曲線に沿って反射を連結するためにステートマシンを用いてよい。追加または代替として、本開示の実施形態は、画像センサの１または複数の画素にわたる反射を追跡するためにステートマシンを用いてよい。したがって、ステートマシンは、投影された光パターンラインの、追跡された反射への変換を記述することにより、シーンの任意の動的部分ならびに静的部分の再生を可能にし得る。本開示と合致するステートマシンは、ハードウェア、ソフトウェア、および／またはファームウェアの任意の適当な組み合わせによって実装され得る。
【0047】
本明細書で用いられる場合、「パターン」は、１または複数の特性を有する光パルスの任意の組み合わせを指してよい。たとえば、パターンは、時間の長さで区切られた少なくとも２つの異なる振幅、時間の長さで区切られた少なくとも２つの異なる波長、時間の長さで区切られた少なくとも２つの異なるパルス長、様々な時間の長さで区切られた複数のパルスなどを備えてよい。また、パターンは、（たとえば、図７の実施形態例に関して後述するように）シンボルを符号化するために用いられる周波数、位相シフト、またはデューティサイクルの少なくとも１つを有してよい。したがって、「パターン」は規則的である必要はなく、パターンを形成するパルスの不規則な組み合わせを備えてよい。
【0048】
図１Ａは、本開示の実施形態と合致する、典型的なムーアステートマシン１００の概略図である。図１Ａの例において、入力（たとえば入力１０１ａおよび１０１ｂ）が特定の条件（たとえば条件１０５ａおよび１０５ｂ）を満たすかに依存して、１または複数の状態（たとえば状態１０３ａおよび１０３ｂ）が異なる状態（たとえば状態１０７ａおよび１０７ｂ）に変わってよい。追加の状態は、新たな条件に対して過去の状態からの出力を試験してよく、または、異なる出力（たとえば出力１０９ａおよび１０９ｂ）を生成してよい。
【0049】
図１Ｂは、本開示の実施形態と合致する、典型的なミーリーステートマシン１５０の概略図である。図１Ｂのミーリーステートマシン１５０は、図１Ａのムーアステートマシン１００と同等である。ミーリーステートマシン１５０は、ムーアステートマシン１００と異なり、状態への入力に直接基づいて状態を変更してよい。したがって、図１Ａの状態１０３ａおよび１０３ｂは、図１Ｂの状態１５３に置き換えられ得る。
【0050】
たとえば図１Ａおよび図１Ｂに示すようなステートマシンは、１つの状態から他の状態への任意の条件ベースの変換を説明するために用いられ得る。したがって、本開示の実施形態は、たとえばラインなどの投影された光パターンを、たとえば画像センサの画素上に形成された予想曲線などの、投影された光パターンからの反射によって生じる画像センサの１または複数の状態に変換するステートマシンを探索し得る。したがって、これらのステートマシンは、投影パターンを再構成（および復号）するために、画素にわたり反射の様々な部分を連結する。また、ステートマシンは、反射が時間内に動く場合、画素にわたり反射の一部を連結してよい。したがって、ステートマシンは、時間的ならびに空間的にイベントを連結してよい。その結果、本開示の実施形態は、シーン内に物理的動態（たとえば、シーン内の１または複数の物体による並進運動、シーン内の１または複数の物体による回転運動、シーン内の１または複数の物体の照度または反射率の増加など）が存在する場合にも投影パターンを識別し得る。
【0051】
図２Ａは、本開示の実施形態と合致する、３次元撮像システムにおいて用いるための画像センサ画素２００の概略図である。画素２００は、アレイ（たとえば、配列された画素によって形成された正方形、円形、または他の任意の長方形または不規則形）内の複数の画素の１つであってよい。
【0052】
本明細書で用いられる場合、「画素」は、画素に衝突する光に基づいてデータを出力する画像センサの最小要素を指す。いくつかの実施形態において、画素は、たとえば後述する図２Ｂに示すように、２つ以上の感光性要素、他の回路などを含み得るので、より大きく、またはより多い数の構成要素を含んでよい。
【0053】
本開示は、単一の画素において受信されている投影パターンによって生じる反射を参照するが、投影パターンは、複数の画素をカバーし、複数の画素によって受信されるために、十分な数の光子を含んでよい。したがって、本明細書で説明される三角測量は、複数の画素の平均位置に基づいてよく、および／または、複数の画素の各々の位置を含む複数の三角測量を備えてよい。
【0054】
図２Ａに示すように、感光性要素２０１は、要素２０１に衝突する光の輝度に基づいて電気信号（たとえば電圧、電流など）を生成してよい。本明細書で用いられる場合、感光性要素は、フォトダイオード（たとえばｐ－ｎ接合またはＰＩＮ構造）、または光を電気信号に変換するように構成された他の任意の要素を備えてよい。フォトダイオードは、フォトダイオードに衝突する光の強度に比例して、またはその関数として電流（たとえばｌｐｈ）を生成してよい。
【0055】
更に図２Ａに示すように、測定回路２０５は、要素２０１からの電流を、読出しのためのアナログ信号に変換してよい。測定回路２０５は、外部制御信号（たとえば外部クロックサイクル）に応答してアクティブ化してよい。追加または代替として、測定回路２０５は、要素２０１からの信号を、外部制御信号が受信されるまで（たとえば、画素２００によってアクセスされるオンチップおよび／またはオフチップメモリ（不図示）に）格納されるアナログ信号に変換してよい。外部制御信号に応答して、測定回路２０５は、格納されたアナログ信号（図２Ａにおける「ｄｉｇ ｐｉｘデータ」）を読出しシステムへ送信してよい。
【0056】
図２Ａには示されないが、画素２００を用いる画像センサは、上述したように、クロックサイクルに従って画素のアレイがトリガされるように、行および列アービタまたは他のタイミング回路を含んでよい。また、タイミング回路は、衝突が回避されるように、上述したような読出しシステムへのアナログ信号の送信を管理してよい。読出しシステムは、画素アレイからのアナログ信号を、３次元撮像において用いるためのデジタル信号に変換してよい。
【0057】
図２Ｂは、３次元撮像システムにおいて用いるための画像センサ画素２５０の概略図である。画素２５０は、アレイ（たとえば、配列された画素によって形成された正方形、円形、または他の任意の長方形または不規則形）内の複数の画素の１つであってよい。
【0058】
図２Ｂに示すように、感光性要素２５１は、要素２５１に衝突する光の輝度に基づいて電気信号を生成してよい。画素２５０は、条件検出器２５５（ＣＤ）を更に含んでよい。図２Ｂの例において、検出器２５５は、感光性要素２５１（ＰＤＣＤ）に電気接続され、感光性要素２５１に衝突する光の輝度の関数であるアナログ信号が条件に一致すると、（図２Ｂの例において「トリガ」と付記された）トリガ信号を生成するように構成される。たとえば、条件は、アナログ信号が閾値（たとえば電圧または電流レベル）を超過するかを備えてよい。アナログ信号は、電圧信号または電流信号を備えてよい。
【0059】
図２Ｂの例において、感光性要素２５３は、要素２５３に衝突する光の輝度に基づいて電気信号を生成してよい。画素２５０は、露光測定回路２５７を更に含んでよい。図２Ｂの例において、露光測定回路２５７は、感光性要素２５３（ＰＤＥＭ）に衝突する光の輝度の関数である測定値を生成するように構成され得る。露光測定回路２５７は、図２Ｂに示すように、トリガ信号に応答して測定値を生成してよい。図２Ｂにおいて、露光測定回路２５７を用いるものとして説明されるが、いくつかの実施形態は、感光性要素２５３から直接（たとえば制御および読出しシステム２５９を用いて）測定値を読み取り、露光測定回路２５７を省いてよい。
【0060】
いくつかの実施形態において、露光測定回路２５７は、アナログデジタル変換器を含んでよい。そのような実施形態の例は、２０１８年６月２７日に出願された、“Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ－Ｐｉｘｅｌｓ”と題された米国仮特許出願第６２／６９０，９４８号、および２０１８年１２月１７日に出願された、“Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ－Ｐｉｘｅｌｓ”と題された米国仮特許出願第６２／７８０，９１３号において開示される。これらの出願の開示は、参照によって本明細書に完全に組み込まれる。そのような実施形態において、露光測定回路２５７は、測定が完了し、および／または外部読出しシステムへ送信されると、（たとえば、図２Ｂには示されない「クリア」信号を用いて）条件検出器２５５をリセットしてよい。
【0061】
いくつかの実施形態において、露光測定回路２５７は、測定値を読出しおよび制御システム２５９へ非同期的に出力してよい。これは、たとえば、非同期イベント読出し（ＡＥＲ）通信プロトコルまたは他の適当なプロトコルを用いて行われ得る。他の実施形態において、露光測定回路２５７からの読出しは、（たとえば図２Ｂにおいて「制御」と付記された）外部制御信号を用いて計時され得る。また、図２Ｂに示すように、いくつかの実施形態において、検出器２５９からのトリガもまた、たとえば非同期イベント読出し（ＡＥＲ）通信プロトコルまたは他の適当なプロトコルを用いて読出しおよび制御システム２５９へ出力され得る。
【0062】
図２Ｂに示される画素２５０の例は、米国特許第８，７８０，２４０号および米国特許第９，９６７，４７９号において開示される。これらの特許は、参照によって本明細書に組み込まれる。
【0063】
感光性要素２５１および２５３は、異なる感光性要素として示されるが、いくつかの実施形態において、条件検出器２５５と露光測定回路２５７との間で共有される単一の要素を備えてよい。そのような実施形態の例は、２０１８年４月３０日に出願された、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ａｓｙｎｃｈｒｏｎｏｕｓ， Ｔｉｍｅ－Ｂａｓｅｄ Ｉｍａｇｅ Ｓｅｎｓｉｎｇ”と題された欧州特許出願第１８１７０２０１．０号において開示される。この出願の開示は、参照によって本明細書に組み込まれる。
【0064】
また、１つの条件検出器および１つの露光測定回路で示されるが、いくつかの実施形態は、トリガ信号によって複数の測定値が捕捉されるように、条件検出器を共有する複数の露光測定回路を含んでよい。そのような実施形態の例は、２０１８年６月２７日に出願された、“Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ－Ｐｉｘｅｌｓ”と題された米国仮特許出願第６２／６９０，９４８号、および２０１８年１２月１７日に出願された、“Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｓｕｐｅｒ－Ｐｉｘｅｌｓ”と題された米国仮特許出願第６２／７８０，９１３号において開示される。これらの出願の開示は、参照によって本明細書に組み込まれる。
【0065】
他の実施形態において、条件検出器からのイベントのみが画像センサによって出力されるように、露光測定回路は取り除かれ得る。したがって、感光性要素２５１および２５３は、条件検出器２５５のみによって用いられる単一の要素を備えてよい。
【0066】
図２Ｂには示されないが、画素２５０を用いる画像センサは、画素２５０によって生成されたイベントが画像センサから読み取られ得るように、行および列ラインまたは他の読出し回路を含んでよい。また、タイミング回路は、衝突が回避されるように、読出しシステムへのアナログ信号の転送を管理してよい。これらの実施形態のいずれにおいても、読出しシステムは、画素アレイからのアナログ信号を、３次元撮像において用いるためのデジタル信号に変換してよい。
【0067】
図３Ａは、３次元撮像のためのシステム３００の概略図である。図３Ａに示すように、プロジェクタ３０１は、１または複数のパターン（たとえば図３Ａにおけるパターン３０３ａ、３０３ｂ、および３０３ｃ）に従って電磁パルスのラインを送信してよい。３つのパターンを用いるものとして示されるが、任意の数のパターンが用いられ得る。各パターンが、３次元シーン３０５の小部分に対応し得るので、多数の（たとえば何千または場合によっては何十万もの）パターンが用いられ得る。
【0068】
プロジェクタ３０１は、１または複数のパターンに従って電磁パルスのラインを投影するように構成された１または複数のレーザ発生器または他の任意のデバイスを備えてよい。いくつかの実施形態において、プロジェクタ３０１は、ドットプロジェクタであってよい。したがって、プロジェクタ３０１は、ラインを３Ｄシーン３０５内に投影するためにドットを投影しながらラインに沿ってスイープするように構成され得る。あるいは、プロジェクタ３０１は、ラインの一部または全ての部分に沿って同時にラインを形成する光を投影するように構成されたレーザプロジェクタを備えてよい。
【0069】
追加または代替として、プロジェクタ３０１は、プロジェクタ３０１からライン内への光をフィルタするように構成されたスクリーンまたは他のフィルタを含んでよい。図３Ａには示されないが、プロジェクタ３０１は、コマンドを受信し、またはラインの生成およびシーン３０５内への投影を規定する格納パターンを取得するように構成されたコントローラを備えてよい。
【0070】
いくつかの実施形態において、プロジェクタ３０１は、シーン３０５内の複数の空間位置に複数のラインを投影するように構成され得る。空間位置は、更に後述される、画像センサ３０９の様々な画素（または画素グループ）に対応してよい。追加または代替として、プロジェクタ３０１は、複数の異なる投影時間に複数のラインを投影するように構成され得る。
【0071】
いくつかの実施形態において、プロジェクタ３０１は、たとえばパターン内の多様性を高めるために、複数の周波数を投影するように構成され得る。他の実施形態において、プロジェクタ３０１は、たとえばパターンによって生じる反射をシーン３０５内のノイズと区別するために、単一の周波数（または周波数範囲）を用いるように構成され得る。例として、周波数は、５０Ｈｚ～数ｋＨｚ（たとえば１ｋＨｚ、２ｋＨｚ、３ｋＨｚなど）であってよい。
【0072】
投影されたラインまたは他のパターンは、シーン３０５からの反射をもたらし得る。図３Ａの例において、パターン３０３ａ、３０３ｂ、および３０３ｃは、それぞれ反射３０７ａ、３０７ｂ、および３０７ｃをもたらした。時間において一定であるように示されるが、反射は、シーン３０５内の動態によって時間と共に角度を変え得る。これらの動態は、後に更に説明するように、ステートマシン探索を用いて再構成され得る。
【0073】
反射は、画像センサ３０９によって捕捉され得る。いくつかの実施形態において、画像センサ３０９は、イベントベースのセンサであってよい。上述したように、画像センサ３０９は、読出しシステムに結合された、図２Ａの画素２００のアレイ、図２Ｂの画素２５０のアレイ、または他の任意の画素のアレイを備えてよい。画像センサ３０９によって生成された信号は、少なくとも１つのプロセッサ（不図示）を含むシステムによって処理され得る。後述するように、システムは、シーン３０５内の任意の動態を再構成し、および／またはシーン３０５に関する３次元像点を計算してよい。
【0074】
反射３０７ａ、３０７ｂ、および３０７ｃは、（図３Ａに示すように）パターン３０３ａ、３０３ｂ、および３０３ｃが直線に沿って配置される場合でも、画像センサ３０９の画素において曲線を形成してよい。たとえば、変化する深さ、ならびにシーン３０５内の動態が、パターン３０３ａ、３０３ｂ、および３０３ｃを歪ませ、曲線を形成してよい。また、変化する深さ、ならびにシーン３０５内の動態は、画像センサ３０９の画素における不連続性および／または変曲点を含むように曲線を更に歪ませてよい。システム３００は、後に更に説明するように、ステートマシン探索を用いて、投影ライン（たとえば符号化パターン３０３ａ、３０３ｂ、および３０３ｃ）に対応する、（たとえば反射３０７ａ、３０７ｂ、および３０７ｃによって形成された）画像センサ３０９において捕捉された曲線を識別してよい。
【0075】
図３Ｂは、受信したイベントからの３次元光線および関連するラインの平面方程式を用いる３次元撮像３００のグラフィック表現である。図３Ｂに示すように、プロジェクタ３０１からの各ラインは、対応する平面方程式３１１に関連付けられ得る。たとえば、平面方程式３１１は、ａ’Ｘ＋ｂ’Ｙ＋ｃ’Ｚ＋ｄ’＝０を備えてよく、式中、ａ’、ｂ’、ｃ’、およびｄ’は、平面を定める定数であり、Ｘ、Ｙ、およびＺは、シーン３０５（図３Ｂには不図示）を含む３次元空間内の座標である。有限として示されるが、平面方程式３１１は、無限平面を定めてよい。上述したように、いくつかの実施形態において、プロジェクタ３０１（たとえばレーザプロジェクタ）は、投影ラインを曲線に変形させ得る。したがって、「ライン」は、幾何学線または曲線を指してよい。ラインが曲線である実施形態において、平面方程式３１１は、真っ直ぐな平面ではなくラインの曲率に対応して歪曲した３次元表面を表し得る。したがって、本明細書で用いられる場合、「平面方程式」は、幾何学平面または歪曲した３次元表面に関する方程式を指し得る。
【0076】
図３Ａに関して上述したように、画像センサ３０９によって受信した対応するイベントは、プロジェクタ３０１からの対応するラインによって生じる反射の曲線に一致してよい。たとえば、画像センサ３０９と通信しているプロセッサ（不図示）は、時間にわたりイベントを連結して曲線を決定するためにステートマシンを用いてよい。また、いくつかの実施形態において、連結されたイベントは、画像センサ３０９の画素にわたり拡散してよい。曲線は、図３Ｂを参照して上述したように対応する平面方程式３１３も有してよいが、プロセッサは、シーン３０５（図３Ｂには不図示）に関する３次元点を計算するために平面方程式３１３を計算する必要はない。また、例として、プロセッサは、識別された曲線に沿った各点に関して、画像センサ３０９を起点とする複数の光線を計算してよい。
【0077】
たとえば、３次元（３Ｄ）空間への直線の投影は、３Ｄ平面に対応し、その対応する平面方程式は、ａ’Ｘ＋ｂ’Ｙ＋ｃ’Ｚ＋ｄ’＝０（式１）を備えてよく、式中、Ｘ、Ｙ、およびＺは、３Ｄ空間内の平面上にある点の座標であり、ａ’、ｂ’、ｃ’、およびｄ’は、平面を定める定数である。原点は、位置（０，０，０）における、カメラ光学中心である。ｉ番目の画素行およびｊ番目の画素列に位置するセンサ上の画素（ｉ，ｊ）に関して、３Ｄ空間内の画素位置は、センサ較正パラメータ（ｘ，ｙ，ｆ）を用いて識別されてよく、ここでｆは、ピンホールカメラモデルに準拠する焦点距離である。センサ上の（ｉ，ｊ）に投影する全ての３Ｄ点は、（ｘ，ｙ，ｆ）および光学中心（０，０，０）を通過する３Ｄ光線上にある。光線上の全ての３Ｄ点に関して、以下の式（式２）、
によって定義されるようなスカラー定数λが存在する。プロジェクタからの３Ｄ平面とカメラからの３Ｄ光線との交点における３Ｄ点を三角測量するために、
のように、式２が式１に挿入されてよく、ここから、
および
が求められる。
【数6】
【数7】
【数8】
【数9】
【0078】
いくつかの実施形態において、投影は、３Ｄ空間内への曲線である。そのような例において、これはもはや平面ではなく、湾曲表面である。したがって、上で参照した平面方程式に基づくものではなく、他の三角測量演算が用いられ得る。たとえば、一般式
の二次曲面モデルが用いられてよく、式中、Ｑは３×３の行列であり、Ｐは３次元行ベクトルであり、Ｒはスカラー定数である。カメラからの３Ｄ光線と３Ｄ表面との交点における３Ｄ点の三角測量は、式２を二次曲面式に挿入し、λを解くことによって可能である。
【数10】
【0079】
いくつかの実施形態と一貫して、プロセッサは更に、平面方程式３１１と交差する光線（図３Ｂの例における光線３１５）を選択してよい。たとえば、プロセッサは、後に更に説明するように、画像センサ３０９によって受信した反射におけるパターン（または符号化シンボル）を、平面方程式３１１に対応するラインに関連付けられたパターンにマッピングすることによって、平面方程式３１１と交差する光線を選択してよい。
【0080】
図４Ａは、本開示と合致する、シーン内のジオメトリによって変換された電磁パターンの概略図である。図１Ａおよび図１Ｂの例を参照して上述したように、ステートマシンは、電磁パターンの任意の時間歪みまたは任意の空間歪みを記述し得る。時間歪みは、たとえば、パターンの特徴に符号化されたシンボルの復号を妨げ得る。空間歪みは、たとえば、パターンを受信する画像センサの複数の画素にわたりシンボルを拡散させ得る。
【0081】
図４Ａは、シーン内のジオメトリによって異なる時間パターンに変換されたパターン例を示す。たとえば、ジオメトリ４００は、描写されたパターンを、遅延させることによって変換する。他の例（不図示）において、ジオメトリは、パルスを時間内に近くに移動することによって、描写されたパターンを変換してよい。投影と反射との間のそのような歪みにもかかわらずイベントを連結するためにステートマシンを用いることによって、本開示の実施形態は、パターンの正確な復号を妨げ得る変換にもかかわらず、受信曲線を投影ラインにマッピングし得る。
【0082】
図４Ａには示されないが、シーンのジオメトリは、追加または代替として、パターンの異なる部分が画像センサ（たとえば画像センサ３０９）の異なる画素において受信されるように、空間にわたりパターンを変換してよい。したがって、任意の検出パターンは、少なくとも１つのプロセッサを用いて計算されるか、既知のステートマシンのデータベースを探索して計算されるかなどにかかわらず、１または複数のステートマシンを用いて、投影パターンにマッピングし戻され得る。
【0083】
他の例において、図４Ｂは、ステートマシンを用いて、反射曲線の投影ラインへのマッピングのグラフィック表現を示す。たとえば、図４Ｂに示すように、投影ラインは、複数の曲線（いくつかの実施形態において、場合によっては無限の可能な曲線）に一致してよい。したがって、画像センサ（たとえば画像センサ３０９）に関連付けられたプロセッサが、画像センサで受信された（たとえば投影ラインによって生じる）反射によって生成された信号に対応するイベントを受信する場合、プロセッサは、投影ラインに関連付けられたパターンを復号するために、画素にわたりイベントを連結するためにステートマシン候補を決定してよい。いくつかの実施形態において、プロセッサは、画素にわたるイベントを曲線内に連結してもよい。したがって、プロセッサは、複数の曲線のうちどの曲線が投影ラインに対応するかを識別するために、決定された候補を用いてよい。
【0084】
図５Ａは、本開示の実施形態と合致する、３次元画像を検出するための典型的な方法５００のフローチャートである。図５Ａの方法５００は、少なくとも１つのプロセッサを用いて行われ得る。少なくとも１つのプロセッサは、画像センサ（たとえば図２Ａの画像センサ２００、図２Ｂの画像センサ２５０など）と同じチップ上にマイクロプロセッサとして統合され、または処理システムの一部として個別に提供され得る。少なくとも１つのプロセッサは、本明細書で更に開示されるように、信号を送受信する目的で、システムのプロジェクタおよび画像センサと電気通信状態であってよい。
【0085】
ステップ５０１において、少なくとも１つのプロセッサは、プロジェクタ（たとえば図３のプロジェクタ３０１）によってシーン（たとえば図３のシーン３０５）に放出された電磁パルスを備える複数のラインに関連付けられた複数のパターンを決定してよい。たとえば、上述したように、複数のパターンの決定は、時間間隔で区切られた振幅を定めるデジタル信号を（たとえば、少なくとも１つのネットワークを介して、少なくとも１つのメモリへなどで通信するように構成された少なくとも１つの送信器に接続されたオンチップバスを用いて）受信することを備えてよい。そのような実施形態において、時間間隔で区切られた振幅を定めるデジタル信号は、複数のパターンに従って複数の電磁パルスを投影するように構成されたプロジェクタに関連付けられたコントローラから受信され得る。追加または代替として、時間間隔で区切られた振幅を定めるデジタル信号は、パターンを格納している少なくとも１つの非一時的メモリから取得され得る。
【0086】
いくつかの実施形態において、少なくとも１つのプロセッサは、パターンに従ってプロジェクタが複数の電磁パルスを送信するように、複数の電磁パルスをシーンに投影するように構成されたプロジェクタにコマンドを送信してもよい。たとえば、少なくとも１つのプロセッサは、オンチップバス、ワイヤまたは他のオフチップバス、少なくとも１つのバス、ワイヤ、またはネットワークを介して通信するように構成された少なくとも１つの送信器、またはそれらの任意の組み合わせを用いて、プロジェクタにコマンドを送信してよい。
【0087】
更に上述したように、パターンは、期間にわたる任意の一連の電磁放射パルスを備えてよい。たとえば、パターンは、パターンの期間に沿った振幅および／または時間の長さによって１または複数のパルスを定めてよい。したがって、複数のパターンは、時間の長さで区切られた少なくとも２つの異なる振幅、時間の長さで区切られた少なくとも２つの異なる波長、時間の長さで区切られた少なくとも２つの異なるパルス長、時間の長さで区切られた複数のパルスなどを備えてよい。また、上述したように、パターンは、シンボルを符号化するために用いられる少なくとも１つの選択された周波数、位相シフト、またはデューティサイクルの少なくとも１つを有してよい（たとえば、図７に関する後述を参照）。
【0088】
いくつかの実施形態において、少なくとも１つのプロセッサは、複数のシンボルを複数のパターンに符号化してよい。上述したように、複数のパターンは、複数のラインに関連付けられ得る。シンボルは、電磁パターンに符号化された文字、数字、または他の任意の通信可能コンテンツを備えてよい。いくつかの実施形態において、複数のシンボルは、複数のラインの少なくとも１つの空間特性に関連する。たとえば、複数のシンボルは、電磁パルスの予想周波数または輝度、電磁パルスに関連付けられた（たとえばパルスを投影するプロジェクタの空間座標などの）空間位置などを符号化してよい。
【0089】
再び図５Ａを参照すると、ステップ５０３において、少なくとも１つのプロセッサは、画像センサから、複数の電磁パルスによって生じた反射に基づく１または複数の第１の信号を受信してよい。たとえば、上述したように、測定回路２０５は、感光性要素２０１からの信号を、感光性要素２０１に衝突する光の輝度の関数であるアナログ信号に変換してよい。少なくとも１つのプロセッサは、測定回路２０５から、１または複数の第１の信号としてアナログ信号を受信してよく、または、測定回路２０５と通信しているアナログデジタル変換器から、アナログ信号に基づくデジタル信号を受信してよい。追加または代替として、上述したように、条件検出器２５５（ＣＤ）は、感光性要素２５１に衝突する光に基づく第１のアナログ信号が所定の閾値を超過する場合、トリガ信号（たとえば図２Ｂの例における「セット」信号）を生成してよく、露光測定回路２５７は、感光性要素２５３からの信号を、トリガ信号に応答して感光性要素２５３に衝突する光の輝度の関数である第２のアナログ信号に変換してよい。少なくとも１つのプロセッサは、露光測定回路２５７から、１または複数の第１の信号として第２のアナログ信号を受信してよく、または、露光測定回路２５７と通信している（またはその一部を形成する）アナログデジタル変換器から、第２のアナログ信号に基づくデジタル信号を受信してよい。
【0090】
ステップ５０５において、少なくとも１つのプロセッサは、受信した第１の信号に基づいて画像センサの１または複数の第１の画素に対応する１または複数の第１のイベントを検出してよい。たとえば、イベントは、１または複数の第１の信号のうちの２つの信号間の極性変化、１または複数の閾値を超過する大きさを有する１または複数の第１の信号のうちの２つの信号間の振幅の変化などに基づいて検出され得る。本明細書で用いられる場合、「極性変化」は、増加または減少にかかわらず、１または複数の第１の信号において検出された振幅の変化を指し得る。たとえば図２Ｂの画像センサ２５０などのイベントベースの画像センサを用いる実施形態において、１または複数の第１の信号は、それら自体が、１または複数の第１のイベントを符号化してよい。したがって、少なくとも１つのプロセッサは、１または複数の第１の信号を区別することによって、１または複数の第１のイベントを検出してよい。
【0091】
いくつかの実施形態において、少なくとも１つのプロセッサは、画像センサによって１または複数の信号で符号化されたアドレスに基づいて、１または複数の第１のイベントを１または複数の第１の画素に関連付けてよい。たとえば、画像センサ（または画像センサと通信している読出しシステム）は、１または複数の第１の信号の起点である画素（複数も可）のアドレスを符号化してよい。したがって、少なくとも１つのプロセッサは、１または複数の第１の信号で符号化されたアドレスに基づいて、１または複数の第１のイベントを１または複数の第１の画素に関連付けてよい。そのような実施形態において、少なくとも１つのプロセッサは、１または複数の第１の信号からアドレスを復号および取得するように適合される。
【0092】
ステップ５０７において、少なくとも１つのプロセッサは、１または複数の第１のイベントに基づいて、１または複数のステートマシンを初期化してよい。たとえば、少なくとも１つのプロセッサは、１または複数の第１の画素に関してステートマシンを初期化してよい。加えて、いくつかの実施形態において、少なくとも１つのプロセッサは、近隣画素に関してステートマシンを初期化してよい。図６に関して後述するように、初期化は、１または複数の第１のイベントの一部をもたらした、予想される反射に対応する複数のパターンの部分を識別することを含んでよい。
【0093】
ステップ５０９において、少なくとも１つのプロセッサは、画像センサを用いて、反射に基づく１または複数の第２の信号を受信してよい。たとえば、少なくとも１つのプロセッサは、図２Ａの画像センサ２００、図２Ｂの画像センサ２５０などから、１または複数の第２の信号を受信してよい。同期画像センサを用いる実施形態において、１または複数の第２の信号は、異なるクロックサイクルで捕捉されたものであってよい。非同期画像センサを用いる実施形態において、１または複数の第２の信号は、１または複数の第１の信号より後の任意の時間に捕捉されたものであってよい。非同期画像センサを用いる実施形態において、読出しは、少なくとも１つのプロセッサが、１または複数の第１の信号を受信したのと異なるクロックサイクルで１または複数の第２の信号を受信するように計時され得る。
【0094】
ステップ５１１において、少なくとも１つのプロセッサは、受信した第２の信号に基づいて、画像センサの１または複数の第２の画素に対応する１または複数の第２のイベントを検出してよい。たとえば、少なくとも１つのプロセッサは、１または複数の第２の信号のうちの２つの信号間の極性変化、１または複数の閾値を超過する大きさを有する１または複数の第２の信号のうちの２つの信号間の振幅の変化などに基づいて、１または複数の第２のイベントを検出してよい。たとえば図２Ｂの画像センサ２５０などのイベントベースの画像センサを用いる実施形態において、１または複数の第１の信号は、それら自体が、１または複数の第２のイベントを符号化してよい。
【0095】
ステップ５１３において、少なくとも１つのプロセッサは、１または複数の第２のイベントを１または複数の第１のイベントと連結するための候補を決定してよい。たとえば、図６に関して後述するように、候補は、１または複数の第１の画素に対する１または複数の第２の画素の位置に基づいてよい。追加または代替として、複数のパターンに基づいて予想されるものと異なる振幅、極性などの任意の変化は、候補にカプセル化されなくてはならない。いくつかの実施形態において、少なくとも１つのプロセッサは、候補を決定するために、複数のパターンおよび１または複数のステートマシンを用いてよい。
【0096】
図４Ｂに示すように、候補は、画像センサにおける曲線を識別するために、１または複数の第２のイベントと１または複数の第１のイベントとを連結してよい。追加または代替として、候補は、１または複数の第１の画素から１または複数の第２の画素への反射のドリフトを補正するために、１または複数の第２のイベントと１または複数の第１のイベントとを連結してよい。たとえば、候補が、１または複数の第１のイベントを１または複数の第２のイベントに時間的に連結するように、１または複数の第２のイベントは、１または複数の第１のイベントより後にタイムスタンプされ得る。そのような時間的マッピングの一例は、上述した図４Ａに示される。
【0097】
再び図５Ａを参照すると、方法５００は、再帰的であってよい。たとえば、少なくとも１つのプロセッサは、（たとえば、次のクロックサイクルで生成および／または受信された）画像センサからの新たな信号セットごとにステップ５０９、５１１、および５１３を反復してよい。画素にわたる信号における任意の変化は、その後、ステップ５１３におけるステートマシン探索をトリガしてよい。これは、所定の期間にわたり、または複数のパターンの最後に対応する１または複数の最終イベントが検出されるまで、反復され得る。
【0098】
ステップ５１５において、少なくとも１つのプロセッサは、１または複数の第２のイベントおよび１または複数の第１のイベントによって形成された曲線を識別するために候補を用いてよい。たとえば、図４Ｂに関して上述したように、少なくとも１つのプロセッサは、画像センサの画素上に曲線を形成し、投影ラインと一致する可能性のある他の（場合によっては無限の）曲線を排除するために、１または複数の第１のイベントと１または複数の第２のイベントとを連結してよい。
【0099】
ステップ５１５は更に、識別された曲線に基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元光線を計算することを含んでよい。たとえば、図３Ｂに示すように、少なくとも１つのプロセッサは、識別された曲線内の点に関して画像センサを起点とする光線を計算してよい。
【0100】
ステップ５１５の一部として、少なくとも１つのプロセッサは、３次元光線、および識別された曲線に対応するラインの１つに関連付けられた平面方程式に基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元像点を計算してもよい。たとえば、図３Ｂに示すように、３次元点は、画像センサを起点とする光線と、関連付けられた平面方程式との交点を備えてよい。上述したように、識別された曲線に連結された１または複数の第１のイベントおよび１または複数の第２のイベントをもたらす受信された反射におけるパターン（または符号化シンボル）は、関連付けられた平面方程式に一致してよい。たとえば、少なくとも１つのプロセッサは、関連付けられた平面方程式をマッピングするために、プロジェクタに関するコントローラ、１または複数の平面方程式を格納している非一時的メモリなどにアクセスしてよい。
【0101】
たとえば、画素が、（たとえば既知のステートマシンを介して）複数のパターンのうちのパターンに一致するイベントを有する一連の信号を生成した場合、その画素からの３次元光線は、パターンを用いて決定された平面方程式に投影され得る。いくつかの実施形態において、パターンは、インデックスを付けられた１または複数のシンボルを符号化し、または他の方法でパターンに関連付けられた平面方程式を示してよい。その結果、少なくとも１つのプロセッサは、平面方程式を取得し、画像センサからの信号に符号化されたアドレスに基づいて、そこからの反射を受信した（たとえば３次元光線の起点である）画素の位置を抽出してよい。
【0102】
いくつかの実施形態において、パターンは、イベント受信ごとに識別または予測され得るので、コードに関連付けられたレイテンシを維持しながら、時間密度を増加させる。この識別は、コードがループ化または関連付けされている場合、１つのコード送信から次のコード送信へ搬送されてよく、これにより、受信中に復号されているコードの予測が可能になり得る（すなわち、コードは、受信ビットがそれとコヒーレントである限り、過去に取得されたものと同じであると予測され得る）。
【0103】
複数のパターンのうちのパターンが、（たとえばシーン内の動的運動によって）複数の画素にわたり拡散する反射をもたらした場合、最終画素（たとえば、複数のパターンのうちのパターンの最後に対応する最終信号を生成する画素）における３次元点は、最終画素を起点とする３次元光線を用いて、かつパターンに関連付けられた平面方程式に基づいて決定され得る。少なくとも１つのプロセッサは、その後、反射を受信する複数の画素における他の画素に関してステートマシンをファイナライズするために、最終信号から（時間的に）逆に進行してよい。たとえば、画像センサは、少なくとも１つのプロセッサが、過去の画素に関する過去のタイムスタンプならびに新しい画素に関するタイムスタンプを有するように、画素からの各測定におけるタイムスタンプを符号化してよい。したがって、これらの他の画素における３次元点は、他の画素を起点とする３次元光線を用いて、かつパターンに関連付けられた平面方程式に基づいて決定されてよく、これらの点は、過去のタイムスタンプに関連付けられ得る。
【0104】
ステップ５１５に加えて、またはその代わりに、方法５００は、１または複数の第１のイベントおよび１または複数の第２のイベントを復号して少なくとも１つの空間特性を取得するために、候補および１または複数のステートマシンを用いることを含んでよい。たとえば、少なくとも１つのプロセッサが、復号された平面方程式を用いて３次元点を決定し得るように、少なくとも１つの空間特性は、パターンに関連付けられた平面方程式を備えてよい。追加または代替として、少なくとも１つのプロセッサが、１または複数の第１のイベントおよび１または複数の第２のイベントを対応するパターンにマッピングする際、復号された少なくとも１つの空間特性を用い得るように、少なくとも１つの空間特性は、周波数、輝度などを備えてよい。
【0105】
図５Ｂは、本開示の実施形態と合致する、３次元画像を検出するための他の典型的な方法５５０のフローチャートである。図５Ｂの方法５５０は、少なくとも１つのプロセッサを用いて行われ得る。少なくとも１つのプロセッサは、画像センサ（たとえば図２Ａの画像センサ２００、図２Ｂの画像センサ２５０など）と同じチップ上にマイクロプロセッサとして統合され、または処理システムの一部として個別に提供され得る。少なくとも１つのプロセッサは、本明細書に更に開示されるように、信号を送受信する目的で、システムのプロジェクタおよび画像センサと電気通信状態であってよい。また、本明細書に開示されるように、画像センサは、複数の画素を含んでよく、投影パターンによって生じるシーン内の反射を検出するように構成され得る。
【0106】
ステップ５５１において、少なくとも１つのプロセッサは、反射に基づいて画像センサの１または複数の第１の画素に対応する１または複数の第１のイベントを検出してよい。本明細書に開示されるように、反射は、プロジェクタ（たとえば図３のプロジェクタ３０１）によってシーン（たとえば図３のシーン３０５）に放出された複数の電磁パルスによってもたらされ得る。例として、イベントは、１または複数の第１の信号のうちの２つの信号間の極性変化、１または複数の閾値を超過する大きさを有する１または複数の第１の信号のうちの２つの信号間の振幅の変化などに基づいて検出され得る。本明細書で用いられる場合、「極性変化」は、増加または減少にかかわらず、１または複数の第１の信号において検出された振幅の変化を指してよい。たとえば図２Ｂの画像センサ２５０などのイベントベースの画像センサを用いる実施形態において、反射に基づいて生成された１または複数の第１の信号は、それら自体が、１または複数の第１のイベントを符号化してよい。したがって、少なくとも１つのプロセッサは、１または複数の第１の信号を区別することによって、１または複数の第１のイベントを検出してよい。
【0107】
いくつかの実施形態において、少なくとも１つのプロセッサは、画像センサによって１または複数の第１の信号で符号化されたアドレスに基づいて、１または複数の第１のイベントを１または複数の第１の画素に関連付けてよい。たとえば、画像センサ（または画像センサと通信している読出しシステム）は、１または複数の第１の信号の起点である画素（複数も可）のアドレスを符号化してよい。したがって、少なくとも１つのプロセッサは、１または複数の第１の信号で符号化されたアドレスに基づいて、１または複数の第１のイベントを１または複数の第１の画素に関連付けてよい。そのような実施形態において、少なくとも１つのプロセッサは、１または複数の第１の信号からアドレスを復号および取得するように適合される。
【0108】
反射は、プロジェクタ（たとえば図３のプロジェクタ３０１）によってシーン（たとえば図３のシーン３０５）に放出された複数の電磁パルスによってもたらされ得る。上述したように、投影パルスは、複数のラインにわたって投影された複数のパターンを備えてよい。
【0109】
ステップ５５３において、少なくとも１つのプロセッサは、１または複数の第１のイベントに基づいて、１または複数のステートマシンを初期化してよい。たとえば、少なくとも１つのプロセッサは、１または複数の第１の画素に関してステートマシンを初期化してよい。加えて、いくつかの実施形態において、少なくとも１つのプロセッサは、近隣の画素に関してステートマシンを初期化してよい。図６に関して後述するように、初期化は、１または複数の第１のイベントの一部をもたらしたと予想される反射に対応する複数のパターンの一部を識別することを含んでよい。
【0110】
ステップ５５５において、少なくとも１つのプロセッサは、反射に基づいて画像センサの１または複数の第２の画素に対応する１または複数の第２のイベントを検出してよい。たとえば、少なくとも１つのプロセッサは、１または複数の第２の信号のうちの２つの信号間の極性変化、１または複数の閾値を超過する大きさを有する１または複数の第２の信号のうちの２つの信号間の振幅の変化などに基づいて、１または複数の第２のイベントを検出してよい。たとえば図２Ｂの画像センサ２５０などのイベントベースの画像センサを用いる実施形態において、１または複数の第２の信号は、それら自体が、１または複数の第２のイベントを符号化してよい。また、ステップ５５１に関して上述したように、反射は、プロジェクタ（たとえば図３のプロジェクタ３０１）によってシーン（たとえば図３のシーン３０５）に放出された複数の電磁パルスによってもたらされ得る。
【0111】
ステップ５５７において、少なくとも１つのプロセッサは、１または複数の第２のイベントを１または複数の第１のイベントに連結するための１または複数の候補を決定してよい。たとえば、図６に関して後述するように、候補は、１または複数の第１の画素に対する１または複数の第２の画素の位置に基づいてよい。追加または代替として、複数のパターンに基づいて予想されたものと異なる振幅、極性などにおける任意の変化が、候補にカプセル化されなくてはならない。いくつかの実施形態において、少なくとも１つのプロセッサは、候補を決定するために、複数のパターンおよび１または複数のステートマシンを用いてよい。
【0112】
図４Ｂに示すように、候補は、画像センサにおける曲線を識別するために、１または複数の第２のイベントと１または複数の第１のイベントとを連結してよい。追加または代替として、候補は、１または複数の第１の画素から１または複数の第２の画素への反射のドリフトを補正するために、１または複数の第２のイベントと１または複数の第１のイベントとを連結してよい。たとえば、候補が、１または複数の第１のイベントを１または複数の第２のイベントに時間的に連結するように、１または複数の第２のイベントは、１または複数の第１のイベントの後にタイムスタンプされ得る。そのような時間的マッピングの一例は、上で説明した図４Ａに示される。
【0113】
図５Ｂの例を再び参照すると、方法５５０は、再帰的であってよい。たとえば、少なくとも１つのプロセッサは、（たとえば次のクロックサイクルで生成および／または受信された）画像センサからの各新たな信号セットでステップ５５５および５５７を反復してよい。画素にわたる信号における任意の変化は、その後、ステップ５５７において、ステートマシン探索をトリガしてよい。これは、所定の期間にわたり、または複数のパターンの最後に対応する１または複数の最終イベントが検出されるまで反復してよい。
【0114】
ステップ５５９において、少なくとも１つのプロセッサは、１または複数の第２のイベントおよび１または複数の第１のイベントに対応する投影ラインを識別するために、１または複数の候補を用いてよい。たとえば、図４Ｂに関して上述したように、少なくとも１つのプロセッサは、画像センサの画素に曲線を形成するために１または複数の第１のイベントと１または複数の第２のイベントとを連結し、たとえば投影ラインに関連付けられたパターンを有するプロジェクタ、投影ラインパターンの格納データベースなどからの信号に基づいて、曲線を投影ラインにマッピングしてよい。
【0115】
ステップ５６１において、少なくとも１つのプロセッサは、識別されたラインに基づいて、１または複数の第１の画素および１または複数の第２の画素に関する３次元光線を計算してよい。たとえば、図３Ｂに示すように、少なくとも１つのプロセッサは、識別された曲線内の点に関して、画像センサを起点とする光線を計算してよい。
【0116】
ステップ５６３において、少なくとも１つのプロセッサは、３次元光線、および識別されたラインに対応するラインの１つに関連付けられた平面方程式に基づいて、１または複数の第１の画素および１または複数の第２の画素に関して３次元像点を計算してよい。たとえば、図３Ｂに示すように、３次元点は、画像センサを起点とする光線と、関連する平面方程式との交点を備えてよい。上述したように、識別された曲線に連結された１または複数の第１のイベントおよび１または複数の第２のイベントをもたらす受信された反射内のパターン（または符号化シンボル）は、関連する平面方程式と一致してよい。たとえば、少なくとも１つのプロセッサは、関連する平面方程式にパターンをマッピングするために、プロジェクタのためのコントローラ、１または複数の平面方程式を格納している非一時的メモリなどにアクセスしてよい。
【0117】
たとえば、画素が、（たとえば既知のステートマシンを介して）複数のパターンのうちのパターンと一致するイベントを有する一連の信号を生成した場合、その画素からの３次元光線は、パターンを用いて決定された平面方程式に投影され得る。いくつかの実施形態において、パターンは、インデックスを付けられた１または複数のシンボルを符号化し、またはパターンに関連付けられた平面方程式を他の方法で示してよい。したがって、少なくとも１つのプロセッサは、平面方程式を取得し、画像センサからの信号に符号化されたアドレスに基づいて、そこからの反射を受信した（たとえば３次元光線の起点となるための）画素の位置を抽出してよい。
【0118】
複数のパターンのうちのパターンが、（たとえばシーン内の動的運動によって）複数の画素にわたり広がる反射をもたらした場合、最終画素（たとえば、複数のパターンのうちのパターンの終わりに対応する最終信号を生成する画素）における３次元点は、最終画素を起点とする３次元光線を用いて、かつパターンに関連付けられた平面方程式に基づいて決定され得る。少なくとも１つのプロセッサは、その後、反射を受信する複数の画素内の他の画素に関してステートマシンをファイナライズするために、最終信号から（時間的に）逆に進行してよい。たとえば、画像センサは、少なくとも１つのプロセッサが過去の画素に関するタイムスタンプならびに最新の画素に関するタイムスタンプを有するように、画素からの各測定におけるタイムスタンプを符号化してよい。したがって、これらの他の画素における３次元点は、他の画素を起点とする３次元光線を用いて、かつパターンに関連付けられた平面方程式に基づいて決定されてよく、これらの点は、過去のタイムスタンプに関連付けられ得る。
【0119】
ステップ５５９に加えて、またはその代わりに、方法５００は、１または複数の第１のイベントおよび１または複数の第２のイベントを復号し、少なくとも１つの空間特性を取得するために、候補および１または複数のステートマシンを用いることを含んでよい。たとえば、少なくとも１つのプロセッサが、３次元点を決定するために復号された平面方程式を用い得るように、少なくとも１つの空間特性は、パターンに関連付けられた平面方程式を備えてよい。追加または代替として、少なくとも１つのプロセッサが、１または複数の第１のイベントおよび１または複数の第２のイベントを対応するパターンにマッピングする際、復号された少なくとも１つの空間特性を用い得るように、少なくとも１つの空間特性は、周波数、輝度などを備えてよい。
【0120】
本開示と一貫して、（たとえば図３のプロジェクタ３０１からの）投影パターンは、パターンが投影された位置にインデックスされた１または複数のシンボルを符号化してよい。図６は、複数の画素にわたるそのようなシンボルの復号を可能にするための（たとえば図５Ａのステップ５０７およびステップ５１３の再帰的実行に基づく、または図５Ｂのステップ５５３およびステップ５５７の再帰的実行に基づく）ステートマシン探索の例を示す図である。図６に示すように、（たとえば、図５Ａのステップ５０７または図５Ｂのステップ５５３に対応し得る）ステップ６１０は、第１の画素において検出された（たとえば、ステップ６１０においてシンボル「１」を符号化するものとして示される）１または複数の初期イベントに基づいて、ステートマシンを初期化することを含んでよい。初期イベント（複数も可）は、第１の画素から受信された１または複数の信号に基づいてよい。（たとえば、ステップ６２０においてシンボル「０」を符号化するものとして示された）１または複数の後続イベントもまた、第１の画素において検出され得る。これらの後続イベントは、既知のステートマシンを介して初期イベント（複数も可）にリンクする。したがって、シンボル「１」およびシンボル「０」は連結され、対応するパターンが投影された位置にインデックスされたシンボルセットの始まりを形成する。
【0121】
動的シーンの場合、たとえばステップ６３０においてシンボル「０」を符号化するものとして示された１または複数の後続イベントは、ステートマシンから予想されるように、第１の画素とは異なる画素で受信され得る。したがって、図６に示されるように、少なくとも１つのプロセッサは、これらの後続イベントを過去のイベント（複数も可）（図６の例においてステップ６１０および６２０に示されたシンボルを符号化するイベント）に連結するために、（影付きのエリアで表された）近隣画素を探索してよい。したがって、過去のイベント（複数も可）のステートマシンは、未完成のまま残されてよく（たとえば、ステートマシンは「０」が後続した状態の「１」のままであり）、（「０」が後続した状態の「１」を記述し、その後再び「０」を記述する）新たな候補ステートマシンが異なる画素に追加される。
【0122】
ステップ６４０において、たとえばシンボル「１」を符号化するものとして示された１または複数の後続イベントは、ステートマシンから予想されるように、ステップ６３０とは異なる画素で受信され得る。したがって、図６に示すように、少なくとも１つのプロセッサは、これらの後続イベントを過去のイベント（複数も可）（図６の例においてステップ６３０に示されるシンボルを符号化するイベント）に連結するために（影付きエリアで表された）近隣画素を再び探索してよい。したがって、過去のイベント（複数も可）のステートマシンは、未完成のまま残されてよく（たとえば、ステートマシンは２つの「０」が後続した状態の「１」のままであり）、（２つの「０」が後続し、その後「１」が後続した状態の「１」を記述する）新たな候補ステートマシンが異なる画素に追加される。
【0123】
本開示と一貫して、１または複数のイベントが、（たとえば、対応するパターンが投射された位置にインデックスされたシンボルシーケンスの終わりであるシンボルを符号化する）複数のパターンの１または複数の最後に対応して検出される場合、少なくとも１つのプロセッサは、現在の画素に関してステートマシンを完成させ、その後、過去のイベント（複数も可）に関する画素のステートマシンを完成させるために時間的に逆に進行してよい。追加または代替として、少なくとも１つのプロセッサは、少なくとも１つのプロセッサが複数の投射パターンを区別し得るように、十分な数のイベント（たとえば第１のイベント、第２のイベントなど）が受信された時にステートマシンを完成させてよい。
【0124】
図６の復号プロセスへの追加または代替として、本開示の実施形態は、三角測量のための未完成ステートマシンならびにファイナライズされたステートマシンを用いてよい。たとえば、各復号されたシンボルは、その画素に関連付けられた現在のステートマシンを用いて、最も可能性の高いパターンにマッピングされ、その画素の位置での三角測量のために最も可能性の高いパターンにインデックスされたプロジェクタの位置を用いてよい。したがって、パターンの終わりがまだ検出されていないことによりステートマシンが未完成であっても、（現在の画素または１または複数の過去の画素において）いくつのシンボルが既に復号されたかに依存して変化する精度で、三角測量が起こり得る。追加または代替として、少なくとも１つのプロセッサは、現在復号中のパターンが、同じ画素または付近の画素で過去に受信されたものと同じパターンであると仮定してよい。たとえば、少なくとも１つのプロセッサは、プロジェクタが、シーン内の同じ位置に向かって連続して反復的に同じパターンを送信すると、この仮定を行ってよい。
【0125】
いくつかの実施形態において、１または複数のエラー訂正がシンボルに符号化され得る。たとえば、パターンの最後にある１または複数の追加のシンボルは、たとえば（チェックビット、パリティビットなどの）チェックサムまたは他のブロック補正コードなどのエラー訂正シンボルを備えてよい。追加または代替として、１または複数の追加のシンボルは、畳込みコードまたは他の連続訂正コードを形成するためにパターンの中で追加され得る。加えて、そのようなエラー訂正と共に、またはその代わりに、プロジェクタは、システムが同じパターンを何度も受信することを除外するように、パターンを時間ループで投影するように構成されてもよい。したがって、１つの失われたパターンの結果、１つの失われた深さ計算が生じるが、単一フレーム損失を除いて、一連の３次元画像の全体に影響を及ぼすことはない。また、この失われたフレームは、近隣フレームからの外挿を用いて復元され得る。
【0126】
「０」および「１」を用いて示されたが、電磁パルスの特性（たとえば、特定のシンボルに関連するパルスの格納特性）に対応するシンボルの辞書に基づいて、任意の数のシンボルが用いられ得る。より大きな辞書を有することにより、長さが短い固有パターンのセットを生成することが可能であり得る。
【0127】
また、単純な近傍探索を用いて説明されたが、ステートマシン探索は、エピポーラ線または探索のための他の任意の適当な画素エリアに沿って行われ得る。たとえば、図４Ｂに関して上述したように、ステートマシン探索は、投影ラインに対応する曲線を識別するために、１または複数の予想曲線に沿って行われ得る。また、図７は、たとえば図２Ａの画像センサ２００、図２Ｂの画像センサ２５０などの画像センサを用いて検出されたイベントをクラスタに連結するための方法例７００を示す。
【0128】
図７は、本開示の実施形態と合致する、画像センサからのイベントをクラスタに連結するための典型的な方法７００のフローチャートである。図７の方法７００は、画像センサ（たとえば図２Ａの画像センサ２００、図２Ｂの画像センサ２５０など）と同じチップ上にマイクロプロセッサとして統合されるか、処理システムの一部として個別に提供されるかにかかわらず、少なくとも１つのプロセッサを用いて行われ得る。少なくとも１つのプロセッサは、本明細書で更に開示されるように、信号を送受信する目的で、画像センサと電気通信状態であってよい。
【0129】
ステップ７０１において、少なくとも１つのプロセッサは、画像センサ（たとえば図２Ａの画像センサ２００、図２Ｂの画像センサ２５０など）からイベントを受信してよい。方法５００のステップ５０５に関して上述したように、イベントは、イベントベースの画像センサからの信号、または（たとえばクロック回路を用いる）連続画像センサの信号から抽出されたイベントを備えてよい。
【0130】
ステップ７０３において、少なくとも１つのプロセッサは、少なくとも１つの連結性基準が満たされると、受信したイベントを、最も新しいイベントに連結してよい。たとえば、少なくとも１つのプロセッサは、受信したイベントと最も新しいイベントとの間の時間的距離を決定し、時間的距離が閾値を満たす場合、それらを連結してよい。追加または代替として、少なくとも１つのプロセッサは、受信したイベントと最も新しいイベントとの間の空間的距離を決定し、空間的距離が閾値を満たす場合、それらを連結してよい。したがって、少なくとも１つの連結性基準は、時間閾値、空間閾値、またはそれらの任意の組み合わせを備えてよい。組み合わせに関する１つの例において、空間閾値は、複数の時間閾値のどれが満たされたかに基づいて調整され得る。そのような例において、時間的に近いイベントは、空間的に近いと予想され得る。組み合わせに関する他の例において、時間閾値は、複数の空間閾値のどれが満たされたかに基づいて調整され得る。そのような例において、空間的に近いイベントは、時間的に近いと予想され得る。
【0131】
ステップ７０５において、少なくとも１つのプロセッサは、他の新しいイベントに関して少なくとも１つの連結性基準が満たされたかを決定してよい。たとえば、少なくとも１つのプロセッサは、受信したイベントに関連する他の全ての新しいイベントを発見するために、少なくとも１つの連結性基準を用いてよい。
【0132】
ステップ７０７において、少なくとも１つのプロセッサは、少なくとも１つの連結性基準が満たされた全ての新しいイベントに関連付けられたクラスタ識別子を合併してよい。したがって、少なくとも１つの連結性基準を満たすステップ７０３および７０５からの全ての新しいイベントは、ステップ７０１において受信されたイベントと同じクラスタ識別子を割り当てられる。
【0133】
ステップ７０９において、少なくとも１つのプロセッサは、関連イベントのセットとしてクラスタを出力してよい。たとえば、同じクラスタ識別子を有する全てのイベントが出力され得る。
【0134】
方法７００に関して用いられ得る典型的な実施形態および特徴は、２０１９年１月３０日に出願された、“Ｍｅｔｈｏｄ ｏｆ Ｐｒｏｃｅｓｓｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ ａｎ Ｅｖｅｎｔ－Ｂａｓｅｄ Ｓｅｎｓｏｒ”と題された欧州特許第１９１５４４０１．４号において説明される。この出願の開示は、参照によって本明細書に組み込まれる。
【0135】
方法７００のクラスタアルゴリズムは、近隣画素の探索ではなく図６の探索を行うために用いられ得る。たとえば、ステップ７０３および７０５の連結性基準は、どの画素が探索されるべきかを識別するために用いられ得る。また、既に同じクラスタ識別子を有する任意の画素も探索に含まれ得る。
【0136】
追加または代替として、方法７００は、その後各クラスタが復号され、そのクラスタの復号されたシンボルがステートマシンを介して連結されるように、画像センサから受信した生のイベントをクラスタ化するために用いられ得る。したがって、各シンボルを復号することおよびシンボルを順次連結することではなく、雑音を低減するためにクラスタ化の後に復号および連結が行われ得る。
【0137】
図８は、画像センサ（たとえば図２Ａの画像センサ２００、図２Ｂの画像センサ２５０など）の信号から検出されたイベントに基づくシンボル符号化のための２つの技術を示す図である。図８の例８００に示すように、検出されたイベントは、画像センサの信号から検出された投影パルスの始まりおよび終わりを合図してよい。たとえば、図２Ａの画像センサ２００における光の輝度は、時間およびそこから検出された振幅の増加または減少にわたり追跡されてよく、増加は、投影パルスの始まりを示し、対応する減少は、投影パルスの終わりを示してよい。他の例において、図２Ｂの画像センサ２５０は、イベントベースであるため、そこからの任意の信号は、トリガ信号をもたらした振幅の増加または減少を表してよい。検出された変化を用いて可能なパターンが復号され、どのパターンが受信されたかの識別を可能にし得る。例８００には示されないが、異なるパルスは異なるシンボルを符号化してよく、たとえばパルス１、３、および４は、シンボル「１」を符号化し、パルス２は、シンボル「０」を符号化してよい。したがって、例８００は、「１０１１」として復号され得る。
【0138】
図８の例８５０において、検出されたパルス間で決定された時間が、復号のために用いられる。たとえば、図２Ａの画像センサ２００における光の輝度は、時間およびそこから検出された振幅の変化にわたり追跡され得る。他の例において、図２Ｂの画像センサ２５０は、イベントベースであるため、そこからの任意の信号は、トリガ信号をもたらした振幅の変化を表してよい。パルス間の時間的空間を用いて可能なパターンが復号され、どのパターンが受信されたかの識別を可能にし得る。例８５０には示されないが、異なる時間的空間は異なるシンボルを符号化してよい。たとえば、例８５０において、パルス１と２、パルス３と４、およびパルス４とパターンの終わりとの間の空間は、シンボル「１」を符号化してよく、一方、パルス２と３との間の空間は、シンボル「０」を符号化してよい。したがって、例８００と同様、例８５０は、「１０１１」として復号され得る。
【0139】
マッチングに関する他の技術（図８には不図示）は、複数の時間に検出された光の振幅を追跡すること、およびそれに基づいてどのパターンが受信されたかを識別することを含んでよい。たとえば、図２Ａの画像センサ２００における光の輝度は、時間にわたり追跡され、そこから振幅の変化が検出され得る。他の例において、図２Ｂの画像センサ２５０は、イベントベースであるため、そこからの任意の信号は、トリガ信号をもたらした振幅の変化を表し得る。特定の振幅に対応するシンボルおよび／または特定の振幅の時間的長さに対応するシンボルを用いて可能なパターンが復号され、どのパターンが受信されたかの識別を可能にし得る。
【0140】
他の例において、図２Ａの画像センサ２００における光の周波数は、時間にわたり追跡され、そこから周波数の変化が検出され得る。特定の周波数に対応するシンボルおよび／または特定の周波数の時間的長さに対応するシンボルを用いて可能なパターンが復号され、どのパターンが受信されたかの識別を可能にし得る。
【0141】
図８には示されないが、いくつかの検出されたイベントは破棄され得る。たとえば、３次元撮像を行う少なくとも１つのプロセッサは、閾値を超過する時間量および／または閾値未満の時間量離れたデジタル信号のいずれを破棄してもよい。ソフトウェアまたは論理ベースのローバンドパスフィルタおよび／またはハイバンドパスフィルタをそれぞれ用いることによって、システムは、パターン検出の精度を更に高め、雑音を低減させ得る。ローバンドパスフィルタおよび／またはハイバンドパスフィルタは、ソフトウェアにおいて実装されてよく、または、たとえば図２Ａの測定回路２０５、図２Ｂの露光測定回路２５７、画像センサに接続された読出しシステムなどへの統合によって、ファームウェアまたはハードウェアにおいて実装され得る。たとえば、バンドパスフィルタのハードウェア実装は、センサのアナログ設定を変更することを含んでよい。
【0142】
同様に、３次元撮像を行う少なくとも１つのプロセッサは、追加または代替として、所定の閾値範囲内にない帯域幅を伴うデジタル信号のいずれを破棄してもよい。たとえば、シーンに複数のパターンを放出するプロジェクタは、特定の周波数（およびそれに伴う帯域幅）範囲内の電磁パルスを投影するように構成され得る。したがって、システムは、雑音をフィルタし、プロジェクタによって放出されたものに対応する周波数のみを捕捉するために、（ハードウェアおよび／またはソフトウェアにおける）帯域幅フィルタを用いてよい。追加または代替として、システムは、雑音を低減するために、（ハードウェアおよび／またはソフトウェアにおける）帯域幅フィルタを用いて高周波数および／または低周波数の光をフィルタしてよい。
【0143】
上述したソフトウェアおよび／またはハードウェアバンドパスおよび／または周波数フィルタに加えて、またはその代わりに、システムは、画像センサに衝突するシーンからの光をフィルタするために用いられる１または複数の光学フィルタを含んでよい。たとえば、図２Ａおよび図２Ｂに関して、光学フィルタ（複数も可）は、所定の範囲内にない波長を伴う任意の反射を遮断するように構成され得る。
【0144】
いくつかの実施形態において、例８００に示すような単一のイベントまたは例８５０に示すような単一のイベント間のタイミングを用いるのではなく、本開示の実施形態は、イベントバーストを用いてシンボルを符号化してよい。たとえば、図９は、たとえば図２Ａの画像センサ２００、図２Ｂの画像センサ２５０などの画像センサを用いてイベントバーストを検出するための方法例９００を示す。
【0145】
図９は、本開示の実施形態と合致する、イベントバーストを検出するための典型的な方法９００のフローチャートである。図９の方法９００は、画像センサ（たとえば図２Ａの画像センサ２００、図２Ｂの画像センサ２５０など）と同じチップ上にマイクロプロセッサとして統合されるか、処理システムの一部として個別に提供されるかにかかわらず、少なくとも１つのプロセッサを用いて行われ得る。少なくとも１つのプロセッサは、本明細書で更に開示されるように、信号を送受信する目的で、画像センサと電気通信状態であってよい。
【0146】
ステップ９０１において、少なくとも１つのプロセッサは、画像センサ（たとえば図２Ａの画像センサ２００、図２Ｂの画像センサ２５０など）からイベントを受信してよい。方法５００のステップ５０５に関して上述したように、イベントは、イベントベースの画像センサからの信号、または（たとえばクロック回路を用いる）連続画像センサの信号から抽出されたイベントを備えてよい。
【0147】
ステップ９０３において、少なくとも１つのプロセッサは、イベントの極性を確認してよい。たとえば、少なくとも１つのプロセッサは、極性がイベントに関して予想される極性と一致するか、複数の増加または減少が予想される場合に過去のイベントと同じであるか、または極性変化が予想される場合に過去のイベントと異なるかを決定してよい。たとえば、投影パターンは、増加信号または減少信号を合図するために、複数の（たとえば２つ、３つなどの）イベントを生成するように構成され得る。そのような複数は、ステップ９０３における雑音のフィルタリングを可能にし得る。極性が有効でない場合、少なくとも１つのプロセッサは、図９に示すように、イベントを破棄し、新たなイベントでステップ９０１からやり直してよい。追加または代替として、極性が有効でない場合、少なくとも１つのプロセッサは、現在のバーストを破棄し、見込みのある新たなバーストの始まりとしてステップ９０１からのイベントを用いてよい。
【0148】
ステップ９０５において、少なくとも１つのプロセッサは、過去のイベントから時間的に過度に離れている場合（たとえば時間差が閾値を超過する場合）、受信したイベントを破棄してよい。したがって、少なくとも１つのプロセッサは、単一のバーストの一部を形成するためには時間的に過度に離れているイベントを連結することを回避してよい。イベントが過度に離れている場合、少なくとも１つのプロセッサは、図９に示すように、イベントを破棄し、新たなイベントでステップ９０１からやり直してよい。追加または代替として、イベントが過度に離れている場合、少なくとも１つのプロセッサは、現在のバーストを破棄し、見込みのある新たなバーストの始まりとしてステップ９０１からのイベントを用いてよい。
【0149】
ステップ９０７において、少なくとも１つのプロセッサは、関連画素のイベントカウンタを増分してよい。たとえば、関連画素は、ステップ９０１のイベントが受信された画素を備えてよい。イベントカウンタは、ステップ９０３および９０５の下で、同じバースト内としての資格を得る、ステップ９０１の回帰的実行で受信された整数カウントのイベントを備えてよい。
【0150】
ステップ９０９において、少なくとも１つのプロセッサは、イベントカウンタがイベント閾値を超過すると、バーストを抽出してよい。たとえば、イベント閾値は、２～１０のイベントを備えてよい。他の実施形態において、より大きなイベント閾値が用いられ得る。バーストが抽出される場合、少なくとも１つのプロセッサは、イベントカウンタをリセットしてよい。イベントカウンタがイベント閾値を超過しない場合、少なくとも１つのプロセッサは、イベントカウンタをリセットすることなくステップ９０１へ戻ってよい。したがって、ステップ９０３および９０５の下で、同じバースト内としての資格を得る追加のバーストが検出され、ステップ９０７においてイベントカウンタに追加され得る。
【0151】
いくつかの実施形態において、方法９００は更に、現在のバーストの第１のイベントから時間的に過度に離れている場合、受信されたイベントを破棄することを含んでよい。したがって、方法９００は、雑音によりバーストが意図せず閾値を超過して延長されることを防止し得る。
【0152】
追加または代替として、方法９００は、バーストが、単一の画素または画像センサ全体にわたるのではなく領域内のみで検出されるように、領域ごとにイベントの数を追跡してよい。したがって、方法９００は、画像センサの様々な部分における同時バーストの検出を可能にし得る。
【0153】
イベントが破棄されると常に、少なくとも１つのプロセッサは、イベントカウンタをリセットしてよい。あるいは、いくつかの実施形態において、少なくとも１つのプロセッサは、イベントが破棄された場合でも、対応するイベントカウンタを格納してよい。いくつかの実施形態は、保存および破棄の組み合わせを用いてよい。たとえば、イベントカウンタは、ステップ９０３においてイベントが破棄された場合、保存され得るが、ステップ９０５においてイベントが破棄された場合、リセットされ得る。
【0154】
方法９００の典型的な実施形態の詳細な説明は、２０１９年１月３０日に出願された、“Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｏｆ Ｐｒｏｃｅｓｓｉｎｇ ａ Ｓｉｇｎａｌ ｆｒｏｍ ａｎ Ｅｖｅｎｔ－Ｂａｓｅｄ Ｓｅｎｓｏｒ”と題された国際特許出願第ＰＣＴ／ＥＰ２０１９／０５１９１９号において説明される。この出願の開示は、参照によって本明細書に組み込まれる。
【0155】
方法９００から抽出されたバーストは、（たとえば符号化パターンの一部として用いられる）シンボルを備えてよい。たとえば、シンボルを符号化するために単一のイベントではなくバーストを用いることによって、システムは、精度を高め、雑音を低減させ得る。追加または代替として、方法９００から抽出されたバーストは、符号化パターンを形成するシンボルセットを備えてよい。たとえば、パターンを符号化するためにバーストを用いることによって、システムは、より高い精度かつ低減された雑音で、時間において異なるパターンを区別し得る。
【0156】
図２Ａまたは図２Ｂのアーキテクチャを用いて説明されたが、１または複数の感光性要素（たとえばフォトダイオード）に衝突する光の輝度に基づく信号を捕捉するように適合された任意の画像センサが用いられ得る。したがって、トランジスタ、キャパシタ、スイッチ、および／またはそのような捕捉を行うように配置された他の回路部品の任意の組み合わせが、本開示のシステムにおいて用いられ得る。また、本開示のシステムは、（たとえば図２Ａの画像センサ２００などの）任意の同期画像センサまたは（たとえば図２Ｂの画像センサ２５０などの）任意のイベントベースの画像センサを用いてよい。
【0157】
特定の実施形態が、３次元光線および３次元像点の計算を参照して説明されたが、本開示と合致するシステムは、他の動作を行ってよく、および／または他のアプリケーションで用いられてよい。たとえば、いくつかの実施形態において、反射が抽出される画素の位置は、３次元シーンを再構成するため、または（たとえば人物または他の物体などの）３次元物体を検出するために用いられ得る。そのような実施形態において、画素位置は、システムの較正の結果として３次元位置に対応し得る。
【0158】
本開示の実施形態は、たとえばルックアップテーブルまたは機械学習を用いることによって、三角測量演算を行う必要なく３次元点を計算し得る。いくつかの実施形態において、特定の画素位置ｉ、ｊにおいて識別されたラインから３次元点を決定するために、格納されたルックアップテーブルが少なくとも１つのプロセッサによって用いられ得る。追加または代替として、機械学習は、較正されたシステムに関する画素位置から３次元点を決定するために用いられ得る。
【0159】
また更なる実施形態において、分析の目的で画素差が用いられ得る。たとえば、視差（「ｄ」）は、センサ上で投影ラインが観測された場所（「ｘ」）と、プロジェクタ上の相当する画素としてそれが放出された場所（「ｘ＿Ｌ」）との間の画素差を指し、ｄ＝ｘ－ｘ＿Ｌとして表されるものとする。いくつかの実施形態において、位置「ｘ」は、たとえばそれが機械学習を介して抽出され得るアプリケーションにおいて、「ｘ＿Ｌ」を直接知ることなく、直接用いられてもよい。そのようなアプリケーションにおいて、３次元点は、背景と前景とを区分するために、「ｘ」画素座標および関連する視差から計算され得る。たとえば、少なくとも１つのプロセッサは、深さを再構成することなく、視差測定値を閾値付けてよい（たとえば、ｄ≦閾値は背景となり、ｄ≧閾値は前景となる）。自動車または監視アプリケーションにおいて、たとえば、地上対物体上の点から点を除去することが望ましい。更なる例として、顔面、物体、および／またはジェスチャ認識は、視差から直接受信し、行われ得る。
【0160】
物体の深さまたはセンサの関心領域（ＲＯＩ）内の深さの推定は、物体バウンディングボックスまたはＲＯＩ内の視差の（平均化のような）統合の後に行われ得る。また、いくつかの実施形態において、逆深さモデルを用いる同時ランドスケーピングおよびマッピング（ＳＬＡＭ）アプリケーションは、比例置換として視差を用いてよい。
【0161】
上記説明は、例示を目的として提示された。上記説明は、網羅的ではなく、開示される形態または実施形態そのものに限定されるものではない。実施形態の変更および適合は、本明細書の考察および開示される実施形態の実施により明らかになる。たとえば、説明された実装は、ハードウェアを含むが、本開示と合致するシステムおよび方法は、ハードウェアおよびソフトウェアで実施され得る。加えて、特定の構成要素が互いに結合されるものとして説明されたが、そのような構成要素は、互いに統合されてよく、または任意の適当な形式で分散してよい。
【0162】
また、本明細書において典型的な実施形態が説明されたが、その範囲は、本開示に基づく同等の要素、変更、省略、（たとえば様々な実施形態にわたる態様の）組み合わせ、適合、および／または代替を有する任意のかつ全ての実施形態を含む。特許請求の範囲における要素は、特許請求の範囲において用いられる言語に基づいて幅広く解釈されなければならず、本明細書において、または本出願の審査中に説明される例に限定されるべきではなく、この例は、非排他的なものとされる。また、開示される方法のステップは、ステップの並べ替えおよび／またはステップの挿入または削除を含む任意の方法で変更され得る。
【0163】
上記で参照した特許および特許出願に加えて、２０１９年２月２２日に出願された、Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｓｅｎｓｉｎｇと題された米国特許第６２／８０９，５５７号、２０１９年２月２６日に出願された、Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｓｅｎｓｉｎｇと題された米国特許第６２／８１０，９２６号、および、２０２０年１月２３日に出願された、Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｓｅｎｓｉｎｇと題された米国特許第６２／９６５，１４９号の各々の全体が、参照によって本明細書に組み込まれるものである。
【0164】
本開示の特徴および利点は、本明細書から明らかであり、よって、添付の特許請求の範囲は、本開示の適切な主旨および範囲内に収まる全てのシステムおよび方法を包括することが意図される。本明細書で用いられる場合、不定冠詞「ａ」および「ａｎ」は、「１または複数の」を意味する。同様に、複数形の用語の使用は、所与の文脈において明確にされない限り、必ずしも複数を意味するわけではない。特に明記されない限り、たとえば「および」または「または」などの言葉は、「および／または」を意味する。また、本開示を研究することにより数々の変更例および変形例に容易に思い至ることから、本開示を、例示および説明された構成および動作そのものに限定することは所望されず、したがって、全ての適当な変更例および均等物は、本開示の範囲内に収まることが訴えられ得る。
【0165】
他の実施形態は、本明細書の考察および本明細書に開示された実施形態の実施により理解される。本明細書および例は、単なる例とみなされることが意図されており、開示される実施形態の適切な範囲および主旨は、以下の特許請求の範囲によって示されるものである。
【図1A】
【図1B】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】