知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-30
(54)【発明の名称】３次元撮像システム
(51)【国際特許分類】
G01B 11/25 20060101AFI20240920BHJP
【ＦＩ】
G01B11/25 H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024519427
(86)(22)【出願日】2022-10-03
(85)【翻訳文提出日】2024-05-22
(86)【国際出願番号】 EP2022076182
(87)【国際公開番号】W WO2023057208
(87)【国際公開日】2023-04-13
(31)【優先権主張番号】21200661.3
(32)【優先日】2021-10-04
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】523228565
【氏名又は名称】ボクセルセンサーズ エスアールエル
【氏名又は名称原語表記】ＶＯＸＥＬＳＥＮＳＯＲＳ ＳＲＬ
【住所又は居所原語表記】Ｃａｎｔｅｒｓｔｅｅｎ ４７， Ｂｒｕｓｓｅｌｓ， Ｂｅｌｇｉｕｍ
(74)【代理人】
【識別番号】100142022
【弁理士】
【氏名又は名称】鈴木 一晃
(74)【代理人】
【識別番号】100196623
【弁理士】
【氏名又は名称】松下 計介
(74)【代理人】
【識別番号】100175662
【弁理士】
【氏名又は名称】山本 英明
(72)【発明者】
【氏名】ウォード ファン デル テンペル
(72)【発明者】
【氏名】ヨハネス ウィレム ピータース
(72)【発明者】
【氏名】アンドレ ベルナルド ミオデツキー
(72)【発明者】
【氏名】クリスチャン ムラド
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA04
2F065AA06
2F065AA53
2F065DD04
2F065DD06
2F065FF04
2F065FF09
2F065GG04
2F065HH04
2F065HH05
2F065HH06
2F065HH07
2F065JJ26
2F065PP15
(57)【要約】
３次元撮像システム。先行する請求項のいずれか１つに記載の方法を実施する深度イメージングシステムは、ａ．衝突する単一光子を検出できる光検出器（９）をそれぞれが有する複数の画素を含む画素マトリックス（１）と前記画素マトリックス（１）上に視野の画像を形成することができる光学系とを有し、前記単一光子検出器は、１時間枠内に、光子が検出された場合に真の２値論理状態、及び、光子が検出されなかった場合に偽の論理状態を有する撮像装置（４）と、ｂ．１０μｓｅｃ未満、好ましくは１μｓｅｃ未満の時間窓でパターンを投影できる投影装置（５）と、ｃ．前記投影装置（５）の時間窓と前記撮像装置の時間枠とを同期させる制御装置と、ｄ．使用時に、前記時間枠中に真の状態にある連続する画素（１１）の存在を決定し、前記連続する画素（１１）に対応する深度プロファイルを計算するロジックと、を有する。
【特許請求の範囲】
【請求項1】
視野（７）の深度プロファイル決定方法において、ａ．投影装置（５）によって少なくとも１つの光パターンを前記視野に投影し、前記投影は１０μｓｅｃ未満、好ましくは１μｓｅｃ未満の時間窓で行われるステップと、
ｂ．前記時間窓内の少なくとも１つの観測窓中の前記パターンの前記投影と同期させて、カメラセンサ（４）と光学系とによって、投影された前記パターンを撮像し、前記カメラセンサは画素マトリクス（１）を有し、各画素（９）は光検出器を有し、前記画素（９）は、対応する前記光検出器によって光が検出されない場合は偽の状態にあり、対応する前記光検出器によって光が検出された場合は真の状態にあり、これにより前記視野を表す第１の画素の２値マトリクスを得るステップと、
ｃ．前記時間窓内の１つの観測、又は、少なくとも２つの観測の組み合わせで得られた画素マトリクス（１）上で、少なくとも１つの近傍の画素が真の状態にあり、且つ、自己も真の状態にある画素のみを考慮することにより、前記画素の２値マトリクス上で、投影された前記パターンを外乱光ノイズ（１０）から分離し、これにより投影された前記パターンを表す第２の画素の２値マトリクスを得るステップと、
ｄ．前記投影装置（５）の位置、前記カメラ（４）の位置、及び、前記第２の画素の２値マトリクス間の三角測量に基づいて、投影された前記パターンに対応する深度プロファイルを算出するステップと、
ｅ．前記視野全体の深度プロファイルを決定するために、ステップａからｄを前記視野全体で繰り返すことにより、投影された前記パターンを走査するステップと、
を有し、
前記パターンの分離された各要素は、２値表現において、少なくとも２つの連続する画素上に延在している、
視野の深度プロファイル決定方法。
【請求項2】
請求項１に記載の視野の深度プロファイル決定方法において、投影された前記パターンは、少なくとも１つの連続ラインを有し、
投影された前記パターンを前記外乱ノイズから分離するステップは、少なくとも１つの連続ラインを形成する真の画素のみを考慮することにより行う、
視野の深度プロファイル決定方法。
【請求項3】
請求項２に記載の視野の深度プロファイル決定方法において、２つ以上の連続ラインを同時に投影する、
視野の深度プロファイル決定方法。
【請求項4】
請求項２又は請求項３に記載の視野の深度プロファイル決定方法において、投影された前記連続ラインは、直線（８）であり、前記視野全体で、又は、前記視野のうち関心領域を形成する部分で順次走査される、
視野の深度プロファイル決定方法。
【請求項5】
請求項４に記載の視野の深度プロファイル決定方法において、前記直線は、所定の方向に向けられており、
前記外乱ノイズから直線を分離するステップは、近傍の画素が投影された前記直線（８）の一部である確率を分析するために、前記所定の方向を用いる、
視野の深度プロファイル決定方法。
【請求項6】
請求項１から請求項５のいずれか１つに記載の視野の深度プロファイル決定方法において、画素（９）が、投影された前記パターンの一部である確率を、訓練されたニューラルネットワークによって決定する、
視野の深度プロファイル決定方法。
【請求項7】
請求項１から請求項６のいずれか１つに記載の視野の深度プロファイル決定方法において、連続する２つの投影間の前記投影パターンの変位は、１画素幅未満に対応しており、
連続するライン走査間で、決定された前記深度を補間することにより、深度分解能を向上させる、
視野の深度プロファイル決定方法。
【請求項8】
請求項２から請求項７のいずれか１つに記載の視野の深度プロファイル決定方法において、投影された前記ラインを、前記視野上で少なくとも１つのレーザービームを移動させることにより生成する、
視野の深度プロファイル決定方法。
【請求項9】
請求項１から請求項８のいずれか１つに記載の視野の深度プロファイル決定方法において、前記光検出器はそれぞれ、単一光子検出器（９）を有する、
視野の深度プロファイル決定方法。
【請求項10】
請求項１から請求項９のいずれか１つに記載の視野の深度プロファイル決定方法を実施する深度イメージングシステムにおいて、ａ．衝突する単一光子を検出できる光検出器（９）をそれぞれが有する複数の画素を含む画素マトリックス（１）と前記画素マトリックス（１）における視野の画像を形成することができる光学系とを有し、前記単一光子検出器は、１時間枠内に、光子が検出された場合に真の２値論理状態、及び、光子が検出されなかった場合に偽の論理状態を有する撮像装置（４）と、
ｂ．１０μｓｅｃ未満、好ましくは１μｓｅｃ未満の時間窓でパターンを投影できる投影装置（５）と、
ｃ．前記投影装置（５）の時間窓と前記撮像装置の時間枠とを同期させる制御装置と、
ｄ．使用時に、前記時間枠中に真の状態にある連続する画素（１１）の存在を決定し、前記連続する画素（１１）に対応する深度プロファイルを計算するロジックと、
を有する深度イメージングシステム。
【請求項11】
請求項１０に記載の深度イメージングシステムにおいて、前記投影装置（５）は、前記ロジックによるライン検出を向上させるために、所定の方向に前記ライン（８）を投影するように構成されている、
深度イメージングシステム。
【請求項12】
請求項１０又は請求項１１に記載の深度イメージングシステムにおいて、前記画素マトリクス（１）は、前記単一光子検出器を含む第１の層と、近傍試験回路を含む第２の層とを有し、
前記近傍試験回路は、対応する前記単一光子検出器と少なくとも１つの隣接する単一光子検出器とが同時に真の状態にある場合にのみ、前記第２の層の回路の出力が真となるように構成されており、それにより、どの画素が、前記真の論理状態にある少なくとも１つの連続する画素を有するかを判定する、
深度イメージングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元撮像システムに関する。
【背景技術】
【0002】
深度イメージングシステムの最先端の実装の１つでは、撮像システムによって、シーン上に投影された構造又はラインを撮像する。
【0003】
産業用途、例えばコンベアベースのシステムでは、固定されたラインがコンベアベルト上に投影され、走査される対象物はレーザーのカーテンを通過する。高速撮像システム（およそ１ｋｐｓのフレームレート）は、投影されたラインの歪みを監視し、ラインが投影された対象物の深度プロファイルを推測している。
【0004】
コンベアシステムの場合、対象物に沿った走査の速度は、典型的には撮像システムのフレームレートに対して遅いコンベアの速度によって決まる。
【0005】
同じタイプのセンサは、例えば動くレーザーラインをシーン上に投影する１次元ＭＥＭＳシステムによって、レーザーラインがシーンを走査する場合には適していない。リフレッシュレートが１００Ｈｚで、ラテラル方向分解能が８００本のレーザーラインと仮定すると、センサシステムは１２．５μｓで各ラインを撮像する必要があり、これは８０ｋＨｚのフレームレートを意味する。これは、今日の典型的なシステムの技術的能力を超えている。
【0006】
これに対する解決策は、インテルが設計した第１世代ＲｅａｌＳｅｎｓｅカメラによって実装された。各ラインを個別に撮像する代わりに、各撮像フレームはシーンに投影されたラインを集合で見る。例えば、レーザーラインにより１０ｋＨｚでシーンを掃引するＭＥＭＳレーザー走査装置では、ラインは１０ｍｓ毎に１００回視野を通過する。照射装置が、一緒に撮像される１セットのラインを投影するように、レーザーラインの出力が、変調又はパルス化される。
【0007】
欠点は、検出速度と遅延とがもはや照射によって決まるのではなく、システムにフレームレートを課すセンサシステムによって決まることである。
【0008】
さらに、屋外環境のような強い外乱光の条件下でこのシステムを動作させるには、十分な光力が必要になる。
【0009】
本発明は、外乱光の条件下でも必要な光パワーの要件を最小限に抑えながら、わずか１０ｎｓ程度の露光でラインを撮像可能にすることで、レーザーライン走査システムの性能を最大化するように最適化されたセンサを実現するものである。
【発明の概要】
【0010】
本発明の第１の態様は、視野の深度プロファイル決定方法に関する。前記方法は、
・投影装置（５）により少なくとも１つの光パターンを前記視野に投影し、前記投影は１０μｓｅｃ未満、好ましくは１μｓｅｃ未満の時間窓で行われるステップと、
・前記時間窓内の少なくとも１つの観測窓中の前記パターンの投影と同期させて、カメラセンサ（４）と光学系とによって、投影された前記パターンを撮像し、前記カメラセンサは画素マトリクス（１）を有し、各画素（９）は光検出器を有し、前記画素（９）は、対応する前記光検出器によって光が検出されない場合は偽の状態にあり、対応する前記光検出器によって光が検出された時は真の状態にあり、これにより前記視野を表す第１の画素の２値マトリクスを得る、ステップと、
・前記時間窓内の１つの観測、又は、少なくとも２つの観測の組み合わせで得られた画素マトリクス（１）上で、少なくとも１つの近傍の画素も真の状態にあり、且つ、自己も真の状態にある画素のみを考慮することにより、前記画素の２値マトリクス上で、投影された前記パターンを外乱光ノイズ（１０）から分離し、これにより投影された前記パターンを表す第２の画素の２値マトリクスを得るステップと、
・前記投影装置（５）の位置、前記カメラ（４）の位置、及び、前記第２の画素の２値マトリクス間の三角測量に基づいて、投影された前記パターンに対応する深度プロファイルを算出するステップと、
・前記視野全体の深度プロファイルを決定するために、ステップａからｄを前記視野全体で繰り返すことにより、前記投影されたパターンを走査するステップと、
を有する。
前記パターンの分離された各要素は、２値表現において、少なくとも２つの連続する画素上に延在している。
。
・投影装置（５）により少なくとも１つの光パターンを前記視野に投影し、前記投影は１０μｓｅｃ未満、好ましくは１μｓｅｃ未満の時間窓で行われるステップと、
・前記時間窓内の少なくとも１つの観測窓中の前記パターンの投影と同期させて、カメラセンサ（４）と光学系とによって、投影された前記パターンを撮像し、前記カメラセンサは画素マトリクス（１）を有し、各画素（９）は光検出器を有し、前記画素（９）は、対応する前記光検出器によって光が検出されない場合は偽の状態にあり、対応する前記光検出器によって光が検出された時は真の状態にあり、これにより前記視野を表す第１の画素の２値マトリクスを得る、ステップと、
・前記時間窓内の１つの観測、又は、少なくとも２つの観測の組み合わせで得られた画素マトリクス（１）上で、少なくとも１つの近傍の画素も真の状態にあり、且つ、自己も真の状態にある画素のみを考慮することにより、前記画素の２値マトリクス上で、投影された前記パターンを外乱光ノイズ（１０）から分離し、これにより投影された前記パターンを表す第２の画素の２値マトリクスを得るステップと、
・前記投影装置（５）の位置、前記カメラ（４）の位置、及び、前記第２の画素の２値マトリクス間の三角測量に基づいて、投影された前記パターンに対応する深度プロファイルを算出するステップと、
・前記視野全体の深度プロファイルを決定するために、ステップａからｄを前記視野全体で繰り返すことにより、前記投影されたパターンを走査するステップと、
を有する。
前記パターンの分離された各要素は、２値表現において、少なくとも２つの連続する画素上に延在している。
。
【0011】
本発明の方法の好ましい実施形態は、以下の特徴のうちの１つ、又は、２つ以上の特徴の好適な組み合わせを含む：
－投影された前記パターンは、少なくとも１つの連続ラインを有し、投影された前記パターンを前記外乱ノイズから分離するステップは、少なくとも１つの連続ラインを形成する真の画素のみを考慮することにより行う；
－２つ以上の連続ラインを同時に投影する；
－前記投影された連続ラインは直線であり、前記視野全体で、又は、前記視野のうち関心領域を形成する部分で順次走査される；
－前記直線は、所定の方向に向けられており、前記外乱ノイズから直線を分離するステップは、近傍の画素が投影された前記直線の一部である確率を分析するために、前記所定の方向を用いる；
－画素が、投影された前記パターンの一部である確率を、訓練されたニューラルネットワークによって決定する；
－連続する２つの投影間の前記投影パターンの変位は、１画素幅未満に対応しており、連続するライン走査間で、決定された深度を補間することにより、深度分解能を向上させる；
－投影された前記ラインを、前記視野上で少なくとも１つのレーザービームを移動させることにより生成する；
－前記光検出器はそれぞれ、単一光子検出器を有する。
－投影された前記パターンは、少なくとも１つの連続ラインを有し、投影された前記パターンを前記外乱ノイズから分離するステップは、少なくとも１つの連続ラインを形成する真の画素のみを考慮することにより行う；
－２つ以上の連続ラインを同時に投影する；
－前記投影された連続ラインは直線であり、前記視野全体で、又は、前記視野のうち関心領域を形成する部分で順次走査される；
－前記直線は、所定の方向に向けられており、前記外乱ノイズから直線を分離するステップは、近傍の画素が投影された前記直線の一部である確率を分析するために、前記所定の方向を用いる；
－画素が、投影された前記パターンの一部である確率を、訓練されたニューラルネットワークによって決定する；
－連続する２つの投影間の前記投影パターンの変位は、１画素幅未満に対応しており、連続するライン走査間で、決定された深度を補間することにより、深度分解能を向上させる；
－投影された前記ラインを、前記視野上で少なくとも１つのレーザービームを移動させることにより生成する；
－前記光検出器はそれぞれ、単一光子検出器を有する。
【0012】
本発明の第２の態様は、本発明の視野の深度プロファイル決定方法を以下の構成によって実施する深度イメージングシステムに関する。
－衝突する単一光子を検出できる光検出器（９）をそれぞれが有する複数の画素を含む画素マトリックス（１）と前記画素マトリックス（１）における視野の画像を形成することができる光学系とを有する撮像装置。前記単一光子検出器は、１時間枠において、光子が検出された時に真の２値論理状態、及び、光子が検出されなかった時に偽の論理状態を有する。
－１０μｓｅｃ未満、好ましくは１μｓｅｃ未満の時間窓でパターンを投影できる投影装置。
－前記投影装置の時間窓と前記撮像装置の時間枠とを同期させる制御装置。
－使用時に、前記時間枠中に真の状態にある連続する画素の存在を決定し、前記連続する画素に対応する深度プロファイルを計算するロジック。
－衝突する単一光子を検出できる光検出器（９）をそれぞれが有する複数の画素を含む画素マトリックス（１）と前記画素マトリックス（１）における視野の画像を形成することができる光学系とを有する撮像装置。前記単一光子検出器は、１時間枠において、光子が検出された時に真の２値論理状態、及び、光子が検出されなかった時に偽の論理状態を有する。
－１０μｓｅｃ未満、好ましくは１μｓｅｃ未満の時間窓でパターンを投影できる投影装置。
－前記投影装置の時間窓と前記撮像装置の時間枠とを同期させる制御装置。
－使用時に、前記時間枠中に真の状態にある連続する画素の存在を決定し、前記連続する画素に対応する深度プロファイルを計算するロジック。
【0013】
好ましくは、前記投影装置は、前記ロジックによるライン検出を向上させるために、所定の方向に前記ラインを投影するように構成されている。
【0014】
有利には、前記画素マトリクスは、前記単一光子検出器を含む第１の層と、近傍試験回路を含む第２の層とを有し、前記近傍試験回路は、対応する前記単一光子検出器と少なくとも１つの隣接する単一光子検出器とが同時に真の状態にある場合にのみ、前記第２の層の回路の出力が真となるように構成されており、それにより、どの画素が、前記真の論理状態にある少なくとも１つの連続する画素を有するかを判定する。
【図面の簡単な説明】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【符号の説明】
【0023】
１ 画像センサ（画素マトリクス）
２ レーザーライン
３ 変形レーザーライン
４ カメラ（センサ及び光学系を含む）
５ レーザー投影装置
６ レーザービーム（ライン走査の限界）
７ 走査対象物
８ 投影ライン
９ 個々の画素
１０ 外乱光によるノイズを検出する画素
３００ 空間ディザリングのための時間窓
３０１ ディザリングのＸ方向空間範囲（投影装置）
３０３ Ｘ方向のピクセル化
３１２ 実ライン位置
３１４ ヒット分布（時間走査中の瞬間測定位置の合計）
３１５ 測定位置の平均位置
３２２ 移動ドットの空間分布
３２４ ヒット分布
３２５ 測定位置の平均位置
４００ 視野
４０１ ドットパターン
４０２ ドットパターン
４０３ 十字パターン
４０４ 円形パターン
４１１ パターン投影装置
４１２ 光源
４１３ 回折格子などの結像面
４１４ ミラー
２ レーザーライン
３ 変形レーザーライン
４ カメラ（センサ及び光学系を含む）
５ レーザー投影装置
６ レーザービーム（ライン走査の限界）
７ 走査対象物
８ 投影ライン
９ 個々の画素
１０ 外乱光によるノイズを検出する画素
３００ 空間ディザリングのための時間窓
３０１ ディザリングのＸ方向空間範囲（投影装置）
３０３ Ｘ方向のピクセル化
３１２ 実ライン位置
３１４ ヒット分布（時間走査中の瞬間測定位置の合計）
３１５ 測定位置の平均位置
３２２ 移動ドットの空間分布
３２４ ヒット分布
３２５ 測定位置の平均位置
４００ 視野
４０１ ドットパターン
４０２ ドットパターン
４０３ 十字パターン
４０４ 円形パターン
４１１ パターン投影装置
４１２ 光源
４１３ 回折格子などの結像面
４１４ ミラー
【発明を実施するための形態】
【0024】
以下に説明する発明は、３次元のシーンを高速で撮像できるシステムを提案する。その目的のために、前記システムは、シーン上に高い周波数でライン等の光パターンを投影し、当該パターンを各ショット間で変位させることで、シーン全体を再構築できる。
【0025】
例として、１軸振動ＭＥＭＳが、レーザーラインを投影し、このレーザーラインを、１ｋＨｚ～１０ｋＨｚで視野（ＦｏＶ）を横切って掃引することを想定すると、これは、１００μｓから１ｍｓの期間に、完全なシーン又はＦｏＶが感知されることを意味する。
【0026】
１振動周期あたり１０００本のラインパルスがある場合を例にとると、各ライン（Ｔライン）は、撮像システムによって１ラインあたり１００ｎｓ～１μｓの間に撮像される必要がある。
【0027】
外乱光が存在する中で、Ｔラインごとにシーン内のラインを撮像できるセンサ又は撮像システムを実現するために、センサシステムが使用された。
【0028】
本発明は、センサを有する深度イメージングシステムに関するものであり、前記センサは画素の配列を有し、各画素は、例えば単一光子アバランシェダイオード（ＳＰＡＤ）によって単一光子を検出できる。
【0029】
前記センサは、好ましくは、パルスレーザーライン（又はパターン）と同期され、これにより、前記センサは、投影された各レーザーラインからの光子入射が予想されるタイミングを知ることができる。画素は、好ましくは１ｎｓから数百ｎｓの短い観察窓の間に活性化される。この観察窓中、単一光子検出器の画素は、光子が検出されると、トリガされるか状態を変化させる。検出された光子は、レーザーラインのエネルギーに起因するものだけでなく、シーンに存在する外乱光に起因するものもある。
【0030】
レーザーラインの位置を特定するために、コインシデンスイメージング法（coincidence imaging method）が提案されるが、これは、観察窓中に近傍の１画素又は複数画素もトリガされた場合にのみ、画素のトリガを有効なトリガとみなす方法である。外乱光は統計的に全ての画素をトリガするので、外乱光によって近傍の画素が短い観察窓中に発火する可能性を最小限に抑えることができる一方で、各レーザーラインのパルス光エネルギーは、前記ラインに沿って接続された近傍の画素が一緒に発火する確率が高くなるように設計できる。このようにすることで、ノイズの多い２値画像から前記レーザーラインを容易に分離することができる。
【0031】
図２に示す第１の実施形態では、関心領域（ＲＯＩ）が列毎又は行毎に読み出され、ラインの位置と形状とを特定するためにピクセルマップが構築される。前記ラインは連続的であり、断片的に連続的であることが分かっているので、このことを、どの画素が前記ラインの一部であるかを特定するための制約条件として使用できる。例えば、孤立した画素イベントは、断片的に連続した構造の一部ではない可能性が高い。さらに、別の制約として、投影された構造として垂直のラインを考慮する場合、検出されたＲＯＩマップにおいて、同じ行の２つの別々のイベントは、隣接していなければならない（この場合、前記ラインは隣接する画素の境界で検出されるか、隣接する画素を部分的に覆っており、この場合、何らかの超解像を適用することができる）か、又は、検出されたイベントが隣接していない場合には、画素の１つだけが前記ラインに接続されたイベントを有し、もう１つの画素はランダムなイベントを有する。次の行又は前の行のイベントを見ることで、どのイベントが真のイベントであったかについての追加情報を得ることができる。なぜなら、垂直のラインを投影しているため、真のイベントは垂直方向に断片的に直線状につながっていると予想できるからである。
【0032】
水平のラインを投影しているもう一方の方向についても、同様の説明が可能である。
【0033】
投影されたラインを垂直又は水平の形状に制約することで、読み出される予定の関心領域を決定することが容易になり、各ラインショットで読み出され分析される画素数を減らすことができる。ＲＯＩは、システムで許容したい最大視差(maximum disparity)によって決定される。
【0034】
もちろん、このような制限がなければ、どのようなラインの向きも適用可能である。例えば、これは、画像センサで典型的なバスによってではなく、画素平面が処理層に並列接続されている積層型システムの場合の大規模な並列接続の処理に適用可能である。
【0035】
本発明の第２の態様は、積層型装置に関する。第１の層は、ＳＰＡＤ配列等の光子検出器と、ＳＰＡＤ配列及び画素を制御するための幾つかの任意の電子回路（場合によってはクエンチング抵抗又は回路）とを有する。第２の層は、検出器又は検出器グループ毎に１又は複数の電気的接続によって第１の層に並列接続される。第２の層は、第１の層から来る情報を処理する。第１の変形例では、コインシデンスイメージングとライン検出とは、第２の層のロジックによって実行される。
【0036】
別の変形例では、大規模な並列接続が、ＳＰＡＤ配列アレイと、生データ画像内のラインセグメントの位置を計算するニューラルネットワークとを接続し、前記ニューラルネットワークはノイズとライン情報とを区別するように訓練される。
【0037】
図面は、ラインスキャナの各振動周期が１０ラインの水平分解能の場合のラインのシーケンスを示している。Ｔ０からＴ４では、レーザーラインは左から右に移動しており、これを右掃引ラインと呼ぶことができる。一方、Ｔ５からＴ９では、レーザーラインは右から左に移動しており、左掃引ラインと呼ぶことができる。この図では、インターリーブ方式で、ラインスキャナの各周期で水平方向に１０の分解能を生み出している。
【0038】
他の実施形態として、左掃引のラインの位置と右掃引のラインの位置とを一致させることで、深度画像の水平方向の分解能は低下するが、これらのラインサンプルの時間的な分解能は向上させることができる。
【0039】
５００本の右掃引ラインと５００本のインターリーブされた左掃引ラインとの場合、又は、その逆の場合、１周期あたりの全ライン分解能は１０００になる。
【0040】
これは、１００μｓ毎に１０００本のラインを構築する必要があり、したがっておよそ１００ｎｓごとにＲＯＩを読み取る必要があることを意味する。ＳＰＡＤ画素配列又はビット深度に制限のある量子画像センサと組み合わせれば、この要件は実現可能である。
【0041】
或いは、画素配列全体又は当該配列の関心領域は、処理平面に並列接続される。例えば、積層型センサ装置では、光入力に感応する画素配列又はセンサ配列が、第１平面上に配置されており、各画素が、前記センサの第２平面上に物理的に配置された処理層に相互接続法によって接続されていてもよい。
【0042】
この場合、アクティブなＲＯＩ又は全画素配列に接続されており、ランダムなイベント又は画素データと、関心ラインに接続されたイベント又は画素データとが含まれるノイズの多い画像内で、ライン、又は断片的なラインを見つけることができる処理要素又はニューラルネットワークを説明することができる。
【0043】
個々の画素を読み出した後のＲＯＩ、或いは画素領域自体に、同時性（coincidence）を適用できる。
【0044】
ラインは、図２に示すように、サブピクセル分解能で時間ステップ毎に移動する。以前に検出されたラインのトリガされた画素位置を分析することで、サブ分解能によって所定のタイムスタンプでより良い推定値を得ることができる。これはもちろん、検出する物体の空間周波数に制約を課すことになる。
【0045】
しかし、ラインの動きの時間的挙動を考慮することで、超解像の方法が得られる。
【0046】
［深度精度を高めるための特殊な（構造的な）ディザリングによる超解像］
従来のドットパターン・アクティブ・ステレオビジョンシステムでは、ドットは空間で静止している。シーンが動いていない場合、ドットはシーン上で固定された位置にあり、したがって画像内でも固定された位置にある。特定の空間分解能を持つ撮像装置でシーンをサンプリングすることによる空間量子化は、深度推定に制限を課す。Ａ． Ｃｈａｔｔｅｒｊｅｅらによる論文『Ｎｏｉｓｅ ｉｎ Ｓｔｒｕｃｔｕｒｅｄ－Ｌｉｇｈｔ Ｓｔｅｒｅｏ Ｄｅｐｔｈ Ｃａｍｅｒａｓ： Ｍｏｄｅｌｉｎｇ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ』（https://arxiv.Org/pdf/1505.01936.pdf）では、ステレオシステムのノイズが説明されている。
従来のドットパターン・アクティブ・ステレオビジョンシステムでは、ドットは空間で静止している。シーンが動いていない場合、ドットはシーン上で固定された位置にあり、したがって画像内でも固定された位置にある。特定の空間分解能を持つ撮像装置でシーンをサンプリングすることによる空間量子化は、深度推定に制限を課す。Ａ． Ｃｈａｔｔｅｒｊｅｅらによる論文『Ｎｏｉｓｅ ｉｎ Ｓｔｒｕｃｔｕｒｅｄ－Ｌｉｇｈｔ Ｓｔｅｒｅｏ Ｄｅｐｔｈ Ｃａｍｅｒａｓ： Ｍｏｄｅｌｉｎｇ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ』（https://arxiv.Org/pdf/1505.01936.pdf）では、ステレオシステムのノイズが説明されている。
【数1】
【0047】
デルタ深度は、デルタ視差に対してリニアである。これは、視差の量子化が深度推定の精度を制限することを意味する。
【0048】
本発明では、画素ピッチによる視差の量子化の制限を、空間ディザリングによって緩和する。シーン内のわずかに異なる位置で、近傍の関連する測定値の集合から深度推定を構築することにより、深度推定を改善することができる。この考え方は、１ビットＡＤ変換器による量子化及びディザリングの考え方に似ている。ディザリングノイズが白色で量子化を上回る場合、最終結果の平均化によって、より良い推定値を得ることができる。この空間ディザリングのコンセプトも同様で、画素が量子化器、移動するドットが空間ディザである。空間ディザが振幅の点で画素の量子化を上回り、且つ、ディザの分布が既知であれば（これはシステムが光を制御するためである）、より正確なサブ分解能の測定値を得ることができる。
【0049】
本発明はさらに、ライン、ドット、又は、ドットパターンのいずれであっても、ほぼ連続的な、極めて高速なセンシングの可能性に基づいている。
【0050】
この考えは、照射に既知の空間確率を課すことである。
【0051】
単一の点、ドット、又は、ドットパターンの場合、複数の点が並列に投影される。分かりやすくするために、１つの点に焦点を当てるが、この方法はどのような投影構造にも拡張できる。
【0052】
ドット（又は構造物）の位置を非常に高速で追跡することができれば、空間ディザリングによって超解像を達成できる。
【0053】
例えば水平方向において、ドットの位置に既知の空間確率分布を課す。これは一様確率分布でもガウス分布でも他の関数でもよいが、滑らかな分布が望ましい。
【0054】
図４は位置ディザリング法を示す。
【0055】
図４（ａ）では、時間窓３００の間に、特定の位置範囲３０１にわたってドット位置が変更、つまりディザリングされる。この時間窓３００の間のドットの位置ｘの確率分布を累積すると、確率密度関数３１２を求めることができる。
【0056】
画素配列は、有限サイズの画素３０３を用いて、離散的な時間の瞬間にこの関数をサンプリングし、量子化を行う。この量子化によってヒストグラム３１４が作成される。期間３００の間にディザリングされたｘ位置を監視することによって、ヒストグラム３１４から平均位置３１５を計算でき、これは、静止位置を有するドットが量子化画素によって観察される場合よりも正確である。このようにして、平均ドット位置の精度が、より高い分解能で得られる。
【0057】
この原理は、例えば、図５に示すような非常に単純な空間ディザリング又は分布に拡張できる。
【0058】
本発明の第３の態様は、第１の態様による方法と同様に、視野の深度プロファイルを決定する方法に関する。しかしながら、ステップｃ（分離すること）は任意であり、これは、深度プロファイルを決定する方法が、当業者によって理解されるように、他のフィルタリングステップを用いて実行することもできるからである。本発明の第４の態様は、第１の態様による方法と同様に、視野の深度プロファイルを決定する方法に関する。しかしながら、ステップｂは、それぞれ画素マトリクスを有する２つのカメラによる撮像を含み、ステップｄは、前記２つのカメラの位置と２つの画素マトリックスとに基づく三角測量を含む。当業者であれば、２つのカメラ又は１つのカメラと１つの光源とのデータを三角測量することは、概念的に類似していることが理解できる。本発明の第５の態様は、好ましくは第３及び第４の態様の方法を実施する深度イメージングシステムに関する。
【0059】
好ましくは、投影装置は、楕円又は円形のドットなどの単純な構造をシーン上に投影し、ラスタ、リサージュ又は他のパターンでシーンを走査する。
【0060】
好ましくは、各カメラは、画像平面の各々におけるドットの位置を追跡し、（ｘ，ｙ，ｔ）データのストリームを出力するように適合される。ここで、ｘ、ｙは画像平面（画素サイズ）における座標、ｔは検出のタイムスタンプである。これは、このようなストリームを１０ｎｓまでの時間分解能で出力できる点で有利である。例えば、図１０は、レーザーに基づく照射が対象領域(the world)を高速ストロークで連続的に掃引している様子を示している。リサージュパターンは、高速２次元ＭＥＭＳミラーに基づいて生成される。２つ以上のセンサが、レーザードットの位置を非常に高速（最大１００ＭＨｚ）でスナップショットする。各センサはレーザードットの位置を送信し、その後、単純な三角測量アルゴリズムにより、正確な３Ｄ形状、位置、輪郭、動きを前述の超高速で計算することができる。
【0061】
本発明の方法とシステムとは、以下に要約するいくつかの理由で有利である。第１の利点は、出力に関するものである。ここでは、単一のドット（又はドットのセット）が一度に投影され、可能な限り最短時間でシーン内の特定の位置をサンプリングするために全エネルギーを束ね、最小の光子バジェットで外乱光に対する最良の耐性(immunity)を得る。しかしながら、ドットを検出するために必要な光子バジェットは、使用される検出技術によって異なる。例えば、２つの画素に分散されたわずか１２光子（６光子／画素）でドットを検出することが可能である。さらに、１画素あたり６光子のリターンを生成するのに必要な時間が短ければ短いほど、外乱光に対する耐性が向上する。したがって、このシステムでは、短い高出力パルスを使用することが好ましい。
【0062】
さらに、走査中に出力を急速に変化させることができるため、レーザー出力を動的に割り当てるフレームを作成することも可能である。例えば、遠くの物体や暗い物体はより大きなレーザー強度で照射し、手近な物体はより低いレーザー出力で照射することができる。これは１走査内で変調することができ、システム範囲、消費電力、走査密度を最適化しながら、クラス１アイセーフリミット（class-1 eye safe limits）を維持するように最適化することができる。
【0063】
別の実施例では、近接場領域において、システムはパルス密度を上げるとともにパルス強度を下げて、より精密なメッシュを得ることができる。より遠距離の領域では、システムはパルス密度を下げるとともにパルス強度を上げて、使用可能な信号を得ることができる。パルス密度と強度との積は、必要に応じてクラス１アイセーフの制約下で維持することができ、電力消費の懸念が走査密度の必要性を上回る場合には、さらに減らすことができる。このような様々な密度の走査を行うために走査パターンを変更する必要はない。
【0064】
本発明の第２の利点は、帯域幅に関するものである。走査深度感知システムは、深度データの表現方法と伝送方法とにおいて特有の利点を提供する。深度データは、あらゆる点群表現から予想されるように、一連のｘ、ｙ、ｚの点として表現することができる。しかし、点群内の点は、決まったレーザービームの軌跡に沿って経時的に作成される。そのため、軌跡に沿った点は、典型的に、シーン自体の影響を受けて、特定の方法で「接続」されている。点又はサンプルが軌跡に沿って接続されているという事実は、データ表現において活用することができる。各サンプルを個別に出力する代わりに、限られた係数セットと多項式記述子の開始及び停止を記述する２点とで軌跡を記述することができる。これにより、「ライブ」圧縮が可能になり、センサからシステムまでの帯域幅要件が大幅に削減されるだけでなく、さらなる処理のためのメモリ要件及び計算要件も削減される。
【0065】
本発明の第３の利点は、耐性に関するものである。本発明のセンサを使用したレーザービーム走査に基づくシステムは、同時稼働するシステムに対してクラス最高の耐性を提供する。レーザービーム走査アプローチを用いて、深度情報は、ドットを追跡するそれぞれの画像空間内の単一ドットのペアを三角測量することによって得られる。そのため、環境に追加のシステムが導入されると、シーンを走査するドットが追加されることになる。ドットの追跡に使用されるセンサが複数のドットを追跡することができる場合、追加の走査ドットによって作成される追加の光学情報は、深度データを三角測量可能な別のドットペアとして取得するのに役立つ。
【0066】
レーザービーム走査システムは、フラッドシステム（アクティブステレオ、モノＮＩＲフラッド、ｉＴｏＦ）に対する耐性も有している。このシステムは、投影されるドットの光子統計と挙動とに要件を課すことで、外乱光からの影響を抑制することができる。フラッド照射は、統計量と挙動との点で外乱光に類似している。つまり、フラッド照射は、高いピーク光束（エネルギー／画素／時間）を生成し、画素に統合された信号を得るために、典型的には数百マイクロ秒からミリ秒を必要とするが、空間的及び時間的な構造を持たない。例えば、このシステムは、光子統計、ビーム形状、ビームの空間的及び時間的な動きの組み合わせを使用して、外乱源／フラッド源からの信号とレーザービーム走査システム自体からの光信号とを区別する。
【0067】
レーザービーム走査システムは、ドットパターン投影装置に対する耐性も有する。ドットパターンを使用する構造化光システムは、動的レーザービーム走査構造化光と２つの要素で区別される。第一に、ドットパターンは静的であり、且つ、動く挙動又は軌跡を持たない。第二に、利用可能な光パワーは１０ｋ程度のドット間に並列的に分散されるため、ドット毎に割り当てられるピークパワーは、レーザービーム走査システムで割り当てられるピークパワーよりもかなり小さい。第三に、構造化光の投影装置は、典型的な露光時間がおよそ数百μｓであるグローバルシャッタ式撮像装置と連動するように設計されている。このため、ドットを見るために必要なエネルギーは、露光窓内に分散される。
【0068】
本発明の第４の利点は、待ち時間に関するものである。このシステムは、完全にシリアル化された感知方式を採用している。前記方式では、ビームが視野を走査する際にデータが連続的に生成される。シーンの光学的サンプリング（特定の表面上へのドットの投影）と、そのサンプルに対応する深度データの生成との間に必要な時間は、前記方式が純粋に以下の点に依存しているため、非常に短い。第一に、異なる画像空間におけるドット位置の感知は、本発明のこのシステムを使用すると、およそ１０ｎｓとなる点である。第２に、座標の感知ホストへの転送が、Ｎ回のクロックサイクル、典型的には数百ｎｓである点である。第３に、過去のデータを使用したフィルタリング方法と空間内の点の三角測量とにおいて、数百ｎｓのパイプライン化された数学演算できる点である。
【0069】
この結果、光学サンプルから深度測定までの待ち時間は極めて短くなる。もちろん、完全なシーンのサンプルを得るためには、レーザービームは、依然として所望の視野を所望の密度で走査する必要がある。レーザービーム走査の走査速度とアプリケーションに必要な密度に応じて、特定のデータ集約窓（data aggregation window）を検討することができる。フレームベースのセンサとは対照的に、全体的な感知待ち時間を増加させるフレームバッファを考慮する必要はない。
【0070】
レーザービーム走査感知技術の興味深い特徴は、最適な密度対リフレッシュレートで、アプリケーションにカスタマイズされたトレードオフを選択できることである。これは、感知データが逐次的に生成されるというシステムの逐次的性質による。データストリームに適用されるデータ集約窓に応じて、走査ドットは前記窓の間に走査ラインの疎又は密パターンを作成する。
【0071】
疎のデータを使用する高速更新レート（５００Ｈｚ）を必要とするアルゴリズムは、密なデータを使用する通常の更新レート（５０Ｈｚ）を必要とするアルゴリズムと並行して、入力として同じデータストリームを使用して実行することができる。図１１－図１４は、同じデータストリームに２ｍｓ、５ｍｓ、１０ｍｓ、２０ｍｓの集約窓を適用した、集約された走査ラインを示している。シミュレートされた走査ラインを得るために使用した２次元振動型ＭＥＭＳ構造のＬＢＳ周波数ペアは、（８１７４Ｈｚ、５６９５Ｈｚ）である。
【0072】
画素にＳＰＡＤを使用することは、検出器が単一光子に感応するため有利である。これは、検出器が単一光子感応型であるため、アクティブな投影構造に必要なエネルギーが最小限で済むという利点がある。もう一つの利点は、サブｎｓの応答時間である。つまり、光子は、ナノ秒単位で検出され、デジタル信号に符号化されることを意味する。
【0073】
このシステムは、熱ノイズやセンサ領域に衝突する外乱光によって生じるフォルスポジティブ（false positive）を取り除くことができる。図１５の（ａ）は、グラウンドトゥルース、（ｂ）は、生の検出、（ｃ）は、フィルタリングされた検出を示している。最初のフィルタリングステップは画素平面の内部で行われる。つまり、このフィルタは、各画素に対して並列に動作することを意味する。典型的に、このフィルタは、空間フィルタリング法、時間フィルタリング法、又は、それらの組み合わせのいずれかを示す。これらのフィルタは、トランジスタレベル、ＲＴＬ、より複雑な計算アーキテクチャ、又は、ニューラルネットワークなどを使用して実装することができる。
【0074】
このシステムは、画素平面におけるフィルタリングの２つの基本原理に依存している。第１の原理は空間的なものである。投影されたドットに特定の形状を課すことで、指定された時間内に課されたカーネルが検出された場合にのみ、有効な検出のフラグを立てるように画素を制約することができる。例えば、２×１のカーネルを課すことができる。つまり、投影されたドットが少なくとも２×１の画素に跨がる必要があることを意味する。長さｔｐの光パルスを撮影する場合、検出された光子をアクティブな投影から来たとみなすためには、２×１画素のクラスタがｔｐ以内に発火する必要があるという制約を画素に課すことになる。この原理は同時性と呼ばれる。
【0075】
第２の原理は時空間的である。パルスの繰り返し周波数がドットの変位速度より高ければ、ドットの軌跡は連続的であるとすることができる。例えば、１ｎｓのパルスが４０ｎｓ毎に繰り返される場合、４１ｎｓの時間窓は２パルスを捕らえることができる。画素（又は画素クラスタ）が４１ｎｓの窓で少なくとも２つのパルスを観測する必要があることを課すことにより、検出された外乱光子のかなりの部分を取り除くことができる。これは、外乱光の光子統計が、４２ｎｓの窓内で２つの連続した検出を生成する可能性が低いためである。この原理は持続性と呼ばれる。同時性と持続性との両方を組み合わせることで、ハードウェア実装の面で非常に効率的な強力なフィルタリング戦略が構築される。
【0076】
画素内で計画されたフィルタリングの後、配列データを出力する最速の方法は、例えば撮像装置の軸に投影することによって、それを圧縮することである。マルチドット走査をサポートし、投影後のエイリアシングを低減するために、撮像装置はまず、例えば６４×６４画素の１６×１６のタイルに分割される。各タイルは、典型的には当該装置の周辺部にあるデジタルロジックにその投影を出力できる。投影演算は、行及び列の投影用にそれぞれ１つのベクトル、合計２つのベクトル（Ｎ×Ｎタイルの分作成される）を作成する。
【0077】
投影データに基づくベクトルの作成は、データを画素配列内部の非同期領域から周辺部の同期領域に移動させるステップであることに注意する必要がある。画素内フィルタリングは同期的に実装することもできるが、必須ではない。このように、投影のベクトル化は、データを時間的に離散化するものである。例えば１０ｎｓ毎に、その１０ｎｓの間に入力された投影イベントに基づいて新しいベクトルが作成される。
【0078】
図１６に示すように、これらのベクトルを経時的にプロットすると、新しい画像が形成されて、投影されたドット又は構造（ｄ、ｅ）の軌跡を示し始める。この「画像」は投影毎のフィルタリングされた投影時間データセット（ｄ’、ｅ’）を作成するために再び処理及びフィルタリングされてもよい。これらは直接、時間ステップ毎のｘ、ｙデータ（ｘ，ｙ，ｔ）を生成する。
【0079】
さらなる実施形態及び関連する開示は、親出願である国際特許出願第ＰＣＴ／ＩＢ２０２１／０５４６８８号「画素センサシステム」、国際特許出願第ＰＣＴ／ＥＰ２０２１／０８７５９４号「近隣ゲートによってスイッチする画素センサ」、国際特許出願第ＰＣＴ／ＩＢ２０２２／０００３２３号「動的なラテラル方向分解能及び時間分解能を有する画素配列」、及び国際特許出願第ＰＣＴ／ＩＢ２０２２／０５８６０９号「ＳＰＤ配列における持続的フィルタリング」に記載されており、これらの開示が参照により組み込まれる。
【0080】
上述したように、２つの連続する投影間の投影パターンの変位は１画素幅未満に対応し、連続するライン走査間の決定された深度の補間によって深度分解能が向上する。しかしながら、前記補間はドット走査を使用する場合にも同様に上手く機能し得るので、これはライン走査に限定されるものとして理解されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10(a)】
【図10(b)】
【図10(c)】
【図11-12】
【図13-14】
【図15】
【図16】
【国際調査報告】