特許 7403860 三角測量ライトカーテンを使用したアジャイルな深度感知

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-15

(45)【発行日】2023-12-25

(54)【発明の名称】三角測量ライトカーテンを使用したアジャイルな深度感知

(51)【国際特許分類】

   G01B 11/00 20060101AFI20231218BHJP

【ＦＩ】

G01B11/00 H

【請求項の数】 18

(21)【出願番号】P 2021561679

(86)(22)【出願日】2019-09-25

(65)【公表番号】

(43)【公表日】2022-06-29

(86)【国際出願番号】 US2019052854

(87)【国際公開番号】W WO2020214201

(87)【国際公開日】2020-10-22

【審査請求日】2022-09-22

(31)【優先権主張番号】16/470,885

(32)【優先日】2019-06-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/920,178

(32)【優先日】2019-04-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】504337958

【氏名又は名称】カーネギー メロン ユニバーシティ

(74)【代理人】

【識別番号】110001173

【氏名又は名称】弁理士法人川口國際特許事務所

(72)【発明者】

【氏名】ナラシンハン，スリニバサ

(72)【発明者】

【氏名】バルテルス，ジョーセフ

(72)【発明者】

【氏名】ウィテカー，ウィリアム・エル

(72)【発明者】

【氏名】ワン，ジーアン

【審査官】信田 昌男

(56)【参考文献】

【文献】国際公開第２０１８／１３６７０９（ＷＯ，Ａ１）

【文献】特開２０１０－２０３８６４（ＪＰ，Ａ）

【文献】特開２００４－１５０８１０（ＪＰ，Ａ）

【文献】特表２０２０－５０４３１０（ＪＰ，Ａ）

【文献】特開２００８－２２４６２９（ＪＰ，Ａ）

【文献】米国特許第０５９６９８２２（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

ライトシート平面を作成するための光源と、
感知平面内のラインを感知するための調整可能な関心領域を有するラインセンサであって、感知されるラインは、ライトシート平面と感知平面との交差部分によって画定される、ラインセンサと、
プロセッサと、
プロセッサによって実行されるソフトウェアであって、
シーン内の不均一な複数の感知されるラインに沿ってシーンをサンプリングする機能、
複数の感知されるラインのうちの１つ以上でシーン内の１つ以上のオブジェクトを発見する機能、
感知されるラインの１つ以上の適応型カーテンを作成するために１つ以上の発見されたオブジェクトを含むシーンのエリアにおいて感知されるラインの密度を増加させる機能
を行うための、ソフトウェアと
を含む、システムであって、
不均一な複数の感知されるラインがシーン内にランダムに分布している、システム。

【請求項2】

光源が、
レーザダイオードと、
コリメーションレンズと、
パウエルタイプのレンズと、
操縦可能なガルボミラーと
を含み、
レーザダイオードによって放射された光が、パウエルタイプのレンズによって、操縦可能なガルボミラーに当たる前に、光のラインに形成される、請求項１に記載のシステム。

【請求項3】

ラインセンサが、ローリング２Ｄシャッタを有するカメラを含む、請求項１に記載のシステム。

【請求項4】

１つ以上のオブジェクトの発見が、感知されるラインと交差するオブジェクトの存在を示す、ラインセンサによって検出された光の変動を検出することを含む、請求項１に記載のシステム。

【請求項5】

１つ以上のオブジェクトの発見が、
ライトシート平面と感知平面の位置に基づく三角測量を使用して、１つ以上の発見されたオブジェクトのそれぞれの位置と深度を決定すること
をさらに含む、請求項４に記載のシステム。

【請求項6】

不均一な複数の感知されるラインがシーン内にスパースに分布している、請求項１に記載のシステム。

【請求項7】

カメラが、複数のカラムのピクセルを含むピクセルアレイを有し、さらに、ガルボミラーの回転軸が複数のカラムのピクセルに平行である、請求項２に記載のシステム。

【請求項8】

１つ以上の発見されたオブジェクトを含むシーンのエリアにおける増加された密度の感知されるラインがライトカーテン輪郭を画定し、ライトカーテン輪郭が、
輪郭に沿って複数の均一に分布したポイントを画定することにより、ライトカーテン輪郭を離散化することと、
各ポイントについて、ライトシート平面をポイントと交差させるためにガルボミラーの角度を算出することと、
各画定されたポイントで感知されるラインと交差するオブジェクトから反射された光をキャプチャすることと
によってイメージ化される、請求項７に記載のシステム。

【請求項9】

各画定されたポイントが、カメラのピクセルアレイ内の単一のカラムに対応する、請求項８に記載のシステム。

【請求項10】

各ポイントで感知されるラインから反射された光をキャプチャすることが、
ライトシート平面によって現在照らされている画定されたポイントに対応するピクセルの単一のカラムの各ピクセルについて、ピクセル光線とライトシート平面との交差部分を算出すること
をさらに含む、請求項９に記載のシステム。

【請求項11】

感知されるラインごとに、
周囲光のみを含む第１の画像をキャプチャすることと、
周囲光と光源からの照明の両方を含む第２の画像をキャプチャすることと、
第２の画像から第１の画像を減算することと
をさらに含む、請求項８に記載のシステム。

【請求項12】

ソフトウェアが、プロセッサにさらに、
必要なガルボミラーの位置を算出し、ガルボミラーを制御するマイクロコントローラにそれを送信させ、
フレームキャプチャを開始するためにカメラをトリガーさせ、
カメラのローリングシャッタの時間指定された進行に伴い、ロックステップでガルボミラーの位置を順次命令させる、
請求項８に記載のシステム。

【請求項13】

ソフトウェアが、プロセッサにさらに、
所望のレーザ出力設定でレーザ光ダイオードを制御させる、請求項１２に記載のシステム。

【請求項14】

１つ以上の適応型ライトカーテンが、不均一でスパースな感知されるラインでシーンをサンプリングしながら、シーン内の１つ以上のオブジェクトを追跡するために作成され得る、請求項１に記載のシステム。

【請求項15】

シーン内の不均一な複数の感知されるラインに沿ってシーンをサンプリングすることであって、各感知されるラインは、ライトシート平面と感知平面との交差部分として画定される、サンプリングすること、
複数の感知されるラインのうちの１つ以上でシーン内の１つ以上のオブジェクトを発見すること、
感知されるラインの１つ以上の適応型カーテンを作成するために１つ以上の発見されたオブジェクトを含むシーンのエリアにおいて感知されるラインの密度を増加させることであって、各適応型カーテンは発見されたオブジェクトの１つ以上を感知するように構成されている、こと
を含む、コンピュータによって実行される方法であって、
不均一な複数の感知されるラインがシーン内にスパースでランダムに分布している、方法。

【請求項16】

１つ以上のオブジェクトの発見が、
ライトシート平面と感知平面の位置に基づく三角測量を使用して、１つ以上の発見されたオブジェクトのそれぞれの位置と深度を決定すること
を含む、請求項１５に記載の方法。

【請求項17】

感知されるラインごとに、
周囲光のみを含む第１の画像をキャプチャすることと、
周囲光と光源からの照明の両方を含む第２の画像をキャプチャすることと、
第２の画像から第１の画像を減算することと
をさらに含む、請求項１５に記載の方法。

【請求項18】

１つ以上の適応型ライトカーテンが、不均一でスパースな感知されるラインでシーンをサンプリングしながら、シーン内の１つ以上のオブジェクトを追跡するために作成され得る、請求項１５に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、米国特許法第３７１条に基づく国内段階出願である米国特許出願第１６／４７０，８８５号の一部継続出願であり、これは、２０１９年３月１１日に出願された国際特許出願第ＰＣＴ／ＵＳ２０１９／０２１５６９号の利益と優先権を主張し、これは２０１８年３月２３日に出願された米国仮特許出願第６２／７６１，４７９号の利益を主張する。さらに、米国特許出願第１６／４７０，８８５号は、米国特許法第３７１条に基づく国内段階出願である米国特許出願第１５／５４５，３９１号の一部継続出願であり、これは、２０１６年２月１５日に出願された国際特許出願第ＰＣＴ／ＵＳ２０１６／０１７９４２号の利益と優先権を主張し、これは２０１５年２月１３日に出願された米国仮特許出願第６２／１７６，３５２の利益を主張する。さらに、本出願はまた、２０１９年４月１７日に出願された米国仮特許出願第６２／９２０，１７８号の利益を主張する。これらの出願の全内容は、引用によりその全体が本明細書に組み込まれる。

【0002】

政府の利益
本発明は、国防高等研究計画局（ＤＡＲＰＡ）によって授与された契約ＨＲ００１１－１６－Ｃ－００２５および国立科学財団（ＮＳＦ）によって授与された契約ＣＮＳ－１４４６６０１の下で政府の支援を受けてなされた。政府は、本発明における一定の権利を有する。

【背景技術】

【0003】

３Ｄセンサは、フィールドロボットおよび自動運転車を含む多くの自律システムの配備において重要な役割を果たす。しかしながら、本格的な３Ｄスキャナーを必ずしも使用しない可能性のあるタスクは多数存在する。一例として、道路上の無人搬送車（ｓｅｌｆ－ｇｕｉｄｅｄ ｖｅｈｉｃｌｅ）や現場のロボットは、潜在的な衝突を検出したり、その死角を監視したりするために、本格的な３Ｄ深度センサを必要としない。代わりに、必要なのは、衝突回避ができるように、車両の事前画定された境界内にオブジェクトが入っているかどうかを車両が検出できるようにすることである。これは、完全な深度スキャニングやオブジェクトの識別よりもはるかに簡単なタスクである。

【0004】

ＬＩＤＡＲおよびマイクロソフトＫｉｎｅｃｔ（Ｒ）のような深度センサは、関心のあるシーンに依存しない固定深度取得戦略を使用する。これらのセンサの低い空間的および時間的解像度に起因して、この戦略では、シーンの重要な部分、例えば、小さいおよび／または速く動くオブジェクトをアンダーサンプリングする可能性があり、または目前のタスクに役立たないエリア、例えば、固定平面壁をオーバーサンプリングする可能性がある。

【0005】

ライトカーテンは、近くの障害物（例えば、人間）を検出して機械の動作を停止する安全デバイスである。それらは、例えば、ガレージのドアおよび／またはエレベータで、伸ばした手がドアをブロックしたときにドアが閉じるのを防ぐために使用されること、または危険な機械の周りの工場の床で使用されることができる。ライトカーテンは、障害物がソースとセンサの間の見通し線を遮ると障害物が検出されるという単純な原理で動作する。ライトカーテンはシンプルであるが、ライトカーテンシステムはマシンやタスクごとに特別にカスタマイズされる必要があり、視覚やロボット工学でのそれらの幅広い使用を妨げている。

【0006】

最近、この原理は、ラインセンサおよびラインソースを使用して、任意の形状のライトカーテン（すなわち、線織面）を生成するように拡張された。ここでは、障害物は、ライン光源から生成された照明平面とラインセンサによってキャプチャされたイメージ化平面の両方と交差するときに検出される。いくつかの例では、照明平面とイメージ化平面は、異なる速さで操縦可能なミラーを使用して回転して、３Ｄで任意の線織カーテン面をスイープアウトする。このような三角測量ライトカーテンは、柔軟性が高くあり得、障害物の検出や自律ナビゲーションのための回避に役立ち得る。このようなライトカーテンは、「Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｉｇｈｔ Ｃｕｒｔａｉｎｓ」と題された関連する米国特許出願第１６／４７０，８８５号に説明されており、本出願はこの一部継続出願である。

【発明の概要】

【課題を解決するための手段】

【0007】

三角測量ライトカーテンの原理を使用してシーンの深度を動的で適応的にサンプリングするための方法およびシステムが本明細書に開示されている。この方法は、指定された３Ｄラインでの障害物（またはシーンポイント）の有無を直接検出する。これらの３Ｄラインは、指定された領域でスパースに、不均一に、または密にサンプリングされ得る。深度サンプリングはリアルタイムで変更され得て、オブジェクトのすばやい発見、または関心のあるエリアの詳細な探索を可能にする。

【0008】

これらの結果は、従来技術の成果よりも高い光効率、作動範囲、およびより速い適応を備えた２Ｄローリングシャッタカメラに基づく新規のプロトタイプライトカーテンシステムを使用して達成され、自律ナビゲーションおよび探索に対して広く有用にする。

【0009】

視覚およびロボット工学のためのアジャイルな深度感知のための一般的なフレームワークが本明細書で開発されている。いくつかの例では、三角測量ライトカーテンが３Ｄラインに沿ってシーンと交差する。したがって、（例えば、ＬＩＤＡＲまたはＫｉｎｅｃｔ（Ｒ）を使用して）関心のあるボリュームを通してシーンの３Ｄデータをキャプチャする代わりに、このフレームワークは、シーン内の３Ｄラインに沿った深度の経時的な柔軟なサンプリングを可能にする。深度サンプリングは、追加の計算なしで、これらの場所でリアルタイムに障害物（またはシーンポイント）の有無を検出する。

【0010】

深度サンプリングは、指定された３Ｄ表面において、スパースであるか、不均一である（ランダムを含む）か、または密であり得る。スパースサンプリングを使用して、アプリケーションで指定された関心領域の深度の空間密度を適応的に増加させることができる。いくつかの実施形態では、スパースサンプリングを使用して、関心領域のみの深度の空間密度を適応的に増加させることができる。あるいは、シーン内のオブジェクトは、初期ランダムサンプリングと、それに続く深度の適応的サンプリングによってすばやく発見され得る。深度サンプリングは、目前のタスクに応じて、時間の経過とともに迅速に変化されることができる。

【0011】

この感知フレームワークは、シーンに依存しない固定取得戦略を使用する深度感知に比べていくつかの利点を有する。まず、低周波数の均一な角度分解能のＬＩＤＡＲや低空間分解能のＫｉｎｅｃｔ（Ｒ）のようなセンサでは通常検出が難しい、小さくて細くて速く動くオブジェクトをキャプチャすることができる。このようなオブジェクトの例は、細いワイヤー、メッシュ、または高速で投げられるボールを含む。

【0012】

センサから遠く離れたオブジェクト（例えば、歩行者）の速くて高密度の３Ｄキャプチャは、オブジェクトがＬＩＤＡＲポイントクラウドでほとんど見えないときでさえ、本発明のシステムで可能であり、そのようなオブジェクトのより良好な検出、認識および追跡を可能にする。このフレームワークは、ロボットが初期のスパースな深度推定に基づいて関心領域を探索することを可能にする。ロボットが移動するのにつれてシーンを連続的でスパースにサンプリングすることで、同時に障害物を検出し３Ｄシーンをマッピングすることができる。

【0013】

これらの結果を達成するために、２Ｄカメラおよびレーザラインを使用する三角測量ライトカーテンの斬新な設計が開示されている。２Ｄカメラのローリングシャッタと回転するレーザラインは、ライトカーテンを形成するシーン内の３Ｄラインのセットにおいて三角測量する。ピクセルクロックを制御し、ソースミラーを操縦することにより、米国特許第１６／４７０，８８５号のように任意の線織面を生成することができる。しかしながら、迅速な２Ｄローリングシャッタセンサの使用は、ラインセンサの設計に比べて大きな利点を提供する。いくつかの態様において、ライトカーテンは、６０ｆｐｓのリフレッシュレートを有し、従来技術の設計の１０倍の改善であり、カーテンを迅速で適応的に変更することを可能にする。他の態様では、２Ｄセンサの前の光学系がステアリングミラーのサイズによって限定されないので、説明されているシステムは、より光効率が高く、より少ない収集光で同様の範囲を達成する。さらに他の態様では、説明されているシステムは、より少ない可動部品を有し、より信頼性が高い。説明されている三角測量ライトカーテンと深度サンプリングのシステムは、屋外では最大２０－３０ｍの範囲で、屋内では最大５０ｍで作動する。説明されている実施形態の一態様として、周囲照明（太陽光を含む）を抑制する方法も提案されている。

【0014】

説明されているシステムは、人間のロボット相互作用から、ロボットの操作、経路計画、およびナビゲーションに至るまでのアジャイルな深度感知タスクのためのリアルタイムの適応を可能にする。このシステムは再構成可能であり得、ロボット工学および製造用途に大きな影響を与え得る。

【図面の簡単な説明】

【0015】

【図1】２Ｄカメラを使用した三角測量ライトカーテンの平面平行ジオミトリを概略的に示す上面図である。

【図2】２Ｄカメラを備えたライトカーテンの設計を示す図である。

【図3】周囲光抑制の方法の結果を示す図である。

【図4】キャプチャされたライトカーテンを１秒あたり最大６０回までイメージ化し、変更して、ボリュームを通して様々なカーテンをすばやくスキャンできることを示す図である。

【図5】小さくて速いオブジェクトの深度をキャプチャする説明されているデバイスを示す図である。

【図6】テーブルと椅子のシーンの適応的深度イメージ化を示す図である。

【図7】平面カーテン、ランダムカーテン、および適応型カーテンを使用したシーンの深度イメージ化を示す図である。

【図8】移動ロボットがハイベイシーンを通して駆動された結果を示す図である。

【発明を実施するための形態】

【0016】

ライトカーテンは、ガルボミラーを備えたラインイメージャを操縦することによってイメージ化することができるが、その設計の性質は、フレームレートを５．６ｆｐｓに限定し得、ラインセンサの視野を回転するガルボミラーに適合するために小さなレンズの使用を必要とする場合がある。これが、光の効率と範囲を低減し得る。これらの問題は両方とも、２Ｄカメラとより大口径のレンズを使用してライトカーテンをイメージ化することで改善され得る。

【0017】

単一のラインセンサ平面の連続スキャニングの代わりに、２Ｄカメラは光学系およびピクセルアレイによって画定されるイメージ化平面の個別のセットを有することができる。ライトカーテンの少なくともいくつかの設計では、これらの平面上のピクセルとライトカーテン面との交差部分が見出され得る。設計の簡単さのために、いくつかの実施形態では、所与のカメラカラムのピクセル光線は同一平面上にあり、ライトシートプロジェクタは光の真の平面を放射し、その回転軸はカメラのカラムに平行であると仮定することができる。これらの仮定は、一般に、低歪みレンズを使用すること、ライトシートプロジェクタ光学系の注意深い設計、およびカメラカラムへのプロジェクタ軸の正確なアライメントによって施行され得る。これらの仮定により、ライトカーテンは、図１に示されるように、ＸＺ平面上の光線を見ることによって２次元で設計されることができる。それにより、３ＤポイントＸ_ｉは、カメラ平面

【数1】

と所望のカーテン面の交差部分にある。そのポイントをイメージ化するために必要な投影された光平面

【数2】

と角度θ_ｐ，ｉは、Ｘ_ｉとカメラ平面の回転軸上にある２つのポイント（例えば、（０，０，０）および（０，１，０））から平面を作成することにより、単純なジオメトリを通して見出され得る。カメラ平面が変化すると（細い線で示されているように）、必要な光平面が新しいポイントごとに算出される。必要なレーザ平面は、最初にＸ_ｉをプロジェクタのフレームに投影して：

【数3】

を得ることによって同様の方法で見出されることができ、ここで、

【数4】

は、カメラフレーム内のポイントを較正を通して見出されたプロジェクタフレームに変換する変換行列である。

【0018】

次に、ポイント

【数5】

は、プロジェクタの回転軸上の２つのポイントとともに使用され、プロジェクタのフレーム内にある投影された光平面

【数6】

を見出す。次に、カメラフレーム内のこの平面は、式（２）：

【数7】

によって見出される。

【0019】

カーテン輪郭をイメージ化するために、所望の輪郭は、最初に、カーテン輪郭に沿って均一に分布された一連のｍ個のポイントに離散化され、ここで、ｍは、ほぼカメラのカラムの数である。次に、隣接するポイント間にラインセグメントが形成される。次に、各カラムを表す光線は、ラインセグメントとの交差部分についてチェックされて、図２に示されるように、ライトカーテン輪郭上にあるカラム光線上に一連のポイントＸ_ｉ・・・Ｘ_ｎを作り出す。カメラ光線のいくつかが所望のカーテン輪郭と交差しないか、デザインポイントがライトシートプロジェクタまたはカメラの視野の外側にあり得る。いずれかのモジュールの視野の外側にあるあらゆるポイントは、無効とマークされ、ライトカーテンのイメージ化に使用されない場合がある。設計ポイントが有効な場合、それは式（１）を使用してライトシートプロジェクタのフレームに変換され、設計ポイントを通過するライトシートを作成するために必要なガルボミラー角度は、式（３）：

【数8】

を使用して算出される。

【0020】

照明およびイメージ化の真の平面を有する理想的なシステムの場合、表面の３Ｄポイントは、２つの平面の交線によって画定されることができる。しかしながら、実際のシステムでは、レンズが少量の歪みを有する場合があり、カメラとライトシートプロジェクタの間に小さなアライメント誤差がある場合がある。このように、所与のカラム内のピクセルのライトシート平面との真の交差部分のポイントは同一平面上にない場合があり、光線平面交差部分の知られている算出方法を使用して、各ピクセル光線のライトシート平面との交差部分を算出することによって見出すことができる。これは、ライトカーテンの実際の３Ｄ表面が、図２に示されるように、カメラの視野全体にわたって設計された輪郭から変化し得ることを意味する。ビュー（Ａ）は、カメラの光線の所望のカーテン輪郭との交差部分におけるポイントを見出すことにより、２Ｄカメラで設計されたライトカーテンを示している。これが、カーテン面に不均一な間隔のポイントのセットを作り出す。小さな光学歪みとアライメント誤差のため、ビュー（Ｂ）の各軸に沿ったカーテンの形状の違いによって示されるように、カーテンの実際の３Ｄ輪郭は設計されたカーテンの３Ｄへの完全な押し出しではない。例えば、ｚ軸のカーテンの前面の変化する深度に留意されたい。しかしながら、歪みとアライメント不良の重大度に応じて、カーテン輪郭は視野の中央に向かってはかなり一貫している場合があり、視野のエッジに向かって大きく変化するだけである。

【0021】

ローリングシャッタカメラによる高速カーテンイメージ化
ライトカーテンイメージ化は、必要に応じて、イメージ化平面を変更し、ライトカーテン面と交差させることを必要とし得る。２Ｄカメラの場合、これは、フレーム全体をキャプチャし、所与のカラムのみを使用するか（低速）、またはイメージャ上の選択関心領域のみをイメージ化する（より高速ではあるが依然として低速）ことによってなされ得る。実装することは簡単であるが、これらの方法はいずれも遅すぎてアジャイルなライトカーテンイメージ化を可能にできない場合がある。

【0022】

カーテンをイメージ化するもっとより高速な方法は、イメージ化平面を移動させるために２Ｄ ＣＭＯＳイメージャのローリングシャッタを使用することを含み得る。ローリングシャッタは、イメージャのピクセルクロックで指定された均一な速度でイメージ化平面を迅速に変更できる。この特性が、ローリングシャッタカメラのフルフレームレートでのライトカーテンイメージ化を可能にする。カーテンのイメージ化は、２Ｄカメラのアクティブなローとライトカーテン輪郭の交差部分によって画定されるポイントでライトシートを投影するのに必要な角度になるようライトシートプロジェクタに命令するのと同じ程度に簡単であり得る。ローリングシャッタの動きをライトシートの動きと同期させることで、任意の線織面を形成するライトカーテンをイメージ化することができる。

【0023】

ローリングシャッタカメラの各フレームについて、キャプチャされたカーテンの画像を作り出すことができる。ライトカーテンをイメージ化している間、カメラはレーザ光と周囲光の両方をキャプチャする。周囲光が十分に低い場合（つまり、屋内イメージ化）、カメラからの画像を直接閾値処理して、検出されたポイントを示すマスクを作り出せる。しかしながら、多くの場合、キャプチャされた周囲光はキャプチャされたレーザ光よりもはるかに大きく、カーテンを検出できない（つまり、屋外の日光の下で）。狭帯域フィルタは、キャプチャされる周囲光を大幅に低減するが、最大のパフォーマンスのためには、レーザ信号をできるだけ少ないビットで検出することが望ましい。

【0024】

周囲減算
周囲光の存在下でのパフォーマンスを増加させるために、各ライトカーテン位置での周囲画像と結合されたレーザ＋周囲画像との両方をキャプチャすることによって、周囲光を減算することができる。この例では、周囲画像が結合された画像から差し引かれて、カーテンライトだけの画像が得られる。これは、はるかに大きな周囲のパフォーマンスを可能にするが、同じカメラ平面を２回イメージ化する必要がある。これは、画像全体または選択可能な関心領域がイメージ化されている場合、２Ｄカメラでなされ得るが、場合によっては、単一のローリングシャッタフレームキャプチャではなされ得ないことがある。これを解決するために、本発明の方法は、いくつかの実施形態では、キャプチャされた画像の隣接するカラムを使用して、周囲減算を行う。

【0025】

この方法は、カーテンの解像度を犠牲にする場合があり、図３に示すように、偶数カラムがレーザオンでキャプチャされ、奇数カラムがレーザオフでキャプチャされる生画像をキャプチャして、周囲のみの画像および結合された画像を得ることができる。これらのカラムを分離してアップサンプリングすることが、フル解像度の周囲のみの画像と結合された画像を形成する。結合された画像から周囲画像を差し引くことは、レーザのみの画像を作り出し、この画像は次に、閾値処理されてライトカーテンの検出を見出し、イメージ化された検出ポイントを示すマスクを提供することができる。細い水平の収縮／膨張フィルタでこのマスクをフィルタ処理することは、大きな強度勾配とアップサンプリングアーティファクトに対する改善した堅牢性を提供する。

【0026】

周囲光が高いエリアでは、この技術は、図３のレーザ画像のぼんやりしたエッジおよび閾値処理マスク画像の垂直の細いラインによって示されるように、高強度勾配の場所で依然として誤差を作り出し得る。

【0027】

ローリングシャッタの動きの、ライトシートプロジェクタの動きおよびタイミングとの同期精度に応じて、周囲画像に現れる可能性がある近隣のカラムへのレーザ光のわずかな滲み（ｂｌｅｅｄ－ｔｈｒｏｕｇｈ）があり得る。この光は周囲画像に現れる得るため、結合された画像から差し引かれることができ、レーザ光からの測定信号を低減され得るので、それによってデバイスのパフォーマンスを低減する。正確な同期により、この光の量を数ビットに限定したり、完全に削除したりできるため、システムのパフォーマンスに大きな影響を与えることはない。

【0028】

限定事項
いくつかの実施形態では、ローリングシャッタカメラを使用することのイメージ化速度および増強された光効率と引き換えに、デュアルガルボミラーが従来技術の設計を提供するライトカーテン輪郭の均一なサンプリングが、カメラピクセルの離散的性質のために放棄され得る。これは、カーテン輪郭にライトカーテンデバイスがイメージ化できないギャップがあり得る状況につながり得る。

【0029】

これは、カメラの光線がカーテン面の方向において類似しているときに発生し得る。この影響は、図２のカーテン輪郭の右上部分に示されている。ローリングシャッタカメラを使用することのもう１つの欠点は、いくつかの例では、カメラの各平面を所与のフレームで１回しかイメージ化できないことであり得る。カメラ平面が多数のカーテンセグメントと（例えばジグザグに）交差する場合、セグメントの１つをイメージ化されたカーテンに選ぶことができ、順次的なカーテンをイメージ化して、所与の光線に沿ったすべてのポイントをキャプチャできる。ガルボミラーの制約の１つは、非常に高速に移動するように命令された場合（１００Ｈｚのステップ関数を超える場合）、命令された位置に遅れが生じることがあり、平面の交差部分が設計とは異なるポイントになる可能性があり、それが次に、検出されたポイントの場所での誤差を生じさせることである。これは、どのカーテンをイメージ化できるかが制約し得、実際には、イメージ化する前にランダムで適応型カーテンをスプラインで平滑化する必要がある。この誤差は、開ループ制御を信頼するのではなく、ミラーの閉ループフィードバックから測定された角度を使用して検出されたポイントの位置を算出することで対処され得る。

【0030】

ハードウェアプロトタイプ
システムのハードウェアプロトタイプは、ライトシートプロジェクタおよびローリングシャッタカメラからなる。説明されているシステムは単なる例示であり、特許請求の範囲によってカバーされるシステムの実施形態は、説明された構成要素に限定されることを意味するものではない。ライトシートプロジェクタは、１Ｗ ８３０ｎｍレーザダイオードを使用したカスタム設計のラインレーザモジュールを含んでもよく、それは、次に、４５°パウエルレンズでコリメートされてラインに成形される。次いでこのレーザラインがガルボミラーに投影され、ガルボミラーで操縦される。ラインレーザモジュールは、マウント内のガルボミラーに整列されてマウントされ、レーザラインのガルボミラーの回転軸との正確な同一直線上のアライメントを可能にする。ガルボミラーは１４．５ｍｍ×８．５ｍｍという寸法を有することができ、５０°の光学スキャン角度を有し得る。

【0031】

ローリングシャッタカメラは、７０°（ｈ）×６０°（ｖ）の視野を有する低歪みＣマウントレンズに適合することができる。このカメラは１０ビットの精度を提供し得、５．３μ平方ｍピクセルで１２８０×１０２４ピクセルのネイティブ解像度を有することができる。カメラは、受信光の信号を増加させ、ノイズを低減するために、６４０×５１２の解像度で２倍ビニングモードで動作させることができる。低歪みレンズを使用して、所与のカラム形に沿ったライトシートとカメラ光線の交差部分が可能な限りラインに近くなるように保証することができる。レンズとイメージセンサの間に、８３０ｎｍを中心に１２ｎｍの帯域フィルタを配置して、収集される周囲光の量を低減することができる。カメラのローがガルボミラーの回転軸と平行になるように、カメラをガルボミラーに整列させることができる。次に、回転したカメラを、ガルボミラーの回転軸から２００ｍｍの固定ベースラインに配置できる。マイクロコントローラを使用して、カメラ、レーザ、およびガルボミラーを同期させることができる。ライトカーテンをそのビューに投影することにより、ライトカーテンを視覚化し、シーン内の結果を検出するためにカラー２Ｄヘルパーカメラを使用することができる。

【0032】

代替の実施形態では、ＣＭＯＳ（相補的金属酸化物半導体）、ＩｎＧａＡｓ（ヒ化インジウムガリウム）、ＳＷＩＲ（短波赤外線）、ＤＶＳ（動的ビジョンセンサ）、ＴｏＦ（飛行時間）およびＣＷ－ＴｏＦ（連続波飛行時間）タイプのセンサを含むがこれらに限定されない、異なるタイプのセンサを使用することができる。

【0033】

較正
ライトカーテンのパフォーマンスは、カメラおよびライトシートプロジェクタの正確な較正に依存する。最初に、カメライントリンシック（ｉｎｔｒｉｎｓｉｃ）を決定することができる。次に、ライトシートプロジェクタおよびカメラの外部較正は、ライトシートプロジェクタによって平面壁に投影された光平面のセットをイメージ化することによって決定され得る。知られている寸法のチェッカーボードターゲットを壁に取り付け、較正されたカメラでイメージ化して、イメージ化された各レーザライン上のポイントの知られている３Ｄ座標を得ることができる。これは、光の各平面を完全に画定するために、いくつかの深度で同じ平面のセットを使用して繰り返すことができる。次に、重みが正規化された強度値である重み付き最小二乗法を使用して、ポイントの各セットに対して最良適合平面方程式が見出され得る。次に、平面についての方程式が与えられると、カメラに対するガルボミラー軸の場所は、すべての平面の交差部分へのラインの最小二乗適合によって見出され得る。連続関数は、平面角度（ガルボミラー軸に対する）と命令されたライトシートプロジェクタ角度の関係に適合されることができ、次にこれを使用して、任意の所与の設計ポイントの指定された角度に必要な命令されたガルボミラー位置を決定する。

【0034】

キャプチャプロセス
従来技術のライトカーテンの設計では、ライトシートおよびカメラ平面角度は、ガルボミラーの位置によって命令されていた。しかしながら、２Ｄカメラの場合、カメラの平面角度は、光学系とイメージャ上のピクセルのアクティブラインによって画定される。ローリングシャッタカメラの場合、ピクセルのアクティブラインは、ローリングシャッタの速度とフレームの開始からの時間とによって画定される。ローリングシャッタの速度は、ピクセルクロックとして知られているピクセルの読み出しレートによって決定される。所与のラインがアクティブである最大時間は、ライン上のピクセル数をピクセルクロックで除算することによって見出すことができる。カメラの最大６０ｆｐｓキャプチャレートでは、ラインの最大アクティブ露出時間≒１５マイクロ秒である。

【0035】

ライトカーテンをイメージ化するために、ソフトウェアは、プロセッサに必要なガルボミラー位置を算出させ、それらをガルボミラーを制御するマイクロコントローラに送信させる。同時に、カメラがトリガーされてフレームキャプチャが開始される。次に、ソフトウェアは、ローリングシャッタの時間指定された進行に伴い、ロックステップでガルボミラーの位置とレーザ出力を順次命令する。次いでこのプロセスは、連続するライトカーテンごとに繰り返される。フレームごとにガルボミラーの位置を算出することは、カメラのフルフレームレートでフレームごとに異なるライトカーテンをイメージ化することを可能にする。

【0036】

作動範囲
いくつかのフレームレートでは、説明されているデバイスは、約５０ｋｌｘの周囲光においてホワイトボードをイメージ化する間、５０ｍの作動範囲、および屋内で２０ｍの作動範囲を有する。これは、低減した露光時間を有する。デバイスが１００マイクロ秒の露出用に構成されているとき、デバイスは同様の条件で屋外で４０メートル以上をイメージ化できる。

【0037】

アジャイルでダイナミックなライトカーテン
説明されているデバイスは、毎秒６０の異なるライトカーテンをイメージ化することができる。この速度と柔軟性が、シーンをインテリジェントで適応的にサンプリングするために使用できる、アジャイルでダイナミックなライトカーテンの使用を可能にする。この機能は、経路計画、高解像度の安全カーテン、深度感知を含む、多くの分野に適用できる。図４は、屋内および屋外の両方で様々なタイプのライトカーテンをイメージ化した結果を示しており、説明されているデバイスでイメージ化できる異なるタイプのカーテンの単なるサンプルである。図４に示される画像は、シーンの視覚化のためにヘルパーカメラのビューに投影されたライトカーテン面と検出である。図４に示される画像は、２Ｄヘルパーカメラのビューからのもので、ライトカーテン面が青でレンダリングされ、検出が緑でレンダリングされている。これらのカーテンのアジャイルな性質により、ビュー（Ａ）に示すように、計画された経路の迅速なチェッキングや、ビュー（Ｂ）に示されている安全ゾーンの境界とその中のエリアをチェックすることを迅速に交互に行うことで、安全ゾーンに入る障害物や安全ゾーン内の障害物を検出するなど、多くの用途を可能にする。

【0038】

高解像度、高速ライトカーテン：
説明されているデバイスの迅速なキャプチャレートおよび解像度は、図５のビュー（ＡからＣ）に示されるように、ライトカーテンを通過するときの小さくて速いオブジェクトのイメージ化を可能にする。いくつかの合成画像は、ビュー（Ａ）の直径７０ｍｍの小さなボールと、ビュー（Ｂ）の５ｍ離れた平面カーテンを通して投げられた直径３０ｍｍのボールと厚さ３０ｍｍ、直径２６５ｍｍのフリスビーのビューと検出された場所を示している。オブジェクトの検出はビュー（Ｃ）に表示されている。ライトカーテンの解像度は、スキャニングＬＩＤＡＲデバイスに比べて増加した詳細を提供し、増強されたオブジェクト認識と小さなオブジェクト（ワイヤー、枝など）の限界的な検出を可能にできる。これは、図５のビュー（ＤからＩ）に示されるように、離れた所にある細い構造またはオブジェクトをイメージ化するときに特に顕著である。ビュー（ＤからＦ）は、ビュー（Ｅ）の密な３Ｄポイントクラウドを作成するために、細いワイヤーフェンスを含むボリュームを通してスイープした平面カーテンを示している。ビュー（Ｆ）のライトカーテン（緑色のポイント）は、１．５ｍの距離にある１６ビームベロダインＶＬＰ－１６スキャニングＬＩＤＡＲ（白色のポイント）よりもはるかに高い解像度でフェンスメッシュを再構築する。平面カーテンをイメージ化することにより、ライトカーテンの範囲と解像度は、ビュー（ＧからＩ）に示すように、屋外の１５ｍの範囲にあるオブジェクトの高解像度の高さマップを作成することを可能にする。この範囲では、静的ＶＬＰ－１６スキャニングＬＩＤＡＲは、白で示されているいくつかのポイントとしてしかオブジェクトを感知しない。

【0039】

適応的深度イメージ化
関心のある深度をハイレートで指定する能力は、シーンの現在の知識に基づいて環境のインテリジェントな深度イメージ化を可能にする。例えば、デバイスが最初にシーンに入ったとき、デバイスは環境の知識を有していないが、ライトカーテンで関心のあるボリュームをすばやくランダムにスキャンすることで、シーン内のオブジェクトの場所の大まかな推定値を生成でき、１つ以上の新しいカーテンを設計して、これらの関心のあるポイントの周囲をイメージ化することができる。次に、このプロセスが迅速に繰り返されて、シーン内のオブジェクトの精密なマップが形成される。図６は、テーブルと椅子を含むシーンの適応的深度イメージ化を示している。イメージ化は、最初に関心のあるボリュームをランダムにサンプリングしてオブジェクトを見つけることによって行われる。次に、これらのオブジェクトの前面で検出されたポイント（プロットの赤いドットと下の行の白いドットで示される）を使用してライトカーテンのセットを設計し、それをイメージ化して精緻化し、より多くのシーンを発見する。時間が経つにつれて、カーテンは最終的にシーンの後ろの壁を発見してイメージ化する。図６、ビュー（Ａ）は、ライトカーテンから３ｍ以内の関心のあるボリュームをランダムにサンプリングすることにより、カーテンを初期化するために使用されるランダムカーテンを示している。これらのカーテンはいくつかのオブジェクトを検出し、デバイスはそれらをデザインポイントとして使用して、オブジェクトの前面に新しいカーテンを適合した。数ミリ秒未満で、検出されたシーンポイントのすぐ前と後ろのエリアをカバーするように、このスプラインのスケーリングされたバージョンである１０個のカーテンのセットが設計された。次に、これらの新しいカーテンがイメージ化され、より多くのシーンを精緻化して発見するために使用された。いくつかのランダムカーテンを適応型カーテンとインターリーブすることにより、デバイスはシーンのあらゆる変化をチェックし続け、シーンの残りの部分を低解像度でサンプリングできる。図６の実験の設計プロセスは、検出されたすべてのポイントをＸＺ平面に投影し、角度領域内の最も近いポイントをその領域の設計ポイントとして使用した。平面全体をこれらの均一に角度付けされた角度領域に分割することにより、設計ポイントのセットが決定された。

【0040】

深度イメージ化の比較
異なるライトカーテンタイプを使用する深度イメージ化方法の比較は、各カーテンタイプで同じシーンをキャプチャし、指定された時間でのシーンのカバレッジを比較することによって行われた。方法は、平面スイーピング、ランダムサンプリング、および適応的深度イメージ化が含んでいた。平面スイーピングの場合、平面は、深度解像度０．２ｍで１．０で４．２５ｍのシーンを完全にイメージ化するように設計された。適応型カーテンは、検出されたオブジェクトの前面を高解像度で感知し、シーンの残りの部分を低解像度で感知するようにチューニングされた。図７は、この比較の結果を示している。０．２５秒のランダム検出で初期化されると、適応型カーテンの発見の性質が、検出されたオブジェクトの近くを感知することを可能にし、シーンの前方の空のエリアを感知する時間を無駄にすることはない。その結果、０．２５秒未満でシーンの興味のある部分をすばやくカバーすることができた。時間が与えられると、平面スイープカーテンは高解像度で完全なカバレッジを提供できるが、限られた時間では、ランダムおよび適応型カーテンはより短い時間でより多くのシーンをイメージ化できる。例えば、平面スイープカーテンは、シーン全体を０．５秒でイメージ化するように構成され得たが、深度解像度は０．４ｍであり、他の方法よりもはるかに低くなる。図７は、適応型カーテンが、平面をスイープするか、またはシーンのランダムサンプリングよりも短い時間でより多くのシーンをインテリジェントにカバーすることを示している。ランダムサンプリングで初期化した後、適応型カーテンは、０．２５秒でシーンの興味のある部分を発見し、次いでマップの精緻化を続けた。

【0041】

適応型ライトカーテンを使用した発見とマッピング
適応型ライトカーテンを使用して、移動するプラットフォームからシーンを発見およびマッピングすることができる。図８に示すように、オンボードローカリゼーションを備えた小型ロボットを使用して、雑然としたハイベイシーンを通してライトカーテンデバイスを移動させた。ロボットがシーンを進むと、適応型ライトカーテンがシーン構造を発見し、各フレームから新しく検出されたオブジェクトをイメージ化するように継続的に構成された。ライトカーテンは、固定深度感知戦略を使用するのではなく、検出されたオブジェクトの周囲の領域を高解像度でインテリジェントにサンプリングし、シーンの残りの部分をより低解像度のランダムカーテンでサンプリングした。マッピング実験では、５つの一意にランダムなカーテンのセットが１０個の適応型カーテンごとにインターリーブされた。図８は、シーン内のオブジェクトに適合するカーテンのいくつかの例を示している。ビュー（Ａ）に青で示されているカーテンが、シーン内のオブジェクトの周囲にぴったりと適合していることに留意されたい。環境全体を移動すると、ビュー（Ｂ）に緑色で示されているカーテン上の検出されたポイントもシーンをマッピングした。３Ｄマップの白いポイントは、適応型カーテンのセットの設計ポイントを示している。

【0042】

本発明が関係する当業者にとっては、本発明の多くの修正および適応がそれら自体を示唆するものであろう。本明細書に開示される例示的な方法およびシステムは、本発明の限定としてではなく、その例示として解釈されるべきである。本発明の意図されている範囲は、以下の特許請求の範囲によって定義される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】