特表 2023-521700 視覚キュー型ランダムアクセスＬＩＤＡＲシステム、並びに、所在特定及びナビゲーションのための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-05-25

(54)【発明の名称】視覚キュー型ランダムアクセスＬＩＤＡＲシステム、並びに、所在特定及びナビゲーションのための方法

(51)【国際特許分類】

   G01S 17/931 20200101AFI20230518BHJP

   G01C 21/28 20060101ALI20230518BHJP

   G08G 5/00 20060101ALI20230518BHJP

   G01S 17/86 20200101ALI20230518BHJP

【ＦＩ】

G01S17/931

G01C21/28

G08G5/00 A

G01S17/86

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022560962

(86)(22)【出願日】2021-03-18

(85)【翻訳文提出日】2022-12-01

(86)【国際出願番号】 US2021022940

(87)【国際公開番号】W WO2021206888

(87)【国際公開日】2021-10-14

(31)【優先権主張番号】16/842,697

(32)【優先日】2020-04-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518081555

【氏名又は名称】テレディン サイエンティフィック アンド イメージング、 エルエルシー

【氏名又は名称原語表記】ＴＥＬＥＤＹＮＥ ＳＣＩＥＮＴＩＦＩＣ ＆ ＩＭＡＧＩＮＧ， ＬＬＣ

【住所又は居所原語表記】１０４９ Ｃａｍｉｎｏ Ｄｏｓ Ｒｉｏｓ， Ｔｈｏｕｓａｎｄ Ｏａｋｓ， Ｃａｌｉｆｏｒｎｉａ ９１３６０－２３６２， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110000110

【氏名又は名称】弁理士法人 快友国際特許事務所

(72)【発明者】

【氏名】ミリンド マハジャン

(72)【発明者】

【氏名】ウェイヤ チャン

(72)【発明者】

【氏名】マーク アンダーソン

(72)【発明者】

【氏名】マリオ アギラ サイモン

(72)【発明者】

【氏名】ブライアン グレゴリー

【テーマコード（参考）】

2F129

5H181

5J084

【Ｆターム（参考）】

2F129AA03

2F129AA11

2F129BB03

2F129BB33

2F129EE78

2F129FF02

2F129FF11

2F129FF20

2F129GG17

2F129GG18

5H181AA01

5H181AA26

5H181BB04

5H181BB05

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF27

5H181LL01

5J084AA04

5J084AA05

5J084AC02

(57)【要約】

移動プラットフォームの所在及び／又はナビゲーション経路を決定する視覚キュー型ランダムアクセスＬＩＤＡＲシステム、及び、方法。移動プラットフォーム上の視覚システムが関心領域を識別する。システムは関心領域内の物体を分類し、分類された物体のうちの１以上の物体にｐｉｎｇを実行するためにランダムアクセスＬＩＤＡＲを指向する。プラットフォームは、視覚システム及びＬＩＤＡＲからのデータを使用して３次元で所在を特定する。分類ステップ、指向ステップ、及び、特定ステップは、好ましくは、プラットフォームが移動している間、及び／又は、視覚システムの視野（ＦＯＶ）が変化している間に連続的に実行される。物体は、好ましくは、機械学習アルゴリズムなど、少なくとも１つのスマートビジョン・アルゴリズムを使用して分類される。

【特許請求の範囲】

【請求項1】

移動プラットフォームの所在、及び／又は、ナビゲーション経路を決定する方法であって、
関心領域を識別するために、移動プラットフォーム上で視覚システムを使用する使用ステップと、
前記関心領域内の物体を分類する分類ステップと、
前記分類された物体のうちの１以上の物体にｐｉｎｇを実行するためにランダムアクセスＬＩＤＡＲを指向する指向ステップと、
前記視覚システム及び前記ＬＩＤＡＲからのデータを使用して、３次元上の前記プラットフォームの所在を特定する特定ステップと、
を備える、方法。

【請求項2】

前記視覚システム及び前記ランダムアクセスＬＩＤＡＲのそれぞれが視野（ＦＯＶ）を有し、
前記視覚システム及び前記ランダムアクセスＬＩＤＡＲは、それぞれの前記ＦＯＶ間の所定の関係を確立するために較正される、請求項１に記載の方法。

【請求項3】

前記ＬＩＤＡＲによって実行されるｐｉｎｇは、前記関心領域内の分類された物体の向きを決定するために使用される、請求項１に記載の方法。

【請求項4】

前記分類ステップ、前記指向ステップ、及び、前記特定ステップは、前記プラットフォームが移動している間、及び／又は、前記視覚システムの視野（ＦＯＶ）が変化している間に連続的に実行される、請求項１に記載の方法。

【請求項5】

前記視覚システムは、前記関心領域の画像を、画像キャプチャ間に既知の間隔をもってキャプチャし、
前記方法は、さらに、
前記関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を定義する定義ステップを備える、請求項４に記載の方法。

【請求項6】

前記分類ステップが、少なくとも１つのスマートビジョン・アルゴリズムの使用を備える、請求項１に記載の方法。

【請求項7】

前記方法は、さらに、
前記関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を定義する定義ステップを備え、
前記分類ステップが、前記静的な基準点を選択するために使用される、請求項６に記載の方法。

【請求項8】

前記スマートビジョン・アルゴリズムのうちの少なくとも１つが機械学習アルゴリズムである、請求項６に記載の方法。

【請求項9】

前記ＬＩＤＡＲがコヒーレントＬＩＤＡＲであり、
前記方法は、さらに、
前記コヒーレントＬＩＤＡＲを使用して、前記移動プラットフォームに対する前記物体の相対速度を決定する決定ステップを備える、請求項１に記載の方法。

【請求項10】

前記方法は、さらに、
前記関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を定義する定義ステップを備え、
前記物体の前記相対速度が、前記静的な基準点を選択するために使用される、請求項９に記載の方法。

【請求項11】

前記視覚システムがスペクトルの可視部分、及び／又は、熱的部分において動作する、請求項１に記載の方法。

【請求項12】

前記ＬＩＤＡＲが、「１０μＲａｄ～１０ｍＲａｄ」の瞬時視野（ＩＦＯＶ）を有する、請求項１に記載の方法。

【請求項13】

前記ＬＩＤＡＲが、「＞１０度」の注視野を有する、請求項１に記載の方法。

【請求項14】

前記ＬＩＤＡＲが、「１μｓ～１ｍｓ」の再ポインティング時間を有する、請求項１に記載の方法。

【請求項15】

前記ＬＩＤＡＲが回折限界ビームを生成する、請求項１に記載の方法。

【請求項16】

前記方法は、さらに、
前記プラットフォームの直線加速度、及び／又は、角加速度、及び／又は、直線速度、及び／又は、角速度を決定する決定ステップを備える、請求項１に記載の方法。

【請求項17】

前記視覚システムが、前記分類された物体のうちの１以上の物体にｐｉｎｇを実行するために使用される前記ＬＩＤＡＲのポインティングを制御し、
前記方法は、さらに、
前記視覚システムによって指向された安定したポインティングを維持するために、前記ＬＩＤＡＲに修正を適用するために前記直線加速度、及び／又は、前記角加速度、及び／又は、前記直線速度、及び／又は、前記角速度を使用する使用ステップを備える、請求項１６に記載の方法。

【請求項18】

前記視覚システムが、前記分類された物体のうちの１以上の物体にｐｉｎｇを実行するために使用される前記ＬＩＤＡＲのポインティングを制御し、
前記方法は、さらに、
前記視覚指向ＬＩＤＡＲピンギングと並行して、追加の事前に定義されたＬＩＤＡＲ走査パターンを実行する実行ステップを含む、請求項１に記載の方法。

【請求項19】

前記事前に定義されたＬＩＤＡＲ走査が、前記プラットフォームの動きの方向に沿っており、バックアップ障害物回避を行うように作用する、請求項１８に記載の方法。

【請求項20】

前記事前に定義されたＬＩＤＡＲ走査が、検出された物体の前記ＬＩＤＡＲのスポット・サイズを効果的に増加させるために使用される、請求項１８に記載の方法。

【請求項21】

移動プラットフォームの所在、及び／又は、ナビゲーション経路を決定するためのシステムであって、
関心領域を識別するように構成された移動プラットフォーム上の視覚システムと、
前記視覚システムによってキャプチャされた画像を受信し、前記関心領域内の物体を分類するように構成されたプロセッサと、
前記分類された物体のうちの１以上の物体にｐｉｎｇを実行するように構成されたランダムアクセスＬＩＤＡＲと、
を備え、
前記プロセッサが、さらに、前記視覚システム及び前記ＬＩＤＡＲからのデータを使用して、３次元上の前記プラットフォームの所在を特定するように構成された、
システム。

【請求項22】

前記システムは、さらに、前記所在を特定することが、前記プラットフォームが移動している間、及び／又は、前記視覚システムの視野（ＦＯＶ）が変化している間に連続的に実行されるように構成された、請求項２１に記載のシステム。

【請求項23】

前記視覚システムが、前記関心領域の画像を、画像キャプチャ間に既知の間隔をもってキャプチャし、
前記システムは、さらに、
前記関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を定義するように構成された、請求項２２に記載のシステム。

【請求項24】

前記プロセッサが、前記物体を分類するために、少なくとも１つのスマートビジョン・アルゴリズムを使用する、請求項２１に記載のシステム。

【請求項25】

前記スマートビジョン・アルゴリズムのうちの少なくとも１つが機械学習アルゴリズムである、請求項２４に記載のシステム。

【請求項26】

前記ＬＩＤＡＲがコヒーレントＬＩＤＡＲである、請求項２１に記載のシステム。

【請求項27】

前記視覚システムが、スペクトルの可視部分、及び／又は、熱的部分において動作するように構成された、請求項２１に記載のシステム。

【請求項28】

前記ＬＩＤＡＲが、「１０μＲａｄ～１０ｍＲａｄ」の瞬時視野（ＩＦＯＶ）を有する、請求項２１に記載のシステム。

【請求項29】

前記ＬＩＤＡＲが、「＞１０度」の注視野を有する、請求項２１に記載のシステム。

【請求項30】

前記ＬＩＤＡＲが、「１μｓ～１ｍｓ」の再ポインティング時間を有する、請求項２１に記載のシステム。

【請求項31】

前記ＬＩＤＡＲが、回折限界ビームを生成するように構成された、請求項２１に記載のシステム。

【請求項32】

前記システムは、さらに、
前記プラットフォームの直線加速度、及び／又は、角加速度、及び／又は、直線速度、及び／又は、角速度を決定するように構成された慣性測定ユニット（ＩＭＵ）を備える、請求項２１に記載のシステム。

【請求項33】

前記視覚システムと前記ＬＩＤＡＲと前記ＩＭＵとが時間同期されている、請求項３２に記載のシステム。

【請求項34】

前記システムは、さらに、
カルマン・フィルタを備える、請求項３３に記載のシステム。

【請求項35】

前記システムは、さらに、
前記プラットフォームの絶対世界位置を与えるように構成された全地球測位システム（ＧＰＳ）ユニットを備える、請求項２１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（政府の権利）
本発明は、ＤＡＲＰＡのＭＯＡＢＢ（モジュラー光開口ビルディングブロック）によって与えられたＨＲ００１１－１６－Ｃ－０１０５の下で政府支援を受けてなされた。政府は本発明においていくつかの権利を有する。

【0002】

本発明は、一般に、選択された基準特徴に対する移動プラットフォームの所在を決定し、ナビゲーションのための安全なルートを計画するためのシステム及び方法に関する。

【背景技術】

【0003】

自律車両の分野は急速に成長している。そのような車両は、地上車両であろうと、空中車両であろうと、それらがどこにあるのかを知る技術（所在特定（ローカリゼーション））及びどこに行くのかを知る技術（ナビゲーション）を必要とする。

【0004】

必要な情報を提供するために様々な技術が使用される。例えば、所在特定及びナビゲーションのために磁力計を使用することができるが、磁力計はあまり正確ではなく、電磁気に敏感である傾向がある。オドメーター等、他の物理センサーは、大きく、柔軟性がない。ＧＰＳシステムは、ジャミングを起こしやすく、屋内でうまく動作しない。飛行時間カメラを採用することができるが、飛行時間カメラは、ピクセルの制限を受ける傾向があり、横方向分解能が不十分である。従来の走査ＬＩＤＡＲを検討することができるが、この手法は極めて非効率的であり、不必要に大量のデータを生成し、高いプラットフォーム障害を有する小さいプラットフォームに適合しない。

【発明の概要】

【0005】

上記の問題のいくつかに対処する視覚キュー型（ｖｉｓｉｏｎ－ｃｕｅｄ）ランダムアクセスＬＩＤＡＲシステム及び方法が提示される。

【0006】

本明細書で開示される方法は、移動プラットフォームの所在、及び／又は、ナビゲーション経路を決定するために使用される。本方法は、関心領域を識別するために移動プラットフォーム上で視覚システムを使用する使用ステップと、関心領域内の物体を分類する分類ステップと、分類された物体のうちの１以上の物体にｐｉｎｇを実行するようにランダムアクセスＬＩＤＡＲを指向する指向ステップと、視覚システム及びＬＩＤＡＲからのデータを使用して、３次元でプラットフォームの所在を特定する特定ステップと、を必要とする。また、関心領域内の分類された物体の向きを決定するためにＬＩＤＡＲピング（ｐｉｎｇｓ）を使用してもよい。

【0007】

分類ステップ、指向ステップ、及び、特定ステップは、好ましくは、プラットフォームが移動している間、及び／又は、視覚システムの視野（ｆｉｅｌｄ－ｏｆ－ｖｉｅｗ）（ＦＯＶ）が変化している間に連続的に実行される。物体は、好ましくは、機械学習アルゴリズム等、少なくとも１つのスマートビジョン・アルゴリズムを使用して分類される。

【0008】

また、本ＬＩＤＡＲシステム及び方法は、プラットフォームの直線加速度、及び／又は、角加速度、及び／又は、直線速度、及び／又は、角速度を決定するために使用されてもよい。ＬＩＤＡＲは、移動プラットフォームに対する分類された物体の速度を決定するために採用することができるコヒーレントＬＩＤＡＲであってもよい。

【0009】

本発明のこれらの特徴及び他の特徴、態様、及び、利点は、以下の図面、説明、及び、特許請求の範囲を参照するとより良く理解されるようになる。

【図面の簡単な説明】

【0010】

【図1】本明細書で説明する方法の１つの可能なバージョンを示す流れ図である。

【0011】

【図2a】本明細書で説明するシステムの１つの可能な実施形態を示すブロック図である。

【図2b】本明細書で説明するシステムの１つの可能な実施形態を示すブロック図である。

【発明を実施するための形態】

【0012】

本システム及び方法は移動プラットフォームの所在及び／又はナビゲーション経路を決定する。本発明は多くの可能な適用例を有する。例えば、本システム及び方法は、自律的にナビゲートされる地上車両又は飛行車両（ａｉｒ ｖｅｈｉｃｌｅ）の一部として使用することができる。そのような車両は、指定された経路に従い、前記経路に沿って、電線などの障害物を識別し、場合によっては回避する手段を必要とする。本明細書で説明するランダムアクセスＬＩＤＡＲと組み合わせた視覚システムの使用により、車両が５０ｍｐｈ以上の速度において移動することが可能になる。別の可能な適用例は、ＧＰＳ拒否環境において所在情報及び／又はナビゲーション情報を提供することである。ランダムアクセスＬＩＤＡＲは、好ましくは、機械慣性によって課される制限なしに、極めて迅速に（＜１ｍｓ）、それのアドレス指定可能なＦＯＶ内の任意の点から、それのアドレス指定可能なＦＯＶ内の他の任意の点までそれのビームをポインティングすることが可能であるＬＩＤＡＲとして定義される（例えば、Poulton et al., Optics Letters Vol. 42, No. 20 / October 15, 2017参照）。

【0013】

手短に言うと、本システム及び方法は、選択された基準特徴に対する移動プラットフォームの所在を決定するためにランダムアクセスＬＩＤＡＲをキューイングするために視覚システムを使用する。基準特徴は、プラットフォームが移動するとき、及び／又は、ＦＯＶが変化するときに、好ましくはスマートビジョン・アルゴリズムを使用して、好ましくは連続的に識別され、更新される。本方法の簡略図が図１に示されている。本方法は、
関心領域を識別するために移動プラットフォーム上で視覚システムを使用するステップ（ステップ１０）と、
関心領域内の物体を分類するステップ（１２）と、
分類された物体のうちの１以上の物体にｐｉｎｇを実行するようにランダムアクセスＬＩＤＡＲを指向するステップ（１４）と、
視覚システム及びＬＩＤＡＲからのデータを使用して、３次元でプラットフォームの所在を特定するステップ（１６）と
を含む。
（図２に示されている）本発明によるシステムは、視覚システムからのデータを受信し、関心領域内の物体を分類するソフトウェアベースのプロセッサ（３６）を含む。ＬＩＤＡＲは、任意選択的に、関心領域内の分類された物体の向きを決定するために使用されてもよい。

【0014】

関心領域内の物体を分類するステップ、分類された物体のうちの１以上の物体にｐｉｎｇを実行するようにランダムアクセスＬＩＤＡＲを指向するステップ、並びに、視覚システム及びＬＩＤＡＲからのデータを使用して、３次元でプラットフォームの所在を特定するステップは、好ましくは、プラットフォームが移動している間、及び／又は、視覚システムのＦＯＶが変化している間に連続的に実行される。これをなし得る１つの方法は、視覚システムが、関心領域の画像を画像キャプチャ間に既知の間隔をもってキャプチャするように、視覚システムを動作させ、次いで、関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点（non-collinear static point）を定義すること（１８）によるものである。画像キャプチャ間の間隔は、好ましくは、後続の画像が、少なくとも３つの非共線特徴を共通基準点として選択するのを可能にするのに十分な共通の特徴を有するようなものである。古い基準点がＦＯＶ外へ移動すると、新しい基準特徴が追加される。３つ以上の非共線特徴が利用可能である場合は、冗長性がシステム精度を向上させ得ることに留意されたい。さらに、視覚システム及びランダムアクセスＬＩＤＡＲは、それらのそれぞれのＦＯＶ間の所定の関係を確立するために較正されてもよいことに留意されたい。

【0015】

関心領域内の物体は、例えば、機械学習アルゴリズム等の少なくとも１つのスマートビジョン・アルゴリズムを使用して分類されてもよい。ここで、例えば、関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点が定義されてもよく、スマートビジョン・アルゴリズムを介した物体の分類は、静的基準点を選択するために使用される。

【0016】

ＬＩＤＡＲは、好ましくは、狭いビームを提供し、必要なランダムアクセスを与えるために電気光学的にポインティングされる。ＬＩＤＡＲは、好ましくは、移動プラットフォームに対する関心領域内の物体の速度を決定する（２０）ために使用され得るコヒーレントＬＩＤＡＲである。コヒーレントＬＩＤＡＲは、ドップラー効果を使用して、分類された物体の速度を測定することができ、それにより、縦方向速度を得るために２つのレンジ測定値を比較する必要がなくなる。物体が静止している（例えば交通標識）場合は、測定値はプラットフォーム自体の速度となる。また、コヒーレントＬＩＤＡＲは、振幅及び位相に加えて、対象の振動シグネチャを報告するように構成されることができ、分類プロセス中にプロセッサ・ソフトウェアによって使用されることができる。

【0017】

プロセッサ・ソフトウェアは、また、物体を正しい姿勢に向けるために、分類された関心のある物体（classified objects of interest）上の複数の点を使用するように構成されてもよい。分類された物体及び姿勢は、世界の３Ｄモデルを構築するために使用されてもよく、３Ｄモデルは、次の中間地点へのナビゲーションのために利用可能であるルートを決定するために使用されることができる。

【0018】

走査ＬＩＤＡＲを採用する以前のシステムは、入力データによって過負荷になる傾向がある。関心領域内の分類された物体にｐｉｎｇを実行するためにランダムアクセスＬＩＤＡＲをキューイングする関心領域を識別する視覚システムと、領域内の物体の画像と、の本組合せは、３Ｄ位置データをリアルタイムで取得することを可能にする。

【0019】

ランダムアクセスＬＩＤＡＲは、プロセッサ・ソフトウェアによって確立される優先度方式に基づいて、複数の機能を同時に実行するように構成されてもよい。これらの機能は、
障害物を検出するために、前方に走査するステップと、
（以下で説明する）プラットフォーム障害を補償するためのフィードフォワード安定化ステップと、
関心のある物体を問い合わせるソフトウェアから受信されたキュー当たりの点を範囲づけるステップと、
を含んでもよい。

【0020】

関心領域内の物体が静的であることを決定する少なくとも２つの方法がある。１つの方法は、例えば、コヒーレントＬＩＤＡＲを使用して物体の速度を測定し、例えば、慣性測定ユニット（inertial measurement unit）（ＩＭＵ）を使用して測定されたプラットフォーム速度と物体速度を比較することである。この方法によって、物体が静止しているかどうかを決定することができる。そのように構成すると、コヒーレントＬＩＤＡＲを使用して測定される物体の相対速度を使用して、関心領域内の各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を選択することができる。

【0021】

第２の方法は、上述のような物体分類のためのスマートビジョン・アルゴリズムの使用を伴う。関心領域内の物体が、例えば、スマートビジョン・アルゴリズムを使用して、例えば、木又は交通標識として分類される場合、物体のいくつかの種類は本質的に静的であるので、物体は静的であると考えられてもよい。

【0022】

本方法に必要とされる視覚システムは、スペクトルの可視部分、及び／又は、熱部分において動作してもよい。好ましくは、高い分解能を有する１以上のカメラが使用されてもよい。ランダムアクセスＬＩＤＡＲは、好ましくは、ＦＯＶが短い時間期間である場合に、広い注視野（field of regard）中の任意の点から他の任意の点にステアリングされることができる狭い瞬時ＦＯＶ（ＩＦＯＶ）を有する。ＩＦＯＶは、好適には、１０μＲａｄ～１０ｍＲａｄであり、視野（field-of-regard）は「＞１０度」であり、再ポインティング時間（repointing time）は１μｓ～１ｍｓである。ＬＩＤＡＲは、好ましくは、回折限界ビーム（diffraction limited beam）を生成する。

【0023】

移動プラットフォームの所在及び／又はナビゲーション経路を決定する本方法は、プラットフォームの直線加速度、及び／又は、角加速度、及び／又は、直線速度、及び／又は、角速度を決定するステップ（２２）をさらに含んでもよい。必要とされる視覚システムは、好ましくは、１以上の分類された物体にｐｉｎｇを実行するために使用されるＬＩＤＡＲのポインティングを制御する。そのように構成すると、プラットフォームが移動している状況で視覚システムによって指向された安定したポインティング、及び、視覚システムとＬＩＤＡＲとの間のレイテンシを維持するために、ＬＩＤＡＲに修正を適用するために、直線加速度、及び／又は、角加速度、及び／又は、直線速度、及び／又は、角速度が採用され得る。また、検出された物体又はレンジ測定のための潜在的な対象上のスポット・サイズを効果的に増加させ、それによってポインティング精度要件を低減するために、事前に定義された走査を使用することができる。

【0024】

上記のように、視覚システムは、好ましくは、１以上の分類された物体にｐｉｎｇを実行するために使用されるＬＩＤＡＲのポインティングを制御する。本方法は、さらに、視覚指向ＬＩＤＡＲピンギングと並行して、追加の事前に定義されたＬＩＤＡＲ走査パターンを実行することを含んでもよい。この追加の走査は、好適には、分類された物体にｐｉｎｇを実行するために使用される同じランダムアクセスＬＩＤＡＲによって実行される。追加の事前に定義された前方ＬＩＤＡＲ走査（図２ｂ中の２８）は、好ましくは、プラットフォームの動きの方向に沿っており、バックアップ障害物回避を行うように動作する。

【0025】

本明細書で説明する移動プラットフォームの所在及び／又はナビゲーション経路を決定するためのシステムの簡略ブロック図が、図２ａ及び図２ｂに示されている。本システムは、共通の視覚／ＬＩＤＡＲ ＦＯＶ３５内の関心領域３４を識別するように構成された移動プラットフォーム３２上の視覚システム３０を含む。本システムは、視覚システム３０によってキャプチャされた画像を受信し、関心領域３４内の物体３８を分類するように構成されたプロセッサ３６を含む。また、本システムは、分類された物体３８のうちの１以上の物体にｐｉｎｇを実行するように構成されたコヒーレントＬＩＤＡＲであってもよく、ランダムアクセスＬＩＤＡＲ４０を必要とする。プロセッサ３６は、プラットフォームの動作について修正された座標を有する点のリストをＬＩＤＡＲ４０に提供し、ＬＩＤＡＲは対応するレンジ測定値をプロセッサ３６に提供する。プロセッサ３６は、さらに、視覚システム３０及びＬＩＤＡＲ４０からのデータを使用して、プラットフォーム３２の所在を３次元で特定するように構成される。

【0026】

本システムは、好ましくは、プラットフォーム３２が移動している間、及び／又は、視覚システム３０の視野（ＦＯＶ）が変化している間に、所在を特定することが連続的に実行されるように構成される。上記のように、視覚システム３０は、関心領域３４の画像を画像キャプチャ間に既知の間隔をもってキャプチャするように構成されてもよい。本システムは、さらに、関心領域３４内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を定義するように構成される。

【0027】

プロセッサ３６は、好ましくは、物体３８を分類するために、機械学習アルゴリズム等、少なくとも１つのスマートビジョン・アルゴリズムを使用する。ナビゲーションのためのトレーニングされた機械学習アルゴリズムを使用することによって、データ収集及び処理のオーバーヘッドが低減される。物体のいくつかのタイプを定義するデータが、システムが展開される前に蓄積されてもよく、プロセッサ・ソフトウェアが、次いで、時間に応じて、リアルタイムで検出される関心のある物体のライブラリを維持し、更新することができる。「関心のある物体」は、移動プラットフォームの環境内での所在特定のための潜在的な障害物、対象、又は、ナビゲーション特徴として重要である物理的物体又は物体の一部である。古い関心のある物体がＦＯＶ外へ移動すると、新しい基準点が追加され、使用される。プロセッサ・ソフトウェアは、関心のある物体を識別し、分類するトレーニングされた機械学習「分類子（classifier）」アルゴリズムを含んでもよい。ソフトウェアは、静止している可能性が最も高く、十分なコントラストを有するクラスから、物体の一部（例えば、建築物の窓又は入口、電柱など）である所在特定のための基準特徴を選択するように構成されてもよい。

【0028】

静止している基準特徴は、例えば、測定されたプラットフォームの動きと、カメラ・ピクセルの動き、及び、２以上の時間インスタンス間でランダムアクセスＬＩＤＡＲを用いて実行される対応するレンジ測定とを比較することによって、静止していることが確認される。対応する角変位及び直線変位はＩＭＵによって測定されてもよい。相対角度位置、及び複数（＞３）の静止している基準特徴からの距離が、システムの所在と姿勢とを決定するために使用されてもよい。

【0029】

視覚システム３０は、好適には、スペクトルの可視部分、及び／又は、熱部分において動作するように構成される。ＬＩＤＡＲ４０は、好適には、「１０μＲａｄ～１０ｍＲａｄ」の瞬時視野（ＩＦＯＶ）と、「＞１０度」の注視野と、「１μｓ～１ｍｓ」の再ポインティング時間と、を有し、回折限界ビームを生成するように構成される。

【0030】

本システムはＩＭＵなしでの所在特定を可能にする。しかしながら、本システムは、さらに、プラットフォーム３２の直線加速度、及び／又は、角加速度、及び／又は、直線速度、及び／又は、角速度を決定するように構成されたＩＭＵ４２をさらに含んでもよい。そのように構成すると、視覚システム３０、ＬＩＤＡＲ４０、及び、ＩＭＵ４２は、例えば、オンボード・クロック、又は、ＧＰＳなどの外部基準を使用して、好ましくは、時間同期させられる。プラットフォームは一般に周期的に所在特定されることができる。ＩＭＵ４２は、カメラ画像キャプチャとＬＩＤＡＲレンジ・データ収集との間のタイム・ラグによるＬＩＤＡＲポインティングにおけるプラットフォーム障害により誘起されるエラーを修正するために使用されることができる。このタイム・ラグは、好ましくは「＜１００ｍｓ」である。ＩＭＵはドリフトする傾向があるので、所在特定間の時間、即ち、移動している物体から静止している物体を区別するために使用される時間差は、好ましくは小さい（＜１秒）。これらの技法は、フィードフォワード修正と視線安定化とを与えるために使用されることができ、それにより、厳しいプラットフォーム障害の存在下での高精度ポインティングが可能になる。安定化されたポインティングにより、小さい基準特徴を測距することが可能になり、それにより、（縦方向の視線に直交する）横方向における所在特定精度が高くなる。

【0031】

また、プラットフォーム３２の絶対世界位置を更新するように構成された全地球測位システム（ＧＰＳ）ユニット４６が含まれてもよい。また、本システムは、ある時間期間にわたってすべての利用可能なセンサー測定値を使用して、所在と向きとを推定するためのカルマン・フィルタ４４を含んでもよく、これはまた、コンパス磁力計など、１以上の他のセンサー４５からの入力を受信してもよい。

【0032】

画像中の単一のカメラ・ピクセルの角度投影であるカメラＩＦＯＶ、及び、ＬＩＤＡＲ分解能は、好ましくは、ＬＩＤＡＲのレンジ限界において同等の縦方向及び横方向の距離測定精度（例えば、１００ｍの距離において公称２ｃｍ）を有するように設計される。

【0033】

移動プラットフォームの所在、及び／又は、ナビゲーション経路を決定するための本システム及び方法は、難しい障害環境をもつ小さいプラットフォーム（例えば、固定翼無人飛行車両）、及び、サイズ、重量、電力、及び／又は、処理能力の限界をもつプラットフォーム上での使用のために特に有利である。それは、磁力計よりも正確であることが可能であり、電磁気に敏感でない。さらに、本発明はオドメーターなどの他の物理センサーよりもコンパクトで柔軟性がある。本システムは、オドメーターが必要とする表面との接触を必要とせず、ＲＦ又は超音波三角測量ベースのシステムのような外部基準源をセット・アップすることを必要としない。選択された特徴とランダムアクセスＬＩＤＡＲとを使用すると、プロセスのデータ及び計算の負荷が大幅に低減され、速度が著しく改善される。本明細書で説明した視覚／ＬＩＤＡＲベースの所在特定は極めて正確であることができ、精度は主にＬＩＤＡＲの精度とカメラＩＦＯＶとによって決定される。

【0034】

本明細書で説明した本発明の実施形態は例示的なものであり、実質的に等価な結果を達成するために多数の改変、変形、及び再構成が容易に想定されることができ、それらのすべては添付の特許請求の範囲において定義されている本発明の趣旨及び範囲内に包含されるものである。

【図1】

【図2a】

【図2b】

【手続補正書】

【提出日】2022-12-20

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００３４

【補正方法】変更

【補正の内容】

【0034】

本明細書で説明した本発明の実施形態は例示的なものであり、実質的に等価な結果を達成するために多数の改変、変形、及び再構成が容易に想定されることができ、それらのすべては添付の特許請求の範囲において定義されている本発明の趣旨及び範囲内に包含されるものである。
以下の項目は、出願当初の特許請求の範囲に記載の要素である。
（項目１）
移動プラットフォームの所在、及び／又は、ナビゲーション経路を決定する方法であって、
関心領域を識別するために、移動プラットフォーム上で視覚システムを使用する使用ステップと、
前記関心領域内の物体を分類する分類ステップと、
前記分類された物体のうちの１以上の物体にｐｉｎｇを実行するためにランダムアクセスＬＩＤＡＲに指示する指示ステップと、
前記視覚システム及び前記ＬＩＤＡＲからのデータを使用して、３次元上の前記プラットフォームの所在を特定する特定ステップと、
を備える、方法。
（項目２）
前記視覚システム及び前記ランダムアクセスＬＩＤＡＲのそれぞれが視野（ＦＯＶ）を有し、
前記視覚システム及び前記ランダムアクセスＬＩＤＡＲは、それぞれの前記ＦＯＶ間の所定の関係を確立するために較正される、項目１に記載の方法。
（項目３）
前記ＬＩＤＡＲによって実行されるｐｉｎｇは、前記関心領域内の分類された物体の向きを決定するために使用される、項目１に記載の方法。
（項目４）
前記分類ステップ、前記指示ステップ、及び、前記特定ステップは、前記プラットフォームが移動している間、及び／又は、前記視覚システムの視野（ＦＯＶ）が変化している間に連続的に実行される、項目１に記載の方法。
（項目５）
前記視覚システムは、前記関心領域の画像を、画像キャプチャ間に既知の間隔をもってキャプチャし、
前記方法は、さらに、
前記関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を定義する定義ステップを備える、項目４に記載の方法。
（項目６）
前記分類ステップが、少なくとも１つのスマートビジョン・アルゴリズムの使用を備える、項目１に記載の方法。
（項目７）
前記方法は、さらに、
前記関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を定義する定義ステップを備え、
前記分類ステップが、前記静的な基準点を選択するために使用される、項目６に記載の方法。
（項目８）
前記スマートビジョン・アルゴリズムのうちの少なくとも１つが機械学習アルゴリズムである、項目６に記載の方法。
（項目９）
前記ＬＩＤＡＲがコヒーレントＬＩＤＡＲであり、
前記方法は、さらに、
前記コヒーレントＬＩＤＡＲを使用して、前記移動プラットフォームに対する前記物体の相対速度を決定する決定ステップを備える、項目１に記載の方法。
（項目１０）
前記方法は、さらに、
前記関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を定義する定義ステップを備え、
前記物体の前記相対速度が、前記静的な基準点を選択するために使用される、項目９に記載の方法。
（項目１１）
前記視覚システムがスペクトルの可視部分、及び／又は、熱的部分において動作する、項目１に記載の方法。
（項目１２）
前記ＬＩＤＡＲが、「１０μＲａｄ～１０ｍＲａｄ」の瞬時視野（ＩＦＯＶ）を有する、項目１に記載の方法。
（項目１３）
前記ＬＩＤＡＲが、「＞１０度」の注視野を有する、項目１に記載の方法。
（項目１４）
前記ＬＩＤＡＲが、「１μｓ～１ｍｓ」の再ポインティング時間を有する、項目１に記載の方法。
（項目１５）
前記ＬＩＤＡＲが回折限界ビームを生成する、項目１に記載の方法。
（項目１６）
前記方法は、さらに、
前記プラットフォームの直線加速度、及び／又は、角加速度、及び／又は、直線速度、及び／又は、角速度を決定する決定ステップを備える、項目１に記載の方法。
（項目１７）
前記視覚システムが、前記分類された物体のうちの１以上の物体にｐｉｎｇを実行するために使用される前記ＬＩＤＡＲのポインティングを制御し、
前記方法は、さらに、
前記視覚システムによって指示された安定したポインティングを維持するために、前記ＬＩＤＡＲに修正を適用するために前記直線加速度、及び／又は、前記角加速度、及び／又は、前記直線速度、及び／又は、前記角速度を使用する使用ステップを備える、項目１６に記載の方法。
（項目１８）
前記視覚システムが、前記分類された物体のうちの１以上の物体にｐｉｎｇを実行するために使用される前記ＬＩＤＡＲのポインティングを制御し、
前記方法は、さらに、
前記視覚指示ＬＩＤＡＲピンギングと並行して、追加の事前に定義されたＬＩＤＡＲ走査パターンを実行する実行ステップを含む、項目１に記載の方法。
（項目１９）
前記事前に定義されたＬＩＤＡＲ走査が、前記プラットフォームの動きの方向に沿っており、バックアップ障害物回避を行うように作用する、項目１８に記載の方法。
（項目２０）
前記事前に定義されたＬＩＤＡＲ走査が、検出された物体の前記ＬＩＤＡＲのスポット・サイズを効果的に増加させるために使用される、項目１８に記載の方法。
（項目２１）
移動プラットフォームの所在、及び／又は、ナビゲーション経路を決定するためのシステムであって、
関心領域を識別するように構成された移動プラットフォーム上の視覚システムと、
前記視覚システムによってキャプチャされた画像を受信し、前記関心領域内の物体を分類するように構成されたプロセッサと、
前記分類された物体のうちの１以上の物体にｐｉｎｇを実行するように構成されたランダムアクセスＬＩＤＡＲと、
を備え、
前記プロセッサが、さらに、前記視覚システム及び前記ＬＩＤＡＲからのデータを使用して、３次元上の前記プラットフォームの所在を特定するように構成された、
システム。
（項目２２）
前記システムは、さらに、前記所在を特定することが、前記プラットフォームが移動している間、及び／又は、前記視覚システムの視野（ＦＯＶ）が変化している間に連続的に実行されるように構成された、項目２１に記載のシステム。
（項目２３）
前記視覚システムが、前記関心領域の画像を、画像キャプチャ間に既知の間隔をもってキャプチャし、
前記システムは、さらに、
前記関心領域内で、各画像キャプチャのための共通基準点として使用されるべき少なくとも３つの非共線静的点を定義するように構成された、項目２２に記載のシステム。
（項目２４）
前記プロセッサが、前記物体を分類するために、少なくとも１つのスマートビジョン・アルゴリズムを使用する、項目２１に記載のシステム。
（項目２５）
前記スマートビジョン・アルゴリズムのうちの少なくとも１つが機械学習アルゴリズムである、項目２４に記載のシステム。
（項目２６）
前記ＬＩＤＡＲがコヒーレントＬＩＤＡＲである、項目２１に記載のシステム。
（項目２７）
前記視覚システムが、スペクトルの可視部分、及び／又は、熱的部分において動作するように構成された、項目２１に記載のシステム。
（項目２８）
前記ＬＩＤＡＲが、「１０μＲａｄ～１０ｍＲａｄ」の瞬時視野（ＩＦＯＶ）を有する、項目２１に記載のシステム。
（項目２９）
前記ＬＩＤＡＲが、「＞１０度」の注視野を有する、項目２１に記載のシステム。
（項目３０）
前記ＬＩＤＡＲが、「１μｓ～１ｍｓ」の再ポインティング時間を有する、項目２１に記載のシステム。
（項目３１）
前記ＬＩＤＡＲが、回折限界ビームを生成するように構成された、項目２１に記載のシステム。
（項目３２）
前記システムは、さらに、
前記プラットフォームの直線加速度、及び／又は、角加速度、及び／又は、直線速度、及び／又は、角速度を決定するように構成された慣性測定ユニット（ＩＭＵ）を備える、項目２１に記載のシステム。
（項目３３）
前記視覚システムと前記ＬＩＤＡＲと前記ＩＭＵとが時間同期されている、項目３２に記載のシステム。
（項目３４）
前記システムは、さらに、
カルマン・フィルタを備える、項目３３に記載のシステム。
（項目３５）
前記システムは、さらに、
前記プラットフォームの絶対世界位置を与えるように構成された全地球測位システム（ＧＰＳ）ユニットを備える、項目２１に記載のシステム。

【国際調査報告】