特許 7518503 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-09

(45)【発行日】2024-07-18

(54)【発明の名称】表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め

(51)【国際特許分類】

   G01C 21/28 20060101AFI20240710BHJP

   G08G 1/00 20060101ALI20240710BHJP

   G06T 7/00 20170101ALI20240710BHJP

【ＦＩ】

G01C21/28

G08G1/00 J

G06T7/00 350C

G06T7/00 650A

【請求項の数】 11

(21)【出願番号】P 2022516063

(86)(22)【出願日】2020-09-14

(65)【公表番号】

(43)【公表日】2022-11-14

(86)【国際出願番号】 US2020050699

(87)【国際公開番号】W WO2021051071

(87)【国際公開日】2021-03-18

【審査請求日】2022-04-15

(31)【優先権主張番号】62/900,098

(32)【優先日】2019-09-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】522019904

【氏名又は名称】ジーピーアール， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】フリードマン， サンフォード

【審査官】佐藤 吉信

(56)【参考文献】

【文献】国際公開第２０１９／０９８００２（ＷＯ，Ａ１）

【文献】米国特許第０８９４９０２４（ＵＳ，Ｂ２）

【文献】韓国登録特許第１０－１９９９１５８（ＫＲ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

表面探知レーダー（ＳＰＲ）センサの老朽化または機能不全から生じる誤差を最小化する一方で、車両の位置決めをするとともに、表面下構造を検出および識別する方法であって、前記方法は、
ルートの横断中、複数のＳＰＲ画像を取得するステップと、
位置推定の信頼性に関連する条件のセンサデータを取得するステップであって、前記取得されたセンサデータは、前記ＳＰＲセンサのパラメータを含む、ステップと、
前記取得された複数のＳＰＲ画像を予測子への入力として使用することによって、前記取得された複数のＳＰＲ画像における表面下構造をコンピュータによって識別するステップであって、前記予測子は、複数のＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている、ステップと、
前記取得された複数のＳＰＲ画像における前記識別された表面下構造と前記識別された表面下構造の地理的場所に対応する地球座標とを関連付けるとともに、この関連付けに基づいて、前記識別された表面下構造に対応する表面下構造の電子マップを生成することと、
前記取得された複数のＳＰＲ画像と前記取得されたセンサデータとを深層学習モジュールへの入力として使用することによって、車両の位置を推定するステップであって、前記深層学習モジュールは、１つ以上の位置合わせ画像に対する前記取得された複数のＳＰＲ画像の一致確率を算出し、前記取得されたセンサデータに基づいて前記一致確率を調整するステップと
を含む、方法。

【請求項2】

前記予測子は、ニューラルネットワークである、請求項１に記載の方法。

【請求項3】

前記ニューラルネットワークは、畳み込みニューラルネットワークである、請求項２に記載の方法。

【請求項4】

前記ニューラルネットワークは、回帰型ニューラルネットワークである、請求項２に記載の方法。

【請求項5】

前記方法は、
車両によるルートの横断中、追加の複数のＳＰＲ画像を取得するステップと、
前記予測子によって、前記追加の複数のＳＰＲ画像において、前記予測子が認識するように訓練されている表面下特徴を認識するステップと、
前記認識された表面下特徴と前記電子マップにおける地球座標とに少なくとも部分的に基づいて、前記車両をナビゲートするステップと
をさらに含む、請求項１に記載の方法。

【請求項6】

表面探知レーダー（ＳＰＲ）センサの老朽化または機能不全から生じる誤差を最小化する一方で、車両の位置決めをするとともに、表面下構造を検出および識別するためのシステムであって、前記システムは、
複数のＳＰＲ画像と位置推定の信頼性に関連する条件のセンサデータとを取得するためのＳＰＲシステムであって、前記取得されたセンサデータは、前記ＳＰＲセンサのパラメータを含む、ＳＰＲシステムと、
プロセッサと電子的に記憶された命令とを含むコンピュータと
を備え、
前記命令は、
前記取得された複数のＳＰＲ画像を分析し、前記取得された複数のＳＰＲ画像を予測子への入力として使用することによって、前記取得された複数のＳＰＲ画像における表面下構造をコンピュータによって識別することであって、前記予測子は、複数のＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている、ことと、
前記取得された複数のＳＰＲ画像における前記識別された表面下構造と前記識別された表面下構造の地理的場所に対応する地球座標とを関連付けるとともに、この関連付けに基づいて、前記識別された表面下構造に対応する表面下構造の地球マップを生成することと、
前記取得された複数のＳＰＲ画像と前記取得されたセンサデータとを深層学習モジュールへの入力として使用することによって、車両の位置を推定することであって、前記深層学習モジュールは、１つ以上の位置合わせ画像に対する前記取得された複数のＳＰＲ画像の一致確率を算出し、前記取得されたセンサデータに基づいて前記一致確率を調整するステップことと
を行うように、前記プロセッサによって実行可能である、システム。

【請求項7】

前記予測子は、ニューラルネットワークである、請求項６に記載のシステム。

【請求項8】

前記ニューラルネットワークは、畳み込みニューラルネットワークである、請求項７に記載のシステム。

【請求項9】

前記ニューラルネットワークは、回帰型ニューラルネットワークである、請求項７に記載のシステム。

【請求項10】

車両であって、前記車両は、
車両の走行中に、複数の表面探知レーダー（ＳＰＲ）画像と位置推定の信頼性に関連する条件のセンサデータとを取得するためのＳＰＲシステムであって、前記取得されたセンサデータは、ＳＰＲセンサのパラメータを含む、ＳＰＲシステムと、
プロセッサと電子的に記憶された命令とを含むコンピュータと
を備え、
前記命令は、
前記取得された複数のＳＰＲ画像を分析し、前記取得された複数のＳＰＲ画像を予測子への入力として使用することによって、前記取得された複数のＳＰＲ画像における表面下構造をコンピュータによって識別することであって、前記予測子は、複数のＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている、ことと、
前記取得された複数のＳＰＲ画像と前記取得されたセンサデータとを深層学習モジュールへの入力として使用することによって、車両の位置を推定することであって、前記深層学習モジュールは、１つ以上の位置合わせ画像に対する前記取得された複数のＳＰＲ画像の一致確率を算出し、前記取得されたセンサデータに基づいて前記一致確率を調整することと、
前記識別された表面下構造と、前記識別された表面下構造を地球座標に関連付ける電子マップとに少なくとも部分的に基づいて、前記車両をナビゲートすることと
を行うように、前記プロセッサによって実行可能である、車両。

【請求項11】

前記コンピュータは、前記識別された表面下構造を前記画像が入手されたときに対応する地球座標に関連付けるとともに、これに基づいて、前記電子マップを生成するように構成されている、請求項１０に記載の車両。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０１９年９月１３日に出願された米国仮特許出願第６２／９００，０９８号に対する優先権およびその利益を主張し、その全体を参照によって本明細書に援用する。

【0002】

（発明の分野）
本発明は、概して、車両の位置決めおよびナビゲーションに関連し、より一般には、深層学習技術を使用した精度の改良、およびシステムモニタリングに関連する。

【背景技術】

【0003】

（背景）
表面探知レーダー（ＳＰＲ）システムは、ナビゲーションおよび車両の位置決めのために使用されている（例えば、米国特許第８，９４９，０２４号を参照。その開示全体が、参照によって本明細書に援用される）。ＳＰＲは、ＧＰＳの精度をマルチパスまたはシャドウイングが劣化させる環境（都市など）において使用され得るか、または、光学検知アプローチの代替として使用され得る（光学検知アプローチは、暗闇もしくは変化する場面照明を許容し得ず、または、その性能が天候条件の変動によって悪影響を及ぼされ得る）。

【0004】

具体的には、ＳＰＲは、車両が地形を横断しているとき、表面特徴と表面下特徴とを含むスキャンを取得するために使用され得、取得されたデータスキャンは、その環境において車両位置を位置決めするために、同じ環境において以前に取得された参照スキャンデータと比較され得る。参照スキャンデータが地理的位置情報によってラベル付けされている場合、車両の絶対位置が、ラベル付けによって決定され得る。

【0005】

スキャンデータ比較は、例えば、相関に基づいた位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）プロセスであり得る（例えば、米国特許第８，７８６，４８５号を参照。その開示全体が、参照によって本明細書に援用される）。参照スキャンデータに基づいたＳＰＲの位置決めが従来技術の上記の制限を克服するが、ＳＰＲセンサは、確実ではなく、位置合わせプロセスは、ある程度の誤差を必然的に示す。例えば、誤差は、不確定な地面条件、ＳＰＲセンサの老朽化もしくは機能不全、車両の速さ、または周囲条件（風速もしくは温度など）の変動から生じ得る。

【0006】

従って、ＳＰＲベースの位置決めシステムの精度を改良することと、誤差状態の発生を最小化することと、リアルタイム位置決め推定の信頼度を推定することとを行う測定へのニーズが、存在する。

【発明の概要】

【課題を解決するための手段】

【0007】

（概要）
本発明の実施形態は、深層学習を使用し、位置決めまたはナビゲーションのためのＳＰＲシステムの性能を改良または判定する。「深層学習」という用語は、複数の層を使用し、未加工の画像からより高いレベルの特徴を段階的に抽出する機械学習アルゴリズムを指す。深層学習は、一般に、人間の脳と同様の手法において情報を処理するニューラルネットワークを伴う。そのネットワークは、並列に稼働し、特定の問題を解決する高度に相互接続された多数の処理要素（ニューロン）からなる。ニューラルネットワークは、例を用いて学習し、ニューラルネットワークは、高いレベルの性能を確実にすることと、訓練時間を低減させることと、システムバイアスを最小化することとを行うために入念に収集され、精選された訓練用の例を用いて適切に訓練されなければならない。

【0008】

畳み込みニューラルネットワーク（ＣＮＮ）は、しばしば、画像を分類するために、または画像場面中に描画された物体を識別（および分類）するために使用される。例えば、自己運転車両の用途は、コンピュータビジョンモジュールにおいてＣＮＮを採用し、車両の経路上の交通標識、自転車に乗っている人、または歩行者を識別し得る。ＣＮＮは、畳み込みを使用して入力画像から特徴を抽出し、畳み込みは、ピクセル間の空間的関係を保つが、小さな正方形の入力データを使用して画像特徴を学習することを促進する。ニューラルネットワークは、例を用いて学習し、それによって、画像は、関心特徴を含むもの、または含まないものとしてラベル付けされ得る（オートエンコーダは、ラベル付けを伴わずに学習し得る）。システムが信頼度を伴って効率的に実施すべきである場合、例は、入念に選択され、通常、数において大きくなければならない。

【0009】

従って、第一の局面では、本発明は、表面下構造を検出し、識別する方法に関する。様々な実施形態において、方法は、ＳＰＲ画像を取得するステップと、取得された画像を予測子への入力として使用することによって、取得された画像における表面下構造をコンピュータによって識別するステップとを含み、予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている。

【0010】

いくつかの実施形態では、方法は、ルートの横断中、追加のＳＰＲ画像を取得するステップと、予測子によって、ＳＰＲ画像において、予測子が認識するように訓練されている表面下特徴を認識するステップと、画像における認識された特徴をその画像が入手されたときに対応する地球座標に関連付け、地球座標に基づいて、認識された特徴に対応する表面下構造の電子マップを生成するステップとを同様に含む。

【0011】

様々な実施形態では、方法は、車両によるルートの横断中、追加のＳＰＲ画像を取得するステップと、予測子によって、ＳＰＲ画像において、前記予測子が認識するように訓練されている表面下特徴を認識するステップと、認識された特徴をその認識された特徴に対応する地球座標に関連付けるステップと、少なくとも部分的に認識された表面下特徴と認識された表面下特徴の地球座標とに基づいて、車両をナビゲートするステップとをさらに含む。

【0012】

別の局面では、本発明は、表面下構造を検出し、識別するためのシステムに関連する。様々な実施形態において、システムは、ＳＰＲ画像を取得するためのＳＰＲシステムと、プロセッサとプロセッサによって実行可能な電子的に記憶された命令とを含むコンピュータとを備え、コンピュータは、取得されたＳＰＲ画像を分析し、取得された画像を予測子への入力として使用することによって、取得されたＳＰＲ画像における表面下構造をコンピュータによって識別し、予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている。

【0013】

前述の局面のいずれかにおいて、予測子は、ニューラルネットワーク（例えば、畳み込みニューラルネットワークまたは回帰型ニューラルネットワーク）であり得る。

【0014】

本発明のさらに別の局面は、車両の走行中に表面探知レーダー（ＳＰＲ）画像を取得するためのＳＰＲシステムと、プロセッサとプロセッサによって実行可能な電子的に記憶された命令とを含むコンピュータとを備えている車両に関し、コンピュータは、取得されたＳＰＲ画像を分析し、取得された画像を予測子への入力として使用することによって、取得されたＳＰＲ画像における表面下構造をコンピュータによって識別し、予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている。

【0015】

様々な実施形態において、コンピュータは、画像における認識された特徴をその画像が入手されたときに対応する地球座標に関連付け、地球座標に基づいて、認識された特徴に対応する表面下構造の電子マップを生成するように構成されている。代替として、または加えて、コンピュータは、画像における認識された特徴をその認識された特徴に対応する地球座標に関連付け、少なくとも部分的に認識された表面下特徴と認識された表面下特徴の地球座標とに基づいて、車両をナビゲートするように構成され得る。

【0016】

本明細書中で使用される場合、「実質的に」という用語は、組織体積による±１０％を意味し、いくつかの実施形態では、組織体積による±５％を意味する。「臨床的に著しい」は、臨床医によって著しいと見做される、例えば組織に対する損傷の発現を発動させる組織上の所望されない効果（ときに、所望される効果の欠如）を有することを意味する。本明細書全体を通した「一例」、「ある例」、「一実施形態」、または「ある実施形態」への言及は、例に関連して記載された具体的な特徴、構造または特質が本技術の少なくとも一例に含まれることを意味する。従って、本明細書全体を通した様々な箇所における「一例では」、「ある例では」、「一実施形態」、または「ある実施形態」というフレーズの出現は、それらのすべてが同じ例に言及しているとは限らない。さらに、具体的な特徴、構造、ルーチン、ステップ、または特質が、本技術の１つ以上の例において、任意の好適な手法において組み合わされ得る。本明細書中で提供される見出しは、便宜上のためのみであり、主張される技術の範囲または意味を限定または解釈することを意図されていない。
本発明は、例えば、以下の項目を提供する。
（項目１）
表面下構造を検出し、識別する方法であって、該方法は、
表面探知レーダー（ＳＰＲ）画像を取得するステップと、
該取得された画像を予測子への入力として使用することによって、該取得された画像における表面下構造をコンピュータによって識別するステップと
を含み、該予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている、方法。
（項目２）
前記予測子は、ニューラルネットワークである、項目１に記載の方法。
（項目３）
前記ニューラルネットワークは、畳み込みニューラルネットワークである、項目１に記載の方法。
（項目４）
前記ニューラルネットワークは、回帰型ニューラルネットワークである、項目１に記載の方法。
（項目５）
ルートの横断中、追加のＳＰＲ画像を取得するステップと、
前記予測子によって、該ＳＰＲ画像において、該予測子が認識するように訓練されている表面下特徴を認識するステップと、
該画像における該認識された特徴を該画像が入手されたときに対応する地球座標に関連付け、該地球座標に基づいて、該認識された特徴に対応する表面下構造の電子マップを生成するステップと
をさらに含む、項目１に記載の方法。
（項目６）
車両によるルートの横断中、追加のＳＰＲ画像を取得するステップと、
前記予測子によって、該ＳＰＲ画像において、該予測子が認識するように訓練されている表面下特徴を認識するステップと、
該認識された特徴を該認識された特徴に対応する地球座標に関連付けるステップと、
少なくとも部分的に該認識された表面下特徴と該認識された表面下特徴の該地球座標とに基づいて、該車両をナビゲートするステップと
をさらに含む、項目１に記載の方法。
（項目７）
表面下構造を検出し、識別するためのシステムであって、該システムは、
表面探知レーダー（ＳＰＲ）画像を取得するためのＳＰＲシステムと、
プロセッサと該プロセッサによって実行可能な電子的に記憶された命令とを含むコンピュータと
を備え、
該コンピュータは、該取得されたＳＰＲ画像を分析し、該取得された画像を予測子への入力として使用することによって、該取得されたＳＰＲ画像における表面下構造をコンピュータによって識別し、該予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている、システム。
（項目８）
前記予測子は、ニューラルネットワークである、項目７に記載のシステム。
（項目９）
前記ニューラルネットワークは、畳み込みニューラルネットワークである、項目７に記載のシステム。
（項目１０）
前記ニューラルネットワークは、回帰型ニューラルネットワークである、項目７に記載のシステム。
（項目１１）
車両であって、該車両は、
車両の走行中に表面探知レーダー（ＳＰＲ）画像を取得するためのＳＰＲシステムと、
プロセッサと該プロセッサによって実行可能な電子的に記憶された命令とを含むコンピュータと
を備え、
該コンピュータは、該取得されたＳＰＲ画像を分析し、該取得された画像を予測子への入力として使用することによって、該取得されたＳＰＲ画像における表面下構造をコンピュータによって識別し、該予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている、車両。
（項目１２）
前記コンピュータは、前記画像における前記認識された特徴を該画像が入手されたときに対応する地球座標に関連付け、該地球座標に基づいて、該認識された特徴に対応する表面下構造の電子マップを生成するように構成されている、項目１１に記載の車両。
（項目１３）
前記コンピュータは、前記画像における前記認識された特徴を該認識された特徴に対応する地球座標に関連付け、少なくとも部分的に該認識された表面下特徴と該認識された表面下特徴の該地球座標とに基づいて、前記車両をナビゲートするように構成されている、項目１１に記載の車両。

【図面の簡単な説明】

【0017】

（図面の簡単な説明）
以上の、および以下の詳細な説明は、図面と併せて受け取られると、より容易に理解される。

【0018】

【図1A】図１Ａは、本発明の実施形態に従った地形モニタリングシステムを含む例示的な走行中の車両を概略的に図示している。

【0019】

【図1B】図１Ｂは、地形モニタリングシステムのアンテナが道路の表面に近いかまたは道路の表面に接触している代替構成を概略的に図示している。

【0020】

【図2】図２は、本発明の実施形態に従った例示的地形モニタリングシステムを概略的に描写している。

【0021】

【図3】図３は、ＣＮＮまたは他の形態の深層学習がＳＰＲシステムと統合されている例示的アーキテクチャを概略的に描写している。

【発明を実施するための形態】

【0022】

（詳細な説明）
まず図１Ａを参照すると、図１Ａは、既定のルート１０４上を走行する例示的車両１０２を描写しており、車両１０２は、本明細書に従った車両ナビゲーションのための地形モニタリングシステム１０６を提供されている。様々な実施形態において、地形モニタリングシステム１０６は、車両１０２の前部（または任意の好適な部分）に固定された地中探知レーダー（ＧＰＲ）アンテナアレイ１１０を有するＳＰＲナビゲーションおよび制御システム１０８を含む。ＧＰＲアンテナアレイ１１０は、一般に、地表面に対して平行に向けられ、走行方向に対して垂直に延びている。ある代替構成では、ＧＰＲアンテナアレイ１１０は、道路の表面により近いかまたは道路の表面に接触している（図１Ｂ）。一実施形態では、ＧＰＲアンテナアレイ１１０は、ＧＰＲ信号を道路に伝送するための空間不変アンテナ素子の線状構成を含み、ＧＰＲ信号は、道路表面を通って地下領域に伝搬し、上方向に反射され得る。反射されたＧＰＲ信号は、ＧＰＲアンテナアレイ１１０内の受信用アンテナ素子によって検出されることができる。様々な実施形態において、検出されたＧＰＲ信号は、その後、車両１０２の通り道に沿って地下領域の１つ以上のＳＰＲ画像（例えば、ＧＰＲ画像）を生成するために処理され、分析される。ＳＰＲアンテナアレイ１１０が表面に接触していない場合、受信される最も強いリターン信号は、道路表面によって引き起こされる反射であり得る。従って、ＳＰＲ画像は、表面データ（すなわち、地下領域と大気または局所環境との界面に関するデータ）を含み得る。ＧＰＲ信号を処理するための好適なＧＰＲアンテナ構成およびシステムは、例えば米国特許第８，９４９，０２４号に記載され、米国特許第８，９４９，０２４号の開示全体は、参照によって本明細書に援用される。

【0023】

ナビゲーションのために、ＳＰＲ画像は、定義されたルートに関する地下領域と少なくとも部分的に重複している地下領域に関して以前に取得され、記憶されたＳＰＲ参照画像と比較される。画像比較は、例えば、上述の’４８５号特許に記載された相関に基づいた位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）プロセスであり得る。車両１０２の場所、および／またはルート１０４の地形条件は、その後、比較に基づいて決定されることができる。いくつかの実施形態では、検出されたＧＰＲ信号は、ルート１０４の地形条件を推定するために他のリアルタイム情報と組み合わされる（天候条件、電気光学（ＥＯ）画像、車両１０２に採用された１つ以上のセンサを使用した車両の健康状態のモニタリング、および任意の好適な入力など）。

【0024】

図２は、ＳＰＲ画像に基づいて走行をナビゲートするために車両１０２において実装された例示的ナビゲーションおよび制御システム（例えば、ＳＰＲシステム１０８）を描写している。ＳＰＲシステム１０８は、ユーザインターフェース２０２を含み得、ユーザは、ユーザインターフェース２０２を通してルートを定義するためのデータを入力すること、または既定のルートを選択することができる。ＳＰＲ画像は、ルートに従ってＳＰＲ参照画像ソース２０４から読み出される。例えば、ＳＰＲ参照画像ソース２０４は、フラッシュドライブまたはハードディスクなどのローカル大容量記憶デバイスであり得、代替として、または加えて、ＳＰＲ参照画像ソース２０４は、クラウドベースであり得（すなわち、ウェブサーバ上でサポートおよび維持されている）、ＧＰＳによって決定された現在地に基づいてリモートアクセスされ得る。例えば、ローカルデータストアは、車両の現在地の近辺に対応するＳＰＲ参照画像を含み得、車両が走行しているとき、定期更新情報が、データを新しくするために読み出され得る。

【0025】

ＳＰＲシステム１０８は、ＳＰＲアンテナアレイ１１０を有する移動式ＳＰＲシステム（「移動式システム」）２０６も含む。移動式ＳＰＲシステム２０６の伝送動作は、制御装置（例えば、プロセッサ）２０８によって制御され、制御装置２０８は、ＳＰＲアンテナアレイ１１０によって検出されたリターンＳＰＲ信号を受信することも行う。制御装置２０８は、ＳＰＲアンテナアレイ１１０真下の道路表面より下の地下領域のＳＰＲ画像および／または道路表面のＳＰＲ画像を生成する。

【0026】

ＳＰＲ画像は、地下領域中および／または道路表面上の構造および物体（例えば、岩、根、巨礫、パイプ、空所および土壌層）を表す特徴と、地下／表面領域における土壌または物質特性の変動を示す他の特徴とを含む。様々な実施形態において、位置合わせモジュール２１０が、制御装置２０８によって提供されたＳＰＲ画像をＳＰＲ参照画像ソース２０４から読み出されたＳＰＲ画像と比較し、（例えば、ルート上の最も近い点に対する車両のオフセットを決定することによって）車両１０２の位置を特定する。様々な実施形態において、位置合わせプロセスにおいて決定された場所情報（例えば、オフセットデータまたは位置の誤差データ）は、車両１０２をナビゲートするために場所マップを作成する変換モジュール２１２に提供される。例えば、変換モジュール２１２は、ルートからの車両の位置ずれに関して訂正されたＧＰＳデータを生成し得る。

【0027】

代替として、変換モジュール２１２は、マップソース２１４（例えば、ＧＰＳなどの他のナビゲーションシステム、またはマッピングサービス）から既存のマップを読み出し、その後、入手された場所情報を既存のマップに位置決めし得る一実施形態では、既定のルートの場所マップは、制御装置２０８がアクセス可能なシステムメモリおよび／または記憶デバイス内のデータベース２１６に記憶される。加えて、または代替として、車両１０４に関する場所データは、既存のマップ（例えば、ＧＯＯＧＬＥ ＭＡＰＳによって提供されたマップ）、ならびに／または、車両１０２を誘導するための１つ以上の他のセンサもしくはナビゲーションシステム（慣性航法システム（ＩＮＳ）、ＧＰＳシステム、音響航法および測距（ＳＯＮＡＲ）システム、ＬＩＤＡＲシステム、カメラ、慣性計測ユニット（ＩＭＵ）および補助レーダーシステム、１つ以上の車両デッドレコニングセンサ（例えば、操舵角およびホイールオドメトリに基づく）、および／もしくはサスペンションセンサなど）によって提供されたデータとの組み合わせにおいて使用され得る。例えば、制御装置１１２は、ＧＰＳを使用して生成された既存のマップに入手されたＳＰＲ情報を位置決めし得る。車両ナビゲーションおよび位置決めのためにＳＰＲシステムを利用するアプローチは、例えば、上述の’０２４号特許に記載されている。

【0028】

深層学習をＳＰＲナビゲーションおよび制御モジュール１０８と統合する例示的アーキテクチャが、図３に図示されている。上記のように、システムは、関連付けられた車両内に配備された様々なセンサ３１０を含み得る。これらは、ＳＰＲセンサを含むが、下に記載のように１つ以上の深層学習モジュール３１５の動作に関連する条件を識別するためのセンサも含み得る。センサ３１０は、システム性能および精度に影響を及ぼし得る外部条件も検出し、軽減方策を発動させ得る。例えば、２０２０年７月１５日に出願された米国シリアル番号第１６／９２９，４３７号（その全体が参照によって本明細書に援用される）に記載されているように、センサ３１０は、危険地形条件を検出し得る（表面下特徴のＳＰＲ測定と併せて危険警告も発動し得る）。それに応答して、システム１０８は、適宜にマップデータベース２１６を更新し得、いくつかの実施形態では、地方自治体に警告を発し得る。センサは、位置推定の信頼度に関連する条件も捕捉し得る。例えば、追加のセンサ３１７が、周囲条件（例えば、風速および／または温度）を検知し得、ハードウェアモニタリングセンサが、車両性能パラメータ（例えば、速さ）ならびに／または車両健康状態パラメータ（例えば、タイヤの圧力およびサスペンション性能）ならびに／またはＳＰＲセンサパラメータ（例えば、センサの健康状態もしくは他の性能メトリック）を検知し得る。センサデータは、当該技術分野における従前の場合と同様に、適切なハードウェアおよび／またはソフトウェアモジュール３２３によってフィルタリングされ得、コンディショニングされ得る。

【0029】

コンピュータメモリ３２６に記憶された命令として実装された複数のソフトウェアサブシステムが、従前の中央処理ユニット（ＣＰＵ）３３０によって実行される。ＣＰＵ３３０は、下に記載の深層学習機能に専用化され得るか、または制御装置２０８も動作させ得る（図２を参照）。オペレーティングシステム（例えば、ＭＩＣＲＯＳＯＦＴ ＷＩＮＤＯＷＳ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ｉＯＳ、およびＡＮＤＲＯＩＤ（登録商標））が、ファイル管理、リソース割り当て、ハードウェアデバイスとソフトウェアサブシステムとの間のメッセージのルーティングなどの低水準システム機能を提供する。

【0030】

ＣＮＮなどの深層学習サブモジュールに対して適切なフィルタリングおよびコンディショニングモジュール３３５も、ソフトウェアサブシステムとして実装される。例えば、サブモジュール３１５のうちの１つがＣＮＮである場合、ＳＰＲ画像は、ＣＮＮの入力サイズへのサイズ変更、ノイズ除去、エッジ平滑化、シャープ化などを行うことによって前処理され得る。選ばれた深層学習サブモジュール（単数または複数）３１５に依存して、生成された出力は、位置決めのために、かつ健康ステータス推定、警告、およびマップ更新情報などのメトリックを生成するために後処理モジュール３３８によって後処理され得る。後処理は、深層学習サブモジュール（単数または複数）３１５からの出力をフォーマットし、位置決め推定のために使用可能なフォーマットおよび値に適合させる動作を指す。後処理は、ダウンストリーム処理（例えば、複数の深層学習モジュールの出力を平均化する）によって使用可能な値のシングルストリームの中に個々の深層学習の出力をマージするために必要とされる任意の統計分析を含み得、ダウンロード処理によって必要とされるファイルフォーマットと、ネットワークプロトコルと、ＡＰＩとにおいて出力が使用され得るようにデータタイプを変更し得る。加えて、後処理は、深層学習モジュールの出力を位置推定に変換する（例えば、ＳＰＲ画像上の確率密度関数をそれらのＳＰＲ画像に関連付けられた地理的位置上の確率密度関数に変換する）ために必要とされる従来の非深層学習アルゴリズムを含み得る。

【0031】

より一般に、位置決めは、マップ更新モジュール３４０を介したマップ上の予測された車両位置に対する調整、またはマップ自体に対する調整を伴い得、マップ更新モジュール３４０は、深層学習サブモジュール（単数または複数）３１５によって生成された位置決め推定に基づいてマップデータベース２１６からのマップを変更する。健康ステータスメトリックは、修復までの推定される時間と、個々のコンポーネントとシステム全体との両方の故障までの推定される時間と、精度推定と、物理センサコンポーネントの推定される損傷レベルと、外部干渉の推定と、システム性能、耐久性および信頼度の同様のインジケータとを含み得る。メトリックは、システム全体および／または個々のサブモジュールの信頼値の形態だけでなく、推定される精度および誤差分布の形態と、推定されるシステムレイテンシの形態とを同様にとり得る。生成されたメトリックは、自動的なシステムパラメータチューニング（例えば、利得調整）も促進し得る。これらの動作は、メトリックモジュール３４５によって操作され得る。

【0032】

一実施形態では、深層学習サブモジュール（単数または複数）３１５は、着信したＳＰＲ画像（例えば、ＧＰＲアンテナアレイ１１０から定期的にサンプリングされる）を分析し、１つ以上の位置合わせ画像に対する一致確率を算出するＣＮＮを含む。代替として、ＳＰＲ画像は、１つ以上の最良一致画像と、関連付けられた一致確率とを位置付けるために、’０２４号特許に記載されているように従前の方法で分析され得る。一致確率は、位置推定の信頼度に関連する条件を捕捉するセンサから受信され、深層学習サブモジュール３１５によって処理された入力に基づいて調整され得る。このデータは、異なるサブモジュール３１５（例えば、別のニューラルネットワーク）によって操作され得、周囲条件（例えば、風速および／もしくは温度）、車両パラメータ（例えば、速さ）ならびに／またはＳＰＲセンサパラメータ（例えば、センサの健康状態もしくは他の性能メトリック）を含み得るか、または、それらからなり得、すなわち、生成されるＳＰＲデータスキャンの信頼度、および／または参照画像に対する一致確率（従って、例えば誤差推定として表現される位置決め精度）に関係する任意のデータを含み得るか、または、それらからなり得る。データとＳＰＲ画像との間の関係性は、位置決めの基準として検出し、使用することが困難な極めて複雑かつ最も関連する特徴であり得、それが、深層学習システムが採用される理由である。深層学習サブモジュール３１５は、センサデータと未加工のＳＰＲ画像とを入力として受け取り、予測された位置、または位置推定モジュール３４７によって使用可能なデータを出力し、位置推定モジュール３４７は、上に記載のように、および’０２４号特許に記載されているように画像位置合わせを使用して位置を推定し得る。

【0033】

深層学習サブモジュールが訓練される手法は、そのアーキテクチャと、入力データフォーマットと、目標とに依存する。一般に、広範な入力データが、収集され、正解情報（すわち、既知の位置）３５０によって地理参照される。システムの位置決め誤差は、コスト関数によって評価され、システム重みをチューニングするために逆伝搬させられる。深層学習システムは、詳細またはコンフォメーションが変動し得る表面下特徴を認識するようにも訓練され得る。概念的な例として、公共の導管は、直径においてだけでなく、ＳＰＲセンサに対するその向きにおいても変動し得る。導管に対応する全ての可能なＳＰＲ画像を分析的に表すことは、非現実的または不可能であり得るが、ＣＮＮ（または、識別が複数のＳＰＲ画像の逐次分析を必要とする場合、回帰型ニューラルネットワークもしくはＲＮＮ）を訓練することによって高い精度を伴って任意の向きにおける導管を認識することが、可能である。従って、ニューラルネットワークは、それが認識するように訓練されている特徴をルート表面下に沿って認識し、カタログ化し、それによって、上に記載のように入手された緯度／経度座標にこれらを関連付けるか、またはＧＰＳを使用し、道路またはインフラストラクチャー構築以前の固定された永久または半永久表面下構造のマップを生成する。

【0034】

代替として、特徴認識は、ナビゲーション目的のために使用され得る。例えば、あるサイズのパイプが具体的なＧＰＳ座標において位置付けられていることを知ることは、既知の位置の近辺におけるパイプの一般検出に基づいて、移動している車両の位置を固定するために十分であり得る。既知の距離だけ離れた複数の特徴が検出された場合、精度が、改良され得る。表面下特徴は、ハザードも表し得るか、または、ハザードを回避するための予防措置への必要性も示唆し得る。例えば、道路の下に高い含水量を伴う表面下領域は、深い穴につながり得る。冷凍および解凍のサイクルの前に検出され、訂正された場合、危険道路条件は、回避され得、軽減のコストは、低減させられ得る。

【0035】

いくつかの実施形態では、深層学習モジュール（単数または複数）３１５は、車両内のコンピュータ装備上でローカルにホストされ、さらに集約された訓練がニューラルネットワークの性能を改良したとき、サーバによって随時更新され得る。他の実施形態では、最新のニューラルネットワークモデルは、例えばインターネット上でリモートで記憶され得、ワイヤレス接続を介して車両によってアクセスされ得る。マップ更新および維持は、「クラウド」においても実施され得る。

【0036】

深層学習モジュール（単数または複数）３１５は、一般利用可能なライブラリを使用して過度の実験なしに実装され得る。Ｃａｆｆｅ、ＣＵＤＡ、ＰｙＴｏｒｃｈ、Ｔｈｅａｎｏ、Ｋｅｒａｓ、およびＴｅｎｓｏｒＦｌｏｗは、好適なニューラルネットワークプラットフォームである（設計の好みに従って、クラウドベースであっても実装されたシステムに対してローカルであり得る）。ニューラルネットワークへの入力は、入力値、例えばＳＰＲスキャンおよびシステム健康状態情報の示度のベクトル（「特徴」ベクトル）であり得る。

【0037】

車両において実装される制御装置２０８は、ハードウェア、ソフトウェア、またはそれらの両方の組み合わせにおいて実装される１つ以上のモジュールを含み得る。機能が１つ以上のソフトウェアプログラムとして提供される実施形態に関して、プログラムは、ＰＹＴＨＯＮ、ＦＯＲＴＲＡＮ、ＰＡＳＣＡＬ、ＪＡＶＡ（登録商標）、Ｃ、Ｃ＋＋、Ｃ＃、ＢＡＳＩＣ、様々なスクリプト言語および／またはＨＴＭＬなどの多数の高水準言語のうちの任意のものにおいて記述され得る。加えて、ソフトウェアは、標的コンピュータ上に常駐するマイクロプロセッサを対象としたアセンブリ言語において実装されることができ、例えば、ソフトウェアがＩＢＭ ＰＣまたはＰＣクローン上で稼働するように構成されている場合、ソフトウェアは、Ｉｎｔｅｌ８０×８６アセンブリ言語において実装され得る。ソフトウェアは、フロッピー（登録商標）ディスク、ジャンプドライブ、ハードディスク、光ディスク、磁気テープ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フィールドプログラマブルゲートアレイまたはＣＤ－ＲＯＭを含む（がそれらに限定されない）製造物品上で具体化され得る。

【0038】

コマンドおよび命令を実行するＣＰＵ３３０は、汎用コンピュータであり得るが、専用コンピュータ、マイクロコンピュータ、マイクロプロセッサ、マイクロコントローラ、周辺集積回路素子、ＣＳＩＣ（特定顧客向け集積回路）、ＡＳＩＣ（特定用途向け集積回路）、ロジック回路、デジタル信号プロセッサ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）などのプログラマブルロジックデバイス、ＰＬＤ（プログラマブルロジックデバイス）、ＰＬＡ（プログラマブルロジックアレイ）、ＲＦＩＤプロセッサ、スマートチップ、または本発明のプロセスのステップを実装することが可能なデバイスの任意の他のデバイスもしくはデバイスの配置を含む広く多様な他の技術のうちの任意のものを利用し得る。

【0039】

本明細書中で採用された用語および表現は、記載の用語および表現として使用されており、限定の用語および表現として使用されておらず、そのような用語および表現の使用において、示された、または記載された特徴またはそれらの一部の任意の均等物を排除する意図は、存在しない。加えて、本発明のある実施形態が記載されているが、本明細書に開示される概念を援用した他の実施形態が本発明の精神および範囲から逸脱することなく使用され得ることは、当業者には明らかであろう。従って、記載の実施形態は、あらゆる点において、単なる例示であり制限的なものでないと考えられるべきである。

【0040】

以下は、特許請求の範囲である。

【図1A】

【図1B】

【図2】

【図3】