特許 7372350 ライダおよびレーダに基づくトラッキングおよびマッピングシステムならびにその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】ライダおよびレーダに基づくトラッキングおよびマッピングシステムならびにその方法

(51)【国際特許分類】

   G01S 7/295 20060101AFI20231024BHJP

   G01S 13/86 20060101ALI20231024BHJP

   G01S 17/86 20200101ALI20231024BHJP

   G01S 17/931 20200101ALI20231024BHJP

   G01S 13/931 20200101ALI20231024BHJP

【ＦＩ】

G01S7/295

G01S13/86

G01S17/86

G01S17/931

G01S13/931

【請求項の数】 10

(21)【出願番号】P 2021571715

(86)(22)【出願日】2019-08-02

(65)【公表番号】

(43)【公表日】2022-11-16

(86)【国際出願番号】 IB2019056603

(87)【国際公開番号】W WO2020250020

(87)【国際公開日】2020-12-17

【審査請求日】2022-07-13

(31)【優先権主張番号】201921023759

(32)【優先日】2019-06-14

(33)【優先権主張国・地域又は機関】IN

(73)【特許権者】

【識別番号】512065672

【氏名又は名称】ケーピーアイティ テクノロジーズ リミテッド

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】ダス，ソウミョ

(72)【発明者】

【氏名】デイ，ラストリ

【審査官】安井 英己

(56)【参考文献】

【文献】国際公開第２０１８／１５４３６７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０３１４２５３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０３４１２６３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０２０３３７４（ＵＳ，Ａ１）

【文献】特開２０１２－０４８６４２（ＪＰ，Ａ）

【文献】国際公開第２０１６／０６０２８２（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１４２３９５（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０８４４５４８０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００－ ７／５１，

Ｇ０１Ｓ １３／００－１３／９５，

Ｇ０１Ｓ １７／００－１７／９５

(57)【特許請求の範囲】

【請求項1】

１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたシステムであって、前記システムは、
入力ユニットであって、
前記車両の周囲を検出するための１つまたは複数のライダセンサと１つまたは複数のレーダセンサとを含み、該１つまたは複数のライダセンサと該１つまたは複数のレーダセンサの各々は、対応する領域内の前記１つまたは複数の対象物を検出する、入力ユニットと、
メモリと結合されたプロセッサを含む処理ユニットであって、該メモリは該プロセッサによって実行可能な命令を格納し、
前記１つまたは複数のライダセンサからライダデータを受信し、前記１つまたは複数のレーダセンサからレーダデータを受信し、該受信したライダデータと該受信したレーダデータを、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサの対応する１つまたは複数のグリッドマップにマッピングし、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の前記１つまたは複数の対象物をトラッキングし、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサのいずれによっても検出されない前記１つまたは複数の対象物の状態推定を実行し、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサの前記１つまたは複数のグリッドマップを、センサフレームから車両フレームに前記１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合し、該融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたはトラック管理およびスキャンマッチングの組み合わせと統合されて、前記１つまたは複数の対象物の静的対象物または動的対象物への分類と、前記融合グリッドマップ内の自由空間の識別と、を実行する、処理ユニットと、を含み、
前記プロセッサは、前記ライダデータから選択された少なくとも３つのデータ点を使用して表面法線を計算することによって、各グリッドマップから地面に関係する１つまたは複数のデータ点を除去し、該少なくとも３つのデータ点は所定のしきい値未満の距離で互いに離間している、システム。

【請求項2】

前記１つまたは複数のライダセンサおよび前記１つまたは複数のレーダセンサは、前記車両の周囲の３６０度の視野を取り込むために、対応する１つまたは複数の主要に重なり合わない領域内の前記対象物を検出するように前記車両の表面上に構成される、請求項１に記載のシステム。

【請求項3】

前記プロセッサは、前記地面からの各データ点の高さを計算し、前記計算された表面法線を有する前記ライダセンサのターゲット距離高さを考慮することによって、前記地面に関係する前記１つまたは複数のデータ点を排除する、請求項１に記載のシステム。

【請求項4】

１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたシステムであって、前記システムは、
入力ユニットであって、
前記車両の周囲を検出するための１つまたは複数のライダセンサと１つまたは複数のレーダセンサとを含み、該１つまたは複数のライダセンサと該１つまたは複数のレーダセンサの各々は、対応する領域内の前記１つまたは複数の対象物を検出する、入力ユニットと、
メモリと結合されたプロセッサを含む処理ユニットであって、該メモリは該プロセッサによって実行可能な命令を格納し、
前記１つまたは複数のライダセンサからライダデータを受信し、前記１つまたは複数のレーダセンサからレーダデータを受信し、該受信したライダデータと該受信したレーダデータを、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサの対応する１つまたは複数のグリッドマップにマッピングし、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の前記１つまたは複数の対象物をトラッキングし、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサのいずれによっても検出されない前記１つまたは複数の対象物の状態推定を実行し、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサの前記１つまたは複数のグリッドマップを、センサフレームから車両フレームに前記１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合し、該融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたはトラック管理およびスキャンマッチングの組み合わせと統合されて、前記１つまたは複数の対象物の静的対象物または動的対象物への分類と、前記融合グリッドマップ内の自由空間の識別と、を実行する、処理ユニットと、を含み、
前記１つまたは複数の対象物が前記１つまたは複数の領域内でトラッキングされる場合、前記プロセッサは、
ａ．トラックの初期化および管理であって、前記トラックの初期化および管理は、前記１つまたは複数の対象物のうちの少なくとも１つの対象物が第１のセンサの領域から第２のセンサの領域に遷移する間に前記トラックが維持されることを保証し、該第１のセンサおよび該第２のセンサは、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサから選択される、トラックの初期化および管理と、
ｂ．ライダおよびレーダトラッキング時間に基づく前記トラッキングされた１つまたは複数の対象物の重み付き融合に基づく速度推定と、
ｃ．前記１つまたは複数のレーダセンサによって検出された前記１つまたは複数の対象物に基づく閉塞識別と、に基づいてトラックの初期化および管理を実行する、システム。

【請求項5】

前記プロセッサは、環境マップを作成するために環境をさらに合成し、該環境マップは、前記融合グリッドマップ内の自由空間の識別のために前記１つまたは複数の対象物の前記分類を実行するために使用されるように記憶される、請求項１に記載のシステム。

【請求項6】

１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたシステムであって、前記システムは、
入力ユニットであって、
前記車両の周囲を検出するための１つまたは複数のライダセンサと１つまたは複数のレーダセンサとを含み、該１つまたは複数のライダセンサと該１つまたは複数のレーダセンサの各々は、対応する領域内の前記１つまたは複数の対象物を検出する、入力ユニットと、
メモリと結合されたプロセッサを含む処理ユニットであって、該メモリは該プロセッサによって実行可能な命令を格納し、
前記１つまたは複数のライダセンサからライダデータを受信し、前記１つまたは複数のレーダセンサからレーダデータを受信し、該受信したライダデータと該受信したレーダデータを、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサの対応する１つまたは複数のグリッドマップにマッピングし、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の前記１つまたは複数の対象物をトラッキングし、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサのいずれによっても検出されない前記１つまたは複数の対象物の状態推定を実行し、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサの前記１つまたは複数のグリッドマップを、センサフレームから車両フレームに前記１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合し、該融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたはトラック管理およびスキャンマッチングの組み合わせと統合されて、前記１つまたは複数の対象物の静的対象物または動的対象物への分類と、前記融合グリッドマップ内の自由空間の識別と、を実行する、処理ユニットと、を含み、
前記１つまたは複数の対象物のうちの少なくとも１つの対象物が歩行者である場合、前記少なくとも１つの対象物は、
ａ．前記ライダデータから得られた前記歩行者に関係する点群の、前記車両からの縦方向、横方向の距離、および該点群のゾーンに関するサイズと、
ｂ．前記１つまたは複数のライダセンサの１つまたは複数のチャネル内の前記点群の構造および利用可能性と、
ｃ．前記歩行者の速度ベクトルを示す前記点群の決定論的速度ベクトルと、
ｄ．前記点群の軌跡の履歴と、を用いて分類される、システム。

【請求項7】

前記プロセッサは、前記ライダデータから得られた１つまたは複数のクラスタ点を、前記融合グリッドマップ上の前記１つまたは複数の対象物のマッピングのためのレーダデータから得られた１つまたは複数のデータ点上に再構築しマッピングして、前記車両の周りの完全な周囲を形成する、請求項１に記載のシステム。

【請求項8】

１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたコンピュータに格納された命令に従ってプロセッサによって実行される方法であって、
１つまたは複数のライダセンサからライダデータを受信し、１つまたは複数のレーダセンサからレーダデータを受信し、該受信したライダデータと該受信したレーダデータをグリッドにマッピングするステップであって、該１つまたは複数のライダセンサと該１つまたは複数のレーダセンサの各々が対応する領域内の前記１つまたは複数の対象物を検出する、ステップと、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の前記１つまたは複数の対象物をトラッキングし、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサのいずれによっても検出されない前記１つまたは複数の対象物の状態推定を実行するステップと、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを、センサフレームから車両フレームに前記１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合するステップであって、該融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたはトラック管理およびスキャンマッチングの組み合わせと統合されて、前記１つまたは複数の対象物の１つまたは複数の静的もしくは動的対象物への分類と、前記融合グリッドマップ内の自由空間の識別と、を実行する、ステップと、を含み、
前記プロセッサは、前記ライダデータから選択された少なくとも３つのデータ点を使用して表面法線を計算することによって、各グリッドマップから地面に関係する１つまたは複数のデータ点を除去し、該少なくとも３つのデータ点は所定のしきい値未満の距離で互いに離間している、方法。

【請求項9】

１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたコンピュータに格納された命令に従ってプロセッサによって実行される方法であって、
１つまたは複数のライダセンサからライダデータを受信し、１つまたは複数のレーダセンサからレーダデータを受信し、該受信したライダデータと該受信したレーダデータをグリッドにマッピングするステップであって、該１つまたは複数のライダセンサと該１つまたは複数のレーダセンサの各々が対応する領域内の前記１つまたは複数の対象物を検出する、ステップと、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の前記１つまたは複数の対象物をトラッキングし、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサのいずれによっても検出されない前記１つまたは複数の対象物の状態推定を実行するステップと、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを、センサフレームから車両フレームに前記１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合するステップであって、該融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたはトラック管理およびスキャンマッチングの組み合わせと統合されて、前記１つまたは複数の対象物の１つまたは複数の静的もしくは動的対象物への分類と、前記融合グリッドマップ内の自由空間の識別と、を実行する、ステップと、を含み、
前記１つまたは複数の対象物が前記１つまたは複数の領域内でトラッキングされる場合、前記プロセッサは、
ａ．トラックの初期化および管理であって、前記トラックの初期化および管理は、前記１つまたは複数の対象物のうちの少なくとも１つの対象物が第１のセンサの領域から第２のセンサの領域に遷移する間に前記トラックが維持されることを保証し、該第１のセンサおよび該第２のセンサは、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサから選択される、トラックの初期化および管理と、
ｂ．ライダおよびレーダトラッキング時間に基づく前記トラッキングされた１つまたは複数の対象物の重み付き融合に基づく速度推定と、
ｃ．前記１つまたは複数のレーダセンサによって検出された前記１つまたは複数の対象物に基づく閉塞識別と、に基づいてトラックの初期化および管理を実行する、方法。

【請求項10】

１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたコンピュータに格納された命令に従ってプロセッサによって実行される方法であって、
１つまたは複数のライダセンサからライダデータを受信し、１つまたは複数のレーダセンサからレーダデータを受信し、該受信したライダデータと該受信したレーダデータをグリッドにマッピングするステップであって、該１つまたは複数のライダセンサと該１つまたは複数のレーダセンサの各々が対応する領域内の前記１つまたは複数の対象物を検出する、ステップと、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の前記１つまたは複数の対象物をトラッキングし、前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサのいずれによっても検出されない前記１つまたは複数の対象物の状態推定を実行するステップと、
前記１つまたは複数のライダセンサと前記１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを、センサフレームから車両フレームに前記１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合するステップであって、該融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたはトラック管理およびスキャンマッチングの組み合わせと統合されて、前記１つまたは複数の対象物の１つまたは複数の静的もしくは動的対象物への分類と、前記融合グリッドマップ内の自由空間の識別と、を実行する、ステップと、を含み、
前記１つまたは複数の対象物のうちの少なくとも１つの対象物が歩行者である場合、前記少なくとも１つの対象物は、
ａ．前記ライダデータから得られた前記歩行者に関係する点群の、前記車両からの縦方向、横方向の距離、および該点群のゾーンに関するサイズと、
ｂ．前記１つまたは複数のライダセンサの１つまたは複数のチャネル内の前記点群の構造および利用可能性と、
ｃ．前記歩行者の速度ベクトルを示す前記点群の決定論的速度ベクトルと、
ｄ．前記点群の軌跡の履歴と、を用いて分類される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両ナビゲーションシステムに関する。より詳細には、本発明は、車両の周囲の様々な対象物をトラッキングするためのシステムに関する。

【背景技術】

【0002】

信頼性の高いターゲット検出およびトラッキングシステムは、車両自動化における重要な要素である。トラッキングシステムは、自車両の操縦にとって重要なターゲットまたは対象物をトラッキングするために、レーダセンサおよびライダ（本明細書では交換可能にライダと呼ばれる、光検出および測距）センサなどの多数のセンサを使用する。あるゾーンの検出デバイスから別のゾーンに移動する対象物をトラッキングしている間、レーダ検出はターゲット（対象物）の最小データ点を提供し、ライダ検出は点群に背景ノイズおよび地面反射を提供する。したがって、ターゲットが高速で移動しており、操作が行われているときのターゲットのための最適なトラック管理戦略および自由空間検出は、背景対象物、可能性のあるクラッタまたは偽陽性に起因する問題である。

【0003】

さらに、様々な既存のシステムは、高い計算能力を使用しても３６０度のターゲットトラッキングおよびマッピングを提供することができず、その結果、精度が損なわれる。既存の手法における別の問題は、ライダセンサおよびレーダセンサによって捕捉されたデータ点の同期および分類である。

【0004】

したがって、ターゲットトラッキングおよび自由空間検出のための既存の手法の上記および他の欠点を克服するシステムおよび方法が当技術分野で必要とされている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書の少なくとも１つの実施形態が満たす本開示の目的のいくつかは、本明細書において以下に列挙される通りである。

【0006】

本開示の目的は、３６０度のターゲットトラッキングおよびマッピングを可能にするために、トラック管理をグリッドマッピングと統合するシステムを提供することである。

【0007】

本開示の目的は、より少ない計算能力を使用し、より応答性の高いシステムを提供することである。

【0008】

本開示の目的は、カメラに基づくシステムよりも周囲の対象物をトラッキングする点でより高い精度を有するシステムを提供することである。

【0009】

本開示の目的は、地面データおよびその結果生じる粗いまたは乱れた地面に起因する誤差を取り除くシステムを提供することである。

【0010】

本開示の目的は、センサのいずれかの非検出領域のサラウンドビュー作成またはトラッキング（死角ゾーントラッキング）を支援するシステムを提供することである。

【0011】

本開示の目的は、改善された精度で様々な閉塞を識別するシステムを提供することである。

【0012】

本開示の目的は、従来の平均化技術よりもゾーンまたはトラックの初期化を改善するシステムを提供することである。

【0013】

本開示の目的は、静的および動的ターゲットの分離が改善されたシステムを提供することである。

【0014】

本開示の目的は、歩行者分類のための改善された手法を提供するシステムを提供することである。

【0015】

本開示の目的は、混雑した都市の複雑な環境、ならびに周囲の交通車両および歩行者の予測不可能な動きをスキャンする可能性を高めるシステムを提供することである。

【0016】

本開示の目的は、ターゲットの非線形で高度に操作される動きをトラッキングし、自車両ナビゲーションのための自由空間の利用可能性に関する詳細な情報を提供するシステムを提供することである。

【0017】

本開示の目的は、カメラに基づくシステムよりも検出範囲が増大したシステムを提供することである。

【課題を解決するための手段】

【0018】

この概要は、以下の詳細な説明でさらに説明されるライダおよびレーダに基づくトラッキングシステムおよびその方法の簡略化された概念を導入するために提供される。この概要は、特許請求される主題の重要なまたは本質的な特徴を特定することを意図しておらず、特許請求される主題の範囲を決定または限定する際に使用することも意図していない。

【0019】

本開示の一態様は、１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたシステムを提供し、システムは、入力ユニットであって、車両の周囲を検出するための１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサを含み、１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサの各々は、対応する領域内の１つまたは複数の対象物を検出する、入力ユニットと、メモリと結合されたプロセッサを含む処理ユニットと、を含み、メモリはプロセッサによって実行可能な命令を格納し、１つまたは複数のライダセンサからライダデータを受信し、１つまたは複数のレーダセンサからレーダデータを受信し、受信したライダデータと受信したレーダデータを、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの対応する１つまたは複数のグリッドマップにマッピングし、１つまたは複数のライダセンサと１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の１つまたは複数の対象物をトラッキングし、１つまたは複数のライダセンサと１つまたは複数のレーダセンサのいずれによっても検出されない１つまたは複数の対象物の状態推定を実行し、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを、センサフレームから車両フレームに１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合し、融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたは組み合わせと統合されて、１つまたは複数の対象物の静的対象物または動的対象物への分類と、融合グリッドマップ内の自由空間の識別と、を実行する。

【0020】

一実施形態では、１つまたは複数のライダセンサおよび１つまたは複数のレーダセンサは、車両の周囲の３６０度の視野を取り込むために、対応する１つまたは複数の主要に重なり合わない領域内の対象物を検出するように車両の表面上に構成される。

【0021】

一実施形態では、プロセッサは、ライダデータから選択された少なくとも３つのデータ点を使用して表面法線を計算することによって、各グリッドマップから地面に関係する１つまたは複数のデータ点を除去し、少なくとも３つのデータ点は所定のしきい値未満の距離で互いに離間している。

【0022】

一実施形態では、プロセッサは、地面からの各データ点の高さを計算し、計算された表面法線を有するライダセンサのターゲット距離高さを考慮することによって、地面に関係する１つまたは複数のデータ点を排除する。

【0023】

一実施形態では、１つまたは複数の対象物が１つまたは複数の領域内でトラッキングされる場合、プロセッサは、トラック管理を必要とするトラックが適切に作成されることを保証するためのターゲット情報、トラッキング時間、センサタイプ（ライダまたはレーダ）などと、ライダおよびレーダトラッキング時間に基づくトラッキングされた１つまたは複数の対象物の重み付き融合に基づく速度推定と、１つまたは複数のレーダセンサによって検出された１つまたは複数の対象物に基づく閉塞識別と、に基づいてトラックの初期化を実行する。

【0024】

一実施形態では、プロセッサは、環境マップを作成するために環境をさらに合成し、環境マップは、１つまたは複数の対象物の分類を実行し、それによって自由空間の利用可能性を判定するために使用されるために記憶される。

【0025】

一実施形態では、１つまたは複数の対象物のうちの少なくとも１つの対象物が歩行者である場合、少なくとも１つの対象物は、ライダデータから得られた歩行者に関係する点群の、車両からの縦方向、横方向の距離、および点群のゾーンに関するサイズと、１つまたは複数のライダセンサの１つまたは複数のチャネル内の点群の構造および利用可能性と、歩行者の速度ベクトルを示す点群の決定論的速度ベクトルと、点群の軌跡の履歴と、を用いて分類される。

【0026】

一実施形態では、プロセッサは、ライダデータから得られた１つまたは複数のクラスタ点を、融合グリッド上の１つまたは複数の対象物のマッピングのためのレーダデータから得られた１つまたは複数のデータ点上に再構築しマッピングして、自車両の周りの完全な周囲を形成する。

【0027】

本開示の別の態様は、１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたコンピュータに格納された命令に従って実行される方法に関し、本方法は、１つまたは複数のライダセンサからライダデータを受信し、１つまたは複数のレーダセンサからレーダデータを受信し、受信したライダデータと受信したレーダデータをグリッドにマッピングするステップであって、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの各々が対応する領域内の１つまたは複数の対象物を検出する、ステップと、１つまたは複数のライダセンサと１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の１つまたは複数の対象物をトラッキングし、１つまたは複数のライダセンサと１つまたは複数のレーダセンサのいずれによっても検出されない１つまたは複数の対象物の状態推定を実行するステップと、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを、センサフレームから車両フレームに１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合するステップであって、融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたは組み合わせと統合されて、１つまたは複数の静的もしくは動的対象物の分類と自由空間の識別とを実行する、ステップと、を含む。

【0028】

本開示の様々な目的、特徴、態様および利点は、同様の符号が同様の特徴を表す添付の図面と共に、好ましい実施形態の以下の詳細な説明からより明らかになるであろう。

【0029】

本出願の範囲内で、先行する段落、特許請求の範囲および／または以下の説明および図面、特にその個々の特徴に記載された様々な態様、実施形態、例および代替形態は、独立してまたは任意の組み合わせで採用され得ることが明確に想定される。一実施形態に関連して説明された特徴は、そのような特徴が互換性のないものでない限り、すべての実施形態に適用可能である。

【図面の簡単な説明】

【0030】

添付の図面は、本開示のさらなる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成する。図面は、本開示の例示的な実施形態を示し、説明と共に、本開示の原理を説明するのに役立つ。図面は例示のためのものにすぎず、したがって本開示を限定するものではない。

【0031】

【図1A】本開示の例示的な実施形態によるライダおよびレーダに基づくトラッキングシステムの全体的な動作を示す図である。

【0032】

【図1B】本開示の例示的な実施形態によるシステムのアーキテクチャを示す図である。

【0033】

【図2】本開示の一実施形態による処理ユニットの例示的なモジュールを示す図である。

【0034】

【図3】本開示の例示的な実施形態によるグリッドに基づく３６０度サラウンドビューシステムを示す図である。

【0035】

【図4】本開示の例示的な実施形態による、表面法線平面計算および地面からの点の高さに基づく環境地面データ除去を示す図である。

【0036】

【図5A】本開示の例示的な実施形態によるグリッド融合を示す図である。

【0037】

【図5B】本開示の例示的な実施形態による環境合成および記憶の表現を示す図である。

【0038】

【図6】本開示の例示的な実施形態による、動的ターゲット分類のためのジョイントトラック管理およびスキャンマッチングを示す図である。

【0039】

【図7A】本開示の例示的な実施形態による歩行者の点群分布を示す図である。

【0040】

【図7B】本開示の例示的な実施形態による、グリッド全体の効率を確立するためのライダクラスタのレーダフィードバックおよびトラッキング対象物への再マッピングを示す図である。

【0041】

【図8】本開示の例示的な実施形態による、ライダおよびレーダに基づくトラッキングを実行する方法を示す図である。

【発明を実施するための形態】

【0042】

以下は、添付の図面に示す本開示の実施形態の詳細な説明である。実施形態は、本開示を明確に伝えるように詳細である。しかしながら、提供される詳細の量は、実施形態の予想される変形例を限定することを意図するものではなく、それどころか、その意図は、添付の特許請求の範囲によって定義される本開示の趣旨および範囲内にあるすべての修正例、均等例、および代替例を網羅することである。

【0043】

以下の説明では、本発明の実施形態の完全な理解を提供するために、多数の具体的な詳細が記載される。本発明の実施形態は、これらの特定の詳細のいくつかなしに実施され得ることが当業者には明らかであろう。

【0044】

本発明の実施形態は、以下に説明する様々なステップを含む。ステップは、ハードウェア構成要素によって実行されてもよく、または機械実行可能命令で具現化されてもよく、機械実行可能命令は、命令でプログラムされた汎用または専用プロセッサにステップを実行させるために使用されてもよい。あるいは、ステップは、ハードウェア、ソフトウェア、およびファームウェアの組み合わせによって、および／または人間のオペレータによって実行されてもよい。

【0045】

本明細書に記載の様々な方法は、本発明によるコードを含む１つまたは複数の機械可読記憶媒体を適切な標準コンピュータハードウェアと組み合わせて、そこに含まれるコードを実行することによって実施することができる。本発明の様々な実施形態を実施するための装置は、１つまたは複数のコンピュータ（または単一のコンピュータ内の１つまたは複数のプロセッサ）と、本明細書に記載の様々な方法に従ってコード化されたコンピュータプログラムへのネットワークアクセスを含むまたは有する記憶システムと、を含むことができ、本発明の方法ステップは、コンピュータプログラム製品のモジュール、ルーチン、サブルーチン、またはサブパーツによって達成することができる。

【0046】

本明細書が、構成要素または特徴が「してもよい（ｍａｙ）」、「することができる（ｃａｎ）」、「することができる（ｃｏｕｌｄ）」、または「してもよい（ｍｉｇｈｔ）」と述べている場合、その特定の構成要素または特徴は、含まれる必要はなく、またはその特徴を有する必要はない。

【0047】

本明細書の説明および以下の特許請求の範囲を通して使用される場合、「１つの（ａ）（ａｎ）」、および「前記（ｔｈｅ）」の意味は、文脈が明らかにそうでないことを指示しない限り、複数の言及を含む。また、本明細書の説明で使用される場合、「において（ｉｎ）」の意味は、文脈が明らかにそうでないことを指示しない限り、「において（ｉｎ）」および「の上に（ｏｎ）」を含む。

【0048】

以下、例示的な実施形態を、例示的な実施形態が示されている添付の図面を参照して、例示的な実施形態をより完全に説明する。これらの例示的な実施形態は、例示のみを目的として提供されており、本開示は徹底的かつ完全であり、本発明の範囲を当業者に完全に伝える。しかしながら、開示された本発明は、多くの異なる形態で具現化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではない。様々な変更が当業者には容易に明らかであろう。本明細書で定義される一般的な原理は、本発明の趣旨および範囲から逸脱することなく、他の実施形態および用途に適用されてもよい。さらに、本発明の実施形態およびその特定の例を列挙する本明細書のすべての記述は、その構造的および機能的等価物の両方を包含することを意図している。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物（すなわち、構造にかかわらず、同じ機能を実行する開発された任意の要素）の両方を含むことが意図されている。また、使用される用語および表現は、例示的な実施形態を説明するためのものであり、限定的であると見なされるべきではない。したがって、本発明には、開示された原理および特徴と一致する多数の代替例、修正例および均等例を包含する最も広い範囲が与えられるべきである。明確にするために、本発明に関連する技術分野で知られている技術的材料に関する詳細は、本発明を不必要に不明瞭にしないように詳細には記載されていない。

【0049】

したがって、例えば、図、概略図、例示などは、本発明を具現化するシステムおよび方法を示す概念図またはプロセスを表すことが当業者には理解されよう。図に示す様々な要素の機能は、専用ハードウェアならびに関連するソフトウェアを実行することができるハードウェアを使用することによって提供され得る。同様に、図面に示されているスイッチはいずれも概念的なものにすぎない。それらの機能は、プログラム論理の動作を介して、専用論理を介して、プログラム制御と専用論理との相互作用を介して、または手動でさえ実行することができ、特定の技術は、本発明を実施するエンティティによって選択可能である。当業者であれば、本明細書に記載の例示的なハードウェア、ソフトウェア、プロセス、方法、および／またはオペレーティングシステムは、例示を目的としており、したがって、特定の指定された要素に限定されることを意図していないことをさらに理解する。

【0050】

本発明の実施形態は、コンピュータ（または他の電子デバイス）をプログラムしてプロセスを実行するために使用され得る命令を実体的に具現化する機械可読記憶媒体を含み得るコンピュータプログラム製品として提供されてもよい。「機械可読記憶媒体」または「コンピュータ可読記憶媒体」という用語は、固定（ハード）ドライブ、磁気テープ、フロッピーディスケット、光ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、および光磁気ディスク、ＲＯＭ、ＰＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）などの半導体メモリ、フラッシュメモリ、磁気もしくは光カード、または電子的命令（すなわち、ソフトウェアまたはファームウェアなどのコンピュータプログラミングコード）を格納するのに適した他のタイプの媒体／機械可読媒体を含むが、これらに限定されない。機械可読媒体は、データを格納することができ、無線または有線接続を介して伝搬する搬送波および／または一時的な電子信号を含まない非一時的媒体を含んでもよい。非一時的媒体の例は、磁気ディスクまたはテープ、コンパクトディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリまたはメモリデバイスを含むことができるが、これらに限定されない。コンピュータプログラム製品は、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造、もしくはプログラム文の任意の組み合わせを表すことができるコードおよび／または機械実行可能命令を含むことができる。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容を渡すおよび／または受け取ることによって、別のコードセグメントまたはハードウェア回路に結合することができる。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む任意の適切な手段を介して渡され、転送され、または送信され得る。

【0051】

さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせによって実施することができる。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実装される場合、必要なタスク（例えば、コンピュータプログラム製品）を実行するためのプログラムコードまたはコードセグメントは、機械可読媒体に格納されてもよい。プロセッサは、必要なタスクを実行することができる。

【0052】

いくつかの図に示すシステムは、様々な構成で提供され得る。いくつかの実施形態では、システムは、システムの１つまたは複数の構成要素がクラウドコンピューティングシステム内の１つまたは複数のネットワークにわたって分散される分散システムとして構成されてもよい。

【0053】

添付の特許請求の範囲の各々は、特許侵害に対処する目的で、特許請求の範囲に指定された様々な要素または限定に対する均等物を含むと認識される別個の発明を定義する。文脈に応じて、以下の「発明」への言及はすべて、場合によってはある特定の実施形態のみを指すことがある。他の場合には、「発明」への言及は、特許請求の範囲の１つまたは複数に記載された主題を指すが、必ずしもすべてではないことが認識されるであろう。

【0054】

本明細書に記載のすべての方法は、本明細書に別段の指示がない限り、または文脈と明らかに矛盾しない限り、任意の適切な順序で実行され得る。本明細書の特定の実施形態に関して提供されるありとあらゆる例または例示的な言語（例えば、「など」）の使用は、単に本発明をよりよく明らかにすることを意図しており、特許請求される本発明の範囲を限定するものではない。本明細書のいかなる文言も、本発明の実施に不可欠な特許請求されていない要素を示すと解釈されるべきではない。

【0055】

本明細書で使用される様々な用語を以下に示す。特許請求の範囲で使用される用語が以下に定義されていない限り、当業者が出願時に印刷された刊行物および発行された特許に反映されるようにその用語を与えた最も広い定義が与えられるべきである。

【0056】

本開示は、車両の周囲の様々な対象物をトラッキングするためのシステムに関する。より詳細には、本発明は、対象物のトラッキングおよび車両の周囲の自由空間検出のためにセンサデータ融合を使用するライダおよびレーダに基づくトラッキングシステムに関する。

【0057】

本開示の一態様は、１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたシステムを提供し、システムは、入力ユニットであって、自車両の周囲を検出するための１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサを含み、１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサの各々は、対応する領域内の１つまたは複数の対象物を検出する、入力ユニットと、メモリと結合されたプロセッサを含む処理ユニットと、を含み、メモリはプロセッサによって実行可能な命令を格納し、１つまたは複数のライダセンサからライダデータを受信し、１つまたは複数のレーダセンサからレーダデータを受信し、受信したライダデータと受信したレーダデータを、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの対応する１つまたは複数のグリッドマップにマッピングし、１つまたは複数のライダセンサと１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の１つまたは複数の対象物をトラッキングし、１つまたは複数のライダセンサと１つまたは複数のレーダセンサのいずれによっても検出されない１つまたは複数の対象物の状態推定を実行し、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを、センサフレームから車両フレームに１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合し、融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたは組み合わせと統合されて、１つまたは複数の対象物の静的対象物または動的対象物への分類と、自由空間の識別と、を実行する。

【0058】

一実施形態では、１つまたは複数のライダセンサおよび１つまたは複数のレーダセンサは、自車両の周囲の３６０度の視野を取り込むために、対応する１つまたは複数の主要に重なり合わない領域内の対象物を検出するように車両の表面上に構成される。

【0059】

一実施形態では、プロセッサは、ライダデータから選択された少なくとも３つのデータ点を使用して表面法線平面を計算することによって、各グリッドマップから地面に関係する１つまたは複数のデータ点を除去し、少なくとも３つのデータ点は所定のしきい値未満の距離で互いに離間している。

【0060】

一実施形態では、プロセッサは、地面からの各データ点の高さを計算し、計算された表面法線平面を有するライダセンサのターゲット距離高さを考慮することによって、地面に関係する１つまたは複数のデータ点を排除する。

【0061】

一実施形態では、１つまたは複数の対象物が１つまたは複数の領域内でトラッキングされる場合、プロセッサは、トラックが適切に維持されることを保証するための、トラック初期化に関連するターゲット情報、トラック履歴、センサタイプと、ライダおよびレーダトラッキング時間に基づくトラッキングされた１つまたは複数の対象物の重み付き融合に基づく速度推定と、ライダによって識別される閉塞に加えて、１つまたは複数のレーダセンサによって検出された１つまたは複数の対象物に基づく閉塞識別と、に基づいてトラック初期化を実行する。

【0062】

一実施形態では、プロセッサは、環境マップを作成するために環境をさらに合成し、環境マップは、融合グリッドマップ内の自由空間の識別のために１つまたは複数の対象物の分類を実行するために記憶され使用される。

【0063】

一実施形態では、１つまたは複数の対象物のうちの少なくとも１つの対象物が歩行者である場合、少なくとも１つの対象物は、ライダデータから得られた歩行者に関係する点群の、車両からの相対的な縦方向、横方向の距離、および点群のゾーンに関するサイズと、１つまたは複数のライダセンサの１つまたは複数のチャネル内の点群の構造および利用可能性と、歩行者の速度ベクトルを示す点群の決定論的速度ベクトルと、点群の軌跡の履歴と、を用いて分類される。

【0064】

一実施形態では、プロセッサは、ライダデータから得られた１つまたは複数のクラスタ点を、融合グリッドマップ上の１つまたは複数の対象物のマッピングのためのレーダデータから得られた１つまたは複数のデータ点上に再構築しマッピングして、自車両の周りの完全な周囲を形成する。

【0065】

本開示の別の態様は、１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたコンピュータに格納された命令に従って実行される方法に関し、本方法は、１つまたは複数のライダセンサからライダデータを受信し、１つまたは複数のレーダセンサからレーダデータを受信し、受信したライダデータと受信したレーダデータをグリッドにマッピングするステップであって、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの各々が対応する領域内の１つまたは複数の対象物を検出する、ステップと、１つまたは複数のライダセンサと１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の１つまたは複数の対象物をトラッキングし、１つまたは複数のライダセンサと１つまたは複数のレーダセンサのいずれによっても検出されない１つまたは複数の対象物の状態推定を実行するステップと、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを、センサフレームから車両フレームに１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合するステップであって、融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたは組み合わせと統合されて、１つまたは複数の静的もしくは動的対象物の分類と、融合グリッドマップ内の自由空間の識別と、を実行する、ステップと、を含む。

【0066】

図１Ａは、ライダおよびレーダに基づくトラッキングシステムの全体的な動作を示し、図１Ｂは、本開示の例示的な実施形態によるシステムのアーキテクチャを示す。

【0067】

一態様では、ライダおよびレーダに基づくトラッキングシステム（本明細書ではシステム１００と互換的に呼ばれる）は、入力１０２、処理ユニット１０４、および出力ユニット１１４を含む。

【0068】

入力ユニット１０２は、車両の周囲をセンシングするための、１つまたは複数のライダセンサ（本明細書では、互換的にライダと称する）と、１つまたは複数のレーダセンサ（本明細書では、互換的にレーダと称する）と、を有する。ブロック１５２および１５６は、３６０°ＳＶＴＳ（サラウンドビュートラッキングシステム）１５４を形成し、それにより、１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサの各々は、対応する領域内の１つまたは複数の対象物を検出する。センサは、車両の周囲の３６０度の視野を取り込むために、対応する１つまたは複数の主要に重なり合わない領域内の対象物を検出するように車両の表面上に構成される。

【0069】

処理ユニット１０４は、入力ユニット１０２からデータを受け取る。ブロック１５８において、セグメント化クラスタリングおよび特徴抽出が実行され、ライダデータ点群がデカルト座標系に変換される。さらに、ターゲットの寸法、極値、およびコーナの特徴は、ロバストセグメントフィッティングおよび確率的寸法導出を使用して識別される。ブロック１６０において、環境地面データが、地面に対するデータ点の高さおよび表面法線計算に基づいてライダデータから除去される。

【0070】

その後に、ステップ１０６において、処理ユニット１０４は、時間同期１６２を使用するゾーントラック管理１６４を使用して、受信したライダデータおよび受信したレーダデータを、１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサの対応する１つまたは複数のグリッドマップにマッピングする。ステップ１０８で、処理ユニット１０４は、１つまたは複数のライダセンサと１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の１つまたは複数の対象物をトラッキングし、１つまたは複数のライダセンサと１つまたは複数のレーダセンサのいずれによっても検出されない１つまたは複数の対象物の状態推定を実行する。

【0071】

一実施形態では、それぞれの領域におけるトラッキングおよび状態推定は、集中トラック管理に不可欠な部分であるゾーントラッキング信頼度確立によって達成され得る。ゾーントラッキング信頼性確立は、非検出領域（いずれの知覚センサによってもカバーされない領域）におけるトラック管理に有用である。それは、非検出領域識別、ゾーン分類および領域ベースのトラッキング、推定技術選択、トラッキング時間および検出信頼度などの技術を含む。

【0072】

ゾーントラック管理１６４は、クラスタリングのために既存のトラッキング対象物に隣接する領域をスキャンすることによって計算負荷をさらに低減し、それによってクラスタリング現象を改善する、セグメント化クラスタリングおよび特徴抽出ブロック１５８にフィードバックを提供する。新しい対象物の他のクラスタは、最近接マッピングおよびセグメント化に基づいてセグメント化される。

【0073】

ブロック１６２において、ライダおよびレーダデータの同期が実行される。ライダセンサ（セグメントクラスタリングおよび特徴抽出１５８ならびに環境地面データ除去１６０の後）およびレーダセンサからの検出データは、逐次的な手法に基づいて時間同期される。さらに、トラック管理および予測更新は、センサから利用可能な情報に基づいて実行されてもよい。

【0074】

本例の文脈では、サラウンドビュートラッキングのために適合された初期化は、あるゾーンのレーダ、ライダ、および車両センサの統合された融合のためにブロック１６６で実行される。１つまたは複数の対象物は、局所レーダおよび局所ライダのトラックを取得するために１つまたは複数の対象物をトラッキングするためにライダおよびレーダのトラック管理をさらに使用するトラック初期化を実行することによって、１つまたは複数の領域内でトラッキングされ、これについては、トラック初期化モジュール２１２を参照して以下でさらに説明する。

【0075】

ステップ１１０において、処理ユニット１０４は、ブロック１７６（ブロック１８２，１７８および１８０からの入力を使用する）において、センサフレームから車両フレームに１つまたは複数のグリッドマップを変換することによって、１つまたは複数のライダセンサおよび１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを融合して、融合グリッドマップを生成する。

【0076】

ステップ１１２において、処理ユニット１０４は、融合グリッドマップを、１つまたは複数の対象物を静的対象物または動的対象物に分類し、融合グリッドマップ内の自由空間を識別するための動的ターゲット分類のためのトラック管理およびスキャンマッチング１６８のいずれかまたは組み合わせと統合する。ブロック１６８の出力は、歩行者点モデル１７２における歩行者分類に使用することができる。

【0077】

一実施形態では、１つまたは複数の対象物が１つまたは複数の領域内でトラッキングされる場合、プロセッサ１０４は、トラック初期化に関係するターゲット情報、トラック履歴、センサタイプと、ライダおよびレーダトラッキング時間に基づくトラッキングされた１つまたは複数の対象物の重み付き融合に基づく速度推定と、ライダセンサによって識別される閉塞に加えて、１つまたは複数のレーダセンサによって検出された１つまたは複数の対象物に基づく閉塞識別と、に基づいてトラック初期化を実行する。

【0078】

一実施形態によれば、システム１００は、レーダおよびライダの前処理データからの検出信号を統合する。この技術は、レーダおよびライダセンサからの検出信号の後処理に基づくトラックの初期化、ならびにライダおよびレーダ検出信号からのクラスタ信号からのターゲット特徴の識別および分類を使用する。システム１００は、同期、トラック初期化、集中トラック管理、融合グリッドマップ、およびグリッド内のターゲット分類を含むマルチターゲットトラック管理およびセンサデータ融合を含む。さらに、システム１００は、自由空間の利用可能性を判定する。一実施形態では、環境地面データは、表面法線計算に基づいて（ブロック１６０において）除去される。

【0079】

ブロック１７４において、トラック管理と統合されたグリッド融合１７６に基づいて、自由空間の利用可能性が決定される。出力ユニット１１４は、検出された自由空間をユーザに示すディスプレイ装置または任意の他のオーディオビジュアル装置であってもよい。

【0080】

一実施形態によれば、システム１００は、カスケードトラック管理のためにアウトオブシーケンス戦略を使用する。この戦略は、様々な時間間隔を有する受信者の複数のセンサからの信号によるセンサ融合の更新を含む。アウトオブシーケンス戦略は、様々なセンサによる信号受信者の違いの問題に対処する。それは、センサ融合または個々のセンサへの依存の裁量を決定し、それによって特定の場合に状態および共分散の更新を決定する。ブロック１６２において、異なるセンサの結果である信号が異なる間隔で受信され、データ融合および検証のために同期される。信号受信タイミングの不一致は、以下の戦略によって解決される：各センサからの信号は、同期が前方ライダからのデータ点に基づく時間同期機構によって対処される。前方ライダおよび後方ライダは設置中に同期され、他のサイドセンサからのデータは前方ライダ時間フレームに対してマッピングされる。すなわち、他のセンサのデータは、前方ライダの複数の検出時間フレームで処理される。前方ライダが０．０８秒で実行されると、他のサイドセンサの処理遅延は大幅に減少する。

【0081】

図２は、本開示の一実施形態による処理ユニットの例示的なモジュールを示す。

【0082】

本開示は、自由空間を識別するために１つまたは複数の対象物をトラッキングするための、自車両に実装されたシステムを詳述する。上記の図１で詳述したように、システムは、ライダデータおよびレーダデータを処理ユニット１０４に提供する入力ユニット１０２を含む。

【0083】

態様では、処理ユニット１０４は、１つまたは複数のプロセッサ２０２を含むことができる。１つまたは複数のプロセッサ２０２は、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、論理回路、および／または動作命令に基づいてデータを操作する任意の装置として実装されてもよい。とりわけ、１つまたは複数のプロセッサ２０２は、処理ユニット１０４のメモリ２０６に格納されたコンピュータ可読命令をフェッチおよび実行するように構成される。メモリ２０６は、ネットワークサービスを介してデータユニットを作成または共有するためにフェッチおよび実行され得る、１つまたは複数のコンピュータ可読命令またはルーチンを格納することができる。メモリ２０６は、例えば、ＲＡＭなどの揮発性メモリ、またはＥＰＲＯＭ、フラッシュメモリなどの不揮発性メモリを含む任意の非一時的記憶装置を含むことができる。

【0084】

処理ユニット１０４はまた、インターフェース２０４を含むことができる。インターフェース２０４は、様々なインターフェース、例えば、Ｉ／Ｏ装置、記憶装置などと呼ばれるデータ入出力装置用のインターフェースを含むことができる。インターフェース２０４は、処理ユニット１０４と、入力ユニット１０２および出力ユニット１０６などの処理ユニット１０４に結合された様々な装置との通信を容易にすることができる。インターフェース２０４はまた、処理ユニット１０４の１つまたは複数の構成要素のための通信経路を提供することができる。そのような構成要素の例には、処理エンジン２０８およびデータ２１０が含まれるが、これらに限定されない。

【0085】

処理エンジン２０８は、処理エンジン２０８の１つまたは複数の機能を実装するために、ハードウェアとプログラミング（例えば、プログラム可能命令）との組み合わせとして実装されてもよい。本明細書に記載の例では、ハードウェアとプログラミングのそのような組み合わせは、いくつかの異なる方法で実装されてもよい。例えば、処理エンジン２０８のプログラミングは、非一時的機械可読記憶媒体に格納されたプロセッサ実行可能命令であってもよく、処理エンジン２０８のハードウェアは、そのような命令を実行するための処理リソース（例えば、１つまたは複数のプロセッサ）を含んでもよい。本例では、機械可読記憶媒体は、処理リソースによって実行されると、処理エンジン２０８を実装する命令を格納することができる。そのような例では、処理ユニット１０４は、命令および命令を実行するための処理リソースを格納する機械可読記憶媒体を含んでもよく、または機械可読記憶媒体は、別個であるが処理ユニット１０４および処理リソースにアクセス可能であってもよい。他の例では、処理エンジン２０８は、電子回路によって実装されてもよい。

【0086】

データ２２２は、処理エンジン２０８の構成要素のいずれかによって実施される機能の結果として格納または生成されるデータを含むことができる。

【0087】

例示的な実施形態では、処理エンジン２０８は、地面データ除去モジュール２１０と、トラック初期化モジュール２１２と、トラック管理および状態推定モジュール２１４と、マップ融合モジュール２１４と、融合マップおよびトラック管理統合モジュール２１８（以下、統合モジュール２１８ともいう）と、他のモジュール２２０と、を含むことができる。

【0088】

説明されているモジュールは例示的なモジュールにすぎず、任意の他のモジュールまたはサブモジュールがシステム１００または処理ユニット１０４の一部として含まれてもよいことが理解されよう。これらのモジュールもまた、構成され得るようにスーパーモジュールまたはサブモジュールに併合または分割され得る。

【0089】

（地面データ除去モジュール２１０）
一態様では、地面データ除去モジュール２１０は、１つまたは複数のライダセンサからライダデータを受信し、１つまたは複数のレーダセンサからレーダデータを受信し、受信したライダデータと受信したレーダデータを、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの対応する１つまたは複数のグリッドマップにマッピングする。

【0090】

図１Ａに示すように、入力ユニット１０２は、上述したように、地面データ除去モジュール２１０による使用のためにライダデータおよびレーダデータを処理ユニット１０４に提供する。図３を参照すると、グリッドベースの３６０度サラウンドビューシステムは、複数のライダセンサおよびレーダセンサが確立されている。一例では、１８０度のビーム角を有するライダセンサが車両の前方および車両の後方に取り付けられ、４５度のビーム角を有する２つのレーダセンサが車両の側方に取り付けられる。

【0091】

したがって、入力ユニット１０２は、車両の周囲を検出するための１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサを含み、１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサの各々は、対応する領域内の１つまたは複数の対象物を検出する。１つまたは複数のライダセンサおよび１つまたは複数のレーダセンサは、車両の周囲の３６０度の視野を取り込むために、対応する１つまたは複数の主要に重なり合わない領域内の対象物を検出するように車両の表面上に構成される。

【0092】

一実施形態では、地面データ除去モジュール２１０は、ライダデータから選択された少なくとも３つのデータ点を使用して表面法線平面を計算することによって、各グリッドマップから地面に関係する１つまたは複数のデータ点を除去する。少なくとも３つのデータ点は、互いに所定のしきい値未満の距離で離間している。さらに、地面に関係する１つまたは複数のデータ点の除去は、地面からの各データ点の高さを計算し、計算された表面法線平面を有するライダセンサのターゲット距離高さを考慮することによって実行される。したがって、データ点から作成された平面の法線を有するライダセンサのターゲット距離－高さを考慮し、ライダデータのいずれかまたは組み合わせから選択された少なくとも３つのデータ点を使用して表面法線平面を計算する、地面からの個々の点の高さの数学的計算の統合された手法に基づいて、地面データを排除することができる。

【0093】

一実施形態では、地面データ除去モジュール２１０は、図４に示すように、地面データ点の高さおよび表面法線計算に基づいて環境地面データ除去を実行する。

【0094】

本実施例の文脈では、ターゲット対象物の動きに基づいて高レベルのセンサ融合が実行される。第１に、背景減算は、グリッドの外側でトラッキングされていない対象物に基づいて実行される。考慮すると、ライダセンサは、直角三角形（ＯＰ_１Ｑ）の下で、高さ（Ｈ）で車両の前部または後部に取り付けられる。

【0095】

Ｐ_１Ｐ１が地面点である場合、Ｒ_１ｒ１はＯＰ_１ＯＰ１にほぼ等しくなければならない（近似的に）。

【0096】

同様に、非地面点（例えばＰ２）の場合、直角三角形（ＯＱＲ）、

【0097】

この場合、点Ｐ_２Ｐ２に対するＲ_２は、ＯＲよりも小さい。すなわち、Ｒ_２＜ＯＲである。

【0098】

本実施例の文脈では、上記の手法からのフィルタリングされたデータ点から、通常の計算を使用し、空間内の３つの連続するデータ点を選択して、それらの間の距離が所定の距離しきい値を超えないように、見落とされた地面データ点が再評価され、除去される。
．．（３）

【0099】

重要なことに、すべての点が地面にあるため、法線は上方（すなわちｚ軸）に向けられる。さらに、選択された点を結合することから作成されたベクトルの乗算からの法線計算に基づいて、すべての点の共平面性も考慮される。したがって、地面点は、上向きの平面の法線に基づいて他の非地面点から分離される。この処理により、地面点を除去することができる。さらに、法線がｚ軸に完全に整列していない場合には、特定のしきい値を追加することができるが、（いくつかの非平面の地面点については）地面点である。２つのベクトルのいずれかから、法線が向けられるおおよその方向を決定することができる。

【0100】

（トラック初期化モジュール２１２）
一態様では、ブロック１６６により、１つまたは複数の対象物が１つまたは複数の領域においてトラッキングされると、トラック初期化モジュール２１２は、サラウンドビュートラッキングシステム（ＳＶＴＳ）のための適応初期化を実行する。領域内の統合された融合は、レーダ、ライダ、および車両センサからのデータの統合によって実行される。ライダセンサは、主に、対象物分類およびトラックの初期化に主要な役割を果たす。
本実施例の文脈では、１つまたは複数の対象物のうちの少なくとも１つの対象物が第１のセンサの領域から第２のセンサの領域に遷移する間にトラックが維持されることを保証するためにトラック初期化および管理が実行され、第１のセンサおよび第２のセンサは、１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサから選択される。トラック初期化は、関連するゾーンおよびセンサタイプに基づいており、動的対象物のトラックは、ライダベースのトラック管理に基づいて初期化され、トラックは、動的対象物がライダゾーンからレーダゾーンに移動するときにさらに管理および維持される。トラック初期化は、検出入力、トラック時間、ゾーン、運動力学、および交通方向の信頼度に依存する。しかしながら、ターゲットがレーダゾーンに現れ、ライダゾーンに移動する場合、可能性のあるトラックが作成され得、それによって、初期化期間が本質的に短縮される。トラックの初期化には、次のことが考慮され得る。
ＴｒａｃｋＩｎｉｔｉａｌｉｚａｔｉｏｎ＿Ｔｉｍｅ＝ｗ_１＊ＬＩＤＡＲＴｒａｃｋＴｉｍｅ＋ｗ_２＊ＲａｄａｒＴｒａｃｋＴｉｍｅ．．（１１）
ここで、ｗ１，ｗ２：Ｔｕｎｅａｂｌｅｗｅｉｇｈｔａｇｅ ｆａｃｔｏｒ

【0101】

さらに、トラッキングされた１つまたは複数の対象物の重み付き融合ベースの速度推定が、ライダおよびレーダのトラッキング時間に基づいて実行される。ここで、分類された対象物の速度ベクトルは、レーダがライダ点群から導出された速度ベクトルに対して高精度の速度を提供するので、重み係数に基づく。速度の計算のために、以下の関係を考慮することができる。
Ｖ_ｘ＝
ｗ_{ＬＩＤＡＲ}＊Ｖ_{ｘＬＩＤＡＲ}＊ＴｒａｃｋＭａｉｎｔｅｎａｎｃｅＴｉｍｅ_{ＬＩＤＡＲ}＋ｗ_{Ｒａｄａｒ}＊Ｖｘ_{ＲＡＤＡＲ}＊
ＴｒａｃｋＭａｉｎｔｅｎａｎｃｅＴｉｍｅ_{ＲＡＤＡＲ}．．（１３）
Ｖ_ｙ＝
ｗ_{ＬＩＤＡＲ}＊Ｖ_{ｙＬＩＤＡＲ}＊ＴｒａｃｋＭａｉｎｔｅｎａｎｃｅＴｉｍｅ_{ＬＩＤＡＲ}＋ｗ_{Ｒａｄａｒ}＊Ｖ_{ｙＲＡＤＡＲ}＊
ＴｒａｃｋＭａｉｎｔｅｎａｎｃｅＴｉｍｅ_{ＲＡＤＡＲ}．．．（１４）
ここで、Ｖｘ，Ｖｙ：推定速度、およびＷ_{ＬＩＤＡＲ}，Ｗ_{ＲＡＤＡＲ}：重み付け係数
ＴｒａｃｋＭａｉｎｔｅｎａｎｃｅＴｉｍｅ_{ＲＡＤＡＲ}：ターゲットがレーダによってトラッキングされている間、またはトラックがレーダゾーンの下にある間にトラックを維持するための時間
ＴｒａｃｋＭａｉｎｔｅｎａｎｃｅＴｉｍｅ_{ＬＩＤＡＲ}：ターゲットがライダによってトラッキングされている間、またはトラックがライダゾーンの下にある間にトラックを維持するための時間

【0102】

当業者は、トラック管理が、ターゲットトラックが１つのセンサの領域から隣接するセンサへ遷移する間にトラックが維持されることを保証することを理解するであろう。ターゲットトラックは、ある領域から別の領域への円滑な移行を確実にするために、ある期間にわたって予測することができる。

【0103】

（トラック管理および状態推定モジュール２１４）
一態様では、トラック管理および状態推定モジュール２１４は、１つまたは複数のライダセンサと１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の１つまたは複数の対象物をトラッキングし、１つまたは複数のライダセンサと１つまたは複数のレーダセンサのいずれによっても検出されない１つまたは複数の対象物の状態推定を実行する。

【0104】

当業者は、それぞれの領域におけるトラックおよび状態の推定が、集中トラック管理を構築するための複雑な部分であることを理解するであろう。非検出領域では、対象物が隣接するセンサの領域に入るまでのトラック履歴に基づいて状態推定が更新される。状態推定は、１つのセンサ領域から隣接するセンサ領域への移行中にトラック管理を確実にするために、測定およびデータ関連付けにわたって検証される。

【0105】

一実施形態では、動的対象物分類のためにジョイント（統合）トラック管理およびスキャンマッチングが実行される。上述の技術は、すべてのレーダおよびライダのデータが融合されてグリッド占有マップを形成する融合グリッドマップ上の予測およびデータ関連付けを含む。トラック管理のクラスタ化されセグメント化されたデータは、グリッドマップデータのスキャンマッチングに対して評価される。目的関数最適化方法論は、統合トラック管理およびスキャンマッチングアルゴリズムから動的対象物を見つけるために使用される。一実施形態では、トラック管理は、図６のブロック図に従って実行される。

【0106】

本実施例の文脈では、レーダトラック管理６４０およびライダトラック管理６４２は、データ関連付け６０４－１および６０４－２、ターゲットトラック管理６０６－１および６０６－２、状態更新６０８－１および６０８－２、予測６１４－１および６１４－２、検証６１２－１および６１２－２、ならびに自己補償６１０－１および６１０－２に基づいてローカルトラックを作成することができる。ローカルトラックは、ライダおよびレーダのローカルトラックの両方を関連付け、集中ターゲットトラックを提供する集中トラック管理６４４に供給することができる。スキャンマッチング６４６は、集中トラックと共にライダおよびレーダのローカルトラックから入力を取得して、データを前のインスタンスにマッピングし、それによって動的対象物を決定する。ブロック６３６において、誤差最小化を伴うスキャンマッチングが実行され、ブロック６３４において、データ点変換が実行される。スキャンマッチング６３６は、点群内の最近接を見つけ、点群データの反復最近接点（ＩＣＰ）を使用することによって実行される。誤差最小化は、誤差メトリックを最小化することによって実行され、変換６３４は、最小化の結果を使用して点群を変換することによって実行される。一例では、反復プロセスが実行されると、現時点でスキャンされた点群を以前の情報と比較し、それによって動的対象物を識別することができる。動的対象物分類６３０は、スキャンマッチング６３６からの入力および集中トラック管理６４４からの対象物の導出速度に基づいて、対象物を静的または動的にさらに分離する。さらに、歩行者点モデル６３２は、歩行者をターゲット車両から本質的に分離する歩行者を識別する。

【0107】

当業者は、ターゲットトラック管理６１８がトラック履歴維持、トラック削除および追加を含み、状態推定を含む状態更新６２０がターゲット位置、速度ベクトルを考慮して実行され得ることを理解するであろう。予測６２２は、カルマンフィルタを使用して実行することができる。さらに、検証６２４は、現在の測定値に対する予測の検証およびゲーティングを含む。データ関連付け６１６は、トラックと測定とを関連付けることを含み、従来の確率的データ関連付けフィルタを使用して実行することができる。また、車両の自己補償は、車両フレームベースの車両状態（例えばヨーレート、ロールレート、車両速度）を提示するためにデータを変換することによって実行されてもよい。

【0108】

一実施形態では、ターゲットトラックは適応初期化１６６で初期化され、トラックの初期化のためにレーダトラック管理６４０およびライダトラック管理６４２に供給され、これは集中トラック管理６４４のためにさらに取得され得る。データ関連付け６１６からの関連トラックは、トラック履歴を定式化し、点クラスタ例えば、データ点の最大および最小偏差、ターゲットの端点とコーナ点とを結ぶ基準線に対するデータ点の標準偏差）の特性を決定するために取得することができる。データ点群のトラック履歴および特性は、指定されたターゲットの同じ指定されたレーダローカルトラック上に同様の点群を再構築するためのレーダフィードバックに対する支援を提供し、それは周囲環境のマッピングを作成するのに役立つ。

【0109】

ゾーントラック管理６２６は、集中トラック管理６４４を支援する複雑な部分であることが当業者には理解されよう。非検出領域では、状態推定は、隣接するセンサの領域に入るまで更新されてもよい。状態推定は測定値にわたって検証され、データの関連付けは、１つのセンサ領域から隣接するセンサへの移行中にトラック管理を保証する。さらに、ゾーントラック管理６２６は、トラック保守を支援し、一方で、１つまたは複数の対象物のうちの少なくとも１つの対象物は、第１のセンサの領域から第２のセンサの領域に遷移し、第１のセンサおよび第２のセンサは、１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサから選択される。

【0110】

一実施形態では、ゾーントラッキング信頼度確立は、非検出領域識別、ゾーン分類および領域ベースのトラッキング、推定技術選択、トラッキング時間決定および検出信頼度計算などの動作を実行することによって、非検出領域（いずれの知覚センサによってもカバーされない領域）におけるトラッキング管理に有用な、ゾーントラック管理６２６の一部であってもよい。

【0111】

ゾーントラッキング信頼度確立はまた、クラスタリングのために既存のトラッキング対象物に隣接する領域をスキャンすることによって計算負荷をさらに低減し、それによってクラスタリング現象を改善するセグメント化およびクラスタリングアルゴリズムにフィードバックを提供することができる。新しい対象物の他のクラスタは、最近接マッピングおよびセグメント化に基づいてセグメント化される。

【0112】

さらに、一実施形態では、閉塞識別は、１つまたは複数のライダまたはレーダセンサによって検出された１つまたは複数の対象物に基づいて実行される。閉塞検出は、閉塞の識別において重要な役割を果たし、それによって閉塞中のターゲットトラック推定を可能にする。ターゲットがライダの臨界ゾーンにある場合、同じ側の他のゾーンにトラック履歴を有するターゲットは、近くの車両が移動しない限り、一定期間にわたって予測される。アルゴリズムは、レーダのみによって検出された対象物による閉塞に対処するためにさらに提供する。レーダによって識別された閉塞時間は、ゾーン、ターゲットトラック履歴、およびセンサ信頼度の関数であり得る。

【0113】

（マップ融合モジュール２１６）
一態様では、マップ融合モジュール２１６は、融合グリッドマップを生成するために、センサフレームから車両フレームに１つまたは複数のグリッドマップを変換することによって、１つまたは複数のライダセンサならびに１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを融合する。

【0114】

図５Ａに示すように、融合グリッド５０４は、個々のセンサによって開発されたグリッドマップ、すなわち、レーダセンサ５２４の２つのグリッドマップおよびライダセンサ５２２の２つのグリッドマップの同化である。センサグリッドマップ（時間を使用して生成された５２４および５２２はデータ１６２を同期させる）は、対数スケールで展開することができる。ブロック５１８において、入力データをセンサフレームからローカル車両フレームに変換することができる。ブロック５１６において、レーダとライダとの重複領域の融合がグリッドマップ上で実行される。さらに、融合グリッド５０４を使用して、ブロック５０８において、マップ融合モジュール２１６は、環境を合成して環境マップを作成し、環境マップは、融合グリッドマップ内の自由空間を識別するための１つまたは複数の対象物の分類を実行するために使用されるように記憶される。記憶された環境マップは、ブロック５１０においてグリッド更新に使用することができる。さらに、ブロック５０２において、融合グリッド５０４は、動的対象物管理を実行するためにトラック管理と統合することができる。

【0115】

一実施形態では、グリッド更新５１０は、現時点５０６でグリッドマップを決定するために使用される。グリッド更新５１０は、逆センサモデル５１６および動き補償５１４に基づいて実行される。動き補償５１４は、自車両５２０の動き、すなわち車両状態、例えば車両速度およびヨーレートに基づいて前のインスタンス５１２におけるグリッドマップの自己動き補償を実行する。環境合成／マッピングおよびマップ記憶５０８は、前のインスタンス５１２でグリッドマップに入力を提供する。さらに、グリッド適応が実行され、自己車両センサデータに基づくグリッド占有が適応され、自己補償がグリッドに提供される。グリッドマップは、車両状態、例えば自車両の速度およびヨーレートに応じて、現在の車両フレーム内で回転または変換することができる。

【0116】

．＝は、測定モデルとモーションモデルの確率から推定された結果の位置である。一実施形態では、融合グリッドは、トラック管理およびスキャンマッチングから得られた初期化されたグリッドおよびトラック情報を使用する逆センサモデルからの入力に基づいて形成される。グリッドが減衰し始めると、グリッドの減衰およびトラック履歴がグリッド更新に使用される。トラック管理およびスキャンマッチングからの複合情報は、グリッド上の動的対象物を識別およびトラッキングし、それによって車両がナビゲートするための空間の自由な利用可能性を識別するのに役立つ。

【0117】

一実施形態では、マップ融合モジュール２１６は、環境合成およびマップ記憶を実行する。図５Ｂに示すように、環境合成を用いてマップを作成し、動的な対象物識別と自由空間検出のためにマップを記憶する。モジュール２１４は、以下の態様を組み込んだサラウンドビュートラッキングシステム（本発明）のための融合グリッドベースの環境マッピングを実行する。
ａ）検出された知覚データの信頼度、
ｂ）ゾーン定義：非常に重要、重要、半重要、非重要、
ｃ）対象物分類子：歩行者、車両、
ｄ）自車両動力学：横方向または縦方向の動き、および
ｅ）渋滞：混雑している、まばらに渋滞している、渋滞していない。
融合マップおよびトラック管理統合モジュール２１８

【0118】

一態様では、統合モジュール２１８は、マップ融合モジュール２１６と共に、融合グリッドマップをトラック管理およびスキャンマッチングのいずれかまたは組み合わせと統合して、１つまたは複数の対象物の静的対象物または動的対象物への分類および融合グリッドマップ内の自由空間の識別を実行する。

【0119】

一実施形態では、１つまたは複数の対象物のうちの少なくとも１つの対象物が歩行者である場合、融合マップおよびトラック管理統合モジュール２１８は、ライダデータから得られた歩行者に関係する点群の、車両からの縦方向、横方向の距離、および点群のゾーンに関するサイズと、１つまたは複数のライダセンサの１つまたは複数のチャネル内の点群の構造および利用可能性と、歩行者の速度ベクトルを示す点群の決定論的速度ベクトルと、点群の軌跡の履歴と、を用いて少なくとも１つの対象物を分類する。一実施形態では、統合モジュール２１８は、動的または移動対象物分類の一部である歩行者分類に確率的手法を使用する。

【0120】

本実施例の文脈では、歩行者分類のための確率的手法は、動的または移動する対象物分類の一部であり得る。ターゲット歩行者は、以下の特定の情報を使用してクラスタリング後に分類することができる。
１）長手方向の距離およびゾーンに対する点群サイズ、
２）歩行者の身長に間接的に基づく様々なチャネルにおける歩行者データ点の利用可能性、
３）ライダセンサのチャネル（例えば４チャネル）で利用可能な点群の構造、
４）歩行者の速度ベクトルに類似する点群の決定論的速度ベクトル（トラック履歴）、
５）歩行者点群の軌跡履歴。

【0121】

一実施形態では、図７Ａは、歩行者の点群分布を示し、歩行者点モデルまたは点群の寸法は、ライダがライダから情報を受信する縦方向相対位置、横方向相対位置、および受信者チャネルの関数である。

【0122】

歩行者の行動モデルの制約は、
低い歩行者寸法＜歩行者点モデル＜
高い歩行者寸法．．．（１０）
ここで、歩行者寸法は、歩行者の幅および高さを指す。

【0123】

歩行者と関連付けられたセグメント化された点群のさらなる選択は、速度ベクトルに基づくことができる。

【0124】

一実施形態では、融合マップおよびトラック管理統合モジュール２１８は、ライダ点群データに類似する１つまたは複数のクラスタ点を、自車両の周囲に完全な周囲を形成するために、融合グリッド上の１つまたは複数の対象物のマッピングのためのレーダデータから得られた１つまたは複数のデータ点上に再構築しマッピングする。

【0125】

一実施形態では、レーダセンサおよびライダセンサのローカルトラックが、レーダデータ上のライダクラスタ点の再構成およびマッピングに使用される（すなわち、ライダデータ点群が存在しない場合、ターゲットマッピングのためのレーダデータ点上の点群の再構成が実行され、それによって実際の自由空間検出が決定される）。

【0126】

図７Ｂに示すように、ライダクラスタは、グリッド全体の効率が確立されるように、レーダフィードバックおよびトラッキング対象物に再マッピングされる。点群を有するグリッド上の対象物は、分類された対象物の特性、特徴、寸法を指定するために、トラッキング対象物上で再構成することができる。レーダフィードバックによる点群の分布は、参照されたターゲットに関連するデータ点分布の履歴に基づいている。

【0127】

点分布の履歴は、以下の特性を有することができる。
ａ）極端な特徴点をコーナ特徴点と接続して構築された基準線（例えば、図７Ｂに示す基準線ＡＢまたはＢＣ）に対する点群の標準偏差。
ｂ）抽出されたターゲットの特徴点を結ぶ基準線からのデータ点の最小および最大偏差。
．．（１１）．．（１２）トラックを維持するための時間 トラックを維持するための時間
．．（１５）．．（１６）

【0128】

（他のモジュール２２０）
一態様では、他のモジュール２２０は、システム１００、処理ユニット１０４、または処理エンジン２０８によって実行されるアプリケーションまたは機能を補完する機能を実装する。

【0129】

提案されたシステムは、すべてのメインモジュールを含むように上記のように詳述されているが、実際の実装は、クラウド内を含む、互いに動作可能に結合され得る複数のデバイスにわたる様々な組み合わせで、提案されたモジュールの一部のみ、またはそれらの組み合わせ、またはそれらのサブモジュールへの分割を含むことが完全に可能である。さらに、モジュールは、詳述された目的を達成するために任意の順序で構成されてもよい。また、提案されたシステムは、コンピューティングデバイス内に、または互いに動作可能に接続された複数のコンピューティングデバイスにわたって構成されてもよく、コンピューティングデバイスは、コンピュータ、スマートデバイス、インターネット対応モバイルデバイスなどのいずれかであってもよいことが理解されよう。したがって、提案されたシステムが構成される場所および方法のすべての可能な修正、実施態様および実施形態は、十分に本発明の範囲内である。

【0130】

図８は、本開示の例示的な実施形態による、ライダおよびレーダに基づくトラッキングを実行する方法を示す。

【0131】

一態様では、提案された方法は、コンピュータ実行可能命令の一般的な文脈で説明され得る。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール、関数などを含むことができる。本方法は、通信ネットワークを介してリンクされたリモート処理装置によって機能が実行される分散コンピューティング環境でも実施することができる。分散コンピューティング環境では、コンピュータ実行可能命令は、メモリ記憶装置を含むローカルおよびリモートコンピュータ記憶媒体の両方に配置することができる。

【0132】

記載された方法の順序は限定として解釈されることを意図するものではなく、任意の数の記載された方法ブロックを任意の順序で組み合わせて方法または代替方法を実施することができる。さらに、本明細書に記載の主題の趣旨および範囲から逸脱することなく、本方法から個々のブロックを削除することができる。さらに、本方法は、任意の適切なハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで実施することができる。しかしながら、説明を容易にするために、以下に説明する実施形態では、本方法は上述のシステムで実施されると考えることができる。

【0133】

一態様では、本開示は、１つまたは複数の対象物をトラッキングして自由空間を識別するための、車両に実装されたコンピュータに格納された命令に従って実行される方法を詳述する。本方法は、ステップ８０２において、１つまたは複数のライダセンサからライダデータを受信し、１つまたは複数のレーダセンサからレーダデータを受信し、受信したライダデータと受信したレーダデータをグリッドにマッピングするステップであって、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの各々が対応する領域内の１つまたは複数の対象物を検出する、ステップと、ステップ８０４において、１つまたは複数のライダセンサと１つまたは複数のレーダセンサに対応する１つまたは複数の領域内の１つまたは複数の対象物をトラッキングし、１つまたは複数のライダセンサと１つまたは複数のレーダセンサのいずれによっても検出されない１つまたは複数の対象物の状態推定を実行するステップと、を含む。

【0134】

本方法は、ステップ８０６において、１つまたは複数のライダセンサと１つまたは複数のレーダセンサの１つまたは複数のグリッドマップを、センサフレームから車両フレームに１つまたは複数のグリッドマップを変換して融合グリッドマップを生成することにより、融合するステップであって、融合グリッドマップは、トラック管理およびスキャンマッチングのいずれかまたは組み合わせと統合されて、１つまたは複数の静的もしくは動的対象物の分類と、融合グリッドマップ内の自由空間の識別と、を実行する、ステップをさらに含む。

【0135】

当業者は、本開示の様々な態様によって利用される重要な技術のいくつかが、トラック初期化、ライダおよびレーダに基づくサラウンドビューシステム、ジョイントトラック管理、融合グリッドベースの環境マッピング、カメラおよびレーダセンサからの順不同測定のための歩行者分類のための確率的手法を含むことを理解するであろう。

【0136】

上述したグリッドベースの融合方法は、混雑した都市の複雑な環境、およびその中の車両および歩行者の予測不可能な動きをスキャンする可能性を高める。それはまた、非線形で高度に操縦する移動ターゲットのトラッキングを管理するのに役立ち、駐車または自車両ナビゲーションに使用され得る自由空間の利用可能性に関する詳細な情報を提供する。さらに、本明細書に記載のライダおよびレーダに基づく融合サラウンドビュートラッキングシステムは、既存のカメラに基づくサラウンドビュートラッキングシステムと比較して、ターゲット（トラッキングされる対象物）の位置および速度に関して極めて正確である。融合ライダおよびレーダに基づくトラッキングシステムの範囲はより高く、したがってカメラに基づくサラウンドビュートラッキングシステムよりも有利である。

【0137】

開示された発明によって可能にされるサラウンドビュートラッキングは、バレーパーキング、渋滞パイロットまたはハイウェイパイロット操作などの態様のために実施される車両の自律動作によく使用され得る。

【0138】

容易に理解されるように、本明細書で詳述する開示の主な用途は、歩行者検出および自由空間検出のための自動車分野であるが、任意の移動対象物が同様に検出され得る非自動車分野でも使用され得る。

【0139】

本明細書で使用される場合、文脈が特に指示しない限り、「に結合される」という用語は、直接結合（互いに結合されるか、または互いに接触する２つの要素）と間接結合（２つの要素の間に少なくとも１つの追加要素が配置される）の両方を含むことを意図している。したがって、「に結合される」および「と結合される」という用語は同義的に使用される。本明細書の文脈内では、「に結合された」および「と結合された」という用語はまた、ネットワークを介して「と通信可能に結合された」ことを意味するために婉曲的に使用され、２つ以上のデバイスは、ネットワークを介して、場合によっては１つまたは複数の中間デバイスを介して、互いにデータを交換することができる。

【0140】

さらに、明細書および特許請求の範囲の両方を解釈する際に、すべての用語は、文脈と一致する可能な限り最も広い方法で解釈されるべきである。特に、「含む（ｃｏｍｐｒｉｓｅｓ）」および「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、要素、構成要素、またはステップを非排他的な方法で参照するものとして解釈されるべきであり、参照される要素、構成要素、またはステップが存在するか、または利用されるか、または明示的に参照されていない他の要素、構成要素、またはステップと組み合わされ得ることを示す。明細書の特許請求の範囲がＡ、Ｂ、Ｃ．．．．およびＮからなる群から選択されるもののうちの少なくとも１つを指す場合、テキストは、ＡプラスＮまたはＢプラスＮなどではなく、群からの１つの要素のみを必要とすると解釈されるべきである。

【0141】

本開示のいくつかの実施形態を例示し説明したが、それらは本質的に完全に例示的である。本開示は、本明細書で詳述した実施形態のみに限定されるものではなく、本明細書の発明概念から逸脱することなく、既に説明したもの以外の多くの修正が可能であることは当業者には明らかであろう。そのような修正、変更、変形、置換、および均等物はすべて、本開示の範囲内に完全に含まれる。したがって、本発明の主題は、添付の特許請求の範囲の趣旨を除いて制限されるべきではない。

【発明の利点】

【0142】

本開示は、トラック管理をグリッドマッピングと統合し、複数のライダおよびレーダを使用して３６０度のターゲットトラッキングおよびマッピングを可能にするシステムを提供する。

【0143】

本開示は、より少ない計算能力を使用し、より応答性の高いシステムを提供する。３Ｄライダを使用する既存のシステムは、計算負荷が大きく高価であり、車両の屋根の上部に取り付けられるため、自車両の近くに約５～１０メートルの死角領域を作り出す。さらに、提案されたシステムは、ライダクラスタリング／セグメント化のためのフィードバック機構を提供し、したがってライダクラスタリング／セグメント化に必要な計算負荷を低減する。

【0144】

本開示は、ライダセンサおよびレーダセンサに依存するため、カメラに基づくシステムよりも高い精度を有するシステムを提供する。

【0145】

本開示は、粗い／乱れた地面に起因する地面データおよび結果として生じる誤差を排除するシステムを提供する。提案されたシステムは、ターゲット距離－データ点から作成された平面の法線を有するライダの高さを考慮して、地面からの点の高さの数学的計算の統合された手法に基づいて地面データを排除する。これは、平面および粗い／乱れた地面の両方に適用可能である。

【0146】

本開示は、ゾーン／領域ベースのトラッキングを使用してトラッキング性能を改善し、センサのいずれかの非検出領域のサラウンドビュー作成／トラッキング（死角ゾーントラッキング）を支援するシステムを提供する。

【0147】

本開示は、ライダおよびレーダサラウンドビュートラッキングシステムの両方によって改善された精度で様々な閉塞を識別するシステムを提供する。既存のシステムまたは従来技術は、ライダセンサを使用して閉塞を識別するが、典型的には、本開示は、レーダセンサおよびトラック管理機構を使用してレーダゾーン内の閉塞をさらに識別する。

【0148】

本開示は、従来の平均化技術よりもゾーン／トラック初期化を改善するシステムを提供する。このシステムは、従来の平均化技術を使用した初期化よりも改良されたバージョンであるレーダおよびライダのトラッキング時間による重み付き速度推定を使用する。

【0149】

本開示は、静的および動的ターゲットの分離を改善したシステムを提供する。システムは、ターゲット分類およびトラッキングの最も困難な態様である歩行者分類のために確率的手法を用いたポイント法を使用する。歩行者検出の改善された手法に基づくシステム。

【0150】

本開示は、乱れた表面（例えば、駐車時の砂利エリア）における改善されたトラック管理の最適な方法を可能にするシステムを提供する。

【0151】

本開示は、混雑した都市の複雑な環境ならびに車両および歩行者の予測不可能な動きをスキャンする可能性を高めるシステムを提供する。

【0152】

本開示は、ターゲットの非線形で高度に操作される動きをトラッキングし、駐車または自車両ナビゲーションのための自由空間の利用可能性に関する情報を提供するシステムを提供する。

【0153】

本開示は、カメラに基づくシステムよりも一貫した検出の範囲が増加したシステムを提供する。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】