特開 2024-37166 オブジェクトをモデリングするための方法、機器、記憶媒体及び車両制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024037166

(43)【公開日】2024-03-18

(54)【発明の名称】オブジェクトをモデリングするための方法、機器、記憶媒体及び車両制御方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240311BHJP

   G08G 1/16 20060101ALI20240311BHJP

【ＦＩ】

G06T7/00 650Z

G08G1/16 C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023143288

(22)【出願日】2023-09-04

(31)【優先権主張番号】202211083146.8

(32)【優先日】2022-09-06

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】521254764

【氏名又は名称】北京図森智途科技有限公司

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】李智超

(72)【発明者】

【氏名】王乃岩

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181AA07

5H181BB13

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC14

5H181EE07

5H181FF04

5H181FF27

5H181FF32

5H181LL09

5L096AA09

5L096BA02

5L096BA04

5L096DA04

5L096FA59

5L096GA30

5L096GA51

(57)【要約】      （修正有）

【課題】オブジェクトの表示を動的に最適化し、その表示を観測に伴ってより正確かつ安定的にし、その運動状態を正確に決定するモデリングする方法、機器、記憶媒体及び車両制御方法を提供する。
【解決手段】方法は、感知システムが収集した周囲環境に関連する第１の組の点群フレームを取得し、それに基づいて周囲環境におけるオブジェクトの第１の表示を含む階層表示を生成し、感知システムが集した周囲環境に関連する第２の組の点群フレームを取得し、第２の組の点群フレームの各フレームの点群におけるオブジェクトに関連する１組の点及び当該組の点の第１、第２のサブセットを決定し、第１、第２のサブセットに基づいて、オブジェクトが第１のサブセットに関連する第１の部分を含む第１の信頼度及び第２のサブセットに関連する第２の部分を含む第２の信頼度を決定し、第１、第２の信頼度に基づいてオブジェクトの階層表示を変更するか否かを決定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

感知システムによって収集されたその周囲環境に関連する第１の組の点群フレームを取得するステップと、
前記第１の組の点群フレームに基づいて当該周囲環境におけるオブジェクトの階層表示を生成するステップであって、階層表示はオブジェクトの第１の表示を含むステップと、
感知システムによって収集された当該周囲環境に関連する第２の組の点群フレームを取得するステップと、
第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップと、
第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップと、
前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するステップと、を含むオブジェクトをモデリングするための方法。

【請求項2】

前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するステップは、
前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも低いことに応答して、前記階層表示をそのまま保持するステップを含む請求項１に記載の方法。

【請求項3】

第２の組の点群フレームは複数フレームの点群を含み、
ここで、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップは、
第２の組の点群フレームの各フレームの点群に対して、第１のサブセットに基づいて前記オブジェクトが前記第１の部分を含む第１の確率を決定するステップと、
第２の組の点群フレームの各フレームの点群に対して、第２のサブセットに基づいて前記オブジェクトが前記第２の部分を含む第２の確率を決定するステップと、
得た複数の第１の確率及び得た複数の第２の確率をそれぞれ累積するステップと、を含む請求項１に記載の方法。

【請求項4】

第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップは、
第２の組の点群フレームの各フレームの点群に対して、第１のサブセット及び第２のサブセットに基づいて前記オブジェクトが前記第１の部分を含む第１の関連確率を決定するステップと、
第２の組の点群フレームの各フレームの点群に対して、第１のサブセット及び第２のサブセットに基づいて前記オブジェクトが前記第２の部分を含む第２の関連確率を決定するステップと、
得た複数の第１の関連確率及び得た複数の第２の関連確率をそれぞれ累積するステップと、をさらに含む請求項３に記載の方法。

【請求項5】

第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップは、
予め記憶されたデータセットに基づいて、第２の組の点群フレームの各フレームの点群に対応する第１の確率及び第２の確率に対して対応する正確率をそれぞれ決定するステップを含む請求項３に記載の方法。

【請求項6】

前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するステップは、
前記第１の信頼度及び第２の信頼度のうち一方が所定の閾値よりも低く、他方が所定の閾値以上であることに応答して、前記第１の表示のサイズ及び形状のうちの少なくとも一方を変更するステップ、又は、
前記第１の信頼度及び第２の信頼度がいずれも所定の閾値以上であることに応答して、前記オブジェクトの第１の部分の第２の表示、及び前記オブジェクトの第２の部分の第３の表示を生成し、前記階層表示を前記第１の部分の第２の表示及び前記第２の部分の第３の表示をさらに含むように変更するステップであって、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置するステップを含む請求項１に記載の方法。

【請求項7】

感知システムによって収集された当該周囲環境に関連する第３の組の点群フレームを取得するステップと、
第３の組の点群フレームの各フレームの点群における前記オブジェクトの第２の部分に関連する１組の点及び当該組の点の第３のサブセットと第４のサブセットを決定するステップと、
第３のサブセット及び第４のサブセットに基づいて、前記第２の部分が前記第３のサブセットに関連する第３の部分を含む第３の信頼度、及び前記第４のサブセットに関連する第４の部分を含む第４の信頼度を決定するステップと、
前記第３の信頼度及び前記第４の信頼度に基づいて前記オブジェクトの階層表示をさらに変更するか否かを決定するステップと、を含む請求項６に記載の方法。

【請求項8】

前記第３の信頼度及び前記第４の信頼度に基づいて前記オブジェクトの階層表示をさらに変更するか否かを決定するステップは、
前記第３の信頼度及び第４の信頼度がいずれも所定の閾値以上であることに応答して、前記オブジェクトの第３の部分の第４の表示、及び前記オブジェクトの第４の部分の第５の表示を生成するステップと、
前記階層表示を前記第３の部分の第４の表示及び前記第４の部分の第５の表示をさらに含むように変更するステップであって、前記第４の表示及び第５の表示は少なくとも一部が前記第３の表示内に位置するステップと、を含む請求項７に記載の方法。

【請求項9】

感知システムによって収集されたその周囲環境に関連する第１の組の点群フレームを取得するステップと、
前記第１の組の点群フレームに基づいて当該周囲環境におけるオブジェクトの階層表示を生成するステップであって、階層表示はオブジェクトの第１の表示を含むステップと、
感知システムによって収集された当該周囲環境に関連する第２の組の点群フレームを取得するステップと、
第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップと、
第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップと、
前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するステップと、
少なくとも部分的にオブジェクトの階層表示に基づいて車両が走行する軌跡を生成するステップと、
車両を生成した軌跡に沿って走行するように制御するステップと、を含む車両を制御するための方法。

【請求項10】

前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するステップは、
前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも低いことに応答して、前記階層表示をそのまま保持するステップを含む請求項９に記載の方法。

【請求項11】

前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するステップは、
前記第１の信頼度及び第２の信頼度のうちの少なくとも一方が所定の閾値以上であることに応答して、前記階層表示を変更するステップを含み、
ここで、少なくとも部分的にオブジェクトの階層表示に基づいて車両が走行する軌跡を生成するステップは、
オブジェクトの変更された階層表示に基づいて車両が走行する軌跡を生成するステップを含む請求項９に記載の方法。

【請求項12】

前記第１の信頼度及び第２の信頼度のうちの少なくとも一方が所定の閾値以上であることに応答して、前記階層表示を変更するステップは、
前記第１の信頼度及び第２の信頼度のうち一方が所定の閾値よりも低く、他方が所定の閾値以上であることに応答して、前記第１の表示のサイズ及び形状のうちの少なくとも一方を変更するステップを含む請求項１１に記載の方法。

【請求項13】

前記第１の信頼度及び第２の信頼度のうちの少なくとも一方が所定の閾値以上であることに応答して、前記階層表示を変更するステップは、
前記第１の信頼度及び第２の信頼度がいずれも所定の閾値以上であることに応答して、前記オブジェクトの第１の部分の第２の表示、及び前記オブジェクトの第２の部分の第３の表示を生成するステップと、
前記階層表示を前記第１の部分の第２の表示及び前記第２の部分の第３の表示をさらに含むように変更するステップであって、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置するステップと、を含む請求項１１に記載の方法。

【請求項14】

プロセッサ及びメモリを含み、前記メモリはプログラム命令を記憶しており、前記プロセッサは前記プログラム命令を実行して、請求項１～１３のいずれか一項に記載の方法を実現する電子機器。

【請求項15】

プロセッサにより実行される時に、請求項１～１３のいずれか一項に記載の方法を実現するためのプログラム命令を記憶しているコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願はセンサデータの処理に関し、特に、オブジェクトをモデル化するための方法、機器、記憶媒体及び車両制御方法に関する。

【背景技術】

【0002】

自動運転技術の発展に伴い、自動運転車両は貨物輸送、乗用などの分野で既に応用されている。自動運転車両は、走行時に、一般的に自体のセンサ、例えば光検出及び測距（ＬＩＤＡＲ）システム、カメラなどによって周囲環境を感知する。自動運転車両における自動運転システムは、センサが感知したデータに基づいて、環境におけるオブジェクトの表示（例えば、バウンディングボックス）を生成して、オブジェクトの姿勢及び／又は範囲を表現し、オブジェクトの運動状態を決定する。続いて、自動運転システムは自動運転車両の走行に対して意思決定及び計画を行い、最終的に、自動運転車両を対応する意思決定及び計画に従って走行するように制御する。

【0003】

計画を合理的に行うために、自動運転システムは、オブジェクトの運動状態を正確に決定するように、環境におけるオブジェクトの正確な表示を生成することを必要とする。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、車両（特に自動運転車両）の周囲環境におけるオブジェクトを動的にモデリングしてオブジェクトの正確な表示を生成することにより、当該オブジェクトの運動状態を正確に決定するために用いられる、オブジェクトをモデリングするための方法、機器、記憶媒体及びプログラム製品を提供する。

【課題を解決するための手段】

【0005】

第１の側面において、本願は、
感知システムによって収集された周囲環境に関連する第１の組の点群フレームを取得するステップと、
前記第１の組の点群フレームに基づいて周囲環境におけるオブジェクトの階層表示を生成するステップであって、階層表示はオブジェクトの第１の表示を含むステップと、
感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得するステップと、
第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップと、
第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップと、
前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するステップと、を含むオブジェクトをモデリングするための方法を提供する。

【0006】

第２の側面において、本願は、
感知システムによって収集された周囲環境に関連する第１の組の点群フレームを取得するための取得モジュールと、
前記第１の組の点群フレームに基づいて周囲環境におけるオブジェクトの階層表示を生成するためのモデリングモジュールであって、階層表示はオブジェクトの第１の表示を含むモデリングモジュールと、
さらに、感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得するための前記取得モジュールと、
第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するための第１の決定モジュールと、
第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するための信頼度モジュールと、
前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するための第２の決定モジュールと、を含むオブジェクトをモデリングするための装置を提供する。

【0007】

第３の側面において、本願は、プロセッサと、前記プロセッサに通信可能に接続されるメモリと、を含み、
前記メモリはプログラム命令を記憶しており、
前記プロセッサは前記メモリに記憶されたプログラム命令を実行して、第１の側面に記載の方法を実現する電子機器を提供する。

【0008】

第４の側面において、本願は、プロセッサにより実行される時に、第１の側面に記載の方法を実現するためのプログラム命令を記憶しているコンピュータ可読記憶媒体を提供する。

【0009】

第５の側面において、本願は、プロセッサにより実行される時に、第１の側面に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。

【0010】

第６の側面において、本願は、
感知システムによって収集された周囲環境に関連する第１の組の点群フレームを取得するステップと、
前記第１の組の点群フレームに基づいて周囲環境におけるオブジェクトの階層表示を生成するステップであって、階層表示はオブジェクトの第１の表示を含むステップと、
感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得するステップと、
第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップと、
第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップと、
前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するステップと、
オブジェクトの階層表示に基づいて車両が走行する経路（又は軌跡）を生成するステップと、
車両を生成した経路（又は軌跡）に沿って走行するように制御するステップと、を含む車両を制御するための方法を提供する。

【発明の効果】

【0011】

本願にて提供されるオブジェクトをモデリングするための方法、機器、記憶媒体及び車両制御方法は、感知システムによって収集された周囲環境に関連する第１の組の点群フレームを取得し、前記第１の組の点群フレームに基づいて周囲環境におけるオブジェクトの階層表示を生成し、階層表示はオブジェクトの第１の表示を含み、感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得し、第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定し、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定し、前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定する。本願は、まず第１の組の点群フレームに基づいてオブジェクトの階層表示を生成し、さらに後続で収集した第２の組の点群フレームにおけるオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセット、並びに対応する信頼度に基づいて、オブジェクトの階層表示を調整又は細分化するか否かを決定し、観測に基づいてオブジェクトの表示を動的に最適化することを実現し、オブジェクトの表示を観測に伴ってより正確で、より安定的にし、さらにオブジェクトの運動状態を正確に決定することができる。

【図面の簡単な説明】

【0012】

明細書に組み込まれ、本明細書の一部として構成されたた図面は、本願に合致する実施例を示し、さらに明細書とともに本願の原理を説明するために用いられる。

【図1a】本願の１つの例示的なシーンを示す。

【図1b】本願の例示的な実施例による車両の概略図である。

【図2】本願の実施例にて提供されるオブジェクトをモデリングするための方法のフローチャートである。

【図3】本願の別の実施例にて提供されるオブジェクトをモデリングするための方法のフローチャートである。

【図4a】本願の実施例にて提供されるオブジェクトの階層表示である。

【図4b】本願の実施例によるオブジェクトの階層表示のツリー図である。

【図5】本願の例示的な実施例による図２の１つのステップを実現するための例示的なプロセスである。

【図6】本願の例示的な実施例による図２の１つのステップを実現するための別の例示的なプロセスである。

【図7】本願の実施例にて提供される車両を制御するための方法のフローチャートである。

【図8】本願の実施例にて提供されるＢＥＶに基づくターゲット検出方法の概略図である。

【図9】本願の実施例にて提供される視錐台に基づくターゲット検出方法の概略図である。

【図10】本願の実施例にて提供されるオブジェクトをモデリングするための装置の構造図である。

【図11】本願の実施例にて提供される電子機器の構造図である。 本願の明確な実施例は、上記図面により示されており、以下により詳細に説明される。これらの図面及び文字による説明は、本願の概念の範囲を任意の形態で限定するためのものではなく、特定の実施形態を参照することにより当業者に本願の概念を説明するためのものである。

【発明を実施するための形態】

【0013】

ここで、例示的な実施例について詳細に説明し、その例を図面において表示する。以下の説明が図面にかかわる場合、特に断りのない限り、異なる図における同一の数字は同一又は類似の要素を表す。以下の例示的な実施例において説明される実施形態は、本願に一致するすべての実施形態を代表するものではない。これに対して、それらは、添付の特許請求の範囲に詳しく記載されるような、本願のいくつかの態様に一致する装置及び方法の例に過ぎない。

【0014】

自動運転車両は、車両の周辺環境に対応するセンサデータを取り込むために、複数のセンサを含むことができる。環境には、一般的に複数のオブジェクトを含むことができる。ターゲット検出タスクにおいて、バウンティングボックスを用いてオブジェクトの位置及びサイズを識別することができ、すなわち、バウンディングボックスで環境におけるオブジェクトを表すことができる。例えば、地面に平行な二次元表示では、矩形のバウンティングボックスを環境におけるオブジェクトの占有面積及び形状に近似させることにより、環境におけるオブジェクトを表示することができる。従来技術では、一般的に１つのバウンディングボックスで環境における１つのオブジェクトを表示する。

【0015】

環境におけるオブジェクトは関節物体であってもよく、関節物体は互いに接続される少なくとも２つの部分を含み、これらの部分は互いが相対的に回転できる。関節物体の一例は牽引車及びトレーラを含むトラックである。本願の発明者は、単一のバウンディングボックス（例えば、単一の矩形バウンディングボックス）で関節物体を表示すれば、関節物体の正確な運動状態を取得できないことで、関節物体の運動状態の誤った推定を引き起こすことに気付いた。例えば、トラックが旋回する時に、牽引車とトレーラとの間に角度が形成され、単一のバウンディングボックスでトラックを表示する場合に、バウンディングボックスの領域はトラックの実際の占有面積に対応しないことで、トラックの占有面積の過大推定を引き起こす可能性がある。特に、トラックが実際に１つのレーンしか占めていない場合に、トラックのバウンディングボックスは地図中の２つのレーンを占める可能性がある。

【0016】

バウンディングボックスの領域が関節物体の実際の占有面積に対応しないことを解決するために、関節物体の各部分を、１つの独立したオブジェクトとみなし、１つのバウンディングボックスで表示することができる。例えば、トラックの牽引車及びトレーラを、互いに独立した異なるオブジェクトとみなし、異なるバウンディングボックスで表示することができる。そのような表現はより簡単であるが、関節物体の運動規則を正確に表現できず、関節物体の運動状態（例えば、軌跡）推定の難易度を増加させる。例えば、トラックの牽引車は動力を有し、トレーラは動力を有せず、トレーラの運動は牽引車の運動によって制約されることを必要とする。不正確な運動モデルを用いると、牽引車及びトレーラの軌跡を予測する時に、牽引車とトレーラの軌跡が互いに大きくずれることを引き起こす。

【0017】

また、本願人は、自動運転車両と環境におけるオブジェクトとの相対位置関係（例えば、距離及び相対方位）が時間の経過に伴って絶えず変化し、自動運転車両上のセンサによるオブジェクトに対する観測もそれに応じて変化することに気付いた。したがって、環境におけるオブジェクトのモデリングは、自動運転車両と環境におけるオブジェクトとの相対位置関係の変化を考慮しなければならない。

【0018】

本願に記載される技術は、センサデータを処理し、環境におけるオブジェクトの階層表示を動的に生成することにより、オブジェクトを正確に表示し、それにより、車両（例えば、自動運転車両）を環境において前進し、環境における関連オブジェクト（例えば、環境における他の車両）を回避するようにナビゲートするために用いることができる。

【0019】

要すると、本願にて提供されるオブジェクトをモデリングするための方法（すなわち、オブジェクトの階層表示を動的に生成する方法）は、感知システムによって収集されたその周囲環境に関連する第１の組の点群フレームを取得し、前記第１の組の点群フレームに基づいて周囲環境におけるオブジェクトの階層表示を生成し、階層表示はオブジェクトの第１の表示を含み、感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得し、第２の組の点群フレームの各フレームの点群におけるオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定し、第１のサブセット及び第２のサブセットに基づいて、オブジェクトが第１のサブセットに関連する第１の部分を含む第１の信頼度、及び第２のサブセットに関連する第２の部分を含む第２の信頼度を決定し、前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定する。本願は、まず第１の組の点群フレームに基づいてオブジェクトの表示を生成し、さらに後続で収集した第２の組の点群フレームにおけるオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセット、並びに対応する信頼度に基づいて、オブジェクトの表示を調整又は細分化するか否かを決定し、観測に基づいてオブジェクトの表示を動的に最適化することを実現し、オブジェクトの表示を観測に伴ってより正確で、より安定的にし、さらにオブジェクトの運動状態を正確に決定することができる。

【0020】

本願にて提供されるオブジェクトをモデル化する方法（すなわち、オブジェクトの階層表示を動的に生成する方法）は車両を制御するために用いることができる。車両のコンピューティング機器はオブジェクトの階層表示に基づいて車両が走行する経路（又は軌跡）を生成し、車両を生成した経路（又は軌跡）に沿って走行するように制御する。

【0021】

図１ａは異なる時刻での例示的なシーンを示す。図１ａに示すように、第１の時刻、すなわち時刻ｔ１で、車両１００は道路上の１つのレーンを走行し、トラック１１６はその前方で走行し、トラック１１２及び小型乗用車１１４は近くの別のレーンを走行している。このとき、車両１００はトラック１１２から遠く離れ、且つ車両１００のセンサの視野の一部がトラック１１６に遮断されることで、車両１００のセンサは車両１１２を明瞭に観察することができない。第２の時刻、すなわち時刻ｔ２で、車両１００はトラック１１２から時刻ｔ１よりも近く離れることで、このとき、車両１００のセンサは時刻ｔ１よりも車両１１２を明瞭に観察することができる。第３の時刻、すなわち時刻ｔ３で、車両１００はトラック１１２から時刻ｔ２よりも近く離れ、且つ他の車両に遮断されないことで、このとき、車両１００のセンサは時刻ｔ２よりも車両１１２を明瞭に観察することができる。

【0022】

車両１００は自動運転車両であってもよく、自動運転車両１００は走行経路（又は軌跡）を計画する時にトラック１１２、１１６及び小型乗用車１１４の運動状態を考慮することを必要とする。さらに、図１ａはトラック１１２が牽引車及び２つのトレーラを含み、トラック１１６が牽引車及び１つのトレーラを含むことも示す。

【0023】

図１ｂは本願の例示的な実施例による車両（例えば、図１ａに示す車両１００）の概略図を示す。図１ｂに示すように、車両１００は感知システム１０１及びコンピューティング機器１０２を含む。感知システム１０１はセンサシステムとも呼ばれ、例えば、慣性測定ユニット（ＩＭＵ）、全地球航法衛星システム（ＧＮＳＳ）受信機（例えば、全地球測位システム（ＧＰＳ）受信機）、無線検知・測距装置（ＲＡＤＡＲ）システム、レーザ検知・測距（ＬＩＤＡＲ）システム、音響センサ、超音波センサ、及びカメラのうちの１つ又は複数といった複数のセンサを含むことができる。

【0024】

感知システム１０１は車両１００の周囲環境（すなわち、感知システム１０１の周囲環境）に関連するセンサデータを収集する。例えば、感知システム１０１におけるＬＩＤＡＲは車両１００の周囲環境に関連する点群を収集し、感知システム１０１におけるカメラは車両１００の周囲環境に関連する画像を収集するとともに、感知システム１０１におけるＬＩＤＡＲとカメラは重なる視野を有してもよく、このように、同一の時刻又はほぼ同一の時刻で、カメラが収集した画像とＬＩＤＡＲが収集した点群は同じオブジェクトについてのデータを有する。

【0025】

感知システム１０１はこれらのセンサデータ（例えば、点群フレーム）をコンピューティング機器１０２に伝送することができ、コンピューティング機器１０２は車両１００の周囲環境におけるオブジェクトに関連するコンテンツをセンサデータから検出又は識別することができる。例えば、コンピューティング機器１０２は車両１００の周囲環境のオブジェクト（例えば、図１ａのトラック１１２若しくは１１６、又は小型乗用車１１４）に関連する点をＬＩＤＡＲが収集した点群から検出又は識別する。関節物体のようなオブジェクトに対して、コンピューティング機器１０２はオブジェクト全体及びオブジェクトの各部分にそれぞれ対応する点を点群から検出又は識別し、さらにオブジェクト全体及びそれが含む各部分に対して対応する表示をそれぞれ生成し、これにより、オブジェクトの階層表示を生成する。オブジェクトの表示（すなわち、オブジェクト全体の表示）及びオブジェクトの各部分の表示の例は、例えば、矩形のバウンディングボックスのようなバウンディングボックスである。

【0026】

例えば、図１ａを参照するとともに図１ｂに合わせると、時刻ｔ１で、車両１００はトラック１１２から遠く離れる。コンピューティング機器１０２が感知システム１０１によって時刻ｔ１で収集された点群フレーム（すなわち、第１の組の点群フレーム）からトラック１１２を検出又は識別すれば、トラック１１２の階層表示１０３ａを生成する。このとき、車両１００がトラック１１２から遠く離れるため、コンピューティング機器１０２は第１の組の点群フレームからトラック１１２の詳細を識別できず（例えば、トラックがトレーラを含むか否かを決定できない）、したがって、生成されたトラックの階層表示１０３ａはトラック１１２全体に対応する表示（以下、第１の表示と称する）のみを含み、すなわち、１つのみのバウンディングボックスを含む。図１ａに示すように、時刻ｔ２で、車両１００はトラック１１２から時刻ｔ１よりも近く離れる。コンピューティング機器１０２が感知システム１０１によって時刻ｔ２で収集された点群フレーム（すなわち、第２の組の点群フレーム）からトラックの牽引車及びトレーラ（すなわち、トラックの第１の部分及び第２の部分）を検出又は識別すれば、階層表示１０３ａを調整又は変更し、トラック１１２の階層表示１０３ｂを得る。このとき、車両１００がトラック１１２から近く離れるため、コンピューティング機器１０２は、第２の組の点群フレームから、トラック１１２が牽引車を含むだけでなく、さらにトレーラを含むことを判断できるが、トラックが複数のトレーラを含むことを決定できない。したがって、得られたトラックの階層表示１０３ｂはトラック全体に対応する第１の表示、トラックの牽引車に対応する第２の表示、トラックのトレーラに対応する第３の表示を含む。図１ａに示すように、時刻ｔ３で、車両１００はトラック１１２から時刻ｔ２よりも近く離れ、且つトラック１１６に遮断されない。コンピューティング機器１０２が感知システム１０１によって時刻ｔ３で収集された点群フレーム（すなわち、第３の組の点群フレーム）からトラックの牽引車を検出又は識別するだけでなく、さらにトレーラの２つのトレーラ（すなわち、トラックの第３の部分及び第４の部分）を検出又は識別すれば、階層表示１０３ｂを調整又は変更し、トラック１１２の階層表示１０３ｃを得る。このとき、車両１００がトラック１１２から近く離れるため、コンピューティング機器１０２は、第３の組の点群フレームから、トラック１１２が２つのトレーラを含むことを明らかに判断できる。したがって、得られたトラックの階層表示１０３ｃはトラック全体に対応する第１の表示、トラックの牽引車に対応する第２の表示、トラックのトレーラ（すなわち、第１のトレーラ及び第２のトレーラ全体）に対応する第３の表示、トラックの第１のトレーラに対応する第４の表示、トラックの第２のトレーラに対応する第５の表示を含む。これによりトラック１１２の正確なモデリングが実現される。コンピューティング機器１０２は、トラック１１２を正確にモデリングする上で、トラック１１２の運動状態を正確に決定することができる。

【0027】

図２は本願の実施例にて提供されるオブジェクトをモデリングするための方法のフローチャートである。本実施例にて提供されるオブジェクトをモデリングするための方法は、その実行主体が任意の電子機器であり、例えば、図１ｂに示すコンピューティング機器１０２である。

【0028】

図２に示すように、ステップＳ２０１において、感知システムによって収集された周囲環境に関連する第１の組の点群フレームを取得する。第１の組の点群フレームは１フレーム又は複数フレームの点群を含む。

【0029】

車両（例えば、図１ａ及び図１ｂに示す車両１００）は、走行時に、感知システム（例えば、図１ｂに示す感知システム１０１）を用いて車両１００の周囲環境（すなわち、感知システム１０１の周囲環境）に関連するセンサデータを収集することができる。感知システムによって収集されたセンサデータは、例えば、感知システムにおけるＬＩＤＡＲによって収集された車両１００の周囲環境に関連する点群、感知システムにおけるカメラによって収集された車両１００の周囲環境に関連する画像を含む。感知システム１０１はＬＩＤＡＲによって収集された１フレーム又は複数フレームの点群（例えば、第１の組の点群フレーム）をコンピューティング機器１０２に送信することができる。点群に加えて、感知システム１０１はカメラによって収集された１フレーム又は複数フレームの画像又は他のセンサによって収集されたデータをコンピューティング機器１０２に送信することができる。

【0030】

環境におけるいくつかのオブジェクト（例えば、図１ａのトラック１１２及び１１６）は関節物体である可能性があり、別のオブジェクトは非関節物体（例えば、図１ａの小型乗用車１１４）である可能性がある。関節物体は相対的に回転できる少なくとも２つの部分を含む。例を挙げると、当該関節物体は、牽引車と、牽引車上の特定の点に対して回転可能なトレーラとを含むトラックである。トラックが複数のトレーラを含む場合、一方のトレーラは他方のトレーラ上の特定の点に対して回転可能である。

【0031】

ステップＳ２０２において、前記第１の組の点群フレームに基づいて周囲環境におけるオブジェクトの階層表示を生成し、階層表示はオブジェクトの第１の表示を含む。

【0032】

コンピューティング機器１０２が感知システム１０１から第１の組の点群フレームを含むセンサデータを受信した後、コンピューティング機器１０２は、様々なターゲット検出方法を用いて第１の組の点群フレームに対してターゲット検出を行うことができ、車両の周囲環境におけるオブジェクト（例えば、図１ａのトラック１１２）に関連する１組の点を第１の組の点群フレームから決定することができる。

【0033】

感知システム１０１が第１の組の点群フレームを収集する場合、車両１００がオブジェクトから遠く離れるか、又はオブジェクトが部分的に遮断されると、感知システム１０１におけるセンサによるオブジェクトに対する観測が不明瞭であるか、オブジェクトの一部しか観測できない可能性がある。このとき、コンピューティング機器１０２は第１の組の点群フレームに基づいて、オブジェクトが相対的に回転可能な少なくとも２つの部分を含むか否かを判断できず、オブジェクト全体の表示（すなわち、オブジェクトの第１の表示）はオブジェクトの階層表示を構成する。すなわち、このとき、オブジェクトの階層表示はオブジェクトの第１の表示のみを含む。例えば、感知システム１０１が図１ａの時刻ｔ１で第１の組の点群フレームを収集する時、車両１００のセンサはトラック１１２の牽引車しか観測できず、トラック１１２のトレーラを観測できない。コンピューティング機器１０２はトラック１１２に関連する１組の点を決定し、この組の点に基づいてトラック１１２全体の表示を生成する。このとき、トラック１１２全体の表示はトラック１１２の階層表示を構成する。

【0034】

オブジェクトの第１の表示の例は、例えば、矩形のバウンディングボックスのようなバウンディングボックスである。

【0035】

ステップＳ２０３において、感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得する。

【0036】

本実施例では、周囲環境に関連する第２の組の点群フレームは感知システム１０１が第１の組の点群フレームを収集した後に収集した１フレーム又は複数フレームの点群である。時間の経過に伴い、感知システム１０１とオブジェクトとの距離がより近くなるか、又はオブジェクトが遮断されなくなる可能性があり、感知システム１０１はオブジェクトのより多くの部分又は詳細を観測できるため、第２の組の点群フレームはオブジェクトのより多くの部分又は詳細をさらに詳しく反映することができ、条件を満たす場合に第２の組の点群フレームに基づいてオブジェクトの階層表示を細分化することができる。

【0037】

例えば、感知システム１０１は図１ａの時刻ｔ１で第１の組の点群フレームを収集し、図１ａの時刻ｔ１の後、時刻ｔ２の前（又は時刻ｔ２）に第２の組の点群フレームを収集する。感知システム１０１が第２の組の点群フレームを収集する時刻が時刻ｔ２に近づけば近づくほど、車両１００がトラック１１２から離れる距離が近くなり、車両１００のセンサによるトラック１１２に対する観測が明瞭になる。

【0038】

ステップＳ２０４において、第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定する。

【0039】

コンピューティング機器１０２は感知システム１０１から第２の組の点群フレームを含むセンサデータを受信した後、第２の組の点群フレームの各フレームの点群から車両の周囲環境におけるオブジェクト（当該オブジェクトは第１の組の点群フレームから検出したオブジェクトと同じである）に関連する１組の点を決定し、当該組の点の複数のサブセット、例えば第１のサブセット及び第２のサブセットを決定し、この組の点のサブセットに基づいて当該オブジェクトの１つ又は複数の部分の表示（例えば、バウンティングボックス）を生成することができる。

【0040】

ここで、コンピューティング機器１０２は様々なターゲット検出方法を用いて第２の組の点群フレームに対してターゲット検出を行い、第２の組の点群フレームの各フレームの点群におけるオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定することができる。

【0041】

ステップＳ２０５において、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定する。

【0042】

コンピューティング機器１０２は第２の組の点群フレームの各フレームの点群における環境のオブジェクトに関連する１組の点を決定し、また、この組の点のサブセット（例えば、第１のサブセット及び第２のサブセット）を決定しながら、又はその後に、コンピューティング機器１０２は第１のサブセットの少なくとも一部又は全て、及び第２のサブセットの少なくとも一部又は全てに基づいて、第１のサブセットに対応する第１の信頼度及び第２のサブセットに対応する第２の信頼度を決定することができる。

【0043】

ステップＳ２０６において、前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定する。

【0044】

コンピューティング機器１０２は第１のサブセットに対応する第１の信頼度（すなわち、オブジェクトが第１のサブセットに関連する第１の部分を含む信頼度）及び第２のサブセットに対応する第２の信頼度（すなわち、オブジェクトが第２のサブセットに関連する第２の部分を含む信頼度）に基づいて、オブジェクトの階層表示を変更するか否かを決定する。例えば、コンピューティング機器１０２は第１の信頼度及び第２の信頼度と所定の閾値との関係を判断することにより、オブジェクトの階層表示を変更するか否かを判断する。ここで、所定の閾値は経験に応じて決定することができる。第１の信頼度及び第２の信頼度がいずれも低い（例えば所定の閾値よりも低い）場合は、検出結果が不正確であることを示し、当該検出結果を廃棄し、第１の信頼度及び第２の信頼度のうち少なくとも一方が所定の閾値以上である場合は、オブジェクトの階層表示を変更する。

【0045】

いくつかの実施例では、前記第１の信頼度及び前記第２の信頼度がいずれも所定の閾値よりも低いことに応答して、前記オブジェクトの階層表示をそのまま維持する。すなわち、第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも低いと決定した場合は、検出結果が不正確であり、すなわち、オブジェクトに関連する１組の点から決定された第１のサブセット及び第２のサブセットが不正確であることを示し、したがって、当該検出結果を廃棄し、第１のサブセット及び第２のサブセットに基づいてオブジェクトの第１の部分の表示、及びオブジェクトの第２の部分の表示を生成せず、依然としてＳ２０２で生成されたオブジェクトの階層表示を使用する。

【0046】

いくつかの実施例では、前記第１の信頼度及び第２の信頼度のうち一方が所定の閾値よりも低く、他方が所定の閾値以上であることに応答して、前記オブジェクトの表示を調整する（例えば、ステップＳ２０２で生成されたオブジェクトの第１の表示のサイズ及び形状のうち少なくとも一方を変更する）。例えば、第１の信頼度が所定の閾値以上であり、第２の信頼度が所定の閾値よりも低いと決定した場合、第１のサブセットに基づいてオブジェクトの第１の部分の表示を生成するとともに、ステップＳ２０２で生成された第１の表示のサイズ及び形状のうち少なくとも一方を変更し、それをオブジェクトの第１の部分の表示と同じようにする。

【0047】

例えば、第１のサブセットに関連する第１の部分はトラックの牽引車であり、第２のサブセットに関連する第２の部分はトラックのトレーラである。第１のサブセットに対応する第１の信頼度は所定の閾値以上であり、第２のサブセットに対応する第２の信頼度は所定の閾値よりも低く、これは牽引車にトレーラが接続されず、又はトレーラが遮断されることを示す。コンピューティング機器１０２はステップＳ２０２で生成された当該オブジェクトの階層表示を変更することができ、すなわち、ステップＳ２０２で生成された第１の表示を第１のサブセットに基づいて生成された牽引車の表示と同じに調整する。

【0048】

いくつかの実施例では、前記第１の信頼度及び第２の信頼度がいずれも所定の閾値以上であることに応答して、第１のサブセット及び第２のサブセットに基づいて前記オブジェクトの第１の部分の第２の表示、及び前記オブジェクトの第２の部分の第３の表示を生成する。いくつかの実施例では、前記第１の信頼度及び第２の信頼度がいずれも所定の閾値以上であることに応答して、コンピューティング機器１０２は、また、第２の組の点群フレームにおける環境のオブジェクトに関連する１組の点に基づいて、ステップＳ２０２で生成された当該オブジェクトの第１の表示を調整する（例えば、ステップＳ２０２で生成されたオブジェクトの第１の表示のサイズ及び形状のうち少なくとも一方を変更する）。

【0049】

第１の信頼度及び第２の信頼度がいずれも所定の閾値以上であると決定した場合は、感知システム１０１が関節物体を明瞭に観測し、且つ感知システム１０１が関節物体の少なくとも２つの部分を明瞭に観測することを示し、したがって、第１のサブセット及び第２のサブセットに基づいてオブジェクトの第１の部分の第２の表示、及びオブジェクトの第２の部分の第３の表示を生成するとともに、ステップＳ２０２で生成された当該オブジェクトの階層表示を前記第１の部分の第２の表示及び前記第２の部分の第３の表示をさらに含むように変更する。選択可能に、オブジェクトの第１の部分の第２の表示、及びオブジェクトの第２の部分の第３の表示は少なくとも一部がオブジェクトの第１の表示内に位置する。ここで、オブジェクトの第１の表示及びオブジェクトの各部分の表示（すなわち、第２の表示及び第３の表示）の例は、例えば、矩形のバウンディングボックスのようなバウンディングボックスである。

【0050】

図１ａを例とすると、第２の組の点群フレームが感知システム１０１によって図１ａの時刻ｔ２で収集されるものであり、第１のサブセットに関連する第１の部分及び第２のサブセットに関連する第２の部分はそれぞれトラック１１２の牽引車及びトレーラに対応すれば、このとき、感知システム１０１が牽引車及びトレーラを明瞭に観測できるため、第１の信頼度及び第２の信頼度はいずれも所定の閾値以上である。

【0051】

図１ａの時刻ｔ１からｔ２までの間に、感知システム１０１によるトラック１１２に対する観測が徐々に明瞭になり、したがって、第２の組の点群フレームが感知システム１０１によって図１ａの時刻ｔ１の後、ｔ２の前に収集されたものであれば、第２の組の点群フレームの収集時刻がｔ２に近づけば近づくほど、第１の信頼度及び第２の信頼度は大きくなり、ｔ１に近づけば近づくほど、第１の信頼度及び第２の信頼度は小さくなる。

【0052】

図３は本願の別の実施例にて提供されるオブジェクトをモデリングするための方法（すなわち、オブジェクトの階層表示を動的に生成するための方法）のフローチャートを示す。図３に示す方法の実行主体は、例えば、図１ｂに示すコンピューティング機器１０２のような任意の電子機器である。図２の方法に比べて、図３の方法はオブジェクトをより詳細にモデリングする。図３のステップＳ３０１～Ｓ３０６は、図２のステップＳ２０１～Ｓ２０６と同じであるため、以下、これらのステップについて詳細な説明は省略する。図３に示すように、ステップＳ３０１において、感知システムによって収集された周囲環境に関連する第１の組の点群フレームを取得する。第１の組の点群フレームは１フレーム又は複数フレームの点群を含む。ステップＳ３０２において、前記第１の組の点群フレームに基づいて周囲環境におけるオブジェクトの階層表示を生成し、階層表示はオブジェクトの第１の表示を含む。ステップＳ３０３において、感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得する。ステップＳ３０４において、第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定する。ステップＳ３０５において、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定する。ステップＳ３０６において、前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定する。

【0053】

図３に示すように、ステップＳ３０７において、感知システムによって収集された周囲環境に関連する第３の組の点群フレームを取得する。

【0054】

周囲環境に関連する第３の組の点群フレームは感知システム１０１が第２の組の点群フレームを収集した後に収集した１フレーム又は複数フレームの点群である。時間の経過に伴い、感知システム１０１とオブジェクトとの距離がより近くなる可能性があり、又はオブジェクトが遮断されなくなり、感知システム１０１はオブジェクトのより多くの部分又は詳細を観測できる。したがって、第３の組の点群フレームはオブジェクトのより多くの部分又は詳細をさらに詳しく反映することができ、条件を満たす場合に第３の組の点群フレームに基づいてオブジェクトの階層表示を細分化することができる。

【0055】

例えば、感知システム１０１は図１ａの時刻ｔ２で第２の組の点群フレームを収集し、図１ａの時刻ｔ２の後、時刻ｔ３の前（又は時刻ｔ３）に第３の組の点群フレームを収集する。感知システム１０１が第３の組の点群フレームを収集する時刻が時刻ｔ３に近づけば近づくほど、車両１００がトラック１１２から離れる距離が近くなり、車両１００のセンサによるトラック１１２に対する観測が明瞭になる。

【0056】

ステップＳ３０８において、第３の組の点群フレームの各フレームの点群における前記オブジェクトの第２の部分に関連する１組の点及び当該組の点の第３のサブセットと第４のサブセットを決定する。

【0057】

コンピューティング機器１０２は感知システム１０１から第３の組の点群フレームを含むセンサデータを受信した後、第３の組の点群フレームの各フレームの点群から車両の周囲環境におけるオブジェクト（当該オブジェクトは第１の組の点群フレーム及び第２の組の点群フレームから検出したオブジェクトと同じである）の各部分（例えば、図１ａのトラック１１０のトレーラのような第２の部分）に関連する１組の点を決定し、当該組の点の複数のサブセット、例えば第３のサブセット及び第４のサブセット（例えば、トラックの第１のトレーラ及び第２のトレーラ）を決定し、この組の点のサブセットに基づいて当該オブジェクトの第２の部分の１つ又は複数の部分の表示（例えば、バウンティングボックス）を生成することができる。

【0058】

ここで、コンピューティング機器１０２は様々なターゲット検出方法を用いて第３の組の点群フレームに対してターゲット検出を行い、第３の組の点群フレームの各フレームの点群におけるオブジェクトの第２の部分に関連する１組の点及び当該組の点のサブセット（すなわち、第３のサブセットと第４のサブセット）を決定することができる。

【0059】

ステップＳ３０９において、第３のサブセット及び第４のサブセットに基づいて、前記第２の部分が前記第３のサブセットに関連する第３の部分を含む第３の信頼度、及び前記第４のサブセットに関連する第４の部分を含む第４の信頼度を決定する。

【0060】

コンピューティング機器１０２は第３の組の点群フレームにおける環境のオブジェクトの第２の部分に関連する１組の点を決定し、また、この組の点のサブセット（例えば、第３のサブセット及び第４のサブセット）を決定しながら、又はその後、コンピューティング機器１０２は第３のサブセット及び第４のサブセットの信頼度（すなわち、第３のサブセットに対応する第３の信頼度及び第４のサブセットに対応する第４の信頼度）を同時に決定することができる。

【0061】

ステップＳ３１０において、前記第３の信頼度及び前記第４の信頼度に基づいて前記オブジェクトの階層表示をさらに変更するか否かを決定する。コンピューティング機器１０２は第３のサブセットに対応する第３の信頼度（すなわち、オブジェクトの第２の部分が第３のサブセットに関連する第３の部分を含む信頼度）及び第４のサブセットに対応する第４の信頼度（すなわち、オブジェクトの第２の部分が第４のサブセットに関連する第４の部分を含む信頼度）に基づいて、オブジェクトの階層表示をさらに変更するか否かを決定する。例えば、コンピューティング機器１０２は第３の信頼度及び第４の信頼度と所定の閾値との関係を判断することにより、オブジェクトの階層表示を変更するか否かを判断する。第３の信頼度及び第４の信頼度がいずれも低い（例えば所定の閾値よりも低い）場合は、検出結果が不正確であることを示し、当該検出結果を廃棄し、第３の信頼度及び第４の信頼度のうち少なくとも一方が所定の閾値以上であると決定した場合は、オブジェクトの階層表示を変更する。

【0062】

いくつかの実施例では、前記第３の信頼度及び第４の信頼度がいずれも所定の閾値以上であることに応答して、第３のサブセット及び第４のサブセットに基づいて前記オブジェクトの第３の部分の第４の表示、及び前記オブジェクトの第４の部分の第５の表示を生成する。また、オブジェクトの階層表示を第３の部分の第４の表示及び第４の部分の第５の表示をさらに含むように変更する。いくつかの実施例では、前記第３の信頼度及び第４の信頼度がいずれも所定の閾値以上であることに応答して、コンピューティング機器１０２は第３の組の点群フレームに基づいて当該オブジェクトの第１の表示、オブジェクトの第１の部分の第２の表示、及びオブジェクトの第２の部分の第３の表示のうち少なくとも一方を調整する。

【0063】

第３の信頼度及び第４の信頼度がいずれも所定の閾値以上であると決定した場合、感知システム１０１は関節物体が少なくとも３つの部分を含むことを明瞭に観測することが示される。図４は、このとき、オブジェクト全体の表示、及び観測したオブジェクトの各部分（オブジェクトの第１の部分、オブジェクトの第２の部分、オブジェクトの第３の部分、オブジェクトの第４の部分）の表示を含むオブジェクトの階層表示を示す。選択可能に、オブジェクトの第２の部分に含まれる第３の部分の第４の表示、及びオブジェクトの第２の部分に含まれる第４の部分の第５の表示は少なくとも一部がオブジェクトの第２の部分の第３の表示内に位置する。

【0064】

図１ａを例とすると、第３の組の点群フレームが感知システム１０１によって図１ａの時刻ｔ３で収集されるものであり、第３のサブセットに関連する第３の部分及び第４のサブセットに関連する第４の部分はそれぞれトラック１１２の異なるトレーラに対応すれば、このとき、感知システム１０１が各トレーラを明瞭に観測できるため、第３の信頼度及び第４の信頼度はいずれも所定の閾値以上である。

【0065】

図１ａの時刻ｔ２からｔ３までの間に、感知システム１０１によるトラック１１２に対する観測が徐々に明瞭になり、したがって、第３の組の点群フレームが感知システム１０１によって図１ａの時刻ｔ２の後、ｔ３の前に収集されたものであれば、第３の組の点群フレームの収集時刻がｔ３に近づけば近づくほど、第３の信頼度及び第４の信頼度は大きくなり、ｔ２に近づけば近づくほど、第３の信頼度及び第４の信頼度は小さくなる。

【0066】

選択可能に、前記第３の信頼度及び前記第４の信頼度がいずれも所定の閾値以上であり、検出結果が不正確であることを示し、当該検出結果を廃棄することに応答して、前記オブジェクトの階層表示をそのまま維持する。

【0067】

選択可能に、前記第３の信頼度及び第４の信頼度のうち一方が所定の閾値よりも低く、他方が所定の閾値以上であることに応答して、オブジェクトの表示を調整する（例えば、オブジェクトの第３の表示のサイズ及び形状のうち少なくとも一方を変更する）。例えば、第３の信頼度が所定の閾値以上であり、第４の信頼度が所定の閾値よりも低いと決定した場合、第３のサブセットに基づいてオブジェクトの第３の部分の第４の表示を生成するとともに、第３の表示のサイズ及び形状のうち少なくとも一方を変更し、それをオブジェクトの第３の部分の第４の表示と同じようにする。

【0068】

なお、オブジェクトの第２部分が第３の部分、第４の部分に加えて、さらに多くの部分を含めば、残りの部分も上記と同じプロセスを用いて対応する表示を生成することができ、ここで、重複する説明は省略する。また、オブジェクトの第１の部分も異なる部分を含めば、上記と同じプロセスを用いて対応する表示を生成することもできる。

【0069】

本実施例にて提供されるオブジェクトをモデリングするための方法は、感知システムによって収集された周囲環境に関連する第１の組の点群フレームを取得し、前記第１の組の点群フレームに基づいて周囲環境におけるオブジェクトの階層表示を生成し、階層表示はオブジェクトの第１の表示を含み、感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得し、第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定し、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定し、前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定する。本実施例は、まず第１の組の点群フレームに基づいてオブジェクトの階層表示を生成し、さらに後続で収集した第２の組の点群フレームにおけるオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセット、並びに対応する信頼度に基づいて、オブジェクトの階層表示を調整又は細分化するか否かを決定し、観測に基づいてオブジェクトの表示を動的に最適化することを実現し、オブジェクトの表示を観測に伴ってより正確で、より安定的にし、さらにオブジェクトの運動状態を正確に決定することができる。

【0070】

図４は本願の例示的な実施例による感知システム（例えば、車両１００の感知システム１０１）が収集したセンサデータにより生成されたオブジェクト（例えば、トラックのような関節物体）の階層表示（例えば、図１ｂを参照して上述した階層表示１０３ｃ又は図３を参照して生成された階層表示）の例を示す。

【0071】

図４ａに示すように、トラックの階層表示４１０はバウンディングボックス４１１を含む。バウンディングボックス４１１は第１の組の点群フレームにおけるトラックに関連する１組の点によって決定される。バウンディングボックス４１１の形状及びサイズはトラック全体の形状及びサイズに対応する。すなわち、バウンディングボックス４１１の形状及びサイズはトラックの形状及びサイズに近似する。

【0072】

トラックの階層表示はバウンディングボックス４１２をさらに含む。バウンディングボックス４１２は別の時刻での第２の組の点群フレームにおけるトラックに関連する１組の点のサブセット（すなわち、別の時刻での第２の組の点群フレームにおける牽引車に関連する点のセット）によって決定される。バウンディングボックス４１２の形状及びサイズは牽引車の形状及びサイズに対応する。つまり、バウンディングボックス４１２の形状及びサイズは牽引車の形状及びサイズに近似する。

【0073】

トラックの階層表示はバウンディングボックス４１３をさらに含む。バウンディングボックス４１３は第２の組の点群フレームにおけるトラックに関連する１組の点のサブセット（すなわち、第２の組の点群フレームにおけるトレーラに関連する点のセット）によって決定される。バウンディングボックス４１３の形状及びサイズはトレーラの形状及びサイズに対応する。すなわち、バウンディングボックス４１３の形状及びサイズはトレーラの形状及びサイズに近似する。図４ａでは、バウンディングボックス４１２及びバウンディングボックス４１３は完全にバウンディングボックス４１１内に位置する。

【0074】

トラックが複数のトレーラ（例えば、トレーラ１及びトレーラ２）を含む場合、トラックの階層表示はバウンディングボックス４１４及びバウンディングボックス４１５をさらに含む。バウンディングボックス４１４及び４１５はさらに別の時刻での第３の組の点群フレームにおけるトレーラに関連する点のセットのサブセット（すなわち、第３の組の点群フレームにおけるトレーラ１に関連する点及び第３の組の点群フレームにおけるトレーラ２に関連する点）によって決定される。バウンディングボックス４１４及び４１５の形状及びサイズはトレーラ１及びトレーラ２の形状及びサイズに対応する。すなわち、バウンディングボックス４１４及び４１５の形状及びサイズはトレーラ１及びトレーラ２の形状及びサイズに近似する。図４ａでは、バウンディングボックス４１４及びバウンディングボックス４１５は完全にバウンディングボックス４１３内に位置する。

【0075】

図４ｂは関節物体（例えば、トラック）の階層表示のツリー図４２０である。図４ｂに示すように、ツリー図４２０の第１の階層は、例えば、図４ａ中のバウンディングボックス４１１のようなトラック全体の表示に対応するノード４２１を含む。つまり、トラック全体の表示はトラックの階層表示の第１の階層にある。ツリー図４２０の第２の階層は、例えば、図４ａ中のバウンディングボックス４１２及び４１３のような牽引車の表示及びトレーラ全体の表示にそれぞれ対応するノード４２２及びノード４２３を含む。つまり、牽引車の表示及びトレーラ全体の表示はトラックの階層表示の第２の階層にある。ツリー図４２０の第３の階層のノード４２４及びノード４２５は、例えば、図４ａ中のバウンディングボックス４１４及び４１５のような異なるトレーラ（例えば、トレーラ１及びトレーラ２）の表示にそれぞれ対応する。つまり、トレーラ１及びトレーラ２の表示はトラックの階層表示の第３の階層にある。トラックが牽引車と、例えば、トレーラ１及びトレーラ２のような２つのトレーラとを含み、車両１００の近くに位置するとする。車両１００の感知システム１０１が当該トラックの牽引車及び２つのトレーラを観測できる場合、車両１００のコンピューティング機器１０２が当該トラックのために生成した階層表示は、図４ｂに示すように、３つの階層を含む。車両の感知システム１０１は当該トラックを完全に観測できず、例えば、当該トラックの牽引車及び１つのトレーラしか観測できない場合、車両１００のコンピューティング機器１０２が当該トラックのために生成した階層表示は、第１の階層及び第２の階層の２つの階層を含む。車両の感知システム１０１は当該トラックを完全に観測できず、例えば、当該トラックの牽引車しか観測できない場合、車両１００のコンピューティング機器１０２が当該トラックのために生成した階層表示は、第１の階層の１つの階層のみを含む。

【0076】

図５は本願の例示的な実施例による１つのプロセスであり、図２のステップＳ２０５（及び図３のステップＳ３０５）であって、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップを実現するために用いられる。図５に示すプロセスの実行主体は、例えば、図１ｂに示すコンピューティング機器１０２のような任意の電子機器である。

【0077】

図５に示すように、ステップ５０１において、第２の組の点群フレームの各フレームの点群に対して、第１のサブセットに基づいて前記オブジェクトが前記第１の部分を含む第１の確率を決定し、
ステップ５０２において、第２の組の点群フレームの各フレームの点群に対して、第２のサブセットに基づいて前記オブジェクトが前記第２の部分を含む第２の確率を決定し、
ステップ５０３において、第２の組の点群フレームの複数フレームの点群の第１の確率を累積し、第２の組の点群フレームの複数フレームの点群の第２の確率を累積する。

【0078】

第２の組の点群フレームの各フレームの点群の第１のサブセットに対して、オブジェクトが第１の部分を含む確率を決定し、第１の確率と記し、第２の組の点群フレームの各フレームの点群フレームに対応する第１の確率を累積し、得た結果をオブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度として決定することができ、同様に、第２の組の点群フレームの各フレームの点群の第２のサブセットに対して、オブジェクトが第２の部分を含む確率を決定し、第２の確率と記し、第２の組の点群フレームの各フレームの点群フレームに対応する第２の確率を累積し、得た結果をオブジェクトが前記第２のサブセットに関連する第２の部分を含む第２の信頼度として決定することができる。

【0079】

図６は本願の別の例示的な実施例による１つのプロセスであり、図２のステップＳ２０５（及び図３のステップＳ３０５）において、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップを実現するために用いられる。図６に示すプロセスの実行主体は、例えば、図１ｂに示すコンピューティング機器１０２のような任意の電子機器である。図６のステップＳ６０１～Ｓ６０３は、図５のステップＳ５０１～Ｓ５０３と同じであるため、以下、これらのステップについて詳細な説明は省略する。図６に示すように、ステップ６０１において、第２の組の点群フレームの各フレームの点群に対して、第１のサブセットに基づいて前記オブジェクトが前記第１の部分を含む第１の確率を決定し、ステップ６０２において、第２の組の点群フレームの各フレームの点群に対して、第２のサブセットに基づいて前記オブジェクトが前記第２の部分を含む第２の確率を決定し、ステップ６０３において、第２の組の点群フレームの複数フレームの点群の第１の確率を累積し、第２の組の点群フレームの複数フレームの点群の第２の確率を累積する。

【0080】

図６に示すように、ステップ６０４において、第２の組の点群フレームの各フレームの点群に対して、第１のサブセット及び第２のサブセットに基づいて前記オブジェクトが前記第１の部分を含む第１の関連確率を決定し、
ステップ６０５において、第２の組の点群フレームの各フレームの点群に対して、第１のサブセット及び第２のサブセットに基づいて前記オブジェクトが前記第２の部分を含む第２の関連確率を決定し、
ステップ６０６において、第２の組の点群フレームの複数フレームの点群の第１の関連確率を累積し、第２の組の点群フレームの複数フレームの点群の第２の関連確率を累積する。

【0081】

オブジェクトに関連する１組の点が第１のサブセット及び第２のサブセットを含む場合、オブジェクトに関連する１組の点のうちいずれか１つの点は第１のサブセット又は第２のサブセットに属する。すなわち、オブジェクトに関連する１組の点のうちいずれか１つの点が第１のサブセットに属する確率は、第１のサブセットだけでなく第２のサブセットからも影響を受け、オブジェクトに関連する１組の点のうちいずれか１つの点が第２のサブセットに属する確率は、第２のサブセットだけでなく第１のサブセットからも影響を受ける。したがって、第２の組の点群フレームの各フレームの点群に対して、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１の部分を含む第１の関連確率を決定することができ、第２の組の点群フレームの各フレームの点群フレームに対応する第１の関連確率を累積し、それを累積された第１の確率とかけて得た結果をオブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度として決定することができ、同様に、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第２の部分を含む第２の関連確率を決定し、第２の組の点群フレームの各フレームの点群フレームに対応する第２の関連確率を累積し、それを累積された第２の確率とかけて得た結果をオブジェクトが前記第２のサブセットに関連する第２の部分を含む第２の信頼度として決定することができる。

【0082】

選択可能な実施例では、第２の組の点群フレームの各フレームの点群の第１の関連確率を累積し、得た結果をオブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度として決定することができ、第２の組の点群フレームの各フレームの点群の第２の関連確率を累積し、得た結果をオブジェクトが前記第２のサブセットに関連する第２の部分を含む第２の信頼度として決定することができる。

【0083】

いくつかの実施例では、予めセンサ（例えば、ＬＩＤＡＲ）を用いて特定の環境に関連する１フレーム又は複数フレームの点群を取得し、且つ各フレームの点群が当該環境における関節物体に関連する１組の点、関節物体の第１の部分に対応する当該組の点の第１のサブセット、関節物体の第２の部分に対応する当該組の点の第２のサブセットをラベル付けする（例えば、手動でラベル付けする）。これらの点群とラベル付け結果をデータセットとして記憶される。続いて、各フレームの点群に対して、環境におけるオブジェクト（すなわち、関節物体）と、当該点群を収集する時のＬＩＤＡＲとの距離を決定し、本願の上記した方法を用いてデータセットにおける環境のオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定し、第１のサブセットに基づいて前記オブジェクトが前記第１の部分を含む第１の確率を決定し、第２のサブセットに基づいて前記オブジェクトが前記第２の部分を含む第２の確率を決定し、続いてラベル付け結果に合わせて各第１の確率及び各第２の確率に対応する正確率を決定する。このように、各フレームの点群に対して、算出した正確率を、当該点群を収集する時に当該オブジェクトとＬＩＤＡＲとの距離に対応させてデータセットに記憶する。

【0084】

第２の組の点群フレームの各フレームの点群に対応する第１の確率及び第２の確率に対して、対応する正確率をそれぞれ決定する場合、まず第２の組の点群フレームの各フレームの点群フレームに基づいてオブジェクトと感知システムとの間の距離を決定し、記憶するデータセットからそれと同じ距離（それとの差が最も小さい距離）に対応する確率を選択し、第２の組の点群フレームの当該フレームの点群に対応する第１の確率及び第２の確率の正確率とすることができる。それに応じて、図５及び図６のプロセスは、ステップＳ５０３又はステップＳ６０３において、第１の確率及び第２の確率を累積する前に、予め記憶されたデータセットに基づいて、第２の組の点群フレームの各フレームの点群に対応する第１の確率及び第２の確率に対して対応する正確率をそれぞれ決定するステップをさらに含むことができる。このとき、ステップＳ５０３又はステップＳ６０３において第１の確率及び第２の確率を累積するステップは、
各第１の確率に対して、対応する正確率を用いて補正するステップと、
各第２の確率に対して、対応する正確率を用いて補正するステップと、
第２の組の点群フレームの複数フレームの点群に対応する補正された第１の確率及び補正された第２の確率を累積するステップと、を含む。

【0085】

第２の組の点群フレームの各フレームの点群フレームの第１の確率を累積する時にも、第１の確率に対応する正確率をかけて、得た結果（又は得た結果を第１の関連確率の累積にかける）をオブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度として決定し、第２の組の点群フレームの各フレームの点群フレームの第２の確率を累積する時にも、第２の確率に対応する正確率をかけて、得た結果（又は得た結果を第２の関連確率の累積にかける）をオブジェクトが前記第２のサブセットに関連する第２の部分を含む第２の信頼度として決定する。

【0086】

正確率が考慮される場合に、下記式を用いてオブジェクトの任意部分の信頼度を決定することができる。

【0087】

【0088】

【0089】

【0090】

【0091】

なお、上記式は、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定することに適用可能であり、第２の部分が第３の部分を含む信頼度、及び第４の部分を含む信頼度を決定することにも適用可能である。

【0092】

図７は車両（例えば、図１ａ及び図１ｂ中の車両１００）を制御するための方法のフローチャートを示し、この方法は、例えば、図１ｂのコンピューティング機器１０２によって実行することができる。

【0093】

ステップＳ７０１において、コンピューティング機器１０２は車両１００の周囲環境におけるオブジェクトの階層表示を生成する。車両１００上のコンピューティング機器１０２は感知システム１０１によって収集された周囲環境に関連するデータ（例えば、点群及び／又は画像）に基づいて、車両１００の周囲環境におけるオブジェクトの階層表示を生成することができる。上述した方法のいずれか（例えば、図２及び図３に示す方法）によりオブジェクトの階層表示を生成することができる。このように、いくつかの実施例では、ステップＳ７０１は図２中のステップＳ２０１～Ｓ２０６を含み、いくつかの実施例では、ステップＳ７０１は図３中のステップＳ３０１～Ｓ３１０を含む。コンピューティング機器１０２はステップＳ２０６又はＳ３１０においてそのまま維持されている階層表示又は変更された階層表示をステップＳ７０２に提供する。

【0094】

ステップＳ７０２において、コンピューティング機器１０２は少なくとも部分的にオブジェクトの階層表示に基づいて車両が走行する経路（又は軌跡）を生成する。コンピューティング機器１０２はオブジェクトの階層表示（例えば、ステップＳ２０６又はＳ３１０においてそのまま維持されている階層表示又は変更された階層表示）を利用し、例えばＧＰＳトランシーバのデータ、ＲＡＤＡＲデータ、ＬＩＤＡＲデータ、カメラデータのような感知システム１０１からのデータ及び／又は他の車両システムからのデータを結合して、車両１００の走行経路又は軌跡を決定することができる。

【0095】

ステップＳ７０３において、コンピューティング機器１０２は車両を生成した経路（又は軌跡）に沿って走行するように制御する。コンピューティング機器１０２は制御命令を生成し、車両１００の制御システムに送信し、車両がステップ７０２で生成された経路（又は軌跡）に沿って走行するように、車両１００及びその部材（又はユニット）に対する操作を制御するために用いることができる。車両の制御システムは、例えば、ステアリングユニット、動力制御ユニット、制動ユニットなど、様々なユニットを含むことができる。

【0096】

本願の図２及び図３に記載の方法は、例えば、ＢＥＶ（鳥瞰図、ｂｉｒｄ'ｓ ｅｙｅ ｖｉｅｗ）に基づくターゲット検出方法及び視錐台（Ｆｒｕｓｔｕｍ）に基づくターゲット検出方法といった様々なターゲット検出方法を利用して実現することができる。

【0097】

以下、図８に合わせて点柱（ＰｏｉｎｔＰｉｌｌａｒｓ）アルゴリズムモデル（以下ＰｏｉｎｔＰｉｌｌａｒｓと略称する）を例としてＢＥＶに基づくターゲット検出方法を説明する。当業者であれば理解できるように、ＰｏｉｎｔＰｉｌｌａｒｓに加えて、ＢＥＶに基づくターゲット検出方法は他のニューラルネットワーク又はアルゴリズムモデルを用いて実現することができる。

【0098】

従来のＰｏｉｎｔＰｉｌｌａｒｓのネットワークアーキテクチャは入力ネットワーク、特徴抽出ネットワーク、検出ヘッド及び出力ネットワークを含む。図８は本願によるＰｏｉｎｔＰｉｌｌａｒｓのネットワークアーキテクチャを示す。図８に示すように、本願のＰｏｉｎｔＰｉｌｌａｒｓのネットワークアーキテクチャは従来のネットワークアーキテクチャに比べて、関心領域プーリング（ＲＯＩプーリングと略称する）を行う検出ヘッド、例えば検出ヘッド８０４及び検出ヘッド８０５をさらに含む。当業者であれば理解できるように、図８はＲＯＩプーリングを行う２つの検出ヘッドを示すが、ＰｏｉｎｔＰｉｌｌａｒｓのネットワークアーキテクチャはそれ以上、又はそれ以下のＲＯＩプーリングを行う検出ヘッドを含んでもよい。

【0099】

図８に示すように、入力ネットワーク８０１は、例えば図１ｂの感知システム１０１によって収集された点群のような点群を受信し、受信した点群を特徴抽出ネットワーク８０２に伝送するために用いられる。特徴抽出ネットワーク８０２は入力ネットワーク８０１から受信した点群を複数の柱（Ｐｉｌｌａｒ）単位に分割することにより、点群を疑似画像に変換し、畳み込みニューラルネットワークを用いて疑似画像上で特徴を抽出することができる。検出ヘッド８０３は特徴抽出ネットワーク８０２によって抽出された特徴に基づいてターゲット検出を行い、それにより、前記点群における車両（例えば、車両１００）の周囲環境におけるオブジェクトに関連する１組の点を決定し、それに応じてオブジェクトの表示（例えば、バウンディングボックス）を生成し、当該組の点に対応する信頼度（すなわち、オブジェクトが存在する信頼度）を生成する。続いて、検出ヘッド８０４はこの組の点に対してＲＯＩプーリング操作を行い、この組の点の複数のサブセット（例えば、第１のサブセット及び第２のサブセット）を決定して、オブジェクトの複数の部分、例えば、前記第１のサブセットに関連する第１の部分及び前記第２のサブセットに関連する第２の部分を予測し、第１の部分及び第２の部分のバウンディングボックス、並びに第１の部分及び第２の部分に対応する信頼度（すなわち、オブジェクトが第１の部分を含む信頼度、及び第２の部分を含む信頼度）を生成する。続いて、検出ヘッド８０５は、検出ヘッド８０４によって決定された複数のサブセットのうち少なくとも１つのサブセット（例えば、第２のサブセット）に対してＲＯＩプーリング操作を行い、第２のサブセットの複数のサブセット（例えば、第３のサブセット及び第４のサブセット）を決定して、オブジェクトの第２の部分の複数の部分、例えば、前記第３のサブセットに関連する第３の部分及び前記第４のサブセットに関連する第４の部分を予測し、第３の部分及び第４の部分のバウンディングボックス、並びに第３の部分及び第４の部分に対応する信頼度（すなわち、オブジェクトが第３の部分を含む信頼度、及び第４の部分を含む信頼度）を生成する。出力ネットワーク８０６は上記各信頼度に基づいてバウンディングボックスで構成されるオブジェクトの階層表示を出力する。

【0100】

いくつかの実施例では、検出ヘッド８０３はターゲット検出を行った後に、検出したオブジェクトのカテゴリを決定し、検出したオブジェクトが関節物体であれば、検出ヘッド８０３の検出結果を検出ヘッド８０４に提供してＲＯＩプーリング操作を行わせる。検出したオブジェクトが関節物体でなければ、検出結果を検出ヘッド８０４に提供せず、検出結果を出力ネットワーク８０６に直接提供して出力させる。

【0101】

以下、図９に合わせて、視錐台に基づくターゲット検出方法について詳細に説明する。従来の視錐台に基づくターゲット検出方法のネットワークアーキテクチャは入力ネットワーク、特徴抽出ネットワーク、検出ヘッド及び出力ネットワークを含む。図９は本願による視錐台に基づくターゲット検出方法のネットワークアーキテクチャを示す。本願のネットワークアーキテクチャは、検出ヘッド（例えば、図９の検出ヘッド９０３）を複数のブランチに分割する一方で、検出ヘッドを追加する（例えば、図９の検出ヘッド９０４を追加する）という点で、従来のネットワークアーキテクチャの検出ヘッドに対して改良されている。

【0102】

上記したように、感知システム１０１（図１ｂ参照）におけるＬＩＤＡＲとカメラは重なる視野を有することができ、視錐台に基づくターゲット検出方法はＬＩＤＡＲとカメラの視野が重なるという特徴を利用し、カメラが収集した画像及びＬＩＤＡＲが収集した点群に合わせてターゲット検出を行う。

【0103】

図９に示すように、入力ネットワーク９０１は、例えば、感知システム１０１のＬＩＤＡＲが収集した点群及び感知システム１０１のカメラが収集した画像のような点群及び画像を受信するために用いられる。入力ネットワーク９０１は画像内でオブジェクトのバウンディングボックスを検出し、続いてカメラを原点とし、バウンディングボックス方向に沿って延伸して１つの錐体を形成する。入力ネットワーク９０１はカメラとＬＩＤＡＲの相対姿勢に基づいて、点群におけるどの点がこの錐体内に位置するかを決定する。

【0104】

特徴抽出ネットワーク９０２は入力ネットワーク９０１によって決定された錐体内の点に対して特徴抽出を行うために用いられる。特徴抽出ネットワーク９０２の一例として、ＰｏｉｎｔＮｅｔネットワークが挙げられる。検出ヘッド９０３は特徴抽出ネットワーク９０２によって抽出された特徴に基づいてターゲット検出を行い、検出ヘッド９０３は複数（例えば３つ）のブランチを含む。１つのブランチは点群における車両（例えば、車両１００）の周囲環境におけるオブジェクトに関連する１組の点を決定し、それに応じて当該オブジェクトの表示（例えば、バウンディングボックス）を生成し、当該組の点に対応する信頼度（すなわち、オブジェクトが存在する信頼度）を生成する。検出ヘッド９０３の他のブランチは当該組の点の複数のサブセットを決定して（例えば、第１のサブセット及び第２のサブセットが挙げられ、ここで、各ブランチは１つのサブセットを決定する）、オブジェクトの複数の部分、例えば、前記第１のサブセットに関連する第１の部分及び前記第２のサブセットに関連する第２の部分を予測し（ここで、各ブランチは１つの部分を予測する）、第１の部分及び第２の部分のバウンディングボックス、並びに第１の部分及び第２の部分に対応する信頼度（すなわち、オブジェクトが第１の部分を含む信頼度、及び第２の部分を含む信頼度）を生成する。検出ヘッド９０４は、検出ヘッド９０３によって決定された複数のサブセットのうち少なくとも１つのサブセット、例えば、第２のサブセットに対して、第２のサブセットの複数のサブセット（例えば、第３のサブセット及び第４のサブセット）を決定して、オブジェクトの第２の部分の複数の部分、例えば、前記第３のサブセットに関連する第３の部分及び前記第４のサブセットに関連する第４の部分を予測し、第３の部分及び第４の部分のバウンディングボックス、並びに第３の部分及び第４の部分に対応する信頼度（すなわち、オブジェクトが第３の部分を含む信頼度、及び第４の部分を含む信頼度）を生成する。出力ネットワーク９０５は上記各信頼度に基づいてバウンディングボックスで構成されるオブジェクトの階層表示を出力する。

【0105】

図１０は本願の実施例にて提供されるオブジェクトをモデリングするための装置の構造図である。本実施例にて提供されるオブジェクトをモデリングするための装置は任意の電子機器に設けられ、オブジェクトをモデリングするための方法の実施例にて提供される処理フローを実行することができ、図１０に示すように、前記オブジェクトをモデリングするための装置１０００は、取得モジュール１００１、モデリングモジュール１００２、決定モジュール１００３、信頼度モジュール１００４を含む。

【0106】

取得モジュール１００１は、感知システムによって収集された周囲環境に関連する第１の組の点群フレームを取得するために用いられる。

【0107】

モデリングモジュール１００２は、前記第１の組の点群フレームに基づいて周囲環境におけるオブジェクトの階層表示を生成するために用いられ、階層表示はオブジェクトの第１の表示を含む。

【0108】

前記取得モジュール１００１は、さらに、感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得するために用いられる。

【0109】

第１の決定モジュール１００３は、第２の組の点群フレームの各フレームの点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するために用いられる。

【0110】

信頼度モジュール１００４は第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するために用いられる。

【0111】

第２の決定モジュール１００５は、前記第１の信頼度及び前記第２の信頼度に基づいて前記オブジェクトの階層表示を変更するか否かを決定するために用いられる。

【0112】

本願の１つ又は複数の実施例では、前記モデリングモジュール１００２は、さらに、
前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも低いことに応答して、前記階層表示をそのまま保持するために用いられる。

【0113】

本願の１つ又は複数の実施例では、前記モデリングモジュール１００２は、さらに、
前記第１の信頼度及び第２の信頼度のうちの少なくとも一方が所定の閾値以上であることに応答して、前記階層表示を変更するために用いられる。

【0114】

本願の１つ又は複数の実施例では、前記モデリングモジュール１００２は、さらに、
前記第１の信頼度及び第２の信頼度のうち一方が所定の閾値よりも低く、他方が所定の閾値以上であることに応答して、前記第１の表示のサイズ及び形状のうちの少なくとも一方を変更し、
前記第１の信頼度及び第２の信頼度がいずれも所定の閾値以上であることに応答して、前記オブジェクトの第１の部分の第２の表示、及び前記オブジェクトの第２の部分の第３の表示を生成し、
前記階層表示を前記第１の部分の第２の表示及び前記第２の部分の第３の表示をさらに含むように変更するために用いられ、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する。

【0115】

本願の１つ又は複数の実施例では、前記信頼度モジュール１００４は第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定する時に、
第２の組の点群フレームの各フレームの点群に対して、第１のサブセットに基づいて前記オブジェクトが前記第１の部分を含む第１の確率を決定し、
第２の組の点群フレームの各フレームの点群に対して、第２のサブセットに基づいて前記オブジェクトが前記第２の部分を含む第２の確率を決定し、
得た複数の第１の確率及び得た複数の第２の確率をそれぞれ累積するために用いられる。

【0116】

本願の１つ又は複数の実施例では、前記信頼度モジュール１００４は第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定する時に、さらに、
第２の組の点群フレームの各フレームの点群に対して、第１のサブセット及び第２のサブセットに基づいて前記オブジェクトが前記第１の部分を含む第１の関連確率を決定し、
第２の組の点群フレームの各フレームの点群に対して、第１のサブセット及び第２のサブセットに基づいて前記オブジェクトが前記第２の部分を含む第２の関連確率を決定し、
得た複数の第１の関連確率及び得た複数の第２の関連確率をそれぞれ累積するために用いられる。

【0117】

本願の１つ又は複数の実施例では、前記信頼度モジュール１００４は第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定する時に、さらに、
予め記憶されたデータセットに基づいて、第２の組の点群フレームの各フレームの点群に対応する第１の確率及び第２の確率に対して対応する正確率をそれぞれ決定するために用いられる。

【0118】

本願の１つ又は複数の実施例では、前記取得モジュール１００１は、さらに、感知システムによって収集された周囲環境に関連する第２の組の点群フレームを取得するために用いられ、
前記決定モジュール１００３は、さらに、第３の組の点群フレームの各フレームの点群における前記オブジェクトの第２の部分に関連する１組の点及び当該組の点の第３のサブセットと第４のサブセットを決定するために用いられ、
前記信頼度モジュール１００４は、さらに、第３のサブセット及び第４のサブセットに基づいて、前記第２の部分が前記第３のサブセットに関連する第３の部分を含む第３の信頼度、及び前記第４のサブセットに関連する第４の部分を含む第４の信頼度を決定するために用いられる。

【0119】

本願の１つ又は複数の実施例では、前記モデリングモジュール１００２は、さらに、前記第３の信頼度及び第４の信頼度がいずれも所定の閾値以上であることに応答して、前記オブジェクトの第３の部分の表示、及び前記オブジェクトの第４の部分の表示を生成するために用いられる。

【0120】

本願の１つ又は複数の実施例では、前記オブジェクトはトラックであり、前記第１の部分はトラックのトラクタヘッドであり、前記第２の部分はトレーラである。

【0121】

本願の実施例のオブジェクトをモデリングするための装置は上記方法の実施例の技術的解決手段を実行するために用いることができ、その実現原理及び技術的効果は類似するため、ここで重複する説明は省略する。

【0122】

図１１は本願の実施例にて提供される電子機器のハードウェア構造の概略図を示す。図１１に示すように、当該電子機器１１００は、上記方法の実施例のいずれかにおける対応する電子機器（例えば、図１ｂに示すコンピューティング機器１０２）を実現するために用いられ、本実施例の電子機器１１００は、メモリ１１０１、プロセッサ１１０２及び通信インタフェース１１０３を含むことができる。

【0123】

メモリ１１０１はコンピュータプログラムを記憶するために用いられる。当該メモリ１１０１は高速ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）を含む可能性があり、例えば少なくとも１つの磁気ディスクメモリのような不揮発性メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ、ＮＶＭ）をさらに含む可能性もあり、さらにＵＳＢフラッシュドライブ、モバイルハードディスク、読み出し専用メモリ、磁気ディスク又は光ディスクなどであってもよい。

【0124】

プロセッサ１１０２は、メモリに記憶されたコンピュータプログラムを実行して、上記実施例における方法を実現するために用いられ、具体的には前記方法の実施例における関連説明を参照することができる。当該プロセッサ１１０２は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）などであってもよい。汎用プロセッサはマイクロプロセッサであってもよく、又は当該プロセッサは任意の一般的なプロセッサなどであってもよい。発明に合わせて開示された方法のステップは、ハードウェアのプロセッサによって実行して完了され、又はプロセッサにおけるハードウェアとソフトウェアモジュールとの組み合わせを用いて実行して完了されるように具現化することができる。

【0125】

選択可能に、メモリ１１０１は独立していてもよく、プロセッサ１１０２と集積化されていてもよい。メモリ１１０１がプロセッサ１１０２から独立したデバイスである場合、電子機器１１００はバスをさらに含むことができる。当該バスはメモリ１１０１とプロセッサ１１０２を接続するために用いられる。当該バスは、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、周辺機器相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バス、又は拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってもよい。バスはアドレスバス、データバス、制御バスなどに分けることができる。説明を容易にするために、本願の図面におけるバスはただ１本のバス又は１種類のバスに限定されるものではない。

【0126】

通信インタフェース１１０３は各種のデータ及び／又は命令を受信又は送信するために用いられる。

【0127】

本実施例にて提供される電子機器は上記実施例における方法を実行するために用いることができ、その実現方式及び技術的効果は類似し、本実施例は、ここで、重複する説明を省略する。

【0128】

また、本実施例は、プロセッサにより実行されて上記実施例に記載の方法を実現するコンピュータプログラムを記憶しているコンピュータ可読記憶媒体をさらに提供する。

【0129】

また、本実施例は、プロセッサにより実行されて上記実施例に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品をさらに提供する。

【0130】

本願の実施例にて提供されるいくつかの実施例では、開示される装置及び方法は、他の方式により実現することができることを理解されたい。例えば、以上説明された装置の実施例は単に例示的なものであり、例えば、前記ユニットの分割は、単に論理機能の分割であり、実際に実現する時に他の分割方式にしてもよく、例えば複数のユニット又はコンポーネントは結合してもよいし、別のシステムに集積化されてもよく、又はいくつかの特徴は無視されてもよいし、実行されなくてもよい。一方、表示又は議論された相互間の結合、直接結合又は通信可能な接続はいくつかのインタフェース、装置又はユニットを介した間接結合又は通信可能な接続であってよく、電気的、機械的又は他の形態であってよい。

【0131】

分離部材として説明された前記ユニットは物理的に分離しても、しなくてもよく、ユニットとして表示された部材は物理的ユニットであってもなくてもよく、すなわち１つの場所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてユニットの一部又は全部を選択して本実施例の解決手段の目的を達成することができる。

【0132】

また、本願の実施例の各実施例における各機能ユニットは、１つの処理ユニットに集積化されてもよく、各ユニットが単独で物理的に存在してもよく、２つ又は２つ以上のユニットが１つのユニットに集積化されてもよい。上記集積化されたユニットはハードウェアの形態で実現されてもよく、ハードウエアプラスソフトウェア機能ユニットの形態で実現されてもよい。

【0133】

ソフトウェア機能ユニットの形態で実現される集積化したユニットは１つのコンピュータ可読記憶媒体に記憶することができる。上記ソフトウェア機能ユニットは１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本願の実施例の各実施例に記載の方法のステップの一部を実行させるための複数の命令を含む。前述した記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。

【0134】

当業者であれば明らかに分かるように、説明の利便性及び簡潔性のために、単に上記各機能モジュールの分割を例に挙げて説明し、実際に利用する際に、ニーズに応じて上記機能を異なる機能モジュールに割り当てて完成させることができ、すなわち、装置の内部構造を異なる機能モジュールに分割することで、以上説明した機能の全部又は一部を完成する。上記説明した装置のモジュールの具体的な動作プロセスは、前記方法の実施例における対応するプロセスを参照することができ、ここで重複する説明は省略する。

【0135】

以上の各実施例は本願の実施例の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前記各実施例を参照して本願の実施例を詳細に説明したが、当業者であれば、依然として前記各実施例に記載の技術的解決手段を修正し、又はその技術的特徴の一部又は全部を同等に置換することができ、これらの修正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させないことを理解すべきである。

【0136】

当業者は、明細書を考慮し、ここで開示された発明を実施すると、本願の他の実施形態を容易に想到し得る。本願は本願の任意の変形、用途又は適応的変化をカバーすることを意図しており、これらの変形、用途又は適応的変化は本願の一般的な原理に従い、本願に開示されていない本技術分野における周知の知識又は慣用技術手段を含む。明細書及び実施例は単に例示的なものとして見なされ、本願の真の範囲及び趣旨は特許請求の範囲によって示される。

【0137】

本願は、以上説明され図面において示された精確な構造に限定されるものではなく、その範囲から逸脱せず、様々な補正及び変化を行うことができることを理解されたいであろう。本願の範囲は、添付の特許請求の範囲のみによって制限される。

【図1a】

【図1b】

【図2】

【図3】

【図4a】

【図4b】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】