特開 2024-12162 目標状態推定方法、装置、電子機器及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024012162

(43)【公開日】2024-01-25

(54)【発明の名称】目標状態推定方法、装置、電子機器及び媒体

(51)【国際特許分類】

   B60W 40/10 20120101AFI20240118BHJP

   G06T 7/00 20170101ALI20240118BHJP

   G08G 1/16 20060101ALI20240118BHJP

【ＦＩ】

B60W40/10

G06T7/00 650B

G08G1/16 A

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023114683

(22)【出願日】2023-07-12

(31)【優先権主張番号】202210837658.2

(32)【優先日】2022-07-15

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＶＥＲＩＬＯＧ

(71)【出願人】

【識別番号】521254764

【氏名又は名称】北京図森智途科技有限公司

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】楊▲ユィン▼晨

(72)【発明者】

【氏名】劉偉俊

(72)【発明者】

【氏名】孫嘉明

(72)【発明者】

【氏名】王乃岩

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA50

3D241DC25Z

3D241DC26Z

5H181AA01

5H181BB04

5H181BB13

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF13

5H181FF25

5H181FF27

5H181FF33

5H181LL07

5H181LL08

5H181LL09

5L096BA04

5L096CA02

5L096DA02

5L096FA06

5L096FA62

5L096FA64

5L096FA66

5L096FA67

5L096FA69

(57)【要約】      （修正有）

【課題】十分に精確な状態推定を可能にできる目標状態推定方法を提供する。
【解決手段】本開示は目標状態推定方法に関し、複数種類のセンサによって各時刻での目標の観測量を取得し、各種類のセンサによって少なくとも１つの観測量を取得するステップと、観測量に基づいて目標の最適化される状態量を決定するステップと、損失関数を最小化することによって各時刻での目標の状態量を最適化し、各時刻での目標の最適化された状態量を得るステップと、を含む。当該損失関数は目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含む。また、目標状態推定装置、電子機器及び媒体も提案される。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数種類のセンサによって異なる時刻での目標の観測量を取得するステップであって、各種類のセンサによって少なくとも１つの観測量を取得するステップと、
前記観測量に基づいて異なる時刻での前記目標の状態量を決定するステップと、
損失関数を最小化することによって前記異なる時刻での前記目標の状態量を最適化するステップと、を含み、
ここで、前記損失関数は前記目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含む、目標状態推定方法。

【請求項2】

前記観測量は、
各時刻での前記目標の速度、位置又は向きのうち少なくとも一方、又は、
長さ、幅又は高さのうちの少なくとも一方を含む前記目標の寸法のうち少なくとも一方を含み、 前記状態量は、
各時刻での前記目標の速度、位置又は向きのうち少なくとも一方、
各時刻が属する所定の時間帯での前記目標の平均速度、平均位置又は平均向きのうち少なくとも一方、又は、
前記目標の寸法のうち少なくとも一方を含む、請求項１に記載の方法。

【請求項3】

前記複数種類のセンサは少なくとも１つの観測車両又は路側機器に位置し、
前記目標状態推定方法はコンピューティング機器において実現され、
前記コンピューティング機器は各種類のセンサによって少なくとも１種の観測量を取得し、
前記コンピューティング機器は前記少なくとも１つの観測車両、前記路側機器又はクラウドに位置しており、

前記目標は多段構造であり、
前記構造的拘束は前記多段構造に対応する構造的拘束を含み、
前記観測量は前記多段構造における少なくとも２段にそれぞれ対応する観測量を含み、また、
前記状態量は前記多段構造における少なくとも２段にそれぞれ対応する状態量を含む、請求項１に記載の方法。

【請求項4】

前記目標は車両であり、前記車両は第１の部材及び少なくとも１つの第２の部材を含み、前記第２の部材は前記第１の部材回りに回転でき、
前記目標の位置は、前記第１の部材の位置、少なくとも１つの前記第２の部材の位置又は前記車両の位置のうち少なくとも一方を含み、
前記目標の寸法は、前記第１の部材の寸法、少なくとも１つの前記第２の部材の寸法又は前記車両の寸法のうち少なくとも一方を含み、また、
前記目標の向きは、前記速度の方向、前記第１の部材の向き、前記車両が所在する車線の方向のうち少なくとも一方を含む、請求項２に記載の方法。

【請求項5】

前記複数種類のセンサは、画像収集装置、点群収集装置のうち少なくとも一方を含み、
前記観測量は各センサにそれぞれ対応する観測モデルによって得られ、前記観測モデルは、画像に基づく両眼距離測定アルゴリズム、画像に基づく単眼距離測定アルゴリズム、点群に基づく距離測定アルゴリズム、画像及び地図に基づく投影距離測定アルゴリズム、又は点群及び地図に基づく投影距離測定アルゴリズムのうち少なくとも一方を含み、また、
損失関数を最小化することによって各時刻での前記目標の状態量を最適化するステップは、
観測モデルが同一の基準点に対して複数の座標値を出力することに応答し、前記観測モデルの出力を破棄するステップ、又は、
複数の観測モデルが同一の基準点に対して同一の時刻での複数の観測量を出力することに応答し、前記位置損失中の前記複数の観測量に対応する横方向基準点残差成分の重み付き二乗和及び縦方向基準点残差成分の重み付き二乗和に対してそれぞれ正規化処理を行うステップのうち少なくとも一方を含む、請求項１に記載の方法。

【請求項6】

位置は少なくとも１つの基準点の位置を含み、前記基準点は中心点又は輪郭隅角点のうち少なくとも一方を含み、また、
前記位置損失は少なくとも１つの基準点残差を含み、前記基準点残差は中心点残差又は輪郭隅角点残差のうち少なくとも一方を含み、前記中心点残差は前記中心点に対する観測量と状態量との差分を表し、輪郭隅角点残差は前記輪郭隅角点に対する前記観測量と前記状態量との差分を表す、請求項２に記載の方法。

【請求項7】

前記中心点残差及び前記輪郭隅角点残差はそれぞれ対応する重みを有し、且つ前記重みはいずれも対角行列であり、また、
前記中心点残差及び前記輪郭隅角点残差のそれぞれは横方向残差成分及び縦方向残差成分を含み、且つ前記横方向残差成分及び前記縦方向残差成分はそれぞれ対応する重みを有する、請求項６に記載の方法。

【請求項8】

前記中心点残差及び前記輪郭角点残差のうちの１つの横方向分散が所定の閾値より小さい場合に応答し、対応する前記横方向残差成分の重みは第１の固定値を取り、また、
前記中心点残差及び前記輪郭角点残差のうち一方の縦方向分散が所定の閾値より小さい場合に応答し、対応する前記縦方向残差成分の重みは前記第１の固定値を取る、請求項７に記載の方法。

【請求項9】

前記目標は車両であり、前記中心点残差中の横方向残差成分及び縦方向残差成分は車両の寸法に基づいて校正された横方向残差成分及び縦方向残差成分であり、前記センサによって観測された前記中心点が前記車両の占める領域内に位置する時に中心点残差が最小となる、請求項７に記載の方法。

【請求項10】

前記目標は車両であり、前記横方向残差成分は前記車両が所在する車線の向きに垂直であり、前記縦方向残差成分は前記車両が所在する車線の向きに平行であり、又は、
前記横方向残差成分は前記車両の車体向きに垂直であり、前記縦方向残差成分は前記車両の車体向きに平行である、請求項７に記載の方法。

【請求項11】

前記速度損失は速度事前損失及び速度平滑化損失のうち少なくとも一方を含み、
前記速度事前損失はいずれかの現在時刻での前記目標の速度と前回の最適化後の速度との残差を含み、
前記速度平滑化損失はいずれかの現在時刻での前記目標の速度と当該現在時刻が所在する所定の時間帯内の平均速度との残差を含み、
前記寸法損失は寸法事前損失、及び各時刻で最適化された寸法累積損失のうち少なくとも一方を含み、
前記寸法事前損失はいずれかの現在時刻での前記目標の寸法と前回の最適化後の寸法速度との残差を含み、
前記寸法累積損失は初期時刻から前回の最適化時刻までの間の前記目標の各寸法損失の総和を含む、請求項１に記載の方法。

【請求項12】

前記向き損失項は前記第１の部材の向き事前損失、前記第１の部材の向き平滑化損失、前記第２の部材の向き事前損失、前記第２の部材の向き平滑化損失、又は角速度損失のうち少なくとも一方を含み、
前記向き事前損失は各現在時刻での前記目標の方向量と前回の最適化後の方向量との残差を含み、
前記向き平滑化損失は各現在時刻での前記目標の方向と当該現在時刻が所在する所定の時間帯内の平均方向との残差を含み、また、
前記角速度損失は第１の角度変化速度率と第２の角度変化速度率との残差を含み、前記第１の角度変化速度率は車両の寸法、車両の速度、前記第１の部材の角度及び前記第２の部材の角度に関連し、前記第２の角度変化速度率は所定の時間間隔内の前記第２の部材の角度変化速度率に関連する、請求項４に記載の方法。

【請求項13】

複数種類のセンサによって異なる時刻での目標に対する観測量を取得することに適する取得ユニットであって、各種類のセンサによって少なくとも１つの観測量を取得する取得ユニットと、
前記観測量に基づいて異なる時刻での前記目標の状態量を決定することに適する構築ユニットと、
損失関数を最小化することによって前記異なる時刻での前記目標の状態量を最適化することに適する最適化ユニットと、を含み、
前記損失関数は前記目標の位置損失、向き損失、速度損失、寸法損失又は構造的拘束のうち少なくとも一方を含む、目標状態推定装置。

【請求項14】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を含み、前記命令は前記少なくとも１つのプロセッサによって実行されて、前記少なくとも１つのプロセッサに請求項１～１２のいずれか一項に記載の方法を実行させることができる、電子機器。

【請求項15】

コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令は前記コンピュータに請求項１～１２のいずれか一項に記載の方法を実行させるために用いられる、コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はコンピュータの分野に関し、特に自動運転、データ処理技術の分野に関し、具体的には目標状態推定方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品に関する。

【背景技術】

【0002】

目標を識別又は観測する過程において、一般的に、センサによって取得された目標測定データに基づいて目標状態を精確に推定する必要がある。目標は、運動中に、速度、角度、加速度などのパラメータに伴って絶えず変化することで、目標の位置は高い相関性を有する。例えば、無人運転における１つの重要な部分として、道路上の他の車両の位置、速度、大きさ、方向などの状態をリアルタイムに推定し、このような技術は無人運転の安全係数をかなりの程度決定する。したがって、目標の識別又は観測性能を向上させるために、より優れた状態推定方法の検討が切実に望まれる。

【0003】

この部分で説明される方法は、必ずしも以前に想定又は採用された方法ではない。別段の指示がない限り、この部分で説明される方法は、この部分に含まれているだけで先行技術として考えられると仮定すべきではない。同様に、別段の指示がない限り、この部分で言及される問題は、いかなる先行技術において公知のものとして考えられるべきではない。

【発明の概要】

【0004】

本開示の一態様によれば、複数種類のセンサによって各時刻での目標の観測量を取得するステップであって、各種類のセンサによって少なくとも１つの観測量を取得するステップと、前記観測量に基づいて前記目標の最適化される状態量を決定するステップと、損失関数を最小化することによって各時刻での前記目標の状態量を最適化し、各時刻での前記目標の最適化された状態量を得るステップと、を含み、ここで、前記損失関数は前記目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含む、状態推定方法が提供される。

【0005】

本開示の別の態様によれば、複数種類のセンサによって目標に対する観測量を取得することに適する取得ユニットであって、各種類のセンサによって少なくとも１つの観測量を取得する取得ユニットと、前記観測量に基づいて前記目標の最適化される状態量を決定することに適する構築ユニットと、損失関数を最小化することによって各時刻での前記目標の状態量を最適化し、各時刻での前記目標の最適化された状態量を得ることに適する最適化ユニットと、を含み、ここで、前記損失関数は前記目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含む、目標状態推定装置が提供される。

【0006】

本開示の別の態様によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されるメモリとを含み、メモリは、少なくとも１つのプロセッサによって実行可能な命令を記憶しており、当該命令は少なくとも１つのプロセッサによって実行されて、少なくとも１つのプロセッサに本開示に記載の方法を実行させる、電子機器が提供される。

【0007】

本開示の別の態様によれば、コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体が提供され、当該コンピュータ命令はコンピュータに本開示に記載の方法を実行させるために用いられる。

【0008】

本開示の１つ又は複数の実施例によれば、複数のセンサによって取得された観測データを融合することにより目標状態を推定し、損失関数により目標状態間の拘束を形成し、それにより十分に精確な状態推定を可能にでき、後続する目標行動分析に非常に重要である。

【0009】

この部分に記載されている内容は、本開示の実施例の肝心な、又は重要な特徴を特定することを意図しておらず、本開示の範囲を限定するものでもないことを理解されたい。本開示の他の特徴は、以下の明細書を通じて容易に理解される。

【図面の簡単な説明】

【0010】

図面は実施例を例示的に示し、明細書の一部として構成されるものであり、明細書の文字記載とともに実施例の例示的な実施形態を説明するために用いられる。示される実施例は、例示するためのものに過ぎず、特許請求の範囲を限定するものではない。全ての図面において、同一の符号は、必ずしも同一ではないが類似の要素を指す。

【図1】例示的な実施例による目標状態推定方法を示すフローチャートである。

【図2】例示的な実施例によるトラックの運動モデルを示す模式図である。

【図3】例示的な実施例による第１の部材のみを含む車両の運動モデルを示す模式図である。

【図4】例示的な実施例によるスライディングタイムウィンドウを示す模式図である。

【図5】例示的な実施例による目標状態推定装置を示す構造のブロック図である。

【図6】例示的な実施例に適用可能な例示的なコンピューティング機器を示す構造のブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、本開示の例示的な実施例について説明し、理解を容易にするためにその中には本開示の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者であれば、本開示の範囲から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明瞭及び簡潔にするために、以下の説明では、周知の機能及び構造についての説明は省略する。

【0012】

本開示では、特に断らない限り、「第１」、「第２」などの用語を用いて各種の要素を説明することは、これらの要素の位置関係、時系列関係又は重要性関係を定義することを意図するものではなく、このような用語は単に１つの要素を他の要素と区別するために用いられるものである。いくつかの例では、第１の要素及び第２の要素は、その要素の同じ例を指してもよく、何らかの場合に、文脈の記載に基づいて異なる例を指してもよい。

【0013】

本開示における様々な前記例の説明において使用される用語は、特定の例の説明のみに目的があり、限定することを意図するものではない。文脈から明らかに示さない限り、特に要素の数を限定しなければ、その要素は１つでも複数でもよい。さらに、本開示で使用される用語の「及び／又は」は、列挙された項目のうちいずれか１つ及び全ての可能な組み合わせを包含する。

【0014】

無人運転における１つの重要な部分として、道路上の他の車両の位置、速度、大きさ、方向などの状態をリアルタイムに推定し、これは無人運転の安全係数をかなりの程度決定する。対応する観測モデルにより車両の速度、位置などの情報を観測することができる。観測モデルにより観測されたデータには、一般的に、ノイズなどの影響が存在することで、観測されたデータと車両の実際の走行データとの誤差が生じる。それにより、当該観測データを補正し、すなわち、観測データに基づいて車両の走行中の物理的状態を推定する必要がある。

【0015】

通常、状態推定のプロセスでは、対応する観測データに基づいてある状態を推定し、例えば、観測されたデータ情報に基づいて車両の速度状態を推定し、観測された車両中心点座標に基づいて車両の位置状態を推定するなどが挙げられる。しかしながら、同一の車両に対しては、複数種類の観測データ間に高い相関性が存在する。状態推定の正確性を向上させるとともに、単一の観測モデルが故障した時における状態の誤推定を回避するために、複数種類の観測モデルによって観測されたデータを融合して、より全面的で、立体的に車両状態を推定し、さらに無人運転の安全係数を向上させることが考慮される。

【0016】

したがって、本開示の実施例は、複数種類のセンサによって各時刻での目標の観測量を取得するステップであって、各種類のセンサによって少なくとも１つの観測量を取得するステップと、前記観測量の値に基づいて前記目標の最適化される状態量を決定するステップと、損失関数を最小化することによって各時刻での前記目標の状態量を最適化し、各時刻での前記目標の最適化された状態量を得るステップと、を含む、目標状態推定方法を提供する。前記損失関数は前記目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含む。

【0017】

本開示の実施例によれば、複数のセンサによって取得された観測データを融合することにより目標状態を推定し、損失関数により目標状態間の拘束を形成し、それにより十分に精確でロバストな状態推定結果を得ることができ、後続する目標行動分析に非常に重要である。

【0018】

図１は本開示の実施例による目標状態推定方法のフローチャートを示す。図１に示すように、ステップ１１０において、複数種類のセンサによって各時刻での目標の観測量を取得し、ここで、各種類のセンサによって少なくとも１つの観測量を取得する。

【0019】

本開示の実施例では、前記目標は車両を含んでよい。したがって、いくつかの実施例によれば、前記観測量は、各時刻での目標車両の速度、位置、向きのうちの少なくとも一方と、長さ、幅及び高さのうち少なくとも一方を含んでよい目標車両の寸法とを含んでよい。

【0020】

いくつかの実施例によれば、複数種類のセンサは、画像収集装置、点群収集装置のうち少なくとも一方を含んでよい。一例として、当該画像収集装置は、例えば、視覚カメラ、赤外線カメラ、紫外線又はＸ線撮像を行うカメラなど、様々な機器を含んでよい。異なる機器は異なる検出精度及び範囲を提供することができる。視覚カメラは目標の運転状態などの情報をリアルタイムに取り込むことができる。赤外線カメラは、暗視の場合に、目標を取り込むことができる。紫外線又はＸ線撮像のカメラは、各種の複雑な環境（夜間、悪天候、電磁干渉など）で目標を撮像することができる。点群収集装置は、例えば、レーザレーダー（ＬｉＤＡＲ）、ミリ波レーダー、超音波センサなど、様々な機器を含んでよい。異なる機器は異なる検出精度及び範囲を提供することができる。レーザレーダーは目標エッジ、形状情報を検出することにより、目標識別及び追跡を行うために用いることができる。ミリ波レーダーは電磁波の特性を利用して目標との距離を測定することができる。超音波センサは超音波の方向性が高いなどの特徴を利用して目標との距離を測定することができる。レーダー装置は、ドップラー効果により、移動物体との速度変化を測定することもできる。

【0021】

いくつかの実施例によれば、複数種類のセンサは、少なくとも１つの観測車両又は路側機器に位置することができる。一例として、自動運転車両は、走行中に、周辺車両に対するリアルタイムな観測を実現するために、車両の前方、後方又は他の位置に様々なセンサが取り付けられてもよい。又は、複数種類のセンサは路側機器に位置して、当該路側機器を経由する車両、歩行者などの目標をリアルタイムに観測する。

【0022】

いくつかの例では、当該路側機器は電子機器、通信機器などを含んでよく、電子機器は通信機器と一体に集積化されてもよいし、別体に設けられてもよい。電子機器は複数種類のセンサによって観測されたデータを取得し、それによりデータ処理及び計算を行って、対応する観測量を取得し、さらに通信機器を経由してコンピューティング機器に処理及び計算結果を送信することができる。任意選択的に、電子機器はクラウドに設けられてもよく、通信機器により路側機器上の複数種類のセンサによって観測されたデータを取得し、データ分析及び計算により対応する観測量を取得する。

【0023】

いくつかの実施例によれば、本開示による目標状態推定方法はコンピューティング機器において実現することができ、コンピューティング機器は各種類のセンサによって少なくとも１種の観測量を取得する。すなわち、複数種類のセンサによって取得された各時刻での目標の観測量は、コンピューティング機器によりオンライン又はオフラインで分析することができる。コンピューティング機器は少なくとも１つの観測車両、路側機器又はクラウドに存在していてよく、ここでは限定されない。

【0024】

いくつかの実施例によれば、観測量は各センサにそれぞれ対応する観測モデルによって得ることができる。一例として、当該観測モデルは、画像に基づく両眼距離測定アルゴリズム、画像に基づく単眼距離測定アルゴリズム、点群に基づく距離測定アルゴリズム、画像及び地図に基づく投影距離測定アルゴリズム、並びに点群及び地図に基づく投影距離測定アルゴリズムのうち少なくとも一方を含む。

【0025】

本開示では、観測モデルはセンサによって取得されたデータに基づいて分析及び計算を行って、当該目標に対応する各時刻での観測量を出力することができる。具体的には、いくつかの例では、投影距離測定アルゴリズムに基づいて、周辺車両の中心点座標及び検出ボックスの４つの角点座標などを取得することができ、両眼距離測定アルゴリズム、単眼距離測定アルゴリズムなどの距離測定アルゴリズムに基づいて、周辺車両の中心点座標、速度などを取得することができる。

【0026】

いくつかの実施例によれば、前記目標は多段構造であり、前記構造的拘束は多段構造の間の構造的拘束を含む。このとき、観測量は多段構造における少なくとも２段にそれぞれ対応する観測量を含んでよい。

【0027】

一例として、前記目標が車両である実施例では、当該目標車両はトラックであってよく、トラックは二段構造であり、すなわち当該トラックの第１段は牽引車であり、第２段はトレーラであり、牽引車とトレーラとの間に連結される回転軸（又はヒンジ）構造はその両者間の構造的拘束を形成する。

【0028】

図２は本開示の実施例によるトラックの運動モデルの模式図を示す。図２に示すように、牽引車２０１とトレーラ２０２は回転軸構造２０３を介して連結されている。いくつかの実施例では、牽引車２０１は一段構造のみを含む車両の運動モデルに基づいて取り扱うことができるが、トレーラの運動観測は牽引車の運動観測を拘束する。この一段構造のみを含む車両は、例えば、一輪車、普通四輪車などであってよい。

【0029】

図３は本開示の実施例による一段構造のみを含む車両の運動モデルの模式図を示す。いくつかの例では、車両状態推定の正確性を向上させるために、車両の速度方向と車頭方向を区別する。図３に示す運動モデルでは、οは車両の方向（すなわち車頭方向）であり、θは車輌の速度方向である。車両は

時刻から

時刻までの間に速度

を有するとすると、以下の式（１）及び式（２）に示すような変換式となる。

ここで、

及び

はそれぞれ

時刻での車両中心点座標を表し、

及び

はそれぞれ

時刻での車両中心点座標を表し、

は

時刻での車両速度方向と基準座標系におけるｘ方向とのなす角を表す。

【0030】

本開示では、基準座標系は複数のセンサが所在する観測車両又は路側機器に基づいて決定された座標系である。一例として、複数のセンサが観測車両に位置する場合、基準座標系は車両の周辺物体と車両との関係を記述する座標系として使用される。定義に応じて、その原点が異なり、例えば、重心を原点とすると、それから延出する右手座標系が基準座標系となり、或いは、ＩＭＵ（慣性測定ユニット）によって定義される基準座標系はＩＭＵ位置を原点とする。

【0031】

理解できるように、任意の適切な基準座標系が可能であり、例えば、当該基準座標系は車線中心線を横方向座標軸とし、車線中心線からずれるものを縦方向座標軸とし、車線中心線に垂直なものを鉛直座標軸としてもよく、ここでは限定されない。

【0032】

以上をまとめると、投影距離測定アルゴリズムに基づいて、車両検出ボックスの４つの隅角点座標を取得し、すなわち、車両輪郭検出を実現することができる。したがって、図３に示すような車体フレームにおいて、車両中心から

番目の車両隅角点へのベクトルは式（３）のように表すことができる。

ここで、ＬとＷはそれぞれ車両の長さと幅であり、

は基準座標系における車両中心点に対する

番目の車両隅角点のずれ量を表し、

は基準座標系からＥＮＵ（Ｅａｓｔ－Ｎｏｒｔｈ－Ｕｐ、東－北－上）への回転行列を表し、ここで、

は式（４）のように表される。

【0033】

それにより、車両の速度、向き、寸法及び中心点位置などの情報に基づくのは、１つの車両の特定に十分である。

【0034】

引き続き図２を参照すると、いくつかの実施例では、トレーラ２０２及び回転軸構造２０３は、一般的に、同じ向きを有し、したがって、剛体構造として取り扱うことができる。また、回転軸構造２０３は牽引車２０１とトレーラ２０２との接触面の中心位置に連結されるとすることができる。牽引車２０１の中心点座標

、長さ

、幅

が分かると、式（５）～（７）に示すように、トレーラ２０２の中心点座標

を取得することができる。

ここで、

はトレーラの長さであり、

は回転軸構造の長さであり、

及び

はそれぞれ基準座標系のｘ軸方向に対する牽引車及びトレーラの夾角である。

【0035】

いくつかの例では、例えば、レーザレーダーのセンサにより、牽引車及びトレーラの検出ボックスを同時に取得することができる。トレーラの検出ボックスの位置をｈ_１（ｉが１の場合、図２におけるｈ_ｉの位置）からｈ_０（図２におけるｈ_０の位置）に移動させ、牽引車の別の観測とし、式（８）に示すように、トレーラの観測を、牽引車の観測を拘束するようにする。

トレーラの角速度は式（９）に示すとおりである。

ここで、

は牽引車の速度を表し、

はトレーラの角速度を表す。牽引車両の速度、向き、寸法、回転軸の長さ、牽引車両の位置が既知であれば、トラックの各種の状態を決定することができる。

【0036】

いくつかの実施例によれば、前記目標は車両であり、当該車両は第１の部材及び少なくとも１つの第２の部材を含んでよく、第２の部材は第１の部材回り回転できる。目標の位置は、第１の部材の位置、少なくとも１つの第２の部材の位置、車両の位置のうち少なくとも一方を含んでよく、目標の寸法は、第１の部材の寸法、少なくとも１つの第２の部材の寸法、車両の寸法のうち少なくとも一方を含み、目標の方向は、速度の方向、第１の部材の向き、車両が所在する車線の方向のうち少なくとも一方を含む。

【0037】

上記したように、目標車両が二段構造を含むモデルが説明され、すなわち、目標車両は１つの第１の部材及び１つの第２の部材を含む。いくつかの実施例では、第２の部材は複数であってもよく、例えば、列車、マルチトレーラ付きの運搬車などが挙げられ、その運動モデルは上記説明されたトラックモデルを参照することができ、ここでは重複する説明は省略する。

【0038】

いくつかの実施例では、複数種類のセンサにより各時刻での目標の観測量を取得した後、取得した観測量に対してデータ前処理を行うことができる。一例として、異常観測量の削除、利用可能な観測量の保持、データフォーマットの統一などをしてよく、ここでは限定されない。

【0039】

ステップ１２０において、観測量に基づいて当該目標の最適化される状態量を決定する。

【0040】

いくつか実施例によれば、状態量は、各時刻での前記目標の速度、位置、向きのうちの少なくとも一方を含み、各時刻での目標の速度、位置、向きなどの状態量は瞬時状態量である。また、当該状態量は、各時刻が属する所定の時間帯での目標の平均速度、平均位置、平均向きのうち少なくとも一方と、前記目標の寸法とをさらに含んでもよい。

【0041】

前記目標が多段構造である実施例では、観測量は多段構造における少なくとも２段にそれぞれ対応する観測量を含み、したがって、状態量は多段構造における少なくとも２段にそれぞれ対応する状態量を含む。以上図２を参照して説明したように、例えば、トレーラ及び牽引車の寸法、牽引車の位置、牽引車の速度などの情報といった牽引車及びトレーラの観測データをセンサにより取得し、例えば、トレーラ及び牽引車の寸法、トレーラ及び牽引車の位置、向き、速度など、トレーラ及び牽引車の１つ又は複数の状態量を推定する。

【0042】

運転中に、車両は、例えば、複数のセンサにより周辺車両をリアルタイムに観測することにより、観測データを絶えず生成することができる。したがって、いくつかの実施例では、スライディングタイムウィンドウを構築することにより、車両の物理的状態に対する最適化を実現することができる。具体的には、少なくとも１つの観測モデルによりスライディングタイムウィンドウ内で観測された目標車両に対する観測量を取得して、当該観測量に基づいて当該スライディングタイムウィンドウ内での目標車両の物理的状態を記述する状態量を構築する。決定された当該目標の最適化される状態量が、各時刻が属する所定の時間帯での目標の平均速度、平均位置、平均向きを含む場合、当該平均速度、平均位置、平均向きは現在のスライディングタイムウィンドウ内での目標の平均状態量とすることができる。図４は本開示の実施例によるスライディングタイムウィンドウの模式図を示す。一例として、スライディングタイムウィンドウ内の最適化される状態量を式（１０）に従って構築してよい。

ここで、当該スライディングタイムウィンドウにおける

フレーム目の状態量

は、例えば、式（１１）に示す状態量を含んでよい。

ここで、

はそれぞれ目標車両の速度の大きさ、速度方向及び車体向きを表す。

はスライディングタイムウィンドウ内での平均速度の大きさを表し、且つ

はスライディングタイムウィンドウ内での平均車体向きを表す。

【0043】

いくつかの例では、当該目標車両が、例えば、トラックの二段構造の場合、当該目標車両の速度の大きさ、速度方向は牽引車の速度の大きさ及び速度方向とすることができる。さらに、上記車体向きは牽引車向きであり、また、

フレーム目の状態量

はトレーラ向き

をさらに含んでもよく、すなわち

となる。

【0044】

理解できるように、スライディングタイムウィンドウの長さ

及びスライディングステップサイズは実際の状況に応じて設定することができ、ここでは限定されない。また、式（１０）及び（１１）に示すスライディングタイムウィンドウ内の最適化される状態量は例示的なものに過ぎず、ここでは限定されない。

【0045】

ステップ１３０において、損失関数を最小化することによって各時刻での当該目標の状態量を最適化し、各時刻での当該目標の最適化された状態量を得、当該損失関数は目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含む。

【0046】

本開示では、損失関数を最小化することにより、各時刻での目標の状態量の最適化を実現する。一例として、損失関数が位置損失、向き損失、速度損失、寸法損失を含む場合、損失関数を式（１２）に基づいて構築してよい。

ここで、

はそれぞれ位置損失、向き損失、速度損失及び寸法損失を表す。損失関数は最適化される状態量に基づいて決定される。具体的には、位置損失、向き損失、速度損失及び寸法損失のそれぞれは最適化される状態量、当該状態量に対応する観測量、及び当該状態量に拘束条件を提供できる他の観測量に基づいて決定することができる。

【0047】

一般的には、状態推定及び融合アルゴリズムはベイズフィルタリングアルゴリズムに基づく状態推定技術を用いることができる。データが収集された各時刻で状態推定を行い、各時刻で状態の事前確率及び尤度確率を利用して、車両状態に対して最大事後推定を行う。しかし、このような技術は常にマルコフ仮定を行う必要があり、すなわち、現在時刻の状態は前の推定時刻のみに影響され、状態量が特定の分布に従うとする必要がある。また、このような方法をオフラインでの軌跡生成に用いる場合、現在時刻の状態推定に現在時刻及びその前の全ての時刻のデータしか用いられず、現在時刻以降のデータが利用されないため、全ての観測が有効に利用されることはない。また、例えば、Ｒａｕｃｈ－Ｔｕｎｇ－Ｓｔｒｉｅｂｅｌ平滑化技術の方法は全ての時間のデータを利用するが、マルコフ仮定及び線形ガウスシステム仮定が行われるため、複雑なシステムに対しては誤差が導入される。

【0048】

本開示による例示的なシナリオにおいて、目標車両の速度観測量、目標車両の位置などは当該目標車両の速度の大きさ、速度方向に対して拘束条件を提供でき、また、目標車両の速度事前、平均速度なども当該目標車両の速度の大きさ、速度方向に対して拘束条件を提供でき、区分線方向、速度方向、レーザレーダーセンサによって観測された目標車両の向き、目標車両の向き事前、平均向きなどは当該目標車両の車体向きに対して拘束条件を提供できるなどについては、以下、詳細に説明する。

【0049】

本開示では、複数種類のセンサにより各時刻での目標の観測量を取得し、対応する損失関数を構築することにより、単一のセンサによる識別から複数のセンサの融合への移行が実現される。それにより、車両の走行中に、複数種類のセンサの検知結果に合わせて周辺車両をモデリングし、周辺車両の状態情報をリアルタイムに更新することができ、それにより、無人運転システムがこの結果に基づいて安全な経路計画を作成することにより、交通事故の発生を回避する。

【0050】

いくつかの実施例によれば、位置は少なくとも１つの基準点の位置を含み、前記基準点は中心点及び輪郭隅角点（例えば、車両検出ボックスの四隅角点）のうち少なくとも一方を含む。位置損失は少なくとも１つの基準点残差を含み、基準点残差は中心点残差及び輪郭隅角点残差のうち少なくとも一方を含み、中心点残差は中心点に対する観測量と状態量との差分を表し、輪郭隅角点残差は輪郭隅角点に対する観測量と状態量との差分を表す。

【0051】

具体的には、

個の観測モデルによって取得された観測データに基づいて目標車両の状態量を最適化し、

は正の整数であるとする。

番目の観測モデルの中心点観測量が

であれば、中心点の観測量と状態量との差分に基づいて中心点残差

を構築することができる。

番目の観測モデルが輪郭観測をさらに提供し、輪郭観測量が

であれば、輪郭隅角点の観測量と状態量との差分に基づいて輪郭隅角点残差

を構築することができる。

【0052】

いくつかの実施例では、中心点残差による速度状態量のさらなる最適化を実現するために、中心点の状態量は速度に基づいて表現することができる。具体的には、観測量がスライディングタイムウィンドウ内の各時刻での目標車両の中心点座標を含み、状態量が当該スライディングタイムウィンドウ内の各時刻での目標車両の速度を含む場合、中心点残差は当該スライディングタイムウィンドウ内の各時刻での目標車両の中心点座標及び当該スライディングタイムウィンドウ内の各時刻での目標車両の速度に基づいて算出することができる。

【0053】

具体的には、

個の観測モデルによって取得された観測データに基づいて目標車両の状態量を最適化し、

は正の整数であるとする。番目の

観測モデルの中心点観測量が

であれば、目標車両に対応する１フレーム目の位置座標が

であると決定し、

は

番目の観測モデルの

時刻での中心点残差ベクトルを表し、式（１３）に示すとおりである。

ここで、

【0054】

いくつかの実施例では、輪郭隅角点残差による速度状態量のさらなる最適化を実現するために、輪郭隅角点の状態量は中心点の状態量に基づいて表現することができる。具体的には、観測量がスライディングタイムウィンドウ内の各時刻での目標車両の輪郭隅角点座標を含む場合、基準点残差は、当該スライディングタイムウィンドウ内の初期時刻での目標車両の中心点座標、当該スライディングタイムウィンドウ内の各時刻での目標車両の速度、当該スライディングタイムウィンドウ内の各時刻での目標車両の輪郭隅角点座標、及び当該スライディングタイムウィンドウ内の各時刻での目標車両の中心点座標から輪郭隅角点座標への対応するベクトルに基づいて算出することができる。

【0055】

具体的には、

番目の観測モデルが輪郭観測をさらに提供し、輪郭観測が

であれば、式（１６）に示すように、輪郭隅角点残差を得ることができる。

ここで、

ここで、

は車両中心点から車両輪郭隅角点へのベクトルを表す。

【0056】

上述したように、図２を参照して説明されたトラックの運動モデルにおいて、トレーラは牽引車の輪郭観測を拘束する。したがって、牽引車の対応する状態量（例えば、上記した速度状態量）を最適化する時、上記した基準点残差の上で、トレーラによる牽引車の輪郭観測に対する拘束条件をさらに導入することができる。

【0057】

いくつかの実施例によれば、中心点残差及び輪郭隅角点残差はそれぞれ対応する重みを有し、且つ重みはいずれも対角行列であり、中心点残差及び輪郭隅角点残差のそれぞれは横方向残差成分及び縦方向残差成分を含み、且つ横方向残差成分及び縦方向残差成分はそれぞれ対応する重みを有する。

【0058】

本開示による例では、目標が車両の場合、横方向は目標車両の略向きに垂直な水平方向であってよく、縦方向は目標車両の略向きに平行な水平方向であってよい。具体的には、当該「略向き」は、例えば、観測された目標車両の車体向き、目標車両が所在する車線の車線向き（すなわち、区画線進路）などを含んでよい。

【0059】

したがって、いくつかの実施例によれば、目標が車両の場合、前記横方向残差成分は前記車両が所在する車線向きに垂直であり、前記縦方向残差成分は前記車両が所在する区画線進路に平行であり、或いは、前記横方向残差成分は前記車両の車体向きに垂直であり、前記縦方向残差成分は前記車両の車体向きに平行である。

【0060】

本開示では、状態量を推定する時に、横方向及び縦方向に着目し、また、モデルのチューニングを容易にするために、横方向及び縦方向を分離することができる。いくつかの例では、例えば、レーダーセンサによって観測された車体向き又は車線向きが既知であり、したがって、ＥＮＵ座標系での残差を

行列によって基準座標系に回転させることができ、こうすると、中心点残差及び輪郭隅角点残差を含む位置損失関数は式（１８）に示すとおりとすることができる。

ここで、

はロバスト関数であり、

は重み行列（対角線行列）であり、横方向残差及び縦方向残差にそれぞれ異なる重みが設定され、

は以上式（４）に記述したものを参照する。

【0061】

本開示では、ロバスト関数

は任意の適切な損失関数に基づくロバスト関数であってよく、Ｃａｕｃｈｙ（Ｌｏｒｅｎｔｚｉａｎ）、Ｃｈａｒｂｏｎｎｉｅｒ（ｐｓｅｕｄｏ－Ｈｕｂｅｒ、Ｌ１－Ｌ２）、Ｈｕｂｅｒ、Ｇｅｍａｎ－ＭｃＣｌｕｒｅ、ｓｍｏｏｔｈ ｔｒｕｎｃａｔｅｄ ｑｕａｄｒａｔｉｃ、ｔｒｕｎｃａｔｅｄ ｑｕａｄｒａｔｉｃ、Ｔｕｋｅｙ'ｓ ｂｉｗｅｉｇｈｔなどを含むが、これらに限定されるものではない。一例として、凸最適化問題を維持するために、Ｈｕｂｅｒのような凸損失関数を選択してよい。しかしながら、凸損失関数は異常値に対してロバスト性が限られている。したがって、いくつかの例では、非凸損失関数を選択してもよい。

【0062】

いくつかの実施例によれば、中心点残差及び輪郭隅角点残差のうち一方の横方向分散が所定の閾値より小さい場合、対応する横方向残差成分の重みは第１の固定値を取り、中心点残差及び輪郭隅角点残差のうち一方の縦方向分散が所定の閾値より小さい場合、対応する縦方向残差成分の重みは第１の固定値を取る。

【0063】

いくつかの例では、中心点残差を例とし、中心点分散の横方向中心点分散成分及び縦方向中心点分散成分のうち少なくとも一方が対応する第１の閾値より小さい場合、横方向中心点残差成分及び縦方向中心点残差成分の対応する重みは第１の固定値である。また、横方向中心点分散成分及び縦方向中心点分散成分のうち少なくとも一方が対応する第１の閾値以上の場合、横方向中心点残差成分及び縦方向中心点残差成分のうち少なくとも一方の重みと横方向中心点分散成分及び縦方向中心点分散成分のうち少なくとも一方とは逆相関である。

【0064】

いくつかの例では、輪郭隅角点残差は上記中心点残差に類似してもよく、すなわち、輪郭隅角点分散に基づいて輪郭隅角点残差に対応する重みを決定する。

【0065】

具体的には、重み行列と分散とは逆相関であり、横方向分散及び縦方向分散が既知であり、重み行列は式（１９）に示すように表すことができる。

ここで、

はいずれもハイパーパラメータである。観測モデルの正確度に限られて、分散が小さい場合、真の誤差を正確に反映できないため、式（１９）により、分散が閾値未満の場合、固定した重みを用いる。本開示では、全ての観測損失項については、いずれも式（１９）と同様の重み式を用いることができる。

【0066】

いくつかの実施例によれば、前記目標は車両であり、中心点残差中の横方向残差成分及び縦方向残差成分は車両の寸法に基づいて校正された横方向残差成分及び縦方向残差成分であり、前記センサによって観測された前記中心点が前記車両の占める領域内に位置する時に残差が最小となる。

【0067】

具体的には、いくつかの実施例では、中心点残差を校正することは、横方向中心点残差成分及び縦方向中心点残差成分のうち少なくとも一方が対応する第２の閾値より大きいことに応答し、横方向中心点残差成分及び縦方向中心点残差成分のうち少なくとも一方から前記対応する第２の閾値を引くことと、横方向中心点残差成分及び縦方向中心点残差成分のうち少なくとも一方が対応する第３の閾値より小さいことに応答し、横方向中心点残差成分及び縦方向中心点残差成分のうち少なくとも一方に前記対応する第３の閾値を足すことと、横方向中心点残差成分及び縦方向中心点残差成分のうち少なくとも一方の値が前記対応する第２の閾値と前記対応する第３の閾値との間にあることに応答し、横方向中心点残差成分及び縦方向中心点残差成分のうち少なくとも一方を０に設定することと、を含んでよい。

【0068】

いくつかの実施例では、前記横方向中心点残差成分については、前記第２の閾値は前記第２の車両の横方向寸法の半分であり、前記第３の閾値は前記第２の車両の横方向寸法の負数の半分であり、前記縦方向中心点残差成分については、前記第２の閾値は前記第２の車両の縦方向寸法の半分であり、前記第３の閾値は前記第２の車両の縦方向寸法の負数の半分である。

【0069】

具体的には、例えば、投影距離測定アルゴリズム、両眼距離測定アルゴリズム、両眼距離測定アルゴリズムに対応するモデルの観測中心については、観測された位置はセンサが所在する機器の観測角度に関連する。観測点は異なる視角での位置が異なり、目標車両上のどの点であるかを特定できない。これらの観測値を用いるために、車両のサイズ範囲にわたって均一に分布しているとすると、式（２０）～（２１）に従って横方向中心点残差及び縦方向中心点残差を校正することができる。

ここで、

はそれぞれ校正前の縦方向中心点残差成分及び横方向中心点残差成分であり、

はそれぞれ校正後の縦方向中心点残差成分及び横方向中心点残差成分である。すなわち、目標車両の車体中心点観測を出力しようとするが、実際の出力にはずれが存在するため、校正式（２０）～（２１）に従って横方向中心点残差及び縦方向中心点残差を校正する。

【0070】

いくつかの実施例によれば、損失関数を最小化することによって各時刻での前記目標の状態量を最適化することは、観測モデルが同一の基準点に対して複数の座標値を出力すれば、観測モデルの出力を破棄することと、複数の観測モデルが同一の基準点に対して同一の時刻での複数の観測量を出力すれば、位置損失のうち前記複数の観測量に対応する横方向残差成分（横方向基準点残差成分）の重み付き二乗和及び縦方向基準点残差成分（縦方向基準点残差成分）の重み付き二乗和に対してそれぞれ正規化処理を行うこととのうち少なくとも一方を含んでよい。

【0071】

状態量の最適化プロセスにおいて、位置要素と速度平滑化要素とは互いに衝突する。速度を平滑化するために、複数の位置観測値が存在する場合、位置要素の重み付き二乗和に対して正規化処理を行うことができる。

【0072】

具体的には、前記少なくとも１つのセンサに対応する複数の観測モデルが存在する。観測量が前記複数の観測モデルから出力された目標車両の中心点に対する同一の時刻での複数の観測値を含む場合、位置損失項中の前記複数の観測値に対応する横方向中心点残差成分の重み付き二乗和に対して正規化処理を行い、また、位置損失項中の複数の観測値に対応する縦方向中心点残差成分の重み付き二乗和に対して正規化処理を行う。

【0073】

観測量が複数の観測モデルから出力された目標車両の同一の輪郭隅角点に対する同一の時刻での複数の観測値を含む場合、位置損失項中の複数の観測値に対応する横方向基準点残差成分の二乗和に対して正規化処理を行い、また、位置損失項中の複数の観測値に対応する縦方向基準点残差成分の二乗和に対して正規化処理を行う。

【0074】

いくつかの実施例によれば、前記速度損失は、速度事前損失及び速度平滑化損失のうち少なくとも一方を含み、速度事前損失は各現在時刻での前記目標の速度と前回の最適化後の速度との残差を含み、前記速度平滑化損失は各現在時刻での前記目標の速度と当該現在時刻が所在する所定の時間帯内の平均速度との残差を含む。

【0075】

具体的には、いくつかの実施例では、観測量はスライディングタイムウィンドウ内の各時刻での目標車両の速度を含み、状態量はスライディングタイムウィンドウ内の各時刻での目標車両の速度を含む。こうすると、速度損失は速度残差に基づいて決定することができ、速度残差は観測量中の速度及び観測量中の速度に基づいて算出することができる。

【0076】

１つの観測モデルが、例えば、レーダーモデルのように、速度観測量を提供できる場合、当該速度損失には速度残差損失を柔軟に追加してもよい。

番目の観測モデルの観測が

であるとすると、式（２２）における速度損失項

を速度損失式に追加する必要がありここで、

は速度観測のモデル数を表す。

【0077】

いくつかの実施例では、例えば、レーダーモデルによって観測された速度ベクトルは信頼できないが、速度ノルムを用いてもよい。このとき、速度ノルムしか利用できなければ、速度損失項

は式（２３）に示すとおりとすることができる。

【0078】

追加的又は代替的に、いくつかの実施例では、状態量がスライディングタイムウィンドウ内での目標車両の平均速度を含む場合、速度損失項は速度平滑化損失を基にしてよく、速度平滑化損失は当該スライディングタイムウィンドウ内の各時刻での目標車両の速度及び当該スライディングタイムウィンドウ内での目標車両の平均速度に基づいて算出される。

【0079】

具体的には、スライディングタイムウィンドウ内の速度平滑化を保証するために、式（２４）に示す速度平滑化損失項を用いて、スライディングタイムウィンドウ内の各時刻での速度を平均値に制限してよい。

ここで、

は速度平滑化損失に対応する重み値である。

【0080】

いくつかの実施例では、当該重み値

は目標車両と複数のセンサが所在する車両又は路側機器との間の距離に基づいて決定することができる。一例として、当該距離がプリセット閾値より大きい場合、当該重み値と当該距離は正相関であり、当該距離が当該プリセット閾値以下の場合、当該重み値は固定値である。

【0081】

いくつかの実施例では、前記速度平滑化損失の重み値

は、さらに、目標車両の速度変化率に基づいて決定することができ、前記速度変化率はスライディングタイムウィンドウ内の各時刻での目標車両の速度に基づいて算出される。具体的には、速度変化率が他のプリセット閾値より大きい場合の重み値は速度変化率がこの他のプリセット閾値以下の場合の重み値より小さい。

【0082】

追加的又は代替的に、いくつかの実施例では、スライディングタイムウィンドウのスライドステップサイズはスライディングタイムウィンドウの長さより小さく、速度損失は速度事前損失に基づいて決定することができる。速度事前損失は、スライディングタイムウィンドウと前のスライディングタイムウィンドウとの重畳領域内の各時刻での速度、及び前記前のスライディングタイムウィンドウに対して行われる状態量の最適化プロセスにおける前記重畳領域内の各時刻での最適化された速度に基づいて算出される。

【0083】

具体的には、各現在時刻での前に最適化された最適化情報を保持するために、式（２５）に示す速度事前損失項を用いてスライディングタイムウィンドウ内の各時刻での速度を、当該時刻での前回の最適化後の速度に接近するように制限することができる。

ここで、

は現在時刻での前回の最適化後の速度であり、このとき、

の値は０からｎ－２であり、このときのスライディングタイムウィンドウのスライドステップサイズが１であることを表し、

については、その最適解は既に前回の最適化（前のスライディングタイムウィンドウ）で取得され、

は速度事前損失に対応する重み値である。

【0084】

いくつかの実施例では、当該重み値は目標車両と前記複数のセンサが所在する車両又は路側機器との間の距離に基づいて決定することができる。当該距離がプリセット閾値より大きい場合、当該重み値と当該距離は正相関であり、当該距離が当該プリセット閾値以下の場合、当該重み値は固定値である。

【0085】

以上をまとめると、完全な速度損失項は式（２６）に示すように表すことができる。

【0086】

いくつかの実施例によれば、前記向き損失項は、前記第１の部材の向き事前損失、前記第１の部材の向き平滑化損失、前記第２の部材の向き事前損失、前記第２の部材の向き平滑化損失、及び角速度損失のうち少なくとも一方を含み、前記向き事前損失は各現在時刻での前記目標の向き量と前回の最適化後の向き量との残差を含み、前記向き平滑化損失は各現在時刻での前記目標の向きと当該現在時刻が所在する所定の時間帯内の平均向きとの残差を含み、前記角速度損失は第１の角度変化速度率と第２の角度変化速度率との残差を含み、前記第１の角度変化速度率は車両の寸法、車両の速度、前記第１の部材の角度及び前記第２の部材の角度に関連し、前記第２の角度変化速度率は所定の時間間隔内の前記第２の部材の角度変化速度率に関連する。

【0087】

いくつかの実施例では、目標は車両であり、且つ前記目標車両は第１の部材（すなわち一段構造）のみを含み、状態量はスライディングタイムウィンドウ内の各時刻での目標車両の向きを含む。このとき、向き損失は、スライディングタイムウィンドウ内の各時刻での目標車両の向き及び当該スライディングタイムウィンドウ内の各時刻での目標車両の向き観測値に基づいて算出される向き残差に基づくものを含んでよい。

【0088】

具体的には、向き観測量は、向きを直接拘束することができ、したがって、向き損失項は式（２７）に示すとおりとすることができる。

ここで、

は１組の異なる観測源であり、

は

番目の観測源に対応する重みであり、その計算方式は式（１９）に示すとおりとすることができる。速度に基づく向き観測については、重み

は式（２８）に従って算出することができ、

ここで、

はいずれもハイパーパラメータである。

【0089】

いくつかの実施例では、向き観測値は、少なくとも１つの観測モデルによって観測された目標車両の車体向き、区分線向き、又は目標車両の速度方向であってよい。いくつかの実施例では、向きを最適化するために、信頼できる方向観測が与えられない場合、車両が車線に沿って走行すべきであり、このとき、車線の区画線進路は固定分散を有する向き観測値と見なすことができ、また、速度方向は向き観測と考えられてもよく、且つ速度が高ければ高いほど、速度方向と車両向きとの差が小さくなる。

【0090】

速度損失と同様に、向き損失も同様な平滑化損失項と事前損失項を有する。いくつかの実施例では、状態量はスライディングタイムウィンドウ内での目標車両の第１の部材の平均向きをさらに含み、したがって、向き損失は向き平滑化損失に基づいて算出することができ、向き平滑化損失はスライディングタイムウィンドウ内の各時刻での目標車両の向き状態量及び当該スライディングタイムウィンドウ内での目標車両の平均向き状態量に基づいて算出される。

【0091】

いくつかの実施例では、スライディングタイムウィンドウのスライドステップサイズはスライディングタイムウィンドウの長さより小さい。このとき、向き損失はさらに向き事前損失に基づいて算出され、向き事前損失は、スライディングタイムウィンドウと前のスライディングタイムウィンドウとの重畳領域内の各時刻での向き状態量、及び前記前のスライディングタイムウィンドウに対して行われる状態量の最適化プロセスにおける前記重畳領域内の各時刻での最適化された方向状態量に基づいて算出される。

【0092】

具体的には、向き損失の平滑化損失項及び事前損失項はそれぞれ式（２９）及び（３０）に示すとおりとすることができる。

ここで、

は現在時刻での前回の最適化後の方向であり（このとき、スライディングタイムウィンドウのスライドステップサイズが１であるとする）、

は現在のスライディングタイムウィンドウ内の平均向きである。

【0093】

いくつかの実施例では、目標車両は、例えば、トラックの第１の部材及び第２の部材を含む車両である。前記第１の部材及び第２の部材は回転軸構造（又はヒンジ）によって両者間の構造的拘束を形成することができる。状態量はスライディングタイムウィンドウ内の各時刻での第１の部材の向き及び前記スライディングタイムウィンドウ内の各時刻での第２の部材の向きを含む。

【0094】

したがって、いくつかの実施例では、向き損失は第１の部材の向き残差及び第２の部材の向き残差を基にしてよく、ここで、第１の部材の向き残差はスライディングタイムウィンドウ内の各時刻での第１の部材の向き及びスライディングタイムウィンドウ内の各時刻での第１の部材の向き観測値に基づいて算出され、第２の部材の向き残差はスライディングタイムウィンドウ内の各時刻での第２の部材の向き及びスライディングタイムウィンドウ内の各時刻での第２の部材の向き観測値に基づいて算出される。第１の部材の向き残差及び第１の部材の向き残差は上記したものを参照してもよく、ここでは重複する説明は省略する。

【0095】

いくつかの実施例では、前記第１の部材の向き観測値は少なくとも１つの観測モデルによって観測される第１の部材の向き、区画線向き、又は第１の部材の速度方向であり、第２の部材の向き観測値は前記少なくとも１つの観測モデルによって観測される第２の部材の向き、区画線向き、又は第２の部材の速度方向である。

【0096】

いくつかの実施例では、状態量はスライディングタイムウィンドウ内での第１の部材の平均向きを含み、したがって、向き損失は第１の部材の向き平滑化損失を含んでよく、第１の部材の向き平滑化損失はスライディングタイムウィンドウ内の各時刻での第１の部材の向き及びスライディングタイムウィンドウ内での第１の部材の平均向きに基づいて算出される。

【0097】

いくつかの実施例では、スライディングタイムウィンドウのスライドステップサイズは前記スライディングタイムウィンドウの長さより小さい。したがって、向き損失項は第１の部材の向き事前損失を含んでよく、第１の部材の向き事前損失は、スライディングタイムウィンドウと前のスライディングタイムウィンドウとの重畳領域内の各時刻での第１の部材の向き、及び前記前のスライディングタイムウィンドウに対して行われる状態量の最適化プロセスにおける前記重畳領域内の各時刻での第１の部材の最適化された向きに基づいて算出される。

【0098】

いくつかの実施例では、観測量は前記スライディングタイムウィンドウ内の各時刻で観測される第２の部材の長さと、前記スライディングタイムウィンドウ内の各時刻で観測される前記構造的拘束を形成する回転軸構造（又はヒンジ）の長さと、を含む。状態量はスライディングタイムウィンドウ内の各時刻での目標車両の速度、スライディングタイムウィンドウ内の各時刻での第１の部材の向き及び前記スライディングタイムウィンドウ内の各時刻での第２の部材の向きを含む。このとき、向き損失は角速度損失を含んでよく、前記角速度損失は、前記スライディングタイムウィンドウ内の各時刻での目標車両の速度、前記スライディングタイムウィンドウ内の各時刻で観測される第２の部材の長さ、前記スライディングタイムウィンドウ内の各時刻で観測される回転軸構造の長さ、前記スライディングタイムウィンドウ内の各時刻での第１の部材の向き、及び前記スライディングタイムウィンドウ内の各時刻での第２の部材の向きに基づいて算出される。

【0099】

具体的には、第２の部材の向き観測には、式（９）に示される運動学的拘束がさらに存在する。こうすると、角速度損失は式（３１）に示すとおりとすることができる。

ここで、

はそれぞれ第１の部材及び回転軸構造の長さであり、その計算方式については、以下、寸法損失を参照して説明する。

【0100】

以上をまとめると、完全な向き損失項は式（３２）に示すように表すことができる。

【0101】

いくつかの実施例では、例えばレーダーセンサなどによって観測された方向は、１８０度反転する可能性があり、例えば、車両の後退時の速度方向と車体向きとは１８０度の差があってもよい。したがって、損失関数を最小化することによって状態量を最適化するプロセスにおいて、車体向きを校正することができ、現在のスライディングタイムウィンドウで最適化された目標車両の向き状態量と現在のスライディングタイムウィンドウ内の対応する時刻での向き観測値との差が９０度より大きい場合、向き観測値を１８０度反転することと、スライディングタイムウィンドウでの向き観測値の反転回数が連続的にプリセット数値を超える場合、スライディングタイムウィンドウでの向き状態量を１８０度反転することと、を含む。

【0102】

いくつかの実施例によれば、前記寸法損失は、寸法事前損失及び各時刻での最適化された寸法累積損失のうち少なくとも一方を含み、前記寸法事前損失は各現在時刻での前記目標の寸法と前回の最適化後の寸法との残差を含み、前記寸法累積損失は初期時刻から前の最適化時刻までの前記目標の各寸法損失の総和を含む。

【0103】

いくつかの実施例では、スライディングタイムウィンドウのスライドステップサイズはスライディングタイムウィンドウの長さより小さい。したがって、寸法損失項は寸法事前損失を含んでよく、寸法事前損失は、スライディングタイムウィンドウと前のスライディングタイムウィンドウとの重畳領域内の各時刻での目標の寸法、及び前記前のスライディングタイムウィンドウに対して行われる状態量の最適化プロセスにおける前記重畳領域内の各時刻での目標の最適化された寸法に基づいて算出される。

【0104】

いくつかの実施例によれば、寸法累積損失は増分更新方法を用いて算出され、各時刻での前記目標の観測量はスライディングタイムウィンドウ内の各時刻での前記目標の観測量であり、各時刻での前記目標の状態量はスライディングタイムウィンドウ内の各時刻での前記目標の状態量であり、前記スライディングタイムウィンドウは複数のデータ時刻を含み、前記各時刻は前記複数のデータ時刻のうち少なくとも２つの時刻である。

【0105】

具体的には、記寸法累積損失は初期時刻から前回の最適化時刻までの間の前記目標の各寸法損失の総和を含む。当該初期時刻は最初に状態量の最適化を開始する時刻であり、例えば、取得した１フレーム目のデータの時刻である。前回の最適化時刻は、例えば、前回のスライディングタイムウィンドウ内の最後の時刻とすることができる。一例として、目標車両輪郭観測は目標車両の寸法情報を提供でき、したがって、寸法累積損失は、現在のスライディングタイムウィンドウ内になく且つ前のスライディングタイムウィンドウ内にある各時刻に対応する基準点残差に基づいて決定された寸法損失、及び前記前のスライディングタイムウィンドウに対して行われた状態量の最適化プロセスにおいて使用された寸法累積損失に基づいて算出することができる。

【0106】

いくつかの実施例では、前記観測量は前記スライディングタイムウィンドウ内の各時刻での目標車両の輪郭隅角点座標、及びスライディングタイムウィンドウ内の各時刻での目標車両の中心点座標を含む。状態量は前記スライディングタイムウィンドウ内の各時刻での目標車両の速度を含み、各時刻に対応する基準点残差は、当該時刻での目標車両の中心点座標の観測量、当該時刻での目標車両の輪郭隅角点座標の観測量、及び当該時刻での目標車両の中心点座標の観測量から当該時刻での目標車両の輪郭隅角点座標の観測量への対応するベクトルに基づいて算出され、当該対応するベクトルは式（１７）に従って決定することができる。

【0107】

具体的には、最適化フレームワークにおいて、車体寸法又はトラックの牽引車寸法は最適化されるグローバル変数として考えられる。現在の状態を更新した後、最も古いフレームは取り除かれ、更新されない。スライディングウィンドウ外の状態量は固定されているが、それらはグローバル寸法変数に関する情報を提供できる。具体的には、

フレーム目が取り除かれると、輪郭観測

が利用可能であれば、１つの新しい寸法損失を生成することができ、式（３３）に示すとおりである。

ここで、

は定数であり、

は式（１９）において分散に基づいて算出される重みである。

【0108】

ラプラス分布は、ガウス分布と逆ガウス分布との積として同等に表すことができるので、いくつかの例では、より良好なロバスト性を有するために、式（３４）に示すように、

を用いてＨｕｂｅｒ損失関数のＬ２項に近似させてよい。

ここで、

はプリセットパラメータを表し、

は式（３３）中の

を表す。

【0109】

寸法損失項の数は時間とともに多くなり、冗長な計算を避けるために、本開示による実施例では、増分形態でこれらを１つに合併するため、Ｔｉ時点での損失項は式（３５）のように表すことができる。

ここで、

はＳＶＤ分解方法により計算することができ、式（３６）～（３８）に示すとおりである。

ここで、

は対称行列なので、Ｕ＝Ｖである。

は式（３９）に示すとおりとすることができる。

【0110】

いくつかの実施例では、目標が第１の部材及び第２の部材を含む例では、例えば図２に示すようなトラックモデルには、トレーラ及び当該トレーラと牽引車を連結する回転軸構造の寸法は観測量によって算出することができ、以下の式（４０）～（４２）に示すとおりである。

ここで、式（４０）～（４２）は最適化問題の解であり、式（４３）に示すとおりである。

【0111】

以上をまとめると、Ｌ及びＷの事前損失が既知であり、全寸法損失項は式（４４）に示すとおりとすることができる。

ここで、

中の第一項は寸法累積損失であり、第二項は寸法事前損失である。

【0112】

本開示では、目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含む損失関数に基づいて、当該損失関数を最小化することにより、各時刻での当該目標の状態量を最適化し、それにより最適化された各状態量を取得することができる。無人運転分野では、本開示の方法によれば、周辺車両の状態情報をより精確に更新することができ、それにより、無人運転システムがこの結果に基づいて安全な経路計画を作成することにより、交通事故の発生を回避する。

【0113】

本開示の実施例によれば、図５に示すように、複数種類のセンサによって目標に対する観測量を取得することに適する取得ユニット５１０であって、各種類のセンサによって少なくとも１つの観測量を取得する取得ユニットと、前記観測量に基づいて前記目標の最適化される状態量を決定することに適する構築ユニット５２０と、損失関数を最小化することによって各時刻での前記目標の状態量を最適化し、各時刻での前記目標の最適化された状態量を得ることに適する最適化ユニット５３０と、を含む目標状態推定装置がさらに提供される。前記損失関数は前記目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含む。

【0114】

図６を参照しながら、本開示の各態様に適用可能なハードウェア機器の一例であるコンピューティング機器２０００について説明する。コンピューティング機器２０００は処理及び／又は計算を実行するように構成される任意の機械とすることができ、ワークステーション、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタント、スマートフォン、車載コンピュータ又はこれらの任意の組み合わせであってもよいが、これらに限定されるものではない。上記目標状態推定装置は、全部又は少なくとも一部がコンピューティング機器２０００又は同様の機器若しくはシステムによって実現することができる。

【0115】

コンピューティング機器２０００は（場合によって１つ又は複数のインタフェースを介して）バス２００２に接続され、又はバス２００２と通信する素子を含んでよい。例えば、コンピューティング機器２０００はバス２００２と、１つ又は複数のプロセッサ２００４と、１つ又は複数の入力機器２００６と、１つ又は複数の出力機器２００８と、を含んでよい。１つ又は複数のプロセッサ２００４は任意のタイプのプロセッサとすることができ、１つ又は複数の汎用プロセッサ及び／又は１つ又は複数の専用プロセッサ（例えば、特殊処理チップ）を含むことができるが、これらに限定されるものではない。入力機器２００６はコンピューティング機器２０００に情報を入力可能な任意のタイプの機器とすることができ、マウス、キーボード、タッチスクリーン、マイクロフォン及び／又はリモートコントローラを含むことができるが、これらに限定されるものではない。出力機器２００８は情報を表示可能な任意のタイプの機器とすることができ、ディスプレイ、スピーカ、ビデオ／オーディオ出力端子、バイブレータ及び／又はプリンタを含むことができるが、これらに限定されるものではない。コンピューティング機器２０００は非一時的記憶機器２０１０を含み、又は非一時的記憶機器２０１０に接続されてもよく、非一時的記憶機器は非一時的且つデータ記憶を実現可能な任意の記憶機器とすることができ、ディスクドライブ、光記憶機器、ソリッドステートメモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ又は任意の他の磁気媒体、光ディスク又は任意の他の光媒体、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、キャッシュメモリ及び／又は任意の他のメモリチップ若しくはカートリッジ、及び／又はデータ、命令及び／又はコードをコンピュータにより読み取り可能な任意の他の媒体を含むことができるが、これらに限定されるものではない。非一時的記憶機器デバイス２０１０はインタフェースから取り外し可能である。非一時的記憶機器２０１０は上記方法及びステップを実現するためのデータ／プログラム（命令を含む）／コードを有することができる。コンピューティング機器２０００は通信機器２０１２をさらに含んでもよい。通信機器２０１２は外部機器及び／又はネットワークとの通信を可能にする任意のタイプの機器又はシステムとすることができ、モデム、ネットワークカード、赤外線通信機器、無線通信機器及び／又はチップセット、例えばブルートゥース（商標）機器、１３０２．１１機器、ＷｉＦｉ機器、ＷｉＭａｘ機器、セルラ通信機器及び／又は同等物などを含んでよいが、これらに限定されるものではない。

【0116】

コンピューティング機器２０００はワークメモリ２０１４をさらに含んでもよく、これは、プロセッサ２００４の動作に有用なプログラム（命令を含む）及び／又はデータを記憶可能な任意のタイプのワークメモリとすることができ、ランダムアクセスメモリ及び／又はリードオンリーメモリを含んでよいが、これらに限定されるものではない。

【0117】

ソフトウェア要素（プログラム）はワークメモリ２０１４に位置することができ、オペレーティングシステム２０１６と、１つ又は複数のアプリケーションプログラム２０１８と、ドライブプログラム及び／又は他のデータと、コードとを含んでよいが、これらに限定されるものではない。上記方法及びステップを実行するための命令は、１つ又は複数のアプリケーションプログラム２０１８に含まれることができ、上記目標状態推定装置の各ユニットなどはプロセッサ２００４によって１つ又は複数のアプリケーションプログラム２０１８の命令を読み取り、実行することにより実現することができる。より具体的には、別の前記目標状態推定装置の取得ユニット５１０は、例えば、プロセッサ２００４がステップ１１０を実行する命令を有するアプリケーションプログラム２０１８を実行することにより実現することができる。別の前記目標状態推定装置の構築ユニット５２０は、例えば、プロセッサ２００４がステップ１２０を実行する命令を有するアプリケーションプログラム２０１８を実行することにより実現することができる。また、前記目標状態推定装置の最適化ユニット５３０は、例えば、プロセッサ２００４がステップ１３０を実行する命令を有するアプリケーションプログラム２０１８を実行することにより実現することができる。ソフトウェア要素（プログラム）の命令の実行可能なコード又はソースコードは、非一時的コンピュータ可読記憶媒体（例えば、上記記憶機器２０１０）に記憶することができ、実行時に、ワークメモリ２０１４に記憶することができる（コンパイル及び／又はインストールされる可能性がある）。ソフトウェア要素（プログラム）の命令の実行可能なコード又はソースコードは遠隔位置からダウンロードすることができる。

【0118】

また、具体的な要求に応じて様々な変形が可能であることも理解されるべきである。例えば、特定の素子は、カスタムハードウェア、及び／又はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語又はそれらの任意の組み合わせで実現することができる。例えば、開示された方法及び機器のうちのいくつか又は全ては、本開示によるロジック及びアルゴリズムにより、アセンブリ言語又はハードウェアプログラミング言語（例えば、ＶＥＲＩＬＯＧ、ＶＨＤＬ、Ｃ＋＋）でハードウェア（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／又はプログラマブルロジックアレイ（ＰＬＡ）を含むプログラマブルロジック回路）をプログラミングすることによって実現することができる。

【0119】

前述した方法は、サーバ－クライアントのモードによって実現され得ることも理解されるべきである。例えば、クライアントはユーザから入力されたデータを受信し、前記データをサーバに送信するとしてもよい。クライアントはユーザから入力されたデータを受信し、前述した方法の一部の処理を行い、処理によって得られたデータをサーバに送信するとしてもよい。サーバは、クライアントからのデータを受信し、前述した方法又は前述した方法における他の部分を実行し、実行結果をクライアントにフィードバックするとしてもよい。クライアントは方法の実行結果をサーバから受信し、例えば出力機器によりユーザに表示するとしてもよい。

【0120】

また、コンピューティング機器２０００の構成要素はネットワーク上に分散できることも理解されるべきである。例えば、あるプロセッサでいくつかの処理を実行しつつ、他の処理をそのプロセッサから離れた他のプロセッサで実行してもよい。コンピューティングシステム２０００の他の構成要素も同様に分布することができる。このように、コンピューティング機器２０００は複数の位置で処理を行う分散コンピューティングシステムとして解釈することができる。

【0121】

図面を参照しながら本開示の実施例又は例について説明したが、上記方法、システム及び機器は例示的な実施例又は例に過ぎず、本発明の範囲はこれらの実施例又は例に限定されず、授権された特許請求の範囲及びその同等範囲のみによって限定される。実施例又は例における様々な要素を省略してもよく、又はそれらの同等要素に置き換えてもよい。また、本開示では説明した順序とは異なる順序に従って各ステップを実行してもよい。さらに、実施例又は例における様々な要素を様々な形態により組み合わせてもよい。重要なことに、技術が進歩するにつれて、本明細書に記載される要素は、本開示の後に現れる同等の要素によって置き換えることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】