特表2024-539492オンライン適応複合測定モデルを用いて移動物体の拡大状態を追跡するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-28
(54)【発明の名称】オンライン適応複合測定モデルを用いて移動物体の拡大状態を追跡するためのシステムおよび方法
(51)【国際特許分類】
G01S 13/72 20060101AFI20241018BHJP
G01S 13/89 20060101ALI20241018BHJP
G06T 7/00 20170101ALI20241018BHJP
G06T 7/60 20170101ALI20241018BHJP
【ＦＩ】
G01S13/72
G01S13/89
G06T7/00 350B
G06T7/00 650B
G06T7/60 300A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024546518
(86)(22)【出願日】2022-07-11
(85)【翻訳文提出日】2024-04-15
(86)【国際出願番号】 JP2022027786
(87)【国際公開番号】W WO2023074064
(87)【国際公開日】2023-05-04
(31)【優先権主張番号】17/452,620
(32)【優先日】2021-10-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ワン，プー
(72)【発明者】
【氏名】ヤオ，ガン
(72)【発明者】
【氏名】バーントープ，カール
(72)【発明者】
【氏名】マンスール，ハッサン
(72)【発明者】
【氏名】ボウフォウノス，ペトロス
(72)【発明者】
【氏名】オーリック，フィリップ
【テーマコード（参考）】
5J070
5L096
【Ｆターム（参考）】
5J070AF03
5J070AH19
5J070BB16
5J070BE03
5L096AA06
5L096AA09
5L096BA04
5L096EA03
5L096EA06
5L096FA06
5L096FA33
5L096FA60
5L096FA62
5L096FA69
5L096GA30
5L096GA34
5L096GA55
5L096HA05
5L096KA04
(57)【要約】
物体の拡大状態を追跡するための追跡システムが提供される。上記追跡システムは、物体の拡大状態に関する信念を反復的に追跡する確率フィルタを予め定められた期間にわたって実行し、信念は、物体の運動モデルを用いて予測され、さらに物体の複合測定モデルを用いて更新される。予め定められた期間後、更新信念は平滑化されて、状態分離された訓練データのオンラインバッチが生成される。複合測定モデルは、物体の中心への予め定められた相対幾何学的マッピングによって物体の輪郭の周りに位置するように拘束された複数の確率分布を含む。複合測定モデルは、訓練データのオンラインバッチを用いて更新される。さらに、上記追跡システムは、更新された複合測定モデルに基づいて物体の拡大状態を追跡する。
【特許請求の範囲】
【請求項1】
物体の拡大状態を追跡するための追跡システムであって、前記拡大状態は、前記物体の中心の位置および速度のうちの１つまたはそれらの組み合わせを示す運動学的状態と、前記物体の寸法および方位のうちの１つまたはそれらの組み合わせを示す拡張状態とを含み、前記追跡システムは、少なくとも１つのプロセッサと、
命令が格納されたメモリとを備え、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記追跡システムに、
少なくとも１つのセンサに関連付けられた測定値を予め定められた期間にわたって受信することを行わせ、前記少なくとも１つのセンサは、１回または複数回の信号送信を介して前記物体を含む場面を探査するように構成され、前記１回または複数回の信号送信は、前記送信当たり前記物体の測定値を１つまたは複数生成するように構成され、前記命令はさらに、前記少なくとも１つのプロセッサによって実行されると、前記追跡システムに、
前記物体の前記拡大状態に関する信念を反復的に追跡する確率フィルタを実行することを行わせ、前記信念は、前記物体の運動モデルを用いて予測され、前記物体の複合測定モデルを用いて更新され、前記複合測定モデルは、前記物体の前記中心への予め定められた相対幾何学的マッピングによって前記物体の輪郭の周りに位置するように拘束された複数の確率分布を含み、前記反復追跡の各反復において、前記拡大状態に関する前記信念は、予測信念と更新信念との間の差に基づいて更新され、前記更新信念は、前記複数の確率分布の各々に適合する、前記予め定められた期間内に取得された前記測定値の確率に基づいて推定されて、対応する前記幾何学的マッピングに基づいて前記物体の前記拡大状態にマッピングされ、前記複合測定モデルは、オフライン訓練データを用いてオフラインで事前訓練され、前記命令はさらに、前記少なくとも１つのプロセッサによって実行されると、前記追跡システムに、
更新信念と予測信念と前記予め定められた期間にわたる測定値とを蓄積して、状態分離測定値を含む訓練データのオンラインバッチを生成することと、
前記訓練データのオンラインバッチに基づいて前記複合測定モデルのパラメータを更新することによって前記複合測定モデルを更新することと、
更新された前記複合測定モデルに基づいて前記物体の前記拡大状態を追跡することとを行わせる、追跡システム。
【請求項2】
前記複合測定モデルは、前記複合測定モデルのパラメータを更新することによって更新され、前記複合測定モデルの前記パラメータは、確率分布の数、前記複数の確率分布に対応する制御ポイント、および前記複数の確率分布間の共分散を含む、請求項１に記載の追跡システム。
【請求項3】
前記訓練データのオンラインバッチを生成するために、前記プロセッサはさらに、前記更新信念と前記予測信念との間の共分散、ならびに、後方再帰および前方再帰のうちの少なくとも１つを用いて、蓄積された前記更新信念を平滑化するように構成される、請求項１に記載の追跡システム。
【請求項4】
前記後方再帰は、前記予め定められた期間内の特定の時刻における測定値に基づいて、蓄積された前記更新信念を前記特定の時刻から逆方向に平滑化するように実行される、請求項３に記載の追跡システム。
【請求項5】
前記前方再帰は、前記予め定められた期間内の特定の時刻における測定値に基づいて、蓄積された前記更新信念を前記特定の時刻から順方向に平滑化するように実行される、請求項３に記載の追跡システム。
【請求項6】
蓄積された前記更新信念は、アンセンテッド平滑器を有するベイズフィルタを用いて平滑化される、請求項３に記載の追跡システム。
【請求項7】
事前訓練された前記複合測定モデルの前記パラメータは、更新された前記複合測定モデルのパラメータと事前訓練された前記複合測定モデルの前記パラメータとの間の正則化された距離に基づいて更新される、請求項１に記載の追跡システム。
【請求項8】
事前訓練された前記複合測定モデルの前記パラメータは、前記物体の前記中心への前記複数の確率分布の前記予め定められた相対幾何学的マッピングが保持されるように更新される、請求項７に記載の追跡システム。
【請求項9】
前記物体の前記中心への前記複数の確率分布の前記幾何学的マッピングを保持するために、前記プロセッサはさらに、前記複数の確率分布に対応する制御ポイントを保持するように構成される、請求項８に記載の追跡システム。
【請求項10】
前記状態分離測定値を含む前記訓練データのオンラインバッチを生成するために、前記プロセッサはさらに、更新された前記複合測定モデルをグローバル座標系から単位座標系に変換するように構成される、請求項１に記載の追跡システム。
【請求項11】
前記プロセッサはさらに、前記複数の確率分布のうちの異なる確率分布を異なる物体に属しているとみなすことによって、前記複数の測定値を前記異なる確率分布に割り当てるように構成される、請求項１に記載の追跡システム。
【請求項12】
前記プロセッサはさらに、前記異なる物体であるとみなされる前記異なる確率分布への前記複数の測定値の割り当てを実行するための確率論的多仮説追跡（ＰＭＨＴ：Probabilistic Multiple-Hypothesis Tracking）を用いて、前記複数の測定値を前記異なる確率分布に割り当てるように構成される、請求項１１に記載の追跡システム。
【請求項13】
事前訓練された前記複合測定モデルの前記パラメータは、期待値最大化（ＥＭ：Expectation-Maximization）法を用いて更新される、請求項１に記載の追跡システム。
【請求項14】
各確率分布の１つまたは複数のパラメータは、二次元（２Ｄ）確率空間におけるランダム行列モデル（ＲＭＭ：Random Matrix Model）によって表現される、請求項１に記載の追跡システム。
【請求項15】
前記物体の前記輪郭は、Ｂ－スプライン曲線に対応する、請求項１に記載の追跡システム。
【請求項16】
前記プロセッサは、更新された前記複合測定モデルを用いて追跡された前記物体の前記拡大状態に基づいて車両のコントローラへの制御入力を決定し、前記制御入力に従って前記車両を制御するように構成され、前記車両は、請求項１に記載の追跡システムに動作可能に接続される、請求項１に記載の追跡システム。
【請求項17】
物体の拡大状態を追跡するための追跡方法であって、前記拡大状態は、前記物体の中心の位置および速度のうちの１つまたはそれらの組み合わせを示す運動学的状態と、前記物体の寸法および方位のうちの１つまたはそれらの組み合わせを示す拡張状態とを含み、前記追跡方法は、少なくとも１つのセンサに関連付けられた測定値を予め定められた期間にわたって受信するステップを含み、前記少なくとも１つのセンサは、１回または複数回の信号送信を介して前記物体を含む場面を探査するように構成され、前記１回または複数回の信号送信は、前記送信当たり前記物体の測定値を１つまたは複数生成するように構成され、前記追跡方法はさらに、
前記物体の前記拡大状態に関する信念を反復的に追跡する確率フィルタを実行するステップを含み、前記信念は、前記物体の運動モデルを用いて予測され、前記物体の複合測定モデルを用いて更新され、前記複合測定モデルは、前記物体の前記中心への予め定められた相対幾何学的マッピングによって前記物体の輪郭の周りに位置するように拘束された複数の確率分布を含み、前記反復追跡の各反復において、前記拡大状態に関する前記信念は、予測信念と更新信念との間の差に基づいて更新され、前記更新信念は、前記複数の確率分布の各々に適合する、前記予め定められた期間内に取得された前記測定値の確率に基づいて推定されて、対応する前記幾何学的マッピングに基づいて前記物体の前記拡大状態にマッピングされ、前記複合測定モデルは、オフライン訓練データを用いてオフラインで事前訓練され、前記追跡方法はさらに、
更新信念と予測信念と前記予め定められた期間にわたる測定値とを蓄積して、状態分離測定値を含む訓練データのオンラインバッチを生成するステップと、
前記訓練データのオンラインバッチに基づいて前記複合測定モデルのパラメータを更新することによって前記複合測定モデルを更新するステップと、
更新された前記複合測定モデルに基づいて前記物体の前記拡大状態を追跡するステップとを含む、追跡方法。
【請求項18】
前記複合測定モデルは、前記複合測定モデルのパラメータを更新することによって更新され、前記複合測定モデルの前記パラメータは、確率分布の数、前記複数の確率分布に対応する制御ポイント、および前記複数の確率分布間の共分散を含む、請求項１７に記載の追跡方法。
【請求項19】
前記訓練データのオンラインバッチを生成するために、前記方法はさらに、前記更新信念と前記予測信念との間の共分散、ならびに、後方再帰および前方再帰のうちの少なくとも１つを用いて、蓄積された前記更新信念を平滑化するステップを含む、請求項１７に記載の追跡方法。
【請求項20】
物体の拡大状態を追跡するための方法を実行するためにプロセッサによって実行可能なプログラムが組み入れられた非一時的なコンピュータ可読記憶媒体であって、前記拡大状態は、前記物体の中心の位置および速度のうちの１つまたはそれらの組み合わせを示す運動学的状態と、前記物体の寸法および方位のうちの１つまたはそれらの組み合わせを示す拡張状態とを含み、前記方法は、少なくとも１つのセンサに関連付けられた測定値を予め定められた期間にわたって受信するステップを含み、前記少なくとも１つのセンサは、１回または複数回の信号送信を介して前記物体を含む場面を探査するように構成され、前記１回または複数回の信号送信は、前記送信当たり前記物体の測定値を１つまたは複数生成するように構成され、前記方法はさらに、
前記物体の前記拡大状態に関する信念を反復的に追跡する確率フィルタを実行するステップを含み、前記信念は、前記物体の運動モデルを用いて予測され、前記物体の複合測定モデルを用いて更新され、前記複合測定モデルは、前記物体の前記中心への予め定められた相対幾何学的マッピングによって前記物体の輪郭の周りに位置するように拘束された複数の確率分布を含み、前記反復追跡の各反復において、前記拡大状態に関する前記信念は、予測信念と更新信念との間の差に基づいて更新され、前記更新信念は、前記複数の確率分布の各々に適合する、前記予め定められた期間内に取得された前記測定値の確率に基づいて推定されて、対応する前記幾何学的マッピングに基づいて前記物体の前記拡大状態にマッピングされ、前記複合測定モデルは、オフライン訓練データを用いてオフラインで事前訓練され、前記方法はさらに、
更新信念と予測信念と前記予め定められた期間にわたる測定値とを蓄積して、状態分離測定値を含む訓練データのオンラインバッチを生成するステップと、
前記訓練データのオンラインバッチに基づいて前記複合測定モデルのパラメータを更新することによって前記複合測定モデルを更新するステップと、
更新された前記複合測定モデルに基づいて前記物体の前記拡大状態を追跡するステップとを含む、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に自動車用の物体追跡に関し、より具体的には物体の測定値を用いて物体の拡大状態を追跡するためのシステムおよび方法に関する。
【背景技術】
【0002】
自律車両および半自律車両などの車両によって利用される制御システムは、他の車両または歩行者などの障害物との衝突を回避するために、車両の安全な運動または経路を予測する。また、いくつかのシナリオでは、車両は、車両の１つまたは複数のセンサの助けを借りて、路肩、歩行者および他の車両などの周囲の状況を検知するように構成される。これらのセンサのうちのいくつかは、既存の先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance System）において用いられる超音波センサ、カメラおよびＬＩＤＡＲセンサを含む。
【0003】
車両の制御システムは、車両を制御するために、自動車レーダ測定値に基づいて他の車両の物体状態（物体状態は運動学的状態を含む）を追跡する。走査当たり複数の測定値を有する拡張物体追跡（ＥＯＴ：Extended Object Tracking）は、物体状態を運動学的状態のみから運動学的状態および拡張状態の両方の状態に増大させることによって、走査当たり測定値を１つだけ含む従来のポイント物体追跡よりも物体追跡を向上させることを示した。拡張状態は、追跡中の物体の寸法および方位を提供する。これを実現するために、センサノイズとともに空間分布（すなわち、自動車レーダ測定値が物体の周りに空間的にどのように分布しているか）を取り込む必要がある。現行の方法は、剛体上の固定されたポイントセットのフレームワークを含み、このフレームワークは、単一物体追跡の場合でも、固定されたポイントセットと自動車レーダ検出値との間の非スケーラブルなデータ関連付けを必要とする。輪郭モデルおよび表面モデルなどの空間モデルは、厄介なデータ関連付けステップを回避する。
【0004】
自動車レーダ測定値では、輪郭モデルは、物体（例えば、剛体）の輪郭に沿った測定値分布を反映し、表面モデルは、レーダ測定値が二次元形状の内面から生成されると仮定する。輪郭モデルの例としては、ランダム超曲面モデルまたはガウス過程モデルによってモデル化される単純な長方形形状およびより一般的な星状凸形状が挙げられる。ガウスベースの楕円モデルおよび階層型ガウスベースの楕円モデルなどのいくつかの表面モデルは、はるかに多くの自由度を必要とする輪郭モデルよりも、より複雑な形状を説明するのが計算的にはるかに簡単である。しかしながら、物体の測定値は、ノイズを受けやすく、反射は、物体の表面のみから受け取られる。したがって、上記のモデルは、実世界の自動車レーダ測定値を取り込まない。
【0005】
したがって、実世界の自動車レーダ測定値を取り込むことによって物体の運動学的状態および拡張状態の両方の状態を追跡するためのシステムおよび方法が必要である。
【発明の概要】
【0006】
いくつかの実施形態の目的は、物体の拡大状態を追跡するためのシステムおよび方法を提供することである。物体の拡大状態は、物体の中心の位置および速度のうちの１つまたはそれらの組み合わせを示す運動学的状態と、物体の寸法および方位のうちの１つまたはそれらの組み合わせを示す拡張状態とを含む。物体の中心は、任意に選択されたポイント、物体の幾何学的中心、物体の重心、車両の車輪の後軸の中心などのうちの１つまたはそれらの組み合わせである。物体（車両など）を追跡するために、センサ、例えば自動車レーダが用いられる。一実施形態では、自動車レーダは、径方向速度、長い動作範囲、ミリメートルまたはサブテラヘルツ周波数帯域における小さなサイズ、および高い空間分解能の直接測定値を提供することができる。
【0007】
ポイント物体追跡では、走査当たり１つの測定値が車両から受信される。ポイント物体追跡は、車両の運動学的状態（位置）のみを提供する。さらに、車両を追跡するために、運動学的状態の分布を有する測定モデルを備えた確率フィルタが利用される。拡張物体追跡（ＥＯＴ：Extended Object Tracking）では、走査当たり複数の測定値が受信される。複数の測定値は、車両の周りに空間的に構造化される。拡張物体追跡は、車両の運動学的状態および拡張状態の両方の状態を提供する。車両を追跡するために、拡張状態の分布を有する測定モデルを備えた確率フィルタが利用される。
【0008】
しかしながら、実世界の自動車レーダ測定値分布は、車両からの複数の反射が複雑であることを示している。この複雑さのために、適切な測定モデルを設計することが複雑になる。したがって、通常の測定モデルは、運動学的状態にのみ適用することができ、拡大状態には適用することができない。
【0009】
そのために、いくつかの実施形態では、実世界の自動車レーダ測定値を取り込むために、輪郭モデルおよび表面モデルなどの空間モデルが用いられる。特に、一実施形態では、輪郭モデルおよび表面モデルの原理に基づいて、複合測定モデル（表面体積モデルの一種）が決定される。複合測定モデルは、物体の中心への予め定められた相対幾何学的マッピングによって物体の輪郭上に位置するように拘束された複数の確率分布を含む。複数の確率分布は、物体の輪郭に沿った測定値の広がりをカバーするために用いられる。
【0010】
複合測定モデルは、複数の意味で複合的である。例えば、複合測定モデルは、複合的な構造、すなわち複数の確率分布を有する。また、複合測定モデルは、複合的な組成、すなわち複数の確率分布の機能、輪郭の機能、およびそれらの関係を有する。さらに、複合測定モデルは、複合的な性質を有しており、すなわち、複数の確率分布は、測定値に基づくのでモデル生成のデータ駆動型アプローチを表す一方、輪郭は、物理学ベースのモデル化の原理を用いて物体の形状、例えば車両の形状をモデル化することに基づく。
【0011】
さらに、複合測定モデルは、さまざまな拡大状態モデル化原理を活用する。すなわち、複合測定モデルは、輪郭モデルの原理と表面モデルの原理とを結び付ける。その結果、複合測定モデルは、測定値割り当てを簡略化しながら物体追跡の物理的性質をよりよく表す。また、複合測定モデルの複数の確率分布は、表面モデルの単一の分布に比べて柔軟性があり、物体の輪郭をよりよく説明することができ、物体のさまざまな角度または視野からの測定値をより柔軟に説明する。
【0012】
複合測定モデルは、オフラインで、すなわち事前に学習される。複合測定モデルは、単位座標系またはグローバル座標系で学習され得る。いくつかの実施形態は、複合測定モデルを単位座標系で学習することが、計算を簡略化して複合測定モデルを物体の寸法に依存しないようにするので有益である、という認識に基づく。複数の確率分布（楕円として表される）の各々には、確率論的な態様で測定値を割り当てることができる。楕円に関連付けられた測定値は、楕円割り当て測定値と称され得る。
【0013】
いくつかの実施形態に従って、オフラインで学習された複合測定モデルは、物体の拡大状態のオンライン追跡、すなわち物体の拡大状態のリアルタイム追跡に用いられる。しかしながら、測定値を取得するために車両によって用いられる搭載された自動車レーダとオフラインデータ収集（オフラインデータ収集（「オフライン訓練データ」とも称される）は複合測定モデルの訓練に用いられる）に用いられるものとの間には自動車レーダ仕様に関してミスマッチが存在する場合がある。
【0014】
さらに、オフライン訓練データは、粗雑な車両ラベルを含む。したがって、オフライン訓練データのみを用いて複合測定モデルを訓練することは、異なる車両モデルにわたって平均化される、オフラインで学習された複合測定モデルの過剰な平滑化につながる可能性がある。例えば、粗雑にラベル付けされたデータセットは、同一クラスにセダンとＳＵＶとを含み得る。したがって、複合測定モデルが異なる種類の物体（この場合、トラック、自動車、トラクタなどの車両）間を正確に分類することができないということが起こり得る。
【0015】
そのために、本開示は、オフラインで学習された複合測定モデルを改良し、さらに、搭載自動車レーダ測定値に適合するよりカスタマイズされた複合測定モデルを用いてオンライン状態推定性能を向上させる、複合測定モデルのオンライン適応を提案する。
【0016】
いくつかの実施形態に従って、オフラインで学習された複合測定モデルは、予め定められた期間にわたって実行されて、物体の更新された拡大状態と、物体の予測された拡大状態と、物体の自動車レーダによって実行された測定値とが蓄積されて、訓練データのオンラインバッチが形成される。
【0017】
いくつかの実施形態は、訓練データのオンラインバッチが、予め定められた期間内にのみ蓄積されたデータを含み、予め定められた期間は、数秒または数分であり得る、という認識に基づく。そのため、訓練データのオンラインバッチは、複合測定モデルをオフラインで訓練するために用いられる訓練データと比較して、非常に少ない訓練データを含む。訓練データのオンラインバッチを用いて訓練される複合測定モデルの精度を向上させるために、蓄積されたデータ内のデータ間の関係を取得して、この関係を用いて複合測定モデルのパラメータを更新することが重要である。
【0018】
そのために、蓄積された更新信念は、蓄積された更新信念と予測信念との間の共分散、ならびに、後方再帰および前方再帰を用いて平滑化される。この平滑化された更新信念を用いて、訓練データのオンラインバッチが生成される。後方再帰では、蓄積された更新信念は、予め定められた期間内の特定の時刻における測定値に基づいて、当該特定の時刻から逆方向に平滑化される。代替的に、前方再帰では、蓄積された更新信念は、予め定められた期間内の特定の時刻における測定値に基づいて、当該特定の時刻から順方向に平滑化される。
【0019】
いくつかの実施形態では、オフラインで学習された複合測定モデルに合わせてカスタマイズされたベイズ平滑化が測定値に適用されて、平滑化された状態が取得される。
【0020】
さらに、訓練データのオンラインバッチは、状態分離測定値を含む。訓練データのオンラインバッチを状態分離するために、グローバル座標系での測定値は、物体の中心に位置決めされるとともに単位座標系のｘ軸が方位角および物体中心を用いて物体前面を指し示すように配向された単位座標系に変換される。最後に、単位座標系に変換された測定値は、範囲状態、すなわち長さおよび幅によって正規化される。
【0021】
次いで、状態分離された訓練データのオンラインバッチは、複合測定モデルのオンライン学習に用いられ、オンライン学習は、オフラインで学習された複合測定モデルの１つまたは複数のパラメータを更新することによって複合測定モデルを更新する。複合測定モデルのパラメータは、複合測定モデルにおける確率分布の数、確率分布の中心を決定する制御ポイント、および各確率分布の共分散を含む。
【0022】
しかしながら、複合測定モデルの１つまたは複数のパラメータは、追跡中の物体の中心への複数の確率分布の予め定められた相対幾何学的マッピングが保持されるように更新される。そのために、複合測定モデルのパラメータを更新している間、複数の確率分布に対応する制御ポイントが保持され、複数の確率分布の制御ポイントを保持するために、制御ポイントに対して最大許容可能な変更を実施する対数尤度関数などのペナルティ関数が用いられる。
【0023】
したがって、一実施形態は、物体の拡大状態を追跡するための追跡システムを開示し、上記拡大状態は、上記物体の中心の位置および速度の組み合わせを示す運動学的状態と、上記物体の寸法および方位の組み合わせを示す拡張状態とを含む。上記追跡システムは、少なくとも１つのプロセッサと、命令が格納されたメモリとを備え、上記命令は、上記少なくとも１つのプロセッサによって実行されると、上記追跡システムに、少なくとも１つのセンサに関連付けられた測定値を受信することを行わせ、少なくとも１つのセンサは、送信当たり上記物体の測定値を１つまたは複数生成するための１回または複数回の信号送信によって上記物体を含む場面を探査するように構成され、上記命令はさらに、上記少なくとも１つのプロセッサによって実行されると、上記追跡システムに、上記物体の上記拡大状態に関する信念を反復的に追跡する確率フィルタを実行することを行わせ、上記信念は、上記物体の運動モデルを用いて予測され、上記物体の複合測定モデルを用いて更新され、上記複合測定モデルは、上記物体の上記中心への予め定められた相対幾何学的マッピングによって上記物体の輪郭の周りに位置するように拘束された複数の確率分布を含み、上記反復追跡の各反復において、上記拡大状態に関する上記信念は、予測信念と更新信念との間の差に基づいて更新され、上記更新信念は、上記複数の確率分布の各々に適合する、上記予め定められた期間内に取得された上記測定値の確率に基づいて推定されて、対応する上記幾何学的マッピングに基づいて上記物体の上記拡大状態にマッピングされ、上記複合測定モデルは、オフライン訓練データを用いてオフラインで事前訓練され、上記命令はさらに、上記少なくとも１つのプロセッサによって実行されると、上記追跡システムに、更新信念と予測信念と上記予め定められた期間にわたる測定値とを蓄積して、状態分離測定値を含む訓練データのオンラインバッチを生成することと、上記訓練データのオンラインバッチに基づいて上記複合測定モデルのパラメータを更新することによって上記複合測定モデルを更新することと、更新された上記複合測定モデルに基づいて上記物体の上記拡大状態を追跡することとを行わせる。
【0024】
したがって、別の実施形態は、物体の拡大状態を追跡するための追跡方法を開示し、上記拡大状態は、上記物体の中心の位置および速度のうちの１つまたはそれらの組み合わせを示す運動学的状態と、上記物体の寸法および方位のうちの１つまたはそれらの組み合わせを示す拡張状態とを含む。上記追跡方法は、少なくとも１つのセンサに関連付けられた測定値を受信するステップを含み、少なくとも１つのセンサは、送信当たり上記物体の測定値を１つまたは複数生成するための１回または複数回の信号送信によって上記物体を含む場面を探査するように構成され、上記追跡方法はさらに、上記物体の上記拡大状態に関する信念を反復的に追跡する確率フィルタを実行するステップを含み、上記信念は、上記物体の運動モデルを用いて予測され、上記物体の複合測定モデルを用いて更新され、上記複合測定モデルは、上記物体の上記中心への予め定められた相対幾何学的マッピングによって上記物体の輪郭の周りに位置するように拘束された複数の確率分布を含み、上記反復追跡の各反復において、上記拡大状態に関する上記信念は、予測信念と更新信念との間の差に基づいて更新され、上記更新信念は、上記複数の確率分布の各々に適合する、上記予め定められた期間内に取得された上記測定値の確率に基づいて推定されて、対応する上記幾何学的マッピングに基づいて上記物体の上記拡大状態にマッピングされ、上記複合測定モデルは、オフライン訓練データを用いてオフラインで事前訓練され、上記追跡方法はさらに、更新信念と予測信念と上記予め定められた期間にわたる測定値とを蓄積して、状態分離測定値を含む訓練データのオンラインバッチを生成するステップと、上記訓練データのオンラインバッチに基づいて上記複合測定モデルのパラメータを更新することによって上記複合測定モデルを更新するステップと、更新された上記複合測定モデルに基づいて上記物体の上記拡大状態を追跡するステップとを含む。
【0025】
物体の拡大状態を追跡するための方法を実行するためにプロセッサによって実行可能なプログラムが組み入れられた非一時的なコンピュータ可読記憶媒体であって、上記拡大状態は、上記物体の中心の位置および速度のうちの１つまたはそれらの組み合わせを示す運動学的状態と、上記物体の寸法および方位のうちの１つまたはそれらの組み合わせを示す拡張状態とを含む。上記方法は、少なくとも１つのセンサに関連付けられた測定値を受信するステップを含み、少なくとも１つのセンサは、送信当たり上記物体の測定値を１つまたは複数生成するための１回または複数回の信号送信によって上記物体を含む場面を探査するように構成され、上記方法はさらに、上記物体の上記拡大状態に関する信念を反復的に追跡する確率フィルタを実行するステップを含み、上記信念は、上記物体の運動モデルを用いて予測され、上記物体の複合測定モデルを用いて更新され、上記複合測定モデルは、上記物体の上記中心への予め定められた相対幾何学的マッピングによって上記物体の輪郭の周りに位置するように拘束された複数の確率分布を含み、上記反復追跡の各反復において、上記拡大状態に関する上記信念は、予測信念と更新信念との間の差に基づいて更新され、上記更新信念は、上記複数の確率分布の各々に適合する、上記予め定められた期間内に取得された上記測定値の確率に基づいて推定されて、対応する上記幾何学的マッピングに基づいて上記物体の上記拡大状態にマッピングされ、上記複合測定モデルは、オフライン訓練データを用いてオフラインで事前訓練され、上記方法はさらに、更新信念と予測信念と上記予め定められた期間にわたる測定値とを蓄積して、状態分離測定値を含む訓練データのオンラインバッチを生成するステップと、上記訓練データのオンラインバッチに基づいて上記複合測定モデルのパラメータを更新することによって上記複合測定モデルを更新するステップと、更新された上記複合測定モデルに基づいて上記物体の上記拡大状態を追跡するステップとを含む。
【0026】
ここに開示されている実施形態について、添付の図面を参照してさらに説明する。示されている図面は必ずしも縮尺通りではなく、その代わりに、一般的には、ここに開示されている実施形態の原理を示すことに強調が置かれている。
【図面の簡単な説明】
【0027】
【図1A】いくつかの実施形態に係る、物体の拡大状態を追跡するための原理の概略概要を示す図である。
【図1B】いくつかの実施形態に係る、物体の拡大状態を追跡するための原理の概略概要を示す図である。
【図1C】いくつかの実施形態に係る、物体の拡大状態を追跡するための原理の概略概要を示す図である。
【図2】いくつかの実施形態に係る、物体の拡大状態を追跡するための追跡システムのブロック図である。
【図3A】いくつかの実施形態に係る、複合測定モデルを用いて物体の拡大状態に関する信念を追跡するためのさまざまな概略を示す図である。
【図3B】いくつかの実施形態に係る、複合測定モデルを用いて物体の拡大状態に関する信念を追跡するためのさまざまな概略を示す図である。
【図3C】いくつかの実施形態に係る、複合測定モデルを用いて物体の拡大状態に関する信念を追跡するためのさまざまな概略を示す図である。
【図4】いくつかの実施形態に係る、複合測定モデルを用いて物体の拡大状態を追跡するためのワークフローを示す図である。
【図5】いくつかの実施形態に係る、複合測定モデルのパラメータのオフライン学習のための方法のフローチャートを示す図である。
【図6】いくつかの実施形態に係る、複合測定モデルのパラメータのオンライン学習のための方法のフローチャートを示す図である。
【図7A】いくつかの実施形態に係る、異なる物体の異なる運動から収集された訓練データを共通の単位座標系に変換することの概略を示す図である。
【図7B】いくつかの実施形態に係る、異なる物体の異なる運動から収集された訓練データを共通の単位座標系に変換することの概略を示す図である。
【図8】いくつかの実施形態に係る、複合測定モデルのパラメータのオフライン学習のための期待値最大化（ＥＭ：Expectation-Maximization）法のブロック図である。
【図9】いくつかの実施形態に係る、複合測定モデルのパラメータのオンライン学習のためのＥＭ法のブロック図である。
【図10A】いくつかの実施形態に係る、アンセンテッドカルマンフィルタ－確率論的多仮説追跡（ＵＫＦ－ＰＭＨＴ：Unscented Kalman Filter-Probabilistic Multi-Hypothesis Tracking）アルゴリズムのフローチャートを示す図である。
【図10B】いくつかの実施形態に係る、予測測定値および共分散行列を算出するために実行されるステップのブロック図である。
【図10C】いくつかの実施形態に係る、合成測定値および合成共分散行列を算出するために実行されるステップのブロック図である。
【図10D】いくつかの実施形態に係る、拡大状態および共分散行列を更新するために実行されるステップのブロック図である。
【図10E】いくつかの実施形態に係る、複合測定モデルのオンライン学習のために実行されるステップのブロック図である。
【図10F】いくつかの実施形態に係る、後方再帰および前方再帰を説明する概略を示す図である。
【図11A】いくつかの実施形態の原理を利用するシステムと通信するコントローラを含む車両の概略を示す図である。
【図11C】いくつかの実施形態を用いて制御入力が生成される自律または半自律制御車両の概略を示す図である。
【発明を実施するための形態】
【0028】
以下の説明には、本開示の十分な理解が得られるように、多数の具体的な詳細が説明の目的で記載されている。しかし、これらの具体的な詳細がなくても本開示を実施できるということは当業者に明らかであろう。他の例では、本開示を不明瞭にすることを回避するためだけに、装置および方法をブロック図の形式で示す。
【0029】
本明細書および特許請求の範囲で使用されている「例えば（for example）」、「例として（for instance）」および「など（such as）」という語ならびに「備える（comprising）」、「有する（having）」、「含む（including）」という動詞およびこれらの動詞の他の形態は、１つもしくは複数の構成要素または他のアイテムの列挙と併用されると、各々がオープンエンドであるものとして解釈されるべきであり、これは、この列挙が他のさらなる構成要素またはアイテムを除外するものと考えられるべきではないことを意味する。「基づく」という語は、少なくとも部分的に基づくことを意味する。さらに、本明細書で利用される表現および専門語は、説明の目的であり、限定的であるとみなされるべきではない、ということが理解されるべきである。この説明の中で利用される見出しはいずれも、便宜上のものであるに過ぎず、法的または限定的な効果を有するものではない。
【0030】
図１Ａ、図１Ｂおよび図１Ｃは、物体の拡大状態を追跡するためにいくつかの実施形態によって用いられるいくつかの原理の概略概要を示す図である。物体の拡大状態は、物体の中心の位置および速度のうちの１つまたはそれらの組み合わせを示す運動学的状態と、物体の寸法および方位のうちの１つまたはそれらの組み合わせを示す拡張状態とを含む。物体の中心は、任意に選択されたポイント、物体の幾何学的中心、物体の重心、車両の車輪の後軸の中心などのうちの１つまたはそれらの組み合わせである。物体（車両１０６など）を追跡するために、センサ１０４（例えば、自動車レーダ）が用いられる。ポイント物体追跡１００では、走査当たり１つの測定値１０８が車両１０６から受信される。ポイント物体追跡１００は、車両１０６の運動学的状態（位置）のみを提供する。さらに、車両１０６を追跡するために、運動学的状態の分布を有する測定モデルを備えた確率フィルタが利用される。拡張物体追跡（ＥＯＴ）１０２では、走査当たり複数の測定値１１０が受信される。複数の測定値１１０は、車両１０６の周りに空間的に構造化される。ＥＯＴ１０２は、車両１０６の運動学的状態および拡張状態の両方の状態を提供する。車両１０６を追跡するために、拡張状態の分布を有する測定モデルを備えた確率フィルタが利用される。
【0031】
しかしながら、図１Ｂに示されるような実世界の自動車レーダ測定値１１２分布は、車両１０６からの複数の反射が複雑であることを示している。この複雑さのために、測定モデルの設計は複雑になる。したがって、通常の測定モデルは、運動学的状態にのみ適用することができ、拡大状態には適用することができない。
【0032】
そのために、いくつかの実施形態では、実世界の自動車レーダ測定値１１２を取り込むために、図１Ｃに示されるような輪郭モデル１１４および表面モデル１１６などの空間モデルが用いられる。しかしながら、上記の空間モデルは不正確である。いくつかの実施形態は、実世界の自動車レーダ測定値１１２が特定の体積を有する物体（車両１０６）の端縁の周りに分布されることにより、表面体積モデルが生じる、という認識に基づく。そのために、いくつかの実施形態は、実世界の自動車レーダ測定値１１２に似ているとともに実世界の自動車レーダ測定値１１２を取り込む表面体積モデル１１８を定式化するという目的に基づく。表面体積モデル１１８は、ＥＯＴを正確なものに保ちながら、輪郭モデル１１４とより現実的な特徴を有する表面モデル１１６とのバランスをとる。
【0033】
特に、一実施形態では、輪郭モデル１１４および表面モデル１１６の原理に基づいて、複合測定モデル１２０（表面体積モデルの一種）が決定される。複合測定モデル１２０は、物体の輪郭１２４に幾何学的に拘束された複数の確率分布１２２を含む。図１Ｃでは、この幾何学的拘束は、複数の確率分布の中心が輪郭上に位置するというものである。そして、複合測定モデルは、物体の中心への予め定められた相対幾何学的マッピングを有する。複数の確率分布１２２は、物体の輪郭１２４に沿った測定値の広がりをカバーするために用いられる。
【0034】
複合測定モデル１２０は、複数の意味で複合的である。例えば、複合測定モデル１２０は、複合的な構造、すなわち複数の確率分布１２２を有する。また、複合測定モデル１２０は、複合的な組成、すなわち複数の確率分布１２２の機能、輪郭１２４の機能、およびそれらの関係を有する。さらに、複合測定モデル１２０は、複合的な性質を有しており、すなわち、複数の確率分布１２２は、測定値に基づくのでモデル生成のデータ駆動型アプローチを表す一方、輪郭１２４は、物理学ベースのモデル化の原理を用いて物体の形状、例えば車両の形状をモデル化することに基づく。
【0035】
さらに、複合測定モデル１２０は、さまざまな拡大状態モデル化原理を活用する。すなわち、複合測定モデル１２０は、輪郭モデル１１４の原理と表面モデル１１６の原理とを結び付ける。その結果、複合測定モデル１２０は、測定値割り当てを簡略化しながら物体追跡の物理的性質をよりよく表す。また、複合測定モデル１２０の複数の確率分布１２２は、表面モデル１１６の単一の分布に比べて柔軟性があり、輪郭１２４をよりよく説明するように構成され得て、さらに物体のさまざまな角度または視点からの測定値を柔軟に説明する。
【0036】
いくつかの実施形態は、輪郭１２４の形状には制約がないと仮定すると、複数の確率分布１２２は、理論上、輪郭１２４上に位置し得る、という理解に基づく。しかしながら、実際には、そのような仮定は、不正確であり、拡大状態の追跡には役立たない。これに対して、物体の輪郭１２４は予め定められており、輪郭１２４が複数の確率分布１２２に適合されるのではなく、複数の確率分布１２２が輪郭１２４に適合される。これにより、確率フィルタの更新段階中に物体の物理的構造を反映することが可能になる。
【0037】
複合測定モデル１２０は、オフラインで、すなわち事前に学習される。複合測定モデル１２０は、単位座標系またはグローバル座標系で学習され得る。いくつかの実施形態は、複合測定モデル１２０を単位座標系で学習することが、計算を簡略化して複合測定モデル１２０を物体の寸法に依存しないようにするので有益である、という認識に基づく。複数の確率分布１２２（楕円として表される）の各々には、確率論的な態様で測定値を割り当てることができる。楕円に関連付けられた測定値は、楕円割り当て測定値と称され得る。
【0038】
いくつかの実施形態は、複合測定モデル１２０を用いて物体の拡大状態をオンラインで、すなわちリアルタイムで追跡することができる、という認識に基づく。具体的には、さまざまな実施形態は、物体の拡大状態に関する信念を追跡する確率フィルタを用いて物体の拡大状態を追跡し、物体の拡大状態に関する信念は、物体の運動モデルを用いて予測され、物体の複合測定モデル１２０を用いて更新される。
【0039】
いくつかの実施形態は、測定値を取得するために車両１０６によって用いられる搭載されたセンサとオフラインデータ収集（オフラインデータ収集（「オフライン訓練データ」とも称される）は複合測定モデル１２０の訓練に用いられる）に用いられるものとの間にはレーダセンサ仕様に関してミスマッチが存在する場合がある、という認識に基づく。
【0040】
いくつかの実施形態は、オフライン訓練データが粗雑な車両ラベルを有していることが、異なる車両モデルにわたって平均化される、オフラインで学習された複合測定モデル１２０の過剰な平滑化につながる可能性がある、という認識に基づく。例えば、粗雑にラベル付けされたデータセットは、同一クラスにセダンとＳＵＶとを含み得る。例えば、粗雑にラベル付けされたデータセットは、同一クラスにセダンとＳＵＶとを含み得る。
【0041】
そのために、本開示は、オフラインで学習された複合測定モデル１２０を改良し、さらに、搭載自動車レーダ測定値に適合するよりカスタマイズされた複合測定モデル１２０を用いてオンライン状態推定性能を向上させる、複合測定モデル１２０のオンライン適応（「オンライン複合測定モデル適応」とも称される）を提案する。
【0042】
図２は、いくつかの実施形態に係る、（前の図に示された）複合測定モデル１２０を用いて物体の拡大状態を追跡するための追跡システム２００のブロック図である。物体は、自動車、バイク、バスまたはトラックなどであるがそれらに限定されない車両であり得る。また、車両は、自律車両または半自律車両であり得る。拡大状態は、物体の運動学的状態と、拡張状態とを含む。複合測定モデル１２０は、オフライン訓練データを用いてオフラインで学習される（図５）。最初に、学習された複合測定モデル１２０が、物体の拡大状態を追跡するために、予め定められた期間Ｔにわたって実行される。さらに、予め定められた期間Ｔ内に取得された測定値に基づいて、対応する拡大状態を用いて、学習された複合測定モデル１２０を更新／改良する。
【0043】
いくつかの実施形態に従って、運動学的状態は、速度、加速度、進行方向および旋回レートなどの物体の運動パラメータに対応する。いくつかの他の実施形態では、運動学的状態は、運動パラメータを有する物体の位置に対応する。追跡システム２００は、１回または複数回の信号送信によって場面を探査するために、センサ２０２を含み得て、または一組のセンサに動作可能に接続され得る。さらに、１回または複数回の信号送信は、送信当たり物体の測定値を１つまたは複数生成するように構成される。いくつかの実施形態に従って、センサ２０２は、自動車レーダであり得る。いくつかの実施形態では、場面は、移動物体を含む。いくつかの他の実施形態では、場面は、移動物体も静止物体も含む１つまたは複数の物体を含み得る。
【0044】
追跡システム２００は、追跡システム２００を他のシステムおよび装置と接続するいくつかのインターフェイスを有し得る。例えば、ネットワークインターフェイスコントローラ（ＮＩＣ：Network Interface Controller）２１４は、追跡システム２００を一組のセンサと接続するネットワーク２１６に、バス２１２を介して追跡システム２００を接続するように適合される。ネットワーク２１６を介して、無線または有線で、追跡システム２００は、１回または複数回の信号送信の反射のデータを受信して、送信当たり物体の測定値を１つまたは複数生成する。追加的にまたは代替的に、追跡システム２００は、制御入力をコントローラ２２２に投入するように構成された出力インターフェイス２２０を含む。
【0045】
また、追跡システム２００は、格納された命令を実行するように構成されたプロセッサ２０４と、プロセッサ２０４によって実行可能な命令を格納するメモリ２０６とを含む。プロセッサ２０４は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であり得る。メモリ２０６は、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）、リードオンリメモリ（ＲＯＭ：Read Only Memory）、フラッシュメモリ、またはその他の好適なメモリシステムを含み得る。プロセッサ２０４は、バス２１２を介して１つまたは複数の入力および出力装置に接続される。さらに、追跡システム２００は、プロセッサ２０４によって実行可能な命令を含む異なるモジュールを格納するように適合されたストレージデバイス２０８を含む。ストレージデバイス２０８は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、またはそれらの任意の組み合わせを用いて実現することができる。
【0046】
ストレージデバイス２０８は、物体の運動モデル２１０ａ、物体の複合測定モデル２１０ｂ（例えば、複合測定モデル１２０）、および改良モジュール２１０ｃを格納するように構成される。プロセッサ２０４は、物体の拡大状態に関する信念を反復的に追跡するための確率フィルタを予め定められた期間Ｔにわたって反復的に実行するように構成され、信念は、物体の運動モデル２１０ａを用いて予測され、物体の複合測定モデル２１０ｂを用いて更新される。予め定められた期間Ｔ後、改良モジュール２１０ｃは、予め定められた期間Ｔ中に取得された測定値と、対応する予測信念および更新信念とに基づいて、複合測定モデル２１０ｂを改良／更新する。複合測定モデル１２０のオフライン学習に基づく物体の拡大状態に関する信念の追跡については、図３Ａ、図３Ｂおよび図３Ｃを参照して以下で詳細に説明する。
【0047】
【数1】
【0048】
物体の予測された拡大状態３０２は、この予測が確率論的であるので、拡大状態の予測信念と称され得る。いくつかの実施形態は、物体の予測された拡大状態３０２が、自動車レーダ測定値の正確な空間モデルを必要とするので拡大状態の予測測定値を生成するには不正確である場合がある、という認識に基づく。このために、いくつかの実施形態では、オフラインで学習された単位座標系での複合測定モデル３０４が用いられる。単位座標系での複合測定モデル３０４を予測された拡大状態３０２と整合させるために、予測された拡大状態３０２に対して複合測定モデル３０４を単位座標系からグローバル座標系に変換する必要がある。特に、単位座標系での楕円割り当て測定値をグローバル座標系に変換する必要がある。
【0049】
いくつかの実施形態は、そのような変換がアンセンテッド変換関数３０８を用いて実現できる、という認識に基づく。そのために、一実施形態では、プロセッサ２０４は、楕円３０６（すなわち、複合測定モデル３０４の確率分布）のためのシグマポイントを生成する。「楕円」および「確率分布」は、同義で使用することができ、同じものを意味するであろう。さらに、シグマポイントは、予測された状態３０２の関数であるアンセンテッド変換関数３０８内に伝搬され、その結果、単位座標系での楕円３０６の楕円割り当て測定値に対応するグローバル座標系での予測測定値が決定される。さらに、これらの予測測定値に対応する共分散が予測測定値に基づいて決定される。同様に、残りの楕円に関連付けられた楕円割り当て測定値に対応するグローバル座標系での測定値が決定される。そのために、予測された拡大状態３０２に従って複合測定モデル３０４が整合された予測拡大状態モデル３１０が取得される。さらに、図３Ｂを参照して以下で説明するように、予測拡大状態モデル３１０の各確率分布について合成測定値が決定される。
【0050】
図３Ｂは、いくつかの実施形態に係る、予測拡大状態モデル３１０の各確率分布について合成測定値を決定するための概略を示す図である。プロセッサ２０４は、現在の時間ステップにおける測定値３１２（×マークによって表される）を受信する。いくつかの実施形態は、複数の確率分布３１４ａ～３１４ｈ（楕円）を互いに独立して、例えば並行して処理することができる、という認識に基づく。そのような独立した処理により、物体の拡大状態を探査するさまざまな視野角を考慮に入れることが可能になる。そのような独立した処理を検討するために、いくつかの実施形態は、複数の確率分布３１４ａ～３１４ｈのうちの異なる確率分布を異なる物体に属しているとみなす。さらに、いくつかの実施形態は、ソフトな確率論的割り当て、すなわち異なる確率分布への測定値３１２の確率論的割り当てがハードな決定論的割り当てよりも有利である、という認識に基づく。ソフトな確率論的割り当ては、関連付け次元を楕円および測定値の数に対して線形であるように保ちながら、ハードな割り当ての破局的な割り当てを回避することができる。
【0051】
そのために、プロセッサ２０４は、測定値３１２を関連付け確率を有する確率分布３１４に割り当てる。同様に、プロセッサ２０４は、測定値３１２を対応する関連付け確率を有する確率分布３１４ａ～３１４ｈの各々に割り当てる。複数の確率分布３１４ａ～３１４ｈの各々に関連付けられた対応する関連付け確率を有する測定値は、「合成測定値」と称される。
【0052】
さらに、確率分布３１４ａについて、プロセッサ２０４は、確率分布３１４ａに関連付けられた合成測定値に基づいて、合成重心３１６ａと広がり３１６ｂを定義する合成共分散行列とを決定する。同様に、確率分布３１４ｅについて、プロセッサ２０４は、確率分布３１４ｅに関連付けられた合成測定値に基づいて、合成重心３１８ａと広がり３１８ｂを定義する合成共分散行列とを決定する。同様に、確率分布３１４ｈについて、プロセッサ２０４は、確率分布３１４ｈに関連付けられた合成測定値に基づいて、合成重心３２０ａと広がり３２０ｂを定義する合成共分散行列とを決定する。このように、各確率分布について合成重心と合成共分散行列とが決定される。さらに、各確率分布に関連付けられた合成測定値を用いて、図３Ｃを参照して以下で説明するように、拡大状態に関する予測信念が更新される。
【0053】
図３Ｃは、いくつかの実施形態に係る、拡大状態３０２に関する予測信念を更新するための概略を示す図である。プロセッサ２０４は、各確率分布に関連付けられた合成測定値とともにカルマンフィルタなどの確率フィルタを用いて拡大状態３０２に関する予測信念を更新して、物体の更新された拡大状態ｘｋ｜ｋ３２２を生成する。物体の更新された拡大状態ｘｋ｜ｋ３２２は、拡大状態に関する更新信念と称され得る。さらに、拡大状態に関する更新信念は、追跡された信念を更新するために用いられる。一実施形態では、追跡された信念は、予測信念と更新信念との間の差に基づいて更新される。さらに、プロセッサ２０４は、拡大状態に関する更新された追跡された信念に基づいて物体の拡大状態を追跡する。
【0054】
プロセッサ２０４は、予め定められた期間Ｔのみにわたって複合測定モデル２１０ｂを実行して、拡大状態３０２に関する信念を予測し、さらに拡大状態３０２に関する予測信念を更新するように構成される。予め定められた期間Ｔ後、プロセッサ２０４は、予測信念と、更新信念と、予め定められた期間内に取得された測定値とを蓄積して、状態分離訓練データのオンラインバッチを作成し、この状態分離訓練データのオンラインバッチに基づいて複合測定モデル２１０ｂを更新するようにさらに構成される。
【0055】
そのため、上記のような物体の拡大状態の追跡に用いられる複合測定モデル３０４は、最初にオフラインで学習される。複合測定モデル３０４のオフライン学習および特徴については、以下で説明する。
【0056】
【数2】
【0057】
いくつかの実施形態は、確率フィルタとよりよく整合させるために複合測定モデル３０４の確率分布をガウス分布を用いて表すことができる、という認識に基づく。例えば、いくつかの実施形態では、確率分布は、確率空間（Ω，Ｐ，Ｆ）におけるランダム行列モデル（ＲＭＭ：Random Matrix Model）として定義され、サンプル空間Ωは行列のセットである。ランダム行列は、多次元確率分布を表すのに有利であり、ＲＭＭとして表される確率分布のパラメータは、楕円形状を用いて示すことができる。一実施形態に従って、Ｌ個の楕円全てについて、測定値－楕円割り当てを考慮して、Ｌ個のランダム行列モデルは以下のように定義される。
式中、混合重みπｌは、πｌ＝１／Ｌに等しいものとする。
【数3】
式中、混合重みπｌは、πｌ＝１／Ｌに等しいものとする。
【0058】
【数4】
【0059】
図４は、いくつかの実施形態に係る、複合測定モデル２１０ｂを用いて物体の拡大状態を追跡するためのワークフローを示す図である。図４については、図２とともに以下で説明する。（図２における）提案されている追跡システムは、物体の拡大状態の追跡に複合測定モデル２１０ｂを用いる。そのために、複合測定モデル２１０ｂは、オフラインで学習するように構成される（４００）。複合測定モデル２１０ｂのオフライン学習４００については、図５に関して以下で詳細に説明する。オフライン学習に基づいて、複合測定モデル２１０ｂが追跡システムによって用いられて、物体の拡大状態が予め定められた期間Ｔにわたってオンラインで追跡される（４０２）。物体の拡大状態をオンラインで追跡する（４０２）ために、追跡システムは、運動モデル２１０ａを用いて物体の拡大状態に関する信念を予測し、オフラインで学習された複合測定モデル２１０ｂを用いて予測信念を更新する。拡大状態のオンライン追跡４０２については、図１０Ａ～図１０Ｄに関して詳細に説明する。
【0060】
予め定められた期間Ｔ後、予測信念と、更新された予測信念と、期間Ｔ内の測定値とが蓄積されて、状態分離測定値を含む訓練データのオンラインバッチが形成される。次いで、この訓練データのオンラインバッチは、複合測定モデル２１０ｂのオンライン学習４０４に用いられ、オンライン学習４０４は、複合測定モデル２１０ｂの１つまたは複数のパラメータを更新することによって複合測定モデル２１０ｂを更新／改良する。複合測定モデル２１０ｂのパラメータは、複合測定モデル２１０ｂによって構成される複数の確率分布の各確率分布についての測定値の数、複数の確率分布に対応する制御ポイント、および複数の確率分布間の共分散を含む。複合測定モデル２１０ｂのオンライン学習４０４については、図９に関して以下で詳細に説明する。
【0061】
図５は、いくつかの実施形態に係る、複合測定モデル３０４のパラメータのオフライン学習のための方法のフローチャートを示す図である。複合測定モデル３０４は、オフライン訓練データを用いてオフラインで学習する。ステップ５００において、この方法は、異なる物体の異なる運動の異なる測定値を含む訓練データを受け付けるステップ５００を含む。ステップ５０２において、この方法は、訓練データを共通座標系に変換するステップ５０２を含む。
【0062】
いくつかの実施形態は、期待値最大化（ＥＭ）法などのさまざまな統計的手法を用いて、訓練データおよび追跡対象の物体の輪郭の知識に基づいて、複合測定モデル３０４のパラメータをオフラインで学習することができる、という認識に基づく。そのために、ステップ５０４において、この方法は、ＥＭ法などの統計的手法を用いて、訓練データから複合測定モデルのパラメータを学習するステップ５０４を含む。
【0063】
いくつかの実施形態は、複合測定モデル３０４によってオフライン学習に用いられるオフライン訓練データが粗雑な車両ラベルを含んでおり、このことが、異なる車両モデルにわたって平均化される、オフラインで学習された複合測定モデル３０４の過剰な平滑化につながる可能性がある、という認識に基づく。例えば、粗雑にラベル付けされたデータセットは、同一クラスにセダンとＳＵＶとを含み得る。例えば、粗雑にラベル付けされたデータセットは、同一クラスにセダンとＳＵＶとを含み得る。
【0064】
したがって、本開示は、オフラインで学習された複合測定モデル３０４を改良するとともに、オンライン状態推定性能（すなわち、物体の拡大状態のリアルタイム追跡）を向上させる、複合測定モデル３０４のオンライン適応（「オンライン複合測定モデル適応」とも称される）を提案する。複合測定モデル３０４を改良することは、複合測定モデル３０４のパラメータを更新することを含む。
【0065】
図６は、いくつかの実施形態に係る、複合測定モデル３０４のパラメータのオンライン学習のための方法のフローチャートを示す図である。図５に示されるようにオフラインで学習された複合測定モデル３０４は、予め定められた期間にわたって実行されて、物体の拡大状態に関する予測信念が更新され、更新された予測信念に基づいて物体の拡大状態が追跡される。予め定められた期間後、複合測定モデル３０４のパラメータの学習のための方法は、ステップ６００において、予測信念と、更新信念と、予め定められた期間内の測定値とを蓄積するステップを含む。
【0066】
ステップ６０２において、蓄積された予測信念、更新信念、および予め定められた期間内の測定値に基づいて、状態分離された訓練データのオンラインバッチを生成する。いくつかの実施形態は、複合測定モデル３０４のパラメータを更新することによって物体の拡大状態をよりよく追跡するように複合測定モデル３０４を改良することができる、という認識に基づく。複合測定モデル３０４のパラメータは、ＥＭ法などのさまざまな統計的手法を用いて、訓練データのオンラインバッチおよび追跡対象の物体の輪郭の知識に基づいて更新される。したがって、ステップ６０４において、複合測定モデル３０４のオンライン学習のための方法は、複合測定モデル３０４のパラメータを更新することによって複合測定モデル３０４を改良するステップを含む。
【0067】
図７Ａおよび図７Ｂは、いくつかの実施形態に係る、異なる物体の異なる運動から収集された訓練データを共通の単位座標系に変換することの概略を示す図である。異なる軌道７００および７０２の追跡から収集された異なる測定値は、それぞれの物体中心（ＯＣ：Object-Centered）座標系７０４および７０６に変換される。次いで、変換された測定値は集約される（７０８）。いくつかの実現例では、測定値は、同様の種類の物体の運動について収集され、例えば同様のクラスの車両の運動から収集される。例えば、実施形態は、各軌道について、各時間ステップからの測定値をグローバル座標（ＧＣ：Global Coordinate）から物体中心（ＯＣ）座標に変換して、同様のサイズを有する車両（例えば、セダン）の全ての軌道からのＯＣ測定値を集約する。
【0068】
次に、図７Ｂに示されるように、実施形態は、集約されたＯＣ（７０８）測定値を単位座標（ＵＣ：Unit Coordinate）系７１０に変換する。いくつかの実現例では、ＵＣ系への変換は、変換された訓練データを機械学習に用いることを可能にするさまざまな正規化技術によって実行される。さらに、単位座標系７１０での測定値は、複合測定モデル３０４のパラメータを学習するための訓練データとして用いられる。
【0069】
【数5】
【0070】
【数6】
【0071】
【数7】
【0072】
最大化ステップ８０６は、以下のように、（５）のＱ関数に基づいてモデルパラメータθ＝｛ｐｊ，Σｌ｝を更新するためのものである。
【数8】
【0073】
【数9】
【0074】
さらに、収束基準８０８が達成されるまでｐおよびΣｌの推定値間で反復が実行される。収束基準８０８は、（８）における予め定められた尤度、連続的な反復にわたる推定パラメータの相対変化が予め規定された値よりも小さいこと、または予め定められた最大反復回数であり得る。
【0075】
いくつかの実施形態に従って、オフラインで学習された複合測定モデルは、物体の拡大状態のオンライン追跡、すなわち物体の拡大状態のリアルタイム追跡に用いられる。いくつかの実施形態は、複合測定モデルの確率論的な性質が確率論的多仮説追跡（ＰＭＨＴ）法と有益に整合させることができる、という認識に基づく。例えば、そのような整合は、少なくともカルマンフィルタの変形体を用いて確率フィルタを実現することを可能にする。例えば、一実施形態は、アンセンテッドカルマンフィルタ－確率論的多仮説追跡（ＵＫＦ－ＰＭＨＴ）法を用いる。アンセンテッドカルマンフィルタ（ＵＫＦ）を用いて、複合測定モデルを単位座標系からグローバル座標系に変換する。次いで、確率論的多仮説追跡（ＰＭＨＴ）法を適用して、現在の時間ステップにおける測定値を異なる楕円成分に確率論的な態様で割り当てて、物体の拡大状態を更新する。
【0076】
【数10】
【0077】
【数11】
【0078】
【数12】
【0079】
【数13】
【0080】
さらに、拡大状態と測定値Ｃｘｚとの間の共分散がＵＴ手順（１０）中に計算され、フィルタゲインが以下のように計算される。
拡大状態ｘｋ，ｌおよび共分散行列Ｃｌ，ｎは、（１５）におけるｌ番目の測定式に基づいて更新される。予め規定された最大反復回数Ｎｉｔｅｒに達するまで、ＰＭＨＴは期待値ステップと最大化ステップとの間で反復する。各反復ｎにおいて、拡大状態ｘｋ，ｌおよび共分散行列Ｃｌ，ｎは、（１０）および（１６）～（１８）の順序で各成分によって（すなわち、ｌにわたって）インクリメンタルに更新される。ＵＫＦ－ＰＭＨＴ追跡アルゴリズム全体については、図１０Ａを参照して以下で説明する。
【数14】
拡大状態ｘｋ，ｌおよび共分散行列Ｃｌ，ｎは、（１５）におけるｌ番目の測定式に基づいて更新される。予め規定された最大反復回数Ｎｉｔｅｒに達するまで、ＰＭＨＴは期待値ステップと最大化ステップとの間で反復する。各反復ｎにおいて、拡大状態ｘｋ，ｌおよび共分散行列Ｃｌ，ｎは、（１０）および（１６）～（１８）の順序で各成分によって（すなわち、ｌにわたって）インクリメンタルに更新される。ＵＫＦ－ＰＭＨＴ追跡アルゴリズム全体については、図１０Ａを参照して以下で説明する。
【0081】
いくつかの実施形態に従って、オフラインで学習された複合測定モデル３０４は、複合測定モデル３０４をオンラインで（すなわち、リアルタイムで）更新または改良する改良モジュール２１０ｃを用いて改良される。複合測定モデル３０４のオンライン適応を実現するために、Ｔ個の時間ステップ内に複合測定モデル３０４によってオンラインで追跡された物体の拡大状態は、ノイズを除去するように平滑化される。そのために、Ｔ個の時間ステップ内の全ての観察された測定値について拡大状態をフィルタリングすることによってオンライン複合測定値を平滑化するように、後方再帰および前方再帰のうちの少なくとも１つが実行される。いくつかの実施形態では、平滑化は、ベイズ状態平滑化技術を適用することによって実行される。好ましい実施形態では、全ての観察された測定値を条件とする拡大状態の事後状態を、最後の時間ステップにおけるフィルタリングされた拡大状態推定値から逆方向に再帰的に算出することによって、Ｔ個の時間ステップの各時間ステップｋにおける平滑器ゲイン、平滑化された平均値、および平滑化された共分散行列を算出するために、アンセンテッドラウフ・トゥン・ストリーベル（ＲＴＳ：Rauch-Tung-Striebel）平滑器が適用される。
【0082】
次いで、平滑化された拡大状態を用いて、グローバル座標系でのＴ個の時間ステップ内の全ての観察された測定値を単位座標系での状態分離訓練データのバッチに変換し、この状態分離訓練データのバッチは、複合測定モデル３０４のパラメータを更新することによって複合測定モデル３０４を改良するのに用いられる。
【0083】
複合測定モデル３０４のパラメータ（θ）のオンライン学習は、予め定められた期間Ｔ後に、オフラインで学習された複合測定モデル３０４のパラメータを更新する。このように、オンライン学習は、オフラインで学習された複合測定モデル３０４を改良する。したがって、オンライン学習は、複合測定モデル３０４のオンライン適応とも称される。訓練データのオンラインバッチは、状態分離されており、複合測定モデル３０４のみに依存するので、オフラインで学習された複合測定モデル３０４のパラメータまでの距離に対する正則化の範囲内でモデルパラメータを更新するために、ＥＭアルゴリズムなどの統計的アルゴリズムを用いることができる。このように、オフラインで学習された複合測定モデル（「事前訓練された複合測定モデル」とも称される）のパラメータは、更新された複合測定モデルのパラメータとオフラインで学習された複合測定モデルのパラメータとの間の正則化された距離に基づいて更新される。
【0084】
しかしながら、オフラインで学習された複合測定モデルのパラメータは、物体の中心への複数の確率分布の予め定められた相対幾何学的マッピングが保持されるように更新される。そのために、オフラインで学習された複合測定モデルのパラメータを更新している間、複数の確率分布に対応する制御ポイントが保持され、複数の確率分布の制御ポイントを保持するために、制御ポイントに対して最大許容可能な変更を実施する対数尤度関数などのペナルティ関数が用いられる。
【0085】
複合測定モデル３０４のオンライン適応のために、更新状態ｘｋ｜ｋと、予測状態ｘｋ｜ｋ－１と、（予め定められた期間Ｔ内の時刻ｋに対する）過去および将来の測定値Ｚｋとが蓄積される。オンライン適応は、訓練データのオンラインバッチを生成して複合測定モデル３０４のパラメータを更新することによって物体の拡大状態を追跡することを向上させ、訓練データのオンラインバッチは、状態分離測定値を含む。
【0086】
状態分離測定値を含む訓練データのオンラインバッチを生成するために、Ｔ個の時間ステップ中に取得された測定値を用いて、物体の更新された拡大状態を平滑化する。オフラインで学習された複合測定モデル３０４は、各時間ステップｋにおける物体の拡大状態の追跡を可能にし、拡大状態は、運動学的状態要素（すなわち、式（１９）における最初の５つの要素）と、式（１９）における長さおよび幅の観点からの範囲状態要素とを含む。
【数15】
【0087】
【数16】
【0088】
【数17】
【0089】
さらに、更新された拡大状態を平滑化するために、予測された拡大状態ｘｋ＋１｜ｋと更新された拡大状態ｘｋ｜ｋとの間の相互共分散行列が以下のように求められる。
【数18】
【0090】
【数19】
【0091】
【数20】
【0092】
【数21】
【0093】
【数22】
【0094】
【数23】
【0095】
図９は、いくつかの実施形態に係る、複合測定モデル３０４のパラメータのオンライン学習のためのＥＭ法のブロック図である。訓練データのオンラインバッチ（Ｚｓ）６００は、オンライン学習のためのＥＭ法に入力される。ＥＭ法は、期待値ステップ９０２と、最大化ステップ９０４とを含む。
【0096】
【数24】
【0097】
【数25】
【0098】
【数26】
【0099】
【数27】
【0100】
【数28】
【0101】
【数29】
【0102】
図１０Ａは、いくつかの実施形態に係る、ＵＫＦ－ＰＭＨＴ追跡アルゴリズムのフローチャートを示す図である。ＵＫＦ－ＰＭＨＴ追跡アルゴリズムは、プロセッサ２０４によって実行される。ＵＫＦ－ＰＭＨＴ追跡アルゴリズムは、２つの段階、すなわち予測段階１０００および更新段階１００４を含む。予測段階１０００では、運動モデルを用いて物体の拡大状態に関する信念および対応する共分散行列が予測される。さらに、ブロック１００２において、反復インデックスｎ＝１およびｘｌ，１＝ｘｋ｜ｋ－１およびＣｌ，１＝Ｃｋ｜ｋ－１を設定することによって更新段階１００４の反復が開始される。
【0103】
【数30】
【0104】
図１０Ａに戻って、ブロック１００８において、時刻ｋにおける測定値１０１４を考慮して、合成測定値および合成共分散行列が算出される。図１０Ｃは、いくつかの実施形態に係る、合成測定値および合成共分散行列を算出するために実行されるステップのブロック図である。ブロック１０２８において、第１の楕円について、測定値－楕円関連付け重みが式（１６）に従って算出される。ブロック１０３０において、第１の楕円について、合成測定値および合成共分散行列がそれぞれ式（１７）および（１８）を用いて算出される。
【0105】
図１０Ａに戻って、ブロック１０１０において、拡大状態ｘｌ，ｎおよび共分散行列Ｃｌ，ｎが更新される。ここで、添え字ｌは楕円インデックスである。図１０Ｄは、いくつかの実施形態に係る、第１の楕円（すなわち、ｌ＝１）について拡大状態ｘｌ，ｎおよび共分散行列Ｃｌ，ｎを更新するために実行されるステップのブロック図である。ブロック１０３２において、相互共分散行列が以下のように算出される。
【数31】
【0106】
ブロック１０３４において、カルマンフィルタゲインが算出される。カルマンフィルタゲインは、以下によって表される。
【数32】
【0107】
ブロック１０３６において、拡大状態ｘｌ，ｎおよび共分散行列Ｃｌ，ｎが以下のように更新される。
【数33】
【0108】
【数34】
【0109】
収束基準が達成されると、すなわち予め定められた期間Ｔ後、更新された拡大ｘｋ｜ｋ状態は、期間Ｔ内に取得された対応する測定値とともに、複合測定モデルのオンライン学習１０２０に用いられる。オンライン学習１０２０は、複合測定モデルのパラメータを更新することによって、オフラインで学習された１０１２複合測定モデルを改良する。
【0110】
図１０Ｅは、いくつかの実施形態に係る、複合測定モデルのオンライン学習１０２０のために実行されるステップのブロック図である。ステップ１０３８において、式（２４）および（２５）、ならびに、更新された拡大状態と予め定められたＴ個の時間ステップ内に蓄積された予測された拡大状態との間の共分散（２３）を用いて、予め定められたＴ個の時間ステップ内に取得された測定値を用いて、更新された拡大状態が平滑化される。更新された拡大状態は、後方再帰および前方再帰のうちの少なくとも１つを用いることによって、予め定められたＴ個の時間ステップ内に取得された測定値を用いて平滑化される。そのために、いくつかの実施形態は、ベイズ平滑化ベースのＲＴＳ平滑器を用いる。さらに、ステップ１０４０において、式（２６）を用いて、平滑化された拡大状態に基づいて、状態分離測定値を含む訓練データのオンラインバッチが生成される。最後に、訓練データのオンラインバッチは、ＥＭ法（図９）を用いてパラメータを更新することによってオフラインで学習された複合測定モデルを改良するために用いられる。
【0111】
図１０Ｆは、いくつかの実施形態に係る、後方再帰１０４４および前方再帰１０４６を説明する概略を示す図である。図１０Ｆは、蓄積されたデータ１０４２を示しており、蓄積されたデータ１０４２は、更新信念と、予測信念と、予め定められた期間Ｔ秒内に取得された測定値とを含む。蓄積されたデータ１０４２は、訓練データのオンラインバッチを生成するために用いられ、この訓練データのオンラインバッチは、複合測定モデルを更新するために用いられ、物体の拡大状態は、この更新された複合想定モデルを用いて追跡される。訓練データのオンラインバッチは、予め定められた期間Ｔ秒内にのみ蓄積されたデータを含み、Ｔは、数秒または数分であり得る。そのため、訓練データのオンラインバッチは、複合測定モデルをオフラインで訓練するために用いられる訓練データと比較して、非常に少ない訓練データを含む。訓練データのオンラインバッチを用いて訓練される複合測定モデルの精度を向上させるために、蓄積されたデータ１０４２内のデータ間の関係を取得して、この関係を用いて複合測定モデルのパラメータを更新することが重要である。
【0112】
そのために、蓄積された更新信念は、後方再帰１０４４および前方再帰１０４６を用いて平滑化されて、訓練データのオンラインバッチが生成される。後方再帰１０４４では、蓄積された更新信念は、予め定められた期間Ｔ秒（例えば、１０秒）内の特定の時刻ｔ秒（例えば、５秒目）における測定値に基づいて、当該特定の時刻ｔ秒から逆方向に平滑化される。代替的に、前方再帰１０４６では、蓄積された更新信念は、予め定められた期間Ｔ秒（例えば、１０秒）内の特定の時刻ｔ秒（例えば、５秒目）における測定値に基づいて、当該特定の時刻ｔ秒から順方向に平滑化される。
【0113】
図１１Ａは、いくつかの実施形態の原理を利用する追跡システム２００と通信するコントローラ１１０２を含む車両１１００の概略を示す図である。車両１１００は、乗用車、バスまたはローバーなどの任意のタイプの車輪付き車両であり得る。また、車両１１００は、自律車両または半自律車両であり得る。例えば、いくつかの実施形態は、車両１１００の運動を制御する。運動の例としては、車両１１００のステアリングシステム１１０４によって制御される車両の横方向運動が挙げられる。一実施形態では、ステアリングシステム１１０４は、コントローラ１１０２によって制御される。追加的にまたは代替的に、ステアリングシステム１１０４は、車両１１００の運転手によって制御され得る。
【0114】
いくつかの実施形態では、車両１１００は、コントローラ１１０２または車両１１００の他の構成要素によって制御可能なエンジン１１１０を含み得る。いくつかの実施形態では、車両は、エンジン１１１０の代わりに電動機を含んでいてもよく、コントローラ１１０２または車両１１００の他の構成要素によって制御可能である。また、車両１１００は、周囲環境を検知するための１つまたは複数のセンサ１１０６を含み得る。センサ１１０６の例としては、レーダなどの距離レンジファインダが挙げられる。いくつかの実施形態では、車両１１００は、その現在の運動パラメータおよび内部状態を検知するための１つまたは複数のセンサ１１０８を含む。１つまたは複数のセンサ１１０８の例としては、グローバルポジショニングシステム（ＧＰＳ：Global Positioning System）、加速度計、慣性測定ユニット、ジャイロスコープ、シャフト回転センサ、トルクセンサ、撓みセンサ、圧力センサおよびフローセンサが挙げられる。これらのセンサは、情報をコントローラ１１０２に提供する。車両は、いくつかの実施形態の追跡システム２００との有線または無線通信チャネルを介したコントローラ１１０２の通信能力を可能にする送受信機１１１２を備え得る。例えば、コントローラ１１０２は、送受信機１１１２を介して、追跡システム２００から制御入力を受信する。
【0115】
図１１Ｂは、いくつかの実施形態に係る、車両１１００のコントローラ１１０２とコントローラ１１１４との間の相互作用の概略を示す図である。例えば、いくつかの実施形態では、車両１１００のコントローラ１１１４は、車両１１００の回転および加速度を制御するステアリング制御１１１６およびブレーキ／スロットルコントローラ１１１８である。そのような場合、コントローラ１１０２は、制御入力に基づいて制御コマンドをコントローラ１１１６および１１１８に出力して、車両の運動学的状態を制御する。いくつかの実施形態では、コントローラ１１１４は、コントローラ１１０２の制御コマンドをさらに処理するハイレベルコントローラ、例えば車線逸脱防止支援コントローラ１１２０も含む。いずれの場合も、コントローラ１１１４は、車両１１００の運動を制御するために、コントローラ１１０２の出力、すなわち制御コマンドを利用して、車両１１００のステアリングホイールおよび／またはブレーキなどの車両１１００の少なくとも１つのアクチュエータを制御する。
【0116】
図１１Ｃは、いくつかの実施形態を用いて制御入力が生成される自律または半自律制御車両１１２２の概略を示す図である。制御車両１１２２は、追跡システム２００を備え得る。いくつかの実施形態では、制御車両１１２２によって各障害物１１２４の拡大状態が追跡され、その後、これらの障害物の追跡された拡大状態に基づいて制御入力が生成される。いくつかの実施形態では、制御入力は、車両の車輪のステアリング角および車輪の回転速度のうちの１つまたはそれらの組み合わせの値を指定するコマンドを含み、測定値は、車両の回転率および車両の加速度のうちの１つまたはそれらの組み合わせの値を含む。
【0117】
生成された制御入力は、制御車両１１２２を道路１１２６の特定の範囲内に保つことを目的としており、他の非制御車両、すなわち制御車両１１２２に対する障害物１１２４を回避することを目的としている。例えば、制御入力に基づいて、自律または半自律制御車両１１２２は、例えば左側もしくは右側の別の車両を追い越してもよく、またはその代わりに、道路１１２６の現在の車線内の別の車両の後ろにとどまってもよい。
【0118】
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することは意図していない。むしろ、例示的な実施形態の以下の説明は、１つまたは複数の例示的な実施形態を実現するための実施可能な程度の説明を当業者に提供する。意図されているのは、添付の特許請求の範囲に記載されている、開示されている主題の精神および範囲から逸脱することなく、要素の機能および配置の点でさまざまな変更がなされてもよいということである。
【0119】
実施形態の十分な理解が得られるように、具体的な詳細が以下の説明に示されている。しかし、これらの具体的な詳細がなくても実施形態を実施できるということを当業者は理解することができる。例えば、開示されている主題のシステム、プロセスおよび他の要素は、実施形態を不必要な詳細で不明瞭にすることのないように、ブロック図の形式で構成要素として示される場合がある。他の例において、周知のプロセス、構造および技術は、実施形態を不明瞭にすることを回避するために、不必要な詳細なしに示される場合がある。さらに、さまざまな図面における同様の参照番号および名称は、同様の要素を示す。
【0120】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図またはブロック図として示されるプロセスとして記載される場合がある。フローチャートは、動作をシーケンシャルなプロセスとして記載する場合があるが、これらの動作の多くは、並行してまたは同時に実行可能である。また、これらの動作の順序は並べ替えられてもよい。プロセスは、その動作が完了したときに終了され得るが、論じられていないまたは図に含まれていない追加のステップを有してもよい。さらに、具体的に記載されている任意のプロセスにおける全ての動作が全ての実施形態において行われるわけではない。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、当該関数が呼び出し関数またはメイン関数に戻ることに対応し得る。
【0121】
さらに、開示されている主題の実施形態は、少なくとも部分的に手動でまたは自動で実現されてもよい。手動での実現または自動での実現は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせを使用することによって行われてもよく、または少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実現される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、機械読取可能媒体に格納されてもよい。プロセッサが必要なタスクを実行してもよい。
【0122】
本明細書で概要を述べたさまざまな方法またはプロセスは、さまざまなオペレーティングシステムまたはプラットフォームのうちのいずれか１つを利用する１つまたは複数のプロセッサ上で実行可能なソフトウェアとして符号化されてもよい。さらに、このようなソフトウェアは、複数の好適なプログラミング言語および／またはプログラミングもしくはスクリプティングツールのうちのいずれかを使用して書かれてもよく、フレームワークまたは仮想マシン上で実行される実行可能な機械言語コードまたは中間コードとしてコンパイルされてもよい。一般に、プログラムモジュールの機能は、さまざまな実施形態における要望に応じて組み合わせたり分散させたりしてもよい。
【0123】
本開示の実施形態は方法として具体化されてもよく、その一例が提供されている。この方法の一部として実行される動作は、任意の好適な方法で順序付けられてもよい。したがって、示されている順序とは異なる順序で動作が実行される実施形態が構築されてもよく、これは、いくつかの動作を、例示的な実施形態ではシーケンシャルな動作として示されていても、同時に実行することを含み得る。
【0124】
特定の好ましい実施形態を参照しながら本開示を説明してきたが、本開示の精神および範囲内でさまざまな他の適合化および修正がなされてもよい、ということが理解されるべきである。したがって、本開示の真の精神および範囲内に含まれるこのような変形および修正を全てカバーすることが添付の特許請求の範囲の側面である。
【図1A】
【図1B】
【図1C】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図10E】
【図10F】
【図11A】
【図11B】
【図11C】
【手続補正書】
【提出日】2024-04-15
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【0040】
いくつかの実施形態は、オフライン訓練データが粗雑な車両ラベルを有していることが、異なる車両モデルにわたって平均化される、オフラインで学習された複合測定モデル１２０の過剰な平滑化につながる可能性がある、という認識に基づく。例えば、粗雑にラベル付けされたデータセットは、同一クラスにセダンとＳＵＶとを含み得る。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【0063】
いくつかの実施形態は、複合測定モデル３０４によってオフライン学習に用いられるオフライン訓練データが粗雑な車両ラベルを含んでおり、このことが、異なる車両モデルにわたって平均化される、オフラインで学習された複合測定モデル３０４の過剰な平滑化につながる可能性がある、という認識に基づく。例えば、粗雑にラベル付けされたデータセットは、同一クラスにセダンとＳＵＶとを含み得る。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【0109】
収束基準が達成されると、すなわち予め定められた期間Ｔ後、更新された拡大状態ｘ
ｋ｜ｋ
は、期間Ｔ内に取得された対応する測定値とともに、複合測定モデルのオンライン学習１０２０に用いられる。オンライン学習１０２０は、複合測定モデルのパラメータを更新することによって、オフラインで学習された複合測定モデル１０１２を改良する。
【国際調査報告】