特表 2024-544122 軌道予測のための方法及び車両を自動運転させるための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-28

(54)【発明の名称】軌道予測のための方法及び車両を自動運転させるための方法

(51)【国際特許分類】

   B60W 30/095 20120101AFI20241121BHJP

   G06N 3/0442 20230101ALI20241121BHJP

   G06N 3/0455 20230101ALI20241121BHJP

   G06N 3/082 20230101ALI20241121BHJP

   B60W 60/00 20200101ALI20241121BHJP

   G08G 1/16 20060101ALI20241121BHJP

【ＦＩ】

B60W30/095

G06N3/0442

G06N3/0455

G06N3/082

B60W60/00

G08G1/16 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525762

(86)(22)【出願日】2022-10-10

(85)【翻訳文提出日】2024-06-27

(86)【国際出願番号】 EP2022078155

(87)【国際公開番号】W WO2023083539

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】102021005625.6

(32)【優先日】2021-11-12

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】598051819

【氏名又は名称】メルセデス・ベンツ グループ アクチェンゲゼルシャフト

【氏名又は名称原語表記】Ｍｅｒｃｅｄｅｓ－Ｂｅｎｚ Ｇｒｏｕｐ ＡＧ

【住所又は居所原語表記】Ｍｅｒｃｅｄｅｓｓｔｒａｓｓｅ １２０，７０３７２ Ｓｔｕｔｔｇａｒｔ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100176946

【弁理士】

【氏名又は名称】加藤 智恵

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(72)【発明者】

【氏名】シュミット ジュリアン

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA32

3D241BA49

3D241BA62

3D241CE04

3D241DC25Z

5H181AA01

5H181BB20

5H181CC27

5H181LL01

5H181LL02

5H181LL09

(57)【要約】

本発明は、自車両の周囲環境における車両（Ｆ１～Ｆｎ）の軌道予測のための方法に関する。本発明によれば、機械トレーニングされた注意ベースの相互作用アルゴリズム（３）を用いて、車両（Ｆ１～Ｆｎ）間の相互作用度（Ｉ１～Ｉｍ）が求められる。相互作用アルゴリズム（３）を用いて、個々の車両（Ｆ１～Ｆｎ）が、自車両の周囲環境に存在する車両（Ｆ１～Ｆｎ）の集合から軌道予測に関連するものとして識別され、軌道（Ｔ）が予測される車両（Ｆ１～Ｆｎ）の内の少なくとも１台とのそれぞれの相互作用度（Ｉ１～Ｉｍ）が所定の限界値を上回る場合には、軌道予測のために選択される。後続の学習ステップでは、軌道予測アルゴリズム（５）が、軌道予測に関連する車両として選択された車両（Ｆ１～Ｆｎ）を用いてトレーニングされ、軌道予測アルゴリズム（５）を用いて実行された軌道予測が、軌道予測に関連する車両として選択された車両（Ｆ１～Ｆｎ）に対して実施される。更に本発明は、自車両を自動運転させるための方法に関する。
【選択図】図１

【特許請求の範囲】

【請求項1】

自車両の周囲環境における車両（Ｆ１～Ｆｎ）の軌道予測のための方法であって、
－機械トレーニングされた注意ベースの相互作用アルゴリズム（３）を用いて、前記車両（Ｆ１～Ｆｎ）間の相互作用度（Ｉ１～Ｉｍ）が求められ、
－前記相互作用アルゴリズム（３）を用いて、個々の車両（Ｆ１～Ｆｎ）が、前記自車両の前記周囲環境に存在する前記車両（Ｆ１～Ｆｎ）の集合から前記軌道予測に関連するものとして識別され、軌道（Ｔ）が予測される前記車両（Ｆ１～Ｆｎ）の内の少なくとも１台とのそれぞれの相互作用度（Ｉ１～Ｉｍ）が所定の限界値を上回る場合には、前記軌道予測のために選択され、
－後続の学習ステップにおいて、軌道予測アルゴリズム（５）が、前記軌道予測に関連する車両として選択された前記車両（Ｆ１～Ｆｎ）を用いてトレーニングされ、
－前記軌道予測アルゴリズム（５）を用いて実行された前記軌道予測が、前記軌道予測に関連する車両として選択された前記車両（Ｆ１～Ｆｎ）に対して実施される
ことを特徴とする、方法。

【請求項2】

前記車両（Ｆ１～Ｆｎ）間の前記相互作用度（Ｉ１～Ｉｍ）は、それぞれ２台の車両（Ｆ１～Ｆｎ）について対毎に決定されることを特徴とする、請求項１に記載の方法。

【請求項3】

前記相互作用アルゴリズム（３）の前記機械トレーニングでは、車両（Ｆ１～Ｆｎ）間の依存性が対毎に学習され、前記相互作用アルゴリズム（３）を用いて相互作用度（Ｉ１～Ｉｍ）を形成するために、前記車両（Ｆ１～Ｆｎ）の相互的な影響がどの程度大きいかが対毎に重み付けされることを特徴とする、請求項１又は２に記載の方法。

【請求項4】

前記相互作用アルゴリズム（３）の前記機械トレーニングでは、前記相互作用アルゴリズム（３）をトレーニングするために使用される軌道予測が生成されることを特徴とする、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記生成された軌道予測は、前記相互作用度（Ｉ１～Ｉｍ）の暗黙的学習のために、前記相互作用アルゴリズム（３）の前記機械トレーニングにおいて使用されることを特徴とする、請求項４に記載の方法。

【請求項6】

前記機械トレーニングされた相互作用アルゴリズム（３）の動作中に、シーン内の全ての車両（Ｆ１～Ｆｎ）が長・短期記憶を用いてエンコーディングされ、前記エンコーディング時に、完全グラフ（Ｇ）のノード（ｈ₁ ⁰～ｈ_n ⁰）が形成されることを特徴とする、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記ノード（ｈ₁ ⁰～ｈ_n ⁰）は、エッジ（ｅ_1,2、ｅ_1,n、ｅ_2,1、ｅ_2,n、ｅ_n,1、ｅ_n,2）を介して相互に接続されており、前記車両（Ｆ１～Ｆｎ）間の距離がエッジ特徴として使用されることを特徴とする、請求項６に記載の方法。

【請求項8】

前記軌道予測アルゴリズム（５）によって、高解像度のデジタル道路地図の地図データ（ＫＤ）が軌道予測に使用されることを特徴とする、請求項１～７のいずれか一項に記載の方法。

【請求項9】

自車両を自動運転させるための方法であって、
－請求項１～８のいずれか一項に記載の方法において、自車両の周囲環境における車両（Ｆ１～Ｆｎ）の軌道（Ｔ）が予測され、
－前記予測された軌道（Ｔ）が、前記自車両の前記自動運転において、前記自車両の自動化された横方向及び／又は前後方向の制御の際に考慮される、
ことを特徴とする、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１のプリアンブルに記載の自車両の周囲環境における車両の軌道予測のための方法に関する。

【0002】

更に本発明は、自車両を自動運転させるための方法に関する。

【背景技術】

【0003】

従来技術から、一般的に、自動化された車両、例えば高度に自動化された車両又は自律的な走行車両が公知である。そのような車両に課される安全要件を満たすことができるようにするためには、交通に関与する車両の将来の動きの予測が必要になる。これは、軌道予測とも称される。この軌道予測では、機械学習法に基づくアプローチが公知である。

【0004】

以下において、「シーン」という用語は、車両の周囲環境検出部を用いて検出された、少なくとも１台の更なる車両が存在する可能性がある周囲環境状況を意味する。そのようなシーンを記述するために、付加的に、デジタル道路地図の地図データも使用することができる。

【0005】

例えばＣＮＮベースのアプローチ（ＣＮＮ：Convolutional Neural Network，畳み込みニューラルネットワーク）のようなラスタ化アプローチとは異なり、シーンのラスタ化を実施しない軌道予測のためのアプローチは、いわゆるグラフニューラルネットワーク（ＧＮＮ：Graph Neural Network）、又は以下では注意ベースのアプローチとも称される自己注意（Self-Attention）を基礎とする。車両間の社会的な相互作用をモデル化するために、これらのアプローチではグラフが形成される。グラフのノードは、シーン内の車両のエンコーディング又は符号化である。ノードはエッジを介して相互に接続されている。

【0006】

完全に接続されたグラフ（fully-connected graph）とも称される完全グラフ（complete graph）が形成されるように、シーン内の全ての車両をエッジに接続するアプローチが存在する。このことは、全ての車両が、予測対象車両の軌道予測に組み込まれ、又は関連するものとして選択されることを意味する。

【0007】

別のアプローチでは、個々の車両間の距離に応じて、グラフのエッジが形成される。従って、予測対象車両の予測のために考慮される車両の距離ベースの事前選択が行われる。

【0008】

Y.Ma他：Traffic Predict: Trajectory Prediction for Heterogeneous Traffic-Agents; In The Thirty-Third AAAI Conference on Artificial Intelligence, AAAI 2019, 2019, pp. 6120～6127, doi: 10.1609／aaai. v33i01. 33016120には、自動的に走行する車両のナビゲーションのために道路利用者の将来の軌道を予測する方法が記載されている。いわゆる長・短期記憶（英語：Long Short-Term Memory、略称：ＬＳＴＭ）に基づくリアルタイム交通予測アルゴリズムが使用される。これは、インスタンスの動き及び相互作用を学習するためのインスタンスレベルを含む。更に、リアルタイム交通予測アルゴリズムは、同一タイプのインスタンスの類似性を学習して予測を洗練させるためのカテゴリレベルも含む。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明の課題は、自車両の周囲環境における車両の軌道予測のための新規の方法、及び自車両を自動運転させるための新規の方法を提供することである。

【課題を解決するための手段】

【0010】

上記の課題は、本発明によれば、請求項１に記載の構成要件を有する、軌道予測のための方法と、請求項９に記載の構成要件を有する、自車両を自動運転させるための方法と、によって解決される。

【0011】

本発明の有利な実施形態は、従属請求項の対象である。

【0012】

自車両の周囲環境における車両の軌道予測のための方法において、本発明によれば、機械トレーニングされた注意ベースの相互作用アルゴリズムを用いて、車両間の相互作用度が求められる。即ち、相互作用度は、自車両の周囲環境における車両間の相互作用、及び、自車両と自車両の周囲環境における車両との相互作用の両方に対して求められる。更に、相互作用アルゴリズムを用いて、個々の車両が、自車両の周囲環境に存在する車両の集合から軌道予測に関連するものとして識別され、その個々の車両と軌道が予測される少なくとも１台の車両とのそれぞれの相互作用度が所定の限界値を上回る場合には、その軌道予測のために選択される。後続の学習ステップでは、軌道予測アルゴリズムが、軌道予測に関連する車両として選択された車両を用いてトレーニングされ、特に軌道予測に関連する車両として選択された車両のみを用いてトレーニングされ、軌道予測アルゴリズムを用いて実行された軌道予測が、軌道予測に関連する車両として選択された車両に対して、特に軌道予測に関連する車両として選択された車両に対してのみ、実施される。

【0013】

特に、本方法は、車両の軌道予測のためのいわゆる２ステップ法を成し、この２ステップ法では、先ず、相互作用ベースの車両事前選択が行われ、続いて、低減された数の車両を用いて軌道予測が実施される。

【0014】

学習ベースの軌道予測アルゴリズムは、例えば、高解像度のデジタル道路地図の地図データを含み、また多くの場合はグラフ構造を基礎としており、このグラフ構造において、典型的には、自車両の周囲環境において検出された別の車両がグラフにおけるノードを形成する。従って、シーン内の車両の数により、そのような軌道予測アルゴリズムの複雑性は拡張される。このことは、特にシーン内の全ての車両について地図情報も照会しなければならない場合には、強い実行時依存性をもたらす。更に、シーン内の無関係な多数の車両は、軌道予測アルゴリズムの学習プロセスを困難にし、例えば、不十分な予測結果及び不十分な収束挙動をもたらす。例えば、遠い距離にある車両は、予測対象車両の軌道予測に対して測定可能な影響を及ぼさない。従って、シーン内の全てのエージェント又は車両が選択されると、軌道予測アルゴリズムは、予測に関して、どの車両が予測に有益な付加価値を有し、どの車両が有していないのかを独立して識別する必要がある。

【0015】

これに対して、本方法では、相互作用アルゴリズムを用いて、軌道予測アルゴリズムに関連する車両の初期事前選択が実現される。相互作用を判定するために、特に有利な方法では、高解像度のデジタル道路地図の地図データを必要としないので、相互作用アルゴリズムは複雑性が低いことが特徴となる。従って、特に、複雑な、また場合によっては地図ベースの軌道予測アルゴリズムの場合でも、車両を限定的に選択することによって、複雑性を低減することができる。グラフベースのアプローチでは、グラフにおけるノードを低減することができるので、実行時間も短縮される。

【0016】

距離ベースの選択とは異なり、関連する車両の事前選択は、その関連する車両の距離に応じて行われるのではなく、その関連する車両と、予測対象の車両との相互作用度に応じて行われる。従って、例えば、ある車両の将来の軌道が、所定の距離を置いて前方を走行する車両によって強い影響が及ぼされることを考慮することができる。これに対して、同じ方向に走行する後方の車両による影響は殆どない。

【0017】

従って、本方法により、事前選択が行われないアプローチと比較すると、最終的な軌道予測アルゴリズムの実行時間の改善を達成することができる。また、関連する車両の事前選択によって、最終的な軌道予測アルゴリズムのトレーニング時間も短縮することができる。更に、事前選択が行われないアプローチと比較して、また距離ベースの事前選択が行われるアプローチと比較して、最終的な軌道予測の品質の改善を実現することができる。車両間の相互作用についての指標は、例えば他の道路利用者に影響を与えるなど、他のタスクに対しても付加的に利用することができる。

【0018】

事前選択とそれに伴い選択される車両の数の低減とにより、非常に複雑な軌道予測アルゴリズムも、少ない処理コスト及び短い実行時間で使用することができる。ここで使用される軌道予測アルゴリズムは、例えば、
- C.Tang及びR.R.Salakhutdinov:“Multiple Futures Prediction”; In: Advances in Neural Information Processing Systems,2019,vol.32，
- T.Salzmann, B.Ivanovic, P.Chakravarty及びM.Pavone:“Trajectron++: Dynamically-Feasible Trajectory Forecasting with Heterogeneous Data”； In： Computer Vision-ECCV 2020,Cham,2020,pp.683-700，
- M.Liang他：“Learning Lane Graph Representations for Motion Forecasting”; In: Computer Vision-ECCV 2020,Cham,2020,pp.541-556，
- S.Khandelwal, W.Qi, J.Singh, A.Hartnett及びD.Ramanan:“What-If Motion Prediction for Autonomous Driving”2020，及び／又は
- Y.Ma, X.Zhu, S.Zhang, R.Yang, W.Wang及びD.Manocha:“TrafficPredict:Trajectory Prediction for Heterogeneous Traffic-Agents”; In The Thirty-Third AAAI Conference on Artificial Intelligence, AAAI 2019,2019,pp.6120-6127,doi:10.1609/aaai.v33i01.33016120
に従い形成されている。

【0019】

本方法の１つの可能な構成では、車両間の相互作用度が、それぞれ２台の車両について対毎に決定される。

【0020】

本方法の１つの別の可能な構成では、相互作用アルゴリズムの機械トレーニングにおいて、車両間の依存性が対毎に学習され、また相互作用度を形成するために、相互作用アルゴリズムを用いて、車両の相互的な影響がどの程度大きいかが対毎に重み付けされる。これによって、相互作用アルゴリズムの後の動作において、車両間の相互作用を簡単且つ確実に求めることができ、また相互作用度を決定することができる。

【0021】

本方法の１つの別の可能な構成では、相互作用アルゴリズムの機械トレーニングにおいて、相互作用アルゴリズムをトレーニングするために使用される軌道予測が生成される。これによって、相互作用アルゴリズムの効果的なトレーニングが実現され、また相互作用度を求める際の相互作用アルゴリズムの非常に高い精度及び信頼性が実現される。

【0022】

本方法の１つの別の可能な構成では、生成された軌道予測が、相互作用アルゴリズムの機械トレーニングにおいて、相互作用度の暗黙的学習のために使用される。

【0023】

本方法の１つの別の可能な構成では、機械トレーニングされた相互作用アルゴリズムの動作中に、シーン内の全ての車両が長・短期記憶（long short-term memoryとも称される）を用いてエンコーディングされ、その際、完全に接続されたグラフとも称される、完全グラフのノードが形成される。グラフの原理的挙動は相応の重みでエンコーディングされているので、長・短期記憶の使用は、以前の経験の記憶を実現し、ひいては長時間維持される短期記憶を実現する。ここでは、完全グラフを用いて、車両間の関係を完全に表すことができる。

【0024】

本方法の１つの別の可能な構成では、ノードがエッジを介して相互に接続されており、車両間の距離がエッジ特徴として使用される。従って、例えば、各相互作用度を求める際に、車両間の距離も考慮することができる。

【0025】

本方法の１つの別の可能な構成では、軌道予測アルゴリズムによって、高解像度のデジタル道路地図の地図データが軌道予測に使用される。そのような高解像度のデジタル道路地図を使用することによって、シーン内で検出され位置特定された車両の現在地及び過去の移動を記憶することができる。ここで、道路地図は、道路トポロジ、交通標識、交通信号（例えば、信号機の信号）、横断歩道及び別の情報を含むことができ、従って、非常に正確で信頼性の高い軌道予測を実現する。

【0026】

自車両を自動運転させるための本発明による方法では、上記に従う自車両の周囲環境における車両の軌道予測のための方法において、自車両の周囲環境における車両の軌道が予測され、予測された軌道が、自車両の自動運転において、自車両の自動化された横方向及び／又は前後方向の制御の際に考慮される。車両の軌道予測のための方法を使用することによって、自車両の、特に信頼性の高い安全な自動運転、例えば高度自動化された運転、又は自律的な運転を実現することができる。

【0027】

以下では、本発明の実施例を、図面に基づき詳細に説明する。

【図面の簡単な説明】

【0028】

【図1】軌道予測のための装置の概略的なブロック図である。

【図2】相互作用アルゴリズムを形成するための装置の概略的なブロック図である。

【図3】シーン内の異なる数の車両に対する最終的な軌道予測アルゴリズムの結果からの、２つの軌道予測の平均的な距離誤差の偏差を概略的に示す図である。

【図4】シーン内の異なる数の車両に対する最終的な軌道予測アルゴリズムの結果からの、２つの軌道予測の最終的な距離誤差の偏差を概略的に示す図である。

【図5】シーン内の異なる数の車両に対する最終的な軌道予測アルゴリズムの結果からの、２つの軌道予測の誤り分類率の偏差を概略的に示す図である。

【発明を実施するための形態】

【0029】

いずれの図においても、相互に対応する部分には、同一の参照符号を付している。

【0030】

図１には、自車両の周囲環境における複数の車両Ｆ１～Ｆｎの軌道予測のための装置１の可能な実施例のブロック図が示されている。

【0031】

データメモリ２には、自車両の周囲環境におけるシーンを記述するデータが格納されている。それらのデータは、自車両、他の車両及び／又は交通インフラの詳細には図示していない周囲環境センサシステムによって検出された周囲環境データと、高解像度のデジタル道路地図の地図データＫＤと、を含む。ここでは特に、周囲環境データが、車両Ｆ１～Ｆｎに関するデータも含む。

【0032】

自車両の周囲環境における車両Ｆ１～Ｆｎの軌道予測の際の処理の手間を最小限にするために、軌道が決定される車両Ｆ１～Ｆｎと、シーン内の他の全ての車両Ｆ１～Ｆｎ、即ち自車両も含む車両との間の初期相互作用が決定される。

【0033】

この決定は、機械トレーニングされた注意ベースの相互作用アルゴリズム３によって行われ、この相互作用アルゴリズム３は、車両Ｆ１～Ｆｎ間、特に、軌道Ｔが予測される車両Ｆ１～Ｆｎとその周囲環境に存在する車両Ｆ１～Ｆｎとの間の複数の相互作用度Ｉ１～Ｉｍを求める。車両Ｆ１～Ｆｎ間の相互作用度Ｉ１～Ｉｍは、それぞれ２台の車両Ｆ１～Ｆｎについて対毎に（車両Ｆ１～Ｆｎの２台ごとにペアで）求められる。

【0034】

この相互作用アルゴリズム３は、実行時間が短く複雑性が低いことを特徴としており、また車両Ｆ１～Ｆｎ間の相互作用のみに着目している。高解像度のデジタル道路地図の地図データＫＤは、相互作用度Ｉ１～Ｉｍの決定には必要ない。ここで、相互作用度Ｉ１～Ｉｍは、いわゆる注意重みを表し、注意ベースの相互作用アルゴリズム３のいわゆる自己注意（Self-Attention）３．１によって形成される。

【0035】

特に、相互作用度Ｉ１～Ｉｍを求める際に、相互作用アルゴリズム３をトレーニングするために使用される軌道予測ＴＰ′も生成される。ここで、軌道予測ＴＰ′は、相互作用アルゴリズム３の機械トレーニング、例えば相互作用度Ｉ１～Ｉｍの暗黙的学習において使用される。

【0036】

なお、各相互作用度Ｉ１～Ｉｍは、「ラベル付け可能」ではないため、データから明示的学習を行なうことはできない。従って、車両Ｆ１～Ｆｎ間の相互作用度Ｉ１～Ｉｍを暗黙的学習する注意ベースの相互作用アルゴリズム３が使用される。これに対して、トレーニング目的、即ち予測される軌道Ｔは「ラベル付け可能」である。とはいえ、車両Ｆ１～Ｆｎ間の相互作用は暗黙的学習される。

【0037】

ここでは特に、相互作用アルゴリズム３は、相互作用度Ｉ１～Ｉｍを決定するために、特に、個々の車両Ｆ１～Ｆｎ間の対毎の依存性を利用することを学習する。即ち、車両Ｆ１～Ｆｎ間の対毎の依存性の学習が実施される。ここで、利用される注意メカニズムは、車両Ｆ１～Ｆｎが相互にどの程度強く影響を及ぼしているかを、それぞれ対毎に「重み付け」する。ここで利用される注意の重みは、例えば０．０から１．０の範囲の値を取る。従って、選択された車両Ｆ１～Ｆｎ及び／又は自車両の軌道Ｔを予測するために、シーケンス又はシーン内の周囲の各車両Ｆ１～Ｆｎがどれ程重要であるかを、データセットの母集団から学習することができる。

【0038】

相互作用アルゴリズム３のトレーニングが完了した後、この相互作用アルゴリズム３は、特にいわゆるフォワードパス（Forward-Pass）において使用され、その際、相互作用アルゴリズム３によって予測された軌道は下位の役割を担う。むしろここでは、相互作用度Ｉ１～Ｉｍを形成する、予測対象車両Ｆ１～Ｆｎの注意重みが抽出される。これらは、シーケンス内の他の各車両Ｆ１～Ｆｎについて、それら他の各車両Ｆ１～Ｆｎが、選択された車両Ｆ１～Ｆｎ及び／又は自車両の予測にとってどの程度重要であるかを示す。

【0039】

それぞれ決定された相互作用度Ｉ１～Ｉｍに基づいて、選択ユニット４によって、車両事前選択Ａ（Ｆ１～Ｆｎ）が行われる。即ち、自車両の周囲環境に存在する車両Ｆ１～Ｆｎの集合からの個々の車両Ｆ１～Ｆｎが、軌道予測に関連する車両として識別され、その個々の車両Ｆ１～Ｆｎと他の車両Ｆ１～Ｆｎとのそれぞれの相互作用度Ｉ１～Ｉｍが所定の限界値を超える場合には、その軌道予測のために選択される。ここで、軌道Ｔが予測される車両Ｆ１～Ｆｎ毎に、関連する車両Ｆ１～Ｆｎの個別の選択が行われる。このことは、相互作用度Ｉ１～Ｉｍが対で形成されることから実現される。例えば、最も高い注意重みを有する車両Ｆ１～Ｆｎが一定数のみ選択されるか、０．３以上の注意重みを有する全ての車両Ｆ１～Ｆｎが選択される。

【0040】

車両事前選択Ａ（Ｆ１～Ｆｎ）が行われた場合のみ、任意の複雑な軌道予測アルゴリズム５が使用される。この軌道予測アルゴリズム５も、高解像度のデジタル道路地図からの地図データＫＤを使用して、事前選択された車両Ｆ１～Ｆｎ及び地図データＫＤに基づいて、最終的に、自車両の周囲環境における車両Ｆ１～Ｆｎの内の少なくとも１台の車両の軌道Ｔを予測する。

【0041】

軌道予測アルゴリズム５のトレーニングと、最終的に予測された軌道Ｔを用いた自動運転可能な自車両における軌道予測アルゴリズム５の動作の両方は、相互作用する車両Ｆ１～Ｆｎの数が低減された車両事前選択Ａ（Ｆ１～Ｆｎ）に基づいた上でのみ実施される。車両事前選択Ａ（Ｆ１～Ｆｎ）によって、最終的な軌道予測アルゴリズム５は、関連する又は相互作用する車両Ｆ１～Ｆｎにのみ着目することができ、また、特により良好な収束により、データ駆動型の学習プロセスが容易になる。最終的な軌道予測アルゴリズム５がデジタル道路地図からの地図データＫＤを付加的に使用する場合、このプロセスも簡略化される。その理由は、道路地図からのいわゆる「クエリ」、例えば次の停止点までの距離又は許容最高速度が、時間的側面において非常に煩雑になり得るため、関連する車両Ｆ１～Ｆｎを事前選択することで、「クエリ」の数を大幅に減らすことができるからである。

【0042】

図２は、図１による相互作用アルゴリズム３を形成するための装置の可能な実施例のブロック図を示す。ここで、相互作用アルゴリズム３は、実装される注意ベースの軌道予測アルゴリズムとして設計されている。詳細には示されていない方式では、注意ベースで相互作用度Ｉ１～Ｉｍが決定される限り、相互作用アルゴリズム３の他の構成も可能である。

【0043】

入力エンコーダ６においては、全ての車両Ｆ１～Ｆｎが、長・短期記憶メモリを備えたいわゆるＬＳＴＭエンコーダ６．１～６．ｎを用いてエンコーディングされ、そのエンコーディングの際に、完全グラフＧのノードｈ₁ ⁰～ｈ_n ⁰が形成される。即ち、結果として得られたエンコードは、いわゆる完全に接続されたグラフＧにおけるノードｈ₁ ⁰～ｈ_n ⁰を意味する。ノードｈ₁ ⁰～ｈ_n ⁰は、エッジｅ_1,2、ｅ_1,n、ｅ_2,1、ｅ_2,n、ｅ_n,1、ｅ_n,2を介して相互に接続されている。車両Ｆ１～Ｆｎの間の距離は、追加のエッジ特徴として、即ちエッジｅ_1,2、ｅ_1,n、ｅ_2,1、ｅ_2,n、ｅ_n,1、ｅ_n,2を形成するために使用される。

【0044】

ここで、グラフＧは、相互作用アルゴリズム３の核を成す相互作用モジュール７において、複数の層（layer）Ｌ₁～Ｌ_gで形成される。更に、相互作用モジュールは、この方式に必要ないわゆる並列自己注意ヘッド（Self-Attention-Head）ＳＡＬ₁～ＳＡＬ_hを含む。これらを用いて、Ashish Vaswani他:“Attention Is All You Need” (https://arxiv.org/abs/1706.03762)に従い、いわゆるマルチヘッド自己注意（Multi-Head-Self-Attention）が実行される。

【0045】

自己注意ヘッドＳＡＬ₁～ＳＡＬ_hには、層Ｌ₁～Ｌ_gを用いて求められたベクトルｖ^(Lg)が供給され、この際、結合ユニット７．１に基づいて、自己注意ヘッドＳＡＬ₁～ＳＡＬ_ｈを用いて出力された結果の結合及び線形化が実施され、ひいては潜在的なエンコーディングとして形成された特徴ａ１～ａｎが決定され、それらの特徴ａ１～ａｎが、相互作用度Ｉ１～Ｉｍに基づいて更新され、またトレーニングに使用される。続いて、特徴ａ１～ａｎは、相互作用度Ｉ１～Ｉｍの暗黙的学習を実現するために、軌道Ｔにデコーディングされる。即ち、シーン内の車両Ｆ１～Ｆｎ間の対毎の依存性及び／又は重み、ひいてはエージェント間、即ち車両Ｆ１～Ｆｎ間の相互作用度Ｉ１～Ｉｍが、相互作用モジュール７において学習される。各相互作用度Ｉ１～Ｉｍは、例えば、Ashish Vaswani他:“Attention Is All You Need” (https://arxiv.org/abs/1706.03762)に従い、いわゆるソフトマックス関数の結果としての対毎の重みとして形成される。続いて、相互作用度Ｉ１～Ｉｍは、特徴ａ１～ａｎを形成するために更に使用される。特に、相互作用度Ｉ１～Ｉｍは、ｎｘｎ形式の行列Ｍに格納されている。

【0046】

出力デコーダ８により、いわゆる線形残差デコーダ８．１～８．ｚを用いて、相互作用度Ｉ１～Ｉｍから、車両Ｆ１～Ｆｎについての軌道予測ＴＰ′が生成されるが、この軌道予測ＴＰ′は、相互作用アルゴリズム３のトレーニングにのみ使用される。軌道予測アルゴリズム５に適用される際には、この軌道予測ＴＰ′は使用されず、注意重み、即ち相互作用度Ｉ１～Ｉｍのみを用いて、車両事前選択Ａ（Ｆ１～Ｆｎ）が行われる。残差層は、複数のニューロン層から成る層であると解される。従来の多層パーセプトロン（略称：ＭＬＰ）と異なり、残差層には、いわゆる「スキップ接続（skip connection）」が導入される。これにより、最初の層のエンコーディングを、線形演算によって、最後の層のエンコーディングに追加することが実現される。これによって、トレーニングの間に、誤差の線形逆伝搬が実現される。このことは、特に、ディープニューラルネットワークにおいて良好な結果を示す。

【0047】

図３～図５には、軌道予測の品質を決定するために使用される３つの確立されたメトリクスが示されている。

【0048】

メトリクスには、図３に示すように、最小の平均変位誤差（average displacement error）の変化ΔｍｉｎＡＤＥが、シーン毎の車両Ｆ１～Ｆｎの固定数Ｃに応じて含まれる。このシーンとは、図１及び図２において説明した軌道予測アルゴリズム５によって車両事前選択Ａ（Ｆ１～Ｆｎ）に基づいて求められた軌道予測に関するシーン（ハッチングされたバー）、及び、車両Ｆ１～Ｆｎの数Ｃが距離ベースの方式を用いて制限された軌道予測アルゴリズムに関するシーン（ハッチングされていないバー）である。最小の平均変位誤差は、それぞれの軌道Ｔの計算された各位置が、真の位置から平均してどの程度離れているかを表す。

【0049】

更にメトリクスには、図４に示すように、最小の最終変位誤差の変化ΔｍｉｎＦＤＥが、シーン毎の車両Ｆ１～Ｆｎの固定数Ｃに応じて含まれる。このシーンとは、図１及び図２において説明した軌道予測アルゴリズム５によって車両事前選択Ａ（Ｆ１～Ｆｎ）に基づいて求められた軌道予測に関するシーン（ハッチングされたバー）、及び、車両Ｆ１～Ｆｎの数Ｃが距離ベースの方式を用いて制限された軌道予測アルゴリズムに関するシーン（ハッチングされていないバー）である。ここで、最小の最終変位誤差は、それぞれの最後の予測ステップの真の軌道Ｔからの予測の偏差を表す。

【0050】

更にメトリクスには、図５に示すように、誤り分類率の変化ΔＭＲが、シーン毎の車両Ｆ１～Ｆｎの固定数Ｃに応じて含まれる。このシーンとは、図１及び図２において説明した軌道予測アルゴリズム５によって車両事前選択Ａ（Ｆ１～Ｆｎ）に基づいて求められた軌道予測に関するシーン（ハッチングされたバー）、及び、車両Ｆ１～Ｆｎの数Ｃが距離ベースの方式を用いて制限された軌道予測アルゴリズムに関するシーン（ハッチングされていないバー）である。

【0051】

全てのメトリクスについて、値は低い方が良い。

【0052】

既述の確立された最終的な軌道予測アルゴリズム５について、これらのメトリクスに基づいて、上述した相互作用ベースの車両事前選択Ａ（Ｆ１～Ｆｎ）が、距離ベースの（ユークリッド）選択と比較してどのように機能するかが比較される。

【0053】

それぞれの０値は、全てのデータセットについてトレーニング及びテストされた最終的な軌道予測アルゴリズム５の結果によって与えられる。この基準からの偏差のみが表される。ここで、数Ｃは、固定数を表し、この数について各シーンにおいて車両Ｆ１～Ｆｎが低減されている。

【0054】

これらのメトリクスは、数Ｃの各値に対して、上述の相互作用ベースの事前選択Ａ（Ｆ１～Ｆｎ）に基づいて、軌道予測アルゴリズム５を用いて、距離ベースの選択を使用する場合よりも良好な結果がもたらされることを明確に示している。即ち、距離ベースの事前選択を用いたアプローチと比較して、最終的な軌道予測の品質改善を達成することができる。

【0055】

最小の平均変位誤差の変化ΔｍｉｎＡＤＥ及び最小の最終変位誤差の変化ΔｍｉｎＦＤＥでは、５台、７台及び９台の車両Ｆ１～Ｆｎの数Ｃにおける複雑性が低減されるため、データセット全体についてトレーニングされている最終的な軌道予測アルゴリズム５と比較すると、性能の改善が明らかになっており、このことは、負の値から見て取れる。即ち、事前選択を行なわないアプローチと比較して、最終的な軌道予測の品質改善を達成することができる。

【0056】

更に、相互作用ベースの事前選択Ａ（Ｆ１～Ｆｎ）によって、全ての車両Ｆ１～Ｆｎを含むシーン全体に基づく軌道予測アルゴリズム５と比較して、最終的な軌道予測アルゴリズム５の実行時間を達成することができる。

【先行技術文献】

【非特許文献】

【0057】

【非特許文献1】Y. Ma, et al.,“Traffic Predict: Trajectory Prediction for Heterogeneous Traffic-Agents”，The Thirty-Third AAAI Conference on Artificial Intelligence（AAAI 2019），米国，AAAI，2019年1月27日－2月1日，pp.6120-6127,

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2024-07-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

自車両の周囲環境における車両（Ｆ１～Ｆｎ）の軌道予測のための方法であって、
－機械トレーニングされた注意ベースの相互作用アルゴリズム（３）を用いて、前記車両（Ｆ１～Ｆｎ）間の相互作用度（Ｉ１～Ｉｍ）が求められ、
－前記相互作用アルゴリズム（３）を用いて、個々の前記車両（Ｆ１～Ｆｎ）が、前記自車両の前記周囲環境に存在する前記車両（Ｆ１～Ｆｎ）の集合から前記軌道予測に関連するものとして識別され、軌道（Ｔ）が予測される前記車両（Ｆ１～Ｆｎ）の内の少なくとも１台とのそれぞれの前記相互作用度（Ｉ１～Ｉｍ）が所定の限界値を上回る場合には、前記軌道予測のために選択され、
－後続の学習ステップにおいて、軌道予測アルゴリズム（５）が、前記軌道予測に関連するとして選択された前記車両（Ｆ１～Ｆｎ）を用いてトレーニングされ、
－前記軌道予測アルゴリズム（５）を用いて実行された前記軌道予測が、前記軌道予測に関連するとして選択された前記車両（Ｆ１～Ｆｎ）に対して実施される
ことを特徴とする、方法。

【請求項2】

前記車両（Ｆ１～Ｆｎ）間の前記相互作用度（Ｉ１～Ｉｍ）は、それぞれ２台の前記車両（Ｆ１～Ｆｎ）について対毎に決定されることを特徴とする、請求項１に記載の方法。

【請求項3】

前記相互作用アルゴリズム（３）の前記機械トレーニングでは、前記車両（Ｆ１～Ｆｎ）間の依存性が対毎に学習され、前記相互作用アルゴリズム（３）を用いて前記相互作用度（Ｉ１～Ｉｍ）を形成するために、前記車両（Ｆ１～Ｆｎ）の相互的な影響がどの程度大きいかが対毎に重み付けされることを特徴とする、請求項１に記載の方法。

【請求項4】

前記相互作用アルゴリズム（３）の前記機械トレーニングでは、前記相互作用アルゴリズム（３）をトレーニングするために使用される軌道予測が生成されることを特徴とする、請求項１に記載の方法。

【請求項5】

前記生成された軌道予測は、前記相互作用度（Ｉ１～Ｉｍ）の暗黙的学習のために、前記相互作用アルゴリズム（３）の前記機械トレーニングにおいて使用されることを特徴とする、請求項４に記載の方法。

【請求項6】

前記機械トレーニングされた前記相互作用アルゴリズム（３）の動作中に、シーン内の全ての前記車両（Ｆ１～Ｆｎ）が長・短期記憶を用いてエンコーディングされ、前記エンコーディング時に、完全グラフ（Ｇ）のノード（ｈ₁ ⁰～ｈ_n ⁰）が形成されることを特徴とする、請求項１に記載の方法。

【請求項7】

前記ノード（ｈ₁ ⁰～ｈ_n ⁰）は、エッジ（ｅ_1,2、ｅ_1,n、ｅ_2,1、ｅ_2,n、ｅ_n,1、ｅ_n,2）を介して相互に接続されており、前記車両（Ｆ１～Ｆｎ）間の距離がエッジ特徴として使用されることを特徴とする、請求項６に記載の方法。

【請求項8】

前記軌道予測アルゴリズム（５）によって、高解像度のデジタル道路地図の地図データ（ＫＤ）が前記軌道予測に使用されることを特徴とする、請求項１に記載の方法。

【請求項9】

自車両を自動運転させるための方法であって、
－請求項１～８のいずれか一項に記載の方法において、前記自車両の周囲環境における車両（Ｆ１～Ｆｎ）の軌道（Ｔ）が予測され、
－前記予測された軌道（Ｔ）が、前記自車両の前記自動運転において、前記自車両の自動化された横方向及び／又は前後方向の制御の際に考慮される、
ことを特徴とする、方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００４４

【補正方法】変更

【補正の内容】

【0044】

ここで、グラフＧは、相互作用アルゴリズム３の核を成す相互作用モジュール７において、複数の層（layer）Ｌ₁～Ｌ_gで形成される。更に、相互作用モジュール７は、この方式に必要ないわゆる並列自己注意ヘッド（Self-Attention-Head）ＳＡＬ₁～ＳＡＬ_hを含む。これらを用いて、Ashish Vaswani他:“Attention Is All You Need” (https://arxiv.org/abs/1706.03762)に従い、いわゆるマルチヘッド自己注意（Multi-Head-Self-Attention）が実行される。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００４５

【補正方法】変更

【補正の内容】

【0045】

自己注意ヘッドＳＡＬ₁～ＳＡＬ_hには、層Ｌ₁～Ｌ_gを用いて求められたベクトルｖ^(Lg)が供給され、この際、結合ユニット７．１に基づいて、自己注意ヘッドＳＡＬ₁～ＳＡＬ_ｈを用いて出力された結果の結合及び線形化が実施され、ひいては潜在的なエンコーディングとして形成された特徴ａ１～ａｘが決定され、それらの特徴ａ１～ａｘが、相互作用度Ｉ１～Ｉｍに基づいて更新され、またトレーニングに使用される。続いて、特徴ａ１～ａｘは、相互作用度Ｉ１～Ｉｍの暗黙的学習を実現するために、軌道Ｔにデコーディングされる。即ち、シーン内の車両Ｆ１～Ｆｎ間の対毎の依存性及び／又は重み、ひいてはエージェント間、即ち車両Ｆ１～Ｆｎ間の相互作用度Ｉ１～Ｉｍが、相互作用モジュール７において学習される。各相互作用度Ｉ１～Ｉｍは、例えば、Ashish Vaswani他:“Attention Is All You Need” (https://arxiv.org/abs/1706.03762)に従い、いわゆるソフトマックス関数の結果としての対毎の重みとして形成される。続いて、相互作用度Ｉ１～Ｉｍは、特徴ａ１～ａｘを形成するために更に使用される。特に、相互作用度Ｉ１～Ｉｍは、ｎｘｎ形式の行列Ｍに格納されている。

【国際調査報告】