IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧

特開2024-35198交通状況のグラフ表現に基づく道路利用者の挙動の予測
<>
  • 特開-交通状況のグラフ表現に基づく道路利用者の挙動の予測 図1
  • 特開-交通状況のグラフ表現に基づく道路利用者の挙動の予測 図2-1
  • 特開-交通状況のグラフ表現に基づく道路利用者の挙動の予測 図2-2
  • 特開-交通状況のグラフ表現に基づく道路利用者の挙動の予測 図3
  • 特開-交通状況のグラフ表現に基づく道路利用者の挙動の予測 図4
  • 特開-交通状況のグラフ表現に基づく道路利用者の挙動の予測 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035198
(43)【公開日】2024-03-13
(54)【発明の名称】交通状況のグラフ表現に基づく道路利用者の挙動の予測
(51)【国際特許分類】
   G08G 1/00 20060101AFI20240306BHJP
【FI】
G08G1/00 A
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023140014
(22)【出願日】2023-08-30
(31)【優先権主張番号】10 2022 209 034.9
(32)【優先日】2022-08-31
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
【住所又は居所原語表記】Stuttgart, Germany
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】マクシミリアン ツィプフル
(72)【発明者】
【氏名】アヒム レッティンガー
(72)【発明者】
【氏名】コリー ヘンソン
(72)【発明者】
【氏名】フェリクス ハートライン
(72)【発明者】
【氏名】ユアゲン リュッティン
(72)【発明者】
【氏名】ラヴディム ハリライ
(72)【発明者】
【氏名】シュテファン シュミット
(72)【発明者】
【氏名】シュテフェン トーマ
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181AA05
5H181AA06
5H181AA07
5H181AA21
5H181BB20
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181DD01
5H181EE02
5H181FF03
5H181FF10
5H181FF12
5H181FF22
5H181LL06
5H181LL11
(57)【要約】      (修正有)
【課題】交通状況における少なくとも1人の道路利用者の挙動を予測するための方法を提供する。
【解決手段】交通状況のグラフ表現を取得するステップは、ノードは道路利用者を表し、エッジは道路利用者間の相互作用かつ隣接性を規定し、ノードは状態変数を含む状態に関連付けられ、エッジはエッジ属性に関連付けられるステップと、ノードの状態の自己進展は当該状態に依存しかつ自己進展演算子によって媒介される自己進展と、検討されるノードと他のノードとの相互作用であって他のノードの状態に依存し、相互作用演算子で媒介される相互作用とに少なくとも部分的に基づいて計算するステップと、少なくとも1人の道路利用者の挙動を特徴付ける少なくとも1つの探索されるプロパティを、道路利用者に対応するグラフ表現内のノードの状態に対して、及び/又は斯かる状態から導出された作業成果物に対して評価演算子を適用することで計算するステップと、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
交通状況(1)における少なくとも1人の道路利用者の挙動を予測するための方法(100)であって、
・前記交通状況(1)のグラフ表現(2)を取得するステップ(110)であって、
○前記グラフ(2)のノードvは、道路利用者i,jを表し、
○前記グラフ(2)のエッジ(i,j)は、前記道路利用者i,j間の相互作用を表し、かつ、前記道路利用者i,j間の隣接性を規定し、
○それぞれのノードvは、複数の状態変数を含む状態hに関連付けられ、
○それぞれのエッジ(i,j)は、複数のエッジ属性ei,jに関連付けられる、
ステップ(110)と、
・前記ノードvの前記状態hの進展(3)を、
○それぞれの検討されるノードvの状態hの自己進展であって、前記自己進展は、当該状態hに依存し、かつ、自己進展演算子Θによって媒介される、自己進展と、
○それぞれの検討されるノードv,iと、他のノードv,j≠iとの相互作用であって、前記相互作用は、当該他のノードv,j≠iの状態hj≠iに依存し、かつ、相互作用演算子θedgeによって媒介される、相互作用と、
に少なくとも部分的に基づいて計算するステップ(120)と、
・少なくとも1人の道路利用者iの挙動を特徴付ける少なくとも1つの探索されるプロパティaを、当該道路利用者iに対応する前記グラフ表現(2)内の前記ノードv,iの状態
【数1】
に対して、及び/又は、斯かる状態
【数2】
から導出された作業成果物に対して評価演算子φを適用することによって計算するステップ(130)と、
を含む方法(100)。
【請求項2】
前記グラフ表現(2)は、
・前記交通状況(1)の1つ又は複数のトップビュー画像、
・少なくとも1人の道路利用者によって携行される少なくとも1つのセンサによって記録されたセンサデータ、及び、
・道路利用者間の車車間通信V2Vによって交換されたデータ
のうちの1つ又は複数から計算される、
請求項1に記載の方法(100)。
【請求項3】
少なくとも1つのエッジの前記エッジ属性eijは、
・同一の交通車線において相互に追従する道路利用者間の長手方向関係、又は、
・それぞれ隣り合う交通車線を走行する道路利用者間の横方向関係、又は、
・合流及び/又は交差する車線を走行する道路利用者間の交差関係
をエンコーディングするように構成されている、
請求項1又は2に記載の方法(100)。
【請求項4】
少なくとも1つのエッジの前記エッジ属性eijは、
・当該エッジ(i,j)によって接続される前記ノードv,i;v,jに対応する2人の道路利用者i,jが、特定の車線に存在する結合確率P(eij)、及び/又は、
・当該エッジ(i,j)によって接続される前記ノードv,i;v,jに対応する前記2人の道路利用者i,j間の距離di,j、及び/又は、一方又は両方の道路利用者i,jと、前記2人の道路利用者i,j間の交点pintとの間の距離di,j
を含む、請求項1乃至3のいずれか一項に記載の方法(100)。
【請求項5】
少なくとも1つのノードvの前記状態変数は、
・道路利用者の種類の標示、及び/又は、
・道路利用者の汚染物質排出クラス、及び/又は、
・道路利用者の寸法、及び/又は、
・道路利用者の推定質量、及び/又は、
・道路利用者の速度、及び/又は、
・道路利用者の表示灯の状態、及び/又は、
・道路利用者に搭載されている貨物及び/又は乗客の存在、及び/又は、
・道路利用者の目的地に関する情報、及び/又は、
・道路利用者の状況
を含む、請求項1乃至4のいずれか一項に記載の方法(100)。
【請求項6】
前記自己進展演算子Θ及び/又は前記相互作用演算子θedge、及び/又は前記評価演算子φは、訓練されたニューラルネットワークを含む、
請求項1乃至5のいずれか一項に記載の方法(100)。
【請求項7】
前記ノードvの前記状態h変数、及び/又は、前記エッジ(i,j)の前記エッジ属性ei,jは、道路利用者i,jの観察可能なプロパティとの、又は、道路利用者i,j間にある道路の一部の観察可能なプロパティとの直接的な関係を有していない隠れ変数を含む、
請求項6に記載の方法(100)。
【請求項8】
前記相互作用演算子θedgeは、2つの相互作用するノードi,jを接続するエッジ(i,j)の前記エッジ属性ei,jに対して適用される少なくとも2つの全結合層を備えたニューラルネットワークを含む、
請求項6又は7に記載の方法(100)。
【請求項9】
前記評価演算子φは、前記少なくとも1人の道路利用者iの挙動を特徴付ける前記探索されるプロパティaのための分類器及び/又は回帰器として構成された多層パーセプトロンを含む、
請求項6乃至8のいずれか一項に記載の方法(100)。
【請求項10】
前記少なくとも1人の道路利用者iの挙動を特徴付ける前記探索されるプロパティaは、前記少なくとも1人の道路利用者iの加速度を含む、
請求項1乃至9のいずれか一項に記載の方法(100)。
【請求項11】
・交通状況(1)の時間シーケンスにわたって前記グラフ表現(2)が取得され(111)、前記ノードvの前記状態hの進展(3)が計算され(121)、
・前記シーケンスにおけるそれぞれの交通状況(1)ごとに、前記ノードvの計算された前記状態hが、入力されたデータのシーケンスを処理するように構成されたシーケンス処理ニューラルネットワーク(4)に入力され(122)、
・前記シーケンス処理ニューラルネットワーク(4)の出力(4a)に対して前記評価演算子φが適用される(131)、
請求項1乃至10のいずれか一項に記載の方法(100)。
【請求項12】
・前記少なくとも1人の道路利用者iの挙動を特徴付ける、計算された前記プロパティaに少なくとも部分的に基づいて、動作信号(140a)を決定するステップ(140)と、
・車両(50)及び/又は前記車両(50)の運転者に警告するための警報手段(51)を、前記動作信号(140a)によって動作させるステップ(150)と、
をさらに含む、請求項1乃至11のいずれか一項に記載の方法(100)。
【請求項13】
1つ又は複数のコンピュータ及び/又はコンピューティングインスタンスによって実行された場合に、前記1つ又は複数のコンピュータ及び/又はコンピューティングインスタンスに、請求項1乃至12のいずれか一項に記載の方法を実施させるための機械可読命令を含むコンピュータプログラム。
【請求項14】
請求項13に記載のコンピュータプログラムを備える機械可読データ担体。
【請求項15】
請求項13に記載のコンピュータプログラム及び/又は請求項14に記載の機械可読データ担体を備える1つ又は複数のコンピュータ及び/又はコンピューティングインスタンス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、交通状況を特徴付ける測定データから道路利用者の挙動を特定することに関する。他の道路利用者の挙動を把握することは、特に、交通における自車両の次の行動を計画するために重要である。
【背景技術】
【0002】
背景
交通の中を少なくとも部分的に自動化された方法により操舵される車両は、車両の周囲を捕捉し、車両の周囲の変化に対して常に自身の行動を適合させる必要がある。特に、車両は、他の道路利用者の行動に応答する必要がある。これらの行動は、通常、他の道路利用者の計画の何らかの利害関係によって引き起こされる。しかしながら、交通における将来の挙動に対する関心又は計画に関する情報は、現在のところ非常に初歩的な程度でしか、即ち、方向指示器の形態でしか利用者間において交換されていない。その結果、道路利用者の将来の挙動を予測することは、容易ではない。
【発明の概要】
【課題を解決するための手段】
【0003】
発明の開示
本発明は、交通状況における少なくとも1人の道路利用者の挙動を予測するための方法を提供する。本明細書における「道路利用者(road user)」という用語は、人間によって操縦され、少なくとも部分的に自動化された、道路交通に参加することができる全てのエンティティ、例えば、自動車、トラック、バス、路面電車、自転車、電動スクータ、及び、ローラスケート又はローラブレードのような補助装置を用いた又は用いていない人間などを含む。また、この用語は、道路走行面の利用者に限定されているわけではなく、道路の一部であるとも考えられる歩道又は自転車道の利用者も包含している。
【0004】
本方法の過程において、交通状況のグラフ表現が取得される。グラフ表現へと処理することができる交通状況に関する知識は、任意の形態であるものとしてよい。
【0005】
例えば、グラフ表現は、交通状況の1つ又は複数のトップビュー画像から計算可能であり、これらのトップビュー画像は、1つ又は複数の固定式又は移動式のカメラによって撮影可能である。例えば、いくつかの交差点、トンネル、又は、道路の区間は、円滑な運用を保証するために、トンネル内の安全性の問題を検出するために、又は、交通に対する追加的な車線として高速道路の路肩を開放するかどうかを動的に決定するために、カメラによって日常的に監視されている。
【0006】
これに代えて又は組み合わせて、グラフ表現を計算するために、少なくとも1人の道路利用者によって携行される少なくとも1つのセンサによって記録されたセンサデータを使用することもできる。例えば、少なくとも部分的に自動化された運転のための機能を備えた全ての車両は、カメラ画像を撮影するセンサとして少なくとも1つのカメラを有する。極めて頻繁に、車両には、レーダデータを生成するレーダセンサ及び/又はライダデータを生成するライダセンサも装備されている。複数の異なるセンサモダリティを組み合わせることにより、1つのモダリティが一時的に動作していなくても、少なくとも1つのモダリティが如何なる時にも車両環境から利用可能な情報を提供するという確率が高まる。例えば、カメラが太陽に直接的に面していて、カメラのセンサが完全に飽和していることが理由で、カメラが一時的に画像を供給できなくなる場合がある。
【0007】
また、グラフ表現を計算するために、道路利用者間の車車間通信V2Vによって交換されたデータを使用することもできる。このようにして、交通状況を複数の観点からより正確に評価することができる。全ての種類のデータを集約して、グラフ表現へと処理することができる。収集されたデータがより多様であればあるほど、グラフ表現に含まれる情報はより完全になる。
【0008】
グラフ表現においては、グラフのノードvは、道路利用者i,jを表す。それぞれのノードvは、複数の状態変数を含む状態hに関連付けられる。グラフのエッジ(i,j)は、道路利用者i,j間の相互作用を表し、かつ、道路利用者i,j間の隣接性を規定している。それぞれのエッジ(i,j)は、複数のエッジ属性ei,jに関連付けられる。
【0009】
ノードvの状態hの進展が計算される。この進展は、少なくとも2つの成分を含み、即ち、
・それぞれの検討されるノードvの状態hの自己進展であって、この自己進展は、少なくともこの状態(及び場合によっては以前の状態の履歴も)に依存し、かつ、自己進展演算子Θによって媒介される、自己進展と、
・それぞれの検討されるノードv,iと、他のノードv,j≠iとの相互作用であって、この相互作用は、これらの他のノードv,j≠iの状態hj≠iに依存し、かつ、相互作用演算子θedgeによって媒介される、相互作用と、
を含む。
【0010】
少なくとも1人の道路利用者iの挙動を特徴付ける少なくとも1つの探索されるプロパティaが、
・この道路利用者iに対応するグラフ表現内のノードv,iの状態
【数1】
に対して、及び/又は、
・斯かる状態
【数2】
から導出された作業成果物に対して評価演算子φを適用することによって計算される。
探索されるプロパティaは、少なくとも1人の道路利用者iの挙動を特徴付ける任意の適当な量及び/又は質を含み得る。例えば、探索されるプロパティaは、測定可能な量を含み得るが、道路利用者の種類、道路利用者の目的地、又は、それどころか道路利用者iの次の行動が侵略的及び/又は攻撃的である可能性が高いかどうかの分類のような、離散的なプロパティも含み得る。
【0011】
本枠組みの主な利点は、
・一方では、具体的な用途において利用可能となるように、ノード及びエッジの状態に関する可能な限り多くの明示的な情報を使用するための、
・他方では、明示的な情報が殆ど又は全く利用可能でない場合には、ニューラルネットワークのような訓練された機械学習モデルを使用するための
最大限の柔軟性が、本枠組みによって可能となることである。
【0012】
例えば、グラフ表現の導出元となるデータにより、道路利用者を交通車線に割り当てることが可能となる場合には、このデータを活用して、道路利用者間の種々異なる種類の関係を区別することができる。特に、
・同一の交通車線において相互に追従する道路利用者間の長手方向関係、又は、
・それぞれ隣り合う交通車線を走行する道路利用者間の横方向関係、又は、
・合流及び/又は交差する車線を走行する道路利用者間の交差関係
が存在し得る。
少なくとも1つのエッジ(i,j)のエッジ属性eijは、上記の種類の関係をエンコーディングするように構成され得る。
【0013】
これに代えて又はこれと組み合わせて、少なくとも1つのエッジ(i,j)のエッジ属性eijは、
・当該エッジ(i,j)によって接続されるノードv,i;v,jに対応する2人の道路利用者i,jが、特定の車線に存在する結合確率P(eij)、及び/又は、
・当該エッジ(i,j)によって接続されるノードv,i;v,jに対応する2人の道路利用者i,j間の距離di,j、及び/又は、一方又は両方の道路利用者i,jと、2人の道路利用者i,j間の交点pintとの間の距離di,j
を含み得る。
【0014】
例えば、P(i)が、道路利用者iをその車線に割り当てることが正しい確率であって、かつ、P(j)が、道路利用者jをその車線に割り当てることが正しい確率である場合には、エッジ(i,j)に対応する結合確率は、
P(eij)=P(i)・P(j)
である。
【0015】
距離di,jは、一方の道路利用者iが他方の道路利用者jの存在に起因して自身の挙動を変化させる必要性を示すことができる。
【0016】
特に有利な実施形態においては、少なくとも1つのノードの状態変数は、
・道路利用者の種類の標示、及び/又は、
・道路利用者の汚染物質排出クラス、及び/又は、
・道路利用者の寸法、及び/又は、
・道路利用者の推定質量、及び/又は、
・道路利用者の速度、及び/又は、
・道路利用者の表示灯の状態、及び/又は、
・道路利用者に搭載されている貨物及び/又は乗客の存在、及び/又は、
・道路利用者の目的地に関する情報、及び/又は、
・道路利用者の状況(例えば、右から車が来ている状態で交差点に接近する、又は、学校を通過する、駐車された(直後の)車を通過する)
を含む。
【0017】
(例えば、量及び/又は質を含み得る)これらのプロパティのいずれも、単独では、ノードに対応する道路利用者の将来の挙動の直接的かつ明白な予測を可能にしない。しかしながら、それぞれのこのようなプロパティは、ある程度まで、その道路利用者の挙動の背後にある意図に関する手がかりとなり、この意図は、道路利用者の将来の挙動を予測する際の大きい援助となる。例えば、道路利用者の目的地に関する情報、又は、少なくともそのような目的地についてのヒントを与える何か他のものが既知である場合には、道路利用者は、その目的地に向かう移動に一致する方向へとさらに進行する可能性が高い。これらの兆候及び他の弱い兆候を活用することは、訓練されたニューラルネットワークによって非常に良好に実行し得る作業である。
【0018】
したがって、さらに特に有利な実施形態においては、自己進展演算子Θ及び/又は相互作用演算子θedge、及び/又は評価演算子φは、訓練されたニューラルネットワークを含む。
【0019】
特に、ニューラルネットワークは、追加的な隠れ変数を活用するためにも良好に適している。隠れ変数は、この隠れ変数がエッジに関係している場合、道路利用者の観察可能なプロパティとの、又は、道路利用者間にある道路の一部の観察可能なプロパティとの直接的な関係を有していない変数である。したがって、これらの隠れ変数を特定するために明示的な知識を使用することはできない。しかしながら、ニューラルネットワークは、それにもかかわらず、隠れ変数がどのように進展するのか、又は、少なくとも1人の道路利用者iの挙動を特徴付ける探索されるプロパティaが、そのような隠れ変数にどのように依存しているのかを、訓練例に基づいて学習することができる。
【0020】
したがって、さらに特に有利な実施形態においては、ノードvの状態h変数、及び/又は、エッジ(i,j)のエッジ属性ei,jは、道路利用者i,jの観察可能なプロパティとの、又は、道路利用者i,j間にある道路の一部の観察可能なプロパティとの直接的な関係を有していない隠れ変数を含む。
【0021】
特に、1つ又は複数の隠れ変数を、道路利用者の意図に関連させることができる。この意図は、直接的に測定可能又は観察可能ではないが、他の観察可能なプロパティと相互に依存している可能性があり、道路利用者がどのような行動を実施するかを判断する際の主要な要因になる可能性がある。意図は、時間と共に進展する可能性もある。したがって、隠れ変数は、直接的に測定可能又は観察可能でないにもかかわらず、意図をエンコーディング及び考慮するための手段を提供する。
【0022】
例えば、ある特定の離散的な時間刻みsから時間刻みs+1までのノードv,iの状態
【数3】
の進展を、
【数4】
のように記述することができ、ここで、
【数5】
は、他のノードv,j≠iから伝送されている集約された相互作用である「メッセージ」
【数6】
を表す。即ち、状態v,iの周りの規定された近傍N(i)における状態v,j≠iは、状態v,iの進展にとって関連性がある。
【0023】
ここで、訓練された重みを有する進展演算子Θは、二重関数を実行する。一方では、進展演算子Θは、状態
【数7】
の自己進展をそのように記述している。他方では、
【数8】
に対するΘの相対的な大きさは、相互作用と比較して自己進展がどのくらい重要であるかを記述している。
【0024】
進展は、1つの時間刻みの間だけ実行されるものとしてよいが、複数の時間刻みの間、実行されるものとしてもよい。最後のステップSにおいて、探索されるプロパティaを評価演算子φによって
【数9】
のように評価することができる。
【0025】
ここで、例えば、
【数10】
は、およそ64個の変数を含み得るが、これらの変数のうちのごく一部だけが、道路利用者iの具体的に観察可能なプロパティに結び付けられている。
【0026】
関与する全てのニューラルネットワークの訓練は、探索されるプロパティaに関するグラウンドトゥルース
【数11】
によってラベル付けされている交通状況のグラフ表現の形態で訓練例を提供することにより、エンドツーエンドで実施可能である。即ち、グラフ表現は、上述したように処理可能であり、これにより、探索されるプロパティに関する値aが得られる。この値aを、グラウンドトゥルース値
【数12】
と比較することができ、グラウンドトゥルース値
【数13】
からの偏差を、損失関数によって評価することができる。例えば、n個のノードvからなる集合Vが与えられた場合には、損失関数
【数14】
を使用することができる。次いで、ニューラルネットワークの挙動を特徴付けるパラメータを最適化することができ、これにより、交通状況のさらなるグラフ表現を訓練例として処理すると、損失関数Lの値が漸進的に改善される。
【0027】
しかしながら、(自己進展又は相互作用などに関する)1つの個々のニューラルネットワークの性能に関連するグラウンドトゥルースを使用してニューラルネットワークのうちの1つ又は複数を訓練すること若しくは少なくとも事前訓練することが可能であり、又は、それどころか、ラベル付けされていない訓練データに基づいて教師なしでそのようなニューラルネットワークを事前訓練することさえも可能である。これらは全て、どのグラウンドトゥルースが利用可能であるかに依存している。
【0028】
1つの例においては、相互作用演算子θedgeは、2つの相互作用するノードi,jを接続するエッジ(i,j)のエッジ属性ei,jに対して適用される少なくとも2つの全結合層を備えたニューラルネットワークを含み得る。例えば、このようなニューラルネットワークは、エッジ(i,j)のどの属性ei,jが、隣り合うノードi,j間の相互作用に対してどのような影響を与えるかを学習することができる。
【0029】
さらなる例においては、評価演算子φは、少なくとも1人の道路利用者iの挙動を特徴付ける探索されるプロパティのための分類器及び/又は回帰器として構成された多層パーセプトロンを含み得る。適当な訓練例が利用可能であるかどうかに応じて、そのような分類器及び/又は回帰器を、交通状況のグラフ表現に基づいてエンドツーエンド訓練する前に少なくとも部分的に事前訓練することができる。
【0030】
特に有利な実施形態においては、少なくとも1人の道路利用者iの挙動を特徴付ける探索されるプロパティaは、当該少なくとも1人の道路利用者iの加速度を含む。そのような加速度は、任意の線形加速度、角加速度、又は、ベクトル加速度を含み得る。したがって、加速度を用いて、道路利用者の挙動の非常に多数の種々異なる潜在的な変化をモデル化することができる。特に、速度の変化だけでなく方向の変化も、加速度に結び付けられている。
【0031】
さらに特に有利な実施形態においては、交通状況の時間シーケンスにわたってグラフ表現が取得され、ノードvの状態hの進展が計算される。シーケンスにおけるそれぞれの交通状況ごとに、ノードvの計算された状態hが、入力されたデータのシーケンスを処理するように構成されたシーケンス処理ニューラルネットワークに入力される。シーケンス処理ニューラルネットワークの出力に対して評価演算子φが適用される。即ち、ノードvの計算された状態hがシーケンス処理ニューラルネットワークに入力される度に、このシーケンス処理ニューラルネットワークの出力においてエンコーディングが生成される。このエンコーディングは、計算された新しい状態hがシーケンス処理ニューラルネットワークに到達する度に更新される。その場合、最終的なエンコーディングは、多数の種々異なる計算された状態hからなる作業成果物であり、単一の斯かる状態hに対して最終的なエンコーディングが実施可能であるのと同様に、探索されるプロパティaを、この作業成果物から評価演算子φによって計算することができる。シーケンス処理ニューラルネットワークの例は、リカレントニューラルネットワーク及びトランスフォーマーネットワークを含む。
【0032】
シーケンス処理ニューラルネットワークを使用することにより、特に、探索されるプロパティaについてのさらに良好な予測に到達するために、交通状況間の共通の情報を活用することができる。例えば、固定された視野を有する固定式のカメラによって交差点が監視されている場合には、時間シーケンスにおける交通状況が、相互に完全に異なることはあり得ない。なぜなら、道路利用者が無限の速度で出現及び消失することはあり得ないからである。時間シーケンスにおける全ての交通状況にある全ての道路利用者に対して、加速度のような探索されるプロパティを予測することができる。シーケンス内のシーンに入る又はシーンから出る道路利用者を、履歴状態の計算のために依然として考慮することができる。
【0033】
本方法の文脈において使用可能なシーケンス処理ニューラルネットワークの主な例は、長短期メモリLSTMである。
【0034】
本明細書において提示される方法の主な使用事例は、自車両の挙動をこの交通状況に合うように適合させる必要があるかどうかを判断する目的で、交通状況を評価することである。このような適合は、車両によって自動的に実行されるものとしてもよいし、又は、車両の運転者に適合の必要性についての警告が行われた場合に、この車両の運転者によって実行されるものとしてもよい。
【0035】
したがって、さらに特に有利な実施形態においては、少なくとも1人の道路利用者iの挙動を特徴付ける、計算されたプロパティaに少なくとも部分的に基づいて、動作信号が計算される。車両及び/又は車両の運転者に警告するための警報手段が、当該動作信号によって動作させられる。
【0036】
本方法は、全体的又は部分的にコンピュータ実装可能であり、したがって、ソフトウェアの形態において具現化可能である。したがって、本発明は、1つ又は複数のコンピュータ及び/又はコンピューティングインスタンスによって実行された場合に、1つ又は複数のコンピュータ及び/又はコンピューティングインスタンスに、上述した方法を実施させるための機械可読命令を備えるコンピュータプログラムにも関する。ここで、車両のための制御ユニット、及び、機械可読命令を実行することができる技術的装置の内部の他の組み込みシステムも同様に、コンピュータとみなされるべきである。コンピューティングインスタンスの例は、仮想マシン、コンテナ、又は、サーバレス実行環境であり、これらにおいて機械可読命令をクラウド内で実行することができる。本発明は、コンピュータプログラムを備える機械可読データ担体及び/又はダウンロード製品にも関する。ダウンロード製品は、例えば、即時の実現のためにオンラインショップで販売可能であって、かつ、1つ又は複数のコンピュータにダウンロード可能である、コンピュータプログラムを備えるデジタル製品である。本発明は、コンピュータプログラム及び/又は機械可読データ担体及び/又はダウンロード製品を備える1つ又は複数のコンピューティングインスタンスにも関する。
【0037】
以下においては、さらなる有利な実施形態を、図面を使用しながら、本発明の範囲を限定することを何ら意図することなく説明する。
【図面の簡単な説明】
【0038】
図1】交通状況1における少なくとも1人の道路利用者iの挙動を予測するための方法100の例示的な実施形態を示す図である。
図2】鳥瞰図から見られる例示的な交通状況1(図2a)と、この交通状況から導出される例示的なグラフ表現2(図2b)とを示す図である。
図3】測定可能な道路利用者間の例示的な距離di,jを伴う、例示的な交通状況1を示す図である。
図4】道路利用者iの挙動を特徴付けるプロパティaを予測することを、ノードvの状態hに関する1つの更新ステップと共に示す図である。
図5】LSTMシーケンス処理ネットワーク4を用いて、道路利用者iの挙動を特徴付けるプロパティaを予測することを示す図である。
【発明を実施するための形態】
【0039】
図1は、交通状況1における少なくとも1人の道路利用者iの挙動を予測するための方法100の1つの実施形態の概略的なフローチャートである。
【0040】
ステップ110において、交通状況1のグラフ表現2が取得される。ここで、
・グラフ2のノードvは、道路利用者i,jを表し、
・グラフ2のエッジ(i,j)は、道路利用者i,j間の相互作用を表し、かつ、道路利用者i,j間の隣接性を規定し、
・それぞれのノードvは、複数の状態変数を含む状態hに関連付けられ、
・それぞれのエッジ(i,j)は、複数のエッジ属性ei,jに関連付けられる。
【0041】
ステップ120において、ノードvの状態hの進展3が、
・それぞれの検討されるノードvの状態hの自己進展であって、この自己進展は、この状態hに依存し、かつ、自己進展演算子Θによって媒介される、自己進展と、
・それぞれの検討されるノードv,iと、他のノードv,j≠iとの相互作用であって、この相互作用は、これらの他のノードv,j≠iの状態hj≠iに依存し、かつ、相互作用演算子θedgeによって媒介される、相互作用と、
に少なくとも部分的に基づいて計算される。
【0042】
ステップ130において、少なくとも1人の道路利用者iの挙動を特徴付ける少なくとも1つの探索されるプロパティaが、この道路利用者iに対応するグラフ表現内のノードv,iの状態
【数15】
に対して、及び/又は、斯かる状態
【数16】
から導出された作業成果物に対して評価演算子φを適用することによって計算される。
【0043】
ステップ140において、少なくとも1人の道路利用者iの挙動を特徴付ける、計算されたプロパティaに少なくとも部分的に基づいて、動作信号140aが決定される。
【0044】
ステップ150において、車両50及び/又は車両50の運転者に警告するための警報手段51が、この動作信号140aによって動作させられる。
【0045】
ブロック111によれば、交通状況1の時間シーケンスにおける複数の交通状況1に対して複数のグラフ表現2を取得することができる。次いで、ブロック121によれば、ノードvの状態hの進展3を、それぞれのこのようなグラフ表現ごとに計算して、シーケンス処理ニューラルネットワーク4に入力することができる。次いで、ブロック131によれば、評価演算子φは、シーケンス処理ニューラルネットワーク4の出力4aから、少なくとも1人の道路利用者iの挙動を特徴付けるプロパティaを計算することができる。
【0046】
図2は、交通状況1をどのようにしてグラフ表現2に変換することができるかを示している。図2aは、交通状況1の例示的な鳥瞰図であり、図2bは、この交通状況1から導出される例示的なグラフ表現2である。
【0047】
交通状況1は、3つの道路21,22,及び23が合流する交差点20を中心としている。車両は、交通が反時計回りに走行している環状交差点(ラウンドアバウト)24を介してこれらの道路21,22,及び23の間を移動することができる。道路21,22,及び23が環状交差点24と合流するところに交通島21a,22a及び23aが設けられている。図2aに示されている状況1においては、交差点20に7つの車両3,10,13,14,15,16及び17が存在する。
【0048】
グラフ表現2は、道路利用者間の3つの異なる種類の関係を含み、即ち、
・同一の交通車線において相互に追従する道路利用者間の長手方向関係(Aが付された実線)と、
・それぞれ隣り合う交通車線を走行する道路利用者間の横方向関係(Bが付された破線)と、
・合流及び/又は交差する車線を走行する道路利用者間の交差関係(Cが付された一点鎖線)と、
を含む。
【0049】
車両16は、車両3及び10の両方との相互の交差関係を有する。なぜなら、車両3及び10は、車両16が進入しようとしている環状交差点車線24を既に使用しているからである。
【0050】
環状交差点の他方の側においては、車両13と14との間に交差関係が存在する。なぜなら、車両14は、環状交差点車線24を既に使用しており、車両13は、この環状交差点車線24に進入しようとしているからである。車両15も、まもなく環状交差点車線24に進入するので、車両14と車両15との間にも同様の交差関係が存在する。
【0051】
理論的には、車両17と車両14との間にもこのような関係が存在し得る。しかしながら、車両17は、車両13及び15よりも交差点20からより遠く離れており、また、他の車両が重要であると考えられる最大距離に関しては限界が存在する。車両13,15,及び17の間の距離は、この限界を下回っており、したがって、これら3つの車両の間には長手方向の追従関係が存在する。
【0052】
それと同時に、3つの車両14,10,及び3は、全て環状交差点車線24に位置しているので、車両10は、車両3との長手方向関係を有し、車両14は、両方の車両10及び3との長手方向関係を有する。
【0053】
図3は、他の例示的な交通状況1と、この交通状況1において測定可能な道路利用者間の距離di,jがどのように異なっているかも示している。
【0054】
図3に示されている状況1においては、2つの車線30a及び30bを備えた大きい道路30が2つのより小さい道路31及び32に分かれている。第1の車線30a上の交通は、より小さい道路31に移動し、第2の車線30b上の交通は、より小さい道路32に移動する。また、より小さい道路32には別の道路33が合流している。状況1は、識別子1乃至4を備えた4つの車両、即ち、大きい道路30の車線30a上の車両1と、大きい道路30の車線30b上の車両2と、合流する道路33上の車両3と、より小さい道路32上の車両4とを含む。
【0055】
車両1と車両2との間の距離d1,2は、車両1の指定された基準点(中心点など)と、車両2の指定された基準点(中心点など)との間で道路30の中央線に沿って測定可能である。このようにして、距離d1,2は、車両1及び2のうちの一方が車線変更した場合でも変化しないままである。距離d2,1は、-d1,2である。車両1及び2は、それぞれ異なる車線で同一の方向に移動しているので、横方向関係を有する。
【0056】
車両2は、車両3が進入しようとしている車線に既に存在しているので、車両2及び3は、交差関係を有する。2つの車両2及び3の軌跡は、点pintにおいて交差する可能性がある。したがって、車両2の視点から見ると、車両3までの関連する距離d2,3は、車両2の現在位置と交点pintとの間の距離d2,pである。同様に、車両3の視点から見ると、車両2までの関連する距離d3,2は、車両3の現在位置と交点pintとの間の距離d3,pである。
【0057】
車両2及び4は、距離d2,4を有する通常の長手方向の追従関係を有する。
【0058】
車両4は、交点pintから離れる方向に移動しているので、車両3は、車両4との長手方向の追従関係も有し、この長手方向の追従関係は、この車両3が実施しなければならない右折が存在していないかのように計算される距離d3,4=d3,p+dp,4を有する。
【0059】
図4は、道路利用者iの挙動を特徴付けるプロパティaが、交通状況1のグラフ表現2に基づいてどのように表現されるかを、ノードvの状態hに関する1つの更新ステップと共に示している。
【0060】
グラフ表現2は、行列を含み、この行列は、n個のノードvの各々ごとに|v|個の成分を有する状態ベクトルhを含む。同様に、別の行列も存在しており、この別の行列は、合計m個の存在し得るエッジのうちのそれぞれのエッジ(i,j)ごとに|e|個のエッジパラメータeijのベクトルを含む。m行2列の隣接行列は、どのノードがどのエッジによって接続されるかを保存する。
【0061】
伝播モジュールPは、ノードのそれぞれの状態を更新するための手段を含む。図4に示されている例においては、時間刻み0における1つの状態
【数17】
が更新されているところである。このために、まず始めに、この状態
【数18】
に対して自己進展演算子Θが適用される。次いで、他のノードjとの相互作用が計算される。それぞれのエッジ(i,j)ごとに、これらのエッジ(i,j)のエッジ属性ei,jに対して相互作用演算子θedgeが適用されることにより、結合強度とみなすことができる結果が生成され、この結合強度に、時間刻み0におけるノードjの状態
【数19】
が乗算されることにより、メッセージmに対するノードの寄与が生成される。状態
【数20】
は、自己進展演算子Θによって更新された後、このメッセージmによって更新されて、新しい状態
【数21】
が得られる。この新しい状態
【数22】
に基づいて、探索されるプロパティaが、評価演算子φによって予測される。評価ステップにおける「ReLU」という記号の存在は、ReLUが、それぞれのステップのために使用されるニューラルネットワークの活性化関数であることを表す。
【0062】
図5は、シーケンス処理ネットワーク4としてのLSTMリカレントネットワークを用いて、道路利用者iの挙動を特徴付けるプロパティaをどのようにして予測することができるかを示している。
【0063】
単一の時点に対するただ1つの単一のグラフ表現2だけではなく、複数の時点t,t-1,・・・,t-T+1,t-Tに関係する複数のグラフ表現2が取得される。これらのグラフ表現2に基づいて、ノードv,iの状態hに対する更新3が計算され、シーケンス処理ニューラルネットワーク4としての長短期メモリLSTMに入力として提供される。毎回、このLSTMの出力側におけるエンコーディングが更新される。次いで、最終的なエンコーディングが、図4に示されている例において新しい状態
【数23】
が処理されるのと同様の手法により、評価演算子φによって処理される。
図1
図2-1】
図2-2】
図3
図4
図5
【外国語明細書】