▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特開2023-168313相互作用する多数のエージェントを備える動的なシステムにおいて、エージェントの挙動を予測するためのコンピュータ実装された方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023168313
(43)【公開日】2023-11-24
(54)【発明の名称】相互作用する多数のエージェントを備える動的なシステムにおいて、エージェントの挙動を予測するためのコンピュータ実装された方法
(51)【国際特許分類】
G06N 7/00 20230101AFI20231116BHJP
G08G 1/00 20060101ALI20231116BHJP
G06N 20/00 20190101ALI20231116BHJP
【ＦＩ】
G06N7/00
G08G1/00 D
G06N20/00
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023079127
(22)【出願日】2023-05-12
(31)【優先権主張番号】10 2022 204 723.0
(32)【優先日】2022-05-13
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】アンドレアス ルック
(72)【発明者】
【氏名】バーバラ ラキチュ
(72)【発明者】
【氏名】ヤン ペータース
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181AA28
5H181BB20
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181CC27
5H181EE02
5H181FF04
5H181FF10
5H181FF22
(57)【要約】 （修正有）
【課題】エージェントの挙動を予測するためのコンピュータ実装された方法を提供する。
【解決手段】コンポーネント毎に、エージェントの潜在状態をモデル化する第１の分布の第１のモーメントの値が特定され、第１の分布の第２のモーメントの値が特定され、コンポーネント毎に、予測時点までの第１の分布の第１のモーメントの値、かつ第２のモーメントの値に関連して、予測時点までの第２の分布の第１のモーメントに対する期待値が特定され、第２の分布は、エージェントの挙動を、エージェントの潜在状態に関連してモデル化し、第２の分布の第１のモーメントに対する期待値は第３の分布の第１のモーメントを規定し、コンポーネント毎に、第３の分布の第２のモーメントが特定され、特に、少なくとも１つの重みによって重み付された、コンポーネントの第３の分布の総計が特定され、この総計に関連して挙動の予測が特定される。
【選択図】図１
【解決手段】コンポーネント毎に、エージェントの潜在状態をモデル化する第１の分布の第１のモーメントの値が特定され、第１の分布の第２のモーメントの値が特定され、コンポーネント毎に、予測時点までの第１の分布の第１のモーメントの値、かつ第２のモーメントの値に関連して、予測時点までの第２の分布の第１のモーメントに対する期待値が特定され、第２の分布は、エージェントの挙動を、エージェントの潜在状態に関連してモデル化し、第２の分布の第１のモーメントに対する期待値は第３の分布の第１のモーメントを規定し、コンポーネント毎に、第３の分布の第２のモーメントが特定され、特に、少なくとも１つの重みによって重み付された、コンポーネントの第３の分布の総計が特定され、この総計に関連して挙動の予測が特定される。
【選択図】図１
【特許請求の範囲】
【請求項1】
相互作用する多数のエージェント（１０２）を備える動的なシステム（１０４）において、エージェント（１０２）の挙動を、前記エージェント（１０２）の潜在状態に関連して予測するためのコンピュータ実装された方法であって、
複数のコンポーネントおよび予測時点までの複数の時点に対して、コンポーネント毎に、前記エージェント（１０２）の前記潜在状態をモデル化する第１の分布の第１のモーメントの値を特定し（４０４）、前記第１の分布の第２のモーメントの値を特定し（４０６）、
コンポーネント毎に、前記予測時点までの前記第１の分布の前記第１のモーメントの前記値に関連して、かつ前記予測時点までの前記第１の分布の前記第２のモーメントの前記値に関連して、前記予測時点までの第２の分布の第１のモーメントに対する期待値を特定し（４０８）、前記第２の分布は前記エージェント（１０２）の前記挙動を、前記エージェント（１０２）の潜在状態に関連してモデル化し、前記第２の分布の前記第１のモーメントに対する前記期待値は第３の分布の第１のモーメントを規定し（４１２）、
コンポーネント毎に、前記第３の分布の第２のモーメントを特定し（４１４）、特に、少なくとも１つの重みによって重み付された、前記コンポーネントの前記第３の分布の総計を特定し（４１６）、
前記総計に関連して前記挙動の前記予測を特定する（４２０）、
ことを特徴とする方法。
複数のコンポーネントおよび予測時点までの複数の時点に対して、コンポーネント毎に、前記エージェント（１０２）の前記潜在状態をモデル化する第１の分布の第１のモーメントの値を特定し（４０４）、前記第１の分布の第２のモーメントの値を特定し（４０６）、
コンポーネント毎に、前記予測時点までの前記第１の分布の前記第１のモーメントの前記値に関連して、かつ前記予測時点までの前記第１の分布の前記第２のモーメントの前記値に関連して、前記予測時点までの第２の分布の第１のモーメントに対する期待値を特定し（４０８）、前記第２の分布は前記エージェント（１０２）の前記挙動を、前記エージェント（１０２）の潜在状態に関連してモデル化し、前記第２の分布の前記第１のモーメントに対する前記期待値は第３の分布の第１のモーメントを規定し（４１２）、
コンポーネント毎に、前記第３の分布の第２のモーメントを特定し（４１４）、特に、少なくとも１つの重みによって重み付された、前記コンポーネントの前記第３の分布の総計を特定し（４１６）、
前記総計に関連して前記挙動の前記予測を特定する（４２０）、
ことを特徴とする方法。
【請求項2】
前記第１の分布の前記第１のモーメントの前記値を、前記時点に先行する時点に対する前記第１の分布の前記第１のモーメントの値と、前記第１の分布の前記第１のモーメントの決定論的変化に対する期待値とに関連して特定し（４０４）、かつ／または
前記時点に対する前記第１の分布の前記第２のモーメントの前記値を、前記時点に先行する時点に対する前記第１の分布の前記第２のモーメントの値と、前記決定論的変化の共分散と、前記第１の分布の前記第２のモーメントの確率論的変化に対する期待値とに関連して特定する（４０６）、請求項１記載の方法。
前記時点に対する前記第１の分布の前記第２のモーメントの前記値を、前記時点に先行する時点に対する前記第１の分布の前記第２のモーメントの値と、前記決定論的変化の共分散と、前記第１の分布の前記第２のモーメントの確率論的変化に対する期待値とに関連して特定する（４０６）、請求項１記載の方法。
【請求項3】
前記時点に対する前記第１の分布の前記第２のモーメントの前記値を、前記先行する時点に対する前記第１の分布の前記第２のモーメントの前記値と、前記決定論的変化の前記共分散と、前記決定論的変化を伴う、前記先行する時点に対する前記潜在状態の共分散と、前記決定論的変化を伴う、前記先行する時点に対する前記潜在状態の前記共分散の転置と、前記確率論的変化に対する前記期待値とに関連して特定する（４０６）、請求項２記載の方法。
【請求項4】
前記第２の分布の前記第１のモーメントに対する前記期待値を、前記予測時点に対する前記第１の分布の前記第１のモーメントの前記値に関連して特定する（４１０）、請求項１から３までのいずれか１項記載の方法。
【請求項5】
コンポーネント毎に、前記予測時点に対する前記第２の分布の前記第１のモーメントの前記値に関連して、前記第２の分布の前記第１のモーメントの共分散を特定し（４０８）、
コンポーネント毎に、前記予測時点に対する潜在状態に関連して、前記予測時点に対する前記第２の分布の前記第２のモーメントに対する期待値を特定し（４１２）、
コンポーネント毎に、前記第２の分布の前記第１のモーメントの前記共分散と、前記予測時点に対する前記第２の分布の前記第２のモーメントに対する前記期待値とに関連して、前記第３の分布の前記第２のモーメントを特定する（４１６）、請求項１から４までのいずれか１項記載の方法。
コンポーネント毎に、前記予測時点に対する潜在状態に関連して、前記予測時点に対する前記第２の分布の前記第２のモーメントに対する期待値を特定し（４１２）、
コンポーネント毎に、前記第２の分布の前記第１のモーメントの前記共分散と、前記予測時点に対する前記第２の分布の前記第２のモーメントに対する前記期待値とに関連して、前記第３の分布の前記第２のモーメントを特定する（４１６）、請求項１から４までのいずれか１項記載の方法。
【請求項6】
コンテキスト変数を特定し（４０２）、前記コンテキスト変数は割り当てを含んでおり、前記割り当ては、少なくとも１つのエージェント（１０２）に、前記エージェントの挙動の予測のために考慮されるべき別のエージェント（１０２）を割り当て、かつ／または前記コンテキスト変数は前記動的なシステム（１０４）の履歴を特徴付け、
前記第１の分布の前記第１のモーメントを、前記コンテキスト変数に関連して特定し（４０４）、かつ／または前記第１の分布の前記第２のモーメントを前記コンテキスト変数に関連して特定し（４０６）、かつ／または前記第１のモーメントに対する前記期待値を前記コンテキスト変数に関連して特定し（４１０）、かつ／または前記第３の分布の前記第１のモーメントを前記コンテキスト変数に関連して特定し（４１４）、かつ／または前記第３の分布の前記第２のモーメントを前記コンテキスト変数に関連して特定し（４１６）、かつ／または少なくとも１つのコンポーネントに対して、前記少なくとも１つの重みを前記コンテキスト変数に関連して特定する（４１８）、請求項１から５までのいずれか１項記載の方法。
前記第１の分布の前記第１のモーメントを、前記コンテキスト変数に関連して特定し（４０４）、かつ／または前記第１の分布の前記第２のモーメントを前記コンテキスト変数に関連して特定し（４０６）、かつ／または前記第１のモーメントに対する前記期待値を前記コンテキスト変数に関連して特定し（４１０）、かつ／または前記第３の分布の前記第１のモーメントを前記コンテキスト変数に関連して特定し（４１４）、かつ／または前記第３の分布の前記第２のモーメントを前記コンテキスト変数に関連して特定し（４１６）、かつ／または少なくとも１つのコンポーネントに対して、前記少なくとも１つの重みを前記コンテキスト変数に関連して特定する（４１８）、請求項１から５までのいずれか１項記載の方法。
【請求項7】
前記履歴を、前記少なくとも１つのエージェント（１０２）の観察された挙動に関連して、特に前記エージェント（１０２）の位置または動きを含んでいる挙動に関連して特定し（１０２）、
前記エージェント（１０２）の位置または動きを、特に、衛星によってサポートされている測位システムに対する受信機によって検出する、または少なくとも１つのデジタル画像を、特に、デジタル画像用のセンサによって、好ましくはカメラ、ＬｉＤＡＲセンサ、超音波センサ、モーションセンサ、赤外線画像センサおよび／またはレーダーセンサによって検出し、前記エージェント（１０２）の位置または動きを少なくとも１つのデジタル画像に関連して特定する、または可聴音を受け取るスピーカによって信号を検出し、前記エージェント（１０２）の位置または動きを前記信号に関連して特定する、請求項６記載の方法。
前記エージェント（１０２）の位置または動きを、特に、衛星によってサポートされている測位システムに対する受信機によって検出する、または少なくとも１つのデジタル画像を、特に、デジタル画像用のセンサによって、好ましくはカメラ、ＬｉＤＡＲセンサ、超音波センサ、モーションセンサ、赤外線画像センサおよび／またはレーダーセンサによって検出し、前記エージェント（１０２）の位置または動きを少なくとも１つのデジタル画像に関連して特定する、または可聴音を受け取るスピーカによって信号を検出し、前記エージェント（１０２）の位置または動きを前記信号に関連して特定する、請求項６記載の方法。
【請求項8】
前記コンテキスト変数は行列を含んでおり、前記行列の行は前記エージェント（１０２）のうちのそれぞれ１つのエージェントを表しており、前記行列の列は前記エージェント（１０２）のうちのそれぞれ１つエージェントを表しており、
前記行列の行および列によって識別される要素の少なくとも１つの、特にバイナリの値を特定し（４０２）、前記値は、前記行によって識別された前記エージェント（１０２）が、前記列によって識別された前記エージェント（１０２）に対する予測のために考慮されるべきか否かを設定し、または
前記行列の行および列によって識別される要素の少なくとも１つの、特にバイナリの値を特定し（４０２）、前記値は、前記列によって識別された前記エージェント（１０２）が、前記行によって識別された前記エージェント（１０２）に対する予測のために考慮されるべきか否かを設定する、請求項６または７記載の方法。
前記行列の行および列によって識別される要素の少なくとも１つの、特にバイナリの値を特定し（４０２）、前記値は、前記行によって識別された前記エージェント（１０２）が、前記列によって識別された前記エージェント（１０２）に対する予測のために考慮されるべきか否かを設定し、または
前記行列の行および列によって識別される要素の少なくとも１つの、特にバイナリの値を特定し（４０２）、前記値は、前記列によって識別された前記エージェント（１０２）が、前記行によって識別された前記エージェント（１０２）に対する予測のために考慮されるべきか否かを設定する、請求項６または７記載の方法。
【請求項9】
前記第１の分布の前記第１のモーメントおよび前記第２のモーメントを、反復して特定し、
前記反復のうちの第１の反復に対して、コンポーネント毎に、前記コンテキスト変数に関連している、前記第１の分布の前記第１のモーメントの値と前記第１の分布の前記第２のモーメントの値とを特定する（４０２）、請求項１から８までのいずれか１項記載の方法。
前記反復のうちの第１の反復に対して、コンポーネント毎に、前記コンテキスト変数に関連している、前記第１の分布の前記第１のモーメントの値と前記第１の分布の前記第２のモーメントの値とを特定する（４０２）、請求項１から８までのいずれか１項記載の方法。
【請求項10】
前記予測のために、１つのエージェント（１０２）の複数の潜在状態を相互に関連せずにモデル化し、種々異なるエージェント（１０２）の複数の潜在状態を相互に関連せずにモデル化する、または
１つのエージェント（１０２）の複数の潜在状態を相互に関連せずにモデル化し、種々異なるエージェント（１０２）の複数の潜在状態の相互に相応する要素を相互に関連してモデル化する、または
１つのエージェント（１０２）の１つの潜在状態の種々異なる要素を相互に関連してモデル化し、種々異なるエージェント（１０２）の複数の潜在状態を相互に関連せずにモデル化する、請求項１から９までのいずれか１項記載の方法。
１つのエージェント（１０２）の複数の潜在状態を相互に関連せずにモデル化し、種々異なるエージェント（１０２）の複数の潜在状態の相互に相応する要素を相互に関連してモデル化する、または
１つのエージェント（１０２）の１つの潜在状態の種々異なる要素を相互に関連してモデル化し、種々異なるエージェント（１０２）の複数の潜在状態を相互に関連せずにモデル化する、請求項１から９までのいずれか１項記載の方法。
【請求項11】
前記予測に関連して、少なくとも１つのエージェント（１０２）、特にコンピュータによって制御される機械、特にロボット、好ましくは車両、家庭用機器、被駆動機械、製造機械、パーソナルアシスタントまたはアクセスコントロールシステムを駆動制御する（４２２）、請求項１から１０までのいずれか１項記載の方法。
【請求項12】
前記少なくとも１つのエージェント（１０２）は、物理的な世界に存在している実際の対象物である、請求項１から１１までのいずれか１項記載の方法。
【請求項13】
装置（１００）であって、
前記装置（１００）は、少なくとも１つのプロセッサ（１０６）と少なくとも１つのメモリ（１０８）とを含んでおり、前記少なくとも１つのプロセッサ（１０６）および前記少なくとも１つのメモリ（１０８）は、請求項１から１２までのいずれか１項記載の方法を実施するように構成されている、
ことを特徴とする装置（１００）。
前記装置（１００）は、少なくとも１つのプロセッサ（１０６）と少なくとも１つのメモリ（１０８）とを含んでおり、前記少なくとも１つのプロセッサ（１０６）および前記少なくとも１つのメモリ（１０８）は、請求項１から１２までのいずれか１項記載の方法を実施するように構成されている、
ことを特徴とする装置（１００）。
【請求項14】
システム（１０４）であって、
前記システム（１０４）は、少なくとも１つのエージェント（１０２）、特にコンピュータによって制御される機械、特にロボット、好ましくは車両、家庭用機器、被駆動機械、製造機械、パーソナルアシスタントまたはアクセスコントロールシステムを含んでおり、
前記エージェント（１０２）または前記システム（１０４）は請求項１３記載の装置（１００）を含んでおり、
前記装置（１００）は、前記エージェント（１０２）を予測に関連して駆動制御するように構成されている、
ことを特徴とするシステム（１０４）。
前記システム（１０４）は、少なくとも１つのエージェント（１０２）、特にコンピュータによって制御される機械、特にロボット、好ましくは車両、家庭用機器、被駆動機械、製造機械、パーソナルアシスタントまたはアクセスコントロールシステムを含んでおり、
前記エージェント（１０２）または前記システム（１０４）は請求項１３記載の装置（１００）を含んでおり、
前記装置（１００）は、前記エージェント（１０２）を予測に関連して駆動制御するように構成されている、
ことを特徴とするシステム（１０４）。
【請求項15】
コンピュータプログラムであって、
前記コンピュータプログラムは、コンピュータ読み出し可能なインストラクションを含んでおり、コンピュータによる前記インストラクションの実行時に、請求項１から１２までのいずれか１項記載の方法が実施される、
ことを特徴とするコンピュータプログラム。
前記コンピュータプログラムは、コンピュータ読み出し可能なインストラクションを含んでおり、コンピュータによる前記インストラクションの実行時に、請求項１から１２までのいずれか１項記載の方法が実施される、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、相互作用する多数のエージェントを備える動的なシステムにおいて、エージェントの挙動を予測するためのコンピュータ実装された方法に関する。
【0002】
Charlie Tang, Russ Salakhutdinov “Multiple Futures Prediction” 2019, NeurIPSおよびSergio Casas, Cole Gulino, Simon Suo, Katie Luo, Renjie Liao, Raquel Urtasun “Implicit Latent Variable Model for Scene-Consistent Motion Forecasting” 2020 ECCVには、このようなシステムにおける挙動を予測する手段が開示されている。
【0003】
発明の開示
独立請求項に記載されているコンピュータ実装された方法および装置によって、エージェントの挙動の予測を、この予測に必要な計算リソースに関するコストを低く抑えつつ、正確に行うことができる。
独立請求項に記載されているコンピュータ実装された方法および装置によって、エージェントの挙動の予測を、この予測に必要な計算リソースに関するコストを低く抑えつつ、正確に行うことができる。
【0004】
相互作用する多数のエージェントを備える動的なシステムにおいて、エージェントの挙動を、エージェントの潜在状態に関連して予測する方法は、複数のコンポーネントおよび予測時点までの複数の時点に対して、コンポーネント毎に、エージェントの潜在状態をモデル化する第１の分布の第１のモーメントの値が特定され、第１の分布の第２のモーメントの値が特定され、コンポーネント毎に、予測時点までの第１の分布の第１のモーメントの値に関連して、かつ予測時点までの第１の分布の第２のモーメントの値に関連して、予測時点までの第２の分布の第１のモーメントに対する期待値が特定され、第２の分布は、エージェントの挙動を、エージェントの潜在状態に関連してモデル化し、第２の分布の第１のモーメントに対する期待値は第３の分布の第１のモーメントを規定し、コンポーネント毎に、第３の分布の第２のモーメントが特定され、特に、少なくとも１つの重みによって重み付された、コンポーネントの第３の分布の総計が特定され、この総計に関連して挙動の予測が特定されることを想定している。
【0005】
好ましくは、第１の分布の第１のモーメントの値が、この時点に先行する時点に対する第１の分布の第１のモーメントの値と、第１の分布の第１のモーメントの決定論的変化に対する期待値とに関連して特定され、かつ／またはこの時点に対する第１の分布の第２のモーメントの値が、この時点に先行する時点に対する第１の分布の第２のモーメントの値と、決定論的変化の共分散と、第１の分布の第２のモーメントの確率論的変化に対する期待値とに関連して特定されることが想定されている。これによって、各値が効率的に再帰的に特定される。
【0006】
この時点に対する第１の分布の第２のモーメントの値は好ましくは、先行する時点に対する第１の分布の第２のモーメントの値と、決定論的変化の共分散と、決定論的変化を伴う、先行する時点に対する潜在状態の共分散と、決定論的変化を伴う、先行する時点に対する潜在状態の共分散の転置と、確率論的変化に対する期待値とに関連して特定される。これによって、この値が、効率的に再帰的に特定される。
【0007】
好ましくは、第２の分布の第１のモーメントに対する期待値が、予測時点に対する第１の分布の第１のモーメントの値に関連して特定される。これによって、期待値が効率的に特定される。
【0008】
好ましくは、コンポーネント毎に、予測時点に対する第２の分布の第１のモーメントの値に関連して、第２の分布の第１のモーメントの共分散が特定され、コンポーネント毎に、予測時点に対する潜在状態に関連して、予測時点に対する第２の分布の第２のモーメントに対する期待値が特定され、コンポーネント毎に、第２の分布の第１のモーメントの共分散と、予測時点に対する第２の分布の第２のモーメントに対する期待値とに関連して、第３の分布の第２のモーメントが特定される。これによって、この方法は特に効率的に実施可能になる。
【0009】
好ましくは、コンテキスト変数が特定され、コンテキスト変数は割り当てを含んでおり、この割り当ては、少なくとも１つのエージェントに、このエージェントの挙動の予測のために考慮されるべき別のエージェントを割り当て、かつ／またはこのコンテキスト変数は動的なシステムの履歴を特徴付ける。第１の分布の第１のモーメントは、コンテキスト変数に関連して特定され、かつ／または第１の分布の第２のモーメントはコンテキスト変数に関連して特定され、かつ／または第１のモーメントに対する期待値はコンテキスト変数に関連して特定され、かつ／または第３の分布の第１のモーメントはコンテキスト変数に関連して特定され、かつ／または第３の分布の第２のモーメントはコンテキスト変数に関連して特定され、かつ／または少なくとも１つのコンポーネントに対して、少なくとも１つの重みがコンテキスト変数に関連して特定される。これによって、エージェントの近傍および履歴が考慮される。
【0010】
履歴は、好ましくは、少なくとも１つのエージェントの観察された挙動に関連して、特にエージェントの位置または動きを含んでいる挙動に関連して特定され、エージェントの位置または動きは、特に、衛星によってサポートされている測位システムに対する受信機によって検出される、または少なくとも１つのデジタル画像が、特に、デジタル画像用のセンサによって、好ましくはカメラ、ＬｉＤＡＲセンサ、超音波センサ、モーションセンサ、赤外線画像センサおよび／またはレーダーセンサによって検出され、エージェントの位置または動きが少なくとも１つのデジタル画像に関連して特定される、または可聴音を受け取るスピーカによって信号が検出され、エージェントの位置または動きが信号に関連して特定される。
【0011】
コンテキスト変数が行列を含んでいることが想定されていてよく、行列の行はこれらのエージェントのうちのそれぞれ１つのエージェントを表しており、行列の列はこれらのエージェントのうちのそれぞれ１つエージェントを表しており、行列の行および列によって識別される要素の少なくとも１つの、特にバイナリの値が特定され、この値は、行によって識別されたエージェントが、列によって識別されたエージェントに対する予測のために考慮されるべきか否かを設定する。または行列の行および列によって識別される要素の少なくとも１つの、特にバイナリの値が特定され、この値は、列によって識別されたエージェントが、行によって識別されたエージェントに対する予測のために考慮されるべきか否かを設定する。行列は、考慮されるべき近傍を表している。これによって、計算において、特に、最も関連性の高いエージェントが考慮される。これによって、できる限り良好な予測が特に効率的に計算される。
【0012】
好ましくは、第１の分布の第１のモーメントおよび第２のモーメントは、反復して特定され、これらの反復のうちの第１の反復に対して、コンポーネント毎に、コンテキスト変数に関連している、第１の分布の第１のモーメントの値と第１の分布の第２のモーメントの値とが特定される。これによって、履歴が特に効率的に考慮される。
【0013】
好ましくは、予測のために、１つのエージェントの複数の潜在状態が相互に関連せずにモデル化され、種々異なるエージェントの複数の潜在状態が相互に関連せずにモデル化される、または１つのエージェントの複数の潜在状態が相互に関連せずにモデル化され、種々異なるエージェントの複数の潜在状態の相互に相応する要素が相互に関連してモデル化される、または１つのエージェントの１つの潜在状態の種々異なる要素が相互に関連してモデル化され、種々異なるエージェントの複数の潜在状態が相互に関連せずにモデル化されることが想定されている。これによって、計算が極めて効率的になる。
【0014】
好ましくは、予測に関連して、少なくとも１つのエージェント、特にコンピュータによって制御される機械、特にロボット、好ましくは車両、家庭用機器、被駆動機械、製造機械、パーソナルアシスタントまたはアクセスコントロールシステムが駆動制御される。この駆動制御は特にロバストである。
【0015】
少なくとも１つのエージェントは、物理的な世界に存在している実際の対象物であってよい。
【0016】
装置は、少なくとも１つのプロセッサと少なくとも１つのメモリとを含んでおり、少なくとも１つのプロセッサおよび少なくとも１つのメモリは、この方法を実施するように構成されている。この装置は、方法の利点に相応する利点を有している。
【0017】
システムは、少なくとも１つのエージェント、特にコンピュータによって制御される機械、特にロボット、好ましくは車両、家庭用機器、被駆動機械、製造機械、パーソナルアシスタントまたはアクセスコントロールシステムを含んでおり、エージェントまたはシステムは装置を含んでおり、この装置は、エージェントを予測に関連して駆動制御するように構成されている。このシステムは、方法の利点に相応する利点を有している。
【0018】
コンピュータプログラムは、コンピュータ読み出し可能なインストラクションを含んでおり、コンピュータによるインストラクションの実行時に、この方法が実施される。このコンピュータプログラムは、方法の利点に相応する利点を有している。
【0019】
別の有利な実施形態は以降の明細書および図面から明らかになる。
【図面の簡単な説明】
【0020】
【図1】相互作用する多数のエージェントを備える動的なシステムにおいて、エージェントの挙動を予測する装置を概略的に示す図である。
【図2】例示的な動的なシステムにおけるエージェントの挙動を示す図である。
【図3】動的なシステムにおけるエージェントの挙動に対する予測を示す図である。
【図4】予測する方法におけるステップを示す図である。
【図6】共分散行列の近似を概略的に示す図である。
【0021】
図１には、相互作用する多数のエージェント１０２を備える動的なシステム１０４において、エージェント１０２の挙動を予測する装置１００が概略的に示されている。動的なシステム１０４は、この例では、物理的なシステム、特に技術的なシステムである。エージェント１０２は、物理的なシステム、特に技術的なシステムであってよい。エージェント１０２は、物理的な世界に存在している実際の対象物であってよい。装置１００は、少なくとも１つのプロセッサ１０６と少なくとも１つのメモリ１０８とを含んでいる。装置１００は、以降で説明する、動的なシステム１０４において、エージェント１０２の挙動を予測する方法を実施するように構成されている。装置１００は、任意選択的にインタフェース１１０を含んでいる。エージェント１０２は、任意選択的にインタフェース１１２を含んでいる。装置１００およびエージェント１０２は、任意選択的に、自身のインタフェースを介して通信するように構成されており、たとえばこれによって、エージェント１０２の挙動に関する情報が、エージェント１０２から装置１００へ伝送される、または挙動の予測に関する情報が装置１００からエージェント１０２へ送られる。センサ装置１１４が設けられていてよく、センサ装置１１４は動的なシステム１０４におけるエージェント１０２の挙動に関する情報を検出するように構成されている。センサ装置１１４は、エージェント１０２の物理的な特性を測定するように構成されていてよい。エージェント１０２は任意選択的に、自身の挙動に関する情報または他のエージェント１０２の挙動に関する情報を提供するように構成されている。たとえば、自身の挙動に関する情報は、センサ装置１１４によって検出される。たとえば、センサ装置１１４は、１つまたは複数のエージェント１０２に配置されており、各エージェント１０２の自身の挙動に関する情報および／または他のエージェント１０２の挙動に関する情報を検出するように構成されている。センサ装置１１４はたとえば、エージェント１０２の位置または動きを検出するように構成されている。センサ装置１１４は、衛星によってサポートされている測位システム、たとえばグローバル・ポジショニング・システムのための受信機またはデジタル画像のためのセンサ、たとえばカメラ、ＬｉＤＡＲセンサ、超音波センサ、モーションセンサ、赤外線画像センサおよび／またはレーダーセンサを含んでいてよい。センサ装置１１４は、たとえば、エージェント１０２の位置または動きを検出するように構成されている。センサ装置１１４は、可聴音を受け取り、オーディオ信号を生成するスピーカを含んでいてよい。センサ装置１１４が、エージェント１０２が移動し得るインフラストラクチャ１１６に配置されており、少なくとも一時的に通信接続１１８を介して、装置１００のインタフェース１１０と接続されていることが想定されていてよい。センサ装置１１４の代わりに、エージェント１０２に関する情報を含んでいるデータ、特にグラフで構造化されたデータが設けられていてよい。
【0022】
エージェント１０２は任意選択的に、自身の挙動を、他のエージェント１０２の挙動に関する予測に関連して特定するように構成されている。エージェント１０２は、たとえば、それぞれ１つのアクチュエータ１２０を含んでおり、アクチュエータ１２０は、予測に関連して、各エージェント１０２の挙動に影響を与えるように構成されている。装置１００が、予測をエージェント１０２に伝達する代わりに、少なくとも１つのエージェント１０２に対する駆動制御命令を予測に関連して特定して、駆動制御命令を駆動制御されるべき１つまたは複数のエージェント１０２に伝達するように構成されていることが想定されていてもよい。このケースでは、アクチュエータ１２０は、駆動制御命令を実行するように構成されている。装置１００が１つまたは複数のエージェント１０２に統合されていることが想定されていてよい。
【0023】
同様に、コンピュータによる実行時にコンピュータが方法を実施するインストラクションを含んでいるコンピュータプログラムが設けられている。たとえば、少なくとも１つのプロセッサ１０２はコンピュータプログラムを実行する。
【0024】
図２には、例示的なシステム１０４におけるエージェント１０２の挙動が示されている。この例ではエージェント１０２の挙動が観察され、図２では、エージェント１０２が、自身の挙動の観察にしたがって、観察の開始時点から観察の終了時点まで実際に移動した軌跡が示されている。
【0025】
動的なシステム１０４は、たとえば、技術的なシステムであり、ここでは、エージェント１０２は、コンピュータによって制御される機械、たとえば、車両、家庭用機器、被駆動機械、製造機械、パーソナルアシスタントまたはアクセスコントロールシステム等のロボットである。動的なシステム１０４は、別のシステムであってもよい。たとえば、動的なシステム１０４は、エージェント１０２が原子または分子であり、その動きが予測される分子ダイナミクスである。たとえば、動的なシステムは競技、たとえばサッカー競技、バスケットボール競技またはアメリカンフットボール競技であり、ここではエージェントは人間または競技器具、たとえばボールであり、その動きが予測される。
【0026】
動的なシステム１０４は、この例において、環状交差点２０２である。環状交差点２０２は、この例では、第１の進入口２０４と、第２の進入口２０６と、第３の進入口２０８と、第４の進入口２１０とを有している。環状交差点２０２は、この例では、第１の退出口２１２と、第２の退出口２１４と、第３の退出口２１６と、第４の退出口２１８とを有している。エージェント１０２は、この例では車両を含んでいる。エージェント１０２が歩行者を含んでいることが想定されていてよい。第１の車両は、開始時点から、第１の観察された軌道２２０上で、第１の進入口２０４から、環状交差点２０２内を移動し、終了時点で、環状交差点２０２内で、第２の退出口２１４の領域に存在している。第２の車両は、開始時点から、第２の観察された軌道２２２上で、第２の退出口２１４の領域から、環状交差点２０２内を移動し、第３の退出口２１６を介して環状交差点２０２から出て、終了時点で、環状交差点２０２外に存在している。第３の車両は、開始時点から、第３の観察された軌道２２４上で、第２の進入口２０６から、環状交差点２０２内を移動し、終了時点で、環状交差点２０２内で、第３の退出口２１６の領域に存在している。第４の車両は、開始時点から、第４の観察された軌道２２６上で、第２の退出口２１４と第２の進入口２０６との間の環状交差点２０２における領域から、環状交差点２０２内を移動し、終了時点で、第４の退出口２１８に存在している。第５の車両は、開始時点から、第５の観察された軌道２２８上で、第３の進入口２０８と第４の退出口２１８との間の環状交差点２０２における領域から、環状交差点２０２内を移動し、終了時点で、第１の退出口２１２に存在している。第６の車両は、開始時点から終了時点まで、第６の観察された軌道２３０上で、第４の進入口２１０の領域内を移動する。
【0027】
図３には、動的なシステム１０４におけるエージェント１０２の挙動の予測が、環状交差点２０２の例に即して示されている。
【0028】
第１の車両は、開始時点から、観察終了時点まで、第１の観察された軌道２２０上で移動する。この例では、第１の車両は、観察終了時点まで移動しておらず、第１の進入口２０４に存在している。観察終了時点と予測終了時点との間で、第１の車両に対して、第１の予測される軌道３２０が特定される。第１の車両は、この予測にしたがって、第１の進入口２０４から、環状交差点２０２内を移動し、終了時点で、環状交差点２０２内で、第２の退出口２１４の領域に存在している。
【0029】
第２の車両は、開始時点から、観察終了時点まで、第２の観察された軌道２２２上で、第２の進入口２０６と第３の退出口２１６との間の環状交差点２０２における領域まで移動する。第２の観察された軌道２２２のこの区間は、図２および図３において破線で示されている。観察終了時点と予測終了時点との間で、第２の車両に対して、第２の予測される軌道３２２が特定される。第２の車両は、この予測にしたがって、第２の進入口２０６と第３の退出口２１６との間の環状交差点２０２における領域から、環状交差点２０２内を移動し、第３の退出口２１６を介して環状交差点２０２から出て、終了時点で、環状交差点２０２外に存在している。
【0030】
第３の車両は、開始時点から、観察終了時点まで、第３の観察された軌道２２４上で移動する。この例では、第３の車両は、観察終了時点まで移動しておらず、第２の進入口２０６に存在している。観察終了時点と予測終了時点との間で、第３の車両に対して、第３の予測される軌道３２４が特定される。第３の車両は、この予測にしたがって、第２の進入口２０６から、環状交差点２０２内を移動し、終了時点で、環状交差点２０２内で、第３の退出口２１６の領域に存在している。
【0031】
第４の車両は、開始時点から、観察終了時点まで、第４の観察された軌道２２６上で、第３の退出口２１６と第３の進入口２０８との間の環状交差点２０２における領域まで移動する。第４の観察された軌道２２６のこの区間は、図２および図３において破線で示されている。観察終了時点と予測終了時点との間で、第４の車両に対して、第４の予測される軌道３２６が特定される。第４の車両は、この予測にしたがって、第３の退出口２１６と第３の進入口２０８との間の環状交差点２０２における領域から、環状交差点２０２内を移動し、終了時点で、第４の退出口２１８に存在している。
【0032】
第５の車両は、開始時点から、観察終了時点まで、第５の観察された軌道２２８上で、第４の退出口２１８と第４の進入口２１０との間の環状交差点２０２における領域まで移動する。第５の観察された軌道２２８のこの区間は、図２および図３において破線で示されている。観察終了時点と予測終了時点との間で、第５の車両に対して、第５の予測される軌道３２８が特定される。第５の車両は、この予測にしたがって、第４の退出口２１８と第４の進入口２１０との間の環状交差点２０２における領域から、環状交差点２０２内を移動し、終了時点で、第１の退出口２１２に存在している。
【0033】
第６の車両は、開始時点から、観察終了時点まで、第６の観察された軌道２３０上で移動する。この例では、第６の車両は、観察終了時点まで移動しておらず、第４の進入口２１０に存在している。観察終了時点と予測終了時点との間で、第６の車両に対して、第６の予測される軌道３３０が特定される。第６の車両は、この予測にしたがって、終了時点まで、第４の進入口２１０の領域内を移動する。
【0034】
予測、すなわちこの例では、予測される軌道は、ガウス混合分布として近似される。ガウス混合分布のモーメントは、以降で説明される方法によって、個々のエージェント１０２に対してそれぞれ観察された、自身の挙動の部分に関連して、すなわちこの例では、破線で示された、各観察された軌道の観察された部分に関連して特定される。
【0035】
この例では、観察された軌道の図示されている別の部分に関する予測のために、９５％の信頼区間が視覚化されている。
【0036】
軌道の予測、すなわちエージェント１０２の位置の時間的な経過の予測は一例である。これらのエージェント１０２間の距離、エージェント１０２の速度または加速度が特定されることが想定されていてもよい。
【0037】
エージェント１０２の挙動、この例では車両の挙動は所定の時間の間、観察される。予測は、所定の時間観察された挙動に関連して特定される。ある例では、車両のうちの少なくとも１つの車両は自動運転車両である。予測は、この少なくとも１つの自動運転車両の周囲のシミュレーションであり、少なくとも１つの自動運転車両は、この予測に関連して駆動制御される。
【0038】
予測の特定は、この例では、モデルの機械学習によって行われ、予測はこのモデルによって特定される。
【0039】
これは以降で、
を伴う潜在変数
および次元Ｄｙの観察された変数
に対して説明され、ここで
は、Ｍ個のエージェント１０２の集合であり、
は、時点ｔでのエージェントｍの潜在状態であり、
は、時点ｔでのエージェント１０２の状態であり、これは、
によって規定され、ここで
ｘｔは、エージェント１０２の潜在状態であり、
ｘ０は、開始時点ｔ＝０でのエージェント１０２の潜在状態に対する初期値であり、
は、この例では、パラメータθｆによってパラメータ化されているニューラルネットワークとしてモデル化されるエージェント１０２の潜在状態ｘｔの決定論的変化であり、
は、この例では、パラメータθＬによってパラメータ化されているニューラルネットワークとしてモデル化されるエージェント１０２の潜在状態ｘｔの確率論的変化であり、ここでθ＝｛θｆ，θＬ｝はこれらのパラメータを示しており、
は、割り当てＮおよび履歴を含んでいるテキスト変数であり、割り当てＮはエージェント１０２毎に、このエージェント１０２の挙動を予測するために考慮されるべき別のエージェント１０２を割り当て、履歴は、エージェント１０２毎に自身の挙動を特徴付け、
は、正規分布ｗｔ～Ｎ（０，Ｉ）からのランダム変数であり、これによって、外乱量が導入され、
Ｎ（ｙｔ｜ｇ（ｘｔ），ＱＱＴ（ｘｔ））は、正規分布であり、その平均値
は、パラメータΨｇによってパラメータ化されている非線形ニューラルネットワークによってモデル化され、ここでその共分散
は、一定であると仮定されるまたはパラメータΨＱによってパラメータ化されている非線形ニューラルネットワークによってモデル化される量Ｑによって特定され、ここでΨ＝｛Ψｇ，ΨＱ｝はこれらのパラメータを示している。
【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【数7】
ｘｔは、エージェント１０２の潜在状態であり、
ｘ０は、開始時点ｔ＝０でのエージェント１０２の潜在状態に対する初期値であり、
【数8】
【数9】
【数10】
【数11】
Ｎ（ｙｔ｜ｇ（ｘｔ），ＱＱＴ（ｘｔ））は、正規分布であり、その平均値
【数12】
【数13】
【0040】
変数
は、動的なシステム１０４の状態、特に、時点ｔでのエージェント１０２の状態ｙｔを含んでいる。この例では、エージェント１０２は車両であり、変数Ｙは、軌道の観察された部分を含んでいる。変数
は、動的なシステム１０４の潜在状態を含んでいる。この例では、変数Ｘは、時点ｔでのエージェント１０２の潜在状態ｘｔを含んでいる。潜在状態ｘｔは、エージェント１０２の各将来の状態ｙｔ＋１の確実な予測のために、さらなる情報を含んでいる。時点ｔでの潜在状態ｘｔは、たとえば、時点ｔでの車両の加速度または速度を含んでいる。
【数14】
【数15】
【0041】
予測は以降では、以降で、ｍで示されている、Ｍ個のエージェント１０２に対して特定される。
【0042】
これに対して、決定論的変化は
であり、確率論的変化は
であり、ここで
は、決定論的変化の更新を示し、
は、確率論的変化の更新を示し、
は、
として特定される、時点ｔでのエージェントｍに対するメッセージであり、
は、エージェントｍに対する第１の情報Ｎを示しており、オペレーション
は、エージェント毎に出力側ｍを有しており、ここでｍ番目のエージェントには、ｍ番目の出力側が割り当てられており、ここで
は、エージェント同士の関係を規定するグラフのエッジを規定している。エージェント同士の関係は、この例では、バイナリの値である。
【数16】
【数17】
【数18】
【数19】
【数20】
【数21】
【数22】
【数23】
【数24】
【0043】
ｔ個の予測ステップの後に、このモデルは、最大でｔ個の歩幅の距離で相互に離れているエージェント１０２間の相関関係を考慮する。距離は、ある例では、エージェントｍからエージェントｍ’に達するために幾つのエッジを経過すべきであるかを意味している。エージェントが他のエージェントと接続されていない場合には、この距離は無限であってよい。
【0044】
予測時点Ｔに対する予測は、限界確率ｐ（ｙＴ｜Ｉ）であり、これは、確率ｐ（ｙＴ｜ｘＴ）、カーネルｐ（ｘＴ｜ｘ０，Ｉ）およびガウス混合モデルであるＧＭＭ、ｐ（ｘ０｜Ｉ）を伴う入れ子式の積分
である。
【数25】
【0045】
カーネルｐ（ｘＴ｜ｘ０，Ｉ）は、時間ステップｔ毎に、平均値μｔ（Ｉ）と共分散Σｔ（Ｉ）とを備える正規分布Ｎ（ｘｔ｜μｔ（Ｉ），Σｔ（Ｉ））によって近似され、ここで
であり、ここでＥは期待値を示し、Ｃｏｖは共分散を示し、Ｃｏｖ［ｘｔ－１，ｆ（ｘｔ－１，Ｉ）］は、引数ｘｔ－１およびｆ（ｘｔ－１，Ｉ）におけるランダムなベクトルの間の相互共分散を示している。
【数26】
【0046】
関数ｆ（ｘ，Ｉ）はこの例では、ニューラルネットワークとして実装されている。関数Ｌ（ｘ，Ｉ）はこの例では、ニューラルネットワークとして実装されている。関数ｇ（ｘ）はこの例では、ニューラルネットワークとして実装されている。関数Ｑ（ｘ）はこの例では、ニューラルネットワークとして実装されている。
【0047】
各ニューラルネットワークの出力に対する期待値および共分散は、たとえば、Anqi Wu, Sebastian Nowozin, Edward Meeds, Richard E. Turner, Jose Miguel Hernandez-Lobato, Alexander L. Gaunt: “Deterministic Variational Inference for Robust Bayesian Neural Networks”, in ICLR, 2019a(Anqi Wu)に記載されているように特定される。
【0048】
相互共分散Ｃｏｖ［ｘｔ，ｆ（ｘｔ，Ｉ）］はたとえば、
によって近似され、ここでヤコビ行列に対する期待値は、Andreas Look, Jan Peters, Melih Kandemir: “Deterministic Inference of Neural Stochastic Differential Equations”, arXiv, abs/2006.08973, 2020, (Andreas Look)に記載されているように近似され、
ここで
は、時点ｔでのニューラルネットワークの層ｌにおけるヤコビ行列である。
【数27】
【数28】
【数29】
【0049】
【0050】
予測ｐ（ｙＴ｜Ｉ）は、エージェントｍの潜在状態ｘｔに関連して特定される。この方法は、２つのループ、すなわち内側のループと外側のループとを含んでいる。
【0051】
これらの反復のうちの第１の反復の間に、潜在状態ｘ０が、正規分布Ｎ（ｘ０｜μ０（Ｉ），Σ０（Ｉ））によって規定されている、Ｖ個のコンポーネントｖを備えるガウス混合モデルから導出される。
【0052】
正規分布Ｎ（ｘｔ｜μｔ（Ｉ），Σｔ（Ｉ））の第１のモーメントμｔおよび第２のモーメントΣｔは、内側のループにおいて、反復において特定される。初期状態では、各コンポーネントｖは、正規分布Ｎ（ｘ０，ｖ｜μ０，ｖ（Ｉ），Σ０，ｖ（Ｉ））の第１のモーメントμ０，ｖの値および第２のモーメントΣ０，ｖの値である。これらの値は、この例では、コンテキスト変数Ｉに関連している。
【0053】
モーメントμ０，ｖおよびΣ０，ｖの値は、コンテキスト変数Ｉに関連して、別のニューラルネットワークによって特定される。図５ａには、３０個の完全に接続された層とＴａｎｈ活性化とを備える、このニューラルネットワークの例が示されており、これにオペレーションＡＧＧに対する層が続き、これに６４個の完全に接続された層とＴａｎｈ活性化とが続き、これに第１のモーメントμ０，ｖの値に対する１つの完全に接続された層が続き、これにＥｘｐ活性化を備える、１つの別の完全に接続された層が続く。
【0054】
内側のループは、複数のＶ個のコンポーネントｖに対して、かつ複数の時点ｔに対して、予測時点Ｔで計算される。外側のループは、予測時点Ｔに対して、複数のＶ個のコンポーネントｖに対して計算される。
【0055】
正規分布Ｎ（ｘｔ｜μｔ（Ｉ），Σｔ（Ｉ））は、エージェントｍの潜在状態ｘｔをモデル化する。正規分布Ｎ（ｙｔ｜ｇ（ｘｔ），ＱＱＴ（ｘｔ））は、エージェントｍの挙動ｙｔを、エージェントｍの潜在状態ｘｔに関連して、モデル化する。
【0056】
この方法では、正規分布Ｎ（ａＴ，ｖ（Ｉ），ＢＴ，ｖ（Ｉ））は、個々のコンポーネントｖの挙動をモデル化する。
【0057】
ステップ４０２において、コンテキスト変数Ｉが設定される。コンテキスト変数Ｉは、ある例では、割り当てＮｍを含んでおり、この割り当てＮｍは、少なくとも１つのエージェントｍに、このエージェントｍの挙動の予測のために考慮されるべき別のエージェントｍを割り当てる。コンテキスト変数Ｉは、この例においては、与えられている。
【0058】
割り当てＮｍは、ある例では行列であり、この行列の行はエージェントｍのうちのそれぞれ１つを表しており、この行列の列はエージェントｍのうちのそれぞれ１つを表している。
【0059】
この例では、行列の要素毎に特にバイナリの値が特定される。
【0060】
ある例では、行列における自身の行および自身の列によって識別されている要素の値が、行によって識別されたエージェントｍが、列によって識別されたエージェントｍに対する予測のために考慮されるべきか否かを設定する。
【0061】
ある例では、行列における自身の行および自身の列によって識別されている要素の値は、列によって識別されたエージェントｍが、行によって識別されたエージェントｍに対する予測のために考慮されるべきか否かを設定する。
【0062】
たとえば、エージェントｍ同士の関係は、グラフによってモデル化され、ここでエッジの値εは、グラフにおいて、エージェントｍに隣接しているエージェントｍ’が自身の予測に考慮されるように特定される。
【0063】
コンテキスト変数Ｉは、この例では、動的なシステム１０４の履歴を含んでいる。
【0064】
コンテキスト変数Ｉは、この例では、モーメント、期待値および重さを特定するために使用され、その引数は、コンテキスト変数Ｉを含んでいる。
【0065】
複数のＶ個のコンポーネントｖは、この例では、ニューラルネットワークによって特定され、ニューラルネットワークの入力量は、動的なシステム１０４の履歴およびコンテキスト変数Ｉからのエッジεを含んでいる。ある例では、システム１０４の履歴は、エージェントｍの観察された挙動によって、特に軌道の観察された部分によって規定されている。
【0066】
エッジは、この例では、行列Ｎｍにおけるバイナリの値０または１であり、これらのバイナリの値はたとえば、値１によって、２つのノードの間にエッジが存在していることを提示し、値０によって、２つのノードの間にエッジが存在していないことを提示する。時点ｔでのエージェントｍの潜在状態
は、グラフにおけるノードによって表されている。
【数31】
【0067】
軌道は、ある例では、二次元または三次元の地理的座標の時間的なシーケンスによって規定されており、これは、車両の位置の時間的なシーケンスを提示する。
【0068】
オペレーションＡＧＧによって、この例では、メッセージ
が、行列Ｎｍと、一次元の入力量とに関連して特定される。メッセージ
は、一次元の入力量と連結され、ニューラルネットワークによって、第１のモーメントμ０，ｖの値および第２のモーメントΣ０，ｖの値にマッピングされる。
【数32】
【数33】
【0069】
ニューラルネットワークは、たとえばグラフニューラルネットワークである。これはたとえば、Peter W. Battaglia, Jessica B. Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Flores Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, Caglar Guelcehre, H. Francis Song, Andrew J. Ballard, Justin Gilmer, George E. Dahl, Ashish Vaswani, Kelsey R. Allen, Charles Nash, Victoria Langston, Chris Dyer, Nicolas Heess, Daan Wierstra, Pushmeet Kohli, MatthewBotvinick, Oriol Vinyals, Yujia Li, Razvan Pascanu. “Relational inductive biases, deep learning, and graph networks” arXiv, abs/1806.01261, 2018に記載されているように構成されている。
【0070】
ステップ４０４において、複数のＶ個のコンポーネントｖおよび複数の時点ｔ＝１，…Ｔに対して、反復して、予測時点Ｔまで、コンポーネントｖ毎に、正規分布Ｎ（ｘｔ｜μｔ（Ｉ），Σｔ（Ｉ））の第１のモーメントμｔの値が特定される。
【0071】
第１のモーメントμｔの値は、この例では、再帰的に特定される。これは、時点ｔでの第１のモーメントμｔの値が、時点ｔに先行する時点、たとえばｔ－１に対する第１のモーメントμｔ－１の値に関連して特定されることを意味している。
【0072】
以降の説明は、関数ｆ（ｘ）の期待値Ｅ[ｆ（ｘ）]、関数ｆ（ｘ）の共分散行列Ｃｏｖ（ｆ（ｘ））および相互共分散行列Ｃｏｖ（ｘ，ｆ（ｘ））を特定することができるツールをベースにしている。期待値Ｅ[ｆ（ｘ）]および共分散行列Ｃｏｖ（ｆ（ｘ））は、たとえば、Anqi Wuに記載されているように特定される。相互共分散行列Ｃｏｖ（ｘ，ｆ（ｘ））は、たとえば、Andreas Lookに記載されているように特定される。
【0073】
ツールは、ニューラルネットワークにおいて、期待値Ｅ[ｆ（ｘ）]、共分散行列Ｃｏｖ（ｆ（ｘ））および相互共分散行列Ｃｏｖ（ｘ，ｆ（ｘ））を特定するために、そのモーメントが出力側において計算可能である層が使用されることを要求する。このために、オペレーションＡＧＧ（ｘｔ，ε）が使用される。
【0074】
オペレーションＡＧＧ（ｘｔ，ε）はたとえば、平均集計として、各ニューラルネットワークにおいて実行され、ここでニューラルネットワークの層ｌに対して、メッセージ
が、時間ステップｔにおいて、エージェントｍに対して特定される。
【数34】
【数35】
【0075】
たとえば、クロネッカー積
を備えるメッセージ
のセットに対しては、このメッセージに対する
に関連して、層ｌから、期待値
および共分散
が特定され、ここで
は、正規化された行を備える隣接行列であり、これは、行列形態でのエッジに関する情報εを含んでおり、ＩＤｘ，ｌは、次元Ｄｘ，ｌ×Ｄｘ，ｌを備える恒等行列である。ヤコビ行列は、
として使用可能である。
【数36】
【数37】
【数38】
【数39】
【数40】
【数41】
【数42】
【0076】
このツールは、ニューラルネットワークのこれらの層ｌに対して、同じ重み行列Ｗｌおよび同じバイアスｂｌによって同じアフィン変換が実行されることを要求する。この計算は、ある例では、すべての層に対して共通して、クロネッカー積によって行われ、
ここで
であり、ここでヤコビ行列は、
として使用可能である。
【数43】
【数44】
【数45】
【0077】
第１のモーメントμｔの値は、この例では、期待値Ｅ[ｆ（ｘｔ－１，Ｉ）]に関連して、第１のモーメントμｔの決定論的変化ｆ（ｘｔ－１，Ｉ）に対して特定される。
【0078】
ある例では、第１のモーメントμｔの値は、
のように特定される。
【数46】
【0079】
期待値Ｅ[ｆ（ｘｔ－１，Ｉ）]、すなわち第１のモーメントμｔの変化は、ある例では、コンテキスト変数Ｉからのエッジεと、先行する時点での潜在状態ｘｔ－１の分布とに関連して、Anqi Wuに記載されているようなツールによって特定される。
【0080】
エッジはこの例では、行列Ｎｍにおいて、バイナリの値０または１であり、これらのバイナリの値はたとえば、値１によって、２つのノードの間にエッジが存在していることを提示し、値０によって、２つのノードの間にエッジが存在していないことを提示する。時点ｔでのエージェントｍの潜在状態
は、グラフにおけるノードによって表されている。
【数47】
【0081】
オペレーションＡＧＧによって、この例では、メッセージ
が、行列Ｎｍと、先行する時点での潜在状態ｘｔ－１とに関連して特定される。メッセージ
は、先行する時点での潜在状態ｘｔ－１と連結される。ツールによって、期待値Ｅ[ｆ（ｘｔ－１，Ｉ）]が特定される。
【数48】
【数49】
【0082】
図５ｂには、オペレーションＡＧＧに対する層を備えるニューラルネットワークｆ（ｘｔ－１，Ｉ）の例が示されており、これに２４個の完全に接続された層とＲｅＬｕ活性化とが続き、これに１つの完全に接続された層とＲｅＬｕ活性化とが続き、これに１つの別の完全に接続された層が続く。
【0083】
ステップ４０６において、複数のＶ個のコンポーネントｖおよび予測時点Ｔまでの複数の時点ｔ＝１，…Ｔに対して、コンポーネントｖ毎に、正規分布Ｎ（ｘｔ｜μｔ（Ｉ），Σｔ（Ｉ））の第２のモーメントΣｔの値が特定される。
【0084】
第２のモーメントΣｔの値は、この例では、再帰的に特定される。これは、時点ｔに対する第２のモーメントΣｔの値が、時点ｔに先行する時点、たとえばｔ－１に対する第２のモーメントΣｔ－１の値に関連して特定されることを意味している。
【0085】
この例では、第２のモーメントΣｔの値が、決定論的変化ｆ（ｘｔ－１，Ｉ）の共分散Ｃｏｖ[ｆ（ｘｔ－１，Ｉ）]と、第２のモーメントΣｔの確率論的変化Ｌ（ｘｔ－１，Ｉ）に対する期待値Ｅ[ＬＬＴ（ｘｔ－１，Ｉ）]とに関連して特定される。
【0086】
時点ｔに対する第２のモーメントΣｔの値が、先行する時点、たとえばｔ－１に対する第２のモーメントΣｔの値と、決定論的変化ｆ（ｘｔ－１，Ｉ）の共分散Ｃｏｖ[ｆ（ｘｔ－１，Ｉ）]と、決定論的変化ｆ（ｘｔ－１，Ｉ）を伴う、先行する時点ｔｔ－１での潜在状態ｘｔ－１の共分散Ｃｏｖ[ｘｔ－１，ｆ（ｘｔ－１，Ｉ）]と、決定論的変化ｆ（ｘｔ－１，Ｉ）を伴う、先行する時点、たとえばｔｔ－１での潜在状態ｘｔ－１の共分散Ｃｏｖ[ｘｔ－１，ｆ（ｘｔ－１，Ｉ）]の転置と、確率論的変化Ｌ（ｘｔ－１，Ｉ）に対する期待値Ｅ[ＬＬＴ（ｘｔ－１，Ｉ）]とに関連して特定されることが想定されていてよい。
【数50】
【0087】
期待値Ｅ[ＬＬＴ（ｘｔ－１，Ｉ）]、すなわち第２のモーメントΣｔの変化は、ある例では、コンテキスト変数Ｉからのエッジεと、先行する時点での潜在状態ｘｔ－１とに関連して特定される。この例では、ツールＥ[Ｌ]およびＣｏｖ[Ｌ]を用いて特定が行われ、したがってＥ[ＬＬＴ（ｘｔ－１，Ｉ）]＝Ｃｏｖ[Ｌ]＋Ｅ[Ｌ]Ｅ[Ｌ]Ｔである。
【0088】
エッジはこの例では、行列Ｎｍにおいて、バイナリの値０または１であり、これらのバイナリの値はたとえば、値１によって、２つのノードの間にエッジが存在していることを提示し、値０によって、２つのノードの間にエッジが存在していないことを提示する。時点ｔでのエージェントｍの潜在状態
は、グラフにおけるノードによって表されている。
【数51】
【0089】
オペレーションＡＧＧによって、この例では、メッセージ
が、行列Ｎｍと、先行する時点での潜在状態ｘｔ－１とに関連して特定される。メッセージ
は、先行する時点での状態ｘｔ－１と連結され、期待値Ｅ[ＬＬＴ（ｘｔ－１，Ｉ）]にマッピングされる。
【数52】
【数53】
【0090】
図５ｃには、オペレーションＡＧＧに対する層を備えるニューラルネットワークＬ（ｘｔ－１，Ｉ）の例が示されており、これに２４個の完全に接続された層とＲｅＬｕ活性化とが続き、これに１つの完全に接続された層とＲｅＬｕ活性化とが続く。
【0091】
内側のループは、ステップ４０４とステップ４０６とを含んでいる。
【0092】
ステップ４０８において、コンポーネントｖ毎に、予測時点Ｔでの正規分布Ｎ（ｙｔ｜ｇ（ｘｔ），ＱＱＴ（ｘｔ））の第１のモーメントｇ（ｘＴ，ｖ）に対する期待値Ｅ[ｇ（ｘＴ，ｖ）]が特定される。ｙｔの分布は、ある例では、ガウス混合モデルであるＧＭＭｙＴ～Σｖπ（Ｉ）Ｎ（ｙＴ｜ａＴ，ｖ（Ｉ），ＢＴ，ｖ（Ｉ））によって近似される。
【0093】
この例では、コンポーネントｖ毎に、予測時点Ｔでの第１のモーメントｇ（ｘＴ，ｖ）の値に関連して、第１のモーメントｇ（ｘＴ，ｖ）の共分散Ｃｏｖ[ｇ（ｘＴ，ｖ）]が特定される。
【0094】
ステップ４１０において、予測時点Ｔでの第１のモーメントμＴ，ｖの値に関連して、正規分布Ｎ（ｙｔ，ｖ｜ｇ（ｘｔ，ｖ），ＱＱＴ（ｘｔ，ｖ））の第１のモーメントｇ（ｘＴ，ｖ）に対する期待値Ｅ[ｇ（ｘＴ，ｖ）]が特定される。
【0095】
ステップ４１２において、正規分布Ｎ（ａＴ，ｖ（Ｉ），ＢＴ，ｖ（Ｉ））の第１のモーメントａＴ．ｖ（Ｉ）が特定される。
【0096】
この例では、コンポーネントｖ毎に、予測時点Ｔでの潜在状態ｘＴ，ｖに関連して、予測時点Ｔでの正規分布Ｎ（ｙｔ｜ｇ（ｘｔ），ＱＱＴ（ｘｔ））の第２のモーメントＱＱＴ（ｘ（ｔ））に対する期待値Ｅ[ＱＱＴ（ｘＴ，ｖ）]が、ｘｔ～Ｎ（ｘ＿ｔ｜μｔ，ｖ，Σｔ，ｖ）に関連して、Anqi Wuにおいて記載されているようなツールによって特定される。
【0097】
この例では、期待値Ｅ[ｇ（ｘＴ，ｖ）]が第１のモーメントａＴ．ｖ（Ｉ）を、たとえば
によって規定する。
【数54】
【0098】
期待値Ｅ[ｇ（ｘＴ，ｖ）]はこの例では、このツールによって特定される。
【0099】
図５ｄには、２４個の完全に接続された層とＲｅＬｕ活性化とを備えるニューラルネットワークｇ（ｘｔ，ｖ）の例が示されており、これに１つの完全に接続された層が続く。Ｑ（ｘｔ）に対しては、この例では、定数が想定されるが、より複雑なニューラルネットワークも可能である。
【0100】
ステップ４１４において、コンポーネントｖ毎に、正規分布Ｎ（ａＴ，ｖ（Ｉ），ＢＴ，ｖ（Ｉ））の第２のモーメントＢＴ，ｖ（Ｉ）が特定される。
【0101】
この例では、コンポーネントｖ毎に、第１のモーメントｇ（ｘＴ，ｖ）の共分散Ｃｏｖ[ｇ（ｘＴ，ｖ）]と、予測時点Ｔでの第２のモーメントＱＱＴ（ｘＴ，ｖ）に対する期待値Ｅ[ＱＱＴ（ｘＴ，ｖ）]とに関連して、正規分布Ｎ（ａＴ，ｖ（Ｉ），ＢＴ，ｖ（Ｉ））の第２のモーメントＢＴ，ｖ（Ｉ）が、たとえば
によって特定される。
【数55】
【0102】
共分散Ｃｏｖ[ｇ（ｘＴ，ｖ）]および期待値Ｅ[ＱＱＴ（ｘＴ，ｖ）]は、この例ではこのツールによって特定される。
【0103】
外側のループは、ステップ４０８～ステップ４１４を含んでいる。
【0104】
ステップ４１６において、特に、コンポーネントｖの第３の正規分布Ｎ（ａＴ，ｖ（Ｉ），ＢＴ，ｖ（Ｉ））の、少なくとも１つの重みπｖ（Ｉ）によって重み付けされた総計
が特定される。
【数56】
【0105】
ステップ４２０において、挙動
の予測ｐ（ｙＴ｜Ｉ）が、この総計
に関連して特定され、たとえば
である。
【数57】
【数58】
【数59】
【0106】
ステップ４２２において、予測が出力される、かつ／または予測に関連して、少なくとも１つのエージェント１０２が駆動制御される。
【0107】
たとえば、コンピュータによって制御される機械、ロボット、車両、家庭用機器、被駆動機械、製造機械、パーソナルアシスタントまたはアクセスコントロールシステムが駆動制御される。
【0108】
たとえば、分子ダイナミックに対する予測が特定され、出力される。たとえば、競技における動きに対する予測が特定され、出力される。
【0109】
潜在状態の種々異なる組み合わせに対する共分散が、次元ＭＤｘ×ＭＤｘの行列として処理され得る。これは、複数の共分散のうちのそれぞれ１つの共分散によって規定されているブロックを含んでいる。ある例では、行列が、疎行列として近似されることが想定されている。
【0110】
図６では、５つのエージェントＡ，Ｂ，Ｃ，Ｄ，Ｅに対する共分散行列の近似の概略図が再現されている。
【0111】
エージェントｍの潜在状態は、ある例では、複数の要素を含んでいる。軌道の場合、潜在状態は、たとえば、エージェントｍの速度に対する要素と、エージェントｍの加速度に対する要素とを含んでいる。これらの要素は、物理的な量である必要はなく、エージェントの状態の他の態様に関連していてもよい。
【0112】
行列の第１の近似において、予測のために、行列の主対角線上に位置する行列からの要素だけが使用され、行列の他の要素は考慮されないままである。これは、１つのエージェントｍの複数の潜在状態が相互に関連せずにモデル化され、種々異なるエージェントｍの複数の潜在状態も相互に関連せずにモデル化されることを意味している。たとえば、エージェントｍの速度は、エージェントｍの加速度とは関連せずにモデルされ、種々異なるエージェントｍの速度も、種々異なるエージェントｍの加速度も相互に関連せずにモデル化されることを意味している。
【0113】
主対角線は図６では、実線の対角線として示されている。
【0114】
第２の近似において、１つのエージェントの複数の潜在状態が相互に関連せずにモデル化され、種々異なるエージェントの複数の潜在状態の相互に相応する要素が相互に関連してモデル化される。たとえば、同一のエージェントの速度と加速度とは相互に関連せずにモデル化され、種々異なるエージェントの速度は相互に関連してモデル化され、種々異なるエージェントの加速度は相互に関連してモデル化される。これは図６において、実線および破線の対角線によって示されている。
【0115】
第３の近似において、１つのエージェントの１つの潜在状態の種々異なる要素が相互に関連してモデル化され、種々異なるエージェントの複数の潜在状態が相互に関連せずにモデル化される。これは、図６において、ハッチングされたブロックの対角線によって示されている。
【0116】
ニューラルネットワークをパラメータ化するパラメータθ＝｛θｆ，θＬ｝およびΨ＝｛Ψｇ，ΨＱ｝はこの例では、データセットＤ＝｛Ｙ，Ｉ｝によるトレーニングにおいて、この例では、観察された軌道において、期待される負の対数確率を最小化することによって特定される：
【数60】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【外国語明細書】