知財求人 - 知財ポータルサイト「IP Force」
特表2024-545617自律エージェントの影響に基づく動作のための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-10
(54)【発明の名称】自律エージェントの影響に基づく動作のための方法およびシステム
(51)【国際特許分類】
B60W 30/00 20060101AFI20241203BHJP
B60W 40/02 20060101ALI20241203BHJP
B60W 60/00 20200101ALI20241203BHJP
G08G 1/16 20060101ALI20241203BHJP
G08G 1/09 20060101ALI20241203BHJP
【ＦＩ】
B60W30/00
B60W40/02
B60W60/00
G08G1/16 A
G08G1/09 H
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024532183
(86)(22)【出願日】2022-12-01
(85)【翻訳文提出日】2024-07-22
(86)【国際出願番号】 US2022051491
(87)【国際公開番号】W WO2023102098
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】63/285,024
(32)【優先日】2021-12-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】521106164
【氏名又は名称】メイ モビリティー，インコーポレイテッド
【氏名又は名称原語表記】ＭＡＹ ＭＯＢＩＬＩＴＹ，ＩＮＣ．
(74)【代理人】
【識別番号】110001302
【氏名又は名称】弁理士法人北青山インターナショナル
(72)【発明者】
【氏名】ジョンソン，コリン
(72)【発明者】
【氏名】バグラ，ヤシュ
(72)【発明者】
【氏名】カピル，ボール
(72)【発明者】
【氏名】カトパタル，アクシャイ
(72)【発明者】
【氏名】マフムード，マフムード
(72)【発明者】
【氏名】オルソン，エドウィン ビー．
【テーマコード（参考）】
3D241
5H181
【Ｆターム（参考）】
3D241BA02
3D241BA08
3D241BA33
3D241BA62
3D241BC04
3D241BC05
3D241BC06
3D241CD09
3D241CD10
3D241CE01
3D241CE02
3D241CE04
3D241CE05
3D241DB01Z
3D241DB02Z
3D241DB05Z
3D241DB06Z
3D241DB13Z
3D241DB15Z
3D241DB16Z
5H181AA01
5H181AA30
5H181BB04
5H181BB05
5H181BB13
5H181CC03
5H181CC04
5H181CC14
5H181CC27
5H181FF04
5H181FF13
5H181FF22
5H181FF27
5H181LL01
5H181LL02
5H181LL04
5H181LL09
(57)【要約】
自律エージェント（本明細書では等価的にエゴエージェントおよび自律車両ともいう）の影響に基づく動作のためのシステムは、コンピューティングサブシステム（本明細書では等価的にコンピュータおよび／またはコンピュータのセットともいう）を含み、かつ／またはコンピューティングサブシステムと連携する。自律エージェントの影響に基づく動作のための方法は、入力のセットを受信するステップと、将来シナリオのセットを予測するステップと、将来シナリオのセットに基づいてメトリクスのセットを求めるステップとを含む。追加的または代替的には、この方法は、メトリクスのセットおよび／または他の任意のプロセスに基づいて自律エージェントを動作させるステップを含むことができる。
【選択図】図４
【選択図】図４
【特許請求の範囲】
【請求項1】
自律車両の影響に基づく動作のための方法であって、・自律車両に関連するセンサのセットからデータを収集するステップと、
・前記データに基づいて、自律車両の環境内の環境オブジェクトのセットを検出するステップと、
・前記環境オブジェクトのセットの表現を含むフォワードシミュレーションのセットを実行するステップであって、前記フォワードシミュレーションのセットが、
・シミュレーションの第１のサブセットであって、自律車両の表現が存在する、シミュレーションの第１のサブセットと、
・シミュレーションの第２のサブセットであって、自律車両の表現が存在しない、シミュレーションの第２のサブセットとを含む、ステップと、
・環境に及ぼすエゴ車両の影響スコアを求めるステップであって、
・前記シミュレーションの第１のサブセットに基づいて、メトリクス値の第１のセットを計算すること、
・前記シミュレーションの第２のサブセットに基づいて、第２のメトリクス値の第２のセットを計算すること、
・前記メトリクス値の第１セットとメトリクス値の第２のセットとを比較すること、および、
・前記比較に基づいて影響スコアを求めることを含む、ステップと、
・前記影響スコアに基づいてエゴ車両を動作させるステップとを備えることを特徴とする方法。
【請求項2】
請求項１に記載の方法において、前記メトリクス値の第１セットとメトリクス値の第２のセットとを比較することが、前記メトリクス値の第１セットとメトリクス値の第２のセットとの差を計算することを含み、この差が、自律車両によって引き起こされる環境オブジェクトの進行の定量化された妨げを示していることを特徴とする方法。
【請求項3】
請求項２に記載の方法において、前記メトリクス値の第１および第２のセットの各々が、フォワードシミュレーションのセットにおける環境オブジェクトの速度の導関数に基づいて求められることを特徴とする方法。
【請求項4】
請求項２に記載の方法において、前記メトリクス値の第１および第２のセットの各々が、フォワードシミュレーションのセットにおける環境オブジェクトの移動距離に基づいて求められることを特徴とする方法。
【請求項5】
請求項２に記載の方法において、前記環境オブジェクトのセットに関連付けられた特徴のセットに基づいて、前記差にスケーリング係数を適用するステップをさらに含むことを特徴とする方法。
【請求項6】
請求項５に記載の方法において、前記特徴のセットは、前記環境オブジェクトのセットの環境オブジェクトが、前記フォワードシミュレーションのセットに存在するシナリオにおいて優先通行権を有していないという判定、環境オブジェクトが自律車両の後方に配置されているという判定、および環境車両が自律車両から予め設定された距離閾値を超えて位置しているという判定のうちの少なくとも１つを含むことを特徴とする方法。
【請求項7】
請求項６に記載の方法において、前記スケーリング係数が、前記差の値を減少させることを特徴とする方法。
【請求項8】
請求項１に記載の方法において、複数の影響スコアのセットを求めるステップをさらに含み、前記複数の影響スコアのセットが、前記影響スコアを含み、
前記影響スコアに基づいて自律車両を動作させることが、前記複数の影響スコアのセットに基づいて、自律車両のための複数のポリシーオプションのセットのなかからポリシーを選択することを含むことを特徴とする方法。
【請求項9】
請求項８に記載の方法において、前記ポリシーが、自律車両に関連付けられた報酬スコアにさらに基づいて選択され、前記報酬スコアが、自律車両の目標に対する自律車両の進捗状況を示していることを特徴とする方法。
【請求項10】
請求項８に記載の方法において、前記自律車両の目標が、自律車両の目的地までの距離を含むことを特徴とする方法。
【請求項11】
請求項８に記載の方法において、前記自律車両の目標が、自律車両に関連付けられた目的地に到達するために自律車両によって発揮される仕事量を含むことを特徴とする方法。
【請求項12】
請求項１に記載の方法において、前記環境オブジェクトが、前記センサのセットの視野内に位置する車両のセットおよび歩行者のセットを含むことを特徴とする方法。
【請求項13】
自律車両の影響に基づく動作のためのシステムであって、・センサのセットを含むデータ収集サブシステムと、
・前記データ収集サブシステムと通信するコンピューティングサブシステムであって、
・前記データ収集サブシステムからデータを収集し、
・前記データを処理して、自律車両の環境内の環境オブジェクトのセットを検出するコンピューティングサブシステムと、
・フォワードシミュレーションのセットを実行するシミュレータサブシステムであって、前記フォワードシミュレーションのセットが、
・シミュレーションの第１のサブセットであって、自律車両の表現が存在する、シミュレーションの第１のサブセットと、
・シミュレーションの第２のサブセットであって、自律車両の表現が存在しない、シミュレーションの第２のサブセットとを含む、シミュレータサブシステムと、
・前記コンピューティングサブシステムから受信した命令のセットに基づいて自律車両を操作するように構成されたコントローラとを備え、
・前記コンピューティングサブシステムは、自律車両が前記環境オブジェクトのセットに与える影響に基づいて命令のセットを決定し、前記影響を決定することが、
・前記シミュレーションの第１のサブセットに基づいて、メトリクス値の第１のセットを計算すること、
・前記シミュレーションの第２のサブセットに基づいて、第２のメトリクス値の第２のセットを計算すること、
・前記メトリクス値の第１のセットとメトリクス値の第２のセットとを比較すること、および、
・前記比較に基づいて、前記影響を決定することを含むことを特徴とするシステム。
【請求項14】
請求項１３に記載のシステムにおいて、前記シミュレータサブシステムが、前記コンピューティングサブシステムの一部であることを特徴とするシステム。
【請求項15】
請求項１４に記載のシステムにおいて、前記コンピューティングサブシステムが、自律車両に搭載されていることを特徴とするシステム。
【請求項16】
請求項１３に記載のシステムにおいて、前記シミュレータサブシステムが、自律車両の移動全体を通じて、前記フォワードシミュレーションのセットを実行することを特徴とするシステム。
【請求項17】
請求項１６に記載のシステムにおいて、前記フォワードシミュレーションのセットのシミュレーションが、予め設定された頻度に従って実行されることを特徴とするシステム。
【請求項18】
請求項１３に記載のシステムにおいて、前記メトリクス値の第１セットとメトリクス値の第２のセットとを比較することが、前記メトリクス値の第１セットとメトリクス値の第２のセットとの差を計算することを含み、この差が、自律車両によって引き起こされる環境オブジェクトの進行の定量化された妨げを示していることを特徴とするシステム。
【請求項19】
請求項１８に記載のシステムにおいて、前記メトリクス値の第１および第２のセットの各々が、フォワードシミュレーションのセットにおける環境オブジェクトの速度の導関数に基づいて求められることを特徴とするシステム。
【請求項20】
請求項１８に記載のシステムにおいて、前記メトリクス値の第１および第２のセットの各々が、フォワードシミュレーションのセットにおける環境オブジェクトの移動距離に基づいて求められることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、自律車両の分野に関し、より具体的には、自律車両の分野における自律エージェントの影響に基づく動作のための新規かつ有用なシステムおよび方法に関する。
【0002】
関連出願に対する相互参照
本願は、２０２１年１２月１日に出願された米国仮出願第６３／２８５，０２４号の利益を主張するものであり、その全体がこの引用により本明細書に援用されるものとする。
本願は、２０２１年１２月１日に出願された米国仮出願第６３／２８５，０２４号の利益を主張するものであり、その全体がこの引用により本明細書に援用されるものとする。
【図面の簡単な説明】
【0003】
【発明を実施するための形態】
【0004】
本発明の好ましい実施形態の以下の説明は、本発明をそれらの好ましい実施形態に限定することを意図するものではなく、当業者が本発明を製造および使用できるようにすることを意図している。
【0005】
１．概要
図１に示すように、自律エージェント（等価的に、本明細書ではエゴエージェントおよび自律車両ともいう）の影響に基づく動作のためのシステム１００は、コンピューティングサブシステム（等価的に、本明細書ではコンピュータおよび／またはコンピュータのセットともいう）を含み、かつ／またはコンピューティングサブシステムと連携する。追加的または代替的には、システム１００は、自律エージェント（等価的に、本明細書ではエゴエージェントともいう）、センサの１または複数のセット（例えば、エゴエージェントに搭載されるもの、インフラストラクチャデバイスのセットなどに搭載されるものなど）、および／または他の任意の構成要素を含むことができ、かつ／またはそれらと連携することができる。さらに、追加的または代替的には、システムは、２０１９年７月１７日に出願された米国出願第１６／５１４，６２４号、２０１９年７月８日に出願された米国出願第１６／５０５，３７２号、２０１９年８月１４日に出願された米国出願第１６／５４０，８３６号、２０２０年２月１７日に出願された米国出願第１６／７９２，７８０号、２０２１年７月１日に出願された米国出願第１７／３６５，５３８号、２０２１年１２月１４日に出願された米国出願第１７／５５０，４６１号、２０２１年１２月１７日に出願された米国出願第１７／５５４，６１９号、２０２２年４月４日に出願された米国出願第１７／７１２，７５７号、および／または２０２２年５月２７日に出願された米国出願第１７／８２６，６５５号のいずれかまたはすべてに記載の構成要素のいずれかまたはすべてを含むことができる（それら出願の各々は、この引用によりその全体が援用されるものとする）。
図１に示すように、自律エージェント（等価的に、本明細書ではエゴエージェントおよび自律車両ともいう）の影響に基づく動作のためのシステム１００は、コンピューティングサブシステム（等価的に、本明細書ではコンピュータおよび／またはコンピュータのセットともいう）を含み、かつ／またはコンピューティングサブシステムと連携する。追加的または代替的には、システム１００は、自律エージェント（等価的に、本明細書ではエゴエージェントともいう）、センサの１または複数のセット（例えば、エゴエージェントに搭載されるもの、インフラストラクチャデバイスのセットなどに搭載されるものなど）、および／または他の任意の構成要素を含むことができ、かつ／またはそれらと連携することができる。さらに、追加的または代替的には、システムは、２０１９年７月１７日に出願された米国出願第１６／５１４，６２４号、２０１９年７月８日に出願された米国出願第１６／５０５，３７２号、２０１９年８月１４日に出願された米国出願第１６／５４０，８３６号、２０２０年２月１７日に出願された米国出願第１６／７９２，７８０号、２０２１年７月１日に出願された米国出願第１７／３６５，５３８号、２０２１年１２月１４日に出願された米国出願第１７／５５０，４６１号、２０２１年１２月１７日に出願された米国出願第１７／５５４，６１９号、２０２２年４月４日に出願された米国出願第１７／７１２，７５７号、および／または２０２２年５月２７日に出願された米国出願第１７／８２６，６５５号のいずれかまたはすべてに記載の構成要素のいずれかまたはすべてを含むことができる（それら出願の各々は、この引用によりその全体が援用されるものとする）。
【0006】
図２に示すように、自律エージェントの影響に基づく動作のための方法２００は、入力のセットを受信するステップＳ１００と、将来シナリオのセットを予測するステップＳ２００と、将来シナリオのセットに基づいてメトリクスのセットを求めるステップＳ３００とを含む。追加的または代替的には、方法２００は、メトリクスのセットおよび／または他の任意のプロセスに基づいてエゴエージェントを動作させるステップＳ４００を含むことができる。さらに、追加的または代替的には、方法２００は、２０１９年７月１７日に出願された米国出願第１６／５１４，６２４号、２０１９年７月８日に出願された米国出願第１６／５０５，３７２号、２０１９年８月１４日に出願された米国出願第１６／５４０，８３６号、２０２０年２月１７日に出願された米国出願第１６／７９２，７８０号、２０２１年７月１日に出願された米国出願第１７／３６５，５３８号、２０２１年１２月１４日に出願された米国出願第１７／５５０，４６１号、２０２１年１２月１７日に出願された米国出願第１７／５５４，６１９号、２０２２年４月４日に出願された米国出願第１７／７１２，７５７号、および／または２０２２年５月２７日に出願された米国出願第１７／８２６，６５５号のいずれかまたはすべてに記載の方法、プロセス、実施形態および／または例のいずれかまたはすべてを含むことができ、かつ／またはそれらと連携することができる（それら出願の各々は、この引用によりその全体が援用されるか、または他の任意の適切なプロセスが任意の適切な順序で実行されるものとする）。
【0007】
方法２００は、上述したようなシステム１００によって、かつ／または他の任意の適切なシステムによって実行することができる。
【0008】
２．利点
自律エージェントの影響に基づく動作のためのシステムおよび方法は、現在のシステムおよび方法と比較していくつかの利点をもたらすことができる。
自律エージェントの影響に基づく動作のためのシステムおよび方法は、現在のシステムおよび方法と比較していくつかの利点をもたらすことができる。
【0009】
第１の態様では、本技術は、エゴエージェントの運転行動がエゴエージェントと道路を共有する他のエージェントに及ぼす潜在的な影響を評価することにより、それらの影響を考慮してエゴエージェントによる思いやりのある運転を促進するようなポリシー（例えば、挙動、動作、動き、操作など）をエゴエージェントに対して選択することができるという利点をもたらす。これにより、エゴエージェントが他のエージェントを困らせたり、エゴエージェントに対して否定的な（または危険な）反応を他のエージェントに生じさせたりするような動作をエゴエージェントが実行するのを防止することができ、それにより道路上でのエゴエージェントの許容性を高めることができる。
【0010】
第２の態様では、第１の態様に加えてまたはその代わりに、この技術により、道路上の他のエージェントがどのように運転しているのか、およびそれらがエゴエージェントの将来の動作に対してどのように反応する可能性があるのかを予測することが可能になるという利点が得られる。これは、特定の例では、エゴエージェントとともにそれら他のエージェントの運転挙動をフォワードシミュレートする閉ループシミュレーションのセットを通じて可能になる。
【0011】
ある例では、少なくとも２のタイプおよび／またはカテゴリのシミュレーションが実行される。ここで、シミュレーションのタイプは、どのオブジェクトがシミュレートされるか、および／またはどのオブジェクトがシミュレートされないかに関して異なる。特定の例では、第１のタイプのシミュレーションでは、エゴエージェントが環境エージェントとともに存在し、一方、第２のタイプのシミュレーションでは、環境エージェントのみがシミュレートされ（エゴエージェントはシーンから取り除かれる）、このシミュレーションタイプの組合せは、エゴエージェントに直接起因する環境エージェントの進行における差（例えば、減少、妨げなど）を特定することを可能にするという利点をもたらす。
【0012】
第３の態様では、上述したものに加えてまたはその代わりに、この技術は、複数の異なるタイプのエージェント間の比較、報酬関数の決定における別のメトリクスの線形スケーリング、エージェント間の共通の目標を表すこと、および／または他の任意の利点のうちのいずれかまたはすべてのために構成されたメトリクスなど、簡単に使用するのに特に適したメトリクスによって、エゴエージェントの影響を予測する利点を付与する。
【0013】
第１の態様のセットでは、影響を評価するために使用されるメトリクスが、シーンおよびその環境エージェントに関連付けられた修正エネルギーおよび／または仕事の差を含み、これは、エゴエージェントの特定の挙動に応答して環境エージェントによってどれだけのエネルギーおよび仕事が必要になるのかを有意義に反映することができる。それらメトリクスは、さらに、容易に集約し（例えば、合計し、仕事とエネルギーが同じ単位を共有するため一緒にそれらを集約し）、評価し、比較し、かつ／または他の方法で効率的に使用することができる。
【0014】
第２の態様のセットでは、上述したものに加えてまたはその代わりに、影響を評価するために使用されるメトリクスは、エゴエージェントが提案されたポリシーを実行しない場合に環境エージェントが進行することができる距離と、エゴエージェントが提案されたポリシーを実行した場合に環境エージェントが進行することができる距離との差および／または比を含み、これは、すべてのエージェント（例えば、車両、歩行者など）に適用することができ、目標に向かうエゴエージェントの進捗状況に関連する報酬関数をスケーリングするために使用することができる。
【0015】
追加的または代替的には、システムおよび方法は、他の任意の利点をもたらすことができる。
【0016】
３．システム
図１に示すように、自律エージェントの影響に基づく動作のためのシステム１００は、コンピューティングサブシステム（等価的に、本明細書ではコンピュータともいう）を含み、かつ／またはコンピューティングサブシステムと連携し、コンピューティングサブシステムは、シミュレータサブシステム（例えば、シミュレータモジュール、シミュレーションプログラム、シミュレータなど）を含み、かつ／またはシミュレータサブシステムと連携し、かつ／または（例えば、後述するように）シミュレーションのセットを実行し、かつ／またはその実行をトリガするように他の方法で構成される。システム１００は、さらに好ましくは、自律エージェント（等価的に、本明細書ではエゴエージェントおよび／または自律車両および／またはエゴ車両ともいう）、センサの１または複数のセット（例えば、エゴエージェントに搭載されるもの、インフラストラクチャデバイスのセットに搭載されるものなど）、および／または他の任意の構成要素を含み、かつ／またはそれらと連携する。追加的または代替的には、システムは、２０１９年７月１７日に出願された米国出願第１６／５１４，６２４号、２０１９年７月８日に出願された米国出願第１６／５０５，３７２号、２０１９年８月１４日に出願された米国出願第１６／５４０，８３６号、２０２０年２月１７日に出願された米国出願第１６／７９２，７８０号、２０２１年７月１日に出願された米国出願第１７／３６５，５３８号、２０２１年１２月１４日に出願された米国出願第１７／５５０，４６１号、２０２１年１２月１７日に出願された米国出願第１７／５５４，６１９号、２０２２年４月４日に出願された米国出願第１７／７１２，７５７号、および／または２０２２年５月２７日に出願された米国出願第１７／８２６，６５５号のいずれかまたはすべてに記載の構成要素のいずれかまたはすべてを含むことができる（それら出願の各々は、この引用によりその全体が援用されるものとする）。
図１に示すように、自律エージェントの影響に基づく動作のためのシステム１００は、コンピューティングサブシステム（等価的に、本明細書ではコンピュータともいう）を含み、かつ／またはコンピューティングサブシステムと連携し、コンピューティングサブシステムは、シミュレータサブシステム（例えば、シミュレータモジュール、シミュレーションプログラム、シミュレータなど）を含み、かつ／またはシミュレータサブシステムと連携し、かつ／または（例えば、後述するように）シミュレーションのセットを実行し、かつ／またはその実行をトリガするように他の方法で構成される。システム１００は、さらに好ましくは、自律エージェント（等価的に、本明細書ではエゴエージェントおよび／または自律車両および／またはエゴ車両ともいう）、センサの１または複数のセット（例えば、エゴエージェントに搭載されるもの、インフラストラクチャデバイスのセットに搭載されるものなど）、および／または他の任意の構成要素を含み、かつ／またはそれらと連携する。追加的または代替的には、システムは、２０１９年７月１７日に出願された米国出願第１６／５１４，６２４号、２０１９年７月８日に出願された米国出願第１６／５０５，３７２号、２０１９年８月１４日に出願された米国出願第１６／５４０，８３６号、２０２０年２月１７日に出願された米国出願第１６／７９２，７８０号、２０２１年７月１日に出願された米国出願第１７／３６５，５３８号、２０２１年１２月１４日に出願された米国出願第１７／５５０，４６１号、２０２１年１２月１７日に出願された米国出願第１７／５５４，６１９号、２０２２年４月４日に出願された米国出願第１７／７１２，７５７号、および／または２０２２年５月２７日に出願された米国出願第１７／８２６，６５５号のいずれかまたはすべてに記載の構成要素のいずれかまたはすべてを含むことができる（それら出願の各々は、この引用によりその全体が援用されるものとする）。
【0017】
システム１００は、好ましくは、自律車両（等価的に、本明細書では自律エージェント、エージェントおよび／またはエゴエージェントともいう）を含み、かつ／または自律車両と連携する（例えば、自律車両内に統合される）。自律エージェントは、好ましくは自律車両であり、さらに好ましくは完全自律車両および／または完全自律車両として動作可能な車両であるが、追加的または代替的には、半自律車両および／または他の任意の車両であってもよい。
【0018】
好ましい態様では、自律車両は、自動車（例えば、車、無人走行車、バス、シャトル、タクシ、ライドシェア車両、トラック、半トラックなど）である。追加的または代替的には、自律車両は、船舶（例えば、ボート、水上タクシなど）、航空車両（例えば、飛行機、ヘリコプタ、ドローンなど）、地上車両（例えば、２輪車、バイク、モータサイクル、スクータなど）、および／または他の任意の適切な車両および／または輸送デバイス、自律機械、自律デバイス、自律ロボット、および／または他の任意の適切なデバイスのいずれかまたはすべてを含むことができる。
【0019】
自律エージェントは、好ましくは、コンピューティングサブシステムを含み、かつ／またはコンピューティングサブシステムと連携し、コンピューティングサブシステムは、情報（例えば、センサ入力）を処理し、エゴエージェントの動作のための処理および意思決定を実行するように機能する。これは、例えば、エゴエージェントが実行するための一連のポリシー（例えば、挙動、動作、高レベルの挙動および／または計画など）、車両が実行するための挙動および／または動作、エゴエージェントが実行するための軌道、車両（例えば、作動サブシステム、ステアリングサブシステム、ブレーキサブシステム、加速サブシステムなど）が実行するための制御コマンドのセット、および／または他の情報のうち、いずれかまたはすべてを決定することを含むことができる。追加的または代替的には、コンピューティングサブシステムは、知覚、予測、位置特定、計画のいずれかまたはすべてに関与するプロセス、および／または自律エージェントの動作に関与する他の任意のプロセスのうち、いずれかまたはすべてを実行するように機能することができる。
【0020】
コンピューティングシステムは、好ましくは、エゴエージェントに搭載されて配置された（例えば、エゴエージェント内に統合された）オンボードコンピューティングサブシステムを含む。追加的または代替的には、コンピューティングシステムは、リモートコンピューティングシステム（例えば、オンボードコンピューティングシステムに代えて、クラウドコンピューティングシステム、オンボードコンピューティングシステムと通信するリモートコンピューティングなど）、補助デバイス（例えば、モバイルデバイス、ユーザデバイスなど）に統合されたコンピューティングサブシステム、モバイルコンピューティングデバイスを含むエッジデバイス、および／または他の任意の適切なコンピューティングサブシステムおよびデバイスのいずれかまたはすべてを含むことができる。ある態様では、例えば、エゴエージェントは、ユーザデバイス（例えば、携帯電話、ラップトップなど）、リモートサーバ、クラウドサーバ、または車両から離れた他の任意の適切なローカルおよび／または分散コンピューティングシステムを含むことができるリモートまたは分散コンピューティングシステムと通信するように動作可能である。リモートコンピューティングサブシステムは、１または複数のデータ接続（例えば、チャネル）を通じて自律エージェントの１または複数のシステムに接続され得るが、代替的には、任意の適切な方法で車両システムと通信することができる。
【0021】
コンピューティングサブシステムは、処理サブシステム（例えば、プロセッサまたはプロセッサのセット、グラフィック処理ユニットすなわちＧＰＵ、中央処理ユニットすなわちＣＰＵ、または任意の適切な処理回路）およびメモリを含むことができ、かつ／または連携することができるが、追加的または代替的には、他の任意の適切なコンポーネントを含むことができる。メモリは、短期（例えば、揮発性、不揮発性、ランダムアクセスメモリまたはＲＡＭなど）および／または長期（例えば、フラッシュメモリ、ハードディスクなど）メモリであり得る。
【0022】
ある態様では、例えば、オンボードコンピューティングサブシステムは、本明細書に記載の識別されたコンポーネントまたはモジュールのうちの１または複数と相互作用および／または動作可能に制御するように機能する。好ましい態様では、例えば、オンボードコンピューティングサブシステムが、マルチポリシー決定モジュールを実装するためのコンピュータ命令を実行する。特定の例では、処理システムおよびメモリが集合的に機能して、２０１９年７月１７日に出願された米国出願第１６／５１４，６２４号、および２０２１年７月１日に出願された米国出願第１７／３６５，５３８号（これら出願の各々は、この引用によってその全体が本明細書に援用されるものとする）のいずれかまたはすべてに記載されたもののように、マルチポリシー意思決定フレームワークのフレームワーク内の自律エージェントが利用可能なポリシーのセットを動的に管理する。追加的または代替的には、処理システムおよびメモリおよび／または他の任意の適切なコンポーネントを他の任意の適切な機能に使用することができる。
【0023】
コンピューティングサブシステムは、好ましくは、システムのシミュレータサブシステム（等価的に、本明細書ではシミュレーションサブシステムともいう）とのインターフェースを含み、かつ／またはシステムのシミュレータサブシステムと連携して処理を実行するように構成され、シミュレータサブシステムは、（例えば、後述するように）シミュレーションのセットを実行するように機能し、シミュレーションのセットは、エゴエージェントと、その環境内（例えば、エゴエージェントの周囲、エゴエージェントのセンサの視野内、エゴエージェントに対する予め設定された半径内など）の環境エージェント（例えば、他の車両、歩行者、動的および／または静的オブジェクトなど）とに関連付けられた将来シナリオを予測するように機能する。追加的または代替的には、シミュレータサブシステムは、他の任意の機能を実行することができる。
【0024】
シミュレータサブシステムは、好ましくは、コンピューティングサブシステムによって実行可能なシミュレーションプログラム（例えば、シミュレーションモジュール、シミュレーションソフトウェア、プログラム言語、ソフトウェアスクリプトおよび／またはプログラムコマンドなど）を含むが、追加的または代替的には、他の任意のコンポーネントを含むことができ、かつ／または他の任意のコンポーネントによって実行することが可能である。
【0025】
シミュレータサブシステムは、好ましくは、フォワードシミュレーションを実行するように構成され、これは、エゴエージェントの現在および／または過去のその環境の理解（例えば、エゴエージェントおよび環境エージェントの現在の位置、エゴエージェントおよび環境エージェントの過去の位置、エゴエージェントおよび／または環境エージェントに関連付けられた現在および／または過去の運動情報）に基づいて、エゴエージェントの環境が将来（例えば、将来の予め設定された時点までに）どのように展開するのかを予測および分析するように機能する。好ましい態様のセットでは、例えば、自律車両の動作全体にわたって（例えば、連続的に、予め設定された頻度で（例えば、０．１秒～１秒ごと、少なくとも１秒ごと、少なくとも５秒ごと、１ミリ秒～１秒ごとなど）、間隔の予め設定されたセットで、新しいセンサ情報の収集時などに）シミュレーションのセットが実行され、それらが車両の環境を将来にわたって（例えば、将来の予め設定された時点まで、将来の１～１０秒先、将来の１秒未満先、将来の１０秒超先、将来の０．１～３０秒先、将来の２～８秒先など、将来の予め設定された時点までの予め設定された時間間隔のセットの各々で）フォワードシミュレートする。
【0026】
追加的または代替的には、シミュレータサブシステムは、他の任意のシミュレーションおよび／またはシミュレーションのタイプを実行することができる。
【0027】
特定の例では、マルチポリシー意思決定モジュールは、エゴエージェントによって実行される可能性のある潜在的な行動ポリシーを含む、自律エージェントの動作環境（現実または仮想）において識別される環境エージェント（例えば、エゴエージェントの環境内の他の車両）および／またはオブジェクト（例えば、歩行者）の各々についての将来（すなわち、時間的に先のステップ）の行動ポリシー（動作または動き）を推定するように機能するシミュレータモジュールまたは同様のマシンまたはシステムを含み、かつ／またはそれらを実装する。シミュレーションは、各エージェントの現在の状態（例えば、現在の前提）、および／または履歴データバッファ（好ましくは、現時点までのデータを含む）から導出された各エージェントの過去の動きまたは過去の挙動に基づくものであってもよい。シミュレーションは、各エージェントの予測される行動ポリシーと、自律エージェントによって実行され得る１または複数の潜在的な行動ポリシーとの間の相互の関係（例えば、相対位置、相対速度、相対加速度など）に関連するデータを提供することができる。
【0028】
追加的または代替的には、シミュレーションサブシステムを、マルチポリシー意思決定モジュールから独立して動作させることができ、かつ／またはマルチポリシー意思決定モジュールの外部で動作させることができる。
【0029】
システム１００は、任意選択的には、コンピューティングシステムと通信する通信インターフェースを含み、通信インターフェースは、（例えば、インフラストラクチャデバイスから、リモートコンピューティングシステムおよび／またはリモートサーバから、テレオペレータプラットフォームから、別の自律エージェントまたは他の車両などからの）情報を受信すること、およびコンピューティングシステムから（例えば、リモートコンピューティングシステムおよび／またはリモートサーバへ、テレオペレータプラットフォームへ、インフラストラクチャデバイスへ、別の自律エージェントまたは他の車両などへ）情報を送信することを可能にするように機能する。通信インターフェースは、好ましくは、無線通信システム（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、セルラー３Ｇ、セルラー４Ｇ、セルラー５Ｇ、多入力多出力またはＭＩＭＯ、１または複数の無線、または他の任意の適切な無線通信システム若しくはプロトコル）を含むが、追加的または代替的には、有線通信システム（例えば、変調電力線データ伝送、イーサネット、または他の任意の適切な有線データ通信システムまたはプロトコル）、データ伝送バス（例えば、ＣＡＮ、ＦｌｅｘＲａｙ）および／または他の任意の適切なコンポーネントのいずれかまたはすべてを含むことができる。
【0030】
システム１００は、任意選択的には、環境の１または複数の態様および／または特徴を観察し、かつ、環境の１または複数の態様および／または特徴に関する観察データを収集するように個別にかつ／または集合的に機能する、本明細書では等価的に路側ユニットともいうインフラストラクチャデバイスのセット（例えば、図１）を含むことができ、かつ／またはそれらと連携する（例えば、情報を受信する）ことができる。インフラストラクチャデバイスのセットは、好ましくは、自律エージェントのオンボードコンピューティングシステムと通信するが、追加的または代替的には、テレアシストプラットフォーム、他の任意のコンポーネントおよび／または任意の組合せと通信することができる。
【0031】
インフラストラクチャデバイスは、好ましくは、自律エージェントの動作位置の直ぐ近傍および／または近接または短距離通信近接内にあるデバイスを含み、かつ、自律エージェントを取り囲む環境および自律エージェントの動作ゾーンに近接する領域内の環境に関するデータを収集するように機能することができる。ある実施形態では、路側ユニットは、フラッシュＬＩＤＡＲ、熱画像デバイス（熱カメラ）、静止画または動画撮影デバイス（例えば、画像カメラおよび／またはビデオカメラなど）、全地球測位システム、レーダシステム、マイクロ波システム、慣性測定ユニット（ＩＭＵ）、および／または他の任意の適切な検知デバイスまたは検知デバイスの組合せを含むオフボード検知デバイスのうちの１または複数を含む。
【0032】
システムは、好ましくは、センサスイート（例えば、コンピュータビジョンシステム、ＬＩＤＡＲ、ＲＡＤＡＲ、車輪速度センサ、ＧＰＳ、カメラなど）を含み、かつ／またはセンサスイートと連携し、センサスイート（等価的に、本明細書ではセンサシステムともいう）は、オンボードコンピューティングシステムと通信して、自律エージェントの１または複数の軌道を決定するための情報を収集するように機能する。追加的または代替的には、センサスイートは、自律エージェントの動作（自律走行など）、自律エージェントを取り巻く環境に関するデータの取得、自律エージェントの動作に関するデータの取得、自律エージェントのメンテナンスの必要性の検出（例えば、エンジン診断センサ、外圧センサストリップ、センサ健全性センサなどを介して）、自律エージェント内部の清浄度基準の検出（例えば、内部カメラ、アンモニアセンサ、メタンセンサ、アルコール蒸気センサ）、および／または他の任意の適切な機能を可能にするように機能することができる。
【0033】
センサスイートは、好ましくは、自律車両に搭載されたセンサ（例えば、エージェントの外面に結合されたＲＡＤＡＲセンサおよび／またはＬＩＤＡＲセンサおよび／またはカメラ、エージェントに結合されかつ／またはエージェント内部に配置されたＩＭＵおよび／またはエンコーダ、オーディオセンサ、近接センサ、温度センサなど）を含むが、追加的または代替的には、エージェントから離れた位置にあるセンサ（例えば、１または複数のインフラストラクチャデバイスの一部、エージェントと通信するセンサなど）、および／または任意の適切な位置にある任意の適切なセンサを含むことができる。
【0034】
センサは、カメラ（例えば、可視範囲、マルチスペクトル、ハイパースペクトル、ＩＲ、立体視など）、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサ、方位センサ（例えば、加速度計、ジャイロスコープ、高度計）、音響センサ（例えば、マイクロホン）、他の光学センサ（例えば、フォトダイオードなど）、温度センサ、圧力センサ、流量センサ、振動センサ、近接センサ、化学センサ、電磁センサ、力センサまたは他の任意の適切なタイプのセンサのうちのいずれかまたはすべてを含むことができる。
【0035】
好ましい態様のセットでは、センサが、光学センサ（例えば、カメラ、ＬｉＤＡＲなど）のなくとも１のセット、および任意選択的に、ＲＡＤＡＲセンサ、車両センサ（例えば、速度計、方位センサ、加速度計など）のいずれかまたはすべて、および／または他のセンサを含む。
【0036】
システムは、任意選択的には、１または複数のコントローラおよび／または制御システムを含む車両制御サブシステムを含むことができ、かつ／または車両制御システムと連携することができ、それらシステムは、自律エージェントのルーティング目標、および選択された行動ポリシーおよび／または自律エージェントの選択された軌道に従って自律エージェントを制御するための制御信号を生成するために利用される任意の適切なソフトウェアおよび／またはハードウェア構成要素（例えば、プロセッサおよびコンピュータ可読記憶装置）を含む。
【0037】
好ましい態様では、車両制御システムが、車両のドライブバイワイヤシステムを含み、それと連携し、かつ／またはそれを実装する。追加的または代替的には、車両は、１または複数の機械的構成要素の作動に従って動作することができ、かつ／または他の方法で実装することができる。
【0038】
追加的または代替的には、システム１００は、他の任意の適切な構成要素を含むことができ、かつ／または他の適切な構成要素と連携することができる。
【0039】
４．方法
図２に示すように、自律エージェントの影響に基づく動作のための方法２００は、入力のセットを受信するステップＳ１００と、将来シナリオのセットを予測するステップＳ２００と、将来シナリオのセットに基づいてメトリクスのセットを求めるステップＳ３００とを含む。追加的または代替的には、方法２００は、メトリクスのセットおよび／または他の任意のプロセスに基づいてエゴエージェントを動作させるステップＳ４００を含むことができる。さらに、追加的または代替的には、方法２００は、２０１９年７月１７日に出願された米国出願第１６／５１４，６２４号、２０１９年７月８日に出願された米国出願第１６／５０５，３７２号、２０１９年８月１４日に出願された米国出願第１６／５４０，８３６号、２０２０年２月１７日に出願された米国出願第１６／７９２，７８０号、２０２１年７月１日に出願された米国出願第１７／３６５，５３８号、２０２１年１２月１４日に出願された米国出願第１７／５５０，４６１号、２０２１年１２月１７日に出願された米国出願第１７／５５４，６１９号、２０２２年４月４日に出願された米国出願第１７／７１２，７５７号、および／または２０２２年５月２７日に出願された米国出願第１７／８２６，６５５号のいずれかまたはすべてに記載の方法、プロセス、実施形態および／または例のいずれかまたはすべてを含むことができ、かつ／またはそれらと連携することができる（それら出願の各々は、この引用によりその全体が援用されるか、または他の任意の適切なプロセスが任意の適切な順序で実行されるものとする）。
図２に示すように、自律エージェントの影響に基づく動作のための方法２００は、入力のセットを受信するステップＳ１００と、将来シナリオのセットを予測するステップＳ２００と、将来シナリオのセットに基づいてメトリクスのセットを求めるステップＳ３００とを含む。追加的または代替的には、方法２００は、メトリクスのセットおよび／または他の任意のプロセスに基づいてエゴエージェントを動作させるステップＳ４００を含むことができる。さらに、追加的または代替的には、方法２００は、２０１９年７月１７日に出願された米国出願第１６／５１４，６２４号、２０１９年７月８日に出願された米国出願第１６／５０５，３７２号、２０１９年８月１４日に出願された米国出願第１６／５４０，８３６号、２０２０年２月１７日に出願された米国出願第１６／７９２，７８０号、２０２１年７月１日に出願された米国出願第１７／３６５，５３８号、２０２１年１２月１４日に出願された米国出願第１７／５５０，４６１号、２０２１年１２月１７日に出願された米国出願第１７／５５４，６１９号、２０２２年４月４日に出願された米国出願第１７／７１２，７５７号、および／または２０２２年５月２７日に出願された米国出願第１７／８２６，６５５号のいずれかまたはすべてに記載の方法、プロセス、実施形態および／または例のいずれかまたはすべてを含むことができ、かつ／またはそれらと連携することができる（それら出願の各々は、この引用によりその全体が援用されるか、または他の任意の適切なプロセスが任意の適切な順序で実行されるものとする）。
【0040】
方法２００は、特定のポリシー（例えば、挙動、動作、制御コマンドのセットなど）を実行するエゴエージェントが、エゴエージェントの環境内の他のエージェント（等価的に、本明細書では環境エージェントおよび追跡されたエージェントともいう）（例えば、他の車両、自転車、歩行者および／または他の任意の動的または静的な物体などが挙げられるが、これらに限定されるものではない）に及ぼす潜在的な１または複数の影響（例えば、予測される影響）を判定および考慮するように機能する。これにより、他の運転者、歩行者および／または道路上もしくは道路付近の他のエージェントに優しい方法でエゴエージェントを動作させるように機能することができる。環境エージェントは、好ましくは、車両（例えば、人間が運転する車両、自律車両、自転車、スクータなど）および歩行者を含むが、追加的または代替的には、他の任意のエンティティまたはオブジェクトを含むことができる。
【0041】
好ましい態様のセットでは、方法２００は、エゴエージェントの現在および／または将来の挙動（例えば、ポリシー）が、エゴエージェントに近接する他の車両、歩行者、自転車および／または他のオブジェクトの進行をどのように妨げ、かつ／またはそれらにどのように悪影響を及ぼし得るのかを（例えば、シミュレーションを通じて）継続的に判定して、この知識を車両の意思決定（例えば、ポリシー選択）に組み込むように機能する。
【0042】
追加的または代替的には、方法２００は、他の任意の機能を実行することができる。
【0043】
４．１ 方法－入力のセットを受信Ｓ１００
方法２００は、入力のセットを受信するステップＳ１００を含み、これは、Ｓ２００において、将来シナリオのセットを予測する（例えば、シミュレーションのセットを実行する）ための情報を受信するように機能する。追加的または代替的には、Ｓ１００の入力のセットを使用して、エゴエージェントについてシミュレートされるポリシーオプションのセット（例えば、複数の潜在的なポリシー）、環境エージェントについてシミュレートされるポリシーオプションのセット（例えば、エゴエージェントのポリシーオプションとともにシミュレートされるもの）、および／または方法２００の他の任意のプロセスのための他の任意の情報を決定することができる。
方法２００は、入力のセットを受信するステップＳ１００を含み、これは、Ｓ２００において、将来シナリオのセットを予測する（例えば、シミュレーションのセットを実行する）ための情報を受信するように機能する。追加的または代替的には、Ｓ１００の入力のセットを使用して、エゴエージェントについてシミュレートされるポリシーオプションのセット（例えば、複数の潜在的なポリシー）、環境エージェントについてシミュレートされるポリシーオプションのセット（例えば、エゴエージェントのポリシーオプションとともにシミュレートされるもの）、および／または方法２００の他の任意のプロセスのための他の任意の情報を決定することができる。
【0044】
Ｓ１００は、好ましくは、方法２００において最初に実行され、さらに好ましくは、自律エージェントの動作中に複数回（例えば、連続的に、予め設定された頻度で、予め設定された間隔のセットで、動的に決定された間隔などで）実行される。いくつかの態様では、Ｓ１００は、エゴエージェントの動作中（例えば、移動中）に、選択サイクル（例えば、予め設定された選択サイクル、予め設定された頻度など）に従って実行される。選択サイクルは、好ましくは、予め設定された頻度（例えば、１～１０秒ごとに１回、１秒ごとに１回超、１０秒ごとに１回未満など）に関連付けられるが、追加的または代替的には、可変の頻度および／またはランダムな間隔に関連付けられ、トリガに応答して実行され、かつ／または他の方法で実行され得る。追加的または代替的には、Ｓ１００は、選択サイクルなしで（例えば、トリガに応答して）、かつ／または方法２００の間の他の任意の時点で実行されるものであってもよい。
【0045】
入力は、好ましくは、エゴエージェントの環境内（例えば、エゴエージェントのセンサの視野内、エゴエージェントの予め設定された距離内、エゴエージェントの計画範囲内など）に配置された環境オブジェクトのセットを検出するために使用することができる情報を含む。
【0046】
さらに、入力は、任意選択的には、エゴエージェントに関するこの情報のいずれかまたはすべてとともに、システムによって追跡されている環境エージェントの特徴、例えば、位置、分類（例えば、車両、歩行者など）、動きおよび／または他の任意の特徴などを特定するために使用することができる。追加的または代替的には、入力のセットは、道路または他のランドマーク／インフラストラクチャの特徴（例えば、車線の境界線がどこにあるのか、道路の端がどこにあるのか、交通信号がどこにあるか、それらがどのタイプであるのか、それらランドマークに対してエージェントがどこに位置するのかなど）を特徴付ける情報、および／または他の任意の情報を含むことができる。入力のセットは、追加的または代替的には、任意の履歴入力および／または履歴情報（例えば、以前の状態推定値）を含むことができる。
【0047】
入力は、好ましくは、エゴエージェントに搭載されたセンサスイートから受信されるセンサ入力（例えば、カメラストリーム、ＬｉＤＡＲデータ、ＲＡＤＡＲデータなど）を含むが、追加的または代替的には、エゴエージェントに関連する履歴情報（例えば、エゴエージェントの履歴状態推定値）および／または環境エージェントに関連する履歴情報（例えば、環境エージェントの履歴状態推定値）、エゴエージェントの外部にあるセンサシステム（例えば、他のエゴエージェントまたは環境エージェントに搭載されているもの、インフラストラクチャデバイスのセットに搭載されているものなど）からのセンサ入力、情報および／または他の任意の入力を含むことができる。
【0048】
好ましい態様のセットでは、Ｓ１００の入力のセットは、エゴエージェントおよび追跡された各環境エージェントの状態推定値（例えば、位置、速度および方位角）を特定するための情報と、任意選択的には、各エージェントに関連付けられた分類ラベル（例えば、エージェントが車両、歩行者または他のオブジェクトであるかどうかを示すもの）とを含む。追加的または代替的には、入力のセットを使用して、この情報のサブセットおよび／または他の任意の情報（例えば、加速度情報、エージェントの幾何学的特性、履歴情報など）を特定することができる。
【0049】
Ｓ１００は、任意選択的には、入力のセットのいずれかまたはすべてを前処理（例えば、融合、集約など）することを含むことができ、これは、方法２００の後続のプロセスにおける分析用の入力のセットを準備するように機能する。
【0050】
追加的または代替的には、Ｓ１００は他の任意のプロセスを含むことができる。
【0051】
４．２ 方法－将来シナリオのセットを予測Ｓ２００
方法２００は、好ましくは、将来のシナリオのセットを予測するステップＳ２００を含み、これは、特定のポリシーを実施するエゴエージェントが道路上の他のエージェントに及ぼす作用（等価的に、本明細書では影響ともいう）を予測するように機能し、これにより、エゴエージェントが実施する最適なポリシーを適切に選択することが可能になる。追加的または代替的には、Ｓ２００は、（例えば、Ｓ３００で説明するような）他の任意のメトリクスの評価を可能にするように機能することができる。
方法２００は、好ましくは、将来のシナリオのセットを予測するステップＳ２００を含み、これは、特定のポリシーを実施するエゴエージェントが道路上の他のエージェントに及ぼす作用（等価的に、本明細書では影響ともいう）を予測するように機能し、これにより、エゴエージェントが実施する最適なポリシーを適切に選択することが可能になる。追加的または代替的には、Ｓ２００は、（例えば、Ｓ３００で説明するような）他の任意のメトリクスの評価を可能にするように機能することができる。
【0052】
Ｓ２００は、好ましくは、Ｓ１００に応答して、Ｓ１００で受信した入力のセットに基づいて実行されるが、追加的または代替的には、Ｓ１００で受信した入力の任意の処理および／または他の任意の情報（例えば、ルートネットワーク、道路インフラストラクチャ情報、マップのセットなど）に基づいて、Ｓ１００の以前の反復で受信したデータに基づいて（例えば、集約された履歴データのコーパスを形成するために）、かつ／または他の任意の情報に基づいて実行することができる。追加的または代替的には、Ｓ２００は、Ｓ１００を省いて、方法２００の間に複数回、かつ／または方法２００の間の他の任意の時点で実行され得る。
【0053】
Ｓ２００は、好ましくは、コンピューティングサブシステム（さらに好ましくはエゴエージェントに搭載されたコンピューティングサブシステム）で、かつ／またはコンピューティングサブシステムを使用して実行されるが、追加的または代替的には、エゴエージェントに搭載されていないリモートコンピューティングシステム、コンピューティングシステムの組合せ、および／または他の任意の１または複数のコンピューティングサブシステムで実行される。
【0054】
将来シナリオのセットは、好ましくは、将来の１または複数の時点においてエゴ車両が遭遇するであろう予測される環境（例えば、周囲の状況）を指す。これは、例えば、環境エージェントが将来のある時点においてどこ（例えば、どの位置）にいるのか、エゴ車両が将来のある時点においてどこにいるのか、環境エージェントおよび／またはエゴエージェントが将来の時点でどのような運動特性（例えば、運動パラメータ）（例えば、速度、加速度など）を有するのか、環境エージェントおよび／またはエゴエージェントが将来の時点で有する方位特性（例えば、方位角、向きの角度など）、環境エージェントおよび／またはエゴエージェントが将来の時点で実行する挙動および／または動作および／またはポリシー、環境エージェントおよび／またはエゴエージェントが将来実行する制御コマンド（例えば、ブレーキ、ステアリングなど）を含むことができ、かつ／またはそれらを反映することができ、かつ／または他の任意の特徴を使用して、１または複数の将来シナリオを規定することができる。
【0055】
いくつかの態様のセットでは、例えば、将来シナリオは、環境エージェント（例えば、車両、歩行者、他のオブジェクトなど）およびエゴエージェントに関連付けられた少なくとも位置を示し、任意選択的にはさらに、エージェントの向き、エージェントの動きおよび／または移動パラメータ（例えば、速度、加速度など）、任意の派生パラメータ（例えば、エネルギー、仕事など）、および／または他の任意の情報のいずれかまたはすべてを示す。
【0056】
将来シナリオのセットを決定することは、好ましくは、シミュレーションのセットを実行することを含み、シミュレーションのセットは、エゴエージェントの環境に関連付けられた潜在的な将来のシナリオを示す。好ましい態様では、将来シナリオのセットは、エゴエージェントが特定のポリシーまたはポリシーの特定のセットを実施することによって生じるであろう潜在的な将来シナリオを示し、エゴエージェントがどのポリシー（例えば、挙動、動作など）を実施して前進するのかを選択するために、それらポリシーを実施する影響を判定および評価することが可能になる。追加的または代替的には、将来シナリオのセットは、現在のポリシーを維持すること、制御コマンドの特定のセットを実施すること、エゴエージェントの目的地を更新すること、エゴエージェントの目標または目的のセットを更新すること、環境条件（例えば、交通条件、天候条件など）の特定のセットおよび／または変化に遭遇すること、および／または他の任意のシナリオを評価することのうち、いずれかまたはすべてから生じ得るものを含むことができる。
【0057】
シミュレーションは、好ましくは、閉ループ、フォワードシミュレーションを含むが、追加的または代替的には、バックワードシミュレーション、開ループシミュレーションおよび／またはシミュレーションの任意の組合せを含むことができる。好ましい態様のセットでは、シミュレーションが閉ループフォワードシミュレーションを含み、この閉ループフォワードシミュレーションが、Ｓ１００で受信した入力セット（例えば、現在観測される状態推定値、現在の分類ラベル、過去の状態推定値および／または過去の分類ラベルなど）に基づいて、環境エージェントおよび任意選択でエゴエージェントの将来の位置（および／または他の任意の状態推定情報または他の情報）、さらに任意選択で他の任意の情報（例えば、動きの情報）を予測する。追加的または代替的には、他の任意のシミュレーションを実施することができる。
【0058】
エージェントは、好ましくは、エージェントの動きのより高い粒度が分析のために提供され得るように、シミュレーションによって示される合計時間（例えば、１～５秒、１秒、２秒、３秒、４秒、５秒、１～１０秒、５～１０秒、１０秒超など）の間、複数のタイムステップ（例えば、ｔ１、ｔ２、・・・ｔｎ）についてシミュレートされる。代替的には、シミュレーションは、単一のタイムステップおよび／または任意の組合せに関連付けることができる。
【0059】
シミュレーションにおいて、エゴエージェントには、好ましくは、ポリシーの潜在的なセットのなかから単一のポリシーが割り当てられて、この特定のポリシーを実施する作用が評価される。ここで、ポリシーは、エージェントが実行することができる挙動／動作（および／または関連する制御コマンド）（例えば、直進、車線変更、右折、左折、停止など）を指している。環境エージェントには、さらに好ましくは、単一のポリシーがそれぞれ割り当てられ、それにより、シミュレーションにおいてそれらエージェントの意図推定を実行することができる。追加的または代替的には、エージェントのシミュレーションは、２０１９年７月１７日に出願された米国出願第１６／５１４，６２４号、および２０２１年７月１日に出願された米国出願第１７／３６５，５３８号に記載されたプロセスのいずれかまたはすべてを含むことができる（この出願は、この引用によりその全体が援用されるものとする）。さらに、追加的または代替的には、（例えば、上述したように）シミュレーションにおいて任意のエージェントに対して他の任意の割り当てを行うことができる。
【0060】
シミュレーションのセットを実行することは、好ましくは、各エゴエージェントポリシーについて、シミュレーションの第１のサブセットおよびシミュレーションの第２のサブセットを実行することを含み、エゴエージェントの表現（例えば、存在、挙動など）は、シミュレーションの第１のサブセットと第２のサブセットとの間で異なり（例えば、エゴエージェントはシミュレーションの第１のサブセットに存在し、エゴエージェントはシミュレーションの第２のサブセットに存在しない）、この差異に基づいて、環境エージェントに対するエゴエージェントの作用を判定することができる。複数のタイムステップがシミュレーションで表現される態様では、（例えば、図３Ａ、図３Ｂ、図４、図５および図６に示すように）第１および第２のサブセットが、好ましくは、実質的にペアとされ、各サブセットが比較のために同じタイムステップを示すようになっている。追加的または代替的には、シミュレーションのサブセットを、他の方法で構成および／または比較することもできる。
【0061】
追加的または代替的には、Ｓ２００は、他の任意の数のシミュレーションのセットおよび／またはシミュレーションのタイプを実行することを含むことができる。例えば、シミュレーションは、環境エージェントが存在するか否か、どの環境エージェントが存在するか（例えば、環境エージェントの挙動が互いに及ぼす作用を判定することができるようにするため）、および／または他の環境シナリオのいずれかまたはすべてに基づいて異なり得る。
【0062】
第１の態様のセットでは（例えば、図３Ａおよび図３Ｂに示すように、図５に示すように、図６に示すように）、シミュレーションの第１のサブセットが、エゴエージェントとともに環境エージェントを含み、エゴエージェントが、提案された将来のポリシーを実行する一方、シミュレーションの第２のサブセットが、エゴエージェントを含まない。環境エージェントの動き／位置は、エゴエージェントがそのポリシーを実行する第１のシナリオで求められ、その後、エゴエージェントが全く存在しないシナリオと比較することができる。
【0063】
第２の態様のセットでは（例えば、図４に示すように）、シミュレーションの第１のサブセットが、エゴエージェントとともに環境エージェントを含み、エゴエージェントが、提案された将来のポリシーを実行し、シミュレーションの第２のサブセットも、環境エージェントおよびエゴエージェントを含み、エゴエージェントが、現在のポリシーを実行し続ける（例えば、維持する）。
【0064】
追加的または代替的には、エージェントは、シミュレーションのサブセットにおいて他の方法で構成することができる（例えば、エゴエージェントが、各サブセットにおいて異なる将来ポリシーオプションを実行し、エゴエージェントが、第２のサブセットにおいて、直進および／または停止状態になるなどの最小リスクポリシーを実行する）。
【0065】
Ｓ２００は、追加的または代替的には、他の任意の適切なプロセスを含むことができる。
【0066】
４．３ 方法－将来シナリオのセットに基づいてメトリクスのセットを決定Ｓ３００
方法２００は、将来シナリオのセットに基づいて、メトリクスのセットを求めるステップＳ３００を含み、これは、環境エージェントのいずれかまたはすべてに及ぼすエゴエージェントの潜在的な影響を評価するように機能する。追加的または代替的には、Ｓ３００は、特定のポリシーを実行するリスク（例えば、衝突リスク）を判定すること、特定のポリシーを実行することでエゴエージェントが特定の目標に向かって進捗する程度を求めること、ポリシーの選択および／またはエゴエージェントの動作における他の任意の意思決定に使用される総合スコアを求めること、および／またはエゴエージェントが実行するポリシーの選択に関与する他の任意のメトリクスを特定することなど、他の任意の分析を実行するように機能することができる。
方法２００は、将来シナリオのセットに基づいて、メトリクスのセットを求めるステップＳ３００を含み、これは、環境エージェントのいずれかまたはすべてに及ぼすエゴエージェントの潜在的な影響を評価するように機能する。追加的または代替的には、Ｓ３００は、特定のポリシーを実行するリスク（例えば、衝突リスク）を判定すること、特定のポリシーを実行することでエゴエージェントが特定の目標に向かって進捗する程度を求めること、ポリシーの選択および／またはエゴエージェントの動作における他の任意の意思決定に使用される総合スコアを求めること、および／またはエゴエージェントが実行するポリシーの選択に関与する他の任意のメトリクスを特定することなど、他の任意の分析を実行するように機能することができる。
【0067】
Ｓ３００は、好ましくは、Ｓ２００に応答して、かつ／またはＳ２００の間に（例えば、それに並行して、その一部として）実行され、メトリクスのセットは、さらに好ましくは、（例えば、将来シナリオの特徴に基づいて）シミュレーションのセットのパフォーマンスに従って（例えば、その間に、それに応答して）決定される。追加的または代替的には、Ｓ３００は、方法２００の間に複数回、かつ／または他の任意の時点で実行することができる。
【0068】
メトリクスのセットは、好ましくは、提案されたポリシーに対して実行されるシミュレーションのセットに基づいて、提案された各エゴエージェントのポリシーに関連付けられたスコア（例えば、コスト関数、損失関数など）を含み、かつ／または（例えば、後述するメトリクスのセットのいずれかまたはすべてを集約することによって）スコアを集合的に決定する。そして、エゴエージェントによる実施のために最終的に選択されるポリシーが、少なくとも部分的にスコアに基づいて（例えば、複数のポリシーオプションに関連付けられたスコアの比較に基づいて）決定される。追加的または代替的には、後述するメトリクスのセットを個別に決定および／または分析することができ、他のメトリクスを決定することができ、メトリクスを他の適切な方法で集約することができ、かつ／またはメトリクスを他の方法で構成することができる。さらに、追加的または代替的には、個々のメトリクスに基づいて、かつ／または他の任意の情報に基づいて、ポリシーを選択することができる。
【0069】
Ｓ３００は、好ましくは、（例えば、総合スコアの計算に使用することができる）報酬メトリクスおよび／または報酬メトリクスのセットを求める（例えば、計算する）ステップＳ３１０を含み、報酬メトリクスは、エゴエージェントが特定の行動（例えば、ポリシー）を実施することによって、エゴエージェントおよび／または環境エージェントの目標が将来どのように（および／またはどの程度）影響を受けるのか（例えば、進行するのか、阻害されるのかなど）を特定するように機能する。追加的または代替的には、Ｓ３００は、報酬メトリクスを計算せずに実行することができる。
【0070】
報酬メトリクスを求めることは、好ましくは、環境エージェント目標メトリクス（等価的に、本明細書では影響メトリクスおよび／または環境エージェント報酬メトリクスおよび／または善良性メトリクスともいう）および／または環境目標メトリクスのセット（例えば、追跡された環境エージェントごとに１つ、エゴエージェントのセンサによって検知された環境エージェントごとに１つなど）を求める（例えば、計算する）ステップＳ３１４を含み、環境エージェント目標メトリクスは、目標に対する１または複数の環境エージェントの進捗状況（または逆に、目標に対する進捗状況の欠如）を示す。環境エージェント目標メトリクスは、さらに好ましくは、特定のポリシーを実行するエゴが環境エージェントに与える影響を示し、かつ／またはそれに基づいて決定される。好ましい態様のセットでは、例えば、環境エージェント目標メトリクスは、特定のポリシーのエゴエージェントの実行が環境エージェントに及ぼすと予測される影響を定量化する。追加的または代替的には、環境エージェント目標メトリクスは、他の任意の情報を考慮し、かつ／または表すことができる。
【0071】
好ましい態様では、例えば、環境エージェントに与えるエゴエージェントの影響は、環境エージェントが１または複数の目標（例えば、予測される目標、割り当てられた目標など）に到達するのをエゴエージェントが妨げると予測されるか否かおよび／またはその程度に基づいて評価される（例えば、定量化され、ネガティブ対ポジティブ対ニュートラルとして特徴付けられる）。好ましい例では、この影響は、少なくとも部分的には、シミュレーションの第１のサブセットと第２のサブセットとの間のメトリクスの比較に基づいて判定されるが、追加的または代替的には、第１のサブセットのみから、第２のサブセットのみから、他のシミュレーションタイプから、かつ／またはシミュレーションの任意の組合せからのメトリクスの比較に基づいて決定されるものであってもよい。
【0072】
１または複数の目標は、すべての環境エージェントについて同じであっても、環境エージェント間で異なるものであってもよく、かつ／または環境エージェントは、他の任意の目標および／または目標の組合せに関連付けられるものであってもよい。
【0073】
各環境エージェントは、単一の目標、複数の目標、および／または任意の数の目標もしくは目標の組合せと関連付けることができる。
【0074】
環境エージェントの目標は、環境エージェントが（例えば、現在走行している方向に、任意の方向などに）走行中の道路および／または走行し得る道路に沿った環境エージェントの進行など、予測および／または認識された目的地に向かう環境エージェントの進行に好ましくは関連付けられる（例えば、その進行を含む、その進行によって特徴付けられる）。いくつかの例のセットでは、これは、環境エージェントが（例えば、フォワードシミュレーションによって示されるような）未来への特定の期間内に進むことができる距離によって（例えば、部分的に、完全に）定量化することができる。
【0075】
追加的または代替的には、他の任意の位置ベースのメトリクスおよび／または位置ベースのメトリクスの導関数および／または修正された位置ベースのメトリクス（例えば、スケーリングされた距離）を、環境エージェント目標メトリクスの決定において使用することができる。
【0076】
いくつかの態様では、例えば、環境エージェントの目標（および関連する環境エージェント目標メトリクス）が、シミュレーション時間枠内でエージェントによって移動可能な距離に関連付けられ、これは、目的地に向かって前進するという目標に対応することができる。追加的または代替的には、目標は、衝突回避目標（例えば、「危機一髪」事象を含む）、距離維持目標（例えば、自己と他のエージェントとの間の距離）、および／または他の任意の目標を含むことができる。
【0077】
追加的または代替的には、環境エージェント目標メトリクスは、速度（例えば、一定の速度を維持する、速度を低下させない、予め設定された閾値および／または速度よりも速度を低下させない、予め設定された速度を超える速度変化を控える、停止しないなどの目標のために）、加速度（例えば、一定の加速度を維持する、減速を防止する、予め設定された速度および／または大きさを超える加速および／または減速を防止するなど）、ジャーク、および／または他の任意の運動パラメータに限定されるものではないが、これらを含む１または複数の運動パラメータを含むことができ、かつ／またはそれらに基づいて決定することができる。
【0078】
環境エージェント目標メトリクスは、追加的または代替的には、導き出された運動パラメータ（例えば、運動パラメータの導関数）、修正された運動パラメータ（例えば、運動パラメータのスケーリングされた導関数）、集約された運動パラメータ、および／または他の任意のパラメータに基づいて決定することができる。
【0079】
このため、運動ベースの環境目標メトリクスは、速度ベースのパラメータ（例えば、速度、速度の導関数、スケーリングされた速度など）、加速度ベースのパラメータ（例えば、加速度、加速度の導関数、ジャーク、スケーリングされた加速度など）、エネルギーおよび／または修正エネルギーパラメータ（例えば、運動エネルギー、修正／スケーリングされた運動エネルギー、位置エネルギー、修正／スケーリングされた位置エネルギー、運動および／または動的パラメータなど）、仕事および／または修正された仕事パラメータ、パワー、および／または他の任意のパラメータのうちのいずれかまたはすべてを含むことができ、かつ／またはそれらに基づいて決定することができる。
【0080】
いくつかの態様では、例えば、第１および第２のサブセットシミュレーションは、エネルギー（例えば、修正された運動エネルギー、速度二乗など）および／または仕事（例えば、環境エージェントが将来シナリオに到達するために実行することが要求される仕事、環境エージェントが将来シナリオにおける衝突を回避するために実行することが要求される仕事など）における差を求めることを可能とし、これは、エゴエージェントの動作に基づいて、エージェントがどれだけのエネルギーおよび／または仕事を消費することが（例えば、減速、停止、衝突回避などにおいて）要求されるのかを反映する。例えば、エゴエージェントの提案されたポリシーが、エゴエージェントまたは別のオブジェクトに衝突するのを避けるために、環境エージェントがブレーキを踏むことを必要とする場合、停止するために必要な仕事の量を計算することができ、それを使用して、環境エージェントが目標に到達する（例えば、エネルギーおよび／または仕事の消費を最小限に抑える）のをエゴエージェントが阻害することを定量化することができる。
【0081】
追加的または代替的には、環境エージェント目標メトリクスは、環境エージェントの向いている方向（例えば、進行方向の変化を最小化する目標の場合、エージェントの方位角と交通の方向［例えば、車線の境界線の方向］との間の差を最小化する目標の場合など（大きな角度は環境エージェントがハンドルを切ったことを示す可能性があるため））および／または他の任意のメトリクスに限定されるものではないが、それらを始めとするの１または複数の方位パラメータを含むことができ、かつ／またはそれらに基づいて決定することができる。
【0082】
追加的または代替的には、環境エージェント目標メトリクスは、他のエージェントおよび／または道路形状および／または他の環境特徴（例えば、静的オブジェクト）に対する車両の位置（例えば、距離）を示す位置パラメータなど、１または複数の位置パラメータを含むことができ、かつ／またはそれらに基づいて決定することができる。いくつかの態様では、例えば、路肩または他の望ましくない領域内の環境エージェントの位置は、環境エージェントが妨げられていること（例えば、その環境エージェント目標メトリクス値を減少／ダウンウェイトすること）を示すことができる。チェックされる可能性のある他の位置は、車道以外の位置（例えば、歩道、芝生など）、他のオブジェクトと一致する位置、および／または他の任意の位置を含むことができるが、それらに限定されるものではない。
【0083】
追加的または代替的には、環境エージェント目標メトリクスは、環境エージェントが交通規則、交通マナーおよび／または他の任意の特徴のいずれかまたはすべてを遵守する予測レベルを含むことができ、かつ／またはそれに基づいて決定することができる。例えば、エゴエージェントの動作に起因して環境エージェントが交通規則および／または交通マナーに背くようになる場合には、環境エージェント目標メトリクスの値が減少し、かつ／またはエゴエージェントの提案されたポリシーが他の方法で不利になる。追加的または代替的には、環境エージェント目標メトリクスは、（例えば、上述したような）パラメータおよび／またはメトリクスの任意の組合せに基づいて、例えば、方程式に従って、重み付けおよび／またはスケーリングされた方程式に従って、平均化され、合計され、かつ／または他の方法で組み合わされることにより、決定することができる。
【0084】
第１の態様のセットでは、環境エージェント目標メトリクスは、追跡された各環境エージェントに関連する移動距離パラメータに関連付けられ（例えば、それに基づいて決定され、あるいはそれに基づいて定量化され）、移動距離パラメータは、異なるエージェント間および／または異なるタイプのエージェント間で比較可能であること、他のメトリクスを線形にスケーリングすること、および／または他の任意の利点のうち、いずれかまたはすべてを有することができる。移動距離パラメータは、好ましくは（例えば、図３Ａ、図３Ｂ、図４、図５および図６においてＤ１およびＤ２によって示すように）、シミュレーションの第１のサブセットにおいて環境エージェントが移動することができる距離と、シミュレーションの第２のサブセットにおいて環境エージェントが移動することができる距離との間の差に基づいて計算される。パラメータは、シミュレーションで示されるタイムステップのセットの各々について計算することができ、すべてのタイムステップにわたって集約することができ、差の平均（または差の最大値、差の中央値など）を求めるために使用することができ、かつ／または他の方法で計算することができる。パラメータは、任意選択的には、シミュレーションの第１のサブセットにおける距離とシミュレーションの第２のサブセットにおける距離との比、および／またはこの比の逆数を含むことができ、この比は、（例えば、報酬メトリクスについて後述するように）他のメトリクスをスケーリングするための重みとして機能することができる。追加的または代替的には、パラメータは、それらの距離の差であり、かつ／またはそれらの距離に基づいて決定される任意のパラメータであり得る。
【0085】
特定の例では、移動距離パラメータは、（例えば、コスト関数を決定する際、損失関数を決定する際、ポリシースコアを求める際などの）他のメトリクスおよび／またはメトリクスの集合的なセットのスケーリング係数であり、複数の様々なタイプのエージェント（車両、歩行者および任意選択的には他のエージェントなど）に適用することができる。このような態様では、例えば、シミュレーションの歩行者が移動していて、その後停止した場合（これは、エゴエージェントに起因して、または様々な無関係な状況に起因して生じ得る）、距離は（完全に停止したとしても）比較的小さくなるため、全体的なメトリクスへの寄与は（例えば、完全に停止した車両と比較して）比較的低くなる。
【0086】
移動距離パラメータに加えてまたはその代わりに、環境エージェント目標メトリクスは、他の距離パラメータ、運動パラメータ（例えば、シミュレーションのサブセット間の加速度の変化、シミュレーションのサブセット間の速度の変化など）、および／または他の任意のパラメータのいずれかまたはすべてに基づいて決定することができる。運動パラメータおよび／または他の任意のパラメータを含む態様では、パラメータを、任意選択的には、エージェントのタイプ（例えば、歩行者対自動車）に基づいてスケーリングするか、または他の方法で調整することができる。
【0087】
第２の態様のセットでは、環境エージェント目標メトリクスは、エゴエージェントに応答して（例えば、エゴエージェントが特定のポリシーを実行するときに）、環境エージェントに関連付けられるエネルギーおよび／または仕事消費の変化の分析に基づいて決定される（例えば、それと等しくなる、あるいはそれに基づいて計算される）。例えば、シミュレーションの第１のサブセットと第２のサブセットとの間の環境エージェントの修正運動エネルギー（例えば、速度二乗）の差を使用して、環境エージェント目標メトリクスが計算（例えば、形成）される。例えば、環境エージェントの修正運動エネルギーの経時的な変化が、シミュレーションの第１および第２のサブセット間で大きく異なる場合（例えば、環境エージェントが急激に減速したことを示す場合、環境エージェントが衝突に関与していることを示す場合など）、環境エージェント目標メトリクスはこれを反映することができる。追加的または代替的な例では、例えば、シミュレーションの第１のサブセットと第２のサブセットとの間で、環境エージェントがその将来の状態に到達するために発揮することが要求される仕事の差が求められ、それが環境エージェント目標メトリクスとして（かつ／または環境エージェント目標メトリクスを決定するために）使用され得る。例えば、エゴエージェントのための提案されたポリシーが、環境エージェントが反応において（例えば、エゴエージェントに衝突しないように、別のオブジェクトに衝突しないように、他のエージェントに対して予め設定された距離を維持するために）多量の仕事をする必要があるという結果に至る場合、環境エージェント目標メトリクスは、これを反映することができる。
【0088】
環境エージェント目標メトリクス（および／または他のメトリクス、集約されたメトリクス、総合スコアなど）のいずれかまたはすべては、任意選択的には、環境エージェントの分類ラベル（例えば、歩行者対車両、車両対自転車など）、エゴエージェントに対する環境エージェントの近接性（例えば、車両に最も近いオブジェクトは、より高い潜在的な影響と関連付けられる）および／または他のエージェント、および／または他の特徴のいずれかまたはすべてに基づいて決定（例えば、スケーリング）され得る。
【0089】
いくつかの態様では、例えば、環境エージェント目標メトリクスを決定することが、任意の数の環境の特徴、エージェントの特徴、および／または状況に基づいて、環境エージェント目標メトリクスをスケーリングすることを任意選択的に含むことができる。
【0090】
シミュレーションの第２のサブセットからエゴエージェントが除去されるようないくつかの例では、エゴエージェントの後方にいる（例えば、直ぐ後ろにいる、別の車線にいるがエゴエージェントの後方に車線変更する意図がある）環境エージェント（本明細書ではそれら環境エージェントを後続エージェントともいう）に関連するパラメータ（例えば、移動距離パラメータ）にスケーリング係数を適用することができる。これは、例えば、シミュレーションの第２のサブセットにおいて、シミュレートされた後続エージェントがエゴエージェントのスポットを占有する能力から生じる、後続エージェントの移動距離の人為的に増加したゲインを減らすように機能することができる。
【0091】
追加的または代替的な例では、エゴエージェントが優先通行権を有する状況において、環境エージェントに関連付けられたパラメータにスケーリング係数を適用することができ、それにより、環境エージェントへの影響を最小限に抑えるか、または排除することができる。代替的には、パラメータを計算しないことができ、定数に等しくすることができ（例えば、比率を１、シミュレーションのサブセット間の移動距離差を０など）、かつ／または他の方法で調整することができる。（例えば、図５に示すように）全方向一時停止の十字路でエゴエージェントが優先通行権を有する特定の例では、進むのを待っている他の環境エージェントへの影響を排除および／または緩和することができる。これは、例えば、エゴエージェントが長時間停止することおよび／または他のエージェントに混乱を引き起こすことを防止するように機能することができる。
【0092】
追加的または代替的な例では、エゴエージェントが最後に移動してから経過した時間および／または他の任意の時間（例えば、エゴエージェントが新しいポリシーを最後に実施してからの時間）などの時間情報を考慮に入れたスケーリング係数を適用することができる。これは、エゴエージェントが依然として人間のようなレベルの攻撃性および／または自発性をもって運転するのを助けるように機能することができ、それにより、エゴエージェントが人間の運転を最もよく模倣すること、および／またはその目的地に向かって前進することを可能にする。特定の例のセットでは、例えば、（例えば、コンサートから出てきたばかりの）大勢の群衆がゆっくりと渡り続けている場合に、エゴエージェントは横断歩道で停止する。エゴエージェントが待つ時間がますます長くなるにつれて（例えば、その後の選択サイクルが経過するにつれて）、歩行者に関連付けられたパラメータは、歩行者の進行に悪影響を与えることに対してそれほど高い不利を与えないように、連続的にスケーリングすることができる（例えば、それによって、エゴエージェントが前方にゆっくりと動いて、横断しようしているのを群衆に合図することが可能になる）。
【0093】
各シミュレーションにおいて追跡された環境エージェントに関連付けられ、環境エージェント目標メトリクスを決定するために使用されたパラメータは、任意選択的には、複数の環境エージェントの間で集約することができ（例えば、特定の予測シナリオにおけるすべての環境エージェントについて集約することができ）、それにより、シミュレーションの特定のセットに関連付けられた全体的な環境エージェント目標メトリクスを求めることができる。パラメータを集約することは、好ましくは、追跡された環境エージェントの間で最大パラメータを決定することを含み、それにより、エゴエージェントがその環境に及ぼす最大の影響を示すことができる。追加的または代替的には、パラメータを他の方法で（例えば、影響の平均として計算すること、影響の中央値として計算することなどにより）集約することもできる。さらに、追加的または代替的には、環境エージェント目標メトリクスは、環境エージェントごとに計算することができ（例えば、各環境エージェントの報酬メトリクスおよび／またはコスト関数を計算するために使用することができ）、かつ／または他の方法で適切に決定することができる。
【0094】
報酬メトリクスを求めることは、エゴエージェント目標メトリクスを求めるステップＳ３１２をさらに含むことができ、エゴエージェント目標メトリクス（等価的に、本明細書ではエゴ進捗メトリクスおよび／またはエゴ報酬メトリクスともいう）は、目標に向かうエゴエージェントの進捗状況を示すように機能する。
【0095】
エゴエージェント目標メトリクスは、環境エージェント目標メトリクスのために使用されるものと同じタイプのメトリクス（例えば、全体的なポリシースコアを決定する際に容易に集約できるように）、環境エージェントのために使用されるものとは異なるメトリクス（例えば、エゴエージェントの異なる目標を反映するために）、および／またはメトリクスの任意の組合せとすることができる。
【0096】
いくつかの態様では、例えば、エゴエージェントは、それ自体の目標（例えば、向かっている特定の目的地、ユーザおよび／または物品を輸送するために達成しようとしている特定の時間的メトリクス、従うように制約されている交通規則および閾値、達成しようとしているパフォーマンスメトリクス、衝突回避など）についてより高い認識を持つことができるため、エゴエージェントの目標および／またはエゴエージェント目標メトリクスは、環境エージェントの目標および／または関連する環境エージェント目標メトリクスのいずれかまたはすべてと比較して、より直接的かつ／または確定的に決定する（例えば、より高い信頼度に関連付ける）ことができる。いくつかの態様では、例えば、エゴエージェントの計画および／またはルーティングサブシステムにより目的地が決められている場合（例えば、それらサブシステムから目的地が直接受信される場合）、エゴエージェント目標メトリクスは、目的地に向けた進行状況を示す。
【0097】
第１の態様のセットでは、エゴエージェントの目標は、目的地に向けた進行状況（例えば、移動距離、到達までの時間など）に関連付けられるが、追加的または代替的には、他の任意のタイプの目標を含むことができ、かつ／または提示することができる。エゴエージェント目標メトリクスは、シミュレーションのセットに基づいて（例えば、環境エージェント目標メトリクスと同じまたは同様の方法で、シミュレーションの第１のサブセットのみに基づいて）、他のシミュレーションに基づいて、かつ／または他の任意の情報に基づいて計算することができる。
【0098】
第２の態様のセットでは、エゴエージェントの目標は、追加的または代替的には、特定のポリシーを実行する際にエゴエージェントによってもたらされることが要求されるエネルギーおよび／または仕事の量と関連付けられる。
【0099】
いくつかの例では、例えば、エゴエージェント目標メトリクスは、目的地に到達する際にエゴエージェントによって費やされるエネルギーおよび／または仕事の量を示す。エゴエージェント目標メトリクスは、例えば、このエネルギーおよび／または仕事の量を増加させるポリシーを（例えば、総合スコアにおいて）不利にするように機能することができる。追加的には、エゴエージェントが車線の境界線（例えば、黄色の二重実線の境界線）を横切る場合、および／または他の交通規則、礼儀または他の基準に違反する場合に、（例えば、必要なエネルギー／仕事を増加させる）反発力など、様々なヒューリスティック（例えば、エゴエージェントに効果的に力を加える）に基づいて、エゴエージェント目標メトリクスをスケーリングすることができ、かつ／または他の方法で計算することができる。
【0100】
第３の態様のセットでは、エゴエージェントの目標は、追加的または代替的には、（例えば、エゴエージェントが乗客を輸送しているユースケースにおいて、シャトルとして機能するエゴエージェントの場合など）１または複数の快適性基準、例えば、急加速および／または急減速の最小化（例えば、それらを予め設定された閾値未満に保つ）、ジャークの最小化および／または回避、および／またはその他に関連付けられるが、それらに限定されるものではない。
【0101】
環境エージェント目標メトリクス（例えば、個々の環境エージェント目標メトリクス、集約された環境エージェント目標メトリクスなど）は、好ましくは、エゴエージェント目標メトリクスと集約され（例えば、スケーリングするために使用され）、その組み合わせが、全体的な報酬メトリクスを決定する（例えば、環境エージェントが悪影響を受ける場合、エゴエージェント目標メトリクスを減少させる）。追加的または代替的には、報酬メトリクスは、他の方法で適切に求めることができる。
【0102】
Ｓ３００は、任意選択的には、成功メトリクスを求めるステップＳ３２０を含むことができ、これは、好ましくは、エゴエージェントが特定の提案されたポリシー（例えば、シミュレートされたポリシー）を成功裏に実行することができる尤度（例えば、確率）を反映する（例えば、定量化する）。成功メトリクスは、好ましくは、衝突メトリクスに基づいて（かつ／または衝突メトリクスに等しく）決定され、特定の提案されたポリシーの実行の成功は、衝突および／または衝突リスクの回避、特定の深刻度閾値（例えば、予め設定されたエネルギー閾値、予め設定された修正運動エネルギー閾値、衝突を防止するために必要な仕事に対応する予め設定された仕事閾値など）を超える衝突の回避、予め設定された閾値未満（例えば、５％の尤度、１０％の尤度、２０％の尤度、０～１０％の尤度など）の衝突リスクの維持、および／または他の任意の衝突特性のうち、いずれかまたはすべてに基づいて規定することができる。衝突メトリクスを求めるステップＳ３２２は、好ましくは、（例えば、それらエージェントのいずれかまたはすべての間の衝突を検出するために）エゴエージェントが環境エージェントとともにシミュレートされるシミュレーションの第１のサブセットに基づいて実行されるが、追加的または代替的には、他の任意のシミュレーションおよび／または情報に基づいて決定することができる。
【0103】
追加的または代替的には、成功メトリクスは、例えば、快適性基準（例えば、加速度変化を予め設定された閾値未満に維持すること、ジャークを予め設定された閾値未満に維持すること、速度変化を予め設定された閾値未満に維持すること、ブレーキ速度を予め設定された閾値未満に維持することなど）、交通規則の基準、および／または他の任意の基準などに限定されるものではないが、それらの他の任意の性能基準を反映することもできる。
【0104】
好ましい態様のセットでは、成功メトリクスは、エゴエージェントが特定のポリシーを実行した場合に衝突が発生する確率に基づいて求める（例えば、確率に等しくする）ことができる。
【0105】
別の態様のセットでは、成功メトリクスは、追加的にまたは代替的には、衝突の予測される深刻度に基づいて（例えば、修正された運動エネルギーの観点から、運動エネルギーの観点から、環境エージェントが歩行者、車両または静的オブジェクトであるかどうかに基づいて）求められる。
【0106】
Ｓ３００は、任意選択的には、（例えば、シミュレーションの各セットについて）メトリクスのセットのいずれかまたはすべてを集約することを含むことができ、これは、エゴエージェントについて提案された各ポリシーに関連付けられた総合スコア（例えば、コスト関数、損失関数など）を求めるように機能する。好ましい態様のセットでは、環境エージェント目標メトリクスとエゴエージェント目標メトリクスとを組み合わせた報酬メトリクスが決定され、この報酬メトリクスは、成功メトリクスの確率とさらに集約して（例えば、乗算して）、総合スコアを求めることができる（例えば、コスト関数は、損失関数の逆数であり、コスト関数は、１から損失メトリクスを減算することによって計算される）。いくつかの態様では、例えば、成功メトリクスは、報酬が高いがリスクも高いポリシーが自動的に実行されないように、報酬メトリクスをスケールダウンするように効果的に機能する。追加的または代替的には、メトリクスは、任意の適切なメトリクスを求めるために、他の方法で集約し、かつ／または他の方法で使用することができる。
【0107】
追加的または代替的には、Ｓ３００は、他の任意の適切なプロセスを含むことができる。
【0108】
４．４ 方法－メトリクスのセットに基づいてエゴエージェントを動作させるＳ４００
方法２００は、任意選択的には、メトリクスのセットに基づいてエゴエージェントを動作させるステップを含むことができ、これは、Ｓ３００においてメトリクスのセットに基づいて決定された最適なポリシーに従ってエゴエージェントを動作させるように機能する。追加的または代替的には、Ｓ４００は、他の任意の適切な機能を実行することができる。
方法２００は、任意選択的には、メトリクスのセットに基づいてエゴエージェントを動作させるステップを含むことができ、これは、Ｓ３００においてメトリクスのセットに基づいて決定された最適なポリシーに従ってエゴエージェントを動作させるように機能する。追加的または代替的には、Ｓ４００は、他の任意の適切な機能を実行することができる。
【0109】
Ｓ４００は、任意選択的には、シミュレーションの異なるセット間で集約されたメトリクス（例えば、図８に示すようなコスト関数）を比較することを含むことができ、シミュレーションのこれらのセットの各々は、エゴエージェントのための特定の提案されたポリシーに対応し、エゴエージェントが実施するのに最適なポリシー（例えば、最小のコスト関数に関連付けられたポリシー）が選択されるようになっている。
【0110】
好ましい態様のセットでは、例えば、Ｓ４００が、最も高い総合スコアに関連付けられたポリシーを選択して実施することを含む。
【0111】
別の態様のセットでは、Ｓ４００が、最小コストに関連付けられたポリシーを選択して実施することを含む。
【0112】
追加的または代替的には、エゴエージェントを、他の方法で適切に操作（例えば、操縦）することが可能である。
【0113】
追加的または代替的には、エゴエージェントのためのポリシーは、他の方法で選択することができ、かつ／またはＳ４００は、他の任意の適切なプロセスを含むことができる。
【0114】
５．バリエーション
方法２００の第１の変形例のセットでは（例えば、図７に示すように）、環境エージェント目標メトリクス（等価的に、本明細書では影響スコアともいう）が、シミュレーションの第１および第２のサブセット間の距離差のセットに基づいて求められる。図７に示すように、例えば、エゴエージェントの有無による最終的な将来位置の差を示すメトリクスＤ１は、提案されたポリシーを実施するエゴエージェントが、環境エージェントが道路に沿って進行するのをどの程度妨げるのかを判定するために使用することができる。例えば、環境エージェント目標メトリクスは、Ｄ１および／またはＤ１のスケーリングされたバージョン（例えば、環境エージェントがエゴエージェントに追尾していることを示すため）および／またはＤ１に基づいて求められるメトリクス（例えば、ｄ１に対するＤ１の比率、ｄ１に対する（Ｄ１＋ｄ１）の比率など）に等しい。特定の例では、例えば、ｄ１は、エゴエージェントが存在する状態で環境エージェントが移動するときに予想される距離を示し、Ｄ１は、ｄ１と集約されることにより、環境エージェント目標メトリクスを決定することができる。
方法２００の第１の変形例のセットでは（例えば、図７に示すように）、環境エージェント目標メトリクス（等価的に、本明細書では影響スコアともいう）が、シミュレーションの第１および第２のサブセット間の距離差のセットに基づいて求められる。図７に示すように、例えば、エゴエージェントの有無による最終的な将来位置の差を示すメトリクスＤ１は、提案されたポリシーを実施するエゴエージェントが、環境エージェントが道路に沿って進行するのをどの程度妨げるのかを判定するために使用することができる。例えば、環境エージェント目標メトリクスは、Ｄ１および／またはＤ１のスケーリングされたバージョン（例えば、環境エージェントがエゴエージェントに追尾していることを示すため）および／またはＤ１に基づいて求められるメトリクス（例えば、ｄ１に対するＤ１の比率、ｄ１に対する（Ｄ１＋ｄ１）の比率など）に等しい。特定の例では、例えば、ｄ１は、エゴエージェントが存在する状態で環境エージェントが移動するときに予想される距離を示し、Ｄ１は、ｄ１と集約されることにより、環境エージェント目標メトリクスを決定することができる。
【0115】
環境エージェント目標メトリクス（等価的に、本明細書では影響スコアともいう）は、エゴエージェントが環境エージェントに及ぼすと予測される悪影響を環境エージェント目標メトリクスが示す場合などに、全体的な報酬メトリクス（例えば、集約された環境エージェント目標メトリクスおよびエゴエージェント目標メトリクス）を効果的にスケールダウンするために任意選択的に使用することができる。追加的または代替的には、エゴエージェントが環境エージェントに肯定的な影響を与える場合（例えば、環境エージェントに道を開く場合）、環境エージェント目標メトリクスは、報酬メトリクスの値を増加させることができる。
【0116】
いくつかの例では、環境エージェントに関連付けられた距離および／または速度は、環境エージェントのエネルギーメトリクス（例えば、修正運動エネルギー、速度二乗計算など）および／または仕事メトリクスの計算においてさらに使用することができ、環境エージェント目標メトリクス（等価的に、本明細書では影響スコアともいう）は、エネルギーメトリクスおよび／または仕事メトリクスに基づいて計算される。
【0117】
方法２００の第２の変形例のセットでは（例えば、図９Ａおよび図９Ｂに示すように）、環境エージェント目標メトリクスは、エゴエージェントが特定のポリシーを実行することに応答して（例えば、エゴエージェントが存在しないと仮定した場合と比較して）環境エージェントによってどれだけのエネルギーおよび／または仕事が費やされる必要があるのかを定量化するエネルギーメトリクスおよび／または仕事メトリクスのセットに基づいて計算される。
【0118】
追加的または代替的には、方法２００は、他の方法で適切に実行することができる。
【0119】
簡略化のために省略したが、好ましい実施形態は、様々なシステム構成要素および様々な方法プロセスのあらゆる組合せおよび置換を含み、方法プロセスは、連続的にまたは同時に、任意の適切な順序で実行することができる。
【0120】
システムおよび／または方法の実施形態は、様々なシステムコンポーネントおよび様々な方法プロセスのあらゆる組合せおよび置換を含むことができ、本明細書に記載の方法および／またはプロセスの１または複数のインスタンスは、非同期的に（例えば、連続的に）、同時期に（例えば、同時に、並行してなど）、または他の任意の適切な順序で、かつ／または本明細書に記載のシステム、要素および／またはエンティティの１または複数のインスタンスによってかつ／またはそれらを使用して、実行することができる。以下のシステムおよび／または方法のコンポーネントおよび／またはプロセスは、上述した出願に開示のシステムおよび／または方法のすべてまたは一部とともに、それらに加えて、それらに代えて、または他の方法で統合して、使用することができ、それら出願の各々は、この引用によってその全体が援用されるものとする。
【0121】
追加的または代替的な実施形態は、コンピュータ可読命令を記憶する非一時的なコンピュータ可読媒体において、上記方法および／または処理モジュールを実装する。命令は、コンピュータ可読媒体および／または処理システムと統合されたコンピュータ実行可能コンポーネントによって実行され得る。コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（ＣＤまたはＤＶＤ）、ハードドライブ、フロッピードライブ、非一時的なコンピュータ可読媒体、または任意の適切なデバイスなど、任意の適切なコンピュータ可読媒体を含むことができる。コンピュータ実行可能コンポーネントは、ＣＰＵ、ＧＰＵ、ＴＰＵＳ、マイクロプロセッサまたはＡＳＩＣなどの、非一時的なコンピュータ可読媒体に接続されたコンピューティングシステムおよび／または処理システム（例えば、１または複数のコロケーションまたは分散、リモートまたはローカルプロセッサを含む）を含むことができるが、命令は、代替または追加として任意の適切な専用ハードウェアデバイスによって実行することができる。
【0122】
当業者は、前述した詳細な説明並びに図面および特許請求の範囲から認識されるように、以下の特許請求の範囲で定義される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に修正および変更を加えることができる。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【国際調査報告】