ホーム > 特許ランキング > ＧＡＴＩＫ ＡＩ ＩＮＣ．
知財求人 - 知財ポータルサイト「IP Force」
特表2025-501477自律エージェントの運行設計領域を拡張するための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-22
(54)【発明の名称】自律エージェントの運行設計領域を拡張するための方法およびシステム
(51)【国際特許分類】
B60W 50/00 20060101AFI20250115BHJP
B60W 30/10 20060101ALI20250115BHJP
B60W 30/08 20120101ALI20250115BHJP
B60W 40/02 20060101ALI20250115BHJP
B60W 60/00 20200101ALI20250115BHJP
G08G 1/16 20060101ALI20250115BHJP
G06N 20/00 20190101ALI20250115BHJP
【ＦＩ】
B60W50/00
B60W30/10
B60W30/08
B60W40/02
B60W60/00
G08G1/16 C
G06N20/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024534537
(86)(22)【出願日】2022-12-14
(85)【翻訳文提出日】2024-08-07
(86)【国際出願番号】 US2022052894
(87)【国際公開番号】W WO2023114330
(87)【国際公開日】2023-06-22
(31)【優先権主張番号】63/290,531
(32)【優先日】2021-12-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/316,108
(32)【優先日】2022-03-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522470965
【氏名又は名称】ガティック エーアイ インコーポレイテッド
【氏名又は名称原語表記】ＧＡＴＩＫ ＡＩ ＩＮＣ．
(74)【代理人】
【識別番号】110001302
【氏名又は名称】弁理士法人北青山インターナショナル
(72)【発明者】
【氏名】クマヴァット，アペクシャ
(72)【発明者】
【氏名】ナラン，アルジュン
(72)【発明者】
【氏名】ナラン，ゴータム
(72)【発明者】
【氏名】アニル，エンギン バラク
【テーマコード（参考）】
3D241
5H181
【Ｆターム（参考）】
3D241BA11
3D241BA31
3D241DC25Z
3D241DC33Z
5H181AA01
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5H181LL15
5H181LL17
(57)【要約】
自律エージェントの運行設計領域（ＯＤＤ）を拡張するためのシステムが、ディシジョンメーキングプラットフォーム（本明細書では、等価的に、ディシジョンメーキングアーキテクチャと呼ばれる）を含む。運行設計領域（ＯＤＤ）を拡張するための方法が、第１の領域のためのディシジョンメーキングアーキテクチャを決定することと、そのディシジョンメーキングアーキテクチャを第２の領域に適応させることとを含む。追加または代替として、方法２００は、ディシジョンメーキングアーキテクチャを実装することＳ３００および／または任意の他のプロセスを含むことができる。
【選択図】図６
【選択図】図６
【特許請求の範囲】
【請求項1】
自律車両の動作を拡張するための方法であって、前記方法は、・ 固定ルートの第１のセットに沿った前記自律車両の動作のためのモデルの初期セットを決定することであって、モデルの前記初期セットが、
・ 複数のモデルの第１のセットであって、複数のモデルの前記第１のセットの各々が、前記自律車両の環境に関連するコンテキストに基づいて前記自律車両のためのアクションのセットを決定するように構成された、複数のモデルの第１のセットと、
・ 複数のモデルの第２のセットであって、複数のモデルの前記第２のセットの各々が、モデルの前記第１のセットのうちの少なくとも１つの出力のセットに基づいて前記自律車両のための軌道を決定するように構成された、複数のモデルの第２のセットと
を含む、決定することと、
・ モデルの前記第１のセットおよびモデルの前記第２のセットに基づいて、固定ルートの前記第１のセットのうちの固定ルートに沿って前記自律車両を動作させることと、
・ 固定ルートの第２のセットに沿った前記自律車両の動作のためにモデルの前記初期セットを拡張することであって、モデルの前記初期セットを拡張することが、
・ 複数のモデルの第３のセットを決定することであって、
● 固定ルートの前記第２のセットに関連するコンテキストラベルの新しいセットを決定することと、
・ コンテキストラベルの前記新しいセットに関連する各コンテキストタイプについて、
・ 第１の手動プロセスで、モデルの前記第１のセットのサブセットを、前記コンテキストタイプとモデルの前記第１のセットの前記サブセットに関連するコンテキストのセットとの間の特徴の第１の共有セットに基づいて、選択することと、
・ 自動プロセスで、集約された重みの第１のセットを作り出すために、モデルの前記第１のセットの前記サブセットに関連するモデル重みを集約することと、
・ 固定ルートの前記第２のセットの通過中に収集されたセンサーデータのセットに基づいて、集約された重みの前記第１のセットを改良し、それにより、モデルの前記第３のセットを作り出すことと
を含む、決定することと、
・ 複数のモデルの第４のセットを決定することであって、
● 固定ルートの前記第２のセットに関連するアクションの新しいセットを決定することと、
・ アクションの前記新しいセットに関連する各アクションタイプについて、
・ 第２の手動プロセスで、モデルの前記第２のセットのサブセットを、前記アクションタイプとモデルの前記第２のセットの前記サブセットに関連するアクションのセットとの間の特徴の第２の共有セットに基づいて、選択することと、
・ 自動プロセスで、集約された重みの第２のセットを作り出すために、モデルの前記第２のセットの前記サブセットに関連するモデル重みを集約することと、
・ センサーデータの前記セットに基づいて、集約された重みの前記第２のセットを改良し、それにより、モデルの前記第４のセットを作り出すことと
を含む、決定することと
を含む、拡張することと、
・ モデルの前記第３のセットおよびモデルの前記第４のセットに基づいて、固定ルートの前記第２のセットのうちの固定ルートに沿って前記自律車両を動作させることと
を含む、方法。
【請求項2】
モデルの前記第１のセットおよびモデルの前記第２のセットに基づいて、固定ルートの前記第１のセットのうちの固定ルートに沿って前記自律車両を動作させることが、前記固定ルートの通過中に複数の時点のセットの各々において、・ 前記自律車両のロケーションに基づいて、ラベリングされたマップから前記ロケーションに関連するコンテキストを取り出すことと、
・ 前記コンテキストを前記第１のセットのうちのモデルにマッピングすることと、
・ アクションを作り出すために前記第１のセットのうちの前記モデルを評価することと、
・ 前記アクションを前記第２のセットのうちのモデルにマッピングすることと、
・ 軌道を作り出すために前記第２のセットのうちの前記モデルを評価することと、
・ 前記軌道に従って前記自律車両を操作することと
を含む、請求項１に記載の方法。
【請求項3】
モデルの前記第３のセットおよびモデルの前記第４のセットに基づいて、固定ルートの前記第２のセットのうちの固定ルートに沿って前記自律車両を動作させることは、前記固定ルートの通過中に複数の時点のセットの各々において、・ 前記自律車両のロケーションに基づいて、ラベリングされたマップから前記ロケーションに関連するコンテキストを取り出すことであって、コンテキストラベルの前記新しいセットが前記コンテキストを含む、取り出すことと、
・ 前記コンテキストを前記第３のセットのうちのモデルにマッピングすることと、
・ アクションを作り出すために前記第３のセットのうちの前記モデルを評価することと、
・ 前記アクションを前記第４のセットのうちのモデルにマッピングすることと、
・ 軌道を作り出すために前記第４のセットのうちの前記モデルを評価することと、
・ 前記軌道に従って前記自律車両を操作することと
を含む、請求項２に記載の方法。
【請求項4】
モデルの前記第１のセット、モデルの前記第２のセット、モデルの前記第３のセット、およびモデルの前記第４のセットの各々が、機械学習モデルである、請求項１に記載の方法。
【請求項5】
モデルの前記第１のセット、モデルの前記第２のセット、モデルの前記第３のセット、およびモデルの前記第４のセットの各々が、深層ニューラルネットワークを含む、請求項４に記載の方法。
【請求項6】
モデルの前記第１のセット、モデルの前記第２のセット、モデルの前記第３のセット、およびモデルの前記第４のセットの各々が、前記自律車両に関連する環境表現を入力として受信し、モデルの前記第１のセットおよびモデルの前記第３のセットの環境表現が、モデルの前記第２のセットおよびモデルの前記第４のセットの環境表現よりも包括的である、請求項１に記載の方法。
【請求項7】
モデルの前記第２のセットおよびモデルの前記第４のセットの前記環境表現が、前記自律車両のために選択されたアクションの方向性に基づいて改良される、請求項６に記載の方法。
【請求項8】
前記方向性が、前記アクションによって規定される前記自律車両の向きを含む、請求項７に記載の方法。
【請求項9】
モデルの前記第１のセット、モデルの前記第２のセット、モデルの前記第３のセット、およびモデルの前記第４のセットの前記環境表現が、潜在空間表現を含み、前記潜在空間表現が、前記自律車両の環境に関連する抽象的な特徴のセットを定義し、抽象的な特徴の前記セットが、前記自律車両に搭載されて収集されたセンサーデータに基づいて決定される、請求項７に記載の方法。
【請求項10】
固定ルートの前記第２のセットが、固定ルートの前記第１のセットとは別個および別である、請求項１に記載の方法。
【請求項11】
モデルの前記第１のセットの前記サブセットが複数のモデルを含む、請求項１に記載の方法。
【請求項12】
モデルの前記第２のセットの前記サブセットが複数のモデルを含む、請求項１１に記載の方法。
【請求項13】
前記手動プロセスが、ルールベースプロセスおよびプログラムされたプロセスのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項14】
固定ルートの前記第１のセットおよび固定ルートの前記第２のセットの各々が、前記自律車両の配送使用事例に関連し、固定ルートの前記第１のセットおよび固定ルートの前記第２のセットの各々が、流通センターのセット、倉庫のセット、および小売業者のセットのいずれかまたはすべての間で整えられる、請求項１に記載の方法。
【請求項15】
アクションの前記新しいセットが、流通センターの前記セットのうちの新しい流通センター、倉庫の前記セットのうちの新しい倉庫、および小売業者の前記セットのうちの新しい小売業者のうちの１つまたは複数に関連する荷積みドックに止まることを含む、請求項１４に記載の方法。
【請求項16】
特徴の前記第１の共有セットが、・ 共有コンテキストラベル、または
・ 道路特徴のセット
のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項17】
道路特徴の前記セットが、交差点、横断歩道、および自転車レーンのうちの少なくとも１つを含む、請求項１６に記載の方法。
【請求項18】
特徴の前記第２の共有セットが、前記アクションタイプとアクションの前記セットとにおいて実装される動きの方向性を含む、請求項１に記載の方法。
【請求項19】
前記自動プロセスがアルゴリズムの評価を含む、請求項１に記載の方法。
【請求項20】
前記アルゴリズムが、トレーニングされたアルゴリズムである、請求項１９に記載の方法。
【請求項21】
自律車両の動作を拡張するための方法であって、前記方法は、・ 固定ルートの第１のセットに沿った前記車両の動作のためのモデルの初期セットを決定することであって、モデルの前記初期セットが、
・ 複数のモデルの第１のセットと、
・ 複数のモデルの第２のセットであって、モデルの前記第２のセットのうちのモデルが、モデルの前記第１のセットのうちの１つまたは複数で作り出された出力に基づいて評価される、複数のモデルの第２のセットと
を含む、決定することと、
・ モデルの前記第１のセットおよびモデルの前記第２のセットに基づいて、固定ルートの前記第１のセットのうちの固定ルートに沿って前記自律車両を動作させることと、
・ 前記自律車両の動作を固定ルートの第２のセットに拡張することであって、
・ 固定ルートの前記第２のセットに関連する特徴のセットを決定することと、
・ モデルの前記第１のセットの、複数のモデルを含む第１のサブセットを、固定ルートの前記第２のセットに関連する特徴の前記セットと、前記第１のサブセットに関連する特徴のセットとに基づいて、選択することと、
・ モデルの前記第２のセットの、複数のモデルを含む第２のサブセットを、固定ルートの前記第２のセットに関連する特徴の前記セットと、前記第２のサブセットに関連する特徴のセットとに基づいて、選択することと、
・ 集約された重みの第１のセットを作り出すために、前記第１のサブセットからのモデル重みを集約することと、
・ 集約された重みの第２のセットを作り出すために、前記第２のサブセットからのモデル重みを集約することと、
・ 集約された重みの前記第１のセットと、固定ルートの前記第２のセットの通過中に収集されたデータのセットとに基づいて、モデルの第３のセットをトレーニングすることと、
・ 集約された重みの前記第２のセットとデータの前記セットとに基づいて、モデルの第４のセットをトレーニングすることと
を含む、拡張することと、
・ 固定ルートの前記第２のセットのうちの固定ルートに沿って前記自律車両を動作させることと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その各々の全体がこの参照によって組み込まれる、２０２１年１２月１６日に出願された米国仮出願第６３／２９０，５３１号、および２０２２年３月３日に出願された米国仮出願第６３／３１６，１０８号の利益を主張する。
本出願は、その各々の全体がこの参照によって組み込まれる、２０２１年１２月１６日に出願された米国仮出願第６３／２９０，５３１号、および２０２２年３月３日に出願された米国仮出願第６３／３１６，１０８号の利益を主張する。
【0002】
本発明は、一般に自律車両分野に関し、より詳細には、自律車両分野において自律エージェントの運行設計領域（ｏｐｅｒａｔｉｏｎａｌ ｄｅｓｉｇｎ ｄｏｍａｉｎ）を拡張するための新しく有用なシステムおよび方法に関する。
【背景技術】
【0003】
自動運転車両において安全で有効なディシジョンを行うことは、困難なタスクである。このタイプのディシジョンメーキングは、車両の周りの現在の環境と、将来に向けてのこの環境の発展と、あらかじめ定義された運転目標に向かう安全で継続的な前進との理解を必要とする。すべてのディシジョンは、道路の運転ルールと人間の運転慣習の両方によって継続的に制約されなければならず、これは、莫大な数の考えられる相互作用と組み合わせられて、ディシジョンメーキングを自律システムにとって非常に複雑で困難な問題にする。ディシジョンメーキングシステムが適切に設けられることが可能である場合でも、展開の領域をスケーリングするとき、従来のシステムにおけるディシジョンメーキングシステムは不十分な一般化を行い、これは、車両の不十分な性能、信頼性問題、および安全リスクにつながることがある。この問題を緩和するための従来の手法は、テストデータと同じ分散を有する、大量のラベリングされたまたは部分的にラベリングされたデータを再収集し、次いで、新しいデータに関して機械学習モデルをトレーニングすることである。しかしながら、多くのファクタが、そのようなデータへの容易なアクセスを妨げ、これは、制限の中でも、高い注釈コスト、増加された製品化までの時間、および限られた領域スケーリングにつながる。
【0004】
したがって、自律車両分野では、自律車両分野において自律エージェントの運行設計領域を拡張するための改善されたおよび有用なシステムおよび方法を作成する必要がある。
【図面の簡単な説明】
【0005】
【発明を実施するための形態】
【0006】
本発明の好ましい実施形態の以下の説明は、本発明をこれらの好ましい実施形態に限定することを意図するものではなく、むしろ、当業者が本発明を製作および使用することを可能にすることを意図するものである。
【0007】
１．概要
図１に示されているように、自律エージェントの運行設計領域（ＯＤＤ）を拡張するためのシステム１００が、ディシジョンメーキングプラットフォーム（本明細書では、等価的に、ディシジョンメーキングアーキテクチャと呼ばれる）を含む。追加または代替として、システム１００は、コンピューティングサブシステムのセット（たとえば、コンピュータのセット、コンピュータのセットにおいて実装されるソフトウェアモジュールおよび／またはタスクブロックのセットなど）および／または処理サブシステム（たとえば、プロセッサのセット、プロセッサのセットにおいて実装される処理モジュールおよび／またはタスクブロックのセット）、センサーのセット、制御サブシステム、作動サブシステム（たとえば、ドライブバイワイヤサブシステム）、（たとえば、他のエージェント、リモートコンピューティングサブシステム、遠隔オペレータプラットフォームなどと通信するための）通信サブシステム、自律エージェント、ならびに／あるいは任意の他の好適な構成要素のいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。さらに追加または代替として、システム１００は、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号、および２０２２年１０月７日に出願された米国出願第１７／９６２，４５９号のいずれかまたはすべてに記載されている構成要素のいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。
図１に示されているように、自律エージェントの運行設計領域（ＯＤＤ）を拡張するためのシステム１００が、ディシジョンメーキングプラットフォーム（本明細書では、等価的に、ディシジョンメーキングアーキテクチャと呼ばれる）を含む。追加または代替として、システム１００は、コンピューティングサブシステムのセット（たとえば、コンピュータのセット、コンピュータのセットにおいて実装されるソフトウェアモジュールおよび／またはタスクブロックのセットなど）および／または処理サブシステム（たとえば、プロセッサのセット、プロセッサのセットにおいて実装される処理モジュールおよび／またはタスクブロックのセット）、センサーのセット、制御サブシステム、作動サブシステム（たとえば、ドライブバイワイヤサブシステム）、（たとえば、他のエージェント、リモートコンピューティングサブシステム、遠隔オペレータプラットフォームなどと通信するための）通信サブシステム、自律エージェント、ならびに／あるいは任意の他の好適な構成要素のいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。さらに追加または代替として、システム１００は、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号、および２０２２年１０月７日に出願された米国出願第１７／９６２，４５９号のいずれかまたはすべてに記載されている構成要素のいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。
【0008】
図２に示されているように、運行設計領域（ＯＤＤ）を拡張するための方法２００が、第１の領域のためのディシジョンメーキングアーキテクチャを決定することＳ１００と、そのディシジョンメーキングアーキテクチャを第２の領域に適応させることＳ２００とを含む。追加または代替として、方法２００は、ディシジョンメーキングアーキテクチャを実装することＳ３００および／または任意の他のプロセスを含むことができる。さらに追加または代替として、方法２００は、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号、および２０２２年１０月７日に出願された米国出願第１７／９６２，４５９号のいずれかまたはすべてに記載されているプロセス、あるいは任意の好適な順序で実施される任意の他の好適なプロセスのいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。方法２００は、上記で説明されたシステム１００により、および／または任意の他の好適なシステムにより実施され得る。
【0009】
２．利益
自律エージェントのＯＤＤを拡張するためのシステムおよび方法は、現在のシステムおよび方法に勝るいくつかの利益を与えることができる。
自律エージェントのＯＤＤを拡張するためのシステムおよび方法は、現在のシステムおよび方法に勝るいくつかの利益を与えることができる。
【0010】
第１の変形形態では、本技術は、自律エージェントに関連する運行設計領域（ＯＤＤ）を拡張するとき、自律エージェントのディシジョンメーキングアーキテクチャにおけるモデルのセットのうちの１つまたは複数をトレーニングするために必要とされる時間および／またはデータの量を低減することの利益を与える。好ましい変形形態では、本方法および／またはシステムは、ディシジョンメーキングアーキテクチャの前のトレーニングからのデータおよびトレーニングを活用して、それを、転移学習および／または領域適応を通して他のシナリオ（たとえば、ルート、コンテキスト、アクションなど）における使用のために適応させ、これは、自律エージェントが、絶えず、前に実証されたタスクから学習された知識に基づいて、新しいタスクの学習を加速し、それにより、（１つまたは複数の）新しいタスクを扱うことに適切に備えたディシジョンメーキングアーキテクチャを生成するために必要とされる実証の量、およびしたがって時間を低減することを可能にする。
【0011】
第１の変形形態の追加の、第２の変形形態では、本技術は、（たとえば、車両によって行われたディシジョンメーキングエラーにつながる）負の転移の影響、またはディシジョンメーキングアーキテクチャを新しい領域に適応させるときの性能の他の劣化を防ぎ、および／または最小限に抑えることの利益を与える。特定の例のセットでは、車両の環境の特徴を抽出するコンパクトな潜在空間表現であって、コンパクトな潜在空間表現がディシジョンメーキングアーキテクチャにおけるモデルのモジュラーセットへの入力として働く、コンパクトな潜在空間表現を実装することは、ソース領域タスクからターゲット領域タスクへの実装されるべき効率的なおよび正確なタスクマッピングプロセスを可能にし、本発明者は、これが負の転移の影響を防ぐかまたは最小限に抑えることを発見した。
【0012】
上記で説明された変形形態の追加または代替の、第３の変形形態では、本技術は、新しい運行設計領域のための新しいモデルを決定するための開始点として使用されるべき特定のモデルの最適な選択を可能にすることの利益を与え、これは、学習を新しいモデルに転移することの有効性を増加させ、新しいモデルの性能を改善し、新しいモデルを生成するために必要とされるデータおよび／または時間の量を減少させることができ、ならびに／あるいは任意の他の好適な利益を与えることができる。例のセットでは、特定のモデルの最適な選択は、手動プロセス（たとえば、ルールベースプロセス）で実施され、これは、新しいモデルを決定するのに最も適した（たとえば、それに最も密接に関係する）特定のモデルが使用されることを可能にする。追加または代替として、車両のディシジョンメーキングアーキテクチャのモデルは、モジュラーの、連続的な配置において配置され（たとえば、モデルの第１のセットが、モデルの第２のセットの選択より前に評価され、モデルの第２のセットの選択を通知する）、これは、最も関連するモデルのみが、識別され、モデルの新しいセットを決定する際に使用されることを可能にする（たとえば、共有特徴に基づく新しいコンテキストに最も密接に関係するもの、共有特徴に基づく新しいアクションに最も密接に関係するものなど）。これは、たとえば、旧モデル使用事例（ソースモデル）と新モデル使用事例（ターゲットモデル）との間の具体的なおよび／または測定可能な類似性がないことにより、しばしば負の転移を生じる、エンドツーエンド深層学習モデルを利用する従来のシステムおよび方法とは対照的であり得る。
【0013】
上記で説明された変形形態の追加または代替の、第４の変形形態では、本技術は、車両が通過する（たとえば、自律的に通過する）ように構成された（たとえば、そうすることが可能である、そうするのに適格である、そうすることを許可されたなど）ルート（たとえば、固定ルート）のセットを拡張すること、車両が通過するように構成されたルートのタイプ（たとえば、固定ルート、動的に決定されたルートなど）を拡張すること（たとえば、ルートの長さ、ルートロケーション、（１つまたは複数の）ルートの開始点、（１つまたは複数の）ルートの目的地など）、車両が応答することができるコンテキスト（たとえば、シナリオ）の数および／または（１つまたは複数の）タイプ（たとえば、道路のタイプ、道路における車線の数、交差点のタイプ、交通標識のタイプ、ゾーンのタイプ［たとえば、スクールゾーン、住宅地ゾーン、ハイウェイ、高速道路など］など）を拡張すること、車両が実施することができるアクションの数および／または（１つまたは複数の）タイプ（たとえば、合流、徐行、駐車、荷積み、荷下ろし、車線変更など）を拡張すること、車両が実行することができる軌道の数および／またはタイプを拡張すること、車両が動作することができる運転条件の数および／またはタイプ（たとえば、気象条件、照明条件、交通条件、歩行者集中、サイクリスト集中など）を拡張すること、車両が確実に動作することができる性能条件（たとえば、センサー性能、センサーの数および／またはタイプ、センサー劣化レベルなど）を拡張すること、車両が使用され得る使用事例（たとえば、商品の配送、乗客の運搬、動的ルート使用事例など）を拡張すること、ならびに／あるいは別段に車両の運行設計領域を拡張することのいずれかまたはすべてを通して、自律車両のセットの運行設計領域を効率的におよびロバストに拡張することの利益を与える。
【0014】
追加または代替として、本システムおよび方法は、任意の他の利益を与えることができる。
【0015】
３．システム１００
図１に示されているように、（本明細書では、等価的に、自律車両、自己エージェント、自車両、または車両と呼ばれる）自律エージェントの運行設計領域（ＯＤＤ）を拡張するためのシステム１００は、好ましくは、ディシジョンメーキングプラットフォーム（本明細書では、等価的に、ディシジョンメーキングアーキテクチャと呼ばれる）を含む。追加または代替として、システム１００は、コンピューティングサブシステムのセット（たとえば、コンピュータのセット、コンピュータのセットにおいて実装されるソフトウェアモジュールおよび／またはタスクブロックのセットなど）および／または処理サブシステム（たとえば、プロセッサのセット、プロセッサのセットにおいて実装される処理モジュールおよび／またはタスクブロックのセット）、センサーのセット、制御サブシステム、作動サブシステム（たとえば、ドライブバイワイヤサブシステム）、（たとえば、他のエージェント、リモートコンピューティングサブシステム、遠隔オペレータプラットフォームなどと通信するための）通信サブシステム、自律エージェント、ならびに／あるいは任意の他の好適な構成要素のいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。さらに追加または代替として、システム１００は、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号、および２０２２年１０月７日に出願された米国出願第１７／９６２，４５９号のいずれかまたはすべてに記載されている構成要素のいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。
図１に示されているように、（本明細書では、等価的に、自律車両、自己エージェント、自車両、または車両と呼ばれる）自律エージェントの運行設計領域（ＯＤＤ）を拡張するためのシステム１００は、好ましくは、ディシジョンメーキングプラットフォーム（本明細書では、等価的に、ディシジョンメーキングアーキテクチャと呼ばれる）を含む。追加または代替として、システム１００は、コンピューティングサブシステムのセット（たとえば、コンピュータのセット、コンピュータのセットにおいて実装されるソフトウェアモジュールおよび／またはタスクブロックのセットなど）および／または処理サブシステム（たとえば、プロセッサのセット、プロセッサのセットにおいて実装される処理モジュールおよび／またはタスクブロックのセット）、センサーのセット、制御サブシステム、作動サブシステム（たとえば、ドライブバイワイヤサブシステム）、（たとえば、他のエージェント、リモートコンピューティングサブシステム、遠隔オペレータプラットフォームなどと通信するための）通信サブシステム、自律エージェント、ならびに／あるいは任意の他の好適な構成要素のいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。さらに追加または代替として、システム１００は、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号、および２０２２年１０月７日に出願された米国出願第１７／９６２，４５９号のいずれかまたはすべてに記載されている構成要素のいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。
【0016】
システム１００は、自律エージェントを動作させるための高レベルアクションおよび／または挙動決定、経路計画、操作計画、軌道計画、ならびに／あるいは任意の他のディシジョンメーキングプロセスのいずれかまたはすべてを通して、自律車両のためのディシジョンメーキングを実施するように機能する、ディシジョンメーキングアーキテクチャを含み、および／または実装する。
【0017】
システム１００は、追加または代替として、自律エージェントを制御し、自律エージェントのための認知を実施し、自律エージェントのための予測を実施し、および／または別段に、自律エージェントが動作する（たとえば、安全に走行する、最適に走行するなど）ことを可能にするように機能することができる。さらに追加または代替として、システム１００は、ディシジョンメーキングアーキテクチャおよび／または任意の他のプロセスの更新を可能にするように機能することができる。
【0018】
自律エージェントによって使用されるディシジョンメーキングアーキテクチャの少なくとも一部分が、好ましくはトレーニングされる（本明細書では、等価的に、学習されると呼ばれる）。好ましい変形形態では、たとえば、ディシジョンメーキングアーキテクチャは、限定はしないが、機械学習モデル、深層学習モデル（たとえば、ニューラルネットワーク、深層ニューラルネットワーク、畳み込みニューラルネットワークなど）、および／または任意の組合せなど、トレーニングされたモデルの１つまたは複数のセットを含む。（たとえば、以下で説明される）好ましい変形形態では、ディシジョンメーキングアーキテクチャは、自律エージェントによって遭遇される特定のシナリオ（たとえば、コンテキスト）と、随意に、前に評価されたマイクロモデルからの出力とに応じて、モジュラー様式で選択および評価される、（本明細書では、等価的に、学習モジュール、学習モデル、モデルなどと呼ばれる）トレーニングされたマイクロモデルの１つまたは複数のセットを含む。このディシジョンメーキングアーキテクチャの変形形態は、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号、および２０２２年１０月７日に出願された米国出願第１７／９６２，４５９号のいずれかまたはすべてに記載されている。追加または代替として、ディシジョンメーキングアーキテクチャは、任意の他のトレーニングされたプロセスを含み、および／または実装することができる。
【0019】
トレーニングされたモデルのモジュラーのおよび／または連続的な性質は、車両の運行設計領域を効率的におよび最適に拡張することにおいて多数の利益を与えることができる。（たとえば、以下でさらに説明される）好ましい変形形態では、たとえば、モデルの第１のセットの各々が、特定のコンテキスト（および随意に特定の固定ルートの特定のコンテキスト）に関連し、モデルの第２のセットの各々が、（たとえば、モデルの第１のセットのうちの１つまたは複数を評価することに基づいて決定される）特定のアクションに関連し、第１のセットおよび第２のセットにおける評価のために選択されたモデルが、ルールベースプロセス（たとえば、あらかじめ決定されたマッピング、ルックアップテーブルなど）により行われる。エンドツーエンドディシジョンメーキングアーキテクチャとは対照的に、たとえば、第１のセットおよび第２のセットからのモデルは、（たとえば、以下で説明されるタスクマッピングプロセスにおいて）新しいモデルを決定するための論理的なおよび説明可能なやり方で選択され得る。たとえば、新しいルートが追加されており、その新しいルートが新しいコンテキスト（たとえば、シナリオ）を含んでいる場合、その新しいコンテキストに最も関連する第１のセットからのモデルが選択され、新しいコンテキストモデルのための（たとえば、重みの初期セットを提供する）開始点として使用され（たとえば、排他的に使用され）得る。これはまた、ソースモデル（新しいモデルをトレーニングするために使用されるモデル）が新しいモデルの使用事例に説明可能に関係しない場合に生じ得る、負の転移の影響（たとえば、低い性能、および／または新しいモデルからの予期しない出力）を防ぐことができる。
【0020】
モデルの各々は、好ましくは、機械学習モデルの形態のものであり、および／またはそれを含み、さらに好ましくは１つまたは複数のニューラルネットワークおよび／またはネットワークモデル（たとえば、深層Ｑ学習ネットワーク、畳み込みニューラルネットワーク［ＣＮＮ］、逆強化学習［ＩＲＬ］モデル、強化学習［ＲＬ］モデル、模倣学習［ＩＬ］モデルなど）の形態のものであるが、追加または代替として、任意の他の好適なモデル、アルゴリズム、ディシジョンツリー、ルックアップテーブル、および／または他のツールを含むことができる。
【0021】
モデルの各々は、さらに好ましくは逆強化学習でトレーニングされ、これは、コンテキストアウェア（ｃｏｎｔｅｘｔ－ａｗａｒｅ）学習モジュールの各々についての報酬関数および／または最適運転ポリシーを決定するように機能する。このトレーニングの出力は、さらに好ましくは、各学習モジュールについての報酬関数および最適ポリシーを表す、コンパクトな全結合ネットワークモデルである。追加または代替として、学習モジュールは、別段に（たとえば、強化学習などで）適切にトレーニングされ、および／または実装され得る。
【0022】
変形形態の第１のセットでは、ディシジョンメーキングアーキテクチャは、自律エージェントのディシジョンメーキングの第１の部分を実施するように機能するモデルの第１のサブセット（たとえば、図４および図５に示されているディープディシジョンネットワーク）と、ディシジョンメーキングの第２の部分を実施するように機能するモデルの第２のサブセット（たとえば、図４に示されているディープ軌道ネットワーク）とを含み、および／または定義する。追加または代替として、ディシジョンメーキングアーキテクチャは、モデルの任意の他のサブセット、モデルの単一のサブセット、および／またはモデルの任意の他の組合せを含むことができる。
【0023】
モデルのこれらのサブセットの各々は、好ましくは、本明細書では、等価的に、モデルのモジュラーセットと呼ばれる、複数のモデル（たとえば、第１のサブセット中の複数のディープディシジョンネットワーク、第２のサブセット中の複数のディープ軌道ネットワーク）を含み、サブセットの各々からの単一のモデルが、好ましくは、車両のディシジョンメーキング中の各時点において（たとえば、自律車両の動作中に所定の頻度において、自律車両の動作中に継続的になど）選択される。追加または代替として、サブセットのいずれかまたはすべてが単一のモデルを含むことができ、モデルのセットがモデルの任意の他のサブセットを含むことができ、複数のモデルがサブセットのいずれかまたはすべて内で選択され得、ならびに／あるいは、ディシジョンメーキングアーキテクチャは、別段に構成および／または編成され得る。
【0024】
モデルのサブセットは、さらに好ましくは、サブセット間の評価および／または他のインターフェーシング（たとえば、通信）の順序に関連し、１つまたは複数のサブセットからの出力が、次に評価されるサブセットからのモデルの選択において使用される。変形形態のセットでは、たとえば、モデルの第１のサブセットにおいて選択されたモデル（たとえば、選択されたディープディシジョンネットワーク）の（１つまたは複数の）出力が、モデルの第２のサブセットからどのモデルが次に評価されるかを選択する（たとえば、選択されたディープ軌道ネットワーク）ために使用される。追加または代替として、モデルのサブセットは、別段に関係付けられ、関係付けられず、および／または別段に適切に評価され得る。
【0025】
特定の例のセットでは、モデルの第１のサブセットはディープディシジョンネットワーク（ＤＤＮ）のセットを含み、そのうちの１つまたは複数（たとえば、単一、複数など）が車両の現在のコンテキストに基づいて選択され、これは、（たとえば、その全体がこの参照により本明細書に組み込まれる、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号に記載されているように）自律エージェントが現在の計画サイクル中にとるべきであるアクションに関するディシジョンを行うことを担当する。モデルの第２のサブセットは、特定のアクションに基づいて選択され、最適化され、および／または安全に制約される、ディープ軌道ネットワーク（ＤＴＮ）のセットを含む。選択されたＤＤＮによって決定されたアクションに基づいて、対応するＤＴＮが選択され、車両が従うべき安全な、有効な、および自然な軌道を計画するために（たとえば、車両の周りの局所化ビューとともに）使用される。
【0026】
モデルのセットのいずれかまたはすべてへの入力が、好ましくは、自律エージェントに関連する環境情報を含み、それにより、エージェントがそれのディシジョンメーキングにおいてそれの環境のアウェアネス（ａｗａｒｅｎｅｓｓ）を利用することを可能にする。このアウェアネスは、好ましくは、現在の時間ステップからのならびに前の時間ステップからの情報を含んでいるが、代替的に任意の他の情報を含むことができる。好ましい変形形態では、環境情報は、より小さい潜在空間表現に精製される。これは、モデルのセットのいずれかまたはすべての学習プロセスを簡略化し、ならびに、効率的なおよび論理的なマッピングが、転移学習を通してディシジョンメーキングアーキテクチャを更新することに従ってＳ２２０において決定されることを可能にすることができる。
【0027】
潜在空間表現は、さらに好ましくは、モデルのセットのいずれかまたはすべてをトレーニングし、および／またはそのトレーニングを改良するために使用される。追加または代替として、潜在空間表現（たとえば、潜在空間表現の特徴）は、新しいターゲットモデルを決定する際にどのモデルをソースモデルとして使用すべきかを決定するために使用され得、モデルは他のデータに関してトレーニングされ得、方法は潜在空間表現なしに実装され得、および／または、方法は、別段に適切に実装され得る。
【0028】
（本明細書では、等価的に、抽象空間表現と呼ばれる）潜在空間表現は、好ましくは、異なる使用事例（たとえば、コンテキスト、アクション、ルートなど）の間で比較可能である情報および／または特徴をもつ自律エージェントの環境（または環境のターゲットにされるサブセット）を表すように構成され、これは、それにより、学習がモデル間で容易におよび効率的に転移されることを可能にする。これは、生データがモデル間で容易に消耗可能または転移可能でないので、たとえば、生データ（たとえば、入力としての生センサーデータ）を使用するモデルおよび／または実装形態とは対照的であり、ならびに／あるいは、それらと比較して有利であり得る。好ましい変形形態では、たとえば、潜在空間表現は環境を定義する特徴のセットを決定し、それらの特徴は、好ましくは抽象的であり／抽出され（たとえば、アルゴリズム、モデル、トレーニングされたアルゴリズムおよび／またはモデルなどを用いて決定され）、さらに好ましくは順序非依存（たとえば、異なるコンテキスト、アクション、ルートなどについての潜在空間表現の間の比較を可能にする）。例では、たとえば、潜在空間表現は、いくつの物体が自律エージェントの環境中にあるか、どんな特徴（たとえば、抽出された特徴、コスト値、または他のメトリックなど）が物体および／または環境に関連するか、ならびに／あるいは任意の他の情報のための、順序非依存表現を生成する。潜在空間表現の特徴が抽出される（たとえば、定性的に有意味でない）特定の具体的な例では、いくつかのコンテキストおよび／またはアクションについて、縁石が車両の動作に関連し得るが、他のコンテキストおよび／またはアクションにおいて、車両の動き（ｍｏｔｉｏｎ）に対する同様の障害物（たとえば、バリケード）が存在し、潜在空間表現がこれらの物体を抽出するので、縁石をナビゲートすることからの学習が、バリケードをどのようにナビゲートすべきかを学習する際に効果的に利用および使用され得る。
【0029】
追加または代替として、潜在空間表現は、以下の情報、すなわち、車両位置情報（たとえば、緯度、経度、高度など）、車両移動情報（たとえば、速度、加速度など）、シャーシ情報（たとえば、燃料レベル、タイヤ空気圧など）、外部入力（たとえば、マップ）、認知入力（たとえば、他の車両または他の物体の（１つまたは複数の）ロケーション、他の車両または他の物体に関連する移動情報など）、予測された情報（たとえば、他の車両の予測された軌道、他の車両の予測された将来の位置または将来の移動など）、前のディシジョンメーキングプロセスからの決定（たとえば、マップに対する車両のロケーションに基づく車両のための選択されたコンテキストなど）、および／または任意の他の情報のいずれかまたはすべてを含むことができ、それらの情報は、好ましくは、潜在空間表現フォーマットに標準化される（たとえば、正規化される、非単位値に処理される、抽出される、機械学習アルゴリズムに従って処理されるなど）。
【0030】
潜在空間表現の追加および／または代替の潜在的利益は、それが、同じ基本アーキテクチャ（たとえば、構造）がモデルのいずれかまたはすべて（たとえば、モデルの第１のセットのすべて、モデルの第２のセットのすべて、すべてのモデルなど）において実装されることを可能にすることであり、これは、学習が、モデル間でより効果的におよび効率的に転移されることを可能にする。たとえば、モデルの第１のセット（たとえば、ディープディシジョンネットワーク、コンテキストベースモデルなど）のすべて、および／あるいはモデルの第２のセットのいずれかまたはすべては、同じモデルアーキテクチャ（たとえば、ニューラルネットワーク層の数、ニューラルネットワークのタイプ、ニューラルネットワークのサイズ、モデル入力タイプおよび／またはモデルフォーマットなど）を有することができ、これは、方法が学習をモデルの間でより高速に転移させることを可能にする。追加または代替として、モデルのいずれかまたはすべては、異なるアーキテクチャおよび／または他の違いを有することができる。
【0031】
特定の例のセットでは、モデルの第１のセットの各々は、異なるコンテキストに関連しているにもかかわらず同じアーキテクチャ（たとえば、ニューラルネットワーク層の数、ニューラルネットワークタイプなど）を有し、モデルは、それらの重み値のいずれかまたはすべてにおいて異なる。追加または代替として、モデルの第２のセットの各々は、異なるアクションに関連しているにもかかわらず同じアーキテクチャ（たとえば、ニューラルネットワーク層の数、ニューラルネットワークタイプなど）を有し、モデルは、それらの重み値のいずれかまたはすべてにおいて異なる。
【0032】
追加または代替として、モデルは、別段に適切に設計され、および／または関係付けられ得る。
【0033】
潜在空間表現は、好ましくは、モデルの第１のセットとモデルの第２のセットとの間で異なり、第１のセットの対応するモデルの後に実装されるように構成されたモデルの第２のセットによって利用される潜在空間表現は、第１のセットの対応するモデルの出力に基づいて改良される（たとえば、局所化される、ターゲットにされるなど）。変形形態のセットでは、たとえば、モデルの第１のセット（ディープディシジョンネットワークのセット）の各々が、特定のコンテキストタイプ（たとえば、シナリオ、道路形状、道路特徴など）、および随意に特定の固定ルート内の特定のコンテキストタイプに関連し、これらのモデルの各々は、（たとえば、マップ中のラベルの所定のセットから取り出された、車両のロケーションに基づいて決定されたなど）車両の現在のコンテキストと、それの完全な環境（たとえば、それのセンサースタックの視野内の環境のすべて）の潜在空間表現とを使用して、車両のためのアクションを選択し、このアクションは、モデルの第２のセット（ディープ軌道ネットワークのセット）のうちの１つの選択を通知する。第２のセットのこの選択されたモデルは、次いで、このモデルのための車両の環境の表現が、車両が従うべき軌道の決定を通して、アクションを実行するために知っていることが車両にとって重要であるエリアのみ（たとえば、車両が前進している場合は車両の前のビューのみ、車両がバックしている場合は車両の後ろのビューのみなど）に局所化されるように、選択されたアクションに基づいて通知される（たとえば、制約される）潜在空間表現を使用する。
【0034】
追加または代替として、モデルは、同じ潜在空間表現、異なる潜在空間表現、および／または潜在空間表現の任意の組合せを使用することができる。
【0035】
（たとえば、図５に示されている）変形形態の好ましいセットでは、たとえば、モデルの第１のサブセットおよび／またはモデルの第２のサブセットのいずれかまたはすべては、以下の情報、すなわち、将来に向けてのそれらの現在の位置、サイズ、前の経路、および予測された経路のいずれかまたはすべてを含む検出された動的物体のセット（たとえば、その表現）に関連する情報（代替的に、システムは、動的物体動きの自己予測を実施することができる）、すべての静的物体のセットおよびそれらの現在の状態に関連する情報、（たとえば、車両の位置に基づいて車両のためのコンテキストを規定する）マップ、ルーティング情報、ならびに自律エージェントの現在の状態（たとえば、位置、配向、姿勢など）のいずれかまたはすべてを、入力としてとる。追加または代替として、任意の他の情報が、潜在空間表現を決定するために使用され得る。潜在空間表現は、好ましくは、モデル、さらに好ましくは（たとえば、モデルの第１および第２のサブセットとは別個および別の）トレーニングされたモデルを用いて決定され、これは、（たとえば、入力として働く物体について順序不変性を与える）効果的な潜在空間表現を出力するように機能する。追加または代替として、潜在空間表現は、別段に適切に決定され得る。
【0036】
特定の例のセットでは、システムの認知モジュールによって返された静的物体および動的物体は（それらの予測された将来の経路とともに）、ニューラルネットワークへの入力として働き、これは、物体に対して順序不変性を与える潜在空間表現を生成する。このデータは、次いで、マップ、ルーティング情報、および車両状態とともに組み合わせられ、最も効果的な潜在空間表現として入力空間全体を表す第２のネットワークへの入力として使用される。
【0037】
ディシジョンメーキングアーキテクチャは、さらに好ましくは、ディシジョンメーキング中に評価されるべきトレーニングされたモデルのプログラムされた選択など、（たとえば、図４に示されている、図５に示されているなど）１つまたは複数のプログラムされた（たとえば、ルールベース、コーディングされた、ハードコーディングされたなど）プロセスを実装する。好ましい変形形態では、たとえば、（たとえば、動き計画のための、軌道生成のためのなど）ディシジョンメーキングアーキテクチャは、それのトレーニングされた構成要素（たとえば、トレーニングされたマイクロモデル、トレーニングされたマイクロモデルタスクブロック、トレーニングされたアルゴリズムおよび／またはモデルなど）のプログラムされた選択を実装する。
【0038】
自律エージェントのディシジョンメーキングアーキテクチャの（たとえば、図４に示されている、図５に示されているなど）トレーニングされた特徴とプログラムされた特徴の両方の組合せは、トレーニングされた手法またはプログラムされた手法のいずれかを排他的に実装することからこうむる欠点を最小限に抑え、および／またはなくすことにおいてなど、多数の利益を有することができる。これらの欠点および／または厄介な問題は、たとえば、（たとえば、プログラムされた動きプランナーのみを使用するときに）自律エージェントによって実行される不自然なディシジョンおよび／または動き、（たとえば、プログラムされた動きプランナーのみを使用するときに）プログラム（たとえば、ハードコーディング）すべきシナリオの網羅的なおよび特定のリスト、（たとえば、エンドツーエンドでトレーニングされる様式で動き計画を実装することから生じる）安全保証および／または安全統合がないこと、エージェントが遭遇し得るすべての考えられるシナリオを取り込むための要件、ならびに／あるいは任意の他の欠点を含むことができる。
【0039】
好ましい変形形態では、たとえば、ディシジョンメーキングアーキテクチャは、自律エージェントに関連するＯＤＤにわたって安全と、スケーラビリティのための実際的で効率的な学習フレームワークとを確実にしながら、機械学習手法のフレキシビリティを取り込む。例では、たとえば、モデルのセットの各々は、トレーニングされたニューラルネットワークであるが、関連するモジュラーセットからのモデル選択は、ルールベース（たとえば、プログラムされた）プロセスにより実施される。
【0040】
代替的に、ディシジョンメーキングアーキテクチャは、完全にトレーニングされ（たとえば、エンドツーエンド深層学習モデルを含む）、完全にプログラムされ、および／または別段にトレーニングされるとプログラムされるとの間で分散され得る。
【0041】
ディシジョンメーキングアーキテクチャは、随意に、自律エージェントについての１つまたは複数の特定の使用事例に関連する運行設計領域（ＯＤＤ）のために構成され得る。いくつかの変形形態では、たとえば、ディシジョンメーキングアーキテクチャは、固定ルートアーキテクチャの形態で限られたＯＤＤのために（たとえば、自律エージェントを用いて配送を行う際に使用するために、乗客を伴わない使用事例のためになど）構成される。追加または代替として、自律エージェントおよび関連するディシジョンメーキングアーキテクチャは、任意の他の使用事例のために構成され得る。
【0042】
例のセットでは、ＯＤＤは、流通センター、小売センター（たとえば、店）、倉庫または商品保管場所、製造業者、および／あるいは任意の他のロケーションのいずれかまたはすべての間のなど、商品の輸送（たとえば、配送、企業間［Ｂ２Ｂ］配送、商用の商品の輸送、人間でない物体の輸送など）にさらに関連する。特定の例では、たとえば、固定ルートのいずれかまたはすべては、これらのロケーションのいずれかまたはすべてに関連する荷積みおよび／または荷下ろし場所（たとえば、荷積みドック）を伴うことがある。
【0043】
追加または代替として、（１つまたは複数の）車両のＯＤＤは、別段に適切に構成され得る。
【0044】
追加または代替として、ディシジョンメーキングアーキテクチャは、任意の他の構成要素および／または特徴を含み、ならびに／あるいは別段に適切に構成され得る。
【0045】
システム１００の第１の変形形態では、システムは、（たとえば、その全体がこの参照により本明細書に組み込まれる、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号に記載されているように）コンテキストアウェアデータ駆動型モジュラー学習システムを用いた固定ルートＯＤＤのために開発されたディシジョンメーキングアーキテクチャを含む。
【0046】
特定の例では、システムは、特定のアクションのための特定のコンテキストにおいて特定のルートのために最適化およびトレーニングされた深層学習マイクロモデルを使用することを可能にし、同様のアクションセットのための同様のコンテキストにおいて異なるルート上で使用するために再利用され（たとえば、転移学習を通して、より小さいデータセットを用いた再トレーニングを通して、より多くのターゲットにされるデータセットを用いた再トレーニングを通して、再使用され、再利用され）得る。提案されたシステムは、さらに好ましくは、そのような転換が、負の転移（ＮＴ）を生じることなしにターゲットトレーニング時間を低減する転移を可能にすることを確実にするように設計されるが、追加または代替として別段に構成され得る。これは、その意図された機能が特定の説明可能なタスクに制限されるモデルの複数のサブセットをもつディシジョンメーキングアーキテクチャシステムを設計することによって行われ得、そのようなモデルのための入力は、異なるソース領域データおよびターゲット領域データの分散不一致が最小限に抑えられ得る共通空間を可能にするために潜在特徴空間に転換される。モデルの第１のサブセットは、車両が引き受けるべきであるアクションを選択するために、車両の現在のコンテキストと、随意に、車両の周りの環境の完全な表現とを使用する。車両アクションは、特に、「車両の後ろに停止すること」、「車両に道を譲ること」、または「道路に合流すること」を含み得る。モデルの第２のサブセットは、特定のアクションに基づいて選択され、最適化され、安全に制約される。モデルのこのサブセットは、随意に、車両が従うべきである安全な、有効なおよび自然な軌道を計画するために、車両の周りの（たとえば、環境表現に対する）局所化ビューを使用することができる。
【0047】
追加または代替として、システム１００は、任意の他の構成要素を含むことができる。
【0048】
４．方法２００
図２に示されているように、運行設計領域（ＯＤＤ）を拡張するための方法２００が、第１の領域のためのディシジョンメーキングアーキテクチャを決定することＳ１００と、そのディシジョンメーキングアーキテクチャを第２の領域に適応させることＳ２００とを含む。追加または代替として、方法２００は、ディシジョンメーキングアーキテクチャを実装することＳ３００および／または任意の他のプロセスを含むことができる。さらに追加または代替として、方法２００は、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号、および２０２２年１０月７日に出願された米国出願第１７／９６２，４５９号のいずれかまたはすべてに記載されているプロセス、あるいは任意の好適な順序で実施される任意の他の好適なプロセスのいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。
図２に示されているように、運行設計領域（ＯＤＤ）を拡張するための方法２００が、第１の領域のためのディシジョンメーキングアーキテクチャを決定することＳ１００と、そのディシジョンメーキングアーキテクチャを第２の領域に適応させることＳ２００とを含む。追加または代替として、方法２００は、ディシジョンメーキングアーキテクチャを実装することＳ３００および／または任意の他のプロセスを含むことができる。さらに追加または代替として、方法２００は、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号、および２０２２年１０月７日に出願された米国出願第１７／９６２，４５９号のいずれかまたはすべてに記載されているプロセス、あるいは任意の好適な順序で実施される任意の他の好適なプロセスのいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。
【0049】
方法２００は、ルートの数、ルートのタイプ、ルート内のタスクおよび／またはコンテキストおよび／またはアクション、ルートに関連する条件（たとえば、昼間対夜間、悪天候など）、非固定ルートシナリオ、ならびに／あるいは自律エージェントの運行設計領域（ＯＤＤ）を拡張することに関連する他の特徴を拡張するときなど、自律エージェントのディシジョンメーキングアーキテクチャが新しいシナリオ（たとえば、新しいコンテキスト、アクション、環境など）に効率的に適応することを可能にするように機能する。これは、ディシジョンメーキングアーキテクチャを適応させるために必要とされる時間を最小限に抑え、および／または低減すること、ディシジョンメーキングアーキテクチャを適応させるために必要とされるデータの量を最小限に抑え、および／または低減すること、ならびに／あるいは任意の他の結果のいずれかまたはすべてを可能にすることができる。追加または代替として、方法２００は、様々な領域のためにディシジョンメーキングアーキテクチャを最適化し、ディシジョンメーキングアーキテクチャが異なる領域に確実におよび／または安全に適応される（たとえば、負の転移の影響なしになど）ことを可能にし、ならびに／あるいは別段に、自律エージェントによる使用のためのロバストだが適応可能なディシジョンメーキングアーキテクチャを提供するように機能することができる。
【0050】
例では、たとえば、方法は、異なるコンテキスト、異なるアクション、異なるコンテキストアクションペア、異なるルート（たとえば、異なるルートにおける同じコンテキストおよび／またはアクション、異なるルートにおける異なるコンテキストおよび／またはアクション）、異なる気象条件、異なる交通条件、異なるハードウェアおよび／または車両タイプ（たとえば、異なるセンサータイプおよび／またはセンサー数および／またはセンサー配置）、（たとえば、所定のしきい値を超える車両の入力に関連する不確実性値によって示される）車両のハードウェアおよび／またはソフトウェアにおける異常（たとえば、センサー劣化）の発生の、いずれかまたはすべてにおける使用、ならびに／あるいは任意の他の使用のために、車両のディシジョンメーキングアーキテクチャを適応させることができる。
【0051】
好ましい変形形態では、方法２００は、領域スケーリングの悪影響を最小限に抑え、および／または防ぎながら、転移学習を通してエージェントのＯＤＤのスケーリングを可能にするように機能する。たとえば、実証（例および／または相互作用）からの学習が、人間の運転者を模倣する車両を動作させるために実装され得る。しかしながら、単一のタスク（たとえば、保護された右折をすること）についてでさえ、そのような手法は、一般に多数の実証を必要とする。スケーラビリティのために、そのようなシステムは、実証を介して多くのタスクおよびシナリオを学習しなければならず、このプロセスは、各タスクが別個に学習された場合、システム開発者にかなり負担をかけることになる。方法２００は、随意に、前に学習されたシナリオおよび／またはタスクからの転移学習を利用するように機能することができ、これは、エージェントが、絶えず、前に実証されたタスクから学習された知識に基づいて、新しいタスクの学習を加速し、学習のために必要とされる実証の量、およびしたがって時間を低減することを可能にする。転移学習を実装することにおけるさらなる厄介な問題として、それの有効性が保証されず、以下のこと、すなわち、２つの領域における学習タスクが関係付けられないか、または同様でないことと、ソース領域データおよびターゲット領域データ分散が違い（たとえば、有意な違い）を有することと、好適なモデルが両方の領域に適用され得ないこととが、複雑さを追加することがある。これらの場合、負の転移（ＮＴ）が起こり得、ソース領域データ／知識を導入することは、ターゲット領域における学習性能を望ましくなく減少させる。発明者は、上記の問題のソリューションが、転移学習（ＴＬ）、または領域適応（ＤＡ）であり、これが、（ソース領域と呼ばれる）関係する領域からのデータまたは知識を利用して、（ターゲット領域と呼ばれる）新しい領域における学習を可能にすることを試みることを発見した。機械学習適用例では、ＴＬは、ターゲット領域において一般化するモデルの能力を改善するように機能することができ、これは、通常、０のまたは極めて少数のラベリングされたデータを有する。
【0052】
追加または代替として、方法２００は、任意の他の機能を実施し、および／または任意の他の利益を与えることができる。
【0053】
方法２００は、好ましくは、上記で説明されたシステム１００により実施され、および／またはそれによって利用されるが、追加または代替として、（１つまたは複数の）任意の他の好適なシステムに従って実施され得る。
【0054】
方法２００は、好ましくは、エージェントに搭載されたコンピューティングおよび／または処理システム、エージェントからリモートにある（たとえば、クラウドベースコンピューティングシステムおよび／またはサーバにおける）コンピューティングおよび／または処理システムにおいてなど、コンピューティングおよび／または処理システムにおいて、別のロケーションにおいて、ならびに／あるいはロケーションの任意の組合せにおいて、少なくとも部分的に実施される。変形形態の好ましいセットでは、たとえば、ディシジョンメーキングアーキテクチャは、リモートコンピューティングシステムにおいて決定および／または更新され、次いで、エージェントに送信され、記憶され、エージェントに搭載されて利用される。追加または代替として、方法２００は、任意の他の好適な構成要素において、および／またはそれにより、実施され得る。
【0055】
４．１ 方法－第１の領域のためのディシジョンメーキングアーキテクチャを決定することＳ１００
方法２００は、第１の領域のためのディシジョンメーキングアーキテクチャを決定することを含むことができ、これは、自律エージェントのための初期ディシジョンメーキングアーキテクチャを決定するように機能する。追加または代替として、Ｓ１００は、自律エージェントのための新しい領域に拡張するように効率的におよび／または迅速に適応され得るディシジョンメーキングアーキテクチャを決定するように機能することができ、ならびに／あるいは任意の他の好適な機能を実施することができる。
方法２００は、第１の領域のためのディシジョンメーキングアーキテクチャを決定することを含むことができ、これは、自律エージェントのための初期ディシジョンメーキングアーキテクチャを決定するように機能する。追加または代替として、Ｓ１００は、自律エージェントのための新しい領域に拡張するように効率的におよび／または迅速に適応され得るディシジョンメーキングアーキテクチャを決定するように機能することができ、ならびに／あるいは任意の他の好適な機能を実施することができる。
【0056】
Ｓ１００は、好ましくは、方法２００において最初に（たとえば、自律エージェントの配備より前に、方法のいずれかまたはすべての残りのプロセスの実施より前に、Ｓ２００より前になど）実施されるが、追加または代替として、方法２００中に複数回（たとえば、新しい入力が受信されるとき、ディシジョンメーキングアーキテクチャが絶えず／継続的に改定および／または更新されるときなど）、および／または任意の他の時間において実施され得る。代替的に、方法２００は、Ｓ１００の不在下で実施され得る。
【0057】
領域は、好ましくは、本明細書では、自律エージェントに関連する運行設計領域（ＯＤＤ）を指し、これは、ディシジョンメーキングアーキテクチャが、少なくとも、動作する（たとえば、安全に動作する、確実に動作するなど）ように構成および／または設計される、動作領域を指定する。固定ルート使用事例を含む変形形態では、たとえば、領域は、自律エージェントがトレーニングされ、および／または走行することを検証された、固定ルートを含むことができる。
【0058】
追加または代替として、領域は、コンテキスト（たとえば、一車線道路、多車線道路、駐車場、住宅地ゾーン、スクールゾーン、ハイウェイ道路、一方通行道路、対面通行道路など）の特定のセット、（たとえば、特定のコンテキスト内の、特定のコンテキストとは無関係の）アクションおよび／または挙動の特定のセット、環境条件（たとえば、気象条件、照明条件、タイミング条件、交通条件など）、インフラストラクチャ条件（たとえば、道路品質［たとえば、滑らか、くぼみ、アスファルト、汚れなど］、道路が隣接歩道を有するか否かなど）、ならびに／あるいは任意の他の特徴または条件のいずれかまたはすべてを（たとえば、固定ルートのセットとともに、固定ルートのセットとは無関係になど）含み、および／または指定することができる。追加または代替として、領域は、任意の他の情報を含み、および／または指すことができる。
【0059】
いくつかの例では、たとえば、自律車両の領域を拡張することは、新しいルートを追加すること、新しいコンテキストを追加すること、車両が実行すべき新しいアクションを追加すること、モデルのセットのいずれかまたはすべてをトレーニングし、および／またはそのトレーニングを更新するために使用されるデータのタイプを変更すること（たとえば、現実世界のセンサーデータに加えてシミュレーションデータに基づいてトレーニングすること）、（１つまたは複数の）車両の運転慣習を変更すること（たとえば、道路の右側ではなく左側を走行するように車両を適応させること）、車両が動作可能である新しい運転条件（たとえば、気象条件、交通条件など）を追加すること、車両が動作可能である新しい使用事例を追加すること（たとえば、配送を行うために荷積みドックに行くことではなく、住居において今配送を行うこと）、ならびに／あるいは別段に車両の使用を変更または拡張することのいずれかまたはすべてを含むことができる。
【0060】
方法２００の好ましい変形形態では、第１の領域は初期領域を指し、ここで、（たとえば、以下で説明される）第２の領域は第１の領域の上で拡張する（たとえば、追加のルートおよび／またはコンテキストおよび／またはアクションなどを含む）（たとえば、自律エージェントのための追加のシナリオとともに第１の領域を含む）。追加または代替として、第２の領域は、第１の領域の一部分を含み、第１の領域とは別個および／または無関係であり（たとえば、それと重複しておらず）、第１の領域と部分的に重複しており、第１の領域に等しい広がりまたはそれよりも小さい広がりのものであり、ならびに／あるいは別段に構成され得る。
【0061】
例のセットでは、第１の領域は、ディシジョンメーキングアーキテクチャのモデル（たとえば、ＤＤＮ、ＤＴＮなど）がトレーニングされた（たとえば、包括的にトレーニングされた）、固定ルートの所定のセットを含む。これは、たとえば、自律車両のディシジョンメーキングのためのモデルの初期セット（たとえば、モデルの初期の第１のサブセット、モデルの初期の第２のサブセットなど）を構築する（たとえば、訓練する、その基本アーキテクチャ特徴を決定するなど）ために、そこからデータが収集され、使用された、所定の固定ルートのセットを含むことができる。
【0062】
追加または代替として、第１の領域は、限定はしないが、所定の地理的エリア、自律車両に関連する使用事例（たとえば、商品の配送、乗客の搬送など）、道路特徴（たとえば、車線の数、路面、道路タイプなど）のセット、第１の領域における道路の領域に関連するゾーン／ゾーニングタイプ（たとえば、住宅地ゾーン、商業ゾーンなど）、および／または任意の他の情報など、任意の他の情報を含み、および／またはそれに基づいて定義され得る。
【0063】
追加または代替として、Ｓ１００は、（たとえば、以下で説明される、以下で説明されるものの追加または代替のなど）任意の他の好適なプロセスを含むことができる。
【0064】
４．１１ 方法－入力の第１のセットを収集することＳ１１０
Ｓ１００は、随意に、（たとえば、図３に示されているように）入力の第１のセットを収集することＳ１１０を含むことができ、これは、ディシジョンメーキングアーキテクチャのいずれかまたはすべてを決定する（たとえば、トレーニングする）ためのデータを受信するように機能する。追加または代替として、入力の第１のセットは、ディシジョンメーキングアーキテクチャのいずれかまたはすべてを評価および／または検証すること、ディシジョンメーキングアーキテクチャのいずれかまたはすべてをテストすること、Ｓ２２０において領域間のタスクマッピングを実施すること、Ｓ２３０においてディシジョンメーキングアーキテクチャを更新すること、Ｓ３００においてディシジョンメーキングアーキテクチャを実装することのいずれかまたはすべてのために使用され、ならびに／あるいは別段に適切に使用され得る。
Ｓ１００は、随意に、（たとえば、図３に示されているように）入力の第１のセットを収集することＳ１１０を含むことができ、これは、ディシジョンメーキングアーキテクチャのいずれかまたはすべてを決定する（たとえば、トレーニングする）ためのデータを受信するように機能する。追加または代替として、入力の第１のセットは、ディシジョンメーキングアーキテクチャのいずれかまたはすべてを評価および／または検証すること、ディシジョンメーキングアーキテクチャのいずれかまたはすべてをテストすること、Ｓ２２０において領域間のタスクマッピングを実施すること、Ｓ２３０においてディシジョンメーキングアーキテクチャを更新すること、Ｓ３００においてディシジョンメーキングアーキテクチャを実装することのいずれかまたはすべてのために使用され、ならびに／あるいは別段に適切に使用され得る。
【0065】
Ｓ１１０は、（たとえば、固定ルートの第１のセットをもつ）第１の領域内の車両の動作中に、好ましくは最初に、およびさらに好ましくは複数回（たとえば、繰り返し、継続的に、所定の頻度において、間隔のランダムセットにおいてなど）実施されるが、追加または代替として、方法２００中の任意の好適な時間において実施され得る。
【0066】
入力の第１のセットは、好ましくは、自律エージェントに関連する、本明細書では等価的にソース領域と呼ばれる（たとえば、上記で説明された）第１の領域に関連するが、追加または代替として、他の領域（たとえば、第２の領域）、領域の組合せ、（たとえば、特に）領域なし、および／または任意の他の領域に関連することができる。
【0067】
変形形態の好ましいセットでは、たとえば、入力の第１のセットは、自律車両が第１の領域を定義する固定ルートの所定のセットのうちの１つまたは複数を通過している間に収集される情報（たとえば、センサーデータ）を含む。
【0068】
入力の第１のセットは、好ましくは、カメラ、レーダーセンサー、ライダーセンサー、オーディオセンサー、ロケーションセンサー（たとえば、ＧＰＳセンサー）、動きおよび／または配向センサー（たとえば、加速度計、速度計、ジャイロスコープ、オーディオセンサー（たとえば、マイクロフォン）、ならびに／あるいは任意の他のセンサーのいずれかまたはすべてから収集されたデータなど、センサー（たとえば、自律エージェントに搭載されたセンサー、自律エージェントの環境におけるセンサー、自律エージェントの集約されたセットに搭載されたセンサー、非自律エージェントの集約されたセットに搭載されたセンサーなど）のセットにおいて収集されたデータを含む。追加または代替として、入力の第１のセットは、（たとえば、１つまたは複数のエージェントにおいて前に収集された）履歴情報、１つまたは複数のデータベース（たとえば、マップ、ラベリングされたマップなど）からの情報、シミュレートされたデータ、および／または任意の他のデータを含むことができる。
【0069】
入力の第１のセット（および／または入力の第１のセットの一部分）は、好ましくはディシジョンメーキングアーキテクチャのためのトレーニングデータとして使用されるが、追加または代替として、（本明細書では等価的にテスト用データと呼ばれる）テストデータ、（たとえば、ディシジョンメーキングアーキテクチャのモデルのセットのいずれかまたはすべてのハイパーパラメータ調整を実施することにおける）評価データ、検証データ、および／または任意の他のデータとして使用され得る。
【0070】
入力の第１のセットは、追加または代替として、ディシジョンメーキングアーキテクチャを実装する際に使用される、自律エージェントに関連する領域を定義し、および／または特徴づける際に使用され（たとえば、認知、予測、位置特定などにおいて使用され）得、ならびに／あるいは、別段に適切に使用および／または決定され得る。
【0071】
追加または代替として、Ｓ１１０は、任意の他の好適なプロセスを含むことができる。
【0072】
４．１２ 方法－ディシジョンメーキングアーキテクチャをトレーニングすることＳ１２０
Ｓ１００は、好ましくは、（たとえば、図３に示されているように）ディシジョンメーキングアーキテクチャをトレーニングすることＳ１２０を含み、これは、（たとえば、第１の領域に従う）自律エージェントの動作のためのディシジョンメーキングアーキテクチャの初期反復を作成するように機能する。追加または代替として、Ｓ１２０は、方法２００の後続のプロセスにおいて効率的に適応および改良され得るディシジョンメーキングアーキテクチャを生成するように機能することができ、ならびに／または任意の他の機能を実施することができる。
Ｓ１００は、好ましくは、（たとえば、図３に示されているように）ディシジョンメーキングアーキテクチャをトレーニングすることＳ１２０を含み、これは、（たとえば、第１の領域に従う）自律エージェントの動作のためのディシジョンメーキングアーキテクチャの初期反復を作成するように機能する。追加または代替として、Ｓ１２０は、方法２００の後続のプロセスにおいて効率的に適応および改良され得るディシジョンメーキングアーキテクチャを生成するように機能することができ、ならびに／または任意の他の機能を実施することができる。
【0073】
Ｓ１２０は、好ましくは、Ｓ１１０に応答して、およびそれに基づいて実施されるが、追加または代替として、Ｓ１１０より前に、Ｓ１１０の一部分に基づいて（たとえば、Ｓ１１０の後続の反復が、ディシジョンメーキングアーキテクチャを改良および／または更新および／または再トレーニングするために使用されるなど）、方法２００中に複数回、および／または（１つまたは複数の）任意の他の時間において実施され得る。
【0074】
Ｓ１２０においてトレーニングされたディシジョンメーキングアーキテクチャは、好ましくは、第１の領域について、および入力の第１のセット（たとえば、入力の第１のセットの一部分、入力の第１のセットのすべてなど）に基づいて決定される。追加または代替として、ディシジョンメーキングアーキテクチャは、任意の他の領域についてトレーニングされ得る。
【0075】
Ｓ１２０は、好ましくは、ディシジョンメーキングアーキテクチャのモデルのセットのいずれかまたはすべてをトレーニングすること（たとえば、モデルのセットの各々のアーキテクチャを決定すること、モデルのセットの各々についての学習されたモデルパラメータを決定することなど）を含むが、追加または代替として、ディシジョンメーキングアーキテクチャのモデルをテストすること、評価すること（たとえば、ハイパーパラメータ調整すること）、および／または検証することのいずれかまたはすべてを含むことができる。
【0076】
トレーニングすることは、好ましくは、自律エージェントのディシジョンメーキング中に評価されるマイクロモデル（たとえば、ディープディシジョンネットワーク、ディープ軌道ネットワークなど）のセットのいずれかまたはすべてを定義するパラメータ（たとえば、重み）など、ディシジョンメーキングアーキテクチャに関連するパラメータのいずれかまたはすべての値を決定することを含む。これは、好ましくは、少なくとも、学習されたモデルパラメータ（たとえば、ノード重み、（１つまたは複数の）モデルおよび／または全体的アーキテクチャに関連する損失関数を最適化するパラメータなど）と、随意に、各モデルのアーキテクチャ（たとえば、レイヤの数、レイヤの編成など）のいずれかまたはすべてとを決定することを含む。追加または代替として、トレーニングすることは、１つまたは複数のハイパーパラメータ調整プロセス（たとえば、グリッド探索調整、ランダム探索調整、パラメータスイープ調整、ベイズ最適化プロセス、勾配ベース最適化プロセス、発展的最適化プロセスなど）を通してなど、本明細書では等価的にハイパーパラメータと呼ばれる、モデルアーキテクチャを定義するパラメータ（たとえば、制約、重み、学習レートなど）（たとえば、学習されないパラメータ）のいずれかまたはすべてを決定することを含むことができる。さらに追加または代替として、トレーニングすることは、ディシジョンメーキングアーキテクチャのモデルのいずれかまたはすべてをテストすること、評価すること、最適化すること、および／または別段に決定することを含むことができる。
【0077】
いくつかの変形形態では、ディシジョンメーキングアーキテクチャ内のモデルのいずれかまたはすべては、領域に関連する特定のアクション、特定のコンテキスト、および／または特定のルートのうちの１つまたは複数のために最適化される。ハイパー最適化使用事例では、たとえば、ディシジョンメーキングアーキテクチャにおけるマイクロモデル（たとえば、モデルの第１のサブセット）のいずれかまたはすべては、特定のルート（たとえば、固定ルート）のための特定のコンテキストにおける特定のアクションのために最適化されるパラメータ（たとえば、重み）を有する。追加または代替として、モデルのいずれかまたはすべては、この情報のいずれかに対して場合によっては最適化される、最適化されない、および／または任意の組合せであり得る。
【0078】
ディシジョンメーキングアーキテクチャの少なくとも一部分は、好ましくは逆強化学習でトレーニングされる。追加または代替として、モデルのいずれかまたはすべては、強化学習、模倣学習、および／または任意の他のタイプのトレーニング／学習でトレーニングされ得る。さらに追加または代替として、モデルのいずれかまたはすべてをトレーニングすることは、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号、および２０２２年１０月７日に出願された米国出願第１７／９６２，４５９号のいずれかまたはすべてに記載されているプロセスのいずれかまたはすべてを含み、および／またはそれらとインターフェースすることができる。
【0079】
変形形態の好ましいセットでは、Ｓ１２０は、その各々の全体がこの参照により組み込まれる、２０２０年１２月９日に出願された米国出願第１７／１１６，８１０号、２０２０年１２月１７日に出願された米国出願第１７／１２５，６６８号、および２０２０年１２月１８日に出願された米国出願第１７／１２７，５９９号のいずれかまたはすべてに記載されているものなど、モデルの第１のサブセット（たとえば、ディープディシジョンネットワーク）の各々とモデルの第２のサブセット（たとえば、ディープ軌道ネットワーク）の各々とをトレーニングすることを含む。
【0080】
特定の例では、Ｓ１２０は、モデルの第１のサブセットの各々に関連するコンテキストに基づいてモデルの第１のサブセットの各々をトレーニングすることと、モデルの第２のサブセットの各々に関連する１つおよび／または複数のアクションに基づいてモデルの第２のサブセットの各々をトレーニングすることとを含む。
【0081】
Ｓ１２０は、追加または代替として、（たとえば、上記で説明された）ディシジョンメーキングアーキテクチャのプログラムされたプロセスおよび／または特徴のいずれかまたはすべてを決定することを含むことができる。
【0082】
追加または代替として、Ｓ１００は、任意の他の好適なプロセスを含むことができる。
【0083】
４．２ 方法－第２の領域のためのディシジョンメーキングアーキテクチャを決定することＳ２００
方法２００は、第２の領域のためのディシジョンメーキングアーキテクチャを決定することＳ２００を含み、これは、拡張された領域など、ディシジョンメーキングアーキテクチャを第２の領域に適応させるように機能する。追加または代替として、Ｓ２００は、ディシジョンメーキングアーキテクチャが、効率的に、および／またはデータの最小セットを用いて適応されることを可能にするように機能することができ、ならびに／あるいは任意の他の好適な機能を実施することができる。
方法２００は、第２の領域のためのディシジョンメーキングアーキテクチャを決定することＳ２００を含み、これは、拡張された領域など、ディシジョンメーキングアーキテクチャを第２の領域に適応させるように機能する。追加または代替として、Ｓ２００は、ディシジョンメーキングアーキテクチャが、効率的に、および／またはデータの最小セットを用いて適応されることを可能にするように機能することができ、ならびに／あるいは任意の他の好適な機能を実施することができる。
【0084】
Ｓ２００は、好ましくは、Ｓ１００に応答しておよび／またはそれに基づいて実施されるが、追加または代替として、他のプロセスに応答して、トリガに応答して、および／または任意の他の時間において、複数回実施され得る。
【0085】
４．２１ 方法－入力の第２のセットを収集することＳ２１０
Ｓ２００は、好ましくは、（たとえば、図３に示されているように）入力の第２のセットを収集することＳ２１０を含み、これは、Ｓ２２０においてタスクマッピングを実施すること、Ｓ２３０においてディシジョンメーキングアーキテクチャを更新すること、Ｓ３００においてディシジョンメーキングアーキテクチャを実装すること、および／または任意の他のプロセスのいずれかまたはすべてなど、Ｓ２００および／または方法２００の残りのプロセスのいずれかまたはすべてを実施するための情報を受信するように機能する。追加または代替として、入力の第２のセットは、上記で説明された任意のプロセスにおいて使用され得、および／またはＳ２１０は任意の他の好適な機能を実施することができる。
Ｓ２００は、好ましくは、（たとえば、図３に示されているように）入力の第２のセットを収集することＳ２１０を含み、これは、Ｓ２２０においてタスクマッピングを実施すること、Ｓ２３０においてディシジョンメーキングアーキテクチャを更新すること、Ｓ３００においてディシジョンメーキングアーキテクチャを実装すること、および／または任意の他のプロセスのいずれかまたはすべてなど、Ｓ２００および／または方法２００の残りのプロセスのいずれかまたはすべてを実施するための情報を受信するように機能する。追加または代替として、入力の第２のセットは、上記で説明された任意のプロセスにおいて使用され得、および／またはＳ２１０は任意の他の好適な機能を実施することができる。
【0086】
Ｓ２１０は、Ｓ２２０より前に、Ｓ２２０に応答して、方法２００の任意の他のプロセスより前におよび／またはそれに応答して、１つまたは複数の自律エージェントの動作中に、方法２００のプロセスのいずれかまたはすべてとは無関係に、Ｓ１１０と同時期に（たとえば、それと重複して、それと部分的に重複して、それと同時になど）、複数回（たとえば、継続的に、所定の頻度において、ランダム間隔のセットにおいてなど）、ならびに／あるいは任意の他の時間において実施され得る。
【0087】
（本明細書では等価的に補助データと呼ばれる）入力の第２のセットは、好ましくは、（本明細書では等価的にターゲット領域と呼ばれる）第２の領域に関連し、第２の領域は、さらに好ましくは、第１の領域に対して拡張され、および／または第１の領域とは異なる（たとえば、それと重複していない、それと部分的に重複している、それと重複しているなど）（たとえば、追加のコンテキストを含む、追加のアクションを含む、追加のルートを含む、追加の環境条件を含む、任意の組合せなど）。代替的に、入力の第２のセットは、第１の領域、複数の領域、および／または任意の他の領域に関連し得る。
【0088】
入力の第２のセットは、好ましくは、同じまたは同様のセンサーからのセンサーデータ、同じまたは同様のシミュレーションサブシステムからのシミュレーションデータ、および／あるいは任意の他のデータなど、（たとえば、上記で説明された）入力の第１のセットの場合と同じタイプのデータを含むが、追加または代替として、データの異なるタイプ、任意の他のデータタイプ、および／またはデータの任意の組合せを含むことができる。
【0089】
変形形態の好ましいセットでは、入力の第２のセットは、第１の領域において含まれないコンテキストおよび／またはアクションおよび／またはルートのセットならびに／あるいは環境条件に関係する、データを含む。追加または代替として、入力の第２のセットは、第１の領域に関係する（たとえば、第１の領域内にカテゴリー分類された）データ、領域の組合せからのデータ、および／または任意の他のデータを含むことができる。
【0090】
入力の第２のセットは、さらに好ましくは、Ｓ２００において開発されている新しいモデルに関連する特定の使用事例に固有である（および、そこから収集された）データを含む。たとえば、各新しいモデルは、好ましくは、その新しいモデルがそれのために特に構成された特定の使用（たとえば、特定の新しいコンテキスト、特定の新しいアクションタイプ、特定の新しい気象条件、特定の新しい固定ルートなど）に固有であるデータに基づいて、Ｓ２３０において改良される（たとえば、再トレーニングされる、更新されるなど）。これは、たとえば、モデルの第１のセット（たとえば、ディープディシジョンネットワーク）の新しいモデルについて、新しい固定ルートに沿って新しいコンテキスト内でその新しい固定ルートからデータを収集することを含むことができ、このデータは、入力の第２のセットの一部であり、この特定の新しいモデルの重みを改良するために使用される。モデルの第２のセット（たとえば、ディープ軌道ネットワーク）の新しいモデルについて、モデルを改良するために使用されるデータは、車両が（たとえば、新しい固定ルート内で、特定のコンテキスト内でなど）その新しいアクションを実行する間に、またはそれに時間的に近接して、車両のセンサーからとられ得る。これは、その特定の使用のために新しいモデルを改良するためのデータの最小の、ターゲットにされるセットの収集を可能にするように機能する。
【0091】
追加または代替として、Ｓ２１０は、任意の他の好適なプロセスを含み、および／または別段に適切に実施され得る。
【0092】
４．２２ 方法－第１の領域と第２の領域との間のマッピングを実施することＳ２２０
Ｓ２００は、好ましくは、（たとえば、図３に示されているように）第１の領域と第２の領域との間の（本明細書では等価的にタスクマッピングと呼ばれる）マッピングを実施することＳ２２０を含み、これは、Ｓ１１０において決定されたディシジョンメーキングアーキテクチャが（たとえば、包括的なおよび新しいディシジョンメーキングアーキテクチャのトレーニングを必要とすることなしに）第２の領域に適応される（たとえば、効率的に適応される）ことを可能にするように機能する。Ｓ２２０は、追加または代替として、Ｓ１００において決定されたディシジョンメーキングアーキテクチャを活用し、モデルのセットの不適当な更新から生じ得る負の転移および／または他の求められていない結果を防ぐように機能し、ならびに／あるいは任意の他の好適な機能を実施することができる。
Ｓ２００は、好ましくは、（たとえば、図３に示されているように）第１の領域と第２の領域との間の（本明細書では等価的にタスクマッピングと呼ばれる）マッピングを実施することＳ２２０を含み、これは、Ｓ１１０において決定されたディシジョンメーキングアーキテクチャが（たとえば、包括的なおよび新しいディシジョンメーキングアーキテクチャのトレーニングを必要とすることなしに）第２の領域に適応される（たとえば、効率的に適応される）ことを可能にするように機能する。Ｓ２２０は、追加または代替として、Ｓ１００において決定されたディシジョンメーキングアーキテクチャを活用し、モデルのセットの不適当な更新から生じ得る負の転移および／または他の求められていない結果を防ぐように機能し、ならびに／あるいは任意の他の好適な機能を実施することができる。
【0093】
Ｓ２２０は、Ｓ２１０に応答して、Ｓ２１０より前に（たとえば、入力の第２のセットが、第２の領域を決定することおよび／またはタスクマッピングを実施することに応答して収集される）、方法の任意の他のプロセスより前におよび／またはそれに応答して、方法中の他のプロセスとは無関係に、方法中に複数回（たとえば、継続的に、所定の頻度において、間隔のランダムセットにおいて、開発されている各新しいモデルについてなど）、新しいモデルの開発中に、ならびに／あるいは任意の他の時間においてなど、方法２００中の（１つまたは複数の）任意の好適な時間において実施され得る。
【0094】
本明細書のタスクは、限定はしないが、コンテキスト、アクション、挙動、ルート、環境条件、および／または任意の他の特徴など、自律エージェントに関連するＯＤＤの任意の特徴および／または特徴の集約を指す。（たとえば、図７に示されている）変形形態の好ましいセットでは、たとえば、タスクは、コンテキストアクションペアリング（たとえば、多車線住宅地コンテキスト内の車線変更アクション）を含み、第２の領域が、新しいコンテキスト、新しいアクション（たとえば、全体的）、および／またはそのコンテキスト内の新しいアクションのいずれかまたはすべての追加を反映することができる。本明細書のマッピングは、これらのタスク間のマッピング（たとえば、それらのタスク間の定義された関連付け、それらのタスク間の関係など）を指す。
【0095】
Ｓ２２０は、好ましくは、タスクおよび／または領域間の（たとえば、図６に示されているようにソース領域とターゲット領域との間の）マッピング（たとえば、関係、重複、類似性など）を決定するために第２の領域のタスクを第１の領域のタスクと比較することを含み、マッピングは、好ましくは、ソース領域のどのタスクがターゲット領域に関連するか（たとえば、ターゲット領域によって利用され得るか、ターゲット領域においてターゲットタスクを形成するためにモジュラー様式で使用され得るかなど）を識別するように機能する。これは、ソース領域の最も関連するタスクがディシジョンメーキングアーキテクチャを効率的に更新するために活用され得るので、ディシジョンメーキングアーキテクチャが、（たとえば、負の転移なしに、第２の領域における大量のデータなしになど）効率的なおよび信頼できる様式で（たとえば、転移学習を通して）更新されることを可能にする。
【0096】
特定のコンテキストについて各々トレーニングされたモデルの第１のサブセットと、（たとえば、モデルの第１のサブセットのうちのモデルから生じる）特定のアクションについて各々トレーニングされたモデルの第２のサブセットとを含むディシジョンメーキングアーキテクチャの場合、コンテキストおよびアクションに関してモデルのシステマティックカテゴリー分類を仮定すれば、タスク（たとえば、コンテキストアクションペアタスク）間の明確に定義されたマッピングが、ディシジョンメーキングアーキテクチャを効率的に（たとえば、最小時間において、最小データを用いてなど）更新するために使用され得る。
【0097】
システムおよび／または方法は、好ましくは、ターゲットタスクへのマッピングを決定する際に、それらのいずれかまたはすべてが使用され得る複数のソースタスク（たとえば、複数のソースモデル、同じセットの複数のソースモデルなど）を使用するように設計および／または構成される。いくつかの変形形態では、たとえば、（たとえば、共有特徴に基づいて決定された）すべての関連する経験されたソースタスクは、新規のターゲットタスクを学習するときに活用される。代替的に、前に経験されたタスクのサブセットが使用され得る。これらの変形形態のうちのどれが実装されるかは、好ましくは、タスク分配に関する知識および／または仮定に依存し、タスクが、すべての過去の経験が有用であると決定および／または推定されるほど十分に類似することが予想される場合、サブセットを選択する必要がないことがある。一方、タスクの分配がマルチモードである場合、すべてのタスクから転移することが準最適である（たとえば、非効率的である、時間および／または算出および／またはデータにおいてコストがかかるなど）可能性があり、サブセットが決定および利用され得る。
【0098】
好ましい実装形態では、Ｓ２２０は、生成されている各新しいディープディシジョンネットワークについて、生成されている各新しいディープ軌道ネットワークについて、および／または生成されている任意の他のモデルについてなど、生成されている（本明細書では等価的に更新されたモデルと呼ばれる）各新しいモデルについて実施される。追加または代替として、Ｓ２２０は、各新しい領域拡張（たとえば、追加される各新しいルート、車両についての各新しいアクション要件、１つまたは複数のルート内の各新しいコンテキスト発生、［たとえば、新しいルート、新しい気象条件、新しい交通条件などをもつ］配備の各新しいロケーションなど）について、一度に複数の新しいモデルのセットについて（たとえば、同時に、順次になど）、および／または（１つまたは複数の）任意の他の時間において実施され得る。
【0099】
変形形態のセットでは、たとえば、生成／開発されている各新しいモデルについて、マッピングが決定され、マッピングは、モデルの前のセットのうちのどれが新しいモデルを生成するために使用されるべきであるかを示す。マッピングは、好ましくは、モデルの前のセットの特徴と新しいモデルの（１つまたは複数の）目的および／または（１つまたは複数の）使用に関連する特徴との間の類似性に基づいて決定される。（本明細書では等価的にソースモデルと呼ばれる）モデルの前のセットは、複数のモデル、単一のモデル、および／または任意の数のモデルのいずれかまたはすべてを含むことができる。モデルの前のセットは、好ましくは、モデルの同じセット（たとえば、第１のセットのすべて、第２のセットのすべてなど）のものであり、追加または代替として、ソースモデルは、複数のセットおよび／またはタイプ（たとえば、第１のセットと第２のセットとの組合せ）から生じることがある。
【0100】
マッピングは、プログラムされた（たとえば、手動で決定された）プロセスを用いて、ルールベースプロセスを用いて、ルックアップテーブルを用いて、ディシジョンツリーを用いて、所定のマッピング割当てのセットを用いて、モデル間の類似性スコアのセットを用いて、ヒューリスティックのセットを用いて、プロセスの任意の組合せを用いてのいずれかまたはすべてなど、（たとえば、ルールベースおよび／またはプログラムされたプロセスに従って、トレーニングされたモデルなしに、人間入力／フィードバックを用いてなど）好ましくは手動で決定され、および／または別段に決定される。これは、たとえば、マッピングの手動決定が、新しい領域のための新しいモデルを決定する際に使用するための最も関連する（たとえば、直接比較可能な、説明可能に比較可能な、モジュール式に関係付けられるなど）モデルおよび領域の関連する部分の選択を可能にすることができるので、負の転移の発生を防ぎ、および／または最小限に抑えるように機能することができる。
【0101】
追加または代替として、ディシジョンメーキングプラットフォームのアーキテクチャのいずれかまたはすべては、限定はしないが、モデルのモジュラー性質、モデルの連続的な評価、および／またはモデルのボリュームなど、正確な、関連するマッピングがモデル間で行われることを可能にするように機能することができる。いくつかの変形形態では、各々が高い特異性をもつ（たとえば、特定のルート内の特定のコンテキストをターゲットにした、特定のコンテキストおよび／または特定のルート内の特定のアクションをターゲットにしたなど）、モジュラー性質および多数のモデル（たとえば、第１の領域について数百個、第１の領域について数千個など）は、最も関連するモデルが識別され、新しいモデルを生成する際に使用される（たとえば、排他的に使用される）ことを可能にする。
【0102】
限定はしないが、第１のセットの新しいモデルを生成するためなどの、コンテキスト特徴（たとえば、車線の数、道路のタイプ、コンテキスト内の特定の物体［たとえば、特定の交通標識、交通信号、交差点、路肩、縁石、バリケード、バイクレーン（ｂｉｋｅ ｌａｎｅ）、横断歩道、荷積みドックなど］の存在、形状特徴、ゾーンのタイプおよび／または数、コンテキストにおける交通のタイプおよび／または歩行者および／またはサイクリストなど）、第２のセットの新しいモデルを生成するためなどの、アクション特徴（たとえば、アクションが特定の進行方向［たとえば、左に向かう、右に向かう、前方、後方など］を伴う、アクションが特定のタイプの操作［たとえば、減速、加速、停止、待機、合流、対向する交通を横切る、駐車など］を伴う、アクションが［たとえば、優先権決定などのために］他の車両を監視することを伴う、アクションが他のタイプの物体［たとえば、他の車両、歩行者、サイクリストなど］との相互作用を伴うなど）、特徴のいずれかまたはすべてに関連するスコア（たとえば、コストスコア、リスクスコア、類似性スコア、接近／近接度スコアなど）、および／あるいは任意の他の特徴または情報など、モデル（および／あるいは関連する領域または領域部分）間の任意の数の特徴が決定され、および／またはマッピングを決定する際に使用され得る。
【0103】
追加または代替として、マッピングのいずれかまたはすべては、トレーニングされたモデルおよび／またはアルゴリズムを用いて決定され得、ならびに／あるいは別段に適切に決定され得る。
【0104】
マッピングを決定することは、追加または代替として、効率的な、論理的な、および／または単純なマッピングがソース領域タスクとターゲット領域タスクとの間で決定されることを可能にすることができる、上記で説明されたものなど、潜在空間表現を活用することができる。これは、たとえば、潜在空間表現が（たとえば、認知サブシステムにおいて受信された大量の詳細なデータから）精製することが可能である、より低い次元の、有意味なおよび比較可能なメトリックにより、可能にされ得る。たとえば、次元低減を介した転移学習を考慮するとき、ソース領域データとターゲット領域データとの間の分散が互いに同じまたは近い、（たとえば、認知モジュールにおいて受信／決定された入力に対して）低次元の潜在特徴空間は、多数の利益を与えることができる。この潜在特徴空間上に、たとえば、関係する領域におけるデータが投影され得、モデル（たとえば、モデルの第１のサブセット、モデルの第２のサブセットのためになど）をトレーニングするためにトレーニングプロセスが適用され得る。したがって、潜在特徴空間は、ソース領域からターゲット領域に知識を転移する（たとえば、および効率的なマッピングを決定するために使用される）ブリッジとして効果的に機能することができる。次元低減プロセスは、さらに好ましくは、潜在空間を決定するときに実装され、これは、潜在空間中の異なる領域におけるデータの分散の間の距離を最小限に抑える。このフレームワークは、自律的に駆動される車両が障害物のあまりに近くに停止するために受け取り得る負の報酬など、報酬関数のいくつかの態様が、異なる（ただし関係する）タスクの間でしばしば共有されることを活かすように、さらに機能することができる。したがって、方法の変形形態は、異なるタスクについての報酬関数「ｒ（ｔ）」が報酬成分の潜在基底（ｌａｔｅｎｔ ｂａｓｉｓ）「Ｌ」を介して関係付けられると随意に仮定することができる。これらの成分は、Ｌを転移のための機構として使用して、タスク固有係数ｓ（ｔ）とのそのような成分の疎な結合を介して真の報酬関数を再構築するために使用され得る。
【0105】
特定の例では、特定のモデルに関連するデータ（たとえば、ソースモデルをトレーニングするために使用されるデータ、新しい領域／新しいモデルのために収集されるデータなど）の潜在空間表現は、近接度メトリックを計算すること、および／またはどのソースモデルが新しいモデルを生成する際に使用されるのに十分に類似する（たとえば、新しいモデルの目的／使用事例／コンテキスト／アクション／などに十分に類似する）かを決定するために近接度チェックを行うことを行うために使用され得る。
【0106】
Ｓ２２０の第１の変形形態では、Ｓ２２０は、第１のセットの新しいコンテキストベースモデル（たとえば、特定のコンテキストのためのアクションを決定するディープディシジョンネットワーク）を決定することを含み、新しいコンテキストベースモデルを生成することは、既存のモデルのコンテキスト間の特徴と新しいコンテキストの特徴との共有セットに基づいて、Ｓ２３０においてモデルの既存の第１のセットのうちのどれを使用すべきかを決定することを含む。追加または代替として、新しいモデルおよび／またはモデルの第１のセットによって考慮および／または選択されるアクションオプションの特徴が、モデルの間でさらに考慮および／または比較され得る。特定の例では、たとえば、住宅地ゾーンにおいて右折（および／または任意の他のアクション）を実行するアクションを選択するように構成されたモデルが、ハイウェイコンテキストにおいて右折（および／または任意の他のアクション）を実行するアクションを選択するように構成されたモデルを開発するために使用され得る。（たとえば、図７に示されている）別の特定の例では、一車線住宅地道路の第１のコンテキストのための１つまたは複数のモデルと、一方通行住宅地道路の第２のコンテキストのための１つまたは複数のモデルと、駐車場の第３のコンテキストのための１つまたは複数のモデルとが、選択され（たとえば、マッピングされて）、多車線住宅地ゾーンの第４のコンテキストのための新しいモデルが、これらのコンテキストの特徴（たとえば、住宅地指定、関連する速度制限［たとえば、住宅地ゾーンと駐車場の両方における低い速度］、車線の数、車線の方向など）の間の類似性により、開発される。追加または代替として、それらのコンテキストに関連する利用可能なアクション間の類似性が、マッピングを決定する際に利用され得る。
【0107】
Ｓ２２０の第２の変形形態では、Ｓ２２０は、第２のセットの新しいアクションベースモデル（たとえば、特定のアクションのための軌道を生成するディープ軌道ネットワーク）を決定することを含み、新しいアクションベースモデルを生成することは、既存のモデルのアクション間の特徴と新しいアクションの特徴との共有セットに基づいて、Ｓ２３０においてモデルの既存の第２のセットのうちのどれを使用すべきかを決定することを含む。特定の例では、たとえば、右折するアクションのための既存のモデルが、アクション間の特徴および／またはアクションの目的（たとえば、右車線に近接した縁石に乗り上げるのを抑制すること、車線の黄色いラインを越えるのを抑制すること、車線の実線のセットを越えるのを抑制すること、滑らかな軌道を実行することなど）の類似性により、一番右側の車線に車線変更する新しいアクションのためのモデルを生成するために（たとえば、他のモデルとともに、単独でなど）使用され得る。別の特定の例では、新しいコンテキストおよび／または新しいルート内の車線維持のアクションの場合、（たとえば、異なるコンテキスト内の、異なるルート内のなど）車線維持のための他のモデルが、新しいモデルを生成する際に使用され得、他のアクションのためのモデルが、アクション特徴における類似性に基づいて使用され得（たとえば、左ナッジ（ｎｕｄｇｅ）、右ナッジなど）、および／あるいは任意の他のモデルまたはモデルの組合せが、新しいモデルを生成するために使用され得る。別の特定の例では、徐行アクション（たとえば、車両が、進む前に車両の経路に潜在的に近づいているものに関してより多くのデータを収集するために一時的に減速／失速する）を実装するための既存のモデルが、（たとえば、ハイウェイへの、ハイウェイコンテキスト内のなど）合流の新しいアクションのためのモデルを決定するために使用され得、これらのアクションおよび／またはコンテキスト間にいくつかの違いがある（たとえば、速度が異なり得る、環境が異なり得るなど）が、得られた動き（たとえば、軌道）は、共有特徴および／または目標（たとえば、減速の動きを含むこと、経路がクリアになったときの緩やかに角度を付けた運転を含むこと、車線変更など）を有することができる。
【0108】
追加または代替として、Ｓ２２０は、任意の他のプロセスを含み、および／または別段に適切に実装され得る。
【0109】
４．２３ 方法－ディシジョンメーキングアーキテクチャを更新することＳ２３０
Ｓ２００は、（たとえば、図３に示されているように）ディシジョンメーキングアーキテクチャを更新することＳ２３０を含み、これは、自律エージェントに関連するＯＤＤを拡張するように機能する。追加または代替として、Ｓ２３０は、車両が新しいコンテキスト（たとえば、完全に新しいコンテキスト、新しいルート内の前のコンテキストなど）をナビゲートし、新しいアクション（たとえば、完全に新しいアクション、新しいコンテキスト内の前のアクション、新しいルート内の同じコンテキスト内の前のアクションなど）を実行し、ルートの新しいセットを実行することを可能にし、ならびに／あるいは別段に車両の動作および／またはユーザビリティを拡張するように機能することができる。
Ｓ２００は、（たとえば、図３に示されているように）ディシジョンメーキングアーキテクチャを更新することＳ２３０を含み、これは、自律エージェントに関連するＯＤＤを拡張するように機能する。追加または代替として、Ｓ２３０は、車両が新しいコンテキスト（たとえば、完全に新しいコンテキスト、新しいルート内の前のコンテキストなど）をナビゲートし、新しいアクション（たとえば、完全に新しいアクション、新しいコンテキスト内の前のアクション、新しいルート内の同じコンテキスト内の前のアクションなど）を実行し、ルートの新しいセットを実行することを可能にし、ならびに／あるいは別段に車両の動作および／またはユーザビリティを拡張するように機能することができる。
【0110】
Ｓ２３０は、好ましくは、転移学習プロセス（および／または領域適応）により、およびＳ２２０において決定されたマッピングのいずれかまたはすべてに基づいて、ならびに随意にＳ１２０において説明されたトレーニングプロセスのいずれかまたはすべてにより実施されるが、追加または代替として、方法２００の任意の他のプロセスに応答しておよび／または（１つまたは複数の）任意の他の時間において実施され得る。
【0111】
Ｓ２３０は、さらに好ましくは、Ｓ１２０において決定されたディシジョンメーキングアーキテクチャに基づいて実施され、したがって、Ｓ２３０において決定されたディシジョンメーキングアーキテクチャは、一般的なモデルアーキテクチャ、モデルアーキテクチャおよびパラメータ（たとえば、ハイパーパラメータ、学習されたパラメータなど）、パラメータ、ならびに／または前のディシジョンメーキングアーキテクチャの任意の他の情報のいずれかまたはすべてにより開始する。
【0112】
転移学習プロセスは、好ましくは、（１つまたは複数の）ターゲットモデルに関連する重みのセットの決定および／または改良（たとえば、再トレーニング、更新、調節など）を含むが、追加または代替として、モデルアーキテクチャ（たとえば、ニューラルネットワーク層の数、ニューラルネットワーク層の編成、ニューラルネットワークノードの数および／または配置、ニューラルネットワークのタイプ、ニューラルネットワークの数など）の決定および／または調節ならびに／あるいは任意の他の情報の決定を含むことができる。
【0113】
（たとえば、図８に示されている）変形形態の好ましいセットでは、Ｓ２３０は、新しいモデルを決定するために、共通モデルアーキテクチャ（たとえば、モデルの第１のセットのすべての間で共有される基本モデルフレームワーク、モデルの第２のセットのすべての間で共有される基本モデルフレームワーク、修正されたフレームワークなど）により開始することと、Ｓ２２０において実施されるマッピングに基づいてソースモデルのセットを取り出すことと、新しいモデルのための重みの初期セットを形成するためにモデルの取り出されたセットの重みを（たとえば、アルゴリズム、モデル、式、数学演算［たとえば、加算、平均化、中央値を計算すること、最小値を計算すること、最大値を計算することなど］、手作業調整を使用して重み付き平均を見つけること、勾配降下ベース最適化を通して重み付き平均を見つけること、等方性ガウス近似、および／またはフィッシャー情報量を使用して精度行列を近似することを使用する、任意の個々のコンテキストアクションペアのモデル重みの後部（ｐｏｓｔｅｒｉｏｒ）からの近似サンプリングなどに従って）集約することと、新しいモデルに固有のデータ（たとえば、モデルに関連する特定のルートおよびコンテキスト内で［たとえば、車両のセンサーから］収集されたデータ、車両が特定のアクションを実行している間に収集されたデータ、モデルが構成されたときと同じレベルの劣化をもつセンサーから収集されたデータなど）を用いて新しいモデルをトレーニングすること（たとえば、再トレーニングすること、更新することなど）に基づいて、新しいモデルのための重みの初期セットを改良することとのいずれかまたはすべてを含む。追加または代替として、Ｓ２３０は、任意の他の好適なプロセスを含むことができる。
【0114】
（たとえば、トレーニング中に、再トレーニング中になど）重みの初期セットを改良することは、好ましくは、ターゲットモデル評価および調整プロセス（たとえば、潜在空間表現において表される新しいデータをモデルに提供すること、およびそれの性能を評価しながらモデルを調整すること）を含むが、追加または代替として任意の他のプロセスを含むことができる。
【0115】
追加または代替として、Ｓ２３０は、（たとえば、上記で説明された、入力の第２のセットに基づくなど）ハイパーパラメータ調整プロセス、および追加または代替として任意の他のプロセスを含むことができる。
【0116】
Ｓ２３０は、好ましくは、Ｓ１２０と比較して、より少ない時間を要し、および／またはより少ないデータにより実施されるが、代替的に、任意の他の時間においておよび／または任意の他のデータにより実施され得る。
【0117】
追加または代替として、Ｓ２３０は、任意の他のプロセスを含むことができる。
【0118】
４．３ 方法－ディシジョンメーキングアーキテクチャを実装することＳ３００
方法２００は、随意に、ディシジョンメーキングアーキテクチャを実装すること３００を含むことができ、これは、ディシジョンメーキングアーキテクチャに従って自律エージェントを動作させる（たとえば、操作する）ように機能する。Ｓ３００は、追加または代替として、新しいおよび／または拡張された領域内で（たとえば、固定ルートの新しいセットに沿って、新しいコンテキスト内で、新しいアクションを実行しながらなど）車両の動作を可能にするように機能することができる。
方法２００は、随意に、ディシジョンメーキングアーキテクチャを実装すること３００を含むことができ、これは、ディシジョンメーキングアーキテクチャに従って自律エージェントを動作させる（たとえば、操作する）ように機能する。Ｓ３００は、追加または代替として、新しいおよび／または拡張された領域内で（たとえば、固定ルートの新しいセットに沿って、新しいコンテキスト内で、新しいアクションを実行しながらなど）車両の動作を可能にするように機能することができる。
【0119】
Ｓ３００において実装されるディシジョンメーキングアーキテクチャは、Ｓ１００において決定されたもの、Ｓ２００および／または任意の繰り返される反復において決定されたもの、アーキテクチャの組合せ、ならびに／あるいは任意の他のディシジョンメーキングアーキテクチャを含むことができる。
【0120】
５． 変形形態
（たとえば、上記で説明された）新しいディープディシジョンネットワークを開発する際の方法の使用のためのなど、方法の１つの変形形態では、方法は、第１の領域において逆強化学習（ＩＲＬ）プロセスを通して学習されるディシジョンメーキングプロセスが第２の領域における使用のために適応されることを可能にするために使用され、ディシジョンメーキングは、車両の特定の車両状態を仮定すれば特定のアクションを出力する最適ポリシーを生成（たとえば、出力）するように構成される。ポリシーは、好ましくは、車両があらゆる可能な車両状態についてとるべきである示唆されたアクションを指す（たとえば、含む）。
（たとえば、上記で説明された）新しいディープディシジョンネットワークを開発する際の方法の使用のためのなど、方法の１つの変形形態では、方法は、第１の領域において逆強化学習（ＩＲＬ）プロセスを通して学習されるディシジョンメーキングプロセスが第２の領域における使用のために適応されることを可能にするために使用され、ディシジョンメーキングは、車両の特定の車両状態を仮定すれば特定のアクションを出力する最適ポリシーを生成（たとえば、出力）するように構成される。ポリシーは、好ましくは、車両があらゆる可能な車両状態についてとるべきである示唆されたアクションを指す（たとえば、含む）。
【0121】
目標が（たとえば、人間運転データから、シミュレートされたデータから、自律車両に搭載されて収集されたデータから、データソース／タイプの組合せからなど）状態アクションペアに基づいて報酬関数を取得（たとえば、生成）することである、逆強化学習を用いた特定の例では、データは、最初に、少なくとも第１の領域を含むソース領域のセットから収集され、（１つまたは複数の）報酬関数のパラメータ（たとえば、重み）は、ソース領域データセットに関連するトレーニングサンプルを表すために学習される。特定の具体的な例では、たとえば、このモデルは、車両のための潜在空間表現で生成された（たとえば、状態空間を集合的に定義する）内部状態のセット、車両がとることができるアクション（たとえば、右折、左折、車線変更、停止、道を譲るなど）のセット、ある状態から別の状態に遷移する確率を表す変換（たとえば、行列）（たとえば、ある状態から別の状態に遷移する確率を含んでおり、それにより、アクションを実施したことに応答してエージェントの状態に起こり得る潜在的修正を表す、行列）、および（たとえば、エージェントの状態に応答して報酬値を生成する）車両のための報酬関数のいずれかまたはすべてに基づいて、（たとえば、所与の時間において）ポリシーを決定するように構成される。随意に、この報酬関数決定プロセスの後に、出力として最適ポリシーを生成するように構成された強化学習（ＲＬ）プロセス（たとえば、トレーニングプロセス）が続くことができる。第２の領域と呼ばれる新しい領域においてこれらの学習を使用するために、好ましくは、以下のプロセス、すなわち、第２の領域からデータを収集することと、（たとえば、手作業調整、勾配降下ベース最適化などを通して）複数のコンテキストおよびアクションから集約されたモデルパラメータ（たとえば、重み付き平均パラメータ）ならびに／または（たとえば、ソース領域に関連するディープディシジョンネットワークからの）任意のコンテキストアクションペアのパラメータ（たとえば、モデル重みの後部）からの近似サンプリング（たとえば、等方性ガウス近似、フィッシャー情報量行列近似など）を使用してソース領域から学習されたパラメータに基づいて、新しいディープディシジョンネットワークパラメータ（報酬関数パラメータ）（たとえば、重み）を初期化することと、さらに、第２の領域からのデータに基づいてこれらの初期パラメータをトレーニングすることと、複合ポリシー（たとえば、加法、乗法など）を作成することによってＲＬトレーニングのためのポリシーを初期化することであって、複合ポリシーがソース領域ポリシーからの分散の重み付き和を含み、関数（たとえば、ゲーティング関数）が決定され、および／またはパラメータ値（たとえば、所与の車両状態のために各ソース領域をアクティブにする確率を決定する重み値）を算出するために使用され得る、初期化することと、第２の領域のための最適ポリシーを取得するために第２の領域からのデータを使用してＲＬ再トレーニングセッションを実施することとが実施される。
【0122】
追加または代替として、この変形形態および／または例（および／または修正されたバージョン）は、ディープディシジョンネットワーク以外のモデル（たとえば、ディープ軌道ネットワーク）に適用され得、方法は、別段に（たとえば、ＩＲＬを用いずに、ＩＲＬおよび／またはＲＬ以外のトレーニングプロセスを用いてなど）実装され得、および／または方法は別段に適切に実施され得る。
【0123】
簡潔のために省略されるが、好ましい実施形態は、様々なシステム構成要素および様々な方法プロセスのあらゆる組合せおよび置換を含み、方法プロセスは、任意の好適な順序で、連続的にまたはコンカレントに実施され得る。
【0124】
システムおよび／または方法の実施形態は、様々なシステム構成要素および様々な方法プロセスのあらゆる組合せおよび置換を含むことができ、本明細書で説明される方法および／またはプロセスの１つまたは複数の実例は、本明細書で説明されるシステム、要素、および／またはエンティティの１つまたは複数の実例によってならびに／あるいはそれを使用して、非同期的に（たとえば、連続的に）、同時期に（たとえば、コンカレントに、並列になど）、または任意の他の好適な順序で実施され得る。以下のシステムおよび／または方法の構成要素および／またはプロセスが、その各々の全体がこの参照により組み込まれる上述の出願において開示されるシステムおよび／または方法の全部または一部分とともに、それに加えて、それの代わりに、または別段にそれと一体化されて使用され得る。
【0125】
追加または代替の実施形態は、コンピュータ可読命令を記憶する、非公開一時的コンピュータ可読媒体において上記の方法および／または処理モジュールを実装する。命令は、コンピュータ可読媒体および／または処理システムと一体化されたコンピュータ実行可能構成要素によって実行され得る。コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（ＣＤまたはＤＶＤ）、ハードドライブ、フロッピードライブ、非公開一時的コンピュータ可読媒体、または任意の好適なデバイスなど、任意の好適なコンピュータ可読媒体を含み得る。コンピュータ実行可能構成要素は、ＣＰＵ、ＧＰＵ、ＴＰＵ、マイクロプロセッサ、またはＡＳＩＣなど、非公開一時的コンピュータ可読媒体に接続された（たとえば、１つまたは複数のコロケートされたまたは分散された、リモートまたはローカルのプロセッサを含む）コンピューティングシステムおよび／または処理システムを含むことができるが、命令は、代替または追加として、任意の好適な専用ハードウェアデバイスによって実行され得る。
【0126】
当業者が、前の詳細な説明から、ならびに図および特許請求の範囲から認識するように、以下の特許請求の範囲において定義される本発明の範囲から逸脱することなく本発明の好ましい実施形態に対して修正および変更が行われ得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】