特表 2023-528077 自律エージェントのコンテキスト認識型意思決定を行うための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-03

(54)【発明の名称】自律エージェントのコンテキスト認識型意思決定を行うための方法およびシステム

(51)【国際特許分類】

   B60W 30/00 20060101AFI20230626BHJP

   B60W 60/00 20200101ALI20230626BHJP

   G01C 21/36 20060101ALI20230626BHJP

【ＦＩ】

B60W30/00

B60W60/00

G01C21/36

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022574685

(86)(22)【出願日】2020-12-09

(85)【翻訳文提出日】2023-01-23

(86)【国際出願番号】 US2020064058

(87)【国際公開番号】W WO2021247075

(87)【国際公開日】2021-12-09

(31)【優先権主張番号】63/035,401

(32)【優先日】2020-06-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/055,756

(32)【優先日】2020-07-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522470965

【氏名又は名称】ガティック エーアイ インコーポレイテッド

【氏名又は名称原語表記】ＧＡＴＩＫ ＡＩ ＩＮＣ．

(74)【代理人】

【識別番号】110001302

【氏名又は名称】弁理士法人北青山インターナショナル

(72)【発明者】

【氏名】ナラング，ガウタム

(72)【発明者】

【氏名】クマヴァット，アペクシャ

(72)【発明者】

【氏名】ナラング，アルジュン

(72)【発明者】

【氏名】ティエウ，キン

(72)【発明者】

【氏名】スマート，マイケル

(72)【発明者】

【氏名】イリエフスキー，マルコ

【テーマコード（参考）】

2F129

3D241

【Ｆターム（参考）】

2F129AA03

2F129AA11

2F129AA20

2F129BB03

2F129BB20

2F129BB26

2F129BB36

2F129BB40

2F129BB56

2F129CC15

2F129CC16

2F129DD02

2F129DD13

2F129DD15

2F129DD25

2F129DD26

2F129DD30

2F129DD31

2F129EE78

2F129EE79

2F129EE80

2F129GG17

2F129GG18

3D241BA02

3D241BA03

3D241BA11

3D241BA50

3D241BB16

3D241BB33

3D241BB34

3D241BB37

3D241BB42

3D241BB46

3D241CD03

3D241CD10

3D241CD12

3D241CE04

3D241CE05

3D241CE08

3D241DB01Z

3D241DB02Z

3D241DB20Z

3D241DC31Z

3D241DC33Z

3D241DC34Z

3D241DC35Z

3D241DC37Z

3D241DC38Z

3D241DC39Z

3D241DC40Z

3D241DC41Z

3D241DC50Z

(57)【要約】

自律エージェントのコンテキスト認識型意思決定のためのシステムは、コンテキストセレクタとマップを有する演算システムを含む。自律エージェントのコンテキスト認識型意思決定の方法は、入力のセットを受け取るステップと、入力のセットに基づいて自律エージェントに関連するコンテキストを特定するステップと、任意選択で、マップをラベリングするステップと、コンテキストに基づいて学習モジュール（コンテキスト固有の学習モジュール）を選択するステップと、学習モジュールに基づいてアクションスペースを定義するステップと、アクションスペースからアクションを選択するステップと、アクションに基づいて経路を計画するステップＳ２６０と、および／またはその他の適切なプロセスの一部または全部を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

自律エージェントのコンテキスト認識型意思決定の方法であって、
前記自律エージェントのセンササブシステムから入力のセットを受信するステップであって、前記入力のセットは、少なくとも前記自律エージェントのポーズを含む、ステップと、
前記入力のセットおよびマップに基づいてビークルのコンテキストを特定するステップであって、前記マップは、前記自律エージェントの固定ルートの所定の一連のコンテキストを規定する、ステップと、
前記コンテキストに基づいて、コンテキスト認識学習モデルのセットからコンテキスト認識学習モデルを選択するステップと、
前記コンテキスト認識学習モデルを使用して、前記自律エージェントのアクションスペースを定義するステップと、
前記アクションスペースからアクションを選択するステップと、
前記アクションを前記自律エージェントのモーションプランナに送信するステップであって、前記モーションプランナは前記アクションに基づいて前記自律エージェントの経路を決定するステップと、
前記経路に従って前記自律エージェントを操作するステップと、
前記センササブシステムから第２の入力のセットを受信するステップと、
前記自律エージェントが、前記第２入力のセットおよびマップに基づいて、所定の一連のコンテキストのうちの第２コンテキストに移行していることを検出するステップと
を含むことを特徴とする方法。

【請求項2】

前記一連のコンテキストは、前記固定ルートに関連する順序付けられた一連のコンテキストを含む、請求項１に記載の方法。

【請求項3】

前記コンテキストに基づいてシナリオを決定するステップをさらに含み、前記コンテキスト認識学習モデルが前記シナリオに基づいてさらに決定される、請求項１に記載の方法。

【請求項4】

前記経路は前記固定ルートに沿っている、請求項１に記載の方法。

【請求項5】

前記コンテキスト認識学習モデルはそれぞれ、前記コンテキスト内で収集されたデータに基づいて訓練される、請求項１に記載の方法。

【請求項6】

前記データは、前記固定ルートの進行中に収集されたデータをさらに含む、請求項５に記載の方法。

【請求項7】

前記コンテキスト認識学習モデルはそれぞれ、逆強化学習アルゴリズムで訓練される、請求項５に記載の方法。

【請求項8】

前記コンテキストおよび前記選択されたコンテキスト認識学習モデルは、１：１マッピングで関連付けられる、請求項１に記載の方法。

【請求項9】

前記アクションスペースがパラメータのセットに関連付けられ、前記パラメータのセットの値のセットが前記コンテキストに基づいて決定される、請求項１に記載の方法。

【請求項10】

前記値のセットは徐行距離を含む、請求項９に記載の方法。

【請求項11】

前記マップは手動ラベリングされた高精細マップを含む、請求項１に記載の方法。

【請求項12】

前記コンテキストはさらに前記固定ルートに基づいて特定され、前記固定ルートは、前記コンテキストに関連する領域内の第２の固定ルートと交差する、請求項１に記載の方法。

【請求項13】

前記コンテキスト認識学習モデルは、入力として
検出された一連の動的オブジェクトに関連する情報と、
一連の静的オブジェクトに関連する情報とをさらに受け取る、請求項１に記載の方法。

【請求項14】

自律エージェントのコンテキスト認識型意思決定のためのシステムであって、
前記自律エージェントに搭載されたセンサシステムであって、当該センサシステムが、
入力のセットを受信するように構成された位置特定サブシステムであって、前記入力のセットは前記自律エージェントの位置特定パラメータを含む、センサシステムと、
前記自律エージェントの固定ルートについての所定の一連のコンテキストを規定するマップと、
一連のコンテキスト認識学習モデルと、
前記センサシステムと通信する演算システムであって、当該演算システムは：
前記センサシステムから入力のセットを受け取り、
前記入力のセットのうちの１以上を前記マップと比較し、
当該比較に基づいてコンテキストを選択し、
前記コンテキストに基づいて、前記一連のコンテキスト認識学習モデルのうちの１のコンテキスト認識学習モデルを選択し、
前記コンテキスト認識学習モデルに基づいてエージェントのアクションを決定し、
前記自律エージェントのモーションプランナに前記アクションを送信し、ここで前記モーションプランナが前記アクションに基づいて前記自律エージェントの経路を決定する、ことを特徴とするシステム。

【請求項15】

前記一連のコンテキスト認識学習モデルは、前記所定の一連のコンテキストのそれぞれについてのコンテキスト認識学習モデルを含む、請求項１４に記載のシステム。

【請求項16】

前記コンテキスト認識学習モデルはそれぞれ、前記所定の一連のコンテキストのコンテキストに１：１方式でマッピングされる、請求項１５に記載のシステム。

【請求項17】

前記コンテキスト認識学習モデルはそれぞれ、前記コンテキスト内で収集されたデータに基づいて訓練される、請求項１４に記載のシステム。

【請求項18】

前記データはさらに、前記固定ルート内で収集されたデータを含む、請求項１７に記載のシステム。

【請求項19】

前記コンテキスト認識学習モデルはそれぞれ、逆強化学習アルゴリズムで訓練される、請求項１７に記載のシステム。

【請求項20】

請求項１４に記載のシステムであって、前記マップは手動でラベリングされた高精細マップである、システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
［０００１］本出願は、２０２０年６月５日出願の米国仮出願通し番号６３／０３５，４０１、および２０２０年７月２３日出願の米国仮出願番号６３／０５５，７５６の利益を主張するものであり、これらはそれぞれこの参照によりその全体が組み込まれる。

【0002】

技術分野
［０００２］本発明は、一般に自律型ビークルの分野に関し、より具体的には、自律型ビークルの分野における自律エージェントのコンテキスト認識型意思決定（context-aware decision making）のための新規で有用なシステムおよび方法に関する。

【背景技術】

【0003】

［０００３］自動車の自律的および半自律的な制御において、意思決定のための従来のシステムと方法は、従来のプログラミング原理に依拠した古典的なアプローチと、機械学習ベースのアプローチとの２つに分類することができる。しかしながら、これらのアプローチにはそれぞれ限界がある。さらに、現在の自律型ビークルのシステムと方法の大部分は、様々な異なる環境で運転を試みているため、従来のアプローチが非常に複雑になる（そしておそらく不可能になる）か、機械学習ベースのアプローチが説明可能性（explainability）に欠ける（そのため安全上の懸念が生じる）ことになる。

【0004】

［０００４］したがって、自律型ビークルの分野では、意思決定のための改良された有用なシステムおよび方法を作成する必要がある。

【図面の簡単な説明】

【0005】

【図1】図１は、コンテキスト選択のための自律型ビークルシステムの概要を示す。

【図2】図２は、自律型ビークルのコンテキスト選択方法の概要を示す。

【図3】図３は、自律型ビークルアーキテクチャ内にコンテキスト選択システム（コンテキストセレクタ）を統合する実施例を示す図である。

【図4】図４は、一連のコンテキストのバリエーションを示す。

【図5】図５は、特定のコンテキスト内で徐行（creep）動作を実行するビークルの実施例を示す。

【図6】図６は、ジオフェンスで囲まれた運用設計領域（operational design domain：ＯＤＤ）のルートオプションと比較した、固定ルートのコンテキスト切替の実施例の概要を示す。

【図7】図７Ａ～７Ｄは、ルートに沿ったコンテキスト選択の例を示す。

【図8】図８は、自律エージェントのシステム全体の概略の実施例を示す。

【図9】図９は、コンテキスト認識型意思決定および経路計画（trajectory planning）の概略の実施例を示す。

【図10】図１０Ａ～１０Ｂは、固定ルート配送における自律型ビークルの使用事例の実施例と、ビークルが走行する固定ルートの概略図である。

【図11】図１１は、経路生成アーキテクチャにおけるコンテキストセレクタの統合の実施例を示す。

【図12】図１２は、マップとビークルの位置および／または向きとに基づいてコンテキストが選択されるコンテキストセレクタの実施例を示す。

【図13】図１３は、一連の入力と１以上のモデルおよび／またはアルゴリズムに基づいてビークルのコンテキストを特定するコンテキスト識別モジュールの実施例を示す。

【図14】図１４は、一連のルート例のそれぞれについて一連のコンテキストを順次示すマップの実施例を示す。

【図15】図１５は、一連のコンテキスト領域割り当ての例を示すマップの実施例を示す。

【図16】図１６は、コンテキストセレクタの実施例および一連の学習済み深層決定ネットワークを示す図である。

【発明を実施するための形態】

【0006】

［００２１］本発明の好ましい実施形態の以下の説明は、本発明をこれらの好ましい実施形態に限定することを意図するものではなく、当業者が本発明を製造および使用できるようにすることを意図するものである。

【0007】

１．概要
［００２２］図１に示すように、自律エージェントのコンテキスト認識型意思決定のためのシステム１００は、コンテキストセレクタおよびマップを有する演算システムを含む。追加的または代替的に、システムは、自律エージェント（本明細書では、等価的に自律型ビークルおよび／または自ビークルと呼ばれる）、ビークル制御システム、センサシステム、および／または任意の他の適切な構成要素または構成要素の組み合わせ、の一部または全部を含み、および／またはそれとインターフェースをとることができる。

【0008】

［００２３］図２に示すように、自律エージェントのコンテキスト認識型意思決定の方法２００は、入力のセットを受信するステップ（Ｓ２１０）と、入力のセットに基づいて自律エージェントに関連するコンテキストを特定するステップ（Ｓ２２０）とを含む。追加的または代替的に、方法２００は、マップをラベリングするステップ（Ｓ２０５）、コンテキストに基づいて学習モジュール（コンテキスト固有学習モジュール）を選択するステップ（Ｓ２３０）、学習モジュールに基づいてアクションスペースを定義するステップ（Ｓ２４０）、アクションスペースからアクションを選択するステップ（Ｓ２５０）、アクションに基づいて経路を計画するステップ（Ｓ２６０）、および／またはその他の適切なプロセスの一部または全部を含むことができる。方法２００は、上述のシステムおよび／または任意の他の適切なシステムで実行することができる。

【0009】

２．利点
［００２４］自律エージェントのコンテキスト認識型意思決定のシステムおよび方法は、現在のシステムおよび方法と比較していくつかの利点をもたらすことができる。

【0010】

［００２５］第１に、好ましい実施例では、システムおよび／または方法は、深層学習およびルールベースのプロセスのハイブリッドアプローチによる意思決定の利益をもたらし、説明可能な人工知能（ＡＩ）を実現する。

【0011】

［００２６］これにより、学習済みモデルを意図された機能が非常に説明可能なタスクに制限された複数のマイクロモジュールに分解し、安全性を保証するためにマイクロモジュールの周囲にルールベースのフォールバックおよび検証システムを構築し、これらの各サブモジュールの性能と基礎となる特性の検証を実現し、および／またはその他の適切なプロセスの一部または全部によって、自律性のための安全でスケーラブルなソリューションを実現するという利点が得られる。

【0012】

［００２７］第２に、好ましい実施例では、このシステムおよび／または方法はさらに、過度に定義および／または記述され得る少ないコンテキストを含む小さな限定されたルートＯＤＤを実装することによって、新しいルートをトラバース、検証、および／または追加するために必要なデータ量を削減し、それによってビークルが遭遇する多くのエッジケースを排除および／または削減できるという利点をもたらす。同様に、システムおよび／または方法は、学習システムのすべての利点（例えば、決定におけるエラーのマージンを非常に低く抑え、人間スタイルの運転を実現し、運転プロセスを継続するなど）を維持しながら、問題の大幅な限定によって大量のデータの必要性を減らすことができる。これにより、学習モジュール（深層学習モデルなど）の最適な選択、および／または必要なデータが少ないか最小限のエッジケースに基づいて学習モジュールの訓練が可能になる。例えば、いくつかの例では、逆強化学習アルゴリズム（従来は訓練に多様で大量のデータを必要とする）を活用して、人間の運転を効果的に再現することができる。具体例では、ルートを検証するために必要なデータは、ジオフェンスアプローチよりも大幅に少なくなる（例えば、５０分の１、１００分の１、１０００分の１など）。

【0013】

［００２８］第３に、いくつかの実施例では（例えば、図１０Ａ～１０Ｂに示すように）、システムおよび／または方法は、場所間の商品の固定ルートの自律型配送を可能にすることによって、短距離物流（例えば、Ｂ２Ｂトラック輸送）用途におけるサプライチェーンの成長を可能にするという利点をもたらす。

【0014】

［００２９］第４に、好適な実施例では、システムおよび／または方法はさらに好ましくは、自律型ビークルのコンテキストの特定および認識を可能にするという利点を有し、これが、コンテキストの円滑な切替の達成や（例えば、最小限の評価とテストで、特定の固定ルートなどに指定された所定の一連のコンテキストに基づいてなど）、特定のコンテキストに基づいたモデルの訓練（したがって、各モデルに必要な訓練を減らす）、例えば、様々なコンテキストでの様々なコスト関数やパラメータの最適化など、コンテキストに照らしてビークルの安全で適切な動作／挙動の選択、および／またはその他の利益を与えることができる。

【0015】

［００３０］第５に、いくつかの実施例では、システムおよび／または方法は、従来のシステムおよび方法の欠点を克服する利点を与える。この欠点には、予期しないコンテキストに適応できないことや、往々にして保守的な行動につながる過度の一般化（overgeneralization）、調整が困難な（手動調整が困難など）パラメータ、環境変化に基づくハイパーパラメータの制約監視と適応、小規模ＯＤＤでも解決できない、および／または従来のシステムおよび方法のその他の欠点が含まれる。

【0016】

［００３１］追加的または代替的に、システムおよび方法は、他の利益を与えることができる。

【0017】

３．システム１００
［００３２］システム１００は、ビークルのコンテキスト選択およびコンテキスト認識型意思決定を可能にするように機能し、コンテキストセレクタおよびマップを有する演算システムを含む。追加的または代替的に、システムは、自律エージェント、ビークル制御システム、センサシステム、および／または任意の他の適切な構成要素または構成要素の組み合わせ、の一部または全部を含むか、および／またはインターフェースすることができる。

【0018】

［００３３］システム１００は、好ましくは、意思決定のハイブリッドアーキテクチャ（例えば、図３、図８、図９、図１１に示すようになど）を実装し、このハイブリッドアーキテクチャは、古典的なルールベースのアプローチと、機械学習アプローチとの両方を実装し、小規模ＯＤＤの固定ルートドライビングフレームワークによって実現するように構成される。これは、ビークルの意思決定の説明可能性を維持しつつ、最小限の訓練データで検証されたルートを人間のような運転行動でビークルが走行できるようにするために機能する。

【0019】

［００３４］図１０～１０Ｂに示すように、実施例の第１のセットでは、システム１００は、自律的な短距離（例えば、５～４００マイル）のＢ２Ｂ固定ルートアプリケーションで実施される。これらの実施例では、自律エージェントは好ましくは仕分けセンターから在庫品（inventory）を受け取るが、追加的または代替的に、小包ハブおよび／または倉庫の在庫品を受け取ってもよい。次に、エージェントは、好ましくは、仕分けセンター、小型配送センター、流通センター、小売店、およびローカル配送センターの一部または全部に、および／またはこれらの間で在庫品を配送する。追加的または代替的に、エージェントは、住宅（顧客の家など）、および／またはその他の適切な場所／施設とのやりとりを行ってもよい。

【0020】

３．１ システム－構成要素
［００３５］システム１００は、ビークルに関連するコンテキストを選択するように機能する演算システムを含む。追加的または代替的に、演算システムは、計画モジュールでのビークルのルート計画（経路の生成など）、位置特定モジュールでのビークルおよび／または周囲オブジェクトの位置特定、予測モジュールでのビークルおよび／またはビークル周囲オブジェクトの経路予測、情報の保存、および／または他の適切な機能、の一部または全部を実行するように機能することができる。

【0021】

［００３６］演算システムは、好ましくは、タスク実行の高い並行性、短いレイテンシ、および高いスループットを可能にする集中型並列演算モデルを提供するように設計される。フレームワークの適応型通信機能により、高いデータスループットが可能になり、リソースを意識したユーザレベルのスケジューラにより、集中型コンピューティングモデルを最高レベルで実行することができる。

【0022】

［００３７］これを可能にするために、演算システムは、好ましくは、少なくとも部分的に、本明細書では学習モジュールと呼ばれる（本明細書では等価的に学習エージェントや学習モデルと呼ばれる）、それぞれが事前定義された入出力に関連付けられた一連のモジュール式演算コンポーネントを含むモジュール形式で設計される。各演算コンポーネントには、一連のデータ入力を処理し、一連の出力を生成するために構築された特定のアルゴリズムモジュールが含まれる。演算システムには、必要に応じて、これらのコンポーネントから依存関係を抽出し、それらをすべてリンクするミドルウェアフレームワークを含むことが可能である（例えば、有向非巡回グラフなどのトポロジ順序付けプロセスを使用）。例えば、実行時に、フレームワークは前述の事前定義されたコンポーネントを取得し、それらをセンサからの融合データと組み合わせて、軽量のユーザレベルのタスクを作成する。各タスクは、リソースの可用性とタスクの優先度に基づいてスケジューリングされ、最適化されたスレッドとして実行される。

【0023】

［００３８］追加的または代替的に、システムおよび／または演算システムは、別の方法で構成および／または設計することができる。

【0024】

［００３９］演算システムは、自律エージェントに搭載された（例えば、内部統合された）オンボード演算システムを含む。

【0025】

［００４０］好ましい実施例では、自律エージェントは、好ましくは完全自律型ビークルであり、および／または完全自律型ビークルとして動作できる自律型ビークルを含むが、追加的または代替的に、任意の半自律型または完全自律型ビークル、遠隔操作型ビークル、および／またはその他の適切なビークルであり得る。自律型ビークルは、好ましくは、自動車（例えば、乗用車、無人車両、バス、シャトル、タクシー、ライドシェア車両、トラック、セミトラックなど）である。追加的または代替的に、自律型ビークルは、水上バイク（例えば、ボート、水上タクシーなど）、航空機（例えば、飛行機、ヘリコプター、ドローンなど）、陸上ビークル（例えば、二輪車、自転車、オートバイ、スクーターなど）、および／または他の適切な車両および／または輸送装置、自律機械、自律装置、自律ロボット、および／またはその他の適切な装置を含み得る。

【0026】

［００４１］演算システムは、追加的または代替的に、クラウド演算システムなど、自律エージェントのオフボードのリモート演算システムを含むことができる。リモート演算システムは、好ましくはオンボード演算システムと通信するが（例えば、オンボード演算システムから情報を収集するため、更新されたモデルをオンボード演算システムに提供するためなど）、追加的または代替的に他の任意の適切な構成要素と通信することができる。

【0027】

［００４２］演算システムは、好ましくはアクティブサブシステムおよび冗長サブシステムを含むが、追加的または代替的に、任意の他の適切なサブシステムを含むことができる。

【0028】

［００４３］演算システムは、好ましくはビークルに関連するコンテキストを選択するように機能するコンテキストセレクタを含む。コンテキストセレクタはさらに好ましくは、演算システムの計画モジュールの一部であり、学習モジュールのセット（例えば、深層学習モデル）、経路ジェネレータ、経路バリデータ、および／またはその他の適切な構成要素、の一部または全部をさらに含むことができる。追加的または代替的に、コンテキストセレクタは計画モジュールから独立しており、計画モジュールは任意の他の適切な構成要素を含むことができ、および／または演算システムは他の構成とすることができる。

【0029】

［００４４］演算システムは、好ましくはさらに、演算システムで受信した入力を処理するように機能する処理システムを含む。処理システムは、好ましくは一組の中央処理装置（ＣＰＵ）および一組のグラフィック処理装置（ＧＰＵ）を含むが、追加的または代替的に任意の他の構成要素または構成要素の組み合わせ（例えば、プロセッサ、マイクロプロセッサ、システムオンチップ（ＳｏＣ）コンポーネントなど）を含むことができる。

【0030】

［００４５］演算システムは、メモリ、記憶装置、および／または任意の他の適切な構成要素の一部または全部を任意にさらに含むことができる。

【0031】

［００４６］計画モジュールに加えて、演算システムは、位置特定モジュール、予測モジュール、認識モジュール、および／または自律エージェントの動作のための他の適切なモジュールの一部または全部を含むか、および／またはそれらとインターフェースすることができる。

【0032】

［００４７］演算システム（例えば、オンボード演算システム）は、好ましくは、ビークル制御システムと通信し（例えば、無線通信、有線通信、結合、物理結合、電気結合など）、演算システムによって決定されたコマンドを実行するように機能する。

【0033】

［００４８］演算システムは、自律エージェントに関連するコンテキストの特定を少なくとも部分的に可能にするように機能するマップを含むか、および／またはマップとインターフェースする。マップは、好ましくは、以下に説明するように、その位置および／またはマップ内の位置に基づいて自律エージェントのコンテキストを規定する、高精細の、手動ラベリングされた（hand-labeled）マップであるが、追加的または代替的に、任意の他のマップ（例えば、自動ラベリングされたマップや、手動および自動化されたプロセスの両方でラベリングされたマップなど）および／またはマップの組み合わせを含むことができる。

【0034】

［００４９］システム１００は、好ましくは、自律エージェントの位置特定（例えば、マップ内）、自律エージェントの周囲のオブジェクト（例えば、動的オブジェクト、静的オブジェクトなど）の検出、および／またはその他の適切な機能、の一部または全部を可能にするように機能するセンサシステム（本明細書では等価的にセンササブシステムと呼ぶ）を含むか、および／またはそれとインターフェースする。

【0035】

［００５０］センサシステムには、カメラ（例えば、３６０度カバーカメラ、超高解像度カメラなど）、光検出および測距（ＬｉＤＡＲ）センサ、無線検出および測距（ＲＡＤＡＲ）センサ、モーションセンサ（例えば、加速度計、ジャイロスコープ、慣性計測ユニット（ＩＭＵ）、速度計など）、位置センサ（例えば、全地球航法衛星システム（ＧＮＳＳ）センサ、慣性航法システム（ＩＮＳ）センサ、全地球測位システム（ＧＰＳ）センサ、任意の組み合わせなど）、超音波センサ、および／または任意の適切なセンサ、の一部または全部を含み得る。

【0036】

［００５１］一連の実施例では、センサシステムには、１６ビームＬＩＤＡＲ（例えば、高精度障害物検出用など）、短距離ＲＡＤＡＲ（例えば、死角検出、交差交通警報、緊急ブレーキなど）、超音波センサ（例えば、パークアシスト、衝突回避など）、３６０度カバーカメラ（例えば、歩行者／自転車／都市の障害物の検出と回避などのサラウンドビュー用）、１２８ビームＬＩＤＡＲ（例えば、高精度のビークル位置特定用）、長距離超高解像度カメラ（例えば、交通標識や信号検出用）、長距離ＲＡＤＡＲ（例えば、長距離障害物追跡と回避用）、ＧＮＳＳ／ＩＮＳ（例えば、超高精度位置特定用）、および／またはその他の適切なセンサが含まれる。

【0037】

［００５２］好ましい実施例では、例えばセンサシステムは、エージェントのポーズ（pose）（および／または任意の他の位置および／または方向パラメータ）の特定を可能にするように構成され、これがラベリングされたマップに基づいてそのポーズに関連するコンテキストを選択するために使用される（例えば、１：１の方法で、コンテキストについての複数のオプションでなど）。具体例では、センサシステムはポーズを特定する位置特定サブシステムを含み、位置特定サブシステムは、ビークルに搭載されたＧＰＳ、ＩＭＵ、ＬＩＤＡＲ、カメラ、および／または他のセンサの任意の組み合わせを含み、任意の時点での現在位置を推定する。センサシステムはさらに好ましくは、限定しないが、動的オブジェクト、静的オブジェクト、道路インフラ、環境条件（例えば、雨、雪、照明状況など）、および／またはその他の適切な情報などの、エージェントの環境内のオブジェクトおよび／または特徴の情報（例えば、位置、挙動など）の特定が可能である。

【0038】

［００５３］追加的または代替的に、センサシステムは、任意の適切なセンサ情報を収集するように構成された任意の他の適切なセンサを含むことができる。

【0039】

［００５４］さらに追加的または代替的に、システム１００は、任意の他の適切な構成要素または構成要素の組み合わせを含むことができる。

【0040】

４．方法２００
［００５５］図２に示すように、方法２００は、入力のセットを受信するステップＳ２１０と、入力のセットに基づいて自律エージェントに関連するコンテキストを特定するステップＳ２２０とを含む。追加的または代替的に、方法２００は、マップをラベリングするステップＳ２０５、コンテキストに基づいて学習モジュール（コンテキスト固有学習モジュール）を選択するステップＳ２３０、学習モジュールに基づいてアクションスペースを定義するステップＳ２４０、アクションスペースからアクションを選択するステップＳ２５０、アクションに基づいて経路を計画するステップＳ２６０、および／またはその他の適切なプロセス、の一部または全部を含むことができる。

【0041】

［００５６］この方法は、好ましくは、上記のようなハイブリッド型意思決定を実施するシステムを実施および／またはインターフェースするが、追加的または代替的に、任意の他の適切な意思決定を実施する方法を実施および／またはインターフェースすることができる。

【0042】

［００５７］方法２００は、自律エージェントに関連するコンテキストを特定し、それによって自律エージェントのコンテキスト認識型意思決定を可能にするように機能する。追加的または代替的に、方法２００は、自律エージェントによって実行されるべきアクションの選択、自律エージェントによって走行されるべき経路の生成、および／または任意の他の適切な機能の実行を可能にするように機能することができる。

【0043】

［００５８］方法２００は、好ましくは、上述のシステム１００で実行されるが、追加的または代替的に、任意の適切なシステムで実行することができる。

【0044】

［００５９］方法２００は、好ましくは、自律エージェントがルートを走行している間、マップに基づいて実行される（例えば、コンテキストの変化を継続的にチェックする）が、追加的または代替的に、所定の頻度で（例えば、一定の頻度）、トリガに応答して、一連の間隔で（例えば、ランダムな間隔）、一度のみ、および／または任意の他の適切な時間、の一部または全部に実行することができる。

【0045】

［００６０］
４．１ 方法－マップをラベリングするステップＳ２０５
［００６０］方法２００は、マップをラベリングするステップＳ２０５を任意選択で含み、これはルート（例えば、所定のルート）に沿った自律エージェントの任意の位置におけるビークルのコンテキストを特定（specify）するように機能する。追加的または代替的に、マップをラベリングするステップは、エージェントのルートに沿った１以上の静的オブジェクトの位置、車線境界および／または他の道路特徴物の位置および／または他の情報（例えば、現在の車線、車線境界、車線などに関する情報）、出発点とビークルの目的地の位置、ビークルの位置に関連する一連のパラメータ（制限速度、目標ビークル速度、寸法など）、および／またはその他の適切な情報、を特定するように機能することができる。

【0046】

［００６１］マップは、好ましくは高精細マップであるが、追加的または代替的に、任意の他の適切なマップであるか、またはそれを含むことができる。マップは、さらに好ましくは、上記の情報の一部または全部とともに手動ラベリングされ、これは例えば、本システムと方法の好ましい実施例の小規模ＯＤＤおよび固定ルートのアプローチによって可能になる。これは、高精度で、安全で、信頼できるマップを生成して、ビークルのコンテキスト間を遷移できるように機能する。例えば、ジオフェンスＯＤＤを実装する従来のシステムおよび方法の例では（例えば、図６に示すように）、ビークルが利用できる可能なルートの数が多く、それによって、コンテキスト間の切替がより多く必要となり（誤ったコンテキストを選択する可能性が増える）、多数の完全に学習済みのモデルを保存し切り替える必要が増え（例えば、計算上の障害が発生する）、および／またはその他の影響が発生する。

【0047】

［００６２］コンテキストは、好ましくはマップの１以上の特定領域について割り当てられ（例えば、マップ内にハードコードされたり、マップ内にソフトコードされるなど）、これにより、エージェントに関連する特定のコンテキスト（例えば、エージェントが位置する場所のコンテキスト、エージェントが位置しようとしている場所のコンテキスト、エージェントが出発した場所のコンテキストなど）をＳ２２０で特定することができる（例えば、自律エージェントのポーズ情報など、Ｓ２１０で受信した１以上の入力を使用して）。

【0048】

［００６３］コンテキストは、好ましくはマップ内の場所および／または地域に割り当てられる。マップ内の各場所や領域には、単一のコンテキスト、複数のコンテキスト（例えば複数のルートの交差点を示し、Ｓ２１０で受信された入力の一部または全部などの追加情報に基づいて単一のコンテキストが選択される）、コンテキストなし（例えば、自律エージェントの固定ルートオプションにない場所および／または地域を示す）、および／またはコンテキストの任意の組み合わせ、の一部または全部を割り当てることができる。場所および／または地域に割り当てられた特定のコンテキストは、好ましくは、その場所および／またはその地域内の静的環境に基づいて特定され、これにはその地域内の道路の特徴（例えば車線の数、高速道路か住宅街か、一方通行か双方向か、土や砂利かアスファルトか、曲率、路肩ありか路肩なしかなど）、その地域内のランドマークおよび／または特徴物（例えば、駐車場、ラウンドアバウトなど）、その場所および／または地域に関連付けられたゾーンタイプ（例えば、学校ゾーン、建設ゾーン、病院ゾーン、住宅ゾーンなど）、その場所および／または地域で遭遇する動的オブジェクトのタイプ（例えば、歩行者、自転車、車両、動物など）、その場所および／または地域に関連付けられた交通パラメータ（例えば、制限速度、交通標識のタイプ、セミトラックの高さ制限など）、および／またはその他の環境情報がある。

【0049】

［００６４］実施例の第１のセットでは、マップはコンテキストがハードコードされた高精細マップである。具体例では、マップは、様々な地点および／または領域のコンテキストのセマンティックアノテーションを含むジオロケーションファイルである。

【0050】

［００６５］追加的または代替的に、ルートが用いられている時刻、および／または１以上の動的な（例えば、一時的な）特徴を考慮することができ、これには、（例えば、固定ルートが予定されている、および／または最も行われそうな時刻における）交通パターン、気象状況、照明状況、その時間特有のゾーン情報（例えば、スクールゾーンの制限が実施される時間）、および／またはその他の適切な情報、の一部または全部が含まれる。

【0051】

［００６６］いくつかの実施例では、好ましくは、動的オブジェクト（例えば、周囲車両、歩行者、動物、移動オブジェクトなど）および／または非永続的なオブジェクトまたは環境（例えば、建設現場）は、（マップではなく）センサシステムで考慮され、ここで、コンテキストが認識できない、および／または動的オブジェクトに基づいて別の影響を受ける場合（不確実性推定で計算される）、フォールバックモーションプランナがトリガされ得る。追加的または代替的に、マップは、特徴物および／またはオブジェクトの一部または全部を考慮するために、動的および／または反復的に作成することができる。

【0052】

［００６７］追加的または代替的に、コンテキストの割り当ては、自律エージェントが取るように規定された固定ルートのセットなどのルート情報（例えば、固定ルート情報）に基づいて決定することができる。ルート情報は、ルートの開始位置、ルートの目的地、ルートに沿った自律エージェントの方向性、および／または任意の他の情報の一部または全部を含むことができる。例えば、固定ルートを含む実施例では、マップに割り当てられたコンテキストは、好ましくは、ルートに沿ったビークルの進行と、その過程でビークルが順次遭遇するコンテキストに基づいて選択される。具体例では、例えば、エージェントが第１の固定ルートで直進する予定の交差点には、エージェントが第２の固定ルートで右折する予定の同じ交差点とは異なるコンテキストを割り当てることができる。

【0053】

［００６８］追加的または代替的に、ルートおよび／または固定ルートとは無関係に、コンテキストの一部または全部を特定することができる。

【0054】

［００６９］追加的または代替的に、コンテキストが一連の入力（例えば、Ｓ２１０で説明）に基づいて１以上のプログラムされたプロセスおよび／または機械学習プロセス（例えば、Ｓ２２０で説明）で識別される実施例では、Ｓ２２０で識別される１以上のコンテキストは、割り当てられたおよび／または規定のコンテキストのないマップに基づいて特定することができる。いくつかの実施例では、例えば、コンテキストは、図１３に示すようなコンテキスト識別子モジュール（例えば、エージェントの計画モジュールの一部として、演算システムの一部としてなど）で識別され、ここでコンテキスト識別子モジュールは、マップから道路インフラ情報（例えば、位置、サイズ、関連するパラメータなど）および／または静的環境特徴物などの入力を受け取ることができ、これは限定しないが個別および／または集合的に、道路標識、車線、建物、線路、バスルート、および／またはその他のインフラ情報の一部またはすべてを含み得る。

【0055】

［００７０］マップは、任意選択で１以上の移行ゾーンを含む（例えば、割り当てる、規定するなど）ことができ、これらは異なるコンテキスト間に配置され、例えば、（例えば、固定ルート沿い、動的に決定されたルート沿いなどの）コンテキストの変化を示し、これによってコンテキストの切り替えをスムーズに行えるようになる（例えば、アクションスペースを定義することにより）。移行ゾーンの割り当ては、例えば、ビークルをあるコンテキストから次のコンテキストにスムーズに移行する（例えば、特定のアクションが利用できないようにする、エージェントが自分の車線を維持するように規定する、転回しないようにするなど）方法において、続いてアクションスペースを定義するように機能する。移行ゾーンは、１以上のコンテキストと重複したり、１以上のコンテキストと重複しなかったり、および／または重複および非重複の任意の組み合わせとなり得る。追加的または代替的に、移行ゾーンはコンテキストそのものであってもよく、この方法は、（例えば、後続のコンテキストを予測することにより）ラベリングされた移行ゾーンがなくても実行することができ、および／またはその他の方法で実行することができる。

【0056】

［００７１］第１の実施例では、Ｓ２０５は、自律エージェントが利用可能な少なくとも一組の固定ルートについて、コンテキストのセット、さらに好ましくは一連のコンテキストを規定するために高精細マップを手動ラベリングすることを含む。Ｓ２０５は、さらに好ましくはこれらのルートに関連する一連の静的オブジェクトおよび／または道路の特徴を手動ラベリングすることを含む。具体例では、マップ内の各地域に単一のコンテキストが割り当てられる（例えば、すべてのルート、特定のルートについてなど）。追加的または代替的に、マップ内の各地域に複数のコンテキストを割り当てることができる（例えば、重複するルートについて、選択元としてなど）。

【0057】

［００７２］第２の実施例では、Ｓ２０５は、規定のコンテキストなしでマップにラベリングすることを含み、コンテキストは、後に方法２００において（例えば、１以上の機械学習モデルを使用して）特定される。具体例では、マップは、道路の特徴および／またはランドマークでラベリングされ、これらが後にコンテキストを（例えば、センサ情報で）特定するために使用される。

【0058】

［００７３］追加的または代替的に、Ｓ２０５は別の適切な方法で実行することができ、または方法２００はＳ２０５なしで実行することができる。

【0059】

４．２ 方法－入力のセットを受信するステップＳ２１０
［００７４］方法２００は、入力のセットを受信するステップＳ２１０を含み、これは自律エージェントのコンテキストを特定するための情報を受信するように機能する。追加的または代替的に、Ｓ２１０は、方法の任意の適切なプロセス（例えば、アクションおよび／または挙動を決定する、エージェントの経路を決定するなど）を実行するための情報を受信するように機能することができる。追加的または代替的に、Ｓ２１０は、入力のセットの一部または全部を特定すること（例えば、計算すること）、入力を結合すること（例えば、１以上のセンサ融合プロセスにおいて）、入力のセットを処理および／または前処理すること、および／または他の適切なプロセスを含むことができる。

【0060】

［００７５］Ｓ２１０は、好ましくは、方法２００全体を通して、連続的に、所定の頻度で、ランダムな間隔で、方法２００の一連のプロセスのそれぞれの前に、および／または任意の他の適切な時点で、実行される。Ｓ２１０は、追加的または代替的に、トリガに応答して（例えば、マップに基づいて、センサ情報に基づいてなど）、ランダムな間隔で、および／または方法２００中の任意の他の適切な時間に実行することができる。

【0061】

［００７６］Ｓ２１０で受信された入力のセットは、好ましくは自律エージェントのセンササブシステム、例えば自律エージェント搭載のセンサシステム、自律エージェントから遠隔のセンサシステム、および／または自律エージェントと通信するセンサシステム、および／または演算システム（例えば、オンボード演算システム、リモート演算システムなど）の一部または全部のセンササブシステムで収集されたセンサ情報を含む。追加的または代替的に、センサ情報は、任意の他の適切なセンサおよび／またはセンサの組み合わせから収集してもよいし、Ｓ２１０は、センサ入力を収集することなく実行してもよいし、および／またはＳ２１０は任意の他の適切な方法で実行してもよい。

【0062】

［００７７］センサ情報は、好ましくは、自律エージェントに関連する位置情報、例えば、位置、向き（例えば、方位角）、ポーズ、地理的位置（例えば、全地球測位システム（ＧＰＳ）座標を使用、他の座標を使用など）、地図内の位置、および／または他の適切な位置情報の一部または全部を含む。好ましい実施例では、例えばＳ２１０は、センササブシステムの位置特定モジュールからポーズ情報を受信することを含み、位置特定モジュールは、ＧＰＳセンサ、ＩＭＵ、ＬＩＤＡＲセンサ、カメラ、および／または任意の他のセンサ（例えば、上記のもの）、の一部または全部を含む。追加的または代替的に、任意の適切なセンサから任意の他のセンサ情報を受信することができる。

【0063】

［００７８］センサ情報は、追加的または代替的に、速度／スピード、加速度、および／または任意の他の適切な情報の一部または全部などであるがこれらに限定されない、自律エージェントに関連する運動情報および／または他の動的情報を含むことができる。

【0064】

［００７９］センサ情報はさらに好ましくは、自律エージェントの環境内の１以上の動的オブジェクトに関連する位置情報および／または運動情報、例えば、上記の位置情報のうちの一部または全部、自律エージェントに関連する位置情報、動的オブジェクトの運動情報、予測情報（例えば、予測経路）、履歴情報（例えば、履歴経路）、および／または任意の他の適切な情報を含む。動的オブジェクトには、他のビークル（例えば、自律型ビークル、非自律型ビークル、４輪車、自転車などの２輪車など）、歩行者（例えば、ウォーキング、ランニング、ローラーブレード、スケートボードなど）、動物、および／または他の移動オブジェクト（例えば、道路を転がるボール、動くショッピングカートなど）の一部または全部を含み得るが、これらに限定されない。追加的または代替的に、センサ情報は、動的オブジェクトのサイズ、オブジェクトのタイプの識別情報、他の適切な情報を含むことができ、および／または、Ｓ２１０で収集される情報は、動的オブジェクト情報がなくてもよい。

【0065】

［００８０］センサ情報は、任意選択で、自律エージェントの環境内の１以上の静的オブジェクト（例えば、立ち止まっている歩行者、道路インフラ、建設現場および／または建設機械、バリケード、トラフィックコーン、駐車車両など）に関連する位置情報および／または他の情報を含むことができ、これには上記の情報の一部またはすべてなど（例えば、オブジェクトタイプの識別など）が含まれる。追加的または代替的に、センサ情報は、１以上の静的オブジェクトに関連する任意の他の情報を含むことができ、および／またはＳ２１０で収集される情報は、静的オブジェクト情報がない状態で収集されてもよい。

【0066】

［００８１］Ｓ２１０で受信された入力のセットはさらに好ましくは、Ｓ２０５で上述した情報の一部または全部など、マップおよび／またはマップから特定された（例えば、マップに基づいて決定された、マップから導出された、マップに含まれたなど）任意の情報を含む。いくつかの実施例では、これは自律エージェントの領域／場所（例えば、上記のセンサ情報に基づいて特定される）に基づいて選択された（例えば、事前決定された／割り当てられた）１以上のコンテキスト（および／または移行ゾーン）を含む。追加または代替の変形例では、地図情報は、道路インフラ情報および／または他の静的環境情報、ルート情報、および／または他の適切な情報の一部または全部を含む。

【0067】

［００８２］マップに関連する情報は、Ｓ２１０で受信された他の情報、例えば１以上のセンサシステムで受信されたセンサ情報の一部または全部に基づいて任意に決定され得る。例えば、自律型エージェントに関連する位置情報（例えば、現在のポーズ、現在の位置、現在の地理的位置など）を使用して、マップ内でエージェントの位置を特定することができ（例えば、ハンドラベリングされたマップ内でその位置を特定）、これが自律エージェントに関連するマップ情報を特定するために使用される。実施例の第１のセットでは、この情報は、自律エージェントの位置（例えば、その場所を含む地域、エージェントが位置する道路の規模、エージェントが位置する特定の交差点の場所など）に基づいて選択された（例えば、割り当てられた）特定のコンテキストである。実施例の第２のセットでは、マップと比較した自律エージェントの位置は、道路インフラ（例えば、道路標識、車線、建物など）に関連する情報を含み、これは好ましくは、他の入力（静的環境特徴、静的オブジェクト情報、自律エージェントビークル状態、動的環境特徴など）とともに、自律エージェントについてのコンテキストの特定に用いられる（例えば、１以上の学習ベースのモデルを利用、パターン認識および／または分類モデルを利用など）。

【0068】

［００８３］追加的または代替的に、マップ情報は、任意の他の情報（例えば、可能なコンテキストのセット、アルゴリズムおよび／またはモデルのパラメータおよび／または重みのセットなど）を含むことができ、および／または、例えばＳ２１０で受信された他の情報とは独立して、Ｓ２１０で受信された他の情報と同時に、Ｓ２１０で受信された他の情報の前に、Ｓ２１０で受信された他の情報の後に、Ｓ２１０において複数回、および／またはその他の適切な時間に、などの任意の他の方法で受け取ることができる。

【0069】

［００８４］入力のセットは、任意選択で、（例えば、エージェントのために選択された固定ルート、エージェントが走行している動的ルート、エージェントの予測ルートなどの）エージェントに割り当てられた、および／またはエージェントが走行しているルート情報および／または関連するルート情報（例えば、固定ルートのルート識別子、ルートを通るエージェントの進行度合など）を含むことができ、これが例えば、１以上のマップから情報を選択したり、および／または特定のマップ（例えば、ルート固有のマップ）を選択するように機能し得る。ルートに基づいて選択されたマップ情報は、限定しないが、現在のコンテキスト、将来のコンテキスト（例えば、固定ルートの次のコンテキスト）、移行ゾーン、および／またはマップからの他の適切な情報の一部または全部を含み得る。マップに基づいてコンテキストが選択される実施例では、ルート情報を使用して、複数のルートが重なる地域（例えば、複数のルートが通る交差点）で特定のルートの適切なコンテキストを選択することができる。ルート情報（例えば、ルートの以前のコンテキスト、履歴情報、固定ルート識別子、目的地、出発点、ルートの方向性など）を使用して、例えば、複数のコンテキスト選択肢から適切なコンテキストを選択できる。追加的または代替的に、ルート情報は、方法２００の他のプロセス（例えば、コンテキストに基づいてアクションスペースを定義する際、アクションスペースからアクションを選択する際、エージェントの経路を決定する際など）で使用してもよいし、ルート情報に基づいて他の適切な情報を決定してもよいし、ルート情報とは無関係におよび／またはルート情報がない状態の入力のセットを収集してもよいし、および／またはＳ２１０を任意の他の適切な方法で実行してもよい。

【0070】

［００８５］入力のセットＳ２１０は、追加的または代替的に、限定しないが、自律エージェントの状態（例えば、動作状態、運転状態など）、エージェントの経路、エージェントの一連の制御コマンド、エージェントおよび／またはエージェントの環境に関連する履歴情報、エージェントおよび／または環境に関連する予測情報（例えば、動的オブジェクトの予測経路）、および／またはその他の適切な情報および／または入力といった他の適切な情報を含み得る。

【0071】

［００８６］実施例の第１のセットでは（例えば、図１２に示すように）、Ｓ２１０は、エージェントに割り当てられたコンテキストのセットを指定するマップと、任意選択でエージェントのルート（固定ルートなど）と、自律エージェントに搭載された一連のセンサからのセンサ情報とを受信することを含み、センサ情報は少なくとも自律エージェントのポーズを含み、ポーズおよび任意選択でルートが、マップに基づいてエージェントのコンテキストを選択するために使用される。追加的または代替的に、Ｓ２１０は、任意の他の適切な入力を受信することを含んでもよい。

【0072】

［００８７］一連の具体例では、Ｓ２１０は、ビークルの選択されたルート、ルートの各部分（および任意で他のルート）のコンテキストを指定する高精細の手動ラベリングマップと、ビークルに関連する少なくとも位置情報、および任意で運動情報、オブジェクト情報（例えば、動的オブジェクト情報、静的オブジェクト情報など）、および／または任意の他の適切な情報、の一部または全部を含むセンサ情報を受信することを含む。

【0073】

［００８８］実施例の第２のセットでは、Ｓ２１０は、エージェントの１以上のルート（例えば、エージェントの固定ルート）に沿った道路インフラなどの道路インフラに関連する情報を含むマップ、および任意選択で、他のマップ情報（例えば、速度制限情報、交通法規など）、エージェントの状態（例えば、本明細書では自車状態と等価的に呼ばれる、センササブシステムによって特定されるような、ポーズ、速度、加速度など）、静的環境の特徴および／または情報、動的環境の特徴および／または情報、センサ情報、および／または他の任意の適切な情報、の一部または全部を受信することを含み、ここでコンテキストは、１以上のモデルおよび／またはアルゴリズム（例えば、畳み込みニューラルネットワーク［ＣＮＮ］、再帰型ニューラルネットワーク［ＲＮＮ］、サポートベクターマシン［ＳＶＭ］など）によって特定される。

【0074】

［００８９］一連の具体例では、１以上の深層学習モデルを含むコンテキスト識別子モジュールが、入力として、マップと、任意選択でエージェントのルート情報、エージェントの状態、静的環境特徴、および動的環境特徴を受け取り、これらを用いてコンテキスト識別子モジュールがエージェントのコンテキストを特定する。

【0075】

［００９０］実施例の第３のセットでは、Ｓ２１０は、マップに基づいてエージェントの複数の可能なコンテキストのセットを受信することを含み、複数のコンテキストのセットのうちの１のコンテキストが、Ｓ２１０で受信された他の入力に基づいて特定される。

【0076】

［００９１］追加的または代替的に、Ｓ２１０は、任意の他の適切なプロセスを含むことができる。

【0077】

４．３ 方法－入力のセットに基づいて、自律エージェントに関連するコンテキストを特定するステップＳ２２０
［００９２］方法２００は、自律エージェントに関連するコンテキストを特定するステップＳ２２０を含み、これは、自律エージェントが動作しているコンテキストを特定するように機能し、さらに、コンテキストに基づいて（例えば、１：１マッピングに従って）学習モジュールを選択し、エージェントが利用できる一連の行動またはアクションを定義および／または制限し、行動および／またはアクションに関連する特定のパラメータ（例えば、徐行距離）を指定し、学習モジュールの訓練に必要なデータ量を削減および／または最小化し、および／またはその他の適切な機能を実行するように機能することができる。

【0078】

［００９３］Ｓ２２０は、好ましくはＳ２１０に応答して（例えば、その後に、基づいてなど）実行されるが、追加的または代替的に、Ｓ２１０の一部としてや、および／またはＳ２１０と同時に、Ｓ２１０の代わりに、Ｓ２１０の不在下で、方法を通して複数回、および／または方法２００中の任意の他の時点で実行することができる。さらに追加的または代替的に、方法２００は、Ｓ２２０なしで実行することができる。

【0079】

［００９４］コンテキストとは、エージェントの高レベル運転環境をいい、任意の時間および／または時間範囲におけるビークルの決定を通達および制限することができる。コンテキストは、ビークルがいる地域タイプ（例えば、住宅、非住宅、高速道路、学校、商業地、駐車場など）、ビークルが走行している道路の車線の特徴および／またはその他のインフラ特徴（例えば、車線数、一方通行道路、双方向道路、交差点、双方向停止および／または交差点、三方向停止および／またはまたは交差点、四方向停止および／または交差点、ラウンドアバウトの車線など）、１以上の静的オブジェクトおよび／または環境特徴（例えば、特定の建物、水域、線路、駐車場、路肩、エージェントが路肩に停車／駐車できる領域など）など）への近接性、場所に関連するパラメータ（例えば、速度制限、所定閾値を超える速度制限、所定閾値を下回る速度制限など）、道路標識（例えば、黄色車線、白車線、点線車線、実線車線など）、および／またはその他の適切な情報、の一部または全部を含むか、および／または定義するか、および／またはそれらに基づいて特定することができる。

【0080】

［００９５］コンテキストの例は、限定しないが、双方向の２車線の住宅道路（例えば、図４に示すように、道路形状的にエージェントはコンテキストを変更できない）、双方向の２車線の非住宅道路、多車線の高速道路（例えば、エージェントは歩行者と遭遇する可能性が低いことを学習できる）、一方通行の単一車線の道路、一方通行の２車線道路、「ｎ」車線（例えば、１、２、３、４、５、６、６以上など）の一方通行道路、「ｎ」車線（例えば、１、２、３、４、５、６、６以上など）の双方向道路、駐車場の単一車線道路、片側に黄色の境界線がある単一車線道路、多車線の高速走行道路（例えば、速度が所定閾値を超える）、高速道路のランプ；高速道路の出口ランプ、道路に接続する領域（例えば、駐車場、私道など）；および／またはその他の適切なコンテキスト、の一部または全部が含まれる。

【0081】

［００９６］Ｓ２２０は、好ましくはＳ２１０で受信された入力のセットに基づいて実行されるが、追加的または代替的に、任意の他の適切な情報に基づいて実行され得る。

【0082】

［００９７］Ｓ２２０は、好ましくは、（例えば、上述のように）マップを読み取って、エージェントの位置（例えば、ポーズ）および／またはエージェントのルートに対応する地点および／またはエリアに割り当てられたコンテキストを特定することによって実行される。前述のように、各地点および／または地域は、最大１つのコンテキストに関連付けられる（１：１マッピングで）、ルートごとに最大１つのコンテキストに関連付けられる（例えば、エージェントの固定ルート割り当てが適切なコンテキストを選択するために用いられる）、複数のコンテキストに関連付けられる（例えば、Ｓ２１０で受信された他の入力に基づいてランク付けされ、優先順位が付けられ、選択される）、および／または別の方法で関連付けられる、の一部または全部であり得る。具体例では、コンテキストの割り当てがマップにハードコーディングされる。あるいは、コンテキストの割り当ては、ソフトコーディングおよび／または別の方法で割り当てることができる。

【0083】

［００９８］追加的または代替的に、Ｓ２２０は、任意数のアルゴリズム、モデル（機械学習モデル、深層学習モデル、教師あり学習モデル、教師なし学習モデル、半教師あり学習モデル、統計モデル、パターン認識モデルなど）、有限状態マシン（ＦＳＭ）、プロセス（例えば、従来のプログラムプロセス）、決定木、および／または方程式を用いて実行され得る。

【0084】

［００９９］いくつかの実施例では、例えば、限定しないが、１以上のニューラルネットワーク（例えば、ＣＮＮ、ＲＮＮなど）、ＳＶＭ、および／または任意の他の適切なモデルの１以上の機械学習モデルが、Ｓ２１０での入力の一部または全部に基づいて、エージェントのコンテキストを（例えば、図１３のコンテキスト識別子モジュールとして）特定するために実装される。

【0085】

［００１００］コンテキストを特定することは、任意選択で、コンテキスト間で切り替えることを含むことができ、これは好ましくは、現在のコンテキストと将来のコンテキストとの間の移行を決定することを含む。移行は、マップに規定された移行ゾーン（上記のような）、コンテキストの変化、移行アクション／動作（例えば、車線変更、合流、高速道路からの退出など）；経路移行（例えば、車両が第１車線から第２車線に変わるのに辿る経路など）の一部または全部の形式であるか、および／またはビークルの他の動作を規定できる。移行は、好ましくは、マップに基づいて（例えば、移行ゾーンとして示すように、マップ内の別個の隣接するコンテキストを通じて示すように、固定ルート内の別個の連続するコンテキストを通じて示すようになど）特定される（例えば、規定される）が、追加的または代替的に、動的に特定、経路プランナで特定、センサ情報に基づいて特定、および／または別の方法で特定することができる。

【0086】

［００１０１］Ｓ２２０は、任意選択で、コンテキストに基づいてシナリオを選択することを含むことができ、これは、上記の情報（例えば、速度制限、ビークル周囲の物体のセンサ情報など）の一部または全部に基づいてコンテキストをさらに特定（specify）するように機能する。第１のコンテキスト（例えば、双方向の住宅道路）のシナリオの例は、限定しないが、右折の機会、右折車線の追加、一時停止の標識、信号機、譲れ標識（yield sign）、横断歩道、スピードバンプ、および／またはその他のシナリオ、の一部または全部が含まれる。第２のコンテキスト（例えば、複数車線の高速道路）のシナリオの例は、車線変更、合流、低速車の追い越し、および／またはその他のシナリオ、の一部または全部が含まれる。いくつかの実施例では、例えば、コンテキストがモデルおよび／またはアルゴリズム（高度に調整された、コンテキスト認識型カスタム逆強化学習（ＩＲＬ）アルゴリズムなど）の選択をトリガし、これが高レベルシナリオ選択を行って、（後述するような）シナリオ固有の学習モジュールを呼び出してビークルのアクションを選択させる。追加的または代替的に、シナリオを選択するための任意の他の適切なアルゴリズムまたはプロセスを実装してもよいし、シナリオなしでアクションを選択してもよいし、コンテキストを使用して別のパラメータを選択してもよいし、および／またはＳ２２０を別の方法で実行してもよい。

【0087】

［００１０２］実施例の第１のセットでは、Ｓ２２０は、ビークルの位置および／または向き（例えばポーズ）、ラベリングされたマップ、および任意選択でＳ２１０で受信した他の情報の一部または全部に基づいてコンテキストを選択することを含み、ここでコンテキストは、方法の残りのプロセスがどのように実行されるかを通知（inform）する。任意選択で、コンテキストが次に特定のシナリオの選択をトリガする（例えば、コンテキスト固有のＩＲＬアルゴリズムに基づく）。

【0088】

［００１０３］具体例のセット（例えば、図１４に示すような）において、ラベリングされたマップは、ルートのセットの各々に対する連続した一連のコンテキストを示し（例えば、ルート１についてＣ１～Ｃ２～Ｃ３、ルート２についてＣ１’～Ｃ２’～Ｃ３’～Ｃ４’～Ｃ５’など）、ルートが特定のセクションおよび／または地点（交差点など）で重複する場合、ルートの割り当て（例えば、ルート１かルート２か）および／またはエージェントの方向性（例えば、西か東か）を用いて、適切なコンテキストを選択できる。マップは、任意選択で、異なるコンテキストの隣接する領域間に移行ゾーン（例えば、ゼロでないサイズを有したり、サイズがゼロで即時移行を示すなど）および／または任意の他の情報をさらに含むことができる。

【0089】

［００１０４］追加的または代替的な具体例のセットでは（例えば、図１５に示すように）、ラベリングされたマップが、ラベリングされたマップの一連の領域のそれぞれにコンテキストを割り当てており、領域内におけるエージェントの位置（および任意選択でルート割り当ておよび／またはエージェントの方向性）によって当該エージェントのコンテキストが決定する。マップは、任意選択で、異なるコンテキストの隣接する領域間の移行ゾーン（例えば、ゼロでないサイズを有したり、サイズがゼロで即時移行を示すなど）および／または任意の他の情報をさらに含むことができる。

【0090】

［００１０５］実施例の第２のセットでは、Ｓ２２０は、エージェントに関連するコンテキストをコンテキスト識別子モジュールで識別することを含み、コンテキスト識別子モジュールは、Ｓ２１０で受け取った情報の一部または全部を入力として受け取る１以上の学習済みモデル（例えば、機械学習モデル、深層学習モデルなど）を含む。

【0091】

［００１０６］追加的または代替的に、Ｓ２２０は、任意の他の適切なプロセスを含むことができ、および／または任意の他の適切な方法で実行することができる。

【0092】

４．４ 方法－コンテキストおよび／またはシナリオに基づいて学習モジュールを選択するステップＳ２３０
［００１０７］方法２００は、コンテキストおよび／またはシナリオＳ２３０に基づいて学習モジュールを選択するステップを含むことができ、これは、ビークルの特定のコンテキスト（および任意選択でシナリオ）を考慮して、エージェントに対してアクション（等価的に行動と呼ばれる）を決定することを可能にするように機能する。Ｓ２３０は、追加的または代替的に、エージェントが利用可能なアクションスペースを定義し、経路プランナが決定したエージェントの経路を通知し、エージェントによる考慮から１以上のアクションを除外し（例えば、エージェントが利用可能なアクションの数を最小化する）、および／または他の適切な機能を実行できるするように機能することができる。

【0093】

［００１０８］Ｓ２３０は、好ましくは、Ｓ２２０に応答して（例えば、その後に、基づいて、など）実行されるが、追加的または代替的に、Ｓ２２０の一部として、および／またはＳ２２０と同時に、Ｓ２２０の代わりに、Ｓ２２０がなくても、Ｓ２１０に応答して、方法全体にわたって複数回、および／または方法２００中の他の任意の時点で実行することができる。さらに追加的または代替的に、方法２００は、Ｓ２３０なしで実行することができる。

【0094】

［００１０９］Ｓ２３０は、好ましくは、機械学習（例えば、深層学習）モデルおよび／またはアルゴリズムのセットを含む学習モジュール（本明細書では、等価的にコンテキスト認識学習エージェントまたは深層決定ネットワークと呼ばれる）を選択することを含み、ここで学習モジュールはその特定のコンテキストに関連するデータに基づいて訓練される。これは、すべての可能なコンテキストからの大量のデータを、エージェントがそのコンテキストで遭遇する可能性のあるすべてまたはほぼすべてのコンテキストをカバーする管理可能な量のセットに分割するように機能する。

【0095】

［００１１０］各コンテキストは、好ましくは、学習モジュールに１：１でマッピングされる。追加的または代替的に、コンテキストを複数の学習モジュールに関連付けることができ（例えば、複数のモジュールからの結果が集約される場合、単一の学習モジュールが選択される場合など）、また学習モジュールを複数のコンテキストに関連付けることができ、および／またはコンテキストと学習モジュールは別の方法でマッピングすることができる。

【0096】

［００１１１］Ｓ２３０は、任意選択で、入力セットを受信することを含むことができ、これには上述の入力セットの一部または全部、異なるおよび／または追加の入力セット、および／または任意の他の適切な入力が含まれ得る。一連の実施例では、例えば、Ｓ２３０には、上記の入力、エージェントのコンテキストおよび／またはシナリオ、ビークルおよび／またはビークルを取り囲む他の動的オブジェクトのセット、動的オブジェクトの予測経路（例えば、車線のどこにあるのか、どの車線にあるのかなど）、エージェントを取り囲む静的オブジェクト、（例えば、予測経路の）不確実性の値、エージェントに関連するルーティング情報、および／またはその他の適切な入力、の一部またはすべてを受け取ることが含まれる。

【0097】

［００１１２］いくつかの実施例では（例えば、図１６に示すように）、エージェントの環境表現（environmental representation）は、コンテキストに基づいて選択された深層決定ネットワークでコンテキストとともに受信される。図１６に示すこの例では、環境表現（完全環境表現と呼ばれる）は、入力のセットの潜在空間表現（latent space representation）を含み（例えば、Ｓ２１０で説明されるように、またはＳ２１０で説明されるものの追加または代替としてなど）、ここで入力のセットは、エージェントの状態（本明細書では等価的に自車状態と呼ばれる）、１以上のマップ、ルーティング情報（例えば、選択された固定ルート、選択された固定ルートに関連するパラメータなど）、動的オブジェクト情報／特徴、静的オブジェクト情報／特徴、および／またはその他の適切な情報、の一部または全部を含む。１以上のモデル（例えば、機械学習モデル、深層学習モデル、ＲＮＮなど）および／またはプロセスおよび／またはアルゴリズムを使用して、これらの入力の一部またはすべてを処理することができる（例えば、潜在空間表現を決定するため、別の出力を決定するため、深層決定ネットワークへの入力を単純化するためなど）。具体例では（例えば、図１６に示すように）、例えば、第１のニューラルネットワーク（例えば、１以上のＲＮＮ、１以上のＣＮＮ、ＲＮＮとＣＮＮの組み合わせ、図１６の順序独立表現（order independent representation）など）が、エージェントの環境でオブジェクトの特徴（動的、静的、両方など）を処理するために使用され、これが例えば、オブジェクトの特徴の中間表現（抽象化など）を生成するために機能することができる。具体例では、第１のニューラルネットワークは、１以上の畳み込み層および／またはプーリング層のセットを含むＣＮＮである。追加的または代替的に、任意の他の適切なモデルを使用することができる。この表現は、任意選択で他の環境情報／入力（例えば、ルート情報、マップ、エージェント／自車ポーズなど）および／または自ビークル状態を処理する第２のニューラルネットワーク（例えば、ＲＮＮ、ＣＮＮ、図１６の自車ＲＮＮなど）などの他のモデルからの出力と組み合わせることができる（例えば、ベクトルおよび／またはマトリックスに追加）。次に、この情報の一部または全部を潜在空間ネットワーク（ＲＮＮ、ＣＮＮなど）に供給することができ、このネットワークは、これらの他のネットワークの出力、および任意選択でマップ情報、ルーティング情報、および／または他の適切な入力に基づいて、環境表現を決定するために使用される。潜在空間ネットワークは、好ましくは、１以上のオートエンコーダ（１以上のエンコーダ、コード、およびデコーダを有する）の形態であり、および／またはそれらを含むが、追加的または代替的に、他の教師なし学習モデル、教師あり学習モデル、半教師あり学習モデル、および／または他の適切なニューラルネットワークおよび／またはモデル、の一部または全部を含むことができる。具体例では、潜在空間ネットワークは、全接続（fully-connected）フィードフォワードニューラルネットワークである。次いで、好ましくは低レベル特徴ベクトルである潜在空間表現の出力（ただし、追加的または代替的に任意の他の出力とすることができる）は、好ましくは学習モジュールへの入力として使用される。

【0098】

［００１１３］追加的または代替的に、任意の他の適切なモデルおよび／またはアルゴリズムを実装してもよいし、入力および／または出力をこれらのモデルおよび／またはアルゴリズムとは異なるものにしてもよく、および／または任意の適切なモデルアーキテクチャを実装してもよい。

【0099】

［００１１４］学習モジュールは、好ましくは機械学習モデルの形態であり、さらに好ましくは、特定のコンテキスト用に訓練された１以上のニューラルネットワークおよび／またはモデル（例えば、畳み込みニューラルネットワーク［ＣＮＮ］、逆強化学習［ＩＲＬ］モデル、強化学習［ＲＬ］モデル、模倣学習［ＩＬ］モデルなど）の形態であるが、追加的または代替的に、他の適切なモデル、アルゴリズム、決定木、ルックアップテーブル、および／またはその他のツールを含むことができる。

【0100】

［００１１５］好ましい実施例では、学習モジュールはそれぞれニューラルネットワークであり、さらに好ましくは深層Ｑ学習ネットワーク（例えば、ＩＲＬアルゴリズム／ネットワーク）であり、ニューラルネットワークの層（例えば、隠れ層）の数は、コンテキストおよび／またはアクションの違いによって変化し得る（例えば、３～８層、３層以下、８層以上、２～１０層、１～１５層など）。追加的または代替的に、学習モデルにおいて他の適切なネットワーク、アルゴリズム、および／またはモデルを利用することができ、これには限定しないが、方策勾配法（policy gradient methods）、有限状態マシン［ＦＳＭ］、確率的方法（例えば、部分観測マルコフ決定プロセス［ＰＯＭＤＰ］）、模倣学習［ＩＬ］、ＲＬまたはＩＲＬのバリエーション、および／またはその他の適切なモデルおよび／またはネットワークおよび／またはアルゴリズム、の一部または全部が含まれる。学習モジュールのそれぞれは、好ましくは、同じタイプのニューラルネットワーク（例えば、層の数が異なる）および／またはアルゴリズムおよび／またはモデルであるが、代わりに異なってもよい。

【0101】

［００１１６］学習モジュールのそれぞれは、好ましくは、学習モデルに関連付けられた特定のコンテキストタイプまたは複数のコンテキストタイプ内で発生するデータに基づいて訓練され、任意選択で、コンテキストを通る１以上の固定ルート内で発生するデータに基づいてさらに訓練される。いくつかの実施例では、例えば、単一の学習モジュールが特定のコンテキストタイプに適用され、単一の学習モジュールは、そのコンテキストの様々なバージョンに基づいて訓練される。他の変形例では、単一の学習モジュールが特定のルート内の特定のコンテキストに適用され、単一の学習モジュールは、特定の固定ルート内の特定のコンテキストに関連するデータに基づいて訓練される。追加的または代替的に、学習モジュールは、任意の適切なデータで訓練することができる。

【0102】

［００１１７］学習モジュールのそれぞれは、さらに好ましくは逆強化学習で訓練され、これがコンテキスト認識学習エージェントのそれぞれについて報酬関数および／または最適な運転方針を決定するように機能する。この訓練の出力は、さらに好ましくは各学習モジュールの報酬関数と最適ポリシーを表すコンパクトな全接続ネットワークモデルである。追加的または代替的に、学習モジュールは、他の方法で適切に訓練および／または実装することができる。

【0103】

［００１１８］第１の実施例では、Ｓ２３０は、エージェントの特定されたコンテキストに基づいてコンテキスト認識学習エージェント（本明細書では、等価的にコンテキスト認識学習モジュールと呼ばれる）を選択することを含み、単一のコンテキスト認識学習エージェントが各コンテキストに割り当てられる。コンテキスト認識学習エージェントは、好ましくは逆強化学習技法で訓練されるが、追加的または代替的に他の方法で訓練することができる。

【0104】

［００１１９］第２の実施例では、Ｓ２３０は、特定のコンテキストに割り当てられたおよび／または利用可能な複数のコンテキスト認識学習エージェントから選択することを含み、特定のコンテキスト認識学習エージェントは、機械学習、決定木、統計的方法、アルゴリズムの一部または全部に基づいて、および／またはその他の適切なツールを用いて選択される。

【0105】

［００１２０］追加的または代替的に、任意の他の適切な学習モジュールを選択、使用、および／または訓練することができる。

【0106】

４．５ 方法－学習モジュールに基づいてアクションスペースを定義するステップＳ２４０と、アクションスペースからアクションを選択するステップＳ２５０
［００１２１］方法２００は、学習モジュールに基づいてアクションスペースを定義するステップＳ２４０を含むことができ、これはビークルのコンテキストおよび／または環境に照らしてエージェントに利用可能な一連のアクション（本明細書では等価的に行動（behaviors）と呼ばれる）を定義するように機能する。追加的または代替的に、Ｓ２４０は、コンテキストに通知されてエージェントが利用できるアクションの数を最小限に抑えるように機能することができ、これがビークルのアクションを選択するのに必要なプロセスを単純化（例えば、時間短縮、不合理なアクションの選択を回避するなど）するように機能する。方法２００は、任意選択で追加的または代替的に、アクションスペースからアクションを選択するステップＳ２５０を含むことができ、これは、ビークルの次のアクション（例えば、現在の行動とは異なる行動への切替および／または移行、現在の行動の維持）を決定するように機能する。

【0107】

［００１２２］Ｓ２４０および／またはＳ２５０は、好ましくは、Ｓ２３０に呼応して（例えば、後に、基づいてなど）実行されるが、追加的または代替的に、Ｓ２３０の一部として、および／またはＳ２３０と同時に、Ｓ２３０の代わりに、Ｓ２３０がない場合でも、Ｓ２２０および／またはＳ２１０に応答して、方法を通して複数回、および／または方法２００中のその他の時間に実行してもよい。さらに追加的または代替的に、方法２００は、Ｓ２４０および／またはＳ２５０なしで実行することができる。

【0108】

［００１２３］アクションスペースおよび／またはアクションは、好ましくは、学習モジュールの出力（例えば、中間出力、最終出力など）として生成される。追加的または代替的に、学習モジュールは、他の適切な出力を生成することができる。好ましい実施例では、コンテキストの特定と、このコンテキストに基づく処理（例えば、特定の学習モジュール）により、アクションスペースを比較的小さくすることができる（例えば、すべての利用可能なアクションと比較して）。

【0109】

［００１２４］アクションは、限定しないが、車線維持、車線変更、転回（右折、右折、Ｕターン実行など）、合流、徐行、エージェントの前のビークルに追従、ロット駐車、停車、ナッジ、ビークルの追い越し、および／または人間が運転するビークルおよび／または自律型ビークルの通常の運転アクションなどの他の適切なアクションの一部または全部が含まれる。

【0110】

［００１２５］各アクションは、好ましくは、エージェントの特定のコンテキスト、および任意選択で任意の他の適切な入力（センサ情報など）に基づいて決定されるパラメータのセットに関連付けられる。これはこのアーキテクチャの利点を強調するものであり、様々なパラメータ値をアクションに関連付けることができ、コンテキストが特定の値を指定し、それによって異なるコンテキストについて学習させたアクションを、異なるが予測可能にすることができる。対照的に、例えば、方法が完全にプログラムされている従来の方法では、パラメータ（徐行距離など）を一般化して過度に控えめな値にするか、様々なケースに対して複数の値をプログラムする必要がある。また、学習ベースのアプローチのみを含む方法では、ケース全体でアクションが過度に単純化され、予測できないエージェントの動作が発生する可能性がある（例えば、ロボットの動作、実行不可能な経路の生成など）。

【0111】

［００１２６］この方法の好ましい実施例では、コンテキストタイプからの追加情報と制限により、様々な学習アプローチを訓練し、エージェントを特定のコンテキストに合わせて調整して精度と信頼性を高めるために必要なデータ量を減らすことができる。

【0112】

［００１２７］好ましい実施例では、各深層決定ネットワークの出力層は、出力ノードの数が利用可能なアクションの数であるソフトマックス層である。追加的または代替的に、アクションスペースおよび／または利用可能なアクションは、任意の他の適切な方法で決定することができる。

【0113】

［００１２８］具体例では、複数車線の高速道路のコンテキストでは、速度維持、左車線変更、および右車線変更などの対応するアクションスペースが生成される。一方、住宅街道路などの異なるコンテキストでは、高速道路のコンテキストにあるようなアクションと、停止、譲る（yield）、徐行、左折、右折などの追加のアクションが生成される。

【0114】

［００１２９］追加または代替の実施例では、出力層（線形出力層など）を使用して、アクションの埋め込み（embedding）（例えば、ベクトル、実数のベクトルなど）を生成することができ、この埋め込みは、特定のアクションに関連する記憶された埋め込みとマッチさせることができる（例えば、ルックアップテーブルで）。具体例では、例えば、出力層によって生成された埋め込みベクトルの長さおよび／または角度を、特定のアクションに関連付けられたベクトルにマッチさせるのに用いることができる。

【0115】

［００１３０］アクションを選択するステップＳ２５０は、コンテキスト認識学習エージェントによって実行されたり、別のモデルおよび／またはアルゴリズムおよび／またはプロセスで実行されたり、他の情報（例えば、Ｓ２１０からの一連の入力の一部または全部、特定のルートに基づいて、マップ内の次のコンテキストに基づいてなど）、および／または別の方法で決定され得る。

【0116】

［００１３１］好ましい変形例では、アクションは、コンテキスト認識学習エージェントの出力（例えば、単一の出力、複数の出力など）として生成される。

【0117】

［００１３２］追加的または代替的な実施例では、アクションは、コンテキストに基づいてアクションを選択するための状態マシンまたは他のルールベースの方法に基づいて決定することができる。

【0118】

［００１３３］第１の実施例では、エージェントのコンテキストは、マップから単一車線の住宅道路であると特定される（例えば、図４に示すように、道路形状のためにエージェントがコンテキストを変更できない）。このコンテキストについて決定される一連のアクションは、例えば、速度維持、徐行、左折、右折、道を譲るなどがある。徐行の場合（例えば、図５に示すように）、主要なパラメータは徐行距離であり、これはエージェントが細心の注意を払って（例えば、合流を決定する前に）徐行して進むべき距離を意味する。例えば、人間は一時停止の標識や高速道路の合流前に、接近中の交通を慎重に測り、衝突しないように合流したり道路利用者の迷惑にならないようにビークルの速度を調整すべく徐行する。特定のコンテキストとオプションのアクションに依存して、このパラメータの値は異なる。具体例（例えば、図５に示す）では、駐車場のコンテキストと右折および／または一時停止標識での停止アクションについての徐行距離は２メートルであるが、複数車線の高速道路のコンテキストと合流アクションについての徐行距離は１７メートルである。

【0119】

［００１３４］第２の実施例では、エージェントのコンテキストは、エージェントが（例えば、学習モジュールで）歩行者を見る可能性が低いことを学習できる複数車線の高速道路であると特定される。アクションスペースのアクションには、例えば、左車線切替、右車線切替、速度維持、停止などがある。

【0120】

４．６ 方法－アクションに基づいて経路（trajectory）を計画するステップＳ２６０
［００１３５］方法２００は、アクションに基づいて経路を計画するステップＳ２６０を含むことができ、これは、エージェントが選択されたアクションを実行できるように機能する（例えば、上述のように）。

【0121】

［００１３６］この経路は、好ましくは、エージェントが選択されたアクションを実行するためにとるべき一連の位置および関連する速度を指定する。経路は、好ましくは、経路学習モジュールのセットのうちの１つに基づいて生成されるが（例えば、上記の学習モジュールとは異なってもよいし、上記の学習モジュールとは別のものであるが同じおよび／または同様のアーキテクチャを含むなど）、追加的または代替的に、プログラムまたは学習された他の適切なツールで生成される。

【0122】

［００１３７］Ｓ２６０は、任意選択で追加的または代替的に、経路の検証、フォールバックメカニズムの実装、経路に従ったビークル操作、経路に基づくビークル操作のための制御コマンド決定、および／または任意の他の適切な出力のうちの一部または全部を含むことができる。

【0123】

５．バリエーション
［００１３８］方法２００の第１の実施例では、方法は、入力のセットを受信するステップＳ２１０であって、この入力のセットは少なくともマップ（例えば、高精細の手動ラベリングされたマップ、自動化された方法でラベリングされたマップ、手動および自動の両方の方法でラベリングされたマップなど）、ビークルの位置（ポーズなど）、および任意選択でビークルのために計画されたルートとを含むステップと、エージェントの位置に基づいてマップによって規定されるコンテキストを決定するステップと、コンテキストに基づいてニューラルネットワークを含む学習モジュールを選択するステップと、学習モジュールを使用してエージェントが利用できる一連のアクションを含むアクションスペースを定義するステップと、アクションスペースから（例えば、学習モジュールを使用して）アクションを選択するステップとを有する。追加的または代替的に、方法２００は、任意の他の適切なプロセス（例えば、アクションに基づいて経路を決定するステップ）を含むことができる。

【0124】

［００１３９］具体例では、方法２００は、入力のセットを受信するステップを含み、ここで入力のセットは、自律エージェントの少なくとも固定ルートについて、コンテキストのセットと、さらに好ましくは一連のコンテキストを規定する手動ラベリングされた高精細マップとを含み、この入力のセットはさらに、自律エージェントに搭載されたセンサのセットからのセンサ情報を含み、センサ情報は少なくとも自律エージェントのポーズを含み、このポーズおよび任意選択でルートを用いてマップに基づいてエージェントについてのコンテキストが選択され、および任意選択で他の適切な入力を含むステップと、ビークルの位置および／または向き（例えばポーズ）と、ラベリングされたマップと、任意選択で受信したその他の情報の一部または全部とに基づいてコンテキストを選択するステップであって、コンテキストが方法の残りのプロセスがどのように実行されるかを通知（inform）するステップと、コンテキストに基づいてコンテキスト認識学習エージェントを選択するステップであって、単一のコンテキスト認識学習エージェントが各コンテキストに割り当てられ訓練される（例えば、逆強化学習モデルで）ステップと、学習モジュールに基づいてアクションスペースを定義し、アクションを選択するステップと、アクションスペースおよび／またはアクションに基づいてビークルの経路を決定するステップとを含む。

【0125】

［００１４０］図７Ａ～７Ｄに示す特定の実装例では、入力のセットは、図７Ａに示すように経路を受信するステップと、ルートとマップに基づいて、図７Ｂに示す第１のコンテキストを特定するステップとを含み、ここで移動の開始時から、車両は、多くの通行人が予想される１車線交通の駐車ロットタイプのコンテキストに配置されている。この人の往来は通常歩道に限定されるが、このコンテキストでは、歩行者の横断イベントが発生する可能性が非常に高い。このコンテキストを処理するために、学習エージェントは、歩行者とその行動をより認識できるように最適化され、これを達成するために報酬関数が調整される。このエージェントに可能なアクションは、所定の速度維持（例えば、エージェントの経路内の先行する動的オブジェクトと現在の道路の制限速度とによって制限される速度）、（例えば、エージェントよりも優先され得る）一連の動的オブジェクトに譲る行動、現在の場所での停車維持、自車が停車すべき停車場所の提供である。図７Ｃに示す、この経路に沿ってビークルが遭遇する第２のコンテキストは、単一車線の住宅道路のコンテキストである。このコンテキストは非常に大規模であり、単一車線の信号機と一時停止標識の交差点、横断歩道と右折の処理を含む。このコンテキストを処理するために必要な決定は、第１のコンテキストの決定と非常に似ており、主な違いは、アルゴリズムの訓練対象と、報酬関数が２つの異なる行動のセットに合わせて調整されていることである。図７Ｄに示すように、エージェントが遭遇する最後のコンテキストは、複数車線の住宅地のコンテキストであり、単一車線のコンテキストが処理する必要があるものすべてを含むが、複数車線である。このため、車線を切り替える方法と、複数車線の交差点で曲がる方法を理解する必要がある。これを処理するために、第２のコンテキストのアクションに加えて、左車線への切替（安全に変更できる場合）と、右車線への切替（安全に変更できる場合）との２つのアクションをクションスペースに含む。

【0126】

［００１４１］方法２００の第２の実施例では、方法は、入力のセットを受信するステップＳ２１０であって、この入力のセットは、少なくともマップ（例えば、高精細の手動でラベリングされたマップ、自動化された方法でラベリングされたマップ、手動および手動でラベリングされたマップ）、ビークルの位置（ポーズなど）、および任意選択でビークルについて計画されたルートを含むステップと、入力に基づいてコンテキスト識別子モジュールを使用してエージェントのコンテキストを決定するステップと、コンテキストに基づいてニューラルネットワークを含む学習モジュールを選択するステップと、学習モジュールを使用してエージェントが利用できる一連のアクションを含むアクションスペースを定義するステップと、（例えば、学習モジュールを使用して）アクションスペースからアクションを選択するステップとを含む。追加的または代替的に、方法２００は、任意の他の適切なプロセス（例えば、アクションに基づいて経路を決定するステップ）を含むことができる。

【0127】

［００１４２］追加的または代替的に、方法２００は、任意の他の適切なプロセスを含むことができ、および／または任意の適切な方法で実行することができる。

【0128】

［００１４３］簡単のために省略したが、好ましい実施形態は、様々なシステム構成要素および様々な方法プロセスのすべての組み合わせおよび置換を含み、方法プロセスは、任意の適切な順序で、順次または同時に実行されてもよい。

【0129】

［００１４４］当業者は、上記の詳細な説明および図面および特許請求の範囲から認識するように、以下の特許請求の範囲で定義される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に対して修正および変更を行うことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7-1】

【図7-2】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【国際調査報告】