特許 6875330 ビークルの自律動作能力の構成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6875330

(24)【登録日】2021年4月26日

(45)【発行日】2021年5月19日

(54)【発明の名称】ビークルの自律動作能力の構成

(51)【国際特許分類】

   B60W 30/18 20120101AFI20210510BHJP

   B60W 40/02 20060101ALI20210510BHJP

   G08G 1/00 20060101ALI20210510BHJP

   G05D 1/02 20200101ALN20210510BHJP

【ＦＩ】

   B60W30/18ZJT

   B60W40/02

   G08G1/00 X

   !G05D1/02 H

【請求項の数】20

【外国語出願】

【全頁数】29

(21)【出願番号】特願2018-130704(P2018-130704)

(22)【出願日】2018年7月10日

(65)【公開番号】特開2019-55768(P2019-55768A)

(43)【公開日】2019年4月11日

【審査請求日】2019年5月20日

(31)【優先権主張番号】15/663,245

(32)【優先日】2017年7月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507342261

【氏名又は名称】トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】西 智樹

【審査官】 増子 真

(56)【参考文献】

【文献】 特開２００８−２７６２８６（ＪＰ，Ａ）

【文献】 特開２００７−２４１６２４（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０６８２８４９５（ＣＮ，Ａ）

【文献】 米国特許出願公開第２０１７／００２４６４３（ＵＳ，Ａ１）

【文献】 米国特許第０９２２４０５３（ＵＳ，Ｂ１）

【文献】 米国特許第０８７７５３４１（ＵＳ，Ｂ１）

【文献】 特開２０１３−０５７９９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｗ １０／００ − １０／３０

Ｂ６０Ｗ ３０／００ − ６０／００

Ｇ０８Ｇ １／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

ビークルの自律動作能力を構成する方法であって、
複数のビークルに関係する第１のデータセットを識別することであって、前記ビークルは前記複数のビークルのうちの１つであるとともに、前記第１のデータセットは、前記複数のビークルに関係する受動的環境動的データセットである、第１のデータセットを識別することと、
前記第１のデータセットとの関係において自律ビークル能力の状態値関数を生成することであって、前記状態値関数は、現在の状態と、次の状態と、状態費用とを含み、前記状態費用は、前記ビークルの１又は複数の性能特性に関係する、状態値関数を生成することと、
前記複数のビークルの一部分に関係する第２のデータセットを識別することであって、前記複数のビークルの前記一部分は前記ビークルを含むとともに、前記第２のデータセットは、前記複数のビークルの前記一部分の制御ダイナミクスモデルである、第２のデータセットを識別することと、
前記第２のデータセットとの関係において前記自律ビークル能力のポリシー制御利得を最適化することであって、前記ポリシー制御利得は、前記複数のビークルの前記一部分のための前記制御ダイナミクスモデルに基づいている、ポリシー制御利得を最適化することと、
を含み、
前記自律ビークル能力は、前記ポリシー制御利得と協働して前記状態値関数に基づいて次の状態への進捗のための自律ビークルアクションを生成するように動作可能である、方法。

【請求項2】

前記複数のビークルの前記一部分は、ビークルクラスを含む、請求項１に記載の方法。

【請求項3】

前記複数のビークルの前記一部分は、前記ビークルを含む、請求項１に記載の方法。

【請求項4】

前記受動的環境動的データセットは、前記複数のビークルの現在の状態及び次の状態のデータ、を含み、且つ、
前記制御ダイナミクスモデルは、状態費用データと、制御ダイナミクスデータと、を含む、
請求項１に記載の方法。

【請求項5】

前記自律ビークル能力は、アクタ−クリティックモジュールを含む強化学習（ＲＬ）モジュールから構成される、請求項４に記載の方法。

【請求項6】

前記アクタ−クリティックモジュールは、
前記第１のデータセット及び前記第２のデータセットから生成された適応型ポリシーに基づいて前記自律ビークル能力のアクションの予測を生成するように動作可能であるアクタモジュールと、
前記第１のデータセット及び前記第２のデータセットに応答して報酬パラメータに関係する前記アクタモジュール用のフィードバックデータを生成するように動作可能であるクリティックモジュールであって、前記クリティックモジュールは、前記フィードバックデータを介して、前記アクタモジュールのポリシーパラメータを変更して前記適応型ポリシーを形成するように更に動作可能である、クリティックモジュールと、
含む、請求項５に記載の方法。

【請求項7】

前記フィードバックデータは、時間変位誤差データを含む、請求項６に記載の方法。

【請求項8】

ビークルの自律ビークル能力を構成する方法であって、
複数のビークルと共に前記ビークルを識別することと、
複数のビークルに関係する第１のデータセットを取得することであって、前記ビークルは前記複数のビークルのうちの１つであるとともに、前記第１のデータセットは、前記複数のビークルに関係する受動的環境動的データセットであり、前記第１のデータセットは、シミュレーションデータと、前記ビークルの１又は複数のセンサから従前に収集されメモリに保存されたデータとのうちの一方を含む受動的環境動的データセットであり、前記第１のデータセットは、現在の状態のデータ及び次の状態のデータを含む、第１のデータセットを取得することと、
前記第１のデータセットに基づいて前記自律ビークル能力の状態値関数を生成することであって、前記状態値関数は、現在の状態と、次の状態と、状態費用とを含み、前記状態費用は、前記ビークルの１又は複数の性能特性に関係する、状態値関数を生成することと、
前記複数のビークルの一部分に関係する第２のデータセットを識別することであって、前記複数のビークルの前記一部分は前記ビークルを含むとともに、前記第２のデータセットは、前記複数のビークルの前記一部分の制御ダイナミクスモデルであり、前記第２のデータセットは、状態費用データ及び制御ダイナミクスデータを含む、第２のデータセットを識別することと、
前記第２のデータセットとの関係において前記自律ビークル能力のポリシー制御利得を最適化することであって、前記ポリシー制御利得は、前記複数のビークルの前記一部分の前記制御ダイナミクスモデルに基づいている、ポリシー制御利得を最適化することと、
を含み、
前記自律ビークル能力は、前記ポリシー制御利得と協働して前記状態値関数に基づいて次の状態への進捗のための自律ビークルアクションを生成するように動作可能である、方法。

【請求項9】

前記複数のビークルの前記一部分は、ビークルクラスを含む、請求項８に記載の方法。

【請求項10】

前記複数のビークルの前記一部分は、ビークルクラスの単一のメーカー及びモデルを含む、請求項８に記載の方法。

【請求項11】

前記受動的環境動的データセットは、前記複数のビークルの現在の状態及び次の状態のデータ、を含み、且つ、
前記制御ダイナミクスモデルは、状態費用データと、制御ダイナミクスデータと、を含む、
請求項８に記載の方法。

【請求項12】

前記制御ダイナミクスモデルは、前記ビークルの特定の特性を含む、請求項１１に記載の方法。

【請求項13】

前記自律ビークル能力は、アクタ−クリティックモジュールを含む強化学習（ＲＬ）モジュールから構成される、請求項１１に記載の方法。

【請求項14】

前記アクタ−クリティックモジュールは、
前記第１のデータセット及び前記第２のデータセットから生成された適応型ポリシーに基づいて前記自律ビークル能力のアクションの予測を生成するように動作可能であるアクタモジュールと、
前記第１のデータセット及び前記第２のデータセットに応答して報酬パラメータに関係する前記アクタモジュール用のフィードバックデータを生成するように動作可能であるクリティックモジュールであって、前記クリティックモジュールは、前記フィードバックデータを介して、前記アクタモジュールのポリシーパラメータを変更して前記適応型ポリシーを形成するように更に動作可能である、クリティックモジュールと、
を含む、請求項１３に記載の方法。

【請求項15】

前記フィードバックデータは、時間変位誤差データを含む、請求項１４に記載の方法。

【請求項16】

ビークルの自律ビークル能力のために構成されたビークル制御ユニットであって、
ビークルネットワークとの間の通信をサービスするための無線通信インターフェイスと、
前記無線通信インターフェイスに、且つ、複数のビークルセンサ装置に、通信自在に結合されたプロセッサと、
前記プロセッサに通信自在に結合され、且つ、強化学習モジュールを保存するメモリと、
を含み、
前記強化学習モジュールは、前記プロセッサによって実行された際に、
複数のビークルに関係する受動的環境動的データセットにアクセスすることであって、前記ビークルは、前記複数のビークルのうちの１つであるとともに、前記受動的環境動的データセットは、前記複数のビークルに関係する受動的環境動的データセットであり、前記受動的環境動的データセットは、シミュレーションデータと、前記ビークルの１又は複数のセンサから従前に収集されメモリに保存されたデータとのうちの一方を含む受動的環境動的データセットであり、前記受動的環境動的データセットは、現在の状態のデータ及び次の状態のデータを含む、受動的環境動的データセットにアクセスすることと、
前記受動的環境動的データセットとの関係において前記自律ビークル能力の状態値関数を生成することであって、前記状態値関数は、現在の状態と、次の状態と、状態費用とを含み、前記状態費用は、前記ビークルの１又は複数の性能特性に関係する、状態値関数を生成することと、
前記複数のビークルの一部分に関係する制御ダイナミクスモデルを識別することであって、前記複数のビークルの前記一部分は、前記ビークルを含むとともに、前記制御ダイナミクスモデルは、前記複数のビークルの前記一部分の制御ダイナミクスモデルであり、前記制御ダイナミクスモデルは、状態費用データ及び制御ダイナミクスデータを含む、制御ダイナミクスモデルを識別することと、
前記制御ダイナミクスモデルとの関係において前記自律ビークル能力のポリシー制御利得を最適化することであって、前記ポリシー制御利得は、前記複数のビークルの前記一部分のための前記制御ダイナミクスモデルに基づいている、ポリシー制御利得を最適化することと、
により、前記プロセッサが前記自律ビークル能力用の前記強化学習モジュールを構成するようにする、命令を含み、
前記自律ビークル能力は、前記ポリシー制御利得と協働して前記状態値関数に基づいて、且つ、更には、前記複数のビークルセンサ装置によって生成されるビークルセンサデータに基づいて、次の状態への進捗のための自律ビークルアクションを生成するように動作可能である、
ビークル制御ユニット。

【請求項17】

前記強化学習モジュールは、受動的アクタ−クリティックモジュールであって、前記プロセッサによって実行された際に、
前記適応型ポリシーを形成するべく、ビークルポリシーを最適化することと、
前記適応型ポリシーに基づいて前記自律ビークルアクションの予測を生成することと、
により、前記プロセッサが前記適応型ポリシーを形成するようにする命令を含む、受動的アクタ−クリティックモジュールを更に含む、請求項１６に記載のビークル制御ユニット。

【請求項18】

前記アクタ−クリティックモジュールは、
前記プロセッサによって実行された際に、前記プロセッサが、前記ビークルアクションに応答して報酬パラメータに関係する前記アクタモジュール用のフィードバックデータを生成するようにする、命令を含むクリティックモジュールであって、前記クリティックモジュールは、前記フィードバックデータを介して、前記アクタモジュールのポリシーパラメータを変更して前記適応型ポリシーを形成するように更に動作する、クリティックモジュールと、
前記プロセッサによって実行された際に、前記プロセッサが、前記適応型ポリシーに基づいて前記自律ビークルアクションの前記予測を生成するようにする命令を含むアクタモジュールと、
を更に含む、請求項１７に記載のビークル制御ユニット。

【請求項19】

前記フィードバックデータは、時間変位誤差データを含む、請求項１８に記載のビークル制御ユニット。

【請求項20】

前記複数のビークルの前記一部分は、ビークルクラスを含む、請求項１６に記載のビークル制御ユニット。

【発明の詳細な説明】

【技術分野】

【0001】

分野
本開示において記述されている主題は、一般に、ビークル（車両、乗り物、輸送機関）環境装置における自律ビークル動作に関し、且つ、更に詳しくは、受動的環境データに基づいたビークルの自律ビークル能力の確立に関する。

【背景技術】

【0002】

背景
一般に、自律ビークルは、始点と目的地を有する軌跡計画に沿って移動するための自律運転機能を実行するべく、制御システムアーキテクチャを使用している。自律動作の場合には、ビークルのローカルな状態を評価するべく、且つ、次いで、（速度の増大や停止信号における停止などのような）自律的目的に向かって進捗するためのアクションを生成するべく、能動的な環境スキャニングを必要としている。又、（スポーツビークル、ＳＵＶ（Ｓｕｂｕｒｂａｎ Ｕｔｉｌｉｔｙ Ｖｅｈｉｃｌｅ）、アウトドアビークル、ピックアップトラックなどのような）ビークルの多様性に起因し、これらの環境を評価するための大きなサンプリング及びスキャニングレートは、限られた時間内において処理し且つ理解するには大きい未加工データボリュームを生成しており、その結果、一般に、センサ装置及び処理装置の負荷が過大なものとなり、これにより、効果的且つタイムリーな自律決定を下す能力が無効になっている。様々な異なる（或いは、異種の）自律能力を有するビークルの様々な且つ大きく異なる動作モデルをも考慮しつつ、（加速するのか、或いは、減速するのか、などのような）タイムリーなアクション決定を形成するように、ビークル環境における自律ビークル意思決定を最適化しうる方法及び装置に対するニーズが存在している。

【発明の概要】

【0003】

概要
ビークルの自律動作能力を構成するための装置及び方法が開示されている。結果的に得られる自律ビークル動作は、複数のビークルに関係する第１のデータセットと、複数のビークルの一部分に関係する第２のデータセットと、に基づいた自律ビークル目的を提供することができる。

【0004】

一実装形態においては、ビークルの自律動作能力を構成するための方法が開示されている。複数のビークルに関係する第１のデータセットが識別され、当該ビークルは、複数のビークルのうちの１つである。自律ビークル能力の状態値関数が第１のデータセットとの関係において生成される。複数のビークルの一部分に関係する第２のデータセットが識別され、複数のビークルの一部分は、当該ビークルを含む。自律ビークル能力のポリシー制御利得が第２のデータセットとの関係において最適化される。自律ビークル能力は、ポリシー制御利得との協働状態において状態値関数に基づいて次の状態への進捗のための自律ビークルアクションを生成するように動作可能である。

【0005】

別の実装形態においては、ビークルの自律ビークル能力のために構成されたビークル制御ユニットが開示されている。ビークル制御ユニットは、無線通信インターフェイスと、プロセッサと、メモリと、を含む。無線通信インターフェイスは、ビークルネットワークとの間における通信をサービスするように動作可能である。プロセッサは、通信自在に、無線通信インターフェイスに、且つ、複数のビークルセンサ装置に、結合されている。メモリは、通信自在にプロセッサに結合されており、且つ、強化学習モジュールを保存している。強化学習モジュールは、プロセッサによって実行された際に、プロセッサが、複数のビークルに関係する受動的環境動的データセットを評価することにより、強化学習モジュールを構成するようにする命令を含み、当該ビークルは、複数のビークルのうちの１つである。強化学習モジュールは、受動的環境動的データセットとの関係において自律ビークル能力の状態値関数を生成する。強化学習モジュールは、複数のビークルの一部分に関係する制御ダイナミクスモデルを識別し、且つ、第２のデータセットとの関係において自律ビークル能力のポリシー制御利得を最適化し、複数のビークルの一部分は、当該ビークルを含んでいる。

【0006】

説明においては、以下の添付図面を参照しており、これらの添付図面においては、いくつかの図の全体を通じて、同一の参照符号によって同一の部分を参照している。

【図面の簡単な説明】

【0007】

【図1】ビークル環境において自律ビークル動作を提供するためのビークル制御ユニットを含むビークルの概略図である。

【0008】

【図2】図１のビークル制御ユニットのブロック図を示す。

【0009】

【図3】ビークル環境における自律ビークル動作用の強化学習構造を有する機能モジュールブロック図を示す。

【0010】

【図4】図３の強化学習モジュールの一例の機能モジュールブロック図を示す。

【0011】

【図5】自律ビークル能力を有するビークルを含むビークル環境の一例を示す。

【0012】

【図6】ビークルの自律ビークル能力を構成するための例示用のプロセスを示す。

【発明を実施するための形態】

【0013】

詳細な説明
本開示には、ビークル環境における異なる又は異種のビークルタイプについて構成された自律ビークル能力について記述されている。例示用の方法は、第１のデータセットと、第１のデータセットのサブセットを含む第２のデータセットと、に基づいて自律意思決定を構成するように動作する。

【0014】

第１の、即ち、一般的な、データセットは、一般に複数の（即ち、乗用ビークル、ピックアップトラック、ＳＵＶ、リクリエーションビークルなどを含む）ビークルの受動的環境ダイナミクスデータを含むセットに関係しており、且つ、第２のデータセットは、第１のデータセットの複数のビークルのサブセットに関係する動作データを含む。サブセットは、１つの自律ビークル要素（即ち、特定のビークルタイプ及びモデル）や（乗用ビークル、ＳＵＶ、乗用トラックなどのような）共通的な自律ビークルのカテゴリなどを含みうる。サブセットは、第１のデータセットによって生成された状態値関数及びポリシーを第２のデータセットの自律固有ビークル特性に適合させるように動作することができる。

【0015】

ビークルの異種セットのビークルを構成するための一般的なデータセットは、（異なる道路構成におけるビークルシミュレーションなどの）受動的な動的収集に基づいた保存収集データを含むことができる。一般的な、即ち、第１の、データセットは、粗い粒度レベルのものであり、乗用ビークル、ピックアップトラック、ＳＵＶ、リクリエーションビークルなどのような、複数の自律ビークルカテゴリレベルを含むことができる。更に微細な粒度レベルにおいて、一般的なデータセットは、例えば、Ｔｏｙｏｔａなどの、ビークル製造元レベルにおいて形成されてもよい。一般的なデータセット内の自律モデルは、例えば、Ｔｏｙｏｔａ Ｔａｃｏｍａ、Ｔｏｙｏｔａ Ｃａｍｒｙ、Ｔｏｙｏｔａ Ｃｏｒｏｌｌａなどを含みうる。

【0016】

動作の際に、一般的な、即ち、第１の、データセットを処理することにより、階層に基づいたビークル構成を生成することができる。第１の階層ステージにおいては、一般的な且つ／又は粗い強化学習（ＲＬ：Ｒｅｉｎｆｏｒｃｅｄ Ｌｅｒｎｉｎｇ）原理は、動力付き陸上ビークルなどの、一般的なデータセットのビークルの様々なカテゴリに跨って適用されるものと見なすことができる。更なる例として、動力付き空中ビークルや動力付き水上もしくは水中ビークルなどに基づいて、一般的なデータセットのその他の形態を形成することができる。

【0017】

理解されうるように、一般的なデータセットは、相対的に微細なビークルのカテゴリを「起源（ｒｏｏｔ）」とすることもできる。例えば、動力付き陸上ビークルを「起源」とする代わりに、一般的なデータセットは、Ｔｏｙｏｔａ Ｃａｍｒｙ、Ｔｏｙｏｔａ Ｃｏｒｏｌｌａ、Ｔｏｙｏｔａ Ｐｒｉｕｓ、Ｔｏｙｏｔａ Ａｖａｌｏｎなどのような、動力付き４ドアセダンビークルを起源とすることもできる。

【0018】

一般化された又は粗い動作レベルにおけるポリシー及び状態値の単純な例として、動力付き陸上ビークルが高速道路及び／又は幹線道路に合流するための一般的な理解は、ビークルが、高速道路及び／又は幹線道路の交通流と合流するべく加速する、というものであってもよい。ＲＬの原理の下において動作している自律方式においては、動力付き陸上ビークルは、いくつかの連続的な加速状態を含む加速ポリシーに基づいて動作してもよく、且つ、それぞれの加速状態は、目的が実現されうる時点まで、次の加速状態に進むための関連する状態値関数を有する。

【0019】

従って、（第１のデータセットの）第１の階層ステージにおいては、一般的な状態値関数及びポリシーが、「学習」され、且つ／又は、動力付き公道車の受動的ダイナミクスデータを起源としうる、一般的な、即ち、第１の、データセットに基づいて、初期化される。理解されうるように、受動的ダイナミクスデータの間の不一致が結果的に生じうるが、一般的な視点から一般的データセットを考慮した場合には、動作ポリシー及び関係する状態値関数は、正規化又はポリシー／状態値の一致に向かう傾向を有する。

【0020】

第２の階層状態においては、第１の階層ステージにおいて「学習」された状態値関数及びポリシーをサブセットに適合させる又はこれを研ぎ澄ますべく、一般的なデータセットのサブセット（これは、第２のデータセットとも呼称されうる）を動力付き陸上ビークルのカテゴリのうちの１つ又は複数に適用することができる。即ち、第１のデータセットの受動的ダイナミクスデータは、ビークルの、カテゴリ、即ち、モデルに関係しており、且つ、第２のデータセットにより、自律動作のためにさもなければ必要とされたであろう能動的スキャニングを低減しつつ、改善された実装との関係にいて強化学習を改善するべく、状態値関数及びポリシーに関係するものとして、研ぎ澄まされている。

【0021】

理解されうるように、自律動作用のビークル構成を合理化することにより、一般的な、即ち、第１の、データセットによって提供されるナレッジベースの利用を通じて、ビークルごとに従来必要とされていた学習時間を極小化することができる。

【0022】

換言すれば、第１の、即ち、一般的な、データセットは、ポリシー目的に向かって進捗するための、複数のビークルに一般に適用されうる、現在のビークル状態（Ｘ_ｋ）及び次のビークル状態（Ｘ_ｋ＋１）のプロセスに関係する、保存された受動的環境動的データを含んでいる。

【0023】

例えば、加速ポリシーπにおいて、現在のビークル状態Ｘ_ｋの場所及び速度は、所与の且つ／又は検知された値を有することになろう。次のビークル状態Ｘ_ｋ＋１の場所及び速度は、（道路を下った）次の場所及び相対的に大きな速度などを有することになろう。この点において、予めサンプリングされた、即ち、受動的な、環境動的データは、一般に複数のビークルに対して適用されてもよく、これにより、自律動作に予め必要とされるそれぞれのビークル状態におけるビークル環境の能動的なセンサスキャニングが除去される。

【0024】

第２のデータセットは、第１の、即ち、一般的な、データセットのサブセットであり、複数のビークルの一部分に適用される動作及び／又は制御ダイナミクスモデルを含むことができる。一部分は、（ビークル製造元及びモデルなどの）単一のビークル要素又は（４ドア乗用ビークルに関係するモデルタイプなどの）複数の要素を含むことができる。制御ダイナミクスモデルは、テストコースにおける収集データを使用することにより、或いは、シミュレーションモデルを通じて、事前に識別することができる。

【0025】

例えば、複数のビークルのサブセットは、Ｔｏｙｏｔａなどのビークル製造元に、或いは、Ｔｏｙｏｔａ Ｔａｃｏｍａ、Ｔｏｙｏｔａ Ｃｏｒｏｌｌａ、Ｔｏｙｏｔａ Ｃａｍｒｙ、Ｔｏｙｏｔａ Ｐｒｉｕｓなどのような製造元及びモデルに、関係しうる。即ち、一般に、サブセットは、１つの自律ビークル要素（即ち、特定のビークルタイプ及びモデル）や（乗用ビークル、ＳＵＶ、乗用トラックなどのような）共通的な自律ビークルのカテゴリなどを含みうる。このサブセット及び／又は第２のデータセットは、年式のみならず、ビークルの運転状態に関係する細目（年式、走行マイル、運転特性（即ち、保守的や反応的など）、修理、保守記録など）により、更に分割されてもよい。換言すれば、制御ダイナミクスモデルの粒度は、（ビークルモデルなどの）粗いものから（ビークルの個々の／特定の特性などの）微細なものまで変化しうる。

【0026】

図１は、ビークル環境１１６において自律動作能力を提供するためのビークル制御ユニット１１０を含むビークル１００の概略図である。理解されうるように、ビークル１００は、自動車、軽トラック、貨物輸送車、又は任意のその他の乗用又は非乗用ビークルであってもよい。

【0027】

ビークル１００の軌跡計画１３４との関係においてビークル環境１１６を評価するべく、複数の物体センサ装置１０２−１、１０２−２、１０２−３、１０２−４、１０２−５、及び１０２−６（総合的に、物体センサ装置１０２）が、制御ユニット１１０との通信状態にある。ビークル１００の軌跡情報（並びに、自律ビークル状態Ｘ_ｋ）は、一般に、ＧＰＳ及び／又はマッピング技術によって特定されうる様々な既定のマーカーにおける軌跡計画１３４、ビークル速度、ビークル製造元、ビークルモデル、ファームウェアインスタレーション、目的地点、及び（減速、停止、方向転換、加速、交通流との合流などのような）軌跡地点動作を含みうる。

【0028】

又、軌跡情報は、中間的な自律ビークル目的を含むこともできる。即ち、ビークル制御ユニット１１０は、交通信号における方向転換、通り、交通信号マーカーにおける加速又は減速などのように、一般的に静的なものとして、目的を識別することができる。その一方で、中間的な自律ビークル目的は、その他のビークル、歩行者、自転車に乗った人などに関係するものとして、動的（又は、非静的）なものであってもよい。このような自律ビークル目的の例は、図２〜図６を参照して詳述するように、現在の車線から隣接する車線への、退出車線から正面の車線への、などの、ハイウェイ上への合流車線を介したものなどの、その他のビークルを有する交通流内へのビークル１００による合流を含みうる。

【0029】

複数の物体センサ装置１０２は、ビークル１００の外側表面上において位置決めされてもよく、或いは、ビークル１００との関係において、美的な目的のために、隠蔽された方式により、位置決めされてもよい。物体センサ装置１０２と、ビークル制御ユニット１１０を含む、ビークル制御ユニットの間の通信は、バスに基づいたものであってもよく、且つ、又、ビークル１００のその他のシステムによって使用又は操作されてもよい。

【0030】

例えば、物体センサ装置１０２は、ボディ電子エリアネットワーク（ＢＥＡＮ：Ｂｏｄｙ Ｅｌｅｃｔｒｏｎｉｃ Ａｒｅａ Ｎｅｔｗｏｒｋ）、コントローラエリアネットワーク（ＣＡＮ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）バス構成、オーディオビジュアル通信−ローカルエリアネットワーク（ＡＶＣ−ＬＡＮ：Ａｕｄｉｏ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ−Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）構成、及び／又はビークル１００の装置及びシステムの間において通信を提供するための更なる通信システムアーキテクチャのその他の組合せなどの、ネットワークアーキテクチャの組合せによって結合されてもよい。

【0031】

物体センサ装置１０２は、光検出及び測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）システムによって提供されてもよく、物体入力装置１０２は、ビークル１００の環境１１６内の物理的物体からのレーザー光反射に関係するデータをキャプチャすることができる。又、物体センサ装置１０２は、レーザー（ＬＩＤＡＲ）とミリ波レーダー装置の組合せを含むことができる。ＬＩＤＡＲ及びレーダーに基づいた装置は、物体の速度（即ち、相対的且つ／又は絶対的速度）と共に、物体を検知するように動作することができる。

【0032】

物体センサ装置１０２は、単独で、或いは、組合せにおいて、深度画像をキャプチャするように、或いは、さもなれば、キャプチャされた画像の深度情報を生成するように、動作することができる。例えば、物体センサ装置１０２は、画像（可視及び非可視スペクトル波長や可聴及び非可聴波長など）をキャプチャするように構成されていてもよい。

【0033】

この点において、物体センサ装置１０２は、ビークル環境１１６の別のビークル１５０の距離ベクトル計測値を判定するように動作可能である。

【0034】

例えば、物体センサ装置１０２のそれぞれは、ビークル環境１１６の物体の深さ／距離、方向、及び／又は速度を判定するべく、構造化光、（例えば、ドップラー検知用の信号の）飛行時間、光検出及び測距（ＬＩＤＡＲ）、光場、及びその他の情報を検知及び／又は分析するように構成されていてもよい。

【0035】

動作の際に、物体は、組合せにおいて、或いは、独立的に、複数のセンサ１０２−１〜１０２−６を使用することにより、検出することができる。一例においては、物体センサ装置１０２−１、１０２−２、及び１０２−３は、ビークル１００の前方の物体を検出するように動作することができると共に、物体センサ装置１０２−４、１０２−５、及び１０２−６は、ビークル１００の後方の物体を検出するように動作することができる。

【0036】

又、物体センサ装置１０２のそれぞれは、個々の空間部分に基づいて集合的な物体パラメータ検出を提供するように、個々の機能を実装することができる。例えば、物体センサ装置１０２−１は、別のビークル１５０などの物体を検出するように動作してもよく、且つ、物体センサ装置１０２−２は、ビークル１００との関係において別のビークル１５０の物体速度を検出するように動作してもよい。更には、物体センサ装置１０２−３は、物体の検知及び／又は検出を確認するように、物体センサ装置１０２−１との組合せにおいて動作してもよい。理解されうるように、物体の相対速度を、物体センサ装置１０２を介して判定し、物体の連続位置検出計測値によって外挿し、且つ、これにより、これらに基づいて、（動きベクトルを形成するなどのために）動きの速度及び／又は方向を算出することができる。

【0037】

又、物体センサ装置１０２の個々のサブセットは、物体センサ装置のその他のサブセットとの組合せにおいて動作してもよく、且つ、更には、望ましい検知機能及び／又は用途のために、交互又は非同期、同時、又は個々に基づいた方式により、動作することができる。

【0038】

動作の際には、ビークル制御ユニット１１０は、物体センサ装置１０２によって出力されうるビークルセンサデータを受け取るように動作することができる。物体センサ装置１０２は、軌跡計画１３４に沿って速度Ｖ_１００において移動しつつ、ビークル１００を取り囲んでいるエリア内の物理物体からのレーザー反射に関係するビークルセンサデータをキャプチャ及び送信することができる。一例として、１つ又は複数の検知信号１５２の信号反射は、その他のビークルのみならず、センターライン、車線ライン、及び軌跡計画１３４のエッジ、交通信号などのような、ビークルルートのマーキングを通知することができる。

【0039】

理解されうるように、ビークル制御ユニット１１０は、ビークル環境１１６の自律ビークル目的を選択するように動作することができる。自律ビークル目的は、軌跡計画１３４及び／又はビークル制御ユニット１１０による短期自律制御に基づいたものであってもよい。自律ビークル装置との関係において、ビークル制御ユニット１１０は、自律ビークル状態のセットを識別することができると共に、ビークル環境１１６の物体が自律ビークル物体に影響を及ぼすかどうかを判定することもできる。

【0040】

ビークル環境１１６のその他の静的且つ／又は動的物体が自律ビークル目的に影響を及ぼす際には、ビークル制御ユニット１１０は、別のビークル１５０などの、認識された物体のビークル状態をも考慮しつつ、自律ビークル目的を実現するべく、自律ビークル状態のセットを通じて進捗するように動作することができる。ビークル制御ユニット１１０は、ビークル１００の自律ビークル状態のセットの現在のものに対する適応型ポリシーを形成するように、動作することができる。

【0041】

適応型制御ポリシーπは、ビークル目的の自律ビークル状態のセットのうちの後続の１つに進捗するための自律ビークルアクションを形成するように、動作することができる。ビークル制御ユニット１１０は、自律ビークル状態のセットのうちの後続の１つへの進捗を実現するためのビークルアクションを送信することができる。このような方式によってビークル状態のセットを通じて再帰的に進捗することにより、ビークル制御ユニット１１０は、図２〜図６を参照し説明するように、ビークル環境１１６において自律ビークル目的を充足することができる。

【0042】

図２は、図１のビークル制御ユニット１１０のブロック図を示している。図２は、ビークル制御ユニット１１０のブロック図であり、これは、バス２０８を介して通信自在に結合された無線通信インターフェイス２０２、プロセッサ２０４、及びメモリ２０６を含む。ビークル制御ユニット１１０は、図１〜図６を参照して詳述されている装置及び方法用の例示用のプラットフォームを提供することができる。

【0043】

プロセッサ２０４は、情報を操作又は処理する能力を有する、従来型の中央処理ユニット又は任意のその他のタイプの装置、或いは、複数の装置であってもよい。理解されうるように、プロセッサ２０４は、単一の処理装置であってもよく、或いは、複数の処理装置であってもよい。このような処理装置は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、フィールドプログラム可能なゲートアレイ、プログラム可能な論理装置、状態機械、論理回路、アナログ回路、デジタル回路、並びに／或いは、回路及び／又は動作命令のハードコーディングに基づいて信号（アナログ及び／又はデジタル）を操作する装置であってもよい。

【0044】

メモリ（並びに／或いは、メモリ要素）２０６は、プロセッサ２０４に通信自在に結合されていてもよく、且つ、本開示において記述されている１つ又は複数のモジュールを保存するように動作することができる。モジュールは、実行された際に、プロセッサ２０４が、本開示において記述されている様々なプロセス及び／又は動作のうちの１つ又は複数を実装するようにする命令を含むことができる。

【0045】

メモリ及び／又はメモリ要素２０６は、単一のメモリ装置、複数のメモリ装置、及び／又はプロセッサの組込み型回路であってもよい。このようなメモリ装置は、読取り専用メモリ、ランダムアクセスメモリ、揮発性メモリ、不揮発性メモリ、スタティックメモリ、ダイナミックメモリ、フラッシュメモリ、キャッシュメモリ、及び／又はデジタル情報を保存する任意の装置であってもよい。更には、本開示において記述されている構成は、例えば、その上部に保存される、などのように、実施された、コンピュータ可読プログラムコードを有する１つ又は複数のコンピュータ可読媒体として実施されたコンピュータプログラムプロダクトの形態を有することもできる。１つ又は複数のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体であってもよい。

【0046】

「コンピュータ可読ストレージ媒体」というフレーズは、一時的ではないストレージ媒体を意味している。コンピュータ可読ストレージ媒体は、例えば、限定を伴うことなしに、電子的、磁気的、光学的、電磁的、赤外線、又は半導体システム、装置、又は機器、或いは、これらの任意の適切な組合せであってもよい。コンピュータ可読ストレージ媒体の更に具体的な例（すべてを網羅するものではないリスト）は、携帯型コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、半導体ドライブ（ＳＳＤ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯型のコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、光ストレージ装置、磁気ストレージ装置、又はこれらの任意の適切な組合せを含むことになろう。本文書の文脈において、コンピュータ可読ストレージ媒体は、命令実行システム、装置、又は機器による、或いは、これらとの関連における、使用のためのプログラムを収容又は保存しうる任意の有体の媒体であってもよい。コンピュータ可読媒体上において実施されたプログラムコードは、限定を伴うことなしに、無線、有線、光ファイバ、ケーブル、ＲＦなど、或いは、これらの任意の適切な組合せ、を含む、任意の適切な媒体を使用することにより、送信することができる。

【0047】

メモリ２０６は、機械可読命令がプロセッサ２０４によってアクセスされうるように、機械可読命令、又は命令、を保存する能力を有する。機械可読命令は、例えば、プロセッサ２０４によって直接的に実行されうる機械言語、或いは、機械可読命令にコンパイル及びアセンブルされうると共にメモリ２０６上において保存されうる、アセンブリ言語、ＪＡＶＡ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、又はこれらに類似したものなどのオブジェクト指向のプログラミング（ＯＯＰ）、従来の手続き型のプログラミング言語、スクリプティング言語、マイクロコードなどのプログラミング言語及びその各世代（例えば、１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬ、又は５ＧＬ）において記述された論理又は１つ又は複数のアルゴリズムを含むことができる。或いは、この代わりに、機械可読命令は、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）構成又は用途固有の集積回路（ＡＳＩＣ）、又はこれらの均等物を介して実装された論理などの、ハードウェア記述言語（ＨＤＬ）において記述されてもよい。従って、本開示において記述されている方法及び装置は、事前プログラミングされたハードウェア要素として、或いは、ハードウェア及びソフトウェアコンポーネントの組合せとして、任意の従来のコンピュータプログラミング言語において実装することができる。

【0048】

プロセッサ２０４が複数の処理装置を含む際には、処理装置は、（例えば、有線及び／又は無線バス構造を介して１つに直接的に結合されるなどのように）中央に配置されてもよく、或いは、（例えば、ローカルエリアネットワーク及び／又はワイドエリアネットワークを介する間接的な結合を介したクラウド演算などのように）分散配置されてもよいことに留意されたい。プロセッサ２０４が、状態機械、アナログ回路、デジタル回路、及び／又は論理回路を介してその機能のうちの１つ又は複数を実装する際には、対応する動作命令を保存するメモリ及び／又はメモリ要素は、状態機械、アナログ回路、デジタル回路、及び／又は論理を含む回路内において、或いは、その外部において、埋め込まれうることに更に留意されたい。

【0049】

又、メモリ２０６は、図１〜図６に示されているステップ及び／又は機能のうちの少なくともいくつかに対応するモジュールのハードコーディングされた且つ／又は動作的な命令を保存し、且つ、プロセッサ２０４は、これを実行することに更に留意されたい。

【0050】

ビークル制御ユニット１１０は、１つ又は複数のモジュールを含むことが可能であり、本開示には、その少なくともいくつかについて記述されている。モジュールは、プロセッサ２０４によって実行された際に、本開示において記述されている様々なプロセスのうちの１つ又は複数を実装する、コンピュータ可読プログラムコードとして実装することができる。モジュールのうちの１つ又は複数は、１つ又は複数のプロセッサ２０４の１つのコンポーネントであってもよく、或いは、モジュールのうちの１つ又は複数は、１つ又は複数のプロセッサ２０４が動作自在に接続されているその他の処理システム上において実行させることも可能であり、且つ／又は、これらのシステムの間において分散させることもできる。モジュールは、１つ又は複数のプロセッサ２０４によって実行可能である命令（例えば、プログラム論理）を含むことができる。

【0051】

無線通信インターフェイス２０２は、一般に、ビークルネットワーク２１２を介して受け取られるデータを制御及び管理している。任意の特定のハードウェア構成上において動作する本開示に対する制限は、存在しておらず、且つ、従って、本開示における基本的機能は、その発展に伴って、改善されたハードウェア及び／又はファームウェア構成を目的として、置換、除去、追加、又はさもなければ変更することができる。

【0052】

アンテナ１１２は、全地球測位システム衛星によって送信された電磁信号とやり取りする１つ又は複数の導電性要素を含むことができる。受信された信号は、場所（例えば、緯度及び経度位置）を通知し、且つ、更には、道路データとの関係におけるビークルの位置を通知する、データ信号に変換することができる。

【0053】

ビークル制御ユニット１１０は、例えば、ビークル制御ユニット１１０のアンテナ１１２又はその他のこのようなビークルアンテナ（図示されていない）を介して、全地球測位システム衛星から信号を受け取るように、通信自在に結合されていてもよい。アンテナ１１２は、無線通信１１２を通じたビークル制御ユニット１１０との間の通信を提供するように動作している。理解されうるように、無線通信１１２は、別のビークル１５０（図１）に関係しうるビークル動作データ１４０を受け取るべく、ビークル間（Ｖ２Ｖ）通信、ビークル−インフラストラクチャ（Ｖ２Ｉ）通信、及び／又は、データ／セルラー通信を搬送するように動作することができる。

【0054】

無線通信１２２は、１つ又は複数の無線通信システム仕様に基づいたものであってもよい。例えば、無線通信システムは、限定を伴うことなしに、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、４ＧＰＰ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、５ＧＰＰ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ Ａｄｖａｎｃｅｄ、ＲＦＩＤ、ＩＥＥＥ ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＡＭＰＳ（Ａｄｖａｎｃｅｄ Ｍｏｂｉｌｅ Ｐｈｏｎｅ Ｓｅｒｖｉｃｅｓ）、ｄｉｇｉｔａｌ ＡＭＰＳ、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＭＤＳ（Ｌｏｃａｌ Ｍｕｌｔｉ−ｐｏｉｎｔ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｙｓｔｅｍｓ）、ＭＭＤＳ（Ｍｕｌｔｉ−ｃｈａｎｎｅｌ−Ｍｕｌｔｉ−ｐｏｉｎｔ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｓｙｓｔｅｍｓ）、ＩｒＤＡ、Ｗｉｒｅｌｅｓｓ ＵＳＢ、Ｚ−Ｗａｖｅ、ＺｉｇＢｅｅ、及び／又はこれらの変形を含む、１つ又は複数の規格仕様に従って動作することができる。

【0055】

理解されうるように、ビークルネットワーク２１２の通信経路２１３は、例えば、導電性ワイヤ、導電性トレース、光導波路、又はこれらに類似したものなどの、信号を送信するのに適した媒体から形成することができる。更には、通信経路２１３は、信号を送信する能力を有する媒体の組合せから形成することもできる。

【0056】

一実施形態においては、通信経路２１３は、プロセッサ、メモリ、センサ、入力装置、出力装置、及び通信装置などのコンポーネントへの電気データ信号の送信を許容するべく協働する、導電性トレース、導電性ワイヤ、コネクタ、及びバスの組合せを含むことができる。

【0057】

従って、通信経路２１３は、ボディ電子エリアネットワーク（ＢＥＡＮ）、コントローラエリアネットワーク（ＣＡＮ）バス構成、オーディオビジュアル通信−ローカルエリアネットワーク（ＡＶＣ−ＬＡＮ）構成、ローカルインターコネクトネットワーク（ＬＩＮ）構成、ビークルエリアネットワーク（ＶＡＮ）バスなどのビークルバス又はその組合せ、並びに／或いは、ビークル１００の装置及びシステムの間における通信を提供するための更なる通信システムアーキテクチャのその他の組合せにより、提供されてもよい。

【0058】

「信号」という用語は、本開示において記述されている媒体の少なくともいくつかを通じて移動する能力を有する、ＤＣ、ＡＣ、正弦波、三角波、方形波、振動、及びこれらに類似したものなどの、（例えば、電気的、光学的、磁気的、機械的、又は電磁的などの）波形に関係しているものと理解されたい。

【0059】

ビークル制御ユニット１１０の個々のモジュール及び関連する命令は、プロセッサ２０４によって実行された際に、プロセッサ２０４が、図３〜図６を参照して詳述しているように、１つ又は複数の物体センサ装置１０２（図１）からビークルセンサデータ２１６を受け取り、且つ、少なくとも部分的にビークルセンサデータ２１６に基づいて自律ビークルアクションコマンド１２４を生成するようにしている。

【0060】

図３は、ビークル制御ユニット１１０用の、メモリ２０６内において保存されている機能モジュールブロック図を示しており、メモリ２０６は、マルチビークル検出モジュール３０８と、強化学習モジュール３１２と、を保存することができる。又、メモリ２０６は、フィードバックモジュール３１８と、自律ビークルデータセットモジュール３１４と、を保存することもできる。

【0061】

ビークル状態モジュール３０８は、ビークルセンサデータ２１６−１００及び／又は別のビークルの動作データ３０６を受け取ることができる。ビークル１００の自律ビークル状態３２２に関係するデータとの関係において、ビークルセンサデータ２１６−１００は、ビークル１００と、ビークル１００との関係における静的及び／又は動的物体と、の動作に関係するビークルセンサデータ２１６（例えば、ビークル速度センサ（ＶＳＳ）データ出力、慣性計測ユニット（ＩＭＵ）データ出力など）に関係している。

【0062】

ビークル動作データ１４０及び／又はビークルセンサデータ２１６−１００に基づいて、ビークル状態モジュール３０８は、プロセッサによって実行された際に、プロセッサが、複数のビークルセンサ装置の第１の部分に基づいてビークル状態ビークル環境を認識するようにする命令を介して、自律ビークル状態を生成する。

【0063】

例えば、自律ビークル目的が、（例えば、道路及び／又は高速道路上へなどのように）交通流と合流する、というものでありうる際には、別のビークルなどのその他の物体が自律ビークル目的に影響を及ぼす場合があり、その理由は、自律ビークルがそのビークルの動作状態を考慮しない際には、衝突及び／又は回避アクションを実行する必要がありうるからである。この点において、合流の目的は、十分な自律ビークル間隔を伴った、且つ、別のビークル（或いは、一般的には、その他の複数のビークル）との間の衝突を伴わない、交通流内への安全な遷移であってもよい。

【0064】

強化学習モジュール３１２は、自律ビークル１００との関係において、ビークルセンサデータ２１６−１００及び／又はビークル動作データ１４０に基づいて、自律ビークル状態３２２を受け取るように動作している。理解されうるように、強化学習構造は、自律ビークルアクションコマンド１２４に基づくように制御ダイナミクスモデル３１７を生成するべく、環境の能動的なサンプリングに依存している。能動的な探査費用は、過大になる場合があり、且つ、その結果、タイムリーなアクション決定に到達するための時間及び処理及びサンプリングのオーバーヘッドに起因して、自律ビークルが、衝突又はニアミスをもたらしうる操作を楽観的に試みることから、受け入れ不能となる場合がある。

【0065】

従って、強化学習モジュール３１２は、自律ビークルデータセットモジュール３１４を介してアクセスされる受動的環境動的データセット３１６に基づいて、２ステージ構成において、構成することができる。自律ビークルデータセットモジュール３１４は、ビークル１００などのビークルに関係する部分的に既知のシステムダイナミクスモデルをサンプリングし、開発し、且つ、メモリ２０６内において保存するように、動作する。換言すれば、受動的環境動的データセット３１６は、一般には複数のビークルの受動的動的データを含む一般的データセットセット（即ち、乗用ビークル、ピックアップトラック、ＳＵＶ、リクリエーションビークルなどを含む）、並びに、第１のデータセットの複数のビークルのサブセットに関係する動作データを含む第２のデータセット、として、入力されている。サブセットは、（特定のビークルタイプ及びモデルを有するビークル１００のものなどの）１つの自律ビークル要素や（乗用ビークル、ＳＵＶ、乗用トラックなどのような）共通的な自律ビークルのカテゴリなどを含むことができる。サブセットは、第１のデータセットによって生成された状態値関数及びポリシーを第２のデータセットの自律特定ビークル特性に対して適合させるように動作することができる。

【0066】

モデルは、（ａ）制御ダイナミクスモデル及び／又はデータ３１７と、（ｂ）受動的環境動的データセット３１６と、を含んでいてもよく、後者は、第１のデータセットとも呼称することができる。制御ダイナミクスモデル３１７は、ビークル１００の自律制御（速度パラメータ、方向パラメータ、加速パラメータ、減速パラメータなど）に対応している。受動的環境動的データセット３１６は、（道路の文脈における平均速度サンプリング、その他のビークル及び／又は物体との間の過去のやり取り／シミュレーション、環境の天候条件などのように）ビークルから独立したものであってもよく、受動的なものであってもよく、その理由は、環境ダイナミクスデータは、能動的な、即ち、リアルタイムの、センサスキャンから生成されてはいないからである。その代わりに、このデータは、ビークル１００に対応する、予め収集及び保存された、状態遷移及び／又はシミュレーションデータに基づいたものであってもよい。

【0067】

この結果、環境ダイナミクスデータセット３１６は、ビークル１００に関連する位置及びベクトルデータに基づいて軌跡計画１３４の道路部分に関係しうると共に、別のビークルなどの物体と関連する位置及びベクトルデータにも関係しうる。

【0068】

フィードバックモジュール３１８は、別のビークル動作データ１４０及び／又はビークルセンサデータ２１６−１００を受け取り、且つ、自律ビークルアクションコマンド１２４の結果及び／又は効果に対応する報酬データ３２０を判定している。ビークルセンサデータ２１６−１００との関係において、自律ビークル状態３２２に基づいて、更なる報酬、即ち、強化、データを判定することができる。

【0069】

図４は、図３の強化学習モジュール３１２の一例の機能モジュールブロック図を示している。理解されうるように、強化学習（ＲＬ）は、機械学習の一形態であり、且つ、人工知能（ＡＩ）の一態様として見なされてもよい。強化学習モジュール３１２の１つの目的は、ポリシー決定に続く状態値を予測し、且つ、ポリシーを最適なポリシーの実現に向かって変更する、というものである。例えば、加速の場合に、ポリシー決定は、最適なポリシーが、次の状態を実現するべく所定のレートにおいて加速させる、というものである状態において、加速を継続する、というものであってもよい。予測は、次の状態を実現するというものであり、これは、カバーされている距離によって計測することができる。報酬データは、最適なポリシーに基づいた次の状態の実現の成功に関係することになろう。

【0070】

強化学習モジュール３１２は、クリティックモジュール４０２と、アクタモジュール４０６と、を含むことができる。自律ビークルデータセットモジュール３１４は、受動的環境動的データセット３１６及び制御ダイナミクスモデル３１７をＲＬモジュール３１２に提供するように動作している。

【0071】

自律ビークルデータセットモジュール３１４は、ビークル環境との関係におけるダイナミクスのセンサ及び／又はシミュレートされたデータサンプルを含むことができる。自律ビークルデータセットモジュール３１４は、強化モジュール３１２が能動的な環境スキャニングに従事する必要がないように、動作することができる。

【0072】

例えば、強化学習システムは、一般に、現在の状態Ｘ_ｋにある際には、次の状態Ｘ_ｋ＋１に進捗するべく、能動的な環境スキャニングに基づいてアクション決定を形成している。この結果、次の状態Ｘ_ｋ＋１への進捗は、センササンプリングレート、プロセッサクロッキング速度、メモリ速度などのような、次のアクションの形成が依存しているコンポーネントの検知及び／処理レイテンシーに依存した状態となりうる。

【0073】

上述のように、能動的なスキャニングは、自律ビークル動作の用途においては、受け入れ不能な遅延を課す場合があり、且つ、更には、このような遅延は、初期環境評価を陳腐化させる場合がある。この結果、遅延の後に形成されたアクション決定は、もはや、自律動作による最適アクションの配備ではなくなりうる。

【0074】

理解されうるように、自律ビークルデータセットモジュール３１４は、複数のビークルに関係する「現在の状態→次の状態への遷移」（即ち、Ｘ_ｋ→Ｘ_ｋ＋１）から収集される、受動的環境動的データセット３１６の第１のデータセットを提供するように動作することができる。理解されうるように、受動的環境ダイナミクスデータセット３１６は、異なるビークルによる状態進捗のデータ記録から、且つ／又は、複数のビークルを形成する異なるビークルのシミュレートされた動作による状態進捗から生成されたデータ記録から、生成することができる。

【0075】

又、自律ビークルデータセットモジュール３１４は、第１のデータセットを形成する複数のビークルの一部分又はサブセットの制御及び／又は動作ダイナミクスの第２のデータセット（即ち、受動的環境ダイナミクスデータセット３１７）を提供するように、動作することができる。理解されうるように、複数のビークルの一部分は、（エコノミークラス、ファミリークラス、セダンクラス、高級クラス、スポーツクラス、スポーツユティリティクラスなどのような）ビークルクラスに関係しうる。この代わりに、又は組合せにおいて、複数のビークルの一部分は、（Ｔｏｙｏｔａなどの）ビークル製造者、（Ｔｏｙｏｔａ Ｔａｃｏｍａ、Ｔｏｙｏｔａ Ｃｏｒｏｌｌａ、Ｔｏｙｏｔａ Ｃａｍｒｙ、Ｔｏｙｏｔａ Ｐｒｉｕｓなどのような）ビークルモデルに関係しうる。

【0076】

一部分は、年式のみならず、（年式、走行マイル、運転特性（即ち、保守的や反応的など）、修理、保守記録などのような）ビークルの運転状態に関係する細目により、更に分割されてもよい。換言すれば、制御ダイナミクスモデル３１７の粒度は、粗いもの（ビークルモデルなど）から微細なもの（ビークルの特定の特性など）まで変化しうる。

【0077】

この点において、自律ビークルデータセットモジュール３１４は、相対的に乏しいシステム知識に基づいて、且つ、能動的な環境検知及び／又は探査を必要とすることなしに、機械学習に従事しうる連続的な状態及びアクション空間を提供する能力を強化学習モジュール３１２に提供するように、動作することができる。又、自律ビークルデータセットモジュール３１４は、複数のビークルのうちの異なるビークルについて、自律ポリシーπの最適化と、結果的に得られる自律ビークルアクション１２４と、を提供することができる。

【0078】

換言すれば、ビークル環境の能動的なリアルタイムの（或いは、ほぼリアルタイムの）検知及び／又は探査によって必要とされるオーバーヘッドの低減に加えて、自律ビークルデータセットモジュール３１４は、複数のビークルのうちの異なるビークルについて、異なる制御ダイナミクスモデルを受け入れるように、動作することができる。即ち、自律ビークルデータセットモジュール３１４は、強化学習モジュール３１２を即座に構成しうるが、この実行には、特定のビークルプラットフォーム（即ち、製造者、クラス、モデル、年など）に適合された環境及び動作データの収集を必要としていた。

【0079】

この点において、クリティックモジュール４０２の状態値関数は、受動的環境動的データセット３１６に基づいたものであってもよく、受動的環境動的データセット３１６は、現在の状態に関係するデータ３１６ａと、次の状態に関係するデータ３１６ｂと、を含みうる。

【0080】

又、アクタモジュール４０５の制御利得（並びに、適応型ポリシーπ）は、制御ダイナミクスモード３１７に基づいて最適化されてもよく、制御ダイナミクスモード３１７は、状態費用３１７ａと、制御ダイナミクス３１７ｂと、を含みうる。

【0081】

クリティックモジュール４０２は、強化フィードバック信号４０４を生成することにより、状態評価を提供するように動作しており、強化フィードバック信号４０４は、報酬データ３２０及びビークルセンサデータ２１６−１００を介した自律ビークルアクション１２４の結果の観察に基づいたものであってもよい。理解されうるように、クリティックモジュール４０２は、時間差誤差の形態を有することができるが、これは、アクションが、先行する自律ビークルアクション１２４について予想されるものよりも、良い又は悪い状態において進行したかどうかについての通知を生成する。

【0082】

時間差が正である際には、その自律ビークルアクション１２４のアクションの再度の選択に向かう傾向が強化されることになろう。報酬データの一般的な例として、正の報酬は、望ましい軌跡を成功裏に辿ることを通知しうる一方で、負の報酬は、衝突（或いは、望ましい軌跡を成功裏に辿らないこと）を通知しうる。

【0083】

状態Ｘ_ｋ、次の状態Ｘ_ｋ＋１、及び状態費用ｑ_ｋ（これらは、ビークル１００の特定の性能特性に関係する状態費用３１７ａとして提供されうる）を含む、（ｉ＝１〜Ｎの反復に基づいた）第１の、且つ／又は、受動的な、環境動的データセット３１６の観点における状態値関数の学習の一例は、以下の式によって表すことができる。

【0084】

【数1】

【0085】

勾配

【数2】

により、υ^ｉを更新すれば、次式のとおりであり、

【0086】

【数3】

ここで

【0087】

ｋは、時間インデックスを表記しており、

【0088】

Ｚ_ｋは、指数変換された値関数であり（「Ｚ値」とも呼称される）、且つ、Ｚ_ａｖｇは、最適なポリシーπの下における平均費用であり、

【0089】

【数4】

は、推定されたＺ値関数であり、

【0090】

υは、パラメータベクトルであり、

【0091】

【数5】

は、時間差（ＴＤ）誤差であり（ここで、ｉは、反復を表記しており）、且つ、

【0092】

【数6】

は、反復ｉの関数としての学習レートである。

【0093】

アクタモジュール４０６は、ポリシーπの改善を提供するように動作することができると共に、アクタモジュール４０６の行動関数を含むポリシーπの成分を含むことができる。換言すれば、値関数は、どれだけ「良好」に自律ビークルアクション１２４が実行されると予想されうるか（即ち、将来報酬）と、マルチビークル環境１１６のモデル表現と、を通知している。ポリシーπは、自律ビークル状態から自律ビークルアクション１２４にマッピングされうることから、ビークルの振る舞いと見なすことができる。

【0094】

理解されうるように、ポリシーπは、決定論的ポリシーであってもよく（例えば、アクション「ａ」は、π（状態「ｓ」）に等しい）、或いは、確率論的ポリシーであってもよく、ここで、ポリシーπ（アクション「ａ」｜状態「ｓ」）は、Ｍａｒｋｏｖ進行における次の自律ビークル状態の確率Ｐ［Ａ_ｔ＝ａｃｔｉｏｎ “ａ” １２４｜Ｓ_ｔ＝ｓｔａｔｅ “ｓ”］に等しい。

【0095】

アクタモジュール４０６は、Ｍａｒｋｏｖｉａｎであると見なされてもよく、自律動作の将来は、現時点の状態（位置、速度、方向など）と、自律ビークルアクション１２４と、に依存している。Ｍａｒｋｏｖ決定プロセスは、｛Ｓ，Ａ，ρ，ｒ，γ｝によって定義され、ここで、Ｓは、状態のセットであり、Ａ（ｓ）は、状態Ｓにおいて可能であるアクションのセットであり、ρは、状態Ｓからの遷移の確率であり、ｒは、自律ビークルアクションＡを状態Ｓにおいて実行した際の予測される報酬であり、且つ、γは、予測された報酬ｒのディスカウントレートである。

【0096】

アクタモジュール４０６は、複数のビークルの一部分について制御ダイナミクスモデル３１７に基づいて制御利得を学習するように、動作することができる。状態Ｘ_ｋ、次の状態Ｘ_ｋ＋１、及び状態費用ｑ_ｋを含む、（ｉ＝１〜Ｎの反復に基づいた）制御ダイナミクスモデル３１７の観点における制御利得の学習の一例は、次式によって表すことができる。

【0097】

【数7】

【0098】

【数8】

【0099】

【数9】

【0100】

【数10】

ここで、

【0101】

Ｖは、Ｖ値関数Ｖ（ｘ）であり、

【0102】

【数11】

は、報酬関数（或いは、時間変位（ＴＤ）誤差）であり、

【0103】

ｑ_ｋは、状態費用であり、且つ、

【0104】

β^ｉは、学習レートである。
この結果、アクタモジュール４０６は、クリティックモジュール４０２からの推定されたＺ値を使用して状態Ｓを演算することにより、ポリシーπを改善するように動作することができる。

【0105】

記述したように、強化学習モジュール３１２用の受動的なアクタ−クリティック構造においては、２つの階層データセットを使用することができる。第１のデータセットは、受動状態遷移（即ち、環境１１６との関係におけるサンプリング及び／又はシミュレートされたビークルアクション）において収集された受動的動的データ３１６であってもよい。第２のデータセットは、自律ビークル１００の既知の動作及び／又は制御ダイナミクスモデル３１７であってもよく、これは、受動的環境動的データセット３１６の第１のデータセットに関係する複数のビークルの一部分であるものと理解することができる。

【0106】

線形解決可能な連続Ｍａｒｋｏｖ決定プロセス（Ｌ−ＭＤＰ）に適用されうるように、クリティックモジュール４０２は、受動的環境動的データ３１６から、線形化されたＢｅｌｌｍａｎ（Ｂ）等式に基づいて、推定値関数を推定することができる一方で、アクタモジュール４０６は、自律ビークル１００の受動的動的データ３１６及び制御ダイナミクスモデル３１７ｂにおける標準的なＢｅｌｌｍａｎ（Ｂ）等式に基づいてポリシーπを最適化するように（これにより、自律ビークルアクション１２４を生成するように）、動作することができる。

【0107】

この点において、自律ビークル能力は、アクタモジュール４０６のポリシー制御利得との協働状態においてクリティックモジュール４０２の状態値関数に基づいて自律ビークルアクションコマンドを生成するように、実装することができる。

【0108】

図５は、道路５６０に合流するビークル１００を含むマルチビークル環境１１６の一例を示している。ビークル１００は、自律ビークル目的５４６（即ち、道路との合流）を選択し、且つ、この例の場合には、ビークル１００を道路５６０の交通流と合流させる、というものである、自律ビークル目的に関係する自律ビークル状態のセット５４０、５４２、５４４、及び５４６を識別する。自律ビークル状態５４０、５４２、５４４、及び５４６は、ビークル制御ユニット１１０による離散サンプリングインターバルにより、通知することができると共に、一般には、自律ビークル目的５４６に向かうビークル１００の進捗のアンダーサンプリング及び／又はオーバーサンプリングを回避するように、選択することができる。理解されうるように、自律ビークル状態の数は、離散サンプリングインターバルに基づいて増大／減少しうる。

【0109】

強化学習モジュール３１２（図４）の受動的なアクタ−クリティック構造との関係において、受動的環境動的データ３１６は、自律ビークル１００により、最適なポリシーπ（即ち、合流車線５６２から道路５６０の交通流に合流するための所与の距離における速度の増大）を許容している。理解されうるように、受動的環境動的データセット３１６は、同一又は類似の動作及び／又は目的に予め従事したその他のビークルを通じて収集することができると共に、更には、データセット３１６を生成するためのシミュレーションとの関係において生成することもできる。

【0110】

理解されうるように、最適なポリシーπは、自律ビークル目的５４６―即ち、交通流との合流―の（合流車線５６２の長さ、合流車線５６２における平均速度、道路５６０の交通流との合流を実現するために加速するべき速度などのような）物理的特性のそれぞれを識別するためのビークル環境１１６の能動的な探査に基づいてはいない。この代わりに、これらの特性は、ビークル制御ユニット１１０の強化学習モジュール３１２によって使用される環境モデルをレンダリングし、これにより、さもなければ環境及び／又は状況評価のために割り当てられることになる自律ビークルアクション１２４を形成するための時間を低減するべく、受動的に収集及び／又はシミュレートされている。

【0111】

又、受動的環境動的セット３１６は、自律ビークル目的５４６に影響を及ぼしうる、道路５６０内に存在している別のビークル１５０などの、その他のビークルの先行する且つ／又はシミュレートされたシナリオに基づいた変動を含みうる。例えば、別のビークル１５０が、ビークル１００の時点において又はその周辺において自律ビークル目的５４６を妨げる場合がある。この点において、ビークル１００と別のビークル１５０の間の衝突及び／又はニアミスの可能性が結果的にもたらされうる。

【0112】

理解されうるように、現在の車線から別のビークルを含む隣接する車線への合流や出口車線から別のビークルを含む正面の車線への合流などのような、別のビークル１５０が自律ビークル１００の自律ビークル目的に影響を及ぼすその他の例示用のシナリオが発生しうる。又、例のわかりやすさを目的として、１つのビークル１５０が、自律ビークル目的に影響を及ぼすものとして示されている。更に密度の高い交通流状態においては、いくつかのその他のビークルが、自律ビークル目的に影響を及ぼす場合があり、従って、自律ビークル目的５４６に向かう自律ビークル１００の接近を調節するべく、更なるその他のビークルのビークル状態の更なる検知及び認識を実装することができる。

【0113】

動作の際には、ビークル制御ユニット１１０は、１つ又は複数の検知信号１５２（並びに、それらの個々の反射）に基づいて、（相対位置、速度、向きなどのような）ビークル１５０の状態を認識することができる。

【0114】

この点において、ビークル制御ユニット１１０は、自律ビークル目的５４６に向かって後の自律ビークル状態５４０に進捗するべく、（例えば、所定レベルの加速（ｍ／ｓ^２）などの）自律ビークルアクションを形成するための適応型ポリシーπの形成において、別のビークル１５０の運動を反復的に考慮するように、動作することができる。

【0115】

ビークル制御ユニット１１０は、別のビークル１５０の時点ｔ’における認識されたビークル状態Ｘとの関係において、時点ｔにおける現在の自律ビークル状態に対する適応型ポリシーπを形成している。時点ｔにおける現在の自律ビークル状態から、時点ｔ＋１における自律ビークル状態のセットＳのうちの後続の１つに進捗するべく、適応型ポリシーπから、自律ビークルアクション（ｔ）５２２が生成される。わかりやすさを目的として、自律ビークルアクションは、合流車線５６２から道路５６０に合流するべく十分である別のビークル１５０との間の自律ビークル１００の相対速度に基づきうる、適応型ポリシーπに基づいた自律ビークルの速度に関係しうる。

【0116】

自律ビークルアクション（ｔ）５２２は、自律ビークル状態のセットのうちの後続の１つへの進捗を実現するべく、送信することができる。即ち、自律ビークルアクション（ｔ）５２２は、自律ビークルアクション（ｔ）５２２、自律ビークルアクション（ｔ_１）５２６、自律ビークルアクション（ｔ＋２）５３０などに基づいて、ビークルパワートレーンアクチュエータに対する制御データを生成するように動作しうる、パワートレーン制御ユニットなどの、自律ビークル１００のその他のビークル制御ユニットに提供することができる。

【0117】

理解されうるように、ビークル１００のその他のビークル制御ユニットは、ビークル制御ユニット１１０（図２）などの、類似の構造を有することができる。又、本開示において使用されている「パワートレーン」という用語は、パワーを生成し、且つ、パワーを道路表面、水、又は空気に供給する、ビークルコンポーネントを記述しており、且つ、エンジン、トランスミッション、駆動シャフト、ディファレンシャル、及びパワーを動きに伝達する最終的な駆動装置（例えば、駆動車輪、戦車又はキャタピラ（登録商標）トラクタなどにおける連続的なキャタピラ（登録商標）、プロペラなど）を含みうる。又、パワートレーンは、ビークル１００の物理的なハンドルを通じた、或いは、ワイヤ駆動型及び／又は光駆動型のアクチュエータを介した、ハンドル角度制御をも含みうる。

【0118】

図５に示されているように、自律ビークル状態のセットのうちの或る後続の状態への進捗は、現在の時点（ｔ）に関係する自律ビークルアクション部分と、後続の自律ビークル状態との関係における将来時間インターバル（ｔ＋１）における知覚された値又は報酬部分（例えば、Ｓ_ｔ＋１における自律ビークル状態５４０の報酬（ｔ＋１））と、を含む。受動的なアクタ−クリティックモジュール（図４）に基づいた強化学習モジュール３１２においては、クリティックモジュール４０２は、実現されたかどうかを判定するべく、且つ、更には、強化フィードバック信号４０４を介して、適宜、アクタモジュール４０６（図４）のポリシーπを適合させるべく、知覚された報酬５２４を評価するように、動作することができる。

【0119】

従って、自律ビークル状態５４０から、後続の自律ビークル状態５４２への進捗のために、（例えば、時点ｔから時点（ｔ＋１）までの別のビークル１５０の距離の変化、並びに、速度ｖ_ｔ’＋１ｍ／ｓなどの）認識されたビークル状態５０２により、自律ビークル１００は、（例えば、別のビークル１５０の前方又は後方における距離ｄ_ｔ＋１メートルなどの）知覚された報酬（ｔ＋２）５２８を伴って、（例えば、加速ａ_ｔ＋１ｍ／ｓ^２などの）自律ビークルアクション（ｔ＋１）５２６を実装する。

【0120】

理解されうるように、１つの自律ビークル状態５４０、５４２、５４４、及び５４６からの自律ビークルアクションは、互いに異なりうる。又、別のビークル１５０の速度及び／又は加速度も、認識されたビークル状態及び初期時点ｔ’を通じて、認識されたビークル状態Ｓ_ｔ’から一定ではない場合がある。

【0121】

図６は、ビークルの自律ビークル能力を構成するための例示用のプロセス６００を示している。

【0122】

動作６０２において、複数のビークルに関係する階層データセットの第１のデータセットが識別されており、ここで、ビークルは、複数のビークルのうちの１つである。この第１のデータセットとの関係において、動作６０４において、自律ビークル能力の状態値関数を第１のデータセットとの関係において生成することができる。第１のデータセットの一例は、複数のビークルに関係する受動的環境動的データセット及び現在の状態及び次の状態のデータを含む受動的環境動的データセットである。理解されうるように、受動的環境動的データセットは、状態目的に向かう複数の状態にわたる進捗に関係するものと見なしてもよい。即ち、目的を実現するべく、ビークルがスポーツビークルや貨物ビークルなどであるどうかとは無関係に、一般的な基本的アクションが発生する。

【0123】

動作６０６においては、複数のビークルの一部分に関係する、階層データセットの、第２のデータセット、又はサブセット、が認識されてもよく、ここで、複数のビークルの一部分は、ビークル１００などのビークルを含む（図１を参照されたい）。

【0124】

第２のデータセットは、複数のビークルの一部分の動作及び／又は制御ダイナミクスモデルを含みうる。制御ダイナミクスモデルは、ビークル状態費用データ及び制御ダイナミクスデータを含みうる。例えば、複数のビークルの一部分は、Ｔｏｙｏｔａ Ｔａｃｏｍａ、Ｃｏｒｏｌｌａ、Ｃａｍｒｙ、Ｐｒｉｕｓなどのような、ビークルモデルに関係しうる。一部分は、年式のみならず、（年式、走行マイル、運転特性（即ち、保守的や反応的など）、修理、保守記録などのような）ビークルの運転状態に関係する細目により、更に分割することができる。換言すれば、動作及び／又は制御ダイナミクスモデルの粒度は、粗いレベル（ビークルモデルなど）から微細なレベル（ビークルの個々の品質など）まで変化しうる。

【0125】

換言すれば、第２のデータセットは、状態を通じて目的まで進捗するための複数のビークルの一部分の個々の能力に関係していると見なすことができる。例えば、スポーツビークルは、一般に、「素早さ」を有しうる、或いは、アクションコマンドに対する応答性を有しうる一方において、貨物ビークルは、相対的に扱いにくいと共に素早さを欠いている場合がある。従って、第２のデータセットは、状態費用データ及び制御ダイナミクスデータを含みうる、複数のビークルの一部分の制御ダイナミクスモデルを含むことができる。

【0126】

動作６０８において、第２のデータセットとの関係において、ポリシー制御利得を最適化することができると共に、自律ビークル能力を伴う実装のためにビークル特定性能特性に適用することができる。この点において、自律ビークル能力は、強化学習モジュール３１２と共に配備されるように、構成することができる（図３）。

【0127】

動作６１０において、ビークルの自律ビークル能力は、図５の例において記述されているものなどのポリシー制御利得との協働状態において状態値関数に基づいて次の状態に進捗するための自律ビークルアクションを生成するように、動作することができる。

【0128】

例えば、強化学習モジュールが、アクタ−クリティックモジュールを含む強化学習（ＲＬ）モジュールを含む際には、アクタモジュールは、第１の且つ／又は受動的な環境動的データセットと、第１のデータセットのサブセットでありうる、第２の且つ／又は制御動的データセットと、の２ステージ階層構成から生成された適応型ポリシーに基づいて、自律ビークル能力のアクションの予測を生成するように、動作可能であってもよい。

【0129】

クリティックモジュールは、第１のデータセット及び第２のデータセットに応答して報酬パラメータに関係するアクタモジュール用のフィードバックデータを生成するように、動作可能であってもよく、クリティックモジュールは、フィードバックデータを介して、アクタモジュールのポリシーパラメータを変更して適応型ポリシーπを形成するように、更に動作している。又、理解されうるように、フィードバックデータは、次の状態の実現における自律ビークルアクションの有効性に関係する時間変位（ＴＤ）誤差データを含むこともできる（道に迷うのは、相対的に大きなＴＤ誤差となる一方で、次の状態又は相対的に良好な状態に向かっているのは、相対的に小さなＴＤ誤差となる、など）。

【0130】

従って、ビークルの自律動作能力を構成するための方法及び装置が開示されている。ビークルによる自律意思決定の構成は、一般に複数のビークルに関係している（即ち、乗用ビークル、ピックアップトラック、ＳＵＶ、リクリエーションビークルなどを含む）第１のデータセットに基づいたものであってもよい。このようなデータセットは、現在のビークル状態（Ｘ_ｋ）及び次のビークル状態（Ｘ_ｋ＋１）に関係する受動的データに関係する保存された受動的環境動的データと呼称することができる。第２のデータセットは、自律能力のために構成されているビークルに関係する部分などの、複数のビークルの一部分の制御ダイナミクスモデルを含みうる。本開示においては、詳細な実施形態が開示されている。但し、開示されている実施形態は、例としてのみ意図されていることを理解されたい。従って、本開示において開示されている特定の構造的且つ機能的な詳細は、限定としてではなく、請求項のための基礎として、且つ、実質的に任意の適切に詳述された構造における本開示における態様を様々に利用するように当業者に教示するための代表的な基礎として、のみ解釈することを要する。更には、本開示において使用されている用語及びフレーズは、限定ではなく、可能な実装形態の理解可能な説明を提供することを意図したものである。図１〜図６には、様々な実施形態が示されているが、これらの実施形態は、図示されている構造又は用途に限定されるものではない。

【0131】

当業者は、本開示において使用されうる「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」又は「ほぼ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」という用語は、産業的に受け入れられる許容範囲を、その対応する用語に、且つ／又は、項目の間の相対性に、提供していることを理解するであろう。このような項目の間の相対性は、数パーセントの差から桁の差までの範囲を有する。

【0132】

当業者は、本開示において使用されうる「結合された（ｃｏｕｐｌｅｄ）」という用語は、直接的な結合と、別のコンポーネント、要素、回路、又はモジュールを介した間接的な結合と、を含み、ここで、間接的な結合の場合に、介在するコンポーネント、要素、回路、又はモジュールは、信号の情報を変更することはないが、その電流レベル、電圧レベル、及び／又はパワーレベルを変更しうることを更に理解するであろう。又、当業者は、推定された結合（即ち、１つの要素が、推定により、別の要素に結合されている場合）は、「結合された」と同一の方式による２つの要素の間の直接的且つ間接的な結合を含むことを理解するであろう。

【0133】

「モジュール」という用語が図面の説明において使用されている場合には、モジュールは、出力信号を生成するための入力信号の処理などの１つ又は複数の機能を実行する、ハードウェア、ソフトウェア、及び／又はファームウェアにおいて実装された機能ブロックを含む。本開示において使用されているモジュールは、それ自体がモジュールであるサブモジュールを含みうる。

【0134】

図中のフローチャート及びブロック図は、様々な実施形態によるシステム、方法、及びコンピュータプログラムプロダクトの可能な実装形態のアーキテクチャ、機能、及び動作を示している。この点において、フローチャート又はブロック図内のそれぞれのブロックは、規定された１つ又は複数の論理関数を実装するための１つ又は複数の実行可能な命令を含む、コードのモジュール、セグメント、又は一部分を表すことができる。又、いくつかの代替実装形態においては、ブロック内において示されている機能は、図中において示されている順序以外においても発生しうることに留意されたい。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、或いは、ブロックは、しばしば、関係する機能に応じて、逆の順序において実行されてもよい。

【0135】

上述のシステム、コンポーネント、及び／又はプロセスは、ハードウェアにおいて、或いは、ハードウェアとソフトウェアの組合せにおいて、実現することが可能であり、且つ、１つの処理システムにおいて中央集中化された方式により、或いは、異なる要素がいくつかの相互接続された処理システムに跨って分散している分散方式により、実現することもできる。本開示において記述されている方法を実行するように適合された任意の種類の処理システム又は別の装置が好適である。ハードウェア及びソフトウェアの代表的な組合せは、読み込まれると共に実行された際に、本開示において記述されている方法を実行するように、処理システムを制御するコンピュータ使用可能プログラムコードを有する処理システムであってもよい。

【0136】

更には、本開示において記述されている構成は、例えば、その上部において保存されるなどのように、実施された、コンピュータ可読プログラムコードを有する１つ又は複数のコンピュータ可読媒体として実施されたコンピュータプログラムプロダクトの形態を有することもできる。１つ又は複数のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体であってもよい。

【0137】

本開示において使用されている「１つの（ａ）」及び「１つの（ａｎ）」という用語は、１つ以上である、ものとして定義される。本開示において使用されている「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、２つ以上である、ものとして定義される。本開示において使用されている「別の（ａｎｏｔｈｅｒ）」という用語は、少なくとも２番目以上である、ものとして定義される。本開示において使用されている「含む（ｉｎｃｌｕｄｉｎｇ）」及び／又は「有する（ｈａｖｉｎｇ）」という用語は、含む（ｃｏｍｐｒｉｎｓｉｎｇ）（即ち、オープン言語）である、ものとして定義される。本開示において使用されている「〜と〜のうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ．．．ａｎｄ．．．）」というフレーズは、関連する列挙された項目のうちの１つ又は複数の任意の且つすべての可能な組合せを参照し、且つ、包含している。一例として、「Ａ、Ｂ、及びＣのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ， ａｎｄ Ｃ）」というフレーズは、Ａのみ、Ｂのみ、Ｃのみ、或いは、これらの任意の組合せ（例えば、ＡＢ、ＡＣ、ＢＣ、又はＡＢＣ）を含む。

【0138】

本開示における態様は、その真意又は必須の属性を逸脱することなしに、その他の形態において実施することができる。従って、その範囲を通知するものとしては、上述の明細書ではなく、添付の請求項を参照されたい。
［構成１］
ビークルの自律動作能力を構成する方法であって、
複数のビークルに関係する第１のデータセットを識別することであって、前記ビークルは前記複数のビークルのうちの１つである、第１のデータセットを識別することと、
前記第１のデータセットとの関係において自律ビークル能力の状態値関数を生成することと、
前記複数のビークルの一部分に関係する第２のデータセットを識別することであって、前記複数のビークルの前記一部分は前記ビークルを含む、第２のデータセットを識別することと、
前記第２のデータセットとの関係において前記自律ビークル能力のポリシー制御利得を最適化することと、
を含み、
前記自律ビークル能力は、前記ポリシー制御利得との協働状態において前記状態値関数に基づいて次の状態への進捗のための自律ビークルアクションを生成するように動作可能である、方法。
［構成２］
前記複数のビークルの前記一部分は、ビークルクラスを含む、構成１に記載の方法。
［構成３］
前記複数のビークルの前記一部分は、前記ビークルを含む、構成１に記載の方法。
［構成４］
前記第１のデータセットは、前記複数のビークルに関係する受動的環境動的データセットであり、前記受動的環境動的データセットは、現在の状態と、次の状態と、を含み、且つ、
前記第２のデータセットは、前記複数のビークルの前記一部分の制御ダイナミクスモデルであり、前記制御ダイナミクスモデルは、状態費用データと、制御ダイナミクスデータと、を含む、
構成１に記載の方法。
［構成５］
前記自律ビークル能力は、アクタ−クリティックモジュールを含む強化学習（ＲＬ）モジュールを含む、構成４に記載の方法。
［構成６］
前記アクタ−クリティックモジュールは、
前記第１のデータセット及び前記第２のデータセットから生成された適応型ポリシーに基づいて前記自律ビークル能力のアクションの予測を生成するように動作可能であるアクタモジュールと、
前記第１のデータセット及び前記第２のデータセットに応答して報酬パラメータに関係する前記アクタモジュール用のフィードバックを生成するように動作可能であるクリティックモジュールであって、前記クリティックモジュールは、前記フィードバックデータを介して、前記アクタモジュールのポリシーパラメータを変更して前記適応型ポリシーを形成するように更に動作可能である、クリティックモジュールと、
含む、構成５に記載の方法。
［構成７］
前記フィードバックデータは、時間変位誤差データを含む、構成６に記載の方法。
［構成８］
ビークルの自律ビークル能力を構成する方法であって、
複数のビークルと共に前記ビークルを識別することと、
複数のビークルに関係する第１のデータセットを取得することと、
前記第１のデータセットに基づいて前記自律ビークル能力の状態値関数を生成することと、
前記複数のビークルの一部分に関係する第２のデータセットを識別することであって、前記複数のビークルの前記一部分は前記ビークルを含む、第２のデータセットを識別することと、
前記第２のデータセットとの関係において前記自律ビークル能力のポリシー制御利得を最適化することと、
を含み、
前記自律ビークル能力は、前記ポリシー制御利得との協働状態において前記状態値関数に基づいて次の状態への進捗のための自律ビークルアクションを生成するように動作可能である、方法。
［構成９］
前記複数のビークルの前記一部分は、ビークルクラスを含む、構成８に記載の方法。
［構成１０］
前記複数のビークルの前記一部分は、ビークルクラスの１つを含む、構成８に記載の方法。
［構成１１］
前記第１のデータセットは、前記複数のビークルに関係する受動的環境動的データセットであり、且つ、
前記第２のデータセットは、前記複数のビークルの前記一部分用の制御ダイナミクスモデルである、
構成８に記載の方法。
［構成１２］
前記制御ダイナミクスモデルは、前記複数のビークルの前記一部分用の複数の動作モードを含む、構成１１に記載の方法。
［構成１３］
前記自律ビークル能力は、アクタ−クリティックモジュールを含む強化学習（ＲＬ）モジュールを含む、構成１１に記載の方法。
［構成１４］
前記アクタ−クリティックモジュールは、
前記第１のデータセット及び前記第２のデータセットから生成された適応型ポリシーに基づいて前記自律ビークル能力のアクションの予測を生成するように動作可能であるアクタモジュールと、
前記第１のデータセット及び前記第２のデータセットに応答して報酬パラメータに関係する前記アクタモジュール用のフィードバックデータを生成するように動作可能であるクリティックモジュールであって、前記クリティックモジュールは、前記フィードバックデータを介して、前記アクタモジュールのポリシーパラメータを変更して前記適応型ポリシーを形成するように更に動作可能である、クリティックモジュールと、
を含む、構成１３に記載の方法。
［構成１５］
前記フィードバックデータは、時間変位誤差データを含む、構成１４に記載の方法。
［構成１６］
ビークルの自律ビークル能力のために構成されたビークル制御ユニットであって、
ビークルネットワークとの間の通信をサービスするための無線通信インターフェイスと、
前記無線通信インターフェイスに、且つ、複数のビークルセンサ装置に、通信自在に結合されたプロセッサと、
前記プロセッサに通信自在に結合され、且つ、強化学習モジュールを保存するメモリと、
を含み、
前記強化学習モジュールは、前記プロセッサによって実行された際に、
複数のビークルに関係する受動的環境動的データセットにアクセスすることであって、前記ビークルは、前記複数のビークルのうちの１つである、受動的環境動的データセットにアクセスすることと、
前記受動的環境動的データセットとの関係において前記自律ビークル能力の状態値関数を生成することと、
前記複数のビークルの一部分に関係する制御ダイナミクスモデルを識別することであって、前記複数のビークルの前記一部分は、前記ビークルを含む、制御ダイナミクスモデルを識別することと、
前記第２のデータセットとの関係において前記自律ビークル能力のポリシー制御利得を最適化することと、
により、前記プロセッサが前記自律ビークル能力用の前記強化学習モジュールを構成するようにする、命令を含み、
前記自律ビークル能力は、前記ポリシー制御利得との協働状態において前記状態値関数に基づいて、且つ、更には、前記複数のビークルセンサ装置によって生成されるビークルセンサデータに基づいて、次の状態への進捗のための自律ビークルアクションを生成するように動作可能である、
ビークル制御ユニット。
［構成１７］
前記強化学習モジュールは、受動的アクタ−クリティックモジュールであって、前記プロセッサによって実行された際に、
前記適応型ポリシーを形成するべく、ビークルポリシーを最適化することと、
前記適応型ポリシーに基づいて前記自律ビークルアクションの予測を生成することと、
により、前記プロセッサが前記適応型ポリシーを形成するようにする命令を含む、受動的アクタ−クリティックモジュールを更に含む、構成１６に記載のビークル制御ユニット。
［構成１８］
前記アクタ−クリティックモジュールは、
前記プロセッサによって実行された際に、前記プロセッサが、前記ビークルアクションに応答して報酬パラメータに関係する前記アクタモジュール用のフィードバックデータを生成するようにする、命令を含むクリティックモジュールであって、前記クリティックモジュールは、前記フィードバックデータを介して、前記アクタモジュールのポリシーパラメータを変更して前記適応型ポリシーを形成するように更に動作する、クリティックモジュールと、
前記プロセッサによって実行された際に、前記プロセッサが、前記適応型ポリシーに基づいて前記自律ビークルアクションの前記予測を生成するようにする命令を含むアクタモジュールと、
を更に含む、構成１７に記載のビークル制御ユニット。
［構成１９］
前記フィードバックデータは、時間変位誤差データを含む、構成１８に記載のビークル制御ユニット。
［構成２０］
前記複数のビークルの前記一部分は、ビークルクラスを含む、構成１６に記載のビークル制御ユニット。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】