特表 2023-548721 自律システム及びアプリケーションにおけるビヘイビア予測のためのモデルベースの強化学習

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-21

(54)【発明の名称】自律システム及びアプリケーションにおけるビヘイビア予測のためのモデルベースの強化学習

(51)【国際特許分類】

   B60W 30/00 20060101AFI20231114BHJP

   B60W 30/08 20120101ALI20231114BHJP

   G08G 1/16 20060101ALI20231114BHJP

【ＦＩ】

B60W30/00

B60W30/08

G08G1/16 C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022517798

(86)(22)【出願日】2021-11-01

(85)【翻訳文提出日】2022-06-03

(86)【国際出願番号】 US2021072157

(87)【国際公開番号】W WO2022094624

(87)【国際公開日】2022-05-05

(31)【優先権主張番号】63/108,432

(32)【優先日】2020-11-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/453,055

(32)【優先日】2021-11-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＷＣＤＭＡ

２．ブルートゥース

３．ＺＩＧＢＥＥ

４．ＴＥＮＳＯＲＦＬＯＷ

５．ＳＩＧＦＯＸ

(71)【出願人】

【識別番号】501450960

【氏名又は名称】エヌビディア コーポレーション

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】スモルヤンスキー、ニコライ

(72)【発明者】

【氏名】カメネフ、アレクセイ

(72)【発明者】

【氏名】ワン、リーリュイ

(72)【発明者】

【氏名】ニスター、デイヴィッド

(72)【発明者】

【氏名】ボエール ボーハン、オリン

(72)【発明者】

【氏名】クルカルニ、イシュワ―ル

(72)【発明者】

【氏名】ヤン、ファンカイ

(72)【発明者】

【氏名】ウン、ジュリア

(72)【発明者】

【氏名】デギルメンチ、アルペレン

(72)【発明者】

【氏名】バールガヴァ、ルチ

(72)【発明者】

【氏名】アヴィブ、ローテム

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA01

3D241BA11

3D241BA32

3D241CD10

3D241CE04

3D241CE05

3D241CE08

3D241DB01Z

3D241DB02Z

3D241DB05Z

3D241DB20Z

3D241DC01Z

3D241DC02Z

3D241DC04Z

3D241DC18Z

3D241DC25Z

3D241DC26Z

3D241DC27Z

3D241DC33Z

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181CC02

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF22

5H181FF27

5H181LL01

5H181LL02

5H181LL04

5H181LL09

(57)【要約】

様々な実例において、強化学習が、模倣学習を使用して１つ又は複数のアクタの運動を予測して世界モデルを定義することによって現実世界データでトレーニングされたディープ・ニューラル・ネットワーク（ＤＮＮ）を活用することによって車両を制御するように少なくとも１つのマシン学習モデル（ＭＬＭ）をトレーニングするために使用される。ＤＮＮは、入力属性からアクタの属性、たとえば、位置及び／又は運動、を予測するように現実世界データからトレーニングされ得る。予測は、シミュレータにおいて環境の状態を定義し得、ＤＮＮへの１つ又は複数のアクタ入力の１つ又は複数の属性は、他の方法で実現不可能であり得る条件をシミュレーションするために、シミュレータによって修正又は制御され得る。ＭＬＭは、車両の１つ又は複数のアクションを予測するためにＤＮＮによって行われる予測を活用し得る。

【特許請求の範囲】

【請求項1】

環境の第１の状態に基づいて１つ又は複数のアクタの少なくとも１つの第１の位置を、少なくとも部分的にシミュレーションされたデータを使用して、判定するステップと、第１のデータをディープ・ニューラル・ネットワーク（ＤＮＮ）に適用して、前記１つ又は複数のアクタの少なくとも１つの第２の位置の１つ又は複数の予測を、前記１つ又は複数のアクタの前記少なくとも１つの第１の位置を使用して、生成するステップと、前記１つ又は複数の予測に対応する第２のデータを少なくとも１つのマシン学習モデル（ＭＬＭ）に適用して、エゴ車両の１つ又は複数のアクションに対応する予測されるアクションを、前記１つ又は複数の予測に少なくとも部分的に基づいて、生成するステップと、前記環境の第２の状態に少なくとも基づいて価値関数を使用して前記予測に１つ又は複数の出力を割り当てるステップと、前記１つ又は複数の出力に少なくとも基づいて前記少なくとも１つのＭＬＭの１つ又は複数のパラメータを更新するステップとを含む、方法。

【請求項2】

前記少なくとも１つのＭＬＭが、前記１つ又は複数のアクションに対応する前記予測されるアクションを生成するために前記ＤＮＮの潜在空間の少なくとも一部分をデコードする、請求項１に記載の方法。

【請求項3】

前記ＤＮＮを使用して前記１つ又は複数のアクタの１つ又は複数の位置を予測するステップをさらに含み、１つ又は複数のアクタの前記少なくとも１つの第１の位置を前記判定するステップが、アクタのビヘイビアのモデル化に基づいて前記予測される１つ又は複数の位置のうちの少なくとも１つを調整して、前記少なくとも１つの第１の位置を生成するステップを含む、請求項１に記載の方法。

【請求項4】

前記第２のデータが、前記エゴ車両の前記１つ又は複数のアクションの１つ又は複数の目標をエンコードする、請求項１に記載の方法。

【請求項5】

前記ＤＮＮが、模倣学習を使用してトレーニングされたＤＮＮを含む、請求項１に記載の方法。

【請求項6】

前記１つ又は複数のアクションの前記予測が、前記少なくとも１つのＭＬＭのアクタ・ネットワークを使用して行われ、前記１つ又は複数のパラメータのうちの少なくとも１つが、前記少なくとも１つのＭＬＭに対応するクリティック・ネットワークのものである、請求項１に記載の方法。

【請求項7】

前記１つ又は複数のアクションが、前記エゴ車両の１つ又は複数の軌道を含む、請求項１に記載の方法。

【請求項8】

前記１つ又は複数のアクタの前記少なくとも１つの第２の位置が、アクタの軌道に対応し、前記方法が、機械的運動アルゴリズムを使用して前記軌道を拡張して、拡張された軌道を生成するステップを含み、前記１つ又は複数の出力が、前記拡張された軌道に対応する、請求項１に記載の方法。

【請求項9】

前記１つ又は複数のアクタが、前記エゴ車両及び少なくとも１つの他の車両を含む、請求項１に記載の方法。

【請求項10】

前記環境における前記エゴ車両と別の物体との衝突の可能性を、前記環境の前記第２の状態を使用して、判定するステップと、前記衝突の前記可能性に少なくとも基づいて前記１つ又は複数の出力を計算するステップとを含む、請求項１に記載の方法。

【請求項11】

シミュレーションのための世界モデルとしてディープ・ニューラル・ネットワーク（ＤＮＮ）を使用し、前記シミュレーションを使用してエゴマシンの１つ又は複数のアクションの予測を生成するように少なくとも１つのＭＬＭをトレーニングするために強化学習を適用するための１つ又は複数の回路を含む、プロセッサ。

【請求項12】

前記ＤＮＮの潜在空間が、前記シミュレーションを使用して前記少なくとも１つのＭＬＭをトレーニングするための強化学習を適用するために、前記シミュレーションのための前記世界モデルの状態へとデコードされる、請求項１１に記載のプロセッサ。

【請求項13】

前記ＤＮＮが、模倣学習を使用してトレーニングされたＤＮＮを含む、請求項１１に記載のプロセッサ。

【請求項14】

前記少なくとも１つのＭＬＭが、車両の軌道の予測を生成するようにトレーニングされた、請求項１１に記載のプロセッサ。

【請求項15】

強化学習が、価値関数を使用して適用され、１つ又は複数の価値関数ニューラル・ネットワークが、前記価値関数の１つ又は複数の出力の予測を生成するようにトレーニングされた、請求項１１に記載のプロセッサ。

【請求項16】

１つ又は複数の処理装置と、前記１つ又は複数の処理装置によって実行されるとき前記１つ又は複数の処理装置に動作を実行させる命令を記憶する１つ又は複数のメモリ・ユニットとを備え、前記動作が、環境内のエゴ車両の１つ又は複数のセンサによって生成されたセンサ・データを受信することと、前記センサ・データに少なくとも部分的に基づいて、１つ又は複数のアクタの少なくとも１つの第１の位置を判定することと、前記少なくとも１つの第１の位置を示す第１のデータをディープ・ニューラル・ネットワーク（ＤＮＮ）に適用して、前記１つ又は複数のアクタの少なくとも１つの第２の位置の１つ又は複数の予測を、前記１つ又は複数のアクタの前記少なくとも１つの第１の位置を使用して、生成することと、前記１つ又は複数の予測に対応する第２のデータをニューラル・ネットワークに適用して、価値関数の１つ又は複数の出力の１つ又は複数の予測を生成することと、前記１つ又は複数の出力に対応する１つ又は複数の運転ポリシを判定することと、前記１つ又は複数の運転ポリシに基づいて前記エゴ車両に１つ又は複数のアクションを実行させるデータを送信することとを含む、システム。

【請求項17】

前記価値関数が、状態価値関数を含み、前記価値関数の１つ又は複数の状態が、１つ又は複数の時間、及び前記潜在空間内の前記少なくとも１つの第２の位置のうちの１つ又は複数の位置に対応する、請求項１６に記載のシステム。

【請求項18】

前記第２のデータが、前記１つ又は複数の運転ポリシの１つ又は複数の目標をエンコードし、前記１つ又は複数の出力が、前記１つ又は複数の目標に対応する、請求項１６に記載のシステム。

【請求項19】

前記ニューラル・ネットワークが、前記ＤＮＮの潜在空間の少なくとも一部をデコードして、前記１つ又は複数の出力の前記１つ又は複数の予測を生成する、請求項１６に記載のシステム。

【請求項20】

前記システムが、自律又は半自律マシンの制御システム、自律又は半自律マシンの認知システム、シミュレーション動作を実行するためのシステム、深層学習動作を実行するためのシステム、エッジ・デバイスを使用して実装されるシステム、ロボットを使用して実装されるシステム、１つ又は複数の仮想マシン（ＶＭ）を組み込むシステム、データ・センタにおいて少なくとも部分的に実装されるシステム、或いはクラウド計算資源を使用して少なくとも部分的に実装されるシステムのうちの少なくとも１つに含まれる、請求項１６に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

自律システム及びアプリケーションにおけるビヘイビア予測のためのモデルベースの強化に関するものである。

【背景技術】

【0002】

試行錯誤の方法を用いる強化学習（ＲＬ：ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）などのマシン学習技法は、プランニングのための最適ポリシをトレーニングする及びロボット工学アプリケーションにおける動作を制御するために使用され得る。しかしながら、自律及び半自律型車両のための運転ポリシをトレーニングするために強化学習を使用することは、困難なことがある。たとえば、ロボット工学において、ポリシは、シミュレータで又は現実のロボット・システム上で非常に限定的な方法でトレーニングされ得る。しかしながら、シミュレータでトレーニングされたポリシを車両に移すことは、ドメインの違い及びモデリングの違いにより、難しいことである。たとえば、従来の手法によれば、正確な結果を達成するために、強化学習を使用して運転ポリシをトレーニングするために使用されるシミュレータは、運転条件のすべてをシミュレーションすることを必要とすることがあり、それは実現不可能であろう。加えて、現実のロボット工学システムに直接に強化学習技法を適用することは、ローカル環境内の運転者、マシンのオペレータ、自律システム自体、又は物体若しくはアクタを危険な状況に置くことを必要とし得るので、安全要件に違反し得る。これらの問題は、自律型車両におけるプランニング及び制御のための強化学習アルゴリズムのより幅広い採用を制限する一因となっている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願第１６／１０１，２３２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施例は、ビヘイビア予測のためのモデルベースの強化学習に関する。現実世界のデータを基に構築されたシミュレーションを活用することによって強化学習（ＲＬ）を使用してモデルをトレーニングするために使用され得る、システム及び方法が、開示される。

【課題を解決するための手段】

【0005】

本明細書に記載のものなどの従来のシステムと対照的に、開示される手法は、現実世界データでトレーニングされたディープ・ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を活用して１つ又は複数のアクタの運動を予測して世界モデルを定義することによって、車両（たとえば、運転ポリシを実装する）を制御するために使用される、マシン学習されたモデル又はＭＬベースのモデルを追加で又は別法として指し得る少なくとも１つのマシン学習モデル（ＭＬＭ：ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）をトレーニングするために強化学習を使用することができる。たとえば、ＤＮＮは、入力属性から、位置及び／又は運動などの、アクタの属性を予測するように現実世界データからトレーニングされ得る。予測は、シミュレータにおいて環境の状態を定義することができ、ＤＮＮへの１つ又は複数のアクタ入力の１つ又は複数の属性は、他の方法では実現不可能であり得る条件（たとえば、車両の方へ移動するアクタ）をシミュレーションするために、シミュレータ（たとえば、経験則を使用する）によって修正又は制御され得る。ＭＬＭは、車両の１つ又は複数のアクションを予測するためにＤＮＮによって行われる予測を活用することができる。これらの予測は、ＤＮＮの後に古典的予測モデルを使用して外挿法で推定され得る。環境の状態は、ＭＬＭの目標に基づき得る、価値関数を使用するＭＬＭによって行われる予測にスコアを割り当てるために使用され得る。１つ又は複数の実施例において、価値関数は、１つ又は複数のＭＬＭによって学習され得る。トレーニングされたＭＬＭは、次いで、エゴ車両及び／又は他のアクタの運動を予測することを含み得る、交通（及び他の現実世界状況）におけるアクタの予測及び／又は制御において使用するために自律型車両において配備され得る。

【0006】

ビヘイビア予測のためのモデルベースの強化学習のための本システム及び方法について、添付の図面を参照して、以下に詳しく説明する。

【図面の簡単な説明】

【0007】

【図1A】本開示のいくつかの実施例による、モデル・トレーニング・システムの一実例を示す図である。

【図1B】本開示のいくつかの実施例による、自律型車両のプランニング及び制御において使用されている予測の一実例を示す図である。

【図2】本開示のいくつかの実施例による、予測マシン学習モデルの例示的入力及び出力の視覚化を示す図である。

【図3】本開示のいくつかの実施例による、予測ニューラル・ネットワークの潜在空間のエンコード及びデコードを示す図である。

【図4】本開示のいくつかの実施例による、環境における１つ又は複数のアクタの軌道を予測するプロセスの例示的データ流れ図を含む。

【図5】本開示のいくつかの実施例による、図４のプロセスの少なくとも１つの実施例における実装形態に適した例示的ディープ・ニューラル・ネットワーク（ＤＮＮ）アーキテクチャを示す。

【図6】本開示のいくつかの実施例による、マップに重ね合わされたアクタの例示的軌道の視覚表現を示す。

【図7】本開示のいくつかの実施例による、古典的機械的運動アルゴリズムを使用して予測進路を拡張する一実例を示す。

【図8】本開示のいくつかの実施例による、ＤＮＮを使用して予測されるアクタ位置を使用して予測を行うようにマシン学習モデルをトレーニングするための方法を示す流れ図である。

【図9】本開示のいくつかの実施例による、世界モデルとしてＤＮＮを使用して予測を行うようにマシン学習モデルをトレーニングするための方法を示す流れ図である。

【図10】本開示のいくつかの実施例による、予測に基づいて自律型車両を制御するための方法を示す流れ図である。

【図11A】本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。

【図11B】本開示のいくつかの実施例による、図１１Ａの例示的自律型車両のカメラ位置及び視野の実例である。

【図11C】本開示のいくつかの実施例による、図１１Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。

【図11D】本開示のいくつかの実施例による、クラウドベースのサーバと図１１Ａの例示的自律型車両との間の通信のシステム図である。

【図12】本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。

【図13】本開示のいくつかの実施例の実装において使用するのに適した例示的データ・センタのブロック図である。

【発明を実施するための形態】

【0008】

ビヘイビア予測のためのモデルベースの強化学習に関して、システム及び方法が、開示される。本開示は、例示的自律型車両１１００（或いは、本明細書で「車両１１００」、又は「エゴ車両１１００」と称され、その実例は図１１Ａ～１１Ｄに関して説明される）に関して説明されることがあるが、これは限定を意図していない。たとえば、本明細書に記載のシステム及び方法は、非自律型車両、半自律型車両（たとえば、１つ又は複数の適応型運転者支援システム（ＡＤＡＳ：ａｄａｐｔｉｖｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）における）、有人及び無人ロボット又はロボティクス・プラットフォーム、倉庫車両、オフロード車両、１つ又は複数のトレーラに連結された車両、飛行船舶、ボート、シャトル、緊急対応車両、オートバイ、電気若しくは原動機付自転車、航空機、建設車両、潜水艦、ドローン、及び／又は、他の車両タイプによって使用されてもよいが、これに限定されない。加えて、本開示は、自律型車両のビヘイビア予測に関して説明されることがあるが、これは限定を意図しておらず、本明細書に記載のシステム及び方法は、拡張現実、仮想現実、複合現実、ロボット工学、セキュリティ及び監視、自律又は半自律マシン・アプリケーション、及び／又は予測が使用され得る任意の他の技術空間において使用され得る。

【0009】

車両の１つ又は複数のアクションを予測するように少なくとも１つのＭＬＭ（本明細書でポリシ・ネットワークとも称され得る）をトレーニングするために使用される前に、ＤＮＮ又は他のＭＬＭ（本明細書で予測ネットワークとも称され得る）が、１つ又は複数の入力属性から１つ又は複数のアクタ（エゴ車両及び／又はエゴ車両の付近の１つ又は複数の他のアクタを含み得る）の１つ又は複数の出力属性を予測するようにトレーニングされ得る。

【0010】

１つ又は複数の実施例において、ＤＮＮをトレーニングするために使用されるトレーニング・データのセットが、ある期間にわたり環境内の１つ又は複数のアクタの運動を示す１つ又は複数の現実世界車両センサを使用して、生成され得る。トレーニング・データのセットは、多数の異なる現実世界状況において様々な異なる車両からの様々なタイプの車両センサ（たとえば、カメラ、ＬｉＤＡＲセンサ、ｒａｄａｒセンサなど）の任意の組合せを使用して、生成され得る。交通はモデル化するのが難しいので、現実世界センサ・データが、どのようにアクタが変化することになるかを学習するようにＤＮＮをトレーニングするために使用され得る。たとえば、アクタの軌道が、現実世界データから抽出され得、ＤＮＮへの入力、並びにグラウンド・トゥルース・データを定義するために使用され得る。１つ又は複数の実施例において、トレーニング・データのセットは、エゴ車両の運動に関するデータを含み得る又はそのようなデータに他の方法で関連し得る。これは、エゴ車両の運動がエゴ車両の周りの他のアクタの運動に影響し得るため、並びにエゴ車両の運動もまた、本明細書で論じられるように、予測され得るためである。

【0011】

トレーニングされた（たとえば、交通においてアクタの運動を予測するために）後は、ＤＮＮは、シミュレーションにおいて世界モデルを定義して強化学習（ＲＬ）を適用してポリシ・ネットワークをトレーニングするために使用され得る。たとえば、ＤＮＮによって行われる予測は、シミュレーションにおいて表される環境の状態を定義することができる。１つ又は複数の実施例において、トレーニングされたＤＮＮは、シミュレーションにおいて交通モデルとして使用され得る。ポリシ・ネットワークはまた、ＤＮＮによって行われる予測に基づいて車両の１つ又は複数のアクションの予測を行う（たとえば、車両の１つ又は複数の軌道を予測する）ようにトレーニングされ得る。たとえば、ポリシ・ネットワークは、シミュレーションのトレーニングを通して、１つ又は複数のアクタの１つ又は複数の軌道の予測をどのように行うかを学習することができる。１つ又は複数の実施例において、シミュレーションは、それらのアクタによって行われるアクション（たとえば、車両の方へ移動する車両、道路の端を走行する車両、危険な運転条件など）をシミュレーションするために、ＤＮＮへと入力される世界モデルの状態において１つ又は複数のアクタの１つ又は複数の属性を修正又は制御することができる。したがって、ポリシ・ネットワークは、現実世界トレーニング・データにおいて入手不可能又は稀であることがあるシミュレーションされた状況から学習することができる。

【0012】

ＲＬ技法は、１つ又は複数のポリシに従ってポリシ・ネットワークをトレーニングするために、このシミュレーションと使用され得る。たとえば、ポリシ・ネットワークは、目標（たとえば、トレーニングにおける入力又は黙示としての）及びＤＮＮによってエンコードされた交通情報を所与として車両の最善のアクションをどのように計画するかを学習することができる。目標の実例には、ある特定の目的地に到着すること、別の車両に続くことなどが含まれ得る。ポリシ・ネットワークによって行われる予測を活用する運動プランナが、１つ又は複数のアクションを選択するとき、それは、交通モデル及び予測される未来の軌道（たとえば、他のアクタの未来の交通運動）と相互作用し得、それに応じてアクションを変更又は更新することができる。シミュレータにおけるこのような可能性は、プランナのアクションに依拠するすべての起こり得る将来について再生され得、ポリシ・ネットワークは、目標を所与として最適状態に達する（及び／又は悪い状態を回避する）ようにトレーニングされ得る。

【0013】

１つ又は複数の実施例において、プランナ／ポリシ・ネットワークは、トレーニングが単純化されることを可能にしつつ、その世界状態表現としてＤＮＮの内部潜伏状態を使用してトレーニングされ得る。シミュレータは、ＤＮＮを使用して潜在空間における予測を生成し、次いで、メトリック現実世界空間へとデコードすること、予測及び１つ又は複数の物理モデルに従ってアクタのうちの１つ又は複数を移動すること、次いで、次のステップの間に再予測するために潜在空間へと変更済み世界を再びエンコードすることによって、段階的に環境を繰り返し処理することができる。この方式では、プランナ／ポリシ・ネットワークは、ＤＮＮの潜在空間ベクトルとしてエンコードされたその現在の目標（たとえば、マップ上の到達すべき目標）及び現在の交通状況（及び、いくつかの実施例では、その過去）を所与として車両の最善のアクション（たとえば、軌道）を推論することを学習することができる。

【0014】

１つ又は複数の実施例において、ポリシ・ネットワークをトレーニングするために使用される強化学習は、ＤＮＮによって予測される環境の状態のうちの１つ又は複数に少なくとも基づいて評価され得る、価値関数を適用して、ＭＬＭによって行われる予測にスコアを割り当てることができる。たとえば、報酬が、ポリシ・ネットワークの１つ又は複数の目標と関連付けられ得、ペナルティが、ネットワークの衝突又は他の予測若しくは推論された状態と関連付けられ得る。１つ又は複数の実施例において、価値関数は、１つ又は複数の状態価値関数及び／又はｑ関数を含むことができ、価値関数の状態は、ＤＮＮの潜在空間における時間及び位置に対応し得る。１つ又は複数の実施例において、強化学習は、アクタ・クリティック・アルゴリズムを使用して、少なくとも部分的に、実装され得る。たとえば、ポリシ・ネットワークは、アクタの役割を果たすことができ、価値関数のスコアを予測するようにトレーニングされた、価値関数ネットワークは、批評家（クリティック）の役割を果たすことができる。

【0015】

ポリシ・ネットワーク及び／又は価値関数が、十分にトレーニングされた後は、ポリシ・ネットワーク及び／又は価値関数は、現実世界状況において自律型車両を計画及び／又は制御するために使用され得る。たとえば、ネットワークは、車両を制御するために運動プランナによって使用され得る予測（たとえば、フレームごと）を行うために使用され得る。一実例として、ポリシ・ネットワークは、ＤＮＮへの環境入力の状態に基づいて１つ又は複数のアクタ（たとえば、物体及び／又は自律型車両）の１つ又は複数の軌道を予測することができる。運動プランナは、対応する予測軌道を車両の軌道として及び／又は車両の１つ又は複数の軌道を判定及び／又は評価するために使用することができる。加えて又は別法として、価値関数ネットワークが用意される場合、価値関数ネットワークは、車両の１つ又は複数の軌道を判定及び／又は評価するために使用され得る。１つ又は複数の実施例において、軌道が予測される場合、軌道は、拡張された軌道を生成する（たとえば、トレーニング及び／又は配備中に）ために古典的機械的運動アルゴリズムを使用して、拡張され得る。１つ又は複数の実施例において、古典的機械的運動アルゴリズムは、ＭＬＭによって予測されるベロシティ、加速度、及び／又は他の出力に基づいて、アクタの進行方向において軌道を伸ばすことができる。これらの予測の精度は、時間とともに下がり得るので、古典的部分は、軌道のＭＬＭ予測部分よりも計算集約的でなくなり得る及び／又は短いＭＬＭベースの予測を可能にし得る。さらに、拡張された軌道は、車両の古典的プランナ及び／又はコントローラによってより容易に使用され得る。

【0016】

１つ又は複数の実施例において、ＤＮＮは、（たとえば、そして限定せずに）模倣学習を含み得る、１つ又は複数の監督された学習技法を少なくとも部分的に使用して、トレーニングされ得る。従来の模倣学習の１つの潜在的欠点は、従来の実装形態は、しばしば、珍しい及び／又は危険なイベントを処理するのが難しいことである。これらの珍しい及び／又は危険なイベントは、トレーニング・データにおいて適切にキャプチャされないことがあり、それによって、珍しい及び／又は危険なイベントのモデルを不適切に準備することがある。そのような珍しい及び／又は危険なイベントの実例には、衝突につながり得る車両割り込み及び急ブレーキが含まれ得る。これらの問題に対処するために、本開示の１つ又は複数の実施例は、モデルベースの強化学習フレームワークを使用し、移行モデルとしてＤＮＮでマルコフ決定プロセス（ＭＤＰ：Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓ）として運転問題を公式化する。本開示の実施例は、エゴ・アクションを生み出すように追加のポリシ・ネットワークをトレーニングすることができる。

【0017】

したがって、本開示の実施例は、従来の適応走行制御（ＡＣＣ：ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）解決法にとって困難であった、これらの珍しい及び／又は危険なイベント（たとえば、割り込み及び急ブレーキによって引き起こされる衝突）に対処するためによりよく備えることができる。一実例として、反復は、先導車、近くの車、及びエゴ車を含む複数の車両を含み得る。ランダム化された初期状態が、シミュレーションのために使用され得る。非エゴ車両は、予測ネットワークによって制御され得、その一方で、エゴ車は、強化学習ポリシ・ネットワークによって制御され得る。珍しい及び／又は危険なイベントの一実例において、近くの車は、それが先導車とエゴ車との間のギャップを観測したときに、割り込み動作を実行し得る。珍しい及び／又は危険なイベントの別の実例において、先導車は、ランダム急ブレーキ・イベントを実行する。

【0018】

本開示の実施例は、ある特定の時間における状態をある特定のアクション、たとえば、エゴ車両加速度、にマップするポリシを学習することができる。タスク報酬は、先導車までの距離、加速度変更などの手動設計された報酬項、並びに割り込み及び衝突などの珍しいイベントを構成する希薄なペナルティ項の合計によって、定義され得る。したがって、トレーニングされたＲＬポリシは、ギャップを減らす及び割り込みを回避するように、並びにより低速を維持する及び未来の急ブレーキを回避するように、計画することを、反復にわたって、学習することができる。

【0019】

本開示のいくつかの実施例では、ＤＮＮは、トランク重みを一定に保ちながら、ソフト・アクタ・クリティック・アルゴリズム（ＳＡＣ：ｓｏｆｔ ａｃｔｏｒ ｃｒｉｔｉｃ ａｌｇｏｒｉｔｈｍ）を使用してポリシ及びクリティック・ネットワークをトレーニングすることができる。潜在ベクトルが、ポリシ及びクリティック・ネットワークのそれぞれが３層マルチレイヤ・パーセプトロン（ＭＬＰ：ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）でもよい、特徴を抽出するための３つの完全畳み込み層に供給され得る。一実例として、ＭＤＰ割引係数、たとえば、（制限せずに）０．９５、が、使用され得る。ＡＣＣ報酬関数は、加速度及びベロシティの変化、先導車までの距離を示すことができ、現実世界シナリオにおいて滑らかな追従を達成するように調整され得る。様々な反復が、ランダム化された初期条件で開始し得る。衝突又は割り込みが、タスク特有のペナルティで発生する場合、又は反復ステップの最大数（たとえば、４８）に達する場合に、又はいくつかの他の基準で、反復は終了し得る。

【0020】

図１Ａを参照すると、図１Ａは、本開示のいくつかの実施例による、例示的モデル・トレーニング・システム１００である。本明細書に記載のこの及び他の構成は単に実例として記載されていることを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ化など）が、図示されたものに加えて又はそれらの代わりに使用され得、いくつかの要素は、完全に省略され得る。さらに、本明細書に記載の要素の多数は、個別の若しくは分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能は、メモリに記憶された命令を実行するプロセッサによって実施され得る。いくつかの実施例において、本明細書に記載のシステム、方法、及びプロセスは、図１１Ａ～１１Ｄの例示的自律型車両１１００、図１２の例示的計算デバイス１２００、及び／又は図１３の例示的データ・センタ１３００のと類似の構成要素、特徴、及び／又は機能性を使用して、実行され得る。

【0021】

図１Ａは、トレーニングされた予測ＭＬＭ１０４を使用して世界モデルを定義するポリシＭＬＭ１０６をトレーニングするために使用され得るモデル・トレーニング・システム１００を示す。概観のように、モデル・トレーニング・システム１００は、ポリシＭＬＭ１０６をトレーニングするための反復手法を実装することができ、１つ又は複数の実施例では、反復手法はまた、価値関数ＭＬＭ１０８をトレーニングするために使用され得る。反復は、出力データを生成するために予測ＭＬＭ１０４にシミュレータ１１６を使用して生成されるシミュレーション・データ１０２を適用するトレーニング・エンジン１１２を含み得る。ポリシＭＬＭ１０６は、予測ＭＬＭ１０４からの出力に対応するデータを使用して車両、たとえば、車両１１００、の１つ又は複数のアクションに対応する１つ又は複数の予測を生成することができる。価値関数ＭＬＭ１０８はまた、予測ＭＬＭ１０４からの出力に対応するデータを使用して、ポリシＭＬＭ１０６を使用して予測される１つ又は複数のアクションの１つ又は複数のスコアに対応する１つ又は複数の予測を生成することができる。世界状態デコーダ１１０はまた、予測ＭＬＭ１０４からの出力に対応するデータを使用してトレーニング・エンジン１１２に入力を提供することができる。たとえば、世界状態デコーダ１１０は、予測ＭＬＭ１０４の潜在空間をメトリック現実世界空間へとデコードすることができる。トレーニング・エンジン１１２は、デコードされたデータを使用してポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８のパフォーマンスを評価する及びその１つ又は複数のパラメータを更新することができる。トレーニング・エンジン１１２は、追加で又は別法として、デコードされたデータを使用して、後続の反復のシミュレーション・データ１０２を生成するために使用される世界状態１１８を定義することができる。

【0022】

１つ又は複数の実施例において、トレーニング・エンジン１１２は、ポリシＭＬＭ１０６のパフォーマンス（少なくとも１つの実施例で、トレーニング・エンジン１１２から提供される目標データ１１４に基づき得る）及び／又はそれらのＭＬＭのうちの１つ又は複数によって生成される出力データに少なくとも基づく価値関数ＭＬ１０８を採点することができる。採点に基づいて、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８は、更新又は改訂され得る（たとえば、逆伝播及び／又は他の適切なＭＬＭトレーニング技法を使用して）。

【0023】

１つ又は複数の実施例において、トレーニング・エンジン１１２は、トレーニングの後続の反復の更新されたシミュレーション・データ１０２及び／又は更新された目標データ１１４を提供することができる。更新されたシミュレーション・データ１０２及び／又は更新された目標データ１１４が、シミュレータ１１６によって、直接又は間接的に、提供され得、世界状態１１８を反映することができる。シミュレータ１１６は、シミュレータ１１６が現実世界の条件の正確なシミュレーションを提供するために使用することができる、予測ＭＬＭ１０４からの出力に少なくとも基づいて世界状態１１８を記憶及びモデル化するソフトウェア・アプリケーションを含み得る。たとえば、世界状態１１８は、シミュレーション・データ１０２によってエンコードされた前の世界状態１１８に少なくとも基づいて予測ＭＬＭ１０４によって行われる１つ又は複数のアクタの位置、属性、及び／又は他の予測を記録することができる。１つ又は複数の実施例において、トレーニング・エンジン１１２は、１つ又は複数の物理モデル及び／又は経験則を使用してアクタのうちの１つ又は複数を制御し、世界状態１１８に記録された及び／又はシミュレーション・データ１０２によって示された位置、属性、及び／又は他のアクタ状態情報を調整することができる。たとえば、少なくとも１つのアクタは、アクタによって引き起こされる世界状態への変化を予測する（たとえば、制御される又は影響されるアクタに基づいて１つ又は複数の他のアクタの軌道を予測する）ために使用される予測ＭＬＭ１０４を有するシミュレータ１１６を使用して、少なくとも部分的に、制御され得る。

【0024】

１つ又は複数の実施例において、トレーニング・エンジン１１２は、世界状態の少なくとも一部分を予測するために使用されている予測ＭＬＭ１０４の任意の数の反復及び／又はアクタを制御する又はアクタに影響するシミュレータ１１６を介してコスト又は価値メトリックを計算することができる。このコスト又は価値メトリックは、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８を更新するために使用され得る。たとえば、価値メトリックは、価値メトリックを最大化しようと試みるようにポリシＭＬＭ１０６をトレーニングするために使用され得、価値関数ＭＬＭ１０８をトレーニングして価値メトリックを予測するために使用され得る。このようにして、シミュレータ１１６は、現実世界データを必要とせずに危険な又は非現実的なシナリオをシミュレーションするために或いはポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８を他の方法でトレーニングするために使用され得る。

【0025】

１つ又は複数の実施例において、シミュレータ１１６及び／又はトレーニング・エンジン１１２は、環境を提供するソフトウェア、たとえば、ツールキット、と、たとえば、物理エンジン及び／又は予測ＭＬＭ１０４によって行われる予測を使用して複数の時間ステップにわたって環境をシミュレーションするためのフレームワークとを使用して、少なくとも部分的に、実装され得る。１つ又は複数の実施例において、シミュレータ１１６は、ＲＬジムを含む。そのようなソフトウェアの非限定的実例には、ＯｐｅｎＡＩ Ｇｙｍが含まれる。１つ又は複数の実施例において、各時間ステップは、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８のトレーニングの１つ又は複数の反復に対応し得る。１つ又は複数の実施例において、各時間ステップは、１つ又は複数のアクタの予測ＭＬＭ１０４を使用して予測される１つ又は複数の軌道上の１つ又は複数の点に対応し得る。１つ又は複数の実施例において、各時間ステップは、価値メトリックを使用するトレーニング・エンジン１１２によって採点され得る状態に対応し得る。

【0026】

１つ又は複数の実施例において、予測ＭＬＭ１０４は、シミュレーション・データ１０２においてエンコードされた１つ又は複数のアクタの１つ又は複数の位置及び／又は他の属性（たとえば、ベロシティ、加速度、軌道など）を入力として受信することができる。様々な実例において、１つ又は複数のアクタは、エゴ車両及び／又は１つ若しくは複数の他の車両若しくは物体（たとえば、モバイル物体及び／又は歩行者、自転車に乗った人、動物などのアクタ）を含み得る。予測ＭＬＭ１０４は、入力を使用して１つ又は複数のアクタの１つ又は複数の位置及び／又は他の属性（たとえば、ベロシティ、加速度、軌道など）に関する１つ又は複数の予測を行うことができる。そのような予測の非限定的実例には、１つ又は複数の未来の時間ステップのそれらの属性のいずれかの未来の値が含まれ得る。実例として、限定せずに、１つ又は複数の実施例において、予測ＭＬＭ１０４、ポリシＭＬＭ１０６、及び／又は価値関数ＭＬＭ１０８は、図４に関してさらに説明されるＤＮＮ４１６として実装され得る、又はＤＮＮ４１６を含み得る。

【0027】

ここで図２を参照すると、図２は、本開示のいくつかの実施例による、予測ＭＬＭ１０４の例示的入力及び出力の視覚化２００を示す図である。視覚化２００は、出力のセット２０４を生み出すために入力のセット２０２が予測ＭＬＭ１０４にどのように提供され得るかを示す。入力のセット２０２は、例として、限定せずに、環境の上から見下ろした画像を使用して図２に示されている。１つ又は複数の実施例において、入力属性は、上から見下ろしたビュー又は異なるビューを参照した座標空間において提供され得る。物体位置は、正方形（たとえば、時間ステップにそれぞれ対応する）によって示すことができ、それらのうちの１つ又は複数は、特定のアクタに関連付けられ得る及び／又は割り当てられ得る。たとえば、物体位置は、グレー・スケールで示された物体の対応する過去の位置とともに（より明るい灰色で示された時間をさらに遡った過去の位置とともに）、黒で示されている。静止した物体は、対応するグレー・スケールを有さずに黒で示され得る。この入力のセット２０２は、予測ＭＬＭ１０４が１つ又は複数のアクタ（エゴ車両を含み得る）の現在の及び過去の位置を説明することを可能にし得る。ベロシティ及び加速度は、時間ステップの間に間隔を空けることによって示され得る及び／又は１つ又は複数の時間ステップにエンコードされ得る。

【0028】

予測ＭＬＭ１０４は、入力のセット２０２を使用して、出力のセット２０４によって示される各アクタの軌道を推論することができる。一実例として、図２は、本開示のいくつかの実施例による、上から見下ろしたビューにおける例示的軌道の視覚表現を示す。出力のセット２０４は、任意の数の時間ステップの位置座標及び／又は他の関連する予測される属性（たとえば、入力属性と同じ又は異なる）を含み得る。たとえば、図２において、位置点の接続された進路は、それぞれの時間ステップに対応する各点を有する、アクタの予測される軌道に対応し得る。出力のセット２０４について示されたより暗い階調度は、予測のより少ない不確実性を示すことができ、明るい階調度は、より多くの不確実性を示すことができる。トレーニング・エンジン１１２及び／又はシミュレータ１１６は、この様々な情報のいずれかを、車線境界線及び様々なアクタの軌道によって示されるものとしてのマップ情報（たとえば、デコーディングが、世界状態デコーダ１１０を使用して実行された後の）、たとえば、車線情報、と関連付けることができる。

【0029】

１つ又は複数の実施例において、予測ＭＬＭ１０４からの出力データは、１つ又は複数の他のＭＬＭ、たとえば、ポリシＭＬＭ１０６及び価値関数ＭＬＭ１０８、をトレーニングするために使用され得る。少なくとも１つの実施例において、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８の１つ又は複数の部分は、予測ＭＬＭ１０４の構成要素でもよい。たとえば、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８は、図３に関してさらに説明されるような、予測ＭＬＭ１０４の１つ又は複数のヘッド又はデコーダを少なくとも部分的に含み得る。

【0030】

ここで図３を参照すると、図３は、本開示のいくつかの実施例による、予測ＭＬＭ１０４の潜在空間３０２のエンコード及びデコードを示す図である。図３は、予測ＭＬＭ１０４（たとえば、ニューラル・ネットワーク）はシミュレーション・データ１０２を潜在空間３０２にエンコードするためのエンコーダ３０４を含み得ることを示す。図３はまた、予測ＭＬＭ１０４が、１つ又は複数の様々な出力を生み出すために、１つ又は複数のデコーダ、たとえば、潜在空間３０２をデコードするためのデコーダ３０６Ａ及び／又はデコーダ３０６Ｂ、を含み得ることを示す。たとえば、デコーダ３０６Ａ及びデコーダ３０６Ｂは、ポリシＭＬＭ１０６の少なくとも一部分に対応し得る。図示するように、デコーダ３０６Ａは、１つ又は複数の他の物体又はアクタの１つ又は複数の属性を予測することができ、デコーダ３０６Ｂは、エゴアクタ、たとえば、車両１１００、の１つ又は複数の属性を予測することができる。加えて又は別法として、価値関数ＭＬＭ１０８は、潜在空間３０２のデコーダを使用して、少なくとも部分的に、同様に実装され得る。

【0031】

しかしながら、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８は、予測ＭＬＭ１０４の構成要素である必要はなく、予測ＭＬＭ１０４とは別個でもよい。たとえば、１つ又は複数の実施例において、世界状態デコーダ１１０及び／又は異なる後処理ユニットが、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８への入力を生成するために使用され得る。したがって、少なくとも１つの実施例において、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８は、潜在空間の少なくとも一部分を受信及び／又はデコードせずに予測ＭＬＭ１０４の潜在空間３０２に基づいて動作することができる。

【0032】

１つ又は複数の実施例において、ポリシＭＬＭ１０６は、予測ＭＬＭ１０４からの出力データに少なくとも基づいて目標ベースの予測を行うようにトレーニングされ得る。たとえば、目標データ１１４は、ポリシＭＬＭ１０６の１つ又は複数の目標をエンコードするためにトレーニング・エンジン１１２によって使用され得る。ポリシＭＬＭ１０６は、次いで、１つ又は複数の対応する目標を達成するために予測を行うようにトレーニング・エンジン１１２によってトレーニングされ得る。たとえば、目標データ１１４は、推論を行う際に使用するためのポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８に提供され得る。しかしながら、少なくとも１つの実施例において、目標データ１１４は、目標ベースの予測を行うためにポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８をトレーニングするために使用される必要はない。そうではなくて、１つ又は複数の目標が、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８をトレーニングするために使用される価値関数によってキャプチャされ得る。

【0033】

本明細書に記載のように、ポリシＭＬＭ１０６は、１つ又は複数のアクタによって取られることになる１つ又は複数のアクションに対応する１つ又は複数の予測を行うようにトレーニングされ得る。たとえば、ポリシＭＬＭ１０６は、横切るアクタ、たとえば、車両１１００、の軌道及び／又は位置を予測することができる。そうすることで、ポリシＭＬＭ１０６は、１つ又は複数の目標を説明することができる。目標データ１１４にオプションでエンコードされ得る、目標の実例は、所与の進路、車線、位置、或いは世界の状態の他のアクタ属性及び／又は態様（たとえば、ベロシティ、加速度、向き、姿勢など）を無事に達する又は達成することができること、衝突を無事に回避することができること、及び／又は別のアクタの属性又は状態に関する属性又は状態を無事に達成する（たとえば、他のアクタの前を移動する）ことができることを含む。したがって、ポリシＭＬＭ１０６は、目標が達成され得るように、１つ又は複数の属性及び／又は世界状態を達成することを目指して予測を行うようにトレーニングされ得る。

【0034】

本明細書に記載のように、トレーニング・エンジン１１２は、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８のパフォーマンスを評価し、強化学習をそれに応じて使用してそれらのネットワークのうちの１つ又は複数を更新することができる。たとえば、トレーニング・エンジン１１２は、価値関数を使用して、予測ＭＬＭ１０４及び／又はシミュレータ１１６を使用して世界状態１１８をインクリメントする１つ又は複数の時間ステップ及び／又は反復にわたるポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８のパフォーマンスを示す１つ又は複数のスコアを決定することができる。これは、トレーニング・エンジン１１２がポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８によって行われる１つ又は複数の予測に１つ又は複数のスコアを割り当てること又は計算することを含み得る。スコアに基づいて、トレーニング・エンジン１１２は、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８の１つ又は複数のパラメータが更新又は改訂されるべきかを決定することができる。トレーニング・エンジン１１２は、次いで、更新又は改訂されることになる１つ又は複数のパラメータの指示を知らせる、変更する、又は他の方法で提供することができる。少なくとも１つのＭＬＭの１つ又は複数のパラメータは、次いで、１つ又は複数のスコアに少なくとも基づいて更新され得る。

【0035】

本明細書に記載のように、価値関数は、予測ＭＬＭ１０４の出力を使用して１つ又は複数のイベントを判定又は識別するために、トレーニング・エンジン１１２が世界状態１１８及び／又は世界状態１１８に関して予測ＭＬＭ１０４によって行われる予測を評価することに少なくとも基づいて、計算され得る。たとえば、トレーニング・エンジン１１２は、環境内のエゴ車両（及び／又は他のアクタ）の衝突を、環境の１つ又は複数の後続の状態から、判定することができる。トレーニング・エンジン１１２によって計算される価値関数の１つ又は複数のスコアは、１つ又は複数のイベントに基づき得る、たとえば、衝突の判定に少なくとも基づき得る（たとえば、ポリシＭＬＭ１０６は、衝突が生じるであろう又は生じる可能性が高いと判定することに基づいて、ペナルティを科され得る）。１つ又は複数の実施例において、イベントは、本明細書に記載のように、ポリシＭＬＭ１０６によって達成されることになる目標（たとえば、位置に到着する、世界状態又は属性を達成する、など）に対応する又は表すことができる。１つ又は複数の実施例において、価値関数は、イベントへの近接（たとえば、所与の位置までの距離、目標属性値までの距離など）に少なくとも基づいて計算され得る。１つ又は複数の実施例において、価値関数は、１つ又は複数の状態価値関数及び／又はｑ関数を含むことができ、価値関数の状態は、ＤＮＮの潜在空間内の時間及び位置（たとえば、時間ステップ）に対応し得る。１つ又は複数の実施例において、強化学習は、アクタ・クリティック・アルゴリズムを使用して、少なくとも部分的に、実装され得る。たとえば、ポリシＭＬＭ１０６は、アクタの役割を果たすことができ、価値関数のスコアを予測するようにトレーニングされた、価値関数ＭＬＭ１０８は、批評家（クリティック）の役割を果たすことができる。

【0036】

本明細書に記載のように、トレーニング・エンジン１１２は、予測ＭＬＭ１０４及び／又は価値関数ＭＬＭ１０８のパフォーマンスを評価する際にシミュレータ１１６を使用することができる。たとえば、トレーニング・エンジン１１２は、シミュレータ１１６を使用して世界状態１１８においてイベント及び／又は属性を検出することができる。１つ又は複数の実施例において、シミュレータ１１６は、１つ又は複数の状態又は時間ステップの価値関数を計算するために使用されるイベント及び／又は属性のうちの１つ又は複数を判定及び／又は検出するために物理エンジンを使用することができる。これは、ポリシＭＬＭ１０６を使用して予測される１つ又は複数のアクションの少なくとも一部分を使用して世界状態１１８の１つ又は複数の態様（たとえば、任意の数の反復又は時間ステップにわたる）を前へ投影することを含み得る。加えて又は別法として、シミュレータ１１６は、ポリシＭＬＭ１０６を使用して予測される１つ又は複数のアクションの少なくとも一部分を使用して世界状態１１８の１つ又は複数の態様（たとえば、任意の数の反復又は時間ステップにわたる）を前に投影するために予測ＭＬＭ１０４を使用することができる。１つ又は複数の実施例において、予測ＭＬＭ１０４は、各反復の予測に従って世界状態１１８においてアクタを移動して、段階的に交通を走行するためにシミュレータ１１６によって使用され得る。シミュレータ１１６は、更新された世界状態１１８に従って世界を再描画し、衝突チェックを実行し、価値関数において使用するためにアクタのダイナミクスを評価することができる。少なくとも１つの実施例において、シミュレータ１１６は、ステップのうちの１つ又は複数を補間してより高頻度の評価を提供することができる。１つ又は複数の実施例において、シミュレータ１１６は、前方投影を実行するときに物理エンジン及び／又は経験則を使用してアクタのうちの１つ又は複数を制御することができる。

【0037】

１つ又は複数の実施例において、サイクル又は反復は、シミュレーション・データ１０２を提供すること、予測ＭＬＭ１０４、ポリシＭＬＭ１０６、及び価値関数ＭＬＭ１０８を使用して１つ又は複数の予測を行うこと、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８によって行われる予測を評価すること、及び／又は評価に基づいてポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８の１つ又は複数のパラメータを更新することを含み得る。各反復において又はその間に、シミュレータ１１６は、ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８が集束するまで、トレーニングの別の反復のシミュレーション・データ１０２及び／又は目標データ１１４の更新されたセットを提供して、世界状態１１８を前方に増加的に移動する（たとえば、１つ又は複数の時間ステップによって）ことができる。

【0038】

ここで図１を参照すると、図１Ｂは、本開示のいくつかの実施例による、予測が自律型車両１１００のプランニング及び制御において使用されている一実例を示す図である。図示するように、車両１１００は、ルート・プランナ１５０、レーン・プランナ１５２、プランニング・マネージャ１５４、及びコントローラ１５６を使用して１つ又は複数のプランニング及び制御動作を実行することができる。これらの構成要素のうちの１つ又は複数は、本明細書で論じられるドライブ・スタック４２８に、少なくとも部分的に、含まれ得る。

【0039】

図１Ｂは、ポリシＭＬＭ１０６、価値関数ＭＬＭ１０８、又は予測ＭＬＭ１０４の任意の組合せを参照し得る、アクションＭＬＭ１８０を示す。たとえば、予測されるアクタ情報１８２は、ポリシＭＬＭ１０６によって決定される予測されるアクション（たとえば、軌道）及び／又は価値関数ＭＬＭ１０８によって決定される予測される価値メトリックに、エゴアクタについて、対応し得る。他の予測されるアクタ情報１８４は、予測ＭＬＭ１０４及び／又はポリシＭＬＭ１０６（たとえば、デコーダ３０６Ａ）によって決定される対応する予測されるアクション（たとえば、軌道）及び／又は属性に、１つ又は複数の他のアクタについて、対応し得る。自律型車両１１００において実装されるとき、アクションＭＬＭ１８０は、車両１１００のプランニング・マネージャ１５４に知らせるために予測されるアクタ情報１８２及び／又は他の予測されるアクタ情報１８４を予測するために使用され得る。

【0040】

ルート・プランナ１５０は、様々な現実の又はシミュレーションされた入力に基づいて車両１１００の計画進路を生成することができる。計画進路は、ウェイポイント（たとえば、ＧＰＳウェイポイント）、目的地、座標（たとえば、デカルト、極、又は他の世界座標）、或いは他の基準点を含み得る。基準点は、車両１１００の原点に対する座標などを示し得る。基準点は、レーン・プランナ１５２の目標として使用され得る、車両１１００の未来に向けた特定の距離の表現、たとえば、街区数、キロメートル数、フィート数、インチ数、マイル数など、でもよい。

【0041】

レーン・プランナ１５２は、レーン・グラフ、レーン・グラフ内の物体姿勢、及び／又は入力としてのルート・プランナからの未来に向けた距離における目標点及び方向を使用することができる。目標点及び方向は、レーン・グラフにおける（たとえば、ＧＮＳＳ及び／又はコンパス方向に基づく）最もマッチする走行可能な点及び方向にマップされ得る。グラフ検索アルゴリズムが、次いで、目標点までの最短進路を見つけるために、レーン・グラフ内の現在の端からレーン・グラフで実行され得る。

【0042】

プランニング・マネージャ１５４は、アクションＭＬＭ１８０を使用してエゴ車両及び／又はエゴ車両の付近の他のアクタの運動、及び／又は１つ又は複数のエゴ車両アクションの価値メトリックを予測することができる。プランニング・マネージャ１５４は、スピード・プロファイル・ジェネレータ１５８、横方向進路ファン・ジェネレータ１６０、プレリミッタ１６２、軌道スコアラ１６４、及びオプティマイザ１６６を含み得る。スピード・プロファイル・ジェネレータ１５８は、後続の位置の間の時間間隔によって分けられた、アクタの２個以上の後続の位置の間の横方向分離に基づいてスピードを判定することができる。スピード・プロファイルは、アクションＭＬＭ１８０を使用して関連アクタの未来のアクションを予測するために、少なくとも部分的に、使用され得る。横方向進路ファン・ジェネレータ１６０は、アクションＭＬＭ１８０からの予測に基づいて、エゴ車両の横方向進路ファンを判定することができる。横方向進路ファンは、エゴ車両が継続することができるありそうな横方向運動を示し得る。可能性の低い進路（たとえば、スピード及び／又は方向の急激な変化）が、全体の計算負荷を減らすために廃棄され得るように、プレリミッタ１６２は、可能性の低い出力を減らすことができる。軌道及び／又は予測される他のアクションは、軌道スコアラ１６４に供給され得る。軌道スコアラは、スコアを評価し、アクションのうちの１つ又は複数に割り当てることができる。オプティマイザ１６６は、軌道スコアラ１６４を使用して行われる評価に少なくとも基づいて車両１１００の１つ又は複数の制御動作を選択及び／又は最適化することができる（たとえば、対応するスコアに基づいて軌道を選択し、その軌道を使用して１つ又は複数の制御動作を最適化する）。

【0043】

コントローラ１５６は、オプティマイザ１６６からの選択及び／又は最適化された進路に従って車両１１００の制御を引き起こすことができる。いくつかの実施例において、コントローラ１５６は、車両１１００のアクション、たとえば、加速、ブレーキ、方向転換など、を直接制御することができる。たとえば、コントローラ１５６は、ブレーキ・アクチュエータ１１４８、推進システム１１５０及び／又はスロットル１１５２、ステアリング・システム１１５４及び／又はステアリング・アクチュエータ１１５６、及び／又は車両１１００の他の構成要素（たとえば、図１１Ａに示す）を制御することができる。他の実施例では、コントローラ１５６は、車両１１００のアクションを、たとえば、メッセージ又は命令を車両１１００の別のシステムに送ることによって、間接的に制御することができる。

【0044】

そのようなものとして、プランニング・マネージャ１５４は、アクタの知られている過去の位置及び予測される未来の位置を継ぎ合わせ、アクションＭＬＭ１８０を使用して軌道を生成及び／又は評価することができ、それは、車両１１００のドライブ・スタック１１２８によって使用され得る。１つ又は複数の実施例において、アクションＭＬＭ１８０を使用して予測された、生成された、及び／又は選択された軌道は、古典的機械的運動アルゴリズムを使用して拡張され得、その実例は図７を使用して本明細書で説明される。たとえば、プランニングを目的として、プランニング・マネージャ１５４は、車両１１００の様々な構成要素によってよりよく使用されるように予測の最大時間フレームを拡張することができる。

【0045】

図４を参照すると、図４は、本開示のいくつかの実施例による、環境内の１つ又は複数のアクタの軌道を予測するプロセス４００の例示的データ流れ図である。本明細書に記載のこの及び他の構成は、単に実例として本明細書に明記されている、ということを理解されたい。他の構成及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、図４に示されたものに加えて又はその代わりに使用されてもよく、いくつかの要素は、ともに除外され得る。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び位置において実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。

【0046】

プロセス４００は、図１Ａの予測ＭＬＭ１０４、ポリシＭＬＭ１０６、及び／又は価値関数ＭＬＭ１０８に対応し得る、ＤＮＮ４１６を含む。プロセス４００は、車両１１００の１つ又は複数のセンサからセンサ・データ４０２を生成する及び／又は受信することを含み得る。センサ・データ４０２は、環境内の１つ又は複数の物体又はアクタ－たとえば、他の車両、歩行者、自転車に乗った人など－の未来の軌道を予測するために、車両１１００によって、プロセス４００内で、使用され得る。センサ・データ４０２は、車両１１００（及び／又は、いくつかの実例では、他の車両又は物体、たとえば、ロボット・デバイス、ＶＲシステム、ＡＲシステムなど）のセンサのいずれかからのセンサ・データ４０２を含み得るが、これに限定されない。たとえば、図１１Ａ～１１Ｃを参照すると、センサ・データ４０２は、全地球的航法衛星システム（ＧＮＳＳ：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ１１５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ１１６０、超音波センサ１１６２、ＬＩＤＡＲセンサ１１６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１１６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン１１９６、ステレオ・カメラ１１６８、ワイドビュー・カメラ１１７０（たとえば、魚眼カメラ）、赤外線カメラ１１７２、サラウンド・カメラ１１７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ１１９８、スピード・センサ１１４４（たとえば、車両１１００のスピード及び／又は移動距離を測定するための）、及び／又は他のセンサ・タイプによって生成されたデータを含み得るが、これらに限定されない。

【0047】

いくつかの実例では、センサ・データ４０２は、１つ又は複数の前向きのセンサ、サイドビュー・センサ、及び／又は後方確認センサによって生成されたセンサ・データを含み得る。このセンサ・データ４０２は、環境内の車両１１００の周りの物体の運動を識別、検出、分類、及び／又は追跡するために有用であり得る。実施例において、任意の数のセンサが、複数の視界（たとえば、図１１Ｂの長距離カメラ１１９８、前向きのステレオ・カメラ１１６８、及び／又は前向きのワイドビュー・カメラ１１７０の視界）及び／又は認知フィールド（たとえば、ＬＩＤＡＲセンサ１１６４、ＲＡＤＡＲセンサ１１６０などの）を組み込むために使用され得る。

【0048】

センサ・データ４０２は、画像を表す画像データ、ビデオ（たとえば、ビデオのスナップショット）を表す画像データ、及び／又はセンサの認知フィールドの表現を表すセンサ・データ（たとえば、ＬｉＤＡＲセンサの深度図、超音波センサの値グラフなど）を含み得る。センサ・データ４０２が、画像データを含む場合、たとえば、限定せずに、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）又はルミナンス／クロミナンス（ＹＵＶ）フォーマット、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）若しくはＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの圧縮ビデオ・フォーマットに由来するフレームとしての圧縮画像、レッド・クリア・ブルー（ＲＣＣＢ：Ｒｅｄ Ｃｌｅａｒ Ｂｌｕｅ）、レッド・クリア（ＲＣＣＣ：Ｒｅｄ Ｃｌｅａｒ）、若しくは他のタイプの画像センサに由来するものなどの未加工の画像、及び／又は他のフォーマットなど、任意のタイプの画像データ・フォーマットが、使用され得る。加えて、いくつかの実例において、センサ・データ４０２は、（たとえば、未加工の又はキャプチャされたフォーマットにおいて）前処理なしにプロセス４００内で使用することができ、一方、他の実例において、センサ・データ４０２は、前処理（たとえば、ノイズ・バランシング、デモザイク処理、スケーリング、トリミング、拡張、ホワイト・バランシング、トーン・カーブ調節、など、たとえば、センサ・データ・プレプロセッサ（図示せず）を使用）を受けることができる。本明細書では、センサ・データ４０２は、未処理のセンサ・データ、前処理されたセンサ・データ、又はその組合せを指し得る。

【0049】

加えて、プロセス４００は、車両１１００によってアクセス可能な及び／又は記憶されたマップ－たとえば、ＨＤマップ４０４（図１１ＣのＨＤマップ１１２２に類似し得る）－からマップ・データを生成及び／又は受信することを含み得る。車両１１００が、ＨＤマップ４０４の的確な命令、プランニング、及びローカリゼーションに依拠し得るように、ＨＤマップ４０４は、いくつかの実施例では、センチメートル・レベルの精細な精度を含み得る。ＨＤマップ４０４は、車線、道路境界線、道路形状、高度、スロープ、及び／又は輪郭、ヘディング情報、待機条件、静的物体位置、及び／又は他の情報を表し得る。そのようなものとして、プロセス４００は、ＨＤマップ４０４からの情報－たとえば、車線の位置及び形状－を使用してＤＮＮ４１６の入力４０８を生成することができる。

【0050】

センサ・データ４０２及び／又はＨＤマップ４０４に加えて、又はそれらの代わりに、プロセス４００は、自律又は半自律（たとえば、ＡＤＡＳ）運転ソフトウェア・スタック及び／又は図１Ｂに示された様々な構成要素のいずれかから１つ又は複数の出力を生成すること及び／又は受信すること（たとえば、実施例では、センサ・データ４０２及び／又はＨＤマップ４０４を使用して）を含み得る。たとえば、認知層、世界モデル管理層、制御層、作動層、障害物回避層、及び／又はソフトウェア・スタックの他の層によって生成された情報は、入力４０８を生成するためにプロセス４００内で使用され得る。この情報は、自由空間境界線位置、待機条件、交差点構造検出、車線タイプ識別、道路形状情報、物体検出及び／又は分類情報、及び／又は同類のものを含み得る。そのようなものとして、センサ・データ４０２、ＨＤマップ４０４、及び／又は車両１１００によって生成された他の情報は、ＤＮＮ４１６のための入力４０８を生成するために使用され得る。

【0051】

いくつかの非限定的実施例において、センサ・データ４０２、ＨＤマップ４０４からの情報、及び／又は他の情報（たとえば、運転スタックからの）は、ＤＮＮ４１６への入力４０８として使用される前に視点シフタ４０６に適用され得る。視点シフタ４０６は、環境内のアクタのうちの１つに関して、道路表面上のいくつかの位置に関して、及び／又はデータによって表される別の特徴に関して、データを方向付けることができる。たとえば、いくつかの実施例において、視点シフタ４０６は、車両１１００（たとえば、エゴ車両、又はエゴアクタ）の位置及び／又は向きに関してデータの視点を切り替えることができる。そのようなものとして、アクタ又は物体の位置、ＨＤマップ４０４の一部、及び／又は入力４０８として使用されることになる他の情報は、車両１１００に対して切り替えられ得る（たとえば、（０，０）の（ｘ，ｙ）座標における、中心にエゴ車両１１００を有し、そこで、ｙは、車両の前から後ろに伸びる縦方向の次元であり、ｘは、ｙに垂直な横方向次元であり、車両の左から右に伸びる）。

【0052】

いくつかの実施例では、環境の特徴に関して視点を切り替えることに加えて、又はその代わりに、視点シフタ４０６は、視点を同じ視野に切り替えることができる。たとえば、ＨＤマップ４０４が、環境の上から見下ろした視点からデータを生成し得る場合、センサ・データ４０２を生成するセンサは、異なる視点－前向き、横向き、下向き、上向きなど－からそれを行うことができる。そのようなものとして、同じ視点を共有する入力４０８を生成するために、視点シフタ４０６は、入力４０８のそれぞれを同じ視点に調節することができる。いくつかの非限定的実施例において、センサ・データ４０２、ＨＤマップ４０４、及び／又は他の情報のそれぞれは、上から見下ろしたビューの視点－たとえば、遠近法の上から見下ろしたビュー及び／又は直交性の上から見下ろしたビュー－に切り替えられ得る。加えて、視点シフタ４０６は、環境の同じ又は実質的に類似の（たとえば、数センチメートル、数メートル内などの）部分が入力４０８の各インスタンスの視点から表されるような、入力４０８の生成を助けることができる。たとえば、環境におけるアクタの過去の位置４１０を表す第１の入力（たとえば、ラスタライズ画像）が、環境の一部の上から見下ろした視点によって表され得、環境のマップ情報４１２を表す第２の入力（たとえば、ラスタライズ画像）が、環境の一部の上から見下ろした視点によって表され得る。結果として、ＤＮＮ４１６は、環境の同じ一般部分に対応する及びしたがって類似の縮尺比における任意の数の入力４０８を使用して、出力４１８を生成することができる。しかしながら、これは、限定を意図しておらず、いくつかの実施例において、入力４０８の視点、向き、サイズ、位置、及び縮尺比は、入力タイプ及び／又はインスタンスによって異なり得る。いくつかの実施例において、ＤＮＮ４１６は、たとえば、上から見下ろしたビューとしてラスタライズされた、ＨＤマップの代わりに又はそれに加えてライブの車線認知を使用することができる。ライブで認知された車線（たとえば、それらの境界線及び／又は中央車線）は、他の認知ＤＮＮ又はＭＬＭから追加で又は別法として導出され得る。

【0053】

入力４０８は、過去の位置４１０（たとえば、実施例に応じて、環境内のアクタ、たとえば、車両、歩行者、自転車に乗った人、ロボット、ドローン、船などの）、状態情報４３２（たとえば、アクタに対応するベロシティ及び／又は加速度データ）、マップ情報４１２（たとえば、ＨＤマップ４０４を使用して生成されるものとしての）、待機条件４１４（たとえば、センサ・データ４０２、ＨＤマップ４０４、及び／又は他の情報を使用して生成される）、及び／又は他の入力４０８（たとえば、センサ・データ４０２、ＨＤマップ４０４、車両１１００のドライブ・スタック４２８、及び／又は他の情報を使用して決定されたものとしての、自由空間情報、静的物体情報など）を含み得る。過去の位置４１０は、環境内の車両、歩行者、自転車に乗った人、及び／又は他のアクタ・タイプの以前検出された位置を含み得る。いくつかの実施例では、視点切り替え中に、アクタに関する向き及び位置の変更がより効率的に達成されるように、過去の位置４１０は、エゴ車両１１００に関して判定され得る。過去の位置４１０及び／又は状態情報４３２は、アクタの位置を表す画像（たとえば、ラスタライズ画像）によって表され得る。いくつかの実施例において、過去の位置４１０の各インスタンスは、単一の画像を含んでもよく、単一のタイム・スライスに対応してもよい－たとえば、インスタンスは、追跡されている及び／又は検出されたそれぞれのアクタ及びタイム・スライスにおけるそれらの現在の位置（たとえば、車両１１００に対する）をキャプチャすることができる。いくつかの実施例において、状態情報４３２の各インスタンスは、単一の画像を含んでもよく、単一のタイム・スライスに対応し得る。他の実施例では、状態情報４３２は、過去の位置４１０とともに画像インスタンスに含まれ得る。ＤＮＮ４１６が、１つ又は複数のタイム・スライスにわたる（たとえば、ある期間にわたる）アクタの位置に対応する過去の位置４１０及び／又は状態情報４３２の１つ又は複数のインスタンスを使用して出力４１８を計算することができるように、ＤＮＮ４１６は、過去の位置４１０及び／又は状態情報４３２の１つ又は複数のインスタンスを入力として受け取ることができる。

【0054】

たとえば、ある時間におけるタイム・スライス（本明細書で時間ステップとも称され得る）、Ｔ_１、に対応する様々な入力４０８は、過去の位置を含むことができる（及び／又はその対応する状態情報４３２を含むことができる）。そのようなものとして、図２の正方形のそれぞれは、実施例において、環境内のアクタ－エゴ車両１１００を含む－の位置及び／又は状態情報に対応し得る。同様に、ある時間におけるタイム・スライス、Ｔ_２、についてアクタは、環境内の位置において検出され得る。非限定的実例として、ＤＮＮ４１６は、エゴアクタが条件とされ得るように、各アクタの位置は、エゴアクタ－中心に位置するアクタでもよい－に対して方向付けられ得る。

【0055】

マップ情報４１２は、車線（たとえば、車線センタ・ライン又は柵、車線外側線又は区切り、道路境界線、緊急車線など）の位置、静的物体の位置、交差点の位置、道路形状情報、及び／又は同類のものを含み得る。いくつかの実施例では、視点切り替え中に、マップ情報に関する向き及び位置の変更がより効率的に達成され得るように、マップ情報４１２は、エゴ車両１１００に関して決定され得る。マップ情報４１２は、車線位置、静的物体位置などを表す画像（たとえば、ラスタライズ画像）によって表され得る。いくつかの実施例において、マップ情報４１２の各インスタンスは、単一の画像を含んでもよく、単一のタイム・スライスに対応してもよい－たとえば、インスタンスは、タイム・スライスにおける走行表面構造（たとえば、車両１１００に関する）をキャプチャし得る。ＤＮＮ４１６が、様々なタイム・スライスにわたる（たとえば、ある期間にわたる）道路構造情報に対応するマップ情報４１２の１つ又は複数のインスタンスを使用して出力４１８を計算することができるように、ＤＮＮ４１６は、マップ情報４１２の１つ又は複数のインスタンスを入力として受け取ることができる。いくつかの非限定的実施例では、期間内の各タイム・スライスについて、同じマップ情報４１２が、使用され得る（たとえば、マップ情報４１２の同じインスタンスは、２つのタイム・スライスごと、３つのタイム・スライスごとなどに使用され得、次いで、同間隔で更新され得る）。他の実施例では、マップ情報４１２は、各タイム・スライスにおいて更新され得る。

【0056】

一実例として、ある時間におけるタイム・スライス、Ｔ_１、に対応する様々な入力４０８は、マップ情報４１２を含み得る。そのようなものとして、マップ情報４１２は、車線境界線、線のタイプ、道路形状及び／又は構造、及び／又は他の特徴を含み得る。同様に、ある時間のタイム・スライス、Ｔ_２、について、道路構造が、表され得る。非限定的実例として、ＤＮＮ４１６が、エゴアクタが条件とされ得るように、マップ情報４１２は、エゴアクタ－中心に位置するアクタでもよい－に関して方向付けられ得る。

【0057】

待機条件４１４は、停止信号、イールド標識、停止標識、工事、横断歩道、及び／又は他の待機条件などの、これらに限定されない、待機条件要素の位置、並びに前述した待機条件要素のいずれかを使用して定義される又は他の方法で案内される交差点の位置を含み得る。いくつかの実施例において、待機条件４１４は、マップ情報４１２に含まれ得るが、他の実施例では、待機条件４１４は、ＤＮＮ４１６への別個の入力チャネルを表し得る。いくつかの実施例において、過去の位置４１０及び／又はマップ情報４１２に類似する、待機条件４１４は、待機条件４１４に関する向き及び位置の変更が、視点切り替え中に、より効率的に達成されるように、エゴ車両１１００に関して決定され得る。待機条件４１４は、環境における待機条件の位置及び／又はタイプを表す画像（たとえば、ラスタライズ画像）によって表され得る。いくつかの実施例において、待機条件４１４の各インスタンスは、単一の画像を含むことができ、単一のタイム・スライスに対応し得る－たとえば、インスタンスは、タイム・スライスにおける待機条件（たとえば、車両１１００に関連する）をキャプチャし得る。ＤＮＮ４１６が、様々なタイム・スライスにわたって（たとえば、ある期間にわたって）待機条件位置及び／又はタイプに対応する待機条件の１つ又は複数のインスタンスを使用して出力４１８を計算することができるように、ＤＮＮ４１６は、待機条件４１４の１つ又は複数のインスタンスを入力として受け取ることができる。いくつかの非限定的実施例において、期間内の各タイム・スライスについて、同じ待機条件４１４が、使用され得る（たとえば、待機条件４１４の同じインスタンスが、２つのタイム・スライスごと、３つのタイム・スライスごとなどで使用され得、次いで、同間隔で更新され得る）。他の実施例では、待機条件４１４が、各タイム・スライスにおいて更新され得る。一実例として、ある時間におけるタイム・スライス、Ｔ_１、に対応する様々な入力４０８は、待機条件４１４を含み得る。そのようなものとして、待機条件４１４は、停止標識、停止信号、イールド標識、緊急車両エントリ位置、及び／又は他の待機条件タイプを含み得る。ポリシＭＬＭ１０６及び／又は価値関数ＭＬＭ１０８のトレーニング中、図１Ａにあるように、シミュレーション・データ１０２は、任意の組合せの入力４０８（たとえば、世界状態１１８において又はそれを使用してエンコードされるものとしての）を表し得る。

【0058】

入力４０８－たとえば、視点切り替え及び／又はラスタライズの後の－は、ＤＮＮ４１６に入力テンソルとして適用され得る。たとえば、それぞれの入力－たとえば、マップ情報４１２、過去の位置４１０、待機条件４１４、他の入力タイプなど－は、別個の入力テンソルとしてＤＮＮ４１６のチャネルにそれぞれ適用され得る。本明細書に記載のように、いくつかの実施例において、各入力タイプは、個々の入力テンソル及び／又は入力チャネルと関連し得る。他の実施例では、複数の入力タイプ（たとえば、待機条件４１４及びマップ情報４１２）が、ＤＮＮ４１６への単一の入力チャネルの単一の入力テンソルを形成するために、結合され得る。

【0059】

いくつかの実施例において、ＤＮＮ４１６が、複数のタイム・スライス（たとえば、期間）に対応する情報及び／又はアクタの複数の空間位置に対応する、各インスタンスにおける、分析された情報を、各インスタンスにおいて、分析するように、ＤＮＮ４１６は、時間及び／又は空間ＤＮＮを含み得る。そのようなものとして、ＤＮＮ４１６は、複数のタイム・スライスにわたりアクタの過去の位置、道路構造、待機条件、及び／又は他の情報を監視する及び計算に入れることによって、未来の軌道－又はそれを表す情報－を予測することを学習することができる。いくつかの実施例において、ＤＮＮ４１６は、再帰型ニューラル・ネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含み得る。非限定的実例として、図５に関してさらに詳しく後述するように、ＤＮＮ４１６は、エンコーダ・デコーダを含み得る。

【0060】

実例は、ＤＮＮ４１６としての、ニューラル・ネットワーク、特にＲＮＮ、の使用に関して本明細書で説明されているが、これは限定を意図していない。たとえば、そして制限なしに、本明細書に記載のＤＮＮ４１６は、任意のタイプのマシン学習モデル、たとえば、線形回帰、ロジスティック回帰、決定木、サポート・ベクトル・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、ナイーブ・ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、Ｋ平均クラスタリング、ランダム・フォレスト、次元縮小アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク、及び／又は他のタイプのマシン学習モデルを使用するマシン学習モデル、を含み得る。ニューラル・ネットワークの実例には、オートエンコーダ、畳み込み、再発、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ホップフィールド、ボルツマン、ディープ・ビリーフ、逆畳み込み、敵対的生成、液体状態マシン、グラフィカル・ニューラル・ネットワーク（ＧＮＮ）、たとえば、マップ及び１つ又は複数の過去の軌道）を含む１つ又は複数の入力を有するＧＮＮ、畳み込みニューラル・ネットワーク（たとえば、過去のタイム・スライスが異なるテンソル・チャネルによって表され得る）などが含まれる。

【0061】

ここで図５を参照すると、図５は、本開示のいくつかの実施例による、図４のプロセスの少なくとも１つの実施例における実装形態に適した例示的ディープ・ニューラル・ネットワーク（ＤＮＮ）アーキテクチャを示す。ＤＮＮ４１６は、２Ｄ畳み込みエンコーダ５０４（たとえば、５０４Ａ～５０４Ｂ）、２Ｄ畳み込みデコーダ５０６（たとえば、５０６Ａ～５０６Ｄ）、及び／又は２Ｄ畳み込みＲＮＮ５０２（たとえば、５０２Ａ～５０２Ｄ）をそれぞれ含み得る複数のエンコーダ・デコーダ・スタックを含む。１つ又は複数の実施例において、２Ｄ畳み込みエンコーダ５０４は、図３のエンコーダ３０４に対応し得る。同様に、２Ｄ畳み込みデコーダ５０６は、図３のデコーダ３０６Ａ及び／又は３０６Ｂに対応し得る。

【0062】

ＤＮＮ４１５は、実施例に応じて、過去の情報の任意の数のタイム・スライス価値を受信する及び未来の情報の任意の数のタイム・スライス価値を予測するように構成され得る。たとえば、ＤＮＮ４１５は、過去の２秒及び未来の２秒からの情報を含む軌道を生成し得る－たとえば、そこで、軌道点は、１秒ごと、０．５秒ごと、毎秒４回、毎秒８回などで出力される。たとえば、入力４０８は、アクタの過去の及び／又は予測される未来の位置に対応するテンソル、待機条件４１４に対応するテンソル、マップ情報４１２に対応するテンソルなどを含み得る。出力４１８は、信頼性フィールド（たとえば、図２の出力２０４について示された階調度によって示される）に対応するテンソル、ベクトル・フィールドに対応するテンソルなどを含み得る。いくつかの実施例において、閉ループ・モードにおける入力４０８は、環境内の１つ又は複数のアクタの実際の又はシミュレーションされた（たとえば、グラウンド・トゥルース）位置に基づき得るので、閉ループ・モードにおける出力４１８は、より正確であり得る－たとえば、入力４０８と出力４１８との１：１対応により近くなり得るアクタの潜在的位置のより小さいエリアを含み得る。加えて、開ループ・モードにおける入力４０８は、アクタのうちの１つ又は複数の位置の未来の予測又はシミュレータに基づき得るので、開ループ・モードにおける出力４１８の精度は低くなり得る－たとえば、アクタの潜在的位置のより大きなエリアを含み得る。

【0063】

ＤＮＮ４１６は、過去の閉ループ・モード及び未来の開ループ・モードを含み得る。いくつかの実施例において、過去の閉ループ・モードは、出力４１８－たとえば、入力４０８Ａ及び４０８Ｂで正方形の箱によって示されるような－を生成するために、環境内のアクタの実際の現実世界の又はシミュレーションされた過去の位置１１０を入力４０８として受け取り得る（他の入力４０８、たとえば、マップ情報４１２、待機条件４１４など、に加えて）。

【0064】

図４を再び参照すると、ＤＮＮ４１６の出力４１８は、信頼性フィールド４２０、ベクトル・フィールド４２２、及び／又は他の出力タイプを含み得る。信頼性フィールド４２０及びベクトル・フィールド４２２の組合せが、１つ若しくは複数の過去の軌道点若しくは位置及び／又は１つ若しくは複数の未来の軌道点若しくは位置を含み得る、環境内の１つ又は複数のアクタの完全軌道を判定するために、ポストプロセッサ４２４－本明細書でさらに詳しく説明する－によって使用され得る。いくつかの非限定的実施例において、タイム・スライスの信頼性フィールド４２０及びベクトル・フィールド４２２は、環境の同じ領域（たとえば、同じエリア）に対応し得、したがって、同じ空間次元であり得る。

【0065】

信頼性フィールド４２０は、どこにアクタが位置するかの信頼性を表す信頼性フィールド又はマップを、各タイム・スライス（たとえば、過去、現在、及び／又は未来）について、含み得る。信頼性フィールド４２０は、ＨｘＷマトリクスによって表され得、そこで、各要素（たとえば、画素又は点）は、信頼性スコアを表す。たとえば、信頼性フィールド４２０又はマップ内の各画素又は点は、アクタが存在する関連信頼性を有し得る。そのようなものとして、特に未来の予測について、信頼性フィールド４２０は、図２のイラストレーションにより類似して見え得る。たとえば、図２の視覚化２００は、互いに重ね合わされた複数のタイム・スライスに対応する複数の信頼性フィールドを出力２０４について表し得る。

【0066】

ベクトル・フィールド４２２は、ベクトルの位置にあるアクタが前のタイム・スライスにおいてどこにあったかの予測に対応するベクトル（たとえば、変位ベクトル）を表すベクトル・フィールド４２２又はマップを、各タイム・スライス（たとえば、過去、現在、及び／又は未来）について、含み得る。ベクトル・フィールド４２２は、各要素（たとえば、画素又は点）が、現在のベクトル位置から前のタイム・スライス（又は時間ステップ）における同物体又はアクタの点（たとえば、中心点）への変位に対応する２Ｄ（又は、実施例において、３Ｄ）ベクトルを表す、ＨｘＷマトリクスを含み得る。いくつかの非限定的実施例において、各ベクトルは、方向及び大きさ、２Ｄ又は３Ｄ空間に沿った距離（たとえば、画素距離）、及び／又は別の表現によって、表され得る。たとえば、時間、Ｔ_ｎ、のベクトル・フィールド４２２又はマップ内の各画素又は点は、アクタ－アクタが画素又は点において存在する場合－が前の時間、Ｔ_ｎ－１、にどこに位置すると予測されるかを表す関連ベクトルを有し得る（しかし、実施例において、ＤＮＮ４１６は、たとえば、未来の時間、Ｔ_ｎ＋１、に対応するベクトル・フィールド４２２を計算するようにトレーニングされ得る）。

【0067】

ポストプロセッサ４２４は、信頼性フィールド４２０及びベクトル・フィールド４２２を使用して環境内の様々なアクタのうちのいずれかのアクタの軌道を判定することができる。たとえば、出力４１８の最後の未来のタイム・スライス（たとえば、Ｔ_ｎ）に対応する信頼性フィールド４２０は、アクタの位置を判定するために、ポストプロセッサ４２４によって分析され得、同じタイム・スライスにおけるベクトル・フィールド４２２からの対応するベクトルが、先行するタイム・スライス（たとえば、Ｔ_ｎ－１）から信頼性フィールド４２０におけるアクタの予測される位置を判定するために活用され得る。現在の時間に達するまで、先行するタイム・スライスからの信頼性フィールド４２０が、次いで、そのタイム・スライス（たとえば、Ｔ_ｎ－１）におけるアクタの位置を判定するために使用され得、次いで、そのタイム・スライスからのベクトル・フィールド４２２が、先行するタイム・スライス（たとえば、Ｔ_ｎ－２）から信頼性フィールド４２０におけるアクタの予測される位置を判定するために使用され得る、など。軌道ジェネレータ４２６は、次いで、これらの未来の予測をアクタの実際の検出から判定されるものとしてのアクタの過去の軌道に付加して最終的軌道を生成することができる。いくつかの実施例において、過去の軌道はまた、未来の軌道に関して類似のプロセスを使用して生成され得、そこで、信頼性フィールド４２０は、タイム・スライスにおける位置を判定するために使用され、ベクトル・フィールド４２２は、前のタイム・スライスにおける位置を判定するために使用される。

【0068】

タイム・スライス（たとえば、タイムスタンプによって示されるものとしての）に対応する信頼性フィールド４２０について、アクタの位置は、クラスタリング包括的プロセス（たとえば、非最大抑制、ノイズを有するアプリケーションの密度ベースの空間クラスタリング（ＤＢＳＣＡＮ：ｄｅｎｓｉｔｙ－ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）など）及び／又はクラスタリングのないプロセスなどの、これらに限定されない、任意の数の異なる方法を使用して、判定され得る。たとえば、クラスタリングが使用される場合、信頼性閾値が、ノイズの多い点を取り除くために、適用され得る。そのような実例では、信頼性閾値は、０．７、０．８、０．８５、０．９などでもよいが、これらに限定されない。ノイズの多い点が、フィルタで除去された後は、互いに閾値距離内にある点が、単一のアクタに関連していると判定され得るように、残りの点は、クラスタリング・アルゴリズムを適用され得る。いくつかの実施例において、クラスタが判定された後は、同じ点に対応する同じタイム・スライスのベクトル・フィールド４２２からのベクトルのうちの１つ又は複数が、先行するタイム・スライスにおける対応するアクタ（又はそれを表すクラスタ）の位置を見つけるために使用され得る。他の実施例では、クラスタが判定された後は、各クラスタの重心が、判定され得、所定のサイズの境界形状（たとえば、すべてのクラスタの同サイズ、異なるアクタ・タイプに対応するクラスタの異なるサイズ－たとえば、自動車の第１のサイズ境界形状、歩行者の第２のサイズ境界形状など）は、重心を中心とされ得る（たとえば、クラスタの重心を中心とする境界形状の重心）。境界形状は、次いで、先行するタイム・スライスにおける対応するアクタ（又はそれを表すクラスタ又は境界形状）の位置を見つけるためにどのベクトルを使用すべきかを決定するために、同じタイム・スライスのベクトル・フィールド４２２のマスクとして使用され得る。これらのプロセスは、各タイム・スライスを通した完全な軌道が判定されるまで、各タイム・スライスについて完了され得る。実例では、別のアクタ（又はそれを表すクラスタ若しくは境界形状）が、ベクトル・フィールド４２２を使用する前タイム・スライスに位置しない場合、軌道は、短くされ得る、破棄され得る（たとえば、ノイズ、バグなどである可能性がある）、及び／又は過去の時間情報に基づいて推定され得る。

【0069】

別の実例として、クラスタリングが使用されない場合、別のアルゴリズム又は方法が、アクタの位置を判定するために実装され得る。たとえば、加重平均手法が、使用され得、そこで、信頼性フィールド４２０及びベクトル・フィールド４２２は、アクタの数に関わらず高速処理時間の固有の計算の利益を有して、単一パスにおいて各アクタについて処理され得る。そのようなアルゴリズムでは、各アクタ、ａ、について、最も可能性の高い次の位置は、それらの位置における信頼性フィールド４２０値によって重み付けされた、先行ベクトル（ｐｒｅｄｅｃｅｓｓｏｒ ｖｅｃｔｏｒ）がａを指すすべての位置の平均でもよい。加重平均は、補助的分子及び分母ストレージ－共にゼロに初期化された－を使用してすべてのアクタについて同時に計算され得る。ＤＮＮ４１６の出力における各位置、ｐｏｓ、について、その先行部は、ｐｒｅｄ＝先行［ｐｏｓ］であり、占有は、ｏ＝占有［ｐｏｓ］である。次いで、ｏ^＊ｐｏｓを分子［ｐｒｅｄ］に加え、ｏを分母［ｐｒｅｄ］に加える。各アクタの次の位置は、分子［ａ．位置］／分母［ａ．位置］によって判定され得る。分子は、その先行ベクトルが指すすべての位置の加重和を記憶し、分母は、それらの重みの和を記憶し、したがって、その結果は、加重平均である。各位置に適用する動作は、主として独立しているので、これらのステップは、並行して実行され得る（たとえば、並行して複数のスレッドにわたってグラフィック処理ユニット（ＧＰＵ）を使用して）。

【0070】

別の実例として、各アクタについて、所与のタイム・スライスの信頼性フィールド４２０が、その先行ベクトルがアクタ、ａ、を指す画素又は点を含むようにフィルタ処理され得る。（ソフト）ａｒｇｍａｘ関数は、点の「質量中心」を判定するために、残りの点に適用され得る。具体的には、結果は、その先行部がａを指すすべての位置の占有加重和でもよい。これは、ａの最も可能性の高い未来の位置であると判定され得る。このプロセスは、他のアクタのそれぞれについて繰り返され得る。いくつかの実施例において、別個のパスが、各アクタの同じ信頼性フィールド４２０にわたって実行され得、これは、各タイム・スライスにおいて繰り返され得る。結果として、システムの全体的ランタイムは、リアルタイムの又はほぼリアルタイムの配備のために要求されるものより大きくなり得る。これを回避するために、すべてのアクタについてのアクタごとの動作を一緒に実行するために、２つの部分和が、記憶され得る。方程式（１）による、形状ＨｘＷの重みの第１の和は、以下のとおり：

【0071】

【数1】

そして、方程式（２）による、形状ＨｘＷｘ２の重みの第２の和は、以下のとおり：

【0072】

【数2】

【0073】

次いで、アクタの最も可能性の高い後継者を見つけるために、方程式（３）が使用され得る。
ｓｕｍ＿ｗｅｉｇｈｔｅｄ＿ｃｏｏｒｄｓ［ａ．ｂｂｏｘ．ｓｕｍ（）／ｓｕｍ＿ｗｅｉｇｈｔｓ［ａ．ｂｂｏｘ］．ｓｕｍ（） （３）
これは、その先行部がアクタａ（又はそれに対応する境界ボックス）を指すすべての次のフレームの位置の占有加重平均を表し得る。

【0074】

いくつかの実例では、占有スコア（たとえば、信頼性フィールド４２０からの）は、確率ではないので、過度に広がる軌道を回避するために、シャープニング動作が実行され得る。たとえば、シャープニング動作は、加重平均を計算する前により高い信頼性スコア点により高い重みを割り当てるために信頼性フィールド４２０に適用され得る。非限定的実施例において、シャープニングは、以下の方程式（４）において表されるように、４０のシャープニング強度でハードコード化され得る：
ｓｈａｒｐｅｎ（ｘ）＝ｅ^{４０・ｘ－４０} （４）

【0075】

しかしながら、いくつかの実施例において、シャープニング関数もまた、学習又はトレーニングされ得る。

【0076】

別の実例として、図６に関して、図６は、本開示のいくつかの実施例による、アクタ、関連軌道、待機条件、及び道路構造の視覚表現を示す。視覚化６００は、プロセス４００が実行された後に、車両１１００のドライブ・スタック４２８にパスされる情報を表し得る。たとえば、視覚化６００は、ＤＮＮ４１６の入力及び出力の組合せの抽象化された表現を含み得る（たとえば、後処理の後）。たとえば、ＨＤマップ４０４からの道路構造又はマップ情報は、道路境界線４１８を判定するために使用され得、待機条件４１４は、停止標識６０６Ａ～６０６Ｄが存在すること及びそれらの位置を判定するために使用され得、アクタ６０２Ａ～６０２Ｆのそれぞれの軌道６０４Ａ～６０４Ｆは、それぞれ、ポストプロセッサ４２４の出力に基づいて判定され得る。加えて、本明細書に記載のように、表現は、視覚化６００がエゴ車両（たとえば、アクタ６１２Ｃ）の視点から中心に置かれるように、自己中心化され得る。軌道６０４の破線は、アクタ６０２の過去の知られている又は追跡された位置を表すことができ、実線は、アクタ６０２の予測される未来の位置を表すことができる。表現内のアクタ６０２の位置は、アクタの位置ａｔｔｈｅ現在の時間におけるアクタの位置を表すことができる。

【0077】

再び図４を参照すると、軌道ジェネレータ４２６の出力は、車両１１００のドライブ・スタック４２８に送信又は適用され得る。たとえば、軌道が計算された－及び、実施例において、２Ｄ画像空間座標から３Ｄ世界空間座標に変換された－後は、軌道は、１つ又は複数の動作（たとえば、障害物回避、車線保持、車線変更、進路プランニング、マッピングなど）を実行する際に自律型車両１１００によって使用され得る。さらに具体的には、軌道は、自律型車両１１００のドライブ・スタック４２８、たとえば、車両１１００の１つ又は複数の構成要素（たとえば、ＳｏＣ１１０４、ＣＰＵ１１１８、ＧＰＵ１１２０など）で実行する自律マシン・ソフトウェア・スタック、によって使用され得る。たとえば、車両１１００は、環境内で１つ又は複数の動作（たとえば、障害物回避、車線維持、車線変更、進路プランニング、合流、分流など）をナビゲート、計画、又は他の方法で実行するために、この情報（たとえば、環境内の１つ又は複数のアクタの未来の位置）を使用することができる。

【0078】

いくつかの実施例において、軌道は、自律マシン・ソフトウェア・スタック４２８（或いは、「ドライブ・スタック４２８」と称される）の１つ又は複数の層によって使用され得る。ドライブ・スタック４２８は、センサ・マネージャ（図示せず）、認知構成要素（たとえば、ドライブ・スタック４２８の認知層に対応する）、世界モデル・マネージャ、プランニング構成要素（たとえば、ドライブ・スタック４２８及び／又はプランニング・マネージャ１５４のプランニング層に対応する）、制御構成要素（たとえば、ドライブ・スタック４２８及び／又はコントローラ１５６の制御層に対応する）、障害物回避構成要素（たとえば、ドライブ・スタック４２８の障害物又は衝突回避層に対応する）、作動構成要素（たとえば、ドライブ・スタック４２８の作動層に対応する）、及び／又はドライブ・スタック４２８の追加及び／又は代替層に対応する他の構成要素を含み得る。いくつかの実例では、プロセス４００は、本明細書でさらに詳しく説明するように、ドライブ・スタック４２８の１つ又は複数の層から世界モデル・マネージャに出力を供給し得る、認知構成要素によって実行され得る。

【0079】

センサ・マネージャは、車両１１００のセンサからのセンサ・データ４０２を管理及び／又は要約することができる。たとえば、図１１Ｃを参照すると、センサ・データ４０２は、ＲＡＤＡＲセンサ１１６０によって生成され得る（たとえば、永続的に、間隔を置いて、ある特定の条件に基づいて）。センサ・マネージャは、異なるフォーマットでセンサからセンサ・データ４０２を受信することができ（たとえば、同タイプのセンサは、異なるフォーマットでセンサ・データを出力することができる）、異なるフォーマットから統一フォーマット（たとえば、同タイプの各センサの）に変換するように構成され得る。結果として、自律型車両１１００の他の構成要素、特徴、及び／又は機能性が、統一フォーマットを使用することができ、それによって、センサ・データ４０２の処理を簡単にすることができる。いくつかの実例では、センサ・マネージャは、たとえば、フレーム・レートをセットするために又は利得制御を実行するために、統一フォーマットを使用して車両１１００のセンサに戻って制御パラメータ又は命令を適用することができる。センサ・マネージャはまた、センサ・データに対応するセンサ・パケット又は通信をタイムスタンプで更新して自律型車両制御システムの様々な構成要素、特徴、及び機能性によるセンサ・データの情報処理を助けることができる。

【0080】

世界モデル・マネージャは、世界モデルを生成する、更新する、及び／又は定義するために使用され得る。世界モデル・マネージャは、ドライブ・スタック４２８の認知構成要素によって生成された及びそれによって受信された情報（たとえば、検出されたアクタの過去の及び予測される位置）を使用することができる。トレーニングの間、シミュレータ１１６は、世界モデル・マネージャの役割を果たすことができる。

【0081】

認知構成要素は、障害物認知装置、進路認知装置、待機認知装置、マップ認知装置、及び／又は他の認知構成要素を含み得る。たとえば、世界モデル（たとえば、世界状態１１８に対応する）は、障害物認知装置、進路認知装置、待機認知装置、及び／又はマップ認知装置によってリアルタイムで又はほぼリアルタイムで認知され得る障害物、進路、及び待機条件のアフォーダンスに基づいて、少なくとも部分的に、定義され得る。世界モデル・マネージャは、自律型車両制御システムの障害物認知装置、進路認知装置、待機認知装置、マップ認知装置、及び／又は他の構成要素からの新しく生成された及び／又は受信された入力（たとえば、データ）に基づいて、継続的に世界モデルを更新することができる。

【0082】

世界モデルは、ドライブ・スタック４２８をプランニング構成要素、制御構成要素、障害物回避構成要素、及び／又は作動構成要素に知らせるのを助けるために使用され得る。障害物認知装置は、車両１１００はどこを走行することを許されるか又は走行する能力を有するか（たとえば、検出された障害物を回避することによって定義された走行可能な進路の位置に基づいて）、及び車両１１００が、車両１１００のセンサによって感知された障害物（たとえば、建造物、エンティティ、車両など）と衝突せずに、どのくらい速く走行することができるかに基づき得る、障害物認知を実行することができる。

【0083】

進路認知装置は、たとえば、特定の状況において利用可能な公称進路を認知することによって、進路認知を実行することができる。いくつかの実例では、進路認知装置はさらに、進路認知のためにレーン変更を考慮する（たとえば、説明する）ことができる。レーン・グラフ（たとえば、ＨＤマップ４０４を使用して、少なくとも部分的に、生成された）は、車両１１００に利用可能な１つ又は複数の進路を表すことができ、幹線道路進入車線上の単一の進路と同じくらい単純であり得る。いくつかの実例において、レーン・グラフは、望ましいレーンへの進路を含み得る及び／又は幹線道路（又は他の道路タイプ）に沿った利用可能な変更を示し得る、或いは近くのレーン、レーン変更、分岐点、曲がり角、クローバ型交差点、合流、及び／又は他の情報を含み得る。

【0084】

待機認知装置は、ルール、慣習、及び／又は実施上の留意事項の結果としての車両１１００に対する制約の判定を担い得る。たとえば、ルール、慣習、及び／又は実施上の留意事項は、交通信号、マルチウェイ・ストップ、イールド、合流、料金所、ゲート、警察又は他の救急隊員、道路作業者、停止したバス又は他の車両、一方向のブリッジ調停、フェリー入口などに関連し得る。したがって、待機認知装置が、潜在的障害物を識別するために、及び障害物認知装置のみに頼っては可能でなかったかもしれない１つ若しくは複数の制御（たとえば、減速、停止など）を実装するために、活用され得る。

【0085】

マップ認知装置は、それによってビヘイビアが判別される、及び一部の実例では、どの慣習が特定のロケールにおいて適用されるかの具体的な実例を決定するための、機構を含み得る。たとえば、マップ認知装置は、前のドライブ又は移動を表すデータから、ある特定の交差点においてある特定の時間帯にＵターンが存在しないこと、車線変更の方向性を示す電子標識が時刻によって変化すること、すぐそばの２つの交通信号（たとえば、辛うじて互いにオフセットする）が異なる道路に関連していること、ロードアイランド州では、交通信号のところで左折しようと待っている第１の自動車は、信号が青に変わるとき、近づいてくる交通の前で方向転換することによって法律を破ること、及び／又は他の情報を判定することができる。マップ認知装置は、静的又は静止したインフラストラクチャ物体及び障害物を車両１１００に知らせることができる。マップ認知装置はまた、たとえば、車両１１００が特定の進路を取るためには交差点にあるどのライトが青でなければならないかを判定するためなどに、待機認知装置及び／又は進路認知装置のための情報を生成することができる。

【0086】

いくつかの実例では、マップ認知装置からの情報は、サーバに（たとえば、図１１Ｄのサーバ１１７８のマップ・マネージャに）送る、送信する、及び／又は提供することができ、サーバからの情報は、車両１１００のマップ認知装置及び／又はローカリゼーション・マネージャに送る、送信する、及び／又は提供することができる。マップ・マネージャは、車両１１００からリモートに位置する及び１つ又は複数のネットワークを介して車両１１００によってアクセス可能なクラウド・マッピング・アプリケーションを含み得る。たとえば、車両１１００のマップ認知装置及び／又はローカリゼーション・マネージャは、サーバのマップ・マネージャ及び／又は１つ若しくは複数の他の構成要素若しくは特徴と通信してマップ認知装置及び／又はローカリゼーション・マネージャに車両１１００の過去及び現在のドライブ又は移動、並びに他の車両の過去及び現在のドライブ又は移動を知らせることができる。マップ・マネージャは、車両１１００の特定の位置に基づいてローカリゼーション・マネージャによってローカライズされ得るマッピング出力（たとえば、マップ・データ）を提供することができ、ローカライズされたマッピング出力は、世界モデルを生成する及び／又は更新するために世界モデル・マネージャによって使用され得る。

【0087】

プランニング構成要素は、数ある構成要素、特徴、及び／又は機能性の中で、ルート・プランナ１５０、レーン・プランナ１５２、ビヘイビア・プランナ、及びビヘイビア・セレクタを含み得る。実行可能なビヘイビアが、レーン・プランナからの最も望ましいビヘイビア出力とマッチアップされ得るように、ビヘイビア・プランナは、車両１１００の基本ビヘイビア、たとえば、レーンに留まること又はレーンを左若しくは右に変更すること、の実行可能性を判定することができる。たとえば、所望のビヘイビアが、安全及び／又は利用可能でないと判定された場合、デフォルト・ビヘイビアが、代わりに選択され得る（たとえば、デフォルト・ビヘイビアは、望ましいビヘイビア又はレーンを変更することが安全でないとき、レーンに留まることでもよい）。

【0088】

制御構成要素は、プランニング構成要素のビヘイビア・セレクタから受信された軌道又は進路（横及び縦の）に可能な限り及び車両１１００の能力の範囲内で厳密に従うことができる。制御構成要素は、モデル化されていない計画外のイベント若しくはビヘイビア及び／又は理想との不一致（たとえば、予期せぬ遅延）を引き起こす何かに対処するために緊密なフィードバックを使用することができる。いくつかの実例では、制御構成要素は、入力変数として制御を受け取る、及び所望の状態と比較され得る（たとえば、プランニング構成要素によって要求された所望の横方向及び縦方向の進路と比較され得る）予測を生み出す、前方予測モデルを使用することができる。この方式では、不一致を最小限にする制御が、決定され得る。

【0089】

障害物回避構成要素は、自律型車両１１００が物体（たとえば、移動する物体又は静止した物体）との衝突を避けるのを支援することができる。障害物回避構成要素は、障害物回避の「根本的レベル」における計算機構を含むことができ、車両１１００の「サバイバル脳」又は「爬虫類脳」の役割を果たすことができる。いくつかの実例において、障害物回避構成要素は、交通ルールに従うこと及び丁寧に運転することを求められる車両１１００の構成要素、特徴、及び／又は機能性から独立して、使用され得る。そのような実例において、障害物回避構成要素は、衝突が車両１１００と任意の物体との間で生じないことを確実にするために、交通法、道路のルール、及び丁寧な運転の規範を無視することができる。そのようなものとして、障害物回避層は、道路層のルールとは別個の層でもよく、障害物回避層は、車両１１００が障害物回避の観点から安全なアクションのみを実行していることを確実にすることができる。他方で、道路層のルールは、車両が交通法及び慣習に従い、合法的及び慣習的優先権（本明細書に記載のような）を順守することを確実にし得る。

【0090】

いくつかの実例では、走行可能な進路及び／又は物体検出は、取るべき制御又はアクションを決定する際に障害物回避構成要素によって使用され得る。たとえば、走行可能な進路は、車両１１００が物体、構造物、及び／又は同類のものに打ちつけることなく操作することができる場所、或いは少なくとも静的構造物が存在しない可能性がある場所の障害物回避構成要素への指示を提供することができる。

【0091】

非限定的実施例において、障害物回避構成要素は、車両１１００の別個の、個別の特徴として実装され得る。たとえば、障害物回避構成要素は、ドライブ・スタック４２８のプランニング層、制御層、作動層、及び／又は他の層を個別に（たとえば、それらと並行して、その前に、及び／又はその後に）操作することができる。

【0092】

そのようなものとして、車両１１００は、この情報を使用して（たとえば、進路の端、又は柵として）環境内で１つ又は複数の動作（たとえば、車線維持、車線変更、進路プランニング、合流、分流など）をナビゲートする、計画する、又は他の方法で実行することができる。

【0093】

ここで図７を参照すると、図７は、本開示のいくつかの実施例による、動的運動アルゴリズム（古典的機械的運動アルゴリズムとしても知られる）を使用して予測進路を拡張する一実例を示す。本明細書で論じるように、１つ又は複数のアクタの位置（たとえば、軌道）が、予測及び／又は判定され得る。少なくとも１つの実施例において、１つ又は複数のアクタの少なくとも第１の位置は、本明細書に記載のように、予測ＭＬＭ１０４、ポリシＭＬＭ１０６、及び／又は価値関数ＭＬＭ１０８のうちの１つ又は複数を使用して行われる予測に対応し得る。いくつかの実施例において、第１の位置は、たとえば、第２の位置への安定した軌道を想定して拡張軌道を生成することができる、動的運動アルゴリズムを使用して少なくとも第２の位置まで拡張され得る。少なくとも１つの実施例において、本明細書に記載の価値関数は、１つ又は複数のアクタの拡張軌道に基づき得る。

【0094】

図７に示すように、車両７０２（７０２Ａ～Ｄによって示された位置を有する）は、軌道７０４を横切り得る。最終的に軌道７０４をもたらすために辿られる軌道を予測するとき、古典的機械的運動アルゴリズムが、各予測される軌道の対応するホールド又は拡張軌道７０６Ａ～Ｄを計算するために使用され得る。たとえば、７０２Ａにおいて、車両７０２は、ホールド軌道７０６Ａに沿って続く予測軌道を含む。ホールド軌道７０６Ａは、予測軌道の最後における又はその近くの車両７０２のアクタ属性（たとえば、ベロシティ、加速度、姿勢など）に少なくとも部分的に基づいて、計算され得る。したがって、ホールド軌道７０６Ａは、本明細書に記載の様々なプランニング及び制御構成要素によって使用され得る、さらなる時間間隔まで予測軌道（たとえば、図２の出力２０４に対応する）を伸ばすことができる。古典的機械的運動アルゴリズムは、軌道の拡張部分を計算する際に車両７０２の方向及び／又はベロシティを維持し得るが、いくつかの実例は、方向及び／又はベロシティを変更することを含み得る或いは予測軌道の１つ又は複数の他の特質及び／又はアクタ属性又は状態を維持し得る（たとえば、湾曲の角度が維持され得る）。

【0095】

ここで図８～１０を参照すると、本明細書に記載の方法８００、９００、及び１００の各ブロックは、ハードウェア、ファームウェア、及び／又はソフトウェアの任意の組合せを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって、実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス若しくはホスト型サービス（独立型の若しくは別のホスト型サービスと組み合わせた）、又は別の製品へのプラグインによって、提供され得る。加えて、方法８００、９００、及び１０００について、例として、図１Ａのモデル・トレーニング・システム１００に関して、説明する。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステム、又はシステムの任意の組合せによって追加で又は別法として実行され得る。たとえば、方法は、１つ又は複数の処理装置と、１つ又は複数の処理装置によって実行されるときに１つ又は複数の処理装置に動作を実行させる命令を記憶する１つ又は複数のメモリ・ユニットとを含む、システムによって実行され得る。

【0096】

図８は、本開示のいくつかの実施例による、ＤＮＮを使用して予測されるアクタ位置を使用してアクタ運動を予測するようにマシン学習モデルをトレーニングするための方法８００を示す流れ図である。方法８００は、ブロックＢ８０２において、シミュレータを使用してアクタ位置を判定することを含む。１つ又は複数の実施例において、アクタ位置は、アクタの位置、姿勢、向き、サイズ、高さ、ヨー、ピッチ、又はロールなどのうちの１つ又は複数）を含み得るが、これらに限定されない。たとえば、トレーニング・エンジン１１２は、環境の第１の状態に少なくとも基づいて１つ又は複数のアクタの第１の少なくとも１つの位置を、世界状態１１８に対応するシミュレーションを使用して、判定することができる。１つ又は複数のアクタは、車両及び／又は少なくとも１つの他の車両を含み得る。

【0097】

方法８００は、ブロックＢ８０４において、アクタ位置を未来のアクタ位置を予測するようにトレーニングされたＤＮＮに適用することを含む。たとえば、トレーニング・エンジン１１２は、１つ又は複数のアクタの第２の少なくとも１つの位置の予測を、１つ又は複数のアクタの第１の少なくとも１つの位置から、生成するようにトレーニングされた予測ＭＬＭ１０４にシミュレーション・データ１０２を適用し得る。実施例において、予測ＭＬＭ１０４は、現実世界データに基づいて模倣学習を使用してトレーニングされた。

【0098】

方法８００は、ブロックＢ８０６において、ＤＮＮの予測に対応するデータをＭＬＭに適用して車両の未来のアクションを予測することを含む。たとえば、トレーニング・エンジン１１１２は、予測に対応する第２のデータをポリシＭＬＭ１０６に適用して車両の１つ又は複数のアクションに対応する予測を、少なくとも１つのＭＬＭを使用して、生成することを含み得る。

【0099】

方法８００は、ブロックＢ８０８において、予測にスコアを割り当てることを含む。たとえば、トレーニング・エンジン１１２は、予測に対応する環境の第２の状態に少なくとも基づいて価値関数を使用して予測に１つ又は複数のスコアを割り当てることができる。

【0100】

方法８００は、ブロックＢ８１０において、スコアに基づいてＭＬＭのパラメータを更新することを含む。たとえば、トレーニング・エンジン１１２は、１つ又は複数のスコアに少なくとも基づいてポリシＭＬＭ１０６の１つ又は複数のパラメータを更新し得る（たとえば、デコーダ３０６Ａ及び／又は３０６Ｂ）。

【0101】

方法８００はさらに、ＤＮＮを使用して１つ又は複数のアクタの１つ又は複数の位置を予測することを含むことができ、そこで、１つ又は複数のアクタの第１の少なくとも１つの位置を判定することは、アクタのビヘイビアのモデル化に基づいて１つ又は複数の位置のうちの少なくとも１つを調節して第１の少なくとも１つの位置を生成することを含む。１つ又は複数のアクタの第２の少なくとも１つの位置は、アクタの軌道に対応することができ、方法は、古典的機械的運動アルゴリズムを使用して軌道を拡張して、拡張された軌道を生成することを含み、そこで、１つ又は複数のスコアは、拡張された軌道に対応する。方法８００はさらに、環境内の車両の衝突を、環境の第２の状態から、判定することと、衝突の判定に少なくとも基づいて１つ又は複数のスコアを計算することとを含み得る。

【0102】

図９は、本開示のいくつかの実施例による、世界モデルとしてＤＮＮを使用して予測を行うようにマシン学習モデルをトレーニングするための方法９００を示す流れ図である。方法９００は、ブロックＢ９０２において、シミュレーションのための世界モデルとしてＤＮＮを使用することを含む。たとえば、トレーニング・エンジン１１２は、シミュレーションのための世界モデルとして予測ＭＬＭ１０４を使用することができる。

【0103】

方法９００は、ブロックＢ９０４において、シミュレーションを使用して予測を行うようにＭＬＭをトレーニングすることを含む。たとえば、トレーニング・エンジン１１２は、シミュレーションを使用してマシンの１つ又は複数のアクションの予測を生成するように少なくとも１つのＭＬＭをトレーニングするために、強化学習を適用することができる。ＤＮＮの潜在空間は、シミュレーションを使用して少なくとも１つのＭＬＭをトレーニングするための強化学習を適用するために、シミュレーションのための世界モデルの状態へとデコードされ得る。ＤＮＮは、現実世界データの模倣学習を使用してトレーニングされてあってもよく、車両の軌道の予測を生成するように少なくとも１つのＭＬＭをトレーニングするために使用され得る。１つ又は複数の価値関数ニューラル・ネットワークは、ＲＬの価値関数の１つ又は複数のスコアの予測を生成するようにトレーニングされ得る。

【0104】

図１０は、本開示のいくつかの実施例による、ＭＬＭを使用してシミュレーションされた予測に基づいて自律型車両を制御するための方法１０００を示す流れ図である。方法１０００は、ブロックＢ１００２において、センサ・データを受信することを含む。これは、環境内で車両の１つ又は複数のセンサによって生成されたセンサ・データを受信することを含み得る。

【0105】

方法１０００は、ブロックＢ１００４において、センサ・データに基づいてアクタ位置を判定することを含む。これは、１つ又は複数のアクタの第１の少なくとも１つの位置を、センサ・データに少なくとも部分的に基づいて、判定することを含み得る。

【0106】

方法１０００は、ブロックＢ１００６において、データをＭＬＭに適用して未来のアクタ位置を予測することを含む。これは、１つ又は複数のアクタの第２の少なくとも１つの位置の予測を、１つ又は複数のアクタの第１の少なくとも１つの位置から、生成するようにトレーニングされたディープ・ニューラル・ネットワーク（ＤＮＮ）に第１のデータを適用することを含み得る。

【0107】

方法１０００は、ブロックＢ１００８において、データをニューラル・ネットワークに適用して運転ポリシのスコアを予測することを含む。これは、予測に対応する第２のデータをニューラル・ネットワーク（たとえば、価値関数ＭＬＭ１０８）に適用して価値関数の１つ又は複数のスコアの予測を、入力を使用して、生成することを含むことができ、１つ又は複数のスコアは１つ又は複数の運転ポリシに対応する。価値関数は、状態価値関数を含み得る。価値関数の状態は、ＭＬＭの潜在空間における第２の少なくとも１つの位置の時間及び位置に対応し得る。実施例において、第２のデータは、１つ又は複数の運転ポリシの１つ又は複数の目標をエンコードし、１つ又は複数のスコアは、１つ又は複数の目標に対応する。実施例において、ニューラル・ネットワークは、ＤＮＮの潜在空間の少なくとも一部をデコードして１つ又は複数のスコアの予測を生成する。

【0108】

方法１０００は、ブロックＢ１０１０において、１つ又は複数のスコアに対応する運転ポリシを決定することを含む。方法１００は、ブロックＢ１０１２において、運転ポリシに基づいて車両アクションを実行することを含む。これは、１つ又は複数の運転ポリシに基づいて車両に１つ又は複数のアクションを実行させるデータを送信することを含み得る。

【0109】

例示的自律型車両
図１１Ａは、本開示のいくつかの実施例による、例示的自律型車両１１００の図である。自律型車両１１００（或いは、本明細書で「車両１１００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、トレーラに連結された車両、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。移動車１１００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。車両１１００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性の能力を有し得る。たとえば、車両１１００は、実施例に応じて、運転者支援（レベル１）、部分的自動化（レベル２）、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。本明細書では「自律」という用語は、車両１１００又は他のマシンの自律性のいずれかの及び／又はすべてのタイプ、たとえば、完全に自律していること、高度に自律していること、条件付きで自律していること、部分的に自律していること、補助的自律性を提供すること、半自律であること、主として自律していること、又は他の指定、を含み得る。

【0110】

移動車１１００は、移動車のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。移動車１１００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム１１５０を含み得る。推進システム１１５０は、移動車１１００の推進力を有効にするために、トランスミッションを含み得る、移動車１１００のドライブ・トレインに接続され得る。推進システム１１５０は、スロットル／加速装置１１５２からの信号の受信に応答して制御され得る。

【0111】

ハンドルを含み得る、ステアリング・システム１１５４は、推進システム１１５０が動作しているときに（たとえば、移動車が移動中のときに）移動車１１００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム１１５４は、ステアリング・アクチュエータ１１５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。

【0112】

ブレーキ・センサ・システム１１４６は、ブレーキ・アクチュエータ１１４８及び／又はブレーキ・センサからの信号の受信に応答して移動車ブレーキを動作させるために使用され得る。

【0113】

１つ又は複数のシステム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）１１０４（図１１Ｃ）及び／又はＧＰＵを含み得る、コントローラ１１３６は、移動車１１００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ１１４８を介して移動車ブレーキを動作させて、１つ又は複数のステアリング・アクチュエータ１１５６を介してステアリング・システム１１５４を動作させて、１つ又は複数のスロットル／加速装置１１５２を介して推進システム１１５０を動作させるために、信号を送ることができる。コントローラ１１３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の移動車１１００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ１１３６は、自律運転機能のための第１のコントローラ１１３６、機能的安全性機能のための第２のコントローラ１１３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ１１３６、インフォテインメント機能のための第４のコントローラ１１３６、緊急状態における冗長性のための第５のコントローラ１１３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ１１３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ１１３６が、単一の機能、及び／又はその任意の組合せを処理することができる。

【0114】

コントローラ１１３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して移動車１１００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ１１５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ１１６０、超音波センサ１１６２、ＬＩＤＡＲセンサ１１６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１１６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン１１９６、ステレオ・カメラ１１６８、ワイドビュー・カメラ１１７０（たとえば、魚眼カメラ）、赤外線カメラ１１７２、サラウンド・カメラ１１７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ１１９８、スピード・センサ１１４４（たとえば、移動車１１００のスピードを測定するための）、振動センサ１１４２、ステアリング・センサ１１４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム１１４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。

【0115】

コントローラ１１３６のうちの１つ又は複数のコントローラは、移動車１１００の計器群１１３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ１１３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は移動車１１００の他の構成要素を介して提供することができる。出力は、移動車ベロシティ、スピード、時間、マップ・データ（たとえば、図１１ＣのＨＤマップ１１２２）、位置データ（たとえば、マップ上などの、移動車の１１００の位置）、方向、他の移動車の位置（たとえば、占有グリッド）、コントローラ１１３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ１１３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は移動車が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。

【0116】

移動車１１００はさらに、１つ若しくは複数のワイヤレス・アンテナ１１２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース１１２４を含む。たとえば、ネットワーク・インターフェース１１２４は、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ１１２６はまた、ブルートゥース、ブルートゥースＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、移動車、モバイル・デバイスなど）の間の通信を可能にすることができる。

【0117】

図１１Ｂは、本開示のいくつかの実施例による、図１１Ａの例示的自律型車両１１００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは移動車１１００の異なる位置に置かれ得る。

【0118】

カメラのカメラ・タイプは、移動車１１００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。

【0119】

いくつかの実例では、カメラのうちの１つ又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。

【0120】

カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。

【0121】

移動車１１００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ１１３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい移動車進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（ＬＤＷ：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、自律的クルーズ制御（ＡＣＣ：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。

【0122】

様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ１１７０でもよい。図１１Ｂにはワイドビュー・カメラは１つだけ示されているが、移動車１１００には任意の数のワイドビュー・カメラ１１７０が存在し得る。加えて、長距離カメラ１１９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ１１９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。

【0123】

１つ又は複数のステレオ・カメラ１１６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ１１６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、移動車の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ１１６８は、２個のカメラ・レンズ（左と右に１つずつ）と、移動車から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ１１６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。

【0124】

移動車１１００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ１１７４（たとえば、図１１Ｂに示されるような４個のサラウンド・カメラ１１７４）は、移動車１１００上に位置付けられ得る。サラウンド・カメラ１１７４は、ワイドビュー・カメラ１１７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、移動車の前、後ろ、及び側面に配置され得る。代替配置において、移動車は、３個のサラウンド・カメラ１１７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。

【0125】

移動車１１００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ１１９８、ステレオ・カメラ１１６８）、赤外線カメラ１１７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。

【0126】

図１１Ｃは、本開示のいくつかの実施例による、図１１Ａの例示的自律型車両１１００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。

【0127】

図１１Ｃの移動車１１００の構成要素、特徴、及びシステムのそれぞれは、バス１１０２を介して接続されるものとして図示されている。バス１１０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、移動車１１００の様々な特徴及び機能の制御を助けるために使用される移動車１１００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の移動車状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。

【0128】

バス１１０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス１１０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス１１０２が存在し得る。いくつかの実例では、２個以上のバス１１０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス１１０２は衝突回避機能のために使用されてもよく、第２のバス１１０２は作動制御のために使用されてもよい。任意の実例において、各バス１１０２は、移動車１１００の構成要素のいずれかと通信し得、２個以上のバス１１０２が同じ構成要素と通信し得る。いくつかの実例では、移動車内の各ＳｏＣ１１０４、各コントローラ１１３６、及び／又は各コンピュータは、同じ入力データ（たとえば、移動車１１００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。

【0129】

移動車１１００は、図１１Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ１１３６を含み得る。コントローラ１１３６は、様々な機能のために使用され得る。コントローラ１１３６は、移動車１１００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、移動車１１００、移動車１１００の人工知能、移動車１１００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。

【0130】

移動車１１００は、システム・オン・チップ（ＳｏＣ）１１０４を含み得る。ＳｏＣ１１０４は、ＣＰＵ１１０６、ＧＰＵ１１０８、プロセッサ１１１０、キャッシュ１１１２、加速装置１１１４、データ・ストア１１１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ１１０４は、様々なプラットフォーム及びシステム内の移動車１１００を制御するために使用され得る。たとえば、ＳｏＣ１１０４は、１つ又は複数のサーバ（たとえば、図１１Ｄのサーバ１１７８）からネットワーク・インターフェース１１２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ１１２２を有するシステム（たとえば、移動車１１００のシステム）において結合され得る。

【0131】

ＣＰＵ１１０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ１１０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ１１０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ１１０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ１１０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ１１０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。

【0132】

ＣＰＵ１１０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ１１０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。

【0133】

ＧＰＵ１１０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ１１０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ１１０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ１１０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ１１０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ１１０８は、計算アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ１１０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。

【0134】

ＧＰＵ１１０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ１１０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ１１０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。

【0135】

ＧＰＵ１１０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。

【0136】

ＧＰＵ１１０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ１１０８がＣＰＵ１１０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ１１０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ１１０６に送信され得る。応答して、ＣＰＵ１１０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ１１０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ１１０６とＧＰＵ１１０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ１１０８へのアプリケーションのＧＰＵ１１０８プログラミング及び移植を単純化する。

【0137】

加えて、ＧＰＵ１１０８は、他のプロセッサのメモリへのＧＰＵ１１０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。

【0138】

ＳｏＣ１１０４は、本明細書に記載のものを含む任意の数のキャッシュ１１１２を含み得る。たとえば、キャッシュ１１１２は、ＣＰＵ１１０６とＧＰＵ１１０８との両方に利用可能な（たとえば、ＣＰＵ１１０６とＧＰＵ１１０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ１１１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。

【0139】

ＳｏＣ１１０４は、車両１１００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ１１０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ１１０６及び／又はＧＰＵ１１０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。

【0140】

ＳｏＣ１１０４は、１つ又は複数の加速装置１１１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ１１０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ１１０８を補完するために及びＧＰＵ１１０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ１１０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置１１１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。

【0141】

加速装置１１１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。

【0142】

ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び移動車所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。

【0143】

ＤＬＡは、ＧＰＵ１１０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ１１０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ１１０８及び／又は他の加速装置１１１４に任せることができる。

【0144】

加速装置１１１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。

【0145】

ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。

【0146】

ＤＭＡは、ＣＰＵ１１０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。

【0147】

ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。

【0148】

それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。

【0149】

加速装置１１１４（たとえば、ハードウェア加速クラスタ）は、加速装置１１１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。

【0150】

コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。

【0151】

いくつかの実例では、ＳｏＣ１１０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１つ又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。

【0152】

加速装置１１１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。

【0153】

たとえば、本技術の１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。

【0154】

いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。処理されたＲＡＤＡＲを提供するために未加工のＲＡＤＡＲデータを処理する（たとえば、４Ｄ高速フーリエ変換を使用して）ことによる。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。

【0155】

ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、移動車に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ１１６４又はＲＡＤＡＲセンサ１１６０）から取得された物体の移動車１１００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１１６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。

【0156】

ＳｏＣ１１０４は、データ・ストア１１１６（たとえば、メモリ）を含み得る。データ・ストア１１１６は、ＳｏＣ１１０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア１１１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア１１１２は、Ｌ２又はＬ３キャッシュ１１１２を備え得る。データ・ストア１１１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置１１１４に関連するメモリの参照を含み得る。

【0157】

ＳｏＣ１１０４は、１つ又は複数のプロセッサ１１１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ１１１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ１１０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ１１０４熱及び温度センサの管理、及び／又はＳｏＣ１１０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ１１０４は、リング発振器を使用してＣＰＵ１１０６、ＧＰＵ１１０８、及び／又は加速装置１１１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ１１０４をより低い電力状態に置く及び／又は移動車１１００をショーファーの安全停止モードにする（たとえば、移動車１１００を安全停止させる）ことができる。

【0158】

プロセッサ１１１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。

【0159】

プロセッサ１１１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。

【0160】

プロセッサ１１１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。

【0161】

プロセッサ１１１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。

【0162】

プロセッサ１１１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。

【0163】

プロセッサ１１１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ１１７０で、サラウンド・カメラ１１７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、移動車の目的地を変更する、移動車のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。

【0164】

ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。

【0165】

ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ１１０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ１１０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ１１０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。

【0166】

ＳｏＣ１１０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ１１０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。

【0167】

ＳｏＣ１１０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ１１０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ１１６４、ＲＡＤＡＲセンサ１１６０など）、バス１１０２からのデータ（たとえば、移動車１１００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ１１５８からのデータを処理するために使用され得る。ＳｏＣ１１０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ１１０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。

【0168】

ＳｏＣ１１０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ１１０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置１１１４が、ＣＰＵ１１０６と結合されるとき、ＧＰＵ１１０８、及びデータ・ストア１１１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。

【0169】

したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、移動車内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。

【0170】

従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ１１２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。

【0171】

別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを移動車の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を移動車の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ１１０８上などで、同時に実行することができる。

【0172】

いくつかの実例では、顔認識及び移動車所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して移動車１１００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに移動車を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が移動車を離れるときに移動車の動作を停止させるために、使用され得る。このようにして、ＳｏＣ１１０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。

【0173】

別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン１１９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ１１０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ１１５８によって識別されるように、移動車が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ１１６２の支援を受けて、移動車を減速する、道の端に停止させる、移動車を駐車する、及び／又は移動車をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。

【0174】

移動車は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ１１０４に連結され得るＣＰＵ１１１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ１１１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ１１１８は、たとえば、ＡＤＡＳセンサとＳｏＣ１１０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ１１３６及び／又はインフォテインメントＳｏＣ１１３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。

【0175】

移動車１１００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ１１０４に連結され得るＧＰＵ１１２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ１１２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、移動車１１００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。

【0176】

移動車１１００は、１つ又は複数のワイヤレス・アンテナ１１２６（たとえば、セルラ・アンテナ、ブルートゥース・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース１１２４をさらに含み得る。ネットワーク・インターフェース１１２４は、インターネットを介するクラウドとの（たとえば、サーバ１１７８及び／又は他のネットワーク・デバイスとの）、他の移動車との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の移動車と通信するために、直接リンクが２個の移動車の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、移動車対移動車通信リンクを使用し、提供され得る。移動車対移動車通信リンクは、移動車１１００に近接する移動車（たとえば、移動車１１００の前の、横の、及び／又は後ろの移動車）に関する移動車１１００情報を提供することができる。この機能は、移動車１１００の共同適応クルーズ制御機能の一部でもよい。

【0177】

ネットワーク・インターフェース１１２４は、変調及び復調機能を提供する及びコントローラ１１３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース１１２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース、ブルートゥースＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。

【0178】

移動車１１００は、チップ外の（たとえば、ＳｏＣ１１０４外の）ストレージを含み得るデータ・ストア１１２８をさらに含み得る。データ・ストア１１２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。

【0179】

車両１１００は、ＧＮＳＳセンサ１１５８をさらに含み得る。ＧＮＳＳセンサ１１５８（たとえば、ＧＰＳ、支援されたＧＰＳセンサ、ディファレンシャルＧＰＳ（ＤＧＰＳ）センサなど）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ１１５８が、使用され得る。

【0180】

移動車１１００は、ＲＡＤＡＲセンサ１１６０をさらに含み得る。ＲＡＤＡＲセンサ１１６０は、暗闇及び／又は厳しい気象条件においても、長距離移動車検出のために移動車１１００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ１１６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ１１６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス１１０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ１１６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。

【0181】

ＲＡＤＡＲセンサ１１６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ１１６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で移動車１１００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、移動車１１００のレーンに入る又はこれを去る移動車を迅速に検出することを可能にする。

【0182】

一実例として、中距離ＲＡＤＡＲシステムは、１１６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は１１５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、移動車の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。

【0183】

短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。

【0184】

移動車１１００は、超音波センサ１１６２をさらに含み得る。移動車１１００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ１１６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ１１６２が使用され得、異なる超音波センサ１１６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ１１６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。

【0185】

移動車１１００はＬＩＤＡＲセンサ１１６４を含み得る。ＬＩＤＡＲセンサ１１６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ１１６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、移動車１１００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ１１６４を含み得る。

【0186】

いくつかの実例では、ＬＩＤＡＲセンサ１１６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ１１６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、１１００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約１１００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ１１６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ１１６４は、移動車１１００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ１１６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ１１６４は、４５度と１３５度との間の水平視野向けに構成され得る。

【0187】

いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで移動車の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、移動車から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、移動車１１００の各側面に１つずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ１１６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。

【0188】

移動車は、ＩＭＵセンサ１１６６をさらに含み得る。一部の実例では、ＩＭＵセンサ１１６６は、移動車１１００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ１１６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ１１６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ１１６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。

【0189】

一部の実施例では、ＩＭＵセンサ１１６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ１１６６は、ＧＰＳからＩＭＵセンサ１１６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を移動車１１００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ１１６６及びＧＮＳＳセンサ１１５８は、単一の統合されたユニットにおいて結合され得る。

【0190】

移動車は、移動車１１００内及び／又は周囲に置かれたマイクロフォン１１９６を含み得る。マイクロフォン１１９６は、中でも、緊急車両検出及び識別のために使用され得る。

【0191】

移動車は、ステレオ・カメラ１１６８、ワイドビュー・カメラ１１７０、赤外線カメラ１１７２、サラウンド・カメラ１１７４、長距離及び／又は中距離カメラ１１９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、移動車１１００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、移動車１１００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、移動車１１００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、移動車は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図１１Ａ及び図１１Ｂに関連して本明細書においてさらに詳しく説明される。

【0192】

移動車１１００は、振動センサ１１４２をさらに含み得る。振動センサ１１４２は、車軸など、移動車の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ１１４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。

【0193】

移動車１１００は、ＡＤＡＳシステム１１３８を含み得る。一部の実例では、ＡＤＡＳシステム１１３８は、ＳｏＣを含み得る。ＡＤＡＳシステム１１３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。

【0194】

ＡＣＣシステムは、ＲＡＤＡＲセンサ１１６０、ＬＩＤＡＲセンサ１１６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、移動車１１００の直ぐ前の移動車までの距離を監視及び制御し、前方の移動車からの安全距離を維持するために移動車速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように移動車１１００にアドバイスする。横ＡＣＣは、ＬＣＡ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。

【0195】

ＣＡＣＣは、ワイヤレス・リンクを介して他の移動車からネットワーク・インターフェース１１２４及び／又はワイヤレス・アンテナ１１２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の移動車からの情報を使用する。直接リンクは、移動車対移動車（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対移動車（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の移動車（たとえば、移動車１１００と同じレーン内にある、移動車１１００の直ぐ前の移動車）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。移動車１１００の前方の移動車の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。

【0196】

運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ１１６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。

【0197】

ＡＥＢシステムは、別の移動車又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ１１６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。

【0198】

ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、移動車１１００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。

【0199】

ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、移動車１１００が車線をはみ出し始めた場合に移動車１１００を修正するためにステアリング入力又はブレーキを提供する。

【0200】

ＢＳＷシステムは、自動車の死角において移動車の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ１１６０を使用することができる。

【0201】

ＲＣＴＷシステムは、車両１１００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ１１６０を使用することができる。

【0202】

従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両１１００では、結果が矛盾する場合には、移動車１１００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ１１３６又は第２のコントローラ１１３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム１１３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム１１３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。

【0203】

いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかに関わらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。

【0204】

監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ１１０４の構成要素を備え得る、及び／又はＳｏＣ１１０４の構成要素として含まれ得る。

【0205】

他の実例において、ＡＤＡＳシステム１１３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータ上のソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。

【0206】

いくつかの実例では、ＡＤＡＳシステム１１３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム１１３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。

【0207】

移動車１１００は、インフォテインメントＳｏＣ１１３０（たとえば、移動車内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ１１３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの移動車関連情報）を移動車１１００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ１１３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１１３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ１１３０は、ＡＤＡＳシステム１１３８からの情報、計画された移動車操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、移動車情報、道路情報など）、及び／又は他の情報など、移動車のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。

【0208】

インフォテインメントＳｏＣ１１３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ１１３０は、バス１１０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、移動車１１００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ１１３６（たとえば、移動車１１００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ１１３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ１１３０は、本明細書に記載のように、移動車１１００をショーファーの安全停止モードにすることができる。

【0209】

移動車１１００は、計器群１１３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群１１３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群１１３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ１１３０及び計器群１１３２の間で表示及び／又は共有され得る。言い換えれば、計器群１１３２は、インフォテインメントＳｏＣ１１３０の一部として含まれてもよく、逆もまた同様である。

【0210】

図１１Ｄは、本開示のいくつかの実施例による、図１１Ａのクラウドベースのサーバと例示的自律型車両１１００との間の通信のシステム図である。システム１１７６は、サーバ１１７８、ネットワーク１１９０、及び、移動車１１００を含む移動車を含み得る。サーバ１１７８は、複数のＧＰＵ１１８４（Ａ）～１１８４（Ｈ）（本明細書でＧＰＵ１１８４と総称される）、ＰＣＩｅスイッチ１１８２（Ａ）～１１８２（Ｈ）（本明細書でＰＣＩｅスイッチ１１８２と総称される）、及び／又はＣＰＵ１１８０（Ａ）～１１８０（Ｂ）（本明細書でＣＰＵ１１８０と総称される）を含み得る。ＧＰＵ１１８４、ＣＰＵ１１８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース１１８８及び／又はＰＣＩｅ接続１１８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ１１８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ１１８４及びＰＣＩｅスイッチ１１８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ１１８４、２個のＣＰＵ１１８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ１１７８は、任意の数のＧＰＵ１１８４、ＣＰＵ１１８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ１１７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ１１８４を含み得る。

【0211】

サーバ１１７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク１１９０を介して、移動車から、受信することができる。サーバ１１７８は、ニューラル・ネットワーク１１９２、更新されたニューラル・ネットワーク１１９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報１１９４をネットワーク１１９０を介して移動車に送信することができる。マップ情報１１９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１１２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク１１９２、更新されたニューラル・ネットワーク１１９２、及び／又はマップ情報１１９４は、環境において任意の数の移動車から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ１１７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて生じた可能性がある。

【0212】

サーバ１１７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、移動車によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、移動車によって使用され得（たとえば、ネットワーク１１９０を介して移動車に送信される）、及び／又は、マシン学習モデルは、移動車を遠隔監視するために、サーバ１１７８によって使用され得る。

【0213】

いくつかの実例では、サーバ１１７８は、移動車からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ１１７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ１１８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ１１７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。

【0214】

サーバ１１７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して移動車１１００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、移動車１１００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、移動車１１００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、移動車１１００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、移動車１１００内のＡＩは正常に機能していないという結論を下した場合、サーバ１１７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように移動車１１００のフェイルセーフ・コンピュータに命じる移動車１１００への信号を送信することができる。

【0215】

推論のために、サーバ１１７８は、ＧＰＵ１１８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。

【0216】

例示的計算デバイス
図１２は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス１２００の一実例のブロック図である。計算デバイス１２００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム１２０２を含み得る：メモリ１２０４、１つ又は複数の中央処理装置（ＣＰＵ）１２０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）１２０８、通信インターフェース１２１０、入力／出力（Ｉ／Ｏ）ポート１２１２、入力／出力構成要素１２１４、電力供給装置１２１６、１つ又は複数の提示構成要素１２１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット１２２０。少なくとも１つの実施例において、計算デバイス１２００は、１つ又は複数の仮想マシン（ＶＭ）を含み得る、及び／又は、その構成要素のいずれかは、仮想構成要素（たとえば、仮想ハードウェア構成要素）を含み得る。非限定的実例として、ＧＰＵ１２０８のうちの１つ又は複数は、１つ又は複数のｖＧＰＵを含み得、ＣＰＵ１２０６のうちの１つ又は複数は、１つ又は複数のｖＣＰＵを含み得、及び／又は、論理ユニット１２２０のうちの１つ又は複数は、１つ又は複数の仮想論理ユニットを含み得る。そのようなものとして、計算デバイス１２００は、個別の構成要素（たとえば、計算デバイス１２００専用の全ＧＰＵ）、仮想構成要素（たとえば、計算デバイス１２００専用のＧＰＵの一部分）、又はその組合せを含み得る。

【0217】

図１２の様々なブロックは、線で相互接続システム１２０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素１２１８は、Ｉ／Ｏ構成要素１２１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ１２０６及び／又はＧＰＵ１２０８はメモリを含み得る（たとえば、メモリ１２０４は、ＧＰＵ１２０８、ＣＰＵ１２０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図１２の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図１２の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。

【0218】

相互接続システム１２０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム１２０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ１２０６は、メモリ１２０４に直接接続され得る。さらに、ＣＰＵ１２０６は、ＧＰＵ１２０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム１２０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス１２００に含まれる必要はない。

【0219】

メモリ１２０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス１２００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。

【0220】

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ１２０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス１２００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。

【0221】

コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。

【0222】

ＣＰＵ１２０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１２００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ１２０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ１２０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス１２００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス１２００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス１２００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の１つ又は複数のＣＰＵ１２０６を含み得る。

【0223】

ＣＰＵ１２０６に加えて又はその代わりに、ＧＰＵ１２０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１２００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ１２０８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ１２０６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ１２０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ１２０８のうちの１つ又は複数は、ＣＰＵ１２０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ１２０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス１２００によって使用され得る。たとえば、ＧＰＵ１２０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ１２０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ１２０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ１２０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ１２０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ１２０４の一部として含まれ得る。ＧＰＵ１２０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ１２０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。

【0224】

ＣＰＵ１２０６及び／又はＧＰＵ１２０８に加えて又はその代わりに、論理ユニット１２２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス１２００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施例では、ＣＰＵ１２０６、ＧＰＵ１２０８、及び／又は論理ユニット１２２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット１２２０のうちの１つ若しくは複数は、ＣＰＵ１２０６及び／若しくはＧＰＵ１２０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット１２２０のうちの１つ若しくは複数は、ＣＰＵ１２０６及び／若しくはＧＰＵ１２０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット１２２０のうちの１つ又は複数は、ＣＰＵ１２０６のうちの１つ若しくは複数及び／又はＧＰＵ１２０８のうちの１つ若しくは複数のコプロセッサでもよい。

【0225】

論理ユニット１２２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、入力／出力（Ｉ／Ｏ）エレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。

【0226】

通信インターフェース１２１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス１２００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース１２１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース、ブルートゥースＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。１つ又は複数の実施例において、論理ユニット１２２０及び／又は通信インターフェース１２１０は、ネットワークを介して及び／又は相互接続システム１２０２を介して受信されたデータを１つ又は複数のＧＰＵ１２０８（たとえば、そのメモリ）に直接に送信するために１つ又は複数のデータ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み得る。

【0227】

Ｉ／Ｏポート１２１２は、そのうちのいくつかは計算デバイス１２００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素１２１４、提示構成要素１２１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス１２００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素１２１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素１２１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス１２００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス１２００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス１２００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス１２００によって使用され得る。

【0228】

電力供給装置１２１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置１２１６は、計算デバイス１２００の構成要素が動作することを可能にするために計算デバイス１２００に電力を提供することができる。

【0229】

提示構成要素１２１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素１２１８は、他の構成要素（たとえば、ＧＰＵ１２０８、ＣＰＵ１２０６、ＤＰＵなど）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。

【0230】

例示的データ・センタ
図１３は、本開示の少なくとも１つの実施例において使用され得る例示的データ・センタ１３００を示す。データ・センタ１３００は、データ・センタ・インフラストラクチャ層１３１０、フレームワーク層１３２０、ソフトウェア層１３３０、及び／又はアプリケーション層１３４０を含み得る。

【0231】

図１３に示すように、データ・センタ・インフラストラクチャ層１３１０は、資源オーケストレータ１３１２、グループ化された計算資源１３１４、及びノード計算資源（「ノードＣ．Ｒ．」）１３１６（１）～１３１６（Ｎ）を含み得、そこで、「Ｎ」は、任意の整数の、自然数を表す。少なくとも１つの実施例において、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）は、任意の数の中央処理装置（ＣＰＵ）又は他のプロセッサ（ＤＰＵ、加速装置、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサ若しくはグラフィックス・プロセッシング・ユニット（ＧＰＵ）などを含む）、メモリ・デバイス（たとえば、動的リード・オンリ・メモリ）、記憶デバイス（たとえば、ソリッドステート若しくはディスク・ドライブ）、ネットワーク入力／出力（ＮＷ Ｉ／Ｏ）デバイス、ネットワーク・スイッチ、仮想マシン（ＶＭ）、電力モジュール、及び／又は冷却モジュールなどを含み得るが、これらに限定されない。いくつかの実施例において、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）のうちの１つ又は複数のノードＣ．Ｒ．は、前述の計算資源のうちの１つ又は複数を有するサーバに対応し得る。加えて、いくつかの実施例において、ノードＣ．Ｒ．１３１６（１）～１３１６１（Ｎ）は、１つ若しくは複数の仮想構成要素、たとえば、ｖＧＰＵ、ｖＣＰＵ、及び／若しくは同類のもの、を含み得る、並びに／又は、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）のうちの１つ若しくは複数は、仮想マシン（ＶＭ）に対応し得る。

【0232】

少なくとも１つの実施例において、グループ化された計算資源１３１４は、１つ又は複数のラック（図示せず）内に収容された別個のグループのノードＣ．Ｒ．１３１６、或いは様々な地理的場所（やはり図示せず）にあるデータ・センタに収容された多数のラックを含み得る。グループ化された計算資源１３１４内の別個のグループのノードＣ．Ｒ．１３１６は、１つ又は複数のワークロードをサポートするように構成する又は割り当てることができる、グループ化された計算、ネットワーク、メモリ又はストレージ資源を含み得る。少なくとも１つの実施例において、ＣＰＵ、ＧＰＵ、ＤＰＵ、及び／又は他のプロセッサを含むいくつかのノードＣ．Ｒ．１３１６は、１つ又は複数のワークロードをサポートするための計算資源を提供するために、１つ又は複数のラック内にグループ化され得る。１つ又は複数のラックはまた、任意の組合せで、任意の数の電力モジュール、冷却モジュール、及び／又はネットワーク・スイッチを含み得る。

【0233】

資源オーケストレータ１３１２は、１つ若しくは複数のノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）及び／又はグループ化された計算資源１３１４を構成又は他の方法で制御することができる。少なくとも１つの実施例において、資源オーケストレータ１３１２は、データ・センタ１３００のソフトウェア設計インフラストラクチャ（ＳＤＩ）管理エンティティを含み得る。資源オーケストレータ１３１２は、ハードウェア、ソフトウェア、又はその何らかの組合せを含み得る。

【0234】

少なくとも１つの実施例において、図１３に示すように、フレームワーク層１３２０は、ジョブ・スケジューラ１３３３、構成マネージャ１３３４、資源マネージャ１３３６、及び／又は分散型ファイル・システム１３３８を含み得る。フレームワーク層１３２０は、ソフトウェア層１３３０のソフトウェア１３３２及び／又はアプリケーション層１３４０の１つ若しくは複数のアプリケーション１３４２をサポートするためにフレームワークを含み得る。ソフトウェア１３３２又はアプリケーション１３４２は、ウェブベースのサービス・ソフトウェア又はアプリケーション、たとえば、アマゾン・ウェブ・サービス、グーグル・クラウド及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるもの、をそれぞれ含み得る。フレームワーク層１３２０は、大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システム１３３８を使用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）などのフリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。少なくとも１つの実施例において、ジョブ・スケジューラ１３３３は、データ・センタ１３００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。構成マネージャ１３３４は、異なる層、たとえば、ソフトウェア層１３３０と、大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム１３３８を含むフレームワーク層１３２０、を構成する能力を有し得る。資源マネージャ１３３６は、分散型ファイル・システム１３３８及びジョブ・スケジューラ１３３３のサポートのためにマップされた又は割り当てられたクラスタ化された又はグループ化された計算資源を管理する能力を有し得る。少なくとも１つの実施例において、クラスタ化された又はグループ化された計算資源は、データ・センタ・インフラストラクチャ層１３１０にグループ化された計算資源１３１４を含み得る。資源マネージャ１３３６は、資源オーケストレータ１３１２と調整して、これらのマップされた又は割り当てられた計算資源を管理することができる。

【0235】

少なくとも１つの実施例において、ソフトウェア層１３３０に含まれるソフトウェア１３３２は、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）の少なくとも部分、グループ化された計算資源１３１４、及び／又はフレームワーク層１３２０の分散型ファイル・システム１３３８によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含み得るが、これらに限定されない。

【0236】

少なくとも１つの実施例において、アプリケーション層１３４０に含まれるアプリケーション１３４２は、ノードＣ．Ｒ．１３１６（１）～１３１６（Ｎ）の少なくとも部分、グループ化された計算資源１３１４、及び／又はフレームワーク層１３２０の分散型ファイル・システム１３３８によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、任意の数のゲノミクス・アプリケーション、認知計算、並びに、トレーニング若しくは推論ソフトウェア、マシン学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）、及び／又は１つ若しくは複数の実施例と併せて使用される他のマシン学習アプリケーションを含む、マシン学習アプリケーションを含み得るが、これらに限定されない。

【0237】

少なくとも１つの実施例において、構成マネージャ１３３４、資源マネージャ１３３６、及び資源オーケストレータ１３１２のうちのいずれかは、任意の技術的に可能な方式で取得される任意の量及びタイプのデータに基づいて任意の数及びタイプの自己書換え型アクションを実装することができる。自己書換え型アクションは、よくない可能性のある構成決定を行うこと並びにデータ・センタの十分に活用されていない及び／又は実行の不十分な部分を恐らく回避することからデータ・センタ１３００のデータ・センタ・オペレータを解放し得る。

【0238】

データ・センタ１３００は、１つ又は複数のマシン学習モデルをトレーニングする或いは本明細書に記載の１つ又は複数の実施例による１つ又は複数のマシン学習モデルを使用して情報を予測する又は推論するために、ツール、サービス、ソフトウェア或いは他の資源を含み得る。たとえば、マシン学習モデルは、データ・センタ１３００に関して前述されたソフトウェア及び／又は計算資源を使用するニューラル・ネットワーク・アーキテクチャによる重量パラメータの計算によって、トレーニングされ得る。少なくとも１つの実施例において、１つ又は複数のニューラル・ネットワークに対応するトレーニングされた又は配備されたマシン学習モデルは、たとえば、本明細書に記載のものに限定されない、１つ又は複数のトレーニング技法を介して計算された重量パラメータを使用することによって、データ・センタ１３００に関して前述された資源を使用して情報を推論又は予測するために使用され得る。

【0239】

少なくとも１つの実施例において、データ・センタ１３００は、前述の資源を使用するトレーニング及び／又は推論の実行のために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、及び／又は他のハードウェア（若しくはそれに対応する仮想計算資源）を使用することができる。さらに、前述の１つ又は複数のソフトウェア及び／又はハードウェア資源は、情報の推論をユーザがトレーニング又は実行することを可能にするためのサービス、たとえば、画像認識、音声認識、又は他の人工知能サービス、として構成され得る。

【0240】

例示的ネットワーク環境
本開示の実施例の実装において使用するのに適したネットワーク環境は、１つ若しくは複数のクライアント・デバイス、サーバ、ネットワーク接続型ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）、他のバックエンド・デバイス、及び／又は他のデバイス・タイプを含み得る。クライアント・デバイス、サーバ、及び／又は他のデバイス・タイプ（たとえば、各デバイス）は、図１２の計算デバイス１２００の１つ又は複数のインスタンスで実装され得、たとえば、各デバイスは、計算デバイス１２００の類似の構成要素、特徴、及び／又は機能性を含み得る。加えて、バックエンド・デバイス（たとえば、サーバ、ＮＡＳなど）が、実装される場合、バックエンド・デバイスは、データ・センタ１３００の一部として含まれ得、その実例は、図１３に関して本明細書でさらに詳述される。

【0241】

ネットワーク環境の構成要素は、ワイヤード、ワイヤレス、又はその両方でもよい、ネットワークを介して互いに通信し得る。ネットワークは、複数のネットワーク、又はネットワークのネットワークを含み得る。実例として、ネットワークは、１つ若しくは複数のワイド・エリア・ネットワーク（ＷＡＮ）、１つ若しくは複数のローカル・エリア・ネットワーク（ＬＡＮ）、１つ若しくは複数のパブリック・ネットワーク、たとえば、インターネット及び／若しくは公衆交換電話網（ＰＳＴＮ）、並びに／又は１つ若しくは複数のプライベート・ネットワークを含み得る。ネットワークが、ワイヤレス電気通信ネットワークを含む場合、構成要素、たとえば、基地局、通信塔、或いはアクセス・ポイント（並びに他の構成要素）、は、ワイヤレス接続を提供し得る。

【0242】

互換性のあるネットワーク環境は、１つ又は複数のピア・ツー・ピア・ネットワーク環境（その場合、サーバはネットワーク環境に含まれないことがある）と、１つ又は複数のクライアント・サーバ・ネットワーク環境（その場合、１つ又は複数のサーバがネットワーク環境に含まれ得る）とを含み得る。ピア・ツー・ピア・ネットワーク環境では、サーバに関して本明細書に記載した機能性は、任意の数のクライアント・デバイスで実装され得る。

【0243】

少なくとも１つの実施例において、ネットワーク環境は、１つ又は複数のクラウドベースのネットワーク環境、分散型計算環境、その組合せなどを含み得る。クラウドベースのネットワーク環境は、フレームワーク層、ジョブ・スケジューラ、資源マネージャ、並びに、１つ若しくは複数のコア・ネットワーク・サーバ及び／又はエッジ・サーバを含み得る、サーバのうちの１つ又は複数で実装された分散型ファイル・システムを含み得る。フレームワーク層は、ソフトウェア層のソフトウェア及び／又はアプリケーション層の１つ若しくは複数のアプリケーションをサポートするために、フレームワークを含み得る。ソフトウェア又はアプリケーションは、それぞれ、ウェブベースのサービス・ソフトウェア又はアプリケーションを含み得る。実施例において、クライアント・デバイスのうちの１つ又は複数は、ウェブベースのサービス・ソフトウェア又はアプリケーションを使用し得る（たとえば、１つ又は複数のアプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してサービス・ソフトウェア及び／又はアプリケーションにアクセスすることによって）。フレームワーク層は、たとえば大規模データ処理（たとえば、「ビッグ・データ」）のための分散型ファイル・システムを使用し得る、フリー及びオープン・ソース・ソフトウェア・ウェブ・アプリケーション・フレームワークのタイプでもよいが、これに限定されない。

【0244】

クラウドベースのネットワーク環境は、本明細書に記載の計算及び／又はデータ・ストレージ機能（又は１つ若しくは複数のその部分）の任意の組合せを実施するクラウド計算及び／又はクラウド・ストレージを提供し得る。これらの様々な機能のいずれも、セントラル又はコア・サーバ（たとえば、州、領域、国、世界にわたって分散され得る１つ又は複数のデータ・センタなどの）から複数の場所に分散され得る。ユーザ（たとえば、クライアント・デバイス）への接続が、エッジ・サーバに比較的近い場合、コア・サーバは、機能性の少なくとも一部分をエッジ・サーバに任じ得る。クラウドベースのネットワーク環境は、プライベート（たとえば、単一の組織に制限される）でもよく、パブリック（たとえば、多数の組織に利用可能）、及び／又はその組合せ（たとえば、ハイブリッド・クラウド環境）でもよい。

【0245】

クライアント・デバイスは、図１２に関して本明細書に記載の例示的計算デバイス１２００の構成要素、特徴、及び機能性のうちの少なくともいくつかを含み得る。実例として、及び制限ではなく、クライアント・デバイスは、パーソナル・コンピュータ（ＰＣ）、ラップトップ・コンピュータ、モバイル・デバイス、スマートフォン、タブレット・コンピュータ、スマート・ウォッチ、ウェアラブル・コンピュータ、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ３プレーヤ、仮想現実ヘッドセット、全地球測位システム（ＧＰＳ）又はデバイス、ビデオ・プレイヤ、ビデオカメラ、監視デバイス又はシステム、車両、ボート、飛行船、仮想マシン、ドローン、ロボット、ハンドヘルド通信デバイス、病院デバイス、ゲーミング・デバイス又はシステム、娯楽システム、車両コンピュータ・システム、組み込み型システム・コントローラ、リモート制御、器具、民生用電子デバイス、ワークステーション、エッジ・デバイス、これらの描写されたデバイスの任意の組合せ、或いは任意の他の適切なデバイスとして実施され得る。

【0246】

本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。

【0247】

本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。

【0248】

本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】

【図12】

【図13】

【国際調査報告】