特開 2022-14909 歩行者横断危険性評価及び指向性警報のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022014909

(43)【公開日】2022-01-20

(54)【発明の名称】歩行者横断危険性評価及び指向性警報のためのシステム及び方法

(51)【国際特許分類】

   B60W 40/02 20060101AFI20220113BHJP

   B60W 60/00 20200101ALI20220113BHJP

   G08G 1/16 20060101ALI20220113BHJP

【ＦＩ】

B60W40/02

B60W60/00

G08G1/16 D

【審査請求】未請求

【請求項の数】27

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021111867

(22)【出願日】2021-07-06

(31)【優先権主張番号】16/922,601

(32)【優先日】2020-07-07

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

２．ＬｏＲａＷＡＮ

３．ＳｉｇＦｏｘ

(71)【出願人】

【識別番号】501450960

【氏名又は名称】エヌビディア コーポレーション

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】ニランジャン アヴァダナム

(72)【発明者】

【氏名】スミット バタチャリア

(72)【発明者】

【氏名】アトウサ トラビ

(72)【発明者】

【氏名】ジェイソン コンラッド ロシュ

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241BA49

3D241CD09

3D241CE02

3D241CE04

3D241CE05

3D241CE08

3D241DC31Z

3D241DC34Z

3D241DC51Z

5H181AA01

5H181BB04

5H181BB13

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF04

5H181FF27

5H181FF33

5H181LL01

5H181LL07

5H181LL08

5H181LL09

5H181LL14

(57)【要約】

【課題】マルチモーダル技術を使用して人の属性を判定し、計算された危険レベルに応答して警報を人に提供して、危険レベルの低下をもたらす歩行者横断警報システムのためのシステム及び方法を提供する。
【解決手段】システムは、センサを用いて、車両外部の人の軌道を示すデータを受信する。年齢又は歩行補助具などの人の特定の属性が判定される。軌道データ及び特定の属性に基づいて、危険レベルが、マシン学習モデルを使用するシステムによって判定される。システムは、危険レベルに応答して、人への警報の放出を引き起こす。
【選択図】図７

【特許請求の範囲】

【請求項1】

車両を操作する方法であって、
１つ又は複数のセンサから、前記車両の外部の人の軌道を示すデータを受信するステップと、
並列処理回路を使用して、前記人の１つ又は複数の属性を判定するステップと、
マシン学習モデルを実装する並列処理回路を使用して、前記軌道を示す前記データと前記１つ又は複数の属性とに基づいて危険レベルを計算するステップと、
並列処理回路を使用して、前記危険レベルを下げるために前記危険レベルに応じて実行される動作を引き起こすステップであって、前記動作は警報を前記人に提供する、ステップと
を含む、方法。

【請求項2】

前記危険レベルを計算するステップが、少なくとも１つのハードウェア・アクセラレータを使用して前記危険レベルを計算するステップを含む、請求項１に記載の方法。

【請求項3】

前記危険レベルを計算するステップが、前記軌道を示す前記データ及び前記１つ又は複数の属性を入力として受け取って、前記車両が前記人との衝突コース上にある可能性を判定する、１つ又は複数のニューラル・ネットワークを使用するステップを含む、請求項１に記載の方法。

【請求項4】

場所属性、気象属性、又は運転条件属性のうちの少なくとも１つを含む少なくとも１つの付加的属性を判定するステップをさらに含み、前記危険レベルを計算するステップが、前記少なくとも１つの付加的属性にさらに基づく、請求項１に記載の方法。

【請求項5】

前記危険レベルを下げるために前記危険レベルに応じて実行される前記動作を引き起こすステップが、前記危険レベルに基づく指向性オーディオ信号を前記車両から放出させるステップを含み、前記指向性オーディオ信号が、前記人に向けられる、請求項１に記載の方法。

【請求項6】

前記指向性オーディオ信号が、ビーム形成オーディオ信号のうちの少なくとも１つを含む、請求項５に記載の方法。

【請求項7】

前記指向性オーディオ信号が、複数の別個の周波数構成要素を含む、請求項５に記載の方法。

【請求項8】

前記放出される指向性オーディオ信号のマグニチュードが、前記危険レベルに基づく、請求項５に記載の方法。

【請求項9】

前記危険レベルを下げるために前記危険レベルに応じて実行される前記動作を引き起こすステップが、前記危険レベルに基づく指向性光信号を前記車両から放出させるステップを含み、前記指向性光信号が、前記人に向けられる、請求項１に記載の方法。

【請求項10】

前記人の前記１つ又は複数の属性を判定するステップが、
前記人の少なくとも一部分の描写を示すデータを受信するステップと、
前記人の少なくとも前記一部分の前記描写を示す前記データに基づいて前記人の前記１つ又は複数の属性を判定するステップと
を含む、請求項１に記載の方法。

【請求項11】

前記１つ又は複数の属性が、前記人の頭部姿勢、前記人の体勢、前記人の衣類、前記人によって行われるジェスチャ、又は環境属性のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項12】

前記車両の外部の電子デバイスに前記危険レベルに基づいてデータを通信するステップをさらに含む、請求項１に記載の方法。

【請求項13】

前記１つ又は複数のセンサが、カメラ、ＬＩＤＡＲ、レーダー、超音波、マイクロフォン、又はスピーカのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項14】

車両を操作するシステムであって、
前記車両の外部の人を示すデータを受信するように構成された１つ又は複数のセンサであって、前記データは、前記人に対応する軌道データを含む、１つ又は複数のセンサと、
並列処理回路であって、
前記車両の外部の前記人を示す前記データに少なくとも部分的に基づいて前記人の１つ又は複数の属性を判定し、
前記軌道データ及び前記１つ又は複数の属性に基づいて、少なくとも部分的にマシン学習モデルを使用して、危険レベルを計算し、
前記危険レベルを下げるために前記危険レベルに応じて実行される動作であって、警報を前記人に提供する動作を引き起こす
ように構成された並列処理回路と
を備える、システム。

【請求項15】

前記並列処理回路が、前記危険レベルを計算する場合に、少なくとも１つのハードウェア・アクセラレータを使用して前記危険レベルを計算するように構成されている、請求項１４に記載のシステム。

【請求項16】

前記並列処理回路が、前記危険レベルを計算する場合に、前記軌道データ及び前記１つ又は複数の属性を入力として受け取って、前記車両が前記人との衝突コース上にある可能性を判定する、１つ又は複数のニューラル・ネットワークを使用するように構成されている、請求項１４に記載のシステム。

【請求項17】

前記並列処理回路がさらに、場所属性、気象属性、又は運転条件属性のうちの少なくとも１つを含む少なくとも１つの付加的属性を判定するように構成され、前記危険レベルの計算が、前記少なくとも１つの付加的属性にさらに基づく、請求項１４に記載のシステム。

【請求項18】

前記並列処理回路が、前記危険レベルを下げるために前記危険レベルに応じて実行される前記動作を引き起こす場合に、前記危険レベルに基づく指向性オーディオ信号を前記車両から放出させるように構成され、前記指向性オーディオ信号が、前記人に向けられる、請求項１４に記載のシステム。

【請求項19】

前記指向性オーディオ信号が、ビーム形成オーディオ信号のうちの少なくとも１つを含む、請求項１８に記載のシステム。

【請求項20】

前記指向性オーディオ信号が、複数の別個の周波数構成要素を含む、請求項１８に記載のシステム。

【請求項21】

前記放出される指向性オーディオ信号のマグニチュードが、前記危険レベルに基づく、請求項１８に記載のシステム。

【請求項22】

前記並列処理回路が、前記危険レベルを下げるために前記危険レベルに応じて実行される前記動作を引き起こす場合に、前記危険レベルに基づく指向性光信号を前記車両から放出させるように構成され、前記指向性光信号が、前記人に向けられる、請求項１４に記載のシステム。

【請求項23】

前記並列制御回路が、前記人の１つ又は複数の属性を判定する場合に、
前記人の少なくとも一部分の描写を示すデータを受信し、
前記人の少なくとも前記一部分の前記描写を示す前記データに基づいて前記人の前記１つ又は複数の属性を判定する
ように構成されている、請求項１４に記載のシステム。

【請求項24】

前記１つ又は複数の属性が、前記人の頭部姿勢、前記人の体勢、前記人の衣類、前記人によって行われるジェスチャ、又は環境属性のうちの少なくとも１つを含む、請求項１４に記載のシステム。

【請求項25】

前記並列処理回路がさらに、前記車両の外部の電子デバイスに前記危険レベルに基づいてデータを通信するように構成されている、請求項１４に記載のシステム。

【請求項26】

前記１つ又は複数のセンサが、カメラ、ＬＩＤＡＲ、レーダー、超音波、マイクロフォン、又はスピーカのうちの少なくとも１つを含む、請求項１４に記載のシステム。

【請求項27】

処理回路によって実行される場合に前記処理回路に
１つ又は複数のセンサから、車両の外部の人の軌道を示すデータを受信させ、
並列処理回路を使用して、前記人の１つ又は複数の属性を判定させ、
マシン学習モデルを実装する並列処理回路を使用して、前記軌道を示す前記データと前記１つ又は複数の属性とに基づいて危険レベルを計算させ、
並列処理回路を使用して、前記危険レベルを下げるために前記危険レベルに応じて実行される動作であって、警報を前記人に提供する動作を引き起こさせる
命令がエンコードされた非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両を操作するための技法を対象とし、詳細には、歩行者横断危険性評価及び指向性警報システムを提供するための技法を対象とする。

【背景技術】

【0002】

車両の動作は、たとえば、歩行者横断歩道の近傍の物体を含む、車両動作のフィールド内のすべての物体に対して固有の衝突危険性を抱えている。この危険性は、歩行者横断歩道を横断しようとしているが感覚認識の不足、たとえば、難聴、を有する歩行者について、或いは歩行者の気が散っている、たとえば、モバイル・スマートフォンに関わって気が散っている場合には、高まり得る。１つの現在の手法では、システムは、いつ歩行者が車両からの危険にさらされ得るかの推定値を判定し、警報を歩行者に提供し得る。しかしながら、提供される警報は、一般的に表現され、一般近傍にいる誰によっても知覚可能であり、危険にさらされている対象者が直ちに明らかでないときには危険にさらされていない道路上の他の人々の気を散らす可能性が実際にある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、現在の歩行者横断警報システムの限界を克服するために、人に対する計算された危険レベルを判定するための及び警報を人に提供して危険レベルの低下をもたらすためのマルチモーダル技術を使用し得る歩行者横断警報システムのためのシステム及び方法について、本明細書で説明する。システムは、センサを用いて、車両の外部の人の軌道を示すデータを受信し得る。たとえば、高齢者が、遅い歩行速度で横断歩道に近付いていることがある。いくつかの実施例において、システムは、いくつかの別個のフレームにおいて横断歩道に近付く高齢者のカメラ及びＬＩＤＡＲセンサ・データを受信し、ベロシティ及び体勢に基づいて人の軌道を計算する。年齢又は歩行補助具などの人の特定の属性が、判定され得る。前述の例を続けると、システムは、高齢者は杖を使用している及び補聴器をつけていると判定する。軌道データ及び特定の属性に基づいて、危険レベルが、マシン学習モデル又は任意の他の適切なモデルを使用するシステムによって判定され得る。たとえば、補聴器の検出に基づいてその高齢者には聴覚障害があると判定されることを所与として、危険レベルは高い可能性があり、歩行用杖の検出を所与として、移動性を減速して軌道を変更し得る。システムは、危険レベルに応じて人に対する警報を出させることができる。このシナリオで、車両は、高齢者が警報を認識することができることを確実にするために、判定された危険レベルに対応するマグニチュードで高齢者の現在の位置に向けてビーム形成オーディオ信号を発する。警報がビーム形成されるとき、残りの環境が受けるそれらの活動に対する妨害は軽減される。

【課題を解決するための手段】

【0004】

本開示のいくつかの実施例において、マシン学習モデルは、危険レベルを、少なくとも部分的に、計算するためにハードウェア・アクセラレータを含み得る。本開示の他の実施例では、危険レベルの計算は、人の軌道及び人の属性を示すデータからの入力を受信して、車両が人との衝突コース上にある可能性を判定することができる、ニューラル・ネットワークを実装する。

【0005】

本開示のいくつかの実施例において、システムは、人を越えて広がる、及び危険レベルの計算のための気象条件、場所特定の属性（たとえば、スクール・ゾーン、交通標識及び信号に近いかどうか）、及び／又は運転条件などの環境属性を含む、属性を判定し得る。

【0006】

危険レベルを下げるために危険レベルに応じて実行されることになる動作は、本明細書で開示される様々な技法において実装され得る。本開示のいくつかの実施例において、指向性オーディオ信号は、危険レベルに基づいて物体に車両から発せられ、オーディオ信号は、別個の周波数構成要素を含む（たとえば、１つの構成要素は、人の聴覚の周波数範囲内にあり得、別の構成要素は、補助犬聴覚のための異なる周波数範囲内にあり得る）。本開示の他の実施例では、人への警報は、車両から物体に向けた指向性光信号の放出によって、実装され得る。

【0007】

全体を通して類似の参照記号は類似の部分を指す、添付の図面と併せて理解される、以下の詳細な説明を考慮したとき、本開示の後述の並びに他の目的及び利点が、明らかとなろう。

【図面の簡単な説明】

【0008】

【図1A】本開示のいくつかの実施例による、歩行者横断歩道に近付いている気の散った人の例示的シナリオを示す図である。

【図1B】本開示のいくつかの実施例による、歩行者横断歩道に向かって走っている人々の例示的シナリオを示す図である。

【図1C】本開示のいくつかの実施例による、スクール・ゾーン内の歩行者横断歩道に近付いている子供たちの例示的シナリオを示す図である。

【図1D】本開示のいくつかの実施例による、歩行者横断歩道に近付いている犬と一緒の高齢者の例示的シナリオを示す図である。

【図2】本開示のいくつかの実施例による、危険性計算ブロック図である。

【図3A】本開示のいくつかの実施例による、危険性評価意識モジュールを示す図である。

【図3B】本開示のいくつかの実施例による、危険性評価歩行者属性モジュールを示す図である。

【図3C】本開示のいくつかの実施例による、歩行者横断意図モジュールを示す図である。

【図4】本開示のいくつかの実施例による、例示的なビーム形成オーディオ信号放出を示す図である。

【図5A】本開示のいくつかの実施例による、例示的自律型車両のイラストレーションである。

【図5B】本開示のいくつかの実施例による、図５Ａの例示的自律型車両のカメラ位置及び視野の実例である。

【図5C】本開示のいくつかの実施例による、図５Ａの例示的自律型車両の例示的システム・アーキテクチャのブロック図である。

【図5D】本開示のいくつかの実施例による、クラウドベースのサーバと図５Ａの例示的自律型車両との間の通信のシステム図である。

【図6】本開示のいくつかの実施例の実装において使用するのに適した例示的コンピューティングデバイスのブロック図である。

【図7】本開示のいくつかの実施例による、車両を操作するためのプロセスの例示的流れ図である。

【図8】本開示のいくつかの実施例による、車両の外部の物体の軌道を判定するためのプロセスの例示的流れ図である。

【図9】本開示のいくつかの実施例による、車両の外部の物体の属性を判定するためのプロセスの例示的流れ図である。

【図10】本開示のいくつかの実施例による、ビーム形成オーディオ信号の放出を引き起こすためのプロセスの例示的流れ図である。

【発明を実施するための形態】

【0009】

図１Ａは、本開示のいくつかの実施例による、歩行者横断歩道に近付いている気の散った人の例示的シナリオ１００を示す。高度車両１０２は、道路１０４と交差する歩行者横断歩道１０６に近付く軌道で運転している。車両は、たとえば、並列処理、及び／又はコンピュータ分析を必要とする任意の他の機能を含む、処理を必要とする機能を実装し得る処理回路を含む。処理回路は、車両において実施されたセンサから車両の外部の人の軌道を示すデータを受信することができる。車両のセンサは、グローバル・ナビゲーション・システム（「ＧＮＳＳ：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ」）センサ（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ、超音波センサ、ＬＩＤＡＲセンサ、慣性計測装置（「ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ」）センサ（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン、ステレオ・カメラ、ワイド・ビュー・カメラ（たとえば、魚眼カメラ）、赤外線カメラ、サラウンド・カメラ（たとえば、３６０度カメラ）、長距離カメラ、中距離カメラ、速度センサ、振動センサ、ステアリング・センサ、ブレーキ・センサ（たとえば、ブレーキ・センサ・システムの一部としての）、及び／又は他のセンサ・タイプを含むが、これらに限定されない、任意のタイプのセンサを含み得る。図１Ａに戻ると、処理回路は、１つ又は複数のカメラ・デバイス（たとえば、限定せずに、１つ若しくは複数のステレオ・カメラ、１つ若しくは複数の単眼カメラ、及び／又は１つ若しくは複数の赤外線カメラ）から情報を受信して、近付いている横断歩道の横断歩道標識１０８警報を検出することができる。カメラはまた、前方の横断歩道１０６及び近付いている人１０５を判定し得る。これらのカメラから受信されるデータ（たとえば、一連の画像）は、歩行者、たとえば、１０代の少年１０５、の軌道を示し得る。

【0010】

いくつかの実施例において、処理回路は、センサから受信される物体（たとえば、人）の１つ又は複数の画像を受信する。処理回路は、カメラ・センサから受信された画像のうちの１つ又は複数に基づいて物体の指向性を判定し得る。図１Ａの例を続けると、車両が横断歩道に近付くとき、複数の画像が、カメラによって撮影され得る。１０代の少年が、車両の軌道と垂直な横断歩道に近付くとき、これらの画像は、様々な異なる場所におけるこの少年を含み得る。３つの画像は、１０代の少年が横断歩道に近付いていることを示す。処理回路は、横断歩道に近付いている１０代の少年の場所に基づいて、横断歩道を横断することと一致する指向性を判定する。加えて、処理回路は、これらの画像に基づいて、物体のベロシティを判定し得る。たとえば、３つの画像は、それぞれのタイムスタンプにおいて取得される。１つ又は複数の画像間の少年の相対距離、及び画像間の時間の差に基づいて、ベロシティは、距離及び時間の対応する計算を使用する処理回路によって計算され得る。処理回路は、物体のベロシティ及び指向性に基づいて、物体の軌道を判定し得る。たとえば、車両の処理回路は、１０代の少年は、（たとえば、毎時４８２８ｍ〔３マイル〕の）歩行ベロシティで横断歩道を渡るための軌道上を歩いていると判定し得る。

【0011】

図１Ｂは、本開示のいくつかの実施例による、歩行者横断歩道に向かって走る人々１１２の例示的シナリオ１１１を示す。この実例では、車両１０２の処理回路は、人々１１２は毎時２０．９２ｋｍ（１３マイル）の走行ベロシティで横断歩道１０６を渡るための軌道を走っていると判定し得る。図１Ｃは、本開示のいくつかの実施例による、スクール・ゾーンにおいて歩行者横断歩道１０６に近付いている子供たち１２２の例示的シナリオ１２１を示す。この実例では、車両１０２の処理回路は、子供たち１２２が、たとえば、毎時３２１９ｍ（２マイル）の、歩行ベロシティで、横断歩道１０６を渡るための軌道上を歩いていると判定し得る。図１Ｄは、本開示のいくつかの実施例による、歩行者横断歩道１０６に近付いている犬１３５と一緒の高齢者１３４の例示的シナリオ１３１を示す。この実例では、車両１０２の処理回路は、人々及び犬について毎時４０２３ｍ（２・５マイル）の歩行ベロシティで横断歩道１０６を渡るための軌道上を歩いているそれぞれのエンティティ１３４及び１３５の別個の軌道を判定し得る。

【0012】

処理回路は、人の１つ又は複数の属性を判定し得る。いくつかの実施例において、人の１つ又は複数の属性の判定は、マシン学習モデルを使用する処理回路（たとえば、並列処理回路によって実装されるニューラル・ネットワーク）によって、実装され得る。画像又は画像から導出される情報は、マシン学習モデルへの入力として使用され得る。たとえば、物体は、人でもよく、人の属性は、以下のうちの少なくとも１つを含み得る：人の頭部姿勢、人の体勢、人の衣類若しくは他の品物、又は人によって行われるジェスチャ。いくつかの実施例において、環境属性などの他の考慮事項が、マシン学習モデルへの入力として使用され得る。マシン学習モデルは、無数の体勢、体型（年齢の相違を含む）、衣類若しくは他の品物、ジェスチャ、アクセサリ、又は環境属性を含む、トレーニング・データセットでトレーニングされ得る。

【0013】

図１Ａに戻ると、処理回路は、１０代の少年１０５が、画像において可視である、携帯電話を見ていることを受信画像から判定し得る。処理回路はさらに、１０代の少年の頭部姿勢は中立的頭部姿勢に対して下を向いていると判定し得る。処理回路はさらに、１０代の少年によって着用されている衣類並びにリュックサックのブランド及びタイプを判定し得る。処理回路はさらに、横断歩道１０８の警報標識が存在すると判定し得る。

【0014】

図１Ｂに戻ると、処理回路は、人々１１２は運動着及び靴を着用していると判定し得る。図１Ｃに戻ると、処理回路は、環境属性を示唆する学校標識１２４があることを判定し得る。他の例示的環境属性は、現在の気象条件、現在の時刻、又はローカル活動の相対レベル（歩道上の何人かの歩行者など）を含み得る。図１Ｄに戻ると、処理回路は、犬１３５の種類及びタイプを判定し得る。処理回路はさらに、車椅子及び歩行用ステッキなどの人々１３４によって使用される物理的補助器具を判定し得る。

【0015】

処理回路は、マシン学習モデルに基づいて人の属性の分類を判定し得る。マシン学習モデルは、すべてのタイプの属性（たとえば、頭部姿勢、姿勢、衣類など）の既存のライブラリでトレーニングされ得る。すべての判定された属性に基づく、マシン学習モデルは、物体の特定の分類を判定し得る。分類は、受信された画像内の判定された物体に関するデータの形式でもよい。

【0016】

たとえば、図１Ａにおいて、処理回路は、１０代の少年について判定された身長、体形、衣類のタイプ、リュックサック、及び任意の１つ又は複数の他の属性に基づいて、１０代の少年１０５は１３～１８歳の年齢範囲内にある可能性を有すると、マシン学習モデルを介して、判定し得る。処理回路は、オーディオ警報を受信するのに障害を示さない１０代の少年の分類に基づいて、任意のタイプのオーディオベースの警報が１０代の少年１０５によって受信され得る（たとえば、聴力障害の可能性はない、聴覚を遮るヘッドフォンはないなど）と判定し得る。処理回路は、この分類を物体に関連するメタデータとしてストレージ（ローカル又はネットワークベースの）に記憶し得る。

【0017】

図１Ｃに戻ると、処理回路は、子供たち１２２を７から１１歳の年齢範囲内にある可能性を有し、その年齢層のメンバとしての彼らの帰属理解技能に従って、彼らは理解するためには単純なオーディオ警報を必要とし得ると分類し得る。図１Ｄに戻ると、処理回路は、高齢者１３４は８０歳以上の年齢範囲内である可能性を有し、彼らが理解するには、彼らの帰属年齢層及びセンサ知覚レベルに適し得るような、より大きな音量のオーディオ警報を必要とし得ると分類し得る。

【0018】

いくつかの実施例において、処理回路は、物体の少なくとも一部分（たとえば、人の一部分）の描写を示すデータの受信に基づいて、物体の属性を判定し得る。たとえば、処理回路が、人が歩行用杖を使用していると受信画像から判定した場合、それは、その人の年齢の判定に織り込み得る（たとえば、その人は高齢者であるという推論をもたらし得る）。

【0019】

処理回路は、軌道を示すデータと１つ又は複数の属性とに基づく危険レベルを、マシン学習モデルを実装する並列処理回路を使用して、計算し得る。いくつかの実施例において、処理回路は、歩行者の３次元の体勢を実装することによって、危険レベルを計算し得る。処理回路は、カメラ・センサからの画像又はビデオ・キャプチャの１つ又は複数のフレームにおける歩行者の３次元の体勢を判定し得る。処理回路は、歩行者の３次元の体勢を推定するためにマシン学習モデル内にカルマン・フィルタリングを実装し得る。

【0020】

図２は、本開示のいくつかの実施例による、危険性計算ブロック図２００を示す。いくつかの実施例において、危険性計算ブロック図は、危険性モジュール２０２及び横断意図モジュール２０４を含む２つのモジュールを含む。危険性計算ブロック図は、危険レベルを計算するために使用され得る。危険性モジュール２０２はさらに、危険性計算の少なくとも一部分を判定するために使用される４つのファクタに対応するサブモジュールを含む。４つのファクタは、意識、状況臨界、歩行者警報、及び歩行者属性を含む。

【0021】

処理回路は、計算された頭部姿勢に基づいて歩行者の意識を判定し得る。頭部姿勢は、体勢によって判定された首の主要関節を使用して、推定され得る。マシン学習モデルは、頭部姿勢推定に渡されることになる頭部境界ボックスを実装し得る。たとえば、頭部姿勢推定は、歩行者の頭部が下がっているかどうか又は歩行者の頭部が１秒ウインドウにおいて車両を一瞥するように向いているかどうかを推定するために使用され得る。いくつかの実施例において、頭部姿勢推定は、車両に対する相対配向において判定され得る。いくつかの実施例において、処理回路は、社会的及び技術的注意散漫指数（たとえば、携帯電話使用を介して歩行者の気が散っているかどうか）を判定することによって、歩行者の意識を判定し得る。

【0022】

図３Ａは、本開示のいくつかの実施例による、危険性評価意識モジュール３１０を示す。危険性評価意識モジュールは、少なくとも３つの別個のタイプのネットワークを含み得る。第１に、体勢畳み込みニューラル・ネットワーク３１２は、歩行者の歩行者境界ボックスを入力し得る。体勢畳み込みニューラル・ネットワークは、歩行者の特定の運動学的値、運動及び／又は姿勢を判定するために使用される。第２に、物体畳み込みニューラル・ネットワーク３１４は、歩行者の手の境界ボックスを入力し得る。物体畳み込みニューラル・ネットワークは、歩行者と相互作用する特定の物体を判定するために使用される。手境界ボックスは、体勢によって計算される手首関節の位置に基づいて、推定され得、そのサイズは、歩行者の身長に比例し得る。第３に、頭部姿勢畳み込みニューラル・ネットワーク３１６は、歩行者の頭部境界ボックスを入力し得る。頭部姿勢畳み込みニューラル・ネットワークは、歩行者の注意レベルを推定するために、歩行者の頭部の向きを判定するために使用される。頭部境界ボックスは、体勢によって計算される歩行者の首関節の位置に基づいて、推定され得、そのサイズは、歩行者の身長に比例し得る。いくつかの実施例において、これらの３つのネットワークは、出力として、以下を計算する：運動学的特徴ベクトル（たとえば、３次元体勢関節）、物体畳み込みニューラル・ネットワークの完全接続層である物体特徴ベクトル、及び頭部姿勢推定畳み込みニューラル・ネットワークの完全接続層である頭部姿勢特徴ベクトル。処理回路は、歩行者は特定のアクション（たとえば、テキスティング、通話、その他など）を実行しているかどうかを予測するために、サポート・ベクトル・マシン分類器（「ＳＶＭ：ｓｕｐｐｏｒｔ－ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｃｌａｓｓｉｆｉｅｒ」）３１８に適合するようにこれらの３つの特徴ベクトルを連結し得る。いくつかの実施例において、頭部姿勢特徴ベクトルは、歩行者の頭部のピッチ、ヨー、及びロール３２０を出力し得る。この情報は、歩行者は車両を見上げているかどうか（たとえば、車両に気付いている歩行者の推定）を判定するために、処理回路によって、使用され得る。

【0023】

処理回路は、歩行者までの車両の計算された垂直距離に基づいて、歩行者の状況臨界を判定し得る。たとえば、距離は、各フレームにおける歩行者までの車両の垂直距離でもよい。距離のこの推定は、車両に対する歩行者３次元体関節「Ｚ」座標（たとえば、メートル単位）の平均値を計算することによって、処理回路によって、実行される。

【0024】

処理回路は、あらゆるフレームにおける歩行者の「Ｘ」座標水平距離の変化及び水平距離ベロシティ変化による推定に基づいて、歩行者の歩行者警報を決定し得る。Ｘ座標は、歩行者３Ｄ体関節「Ｘ」座標の平均値に基づいて、処理回路によって、計算される。

【0025】

図３Ｂは、本開示のいくつかの実施例による、危険性評価歩行者属性モジュール３２０を示す。属性認識が、歩行者境界ボックスを入力し得る人畳み込みニューラル・ネットワーク３２２を実装することによって、処理回路によって、実行され得る。人畳み込みニューラル・ネットワークは、人畳み込みニューラル・ネットワークの完全接続層である人ベクトルを出力し得る。この人ベクトルは、以下のクラスのうちの１つとして歩行者を分類するために、分類器３２４に入力され得る：子、大人、年配者など。

【0026】

横断意図モジュールは、車両の軌道内の交差点及び／又は進路を横断する歩行者の意図を判定するために、処理回路によって、実装され得る。たとえば、ある種のシナリオにおいて、歩行者は、道路の端の非常に近くにいるので、危険な状態にあるが、道路を横断する意図はない（たとえば、それぞれの車両のトラックから手荷物を移動している歩行者）。

【0027】

図３Ｃは、本開示のいくつかの実施例による、歩行者横断意図モジュール３３０を示す。処理回路は、長短期メモリ「ＬＴＳＭ：Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ」リカレント型ニューラル・ネットワーク３３４に入力する体勢畳み込みニューラル・ネットワーク３３２を実装し得る。ＬＴＳＭは、体運動パターン及び胴の向きを学習し得る。ＬＴＳＭからの出力は、歩行者が横断しているのか、又は他の活動を実行しているのかを予測し得る分類器３３６（たとえば、ＳｏｆｔＭａｘ分類器）に入力される。

【0028】

危険レベルは、１つ又は複数のマシン学習モデルを、少なくともいくつかの実施例において、使用する処理回路によって実行されるコンピュータ分析から導出される定量的又は定性的測度でもよい。たとえば、マシン学習モデルは、様々な物体の軌道及び属性分類の組合せを含むデータセットでトレーニングされ得る。マシン学習モデルは、各組合せに関連する安全性データでさらにトレーニングされ得る。安全性データは、各組合せについて、衝突結果及び他の危険な結果の可能性又は見込みに関するデータ（たとえば、車両及び物体の特定のベロシティ及び指向性）を指定し得る。マシン学習モデルは、これらの組合せのそれぞれに関連する危険レベルを判定することができ得る。いくつかの実施例において、処理回路は、軌道及び１つ又は複数の属性に基づく対応する危険レベル出力を有する参照テーブルに基づいて、危険レベルを計算し得る。

【0029】

いくつかの実施例において、処理回路は、危険レベルを計算するための１つ又は複数のハードウェア・アクセラレータを、少なくとも部分的に、含み得る。たとえば、プログラマブル・ビジョン・アクセラレータ（「ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ」）が、コンピュータ・ビジョン計算を計算するために使用され得る。別の実例では、深層学習アクセラレータ（「ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ」）が、並列処理において使用されるディープ・ニュートラル・ネットワーク動作のための計算を実行するために使用され得る。具体的に、ＤＬＡは、物体軌道及び／又は物体属性を示すデータなどの入力を受信することができ、危険レベルを計算するためにマシン学習モデル（たとえば、１つ又は複数のディープ・ニューラル・ネットワーク）においてこれらの入力を実装する。いくつかの実施例において、処理回路は、危険レベルを計算するために１つ又は複数のニューラル・ネットワークを、少なくとも部分的に、使用する。ニューラル・ネットワークは、軌道を示すデータ及び１つ又は複数の属性を入力として使用する。ニューラル・ネットワークは、車両が物体との衝突コース上にあるかどうかを出力する。

【0030】

処理回路は、マシン学習モデルに１つ又は複数の入力として属性を提供し得る。適切な属性の非限定的実例は、場所属性、気象属性、又は運転条件属性のうちの１つ又は複数を含み得る。いくつかの実施例において、マシン学習モデルは、物体の他の属性を判定するために使用されるマシン学習モデルとは別個でもよい。他の実施例において、同じマシン学習モデルが、物体の属性の両方のセットを判定するために使用される。処理回路は、マシン学習モデルを使用して属性のうちの少なくとも１つに基づいて危険レベルを計算することができる。たとえば、歩行中の人及び移動中の車両が停止するためにより長い距離を必要とする、不利な気象条件、たとえば雨、が検出された場合、危険レベルは、より高くなり得る。別の実例において、より長い停止距離ももたらす、たとえば、急な上り勾配を移動中の車両など、運転条件が厳しい場合、危険レベルは、より高くなり得る。さらに別の実例では、危険レベルは、ロー・ライト状況（たとえば、夜間）の間に、より高くなり得る。この実例では、一般に、歩行者は、危険レベルを上昇させる、視覚の低下を有する。

【0031】

危険レベルは、実行されることになる対応する動作を決定するために処理回路によって使用されるマシン学習モデルによって生成される定量値でもよい。危険レベルはまた、定量値（たとえば、高い危険性、中位の危険性、低い危険性）に基づく分類でもよい。いくつかの実施例において、危険レベルは、マシン学習モデルによって使用される様々な数学的、統計的、及び／又はファジー論理演算に基づき得る。危険レベルは、１つ又は複数の対応する物体に関連して処理回路によって記憶され得る。

【0032】

図１Ａに戻ると、１０代の少年１０５が横断歩道の方を向いている及び横断歩道を渡りそうであると判定された軌道に基づいて、並びに１０代の少年はオーディオ警報を受信するのに身体的障害を有さないが低い頭部姿勢で気が散っているという分類に基づいて、処理回路は、「中位の危険性」の危険レベルを算出し得る。

【0033】

図１Ｂに戻ると、人々１１２は、横断歩道を渡ることになる方向に、走行ベロシティで移動しているという判定された軌道に基づいて、並びに人々はオーディオ警報を受信するのに身体的障害を有さない及び彼らの頭部姿勢は周囲の環境の全意識を可能にするという分類に基づいて、処理回路は、「低から中位の危険性」の危険レベルを算出し得る。

【0034】

図１Ｃに戻ると、子供たち１２２は、横断歩道を渡ることになる方向に、低速で歩いているという判定された軌道に基づいて、及び子供たちは、スクール・ゾーンにおり、彼らの恐らくの年齢範囲に基づく低い理解レベルを有する可能性があるという分類に基づいて、処理回路は、「中位から高い危険性」の危険レベルを算出し得る。

【0035】

図１Ｄに戻ると、高齢者１３４は、横断歩道を渡ることになる方向に、低速で歩いている及び犬１３５は横断歩道の開始位置の近くで予測不可能な向きに移動しているという判定された軌道に基づいて、並びに高齢者は彼らの恐らくの年齢層に基づく低下した聴力レベルを有する可能性があるという分類に基づいて、処理回路は、「高い危険性」の危険レベルを算出し得る。

【0036】

処理回路は、危険レベルの低下をもたらすために危険レベルに応じて実行されることになる動作を引き起こし得る。実行されることになる動作は、車両のより多数のハードウェア構成要素のうちの１つによって、実行され得る。たとえば、車両は、オーディオ信号出力を提供するスピーカ（たとえば、ビーム形成オーディオ信号などのオーディオ出力の指向性出力の能力を有するスピーカ）、又は光ベースの出力（たとえば、ヘッドライト、テールライト、又は車両に組み込まれた他のライト、及び／又は指向性出力のための専用ライト・ハードウェアを介する）を提供する指向性光などの伝送媒体を提供する能力を有する様々なハードウェア構成要素を備え得る。

【0037】

他の実施例において、車両は、警報を円滑に進めるために近接環境ハードウェアに、通信ネットワークを介するデータ通信を介して、命令を提供し得る。たとえば、車両は、横断歩道に近付いている歩行者に向けてオーディオ及び／又は光信号を発するように横断歩道のそばの信号柱にワイヤレス又はデータ・ネットワークを介して命令を送り得る。車両は、環境ハードウェアとの通信を可能にするために様々な通信ネットワークとインターフェースするハードウェアを備え得る。環境ハードウェアは、通信ネットワークを介して通信され得る環境内の信号機、信号柱、ネットワーク接続されたベンチ、建物、又は他のタイプのハードウェアを含み得る。

【0038】

動作を引き起こすことは、軌道及びマグニチュードの判定を含み得る。いくつかの実施例において、処理回路は、車両から物体までのリアルタイム軌道を判定し得る。リアルタイム軌道は、ベロシティ及び指向性などの車両からのデータに基づき得る。場所ポイント（たとえば、歩行者横断歩道）までの車両の外部の物体の判定された軌道などの付加的データもまた、処理回路による計算において使用され得る。処理回路は、この判定されたデータを１つ又は複数の数学的モデルにおいて使用して物体までの車両の軌道を判定し得る。たとえば、処理回路は、車両が物体との衝突コース上にある可能性を判定し得る。

【0039】

いくつかの実施例において、処理回路は、計算された危険レベルに基づいて、オーディオ信号のマグニチュードを決定し得る。たとえば、低い危険レベルは、より低いマグニチュードでのオーディオ警報と関連付けられ得る。高い危険レベルは、高い強度レベルを有する光ベースの警報を有するより高いマグニチュードでのオーディオ警報と関連付けられ得る。いくつかの実施例において、対応するマグニチュードは、指向性光ベースの警報の光源の強度と関連付けられ得る。いくつかの実施例において、マグニチュードは、オーディオ・マグニチュードと光ベースの強度との両方の組合せでもよい。いくつかの実施例において、マグニチュードと危険レベルとの関連付けは、メモリに記憶された所定のテーブルに基づき得る。いくつかの実施例において、マグニチュードと危険レベルとの関連付けは、車両外部の物体の判定された軌道及び車両の軌道を少なくとも含む入力に基づく所定の計算に基づいてリアルタイムで判定され得る。

【0040】

いくつかの実施例において、放出信号のマグニチュードと危険レベルとの関連付けの判定は、物体に関する履歴情報に関する処理回路によって受信されるリアルタイム情報に、少なくとも部分的に、基づき得る。たとえば、物体（たとえば、人）が、高いマグニチュードのオーディオで車両によって前に警告された場合、同じマグニチュード（又は増加したマグニチュード）が、使用され得る。いくつかの実施例において、物体（たとえば、人）が、１つ又は複数の他の車両によって前に警告された場合、同じマグニチュード（又は増加したマグニチュード）が、使用され得る。

【0041】

いくつかの実施例において、放出信号のマグニチュードと危険レベルとの関連付けは、車両及び／又は物体の場所に関する処理回路によって受信される環境情報に、少なくとも部分的に、基づいて、判定され得る。たとえば、車両がスクール・ゾーン内を進んでいる場合、発せられるオーディオ信号のマグニチュードは、車両がスクール・ゾーン内を進んでいなかった場合よりも高くなり得る。図１Ｃに戻ると、車両が学校環境内にあることを所与として、子供たちに向けられるオーディオ信号のマグニチュードは、より大きなボリュームになる。

【0042】

いくつかの実施例において、放出信号のマグニチュードと危険レベルとの関連付けは、車両及び／又は物体の場所に関する処理回路によって受信される補助的環境情報に、少なくとも部分的に、基づいて、判定され得る。たとえば、１つ又は複数のカメラ・センサによる処理回路が、物体のごく近傍に多数の歩行者がいると判定した場合、放出信号のマグニチュードは、具体的に物体に向かうにつれてより大きく及びより狭くビーム形成され得る。

【0043】

いくつかの実施例において、処理回路は、リアルタイム軌道及びオーディオ信号のマグニチュードに基づくビーム形成オーディオ信号の放出を引き起こすために、少なくとも、スピーカ・センサに命令を送信し得る。対応するパターンの建設的及び相殺的干渉が、波面において生み出されるように、ビーム形成オーディオ信号が、音響信号の対応する位相及び振幅を判定する処理回路によって、生成される。ビーム形成信号の送信内の目標エリアは、信号の全マグニチュードを受信する。ビーム形成信号の送信の目標エリア外では、信号は、減衰される。したがって、ビーム形成された送信の意図された目標のみが、意図されたマグニチュードで信号を受信する。いくつかの実施例において、処理回路は、ビーム形成オーディオ信号を発するために車両のスピーカ・センサの配列を使用し得る。スピーカの配列は、ビーム形成オーディオ・スピーカを特定の指向性で車両外部の物体に向けるために、それぞれの位相及び振幅値でそれぞれ構成される。いくつかの実施例において、スピーカの配列は、ネットワーク接続された環境ハードウェアのスピーカ・センサ（たとえば、交差点にある１つ又は複数のスピーカ・センサを有する信号柱）を含み得る。他の実施例において、スピーカの配列は、処理回路によって操作される現在の車両と通信可能なように連結された別の車両の１つ又は複数のスピーカ・センサを含む。たとえば、第２の車両にごく接近して運転している、第１の車両は、共通の物体に放出するためのオーディオ信号（対応する位相及び振幅値を有する）を発するために、共有ネットワークを介して第２の車両に命令を送り得る。図１Ａに戻ると、ビーム形成オーディオ信号１０９は、１０代の少年に向けられている。ビーム形成オーディオ信号１０９は、陰影付きのゾーンの外では減衰される。類似して、図１Ｂ及び１Ｃで、ビーム形成オーディオ信号１０９は、それぞれ、走っている人々１１２及び歩いている子供たち１２２に向けられている。前述のように、ビーム形成オーディオ信号の放出は、車両又はネットワーク通信環境ハードウェア（たとえば、組み込まれたスピーカ・センサを有する信号機）からでもよい。いくつかの実施例において、指向性オーディオ信号は、物体（たとえば、人）に向けられる。

【0044】

図４は、本開示のいくつかの実施例による、例示的ビーム形成オーディオ信号放出４００を示す。処理回路は、前述のように車両に対する危険にさらされている歩行者の位置を判定する。処理回路は、危険にさらされている歩行者の方向にビームを進ませるためのビーム形成アルゴリズムを実装するスピーカ・センサを介してビーム形成オーディオ信号を放出させる。ビーム・ステアリングは、異なるスピーカからの異なる遅延を有して同じオーディオ信号を再生することによって、達成されることになる。この技法は、範囲内の任意の判定された距離におけるオーディオ信号の指示を可能にする。これは、危険にさらされている歩行者のみが、完全強度を有するオーディオ信号を聞くことになり、一方、そのエリア内の他のどの人も、より小さい振幅のトーンを聞くことになることを確実にすることになる。いくつかの実施例において、歩行者が、行動の変化なしに進み続ける（たとえば、頭部姿勢、体勢、が、同じ運動進路をたどり続ける）場合、オーディオ信号マグニチュードは、増やされ得る。

【0045】

いくつかの実施例において、処理回路は、リアルタイム軌道及び光ベースの強度に基づいて指向性光放出を引き起こすために、少なくとも、光源に命令を送信し得る。いくつかの実施例において、指向性光信号は、物体（たとえば、人）に向けられる。

【0046】

いくつかの実施例において、指向性オーディオ信号は、複数の別個の周波数構成要素を含む。たとえば、別個の周波数構成要素は、物体の固有の受信周波数の範囲に基づいて最大限の受信を達成するために、意図された信号受信者の判定された属性、特徴、又はタイプに基づいて、判定され得る。図１Ｄに戻ると、高齢者１３４は、犬１３５とともに横断歩道１０６に近付いている。意図される受信者は、通常は２０Ｈｚ～２０ｋＨｚの範囲内のオーディオ信号を受信することができる（推論された）高齢者を含むが、犬は、通常は４０Ｈｚ～６０ｋＨｚの範囲内の固有の聴力周波数応答を有する意図される受信者である。たとえば、処理回路は、２つの別個の周波数構成要素を放出するようにスピーカ・センサに命令を送信し得る：（１）人間受信者向けの８０～１００Ｈｚ「ビープ音」）、及び（２）受信者としての犬向けの４０ｋＨｚ笛タイプの放出。図１Ｄに示すように、第１の放出１３２は高齢者の方に向けられ、第２の放出は、犬１３６の方に向けられた、複数の放出が、生み出される。いくつかの実施例において、別個の周波数構成要素が、同時に放出される。他の実施例において、別個の周波数構成要素が、同時ではなく放出される。

【0047】

いくつかの実施例において、処理回路は、様々なタイプのオーディオ信号のうちのオーディオ信号の放出を引き起こすためにスピーカ・センサに命令を送信し得る。いくつかの実施例において、オーディオ信号は、警告トーン（たとえば、ビープ音、警笛音、持続トーンなど）でもよい。いくつかの実施例において、オーディオ信号は、警戒音声メッセージ（たとえば、「警報！」、「注意！」、「危険！」、「横断歩道で待て！」、「止まれ！」など）でもよい。いくつかの実施例において、オーディオ信号は、物体の判定された属性に基づき得る。図１Ａに戻ると、車両によって放出されたオーディオ信号は、「あなたの電話から顔を上げて周囲を意識して下さい！」と述べる１０代の少年に向けられた音声メッセージでもよい。音声メッセージが、音声生成器へのテキストから生み出され得、そのキーワードは、物体の判定された属性に基づき得る。

【0048】

図５Ａは、本開示のいくつかの実施例による、例示的自律型車両５００の図である。自律型車両５００（或いは本明細書で「車両５００」と称される）は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び／又は別のタイプの車両（たとえば、無人の及び／又は１人若しくは複数の乗客を乗せた）、を含み得るが、これらに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局（ＮＨＴＳＡ：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、米国運輸省の部署、及び自動車技術者協会（ＳＡＥ：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）「Ｔａｘｏｎｏｍｙ ａｎｄ Ｄｅｆｉｎｉｔｉｏｎｓ ｆｏｒ Ｔｅｒｍｓ Ｒｅｌａｔｅｄ ｔｏ Ｄｒｉｖｉｎｇ Ａｕｔｏｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｏｎ－Ｒｏａｄ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」（２０１８年６月１５日に公開された規格番号Ｊ３０１６－２０１８０６、２０１６年９月３０日に公開された規格番号Ｊ３０１６－２０１６０９、及びこの規格の前の及び未来のバージョン）によって定義される、自動化レベルに関して記述される。車両５００は、自律運転レベルのレベル３～レベル５のうちの１つ又は複数による機能の能力を有し得る。たとえば、車両５００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）の能力を有し得る。

【0049】

車両５００は、車両のシャシ、車体、車輪（たとえば、２、４、６、８、１８など）、タイヤ、車軸、及び他の構成要素などの構成要素を含み得る。車両５００は、内部燃焼エンジン、ハイブリッド動力装置、完全な電気式エンジン、及び／又は別の推進システム・タイプなど、推進システム５５０を含み得る。推進システム５５０は、車両５００の推進力を有効にするために、トランスミッションを含み得る、車両５００のドライブ・トレインに接続され得る。推進システム５５０は、スロットル／加速装置５５２からの信号の受信に応答して制御され得る。

【0050】

ハンドルを含み得る、ステアリング・システム５５４は、推進システム５５０が動作しているときに（たとえば、車両が移動中のときに）車両５００のかじを取る（たとえば、所望の進路又はルートに沿って）ために使用され得る。ステアリング・システム５５４は、ステアリング・アクチュエータ５５６から信号を受信することができる。ハンドルは、完全自動化（レベル５）機能のオプションでもよい。

【0051】

ブレーキ・センサ・システム５４６は、ブレーキ・アクチュエータ５４８及び／又はブレーキ・センサからの信号の受信に応答して車両ブレーキを動作させるために使用され得る。
１つ又は複数のＣＰＵ、システム・オン・チップ（ＳｏＣ：ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）５０４（図５Ｃ）及び／又はＧＰＵを含み得る、コントローラ５３６は、車両５００の１つ若しくは複数の構成要素及び／又はシステムに信号（たとえば、コマンドの表現）を提供することができる。たとえば、コントローラは、１つ又は複数のブレーキ・アクチュエータ５４８を介して車両ブレーキを動作させるために、１つ又は複数のステアリング・アクチュエータ５５６を介してステアリング・システム５５４を動作させるために、及び／或いは１つ又は複数のスロットル／加速装置５５２を介して推進システム５５０を動作させるために、信号を送ることができる。コントローラ５３６は、センサ信号を処理する、並びに律的運転を可能にするために及び／又は運転者の車両５００の運転を支援するために動作コマンド（たとえば、コマンドを表す信号）を出力する、１つ又は複数の搭載された（たとえば、統合された）計算デバイス（たとえば、スーパーコンピュータ）を含み得る。コントローラ５３６は、自律運転機能のための第１のコントローラ５３６、機能的安全性機能のための第２のコントローラ５３６、人工知能機能（たとえば、コンピュータ・ビジョン）のための第３のコントローラ５３６、インフォテインメント機能のための第４のコントローラ５３６、緊急状態における冗長性のための第５のコントローラ５３６、及び／又は他のコントローラを含み得る。いくつかの実例では、単一のコントローラ５３６が、前述の機能のうちの２個以上を処理することができ、２個以上のコントローラ５３６が、単一の機能、及び／又はその任意の組合せを処理することができる。

【0052】

コントローラ５３６は、１つ又は複数のセンサから受信したセンサ・データ（たとえば、センサ入力）に応答して車両５００の１つ若しくは複数の構成要素及び／又はシステムを制御するための信号を提供することができる。センサ・データは、たとえば、そして制限なしに、全地球的航法衛星システム・センサ５５８（たとえば、グローバル・ポジショニング・システム・センサ）、ＲＡＤＡＲセンサ５６０、超音波センサ５６２、ＬＩＤＡＲセンサ５６４、慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ５６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン５９６、ステレオ・カメラ５６８、ワイドビュー・カメラ５７０（たとえば、魚眼カメラ）、赤外線カメラ５７２、サラウンド・カメラ５７４（たとえば、３６０度カメラ）、長距離及び／又は中距離カメラ５９８、スピード・センサ５４４（たとえば、車両５００のスピードを測定するための）、振動センサ５４２、ステアリング・センサ５４０、ブレーキ・センサ５４６（たとえば、ブレーキ・センサ・システム５４６の一部としての）、及び／又は他のセンサ・タイプから受信され得る。

【0053】

コントローラ５３６のうちの１つ又は複数のコントローラは、車両５００の計器群５３２から入力（たとえば、入力データによって表される）を受信し、出力（たとえば、出力データ、表示データなどによって表される）をヒューマン・マシン・インターフェース（ＨＭＩ：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ５３４、可聴式アナンシエータ、ラウドスピーカ、及び／又は車両５００の他の構成要素を介して提供することができる。出力は、車両ベロシティ、スピード、時間、マップ・データ（たとえば、図５ＣのＨＤマップ５２２）、位置データ（たとえば、マップ上などの、車両５００の位置）、方向、他の車両の位置（たとえば、占有グリッド）、コントローラ５３６によって把握されるものとしての物体及び物体の状況に関する情報などの、情報を含み得る。たとえば、ＨＭＩディスプレイ５３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、交通信号の変化など）の存在、及び／又は車両が行った、行っている、又は行うであろう運転操作（たとえば、今、車線変更をしていること、３．２２ｋｍ（２マイル）内の出口３４Ｂを出ることなど）に関する情報を表示することができる。

【0054】

車両５００はさらに、１つ若しくは複数のワイヤレス・アンテナ５２６及び／又はモデムを使用して１つ若しくは複数のネットワークを介して通信することができるネットワーク・インターフェース５２４を含む。たとえば、ネットワーク・インターフェース５２４は、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００などを介する通信の能力を有し得る。ワイヤレス・アンテナ５２６はまた、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅなどのローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどのロー・パワー・ワイドエリア・ネットワーク（ＬＰＷＡＮ：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用し、環境内の物体（たとえば、車両、モバイル・デバイスなど）の間の通信を可能にすることができる。

【0055】

図５Ｂは、本開示のいくつかの実施例による、図５Ａの例示的自律型車両５００のカメラ位置及び視野の実例である。カメラ及びそれぞれの視野は、１つの例示的実施例であり、制限することは意図されていない。たとえば、追加の及び／又は代替カメラが含まれ得る、及び／又はカメラは車両５００の異なる位置に置かれ得る。

【0056】

カメラのカメラ・タイプは、車両５００の構成要素及び／又はシステムと使用するようになされ得るデジタル・カメラを含み得るが、これに限定されない。カメラは、自動車安全整合性レベル（ＡＳＩＬ：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂにおいて及び／又は別のＡＳＩＬにおいて動作することができる。カメラ・タイプは、実施例に応じて、６０フレーム／秒（ｆｐｓ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートの能力を有し得る。カメラは、ロール・シャッタ、グローバル・シャッタ、別のタイプのシャッタ、又はその組合せを使用する能力を有し得る。いくつかの実例では、カラー・フィルタ・アレイは、ＲＣＣＣ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）カラー・フィルタ・アレイ、ＲＣＣＢ（ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ）カラー・フィルタ・アレイ、ＲＢＧＣ（ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）カラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３カラー・フィルタ・アレイ、Ｂａｙｅｒセンサ（ＲＧＧＢ）カラー・フィルタ・アレイ、モノクロ・センサ・カラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。一部の実施例では、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣカラー・フィルタ・アレイを有するカメラなどのクリア画素カメラは、光感度を上げるための取り組みにおいて使用され得る。

【0057】

いくつかの実例では、カメラのうちの１つ又は複数が、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能（たとえば、冗長又はフェイルセーフ設計の一部として）を実行するために使用され得る。たとえば、多機能モノ・カメラは、車線逸脱警報、交通標識アシスト及びインテリジェント・ヘッドランプ制御を含む機能を提供するために設置され得る。カメラのうちの１つ又は複数（たとえば、すべてのカメラ）が、画像データ（たとえば、ビデオ）を同時に記録及び提供することができる。

【0058】

カメラのうちの１つ又は複数は、カメラの画像データ・キャプチャ能力を妨げることがある自動車内からの迷光及び反射（たとえば、フロントガラスのミラーにおいて反射されたダッシュボードからの反射）を取り除くために、カスタム設計された（３Ｄ印刷された）部品などの取付部品において取り付けられ得る。サイドミラー取付部品を参照すると、サイドミラー部品は、カメラ取付板がサイドミラーの形状に合うように、カスタム３Ｄ印刷され得る。いくつかの実例では、カメラは、サイドミラー内に統合され得る。サイドビュー・カメラについては、カメラはまた、キャビンの各角にある４個の支柱内に統合され得る。

【0059】

車両５００の前の環境の部分を含む視野を有するカメラ（たとえば、前向きのカメラ）は、前向きの進路及び障害物の識別を助け、１つ若しくは複数のコントローラ５３６及び／又は制御ＳｏＣの助けにより、占有グリッドの生成及び／又は好ましい車両進路の決定に不可欠な情報の提供の提供を助けるための、サラウンド・ビューのために使用され得る。前向きのカメラは、緊急ブレーキ、歩行者検出、及び衝突回避を含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実行するために使用され得る。前向きのカメラはまた、車線逸脱警報（「ＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）」）、自律的クルーズ制御（「ＡＣＣ（Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）」）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。

【0060】

様々なカメラが、たとえば、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カラー画像化装置を含む単眼カメラ・プラットフォームを含む、前向きの構成において使用され得る。別の実例は、周辺（たとえば、歩行者、交差する交通又は自転車）からのビューに入る物体を把握するために使用され得るワイドビュー・カメラ５７０でもよい。図５Ｂにはワイドビュー・カメラは１つだけ示されているが、車両５００には任意の数のワイドビュー・カメラ５７０が存在し得る。加えて、長距離カメラ５９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が、特に、ニューラル・ネットワークがまだトレーニングされていない物体について、深度ベースの物体検出のために使用され得る。長距離カメラ５９８はまた、物体検出及び分類、並びに基本物体追跡のために使用され得る。

【0061】

１つ又は複数のステレオ・カメラ５６８もまた、前向きの構成に含まれ得る。ステレオ・カメラ５６８は、単一のチップ上に統合されたＣＡＮ又はイーサネット（登録商標）・インターフェースを有するプログラマブル論理（たとえば、ＦＰＧＡ）及びマルチコア・マイクロプロセッサを提供し得る、拡張可能な処理ユニットを備えた統合された制御ユニットを含み得る。そのようなユニットは、画像内のすべてのポイントの距離推定値を含む、車両の環境の３Ｄマップを生成するために使用され得る。代替ステレオ・カメラ５６８は、２個のカメラ・レンズ（左と右に１つずつ）と、車両から対象物体までの距離を測定する及び生成された情報（たとえば、メタデータ）を使用して自律的緊急ブレーキ及び車線逸脱警報機能をアクティブにすることができる画像処理チップとを含み得る、コンパクト・ステレオ・ビジョン・センサを含み得る。他のタイプのステレオ・カメラ５６８が、本明細書に記載のものに加えて、又はそれらの代わりに、使用されてもよい。

【0062】

車両５００の側面に対する環境の部分を含む視野を有するカメラ（たとえば、サイドビュー・カメラ）が、占有グリッドを作成及び更新するために並びに側面衝撃衝突警報を生成するために使用される情報を提供する、サラウンド・ビューのために使用され得る。たとえば、サラウンド・カメラ５７４（たとえば、図５Ｂに示されるような４個のサラウンド・カメラ５７４）は、車両５００の周りに位置付けられ得る。サラウンド・カメラ５７４は、ワイドビュー・カメラ５７０、魚眼カメラ、３６０度カメラ、及び／又は同類のものを含み得る。たとえば、４個の魚眼カメラが、車両の前、後ろ、及び側面に配置され得る。代替配置において、車両は、３個のサラウンド・カメラ５７４（たとえば、左、右、及び後部）を使用してもよく、第４のサラウンド・ビュー・カメラとして１つ又は複数の他のカメラ（たとえば、前向きのカメラ）を活用してもよい。

【0063】

車両５００の後ろに対する環境の部分を含む視野を有するカメラ（たとえば、後方確認カメラ）が、駐車支援、サラウンド・ビュー、後部衝突警報、並びに占有グリッドの作成及び更新のために使用され得る。本明細書に記載のように、前向きのカメラ（たとえば、長距離及び／又は中距離カメラ５９８、ステレオ・カメラ５６８）、赤外線カメラ５７２など）としても適したカメラを含むがこれらに限定されない、多種多様なカメラが使用され得る。

【0064】

車両５００の室内又はキャビンの部分を含む視界を有するカメラが、キャビン内の運転者、乗客、又は物体の１つ又は複数の状態をモニタするために使用され得る。本明細書に記載の任意のタイプのカメラでもよい、及びそのキャビン又は室内のビューを提供する車両５００上又は内のどこかに配置され得る、キャビン・カメラ５４１を含むが、これに限定されない、任意のタイプのカメラが、使用され得る。たとえば、キャビン・カメラ５４１は、車両５００のダッシュボード、リア・ビュー・ミラー、サイド・ビュー・ミラー、シート、又はドアの何らかの部分内に又は上に配置され得、任意の運転者、乗客、又は車両５００の任意の他の物体若しくは部分の画像をキャプチャするために方向付けられ得る。

【0065】

図５Ｃは、本開示のいくつかの実施例による、図５Ａの例示的自律型車両５００の例示的システム・アーキテクチャのブロック図である。本明細書に記載されているこの及び他の配置は単に実例として説明されていることを理解されたい。他の配置及び要素（たとえば、マシン、インターフェース、機能、順番、機能のグループ分けなど）が、示されたものに加えて又はこれらに代わって使用されてもよく、いくつかの要素はともに除外されてもよい。さらに、本明細書に記載の要素の多くは、個別の又は分散された構成要素として又は他の構成要素と併せて、並びに任意の適切な組合せ及び場所において、実装され得る機能エンティティである。エンティティによって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、及び／又はソフトウェアによって実施され得る。たとえば、様々な機能が、メモリに記憶された命令を実行するプロセッサによって実施され得る。

【0066】

図５Ｃの車両５００の構成要素、特徴、及びシステムのそれぞれは、バス５０２を介して接続されるものとして図示されている。バス５０２は、コントローラ・エリア・ネットワーク（ＣＡＮ）データ・インターフェース（或いは、「ＣＡＮバス」と称される）を含み得る。ＣＡＮは、ブレーキ、加速度、ブレーキ、ステアリング、フロント・ガラス・ワイパなどの作動など、車両５００の様々な特徴及び機能の制御を助けるために使用される車両５００内のネットワークでもよい。ＣＡＮバスは、それぞれが独自の一意の識別子（たとえば、ＣＡＮ ＩＤ）を有する、数ダース又は数百ものノードを有するように構成され得る。ＣＡＮバスは、ハンドル角度、対地速度、１分間のエンジン回転（ＲＰＭ：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両状況指標を見つけるために読み取られ得る。ＣＡＮバスは、ＡＳＩＬ Ｂ準拠でもよい。

【0067】

バス５０２は、ＣＡＮバスであるものとして本明細書に記載されているが、これは制限することを意図されていない。たとえば、ＣＡＮバスに加えて、又はこのその代替として、ＦｌｅｘＲａｙ及び／又はイーサネット（登録商標）が使用されてもよい。加えて、単一の線が、バス５０２を表すために使用されているが、これは制限することを意図されていない。たとえば、１つ若しくは複数のＣＡＮバス、１つ若しくは複数のＦｌｅｘＲａｙバス、１つ若しくは複数のイーサネット（登録商標）・バス、及び／又は異なるプロトコルを使用する１つ若しくは複数の他のタイプのバスを含み得る、任意の数のバス５０２が存在し得る。いくつかの実例では、２個以上のバス５０２が、異なる機能を実行するために使用され得る、及び／又は冗長性のために使用され得る。たとえば、第１のバス５０２は衝突回避機能のために使用されてもよく、第２のバス５０２は作動制御のために使用されてもよい。任意の実例において、各バス５０２は、車両５００の構成要素のいずれかと通信し得、２個以上のバス５０２が同じ構成要素と通信し得る。いくつかの実例では、車両内の各ＳｏＣ５０４、各コントローラ５３６、及び／又は各コンピュータは、同じ入力データ（たとえば、車両５００のセンサからの入力）へのアクセスを有し得、ＣＡＮバスなどの共通バスに接続され得る。

【0068】

車両５００は、図５Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ５３６を含み得る。コントローラ５３６は、様々な機能のために使用され得る。コントローラ５３６は、車両５００の様々な他の構成要素及びシステムのいずれかに連結されてもよく、車両５００、車両５００の人工知能、車両５００のためのインフォテインメント、及び／又は同類のものの制御のために使用され得る。

【0069】

車両５００は、システム・オン・チップ（ＳｏＣ）５０４を含み得る。ＳｏＣ５０４は、ＣＰＵ５０６、ＧＰＵ５０８、プロセッサ５１０、キャッシュ５１２、加速装置５１４、データ・ストア５１６、及び／又は図示されていない他の構成要素及び特徴を含み得る。ＳｏＣ５０４は、様々なプラットフォーム及びシステム内の車両５００を制御するために使用され得る。たとえば、ＳｏＣ５０４は、１つ又は複数のサーバ（たとえば、図５Ｄのサーバ５７８）からネットワーク・インターフェース５２４を介してマップのリフレッシュ及び／又は更新を取得することができるＨＤマップ５２２を有するシステム（たとえば、車両５００のシステム）において結合され得る。

【0070】

ＣＰＵ５０６は、ＣＰＵクラスタ又はＣＰＵ複合体（或いは、「ＣＣＰＬＥＸ」とも称される）を含み得る。ＣＰＵ５０６は、複数のコア及び／又はＬ２キャッシュを含み得る。たとえば、一部の実施例では、ＣＰＵ５０６は、コヒーレント・マルチプロセッサ構成内の８個のコアを含み得る。一部の実施例では、ＣＰＵ５０６は、４個のデュアルコア・クラスタを含むことができ、各クラスタが専用のＬ２キャッシュ（たとえば、２ＭＢＬ２キャッシュ）を有する。ＣＰＵ５０６（たとえば、ＣＣＰＬＥＸ）は、ＣＰＵ５０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時クラスタ動作をサポートするように構成され得る。

【0071】

ＣＰＵ５０６は、以下の特徴のうちの１つ又は複数を含む電力管理能力を実装することができる：個別ハードウェア・ブロックが、動的電力を節約するためにアイドル状態のときに自動的にクロック・ゲーティングされ得る、各コア・クロックは、ＷＦＩ／ＷＦＥ命令の実行により命令をコアがアクティブに実行していないときにゲーティングされ得る、各コアは、独立してパワー・ゲーティングされ得る、各コア・クラスタは、すべてのコアがクロック・ゲーティングされる若しくはパワー・ゲーティングされるときに、独立してクロック・ゲーティングされ得る、及び／又は、各コア・クラスタは、すべてのコアがパワー・ゲーティングされるときに、独立してパワー・ゲーティングされ得る。ＣＰＵ５０６は、電力状態を管理するための強化されたアルゴリズムをさらに実装することができ、そこでは、許容される電力状態及び予想されるウェイクアップ時間が指定され、ハードウェア／マイクロ・コードが、コア、クラスタ、及びＣＣＰＬＥＸに入力するための最良の電力状態を決定する。処理コアは、作業がマイクロ・コードにオフロードされたソフトウェアにおける簡略化された電力状態入力シーケンスをサポートすることができる。

【0072】

ＧＰＵ５０８は、統合されたＧＰＵ（或いは本明細書において「ｉＧＰＵ」と称される）を含み得る。ＧＰＵ５０８は、プログラマブルになり得、並行のワークロードに効率的になり得る。一部の実例では、ＧＰＵ５０８は、強化されたテンソル命令セットを使用することができる。ＧＰＵ５０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、そこで、各ストリーミング・マイクロプロセッサは、Ｌ１キャッシュ（たとえば、少なくとも９６ＫＢ記憶容量を有するＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２個以上が、キャッシュ（たとえば、５１２ＫＢ記憶容量を有するＬ２キャッシュ）を共用し得る。一部の実施例では、ＧＰＵ５０８は、少なくとも８個のストリーミング・マイクロプロセッサを含み得る。ＧＰＵ５０８は、コンピュータベースのアプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用することができる。加えて、ＧＰＵ５０８は、１つ若しくは複数の並行のコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用することができる。

【0073】

ＧＰＵ５０８は、自動車の及び組み込まれた使用事例における最高のパフォーマンスのために電力最適化され得る。たとえば、ＧＰＵ５０８は、ＦｉｎＦＥＴ（Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上に製造され得る。しかしながら、これは制限することを意図されておらず、ＧＰＵ５０８は、他の半導体製造プロセスを使用し、製造され得る。各ストリーミング・マイクロプロセッサは、複数のブロックに区切られたいくつかの混合精度処理コアを組み込むことができる。限定ではなく、たとえば、６４ ＰＦ３２コア及び３２ ＰＦ６４コアは、４個の処理ブロックに区切られてもよい。そのような実例では、各処理ブロックは、１６ ＦＰ３２コア、８ ＦＰ６４コア、１６ ＩＮＴ３２コア、深層学習行列演算のための２個の混合精度ＮＶＩＤＩＡテンソル・コア、Ｌ０命令キャッシュ、ワープ・スケジューラ、発送ユニット、及び／又は６４ＫＢレジスタ・ファイルを割り当てられ得る。加えて、ストリーミング・マイクロプロセッサは、計算及びアドレス指定演算の混合を有するワークロードの効率的な実行を提供するための独立した並行の整数及び浮動小数点データ進路を含み得る。ストリーミング・マイクロプロセッサは、並行スレッドの間のより高い細粒度の同期及び連携を可能にするために、独立したスレッド・スケジューリング能力を含み得る。ストリーミング・マイクロプロセッサは、プログラミングを単純化しつつ性能を向上させるために、結合されたＬ１データ・キャッシュ及び共用メモリ・ユニットを含み得る。

【0074】

ＧＰＵ５０８は、一部の実例では、９００ＧＢ／秒のピーク・メモリ帯域幅に関して、提供するための高帯域幅メモリ（ＨＢＭ：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢＨＢＭ２メモリ・サブシステムを含み得る。いくつかの実例では、ＨＢＭメモリに加えて、又はこれの代わりに、グラフィックス・ダブル・データ・レート・タイプ５同期ランダム・アクセス・メモリ（ＧＤＤＲ５：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ ｓｙｎｃｈｒｏｎｏｕｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの同期グラフィックス・ランダム・アクセス・メモリ（ＳＧＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。

【0075】

ＧＰＵ５０８は、メモリ・ページに最も頻繁にアクセスするプロセッサへのそれらのメモリ・ページのより正確な移動を可能にするためにアクセス・カウンタを含む統一されたメモリ技術を含むことができ、それにより、プロセッサ間で共用される記憶範囲の効率を向上させる。いくつかの実例では、アドレス変換サービス（ＡＴＳ：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが、ＧＰＵ５０８がＣＰＵ５０６ページ・テーブルに直接アクセスすることを可能にするために使用され得る。そのような実例では、ＧＰＵ５０８メモリ管理ユニット（ＭＭＵ：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスを経験するとき、アドレス変換要求が、ＣＰＵ５０６に送信され得る。応答して、ＣＰＵ５０６は、アドレスの仮想対現実マッピングのためのそのページ・テーブルを調べることができ、ＧＰＵ５０８に変換を送り返す。そのようなものとして、統一されたメモリ技術は、ＣＰＵ５０６とＧＰＵ５０８との両方のメモリの単一統一仮想アドレス空間を可能にすることができ、それによりＧＰＵ５０８へのアプリケーションのＧＰＵ５０８プログラミング及び移植を単純化する。

【0076】

加えて、ＧＰＵ５０８は、他のプロセッサのメモリへのＧＰＵ５０８のアクセスの頻度を記録することができるアクセス・カウンタを含み得る。アクセス・カウンタは、メモリ・ページが最も頻繁にそのページにアクセスしているプロセッサの物理メモリに移動されることを確実にするのを助けることができる。

【0077】

ＳｏＣ５０４は、本明細書に記載のものを含む任意の数のキャッシュ５１２を含み得る。たとえば、キャッシュ５１２は、ＣＰＵ５０６とＧＰＵ５０８との両方に利用可能な（たとえば、ＣＰＵ５０６とＧＰＵ５０８との両方に接続された）Ｌ３キャッシュを含み得る。キャッシュ５１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、線の状態を記録することができるライトバック・キャッシュを含み得る。Ｌ３キャッシュは、より小さいキャッシュ・サイズが使用されてもよいが、実施例に応じて、４ＭＢ以上を含み得る。

【0078】

ＳｏＣ５０４は、車両５００の様々なタスク又は動作のいずれか（たとえば、処理ＤＮＮ）に関して処理を実行する際に活用され得る論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含み得る。加えて、ＳｏＣ５０４は、システム内で数学演算を実行するための浮動小数点演算ユニット（ＦＰＵ：ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）（又は他のマス・コプロセッサ又は数値演算コプロセッサ・タイプ）を含み得る。たとえば、ＳｏＣ１０４は、ＣＰＵ５０６及び／又はＧＰＵ５０８内の実行ユニットとして統合された１つ又は複数のＦＰＵを含み得る。

【0079】

ＳｏＣ５０４は、１つ又は複数の加速装置５１４（たとえば、ハードウェア・加速装置、ソフトウェア・加速装置、又はその組合せ）を含み得る。たとえば、ＳｏＣ５０４は、最適化されたハードウェア加速装置及び／又は大きなオンチップ・メモリを含み得る、ハードウェア加速クラスタを含み得る。大きなオンチップメモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタがニューラル・ネットワーク及び他の演算を加速することを可能にし得る。ハードウェア加速クラスタは、ＧＰＵ５０８を補完するために及びＧＰＵ５０８のタスクの一部をオフロードするために（たとえば、他のタスクを実行するためのＧＰＵ５０８のより多くのサイクルを解放するために）使用され得る。一実例として、加速装置５１４は、加速に適するように十分に安定している対象ワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために使用され得る。本明細書では、「ＣＮＮ」という用語は、領域ベースの又は領域的畳み込みニューラル・ネットワーク（ＲＣＮＮ：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高速ＲＣＮＮ（たとえば、物体検出のために使用されるものとしての）を含む、すべてのタイプのＣＮＮを含み得る。

【0080】

加速装置５１４（たとえば、ハードウェア加速クラスタ）は、深層学習加速装置（ＤＬＡ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＤＬＡは、深層学習アプリケーション及び推論のために１秒あたり追加の１０兆の動作を提供するように構成することができる１つ又は複数のテンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る。ＴＰＵは、画像処理機能（たとえば、ＣＮＮ、ＲＣＮＮなどの）を実行するように構成及び最適化された加速装置でもよい。ＤＬＡはさらに、特定のセットのニューラル・ネットワーク・タイプ及び浮動小数点演算、並びに推論のために最適化され得る。ＤＬＡの設計は、汎用ＧＰＵよりも１ミリメートルあたりより多くのパフォーマンスを提供することができ、ＣＰＵのパフォーマンスを大きく超える。ＴＰＵは、たとえば、特徴と重みとの両方についてＩＮＴ８、ＩＮＴ１６、及びＦＰ１６データ・タイプをサポートする、単一インスタンス畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実行することができる。

【0081】

ＤＬＡは、以下を含むがこれらに限定されない、様々な機能のいずれかのために処理済み又は未処理のデータでニューラル・ネットワーク、特にＣＮＮ、を迅速に及び効率的に実行することができる：カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォンからのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、及び／又は、セキュリティ及び／又は安全性関連イベントのためのＣＮＮ。

【0082】

ＤＬＡは、ＧＰＵ５０８の任意の機能を実行することができ、そして、推論加速装置を使用することによって、たとえば、設計者は、任意の機能のためにＤＬＡ又はＧＰＵ５０８のいずれかを対象にすることができる。たとえば、設計者は、ＤＬＡ上のＣＮＮ及び浮動小数点演算の処理に重点的に取り組み、他の機能をＧＰＵ５０８及び／又は他の加速装置５１４に任せることができる。

【0083】

加速装置５１４（たとえば、ハードウェア加速クラスタ）は、或いはコンピュータ・ビジョン加速装置と本明細書で称され得るプログラマブル・ビジョン加速装置（ＰＶＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。ＰＶＡは、高度運転者支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、自律運転、及び／又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）及び／又は仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーションのためのコンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。ＰＶＡは、パフォーマンスと柔軟性との間のバランスをもたらすことができる。たとえば、各ＰＶＡは、たとえば、任意の数の縮小命令セット・コンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、直接メモリ・アクセス（ＤＭＡ：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得るが、これらに限定されない。

【0084】

ＲＩＳＣコアは、画像センサ（たとえば、本明細書に記載のカメラのうちのいずれかのカメラの画像センサ）、画像信号プロセッサ、及び／又は同類のものと相互作用することができる。それぞれのＲＩＳＣコアは、任意の量のメモリを含み得る。ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用することができる。いくつかの実例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（ＲＴＯＳ：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行することができる。ＲＩＳＣコアは、１つ若しくは複数の集積回路デバイス、特定用途向け集積回路（ＡＳＩＣ）、及び／又はメモリ・デバイスを使用して、実装され得る。たとえば、ＲＩＳＣコアは、命令キャッシュ及び／又はしっかりと結合されたＲＡＭを含み得る。

【0085】

ＤＭＡは、ＣＰＵ５０６から独立したシステム・メモリにＰＶＡの構成要素がアクセスすることを可能にし得る。ＤＭＡは、多次元アドレス指定及び／又は循環アドレス指定をサポートすることを含むがこれに限定されないＰＶＡに最適化をもたらすために使用される任意の数の特徴をサポートすることができる。いくつかの実例では、ＤＭＡは、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る、６次元まで又はそれ以上のアドレス指定をサポートすることができる。

【0086】

ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのプログラミングを効率的に柔軟に実行する及び信号処理能力を提供するように設計され得るプログラマブル・プロセッサでもよい。いくつかの実例では、ＰＶＡは、ＰＶＡコア及び２個のベクトル処理サブシステム・パーティションを含み得る。ＰＶＡコアは、プロセッサ・サブシステム、ＤＭＡエンジン（たとえば、２個のＤＭＡエンジン）、及び／又は他の周辺装置を含み得る。ベクトル処理サブシステムは、ＰＶＡの１次的処理エンジンとして動作することができ、ベクトル処理ユニット（ＶＰＵ：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、ＶＭＥＭ）を含み得る。ＶＰＵコアは、たとえば、単一の命令、複数のデータ（ＳＩＭＤ）、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）デジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。ＳＩＭＤ及びＶＬＩＷの組合せは、スループット及びスピードを高めることができる。

【0087】

それぞれのベクトル・プロセッサは、命令キャッシュを含み得、専用のメモリに連結され得る。結果として、一部の実例では、それぞれのベクトル・プロセッサは、他のベクトル・プロセッサから独立して実行するように構成され得る。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、データ並列処理を用いるように構成され得る。たとえば、一部の実施例では、単一のＰＶＡに含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、しかし画像の異なる領域上で、実行することができる。他の実例において、特定のＰＶＡに含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを、同じ画像上で、同時に実行することができ、或いは順次画像又は画像の部分で異なるアルゴリズムを実行することさえできる。特に、任意の数のＰＶＡは、ハードウェア加速クラスタに含まれ得、任意の数のベクトル・プロセッサは、それぞれのＰＶＡに含まれ得る。加えて、ＰＶＡは、全体的システム安全性を高めるために、追加のエラー訂正コード（ＥＣＣ：ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｎｇ ｃｏｄｅ）メモリを含み得る。

【0088】

加速装置５１４（たとえば、ハードウェア加速クラスタ）は、加速装置５１４のための高帯域幅、低レイテンシＳＲＡＭを提供するための、コンピュータ・ビジョン・ネットワーク・オンチップ及びＳＲＡＭを含み得る。いくつかの実例では、オンチップ・メモリは、たとえば、そして制限ではなく、ＰＶＡとＤＬＡとの両方によってアクセス可能でもよい、８個のフィールド構成可能なメモリ・ブロックから成る、少なくとも４ＭＢのＳＲＡＭを含み得る。各ペアのメモリ・ブロックは、高度周辺バス（ＡＰＢ：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェース、構成回路、コントローラ、及びマルチプレクサを含み得る。任意のタイプのメモリが、使用され得る。ＰＶＡ及びＤＬＡは、メモリへの高速アクセスを有するＰＶＡ及びＤＬＡを提供するバックボーンを介してメモリにアクセスすることができる。バックボーンは、（たとえば、ＡＰＢを使用して）ＰＶＡ及びＤＬＡをメモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。

【0089】

コンピュータ・ビジョン・ネットワーク・オンチップは、ＰＶＡとＤＬＡとの両方が作動可能及び有効信号を提供することを、任意の制御信号／アドレス／データの送信の前に、決定するインターフェースを含み得る。そのようなインターフェースは、制御信号／アドレス／データを送信するための別個のフェーズ及び別個のチャネル、並びに連続的データ転送のためのバーストタイプの通信を提供することができる。このタイプのインターフェースは、ＩＳＯ２６２６２又はＩＥＣ６１５０８規格に従うことができるが、他の規格及びプロトコルが使用されてもよい。

【0090】

いくつかの実例では、ＳｏＣ５０４は、２０１８年８月１０日に出願された米国特許出願第１６／１０１，２３２号に記載されるような、リアルタイム・レイトレーシング・ハードウェア加速装置を含み得る。リアルタイム・レイトレーシング・ハードウェア加速装置は、ＲＡＤＡＲ信号解釈のための、音響伝播合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波伝播シミュレーションのための、ローカリゼーション及び／又は他の機能を目的とするＬＩＤＡＲデータに対する比較のための、及び／又は他の使用のための、リアルタイム視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び規模を迅速に効率的に決定するために使用され得る。一部の実施例では、１つ又は複数の木の走査ユニット（ＴＴＵ：ｔｒｅｅ ｔｒａｖｅｒｓａｌ ｕｎｉｔ）が、１つ又は複数のレイトレーシング関連動作を実行するために使用され得る。

【0091】

加速装置５１４（たとえば、ハードウェア加速装置クラスタ）は、自律運転のための多様な用途を有する。ＰＶＡは、ＡＤＡＳ及び自律型車両における極めて重要な処理段階に使用され得るプログラマブル・ビジョン加速装置でもよい。ＰＶＡの能力は、低電力及び低レイテンシにおいて、予測可能な処理を必要とするアルゴリズムの領域にふさわしい。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能な実行時間を必要とする、小さなデータ集合上でも、半高密度の又は高密度の通常の計算で上手く機能する。それ故に、ＰＶＡは、物体検出及び整数計算での動作において効率的であるので、自律型車両のためのプラットフォームとの関連で、ＰＶＡは、クラシック・コンピュータ・ビジョン・アルゴリズムを実行するように設計される。

【0092】

たとえば、本技術の１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実行するために使用される。半グローバルなマッチングベースのアルゴリズムが、一部の実例では使用され得るが、これは制限することを意図されていない。レベル３～５の自律運転のための多数のアプリケーションは、動き推定／ステレオ・マッチング・オンザフライ（たとえば、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、レーン検出など）を必要とする。ＰＶＡは、２個の単眼カメラからの入力でコンピュータ・ステレオ・ビジョン機能を実行することができる。

【0093】

いくつかの実例では、ＰＶＡは、高密度のオプティカル・フローを実行するために使用され得る。たとえば、ＰＶＡは、次のＲＡＤＡＲパルスを放出する前に未加工のＲＡＤＡＲデータを処理（たとえば、４Ｄ高速フーリエ変換を使用）して処理済みのＲＡＤＡＲ信号を提供するために、使用され得る。他の実例において、ＰＶＡは、たとえば、飛行データの未加工の時間を処理して飛行データの処理済み時間を提供することにより、飛行深度処理の時間に使用される。

【0094】

ＤＬＡは、たとえば、各物体検出の信頼性の測定値を出力するニューラル・ネットワークを含む、制御及び運転安全性を強化するために任意のタイプのネットワークを実行するために使用され得る。そのような信頼性値は、確率として、又は他の検出と比較した各検出の相対的「重み」を提供するものとして、解釈され得る。この信頼性値は、どの検出が誤判定検出ではなくて真陽性検出と考えられるべきであるかに関するさらなる決定をシステムが行うことを可能にする。たとえば、システムは、信頼性の閾値を設定し、真陽性検出としての閾値を超える検出のみを考慮することができる。自動非常ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムにおいて、誤判定検出は、車両に非常ブレーキを自動で実行させることになり、これは明らかに望ましくない。したがって、最も確信のある検出のみが、ＡＥＢのトリガとして考えられるべきである。ＤＬＡは、信頼性値を退行するニューラル・ネットワークを実行し得る。ニューラル・ネットワークは、境界ボックス次元、（たとえば、別のサブシステムから）取得されたグラウンド・プレーン推定、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、ＬＩＤＡＲセンサ５６４又はＲＡＤＡＲセンサ５６０）から取得された物体の車両５００方位、距離、３Ｄ位置推定と相関する慣性計測装置（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ５６６出力、その他など、少なくともいくつかのサブセットのパラメータをその入力として受け取ることができる。

【0095】

ＳｏＣ５０４は、データ・ストア５１６（たとえば、メモリ）を含み得る。データ・ストア５１６は、ＳｏＣ５０４のオンチップ・メモリでもよく、ＧＰＵ及び／又はＤＬＡで実行されることになるニューラル・ネットワークを記憶することができる。いくつかの実例では、データ・ストア５１６は、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分な大きさの容量を有し得る。データ・ストア５１６は、Ｌ２又はＬ３キャッシュ５１２を備え得る。データ・ストア５１６の参照は、本明細書に記載のような、ＰＶＡ、ＤＬＡ、及び／又は他の加速装置５１４に関連するメモリの参照を含み得る。

【0096】

ＳｏＣ５０４は、１つ又は複数のプロセッサ５１０（たとえば、組み込まれたプロセッサ）を含み得る。プロセッサ５１０は、ブート電力及び管理能力及び関連するセキュリティ施行を処理するための専用のプロセッサ及びサブシステムでもよいブート及び電力管理プロセッサを含み得る。ブート及び電力管理プロセッサは、ＳｏＣ５０４ブート・シーケンスの一部でもよく、実行時間電力管理サービスを提供することができる。ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、ＳｏＣ５０４熱及び温度センサの管理、及び／又はＳｏＣ５０４電力状態の管理を提供することができる。各温度センサは、その出力頻度が温度に比例するリング発振器として実装されてもよく、ＳｏＣ５０４は、リング発振器を使用してＣＰＵ５０６、ＧＰＵ５０８、及び／又は加速装置５１４の温度を検出することができる。温度が、閾値を超えたと判定された場合、ブート及び電力管理プロセッサは、温度障害ルーティンに入り、ＳｏＣ５０４をより低い電力状態に置く及び／又は車両５００をショーファーの安全停止モードにする（たとえば、車両５００を安全停止させる）ことができる。

【0097】

プロセッサ５１０は、オーディオ処理エンジンの機能を果たし得る１セットの組み込まれたプロセッサをさらに含み得る。オーディオ処理エンジンは、複数のインターフェースを介するマルチチャネル・オーディオの完全なハードウェア・サポートとオーディオＩ／Ｏインターフェースの広く柔軟な範囲とを可能にするオーディオ・サブシステムでもよい。いくつかの実例では、オーディオ処理エンジンは、専用のＲＡＭを有するデジタル信号プロセッサを有する専用のプロセッサ・コアである。

【0098】

プロセッサ５１０は、低電力センサ管理及びウェイク使用事例をサポートするための必要なハードウェア特徴を提供することができる常時オンのプロセッサ・エンジンをさらに含み得る。常時オンのプロセッサ・エンジンは、プロセッサ・コア、しっかりと結合されたＲＡＭ、支援周辺装置（たとえば、タイマ及び割り込みコントローラ）、様々なＩ／Ｏコントローラ周辺装置、及びルーティング論理を含み得る。

【0099】

プロセッサ５１０は、自動車のアプリケーションの安全性管理を処理するために専用のプロセッサ・サブシステムを含む安全性クラスタ・エンジンをさらに含み得る。安全性クラスタ・エンジンは、２個以上のプロセッサ・コア、しっかりと結合されたＲＡＭ、サポート周辺装置（たとえば、タイマ、割り込みコントローラなど）、及び／又はルーティング論理を含み得る。安全性モードにおいて、２個以上のコアは、ロックステップ・モードにおいて動作し、それらの動作の間の何らかの差を検出するための比較論理を有する単一のコアとして機能することができる。

【0100】

プロセッサ５１０は、リアルタイム・カメラ管理を処理するための専用のプロセッサ・サブシステムを含み得るリアルタイム・カメラ・エンジンをさらに含み得る。

【0101】

プロセッサ５１０は、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る高ダイナミック・レンジ信号プロセッサをさらに含み得る。

【0102】

プロセッサ５１０は、プレイヤ・ウインドウのための最終的画像を生み出すためにビデオ再生アプリケーションによって必要とされるビデオ処理後機能を実装する処理ブロック（たとえば、マイクロプロセッサに実装された）でもよいビデオ画像合成器を含み得る。ビデオ画像合成器は、ワイドビュー・カメラ５７０で、サラウンド・カメラ５７４で、及び／又はキャビン内監視カメラ・センサでレンズ歪み補正を実行することができる。キャビン内監視カメラ・センサは好ましくは、キャビン内イベントを識別し、適切に応答するように構成された、高度ＳｏＣの別のインスタンス上で実行するニューラル・ネットワークによって監視される。キャビン内システムは、セルラ・サービスをアクティブにする及び電話をかける、電子メールを書き取らせる、車両の目的地を変更する、車両のインフォテインメント・システム及び設定をアクティブにする又は変更する、或いは音声起動型ウェブ・サーフィンを提供するために、読唇術を実行することができる。ある特定の機能は、自律モードで動作しているときにのみ運転者に利用可能であり、そうでない場合には無効にされる。

【0103】

ビデオ画像合成器は、空間的ノイズ低減及び時間的ノイズ低減の両方のための強化された時間的ノイズ低減を含み得る。たとえば、動きがビデオ内で生じた場合、ノイズ低減は、隣接するフレームによって提供される情報の重みを減らし、空間的情報に適切に重みを加える。画像又は画像の一部が動きを含まない場合、ビデオ画像合成器によって実行される時間的ノイズ低減は、前の画像からの情報を使用して現在の画像におけるノイズを減らすことができる。

【0104】

ビデオ画像合成器はまた、入力ステレオ・レンズ・フレーム上でステレオ・レクティフィケーションを実行するように構成され得る。ビデオ画像合成器はさらに、オペレーティング・システム・デスクトップが使用中であるときにユーザ・インターフェース合成のために使用することができ、ＧＰＵ５０８は、新しい表面を連続してレンダリングために必要とされない。ＧＰＵ５０８の電源が入れられ、３Ｄレンダリングをアクティブに行っているときでも、ビデオ画像合成器は、ＧＰＵ５０８をオフロードしてパフォーマンス及び反応性を向上させるために使用され得る。

【0105】

ＳｏＣ５０４は、カメラからビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（ＭＩＰＩ：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、及び／又は、カメラ及び関連画素入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。ＳｏＣ５０４は、ソフトウェアによって制御され得る、及び特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る、入力／出力コントローラをさらに含み得る。
ＳｏＣ５０４は、周辺装置、オーディオ・コーデック、電力管理、及び／又は他のデバイスとの通信を可能にするために、広範囲の周辺インターフェースをさらに含み得る。ＳｏＣ５０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネット（登録商標）を介して接続された）カメラからのデータ、センサ（たとえば、イーサネット（登録商標）を介して接続され得るＬＩＤＡＲセンサ５６４、ＲＡＤＡＲセンサ５６０など）、バス５０２からのデータ（たとえば、車両５００のスピード、ハンドル位置など）、（たとえば、イーサネット（登録商標）又はＣＡＮバスを介して接続された）ＧＮＳＳセンサ５５８からのデータを処理するために使用され得る。ＳｏＣ５０４は、独自のＤＭＡエンジンを含み得る及びルーティン・データ管理タスクからＣＰＵ５０６を解放するために使用され得る専用の高性能大容量記憶コントローラをさらに含み得る。

【0106】

ＳｏＣ５０４は、自動化レベル３～５に広がる柔軟なアーキテクチャを有する終端間プラットフォームでもよく、それによって、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に使用し、深層学習ツールとともに、柔軟な、信頼できる運転ソフトウェア・スタックのためのプラットフォームを提供する、総合的機能的安全性アーキテクチャを提供する。ＳｏＣ５０４は、従来のシステムよりも高速で、信頼でき、さらにエネルギ効率がよく、空間効率がよくなり得る。たとえば、加速装置５１４が、ＣＰＵ５０６と結合されるとき、ＧＰＵ５０８、及びデータ・ストア５１６は、レベル３～５の自律型車両のための高速で効率的なプラットフォームを提供することができる。

【0107】

したがって、本技術は、従来のシステムによって達成することができない能力及び機能性をもたらす。たとえば、コンピュータ・ビジョン・アルゴリズムは、多種多様な視覚的データにわたり多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベルのプログラミング言語を使用して構成され得る、ＣＰＵで実行され得る。しかしながら、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関連するものなど、多数のコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。具体的には、多数のＣＰＵは、車両内ＡＤＡＳアプリケーションの要件及び実際のレベル３～５の自律型車両の要件である、リアルタイムでの複合物体検出アルゴリズムを実行することができない。

【0108】

従来のシステムとは対照的に、ＣＰＵ複合体、ＧＰＵ複合体、及びハードウェア加速クラスタを提供することによって、本明細書に記載の技術は、複数のニューラル・ネットワークが同時に及び／又は連続して実行されることと、レベル３～５の自律運転機能を可能にするために結果が結合されることとを可能にする。たとえば、ＤＬＡ又はｄＧＰＵ（たとえば、ＧＰＵ５２０）で実行するＣＮＮは、ニューラル・ネットワークが具体的にトレーニングされていない標識を含む、交通標識をスーパーコンピュータが読み取る及び理解することを可能にする、テキスト及び単語認識を含み得る。ＤＬＡは、標識の意味論的理解を識別、解釈、及び提供することと、ＣＰＵ複合体で実行する進路計画立案モジュールに意味論的理解を渡すこととを行うことができる、ニューラル・ネットワークをさらに含み得る。

【0109】

別の実例として、複数のニューラル・ネットワークは、レベル３、４、又は５の運転に必要とされるように、同時に実行され得る。たとえば、電光とともに、「注意：点滅光は、凍った状態を示す」から成る警告標識は、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。標識自体は、第１の配備されたニューラル・ネットワーク（たとえば、トレーニングされてあるニューラル・ネットワーク）によって交通標識として識別され得、テキスト「点滅光は、凍った状態を示す」は、点滅光が検出されるときには凍った状態が存在することを車両の進路計画立案ソフトウェア（好ましくはＣＰＵ複合体上で実行する）に知らせる、第２の配備されたニューラル・ネットワークによって解釈され得る。点滅光は、点滅光の存在（又は無いこと）を車両の進路計画立案ソフトウェアに知らせ、複数のフレームを介して第３の配備されたニューラル・ネットワークを動作させることによって識別され得る。すべての３個のニューラル・ネットワークは、ＤＬＡ内及び／又はＧＰＵ５０８上などで、同時に実行することができる。

【0110】

いくつかの実例では、顔認識及び車両所有者識別のためのＣＮＮは、カメラ・センサからのデータを使用して車両５００の正規の運転者及び／又は所有者の存在を識別することができる。常時オンのセンサ処理エンジンは、所有者が運転席側のドアに近づくときに車両を解錠する及び明かりをつけるために、並びに、セキュリティ・モードにおいて、所有者が車両を離れるときに車両の動作を停止させるために、使用され得る。このようにして、ＳｏＣ５０４は、盗難及び／又は車の乗っ取りに対するセキュリティをもたらす。

【0111】

別の実例では、緊急車両検出及び識別のためのＣＮＮは、マイクロフォン５９６からのデータを使用して緊急車両サイレンを検出及び識別することができる。一般分類子を使用してサイレンを検出する及び特徴を手動で抽出する従来のシステムとは対照的に、ＳｏＣ５０４は、環境の及び都市の音の分類、並びに視覚的データの分類のためにＣＮＮを使用する。好ましい一実施例では、ＤＬＡ上で実行するＣＮＮは、（たとえば、ドップラー効果を使用することによって）緊急車両の相対的終速度を識別するようにトレーニングされる。ＣＮＮはまた、ＧＮＳＳセンサ５５８によって識別されるように、車両が稼働しているローカル・エリアに特有の緊急車両を識別するようにトレーニングされ得る。それ故に、たとえば、欧州で稼働しているとき、ＣＮＮは、欧州のサイレンを検出しようとすることになり、そして、米国にあるとき、ＣＮＮは、北米のサイレンのみを識別しようとすることになる。緊急車両が検出された後は、制御プログラムが、緊急車両が通過するまで、超音波センサ５６２の支援を受けて、車両を減速する、道の端に停止させる、車両を駐車する、及び／又は車両をアイドリングさせる、緊急車両安全性ルーティンを実行するために使用され得る。

【0112】

車両は、高速相互接続（たとえば、ＰＣＩｅ）を介してＳｏＣ５０４に連結され得るＣＰＵ５１８（たとえば、個別のＣＰＵ、又はｄＣＰＵ）を含み得る。ＣＰＵ５１８は、たとえば、Ｘ８６プロセッサを含み得る。ＣＰＵ５１８は、たとえば、ＡＤＡＳセンサとＳｏＣ５０４との間の潜在的に不整合の結果を調停すること、及び／又はコントローラ５３６及び／又はインフォテインメントＳｏＣ５３０の状況及び調子を監視することを含む、様々な機能のいずれかを実行するために使用され得る。

【0113】

車両５００は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介してＳｏＣ５０４に連結され得るＧＰＵ５２０（たとえば、個別のＧＰＵ、又はｄＧＰＵ）を含み得る。ＧＰＵ５２０は、冗長及び／又は異なるニューラル・ネットワークを実行することなどによって、付加的人工知能機能をもたらすことができ、車両５００のセンサからの入力（たとえば、センサ・データ）に基づいてニューラル・ネットワークをトレーニング及び／又は更新するために使用され得る。

【0114】

車両５００は、１つ又は複数のワイヤレス・アンテナ５２６（たとえば、セルラ・アンテナ、ブルートゥース（登録商標）・アンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ）を含み得るネットワーク・インターフェース５２４をさらに含み得る。ネットワーク・インターフェース５２４は、インターネットを介するクラウドとの（たとえば、サーバ５７８及び／又は他のネットワーク・デバイスとの）、他の車両との、及び／又は計算デバイス（たとえば、乗客のクライアント・デバイス）とのワイヤレス接続を使用可能にするために使用され得る。他の車両と通信するために、直接リンクが２個の車両の間に確立され得る、及び／又は、間接リンクが（たとえば、ネットワークを通じて及びインターネットを介して）確立され得る。直接リンクは、車両対車両通信リンクを使用し、提供され得る。車両対車両通信リンクは、車両５００に近接する車両（たとえば、車両５００の前の、横の、及び／又は後ろの車両）に関する車両５００情報を提供することができる。この機能は、車両５００の共同適応クルーズ制御機能の一部でもよい。

【0115】

ネットワーク・インターフェース５２４は、変調及び復調機能を提供する及びコントローラ５３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。ネットワーク・インターフェース５２４は、ベースバンドから無線周波数へのアップコンバージョン、及び無線周波数からベースバンドへのダウンコンバージョンのための無線周波数フロントエンドを含み得る。周波数コンバージョンは、よく知られているプロセスを通して実行することができ、及び／又はスーパーヘテロダイン・プロセスを用いて実行することができる。いくつかの実例では、無線周波数フロントエンド機能は、別個のチップによって提供され得る。ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能を含み得る。
車両５００は、チップ外の（たとえば、ＳｏＣ５０４外の）ストレージを含み得るデータ・ストア５２８をさらに含み得る。データ・ストア５２８は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ、ハードディスク、及び／又は、少なくとも１ビットのデータを記憶することができる他の構成要素及び／又はデバイスを含む、１つ又は複数の記憶素子を含み得る。

【0116】

車両５００は、ＧＮＳＳセンサ５５８（たとえば、ＧＰＳ、及び／又は支援されたＧＰＳセンサ）は、マッピング、知覚、占有グリッド生成、及び／又は進路計画策定機能を支援する。たとえば、シリアル（ＲＳ－２３２）ブリッジへのイーサネット（登録商標）を有するＵＳＢコネクタを使用するＧＰＳを含むが、これに限定されない、任意の数のＧＮＳＳセンサ５５８が、使用され得る。
車両５００は、ＲＡＤＡＲセンサ５６０をさらに含み得る。ＲＡＤＡＲセンサ５６０は、暗闇及び／又は厳しい気象条件においても、長距離車両検出のために車両５００によって使用され得る。ＲＡＤＡＲ機能安全性レベルは、ＡＳＩＬ Ｂでもよい。一部の実例では、ＲＡＤＡＲセンサ５６０は、未加工のデータにアクセスするためのイーサネット（登録商標）へのアクセスを用いて、制御のために及び物体追跡データにアクセスするために（たとえば、ＲＡＤＡＲセンサ５６０によって生成されたデータを送信するために）ＣＡＮ及び／又はバス５０２を使用することができる。多種多様なＲＡＤＡＲセンサ・タイプが、使用され得る。たとえば、そして制限なしに、ＲＡＤＡＲセンサ５６０は、前部、後部、及び側部ＲＡＤＡＲ使用に適し得る。一部の実例では、パルス・ドップラーＲＡＤＡＲセンサが使用される。

【0117】

ＲＡＤＡＲセンサ５６０は、狭い視野を有する長距離、広い視野を有する短距離、短距離側部カバレッジなど、異なる構成を含み得る。いくつかの実例では、長距離ＲＡＤＡＲは、適応クルーズ制御機能のために使用され得る。長距離ＲＡＤＡＲシステムは、２５０ｍの範囲内など、２個以上の独立したスキャンによって実現される広い視野を提供することができる。ＲＡＤＡＲセンサ５６０は、静的物体と動く物体との区別を助けることができ、緊急ブレーキ・アシスト及び前方衝突警報のためのＡＤＡＳシステムによって使用され得る。長距離ＲＡＤＡＲセンサは、複数の（たとえば、６つ以上の）固定ＲＡＤＡＲアンテナと高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースとを有するモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。６つのアンテナを有する一実例では、中央の４個のアンテナは、隣接レーン内の交通からの干渉を最小限にして高速で車両５００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。他の２個のアンテナは、視野を広げることができ、車両５００のレーンに入る又はこれを去る車両を迅速に検出することを可能にする。

【0118】

一実例として、中距離ＲＡＤＡＲシステムは、５６０ｍ（前）又は８０ｍ（後）までの範囲、及び４２度（前）又は５５０度（後）までの視野を含み得る。短距離ＲＡＤＡＲシステムは、後部バンパの両端に設置されるように設計されたＲＡＤＡＲセンサを含み得るが、これに限定されない。後部バンパの両端に設置されるとき、そのようなＲＡＤＡＲセンサ・システムは、車両の後ろ及び隣の死角を常に監視する２個のビームを作成することができる。

【0119】

短距離ＲＡＤＡＲシステムは、死角検出及び／又はレーン変更アシストのためにＡＤＡＳシステムにおいて使用され得る。

【0120】

車両５００は、超音波センサ５６２をさらに含み得る。車両５００の前部、後部、及び／又は側部に位置付けられ得る、超音波センサ５６２は、駐車アシストのために及び／又は占有グリッドの作成及び更新のために使用され得る。多種多様な超音波センサ５６２が使用され得、異なる超音波センサ５６２が、異なる範囲の検出（たとえば、２．５ｍ、４ｍ）のために使用され得る。超音波センサ５６２は、ＡＳＩＬ Ｂの機能的安全性レベルにおいて動作することができる。

【0121】

車両５００はＬＩＤＡＲセンサ５６４を含み得る。ＬＩＤＡＲセンサ５６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、及び／又は他の機能のために使用され得る。ＬＩＤＡＲセンサ５６４は、機能的安全性レベルＡＳＩＬ Ｂでもよい。いくつかの実例では、車両５００は、（たとえば、ギガビット・イーサネット（登録商標）・スイッチにデータを提供するために）イーサネット（登録商標）を使用することができる複数の（たとえば、２個、４個、６個などの）ＬＩＤＡＲセンサ５６４を含み得る。

【0122】

いくつかの実例では、ＬＩＤＡＲセンサ５６４は、物体及び３６０度視野のそれらの距離のリストを提供する能力を有し得る。市販のＬＩＤＡＲセンサ５６４は、たとえば、２ｃｍ～３ｃｍの精度を有し、１００Ｍｂｐｓイーサネット（登録商標）接続のサポートを有して、約１００ｍの広告された範囲を有し得る。いくつかの実例では、１つ又は複数の非突出したＬＩＤＡＲセンサ５６４が、使用され得る。そのような実例では、ＬＩＤＡＲセンサ５６４は、車両５００の前部、後部、側部、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。そのような実例では、ＬＩＤＡＲセンサ５６４は、低反射物体についても２００ｍの範囲を有し、１２０度水平及び３５度垂直視野まで提供することができる。前部に取り付けられたＬＩＤＡＲセンサ５６４は、４５度と１３５度との間の水平視野向けに構成され得る。

【0123】

いくつかの実例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術もまた使用され得る。３ＤフラッシュＬＩＤＡＲは、約２００ｍまで車両の周囲を照らすために、送信元としてレーザーのフラッシュを使用する。フラッシュＬＩＤＡＲユニットは、車両から物体までの範囲に順番に対応する、レーザー・パルス走行時間及び各画素上の反射光を記録する、レセプタを含む。フラッシュＬＩＤＡＲは、周囲の高精度の及び歪みのない画像があらゆるレーザー・フラッシュで生成されることを可能にし得る。いくつかの実例では、４個のフラッシュＬＩＤＡＲセンサが、車両５００の各側面に１つずつ、配備され得る。利用可能な３ＤフラッシュＬＩＤＡＲシステムは、送風機以外に動く部分を有さないソリッドステート３Ｄステアリング・アレイＬＩＤＡＲカメラ（たとえば、非スキャン型ＬＩＤＡＲデバイス）を含む。フラッシュＬＩＤＡＲデバイスは、１フレームにつき５ナノ秒クラスＩ（目に安全な）レーザー・パルスを使用することができ、３Ｄ範囲点群及び共記載された強度データの形で反射レーザー光をキャプチャし得る。フラッシュＬＩＤＡＲを使用することによって、また、フラッシュＬＩＤＡＲは、動く部分を有さないソリッドステート・デバイスであるので、ＬＩＤＡＲセンサ５６４は、モーション・ブラー、振動、及び／又は衝撃の影響を受けにくくなり得る。

【0124】

車両は、ＩＭＵセンサ５６６をさらに含み得る。一部の実例では、ＩＭＵセンサ５６６は、車両５００の後部車軸の中央に位置付けられ得る。ＩＭＵセンサ５６６は、たとえば、加速度計、磁力計、ジャイロスコープ、磁気コンパス、及び／又は他のセンサ・タイプを含み得るが、これらに限定されない。いくつかの実例では、６軸アプリケーションなどにおいて、ＩＭＵセンサ５６６は、加速度計及びジャイロスコープを含み得るが、９軸アプリケーションにおいて、ＩＭＵセンサ５６６は、加速度計、ジャイロスコープ、及び磁力計を含み得る。

【0125】

一部の実施例では、ＩＭＵセンサ５６６は、マイクロ電気機械システム（ＭＥＭＳ：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）慣性センサ、高感度ＧＰＳレシーバ、及び高度カルマン・フィルタリング・アルゴリズムを結合して位置、ベロシティ、及び姿勢の推定値を提供するミニチュア、高性能ＧＰＳ支援型慣性航行システム（ＧＰＳ／ＩＮＳ：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。そのようなものとして、一部の実例では、ＩＭＵセンサ５６６は、ＧＰＳからＩＭＵセンサ５６６までのベロシティの変化を直接観測すること及び関連付けることによって、磁気センサからの入力を必要とせずに進行方向を車両５００が推定することを可能にし得る。いくつかの実例では、ＩＭＵセンサ５６６及びＧＮＳＳセンサ５５８は、単一の統合されたユニットにおいて結合され得る。
車両は、車両５００内及び／又は周囲に置かれたマイクロフォン５９６を含み得る。マイクロフォン５９６は、中でも、緊急車両検出及び識別のために使用され得る。

【0126】

車両は、ステレオ・カメラ５６８、ワイドビュー・カメラ５７０、赤外線カメラ５７２、サラウンド・カメラ５７４、長距離及び／又は中距離カメラ５９８、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。カメラは、車両５００の全外面の周りの画像データをキャプチャするために使用され得る。使用されるカメラのタイプは、車両５００の実施例及び要件に応じて決まり、任意の組合せのカメラ・タイプが、車両５００の周りの必要なカバレッジを実現するために使用され得る。加えて、カメラの数は、実施例に応じて異なり得る。たとえば、車両は、６個のカメラ、７個のカメラ、１０個のカメラ、１２個のカメラ、及び／又は別の数のカメラを含み得る。カメラは、一実例として、ギガビット・マルチメディア・シリアル・リンク（ＧＭＳＬ：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネット（登録商標）をサポートし得るが、これに限定されない。それぞれのカメラは、図５Ａ及び図５Ｂに関連して本明細書においてさらに詳しく説明される。
車両５００は、振動センサ５４２をさらに含み得る。振動センサ５４２は、車軸など、車両の構成要素の振動を測定することができる。たとえば、振動の変化は、道路の表面の変化を示し得る。別の実例では、２個以上の振動センサ５４２が使用されるとき、振動の差は、道路表面の摩擦又は滑りを判定するために使用され得る（たとえば、振動の差が電力駆動車軸と自由回転車軸との間であるとき）。

【0127】

車両５００は、ＡＤＡＳシステム５３８を含み得る。一部の実例では、ＡＤＡＳシステム５３８は、ＳｏＣを含み得る。ＡＤＡＳシステム５３８は、自律／適応／自動クルーズ制御（ＡＣＣ：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、共同適応クルーズ制御（ＣＡＣＣ：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）、前方衝突警報（ＦＣＷ：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）、自動緊急ブレーキ（ＡＥＢ：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）、車線逸脱警報（ＬＤＷ：ｌａｎｅ ｄｅｐａｒｔｕｒｅ ｗａｒｎｉｎｇ）、レーン・キープ・アシスト（ＬＫＡ：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）、死角警報（ＢＳＷ：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）、後部交差交通警報（ＲＣＴＷ：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）、衝突警報システム（ＣＷＳ：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ）、レーン・センタリング（ＬＣ：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）、及び／又は他の特徴及び機能を含み得る。

【0128】

ＡＣＣシステムは、ＲＡＤＡＲセンサ５６０、ＬＩＤＡＲセンサ５６４、及び／又はカメラを使用し得る。ＡＣＣシステムは、縦ＡＣＣ及び／又は横ＡＣＣを含み得る。縦ＡＣＣは、車両５００の直ぐ前の車両までの距離を監視及び制御し、前方の車両からの安全距離を維持するために車両速度を自動的に調整する。横ＡＣＣは、距離の保持を実行し、必要なときにレーンを変更するように車両５００にアドバイスする。横ＡＣＣは、ＬＣ及びＣＷＳなどの他のＡＤＡＳアプリケーションに関連する。

【0129】

ＣＡＣＣは、ワイヤレス・リンクを介して他の車両からネットワーク・インターフェース５２４及び／又はワイヤレス・アンテナ５２６を介して、或いは間接的にネットワーク接続を介して（たとえば、インターネットを介して）、受信することができる、他の車両からの情報を使用する。直接リンクは、車両対車両（Ｖ２Ｖ：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、一方、間接リンクは、インフラストラクチャ対車両（Ｉ２Ｖ：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクでもよい。一般に、Ｖ２Ｖ通信概念は、直前の車両（たとえば、車両５００と同じレーン内にある、車両５００の直ぐ前の車両）に関する情報を提供し、一方、Ｉ２Ｖ通信概念は、さらに前の交通に関する情報を提供する。ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースとのいずれか又は両方を含み得る。車両５００の前方の車両の情報を所与として、ＣＡＣＣは、より高信頼になり得、ＣＡＣＣは、交通の流れをよりスムーズにし、道路の渋滞を減らす可能性を有する。

【0130】

運転者が修正行動を取ることができるように、ＦＣＷシステムは、危険を運転者に警告するように設計される。ＦＣＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ５６０を使用する。ＦＣＷシステムは、音響、視覚的警報、振動及び／又はクイック・ブレーキ・パルスなどの形で、警報を提供することができる。

【0131】

ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、運転者が指定された時間又は距離パラメータ内に修正行動を取らない場合に、ブレーキを自動的に適用することができる。ＡＥＢシステムは、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前向きのカメラ及び／又はＲＡＤＡＲセンサ５６０を使用することができる。ＡＥＢシステムが危険を検出するとき、ＡＥＢシステムは通常は、先ず、衝突を回避するための修正行動を取るように運転者に警告し、運転者が修正行動を取らない場合、ＡＥＢシステムは、予測される衝突の影響を防ぐ、又は少なくとも軽減するための努力の一環としてブレーキを自動的に適用することができる。ＡＥＢシステムは、ダイナミック・ブレーキ・サポート及び／又は衝突切迫ブレーキなどの技法を含み得る。

【0132】

ＬＤＷシステムは、ハンドル又はシートの振動など、視覚的、可聴式、及び／又は触覚的警報を提供して、車両５００が車線区分線を越えたときに運転者に警告する。ＬＤＷシステムは、運転者が、方向指示器を起動することによって、意図的な車線逸脱を指示するときには、起動しない。ＬＤＷシステムは、ディスプレイ、スピーカ、及び／又は振動部品など、運転者フィードバックに電気的に連結された、専用のプロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに連結された、前側を向いたカメラを使用することができる。

【0133】

ＬＫＡシステムは、ＬＤＷシステムの変更形態である。ＬＫＡシステムは、車両５００が車線をはみ出し始めた場合に車両５００を修正するためにステアリング入力又はブレーキを提供する。
ＢＳＷシステムは、自動車の死角において車両の運転者に検出及び警告する。ＢＳＷシステムは、合流又はレーンの変更が安全ではないことを指示するために視覚的、可聴式、及び／又は触覚的警告を提供することができる。システムは、運転者が方向指示器を使用するときに、付加的警告を提供することができる。ＢＳＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、後ろ側を向いたカメラ及び／又はＲＡＤＡＲセンサ５６０を使用することができる。

【0134】

ＲＣＴＷシステムは、車両５００がバックしているときにリアカメラの範囲外で物体が検出されたときに視覚的、可聴式、及び／又は触覚的通知を提供することができる。いくつかのＲＣＴＷシステムは、衝突を回避するために車両ブレーキが適用されることを確実にするために、ＡＥＢを含む。ＲＣＴＷシステムは、運転者フィードバック、たとえば、ディスプレイ、スピーカ、及び／又は振動部品、に電気的に結合された、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の後ろを向いたＲＡＤＡＲセンサ５６０を使用することができる。

【0135】

従来のＡＤＡＳシステムは、運転者に警告し、安全状態が本当に存在するかどうかを運転者が判定し、それに応じて行動することを可能にするので、従来のＡＤＡＳシステムは、通常は壊滅的ではないが、運転者を悩ませている及び気を散らせていることがある誤判定結果を生み出す傾向にあることがあった。しかしながら、自律型車両５００では、結果が矛盾する場合には、車両５００自体が、１次的コンピュータ又は２次的コンピュータ（たとえば、第１のコントローラ５３６又は第２のコントローラ５３６）からの結果を聞き入れるかどうかを決定しなければならない。たとえば、一部の実施例では、ＡＤＡＳシステム５３８は、知覚情報をバックアップ・コンピュータ合理性モジュールに提供するためのバックアップ及び／又は２次的コンピュータでもよい。バックアップ・コンピュータ合理性モニタは、ハードウェア構成要素で冗長な多様なソフトウェアを実行して、知覚及び動的運転タスクにおいて障害を検出することができる。ＡＤＡＳシステム５３８からの出力は、監督ＭＣＵに提供され得る。１次的コンピュータ及び２次的コンピュータからの出力が矛盾する場合、監督ＭＣＵは、安全な動作を確実にするためにその矛盾をどのように調整するかを決定する必要がある。

【0136】

いくつかの実例では、１次的コンピュータは、選択された結果における１次的コンピュータの信頼性を指示する、信頼性スコアを監督ＭＣＵに提供するように構成され得る。信頼性スコアが閾値を超えた場合、監督ＭＣＵは、２次的コンピュータが矛盾する又は不整合の結果を与えるかどうかにかかわらず、１次的コンピュータの指示に従い得る。信頼性スコアが閾値を満たさない場合、及び１次的及び２次的コンピュータが異なる結果を示す（たとえば、矛盾する）場合、監督ＭＣＵは、コンピュータの間で調停して適切な結果を決定することができる。

【0137】

監督ＭＣＵは、２次的コンピュータが誤ったアラームを提供する状態を、１次的コンピュータ及び２次的コンピュータからの出力に基づいて、判定するようにトレーニング及び構成されたニューラル・ネットワークを実行するように構成され得る。したがって、監督ＭＣＵ内のニューラル・ネットワークは、２次的コンピュータの出力が信頼され得るとき、及びそれが信頼され得ないときを学習することができる。たとえば、２次的コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、アラームをトリガする下水溝の鉄格子又はマンホールの蓋など、実際には危険ではない金属製の物をいつＦＣＷが識別しているかを学習することができる。同様に、２次的コンピュータがカメラベースのＬＤＷシステムであるとき、監督ＭＣＵ内のニューラル・ネットワークは、自転車に乗った人又は歩行者が存在し、車線逸脱が、実際には、最も安全な操作であるときに、ＬＤＷを無視することを学習することができる。監督ＭＣＵ上で実行中のニューラル・ネットワークを含む実施例では、監督ＭＣＵは、関連メモリを有するニューラル・ネットワークを実行するのに適したＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。好ましい実施例において、監督ＭＣＵは、ＳｏＣ５０４の構成要素を備え得る、及び／又はＳｏＣ５０４の構成要素として含まれ得る。

【0138】

他の実例において、ＡＤＡＳシステム５３８は、コンピュータ・ビジョンの従来のルールを使用するＡＤＡＳ機能を実行する２次的コンピュータを含み得る。そのようなものとして、２次的コンピュータは、古典的コンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用することができ、監督ＭＣＵ内のニューラル・ネットワークの存在は、信頼性、安全性及び性能を向上させることができる。たとえば、多様な実装形態及び意図的な非同一性は、特にソフトウェア（又はソフトウェア－ハードウェア・インターフェース）機能によって引き起こされる障害に対して、システム全体をよりフォールトトレラントにする。たとえば、１次的コンピュータで実行中のソフトウェア内にソフトウェア・バグ又はエラーが存在し、２次的コンピュータで実行中の同一でないソフトウェア・コードが同じ総合的結果を提供する場合、監督ＭＣＵは、総合的結果は正しく、１次的コンピュータによって使用されるソフトウェア又はハードウェア内のバグは重大なエラーを引き起こしていないというより大きな確信を有し得る。

【0139】

いくつかの実例では、ＡＤＡＳシステム５３８の出力は、１次的コンピュータの知覚ブロック及び／又は１次的コンピュータの動的運転タスク・ブロックに供給され得る。たとえば、ＡＤＡＳシステム５３８が、直ぐ前の物体が原因で、前方衝突警報を示した場合、知覚ブロックは、物体を識別するときに、この情報を使用することができる。他の実例において、２次的コンピュータは、本明細書に記載のように、トレーニングされ、それ故に誤判定のリスクを減らす、独自のニューラル・ネットワークを有し得る。

【0140】

車両５００は、インフォテインメントＳｏＣ５３０（たとえば、車両内のインフォテインメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ））をさらに含み得る。ＳｏＣとして図示及び記述されているが、インフォテインメント・システムは、ＳｏＣでなくてもよく、２個以上の個別の構成要素を含み得る。インフォテインメントＳｏＣ５３０は、オーディオ（たとえば、音楽、携帯情報端末、ナビゲーション命令、ニュース、無線など）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データシステム、燃料レベル、総移動距離、ブレーキ燃料レベル、オイル・レベル、ドアを開ける／閉じる、エア・フィルタ情報などの車両関連情報）を車両５００に提供するために使用され得るハードウェア及びソフトウェアの組合せを含み得る。たとえば、インフォテインメントＳｏＣ５３０は、無線、ディスク・プレイヤ、ナビゲーション・システム、ビデオ・プレイヤ、ＵＳＢ及びブルートゥース（登録商標）接続、カーピュータ、車内エンターテインメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御装置、ハンズ・フリー音声制御、ヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ５３４、テレマティックス・デバイス、制御パネル（たとえば、様々な構成要素、特徴、及び／又はシステムを制御する及び／又はこれと相互に作用するための）、及び／又は他の構成要素でもよい。インフォテインメントＳｏＣ５３０は、ＡＤＡＳシステム５３８からの情報、計画された車両操作などの自律運転情報、軌道、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、車両のユーザへの情報（たとえば、視覚的及び／又は可聴式の）を提供するためにさらに使用され得る。

【0141】

インフォテインメントＳｏＣ５３０は、ＧＰＵ機能性を含み得る。インフォテインメントＳｏＣ５３０は、バス５０２（たとえば、ＣＡＮバス、イーサネット（登録商標）など）を介して、車両５００の他のデバイス、システム、及び／又は構成要素と通信することができる。いくつかの実例では、インフォテインメント・システムのＧＰＵが、１次的コントローラ５３６（たとえば、車両５００の１次的及び／又はバックアップ・コンピュータ）が故障した場合に、いくつかのセルフドライブ機能を実行することができるように、インフォテインメントＳｏＣ５３０は、監督ＭＣＵに連結され得る。そのような実例では、インフォテインメントＳｏＣ５３０は、本明細書に記載のように、車両５００をショーファーの安全停止モードにすることができる。

【0142】

車両５００は、計器群５３２（たとえば、デジタル・ダッシュ、電子計器群、デジタル計器パネルなど）をさらに含み得る。計器群５３２は、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。計器群５３２は、スピードメーター、燃料レベル、油圧、タコメーター、オドメーター、方向指示器、ギアシフト位置インジケータ、シート・ベルト警告灯、パーキングブレーキ警告灯、エンジン故障灯、エアバッグ（ＳＲＳ）システム情報、照明制御装置、安全システム制御装置、ナビゲーション情報など、１セットの器具類を含み得る。いくつかの実例では、情報は、インフォテインメントＳｏＣ５３０及び計器群５３２の間で表示及び／又は共有され得る。言い換えれば、計器群５３２は、インフォテインメントＳｏＣ５３０の一部として含まれてもよく、逆もまた同様である。

【0143】

図５Ｄは、本開示のいくつかの実施例による、図５Ａのクラウドベースのサーバと例示的自律型車両５００との間の通信のシステム図である。システム５７６は、サーバ５７８、ネットワーク５９０、及び、車両５００を含む車両を含み得る。サーバ５７８は、複数のＧＰＵ５８４（Ａ）～５８４（Ｈ）（本明細書でＧＰＵ５８４と総称される）、ＰＣＩｅスイッチ５８２（Ａ）～５８２（Ｈ）（本明細書でＰＣＩｅスイッチ５８２と総称される）、及び／又はＣＰＵ５８０（Ａ）～５８０（Ｂ）（本明細書でＣＰＵ５８０と総称される）を含み得る。ＧＰＵ５８４、ＣＰＵ５８０、及びＰＣＩｅスイッチは、たとえば、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース５８８及び／又はＰＣＩｅ接続５８６などの、これらに限定されない、高速相互接続で相互に接続され得る。いくつかの実例では、ＧＰＵ５８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ５８４及びＰＣＩｅスイッチ５８２は、ＰＣＩｅ相互接続を介して接続される。８個のＧＰＵ５８４、２個のＣＰＵ５８０、及び２個のＰＣＩｅスイッチが図示されているが、これは制限を意図されていない。実施例に応じて、それぞれのサーバ５７８は、任意の数のＧＰＵ５８４、ＣＰＵ５８０、及び／又はＰＣＩｅスイッチを含み得る。たとえば、サーバ５７８は、それぞれ、８個、１６個、３２個、及び／又はそれ以上のＧＰＵ５８４を含み得る。

【0144】

サーバ５７８は、最近開始された道路工事など、予想外の又は変更された道路状態を示す画像を表す画像データを、ネットワーク５９０を介して、車両から、受信することができる。サーバ５７８は、ニューラル・ネットワーク５９２、更新されたニューラル・ネットワーク５９２、及び／又は、交通及び道路状態に関する情報を含むマップ情報５９４をネットワーク５９０を介して車両に送信することができる。マップ情報５９４の更新は、建設現場、くぼみ、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ５２２の更新を含み得る。いくつかの実例では、ニューラル・ネットワーク５９２、更新されたニューラル・ネットワーク５９２、及び／又はマップ情報５９４は、環境において任意の数の車両から受信されたデータにおいて表された新しいトレーニング及び／又は経験から、及び／又は（たとえば、サーバ５７８及び／又は他のサーバを使用する）データ・センタにおいて実行されたトレーニングに基づいて、生じた可能性がある。

【0145】

サーバ５７８は、トレーニング・データに基づいてマシン学習モデル（たとえば、ニューラル・ネットワーク）をトレーニングするために使用され得る。トレーニング・データは、車両によって生成され得る、及び／又は（たとえば、ゲーム・エンジンを使用して）シミュレーションにおいて生成され得る。いくつかの実例では、トレーニング・データは、タグ付けされる（たとえば、ニューラル・ネットワークが、監督された学習の恩恵を受ける場合）及び／又は他の事前処理を受けるが、他の実例において、トレーニング・データは、タグ付け及び／又は事前処理されない（たとえば、ニューラル・ネットワークが、監督された学習を必要としない場合）。トレーニングは、たとえば以下のクラスを含むがこれらに限定されない、任意の１つ又は複数のクラスのマシン学習技法に従って、実行され得る：監視されたトレーニング、半監視されたトレーニング、監視されていないトレーニング、自己学習、強化学習、連合型学習、転移学習、特徴学習（主要構成要素及びクラスタ分析を含む）、マルチ線形部分空間学習、多様体学習、表現学習（予備辞書学習を含む）、ルールに基づくマシン学習、異常検出、及びそれらの変更形態若しくは組合せ。マシン学習モデルがトレーシングされた後は、マシン学習モデルは、車両によって使用され得（たとえば、ネットワーク５９０を介して車両に送信される）、及び／又は、マシン学習モデルは、車両を遠隔監視するために、サーバ５７８によって使用され得る。

【0146】

いくつかの実例では、サーバ５７８は、車両からデータを受信し、リアルタイムのインテリジェント推論のために最新のリアルタイムのニューラル・ネットワークにデータを適用することができる。サーバ５７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、ＧＰＵ５８４によって電力供給される深層学習スーパーコンピュータ及び／又は専用のＡＩコンピュータを含み得る。しかしながら、一部の実例では、サーバ５７８は、ＣＰＵ電源式データ・センタのみを使用する深層学習インフラストラクチャを含み得る。

【0147】

サーバ５７８の深層学習インフラストラクチャは、高速のリアルタイム推論の能力を有することでき、その能力を使用して車両５００内のプロセッサ、ソフトウェア、及び／又は関連ハードウェアの調子を評価及び検証することができる。たとえば、深層学習インフラストラクチャは、車両５００がそのシーケンスの画像内に位置したシーケンスの画像及び／又は物体など、車両５００からの定期的更新を受信することができる（たとえば、コンピュータ・ビジョン及び／又は他のマシン学習物体分類技法を介して）。深層学習インフラストラクチャは、物体を識別し、車両５００によって識別された物体とそれらを比較するために、独自のニューラル・ネットワークを実行することができ、結果が一致せず、インフラストラクチャが、車両５００内のＡＩは正常に機能していないという結論を下した場合、サーバ５７８は、制御を推測し、乗客に通知し、安全な駐車操作を完了するように車両５００のフェイルセーフ・コンピュータに命じる車両５００への信号を送信することができる。

【0148】

推論のために、サーバ５７８は、ＧＰＵ５８４及び１つ又は複数のプログラマブル推論加速装置（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ）を含み得る。ＧＰＵ電源式サーバ及び推論加速の組合せは、リアルタイムの反応性を可能にすることができる。パフォーマンスがさほど必要とされない場合など、他の実例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって電力供給されるサーバが、推論のために使用され得る。

【0149】

図５は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス５００の一実例のブロック図である。計算デバイス５００は、以下のデバイスを間接的に又は直接的につなぐ相互接続システム５０２を含み得る：メモリ５０４、１つ又は複数の中央処理装置（ＣＰＵ）５０６、１つ又は複数のグラフィック処理ユニット（ＧＰＵ）５０８、通信インターフェース５１０、Ｉ／Ｏポート５１２、入力／出力構成要素５１４、電力供給装置５１６、１つ又は複数の提示構成要素５１８（たとえば、ディスプレイ）、及び１つ又は複数の論理ユニット５２０。

【0150】

図５の様々なブロックは、線で相互接続システム５０２を介して接続しているように示されているが、これは制限することを意図されておらず、単に分かりやすくするためである。たとえば、一部の実施例では、表示デバイスなどの提示構成要素５１８は、Ｉ／Ｏ構成要素５１４と考えられ得る（たとえば、ディスプレイがタッチ・スクリーンである場合）。別の実例として、ＣＰＵ５０６及び／又はＧＰＵ５０８はメモリを含み得る（たとえば、メモリ５０４は、ＧＰＵ５０８、ＣＰＵ５０６、及び／又は他の構成要素のメモリに加えた記憶デバイスを表し得る）。言い換えれば、図５の計算デバイスは、単に例示である。「ワークステーション」、「サーバ」、「ラップトップ」、「デスクトップ」、「タブレット」、「クライアント・デバイス」、「モバイル・デバイス」、「ハンドヘルド・デバイス」、「ゲーム機」、「電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）」、「仮想現実システム」、「拡張現実システム」、及び／又は他のデバイス若しくはシステム・タイプなどのカテゴリはすべて、図５の計算デバイスの範囲内にあることが意図されているので、これらは区別されない。

【0151】

相互接続システム５０２は、１つ又は複数のリンク又はバス、たとえば、アドレス・バス、データ・バス、制御バス、又はその組合せ、を表し得る。相互接続システム５０２は、１つ又は複数のバス又はリンク・タイプ、たとえば、業界標準アーキテクチャ（ＩＳＡ：ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張業界標準アーキテクチャ（ＥＩＳＡ：ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＶＥＳＡ（ｖｉｄｅｏ ｅｌｅｃｔｒｏｎｉｃｓ ｓｔａｎｄａｒｄｓ ａｓｓｏｃｉａｔｉｏｎ）バス、周辺構成要素相互接続（ＰＣＩ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、周辺構成要素相互接続エクスプレス（ＰＣＩｅ：ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バス、及び／又は別のタイプのバス若しくはリンク、を含み得る。一部の実施例では、構成要素の間に直接接続が存在する。一実例として、ＣＰＵ５０６は、メモリ５０４に直接接続され得る。さらに、ＣＰＵ５０６は、ＧＰＵ５０８に直接接続され得る。構成要素の間に直接、又はポイント対ポイント接続が存在する場合、相互接続システム５０２は、接続を実施するためのＰＣＩｅリンクを含み得る。これらの実例では、ＰＣＩバスは、計算デバイス５００に含まれる必要はない。

【0152】

メモリ５０４は、様々なコンピュータ可読媒体のいずれかを含み得る。コンピュータ可読媒体は、計算デバイス５００によってアクセスすることができる任意の利用可能な媒体でもよい。コンピュータ可読媒体は、揮発性及び不揮発性媒体の両方、及び取り外し可能な及び取り外し不可能な媒体を含み得る。例として、しかし限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備え得る。

【0153】

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプなどの情報の記憶のための任意の方法又は技術において実装された揮発性及び不揮発性媒体及び／又は取り外し可能な及び取り外し不可能な媒体の両方を含み得る。たとえば、メモリ５０４は、オペレーティング・システムなど、（たとえば、プログラム及び／又はプログラム要素を表す）コンピュータ可読命令を記憶することができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）又は他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ又は他の磁気記憶デバイス、或いは、所望の情報を記憶するために使用し得る及び計算デバイス５００によってアクセスし得る任意の他の媒体を含み得るが、これらに限定されない。本明細書では、コンピュータ記憶媒体は、信号自体を含まない。

【0154】

コンピュータ記憶媒体は、搬送波などの変調データ信号又は他の移送機構においてコンピュータ可読命令、データ構造体、プログラム・モジュール、及び／又は他のデータ・タイプを実施することができ、任意の情報配信媒体を含む。「変調データ信号」という用語は、その特性セットのうちの１つ又は複数を有する或いは信号内の情報をエンコードするような方式で変化した信号を指し得る。例として、しかし限定せず、コンピュータ記憶媒体は、ワイヤード・ネットワーク又は直接ワイヤード接続などのワイヤード媒体と、音響、ＲＦ、赤外線及び他のワイヤレス媒体などのワイヤレス媒体とを含み得る。前述のいずれかの組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。

【0155】

ＣＰＵ５０６は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス５００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＣＰＵ５０６は、多数のソフトウェア・スレッドを同時に処理する能力を有する１つ又は複数の（たとえば、１個、２個、４個、８個、２８個、７２個などの）コアをそれぞれ含み得る。ＣＰＵ５０６は、任意のタイプのプロセッサを含み得、実装された計算デバイス５００のタイプに応じて、異なるタイプのプロセッサを含み得る（たとえば、モバイル・デバイスのためのより少数のコアを有するプロセッサ、及びサーバのためのより多数のコアを有するプロセッサ）。たとえば、計算デバイス５００のタイプに応じて、プロセッサは、縮小命令セット計算（ＲＩＳＣ：Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたＡｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）プロセッサ、又は複合命令セット計算（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）を使用して実装されたｘ８６プロセッサでもよい。計算デバイス５００は、計算コプロセッサなど、１つ又は複数のマイクロプロセッサ又は補助コプロセッサ内の１つ又は複数のＣＰＵ５０６を含み得る。

【0156】

ＣＰＵ５０６に加えて又はその代わりに、ＧＰＵ５０８は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス５００の１つ又は複数の構成要素を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。ＧＰＵ５０８のうちの１つ若しくは複数は、統合されたＧＰＵ（たとえば、ＣＰＵ５０６のうちの１つ又は複数とでもよく、及び／又はＧＰＵ５０８のうちの１つ若しくは複数は、離散ＧＰＵでもよい。実施例では、ＧＰＵ５０８のうちの１つ又は複数は、ＣＰＵ５０６のうちの１つ又は複数のコプロセッサでもよい。ＧＰＵ５０８は、グラフィックス（たとえば、３Ｄグラフィックス）をレンダリングする又は汎用計算を実行するために、計算デバイス５００によって使用され得る。たとえば、ＧＰＵ５０８は、ＧＰＵによる汎用計算（ＧＰＧＰＵ：Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵ）のために使用され得る。ＧＰＵ５０８は、同時に数百又は数千のソフトウェア・スレッドを処理する能力を有する数百又は数千のコアを含み得る。ＧＰＵ５０８は、レンダリング・コマンド（たとえば、ホスト・インターフェースを介して受信されたＣＰＵ５０６からのレンダリング・コマンド）に応答して、出力画像のための画素データを生成することができる。ＧＰＵ５０８は、画素データ又は任意の他の適切なデータ、たとえばＧＰＧＰＵデータ、を記憶するためのグラフィックス・メモリ、たとえば表示メモリ、を含み得る。表示メモリは、メモリ５０４の一部として含まれ得る。ＧＰＵ５０８は、並行して動作する（たとえば、リンクを介して）２個以上のＧＰＵを含み得る。リンクは、ＧＰＵに直接接続することができ（たとえば、ＮＶＬＩＮＫを使用して）、又はスイッチを介して（たとえば、ＮＶＳｗｉｔｃｈを使用して）ＧＰＵを接続することができる。ともに結合されるとき、各ＧＰＵ５０８は、出力の異なる部分の又は異なる出力の画素データ又はＧＰＧＰＵデータ（たとえば、第１の画像の第１のＧＰＵ及び第２の画像の第２のＧＰＵ）を生成することができる。各ＧＰＵは、独自のメモリを含むことができ、又は他のＧＰＵとメモリを共有することができる。
ＣＰＵ５０６及び／又はＧＰＵ５０８に加えて又はその代わりに、論理ユニット５２０は、コンピュータ可読命令のうちの少なくともいくつかを実行して計算デバイス５００のうちの１つ又は複数を制御して本明細書に記載の方法及び／又はプロセスのうちの１つ又は複数を実行するように構成され得る。実施例では、ＣＰＵ５０６、ＧＰＵ５０８、及び／又は論理ユニット５２０は、方法、プロセス及び／又はその部分の任意の組合せを離散的に又は合同で実行することができる。論理ユニット５２０のうちの１つ若しくは複数は、ＣＰＵ５０６及び／若しくはＧＰＵ５０８のうちの１つ若しくは複数の一部でもよく及び／又はそこで統合されてもよく、及び／又は、論理ユニット５２０のうちの１つ若しくは複数は、ＣＰＵ５０６及び／若しくはＧＰＵ５０８に対する離散構成要素であっても若しくは他の方法でそれらの外部にあってもよい。実施例では、論理ユニット５２０のうちの１つ又は複数は、ＣＰＵ５０６のうちの１つ若しくは複数及び／又はＧＰＵ５０８のうちの１つ若しくは複数のコプロセッサでもよい。

【0157】

論理ユニット５２０の実例は、１つ又は複数の処理コア及び／又はその構成要素、たとえば、テンソル・コア（ＴＣ：Ｔｅｎｓｏｒ Ｃｏｒｅ）、テンソル処理ユニット（ＴＰＵ：Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画素ビジュアル・コア（ＰＶＣ：Ｐｉｘｅｌ Ｖｉｓｕａｌ Ｃｏｒｅ）、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理クラスタ（ＧＰＣ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、テクスチャ処理クラスタ（ＴＰＣ：Ｔｅｘｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ Ｃｌｕｓｔｅｒ）、ストリーミング・マルチプロセッサ（ＳＭ：Ｓｔｒｅａｍｉｎｇ Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、木の走査ユニット（ＴＴＵ：Ｔｒｅｅ Ｔｒａｖｅｒｓａｌ Ｕｎｉｔ）、人工知能加速装置（ＡＩＡ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ａｃｃｅｌｅｒａｔｏｒ）、深層学習加速装置（ＤＬＡ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒ）、論理演算ユニット（ＡＬＵ）、特定用途向け集積回路（ＡＳＩＣ）、浮動小数点演算ユニット（ＦＰＵ）、Ｉ／Ｏエレメント、周辺構成要素相互接続（ＰＣＩ）又は周辺構成要素相互接続エクスプレス（ＰＣＩｅ）エレメント、及び／又は同類のもの、を含む。

【0158】

通信インターフェース５１０は、ワイヤード及び／又はワイヤレス通信を含む、電子通信ネットワークを介して計算デバイス５００が他の計算デバイスと通信することを可能にする、１つ又は複数のレシーバ、トランスミッタ、及び／又はトランシーバを含み得る。通信インターフェース５１０は、ワイヤレス・ネットワーク（たとえば、Ｗｉ－Ｆｉ、Ｚ－Ｗａｖｅ、ブルートゥース（登録商標）、ブルートゥース（登録商標）ＬＥ、ＺｉｇＢｅｅなど）、ワイヤード・ネットワーク（たとえば、イーサネット（登録商標）又はＩｎｆｉｎｉＢａｎｄを介して通信すること）、低電力ワイド・エリア・ネットワーク（たとえば、ＬｏＲａＷＡＮ、ＳｉｇＦｏｘなど）、及び／又はインターネットなどの、いくつかの異なるネットワークのうちのいずれかを介する通信を可能にするための構成要素及び機能を含み得る。

【0159】

Ｉ／Ｏポート５１２は、そのうちのいくつかは計算デバイス５００に内蔵（たとえば、統合）され得る、Ｉ／Ｏ構成要素５１４、提示構成要素５１８、及び／又は他の構成要素を含む、他のデバイスに計算デバイス５００が論理的に連結されることを可能にすることができる。例示的なＩ／Ｏ構成要素５１４は、マイクロフォン、マウス、キーボード、ジョイスティック、ゲーム・パッド、ゲーム・コントローラ、サテライト・ディッシュ、スキャナ、プリンタ、ワイヤレス・デバイスなどを含む。Ｉ／Ｏ構成要素５１４は、エア・ジェスチャ、音声、又は、ユーザによって生成される他の生理的入力を処理する自然ユーザ・インターフェース（ＮＵＩ：ｎａｔｕｒａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供することができる。場合によっては、入力は、さらなる処理のための適切なネットワーク要素に送信され得る。ＮＵＩは、音声認識、スタイラス認識、顔認識、生体認識、画面上での及び画面の隣でのジェスチャ認識、エア・ジェスチャ、頭部及び視標追跡、並びに計算デバイス５００のディスプレイに関連するタッチ認識（さらに詳しく後述するような）の任意の組合せを実装し得る。計算デバイス５００は、ジェスチャ検出及び認識のための、ステレオスコープ・カメラ・システム、赤外線カメラ・システム、ＲＧＢカメラ・システム、タッチ画面技術、及びこれらの組合せなど、深度カメラを含み得る。追加で、計算デバイス５００は、動きの検出を可能にする加速度計又はジャイロスコープを含み得る（たとえば、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）の一部として）。いくつかの実例では、加速度計又はジャイロスコープの出力は、没入型拡張現実又は仮想現実をレンダリングするために、計算デバイス５００によって使用され得る。

【0160】

電力供給装置５１６は、ハードワイヤード電力供給装置、バッテリ電力供給装置、又はその組合せを含み得る。電力供給装置５１６は、計算デバイス５００の構成要素が動作することを可能にするために計算デバイス５００に電力を提供することができる。
提示構成要素５１８は、ディスプレイ（たとえば、モニタ、タッチ画面、テレビジョン画面、ヘッドアップ表示装置（ＨＵＤ）、他のディスプレイタイプ、又はその組合せ）、スピーカ、及び／又は他の提示構成要素を含み得る。提示構成要素５１８は、他の構成要素（たとえば、ＧＰＵ５０８、ＣＰＵ５０６など）からデータを受信し、データを（たとえば、画像、ビデオ、音響などとして）出力することができる。

【0161】

本開示は、コンピュータ又は、携帯情報端末若しくは他のハンドヘルド・デバイスなどの、他のマシンによって実行されている、プログラム・モジュールなどのコンピュータ実行可能命令を含む、コンピュータ・コード又はマシン使用可能命令との一般的関連において説明されることがある。一般に、ルーティン、プログラム、オブジェクト、構成要素、データ構造体などを含むプログラム・モジュールは、特定のタスクを実行する又は特定の抽象データ・タイプを実装するコードを指す。本開示は、ハンドヘルド・デバイス、家電製品、汎用コンピュータ、より特殊な計算デバイスなどを含む、様々な構成で実施され得る。本開示はまた、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散型コンピューティング環境において実施され得る。

【0162】

本明細書では、２個以上の要素に関する「及び／又は」の記述は、１つの要素のみ、又は要素の組合せを意味すると解釈されるべきである。たとえば、「要素Ａ、要素Ｂ、及び／又は要素Ｃ」は、要素Ａのみ、要素Ｂのみ、要素Ｃのみ、要素Ａ及び要素Ｂ、要素Ａ及び要素Ｃ、要素Ｂ及び要素Ｃ、或いは、要素Ａ、Ｂ、及びＣを含み得る。加えて、「要素Ａ又は要素Ｂのうちの少なくとも１つ」は、要素Ａの少なくとも１つ、要素Ｂの少なくとも１つ、或いは、要素Ａの少なくとも１つ及び要素Ｂの少なくとも１つを含み得る。さらに、「要素Ａ及び要素Ｂのうちの少なくとも１つ」は、要素Ａのうちの少なくとも１つ、要素Ｂのうちの少なくとも１つ、或いは、要素Ａのうちの少なくとも１つ及び要素Ｂのうちの少なくとも１つを含み得る。

【0163】

本開示の主題は、法定の要件を満たすために特異性を有して記述されている。しかしながら、その記述自体が本開示の範囲を制限することは意図されていない。そうではなくて、本発明者は、請求されている主題が、他の現在の又は未来の技術と併せて、異なるステップ又は本文書に記載されたものと類似のステップの組合せを含むように、他の形で実施され得ることを意図している。さらに、「ステップ」及び／又は「ブロック」という用語は、使用される方法の異なる要素を含意するように本明細書で使用され得るが、これらの用語は、個別のステップの順番が明示的に記載されていない限り及びそのように記載されているときを除いて本明細書で開示される様々なステップの間に何らかの特定の順番を暗示するものとして解釈されるべきではない。

【0164】

図７は、本開示のいくつかの実施例による、車両を操作するためのプロセスの例示的流れ図である。プロセス７００、及び以下のプロセスのいずれも、処理回路によって実行され得る。処理回路は、推論及び／又はトレーニング論理を含み得る。処理回路はまた、１つ又は複数のプロセッサ５１８及び／又はグラフィカル・プロセッサ装置５２０を含み得る。処理回路はまた、１つ又は複数のハードウェア・アクセラレータ（たとえば、ＤＬＡ及び／又はＰＬＡ）を含み得る。本明細書で述べられるとき、処理回路は、１つ又は複数のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、システム・オン・チップ（ＳｏＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などに基づく回路を意味すると理解されるべきであり、マルチコア・プロセッサ（たとえば、デュアルコア、クアドコア、ヘキサコア、又は任意の適切な数のコア）を含み得る。いくつかの実施例において、処理回路は、複数の別個のプロセッサ又は処理ユニット、たとえば、同タイプの処理ユニット又は複数の異なるプロセッサのうちの複数、に渡って分散され得る。任意のタイプ及び構造の処理回路が、使用され得る。たとえば、処理回路は、マルチコア・プロセッサ、並行して動作を実施するためのグラフィックス又は計算パイプラインとして構造化されたマルチコア・プロセッサ、ニューロモーフィック・プロセッサ、任意の他の並列プロセッサ若しくはグラフィックス・プロセッサ、或いは同類のものを含み得る。少なくとも１つの実施例において、処理回路は、複合命令セット・コンピュータ（「ＣＩＳＣ」）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、或いは任意の他のプロセッサ・デバイス、たとえば、デジタル信号プロセッサ又はグラフィックス・プロセッサ、を含み得るが、これらに限定されない。

【0165】

ここで図７～１０を参照すると、本明細書に記載の図７～１０で説明する方法の各ブロックは、任意の組合せのハードウェア、ファームウェア、及び／又はソフトウェアを使用して実行され得る計算プロセスを含む。たとえば、様々な機能が、メモリに記憶されたプロセッサ実行命令によって実施され得る。方法はまた、コンピュータ記憶媒体に記憶されたコンピュータ使用可能命令として実施され得る。方法は、いくつか例を挙げると、独立型アプリケーション、サービス又はホスト型サービス（独立型の又は別のホスト型サービスと組み合わせた）、或いは別の製品へのプラグインによって提供され得る。加えて、図７～１０の方法は、例として、図５Ａ～５Ｄの例示的自律型車両システムに関して、説明されている。しかしながら、これらの方法は、本明細書に記載のものを含むが、これらに限定されない、任意の１つのシステム、又は任意の組合せのシステムによって、追加で又は別法として、実行され得る。

【0166】

７０２において、処理回路は、車両の外部の物体の軌道を示すデータを、１つ又は複数のセンサから、受信する。いくつかの実施例において、処理回路は、グローバル・ナビゲーション衛星システム（「ＧＮＳＳ」）センサ５５８（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ５６０、超音波センサ５６２、ＬＩＤＡＲセンサ５６４、慣性計測装置（「ＩＭＵ」）センサ５６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン５９６、ステレオ・カメラ５６８、ワイド・ビュー・カメラ５７０（たとえば、魚眼カメラ）、赤外線カメラ５７２、サラウンド・カメラ５７４（たとえば、３６０度カメラ）、長距離カメラ（図５Ａに示さず）、中距離カメラ（図５Ａに示さず）、速度センサ５４４（たとえば、車両５００の速度を測定するための）、振動センサ５４２、ステアリング・センサ５４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム５４６の一部としての）、及び／又は他のセンサ・タイプのうちの少なくとも１つからデータを受信する。

【0167】

７０４において、処理回路は、車両の外部の物体の１つ又は複数の属性を判定する。いくつかの実施例において、処理回路は、物体の１つ又は複数の属性を判定するために１つ又は複数のニューラル・ネットワーク５９２にネットワーク５９０を介して通信可能なように連結されている。いくつかの実施例において、処理回路は、場所属性、気象属性、又は運転条件属性のうちの少なくとも１つを含む１つの付加的属性を判定する。いくつかの実施例において、処理回路は、サーバ５７８から付加的属性を、少なくとも部分的に、受信する。いくつかの実施例において、処理回路は、グローバル・ナビゲーション衛星システム（「ＧＮＳＳ」）センサ５５８（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ５６０、超音波センサ５６２、ＬＩＤＡＲセンサ５６４、慣性計測装置（「ＩＭＵ」）センサ５６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン５９６、ステレオ・カメラ５６８、ワイド・ビュー・カメラ５７０（たとえば、魚眼カメラ）、赤外線カメラ５７２、サラウンド・カメラ５７４（たとえば、３６０度カメラ）、長距離カメラ（図５Ａに示さず）、中距離カメラ（図５Ａに示さず）、速度センサ５４４（たとえば、車両５００の速度を測定するための）、振動センサ５４２、ステアリング・センサ５４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム５４６の一部としての）、及び／又は他のセンサ・タイプのうちの少なくとも１つから、少なくとも部分的に、受信する。いくつかの実施例において、処理回路は、先に挙げた車両５００のセンサのうちの少なくとも１つ又は複数から人の少なくとも一部分の描写を示すデータを受信する。処理回路は、物体の少なくとも一部（たとえば、人の衣類）の描写を示すデータに基づいて、人の１つ又は複数の属性を判定する。いくつかの実施例において、処理回路は、ニューラル・ネットワーク５９２を使用するハードウェア・アクセラレータを実装することによって、この判定を行う。たとえば、ハードウェア・アクセラレータは、ハードウェア加速クラスタからの１つ又は複数のモジュールでもよい。ハードウェア加速クラスタからのモジュールは、１つ若しくは複数のＤＬＡ、１つ若しくは複数のＰＶＡ、及び／又は１つ若しくは複数のＴＰＵを含む。いくつかの実施例において、ハードウェア加速クラスタは、サーバ５７８の一部である。この実施例において、データは、車両の処理回路とサーバとの間で交換される。他の実施例において、処理回路は、サーバの処理回路を含む。他の実施例において、ハードウェア・クラスタは、ＳｏＣ５０４の一部である。

【0168】

７０６において、処理回路は、軌道を示すデータと１つ又は複数の属性とに基づいて危険レベルを計算する。いくつかの実施例において、処理回路は、ニューラル・ネットワーク５９２を使用する動作のうちの１つ又は複数を実装するマシン学習モデルを実装する。いくつかの実施例において、マシン学習モデルは、推論及び／又はトレーニング論理５１５を使用してニューラル・ネットワークのトレーニング及び干渉モデリングを実行する。ニューラル・ネットワークのトレーニングは、様々な環境における様々な物体軌道のトレーニング・データセット６０２を使用する。トレーニング・フレームワーク６０４は、トレーニング・データセット６０２を使用して、ニューラル・ネットワークの学習を容易にする。いくつかの実施例において、処理回路は、ハードウェア・アクセラレータを実装して、危険レベルを計算する及び／又はニューラル・ネットワーク５９２を使用する動作のうちの１つ若しくは複数を実行する。たとえば、ハードウェア・アクセラレータは、ハードウェア加速クラスタからのモジュールである。ハードウェア加速クラスタからのモジュールは、１つ若しくは複数のＤＬＡ、１つ若しくは複数のＰＶＡ、及び／又は１つ若しくは複数のＴＰＵを含む。いくつかの実施例において、ハードウェア加速クラスタは、サーバ５７８の一部である。この実施例において、データは、車両の処理回路とサーバとの間で交換される。他の実施例において、処理回路は、サーバの処理回路を含む。他の実施例において、ハードウェア・クラスタは、ＳｏＣ５０４の一部である。

【0169】

７０８において、処理回路は、危険レベルの低下をもたらすために、計算された危険レベルに応答して動作を実行させる。いくつかの実施例において、処理回路は、動作を実行させるためにニューラル・ネットワーク５９２を使用する動作のうちの１つ又は複数を実装するマシン学習モデルを実装する。いくつかの実施例において、マシン学習モデルは、推論及び／又はトレーニング論理５１５を使用してニューラル・ネットワークのトレーニング及び干渉モデリングを実行する。ニューラル・ネットワークのトレーニングは、判定された危険レベルの様々な環境に基づく様々な動作のトレーニング・データセット６０２を使用する。トレーニング・フレームワーク６０４は、トレーニング・データセット６０２を使用するニューラル・ネットワークの学習を容易にする。いくつかの実施例において、処理回路は、車両のセンサに命令を提供する。具体的には、処理回路は、グローバル・ナビゲーション衛星システム（「ＧＮＳＳ」）センサ５５８（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ５６０、超音波センサ５６２、ＬＩＤＡＲセンサ５６４、慣性計測装置（「ＩＭＵ」）センサ５６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン５９６、ステレオ・カメラ５６８、ワイド・ビュー・カメラ５７０（たとえば、魚眼カメラ）、赤外線カメラ５７２、サラウンド・カメラ５７４（たとえば、３６０度カメラ）、長距離カメラ（図５Ａに示さず）、中距離カメラ（図５Ａに示さず）、速度センサ５４４（たとえば、車両５００の速度を測定するための）、振動センサ５４２、ステアリング・センサ５４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム５４６の一部としての）、及び／又は他のセンサ・タイプのうちの少なくとも１つに命令を提供する。いくつかの実施例において、処理回路は、ネットワーク５９０を介して環境ハードウェア（たとえば、ネットワーク接続された信号柱）に命令を提供する。いくつかの実施例において、処理回路は、物体に向けられたオーディオ信号の放出を引き起こすために車両のスピーカ・センサに命令を提供する。いくつかの実施例において、処理回路は、オーディオ信号の位相及び振幅を決定することによって、ビーム形成オーディオ信号を生成する。いくつかの実施例において、処理回路は、データ・ストア５１６からの物体周波数データに基づいて異なる物体のための複数の別個の周波数を決定する。

【0170】

図８は、本開示のいくつかの実施例による、車両の外部の物体の軌道を判定するためのプロセス８００の例示的流れ図である。８０２において、処理回路は、カメラ・センサ（たとえば、ステレオ・カメラ５６８、赤外線カメラ５７２など）から受信される物体の１つ又は複数の画像を受信する。

【0171】

８０４において、処理回路は、カメラ・センサから受信された１つ又は複数の画像に基づいて物体の指向性を判定する。処理回路は、１つ又は複数の画像間の時間の差、及び物体の相対距離の差を判定する。８０６において、処理回路は、カメラ・センサから受信された１つ又は複数の画像に基づいて物体のベロシティを判定する（たとえば、時間及び相対距離の差を使用）。

【0172】

８０８において、処理回路は、物体のベロシティ及び指向性に基づいて車両の外部の物体の軌道を判定する。処理回路は、１つ又は複数の数学的モデルを使用して、物体が車両との衝突コース上にあるかどうかを判定する。

【0173】

図９は、本開示のいくつかの実施例による、車両の外部の物体の属性を判定するためのプロセス９００の例示的流れ図である。９０２において、処理回路は、カメラ・センサ（たとえば、ステレオ・カメラ５６８、赤外線カメラ５７２など）から受信される物体の画像を受信する。

【0174】

９０４において、処理回路は、以下のうちの少なくとも１つに基づいて、人である物体の属性を判定する：人の頭部姿勢、人の体勢、人の衣類、人によって行われるジェスチャ、又は環境属性。処理回路は、マシン学習モデルを使用して属性を判定する。いくつかの実施例において、マシン学習モデルは、推論及び／又はトレーニング論理５１５を使用してニューラル・ネットワークのトレーニング及び干渉モデリングを実行する。ニューラル・ネットワークのトレーニングは、無数の物体タイプ並びに異なる向き及び／又は属性（たとえば、すべての年齢、体型の、並びに異なる姿勢及び異なる衣類の人々）のトレーニング・データセット６０２を使用する。トレーニング・フレームワーク６０４は、トレーニング・データセット６０２を使用するニューラル・ネットワークの学習を容易にする。

【0175】

９０６において、処理回路は、マシン学習モデルに基づいて人の属性の分類を判定する。判定された属性は、これらの属性に基づく分類を提供するマシン学習モデルに提供される。

【0176】

図１０は、本開示のいくつかの実施例による、ビーム形成オーディオ信号の放出を引き起こすためのプロセスの例示的流れ図である。１００２において、処理回路は、車両から物体までのリアルタイム軌道を判定する。処理回路は、カメラ・センサ（たとえば、ステレオ・カメラ５６８、赤外線カメラ５７２など）から受信される物体の１つ又は複数の画像に基づいて車両から物体までのリアルタイム軌道を判定する。

【0177】

１００４において、処理回路は、計算された危険レベルに基づいてオーディオ信号のマグニチュードを決定する。いくつかの実施例において、処理回路は、マシン学習モデルを使用して属性を判定する。いくつかの実施例において、処理回路は、データ・ストア５１６からマッピング・テーブルを取得し、マッピング・テーブルは、危険レベル計算のための対応するマグニチュードを有する。いくつかの実施例において、処理回路は、車両及び／又は物体の場所に関する処理回路によって受信される環境情報（たとえば、環境標識）から付加的属性を取得する。いくつかの実施例において、処理回路は、車両及び／又は物体の場所に関する処理回路によって受信される補助情報（たとえば、場所情報、気象情報、及び／又は運転条件）から付加的属性を取得する。処理回路は、ネットワーク５９０から、並びに／又は、グローバル・ナビゲーション衛星システム（「ＧＮＳＳ」）センサ５５８（たとえば、全地球測位システム・センサ）、ＲＡＤＡＲセンサ５６０、超音波センサ５６２、ＬＩＤＡＲセンサ５６４、慣性計測装置（「ＩＭＵ」）センサ５６６（たとえば、加速度計、ジャイロスコープ、磁気コンパス、磁力計など）、マイクロフォン５９６、ステレオ・カメラ５６８、ワイド・ビュー・カメラ５７０（たとえば、魚眼カメラ）、赤外線カメラ５７２、サラウンド・カメラ５７４（たとえば、３６０度カメラ）、長距離カメラ（図５Ａに示さず）、中距離カメラ（図５Ａに示さず）、速度センサ５４４（たとえば、車両５００の速度を測定するための）、振動センサ５４２、ステアリング・センサ５４０、ブレーキ・センサ（たとえば、ブレーキ・センサ・システム５４６の一部としての）、及び／若しくは他のセンサ・タイプのうちの少なくとも１つから、付加的属性を受信する。

【0178】

１００６において、処理回路は、リアルタイム軌道及びオーディオ信号のマグニチュードに基づいてビーム形成オーディオ信号の放出を引き起こすためにスピーカ・センサに命令を送信する。いくつかの実施例において、処理回路は、リアルタイム軌道及びオーディオ信号のマグニチュードに基づいてビーム形成オーディオ信号を送信するために環境ハードウェアに命令を送信する。いくつかの実施例において、処理回路は、物体に光信号を放出するために車両の光源センサ（たとえば、ヘッドライト又は専用光源）に命令を送信する。いくつかの実施例において、処理回路は、物体に放出されるオーディオ放出に基づく言語を取得するためにデータ・ストア５１６にアクセスする。

【0179】

図７～１０のいくつかの適切なステップ又は適切な記述は、本開示の他の適切な実施例と使用され得ることが意図されている。加えて、図７～１０に関連して説明されるいくつかの適切なステップ及び記述は、本開示の目的を推進するために、代替順番で又は並行して実装され得る。たとえば、いくつかの適切なステップは、ラグを減らす又はシステム若しくは方法の速度を上げるために、任意の順番で又は並行して又は実質的に同時に実行され得る。いくつかの適切なステップはまた、プロセスから省略又は除外され得る。さらに、図５Ａ～６に関連して論じられたいくつかの適切なデバイス又は機器は、図７～１０におけるステップのうちの１つ又は複数を実行するために使用され得ることに留意されたい。

【0180】

前述のプロセスは、例示を意図しており、限定は意図していない。本明細書で論じるプロセスのステップは、除外、修正、結合、及び／又は再配置され得、任意の付加的ステップが、本発明の範囲を逸脱せずに、実行され得ることが当業者には理解されよう。さらに一般的には、前述の開示は、例示を意図しており、限定を意図していない。後に続く、特許請求の範囲のみが、本発明が何を含むかに関する境界を設定することを意図されている。さらに、任意の１つの実施例において説明された特徴及び制限は、本明細書に記載の任意の他の実施例に適用され得、１つの実施例に関連する流れ図又は実例は、適切な方式で任意の他の実施例と結合され得る、異なる順番で行われ得る、又は並行して行われ得ることに留意されたい。加えて、本明細書に記載のシステム及び方法は、リアルタイムで実行され得る。前述のシステム及び／又は方法は、他のシステム及び／又は方法に適用され得る、又は他のシステム及び／又は方法に従って使用され得ることにも留意されたい。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】