特開 2022-76453 自律システムにおける経路決定のための安全デコンポジション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022076453

(43)【公開日】2022-05-19

(54)【発明の名称】自律システムにおける経路決定のための安全デコンポジション

(51)【国際特許分類】

   G08G 1/0968 20060101AFI20220512BHJP

   B60W 60/00 20200101ALI20220512BHJP

   G08G 1/00 20060101ALI20220512BHJP

   G01C 21/28 20060101ALI20220512BHJP

   G01C 21/36 20060101ALI20220512BHJP

【ＦＩ】

G08G1/0968

B60W60/00

G08G1/00 X

G01C21/28

G01C21/36

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021172882

(22)【出願日】2021-10-22

(31)【優先権主張番号】63/111,250

(32)【優先日】2020-11-09

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/483,019

(32)【優先日】2021-09-23

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】501450960

【氏名又は名称】エヌビディア コーポレーション

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】アイディン エサニベナファティ

(72)【発明者】

【氏名】ジョナス ニルソン

(72)【発明者】

【氏名】アミール アクバルザデー

(72)【発明者】

【氏名】ヘ ジョン ソ

【テーマコード（参考）】

2F129

3D241

5H181

【Ｆターム（参考）】

2F129AA03

2F129AA05

2F129AA11

2F129BB02

2F129BB15

2F129BB20

2F129BB22

2F129BB26

2F129BB33

2F129BB47

2F129CC31

2F129CC33

2F129EE52

2F129GG04

2F129GG05

2F129GG06

2F129GG17

2F129GG18

3D241BA01

3D241BA33

3D241BA60

3D241CE02

3D241CE05

3D241CE08

3D241DA52Z

3D241DB02Z

3D241DC01Z

5H181AA01

5H181AA06

5H181AA07

5H181AA26

5H181AA27

5H181BB04

5H181BB20

5H181CC02

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF04

5H181FF05

5H181FF07

5H181FF10

5H181FF14

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5H181LL09

(57)【要約】

【課題】車線グラフ又は経路決定を生成するアーキテクチャを提供する。
【解決手段】システムが、ローカリゼーションを決定するのに有用な複数のソースからのデータを互いに融合させる。安全準拠を確実にするために、この融合データは、安全が信用できるシステムからのデータと比較され、少なくとも２つの比較器が融合ローカリゼーション・データに関して一致する限り、融合ローカリゼーション・データは使用され安全規制に準拠していることが確認される。このシステムは、車線認知のために有用な利用可能な情報をも互いに融合させる。この融合データは、安全が信用できるシステムからのデータと比較され、これらの安全準拠システムのための少なくとも２つの比較器が融合車線グラフ・データに関して一致する限り、融合車線グラフ・データは、ナビゲーションのために提供され、規制に準拠していることが確認される。
【選択図】図４

【特許請求の範囲】

【請求項1】

ローカリゼーション・データの少なくとも２つのソースを使用して、ローカリゼーション決定を生成するステップと、
前記ローカリゼーション決定に対する信用を確認するために、前記ローカリゼーション決定を少なくとも２つの信用できるローカリゼーション値と比較するステップと、
環境認知の少なくとも２つのソースと前記ローカリゼーション決定とを使用して、ナビゲーション経路を生成するステップと、
前記ナビゲーション経路に対する信用を確認するために、前記ナビゲーション経路をナビゲーション経路データの少なくとも２つの信用できるソースと比較するステップと、
前記環境内の物体をナビゲートするために、前記ナビゲーション経路を制御システムに提供するステップと
を含む、方法。

【請求項2】

前記物体が車両であり、前記ナビゲーション経路が、マップ・データの少なくとも１つのソースと前記車両上に対応する環境の認知の少なくとも１つのソースとを使用して生成された車線グラフを備える、請求項１に記載の方法。

【請求項3】

ローカリゼーション・データの前記ソースが、カメラ、全地球測位システム（ＧＰＳ）、又はレーダー・システムのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項4】

環境認知の前記ソースが、カメラ、レーダー・システム、又はＬＩＤＡＲシステム、超音波システム、或いは高精細度（ＨＤ）マップ・データのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項5】

前記少なくとも２つの信用できるローカリゼーション値と比較する前記ステップを実施する前に、前記ローカリゼーション決定の信頼性を決定するステップと、
前記信頼性が信頼性しきい値を下回る場合、前記ローカリゼーション決定を、ローカリゼーション・データの前記少なくとも２つのソースからの最も信頼性があるローカリゼーション値で置き換えるステップと
をさらに含む、請求項１に記載の方法。

【請求項6】

ナビゲーション経路データの前記少なくとも２つの信用できるソースと比較する前記ステップを実施する前に、前記ナビゲーション経路の信頼性を決定するステップと、
前記信頼性が信頼性しきい値を下回る場合、前記ナビゲーション経路を、最高信頼性レベルに対応する、ローカリゼーション・データの前記少なくとも２つのソースからのナビゲーション・データで置き換えるステップと
をさらに含む、請求項１に記載の方法。

【請求項7】

ローカリゼーション・データの少なくとも１つのソースが一時的に利用不可能であるか又は信頼できないと決定するステップと、
ローカリゼーション・データの前記少なくとも１つのソースの代わりに履歴ローカリゼーション・データを利用するステップと
をさらに含む、請求項１に記載の方法。

【請求項8】

利用可能性又は信頼性決定に基づいて、ローカリゼーション・データの前記少なくとも２つのソース又は環境認知の前記少なくとも２つのソースの選択を動的に調整するステップ
をさらに含む、請求項１に記載の方法。

【請求項9】

並列経路生成器を使用して第２のナビゲーション経路を生成するステップと、
前記物体のナビゲーションのために前記ナビゲーション経路を提供すべきなのか、前記第２のナビゲーション経路を提供すべきなのかを動的に決定するステップと
をさらに含む、請求項１に記載の方法。

【請求項10】

少なくとも２つの独立したソースから受信された独立したローカリゼーション決定に少なくとも部分的に基づいて融合ローカリゼーション決定を生成するためのローカリゼーション融合モジュールと、
前記融合ローカリゼーション決定と前記独立したローカリゼーション決定との一致に少なくとも部分的に基づいて前記融合ローカリゼーション決定に対する信頼性を決定するためのローカリゼーション・モニタと、
少なくとも２つの独立したソースから受信された独立した車線グラフに少なくとも部分的に基づいて、及びさらに前記融合ローカリゼーション決定に少なくとも部分的に基づいて、融合車線グラフを生成するための車線グラフ融合モジュールと、
前記融合車線グラフと前記独立した車線グラフとの一致に少なくとも部分的に基づいて前記融合車線グラフに対する信頼性を決定するための車線グラフ・モニタと、
前記融合車線グラフが少なくとも最小レベルの信頼性を有することに応答して、前記車両が前記融合車線グラフに従ってナビゲートすることを引き起こすための制御システムと
を備える、車両制御システム。

【請求項11】

前記制御システムは、前記融合車線が最小レベル未満の信頼性を有することに応答して、前記車両が代替車線グラフに従ってナビゲートすることを引き起こすことになり、前記代替車線グラフが、少なくとも、前記独立した車線グラフ又は２次車線グラフ・ソースからの車線グラフのうちの１つを備える、請求項１０に記載の車両制御システム。

【請求項12】

前記独立したローカリゼーション決定又は前記独立した車線グラフのうちの少なくとも１つを決定する際に使用するためのデータをキャプチャするように構成された２つ又はそれ以上のセンサ・タイプの複数のセンサであって、前記センサ・タイプが、カメラ、レーダー、超音波、ＬＩＤＡＲ、ＧＰＳ、又はＩＭＵデータのうちの少なくとも１つを含む、複数のセンサをさらに備える、請求項１０に記載の車両制御システム。

【請求項13】

前記独立したローカリゼーション決定を前記融合ローカリゼーション決定と比較するための複数のローカリゼーション比較器と、
前記独立した車線グラフを前記融合車線グラフと比較するための複数の車線グラフ比較器であって、前記ローカリゼーション・モニタが、前記ローカリゼーション比較器の結果に少なくとも部分的に基づいて前記融合ローカリゼーション決定に対する前記信頼性を決定し、前記車線グラフ・モニタが、前記車線グラフ比較器の結果に少なくとも部分的に基づいて前記融合車線グラフに対する前記信頼性を決定する、複数の車線グラフ比較器と
をさらに備える、請求項１０に記載の車両制御システム。

【請求項14】

ローカリゼーション・データの少なくとも１つのソースがいつ一時的に利用不可能であるか又は信頼できないかを決定するためのアービタであって、履歴ローカリゼーション・データが、ローカリゼーション・データの前記少なくとも１つのソースの代わりに利用されることを可能にされる、アービタをさらに備える、請求項１０に記載の車両制御システム。

【請求項15】

前記車両制御システムが、利用可能性又は信頼性決定に基づいて前記少なくとも２つの独立したソースの選択を動的に調整することを可能にされる、請求項１０に記載の車両制御システム。

【請求項16】

１つ又は複数の処理ユニットと、
命令を含むメモリと
を備えるシステムであって、前記命令は、１つ又は複数のプロセッサによって実行されたとき、前記システムが、
ローカリゼーション・データの少なくとも２つのソースを使用して、ローカリゼーション決定を生成することと、
前記ローカリゼーション決定に対する信用を確認するために、前記ローカリゼーション決定を少なくとも２つの信用できるローカリゼーション値と比較することと、
環境認知の少なくとも２つのソースと前記ローカリゼーション決定とを使用して、ナビゲーション経路を生成することと、
前記ナビゲーション経路に対する信用を確認するために、前記ナビゲーション経路をナビゲーション経路データの少なくとも２つの信用できるソースと比較することと、
前記環境内の物体をナビゲートするために、前記ナビゲーション経路を制御システムに提供することとを実行する、システム。

【請求項17】

前記１つ又は複数の処理ユニットは、
前記少なくとも２つの信用できるローカリゼーション値と比較する前記ステップを実施する前に、前記ローカリゼーション決定の信頼性を決定することと、
前記信頼性が信頼性しきい値を下回る場合、前記ローカリゼーション決定を、ローカリゼーション・データの前記少なくとも２つのソースからの最も信頼性があるローカリゼーション値で置き換えることと、
ナビゲーション経路データの前記少なくとも２つの信用できるソースと比較する前記ステップを実施する前に、前記ナビゲーション経路の信頼性を決定することと、
前記信頼性が信頼性しきい値を下回る場合、前記ナビゲーション経路を、ローカリゼーション・データの前記少なくとも２つのソースからの最も信頼性があるナビゲーション・データで置き換えることと
をさらに実行する、請求項１６に記載のシステム。

【請求項18】

１つ又は複数の処理ユニットは、
ローカリゼーション・データの少なくとも１つのソースが一時的に利用不可能であるか又は信頼できないと決定することと、
ローカリゼーション・データの前記少なくとも１つのソースの代わりに履歴ローカリゼーション・データを利用することと
をさらに実行する、請求項１６に記載のシステム。

【請求項19】

１つ又は複数の処理ユニットが、
並列経路生成器を使用して第２のナビゲーション経路を生成することと、
前記物体のナビゲーションのために前記ナビゲーション経路を提供すべきなのか、前記第２のナビゲーション経路を提供すべきなのかを動的に決定することと
をさらに実行する、請求項１６に記載のシステム。

【請求項20】

前記システムが、
シミュレーション動作を実施するためのシステム、
自律機械アプリケーションをテスト又は検証するためのシミュレーション動作を実施するためのシステム、
グラフィカル出力をレンダリングするためのシステム、
深層学習動作を実施するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
１つ又は複数の仮想機械（ＶＭ）を組み込んだシステム、
少なくとも部分的にデータ・センタにおいて実装されるシステム、或いは
少なくとも部分的にクラウド・コンピューティング・リソースを使用して実装されるシステム
のうちの少なくとも１つを備える、請求項１６に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、すべての目的のために、その全体が本明細書に組み込まれる、２０２０年１１月９日に出願された、「Ｓａｆｅｔｙ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅｓ Ｐａｔｈ Ｄｅｔｅｃｔｉｏｎ」と題する米国仮出願第６３／１１１，２５０号の優先権を主張する。

【背景技術】

【0002】

車両用であるのか、ロボット用であるのか、他の自動システム用であるのかにかかわらず、様々な産業がますます自動化の増加に向かうにつれて、対応して、この自動化によって実施される動作の安全を改善する必要がある。これは、自動機械が位置する環境の現在の条件の下でのその機械のための最適経路を決定するためになど、動き又はナビゲーションの正確さを改善することを含むことがある。多くの自動化システムでは、そのような経路を決定する際に有用なデータを提供する様々なセンサ及びソースがあり得る。そのような経路決定手法が特定の安全要件又は規制を満たすことを確実にするために、これらの要件又は規制に準拠することを決定する個々の決定が行われる。そのような手法は、たいていの場合、安全な動作を提供することができるが、安全であるが特に滑らかでない、又は継続的に楽しくない乗り心地を提供する自動車内の乗客の場合など、望ましいとは言えない動作体験を提供し得る。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】“Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles” (e.g., Standard No. J3016-201806, published on June 15, 2018, Standard No. J3016-201609, published on September 30, 2016, and previous and future versions of this standard)

【発明の概要】

【課題を解決するための手段】

【0004】

本開示による様々な実施例が、図面を参照しながら説明される。

【図面の簡単な説明】

【0005】

【図1A】少なくとも１つの実施例による、自律車両の構成要素の実例を示す図である。

【図1B】少なくとも１つの実施例による、自律車両の構成要素の実例を示す図である。

【図2A】少なくとも１つの実施例による、利用され得る車線グラフ（ｌａｎｅ ｇｒａｐｈ）生成アーキテクチャのビューを示す図である。

【図2B】少なくとも１つの実施例による、利用され得る車線グラフ生成アーキテクチャのビューを示す図である。

【図2C】少なくとも１つの実施例による、利用され得る車線グラフ生成アーキテクチャのビューを示す図である。

【図3】少なくとも１つの実施例による、利用され得る組み合わせられた車線グラフ決定アーキテクチャを示す図である。

【図4】少なくとも１つの実施例による、ナビゲーション経路を決定するための例示的なプロセスを示す図である。

【図5】少なくとも１つの実施例による、経路決定のために融合伝搬（ｆｕｓｉｏｎ ｐｒｏｐａｇａｔｉｏｎ）を利用するための例示的なプロセスを示す図である。

【図6】少なくとも１つの実施例による、ナビゲーション経路を決定するためのシステムの構成要素を示す図である。

【図7A】少なくとも１つの実施例による、推論及び／又は訓練論理（ｔｒａｉｎｉｎｇ ｌｏｇｉｃ）を示す図である。

【図7B】少なくとも１つの実施例による、推論及び／又は訓練論理を示す図である。

【図8】少なくとも１つの実施例による、例示的なデータ・センタ・システムを示す図である。

【図9】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図10】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図11】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。

【図12】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。

【図13】少なくとも１つの実施例による、先進コンピューティング・パイプラインのための例示的なデータ・フロー図である。

【図14】少なくとも１つの実施例による、先進コンピューティング・パイプラインにおいて機械学習モデルを訓練し、適応させ、インスタンス化し、導入するための例示的なシステムのためのシステム図である。

【図15A】少なくとも１つの実施例による、機械学習モデルを訓練するためのプロセスのためのデータ・フロー図である。

【図15B】少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャを示す図である。

【図16A】少なくとも１つの実施例による、車両システムとともに使用され得る構成要素を示す図である。

【図16B】少なくとも１つの実施例による、車両システムとともに使用され得る構成要素を示す図である。

【発明を実施するための形態】

【0006】

様々な実施例による手法が、車両又はロボットなど、自動又は半自動デバイスのためのナビゲーション経路、グラフ、又は軌道の生成を提供することができる。特に、様々な実施例は、動作の安全に関係し得るような、対応する要件又は規制にも準拠する最適ローカリゼーション（ｌｏｃａｌｉｚａｔｉｏｎ）及び車線グラフ決定を決定するために、複数のソースからの情報を融合させるか又はさもなければ考慮する。自律（又は半自律）車両又はロボットの場合、これは、たとえば、マップ・データとリアルタイム認知（ｐｅｒｃｅｐｔｉｏｎ）データとの組合せに基づいてナビゲーション又は動きをダイレクトする際に使用するための最適車線グラフを決定することを伴い得る。少なくとも１つの実施例では、システム（たとえば、電子制御ユニット（ＥＣＵ：ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ））が、レーダー又はカメラ・システムからのデータなど、ローカリゼーションを決定するのを助けることができるセンサ・データを互いに融合させることができる。安全準拠（ｓａｆｅｔｙ ｃｏｍｐｌｉａｎｃｅ）を提供するために、この融合（ｆｕｓｅｄ）データは、安全準拠（ｓａｆｅｔｙ－ｃｏｍｐｌｉａｎｔ）カメラ又はレーダー・システムからのなど、安全が信用できる個々のシステムからのデータと比較され得る。これらの安全準拠システムのための少なくとも２つの比較器又は「投票器（ｖｏｔｅｒ）」が融合ローカリゼーション・データに関して一致する（ａｇｒｅｅ ｗｉｔｈ）限り、融合ローカリゼーション・データは、使用され得、安全規制に準拠していることが確認され（ｖｅｒｉｆｙ）得る。この融合ローカリゼーション・データは、車線認知システムへの入力として提供され得る。

【0007】

同様の様式で、そのようなシステム（たとえば、ＥＣＵ）は、カメラ又はＬＩＤＡＲシステムを使用して決定され得るようなＨＤグラフ及びライブ車線認知データ、並びに融合ローカリゼーション・データに関係し得るような、車線認知及びグラフ生成のために有用な利用可能で信頼できる情報を互いに融合させるか、又はさもなければ考慮することができる。安全準拠を提供するために、融合車線グラフ・データも、安全準拠カメラ又はＬＩＤＡＲシステムからのデータを使用して生成され得るものなど、安全が信用できるシステムからのデータと比較され得る。これらの安全準拠システムのための少なくとも２つの比較器が融合車線グラフ・データに関して一致する限り、融合車線グラフ・データは、ナビゲーションのために提供され得、安全規制に準拠していることが確認され得る。融合車線グラフ・データが、これらの比較器から少なくとも２つの票を受け取らなかったか、又はさもなければ１つ又は複数の他の安全基準を満たさないと決定された場合、これらの車線グラフ又はナビゲーション決定のうちの別のものが使用され得る。そのようなシステムは、車両上のシステムのうちの１つ又は複数が利用不可能になったか又は信頼できなくなった場合でも、車両が常に安全に動作することを確実にするために、ナビゲーション決定間の切替えを提供することができる。

【0008】

そのようなシステムはまた、少なくともいくらかの量のデッド・レコニング（ｄｅａｄ ｒｅｃｋｏｎｉｎｇ）を利用し得、ここで、ライブ認知データが利用不可能であるか又は少なくとも信頼できない場合、限られた時間期間の間、履歴データが利用され得る。さらに、ローカリゼーション・データ又はライブ認知データのいずれかについての互いに融合されるべき入力の選択は、信頼性及び利用可能性に応じて経時的に切り替えられ得る。１つ又は複数のアービタは、融合データを分析することができ、利用不可能であるか又は信頼できない場合、車両が安全に動作し続けることができることを確実にするために安全準拠信号のうちの１つを代用し得る。いくつかの実施例では、１つの信号が利用不可能であるか又は信頼できない場合に車両が安全に動作し続けることができることを確実にするために、車両データのために１つ及び衛星データのために１つなど、少なくとも２つのＥＣＵも使用され得、いずれか又は両方のＥＣＵからの車線グラフ上で動作するためにライブ切替えが実施され得る。

【0009】

図１Ａに示されている自律車両１００について考える。少なくとも１つの実施例では、車両１００は、限定はしないが、車、トラック、バス、及び／又は１人又は複数の乗客を収容する別のタイプの車両など、乗用車（ｐａｓｓｅｎｇｅｒ ｖｅｈｉｃｌｅ）であり得る。少なくとも１つの実施例では、車両１００は、貨物を運搬するために使用されるセミ・トラクタ・トレーラ・トラックであり得る。少なくとも１つの実施例では、車両１００は、乗客又は貨物を搬送することを意図していることも意図していないこともあるが、少なくともいくらかの量の車両の動き又は移動を必要とする１つ又は複数のタスクを実施することを意図していることがある、飛行機、ロボット車両、又は他の種類の車両であり得る。

【0010】

自律車両は、米国運輸省の一部門である全米高速道路交通安全局（「ＮＨＴＳＡ」：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、及び自動車技術者協会（「ＳＡＥ」：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の非特許文献１によって定義される自動化レベルという観点から説明され得る。１つ又は複数の実施例では、車両１００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性に対応可能であり得る。たとえば、少なくとも１つの実施例では、車両１００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）に対応可能であり得る。

【0011】

少なくとも１つの実施例では、車両１００は、限定はしないが、シャーシ、車両本体、ホイール（たとえば、２本、４本、６本、８本、１８本など）、タイヤ、車軸、及び車両の他の構成要素など、構成要素を含み得る。少なくとも１つの実施例では、車両１００は、限定はしないが、内燃機関、ハイブリッド電力プラント、完全電気エンジン、及び／又は別の推進システム・タイプなど、推進システム１５０を含み得る。少なくとも１つの実施例では、推進システム１５０は、車両１００のドライブ・トレインに接続され得、ドライブ・トレインは、限定はしないが、車両１００の推進を可能にするためのトランスミッションを含み得る。少なくとも１つの実施例では、推進システム１５０は、（１つ又は複数の）スロットル／アクセラレータ１５２から信号を受信したことに応答して制御され得る。

【0012】

少なくとも１つの実施例では、限定はしないが、ハンドルを含み得る操縦システム１５４は、推進システム１５０が動作しているときに（たとえば、車両が動いているときに）車両１００を（たとえば、所望の経路又はルートに沿って）操縦するために使用される。少なくとも１つの実施例では、操縦システム１５４は、（１つ又は複数の）操縦アクチュエータ１５６から信号を受信し得る。ハンドルは、完全自動化（レベル５）機能性について随意であり得る。少なくとも１つの実施例では、（１つ又は複数の）ブレーキ・アクチュエータ１４８及び／又はブレーキ・センサから信号を受信したことに応答して車両ブレーキを動作させるために、ブレーキ・センサ・システム１４６が使用され得る。

【0013】

少なくとも１つの実施例では、限定はしないが、１つ又は複数のシステム・オン・チップ（「ＳｏＣ」：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）（図１Ａに図示せず）及び／又は（１つ又は複数の）グラフィックス処理ユニット（「ＧＰＵ」：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る（１つ又は複数の）コントローラ１３６は、車両１００の１つ又は複数の構成要素及び／又はシステムに（たとえば、コマンドを表す）信号を提供する。たとえば、少なくとも１つの実施例では、（１つ又は複数の）コントローラ１３６は、（１つ又は複数の）ブレーキ・アクチュエータ１４８を介して車両ブレーキを動作させるための信号、（１つ又は複数の）操縦アクチュエータ１５６を介して操縦システム１５４を動作させるための信号、及び／又は（１つ又は複数の）スロットル／アクセラレータ１５２を介して推進システム１５０を動作させるための信号を送出し得る。（１つ又は複数の）コントローラ１３６は、自律運転を可能にし、及び／又は人間のドライバが車両１００を運転するのを支援するために、センサ信号を処理し、動作コマンド（たとえば、コマンドを表す信号）を出力する１つ又は複数の搭載（たとえば、一体型の）コンピューティング・デバイス（たとえば、スーパーコンピュータ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ１３６は、自律運転機能のための第１のコントローラ１３６、機能的安全機能のための第２のコントローラ１３６、人工知能機能性（たとえば、コンピュータ・ビジョン）のための第３のコントローラ１３６、インフォテイメント機能性のための第４のコントローラ１３６、緊急事態における冗長性のための第５のコントローラ１３６、及び／又は他のコントローラを含み得る。少なくとも１つの実施例では、単一のコントローラ１３６が、上記の機能性のうちの２つ又はそれ以上に対処し得、２つ又はそれ以上のコントローラ１３６が、単一の機能性に対処し得、及び／又はこれらの任意の組合せであり得る。

【0014】

少なくとも１つの実施例では、（１つ又は複数の）コントローラ１３６は、１つ又は複数のセンサから受信されたセンサ・データ（たとえば、センサ入力）に応答して、車両１００の１つ又は複数の構成要素及び／又はシステムを制御するための信号を提供する。少なくとも１つの実施例では、センサ・データは、たとえば、限定はしないが、（１つ又は複数の）全地球的航法衛星システム（「ＧＮＳＳ」：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ１５８（たとえば、（１つ又は複数の）全地球測位システム・センサ）、（１つ又は複数の）ＲＡＤＡＲセンサ１６０、（１つ又は複数の）超音波センサ１６２、（１つ又は複数の）ＬＩＤＡＲセンサ１６４、（１つ又は複数の）慣性測定ユニット（「ＩＭＵ」：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１６６（たとえば、（１つ又は複数の）加速度計、（１つ又は複数の）ジャイロスコープ、（１つ又は複数の）磁気コンパス、（１つ又は複数の）磁力計など）、（１つ又は複数の）マイクロフォン１９６、（１つ又は複数の）ステレオ・カメラ１６８、（１つ又は複数の）広角カメラ１７０（たとえば、魚眼カメラ）、（１つ又は複数の）赤外線カメラ１７２、（１つ又は複数の）周囲カメラ１７４（たとえば、３６０度カメラ）、長距離カメラ（図１Ａに図示せず）、（１つ又は複数の）中距離カメラ（図１Ａに図示せず）、（たとえば、車両１００のスピードを測定するための）（１つ又は複数の）スピード・センサ１４４、（１つ又は複数の）振動センサ１４２、（１つ又は複数の）操縦センサ１４０、（たとえば、ブレーキ・センサ・システム１４６の一部としての）（１つ又は複数の）ブレーキ・センサ、及び／又は他のセンサ・タイプから、受信され得る。

【0015】

少なくとも１つの実施例では、（１つ又は複数の）コントローラ１３６のうちの１つ又は複数は、車両１００の計器クラスタ１３２からの（たとえば入力データによって表される）入力を受信し、ヒューマン・マシン・インターフェース（「ＨＭＩ」：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ１３４、可聴アナンシエータ、拡声器を介して、及び／又は車両１００の他の構成要素を介して、（たとえば、出力データ、ディスプレイ・データなどによって表される）出力を提供し得る。少なくとも１つの実施例では、出力は、車両速度、スピード、時間、マップ・データ（たとえば、高精細度マップ（図１Ａに図示せず）、ロケーション・データ（たとえば、マップ上などの車両１００のロケーション）、方向、他の車両のロケーション（たとえば、占有グリッド）、（１つ又は複数の）コントローラ１３６によって認知され（ｐｅｒｃｅｉｖｅ）た物体及び物体のステータスに関する情報など、情報を含み得る。たとえば、少なくとも１つの実施例では、ＨＭＩディスプレイ１３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、信号の変化など）の存在に関する情報、及び／或いは、車両が行った、行っている、又はこれから行う運転操作に関する情報（たとえば、現在車線変更中、３．２２ｋｍ（２マイル）先の出口３４Ｂを出る、など）を表示し得る。

【0016】

少なくとも１つの実施例では、車両１００はネットワーク・インターフェース１２４をさらに含み、ネットワーク・インターフェース１２４は、１つ又は複数のネットワークを介して通信するために（１つ又は複数の）ワイヤレス・アンテナ１２６及び／又は（１つ又は複数の）モデムを使用し得る。たとえば、少なくとも１つの実施例では、ネットワーク・インターフェース１２４は、ロング・ターム・エボリューション（「ＬＴＥ」：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、広帯域符号分割多元接続（「ＷＣＤＭＡ（登録商標）」：Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ユニバーサル・モバイル・テレコミュニケーション・システム（「ＵＭＴＳ」：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、モバイル通信用グローバル・システム（「ＧＳＭ」：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＩＭＴ－ＣＤＭＡマルチ・キャリア（「ＣＤＭＡ２０００」）などを介した通信が可能であり得る。また、少なくとも１つの実施例では、（１つ又は複数の）ワイヤレス・アンテナ１２６は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ低エネルギー（「ＬＥ」：Ｌｏｗ Ｅｎｅｒｇｙ）、Ｚ波、ＺｉｇＢｅｅなどの（１つ又は複数の）ローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどの（１つ又は複数の）低電力ワイド・エリア・ネットワーク（「ＬＰＷＡＮ」：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用して、環境内の物体（たとえば、車両、モバイル・デバイスなど）間の通信を可能にし得る。

【0017】

図１Ｂは、少なくとも１つの実施例による、図１Ａの自律車両１００についてのカメラ・ロケーション及び視野の一実例を示す。少なくとも１つの実施例では、カメラ及びそれぞれの視野は、１つの例示的な実施例であり、限定するものではない。たとえば、少なくとも１つの実施例では、追加及び／又は代替のカメラが含まれ得、及び／又は、カメラは車両１００上の異なるロケーションに位置し得る。

【0018】

少なくとも１つの実施例では、カメラについてのカメラ・タイプは、限定はしないが、車両１００の構成要素及び／又はシステムとともに使用するために適応され得るデジタル・カメラを含み得る。少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数が、自動車安全性要求レベル（「ＡＳＩＬ」：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂ及び／又は別のＡＳＩＬにおいて動作し得る。少なくとも１つの実施例では、カメラ・タイプは、実施例に応じて、毎秒６０フレーム（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートが可能であり得る。少なくとも１つの実施例では、カメラは、ローリング・シャッター、グローバル・シャッター、別のタイプのシャッター、又はそれらの組合せを使用することが可能であり得る。少なくとも１つの実施例では、カラー・フィルタ・アレイは、赤色、クリア、クリア、クリア（「ＲＣＣＣ」：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）のカラー・フィルタ・アレイ、赤色、クリア、クリア、青色（「ＲＣＣＢ：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ」）のカラー・フィルタ・アレイ、赤色、青色、緑色、クリア（「ＲＢＧＣ」：ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）のカラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３のカラー・フィルタ・アレイ、ベイヤー・センサ（「ＲＧＧＢ」）のカラー・フィルタ・アレイ、モノクロ・センサのカラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。少なくとも１つの実施例では、光感度を上げるために、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣのカラー・フィルタ・アレイをもつカメラなど、クリア・ピクセル・カメラが使用され得る。

【0019】

少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数が、先進ドライバ支援システム（「ＡＤＡＳ」：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能を（たとえば、冗長設計又はフェイル・セーフ設計の一部として）実施するために使用され得る。たとえば、少なくとも１つの実施例では、車線逸脱警告、交通標識支援及びインテリジェント・ヘッドライト制御を含む機能を提供するために、多機能モノ・カメラが設置され得る。少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数（たとえば、カメラのすべて）が、画像データ（たとえば、ビデオ）を同時に記録し、提供し得る。

【0020】

少なくとも１つの実施例では、カメラのうちの１つ又は複数が、カメラの画像データ・キャプチャ・アビリティを妨げ得る迷光及び車内からの反射（たとえば、ダッシュボードからフロントガラスに反射される反射）をなくすために、カスタム設計の（３次元（「３Ｄ」：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）印刷された）アセンブリなどの取付けアセンブリにおいて取り付けられ得る。ドアミラー取付けアセンブリを参照すると、少なくとも１つの実施例では、ドアミラー・アセンブリは、カメラ取付けプレートがドアミラーの形状にマッチするように、カスタム３Ｄ印刷され得る。少なくとも１つの実施例では、（１つ又は複数の）カメラは、ドアミラーに組み込まれ得る。サイド・ビュー・カメラについて、（１つ又は複数の）カメラはまた、少なくとも１つの実施例では、各角にある４本のピラー内に組み込まれ得る。

【0021】

少なくとも１つの実施例では、車両１００の前方の環境の部分を含む視野をもつカメラ（たとえば、正面カメラ）は、正面の経路及び障害物を識別するのを助け、並びに、コントローラ１３６及び／又は制御ＳｏＣのうちの１つ又は複数の助けで、占有グリッドを生成すること及び／又は好ましい車両経路を決定することに不可欠な情報を提供するのを補助するために、周囲ビューのために使用され得る。少なくとも１つの実施例では、正面カメラは、限定はしないが、緊急ブレーキと、歩行者検出と、衝突回避とを含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実施するために使用され得る。少なくとも１つの実施例では、正面カメラはまた、限定はしないが、車線逸脱警告（「ＬＤＷ」：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、自律走行制御（「ＡＣＣ」：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。

【0022】

少なくとも１つの実施例では、たとえば、ＣＭＯＳ（「相補型金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）」）カラー・イメージャを含む単眼カメラ・プラットフォームを含む様々なカメラが、正面構成において使用され得る。少なくとも１つの実施例では、周辺からビューに入ってくる物体（たとえば、歩行者、横断する交通、又は自転車）を認知するために、広角カメラ１７０が使用され得る。図１Ｂには１つの広角カメラ１７０のみが示されているが、他の実施例では、車両１００上に（ゼロを含む）任意の数の広角カメラ１７０があり得る。少なくとも１つの実施例では、特にニューラル・ネットワークがそれに対してまだ訓練されていない物体について、深度ベースの物体検出のために、（１つ又は複数の）任意の数の長距離カメラ１９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が使用され得る。少なくとも１つの実施例では、（１つ又は複数の）長距離カメラ１９８は、物体検出及び分類、並びに基本的な物体追跡のためにも使用され得る。

【0023】

少なくとも１つの実施例では、任意の数のステレオ・カメラ１６８も、正面構成に含まれ得る。少なくとも１つの実施例では、（１つ又は複数の）ステレオ・カメラ１６８のうちの１つ又は複数は、スケーラブル処理ユニットを備える一体型制御ユニットを含み得、この制御ユニットは、一体型のコントローラ・エリア・ネットワーク（「ＣＡＮ」：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はイーサネット・インターフェースを単一のチップ上にもつプログラマブル論理（「ＦＰＧＡ」）及びマルチコア・マイクロプロセッサを提供し得る。少なくとも１つの実施例では、そのようなユニットは、画像中のすべてのポイントについての距離推定を含む、車両１００の環境の３Ｄマップを生成するために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ステレオ・カメラ１６８のうちの１つ又は複数は、限定はしないが、（１つ又は複数の）コンパクト・ステレオ・ビジョン・センサを含み得、このセンサは、限定はしないが、車両１００からターゲット物体までの距離を測定し、生成された情報（たとえば、メタデータ）を使用して自律緊急ブレーキ及び車線逸脱警告機能をアクティブ化し得る２つのカメラ・レンズ（左及び右に１つずつ）及び画像処理チップを含み得る。少なくとも１つの実施例では、本明細書で説明されるものに加えて、又はその代替として、他のタイプの（１つ又は複数の）ステレオ・カメラ１６８が使用され得る。

【0024】

少なくとも１つの実施例では、車両１００の側方の環境の部分を含む視野をもつカメラ（たとえば、サイド・ビュー・カメラ）が、周囲ビューのために使用され、占有グリッドを作成及び更新し、並びに側面衝突警告を生成するために使用される情報を提供し得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）周囲カメラ１７４（たとえば、図１Ｂに示されている４つの周囲カメラ１７４）が、車両１００上に位置決めされ得る。少なくとも１つの実施例では、（１つ又は複数の）周囲カメラ１７４は、限定はしないが、任意の数及び組合せの広角カメラ１７０、（１つ又は複数の）魚眼カメラ、（１つ又は複数の）３６０度カメラなどを含み得る。たとえば、少なくとも１つの実施例では、４つの魚眼カメラが、車両１００の前方、後方、及び側方に位置決めされ得る。少なくとも１つの実施例では、車両１００は、３つの周囲カメラ１７４（たとえば、左、右、及び後方）を使用し得、第４の周囲ビュー・カメラとして、１つ又は複数の他のカメラ（たとえば、正面カメラ）を活用し得る。

【0025】

少なくとも１つの実施例では、車両１００の後方への環境の部分を含む視野をもつカメラ（たとえば、リア・ビュー・カメラ）が、駐車支援、周囲ビュー、後方衝突警告、並びに占有グリッドの作成及び更新のために使用され得る。少なくとも１つの実施例では、限定はしないが、本明細書で説明されるように、（１つ又は複数の）正面カメラとしても好適なカメラ（たとえば、長距離カメラ１９８、及び／又は（１つ又は複数の）中距離カメラ１７６、（１つ又は複数の）ステレオ・カメラ１６８）、（１つ又は複数の）赤外線カメラ１７２など）を含む、多種多様なカメラが使用され得る。

【0026】

そのような車両が行き先へのナビゲーションなどのタスクを実施するために、制御システムが、そのタスクに対応する、所与の時間にとるべき１つ又は複数のアクションを決定することができる。自律車両の場合、これは、車両が、衝突を回避し、適切なスピードで動作しながら、車線マーカー内で、道路の現在の車線に沿ってナビゲートすることを引き起こす経路など、決定された経路に沿って決定されたやり方で車両が操作されることを引き起こすために、操縦又はブレーキ・システムなどに対する、１つ又は複数の調整を行うことを含み得る。とるべき適切なアクションを決定するために、少なくともいくつかのシステムでは、車両がたどるべきである経路又は軌道を最初に決定することが有益であり得る。ナビゲーション経路を決定することは、車両が現在動作している環境を前にモデル化したソースから取得され得るか、又は環境に関する情報を認知するためのセンサ又は他の機構を使用してリアルタイムで生成され得る、道路及び近くの物体の高精細度（ＨＤ：ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）マップ、モデル、又は表現など、その環境に関する情報を決定するステップを含むことができる。少なくともいくつかの実施例では、関連するローカリゼーション・データ、或いは、安全要件又は動作要件を満たすのに十分な正確さをもつ、車両がその環境においてどこに位置するかを示すデータを決定することも有益であり得る。

【0027】

しかしながら、上述のように、乗客に楽しい体験を提供するために、安全に加えて滑らかさ又は快適さについて少なくともいくぶん最適化されることになる経路又は一連の動作を決定することが望ましいことがある。多くの事例では、これは、安全に運転することが極めて重要であるので、安全と滑らかな動作との間の兼ね合いを伴うが、安全な動作の範囲内で、方向、加速、又は減速の急速な調整がないものなど、最も楽しい又は一貫性のある乗り心地を提供する経路を決定することが望ましいことがある。

【0028】

少なくともいくつかのタイプの自動化についての問題をさらに複雑にするのは、自律車両などの自動又は半自動デバイス又はシステムの動作が、しばしば、極めて特定の又は最も厳しい安全要件又は規制に従わなければならないことである。最適経路を決定するために様々なソースからのデータを組み合わせることが望ましいことがあるが、そのような決定がそれらの要件又は規制を満たすことを証明することが困難であり得る。さらに、様々なソースからの情報は、所与のセンサ又はサブシステムの故障が、準最適な経路決定を生じ得るなど、車両の動作全体に影響を及ぼすことのないように、安全の理由でしばしば別に保管される。したがって、安全の見地から、異なるセンサ、サブシステム、又はソースからの情報を、別個の、並列の、又は冗長なデータ・ストリーム中で保管することが望ましいことがある。しかしながら、最適動作の見地から、考えられる最良の判定を所与の時間に行うために、利用可能である多くの情報を組み合わせることが好ましいことがある。

【0029】

一例として、自律車両は、複雑な動的運転タスク（ＤＤＴ：ｄｙｎａｍｉｃ ｄｒｉｖｉｎｇ ｔａｓｋ）を実施する自動運転システム（ＡＤＳ：Ａｕｔｏｍａｔｅｄ Ｄｒｉｖｉｎｇ Ｓｙｓｔｅｍ）を利用し得る。たとえば、自動車技術者協会（ＳＡＥ）自動化レベル３～５は、現在、人間のドライバが故障イベント中に運転タスクのタスクを引き継ぐことを必要とされないように、クラッシュ回避能力を必要とする。危険なイベント及びそれらのリスクの分析は、ＩＳＯ２６２６２規格に従う危険分析及びリスク評価（ＨＡＲＡ：ｈａｚａｒｄ ａｎａｌｙｓｉｓ ａｎｄ ｒｉｓｋ ａｓｓｅｓｓｍｅｎｔ）を使用して実施され得る。ＡＤＳシステムの安全な動作に強く結び付けられた、例示的なＡＤＳシステムの主要な機能性のうちの１つは、経路検出を伴う。経路検出モジュールは、運転可能な経路を識別することができ、道路のジオメトリ及びトポロジに関する情報を提供することができる。これは、たとえば、車両上のカメラによってキャプチャされた画像又はビデオ、信頼できるソースから取得されたＬＩＤＡＲデータ、ＧＰＳデータ、ＩＭＵデータ、又はＨＤマップ・データなど、ソースからのデータを使用して決定され得るような、道路車線の中心経路及び／又は境界についてのデータを含み得る。経路検出モジュールにおける故障は、車道を逸脱すること又は対向交通の経路に入ることなど、危険なイベントを生じ得る。ＨＡＲＡ（危険分析及びリスク評価）分析は、そのような危険なイベントが致命的であり得、したがって、たとえば、最高自動車安全性要求レベル（ＡＳＩＬ）のＡＳＩＬ Ｄにおいて、これらの危険なイベントから保護する必要があることを示唆する。システムが、十分に高い安全性要求レベルでこれら及び他のそのような危険なイベントから保護することができることを確実にするために、上述の機能構成要素のいずれかを含むか又はそれに依拠する任意のシステム、サービス、又はプロセスは、最も厳しいＡＳＩＬ Ｄ準拠に関して確認及び検証される必要があり、これは、著しい開発労力及びコストを必要とし得る。

【0030】

したがって、様々な実施例による手法は、作り出される結果の安全準拠を確実にしながら、安全と性能の両方についてコンカレントに最適化することを試みることができる。少なくとも１つの実施例では、ＡＤＳの経路検出モジュールが、設計におけるフレキシビリティ及びロバストネスの改善を提供すると同時に、開発、確認、及び検証の労力のために必要とされる労力の量を著しく低減することができる、ＡＳＩＬ Ｄ準拠などの安全準拠を提供することができる。そのようなシステムは、経路検出ソースの融合、並びにシステムによって作り出された融合経路の安全（たとえば、ＡＳＩＬ Ｄ）監視を提供することができる。そのようなシステムは、高い利用可能性を提供しながら、ローカリゼーションとライブ経路認知との異なる組合せ間のランタイム切替えを提供することができる。そのようなシステムは、デッド・レコニングなどのプロセスに少なくとも部分的に基づく、融合ローカリゼーションと融合経路との伝搬融合（ｐｒｏｐａｇａｔｅｄ ｆｕｓｉｏｎ）をも提供することができる。車両が現在の時間において車線マーカーを検出することができないが、それらのマーカーが前に検出され、それらのマーカーについての情報が記憶された場合、車両は、それのスピード及び方位に関する情報を、たとえば、スピード及び環境などのファクタに応じて数秒などの少なくとも時間期間の間認知データを推論するためにその履歴データとともに、使用することができる。

【0031】

図２Ａは、様々な実施例による、自動又は半自動システム、デバイス、又はプロセスとともに使用され得る例示的な経路検出機能安全アーキテクチャの概観２００を示す。そのようなアーキテクチャは、自動安全システムが、ＳＡＥレベル３以上のＡＤＳを達成することを可能にすることができる。示されるように、そのようなアーキテクチャの構成要素は、ＡＳＩＬ Ｄ（最高程度の自動車危険回避）、ＡＳＩＬ Ｂ（Ｄ）（より低い程度）、及びＱＭ（Ｄ）準拠を提供することができ、品質管理（ＱＭ：ｑｕａｌｉｔｙ ｍａｎａｇｅｍｅｎｔ）準拠は、安全要件を規定しない危険を表す。上述のように、そのようなシステムが、ひどい事故又は負傷につながり得る、車両が道路から外れることを引き起こす経路など、正しくない又は安全でない経路についての情報を、車両のコントローラに送出することを回避することが、重要であり得る。したがって、そのような経路決定システムは、経路についての情報が送出されることが、ＡＳＩＬ Ｄに準拠している経路データなど、安全完全性（ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ）を提供することを確実にするべきである。ＡＳＩＬ Ｄシステムにおける正しくない経路に直接つながる単一点障害を回避するために、単一の構成要素の故障が危険な挙動又は正しくない動作につながるべきでないようにシステムレベル冗長が採用されていることがある。

【0032】

図２Ａに示されているものなどのアーキテクチャは、監視すべき独立して及び多様に生成された車線グラフを利用し、運転のために使用される各最終車線グラフが、ＡＳＩＬ Ｄ保証をもつなど、安全であることを確実にすることができる。少なくとも１つの実施例では、車線グラフは、ＨＤマップ、或いは車両上の１つ又は複数のカメラ又はライダー・ソースなどのライブ車線認知ソースからのデータを提供するか又は利用する、認知データ・ソース２１２など、様々なモジュールに基づいて独立して生成され得る。少なくとも１つの実施例では、組み合わせられたデータを使用して生成された車線グラフ、或いは「組み合わせられた」又は「融合」車線グラフが、少なくとも許容できる許容差又は変動内で、ライブ車線認知と対応するマップ・データの両方に関して一致することを確実にすることによって、ＡＤＳについてのＡＳＩＬ Ｄ要件が達成され得る。これは、たとえば、ＡＳＩＬ Ｄが、ＩＳＯ２６２６２に従って、スプリットされ、車線グラフ比較器２１６のセットのうちの認知車線グラフ比較器及びマップ車線グラフ比較器のためにＡＳＩＬ Ｂ（Ｄ）として割り振られる、独立した構成要素のペア間のＡＳＩＬデコンポジション方式と呼ばれることがある。

【0033】

そのようなシステムは、ランタイムにおいて、最終出力がＡＳＩＬ Ｄ完全性などの完全性を有することを確実にするために異なる多様なモジュール間で、それらのモジュールの利用可能性に少なくとも部分的に依存して、切り替えることができる。そのようなシステムは、最終出力が安全要件及び他の関係する要件を満たしたことを確かめるために少なくとも２つの多様なモジュールが利用可能でない限り継続的な安全な動作を確実にすることができないことがあるので、ランタイムにおいて切り替えるアビリティは、システム利用可能性の増加を含む利益を提供する。組み合わせられた経路がたとえばＡＳＩＬ Ｄ完全性で正しいかどうかを経路決定システムが検出することができることが、安全のために常に十分であるとは限らない。ドライバがバックアップとして使用され得ないいくつかの場合には、そのようなシステムは、安全なロケーションにおいて車両が停止されることなど、システムが安全な状態に達するまで、システムが正しい経路を作り出し続けることができることを保証するべきである。少なくとも１つの実施例では、比較的単純及び軽量である１つ又は複数のソフトウェア構成要素が使用され得、これは、少なくとも、より低い安全完全性及びより高いレイテンシを提供し得るより複雑なソフトウェア構成要素に対して、利益を有する。

【0034】

図２Ａ中の高レベル・アーキテクチャ２００は、２つの部分、すなわち、ローカリゼーションに関係する部分（図中の上側）と車線グラフ生成に関係する部分（図中の下側）とに分離される。これらの部分は、それぞれ、図２Ｂ及び図２Ｃにより詳細に示されている。ローカリゼーションは、利用可能で信頼できる情報に基づいて、道路上など、環境における（車両又はロボットなどの）物体の少なくとも現在ロケーションを決定することを伴うことができる。この実例では、他のオプションの中でも、カメラ（たとえば、フロント・ワイド・カメラ）及びレーダー・センサなど、複数のローカリゼーション・データ・ソース２０２があり得る。これらのソースの各々からのデータは、カメラ・ベース・ローカリゼーション決定及びレーダー・ベース・ローカリゼーション決定など、それぞれのローカリゼーション決定を生成するために使用され得、各決定は、それぞれの決定を行う目的で、キャプチャされた画像又はセンサ・データを分析することを伴うことができる。この実例では、これらの別個の決定は、ローカリゼーション融合構成要素２０４に渡され得、ローカリゼーション融合構成要素２０４は、利用可能な個々のローカリゼーション決定、少なくとも、少なくとも最小信頼性を伴って生成されるローカリゼーション決定に少なくとも部分的に基づいて、「組み合わせられた」又は「融合」ローカリゼーション決定を生成することができる。他のオプションの中でも、重み付き又は空間平均、利用可能な入力に基づいて最適値を推論するためのニューラル・ネットワーク、或いは複雑な融合機能に関係し得るような、様々なアルゴリズム又は手法が、これらの決定を組み合わせるために使用され得る。重み付けが使用される場合、これらは、個々の決定における相対信頼性値に少なくとも部分的に基づき得る。上述のように、カメラ又はセンサのビューの少なくとも一部分が信頼できなくなることを引き起こし得る妨害又は他のインシデントがあり得るので、異なるサブシステム又はソースからのデータを組み合わせるか又は融合させることが、有益であり得、そのデータは、そのカメラ又はセンサから取得された信頼できるデータを保持しながら、別のソースから確実に決定されるか又は埋められることが可能であり得る。その単一のシステムのみを使用することは、ビューの一部分が妨害される場合、十分な信頼性を伴って信頼できる決定が行われることができないことがあるので、問題を引き起こし得る。

【0035】

個々のローカリゼーション決定と融合決定とを比較する１つ又は複数のローカリゼーション比較器２０６が使用され得る。本明細書で後でより詳細に説明されるように、これらの比較器は、衛星ベース・システムなど、他のシステムからのローカリゼーション決定など、追加の入力をも利用することができる。衛星システムの使用は、車両上で問題が発生し、車両が道路の脇に安全に寄って停止する必要があり、このタスクを実施するために衛星データに基づいて経路が生成され得る場合などの状況において有益であり得る。衛星システムは、個々の車両に関する問題の影響を受けないことがあり、追加の信頼できる入力を提供するために利用可能な追加のセンサ及び処理を有し得る。ローカリゼーション比較器によって作り出された結果は、ローカリゼーション信頼性モニタ２０８への入力として提供され得、ローカリゼーション信頼性モニタ２０８は、少なくとも融合ローカリゼーション・データについてのローカリゼーション信頼性値を継続的に決定２１０することができる。これは、十分な一致（ａｇｒｅｅｍｅｎｔ）があるかどうかを決定するために、各時点における融合ローカリゼーション決定を個々のローカリゼーション決定と比較することを伴うことができる。融合ローカリゼーションがＡＳＩＬ Ｄの個々のローカリゼーション決定に関して一致する場合、融合ローカリゼーション・データは、使用され、ＡＳＩＬ Ｄ（又は他のそのような要件）に準拠していることも確認され得る。

【0036】

上述のように、ビューが不明瞭にされた、センサが飽和した、又は出来事がデータの信頼性に影響を及ぼすときなど、個々のセンサ又はソースが正確なローカリゼーション決定を提供することが可能でないことがあるときがあり得る。そのような事例では、ローカリゼーション・データの信頼性は、低いか、或いは、少なくとも、関連する安全規格又は要件によって必要とされるものよりも低くなり得る。図２Ａに示されているものなどのアーキテクチャ２００では、一致外であるソースが少なくともその時点について無視されるか又は廃棄され得るように、複数のソースが、動的に比較されるか、組み合わせられるか、又はいくつかの異なる組合せのいずれかにおいて選択され得る。少なくとも１つの実施例では、これらのＡＳＩＬ Ｄ準拠ソースのうちの少なくとも２つが、それらのソースのうちの１つからの使用されることになるそれぞれのローカリゼーション決定について一致することで、十分である。さらに、それらのソースのうちの少なくとも２つが融合ローカリゼーション決定に関して一致する場合、融合ローカリゼーション決定は利用され得る。上述のように、それぞれの比較を行うために１つ又は複数の比較器２０６が使用され得、これらの比較の結果は、どのローカリゼーション決定が信頼でき、使用されるべきであるかを決定するためにモニタ２０８によって分析され得る。最小１つの実施例では、これらの比較器２０６は、それらが、たとえば、許容範囲又はしきい値内で２つ又はそれ以上の入力が一致するかどうかを投票するので、投票器と見なされ得る。それぞれのモニタは、次いで、これらの投票器の結果を分析することができ、少なくとも２つの投票器が、融合ローカリゼーション決定が信頼できることに関して一致した場合、融合ローカリゼーション決定は利用され得る。この実例では、信頼性又は健全性決定２１０は、システムが適切に動作していることを確実にするためになど、検討のために提供され得る。健全性決定２１０と融合（又は個々の）ローカリゼーション決定とはまた、そのローカリゼーション決定に少なくとも部分的に基づいて適切な車線グラフを決定する目的で、ＨＤマッピング・ソースなど、１つ又は複数の認知データ・ソースへの入力として提供され得る。

【0037】

このアーキテクチャ２００の車線グラフ部分は、ローカリゼーション部分といくぶん同様に動作する。１つ又は複数のＨＤ車線グラフ・マップ、及びカメラ又はＬＩＤＡＲなどの１つ又は複数の認知ソースを含み得るような、１つ又は複数の認知データ・ソース２１２が利用され、１つ又は複数の認知ソースは、車線グラフのライブ又はリアルタイム決定を行うことを試みるために分析され得るデータを生成することができ、車線グラフのライブ又はリアルタイム決定は、このライブ認知データ、或いは、車両上の（又は車両に関連に関連付けられた）サブシステムが画像又はセンサ・データなどの利用可能な情報に基づいて適切な車線グラフであると認知するものに基づく。これらの提案される車線グラフは、車線グラフ融合モジュール２１４に提供され得、車線グラフ融合モジュール２１４は、これらの個々の車線グラフ決定（又は予測）を融合させるか又は組み合わせることに少なくとも部分的に基づいて融合又は組み合わせられた車線グラフ決定を生成することができる。比較器２１６のセットはまた、これらの個々の及び融合車線グラフを比較して、それらが十分に一致しているかどうかを決定することができる。これらの比較の結果は車線グラフ信頼性モニタ２１８に提供され得、車線グラフ信頼性モニタ２１８は、融合車線グラフ決定が、十分な信頼性を伴うこれらの個々の決定のうちの２つ又はそれ以上に関して一致するかどうかを決定することができ、少なくとも融合車線グラフに対する信頼性の決定２２０を出力することができる。融合決定に対する信頼性が、少なくとも、最小信頼性しきい値又は値を満たすなど、十分に高い場合、融合車線グラフ２２２は、たとえば、車両をナビゲートする際に使用するための制御システムに提供され得る。融合車線グラフに対する信頼性が十分に高くない場合、最高信頼性又は健全性スコアをもつ個々の車線グラフを選択することなどによって、継続的な安全な動作を提供するために、個々の又は他の融合ソースのうちの１つからの車線グラフが利用され得る。上述のように、個々の車線グラフを使用して動作することは、安全な動作を提供することができるが、性能の観点から最適でないことがある。

【0038】

図２Ｂ及び図２Ｃは、この例示的なアーキテクチャ２００の、それぞれ、ローカリゼーション決定部分２３０及び車線グラフ決定部分２６０のより詳細なビューを示す。図２Ｂでは、コーナー・レーダー２３２及びフロント・ワイド・カメラ２３６などのローカリゼーション・データ・ソースが、それぞれのローカリゼーション・モジュール２３４、２３８にデータを提供することができることが示され、ローカリゼーション・モジュール２３４、２３８は、融合ローカリゼーション決定を生成するためにローカリゼーション融合モジュール２４０に提供され得る個々のローカリゼーション決定を作り出すことができる。融合ローカリゼーション・データは、比較のために、それぞれの個々のローカリゼーション決定とともに、別個のカメラ・ローカリゼーション構成要素２４２及びレーダー・ローカリゼーション構成要素２４４に提供され得、これらは、ローカリゼーション信頼性（又は健全性）モニタ２４２に渡され得る。信頼性モニタは、それぞれの信頼性決定を生成することができる１次ローカリゼーション・モニタ２４４及び２次ローカリゼーション・モニタ２４６を含むことができ、信頼性決定は、単一のローカリゼーション信頼性値を生成するためにローカリゼーション・モニタによって分析され得る。少なくともいくつかの実施例では、これらの信頼性決定は、融合決定が信頼できるか否かを示すバイナリであり得る。信頼性は、少なくともいくつかの実施例では、しきい値に対する信頼性スコアを使用して決定され得る。この健全性情報は、伝搬ローカリゼーション・モジュールに渡され得、これは、後続の融合決定のためにローカリゼーション融合モジュールによって使用され得る。伝搬融合情報及び融合ローカリゼーション・データは、ローカリゼーション・アービタ２４６にも渡され得る。

【0039】

図２Ｃでは、車線グラフ決定のためのアーキテクチャの部分２６０は、マップ車線グラフ２６２への、融合（又は個々の）ローカリゼーション決定及び信頼性値、又は健全性決定を受信することが示され、マップ車線グラフ２６２は、この情報を、たとえば、現在のロケーション及び環境条件又は状態についての車線グラフを生成するために、ＨＤマップ・データとともに使用することができる。フロント・ワイド・カメラなど、１つ又は複数の構成要素は、キャプチャされた画像又はビデオ・データ中の車線マーカー及び車両などの物体を認識することに少なくとも部分的に基づいて車線グラフを生成するために車線認知グラフ構成要素２６６によって利用され得る画像データを提供することができる。これらの個々の車線グラフ決定は、車線グラフ融合モジュール２７４に提供され得、車線グラフ融合モジュール２７４は、これらの、又は他の提供される個々の車線グラフ決定に少なくとも部分的に基づいて融合車線グラフ決定を生成することができる。融合車線グラフ決定と個々の車線グラフ決定とは、情報を比較し、その結果を車線グラフ健全性モニタに提供するための比較器２６８、２７０に提供され得、車線グラフ健全性モニタは、比較データを分析し、健全性又は信頼性決定をヒューズ車線グラフ・モニタ・モジュール又は構成要素２８４に提供するための１次モニタ２７８及び２次モニタ２８０を含むことができ、ヒューズ車線グラフ・モニタ・モジュール又は構成要素２８４は、融合車線グラフについての健全性又は信頼性データを決定し、出力することができ、それにより、システムは、融合車線グラフがすべての安全要件を満たすことなどを確実にすることができる。この健全性情報はまた、データを、後続の融合車線グラフ決定のために車線グラフ融合モジュール２７４に、並びに、融合車線グラフ・データが利用可能であり、信頼できるかどうかを決定するためにローカリゼーション・アービタ２７２に提供するために、伝搬融合車線グラフ構成要素に提供され、融合車線グラフ・データが利用可能でなく、信頼できない場合、個々の車線グラフ決定のうちの１つ又は複数が利用されるべきである。

【0040】

示されているように、車線グラフ機能の正確さを改善するために、車線グラフ融合モジュール２７４は、互いに融合され得る、ＨＤマップ・ベース車線グラフ・データ及び認知ベース車線グラフ・データなど、車線グラフ・データの異なるソースを利用することができる。この機能は、このアーキテクチャの少なくとも１つの実施例では、ＱＭ（Ｄ）と格付けされ得、考えられる最も正確な車線グラフ出力を達成し、維持するために、任意の適切な融合機能が利用され得る。ローカリゼーション融合モジュール２４０が同様の様式で動作することができ、ローカリゼーション機能が、ローカリゼーション機能のための最も良好な正確さを達成するために、レーダー・ベース・ローカリゼーション・ソース及びカメラ・ベース・ローカリゼーション・ソースなど、複数のローカリゼーション・ソースのＱＭ（Ｄ）融合を提供することができる。融合車線グラフ及び融合ローカリゼーションのために必要とされるＡＳＩＬ Ｄ完全性を達成するために、融合車線グラフと融合ローカリゼーションとが、カメラ・ローカリゼーション及びレーダー・ローカリゼーションとともに、ＨＤマップ・ベース車線グラフ及び認知ベース車線グラフなど、２つの独立した多様なＡＳＩＬ Ｂ（Ｄ）ソースと比較され得、その結果がＡＳＩＬ Ｄモニタに送出され、ＡＳＩＬ Ｄモニタは２つの比較のステータスをチェックする。したがって、例示的なデコンポジション方式が、以下によって与えられ得る。
ＡＳＩＬ Ｄ → ＡＳＩＬ Ｂ（Ｄ） ＋ ＡＳＩＬ Ｂ（Ｄ）
融合ローカリゼーション カメラ・ローカリゼーション比較器 レーダー・ローカリゼーション比較器
ＡＳＩＬ Ｄ → ＡＳＩＬ Ｂ（Ｄ） ＋ ＡＳＩＬ Ｂ（Ｄ）
融合車線グラフ ＨＤマップ・ベース車線グラフ 認知ベース車線グラフ
ＡＳＩＬ Ｄモニタ２４２、２７６は、ＡＳＩＬ Ｄ準拠車線グラフ又はローカリゼーション決定を確実にすることが可能であるように、両方の比較器が同時に有効であることを確実にするための、車線グラフ比較器入力又はローカリゼーション比較器入力に対する単純なチェックを提供する。

【0041】

複雑な動的運転タスクを実施するＡＤＳシステムの最も重要な側面のうちの１つは、故障の場合のシステムの利用可能性である。ＳＡＥ自動化レベル３～５で格付けされたＡＤＳシステムの場合、システムは、故障が検出され得、システムが、依然として正しく機能している他の利用可能な構成要素及び信号とともに動作し続けることができるように、設計されるべきである。伝搬融合車線グラフ構成要素２８２が、たとえば、認知車線グラフ比較器とマップ車線グラフ比較器の両方のチェックをパスした融合車線グラフの最後の良好な値に基づいて、道路上の車線ラインの表現を生成することができる。このモジュールは、融合車線グラフの最後の良好な値をとり、たとえば、相対エゴ・モーション（ｅｇｏ ｍｏｔｉｏｎ）（たとえば、車両の方向、スピード、及び加速／減速）を使用して、自車両（ｅｇｏ ｖｅｈｉｃｌｅ）の周りの新しい車線ラインを推定することができる。そのような手法は、現在のデータが十分に信頼できないことがあるとき、それが履歴データに少なくとも部分的に依拠するので、いくつかの実施例では、デッド・レコニングと呼ばれることがある。伝搬融合車線グラフ・モジュール２８２は、この実施例では、ＡＳＩＬ Ｄに準拠しており、独立して車線ラインを生成することができる。少なくともいくつかの実施例では、この伝搬融合車線グラフは、少なくとも部分的に、エラー累積のエゴ・モーション性質により、限られた時間期間の間のみ正確である。同様に、伝搬融合ローカリゼーション・モジュール２４８は、たとえば、カメラ・ローカリゼーション比較器とレーダー・ローカリゼーション比較器の両方のチェックをパスした融合ローカリゼーションの最後の良好な値に少なくとも部分的に基づいて、自車両の精密な６自由度（ＤＯＦ：ｄｅｇｒｅｅｓ－ｏｆ－ｆｒｅｅｄｏｍ）位置及び向きを生成することができる。モジュールは、融合ローカリゼーションの最後の良好な値をとり、相対エゴ・モーションを使用して、自車両の新しい６ＤＯＦ位置及び向きを推定する。このモジュールも、ＡＳＩＬ Ｄに準拠しており、独立して６ＤＯＦローカリゼーション値を生成することができる。この伝搬ローカリゼーションも、少なくとも部分的に、エラー累積のエゴ・モーション性質により、限られた時間期間の間のみ正確であり得る。したがって、ＡＳＩＬ Ｄ保証付き車線グラフを変換し、限られた時間期間の間、利用可能なモニタなしにＡＳＩＬ Ｄ完全性を維持するために、デッド・レコニングが使用され得る。

【0042】

ローカリゼーション融合と車線グラフ融合の両方のための伝搬融合は、システムの利用可能性をさらに改善するために、異なる変形態間のランタイム切替えと組み合わせて使用され得る。たとえば、システムが、レーダー・ベース・ローカリゼーション及びカメラ・ベース経路認知に関して稼働しており、カメラ・ベース経路認知が数秒間失われた場合、システムは、しばらくの間、伝搬融合車線グラフ上でこの変形態を続け、その後、カメラ・ベース及びレーダー・ベース・ローカリゼーション変形態に切り替えることができる。

【0043】

この実例では、ローカリゼーション・アービタ２４６は、融合ローカリゼーション・データがいつ利用可能でない又は十分に信頼できないかを決定することができ、このデータを比較器及び信頼性モニタに提供することができ、それにより、システムは、少なくとも時間インスタンス又は時間期間の間、融合ローカリゼーション決定ではなく、個々のローカリゼーション決定を使用して動作することを決定することができる。アーキテクチャは、ローカリゼーション・ソースと車線グラフ・ソースとの融合がＱＭ（Ｄ）において起こることを可能にする。これは、信号が比較器のテストをパスするのに十分に正確でないとき、運転のために融合機能が利用可能でないことを生じることがある。アービタは、融合信号が利用可能でないとき、ＡＳＩＬ Ｂ（Ｄ）ローカリゼーション及び車線グラフ信号を通ることができる。そのような手法をとる場合、比較器が、届く入力を独立してチェックし、ＡＳＩＬ Ｄモニタが、依然として、２つの独立したＡＳＩＬ Ｂ（Ｄ）値をチェックするので、ＡＳＩＬ Ｄ出力は、依然として成り立つ。

【0044】

少なくとも１つの実施例では、ローカリゼーションとライブ経路認知との異なる組合せの間で動的に切り替えることが可能であることが、さらに有益であり得る。図３は、そのような動的切替えを提供することができる例示的なアーキテクチャ３００を示す。これは、たとえば、ローカリゼーション及びライブ経路認知の代わりに、２つのローカリゼーション決定間のランタイム切替えを含むことができる。この例示的なアーキテクチャでは、マップ・ベース車線グラフはＡＳＩＬ Ｄ構成要素として働き、前のアーキテクチャについて説明された同じＡＳＩＬ Ｄデコンポジション引数が、ローカリゼーションのために使用され得る。ライブ認知／ローカリゼーション車線グラフ及びローカリゼーションのみの車線グラフ間のこのランタイム切替えは、かなりの量のフレキシビリティを提供することができ、利用可能性を著しく改善することができる。カメラ・ローカリゼーション及びレーダー・ローカリゼーションなど、ローカリゼーションの２つの独立したソースに基づく、マップ・ベース車線グラフ、並びに、カメラ車線認知及びＬＩＤＡＲ車線認知など、ライブ認知の２つの独立したソースに基づく、ライブ認知ベース車線グラフについてなど、他のタイプの動的切替えも可能である。マップ・ベース車線グラフ及びライブ認知ベース車線グラフについて、他の動的切替えが実施され得る。

【0045】

図３のアーキテクチャ３００は、図３中のアーキテクチャの上部分において表される車両中のメイン電子制御ユニット（ＥＣＵ）、及び下部分において表される衛星ベースＥＣＵなど、少なくとも２つのＥＣＵ間の動的切替えをも可能にする。示されているように、各ＥＣＵは、それぞれのローカリゼーション・データ３０２、３２０をとり、融合構成要素３０４、３２２を使用して融合ローカリゼーションを生成し、比較器３０６、３２４を使用して融合ローカリゼーションと個々のローカリゼーションとを比較し、その情報をローカリゼーション信頼性モニタ３０８に提供するための、同様の構成要素を含むことができる。この実例では、衛星ＥＣＵからのローカリゼーション・データの少なくとも一部が、メインＥＣＵの比較器３０６への入力として提供され得、これは、追加のローカリゼーション決定の間の一致を決定するのを助けることができる。示されているように、各ＥＣＵは、ローカリゼーション決定をとり、それを、マップ車線グラフ・モジュール３１２、３２８とともに使用することができ、それぞれの融合モジュール３１６、３３２を使用して融合車線グラフを決定するために１つ又は複数の認知データ・ソース３１０、３３０からのデータを使用することができ、融合車線グラフは、それぞれの車線グラフ信頼性モニタ３１８、３３６によって信頼性決定を行わせるためにそれぞれの比較器３１４、３３４によって個々の車線グラフと比較され得る。これらの車線グラフについての信頼性値は、どの車線グラフを利用すべきかを決定するために使用され得る。少なくともいくつかの実施例では、メインＥＣＵからの車線グラフは、それが十分な信頼性を提供しないのでない限り利用され、メインＥＣＵからの車線グラフが十分な信頼性を提供しない場合、衛星ＥＣＵからの車線グラフ決定が利用され得る。２つのＥＣＵにわたって機能構成要素を拡散することは、ＥＣＵにわたってローカリゼーション及び経路検出信号を通すことによって通常動作における利用可能性をなお一層改善することができ、これは、ＥＣＵのうちの１つの劣化した動作又は損失を補償することができる。

【0046】

いくつかの状況では、少なくとも部分的に、環境における位置により、少なくともいくらかの量の切替えを実施することが望ましいことがある。たとえば、車両が極めてはっきりした車線マーカーをもつハイウェイ上で運転している場合、ライブ車線認知は、極めて正確な車線グラフを作り出し得る。しかしながら、車両が、どのように進むべきかに関するはっきりしたマーカーがない大きい交差点にいる場合があり得る。そのような状況では、ライブ車線認知は、信頼できる車線グラフを提供することが可能でないことがあるが、マップ・ベース車線グラフは十分に信頼できることがある。その場合、旅行中に、道路のみの条件、状態、又はタイプに基づいて安全に運転し続けるために、ライブ車線認知モードとローカリゼーション・モードとの間で複数回切り替えることが可能である。

【0047】

安全を確実にするために極めて迅速に判定が行われる必要がある自律車両の場合、これらの構成要素の多く及びこの処理の大部分が、レイテンシ及び接続性の問題を回避するために、車両自体の上で行われ得る。したがって、車両は、この処理の少なくとも一部を実施するために１つ又は複数のプロセッサ（たとえば、ＣＰＵ又はＧＰＵ）を有し得る。マップ・データの更新など、タイム・クリティカルでないことがあるこの機能性の部分が、他のオプションの中でも、リモート・サーバによって又はクラウドにおいて実施され得る。自律車両の場合、経路決定はミリ秒のオーダーで行われる必要があり得、したがって、融合プロセスが遅れるか又は時間期間の間少なくとも同じ時間スケールに関して結果を生成することができない場合に依拠され得る迅速で単純化した様式で、少なくとも独立した決定モジュールに結果を作り出させることが望ましい。

【0048】

図４は、様々な実施例による、利用され得る、車線グラフなど、ナビゲーション経路を決定するための例示的なプロセス４００を示す。本明細書で説明されるこの及び他のプロセスについて、別段に明記されない限り、様々な実施例の範囲内で、同様の又は代替の順序で、或いは少なくとも部分的に並列に実施される、追加の、より少数の、又は代替のステップがあり得ることを理解されたい。さらに、この実例は所与の車線内で動作する自律車両に関して説明されるが、他のタイプの安全準拠経路又はグラフが、様々な実施例による他の自律又は半自律車両、デバイス、ロボット、プロセス、或いはシステムのために決定され得ることを理解されたい。

【0049】

この実例では、４０２において、少なくとも２つの独立した信用できるソースからローカリゼーション・データが取得される。これは、たとえば、様々なカメラ又はセンサを使用して画像又はセンサ・データをキャプチャすることと、データのそれぞれのタイプに基づいて、独立したローカリゼーション決定を行うこととを含むことができる。信用できるデータは、この実例では、安全に関係し得るような、１つ又は複数の規制又は要件に準拠すると決定されたシステム又はプロセスから取得され、少なくとも最小レベルの信頼性を伴って決定されるデータを指すことがある。４０４において、これらの独立した信用できるソースからの独立したローカリゼーション決定に少なくとも部分的に基づいて、融合ローカリゼーション決定が生成され得る。上述のように、融合決定は、信頼性及び利用可能性などのファクタに少なくとも部分的に基づき得るように、これらの個々の決定の任意の組合せ又はサブセットに基づいて行われ得る。４０６において、少なくとも独立した決定と融合ローカリゼーション決定との間の一致を決定するために、融合ローカリゼーション決定と個々のローカリゼーション決定とが１つ又は複数の比較器に提供され得る。少なくとも１つの実施例では、各比較器は、それぞれの独立したローカリゼーション決定を融合決定と比較する。４０８において、融合ローカリゼーション決定に対する信頼性が少なくとも最小信頼性しきい値を満たすことに基づく、融合決定が使用されるべきであるか否かに関するバイナリ判定など、融合ローカリゼーション決定に対する信頼性又はその健全性を決定するために、これらの比較器の結果が利用され得、融合ローカリゼーション決定に対する信頼性が少なくとも最小信頼性しきい値を満たさない場合、異なるローカリゼーション決定が使用のために選択されるべきである。

【0050】

４１０において、独立した車線グラフを生成するために、少なくとも２つの独立した信用できるソースからのライブ認知データとともに、融合ローカリゼーション決定、又は融合決定が信頼性情報の健全性に従って選択されない場合は他のローカリゼーション決定が提供され得る。４１２において、これらの独立したソースからのこれらの個々の車線グラフに少なくとも部分的に基づいて、融合車線グラフが生成され得る。４１４において、融合車線グラフ決定と個々の車線グラフ決定とが、融合車線グラフと個々の車線グラフとの間の比較のために１つ又は複数の比較器に提供され得る。４１６において、（１つ又は複数の）比較器からの一致の数に少なくとも部分的に基づいて、融合車線グラフに対する信頼性が決定され得る。４１８において、融合車線グラフの信頼性又は健全性が少なくとも最小信頼性しきい値又は基準を満たすと決定された場合、４２０において、融合車線グラフは、それぞれの車両のナビゲーション又は動作のために、駆動ユニットなどの動作構成要素、或いは他のデバイス、システム、サービス、又はプロセスに提供され得る。融合線グラフに対する信頼性が少なくとも最小信頼性しきい値又は基準を満たさない場合、４２２において、ナビゲーション又は動作を提供するために代替車線グラフが選択され得、代替車線グラフは、他のオプションの中でも、個々の車線グラフのいずれか、或いは別のシステム又は制御ユニットからの融合車線グラフであり得る。

【0051】

図５は、様々な実施例による、ローカリゼーション決定又は車線グラフ決定においてデッド・レコニングを利用することができる別の例示的なプロセス５００を示す。この実例では、５０２において、少なくとも２つの独立した信用できるソースからライブ認知データが取得される。５０４において、これらの独立したソースの各々から受信されたライブ認知データは、そのデータが、１つ又は複数の安全規制又は要件の準拠を確実にするのに必要であり得るなど、少なくとも最小信頼性基準を満たすかどうかを決定するために、分析され得る。認知データが、時間期間の間これらの独立したソースのうちの１つから受信されない場合、そのソースは、不十分な信頼性を伴うこれらのソースのうちの１つと同様に扱われ得る。５０６において、これらの独立したソースのうちの少なくとも１つからの認知データが、対応する基準を満たさないと決定された場合、デッド・レコニング・プロセスが始動され得る。これは、５８０において、最近の融合及び／又は独立したローカリゼーション・データにアクセスすること、並びに、５１０において、車両の現在の動き（たとえば、エゴ・モーション）又は状態を決定することを伴うことができる。５１２において、最近のローカリゼーション・データ及び車両の動き又は状態に少なくとも部分的に基づいて、ローカリゼーション・データが少なくとも時間期間の間推論され得、推論は信頼できると決定される。これは、１つ又は複数の個々のローカリゼーション決定を推論すること、又は様々な実施例では融合ローカリゼーションを推論することを伴うことができる。代わりに、すべてのローカリゼーション・データがすべての関連する基準を満たすと決定された場合、５１４において、ライブ認知データを使用して個々のローカリゼーション決定が決定され得る。利用可能な３つ以上のローカリゼーション決定がある場合、５１６において、利用可能なローカリゼーション決定に少なくとも部分的に基づいて、融合ローカリゼーション決定が生成され得、この融合ローカリゼーション情報は、図４に関して説明されたものなどのプロセスを使用して、安全準拠について分析され得る。推論されたローカリゼーション決定のみが利用可能である場合、それは、信頼できるデータが再び利用可能になるまで、少なくとも、車両が安全に動作するか、又は安全なロケーションに移動することを可能にするために、経路決定のために利用され得る。

【0052】

本明細書で提示される様々な手法は、スマート車両、ロボット、サーバ、パーソナル・コンピュータ、スマート車両、又は自動機器など、様々なタイプのデバイス又はシステム上でリアルタイムで実行するのに十分軽量である。そのような処理は、少なくとも１つのネットワークを介して受信されるセンサ又はマップ・データなど、そのデバイス又はシステム上でキャプチャ又は生成されたか、或いは外部ソースから受信されたデータを使用して実施され得る。ソースは、他のオプションの中でも、別個のクライアント・デバイス、デバイス管理システム、又はサード・パーティ・データ・プロバイダなど、任意の適切なソースであり得る。いくつかの事例では、このデータの処理及び／又は使用は、これらの他のデバイス、システム、又はエンティティのうちの１つによって実施され、次いで、使用のために車両（又は別のそのような受信側）に提供され得る。

【0053】

一実例として、図６は、データを提供、生成、修正、符号化、及び／又は送信するために使用され得る例示的なネットワーク構成６００を示す。少なくとも１つの実施例では、車両６０２、或いは他の自動又は半自動デバイス又はシステムが、車両６０２上の状態監視アプリケーション６０４の構成要素と、その車両にローカルに記憶されたデータとを使用して、データを生成するか又は受信することができる。少なくとも１つの実施例では、データ又はコンテンツ・サーバ６２０（たとえば、クラウド・サーバ又はエッジ・サーバ）上で実行している車両監視アプリケーション６２４が、セッション・マネージャと車両データベース６３４に記憶されたユーザ・データとを利用し得るような、少なくとも車両６０２に関連付けられたセッションを始動し得、経路、ローカリゼーション、又は動作に関係するコンテンツが、データ・マネージャ６２６によって決定されるか又は管理されることを引き起こすことができる。経路生成モジュール６２８が、他のオプションの中でも、マップ・データベース６３２にローカルに記憶されるか、サード・パーティ・サービス６６０から受信されるか、又は衛星６７０から受信され得る情報を使用して、マップ、経路、又はローカリゼーション・データを車両６０２に提供するために、様々なソースからのデータを利用することを試み得る。１つ又は複数の安全要件への、このデータの準拠が、安全モジュール６３０を使用して決定され得る。少なくともいくつかの実施例では、このデータは、車両６０２上で決定されたデータに関して、少なくとも冗長であることを意図し得る。このデータの少なくとも一部分が、ダウンロード、ストリーミング、又は別のそのような送信チャネルによって送出するために、適切な送信マネージャ６２２を使用して車両６０２に送信され得る。車両６０２に送信する前にこのデータを符号化及び／又は圧縮するために、エンコーダが使用され得る。少なくとも１つの実施例では、このデータを受信した車両６０２は、このデータを対応する状態モニタ６０４に提供することができ、状態モニタ６０４は、車両６０２に受信されたか又は車両６０２によってキャプチャされたデータを分析し、車両が決定された経路に沿ってナビゲートすることを引き起こし得るなど、車両のための制御システム６０６に提供すべき適切な動作命令又は決定を生成するか又は選択するための、経路生成器６０８及び安全準拠モジュール６１０４を、同じく（又は代替的に）含み得る。（１つ又は複数の）ネットワーク６４０を介して受信されたデータを適宜に復号するために、デコーダも使用され得る。少なくとも１つの実施例では、このデータの少なくとも一部（たとえば、マップ・データ又は履歴認知データ）がすでに、そのデータが前にダウンロードされたか或いはハード・ドライブ又は光ディスクにローカルに記憶されていることがある場合など、ネットワーク６４０を介した送信がデータの少なくともその部分のために必要とされないように、車両６０２に記憶されるか、車両６０２上で生成されるか、又は車両６０２にとってアクセス可能であり得る。少なくとも１つの実施例では、このデータをサーバ６２０から転送するために、データ・ストリーミングなどの送信機構が使用され得る。少なくとも１つの実施例では、このデータの少なくとも一部分は、関連する決定を行うための機能性をも含み得る別個のクライアント・デバイス６５０又はサード・パーティ・サービス６６０など、別のソースから取得、決定、又はストリーミングされ得る。少なくとも１つの実施例では、この機能性の部分は、複数のコンピューティング・デバイスを使用して、又は、ＣＰＵとＧＰＵとの組合せを含み得るものなど、１つ又は複数のコンピューティング・デバイス内の複数のプロセッサを使用して、実施され得る。

【0054】

この実例では、デバイスは、車両、ロボット、自動システム、デスクトップ・コンピュータ、ノートブック・コンピュータ、セット・トップ・ボックス、ストリーミング・デバイス、ゲーミング・コンソール、スマートフォン、タブレット・コンピュータ、スマート車両、ロボット支援機械、ＶＲヘッドセット、ＡＲゴーグル、ウェアラブル・コンピュータ、又はスマート・テレビジョンを含み得るような、算出又は検知能力をもつ任意の適切なデバイスを含むことができる。各デバイスは、他のオプションの中でも、インターネット、イーサネット、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、又はセルラー・ネットワークを含み得るような、少なくとも１つのワイヤード又はワイヤレス・ネットワークにわたって要求を送信及び受信することが可能であり得る。この実例では、これらの要求は、データ・センタ又はサーバ・ファームを含み得るものなど、クラウド・プロバイダ環境における１つ又は複数の電子リソースを動作させるか又は制御し得る、クラウド・プロバイダに関連付けられたアドレスにサブミットされるか、又はそのアドレスから受信され得る。少なくとも１つの実施例では、要求は、ネットワーク・エッジ上に位置し、クラウド・プロバイダ環境に関連付けられた少なくとも１つのセキュリティ層の外側にある、少なくとも１つのエッジ・サーバによって受信されるか又は処理され得る。このようにして、クライアント・デバイスが、より近接しているサーバと対話することを可能にしながら、クラウド・プロバイダ環境におけるリソースのセキュリティをも改善することによって、レイテンシが低減され得る。

【0055】

少なくとも１つの実施例では、そのようなシステムは、自動化動作のために使用され得る。他の実施例では、そのようなシステムは、自律機械アプリケーションをテスト又は検証するために画像又はビデオ・コンテンツを提供するために、或いは深層学習動作を実施するためになど、他の目的のために使用され得る。少なくとも１つの実施例では、そのようなシステムは、エッジ・デバイスを使用して実装され得るか、又は、１つ又は複数の仮想機械（ＶＭ：Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）を組み込み得る。少なくとも１つの実施例では、そのようなシステムは、少なくとも部分的にデータ・センタにおいて、又は少なくとも部分的にクラウド・コンピューティング・リソースを使用して、実装され得る。

【0056】

推論及び訓練論理
図７Ａは、１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために使用される推論及び／又は訓練論理７１５を示す。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。

【0057】

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層を構成するための順方向及び／若しくは出力の重み及び／又は入力／出力データ、並びに／或いは他のパラメータを記憶するためのコード及び／又はデータ・ストレージ７０１を含み得る。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０１を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０１において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの順方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。

【0058】

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１は、キャッシュ・メモリ、動的なランダムにアドレス指定可能なメモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、静的なランダムにアドレス指定可能なメモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。

【0059】

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層に対応する逆方向及び／若しくは出力の重み及び／又は入力／出力データを記憶するためのコード及び／又はデータ・ストレージ７０５を含み得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの逆方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０５を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０５において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ）を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。

【0060】

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、同じストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、部分的に同じストレージ構造であり、部分的に別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。

【0061】

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、訓練及び／又は推論コード（たとえば、グラフ・コード）に少なくとも部分的に基づく、又はそれによって示される論理演算及び／又は数学演算を実施するための、整数及び／又は浮動小数点ユニットを含む、１つ又は複数の算術論理ユニット（「ＡＬＵ」）７１０を含み得、その結果が、アクティブ化ストレージ７２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層又はニューロンからの出力値）を作り出し得、これらのアクティブ化は、コード及び／又はデータ・ストレージ７０１並びに／或いはコード及び／又はデータ・ストレージ７０５に記憶される入力／出力及び／又は重みパラメータ・データの関数である。少なくとも１つの実施例では、アクティブ化ストレージ７２０に記憶されるアクティブ化は、命令又は他のコードを実施したことに応答して（１つ又は複数の）ＡＬＵ７１０によって実施される線形代数及び又は行列ベースの数学に従って生成され、コード及び／又はデータ・ストレージ７０５並びに／或いはコード及び／又はデータ・ストレージ７０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、或いは他のパラメータ又はハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ７０５又はコード及び／若しくはデータ・ストレージ７０１、或いはオンチップ又はオフチップの別のストレージに記憶され得る。

【0062】

少なくとも１つの実施例では、（１つ又は複数の）ＡＬＵ７１０は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路内に含まれるが、別の実施例では、（１つ又は複数の）ＡＬＵ７１０は、それらを使用するプロセッサ或いは他のハードウェア論理デバイス又は回路（たとえば、コプロセッサ）の外部にあり得る。少なくとも１つの実施例では、ＡＬＵ７１０は、プロセッサの実行ユニット内に含まれるか、或いはさもなければ、同じプロセッサ内にあるか又は異なるタイプの異なるプロセッサ（たとえば、中央処理ユニット、グラフィックス処理ユニット、固定機能ユニットなど）間で分散されているかのいずれかであるプロセッサの実行ユニットによってアクセス可能なＡＬＵのバンク内に含まれ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５と、アクティブ化ストレージ７２０とは、同じプロセッサ或いは他のハードウェア論理デバイス又は回路上にあり得るが、別の実施例では、それらは、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路中にあるか、或いは、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せ中にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。さらに、推論及び／又は訓練コードが、プロセッサ或いは他のハードウェア論理又は回路にアクセス可能な他のコードとともに記憶され、プロセッサのフェッチ、復号、スケジューリング、実行、退去（ｒｅｔｉｒｅｍｅｎｔ）及び／又は他の論理回路を使用してフェッチ及び／又は処理され得る。

【0063】

少なくとも１つの実施例では、アクティブ化ストレージ７２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０は、完全に又は部分的に、１つ又は複数のプロセッサ又は他の論理回路内にあるか、又はその外部にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。少なくとも１つの実施例では、図７ａに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（「ＡＳＩＣ」：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）と併せて使用され得る。少なくとも１つの実施例では、図７ａに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（「ＣＰＵ」：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、グラフィックス処理ユニット（「ＧＰＵ」）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの他のハードウェアと併せて使用され得る。

【0064】

図７ｂは、少なくとも１つ又は複数の実施例による、推論及び／又は訓練論理７１５を示す。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、ハードウェア論理を含み得、このハードウェア論理において、算出リソース（ｃｏｍｐｕｔａｔｉｏｎａｌ ｒｅｓｏｕｒｃｅ）が専用であるか、或いはさもなければ、ニューラル・ネットワーク内のニューロンの１つ又は複数の層に対応する重み値又は他の情報と併せてのみ使用される。少なくとも１つの実施例では、図７Ｂに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（ＡＳＩＣ）と併せて使用され得る。少なくとも１つの実施例では、図７Ｂに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（ＣＰＵ）ハードウェア、グラフィックス処理ユニット（ＧＰＵ）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの他のハードウェアと併せて使用され得る。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、コード及び／又はデータ・ストレージ７０１とコード及び／又はデータ・ストレージ７０５とを含み、それらは、コード（たとえば、グラフ・コード）、重み値、並びに／或いは、バイアス値、勾配情報、運動量値、及び／又は他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶するために使用され得る。図７Ｂに示されている少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の各々は、それぞれ、算出ハードウェア７０２及び算出ハードウェア７０６など、専用算出リソースに関連付けられる。少なくとも１つの実施例では、算出ハードウェア７０２及び算出ハードウェア７０６の各々は、線形代数関数などの数学関数を、それぞれコード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５に記憶された情報に対してのみ実施する１つ又は複数のＡＬＵを備え、その結果が、アクティブ化ストレージ７２０に記憶される。

【0065】

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１及び７０５の各々と、対応する算出ハードウェア７０２及び７０６とは、それぞれ、ニューラル・ネットワークの異なる層に対応し、それにより、コード及び／又はデータ・ストレージ７０１と算出ハードウェア７０２との１つの「ストレージ／算出ペア７０１／７０２」から生じたアクティブ化は、ニューラル・ネットワークの概念的組織化をミラーリングするために、コード及び／又はデータ・ストレージ７０５と算出ハードウェア７０６との「ストレージ／算出ペア７０５／７０６」への入力として提供される。少なくとも１つの実施例では、ストレージ／算出ペア７０１／７０２及び７０５／７０６の各々は、２つ以上のニューラル・ネットワーク層に対応し得る。少なくとも１つの実施例では、ストレージ算出ペア７０１／７０２及び７０５／７０６の後に、又はそれらと並列に、追加のストレージ／算出ペア（図示せず）が、推論及び／又は訓練論理７１５中に含められ得る。

【0066】

データ・センタ
図８は、少なくとも１つの実施例が使用され得る例示的なデータ・センタ８００を示す。少なくとも１つの実施例では、データ・センタ８００は、データ・センタ・インフラストラクチャ層８１０と、フレームワーク層８２０と、ソフトウェア層８３０と、アプリケーション層８４０とを含む。

【0067】

少なくとも１つの実施例では、図８に示されているように、データ・センタ・インフラストラクチャ層８１０は、リソース・オーケストレータ８１２と、グループ化されたコンピューティング・リソース８１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」：ｎｏｄｅ ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ）８１６（１）～８１６（Ｎ）とを含み得、ここで、「Ｎ」は、任意のすべての正の整数を表す。少なくとも１つの実施例では、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）は、限定はしないが、任意の数の中央処理ユニット（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・デバイス（たとえば、動的読取り専用メモリ）、ストレージ・デバイス（たとえば、ソリッド・ステート又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」）、電力モジュール、及び冷却モジュールなどを含み得る。少なくとも１つの実施例では、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）の中からの１つ又は複数のノードＣ．Ｒ．は、上述のコンピューティング・リソースのうちの１つ又は複数を有するサーバであり得る。

【0068】

少なくとも１つの実施例では、グループ化されたコンピューティング・リソース８１４は、１つ又は複数のラック（図示せず）内に格納されたノードＣ．Ｒ．の別個のグループ化、又は様々な地理的ロケーション（同じく図示せず）においてデータ・センタ中に格納された多くのラックを含み得る。グループ化されたコンピューティング・リソース８１４内のノードＣ．Ｒ．の別個のグループ化は、１つ又は複数のワークロードをサポートするように構成されるか又は割り振られ得る、グループ化されたコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含み得る。少なくとも１つの実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のワークロードをサポートするためのコンピュート・リソースを提供するために１つ又は複数のラック内でグループ化され得る。少なくとも１つの実施例では、１つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及びネットワーク・スイッチを、任意の組合せで含み得る。

【0069】

少なくとも１つの実施例では、リソース・オーケストレータ８１２は、１つ又は複数のノードＣ．Ｒ．８１６（１）～８１６（Ｎ）及び／又はグループ化されたコンピューティング・リソース８１４を構成するか、又はさもなければ、制御し得る。少なくとも１つの実施例では、リソース・オーケストレータ８１２は、データ・センタ８００のためのソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含み得る。少なくとも１つの実施例では、リソース・オーケストレータは、ハードウェア、ソフトウェア、又はそれらの何らかの組合せを含み得る。

【0070】

少なくとも１つの実施例では、図８に示されているように、フレームワーク層８２０は、ジョブ・スケジューラ８２２と、構成マネージャ８２４と、リソース・マネージャ８２６と、分散型ファイル・システム８２８とを含む。少なくとも１つの実施例では、フレームワーク層８２０は、ソフトウェア層８３０のソフトウェア８３２、及び／又はアプリケーション層８４０の１つ又は複数のアプリケーション８４２をサポートするためのフレームワークを含み得る。少なくとも１つの実施例では、ソフトウェア８３２又は（１つ又は複数の）アプリケーション８４２は、それぞれ、アマゾン・ウェブ・サービス、Ｇｏｏｇｌｅ Ｃｌｏｕｄ、及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含み得る。少なくとも１つの実施例では、フレームワーク層８２０は、限定はしないが、大規模データ処理（たとえば、「ビック・データ」）のために分散型ファイル・システム８２８を利用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）など、無料でオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークのタイプであり得る。少なくとも１つの実施例では、ジョブ・スケジューラ８２２は、データ・センタ８００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。少なくとも１つの実施例では、構成マネージャ８２４は、ソフトウェア層８３０、並びに大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム８２８を含むフレームワーク層８２０など、異なる層を構成することが可能であり得る。少なくとも１つの実施例では、リソース・マネージャ８２６は、分散型ファイル・システム８２８及びジョブ・スケジューラ８２２をサポートするようにマッピングされたか又は割り振られた、クラスタ化された又はグループ化されたコンピューティング・リソースを管理することが可能であり得る。少なくとも１つの実施例では、クラスタ化された又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層８１０において、グループ化されたコンピューティング・リソース８１４を含み得る。少なくとも１つの実施例では、リソース・マネージャ８２６は、リソース・オーケストレータ８１２と協調して、これらのマッピングされた又は割り振られたコンピューティング・リソースを管理し得る。

【0071】

少なくとも１つの実施例では、ソフトウェア層８３０中に含まれるソフトウェア８３２は、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）、グループ化されたコンピューティング・リソース８１４、及び／又はフレームワーク層８２０の分散型ファイル・システム８２８の少なくとも部分によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、限定はしないが、インターネット・ウェブ・ページ検索ソフトウェアと、電子メール・ウイルス・スキャン・ソフトウェアと、データベース・ソフトウェアと、ストリーミング・ビデオ・コンテンツ・ソフトウェアとを含み得る。

【0072】

少なくとも１つの実施例では、アプリケーション層８４０中に含まれる（１つ又は複数の）アプリケーション８４２は、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）、グループ化されたコンピューティング・リソース８１４、及び／又はフレームワーク層８２０の分散型ファイル・システム８２８の少なくとも部分によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、限定はしないが、任意の数のゲノミクス・アプリケーション、コグニティブ・コンピュート、及び、訓練又は推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）を含む、機械学習アプリケーション、又は、１つ又は複数の実施例と併せて使用される他の機械学習アプリケーションを含み得る。

【0073】

少なくとも１つの実施例では、構成マネージャ８２４、リソース・マネージャ８２６、及びリソース・オーケストレータ８１２のいずれかが、任意の技術的に実現可能な様式で獲得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正アクションを実装し得る。少なくとも１つの実施例では、自己修正アクションは、データ・センタ８００のデータ・センタ・オペレータを、不良の恐れのある構成を判定し、十分に利用されていない及び／又は性能の低いデータ・センタの部分を場合によっては回避することから解放し得る。

【0074】

少なくとも１つの実施例では、データ・センタ８００は、１つ又は複数の機械学習モデルを訓練するか、或いは、本明細書で説明される１つ又は複数の実施例による１つ又は複数の機械学習モデルを使用して情報を予測又は推論するためのツール、サービス、ソフトウェア又は他のリソースを含み得る。たとえば、少なくとも１つの実施例では、機械学習モデルは、データ・センタ８００に関して上記で説明されたソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練され得る。少なくとも１つの実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練された機械学習モデルは、本明細書で説明される１つ又は複数の訓練技法を通して計算された重みパラメータを使用することによって、データ・センタ８００に関して上記で説明されたリソースを使用して、情報を推論又は予測するために使用され得る。

【0075】

少なくとも１つの実施例では、データ・センタは、上記で説明されたリソースを使用して訓練及び／又は推論を実施するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用し得る。その上、上記で説明された１つ又は複数のソフトウェア及び／又はハードウェア・リソースは、画像認識、音声認識、又は他の人工知能サービスなど、ユーザが、情報を訓練するか又は情報の推論を実施することを可能にするためのサービスとして構成され得る。

【0076】

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図８のシステムにおいて使用され得る。

【0077】

そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。

【0078】

コンピュータ・システム
図９は、例示的なコンピュータ・システムを示すブロック図であり、例示的なコンピュータ・システムは、少なくとも１つの実施例による、命令を実行するための実行ユニットを含み得るプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳＯＣ）又はそれらの何らかの組合せをもつシステム９００であり得る。少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、本明細書で説明される実施例などにおいて、本開示による、プロセス・データのためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ９０２などの構成要素を含み得る。少なくとも１つの実施例では、コンピュータ・システム９００は、カリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含み得るが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含む）他のシステムも使用され得る。少なくとも１つの実施例では、コンピュータ・システム９００は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＷＩＮＤＯＷＳ（登録商標）オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースも使用され得る。

【0079】

実施例は、ハンドヘルド・デバイス及び組み込みアプリケーションなど、他のデバイスにおいて使用され得る。ハンドヘルド・デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、及びハンドヘルドＰＣを含む。少なくとも１つの実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋ ｃｏｍｐｕｔｅｒ）、セット・トップ・ボックス、ネットワーク・ハブ、ワイド・エリア・ネットワーク（「ＷＡＮ」：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）スイッチ、又は少なくとも１つの実施例による１つ又は複数の命令を実施し得る任意の他のシステムを含み得る。

【0080】

少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、プロセッサ９０２を含み得、プロセッサ９０２は、限定はしないが、本明細書で説明される技法による機械学習モデル訓練及び／又は推論を実施するための１つ又は複数の実行ユニット９０８を含み得る。少なくとも１つの実施例では、コンピュータ・システム９００は、シングル・プロセッサ・デスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム９００は、マルチプロセッサ・システムであり得る。少なくとも１つの実施例では、プロセッサ９０２は、限定はしないが、複合命令セット・コンピュータ（「ＣＩＳＣ」：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｉｎｇ）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は、たとえばデジタル信号プロセッサなど、任意の他のプロセッサ・デバイスを含み得る。少なくとも１つの実施例では、プロセッサ９０２は、プロセッサ・バス９１０に結合され得、プロセッサ・バス９１０は、プロセッサ９０２とコンピュータ・システム９００中の他の構成要素との間でデータ信号を送信し得る。

【0081】

少なくとも１つの実施例では、プロセッサ９０２は、限定はしないが、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）９０４を含み得る。少なくとも１つの実施例では、プロセッサ９０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有し得る。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ９０２の外部に存在し得る。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せをも含み得る。少なくとも１つの実施例では、レジスタ・ファイル９０６は、限定はしないが、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタを含む様々なレジスタに、異なるタイプのデータを記憶し得る。

【0082】

少なくとも１つの実施例では、限定はしないが、整数演算及び浮動小数点演算を実施するための論理を含む実行ユニット９０８も、プロセッサ９０２中に存在し得る。少なくとも１つの実施例では、プロセッサ９０２は、いくつかのマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）をも含み得る。少なくとも１つの実施例では、実行ユニット９０８は、パック命令セット９０９に対処するための論理を含み得る。少なくとも１つの実施例では、パック命令セット９０９を、命令を実行するための関連する回路要素とともに汎用プロセッサ９０２の命令セットに含めることによって、多くのマルチメディア・アプリケーションによって使用される演算が、汎用プロセッサ９０２中のパック・データを使用して実施され得る。１つ又は複数の実施例では、多くのマルチメディア・アプリケーションが、パック・データの演算を実施するためにプロセッサのデータ・バスの全幅を使用することによって加速され、より効率的に実行され得、これは、一度に１つのデータ要素ずつ１つ又は複数の演算を実施するために、プロセッサのデータ・バスにわたってより小さい単位のデータを転送する必要をなくし得る。

【0083】

少なくとも１つの実施例では、実行ユニット９０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用され得る。少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、メモリ９２０を含み得る。少なくとも１つの実施例では、メモリ９２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装され得る。少なくとも１つの実施例では、メモリ９２０は、プロセッサ９０２によって実行され得るデータ信号によって表される（１つ又は複数の）命令９１９及び／又はデータ９２１を記憶し得る。

【0084】

少なくとも１つの実施例では、システム論理チップが、プロセッサ・バス９１０及びメモリ９２０に結合され得る。少なくとも１つの実施例では、システム論理チップは、限定はしないが、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）９１６を含み得、プロセッサ９０２は、プロセッサ・バス９１０を介してＭＣＨ９１６と通信し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、命令及びデータ・ストレージのための、並びにグラフィックス・コマンド、データ及びテクスチャのストレージのための、高帯域幅メモリ経路９１８をメモリ９２０に提供し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、プロセッサ９０２と、メモリ９２０と、コンピュータ・システム９００中の他の構成要素との間でデータ信号をダイレクトし、プロセッサ・バス９１０と、メモリ９２０と、システムＩ／Ｏ９２２との間でデータ信号をブリッジし得る。少なくとも１つの実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、高帯域幅メモリ経路９１８を通してメモリ９２０に結合され得、グラフィックス／ビデオ・カード９１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）相互接続９１４を通してＭＣＨ９１６に結合され得る。

【0085】

少なくとも１つの実施例では、コンピュータ・システム９００は、ＭＣＨ９１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）９３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスである、システムＩ／Ｏ９２２を使用し得る。少なくとも１つの実施例では、ＩＣＨ９３０は、ローカルＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供し得る。少なくとも１つの実施例では、ローカルＩ／Ｏバスは、限定はしないが、周辺機器をメモリ９２０、チップセット、及びプロセッサ９０２に接続するための高速Ｉ／Ｏバスを含み得る。実例は、限定はしないが、オーディオ・コントローラ９２９と、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）９２８と、ワイヤレス・トランシーバ９２６と、データ・ストレージ９２４と、ユーザ入力及びキーボード・インターフェース９２５を含んでいるレガシーＩ／Ｏコントローラ９２３と、ユニバーサル・シリアル・バス（「ＵＳＢ」：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などのシリアル拡張ポート９２７と、ネットワーク・コントローラ９３４とを含み得る。データ・ストレージ９２４は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備え得る。

【0086】

少なくとも１つの実施例では、図９は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図９は、例示的なシステム・オン・チップ（「ＳｏＣ」）を示し得る。少なくとも１つの実施例では、デバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、コンピュータ・システム９００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ）相互接続を使用して相互接続される。

【0087】

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図９のシステムにおいて使用され得る。

【0088】

そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。

【0089】

図１０は、少なくとも１つの実施例による、プロセッサ１０１０を利用するための電子デバイス１０００を示すブロック図である。少なくとも１つの実施例では、電子デバイス１０００は、たとえば、限定はしないが、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであり得る。

【0090】

少なくとも１つの実施例では、システム１０００は、限定はしないが、任意の好適な数又は種類の構成要素、周辺機器、モジュール、又はデバイスに通信可能に結合されたプロセッサ１０１０を含み得る。少なくとも１つの実施例では、プロセッサ１０１０は、１℃バス、システム管理バス（「ＳＭＢｕｓ」：Ｓｙｓｔｅｍ Ｍａｎａｇｅｍｅｎｔ Ｂｕｓ）、ロー・ピン・カウント（ＬＰＣ：Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス、シリアル周辺インターフェース（「ＳＰＩ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、高精細度オーディオ（「ＨＤＡ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ａｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：Ｓｅｒｉａｌ Ａｄｖａｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３）、又はユニバーサル非同期受信機／送信機（「ＵＡＲＴ」：Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなど、バス又はインターフェースを使用して結合した。少なくとも１つの実施例では、図１０は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図１０は、例示的なシステム・オン・チップ（「ＳｏＣ」）を示し得る。少なくとも１つの実施例では、図１０に示されているデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、図１０の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続される。

【0091】

少なくとも１つの実施例では、図１０は、ディスプレイ１０２４、タッチ・スクリーン１０２５、タッチ・パッド１０３０、ニア・フィールド通信ユニット（「ＮＦＣ」：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）１０４５、センサ・ハブ１０４０、熱センサ１０４６、エクスプレス・チップセット（「ＥＣ」：Ｅｘｐｒｅｓｓ Ｃｈｉｐｓｅｔ）１０３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：Ｔｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ）１０３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈ ｍｅｍｏｒｙ）１０２２、ＤＳＰ１０６０、ソリッド・ステート・ディスク（「ＳＳＤ」：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）又はハード・ディスク・ドライブ（「ＨＤＤ」：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのドライブ１０２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）１０５０、Ｂｌｕｅｔｏｏｔｈユニット１０５２、ワイヤレス・ワイド・エリア・ネットワーク・ユニット（「ＷＷＡＮ」：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）１０５６、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１０５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１０５４、及び／或いは、たとえばＬＰＤＤＲ３規格において実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１０１５を含み得る。これらの構成要素は、各々、任意の好適な様式で実装され得る。

【0092】

少なくとも１つの実施例では、上記で説明された構成要素を通して、他の構成要素がプロセッサ１０１０に通信可能に結合され得る。少なくとも１つの実施例では、加速度計１０４１と、周囲光センサ（「ＡＬＳ」：Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ）１０４２と、コンパス１０４３と、ジャイロスコープ１０４４とが、センサ・ハブ１０４０に通信可能に結合され得る。少なくとも１つの実施例では、熱センサ１０３９と、ファン１０３７と、キーボード１０４６と、タッチ・パッド１０３０とが、ＥＣ１０３５に通信可能に結合され得る。少なくとも１つの実施例では、スピーカー１０６３と、ヘッドフォン１０６４と、マイクロフォン（「ｍｉｃ」）１０６５とが、オーディオ・ユニット（「オーディオ・コーデック及びクラスｄアンプ」）１０６２に通信可能に結合され得、オーディオ・ユニット１０６２は、ＤＳＰ１０６０に通信可能に結合され得る。少なくとも１つの実施例では、オーディオ・ユニット１０６４は、たとえば、限定はしないが、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤ増幅器を含み得る。少なくとも１つの実施例では、ＳＩＭカード（「ＳＩＭ」）１０５７は、ＷＷＡＮユニット１０５６に通信可能に結合され得る。少なくとも１つの実施例では、ＷＬＡＮユニット１０５０及びＢｌｕｅｔｏｏｔｈユニット１０５２などの構成要素、並びにＷＷＡＮユニット１０５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｆｏｒｍ Ｆａｃｔｏｒ）において実装され得る。

【0093】

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１０のシステムにおいて使用され得る。

【0094】

そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。

【0095】

図１１は、少なくとも１つの実施例による、処理システムのブロック図である。少なくとも１つの実施例では、システム１１００は、１つ又は複数のプロセッサ１１０２と１つ又は複数のグラフィックス・プロセッサ１１０８とを含み、単一プロセッサ・デスクトップ・システム、マルチプロセッサ・ワークステーション・システム、或いは多数のプロセッサ１１０２又はプロセッサ・コア１１０７を有するサーバ・システムであり得る。少なくとも１つの実施例では、システム１１００は、モバイル・デバイス、ハンドヘルド・デバイス、又は組み込みデバイスにおいて使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。

【0096】

少なくとも１つの実施例では、システム１１００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディア・コンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、ハンドヘルド・ゲーム・コンソール、又はオンライン・ゲーム・コンソールを含むことができるか、或いはそれらの内部に組み込まれ得る。少なくとも１つの実施例では、システム１１００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス又はモバイル・インターネット・デバイスである。少なくとも１つの実施例では、処理システム１１００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、又は仮想現実デバイスなどのウェアラブル・デバイスを含むことができるか、それらと結合することができるか、又はそれらの内部に組み込まれ得る。少なくとも１つの実施例では、処理システム１１００は、１つ又は複数のプロセッサ１１０２と、１つ又は複数のグラフィックス・プロセッサ１１０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。

【0097】

少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、各々、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実施する命令を処理するための１つ又は複数のプロセッサ・コア１１０７を含む。少なくとも１つの実施例では、１つ又は複数のプロセッサ・コア１１０７の各々は、特定の命令セット１１０９を処理するように構成される。少なくとも１つの実施例では、命令セット１１０９は、複合命令セット・コンピューティング（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にし得る。少なくとも１つの実施例では、プロセッサ・コア１１０７は、各々、異なる命令セット１１０９を処理し得、命令セット１１０９は、他の命令セットのエミュレーションを容易にするための命令を含み得る。少なくとも１つの実施例では、プロセッサ・コア１１０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含み得る。

【0098】

少なくとも１つの実施例では、プロセッサ１１０２はキャッシュ・メモリ１１０４を含む。少なくとも１つの実施例では、プロセッサ１１０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ１１０２の様々な構成要素の間で共有される。少なくとも１つの実施例では、プロセッサ１１０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ：Ｌａｓｔ Ｌｅｖｅｌ Ｃａｃｈｅ））（図示せず）を使用し、外部キャッシュは、知られているキャッシュ・コヒーレンシ技法を使用してプロセッサ・コア１１０７の間で共有され得る。少なくとも１つの実施例では、追加として、レジスタ・ファイル１１０６がプロセッサ１１０２中に含まれ、レジスタ・ファイル１１０６は、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタ）を含み得る。少なくとも１つの実施例では、レジスタ・ファイル１１０６は、汎用レジスタ又は他のレジスタを含み得る。

【0099】

少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、アドレス、データ、又は制御信号などの通信信号を、プロセッサ１１０２とシステム１１００中の他の構成要素との間で送信するために、１つ又は複数のインターフェース・バス１１１０と結合される。少なくとも１つの実施例では、１つの実施例におけるインターフェース・バス１１１０は、ダイレクト・メディア・インターフェース（ＤＭＩ：Ｄｉｒｅｃｔ Ｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）バスのバージョンなどのプロセッサ・バスであり得る。少なくとも１つの実施例では、インターフェース１１１０は、ＤＭＩバスに限定されず、１つ又は複数の周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）、メモリ・バス、又は他のタイプのインターフェース・バスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１１０２は、統合されたメモリ・コントローラ１１１６と、プラットフォーム・コントローラ・ハブ１１３０とを含む。少なくとも１つの実施例では、メモリ・コントローラ１１１６は、メモリ・デバイスとシステム１１００の他の構成要素との間の通信を容易にし、プラットフォーム・コントローラ・ハブ（ＰＣＨ：ｐｌａｔｆｏｒｍ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。

【0100】

少なくとも１つの実施例では、メモリ・デバイス１１２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとして働くのに好適な性能を有する何らかの他のメモリ・デバイスであり得る。少なくとも１つの実施例では、メモリ・デバイス１１２０は、１つ又は複数のプロセッサ１１０２がアプリケーション又はプロセスを実行するときの使用のためのデータ１１２２及び命令１１２１を記憶するために、システム１１００のためのシステム・メモリとして動作することができる。少なくとも１つの実施例では、メモリ・コントローラ１１１６はまた、随意の外部グラフィックス・プロセッサ１１１２と結合し、外部グラフィックス・プロセッサ１１１２は、グラフィックス動作及びメディア動作を実施するために、プロセッサ１１０２中の１つ又は複数のグラフィックス・プロセッサ１１０８と通信し得る。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、（１つ又は複数の）プロセッサ１１０２に接続することができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、モバイル電子デバイス又はラップトップ・デバイスの場合のような内部ディスプレイ・デバイス、或いは、ディスプレイ・インターフェース（たとえば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられた外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーション又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）アプリケーションにおいて使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を含むことができる。

【0101】

少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、周辺機器が高速Ｉ／Ｏバスを介してメモリ・デバイス１１２０及びプロセッサ１１０２に接続することを可能にする。少なくとも１つの実施例では、Ｉ／Ｏ周辺機器は、限定はしないが、オーディオ・コントローラ１１４６と、ネットワーク・コントローラ１１３４と、ファームウェア・インターフェース１１２８と、ワイヤレス・トランシーバ１１２６と、タッチ・センサ１１２５と、データ・ストレージ・デバイス１１２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）とを含む。少なくとも１つの実施例では、データ・ストレージ・デバイス１１２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又は周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）などの周辺バスを介して、接続することができる。少なくとも１つの実施例では、タッチ・センサ１１２５は、タッチ・スクリーン・センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも１つの実施例では、ワイヤレス・トランシーバ１１２６は、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、或いは３Ｇ、４Ｇ、又はロング・ターム・エボリューション（ＬＴＥ）トランシーバなどのモバイル・ネットワーク・トランシーバであり得る。少なくとも１つの実施例では、ファームウェア・インターフェース１１２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ：ｕｎｉｆｉｅｄ ｅｘｔｅｎｓｉｂｌｅ ｆｉｒｍｗａｒｅ ｉｎｔｅｒｆａｃｅ）であり得る。少なくとも１つの実施例では、ネットワーク・コントローラ１１３４は、ワイヤード・ネットワークへのネットワーク接続を可能にすることができる。少なくとも１つの実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス１１１０と結合する。少なくとも１つの実施例では、オーディオ・コントローラ１１４６は、マルチチャネル高精細度オーディオ・コントローラである。少なくとも１つの実施例では、システム１１００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２：Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ ２））デバイスをシステムに結合するための随意のレガシーＩ／Ｏコントローラ１１４０を含む。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、キーボードとマウス１１４３との組合せ、カメラ１１４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ１１４２接続入力デバイスにも接続することができる。

【0102】

少なくとも１つの実施例では、メモリ・コントローラ１１１６及びプラットフォーム・コントローラ・ハブ１１３０のインスタンスが、外部グラフィックス・プロセッサ１１１２などの慎重な外部グラフィックス・プロセッサに組み込まれ得る。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０及び／又はメモリ・コントローラ１１１６は、１つ又は複数のプロセッサ１１０２の外部にあり得る。たとえば、少なくとも１つの実施例では、システム１１００は、外部のメモリ・コントローラ１１１６とプラットフォーム・コントローラ・ハブ１１３０とを含むことができ、それらは、（１つ又は複数の）プロセッサ１１０２と通信しているシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺コントローラ・ハブとして構成され得る。

【0103】

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、グラフィックス・プロセッサ１５００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサにおいて具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサのＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0104】

そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。

【0105】

図１２は、少なくとも１つの実施例による、１つ又は複数のプロセッサ・コア１２０２Ａ～１２０２Ｎと、統合されたメモリ・コントローラ１２１４と、統合されたグラフィックス・プロセッサ１２０８とを有するプロセッサ１２００のブロック図である。少なくとも１つの実施例では、プロセッサ１２００は、破線ボックスによって表される追加コア１２０２Ｎまでの追加コアを含むことができる。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎの各々は、１つ又は複数の内部キャッシュ・ユニット１２０４Ａ～１２０４Ｎを含む。少なくとも１つの実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュド・ユニット１２０６へのアクセスを有する。

【0106】

少なくとも１つの実施例では、内部キャッシュ・ユニット１２０４Ａ～１２０４Ｎと共有キャッシュ・ユニット１２０６とは、プロセッサ１２００内のキャッシュ・メモリ階層を表す。少なくとも１つの実施例では、キャッシュ・メモリ・ユニット１２０４Ａ～１２０４Ｎは、各プロセッサ・コア内の命令及びデータ・キャッシュの少なくとも１つのレベル、及びレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含み得、ここで、外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも１つの実施例では、キャッシュ・コヒーレンシ論理は、様々なキャッシュ・ユニット１２０６及び１２０４Ａ～１２０４Ｎ間でコヒーレンシを維持する。

【0107】

少なくとも１つの実施例では、プロセッサ１２００は、１つ又は複数のバス・コントローラ・ユニット１２１６とシステム・エージェント・コア１２１０とのセットをも含み得る。少なくとも１つの実施例では、１つ又は複数のバス・コントローラ・ユニット１２１６は、１つ又は複数のＰＣＩ又はＰＣＩエクスプレス・バスなどの周辺バスのセットを管理する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、様々なプロセッサ構成要素のための管理機能性を提供する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合されたメモリ・コントローラ１２１４を含む。

【0108】

少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、マルチスレッド処理中にコア１２０２Ａ～１２０２Ｎを協調させ、動作させるための構成要素を含む。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、追加として、電力制御ユニット（ＰＣＵ：ｐｏｗｅｒ ｃｏｎｔｒｏｌ ｕｎｉｔ）を含み得、ＰＣＵは、プロセッサ・コア１２０２Ａ～１２０２Ｎ及びグラフィックス・プロセッサ１２０８の１つ又は複数の電力状態を調節するための論理及び構成要素を含む。

【0109】

少なくとも１つの実施例では、プロセッサ１２００は、追加として、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ１２０８を含む。少なくとも１つの実施例では、グラフィックス・プロセッサ１２０８は、共有キャッシュ・ユニット１２０６、及び１つ又は複数の統合されたメモリ・コントローラ１２１４を含むシステム・エージェント・コア１２１０と結合する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、１つ又は複数の結合されたディスプレイへのグラフィックス・プロセッサ出力を駆動するためのディスプレイ・コントローラ１２１１をも含む。少なくとも１つの実施例では、ディスプレイ・コントローラ１２１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ１２０８と結合された別個のモジュールであり得るか、又はグラフィックス・プロセッサ１２０８内に組み込まれ得る。

【0110】

少なくとも１つの実施例では、プロセッサ１２００の内部構成要素を結合するために、リング・ベースの相互接続ユニット１２１２が使用される。少なくとも１つの実施例では、ポイントツーポイント相互接続、切替え相互接続、又は他の技法などの代替相互接続ユニットが使用され得る。少なくとも１つの実施例では、グラフィックス・プロセッサ１２０８は、Ｉ／Ｏリンク１２１３を介してリング相互接続１２１２と結合する。

【0111】

少なくとも１つの実施例では、Ｉ／Ｏリンク１２１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール１２１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む、複数の種類のＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎの各々と、グラフィックス・プロセッサ１２０８とは、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール１２１８を使用する。

【0112】

少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ａｒｃｈｉｔｅｃｔｕｒｅ）という観点から異種であり、ここで、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数は、共通の命令セットを実行し、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、マイクロアーキテクチャという観点から異種であり、ここで、電力消費量が比較的高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数の電力コアと結合する。少なくとも１つの実施例では、プロセッサ１２００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装され得る。

【0113】

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、プロセッサ１２００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサ１５１２、（１つ又は複数の）グラフィックス・コア１２０２Ａ～１２０２Ｎ、又は図１２中の他の構成要素において具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサ１２００のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0114】

そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。

【0115】

仮想化されたコンピューティング・プラットフォーム
図１３は、少なくとも１つの実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス１３００のための例示的なデータ・フロー図である。少なくとも１つの実施例では、プロセス１３００は、１つ又は複数の施設１３０２において、撮像デバイス、処理デバイス、及び／又は他のデバイス・タイプとともに使用するために導入され得る。プロセス１３００は、訓練システム１３０４及び／又は導入システム１３０６内で実行され得る。少なくとも１つの実施例では、訓練システム１３０４は、導入システム１３０６における使用のための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装を実施するために使用され得る。少なくとも１つの実施例では、導入システム１３０６は、施設１３０２におけるインフラストラクチャ要件を低減するために、処理及びコンピュート・リソースを分散型コンピューティング環境の間でオフロードするように構成され得る。少なくとも１つの実施例では、パイプライン中の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム１３０６のサービス（たとえば、推論、視覚化、コンピュート、ＡＩなど）を使用するか、又はコールし得る。

【0116】

少なくとも１つの実施例では、先進処理及び推論パイプラインにおいて使用されるアプリケーションのいくつかは、１つ又は複数の処理ステップを実施するために機械学習モデル又は他のＡＩを使用し得る。少なくとも１つの実施例では、機械学習モデルは、施設１３０２において生成された（及び、施設１３０２において１つ又は複数のピクチャ・アーカイブ及び通信システム（ＰＡＣＳ：ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）サーバに記憶された）（撮像データなどの）データ１３０８を使用して、施設１３０２において訓練され得るか、（１つ又は複数の）別の施設からの撮像又はシーケンシング・データ１３０８を使用して訓練され得るか、或いはそれらの組合せであり得る。少なくとも１つの実施例では、訓練システム１３０４は、導入システム１３０６のための実用的で導入可能な機械学習モデルを生成するためのアプリケーション、サービス、及び／又は他のリソースを提供するために使用され得る。

【0117】

少なくとも１つの実施例では、モデル・レジストリ１３２４は、バージョン管理及び物体メタデータをサポートし得る物体ストレージによってバックアップされ得る。少なくとも１つの実施例では、物体ストレージは、たとえば、クラウド・プラットフォーム内から、クラウド・ストレージ（たとえば、図１４のクラウド１４２６）互換アプリケーション・プログラミング・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）を通してアクセス可能であり得る。少なくとも１つの実施例では、モデル・レジストリ１３２４内の機械学習モデルは、システムの開発者又はパートナーがＡＰＩと対話することによって、アップロード、リスト化、修正、又は削除され得る。少なくとも１つの実施例では、ＡＰＩは、適切な資格をもつユーザがモデルをアプリケーションに関連付けることを可能にする方法へのアクセスを提供し得、それにより、モデルは、アプリケーションのコンテナ化されたインスタンス化の実行の一部として実行され得る。

【0118】

少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）は、施設１３０２がそれ自体の機械学習モデルを訓練しているか、或いは、最適化又は更新される必要がある既存の機械学習モデルを有するシナリオを含み得る。少なくとも１つの実施例では、（１つ又は複数の）撮像デバイス、シーケンシング・デバイス、及び／又は他のデバイス・タイプによって生成された撮像データ１３０８が受信され得る。少なくとも１つの実施例では、撮像データ１３０８が受信されると、機械学習モデルについてのグランド・トゥルース・データとして使用されるべき撮像データ１３０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション１３１０が使用され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション１３１０は、１つ又は複数の機械学習モデル（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ））を含み得、１つ又は複数の機械学習モデルは、（たとえば、いくつかのデバイスからの）いくつかのタイプの撮像データ１３０８に対応するアノテーションを生成するように訓練され得る。少なくとも１つの実施例では、次いで、ＡＩ支援アノテーション１３１０は、グランド・トゥルース・データを生成するために、直接使用され得るか、或いは、アノテーション・ツールを使用して調整又は微調整され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション１３１０、ラベル付きクリニック・データ１３１２、又はそれらの組合せが、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、訓練された機械学習モデルは出力モデル１３１６と呼ばれることがあり、本明細書で説明されるように、導入システム１３０６によって使用され得る。

【0119】

少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）は、施設１３０２が、導入システム１３０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とするが、施設１３０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）シナリオを含み得る。少なくとも１つの実施例では、既存の機械学習モデルが、モデル・レジストリ１３２４から選択され得る。少なくとも１つの実施例では、モデル・レジストリ１３２４は、撮像データに対して様々な異なる推論タスクを実施するように訓練された機械学習モデルを含み得る。少なくとも１つの実施例では、モデル・レジストリ１３２４中の機械学習モデルは、施設１３０２とは異なる施設（たとえば、離れた場所にある施設）からの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、機械学習モデルは、１つのロケーション、２つのロケーション、又は任意の数のロケーションからの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、特定のロケーションからの撮像データに関して訓練されているとき、訓練は、そのロケーションにおいて行われ得るか、或いは少なくとも、撮像データの機密性を保護するか又は撮像データが構外へ転送されるのを制限する様式で、行われ得る。少なくとも１つの実施例では、１つのロケーションにおいてモデルが訓練されると、又は部分的に訓練されると、機械学習モデルはモデル・レジストリ１３２４に追加され得る。少なくとも１つの実施例では、次いで、機械学習モデルは、任意の数の他の施設において再訓練又は更新され得、再訓練又は更新されたモデルが、モデル・レジストリ１３２４において利用可能にされ得る。少なくとも１つの実施例では、次いで、機械学習モデルは、モデル・レジストリ１３２４から選択され得、出力モデル１３１６と呼ばれることがあり、導入システムの１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施するために導入システム１３０６において使用され得る。

【0120】

少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）、シナリオは、施設１３０２が、導入システム１３０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とすることを含み得るが、施設１３０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）。少なくとも１つの実施例では、モデル・レジストリ１３２４から選択された機械学習モデルは、母集団、機械学習モデルを訓練するために使用される訓練データの頑健性、訓練データの異常の多様性、及び／又は訓練データに伴う他の問題における差異のために、施設１３０２において生成される撮像データ１３０８のために微調整又は最適化されないことがある。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用されるべき撮像データ１３０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション１３１０が使用され得る。少なくとも１つの実施例では、ラベル付きデータ１３１２が、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新することは、モデル訓練１３１４と呼ばれることがある。少なくとも１つの実施例では、モデル訓練１３１４、たとえばＡＩ支援アノテーション１３１０、ラベル付きクリニック・データ１３１２、又はそれらの組合せは、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、訓練された機械学習モデルは出力モデル１３１６と呼ばれることがあり、本明細書で説明されるように、導入システム１３０６によって使用され得る。

【0121】

少なくとも１つの実施例では、導入システム１３０６は、ソフトウェア１３１８、サービス１３２０、ハードウェア１３２２、並びに／又は他の構成要素、特徴、及び機能性を含み得る。少なくとも１つの実施例では、導入システム１３０６は、ソフトウェア「スタック」を含み得、それにより、ソフトウェア１３１８は、サービス１３２０の上に築かれ得、サービス１３２０を使用して処理タスクのいくつか又はすべてを実施し得、サービス１３２０及びソフトウェア１３１８は、ハードウェア１３２２の上に築かれ、ハードウェア１３２２を使用して、導入システム１３０６の処理、ストレージ、及び／又は他のコンピュート・タスクを実行し得る。少なくとも１つの実施例では、ソフトウェア１３１８は、任意の数の異なるコンテナを含み得、各コンテナは、アプリケーションのインスタンス化を実行し得る。少なくとも１つの実施例では、各アプリケーションは、先進処理及び推論パイプライン中の１つ又は複数の処理タスク（たとえば、推論、物体検出、特徴検出、セグメント化、画像強調、キャリブレーションなど）を実施し得る。少なくとも１つの実施例では、先進処理及び推論パイプラインは、（たとえば、使用可能なデータ・タイプに出力をコンバートするために）パイプラインを通して処理した後に、各コンテナによる使用及び／又は施設１３０２による使用のための撮像データを受信及び構成するコンテナに加えて、撮像データ１３０８を処理するために所望されるか又は必要とされる異なるコンテナの選択に基づいて、定義され得る。少なくとも１つの実施例では、（たとえば、パイプラインを作り上げる）ソフトウェア１３１８内のコンテナの組合せは、（本明細書でより詳細に説明されるように）仮想機器と呼ばれることがあり、仮想機器は、サービス１３２０及びハードウェア１３２２を活用して、コンテナにおいてインスタンス化されたアプリケーションのいくつか又はすべての処理タスクを実行し得る。

【0122】

少なくとも１つの実施例では、データ処理パイプラインは、推論要求（たとえば、導入システム１３０６のユーザからの要求）に応答して、特定のフォーマットで入力データ（たとえば、撮像データ１３０８）を受信し得る。少なくとも１つの実施例では、入力データは、１つ又は複数の撮像デバイスによって生成される１つ又は複数の画像、ビデオ、及び／又は他のデータ表現を表し得る。少なくとも１つの実施例では、データは、１つ又は複数のアプリケーションによる処理のためにデータを準備するために、データ処理パイプラインの一部としての事前処理を受け得る。少なくとも１つの実施例では、次のアプリケーションのための出力データを準備するために、並びに／或いは、（たとえば、推論要求への応答としての）ユーザによる送信及び／又は使用のための出力データを準備するために、パイプラインの１つ又は複数の推論タスク又は他の処理タスクの出力に対して後処理が実施され得る。少なくとも１つの実施例では、推論タスクは、訓練システム１３０４の出力モデル１３１６を含み得る、訓練された又は導入されたニューラル・ネットワークなど、１つ又は複数の機械学習モデルによって実施され得る。

【0123】

少なくとも１つの実施例では、データ処理パイプラインのタスクは、（１つ又は複数の）コンテナ中にカプセル化され得、（１つ又は複数の）コンテナは、各々、アプリケーションの個別の完全に機能的なインスタンス化と、機械学習モデルを参照することが可能である仮想化コンピューティング環境とを表す。少なくとも１つの実施例では、コンテナ又はアプリケーションは、（本明細書でより詳細に説明される）コンテナ・レジストリのプライベート（たとえば、アクセスの制限された）エリアに公開され得、訓練された又は導入されたモデルは、モデル・レジストリ１３２４に記憶され、１つ又は複数のアプリケーションに関連付けられ得る。少なくとも１つの実施例では、アプリケーションの画像（たとえば、コンテナ画像）は、コンテナ・レジストリにおいて利用可能であり得、パイプラインにおける導入のためにユーザによってコンテナ・レジストリから選択されると、画像は、ユーザのシステムによる使用のためのアプリケーションのインスタンス化のためのコンテナを生成するために使用され得る。

【0124】

少なくとも１つの実施例では、開発者（たとえば、ソフトウェア開発者、臨床医、医師など）は、供給されたデータに対して画像処理及び／又は推論を実施するためのアプリケーションを（たとえばコンテナとして）開発、公開、及び記憶し得る。少なくとも１つの実施例では、開発、公開、及び／又は記憶は、（たとえば、開発されたアプリケーション及び／又はコンテナがシステムに準拠するか又はシステムと互換性があることを確実にするために）システムに関連付けられたソフトウェア開発キット（ＳＤＫ：ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｋｉｔ）を使用して実施され得る。少なくとも１つの実施例では、開発されたアプリケーションは、システム（たとえば、図１４のシステム１４００）としてサービス１３２０のうちの少なくともいくつかをサポートし得るＳＤＫを用いて、ローカルに（たとえば、第１の施設において、第１の施設からのデータに対して）テストされ得る。少なくとも１つの実施例では、ＤＩＣＯＭ物体は、１つから数百個の画像又は他のデータ・タイプをどこにでも含んでいることがあるので、及びデータの変動により、開発者は、入って来るデータの抽出及び準備を管理すること（たとえば、アプリケーションのための構築物を設定すること、事前処理をアプリケーションに組み込むことなど）について責任を負うことがある。少なくとも１つの実施例では、システム１４００によって（たとえば、正確さについて）検証されると、アプリケーションは、ユーザの施設（たとえば、第２の施設）におけるデータに対して１つ又は複数の処理タスクを実施するために、ユーザによる選択及び／又は実装のためにコンテナ・レジストリにおいて利用可能になり得る。

【0125】

少なくとも１つの実施例では、次いで、開発者は、アプリケーション又はコンテナを、システム（たとえば、図１４のシステム１４００）のユーザによるアクセス及び使用のためにネットワークを通して共有し得る。少なくとも１つの実施例では、完成した及び検証されたアプリケーション又はコンテナは、コンテナ・レジストリに記憶され得、関連する機械学習モデルは、モデル・レジストリ１３２４に記憶され得る。少なくとも１つの実施例では、推論又は画像処理要求を提供する要求元エンティティは、アプリケーション、コンテナ、データセット、機械学習モデルなどについてコンテナ・レジストリ及び／又はモデル・レジストリ１３２４をブラウズし、データ処理パイプライン中に含めるための要素の所望の組合せを選択し、撮像処理要求をサブミットし得る。少なくとも１つの実施例では、要求は、要求を実施するために必要である入力データ（及び、いくつかの実例では、関連する患者データ）を含み得、並びに／或いは、要求を処理する際に実行されるべき（１つ又は複数の）アプリケーション及び／又は機械学習モデルの選択を含み得る。少なくとも１つの実施例では、次いで、要求は、データ処理パイプラインの処理を実施するために導入システム１３０６（たとえば、クラウド）の１つ又は複数の構成要素に渡され得る。少なくとも１つの実施例では、導入システム１３０６による処理は、コンテナ・レジストリ及び／又はモデル・レジストリ１３２４からの選択された要素（たとえば、アプリケーション、コンテナ、モデルなど）を参照することを含み得る。少なくとも１つの実施例では、パイプラインによって結果が生成されると、結果は、参照のために（たとえば、ローカルの、構内のワークステーション又は端末上で実行している視聴アプリケーション・スイートにおいて視聴するために）ユーザに返され得る。

【0126】

少なくとも１つの実施例では、パイプラインにおけるアプリケーション又はコンテナの処理又は実行を補助するために、サービス１３２０が活用され得る。少なくとも１つの実施例では、サービス１３２０は、コンピュート・サービス、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）サービス、視覚化サービス、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、サービス１３２０は、ソフトウェア１３１８中の１つ又は複数のアプリケーションに共通である機能性を提供し得、したがって、機能性は、アプリケーションによってコール又は活用され得るサービスに対して抽象化され得る。少なくとも１つの実施例では、サービス１３２０によって提供される機能性は、動的に及びより効率的に稼働し得、また、（たとえば、並列コンピューティング・プラットフォーム１４３０（図１４）を使用して）アプリケーションが並列にデータを処理することを可能にすることによって、良好にスケーリングし得る。少なくとも１つの実施例では、サービス１３２０によって与えられる同じ機能性を共有する各アプリケーションが、サービス１３２０のそれぞれのインスタンスを有することを必要とされるのではなく、サービス１３２０は、様々なアプリケーション間で及びそれらの間で共有され得る。少なくとも１つの実施例では、サービスは、非限定的な実例として、検出又はセグメント化タスクを実行するために使用され得る推論サーバ又はエンジンを含み得る。少なくとも１つの実施例では、機械学習モデル訓練及び／又は再訓練能力を提供し得るモデル訓練サービスが含まれ得る。少なくとも１つの実施例では、ＧＰＵ加速データ（たとえば、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）抽出、リサイジング、スケーリング、及び／又は他の拡張を提供し得るデータ拡張サービスがさらに含まれ得る。少なくとも１つの実施例では、２次元（２Ｄ：ｔｗｏ－ｄｉｍｅｎｔｉｏｎａｌ）及び／又は３次元（３Ｄ）のモデルにリアル感を追加するために、レイ・トレーシング、ラスタ化、ノイズ除去、鮮鋭化などの画像レンダリング効果を追加し得る視覚化サービスが使用され得る。少なくとも１つの実施例では、仮想機器のパイプライン内の他のアプリケーションについてビーム形成、セグメント化、推論、撮像、及び／又はサポートを提供する仮想機器サービスが含まれ得る。

【0127】

少なくとも１つの実施例では、サービス１３２０がＡＩサービス（たとえば、推論サービス）を含む場合、１つ又は複数の機械学習モデルは、（１つ又は複数の）機械学習モデル、又はその処理を、アプリケーション実行の一部として実行するように推論サービス（たとえば、推論サーバ）を（たとえば、ＡＰＩコールとして）コールすることによって、実行され得る。少なくとも１つの実施例では、セグメント化タスクのための１つ又は複数の機械学習モデルを別のアプリケーションが含む場合、アプリケーションは、セグメント化タスクに関連付けられた処理動作のうちの１つ又は複数を実施するための機械学習モデルを実行するように、推論サービスをコールし得る。少なくとも１つの実施例では、セグメント化アプリケーションと異常検出アプリケーションとを含む先進処理及び推論パイプラインを実装するソフトウェア１３１８は、１つ又は複数の推論タスクを実施するために各アプリケーションが同じ推論サービスをコールし得るので、合理化され得る。

【0128】

少なくとも１つの実施例では、ハードウェア１３２２は、ＧＰＵ、ＣＰＵ、グラフィックス・カード、ＡＩ／深層学習システム（たとえば、ＮＶＩＤＩＡのＤＧＸなどのＡＩスーパーコンピュータ）、クラウド・プラットフォーム、又はそれらの組合せを含み得る。少なくとも１つの実施例では、異なるタイプのハードウェア１３２２が、導入システム１３０６中のソフトウェア１３１８及びサービス１３２０の効率的で専用のサポートを提供するために使用され得る。少なくとも１つの実施例では、画像処理及び生成の効率、正確さ、及び有効性を改善するために、ＡＩ／深層学習システム内、クラウド・システム中、及び／又は導入システム１３０６の他の処理構成要素中で、ローカルで（たとえば、施設１３０２において）処理するためのＧＰＵ処理の使用が実装され得る。少なくとも１つの実施例では、ソフトウェア１３１８及び／又はサービス１３２０は、非限定的な実例として、深層学習、機械学習、及び／又は高性能コンピューティングに関するＧＰＵ処理のために最適化され得る。少なくとも１つの実施例では、導入システム１３０６及び／又は訓練システム１３０４のコンピューティング環境の少なくとも一部は、データセンタの１つ又は複数のスーパーコンピュータ又は高性能コンピューティング・システムにおいて、ＧＰＵ最適化ソフトウェア（たとえば、ＮＶＩＤＩＡのＤＧＸシステムのハードウェアとソフトウェアとの組合せ）を用いて実行され得る。少なくとも１つの実施例では、ハードウェア１３２２は、任意の数のＧＰＵを含み得、それらのＧＰＵは、本明細書で説明されるように、データの並列処理を実施するためにコールされ得る。少なくとも１つの実施例では、クラウド・プラットフォームは、深層学習タスク、機械学習タスク、又は他のコンピューティング・タスクのＧＰＵ最適化実行のためのＧＰＵ処理をさらに含み得る。少なくとも１つの実施例では、クラウド・プラットフォーム（たとえば、ＮＶＩＤＩＡのＮＧＣ）は、（たとえば、ＮＶＩＤＩＡのＤＧＸシステム上で提供される）（１つ又は複数の）ＡＩ／深層学習スーパーコンピュータ及び／又はＧＰＵ最適化ソフトウェアを、ハードウェア抽象化及びスケーリング・プラットフォームとして使用して、実行され得る。少なくとも１つの実施例では、クラウド・プラットフォームは、シームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵに対するアプリケーション・コンテナ・クラスタリング・システム又はオーケストレーション・システム（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を統合し得る。

【0129】

図１４は、少なくとも１つの実施例による、撮像導入パイプラインを生成及び導入するための例示的なシステム１４００のためのシステム図である。少なくとも１つの実施例では、システム１４００は、図１３のプロセス１３００、並びに／又は先進処理及び推論パイプラインを含む他のプロセスを実装するために使用され得る。少なくとも１つの実施例では、システム１４００は、訓練システム１３０４と導入システム１３０６とを含み得る。少なくとも１つの実施例では、訓練システム１３０４及び導入システム１３０６は、本明細書で説明されるように、ソフトウェア１３１８、サービス１３２０、及び／又はハードウェア１３２２を使用して実装され得る。

【0130】

少なくとも１つの実施例では、システム１４００（たとえば、訓練システム１３０４及び／又は導入システム１３０６）は、（たとえば、クラウド１４２６を使用する）クラウド・コンピューティング環境において実装され得る。少なくとも１つの実施例では、システム１４００は、ヘルスケア・サービス施設に関してローカルに、又はクラウド・コンピューティング・リソースとローカル・コンピューティング・リソースの両方の組合せとして、実装され得る。少なくとも１つの実施例では、クラウド１４２６中のＡＰＩへのアクセスは、制定されたセキュリティ対策又はプロトコルを通して、許可されたユーザに限定され得る。少なくとも１つの実施例では、セキュリティ・プロトコルはウェブ・トークンを含み得、ウェブ・トークンは、認証（たとえば、ＡｕｔｈＮ、ＡｕｔｈＺ、Ｇｌｕｅｃｏｎなど）サービスによって署名され得、適切な許可を持ち得る。少なくとも１つの実施例では、（本明細書で説明される）仮想機器のＡＰＩ、又はシステム１４００の他のインスタンス化は、対話について検査又は許可されたパブリックＩＰのセットに限定され得る。

【0131】

少なくとも１つの実施例では、システム１４００の様々な構成要素は、ワイヤード及び／又はワイヤレス通信プロトコルを介して、限定はしないがローカル・エリア・ネットワーク（ＬＡＮ）及び／又はワイド・エリア・ネットワーク（ＷＡＮ）を含む様々な異なるネットワーク・タイプのいずれかを使用して、互いの間で通信し得る。少なくとも１つの実施例では、（たとえば、推論要求を送信するための、推論要求の結果を受信するためのなど）施設とシステム１４００の構成要素との間の通信は、（１つ又は複数の）データ・バス、ワイヤレス・データ・プロトコル（Ｗｉ－Ｆｉ）、ワイヤード・データ・プロトコル（たとえば、イーサネット）などを介して通信され得る。

【0132】

少なくとも１つの実施例では、訓練システム１３０４は、図１３に関して本明細書で説明されたものと同様の訓練パイプライン１４０４を実行し得る。少なくとも１つの実施例では、１つ又は複数の機械学習モデルが導入システム１３０６によって導入パイプライン１４１０において使用されるべきである場合、訓練パイプライン１４０４は、１つ又は複数の（たとえば、事前訓練された）モデルを訓練又は再訓練し、並びに／或いは、事前訓練されたモデル１４０６のうちの１つ又は複数を（たとえば、再訓練又は更新の必要なしに）実装するために、使用され得る。少なくとも１つの実施例では、訓練パイプライン１４０４の結果として、（１つ又は複数の）出力モデル１３１６が生成され得る。少なくとも１つの実施例では、訓練パイプライン１４０４は、限定はしないが、撮像データ（又は他の入力データ）コンバージョン又は適応など、任意の数の処理ステップを含み得る。少なくとも１つの実施例では、導入システム１３０６によって使用される異なる機械学習モデルについて、異なる訓練パイプライン１４０４が使用され得る。少なくとも１つの実施例では、図１３に関して説明された第１の実例と同様の訓練パイプライン１４０４は、第１の機械学習モデルのために使用され得、図１３に関して説明された第２の実例と同様の訓練パイプライン１４０４は、第２の機械学習モデルのために使用され得、図１３に関して説明された第３の実例と同様の訓練パイプライン１４０４は、第３の機械学習モデルのために使用され得る。少なくとも１つの実施例では、各それぞれの機械学習モデルについて何が必要とされるかに応じて、訓練システム１３０４内のタスクの任意の組合せが使用され得る。少なくとも１つの実施例では、機械学習モデルのうちの１つ又は複数は、すでに訓練され、導入の準備ができていることがあり、したがって、機械学習モデルは、訓練システム１３０４によるいかなる処理をも受けないことがあり、導入システム１３０６によって実装され得る。

【0133】

少なくとも１つの実施例では、（１つ又は複数の）出力モデル１３１６及び／又は（１つ又は複数の）事前訓練されたモデル１４０６は、実装形態又は実施例に応じて任意のタイプの機械学習モデルを含み得る。少なくとも１つの実施例では、及び限定はしないが、システム１４００によって使用される機械学習モデルは、線形回帰、ロジスティック回帰、判定ツリー、サポート・ベクター・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、単純ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、ｋ平均クラスタリング、ランダム・フォレスト、次元低減アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オート・エンコーダ、畳み込み、リカレント、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ホップフィールド、ボルツマン、深層信念、逆畳み込み、敵対的生成、液体状態機械など）を使用する（１つ又は複数の）機械学習モデル、及び／又は他のタイプの機械学習モデルを含み得る。

【0134】

少なくとも１つの実施例では、訓練パイプライン１４０４は、少なくとも図１５Ｂに関して本明細書でより詳細に説明されるように、ＡＩ支援アノテーションを含み得る。少なくとも１つの実施例では、ラベル付きデータ１３１２（たとえば、従来のアノテーション）は、任意の数の技法によって生成され得る。少なくとも１つの実施例では、ラベル又は他のアノテーションは、描画プログラム（たとえば、アノテーション・プログラム）、コンピュータ支援設計（ＣＡＤ：ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）プログラム、ラベル付けプログラム、グランド・トゥルースのためのアノテーション又はラベルを生成するのに好適な別のタイプのプログラム内で生成され得、及び／或いは、いくつかの実例では、手書きされ得る。少なくとも１つの実施例では、グランド・トゥルース・データは、合成的に作り出され（たとえば、コンピュータ・モデル又はレンダリングから生成され）、現実的に作り出され（たとえば、実世界のデータから設計され、作り出され）、（たとえば、データから特徴を抽出し、次いでラベルを生成するために、特徴分析及び学習を使用して）機械自動化され、人間によりアノテーション付けされ（たとえば、ラベラ、又はアノテーション専門家が、ラベルのロケーションを定義し）、及び／又はそれらの組合せであり得る。少なくとも１つの実施例では、撮像データ１３０８の各インスタンス（又は機械学習モデルによって使用される他のデータ・タイプ）について、訓練システム１３０４によって生成される対応するグランド・トゥルース・データがあり得る。少なくとも１つの実施例では、訓練パイプライン１４０４中に含まれるＡＩ支援アノテーションに加えて、又はその代わりにのいずれかで、導入パイプライン１４１０の一部としてＡＩ支援アノテーションが実施され得る。少なくとも１つの実施例では、システム１４００は多層プラットフォームを含み得、多層プラットフォームは、１つ又は複数の医療撮像及び診断機能を実施し得る診断アプリケーション（又は他のアプリケーション・タイプ）のソフトウェア層（たとえば、ソフトウェア１３１８）を含み得る。少なくとも１つの実施例では、システム１４００は、１つ又は複数の施設のＰＡＣＳサーバ・ネットワークに、（たとえば、暗号化リンクを介して）通信可能に結合され得る。少なくとも１つの実施例では、システム１４００は、機械学習モデルを訓練すること、機械学習モデルを導入すること、画像処理、推論、及び／又は他の動作などの動作を実施するために、ＰＡＣＳサーバからのデータにアクセスし、それを参照するように構成され得る。

【0135】

少なくとも１つの実施例では、ソフトウェア層は、セキュアな、暗号化された、及び／又は認証されたＡＰＩとして実装され得、このＡＰＩを通して、アプリケーション又はコンテナが、（１つ又は複数の）外部環境（たとえば、施設１３０２）から呼び出され（たとえば、コールされ）得る。少なくとも１つの実施例では、次いで、アプリケーションは、それぞれのアプリケーションに関連付けられたコンピュート、ＡＩ、又は視覚化タスクを実施するために１つ又は複数のサービス１３２０をコール又は実行し得、ソフトウェア１３１８及び／又はサービス１３２０は、ハードウェア１３２２を活用して、処理タスクを有効で効率的な様式で実施し得る。

【0136】

少なくとも１つの実施例では、導入システム１３０６は、導入パイプライン１４１０を実行し得る。少なくとも１つの実施例では、導入パイプライン１４１０は任意の数のアプリケーションを含み得、それらのアプリケーションは、上記で説明されたように、ＡＩ支援アノテーションを含む、撮像デバイス、シーケンシング・デバイス、ゲノミクス・デバイスなどによって生成された撮像データ（及び／又は他のデータ・タイプ）に連続的に、非連続的に、又は他のやり方で適用され得る。少なくとも１つの実施例では、本明細書で説明されるように、個々のデバイスのための導入パイプライン１４１０は、デバイスのための仮想機器（たとえば、仮想超音波機器、仮想ＣＴスキャン機器、仮想シーケンシング機器など）と呼ばれることがある。少なくとも１つの実施例では、デバイスによって生成されるデータから所望される情報に応じて、単一のデバイスについて、２つ以上の導入パイプライン１４１０があり得る。少なくとも１つの実施例では、異常の検出がＭＲＩマシンから所望される場合、第１の導入パイプライン１４１０があり得、画像強調がＭＲＩマシンの出力から所望される場合、第２の導入パイプライン１４１０があり得る。

【0137】

少なくとも１つの実施例では、画像生成アプリケーションは、機械学習モデルの使用を含む処理タスクを含み得る。少なくとも１つの実施例では、ユーザは、ユーザ自身の機械学習モデルを使用すること、又はモデル・レジストリ１３２４から機械学習モデルを選択することを所望し得る。少なくとも１つの実施例では、ユーザは、処理タスクを実施するために、ユーザ自身の機械学習モデルを実装するか、又はアプリケーション中に含めるための機械学習モデルを選択し得る。少なくとも１つの実施例では、アプリケーションは選択可能及びカスタマイズ可能であり得、アプリケーションの構築を定義することによって、特定のユーザのためのアプリケーションの導入及び実装が、よりシームレスなユーザ体験として提示される。少なくとも１つの実施例では、サービス１３２０及びハードウェア１３２２など、システム１４００の他の特徴を活用することによって、導入パイプライン１４１０は、なお一層ユーザ・フレンドリになり、より容易な統合を提供し、より正確で、効率的で、タイムリーな結果を作り出し得る。

【0138】

少なくとも１つの実施例では、導入システム１３０６はユーザ・インターフェース１４１４（たとえば、グラフィカル・ユーザ・インターフェース、ウェブ・インターフェースなど）を含み得、ユーザ・インターフェース１４１４は、（１つ又は複数の）導入パイプライン１４１０中に含めるためのアプリケーションを選択し、アプリケーションを配置し、アプリケーション又はそのパラメータ若しくは構築を修正又は変更し、セットアップ及び／又は導入中に（１つ又は複数の）導入パイプライン１４１０を使用し、それと対話し、並びに／或いは他のやり方で導入システム１３０６と対話するために使用され得る。少なくとも１つの実施例では、訓練システム１３０４に関して示されていないが、ユーザ・インターフェース１４１４（又は異なるユーザ・インターフェース）は、導入システム１３０６における使用のためのモデルを選択するために、訓練システム１３０４において訓練又は再訓練するためのモデルを選択するために、及び／或いは訓練システム１３０４と他のやり方で対話するために使用され得る。

【0139】

少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０のアプリケーション又はコンテナと、サービス１３２０及び／又はハードウェア１３２２との間で対話を管理するために、アプリケーション・オーケストレーション・システム１４２８に加えてパイプライン・マネージャ１４１２が使用され得る。少なくとも１つの実施例では、パイプライン・マネージャ１４１２は、アプリケーションからアプリケーションへの対話、アプリケーションからサービス１３２０への対話、及び／或いはアプリケーション又はサービスからハードウェア１３２２への対話を容易にするように構成され得る。少なくとも１つの実施例では、ソフトウェア１３１８中に含まれるように示されているが、これは限定を意図しておらず、（たとえば、図１２ｃｃに示されている）いくつかの実例では、パイプライン・マネージャ１４１２は、サービス１３２０中に含まれ得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８（たとえば、Ｋｕｂｅｒｎｅｔｅｓ、ＤＯＣＫＥＲなど）は、コンテナ・オーケストレーション・システムを含み得、コンテナ・オーケストレーション・システムは、アプリケーションを、協調、管理、スケーリング、及び導入のための論理ユニットとして、コンテナにグループ化し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０からのアプリケーション（たとえば、再構築アプリケーション、セグメント化アプリケーションなど）を個々のコンテナに関連付けることよって、各アプリケーションは、自己完結型環境（たとえば、カーネル・レベル）において実行して、スピード及び効率を向上させ得る。

【0140】

少なくとも１つの実施例では、各アプリケーション及び／又はコンテナ（又はその画像）は、個々に開発、修正、及び導入され得（たとえば、第１のユーザ又は開発者が、第１のアプリケーションを開発、修正、及び導入し得、第２のユーザ又は開発者が、第１のユーザ又は開発者とは別に第２のアプリケーションを開発、修正、及び導入し得）、これは、（１つ又は複数の）別のアプリケーション又は（１つ又は複数の）コンテナのタスクに邪魔されることなしに単一のアプリケーション及び／又は（１つ又は複数の）コンテナのタスクに集中し、注意を払うことを可能にする。少なくとも１つの実施例では、異なるコンテナ間又はアプリケーション間の通信、及び協調が、パイプライン・マネージャ１４１２及びアプリケーション・オーケストレーション・システム１４２８によって補助され得る。少なくとも１つの実施例では、各コンテナ又はアプリケーションの予想される入力及び／又は出力が、（たとえば、アプリケーション又はコンテナの構築に基づいて）システムによって知られている限り、アプリケーション・オーケストレーション・システム１４２８及び／又はパイプライン・マネージャ１４１２は、アプリケーション又はコンテナの各々の間の通信、及びそれらの間のリソースの共有を容易にし得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０中のアプリケーション又はコンテナのうちの１つ又は複数は、同じサービス及びリソースを共有し得るので、アプリケーション・オーケストレーション・システム１４２８は、様々なアプリケーション又はコンテナの間でサービス又はリソースをオーケストレートし、ロード・バランシングを行い、共有を決定し得る。少なくとも１つの実施例では、アプリケーション又はコンテナのリソース要件、これらのリソースの現在の使用量又は計画された使用量、及びリソースの利用可能性を追跡するために、スケジューラが使用され得る。少なくとも１つの実施例では、したがって、スケジューラは、異なるアプリケーションにリソースを割り振り、システムの要件及び利用可能性を考慮してアプリケーションの間でリソースを分散させ得る。いくつかの実例では、スケジューラ（及び／又はアプリケーション・オーケストレーション・システム１４２８の他の構成要素）は、サービス品質（ＱｏＳ：ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ）、（たとえば、リアルタイム処理を実行すべきか遅延処理を実行すべきかを決定するための）データ出力を必要とする緊急度など、システムに課される制約（たとえば、ユーザ制約）に基づいて、リソースの利用可能性及び分散を決定し得る。

【0141】

少なくとも１つの実施例では、導入システム１３０６中のアプリケーション又はコンテナによって活用及び共有されるサービス１３２０は、コンピュート・サービス１４１６、ＡＩサービス１４１８、視覚化サービス１４２０、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、アプリケーションは、サービス１３２０のうちの１つ又は複数をコール（たとえば、実行）して、アプリケーションのための処理動作を実施し得る。少なくとも１つの実施例では、コンピュート・サービス１４１６は、スーパーコンピューティング又は他の高性能コンピューティング（ＨＰＣ：ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｉｎｇ）タスクを実施するために、アプリケーションによって活用され得る。少なくとも１つの実施例では、アプリケーションのうちの１つ又は複数を通してデータを、及び／又は単一のアプリケーションの１つ又は複数のタスクを実質的に同時に処理するための（たとえば、並列コンピューティング・プラットフォーム１４３０を使用する）並列処理を実施するために、（１つ又は複数の）コンピュート・サービス１４１６が活用され得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）は、ＧＰＵ（たとえば、ＧＰＵ１４２２）上での汎用コンピューティング（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵｓ）を可能にし得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０のソフトウェア層は、コンピュート・カーネルの実行のために、仮想命令セット及びＧＰＵの並列算出要素へのアクセスを提供し得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０はメモリを含み得、いくつかの実施例では、メモリは、複数のコンテナの間で、及び／又は単一のコンテナ内の異なる処理タスクの間で共有され得る。少なくとも１つの実施例では、（たとえば、アプリケーションの複数の異なる段階又は複数のアプリケーションが同じ情報を処理している場合）並列コンピューティング・プラットフォーム１４３０のメモリの共有セグメントからの同じデータを使用するために、複数のコンテナについて及び／又はコンテナ内の複数のプロセスについて、プロセス間通信（ＩＰＣ：ｉｎｔｅｒ－ｐｒｏｃｅｓｓ ｃｏｍｍｕｎｉｃａｔｉｏｎ）コールが生成され得る。少なくとも１つの実施例では、データのコピーをとり、データをメモリ中の異なるロケーションに移動すること（たとえば、読取り／書込み動作）ではなく、メモリの同じロケーション中の同じデータが、任意の数の処理タスクのために（たとえば、同じ時間、異なる時間などに）使用され得る。少なくとも１つの実施例では、データが使用されて、処理の結果として新しいデータが生成されるとき、データの新しいロケーションのこの情報は、様々なアプリケーション間で記憶及び共有され得る。少なくとも１つの実施例では、データのロケーションと、更新された又は修正されたデータのロケーションとは、コンテナ内でペイロードがどのように理解されるかの定義の一部であり得る。

【0142】

少なくとも１つの実施例では、ＡＩサービス１４１８は、アプリケーションに関連付けられた（たとえば、アプリケーションの１つ又は複数の処理タスクを実施する役割を課された）（１つ又は複数の）機械学習モデルを実行するための推論サービスを実施するために活用され得る。少なくとも１つの実施例では、ＡＩサービス１４１８は、ＡＩシステム１４２４を活用して、セグメント化、再構築、物体検出、特徴検出、分類、及び／又は他の推論タスクのための（１つ又は複数の）機械学習モデル（たとえば、ＣＮＮなどのニューラル・ネットワーク）を実行し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０のアプリケーションは、訓練システム１３０４からの出力モデル１３１６及び／又はアプリケーションの他のモデルのうちの１つ又は複数を使用して、撮像データに関して推論を実施し得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８（たとえば、スケジューラ）を使用する推論の２つ又はそれ以上の実例が利用可能であり得る。少なくとも１つの実施例では、第１のカテゴリは、緊急時の至急の要求に関して推論を実施するための、又は診断時の放射線医のためのなど、より高いサービス・レベルの合意を達成し得る高優先度／低レイテンシ経路を含み得る。少なくとも１つの実施例では、第２のカテゴリは、至急でないことがある要求のために、又は分析が後で実施され得る場合に使用され得る標準優先度経路を含み得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８は、ＡＩサービス１４１８の異なる推論タスクのための優先度経路に基づいて、リソース（たとえば、サービス１３２０及び／又はハードウェア１３２２）を分散させ得る。

【0143】

少なくとも１つの実施例では、共有ストレージが、システム１４００内でＡＩサービス１４１８に取り付けられ得る。少なくとも１つの実施例では、共有ストレージは、キャッシュ（又は他のストレージ・デバイス・タイプ）として動作し得、アプリケーションからの推論要求を処理するために使用され得る。少なくとも１つの実施例では、推論要求がサブミットされたとき、要求は、導入システム１３０６のＡＰＩインスタンスのセットによって受信され得、要求を処理するために、１つ又は複数のインスタンスが（たとえば、最良な適合のために、ロード・バランシングのためになど）選択され得る。少なくとも１つの実施例では、要求を処理するために、要求がデータベースに入れられ得、機械学習モデルは、まだキャッシュにない場合、モデル・レジストリ１３２４から位置特定され得、検証ステップは、適切な機械学習モデルがキャッシュ（たとえば、共有ストレージ）にロードされ、及び／又はモデルのコピーがキャッシュに保存され得ることを確実にし得る。少なくとも１つの実施例では、アプリケーションがまだ稼働していない場合又はアプリケーションの十分なインスタンスがない場合、（たとえば、パイプライン・マネージャ１４１２の）スケジューラが、要求において参照されたアプリケーションを起動するために使用され得る。少なくとも１つの実施例では、モデルを実行するための推論サーバがまだ起動されていない場合、推論サーバが起動され得る。任意の数の推論サーバがモデルごとに起動され得る。少なくとも１つの実施例では、推論サーバがクラスタ化されたプル・モデルにおいて、ロード・バランシングが有利であるときはいつでもモデルがキャッシュされ得る。少なくとも１つの実施例では、推論サーバは、対応する分散型サーバに静的にロードされ得る。

【0144】

少なくとも１つの実施例では、推論は、コンテナ中で稼働する推論サーバを使用して実施され得る。少なくとも１つの実施例では、推論サーバのインスタンスは、モデル（随意に、モデルの複数のバージョン）に関連付けられ得る。少なくとも１つの実施例では、モデルに対して推論を実施するための要求が受信されたとき、推論サーバのインスタンスが存在しない場合、新しいインスタンスがロードされ得る。少なくとも１つの実施例では、推論サーバを開始するとき、モデルが推論サーバに渡され得、それにより、推論サーバが異なるインスタンスとして稼働している限り、異なるモデルにサービスするために同じコンテナが使用され得る。

【0145】

少なくとも１つの実施例では、アプリケーション実行中、所与のアプリケーションについての推論要求が受信され得、（たとえば、推論サーバのインスタンスをホストする）コンテナが（まだロードされていない場合）ロードされ得、開始プロシージャがコールされ得る。少なくとも１つの実施例では、コンテナ中の前処理論理が、（たとえば、（１つ又は複数の）ＣＰＵ及び／又は（１つ又は複数の）ＧＰＵを使用して）入って来るデータに対する任意の追加の前処理をロード、復号、及び／又は実施し得る。少なくとも１つの実施例では、推論のためにデータが準備されると、コンテナは、必要に応じてデータに関して推論を実施し得る。少なくとも１つの実施例では、これは、１つの画像（たとえば、手のＸ線）に対する単一の推論コールを含み得るか、又は何百もの画像（たとえば、胸のＣＴ）に関する推論を必要とし得る。少なくとも１つの実施例では、アプリケーションは、完了する前に結果を要約し得、これは、限定はしないが、単一の信頼性スコア、ピクセル・レベル・セグメント化、ボクセル・レベル・セグメント化、視覚化を生成すること、又は所見を要約するためにテキストを生成することを含み得る。少なくとも１つの実施例では、異なるモデル又はアプリケーションは、異なる優先度を割り当てられ得る。たとえば、リアルタイム（ＴＡＴ＜１分）の優先度を有するモデルもあれば、低優先度（たとえば、ＴＡＴ＜１０分）を有するモデルもある。少なくとも１つの実施例では、モデル実行時間は、要求元の機関又はエンティティから測定され得、パートナー・ネットワーク・トラバーサル時間、並びに推論サービスに対する実行を含み得る。

【0146】

少なくとも１つの実施例では、サービス１３２０と推論アプリケーションとの間での要求の転送は、ソフトウェア開発キット（ＳＤＫ）の後ろに隠され得、キューを通してロバストなトランスポートが提供され得る。少なくとも１つの実施例では、個々のアプリケーション／テナントＩＤの組合せについて、要求がＡＰＩを介してキューに入れられ、ＳＤＫは、キューから要求を引き出し、要求をアプリケーションに与える。少なくとも１つの実施例では、ＳＤＫが要求をピックアップする環境において、キューの名称が提供され得る。少なくとも１つの実施例では、キューを通した非同期通信は、その通信が、ワークが利用可能になったときに、アプリケーションの任意のインスタンスがそのワークをピックアップすることを可能にし得るので、有用であり得る。結果は、データが失われないことを確実にするために、キューを通して返送され得る。少なくとも１つの実施例では、最高優先度のワークは、アプリケーションのほとんどのインスタンスがキューに接続された、キューに進み得、一方で、最低優先度のワークは、単一のインスタンスがキューに接続された、受信された順番にタスクを処理するキューに進み得るので、キューは、ワークをセグメント化するアビリティをも提供し得る。少なくとも１つの実施例では、アプリケーションは、クラウド１４２６において生成されたＧＰＵ加速インスタンス上で稼働し得、推論サービスは、ＧＰＵ上で推論を実施し得る。

【0147】

少なくとも１つの実施例では、視覚化サービス１４２０が、アプリケーション及び／又は（１つ又は複数の）導入パイプライン１４１０の出力を見るための視覚化を生成するために活用され得る。少なくとも１つの実施例では、視覚化を生成するために視覚化サービス１４２０によってＧＰＵ１４２２が活用され得る。少なくとも１つの実施例では、レイ・トレーシングなどのレンダリング効果が、より高品質の視覚化を生成するために視覚化サービス１４２０によって実装され得る。少なくとも１つの実施例では、視覚化は、限定はしないが、２Ｄ画像レンダリング、３Ｄボリューム・レンダリング、３Ｄボリューム再構築、２Ｄトモグラフィ・スライス、仮想現実表示、拡張現実表示などを含み得る。少なくとも１つの実施例では、仮想化された環境が、システムのユーザ（たとえば、医師、看護師、放射線医など）による対話のための仮想インタラクティブ表示又は環境（たとえば、仮想環境）を生成するために使用され得る。少なくとも１つの実施例では、視覚化サービス１４２０は、内部ビジュアライザ、シネマティクス、及び／或いは他のレンダリング又は画像処理能力又は機能性（たとえば、レイ・トレーシング、ラスタ化、内部光学など）を含み得る。

【0148】

少なくとも１つの実施例では、ハードウェア１３２２は、ＧＰＵ１４２２、ＡＩシステム１４２４、クラウド１４２６、並びに／或いは訓練システム１３０４及び／又は導入システム１３０６を実行するために使用される任意の他のハードウェアを含み得る。少なくとも１つの実施例では、ＧＰＵ１４２２（たとえば、ＮＶＩＤＩＡのＴＥＳＬＡ及び／又はＱＵＡＤＲＯ ＧＰＵ）は、任意の数のＧＰＵを含み得、任意の数のＧＰＵは、コンピュート・サービス１４１６、ＡＩサービス１４１８、視覚化サービス１４２０、他のサービス、及び／或いはソフトウェア１３１８の特徴又は機能性のいずれかの処理タスクを実行するために使用され得る。たとえば、ＡＩサービス１４１８に関して、ＧＰＵ１４２２が、撮像データ（又は機械学習モデルによって使用される他のデータ・タイプ）に対する前処理、機械学習モデルの出力に対する後処理を実施するために、及び／又は推論を実施するために（たとえば、機械学習モデルを実行するために）使用され得る。少なくとも１つの実施例では、クラウド１４２６、ＡＩシステム１４２４、及び／又はシステム１４００の他の構成要素は、ＧＰＵ１４２２を使用し得る。少なくとも１つの実施例では、クラウド１４２６は、深層学習タスクのためのＧＰＵ最適化プラットフォームを含み得る。少なくとも１つの実施例では、ＡＩシステム１４２４は、ＧＰＵを使用し得、クラウド１４２６、或いは深層学習又は推論の役割を課された少なくとも一部分は、１つ又は複数のＡＩシステム１４２４を使用して実行され得る。したがって、ハードウェア１３２２は個別構成要素として示されているが、これは、限定を意図しておらず、ハードウェア１３２２の任意の構成要素が、ハードウェア１３２２の任意の他の構成要素と組み合わせられ、それらによって活用され得る。

【0149】

少なくとも１つの実施例では、ＡＩシステム１４２４は、推論、深層学習、機械学習、及び／又は他の人工知能タスクのために構成された専用のコンピューティング・システム（たとえば、スーパーコンピュータ又はＨＰＣ）を含み得る。少なくとも１つの実施例では、ＡＩシステム１４２４（たとえば、ＮＶＩＤＩＡのＤＧＸ）は、ＧＰＵ最適化ソフトウェア（たとえば、ソフトウェア・スタック）を含み得、ＧＰＵ最適化ソフトウェアは、ＣＰＵ、ＲＡＭ、ストレージ、及び／又は他の構成要素、特徴、又は機能性に加えて、複数のＧＰＵ１４２２を使用して実行され得る。少なくとも１つの実施例では、１つ又は複数のＡＩシステム１４２４は、システム１４００のＡＩベースの処理タスクのいくつか又はすべてを実施するために、（たとえば、データ・センタにおいて）クラウド１４２６において実装され得る。

【0150】

少なくとも１つの実施例では、クラウド１４２６は、ＧＰＵ加速インフラストラクチャ（たとえば、ＮＶＩＤＩＡのＮＧＣ）を含み得、ＧＰＵ加速インフラストラクチャは、システム１４００の処理タスクを実行するためのＧＰＵ最適化プラットフォームを提供し得る。少なくとも１つの実施例では、クラウド１４２６は、システム１４００のＡＩベースのタスクのうちの１つ又は複数を実施するための（１つ又は複数の）ＡＩシステム１４２４を（たとえば、ハードウェア抽象化及びスケーリング・プラットフォームとして）含み得る。少なくとも１つの実施例では、クラウド１４２６は、アプリケーションとサービス１３２０との間でシームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵを活用してアプリケーション・オーケストレーション・システム１４２８と統合し得る。少なくとも１つの実施例では、クラウド１４２６は、本明細書で説明されるように、コンピュート・サービス１４１６、ＡＩサービス１４１８、及び／又は視覚化サービス１４２０を含む、システム１４００のサービス１３２０の少なくともいくつかを実行する役割を課され得る。少なくとも１つの実施例では、クラウド１４２６は、大小のバッチ推論（たとえば、ＮＶＩＤＩＡのＴＥＮＳＯＲ ＲＴを実行すること）を実施し、加速並列コンピューティングＡＰＩ及びプラットフォーム１４３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を提供し、アプリケーション・オーケストレーション・システム１４２８（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を実行し、（たとえば、より高品質のシネマティクスを作り出すためのレイ・トレーシング、２Ｄグラフィックス、３Ｄグラフィックス、及び／又は他のレンダリング技法のための）グラフィックス・レンダリングＡＰＩ及びプラットフォームを提供し得、及び／又はシステム１４００のための他の機能性を提供し得る。

【0151】

図１５Ａは、少なくとも１つの実施例による、機械学習モデルを訓練、再訓練、又は更新するためのプロセス１５００のためのデータ・フロー図を示す。少なくとも１つの実施例では、プロセス１５００は、図１４のシステム１４００を非限定的な実例として使用して、実行され得る。少なくとも１つの実施例では、プロセス１５００は、本明細書で説明されるように、システム１４００のサービス１３２０及び／又はハードウェア１３２２を活用し得る。少なくとも１つの実施例では、プロセス１５００によって生成される改良されたモデル１５１２は、導入パイプライン１４１０中の１つ又は複数のコンテナ化アプリケーションのために、導入システム１３０６によって実行され得る。

【0152】

少なくとも１つの実施例では、モデル訓練１３１４は、新しい訓練データ（たとえば、顧客データセット１５０６、及び／又は入力データに関連付けられた新しいグランド・トゥルース・データなどの新しい入力データ）を使用して、初期モデル１５０４（たとえば、事前訓練されたモデル）を再訓練又は更新することを含み得る。少なくとも１つの実施例では、初期モデル１５０４を再訓練又は更新するために、初期モデル１５０４の（１つ又は複数の）出力又は損失層がリセット又は削除され得、及び／或いは、（１つ又は複数の）更新された又は新しい出力又は損失層と置き換えられ得る。少なくとも１つの実施例では、初期モデル１５０４は、前に微調整された、前の訓練から残っているパラメータ（たとえば、重み及び／又はバイアス）を有し得、したがって、訓練又は再訓練１３１４は、最初からモデルを訓練するほど長い時間がかからないか、又は多くの処理を必要としないことがある。少なくとも１つの実施例では、モデル訓練１３１４中に、初期モデル１５０４の（１つ又は複数の）リセットされた又は置き換えられた出力又は損失層を有することによって、パラメータは、新しい顧客データセット１５０６（たとえば、図１３の画像データ１３０８）に関して予測を生成する際の（１つ又は複数の）出力又は損失層の正確さに関連付けられた損失計算に基づいて、新しいデータ・セットのために更新又は再調整され得る。

【0153】

少なくとも１つの実施例では、事前訓練されたモデル１４０６は、データ・ストア又はレジストリ（たとえば、図１３のモデル・レジストリ１３２４）に記憶され得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、少なくとも部分的に、プロセス１５００を実行する施設以外の１つ又は複数の施設において訓練されていることがある。少なくとも１つの実施例では、異なる施設の患者、対象者、又は顧客のプライバシー及び権利を保護するために、事前訓練されたモデル１４０６は、構内で生成された顧客又は患者データを使用して、構内で訓練されていることがある。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、クラウド１４２６及び／又は他のハードウェア１３２２を使用して訓練され得るが、プライバシー保護された機密の患者データは、クラウド１４２６（又は他の構外のハードウェア）の任意の構成要素に転送されないか、それらの構成要素によって使用されないか、又はそれらの構成要素にとってアクセス不可能であり得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６が２つ以上の施設からの患者データを使用して訓練される場合、事前訓練されたモデル１４０６は、各施設について個々に訓練されてから、別の施設からの患者又は顧客データに関して訓練され得る。少なくとも１つの実施例では、顧客又は患者データが（たとえば、権利放棄によって、実験での使用のために、など）プライバシー問題から解放された場合、或いは、顧客又は患者データがパブリック・データ・セット中に含まれる場合など、任意の数の施設からの顧客又は患者データが、データセンタ又は他のクラウド・コンピューティング・インフラストラクチャなど、構内及び／又は構外で事前訓練されたモデル１４０６を訓練するために使用され得る。

【0154】

少なくとも１つの実施例では、導入パイプライン１４１０における使用のためのアプリケーションを選択するとき、ユーザは、特定のアプリケーションのために使用されるべき機械学習モデルをも選択し得る。少なくとも１つの実施例では、ユーザは、使用のためのモデルを有しないことがあり、したがって、ユーザは、アプリケーションとともに使用するために事前訓練されたモデル１４０６を選択し得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、（たとえば、患者の多様性、人口統計、使用される医療撮像デバイスのタイプなどに基づいて）ユーザの施設の顧客データセット１５０６に関して正確な結果を生成するために最適化されないことがある。少なくとも１つの実施例では、事前訓練されたモデル１４０６を、（１つ又は複数の）アプリケーションとともに使用するために導入パイプライン１４１０に導入する前に、事前訓練されたモデル１４０６は、それぞれの施設において使用するために更新、再訓練、及び／又は微調整され得る。

【0155】

少なくとも１つの実施例では、ユーザは、更新、再訓練、及び／又は微調整されるべきである事前訓練されたモデル１４０６を選択し得、事前訓練されたモデル１４０６は、プロセス１５００内の訓練システム１３０４のための初期モデル１５０４と呼ばれることがある。少なくとも１つの実施例では、顧客データセット１５０６（たとえば、施設におけるデバイスによって生成された撮像データ、ゲノミクス・データ、シーケンシング・データ、又は他のデータ・タイプ）が、初期モデル１５０４に関して（限定はしないが、転移学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）を含み得る）モデル訓練１３１４を実施して、改良されたモデル１５１２を生成するために、使用され得る。少なくとも１つの実施例では、顧客データセット１５０６に対応するグランド・トゥルース・データが、訓練システム１３０４によって生成され得る。少なくとも１つの実施例では、グランド・トゥルース・データは、（たとえば、図１３のラベル付きクリニック・データ１３１２として）施設において臨床医、科学者、医師、開業医によって、少なくとも部分的に生成され得る。

【0156】

少なくとも１つの実施例では、グランド・トゥルース・データを生成するために、ＡＩ支援アノテーション１３１０がいくつかの実例において使用され得る。少なくとも１つの実施例では、（たとえば、ＡＩ支援アノテーションＳＤＫを使用して実装された）ＡＩ支援アノテーション１３１０は、機械学習モデル（たとえば、ニューラル・ネットワーク）を活用して、顧客データセットについて示唆又は予測されるグランド・トゥルース・データを生成し得る。少なくとも１つの実施例では、ユーザ１５１０は、コンピューティング・デバイス１５０８上のユーザ・インターフェース（グラフィカル・ユーザ・インターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ））内でアノテーション・ツールを使用し得る。

【0157】

少なくとも１つの実施例では、ユーザ１５１０は、コンピューティング・デバイス１５０８を介してＧＵＩと対話して、（自動）アノテーションを編集又は微調整し得る。少なくとも１つの実施例では、ポリゴン編集特徴が、ポリゴンの頂点をより正確なロケーション又は微調整されたロケーションに移動するために使用され得る。

【0158】

少なくとも１つの実施例では、顧客データセット１５０６が、関連するグランド・トゥルース・データを有すると、（たとえば、ＡＩ支援アノテーション、手動ラベル付けなどからの）グランド・トゥルース・データが、改良されたモデル１５１２を生成するために、モデル訓練１３１４中によって使用され得る。少なくとも１つの実施例では、顧客データセット１５０６は、初期モデル１５０４に任意の回数適用され得、グランド・トゥルース・データは、改良されたモデル１５１２について、許容可能なレベルの正確さが達成されるまで、初期モデル１５０４のパラメータを更新するために使用され得る。少なくとも１つの実施例では、改良されたモデル１５１２が生成されると、改良されたモデル１５１２は、医療撮像データに対して１つ又は複数の処理タスクを実施するために、施設において１つ又は複数の導入パイプライン１４１０内で導入され得る。

【0159】

少なくとも１つの実施例では、改良されたモデル１５１２は、別の施設によって選択されるべきモデル・レジストリ１３２４において事前訓練されたモデル１４０６にアップロードされ得る。少なくとも１つの実施例では、彼のプロセスは任意の数の施設において完了され得、それにより、改良されたモデル１５１２は、より普遍的なモデルを生成するように新しいデータセットに関して任意の回数さらに改良され得る。

【0160】

図１５Ｂは、少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャ１５３２の例示的な図である。少なくとも１つの実施例では、ＡＩ支援アノテーション・ツール１５３６は、クライアントサーバ・アーキテクチャ１５３２に基づいてインスタンス化され得る。少なくとも１つの実施例では、撮像アプリケーション中のアノテーション・ツール１５３６は、放射線医が、たとえば、器官及び異常を識別するのを補助し得る。少なくとも１つの実施例では、撮像アプリケーションは、非限定的な実例として、（たとえば、３Ｄ ＭＲＩ又はＣＴスキャンにおける）生画像１５３４において、関心のある特定の器官上の数個の極値点をユーザ１５１０が識別するのを助け、特定の器官のすべての２Ｄスライスについて自動アノテーション付けされた結果を受信する、ソフトウェア・ツールを含み得る。少なくとも１つの実施例では、結果は、訓練データ１５３８としてデータ・ストアに記憶され、（たとえば、限定はしないが）訓練のためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、コンピューティング・デバイス１５０８が、ＡＩ支援アノテーション１３１０のために極値点を送出するとき、たとえば、深層学習モデルがこのデータを入力として受信し、セグメント化された器官又は異常の推論結果を返し得る。少なくとも１つの実施例では、図１５Ｂ中のＡＩ支援アノテーション・ツール１５３６Ｂなどの事前インスタンス化されたアノテーション・ツールは、たとえばアノテーション・モデル・レジストリに記憶された、事前訓練されたモデル１５４２のセットを含み得るアノテーション支援サーバ１５４０などのサーバに、ＡＰＩコール（たとえば、ＡＰＩコール１５４４）を行うことによって、拡張され得る。少なくとも１つの実施例では、アノテーション・モデル・レジストリは、特定の器官又は異常に対してＡＩ支援アノテーションを実施するように事前訓練された、事前訓練されたモデル１５４２（たとえば、深層学習モデルなどの機械学習モデル）を記憶し得る。これらのモデルは、訓練パイプライン１４０４を使用することによって、さらに更新され得る。少なくとも１つの実施例では、事前インストールされたアノテーション・ツールは、新しいラベル付きクリニック・データ１３１２が追加されるにつれて、経時的に改善され得る。

【0161】

そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。

【0162】

自動技術
図１６Ａは、少なくとも１つの実施例による、図１６Ａの自律車両１６００のための例示的なシステム・アーキテクチャを示すブロック図である。少なくとも１つの実施例では、図１６Ａ中の車両１６００の構成要素、特徴、及びシステムの各々は、バス１６０２を介して接続されるものとして示されている。少なくとも１つの実施例では、バス１６０２は、限定はしないが、ＣＡＮデータ・インターフェース（代替的に、本明細書では「ＣＡＮバス」と呼ばれる）を含み得る。少なくとも１つの実施例では、ＣＡＮバスは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両１６００の様々な特徴及び機能性の制御を補助するために使用される、車両１６００内部のネットワークであり得る。少なくとも１つの実施例では、バス１６０２は、各々がそれ自体の一意の識別子（たとえば、ＣＡＮ ＩＤ）をもつ数十又はさらには数百のノードを有するように構成され得る。少なくとも１つの実施例では、バス１６０２は、ハンドル角度、対地スピード、エンジンの毎分回転数（「ＲＰＭ」：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両ステータス・インジケータを見いだすために読み取られ得る。少なくとも１つの実施例では、バス１６０２は、ＡＳＩＬ Ｂに準拠したＣＡＮバスであり得る。

【0163】

少なくとも１つの実施例では、ＣＡＮに加えて、又はその代替として、ＦｌｅｘＲａｙ及び／又はイーサネットが使用され得る。少なくとも１つの実施例では、任意の数のバス１６０２があり得、これらのバスは、限定はしないが、０個以上のＣＡＮバス、０個以上のＦｌｅｘＲａｙバス、０個以上のイーサネット・バス、及び／又は、異なるプロトコルを使用する０個以上の他のタイプのバスを含み得る。少なくとも１つの実施例では、２つ又はそれ以上のバス１６０２が、異なる機能を実施するために使用され得、及び／又は、冗長性のために使用され得る。たとえば、第１のバス１６０２が衝突回避機能性のために使用され得、第２のバス１６０２が作動制御のために使用され得る。少なくとも１つの実施例では、各バス１６０２は、車両１６００の構成要素のいずれかと通信し得、２つ又はそれ以上のバス１６０２が、同じ構成要素と通信し得る。少なくとも１つの実施例では、任意の数のシステム・オン・チップ（「ＳｏＣ」）１６０４の各々、（１つ又は複数の）コントローラ１６３６の各々、及び／又は車両内の各コンピュータは、同じ入力データ（たとえば、車両１６００のセンサからの入力）へのアクセスを有し得、共通のバス、そのようなＣＡＮバスに接続され得る。

【0164】

少なくとも１つの実施例では、車両１６００は、図１Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ１６３６を含み得る。（１つ又は複数の）コントローラ１６３６は、様々な機能のために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ１６３６は、車両１６００の様々な他の構成要素及びシステムのいずれかに結合され得、車両１６００、車両１６００の人工知能、車両１６００のためのインフォテイメントなどの制御のために使用され得る。

【0165】

少なくとも１つの実施例では、車両１６００は、任意の数のＳｏＣ１６０４を含み得る。ＳｏＣ１６０４の各々は、限定はしないが、中央処理ユニット（「ＣＰＵ」）１６０６、グラフィックス処理ユニット（「ＧＰＵ」）１６０８、（１つ又は複数の）プロセッサ１６１０、（１つ又は複数の）キャッシュ１６１２、（１つ又は複数の）アクセラレータ１６１４、（１つ又は複数の）データ・ストア１６１６、並びに／又は示されていない他の構成要素及び特徴を含み得る。少なくとも１つの実施例では、車両１６００を様々なプラットフォーム及びシステムにおいて制御するために、（１つ又は複数の）ＳｏＣ１６０４が使用され得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、１つ又は複数のサーバ（図１６Ａに図示せず）からネットワーク・インターフェース１６２４を介してマップのリフレッシュ及び／又は更新を取得し得る高精細度（「ＨＤ」）マップ１６２２をもつシステム（たとえば、車両１６００のシステム）において組み合わせられ得る。

【0166】

少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、ＣＰＵクラスタ又はＣＰＵコンプレックス（代替的に、本明細書では「ＣＣＰＬＥＸ」と呼ばれる）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、複数のコア及び／又はレベル２（「Ｌ２」）キャッシュを含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、コヒーレントなマルチプロセッサ構成において８つのコアを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、４つのデュアル・コア・クラスタを含み得、各クラスタは、専用Ｌ２キャッシュ（たとえば、２ＭＢのＬ２キャッシュ）を有する。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６（たとえば、ＣＣＰＬＥＸ）は、（１つ又は複数の）ＣＰＵ１６０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時のクラスタ動作をサポートするように構成され得る。

【0167】

少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６のうちの１つ又は複数は、電力管理能力を実装し得、電力管理能力は、限定はしないが、以下の特徴のうちの１つ又は複数を含む：個々のハードウェア・ブロックが、動的電力を節約するために、アイドル時に自動的にクロック・ゲート制御され得る；各コア・クロックは、割込み待ち（「ＷＦＩ」：Ｗａｉｔ ｆｏｒ Ｉｎｔｅｒｒｕｐｔ）／イベント待ち（「ＷＦＥ」：Ｗａｉｔ ｆｏｒ Ｅｖｅｎｔ）命令の実行によりコアが能動的に命令を実行していないとき、ゲート制御され得る；各コアが独立して電力ゲート制御され得る；各コア・クラスタは、すべてのコアがクロック・ゲート制御又は電力ゲート制御されるとき、独立してクロック・ゲート制御され得る；及び／或いは、各コア・クラスタは、すべてのコアが電力ゲート制御されるとき、独立して電力ゲート制御され得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、電力状態を管理するための拡張アルゴリズムをさらに実装し得、許容された電力状態及び予想されるウェイクアップ時間が指定され、コア、クラスタ、及びＣＣＰＬＥＸのための入るべき最良の電力状態を、ハードウェア／マイクロコードが決定する。少なくとも１つの実施例では、処理コアは、ワークがマイクロコードにオフロードされたソフトウェアにおける簡単な電力状態エントリ・シーケンスをサポートし得る。

【0168】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、統合されたＧＰＵ（代替的に、本明細書では「ｉＧＰＵ」と呼ばれる）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、プログラマブルであり得、並列なワークロードについて効率的であり得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、少なくとも１つの実施例では、拡張テンソル命令セットを使用し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、各ストリーミング・マイクロプロセッサは、レベル１（「Ｌ１」）キャッシュ（たとえば、少なくとも９６ＫＢのストレージ容量をもつＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２つ又はそれ以上は、Ｌ２キャッシュ（たとえば、５１２ＫＢのストレージ容量をもつＬ２キャッシュ）を共有し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、少なくとも８つのストリーミング・マイクロプロセッサを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、（１つ又は複数の）コンピュート・アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、１つ又は複数の並列なコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用し得る。

【0169】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８のうちの１つ又は複数は、自動車の及び組み込まれた使用事例における最良の性能のために電力最適化され得る。たとえば、１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、フィン電界効果トランジスタ（「ＦｉｎＦＥＴ」：Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上で作製され得る。少なくとも１つの実施例では、各ストリーミング・マイクロプロセッサは、複数のブロックに区分けされたいくつかの混合精度処理コアを組み込み得る。たとえば、限定はしないが、６４個のＰＦ３２コアと、３２個のＰＦ６４コアとは、４つの処理ブロックに区分けされ得る。少なくとも１つの実施例では、各処理ブロックは、１６個のＦＰ３２コア、８個のＦＰ６４コア、１６個のＩＮＴ３２コア、深層学習行列算術のための２つの混合精度ＮＶＩＤＩＡ ＴＥＮＳＯＲ ＣＯＲＥ、レベル０（「Ｌ０」）命令キャッシュ、ワープ・スケジューラ、ディスパッチ・ユニット、及び／又は６４ＫＢのレジスタ・ファイルを割り振られ得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、算出とアドレッシング計算との混合によるワークロードの効率的な実行を行うために、独立した並列の整数及び浮動小数点データ経路を含み得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、並列スレッド間でよりきめ細かい同期及び協調を可能にするために、独立したスレッド・スケジューリング能力を含み得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、性能を改善すると同時にプログラミングを簡単にするために、組み合わせられたＬ１データ・キャッシュ及び共有メモリ・ユニットを含み得る。

【0170】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８のうちの１つ又は複数は、いくつかの実例では、約９００ＧＢ／秒のピーク・メモリ帯域幅を提供するために、高帯域幅メモリ（「ＨＢＭ」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢのＨＢＭ２メモリ・サブシステムを含み得る。少なくとも１つの実施例では、ＨＢＭメモリに加えて、又はその代替として、グラフィックス・ダブル・データ・レート・タイプ・ファイブ同期ランダム・アクセス・メモリ（「ＧＤＤＲ５」：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ）など、同期グラフィックス・ランダム・アクセス・メモリ（「ＳＧＲＡＭ」：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。

【0171】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、統一メモリ技術を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８が（１つ又は複数の）ＣＰＵ１６０６のページ・テーブルに直接アクセスすることを可能にするために、アドレス・トランスレーション・サービス（「ＡＴＳ」：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８のメモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスに遭遇したとき、アドレス・トランスレーション要求が（１つ又は複数の）ＣＰＵ１６０６に送信され得る。少なくとも１つの実施例では、それに応答して、（１つ又は複数の）ＣＰＵ１６０６は、それのページ・テーブルにおいて、アドレスのための仮想－物理マッピングを探し得、トランスレーションを（１つ又は複数の）ＧＰＵ１６０８に返送する。少なくとも１つの実施例では、統一メモリ技術は、（１つ又は複数の）ＣＰＵ１６０６と（１つ又は複数の）ＧＰＵ１６０８の両方のメモリについて単一の統一仮想アドレス空間を可能にし、それにより、（１つ又は複数の）ＧＰＵ１６０８のプログラミングと、（１つ又は複数の）ＧＰＵ１６０８へのアプリケーションの移植とを簡単にし得る。

【0172】

少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、他のプロセッサのメモリへの（１つ又は複数の）ＧＰＵ１６０８のアクセスの頻度を追跡し得る任意の数のアクセス・カウンタを含み得る。少なくとも１つの実施例では、（１つ又は複数の）アクセス・カウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリにメモリ・ページが移動されることを確実にするのを助け、それにより、プロセッサ間で共有されるメモリ範囲の効率を改善し得る。

【0173】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、本明細書で説明されるものを含む、任意の数のキャッシュ１６１２を含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）キャッシュ１６１２は、（１つ又は複数の）ＣＰＵ１６０６と（１つ又は複数の）ＧＰＵ１６０８の両方にとって利用可能である（たとえば、（１つ又は複数の）ＣＰＵ１６０６と（１つ又は複数の）ＧＰＵ１６０８の両方に接続された）レベル３（「Ｌ３」）キャッシュを含むことができる。少なくとも１つの実施例では、（１つ又は複数の）キャッシュ１６１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、ラインの状態を追跡し得るライト・バック・キャッシュを含み得る。少なくとも１つの実施例では、Ｌ３キャッシュは、実施例に応じて、４ＭＢ以上を含み得るが、より小さいキャッシュ・サイズが使用され得る。

【0174】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、１つ又は複数のアクセラレータ１６１４（たとえば、ハードウェア・アクセラレータ、ソフトウェア・アクセラレータ、又はこれらの組合せ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、最適化されたハードウェア・アクセラレータ及び／又は大型のオンチップ・メモリを含み得るハードウェア加速クラスタを含み得る。少なくとも１つの実施例では、大型のオンチップ・メモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタが、ニューラル・ネットワーク及び他の計算を加速することを可能にし得る。少なくとも１つの実施例では、ハードウェア加速クラスタは、（１つ又は複数の）ＧＰＵ１６０８を補完し、（１つ又は複数の）ＧＰＵ１６０８のタスクのうちのいくつかをオフロードするために（たとえば、他のタスクを実施するために（１つ又は複数の）ＧＰＵ１６０８のサイクルをより多く解放するために）使用され得る。少なくとも１つの実施例では、加速を受け入れるのに十分なほど安定している対象のワークロード（たとえば、認知、畳み込みニューラル・ネットワーク（「ＣＮＮ」）、リカレント・ニューラル・ネットワーク（「ＲＮＮ」：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために、（１つ又は複数の）アクセラレータ１６１４が使用され得る。少なくとも１つの実施例では、ＣＮＮは、領域ベースの、すなわち領域畳み込みニューラル・ネットワーク（「ＲＣＮＮ」：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、及び（たとえば、物体検出のために使用されるような）高速ＲＣＮＮ、又は他のタイプのＣＮＮを含み得る。

【0175】

少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４（たとえば、ハードウェア加速クラスタ）は、（１つ又は複数の）深層学習アクセラレータ（「ＤＬＡ」：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。（１つ又は複数の）ＤＬＡは、限定はしないが、１つ又は複数のＴｅｎｓｏｒ処理ユニット（「ＴＰＵ」：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得、１つ又は複数のＴｅｎｓｏｒ処理ユニットは、深層学習アプリケーション及び推論のために、追加の、毎秒１０兆の演算を提供するように構成され得る。少なくとも１つの実施例では、（１つ又は複数の）ＴＰＵは、（たとえば、ＣＮＮ、ＲＣＮＮなどのための）画像処理機能を実施するように構成され、そのために最適化されたアクセラレータであり得る。（１つ又は複数の）ＤＬＡは、ニューラル・ネットワーク・タイプと浮動小数点演算の特定のセット、並びに推論のためにさらに最適化され得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡの設計は、一般的な汎用ＧＰＵよりも多くのミリメートル当たりの性能を提供し得、一般的には、ＣＰＵの性能をはるかに超える。少なくとも１つの実施例では、（１つ又は複数の）ＴＰＵは、たとえば、特徴と重みの両方のためのＩＮＴ８、ＩＮＴ１６、及びＦＰ１６のデータ・タイプをサポートする、単一インスタンスの畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実施し得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、たとえば、限定はしないが、カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォン１６９６からのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、並びに／或いはセキュリティ及び／又は安全関係イベントのためのＣＮＮを含む、様々な機能のいずれかのための処理された又は処理されていないデータに対して、ニューラル・ネットワーク、特にＣＮＮを、迅速に及び効率的に実行し得る。

【0176】

少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、（１つ又は複数の）ＧＰＵ１６０８の任意の機能を実施し得、たとえば、推論アクセラレータを使用することによって、設計者は、任意の機能のために（１つ又は複数の）ＤＬＡ又は（１つ又は複数の）ＧＰＵ１６０８のいずれかをターゲットにし得る。たとえば、少なくとも１つの実施例では、設計者は、ＣＮＮ及び浮動小数点演算の処理を（１つ又は複数の）ＤＬＡに集中させ、他の機能を（１つ又は複数の）ＧＰＵ１６０８及び／又は（１つ又は複数の）他のアクセラレータ１６１４に任せ得る。

【0177】

少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４（たとえば、ハードウェア加速クラスタ）は、（１つ又は複数の）プログラマブル・ビジョン・アクセラレータ（「ＰＶＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得、プログラマブル・ビジョン・アクセラレータは、本明細書では代替的にコンピュータ・ビジョン・アクセラレータと呼ばれることがある。少なくとも１つの実施例では、（１つ又は複数の）ＰＶＡは、先進ドライバ支援システム（「ＡＤＡＳ」）１６３８、自律運転、拡張現実（「ＡＲ」）アプリケーション、及び／又は仮想現実（「ＶＲ」）アプリケーションのために、コンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。（１つ又は複数の）ＰＶＡは、性能とフレキシビリティとの間の均衡を提供し得る。たとえば、少なくとも１つの実施例では、各（１つ又は複数の）ＰＶＡは、たとえば、限定はしないが、任意の数の縮小命令セット・コンピュータ（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、ダイレクト・メモリ・アクセス（「ＤＭＡ」：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得る。

【0178】

少なくとも１つの実施例では、ＲＩＳＣコアは、画像センサ（たとえば、本明細書で説明されるカメラのいずれかの画像センサ）、（１つ又は複数の）画像信号プロセッサなどと対話し得る。少なくとも１つの実施例では、ＲＩＳＣコアの各々は、任意の量のメモリを含み得る。少なくとも１つの実施例では、ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用し得る。少なくとも１つの実施例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（「ＲＴＯＳ」：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行し得る。少なくとも１つの実施例では、ＲＩＳＣコアは、１つ又は複数の集積回路デバイス、特定用途向け集積回路（「ＡＳＩＣ」）、及び／又はメモリ・デバイスを使用して実装され得る。たとえば、少なくとも１つの実施例では、ＲＩＳＣコアは、命令キャッシュ及び／又は密結合ＲＡＭを含むことができる。

【0179】

少なくとも１つの実施例では、ＤＭＡは、（１つ又は複数の）ＰＶＡの構成要素が（１つ又は複数の）ＣＰＵ１６０６とは無関係にシステム・メモリにアクセスすることを可能にし得る。少なくとも１つの実施例では、ＤＭＡは、限定はしないが、多次元アドレッシング及び／又はサーキュラ・アドレッシングをサポートすることを含む、ＰＶＡに最適化を提供するために使用される任意の数の特徴をサポートし得る。少なくとも１つの実施例では、ＤＭＡは、６つ又はそれ以上のアドレッシング次元までをサポートし得、これらのアドレッシング次元は、限定はしないが、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る。

【0180】

少なくとも１つの実施例では、ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのためのプログラミングを効率的でフレキシブルに実行するように設計され得るプログラマブル・プロセッサであり、信号処理能力を提供し得る。少なくとも１つの実施例では、ＰＶＡは、ＰＶＡコアと、２つのベクトル処理サブシステム・パーティションとを含み得る。少なくとも１つの実施例では、ＰＶＡコアは、プロセッサ・サブシステム、（１つ又は複数の）ＤＭＡエンジン（たとえば、２つのＤＭＡエンジン）、及び／又は他の周辺機器を含み得る。少なくとも１つの実施例では、ベクトル処理サブシステムは、ＰＶＡの１次処理エンジンとして動作し得、ベクトル処理ユニット（「ＶＰＵ」：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、「ＶＭＥＭ」：ｖｅｃｔｏｒ ｍｅｍｏｒｙ）を含み得る。少なくとも１つの実施例では、ＶＰＵは、たとえば、単一命令複数データ（「ＳＩＭＤ」：ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ，ｍｕｌｔｉｐｌｅ ｄａｔａ）、超長命令語（「ＶＬＩＷ」）のデジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。少なくとも１つの実施例では、ＳＩＭＤとＶＬＩＷとの組合せが、スループット及びスピードを向上させ得る。

【0181】

少なくとも１つの実施例では、ベクトル・プロセッサの各々は、命令キャッシュを含み得、専用メモリに結合され得る。その結果、少なくとも１つの実施例では、ベクトル・プロセッサの各々は、他のベクトル・プロセッサとは無関係に実行するように構成され得る。少なくとも１つの実施例では、特定のＰＶＡ中に含まれるベクトル・プロセッサは、データ並列処理を採用するように構成され得る。たとえば、少なくとも１つの実施例では、単一のＰＶＡ中に含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、ただし画像の異なる領域上で実行し得る。少なくとも１つの実施例では、特定のＰＶＡ中に含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを同じ画像上で同時に実行するか、さらには、異なるアルゴリズムを連続した画像又は画像の部分上で実行し得る。少なくとも１つの実施例では、とりわけ、任意の数のＰＶＡがハードウェア加速クラスタ中に含まれ得、任意の数のベクトル・プロセッサがＰＶＡの各々中に含まれ得る。少なくとも１つの実施例では、（１つ又は複数の）ＰＶＡは、システムの全体的な安全性を向上させるために、追加のエラー訂正コード（「ＥＣＣ」：Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）メモリを含み得る。

【0182】

少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４（たとえば、ハードウェア加速クラスタ）は、（１つ又は複数の）アクセラレータ１６１４のための高帯域幅、低レイテンシのＳＲＡＭを提供するために、コンピュータ・ビジョン・ネットワーク・オンチップと、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）とを含み得る。少なくとも１つの実施例では、オンチップ・メモリは、たとえば、限定はしないが、８つのフィールド構成可能メモリ・ブロックからなる少なくとも４ＭＢのＳＲＡＭを含み得、これは、ＰＶＡとＤＬＡの両方によってアクセス可能であり得る。少なくとも１つの実施例では、メモリ・ブロックの各ペアは、先進周辺バス（「ＡＰＢ」：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェースと、構成回路要素と、コントローラと、マルチプレクサとを含み得る。少なくとも１つの実施例では、任意のタイプのメモリが使用され得る。少なくとも１つの実施例では、ＰＶＡ及びＤＬＡは、メモリへの高速アクセスをＰＶＡ及びＤＬＡに提供するバックボーンを介して、メモリにアクセスし得る。少なくとも１つの実施例では、バックボーンは、ＰＶＡ及びＤＬＡを（たとえば、ＡＰＢを使用して）メモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。

【0183】

少なくとも１つの実施例では、コンピュータ・ビジョン・ネットワーク・オンチップは、任意の制御信号／アドレス／データの送信の前に、ＰＶＡとＤＬＡの両方が準備信号及び有効信号を提供すると決定するインターフェースを含み得る。少なくとも１つの実施例では、インターフェースは、制御信号／アドレス／データを送信するための別個の位相及び別個のチャネル、並びに継続的なデータ転送のためのバーストタイプ通信を提供し得る。少なくとも１つの実施例では、インターフェースは、国際標準化機構（「ＩＳＯ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２６２６２又は国際電気標準会議（「ＩＥＣ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１５０８の規格に準拠し得るが、他の規格及びプロトコルが使用され得る。

【0184】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータを含み得る。少なくとも１つの実施例では、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータは、ＲＡＤＡＲ信号解釈のための、音伝搬合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波形伝搬シミュレーションのための、ローカリゼーション及び／又は他の機能を目的としたＬＩＤＡＲデータとの比較のための、並びに／或いは他の使用法のための、リアルタイムの視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び範囲を迅速に及び効率的に決定するために使用され得る。

【0185】

少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４（たとえば、ハードウェア・アクセラレータ・クラスタ）は、自律運転のための多様な使用法を有する。少なくとも１つの実施例では、ＰＶＡは、ＡＤＡＳ及び自律車両における主要な処理段階のために使用され得るプログラマブル・ビジョン・アクセラレータであり得る。少なくとも１つの実施例では、ＰＶＡの能力は、低電力及び低レイテンシでの予測可能な処理を必要とするアルゴリズム・ドメインについて良好にマッチする。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能なランタイムを必要とする半稠密（ｓｅｍｉ－ｄｅｎｓｅ）又は稠密な規則的算出に対して、小さいデータ・セット上でも、良好に機能する。少なくとも１つの実施例では、車両１６００などの自律車両、ＰＶＡは、それらが、物体検出及び整数数値の演算において効率的であるので、従来のコンピュータ・ビジョン・アルゴリズムを稼働するように設計される。

【0186】

たとえば、技術の少なくとも１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実施するために使用される。少なくとも１つの実施例では、いくつかの実例においてセミグローバルなマッチング・ベースのアルゴリズムが使用され得るが、これは、限定するものではない。少なくとも１つの実施例では、レベル３～５の自律運転のためのアプリケーションは、動き推定／ステレオ・マッチング（たとえば、動きからの構造（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、車線検出など）をオンザフライで使用する。少なくとも１つの実施例では、ＰＶＡは、２つの単眼カメラからの入力に対して、コンピュータ・ステレオ・ビジョン機能を実施し得る。

【0187】

少なくとも１つの実施例では、ＰＶＡは、高密度オプティカル・フローを実施するために使用され得る。たとえば、少なくとも１つの実施例では、ＰＶＡは、未加工のＲＡＤＡＲデータを（たとえば、４Ｄの高速フーリエ変換を使用して）処理して、処理されたＲＡＤＡＲデータを提供することができる。少なくとも１つの実施例では、ＰＶＡは、たとえば、処理された飛行時間データを提供するために、未加工の飛行時間データを処理することによって、飛行時間の深度処理のために使用される。

【0188】

少なくとも１つの実施例では、ＤＬＡは、たとえば、限定はしないが、各物体検出についての信頼性の測度を出力するニューラル・ネットワークを含む、制御及び運転の安全性を向上させるための任意のタイプのネットワークを稼働するために使用され得る。少なくとも１つの実施例では、信頼性は、他の検出と比較した各検出の確率として、又はその相対的な「重み」を提供するものとして表されるか、又は解釈され得る。少なくとも１つの実施例では、信頼性は、システムが、どの検出が偽陽性（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）検出ではなく真陽性（ｔｒｕｅ ｐｏｓｉｔｉｖｅ）検出と見なされるべきであるかに関して、さらなる判定を行うことを可能にする。たとえば、少なくとも１つの実施例では、システムは、信頼性についてのしきい値を設定し、しきい値を超える検出のみを真陽性検出と見なし得る。自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムが使用される実施例では、偽陽性検出は、車両が自動的に緊急ブレーキをかけることを引き起こし、これは明らかに望ましくない。少なくとも１つの実施例では、非常に信頼性の高い検出が、ＡＥＢのためのトリガと見なされ得る。少なくとも１つの実施例では、ＤＬＡは、信頼性値を回帰するためにニューラル・ネットワークを稼働し得る。少なくとも１つの実施例では、ニューラル・ネットワークは、とりわけ、バウンディング・ボックスの次元、（たとえば、別のサブシステムから）取得されたグランド・プレーン推定値、車両１６００の向きと相関する（１つ又は複数の）ＩＭＵセンサ１６６６からの出力、距離、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４又は（１つ又は複数の）ＲＡＤＡＲセンサ１６６０）から取得された物体の３Ｄロケーション推定値など、パラメータの少なくとも一部のサブセットを、その入力としてとり得る。

【0189】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、（１つ又は複数の）データ・ストア１６１６（たとえば、メモリ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１６１６は、（１つ又は複数の）ＳｏＣ１６０４のオンチップ・メモリであり得、このオンチップ・メモリは、（１つ又は複数の）ＧＰＵ１６０８及び／又はＤＬＡ上で実行されるべきニューラル・ネットワークを記憶し得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１６１６は、容量が、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分なほど大きくなり得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１６１６は、（１つ又は複数の）Ｌ２又はＬ３キャッシュを備え得る。

【0190】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、任意の数のプロセッサ１６１０（たとえば、組み込みプロセッサ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、ブート電力並びに管理機能及び関係するセキュリティ執行に対処するための専用プロセッサ及びサブシステムであり得る、ブート及び電力管理プロセッサを含み得る。少なくとも１つの実施例では、ブート及び電力管理プロセッサは、（１つ又は複数の）ＳｏＣ１６０４のブート・シーケンスの一部であり得、ランタイム電力管理サービスを提供し得る。少なくとも１つの実施例では、ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、（１つ又は複数の）ＳｏＣ１６０４の熱及び温度センサの管理、並びに／又は（１つ又は複数の）ＳｏＣ１６０４の電力状態の管理を提供し得る。少なくとも１つの実施例では、各温度センサは、その出力周波数が温度に比例するリング発振器として実装され得、（１つ又は複数の）ＳｏＣ１６０４は、リング発振器を使用して、（１つ又は複数の）ＣＰＵ１６０６、（１つ又は複数の）ＧＰＵ１６０８、及び／又は（１つ又は複数の）アクセラレータ１６１４の温度を検出し得る。少なくとも１つの実施例では、温度がしきい値を超えると決定された場合、ブート及び電力管理プロセッサは、温度障害ルーチンに入り、（１つ又は複数の）ＳｏＣ１６０４を低電力状態にし、及び／又は車両１６００を運転手－安全停止モード（ｃｈａｕｆｆｅｕｒ ｔｏ ｓａｆｅ ｓｔｏｐ ｍｏｄｅ）にし（たとえば、車両１６００を安全停止させ）得る。

【0191】

少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、オーディオ処理エンジンとして働き得る組み込みプロセッサのセットをさらに含み得る。少なくとも１つの実施例では、オーディオ処理エンジンは、複数のインターフェースを介した多チャネル・オーディオ、及び幅広くフレキシブルな様々なオーディオＩ／Ｏインターフェースのための、完全なハードウェア・サポートを可能にする、オーディオ・サブシステムであり得る。少なくとも１つの実施例では、オーディオ処理エンジンは、専用ＲＡＭをもつデジタル信号プロセッサをもつ専用プロセッサ・コアである。

【0192】

少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、低電力センサ管理及び立ち上げ使用事例をサポートするのに必要なハードウェア特徴を提供し得る常時オン・プロセッサ・エンジンをさらに含み得る。少なくとも１つの実施例では、常時オン・プロセッサ・エンジンは、限定はしないが、プロセッサ・コア、密結合ＲＡＭ、サポート周辺機器（たとえば、タイマ及び割込みコントローラ）、様々なＩ／Ｏコントローラ周辺機器、及びルーティング論理を含み得る。

【0193】

少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、安全クラスタ・エンジンをさらに含み得、安全クラスタ・エンジンは、限定はしないが、自動車用途のための安全管理に対処するための専用プロセッサ・サブシステムを含む。少なくとも１つの実施例では、安全クラスタ・エンジンは、限定はしないが、２つ又はそれ以上のプロセッサ・コア、密結合ＲＡＭ、サポート周辺機器（たとえば、タイマ、割込みコントローラなど）、及び／又はルーティング論理を含み得る。安全モードでは、２つ又はそれ以上のコアは、少なくとも１つの実施例では、ロックステップ・モードで動作し、それらの動作間で何らかの差を検出するための比較論理をもつ単一コアとして機能し得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、リアルタイム・カメラ・エンジンをさらに含み得、リアルタイム・カメラ・エンジンは、限定はしないが、リアルタイム・カメラ管理に対処するための専用プロセッサ・サブシステムを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、高ダイナミック・レンジ信号プロセッサをさらに含み得、高ダイナミック・レンジ信号プロセッサは、限定はしないが、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る。

【0194】

少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、ビデオ画像合成器を含み得、ビデオ画像合成器は、プレーヤ・ウィンドウのための最終画像を作り出すためにビデオ再生アプリケーションによって必要とされるビデオ後処理機能を実装する（たとえば、マイクロプロセッサ上に実装された）処理ブロックであり得る。少なくとも１つの実施例では、ビデオ画像合成器は、（１つ又は複数の）広角カメラ１６７０、（１つ又は複数の）周囲カメラ１６７４、及び／又は（１つ又は複数の）キャビン内監視カメラ・センサに対して、レンズゆがみ補正を実施し得る。少なくとも１つの実施例では、（１つ又は複数の）キャビン内監視カメラ・センサは、好ましくは、キャビン内のイベントを識別し、それに応じて応答するように構成された、（１つ又は複数の）ＳｏＣ１６０４の別のインスタンス上で稼働しているニューラル・ネットワークによって監視される。少なくとも１つの実施例では、キャビン内システムは、限定はしないが、セルラー・サービスをアクティブ化し、電話をかけ、電子メールを書き、車両の行き先を変更し、車両のインフォテイメント・システム及び設定をアクティブ化又は変更し、或いはボイス作動式のウェブ・サーフィンを提供するために、読唇を実施し得る。少なくとも１つの実施例では、いくつかの機能は、車両が自律モードで動作しているときにドライバにとって利用可能であり、他の場合に使用不可にされる。

【0195】

少なくとも１つの実施例では、ビデオ画像合成器は、空間と時間の両方のノイズ低減のための拡張された時間的ノイズ低減を含み得る。たとえば、少なくとも１つの実施例では、ビデオ中で動きが発生した場合、ノイズ低減が空間情報に適切に重み付けし、隣接するフレームによって提供される情報の重みを減少させる。少なくとも１つの実施例では、画像又は画像の一部分が動きを含まない場合、ビデオ画像合成器によって実施される時間的ノイズ低減は、前の画像からの情報を使用して、現在の画像中のノイズを低減し得る。

【0196】

少なくとも１つの実施例では、ビデオ画像合成器はまた、入力されたステレオ・レンズ・フレームに対してステレオ平行化（ｓｔｅｒｅｏ ｒｅｃｔｉｆｉｃａｔｉｏｎ）を実施するように構成され得る。少なくとも１つの実施例では、ビデオ画像合成器は、オペレーティング・システム・デスクトップが使用中であるとき、ユーザ・インターフェース合成のためにさらに使用され得、（１つ又は複数の）ＧＰＵ１６０８は、新しい表面を継続的にレンダリングすることを必要とされない。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８が電源投入され、アクティブであり、３Ｄレンダリングを行っているとき、ビデオ画像合成器は、性能及び応答性を改善するために（１つ又は複数の）ＧＰＵ１６０８をオフロードするために使用され得る。

【0197】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、カメラからのビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（「ＭＩＰＩ」：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、並びに／又はカメラ及び関係するピクセル入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、（１つ又は複数の）入力／出力コントローラをさらに含み得、（１つ又は複数の）入力／出力コントローラは、ソフトウェアによって制御され得、特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る。

【0198】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、周辺機器、オーディオ・エンコーダ／デコーダ（「コーデック」）、電力管理、及び／又は他のデバイスとの通信を可能にするための広範囲の周辺インターフェースをさらに含み得る。（１つ又は複数の）ＳｏＣ１６０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネットを介して接続された）カメラからのデータ、センサ（たとえば、イーサネットを介して接続され得る（１つ又は複数の）ＬＩＤＡＲセンサ１６６４、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０など）からのデータ、バス１６０２からのデータ（たとえば、車両１６００のスピード、ハンドル位置など）、（たとえば、イーサネット又はＣＡＮバスを介して接続された）（１つ又は複数の）ＧＮＳＳセンサ１６５８からのデータなどを処理するために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、専用の高性能大容量ストレージ・コントローラをさらに含み得、この大容量ストレージ・コントローラは、それら自体のＤＭＡエンジンを含み得、ルーチン・データ管理タスクから（１つ又は複数の）ＣＰＵ１６０６を解放するために使用され得る。

【0199】

少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、自動化レベル３～５に及ぶフレキシブルなアーキテクチャをもつエンドツーエンド・プラットフォームであり得、それにより、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に利用する包括的な機能的安全性アーキテクチャを提供し、フレキシブルで、信頼できる運転ソフトウェア・スタックのためのプラットフォームを、深層学習ツールとともに提供する。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、従来のシステムよりも高速で、信頼でき、さらにはエネルギー効率及び空間効率が高くなり得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４は、（１つ又は複数の）ＣＰＵ１６０６、（１つ又は複数の）ＧＰＵ１６０８、及び（１つ又は複数の）データ・ストア１６１６と組み合わせられたとき、レベル３～５の自律車両のための高速で効率的なプラットフォームを提供し得る。

【0200】

少なくとも１つの実施例では、コンピュータ・ビジョン・アルゴリズムはＣＰＵ上で実行され得、このアルゴリズムは、多種多様な視覚データにわたって多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベル・プログラミング言語を使用して構成され得る。しかしながら、少なくとも１つの実施例では、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関係する要件など、多くのコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。少なくとも１つの実施例では、多くのＣＰＵは、車両内ＡＤＡＳアプリケーション及び実際のレベル３～５の自律車両において使用される、複雑な物体検出アルゴリズムをリアルタイムで実行することができない。

【0201】

本明細書で説明される実施例は、複数のニューラル・ネットワークが同時に及び／又は順次実施されることを可能にし、レベル３～５の自律運転機能性を可能にするために結果が一緒に組み合わせられることを可能にする。たとえば、少なくとも１つの実施例では、ＤＬＡ又は個別ＧＰＵ（たとえば、（１つ又は複数の）ＧＰＵ１６２０）上で実行しているＣＮＮは、テキスト及び単語認識を含み得、ニューラル・ネットワークがそれについて特に訓練されていない標識を含む交通標識をスーパーコンピュータが読み、理解することを可能にする。少なくとも１つの実施例では、ＤＬＡは、標識を識別し、解釈し、標識の意味的理解を提供することができ、その意味的理解を、ＣＰＵコンプレックス上で稼働している経路計画モジュールに渡すことができる、ニューラル・ネットワークをさらに含み得る。

【0202】

少なくとも１つの実施例では、レベル３、４、又は５の運転に関して、複数のニューラル・ネットワークが同時に稼働され得る。たとえば、少なくとも１つの実施例では、電光とともに、「注意：点滅光は凍結状態（ｉｃｙ ｃｏｎｄｉｔｉｏｎ）を示す」からなる警告標識が、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。少なくとも１つの実施例では、標識自体は、第１の導入されたニューラル・ネットワーク（たとえば、訓練されたニューラル・ネットワーク）によって交通標識として識別され得、「点滅光は凍結状態を示す」というテキストは、第２の導入されたニューラル・ネットワークによって解釈され得、第２の導入されたニューラル・ネットワークは、点滅光が検出されたとき、凍結状態が存在することを車両の（好ましくはＣＰＵコンプレックス上で実行している）経路計画ソフトウェアに知らせる。少なくとも１つの実施例では、点滅光は、第３の導入されたニューラル・ネットワークを複数のフレームにわたって動作させることによって識別され得、第３の導入されたニューラル・ネットワークが、車両の経路計画ソフトウェアに点滅光の存在（又は不在）を知らせる。少なくとも１つの実施例では、３つすべてのニューラル・ネットワークが、ＤＬＡ内及び／又は（１つ又は複数の）ＧＰＵ１６０８上などで同時に稼働し得る。

【0203】

少なくとも１つの実施例では、顔認識及び車両所有者識別のためのＣＮＮが、カメラ・センサからのデータを使用して、車両１６００の承認済みのドライバ及び／又は所有者の存在を識別し得る。少なくとも１つの実施例では、所有者がドライバ・ドアに近づき、ライトをオンにしたときに車両を解錠し、セキュリティ・モードでは、所有者が車両から離れたときに車両を使用不可にするために、常時オン・センサ処理エンジンが使用され得る。このようにして、（１つ又は複数の）ＳｏＣ１６０４は、窃盗及び／又は自動車乗っ取りに対するセキュリティを提供する。

【0204】

少なくとも１つの実施例では、緊急車両検出及び識別のためのＣＮＮが、マイクロフォン１６９６からのデータを使用して、緊急車両のサイレンを検出及び識別し得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、環境及び市街地の音を分類し、並びに視覚データを分類するために、ＣＮＮを使用する。少なくとも１つの実施例では、ＤＬＡ上で稼働しているＣＮＮは、緊急車両が近づいてくる相対的なスピードを（たとえば、ドップラ効果を使用することによって）識別するように訓練される。少なくとも１つの実施例では、ＣＮＮは、（１つ又は複数の）ＧＮＳＳセンサ１６５８によって識別されるように、車両が動作している地域に特有の緊急車両を識別するようにも訓練され得る。少なくとも１つの実施例では、欧州で動作しているときは、ＣＮＮは欧州のサイレンを検出しようとし、米国にあるときは、ＣＮＮは北米のサイレンのみを識別しようとする。少なくとも１つの実施例では、緊急車両が検出されると、緊急車両安全ルーチンを実行し、車両の速度を落とし、道路脇に寄せ、車両を停止させ、及び／又は（１つ又は複数の）緊急車両が通過するまで、（１つ又は複数の）超音波センサ１６６２を併用して車両をアイドリングするために、制御プログラムが使用され得る。

【0205】

少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ＣＰＵ１６１８（たとえば、（１つ又は複数の）個別ＣＰＵ、又は（１つ又は複数の）ｄＣＰＵ）を含み得、（１つ又は複数の）ＣＰＵ１６１８は、高速相互接続（たとえば、ＰＣＩｅ）を介して（１つ又は複数の）ＳｏＣ１６０４に結合され得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６１８は、たとえばＸ８６プロセッサを含み得る。（１つ又は複数の）ＣＰＵ１６１８は、たとえば、ＡＤＡＳセンサと（１つ又は複数の）ＳｏＣ１６０４との間で潜在的に一貫性のない結果を調停すること、並びに／或いは、（１つ又は複数の）コントローラ１６３６及び／又はチップ上のインフォテイメント・システム（「インフォテイメントＳｏＣ」）１６３０のステータス及び健全性を監視することを含む、様々な機能のいずれかを実施するために使用され得る。

【0206】

少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ＧＰＵ１６２０（たとえば、（１つ又は複数の）個別ＧＰＵ、又は（１つ又は複数の）ｄＧＰＵ）を含み得、（１つ又は複数の）ＧＰＵ１６２０は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介して（１つ又は複数の）ＳｏＣ１６０４に結合され得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６２０は、冗長な及び／又は異なるニューラル・ネットワークを実行することなどによって、追加の人工知能機能性を提供し得、車両１６００のセンサからの入力（たとえば、センサ・データ）に少なくとも部分的に基づいて、ニューラル・ネットワークを訓練及び／又は更新するために使用され得る。

【0207】

少なくとも１つの実施例では、車両１６００は、ネットワーク・インターフェース１６２４をさらに含み得、ネットワーク・インターフェース１６２４は、限定はしないが、（１つ又は複数の）ワイヤレス・アンテナ１６２６（たとえば、セルラー・アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ１６２６）を含み得る。少なくとも１つの実施例では、ネットワーク・インターフェース１６２４は、クラウドとの（たとえば、（１つ又は複数の）サーバ及び／又は他のネットワーク・デバイスとの）、他の車両との、及び／又はコンピューティング・デバイス（たとえば、乗客のクライアント・デバイス）との、インターネットを介したワイヤレス接続性を可能にするために使用され得る。少なくとも１つの実施例では、他の車両と通信するために、車両１６０と他の車両との間に直接リンクが確立され得、及び／又は（たとえば、ネットワークにわたって及びインターネットを介して）間接リンクが確立され得る。少なくとも１つの実施例では、直接リンクは、車両間通信リンクを使用して提供され得る。車両間通信リンクは、車両１６００の近傍の車両（たとえば、車両１６００の前方、側方、及び／又は後方の車両）に関する情報を車両１６００に提供し得る。少なくとも１つの実施例では、前述の機能性は、車両１６００の協調型適応走行制御機能性の一部であり得る。

【0208】

少なくとも１つの実施例では、ネットワーク・インターフェース１６２４は、変調及び復調機能性を提供し、（１つ又は複数の）コントローラ１６３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。少なくとも１つの実施例では、ネットワーク・インターフェース１６２４は、ベースバンドから無線周波数へのアップ・コンバージョン、及び無線周波数からベースバンドへのダウン・コンバージョンのための無線周波数フロント・エンドを含み得る。少なくとも１つの実施例では、周波数コンバージョンは、任意の技術的に実現可能な様式で実施され得る。たとえば、周波数コンバージョンは、よく知られているプロセスを通して、及び／又はスーパー・ヘテロダイン・プロセスを使用して実施され得る。少なくとも１つの実施例では、無線周波数フロント・エンド機能性は、別個のチップによって提供され得る。少なくとも１つの実施例では、ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｗｉ－Ｆｉ、Ｚ波、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能性を含み得る。

【0209】

少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）データ・ストア１６２８をさらに含み得、（１つ又は複数の）データ・ストア１６２８は、限定はしないが、オフチップ（たとえば、（１つ又は複数の）ＳｏＣ１６０４上にない）ストレージを含み得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１６２８は、限定はしないが、ＲＡＭ、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）、ビデオ・ランダム・アクセス・メモリ（「ＶＲＡＭ」：ｖｉｄｅｏ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュ、ハード・ディスク、並びに／或いは、少なくとも１ビットのデータを記憶し得る他の構成要素及び／又はデバイスを含む、１つ又は複数のストレージ要素を含み得る。

【0210】

少なくとも１つの実施例では、車両１６００は、マッピング、認知、占有グリッド生成、及び／又は経路計画機能を支援するために、（１つ又は複数の）ＧＮＳＳセンサ１６５８（たとえば、ＧＰＳ及び／又は補助ＧＰＳセンサ）をさらに含み得る。少なくとも１つの実施例では、たとえば、限定はしないが、イーサネット－シリアル（たとえば、ＲＳ－２３２）ブリッジをもつＵＳＢコネクタを使用するＧＰＳを含む、任意の数のＧＮＳＳセンサ１６５８が使用され得る。

【0211】

少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０をさらに含み得る。（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、暗闇及び／又は厳しい気象条件においてさえ、長距離車両検出のために車両１６００によって使用され得る。少なくとも１つの実施例では、ＲＡＤＡＲの機能的安全性レベルは、ＡＳＩＬ Ｂであり得る。（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、いくつかの実例では、未加工のデータにアクセスするためのイーサネットへのアクセスとともに、制御のために（たとえば、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０によって生成されたデータを送信するために）、及び物体追跡データにアクセスするために、ＣＡＮ及び／又はバス１６０２を使用し得る。少なくとも１つの実施例では、多種多様なＲＡＤＡＲセンサ・タイプが使用され得る。たとえば、限定はしないが、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、前方、後方、及び側方のＲＡＤＡＲ使用に好適であり得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０のうちの１つ又は複数は、（１つ又は複数の）パルス・ドップラＲＡＤＡＲセンサである。

【0212】

少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、狭視野の長距離、広視野の短距離、短距離側方カバレージなど、異なる構成を含み得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲは、適応走行制御機能性のために使用され得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲシステムは、２５０ｍ範囲内などの、２つ又はそれ以上の独立した走査によって実現される広い視野を提供し得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、静的物体と移動している物体とを区別するのを助け得、緊急ブレーキ支援及び前方衝突警告のためにＡＤＡＳシステム１６３８によって使用され得る。長距離ＲＡＤＡＲシステム中に含まれる（１つ又は複数の）センサ１６６０は、限定はしないが、複数の（たとえば、６つ又はそれ以上の）固定ＲＡＤＡＲアンテナ、並びに高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースをもつモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。少なくとも１つの実施例では、６つのアンテナがある場合、中央の４つのアンテナは、隣接する車線におけるトラフィックからの干渉が最小の状態で、より高速で車両１６００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。少なくとも１つの実施例では、他の２つのアンテナは、視野を拡大し、これは、車両１６００の車線に入るか又はそこを出る車両を迅速に検出することを可能にし得る。

【0213】

少なくとも１つの実施例では、中距離ＲＡＤＡＲシステムは、一実例として、最高１６０ｍ（前方）又は８０ｍ（後方）の範囲と、最高４２度（前方）又は１５０度（後方）の視野とを含み得る。少なくとも１つの実施例では、短距離ＲＡＤＡＲシステムは、限定はしないが、後方バンパの両端部に設置されるように設計された任意の数のＲＡＤＡＲセンサ１６６０を含み得る。後方バンパの両端部に設置されたとき、少なくとも１つの実施例では、ＲＡＤＡＲセンサ・システムは、車両の後方及び隣の死角を常に監視する２本のビームを作成し得る。少なくとも１つの実施例では、短距離ＲＡＤＡＲシステムは、死角検出及び／又は車線変更支援のために、ＡＤＡＳシステム１６３８において使用され得る。

【0214】

少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）超音波センサ１６６２をさらに含み得る。車両１６００の前方、後方、及び／又は側方において位置決めされ得る（１つ又は複数の）超音波センサ１６６２は、駐車支援のために、並びに／又は占有グリッドを作成及び更新するために、使用され得る。少なくとも１つの実施例では、多種多様な（１つ又は複数の）超音波センサ１６６２が使用され得、異なる検出範囲（たとえば、２．５ｍ、４ｍ）について（１つ又は複数の）異なる超音波センサ１６６２が使用され得る。少なくとも１つの実施例では、（１つ又は複数の）超音波センサ１６６２は、機能的安全性レベルのＡＳＩＬ Ｂにおいて動作し得る。

【0215】

少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４を含み得る。（１つ又は複数の）ＬＩＤＡＲセンサ１６６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、並びに／又は他の機能のために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４は、機能的安全性レベルＡＳＩＬ Ｂであり得る。少なくとも１つの実施例では、車両１６００は、複数のＬＩＤＡＲセンサ１６６４（たとえば、２つ、４つ、６つなど）を含み得、それらのＬＩＤＡＲセンサ１６６４は、（たとえば、データをギガビット・イーサネット・スイッチに提供するために）イーサネットを使用し得る。

【0216】

少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４は、３６０度の視野について、物体及びそれらの距離のリストを提供することが可能であり得る。少なくとも１つの実施例では、（１つ又は複数の）市販のＬＩＤＡＲセンサ１６６４は、たとえば、２ｃｍ～３ｃｍの正確さをもつ、及び１００Ｍｂｐｓのイーサネット接続のサポートをもつ、ほぼ１００ｍの宣伝された範囲を有し得る。少なくとも１つの実施例では、１つ又は複数の非突出型ＬＩＤＡＲセンサ１６６４が使用され得る。そのような実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４は、車両１６００の前方、後方、側方、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４は、そのような実施例において、最高１２０度の水平視野と、３５度の垂直視野とを、低反射性物体についてさえ２００ｍの範囲で提供し得る。少なくとも１つの実施例では、（１つ又は複数の）前方に取り付けられたＬＩＤＡＲセンサ１６６４は、４５度から１３５度の間の水平視野のために構成され得る。

【0217】

少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術も使用され得る。３ＤフラッシュＬＩＤＡＲは、レーザのフラッシュを送信ソースとして使用して、車両１６００の周囲を最高でほぼ２００ｍまで照射する。少なくとも１つの実施例では、フラッシュＬＩＤＡＲユニットは、限定はしないが、レセプタを含み、レセプタは、レーザ・パルスの通過時間と各ピクセル上での反射光とを記録し、それらは、車両１６００から物体までの範囲に対応する。少なくとも１つの実施例では、フラッシュＬＩＤＡＲは、非常に正確でゆがみのない周囲画像が、レーザのフラッシュごとに生成されることを可能にし得る。少なくとも１つの実施例では、４つのフラッシュＬＩＤＡＲセンサが、車両１６００の各側面において１つ導入され得る。少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲシステムは、限定はしないが、ファン以外に可動部品のないソリッド・ステート３Ｄ凝視アレイ（ｓｔａｒｉｎｇ ａｒｒａｙ）ＬＩＤＡＲカメラ（たとえば、非走査型ＬＩＤＡＲデバイス）を含む。少なくとも１つの実施例では、（１つ又は複数の）フラッシュＬＩＤＡＲデバイスは、フレーム当たり５ナノ秒のクラスＩ（眼に安全な）レーザ・パルスを使用し得、３Ｄ範囲のポイント・クラウド及び位置同期された（ｃｏ－ｒｅｇｉｓｔｅｒｅｄ）強度データの形態で反射レーザ光をキャプチャし得る。

【0218】

少なくとも１つの実施例では、車両は、（１つ又は複数の）ＩＭＵセンサ１６６６をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、少なくとも１つの実施例では、車両１６００の後方車軸の中央に位置し得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、たとえば、限定はしないが、（１つ又は複数の）加速度計、（１つ又は複数の）磁力計、（１つ又は複数の）ジャイロスコープ、（１つ又は複数の）磁気コンパス、及び／又は他のセンサ・タイプを含み得る。６軸の用途においてなど、少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、限定はしないが、加速度計とジャイロスコープとを含み得る。９軸の用途においてなど、少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、限定はしないが、加速度計と、ジャイロスコープと、磁力計とを含み得る。

【0219】

少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、微小電気機械システム（「ＭＥＭＳ」：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍｓ）慣性センサ、高感度ＧＰＳ受信機、及び先進Ｋａｌｍａｎフィルタリング・アルゴリズムを組み合わせて、位置、速度、及び姿勢の推定値を提供する、小型の高性能ＧＰＳ補強型慣性航法システム（「ＧＰＳ／ＩＮＳ」：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、車両１６００が、速度の変化を直接観察し、それを、ＧＰＳから（１つ又は複数の）ＩＭＵセンサ１６６６に相関させることによって、磁気センサからの入力を必要とせずに方位を推定することを可能にし得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６と（１つ又は複数の）ＧＮＳＳセンサ１６５８とは、単一の統合されたユニットにおいて組み合わせられ得る。

【0220】

少なくとも１つの実施例では、車両１６００は、車両１６００の中及び／又はその周りに置かれた（１つ又は複数の）マイクロフォン１６９６を含み得る。少なくとも１つの実施例では、（１つ又は複数の）マイクロフォン１６９６は、とりわけ、緊急車両検出及び識別のために使用され得る。

【0221】

少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ステレオ・カメラ１６６８、（１つ又は複数の）広角カメラ１６７０、（１つ又は複数の）赤外線カメラ１６７２、（１つ又は複数の）周囲カメラ１６７４、（１つ又は複数の）長距離カメラ１６９８、（１つ又は複数の）中距離カメラ１６７６、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。少なくとも１つの実施例では、カメラは、車両１６００の全周辺の周りで画像データをキャプチャするために使用され得る。少なくとも１つの実施例では、使用されるカメラのタイプは、車両１６００に依存する。少なくとも１つの実施例では、車両１６００の周りで必要なカバレージを提供するために、カメラ・タイプの任意の組合せが使用され得る。少なくとも１つの実施例では、カメラの数は、実施例に応じて異なり得る。たとえば、少なくとも１つの実施例では、車両１６００は、６台のカメラ、７台のカメラ、１０台のカメラ、１２台のカメラ、又は別の数のカメラを含むことができる。カメラは、一実例として、限定はしないが、ギガビット・マルチメディア・シリアル・リンク（「ＧＭＳＬ」：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネットをサポートし得る。少なくとも１つの実施例では、（１つ又は複数の）カメラの各々は、図１６Ａ及び図１６Ｂに関して本明細書でより詳細に前に説明された。

【0222】

少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）振動センサ１６４２をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）振動センサ１６４２は、（１つ又は複数の）車軸など、車両１６００の構成要素の振動を測定し得る。たとえば、少なくとも１つの実施例では、振動の変化は、路面の変化を示し得る。少なくとも１つの実施例では、２つ又はそれ以上の振動センサ１６４２が使用されるとき、路面の摩擦又はすべり量を決定するために振動の差が使用され得る（たとえば、振動の差が動力駆動車軸と自由回転車軸との間のものであるとき）。

【0223】

少なくとも１つの実施例では、車両１６００は、ＡＤＡＳシステム１６３８を含み得る。ＡＤＡＳシステム１６３８は、限定はしないが、いくつかの実例では、ＳｏＣを含み得る。少なくとも１つの実施例では、ＡＤＡＳシステム１６３８は、限定はしないが、任意の数及び組合せの自律／適応／自動走行制御（「ＡＣＣ」：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、協調型適応走行制御（「ＣＡＣＣ」：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、正面クラッシュ警告（「ＦＣＷ」：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）システム、自動緊急ブレーキ（「ＡＥＢ」）システム、車線逸脱警告（「ＬＤＷ」）システム、車線維持支援（「ＬＫＡ」：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）システム、死角警告（「ＢＳＷ」：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）システム、後方クロス・トラフィック警告（「ＲＣＴＷ」：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）システム、衝突警告（「ＣＷ」：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ）システム、車線センタリング（「ＬＣ」：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）システム、並びに／或いは他のシステム、特徴、及び／又は機能性を含み得る。

【0224】

少なくとも１つの実施例では、ＡＣＣシステムは、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４、及び／又は任意の数のカメラを使用し得る。少なくとも１つの実施例では、ＡＣＣシステムは、縦方向ＡＣＣシステム及び／又は横方向ＡＣＣシステムを含み得る。少なくとも１つの実施例では、縦方向ＡＣＣシステムは、車両１６００の直前の車両までの距離を監視及び制御し、車両１６００のスピードを自動的に調整して、前の車両からの安全な距離を維持する。少なくとも１つの実施例では、横方向ＡＣＣシステムは、距離の維持を実施し、必要なときに車線を変更するよう車両１６００に忠告する。少なくとも１つの実施例では、横方向ＡＣＣは、ＬＣ及びＣＷなど、他のＡＤＡＳ用途に関係する。

【0225】

少なくとも１つの実施例では、ＣＡＣＣシステムは、他の車両からの情報を使用し、この情報は、ワイヤレス・リンクを介して、又は間接的に、ネットワーク接続を介して（たとえば、インターネットを介して）、他の車両からネットワーク・インターフェース１６２４及び／又は（１つ又は複数の）ワイヤレス・アンテナ１６２６を介して受信され得る。少なくとも１つの実施例では、直接リンクは車両間（「Ｖ２Ｖ」：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、間接リンクはインフラストラクチャ車両間（「Ｉ２Ｖ」：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得る。一般に、Ｖ２Ｖ通信概念は、直前の先行車両（たとえば、車両１６００の直前で同じ車線にいる車両）に関する情報を提供し、Ｉ２Ｖ通信概念は、さらにその前の交通に関する情報を提供する。少なくとも１つの実施例では、ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースのいずれか又は両方を含み得る。少なくとも１つの実施例では、車両１６００の前の車両の情報があれば、ＣＡＣＣシステムは、より信頼できるものとなり得、それは、交通の流れの円滑さを改善し、道路上での渋滞を低減する可能性を有する。

【0226】

少なくとも１つの実施例では、ＦＣＷシステムは、危険物についてドライバにアラートするように設計され、それにより、ドライバは是正アクションをとり得る。少なくとも１つの実施例では、ＦＣＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、正面カメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ１６６０を使用する。少なくとも１つの実施例では、ＦＣＷシステムは、音、視覚的警告、振動及び／又はクイック・ブレーキ・パルスなどの形態で警告を提供し得る。

【0227】

少なくとも１つの実施例では、ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、指定された時間又は距離パラメータ内にドライバが是正アクションをとらない場合、自動的にブレーキをかけ得る。少なくとも１つの実施例では、ＡＥＢシステムは、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された（１つ又は複数の）正面カメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ１６６０を使用し得る。少なくとも１つの実施例では、ＡＥＢシステムが危険物を検出したとき、ＡＥＢシステムは、通常、最初に、是正アクションをとって衝突を回避するようにドライバにアラートし、ドライバが是正アクションをとらない場合、ＡＥＢシステムは、予測される衝突を防ぐか、又は少なくともその衝撃を軽減するために、自動的にブレーキをかけ得る。少なくとも１つの実施例では、ＡＥＢシステムは、動的ブレーキ・サポート及び／又はクラッシュ直前ブレーキなどの技法を含み得る。

【0228】

少なくとも１つの実施例では、ＬＤＷシステムは、車両１６００が車線の目印に交差したときにドライバにアラートするために、ハンドル又は座席の振動など、視覚的、聴覚的、及び／又は触覚的警告を提供する。少なくとも１つの実施例では、ＬＤＷシステムは、ドライバが方向指示器をアクティブ化することによって意図的な車線逸脱を示すとき、アクティブ化しない。少なくとも１つの実施例では、ＬＤＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、正面向きのカメラを使用し得る。少なくとも１つの実施例では、ＬＫＡシステムは、ＬＤＷシステムの変形形態である。ＬＫＡシステムは、車両１６００が車線から出始めた場合に車両１６００を是正するために操縦入力又はブレーキ制御を提供する。

【0229】

少なくとも１つの実施例では、ＢＳＷシステムは、自動車の死角にある車両を検出し、その車両についてドライバに警告する。少なくとも１つの実施例では、ＢＳＷシステムは、合流すること又は車線を変更することが安全ではないことを示すために、視覚的、聴覚的、及び／又は触覚的なアラートを提供し得る。少なくとも１つの実施例では、ＢＳＷシステムは、ドライバが方向指示器を使用したときに追加の警告を提供し得る。少なくとも１つの実施例では、ＢＳＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、（１つ又は複数の）背面向きのカメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ１６６０を使用し得る。

【0230】

少なくとも１つの実施例では、ＲＣＴＷシステムは、車両１６００が後退しているときに物体が後方カメラの範囲外で検出されたとき、視覚的、聴覚的、及び／又は触覚的な通知を提供し得る。少なくとも１つの実施例では、ＲＣＴＷシステムは、クラッシュを回避するために車両ブレーキがかけられることを確実にするためのＡＥＢシステムを含む。少なくとも１つの実施例では、ＲＣＴＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の背面ＲＡＤＡＲセンサ１６６０を使用し得る。

【0231】

少なくとも１つの実施例では、従来のＡＤＡＳシステムは、偽陽性結果を出しがちなことがあり、これは、ドライバにとって迷惑であり、気が散るものであり得るが、従来のＡＤＡＳシステムが、ドライバにアラートし、ドライバが、安全条件が本当に存在するかどうかを判定し、それに応じて行動することを可能にするので、通常は大したことにはならない。少なくとも１つの実施例では、車両１６００自体が、矛盾する結果の場合、１次コンピュータ（たとえば、第１のコントローラ１６３６）からの結果に従うのか、２次コンピュータ（たとえば、第２のコントローラ１６３６）からの結果に従うのかを判定する。たとえば、少なくとも１つの実施例では、ＡＤＡＳシステム１６３８は、バックアップ・コンピュータ合理性モジュールに認知情報を提供するためのバックアップ及び／又は２次コンピュータであり得る。少なくとも１つの実施例では、バックアップ・コンピュータ合理性モニタが、ハードウェア構成要素上の冗長な多様なソフトウェアを稼働して、認知及び動的運転タスクの障害を検出し得る。少なくとも１つの実施例では、ＡＤＡＳシステム１６３８からの出力は、監督ＭＣＵ（ｓｕｐｅｒｖｉｓｏｒｙ ＭＣＵ）に提供され得る。少なくとも１つの実施例では、１次コンピュータからの出力と２次コンピュータからの出力とが矛盾する場合、監督ＭＣＵが、安全な動作を確実にするために矛盾をどのように調和させるかを決定する。

【0232】

少なくとも１つの実施例では、１次コンピュータは、選定された結果における１次コンピュータの信頼性を示す信頼性スコアを監督ＭＣＵに提供するように構成され得る。少なくとも１つの実施例では、信頼性スコアがしきい値を超える場合、２次コンピュータが、矛盾する又は一貫性のない結果を提供するかどうかにかかわらず、監督ＭＣＵは、１次コンピュータの指示に従い得る。少なくとも１つの実施例では、信頼性スコアがしきい値を満たさない場合、及び１次コンピュータと２次コンピュータとが異なる結果（たとえば、矛盾）を示す場合、監督ＭＣＵは、コンピュータ間で調停して、適切な帰結を決定し得る。

【0233】

少なくとも１つの実施例では、監督ＭＣＵは、２次コンピュータが誤アラームを提供する条件を、１次コンピュータ及び２次コンピュータからの出力に少なくとも部分的に基づいて決定するように訓練及び構成された（１つ又は複数の）ニューラル・ネットワークを稼働するように構成され得る。少なくとも１つの実施例では、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークは、２次コンピュータの出力がいつ信用でき得るかと、それがいつ信用できないかとを学習し得る。たとえば、少なくとも１つの実施例では、２次コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークは、アラームをトリガする排水溝格子又はマンホール・カバーなど、実際には危険物ではない金属物体をＦＣＷシステムがいつ識別しているかを学習し得る。少なくとも１つの実施例では、２次コンピュータがカメラ・ベースのＬＤＷシステムであるとき、監督ＭＣＵ中のニューラル・ネットワークは、自転車又は歩行者が存在し、車線逸脱が実際には最も安全な操作であるときにＬＤＷを無効にするように学習し得る。少なくとも１つの実施例では、監督ＭＣＵは、（１つ又は複数の）ニューラル・ネットワークを、関連するメモリとともに稼働するのに好適なＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。少なくとも１つの実施例では、監督ＭＣＵは、（１つ又は複数の）ＳｏＣ１６０４の構成要素を備え、及び／又はその構成要素として含められ得る。

【0234】

少なくとも１つの実施例では、ＡＤＡＳシステム１６３８は、コンピュータ・ビジョンの従来のルールを使用してＡＤＡＳ機能性を実施する２次コンピュータを含み得る。少なくとも１つの実施例では、２次コンピュータは、従来のコンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用し得、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークの存在が、信頼性、安全性及び性能を改善し得る。たとえば、少なくとも１つの実施例では、多様な実装及び意図的な非同一性が、システム全体を、特にソフトウェア（又はソフトウェアとハードウェアのインターフェース）機能性によって引き起こされる障害に対して、より障害耐性のあるものにする。たとえば、少なくとも１つの実施例では、１次コンピュータ上で稼働しているソフトウェアにおいてソフトウェア・バグ又はエラーがあり、２次コンピュータ上で稼働している非同一のソフトウェア・コードが、同じ全体的な結果を提供する場合、監督ＭＣＵは、全体的な結果が正しく、１次コンピュータ上のソフトウェア又はハードウェアにおけるバグが重大なエラーを引き起こしていないという、より高い信頼性を有し得る。

【0235】

少なくとも１つの実施例では、ＡＤＡＳシステム１６３８の出力は、１次コンピュータの認知ブロック及び／又は１次コンピュータの動的運転タスク・ブロックにフィードされ得る。たとえば、少なくとも１つの実施例では、ＡＤＡＳシステム１６３８が、直前の物体により正面クラッシュ警告を示す場合、認知ブロックは、物体を識別するときにこの情報を使用し得る。少なくとも１つの実施例では、２次コンピュータは、本明細書で説明されるように、訓練された、したがって偽陽性のリスクを低減する、それ自体のニューラル・ネットワークを有し得る。

【0236】

少なくとも１つの実施例では、車両１６００は、インフォテイメントＳｏＣ１６３０（たとえば、車両内インフォテイメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ））をさらに含み得る。ＳｏＣとして示され、説明されるが、インフォテイメント・システム１６３０は、少なくとも１つの実施例では、ＳｏＣでないことがあり、限定はしないが、２つ又はそれ以上の個別の構成要素を含み得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、限定はしないが、ハードウェアとソフトウェアとの組合せを含み得、この組合せは、オーディオ（たとえば、音楽、パーソナル・デジタル・アシスタント、ナビゲーション命令、ニュース、ラジオなど）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続性（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データ・システム、燃料レベル、合計走行距離、ブレーキ燃料レベル、オイル・レベル、ドアの開閉、空気フィルタ情報などの車両関係情報など）を車両１６００に提供するために使用され得る。たとえば、インフォテイメントＳｏＣ１６３０は、ラジオ、ディスク・プレーヤ、ナビゲーション・システム、ビデオ・プレーヤ、ＵＳＢ及びＢｌｕｅｔｏｏｔｈ接続性、カーピュータ、車内エンタテイメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御、ハンズフリー・ボイス制御、ヘッドアップ・ディスプレイ（「ＨＵＤ」：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１６３４、テレマティックス・デバイス、（たとえば、様々な構成要素、特徴、及び／又はシステムを制御し、及び／又はそれらと対話するための）制御パネル、及び／又は他の構成要素を含むことができる。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、ＡＤＡＳシステム１６３８からの情報、計画された車両操作、軌道などの自律運転情報、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、（たとえば、視覚的及び／又は聴覚的な）情報を車両の（１人又は複数の）ユーザに提供するために、さらに使用され得る。

【0237】

少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、任意の量及びタイプのＧＰＵ機能性を含み得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、バス１６０２（たとえば、ＣＡＮバス、イーサネットなど）を介して、車両１６００の他のデバイス、システム、及び／又は構成要素と通信し得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は監督ＭＣＵに結合され得、それにより、（１つ又は複数の）１次コントローラ１６３６（たとえば、車両１６００の１次及び／又はバックアップ・コンピュータ）が故障した場合、インフォテイメント・システムのＧＰＵが、いくつかの自己運転機能を実施し得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、本明細書で説明されるように、車両１６００を運転手－安全停止モードにし得る。

【0238】

少なくとも１つの実施例では、車両１６００は、計器クラスタ１６３２（たとえば、デジタル・ダッシュボード、電子計器クラスタ、デジタル計器パネルなど）をさらに含み得る。少なくとも１つの実施例では、計器クラスタ１６３２は、限定はしないが、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。少なくとも１つの実施例では、計器クラスタ１６３２は、限定はしないが、スピードメータ、燃料レベル、油圧、タコメータ、オドメータ、方向インジケータ、シフトレバー位置インジケータ、（１つ又は複数の）シート・ベルト警告灯、（１つ又は複数の）駐車ブレーキ警告灯、（１つ又は複数の）エンジン不調灯、補助拘束システム（たとえば、エアバッグ）情報、ライト制御、安全システム制御、ナビゲーション情報など、任意の数及び組合せの計装セットを含み得る。いくつかの実例では、情報は表示され、及び／又は、インフォテイメントＳｏＣ１６３０と計器クラスタ１６３２との間で共有され得る。少なくとも１つの実施例では、計器クラスタ１６３２は、インフォテイメントＳｏＣ１６３０の一部として含められ得、その逆もまた同様である。

【0239】

１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１６Ａのシステムにおいて使用され得る。

【0240】

図１６Ｂは、少なくとも１つの実施例による、（１つ又は複数の）クラウド・ベースのサーバと図１６Ａの自律車両１６００との間の通信のためのシステム１６７６の図である。少なくとも１つの実施例では、システム１６７６は、限定はしないが、（１つ又は複数の）サーバ１６７８と、（１つ又は複数の）ネットワーク１６９０と、車両１６００を含む任意の数及びタイプの車両とを含み得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、限定はしないが、（総称して、本明細書ではＧＰＵ１６８４と呼ばれる）複数のＧＰＵ１６８４（Ａ）～１６８４（Ｈ）、（総称して、本明細書ではＰＣＩｅスイッチ１６８２と呼ばれる）ＰＣＩｅスイッチ１６８２（Ａ）～１６８２（Ｄ）、及び／又は（総称して、本明細書ではＣＰＵ１６８０と呼ばれる）ＣＰＵ１６８０（Ａ）～１６８０（Ｂ）を含み得る。ＧＰＵ１６８４と、ＣＰＵ１６８０と、ＰＣＩｅスイッチ１６８２とは、たとえば、限定はしないが、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース１６８８及び／又はＰＣＩｅ接続１６８６など、高速相互接続で相互接続され得る。少なくとも１つの実施例では、ＧＰＵ１６８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ１６８４とＰＣＩｅスイッチ１６８２とは、ＰＣＩｅ相互接続を介して接続される。少なくとも１つの実施例では、８つのＧＰＵ１６８４と、２つのＣＰＵ１６８０と、４つのＰＣＩｅスイッチ１６８２とが示されているが、これは限定するものではない。少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８の各々は、限定はしないが、任意の数のＧＰＵ１６８４、ＣＰＵ１６８０、及び／又はＰＣＩｅスイッチ１６８２を任意の組合せで含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、各々、８つ、１６個、３２個、及び／又はそれ以上のＧＰＵ１６８４を含むことができる。

【0241】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、最近始まった道路工事など、予想外の又は変更された道路条件を示す画像を表す画像データを、（１つ又は複数の）ネットワーク１６９０を介して、車両から受信し得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、ニューラル・ネットワーク１６９２、更新されたニューラル・ネットワーク１６９２、及び／或いは、限定はしないが、交通及び道路条件に関する情報を含む、マップ情報１６９４を、（１つ又は複数の）ネットワーク１６９０を介して、車両に送信し得る。少なくとも１つの実施例では、マップ情報１６９４の更新は、限定はしないが、建築現場、穴、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤマップ１６２２についての更新を含み得る。少なくとも１つの実施例では、ニューラル・ネットワーク１６９２、更新されたニューラル・ネットワーク１６９２、及び／又はマップ情報１６９４は、環境における任意の数の車両から受信されたデータにおいて表された新しい訓練及び／又は体験から、並びに／或いは、データ・センタにおいて（たとえば、（１つ又は複数の）サーバ１６７８及び／又は他のサーバを使用して）実施された訓練に少なくとも部分的に基づいて、生じていることがある。

【0242】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、訓練データに少なくとも部分的に基づいて機械学習モデル（たとえば、ニューラル・ネットワーク）を訓練するために使用され得る。少なくとも１つの実施例では、訓練データは、車両によって生成され得、及び／又はシミュレーションにおいて（たとえば、ゲーム・エンジンを使用して）生成され得る。少なくとも１つの実施例では、任意の量の訓練データが、（たとえば、関連するニューラル・ネットワークが教師あり学習から恩恵を受ける場合）タグ付けされ、及び／又は他の前処理を受ける。少なくとも１つの実施例では、任意の量の訓練データが、（たとえば、関連するニューラル・ネットワークが教師あり学習を必要としない場合）タグ付けされず、及び／又は前処理されない。少なくとも１つの実施例では、機械学習モデルが訓練されると、機械学習モデルは、車両によって使用（たとえば、（１つ又は複数の）ネットワーク１６９０を介して車両に送信され得、及び／又は、機械学習モデルは、車両をリモートで監視するために（１つ又は複数の）サーバ１６７８によって使用され得る。

【0243】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、車両からデータを受信し、リアルタイム・インテリジェント推論のために最新のリアルタイム・ニューラル・ネットワークにデータを適用し得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、（１つ又は複数の）ＧＰＵ１６８４によって動く深層学習スーパーコンピュータ及び／又は専用ＡＩコンピュータを含み得る。しかしながら、少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、ＣＰＵによって動くデータ・センタを使用する深層学習インフラストラクチャを含み得る。

【0244】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８の深層学習インフラストラクチャは、高速リアルタイム推論が可能であり得、その能力を使用して、車両１６００中のプロセッサ、ソフトウェア、及び／又は関連するハードウェアの健全性を評定及び確認し得る。たとえば、少なくとも１つの実施例では、深層学習インフラストラクチャは、一連の画像、及び／又は（たとえば、コンピュータ・ビジョン及び／又は他の機械学習物体分類技法を介して）その一連の画像において車両１６００が位置を特定した物体など、周期的な更新を車両１６００から受信し得る。少なくとも１つの実施例では、深層学習インフラストラクチャは、それ自体のニューラル・ネットワークを稼働して物体を識別し、それらを、車両１６００によって識別された物体と比較し得、結果がマッチせず、車両１６００中のＡＩが誤動作していると深層学習インフラストラクチャが結論付けた場合、（１つ又は複数の）サーバ１６７８は、車両１６００のフェイル・セーフ・コンピュータに、制御を掌握し、乗客に通知し、安全な駐車操作を完了するように命令する信号を、車両１６００に送信し得る。

【0245】

少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、（１つ又は複数の）ＧＰＵ１６８４と、１つ又は複数のプログラマブル推論アクセラレータ（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３）とを含み得る。少なくとも１つの実施例では、ＧＰＵによって動くサーバと推論の加速との組合せが、リアルタイム応答を可能にし得る。性能がそれほど重要ではない場合など、少なくとも１つの実施例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって動くサーバが、推論のために使用され得る。少なくとも１つの実施例では、１つ又は複数の実施例を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。

【0246】

他の変形形態は、本開示の範囲内にある。したがって、開示される技法は、様々な修正及び代替構築が可能であるが、それらのいくつかの例示的な実施例が図面に示され、上記で詳細に説明された。しかしながら、特定の１つ又は複数の開示された形態に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲において定義されるように、開示の趣旨及び範囲に入るすべての修正形態、代替構築、及び等価物を網羅することを意図している。

【0247】

開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、及び「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「限定はしないが、～を含む（ｉｎｃｌｕｄｉｎｇ， ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ，）」を意味する）と解釈されるべきである。「接続される」という用語は、修飾されず、物理的接続を指しているとき、何か介在するものがある場合でも、部分的に又は完全に中に含まれているか、取り付けられるか、又は互いに接合されるものとして解釈されるべきである。本明細書で値の範囲を詳述することは、本明細書に別段の記載のない限り、及び各別個の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に入る各別個の値を個々に参照する簡潔な方法として働くことを単に意図しているにすぎない。「セット」（たとえば、「項目のセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がないか又は否定されない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がないか又は否定されない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すとは限らず、サブセットと、対応するセットとは、等しくなり得る。

【0248】

「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ及びＣのうちの少なくとも１つ」という形態の言い回しなどの結合語は、別段の具体的な記載がないか又はさもなければ文脈によって明確に否定されない限り、別様に、項目、用語などが、Ａ又はＢ又はＣのいずれか、或いはＡとＢとＣとのセットの任意の空でないサブセットであり得ることを提示するために一般に使用される文脈で、理解される。たとえば、３つの部材を有するセットの説明的な実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」という結合句は、次のセットのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、そのような結合語は、いくつかの実施例が、Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つの各々が存在することを必要とすることを全体的に暗示するものではない。さらに、別段の記載がないか又は文脈によって否定されない限り、「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。複数（ｐｌｕｒａｌｉｔｙ）は、少なくとも２つの項目であるが、明示的に、又は文脈によってのいずれかでそのように示されているとき、それよりも多いことがある。さらに、別段の記載がないか又はさもなければ文脈から明らかでない限り、「～に基づいて」という言い回しは、「少なくとも部分的に～に基づいて」を意味し、「～のみに基づいて」を意味しない。

【0249】

本明細書で説明されるプロセスの動作は、本明細書に別段の記載がないか又はさもなければ文脈によって明確に否定されない限り、任意の好適な順序で実施され得る。少なくとも１つの実施例では、本明細書で説明されるプロセス（又はその変形及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実施され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行するコード（たとえば、実行可能命令、１つ又は複数のコンピュータ・プログラム、又は１つ又は複数のアプリケーション）として実装される。少なくとも１つの実施例では、コードは、たとえば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも１つの実施例では、コンピュータ可読記憶媒体は、一時的信号（たとえば、伝搬する一時的な電気又は電磁送信）を除外するが、一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的コンピュータ可読記憶媒体である。少なくとも１つの実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的コンピュータ可読記憶媒体のセットに記憶され、この記憶媒体は、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書で説明される動作を実施させる実行可能命令を記憶している（又は、実行可能命令を記憶するための他のメモリを有する）。非一時的コンピュータ可読記憶媒体のセットは、少なくとも１つの実施例では、複数の非一時的コンピュータ可読記憶媒体を備え、複数の非一時的コンピュータ可読記憶媒体の個々の非一時的記憶媒体のうちの１つ又は複数は、コードのすべてがないが、複数の非一時的コンピュータ可読記憶媒体は、集合的にコードのすべてを記憶している。少なくとも１つの実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的コンピュータ可読記憶媒体は命令を記憶し、メイン中央処理ユニット（「ＣＰＵ」）は命令のいくつかを実行し、グラフィックス処理ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも１つの実施例では、コンピュータ・システムの異なる構成要素は、別個のプロセッサを有し、異なるプロセッサが命令の異なるサブセットを実行する。

【0250】

したがって、少なくとも１つの実施例では、コンピュータ・システムは、本明細書で説明されるプロセスの動作を単独で又は集合的に実施する１つ又は複数のサービスを実装するように構成され、そのようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも１つの実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが本明細書で説明される動作を実施するように、及び単一のデバイスがすべての動作を実施しないように、異なるやり方で動作する複数のデバイスを備える分散型コンピュータ・システムである。

【0251】

本明細書で提供されるあらゆる実例、又は例示的な言葉（たとえば、「など、などの（ｓｕｃｈ ａｓ）」）の使用は、本開示の実施例をより明らかにすることのみを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。

【0252】

本明細書で引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。

【0253】

明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用され得る。これらの用語は、互いに同義語として意図されていないことがあることが理解されるべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、２つ又はそれ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用され得る。「結合される」はまた、２つ又はそれ以上の要素が直接互いに接触していないが、それでもなお互いに連動又は対話することを意味し得る。

【0254】

別段の具体的な記載がない限り、明細書全体を通して、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「算出する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、又は「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータを、コンピューティング・システムのメモリ、レジスタ又は他のそのような情報ストレージ、送信、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるように操作及び／又は変換する、コンピュータ又はコンピューティング・システム、或いは同様の電子コンピューティング・デバイスのアクション及び／又はプロセスを指す。

【0255】

同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶され得る他の電子データに変換する任意のデバイス、又はデバイスの一部分を指し得る。非限定的な実例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであり得る。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備え得る。本明細書で使用される「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実施するソフトウェア及び／又はハードウェア・エンティティを含み得る。また、各プロセスは、命令を直列で又は並列で、連続的に又は断続的に行うための複数のプロセスを指し得る。「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化し得、方法がシステムと考えられ得る場合に限り、本明細書において交換可能に使用される。

【0256】

本明細書では、アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、或いはそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及し得る。アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、又は入力することは、関数コール、又はアプリケーション・プログラミング・インターフェースへのコールのパラメータとしてデータを受信することによってなど、様々なやり方で実現され得る。いくつかの実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、直列又は並列インターフェースを介してデータを転送することによって実現され得る。別の実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現され得る。アナログ・データ又はデジタル・データを提供すること、出力すること、送信すること、送出すること、又は提示することにも言及し得る。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送出する、又は提示するプロセスは、関数コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェース又はプロセス間通信機構のパラメータとしてデータを転送することによって実現され得る。

【0257】

上記の説明は、説明された技法の例示的な実装形態について述べているが、他のアーキテクチャが、説明された機能性を実装するために使用され得、本開示の範囲内にあることが意図される。さらに、説明を目的として、責任の具体的な分散が上記で定義されたが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。

【0258】

さらに、主題は、構造的特徴及び／又は方法論的行為に特有の言語で説明されたが、添付の特許請求の範囲で特許請求される主題は、説明された特有の特徴又は行為に必ずしも限定されるとは限らないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図16A】

【図16B】

【外国語明細書】