(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023031260
(43)【公開日】2023-03-08
(54)【発明の名称】ロバストな状態推定
(51)【国際特許分類】
G06T 7/20 20170101AFI20230301BHJP
G06T 7/00 20170101ALI20230301BHJP
G06V 10/82 20220101ALI20230301BHJP
【ＦＩ】
G06T7/20 300B
G06T7/00 350C
G06V10/82
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022122748
(22)【出願日】2022-08-01
(31)【優先権主張番号】17/410,564
(32)【優先日】2021-08-24
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ユージュオ レン
(72)【発明者】
【氏名】ニランジャン アヴァダーナム
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096CA04
5L096FA09
5L096FA39
5L096FA64
5L096FA67
5L096FA69
5L096GA34
5L096HA02
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】異なる入力又は条件に対してロバストである対象者についての状態情報を決定すること。
【解決手段】傾眠について、顔ランドマークが、キャプチャされた画像データから決定され、瞬目パラメータのセットを決定するために使用され得る。これらのパラメータは、時間ネットワークとともになど、対象者の状態（たとえば、傾眠）を推定するために使用され得る。ロバストネスを改善するために、眼状態決定ネットワークが、別の時間ネットワークとともになど、対象者の状態を推定するために使用され得る中間ランドマークへの依拠なしに、画像データから眼状態を決定することができる。これらの値の重み付けされた組合せが、対象者の全体的な状態を決定するために使用され得る。正確さを改善するために、状態の変化ではなく、対象者変動又は現在のコンテキストによる、データの変動を考慮するために、個々の挙動パターン及びコンテキスト情報が利用され得る。
【選択図】図４
【解決手段】傾眠について、顔ランドマークが、キャプチャされた画像データから決定され、瞬目パラメータのセットを決定するために使用され得る。これらのパラメータは、時間ネットワークとともになど、対象者の状態（たとえば、傾眠）を推定するために使用され得る。ロバストネスを改善するために、眼状態決定ネットワークが、別の時間ネットワークとともになど、対象者の状態を推定するために使用され得る中間ランドマークへの依拠なしに、画像データから眼状態を決定することができる。これらの値の重み付けされた組合せが、対象者の全体的な状態を決定するために使用され得る。正確さを改善するために、状態の変化ではなく、対象者変動又は現在のコンテキストによる、データの変動を考慮するために、個々の挙動パターン及びコンテキスト情報が利用され得る。
【選択図】図４
【特許請求の範囲】
【請求項1】
人の顔の表現を含む画像を使用して、前記画像中の顔ランドマークのセットを識別するステップと、
前記画像の少なくとも一部分から、前記人の眼が開いている又は閉じているかどうかを示す眼状態情報を決定するステップと、
前記顔ランドマークに少なくとも部分的に基づいて、前記人についての頭部姿勢情報を決定するステップと、
顔ランドマークの前記セットと、前記頭部姿勢情報と、前記眼状態情報とに少なくとも部分的に基づいて、最近の時間期間にわたる前記人についての瞬目パラメータのセットを決定するステップと、
前記眼状態情報を使用して、前記最近の時間期間についての瞬目頻度情報を決定するステップと、
前記人についての第１の傾眠予測を生成するために、瞬目パラメータの前記セットを、第１の時間ネットワークへの入力として提供するステップと、
前記人についての第２の傾眠予測を生成するために、前記瞬目頻度情報を、第２の時間ネットワークへの入力として提供するステップと、
前記第１の傾眠予測及び前記第２の傾眠予測に少なくとも部分的に基づいて、前記人についての全体的な傾眠決定を生成するステップと
を含む、コンピュータ実装方法。
前記画像の少なくとも一部分から、前記人の眼が開いている又は閉じているかどうかを示す眼状態情報を決定するステップと、
前記顔ランドマークに少なくとも部分的に基づいて、前記人についての頭部姿勢情報を決定するステップと、
顔ランドマークの前記セットと、前記頭部姿勢情報と、前記眼状態情報とに少なくとも部分的に基づいて、最近の時間期間にわたる前記人についての瞬目パラメータのセットを決定するステップと、
前記眼状態情報を使用して、前記最近の時間期間についての瞬目頻度情報を決定するステップと、
前記人についての第１の傾眠予測を生成するために、瞬目パラメータの前記セットを、第１の時間ネットワークへの入力として提供するステップと、
前記人についての第２の傾眠予測を生成するために、前記瞬目頻度情報を、第２の時間ネットワークへの入力として提供するステップと、
前記第１の傾眠予測及び前記第２の傾眠予測に少なくとも部分的に基づいて、前記人についての全体的な傾眠決定を生成するステップと
を含む、コンピュータ実装方法。
【請求項2】
前記人の前記顔に対応する前記画像の一部分を検出するステップと、
前記画像の前記一部分から顔ランドマークの前記セットを識別するステップと
をさらに含む、請求項１に記載のコンピュータ実装方法。
前記画像の前記一部分から顔ランドマークの前記セットを識別するステップと
をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記眼状態情報を決定するために使用されるべき１つ又は複数の眼領域を識別するために、前記顔ランドマークのサブセットを使用するステップ
をさらに含む、請求項１に記載のコンピュータ実装方法。
をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記第１の時間ネットワーク及び前記第２の時間ネットワークが、長短期メモリ（ＬＳＴＭ）ネットワークであり、前記ＬＳＴＭネットワークによって生成された前記第１の傾眠予測及び前記第２の傾眠予測が、カロリンスカ眠気尺度（ＫＳＳ）値に対応する、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記画像を使用して、前記人の識別情報を決定するステップと、
前記人の１つ又は複数の瞬目挙動を示す、前記人についての瞬目プロファイルを識別するステップと、
前記１つ又は複数の瞬目挙動についてのデータにさらに基づいて、少なくとも前記第１の傾眠予測を生成するステップと
をさらに含む、請求項１に記載のコンピュータ実装方法。
前記人の１つ又は複数の瞬目挙動を示す、前記人についての瞬目プロファイルを識別するステップと、
前記１つ又は複数の瞬目挙動についてのデータにさらに基づいて、少なくとも前記第１の傾眠予測を生成するステップと
をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項6】
瞬目パラメータの前記セットが、少なくとも瞬目振幅、瞬目持続時間、又は瞬目速度を含む、請求項１に記載のコンピュータ実装方法。
【請求項7】
顔ランドマークの前記セットの配向を調整するために、前記頭部姿勢情報に少なくとも部分的に基づいて、顔ランドマークの前記セットの変換を実施するステップ
をさらに含む、請求項１に記載のコンピュータ実装方法。
をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項8】
前記眼状態情報が、前記画像の１つ又は複数の眼部分から決定され、顔ランドマークの前記セットに依存しない、請求項１に記載のコンピュータ実装方法。
【請求項9】
瞬目パラメータの前記セットの少なくともサブセットが、顔ランドマークの前記セットから計算されるアスペクト比情報を使用して決定される、請求項１に記載のコンピュータ実装方法。
【請求項10】
人の顔に対応する画像の一部分を識別するための顔検出ネットワークと、
前記顔に対応する前記画像の前記一部分中に存在する複数の顔ランドマークを識別するための顔ランドマーク検出ネットワークと、
前記画像から、前記人の眼状態を決定するための眼状態ネットワークであって、前記眼状態が、少なくとも開いている又は閉じているに対応する、眼状態ネットワークと、
前記複数の顔ランドマークから決定された瞬目パラメータのセットに少なくとも部分的に基づいて、前記人についての第１の傾眠予測を生成するための第１の時間ネットワークと、
前記眼状態を使用して決定された瞬目頻度に少なくとも部分的に基づいて、前記人についての第２の傾眠予測を生成するための第２の時間ネットワークと
を備える、システム。
前記顔に対応する前記画像の前記一部分中に存在する複数の顔ランドマークを識別するための顔ランドマーク検出ネットワークと、
前記画像から、前記人の眼状態を決定するための眼状態ネットワークであって、前記眼状態が、少なくとも開いている又は閉じているに対応する、眼状態ネットワークと、
前記複数の顔ランドマークから決定された瞬目パラメータのセットに少なくとも部分的に基づいて、前記人についての第１の傾眠予測を生成するための第１の時間ネットワークと、
前記眼状態を使用して決定された瞬目頻度に少なくとも部分的に基づいて、前記人についての第２の傾眠予測を生成するための第２の時間ネットワークと
を備える、システム。
【請求項11】
少なくとも前記第１の傾眠予測を生成する際に使用するための前記人の１つ又は複数の瞬目挙動を示す瞬目プロファイルの位置を特定するために使用されるべき、前記人の識別情報、瞬目プロファイルを決定するための顔認識モジュール
をさらに備える、請求項１０に記載のシステム。
をさらに備える、請求項１０に記載のシステム。
【請求項12】
前記第１の時間ネットワーク及び前記第２の時間ネットワークが、長短期メモリ（ＬＳＴＭ）ネットワークであり、前記ＬＳＴＭネットワークによって生成された前記第１の傾眠予測及び前記第２の傾眠予測が、カロリンスカ眠気尺度（ＫＳＳ）値に対応する、請求項１０に記載のシステム。
【請求項13】
前記複数の顔ランドマークを使用して前記人についての頭部姿勢情報を決定するための頭部姿勢決定ネットワークであって、前記第１の時間ネットワークが、前記複数の顔ランドマークの配向を調整するために、前記頭部姿勢情報に少なくとも部分的に基づいて、前記複数の顔ランドマークの変換を実施するためのものである、頭部姿勢決定ネットワーク
をさらに備える、請求項１０に記載のシステム。
をさらに備える、請求項１０に記載のシステム。
【請求項14】
瞬目パラメータの前記セットの少なくともサブセットが、顔ランドマークのセットから計算されるアスペクト比情報を使用して決定される、請求項１０に記載のシステム。
【請求項15】
前記システムが、
シミュレーション動作を実施するためのシステム、
自律機械アプリケーションをテスト又は検証するためのシミュレーション動作を実施するためのシステム、
グラフィカル出力をレンダリングするためのシステム、
深層学習動作を実施するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
１つ又は複数の仮想機械（ＶＭ）を組み込んだシステム、
少なくとも部分的にデータ・センタにおいて実装されるシステム、或いは
少なくとも部分的にクラウド・コンピューティング・リソースを使用して実装されるシステム
のうちの少なくとも１つを備える、請求項１０に記載のシステム。
シミュレーション動作を実施するためのシステム、
自律機械アプリケーションをテスト又は検証するためのシミュレーション動作を実施するためのシステム、
グラフィカル出力をレンダリングするためのシステム、
深層学習動作を実施するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
１つ又は複数の仮想機械（ＶＭ）を組み込んだシステム、
少なくとも部分的にデータ・センタにおいて実装されるシステム、或いは
少なくとも部分的にクラウド・コンピューティング・リソースを使用して実装されるシステム
のうちの少なくとも１つを備える、請求項１０に記載のシステム。
【請求項16】
ある時間期間にわたって人の顔の表現を含む画像データをキャプチャするためのカメラと、
１つ又は複数のプロセッサと、
命令を含むメモリと
を備える、傾眠検出システムであって、前記命令は、前記１つ又は複数のプロセッサによって実行されたとき、前記システムに、
人の顔の表現を含む画像中の顔ランドマークのセットを識別することと、
前記画像の少なくとも一部分から、少なくとも、前記人の眼が開いている又は閉じているかどうかを示す、眼状態情報を決定することと、
前記顔ランドマークに少なくとも部分的に基づいて、前記人についての頭部姿勢情報を決定することと、
顔ランドマークの前記セットと、前記頭部姿勢情報と、前記眼状態情報とに少なくとも部分的に基づいて、最近の時間期間にわたる前記人についての瞬目パラメータのセットを決定することと、
前記眼状態情報を使用して、前記最近の時間期間についての瞬目頻度情報を決定することと、
瞬目パラメータの前記セットを第１の時間ネットワークへの入力として使用して、前記人についての第１の傾眠予測を決定することと、
前記瞬目頻度情報を第２の時間ネットワークへの入力として使用して、前記人についての第２の傾眠予測を決定することと、
前記第１の傾眠予測及び前記第２の傾眠予測に少なくとも部分的に基づいて、前記人についての全体的な傾眠決定を生成することと
を行わせる、傾眠検出システム。
１つ又は複数のプロセッサと、
命令を含むメモリと
を備える、傾眠検出システムであって、前記命令は、前記１つ又は複数のプロセッサによって実行されたとき、前記システムに、
人の顔の表現を含む画像中の顔ランドマークのセットを識別することと、
前記画像の少なくとも一部分から、少なくとも、前記人の眼が開いている又は閉じているかどうかを示す、眼状態情報を決定することと、
前記顔ランドマークに少なくとも部分的に基づいて、前記人についての頭部姿勢情報を決定することと、
顔ランドマークの前記セットと、前記頭部姿勢情報と、前記眼状態情報とに少なくとも部分的に基づいて、最近の時間期間にわたる前記人についての瞬目パラメータのセットを決定することと、
前記眼状態情報を使用して、前記最近の時間期間についての瞬目頻度情報を決定することと、
瞬目パラメータの前記セットを第１の時間ネットワークへの入力として使用して、前記人についての第１の傾眠予測を決定することと、
前記瞬目頻度情報を第２の時間ネットワークへの入力として使用して、前記人についての第２の傾眠予測を決定することと、
前記第１の傾眠予測及び前記第２の傾眠予測に少なくとも部分的に基づいて、前記人についての全体的な傾眠決定を生成することと
を行わせる、傾眠検出システム。
【請求項17】
前記命令が、実行された場合、前記傾眠検出システムに、
前記全体的な傾眠決定に少なくとも部分的に基づいて、前記人に関してとるべき少なくとも１つのアクションを決定すること
をさらに行わせる、請求項１６に記載の傾眠検出システム。
前記全体的な傾眠決定に少なくとも部分的に基づいて、前記人に関してとるべき少なくとも１つのアクションを決定すること
をさらに行わせる、請求項１６に記載の傾眠検出システム。
【請求項18】
前記命令が、実行された場合、前記傾眠検出システムに、
前記画像を使用して、前記人の識別情報を決定することと、
前記人の１つ又は複数の瞬目挙動を示す、前記人についての瞬目プロファイルを識別することと、
前記１つ又は複数の瞬目挙動についてのデータにさらに基づいて、少なくとも前記第１の傾眠予測を生成することと
をさらに行わせる、請求項１６に記載の傾眠検出システム。
前記画像を使用して、前記人の識別情報を決定することと、
前記人の１つ又は複数の瞬目挙動を示す、前記人についての瞬目プロファイルを識別することと、
前記１つ又は複数の瞬目挙動についてのデータにさらに基づいて、少なくとも前記第１の傾眠予測を生成することと
をさらに行わせる、請求項１６に記載の傾眠検出システム。
【請求項19】
前記命令が、実行された場合、前記傾眠検出システムに、
顔ランドマークの前記セットの配向を調整するために、前記頭部姿勢情報に少なくとも部分的に基づいて、顔ランドマークの前記セットの変換を実施すること
をさらに行わせる、請求項１６に記載の傾眠検出システム。
顔ランドマークの前記セットの配向を調整するために、前記頭部姿勢情報に少なくとも部分的に基づいて、顔ランドマークの前記セットの変換を実施すること
をさらに行わせる、請求項１６に記載の傾眠検出システム。
【請求項20】
前記第１の時間ネットワーク及び前記第２の時間ネットワークが、長短期メモリ（ＬＳＴＭ）ネットワークであり、前記ＬＳＴＭネットワークによって生成された前記第１の傾眠予測及び前記第２の傾眠予測が、カロリンスカ眠気尺度（ＫＳＳ）値に対応する、請求項１６に記載の傾眠検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロバストな状態推定に関するものである。
【背景技術】
【0002】
様々な環境において安全を改善したいという要望が常に存在する。これは、たとえば、十分な注意又は意識を伴って動作されない場合に損傷又は負傷を生じ得る、車両又は機械類などのデバイスを動作させていることがある人の傾眠（ｄｒｏｗｓｉｎｅｓｓ）を正確に決定することを含むことができる。傾眠又は警戒などの状態を決定することを試みるためのシステムが存在するが、これらのシステムは、すべての状況において正確であるとは限らないか、或いはユーザ間、ユーザ状態間、又は環境条件間の変動に対して十分にロバストでない。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】“Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles” (e.g., Standard No. J3016-201806, published on June 15, 2018, Standard No. J3016-201609, published on September 30, 2016, and previous and future versions of this standard)
【発明の概要】
【課題を解決するための手段】
【0004】
本開示による様々な実施例が、図面を参照しながら説明される。
【図面の簡単な説明】
【0005】
【図1A】少なくとも１つの実施例による、車両の構成要素の実例を示す図である。
【図1B】少なくとも１つの実施例による、車両の構成要素の実例を示す図である。
【図2A】少なくとも１つの実施例による、利用され得る特徴データを示す図である。
【図2B】少なくとも１つの実施例による、利用され得る特徴データを示す図である。
【図2C】少なくとも１つの実施例による、利用され得る特徴データを示す図である。
【図2D】少なくとも１つの実施例による、利用され得る特徴データを示す図である。
【図2E】少なくとも１つの実施例による、利用され得る特徴データを示す図である。
【図2F】少なくとも１つの実施例による、利用され得る特徴データを示す図である。
【図3】少なくとも１つの実施例による、利用され得る傾眠推定システムを示す図である。
【図4】少なくとも１つの実施例による、対象者（ｓｕｂｊｅｃｔ）の状態を推定するための例示的なプロセスを示す図である。
【図5A】少なくとも１つの実施例による、対象者の状態の変化によるものではない変動又は挙動を考慮するためのプロセスを示す図である。
【図5B】少なくとも１つの実施例による、対象者の状態の変化によるものではない変動又は挙動を考慮するためのプロセスを示す図である。
【図6】少なくとも１つの実施例による、人の状態を決定するためのシステムの構成要素を示す図である。
【図7A】少なくとも１つの実施例による、推論及び／又は訓練論理（ｔｒａｉｎｉｎｇ ｌｏｇｉｃ）を示す図である。
【図7B】少なくとも１つの実施例による、推論及び／又は訓練論理を示す図である。
【図8】少なくとも１つの実施例による、例示的なデータ・センタ・システムを示す図である。
【図9】少なくとも１つの実施例による、コンピュータ・システムを示す図である。
【図10】少なくとも１つの実施例による、コンピュータ・システムを示す図である。
【図11】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図12】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図13】少なくとも１つの実施例による、先進コンピューティング・パイプラインのための例示的なデータ・フロー図である。
【図14】少なくとも１つの実施例による、先進コンピューティング・パイプラインにおいて機械学習モデルを訓練し、適応させ、インスタンス化し、導入するための例示的なシステムのためのシステム図である。
【図15A】少なくとも１つの実施例による、機械学習モデルを訓練するためのプロセスのためのデータ・フロー図である。
【図15B】少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャを示す図である。
【図16A】少なくとも１つの実施例による、車両システムとともに使用され得る構成要素を示す図である。
【図16B】少なくとも１つの実施例による、車両システムとともに使用され得る構成要素を示す図である。
【発明を実施するための形態】
【0006】
様々な実施例による手法が、人又は他のそのような対象者の状態の決定を提供することができる。特に、様々な実施例は、少なくとも部分的に、時間による人の観察された瞬目（ｂｌｉｎｋ）挙動に基づいて、人の傾眠、疲労、又は警戒状態の決定を提供する。複数のニューラル・ネットワークを含み、したがって、入力データの変化に対して比較的ロバストであり得る、エンドツーエンド傾眠推定システムが利用され得る。これらのニューラル・ネットワークのうちの１つは、キャプチャされた画像データ中の顔ランドマークのセットを決定するために使用され得、それは、ある時間期間にわたって対象者についての瞬目パラメータのセットを決定するために使用され得る。瞬目パラメータのこのセットは、時間ネットワークとともになど、キャプチャされた画像データ中で表された関心の人についての傾眠レベルなど、対象者のための状態値を推論するために使用され得る。別個のニューラル・ネットワークが、中間顔ランドマークの正確さに依拠することなしに、キャプチャされた画像データから（たとえば、開いている又は閉じている）眼状態を決定することができ、これは、全体的なプロセスのロバストネスを改善することができる。眼状態情報は、別の時間ネットワークとともになど、対象者のための別の状態値を推論するために使用され得る。次いで、これらの時間ネットワークからの状態値は、各々が少なくとも最小信頼性を伴って推論される場合、重み付けされた組合せを通してなど、使用されて、人についての全体的な状態値推定を決定し得る。この状態値は、人の状態に基づいてアクションをとるべきか否かを決定するために、並びにどのタイプのアクションをとるべきかを決定するために使用され得る。そのような推定の正確さを改善するために、システムはまた、個々の対象者間の挙動の変動、並びに、運転コンテキストの変化など、現在のコンテキスト又は環境の変化による変動を考慮することを試みることができる。対象者及び／又はコンテキスト・データは、たとえば、ネットワークが、瞬目パラメータ、又は他の観察された挙動データを、現在のコンテキストの下で特定の対象者についてより関連するベースラインと比較することによって、より正確な状態データを推論することができるように、時間ネットワークへの入力として提供され得る。
【0007】
１人又は複数のドライバ又は乗客を含み得る半自律又はコンピュータ支援車両など、図１Ａに示されている車両１００について考える。少なくとも１つの実施例では、車両１００は、限定はしないが、車、トラック、バス、及び／又は１人又は複数の乗客を収容する別のタイプの車両など、乗用車（ｐａｓｓｅｎｇｅｒ ｖｅｈｉｃｌｅ）であり得る。少なくとも１つの実施例では、車両１００は、貨物を運搬するために使用されるセミ・トラクタ・トレーラ・トラックであり得る。少なくとも１つの実施例では、車両１００は、航空機、ロボット車両、又は他の種類の車両であり得る。
【0008】
自律車両は、米国運輸省の一部門である全米高速道路交通安全局（「ＮＨＴＳＡ」：Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）、及び自動車技術者協会（「ＳＡＥ」：Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の非特許文献１によって定義される自動化レベルという観点から説明され得る。１つ又は複数の実施例では、車両１００は、自律運転レベルのレベル１～レベル５のうちの１つ又は複数による機能性に対応可能であり得る。たとえば、少なくとも１つの実施例では、車両１００は、実施例に応じて、条件付き自動化（レベル３）、高度自動化（レベル４）、及び／又は完全自動化（レベル５）に対応可能であり得る。
【0009】
少なくとも１つの実施例では、車両１００は、限定はしないが、シャーシ、車両本体、ホイール（たとえば、２本、４本、６本、８本、１８本など）、タイヤ、車軸、及び車両の他の構成要素など、構成要素を含み得る。少なくとも１つの実施例では、車両１００は、限定はしないが、内燃機関、ハイブリッド電力プラント、完全電気エンジン、及び／又は別の推進システム・タイプなど、推進システム１５０を含み得る。少なくとも１つの実施例では、推進システム１５０は、車両１００のドライブ・トレインに接続され得、ドライブ・トレインは、限定はしないが、車両１００の推進を可能にするためのトランスミッションを含み得る。少なくとも１つの実施例では、推進システム１５０は、（１つ又は複数の）スロットル／アクセラレータ１５２から信号を受信したことに応答して制御され得る。
【0010】
少なくとも１つの実施例では、限定はしないが、ハンドルを含み得る操縦システム１５４は、推進システム１５０が動作しているときに（たとえば、車両が動いているときに）車両１００を（たとえば、所望の経路又はルートに沿って）操縦するために使用される。少なくとも１つの実施例では、操縦システム１５４は、（１つ又は複数の）操縦アクチュエータ１５６から信号を受信し得る。ハンドルは、完全自動化（レベル５）機能性について随意であり得る。少なくとも１つの実施例では、（１つ又は複数の）ブレーキ・アクチュエータ１４８及び／又はブレーキ・センサから信号を受信したことに応答して車両ブレーキを動作させるために、ブレーキ・センサ・システム１４６が使用され得る。
【0011】
少なくとも１つの実施例では、限定はしないが、１つ又は複数のシステム・オン・チップ（「ＳｏＣ」：ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）（図１Ａに図示せず）及び／又は（１つ又は複数の）グラフィックス処理ユニット（「ＧＰＵ」：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得る（１つ又は複数の）コントローラ１３６は、車両１００の１つ又は複数の構成要素及び／又はシステムに（たとえば、コマンドを表す）信号を提供する。たとえば、少なくとも１つの実施例では、（１つ又は複数の）コントローラ１３６は、（１つ又は複数の）ブレーキ・アクチュエータ１４８を介して車両ブレーキを動作させるための信号、（１つ又は複数の）操縦アクチュエータ１５６を介して操縦システム１５４を動作させるための信号、及び／又は（１つ又は複数の）スロットル／アクセラレータ１５２を介して推進システム１５０を動作させるための信号を送出し得る。（１つ又は複数の）コントローラ１３６は、自律運転を可能にし、及び／又は人間のドライバが車両１００を運転するのを支援するために、センサ信号を処理し、動作コマンド（たとえば、コマンドを表す信号）を出力する１つ又は複数の搭載（たとえば、一体型の）コンピューティング・デバイス（たとえば、スーパーコンピュータ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ１３６は、自律運転機能のための第１のコントローラ１３６、機能的安全機能のための第２のコントローラ１３６、人工知能機能性（たとえば、コンピュータ・ビジョン）のための第３のコントローラ１３６、インフォテイメント機能性のための第４のコントローラ１３６、緊急事態における冗長性のための第５のコントローラ１３６、及び／又は他のコントローラを含み得る。少なくとも１つの実施例では、単一のコントローラ１３６が、上記の機能性のうちの２つ又はそれ以上に対処し得、２つ又はそれ以上のコントローラ１３６が、単一の機能性に対処し得、及び／又はこれらの任意の組合せであり得る。
【0012】
少なくとも１つの実施例では、（１つ又は複数の）コントローラ１３６は、１つ又は複数のセンサから受信されたセンサ・データ（たとえば、センサ入力）に応答して、車両１００の１つ又は複数の構成要素及び／又はシステムを制御するための信号を提供する。少なくとも１つの実施例では、センサ・データは、たとえば、限定はしないが、（１つ又は複数の）全地球的航法衛星システム（「ＧＮＳＳ」：ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）センサ１５８（たとえば、（１つ又は複数の）全地球測位システム・センサ）、（１つ又は複数の）ＲＡＤＡＲセンサ１６０、（１つ又は複数の）超音波センサ１６２、（１つ又は複数の）ＬＩＤＡＲセンサ１６４、（１つ又は複数の）慣性測定ユニット（「ＩＭＵ」：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ１６６（たとえば、（１つ又は複数の）加速度計、（１つ又は複数の）ジャイロスコープ、（１つ又は複数の）磁気コンパス、（１つ又は複数の）磁力計など）、（１つ又は複数の）マイクロフォン１９６、（１つ又は複数の）ステレオ・カメラ１６８、（１つ又は複数の）広角カメラ１７０（たとえば、魚眼カメラ）、（１つ又は複数の）赤外線カメラ１７２、（１つ又は複数の）周囲カメラ１７４（たとえば、３６０度カメラ）、長距離カメラ（図１Ａに図示せず）、（１つ又は複数の）中距離カメラ（図１Ａに図示せず）、（たとえば、車両１００のスピードを測定するための）（１つ又は複数の）スピード・センサ１４４、（１つ又は複数の）振動センサ１４２、（１つ又は複数の）操縦センサ１４０、（たとえば、ブレーキ・センサ・システム１４６の一部としての）（１つ又は複数の）ブレーキ・センサ、及び／又は他のセンサ・タイプから、受信され得る。
【0013】
少なくとも１つの実施例では、（１つ又は複数の）コントローラ１３６のうちの１つ又は複数は、車両１００の計器クラスタ１３２からの（たとえば入力データによって表される）入力を受信し、ヒューマン・マシン・インターフェース（「ＨＭＩ」：ｈｕｍａｎ－ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）ディスプレイ１３４、可聴アナンシエータ、拡声器を介して、及び／又は車両１００の他の構成要素を介して、（たとえば、出力データ、ディスプレイ・データなどによって表される）出力を提供し得る。少なくとも１つの実施例では、出力は、車両速度、スピード、時間、地図データ（たとえば、高精細度地図（図１Ａに図示せず）、ロケーション・データ（たとえば、地図上などの車両１００のロケーション）、方向、他の車両のロケーション（たとえば、占有グリッド）、（１つ又は複数の）コントローラ１３６によって感知された物体及び物体のステータスに関する情報など、情報を含み得る。たとえば、少なくとも１つの実施例では、ＨＭＩディスプレイ１３４は、１つ又は複数の物体（たとえば、道路標識、警告標識、信号の変化など）の存在に関する情報、及び／或いは、車両が行った、行っている、又はこれから行う運転操作に関する情報（たとえば、現在車線変更中、３．２２ｋｍ（２マイル）先の出口３４Ｂを出る、など）を表示し得る。
【0014】
少なくとも１つの実施例では、車両１００はネットワーク・インターフェース１２４をさらに含み、ネットワーク・インターフェース１２４は、１つ又は複数のネットワークを介して通信するために（１つ又は複数の）ワイヤレス・アンテナ１２６及び／又は（１つ又は複数の）モデムを使用し得る。たとえば、少なくとも１つの実施例では、ネットワーク・インターフェース１２４は、ロング・ターム・エボリューション（「ＬＴＥ」：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、広帯域符号分割多元接続（「ＷＣＤＭＡ（登録商標）」：Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ユニバーサル・モバイル・テレコミュニケーション・システム（「ＵＭＴＳ」：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、モバイル通信用グローバル・システム（「ＧＳＭ」：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＩＭＴ－ＣＤＭＡマルチ・キャリア（「ＣＤＭＡ２０００」）などを介した通信が可能であり得る。また、少なくとも１つの実施例では、（１つ又は複数の）ワイヤレス・アンテナ１２６は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ低エネルギー（「ＬＥ」：Ｌｏｗ Ｅｎｅｒｇｙ）、Ｚ波、ＺｉｇＢｅｅなどの（１つ又は複数の）ローカル・エリア・ネットワーク、及び／又はＬｏＲａＷＡＮ、ＳｉｇＦｏｘなどの（１つ又は複数の）低電力ワイド・エリア・ネットワーク（「ＬＰＷＡＮ」：ｌｏｗ ｐｏｗｅｒ ｗｉｄｅ－ａｒｅａ ｎｅｔｗｏｒｋ）を使用して、環境内の物体（たとえば、車両、モバイル・デバイスなど）間の通信を可能にし得る。
【0015】
図１Ｂは、少なくとも１つの実施例による、図１Ａの自律車両１００についてのカメラ・ロケーション及び視野の一実例を示す。少なくとも１つの実施例では、カメラ及びそれぞれの視野は、１つの例示的な実施例であり、限定するものではない。たとえば、少なくとも１つの実施例では、追加及び／又は代替のカメラが含まれ得、及び／又は、カメラは車両１００上の異なるロケーションに位置し得る。
【0016】
少なくとも１つの実施例では、カメラについてのカメラ・タイプは、限定はしないが、車両１００の構成要素及び／又はシステムとともに使用するために適応され得るデジタル・カメラを含み得る。少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数が、自動車安全性要求レベル（「ＡＳＩＬ」：ａｕｔｏｍｏｔｉｖｅ ｓａｆｅｔｙ ｉｎｔｅｇｒｉｔｙ ｌｅｖｅｌ）Ｂ及び／又は別のＡＳＩＬにおいて動作し得る。少なくとも１つの実施例では、カメラ・タイプは、実施例に応じて、毎秒６０フレーム（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）、１２０ｆｐｓ、２４０ｆｐｓなど、任意の画像キャプチャ・レートが可能であり得る。少なくとも１つの実施例では、カメラは、ローリング・シャッター、グローバル・シャッター、別のタイプのシャッター、又はそれらの組合せを使用することが可能であり得る。少なくとも１つの実施例では、カラー・フィルタ・アレイは、赤色、クリア、クリア、クリア（「ＲＣＣＣ」：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｃｌｅａｒ）のカラー・フィルタ・アレイ、赤色、クリア、クリア、青色（「ＲＣＣＢ：ｒｅｄ ｃｌｅａｒ ｃｌｅａｒ ｂｌｕｅ」）のカラー・フィルタ・アレイ、赤色、青色、緑色、クリア（「ＲＢＧＣ」：ｒｅｄ ｂｌｕｅ ｇｒｅｅｎ ｃｌｅａｒ）のカラー・フィルタ・アレイ、Ｆｏｖｅｏｎ Ｘ３のカラー・フィルタ・アレイ、ベイヤー・センサ（「ＲＧＧＢ」）のカラー・フィルタ・アレイ、モノクロ・センサのカラー・フィルタ・アレイ、及び／又は別のタイプのカラー・フィルタ・アレイを含み得る。少なくとも１つの実施例では、光感度を上げるために、ＲＣＣＣ、ＲＣＣＢ、及び／又はＲＢＧＣのカラー・フィルタ・アレイをもつカメラなど、クリア・ピクセル・カメラが使用され得る。
【0017】
少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数が、先進ドライバ支援システム（「ＡＤＡＳ」：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）機能を（たとえば、冗長設計又はフェイル・セーフ設計の一部として）実施するために使用され得る。たとえば、少なくとも１つの実施例では、車線逸脱警告、交通標識支援及びインテリジェント・ヘッドライト制御を含む機能を提供するために、多機能モノ・カメラが設置され得る。少なくとも１つの実施例では、（１つ又は複数の）カメラのうちの１つ又は複数（たとえば、カメラのすべて）が、画像データ（たとえば、ビデオ）を同時に記録し、提供し得る。
【0018】
少なくとも１つの実施例では、カメラのうちの１つ又は複数が、カメラの画像データ・キャプチャ・アビリティを妨げ得る迷光及び車内からの反射（たとえば、ダッシュボードからフロントガラスに反射される反射）をなくすために、カスタム設計の（３次元（「３Ｄ」：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）印刷された）アセンブリなどの取付けアセンブリにおいて取り付けられ得る。ドアミラー取付けアセンブリを参照すると、少なくとも１つの実施例では、ドアミラー・アセンブリは、カメラ取付けプレートがドアミラーの形状にマッチするように、カスタム３Ｄ印刷され得る。少なくとも１つの実施例では、（１つ又は複数の）カメラは、ドアミラーに組み込まれ得る。サイド・ビュー・カメラについて、（１つ又は複数の）カメラはまた、少なくとも１つの実施例では、各角にある４本のピラー内に組み込まれ得る。
【0019】
少なくとも１つの実施例では、車両１００の前方の環境の部分を含む視野をもつカメラ（たとえば、正面カメラ）は、正面の経路及び障害物を識別するのを助け、並びに、コントローラ１３６及び／又は制御ＳｏＣのうちの１つ又は複数の助けで、占有グリッドを生成すること及び／又は好ましい車両経路を決定することに不可欠な情報を提供するのを補助するために、周囲ビューのために使用され得る。少なくとも１つの実施例では、正面カメラは、限定はしないが、緊急ブレーキと、歩行者検出と、衝突回避とを含む、ＬＩＤＡＲと同じＡＤＡＳ機能の多くを実施するために使用され得る。少なくとも１つの実施例では、正面カメラはまた、限定はしないが、車線逸脱警告（「ＬＤＷ」：Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、自律走行制御（「ＡＣＣ」：Ａｕｔｏｎｏｍｏｕｓ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、及び／又は交通標識認識などの他の機能を含むＡＤＡＳ機能及びシステムのために使用され得る。
【0020】
少なくとも１つの実施例では、たとえば、ＣＭＯＳ（「相補型金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）」）カラー・イメージャを含む単眼カメラ・プラットフォームを含む様々なカメラが、正面構成において使用され得る。少なくとも１つの実施例では、周辺からビューに入ってくる物体（たとえば、歩行者、横断する交通、又は自転車）を知覚するために、広角カメラ１７０が使用され得る。図１Ｂには１つの広角カメラ１７０のみが示されているが、他の実施例では、車両１００上に（ゼロを含む）任意の数の広角カメラ１７０があり得る。少なくとも１つの実施例では、特にニューラル・ネットワークがそれに対してまだ訓練されていない物体について、深度ベースの物体検出のために、（１つ又は複数の）任意の数の長距離カメラ１９８（たとえば、ロングビュー・ステレオ・カメラ・ペア）が使用され得る。少なくとも１つの実施例では、（１つ又は複数の）長距離カメラ１９８は、物体検出及び分類、並びに基本的な物体追跡のためにも使用され得る。
【0021】
少なくとも１つの実施例では、任意の数のステレオ・カメラ１６８も、正面構成に含まれ得る。少なくとも１つの実施例では、（１つ又は複数の）ステレオ・カメラ１６８のうちの１つ又は複数は、スケーラブル処理ユニットを備える一体型制御ユニットを含み得、この制御ユニットは、一体型のコントローラ・エリア・ネットワーク（「ＣＡＮ」：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はイーサネット・インターフェースを単一のチップ上にもつプログラマブル論理（「ＦＰＧＡ」）及びマルチコア・マイクロプロセッサを提供し得る。少なくとも１つの実施例では、そのようなユニットは、画像中のすべてのポイントについての距離推定を含む、車両１００の環境の３Ｄ地図を生成するために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ステレオ・カメラ１６８のうちの１つ又は複数は、限定はしないが、（１つ又は複数の）コンパクト・ステレオ・ビジョン・センサを含み得、このセンサは、限定はしないが、車両１００からターゲット物体までの距離を測定し、生成された情報（たとえば、メタデータ）を使用して自律緊急ブレーキ及び車線逸脱警告機能をアクティブ化し得る２つのカメラ・レンズ（左及び右に１つずつ）及び画像処理チップを含み得る。少なくとも１つの実施例では、本明細書で説明されるものに加えて、又はその代替として、他のタイプの（１つ又は複数の）ステレオ・カメラ１６８が使用され得る。
【0022】
少なくとも１つの実施例では、車両１００の側方の環境の部分を含む視野をもつカメラ（たとえば、サイド・ビュー・カメラ）が、周囲ビューのために使用され、占有グリッドを作成及び更新し、並びに側面衝突警告を生成するために使用される情報を提供し得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）周囲カメラ１７４（たとえば、図１Ｂに示されている４つの周囲カメラ１７４）が、車両１００上に位置決めされ得る。少なくとも１つの実施例では、（１つ又は複数の）周囲カメラ１７４は、限定はしないが、任意の数及び組合せの広角カメラ１７０、（１つ又は複数の）魚眼カメラ、（１つ又は複数の）３６０度カメラなどを含み得る。たとえば、少なくとも１つの実施例では、４つの魚眼カメラが、車両１００の前方、後方、及び側方に位置決めされ得る。少なくとも１つの実施例では、車両１００は、３つの周囲カメラ１７４（たとえば、左、右、及び後方）を使用し得、第４の周囲ビュー・カメラとして、１つ又は複数の他のカメラ（たとえば、正面カメラ）を活用し得る。
【0023】
少なくとも１つの実施例では、車両１００の後方への環境の部分を含む視野をもつカメラ（たとえば、リア・ビュー・カメラ）が、駐車支援、周囲ビュー、後方衝突警告、並びに占有グリッドの作成及び更新のために使用され得る。少なくとも１つの実施例では、限定はしないが、本明細書で説明されるように、（１つ又は複数の）正面カメラとしても好適なカメラ（たとえば、長距離カメラ１９８、及び／又は（１つ又は複数の）中距離カメラ１７６、（１つ又は複数の）ステレオ・カメラ１６８）、（１つ又は複数の）赤外線カメラ１７２など）を含む、多種多様なカメラが使用され得る。
【0024】
様々な状況では、そのような車両中の、又はそれに関連付けられた、人の状態を決定することが望ましいことがある。これは、たとえば、この車両のドライバの傾眠又は警戒の状態を決定することを含み得る。様々な実施例による手法が、関心の人の少なくとも一部分の画像又はビデオ・データをキャプチャすることができる、そのような車両のための前に説明されたものなど、１つ又は複数のカメラ又は撮像センサを利用することができる。これは、たとえば、ドライバ座席、又は少なくともいくらかの量の車両制御に関連付けられた他の位置に座っている、ドライバ又は他の人の少なくとも顔をキャプチャすることが可能である、ドライバのほうを向くカメラを含むことができる。そのようなカメラは、他のオプションの中でも、たとえば、計器クラスタ、リア・ビュー・ミラー、左ピラー、又はタッチ・インターフェース上の或いはそれらに近接したなどの、任意の適切なロケーションに位置決めされ得る。そのようなカメラは、任意の適切な解像度のフル・カラー又はグレースケール・カメラであり得、様々な実施例において、赤外線（ＩＲ）又は他のセンサをも含み得る。
【0025】
少なくとも１つの実施例では、そのような人のビデオ又は画像が、特定の時間において、周期的に、又は連続的に、キャプチャされ得る。特定の時間においてキャプチャされる場合、これらの時間は、選択アルゴリズムに従って決定され得るか、或いは、ドライバ傾眠に関連付けられ得るアクション又は挙動に応答して送出される車両システムからの信号など、１つ又は複数のトリガに少なくとも部分的に基づいて決定され得る。他の実施例では、より多くの注意が必要とされ得る混雑した市街地エリアに移動すること、或いはドライバが傾眠する可能性が高くなり得る夕方又は夜間になることなど、環境の変化に応答してトリガが送出され得る。そのようなタイミングはまた、ユーザ、アプリケーション、又はデバイス構成可能であり得る。
【0026】
少なくとも１つの実施例では、一連の画像又はビデオ・フレームのシーケンス（たとえば、ストリーム）が、１つ又は複数のカメラを使用してキャプチャされ得る。一般的な状況下では、これらの画像又はビデオ・フレームは、図２Ａの画像２００に示されているような、関心の人の少なくとも顔部分の表現を含むことになる。人に対するカメラのロケーション及び視野などのファクタに応じて、キャプチャされた画像は、主に人の顔領域を表し得るか、又は胴、腕などの部分を含み得るより大きいビューを含み得る。少なくとも１つの実施例では、そのような画像は、人の顔がこの画像中に存在するかどうかを決定することを試みることができる、顔検出ネットワーク、又は他の顔検出器に渡され得る。たとえば、人が、現在そのロケーションにおいて位置決めされていないか、カメラから離れるほうに向きを変えるか、又はさもなければ、信頼性のある顔検出を可能にするためにその人の顔の十分な部分が画像中で表されないような位置にいる場合、顔が表されないことがある。車両の動作中に、カメラと顔との間に位置決めされた腕又は手など、顔のビューを遮る何らかの障害物がある場合もあり得る。
【0027】
顔が画像（又はビデオ・フレームなど）中で検出された場合、その画像は、分析のために選択され得る。説明を簡単にするために、「画像」又は「画像データ」という用語は多くの実例で使用されることになるが、これは、人の１つ又は複数の視覚態様のための情報をキャプチャする又は表すことができる、任意のフォーマットのビデオ・フレーム、ビデオ・データ、センサ・データ、又は任意の他のタイプのデータをも指し得ることを理解されたい。人が正常状態又は警戒状態にある場合、システムが１０画像ごとに分析し得るが、人があまり警戒しない状態又は傾眠状態にある場合、システムは、より頻繁に画像を分析し得るなど、あらゆるキャプチャされた画像が分析されるとは限らないことがある。画像はまた、本明細書の他の場所でより詳細に説明されるように、いくつかの環境条件又は運転コンテキストのためにより頻繁に分析され得る。少なくとも１つの実施例では、必要とされるメモリの量及び処理容量を低減すること、並びに、画像のより関連する部分に焦点を当てることを行うために、画像の顔領域に対応するデータが、分析されるべき画像の一部分を選択するために使用され得、これは、少なくともいくつかのシステムのための推論又は決定の正確さを改善するのを助けることができる。
【0028】
分析されるべき画像について、その画像の少なくとも顔部分が、顔ランドマーク検出ネットワークなど、第１のニューラル・ネットワークを使用して処理され得る。顔部分は、顔検出ネットワークによって提供される座標又はバウンディング・ボックスによって識別され得る。様々な実施例の範囲内で、他の特徴検出機構も使用され得る。顔ランドマーク検出ネットワークが、画像中のランドマーク、基準ポイント、又は特徴の特定のタイプのロケーションを推論するように訓練され得る。これは、たとえば、入力画像中で表されるか又は検出可能である、１００個又はそれ以上の異なる特徴のうちのいずれかを識別することを含み得る。図２Ａに示されているように、これは、人の耳の上部及び下部などのランドマーク２０２を識別することを含み得る。そのようなランドマークは、少なくとも、それらが、画像をキャプチャしているカメラに関する頭部の姿勢又は配向を決定するのを助けることができるということのために有用であり得る。図２Ｂの画像領域２３０に示されたものなど、他のランドマーク２３２も有用であり得る。これらのランドマークは、人の各虹彩の極値（ここでは上部、下部、左、及び右）に対応し、これは、次いで、この人が自分の眼を開いた量などの情報を決定するために使用され得る。連続フレーム間のこれらのランドマーク２３２の相対的な位置の変化が、瞬目を検出するために、並びに個々の瞬目の振幅、速度、又は持続時間などの値を決定するために使用され得る。少なくとも１つの実施例では、画像中の所与のランドマークの座標、並びに識別されたランドマークのタイプの識別情報を含み得るものなど、任意の検出されたランドマークについての情報が、顔ランドマーク検出ネットワークによって出力され得る。
【0029】
これらの特徴又はランドマークのうちの少なくともいくつかのためのデータがまた、他の態様又は挙動を決定するための他のニューラル・ネットワーク、アルゴリズム、又はモジュールへの入力として提供され得る。たとえば、人の眼に関係する顔ランドマークが、入力画像の少なくとも顔部分とともに、人の眼に対応する入力画像の領域を決定するために、眼状態決定ニューラル・ネットワークに提供され得る。他の実施例では、顔ランドマークのうちのいくつかは、入力画像を（１つ又は複数の）眼領域のみにクロップするために使用され、このクロップされた画像データは、眼状態ネットワークへの入力として提供され得る。これは、眼状態ニューラル・ネットワークが、眼状態に関するより正確な推論を提供するために、及び対応するネットワーク・トレーニング・プロセスを簡略化するために、眼に対応する、入力画像の部分に焦点を当てることを可能にする。少なくとも１つの実施例では、眼状態ネットワークは、バイナリ判定ネットワークのための開いている又は閉じている眼などの各眼の状態、或いは他のもののための、開いている、閉じている、又は部分的に開いている（潜在的に、開いていること（ｏｐｅｎｎｅｓｓ）のある値をもつ）などの値を出力し得る。これは、この状態決定における信頼性値とともに、全体的な瞬目振幅の推論される距離又は割合など、部分的に開いている状態についての、開いていることの測定のいくらかの量を含み得る。
【0030】
これらのランドマークのうちの少なくともいくつかのためのデータはまた、少なくとも、画像をキャプチャするために使用されるカメラの視点に関する、人のための頭部姿勢を決定するためのニューラル・ネットワーク、プロセス、又はアルゴリズムに渡され得る。図２Ａに示されているように、これらの顔ランドマークのうちの少なくともいくつかの相対的な間隔及びロケーションは、画像の中心にあり、カメラを直接見ているように思われるように位置決めされるか、又は、（画像データが２Ｄである場合）２Ｄ画像の平面に直交する頭部に対応し得るように、デフォルト配向、軸、又は座標系に対する頭部のロール、ピッチ、及びヨーなど、頭部の姿勢を決定するために使用され得る。姿勢情報は、頭部姿勢又は配向によるものであるランドマーク位置と、人のアクション又は挙動によるものでないランドマーク位置との間の差を決定するのに有用であり得る。姿勢情報はまた、これらのランドマークの位置を正規化するか、又は姿勢の影響を除去するために使用され得る。たとえば、姿勢情報は、頭部姿勢の影響が除去されたランドマークの表現２６０を生成するために、ランドマークの決定された位置に適用されるべき変換を決定するために使用され得、したがって、顔がデフォルト配向又は位置にあったかのように、特徴が顔に対応する。そのような手法は、特徴又はランドマーク間の距離、並びに時間によるそれらの距離の変動のより正確な決定を提供するのを助けることができる。少なくとも１つの実施例では、顔ランドマーク・データは、３次元（３Ｄ）グランド・トゥルース頭部モデルと、ランドマークをそのモデルに相関させ、画像中のそのモデルの相対的な配向を決定するために、比較され得る。少なくとも１つの実施例では、ｓｏｌｖｅＰｎＰ技法が、３次元における頭部位置及び回転を推定するために使用され得る。
【0031】
いくつかの事例では、瞬目関係情報を決定するために、顔ランドマーク・ネットワークと眼状態ネットワークの両方を使用するのではなく、単一のネットワークを利用することが十分であり得る。たとえば、図２Ｄ中の画像２７０に示されているように、顔ランドマーク２７２が、人の眼がいつ開いているかを決定するために利用され得、図２８０に示されているように、顔ランドマーク２８２が、人の眼がいつ閉じているか、並びに中間の状態を決定するために使用され得る。これらのランドマークは、次いで、瞬目振幅、持続時間、及び速度などの瞬目パラメータに加えて、瞬目頻度などの情報を決定するために使用され得る。しかしながら、ユーザの顔が、少なくとも十分な信頼性又は正確さを伴ってこれらのランドマークが識別されることが可能でないことがある、「極端な」位置などの位置にあり得ることが起こり得る。これは、前に述べられたように、ユーザがカメラから離れるほうを見ている、顔のビューが部分的に不明瞭である、人が反射性の眼鏡を装着しているなどのとき、生じ得る。これらのランドマーク、又は中間特徴における不確実性は、瞬目パラメータ決定における不確実性を生じることがある。
【0032】
したがって、少なくともこれらの極端な条件において、眼状態をより正確に決定することができる眼状態ネットワークが利用され得る。眼状態ネットワークは、眼状態ネットワークが、中間特徴又は値の必要なしに入力画像データから眼状態推論を直接行うように、エンドツーエンド様式で訓練され得る。少なくとも一方の眼の十分な量が入力画像データ中で表される限り、眼状態ネットワークは、相対的な正確さで眼状態を推論することができる。瞬目決定について、中間値が、眼の部分的に開いている又は閉じている状態についていくらかの不確実性を有する場合でも、全体的な瞬目頻度が正確に決定され得るように、眼の開いている及び閉じている状態は、相対的な正確さで決定され得る。たとえば、時間による（たとえば、シーケンスにおけるフレームの数）、眼状態のプロット２９０（たとえば、アスペクト比）が、図２Ｆに示されている。この実例では、測定値の多くが、最大の開いている状態又は瞬目振幅に近い（１に正規化される）値を有する、眼の開いている状態に対応することが分かる。プロットの下部の近くの眼の閉じている状態は、瞬目アクションのほぼ中間、又は少なくとも、アスペクト比がその最低値にあるポイントを表す。部分的に開いている状態のための眼の測定値があまり正確でない場合でも、曲線の全体的な形状は、瞬目の両側の開いている状態間の持続時間が正確に決定され得るように、実質的に変化しないことになる。したがって、極端な位置又は条件の場合でも、少なくとも一方の眼が十分、キャプチャされた画像データ中で可視である限り、眼状態ネットワークは、正確な瞬目頻度決定を生成するために十分な正確さで眼状態を決定することができる。少なくとも１つの実施例では、瞬目特徴を抽出するためのアルゴリズムは、眼が現在のフレームにおいていつ開いている又は閉じていると決定されるかを示す、眼状態ネットワークからの出力を受信することができる。シーケンスにおける最も近いフレームは、連続するフレームが、眼が閉じていること（ｃｌｏｓｕｒｅ）が検出されたかどうかを決定するために分析され得る。閉じている眼を伴う複数のフレームがある場合、最も小さい眼アスペクト比（ＥＡＲ：ｅｙｅ ａｓｐｅｃｔ ｒａｔｉｏ）は、図２Ｆに示されているように、下部ポイントとして決定及び指定され得、それは顔ランドマーク・データに少なくとも部分的に基づき得る。次いで、顔ランドマーク・データから導出されたＥＡＲ値を使用して、瞬目のための開始フレーム及び終了フレームも決定され得る。
【0033】
上述のように、いくつかの実施例では、バイナリ眼状態ネットワークが、瞬目特徴を抽出するために顔ランドマーク・ネットワークとともに使用され得る。バイナリ眼状態ネットワークは、信頼できるバイナリ分類器として働くことができ、所与の瞬目について、眼が閉じていると検出された少なくとも１つのフレームを識別することができる。これらの識別されたフレームのうちのいずれか、並びにシーケンス中の潜在的に近くのフレームは、アスペクト比決定において下部ポイントを決定又は推論するために分析され得る。アスペクト比は、これらのフレームのための顔ランドマークに少なくとも部分的に基づいて計算され得、したがって、異なる個人間で変動し得る、この特定のユーザのための最小眼アスペクト比を決定するために使用され得る。このシーケンス中のフレームは、次いで、眼が十分に開いている、十分に開いているに近い、或いは少なくとも、ある時間期間にわたる最大値にある又はその近くにある、瞬目状態ポイント及び瞬目終了ポイントを識別するために各方向において分析され得る。シーケンスは、最大アスペクト比を決定するために分析され得、これは、少なくともこの特定の対象者のための現在の条件下で、開いている眼状態のための正常最大アスペクト比として設定され得る。この値は、瞬目開始及び停止ポイントを決定するために使用され得、これは、より正確な頻度及び持続時間計算を作り出すのを助けることができる。
【0034】
図３は、様々な実施例による、利用され得る例示的な傾眠推定システム３００の構成要素を示す。この実例では、関心の人のほうを少なくとも部分的に向いている１つ又は複数のカメラ（又はセンサなど）によってキャプチャされた、１つ又は複数の画像３０２は、傾眠推定モジュール３０４（或いはシステム、アプリケーション、サービス、又はプロセスなど）への入力として提供され得る。車両の場合、このモジュール３０４は、車両自体上にあるか、或いは、本明細書で後で説明されるように、クラウドに又は少なくとも１つのワイヤレス・ネットワークを介してアクセス可能なリモート・サーバ上になど、リモートにあり得る。他の実例では、フル画像データに対して分析のために送信されるべきデータの量を低減するために、顔検出及び／又は顔ランドマーク検出に関係し得るような、この機能性の部分は、車両上で実施され得る。
【0035】
この実例では、画像データは顔検出ネットワーク３０６に渡される。このネットワークは、入力画像データ中の顔の存在を推論するように訓練された、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など、任意の適切なニューラル・ネットワークであり得る。少なくとも最小信頼性を伴って、画像中で顔が検出されない場合、画像データは廃棄され得、さらなる分析は、後続のデータが受信されるまで実施されない。顔が検出された場合、画像データの少なくとも一部分が、分析のために少なくとも顔ランドマーク決定ネットワーク３１４に渡され得る。少なくともいくつかの実施例では、画像中の検出された顔のロケーションに関する情報も一緒に渡され得るか、又は、入力画像データは、顔ランドマーク検出ネットワーク３１４への入力として提供する前に、顔領域にクロップされ得る。明らかなように、顔検出ネットワークによって提供される顔領域の座標を仮定すれば、入力画像を顔領域にクロップすることが可能であるモジュールなど、この機能性の少なくとも一部のために利用される追加の構成要素、プロセス、又はモジュールがあり得る。
【0036】
少なくとも１つの実施例では、検出された顔に対応する人を識別することを試みるために、検出された顔についての情報も使用され得る。これは、顔検出ネットワークによって、或いは、顔検出ネットワークと通信している別個の顔識別モジュール又はネットワークによって実施され得る。入力画像、検出された顔データ、又は（いくつかの実施例では、顔ランドマーク検出ネットワーク３１４によって決定された顔ランドマークを潜在的に含む）他の情報が、人データベース３０８又は他のそのようなロケーション中の顔データと比較され得る。人が、最小信頼性しきい値を少なくとも満たす信頼性など、十分な信頼性を伴って識別されることが可能である場合、別の決定が、プロファイル・データベース３１０に記憶された又は他のやり方でアクセス可能な、その人のためのプロファイルがあるかどうかに関して行われ得る。本明細書で後でより詳細に説明されるように、そのようなプロファイル情報は、所与のユーザの特定の瞬目挙動を決定するために使用され得、これは、異なる個人間の瞬目挙動の変動を考慮することによってより正確な傾眠推定を行うために使用され得る。
【0037】
図示のように、少なくとも顔領域のための画像データ、並びに顔検出ネットワーク３０６からの任意の出力、及び任意の人プロファイル・データが、分析のために１つ又は複数のニューラル・ネットワークに渡され得る。この実例では、データは、顔ランドマーク検出ネットワーク３１４、頭部姿勢決定ネットワーク３１２、及び眼状態決定ネットワーク３１６に渡されるが、様々な実施例の範囲内で、他のネットワーク、アルゴリズム、又はプロセスが利用され得る。この実例では、顔ランドマーク・ネットワーク３１４は、できるだけ多くの顔ランドマークのロケーションを推論することを試みるために、入力画像の少なくとも顔部分を分析することができる。ネットワークは、少なくとも１つの実施例では１００個超の異なるランドマークなど、任意の数の異なるランドマークを認識するように訓練され得、画像中の各検出されたランドマークのロケーション、そのランドマークのタイプ、及びその決定又は推論における信頼性を出力することができる。
【0038】
少なくとも１つの実施例では、顔ランドマーク・データの少なくとも一部が、潜在的に入力画像データとともに、頭部姿勢決定ネットワーク３１２に提供され得る。頭部姿勢決定ネットワークは、入力画像中の顔ランドマークの相対的な位置に少なくとも部分的に基づいて、ロール、ピッチ、及びヨーなど、頭部姿勢又は配向データを推論するように訓練され得る。少なくとも１つの実施例では、頭部姿勢ネットワークは、ロール、ピッチ、及びヨー、又は他のそのような配向決定の各々についての推論された値を、１つ又は複数の対応する信頼性値とともに、出力することができる。いくつかの実施例では、頭部姿勢決定ネットワークは、顔ランドマーク・データを使用せずに、入力画像データから頭部姿勢を推論するエンドツーエンド・ネットワークであり得、これは、頭部姿勢決定ネットワークをよりロバストにすることになるが、顔ランドマークが、このシステムにおいていずれにせよ決定されているので、これらのランドマークは、たいていの条件下で同様の正確さで、頭部姿勢をより効率的に決定するために使用され得る。頭部の条件が、ランドマークが正確であるのを妨げる場合、頭部姿勢情報は、本明細書の他の場所で説明されるように、いずれにせよ使用されないことがある。
【0039】
頭部姿勢情報は、顔ランドマーク・データとともに、瞬目パラメータ決定モジュール３１８に提供され得る。少なくとも１つの実施例では、このモジュールは、頭部姿勢情報を使用して、顔ランドマーク・データを正規化するか、又は入力画像データ中の顔の配向によるランドマーク間の相対的な距離の変動を除去することができる。瞬目パラメータ決定モジュールは、次いで、様々な瞬目パラメータについての値を決定するために、この画像、並びにこのシーケンス中の前の画像からのデータを使用することができる。これは、たとえば、最後の１０秒、３０秒、又は分など、最近の時間期間にわたって瞬目振幅、速度、及び持続時間を決定することを含むことができる。様々な実施例の範囲内で、他の瞬目又は状態パラメータについての値も決定され得る。さらに、これらの瞬目パラメータは手作りされ、容易に理解され得るが、これらのパラメータのうちの少なくともいくつかは、前に決定されていないパラメータであり得、これは、訓練中にネットワークによって学習される。この実例では、これらの瞬目パラメータ値は、次いで、分析のために、長短期メモリ（ＬＳＴＭ：ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）ネットワーク３２２、トランスフォーマ、又はゲート・リカレント・ユニット（ＧＲＵ：ｇａｔｅ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）などの時間ネットワーク、或いはサポート・ベクター・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）にフィードされ得る。瞬目パラメータ値は、（ＬＳＴＭ）ネットワーク３２２への入力として、ハンドル・パターン（たとえば、ハンドル移動、反転などの振幅、頻度又は標準偏差）、車線維持パターン（たとえば、車線横断の数、レーン位置の標準偏差）、脳波記録／心電図記録法（ＥＥＧ：ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ／ＥＣＧ：ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｐｈｙ）パターンなど、他の傾眠インジケータ信号と連結され得る。ＬＳＴＭネットワークは、最近の過去におけるイベントに、遠い過去においてよりも大きい重みを適用することによってなど、異なる時間に決定された瞬目値に異なる重みを適用することができ、人についての傾眠値を推論するためにこの情報を使用することができる。最近のデータをより重く重み付けすることは、システムが、時間による、環境データ又は運転コンテキストの変化、或いはユーザの生理的変化に対してよりロバストになるのを助けるが、依然として、所与の人についての時間による観察されたパターンを考慮する。本明細書で後で説明されるように、これは、傾眠状態決定のためのカロリンスカ眠気尺度（ＫＳＳ：Ｋａｒｏｌｉｎｓｋａ Ｓｌｅｅｐｉｎｅｓｓ Ｓｃａｌｅ）値に対応し得るものなど、第１の状態値の決定を含み得る。眠気関係状態決定のために、任意の眠気尺度値（たとえば、スタンフォード眠気尺度（Ｓｔａｎｆｏｒｄ Ｓｌｅｅｐｉｎｅｓｓ Ｓｃａｌｅ）又はエプワース眠気尺度（Ｅｐｗｏｒｔｈ ｓｌｅｅｐｉｎｅｓｓ ｓｃａｌｅ）上の値）、又は眠気による疲労を表す任意の尺度上の値を含み得るものなど、他の状態値も決定され得る。そのような値はまた、眠気又は疲労（又は関心の他の状態）による運転性能の損失など、性能又は能力における損失を表す（たとえば、主観的な又は良好に機能する客観的な）任意の尺度に関して、生成され得る。少なくともいくつかの実施例では、ＬＳＴＭなどの時間ネットワークが、複数の瞬目に基づいてある時間期間にわたって１つ又は複数のパターンを分析する代わりに、瞬時に傾眠を決定することを試みるために使用され得るＳＶＭなどのモデル又はネットワークに、より正確な結果を提供し得る。
【0040】
上述のように、傾眠値は、特に、画像キャプチャ中にカメラからかなり離れるほうに向いた頭部などの極端な条件について、常に信頼できるとは限らないことがある。そのような状況のための傾眠推定のロバストネスを提供するために、傾眠の第２の推定が、眼状態ネットワーク３１６を使用して実施され得る。この実例では、眼状態ネットワーク３１６が、少なくとも、人の眼に関係するランドマーク（又はバウンディング・ボックスなど）について、顔ランドマーク・ネットワークから顔ランドマーク・データを受信することができる。眼状態ネットワークは、次いで、人の１つ又は複数の眼を表す入力画像の１つ又は複数の部分のみに焦点を当てるためにこの情報を使用することができる。他の実施例では、眼状態ネットワークは、顔ランドマーク・データを受信することなしに、入力画像、又は画像の少なくとも顔領域を分析し得る。眼状態ネットワーク３１６は、眼が十分に開いているか、十分に閉じているか、又は部分的に開いている／閉じているかどうかなど、画像中の眼の状態を決定するように訓練され得る。少なくともいくつかの実施例では、ネットワークは、十分に閉じている場合の０と十分に開いている場合の１との間の値など、「開いていること」又は「閉じていること」を表す値を推論することができる。「十分に開いている」眼は、このユーザについての、観察される最大眼瞼分離まで開いている、又はそれ以外の可能である眼に対応することができる。ネットワークは、各決定についてのそれぞれの信頼性値とともに、検出された各眼のために、又は、両方の眼のために一緒に、そのような値を出力することができる。少なくとも１つの実施例では、この情報は、より正確な瞬目パラメータ決定を行うことにおいて使用するための瞬目パラメータ決定モジュール３１８への別の入力として提供され得る。この実例では、眼状態情報は、最近の時間期間にわたる関係情報とともに、瞬目頻度決定モジュール３２０、システム、デバイス、プロセス、又はサービスに提供され得る。瞬目頻度決定モジュール３２０は、人による瞬目アクションの発生を決定するために、最近の時間期間にわたる眼状態の変化を分析することができ、最近の時間期間にわたる瞬目頻度値を計算するためにこれを使用することができる。この瞬目頻度情報は、この例における前の時間期間についての瞬目頻度情報とともに、最近の過去にわたる異なる期間のために取得された瞬目頻度データに異なる重みを適用する別のＬＳＴＭネットワーク３２４に、提供され得る。頻度情報は、（ＬＳＴＭ）ネットワーク３２４への入力として、ハンドル・パターン（たとえば、ハンドル移動、反転などの振幅、頻度又は標準偏差）、車線維持パターン（たとえば、車線横断の数又はレーン位置の標準偏差）、ＥＥＧ／ＥＣＧデータなど、他の傾眠インジケータ信号と連結され得る。このＬＳＴＭネットワーク３２４は、次いで、人のための第２の傾眠値を推論することができ、これは、第２のＫＳＳ値の決定に対応し得る。いくつかの実施例では、これらの値は別々に提供され得るが、この実例では、これらの値は、単出力傾眠推定値を提供するために使用され得る。さらに、顔ランドマーク・データのための信頼性値が、部分的に不明瞭な顔を伴う極端な頭部位置又は画像の場合など、少なくとも最小信頼性しきい値を満たさない場合、顔ランドマーク・データは、第１のＬＳＴＭネットワークに提供されないことがあり、第２のＬＳＴＭネットワークのみが、眼状態ネットワークの１つ又は複数の結果に基づいてその画像についての傾眠予測を行うために使用され得る。
【0041】
傾眠値が、少なくとも一致の許容範囲内で、一致する場合、その推定値は、出力傾眠値３３０として提供され得る。それらの値が一致しない場合、別個の決定についての相対的な信頼性値が分析され得る。一方の決定が高い信頼性を有するが、他方の決定が高い信頼性を有しない場合、高い信頼性を伴う決定が提供され得る。他の実施例では、値は、信頼性によって重み付けされる２つの決定の混合であり得、したがって、８の１つのスコアが高い信頼性を有し、５の１つのスコアが低い信頼性を有する場合、８のスコアに適用されている、より高い重み付けに基づいて、７の最終結果が決定され得る。様々な実施例の範囲内で、様々な他の手法も使用され得る。
【0042】
上述のように、時間における特定のポイント又は期間において人の状態のビューを提供することができる値が、推論又は生成され得る。ＫＳＳ値などの値が、特定の状態の測度又は指示を提供することを試みるために前に生成されたが、従来の手法は、しばしば、不正確な特徴検出などのファクタにより十分な正確さ及びロバストネスを提供しなかった。様々な実施例によるシステムは、複数のネットワークを利用することによってそのような不足を克服することができ、ここで、それらのネットワークは、異なる情報を利用するか又はそれに依拠することができ、したがって、不正確な特徴又は値の単一のセットによって制限されない。上述のように、これは、瞬目頻度特徴（たとえば、ＰｅｒＣＬＯＳ）を導出するために使用され得る瞬目検出のための眼開閉ネットワーク、並びに、瞬目振幅と、瞬目持続時間と、瞬目速度とを含む瞬目特徴抽出のための顔ランドマーク・ネットワークの使用を含むことができる。そのようなシステムはまた、瞬目イベント及び特徴をＫＳＳと相関させるために、２つの時間（たとえば、ＬＳＴＭ）ネットワークを含むことができる。顔ランドマーク信頼性及び頭部姿勢データに少なくとも部分的に基づいて、傾眠推定システムは、これらの時間ネットワークを訓練するために高い信頼性特徴を選択することができる。顔ランドマーク信頼性が高い場合、時間ネットワークは、瞬目振幅、瞬目持続時間、及び瞬目速度とともに瞬目頻度特徴を使用して訓練され得、これらの特徴は、頭部姿勢データを使用して正面化され（ｆｒｏｎｔａｌｉｚｅ）得る（又は、配向による位置への影響が除去され得る）。そうではなく、顔ランドマーク信頼性が低い場合、時間ネットワークは、瞬目頻度データのみを使用して訓練され得る。そのような手法は、複数のネットワーク及びロバストな特徴選択の使用により、傾眠推定正確さを大幅に改善することができる。
【0043】
図４Ａは、様々な実施例による、利用され得る傾眠を決定するための例示的なプロセス４００を示す。本明細書で説明されるこの及び他のプロセスについて、別段に明記されない限り、様々な実施例の範囲内で、同様の又は代替の順序で、或いは少なくとも部分的に並列に実施される、追加の、より少数の、又は代替のステップがあり得ることを理解されたい。さらに、この実例は、車両を動作させている人の傾眠に関して説明されるが、人の状態の決定は、様々な実施例の範囲内で、他のタイプのアクティビティを実施している人又は対象者の他のタイプの状態についても使用され得る。この実例では、車両のドライバなど、関心の人（又は他の対象者）の顔の少なくとも一部分の表現を含む画像データが受信される４０２。この画像データは、画像中の、顔の存在、並びに顔のロケーションに関する情報を決定するために、顔検出器ネットワークを使用して分析され得る４０４。顔が検出されない場合、又は、顔が、少なくとも最小信頼性を伴って決定され得ない場合、プロセスは、この画像データを廃棄し、顔が検出され得る後続の画像データを待ち得る。顔が検出された場合、傾眠状態など、人についての状態情報を決定する際に有用であり得る複数の顔ランドマークを識別することを試みるために、この画像データの少なくとも顔領域が分析され得る４０６。
【0044】
顔ランドマークの少なくとも決定可能なサブセットが識別されると、これらの顔ランドマークは、いくつかの異なるタスクとともに使用され得る。１つのそのようなタスクとして、これらの顔ランドマークのうちの少なくともいくつかは、少なくとも画像データ中で表されるように、関心の人の頭部姿勢を決定することを試みるために頭部姿勢ネットワークに提供され得る４０８。他の実施例では、頭部姿勢が、入力画像データから直接決定され得る。この実例では、顔ランドマーク・データはまた、（画像データ中で表される場合）両方の眼について１つの領域又は各眼について別個の領域など、主に１つ又は複数の眼領域を含んでいるように、入力画像データをクロップするか、又は少なくとも入力画像データの一部分を識別するために、使用される４１０。これらの１つ又は複数の眼領域についての画像データは、眼状態決定ネットワークへの入力として提供され得、これは、バイナリ・ネットワークのための開いている又は閉じている、或いは非バイナリ・ネットワークのための部分的に開いている状態など、人の眼の状態を決定することができる。また、頭部姿勢、眼状態、及び顔ランドマークのセットのいずれか又はすべてが、瞬目速度、持続時間、及び振幅など、眼パラメータのセットについての値を決定するために利用され得る４１２。これらの眼パラメータ値は、最近の時間期間にわたる同様の値とともに、関心の人について、傾眠値など、状態値を推論することを試みるために、第１の時間ネットワークへの入力として、提供され得る４１４。いくつかの実施例では、このステップは、顔ランドマーク及び／又は状態パラメータのセットが、少なくとも信頼性の最小レベル又はしきい値を伴って決定され得る場合のみ、実施され得る。並行して、眼状態決定ネットワークからの眼状態データは、中間顔ランドマーク・データに依存しない眼状態データに基づく別の傾眠値を推論するために、最近の時間期間にわたる同様のデータとともに、別の時間ネットワークに提供され得４１６、これは、この決定を、入力画像データの変動に対してよりロバストにすることができる。次いで、利用可能な場合、これらの推論された傾眠値に少なくとも部分的に基づいて、この人のための全体的な傾眠値が決定され得る４１８。これは、たとえば、他のオプションの中でも、重み付き平均を実施すること、又は最も信頼性のある傾眠値を選択することを含むことができる。全体的な傾眠値が決定されると、この値を受信するシステム、サービス、アプリケーション、モジュール、又はプロセスが、この全体的な傾眠（又は他のそのような状態）値に少なくとも部分的に基づいてアクションをとるべきかどうかを決定することができる４２０。これは、たとえば、通知を提供すること、アラームを生成すること、或いは、人によって実施されている又は実施されるべき現在のタスクを少なくとも部分的に制御することなど、是正又は事前アクションをとることを含むことができる。
【0045】
そのような手法は、人の現在の状態を推定する際に非常に正確であり得る。しかしながら、異なる人々が、異なる瞬目挙動など、異なる挙動を呈することがしばしば起こることになる。異なる対象者についての状態推定値の正確さを改善するために、最後のいくつかの実施例では、ユーザにわたって正規化することを試みることが有益であり得る。異なる個人における生理的状態につなげられ得るように、いくつかの特徴又は挙動が、それらの個人においてどのように明らかにされるかの異なるベース・レベル又は範囲があり得る。異なる個人はまた、瞬目の異なるやり方及びレートなど、異なるパターンの検眼動作を有することがある。傾眠及び疲労決定は、極めて複雑であり、いくつかの異なるファクタに基づき得る。傾眠発現時に、瞬目速度の対応する減少又は瞬目持続時間の増加とともに、人の瞬目レート（ｂｌｉｎｋ ｒａｔｅ）が増加することがあるので、瞬目パラメータのセットを分析することによって傾眠及び疲労の良好な近似が取得され得る。その人の瞬目振幅も、傾眠の発現時に減少し得る。これらの瞬目パラメータのうちのいずれかが、個々に又は組み合わせて、人又は対象者の傾眠を推定するために使用され得る。しかしながら、この推定値が正確であるために、これらのパラメータの値が、異なる傾眠状態において個々の対象者についてどのように変化するかを決定することが有益であり得る。一部の人々は、彼らが傾眠するか否かにかかわらず、他のものよりもはるかに頻繁に、及び潜在的に異なる瞬目速度で、瞬目するので、対象者間でかなりの量の変動があり得る。したがって、グローバルしきい値又は評価は、ある人にとって正常である瞬目頻度が、別のものにとって傾眠の状態を表し得るので、すべての観察されるユーザについて正確な結果を提供するとは限らないことがある。したがって、様々な実施例による手法が、個人のアクション又は挙動に関する情報を、その特定の個人についてより正確である推定又は評価を行うために、学習又は取得することを試みることができる。
【0046】
上述のように、様々な手法が、状態推定が実施されるべきである人を識別するために使用され得る。いくつかの実施例では、これは、ログインしているか又は車両中のインターフェースからプロファイルを選択しているユーザを含み得る。いくつかの車両の場合、様々なバイオメトリクスを通してなど、人を識別するための他のやり方があり得るか、又は人が、車両のデフォルト・オペレータとして設定され得る。いくつかの場合には、識別情報は、特定のキー又は入力の使用によって決定され得る。また、人の一部分の、少なくとも１つの画像がキャプチャされ、次いで、それが、識別情報を決定することを試みるために分析され得るなど、顔（又は他の体部分）識別又は認識システムが、上記で説明されたように使用され得る。これは、たとえば、他のオプションの中でも、顔の特徴を、ユーザ・データベースに記憶された特徴セットと比較することを含むことができる。人が識別されると、その人についての情報が、状態推定を改善するために使用され得る。これは、たとえば、他のオプションの中でも、ユーザ・プロファイルから挙動データを引き出すこと、又はこの人についての挙動の分類又はタイプを決定することを含むことができる。
【0047】
ユーザ・プロファイル（又は１人又は複数の人々のための他のデータ・リポジトリ）は、状態推定の１つ又は複数のタイプについて関連し得る様々なタイプのデータを含むことができる。これは、たとえば、平均又は「正常」瞬目レート又は瞬目振幅、並びにそのような値の一般的な範囲などのデータを含むことができる。これは、傾眠などの状態についての推定が、その特定の個人について正確であるベースラインに関連して実施されることを可能にする。人がハンドルを調整する頻度又は人が車線を変更するために従うパターンに関係し得るものなど、特定の個人についての異なる運転技能又は挙動、異なる反応スピードなどに関係し得るような、他のアクション、特性、又はパターンについてのデータも記憶され得る。少なくともいくつかの事例では、これらの値は車両依存であり得、人は、本来まったく異なるハンドリング又は動作特性を有し得るスポーツ・カー対ＳＵＶについてなど、異なる車両について異なる値を有し得る。少なくとも１つの実施例では、状態推定システム又はサービスのロバストネスは、モデル訓練中に個々の詳細を考慮に入れることによってなど、母集団変動を考慮することによって改善され得る。
【0048】
少なくとも１つの実施例では、人についての傾眠モデルは、その個々の人についてのデータを使用して訓練され得る。これは、たとえば、自己報告のＫＳＳ又は状態データ、並びに対象者固有プロファイルからのデータを利用することを含むことができる。対象者プロファイルからのデータは、傾眠症状など、状態の変動を引き起こす、又はそれと相関させられ得る、運転経験レベル、年齢、性別、国籍、又は任意の個々の差などの情報を含むことができる。対象者プロファイルはまた、対象者が、警戒状態対傾眠状態にあるときの、特定の瞬目レート又は瞬目レートの範囲、又は挙動に関係し得るような、特定の傾眠レベルなど、特定の状態にあるときに対応する、ベースライン信号値を含むことができる。プロファイル・ベースライン信号は、傾眠推定モデルを使用して作り出された結果が、個々の差によって著しく影響を及ぼされないように、データを正規化するために使用され得る。たとえば、２人の対象者が、警戒状態にある間、異なる瞬目レートを有し得、したがって、傾眠又は眠い状態にあるときに異なる瞬目レートを有する可能性がある。プロファイル・ベースライン又は他のそのような対象者固有データがなければ、モデルは、対象者が絶対瞬目レート値に基づいて眠いかどうかなど、状態を区別するためのしきい値又は範囲を学習するのが困難であることがある。プロファイル・ベースラインは、警戒状態など、特定の状態から導出される必要はないが、同じく又は代替的に任意の傾眠レベルから導出され得る。少なくとも１つの実施例では、複数の傾眠推定モデルが、いずれか又はすべての傾眠レベルについての異なるプロファイル・ベースライン・データに基づいて訓練され得、したがって、モデルは、任意の傾眠レベルにおけるベースライン・プロファイルが与えられれば、傾眠を推定することができる。少なくとも１つの実施例では、顔ランドマーク・ネットワークによって生成された、又は顔ランドマーク・ネットワークの出力から決定された瞬目パラメータを含む特徴ベクトルが、分析のためにＬＳＴＭネットワークに渡される前に正規化され得る。これは、たとえば、特徴ベクトルをとり、平均として使用すること、又は、特徴の範囲に関して正規化し、平均を減算し、特徴ベクトルの標準偏差によって除算することを含むことができる。
【0049】
一実施例では、対象者が、車両に入るか、又は、運転席など、監視されたロケーション中に存在するとき、システムが、その人を識別することを試みることができる。上述のように、これは、人を識別するために顔認識又はバイオメトリクスを使用することを含み得る。識別された場合、システムは、次いで、その人又は対象者が、車両中の非一時的記憶媒体に記憶されているのか少なくとも１つのネットワークを介してアクセス可能であるのかにかかわらず、利用可能なプロファイルを有するかどうかを決定することを試みることができる。そのようなプロファイルが、利用可能及びアクセス可能である場合、システムは、そのユーザについてのデータを正規化し、適切な状態推定モデルを導入するために、そのプロファイル中のデータを利用することができる。対象者が既存及びアクセス可能プロファイルを有しない場合、そのようなプロファイルを生成するための試みが行われ得る。いくつかの実施例では、これは、ベースライン情報を決定することを試みるために、ある時間期間にわたってそのユーザに関係する情報を監視又はキャプチャすることを含み得る。いくつかの実施例では、人は、その人が、ユーザ較正プロセスが実施されることを望むかどうかを示すためのオプションを有し得、それにより、その人は、ある情報を提供することができ、ユーザ・アクティビティ又は挙動のための１つ又は複数の状態ベースラインを生成する際に有用であり得る、キャプチャ又は取得された他の情報を有することができる。
【0050】
正確な推定を提供するために、カメラ又はセンサがまた、比較的高いキャプチャ・レートで動作され得る。ユーザの瞬目持続時間は、何分の１秒であり得、したがって、瞬目について十分なデータを取得するために、少なくとも３０Ｈｚ又は６０Ｈｚのレートでカメラを稼働することが有益であり得る。たとえば、人についての瞬目持続時間が約０．２秒である場合、瞬目について少なくとも５～６つのデータ・ポイントを得るために少なくとも３０Ｈｚのキャプチャ・レートで稼働することが必要であり、より少数のポイントが、瞬目速度及び持続時間などの値を決定する目的で、瞬目開始、中間、及び終了のタイミングにおけるより大きい不確実性を生じることがある。少なくともいくつかの実施例では、このデータ収集をできるだけ邪魔にならないものにすることが望まれ得、したがって、ユーザは、データが収集されていることに気づいていないことさえあり、運転などのアクティビティのために、データ収集は、アクティビティの安全を決して減少させないことになる。
【0051】
人又は対象者が、ユーザ較正を実施することを選定する場合、人は、この対象者に固有のプロファイル・ベースラインを推定する際に使用するためのシステムのための１つ又は複数のラウンドのデータを提供するために、特定のデータ収集プロシージャに従うように命令され得る。対象者は、ユーザが、すべての可能なユーザ状態についてのデータを提供することが可能であるとは限らないことがあるので、このデータ収集ステップにおいて、データの完全なセットを提供する必要がないことがある。システムは、いくつかの状態について提供されるデータをとることができ、たとえば、最近傍探索プロセスを使用してプロファイル・データベース中で最も近いプロファイルの位置を特定するか、その対象者のプロファイルを完成するために使用するためのデータの位置を特定するか、又は、少なくとも、任意の欠落したデータを推論するために使用するために、このデータを使用することができる。較正プロセスの一部として、システムが、ユーザ・フィードバック又は入力を可能にすることができる。対象者が、傾眠推定が、自己報告のＫＳＳ、又は傾眠の現在の知覚から著しく逸脱することを見つけた場合、その対象者は、関連するモデルを調整及び／又は再訓練するか、或いは、その対象者のための１つ又は複数のベースライン値又は範囲を調整するために使用され得る、フィードバックを提供することができる。
【0052】
人がユーザ較正を実施しないことを選定する場合、システムは、この特定の人の挙動を近似し得るプロファイルを識別することを試みることができる。これは、たとえば、年齢、性別、呼吸パターン、又は心拍数など、人のいくつかの態様を決定することを試みるために、キャプチャされた画像データを分析することを伴うことができ、それらの態様のうちの少なくともいくつかをもつ人々に最も厳密に一致するプロファイルを選択することができる。
【0053】
図５Ａは、挙動データのユーザ変動を考慮するための例示的なプロセス５００を示す。この実例では、関心の人の顔の少なくとも一部分の表現を含む画像データが受信される５０２（又はさもなければ取得される）。他の実例では、バイオメトリック、識別情報、又は他のそのような情報に関係し得るような、その人を識別するのを助け得る、その人についての他の情報が受信され得る。この実例では、この画像データは、キャプチャされた画像データ中で表される関心の人の識別情報を決定するための顔認識プロセスを使用して、分析される５０４。次いで、関連する挙動プロファイルが存在し、この人のためにアクセス可能であるかどうかに関する決定が行われ得る５０６。識別が行われることが可能でなかった場合、そのようなプロファイルも決定されることが可能でないことになる。そのようなプロファイルが存在すると５０８において決定された場合、この人のための関連する挙動データが、このプロファイルから取得され得る５１０。そのようなプロファイルが存在しないか又はさもなければアクセス可能でない場合、ユーザは、この人のためのそのようなプロファイルを作る際に有用な情報を集めることを試みるための較正プロセスを受けるか、或いはそれに参加するように要求されるか又は促され得る。そのような較正プロセスが進むことができると５１２において決定された場合、較正プロセスは、その人のための挙動プロファイルを生成するために実施され得る５１４。上述のように、これは、その人のための画像及びセンサ・データを収集すること、並びに、潜在的に、少なくともいくつかの状態又はコンテキストの下でその人のための較正、パターン、又はベースライン・データを生成するために、状態に関するユーザ入力を受信することを含むことができる。プロファイル中の任意のギャップを埋めること、又は較正のための開始ポイントを提供することを試みるために、同様のプロファイルが調べられ得る。較正が実施されるべきでない場合、又は人が識別されない場合、人、ロケーション、又は実施されるべきアクションの態様に関係し得るような、任意の利用可能な及び許されたデータに基づいて、最も近い又はデフォルト・プロファイルが選択され得る。いくつかの実施例では、ユーザが、識別されることが可能でないか又は較正を実施することを拒否する場合、そのようなプロセスは、状態決定正確さを改善することを試みるためにユーザ挙動データの使用を回避することを決定し得る。プロファイルが決定又は生成された場合、そのプロファイルからの挙動データは、個人ユーザ間の変動を考慮するために、状態データを正規化するために利用され得る５１８。これは、たとえば、最近の時間期間にわたって決定された瞬目パラメータ値など、ユーザについての観察された入力に基づいて状態値を推論することになる時間ネットワークへの入力特徴ベクトルとして挙動データを提供することを含むことができ、人固有ベースライン、範囲、又は挙動が、この人についての状態をより正確に推論するために使用され得る。
【0054】
上述のように、人が位置するか又は関与する、環境又はコンテキストに関係し得る他のファクタにより、その人の挙動又はアクションの変動もあり得る。車両を動作させている人の場合、これは、様々な環境ファクタ及び他のそのようなファクタを含み得るような、様々なタイプの運転コンテキスト情報を含み得る。たとえば、人は、暗い環境にあるよりも明るい環境にあるとき、より頻繁に瞬目するか又は自分の眼を細め（ｓｑｕｉｎｔ）得る。さらに、ドライバが、近くに少数の他の車両又は物体を伴う田園設定においてよりも、混雑した市街地ロケーションにおいて、より多くの注意を払う傾向があり得、そのような市街地設定において自分の眼をより頻繁に動かす傾向があり得る。これらの環境条件のうちの少なくともいくつかが、図１Ｂに示されたものなど、車両に関連付けられた１つ又は複数のカメラによってキャプチャされた画像又はビデオ・データを分析することによって決定され得る。環境データは、少なくとも１つのネットワークを介してアクセス可能な外部データ・ソース（たとえば、交通、気象、又はナビゲーション・サービス）、内部クロック又は温度センサなど、他のソースからも来ることができる。また、図１Ａに関して上記で説明されたもののうちのいくつかなど、車両のセンサによって取得された他のデータが、ハンドル移動に基づいて道路が曲線であるのか直線であるのか、ブレーキ情報に基づいて多くの交通があるのか停止があるのかなど、様々な環境条件又は現在の運転コンテキストの態様を決定するために使用され得る。ＧＰＳ又はナビゲーション・データが利用可能である場合、その情報はまた、現在のルート又はロケーションについてのコンテキスト情報の少なくともいくらかの量を提供するために使用され得る。輝度センサが、照明条件を決定するために使用され得、操縦及びブレーキ制御システムなどの車両制御システムが、道路又は交通条件の態様を推論するために使用され得る、などである。
【0055】
そのような運転コンテキストは、その運転コンテキスト内で動作している人についての状態推論又は推定のために使用されるベースラインを改善するために使用され得る。いずれか又はすべての利用可能なコンテキスト情報（又は他の関連情報又は推論）が、現在の条件下でその人についての１つ又は複数の状態ベースラインを決定することを試みるために分析され得る。これは、たとえば、これらの条件に基づいて異なる傾眠状態を推論するために使用され得る、範囲又はベースラインを調整することを含み得る。たとえば、人が、吹雪のときに、正常な条件下よりも頻繁に瞬目する可能性が高い場合、この運転コンテキストのためのベースラインを調整することが、瞬目頻度のこの増加が傾眠状態の変化として解釈されないのを助ける。同様に、正常に、一般的であると見なされ得る対象者挙動は、現在の運転コンテキストの下で、ユーザが、正常に、別様に挙動する場合、ユーザが傾眠し始めていることを実際に示し得、運転コンテキストを考慮することに失敗することが、傾眠のこの増加が場合によっては検出されないままになることを引き起こし得る。
【0056】
いくつかのシステムでは、運転コンテキストは、すべてのユーザにわたって同様に適用され得る。他のシステムでは、個々のプロファイルが、異なる運転コンテキストについての情報を用いて更新され得る。これは、たとえば、時間による異なる運転コンテキストについてのユーザ挙動を監視すること、及び観察された挙動に基づいてベースラインを更新することを含むことができる。いくつかのシステムでは、ユーザは、車両が運転条件又はコンテキストの特定のセットにおいて動作している間に、傾眠又は他の状態に関する質問に応答することによってなど、システムを較正するのを助けることができる情報の収集を許可し得る。個々のプロファイルの場合と同様に、様々な運転コンテキストについての完全なプロファイルを記入するための十分な情報がないことがあり、したがって、システムは、同様の運転コンテキスト変動を伴う他の対象者のための１つ又は複数のプロファイルから情報を引き出すことによって、欠落した情報を記入することを試み得る。
【0057】
運転コンテキスト（又は他のアクティビティのための同様のタイプの環境データ）の使用は、状態推定システムが、様々な異なる運転コンテキストの下で様々な個人に対してテストされるときにうまく一般化することを可能にすることができる。正確さをさらに改善するために、そのようなシステムは、ユーザ挙動のより正確なビュー、並びに現在の運転コンテキスト又は環境条件を取得するために、複数のソースからの入力を利用することができる。傾眠を決定することを試みる多くの従来のシステムは、単一のセンサ又は方法など、１つのソースのみからのデータに依拠し、運転コンテキストの任意の変動を考慮しない。これらのシステムは、唯一のインジケータとして、ビデオ・データ中であくびをすること、又はハンドル・パターンの変化など、ユーザ・アクションを探し得る。同じ傾眠レベル状態にあるが異なる運転コンテキストにあるドライバが、異なる生理的挙動及び運転性能を有するので、運転コンテキストなしにこれらの方法のうちの１つのみを使用する検出システムは、これらの傾眠信号が運転コンテキストに依存するので、低い正確さのリスクを有する。複数のソースからの情報を融合させることと、ユーザ変動及び挙動に加えて運転コンテキストを考慮することとによって、異なる対象者及び条件にわたって正確である、ロバストな傾眠推定システムが提供され得る。
【0058】
上述のように、車両のために、様々なカメラ、センサ、又はデータ・ソースが、現在の運転コンテキストに関する情報を取得するために使用され得る。同様のソースが、他のタイプのアクティビティのために使用され得る。運転コンテキストについて、このデータは、瞬目挙動など、対象者挙動の検出可能な変化をトリガし得る、道路曲率、交通の量又はタイプ、車線マーカー可視性、時刻、季節、気象、電光条件、スピード、構成、運転車線のタイプ、路面タイプ、風速、ウィンドウ状態、無線状態又はボリューム、内部照明、或いは環境態様に関係する他のデータなど、データを含み得る。上述のように、プロファイルが対象者のために利用可能でないか又は対象者が識別されることが可能でない場合、一般運転コンテキスト・プロファイルが、利用され得るか、或いは、運転挙動に影響を及ぼし得る、年齢、性別、健康、又は領域など、対象者の決定可能な（及び許される）態様に少なくとも部分的に基づいて選択され得る。少なくとも部分的に、そのようなデータは、判定を行うために集める又は利用することに慎重な扱いを要し得る（又はいくつかの事例では判定を行うために集める又は利用することが許されない）ので、ドライバの経験レベル又は特定の車両の熟知に関する情報が取得され得る場合など、ユーザについての運転挙動を予測することを試みるために、他の方法が使用され得る。この情報のいずれも、データを正規化するためのプロファイル・ベースラインを改善する際に有用であり、傾眠又は状態推定モデルが、ユーザ又は状況間の変動によって最小限に影響を及ぼされることを可能にし得る。少なくともいくつかの実施例では、複数の傾眠推定モデルが、すべての傾眠レベルにおける異なるプロファイル・ベースラインに基づいて訓練され得、したがって、モデルが、任意の傾眠レベルにおけるベースライン・プロファイルが与えられれば、傾眠を推定することが可能である。少なくとも部分的に、運転コンテキストが生理的挙動及び運転性能に影響を及ぼし、これらの効果が、対象者間でさらに変動することがあるので、ロバストネスが取得される。たとえば、混雑した道路運転状況が、ドライバ注意の注意を、空いている道路上での運転よりも多く必要とし得、その結果、他の潜在的変化の中でも、認知負荷が増加し得、瞬目レートが減少し得、凝視／サッケード固定（ｇａｚｅ／ｓａｃｃａｄｅｓ ｆｉｘａｔｉｏｎ）が増加し得る。また、道路曲率、気象、ルート熟知、及び照明条件などの態様、並びにドライバがどのようにハンドルを調整し、車線内にとどまるかなどの運転パターンが、生理的挙動に影響を及ぼすことがある。たとえば、同様の条件下で同じルートの場合でも、ユーザは、ユーザが初めてそのルートを運転している場合、ユーザがそのルートを頻繁にとり、そのルートを熟知しており、したがって、あまり注意を払わないか又はあまり警戒しない傾向があり得る場合とは異なる挙動を呈し得る。
【0059】
少なくとも１つの実施例では、コンテキスト・モニタ３３４は、図３に示されているように、運転コンテキスト又は環境条件の他のセットに関係する、利用可能な又は受信されたデータ３３２を分析するために使用され得る。これは、たとえば、可能な運転コンテキストのセットの中から現在の運転コンテキストを決定又は推論するために入力データを分析することを含むことができる。他の実施例では、これは、適切なモデルから適切なベースラインを選択するために使用され得る、コンテキスト入力又は特徴のセットを決定することを含むことができる。このコンテキスト・モニタは、他のオプションの中でも、継続的に、周期的に、又は、少なくとも１つのコンテキスト入力において著しい変化が検出されたときに、稼働することができる。いくつかの実施例では、コンテキスト・モニタは、入力のセットが与えられれば運転コンテキストを決定するように訓練されたニューラル・ネットワークを含むことができる。他の実施例では、１つ又は複数のアルゴリズム又はプロセスは、取得された入力から１つ又は複数のコンテキスト・ファクタ又は値を決定するために使用され得る。この運転コンテキストは、次いで、現在の条件下で監視されるべき１つ又は複数の挙動又は状態のための適切なベースライン又は範囲を決定、設定、選択、又は計算するために使用され得る。
【0060】
上記で説明されたユーザ・プロファイルの場合と同様に、対象者が、車両に入るか、又は、運転席など、監視されたロケーション中に存在するとき、システムが、その人を識別することを試みることができる。識別された場合、システムは、次いで、その人又は対象者が利用可能なプロファイルを有するかどうかを決定することを試みることができ、そのようなプロファイルが利用可能及びアクセス可能である場合、システムは、現在の運転コンテキストのためにそのユーザについてのデータを正規化し、適切な状態推定モデルを導入するために、そのプロファイル中のデータを利用することができる。対象者が、既存及びアクセス可能プロファイルを有しない場合、そのようなプロファイルを生成又は取得するための試みが行われ得る。いくつかの実施例では、これは、ベースライン情報を決定することを試みるために、ある時間期間にわたってそのユーザに関係する情報を監視又はキャプチャすること、並びに欠落した情報を同様のプロファイルから引き出すことを含み得る。
【0061】
いくつかの実施例では、瞬目パラメータは、時間における最近の分の間など、時間増分において提供され得る。これは、たとえば、その分にわたって決定された瞬目の数、並びに個々に又は全体としてそれらの瞬目に関する情報を含み得る。決定された量の履歴が、瞬目データの最後の６０分又は最後の６０期間の間など、履歴バッファ中で保持され得、その場合、ＬＳＴＭネットワークへの入力が、長さが６０個の特徴である特徴ベクトルであり得る。また、任意の運転コンテキスト又はユーザ・プロファイル情報が、同様の長さのベクトル、又はさもなければ、ＬＳＴＭネットワークのうちの少なくとも１つへの入力として、提供され得る。時間による運転コンテキスト又はユーザ生理的状態の履歴を維持することが、その同じ時間期間にわたる瞬目又は状態挙動に基づいてより正確な決定を行うのを助けることができる。少なくともいくつかの実施例では、異なるタイプのコンテキスト情報について提供される、異なるベクトルがあり得る。少なくともいくつかの実施例では、特徴ベクトル（又は所与の特徴ベクトルの構成）は、時間にわたって、その時間において利用可能なコンテキスト又は条件データのタイプ又は量に少なくとも部分的に基づいて、異なり得る。ユーザ・プロファイル及び運転コンテキスト・データのためのこれらの特徴ベクトルは、次いで、しきい値を調整するか、又はさもなければ（傾眠に関係しない）予想される変動を考慮して、瞬目パラメータ・データを正規化し、傾眠の変化のみによるものである瞬目挙動の変動を検出することを試みるために、使用され得る。
【0062】
図５Ｂは、現在のアクション・コンテキスト或いは他の環境又は条件情報を考慮することによって、状態推定の正確さを改善するための例示的なプロセス５５０を示す。この実例では、アクション関連コンテキスト・データが、複数のソースから受信され得る５５２。運転アクションの場合、これは、本明細書の他の場所で説明及び示唆されるように、他のオプションの中でも、車両上のカメラからキャプチャされた画像データ、車両についてのセンサ・データ、車両についての動作情報、ネットワーク接続されたサービスからの環境データ、又は位置データを含み得るような、任意の運転コンテキスト関係データを含むことができる。いくつかの実施例では、情報のスーパーセットが受信又は取得され得、そのデータの関連するサブセットが、決定又は選択され得る。この受信されたデータは、現在のアクション・コンテキストを示す１つ又は複数のコンテンツ特徴ベクトルを生成する５５４ために使用され得る。たとえば、受信されたデータは、ロケーションのタイプ、気象、輝度、渋滞など、特定のコンテキスト・パラメータについての値を決定するために使用され得、これは、（１つ又は複数の）コンテキスト特徴ベクトルを構成するために使用され得る。カメラなどの任意の適切なセンサによって測定され、特に、ハンドル・パターン、車線維持パターン、又はＥＥＧ／ＥＣＧデータを含み得るような、任意の生成されたコンテキスト特徴ベクトル、並びに（利用可能な場合）任意のユーザ・プロファイル・ベクトル、及び挙動パラメータのセットが、入力として、時間ネットワーク、或いは他の状態決定ネットワーク又はモジュールに提供され得る５５６。この時間ネットワークは、この入力に少なくとも部分的に基づいて、人についての傾眠レベルなど、状態値を推定する５５８ために使用され得る。コンテキスト特徴ベクトル及び／又は（１つ又は複数の特徴ベクトルの形態でも提供され得る）ユーザ・プロファイル・データは、人の状態の変化によるものでないことがあるが、代わりに、現在のアクション・コンテキスト又は人固有挙動パターンの変化によるものであり得る、挙動の変動を考慮するために、挙動パラメータを正規化することを試みるために使用され得る。このネットワークによって生成された推定された状態値は、次いで、人の現在の状態の測度として提供され得る５６０。
【0063】
状態の推定値が生成されると、その推定値に関する情報が、様々な目的のために使用され得る。たとえば、車両のドライバの傾眠状態では、ユーザに通知すること、アラームを鳴らすこと、又は、ユーザが傾眠しつつあることが検出されたことを示すアイコンを表示することなど、いくつかのアクションがとられることを引き起こす、傾眠の発現時の値又は値の範囲があり得る。いくつかの実施例では、メッセージ又はアラームは、晴れた日の都市におけるハイウェイ上の誰かに関連するアクションが、吹雪の最中に地方の道路上で運転している誰かとは異なり得るので、ユーザ又は運転コンテキストのためにカスタマイズされ得る。さらに、異なるユーザが、異なるアクションをとる可能性が高いことがあるか、又はいくつかの推奨（たとえば、コーヒー又はカフェインを飲むこと）を諒解しないことがある。少なくともいくつかの実施例では、推奨は、ユーザが、長時間の運転時に前にコーヒー・ショップにおいて停止したか、又はユーザがカフェインを飲まないことを明示した場合など、ユーザについての履歴又は選好データに少なくとも部分的に基づいて行われ得る。車両によって特定のアクションがとられる、他の傾眠レベル又は範囲があり得る。これは、たとえば、ドライバ支援プロセスをアクティブ化すること、又は提供されるドライバ支援の量を変更することを含むことができる。たとえば、ドライバが傾眠の特定の状態にあると決定された場合、車線保持及び自動ブレーキ制御が増加され得る。いくつかの状況では、車両の制御システム３３６が、出力傾眠推定値３３０によって示される傾眠の高状態のために、完全自律モードに入ること、又はドライバがもはや傾眠の高状態になくなるようなときまで道路脇に寄せることなど、急激なアクションをとるようにプログラムされ得る。いくつかの事例では、ドライバがある状態にあると決定されたとき、アラームを鳴らすか又は特定のアクションをとるための規則性要件があり得る。これらのアクションは、ロケーション、管轄、車両、対象者のタイプ、アクティビティのタイプ、又は他のそのようなファクタによって変動することができる。
【0064】
本明細書で提示される様々な手法は、パーソナル・コンピュータ、スマート車両、又はゲーミング・コンソールなど、様々なタイプのデバイス上でリアルタイムで実行するのに十分軽量である。そのような処理は、少なくとも１つのネットワークを介して受信されるストリーミング・データなど、そのデバイス上でキャプチャ又は生成されたか、或いは外部ソースから受信されたデータを使用して実施され得る。ソースは、他のオプションの中でも、別個のクライアント・デバイス、ストリーミング・データ・プロバイダ、又はサード・パーティ・データ・プロバイダなど、任意の適切なソースであり得る。いくつかの事例では、このデータの処理及び／又は使用は、これらの他のデバイス、システム、又はエンティティのうちの１つによって実施され、次いで、提示又は別のそのような用途のためにクライアント・デバイス（又は別のそのような受信側）に提供され得る。
【0065】
一実例として、図６は、データを提供、生成、修正、符号化、及び／又は送信するために使用され得る例示的なネットワーク構成６００を示す。少なくとも１つの実施例では、クライアント・デバイス６０２が、クライアント・デバイス６０２上の状態監視アプリケーション６０４の構成要素と、そのクライアント・デバイスにローカルに記憶されたデータとを使用するセッションのためのデータを生成又は受信することができる。少なくとも１つの実施例では、データ又はコンテンツ・サーバ６２０（たとえば、クラウド・サーバ又はエッジ・サーバ）上で実行している状態監視アプリケーション６２４（たとえば、画像生成又は編集アプリケーション）が、セッション・マネージャとユーザ・データベース６３４に記憶されたユーザ・データとを利用し得るような、少なくともクライアント・デバイス６０２に関連付けられたセッションを始動し得、コンテンツがコンテンツ・マネージャ６２６によって決定されることを引き起こすことができる。推定器モジュール６２８が、受信されたデータに基づいて１人又は複数の対象者についての状態データを推定することを試み得、受信されたデータから決定されたコンテキスト・データを受信するためにコンテキスト・モジュール６３０とともに働き得る。次いで、そのデータ又は状態推定の少なくとも一部分が、ダウンロード、ストリーミング、又は別のそのような送信チャネルによって送出するために、適切な送信マネージャ６２２を使用してクライアント・デバイス６０２に送信され得る。クライアント・デバイス６０２に送信する前にこのデータを符号化及び／又は圧縮するために、エンコーダが使用され得る。少なくとも１つの実施例では、このデータ６３２は、状態推定、ユーザ挙動、又はアクション・コンテキストについて関連する任意のデータを含むことができる。少なくとも１つの実施例では、このデータを受信するクライアント・デバイス６０２は、このデータを対応する状態モニタ６０４に提供することができ、状態モニタ６０４は、クライアント・デバイス６０２に受信されたか又はクライアント・デバイス６０２によってキャプチャされたデータを分析するための状態推定器６１２又はコンテキスト決定モジュール６１４を同じく又は代替的に含み得る。ディスプレイ６０６を通した通知コンテンツ、或いはスピーカー又はヘッドフォンなどの少なくとも１つのオーディオ再生デバイス６０８を通したアラーム又は可聴通知などのオーディオなど、クライアント・デバイス６０２を介した提示又はアクションのために（１つ又は複数の）ネットワーク６４０を介して受信されたデータを復号するために、デコーダも使用され得る。少なくとも１つの実施例では、このデータの少なくとも一部がすでに、そのデータが前にダウンロードされたか或いはハード・ドライブ又は光ディスク上にローカルに記憶されていることがある場合など、ネットワーク６４０を介した送信がデータの少なくともその部分のために必要とされないように、クライアント・デバイス６０２に記憶されるか、クライアント・デバイス６０２上で生成されるか、又はクライアント・デバイス６０２にとってアクセス可能であり得る。少なくとも１つの実施例では、このデータを、プロファイル・データベース６３２からなど、サーバ６２０から、クライアント・デバイス６０２に転送するために、データ・ストリーミングなどの送信機構が使用され得る。少なくとも１つの実施例では、このデータの少なくとも一部分は、状態を推定すること、ユーザ挙動パターンを決定すること、又はアクション・コンテキストを決定することを行うための機能性をも含み得る別個のクライアント・デバイス６５０又はサード・パーティ・サービス６６０など、別のソースから取得、決定、又はストリーミングされ得る。少なくとも１つの実施例では、この機能性の部分は、複数のコンピューティング・デバイスを使用して、又は、ＣＰＵとＧＰＵとの組合せを含み得るものなど、１つ又は複数のコンピューティング・デバイス内の複数のプロセッサを使用して、実施され得る。
【0066】
この実例では、クライアント・デバイスは、デスクトップ・コンピュータ、ノートブック・コンピュータ、セット・トップ・ボックス、ストリーミング・デバイス、ゲーミング・コンソール、スマートフォン、タブレット・コンピュータ、スマート車両、ロボット支援機械、ＶＲヘッドセット、ＡＲゴーグル、ウェアラブル・コンピュータ、又はスマート・テレビジョンを含み得るような、任意の適切なコンピューティング・デバイスを含むことができる。各クライアント・デバイスは、他のオプションの中でも、インターネット、イーサネット、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、又はセルラー・ネットワークを含み得るような、少なくとも１つのワイヤード又はワイヤレス・ネットワークにわたって要求をサブミットすることができる。この実例では、これらの要求は、データ・センタ又はサーバ・ファームを含み得るものなど、クラウド・プロバイダ環境における１つ又は複数の電子リソースを動作させるか又は制御し得る、クラウド・プロバイダに関連付けられたアドレスにサブミットされ得る。少なくとも１つの実施例では、要求は、ネットワーク・エッジ上に位置し、クラウド・プロバイダ環境に関連付けられた少なくとも１つのセキュリティ層の外側にある、少なくとも１つのエッジ・サーバによって受信されるか又は処理され得る。このようにして、クライアント・デバイスが、より近接しているサーバと対話することを可能にしながら、クラウド・プロバイダ環境におけるリソースのセキュリティをも改善することによって、レイテンシが低減され得る。
【0067】
少なくとも１つの実施例では、そのようなシステムは、グラフィカル・レンダリング動作を実施するために使用され得る。他の実施例では、そのようなシステムは、自律機械アプリケーションをテスト又は検証するために画像又はビデオ・コンテンツを提供するために、或いは深層学習動作を実施するためになど、他の目的のために使用され得る。少なくとも１つの実施例では、そのようなシステムは、エッジ・デバイスを使用して実装され得るか、又は、１つ又は複数の仮想機械（ＶＭ：Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）を組み込み得る。少なくとも１つの実施例では、そのようなシステムは、少なくとも部分的にデータ・センタにおいて、又は少なくとも部分的にクラウド・コンピューティング・リソースを使用して、実装され得る。
【0068】
推論及び訓練論理
図７Ａは、１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために使用される推論及び／又は訓練論理７１５を示す。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。
図７Ａは、１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために使用される推論及び／又は訓練論理７１５を示す。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。
【0069】
少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層を構成するための順方向及び／若しくは出力の重み及び／又は入力／出力データ、並びに／或いは他のパラメータを記憶するためのコード及び／又はデータ・ストレージ７０１を含み得る。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０１を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０１において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの順方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。
【0070】
少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１は、キャッシュ・メモリ、動的なランダムにアドレス指定可能なメモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、静的なランダムにアドレス指定可能なメモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。
【0071】
少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層に対応する逆方向及び／若しくは出力の重み及び／又は入力／出力データを記憶するためのコード及び／又はデータ・ストレージ７０５を含み得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの逆方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０５を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０５において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。
【0072】
少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、同じストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、部分的に同じストレージ構造であり、部分的に別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。
【0073】
少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、訓練及び／又は推論コード（たとえば、グラフ・コード）に少なくとも部分的に基づく、又はそれによって示される論理演算及び／又は数学演算を実施するための、整数及び／又は浮動小数点ユニットを含む、１つ又は複数の算術論理ユニット（「ＡＬＵ」）７１０を含み得、その結果が、アクティブ化ストレージ７２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層又はニューロンからの出力値）を作り出し得、これらのアクティブ化は、コード及び／又はデータ・ストレージ７０１並びに／或いはコード及び／又はデータ・ストレージ７０５に記憶される入力／出力及び／又は重みパラメータ・データの関数である。少なくとも１つの実施例では、アクティブ化ストレージ７２０に記憶されるアクティブ化は、命令又は他のコードを実施したことに応答して（１つ又は複数の）ＡＬＵ７１０によって実施される線形代数及び又は行列ベースの数学に従って生成され、コード及び／又はデータ・ストレージ７０５並びに／或いはコード及び／又はデータ・ストレージ７０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、或いは他のパラメータ又はハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ７０５又はコード及び／若しくはデータ・ストレージ７０１、或いはオンチップ又はオフチップの別のストレージに記憶され得る。
【0074】
少なくとも１つの実施例では、（１つ又は複数の）ＡＬＵ７１０は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路内に含まれるが、別の実施例では、（１つ又は複数の）ＡＬＵ７１０は、それらを使用するプロセッサ或いは他のハードウェア論理デバイス又は回路（たとえば、コプロセッサ）の外部にあり得る。少なくとも１つの実施例では、ＡＬＵ７１０は、プロセッサの実行ユニット内に含まれるか、或いはさもなければ、同じプロセッサ内にあるか又は異なるタイプの異なるプロセッサ（たとえば、中央処理ユニット、グラフィックス処理ユニット、固定機能ユニットなど）間で分散されているかのいずれかであるプロセッサの実行ユニットによってアクセス可能なＡＬＵのバンク内に含まれ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５と、アクティブ化ストレージ７２０とは、同じプロセッサ或いは他のハードウェア論理デバイス又は回路上にあり得るが、別の実施例では、それらは、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路中にあるか、或いは、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せ中にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。さらに、推論及び／又は訓練コードが、プロセッサ或いは他のハードウェア論理又は回路にアクセス可能な他のコードとともに記憶され、プロセッサのフェッチ、復号、スケジューリング、実行、退去（ｒｅｔｉｒｅｍｅｎｔ）及び／又は他の論理回路を使用してフェッチ及び／又は処理され得る。
【0075】
少なくとも１つの実施例では、アクティブ化ストレージ７２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０は、完全に又は部分的に、１つ又は複数のプロセッサ又は他の論理回路内にあるか、又はその外部にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。少なくとも１つの実施例では、図７ａに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（「ＡＳＩＣ」：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）と併せて使用され得る。少なくとも１つの実施例では、図７ａに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（「ＣＰＵ」：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、グラフィックス処理ユニット（「ＧＰＵ」）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの他のハードウェアと併せて使用され得る。
【0076】
図７ｂは、少なくとも１つ又は複数の実施例による、推論及び／又は訓練論理７１５を示す。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、ハードウェア論理を含み得、このハードウェア論理において、算出リソース（ｃｏｍｐｕｔａｔｉｏｎａｌ ｒｅｓｏｕｒｃｅ）が専用であるか、或いはさもなければ、ニューラル・ネットワーク内のニューロンの１つ又は複数の層に対応する重み値又は他の情報と併せてのみ使用される。少なくとも１つの実施例では、図７ｂに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（ＡＳＩＣ）と併せて使用され得る。少なくとも１つの実施例では、図７ｂに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（ＣＰＵ）ハードウェア、グラフィックス処理ユニット（ＧＰＵ）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの他のハードウェアと併せて使用され得る。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、コード及び／又はデータ・ストレージ７０１とコード及び／又はデータ・ストレージ７０５とを含み、それらは、コード（たとえば、グラフ・コード）、重み値、並びに／或いは、バイアス値、勾配情報、運動量値、及び／又は他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶するために使用され得る。図７ｂに示されている少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の各々は、それぞれ、算出ハードウェア７０２及び算出ハードウェア７０６など、専用算出リソースに関連付けられる。少なくとも１つの実施例では、算出ハードウェア７０２及び算出ハードウェア７０６の各々は、線形代数関数などの数学関数を、それぞれコード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５に記憶された情報に対してのみ実施する１つ又は複数のＡＬＵを備え、その結果が、アクティブ化ストレージ７２０に記憶される。
【0077】
少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１及び７０５の各々と、対応する算出ハードウェア７０２及び７０６とは、それぞれ、ニューラル・ネットワークの異なる層に対応し、それにより、コード及び／又はデータ・ストレージ７０１と算出ハードウェア７０２との１つの「ストレージ／算出ペア７０１／７０２」から生じたアクティブ化は、ニューラル・ネットワークの概念的組織化をミラーリングするために、コード及び／又はデータ・ストレージ７０５と算出ハードウェア７０６との「ストレージ／算出ペア７０５／７０６」への入力として提供される。少なくとも１つの実施例では、ストレージ／算出ペア７０１／７０２及び７０５／７０６の各々は、２つ以上のニューラル・ネットワーク層に対応し得る。少なくとも１つの実施例では、ストレージ算出ペア７０１／７０２及び７０５／７０６の後に、又はそれらと並列に、追加のストレージ／算出ペア（図示せず）が、推論及び／又は訓練論理７１５中に含められ得る。
【0078】
データ・センタ
図８は、少なくとも１つの実施例が使用され得る例示的なデータ・センタ８００を示す。少なくとも１つの実施例では、データ・センタ８００は、データ・センタ・インフラストラクチャ層８１０と、フレームワーク層８２０と、ソフトウェア層８３０と、アプリケーション層８４０とを含む。
図８は、少なくとも１つの実施例が使用され得る例示的なデータ・センタ８００を示す。少なくとも１つの実施例では、データ・センタ８００は、データ・センタ・インフラストラクチャ層８１０と、フレームワーク層８２０と、ソフトウェア層８３０と、アプリケーション層８４０とを含む。
【0079】
少なくとも１つの実施例では、図８に示されているように、データ・センタ・インフラストラクチャ層８１０は、リソース・オーケストレータ８１２と、グループ化されたコンピューティング・リソース８１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」：ｎｏｄｅ ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ）８１６（１）～８１６（Ｎ）とを含み得、ここで、「Ｎ」は、任意のすべての正の整数を表す。少なくとも１つの実施例では、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）は、限定はしないが、任意の数の中央処理ユニット（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・デバイス（たとえば、動的読取り専用メモリ）、ストレージ・デバイス（たとえば、ソリッド・ステート又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」）、電力モジュール、及び冷却モジュールなどを含み得る。少なくとも１つの実施例では、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）の中からの１つ又は複数のノードＣ．Ｒ．は、上述のコンピューティング・リソースのうちの１つ又は複数を有するサーバであり得る。
【0080】
少なくとも１つの実施例では、グループ化されたコンピューティング・リソース８１４は、１つ又は複数のラック（図示せず）内に格納されたノードＣ．Ｒ．の別個のグループ化、又は様々な地理的ロケーション（同じく図示せず）においてデータ・センタ中に格納された多くのラックを含み得る。グループ化されたコンピューティング・リソース８１４内のノードＣ．Ｒ．の別個のグループ化は、１つ又は複数のワークロードをサポートするように構成されるか又は割り振られ得る、グループ化されたコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含み得る。少なくとも１つの実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のワークロードをサポートするためのコンピュート・リソースを提供するために１つ又は複数のラック内でグループ化され得る。少なくとも１つの実施例では、１つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及びネットワーク・スイッチを、任意の組合せで含み得る。
【0081】
少なくとも１つの実施例では、リソース・オーケストレータ８１２は、１つ又は複数のノードＣ．Ｒ．８１６（１）～８１６（Ｎ）及び／又はグループ化されたコンピューティング・リソース８１４を構成するか、又はさもなければ、制御し得る。少なくとも１つの実施例では、リソース・オーケストレータ８１２は、データ・センタ８００のためのソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含み得る。少なくとも１つの実施例では、リソース・オーケストレータは、ハードウェア、ソフトウェア、又はそれらの何らかの組合せを含み得る。
【0082】
少なくとも１つの実施例では、図８に示されているように、フレームワーク層８２０は、ジョブ・スケジューラ８２２と、構成マネージャ８２４と、リソース・マネージャ８２６と、分散型ファイル・システム８２８とを含む。少なくとも１つの実施例では、フレームワーク層８２０は、ソフトウェア層８３０のソフトウェア８３２、及び／又はアプリケーション層８４０の１つ又は複数のアプリケーション８４２をサポートするためのフレームワークを含み得る。少なくとも１つの実施例では、ソフトウェア８３２又は（１つ又は複数の）アプリケーション８４２は、それぞれ、アマゾン・ウェブ・サービス、Ｇｏｏｇｌｅ Ｃｌｏｕｄ、及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含み得る。少なくとも１つの実施例では、フレームワーク層８２０は、限定はしないが、大規模データ処理（たとえば、「ビック・データ」）のために分散型ファイル・システム８２８を利用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）など、無料でオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークのタイプであり得る。少なくとも１つの実施例では、ジョブ・スケジューラ８２２は、データ・センタ８００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。少なくとも１つの実施例では、構成マネージャ８２４は、ソフトウェア層８３０、並びに大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム８２８を含むフレームワーク層８２０など、異なる層を構成することが可能であり得る。少なくとも１つの実施例では、リソース・マネージャ８２６は、分散型ファイル・システム８２８及びジョブ・スケジューラ８２２をサポートするようにマッピングされたか又は割り振られた、クラスタ化された又はグループ化されたコンピューティング・リソースを管理することが可能であり得る。少なくとも１つの実施例では、クラスタ化された又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層８１０において、グループ化されたコンピューティング・リソース８１４を含み得る。少なくとも１つの実施例では、リソース・マネージャ８２６は、リソース・オーケストレータ８１２と協調して、これらのマッピングされた又は割り振られたコンピューティング・リソースを管理し得る。
【0083】
少なくとも１つの実施例では、ソフトウェア層８３０中に含まれるソフトウェア８３２は、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）、グループ化されたコンピューティング・リソース８１４、及び／又はフレームワーク層８２０の分散型ファイル・システム８２８の少なくとも部分によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、限定はしないが、インターネット・ウェブ・ページ検索ソフトウェアと、電子メール・ウイルス・スキャン・ソフトウェアと、データベース・ソフトウェアと、ストリーミング・ビデオ・コンテンツ・ソフトウェアとを含み得る。
【0084】
少なくとも１つの実施例では、アプリケーション層８４０中に含まれる（１つ又は複数の）アプリケーション８４２は、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）、グループ化されたコンピューティング・リソース８１４、及び／又はフレームワーク層８２０の分散型ファイル・システム８２８の少なくとも部分によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、限定はしないが、任意の数のゲノミクス・アプリケーション、コグニティブ・コンピュート、及び、訓練又は推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）を含む、機械学習アプリケーション、又は、１つ又は複数の実施例と併せて使用される他の機械学習アプリケーションを含み得る。
【0085】
少なくとも１つの実施例では、構成マネージャ８２４、リソース・マネージャ８２６、及びリソース・オーケストレータ８１２のいずれかが、任意の技術的に実現可能な様式で獲得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正アクションを実装し得る。少なくとも１つの実施例では、自己修正アクションは、データ・センタ８００のデータ・センタ・オペレータを、不良の恐れのある構成を判定し、十分に利用されていない及び／又は性能の低いデータ・センタの部分を場合によっては回避することから解放し得る。
【0086】
少なくとも１つの実施例では、データ・センタ８００は、１つ又は複数の機械学習モデルを訓練するか、或いは、本明細書で説明される１つ又は複数の実施例による１つ又は複数の機械学習モデルを使用して情報を予測又は推論するためのツール、サービス、ソフトウェア又は他のリソースを含み得る。たとえば、少なくとも１つの実施例では、機械学習モデルは、データ・センタ８００に関して上記で説明されたソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練され得る。少なくとも１つの実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練された機械学習モデルは、本明細書で説明される１つ又は複数の訓練技法を通して計算された重みパラメータを使用することによって、データ・センタ８００に関して上記で説明されたリソースを使用して、情報を推論又は予測するために使用され得る。
【0087】
少なくとも１つの実施例では、データ・センタは、上記で説明されたリソースを使用して訓練及び／又は推論を実施するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用し得る。その上、上記で説明された１つ又は複数のソフトウェア及び／又はハードウェア・リソースは、画像認識、音声認識、又は他の人工知能サービスなど、ユーザが、情報を訓練するか又は情報の推論を実施することを可能にするためのサービスとして構成され得る。
【0088】
１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図８のシステムにおいて使用され得る。
【0089】
そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
【0090】
コンピュータ・システム
図９は、例示的なコンピュータ・システムを示すブロック図であり、例示的なコンピュータ・システムは、少なくとも１つの実施例による、命令を実行するための実行ユニットを含み得るプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳＯＣ）又はそれらの何らかの組合せをもつシステム９００であり得る。少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、本明細書で説明される実施例などにおいて、本開示による、プロセス・データのためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ９０２などの構成要素を含み得る。少なくとも１つの実施例では、コンピュータ・システム９００は、カリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含み得るが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含む）他のシステムも使用され得る。少なくとも１つの実施例では、コンピュータ・システム９００は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＷＩＮＤＯＷＳ（登録商標）オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースも使用され得る。
図９は、例示的なコンピュータ・システムを示すブロック図であり、例示的なコンピュータ・システムは、少なくとも１つの実施例による、命令を実行するための実行ユニットを含み得るプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳＯＣ）又はそれらの何らかの組合せをもつシステム９００であり得る。少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、本明細書で説明される実施例などにおいて、本開示による、プロセス・データのためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ９０２などの構成要素を含み得る。少なくとも１つの実施例では、コンピュータ・システム９００は、カリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含み得るが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含む）他のシステムも使用され得る。少なくとも１つの実施例では、コンピュータ・システム９００は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＷＩＮＤＯＷＳ（登録商標）オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースも使用され得る。
【0091】
実施例は、ハンドヘルド・デバイス及び組み込みアプリケーションなど、他のデバイスにおいて使用され得る。ハンドヘルド・デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、及びハンドヘルドＰＣを含む。少なくとも１つの実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋ ｃｏｍｐｕｔｅｒ）、セット・トップ・ボックス、ネットワーク・ハブ、ワイド・エリア・ネットワーク（「ＷＡＮ」：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）スイッチ、又は少なくとも１つの実施例による１つ又は複数の命令を実施し得る任意の他のシステムを含み得る。
【0092】
少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、プロセッサ９０２を含み得、プロセッサ９０２は、限定はしないが、本明細書で説明される技法による機械学習モデル訓練及び／又は推論を実施するための１つ又は複数の実行ユニット９０８を含み得る。少なくとも１つの実施例では、コンピュータ・システム９００は、シングル・プロセッサ・デスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム９００は、マルチプロセッサ・システムであり得る。少なくとも１つの実施例では、プロセッサ９０２は、限定はしないが、複合命令セット・コンピュータ（「ＣＩＳＣ」：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｉｎｇ）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は、たとえばデジタル信号プロセッサなど、任意の他のプロセッサ・デバイスを含み得る。少なくとも１つの実施例では、プロセッサ９０２は、プロセッサ・バス９１０に結合され得、プロセッサ・バス９１０は、プロセッサ９０２とコンピュータ・システム９００中の他の構成要素との間でデータ信号を送信し得る。
【0093】
少なくとも１つの実施例では、プロセッサ９０２は、限定はしないが、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）９０４を含み得る。少なくとも１つの実施例では、プロセッサ９０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有し得る。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ９０２の外部に存在し得る。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せをも含み得る。少なくとも１つの実施例では、レジスタ・ファイル９０６は、限定はしないが、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタを含む様々なレジスタに、異なるタイプのデータを記憶し得る。
【0094】
少なくとも１つの実施例では、限定はしないが、整数演算及び浮動小数点演算を実施するための論理を含む実行ユニット９０８も、プロセッサ９０２中に存在する。少なくとも１つの実施例では、プロセッサ９０２は、いくつかのマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）をも含み得る。少なくとも１つの実施例では、実行ユニット９０８は、パック命令セット９０９に対処するための論理を含み得る。少なくとも１つの実施例では、パック命令セット９０９を、命令を実行するための関連する回路要素とともに汎用プロセッサ９０２の命令セットに含めることによって、多くのマルチメディア・アプリケーションによって使用される演算が、汎用プロセッサ９０２中のパック・データを使用して実施され得る。１つ又は複数の実施例では、多くのマルチメディア・アプリケーションが、パック・データの演算を実施するためにプロセッサのデータ・バスの全幅を使用することによって加速され、より効率的に実行され得、これは、一度に１つのデータ要素ずつ１つ又は複数の演算を実施するために、プロセッサのデータ・バスにわたってより小さい単位のデータを転送する必要をなくし得る。
【0095】
少なくとも１つの実施例では、実行ユニット９０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用され得る。少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、メモリ９２０を含み得る。少なくとも１つの実施例では、メモリ９２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装され得る。少なくとも１つの実施例では、メモリ９２０は、プロセッサ９０２によって実行され得るデータ信号によって表される（１つ又は複数の）命令９１９及び／又はデータ９２１を記憶し得る。
【0096】
少なくとも１つの実施例では、システム論理チップが、プロセッサ・バス９１０及びメモリ９２０に結合され得る。少なくとも１つの実施例では、システム論理チップは、限定はしないが、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）９１６を含み得、プロセッサ９０２は、プロセッサ・バス９１０を介してＭＣＨ９１６と通信し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、命令及びデータ・ストレージのための、並びにグラフィックス・コマンド、データ及びテクスチャのストレージのための、高帯域幅メモリ経路９１８をメモリ９２０に提供し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、プロセッサ９０２と、メモリ９２０と、コンピュータ・システム９００中の他の構成要素との間でデータ信号をダイレクトし、プロセッサ・バス９１０と、メモリ９２０と、システムＩ／Ｏ９２２との間でデータ信号をブリッジし得る。少なくとも１つの実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、高帯域幅メモリ経路９１８を通してメモリ９２０に結合され得、グラフィックス／ビデオ・カード９１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）相互接続９１４を通してＭＣＨ９１６に結合され得る。
【0097】
少なくとも１つの実施例では、コンピュータ・システム９００は、ＭＣＨ９１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）９３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスである、システムＩ／Ｏ９２２を使用し得る。少なくとも１つの実施例では、ＩＣＨ９３０は、ローカルＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供し得る。少なくとも１つの実施例では、ローカルＩ／Ｏバスは、限定はしないが、周辺機器をメモリ９２０、チップセット、及びプロセッサ９０２に接続するための高速Ｉ／Ｏバスを含み得る。実例は、限定はしないが、オーディオ・コントローラ９２９と、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）９２８と、ワイヤレス・トランシーバ９２６と、データ・ストレージ９２４と、ユーザ入力及びキーボード・インターフェース９２５を含んでいるレガシーＩ／Ｏコントローラ９２３と、ユニバーサル・シリアル・バス（「ＵＳＢ」：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などのシリアル拡張ポート９２７と、ネットワーク・コントローラ９３４とを含み得る。データ・ストレージ９２４は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備え得る。
【0098】
少なくとも１つの実施例では、図９は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図９は、例示的なシステム・オン・チップ（「ＳｏＣ」）を示し得る。少なくとも１つの実施例では、デバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、コンピュータ・システム９００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ）相互接続を使用して相互接続される。
【0099】
１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図９のシステムにおいて使用され得る。
【0100】
そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
【0101】
図１０は、少なくとも１つの実施例による、プロセッサ１０１０を利用するための電子デバイス１０００を示すブロック図である。少なくとも１つの実施例では、電子デバイス１０００は、たとえば、限定はしないが、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであり得る。
【0102】
少なくとも１つの実施例では、システム１０００は、限定はしないが、任意の好適な数又は種類の構成要素、周辺機器、モジュール、又はデバイスに通信可能に結合されたプロセッサ１０１０を含み得る。少なくとも１つの実施例では、プロセッサ１０１０は、１℃バス、システム管理バス（「ＳＭＢｕｓ」：Ｓｙｓｔｅｍ Ｍａｎａｇｅｍｅｎｔ Ｂｕｓ）、ロー・ピン・カウント（ＬＰＣ：Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス、シリアル周辺インターフェース（「ＳＰＩ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、高精細度オーディオ（「ＨＤＡ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ａｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：Ｓｅｒｉａｌ Ａｄｖａｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３）、又はユニバーサル非同期受信機／送信機（「ＵＡＲＴ」：Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなど、バス又はインターフェースを使用して結合した。少なくとも１つの実施例では、図１０は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図１０は、例示的なシステム・オン・チップ（「ＳｏＣ」）を示し得る。少なくとも１つの実施例では、図１０に示されているデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、図１０の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続される。
【0103】
少なくとも１つの実施例では、図１０は、ディスプレイ１０２４、タッチ・スクリーン１０２５、タッチ・パッド１０３０、ニア・フィールド通信ユニット（「ＮＦＣ」：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）１０４５、センサ・ハブ１０４０、熱センサ１０４６、エクスプレス・チップセット（「ＥＣ」：Ｅｘｐｒｅｓｓ Ｃｈｉｐｓｅｔ）１０３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：Ｔｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ）１０３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈ ｍｅｍｏｒｙ）１０２２、ＤＳＰ１０６０、ソリッド・ステート・ディスク（「ＳＳＤ」：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）又はハード・ディスク・ドライブ（「ＨＤＤ」：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのドライブ１０２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）１０５０、Ｂｌｕｅｔｏｏｔｈユニット１０５２、ワイヤレス・ワイド・エリア・ネットワーク・ユニット（「ＷＷＡＮ」：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）１０５６、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１０５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１０５４、及び／或いは、たとえばＬＰＤＤＲ３規格において実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１０１５を含み得る。これらの構成要素は、各々、任意の好適な様式で実装され得る。
【0104】
少なくとも１つの実施例では、上記で説明された構成要素を通して、他の構成要素がプロセッサ１０１０に通信可能に結合され得る。少なくとも１つの実施例では、加速度計１０４１と、周囲光センサ（「ＡＬＳ」：Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ）１０４２と、コンパス１０４３と、ジャイロスコープ１０４４とが、センサ・ハブ１０４０に通信可能に結合され得る。少なくとも１つの実施例では、熱センサ１０３９と、ファン１０３７と、キーボード１０４６と、タッチ・パッド１０３０とが、ＥＣ１０３５に通信可能に結合され得る。少なくとも１つの実施例では、スピーカー１０６３と、ヘッドフォン１０６４と、マイクロフォン（「ｍｉｃ」）１０６５とが、オーディオ・ユニット（「オーディオ・コーデック及びクラスｄアンプ」）１０６２に通信可能に結合され得、オーディオ・ユニット１０６２は、ＤＳＰ１０６０に通信可能に結合され得る。少なくとも１つの実施例では、オーディオ・ユニット１０６４は、たとえば、限定はしないが、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤ増幅器を含み得る。少なくとも１つの実施例では、ＳＩＭカード（「ＳＩＭ」）１０５７は、ＷＷＡＮユニット１０５６に通信可能に結合され得る。少なくとも１つの実施例では、ＷＬＡＮユニット１０５０及びＢｌｕｅｔｏｏｔｈユニット１０５２などの構成要素、並びにＷＷＡＮユニット１０５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｆｏｒｍ Ｆａｃｔｏｒ）において実装され得る。
【0105】
１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７ａ及び／又は図７ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１０のシステムにおいて使用され得る。
【0106】
そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
【0107】
図１１は、少なくとも１つの実施例による、処理システムのブロック図である。少なくとも１つの実施例では、システム１１００は、１つ又は複数のプロセッサ１１０２と１つ又は複数のグラフィックス・プロセッサ１１０８とを含み、単一プロセッサ・デスクトップ・システム、マルチプロセッサ・ワークステーション・システム、或いは多数のプロセッサ１１０２又はプロセッサ・コア１１０７を有するサーバ・システムであり得る。少なくとも１つの実施例では、システム１１００は、モバイル・デバイス、ハンドヘルド・デバイス、又は組み込みデバイスにおいて使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。
【0108】
少なくとも１つの実施例では、システム１１００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディア・コンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、ハンドヘルド・ゲーム・コンソール、又はオンライン・ゲーム・コンソールを含むことができるか、或いはそれらの内部に組み込まれ得る。少なくとも１つの実施例では、システム１１００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス又はモバイル・インターネット・デバイスである。少なくとも１つの実施例では、処理システム１１００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、又は仮想現実デバイスなどのウェアラブル・デバイスを含むことができるか、それらと結合することができるか、又はそれらの内部に組み込まれ得る。少なくとも１つの実施例では、処理システム１１００は、１つ又は複数のプロセッサ１１０２と、１つ又は複数のグラフィックス・プロセッサ１１０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。
【0109】
少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、各々、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実施する命令を処理するための１つ又は複数のプロセッサ・コア１１０７を含む。少なくとも１つの実施例では、１つ又は複数のプロセッサ・コア１１０７の各々は、特定の命令セット１１０９を処理するように構成される。少なくとも１つの実施例では、命令セット１１０９は、複合命令セット・コンピューティング（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にし得る。少なくとも１つの実施例では、プロセッサ・コア１１０７は、各々、異なる命令セット１１０９を処理し得、命令セット１１０９は、他の命令セットのエミュレーションを容易にするための命令を含み得る。少なくとも１つの実施例では、プロセッサ・コア１１０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含み得る。
【0110】
少なくとも１つの実施例では、プロセッサ１１０２はキャッシュ・メモリ１１０４を含む。少なくとも１つの実施例では、プロセッサ１１０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ１１０２の様々な構成要素の間で共有される。少なくとも１つの実施例では、プロセッサ１１０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ：Ｌａｓｔ Ｌｅｖｅｌ Ｃａｃｈｅ））（図示せず）を使用し、外部キャッシュは、知られているキャッシュ・コヒーレンシ技法を使用してプロセッサ・コア１１０７の間で共有され得る。少なくとも１つの実施例では、追加として、レジスタ・ファイル１１０６がプロセッサ１１０２中に含まれ、レジスタ・ファイル１１０６は、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタ）を含み得る。少なくとも１つの実施例では、レジスタ・ファイル１１０６は、汎用レジスタ又は他のレジスタを含み得る。
【0111】
少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、アドレス、データ、又は制御信号などの通信信号を、プロセッサ１１０２とシステム１１００中の他の構成要素との間で送信するために、１つ又は複数のインターフェース・バス１１１０と結合される。少なくとも１つの実施例では、１つの実施例におけるインターフェース・バス１１１０は、ダイレクト・メディア・インターフェース（ＤＭＩ：Ｄｉｒｅｃｔ Ｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）バスのバージョンなどのプロセッサ・バスであり得る。少なくとも１つの実施例では、インターフェース１１１０は、ＤＭＩバスに限定されず、１つ又は複数の周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）、メモリ・バス、又は他のタイプのインターフェース・バスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１１０２は、統合されたメモリ・コントローラ１１１６と、プラットフォーム・コントローラ・ハブ１１３０とを含む。少なくとも１つの実施例では、メモリ・コントローラ１１１６は、メモリ・デバイスとシステム１１００の他の構成要素との間の通信を容易にし、プラットフォーム・コントローラ・ハブ（ＰＣＨ：ｐｌａｔｆｏｒｍ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。
【0112】
少なくとも１つの実施例では、メモリ・デバイス１１２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとして働くのに好適な性能を有する何らかの他のメモリ・デバイスであり得る。少なくとも１つの実施例では、メモリ・デバイス１１２０は、１つ又は複数のプロセッサ１１０２がアプリケーション又はプロセスを実行するときの使用のためのデータ１１２２及び命令１１２１を記憶するために、システム１１００のためのシステム・メモリとして動作することができる。少なくとも１つの実施例では、メモリ・コントローラ１１１６はまた、随意の外部グラフィックス・プロセッサ１１１２と結合し、外部グラフィックス・プロセッサ１１１２は、グラフィックス動作及びメディア動作を実施するために、プロセッサ１１０２中の１つ又は複数のグラフィックス・プロセッサ１１０８と通信し得る。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、（１つ又は複数の）プロセッサ１１０２に接続することができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、モバイル電子デバイス又はラップトップ・デバイスの場合のような内部ディスプレイ・デバイス、或いは、ディスプレイ・インターフェース（たとえば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられた外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーション又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）アプリケーションにおいて使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を含むことができる。
【0113】
少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、周辺機器が高速Ｉ／Ｏバスを介してメモリ・デバイス１１２０及びプロセッサ１１０２に接続することを可能にする。少なくとも１つの実施例では、Ｉ／Ｏ周辺機器は、限定はしないが、オーディオ・コントローラ１１４６と、ネットワーク・コントローラ１１３４と、ファームウェア・インターフェース１１２８と、ワイヤレス・トランシーバ１１２６と、タッチ・センサ１１２５と、データ・ストレージ・デバイス１１２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）とを含む。少なくとも１つの実施例では、データ・ストレージ・デバイス１１２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又は周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）などの周辺バスを介して、接続することができる。少なくとも１つの実施例では、タッチ・センサ１１２５は、タッチ・スクリーン・センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも１つの実施例では、ワイヤレス・トランシーバ１１２６は、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、或いは３Ｇ、４Ｇ、又はロング・ターム・エボリューション（ＬＴＥ）トランシーバなどのモバイル・ネットワーク・トランシーバであり得る。少なくとも１つの実施例では、ファームウェア・インターフェース１１２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ：ｕｎｉｆｉｅｄ ｅｘｔｅｎｓｉｂｌｅ ｆｉｒｍｗａｒｅ ｉｎｔｅｒｆａｃｅ）であり得る。少なくとも１つの実施例では、ネットワーク・コントローラ１１３４は、ワイヤード・ネットワークへのネットワーク接続を可能にすることができる。少なくとも１つの実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス１１１０と結合する。少なくとも１つの実施例では、オーディオ・コントローラ１１４６は、マルチチャネル高精細度オーディオ・コントローラである。少なくとも１つの実施例では、システム１１００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２：Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ ２））デバイスをシステムに結合するための随意のレガシーＩ／Ｏコントローラ１１４０を含む。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、キーボードとマウス１１４３との組合せ、カメラ１１４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ１１４２接続入力デバイスにも接続することができる。
【0114】
少なくとも１つの実施例では、メモリ・コントローラ１１１６及びプラットフォーム・コントローラ・ハブ１１３０のインスタンスが、外部グラフィックス・プロセッサ１１１２などの慎重な外部グラフィックス・プロセッサに組み込まれ得る。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０及び／又はメモリ・コントローラ１１１６は、１つ又は複数のプロセッサ１１０２の外部にあり得る。たとえば、少なくとも１つの実施例では、システム１１００は、外部のメモリ・コントローラ１１１６とプラットフォーム・コントローラ・ハブ１１３０とを含むことができ、それらは、（１つ又は複数の）プロセッサ１１０２と通信しているシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺コントローラ・ハブとして構成され得る。
【0115】
１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、グラフィックス・プロセッサ１５００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサにおいて具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサのＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。
【0116】
そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
【0117】
図１２は、少なくとも１つの実施例による、１つ又は複数のプロセッサ・コア１２０２Ａ～１２０２Ｎと、統合されたメモリ・コントローラ１２１４と、統合されたグラフィックス・プロセッサ１２０８とを有するプロセッサ１２００のブロック図である。少なくとも１つの実施例では、プロセッサ１２００は、破線ボックスによって表される追加コア１２０２Ｎまでの追加コアを含むことができる。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎの各々は、１つ又は複数の内部キャッシュ・ユニット１２０４Ａ～１２０４Ｎを含む。少なくとも１つの実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュド・ユニット１２０６へのアクセスを有する。
【0118】
少なくとも１つの実施例では、内部キャッシュ・ユニット１２０４Ａ～１２０４Ｎと共有キャッシュ・ユニット１２０６とは、プロセッサ１２００内のキャッシュ・メモリ階層を表す。少なくとも１つの実施例では、キャッシュ・メモリ・ユニット１２０４Ａ～１２０４Ｎは、各プロセッサ・コア内の命令及びデータ・キャッシュの少なくとも１つのレベル、及びレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含み得、ここで、外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも１つの実施例では、キャッシュ・コヒーレンシ論理は、様々なキャッシュ・ユニット１２０６及び１２０４Ａ～１２０４Ｎ間でコヒーレンシを維持する。
【0119】
少なくとも１つの実施例では、プロセッサ１２００は、１つ又は複数のバス・コントローラ・ユニット１２１６とシステム・エージェント・コア１２１０とのセットをも含み得る。少なくとも１つの実施例では、１つ又は複数のバス・コントローラ・ユニット１２１６は、１つ又は複数のＰＣＩ又はＰＣＩエクスプレス・バスなどの周辺バスのセットを管理する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、様々なプロセッサ構成要素のための管理機能性を提供する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合されたメモリ・コントローラ１２１４を含む。
【0120】
少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、マルチスレッド処理中にコア１２０２Ａ～１２０２Ｎを協調させ、動作させるための構成要素を含む。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、追加として、電力制御ユニット（ＰＣＵ：ｐｏｗｅｒ ｃｏｎｔｒｏｌ ｕｎｉｔ）を含み得、ＰＣＵは、プロセッサ・コア１２０２Ａ～１２０２Ｎ及びグラフィックス・プロセッサ１２０８の１つ又は複数の電力状態を調節するための論理及び構成要素を含む。
【0121】
少なくとも１つの実施例では、プロセッサ１２００は、追加として、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ１２０８を含む。少なくとも１つの実施例では、グラフィックス・プロセッサ１２０８は、共有キャッシュ・ユニット１２０６、及び１つ又は複数の統合されたメモリ・コントローラ１２１４を含むシステム・エージェント・コア１２１０と結合する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、１つ又は複数の結合されたディスプレイへのグラフィックス・プロセッサ出力を駆動するためのディスプレイ・コントローラ１２１１をも含む。少なくとも１つの実施例では、ディスプレイ・コントローラ１２１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ１２０８と結合された別個のモジュールであり得るか、又はグラフィックス・プロセッサ１２０８内に組み込まれ得る。
【0122】
少なくとも１つの実施例では、プロセッサ１２００の内部構成要素を結合するために、リング・ベースの相互接続ユニット１２１２が使用される。少なくとも１つの実施例では、ポイントツーポイント相互接続、切替え相互接続、又は他の技法などの代替相互接続ユニットが使用され得る。少なくとも１つの実施例では、グラフィックス・プロセッサ１２０８は、Ｉ／Ｏリンク１２１３を介してリング相互接続１２１２と結合する。
【0123】
少なくとも１つの実施例では、Ｉ／Ｏリンク１２１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール１２１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む、複数の種類のＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎの各々と、グラフィックス・プロセッサ１２０８とは、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール１２１８を使用する。
【0124】
少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ａｒｃｈｉｔｅｃｔｕｒｅ）という観点から異種であり、ここで、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数は、共通の命令セットを実行し、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、マイクロアーキテクチャという観点から異種であり、ここで、電力消費量が比較的高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数の電力コアと結合する。少なくとも１つの実施例では、プロセッサ１２００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装され得る。
【0125】
１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７ａ及び／又は図７ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、プロセッサ１２００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサ１５１２、（１つ又は複数の）グラフィックス・コア１２０２Ａ～１２０２Ｎ、又は図１２中の他の構成要素において具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサ１２００のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。
【0126】
そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
【0127】
仮想化されたコンピューティング・プラットフォーム
図１３は、少なくとも１つの実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス１３００のための例示的なデータ・フロー図である。少なくとも１つの実施例では、プロセス１３００は、１つ又は複数の施設１３０２において、撮像デバイス、処理デバイス、及び／又は他のデバイス・タイプとともに使用するために導入され得る。プロセス１３００は、訓練システム１３０４及び／又は導入システム１３０６内で実行され得る。少なくとも１つの実施例では、訓練システム１３０４は、導入システム１３０６における使用のための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装を実施するために使用され得る。少なくとも１つの実施例では、導入システム１３０６は、施設１３０２におけるインフラストラクチャ要件を低減するために、処理及びコンピュート・リソースを分散型コンピューティング環境の間でオフロードするように構成され得る。少なくとも１つの実施例では、パイプライン中の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム１３０６のサービス（たとえば、推論、視覚化、コンピュート、ＡＩなど）を使用するか、又はコールし得る。
図１３は、少なくとも１つの実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス１３００のための例示的なデータ・フロー図である。少なくとも１つの実施例では、プロセス１３００は、１つ又は複数の施設１３０２において、撮像デバイス、処理デバイス、及び／又は他のデバイス・タイプとともに使用するために導入され得る。プロセス１３００は、訓練システム１３０４及び／又は導入システム１３０６内で実行され得る。少なくとも１つの実施例では、訓練システム１３０４は、導入システム１３０６における使用のための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装を実施するために使用され得る。少なくとも１つの実施例では、導入システム１３０６は、施設１３０２におけるインフラストラクチャ要件を低減するために、処理及びコンピュート・リソースを分散型コンピューティング環境の間でオフロードするように構成され得る。少なくとも１つの実施例では、パイプライン中の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム１３０６のサービス（たとえば、推論、視覚化、コンピュート、ＡＩなど）を使用するか、又はコールし得る。
【0128】
少なくとも１つの実施例では、先進処理及び推論パイプラインにおいて使用されるアプリケーションのいくつかは、１つ又は複数の処理ステップを実施するために機械学習モデル又は他のＡＩを使用し得る。少なくとも１つの実施例では、機械学習モデルは、施設１３０２において生成された（及び、施設１３０２において１つ又は複数のピクチャ・アーカイブ及び通信システム（ＰＡＣＳ：ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）サーバに記憶された）（撮像データなどの）データ１３０８を使用して、施設１３０２において訓練され得るか、（１つ又は複数の）別の施設からの撮像又はシーケンシング・データ１３０８を使用して訓練され得るか、或いはそれらの組合せであり得る。少なくとも１つの実施例では、訓練システム１３０４は、導入システム１３０６のための実用的で導入可能な機械学習モデルを生成するためのアプリケーション、サービス、及び／又は他のリソースを提供するために使用され得る。
【0129】
少なくとも１つの実施例では、モデル・レジストリ１３２４は、バージョン管理及び物体メタデータをサポートし得る物体ストレージによってバックアップされ得る。少なくとも１つの実施例では、物体ストレージは、たとえば、クラウド・プラットフォーム内から、クラウド・ストレージ（たとえば、図１４のクラウド１４２６）互換アプリケーション・プログラミング・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）を通してアクセス可能であり得る。少なくとも１つの実施例では、モデル・レジストリ１３２４内の機械学習モデルは、システムの開発者又はパートナーがＡＰＩと対話することによって、アップロード、リスト化、修正、又は削除され得る。少なくとも１つの実施例では、ＡＰＩは、適切な資格をもつユーザがモデルをアプリケーションに関連付けることを可能にする方法へのアクセスを提供し得、それにより、モデルは、アプリケーションのコンテナ化されたインスタンス化の実行の一部として実行され得る。
【0130】
少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）は、施設１３０２がそれ自体の機械学習モデルを訓練しているか、或いは、最適化又は更新される必要がある既存の機械学習モデルを有するシナリオを含み得る。少なくとも１つの実施例では、（１つ又は複数の）撮像デバイス、シーケンシング・デバイス、及び／又は他のデバイス・タイプによって生成された撮像データ１３０８が受信され得る。少なくとも１つの実施例では、撮像データ１３０８が受信されると、機械学習モデルについてのグランド・トゥルース・データとして使用されるべき撮像データ１３０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション１３１０が使用され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション１３１０は、１つ又は複数の機械学習モデル（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ））を含み得、１つ又は複数の機械学習モデルは、（たとえば、いくつかのデバイスからの）いくつかのタイプの撮像データ１３０８に対応するアノテーションを生成するように訓練され得る。少なくとも１つの実施例では、次いで、ＡＩ支援アノテーション１３１０は、グランド・トゥルース・データを生成するために、直接使用され得るか、或いは、アノテーション・ツールを使用して調整又は微調整され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション１３１０、ラベル付きクリニック・データ１３１２、又はそれらの組合せが、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、訓練された機械学習モデルは出力モデル１３１６と呼ばれることがあり、本明細書で説明されるように、導入システム１３０６によって使用され得る。
【0131】
少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）は、施設１３０２が、導入システム１３０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とするが、施設１３０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）シナリオを含み得る。少なくとも１つの実施例では、既存の機械学習モデルが、モデル・レジストリ１３２４から選択され得る。少なくとも１つの実施例では、モデル・レジストリ１３２４は、撮像データに対して様々な異なる推論タスクを実施するように訓練された機械学習モデルを含み得る。少なくとも１つの実施例では、モデル・レジストリ１３２４中の機械学習モデルは、施設１３０２とは異なる施設（たとえば、離れた場所にある施設）からの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、機械学習モデルは、１つのロケーション、２つのロケーション、又は任意の数のロケーションからの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、特定のロケーションからの撮像データに関して訓練されているとき、訓練は、そのロケーションにおいて行われ得るか、或いは少なくとも、撮像データの機密性を保護するか又は撮像データが構外へ転送されるのを制限する様式で、行われ得る。少なくとも１つの実施例では、１つのロケーションにおいてモデルが訓練されると、又は部分的に訓練されると、機械学習モデルはモデル・レジストリ１３２４に追加され得る。少なくとも１つの実施例では、次いで、機械学習モデルは、任意の数の他の施設において再訓練又は更新され得、再訓練又は更新されたモデルが、モデル・レジストリ１３２４において利用可能にされ得る。少なくとも１つの実施例では、次いで、機械学習モデルは、モデル・レジストリ１３２４から選択され得、出力モデル１３１６と呼ばれることがあり、導入システムの１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施するために導入システム１３０６において使用され得る。
【0132】
少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）、シナリオは、施設１３０２が、導入システム１３０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とすることを含み得るが、施設１３０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）。少なくとも１つの実施例では、モデル・レジストリ１３２４から選択された機械学習モデルは、母集団、機械学習モデルを訓練するために使用される訓練データのロバストネス、訓練データの異常の多様性、及び／又は訓練データに伴う他の問題における差異のために、施設１３０２において生成される撮像データ１３０８のために微調整又は最適化されないことがある。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用されるべき撮像データ１３０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション１３１０が使用され得る。少なくとも１つの実施例では、ラベル付きデータ１３１２が、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新することは、モデル訓練１３１４と呼ばれることがある。少なくとも１つの実施例では、モデル訓練１３１４、たとえばＡＩ支援アノテーション１３１０、ラベル付きクリニック・データ１３１２、又はそれらの組合せは、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、訓練された機械学習モデルは出力モデル１３１６と呼ばれることがあり、本明細書で説明されるように、導入システム１３０６によって使用され得る。
【0133】
少なくとも１つの実施例では、導入システム１３０６は、ソフトウェア１３１８、サービス１３２０、ハードウェア１３２２、並びに／又は他の構成要素、特徴、及び機能性を含み得る。少なくとも１つの実施例では、導入システム１３０６は、ソフトウェア「スタック」を含み得、それにより、ソフトウェア１３１８は、サービス１３２０の上に築かれ得、サービス１３２０を使用して処理タスクのいくつか又はすべてを実施し得、サービス１３２０及びソフトウェア１３１８は、ハードウェア１３２２の上に築かれ、ハードウェア１３２２を使用して、導入システム１３０６の処理、ストレージ、及び／又は他のコンピュート・タスクを実行し得る。少なくとも１つの実施例では、ソフトウェア１３１８は、任意の数の異なるコンテナを含み得、各コンテナは、アプリケーションのインスタンス化を実行し得る。少なくとも１つの実施例では、各アプリケーションは、先進処理及び推論パイプライン中の１つ又は複数の処理タスク（たとえば、推論、物体検出、特徴検出、セグメント化、画像強調、キャリブレーションなど）を実施し得る。少なくとも１つの実施例では、先進処理及び推論パイプラインは、（たとえば、使用可能なデータ・タイプに出力をコンバートするために）パイプラインを通して処理した後に、各コンテナによる使用及び／又は施設１３０２による使用のための撮像データを受信及び構成するコンテナに加えて、撮像データ１３０８を処理するために所望されるか又は必要とされる異なるコンテナの選択に基づいて、定義され得る。少なくとも１つの実施例では、（たとえば、パイプラインを作り上げる）ソフトウェア１３１８内のコンテナの組合せは、（本明細書でより詳細に説明されるように）仮想機器と呼ばれることがあり、仮想機器は、サービス１３２０及びハードウェア１３２２を活用して、コンテナにおいてインスタンス化されたアプリケーションのいくつか又はすべての処理タスクを実行し得る。
【0134】
少なくとも１つの実施例では、データ処理パイプラインは、推論要求（たとえば、導入システム１３０６のユーザからの要求）に応答して、特定のフォーマットで入力データ（たとえば、撮像データ１３０８）を受信し得る。少なくとも１つの実施例では、入力データは、１つ又は複数の撮像デバイスによって生成される１つ又は複数の画像、ビデオ、及び／又は他のデータ表現を表し得る。少なくとも１つの実施例では、データは、１つ又は複数のアプリケーションによる処理のためにデータを準備するために、データ処理パイプラインの一部としての事前処理を受け得る。少なくとも１つの実施例では、次のアプリケーションのための出力データを準備するために、並びに／或いは、（たとえば、推論要求への応答としての）ユーザによる送信及び／又は使用のための出力データを準備するために、パイプラインの１つ又は複数の推論タスク又は他の処理タスクの出力に対して後処理が実施され得る。少なくとも１つの実施例では、推論タスクは、訓練システム１３０４の出力モデル１３１６を含み得る、訓練された又は導入されたニューラル・ネットワークなど、１つ又は複数の機械学習モデルによって実施され得る。
【0135】
少なくとも１つの実施例では、データ処理パイプラインのタスクは、（１つ又は複数の）コンテナ中にカプセル化され得、（１つ又は複数の）コンテナは、各々、アプリケーションの個別の完全に機能的なインスタンス化と、機械学習モデルを参照することが可能である仮想化コンピューティング環境とを表す。少なくとも１つの実施例では、コンテナ又はアプリケーションは、（本明細書でより詳細に説明される）コンテナ・レジストリのプライベート（たとえば、アクセスの制限された）エリアに公開され得、訓練された又は導入されたモデルは、モデル・レジストリ１３２４に記憶され、１つ又は複数のアプリケーションに関連付けられ得る。少なくとも１つの実施例では、アプリケーションの画像（たとえば、コンテナ画像）は、コンテナ・レジストリにおいて利用可能であり得、パイプラインにおける導入のためにユーザによってコンテナ・レジストリから選択されると、画像は、ユーザのシステムによる使用のためのアプリケーションのインスタンス化のためのコンテナを生成するために使用され得る。
【0136】
少なくとも１つの実施例では、開発者（たとえば、ソフトウェア開発者、臨床医、医師など）は、供給されたデータに対して画像処理及び／又は推論を実施するためのアプリケーションを（たとえばコンテナとして）開発、公開、及び記憶し得る。少なくとも１つの実施例では、開発、公開、及び／又は記憶は、（たとえば、開発されたアプリケーション及び／又はコンテナがシステムに準拠するか又はシステムと互換性があることを確実にするために）システムに関連付けられたソフトウェア開発キット（ＳＤＫ：ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｋｉｔ）を使用して実施され得る。少なくとも１つの実施例では、開発されたアプリケーションは、システム（たとえば、図１４のシステム１４００）としてサービス１３２０のうちの少なくともいくつかをサポートし得るＳＤＫを用いて、ローカルに（たとえば、第１の施設において、第１の施設からのデータに対して）テストされ得る。少なくとも１つの実施例では、ＤＩＣＯＭ物体は、１つから数百個の画像又は他のデータ・タイプをどこにでも含んでいることがあるので、及びデータの変動により、開発者は、入って来るデータの抽出及び準備を管理すること（たとえば、アプリケーションのための構築物を設定すること、事前処理をアプリケーションに組み込むことなど）について責任を負うことがある。少なくとも１つの実施例では、システム１４００によって（たとえば、正確さについて）検証されると、アプリケーションは、ユーザの施設（たとえば、第２の施設）におけるデータに対して１つ又は複数の処理タスクを実施するために、ユーザによる選択及び／又は実装のためにコンテナ・レジストリにおいて利用可能になり得る。
【0137】
少なくとも１つの実施例では、次いで、開発者は、アプリケーション又はコンテナを、システム（たとえば、図１４のシステム１４００）のユーザによるアクセス及び使用のためにネットワークを通して共有し得る。少なくとも１つの実施例では、完成した及び検証されたアプリケーション又はコンテナは、コンテナ・レジストリに記憶され得、関連する機械学習モデルは、モデル・レジストリ１３２４に記憶され得る。少なくとも１つの実施例では、推論又は画像処理要求を提供する要求元エンティティは、アプリケーション、コンテナ、データセット、機械学習モデルなどについてコンテナ・レジストリ及び／又はモデル・レジストリ１３２４をブラウズし、データ処理パイプライン中に含めるための要素の所望の組合せを選択し、撮像処理要求をサブミットし得る。少なくとも１つの実施例では、要求は、要求を実施するために必要である入力データ（及び、いくつかの実例では、関連する患者データ）を含み得、並びに／或いは、要求を処理する際に実行されるべき（１つ又は複数の）アプリケーション及び／又は機械学習モデルの選択を含み得る。少なくとも１つの実施例では、次いで、要求は、データ処理パイプラインの処理を実施するために導入システム１３０６（たとえば、クラウド）の１つ又は複数の構成要素に渡され得る。少なくとも１つの実施例では、導入システム１３０６による処理は、コンテナ・レジストリ及び／又はモデル・レジストリ１３２４からの選択された要素（たとえば、アプリケーション、コンテナ、モデルなど）を参照することを含み得る。少なくとも１つの実施例では、パイプラインによって結果が生成されると、結果は、参照のために（たとえば、ローカルの、構内のワークステーション又は端末上で実行している視聴アプリケーション・スイートにおいて視聴するために）ユーザに返され得る。
【0138】
少なくとも１つの実施例では、パイプラインにおけるアプリケーション又はコンテナの処理又は実行を補助するために、サービス１３２０が活用され得る。少なくとも１つの実施例では、サービス１３２０は、コンピュート・サービス、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）サービス、視覚化サービス、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、サービス１３２０は、ソフトウェア１３１８中の１つ又は複数のアプリケーションに共通である機能性を提供し得、したがって、機能性は、アプリケーションによってコール又は活用され得るサービスに対して抽象化され得る。少なくとも１つの実施例では、サービス１３２０によって提供される機能性は、動的に及びより効率的に稼働し得、また、（たとえば、並列コンピューティング・プラットフォーム１４３０（図１４）を使用して）アプリケーションが並列にデータを処理することを可能にすることによって、良好にスケーリングし得る。少なくとも１つの実施例では、サービス１３２０によって与えられる同じ機能性を共有する各アプリケーションが、サービス１３２０のそれぞれのインスタンスを有することを必要とされるのではなく、サービス１３２０は、様々なアプリケーション間で及びそれらの間で共有され得る。少なくとも１つの実施例では、サービスは、非限定的な実例として、検出又はセグメント化タスクを実行するために使用され得る推論サーバ又はエンジンを含み得る。少なくとも１つの実施例では、機械学習モデル訓練及び／又は再訓練能力（ｃａｐａｂｉｌｉｔｙ）を提供し得るモデル訓練サービスが含まれ得る。少なくとも１つの実施例では、ＧＰＵ加速データ（たとえば、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）抽出、リサイジング、スケーリング、及び／又は他の拡張を提供し得るデータ拡張サービスがさらに含まれ得る。少なくとも１つの実施例では、２次元（２Ｄ：ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ）及び／又は３次元（３Ｄ）のモデルにリアル感を追加するために、レイ・トレーシング、ラスタ化、ノイズ除去、鮮鋭化などの画像レンダリング効果を追加し得る視覚化サービスが使用され得る。少なくとも１つの実施例では、仮想機器のパイプライン内の他のアプリケーションについてビーム形成、セグメント化、推論、撮像、及び／又はサポートを提供する仮想機器サービスが含まれ得る。
【0139】
少なくとも１つの実施例では、サービス１３２０がＡＩサービス（たとえば、推論サービス）を含む場合、１つ又は複数の機械学習モデルは、（１つ又は複数の）機械学習モデル、又はその処理を、アプリケーション実行の一部として実行するように推論サービス（たとえば、推論サーバ）を（たとえば、ＡＰＩコールとして）コールすることによって、実行され得る。少なくとも１つの実施例では、セグメント化タスクのための１つ又は複数の機械学習モデルを別のアプリケーションが含む場合、アプリケーションは、セグメント化タスクに関連付けられた処理動作のうちの１つ又は複数を実施するための機械学習モデルを実行するように、推論サービスをコールし得る。少なくとも１つの実施例では、セグメント化アプリケーションと異常検出アプリケーションとを含む先進処理及び推論パイプラインを実装するソフトウェア１３１８は、１つ又は複数の推論タスクを実施するために各アプリケーションが同じ推論サービスをコールし得るので、合理化され得る。
【0140】
少なくとも１つの実施例では、ハードウェア１３２２は、ＧＰＵ、ＣＰＵ、グラフィックス・カード、ＡＩ／深層学習システム（たとえば、ＮＶＩＤＩＡのＤＧＸなどのＡＩスーパーコンピュータ）、クラウド・プラットフォーム、又はそれらの組合せを含み得る。少なくとも１つの実施例では、異なるタイプのハードウェア１３２２が、導入システム１３０６中のソフトウェア１３１８及びサービス１３２０の効率的で専用のサポートを提供するために使用され得る。少なくとも１つの実施例では、画像処理及び生成の効率、正確さ、及び有効性を改善するために、ＡＩ／深層学習システム内、クラウド・システム中、及び／又は導入システム１３０６の他の処理構成要素中で、ローカルで（たとえば、施設１３０２において）処理するためのＧＰＵ処理の使用が実装され得る。少なくとも１つの実施例では、ソフトウェア１３１８及び／又はサービス１３２０は、非限定的な実例として、深層学習、機械学習、及び／又は高性能コンピューティングに関するＧＰＵ処理のために最適化され得る。少なくとも１つの実施例では、導入システム１３０６及び／又は訓練システム１３０４のコンピューティング環境の少なくとも一部は、データセンタの１つ又は複数のスーパーコンピュータ又は高性能コンピューティング・システムにおいて、ＧＰＵ最適化ソフトウェア（たとえば、ＮＶＩＤＩＡのＤＧＸシステムのハードウェアとソフトウェアとの組合せ）を用いて実行され得る。少なくとも１つの実施例では、ハードウェア１３２２は、任意の数のＧＰＵを含み得、それらのＧＰＵは、本明細書で説明されるように、データの並列処理を実施するためにコールされ得る。少なくとも１つの実施例では、クラウド・プラットフォームは、深層学習タスク、機械学習タスク、又は他のコンピューティング・タスクのＧＰＵ最適化実行のためのＧＰＵ処理をさらに含み得る。少なくとも１つの実施例では、クラウド・プラットフォーム（たとえば、ＮＶＩＤＩＡのＮＧＣ）は、（たとえば、ＮＶＩＤＩＡのＤＧＸシステム上で提供される）（１つ又は複数の）ＡＩ／深層学習スーパーコンピュータ及び／又はＧＰＵ最適化ソフトウェアを、ハードウェア抽象化及びスケーリング・プラットフォームとして使用して、実行され得る。少なくとも１つの実施例では、クラウド・プラットフォームは、シームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵに対するアプリケーション・コンテナ・クラスタリング・システム又はオーケストレーション・システム（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を統合し得る。
【0141】
図１４は、少なくとも１つの実施例による、撮像導入パイプラインを生成及び導入するための例示的なシステム１４００のためのシステム図である。少なくとも１つの実施例では、システム１４００は、図１３のプロセス１３００、並びに／又は先進処理及び推論パイプラインを含む他のプロセスを実装するために使用され得る。少なくとも１つの実施例では、システム１４００は、訓練システム１３０４と導入システム１３０６とを含み得る。少なくとも１つの実施例では、訓練システム１３０４及び導入システム１３０６は、本明細書で説明されるように、ソフトウェア１３１８、サービス１３２０、及び／又はハードウェア１３２２を使用して実装され得る。
【0142】
少なくとも１つの実施例では、システム１４００（たとえば、訓練システム１３０４及び／又は導入システム１３０６）は、（たとえば、クラウド１４２６を使用する）クラウド・コンピューティング環境において実装され得る。少なくとも１つの実施例では、システム１４００は、ヘルスケア・サービス施設に関してローカルに、又はクラウド・コンピューティング・リソースとローカル・コンピューティング・リソースの両方の組合せとして、実装され得る。少なくとも１つの実施例では、クラウド１４２６中のＡＰＩへのアクセスは、制定されたセキュリティ対策又はプロトコルを通して、許可されたユーザに限定され得る。少なくとも１つの実施例では、セキュリティ・プロトコルはウェブ・トークンを含み得、ウェブ・トークンは、認証（たとえば、ＡｕｔｈＮ、ＡｕｔｈＺ、Ｇｌｕｅｃｏｎなど）サービスによって署名され得、適切な許可を持ち得る。少なくとも１つの実施例では、（本明細書で説明される）仮想機器のＡＰＩ、又はシステム１４００の他のインスタンス化は、対話について検査又は許可されたパブリックＩＰのセットに限定され得る。
【0143】
少なくとも１つの実施例では、システム１４００の様々な構成要素は、ワイヤード及び／又はワイヤレス通信プロトコルを介して、限定はしないがローカル・エリア・ネットワーク（ＬＡＮ）及び／又はワイド・エリア・ネットワーク（ＷＡＮ）を含む様々な異なるネットワーク・タイプのいずれかを使用して、互いの間で通信し得る。少なくとも１つの実施例では、（たとえば、推論要求を送信するための、推論要求の結果を受信するためのなど）施設とシステム１４００の構成要素との間の通信は、（１つ又は複数の）データ・バス、ワイヤレス・データ・プロトコル（Ｗｉ－Ｆｉ）、ワイヤード・データ・プロトコル（たとえば、イーサネット）などを介して通信され得る。
【0144】
少なくとも１つの実施例では、訓練システム１３０４は、図１３に関して本明細書で説明されたものと同様の訓練パイプライン１４０４を実行し得る。少なくとも１つの実施例では、１つ又は複数の機械学習モデルが導入システム１３０６によって導入パイプライン１４１０において使用されるべきである場合、訓練パイプライン１４０４は、１つ又は複数の（たとえば、事前訓練された）モデルを訓練又は再訓練し、並びに／或いは、事前訓練されたモデル１４０６のうちの１つ又は複数を（たとえば、再訓練又は更新の必要なしに）実装するために、使用され得る。少なくとも１つの実施例では、訓練パイプライン１４０４の結果として、（１つ又は複数の）出力モデル１３１６が生成され得る。少なくとも１つの実施例では、訓練パイプライン１４０４は、限定はしないが、撮像データ（又は他の入力データ）コンバージョン又は適応など、任意の数の処理ステップを含み得る。少なくとも１つの実施例では、導入システム１３０６によって使用される異なる機械学習モデルについて、異なる訓練パイプライン１４０４が使用され得る。少なくとも１つの実施例では、図１３に関して説明された第１の実例と同様の訓練パイプライン１４０４は、第１の機械学習モデルのために使用され得、図１３に関して説明された第２の実例と同様の訓練パイプライン１４０４は、第２の機械学習モデルのために使用され得、図１３に関して説明された第３の実例と同様の訓練パイプライン１４０４は、第３の機械学習モデルのために使用され得る。少なくとも１つの実施例では、各それぞれの機械学習モデルについて何が必要とされるかに応じて、訓練システム１３０４内のタスクの任意の組合せが使用され得る。少なくとも１つの実施例では、機械学習モデルのうちの１つ又は複数は、すでに訓練され、導入の準備ができていることがあり、したがって、機械学習モデルは、訓練システム１３０４によるいかなる処理をも受けないことがあり、導入システム１３０６によって実装され得る。
【0145】
少なくとも１つの実施例では、（１つ又は複数の）出力モデル１３１６及び／又は（１つ又は複数の）事前訓練されたモデル１４０６は、実装形態又は実施例に応じて任意のタイプの機械学習モデルを含み得る。少なくとも１つの実施例では、及び限定はしないが、システム１４００によって使用される機械学習モデルは、線形回帰、ロジスティック回帰、判定ツリー、サポート・ベクター・マシン（ＳＶＭ）、単純ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、ｋ平均クラスタリング、ランダム・フォレスト、次元低減アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オート・エンコーダ、畳み込み、リカレント、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ホップフィールド、ボルツマン、深層信念、逆畳み込み、敵対的生成、液体状態機械など）を使用する（１つ又は複数の）機械学習モデル、及び／又は他のタイプの機械学習モデルを含み得る。
【0146】
少なくとも１つの実施例では、訓練パイプライン１４０４は、少なくとも図１５Ｂに関して本明細書でより詳細に説明されるように、ＡＩ支援アノテーションを含み得る。少なくとも１つの実施例では、ラベル付きデータ１３１２（たとえば、従来のアノテーション）は、任意の数の技法によって生成され得る。少なくとも１つの実施例では、ラベル又は他のアノテーションは、描画プログラム（たとえば、アノテーション・プログラム）、コンピュータ支援設計（ＣＡＤ：ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）プログラム、ラベル付けプログラム、グランド・トゥルースのためのアノテーション又はラベルを生成するのに好適な別のタイプのプログラム内で生成され得、及び／或いは、いくつかの実例では、手書きされ得る。少なくとも１つの実施例では、グランド・トゥルース・データは、合成的に作り出され（たとえば、コンピュータ・モデル又はレンダリングから生成され）、現実的に作り出され（たとえば、実世界のデータから設計され、作り出され）、（たとえば、データから特徴を抽出し、次いでラベルを生成するために、特徴分析及び学習を使用して）機械自動化され、人間によりアノテーション付けされ（たとえば、ラベラ、又はアノテーション専門家が、ラベルのロケーションを定義し）、及び／又はそれらの組合せであり得る。少なくとも１つの実施例では、撮像データ１３０８の各インスタンス（又は機械学習モデルによって使用される他のデータ・タイプ）について、訓練システム１３０４によって生成される対応するグランド・トゥルース・データがあり得る。少なくとも１つの実施例では、訓練パイプライン１４０４中に含まれるＡＩ支援アノテーションに加えて、又はその代わりにのいずれかで、導入パイプライン１４１０の一部としてＡＩ支援アノテーションが実施され得る。少なくとも１つの実施例では、システム１４００は多層プラットフォームを含み得、多層プラットフォームは、１つ又は複数の医療撮像及び診断機能を実施し得る診断アプリケーション（又は他のアプリケーション・タイプ）のソフトウェア層（たとえば、ソフトウェア１３１８）を含み得る。少なくとも１つの実施例では、システム１４００は、１つ又は複数の施設のＰＡＣＳサーバ・ネットワークに、（たとえば、暗号化リンクを介して）通信可能に結合され得る。少なくとも１つの実施例では、システム１４００は、機械学習モデルを訓練すること、機械学習モデルを導入すること、画像処理、推論、及び／又は他の動作などの動作を実施するために、ＰＡＣＳサーバからのデータにアクセスし、それを参照するように構成され得る。
【0147】
少なくとも１つの実施例では、ソフトウェア層は、セキュアな、暗号化された、及び／又は認証されたＡＰＩとして実装され得、このＡＰＩを通して、アプリケーション又はコンテナが、（１つ又は複数の）外部環境（たとえば、施設１３０２）から呼び出され（たとえば、コールされ）得る。少なくとも１つの実施例では、次いで、アプリケーションは、それぞれのアプリケーションに関連付けられたコンピュート、ＡＩ、又は視覚化タスクを実施するために１つ又は複数のサービス１３２０をコール又は実行し得、ソフトウェア１３１８及び／又はサービス１３２０は、ハードウェア１３２２を活用して、処理タスクを有効で効率的な様式で実施し得る。
【0148】
少なくとも１つの実施例では、導入システム１３０６は、導入パイプライン１４１０を実行し得る。少なくとも１つの実施例では、導入パイプライン１４１０は任意の数のアプリケーションを含み得、それらのアプリケーションは、上記で説明されたように、ＡＩ支援アノテーションを含む、撮像デバイス、シーケンシング・デバイス、ゲノミクス・デバイスなどによって生成された撮像データ（及び／又は他のデータ・タイプ）に連続的に、非連続的に、又は他のやり方で適用され得る。少なくとも１つの実施例では、本明細書で説明されるように、個々のデバイスのための導入パイプライン１４１０は、デバイスのための仮想機器（たとえば、仮想超音波機器、仮想ＣＴスキャン機器、仮想シーケンシング機器など）と呼ばれることがある。少なくとも１つの実施例では、デバイスによって生成されるデータから所望される情報に応じて、単一のデバイスについて、２つ以上の導入パイプライン１４１０があり得る。少なくとも１つの実施例では、異常の検出がＭＲＩマシンから所望される場合、第１の導入パイプライン１４１０があり得、画像強調がＭＲＩマシンの出力から所望される場合、第２の導入パイプライン１４１０があり得る。
【0149】
少なくとも１つの実施例では、画像生成アプリケーションは、機械学習モデルの使用を含む処理タスクを含み得る。少なくとも１つの実施例では、ユーザは、ユーザ自身の機械学習モデルを使用すること、又はモデル・レジストリ１３２４から機械学習モデルを選択することを所望し得る。少なくとも１つの実施例では、ユーザは、処理タスクを実施するために、ユーザ自身の機械学習モデルを実装するか、又はアプリケーション中に含めるための機械学習モデルを選択し得る。少なくとも１つの実施例では、アプリケーションは選択可能及びカスタマイズ可能であり得、アプリケーションの構築を定義することによって、特定のユーザのためのアプリケーションの導入及び実装が、よりシームレスなユーザ・エクスペリエンスとして提示される。少なくとも１つの実施例では、サービス１３２０及びハードウェア１３２２など、システム１４００の他の特徴を活用することによって、導入パイプライン１４１０は、なお一層ユーザ・フレンドリになり、より容易な統合を提供し、より正確で、効率的で、タイムリーな結果を作り出し得る。
【0150】
少なくとも１つの実施例では、導入システム１３０６はユーザ・インターフェース１４１４（たとえば、グラフィカル・ユーザ・インターフェース、ウェブ・インターフェースなど）を含み得、ユーザ・インターフェース１４１４は、（１つ又は複数の）導入パイプライン１４１０中に含めるためのアプリケーションを選択し、アプリケーションを配置し、アプリケーション又はそのパラメータ若しくは構築を修正又は変更し、セットアップ及び／又は導入中に（１つ又は複数の）導入パイプライン１４１０を使用し、それと対話し、並びに／或いは他のやり方で導入システム１３０６と対話するために使用され得る。少なくとも１つの実施例では、訓練システム１３０４に関して示されていないが、ユーザ・インターフェース１４１４（又は異なるユーザ・インターフェース）は、導入システム１３０６における使用のためのモデルを選択するために、訓練システム１３０４において訓練又は再訓練するためのモデルを選択するために、及び／或いは訓練システム１３０４と他のやり方で対話するために使用され得る。
【0151】
少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０のアプリケーション又はコンテナと、サービス１３２０及び／又はハードウェア１３２２との間で対話を管理するために、アプリケーション・オーケストレーション・システム１４２８に加えてパイプライン・マネージャ１４１２が使用され得る。少なくとも１つの実施例では、パイプライン・マネージャ１４１２は、アプリケーションからアプリケーションへの対話、アプリケーションからサービス１３２０への対話、及び／或いはアプリケーション又はサービスからハードウェア１３２２への対話を容易にするように構成され得る。少なくとも１つの実施例では、ソフトウェア１３１８中に含まれるように示されているが、これは限定を意図しておらず、（たとえば、図１２ｃｃに示されている）いくつかの実例では、パイプライン・マネージャ１４１２は、サービス１３２０中に含まれ得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８（たとえば、Ｋｕｂｅｒｎｅｔｅｓ、ＤＯＣＫＥＲなど）は、コンテナ・オーケストレーション・システムを含み得、コンテナ・オーケストレーション・システムは、アプリケーションを、協調、管理、スケーリング、及び導入のための論理ユニットとして、コンテナにグループ化し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０からのアプリケーション（たとえば、再構築アプリケーション、セグメント化アプリケーションなど）を個々のコンテナに関連付けることよって、各アプリケーションは、自己完結型環境（たとえば、カーネル・レベル）において実行して、スピード及び効率を向上させ得る。
【0152】
少なくとも１つの実施例では、各アプリケーション及び／又はコンテナ（又はその画像）は、個々に開発、修正、及び導入され得（たとえば、第１のユーザ又は開発者が、第１のアプリケーションを開発、修正、及び導入し得、第２のユーザ又は開発者が、第１のユーザ又は開発者とは別に第２のアプリケーションを開発、修正、及び導入し得）、これは、（１つ又は複数の）別のアプリケーション又は（１つ又は複数の）コンテナのタスクに邪魔されることなしに単一のアプリケーション及び／又は（１つ又は複数の）コンテナのタスクに集中し、注意を払うことを可能にし得る。少なくとも１つの実施例では、異なるコンテナ間又はアプリケーション間の通信、及び協調が、パイプライン・マネージャ１４１２及びアプリケーション・オーケストレーション・システム１４２８によって補助され得る。少なくとも１つの実施例では、各コンテナ又はアプリケーションの予想される入力及び／又は出力が、（たとえば、アプリケーション又はコンテナの構築に基づいて）システムによって知られている限り、アプリケーション・オーケストレーション・システム１４２８及び／又はパイプライン・マネージャ１４１２は、アプリケーション又はコンテナの各々の間の通信、及びそれらの間のリソースの共有を容易にし得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０中のアプリケーション又はコンテナのうちの１つ又は複数は、同じサービス及びリソースを共有し得るので、アプリケーション・オーケストレーション・システム１４２８は、様々なアプリケーション又はコンテナの間でサービス又はリソースをオーケストレートし、ロード・バランシングを行い、共有を決定し得る。少なくとも１つの実施例では、アプリケーション又はコンテナのリソース要件、これらのリソースの現在の使用量又は計画された使用量、及びリソースの利用可能性を追跡するために、スケジューラが使用され得る。少なくとも１つの実施例では、したがって、スケジューラは、異なるアプリケーションにリソースを割り振り、システムの要件及び利用可能性を考慮してアプリケーションの間でリソースを分散させ得る。いくつかの実例では、スケジューラ（及び／又はアプリケーション・オーケストレーション・システム１４２８の他の構成要素）は、サービス品質（ＱｏＳ：ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ）、（たとえば、リアルタイム処理を実行すべきか遅延処理を実行すべきかを決定するための）データ出力を必要とする緊急度など、システムに課される制約（たとえば、ユーザ制約）に基づいて、リソースの利用可能性及び分散を決定し得る。
【0153】
少なくとも１つの実施例では、導入システム１３０６中のアプリケーション又はコンテナによって活用及び共有されるサービス１３２０は、コンピュート・サービス１４１６、ＡＩサービス１４１８、視覚化サービス１４２０、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、アプリケーションは、サービス１３２０のうちの１つ又は複数をコール（たとえば、実行）して、アプリケーションのための処理動作を実施し得る。少なくとも１つの実施例では、コンピュート・サービス１４１６は、スーパーコンピューティング又は他の高性能コンピューティング（ＨＰＣ：ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｉｎｇ）タスクを実施するために、アプリケーションによって活用され得る。少なくとも１つの実施例では、アプリケーションのうちの１つ又は複数を通してデータを、及び／又は単一のアプリケーションの１つ又は複数のタスクを実質的に同時に処理するための（たとえば、並列コンピューティング・プラットフォーム１４３０を使用する）並列処理を実施するために、（１つ又は複数の）コンピュート・サービス１４１６が活用され得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）は、ＧＰＵ（たとえば、ＧＰＵ１４２２）上での汎用コンピューティング（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵｓ）を可能にし得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０のソフトウェア層は、コンピュート・カーネルの実行のために、仮想命令セット及びＧＰＵの並列算出要素へのアクセスを提供し得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０はメモリを含み得、いくつかの実施例では、メモリは、複数のコンテナの間で、及び／又は単一のコンテナ内の異なる処理タスクの間で共有され得る。少なくとも１つの実施例では、（たとえば、アプリケーションの複数の異なる段階又は複数のアプリケーションが同じ情報を処理している場合）並列コンピューティング・プラットフォーム１４３０のメモリの共有セグメントからの同じデータを使用するために、複数のコンテナについて及び／又はコンテナ内の複数のプロセスについて、プロセス間通信（ＩＰＣ：ｉｎｔｅｒ－ｐｒｏｃｅｓｓ ｃｏｍｍｕｎｉｃａｔｉｏｎ）コールが生成され得る。少なくとも１つの実施例では、データのコピーをとり、データをメモリ中の異なるロケーションに移動すること（たとえば、読取り／書込み動作）ではなく、メモリの同じロケーション中の同じデータが、任意の数の処理タスクのために（たとえば、同じ時間、異なる時間などに）使用され得る。少なくとも１つの実施例では、データが使用されて、処理の結果として新しいデータが生成されるとき、データの新しいロケーションのこの情報は、様々なアプリケーション間で記憶及び共有され得る。少なくとも１つの実施例では、データのロケーションと、更新された又は修正されたデータのロケーションとは、コンテナ内でペイロードがどのように理解されるかの定義の一部であり得る。
【0154】
少なくとも１つの実施例では、ＡＩサービス１４１８は、アプリケーションに関連付けられた（たとえば、アプリケーションの１つ又は複数の処理タスクを実施する役割を課された）（１つ又は複数の）機械学習モデルを実行するための推論サービスを実施するために活用され得る。少なくとも１つの実施例では、ＡＩサービス１４１８は、ＡＩシステム１４２４を活用して、セグメント化、再構築、物体検出、特徴検出、分類、及び／又は他の推論タスクのための（１つ又は複数の）機械学習モデル（たとえば、ＣＮＮなどのニューラル・ネットワーク）を実行し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０のアプリケーションは、訓練システム１３０４からの出力モデル１３１６及び／又はアプリケーションの他のモデルのうちの１つ又は複数を使用して、撮像データに関して推論を実施し得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８（たとえば、スケジューラ）を使用する推論の２つ又はそれ以上の実例が利用可能であり得る。少なくとも１つの実施例では、第１のカテゴリは、緊急時の至急の要求に関して推論を実施するための、又は診断時の放射線医のためのなど、より高いサービス・レベルの合意を達成し得る高優先度／低レイテンシ経路を含み得る。少なくとも１つの実施例では、第２のカテゴリは、至急でないことがある要求のために、又は分析が後で実施され得る場合に使用され得る標準優先度経路を含み得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８は、ＡＩサービス１４１８の異なる推論タスクのための優先度経路に基づいて、リソース（たとえば、サービス１３２０及び／又はハードウェア１３２２）を分散させ得る。
【0155】
少なくとも１つの実施例では、共有ストレージが、システム１４００内でＡＩサービス１４１８に取り付けられ得る。少なくとも１つの実施例では、共有ストレージは、キャッシュ（又は他のストレージ・デバイス・タイプ）として動作し得、アプリケーションからの推論要求を処理するために使用され得る。少なくとも１つの実施例では、推論要求がサブミットされたとき、要求は、導入システム１３０６のＡＰＩインスタンスのセットによって受信され得、要求を処理するために、１つ又は複数のインスタンスが（たとえば、最良な適合のために、ロード・バランシングのためになど）選択され得る。少なくとも１つの実施例では、要求を処理するために、要求がデータベースに入れられ得、機械学習モデルは、まだキャッシュにない場合、モデル・レジストリ１３２４から位置特定され得、検証ステップは、適切な機械学習モデルがキャッシュ（たとえば、共有ストレージ）にロードされ、及び／又はモデルのコピーがキャッシュに保存され得ることを確実にし得る。少なくとも１つの実施例では、アプリケーションがまだ稼働していない場合又はアプリケーションの十分なインスタンスがない場合、（たとえば、パイプライン・マネージャ１４１２の）スケジューラが、要求において参照されたアプリケーションを起動するために使用され得る。少なくとも１つの実施例では、モデルを実行するための推論サーバがまだ起動されていない場合、推論サーバが起動され得る。任意の数の推論サーバがモデルごとに起動され得る。少なくとも１つの実施例では、推論サーバがクラスタ化されたプル・モデルにおいて、ロード・バランシングが有利であるときはいつでもモデルがキャッシュされ得る。少なくとも１つの実施例では、推論サーバは、対応する分散型サーバに静的にロードされ得る。
【0156】
少なくとも１つの実施例では、推論は、コンテナ中で稼働する推論サーバを使用して実施され得る。少なくとも１つの実施例では、推論サーバのインスタンスは、モデル（随意に、モデルの複数のバージョン）に関連付けられ得る。少なくとも１つの実施例では、モデルに対して推論を実施するための要求が受信されたとき、推論サーバのインスタンスが存在しない場合、新しいインスタンスがロードされ得る。少なくとも１つの実施例では、推論サーバを開始するとき、モデルが推論サーバに渡され得、それにより、推論サーバが異なるインスタンスとして稼働している限り、異なるモデルにサービスするために同じコンテナが使用され得る。
【0157】
少なくとも１つの実施例では、アプリケーション実行中、所与のアプリケーションについての推論要求が受信され得、（たとえば、推論サーバのインスタンスをホストする）コンテナが（まだロードされていない場合）ロードされ得、開始プロシージャがコールされ得る。少なくとも１つの実施例では、コンテナ中の前処理論理が、（たとえば、（１つ又は複数の）ＣＰＵ及び／又は（１つ又は複数の）ＧＰＵを使用して）入って来るデータに対する任意の追加の前処理をロード、復号、及び／又は実施し得る。少なくとも１つの実施例では、推論のためにデータが準備されると、コンテナは、必要に応じてデータに関して推論を実施し得る。少なくとも１つの実施例では、これは、１つの画像（たとえば、手のＸ線）に対する単一の推論コールを含み得るか、又は何百もの画像（たとえば、胸のＣＴ）に関する推論を必要とし得る。少なくとも１つの実施例では、アプリケーションは、完了する前に結果を要約し得、これは、限定はしないが、単一の信頼性スコア、ピクセル・レベル・セグメント化、ボクセル・レベル・セグメント化、視覚化を生成すること、又は所見を要約するためにテキストを生成することを含み得る。少なくとも１つの実施例では、異なるモデル又はアプリケーションは、異なる優先度を割り当てられ得る。たとえば、リアルタイム（ＴＡＴ＜１分）の優先度を有するモデルもあれば、低優先度（たとえば、ＴＡＴ＜１０分）を有するモデルもある。少なくとも１つの実施例では、モデル実行時間は、要求元の機関又はエンティティから測定され得、パートナー・ネットワーク・トラバーサル時間、並びに推論サービスに対する実行を含み得る。
【0158】
少なくとも１つの実施例では、サービス１３２０と推論アプリケーションとの間での要求の転送は、ソフトウェア開発キット（ＳＤＫ）の後ろに隠され得、キューを通してロバストなトランスポートが提供され得る。少なくとも１つの実施例では、個々のアプリケーション／テナントＩＤの組合せについて、要求がＡＰＩを介してキューに入れられ、ＳＤＫは、キューから要求を引き出し、要求をアプリケーションに与える。少なくとも１つの実施例では、ＳＤＫが要求をピックアップする環境において、キューの名称が提供され得る。少なくとも１つの実施例では、キューを通した非同期通信は、その通信が、ワークが利用可能になったときに、アプリケーションの任意のインスタンスがそのワークをピックアップすることを可能にし得るので、有用であり得る。結果は、データが失われないことを確実にするために、キューを通して返送され得る。少なくとも１つの実施例では、最高優先度のワークは、アプリケーションのほとんどのインスタンスがキューに接続された、キューに進み得、一方で、最低優先度のワークは、単一のインスタンスがキューに接続された、受信された順番にタスクを処理するキューに進み得るので、キューは、ワークをセグメント化するアビリティをも提供し得る。少なくとも１つの実施例では、アプリケーションは、クラウド１４２６において生成されたＧＰＵ加速インスタンス上で稼働し得、推論サービスは、ＧＰＵ上で推論を実施し得る。
【0159】
少なくとも１つの実施例では、視覚化サービス１４２０が、アプリケーション及び／又は（１つ又は複数の）導入パイプライン１４１０の出力を見るための視覚化を生成するために活用され得る。少なくとも１つの実施例では、視覚化を生成するために視覚化サービス１４２０によってＧＰＵ１４２２が活用され得る。少なくとも１つの実施例では、レイ・トレーシングなどのレンダリング効果が、より高品質の視覚化を生成するために視覚化サービス１４２０によって実装され得る。少なくとも１つの実施例では、視覚化は、限定はしないが、２Ｄ画像レンダリング、３Ｄボリューム・レンダリング、３Ｄボリューム再構築、２Ｄトモグラフィ・スライス、仮想現実表示、拡張現実表示などを含み得る。少なくとも１つの実施例では、仮想化された環境が、システムのユーザ（たとえば、医師、看護師、放射線医など）による対話のための仮想インタラクティブ表示又は環境（たとえば、仮想環境）を生成するために使用され得る。少なくとも１つの実施例では、視覚化サービス１４２０は、内部ビジュアライザ、シネマティクス、及び／或いは他のレンダリング又は画像処理能力又は機能性（たとえば、レイ・トレーシング、ラスタ化、内部光学など）を含み得る。
【0160】
少なくとも１つの実施例では、ハードウェア１３２２は、ＧＰＵ１４２２、ＡＩシステム１４２４、クラウド１４２６、並びに／或いは訓練システム１３０４及び／又は導入システム１３０６を実行するために使用される任意の他のハードウェアを含み得る。少なくとも１つの実施例では、ＧＰＵ１４２２（たとえば、ＮＶＩＤＩＡのＴＥＳＬＡ及び／又はＱＵＡＤＲＯ ＧＰＵ）は、任意の数のＧＰＵを含み得、任意の数のＧＰＵは、コンピュート・サービス１４１６、ＡＩサービス１４１８、視覚化サービス１４２０、他のサービス、及び／或いはソフトウェア１３１８の特徴又は機能性のいずれかの処理タスクを実行するために使用され得る。たとえば、ＡＩサービス１４１８に関して、ＧＰＵ１４２２が、撮像データ（又は機械学習モデルによって使用される他のデータ・タイプ）に対する前処理、機械学習モデルの出力に対する後処理を実施するために、及び／又は推論を実施するために（たとえば、機械学習モデルを実行するために）使用され得る。少なくとも１つの実施例では、クラウド１４２６、ＡＩシステム１４２４、及び／又はシステム１４００の他の構成要素は、ＧＰＵ１４２２を使用し得る。少なくとも１つの実施例では、クラウド１４２６は、深層学習タスクのためのＧＰＵ最適化プラットフォームを含み得る。少なくとも１つの実施例では、ＡＩシステム１４２４は、ＧＰＵを使用し得、クラウド１４２６、或いは深層学習又は推論の役割を課された少なくとも一部分は、１つ又は複数のＡＩシステム１４２４を使用して実行され得る。したがって、ハードウェア１３２２は個別構成要素として示されているが、これは、限定を意図しておらず、ハードウェア１３２２の任意の構成要素が、ハードウェア１３２２の任意の他の構成要素と組み合わせられ、又はそれらによって活用され得る。
【0161】
少なくとも１つの実施例では、ＡＩシステム１４２４は、推論、深層学習、機械学習、及び／又は他の人工知能タスクのために構成された専用のコンピューティング・システム（たとえば、スーパーコンピュータ又はＨＰＣ）を含み得る。少なくとも１つの実施例では、ＡＩシステム１４２４（たとえば、ＮＶＩＤＩＡのＤＧＸ）は、ＧＰＵ最適化ソフトウェア（たとえば、ソフトウェア・スタック）を含み得、ＧＰＵ最適化ソフトウェアは、ＣＰＵ、ＲＡＭ、ストレージ、及び／又は他の構成要素、特徴、又は機能性に加えて、複数のＧＰＵ１４２２を使用して実行され得る。少なくとも１つの実施例では、１つ又は複数のＡＩシステム１４２４は、システム１４００のＡＩベースの処理タスクのいくつか又はすべてを実施するために、（たとえば、データ・センタにおいて）クラウド１４２６において実装され得る。
【0162】
少なくとも１つの実施例では、クラウド１４２６は、ＧＰＵ加速インフラストラクチャ（たとえば、ＮＶＩＤＩＡのＮＧＣ）を含み得、ＧＰＵ加速インフラストラクチャは、システム１４００の処理タスクを実行するためのＧＰＵ最適化プラットフォームを提供し得る。少なくとも１つの実施例では、クラウド１４２６は、システム１４００のＡＩベースのタスクのうちの１つ又は複数を実施するための（１つ又は複数の）ＡＩシステム１４２４を（たとえば、ハードウェア抽象化及びスケーリング・プラットフォームとして）含み得る。少なくとも１つの実施例では、クラウド１４２６は、アプリケーションとサービス１３２０との間でシームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵを活用してアプリケーション・オーケストレーション・システム１４２８と統合し得る。少なくとも１つの実施例では、クラウド１４２６は、本明細書で説明されるように、コンピュート・サービス１４１６、ＡＩサービス１４１８、及び／又は視覚化サービス１４２０を含む、システム１４００のサービス１３２０の少なくともいくつかを実行する役割を課され得る。少なくとも１つの実施例では、クラウド１４２６は、大小のバッチ推論（たとえば、ＮＶＩＤＩＡのＴＥＮＳＯＲ ＲＴを実行すること）を実施し、加速並列コンピューティングＡＰＩ及びプラットフォーム１４３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を提供し、アプリケーション・オーケストレーション・システム１４２８（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を実行し、（たとえば、より高品質のシネマティクスを作り出すためのレイ・トレーシング、２Ｄグラフィックス、３Ｄグラフィックス、及び／又は他のレンダリング技法のための）グラフィックス・レンダリングＡＰＩ及びプラットフォームを提供し得、及び／又はシステム１４００のための他の機能性を提供し得る。
【0163】
図１５Ａは、少なくとも１つの実施例による、機械学習モデルを訓練、再訓練、又は更新するためのプロセス１５００のためのデータ・フロー図を示す。少なくとも１つの実施例では、プロセス１５００は、図１４のシステム１４００を非限定的な実例として使用して、実行され得る。少なくとも１つの実施例では、プロセス１５００は、本明細書で説明されるように、システム１４００のサービス１３２０及び／又はハードウェア１３２２を活用し得る。少なくとも１つの実施例では、プロセス１５００によって生成される改良されたモデル１５１２は、導入パイプライン１４１０中の１つ又は複数のコンテナ化アプリケーションのために、導入システム１３０６によって実行され得る。
【0164】
少なくとも１つの実施例では、モデル訓練１３１４は、新しい訓練データ（たとえば、顧客データセット１５０６、及び／又は入力データに関連付けられた新しいグランド・トゥルース・データなどの新しい入力データ）を使用して、初期モデル１５０４（たとえば、事前訓練されたモデル）を再訓練又は更新することを含み得る。少なくとも１つの実施例では、初期モデル１５０４を再訓練又は更新するために、初期モデル１５０４の（１つ又は複数の）出力又は損失層がリセット又は削除され得、及び／或いは、（１つ又は複数の）更新された又は新しい出力又は損失層と置き換えられ得る。少なくとも１つの実施例では、初期モデル１５０４は、前に微調整された、前の訓練から残っているパラメータ（たとえば、重み及び／又はバイアス）を有し得、したがって、訓練又は再訓練１３１４は、最初からモデルを訓練するほど長い時間がかからないか、又は多くの処理を必要としないことがある。少なくとも１つの実施例では、モデル訓練１３１４中に、初期モデル１５０４の（１つ又は複数の）リセットされた又は置き換えられた出力又は損失層を有することによって、パラメータは、新しい顧客データセット１５０６（たとえば、図１３の画像データ１３０８）に関して予測を生成する際の（１つ又は複数の）出力又は損失層の正確さに関連付けられた損失計算に基づいて、新しいデータ・セットのために更新又は再調整され得る。
【0165】
少なくとも１つの実施例では、事前訓練されたモデル１４０６は、データ・ストア又はレジストリ（たとえば、図１３のモデル・レジストリ１３２４）に記憶され得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、少なくとも部分的に、プロセス１５００を実行する施設以外の１つ又は複数の施設において訓練されていることがある。少なくとも１つの実施例では、異なる施設の患者、対象者、又は顧客のプライバシー及び権利を保護するために、事前訓練されたモデル１４０６は、構内で生成された顧客又は患者データを使用して、構内で訓練されていることがある。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、クラウド１４２６及び／又は他のハードウェア１３２２を使用して訓練され得るが、プライバシー保護された機密の患者データは、クラウド１４２６（又は他の構外のハードウェア）の任意の構成要素に転送されないか、それらの構成要素によって使用されないか、又はそれらの構成要素にとってアクセス不可能であり得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６が２つ以上の施設からの患者データを使用して訓練される場合、事前訓練されたモデル１４０６は、各施設について個々に訓練されてから、別の施設からの患者又は顧客データに関して訓練され得る。少なくとも１つの実施例では、顧客又は患者データが（たとえば、権利放棄によって、実験での使用のために、など）プライバシー問題から解放された場合、或いは、顧客又は患者データがパブリック・データ・セット中に含まれる場合など、任意の数の施設からの顧客又は患者データが、データセンタ又は他のクラウド・コンピューティング・インフラストラクチャなど、構内及び／又は構外で事前訓練されたモデル１４０６を訓練するために使用され得る。
【0166】
少なくとも１つの実施例では、導入パイプライン１４１０における使用のためのアプリケーションを選択するとき、ユーザは、特定のアプリケーションのために使用されるべき機械学習モデルをも選択し得る。少なくとも１つの実施例では、ユーザは、使用のためのモデルを有しないことがあり、したがって、ユーザは、アプリケーションとともに使用するために事前訓練されたモデル１４０６を選択し得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、（たとえば、患者の多様性、人口統計、使用される医療撮像デバイスのタイプなどに基づいて）ユーザの施設の顧客データセット１５０６に関して正確な結果を生成するために最適化されないことがある。少なくとも１つの実施例では、事前訓練されたモデル１４０６を、（１つ又は複数の）アプリケーションとともに使用するために導入パイプライン１４１０に導入する前に、事前訓練されたモデル１４０６は、それぞれの施設において使用するために更新、再訓練、及び／又は微調整され得る。
【0167】
少なくとも１つの実施例では、ユーザは、更新、再訓練、及び／又は微調整されるべきである事前訓練されたモデル１４０６を選択し得、事前訓練されたモデル１４０６は、プロセス１５００内の訓練システム１３０４のための初期モデル１５０４と呼ばれることがある。少なくとも１つの実施例では、顧客データセット１５０６（たとえば、施設におけるデバイスによって生成された撮像データ、ゲノミクス・データ、シーケンシング・データ、又は他のデータ・タイプ）が、初期モデル１５０４に関して（限定はしないが、転移学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）を含み得る）モデル訓練１３１４を実施して、改良されたモデル１５１２を生成するために、使用され得る。少なくとも１つの実施例では、顧客データセット１５０６に対応するグランド・トゥルース・データが、訓練システム１３０４によって生成され得る。少なくとも１つの実施例では、グランド・トゥルース・データは、（たとえば、図１３のラベル付きクリニック・データ１３１２として）施設において臨床医、科学者、医師、開業医によって、少なくとも部分的に生成され得る。
【0168】
少なくとも１つの実施例では、グランド・トゥルース・データを生成するために、ＡＩ支援アノテーション１３１０がいくつかの実例において使用され得る。少なくとも１つの実施例では、（たとえば、ＡＩ支援アノテーションＳＤＫを使用して実装された）ＡＩ支援アノテーション１３１０は、機械学習モデル（たとえば、ニューラル・ネットワーク）を活用して、顧客データセットについて示唆又は予測されるグランド・トゥルース・データを生成し得る。少なくとも１つの実施例では、ユーザ１５１０は、コンピューティング・デバイス１５０８上のユーザ・インターフェース（グラフィカル・ユーザ・インターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ））内でアノテーション・ツールを使用し得る。
【0169】
少なくとも１つの実施例では、ユーザ１５１０は、コンピューティング・デバイス１５０８を介してＧＵＩと対話して、（自動）アノテーションを編集又は微調整し得る。少なくとも１つの実施例では、ポリゴン編集特徴が、ポリゴンの頂点をより正確なロケーション又は微調整されたロケーションに移動するために使用され得る。
【0170】
少なくとも１つの実施例では、顧客データセット１５０６が、関連するグランド・トゥルース・データを有すると、（たとえば、ＡＩ支援アノテーション、手動ラベル付けなどからの）グランド・トゥルース・データが、改良されたモデル１５１２を生成するために、モデル訓練１３１４中によって使用され得る。少なくとも１つの実施例では、顧客データセット１５０６は、初期モデル１５０４に任意の回数適用され得、グランド・トゥルース・データは、改良されたモデル１５１２について、許容可能なレベルの正確さが達成されるまで、初期モデル１５０４のパラメータを更新するために使用され得る。少なくとも１つの実施例では、改良されたモデル１５１２が生成されると、改良されたモデル１５１２は、医療撮像データに対して１つ又は複数の処理タスクを実施するために、施設において１つ又は複数の導入パイプライン１４１０内で導入され得る。
【0171】
少なくとも１つの実施例では、改良されたモデル１５１２は、別の施設によって選択されるべきモデル・レジストリ１３２４において事前訓練されたモデル１４０６にアップロードされ得る。少なくとも１つの実施例では、彼のプロセスは任意の数の施設において完了され得、それにより、改良されたモデル１５１２は、より普遍的なモデルを生成するように新しいデータセットに関して任意の回数さらに改良され得る。
【0172】
図１５Ｂは、少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャ１５３２の例示的な図である。少なくとも１つの実施例では、ＡＩ支援アノテーション・ツール１５３６は、クライアントサーバ・アーキテクチャ１５３２に基づいてインスタンス化され得る。少なくとも１つの実施例では、撮像アプリケーション中のアノテーション・ツール１５３６は、放射線医を補助し、たとえば、器官及び異常を識別し得る。少なくとも１つの実施例では、撮像アプリケーションは、非限定的な実例として、（たとえば、３Ｄ ＭＲＩ又はＣＴスキャンにおける）生画像１５３４において、関心のある特定の器官上の数個の極値点をユーザ１５１０が識別するのを助け、特定の器官のすべての２Ｄスライスについて自動アノテーション付けされた結果を受信する、ソフトウェア・ツールを含み得る。少なくとも１つの実施例では、結果は、訓練データ１５３８としてデータ・ストアに記憶され、（たとえば、限定はしないが）訓練のためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、コンピューティング・デバイス１５０８が、ＡＩ支援アノテーション１３１０のために極値点を送出するとき、たとえば、深層学習モデルがこのデータを入力として受信し、セグメント化された器官又は異常の推論結果を返し得る。少なくとも１つの実施例では、図１５Ｂ中のＡＩ支援アノテーション・ツール１５３６Ｂなどの事前インスタンス化されたアノテーション・ツールは、たとえばアノテーション・モデル・レジストリに記憶された、事前訓練されたモデル１５４２のセットを含み得るアノテーション支援サーバ１５４０などのサーバに、ＡＰＩコール（たとえば、ＡＰＩコール１５４４）を行うことによって、拡張され得る。少なくとも１つの実施例では、アノテーション・モデル・レジストリは、特定の器官又は異常に対してＡＩ支援アノテーションを実施するように事前訓練された、事前訓練されたモデル１５４２（たとえば、深層学習モデルなどの機械学習モデル）を記憶し得る。これらのモデルは、訓練パイプライン１４０４を使用することによって、さらに更新され得る。少なくとも１つの実施例では、事前インストールされたアノテーション・ツールは、新しいラベル付きクリニック・データ１３１２が追加されるにつれて、経時的に改善され得る。
【0173】
そのような構成要素は、１つ又は複数の品質評価値から決定されたパラメータを使用して、単一の表現になるように構成画像を合成するために使用され得る。
【0174】
自動技術
図１６Ａは、少なくとも１つの実施例による、図１６Ａの自律車両１６００のための例示的なシステム・アーキテクチャを示すブロック図である。少なくとも１つの実施例では、図１６Ａ中の車両１６００の構成要素、特徴、及びシステムの各々は、バス１６０２を介して接続されるものとして示されている。少なくとも１つの実施例では、バス１６０２は、限定はしないが、ＣＡＮデータ・インターフェース（代替的に、本明細書では「ＣＡＮバス」と呼ばれる）を含み得る。少なくとも１つの実施例では、ＣＡＮバスは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両１６００の様々な特徴及び機能性の制御を補助するために使用される、車両１６００内部のネットワークであり得る。少なくとも１つの実施例では、バス１６０２は、各々がそれ自体の一意の識別子（たとえば、ＣＡＮ ＩＤ）をもつ数十又はさらには数百のノードを有するように構成され得る。少なくとも１つの実施例では、バス１６０２は、ハンドル角度、対地スピード、エンジンの毎分回転数（「ＲＰＭ」：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両ステータス・インジケータを見いだすために読み取られ得る。少なくとも１つの実施例では、バス１６０２は、ＡＳＩＬ Ｂに準拠したＣＡＮバスであり得る。
図１６Ａは、少なくとも１つの実施例による、図１６Ａの自律車両１６００のための例示的なシステム・アーキテクチャを示すブロック図である。少なくとも１つの実施例では、図１６Ａ中の車両１６００の構成要素、特徴、及びシステムの各々は、バス１６０２を介して接続されるものとして示されている。少なくとも１つの実施例では、バス１６０２は、限定はしないが、ＣＡＮデータ・インターフェース（代替的に、本明細書では「ＣＡＮバス」と呼ばれる）を含み得る。少なくとも１つの実施例では、ＣＡＮバスは、ブレーキの作動、加速、ブレーキ制御、操縦、フロントガラス・ワイパなど、車両１６００の様々な特徴及び機能性の制御を補助するために使用される、車両１６００内部のネットワークであり得る。少なくとも１つの実施例では、バス１６０２は、各々がそれ自体の一意の識別子（たとえば、ＣＡＮ ＩＤ）をもつ数十又はさらには数百のノードを有するように構成され得る。少なくとも１つの実施例では、バス１６０２は、ハンドル角度、対地スピード、エンジンの毎分回転数（「ＲＰＭ」：ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）、ボタン位置、及び／又は他の車両ステータス・インジケータを見いだすために読み取られ得る。少なくとも１つの実施例では、バス１６０２は、ＡＳＩＬ Ｂに準拠したＣＡＮバスであり得る。
【0175】
少なくとも１つの実施例では、ＣＡＮに加えて、又はその代替として、ＦｌｅｘＲａｙ及び／又はイーサネットが使用され得る。少なくとも１つの実施例では、任意の数のバス１６０２があり得、これらのバスは、限定はしないが、０個以上のＣＡＮバス、０個以上のＦｌｅｘＲａｙバス、０個以上のイーサネット・バス、及び／又は、異なるプロトコルを使用する０個以上の他のタイプのバスを含み得る。少なくとも１つの実施例では、２つ又はそれ以上のバス１６０２が、異なる機能を実施するために使用され得、及び／又は、冗長性のために使用され得る。たとえば、第１のバス１６０２が衝突回避機能性のために使用され得、第２のバス１６０２が作動制御のために使用され得る。少なくとも１つの実施例では、各バス１６０２は、車両１６００の構成要素のいずれかと通信し得、２つ又はそれ以上のバス１６０２が、同じ構成要素と通信し得る。少なくとも１つの実施例では、任意の数のシステム・オン・チップ（「ＳｏＣ」）１６０４の各々、（１つ又は複数の）コントローラ１６３６の各々、及び／又は車両内の各コンピュータは、同じ入力データ（たとえば、車両１６００のセンサからの入力）へのアクセスを有し得、共通のバス、そのようなＣＡＮバスに接続され得る。
【0176】
少なくとも１つの実施例では、車両１６００は、図１Ａに関して本明細書で説明されるものなど、１つ又は複数のコントローラ１６３６を含み得る。（１つ又は複数の）コントローラ１６３６は、様々な機能のために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）コントローラ１６３６は、車両１６００の様々な他の構成要素及びシステムのいずれかに結合され得、車両１６００、車両１６００の人工知能、車両１６００のためのインフォテイメントなどの制御のために使用され得る。
【0177】
少なくとも１つの実施例では、車両１６００は、任意の数のＳｏＣ１６０４を含み得る。ＳｏＣ１６０４の各々は、限定はしないが、中央処理ユニット（「ＣＰＵ」）１６０６、グラフィックス処理ユニット（「ＧＰＵ」）１６０８、（１つ又は複数の）プロセッサ１６１０、（１つ又は複数の）キャッシュ１６１２、（１つ又は複数の）アクセラレータ１６１４、（１つ又は複数の）データ・ストア１６１６、並びに／又は示されていない他の構成要素及び特徴を含み得る。少なくとも１つの実施例では、車両１６００を様々なプラットフォーム及びシステムにおいて制御するために、（１つ又は複数の）ＳｏＣ１６０４が使用され得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、１つ又は複数のサーバ（図１６Ａに図示せず）からネットワーク・インターフェース１６２４を介して地図のリフレッシュ及び／又は更新を取得し得る高精細度（「ＨＤ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）地図１６２２をもつシステム（たとえば、車両１６００のシステム）において組み合わせられ得る。
【0178】
少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、ＣＰＵクラスタ又はＣＰＵコンプレックス（代替的に、本明細書では「ＣＣＰＬＥＸ」と呼ばれる）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、複数のコア及び／又はレベル２（「Ｌ２」）キャッシュを含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、コヒーレントなマルチプロセッサ構成において８つのコアを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、４つのデュアル・コア・クラスタを含み得、各クラスタは、専用Ｌ２キャッシュ（たとえば、２ＭＢのＬ２キャッシュ）を有する。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６（たとえば、ＣＣＰＬＥＸ）は、（１つ又は複数の）ＣＰＵ１６０６のクラスタの任意の組合せが任意の所与の時間にアクティブになることを可能にする同時のクラスタ動作をサポートするように構成され得る。
【0179】
少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６のうちの１つ又は複数は、電力管理能力を実装し得、電力管理能力は、限定はしないが、以下の特徴のうちの１つ又は複数を含む：個々のハードウェア・ブロックが、動的電力を節約するために、アイドル時に自動的にクロック・ゲート制御され得る；各コア・クロックは、割込み待ち（「ＷＦＩ」：Ｗａｉｔ ｆｏｒ Ｉｎｔｅｒｒｕｐｔ）／イベント待ち（「ＷＦＥ」：Ｗａｉｔ ｆｏｒ Ｅｖｅｎｔ）命令の実行によりコアが能動的に命令を実行していないとき、ゲート制御され得る；各コアが独立して電力ゲート制御され得る；各コア・クラスタは、すべてのコアがクロック・ゲート制御又は電力ゲート制御されるとき、独立してクロック・ゲート制御され得る；及び／或いは、各コア・クラスタは、すべてのコアが電力ゲート制御されるとき、独立して電力ゲート制御され得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６０６は、電力状態を管理するための拡張アルゴリズムをさらに実装し得、許容された電力状態及び予想されるウェイクアップ時間が指定され、コア、クラスタ、及びＣＣＰＬＥＸのための入るべき最良の電力状態を、ハードウェア／マイクロコードが決定する。少なくとも１つの実施例では、処理コアは、ワークがマイクロコードにオフロードされたソフトウェアにおける簡単な電力状態エントリ・シーケンスをサポートし得る。
【0180】
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、統合されたＧＰＵ（代替的に、本明細書では「ｉＧＰＵ」と呼ばれる）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、プログラマブルであり得、並列なワークロードについて効率的であり得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、少なくとも１つの実施例では、拡張テンソル命令セットを使用し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、１つ又は複数のストリーミング・マイクロプロセッサを含み得、各ストリーミング・マイクロプロセッサは、レベル１（「Ｌ１」）キャッシュ（たとえば、少なくとも９６ＫＢのストレージ容量をもつＬ１キャッシュ）を含み得、ストリーミング・マイクロプロセッサのうちの２つ又はそれ以上は、Ｌ２キャッシュ（たとえば、５１２ＫＢのストレージ容量をもつＬ２キャッシュ）を共有し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、少なくとも８つのストリーミング・マイクロプロセッサを含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、（１つ又は複数の）コンピュート・アプリケーション・プログラミング・インターフェース（ＡＰＩ）を使用し得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、１つ又は複数の並列なコンピューティング・プラットフォーム及び／又はプログラミング・モデル（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を使用し得る。
【0181】
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８のうちの１つ又は複数は、自動車の及び組み込まれた使用事例における最良の性能のために電力最適化され得る。たとえば、１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、フィン電界効果トランジスタ（「ＦｉｎＦＥＴ」：Ｆｉｎ ｆｉｅｌｄ－ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ）上で作製され得る。少なくとも１つの実施例では、各ストリーミング・マイクロプロセッサは、複数のブロックに区分けされたいくつかの混合精度処理コアを組み込み得る。たとえば、限定はしないが、６４個のＰＦ３２コアと、３２個のＰＦ６４コアとは、４つの処理ブロックに区分けされ得る。少なくとも１つの実施例では、各処理ブロックは、１６個のＦＰ３２コア、８個のＦＰ６４コア、１６個のＩＮＴ３２コア、深層学習行列算術のための２つの混合精度ＮＶＩＤＩＡ ＴＥＮＳＯＲ ＣＯＲＥ、レベル０（「Ｌ０」）命令キャッシュ、ワープ・スケジューラ、ディスパッチ・ユニット、及び／又は６４ＫＢのレジスタ・ファイルを割り振られ得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、算出とアドレッシング計算との混合によるワークロードの効率的な実行を行うために、独立した並列の整数及び浮動小数点データ経路を含み得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、並列スレッド間でよりきめ細かい同期及び協調を可能にするために、独立したスレッド・スケジューリング能力を含み得る。少なくとも１つの実施例では、ストリーミング・マイクロプロセッサは、性能を改善すると同時にプログラミングを簡単にするために、組み合わせられたＬ１データ・キャッシュ及び共有メモリ・ユニットを含み得る。
【0182】
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８のうちの１つ又は複数は、いくつかの実例では、約９００ＧＢ／秒のピーク・メモリ帯域幅を提供するために、高帯域幅メモリ（「ＨＢＭ」：ｈｉｇｈ ｂａｎｄｗｉｄｔｈ ｍｅｍｏｒｙ）及び／又は１６ＧＢのＨＢＭ２メモリ・サブシステムを含み得る。少なくとも１つの実施例では、ＨＢＭメモリに加えて、又はその代替として、グラフィックス・ダブル・データ・レート・タイプ・ファイブ同期ランダム・アクセス・メモリ（「ＧＤＤＲ５」：ｇｒａｐｈｉｃｓ ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ｔｙｐｅ ｆｉｖｅ）など、同期グラフィックス・ランダム・アクセス・メモリ（「ＳＧＲＡＭ」：ｓｙｎｃｈｒｏｎｏｕｓ ｇｒａｐｈｉｃｓ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）が使用され得る。
【0183】
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、統一メモリ技術を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８が（１つ又は複数の）ＣＰＵ１６０６のページ・テーブルに直接アクセスすることを可能にするために、アドレス・トランスレーション・サービス（「ＡＴＳ」：ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ ｓｅｒｖｉｃｅ）サポートが使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８のメモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）がミスに遭遇したとき、アドレス・トランスレーション要求が（１つ又は複数の）ＣＰＵ１６０６に送信され得る。少なくとも１つの実施例では、それに応答して、（１つ又は複数の）ＣＰＵ１６０６は、それのページ・テーブルにおいて、アドレスのための仮想－物理マッピングを探し得、トランスレーションを（１つ又は複数の）ＧＰＵ１６０８に返送する。少なくとも１つの実施例では、統一メモリ技術は、（１つ又は複数の）ＣＰＵ１６０６と（１つ又は複数の）ＧＰＵ１６０８の両方のメモリについて単一の統一仮想アドレス空間を可能にし、それにより、（１つ又は複数の）ＧＰＵ１６０８のプログラミングと、（１つ又は複数の）ＧＰＵ１６０８へのアプリケーションの移植とを簡単にし得る。
【0184】
少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８は、他のプロセッサのメモリへの（１つ又は複数の）ＧＰＵ１６０８のアクセスの頻度を追跡し得る任意の数のアクセス・カウンタを含み得る。少なくとも１つの実施例では、（１つ又は複数の）アクセス・カウンタは、最も頻繁にページにアクセスしているプロセッサの物理メモリにメモリ・ページが移動されることを確実にするのを助け、それにより、プロセッサ間で共有されるメモリ範囲の効率を改善し得る。
【0185】
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、本明細書で説明されるものを含む、任意の数のキャッシュ１６１２を含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）キャッシュ１６１２は、（１つ又は複数の）ＣＰＵ１６０６と（１つ又は複数の）ＧＰＵ１６０８の両方にとって利用可能である（たとえば、（１つ又は複数の）ＣＰＵ１６０６と（１つ又は複数の）ＧＰＵ１６０８の両方に接続された）レベル３（「Ｌ３」）キャッシュを含むことができる。少なくとも１つの実施例では、（１つ又は複数の）キャッシュ１６１２は、キャッシュ・コヒーレンス・プロトコル（たとえば、ＭＥＩ、ＭＥＳＩ、ＭＳＩなど）を使用することなどによって、ラインの状態を追跡し得るライト・バック・キャッシュを含み得る。少なくとも１つの実施例では、Ｌ３キャッシュは、実施例に応じて、４ＭＢ以上を含み得るが、より小さいキャッシュ・サイズが使用され得る。
【0186】
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、１つ又は複数のアクセラレータ１６１４（たとえば、ハードウェア・アクセラレータ、ソフトウェア・アクセラレータ、又はそれらの組合せ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、最適化されたハードウェア・アクセラレータ及び／又は大型のオンチップ・メモリを含み得るハードウェア加速クラスタを含み得る。少なくとも１つの実施例では、大型のオンチップ・メモリ（たとえば、４ＭＢのＳＲＡＭ）は、ハードウェア加速クラスタが、ニューラル・ネットワーク及び他の計算を加速することを可能にし得る。少なくとも１つの実施例では、ハードウェア加速クラスタは、（１つ又は複数の）ＧＰＵ１６０８を補完し、（１つ又は複数の）ＧＰＵ１６０８のタスクのうちのいくつかをオフロードするために（たとえば、他のタスクを実施するために（１つ又は複数の）ＧＰＵ１６０８のサイクルをより多く解放するために）使用され得る。少なくとも１つの実施例では、加速を受け入れるのに十分なほど安定している対象のワークロード（たとえば、知覚、畳み込みニューラル・ネットワーク（「ＣＮＮ」）、リカレント・ニューラル・ネットワーク（「ＲＮＮ」：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）など）のために、（１つ又は複数の）アクセラレータ１６１４が使用され得る。少なくとも１つの実施例では、ＣＮＮは、領域ベースの、すなわち領域畳み込みニューラル・ネットワーク（「ＲＣＮＮ」：ｒｅｇｉｏｎａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、及び（たとえば、物体検出のために使用されるような）高速ＲＣＮＮ、又は他のタイプのＣＮＮを含み得る。
【0187】
少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４（たとえば、ハードウェア加速クラスタ）は、（１つ又は複数の）深層学習アクセラレータ（「ＤＬＡ」：ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｃｃｅｌｅｒａｔｏｒ）を含み得る。（１つ又は複数の）ＤＬＡは、限定はしないが、１つ又は複数のＴｅｎｓｏｒ処理ユニット（「ＴＰＵ」：Ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含み得、１つ又は複数のＴｅｎｓｏｒ処理ユニットは、深層学習アプリケーション及び推論のために、追加の、毎秒１０兆の演算を提供するように構成され得る。少なくとも１つの実施例では、（１つ又は複数の）ＴＰＵは、（たとえば、ＣＮＮ、ＲＣＮＮなどのための）画像処理機能を実施するように構成され、そのために最適化されたアクセラレータであり得る。（１つ又は複数の）ＤＬＡは、ニューラル・ネットワーク・タイプと浮動小数点演算の特定のセット、並びに推論のためにさらに最適化され得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡの設計は、一般的な汎用ＧＰＵよりも多くのミリメートル当たりの性能を提供し得、一般的には、ＣＰＵの性能をはるかに超える。少なくとも１つの実施例では、（１つ又は複数の）ＴＰＵは、たとえば、特徴と重みの両方のためのＩＮＴ８、ＩＮＴ１６、及びＦＰ１６のデータ・タイプをサポートする、単一インスタンスの畳み込み機能、並びにポストプロセッサ機能を含む、いくつかの機能を実施し得る。少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、たとえば、限定はしないが、カメラ・センサからのデータを使用する物体識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する距離推定のためのＣＮＮ、マイクロフォン１６９６からのデータを使用する緊急車両検出及び識別及び検出のためのＣＮＮ、カメラ・センサからのデータを使用する顔認識及び車両所有者識別のためのＣＮＮ、並びに／或いはセキュリティ及び／又は安全関係イベントのためのＣＮＮを含む、様々な機能のいずれかのための処理された又は処理されていないデータに対して、ニューラル・ネットワーク、特にＣＮＮを、迅速に及び効率的に実行し得る。
【0188】
少なくとも１つの実施例では、（１つ又は複数の）ＤＬＡは、（１つ又は複数の）ＧＰＵ１６０８の任意の機能を実施し得、たとえば、推論アクセラレータを使用することによって、設計者は、任意の機能のために（１つ又は複数の）ＤＬＡ又は（１つ又は複数の）ＧＰＵ１６０８のいずれかをターゲットにし得る。たとえば、少なくとも１つの実施例では、設計者は、ＣＮＮ及び浮動小数点演算の処理を（１つ又は複数の）ＤＬＡに集中させ、他の機能を（１つ又は複数の）ＧＰＵ１６０８及び／又は（１つ又は複数の）他のアクセラレータ１６１４に任せ得る。
【0189】
少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４（たとえば、ハードウェア加速クラスタ）は、（１つ又は複数の）プログラマブル・ビジョン・アクセラレータ（「ＰＶＡ」：ｐｒｏｇｒａｍｍａｂｌｅ ｖｉｓｉｏｎ ａｃｃｅｌｅｒａｔｏｒ）を含み得、プログラマブル・ビジョン・アクセラレータは、本明細書では代替的にコンピュータ・ビジョン・アクセラレータと呼ばれることがある。少なくとも１つの実施例では、（１つ又は複数の）ＰＶＡは、先進ドライバ支援システム（「ＡＤＡＳ」）１６３８、自律運転、拡張現実（「ＡＲ」）アプリケーション、及び／又は仮想現実（「ＶＲ」）アプリケーションのために、コンピュータ・ビジョン・アルゴリズムを加速するように設計及び構成され得る。（１つ又は複数の）ＰＶＡは、性能とフレキシビリティとの間の均衡を提供し得る。たとえば、少なくとも１つの実施例では、各（１つ又は複数の）ＰＶＡは、たとえば、限定はしないが、任意の数の縮小命令セット・コンピュータ（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）コア、ダイレクト・メモリ・アクセス（「ＤＭＡ」：ｄｉｒｅｃｔ ｍｅｍｏｒｙ ａｃｃｅｓｓ）、及び／又は任意の数のベクトル・プロセッサを含み得る。
【0190】
少なくとも１つの実施例では、ＲＩＳＣコアは、画像センサ（たとえば、本明細書で説明されるカメラのいずれかの画像センサ）、（１つ又は複数の）画像信号プロセッサなどと対話し得る。少なくとも１つの実施例では、ＲＩＳＣコアの各々は、任意の量のメモリを含み得る。少なくとも１つの実施例では、ＲＩＳＣコアは、実施例に応じて、いくつかのプロトコルのいずれかを使用し得る。少なくとも１つの実施例では、ＲＩＳＣコアは、リアルタイム・オペレーティング・システム（「ＲＴＯＳ」：ｒｅａｌ－ｔｉｍｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を実行し得る。少なくとも１つの実施例では、ＲＩＳＣコアは、１つ又は複数の集積回路デバイス、特定用途向け集積回路（「ＡＳＩＣ」）、及び／又はメモリ・デバイスを使用して実装され得る。たとえば、少なくとも１つの実施例では、ＲＩＳＣコアは、命令キャッシュ及び／又は密結合ＲＡＭを含むことができる。
【0191】
少なくとも１つの実施例では、ＤＭＡは、（１つ又は複数の）ＰＶＡの構成要素が（１つ又は複数の）ＣＰＵ１６０６とは無関係にシステム・メモリにアクセスすることを可能にし得る。少なくとも１つの実施例では、ＤＭＡは、限定はしないが、多次元アドレッシング及び／又はサーキュラ・アドレッシングをサポートすることを含む、ＰＶＡに最適化を提供するために使用される任意の数の特徴をサポートし得る。少なくとも１つの実施例では、ＤＭＡは、６つ又はそれ以上のアドレッシング次元までをサポートし得、これらのアドレッシング次元は、限定はしないが、ブロック幅、ブロック高さ、ブロック深度、水平ブロック・ステッピング、垂直ブロック・ステッピング、及び／又は深度ステッピングを含み得る。
【0192】
少なくとも１つの実施例では、ベクトル・プロセッサは、コンピュータ・ビジョン・アルゴリズムのためのプログラミングを効率的でフレキシブルに実行するように設計され得るプログラマブル・プロセッサであり、信号処理能力を提供し得る。少なくとも１つの実施例では、ＰＶＡは、ＰＶＡコアと、２つのベクトル処理サブシステム・パーティションとを含み得る。少なくとも１つの実施例では、ＰＶＡコアは、プロセッサ・サブシステム、（１つ又は複数の）ＤＭＡエンジン（たとえば、２つのＤＭＡエンジン）、及び／又は他の周辺機器を含み得る。少なくとも１つの実施例では、ベクトル処理サブシステムは、ＰＶＡの１次処理エンジンとして動作し得、ベクトル処理ユニット（「ＶＰＵ」：ｖｅｃｔｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、命令キャッシュ、及び／又はベクトル・メモリ（たとえば、「ＶＭＥＭ」：ｖｅｃｔｏｒ ｍｅｍｏｒｙ）を含み得る。少なくとも１つの実施例では、ＶＰＵは、たとえば、単一命令複数データ（「ＳＩＭＤ」：ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ，ｍｕｌｔｉｐｌｅ ｄａｔａ）、超長命令語（「ＶＬＩＷ」）のデジタル信号プロセッサなど、デジタル信号プロセッサを含み得る。少なくとも１つの実施例では、ＳＩＭＤとＶＬＩＷとの組合せが、スループット及びスピードを向上させ得る。
【0193】
少なくとも１つの実施例では、ベクトル・プロセッサの各々は、命令キャッシュを含み得、専用メモリに結合され得る。その結果、少なくとも１つの実施例では、ベクトル・プロセッサの各々は、他のベクトル・プロセッサとは無関係に実行するように構成され得る。少なくとも１つの実施例では、特定のＰＶＡ中に含まれるベクトル・プロセッサは、データ並列処理を採用するように構成され得る。たとえば、少なくとも１つの実施例では、単一のＰＶＡ中に含まれる複数のベクトル・プロセッサは、同じコンピュータ・ビジョン・アルゴリズムを、ただし画像の異なる領域上で実行し得る。少なくとも１つの実施例では、特定のＰＶＡ中に含まれるベクトル・プロセッサは、異なるコンピュータ・ビジョン・アルゴリズムを同じ画像上で同時に実行するか、さらには、異なるアルゴリズムを連続した画像又は画像の部分上で実行し得る。少なくとも１つの実施例では、とりわけ、任意の数のＰＶＡがハードウェア加速クラスタ中に含まれ得、任意の数のベクトル・プロセッサがＰＶＡの各々中に含まれ得る。少なくとも１つの実施例では、（１つ又は複数の）ＰＶＡは、システムの全体的な安全性を向上させるために、追加のエラー訂正コード（「ＥＣＣ」：Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）メモリを含み得る。
【0194】
少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４（たとえば、ハードウェア加速クラスタ）は、（１つ又は複数の）アクセラレータ１６１４のための高帯域幅、低レイテンシのＳＲＡＭを提供するために、コンピュータ・ビジョン・ネットワーク・オンチップと、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）とを含み得る。少なくとも１つの実施例では、オンチップ・メモリは、たとえば、限定はしないが、８つのフィールド構成可能メモリ・ブロックからなる少なくとも４ＭＢのＳＲＡＭを含み得、これは、ＰＶＡとＤＬＡの両方によってアクセス可能であり得る。少なくとも１つの実施例では、メモリ・ブロックの各ペアは、先進周辺バス（「ＡＰＢ」：ａｄｖａｎｃｅｄ ｐｅｒｉｐｈｅｒａｌ ｂｕｓ）インターフェースと、構成回路要素と、コントローラと、マルチプレクサとを含み得る。少なくとも１つの実施例では、任意のタイプのメモリが使用され得る。少なくとも１つの実施例では、ＰＶＡ及びＤＬＡは、メモリへの高速アクセスをＰＶＡ及びＤＬＡに提供するバックボーンを介して、メモリにアクセスし得る。少なくとも１つの実施例では、バックボーンは、ＰＶＡ及びＤＬＡを（たとえば、ＡＰＢを使用して）メモリに相互接続するコンピュータ・ビジョン・ネットワーク・オンチップを含み得る。
【0195】
少なくとも１つの実施例では、コンピュータ・ビジョン・ネットワーク・オンチップは、任意の制御信号／アドレス／データの送信の前に、ＰＶＡとＤＬＡの両方が準備信号及び有効信号を提供すると決定するインターフェースを含み得る。少なくとも１つの実施例では、インターフェースは、制御信号／アドレス／データを送信するための別個の位相及び別個のチャネル、並びに継続的なデータ転送のためのバーストタイプ通信を提供し得る。少なくとも１つの実施例では、インターフェースは、国際標準化機構（「ＩＳＯ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２６２６２又は国際電気標準会議（「ＩＥＣ」：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１５０８の規格に準拠し得るが、他の規格及びプロトコルが使用され得る。
【0196】
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータを含み得る。少なくとも１つの実施例では、リアルタイム・レイ・トレーシング・ハードウェア・アクセラレータは、ＲＡＤＡＲ信号解釈のための、音伝搬合成及び／又は分析のための、ＳＯＮＡＲシステムのシミュレーションのための、一般波形伝搬シミュレーションのための、ローカリゼーション及び／又は他の機能を目的としたＬＩＤＡＲデータとの比較のための、並びに／或いは他の使用法のための、リアルタイムの視覚化シミュレーションを生成するために、（たとえば、世界モデル内の）物体の位置及び範囲を迅速に及び効率的に決定するために使用され得る。
【0197】
少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４（たとえば、ハードウェア・アクセラレータ・クラスタ）は、自律運転のための多様な使用法を有する。少なくとも１つの実施例では、ＰＶＡは、ＡＤＡＳ及び自律車両における主要な処理段階のために使用され得るプログラマブル・ビジョン・アクセラレータであり得る。少なくとも１つの実施例では、ＰＶＡの能力は、低電力及び低レイテンシでの予測可能な処理を必要とするアルゴリズム・ドメインについて良好にマッチする。言い換えれば、ＰＶＡは、低レイテンシ及び低電力とともに予測可能なランタイムを必要とする半稠密（ｓｅｍｉ－ｄｅｎｓｅ）又は稠密な規則的算出に対して、小さいデータ・セット上でも、良好に機能する。少なくとも１つの実施例では、車両１６００などの自律車両、ＰＶＡは、それらが、物体検出及び整数数値の演算において効率的であるので、従来のコンピュータ・ビジョン・アルゴリズムを稼働するように設計される。
【0198】
たとえば、技術の少なくとも１つの実施例によれば、ＰＶＡは、コンピュータ・ステレオ・ビジョンを実施するために使用される。少なくとも１つの実施例では、いくつかの実例においてセミグローバルなマッチング・ベースのアルゴリズムが使用され得るが、これは、限定するものではない。少なくとも１つの実施例では、レベル３～５の自律運転のためのアプリケーションは、動き推定／ステレオ・マッチング（たとえば、動きからの構造（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）、歩行者認識、車線検出など）をオンザフライで使用する。少なくとも１つの実施例では、ＰＶＡは、２つの単眼カメラからの入力に対して、コンピュータ・ステレオ・ビジョン機能を実施し得る。
【0199】
少なくとも１つの実施例では、ＰＶＡは、高密度オプティカル・フローを実施するために使用され得る。たとえば、少なくとも１つの実施例では、ＰＶＡは、未加工のＲＡＤＡＲデータを（たとえば、４Ｄの高速フーリエ変換を使用して）処理して、処理されたＲＡＤＡＲデータを提供することができる。少なくとも１つの実施例では、ＰＶＡは、たとえば、処理された飛行時間データを提供するために、未加工の飛行時間データを処理することによって、飛行時間の深度処理のために使用される。
【0200】
少なくとも１つの実施例では、ＤＬＡは、たとえば、限定はしないが、各物体検出についての信頼性の測度を出力するニューラル・ネットワークを含む、制御及び運転の安全性を向上させるための任意のタイプのネットワークを稼働するために使用され得る。少なくとも１つの実施例では、信頼性は、他の検出と比較した各検出の確率として、又はその相対的な「重み」を提供するものとして表されるか、又は解釈され得る。少なくとも１つの実施例では、信頼性は、システムが、どの検出が偽陽性（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）検出ではなく真陽性（ｔｒｕｅ ｐｏｓｉｔｉｖｅ）検出と見なされるべきであるかに関して、さらなる判定を行うことを可能にする。たとえば、少なくとも１つの実施例では、システムは、信頼性についてのしきい値を設定し、しきい値を超える検出のみを真陽性検出と見なし得る。自動緊急ブレーキ（「ＡＥＢ」：ａｕｔｏｍａｔｉｃ ｅｍｅｒｇｅｎｃｙ ｂｒａｋｉｎｇ）システムが使用される実施例では、偽陽性検出は、車両が自動的に緊急ブレーキをかけることを引き起こし、これは明らかに望ましくない。少なくとも１つの実施例では、非常に信頼性の高い検出が、ＡＥＢのためのトリガと見なされ得る。少なくとも１つの実施例では、ＤＬＡは、信頼性値を回帰するためにニューラル・ネットワークを稼働し得る。少なくとも１つの実施例では、ニューラル・ネットワークは、とりわけ、バウンディング・ボックスの次元、（たとえば、別のサブシステムから）取得されたグランド・プレーン推定値、車両１６００の向きと相関する（１つ又は複数の）ＩＭＵセンサ１６６６からの出力、距離、ニューラル・ネットワーク及び／又は他のセンサ（たとえば、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４又は（１つ又は複数の）ＲＡＤＡＲセンサ１６６０）から取得された物体の３Ｄロケーション推定値など、パラメータの少なくとも一部のサブセットを、その入力としてとり得る。
【0201】
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、（１つ又は複数の）データ・ストア１６１６（たとえば、メモリ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１６１６は、（１つ又は複数の）ＳｏＣ１６０４のオンチップ・メモリであり得、このオンチップ・メモリは、（１つ又は複数の）ＧＰＵ１６０８及び／又はＤＬＡ上で実行されるべきニューラル・ネットワークを記憶し得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１６１６は、容量が、冗長性及び安全性のためにニューラル・ネットワークの複数のインスタンスを記憶するのに十分なほど大きくなり得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１６１６は、（１つ又は複数の）Ｌ２又はＬ３キャッシュを備え得る。
【0202】
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、（１つ又は複数の）任意の数のプロセッサ１６１０（たとえば、組み込みプロセッサ）を含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、ブート電力並びに管理機能及び関係するセキュリティ執行に対処するための専用プロセッサ及びサブシステムであり得る、ブート及び電力管理プロセッサを含み得る。少なくとも１つの実施例では、ブート及び電力管理プロセッサは、（１つ又は複数の）ＳｏＣ１６０４のブート・シーケンスの一部であり得、ランタイム電力管理サービスを提供し得る。少なくとも１つの実施例では、ブート電力及び管理プロセッサは、クロック及び電圧プログラミング、システム低電力状態移行の支援、（１つ又は複数の）ＳｏＣ１６０４の熱及び温度センサの管理、並びに／又は（１つ又は複数の）ＳｏＣ１６０４の電力状態の管理を提供し得る。少なくとも１つの実施例では、各温度センサは、その出力周波数が温度に比例するリング発振器として実装され得、（１つ又は複数の）ＳｏＣ１６０４は、リング発振器を使用して、（１つ又は複数の）ＣＰＵ１６０６、（１つ又は複数の）ＧＰＵ１６０８、及び／又は（１つ又は複数の）アクセラレータ１６１４の温度を検出し得る。少なくとも１つの実施例では、温度がしきい値を超えると決定された場合、ブート及び電力管理プロセッサは、温度障害ルーチンに入り、（１つ又は複数の）ＳｏＣ１６０４を低電力状態にし、及び／又は車両１６００を運転手－安全停止モード（ｃｈａｕｆｆｅｕｒ ｔｏ ｓａｆｅ ｓｔｏｐ ｍｏｄｅ）にし（たとえば、車両１６００を安全停止させ）得る。
【0203】
少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、オーディオ処理エンジンとして働き得る組み込みプロセッサのセットをさらに含み得る。少なくとも１つの実施例では、オーディオ処理エンジンは、複数のインターフェースを介した多チャネル・オーディオ、及び幅広くフレキシブルな様々なオーディオＩ／Ｏインターフェースのための、完全なハードウェア・サポートを可能にする、オーディオ・サブシステムであり得る。少なくとも１つの実施例では、オーディオ処理エンジンは、専用ＲＡＭをもつデジタル信号プロセッサをもつ専用プロセッサ・コアである。
【0204】
少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、低電力センサ管理及び立ち上げ使用事例をサポートするのに必要なハードウェア特徴を提供し得る常時オン・プロセッサ・エンジンをさらに含み得る。少なくとも１つの実施例では、常時オン・プロセッサ・エンジンは、限定はしないが、プロセッサ・コア、密結合ＲＡＭ、サポート周辺機器（たとえば、タイマ及び割込みコントローラ）、様々なＩ／Ｏコントローラ周辺機器、及びルーティング論理を含み得る。
【0205】
少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、安全クラスタ・エンジンをさらに含み得、安全クラスタ・エンジンは、限定はしないが、自動車用途のための安全管理に対処するための専用プロセッサ・サブシステムを含む。少なくとも１つの実施例では、安全クラスタ・エンジンは、限定はしないが、２つ又はそれ以上のプロセッサ・コア、密結合ＲＡＭ、サポート周辺機器（たとえば、タイマ、割込みコントローラなど）、及び／又はルーティング論理を含み得る。安全モードでは、２つ又はそれ以上のコアは、少なくとも１つの実施例では、ロックステップ・モードで動作し、それらの動作間で何らかの差を検出するための比較論理をもつ単一コアとして機能し得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、リアルタイム・カメラ・エンジンをさらに含み得、リアルタイム・カメラ・エンジンは、限定はしないが、リアルタイム・カメラ管理に対処するための専用プロセッサ・サブシステムを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、高ダイナミック・レンジ信号プロセッサをさらに含み得、高ダイナミック・レンジ信号プロセッサは、限定はしないが、カメラ処理パイプラインの一部であるハードウェア・エンジンである画像信号プロセッサを含み得る。
【0206】
少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１６１０は、ビデオ画像合成器を含み得、ビデオ画像合成器は、プレーヤ・ウィンドウのための最終画像を作り出すためにビデオ再生アプリケーションによって必要とされるビデオ後処理機能を実装する（たとえば、マイクロプロセッサ上に実装された）処理ブロックであり得る。少なくとも１つの実施例では、ビデオ画像合成器は、（１つ又は複数の）広角カメラ１６７０、（１つ又は複数の）周囲カメラ１６７４、及び／又は（１つ又は複数の）キャビン内監視カメラ・センサに対して、レンズゆがみ補正を実施し得る。少なくとも１つの実施例では、（１つ又は複数の）キャビン内監視カメラ・センサは、好ましくは、キャビン内のイベントを識別し、それに応じて応答するように構成された、（１つ又は複数の）ＳｏＣ１６０４の別のインスタンス上で稼働しているニューラル・ネットワークによって監視される。少なくとも１つの実施例では、キャビン内システムは、限定はしないが、セルラー・サービスをアクティブ化し、電話をかけ、電子メールを書き、車両の行き先を変更し、車両のインフォテイメント・システム及び設定をアクティブ化又は変更し、或いはボイス作動式のウェブ・サーフィンを提供するために、読唇を実施し得る。少なくとも１つの実施例では、いくつかの機能は、車両が自律モードで動作しているときにドライバにとって利用可能であり、他の場合に使用不可にされる。
【0207】
少なくとも１つの実施例では、ビデオ画像合成器は、空間と時間の両方のノイズ低減のための拡張された時間的ノイズ低減を含み得る。たとえば、少なくとも１つの実施例では、ビデオ中で動きが発生した場合、ノイズ低減が空間情報に適切に重み付けし、隣接するフレームによって提供される情報の重みを減少させる。少なくとも１つの実施例では、画像又は画像の一部分が動きを含まない場合、ビデオ画像合成器によって実施される時間的ノイズ低減は、前の画像からの情報を使用して、現在の画像中のノイズを低減し得る。
【0208】
少なくとも１つの実施例では、ビデオ画像合成器はまた、入力されたステレオ・レンズ・フレームに対してステレオ平行化（ｓｔｅｒｅｏ ｒｅｃｔｉｆｉｃａｔｉｏｎ）を実施するように構成され得る。少なくとも１つの実施例では、ビデオ画像合成器は、オペレーティング・システム・デスクトップが使用中であるとき、ユーザ・インターフェース合成のためにさらに使用され得、（１つ又は複数の）ＧＰＵ１６０８は、新しい表面を継続的にレンダリングすることを必要とされない。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６０８が電源投入され、アクティブであり、３Ｄレンダリングを行っているとき、ビデオ画像合成器は、性能及び応答性を改善するために（１つ又は複数の）ＧＰＵ１６０８をオフロードするために使用され得る。
【0209】
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、カメラからのビデオ及び入力を受信するためのモバイル・インダストリ・プロセッサ・インターフェース（「ＭＩＰＩ」：ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）カメラ・シリアル・インターフェース、高速インターフェース、並びに／又はカメラ及び関係するピクセル入力機能のために使用され得るビデオ入力ブロックをさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、（１つ又は複数の）入力／出力コントローラをさらに含み得、（１つ又は複数の）入力／出力コントローラは、ソフトウェアによって制御され得、特定の役割にコミットされていないＩ／Ｏ信号を受信するために使用され得る。
【0210】
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、周辺機器、オーディオ・エンコーダ／デコーダ（「コーデック」）、電力管理、及び／又は他のデバイスとの通信を可能にするための広範囲の周辺インターフェースをさらに含み得る。（１つ又は複数の）ＳｏＣ１６０４は、（たとえば、ギガビット・マルチメディア・シリアル・リンク及びイーサネットを介して接続された）カメラからのデータ、センサ（たとえば、イーサネットを介して接続され得る（１つ又は複数の）ＬＩＤＡＲセンサ１６６４、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０など）からのデータ、バス１６０２からのデータ（たとえば、車両１６００のスピード、ハンドル位置など）、（たとえば、イーサネット又はＣＡＮバスを介して接続された）（１つ又は複数の）ＧＮＳＳセンサ１６５８からのデータなどを処理するために使用され得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４のうちの１つ又は複数は、専用の高性能大容量ストレージ・コントローラをさらに含み得、この大容量ストレージ・コントローラは、それら自体のＤＭＡエンジンを含み得、ルーチン・データ管理タスクから（１つ又は複数の）ＣＰＵ１６０６を解放するために使用され得る。
【0211】
少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、自動化レベル３～５に及ぶフレキシブルなアーキテクチャをもつエンドツーエンド・プラットフォームであり得、それにより、多様性及び冗長性のためにコンピュータ・ビジョン及びＡＤＡＳ技法を活用し、効率的に利用する包括的な機能的安全性アーキテクチャを提供し、フレキシブルで、信頼できる運転ソフトウェア・スタックのためのプラットフォームを、深層学習ツールとともに提供する。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、従来のシステムよりも高速で、信頼でき、さらにはエネルギー効率及び空間効率が高くなり得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）アクセラレータ１６１４は、（１つ又は複数の）ＣＰＵ１６０６、（１つ又は複数の）ＧＰＵ１６０８、及び（１つ又は複数の）データ・ストア１６１６と組み合わせられたとき、レベル３～５の自律車両のための高速で効率的なプラットフォームを提供し得る。
【0212】
少なくとも１つの実施例では、コンピュータ・ビジョン・アルゴリズムはＣＰＵ上で実行され得、このアルゴリズムは、多種多様な視覚データにわたって多種多様な処理アルゴリズムを実行するために、Ｃプログラミング言語などの高レベル・プログラミング言語を使用して構成され得る。しかしながら、少なくとも１つの実施例では、ＣＰＵは、しばしば、たとえば、実行時間及び電力消費に関係する要件など、多くのコンピュータ・ビジョン・アプリケーションの性能要件を満たすことができない。少なくとも１つの実施例では、多くのＣＰＵは、車両内ＡＤＡＳアプリケーション及び実際のレベル３～５の自律車両において使用される、複雑な物体検出アルゴリズムをリアルタイムで実行することができない。
【0213】
本明細書で説明される実施例は、複数のニューラル・ネットワークが同時に及び／又は順次実施されることを可能にし、レベル３～５の自律運転機能性を可能にするために結果が一緒に組み合わせられることを可能にする。たとえば、少なくとも１つの実施例では、ＤＬＡ又は個別ＧＰＵ（たとえば、（１つ又は複数の）ＧＰＵ１６２０）上で実行しているＣＮＮは、テキスト及び単語認識を含み得、ニューラル・ネットワークがそれについて特に訓練されていない標識を含む交通標識をスーパーコンピュータが読み、理解することを可能にする。少なくとも１つの実施例では、ＤＬＡは、標識を識別し、解釈し、標識の意味的理解を提供することができ、その意味的理解を、ＣＰＵコンプレックス上で稼働している経路計画モジュールに渡すことができる、ニューラル・ネットワークをさらに含み得る。
【0214】
少なくとも１つの実施例では、レベル３、４、又は５の運転に関して、複数のニューラル・ネットワークが同時に稼働され得る。たとえば、少なくとも１つの実施例では、電光とともに、「注意：点滅光は凍結状態（ｉｃｙ ｃｏｎｄｉｔｉｏｎ）を示す」からなる警告標識が、いくつかのニューラル・ネットワークによって独立して又は集合的に解釈され得る。少なくとも１つの実施例では、標識自体は、第１の導入されたニューラル・ネットワーク（たとえば、訓練されたニューラル・ネットワーク）によって交通標識として識別され得、「点滅光は凍結状態を示す」というテキストは、第２の導入されたニューラル・ネットワークによって解釈され得、第２の導入されたニューラル・ネットワークは、点滅光が検出されたとき、凍結状態が存在することを車両の（好ましくはＣＰＵコンプレックス上で実行している）経路計画ソフトウェアに知らせる。少なくとも１つの実施例では、点滅光は、第３の導入されたニューラル・ネットワークを複数のフレームにわたって動作させることによって識別され得、第３の導入されたニューラル・ネットワークが、車両の経路計画ソフトウェアに点滅光の存在（又は不在）を知らせる。少なくとも１つの実施例では、３つすべてのニューラル・ネットワークが、ＤＬＡ内及び／又は（１つ又は複数の）ＧＰＵ１６０８上などで同時に稼働し得る。
【0215】
少なくとも１つの実施例では、顔認識及び車両所有者識別のためのＣＮＮが、カメラ・センサからのデータを使用して、車両１６００の承認済みのドライバ及び／又は所有者の存在を識別し得る。少なくとも１つの実施例では、所有者がドライバ・ドアに近づき、ライトをオンにしたときに車両を解錠し、セキュリティ・モードでは、所有者が車両から離れたときに車両を使用不可にするために、常時オン・センサ処理エンジンが使用され得る。このようにして、（１つ又は複数の）ＳｏＣ１６０４は、窃盗及び／又は自動車乗っ取りに対するセキュリティを提供する。
【0216】
少なくとも１つの実施例では、緊急車両検出及び識別のためのＣＮＮが、マイクロフォン１６９６からのデータを使用して、緊急車両のサイレンを検出及び識別し得る。少なくとも１つの実施例では、（１つ又は複数の）ＳｏＣ１６０４は、環境及び市街地の音を分類し、並びに視覚データを分類するために、ＣＮＮを使用する。少なくとも１つの実施例では、ＤＬＡ上で稼働しているＣＮＮは、緊急車両が近づいてくる相対的なスピードを（たとえば、ドップラ効果を使用することによって）識別するように訓練される。少なくとも１つの実施例では、ＣＮＮは、（１つ又は複数の）ＧＮＳＳセンサ１６５８によって識別されるように、車両が動作している地域に特有の緊急車両を識別するようにも訓練され得る。少なくとも１つの実施例では、欧州で動作しているときは、ＣＮＮは欧州のサイレンを検出しようとし、米国にあるときは、ＣＮＮは北米のサイレンのみを識別しようとする。少なくとも１つの実施例では、緊急車両が検出されると、緊急車両安全ルーチンを実行し、車両の速度を落とし、道路脇に寄せ、車両を停止させ、及び／又は（１つ又は複数の）緊急車両が通過するまで、（１つ又は複数の）超音波センサ１６６２を併用して車両をアイドリングするために、制御プログラムが使用され得る。
【0217】
少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ＣＰＵ１６１８（たとえば、（１つ又は複数の）個別ＣＰＵ、又は（１つ又は複数の）ｄＣＰＵ）を含み得、（１つ又は複数の）ＣＰＵ１６１８は、高速相互接続（たとえば、ＰＣＩｅ）を介して（１つ又は複数の）ＳｏＣ１６０４に結合され得る。少なくとも１つの実施例では、（１つ又は複数の）ＣＰＵ１６１８は、たとえばＸ８６プロセッサを含み得る。（１つ又は複数の）ＣＰＵ１６１８は、たとえば、ＡＤＡＳセンサと（１つ又は複数の）ＳｏＣ１６０４との間で潜在的に一貫性のない結果を調停すること、並びに／或いは、（１つ又は複数の）コントローラ１６３６及び／又はチップ上のインフォテイメント・システム（「インフォテイメントＳｏＣ」）１６３０のステータス及び健全性を監視することを含む、様々な機能のいずれかを実施するために使用され得る。
【0218】
少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ＧＰＵ１６２０（たとえば、（１つ又は複数の）個別ＧＰＵ、又は（１つ又は複数の）ｄＧＰＵ）を含み得、（１つ又は複数の）ＧＰＵ１６２０は、高速相互接続（たとえば、ＮＶＩＤＩＡのＮＶＬＩＮＫ）を介して（１つ又は複数の）ＳｏＣ１６０４に結合され得る。少なくとも１つの実施例では、（１つ又は複数の）ＧＰＵ１６２０は、冗長な及び／又は異なるニューラル・ネットワークを実行することなどによって、追加の人工知能機能性を提供し得、車両１６００のセンサからの入力（たとえば、センサ・データ）に少なくとも部分的に基づいて、ニューラル・ネットワークを訓練及び／又は更新するために使用され得る。
【0219】
少なくとも１つの実施例では、車両１６００は、ネットワーク・インターフェース１６２４をさらに含み得、ネットワーク・インターフェース１６２４は、限定はしないが、（１つ又は複数の）ワイヤレス・アンテナ１６２６（たとえば、セルラー・アンテナ、Ｂｌｕｅｔｏｏｔｈアンテナなど、異なる通信プロトコルのための１つ又は複数のワイヤレス・アンテナ１６２６）を含み得る。少なくとも１つの実施例では、ネットワーク・インターフェース１６２４は、クラウドとの（たとえば、（１つ又は複数の）サーバ及び／又は他のネットワーク・デバイスとの）、他の車両との、及び／又はコンピューティング・デバイス（たとえば、乗客のクライアント・デバイス）との、インターネットを介したワイヤレス接続性を可能にするために使用され得る。少なくとも１つの実施例では、他の車両と通信するために、車両１６０と他の車両との間に直接リンクが確立され得、及び／又は（たとえば、ネットワークにわたって及びインターネットを介して）間接リンクが確立され得る。少なくとも１つの実施例では、直接リンクは、車両間通信リンクを使用して提供され得る。車両間通信リンクは、車両１６００の近傍の車両（たとえば、車両１６００の前方、側方、及び／又は後方の車両）に関する情報を車両１６００に提供し得る。少なくとも１つの実施例では、前述の機能性は、車両１６００の協調型適応走行制御機能性の一部であり得る。
【0220】
少なくとも１つの実施例では、ネットワーク・インターフェース１６２４は、変調及び復調機能性を提供し、（１つ又は複数の）コントローラ１６３６がワイヤレス・ネットワークを介して通信することを可能にする、ＳｏＣを含み得る。少なくとも１つの実施例では、ネットワーク・インターフェース１６２４は、ベースバンドから無線周波数へのアップ・コンバージョン、及び無線周波数からベースバンドへのダウン・コンバージョンのための無線周波数フロント・エンドを含み得る。少なくとも１つの実施例では、周波数コンバージョンは、任意の技術的に実現可能な様式で実施され得る。たとえば、周波数コンバージョンは、よく知られているプロセスを通して、及び／又はスーパー・ヘテロダイン・プロセスを使用して実施され得る。少なくとも１つの実施例では、無線周波数フロント・エンド機能性は、別個のチップによって提供され得る。少なくとも１つの実施例では、ネットワーク・インターフェースは、ＬＴＥ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＧＳＭ、ＣＤＭＡ２０００、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、Ｗｉ－Ｆｉ、Ｚ波、ＺｉｇＢｅｅ、ＬｏＲａＷＡＮ、及び／又は他のワイヤレス・プロトコルを介して通信するためのワイヤレス機能性を含み得る。
【0221】
少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）データ・ストア１６２８をさらに含み得、（１つ又は複数の）データ・ストア１６２８は、限定はしないが、オフチップ（たとえば、（１つ又は複数の）ＳｏＣ１６０４上にない）ストレージを含み得る。少なくとも１つの実施例では、（１つ又は複数の）データ・ストア１６２８は、限定はしないが、ＲＡＭ、ＳＲＡＭ、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）、ビデオ・ランダム・アクセス・メモリ（「ＶＲＡＭ」：ｖｉｄｅｏ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュ、ハード・ディスク、並びに／或いは、少なくとも１ビットのデータを記憶し得る他の構成要素及び／又はデバイスを含む、１つ又は複数のストレージ要素を含み得る。
【0222】
少なくとも１つの実施例では、車両１６００は、マッピング、知覚、占有グリッド生成、及び／又は経路計画機能を支援するために、（１つ又は複数の）ＧＮＳＳセンサ１６５８（たとえば、ＧＰＳ及び／又は補助ＧＰＳセンサ）をさらに含み得る。少なくとも１つの実施例では、たとえば、限定はしないが、イーサネット－シリアル（たとえば、ＲＳ－２３２）ブリッジをもつＵＳＢコネクタを使用するＧＰＳを含む、任意の数のＧＮＳＳセンサ１６５８が使用され得る。
【0223】
少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０をさらに含み得る。（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、暗闇及び／又は厳しい気象条件においてさえ、長距離車両検出のために車両１６００によって使用され得る。少なくとも１つの実施例では、ＲＡＤＡＲの機能的安全性レベルは、ＡＳＩＬ Ｂであり得る。（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、いくつかの実例では、未加工のデータにアクセスするためのイーサネットへのアクセスとともに、制御のために（たとえば、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０によって生成されたデータを送信するために）、及び物体追跡データにアクセスするために、ＣＡＮ及び／又はバス１６０２を使用し得る。少なくとも１つの実施例では、多種多様なＲＡＤＡＲセンサ・タイプが使用され得る。たとえば、限定はしないが、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、前方、後方、及び側方のＲＡＤＡＲ使用に好適であり得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０のうちの１つ又は複数は、（１つ又は複数の）パルス・ドップラＲＡＤＡＲセンサである。
【0224】
少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、狭視野の長距離、広視野の短距離、短距離側方カバレージなど、異なる構成を含み得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲは、適応走行制御機能性のために使用され得る。少なくとも１つの実施例では、長距離ＲＡＤＡＲシステムは、２５０ｍ範囲内などの、２つ又はそれ以上の独立した走査によって実現される広い視野を提供し得る。少なくとも１つの実施例では、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０は、静的物体と移動している物体とを区別するのを助け得、緊急ブレーキ支援及び前方衝突警告のためにＡＤＡＳシステム１６３８によって使用され得る。長距離ＲＡＤＡＲシステム中に含まれる（１つ又は複数の）センサ１６６０は、限定はしないが、複数の（たとえば、６つ又はそれ以上の）固定ＲＡＤＡＲアンテナ、並びに高速ＣＡＮ及びＦｌｅｘＲａｙインターフェースをもつモノスタティック・マルチモーダルＲＡＤＡＲを含み得る。少なくとも１つの実施例では、６つのアンテナがある場合、中央の４アンテナは、隣接する車線におけるトラフィックからの干渉が最小の状態で、より高速で車両１６００の周囲を記録するように設計された、集束ビーム・パターンを作成し得る。少なくとも１つの実施例では、他の２つのアンテナは、視野を拡大し、これは、車両１６００の車線に入るか又はそこを出る車両を迅速に検出することを可能にし得る。
【0225】
少なくとも１つの実施例では、中距離ＲＡＤＡＲシステムは、一実例として、最高１６０ｍ（前方）又は８０ｍ（後方）の範囲と、最高４２度（前方）又は１５０度（後方）の視野とを含み得る。少なくとも１つの実施例では、短距離ＲＡＤＡＲシステムは、限定はしないが、後方バンパの両端部に設置されるように設計された任意の数のＲＡＤＡＲセンサ１６６０を含み得る。後方バンパの両端部に設置されたとき、少なくとも１つの実施例では、ＲＡＤＡＲセンサ・システムは、車両の後方及び隣の死角を常に監視する２本のビームを作成し得る。少なくとも１つの実施例では、短距離ＲＡＤＡＲシステムは、死角検出及び／又は車線変更支援のために、ＡＤＡＳシステム１６３８において使用され得る。
【0226】
少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）超音波センサ１６６２をさらに含み得る。車両１６００の前方、後方、及び／又は側方において位置決めされ得る（１つ又は複数の）超音波センサ１６６２は、駐車支援のために、並びに／又は占有グリッドを作成及び更新するために、使用され得る。少なくとも１つの実施例では、多種多様な（１つ又は複数の）超音波センサ１６６２が使用され得、異なる検出範囲（たとえば、２．５ｍ、４ｍ）について（１つ又は複数の）異なる超音波センサ１６６２が使用され得る。少なくとも１つの実施例では、（１つ又は複数の）超音波センサ１６６２は、機能的安全性レベルのＡＳＩＬ Ｂにおいて動作し得る。
【0227】
少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４を含み得る。（１つ又は複数の）ＬＩＤＡＲセンサ１６６４は、物体及び歩行者検出、緊急ブレーキ、衝突回避、並びに／又は他の機能のために使用され得る。少なくとも１つの実施例では、車両１６００は、複数のＬＩＤＡＲセンサ１６６４（たとえば、２つ、４つ、６つなど）を含み得、それらのＬＩＤＡＲセンサ１６６４は、（たとえば、データをギガビット・イーサネット・スイッチに提供するために）イーサネットを使用し得る。
【0228】
少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４は、３６０度の視野について、物体及びそれらの距離のリストを提供することが可能であり得る。少なくとも１つの実施例では、（１つ又は複数の）市販のＬＩＤＡＲセンサ１６６４は、たとえば、２ｃｍ～３ｃｍの正確さをもつ、及び１００Ｍｂｐｓのイーサネット接続のサポートをもつ、ほぼ１００ｍの宣伝された範囲を有し得る。少なくとも１つの実施例では、１つ又は複数の非突出型ＬＩＤＡＲセンサ１６６４が使用され得る。そのような実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４は、車両１６００の前方、後方、側方、及び／又は角に組み込まれ得る小さいデバイスとして実装され得る。少なくとも１つの実施例では、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４は、そのような実施例において、最高１２０度の水平視野と、３５度の垂直視野とを、低反射性物体についてさえ２００ｍの範囲で提供し得る。少なくとも１つの実施例では、（１つ又は複数の）前方に取り付けられたＬＩＤＡＲセンサ１６６４は、４５度から１３５度の間の水平視野のために構成され得る。
【0229】
少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲなどのＬＩＤＡＲ技術も使用され得る。３ＤフラッシュＬＩＤＡＲは、レーザのフラッシュを送信ソースとして使用して、車両１６００の周囲を最高でほぼ２００ｍまで照射する。少なくとも１つの実施例では、フラッシュＬＩＤＡＲユニットは、限定はしないが、レセプタを含み、レセプタは、レーザ・パルスの通過時間と各ピクセル上での反射光とを記録し、それらは、車両１６００から物体までの範囲に対応する。少なくとも１つの実施例では、フラッシュＬＩＤＡＲは、非常に正確でゆがみのない周囲画像が、レーザのフラッシュごとに生成されることを可能にし得る。少なくとも１つの実施例では、４つのフラッシュＬＩＤＡＲセンサが、車両１６００の各側面において１つ導入され得る。少なくとも１つの実施例では、３ＤフラッシュＬＩＤＡＲシステムは、限定はしないが、ファン以外に可動部品のないソリッド・ステート３Ｄ凝視アレイ（ｓｔａｒｉｎｇ ａｒｒａｙ）ＬＩＤＡＲカメラ（たとえば、非走査型ＬＩＤＡＲデバイス）を含む。少なくとも１つの実施例では、（１つ又は複数の）フラッシュＬＩＤＡＲデバイスは、フレーム当たり５ナノ秒のクラスＩ（眼に安全な）レーザ・パルスを使用し得、３Ｄ範囲のポイント・クラウド及び位置同期された（ｃｏ－ｒｅｇｉｓｔｅｒｅｄ）強度データの形態で反射レーザ光をキャプチャし得る。
【0230】
少なくとも１つの実施例では、車両は、（１つ又は複数の）ＩＭＵセンサ１６６６をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、少なくとも１つの実施例では、車両１６００の後方車軸の中央に位置し得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、たとえば、限定はしないが、（１つ又は複数の）加速度計、（１つ又は複数の）磁力計、（１つ又は複数の）ジャイロスコープ、（１つ又は複数の）磁気コンパス、及び／又は他のセンサ・タイプを含み得る。６軸の用途においてなど、少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、限定はしないが、加速度計とジャイロスコープとを含み得る。９軸の用途においてなど、少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、限定はしないが、加速度計と、ジャイロスコープと、磁力計とを含み得る。
【0231】
少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、微小電気機械システム（「ＭＥＭＳ」：ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍｓ）慣性センサ、高感度ＧＰＳ受信機、及び先進Ｋａｌｍａｎフィルタリング・アルゴリズムを組み合わせて、位置、速度、及び姿勢の推定値を提供する、小型の高性能ＧＰＳ補強型慣性航法システム（「ＧＰＳ／ＩＮＳ」：ＧＰＳ－Ａｉｄｅｄ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）として実装され得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６は、車両１６００が、速度の変化を直接観察し、それを、ＧＰＳから（１つ又は複数の）ＩＭＵセンサ１６６６に相関させることによって、磁気センサからの入力を必要とせずに方位を推定することを可能にし得る。少なくとも１つの実施例では、（１つ又は複数の）ＩＭＵセンサ１６６６と（１つ又は複数の）ＧＮＳＳセンサ１６５８とは、単一の統合されたユニットにおいて組み合わせられ得る。
【0232】
少なくとも１つの実施例では、車両１６００は、車両１６００の中及び／又はその周りに置かれた（１つ又は複数の）マイクロフォン１６９６を含み得る。少なくとも１つの実施例では、（１つ又は複数の）マイクロフォン１６９６は、とりわけ、緊急車両検出及び識別のために使用され得る。
【0233】
少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）ステレオ・カメラ１６６８、（１つ又は複数の）広角カメラ１６７０、（１つ又は複数の）赤外線カメラ１６７２、（１つ又は複数の）周囲カメラ１６７４、（１つ又は複数の）長距離カメラ１６９８、（１つ又は複数の）中距離カメラ１６７６、及び／又は他のカメラ・タイプを含む、任意の数のカメラ・タイプをさらに含み得る。少なくとも１つの実施例では、カメラは、車両１６００の全周辺の周りで画像データをキャプチャするために使用され得る。少なくとも１つの実施例では、使用されるカメラのタイプは、車両１６００に依存する。少なくとも１つの実施例では、車両１６００の周りで必要なカバレージを提供するために、カメラ・タイプの任意の組合せが使用され得る。少なくとも１つの実施例では、カメラの数は、実施例に応じて異なり得る。たとえば、少なくとも１つの実施例では、車両１６００は、６台のカメラ、７台のカメラ、１０台のカメラ、１２台のカメラ、又は別の数のカメラを含むことができる。カメラは、一実例として、限定はしないが、ギガビット・マルチメディア・シリアル・リンク（「ＧＭＳＬ」：Ｇｉｇａｂｉｔ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｒｉａｌ Ｌｉｎｋ）及び／又はギガビット・イーサネットをサポートし得る。少なくとも１つの実施例では、（１つ又は複数の）カメラの各々は、図１６Ａ及び図１６Ｂに関して本明細書でより詳細に前に説明された。
【0234】
少なくとも１つの実施例では、車両１６００は、（１つ又は複数の）振動センサ１６４２をさらに含み得る。少なくとも１つの実施例では、（１つ又は複数の）振動センサ１６４２は、（１つ又は複数の）車軸など、車両１６００の構成要素の振動を測定し得る。たとえば、少なくとも１つの実施例では、振動の変化は、路面の変化を示し得る。少なくとも１つの実施例では、２つ又はそれ以上の振動センサ１６４２が使用されるとき、路面の摩擦又はすべり量を決定するために振動の差が使用され得る（たとえば、振動の差が動力駆動車軸と自由回転車軸との間のものであるとき）。
【0235】
少なくとも１つの実施例では、車両１６００は、ＡＤＡＳシステム１６３８を含み得る。ＡＤＡＳシステム１６３８は、限定はしないが、いくつかの実例では、ＳｏＣを含み得る。少なくとも１つの実施例では、ＡＤＡＳシステム１６３８は、限定はしないが、任意の数及び組合せの自律／適応／自動走行制御（「ＡＣＣ」：ａｕｔｏｎｏｍｏｕｓ／ａｄａｐｔｉｖｅ／ａｕｔｏｍａｔｉｃ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、協調型適応走行制御（「ＣＡＣＣ」：ｃｏｏｐｅｒａｔｉｖｅ ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ）システム、正面クラッシュ警告（「ＦＣＷ」：ｆｏｒｗａｒｄ ｃｒａｓｈ ｗａｒｎｉｎｇ）システム、自動緊急ブレーキ（「ＡＥＢ」）システム、車線逸脱警告（「ＬＤＷ」）システム、車線維持支援（「ＬＫＡ」：ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ）システム、死角警告（「ＢＳＷ」：ｂｌｉｎｄ ｓｐｏｔ ｗａｒｎｉｎｇ）システム、後方クロス・トラフィック警告（「ＲＣＴＷ」：ｒｅａｒ ｃｒｏｓｓ－ｔｒａｆｆｉｃ ｗａｒｎｉｎｇ）システム、衝突警告（「ＣＷ」：ｃｏｌｌｉｓｉｏｎ ｗａｒｎｉｎｇ）システム、車線センタリング（「ＬＣ」：ｌａｎｅ ｃｅｎｔｅｒｉｎｇ）システム、並びに／或いは他のシステム、特徴、及び／又は機能性を含み得る。
【0236】
少なくとも１つの実施例では、ＡＣＣシステムは、（１つ又は複数の）ＲＡＤＡＲセンサ１６６０、（１つ又は複数の）ＬＩＤＡＲセンサ１６６４、及び／又は任意の数のカメラを使用し得る。少なくとも１つの実施例では、ＡＣＣシステムは、縦方向ＡＣＣシステム及び／又は横方向ＡＣＣシステムを含み得る。少なくとも１つの実施例では、縦方向ＡＣＣシステムは、車両１６００の直前の車両までの距離を監視及び制御し、車両１６００のスピードを自動的に調整して、前の車両からの安全な距離を維持する。少なくとも１つの実施例では、横方向ＡＣＣシステムは、距離の維持を実施し、必要なときに車線を変更するよう車両１６００に忠告する。少なくとも１つの実施例では、横方向ＡＣＣは、ＬＣ及びＣＷなど、他のＡＤＡＳ用途に関係する。
【0237】
少なくとも１つの実施例では、ＣＡＣＣシステムは、他の車両からの情報を使用し、この情報は、ワイヤレス・リンクを介して、又は間接的に、ネットワーク接続を介して（たとえば、インターネットを介して）、他の車両からネットワーク・インターフェース１６２４及び／又は（１つ又は複数の）ワイヤレス・アンテナ１６２６を介して受信され得る。少なくとも１つの実施例では、直接リンクは車両間（「Ｖ２Ｖ」：ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得、間接リンクはインフラストラクチャ車両間（「Ｉ２Ｖ」：ｉｎｆｒａｓｔｒｕｃｔｕｒｅ－ｔｏ－ｖｅｈｉｃｌｅ）通信リンクによって提供され得る。一般に、Ｖ２Ｖ通信概念は、直前の先行車両（たとえば、車両１６００の直前で同じ車線にいる車両）に関する情報を提供し、Ｉ２Ｖ通信概念は、さらにその前の交通に関する情報を提供する。少なくとも１つの実施例では、ＣＡＣＣシステムは、Ｉ２Ｖ情報ソースとＶ２Ｖ情報ソースのいずれか又は両方を含み得る。少なくとも１つの実施例では、車両１６００の前の車両の情報があれば、ＣＡＣＣシステムは、より信頼できるものとなり得、それは、交通の流れの円滑さを改善し、道路上での渋滞を低減する可能性を有する。
【0238】
少なくとも１つの実施例では、ＦＣＷシステムは、危険物についてドライバにアラートするように設計され、それにより、ドライバは是正アクションをとり得る。少なくとも１つの実施例では、ＦＣＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、正面カメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ１６６０を使用する。少なくとも１つの実施例では、ＦＣＷシステムは、音、視覚的警告、振動及び／又はクイック・ブレーキ・パルスなどの形態で警告を提供し得る。
【0239】
少なくとも１つの実施例では、ＡＥＢシステムは、別の車両又は他の物体との差し迫った前方衝突を検出し、指定された時間又は距離パラメータ内にドライバが是正アクションをとらない場合、自動的にブレーキをかけ得る。少なくとも１つの実施例では、ＡＥＢシステムは、専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された（１つ又は複数の）正面カメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ１６６０を使用し得る。少なくとも１つの実施例では、ＡＥＢシステムが危険物を検出したとき、ＡＥＢシステムは、通常、最初に、是正アクションをとって衝突を回避するようにドライバにアラートし、ドライバが是正アクションをとらない場合、ＡＥＢシステムは、予測される衝突を防ぐか、又は少なくともその衝撃を軽減するために、自動的にブレーキをかけ得る。少なくとも１つの実施例では、ＡＥＢシステムは、動的ブレーキ・サポート及び／又はクラッシュ直前ブレーキなどの技法を含み得る。
【0240】
少なくとも１つの実施例では、ＬＤＷシステムは、車両１６００が車線の目印に交差したときにドライバにアラートするために、ハンドル又は座席の振動など、視覚的、聴覚的、及び／又は触覚的警告を提供する。少なくとも１つの実施例では、ＬＤＷシステムは、ドライバが方向指示器をアクティブ化することによって意図的な車線逸脱を示すとき、アクティブ化しない。少なくとも１つの実施例では、ＬＤＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、正面向きのカメラを使用し得る。少なくとも１つの実施例では、ＬＫＡシステムは、ＬＤＷシステムの変形形態である。ＬＫＡシステムは、車両１６００が車線から出始めた場合に車両１６００を是正するために操縦入力又はブレーキ制御を提供する。
【0241】
少なくとも１つの実施例では、ＢＳＷシステムは、自動車の死角にある車両を検出し、その車両についてドライバに警告する。少なくとも１つの実施例では、ＢＳＷシステムは、合流すること又は車線を変更することが安全ではないことを示すために、視覚的、聴覚的、及び／又は触覚的なアラートを提供し得る。少なくとも１つの実施例では、ＢＳＷシステムは、ドライバが方向指示器を使用したときに追加の警告を提供し得る。少なくとも１つの実施例では、ＢＳＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、（１つ又は複数の）背面向きのカメラ及び／又は（１つ又は複数の）ＲＡＤＡＲセンサ１６６０を使用し得る。
【0242】
少なくとも１つの実施例では、ＲＣＴＷシステムは、車両１６００が後退しているときに物体が後方カメラの範囲外で検出されたとき、視覚的、聴覚的、及び／又は触覚的な通知を提供し得る。少なくとも１つの実施例では、ＲＣＴＷシステムは、クラッシュを回避するために車両ブレーキがかけられることを確実にするためのＡＥＢシステムを含む。少なくとも１つの実施例では、ＲＣＴＷシステムは、ディスプレイ、スピーカー、及び／又は振動構成要素など、ドライバ・フィードバックに電気的に結合された専用プロセッサ、ＤＳＰ、ＦＰＧＡ、及び／又はＡＳＩＣに結合された、１つ又は複数の背面ＲＡＤＡＲセンサ１６６０を使用し得る。
【0243】
少なくとも１つの実施例では、従来のＡＤＡＳシステムは、偽陽性結果を出しがちなことがあり、これは、ドライバにとって迷惑であり、気が散るものであり得るが、従来のＡＤＡＳシステムが、ドライバにアラートし、ドライバが、安全条件が本当に存在するかどうかを判定し、それに応じて行動することを可能にするので、通常は大したことにはならない。少なくとも１つの実施例では、車両１６００自体が、矛盾する結果の場合、１次コンピュータ（たとえば、第１のコントローラ１６３６）からの結果に従うのか、２次コンピュータ（たとえば、第２のコントローラ１６３６）からの結果に従うのかを判定する。たとえば、少なくとも１つの実施例では、ＡＤＡＳシステム１６３８は、バックアップ・コンピュータ合理性モジュールに知覚情報を提供するためのバックアップ及び／又は２次コンピュータであり得る。少なくとも１つの実施例では、バックアップ・コンピュータ合理性モニタが、ハードウェア構成要素上の冗長な多様なソフトウェアを稼働して、知覚及び動的運転タスクの障害を検出し得る。少なくとも１つの実施例では、ＡＤＡＳシステム１６３８からの出力は、監督ＭＣＵ（ｓｕｐｅｒｖｉｓｏｒｙ ＭＣＵ）に提供され得る。少なくとも１つの実施例では、１次コンピュータからの出力と２次コンピュータからの出力とが矛盾する場合、監督ＭＣＵが、安全な動作を確実にするために矛盾をどのように調和させるかを決定する。
【0244】
少なくとも１つの実施例では、１次コンピュータは、選定された結果における１次コンピュータの信頼性を示す信頼性スコアを監督ＭＣＵに提供するように構成され得る。少なくとも１つの実施例では、信頼性スコアがしきい値を超える場合、２次コンピュータが、矛盾する又は一貫性のない結果を提供するかどうかにかかわらず、監督ＭＣＵは、１次コンピュータの指示に従い得る。少なくとも１つの実施例では、信頼性スコアがしきい値を満たさない場合、及び１次コンピュータと２次コンピュータとが異なる結果（たとえば、矛盾）を示す場合、監督ＭＣＵは、コンピュータ間で調停して、適切な帰結を決定し得る。
【0245】
少なくとも１つの実施例では、監督ＭＣＵは、２次コンピュータが誤アラームを提供する条件を、１次コンピュータ及び２次コンピュータからの出力に少なくとも部分的に基づいて決定するように訓練及び構成された（１つ又は複数の）ニューラル・ネットワークを稼働するように構成され得る。少なくとも１つの実施例では、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークは、２次コンピュータの出力がいつ信用でき得るかと、それがいつ信用できないかとを学習し得る。たとえば、少なくとも１つの実施例では、２次コンピュータがＲＡＤＡＲベースのＦＣＷシステムであるとき、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークは、アラームをトリガする排水溝格子又はマンホール・カバーなど、実際には危険物ではない金属物体をＦＣＷシステムがいつ識別しているかを学習し得る。少なくとも１つの実施例では、２次コンピュータがカメラ・ベースのＬＤＷシステムであるとき、監督ＭＣＵ中のニューラル・ネットワークは、自転車又は歩行者が存在し、車線逸脱が実際には最も安全な操作であるときにＬＤＷを無効にするように学習し得る。少なくとも１つの実施例では、監督ＭＣＵは、（１つ又は複数の）ニューラル・ネットワークを、関連するメモリとともに稼働するのに好適なＤＬＡ又はＧＰＵのうちの少なくとも１つを含み得る。少なくとも１つの実施例では、監督ＭＣＵは、（１つ又は複数の）ＳｏＣ１６０４の構成要素を備え、及び／又はその構成要素として含められ得る。
【0246】
少なくとも１つの実施例では、ＡＤＡＳシステム１６３８は、コンピュータ・ビジョンの従来のルールを使用してＡＤＡＳ機能性を実施する２次コンピュータを含み得る。少なくとも１つの実施例では、２次コンピュータは、従来のコンピュータ・ビジョン・ルール（ｉｆ－ｔｈｅｎ）を使用し得、監督ＭＣＵ中の（１つ又は複数の）ニューラル・ネットワークの存在が、信頼性、安全性及び性能を改善し得る。たとえば、少なくとも１つの実施例では、多様な実装及び意図的な非同一性が、システム全体を、特にソフトウェア（又はソフトウェアとハードウェアのインターフェース）機能性によって引き起こされる障害に対して、より障害耐性のあるものにする。たとえば、少なくとも１つの実施例では、１次コンピュータ上で稼働しているソフトウェアにおいてソフトウェア・バグ又はエラーがあり、２次コンピュータ上で稼働している非同一のソフトウェア・コードが、同じ全体的な結果を提供する場合、監督ＭＣＵは、全体的な結果が正しく、１次コンピュータ上のソフトウェア又はハードウェアにおけるバグが重大なエラーを引き起こしていないという、より高い信頼性を有し得る。
【0247】
少なくとも１つの実施例では、ＡＤＡＳシステム１６３８の出力は、１次コンピュータの知覚ブロック及び／又は１次コンピュータの動的運転タスク・ブロックにフィードされ得る。たとえば、少なくとも１つの実施例では、ＡＤＡＳシステム１６３８が、直前の物体により正面クラッシュ警告を示す場合、知覚ブロックは、物体を識別するときにこの情報を使用し得る。少なくとも１つの実施例では、２次コンピュータは、本明細書で説明されるように、訓練された、したがって偽陽性のリスクを低減する、それ自体のニューラル・ネットワークを有し得る。
【0248】
少なくとも１つの実施例では、車両１６００は、インフォテイメントＳｏＣ１６３０（たとえば、車両内インフォテイメント・システム（ＩＶＩ：ｉｎ－ｖｅｈｉｃｌｅ ｉｎｆｏｔａｉｎｍｅｎｔ））をさらに含み得る。ＳｏＣとして示され、説明されるが、インフォテイメント・システム１６３０は、少なくとも１つの実施例では、ＳｏＣでないことがあり、限定はしないが、２つ又はそれ以上の個別の構成要素を含み得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、限定はしないが、ハードウェアとソフトウェアとの組合せを含み得、この組合せは、オーディオ（たとえば、音楽、パーソナル・デジタル・アシスタント、ナビゲーション命令、ニュース、ラジオなど）、ビデオ（たとえば、ＴＶ、映画、ストリーミングなど）、電話（たとえば、ハンズフリー通話）、ネットワーク接続性（たとえば、ＬＴＥ、Ｗｉ－Ｆｉなど）、及び／又は情報サービス（たとえば、ナビゲーション・システム、後方駐車支援、無線データ・システム、燃料レベル、合計走行距離、ブレーキ燃料レベル、オイル・レベル、ドアの開閉、空気フィルタ情報などの車両関係情報など）を車両１６００に提供するために使用され得る。たとえば、インフォテイメントＳｏＣ１６３０は、ラジオ、ディスク・プレーヤ、ナビゲーション・システム、ビデオ・プレーヤ、ＵＳＢ及びＢｌｕｅｔｏｏｔｈ接続性、カーピュータ、車内エンタテイメント、Ｗｉ－Ｆｉ、ハンドル・オーディオ制御、ハンズフリー・ボイス制御、ヘッドアップ・ディスプレイ（「ＨＵＤ」：ｈｅａｄｓ－ｕｐ ｄｉｓｐｌａｙ）、ＨＭＩディスプレイ１６３４、テレマティックス・デバイス、（たとえば、様々な構成要素、特徴、及び／又はシステムを制御し、及び／又はそれらと対話するための）制御パネル、及び／又は他の構成要素を含むことができる。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、ＡＤＡＳシステム１６３８からの情報、計画された車両操作、軌道などの自律運転情報、周囲環境情報（たとえば、交差点情報、車両情報、道路情報など）、及び／又は他の情報など、（たとえば、視覚的及び／又は聴覚的な）情報を車両の（１人又は複数の）ユーザに提供するために、さらに使用され得る。
【0249】
少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、任意の量及びタイプのＧＰＵ機能性を含み得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、バス１６０２（たとえば、ＣＡＮバス、イーサネットなど）を介して、車両１６００の他のデバイス、システム、及び／又は構成要素と通信し得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は監督ＭＣＵに結合され得、それにより、（１つ又は複数の）１次コントローラ１６３６（たとえば、車両１６００の１次及び／又はバックアップ・コンピュータ）が故障した場合、インフォテイメント・システムのＧＰＵが、いくつかの自己運転機能を実施し得る。少なくとも１つの実施例では、インフォテイメントＳｏＣ１６３０は、本明細書で説明されるように、車両１６００を運転手－安全停止モードにし得る。
【0250】
少なくとも１つの実施例では、車両１６００は、計器クラスタ１６３２（たとえば、デジタル・ダッシュボード、電子計器クラスタ、デジタル計器パネルなど）をさらに含み得る。少なくとも１つの実施例では、計器クラスタ１６３２は、限定はしないが、コントローラ及び／又はスーパーコンピュータ（たとえば、個別のコントローラ又はスーパーコンピュータ）を含み得る。少なくとも１つの実施例では、計器クラスタ１６３２は、限定はしないが、スピードメータ、燃料レベル、油圧、タコメータ、オドメータ、方向インジケータ、シフトレバー位置インジケータ、（１つ又は複数の）シート・ベルト警告灯、（１つ又は複数の）駐車ブレーキ警告灯、（１つ又は複数の）エンジン故障灯、補助拘束システム（たとえば、エアバッグ）情報、照明制御、安全システム制御、ナビゲーション情報など、任意の数及び組合せの計装セットを含み得る。いくつかの実例では、情報は表示され、及び／又は、インフォテイメントＳｏＣ１６３０と計器クラスタ１６３２との間で共有され得る。少なくとも１つの実施例では、計器クラスタ１６３２は、インフォテイメントＳｏＣ１６３０の一部として含められ得、その逆もまた同様である。
【0251】
１つ又は複数の実施例に関連付けられた推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１６Ａのシステムにおいて使用され得る。
【0252】
図１６Ｂは、少なくとも１つの実施例による、（１つ又は複数の）クラウド・ベースのサーバと図１６Ａの自律車両１６００との間の通信のためのシステム１６７６の図である。少なくとも１つの実施例では、システム１６７６は、限定はしないが、（１つ又は複数の）サーバ１６７８と、（１つ又は複数の）ネットワーク１６９０と、車両１６００を含む任意の数及びタイプの車両とを含み得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、限定はしないが、（総称して、本明細書ではＧＰＵ１６８４と呼ばれる）複数のＧＰＵ１６８４（Ａ）～１６８４（Ｈ）、（総称して、本明細書ではＰＣＩｅスイッチ１６８２と呼ばれる）ＰＣＩｅスイッチ１６８２（Ａ）～１６８２（Ｄ）、及び／又は（総称して、本明細書ではＣＰＵ１６８０と呼ばれる）ＣＰＵ１６８０（Ａ）～１６８０（Ｂ）を含み得る。ＧＰＵ１６８４と、ＣＰＵ１６８０と、ＰＣＩｅスイッチ１６８２とは、たとえば、限定はしないが、ＮＶＩＤＩＡによって開発されたＮＶＬｉｎｋインターフェース１６８８及び／又はＰＣＩｅ接続１６８６など、高速相互接続で相互接続され得る。少なくとも１つの実施例では、ＧＰＵ１６８４は、ＮＶＬｉｎｋ及び／又はＮＶＳｗｉｔｃｈ ＳｏＣを介して接続され、ＧＰＵ１６８４とＰＣＩｅスイッチ１６８２とは、ＰＣＩｅ相互接続を介して接続される。少なくとも１つの実施例では、８つのＧＰＵ１６８４と、２つのＣＰＵ１６８０と、４つのＰＣＩｅスイッチ１６８２とが示されているが、これは限定するものではない。少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８の各々は、限定はしないが、任意の数のＧＰＵ１６８４、ＣＰＵ１６８０、及び／又はＰＣＩｅスイッチ１６８２を任意の組合せで含み得る。たとえば、少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、各々、８つ、１６個、３２個、及び／又はそれ以上のＧＰＵ１６８４を含むことができる。
【0253】
少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、最近始まった道路工事など、予想外の又は変更された道路状態（ｒｏａｄ ｃｏｎｄｉｔｉｏｎ）を示す画像を表す画像データを、（１つ又は複数の）ネットワーク１６９０を介して、車両から受信し得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、ニューラル・ネットワーク１６９２、更新されたニューラル・ネットワーク１６９２、及び／或いは、限定はしないが、交通及び道路状態に関する情報を含む、地図情報１６９４を、（１つ又は複数の）ネットワーク１６９０を介して、車両に送信し得る。少なくとも１つの実施例では、地図情報１６９４の更新は、限定はしないが、建築現場、穴、迂回路、洪水、及び／又は他の障害物に関する情報など、ＨＤ地図１６２２についての更新を含み得る。少なくとも１つの実施例では、ニューラル・ネットワーク１６９２、更新されたニューラル・ネットワーク１６９２、及び／又は地図情報１６９４は、環境中の任意の数の車両から受信されたデータにおいて表された新しい訓練及び／又は経験から、並びに／或いは、データ・センタにおいて（たとえば、（１つ又は複数の）サーバ１６７８及び／又は他のサーバを使用して）実施された訓練に少なくとも部分的に基づいて、生じていることがある。
【0254】
少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、訓練データに少なくとも部分的に基づいて機械学習モデル（たとえば、ニューラル・ネットワーク）を訓練するために使用され得る。少なくとも１つの実施例では、訓練データは、車両によって生成され得、及び／又はシミュレーションにおいて（たとえば、ゲーム・エンジンを使用して）生成され得る。少なくとも１つの実施例では、任意の量の訓練データが、（たとえば、関連するニューラル・ネットワークが教師あり学習から恩恵を受ける場合）タグ付けされ、及び／又は他の前処理を受ける。少なくとも１つの実施例では、任意の量の訓練データが、（たとえば、関連するニューラル・ネットワークが教師あり学習を必要としない場合）タグ付けされず、及び／又は前処理されない。少なくとも１つの実施例では、機械学習モデルが訓練されると、機械学習モデルは、車両によって使用（たとえば、（１つ又は複数の）ネットワーク１６９０を介して車両に送信され得、及び／又は、機械学習モデルは、車両をリモートで監視するために（１つ又は複数の）サーバ１６７８によって使用され得る。
【0255】
少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、車両からデータを受信し、リアルタイム・インテリジェント推論のために最新のリアルタイム・ニューラル・ネットワークにデータを適用し得る。少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、ＮＶＩＤＩＡによって開発されたＤＧＸ及びＤＧＸステーション・マシンなど、（１つ又は複数の）ＧＰＵ１６８４によって動く深層学習スーパーコンピュータ及び／又は専用ＡＩコンピュータを含み得る。しかしながら、少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、ＣＰＵによって動くデータ・センタを使用する深層学習インフラストラクチャを含み得る。
【0256】
少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８の深層学習インフラストラクチャは、高速リアルタイム推論が可能であり得、その能力を使用して、車両１６００中のプロセッサ、ソフトウェア、及び／又は関連するハードウェアの健全性を評定及び確認し得る。たとえば、少なくとも１つの実施例では、深層学習インフラストラクチャは、一連の画像、及び／又は（たとえば、コンピュータ・ビジョン及び／又は他の機械学習物体分類技法を介して）その一連の画像において車両１６００が位置を特定した物体など、周期的な更新を車両１６００から受信し得る。少なくとも１つの実施例では、深層学習インフラストラクチャは、それ自体のニューラル・ネットワークを稼働して物体を識別し、それらを、車両１６００によって識別された物体と比較し得、結果がマッチせず、車両１６００中のＡＩが故障していると深層学習インフラストラクチャが結論付けた場合、（１つ又は複数の）サーバ１６７８は、車両１６００のフェイル・セーフ・コンピュータに、制御を掌握し、乗客に通知し、安全な駐車操作を完了するように命令する信号を、車両１６００に送信し得る。
【0257】
少なくとも１つの実施例では、（１つ又は複数の）サーバ１６７８は、（１つ又は複数の）ＧＰＵ１６８４と、１つ又は複数のプログラマブル推論アクセラレータ（たとえば、ＮＶＩＤＩＡのＴｅｎｓｏｒＲＴ３）とを含み得る。少なくとも１つの実施例では、ＧＰＵによって動くサーバと推論の加速との組合せが、リアルタイム応答を可能にし得る。性能がそれほど重要ではない場合など、少なくとも１つの実施例では、ＣＰＵ、ＦＰＧＡ、及び他のプロセッサによって動くサーバが、推論のために使用され得る。少なくとも１つの実施例では、１つ又は複数の実施例を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。
【0258】
他の変形形態は、本開示の範囲内にある。したがって、開示される技法は、様々な修正及び代替構築が可能であるが、それらのいくつかの例示的な実施例が図面に示され、上記で詳細に説明された。しかしながら、特定の１つ又は複数の開示された形態に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲において定義されるように、開示の趣旨及び範囲に入るすべての修正形態、代替構築、及び等価物を網羅することを意図していることが理解されるべきである。
【0259】
開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、及び「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「限定はしないが、～を含む（ｉｎｃｌｕｄｉｎｇ， ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ，）」を意味する）と解釈されるべきである。「接続される」という用語は、修飾されず、物理的接続を指しているとき、何か介在するものがある場合でも、部分的に又は完全に中に含まれているか、取り付けられるか、又は互いに接合されるものとして解釈されるべきである。本明細書で値の範囲を詳述することは、本明細書に別段の記載のない限り、及び各別個の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に入る各別個の値を個々に参照する簡潔な方法として働くことを単に意図しているにすぎない。「セット」（たとえば、「項目のセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がないか又は否定されない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がないか又は否定されない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すとは限らず、サブセットと、対応するセットとは、等しくなり得る。
【0260】
「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ及びＣのうちの少なくとも１つ」という形態の言い回しなどの結合語は、別段の具体的な記載がないか又はさもなければ文脈によって明確に否定されない限り、別様に、項目、用語などが、Ａ又はＢ又はＣのいずれか、或いはＡとＢとＣとのセットの任意の空でないサブセットであり得ることを提示するために一般に使用される文脈で、理解される。たとえば、３つの部材を有するセットの説明的な実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」という結合句は、次のセットのうちのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、そのような結合語は、いくつかの実施例が、Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つの各々が存在することを必要とすることを全体的に暗示するものではない。さらに、別段の記載がないか又は文脈によって否定されない限り、「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。複数（ｐｌｕｒａｌｉｔｙ）は、少なくとも２つの項目であるが、明示的に、又は文脈によってのいずれかでそのように示されているとき、それよりも多いことがある。さらに、別段の記載がないか又はさもなければ文脈から明らかでない限り、「～に基づいて」という言い回しは、「少なくとも部分的に～に基づいて」を意味し、「～のみに基づいて」を意味しない。
【0261】
本明細書で説明されるプロセスの動作は、本明細書に別段の記載がないか又はさもなければ文脈によって明確に否定されない限り、任意の好適な順序で実施され得る。少なくとも１つの実施例では、本明細書で説明されるプロセス（又はその変形形態及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実施され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行するコード（たとえば、実行可能命令、１つ又は複数のコンピュータ・プログラム、又は１つ又は複数のアプリケーション）として実装される。少なくとも１つの実施例では、コードは、たとえば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも１つの実施例では、コンピュータ可読記憶媒体は、一時的信号（たとえば、伝搬する一時的な電気又は電磁送信）を除外するが、一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的コンピュータ可読記憶媒体である。少なくとも１つの実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的コンピュータ可読記憶媒体のセットに記憶され、この記憶媒体は、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書で説明される動作を実施させる実行可能命令を記憶している（又は、実行可能命令を記憶するための他のメモリを有する）。非一時的コンピュータ可読記憶媒体のセットは、少なくとも１つの実施例では、複数の非一時的コンピュータ可読記憶媒体を備え、複数の非一時的コンピュータ可読記憶媒体の個々の非一時的記憶媒体のうちの１つ又は複数は、コードのすべてがないが、複数の非一時的コンピュータ可読記憶媒体は、集合的にコードのすべてを記憶している。少なくとも１つの実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的コンピュータ可読記憶媒体は命令を記憶し、メイン中央処理ユニット（「ＣＰＵ」）は命令のいくつかを実行し、グラフィックス処理ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも１つの実施例では、コンピュータ・システムの異なる構成要素は、別個のプロセッサを有し、異なるプロセッサが命令の異なるサブセットを実行する。
【0262】
したがって、少なくとも１つの実施例では、コンピュータ・システムは、本明細書で説明されるプロセスの動作を単独で又は集合的に実施する１つ又は複数のサービスを実装するように構成され、そのようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも１つの実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが本明細書で説明される動作を実施するように、及び単一のデバイスがすべての動作を実施しないように、異なるやり方で動作する複数のデバイスを備える分散型コンピュータ・システムである。
【0263】
本明細書で提供されるあらゆる実例、又は例示的な言葉（たとえば、「など、などの（ｓｕｃｈ ａｓ）」）の使用は、本開示の実施例をより明らかにすることのみを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。
【0264】
本明細書で引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。
【0265】
明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用され得る。これらの用語は、互いに同義語として意図されていないことがあることが理解されるべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、２つ又はそれ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用され得る。「結合される」はまた、２つ又はそれ以上の要素が直接互いに接触していないが、それでもなお互いに連動又は対話することを意味し得る。
【0266】
別段の具体的な記載がない限り、明細書全体を通して、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「算出する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、又は「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータを、コンピューティング・システムのメモリ、レジスタ又は他のそのような情報ストレージ、送信、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるように操作及び／又は変換する、コンピュータ又はコンピューティング・システム、或いは同様の電子コンピューティング・デバイスのアクション及び／又はプロセスを指すことが諒解され得る。
【0267】
同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶され得る他の電子データに変換する任意のデバイス、又はデバイスの一部分を指し得る。非限定的な実例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであり得る。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備え得る。本明細書で使用される「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実施するソフトウェア及び／又はハードウェア・エンティティを含み得る。また、各プロセスは、命令を直列で又は並列で、連続的に又は断続的に行うための複数のプロセスを指し得る。「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化し得、方法がシステムと考えられ得る場合に限り、本明細書において交換可能に使用される。
【0268】
本明細書では、アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、或いはそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及し得る。アナログ・データ及びデジタル・データを取得すること、獲得すること、受信すること、又は入力することは、関数コール、又はアプリケーション・プログラミング・インターフェースへのコールのパラメータとしてデータを受信することによってなど、様々なやり方で実現され得る。いくつかの実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、直列又は並列インターフェースを介してデータを転送することによって実現され得る。別の実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現され得る。アナログ・データ又はデジタル・データを提供すること、出力すること、送信すること、送出すること、又は提示することにも言及し得る。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送出する、又は提示するプロセスは、関数コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェース又はプロセス間通信機構のパラメータとしてデータを転送することによって実現され得る。
【0269】
上記の説明は、説明された技法の例示的な実装形態について述べているが、他のアーキテクチャが、説明された機能性を実装するために使用され得、本開示の範囲内にあることが意図される。さらに、説明を目的として、責任の具体的な分散が上記で定義されたが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。
【0270】
さらに、主題は、構造的特徴及び／又は方法論的行為に特有の言語で説明されたが、添付の特許請求の範囲で特許請求される主題は、説明された特有の特徴又は行為に必ずしも限定されるとは限らないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16A】
【図16B】
【外国語明細書】