特表 2024-530909 信頼できる送信のためのビデオ圧縮技法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-27

(54)【発明の名称】信頼できる送信のためのビデオ圧縮技法

(51)【国際特許分類】

   H04N 21/23 20110101AFI20240820BHJP

   H04N 21/24 20110101ALI20240820BHJP

   H04N 19/503 20140101ALI20240820BHJP

【ＦＩ】

H04N21/23

H04N21/24

H04N19/503

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024505454

(86)(22)【出願日】2022-07-08

(85)【翻訳文提出日】2024-01-29

(86)【国際出願番号】 US2022036476

(87)【国際公開番号】W WO2023009291

(87)【国際公開日】2023-02-02

(31)【優先権主張番号】17/365,669

(32)【優先日】2021-07-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】501450960

【氏名又は名称】エヌビディア コーポレーション

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】ウェイン、ベンジェミン トーマス

(72)【発明者】

【氏名】ローズ、エイミー

(72)【発明者】

【氏名】ウッダード、アンドリュー ジェイムズ

【テーマコード（参考）】

5C159

5C164

【Ｆターム（参考）】

5C159MA01

5C159PP05

5C159PP06

5C159UA02

5C159UA05

5C159UA33

5C164FA22

5C164GA03

5C164SA32S

5C164SB01S

5C164SB41P

5C164SB46P

5C164YA22

5C164YA24

(57)【要約】

時間敏感データの信頼できる送信のためのシステム及び方法が提示される。特に、様々な実施例は、シーケンスの個々のインスタンスがそのシーケンス中の前のインスタンスからの差分を表す、圧縮された連続データの生成を提供する。送信される必要があるデータの量を低減するために、（個々のビデオ・フレームなどの）データのインスタンスは、参照として前のビデオ・フレームを使用し、ピクセル値が参照フレームとは異なる、ピクセル・ロケーションのためのデータのみを送出して、提供され得る。参照フレームは、ドロップされた、不完全な、又は破損したフレームの影響を最小限に抑えるために、前に受信された及び正常に復号されたフレームを含むことができる。データ送信要件をさらに低減するために、所与のフレームのために送信されるべきデータの最小量を表し得るものなど、現在フレームにとって最適であると決定された参照フレームが選択され得る。

【特許請求の範囲】

【請求項1】

クライアント・デバイスに、表示されるべきビデオ・フレームのシーケンス中の第１のビデオ・フレームのための第１のビデオ・フレーム・データを送出するステップと、
前記クライアント・デバイスに、前記シーケンス中の第２のビデオ・フレームのための第２のビデオ・フレーム・データを送出するステップであって、前記第２のビデオ・フレーム・データが、前記第１のビデオ・フレームに関するピクセル・データの変化を含み、前記クライアント・デバイスが、前記第１のビデオ・フレーム・データと前記第２のビデオ・フレーム・データとを使用する表示のために前記第２のビデオ・フレームを生成することを可能にされる、ステップと、
前記クライアント・デバイスが前記第２のビデオ・フレーム・データを正常に受信したことを示す確認応答が受信されたと決定するステップと、
前記クライアント・デバイスに、前記シーケンス中の第３のビデオ・フレームのための第３のビデオ・フレーム・データを送出するステップであって、前記第３のビデオ・フレーム・データが、前記第１のビデオ・フレーム又は前記第２のビデオ・フレームに関する前記ピクセル・データの変化を含む、ステップと
を含む、コンピュータ実装方法。

【請求項2】

１つ又は複数の最適化パラメータに少なくとも部分的に基づいて、前記第３のビデオ・フレーム・データ中に、前記第１のビデオ・フレームに関する変化を含めるべきなのか前記第２のビデオ・フレームに関する変化を含めるべきなのかを決定するステップ
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記最適化パラメータが、前記変化のためのデータ・サイズ、変化の数、送信の最近性、又はネットワーク性能状態のうちの少なくとも１つに関係する、請求項２に記載のコンピュータ実装方法。

【請求項4】

前記第１のビデオ・フレーム・データと前記第２のビデオ・フレーム・データとをクライアント参照バッファに記憶するステップであって、前記第１のビデオ・フレーム・データと前記第２のビデオ・フレーム・データの両方が、前記第３のビデオ・フレーム・データを決定するための参照フレームとして前記クライアント・デバイスによって使用されるために利用可能である、ステップ
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記クライアント・デバイスから、前記クライアント・デバイスが前記第３のビデオ・フレーム・データを正常に受信したことを示す確認応答を受信するステップと、
前記シーケンス中の１つ又は複数の後続のビデオ・フレームのための参照フレームとして使用するために、前記第１のビデオ・フレーム及び前記第２のビデオ・フレームとともに、前記第３のビデオ・フレームが利用可能になることを引き起こすステップと
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記クライアント・デバイスから、前記クライアント・デバイス上のクライアント参照バッファから前記第１のビデオ・フレームを除去するための要求を受信するステップと、
前記クライアント・デバイスに、前記第１のビデオ・フレームが前記シーケンス中の１つ又は複数の後続のビデオ・フレームのための参照フレームとしての考慮から除去されるべきであり、前記クライアント参照バッファから除去され得るという確認応答を送出するステップと
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項7】

前記クライアント・デバイス上のクライアント参照バッファ中のデータの最近性又は多様性に少なくとも部分的に基づいて、前記クライアント参照バッファから、前記第１のビデオ・フレーム・データと前記第２のビデオ・フレーム・データと前記第３のビデオ・フレーム・データとのうちの少なくとも１つを除去することを決定するステップ
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項8】

前記クライアント・デバイスに送出するステップの前に前記第１のビデオ・フレーム・データと前記第２のビデオ・フレーム・データと前記第３のビデオ・フレーム・データとを符号化するステップ
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項9】

クライアント・デバイスにビデオ・データのストリームを送信するためのストリーミング・サーバと、
前記ストリーム中に含まれるべきビデオ・フレーム・データのシーケンスを符号化するためのエンコーダと
を備える、ビデオ・ストリーミング・システムであって、前記エンコーダは、少なくとも部分的に、
前記ビデオ・ストリーム中の現在フレームのために使用すべき参照フレームであって、ビデオ・データが前記クライアント・デバイスによって受信されたことを確認応答された、参照バッファに記憶された、１つ又は複数の確認されたフレームのうちの１つの確認されたフレームに対応する参照フレームを選択し、
前記選択された参照フレームに対するピクセル・データの変化を含む、前記現在フレームのためのビデオ・データを符号化する
ことによって前記シーケンスを符号化するためのものである、ビデオ・ストリーミング・システム。

【請求項10】

前記エンコーダがさらに、少なくとも１つの選択基準を使用して前記参照フレームを選択するためのものである、請求項９に記載のビデオ・ストリーミング・システム。

【請求項11】

前記少なくとも１つの選択基準が、データ・サイズ、変化の数、送信の最近性、又はネットワーク性能状態のうちの少なくとも１つを含む、請求項９に記載のビデオ・ストリーミング・システム。

【請求項12】

前記エンコーダはさらに、前記クライアント・デバイスから、前記現在フレームが前記クライアント・デバイスによって適切に受信され、復号されたという確認応答を受信するためのものであり、前記現在フレームのためのデータが、追加の確認されたフレームとして前記参照バッファに記憶されるべきである、請求項９に記載のビデオ・ストリーミング・システム。

【請求項13】

前記エンコーダが、前記参照バッファから、参照フレームとして使用するためにもはや利用可能でないことが示された１つ又は複数の確認されたフレームを除去するためのものである、請求項９に記載のビデオ・ストリーミング・システム。

【請求項14】

前記エンコーダは、前記ビデオ・データが前記クライアント・デバイスに送信される前に、前記ビデオ・データに前方誤り訂正を適用するためのものである、請求項９に記載のビデオ・ストリーミング・システム。

【請求項15】

前記システムが、
シミュレーション動作を実施するためのシステム、
自律機械アプリケーションをテスト又は検証するためのシミュレーション動作を実施するためのシステム、
グラフィカル出力をレンダリングするためのシステム、
深層学習動作を実施するためのシステム、
エッジ・デバイスを使用して実装されるシステム、
１つ又は複数の仮想機械（ＶＭ）を組み込んだシステム、
少なくとも部分的にデータ・センタにおいて実装されるシステム、或いは
少なくとも部分的にクラウド・コンピューティング・リソースを使用して実装されるシステム
のうちの少なくとも１つを備える、請求項１０に記載のビデオ・ストリーミング・システム。

【請求項16】

１つ又は複数のプロセッサによって実行された場合、前記１つ又は複数のプロセッサに、
ビデオ・ストリーム中の現在フレームのために使用すべき参照フレームであって、ビデオ・データがクライアント・デバイスによって受信されたことを確認応答された、参照バッファに記憶された、１つ又は複数の確認されたフレームのうちの１つの確認されたフレームに対応する参照フレームを選択させ、
前記選択された参照フレームに対するピクセル・データの変化を含む、前記現在フレームのためのビデオ・データを符号化させる
命令を含む非一時的コンピュータ可読記憶媒体。

【請求項17】

エンコーダがさらに、少なくとも１つの選択基準を使用して前記参照フレームを選択するためのものである、請求項１６に記載の非一時的コンピュータ可読記憶媒体。

【請求項18】

前記少なくとも１つの選択基準が、データ・サイズ、変化の数、送信の最近性、又はネットワーク性能状態のうちの少なくとも１つを含む、請求項１６に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

前記エンコーダはさらに、前記クライアント・デバイスから、前記現在フレームが前記クライアント・デバイスによって適切に受信され、復号されたという確認応答を受信するためのものであり、前記現在フレームのためのデータが、追加の確認されたフレームとして前記参照バッファに記憶されるべきである、請求項１６に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記エンコーダが、前記参照バッファから、参照フレームとして使用するためにもはや利用可能でないことが示された１つ又は複数の確認されたフレームを除去するためのものである、請求項１６に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、すべての目的のために、その全体が本明細書に組み込まれる、２０２１年７月３０日に出願された、「ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＲＥＬＩＡＢＬＥ ＴＲＡＮＳＭＩＳＳＩＯＮ」と題する米国非仮特許出願第１７／３６５，６６９号の優先権を主張する。

【背景技術】

【0002】

データ・ストリーミングは、様々な異なる産業及びアプリケーションのためにますます重要になっている。オンライン・ゲーミングなど、いくつかのアプリケーションでは、ゲームプレイに悪影響を及ぼすレイテンシを回避するために、ゲーム又はビデオ・データのストリーミングが低レイテンシを有することが重要であり得る。従来のビデオ圧縮及びストリーミング技術を使用すると、シーケンス中のビデオ・フレームのためのデータはすべて、シーケンス中の他のフレームに依存しないキー・フレーム（たとえば、「ｉフレーム」）の場合以外、そのシーケンス中の直前のフレームに関する変化を参照し得る。前のフレームへのこの依拠は、フレームがドロップされたとき、たとえば、その場合、そのシーケンス中の後続のフレームが、適切なフレームを復号するために必要とされる変化情報の一部を逃していることになるので、問題を生じることがある。このフレーム・ドロップを補正するために別のキー・フレームが送出され得るが、新しいキー・フレームを生成する際に経験されるいくらかのレイテンシ、並びに別の比較的大きいキー・フレームを送信するために必要とされる余分の時間及び帯域幅があることになる。

【0003】

本開示による様々な実施例が、図面を参照しながら説明される。

【図面の簡単な説明】

【0004】

【図1A】少なくとも１つの実施例による、例示的な画像シーケンスのための画像データを示す図である。

【図1B】少なくとも１つの実施例による、例示的な画像シーケンスのための画像データを示す図である。

【図1C】少なくとも１つの実施例による、例示的な画像シーケンスのための画像データを示す図である。

【図2A】第１のビデオ・シーケンス中のフレームのフローを示す図である。

【図2B】第１のビデオ・シーケンス中のフレームのフローを示す図である。

【図3A】少なくとも１つの実施例による、第２のビデオ・シーケンス中のフレームのスローを示す図である。

【図3B】少なくとも１つの実施例による、第２のビデオ・シーケンス中のフレームのスローを示す図である。

【図3C】少なくとも１つの実施例による、第２のビデオ・シーケンス中のフレームのスローを示す図である。

【図3D】少なくとも１つの実施例による、第２のビデオ・シーケンス中のフレームのスローを示す図である。

【図4】少なくとも１つの実施例による、ビデオ符号化及び送信パイプラインを示す図である。

【図5A】少なくとも１つの実施例による、１つ又は複数の後続のフレーム差分を算出するための参照フレームを動的に決定するためのプロセスを示す図である。

【図5B】少なくとも１つの実施例による、１つ又は複数の後続のフレーム差分を算出するための参照フレームを動的に決定するためのプロセスを示す図である。

【図6】少なくとも１つの実施例による、画像データを符号化し、送信するためのシステムの構成要素を示す図である。

【図7A】少なくとも１つの実施例による、推論及び／又は訓練論理（ｔｒａｉｎｉｎｇ ｌｏｇｉｃ）を示す図である。

【図7B】少なくとも１つの実施例による、推論及び／又は訓練論理を示す図である。

【図8】少なくとも１つの実施例による、例示的なデータ・センタ・システムを示す図である。

【図9】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図10】少なくとも１つの実施例による、コンピュータ・システムを示す図である。

【図11】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。

【図12】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。

【図13】少なくとも１つの実施例による、先進コンピューティング・パイプラインのための例示的なデータ・フロー図である。

【図14】少なくとも１つの実施例による、先進コンピューティング・パイプラインにおいて機械学習モデルを訓練し、適応させ、インスタンス化し、導入するための例示的なシステムのためのシステム図である。

【図15A】少なくとも１つの実施例による、機械学習モデルを訓練するためのプロセスのためのデータ・フロー図である。

【図15B】少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャを示す図である。

【発明を実施するための形態】

【0005】

様々な実施例による手法が、連続又は差分データの生成、圧縮、及び／又は符号化を提供することができる。特に、様々な実施例は、シーケンスの個々のインスタンスがそのシーケンス中の１つ又は複数の前のインスタンスからの差分を表し得る、圧縮された連続データの生成を提供する。これは、たとえば、限定はしないが、ビデオ・シーケンス中のフレームを含み得る。少なくともいくつかのインスタンス又はアプリケーションでは、レイテンシは重要であるか、さらには重大であり得る。そのようなアプリケーションのために送信される必要があるデータの量を低減するために、データは、様々な圧縮技法のいずれかを使用して圧縮され得る。１つのそのような技法は、初期ビデオ・フレーム（又は他のデータ・インスタンス）を送出することであり、初期ビデオ・フレームは、そのビデオ・フレーム中の各ピクセル・ロケーションのためのピクセル値など、そのフレームのためのすべての関連するデータを含む。次いで、後続のフレームは、参照又は参照フレームとして初期ビデオ・フレームを使用し、ピクセル値が参照フレームとは異なる、ピクセル・ロケーションのためのデータのみを送出して、提供され得る。様々な実施例では、参照フレームは、ドロップされた、不完全な、又は破損したフレームの影響を最小限に抑えるために、シーケンス中の直前のフレームではなく、前に受信された及び正常に復号されたことを確認されたフレームに対応することができる。データ送信要件をさらに低減するために、たとえば、ローカル・デバイス上にキャッシュされ得るいくつかの前に検証された又は確認されたフレームのうちの１つに関して、差分が計算され得る。少なくとも１つの実施例では、差分は、いくつかの潜在的参照フレームの各々に関して現在フレームのために計算又は推定され得る。次いで、送信されるべき差分データの最小量、或いは復号又はレンダリングするための処理の最小量を表し得るものなど、現在フレームにとって「最適」であると決定された参照フレームが選択され得る。可能な参照フレームのセットは、確認応答メッセージが受信側デバイスから受信された場合など、新しいフレームが正常に検証又は確認されたとき、更新され得る。

【0006】

少なくとも１つの実施例では、画像生成システムは、画像又はビデオ・フレームのそのようなシーケンスを生成することができ、それは、順次プレイされたとき、アニメーション又はゲームプレイのシーンなど、コンテンツのシーンを提示することになる。各個々の画像では、静的又は動的であり得る前景物体と背景物体の両方を含み得るものなど、表される様々な物体があり得る。それらの物体のいずれかのロケーション、サイズ、及び配向が、静的なのか動的なのかにかかわらず、画像のための、視点又はズーム・レベルなど、ファクタを決定するために使用される仮想カメラの動きに少なくとも部分的に基づいて変化し得る。そのような画像又はビデオ・シーケンスでは、ビュー、ロケーション、サイズ、及び配向のこれらの変化は、それらの物体を表すために使用される個々のピクセルの変化のセットと見なされ得る。フレーム間のこれらの変化は、最後にいくつかの実施例では、ピクセル・データの差分と見なされ得る。

【0007】

オンライン又はリアルタイムアプリケーション又は使用事例では、これらのビデオ・シーケンスは、ビデオ・ストリーミングなどの技法を使用して配信され得る。ムービーのためのストリーミング・ビデオなどのアプリケーションでは、遅延又はレイテンシは、ユーザにとって迷惑であり得るが、そのユーザがビデオを視聴し、楽しむことを実質的に妨げないことがある。しかしながら、上述のように、他のタイプのビデオ・ストリーミングでは、著しいレイテンシが、エクスペリエンスの楽しみを低減するか、さらには、許容できないエクスペリエンスを生じ得る。たとえば、ライブ・スポーツ・イベントのストリーミングは、視聴者が、たとえば、ビデオ・フィードに関する問題から生じる、ライブストリーム中のいくつかのイベントを逃すこと又はそれらのイベントの視聴における遅延を有することを希望しないことがあるので、少なくともいくぶんレイテンシ敏感であり得る。ビデオ会議などのアプリケーションでは、著しい遅延は、議論の価値又は影響を低減し得る。オンライン・ゲーミングなどのアプリケーションでは、著しいレイテンシ問題は、プレーヤが、長期間にわたってゲームにおいて何が起きているかを効果的に決定することができない場合、プレーヤが負けること又は著しく不利な状況になることを生じ得るので、著しいことがある。ライブ・ビデオ・ストリームに少なくとも部分的に基づいて物理的決定が行われ得るロボティクス又は自律運転などのアプリケーションでは、誤ったアクションがとられること、又は所望のアクションがとられないことを生じるレイテンシは、ひどい結果を有することがある。これら及び他のそのようなアプリケーション又は使用事例では、受信されるデータを単にバッファし、キャッチアップすべきフレームを待つこと又は高信頼トランスポートを使用することによってフレーム損失又は破損に対処することは、十分でないことがある。そのような手法から生じるレイテンシの増加は、オンライン・ゲームの対話性を低くするか、又は、自動化アプリケーションをより遅くし、その反応性を低くすることなど、アプリケーションに悪影響を及ぼすことがある。これらのアプリケーション及び使用事例のうちの少なくともいくつかにとって、データ損失の影響を制限することが可能であることが望ましいことがある。

【0008】

一実例として、ビデオ・シーケンスのフレームに対応し得る、図１Ａの初期画像フレーム１００について考える。説明を簡単にするために、この初期フレームは、１８×１８ピクセルのアレイを含む低解像度画像における、塗りつぶしの白い背景の前の塗りつぶしの黒い物体１０２を示す。この初期画像を送信するために、ピクセル・データ（すなわち、各ピクセル・ロケーションにおいて表示されるべき色）が、すべての３２４個のピクセルについて送信されなければならない。図１Ａはまた、そのシーケンス中の後続のフレーム１１０を示し、後続のフレーム１１０は、わずかに異なるロケーションにおける同じ黒い物体１０２を示す。画像圧縮がない場合、この後続のフレーム１１０を適切にレンダリング及び表示するために、この場合も、この後続のフレーム中のすべての３２４個のピクセルのためのピクセル・データを送信することが必要であろう。

【0009】

送信されるべきデータの量を低減するために、シーケンス中の直前のフレームに関する変化のみを含む１つ又は複数のデータ圧縮技法が使用され得る。たとえば、図１Ｂのオーバーレイされたフレーム１２０について考える。初期フレーム１００と後続のフレーム１１０との間の比較が行われ得、これは、白い背景ピクセルの多くが白いままであり、物体に対応するピクセル１２４のうちのいくつかが黒いままであることを示す。値が変化した、ピクセルの２つの領域がある。ピクセルが、初期画像において黒であったが、後続の画像１１０において白い背景ピクセルに変化した、第１の領域１２２がある。物体の現在ロケーションを表すために白い背景ピクセルが黒いピクセルに変化する、第２の領域１２６がある。後続の画像１１０のために送出されるべきデータの量を低減するために、初期画像１００に対する変化１３０をもつピクセルのみを表すデータが送出され得る。言い換えれば、後続のフレーム中の異なる値をもつ４６個のピクセルのためのデータは、後続のフレームのために送信され得、残りの２７８個のピクセルのためのピクセル・データは、保持され、初期フレーム１００から使用され得る。色の変動、又はアンチエイリアシングなどの態様を無視するこの単純な実例でも、データ転送における著しい低減が取得され得る。

【0010】

しかしながら、そのような方式が誤りなしに機能するために、シーケンス中の各フレームは、それがシーケンス中の後続のフレームのための基礎として働くとき、完全に受信され、正確に復号される必要があり得る。フレームがドロップされた場合、これは、ビデオ・シーケンスの視覚的品質に影響を及ぼすことがあるデータの損失を生じることがあるか、又はフレームが適切に復号されることを妨げることがある。一実例として、図２Ａ及び図２Ｂのビデオ・シーケンスについて考える。図２Ａのフレーム２００は、例示的なビデオ・シーケンス２０２に属する。このシーケンス中の初期フレームは、そのフレーム中のすべてのピクセルのためのデータを含むｉフレーム（Ａ）である。上述のように、ｉフレーム（又は他のタイプのキー・フレーム）は、シーケンス中の前のフレームに依存せず、完全なビデオ・フレーム又は画像として独立することができる。後続のフレーム（Ｂ）、ここではｐフレーム（又は直前のフレームからの進行を表す「進行」フレーム）は、任意の他の関連するタイプの依存するフレーム又は画像データ表現も使用され得るが、ｉフレームＡに依存するか、又は戻ってｉフレームＡを参照することができ、したがって、ｐフレームＢのために送信されるデータは、その値がｉフレームＡ中の値に関して変化した（又は少なくとも最小量の差で変化した）ピクセルのためのデータのみを含む。ｐフレームＢの左下コーナーにおける小さいボックスは、そのフレームが、戻ってｉフレームＡを参照することを示し、ｉフレームＡに関する差のためのデータを含む。この例示的なシーケンス２０２において示されているように、各後続のフレームは、戻って直前のフレームを参照し、したがって、直前のフレームに関する変化のみを含む。

【0011】

しかしながら、ビデオ・シーケンス２０２中のフレームのうちの１つ又は複数のためのデータ（たとえば、１つ又は複数のパケット）がドロップされたか、部分的に受信されたか、破損したか、或いは場合によっては適切な画像又はビデオ・フレームを復号するために使用されることが不可能であり得ることが起こり得る。図示のように、図２Ｂのビデオ・シーケンス２０２中で受信されたフレーム２５０では、ｐフレームＣは、完全に及び正確に受信されなかった。図示のように、逃したｐフレームＣに依存するｐフレームＤは、その場合、ｐフレームＣの変化を反映することが可能でないことになる。良くても、フレームＢ及びＣが極めて類似していない限り、これは、ビデオ信号中に何らかのジャーキネス又はノイズを生じることになるが、最悪の場合、これは、ｐフレームＤのためのビデオ・フレームが適切に復号されること、及び表示のために提供されることが不可能であることを生じ得る。同様に、ｐフレームＥなどの後続のフレームは、この失われた情報を回復することが不可能であることになり、少なくとも部分的に、ｐフレームＣのための失われた変化データに基づく表示されるビデオに関する問題を継続し得る。この実例においてビデオ・ストリームを送出するサーバが、ｐフレームＣのための確認応答を受信しない場合、サーバは、データの損失から回復するために新しいｉフレームＦが送信される必要があると決定することができる。他の実例では、シーケンスを受信するクライアントが、フレームがドロップされたことを了解し得、新しいｉフレームを要求し得る。新しいｉフレームの送信は、データが失われなかったかのようにビデオが回復することを可能にするが、新しいｉフレームの生成は、いくらかの時間をとり、新しいｉフレームのための比較的大きい量のデータの送信もいくらかの時間（及び追加の帯域幅）をとることがあり、したがって、ドロップされたフレームと送出されている新しいｉフレームＦとの間にいくらかの遅延があることになる。時間制約型、又は少なくともレイテンシ敏感であるアプリケーションでは、そのような遅延又はレイテンシは、前に説明されたように、著しい悪影響を有することがある。

【0012】

いくつかの従来の手法は、シーケンス又はカデンス（ｃａｄｅｎｃｅ）中のフレームが、予想される時間ウィンドウ内に受信されなかったというクライアント側決定に依拠する。たとえば、システムが、６０ＦＰＳなど、あるフレーム・レートにおいて稼働している場合、クライアント・デバイスは、ビデオ・シーケンス中の次のフレームがネットワーク中から受信されることをいつ予想するべきであるかを近似的に知ることになる。わずかな調整で、クライアント・デバイスは、所与のフレームが到着するのをどのくらいの時間の間待つべきであるかを決定することができる。フレームがその時間期間内に到着しない場合、多くの状況について、そのフレームのためのデータが失われることが仮定され得る。しかしながら、そのような手法は、概して、サーバにその情報を戻し、サーバにそのデータを処理させ、次いで、結果として、新しい、更新された、又は追加のデータを送出させる際に、いくらかのラグがあるので、極めて費用がかかることがある。さらに、ストリームがクライアントによって無効にされた場合、そのポイントの後に受信された又は受信されることになる後続の進行フレームは、無効であることになり、したがって、クライアントは、現在のポイントからビデオ・ストリームを効果的に再開するために、別のｉフレームが受信されるまで待たなければならないことになる。

【0013】

いくつかの従来の手法は、データ送信中にパケット損失の影響を最小限に抑えようと試みるために、何らかのタイプの前方誤り訂正（ＦＥＣ：ｆｏｒｗａｒｄ ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｏｎ）を利用する。ＦＥＣは、メディア・サーバなど、送信のソースに冗長データを効果的に送出させ、それにより、クライアント・デバイスなど、送信の受信機は、受信された及び誤りのないデータの部分のみを利用することができる。そのような手法は、クライアントがこの余分の又は冗長なデータを使用して、逃していたデータの少なくとも一部を再構築することを可能にすることができる。限られたデータ損失のために、クライアントは、（１つ又は複数の）失われたパケットを受信することなしに完全に回復することが可能であり得る。しかしながら、そのような手法は、この冗長データのために追加の帯域幅を必要とし、回復を可能にするにはその損失が十分小さくない場合、依然としてパケット損失を受けやすいので、そのような手法は最適でない。

【0014】

したがって、様々な実施例による手法は、データ損失又は破損に関するこれら及び他のそのような問題のうちの少なくともいくつかを回避するようなやり方で、ビデオ・シーケンス又は他のそのようなデータを圧縮又は符号化することができる。そのような手法は、特に、Ｈ．２６４、ＨＥＶＣ、ＶＰ９、ＦＬＶ、又はＷＥＢＭなどの符号化フォーマットに少なくとも部分的に基づき得るような、修正された圧縮手法を利用することができる。図３Ａは、様々な実施例による、送信され得る例示的なビデオ・シーケンス３０２のフレーム３００の初期セットを示す。この実例では、ｉフレームＡは、少なくとも、このシーケンス中に、参照すべき又はそれから依存すべき前のフレームがないので、このシーケンス中の第１のフレームとして送信される。このｉフレームは、フレーム中の各ピクセルのための値を含む、画像データの完全セットを含むことができる。シーケンス３０２中の次のフレーム、ここではｐフレームＢは、図２Ａに関して説明されたシーケンスと同様に、前のフレームＡに関する変化のためのデータを含むことができる。しかしながら、この実例では、このシーケンスを送信するサーバ（又は他のそのようなソース）は、ｐフレームＢが適切に及び完全に受信及び復号されたという確認応答をまだ受信していないことがある。したがって、サーバは、直前のフレームＢに関する変化を含むために、シーケンス中の次のフレーム、ここではｐフレームＣのためのデータを生成しないが、代わりに、最後の確認応答された「良好な」フレーム、ここではｉフレームＡに関する変化を含むためにｐフレームＣのためのデータを生成することを決定し得る。このようにして、ｐフレームＣは、ｐフレームＣがｐフレームＢに関する変化のみを反映した場合よりも多くの送信されるべきデータを伴い得るが、ｐフレームＣのためのデータは、中間のｐフレームＢがドロップされた又は破損した場合でも、ｐフレームＣが完全に及び正確に復号及び表示されることを可能にすることになる。同様に、この実例における後続のｐフレームＤも、最後の確認応答されたフレームＡに関する変化のためのデータを伴うことができ、したがって、フレームＤは、フレームＢ及び／又はＣがドロップされた又は破損した場合でも、顕著な追加されたレイテンシなしに、適切に表示され得る。

【0015】

この実例では、確認応答（又は「ａｃｋ」）は、ｐフレームＢのために、少なくともｐフレームＤの生成の後に、受信される。図示のように、次のフレーム（ｐフレームＥ）は、次いで、最後の確認応答された良好なフレームに関する変化を表す、送信することを決定されたデータを有することができ、最後の確認応答された良好なフレームは、図３Ｂに示されているように、今ではｐフレームＢである。データが、ｐフレームＦのために送信することを決定される前に、フレームＣ、Ｄ、又はＥのための確認応答が受信されない場合、ｐフレームＦも、最後の確認応答されたフレームＢに関する変化を表すデータを有することができる。しかしながら、フレームＦのためのデータが決定される前に、フレームＣ、Ｄ、又はＥのための確認応答が受信された場合、そのデータは、その場合、代わりに、確認応答が受信されたそれらのフレームのうち（シーケンス３０２中の）最も最近のフレームに関する変化を表すことができる。多くの実施例では、フレーム・データは、６０フレーム毎秒（ｆｐｓ）など、それらのフレームが表示されるべきであるフレーム・レートを近似し得る一定の間隔において送出される。したがって、フレームの確認応答は、フレームがドロップされない限り、たいていのフレームが結局、最も最近のフレームに依存することになり得るように、同様の頻度で受信されるべきである。確認応答が、いくつかのフレームに対応する持続時間の間受信されない場合、それは、別の手法を使用して対処される必要があり得る問題を示し得る。そのような事例では、新しいｉフレームを送出することは、そのフレームが適切に受信されないか、又は適時に受信されないかのいずれかであり得るので、その問題を解決しないことがある。いくつかの実施例では、５つ又はそれ以上のフレームなど、決定された数のフレームが確認応答なしに送信された後に、ｉフレームが送出され得る。

【0016】

図３Ｃに示されているように、ｐフレームＣなどのフレームがドロップされた（又は破損されたなど）場合、後続のｐフレームＤは、依然として、最後の確認応答されたフレームＡに関する変化を表すことができる。いくつかの事例では、フレーム・データは、適切に受信されていることがあるが、対応する確認応答は、適切に受信されていないことがある。別のフレーム、ここではｐフレームＢの、確認応答が受信されたとき、ｐフレームＥ及びＦについて示されているように、後続のフレームは、そのフレームに依存することができる。この手法は、所与のフレームが、確認応答が受信された（又は他の指示が提供又は決定された）シーケンス中の最も最近のフレームから依存することになる、スライディング・ウィンドウを効果的に作成する。図３Ｄに示されているように、後続のフレームは、確認応答が受信されると、ｐフレームＤに依存することができ、以下同様である。このようにして、１つ又は複数のフレームがドロップされた場合でも、後続のフレームは、最後の確認応答された良好なフレームからのビデオ・コンテンツの変化（たとえば、差分）を表すデータを利用することによって、適切な画像を回復及び復号又は表示することができる。次いで、ドロップされたフレームは、ビデオの更新の際に（１フレーム程度の）一時的遅延のみを生じ得、一時的遅延は、ほとんど顕著でないことがある、ピクセル値の急変を生じ得、もしあれば最小の、アプリケーションに対する影響を有するように十分に短くなり得る。たとえば、ゲーマーが、約３０ミリ秒程度の時間期間の間ビデオ更新を有しないことによって不当に不利にならないことがあるが、いくつかのフレームがドロップされたか又は破損しており、従来の方法の場合のように、新しいｉフレームが送出される必要があり、これが１秒又はそれ以上の程度の遅延を生じ得る場合、不利になり得る。前方誤り訂正は、依然としてそのようなプロセスとともに使用され得る。

【0017】

少なくとも１つの実施例では、クライアント・デバイスによって受信されたフレームは、確認された状態又は確認されていない状態にあり得、これは、フレームが適切に受信、復号、検証、及び／又は確認応答されたかどうかに対応し得る。フレームが正常に復号され、確認応答されたとき、たとえば、そのフレームは、確認されたフレームであると考えられ得る。少なくとも１つの実施例では、クライアント・デバイスは、ローカル・バッファ中に最も最近の確認されたフレームのみを保ち得る。この確認されたフレームは、シーケンスの最後の良好なフレームに対応することになり、そのシーケンス中の新しいフレームが確認されるまで後続のフレームを復号するために使用され得る。

【0018】

少なくとも１つの実施例では、クライアント・デバイスは、バッファ中に少なくとも２つの最も最近の確認されたフレームをキャッシュし得る。これは、フレームがクライアントによって確認応答されたが、その確認応答が、次のフレームが生成及び送信される前に、サーバによって受信及び処理されず、次のフレームが、その場合、前の確認されたフレームからの差分を表すことになる場合、通信の非同期性質を考慮するのを助けることができる。このようにして、いずれかの前の確認されたフレームに関する差分データとともに受信されるフレームが適切に復号及び表示され、新しい確認されたフレームとして検証され得る。

【0019】

いくつかの実施例では、クライアント・デバイスは複数の確認されたフレームをバッファし得、したがって、任意の後続の進行フレームが、差分のためのベースとして、それらのバッファされた確認された参照フレームのいずれかを利用することができる。少なくとも１つの実施例では、送信サーバは、クライアント・デバイスによってバッファされる確認された参照フレームのリストを維持することができ、新しい確認されたフレームがこのバッファに追加されるか、又はこのバッファから除去されるたびに、このリストを更新することができる。少なくとも１つの実施例では、クライアント・デバイスは、確認されたフレームをバッファから除去するという要求をサーバに送出し得る。クライアント・デバイスは、次いで、その確認されたフレームをバッファから除去する前に、サーバから確認応答が戻るのを待つことができる。サーバからの確認応答がある時間期間を過ぎて受信されない場合、クライアント・デバイスは、バッファからそのフレームを除去するための別の要求を送出することができる。そのような手法は、バッファのオーバーランを防ぐことができる。そのような手法はまた、サーバが、利用可能である所与のフレームを潜在的参照フレームとしてリストするが、そのフレームがもはやクライアント・デバイス上で利用可能でない状況を回避するのを助けることができる。さらに、これは、フレームがバッファから除去されるとき、フレームがすでに送信されるプロセスにあり、その結果、その確認されたフレームが参照フレームとしてもはや利用可能でない状況を回避するのを助ける。いくつかの実施例では、クライアント・デバイスは、サーバがバッファから除去されるべきフレームを選択することを要求し得、その場合、サーバは、バッファから１つ又は複数の選択されたフレームを除去するようにとの命令で応答することができ、サーバは、そのフレームを参照フレームとしてもはや使用しないことになる。これは、少なくともいくつかの実施例では、サーバがクライアント・デバイス上のバッファのための管理責任を有することを可能にすることができる。

【0020】

少なくとも１つの実施例では、送信サーバ又はソースは、後続の進行フレームのための参照フレームとしてどの確認されたフレームを使用すべきかを決定することを試みることができる。ユーザ構成可能であり得るように、又はネットワーク状態に少なくとも部分的に基づいて行われ得るように、そのような決定を行うための様々なルール又はポリシーが、適切に設定され得る。少なくとも１つの実施例では、最も小さい数の変化を有し得るか、又は後続のフレームのために送信されるべき最小量のデータを生じ得るものなど、最も小さい差分を生じるであろう参照フレームが選択され得る。いくつかの実施例では、著しいネットワーク問題又は懸念がない場合、前のフレーム中の破損した又は不正確なデータの影響を最小限に抑えるために、最も多い変化を含む参照フレームが代わりに選択され得る。いくつかの実施例では、送信サーバは、より古いフレームがクライアント・デバイス上のバッファから除去され得る状況を回避するために、より最近の確認されたフレームを利用することへの選好を有し得る。様々な実施例の範囲内で、選択のための他のルール又は手法も使用され得る。

【0021】

そのような一実装形態では、クライアント・デバイスは、確認されたフレームが後続のフレームのためのベース、参照、又はキー・フレームとしてもはや使用され得ないことをサーバが知るように、その確認されたフレームがバッファからフラッシュされるときをサーバに通知することができる。いくつかの実施例では、サーバは、他のオプションの中でも、その差が最大差分しきい値を超えること、又は現在フレームに関するより小さい差分をもつバッファ中のフレームの最大数を有することに基づき得るものなど、バッファからどの確認されたフレームを除去すべきかに関して、クライアント・デバイスに命令することができる。クライアント・デバイスはまた、クライアントがバッファ中のスペースをクリアすることを必要とするか又は希望する場合、バッファからどのフレームを廃棄すべきかをサーバに質問することができる。いくつかの実施例では、この情報の少なくとも一部は、クライアント・デバイス又は他のそのような受信側から送出された確認応答メッセージを通して伝達され得る。

【0022】

確認されていない後続のフレームはまた、確認応答が送出された又は別の確認要件が満足された後に、これらのフレームがシーケンス中の新しい確認されたフレームになり得るので、バッファに記憶され得る。新しいフレームが確認されるたびに、シーケンス中のより古い確認されたフレームのうちの１つは、少なくとも、バッファ中のフレームの最大数又はサイズが満たされるとき、その最大数又はサイズに近づくとき、又はその最大数又はサイズが超えられるとき、バッファから廃棄され得る。いくつかの実施例では、確認応答又は確認がない長期にわたる期間は、異なる是正措置がとられるか又は問題が調査されるべきであるような、ネットワーク又は他の問題を示し得るので、確認されていないフレームの最大数がバッファ中に保たれ得る。多くのストリームでは、新しいｉフレーム又はキー・フレームは、（ピクセル・データのすべてではないにしても大部分が変化することになる）ゲームにおけるシーン又はプログラミング変化或いは新しいレベル又はカットシーンなどの変化のために生成され得、新しいｉフレームがクライアントによって受信されたときはいつでも、クライアントは、すべての前のフレームが、そのビデオ・シーケンス中の後続のフレームのためにキー・フレームとして働くことがもはや可能でなくなるので、それらをバッファからフラッシュし得る。少なくともいくつかの実施例では、新しいｉフレームは、必要なとき又は要求されるときのみ送出され、したがって、所与のストリームのために送出されるごく少数の（わずか１つの）ｉフレームがあり得、これは、ｉフレームが生成、送信、及び記憶されるべきデータの量により、費用がかかることがあるので有益であり得る。問題がネットワーク帯域幅問題である場合、不要なｉフレームを送出することは、特に４Ｋ又は８Ｋなどのより高い解像度のために、問題を実際に悪化させることがある。

【0023】

上述のように、そのような手法の利益は、ビデオ及びメディア・アプリケーション以外のアプリケーション及び使用事例のために使用され得る。区別可能な又は参照データが使用され、参照ポイントが有利に時間とともに更新され得る、様々な使用事例について、利点が得られ得る。これは、たとえば、機械又は電気システムのための区別可能な温度又はセンサ・データ送信を含むことができる。そのような手法はまた、ビデオ会議、オーディオ・ストリーミング、自動化などに関係し得るような、レイテンシ及びバッファリングが問題である使用事例では有利に使用され得る。ビデオがそのような手法から恩恵を受け得るオンライン・ゲーミングなどの使用事例の場合でも、同じく恩恵を受けることができる他のデータ又は情報があり得る。たとえば、ゲームをストリーミングするときにクライアント・デバイスからサーバに送出される入力データ（たとえば、他のオプションの中でも、マウス、コントロール・パッド、ＶＲコントロール・スティック、オーディオ入力デバイス、動きセンサ、ジェスチャー制御、又はタッチ・スクリーンからのユーザ入力データ）は、しばしば相対位置移動のセットとして送出される。このデータは低レイテンシの同様の必要を有することができ、この入力データが、データを逃した結果として破損されることを回避することが望ましいことがある。最後の確認応答されたイベントからのイベントを合体する（ｃｏａｌｅｓｃｅ）こと（又は各イベントのためのデータをバッファすること）によって、ビデオ・ストリームのための利益と同様の利益が、データの再送出を要求することのオーバーヘッドなしに逃したパケットを扱うことによってなど、得られ得る。そのような手法は、変化するデータ・セットの個々の「状態」又は「タイムスライス」の送信に適用され得、たとえば、データ・セットの後続の状態又はタイムスライスは、同じデータ・セットの特定の前の状態又はタイムスライスに対する差分のセットとして、符号化されるか、或いは少なくとも記述又は生成され得る。

【0024】

図４は、提示のために、少なくとも１つのクライアント・デバイス又は他のそのような受信側にビデオ・データを送信するために使用され得る例示的なビデオ符号化パイプライン４００を示す。少なくともいくつかの実施例では、そのようなビデオ・データが同様にオーディオ・データを含むか、又はオーディオ・データに関連することができることを理解されたい。この実例では、レンダリングされるべき現在フレームについてのピクセル・データは、カメラ、メディア・サーバ、又はオンライン・ゲーム・ホストなど、ビデオ・ソース４０２から受信され得る。この実例では、ビデオ・データは、特定の符号化フォーマットを使用してデータを符号化するように構成されたビデオ・エンコーダ４０４に受信される。初期フレームの場合、エンコーダ４０４は、このフレームをｉフレーム又はキー・フレームとして符号化することができ、このフレームは、ストリーム・サーバ４０８又は他のそのような送信機に受け渡されて、少なくとも１つのネットワーク４１０にわたってクライアント・デバイス４１２又は他の予定受信側に送信され得る。クライアント・デバイスの受信機４１４は、このビデオ・データを受信し、そのデータを、ビデオ・フレームを復号するためにビデオ・デコーダ４１６に受け渡すことができ、次いで、復号されたビデオ・フレームが、ディスプレイ４２０、或いはプロジェクタ、モニタ、又はウェアラブル・ディスプレイなど、他のそのような機構を介して提示されることを引き起こすことができる。この実例では、ビデオ・デコーダ４１６は、このフレームが、このビデオ・ストリーム中の後続のフレームのための参照として使用され得る確認されたフレームとして参照バッファ４１８に記憶されることを引き起こすことができる。ビデオ・デコーダ４１６はまた、確認応答がストリーム・サーバ４０８に送出されることを引き起こすことができ、ストリーム・サーバ４０８は、ビデオ・エンコーダ４０４に確認応答を通信することができる。ビデオ・エンコーダは、参照バッファ４０６にそのｉフレームのコピーを記憶していることがあり、そのフレームを、このストリーム上の後続のビデオ・フレームのための基礎として次に使用され得る確認されたフレームとして指定することができる。

【0025】

この実例では、このシーケンス中の第２のフレームは、参照フレームとして初期ｉフレームを使用することができ、これは、この時点で、第１のフレームのための確認応答がすでに受信されたか否かにかかわらず、第２のフレームのための参照フレームとして働くための他のフレームがないからである。このシーケンス中の第３の又は後続のフレームのために、ビデオ・エンコーダ４０４は、その現在フレームのための差分を決定するための参照フレームとしてどれを使用すべきかを決定するために、参照バッファ４０６中の確認された参照フレームを検査することができる。上述のように、この選択は、最も小さい数の変化を生じることになるか、又は現在フレームのために送信されるべき最小量のデータを生じることになる参照フレームを選択するためのなど、いくつかの異なるルール、ポリシー、又は手法のいずれかを使用して決定され得る。少なくとも１つの実施例では、ビデオ・エンコーダは、クライアント・デバイス４１２によって確認された、及びクライアント参照バッファ４１８中にキャッシュ又はバッファされることを示された、ローカル参照バッファ４０６中の任意のフレームを、参照フレームとして選択することができる。ビデオ・エンコーダ４０４は、参照フレームが選択されると、差分を生成し、クライアント・デバイス４１２に送信され得る現在ビデオ・フレームのためのデータを符号化することができる。この実例において、適切に復号され、検証されると、クライアント・デバイス４１２は、現在フレームがクライアント参照バッファ４１８に記憶されることを引き起こし、新しいフレームが、次にそのストリーム上の後続のフレームのための参照フレームとして働き得るという確認応答がストリーム・サーバ４０８に送出されることを引き起こすことができる。

【0026】

バッファされたフレームの最大数が満たされた又は超えられたなど、バッファ除去基準が満たされた場合、クライアント・デバイス４１２は、ストリーム・サーバ４０８又はビデオ・エンコーダ４０４に、クライアント参照バッファ４１８からシーケンス中の少なくとも１つのより古い又は前の確認されたフレームを除去するための要求をサブミットすることができる。１つ又は複数の特定のフレームが、クライアント参照バッファ４１８から除去され得、参照フレームとしてもはや使用されないことになることを確認応答する確認応答が、ビデオ・エンコーダ４０４及び／又はストリーム・サーバから受信され得る。上述のように、これは、クライアント・デバイスによる除去のために要求された、又は、たとえば、ビデオ・エンコーダ４０４による除去のために選択された、１つ又は複数のフレームを含むことができる。少なくとも１つの実施例では、ビデオ・エンコーダ４０４（又は他の責任を負う又は監視構成要素）は、確認されたフレームが、クライアント・デバイスから要求を受信することなしにバッファから除去されるべきであることを命令することができる。少なくとも１つの実施例では、後続のフレームのためのより良い圧縮最適化を可能にするために参照バッファ中のデータの多様性を最大にするために、バッファ中の別の確認されたフレームと最も類似しているフレームを除去するためになど、最も古いフレーム以外のフレームがバッファから除去され得る。様々な実施例では、ビデオ・エンコーダ４０４は、複数の受信側に送信されるべき複数のストリームを符号化し得、各ストリーム上で送出される進行フレームは、それらのデバイス上で利用可能な確認されたフレームに少なくとも部分的に依存し得る。いくつかの実施例では、ビデオ・エンコーダ上の著しい追加の処理要件を防ぐために、並びに参照バッファ４０６のサイズを制限するために、異なる参照フレームの最大数がビデオ・エンコーダによって使用されることを可能にされ得る。

【0027】

図５Ａは、様々な実施例による、実施され得る送信のためのデータ・ストリームを符号化するための例示的なプロセス５００を示す。この実例では、５０２において、シーケンス中の初期ビデオ・フレームがキー・フレームとして符号化される。これは、他のオプションの中でも、シーケンス全体中の第１のフレーム、又はシーン変化の後の第１のフレームであり得る。５０４において、この初期キー・フレームは、確認されたフレーム、すなわち、場合によっては後続のフレームのための参照フレームとして使用されることが可能であることが確認されたフレームとしてバッファされ得る。少なくとも１つの実施例では、少なくとも、現在、参照フレームとして使用されるべき他のフレームがないことがあり、確認又は確認応答が最初に受信されない限り、別のキー・フレームを送出することが望ましくないことがあるので、あらゆるキー・フレーム又はｉフレームが、参照フレームとして使用され得る確認されたフレームとして指定され得る。５０６において、このキー・フレームはまた、復号及び表示のために、クライアント・デバイス又は他のそのような受信側に送信され得る。

【0028】

５０８において、このシーケンス中の後続のフレームについて、バッファされたフレームからの確認されたフレームが、参照フレームとして使用するために決定、又は選択され得る。これは、たとえば、符号化されるべきフレームに関する最も小さい差分又は最小数の変化を生じることになる確認されたフレームを決定することを含むことができる。少なくとも１つの実施例では、これは、２つ又はそれ以上の差分を並列に決定することと、次いで、それらの差分の１つ又は複数の態様に少なくとも部分的に基づいて、確認されたフレームのうちの１つを選択することとを含み得る。次いで、５１０において、選択された参照フレームに関する差分データを使用して、次のフレームが符号化され得る。このフレームのためのデータは、シーケンスのための将来の参照フレームとしての潜在的使用のためにバッファに記憶され得る。５１４において、このフレームのための符号化されたデータはまた、現在のビデオ・シーケンスの一部として復号及び表示のためにクライアント・デバイスに送信され得る。このプロセス中、５１６において、クライアント・デバイス上のバッファに変化があったかどうかに関する決定が行われ得る。これは、たとえば、バッファ中の新しい確認されたフレームの、クライアント・デバイスからの確認応答、又はクライアント参照バッファからの１つ又は複数のフレームの除去の通知を受信することを含むことができる。ビデオ・エンコーダがクライアント・デバイスにクライアント参照バッファからフレームを除去するように命令し得る実施例では、これは、そのような命令の通知が送出されることを含み得る。バッファに変化がない場合、プロセスは続くことができる。クライアント参照バッファに変化がある場合、５１８において、ローカル・バッファに記憶されたフレーム・データは、現在、クライアント・デバイス上にバッファされ、シーケンス中の１つ又は複数の後続のフレームのための参照フレームとして働くために利用可能である、確認されたフレームを反映するためになど、（１つ又は複数の）変化を反映するために更新され得る。プロセスは、次いで、この更新されたバッファ・データに少なくとも部分的に基づいて続くことができる。

【0029】

図５Ｂは、様々な実施例による、実施され得るビデオ・データを復号及び表示するためのプロセス５５０を示す。この実例では、５５２において、受信、復号、及び表示された初期キー・フレームに後続するフレームなど、シーケンス中の次のビデオ・フレームのための、符号化されたデータが受信される。５５４において、このフレーム・データは、クライアント参照バッファに記憶された識別された参照フレーム（フレームが、参照フレームがないキー・フレームでない限り）のためのデータを使用して復号され得る。識別された参照フレームは、適切に受信及び復号されたこのシーケンス中の前のフレームを参照することができ、したがって、これらのフレーム間の差分ビデオ・データを使用して完全なビデオ・フレームを復号する目的で参照フレームとして働くことができる。５５６において、この正常に復号されたビデオ・フレームは、適切なディスプレイ要素を通した表示のためになど、提示のために提供され得る。５５８において、この正常に復号されたフレームのためのデータはまた、このシーケンス中の１つ又は複数の後続のフレームのための参照フレームとしての潜在的使用のためにクライアント参照バッファに記憶され得る。また、５６０において、フレームが正常に復号され、クライアント参照バッファに記憶され、潜在的参照フレームとして利用可能であることを示す、確認応答が送出され得る。このプロセス中、５６２において、クライアント参照バッファから１つ又は複数のフレームを除去するための決定が行われ得る。上述のように、この決定は、他のオプションの中でも、クライアント・デバイス、ビデオ・エンコーダ、又はリモート・サーバによって行われ得る。クライアント・デバイスが、少なくとも１つのフレームが除去されるべきであると決定した場合、５６４において、クライアント参照バッファから１つ又は複数を除去するための要求が、ビデオ・エンコーダ、或いは符号化プロセスを管理する構成要素又はサーバに送出され得る。要求は、（１つ又は複数の）フレームを指定するか、又はビデオ・エンコーダ（又は他の構成要素）が除去されるべき（１つ又は複数の）フレームを選択することを可能にすることができる。確認応答が受信されると、５６６において、（１つ又は複数の）指定されたフレームは、クライアント参照バッファから除去され得、シーケンス上の将来のフレームのための潜在的参照フレームとして使用するために利用不可能であることになる。上述のように、他の実施例では、ビデオ・エンコーダは、クライアント・デバイスからの要求に応答するのではなく、１つ又は複数のフレームがクライアント・バッファから除去されることを命令し得る。プロセスは、次いで、クライアント参照バッファ中の現在フレームを使用して続くことができる。

【0030】

説明されたように、本明細書で提示される様々な手法は、パーソナル・コンピュータ又はゲーミング・コンソールなどのクライアント・デバイス上でリアルタイムで実行するのに十分軽量である。そのような処理は、少なくとも１つのネットワークを介して受信されるストリーミング・コンテンツなど、そのクライアント・デバイス上で生成されたか又は外部ソースから受信されたコンテンツに対して実施され得る。ソースは、他のオプションの中でも、ゲーム・ホスト、ストリーミング・メディア・プロバイダ、サード・パーティ・コンテンツ・プロバイダ、又は他のクライアント・デバイスなど、任意の適切なソースであり得る。いくつかの事例では、このコンテンツの処理及び／又はレンダリングは、これらの他のデバイス、システム、又はエンティティのうちの１つによって実施され、次いで、提示又は別のそのような用途のためにクライアント・デバイス（又は別のそのような受信側）に提供され得る。

【0031】

一実例として、図６は、コンテンツを提供、生成、修正、符号化、及び／又は送信するために使用され得る例示的なネットワーク構成６００を示す。少なくとも１つの実施例では、クライアント・デバイス６０２が、クライアント・デバイス６０２上のコンテンツ・アプリケーション６０４の構成要素と、そのクライアント・デバイスにローカルに記憶されたデータとを使用するセッションのためのコンテンツを生成又は受信することができる。少なくとも１つの実施例では、コンテンツ・サーバ６２０（たとえば、クラウド・サーバ又はエッジ・サーバ）上で実行しているコンテンツ・アプリケーション６２４（たとえば、画像生成又は編集アプリケーション）が、セッション・マネージャとユーザ・データベース６３４に記憶されたユーザ・データとを利用し得るような、少なくともクライアント・デバイス６０２に関連付けられたセッションを始動し得、コンテンツ６３２がコンテンツ・マネージャ６２６によって決定されることを引き起こすことができる。アニメーション又はゲーミング・アプリケーションに関係し得るような、シーン生成モジュール６２８が、提供されることを決定されたコンテンツを生成又は取得し得、そのコンテンツの少なくとも一部分は、このタイプのコンテンツ又はプラットフォームのために必要とされる場合、レンダリング・エンジンを使用してレンダリングされ、ダウンロード、ストリーミング、又は別のそのような送信チャネルによって送出するために適切な送信マネージャ６２２を使用してクライアント・デバイス６０２に送信される必要があり得る。クライアント・デバイス６０２に送信する前にこのデータを符号化及び／又は圧縮するために、エンコーダ６３０が使用され得る。少なくとも１つの実施例では、このコンテンツ６３２は、シーンについてのビデオ又は画像データを含むことができる。少なくとも１つの実施例では、このコンテンツを受信するクライアント・デバイス６０２は、このコンテンツを対応するコンテンツ・アプリケーション６０４に提供することができ、コンテンツ・アプリケーション６０４は、同じく又は代替的に、提示のためにこのコンテンツの少なくとも一部をレンダリングするためのシーン生成モジュール又はレンダリング・エンジン６１２（必要な場合）を含み得る。ディスプレイ６０６を通した画像又はビデオ・コンテンツ、並びに、スピーカー又はヘッドフォンなどの少なくとも１つのオーディオ再生デバイス６０８を通した音及び音楽などのオーディオなど、クライアント・デバイス６０２を介した提示のために（１つ又は複数の）ネットワーク６４０を介して受信されたデータを復号するために、デコーダ６１４も使用され得る。少なくとも１つの実施例では、このコンテンツの少なくとも一部がすでに、そのコンテンツが前にダウンロードされたか或いはハード・ドライブ又は光ディスク上にローカルに記憶されていることがある場合など、ネットワーク６４０を介した送信がコンテンツの少なくともその部分のために必要とされないように、クライアント・デバイス６０２に記憶されるか、クライアント・デバイス６０２上でレンダリングされるか、又はクライアント・デバイス６０２にとってアクセス可能であり得る。少なくとも１つの実施例では、このコンテンツを、サーバ６２０、又はコンテンツ・データベース６３４から、クライアント・デバイス６０２に転送するために、データ・ストリーミングなどの送信機構が使用され得る。少なくとも１つの実施例では、このコンテンツの少なくとも一部分が、コンテンツを生成又は提供するためのコンテンツ・アプリケーション６６２をも含み得るサード・パーティ・コンテンツ・サービス６６０など、別のソースから取得されるか又はストリーミングされ得る。少なくとも１つの実施例では、この機能性の部分は、複数のコンピューティング・デバイスを使用して、又は、ＣＰＵとＧＰＵとの組合せを含み得るものなど、１つ又は複数のコンピューティング・デバイス内の複数のプロセッサを使用して、実施され得る。

【0032】

少なくとも１つの実施例では、コンテンツ・アプリケーション６２４は、コンテンツがクライアント・デバイス６０２に送信される前にこのコンテンツを決定又は分析することができるコンテンツ・マネージャ６２６を含む。少なくとも１つの実施例では、コンテンツ・マネージャ６２６はまた、提供されるべきコンテンツを生成するか、修正するか、符号化するか、又は向上させることが可能である他の構成要素を含むか、或いはそれとともに動作することができる。少なくとも１つの実施例では、これは、どのフレームが参照フレームとして働くために利用可能であるかを決定することを含むか、又は符号化されるべき特定のフレームのための参照フレームを選択することができる。少なくとも１つの実施例では、画像、ビデオ、又は他のメディア・コンテンツを生成するために、画像、ビデオ、又はシーン生成構成要素６２８が使用され得る。少なくとも１つの実施例では、コンテンツ・マネージャ６２６は、選択及び符号化されたコンテンツがクライアント・デバイス６０２に送信されることを引き起こすことができる。少なくとも１つの実施例では、クライアント・デバイス６０２上のコンテンツ・アプリケーション６０４は、この機能性のいずれか又はすべてが、追加又は代替として、クライアント・デバイス６０２上で実施され得るように、レンダリング・エンジン、或いは画像又はビデオ・デコーダ６１４などの構成要素をも含み得る。少なくとも１つの実施例では、サード・パーティ・コンテンツ・サービス・システム６６０上のコンテンツ・アプリケーション６６２も、そのような機能性を含むことができる。少なくとも１つの実施例では、この機能性の少なくとも一部が実施されるロケーションが、構成可能であり得るか、或いは他のファクタの中でも、クライアント・デバイス６０２のタイプ、又は適切な帯域幅をもつネットワーク接続の利用可能性など、ファクタに依存し得る。少なくとも１つの実施例では、コンテンツ生成のためのシステムが、１つ又は複数のロケーションにおけるハードウェアとソフトウェアとの任意の適切な組合せを含むことができる。少なくとも１つの実施例では、１つ又は複数の解像度の生成された画像又はビデオ・コンテンツがまた、その画像又はビデオ・コンテンツのコピーを記憶するメディア・ソースからのダウンロード又はストリーミングのためになど、他のクライアント・デバイス６５０に提供されるか又は利用可能にされ得る。少なくとも１つの実施例では、これは、マルチプレーヤ・ゲームのためのゲーム・コンテンツの画像を送信することを含み得、異なるクライアント・デバイスが、１つ又は複数の超解像を含む、異なる解像度においてそのコンテンツを表示し得る。

【0033】

この実例では、これらのクライアント・デバイスは、デスクトップ・コンピュータ、ノートブック・コンピュータ、セット・トップ・ボックス、ストリーミング・デバイス、ゲーミング・コンソール、スマートフォン、タブレット・コンピュータ、ＶＲヘッドセット、ＡＲゴーグル、ウェアラブル・コンピュータ、又はスマート・テレビジョンを含み得るような、任意の適切なコンピューティング・デバイスを含むことができる。各クライアント・デバイスは、他のオプションの中でも、インターネット、イーサネット、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、又はセルラー・ネットワークを含み得るような、少なくとも１つのワイヤード又はワイヤレス・ネットワークにわたって要求をサブミットすることができる。この実例では、これらの要求は、データ・センタ又はサーバ・ファームを含み得るものなど、クラウド・プロバイダ環境における１つ又は複数の電子リソースを動作させるか又は制御し得る、クラウド・プロバイダに関連付けられたアドレスにサブミットされ得る。少なくとも１つの実施例では、要求は、ネットワーク・エッジ上に位置し、クラウド・プロバイダ環境に関連付けられた少なくとも１つのセキュリティ層の外側にある、少なくとも１つのエッジ・サーバによって受信されるか又は処理され得る。このようにして、クライアント・デバイスが、より近接しているサーバと対話することを可能にしながら、クラウド・プロバイダ環境におけるリソースのセキュリティをも改善することによって、レイテンシが低減され得る。

【0034】

少なくとも１つの実施例では、そのようなシステムは、グラフィカル・レンダリング動作を実施するために使用され得る。他の実施例では、そのようなシステムは、自律機械アプリケーションをテスト又は検証するために画像又はビデオ・コンテンツを提供するために、或いは深層学習動作を実施するためになど、他の目的のために使用され得る。少なくとも１つの実施例では、そのようなシステムは、エッジ・デバイスを使用して実装され得るか、又は、１つ又は複数の仮想機械（ＶＭ：Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）を組み込み得る。少なくとも１つの実施例では、そのようなシステムは、少なくとも部分的にデータ・センタにおいて、又は少なくとも部分的にクラウド・コンピューティング・リソースを使用して、実装され得る。

【0035】

推論及び訓練論理
図７Ａは、１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために使用される推論及び／又は訓練論理７１５を示す。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。

【0036】

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層を構成するための順方向及び／若しくは出力の重み及び／又は入力／出力データ、並びに／或いは他のパラメータを記憶するためのコード及び／又はデータ・ストレージ７０１を含み得る。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０１を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０１において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの順方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。

【0037】

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１は、キャッシュ・メモリ、動的なランダムにアドレス指定可能なメモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、静的なランダムにアドレス指定可能なメモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はコード及び／又はデータ・ストレージ７０１が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。

【0038】

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、１つ又は複数の実施例の態様において推論するために訓練及び／又は使用されるニューラル・ネットワークのニューロン又は層に対応する逆方向及び／若しくは出力の重み及び／又は入力／出力データを記憶するためのコード及び／又はデータ・ストレージ７０５を含み得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、１つ又は複数の実施例の態様を使用する訓練及び／又は推論中の入力／出力データ及び／又は重みパラメータの逆方向伝搬中に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも１つの実施例では、訓練論理７１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ７０５を含むか、又はそれに結合され得、コード及び／又はデータ・ストレージ７０５において、整数及び／又は浮動小数点ユニット（総称して、算術論理ユニット（ＡＬＵ））を含む論理を構成するために、重み及び／又は他のパラメータ情報がロードされるべきである。少なくとも１つの実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づいて、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５の任意の部分は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路の内部又は外部にあり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０５が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。

【0039】

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、同じストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５とは、部分的に同じストレージ構造であり、部分的に別個のストレージ構造であり得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。

【0040】

少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、訓練及び／又は推論コード（たとえば、グラフ・コード）に少なくとも部分的に基づく、又はそれによって示される論理演算及び／又は数学演算を実施するための、整数及び／又は浮動小数点ユニットを含む、１つ又は複数の算術論理ユニット（「ＡＬＵ」）７１０を含み得、その結果が、アクティブ化ストレージ７２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層又はニューロンからの出力値）を作り出し得、これらのアクティブ化は、コード及び／又はデータ・ストレージ７０１並びに／或いはコード及び／又はデータ・ストレージ７０５に記憶される入力／出力及び／又は重みパラメータ・データの関数である。少なくとも１つの実施例では、アクティブ化ストレージ７２０に記憶されるアクティブ化は、命令又は他のコードを実施したことに応答して（１つ又は複数の）ＡＬＵ７１０によって実施される線形代数及び又は行列ベースの数学に従って生成され、コード及び／又はデータ・ストレージ７０５並びに／或いはコード及び／又はデータ・ストレージ７０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、或いは他のパラメータ又はハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ７０５又はコード及び／若しくはデータ・ストレージ７０１、或いはオンチップ又はオフチップの別のストレージに記憶され得る。

【0041】

少なくとも１つの実施例では、（１つ又は複数の）ＡＬＵ７１０は、１つ又は複数のプロセッサ或いは他のハードウェア論理デバイス又は回路内に含まれるが、別の実施例では、（１つ又は複数の）ＡＬＵ７１０は、それらを使用するプロセッサ或いは他のハードウェア論理デバイス又は回路（たとえば、コプロセッサ）の外部にあり得る。少なくとも１つの実施例では、ＡＬＵ７１０は、プロセッサの実行ユニット内に含まれるか、或いはさもなければ、同じプロセッサ内にあるか又は異なるタイプの異なるプロセッサ（たとえば、中央処理ユニット、グラフィックス処理ユニット、固定機能ユニットなど）間で分散されているかのいずれかであるプロセッサの実行ユニットによってアクセス可能なＡＬＵのバンク内に含まれ得る。少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１と、コード及び／又はデータ・ストレージ７０５と、アクティブ化ストレージ７２０とは、同じプロセッサ或いは他のハードウェア論理デバイス又は回路上にあり得るが、別の実施例では、それらは、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路中にあるか、或いは、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せ中にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３キャッシュ或いはシステム・メモリを含む、他のオンチップ又はオフチップ・データ・ストレージとともに含められ得る。さらに、推論及び／又は訓練コードが、プロセッサ或いは他のハードウェア論理又は回路にアクセス可能な他のコードとともに記憶され、プロセッサのフェッチ、復号、スケジューリング、実行、退去（ｒｅｔｉｒｅｍｅｎｔ）及び／又は他の論理回路を使用してフェッチ及び／又は処理され得る。

【0042】

少なくとも１つの実施例では、アクティブ化ストレージ７２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０は、完全に又は部分的に、１つ又は複数のプロセッサ又は他の論理回路内にあるか、又はその外部にあり得る。少なくとも１つの実施例では、アクティブ化ストレージ７２０が、たとえばプロセッサの内部にあるのか外部にあるのか、或いは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ又は何らかの他のストレージ・タイプからなるかどうかの選定が、利用可能なストレージ、オンチップ対オフチップ、実施されている訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練において使用されるデータのバッチ・サイズ、或いはこれらのファクタの何らかの組合せに依存し得る。少なくとも１つの実施例では、図７ａに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（「ＡＳＩＣ」：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）と併せて使用され得る。少なくとも１つの実施例では、図７ａに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（「ＣＰＵ」：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、グラフィックス処理ユニット（「ＧＰＵ」：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの他のハードウェアと併せて使用され得る。

【0043】

図７ｂは、少なくとも１つ又は複数の実施例による、推論及び／又は訓練論理７１５を示す。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、ハードウェア論理を含み得、このハードウェア論理において、算出リソース（ｃｏｍｐｕｔａｔｉｏｎａｌ ｒｅｓｏｕｒｃｅ）が専用であるか、或いはさもなければ、ニューラル・ネットワーク内のニューロンの１つ又は複数の層に対応する重み値又は他の情報と併せてのみ使用される。少なくとも１つの実施例では、図７ｂに示されている推論及び／又は訓練論理７１５は、ＧｏｏｇｌｅからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はＩｎｔｅｌ ＣｏｒｐからのＮｅｒｖａｎａ（登録商標）（たとえば、「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなど、特定用途向け集積回路（ＡＳＩＣ）と併せて使用され得る。少なくとも１つの実施例では、図７ｂに示されている推論及び／又は訓練論理７１５は、中央処理ユニット（ＣＰＵ）ハードウェア、グラフィックス処理ユニット（ＧＰＵ）ハードウェア、又は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの他のハードウェアと併せて使用され得る。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、限定はしないが、コード及び／又はデータ・ストレージ７０１とコード及び／又はデータ・ストレージ７０５とを含み、それらは、コード（たとえば、グラフ・コード）、重み値、並びに／或いは、バイアス値、勾配情報、運動量値、及び／又は他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶するために使用され得る。図７ｂに示されている少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５の各々は、それぞれ、算出ハードウェア７０２及び算出ハードウェア７０６など、専用算出リソースに関連付けられる。少なくとも１つの実施例では、算出ハードウェア７０２及び算出ハードウェア７０６の各々は、線形代数関数などの数学関数を、それぞれコード及び／又はデータ・ストレージ７０１並びにコード及び／又はデータ・ストレージ７０５に記憶された情報に対してのみ実施する１つ又は複数のＡＬＵを備え、その結果が、アクティブ化ストレージ７２０に記憶される。

【0044】

少なくとも１つの実施例では、コード及び／又はデータ・ストレージ７０１及び７０５の各々と、対応する算出ハードウェア７０２及び７０６とは、それぞれ、ニューラル・ネットワークの異なる層に対応し、それにより、コード及び／又はデータ・ストレージ７０１と算出ハードウェア７０２との１つの「ストレージ／算出ペア７０１／７０２」から生じたアクティブ化は、ニューラル・ネットワークの概念的組織化をミラーリングするために、コード及び／又はデータ・ストレージ７０５と算出ハードウェア７０６との「ストレージ／算出ペア７０５／７０６」への入力として提供される。少なくとも１つの実施例では、ストレージ／算出ペア７０１／７０２及び７０５／７０６の各々は、２つ以上のニューラル・ネットワーク層に対応し得る。少なくとも１つの実施例では、ストレージ算出ペア７０１／７０２及び７０５／７０６の後に、又はそれらと並列に、追加のストレージ／算出ペア（図示せず）が、推論及び／又は訓練論理７１５中に含められ得る。

【0045】

データ・センタ
図８は、少なくとも１つの実施例が使用され得る例示的なデータ・センタ８００を示す。少なくとも１つの実施例では、データ・センタ８００は、データ・センタ・インフラストラクチャ層８１０と、フレームワーク層８２０と、ソフトウェア層８３０と、アプリケーション層８４０とを含む。

【0046】

少なくとも１つの実施例では、図８に示されているように、データ・センタ・インフラストラクチャ層８１０は、リソース・オーケストレータ８１２と、グループ化されたコンピューティング・リソース８１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」：ｎｏｄｅ ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ）８１６（１）～８１６（Ｎ）とを含み得、ここで、「Ｎ」は、任意のすべての正の整数を表す。少なくとも１つの実施例では、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）は、限定はしないが、任意の数の中央処理ユニット（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・デバイス（たとえば、動的読取り専用メモリ）、ストレージ・デバイス（たとえば、ソリッド・ステート又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」）、電力モジュール、及び冷却モジュールなどを含み得る。少なくとも１つの実施例では、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）の中からの１つ又は複数のノードＣ．Ｒ．は、上述のコンピューティング・リソースのうちの１つ又は複数を有するサーバであり得る。

【0047】

少なくとも１つの実施例では、グループ化されたコンピューティング・リソース８１４は、１つ又は複数のラック（図示せず）内に格納されたノードＣ．Ｒ．の別個のグループ化、又は様々な地理的ロケーション（同じく図示せず）においてデータ・センタ中に格納された多くのラックを含み得る。グループ化されたコンピューティング・リソース８１４内のノードＣ．Ｒ．の別個のグループ化は、１つ又は複数のワークロードをサポートするように構成されるか又は割り振られ得る、グループ化されたコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含み得る。少なくとも１つの実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のワークロードをサポートするためのコンピュート・リソースを提供するために１つ又は複数のラック内でグループ化され得る。少なくとも１つの実施例では、１つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及びネットワーク・スイッチを、任意の組合せで含み得る。

【0048】

少なくとも１つの実施例では、リソース・オーケストレータ８１２は、１つ又は複数のノードＣ．Ｒ．８１６（１）～８１６（Ｎ）及び／又はグループ化されたコンピューティング・リソース８１４を構成するか、又はさもなければ、制御し得る。少なくとも１つの実施例では、リソース・オーケストレータ８１２は、データ・センタ８００のためのソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含み得る。少なくとも１つの実施例では、リソース・オーケストレータは、ハードウェア、ソフトウェア、又はそれらの何らかの組合せを含み得る。

【0049】

少なくとも１つの実施例では、図８に示されているように、フレームワーク層８２０は、ジョブ・スケジューラ８２２と、構成マネージャ８２４と、リソース・マネージャ８２６と、分散型ファイル・システム８２８とを含む。少なくとも１つの実施例では、フレームワーク層８２０は、ソフトウェア層８３０のソフトウェア８３２、及び／又はアプリケーション層８４０の１つ又は複数のアプリケーション８４２をサポートするためのフレームワークを含み得る。少なくとも１つの実施例では、ソフトウェア８３２又は（１つ又は複数の）アプリケーション８４２は、それぞれ、アマゾン・ウェブ・サービス、Ｇｏｏｇｌｅ Ｃｌｏｕｄ、及びＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含み得る。少なくとも１つの実施例では、フレームワーク層８２０は、限定はしないが、大規模データ処理（たとえば、「ビッグ・データ」）のために分散型ファイル・システム８２８を利用し得るＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）など、無料でオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークのタイプであり得る。少なくとも１つの実施例では、ジョブ・スケジューラ８２２は、データ・センタ８００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。少なくとも１つの実施例では、構成マネージャ８２４は、ソフトウェア層８３０、並びに大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム８２８を含むフレームワーク層８２０など、異なる層を構成することが可能であり得る。少なくとも１つの実施例では、リソース・マネージャ８２６は、分散型ファイル・システム８２８及びジョブ・スケジューラ８２２をサポートするようにマッピングされたか又は割り振られた、クラスタ化された又はグループ化されたコンピューティング・リソースを管理することが可能であり得る。少なくとも１つの実施例では、クラスタ化された又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層８１０において、グループ化されたコンピューティング・リソース８１４を含み得る。少なくとも１つの実施例では、リソース・マネージャ８２６は、リソース・オーケストレータ８１２と協調して、これらのマッピングされた又は割り振られたコンピューティング・リソースを管理し得る。

【0050】

少なくとも１つの実施例では、ソフトウェア層８３０中に含まれるソフトウェア８３２は、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）、グループ化されたコンピューティング・リソース８１４、及び／又はフレームワーク層８２０の分散型ファイル・システム８２８の少なくとも部分によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、限定はしないが、インターネット・ウェブ・ページ検索ソフトウェアと、電子メール・ウイルス・スキャン・ソフトウェアと、データベース・ソフトウェアと、ストリーミング・ビデオ・コンテンツ・ソフトウェアとを含み得る。

【0051】

少なくとも１つの実施例では、アプリケーション層８４０中に含まれる（１つ又は複数の）アプリケーション８４２は、ノードＣ．Ｒ．８１６（１）～８１６（Ｎ）、グループ化されたコンピューティング・リソース８１４、及び／又はフレームワーク層８２０の分散型ファイル・システム８２８の少なくとも部分によって使用される１つ又は複数のタイプのアプリケーションを含み得る。１つ又は複数のタイプのアプリケーションは、限定はしないが、任意の数のゲノミクス・アプリケーション、コグニティブ・コンピュート、及び、訓練又は推論ソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）を含む、機械学習アプリケーション、又は、１つ又は複数の実施例と併せて使用される他の機械学習アプリケーションを含み得る。

【0052】

少なくとも１つの実施例では、構成マネージャ８２４、リソース・マネージャ８２６、及びリソース・オーケストレータ８１２のいずれかが、任意の技術的に実現可能な様式で獲得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正アクションを実装し得る。少なくとも１つの実施例では、自己修正アクションは、データ・センタ８００のデータ・センタ・オペレータを、不良の恐れのある構成を判定し、十分に利用されていない及び／又は性能の低いデータ・センタの部分を場合によっては回避することから解放し得る。

【0053】

少なくとも１つの実施例では、データ・センタ８００は、１つ又は複数の機械学習モデルを訓練するか、或いは、本明細書で説明される１つ又は複数の実施例による１つ又は複数の機械学習モデルを使用して情報を予測又は推論するためのツール、サービス、ソフトウェア又は他のリソースを含み得る。たとえば、少なくとも１つの実施例では、機械学習モデルは、データ・センタ８００に関して上記で説明されたソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練され得る。少なくとも１つの実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練された機械学習モデルは、本明細書で説明される１つ又は複数の訓練技法を通して計算された重みパラメータを使用することによって、データ・センタ８００に関して上記で説明されたリソースを使用して、情報を推論又は予測するために使用され得る。

【0054】

少なくとも１つの実施例では、データ・センタは、上記で説明されたリソースを使用して訓練及び／又は推論を実施するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用し得る。その上、上記で説明された１つ又は複数のソフトウェア及び／又はハードウェア・リソースは、画像認識、音声認識、又は他の人工知能サービスなど、ユーザが、情報を訓練するか又は情報の推論を実施することを可能にするためのサービスとして構成され得る。

【0055】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図８のシステムにおいて使用され得る。

【0056】

そのような構成要素は、アップスケールされた解像度と、低減されたアーティファクト存在と、視覚的品質向上とを伴う画像又はビデオ・コンテンツなど、向上されたコンテンツを生成するために使用され得る。

【0057】

コンピュータ・システム
図９は、例示的なコンピュータ・システムを示すブロック図であり、例示的なコンピュータ・システムは、少なくとも１つの実施例による、命令を実行するための実行ユニットを含み得るプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳＯＣ：ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）又はそれらの何らかの組合せをもつシステム９００であり得る。少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、本明細書で説明される実施例などにおいて、本開示による、プロセス・データのためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ９０２などの構成要素を含み得る。少なくとも１つの実施例では、コンピュータ・システム９００は、カリフォルニア州サンタ・クララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含み得るが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含む）他のシステムも使用され得る。少なくとも１つの実施例では、コンピュータ・システム９００は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＷＩＮＤＯＷＳ（登録商標）オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースも使用され得る。

【0058】

実施例は、ハンドヘルド・デバイス及び組み込みアプリケーションなど、他のデバイスにおいて使用され得る。ハンドヘルド・デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、及びハンドヘルドＰＣを含む。少なくとも１つの実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋ ｃｏｍｐｕｔｅｒ）、セット・トップ・ボックス、ネットワーク・ハブ、ワイド・エリア・ネットワーク（「ＷＡＮ」：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）スイッチ、又は少なくとも１つの実施例による１つ又は複数の命令を実施し得る任意の他のシステムを含み得る。

【0059】

少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、プロセッサ９０２を含み得、プロセッサ９０２は、限定はしないが、本明細書で説明される技法による機械学習モデル訓練及び／又は推論を実施するための１つ又は複数の実行ユニット９０８を含み得る。少なくとも１つの実施例では、コンピュータ・システム９００は、シングル・プロセッサ・デスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム９００は、マルチプロセッサ・システムであり得る。少なくとも１つの実施例では、プロセッサ９０２は、限定はしないが、複合命令セット・コンピュータ（「ＣＩＳＣ」：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｉｎｇ）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は、たとえばデジタル信号プロセッサなど、任意の他のプロセッサ・デバイスを含み得る。少なくとも１つの実施例では、プロセッサ９０２は、プロセッサ・バス９１０に結合され得、プロセッサ・バス９１０は、プロセッサ９０２とコンピュータ・システム９００中の他の構成要素との間でデータ信号を送信し得る。

【0060】

少なくとも１つの実施例では、プロセッサ９０２は、限定はしないが、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）９０４を含み得る。少なくとも１つの実施例では、プロセッサ９０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有し得る。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ９０２の外部に存在し得る。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せをも含み得る。少なくとも１つの実施例では、レジスタ・ファイル９０６は、限定はしないが、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタを含む様々なレジスタに、異なるタイプのデータを記憶し得る。

【0061】

少なくとも１つの実施例では、限定はしないが、整数演算及び浮動小数点演算を実施するための論理を含む実行ユニット９０８も、プロセッサ９０２中に存在する。少なくとも１つの実施例では、プロセッサ９０２は、いくつかのマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）をも含み得る。少なくとも１つの実施例では、実行ユニット９０８は、パック命令セット９０９に対処するための論理を含み得る。少なくとも１つの実施例では、パック命令セット９０９を、命令を実行するための関連する回路要素とともに汎用プロセッサ９０２の命令セットに含めることによって、多くのマルチメディア・アプリケーションによって使用される演算が、汎用プロセッサ９０２中のパック・データを使用して実施され得る。１つ又は複数の実施例では、多くのマルチメディア・アプリケーションが、パック・データの演算を実施するためにプロセッサのデータ・バスの全幅を使用することによって加速され、より効率的に実行され得、これは、一度に１つのデータ要素ずつ１つ又は複数の演算を実施するために、プロセッサのデータ・バスにわたってより小さい単位のデータを転送する必要をなくし得る。

【0062】

少なくとも１つの実施例では、実行ユニット９０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用され得る。少なくとも１つの実施例では、コンピュータ・システム９００は、限定はしないが、メモリ９２０を含み得る。少なくとも１つの実施例では、メモリ９２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装され得る。少なくとも１つの実施例では、メモリ９２０は、プロセッサ９０２によって実行され得るデータ信号によって表される（１つ又は複数の）命令９１９及び／又はデータ９２１を記憶し得る。

【0063】

少なくとも１つの実施例では、システム論理チップが、プロセッサ・バス９１０及びメモリ９２０に結合され得る。少なくとも１つの実施例では、システム論理チップは、限定はしないが、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）９１６を含み得、プロセッサ９０２は、プロセッサ・バス９１０を介してＭＣＨ９１６と通信し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、命令及びデータ・ストレージのための、並びにグラフィックス・コマンド、データ及びテクスチャのストレージのための、高帯域幅メモリ経路９１８をメモリ９２０に提供し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、プロセッサ９０２と、メモリ９２０と、コンピュータ・システム９００中の他の構成要素との間でデータ信号をダイレクトし、プロセッサ・バス９１０と、メモリ９２０と、システムＩ／Ｏ９２２との間でデータ信号をブリッジし得る。少なくとも１つの実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供し得る。少なくとも１つの実施例では、ＭＣＨ９１６は、高帯域幅メモリ経路９１８を通してメモリ９２０に結合され得、グラフィックス／ビデオ・カード９１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）相互接続９１４を通してＭＣＨ９１６に結合され得る。

【0064】

少なくとも１つの実施例では、コンピュータ・システム９００は、ＭＣＨ９１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）９３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスである、システムＩ／Ｏ９２２を使用し得る。少なくとも１つの実施例では、ＩＣＨ９３０は、ローカルＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供し得る。少なくとも１つの実施例では、ローカルＩ／Ｏバスは、限定はしないが、周辺機器をメモリ９２０、チップセット、及びプロセッサ９０２に接続するための高速Ｉ／Ｏバスを含み得る。実例は、限定はしないが、オーディオ・コントローラ９２９と、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）９２８と、ワイヤレス・トランシーバ９２６と、データ・ストレージ９２４と、ユーザ入力及びキーボード・インターフェース９２５を含んでいるレガシーＩ／Ｏコントローラ９２３と、ユニバーサル・シリアル・バス（「ＵＳＢ」：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などのシリアル拡張ポート９２７と、ネットワーク・コントローラ９３４とを含み得る。データ・ストレージ９２４は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備え得る。

【0065】

少なくとも１つの実施例では、図９は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図９は、例示的なシステム・オン・チップ（「ＳｏＣ」）を示し得る。少なくとも１つの実施例では、デバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、コンピュータ・システム９００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ）相互接続を使用して相互接続される。

【0066】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図９のシステムにおいて使用され得る。

【0067】

そのような構成要素は、アップスケールされた解像度と、低減されたアーティファクト存在と、視覚的品質向上とを伴う画像又はビデオ・コンテンツなど、向上されたコンテンツを生成するために使用され得る。

【0068】

図１０は、少なくとも１つの実施例による、プロセッサ１０１０を利用するための電子デバイス１０００を示すブロック図である。少なくとも１つの実施例では、電子デバイス１０００は、たとえば、限定はしないが、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであり得る。

【0069】

少なくとも１つの実施例では、システム１０００は、限定はしないが、任意の好適な数又は種類の構成要素、周辺機器、モジュール、又はデバイスに通信可能に結合されたプロセッサ１０１０を含み得る。少なくとも１つの実施例では、プロセッサ１０１０は、１℃バス、システム管理バス（「ＳＭＢｕｓ」：Ｓｙｓｔｅｍ Ｍａｎａｇｅｍｅｎｔ Ｂｕｓ）、ロー・ピン・カウント（ＬＰＣ：Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス、シリアル周辺インターフェース（「ＳＰＩ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、高精細度オーディオ（「ＨＤＡ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ａｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：Ｓｅｒｉａｌ Ａｄｖａｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３）、又はユニバーサル非同期受信機／送信機（「ＵＡＲＴ」：Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなど、バス又はインターフェースを使用して結合した。少なくとも１つの実施例では、図１０は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、他の実施例では、図１０は、例示的なシステム・オン・チップ（「ＳｏＣ」）を示し得る。少なくとも１つの実施例では、図１０に示されているデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、図１０の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続される。

【0070】

少なくとも１つの実施例では、図１０は、ディスプレイ１０２４、タッチ・スクリーン１０２５、タッチ・パッド１０３０、ニア・フィールド通信ユニット（「ＮＦＣ」：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）１０４５、センサ・ハブ１０４０、熱センサ１０４６、エクスプレス・チップセット（「ＥＣ」：Ｅｘｐｒｅｓｓ Ｃｈｉｐｓｅｔ）１０３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：Ｔｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ）１０３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈ ｍｅｍｏｒｙ）１０２２、ＤＳＰ１０６０、ソリッド・ステート・ディスク（「ＳＳＤ」：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）又はハード・ディスク・ドライブ（「ＨＤＤ」：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのドライブ１０２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）１０５０、Ｂｌｕｅｔｏｏｔｈユニット１０５２、ワイヤレス・ワイド・エリア・ネットワーク・ユニット（「ＷＷＡＮ」：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）１０５６、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１０５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１０５４、及び／或いは、たとえばＬＰＤＤＲ３規格において実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１０１５を含み得る。これらの構成要素は、各々、任意の好適な様式で実装され得る。

【0071】

少なくとも１つの実施例では、上記で説明された構成要素を通して、他の構成要素がプロセッサ１０１０に通信可能に結合され得る。少なくとも１つの実施例では、加速度計１０４１と、周囲光センサ（「ＡＬＳ」：Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ）１０４２と、コンパス１０４３と、ジャイロスコープ１０４４とが、センサ・ハブ１０４０に通信可能に結合され得る。少なくとも１つの実施例では、熱センサ１０３９と、ファン１０３７と、キーボード１０４６と、タッチ・パッド１０３０とが、ＥＣ１０３５に通信可能に結合され得る。少なくとも１つの実施例では、スピーカー１０６３と、ヘッドフォン１０６４と、マイクロフォン（「ｍｉｃ」）１０６５とが、オーディオ・ユニット（「オーディオ・コーデック及びクラスｄアンプ」）１０６２に通信可能に結合され得、オーディオ・ユニット１０６２は、ＤＳＰ１０６０に通信可能に結合され得る。少なくとも１つの実施例では、オーディオ・ユニット１０６４は、たとえば、限定はしないが、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤ増幅器を含み得る。少なくとも１つの実施例では、ＳＩＭカード（「ＳＩＭ」）１０５７は、ＷＷＡＮユニット１０５６に通信可能に結合され得る。少なくとも１つの実施例では、ＷＬＡＮユニット１０５０及びＢｌｕｅｔｏｏｔｈユニット１０５２などの構成要素、並びにＷＷＡＮユニット１０５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｆｏｒｍ Ｆａｃｔｏｒ）において実装され得る。

【0072】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７ａ及び／又は図７ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５は、本明細書で説明されるニューラル・ネットワーク訓練動作、ニューラル・ネットワーク機能及び／又はアーキテクチャ、或いはニューラル・ネットワーク使用事例を使用して計算された重みパラメータに少なくとも部分的に基づいて、推論又は予測動作のために図１０のシステムにおいて使用され得る。

【0073】

そのような構成要素は、アップスケールされた解像度と、低減されたアーティファクト存在と、視覚的品質向上とを伴う画像又はビデオ・コンテンツなど、向上されたコンテンツを生成するために使用され得る。

【0074】

図１１は、少なくとも１つの実施例による、処理システムのブロック図である。少なくとも１つの実施例では、システム１１００は、１つ又は複数のプロセッサ１１０２と１つ又は複数のグラフィックス・プロセッサ１１０８とを含み、単一プロセッサ・デスクトップ・システム、マルチプロセッサ・ワークステーション・システム、或いは多数のプロセッサ１１０２又はプロセッサ・コア１１０７を有するサーバ・システムであり得る。少なくとも１つの実施例では、システム１１００は、モバイル・デバイス、ハンドヘルド・デバイス、又は組み込みデバイスにおいて使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。

【0075】

少なくとも１つの実施例では、システム１１００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディア・コンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、ハンドヘルド・ゲーム・コンソール、又はオンライン・ゲーム・コンソールを含むことができるか、或いはそれらの内部に組み込まれ得る。少なくとも１つの実施例では、システム１１００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス又はモバイル・インターネット・デバイスである。少なくとも１つの実施例では、処理システム１１００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、又は仮想現実デバイスなどのウェアラブル・デバイスを含むことができるか、それらと結合することができるか、又はそれらの内部に組み込まれ得る。少なくとも１つの実施例では、処理システム１１００は、１つ又は複数のプロセッサ１１０２と、１つ又は複数のグラフィックス・プロセッサ１１０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。

【0076】

少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、各々、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実施する命令を処理するための１つ又は複数のプロセッサ・コア１１０７を含む。少なくとも１つの実施例では、１つ又は複数のプロセッサ・コア１１０７の各々は、特定の命令セット１１０９を処理するように構成される。少なくとも１つの実施例では、命令セット１１０９は、複合命令セット・コンピューティング（ＣＩＳＣ：Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｉｎｇ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にし得る。少なくとも１つの実施例では、プロセッサ・コア１１０７は、各々、異なる命令セット１１０９を処理し得、命令セット１１０９は、他の命令セットのエミュレーションを容易にするための命令を含み得る。少なくとも１つの実施例では、プロセッサ・コア１１０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含み得る。

【0077】

少なくとも１つの実施例では、プロセッサ１１０２はキャッシュ・メモリ１１０４を含む。少なくとも１つの実施例では、プロセッサ１１０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ１１０２の様々な構成要素の間で共有される。少なくとも１つの実施例では、プロセッサ１１０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ：Ｌａｓｔ Ｌｅｖｅｌ Ｃａｃｈｅ））（図示せず）を使用し、外部キャッシュは、知られているキャッシュ・コヒーレンシ技法を使用してプロセッサ・コア１１０７の間で共有され得る。少なくとも１つの実施例では、追加として、レジスタ・ファイル１１０６がプロセッサ１１０２中に含まれ、レジスタ・ファイル１１０６は、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタ）を含み得る。少なくとも１つの実施例では、レジスタ・ファイル１１０６は、汎用レジスタ又は他のレジスタを含み得る。

【0078】

少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、アドレス、データ、又は制御信号などの通信信号を、プロセッサ１１０２とシステム１１００中の他の構成要素との間で送信するために、１つ又は複数のインターフェース・バス１１１０と結合される。少なくとも１つの実施例では、１つの実施例におけるインターフェース・バス１１１０は、ダイレクト・メディア・インターフェース（ＤＭＩ：Ｄｉｒｅｃｔ Ｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）バスのバージョンなどのプロセッサ・バスであり得る。少なくとも１つの実施例では、インターフェース１１１０は、ＤＭＩバスに限定されず、１つ又は複数の周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）、メモリ・バス、又は他のタイプのインターフェース・バスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１１０２は、統合されたメモリ・コントローラ１１１６と、プラットフォーム・コントローラ・ハブ１１３０とを含む。少なくとも１つの実施例では、メモリ・コントローラ１１１６は、メモリ・デバイスとシステム１１００の他の構成要素との間の通信を容易にし、プラットフォーム・コントローラ・ハブ（ＰＣＨ：ｐｌａｔｆｏｒｍ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）１１３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。

【0079】

少なくとも１つの実施例では、メモリ・デバイス１１２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとして働くのに好適な性能を有する何らかの他のメモリ・デバイスであり得る。少なくとも１つの実施例では、メモリ・デバイス１１２０は、１つ又は複数のプロセッサ１１０２がアプリケーション又はプロセスを実行するときの使用のためのデータ１１２２及び命令１１２１を記憶するために、システム１１００のためのシステム・メモリとして動作することができる。少なくとも１つの実施例では、メモリ・コントローラ１１１６はまた、随意の外部グラフィックス・プロセッサ１１１２と結合し、外部グラフィックス・プロセッサ１１１２は、グラフィックス動作及びメディア動作を実施するために、プロセッサ１１０２中の１つ又は複数のグラフィックス・プロセッサ１１０８と通信し得る。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、（１つ又は複数の）プロセッサ１１０２に接続することができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、モバイル電子デバイス又はラップトップ・デバイスの場合のような内部ディスプレイ・デバイス、或いは、ディスプレイ・インターフェース（たとえば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられた外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アプリケーション又は拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）アプリケーションにおいて使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を含むことができる。

【0080】

少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、周辺機器が高速Ｉ／Ｏバスを介してメモリ・デバイス１１２０及びプロセッサ１１０２に接続することを可能にする。少なくとも１つの実施例では、Ｉ／Ｏ周辺機器は、限定はしないが、オーディオ・コントローラ１１４６と、ネットワーク・コントローラ１１３４と、ファームウェア・インターフェース１１２８と、ワイヤレス・トランシーバ１１２６と、タッチ・センサ１１２５と、データ・ストレージ・デバイス１１２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）とを含む。少なくとも１つの実施例では、データ・ストレージ・デバイス１１２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又は周辺構成要素相互接続バス（たとえば、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ）などの周辺バスを介して、接続することができる。少なくとも１つの実施例では、タッチ・センサ１１２５は、タッチ・スクリーン・センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも１つの実施例では、ワイヤレス・トランシーバ１１２６は、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、或いは３Ｇ、４Ｇ、又はロング・ターム・エボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）トランシーバなどのモバイル・ネットワーク・トランシーバであり得る。少なくとも１つの実施例では、ファームウェア・インターフェース１１２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ：ｕｎｉｆｉｅｄ ｅｘｔｅｎｓｉｂｌｅ ｆｉｒｍｗａｒｅ ｉｎｔｅｒｆａｃｅ）であり得る。少なくとも１つの実施例では、ネットワーク・コントローラ１１３４は、ワイヤード・ネットワークへのネットワーク接続を可能にすることができる。少なくとも１つの実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス１１１０と結合する。少なくとも１つの実施例では、オーディオ・コントローラ１１４６は、マルチチャネル高精細度オーディオ・コントローラである。少なくとも１つの実施例では、システム１１００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２：Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ ２））デバイスをシステムに結合するための随意のレガシーＩ／Ｏコントローラ１１４０を含む。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、キーボードとマウス１１４３との組合せ、カメラ１１４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ１１４２接続入力デバイスにも接続することができる。

【0081】

少なくとも１つの実施例では、メモリ・コントローラ１１１６及びプラットフォーム・コントローラ・ハブ１１３０のインスタンスが、外部グラフィックス・プロセッサ１１１２などの慎重な外部グラフィックス・プロセッサに組み込まれ得る。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０及び／又はメモリ・コントローラ１１１６は、１つ又は複数のプロセッサ１１０２の外部にあり得る。たとえば、少なくとも１つの実施例では、システム１１００は、外部のメモリ・コントローラ１１１６とプラットフォーム・コントローラ・ハブ１１３０とを含むことができ、それらは、（１つ又は複数の）プロセッサ１１０２と通信しているシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺コントローラ・ハブとして構成され得る。

【0082】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７Ａ及び／又は図７Ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、グラフィックス・プロセッサ１５００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサにおいて具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサのＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0083】

そのような構成要素は、アップスケールされた解像度と、低減されたアーティファクト存在と、視覚的品質向上とを伴う画像又はビデオ・コンテンツなど、向上されたコンテンツを生成するために使用され得る。

【0084】

図１２は、少なくとも１つの実施例による、１つ又は複数のプロセッサ・コア１２０２Ａ～１２０２Ｎと、統合されたメモリ・コントローラ１２１４と、統合されたグラフィックス・プロセッサ１２０８とを有するプロセッサ１２００のブロック図である。少なくとも１つの実施例では、プロセッサ１２００は、破線ボックスによって表される追加コア１２０２Ｎまでの追加コアを含むことができる。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎの各々は、１つ又は複数の内部キャッシュ・ユニット１２０４Ａ～１２０４Ｎを含む。少なくとも１つの実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュド・ユニット１２０６へのアクセスを有する。

【0085】

少なくとも１つの実施例では、内部キャッシュ・ユニット１２０４Ａ～１２０４Ｎと共有キャッシュ・ユニット１２０６とは、プロセッサ１２００内のキャッシュ・メモリ階層を表す。少なくとも１つの実施例では、キャッシュ・メモリ・ユニット１２０４Ａ～１２０４Ｎは、各プロセッサ・コア内の命令及びデータ・キャッシュの少なくとも１つのレベル、及びレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含み得、ここで、外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも１つの実施例では、キャッシュ・コヒーレンシ論理は、様々なキャッシュ・ユニット１２０６及び１２０４Ａ～１２０４Ｎ間でコヒーレンシを維持する。

【0086】

少なくとも１つの実施例では、プロセッサ１２００は、１つ又は複数のバス・コントローラ・ユニット１２１６とシステム・エージェント・コア１２１０とのセットをも含み得る。少なくとも１つの実施例では、１つ又は複数のバス・コントローラ・ユニット１２１６は、１つ又は複数のＰＣＩ又はＰＣＩエクスプレス・バスなどの周辺バスのセットを管理する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、様々なプロセッサ構成要素のための管理機能性を提供する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合されたメモリ・コントローラ１２１４を含む。

【0087】

少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、マルチスレッド処理中にコア１２０２Ａ～１２０２Ｎを協調させ、動作させるための構成要素を含む。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、追加として、電力制御ユニット（ＰＣＵ：ｐｏｗｅｒ ｃｏｎｔｒｏｌ ｕｎｉｔ）を含み得、ＰＣＵは、プロセッサ・コア１２０２Ａ～１２０２Ｎ及びグラフィックス・プロセッサ１２０８の１つ又は複数の電力状態を調節するための論理及び構成要素を含む。

【0088】

少なくとも１つの実施例では、プロセッサ１２００は、追加として、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ１２０８を含む。少なくとも１つの実施例では、グラフィックス・プロセッサ１２０８は、共有キャッシュ・ユニット１２０６、及び１つ又は複数の統合されたメモリ・コントローラ１２１４を含むシステム・エージェント・コア１２１０と結合する。少なくとも１つの実施例では、システム・エージェント・コア１２１０は、１つ又は複数の結合されたディスプレイへのグラフィックス・プロセッサ出力を駆動するためのディスプレイ・コントローラ１２１１をも含む。少なくとも１つの実施例では、ディスプレイ・コントローラ１２１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ１２０８と結合された別個のモジュールであり得るか、又はグラフィックス・プロセッサ１２０８内に組み込まれ得る。

【0089】

少なくとも１つの実施例では、プロセッサ１２００の内部構成要素を結合するために、リング・ベースの相互接続ユニット１２１２が使用される。少なくとも１つの実施例では、ポイントツーポイント相互接続、切替え相互接続、又は他の技法などの代替相互接続ユニットが使用され得る。少なくとも１つの実施例では、グラフィックス・プロセッサ１２０８は、Ｉ／Ｏリンク１２１３を介してリング相互接続１２１２と結合する。

【0090】

少なくとも１つの実施例では、Ｉ／Ｏリンク１２１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール１２１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む、複数の種類のＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎの各々と、グラフィックス・プロセッサ１２０８とは、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール１２１８を使用する。

【0091】

少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ａｒｃｈｉｔｅｃｔｕｒｅ）という観点から異種であり、ここで、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数は、共通の命令セットを実行し、プロセッサ・コア１２０２Ａ～１２０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも１つの実施例では、プロセッサ・コア１２０２Ａ～１２０２Ｎは、マイクロアーキテクチャという観点から異種であり、ここで、電力消費量が比較的高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数の電力コアと結合する。少なくとも１つの実施例では、プロセッサ１２００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装され得る。

【0092】

１つ又は複数の実施例に関連する推論及び／又は訓練動作を実施するために、推論及び／又は訓練論理７１５が使用される。推論及び／又は訓練論理７１５に関する詳細は、図７ａ及び／又は図７ｂと併せて以下で提供される。少なくとも１つの実施例では、推論及び／又は訓練論理７１５の部分又はすべてが、プロセッサ１２００に組み込まれ得る。たとえば、少なくとも１つの実施例では、本明細書で説明される訓練及び／又は推論技法は、グラフィックス・プロセッサ１５１２、（１つ又は複数の）グラフィックス・コア１２０２Ａ～１２０２Ｎ、又は図１２中の他の構成要素において具体化されたＡＬＵのうちの１つ又は複数を使用し得る。その上、少なくとも１つの実施例では、本明細書で説明される推論及び／又は訓練動作は、図７Ａ又は図７Ｂに示されている論理以外の論理を使用して行われ得る。少なくとも１つの実施例では、重みパラメータは、本明細書で説明される１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、使用事例、又は訓練技法を実施するためのグラフィックス・プロセッサ１２００のＡＬＵを構成する（示されている又は示されていない）オンチップ又はオフチップ・メモリ及び／又はレジスタに記憶され得る。

【0093】

そのような構成要素は、アップスケールされた解像度と、低減されたアーティファクト存在と、視覚的品質向上とを伴う画像又はビデオ・コンテンツなど、向上されたコンテンツを生成するために使用され得る。

【0094】

仮想化されたコンピューティング・プラットフォーム
図１３は、少なくとも１つの実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス１３００のための例示的なデータ・フロー図である。少なくとも１つの実施例では、プロセス１３００は、１つ又は複数の施設１３０２において、撮像デバイス、処理デバイス、及び／又は他のデバイス・タイプとともに使用するために導入され得る。プロセス１３００は、訓練システム１３０４及び／又は導入システム１３０６内で実行され得る。少なくとも１つの実施例では、訓練システム１３０４は、導入システム１３０６における使用のための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装を実施するために使用され得る。少なくとも１つの実施例では、導入システム１３０６は、施設１３０２におけるインフラストラクチャ要件を低減するために、処理及びコンピュート・リソースを分散型コンピューティング環境の間でオフロードするように構成され得る。少なくとも１つの実施例では、パイプライン中の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム１３０６のサービス（たとえば、推論、視覚化、コンピュート、ＡＩなど）を使用するか、又はコールし得る。

【0095】

少なくとも１つの実施例では、先進処理及び推論パイプラインにおいて使用されるアプリケーションのいくつかは、１つ又は複数の処理ステップを実施するために機械学習モデル又は他のＡＩを使用し得る。少なくとも１つの実施例では、機械学習モデルは、施設１３０２において生成された（及び、施設１３０２において１つ又は複数のピクチャ・アーカイブ及び通信システム（ＰＡＣＳ：ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）サーバに記憶された）（撮像データなどの）データ１３０８を使用して、施設１３０２において訓練され得るか、（１つ又は複数の）別の施設からの撮像又はシーケンシング・データ１３０８を使用して訓練され得るか、或いはそれらの組合せであり得る。少なくとも１つの実施例では、訓練システム１３０４は、導入システム１３０６のための実用的で導入可能な機械学習モデルを生成するためのアプリケーション、サービス、及び／又は他のリソースを提供するために使用され得る。

【0096】

少なくとも１つの実施例では、モデル・レジストリ１３２４は、バージョン管理及び物体メタデータをサポートし得る物体ストレージによってバックアップされ得る。少なくとも１つの実施例では、物体ストレージは、たとえば、クラウド・プラットフォーム内から、クラウド・ストレージ（たとえば、図１４のクラウド１４２６）互換アプリケーション・プログラミング・インターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）を通してアクセス可能であり得る。少なくとも１つの実施例では、モデル・レジストリ１３２４内の機械学習モデルは、システムの開発者又はパートナーがＡＰＩと対話することによって、アップロード、リスト化、修正、又は削除され得る。少なくとも１つの実施例では、ＡＰＩは、適切な資格をもつユーザがモデルをアプリケーションに関連付けることを可能にする方法へのアクセスを提供し得、それにより、モデルは、アプリケーションのコンテナ化されたインスタンス化の実行の一部として実行され得る。

【0097】

少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）は、施設１３０２がそれ自体の機械学習モデルを訓練しているか、或いは、最適化又は更新される必要がある既存の機械学習モデルを有するシナリオを含み得る。少なくとも１つの実施例では、（１つ又は複数の）撮像デバイス、シーケンシング・デバイス、及び／又は他のデバイス・タイプによって生成された撮像データ１３０８が受信され得る。少なくとも１つの実施例では、撮像データ１３０８が受信されると、機械学習モデルについてのグランド・トゥルース・データとして使用されるべき撮像データ１３０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション１３１０が使用され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション１３１０は、１つ又は複数の機械学習モデル（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ））を含み得、１つ又は複数の機械学習モデルは、（たとえば、いくつかのデバイスからの）いくつかのタイプの撮像データ１３０８に対応するアノテーションを生成するように訓練され得る。少なくとも１つの実施例では、次いで、ＡＩ支援アノテーション１３１０は、グランド・トゥルース・データを生成するために、直接使用され得るか、或いは、アノテーション・ツールを使用して調整又は微調整され得る。少なくとも１つの実施例では、ＡＩ支援アノテーション１３１０、ラベル付きクリニック・データ１３１２、又はそれらの組合せが、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、訓練された機械学習モデルは出力モデル１３１６と呼ばれることがあり、本明細書で説明されるように、導入システム１３０６によって使用され得る。

【0098】

少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）は、施設１３０２が、導入システム１３０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とするが、施設１３０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）シナリオを含み得る。少なくとも１つの実施例では、既存の機械学習モデルが、モデル・レジストリ１３２４から選択され得る。少なくとも１つの実施例では、モデル・レジストリ１３２４は、撮像データに対して様々な異なる推論タスクを実施するように訓練された機械学習モデルを含み得る。少なくとも１つの実施例では、モデル・レジストリ１３２４中の機械学習モデルは、施設１３０２とは異なる施設（たとえば、離れた場所にある施設）からの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、機械学習モデルは、１つのロケーション、２つのロケーション、又は任意の数のロケーションからの撮像データに関して訓練されていることがある。少なくとも１つの実施例では、特定のロケーションからの撮像データに関して訓練されているとき、訓練は、そのロケーションにおいて行われ得るか、或いは少なくとも、撮像データの機密性を保護するか又は撮像データが構外へ転送されるのを制限する様式で、行われ得る。少なくとも１つの実施例では、１つのロケーションにおいてモデルが訓練されると、又は部分的に訓練されると、機械学習モデルはモデル・レジストリ１３２４に追加され得る。少なくとも１つの実施例では、次いで、機械学習モデルは、任意の数の他の施設において再訓練又は更新され得、再訓練又は更新されたモデルが、モデル・レジストリ１３２４において利用可能にされ得る。少なくとも１つの実施例では、次いで、機械学習モデルは、モデル・レジストリ１３２４から選択され得、出力モデル１３１６と呼ばれることがあり、導入システムの１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施するために導入システム１３０６において使用され得る。

【0099】

少なくとも１つの実施例では、訓練パイプライン１４０４（図１４）、シナリオは、施設１３０２が、導入システム１３０６中の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実施する際に使用するための機械学習モデルを必要とすることを含み得るが、施設１３０２は現在そのような機械学習モデルを有しないことがある（或いは、そのような目的のために最適化された、効率的な、又は有効なモデルを有しないことがある）。少なくとも１つの実施例では、モデル・レジストリ１３２４から選択された機械学習モデルは、母集団、機械学習モデルを訓練するために使用される訓練データのロバストネス、訓練データの異常の多様性、及び／又は訓練データに伴う他の問題における差異のために、施設１３０２において生成される撮像データ１３０８のために微調整又は最適化されないことがある。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用されるべき撮像データ１３０８に対応するアノテーションを生成するのを補助するために、ＡＩ支援アノテーション１３１０が使用され得る。少なくとも１つの実施例では、ラベル付きデータ１３１２が、機械学習モデルを訓練するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、機械学習モデルを再訓練又は更新することは、モデル訓練１３１４と呼ばれることがある。少なくとも１つの実施例では、モデル訓練１３１４、たとえばＡＩ支援アノテーション１３１０、ラベル付きクリニック・データ１３１２、又はそれらの組合せは、機械学習モデルを再訓練又は更新するためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、訓練された機械学習モデルは出力モデル１３１６と呼ばれることがあり、本明細書で説明されるように、導入システム１３０６によって使用され得る。

【0100】

少なくとも１つの実施例では、導入システム１３０６は、ソフトウェア１３１８、サービス１３２０、ハードウェア１３２２、並びに／又は他の構成要素、特徴、及び機能性を含み得る。少なくとも１つの実施例では、導入システム１３０６は、ソフトウェア「スタック」を含み得、それにより、ソフトウェア１３１８は、サービス１３２０の上に築かれ得、サービス１３２０を使用して処理タスクのいくつか又はすべてを実施し得、サービス１３２０及びソフトウェア１３１８は、ハードウェア１３２２の上に築かれ、ハードウェア１３２２を使用して、導入システム１３０６の処理、ストレージ、及び／又は他のコンピュート・タスクを実行し得る。少なくとも１つの実施例では、ソフトウェア１３１８は、任意の数の異なるコンテナを含み得、各コンテナは、アプリケーションのインスタンス化を実行し得る。少なくとも１つの実施例では、各アプリケーションは、先進処理及び推論パイプライン中の１つ又は複数の処理タスク（たとえば、推論、物体検出、特徴検出、セグメント化、画像強調、キャリブレーションなど）を実施し得る。少なくとも１つの実施例では、先進処理及び推論パイプラインは、（たとえば、使用可能なデータ・タイプに出力をコンバートするために）パイプラインを通して処理した後に、各コンテナによる使用及び／又は施設１３０２による使用のための撮像データを受信及び構成するコンテナに加えて、撮像データ１３０８を処理するために所望されるか又は必要とされる異なるコンテナの選択に基づいて、定義され得る。少なくとも１つの実施例では、（たとえば、パイプラインを作り上げる）ソフトウェア１３１８内のコンテナの組合せは、（本明細書でより詳細に説明されるように）仮想機器と呼ばれることがあり、仮想機器は、サービス１３２０及びハードウェア１３２２を活用して、コンテナにおいてインスタンス化されたアプリケーションのいくつか又はすべての処理タスクを実行し得る。

【0101】

少なくとも１つの実施例では、データ処理パイプラインは、推論要求（たとえば、導入システム１３０６のユーザからの要求）に応答して、特定のフォーマットで入力データ（たとえば、撮像データ１３０８）を受信し得る。少なくとも１つの実施例では、入力データは、１つ又は複数の撮像デバイスによって生成される１つ又は複数の画像、ビデオ、及び／又は他のデータ表現を表し得る。少なくとも１つの実施例では、データは、１つ又は複数のアプリケーションによる処理のためにデータを準備するために、データ処理パイプラインの一部としての事前処理を受け得る。少なくとも１つの実施例では、次のアプリケーションのための出力データを準備するために、並びに／或いは、（たとえば、推論要求への応答としての）ユーザによる送信及び／又は使用のための出力データを準備するために、パイプラインの１つ又は複数の推論タスク又は他の処理タスクの出力に対して後処理が実施され得る。少なくとも１つの実施例では、推論タスクは、訓練システム１３０４の出力モデル１３１６を含み得る、訓練された又は導入されたニューラル・ネットワークなど、１つ又は複数の機械学習モデルによって実施され得る。

【0102】

少なくとも１つの実施例では、データ処理パイプラインのタスクは、（１つ又は複数の）コンテナ中にカプセル化され得、（１つ又は複数の）コンテナは、各々、アプリケーションの個別の完全に機能的なインスタンス化と、機械学習モデルを参照することが可能である仮想化コンピューティング環境とを表す。少なくとも１つの実施例では、コンテナ又はアプリケーションは、（本明細書でより詳細に説明される）コンテナ・レジストリのプライベート（たとえば、アクセスの制限された）エリアに公開され得、訓練された又は導入されたモデルは、モデル・レジストリ１３２４に記憶され、１つ又は複数のアプリケーションに関連し得る。少なくとも１つの実施例では、アプリケーションの画像（たとえば、コンテナ画像）は、コンテナ・レジストリにおいて利用可能であり得、パイプラインにおける導入のためにユーザによってコンテナ・レジストリから選択されると、画像は、ユーザのシステムによる使用のためのアプリケーションのインスタンス化のためのコンテナを生成するために使用され得る。

【0103】

少なくとも１つの実施例では、開発者（たとえば、ソフトウェア開発者、臨床医、医師など）は、供給されたデータに対して画像処理及び／又は推論を実施するためのアプリケーションを（たとえばコンテナとして）開発、公開、及び記憶し得る。少なくとも１つの実施例では、開発、公開、及び／又は記憶は、（たとえば、開発されたアプリケーション及び／又はコンテナがシステムに準拠するか又はシステムと互換性があることを確実にするために）システムに関連するソフトウェア開発キット（ＳＤＫ：ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｋｉｔ）を使用して実施され得る。少なくとも１つの実施例では、開発されたアプリケーションは、システム（たとえば、図１４のシステム１４００）としてサービス１３２０のうちの少なくともいくつかをサポートし得るＳＤＫを用いて、ローカルに（たとえば、第１の施設において、第１の施設からのデータに対して）テストされ得る。少なくとも１つの実施例では、ＤＩＣＯＭ物体は、１つから数百個の画像又は他のデータ・タイプをどこにでも含んでいることがあるので、及びデータの変動により、開発者は、入って来るデータの抽出及び準備を管理すること（たとえば、アプリケーションのための構築物を設定すること、事前処理をアプリケーションに組み込むことなど）について責任を負うことがある。少なくとも１つの実施例では、システム１４００によって（たとえば、精度について）検証されると、アプリケーションは、ユーザの施設（たとえば、第２の施設）におけるデータに対して１つ又は複数の処理タスクを実施するために、ユーザによる選択及び／又は実装のためにコンテナ・レジストリにおいて利用可能になり得る。

【0104】

少なくとも１つの実施例では、次いで、開発者は、アプリケーション又はコンテナを、システム（たとえば、図１４のシステム１４００）のユーザによるアクセス及び使用のためにネットワークを通して共有し得る。少なくとも１つの実施例では、完成した及び検証されたアプリケーション又はコンテナは、コンテナ・レジストリに記憶され得、関連する機械学習モデルは、モデル・レジストリ１３２４に記憶され得る。少なくとも１つの実施例では、推論又は画像処理要求を提供する要求元エンティティは、アプリケーション、コンテナ、データセット、機械学習モデルなどについてコンテナ・レジストリ及び／又はモデル・レジストリ１３２４をブラウズし、データ処理パイプライン中に含めるための要素の所望の組合せを選択し、撮像処理要求をサブミットし得る。少なくとも１つの実施例では、要求は、要求を実施するために必要である入力データ（及び、いくつかの実例では、関連する患者データ）を含み得、並びに／或いは、要求を処理する際に実行されるべき（１つ又は複数の）アプリケーション及び／又は機械学習モデルの選択を含み得る。少なくとも１つの実施例では、次いで、要求は、データ処理パイプラインの処理を実施するために導入システム１３０６（たとえば、クラウド）の１つ又は複数の構成要素に渡され得る。少なくとも１つの実施例では、導入システム１３０６による処理は、コンテナ・レジストリ及び／又はモデル・レジストリ１３２４からの選択された要素（たとえば、アプリケーション、コンテナ、モデルなど）を参照することを含み得る。少なくとも１つの実施例では、パイプラインによって結果が生成されると、結果は、参照のために（たとえば、ローカルの、構内のワークステーション又は端末上で実行している視聴アプリケーション・スイートにおいて視聴するために）ユーザに返され得る。

【0105】

少なくとも１つの実施例では、パイプラインにおけるアプリケーション又はコンテナの処理又は実行を補助するために、サービス１３２０が活用され得る。少なくとも１つの実施例では、サービス１３２０は、コンピュート・サービス、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）サービス、視覚化サービス、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、サービス１３２０は、ソフトウェア１３１８中の１つ又は複数のアプリケーションに共通である機能性を提供し得、したがって、機能性は、アプリケーションによってコール又は活用され得るサービスに対して抽象化され得る。少なくとも１つの実施例では、サービス１３２０によって提供される機能性は、動的に及びより効率的に稼働し得、また、（たとえば、並列コンピューティング・プラットフォーム１４３０（図１４）を使用して）アプリケーションが並列にデータを処理することを可能にすることによって、良好にスケーリングし得る。少なくとも１つの実施例では、サービス１３２０によって与えられる同じ機能性を共有する各アプリケーションが、サービス１３２０のそれぞれのインスタンスを有することを必要とされるのではなく、サービス１３２０は、様々なアプリケーション間で及びそれらの間で共有され得る。少なくとも１つの実施例では、サービスは、非限定的な実例として、検出又はセグメント化タスクを実行するために使用され得る推論サーバ又はエンジンを含み得る。少なくとも１つの実施例では、機械学習モデル訓練及び／又は再訓練能力（ｃａｐａｂｉｌｉｔｙ）を提供し得るモデル訓練サービスが含まれ得る。少なくとも１つの実施例では、ＧＰＵ加速データ（たとえば、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）抽出、リサイジング、スケーリング、及び／又は他の拡張を提供し得るデータ拡張サービスがさらに含まれ得る。少なくとも１つの実施例では、２次元（２Ｄ：ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ）及び／又は３次元（３Ｄ：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）のモデルにリアル感を追加するために、レイ・トレーシング、ラスタ化、ノイズ除去、鮮鋭化などの画像レンダリング効果を追加し得る視覚化サービスが使用され得る。少なくとも１つの実施例では、仮想機器のパイプライン内の他のアプリケーションについてビーム形成、セグメント化、推論、撮像、及び／又はサポートを提供する仮想機器サービスが含まれ得る。

【0106】

少なくとも１つの実施例では、サービス１３２０がＡＩサービス（たとえば、推論サービス）を含む場合、１つ又は複数の機械学習モデルは、（１つ又は複数の）機械学習モデル、又はその処理を、アプリケーション実行の一部として実行するように推論サービス（たとえば、推論サーバ）を（たとえば、ＡＰＩコールとして）コールすることによって、実行され得る。少なくとも１つの実施例では、セグメント化タスクのための１つ又は複数の機械学習モデルを別のアプリケーションが含む場合、アプリケーションは、セグメント化タスクに関連する処理動作のうちの１つ又は複数を実施するための機械学習モデルを実行するように、推論サービスをコールし得る。少なくとも１つの実施例では、セグメント化アプリケーションと異常検出アプリケーションとを含む先進処理及び推論パイプラインを実装するソフトウェア１３１８は、１つ又は複数の推論タスクを実施するために各アプリケーションが同じ推論サービスをコールし得るので、合理化され得る。

【0107】

少なくとも１つの実施例では、ハードウェア１３２２は、ＧＰＵ、ＣＰＵ、グラフィックス・カード、ＡＩ／深層学習システム（たとえば、ＮＶＩＤＩＡのＤＧＸなどのＡＩスーパーコンピュータ）、クラウド・プラットフォーム、又はそれらの組合せを含み得る。少なくとも１つの実施例では、異なるタイプのハードウェア１３２２が、導入システム１３０６中のソフトウェア１３１８及びサービス１３２０の効率的で専用のサポートを提供するために使用され得る。少なくとも１つの実施例では、画像処理及び生成の効率、精度、及び有効性を改善するために、ＡＩ／深層学習システム内、クラウド・システム中、及び／又は導入システム１３０６の他の処理構成要素中で、ローカルで（たとえば、施設１３０２において）処理するためのＧＰＵ処理の使用が実装され得る。少なくとも１つの実施例では、ソフトウェア１３１８及び／又はサービス１３２０は、非限定的な実例として、深層学習、機械学習、及び／又は高性能コンピューティングに関するＧＰＵ処理のために最適化され得る。少なくとも１つの実施例では、導入システム１３０６及び／又は訓練システム１３０４のコンピューティング環境の少なくとも一部は、データセンタの１つ又は複数のスーパーコンピュータ又は高性能コンピューティング・システムにおいて、ＧＰＵ最適化ソフトウェア（たとえば、ＮＶＩＤＩＡのＤＧＸシステムのハードウェアとソフトウェアとの組合せ）を用いて実行され得る。少なくとも１つの実施例では、ハードウェア１３２２は、任意の数のＧＰＵを含み得、それらのＧＰＵは、本明細書で説明されるように、データの並列処理を実施するためにコールされ得る。少なくとも１つの実施例では、クラウド・プラットフォームは、深層学習タスク、機械学習タスク、又は他のコンピューティング・タスクのＧＰＵ最適化実行のためのＧＰＵ処理をさらに含み得る。少なくとも１つの実施例では、クラウド・プラットフォーム（たとえば、ＮＶＩＤＩＡのＮＧＣ）は、（たとえば、ＮＶＩＤＩＡのＤＧＸシステム上で提供される）（１つ又は複数の）ＡＩ／深層学習スーパーコンピュータ及び／又はＧＰＵ最適化ソフトウェアを、ハードウェア抽象化及びスケーリング・プラットフォームとして使用して、実行され得る。少なくとも１つの実施例では、クラウド・プラットフォームは、シームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵに対するアプリケーション・コンテナ・クラスタリング・システム又はオーケストレーション・システム（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を統合し得る。

【0108】

図１４は、少なくとも１つの実施例による、撮像導入パイプラインを生成及び導入するための例示的なシステム１４００のためのシステム図である。少なくとも１つの実施例では、システム１４００は、図１３のプロセス１３００、並びに／又は先進処理及び推論パイプラインを含む他のプロセスを実装するために使用され得る。少なくとも１つの実施例では、システム１４００は、訓練システム１３０４と導入システム１３０６とを含み得る。少なくとも１つの実施例では、訓練システム１３０４及び導入システム１３０６は、本明細書で説明されるように、ソフトウェア１３１８、サービス１３２０、及び／又はハードウェア１３２２を使用して実装され得る。

【0109】

少なくとも１つの実施例では、システム１４００（たとえば、訓練システム１３０４及び／又は導入システム１３０６）は、（たとえば、クラウド１４２６を使用する）クラウド・コンピューティング環境において実装され得る。少なくとも１つの実施例では、システム１４００は、ヘルスケア・サービス施設に関してローカルに、又はクラウド・コンピューティング・リソースとローカル・コンピューティング・リソースの両方の組合せとして、実装され得る。少なくとも１つの実施例では、クラウド１４２６中のＡＰＩへのアクセスは、制定されたセキュリティ対策又はプロトコルを通して、許可されたユーザに限定され得る。少なくとも１つの実施例では、セキュリティ・プロトコルはウェブ・トークンを含み得、ウェブ・トークンは、認証（たとえば、ＡｕｔｈＮ、ＡｕｔｈＺ、Ｇｌｕｅｃｏｎなど）サービスによって署名され得、適切な許可を持ち得る。少なくとも１つの実施例では、（本明細書で説明される）仮想機器のＡＰＩ、又はシステム１４００の他のインスタンス化は、対話について検査又は許可されたパブリックＩＰのセットに限定され得る。

【0110】

少なくとも１つの実施例では、システム１４００の様々な構成要素は、ワイヤード及び／又はワイヤレス通信プロトコルを介して、限定はしないがローカル・エリア・ネットワーク（ＬＡＮ）及び／又はワイド・エリア・ネットワーク（ＷＡＮ）を含む様々な異なるネットワーク・タイプのいずれかを使用して、互いの間で通信し得る。少なくとも１つの実施例では、（たとえば、推論要求を送信するための、推論要求の結果を受信するためのなど）施設とシステム１４００の構成要素との間の通信は、（１つ又は複数の）データ・バス、ワイヤレス・データ・プロトコル（Ｗｉ－Ｆｉ）、ワイヤード・データ・プロトコル（たとえば、イーサネット）などを介して通信され得る。

【0111】

少なくとも１つの実施例では、訓練システム１３０４は、図１３に関して本明細書で説明されたものと同様の訓練パイプライン１４０４を実行し得る。少なくとも１つの実施例では、１つ又は複数の機械学習モデルが導入システム１３０６によって導入パイプライン１４１０において使用されるべきである場合、訓練パイプライン１４０４は、１つ又は複数の（たとえば、事前訓練された）モデルを訓練又は再訓練し、並びに／或いは、事前訓練されたモデル１４０６のうちの１つ又は複数を（たとえば、再訓練又は更新の必要なしに）実装するために、使用され得る。少なくとも１つの実施例では、訓練パイプライン１４０４の結果として、（１つ又は複数の）出力モデル１３１６が生成され得る。少なくとも１つの実施例では、訓練パイプライン１４０４は、限定はしないが、撮像データ（又は他の入力データ）コンバージョン又は適応など、任意の数の処理ステップを含み得る。少なくとも１つの実施例では、導入システム１３０６によって使用される異なる機械学習モデルについて、異なる訓練パイプライン１４０４が使用され得る。少なくとも１つの実施例では、図１３に関して説明された第１の実例と同様の訓練パイプライン１４０４は、第１の機械学習モデルのために使用され得、図１３に関して説明された第２の実例と同様の訓練パイプライン１４０４は、第２の機械学習モデルのために使用され得、図１３に関して説明された第３の実例と同様の訓練パイプライン１４０４は、第３の機械学習モデルのために使用され得る。少なくとも１つの実施例では、各それぞれの機械学習モデルについて何が必要とされるかに応じて、訓練システム１３０４内のタスクの任意の組合せが使用され得る。少なくとも１つの実施例では、機械学習モデルのうちの１つ又は複数は、すでに訓練され、導入の準備ができていることがあり、したがって、機械学習モデルは、訓練システム１３０４によるいかなる処理をも受けないことがあり、導入システム１３０６によって実装され得る。

【0112】

少なくとも１つの実施例では、（１つ又は複数の）出力モデル１３１６及び／又は（１つ又は複数の）事前訓練されたモデル１４０６は、実装形態又は実施例に応じて任意のタイプの機械学習モデルを含み得る。少なくとも１つの実施例では、及び限定はしないが、システム１４００によって使用される機械学習モデルは、線形回帰、ロジスティック回帰、判定ツリー、サポート・ベクター・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、単純ベイズ、ｋ近傍法（Ｋｎｎ：ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）、ｋ平均クラスタリング、ランダム・フォレスト、次元低減アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オート・エンコーダ、畳み込み、リカレント、パーセプトロン、長／短期メモリ（ＬＳＴＭ：Ｌｏｎｇ／Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ホップフィールド、ボルツマン、深層信念、逆畳み込み、敵対的生成、液体状態機械など）を使用する（１つ又は複数の）機械学習モデル、及び／又は他のタイプの機械学習モデルを含み得る。

【0113】

少なくとも１つの実施例では、訓練パイプライン１４０４は、少なくとも図１５Ｂに関して本明細書でより詳細に説明されるように、ＡＩ支援アノテーションを含み得る。少なくとも１つの実施例では、ラベル付きデータ１３１２（たとえば、従来のアノテーション）は、任意の数の技法によって生成され得る。少なくとも１つの実施例では、ラベル又は他のアノテーションは、描画プログラム（たとえば、アノテーション・プログラム）、コンピュータ支援設計（ＣＡＤ：ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ）プログラム、ラベル付けプログラム、グランド・トゥルースのためのアノテーション又はラベルを生成するのに好適な別のタイプのプログラム内で生成され得、及び／或いは、いくつかの実例では、手書きされ得る。少なくとも１つの実施例では、グランド・トゥルース・データは、合成的に作り出され（たとえば、コンピュータ・モデル又はレンダリングから生成され）、現実的に作り出され（たとえば、実世界のデータから設計され、作り出され）、（たとえば、データから特徴を抽出し、次いでラベルを生成するために、特徴分析及び学習を使用して）機械自動化され、人間によりアノテーション付けされ（たとえば、ラベラ、又はアノテーション専門家が、ラベルのロケーションを定義し）、及び／又はそれらの組合せであり得る。少なくとも１つの実施例では、撮像データ１３０８の各インスタンス（又は機械学習モデルによって使用される他のデータ・タイプ）について、訓練システム１３０４によって生成される対応するグランド・トゥルース・データがあり得る。少なくとも１つの実施例では、訓練パイプライン１４０４中に含まれるＡＩ支援アノテーションに加えて、又はその代わりにのいずれかで、導入パイプライン１４１０の一部としてＡＩ支援アノテーションが実施され得る。少なくとも１つの実施例では、システム１４００は多層プラットフォームを含み得、多層プラットフォームは、１つ又は複数の医療撮像及び診断機能を実施し得る診断アプリケーション（又は他のアプリケーション・タイプ）のソフトウェア層（たとえば、ソフトウェア１３１８）を含み得る。少なくとも１つの実施例では、システム１４００は、１つ又は複数の施設のＰＡＣＳサーバ・ネットワークに、（たとえば、暗号化リンクを介して）通信可能に結合され得る。少なくとも１つの実施例では、システム１４００は、機械学習モデルを訓練すること、機械学習モデルを導入すること、画像処理、推論、及び／又は他の動作などの動作を実施するために、ＰＡＣＳサーバからのデータにアクセスし、それを参照するように構成され得る。

【0114】

少なくとも１つの実施例では、ソフトウェア層は、セキュアな、暗号化された、及び／又は認証されたＡＰＩとして実装され得、このＡＰＩを通して、アプリケーション又はコンテナが、（１つ又は複数の）外部環境（たとえば、施設１３０２）から呼び出され（たとえば、コールされ）得る。少なくとも１つの実施例では、次いで、アプリケーションは、それぞれのアプリケーションに関連するコンピュート、ＡＩ、又は視覚化タスクを実施するために１つ又は複数のサービス１３２０をコール又は実行し得、ソフトウェア１３１８及び／又はサービス１３２０は、ハードウェア１３２２を活用して、処理タスクを有効で効率的な様式で実施し得る。

【0115】

少なくとも１つの実施例では、導入システム１３０６は、導入パイプライン１４１０を実行し得る。少なくとも１つの実施例では、導入パイプライン１４１０は任意の数のアプリケーションを含み得、それらのアプリケーションは、上記で説明されたように、ＡＩ支援アノテーションを含む、撮像デバイス、シーケンシング・デバイス、ゲノミクス・デバイスなどによって生成された撮像データ（及び／又は他のデータ・タイプ）に連続的に、非連続的に、又は他のやり方で適用され得る。少なくとも１つの実施例では、本明細書で説明されるように、個々のデバイスのための導入パイプライン１４１０は、デバイスのための仮想機器（たとえば、仮想超音波機器、仮想ＣＴスキャン機器、仮想シーケンシング機器など）と呼ばれることがある。少なくとも１つの実施例では、デバイスによって生成されるデータから所望される情報に応じて、単一のデバイスについて、２つ以上の導入パイプライン１４１０があり得る。少なくとも１つの実施例では、異常の検出がＭＲＩマシンから所望される場合、第１の導入パイプライン１４１０があり得、画像強調がＭＲＩマシンの出力から所望される場合、第２の導入パイプライン１４１０があり得る。

【0116】

少なくとも１つの実施例では、画像生成アプリケーションは、機械学習モデルの使用を含む処理タスクを含み得る。少なくとも１つの実施例では、ユーザは、ユーザ自身の機械学習モデルを使用すること、又はモデル・レジストリ１３２４から機械学習モデルを選択することを所望し得る。少なくとも１つの実施例では、ユーザは、処理タスクを実施するために、ユーザ自身の機械学習モデルを実装するか、又はアプリケーション中に含めるための機械学習モデルを選択し得る。少なくとも１つの実施例では、アプリケーションは選択可能及びカスタマイズ可能であり得、アプリケーションの構築を定義することによって、特定のユーザのためのアプリケーションの導入及び実装が、よりシームレスなユーザ・エクスペリエンスとして提示される。少なくとも１つの実施例では、サービス１３２０及びハードウェア１３２２など、システム１４００の他の特徴を活用することによって、導入パイプライン１４１０は、なお一層ユーザ・フレンドリになり、より容易な統合を提供し、より正確で、効率的で、タイムリーな結果を作り出し得る。

【0117】

少なくとも１つの実施例では、導入システム１３０６はユーザ・インターフェース１４１４（たとえば、グラフィカル・ユーザ・インターフェース、ウェブ・インターフェースなど）を含み得、ユーザ・インターフェース１４１４は、（１つ又は複数の）導入パイプライン１４１０中に含めるためのアプリケーションを選択し、アプリケーションを配置し、アプリケーション又はそのパラメータ若しくは構築を修正又は変更し、セットアップ及び／又は導入中に（１つ又は複数の）導入パイプライン１４１０を使用し、それと対話し、並びに／或いは他のやり方で導入システム１３０６と対話するために使用され得る。少なくとも１つの実施例では、訓練システム１３０４に関して示されていないが、ユーザ・インターフェース１４１４（又は異なるユーザ・インターフェース）は、導入システム１３０６における使用のためのモデルを選択するために、訓練システム１３０４において訓練又は再訓練するためのモデルを選択するために、及び／或いは訓練システム１３０４と他のやり方で対話するために使用され得る。

【0118】

少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０のアプリケーション又はコンテナと、サービス１３２０及び／又はハードウェア１３２２との間で対話を管理するために、アプリケーション・オーケストレーション・システム１４２８に加えてパイプライン・マネージャ１４１２が使用され得る。少なくとも１つの実施例では、パイプライン・マネージャ１４１２は、アプリケーションからアプリケーションへの対話、アプリケーションからサービス１３２０への対話、及び／或いはアプリケーション又はサービスからハードウェア１３２２への対話を容易にするように構成され得る。少なくとも１つの実施例では、ソフトウェア１３１８中に含まれるように示されているが、これは限定を意図しておらず、（たとえば、図１２ｃｃに示されている）いくつかの実例では、パイプライン・マネージャ１４１２は、サービス１３２０中に含まれ得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８（たとえば、Ｋｕｂｅｒｎｅｔｅｓ、ＤＯＣＫＥＲなど）は、コンテナ・オーケストレーション・システムを含み得、コンテナ・オーケストレーション・システムは、アプリケーションを、協調、管理、スケーリング、及び導入のための論理ユニットとして、コンテナにグループ化し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０からのアプリケーション（たとえば、再構築アプリケーション、セグメント化アプリケーションなど）を個々のコンテナに関連付けることよって、各アプリケーションは、自己完結型環境（たとえば、カーネル・レベル）において実行して、スピード及び効率を向上させ得る。

【0119】

少なくとも１つの実施例では、各アプリケーション及び／又はコンテナ（又はその画像）は、個々に開発、修正、及び導入され得（たとえば、第１のユーザ又は開発者が、第１のアプリケーションを開発、修正、及び導入し得、第２のユーザ又は開発者が、第１のユーザ又は開発者とは別に第２のアプリケーションを開発、修正、及び導入し得）、これは、（１つ又は複数の）別のアプリケーション又は（１つ又は複数の）コンテナのタスクに邪魔されることなしに単一のアプリケーション及び／又は（１つ又は複数の）コンテナのタスクに集中し、注意を払うことを可能にする。少なくとも１つの実施例では、異なるコンテナ間又はアプリケーション間の通信、及び協調が、パイプライン・マネージャ１４１２及びアプリケーション・オーケストレーション・システム１４２８によって補助され得る。少なくとも１つの実施例では、各コンテナ又はアプリケーションの予想される入力及び／又は出力が、（たとえば、アプリケーション又はコンテナの構築に基づいて）システムによって知られている限り、アプリケーション・オーケストレーション・システム１４２８及び／又はパイプライン・マネージャ１４１２は、アプリケーション又はコンテナの各々の間の通信、及びそれらの間のリソースの共有を容易にし得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０中のアプリケーション又はコンテナのうちの１つ又は複数は、同じサービス及びリソースを共有し得るので、アプリケーション・オーケストレーション・システム１４２８は、様々なアプリケーション又はコンテナの間でサービス又はリソースをオーケストレートし、ロード・バランシングを行い、共有を決定し得る。少なくとも１つの実施例では、アプリケーション又はコンテナのリソース要件、これらのリソースの現在の使用量又は計画された使用量、及びリソースの利用可能性を追跡するために、スケジューラが使用され得る。少なくとも１つの実施例では、したがって、スケジューラは、異なるアプリケーションにリソースを割り振り、システムの要件及び利用可能性を考慮してアプリケーションの間でリソースを分散させ得る。いくつかの実例では、スケジューラ（及び／又はアプリケーション・オーケストレーション・システム１４２８の他の構成要素）は、サービス品質（ＱｏＳ：ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ）、（たとえば、リアルタイム処理を実行すべきか遅延処理を実行すべきかを決定するための）データ出力を必要とする緊急度など、システムに課される制約（たとえば、ユーザ制約）に基づいて、リソースの利用可能性及び分散を決定し得る。

【0120】

少なくとも１つの実施例では、導入システム１３０６中のアプリケーション又はコンテナによって活用及び共有されるサービス１３２０は、コンピュート・サービス１４１６、ＡＩサービス１４１８、視覚化サービス１４２０、及び／又は他のサービス・タイプを含み得る。少なくとも１つの実施例では、アプリケーションは、サービス１３２０のうちの１つ又は複数をコール（たとえば、実行）して、アプリケーションのための処理動作を実施し得る。少なくとも１つの実施例では、コンピュート・サービス１４１６は、スーパーコンピューティング又は他の高性能コンピューティング（ＨＰＣ：ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｉｎｇ）タスクを実施するために、アプリケーションによって活用され得る。少なくとも１つの実施例では、アプリケーションのうちの１つ又は複数を通してデータを、及び／又は単一のアプリケーションの１つ又は複数のタスクを実質的に同時に処理するための（たとえば、並列コンピューティング・プラットフォーム１４３０を使用する）並列処理を実施するために、（１つ又は複数の）コンピュート・サービス１４１６が活用され得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）は、ＧＰＵ（たとえば、ＧＰＵ１４２２）上での汎用コンピューティング（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ＧＰＵｓ）を可能にし得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０のソフトウェア層は、コンピュート・カーネルの実行のために、仮想命令セット及びＧＰＵの並列算出要素へのアクセスを提供し得る。少なくとも１つの実施例では、並列コンピューティング・プラットフォーム１４３０はメモリを含み得、いくつかの実施例では、メモリは、複数のコンテナの間で、及び／又は単一のコンテナ内の異なる処理タスクの間で共有され得る。少なくとも１つの実施例では、（たとえば、アプリケーションの複数の異なる段階又は複数のアプリケーションが同じ情報を処理している場合）並列コンピューティング・プラットフォーム１４３０のメモリの共有セグメントからの同じデータを使用するために、複数のコンテナについて及び／又はコンテナ内の複数のプロセスについて、プロセス間通信（ＩＰＣ：ｉｎｔｅｒ－ｐｒｏｃｅｓｓ ｃｏｍｍｕｎｉｃａｔｉｏｎ）コールが生成され得る。少なくとも１つの実施例では、データのコピーをとり、データをメモリ中の異なるロケーションに移動すること（たとえば、読取り／書込み動作）ではなく、メモリの同じロケーション中の同じデータが、任意の数の処理タスクのために（たとえば、同じ時間、異なる時間などに）使用され得る。少なくとも１つの実施例では、データが使用されて、処理の結果として新しいデータが生成されるとき、データの新しいロケーションのこの情報は、様々なアプリケーション間で記憶及び共有され得る。少なくとも１つの実施例では、データのロケーションと、更新された又は修正されたデータのロケーションとは、コンテナ内でペイロードがどのように理解されるかの定義の一部であり得る。

【0121】

少なくとも１つの実施例では、ＡＩサービス１４１８は、アプリケーションに関連する（たとえば、アプリケーションの１つ又は複数の処理タスクを実施する役割を課された）（１つ又は複数の）機械学習モデルを実行するための推論サービスを実施するために活用され得る。少なくとも１つの実施例では、ＡＩサービス１４１８は、ＡＩシステム１４２４を活用して、セグメント化、再構築、物体検出、特徴検出、分類、及び／又は他の推論タスクのための（１つ又は複数の）機械学習モデル（たとえば、ＣＮＮなどのニューラル・ネットワーク）を実行し得る。少なくとも１つの実施例では、（１つ又は複数の）導入パイプライン１４１０のアプリケーションは、訓練システム１３０４からの出力モデル１３１６及び／又はアプリケーションの他のモデルのうちの１つ又は複数を使用して、撮像データに関して推論を実施し得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８（たとえば、スケジューラ）を使用する推論の２つ又はそれ以上の実例が利用可能であり得る。少なくとも１つの実施例では、第１のカテゴリは、緊急時の至急の要求に関して推論を実施するための、又は診断時の放射線医のためのなど、より高いサービス・レベルの合意を達成し得る高優先度／低レイテンシ経路を含み得る。少なくとも１つの実施例では、第２のカテゴリは、至急でないことがある要求のために、又は分析が後で実施され得る場合に使用され得る標準優先度経路を含み得る。少なくとも１つの実施例では、アプリケーション・オーケストレーション・システム１４２８は、ＡＩサービス１４１８の異なる推論タスクのための優先度経路に基づいて、リソース（たとえば、サービス１３２０及び／又はハードウェア１３２２）を分散させ得る。

【0122】

少なくとも１つの実施例では、共有ストレージが、システム１４００内でＡＩサービス１４１８に取り付けられ得る。少なくとも１つの実施例では、共有ストレージは、キャッシュ（又は他のストレージ・デバイス・タイプ）として動作し得、アプリケーションからの推論要求を処理するために使用され得る。少なくとも１つの実施例では、推論要求がサブミットされたとき、要求は、導入システム１３０６のＡＰＩインスタンスのセットによって受信され得、要求を処理するために、１つ又は複数のインスタンスが（たとえば、最良な適合のために、ロード・バランシングのためになど）選択され得る。少なくとも１つの実施例では、要求を処理するために、要求がデータベースに入れられ得、機械学習モデルは、まだキャッシュにない場合、モデル・レジストリ１３２４から位置特定され得、検証ステップは、適切な機械学習モデルがキャッシュ（たとえば、共有ストレージ）にロードされ、及び／又はモデルのコピーがキャッシュに保存され得ることを確実にし得る。少なくとも１つの実施例では、アプリケーションがまだ稼働していない場合又はアプリケーションの十分なインスタンスがない場合、（たとえば、パイプライン・マネージャ１４１２の）スケジューラが、要求において参照されたアプリケーションを起動するために使用され得る。少なくとも１つの実施例では、モデルを実行するための推論サーバがまだ起動されていない場合、推論サーバが起動され得る。任意の数の推論サーバがモデルごとに起動され得る。少なくとも１つの実施例では、推論サーバがクラスタ化されたプル・モデルにおいて、ロード・バランシングが有利であるときはいつでもモデルがキャッシュされ得る。少なくとも１つの実施例では、推論サーバは、対応する分散型サーバに静的にロードされ得る。

【0123】

少なくとも１つの実施例では、推論は、コンテナ中で稼働する推論サーバを使用して実施され得る。少なくとも１つの実施例では、推論サーバのインスタンスは、モデル（随意に、モデルの複数のバージョン）に関連し得る。少なくとも１つの実施例では、モデルに対して推論を実施するための要求が受信されたとき、推論サーバのインスタンスが存在しない場合、新しいインスタンスがロードされ得る。少なくとも１つの実施例では、推論サーバを開始するとき、モデルが推論サーバに渡され得、それにより、推論サーバが異なるインスタンスとして稼働している限り、異なるモデルにサービスするために同じコンテナが使用され得る。

【0124】

少なくとも１つの実施例では、アプリケーション実行中、所与のアプリケーションについての推論要求が受信され得、（たとえば、推論サーバのインスタンスをホストする）コンテナが（まだロードされていない場合）ロードされ得、開始プロシージャがコールされ得る。少なくとも１つの実施例では、コンテナ中の前処理論理が、（たとえば、（１つ又は複数の）ＣＰＵ及び／又は（１つ又は複数の）ＧＰＵを使用して）入って来るデータに対する任意の追加の前処理をロード、復号、及び／又は実施し得る。少なくとも１つの実施例では、推論のためにデータが準備されると、コンテナは、必要に応じてデータに関して推論を実施し得る。少なくとも１つの実施例では、これは、１つの画像（たとえば、手のＸ線）に対する単一の推論コールを含み得るか、又は何百もの画像（たとえば、胸のＣＴ）に関する推論を必要とし得る。少なくとも１つの実施例では、アプリケーションは、完了する前に結果を要約し得、これは、限定はしないが、単一の信頼性スコア、ピクセル・レベル・セグメント化、ボクセル・レベル・セグメント化、視覚化を生成すること、又は所見を要約するためにテキストを生成することを含み得る。少なくとも１つの実施例では、異なるモデル又はアプリケーションは、異なる優先度を割り当てられ得る。たとえば、リアルタイム（ＴＡＴ＜１分）の優先度を有するモデルもあれば、低優先度（たとえば、ＴＡＴ＜１０分）を有するモデルもある。少なくとも１つの実施例では、モデル実行時間は、要求元の機関又はエンティティから測定され得、パートナー・ネットワーク・トラバーサル時間、並びに推論サービスに対する実行を含み得る。

【0125】

少なくとも１つの実施例では、サービス１３２０と推論アプリケーションとの間での要求の転送は、ソフトウェア開発キット（ＳＤＫ）の後ろに隠され得、キューを通してロバストなトランスポートが提供され得る。少なくとも１つの実施例では、個々のアプリケーション／テナントＩＤの組合せについて、要求がＡＰＩを介してキューに入れられ、ＳＤＫは、キューから要求を引き出し、要求をアプリケーションに与える。少なくとも１つの実施例では、ＳＤＫが要求をピックアップする環境において、キューの名称が提供され得る。少なくとも１つの実施例では、キューを通した非同期通信は、その通信が、ワークが利用可能になったときに、アプリケーションの任意のインスタンスがそのワークをピックアップすることを可能にし得るので、有用であり得る。結果は、データが失われないことを確実にするために、キューを通して返送され得る。少なくとも１つの実施例では、最高優先度のワークは、アプリケーションのほとんどのインスタンスがキューに接続された、キューに進み得、一方で、最低優先度のワークは、単一のインスタンスがキューに接続された、受信された順番にタスクを処理するキューに進み得るので、キューは、ワークをセグメント化するアビリティをも提供し得る。少なくとも１つの実施例では、アプリケーションは、クラウド１４２６において生成されたＧＰＵ加速インスタンス上で稼働し得、推論サービスは、ＧＰＵ上で推論を実施し得る。

【0126】

少なくとも１つの実施例では、視覚化サービス１４２０が、アプリケーション及び／又は（１つ又は複数の）導入パイプライン１４１０の出力を見るための視覚化を生成するために活用され得る。少なくとも１つの実施例では、視覚化を生成するために視覚化サービス１４２０によってＧＰＵ１４２２が活用され得る。少なくとも１つの実施例では、レイ・トレーシングなどのレンダリング効果が、より高品質の視覚化を生成するために視覚化サービス１４２０によって実装され得る。少なくとも１つの実施例では、視覚化は、限定はしないが、２Ｄ画像レンダリング、３Ｄボリューム・レンダリング、３Ｄボリューム再構築、２Ｄトモグラフィ・スライス、仮想現実表示、拡張現実表示などを含み得る。少なくとも１つの実施例では、仮想化された環境が、システムのユーザ（たとえば、医師、看護師、放射線医など）による対話のための仮想インタラクティブ表示又は環境（たとえば、仮想環境）を生成するために使用され得る。少なくとも１つの実施例では、視覚化サービス１４２０は、内部ビジュアライザ、シネマティクス、及び／或いは他のレンダリング又は画像処理能力又は機能性（たとえば、レイ・トレーシング、ラスタ化、内部光学など）を含み得る。

【0127】

少なくとも１つの実施例では、ハードウェア１３２２は、ＧＰＵ１４２２、ＡＩシステム１４２４、クラウド１４２６、並びに／或いは訓練システム１３０４及び／又は導入システム１３０６を実行するために使用される任意の他のハードウェアを含み得る。少なくとも１つの実施例では、ＧＰＵ１４２２（たとえば、ＮＶＩＤＩＡのＴＥＳＬＡ及び／又はＱＵＡＤＲＯ ＧＰＵ）は、任意の数のＧＰＵを含み得、任意の数のＧＰＵは、コンピュート・サービス１４１６、ＡＩサービス１４１８、視覚化サービス１４２０、他のサービス、及び／或いはソフトウェア１３１８の特徴又は機能性のいずれかの処理タスクを実行するために使用され得る。たとえば、ＡＩサービス１４１８に関して、ＧＰＵ１４２２が、撮像データ（又は機械学習モデルによって使用される他のデータ・タイプ）に対する前処理、機械学習モデルの出力に対する後処理を実施するために、及び／又は推論を実施するために（たとえば、機械学習モデルを実行するために）使用され得る。少なくとも１つの実施例では、クラウド１４２６、ＡＩシステム１４２４、及び／又はシステム１４００の他の構成要素は、ＧＰＵ１４２２を使用し得る。少なくとも１つの実施例では、クラウド１４２６は、深層学習タスクのためのＧＰＵ最適化プラットフォームを含み得る。少なくとも１つの実施例では、ＡＩシステム１４２４は、ＧＰＵを使用し得、クラウド１４２６、或いは深層学習又は推論の役割を課された少なくとも一部分は、１つ又は複数のＡＩシステム１４２４を使用して実行され得る。したがって、ハードウェア１３２２は個別構成要素として示されているが、これは、限定を意図しておらず、ハードウェア１３２２の任意の構成要素が、ハードウェア１３２２の任意の他の構成要素と組み合わせられ、それらによって活用され得る。

【0128】

少なくとも１つの実施例では、ＡＩシステム１４２４は、推論、深層学習、機械学習、及び／又は他の人工知能タスクのために構成された専用のコンピューティング・システム（たとえば、スーパーコンピュータ又はＨＰＣ）を含み得る。少なくとも１つの実施例では、ＡＩシステム１４２４（たとえば、ＮＶＩＤＩＡのＤＧＸ）は、ＧＰＵ最適化ソフトウェア（たとえば、ソフトウェア・スタック）を含み得、ＧＰＵ最適化ソフトウェアは、ＣＰＵ、ＲＡＭ、ストレージ、及び／又は他の構成要素、特徴、又は機能性に加えて、複数のＧＰＵ１４２２を使用して実行され得る。少なくとも１つの実施例では、１つ又は複数のＡＩシステム１４２４は、システム１４００のＡＩベースの処理タスクのいくつか又はすべてを実施するために、（たとえば、データ・センタにおいて）クラウド１４２６において実装され得る。

【0129】

少なくとも１つの実施例では、クラウド１４２６は、ＧＰＵ加速インフラストラクチャ（たとえば、ＮＶＩＤＩＡのＮＧＣ）を含み得、ＧＰＵ加速インフラストラクチャは、システム１４００の処理タスクを実行するためのＧＰＵ最適化プラットフォームを提供し得る。少なくとも１つの実施例では、クラウド１４２６は、システム１４００のＡＩベースのタスクのうちの１つ又は複数を実施するための（１つ又は複数の）ＡＩシステム１４２４を（たとえば、ハードウェア抽象化及びスケーリング・プラットフォームとして）含み得る。少なくとも１つの実施例では、クラウド１４２６は、アプリケーションとサービス１３２０との間でシームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵを活用してアプリケーション・オーケストレーション・システム１４２８と統合し得る。少なくとも１つの実施例では、クラウド１４２６は、本明細書で説明されるように、コンピュート・サービス１４１６、ＡＩサービス１４１８、及び／又は視覚化サービス１４２０を含む、システム１４００のサービス１３２０の少なくともいくつかを実行する役割を課され得る。少なくとも１つの実施例では、クラウド１４２６は、大小のバッチ推論（たとえば、ＮＶＩＤＩＡのＴＥＮＳＯＲ ＲＴを実行すること）を実施し、加速並列コンピューティングＡＰＩ及びプラットフォーム１４３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を提供し、アプリケーション・オーケストレーション・システム１４２８（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を実行し、（たとえば、より高品質のシネマティクスを作り出すためのレイ・トレーシング、２Ｄグラフィックス、３Ｄグラフィックス、及び／又は他のレンダリング技法のための）グラフィックス・レンダリングＡＰＩ及びプラットフォームを提供し得、及び／又はシステム１４００のための他の機能性を提供し得る。

【0130】

図１５Ａは、少なくとも１つの実施例による、機械学習モデルを訓練、再訓練、又は更新するためのプロセス１５００のデータ・フロー図を示す。少なくとも１つの実施例では、プロセス１５００は、図１４のシステム１４００を非限定的な実例として使用して、実行され得る。少なくとも１つの実施例では、プロセス１５００は、本明細書で説明されるように、システム１４００のサービス１３２０及び／又はハードウェア１３２２を活用し得る。少なくとも１つの実施例では、プロセス１５００によって生成される改良されたモデル１５１２は、導入パイプライン１４１０中の１つ又は複数のコンテナ化アプリケーションのために、導入システム１３０６によって実行され得る。

【0131】

少なくとも１つの実施例では、モデル訓練１３１４は、新しい訓練データ（たとえば、顧客データセット１５０６、及び／又は入力データに関連する新しいグランド・トゥルース・データなどの新しい入力データ）を使用して、初期モデル１５０４（たとえば、事前訓練されたモデル）を再訓練又は更新することを含み得る。少なくとも１つの実施例では、初期モデル１５０４を再訓練又は更新するために、初期モデル１５０４の（１つ又は複数の）出力又は損失層がリセット又は削除され得、及び／或いは、（１つ又は複数の）更新された又は新しい出力又は損失層と置き換えられ得る。少なくとも１つの実施例では、初期モデル１５０４は、前に微調整された、前の訓練から残っているパラメータ（たとえば、重み及び／又はバイアス）を有し得、したがって、訓練又は再訓練１３１４は、最初からモデルを訓練するほど長い時間がかからないか、又は多くの処理を必要としないことがある。少なくとも１つの実施例では、モデル訓練１３１４中に、初期モデル１５０４の（１つ又は複数の）リセットされた又は置き換えられた出力又は損失層を有することによって、パラメータは、新しい顧客データセット１５０６（たとえば、図１３の画像データ１３０８）に関して予測を生成する際の（１つ又は複数の）出力又は損失層の精度に関連する損失計算に基づいて、新しいデータセットのために更新又は再調整され得る。

【0132】

少なくとも１つの実施例では、事前訓練されたモデル１４０６は、データ・ストア又はレジストリ（たとえば、図１３のモデル・レジストリ１３２４）に記憶され得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、少なくとも部分的に、プロセス１５００を実行する施設以外の１つ又は複数の施設において訓練されていることがある。少なくとも１つの実施例では、異なる施設の患者、対象者、顧客のプライバシー及び権利を保護するために、事前訓練されたモデル１４０６は、構内で生成された顧客又は患者データを使用して、構内で訓練されていることがある。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、クラウド１４２６及び／又は他のハードウェア１３２２を使用して訓練され得るが、プライバシー保護された機密の患者データは、クラウド１４２６（又は他の構外のハードウェア）の任意の構成要素に転送されないか、それらの構成要素によって使用されないか、又はそれらの構成要素にとってアクセス不可能であり得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６が２つ以上の施設からの患者データを使用して訓練される場合、事前訓練されたモデル１４０６は、各施設について個々に訓練されてから、別の施設からの患者又は顧客データに関して訓練され得る。少なくとも１つの実施例では、顧客又は患者データが（たとえば、権利放棄によって、実験での使用のために、など）プライバシー問題から解放された場合、或いは、顧客又は患者データがパブリック・データ・セット中に含まれる場合など、任意の数の施設からの顧客又は患者データが、データセンタ又は他のクラウド・コンピューティング・インフラストラクチャなど、構内及び／又は構外で事前訓練されたモデル１４０６を訓練するために使用され得る。

【0133】

少なくとも１つの実施例では、導入パイプライン１４１０における使用のためのアプリケーションを選択するとき、ユーザは、特定のアプリケーションのために使用されるべき機械学習モデルをも選択し得る。少なくとも１つの実施例では、ユーザは、使用のためのモデルを有しないことがあり、したがって、ユーザは、アプリケーションとともに使用するために事前訓練されたモデル１４０６を選択し得る。少なくとも１つの実施例では、事前訓練されたモデル１４０６は、（たとえば、患者の多様性、人口統計、使用される医療撮像デバイスのタイプなどに基づいて）ユーザの施設の顧客データセット１５０６に関して正確な結果を生成するために最適化されないことがある。少なくとも１つの実施例では、事前訓練されたモデル１４０６を、（１つ又は複数の）アプリケーションとともに使用するために導入パイプライン１４１０に導入する前に、事前訓練されたモデル１４０６は、それぞれの施設において使用するために更新、再訓練、及び／又は微調整され得る。

【0134】

少なくとも１つの実施例では、ユーザは、更新、再訓練、及び／又は微調整されるべきである事前訓練されたモデル１４０６を選択し得、事前訓練されたモデル１４０６は、プロセス１５００内の訓練システム１３０４のための初期モデル１５０４と呼ばれることがある。少なくとも１つの実施例では、顧客データセット１５０６（たとえば、施設におけるデバイスによって生成された撮像データ、ゲノミクス・データ、シーケンシング・データ、又は他のデータ・タイプ）が、初期モデル１５０４に関して（限定はしないが、転移学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）を含み得る）モデル訓練１３１４を実施して、改良されたモデル１５１２を生成するために、使用され得る。少なくとも１つの実施例では、顧客データセット１５０６に対応するグランド・トゥルース・データが、訓練システム１３０４によって生成され得る。少なくとも１つの実施例では、グランド・トゥルース・データは、（たとえば、図１３のラベル付きクリニック・データ１３１２として）施設において臨床医、科学者、医師、開業医によって、少なくとも部分的に生成され得る。

【0135】

少なくとも１つの実施例では、グランド・トゥルース・データを生成するために、ＡＩ支援アノテーション１３１０がいくつかの実例において使用され得る。少なくとも１つの実施例では、（たとえば、ＡＩ支援アノテーションＳＤＫを使用して実装された）ＡＩ支援アノテーション１３１０は、機械学習モデル（たとえば、ニューラル・ネットワーク）を活用して、顧客データセットについて示唆又は予測されるグランド・トゥルース・データを生成し得る。少なくとも１つの実施例では、ユーザ１５１０は、コンピューティング・デバイス１５０８上のユーザ・インターフェース（グラフィカル・ユーザ・インターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ））内でアノテーション・ツールを使用し得る。

【0136】

少なくとも１つの実施例では、ユーザ１５１０は、コンピューティング・デバイス１５０８を介してＧＵＩと対話して、（自動）アノテーションを編集又は微調整し得る。少なくとも１つの実施例では、ポリゴン編集特徴が、ポリゴンの頂点をより正確なロケーション又は微調整されたロケーションに移動するために使用され得る。

【0137】

少なくとも１つの実施例では、顧客データセット１５０６が、関連するグランド・トゥルース・データを有すると、（たとえば、ＡＩ支援アノテーション、手動ラベル付けなどからの）グランド・トゥルース・データが、改良されたモデル１５１２を生成するために、モデル訓練１３１４中によって使用され得る。少なくとも１つの実施例では、顧客データセット１５０６は、初期モデル１５０４に任意の回数適用され得、グランド・トゥルース・データは、改良されたモデル１５１２について、許容可能なレベルの精度が達成されるまで、初期モデル１５０４のパラメータを更新するために使用され得る。少なくとも１つの実施例では、改良されたモデル１５１２が生成されると、改良されたモデル１５１２は、医療撮像データに対して１つ又は複数の処理タスクを実施するために、施設において１つ又は複数の導入パイプライン１４１０内で導入され得る。

【0138】

少なくとも１つの実施例では、改良されたモデル１５１２は、別の施設によって選択されるべきモデル・レジストリ１３２４において事前訓練されたモデル１４０６にアップロードされ得る。少なくとも１つの実施例では、彼のプロセスは任意の数の施設において完了され得、それにより、改良されたモデル１５１２は、より普遍的なモデルを生成するように新しいデータセットに関して任意の回数さらに改良され得る。

【0139】

図１５Ｂは、少なくとも１つの実施例による、事前訓練されたアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアントサーバ・アーキテクチャ１５３２の例示的な図である。少なくとも１つの実施例では、ＡＩ支援アノテーション・ツール１５３６は、クライアントサーバ・アーキテクチャ１５３２に基づいてインスタンス化され得る。少なくとも１つの実施例では、撮像アプリケーション中のアノテーション・ツール１５３６は、放射線医を補助し、たとえば、器官及び異常を識別し得る。少なくとも１つの実施例では、撮像アプリケーションは、非限定的な実例として、（たとえば、３Ｄ ＭＲＩ又はＣＴスキャンにおける）生画像１５３４において、関心のある特定の器官上の数個の極値点をユーザ１５１０が識別するのを助け、特定の器官のすべての２Ｄスライスについて自動アノテーション付けされた結果を受信する、ソフトウェア・ツールを含み得る。少なくとも１つの実施例では、結果は、訓練データ１５３８としてデータ・ストアに記憶され、（たとえば、限定はしないが）訓練のためのグランド・トゥルース・データとして使用され得る。少なくとも１つの実施例では、コンピューティング・デバイス１５０８が、ＡＩ支援アノテーション１３１０のために極値点を送出するとき、たとえば、深層学習モデルがこのデータを入力として受信し、セグメント化された器官又は異常の推論結果を返し得る。少なくとも１つの実施例では、図１５Ｂ中のＡＩ支援アノテーション・ツール１５３６Ｂなどの事前インスタンス化されたアノテーション・ツールは、たとえばアノテーション・モデル・レジストリに記憶された、事前訓練されたモデル１５４２のセットを含み得るアノテーション支援サーバ１５４０などのサーバに、ＡＰＩコール（たとえば、ＡＰＩコール１５４４）を行うことによって、拡張され得る。少なくとも１つの実施例では、アノテーション・モデル・レジストリは、特定の器官又は異常に対してＡＩ支援アノテーションを実施するように事前訓練された、事前訓練されたモデル１５４２（たとえば、深層学習モデルなどの機械学習モデル）を記憶し得る。これらのモデルは、訓練パイプライン１４０４を使用することによって、さらに更新され得る。少なくとも１つの実施例では、事前インストールされたアノテーション・ツールは、新しいラベル付きクリニック・データ１３１２が追加されるにつれて、経時的に改善され得る。

【0140】

そのような構成要素は、アップスケールされた解像度と、低減されたアーティファクト存在と、視覚的品質向上とを伴う画像又はビデオ・コンテンツなど、向上されたコンテンツを生成するために使用され得る。

【0141】

他の変形形態は、本開示の趣旨内にある。したがって、開示される技法は、様々な修正及び代替構築が可能であるが、それらのいくつかの例示的な実施例が図面に示され、上記で詳細に説明された。しかしながら、特定の１つ又は複数の開示された形態に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲において定義されるように、開示の趣旨及び範囲に入るすべての修正形態、代替構築、及び等価物を網羅することを意図していることが理解されるべきである。

【0142】

開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、及び「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「限定はしないが、～を含む（ｉｎｃｌｕｄｉｎｇ， ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ，）」を意味する）と解釈されるべきである。「接続される」という用語は、修飾されず、物理的接続を指しているとき、何か介在するものがある場合でも、部分的に又は完全に中に含まれているか、取り付けられるか、又は互いに接合されるものとして解釈されるべきである。本明細書で値の範囲を詳述することは、本明細書に別段の記載のない限り、及び各別個の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に入る各別個の値を個々に参照する簡潔な方法として働くことを単に意図しているにすぎない。「セット」（たとえば、「項目のセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がないか又は否定されない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がないか又は否定されない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すとは限らず、サブセットと、対応するセットとは、等しくなり得る。

【0143】

「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ及びＣのうちの少なくとも１つ」という形態の言い回しなどの結合語は、別段の具体的な記載がないか又はさもなければ文脈によって明確に否定されない限り、別様に、項目、用語などが、Ａ又はＢ又はＣのいずれか、或いはＡとＢとＣとのセットの任意の空でないサブセットであり得ることを提示するために一般に使用される文脈で、理解される。たとえば、３つの部材を有するセットの説明的な実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」という結合句は、次のセットのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、そのような結合語は、いくつかの実施例が、Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つの各々が存在することを必要とすることを全体的に暗示するものではない。さらに、別段の記載がないか又は文脈によって否定されない限り、「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。複数（ｐｌｕｒａｌｉｔｙ）は、少なくとも２つの項目であるが、明示的に、又は文脈によってのいずれかでそのように示されているとき、それよりも多いことがある。さらに、別段の記載がないか又はさもなければ文脈から明らかでない限り、「～に基づいて」という言い回しは、「少なくとも部分的に～に基づいて」を意味し、「～のみに基づいて」を意味しない。

【0144】

本明細書で説明されるプロセスの動作は、本明細書に別段の記載がないか又はさもなければ文脈によって明確に否定されない限り、任意の好適な順序で実施され得る。少なくとも１つの実施例では、本明細書で説明されるプロセス（又はその変形形態及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実施され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行するコード（たとえば、実行可能命令、１つ又は複数のコンピュータ・プログラム、又は１つ又は複数のアプリケーション）として実装される。少なくとも１つの実施例では、コードは、たとえば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも１つの実施例では、コンピュータ可読記憶媒体は、一時的信号（たとえば、伝搬する一時的な電気又は電磁送信）を除外するが、一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的コンピュータ可読記憶媒体である。少なくとも１つの実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的コンピュータ可読記憶媒体のセットに記憶され、この記憶媒体は、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書で説明される動作を実施させる実行可能命令を記憶している（又は、実行可能命令を記憶するための他のメモリを有する）。非一時的コンピュータ可読記憶媒体のセットは、少なくとも１つの実施例では、複数の非一時的コンピュータ可読記憶媒体を備え、複数の非一時的コンピュータ可読記憶媒体の個々の非一時的記憶媒体のうちの１つ又は複数は、コードのすべてがないが、複数の非一時的コンピュータ可読記憶媒体は、集合的にコードのすべてを記憶している。少なくとも１つの実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的コンピュータ可読記憶媒体は命令を記憶し、メイン中央処理ユニット（「ＣＰＵ」）は命令のいくつかを実行し、グラフィックス処理ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも１つの実施例では、コンピュータ・システムの異なる構成要素は、別個のプロセッサを有し、異なるプロセッサが命令の異なるサブセットを実行する。

【0145】

したがって、少なくとも１つの実施例では、コンピュータ・システムは、本明細書で説明されるプロセスの動作を単独で又は集合的に実施する１つ又は複数のサービスを実装するように構成され、そのようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも１つの実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが本明細書で説明される動作を実施するように、及び単一のデバイスがすべての動作を実施しないように、異なるやり方で動作する複数のデバイスを備える分散型コンピュータ・システムである。

【0146】

本明細書で提供されるあらゆる実例、又は例示的な言葉（たとえば、「など、などの（ｓｕｃｈ ａｓ）」）の使用は、本開示の実施例をより明らかにすることのみを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。

【0147】

本明細書で引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。

【0148】

明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用され得る。これらの用語は、互いに同義語として意図されていないことがあることが理解されるべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、２つ又はそれ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用され得る。「結合される」はまた、２つ又はそれ以上の要素が直接互いに接触していないが、それでもなお互いに連動又は対話することを意味し得る。

【0149】

別段の具体的な記載がない限り、明細書全体を通して、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「算出する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、又は「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータを、コンピューティング・システムのメモリ、レジスタ又は他のそのような情報ストレージ、送信、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるように操作及び／又は変換する、コンピュータ又はコンピューティング・システム、或いは同様の電子コンピューティング・デバイスのアクション及び／又はプロセスを指すことが諒解され得る。

【0150】

同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶され得る他の電子データに変換する任意のデバイス、又はデバイスの一部分を指し得る。非限定的な実例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであり得る。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備え得る。本明細書で使用される「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実施するソフトウェア及び／又はハードウェア・エンティティを含み得る。また、各プロセスは、命令を直列で又は並列で、連続的に又は断続的に行うための複数のプロセスを指し得る。「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化し得、方法がシステムと考えられ得る場合に限り、本明細書において交換可能に使用される。

【0151】

本明細書では、アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、或いはそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及し得る。アナログ・データ及びデジタル・データを取得すること、獲得すること、受信すること、又は入力することは、関数コール、又はアプリケーション・プログラミング・インターフェースへのコールのパラメータとしてデータを受信することによってなど、様々なやり方で実現され得る。いくつかの実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、直列又は並列インターフェースを介してデータを転送することによって実現され得る。別の実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現され得る。アナログ・データ又はデジタル・データを提供すること、出力すること、送信すること、送出すること、又は提示することにも言及し得る。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送出する、又は提示するプロセスは、関数コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェース又はプロセス間通信機構のパラメータとしてデータを転送することによって実現され得る。

【0152】

上記の説明は、説明された技法の例示的な実装形態について述べているが、他のアーキテクチャが、説明された機能性を実装するために使用され得、本開示の範囲内にあることが意図される。さらに、説明を目的として、責任の具体的な分散が上記で定義されたが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。

【0153】

さらに、主題は、構造的特徴及び／又は方法論的行為に特有の言語で説明されたが、添付の特許請求の範囲で特許請求される主題は、説明された特有の特徴又は行為に必ずしも限定されるとは限らないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【国際調査報告】