特開2023-129183より高いダイナミック・レンジによる表示のためのより低いダイナミック・レンジのコンテンツのリマスタリング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023129183
(43)【公開日】2023-09-14
(54)【発明の名称】より高いダイナミック・レンジによる表示のためのより低いダイナミック・レンジのコンテンツのリマスタリング
(51)【国際特許分類】
G06T 5/00 20060101AFI20230907BHJP
【ＦＩ】
G06T5/00 740
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022078664
(22)【出願日】2022-05-12
(31)【優先権主張番号】17/684,779
(32)【優先日】2022-03-02
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】501450960
【氏名又は名称】エヌビディア コーポレーション
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】シャヴェーン クマール
(72)【発明者】
【氏名】アンジュル パトニー
(72)【発明者】
【氏名】エリック シュー
(72)【発明者】
【氏名】アントン ムーア
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA29
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE06
5B057CE11
5B057DA20
5B057DB02
5B057DB09
5B057DC40
(57)【要約】 （修正有）
【課題】機械学習モデル及び畳み込みニューラル・ネットワーク（ＣＮＮ）を使用して、より低いダイナミック・レンジの画像コンテンツであるＤＲ画像を、より高いダイナミック・レンジの、高ダイナミック・レンジ（ＨＤＲ）画像に拡張する。
【解決手段】方法は、第１の画素値範囲を含む画像を受信し、訓練済み機械学習モデルを使用して、画像を含む入力を処理して、第１の出力及び第２の出力を生成し、画像を拡張して、第１の画素値範囲より大きい第２の画素値範囲を含む画像データを生成し、第１の演算子を使用して画像データを更新する。第１の演算子は、ローカル演算子又はグローバル演算子であり、第１の出力に基づいて画像データ内のバンディング・アーチファクトを低減するためにフィルタを適用する。方法はさらに、第２の演算子を使用して画像データを更新し、第２の出力に基づいて、拡張された画像の領域の輝度を修正、画像データを出出力する。
【選択図】図３
【解決手段】方法は、第１の画素値範囲を含む画像を受信し、訓練済み機械学習モデルを使用して、画像を含む入力を処理して、第１の出力及び第２の出力を生成し、画像を拡張して、第１の画素値範囲より大きい第２の画素値範囲を含む画像データを生成し、第１の演算子を使用して画像データを更新する。第１の演算子は、ローカル演算子又はグローバル演算子であり、第１の出力に基づいて画像データ内のバンディング・アーチファクトを低減するためにフィルタを適用する。方法はさらに、第２の演算子を使用して画像データを更新し、第２の出力に基づいて、拡張された画像の領域の輝度を修正、画像データを出出力する。
【選択図】図３
【特許請求の範囲】
【請求項1】
メモリと、
前記メモリと動作可能に結合された処理デバイスと
を含むシステムであって、前記処理デバイスが、
第１の画素値範囲に対応する画像を受信すること、
訓練済み機械学習モデルを使用して前記画像に対応する入力を処理して、第１の出力及び第２の出力を生成すること、
前記画像を拡張して、第２の画素値範囲に対応する画像データを生成することであって、前記第２の画素値範囲が前記第１の画素値範囲よりも大きい、生成すること、
第１の演算子を使用して前記画像データを更新することであって、前記第１の演算子が、前記第１の出力に基づいて、前記画像データ内の１つ又は複数のバンディング・アーチファクトを低減するためにフィルタを適用する、更新すること、
第２の演算子を使用して前記画像データを更新することであって、前記第２の演算子が、前記第２の出力に基づいて、前記拡張された画像の領域の輝度を修正する、更新すること、並びに
前記画像データを１つ又は複数のデバイスに出力すること
を行う、システム。
前記メモリと動作可能に結合された処理デバイスと
を含むシステムであって、前記処理デバイスが、
第１の画素値範囲に対応する画像を受信すること、
訓練済み機械学習モデルを使用して前記画像に対応する入力を処理して、第１の出力及び第２の出力を生成すること、
前記画像を拡張して、第２の画素値範囲に対応する画像データを生成することであって、前記第２の画素値範囲が前記第１の画素値範囲よりも大きい、生成すること、
第１の演算子を使用して前記画像データを更新することであって、前記第１の演算子が、前記第１の出力に基づいて、前記画像データ内の１つ又は複数のバンディング・アーチファクトを低減するためにフィルタを適用する、更新すること、
第２の演算子を使用して前記画像データを更新することであって、前記第２の演算子が、前記第２の出力に基づいて、前記拡張された画像の領域の輝度を修正する、更新すること、並びに
前記画像データを１つ又は複数のデバイスに出力すること
を行う、システム。
【請求項2】
前記画像が、標準ダイナミック・レンジ（ＳＤＲ）画像を含み、出力される前記画像データが、高ダイナミック・レンジ（ＨＤＲ）画像を含む、請求項１に記載のシステム。
【請求項3】
前記第１の演算子が、可変幅のクランプされたバイラテラル・フィルタを含むローカル演算子であり、前記第２の演算子が、輝度乗数を含むグローバル演算子である、請求項１に記載のシステム。
【請求項4】
前記第１の出力が、前記画像内の各画素について前記第１の演算子によって考慮されるべき前記画素からの距離を示す第１の拡張マップを含み、
前記第２の出力が、前記画像内の各画素について前記画素の分類を示す第２の拡張マップを含み、第１の分類を有する１つ又は複数の画素が、前記拡張された画像の、輝度が変更される対象となる前記領域に含まれる、請求項１に記載のシステム。
前記第２の出力が、前記画像内の各画素について前記画素の分類を示す第２の拡張マップを含み、第１の分類を有する１つ又は複数の画素が、前記拡張された画像の、輝度が変更される対象となる前記領域に含まれる、請求項１に記載のシステム。
【請求項5】
前記第１の分類が、ユーザ・インターフェース分類を含み、前記第２の演算子が、前記領域に対応する少なくとも１つの輝度値を低減する、請求項４に記載のシステム。
【請求項6】
前記第１の分類が、高反射率分類を含み、前記第２の演算子が、前記領域に対応する少なくとも１つの輝度値を増加させる、請求項４に記載のシステム。
【請求項7】
前記訓練済み機械学習モデルが、前記画像を入力として使用して、前記第１の出力及び前記第２の出力を２つ以上の異なるチャネルに出力する深層ニューラル・ネットワーク（ＤＮＮ）を含み、前記２つ以上の異なるチャネルが、少なくとも、第１の拡張マップを含む第１のチャネルと、第２の拡張マップを含む第２のチャネルとを含む、請求項１に記載のシステム。
【請求項8】
前記入力が、前記訓練済み機械学習モデルの１つ又は複数の以前の出力をさらに含む、請求項１に記載のシステム。
【請求項9】
前記画像を拡張するために、前記処理デバイスが、８ビット入力画像を逆量子化して、１０ビット画像データ、１２ビット画像データ、１６ビット画像データ、又は３２ビット画像データのうちの少なくとも１つを生成する、請求項１に記載のシステム。
【請求項10】
前記画像が、フレーム・シーケンスを含むビデオのフレームを含み、前記処理デバイスが、前記シーケンスの少なくとも１つのフレームの拡張された画像データをディスプレイ・デバイスに出力する、請求項１に記載のシステム。
【請求項11】
処理デバイスによって、第１の画素値範囲に対応する画像を受信するステップと、
前記処理デバイスによって、訓練済み機械学習モデルを使用して前記画像に対応する入力を処理して、第１の出力及び第２の出力を生成するステップと、
前記画像を拡張して、第２の画素値範囲に対応する画像データを生成するステップであって、前記第２の画素値範囲が前記第１の画素値範囲よりも大きい、生成するステップと、
第１の演算子を使用して前記画像データを更新するステップであって、前記第１の演算子が、前記第１の出力に基づいて、前記画像データ内の１つ又は複数のバンディング・アーチファクトを低減するためにフィルタを適用する、更新するステップと、
第２の演算子を使用して前記画像データを更新するステップであって、前記第２の演算子が、前記第２の出力に基づいて、前記拡張された画像の領域の輝度を修正する、更新するステップと、
前記処理デバイスによって、前記画像データを出力するステップと
を含む、方法。
前記処理デバイスによって、訓練済み機械学習モデルを使用して前記画像に対応する入力を処理して、第１の出力及び第２の出力を生成するステップと、
前記画像を拡張して、第２の画素値範囲に対応する画像データを生成するステップであって、前記第２の画素値範囲が前記第１の画素値範囲よりも大きい、生成するステップと、
第１の演算子を使用して前記画像データを更新するステップであって、前記第１の演算子が、前記第１の出力に基づいて、前記画像データ内の１つ又は複数のバンディング・アーチファクトを低減するためにフィルタを適用する、更新するステップと、
第２の演算子を使用して前記画像データを更新するステップであって、前記第２の演算子が、前記第２の出力に基づいて、前記拡張された画像の領域の輝度を修正する、更新するステップと、
前記処理デバイスによって、前記画像データを出力するステップと
を含む、方法。
【請求項12】
前記画像が、標準ダイナミック・レンジ（ＳＤＲ）画像を含み、出力される前記画像データが、高ダイナミック・レンジ（ＨＤＲ）画像を含む、請求項１１に記載の方法。
【請求項13】
前記第１の演算子が、可変幅のクランプされたバイラテラル・フィルタを含むローカル演算子であり、前記第２の演算子が、輝度乗数を含むグローバル演算子である、請求項１１に記載の方法。
【請求項14】
前記第１の出力が、前記画像内の少なくとも１つの画素について前記第１の演算子によって考慮されるべき前記画素からの距離を示す第１の拡張マップを含み、
前記第２の出力が、前記画像内の少なくとも１つの画素について前記画素の分類を示す第２の拡張マップを含み、第１の分類を有する１つ又は複数の画素が、前記拡張された画像の、輝度が変更される対象となる前記領域に含まれる、請求項１１に記載の方法。
前記第２の出力が、前記画像内の少なくとも１つの画素について前記画素の分類を示す第２の拡張マップを含み、第１の分類を有する１つ又は複数の画素が、前記拡張された画像の、輝度が変更される対象となる前記領域に含まれる、請求項１１に記載の方法。
【請求項15】
前記第１の分類が、ユーザ・インターフェース分類を含み、前記第２の演算子が、前記領域に対応する少なくとも１つの輝度値を低減する、請求項１４に記載の方法。
【請求項16】
前記第１の分類が、高反射率分類を含み、前記第２の演算子が、前記領域に対応する少なくとも１つの輝度値を増加させる、請求項１４に記載の方法。
【請求項17】
実行されると、処理デバイスに、
第１の画素値範囲に対応する画像を受信すること、
訓練済み機械学習モデルを使用して前記画像に対応する入力を処理して、第１の出力及び第２の出力を生成すること、
前記画像を拡張して、第２の画素値範囲に対応する画像データを生成することであって、前記第２の画素値範囲が前記第１の画素値範囲よりも大きい、生成すること、
第１の演算子を使用して前記画像データを更新することであって、前記第１の演算子が、前記第１の出力に基づいて、前記画像データ内の１つ又は複数のバンディング・アーチファクトを低減するためにフィルタを適用する、更新すること、
第２の演算子を使用して前記画像データを更新することであって、前記第２の演算子が、前記第２の出力に基づいて、前記拡張された画像の領域の輝度を修正する、更新すること、並びに
前記画像データを１つ又は複数のデバイスに出力すること
を含む動作を実行させる命令を記憶する、非一時的なマシン読取り可能ストレージ媒体。
第１の画素値範囲に対応する画像を受信すること、
訓練済み機械学習モデルを使用して前記画像に対応する入力を処理して、第１の出力及び第２の出力を生成すること、
前記画像を拡張して、第２の画素値範囲に対応する画像データを生成することであって、前記第２の画素値範囲が前記第１の画素値範囲よりも大きい、生成すること、
第１の演算子を使用して前記画像データを更新することであって、前記第１の演算子が、前記第１の出力に基づいて、前記画像データ内の１つ又は複数のバンディング・アーチファクトを低減するためにフィルタを適用する、更新すること、
第２の演算子を使用して前記画像データを更新することであって、前記第２の演算子が、前記第２の出力に基づいて、前記拡張された画像の領域の輝度を修正する、更新すること、並びに
前記画像データを１つ又は複数のデバイスに出力すること
を含む動作を実行させる命令を記憶する、非一時的なマシン読取り可能ストレージ媒体。
【請求項18】
前記画像が、標準ダイナミック・レンジ（ＳＤＲ）画像を含み、出力される前記画像データが、高ダイナミック・レンジ（ＨＤＲ）画像を含む、請求項１７に記載の非一時的なマシン読取り可能ストレージ媒体。
【請求項19】
前記第１の演算子が、可変幅のクランプされたバイラテラル・フィルタを含むローカル演算子であり、前記第２の演算子が、輝度乗数を含むグローバル演算子である、請求項１７に記載の非一時的なマシン読取り可能ストレージ媒体。
【請求項20】
前記訓練済み機械学習モデルが、前記画像を入力として使用して、前記第１の出力及び前記第２の出力を２つ以上の異なるチャネルに出力する畳み込みニューラル・ネットワーク（ＣＮＮ）を含み、前記２つ以上の異なるチャネルが、少なくとも、第１の拡張マップを含む第１のチャネルと、第２の拡張マップを含む第２のチャネルとを含む、請求項１７に記載の非一時的なマシン読取り可能ストレージ媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施例は、一般に、画像処理に関連し、より詳細には、画像コンテンツのダイナミック・レンジを拡張することに関連する。
【背景技術】
【0002】
多くの場合、画像コンテンツは、特定のディスプレイ解像度及びダイナミック・レンジを用いて生成される。ディスプレイ解像度は、画像の画素数に対応してもよく、ダイナミック・レンジは、各画素についての許容値の範囲を示してもよい。たとえば、画像コンテンツは、高精細（ＨＤ：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度と、標準ダイナミック・レンジ（ＳＤＲ：Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ－Ｒａｎｇｅ）とを有してもよい。ＨＤ解像度は、幅が１９２０画素、高さが１０８０画素であることを示すことができ、ＳＤＲは、各画素が０～２５５（たとえば、８ビット値）又は０～１０２３（たとえば、１０ビット値）の範囲内の値を有し得ることを示すことができ、ピーク表示明度約１００ｃｄ／ｍ２、黒レベル約０．１ｃｄ／ｍ２、及びＲｅｃ．７０９若しくはｓＲＧＢの色域を伴う。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示は、以下に示す詳細な説明、及び本開示の様々な実施例の添付の図面から、より完全に理解されよう。しかしながら、図面は、本開示を特定の実施例に限定するものと解釈されるべきではなく、説明及び理解のみを目的としている。
【図面の簡単な説明】
【0004】
【図1】本開示のいくつかの実施例による、画像と、画像のうちの１つ又は複数のダイナミック・レンジを拡張するための技術とを含む例示的なコンピューティング環境を示す図である。
【図2】本開示のいくつかの実施例による、１つ又は複数の画像のダイナミック・レンジを拡張する技術を含む処理デバイスの詳細なブロック図である。
【図3】本開示のいくつかの実施例による、１つ又は複数の画像のダイナミック・レンジを拡張するための方法のフロー図である。
【図4】本開示の実施例が動作することができる例示的なコンピュータ・システムのブロック図である。
【図5A】少なくとも一実施例による、推論及び／又は訓練論理を示す図である。
【図5B】少なくとも一実施例による、推論及び／又は訓練論理を示す図である。
【図6】少なくとも一実施例による、例示的なデータ・センタ・システムを示す図である。
【図7】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図8】少なくとも一実施例による、コンピュータ・システムを示す図である。
【図9】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図10】１つ又は複数の実施例による、グラフィックス・プロセッサの少なくとも一部分を示す図である。
【図11】少なくとも一実施例による、先進コンピューティング・パイプラインのための実例データ・フロー図である。
【図12】少なくとも一実施例による、先進コンピューティング・パイプラインにおいて機械学習モデルを訓練、適応、インスタンス化、及び導入するための実例システムのシステム図である。
【図13A】少なくとも一実施例による、機械学習モデルを訓練するためのプロセスのデータ・フロー図である。
【図13B】少なくとも一実施例による、事前訓練済みアノテーション・モデルを用いてアノテーション・ツールを拡張するためのクライアント・サーバ・アーキテクチャを示す図である。
【発明を実施するための形態】
【0005】
画像コンテンツは、多くの場合、多くの最新のディスプレイ・デバイスによってサポートされているものよりもはるかに低いダイナミック・レンジ及び色域を含む。たとえば、典型的なゲーミング・エンジンは、標準ダイナミック・レンジ（ＳＤＲ：Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ－Ｒａｎｇｅ）コンテンツを生成する場合があるが、最新のＴＶ及びモニタは、高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ－Ｒａｎｇｅ）コンテンツをサポートすることができる。コンテンツのダイナミック・レンジは、知覚可能な誤差なしで表示され得る輝度又は明度の範囲に対応する場合があり、画像の最大色調値と最小色調値との間の比率として表される場合がある。ＳＤＲコンテンツをＨＤＲコンテンツに拡張することは、従来、逆トーン・マッピングを使用して明度の範囲を広げることを含み、多くの場合、ＨＤＲコンテンツをより不自然に見せる過度に明るい部分及び視覚的なアーチファクト（たとえば、ハロー、バンディング）を伴う画像コンテンツがもたらされる。
【0006】
本開示の態様は、機械学習モデル（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ））を使用して画像コンテンツのダイナミック・レンジを拡張する、従来の逆トーン・マッピング技法を強化したものである、拡張プロセスのための技術を提供することによって、上記の欠陥及び他の欠陥に対処する。１つ又は複数の実施例では、入力として、より低いダイナミック・レンジ画像（たとえば、低コントラスト比の８ビットＲＧＢ）を取ることができ、画像コンテンツを更新するために使用される１つ又は複数の拡張マップを出力することができる機械学習モデルが実装される。拡張マップは、画像内の１つ又は複数の露出過度の領域の位置を識別する拡張マップを含んでもよい。露出過度の領域は、鏡面ハイライト、ユーザ・インターフェース要素（たとえば、ヘッドアップ・ディスプレイ）、他の属性、又はそれらの組合せに対応してもよい。別の拡張マップは、バンディングを伴う領域又は拡張時にバンディングが発生し得る領域に対応してもよく、デバンディングを実行するための値を示してもよい。値は、バンディングを最小化するために使用されてもよく、画像の各領域（たとえば、各画素位置）について値が存在してもよく、バンド（たとえば、ハローの輪郭）に沿った位置では、値が大きくなる場合がある。
【0007】
本技術は、機械学習モデルの出力を１つ又は複数の画像演算子への入力として使用してもよい。画像演算子は、１つ又は複数のグローバル演算子、１つ又は複数のローカル演算子、又はそれらの組合せを含んでもよい。グローバル演算子（たとえば、クランプされたバイラテラル・フィルタ）は、拡張マップのうちの１つ又は複数を使用して画像データを更新し、画像内のすべての輪郭を平滑化することなく、バンディングを伴う領域の輪郭を平滑化してもよい。ローカル演算子（たとえば、０．５乗数）は、拡張マップのうちの１つ又は複数を使用して、対応する露出過度の領域を識別して暗くしてもよい。更新された画像データは、ビット・マップの形式であってもよく、ＨＤＲ伝達関数への入力として使用されることが可能であり、ＨＤＲ伝達関数は、その画像データを符号化して、ＨＤＲ画像の最終フォーマットを作成することができる（たとえば、Ｒｅｃ．２０２０又はＲｅｃ．２１００に準拠した１０ビット符号化）。次いで、フォーマットされたＨＤＲ画像は、ユーザに表示するためのディスプレイ・デバイスに提供されることが可能である。
【0008】
機械学習モデルは、出力を複数のチャネルとして提供することができ、出力チャネルのうちのいくつかは、後続の画像処理のためのフィードバックとして使用されてもよい。出力チャネルは拡張マップを含んでもよく、各拡張マップは、１つ又は複数の出力チャネル（たとえば、出力行列の層）に対応してもよい。機械学習モデルは、フレームを処理することからの１つ又は複数の出力チャネルを機械学習モデルへの入力として使用して１つ又は複数の後続のフレームを処理できるフィードバック・ループを含んでもよい。このフィードバックにより、機械学習モデルは、フレーム間の動きを考慮した時間的態様（たとえば、時間的安定性）を提供することが可能になり得る。これにより、機械学習モデルがフレーム間の移動を使用して拡張を向上させることが可能になり得る。たとえば、それにより、画像の静止領域と非静止コンテンツとを区別することが容易になり得る。（たとえば、ヘッドアップ・ディスプレイ対シーンの移動）
【0009】
本明細書に開示される技術は、より低いダイナミック・レンジのコンテンツ（たとえば、ＳＤＲ）をより高いダイナミック・レンジのコンテンツ（たとえば、ＨＤＲ）に拡張するために使用され得る逆トーン・マッピング技法を置き換える又は補足することができる。逆トーン・マッピング技法は、典型的には、機械学習モデルを使用せずに実行され、機械学習モデルを使用する精度の低い逆トーン・マッピング技法は、モデルに、変換全体を実行させ、最終的なＨＤＲ画像を出力させる場合がある。機械学習モデルに変換全体を実行させると、機械学習モデルが非常に大きくなる可能性があり、その機械学習モデルは、ダイナミック・レンジの低いコンテンツを変換するために大量のコンピューティング・リソース及び時間を消費する可能性があり、より不透明で、エンド・ユーザによって修正されにくい。本明細書の実施例で開示される技術は、コンピューティング・リソースの消費が少なく且つより高速に（たとえば、リアルタイムで）実行できる、はるかに小さい機械学習モデルを使用するが、それでもなお、機械学習モデルを使用して変換全体を実行する逆トーン・マッピング技法よりも、より自然なＨＤＲコンテンツを提供することができる。より小さいモデルは、画像のダイナミック・レンジの拡張をさらに最適化するために検査及び手動で修正され得る拡張マップも生成する。
【0010】
上記で参照された技術の様々な態様が、限定としてではなく実例として以下に詳細に説明されている。以下に提供する実例は、１つ又は複数の画像信号プロセッサのパイプラインに組み込まれた技術について説明しており、イメージ・センサから画像が受信された後、且つ永続的に記憶される前に適用されてもよい。他の実例では、画像データが永続的に記憶された後に、本技術を使用して画像を更新してもよい。
【0011】
図１は、本開示のいくつかの実施例による、１つ又は複数の画像のダイナミック・レンジ拡張１０１を実行するための技術を含む例示的なコンピューティング環境１００を示す。コンピューティング環境１００は、画像１１０Ａ～１１０Ｂ、画像拡張器１２０、機械学習モデル１３０、拡張マップ１３５Ａ～１３５Ｂ、及び演算子１４０Ａ～１４０Ｂを含んでもよい。
【0012】
画像１１０Ａ～１１０Ｂは、画像コンテンツを含み、画像値を使用して画像コンテンツを表してもよい。画像値は、画素センサを備えた画像センサに由来する又は画像センサから導出される画素値に対応してもよい。各画像は、カラー画像又は単色画像であってもよく、静止画像（たとえば、写真）、画像シーケンス（たとえば、ビデオのフレーム）内の画像、又はそれらの組合せに対応してもよい。画像はまた、画像センサによって生成されていない合成画像（たとえば、ゲームのフレーム）であってもよい。画像１１０Ａは、ダイナミック・レンジ拡張１０１のための入力画像であってもよく、画像１１０Ｂは、ダイナミック・レンジ拡張１０１のための出力画像であってもよい。画像１１０Ａ～１１０Ｂのそれぞれは、値のセットに対応してもよく、セットは、サイズ（たとえば、セット・サイズ）を有してもよく、各値は、サイズ（たとえば、画素サイズ）を有してもよい。セット・サイズは、解像度と呼ばれることがあり、画素の量で測定されてもよく、７２０×４８０（たとえば、標準精細（ＳＤ：Ｓｔａｎｄａｒｄ－Ｄｅｆｉｎｉｔｉｏｎ））、１９２０×１８００（高精細（ＨＤ））、３８４０×２１６０（超高精細（４Ｋ ＵＨＤ：Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ））、７６８０×４３２０（８Ｋ ＵＨＤ）、又は他のサイズ若しくは比率であってもよい。値サイズは、画素サイズと呼ばれることがあり、ビット数に基づく範囲（たとえば、画素値範囲）を有してもよい。たとえば、値サイズは、８ビット（たとえば、範囲０～２５５）、１０ビット（たとえば、範囲０～１０２３）、１２ビット（たとえば、範囲０～４Ｋ）、他のビット数、又はそれらの組合せであってもよい。値サイズ（たとえば、画素サイズ）は、それぞれの画像のダイナミック・レンジに関連してもよい。
【0013】
画像１１０Ａ～１１０Ｂのそれぞれのダイナミック・レンジは、画像の明るい領域（たとえば、最も明るい領域）と画像の暗い領域（たとえば、最も暗い領域）との間の輝度の範囲である。一実例では、ダイナミック・レンジは、１つ又は複数の最も明るい画素（たとえば、最大の輝度値）と１つ又は複数の最も暗い画素（たとえば、最小の輝度値）との間の比率として表されてもよい。別の実例では、ダイナミック・レンジは、ビット深度（たとえば、８ビット）、色域（たとえば、Ｒｅｃ．７０９又はｓＲＧＢ）、他の数値若しくは非数値、又はそれらの組合せとして表されてもよい。入力画像１１０Ａのダイナミック・レンジは、ダイナミック・レンジ拡張１０１のために、出力画像１１０Ｂのダイナミック・レンジよりも小さくてもよい。たとえば、入力画像１１０Ａは、標準ダイナミック・レンジ（ＳＤＲ）画像、低ダイナミック・レンジ（ＬＤＲ）画像、又は他の用語であってもよく、出力画像１１０Ｂは、高ダイナミック・レンジ（ＨＤＲ）画像、広ダイナミック・レンジ、拡大されたダイナミック・レンジ、拡張されたダイナミック・レンジ、又は他の用語であってもよい。ダイナミック・レンジという用語は、輝度範囲、光度範囲、明度範囲、強度範囲、他の範囲、若しくはそれらの組合せと同じ又は同様であってもよい。
【0014】
画像１１０Ａのダイナミック・レンジは、ダイナミック・レンジ拡張１０１によって表されるように拡張されて、出力画像１１０Ｂを作成してもよい。一実例では、ダイナミック・レンジ拡張１０１は、逆トーン・マッピング手順の一部であるか又はそれを補足してもよい。別の実例では、ダイナミック・レンジ拡張１０１は、逆トーン・マッピング手順の代替又は代用であってもよい。いずれの実例においても、ダイナミック・レンジ拡張１０１は、１つ又は複数の画像拡張器１２０、機械学習モデル１３０、及び画像演算子１４０を使用して、１つ又は複数の処理デバイスによって実行される技法であってもよい。
【0015】
画像拡張器１２０は、入力として画像１１０Ａを受信してもよく、画像を拡張して画像データ１２２を作成してもよい。画像を拡張することは、値サイズ、値、セット・サイズ、又はそれらの組合せを変更することを含んでもよい。たとえば、画像１１０Ａは、特定のサイズ（たとえば、８ビット）及び特定の範囲（たとえば、０～２５５）を伴う値のセットを有してもよく、画像拡張器１２０は、より大きいサイズ（たとえば、１２ビット）及びより大きい範囲（０～４，０９５）を伴う値を含む更新されたセットを生成してもよい。画像拡張器１２０はまた、拡張された値サイズに基づいて値を拡張してもよい。値の拡張は、１つ又は複数の数学演算を含んでもよく、線形、非線形、又はそれらの組合せであってもよい。画像拡張器１２０は、セット・サイズの変更を回避し（たとえば、同じ解像度）、セット・サイズを拡張し（たとえば、解像度を上げる）、又はセット・サイズを低減してもよい（たとえば、解像度を下げる）。画像拡張器１２０は、機械学習モデル１３０が画像１１０Ａを処理するために使用される前、最中、又は後に画像１１０Ａを拡張してもよい。
【0016】
機械学習モデル１３０は、画像１１０Ａを入力として取り、１つ又は複数の拡張マップ１３５Ａ～１３５Ｂを出力できる任意のモデルであってもよい。機械学習モデル１３０は、１つ又は複数の数学的モデル、統計モデル、他のモデル、又はそれらの組合せであるか又はそれらを含んでもよい。機械学習モデル１３０は、複数の層（たとえば、３つ以上の層）を有する深層ニューラル・ネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であってもよい。複数の層のうちの少なくとも１つは、畳み込み演算（たとえば、畳み込み層）を含んでもよく、機械学習モデル１３０は、畳み込みニューラル・ネットワーク（ＣＮＮ）と呼ばれることがある。
【0017】
機械学習モデル１３０は、追加的に又は代替的に、アップサンプリングを実行する１つ又は複数の層を含んでもよく、１つ又は複数の復号層を有する自己符号化器、１つ又は複数の逆畳み込み層（たとえば、アップ・コンボリューション層）を有するｕ－ｎｅｔ、他の深層ニューラル・ネットワーク、若しくはそれらの組合せと同じ又は同様であってもよい。アップサンプリング（たとえば、アップサンプリング層）は、マップ（たとえば、活性化マップ、特徴マップ、拡張マップ）の形式でデータを受信してもよく、受信されたデータの次元又は解像度を増加させてもよい。アップサンプリングは、入力画像の次元又は解像度に近いプーリング演算及び出力マップによって行われるダウンサンプリングを相殺してもよい（たとえば、入力画像及び出力拡張マップは同じ又は同様の次元／解像度を有してもよい）。
【0018】
上記のタスクの一部又はすべてを実行するために使用され得る機械学習モデルのタイプの１つは、深層ニューラル・ネットワークなどの人工ニューラル・ネットワークである。人工ニューラル・ネットワークには、一般に、特徴を所望の出力空間にマッピングする分類器又は回帰層を有する特徴表現構成要素を含む。たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ）は、畳み込みフィルタの複数の層をホストする。プーリングが実行され、非線形性は下位層で対処されてもよく、通常はその上に多層パーセプトロンが追加され、畳み込み層によって抽出された最上層の特徴が決定（たとえば、分類出力など）にマッピングされる。深層学習は、特徴の抽出及び変換のために非線形処理ユニットの一連の複数の層を使用する機械学習アルゴリズムのクラスである。連続する各層は、前の層からの出力を入力として使用する。深層ニューラル・ネットワークは、教師あり（たとえば、分類）及び／又は教師なし（たとえば、パターン分析）の方式で学習してもよい。深層ニューラル・ネットワークは層の階層を含み、様々な層が、様々なレベルの抽象化に対応する様々なレベルの表現を学習する。深層学習では、各レベルは、入力データをもう少し抽象的で複合的な表現に変換することを学習する。たとえば、画像認識アプリケーションでは、生の入力は画素の行列であってもよく、第１の表現層は、画素を抽象化し、エッジを符号化してもよく、第２の層は、エッジの配置を構成及び符号化してもよく、第３の層は、より高いレベルの形状（たとえば、歯、唇、歯茎など）を符号化してもよく、第４の層は、走査の役割を認識してもよい。特に、深層学習プロセスは、どの機能をどのレベルに最適に配置するかを独自に学習することができる。「深層学習」における「深層」とは、データが変換される際に通る層の数を指す。より正確には、深層学習システムは、実質的な貢献度割当て経路（ＣＡＰ：ｃｒｅｄｉｔ ａｓｓｉｇｎｍｅｎｔ ｐａｔｈ）深度を有する。ＣＡＰは、入力から出力への変換のチェーンである。ＣＡＰは、入力と出力との間の潜在的な因果関係を表す。順伝播型ニューラル・ネットワークの場合、ＣＡＰの深度は、ネットワークの深度であってもよく、隠れ層の数に１を加えたものであってもよい。信号が層を２回以上伝播し得る再帰型ニューラル・ネットワークの場合、ＣＡＰ深度は、場合によっては無制限である。
【0019】
一実施例では、１つ又は複数の機械学習モデルに対してＵ－ｎｅｔアーキテクチャが使用される。Ｕ－ｎｅｔは、符号化器と復号器とを適切に連結して組み合わせて局所的な特徴と大域的な特徴との両方を捕捉する深層ニューラル・ネットワークの一種である。符号化器は、一連の畳み込み層であり、入力から出力への処理時に高さ及び幅を減らしながらチャネル数を増やす一連の畳み込み層であり、一方、復号器は、高さ及び幅を増やし、チャネル数を減らす。同じ画像の高さ及び幅を伴う符号化器からの層は、復号器からの出力と連結されてもよい。符号化器及び復号器からの畳み込み層のいずれか又はすべては、従来の又は深度別に分離可能な畳み込みを使用してもよい。
【0020】
一実施例では、１つ又は複数の機械学習モデルは、再帰型ニューラル・ネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）である。ＲＮＮは、ニューラル・ネットワークが時間的依存関係を捕捉することを可能にするメモリを含むニューラル・ネットワークの一種である。ＲＮＮは、現在の入力と過去の入力との両方に依存する入出力マッピングを学習することが可能である。ＲＮＮは、訓練データセットを使用して、（たとえば、ビデオ・データなどの時間的に変化するデータを固定数のクラスに属するものとして分類するために）固定数の出力を生成するように訓練されてもよい。使用され得るＲＮＮの種類の１つは、長短期記憶（ＬＳＴＭ：ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ）ニューラル・ネットワークである。
【0021】
ＲＮＮのための一般的なアーキテクチャは、ＬＳＴＭ（長短期記憶）である。残念なことに、ＬＳＴＭは、畳み込みネットワークほど空間情報を捕捉しないので、画像にはあまり適していない。この目的のために、ＬＳＴＭセル内に畳み込み演算を含むＬＳＴＭの変形であるＣｏｎｖＬＳＴＭを利用することができる。ＣｏｎｖＬＳＴＭは、ＬＳＴＭセル内に畳み込み演算を含むＬＳＴＭ（長短期記憶）の変形である。ＣｏｎｖＬＳＴＭは、ＬＳＴＭセル内の各ゲートで行列乗算を畳み込み演算に置き換える。そうすることにより、ＣｏｎｖＬＳＴＭは、多次元データにおける畳み込み演算によって、基礎となる空間的特徴を捕捉する。ＣｏｎｖＬＳＴＭとＬＳＴＭと間の主な違いは、入力次元の数である。ＬＳＴＭ入力データは１次元であるため、ビデオ、衛星、レーダ画像データセットなどの空間シーケンス・データには適していない。ＣｏｎｖＬＳＴＭは、その入力として３Ｄデータ用に設計される。一実施例では、ＣＮＮ－ＬＳＴＭ機械学習モデルが使用される。ＣＮＮ－ＬＳＴＭは、ＣＮＮ（畳み込み層）とＬＳＴＭとの統合である。最初に、モデルのＣＮＮ部分がデータを処理し、１次元の結果がＬＳＴＭモデルに送られる。
【0022】
機械学習モデル１３０は、アノテーション付けされた画像のセットを使用して訓練された訓練済み機械学習モデルであってもよい。画像のセットは、訓練セットと呼ばれることがあり、増強された画像、合成画像、合成された画像、シミュレートされた画像、他の画像、又はそれらの組合せを含んでもよい。画像は、静止画像（たとえば、写真）、動画（たとえば、ビデオ・フレーム）、他の画像、又はそれらの組合せであってもよい。画像は、画像内に埋め込まれている又は画像とは別のアノテーション（たとえば、別のアノテーション・ファイル）に関連付けられてもよい。アノテーションは、元の画像の一部であってもよく、又は人間、プログラム、処理デバイス、又はそれらの組合せによって後で元の画像に追加されてもよい。
【0023】
訓練画像のセットに関連付けられたアノテーションは、画像の、バンディング領域、露出過度の領域、他の領域、又はそれらの組合せに対応する部分を示してもよい。アノテーションは、領域の内側、領域の外側、領域の輪郭上、又はそれらの組合せにある特定の画素値又は特定の画素位置を識別することによって、領域を示してもよい。バンディング領域は、画像の、バンディング（たとえば、カラー・バンディング）を伴う部分を含んでもよい。バンディングは、画像の、自然なグラデーション（たとえば、日没）を表す部分をデジタルで量子化するときに発生する画像アーチファクトであってもよい。自然なグラデーションは、日陰の段階的な変化として表されるべきであるが、多くの場合、日陰の段階的な変化が少ないバンド（たとえば、急激な輪郭）として表される。バンディングの輪郭は、画像内の他の輪郭とは異なる（たとえば、物体のボーダとは異なる）。
【0024】
露出過度の領域は、画像内で露出過度であるか又は拡張されると露出過度になり得る画素に対応してもよい。一実例では、露出過度の領域は、画像の高反射エリア又は鏡面反射に対応してもよい。鏡面反射は、照明されたときに反射物体に現れる鏡面ハイライト（たとえば、輝点）であるか又はそれを含んでもよい。露出過度の領域は、追加的に又は代替的に、画像内の他の画像コンテンツの上に重ね合わされたユーザ・インターフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のユーザ・インターフェース要素に対応してもよい。ユーザ・インターフェース要素は、ユーザ入力要素（たとえば、制御要素、ボタン、ツマミ）、ユーザ出力要素（たとえば、表示要素、マップ、コンパス、スピード・メータ、ボーダ、リスト、テーブル、ガイド）、又はそれらの組合せとして使用される、グラフィカル・ユーザ・インターフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）要素であってもよい。一実例では、画像は、ゲーミング・エンジン用であってもよく、露出過度の領域は、ヘッドアップ・ディスプレイ（ＨＵＤ：Ｈｅａｄｓ－Ｕｐ Ｄｉｓｐｌａｙ）のユーザ・インターフェース要素を含んでもよい。別の実例では、画像は、メディア・プレーヤからのものであってもよく、露出過度の領域は、コンテンツをナビゲートするためのユーザ・インターフェース要素（たとえば、再生、一時停止、残り時間、コンテンツ・ガイド、字幕、又はクローズド・キャプション）を含んでもよい。
【0025】
訓練フレームワークは、アノテーション付き画像を分析し、機械学習モデル１３０を生成又は更新してもよい。訓練フレームワークは、訓練画像のセット内のパターンを識別し、重み、バイアス、フィルタ、カーネル、機械学習モデル１３０の他の部分を調整して、入力画像と拡張マップ１３５Ａ～１３５Ｂを含むモデル出力との間のマッピングを示してもよい。一実例では、機械学習モデル１３０は、両方の拡張マップ１３５Ａ～１３５Ｂを生成する単一のモデルであってもよい。別の実例では、機械学習モデル１３０は、複数のモデルを含んでもよく、モデルのうちの少なくとも１つは、拡張マップ１３５Ａを生成するために使用されてもよく、モデルのうちの少なくとも１つは、拡張マップ１３５Ｂを生成するために使用されてもよい。
【0026】
ニューラル・ネットワークの訓練は、教師あり学習の方式で達成されてもよく、教師あり学習の方式は、ネットワークを介してラベル付き入力で構成される訓練データセットを送り出すこと、その出力を観察すること、（出力とラベル値との間の差分を測定することによって）誤差を定義すること、並びに、誤差が最小化されるように、深層勾配降下法及び逆伝播法の手法を使用して、ネットワークの重みをそのすべての層及びノードにわたって調整することを含む。多くの適用例では、訓練データセット内の多くのラベル付き入力にわたってこのプロセスを繰り返すと、訓練データセット内に存在する入力とは異なる入力が提示されたときに正しい出力を作成できるネットワークがもたらされる。大きい画像などの高次元の環境では、この一般化は、十分に大きく多様な訓練データセットが利用可能になったときに達成される。
【0027】
訓練を実現するために、処理論理は、１つ又は複数の訓練データセットを１つ又は複数の未訓練の機械学習モデルに入力する。機械学習モデルに最初の入力を入力する前に、機械学習モデルは初期化されてもよい。処理論理は、訓練データセットに基づいて未訓練の機械学習モデルを訓練して、本明細に記載の様々な動作を実行する１つ又は複数の訓練済み機械学習モデルを生成する。
【0028】
訓練は、１つ又は複数の画像を機械学習モデルに一度に１つずつ入力することによって実行されてもよい。機械学習モデルに入力されるデータは、単一の層又は複数の層を含んでもよい。機械学習モデルは、入力を処理して出力を生成する。人工ニューラル・ネットワークは、データ点における値（たとえば、強度値、及び／又は高さマップ内の画素の高さの値）で構成される入力層を含む。次の層は、隠れ層と呼ばれ、隠れ層のノードはそれぞれ、入力値のうちの１つ又は複数を受け取る。各ノードは、入力値に適用するパラメータ（たとえば、重み）を含む。したがって、各ノードは、基本的に、入力値を多変数関数（たとえば、非線形の数学的変換）に入力して、出力値を作成する。次の層は、別の隠れ層又は出力層であってもよい。いずれの場合も、次の層のノードは、前の層のノードから出力値を受け取り、各ノードは、それらの値に重みを適用し、次いで、独自の出力値を作成する。これは、各層において実行されてもよい。最終層は出力層であり、機械学習モデルが作成できるクラス、予測、及び／又は出力ごとに１つのノードがある。たとえば、露出過度の領域を識別又は予測するように訓練されている人工ニューラル・ネットワークの場合、第１のクラスは露出過度の領域に対応してもよく、第２のクラスは露出過度ではない領域に対応してもよい。実施例では、クラス、予測などは、画像内の画素ごとに決定されてもよい。画素レベルのセグメンテーションの場合、最終層は、画像／内の画素ごとに、画像の画素が第１のクラスに属する確率、画素が第２のクラスに属する確率、及び任意選択で、画素が１つ又は複数の他のクラスに属する確率を適用してもよい。
【0029】
したがって、出力は、１つ若しくは複数の予測及び／又は１つ若しくは複数の確率マップを含んでもよい。たとえば、出力された確率マップは、入力画像内の画素ごとに、画素が第１のクラスに属する第１の確率、画素が第２のクラスに属する第２の確率などを含んでもよい。
【0030】
次いで、処理論理は、生成された確率マップ及び／又は他の出力を、訓練データ項目に含まれていた既知の確率マップ及び／又はラベルと比較してもよい。処理論理は、出力された確率マップ及び／又はラベルと提供された確率マップ及び／又はラベルとの間の差異に基づいて誤差（すなわち、分類誤差）を決定する。処理論理は、誤差に基づいて、機械学習モデル内の１つ又は複数のノードの重みを調整する。誤差項又はデルタは、人工ニューラル・ネットワークのノードごとに決定されてもよい。人工ニューラル・ネットワークは、この誤差に基づいて、そのノードのうちの１つ又は複数に対するそのパラメータのうちの１つ又は複数（ノードの１つ又は複数の入力に対する重み）を調整する。最上位層にあるノードが最初に更新され、その後に次の層にあるノードが更新され、以下同様であるように、パラメータは逆伝播方式で更新されてもよい。人工ニューラル・ネットワークは、「ニューロン」の複数の層を含み、各層は、前の層にあるニューロンから値を入力として受け取る。各ニューロンのパラメータは、前の層にあるニューロンのそれぞれから受け取った値に関連付けられた重みを含む。したがって、パラメータを調整することは、人工ニューラル・ネットワーク内の１つ又は複数の層にある１つ又は複数のニューロンに対する入力のそれぞれに割り当てられた重みを調整することを含んでもよい。
【0031】
モデル・パラメータが最適化されると、モデルが改善されたかどうかを判定するため、また深層学習モデルの現在の精度を判定するために、モデル検証が実行されてもよい。１回又は複数回の訓練の後、処理論理は、停止基準が満たされているかどうかを判定してもよい。停止基準は、精度のターゲット・レベル、訓練データセットからの処理済み画像のターゲット数、１つ若しくは複数の前のデータ点にわたるパラメータに対する変更のターゲット量、それらの組合せ、及び／又は他の基準であってもよい。一実施例では、停止基準は、少なくとも最小数のデータ点が処理され、少なくともしきい値精度が達成されたときに満たされる。しきい値精度は、たとえば、７０％、８０％、又は９０％の精度であってもよい。一実施例では、機械学習モデルの精度が向上しなくなった場合、停止基準が満たされる。停止基準が満たされていない場合、さらなる訓練が実行される。停止基準が満たされている場合、訓練は完了してもよい。機械学習モデルが訓練されると、訓練データセットの確保された部分を使用してモデルをテストしてもよい。
【0032】
拡張マップ１３５Ａ～１３５Ｂは、ダイナミック・レンジ拡張１０１の一部として画像データ１２２を更新するために演算子１４０によって使用されるデータを含んでもよい。拡張マップ１３５Ａ～１３５Ｂは、それぞれ、要素のｎ次元行列として表されてもよく、各要素は、画像の特定の領域に対応する値を含んでもよい。領域は、単一の画素位置又は複数の画素位置のセットに対応してもよい。たとえば、ｎ次元行列は、２次元テーブルであってもよく、各要素は、入力画像内の特定の画素位置に対する数値を含んでもよい。一実例では、機械学習モデル１３０を使用して生成される拡張マップ１３５Ａ～１３５Ｂは、特徴マップ、活性化マップ、分類マップ、セグメンテーション・マップ、距離マップ、マスク、他の用語、又はそれらの組合せを指すことがある。
【0033】
拡張マップ１３５Ａは、分類マップと同じ又は同様であってもよく、画像内の１つ又は複数の露出過度の領域を分類する値を含んでもよい。一実例では、拡張マップ１３５Ａ内の各値は、画像内の対応する画素位置が露出過度の領域の一部であるかどうかを示してもよい。拡張マップ１３５Ａが２つの分類に対応する場合、それはマスク（たとえば、バイナリ・マスク、露出過度マスク）と呼ばれることがあり、領域の一部であるすべての画素又は領域の一部ではない画素のすべてをマスクしてもよい。画像を拡張するとき、領域に対応する画素位置が、異なる方法で扱われる可能性があるので、拡張マップ１３５Ａは有用である場合がある。たとえば、露出過度の領域は、高い輝度を有する可能性があり、演算子１４０に関して以下に述べるように、画像内の他の領域とは異なる技法を使用して更新されてもよい。拡張マップ１３５Ｂは、画像の、バンディングの結果である部分（たとえば、バンディング輪郭）に対応する値を含んでもよい。一実例では、拡張マップ１３５Ｂ内の各値は、画像内の対応する画素位置に適用するためのバンディングの量を示してもよく、これについては、デバンディング演算子及びデバンディング・モジュール２２４に関して以下でより詳細に説明する。
【0034】
演算子１４０は、拡張マップ１３５を使用して画像データ１２２を更新してもよく、１つ又は複数のローカル演算子、グローバル演算子、又はそれらの組合せを含んでもよい。ローカル演算子は、空間的に変化する演算子と同じ又は同様であってもよく、周囲領域の値（たとえば、近傍の画素値）に従って領域の値（たとえば、画素値）を変更してもよい。グローバル演算子は、ほとんど又はすべての値を周囲領域の値（たとえば、近傍の画素値）に依存せずに同じ方法で変更する空間的に均一な演算子と同じ又は同様であってもよい。ローカル演算子及びグローバル演算子は、１つ又は複数の線形関数、非線形関数、又はそれらの組合せを使用することができる。一実例では、演算子１４０は、輝度修正演算子及びバンディング演算子を含んでもよい。
【0035】
輝度修正演算子は、拡張マップ１３５Ａを使用して画像データ１２２を更新して、特定の領域の輝度を修正してもよい。輝度修正演算子は、隣接する画素位置にある値に依存せずに（たとえば、近傍に依存せずに）画素位置を更新するグローバル演算子の実例であってもよい。更新される画素位置は、拡張マップ１３５Ａを使用して識別されてもよい。たとえば、上記で述べたように、拡張マップ１３５Ａは、関心領域に対応する画素位置を識別してもよく、輝度修正演算子は、それらの画素を修正して、輝度値を減少させる（たとえば、露出過度の画素を暗くする）、輝度値を増加させる（たとえば、高反射率画素を明るくする）、又はそれらの組合せを行ってもよい。図２に関して以下に述べるように、輝度修正演算子は、グローバル乗数値（たとえば、０．５乗数、又は２．０乗数）であってもよい。
【0036】
デバンディング演算子は、拡張マップ１３５Ｂを使用して画像データ１２２を更新して、バンディングを低減してもよい（たとえば、カラー・バンディングを最小化する）。デバンディング演算子は、ローカル演算子の一例であってもよく、隣接する画素位置にある値に基づいて（たとえば、近傍に依存して）画素位置を評価してもよい。各画素位置に使用する隣接する画素の量は、拡張マップ１３５Ｂ内の対応する要素値に基づいてもよい。拡張マップ１３５Ｂ内の各要素値は、画素距離、画素量、他の値、又はそれらの組合せを示してもよい。拡張マップ１３５Ｂは、各画素位置に対する要素値を有してもよく、バンド輪郭に沿った要素値は、画像の他の領域（たとえば、他の輪郭）に対応する要素値よりも大きい要素値を有してもよい。図２に関して以下で述べるように、デバンディング演算子は、ブラーリング演算子又は平滑化演算子（たとえば、クランプされたバイラテラル・フィルタ）であってもよい。
【0037】
画像１１０Ａのデータを分析及び更新するプロセスは、特定のデータ・フロー（たとえば、画像パイプライン）に従って任意の順序で行うことができる。順序は、逐次的に、並列的に、又はそれらの組合せで行われる１つ又は複数の更新を含んでもよい。図１に示す実例では、画像１１０Ａのデータは、画像拡張器１２０及び機械学習モデル１３０に提供されてもよく、それぞれの出力は、演算子１４０に提供されてもよい。演算子１４０は、画像データ１２２に逐次的に適用されてもよく、輝度修正演算子は、デバンディング演算子の前に適用されてもよく、輝度修正演算子の前にデバンディング演算子、他の順序、又はそれらの組合せであってもよい。
【0038】
図２は、本開示の１つ又は複数の態様による、１つ又は複数の画像のダイナミック・レンジを拡張するための技術を実装する例示的な処理デバイス２００を示すブロック図を示す。図１に関して上記で述べたように、処理デバイス２００は、画像１１０Ａを受信し、ダイナミック・レンジ拡張１０１を実行して画像１１０Ｂを作成するように構成されてもよい。図２に示す実例では、処理デバイス２００は、機械学習モデル構成要素２１０、画像更新構成要素２２０を含んでもよく、データ・ストア２３０に関連付けられてもよい。ブロックのうちの１つ又は複数は、論理ブロックであってもよく、ハードウェア（たとえば、集積回路（ＩＣ：ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）若しくは他の回路）、コンピュータ・コード（たとえば、ファームウェア、ソフトウェア、若しくは他のプログラム）、又はそれらの組合せとして実装されてもよい。一般性を失うことなく、より多い若しくはより少ない構成要素又はモジュールが含まれてもよい。たとえば、２つ以上の構成要素が単一の構成要素に組み合わされてもよく、又は構成要素の機能が２つ以上の構成要素に分割されてもよい。
【0039】
処理デバイス２００は、１つ又は複数の画像のデータを処理することが可能な１つ又は複数のデバイスであってもよい。処理デバイス２００は、画像プロセッサと呼ばれることがあり、１つ又は複数の画像信号プロセッサ（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、グラフィカル・プロセッシング・ユニット（ＧＰＵ：Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、データ処理ユニット（ＤＰＵ：Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、他の集積回路、又はそれらの組合せであるか又はそれらを含んでもよい。
【0040】
処理デバイス２００は、別のデバイスから、１つ又は複数の画像をアナログ信号、デジタル信号、又はそれらの組合せとして受信してもよい。他のデバイスは、１つ又は複数の画像のソースであってもよく、ゲーミング・エンジン（たとえば、ゲーム・コンソール又はプログラム）、メディア・プレーヤ（たとえば、セット・トップ・ボックス、ＤＶＤプレーヤ、ストリーミング・アプリケーション）、ホスト・プロセッサ（たとえば、ＣＰＵ）、イメージ・センサ（たとえば、カメラ）、ストレージ・デバイス（メイン・メモリなど）、他のソース、又はそれらの組合せであってもよい。画像は、画像シーケンスであってもよく、シーケンス内の各画像はビデオ・フレームであってもよい。処理デバイス２００は、画像を、符号化された画像、生画像、又はそれらの組合せとして受信してもよい。受信された画像は、ディスプレイ・デバイスによってサポートされる画素値範囲よりも小さい画素値範囲を有してもよい。画素値範囲の概念は、ビット深度と同じ又は同様であってもよい。たとえば、受信された画像は、低ダイナミック・レンジ（たとえば、ビット深度１０）を伴う画素値範囲を有してもよく、ディスプレイ・デバイスによってサポートされる画素値範囲は、高ダイナミック・レンジ（ＨＤＲ）（たとえば、１０よりも大きいビット深度）であってもよい。処理デバイス２００は、受信された画像を画像１１０Ａとしてデータ・ストア２３０（たとえば、プロセッサ・メモリ又はメイン・メモリ）内に記憶してもよい。
【0041】
機械学習モデル構成要素２１０は、１つ又は複数の画像を処理し、拡張マップ１３５Ａ～１３５Ｂを生成してもよい。一実例では、機械学習モデル構成要素２１０は、処理モジュール２１２、拡張マップ・モジュール２１４、及び時間的フィードバック・モジュール２１６を含んでもよい。
【0042】
処理モジュール２１２は、処理デバイス２００が、訓練済み機械学習モデルを使用して１つ又は複数の画像を処理することを可能にしてもよい。処理モジュール２１２は、推論エンジン又は推論エンジンとのインターフェースとして機能してもよく、データ・ストア２３０から機械学習モデル１３０の一部又はすべてをロードしてもよい。上記で述べたように、機械学習モデル１３０は、畳み込みニューラル・ネットワーク（ＣＮＮ）であってもよく、重み値、バイアス値、フィルタ値、他の値、又はそれらの組合せを含んでもよい。処理モジュール２１２は、データ・ストア２３０からの画像にアクセスし、各画像を、入力の１つ又は複数のチャネル（たとえば、赤チャネル、青チャネル、緑チャネル（ＲＢＧ））として提供してもよい。次いで、処理モジュール２１２は、機械学習モデル１３０を考慮して入力チャネルを処理して、１つ又は複数の出力を作成してもよい。一実例では、機械学習モデル１３０は、画像を処理し、異なる出力（たとえば、異なる拡張マップ）で複数のチャネルを出力するために使用される、単一のモデルであってもよい。別の実例では、機械学習モデル１３０は、複数のモデルを含んでもよく、モデルのうちの少なくとも１つは、第１の出力を生成するために使用されてもよく、モデルのうちの少なくとも１つは、第２の出力を生成するために使用されもよい。複数のモデルが、モデル・パイプライン内に配置されてもよく、直列、並列、又はそれらの組合せで実行されてもよい。
【0043】
拡張マップ・モジュール２１４は、処理デバイス２００が、処理モジュール２１２の出力データにアクセスし、出力データを１つ又は複数の拡張マップ１３５Ａ～１３５Ｂとしてデータ・ストア２３０内に記憶することを可能にしてもよい。一実例では、出力データは複数のチャネルを含んでもよく、あるチャネルは第１の出力を含んでもよく、別のチャネルは第２の出力を含んでもよい。第１の出力は、入力画像内の各画素についての値を含む拡張マップを含んでもよく、値は、各画素位置の距離（たとえば、平滑化距離、ブラー距離、フィルタ幅）を示してもよい。第２の出力は、画像内の各画素についての値を含む拡張マップを含んでもよく、値は、画素位置の分類を示してもよい。特定の分類（たとえば、真／１、又は偽／０）を有する画素は、輝度が修正される画像の領域に対応してもよい。一実例では、分類は、ユーザ・インターフェース分類に対応してもよく、画素が１つ又は複数のユーザ・インターフェース要素に対応していることを示してもよい。
【0044】
時間的フィードバック・モジュール２１６は、処理デバイス２００が、機械学習モデル１３０の出力を、後続の処理ラウンドのために機械学習モデル１３０への入力として使用する、フィードバック・ループを導入することを可能にしてもよい。フィードバック・ループは、機械学習モデルの外部、機械学習モデルの内部、又はそれらの組合せである１つ又は複数のフィードバック・ループを含んでもよい。機械学習モデル１３０の外部にあるフィードバック・ループは、機械学習モデル１３０の出力層からデータを取り、データを機械学習モデル１３０の入力層に提供してもよい（たとえば、データを入力層の１つ又は複数のノードに送り込んでもよい）。機械学習モデル１３０の内部にあるフィードバック・ループは、機械学習モデル１３０の隠れ層からデータを取り、データを同じ層又は前の層に送り込んでもよい。たとえば、フィードバック・ループは、ある隠れ層のノードから別の隠れ層のノード（たとえば、再帰型ニューラル・ネットワーク（ＲＮＮ）、トランスフォーマ）にデータを送り込んでもよい。
【0045】
上記で述べたように、順序付けられた画像シーケンス（たとえば、時系列に順序付けられたビデオ・フレーム）の一部である複数の画像が存在してもよく、処理モジュール２１２は、シーケンス内の画像を処理し、次いで、処理された画像からの出力を入力として使用して、シーケンス内の１つ又は複数の後続の画像を処理してもよい。一実例では、機械学習モデル１３０は複数の出力チャネル（たとえば、１２又は１６の出力チャネル）を有してもよく、出力チャネルのいくつかは拡張マップを含んでもよく、残りのチャネルは、後続の処理のためのフィードバックとして使用されてもよい。フィードバック・ループの一部分であるチャネルは、蓄積された時間的情報及びモデル履歴を含んでもよい。情報を機械学習モデル１３０にフィードバックすることは、機械学習モデル１３０が画像間の動き（たとえば、隣接するビデオ・フレーム間の差異）を考慮した時間的態様（たとえば、時間的安定性）を提供することを可能にし得るので、有利であってもよい。以前の出力を現在の入力と整合させるために、蓄積された時間的情報及びモデル履歴は、モードに入力される前に、入力シーケンスからの速度ベクトル又は動きベクトルによって変換されてもよい。これにより、機械学習モデル１３０は、フレーム間の移動を使用して、画像の静止領域と非静止コンテンツとをより適切に区別できるようになる（たとえば、ヘッドアップ・ディスプレイ対シーンの移動）。
【0046】
画像更新構成要素２２０は、処理デバイス２００が入力画像１１０Ａのデータを更新してダイナミック・レンジを拡張し、出力画像１１０Ｂを作成することを可能にしてもよい。図２に示す実例では、画像更新構成要素２２０は、画像拡張モジュール２２２、デバンディング・モジュール２２４、輝度修正モジュール２２６、及び出力モジュール２２８を含んでもよい。
【0047】
画像拡張モジュール２２２は、処理デバイスが、画像１１０Ａのデータを拡張して、拡張された画像データ１２２を生成することを可能にしてもよい。画像１１０のデータは、より小さい画素値範囲（たとえば、０～１０２３）を有してもよく、より大きい画素値範囲（たとえば、０～６５，５３５）を有する画像データ１２２を生成するために使用されてもよい。画像拡張モジュール２２２は、図１の画像拡張器１２０と同じ又は同様であってもよい。一実例では、画像拡張モジュール２２２は、逆量子化を実行して、特定の範囲（たとえば、１０２４の１０ビット範囲）内にある画像１１０Ａの値のセットを、より大きい範囲（たとえば、６５，５３６の１６ビット範囲）に拡張してもよい。これは、より小さい範囲のより低い部分、中間の部分、及びより高い部分にある値を、より大きい範囲のそれぞれのより低い部分、中間の部分、及びより高い部分にあるように更新することを含んでもよい（たとえば、０は０のままであり、１０２３は６５，５３５になる）。
【0048】
輝度修正モジュール２２６は、処理デバイスが、画像データ１２２を更新して、拡張マップ１３５Ａによって識別される特定の領域の輝度を修正することを可能にしてもよい。輝度修正モジュール２２６は、上記で述べた輝度修正演算子を使用して、１つ又は複数の特定の画素の強度を修正してもよい（たとえば、露出過度の画素を暗くするか又は露出不足の画素を明るくする）。修正された画素は、拡張マップ１３５Ａを使用して識別されてもよい。修正は、識別された領域の画素値に１つ又は複数のグローバル値を乗算、除算、減算、又は加算することを含む、１つ又は複数の線形演算又は非線形演算を含んでもよい。グローバル値は、１つの画像全体にわたって又は複数の画像全体にわたって一定のままである所定の値であってもよく、処理デバイスが画像を受信する前に決定されてもよい。たとえば、グローバル値は、デバイス（たとえば、処理デバイス、ホスト・マシン、グラフィックス・カード、イメージ・センサ）、プログラム（たとえば、ゲーミング・エンジン、メディア・プレーヤ、デバイス・ドライバ、ファームウェア、オペレーティング・システム）、ユーザ（たとえば、ゲーム設計者、コンテンツ製作者、閲覧者、技術者、管理者）、他のエンティティ、又はそれらの組合せによって提供されてもよい。一実例では、輝度修正演算子は、特定の画素の強度をグローバル値で乗算する輝度乗数であってもよい。輝度乗数は、乗算演算（たとえば、０．５で乗算）、除算演算（たとえば、２で除算）、ビットシフト演算（たとえば、右に１ビットシフト）、他の演算、又はそれらの組合せを使用してもよい。
【0049】
デバンディング・モジュール２２４は、処理デバイスが、バンディングを低減する（たとえば、カラー・バンディングを最小化する）デバンディング演算子を使用して画像データ１２２を更新することを可能にしてもよい。上記で述べたように、デバンディング演算子は、機械学習モデル１３０の出力（たとえば、拡張マップ１３５Ｂ）を使用して、各画素位置に使用する隣接画素の量を決定してもよい。一実例では、デバンディング演算子は、ブラーリング演算子であってもよく、拡張マップ１３５Ｂ内の要素値は、ブラー距離であってもよい。別の実例では、デバンディング演算子は平滑化演算子であってもよく、拡張マップ１３５Ｂ内の要素値は平滑化距離であってもよい。平滑化演算子は、バイラテラル・フィルタ（たとえば、クランプされたバイラテラル・フィルタ）と同じ又は同様であってもよい。
【0050】
バイラテラル・フィルタは、非線形、エッジ保存、及び／又はノイズ低減である平滑化フィルタであってもよい。バイラテラル・フィルタは、近くの画素からの強度値の加重平均に基づいて、各画素の強度に対する置換値を決定してもよい。重みは、ガウス分布に基づいてもよく、ガウシアン・ブラー又は選択的ガウシアン・ブラーと呼ばれることがある。バイラテラル・フィルタは、追加的に又は代替的に、画素距離値（たとえば、ユークリッド距離）、放射測定差分値（たとえば、色強度、深度距離などの差分の範囲）、他の値、又はそれらの組合せに依存してもよい。一実例では、バイラテラル・フィルタは、クランプされたバイラテラル・フィルタであってもよい。
【0051】
クランプされたバイラテラル・フィルタは、対応する値がしきい値差分を超えたときに、置換値又は置換値の算出に使用される１つ若しくは複数の近くの画素のいずれかを除外することによって、鮮明なエッジを保持してもよい。しきい値差分は、任意の数値に基づく所定の値であってもよく、数値は、ビット数（１ビット差、２ビット差など）に基づいてもよい。たとえば、差分しきい値が１ビットである場合、強度の２倍（たとえば、明度の２倍）を超える任意の値、又は強度の２分の１（たとえば、明度の２分の１）未満の任意の値は除外されてもよい。差分しきい値が２ビットである場合、強度の４倍（たとえば、明度の４倍）を超える任意の値、又は強度の４分の１（たとえば、明度の２５％）未満の任意の値は除外されてもよい。バイラテラル・フィルタをクランプすることは、はるかに明るい又は暗い近くの画素が平滑化演算子に与える影響を低減させる可能性がある。これにより、平滑化演算子は、不自然な輪郭（たとえば、カラー・バンディング）を変更し、自然な輪郭（たとえば、物体の輪郭）への変更を最小化することが可能になる。
【0052】
出力モジュール２２８は、処理デバイス２００が、拡張された画像データ１２２を１つ又は複数のデバイスに出力することを可能にしてもよい。デバイスには、ディスプレイ・デバイス、データ・ストレージ・デバイス、データ送信デバイス、別の処理デバイス、他のデバイス、又はそれらの組合せが含まれてもよい。画像データをディスプレイ・デバイス（たとえば、テレビ、モニタ、プロジェクタ）に出力することは、画像データを表示又は再生することと同じ又は同様であってもよい。画像データをデータ・ストレージ・デバイス（たとえば、メモリ、ハード・ドライブ、ソリッド・ステート・ドライブ）に出力することは、画像データを記憶することと同じ又は同様であってもよい。画像データをデータ送信デバイス（たとえば、ネットワーク、バス、相互接続部）に出力することは、画像データをストリーミングすることと同じ又は同様であってもよい。
【0053】
処理デバイス２００は、１つ又は複数のデバイスにデータを出力する前、最中、又は後に画像データ１２２を符号化してもよい。画像データを符号化するプロセスは、伝達関数を使用して、画像コンテンツをＨＤＲビデオ・フォーマット、ＨＤＲ静止画フォーマット、又はそれらの組合せに符号化することを含んでもよい。伝達関数は、バンディングの人間の視覚的知覚に基づいてもよく、知覚されるバンディングをさらに最小化することが可能であってもよい。伝達関数は、ＳＤＲにおいて使用されるガンマ曲線を置き換えることによって、画像データ１２２をＨＤＲコンテンツとして符号化してもよい。知覚量子化器は、任意の数のビット（たとえば、１２ビット値）を使用してもよく、最大１００００ｃｄ／ｍ２（ｎｉｔ）から０．０００１ｎｉｔに至るまでの輝度範囲（たとえば、画素値範囲、ダイナミック・レンジ）を表すことが可能であってもよい。伝達関数は、非線形関数、線形伝達関数、又はそれらの組合せ（たとえば、最初は線形部分で、その後に非線形部分が続く）であってもよい。一実例では、伝達関数は、知覚量子化器（ＰＱ：Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚｅｒ）、光電伝達関数（ＯＥＴＦ：Ｏｐｔｏ－Ｅｌｅｃｔｒｏｎｉｃ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、電光伝達関数（ＥＯＴＦ：Ｅｌｅｃｔｒｏ－Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、光光伝達関数（ＯＯＴＦ：Ｏｐｔｏ－Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、他の伝達関数、又はそれらの組合せであってもよい。また、符号化された画像は、Ｒｅｃ．７０９、Ｒｅｃ．２０２０、Ｒｅｃ．２１００、他の標準化された若しくは独自の符号化、又はそれらの組合せなど、国際電気通信連合無線通信部門（ＩＴＵ－Ｒ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｒａｄｉｏ ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）の推奨される符号化に準拠してもよい。推奨される符号化は、高ダイナミック・レンジ（ＨＤＲ）及び広色域（ＷＣＧ：Ｗｉｄｅ Ｃｏｌｏｒ Ｇａｍｕｔ）を備えた超高精細テレビ（ＵＨＤＴＶ：Ｕｌｔｒａ－Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）の、画像解像度、プログレッシブ・スキャンによるフレーム・レート、ビット深度、原色、ＲＧＢ及びルーマとクロマの色表現、クロマ・サブサンプリング、並びに伝達関数を含む態様を定義する場合がある。
【0054】
図３は、本開示の１つ又は複数の態様による、１つ又は複数の画像のダイナミック・レンジを拡張するための方法３００の１つの説明的な実例のフロー図を示す。方法３００及びその個々の機能、ルーチン、サブルーチン、又は動作のそれぞれは、１つ又は複数の処理デバイスによって実行されてもよい。特定の実装形態では、方法３００は、単一のコンピューティング・デバイス（たとえば、ゲーム・コンソール、メディア・プレーヤ、又はディスプレイ・デバイス）の処理デバイスによって実行されてもよい。代替として、方法３００は、２つ以上のコンピューティング・デバイスの処理デバイスによって実行されてもよく、各コンピューティング・デバイスは、方法の１つ又は複数の個々の機能、ルーチン、サブルーチン、又は動作を実行する。
【0055】
説明を簡単にするために、本開示の方法は、一連の行為として描写及び説明されている。しかしながら、本開示による行為を、様々な順序で且つ／又は同時に、本明細書に提示及び記載されていない他の行為とともに行うことができる。さらに、開示された主題に従って方法を実施するには、図示されたすべての行為が必要とされるわけではない。さらに、当業者には、方法が、状態図又はイベントを介して一連の相互に関連する状態として代替的に表現され得ることが理解及び認識されよう。さらに、本明細書に開示される方法は、そのような方法をコンピューティング・デバイスに伝送及び転送することを容易にするために、製造品上に記憶されることが可能であることが認識されるべきである。本明細書で使用される「製造品」という用語は、任意のコンピュータ読取り可能デバイス又はストレージ媒体からアクセス可能なコンピュータ・プログラムを包含することを意図している。一実施例では、方法３００は、図２に示すような機械学習モデル構成要素２１０及び画像更新構成要素２２０を使用して実行されてもよい。
【0056】
方法３００は、処理デバイス（たとえば、処理デバイス２００）の処理論理によって実行されてもよく、動作３１０において開始してもよい。動作３１０において、処理論理は、第１の画素値範囲を含む画像を受信してもよい。画像は、カラー画像又は単色画像であってもよく、静止画像（たとえば、写真）、画像シーケンス（たとえば、ビデオ・フレーム）内の画像、又はそれらの組合せに対応してもよい。第１の画素値範囲（たとえば、第１のビット深度）は、画素値（たとえば、８ビット、１０ビット）のサイズに対応してもよく、８ビット画素値の場合は０～２５５の範囲、１０ビット画素値の場合は０～１０２３の範囲を有してもよい。画素値範囲は、画像のダイナミック・レンジに関連してもよく、ダイナミック・レンジは、画像の最も明るい領域（たとえば、最も明るい画素）と画像の最も暗い領域（たとえば、最も暗い画素）との間の輝度の範囲である。
【0057】
動作３２０において、処理論理は、訓練済み機械学習モデルを使用して、画像を含む入力を処理して、第１の出力及び第２の出力を生成することができる。一実例では、第１の出力は、画像内の各画素について第１の演算子によって考慮される画素からの距離を示す第１の拡張マップであってもよい。第２の出力は、画像内の各画素について画素の分類を示す第２の拡張マップであってもよい。第１の分類を有する画素は、輝度がその後修正されることになる拡張された画像の領域内に含まれてもよい。
【0058】
訓練済み機械学習モデルは、畳み込みニューラル・ネットワーク（ＣＮＮ）であるか又はそれを含んでもよい。ＣＮＮは、画像を入力として使用し、第１の出力及び第２の出力を異なるチャネルで出力してもよい。異なるチャネルは、第１の拡張マップを含む第１のチャネルと、第２の拡張マップを含む第２のチャネルとを含んでもよい。一実例では、訓練済み機械学習モデルは、訓練済み機械学習モデルの１つ又は複数の以前の出力（たとえば、以前の画像を処理することからの出力チャネル）を入力として使用してもよい。
【0059】
動作３３０において、処理論理は、画像を拡張して、第２の画素値範囲（たとえば、第２のビット深度）を含む画像データを生成することができる。第２の画素値範囲は、第１の画素値範囲より大きくてもよい。入力を拡張すること及び処理することは、逆トーン・マッピング手順の一部であってもよい。一実例では、画像を拡張することは、８ビットの入力画像を逆量子化して１０ビット、１２ビット、１６ビット、又は３２ビットの画像データを生成することを含んでもよい。入力画像は、より低いダイナミック・レンジ（たとえば、ＳＤＲ）画像であるか又はそれを含んでもよく、出力される画像データは、より高いダイナミック・レンジ（たとえば、ＨＤＲ）画像であるか又はそれを含んでもよい。
【0060】
動作３４０において、処理論理は、第１の演算子を使用して画像データを更新することができる。第１の演算子は、ローカル演算子又はグローバル演算子であってもよい。第１の演算子は、第１の出力に基づいて画像データ内のバンディング・アーチファクトを低減するためにフィルタを適用してもよい。一実例では、第１の演算子は、クランプされたバイラテラル・フィルタを含むローカル演算子であってもよい。
【0061】
動作３５０において、処理論理は、第２の演算子を使用して画像データを更新することができる。第２の演算子は、ローカル演算子又はグローバル演算子であってもよい。第２の演算子は、第２の出力に基づいて、拡張された画像の領域の輝度を修正してもよい。一実例では、領域は、ユーザ・インターフェース分類として分類されてもよく、第２の演算子は、領域に対応する少なくとも１つの輝度値を低減してもよい（たとえば、１未満の値又は端数を乗算する）。別の実例では、領域は、高反射率分類として分類されてもよく、第２の演算子は、領域に対応する少なくとも１つの輝度値を増加させてもよい（たとえば、１を超える値又は端数を乗算する）。
【0062】
動作３６０において、処理論理は、画像データを出力することができる。一実例では、入力画像は、フレーム・シーケンスを含むビデオのフレームを含み、出力することは、各フレーム・シーケンスの拡張された画像データを、ディスプレイ・デバイス、ストレージ・デバイス、送信デバイス、他のデバイス、又はこれらの組合せに出力することを含んでもよい。ブロック３６０を参照して本明細書で上述した動作を完了することに応答して、方法は終了してもよい。
【0063】
図４は、コンピュータ・システム４００の例示的なマシンを示しており、コンピュータ・システム４００の中で、本明細書に述べる方法論のうちのいずれか１つ又は複数をマシンに実行させるための命令セットが実行され得る。いくつかの実施例では、コンピュータ・システム４００は、キャッシュ・コントローラ、メモリ・コントローラ、又はそれらの組合せを伴うプロセッサを含むコンピューティング・デバイスとすることができる。代替的な実施例では、マシンは、ＬＡＮ、イントラネット、エクストラネット、及び／又はインターネット内の他のマシンに接続（たとえば、ネットワーク化）され得る。マシンは、クライアント・サーバ・ネットワーク環境内のサーバ又はクライアント・マシンの容量で、ピアツーピア（若しくは分散）ネットワーク環境内のピア・マシンとして、又はクラウド・コンピューティング・インフラストラクチャ若しくは環境内のサーバ若しくはクライアント・マシンとして動作することができる。
【0064】
マシンは、パーソナル・コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、セット・トップ・ボックス（ＳＴＢ：ｓｅｔ－ｔｏｐ ｂｏｘ）、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話、ウェブ・アプライアンス、サーバ、ネットワーク・ルータ、スイッチ若しくはブリッジ、又はそのマシンによって行われるアクションを指定する（逐次的な若しくは他の方法による）命令セットを実行することが可能な任意のマシンとすることができる。さらに、単一のマシンが示されているが、「マシン」という用語は、本明細書に述べる方法論のうちのいずれか１つ又は複数を実行するための、命令のセット（若しくは複数のセット）を個別に又は共同で実行するマシンの集合体を含むと解釈されるものとする。
【0065】
例示的なコンピュータ・システム４００は、処理デバイス４０２（たとえば、プロセッサ２００）、メイン・メモリ４０４（たとえば、読取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、フラッシュ・メモリ、同期ＤＲＡＭ（ＳＤＲＡＭ：ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）又はＲａｍｂｕｓ ＤＲＡＭ（ＲＤＲＡＭ）などのダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）など）、スタティック・メモリ４０６（たとえば、フラッシュ・メモリ、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）など）、及びデータ・ストレージ・システム４１８を含み、これらは、バス４３０を介して互いに通信する。
【0066】
処理デバイス４０２は、マイクロプロセッサ、中央処理装置などの１つ又は複数の汎用処理デバイスを表す。より具体的には、処理デバイスは、複合命令セット・コンピューティング（ＣＩＳＣ：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｉｎｇ）・マイクロプロセッサ、縮小命令セット・コンピューティング（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｉｎｇ）・マイクロプロセッサ、超長命令語（ＶＬＩＷ：ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ）マイクロプロセッサ、又は他の命令セットを実装するプロセッサ若しくは命令セットの組合せを実装するプロセッサとすることができる。処理デバイス４０２は、データ処理ユニット（ＤＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワーク・プロセッサなどの１つ又は複数の専用処理デバイスとすることもできる。処理デバイス４０２は、本明細書に述べる動作及びステップを実行するための命令４２６を実行するように構成される。コンピュータ・システム４００は、ネットワーク４２０を介して通信するためのネットワーク・インターフェース・デバイス４０８をさらに含むことができる。
【0067】
データ・ストレージ・システム４１８は、マシン読取り可能ストレージ媒体４２４（非一時的なコンピュータ読取り可能媒体としても知られる）を含むことができ、マシン読取り可能ストレージ媒体４２４上には、１つ又は複数の命令セット４２６、又は本明細書に記載の方法論若しくは機能のうちのいずれか１つ又は複数を具現化するソフトウェアが記憶される。命令４２６はまた、コンピュータ・システム４００によるその実行中に、メイン・メモリ４０４内に且つ／又は処理デバイス４０２内に完全に若しくは少なくとも部分的に常駐することができ、メイン・メモリ４０４及び処理デバイス４０２もまた、マシン読取り可能ストレージ媒体を構成する。マシン読取り可能ストレージ媒体４２４、データ・ストレージ・システム４１８、及び／又はメイン・メモリ４０４は、図１のデータ・ストア２３０に対応することができる。
【0068】
一実施例では、命令４２６は、図２の画像更新構成要素２２０に対応する機能を実装するための命令を含む。マシン読取り可能ストレージ媒体４２４は、例示的な実施例では単一の媒体であるように示されているが、「非一時的なマシン読取り可能ストレージ媒体」という用語は、１つ又は複数の命令セットを記憶する単一の媒体又は複数の媒体を含むと解釈されるべきである。「マシン読取り可能ストレージ媒体」という用語はまた、マシンによって実行するための命令セットを記憶又は符号化することが可能であり、本開示の方法論のうちのいずれか１つ又は複数をマシンに実行させる任意の媒体を含むと解釈されるものとする。したがって、「マシン読取り可能ストレージ媒体」という用語は、これらに限定されないが、ソリッド・ステート・メモリ、光学媒体、及び磁気媒体を含むと解釈されるものとする。
【0069】
推論及び訓練の論理
図５Ａは、１つ又は複数の実施例に関して推論及び／又は訓練の動作を実行するために使用される推論及び／又は訓練論理（ハードウェア構造）５１５を示す。推論及び／又は訓練論理５１５に関する詳細事項は、図５Ａ及び／又は図５Ｂと併せて以下に提供される。
図５Ａは、１つ又は複数の実施例に関して推論及び／又は訓練の動作を実行するために使用される推論及び／又は訓練論理（ハードウェア構造）５１５を示す。推論及び／又は訓練論理５１５に関する詳細事項は、図５Ａ及び／又は図５Ｂと併せて以下に提供される。
【0070】
少なくとも一実施例では、推論及び／又は訓練論理５１５は、１つ又は複数の実施例の態様において推論するように訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層を構成するための順伝播及び／若しくは出力の重み、及び／若しくは入力／出力データ、及び／若しくは他のパラメータを記憶するためのコード並びに／又はデータ・ストレージ５０１を、限定することなく含んでもよい。少なくとも一実施例では、訓練論理５１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ５０１を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ５０１には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ）を含む論理が構成される。少なくとも一実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０１は、１つ又は複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを順伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０１の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。
【0071】
少なくとも一実施例では、コード及び／又はデータ・ストレージ５０１の任意の部分は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ５０１は、キャッシュ・メモリ、ダイナミック・ランダム・アドレス可能メモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、スタティック・ランダム・アドレス可能メモリ（「ＳＲＡＭ」：ｓｔａｔｉｃ ｒａｎｄｏｍｌｙ ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はコード及び／又はデータ・ストレージ５０１が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージから構成されるかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論の機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
【0072】
少なくとも一実施例では、推論及び／又は訓練論理５１５は、１つ又は複数の実施例の態様において推論するために訓練及び／若しくは使用されるニューラル・ネットワークのニューロン若しくは層に対応した、逆伝播及び／若しくは出力の重み、及び／若しくは入力／出力データを記憶するためのコード並びに／又はデータ・ストレージ５０５を、限定することなく含んでもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０５は、１つ又は複数の実施例の態様を使用した訓練及び／又は推論中に、入力／出力データ及び／又は重みパラメータを逆伝播する間に１つ又は複数の実施例と併せて訓練又は使用されるニューラル・ネットワークの各層の重みパラメータ及び／又は入力／出力データを記憶する。少なくとも一実施例では、訓練論理５１５は、タイミング及び／又は順序を制御するためのグラフ・コード又は他のソフトウェアを記憶するためのコード及び／又はデータ・ストレージ５０５を含んでもよく、又はそれに結合されてもよく、コード及び／又はデータ・ストレージ５０５には、重み及び／又は他のパラメータ情報がロードされて、整数及び／又は浮動小数点ユニット（総称して算術論理演算ユニット（ＡＬＵ）を含む論理が構成される。少なくとも一実施例では、グラフ・コードなどのコードは、コードが対応するニューラル・ネットワークのアーキテクチャに基づき、重み又は他のパラメータ情報をプロセッサＡＬＵにロードする。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０５の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０５の任意の部分は、１つ又は複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路の内部にあっても外部にあってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０５は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０５が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージから構成されるかの選択は、オン・チップ対オフ・チップで利用可能なストレージ、実行される訓練及び／又は推論の機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。
【0073】
少なくとも一実施例では、コード及び／又はデータ・ストレージ５０１と、コード及び／又はデータ・ストレージ５０５は、別々のストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０１と、コード及び／又はデータ・ストレージ５０５は、同じストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０１と、コード及び／又はデータ・ストレージ５０５は、部分的に同じストレージ構造で、部分的に別々のストレージ構造であってもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０１と、コード及び／又はデータ・ストレージ５０５との任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。
【0074】
少なくとも一実施例では、推論及び／又は訓練論理５１５は、訓練及び／又は推論コード（たとえばグラフ・コード）に少なくとも部分的に基づく、又はそれにより示される論理演算及び／又は算術演算を実行するための、整数及び／又は浮動小数点ユニットを含む１つ又は複数の算術論理演算ユニット（「ＡＬＵ」）５１０を、限定することなく含んでもよく、その結果が、アクティブ化ストレージ５２０に記憶されるアクティブ化（たとえば、ニューラル・ネットワーク内の層若しくはニューロンからの出力値）を生成してもよく、これらは、コード及び／若しくはデータ・ストレージ５０１、並びに／又はコード及び／若しくはデータ・ストレージ５０５に記憶される入力／出力及び／又は重みパラメータのデータの関数である。少なくとも一実施例では、アクティブ化ストレージ５２０に記憶されるアクティブ化は、命令又は他のコードを実行したことに応答して、ＡＬＵ５１０によって実行される線形代数計算及び又は行列ベースの計算に従って生成され、ここでコード及び／或いはデータ・ストレージ５０５並びに／又はコード及び／或いはデータ・ストレージ５０１に記憶された重み値は、バイアス値、勾配情報、運動量値などの他の値、又は他のパラメータ若しくはハイパーパラメータとともにオペランドとして使用され、これらのいずれか又はすべてが、コード及び／若しくはデータ・ストレージ５０５、又はコード及び／若しくはデータ・ストレージ５０１、又はオン・チップ若しくはオフ・チップの別のストレージに記憶されてもよい。
【0075】
少なくとも一実施例では、ＡＬＵ５１０は、１つ若しくは複数のプロセッサ、又は他のハードウェア論理デバイス若しくは回路内に含まれるが、別の実施例では、ＡＬＵ５１０は、それらを使用するプロセッサ又は他のハードウェア論理デバイス若しくは回路の外部にあってもよい（たとえばコプロセッサ）。少なくとも一実施例では、ＡＬＵ５１０は、プロセッサの実行ユニット内に含まれてもよく、又は同じプロセッサ内にあるか異なるタイプの異なるプロセッサ（たとえば、中央処理装置、グラフィックス・プロセッシング・ユニット、固定機能ユニットなど）の間で分散されているかのいずれかであるプロセッサの実行ユニットによりアクセス可能なＡＬＵバンク内に、他のやり方で含まれてもよい。少なくとも一実施例では、コード及び／又はデータ・ストレージ５０１、コード及び／又はデータ・ストレージ５０５、並びにアクティブ化ストレージ５２０は、同じプロセッサ又は他のハードウェア論理デバイス若しくは回路にあってもよく、別の実施例では、それらは異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路にあってもよく、或いは同じプロセッサ又は他のハードウェア論理デバイス若しくは回路と、異なるプロセッサ又は他のハードウェア論理デバイス若しくは回路との何らかの組合せにあってもよい。少なくとも一実施例では、アクティブ化ストレージ５２０の任意の部分は、プロセッサのＬ１、Ｌ２、又はＬ３のキャッシュ、若しくはシステム・メモリを含む他のオン・チップ又はオフ・チップのデータ・ストレージとともに含められてもよい。さらに、推論及び／又は訓練コードが、プロセッサ又は他のハードウェア論理若しくは回路にアクセス可能な他のコードとともに記憶されてもよく、プロセッサのフェッチ、デコード、スケジューリング、実行、リタイア、及び／又は他の論理回路を使用してフェッチ及び／又は処理されてもよい。
【0076】
少なくとも一実施例では、アクティブ化ストレージ５２０は、キャッシュ・メモリ、ＤＲＡＭ、ＳＲＡＭ、不揮発性メモリ（たとえば、フラッシュ・メモリ）、又は他のストレージであってもよい。少なくとも一実施例では、アクティブ化ストレージ５２０は、完全に又は部分的に、１つ若しくは複数のプロセッサ又は他の論理回路の内部にあってもよく、又は外部にあってもよい。少なくとも一実施例では、アクティブ化ストレージ５２０が、たとえばプロセッサの内部にあるか外部にあるかの選択、又はＤＲＡＭ、ＳＲＡＭ、フラッシュ、若しくは何らか他のタイプのストレージから構成されるかの選択は、オン・チップ対オフ・チップの利用可能なストレージ、実行される訓練及び／又は推論機能のレイテンシ要件、ニューラル・ネットワークの推論及び／又は訓練で使用されるデータのバッチ・サイズ、又はこれらの要因の何からの組合せに応じて決められてもよい。少なくとも一実施例では、図５Ａに示す推論及び／又は訓練論理５１５は、グーグルからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ：ｉｎｆｅｒｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はインテルコーポレーションからのＮｅｒｖａｎａ（登録商標）（たとえば「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（「ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ」）と併せて使用されてもよい。少なくとも一実施例では、図５Ａに示す推論及び／又は訓練論理５１５は、中央処理装置（「ＣＰＵ」：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）など他のハードウェアと併せて使用されてもよい。
【0077】
図５Ｂは、少なくとも１つ又は複数の実施例による、推論及び／又は訓練論理５１５を示す。少なくとも一実施例では、推論及び／又は訓練論理５１５は、ハードウェア論理を限定することなく含んでもよく、このハードウェア論理では、計算リソースが、ニューラル・ネットワーク内のニューロンの１つ若しくは複数の層に対応する重み値又は他の情報の専用のものであるか、又は他のやり方でそれらと併せてしか使用されない。少なくとも一実施例では、図５Ｂに示す推論及び／又は訓練論理５１５は、グーグルからのＴｅｎｓｏｒｆｌｏｗ（登録商標）処理ユニット、Ｇｒａｐｈｃｏｒｅ（商標）からの推論処理ユニット（ＩＰＵ）、又はインテルコーポレーションからのＮｅｒｖａｎａ（登録商標）（たとえば「Ｌａｋｅ Ｃｒｅｓｔ」）プロセッサなどの特定用途向け集積回路（ＡＳＩＣ）と併せて使用されてもよい。少なくとも一実施例では、図５Ｂに示す推論及び／又は訓練論理５１５は、中央処理装置（ＣＰＵ）ハードウェア、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）ハードウェア、又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など他のハードウェアと併せて使用されてもよい。少なくとも一実施例では、推論及び／又は訓練論理５１５は、限定することなく、コード及び／又はデータ・ストレージ５０１、並びにコード及び／又はデータ・ストレージ５０５を含み、これらを使用して、コード（たとえばグラフ・コード）、重み値、並びに／又はバイアス値、勾配情報、運動量値、及び／若しくは他のパラメータ若しくはハイパーパラメータ情報を含む他の情報を記憶してもよい。図５Ｂに示す少なくとも一実施例では、コード及び／又はデータ・ストレージ５０１並びにコード及び／又はデータ・ストレージ５０５のそれぞれは、それぞれ計算ハードウェア５０２及び計算ハードウェア５０６などの専用計算リソースに関連付けられる。少なくとも一実施例では、計算ハードウェア５０２及び計算ハードウェア５０６のそれぞれは、線形代数関数などの数学的関数を、それぞれコード及び／又はデータ・ストレージ５０１並びにコード及び／又はデータ・ストレージ５０５に記憶された情報に対してのみ実行する１つ又は複数のＡＬＵを備え、その結果は、アクティブ化ストレージ５２０に記憶される。
【0078】
少なくとも一実施例では、コード並びに／又はデータ・ストレージ５０１及び５０５のそれぞれ、並びに対応する計算ハードウェア５０２及び５０６は、ニューラル・ネットワークの異なる層にそれぞれ対応し、それにより、コード及び／又はデータ・ストレージ５０１並びに計算ハードウェア５０２との１つの「ストレージ／計算の対５０１／５０２」から結果的に生じるアクティブ化は、ニューラル・ネットワークの概念的組織化を反映させるために、コード及び／又はデータ・ストレージ５０５並びに計算ハードウェア５０６との「ストレージ／計算の対５０５／５０６」への入力として提供される。少なくとも一実施例では、ストレージ／計算の対５０１／５０２、及び５０５／５０６は、２つ以上のニューラル・ネットワークの層に対応してもよい。少なくとも一実施例では、ストレージ／計算の対５０１／５０２、及び５０５／５０６の後に、又はそれと並列に、追加のストレージ／計算の対（図示せず）が、推論及び／又は訓練論理５１５に含まれてもよい。
【0079】
データ・センタ
図６は、少なくとも一実施例が使用されてもよい例示的なデータ・センタ６００を示す。少なくとも一実施例では、データ・センタ６００は、データ・センタ・インフラストラクチャ層６１０、フレームワーク層６２０、ソフトウェア層６３０、及びアプリケーション層６４０を含む。
図６は、少なくとも一実施例が使用されてもよい例示的なデータ・センタ６００を示す。少なくとも一実施例では、データ・センタ６００は、データ・センタ・インフラストラクチャ層６１０、フレームワーク層６２０、ソフトウェア層６３０、及びアプリケーション層６４０を含む。
【0080】
図６に示すように、少なくとも一実施例では、データ・センタ・インフラストラクチャ層６１０は、リソース・オーケストレータ６１２と、グループ化済みコンピューティング・リソース６１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」）６１６（１）～６１６（Ｎ）とを含んでもよく、ここで「Ｎ」は任意の正の整数を表す。少なくとも一実施例では、ノードＣ．Ｒ．６１６（１）～６１６（Ｎ）は、任意の数の中央処理装置（「ＣＰＵ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・デバイス（たとえば、ダイナミック読取り専用メモリ）、ストレージ・デバイス（たとえば、半導体ドライブ又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷ Ｉ／Ｏ」：ｎｅｔｗｏｒｋ ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」：ｖｉｒｔｕａｌ ｍａｃｈｉｎｅ）、電源モジュール、及び冷却モジュールを含んでもよいが、これらに限定されない。少なくとも一実施例では、ノードＣ．Ｒ．６１６（１）～６１６（Ｎ）のうち１つ又は複数のノードＣ．Ｒ．は、上述したコンピューティング・リソースのうちの１つ又は複数を有するサーバであってもよい。
【0081】
少なくとも一実施例では、グループ化済みコンピューティング・リソース６１４は、１つ若しくは複数のラック（図示せず）内に収容されたノードＣ．Ｒ．の別々のグループ、又は様々なグラフィカル・ロケーション（同じく図示せず）においてデータ・センタに収容された多数のラックを含んでもよい。グループ化済みコンピューティング・リソース６１４内のノードＣ．Ｒ．の別々のグループは、１つ若しくは複数のワークロードをサポートするように構成又は配分されてもよいグループ化済みのコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含んでもよい。少なくとも一実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のラック内でグループ化されて、１つ又は複数のワークロードをサポートするためのコンピュート・リソースが提供されてもよい。少なくとも一実施例では、１つ又は複数のラックはまた、任意の数の電源モジュール、冷却モジュール、及びネットワーク・スイッチを任意の組合せで含んでもよい。
【0082】
少なくとも一実施例では、リソース・オーケストレータ６１２は、１つ又は複数のノードＣ．Ｒ．６１６（１）～６１６（Ｎ）及び／若しくはグループ化済みコンピューティング・リソース６１４を構成してもよく、又は他のやり方で制御してもよい。少なくとも一実施例では、リソース・オーケストレータ６１２は、データ・センタ６００用のソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅ ｄｅｓｉｇｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含んでもよい。少なくとも一実施例では、リソース・オーケストレータは、ハードウェア、ソフトウェア、又はこれらの何らかの組合せを含んでもよい。
【0083】
図６に示すように、少なくとも一実施例では、フレームワーク層６２０は、ジョブ・スケジューラ６２２、構成マネージャ６２４、リソース・マネージャ６２６、及び分配ファイル・システム６２８を含む。少なくとも一実施例では、フレームワーク層６２０は、ソフトウェア層６３０のソフトウェア６３２、及び／又はアプリケーション層６４０の１つ若しくは複数のアプリケーション６４２をサポートするためのフレームワークを含んでもよい。少なくとも一実施例では、ソフトウェア６３２又はアプリケーション６４２はそれぞれ、アマゾン・ウェブ・サービス、グーグル・クラウド、及びマイクロソフト・アジュールによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含んでもよい。少なくとも一実施例では、フレームワーク層６２０は、大規模なデータ処理（たとえば「ビック・データ」）のために分配ファイル・システム６２８を使用することができるＡｐａｃｈｅ Ｓｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）など、無料でオープン・ソースのソフトウェア・ウェブ・アプリケーション・フレームワークの一種であってもよいが、これに限定されない。少なくとも一実施例では、ジョブ・スケジューラ６２２は、データ・センタ６００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含んでもよい。少なくとも一実施例では、構成マネージャ６２４は、ソフトウェア層６３０、並びに大規模なデータ処理をサポートするためのＳｐａｒｋ及び分配ファイル・システム６２８を含むフレームワーク層６２０などの異なる層を構成することが可能であってもよい。少なくとも一実施例では、リソース・マネージャ６２６は、分配ファイル・システム６２８及びジョブ・スケジューラ６２２をサポートするようにマッピング若しくは配分されたクラスタ化済み又はグループ化済みのコンピューティング・リソースを管理することが可能であってもよい。少なくとも一実施例では、クラスタ化済み又はグループ化済みのコンピューティング・リソースは、データ・センタ・インフラストラクチャ層６１０にあるグループ化済みコンピューティング・リソース６１４を含んでもよい。少なくとも一実施例では、リソース・マネージャ６２６は、リソース・オーケストレータ６１２と連携して、これらのマッピング又は配分されたコンピューティング・リソースを管理してもよい。
【0084】
少なくとも一実施例では、ソフトウェア層６３０に含まれるソフトウェア６３２は、ノードＣ．Ｒ．６１６（１）～６１６（Ｎ）、グループ化済みコンピューティング・リソース６１４、及び／又はフレームワーク層６２０の分配ファイル・システム６２８のうちの少なくとも一部分によって使用されるソフトウェアを含んでもよい。１つ又は複数のタイプのソフトウェアは、インターネット・ウェブ・ページ検索ソフトウェア、電子メール・ウイルス・スキャン・ソフトウェア、データベース・ソフトウェア、及びストリーミング・ビデオ・コンテンツ・ソフトウェアを含んでもよいが、これらに限定されない。
【0085】
少なくとも一実施例では、アプリケーション層６４０に含まれるアプリケーション６４２は、ノードＣ．Ｒ．６１６（１）～６１６（Ｎ）、グループ化済みコンピューティング・リソース６１４、及び／又はフレームワーク層６２０の分配ファイル・システム６２８のうちの少なくとも一部分によって使用される１つ若しくは複数のタイプのアプリケーションを含んでもよい。１つ若しくは複数のタイプのアプリケーションは、任意の数のゲノム学アプリケーション、認識コンピュート、並びに訓練若しくは推論のソフトウェア、機械学習フレームワーク・ソフトウェア（たとえば、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅなど）を含む機械学習アプリケーション、又は１つ若しくは複数の実施例と併せて使用される他の機械学習アプリケーションを含んでもよいが、これらに限定されない。
【0086】
少なくとも一実施例では、構成マネージャ６２４、リソース・マネージャ６２６、及びリソース・オーケストレータ６１２のうちのいずれかは、任意の技術的に実行可能なやり方で取得された任意の量及びタイプのデータに基づき、任意の数及びタイプの自己修正措置を実装してもよい。少なくとも一実施例では、自己修正措置は、データ・センタ６００のデータ・センタ演算子が、不良の恐れのある構成を決定しないようにし、十分に利用されていない且つ／又は性能の低いデータ・センタの部分をなくせるようにしてもよい。
【0087】
少なくとも一実施例では、データ・センタ６００は、１つ若しくは複数の機械学習モデルを訓練し、又は本明細書に記載の１つ若しくは複数の実施例による１つ若しくは複数の機械学習モデルを使用して情報を予測若しくは推論するためのツール、サービス、ソフトウェア、又は他のリソースを含んでもよい。たとえば、少なくとも一実施例では、機械学習モデルは、データ・センタ６００に関して上述したソフトウェア及びコンピューティング・リソースを使用して、ニューラル・ネットワーク・アーキテクチャに従って重みパラメータを計算することによって、訓練されてもよい。少なくとも一実施例では、１つ又は複数のニューラル・ネットワークに対応する訓練済み機械学習モデルは、本明細書に記載の１つ又は複数の技法によって計算された重みパラメータを使用することにより、データ・センタ６００に関して上述したリソースを使用して、情報を推論又は予測するために使用されてもよい。
【0088】
少なくとも一実施例では、データ・センタは、上述したリソースを使用して訓練及び／又は推論を実行するために、ＣＰＵ、特定用途向け集積回路（ＡＳＩＣ）、ＧＰＵ、ＦＰＧＡ、又は他のハードウェアを使用してもよい。さらに、上述した１つ又は複数のソフトウェア及び／又はハードウェアのリソースは、画像認識、音声認識、又は他の人工知能サービスなどの情報の訓練又は推論の実行を、ユーザが行えるようにするためのサービスとして構成されてもよい。
【0089】
推論及び／又は訓練論理５１５を使用して、１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作が実行される。推論及び／又は訓練論理５１５に関する詳細事項は、図５Ａ及び／又は図５Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理５１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図６のシステムにおいて使用されてもよい。
【0090】
こうした構成要素を使用して、ネットワーク訓練プロセスにおける障害事例を模倣した合成データを生成することができ、これは、過剰適合を回避するために合成データの量を制限しながらネットワークのパフォーマンスを向上させるのに役立つ可能性がある。
【0091】
コンピュータ・システム
図７は、例示的なコンピュータ・システムを示すブロック図であり、このコンピュータ・システムは、少なくとも一実施例による、命令を実行するための実行ユニットを含んでもよいプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳｏＣ）、又はこれら７００の何らかの組合せを有するシステムであってもよい。少なくとも一実施例では、コンピュータ・システム７００は、本明細書に記載の実施例などにおいて本開示に従ってデータを処理するためのアルゴリズムを実行する論理を含む実行ユニットを使用するための、プロセッサ７０２などの構成要素を、限定することなく含んでもよい。少なくとも一実施例では、コンピュータ・システム７００は、カリフォルニア州サンタクララのインテルコーポレーションから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含んでもよいが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含め）他のシステムが使用されてもよい。少なくとも一実施例では、コンピュータ・システム７００は、ワシントン州、レドモンドのマイクロソフトコーポレーションから入手可能なＷＩＮＤＯＷＳ（登録商標）のオペレーティング・システムのあるバージョンを実行してもよいが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースが使用されてもよい。
図７は、例示的なコンピュータ・システムを示すブロック図であり、このコンピュータ・システムは、少なくとも一実施例による、命令を実行するための実行ユニットを含んでもよいプロセッサとともに形成された、相互接続されたデバイス及び構成要素、システム・オン・チップ（ＳｏＣ）、又はこれら７００の何らかの組合せを有するシステムであってもよい。少なくとも一実施例では、コンピュータ・システム７００は、本明細書に記載の実施例などにおいて本開示に従ってデータを処理するためのアルゴリズムを実行する論理を含む実行ユニットを使用するための、プロセッサ７０２などの構成要素を、限定することなく含んでもよい。少なくとも一実施例では、コンピュータ・システム７００は、カリフォルニア州サンタクララのインテルコーポレーションから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含んでもよいが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含め）他のシステムが使用されてもよい。少なくとも一実施例では、コンピュータ・システム７００は、ワシントン州、レドモンドのマイクロソフトコーポレーションから入手可能なＷＩＮＤＯＷＳ（登録商標）のオペレーティング・システムのあるバージョンを実行してもよいが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースが使用されてもよい。
【0092】
実施例は、携帯型デバイス及び組み込みアプリケーションなど、他のデバイスで使用されてもよい。携帯型デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、及び携帯型ＰＣを含む。少なくとも一実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、システム・オン・チップ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋ ｃｏｍｐｕｔｅｒｓ）、セット・トップ・ボックス、ネットワーク・ハブ、広域ネットワーク（「ＷＡＮ」：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）スイッチ、又は少なくとも一実施例による１つ又は複数の命令を実行することができる任意の他のシステムを含んでもよい。
【0093】
少なくとも一実施例では、コンピュータ・システム７００は、限定することなくプロセッサ７０２を含んでもよく、このプロセッサ７０２は限定することなく、本明細書に記載の技法による機械学習モデルの訓練及び／又は推論を実行するための１つ又は複数の実行ユニット７０８を含んでもよい。少なくとも一実施例では、コンピュータ・システム７００は、シングル・プロセッサのデスクトップ又はサーバ・システムであるが、別の実施例では、コンピュータ・システム７００はマルチプロセッサ・システムであってもよい。少なくとも一実施例では、プロセッサ７０２は、限定することなく、複合命令セット・コンピュータ（「ＣＩＳＣ」：ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）マイクロプロセッサ、縮小命令セット・コンピューティング（「ＲＩＳＣ」）マイクロプロセッサ、超長命令語（「ＶＬＩＷ」）マイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は任意の他のプロセッサ・デバイス、たとえばデジタル信号プロセッサなどを含んでもよい。少なくとも一実施例では、プロセッサ７０２は、プロセッサ・バス７１０に結合されてもよく、このプロセッサ・バスは、プロセッサ７０２とコンピュータ・システム７００内の他の構成要素との間でデータ信号を送信してもよい。
【0094】
少なくとも一実施例では、プロセッサ７０２は、限定することなく、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）７０４を含んでもよい。少なくとも一実施例では、プロセッサ７０２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ７０２の外部にあってもよい。他の実施例は、特定の実装形態及び必要性に応じて、内部キャッシュと外部キャッシュの両方の組合せも含んでよい。少なくとも一実施例では、レジスタ・ファイル７０６は、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタを限定することなく含む様々レジスタに、異なるタイプのデータを記憶してもよい。
【0095】
少なくとも一実施例では、整数及び浮動小数点の演算を実行するための論理を限定することなく含む実行ユニット７０８も、プロセッサ７０２にある。少なくとも一実施例では、プロセッサ７０２は、ある一定のマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）も含んでよい。少なくとも一実施例では、実行ユニット７０８は、パック命令セット７０９に対処する論理を含んでもよい。少なくとも一実施例では、パック命令セット７０９を、命令を実行する関連回路とともに汎用プロセッサの命令セットに含めることにより、多くのマルチメディア・アプリケーションによって使用される演算を、汎用プロセッサ７０２のパック・データを使用して実行することができる。１つ又は複数の実施例では、プロセッサのデータ・バスの全幅を使用してパック・データの演算を実行することによって、多くのマルチメディア・アプリケーションを加速し、より効率的に実行することができ、これにより、１度に１つのデータ要素に対して１つ又は複数の演算を実行するためにプロセッサのデータ・バス間でより小さい単位のデータを転送する必要をなくすことができる。
【0096】
少なくとも一実施例では、実行ユニット７０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用されてもよい。少なくとも一実施例では、コンピュータ・システム７００は、限定することなくメモリ７２０を含んでもよい。少なくとも一実施例では、メモリ７２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）デバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装されてもよい。少なくとも一実施例では、メモリ７２０は、プロセッサ７０２によって実行されてもよいデータ信号によって表される命令７１９、及び／又はデータ７２１を記憶してもよい。
【0097】
少なくとも一実施例では、システム論理チップが、プロセッサ・バス７１０及びメモリ７２０に結合されてもよい。少なくとも一実施例では、システム論理チップは、限定することなく、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）７１６を含んでもよく、プロセッサ７０２は、プロセッサ・バス７１０を介してＭＣＨ７１６と通信してもよい。少なくとも一実施例では、ＭＣＨ７１６は、命令及びデータを記憶するため、及びグラフィックス・コマンド、データ、及びテクスチャを記憶するために、高帯域幅メモリ経路７１８をメモリ７２０に提供してもよい。少なくとも一実施例では、ＭＣＨ７１６は、プロセッサ７０２と、メモリ７２０と、コンピュータ・システム７００の他の構成要素との間でデータ信号を導き、プロセッサ・バス７１０と、メモリ７２０と、システムＩ／Ｏインターフェース７２２との間でデータ信号をブリッジしてもよい。少なくとも一実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供してもよい。少なくとも一実施例では、ＭＣＨ７１６は、高帯域幅メモリ経路７１８を介してメモリ７２０に結合されてもよく、グラフィックス／ビデオカード７１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）相互接続７１４を介してＭＣＨ７１６に結合されてもよい。
【0098】
少なくとも一実施例では、コンピュータ・システム７００は、ＭＣＨ７１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏ ｃｏｎｔｒｏｌｌｅｒ ｈｕｂ）７３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスであるシステムＩ／Ｏ７２２を使用してもよい。少なくとも一実施例では、ＩＣＨ７３０は、ローカルのＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供してもよい。少なくとも一実施例では、ローカルＩ／Ｏバスは、周辺装置をメモリ７２０、チップセット、及びプロセッサ７０２に接続するための高速Ｉ／Ｏバスを、限定することなく含んでもよい。例としては、オーディオ・コントローラ７２９、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）７２８、ワイヤレス・トランシーバ７２６、データ・ストレージ７２４、ユーザ入力及びキーボードのインターフェース７２５を含むレガシーＩ／Ｏコントローラ７２３、ユニバーサル・シリアル・バス（「ＵＳＢ」：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などのシリアル拡張ポート７２７、及びネットワーク・コントローラ７３４が、限定することなく含まれてもよい。データ・ストレージ７２４は、ハード・ディスク・ドライブ、フロッピー（登録商標）・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備えてもよい。
【0099】
少なくとも一実施例では、図７は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、一方他の実施例では、図７は例示的なシステム・オン・チップ（「ＳｏＣ」）を示してもよい。少なくとも一実施例では、デバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、コンピュータ・システム７００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ：ｃｏｍｐｕｔｅ ｅｘｐｒｅｓｓ ｌｉｎｋ）相互接続を使用して相互接続されてもよい。
【0100】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理５１５が使用される。推論及び／又は訓練論理５１５に関する詳細事項は、図５Ａ及び／又は図５Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理５１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図７のシステムにおいて使用されてもよい。
【0101】
こうした構成要素を使用して、ネットワーク訓練プロセスにおける障害事例を模倣した合成データを生成することができ、これは、過剰適合を回避するために合成データの量を制限しながらネットワークのパフォーマンスを向上させるのに役立つ可能性がある。
【0102】
図８は、少なくとも一実施例による、プロセッサ８１０を利用するための電子デバイス８００を示すブロック図である。少なくとも一実施例では、電子デバイス８００は、たとえば限定することなく、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、又は任意の他の好適な電子デバイスであってもよい。
【0103】
少なくとも一実施例では、システム８００は、任意の好適な数又は種類の構成要素、周辺装置、モジュール、若しくはデバイスに通信可能に結合されたプロセッサ８１０を、限定することなく含んでもよい。少なくとも一実施例では、プロセッサ８１０は、１°Ｃバス、システム・マネージメント・バス（「ＳＭＢｕｓ」：Ｓｙｓｔｅｍ Ｍａｎａｇｅｍｅｎｔ Ｂｕｓ）、ロー・ピン・カウント（ＬＰＣ：Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス、シリアル・ペリフェラル・インターフェース（「ＳＰＩ」：Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、ハイ・デフィニション・オーディオ（「ＨＤＡ」：Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ａｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：Ｓｅｒｉａｌ Ａｄｖａｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）バス、ユニバーサル・シリアル・バス（「ＵＳＢ」）（バージョン１、２、３）、又はユニバーサル非同期レシーバ／トランスミッタ（「ＵＡＲＴ」：Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなどのバス若しくはインターフェースを使用して結合される。少なくとも一実施例では、図８は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示すが、一方他の実施例では、図８は例示的なシステム・オン・チップ（「ＳｏＣ」）を示してもよい。少なくとも一実施例では、図８に示すデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はこれらの何らかの組合せで相互接続されてもよい。少なくとも一実施例では、図８の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（ＣＸＬ）相互接続を使用して相互接続されてもよい。
【0104】
少なくとも一実施例では、図８は、ディスプレイ８２４、タッチ画面８２５、タッチ・パッド８３０、近距離無線通信ユニット（「ＮＦＣ」：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｕｎｉｔ）８４５、センサ・ハブ８４０、熱センサ８４６、エクスプレス・チップセット（「ＥＣ」：Ｅｘｐｒｅｓｓ Ｃｈｉｐｓｅｔ）８３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：Ｔｒｕｓｔｅｄ Ｐｌａｔｆｏｒｍ Ｍｏｄｕｌｅ）８３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈ ｍｅｍｏｒｙ）８２２、ＤＳＰ８６０、ソリッド・ステート・ディスク（「ＳＳＤ」：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）若しくはハード・ディスク・ドライブ（「ＨＤＤ」：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などのドライブ８２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ ｕｎｉｔ）８５０、Ｂｌｕｅｔｏｏｔｈユニット８５２、ワイヤレス広域ネットワーク・ユニット（「ＷＷＡＮ」：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ ｕｎｉｔ）８５６、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）８５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）８５４、及び／又は、たとえばＬＰＤＤＲ３規格に実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：Ｌｏｗ Ｐｏｗｅｒ Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）８１５を含んでもよい。これらの構成要素は、それぞれ任意の好適なやり方で実装されてもよい。
【0105】
少なくとも一実施例では、上述した構成要素を介して、他の構成要素がプロセッサ８１０に通信可能に結合されてもよい。少なくとも一実施例では、加速度計８４１、周囲光センサ（「ＡＬＳ」：Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ）８４２、コンパス８４３、及びジャイロスコープ８４４が、センサ・ハブ８４０に通信可能に結合されてもよい。少なくとも一実施例では、熱センサ８３９、ファン８３７、キーボード８４６、及びタッチ・パッド８３０が、ＥＣ８３５に通信可能に結合されてもよい。少なくとも一実施例では、スピーカ８６３、ヘッドフォン８６４、及びマイクロフォン（「ｍｉｃ」）８６５が、オーディオ・ユニット（オーディオ・コーデック及びクラスｄアンプ）８６２に通信可能に結合されてもよく、このオーディオ・ユニットが、ＤＳＰ８６０に通信可能に結合されてもよい。少なくとも一実施例では、オーディオ・ユニット８６４は、たとえば限定することなく、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤアンプリファイアを含んでもよい。少なくとも一実施例では、ＳＩＭカード（「ＳＩＭ」）８５７は、ＷＷＡＮユニット８５６に通信可能に結合されてもよい。少なくとも一実施例では、ＷＬＡＮユニット８５０及びＢｌｕｅｔｏｏｔｈユニット８５２などの構成要素、並びにＷＷＡＮユニット８５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｆｏｒｍ Ｆａｃｔｏｒ）に実装されてもよい。
【0106】
１つ若しくは複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理５１５が使用される。推論及び／又は訓練論理５１５に関する詳細事項は、図５Ａ及び／又は図５Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理５１５は、本明細書に記載のニューラル・ネットワークの訓練動作、ニューラル・ネットワークの機能及び／若しくはアーキテクチャ、又はニューラル・ネットワークのユース・ケースを使用して計算された重みパラメータに少なくとも部分的に基づき、推論又は予測の動作のために図８のシステムにおいて使用されてもよい。
【0107】
こうした構成要素を使用して、ネットワーク訓練プロセスにおける障害事例を模倣した合成データを生成することができ、これは、過剰適合を回避するために合成データの量を制限しながらネットワークのパフォーマンスを向上させるのに役立つ可能性がある。
【0108】
図９は、少なくとも一実例による処理システムのブロック図である。少なくとも一実施例では、システム９００は、１つ又は複数のプロセッサ９０２、及び１つ又は複数のグラフィックス・プロセッサ９０８を含み、単一プロセッサのデスクトップ・システム、マルチプロセッサのワークステーション・システム、又は多数のプロセッサ９０２若しくはプロセッサ・コア９０７を有するサーバ・システムであってもよい。少なくとも一実施例では、システム９００は、モバイル・デバイス、携帯型デバイス、又は組み込みデバイスで使用するためのシステム・オン・チップ（ＳｏＣ）集積回路内に組み込まれた処理プラットフォームである。
【0109】
少なくとも一実施例では、システム９００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム及びメディアのコンソールを含むゲーム・コンソール、モバイル・ゲーミング・コンソール、携帯型ゲーム・コンソール、若しくはオンライン・ゲーム・コンソールを含んでもよく、又はそれらに組み込まれてもよい。少なくとも一実施例では、システム９００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス、又はモバイル・インターネット・デバイスである。少なくとも一実施例では、処理システム９００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、若しくは仮想現実デバイスなどのウェアラブル・デバイスを含んでもよく、それらに結合されてもよく、又はそれらの中に一体化されてもよい。少なくとも一実施例では、処理システム９００は、１つ又は複数のプロセッサ９０２と、１つ又は複数のグラフィックス・プロセッサ９０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。
【0110】
少なくとも一実施例では、１つ又は複数のプロセッサ９０２はそれぞれ、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実行する命令を処理するための１つ又は複数のプロセッサ・コア９０７を含む。少なくとも一実施例では、１つ又は複数のプロセッサ・コア９０７のそれぞれは、特定の命令セット９０９を処理するように構成される。少なくとも一実施例では、命令セット９０９は、複合命令セット・コンピューティング（ＣＩＳＣ）、縮小命令セット・コンピューティング（ＲＩＳＣ）、又は超長命令語（ＶＬＩＷ）を介したコンピューティングを容易にしてもよい。少なくとも一実施例では、プロセッサ・コア９０７はそれぞれ、異なる命令セット９０９を処理してもよく、この命令セットは、他の命令セットのエミュレーションを容易にする命令を含んでもよい。少なくとも一実施例では、プロセッサ・コア９０７はまた、デジタル信号プロセッサ（ＤＳＰ）などの他の処理デバイスを含んでもよい。
【0111】
少なくとも一実施例では、プロセッサ９０２はキャッシュ・メモリ９０４を含む。少なくとも一実施例では、プロセッサ９０２は、単一の内部キャッシュ又は複数レベルの内部キャッシュを有してもよい。少なくとも一実施例では、キャッシュ・メモリは、プロセッサ９０２の様々な構成要素間で共有される。少なくとも一実施例では、プロセッサ９０２はまた、外部キャッシュ（たとえば、レベル３（Ｌ３）キャッシュ又はラスト・レベル・キャッシュ（ＬＬＣ））（図示せず）を使用し、このキャッシュは、知られているキャッシュ・コヒーレンス技法を使用して、プロセッサ・コア９０７間で共有されてもよい。少なくとも一実施例では、さらにレジスタ・ファイル９０６がプロセッサ９０２に含まれ、このレジスタ・ファイルは、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、状態レジスタ、及び命令ポインタ・レジスタ）を含んでもよい。少なくとも一実施例では、レジスタ・ファイル９０６は、汎用レジスタ又は他のレジスタを含んでもよい。
【0112】
少なくとも一実施例では、１つ又は複数のプロセッサ９０２は、１つ又は複数のインターフェース・バス９１０に結合されて、アドレス、データ、又は制御信号などの通信信号を、プロセッサ９０２とシステム９００内の他の構成要素との間で送信する。少なくとも一実施例では、インターフェース・バス９１０は、一実施例では、ダイレクト・メディア・インターフェース（ＤＭＩ）バスのバージョンなどのプロセッサ・バスとすることができる。少なくとも一実施例では、インターフェース９１０は、ＤＭＩバスに限定されず、１つ又は複数のペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）、メモリ・バス、又は他のタイプのインターフェース・バスを含んでもよい。少なくとも一実施例では、プロセッサ９０２は、統合メモリ・コントローラ９１６、及びプラットフォーム・コントローラ・ハブ９３０を含む。少なくとも一実施例では、メモリ・コントローラ９１６は、メモリ・デバイスとシステム９００の他の構成要素との間の通信を容易にし、一方でプラットフォーム・コントローラ・ハブ（ＰＣＨ）９３０は、ローカルＩ／Ｏバスを介してＩ／Ｏデバイスへの接続を提供する。
【0113】
少なくとも一実施例では、メモリ・デバイス９２０は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセス・メモリとしての役割を果たすのに好適な性能を有する何らかの他のメモリ・デバイスとすることができる。少なくとも一実施例では、メモリ・デバイス９２０は、システム９００のためのシステム・メモリとして動作して、１つ又は複数のプロセッサ９０２がアプリケーション若しくはプロセスを実行するときに使用するためのデータ９２２及び命令９２１を記憶することができる。少なくとも一実施例では、メモリ・コントローラ９１６はまた、任意選択の外部グラフィックス・プロセッサ９１２と結合しており、このグラフィックス・プロセッサは、プロセッサ９０２内の１つ又は複数のグラフィックス・プロセッサ９０８と通信して、グラフィックス及びメディアの動作を実行してもよい。少なくとも一実施例では、ディスプレイ・デバイス９１１は、プロセッサ９０２に接続することができる。少なくとも一実施例では、ディスプレイ・デバイス９１１は、モバイル電子デバイス又はラップトップ・デバイスのような内部ディスプレイ・デバイス、又はディスプレイ・インターフェース（たとえば、ディスプレイ・ポートなど）を介して取り付けられる外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも一実施例では、ディスプレイ・デバイス９１１は、仮想現実（ＶＲ）アプリケーション又は拡張現実（ＡＲ）アプリケーションで使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（ＨＭＤ）を含むことができる。
【0114】
少なくとも一実施例では、プラットフォーム・コントローラ・ハブ９３０は、周辺装置が高速Ｉ／Ｏバスを介してメモリ・デバイス９２０及びプロセッサ９０２に接続できるようにする。少なくとも一実施例では、Ｉ／Ｏ周辺装置は、オーディオ・コントローラ９４６、ネットワーク・コントローラ９３４、ファームウェア・インターフェース９２８、ワイヤレス・トランシーバ９２６、タッチ・センサ９２５、データ・ストレージ・デバイス９２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）を含むが、これらに限定されない。少なくとも一実施例では、データ・ストレージ・デバイス９２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、又はペリフェラル・コンポーネント・インターコネクト・バス（たとえば、ＰＣＩ、ＰＣＩエクスプレス）などのペリフェラル・バスを介して、接続することができる。少なくとも一実施例では、タッチ・センサ９２５は、タッチ画面センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも一実施例では、ワイヤレス・トランシーバ９２６は、ＷｉＦｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、又は３Ｇ、４Ｇ、若しくはＬｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）トランシーバなどのモバイル・ネットワーク・トランシーバとすることができる。少なくとも一実施例では、ファームウェア・インターフェース９２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（ＵＥＦＩ）とすることができる。少なくとも一実施例では、ネットワーク・コントローラ９３４は、有線ネットワークへのネットワーク接続を可能にすることができる。少なくとも一実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス９１０と結合する。少なくとも一実施例では、オーディオ・コントローラ９４６は、多チャネル・ハイ・デフィニション・オーディオ・コントローラである。少なくとも一実施例では、システム９００は、レガシー（たとえば、パーソナル・システム２（ＰＳ／２））デバイスをシステムに結合するための任意選択のレガシーＩ／Ｏコントローラ９４０を含む。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ９３０は、キーボードとマウス９４３の組合せ、カメラ９４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（ＵＳＢ）コントローラ９４２の接続入力デバイスにも接続することができる。
【0115】
少なくとも一実施例では、メモリ・コントローラ９１６及びプラットフォーム・コントローラ・ハブ９３０のインスタンスは、外部グラフィックス・プロセッサ９１２などの個別の外部グラフィックス・プロセッサに一体化されてもよい。少なくとも一実施例では、プラットフォーム・コントローラ・ハブ９３０及び／又はメモリ・コントローラ９１６は、１つ又は複数のプロセッサ９０２の外部にあってもよい。たとえば、少なくとも一実施例では、システム９００は、外部のメモリ・コントローラ９１６及びプラットフォーム・コントローラ・ハブ９３０を含むことができ、これらは、プロセッサ９０２と通信するシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺装置コントローラ・ハブとして構成されてもよい。
【0116】
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理５１５が使用される。推論及び／又は訓練論理５１５に関する詳細事項は、図５Ａ及び／又は図５Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理５１５の一部又はすべてが、グラフィックス・プロセッサ９１２に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、グラフィックス・プロセッサに具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図５Ａ又は図５Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサのＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示している又は図示せず）に記憶されてもよい。
【0117】
こうした構成要素を使用して、ネットワーク訓練プロセスにおける障害事例を模倣した合成データを生成することができ、これは、過剰適合を回避するために合成データの量を制限しながらネットワークのパフォーマンスを向上させるのに役立つ可能性がある。
【0118】
図１０は、少なくとも一実施例による、１つ又は複数のプロセッサ・コア１００２Ａ～１００２Ｎ、統合メモリ・コントローラ１０１４、及び統合グラフィックス・プロセッサ１００８を有するプロセッサ１０００のブロック図である。少なくとも一実施例では、プロセッサ１０００は、破線の四角によって表される追加コア１００２Ｎを含むそれ以下の数の追加コアを含むことができる。少なくとも一実施例では、プロセッサ・コア１００２Ａ～１００２Ｎのそれぞれは、１つ又は複数の内部キャッシュ・ユニット１００４Ａ～１００４Ｎを含む。少なくとも一実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュ・ユニット１００６にアクセスできる。
【0119】
少なくとも一実施例では、内部キャッシュ・ユニット１００４Ａ～１００４Ｎ、及び共有キャッシュ・ユニット１００６は、プロセッサ１０００内のキャッシュ・メモリ階層を表す。少なくとも一実施例では、キャッシュ・メモリ・ユニット１００４Ａ～１００４Ｎは、各プロセッサ・コア内の命令及びデータのキャッシュの少なくとも１つのレベル、並びにレベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含んでもよく、ここで外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも一実施例では、キャッシュ・コヒーレンス論理は、様々なキャッシュ・ユニット１００６及び１００４Ａ～１００４Ｎ間でコヒーレンスを維持する。
【0120】
少なくとも一実施例では、プロセッサ１０００はまた、１つ又は複数のバス・コントローラ・ユニット１０１６とシステム・エージェント・コア１０１０のセットを含んでもよい。少なくとも一実施例では、１つ又は複数のバス・コントローラ・ユニット１０１６は、１つ又は複数のＰＣＩ若しくはＰＣＩエクスプレス・バスなどのペリフェラル・バスのセットを管理する。少なくとも一実施例では、システム・エージェント・コア１０１０は、様々なプロセッサ構成要素のための管理機能を提供する。少なくとも一実施例では、システム・エージェント・コア１０１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合メモリ・コントローラ１０１４を含む。
【0121】
少なくとも一実施例では、プロセッサ・コア１００２Ａ～１００２Ｎの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも一実施例では、システム・エージェント・コア１０１０は、マルチスレッドの処理中にコア１００２Ａ～１００２Ｎを調整し動作させるための構成要素を含む。少なくとも一実施例では、システム・エージェント・コア１０１０はさらに、電力制御ユニット（ＰＣＵ）を含んでもよく、このユニットは、プロセッサ・コア１００２Ａ～１００２Ｎ及びグラフィックス・プロセッサ１００８の１つ又は複数の電力状態を調整するための論理及び構成要素を含む。
【0122】
少なくとも一実施例では、プロセッサ１０００はさらに、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ１００８を含む。少なくとも一実施例では、グラフィックス・プロセッサ１００８は、共有キャッシュ・ユニット１００６と、１つ又は複数の統合メモリ・コントローラ１０１４を含むシステム・エージェント・コア１０１０とに結合する。少なくとも一実施例では、システム・エージェント・コア１０１０はまた、１つ又は複数の結合されたディスプレイに対してグラフィックス・プロセッサの出力を行わせるためのディスプレイ・コントローラ１０１１を含む。少なくとも一実施例では、ディスプレイ・コントローラ１０１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ１００８に結合された別個のモジュールであってもよく、又はグラフィックス・プロセッサ１００８内に一体化されていてもよい。
【0123】
少なくとも一実施例では、プロセッサ１０００の内部構成要素を結合するために、リング・ベースの相互接続ユニット１０１２が使用される。少なくとも一実施例では、ポイントツーポイント相互接続、スイッチ相互接続、又は他の技法などの代替的な相互接続ユニットが使用されてもよい。少なくとも一実施例では、グラフィックス・プロセッサ１００８は、Ｉ／Ｏリンク１０１３を介してリング相互接続１０１２と結合する。
【0124】
少なくとも一実施例では、Ｉ／Ｏリンク１０１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール１０１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む多様なＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも一実施例では、プロセッサ・コア１００２Ａ～１００２Ｎのそれぞれ及びグラフィックス・プロセッサ１００８は、共有ラスト・レベル・キャッシュとして組み込みメモリ・モジュール１０１８を使用する。
【0125】
少なくとも一実施例では、プロセッサ・コア１００２Ａ～１００２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも一実施例では、プロセッサ・コア１００２Ａ～１００２Ｎは、命令セット・アーキテクチャ（ＩＳＡ）の観点から見れば異種であり、ここでプロセッサ・コア１００２Ａ～１００２Ｎのうちの１つ又は複数は、共通の命令セットを実行するが、プロセッサ・コア１００２Ａ～１００２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも一実施例では、プロセッサ・コア１００２Ａ～１００２Ｎは、マイクロ・アーキテクチャの観点から見れば異種であり、ここで電力消費量が相対的に高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数のコアと結合する。少なくとも一実施例では、プロセッサ１０００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装することができる。
【0126】
１つ又は複数の実施例に関連する推論及び／又は訓練の動作を実行するために、推論及び／又は訓練論理５１５が使用される。推論及び／又は訓練論理５１５に関する詳細事項は、図５Ａ及び／又は図５Ｂと併せて以下に提供される。少なくとも一実施例では、推論及び／又は訓練論理５１５の一部又はすべてが、プロセッサ１０００に組み込まれてもよい。たとえば、少なくとも一実施例では、本明細書に記載の訓練及び／又は推論の技法は、グラフィックス・プロセッサ７１２、グラフィックス・コア１００２Ａ～１００２Ｎ、又は図１０の他の構成要素に具体化されたＡＬＵのうちの１つ又は複数を使用してもよい。さらに、少なくとも一実施例では、本明細書に記載の推論及び／又は訓練の動作は、図７Ａ又は図７Ｂに示す論理以外の論理を使用して行われてもよい。少なくとも一実施例では、重みパラメータは、本明細書に記載の１つ又は複数の機械学習アルゴリズム、ニューラル・ネットワーク・アーキテクチャ、ユース・ケース、又は訓練技法を実行するためのグラフィックス・プロセッサ１２００のＡＬＵを構成するオン・チップ若しくはオフ・チップのメモリ及び／又はレジスタ（図示している又は図示せず）に記憶されてもよい。
【0127】
こうした構成要素を使用して、ネットワーク訓練プロセスにおける障害事例を模倣した合成データを生成することができ、これは、過剰適合を回避するために合成データの量を制限しながらネットワークのパフォーマンスを向上させるのに役立つ可能性がある。
【0128】
仮想化コンピューティング・プラットフォーム
図１１は、少なくとも一実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス１１００の実例データ・フロー図である。少なくとも一実施例では、プロセス１１００は、１つ又は複数の施設１１０２において、撮像デバイス、処理デバイス、及び／又は他のタイプのデバイスとともに使用するために導入されてもよい。プロセス１１００は、訓練システム１１０４内及び／又は導入システム１１０６内で実行されてもよい。少なくとも一実施例では、訓練システム１１０４を使用して、導入システム１１０６で使用するための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装が実行されてもよい。少なくとも一実施例では、導入システム１１０６は、処理及び計算のリソースを分散コンピューティング環境間でオフロードするように構成されて、施設１１０２におけるインフラストラクチャ要件を低減してもよい。少なくとも一実施例では、パイプライン内の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム１１０６のサービス（たとえば、推論、仮想化、計算、ＡＩなど）を使用又はコールしてもよい。
図１１は、少なくとも一実施例による、画像処理及び推論パイプラインを生成及び導入するプロセス１１００の実例データ・フロー図である。少なくとも一実施例では、プロセス１１００は、１つ又は複数の施設１１０２において、撮像デバイス、処理デバイス、及び／又は他のタイプのデバイスとともに使用するために導入されてもよい。プロセス１１００は、訓練システム１１０４内及び／又は導入システム１１０６内で実行されてもよい。少なくとも一実施例では、訓練システム１１０４を使用して、導入システム１１０６で使用するための機械学習モデル（たとえば、ニューラル・ネットワーク、物体検出アルゴリズム、コンピュータ・ビジョン・アルゴリズムなど）の訓練、導入、及び実装が実行されてもよい。少なくとも一実施例では、導入システム１１０６は、処理及び計算のリソースを分散コンピューティング環境間でオフロードするように構成されて、施設１１０２におけるインフラストラクチャ要件を低減してもよい。少なくとも一実施例では、パイプライン内の１つ又は複数のアプリケーションは、アプリケーションの実行中に導入システム１１０６のサービス（たとえば、推論、仮想化、計算、ＡＩなど）を使用又はコールしてもよい。
【0129】
少なくとも一実施例では、先進処理及び推論パイプラインで使用されるアプリケーションのいくつかは、１つ又は複数の処理ステップを実行するために機械学習モデル又は他のＡＩを使用してもよい。少なくとも一実施例では、機械学習モデルは、施設１１０２で生成された（且つ、施設１１０２において１つ若しくは複数の画像アーカイブ及び通信システム（ＰＡＣＳ）サーバに記憶された）（撮像データなどの）データ１１０８を使用して、施設１１０２において訓練されてもよく、１つ又は複数の別の施設からの撮像若しくはシーケンシングのデータ１１０８を使用して訓練されてもよく、又はそれらの組合せであってもよい。少なくとも一実施例では、訓練システム１１０４を使用して、導入システム１１０６向けの実用的で導入可能な機械学習モデルを生成するためのアプリケーション、サービス、及び／又は他のリソースが提供されてもよい。
【0130】
少なくとも一実施例では、モデル・レジストリ１１２４は、バージョン管理及び物体メタデータをサポートすることができる物体ストレージによってバックアップされてもよい。少なくとも一実施例では、物体ストレージには、たとえば、クラウド・プラットフォーム内から、クラウド・ストレージ（たとえば、図１２のクラウド１２２６）の互換性アプリケーション・プログラミング・インターフェース（ＡＰＩ）を介してアクセス可能であってもよい。少なくとも一実施例では、モデル・レジストリ１１２４内の機械学習モデルは、システムの開発者又はパートナがＡＰＩと対話することによって、アップロード、リスト化、修正、又は削除されてもよい。少なくとも一実施例では、ＡＰＩは、適切な資格を有するユーザがモデルをアプリケーションに関連付けできるようにする方法へのアクセスを提供してもよく、それによりアプリケーションのコンテナ化されたインスタンスを実行することの一部として、モデルを実行できるようになる。
【0131】
少なくとも一実施例では、訓練パイプライン１２０４（図１２）は、施設１１０２が独自の機械学習モデルを訓練している状況、又は最適化若しくは更新される必要がある既存の機械学習モデルを有している状況を含んでもよい。少なくとも一実施例では、撮像デバイス、シーケンシング・デバイス、及び／又は他のタイプのデバイスによって生成された撮像データ１１０８が受信されてもよい。少なくとも一実施例では、撮像データ１１０８が受信されると、機械学習モデルのグラウンド・トゥルース・データとして使用されることになる撮像データ１１０８に対応するアノテーションの生成を支援するために、ＡＩ支援アノテーション１１１０が使用されてもよい。少なくとも一実施例では、ＡＩ支援アノテーション１１１０は、１つ又は複数の機械学習モデル（たとえば、畳み込みニューラル・ネットワーク（ＣＮＮ））を含んでもよく、これは（たとえば特定のデバイスからの）特定のタイプの撮像データ１１０８に対応するアノテーションを生成するように訓練されてもよい。少なくとも一実施例では、次いでＡＩ支援アノテーション１１１０は、グラウンド・トゥルース・データを生成するために直接使用されてもよく、又はアノテーション・ツールを使用して調節若しくは微調整されてもよい。少なくとも一実施例では、ＡＩ支援アノテーション１１１０、ラベル付きクリニック・データ１１１２、又はこれらの組合せが、機械学習モデルを訓練するためのグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、訓練済み機械学習モデルは出力モデル１１１６と呼ばれてもよく、本明細書に記載の導入システム１１０６によって使用されてもよい。
【0132】
少なくとも一実施例では、訓練パイプライン２４０４（図１２）は、施設１１０２が、導入システム１１０６内の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実行する際に使用する機械学習モデルを必要としているが、施設１１０２は現在そのような機械学習モデルを有していないかもしれない（又はそうした目的のために最適化された、効率よい、若しくは有効なモデルを有していないかもしれない）という状況を含んでもよい。少なくとも一実施例では、既存の機械学習モデルが、モデル・レジストリ１１２４から選択されてもよい。少なくとも一実施例では、モデル・レジストリ１１２４は、撮像データに対して様々な異なる推論タスクを実行するように訓練された機械学習モデルを含んでもよい。少なくとも一実施例では、モデル・レジストリ１１２４の機械学習モデルは、施設１１０２とは異なる施設（たとえば、離れた場所にある施設）からの撮像データについて訓練されたものであってもよい。少なくとも一実施例では、機械学習モデルは、１つの場所、２つの場所、又は任意の数の場所からの撮像データについて訓練されたものであってもよい。少なくとも一実施例では、特定の場所からの撮像データについて訓練されるとき、訓練は、その場所で行われてもよく、又は少なくとも、撮像データの機密性を保護するようなやり方で、若しくは撮像データが構外へ転送されるのを制限するようなやり方で行われてもよい。少なくとも一実施例では、１つの場所においてモデルが訓練されると、又は部分的に訓練されると、機械学習モデルはモデル・レジストリ１１２４に加えられてもよい。少なくとも一実施例では、次いで機械学習モデルは、任意の数の他の施設において再訓練又は更新されてもよく、再訓練又は更新されたモデルが、モデル・レジストリ１１２４において利用可能にされてもよい。少なくとも一実施例では、次いで機械学習モデルは、モデル・レジストリ１１２４から選択されてもよく、出力モデル１１１６と呼ばれてもよく、導入システム１１０６において使用されて、導入システムの１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実行してもよい。
【0133】
少なくとも一実施例では、訓練パイプライン１２０４（図１２）は、シナリオは、施設１１０２が、導入システム１１０６内の１つ又は複数のアプリケーションのための１つ又は複数の処理タスクを実行する際に使用する機械学習モデルを必要としているが、施設１１０２は現在そのような機械学習モデルを有していないかもしれない（又はそうした目的のために最適化された、効率よい、若しくは有効なモデルを有していないかもしれない）という状況を含み得る。少なくとも一実施例では、モデル・レジストリ１１２４から選択された機械学習モデルは、母集団、機械学習モデルを訓練するために使用される訓練データの頑健性、訓練データの異常の多様性、及び／又は訓練データに伴う他の問題に違いがあることから、施設１１０２において生成される撮像データ１１０８向けに微調整又は最適化されていないことがある。少なくとも一実施例では、機械学習モデルを再訓練又は更新するためのグラウンド・トゥルース・データとして使用されることになる撮像データ１１０８に対応するアノテーションの生成を支援するために、ＡＩ支援アノテーション１１１０が使用されてもよい。少なくとも一実施例では、ラベル付きデータ１１１２が、機械学習モデルを訓練するためのグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、機械学習モデルを再訓練又は更新することは、モデル訓練１１１４と呼ばれてもよい。少なくとも一実施例では、モデル訓練１１１４、たとえばＡＩ支援アノテーション１１１０、ラベル付きクリニック・データ１１１２、又はこれらの組合せは、機械学習モデルを再訓練若しくは更新するためのグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、訓練済み機械学習モデルは出力モデル１１１６と呼ばれてもよく、本明細書に記載の導入システム１１０６によって使用されてもよい。
【0134】
少なくとも一実施例では、導入システム１１０６は、ソフトウェア１１１８、サービス１１２０、ハードウェア１１２２、並びに／又は他の構成要素、特徴、及び機能を含んでもよい。少なくとも一実施例では、導入システム１１０６は、ソフトウェア「スタック」を含んでもよく、それによりソフトウェア１１１８は、サービス１１２０の上に構築されてもよく、サービス１１２０を使用して一部若しくはすべての処理タスクを実行してもよく、サービス１１２０及びソフトウェア１１１８は、ハードウェア１１２２の上に構築され、ハードウェア１１２２を使用して、導入システム１１０６の処理、ストレージ、及び／又は他の計算のタスクを実行してもよい。少なくとも一実施例では、ソフトウェア１１１８は、任意の数の異なるコンテナを含んでもよく、ここで各コンテナは、アプリケーションのインスタンス化を実行してもよい。少なくとも一実施例では、各アプリケーションは、先進処理及び推論パイプラインの１つ又は複数の処理タスク（たとえば、推論、物体検出、特徴検出、セグメント化、画像強調、キャリブレーションなど）を実行してもよい。少なくとも一実施例では、先進処理及び推論パイプラインは、（たとえば、使用可能なタイプのデータに出力を再変換するように）パイプラインを通して処理した後に、各コンテナによって使用される、且つ／又は施設１１０２によって使用される撮像データを受信及び構成するコンテナに加えて、撮像データ１１０８を処理するのに所望される又は必要とされる異なるコンテナの選択に基づき定義されてもよい。少なくとも一実施例では、（たとえばパイプラインを構成する）ソフトウェア１１１８内のコンテナの組合せは、（本明細書においてより詳細に記載する）仮想機器と呼ばれてもよく、仮想機器は、サービス１１２０及びハードウェア１１２２を利用して、コンテナにおいてインスタンス化されたアプリケーションの一部又はすべての処理タスクを実行してもよい。
【0135】
少なくとも一実施例では、データ処理パイプラインは、推論要求（たとえば、導入システム１１０６のユーザからの要求）に応答して、特定のフォーマットで入力データ（たとえば、撮像データ１１０８）を受け取ってもよい。少なくとも一実施例では、入力データは、１つ又は複数の撮像デバイスによって生成される１つ又は複数の画像、ビデオ、及び／又は他のデータ表現を表してもよい。少なくとも一実施例では、データは、データ処理パイプラインの一部としての事前処理を受けて、１つ又は複数のアプリケーションによって処理できるようにデータが準備されてもよい。少なくとも一実施例では、パイプラインの１つ若しくは複数の推論タスク又は他の処理タスクの出力に対して後処理が実行されて、次のアプリケーション用に出力データが準備されてもよく、且つ／又は送信及び／若しくはユーザによる使用のために（たとえば、推論要求への応答として）出力データが準備されてもよい。少なくとも一実施例では、推論タスクは、訓練済み若しくは導入済みのニューラル・ネットワークなど、１つ又は複数の機械学習モデルによって実行されてもよく、このモデルは、訓練システム１１０４の出力モデル１１１６を含んでもよい。
【0136】
少なくとも一実施例では、データ処理パイプラインのタスクはコンテナにカプセル化されてもよく、コンテナはそれぞれ、アプリケーションの個別の完全に機能的なインスタンス化、及び機械学習モデルを参照できる仮想化コンピューティング環境を表す少なくとも一実施例では、コンテナ又はアプリケーションは、（本明細書においてより詳細に記載する）コンテナ・レジストリのプライベート（たとえば、アクセスの制限された）区域に発行されてもよく、訓練済み又は導入済みのモデルは、モデル・レジストリ１１２４に記憶され、１つ又は複数のアプリケーションに関連付けられてもよい。少なくとも一実施例では、アプリケーションの画像（たとえば、コンテナの画像）は、コンテナ・レジストリにおいて入手可能であってもよく、パイプラインに導入するためにユーザによってコンテナ・レジストリから選択されると、画像は、ユーザのシステムで使用できるようにアプリケーションをインスタンス化するためのコンテナを生成するために使用されてもよい。
【0137】
少なくとも一実施例では、開発者（たとえば、ソフトウェア開発者、臨床医、医師など）は、供給されたデータに対して画像処理及び／又は推論を実行するために、アプリケーションを（たとえばコンテナとして）開発、公開、及び記憶してもよい。少なくとも一実施例では、開発、公開、及び／又は記憶は、（たとえば、開発されたアプリケーション及び／又はコンテナが、確実にシステムに準拠するように、又はシステムと互換性があるようにするために）システムに関連付けられたソフトウェア開発キット（ＳＤＫ）を使用して実行されてもよい。少なくとも一実施例では、開発されたアプリケーションは、システム（たとえば図１２のシステム１２００）としてサービス１１２０の少なくとも一部をサポートすることができるＳＤＫを用いて、ローカルに（たとえば第１の施設において、第１の施設からのデータについて）テストされてもよい。少なくとも一実施例では、ＤＩＣＯＭ物体は、１個から数百個にわたる画像又は他のタイプのデータをどこにでも含むことができるうえに、データのバリエーションがあることから、開発者は、入力されるデータの抽出及び準備を管理する（たとえば、アプリケーション用の構成を設定する、事前処理をアプリケーションに構築するなどの）責任を負うことがある。少なくとも一実施例では、システム１２００によって（たとえば、精度が）検証されると、アプリケーションは、ユーザによって選択及び／又は実装できるようにコンテナ・レジストリにおいて利用可能にされて、ユーザの施設（たとえば、第２の施設）におけるデータに対して１つ又は複数の処理タスクが実行されてもよい。
【0138】
少なくとも一実施例では、次いで開発者は、アプリケーション又はコンテナを、システム（たとえば、図１２のシステム１２００）のユーザによってアクセス及び使用できるようにネットワークを通して共有してもよい。少なくとも一実施例では、完成し検証されたアプリケーション又はコンテナは、コンテナ・レジストリに記憶されてもよく、関連する機械学習モデルは、モデル・レジストリ１１２４に記憶されてもよい。少なくとも一実施例では、推論又は画像処理の要求を出す要求元エンティティは、コンテナ・レジストリ及び／又はモデル・レジストリ１１２４をブラウジングしてアプリケーション、コンテナ、データセット、機械学習モデルなどを探し、データ処理パイプラインに含めるための要素の所望の組合せを選択し、撮像処理要求を送出してもよい。少なくとも一実施例では、要求は、要求を実行するために必要な入力データ（及びいくつかの実例では、関連する患者データ）を含んでもよく、且つ／又は要求を処理する際に実行されることになるアプリケーション及び／又は機械学習モデルの選択を含んでもよい。少なくとも一実施例では、次いで要求は、導入システム１１０６（たとえばクラウド）の１つ又は複数の構成要素に渡されて、データ処理パイプラインの処理が実行されてもよい。少なくとも一実施例では、導入システム１１０６による処理は、コンテナ・レジストリ及び／又はモデル・レジストリ１１２４から選択された要素（たとえば、アプリケーション、コンテナ、モデルなど）を参照することを含んでもよい。少なくとも一実施例では、パイプラインによって結果が生成されると、結果がユーザに返されて参照されてもよい（たとえば、ローカルで、構内のワークステーション又は端末で実行している視聴アプリケーション・スイートで視聴されてもよい）。
【0139】
少なくとも一実施例では、パイプラインにおけるアプリケーション又はコンテナの処理又は実行を支援するために、サービス１１２０が利用されてもよい。少なくとも一実施例では、サービス１１２０は、計算サービス、人工知能（ＡＩ）サービス、視覚化サービス、及び／又は他のタイプのサービスを含んでもよい。少なくとも一実施例では、サービス１１２０は、ソフトウェア１１１８の１つ又は複数のアプリケーションに共通の機能を提供してもよく、それにより機能は、アプリケーションによってコール又は利用されることが可能なサービスに対して抽象化されてもよい。少なくとも一実施例では、サービス１１２０によって提供される機能は、動的でより効率的に実行されてもよく、それと同時に、（たとえば、並列コンピューティング・プラットフォーム１２３０（図１２）を使用して）アプリケーションが並列にデータを処理できるようにすることにより、良好にスケーリングされてもよい。少なくとも一実施例では、サービス１１２０により提供される同じ機能を共有する各アプリケーションに、サービス１１２０のそれぞれのインスタンスを有するよう要求するのではなく、サービス１１２０が、様々なアプリケーション間で共有されてもよい。少なくとも一実施例では、サービスは、非限定的な実例として、検出又はセグメント化のタスクを実行するために使用されてもよい推論のサーバ又はエンジンを含んでもよい。少なくとも一実施例では、機械学習モデルの訓練及び／又は再訓練の機能を提供することができるモデル訓練サービスが含まれてもよい。少なくとも一実施例では、ＧＰＵ加速化データ（たとえば、ＤＩＣＯＭ、ＲＩＳ、ＣＩＳ、ＲＥＳＴ準拠、ＲＰＣ、生など）の抽出、リサイズ、スケーリング、及び／又は他の拡張を提供することができるデータ拡張サービスがさらに含まれてもよい。少なくとも一実施例では、レイ・トレーシング、ラスタ化、ノイズ除去、鮮鋭化などの画像レンダリング効果を加えることができる視覚化サービスが使用されて、２次元（２Ｄ）及び／又は３次元（３Ｄ）のモデルにリアル感が付加されてもよい。少なくとも一実施例では、仮想機器のパイプライン内の他のアプリケーションについてビーム形成、セグメント化、推論、撮像、及び／又はサポートを実現する仮想機器サービスが含まれてもよい。
【0140】
少なくとも一実施例では、サービス１１２０がＡＩサービス（たとえば、推論サービス）を含む場合、１つ又は複数の機械学習モデルは、機械学習モデル、又はその処理を、アプリケーション実行の一部として実行するように推論サービス（たとえば、推論サーバ）に（ＡＰＩコールとして）コールすることによって、実行されてもよい。少なくとも一実施例では、セグメント化タスクのための１つ又は複数の機械学習モデルを別のアプリケーションが含む場合、セグメント化タスクに関連付けられた処理動作のうちの１つ又は複数を実行するための機械学習モデルを実行するように、アプリケーションは推論サービスをコールしてもよい。少なくとも一実施例では、セグメント化アプリケーション及び異常検出アプリケーションを含む先進処理及び推論パイプラインを実装するソフトウェア１１１８は、１つ又は複数の推論タスクを実行するためにそれぞれのアプリケーションが同じ推論サービスをコールすることがあるので、合理化されてもよい。
【0141】
少なくとも一実施例では、ハードウェア１１２２は、ＧＰＵ、ＣＰＵ、グラフィックス・カード、ＡＩ／深層学習システム（たとえば、ＮＶＩＤＩＡのＤＧＸなどのＡＩスーパーコンピュータ）、クラウド・プラットフォーム、又はそれらの組合せを含んでもよい。少なくとも一実施例では、異なるタイプのハードウェア１１２２を使用して、導入システム１１０６のソフトウェア１１１８及びサービス１１２０のための効率的で専用のサポートが提供されてもよい。少なくとも一実施例では、画像処理及び画像生成の効率、精度、及び有効性を向上させるために、ＡＩ／深層学習システム内、クラウド・システム、及び／又は導入システム１１０６の他の処理構成要素において、ローカルで（たとえば、施設１１０２で）処理を行うためのＧＰＵ処理の使用が実装されてもよい。少なくとも一実施例では、ソフトウェア１１１８及び／又はサービス１１２０は、非限定的な実例として深層学習、機械学習、及び／又は高性能コンピューティングに関するＧＰＵ処理のために最適化されてもよい。少なくとも一実施例では、導入システム１１０６及び／又は訓練システム１１０４のコンピューティング環境のうちの少なくとも一部は、データ・センタの１つ若しくは複数のスーパーコンピュータ、又は高性能コンピューティング・システムにおいて、ＧＰＵ最適化ソフトウェア（たとえば、ＮＶＩＤＩＡのＤＧＸシステムのハードウェアとソフトウェアの組合せ）を用いて実行されてもよい。少なくとも一実施例では、ハードウェア１１２２は、任意の数のＧＰＵを含んでもよく、これらのＧＰＵは、本明細書に記載するように、データの並列処理を実行するためにコールされてもよい。少なくとも一実施例では、クラウド・プラットフォームはさらに、深層学習タスク、機械学習タスク、又は他のコンピューティング・タスクのＧＰＵ最適化された実行のためのＧＰＵ処理を含んでもよい。少なくとも一実施例では、クラウド・プラットフォーム（たとえば、ＮＶＩＤＩＡのＮＧＣ）は、（たとえば、ＮＶＩＤＩＡのＤＧＸシステムによって提供される）ＡＩ／深層学習スーパーコンピュータ、及び／又はＧＰＵ最適化ソフトウェアをハードウェア抽象化及びスケーリングのプラットフォームとして使用して、実行されてもよい。少なくとも一実施例では、クラウド・プラットフォームは、シームレスなスケーリング及びロード・バランシングを可能にするために、複数のＧＰＵに対するアプリケーション・コンテナ・クラスタリング・システム又はオーケストレーション・システム（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を統合してもよい。
【0142】
図１２は、少なくとも一実施例による撮像導入パイプラインを生成及び導入するための実例システム１２００を示すシステム図である。少なくとも一実施例では、システム１２００は、図１１のプロセス１１００、及び／又は先進処理及び推論パイプラインを含む他のプロセスを実装するために使用されてもよい。少なくとも一実施例では、システム１２００は、訓練システム１１０４及び導入システム１１０６を含んでもよい。少なくとも一実施例では、訓練システム１１０４及び導入システム１１０６は、本明細書に記載するように、ソフトウェア１１１８、サービス１１２０、及び／又はハードウェア１１２２を使用して実装されてもよい。
【0143】
少なくとも一実施例では、システム１２００（たとえば、訓練システム１１０４及び／又は導入システム１１０６）は、クラウド・コンピューティング環境（たとえば、クラウド１２２６）において実装されてもよい。少なくとも一実施例では、システム１１００は、ヘルスケア・サービス施設に関してローカルに実装されてもよく、又はクラウドとローカル・コンピューティング・リソースとの組合せとして実装されてもよい。少なくとも一実施例では、クラウド１２２６のＡＰＩへのアクセスは、制定されたセキュリティ対策又はプロトコルを介して許可されたユーザに限定されてもよい。少なくとも一実施例では、セキュリティ・プロトコルはウェブ・トークンを含んでもよく、このウェブ・トークンは、認証（たとえば、ＡｕｔｈＮ、ＡｕｔｈＺ、Ｇｌｕｅｃｏｎなど）のサービスによって署名されてもよく、適切な許可を持っていてもよい。少なくとも一実施例では、（本明細書に記載の）仮想機器のＡＰＩ、又はシステム１２００の他のインスタンス化は、対話について検査済み又は許可済みのパブリックＩＰのセットに限定されてもよい。
【0144】
少なくとも一実施例では、システム１２００の様々な構成要素は、有線及び／又は無線の通信プロトコルを介して、ローカル・エリア・ネットワーク（ＬＡＮ）及び／又は広域ネットワーク（ＷＡＮ）を含むがこれらに限定されない様々な異なるタイプのネットワークのうちの任意のものを使用して、相互に通信してもよい。少なくとも一実施例では、（たとえば推論要求を送信するため、推論要求の結果を受信するためなど）施設とシステム１２００の構成要素との間の通信は、１つ又は複数のデータ・バス、無線データ・プロトコル（Ｗｉ－Ｆｉ）、有線データ・プロトコル（たとえば、イーサネット（登録商標））などを介して通信されてもよい。
【0145】
少なくとも一実施例では、訓練システム１１０４は、図１１に関して本明細書に記載したものと同様の訓練パイプライン１２０４を実行してもよい。少なくとも一実施例では、１つ又は複数の機械学習モデルが導入システム１１０６により導入パイプライン１２１０において使用されることになる場合、訓練パイプライン１２０４を使用して、１つ又は複数の（たとえば、事前訓練された）モデルが訓練若しくは再訓練されてもよく、且つ／又は事前訓練されたモデル１２０６のうちの１つ又は複数が（たとえば再訓練若しくは更新を必要とせずに）実装されてもよい。少なくとも一実施例では、訓練パイプライン１２０４の結果として、出力モデル１１１６が生成されてもよい。少なくとも一実施例では、訓練パイプライン１２０４は、撮像データ（若しくは他の入力データ）の変換若しくは適合、などであるがこれらに限定されない任意の数の処理ステップを含んでもよい。少なくとも一実施例では、導入システム１１０６によって使用される異なる機械学習モデルについて、異なる訓練パイプライン１２０４が使用されてもよい。少なくとも一実施例では、図１１に関して記載した第１の実例と同様の訓練パイプライン１２０４は、第１の機械学習モデルに使用されてもよく、図１１に関して記載した第２の実例と同様の訓練パイプライン１２０４は、第２の機械学習モデルに使用されてもよく、図１１に関して記載した第３の実例と同様の訓練パイプライン１２０４は、第３の機械学習モデルに使用されてもよい。少なくとも一実施例では、それぞれの各機械学習モデルに要求されるものに応じて、訓練システム１１０４内のタスクの任意の組合せが使用されてもよい。少なくとも一実施例では、機械学習モデルのうちの１つ又は複数は、すでに訓練済みで導入の準備が整っていてもよく、それにより機械学習モデルは、訓練システム１１０４によるいかなる処理も受けなくてもよく、導入システム１１０６によって実装されてもよい。
【0146】
少なくとも一実施例では、出力モデル１１１６及び／又は事前訓練されたモデル１２０６は、実装形態又は実施例に応じて任意のタイプの機械学習モデルを含んでもよい。少なくとも一実施例では、限定することなく、システム１２００によって使用される機械学習モデルは、線形回帰、ロジスティック回帰、決定木、サポート・ベクター・マシン（ＳＶＭ）、ナイーブ・ベイズ、ｋ近傍法（ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ：Ｋｎｎ）、ｋ平均クラスタリング、ランダム・フォレスト、次元縮小アルゴリズム、勾配ブースティング・アルゴリズム、ニューラル・ネットワーク（たとえば、オート・エンコーダ、畳み込み、再帰、パーセプトロン、長／短期メモリ（ＬＳＴＭ）、ホップフィールド、ボルツマン、ディープ・ビリーフ、逆畳み込み、敵対的生成、液体状態マシンなど）を使用する機械学習モデル、及び／又は他のタイプの機械学習モデルを含んでもよい。
【0147】
少なくとも一実施例では、訓練パイプライン１２０４は、少なくとも図１３Ｂに関して、より詳細に本明細書に記載するＡＩ支援アノテーションを含んでもよい。少なくとも一実施例では、ラベル付きデータ１１１２（たとえば、従来のアノテーション）は、任意の数の技法によって生成されてもよい。少なくとも一実施例では、ラベル又は他のアノテーションは、描画プログラム（たとえば、アノテーション・プログラム）、コンピュータ支援設計（ＣＡＤ）プログラム、ラベル付けプログラム、グラウンド・トゥルース用のアノテーション若しくはラベルの生成に適した別のタイプのプログラム内で生成されてもよく、且つ／又はいくつかの実例では、手書きされてもよい。少なくとも一実施例では、グラウンド・トゥルース・データは、合成により生成されてもよく（たとえば、コンピュータ・モデル又はレンダリングから生成されてもよく）、現実的に生成されてもよく（たとえば、実世界のデータから設計及び生成されてもよく）、機械自動化されてもよく（たとえば、特徴の分析及び学習を使用して、データから特徴を抽出し、次いでラベルを生成してもよく）、人間によりアノテーション付けされてもよく（たとえば、ラベラ、又はアノテーション専門家がラベルのロケーションを定義してもよく）、且つ／又はこれらの組合せであってもよい。少なくとも一実施例では、撮像データ１１０８のインスタンス（又は機械学習モデルによって使用される他のタイプのデータ）ごとに、訓練システム１１０４によって生成される対応するグラウンド・トゥルース・データが存在してもよい。少なくとも一実施例では、訓練パイプライン１２０４に含まれるＡＩ支援アノテーションに加えて又はその代わりに、導入パイプライン１２１０の一部としてＡＩ支援アノテーションが実行されてもよい。少なくとも一実施例では、システム１２００は多層プラットフォームを含んでもよく、このプラットフォームは、１つ又は複数の医療用撮像及び診断の機能を実行することができる診断アプリケーション（又は他のタイプのアプリケーション）のソフトウェア層（たとえば、ソフトウェア１１１８）を含んでもよい。少なくとも一実施例では、システム１２００は、１つ又は複数の施設のＰＡＣＳサーバ・ネットワークに、（たとえば、暗号化リンクを介して）通信可能に結合されてもよい。少なくとも一実施例では、システム１２００は、ＰＡＣＳサーバからのデータにアクセスし、それを参照するように構成されて、機械学習モデルの訓練、機械学習モデルの導入、画像処理、推論、及び／又は他の動作などの動作を実行してもよい。
【0148】
少なくとも一実施例では、ソフトウェア層は、セキュアな、暗号化された、且つ／又は認証されたＡＰＩとして実装されてもよく、これを介して、アプリケーション又はコンテナが、外部環境（たとえば、施設１１０２）から呼び出し（たとえばコール）されてもよい。少なくとも一実施例では、次いでアプリケーションは、それぞれのアプリケーションに関連付けられた計算、ＡＩ、又は視覚化のタスクを実行するために１つ又は複数のサービス１１２０をコール又は実行してもよく、ソフトウェア１１１８及び／又はサービス１１２０は、ハードウェア１１２２を利用して、処理タスクを有効且つ効率的なやり方で実行してもよい。
【0149】
少なくとも一実施例では、導入システム１１０６は、導入パイプライン１２１０を実行してもよい。少なくとも一実施例では、導入パイプライン１２１０は任意の数のアプリケーションを含んでもよく、これらは、上に記載のＡＩ支援アノテーションを含め、撮像デバイス、シーケンシング・デバイス、ゲノミクス・デバイスなどによって生成された撮像データ（及び／又は他のタイプのデータ）に連続的に、非連続的に、又は他のやり方で適用されてもよい。少なくとも一実施例では、本明細書に記載するように、個々のデバイス用の導入パイプライン１２１０は、デバイス用の仮想機器（たとえば、仮想超音波機器、仮想ＣＴスキャン機器、仮想シーケンシング機器など）と呼ばれてもよい。少なくとも一実施例では、デバイスによって生成されるデータに必要な情報に応じて、１つのデバイスにつき２つ以上の導入パイプライン１２１０が存在してもよい。少なくとも一実施例では、異常検出がＭＲＩマシンに必要とされる場合、第１の導入パイプライン１２１０が存在してもよく、画像強調がＭＲＩマシンの出力に必要とされる場合、第２の導入パイプライン１２１０が存在してもよい。
【0150】
少なくとも一実施例では、画像生成アプリケーションは、機械学習モデルの使用を含む処理タスクを含んでもよい。少なくとも一実施例では、ユーザは、独自の機械学習モデルを使用すること、又はモデル・レジストリ１１２４から機械学習モデルを選択することを望む場合がある。少なくとも一実施例では、ユーザは、処理タスクを実行するために、独自の機械学習モデルを実装してもよく、又は機械学習モデルを選択してアプリケーションに含めてもよい。少なくとも一実施例では、アプリケーションは選択可能及びカスタマイズ可能であってもよく、アプリケーションの構造を定義することにより、特定のユーザ向けのアプリケーションの導入及び実装が、よりシームレスなユーザ・エクスペリエンスとして提示される。少なくとも一実施例では、システム１２００の他の特徴、たとえばサービス１１２０及びハードウェア１１２２などを利用することにより、導入パイプライン１２１０は、さらによりユーザ・フレンドリになることができ、より容易な統合を実現でき、より正確で、効率的で、タイムリーな結果を生み出すことができる。
【0151】
少なくとも一実施例では、導入システム１１０６はユーザ・インターフェース１２１４（たとえば、グラフィカル・ユーザ・インターフェース、ウェブ・インターフェースなど）を含んでもよく、これらは、アプリケーションを選択して導入パイプライン１２１０に含める、アプリケーションを構成する、アプリケーション又はそのパラメータ若しくは構造を修正又は変更する、セットアップ及び／又は導入中に導入パイプライン１２１０を使用しそれと対話する、且つ／又は他のやり方で導入システム１１０６と対話するために使用されてもよい。少なくとも一実施例では、訓練システム１１０４に関して図示されていないが、ユーザ・インターフェース１２１４（又は異なるユーザ・インターフェース）は、導入システム１１０６で使用するモデルを選択するため、訓練システム１１０４において訓練若しくは再訓練するモデルを選択するため、且つ／又は他のやり方で訓練システム１１０４と対話するために使用されてもよい。
【0152】
少なくとも一実施例では、アプリケーション・オーケストレーション・システム１２２８に加えてパイプライン・マネージャ１２１２を使用して、導入パイプライン１２１０のアプリケーション又はコンテナと、サービス１１２０及び／又はハードウェア１１２２との間で対話が管理されてもよい。少なくとも一実施例では、パイプライン・マネージャ１２１２は、アプリケーションからアプリケーションへの対話、アプリケーションからサービス１１２０への対話、及び／又はアプリケーション若しくはサービスからハードウェア１１２２への対話を容易にするように構成されてもよい。少なくとも一実施例では、ソフトウェア１１１８に含まれるように図示してあるが、これは限定を意図しておらず、いくつかの事例では、パイプライン・マネージャ１２１２は、サービス１１２０に含まれてもよい。少なくとも一実施例では、アプリケーション・オーケストレーション・システム１２２８（たとえば、Ｋｕｂｅｒｎｅｔｅｓ、ＤＯＣＫＥＲなど）は、コンテナ・オーケストレーション・システムを含んでもよく、このシステムは、アプリケーションを、調整、管理、スケーリング、及び導入のための論理ユニットとして、コンテナにグループ化することができる。少なくとも一実施例では、導入パイプライン１２１０からのアプリケーション（たとえば、再構築アプリケーション、セグメント化アプリケーションなど）を個々のコンテナに関連付けることより、各アプリケーションは自己完結型環境内（たとえば、カーネル・レベル）で実行して、スピード及び効率を向上させることができる。
【0153】
少なくとも一実施例では、各アプリケーション及び／又はコンテナ（又はその画像）は、個々に開発、修正、及び導入されてもよく（たとえば、第１のユーザ又は開発者が、第１のアプリケーションを開発、修正、及び導入し、第２のユーザ又は開発者が、第１のユーザ又は開発者とは別に第２のアプリケーションを開発、修正、及び導入してもよく）、これにより、別のアプリケーション又はコンテナのタスクに邪魔されることなく、１つのアプリケーション及び／又はコンテナのタスクに集中し、注意を払うことが可能になる。少なくとも一実施例では、異なるコンテナ間又はアプリケーション間の通信、及び協調が、パイプライン・マネージャ１２１２及びアプリケーション・オーケストレーション・システム１２２８によって支援されてもよい。少なくとも一実施例では、各コンテナ又はアプリケーションの予測される入力及び／又は出力が、（たとえば、アプリケーション又はコンテナの構造に基づき）システムによって知られている限り、アプリケーション・オーケストレーション・システム１２２８及び／又はパイプライン・マネージャ１２１２は、アプリケーション又はコンテナのそれぞれ間の通信、及びそれらの間でのリソースの共有を容易にすることができる。少なくとも一実施例では、導入パイプライン１２１０のアプリケーション又はコンテナのうちの１つ又は複数は、同じサービス及びリソースを共有することができるので、アプリケーション・オーケストレーション・システム１２２８は、様々なアプリケーション間又はコンテナ間でサービス又はリソースをオーケストレートし、ロード・バランシングを行い、共有を決定してもよい。少なくとも一実施例では、スケジューラを使用して、アプリケーション又はコンテナのリソース要件、これらのリソースの現在の使用量又は計画された使用量、及びリソースの利用可能性が追跡されてもよい。少なくとも一実施例では、こうしてスケジューラは、異なるアプリケーションにリソースを配分し、システムの要件及び利用可能性を考慮してアプリケーション間でリソースを分配してもよい。いくつかの実例では、スケジューラ（及び／又はアプリケーション・オーケストレーション・システム１２２８の他の構成要素）は、サービスの品質（ＱｏＳ）、（たとえば、リアルタイム処理を実行するか、遅延処理を実行するかを決定するための）データ出力を必要とする緊急度など、システムに課される制約（たとえば、ユーザ制約）に基づき、リソースの利用可能性及び分配を決定してもよい。
【0154】
少なくとも一実施例では、導入システム１１０６のアプリケーション又はコンテナによって利用及び共有されるサービス１１２０は、計算サービス１２１６、ＡＩサービス１２１８、視覚化サービス１２２０、及び／又は他のタイプのサービスを含んでもよい。少なくとも一実施例では、アプリケーションは、サービス１１２０のうちの１つ又は複数をコール（たとえば実行）して、アプリケーションのための処理動作を実行してもよい。少なくとも一実施例では、計算サービス１２１６は、スーパーコンピューティング又は他の高性能コンピューティング（ＨＰＣ）のタスクを実行するために、アプリケーションによって利用されてもよい。少なくとも一実施例では、アプリケーションのうちの１つ又は複数を介してデータを実質的に同時に処理するため、且つ／又は１つのアプリケーションの１つ又は複数のタスクを実質的に同時に処理するために、計算サービス１２１６を利用して（たとえば、並列コンピューティング・プラットフォーム１２３０を使用して）並列処理が実行されてもよい。少なくとも一実施例では、並列コンピューティング・プラットフォーム１２３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）は、ＧＰＵ（たとえば、ＧＰＵ１２２２）上での汎用コンピューティング（ＧＰＧＰＵ）を可能にしてもよい。少なくとも一実施例では、並列コンピューティング・プラットフォーム１２３０のソフトウェア層は、計算カーネルを実行するために仮想命令セット及びＧＰＵの並列計算要素へのアクセスを提供してもよい。少なくとも一実施例では、並列コンピューティング・プラットフォーム１２３０はメモリを含んでもよく、いくつかの実施例では、メモリは、複数のコンテナ間で、且つ／又は１つのコンテナ内の異なる処理タスク間で共有されてもよい。少なくとも一実施例では、複数のコンテナ、及び／又はコンテナ内の複数のプロセスが、並列コンピューティング・プラットフォーム１２３０のメモリの共有セグメントからの同じデータを使用するために（たとえば、アプリケーションの複数の異なるステージ、又は複数のアプリケーションが、同じ情報を処理する場合）、プロセス間通信（ＩＰＣ）コールが生成されてもよい。少なくとも一実施例では、データのコピーを作成し、データをメモリの異なるロケーションに移動（たとえば、読取り／書込みの動作）させるのではなく、メモリの同じロケーションの同じデータが、任意の数の処理タスクに（たとえば、同じ時間、異なる時間などに）使用されてもよい。少なくとも一実施例では、データが使用されて、処理の結果として新規データが生成されるとき、データの新規ロケーションのこの情報は、様々なアプリケーションに記憶され、それらの間で共有されてもよい。少なくとも一実施例では、データのロケーション及び更新済み又は修正済みのデータのロケーションは、コンテナ内でペイロードがどのように理解されるかという定義の一部であってもよい。
【0155】
少なくとも一実施例では、ＡＩサービス１２１８は、アプリケーションに関連付けられた（たとえば、アプリケーションの１つ又は複数の処理タスクを実行する役割を課された）機械学習モデルを実行するための推論サービスを実行するために利用されてもよい。少なくとも一実施例では、ＡＩサービス１２１８は、セグメント化、再構築、物体検出、特徴検出、分類、及び／又は他の推論タスクのための機械学習モデル（たとえば、ＣＮＮなどのニューラル・ネットワーク）を実行するために、ＡＩシステム１２２４を利用してもよい。少なくとも一実施例では、導入パイプライン１２１０のアプリケーションは、訓練システム１１０４からの出力モデル１１１６及び／又はアプリケーションの他のモデルのうちの１つ又は複数を使用して、撮像データについて推論を実行してもよい。少なくとも一実施例では、アプリケーション・オーケストレーション・システム１２２８（たとえば、スケジューラ）を使用する推論の２つ以上の実例が利用可能であってもよい。少なくとも一実施例では、第１のカテゴリは、緊急時の緊急要求について推論を実行するため、又は診断時の放射線医のためなど、より高いサービス・レベル合意を達成できる高優先順位／低レイテンシの経路を含むことができる。少なくとも一実施例では、第２のカテゴリは、緊急ではない要求のため、又は分析が後で実行されてもよい場合に使用することができる標準優先順位の経路を含んでもよい。少なくとも一実施例では、アプリケーション・オーケストレーション・システム１２２８は、ＡＩサービス１２１８の異なる推論タスク向けの優先順位経路に基づき、リソース（たとえば、サービス１１２０及び／又はハードウェア１１２２）を分配してもよい。
【0156】
少なくとも一実施例では、共有ストレージが、システム１２００内でＡＩサービス１２１８に取り付けられてもよい。少なくとも一実施例では、共有ストレージは、キャッシュ（又は他のタイプのストレージ・デバイス）として動作してもよく、アプリケーションからの推論要求を処理するために使用されてもよい。少なくとも一実施例では、推論要求が送出されたとき、要求は、導入システム１１０６のＡＰＩインスタンスのセットによって受信されてもよく、１つ又は複数のインスタンスが（たとえば、最良な適合のため、ロード・バランシングのためなどに）選択されて、要求が処理されてもよい。少なくとも一実施例では、要求を処理するために、要求がデータベースに入れられてもよく、機械学習モデルは、まだキャッシュにない場合には、モデル・レジストリ１１２４から特定されてもよく、検証ステップは、適切な機械学習モデルがキャッシュ（たとえば、共有ストレージ）に確実にロードされるようにしてもよく、且つ／又はモデルのコピーがキャッシュに保存されてもよい。少なくとも一実施例では、アプリケーションがまだ実行されていない場合、又はアプリケーションの十分なインスタンスが存在しない場合には、スケジューラ（たとえば、パイプライン・マネージャ１２１２）を使用して、要求において参照されたアプリケーションが起動されてもよい。少なくとも一実施例では、モデルを実行するための推論サーバがまだ起動されていない場合には、推論サーバが起動されてもよい。任意の数の推論サーバがモデルごとに起動されてもよい。少なくとも一実施例では、推論サーバがクラスタ化済みであるプル・モデルでは、ロード・バランシングが有利な場合にはいつでもモデルがキャッシュされてもよい。少なくとも一実施例では、推論サーバは、対応する分散サーバに静的にロードされてもよい。
【0157】
少なくとも一実施例では、推論は、コンテナ内で実行される推論サーバを使用して実行されてもよい。少なくとも一実施例では、推論サーバのインスタンスは、モデルに（任意選択でモデルの複数のバージョンに）関連付けられてもよい。少なくとも一実施例では、モデルに対して推論を実行する要求が受信されたとき、推論サーバのインスタンスが存在しない場合には、新規のインスタンスがロードされてもよい。少なくとも一実施例では、推論サーバをスタートするとき、モデルが推論サーバに渡されてもよく、それにより、推論サーバが異なるインスタンスとして実行されている限り、同じコンテナを使用して異なるモデルにサービス提供されてもよい。
【0158】
少なくとも一実施例では、アプリケーションの実行中、所与のアプリケーションについて推論要求が受信されてもよく、（たとえば、推論サーバのインスタンスをホストする）コンテナが（まだロードされていなければ）ロードされてもよく、開始プロシージャがコールされてもよい。少なくとも一実施例では、コンテナの事前処理論理が、（たとえばＣＰＵ及び／又はＧＰＵを使用して）入力データに対する任意の追加的な事前処理をロード、デコード、及び／又は実行してもよい。少なくとも一実施例では、推論のためにデータが準備されると、コンテナは、必要に応じてデータに推論を実行してもよい。少なくとも一実施例では、これは１つの画像（たとえば手のＸ線）に対する単一の推論コールを含んでもよく、又は何百もの画像（たとえば胸のＣＴ）について推論を要求してもよい。少なくとも一実施例では、アプリケーションは、完了前に結果を要約してもよく、これは限定することなく、単一の信頼性スコア、ピクセル・レベルのセグメント化、ボクセル・レベルのセグメント化、視覚化の生成、又は所見を要約するためのテキストの生成を含んでもよい。少なくとも一実施例では、異なるモデル又はアプリケーションには、異なる優先順位が割り当てられてもよい。たとえば、リアルタイム（ＴＡＴ＜１分）の優先順位を有するモデルもあれば、低優先順位（たとえば、ＴＡＴ＜１０分）を有するモデルもある。少なくとも一実施例では、モデル実行時間は、要求元の施設又はエンティティから測定されてもよく、推論サービスに対する実行に加えてパートナ・ネットワーク横断時間を含んでもよい。
【0159】
少なくとも一実施例では、サービス１１２０と推論アプリケーションの間での要求の移行は、ソフトウェア開発キット（ＳＤＫ）の後ろに隠されてもよく、キューを通して頑健な移送が提供されてもよい。少なくとも一実施例では、個々のアプリケーション／テナントＩＤの組合せを求めて、要求がＡＰＩを介してキューに入れられ、ＳＤＫは、キューから要求を引き出し、要求をアプリケーションに与える。少なくとも一実施例では、ＳＤＫが要求をピックアップする環境において、キューの名称が提供されてもよい。少なくとも一実施例では、キューを介した非同期の通信は、その通信が利用可能になったときに、その通信によって、アプリケーションの任意のインスタンスがワークをピックアップできるようになるので、有用な場合がある。結果はキューを介して返送されて、データが失われないようにしてもよい。少なくとも一実施例では、最高優先順位のワークは、アプリケーションのほとんどのインスタンスがキューに接続された状態のキューに進むことができ、一方で最低優先順位のワークは、１つのインスタンスがキューに接続された状態の、受信した順番にタスクを処理するキューに進むことができるので、キューは、ワークをセグメント化する機能も提供することができる。少なくとも一実施例では、アプリケーションは、クラウド１２２６に生成されたＧＰＵ加速インスタンス上で実行されてもよく、推論サービスは、ＧＰＵ上で推論を実行してもよい。
【0160】
少なくとも一実施例では、視覚化サービス１２２０を利用して、アプリケーション及び／又は導入パイプライン１２１０の出力を見るための視覚化が生成されてもよい。少なくとも一実施例では、視覚化を生成するために、視覚化サービス１２２０によってＧＰＵ１２２２が利用されてもよい。少なくとも一実施例では、レイ・トレーシングなどのレンダリング効果が、視覚化サービス１２２０によって実装されて、より高品質の視覚化が生成されてもよい。少なくとも一実施例では、視覚化は、２Ｄ画像のレンダリング、３Ｄボリュームのレンダリング、３Ｄボリュームの再構築、２Ｄトモグラフィ・スライス、仮想現実表示、拡張現実表示などを、限定することなく含んでもよい。少なくとも一実施例では、仮想化された環境を使用して、システムのユーザが対話するための仮想のインタラクティブ表示又はインタラクティブ環境（たとえば、仮想環境）が生成されてもよい。少なくとも一実施例では、視覚化サービス１２２０は、内部ビジュアライザ、シネマティクス、及び／又は他のレンダリング若しくは画像処理の能力若しくは機能（たとえば、レイ・トレーシング、ラスタ化、内部光学など）を含んでもよい。
【0161】
少なくとも一実施例では、ハードウェア１１２２は、ＧＰＵ１２２２、ＡＩシステム１２２４、クラウド１２２６、並びに／又は訓練システム１１０４及び／若しくは導入システム１１０６を実行するために使用される任意の他のハードウェアを含んでもよい。少なくとも一実施例では、ＧＰＵ１２２２（たとえば、ＮＶＩＤＩＡのＴＥＳＬＡ及び／又はＱＵＡＤＲＯのＧＰＵ）は、任意の数のＧＰＵを含んでもよく、これらは、計算サービス１２１６、ＡＩサービス１２１８、視覚化サービス１２２０、他のサービス、及び／又はソフトウェア１１１８の任意の特徴若しくは機能の処理タスクを実行するために使用されてもよい。たとえば、ＡＩサービス１２１８に関して、ＧＰＵ１２２２を使用して、撮像データ（又は機械学習モデルによって使用される他のタイプのデータ）に対して事前処理が実行されてもよく、機械学習モデルの出力に対して事後処理が実行されてもよく、且つ／又は推論が実行されてもよい（たとえば、機械学習モデルが実行されてもよい）。少なくとも一実施例では、クラウド１２２６、ＡＩシステム１２２４、及び／又はシステム１２００の他の構成要素は、ＧＰＵ１２２２を使用してもよい。少なくとも一実施例では、クラウド１２２６は、深層学習タスクのためにＧＰＵ最適化されたプラットフォームを含んでもよい。少なくとも一実施例では、ＡＩシステム１２２４は、ＧＰＵを使用してもよく、クラウド１２２６、又は深層学習若しくは推論の役割を課された少なくとも一部分は、１つ又は複数のＡＩシステム１２２４を使用して実行されてもよい。したがって、ハードウェア１１２２は、個別構成要素として示されているが、これは限定を意図したものではなく、ハードウェア１１２２の任意の構成要素が、ハードウェア１１２２の任意の他の構成要素と組み合わされてもよく、それらによって利用されてもよい。
【0162】
少なくとも一実施例では、ＡＩシステム１２２４は、推論、深層学習、機械学習、及び／又は他の人工知能タスク向けに構成された専用のコンピューティング・システム（たとえば、スーパーコンピュータ又はＨＰＣ）を含んでもよい。少なくとも一実施例では、ＡＩシステム１２２４（たとえば、ＮＶＩＤＩＡのＤＧＸ）は、ＧＰＵ最適化されたソフトウェア（たとえば、ソフトウェア・スタック）を含んでもよく、これは、ＣＰＵ、ＲＡＭ、ストレージ、及び／又は他の構成要素、特徴、若しくは機能に加えて、複数のＧＰＵ１２２２を使用して実行されてもよい。少なくとも一実施例では、１つ又は複数のＡＩシステム１２２４は、システム１２００の一部又はすべてのＡＩベースの処理タスクを実行するために、（たとえば、データ・センタにおいて）クラウド１２２６に実装されてもよい。
【0163】
少なくとも一実施例では、クラウド１２２６は、ＧＰＵ加速化インフラストラクチャ（たとえば、ＮＶＩＤＩＡのＮＧＣ）を含んでもよく、これは、システム１２００の処理タスクを実行するためのＧＰＵ最適化されたプラットフォームを提供してもよい。少なくとも一実施例では、クラウド１２２６は、システム１２００のＡＩベースのタスクのうちの１つ又は複数を実行するためのＡＩシステム１２２４を（たとえば、ハードウェア抽象化及びスケーリングのプラットフォームとして）含んでもよい。少なくとも一実施例では、クラウド１２２６は、複数のＧＰＵを利用してアプリケーション・オーケストレーション・システム１２２８と統合されて、アプリケーションとサービス１１２０の間でシームレスなスケーリング及びロード・バランシングを可能にしてもよい。少なくとも一実施例では、クラウド１２２６は、本明細書に記載する計算サービス１２１６、ＡＩサービス１２１８、及び／又は視覚化サービス１２２０を含むシステム１２００のサービス１１２０の少なくとも一部を実行する役割を課されてもよい。少なくとも一実施例では、クラウド１２２６は、大小のバッチ推論（たとえば、ＮＶＩＤＩＡのテンソルＲＴの実行）を実行してもよく、加速化された並列コンピューティングのＡＰＩ及びプラットフォーム１２３０（たとえば、ＮＶＩＤＩＡのＣＵＤＡ）を提供してもよく、アプリケーション・オーケストレーション・システム１２２８（たとえば、ＫＵＢＥＲＮＥＴＥＳ）を実行してもよく、グラフィックス・レンダリングのＡＰＩ及びプラットフォーム（たとえば、高品質のシネマティクスを生成するためのレイ・トレーシング、２Ｄグラフィックス、３Ｄグラフィックス、及び／又は他のレンダリング技法）を提供してもよく、且つ／又はシステム１２００のための他の機能を提供してもよい。
【0164】
図１３Ａは、少なくとも一実施例による、機械学習モデルを訓練、再訓練、又は更新するためのプロセス１３００のデータ・フロー図を示す。少なくとも一実施例では、プロセス１３００は、図１２のシステム１２００を非限定的な実例として使用して、実行されてもよい。少なくとも一実施例では、プロセス１３００は、本明細書に記載のシステム１２００のサービス１１２０及び／又はハードウェア１１２２を利用してもよい。少なくとも一実施例では、プロセス１３００によって生成される精緻化モデル１３１２は、導入パイプライン１２１０内の１つ又は複数のコンテナ化アプリケーションのために、導入システム１１０６によって実行されてもよい。
【0165】
少なくとも一実施例では、モデル訓練１１１４は、新規訓練データ（たとえば、顧客データセット１３０６、及び／又は入力データに関連付けられた新規グラウンド・トゥルース・データなどの新規入力データ）を使用して、初期モデル１３０４（たとえば、事前訓練済みモデル）を再訓練又は更新することを含んでもよい。少なくとも一実施例では、初期モデル１３０４を再訓練又は更新するために、初期モデル１３０４の出力又は損失層がリセットされてもよく、削除されてもよく、且つ／又は更新済み若しくは新規の出力若しくは損失層と置換されてもよい。少なくとも一実施例では、初期モデル１３０４は、以前に微調整された、前の訓練から残っているパラメータ（たとえば、重み及び／又はバイアス）を有してもよく、それにより、訓練又は再訓練１１１４は、最初からモデルを訓練するほど長い時間がかからず、又は多くの処理を必要としなくても済む。少なくとも一実施例では、モデル訓練１１１４の間に、初期モデル１３０４のリセット又は置換された出力又は損失層を有することにより、パラメータは、新規の顧客データセット１３０６（たとえば、図１１の画像データ１１０８）について予測を生成する際の出力又は損失層の精度に関連付けられた損失計算に基づき、新規データセットのために更新又は再調整されてもよい。
【0166】
少なくとも一実施例では、事前訓練済みモデル１２０６は、データ・ストア又はレジストリ（たとえば、図１１のモデル・レジストリ１１２４）に記憶されてもよい。少なくとも一実施例では、事前訓練済みモデル１２０６は、少なくとも部分的に、プロセス１３００を実行する施設とは異なる１つ又は複数の施設において訓練済みであってもよい。少なくとも一実施例では、異なる施設の患者、対象者、顧客のプライバシー及び権利を保護するために、事前訓練済みモデル１２０６は、構内で生成された顧客又は患者のデータを使用して、構内で訓練されたものであってもよい。少なくとも一実施例では、事前訓練済みモデル１２０６は、クラウド１２２６及び／又は他のハードウェア１１２２を使用して訓練されてもよいが、プライバシー保護された機密の患者データは、クラウド１２２６（又は他の構外のハードウェア）の任意の構成要素に転送できず、それらの構成要素によって使用されず、又はアクセス不可能であってもよい。少なくとも一実施例では、事前訓練済みモデル１２０６が２つ以上の施設からの患者データを使用して訓練される場合、事前訓練済みモデル１２０６は、各施設について個々に訓練されてから、別の施設からの患者若しくは顧客のデータについて訓練されてもよい。少なくとも一実施例では、顧客又は患者のデータが（たとえば、実験での使用を目的とした権利放棄などによって）プライバシー問題から解放されている場合、又は顧客若しくは患者のデータがパブリック・データ・セットに含まれる場合などには、任意の数の施設からの顧客又は患者のデータを使用して、データ・センタ又は他のクラウド・コンピューティング・インフラストラクチャなど、構内及び／又は構外で事前訓練済みモデル１２０６が訓練されてもよい。
【0167】
少なくとも一実施例では、導入パイプライン１２１０で使用するアプリケーションを選択するとき、ユーザは、特定のアプリケーションで使用することになる機械学習モデルも選択することができる。少なくとも一実施例では、ユーザは、使用するモデルを有していないことがあり、したがって、ユーザはアプリケーションとともに使用する事前訓練済みモデル１２０６を選択してもよい。少なくとも一実施例では、訓練済みモデル１２０６は、（たとえば、患者の多様性、人口統計、使用される医療用撮像デバイスのタイプなどに基づき）ユーザの施設の顧客データセット１３０６について正確な結果を生成するように最適化されてもよい。少なくとも一実施例では、事前訓練済みモデル１２０６を、アプリケーションとともに使用するために導入パイプライン１２１０に導入する前に、事前訓練済みモデル１２０６は、それぞれの施設において使用するために更新、再訓練、及び／又は微調整されてもよい。
【0168】
少なくとも一実施例では、ユーザは、更新、再訓練、及び／又は微調整されることになる事前訓練済みモデル１２０６を選択してもよく、事前訓練済みモデル１２０６は、プロセス１３００内でシステム１１０４を訓練するための初期モデル１３０４と呼ばれてもよい。少なくとも一実施例では、顧客データセット１３０６（たとえば、施設のデバイスによって生成された撮像データ、ゲノミクス・データ、シーケンシング・データ、又は他のタイプのデータ）を使用して、初期モデル１３０４について（限定することなく転送学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）を含んでもよい）モデル訓練１１１４が実行されて、精緻化モデル１３１２が生成されてもよい。少なくとも一実施例では、顧客データセット１３０６に対応するグラウンド・トゥルース・データが、訓練システム１１０４によって生成されてもよい。少なくとも一実施例では、グラウンド・トゥルース・データは、（たとえば、図１１のラベル付きクリニック・データ１１１２として）施設において臨床医、科学者、医師、開業医によって、少なくとも部分的に生成されてもよい。
【0169】
少なくとも一実施例では、ＡＩ支援アノテーション１１１０がいくつかの実例において使用されて、グラウンド・トゥルース・データが生成されてもよい。少なくとも一実施例では、（たとえば、ＡＩ支援アノテーションＳＤＫを使用して実装された）ＡＩ支援アノテーション１１１０は、機械学習モデル（たとえば、ニューラル・ネットワーク）を利用して、顧客データセットについて示唆又は予測されるグラウンド・トゥルース・データを生成してもよい。少なくとも一実施例では、ユーザ１３１０は、コンピューティング・デバイス１３０８上のユーザ・インターフェース（グラフィカル・ユーザ・インターフェース（ＧＵＩ））内でアノテーション・ツールを使用してもよい。
【0170】
少なくとも一実施例では、ユーザ１３１０は、コンピューティング・デバイス１３０８を介してＧＵＩと対話して、（自動）アノテーションを編集又は微調整してもよい。少なくとも一実施例では、ポリゴン編集特徴を使用して、ポリゴンの頂点をより正確なロケーション又は微調整されたロケーションに移動させてもよい。
【0171】
少なくとも一実施例では、顧客データセット１３０６が、関連付けられたグラウンド・トゥルース・データを得ると、（たとえば、ＡＩ支援アノテーション、手動ラベリングなどからの）グラウンド・トゥルース・データが、モデル訓練１１１４中に使用されて、精緻化モデル１３１２が生成されてもよい。少なくとも一実施例では、顧客データセット１３０６は、初期モデル１３０４に任意の回数、適用されてもよく、グラウンド・トゥルース・データは、精緻化モデル１３１２について許容可能なレベルの精度が達成されるまで、初期モデル１３０４のパラメータを更新するために使用されてもよい。少なくとも一実施例では、精緻化モデル１３１２が生成されると、精緻化モデル１３１２は、医療用撮像データに対して１つ又は複数の処理タスクを実行するために、施設において１つ又は複数の導入パイプライン１２１０内に導入されてもよい。
【0172】
少なくとも一実施例では、精緻化モデル１３１２は、別の施設によって選択されることになるモデル・レジストリ１１２４の事前訓練済みモデル１２０６にアップロードされてもよい。少なくとも一実施例では、このプロセスは任意の数の施設において完了されてもよく、それにより精緻化モデル１３１２は、新規データセットについて任意の回数さらに精緻化されて、より普遍的なモデルが生成されてもよい。
【0173】
図１３Ｂは、少なくとも一実施例による、事前訓練済みのアノテーション・モデルを用いてアノテーション・ツールを強化するためのクライアント・サーバのアーキテクチャ１３３２の実例の図である。少なくとも一実施例では、ＡＩ支援アノテーション・ツール１３３６は、クライアント・サーバのアーキテクチャ１３３２に基づきインスタンス化されてもよい。少なくとも一実施例では、撮像アプリケーションのアノテーション・ツール１３３６は、たとえば放射線医が器官及び異常を識別するのを支援してもよい。少なくとも一実施例では、撮像アプリケーションは、非限定的な実例として（たとえば、３ＤのＭＲＩ又はＣＴスキャンの）生画像１３３４において、特定の対象器官上の数少ない極値点をユーザ１３１０が識別するのを援助し、特定の器官の２Ｄスライスすべてについて自動アノテーション付けされた結果を受信するソフトウェア・ツールを含んでもよい。少なくとも一実施例では、結果は、訓練データ１３３８としてデータ・ストアに記憶されてもよく、（たとえば、限定することなく）訓練用のグラウンド・トゥルース・データとして使用されてもよい。少なくとも一実施例では、コンピューティング・デバイス１３０８が、ＡＩ支援アノテーション１１１０のために極値点を送るとき、たとえば深層学習モデルがこのデータを入力として受信してもよく、セグメント化された器官又は異常の推論結果を返してもよい。少なくとも一実施例では、図１３ＢのＡＩ支援アノテーション・ツール１３３６Ｂなどの事前インスタンス化されたアノテーション・ツールは、たとえばアノテーション・モデル・レジストリに記憶された事前訓練済みモデル１３４２のセットを含むことができるアノテーション支援サーバ１３４０などのサーバに、ＡＰＩコール（たとえば、ＡＰＩコール１３４４）を行うことによって、拡張されてもよい。少なくとも一実施例では、アノテーション・モデル・レジストリは、特定の器官又は異常に対してＡＩ支援アノテーションを実行するように事前訓練された事前訓練済みモデル１３４２（たとえば、深層学習モデルなどの機械学習モデル）を記憶してもよい。これらのモデルは、訓練パイプライン１２０４を使用することにより、さらに更新されてもよい。少なくとも一実施例では、事前インストールされたアノテーション・ツールは、ラベル付き新規クリニック・データ１１１２が加えられるにつれて、経時的に改善されてもよい。
【0174】
他の変形形態は、本開示の範囲内にある。したがって、開示した技法は、様々な修正及び代替的な構成が可能であるが、それらのうち一定の例示的な実施例が図面に示され、上で詳細に説明されてきた。しかし、特定の１つ又は複数の開示された形に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲に定義される開示の趣旨及び範囲に入るすべての修正形態、代替的な構成、及び等価物を網羅することを意図している。
【0175】
開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「収容する（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「含むが、これに限定されない」を意味する）と解釈される。「接続される」という用語は、修飾されずに物理的接続を指している場合には、何か介在するものがあったとしても、部分的に又は完全に中に収容される、取り付けられる、又は互いに接合されるものとして解釈される。本明細書において値の範囲を詳述することは、本明細書において別段の記載がない限り、またそれぞれ別々の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に含まれるそれぞれ別々の値を個々に参照する簡潔な方法として機能することを単に意図しているにすぎない。「セット」（たとえば、「アイテムのセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がない、又は否定されていない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がない、又は否定されていない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すのではなく、サブセットと対応するセットは等しくてもよい。
【0176】
「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という形の言い回しなどの結合語は、別段の具体的な記載のない限り、又は文脈によって明確に否定されていない限り、項目、用語などが、ＡかＢかＣである、又はＡとＢとＣのセットのいずれかの空でないサブセットであることを提示するために一般に使用される文脈で理解される。たとえば、３つの部材を有するセットの説明的な実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という結合句は、次のセットのうちのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、こうした結合語は、ある一定の実施例が、少なくとも１つのＡ、少なくとも１つのＢ、及び少なくとも１つのＣのそれぞれの存在を必要とすることを全体的に暗示するものではない。さらに、別段の記載のない、又は文脈によって否定されていない限り、「複数」という用語は、複数である状態を示す（たとえば、「複数の項目（ａ ｐｌｕｒａｌｉｔｙ ｏｆ ｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅ ｉｔｅｍｓ）を示す）。複数とは、少なくとも２つの項目であるが、明示的に、又は文脈によって示されている場合にはそれより多くてもよい。さらに、別段の記載のない、又は文脈からそうでないことが明らかでない限り、「～に基づく」という言い回しは、「少なくとも部分的に～に基づく」を意味し、「～だけに基づく」を意味しない。
【0177】
本明細書に記載のプロセスの動作は、本明細書に別段の記載のない、又は文脈によって明確に否定されない限り、任意の好適な順序で実行することができる。少なくとも一実施例では、本明細書に記載のプロセス（又はその変形及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実行され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行されるコード（たとえば、実行可能な命令、１つ若しくは複数のコンピュータ・プログラム、又は１つ若しくは複数のアプリケーション）として実装される。少なくとも一実施例では、コードは、たとえば１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形で、コンピュータ読取り可能ストレージ媒体に記憶される。少なくとも一実施例では、コンピュータ読取り可能ストレージ媒体は、一時的な信号（たとえば、伝播する一時的な電気若しくは電磁送信）を除外するが、一時的な信号のトランシーバ内の非一時的なデータ・ストレージ回路（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的なコンピュータ読取り可能ストレージ媒体である。少なくとも一実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的なコンピュータ読取り可能ストレージ媒体のセットに記憶され、このストレージ媒体には、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（すなわち、実行された結果として）、コンピュータ・システムに本明細書に記載の動作を実行させる実行可能命令が記憶されている（又は、実行可能命令を記憶するための他のメモリを有する）。非一時的なコンピュータ読取り可能ストレージ媒体のセットは、少なくとも一実施例では、複数の非一時的なコンピュータ読取り可能ストレージ媒体を備え、複数の非一時的なコンピュータ読取り可能ストレージ媒体の個々の非一時的なストレージ媒体のうちの１つ又は複数には、すべてのコードがないが、複数の非一時的なコンピュータ読取り可能ストレージ媒体は、集合的にすべてのコードを記憶している。少なくとも一実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的なコンピュータ読取り可能ストレージ媒体は命令を記憶し、メインの中央処理装置（「ＣＰＵ」）は一部の命令を実行し、グラフィックス・プロセッシング・ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも一実施例では、コンピュータ・システムの異なる構成要素は、別々のプロセッサを有し、異なるプロセッサは、命令の異なるサブセットを実行する。
【0178】
したがって、少なくとも一実施例では、コンピュータ・システムは、本明細書に記載のプロセスの動作を単独で又は集合的に実行する１つ又は複数のサービスを実装するように構成され、こうしたコンピュータ・システムは、動作の実行を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも一実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、異なるやり方で動作する複数のデバイスを備える分散型のコンピュータ・システムであり、それにより単一のデバイスがすべての動作を実行しないように分散型のコンピュータ・システムが本明細書に記載の動作を実行する。
【0179】
本明細書に提供されるあらゆる例、又は例示的な言葉（たとえば、「など」）の使用は、本開示の実施例をより明らかにすることだけを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。
【0180】
本明細書に引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることがあたかも個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。
【0181】
明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用されてもよい。これらの用語は、互いに同義語として意図されていない場合があることを理解すべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、２つ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用されてもよい。また「結合される」は、２つ以上の要素が直接互いに接触していないが、なお互いに連動又は相互作用することを意味してもよい。
【0182】
別段の具体的な記載のない限り、明細書全体を通して「処理する」、「コンピューティング」、「計算する」、又は「判定する」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータをコンピューティング・システムのメモリ、レジスタ、又は他のそのような情報ストレージ・デバイス、送信デバイス、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるよう操作及び／又は変換するコンピュータ若しくはコンピューティング・システム、又は同様の電子コンピューティング・デバイスの行為及び／又はプロセスを指す。
【0183】
同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶することができる他の電子データに変換する任意のデバイス、又はデバイスの一部分を指してもよい。非限定的な実例として、「プロセッサ」は、ＣＰＵ、ＧＰＵ、ＤＰＵ、又はハードウェアアクセラレータであってもよい。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備えてもよい。本明細書で使用する「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実行するソフトウェア及び／又はハードウェアのエンティティを含んでもよい。また、各プロセスは、命令を直列で又は並列で連続的に又は断続的に実行するための複数のプロセスを指してもよい。「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化することができ、方法がシステムと考えられてもよい場合に限り、本明細書において交換可能に使用される。
【0184】
本明細書では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又はそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及することができる。アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力することは、関数呼出し、又はアプリケーション・プログラミング・インターフェースへの呼出しのパラメータとしてデータを受信するなど、様々なやり方で実現することができる。いくつかの実装形態では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、直列又は並列のインターフェースを介してデータを転送することによって実現することができる。別の実装形態では、アナログ・データ又はデジタル・データを得る、取得する、受信する、又は入力するプロセスは、提供するエンティティから取得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現することができる。また、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示することにも言及することができる。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送る、又は提示するプロセスは、関数呼出しの入力又は出力のパラメータ、アプリケーション・プログラミング・インターフェース若しくはプロセス間通信機構のパラメータとしてデータを転送することによって実現することができる。
【0185】
上の議論は、説明した技法の例示的な実装形態について述べているが、記載した機能を実装するために他のアーキテクチャが使用されてもよく、この他のアーキテクチャは、本開示の範囲内にあることが意図される。さらに、議論を目的として、役割の具体的な分配が上記に定義されているが、様々な機能及び役割は、状況に応じて異なるやり方で分配及び分割されてもよい。
【0186】
さらに、主題は、構造的特徴及び／又は方法論的動作に特有の言語で説明されてきたが、添付の特許請求の範囲で特許請求される主題は、説明した特有の特徴又は動作に必ずしも限定されないことが理解されるべきである。むしろ、特有の特徴及び動作は、特許請求の範囲を実装する例示的な形として開示されている。
【0187】
前述の詳細な説明のいくつかの部分は、コンピュータ・メモリ内のデータ・ビットに対する演算のアルゴリズム及び記号表現の観点で提示されている。これらのアルゴリズムの記述及び表現は、データ処理の技術分野における当業者が、他の当業者に作業内容を最も効果的に伝達するために使用される方法である。アルゴリズムは、ここでは一般に、所望の結果につながる自己矛盾のない一連の演算であると考えられる。これらの演算は、物理量の物理的な操作を必要とする演算である。通常、必ずしもそうとは限らないが、これらの量は、保存、組合せ、比較、及び他の方法で操作されることが可能な電気信号又は磁気信号の形式を取る。主に一般的な使用法の理由から、これらの信号をビット、値、要素、記号、文字、用語、数値などと呼ぶと便利な場合があることがわかっている。
【0188】
しかしながら、これらの用語及び同様の用語はすべて、適切な物理的な量に関連付けられており、これらの量に適用される簡便なラベルにすぎないことに留意されたい。本開示は、コンピュータ・システムのレジスタ及びメモリ内の物理的（電子的）な量として表されるデータを、コンピュータ・システムのメモリ若しくはレジスタ又は他のそのような情報ストレージ・システム内の物理的な量として同様に表される他のデータになるように操作及び変換する、コンピュータ・システム又は同様の電子コンピューティング・デバイスの行為及びプロセスを指すことができる。
【0189】
本開示はまた、本明細書における動作を実行するための装置に関する。この装置は、所期の目的のために特別に構築されることが可能であり、又はコンピュータ内に記憶されたコンピュータ・プログラムによって選択的に起動若しくは再構成される汎用コンピュータを含むことができる。こうしたコンピュータ・プログラムは、フロッピー・ディスク、光ディスク、ＣＤ－ＲＯＭ、及び磁気光学ディスクを含む任意のタイプのディスク、読取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード若しくは光カード、又はそれぞれがコンピュータ・システム・バスに接続された、電子命令を記憶するのに好適な任意のタイプの媒体などであるがこれらに限定されない、コンピュータ読取り可能ストレージ媒体に記憶されることが可能である。
【0190】
本明細書に提示されるアルゴリズム及び表示は、任意の特定のコンピュータ又は他の装置に本質的に関連するものではない。本明細書の教示によるプログラムとともに様々な汎用システムを使用することができ、又は本方法を実行するためのより特殊化された装置を構築すると便利であることがわかっている。これらの様々なシステムの構造は、以下の説明に示すようなものになる。さらに、本開示は、何らかの特定のプログラミング言語を参照して説明されてはいない。本明細書に記載されるように本開示の教示を実施するために様々なプログラミング言語を使用できることが理解されよう。
【0191】
本開示は、本開示によるプロセスを実行するためのコンピュータ・システム（又は他の電子デバイス）をプログラムするために使用され得る、命令を記憶したマシン読取り可能媒体を含むことができるコンピュータ・プログラム製品又はソフトウェアとして提供されることが可能である。マシン読取り可能媒体は、マシン（たとえば、コンピュータ）によって読取り可能な形式で情報を記憶するための任意のメカニズムを含む。いくつかの実施例では、マシン読取り可能（たとえば、非一時的なコンピュータ読取り可能）媒体は、読取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、磁気ディスク・ストレージ媒体、光学ストレージ媒体、フラッシュ・メモリ構成要素などのマシン（たとえば、コンピュータ）読取り可能ストレージ媒体を含む。
【0192】
前述の明細書では、本開示の実施例について、その特定の例示的な実施例を参照しながら説明してきた。添付の特許請求の範囲に記載されるように、本開示の実施例のより広い趣旨及び範囲から逸脱することなく、様々な修正を加えることができることは明らかであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で見なされるべきである。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【外国語明細書】