特許 7372011 深層学習の大規模なモデル・サポート

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-23

(45)【発行日】2023-10-31

(54)【発明の名称】深層学習の大規模なモデル・サポート

(51)【国際特許分類】

   G06N 3/08 20230101AFI20231024BHJP

   G06N 20/00 20190101ALI20231024BHJP

【ＦＩ】

G06N3/08

G06N20/00

【請求項の数】 13

(21)【出願番号】P 2021521954

(86)(22)【出願日】2019-10-30

(65)【公表番号】

(43)【公表日】2022-01-19

(86)【国際出願番号】 IB2019059294

(87)【国際公開番号】W WO2020095155

(87)【国際公開日】2020-05-14

【審査請求日】2022-04-18

(31)【優先権主張番号】16/180,864

(32)【優先日】2018-11-05

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(72)【発明者】

【氏名】チョ、ミンシク

(72)【発明者】

【氏名】フィンクラー、ウルリッヒ、アルフォンス

(72)【発明者】

【氏名】ゾロトフ、ウラジミル

(72)【発明者】

【氏名】クン、デイヴィッド

【審査官】今城 朋彬

(56)【参考文献】

【文献】国際公開第２０１８／１４２７６４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｑ ３０／０２

(57)【特許請求の範囲】

【請求項1】

システムであって、
ディープ・ニューラル・ネットワークを訓練するためのデータを処理する画像処理装置と、
前記ディープ・ニューラル・ネットワークを訓練するための前記データの一部を記憶す
る中央処理装置メモリと
を備え、前記画像処理装置が、一連の層の第１の層から、前記ディープ・ニューラル・ネットワークに一連の出力を提供する前記一連の層の最後の層に、前記ディープ・ニューラル・ネットワークの前記一連の層を通る前記ディープ・ニューラル・ネットワークのフォワード・パス・プロセス中であって、前記ディープ・ニューラル・ネットワークの訓練中に、前記ディープ・ニューラル・ネットワークの前記一連の層における前記第１の層とは異なる１つの層のための入力データを前記中央処理装置メモリに提供する、
システム。

【請求項2】

前記中央処理装置メモリに関連した中央処理装置が、前記一連の層の前記最後の層から、前記一連の層の前記第１の層に、前記ディープ・ニューラル・ネットワークの前記一連の層を通る前記ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、前記入力データを前記画像処理装置に提供する、請求項１に記載のシステム。

【請求項3】

前記画像処理装置が、前記フォワード・パス・プロセス中に、前記ディープ・ニューラル・ネットワークの前記層からの出力データを前記画像処理装置に関連したメモリに記憶する、請求項１または２に記載のシステム。

【請求項4】

前記画像処理装置が、前記ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、前記ディープ・ニューラル・ネットワークの層からの勾配データを前記中央処理装置メモリに提供する、請求項１～３のいずれか１項に記載のシステム。

【請求項5】

前記画像処理装置が、前記ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、前記ディープ・ニューラル・ネットワークの層のためのパラメータ・データを前記中央処理装置メモリから受け取る、請求項１～４のいずれか１項に記載のシステム。

【請求項6】

前記画像処理装置が、圧縮方式を介して前記中央処理装置メモリに前記入力データを提供する、請求項１～５のいずれか１項に記載のシステム。

【請求項7】

前記画像処理装置が、半精度浮動小数点形式を介して前記中央処理装置メモリに前記入力データを提供する、請求項１～６のいずれか１項に記載のシステム。

【請求項8】

前記画像処理装置が、シリアル・マルチ・レーン通信リンクを介して前記中央処理装置メモリに連結される、請求項１～７のいずれか１項に記載のシステム。

【請求項9】

前記中央処理装置メモリが、前記画像処理装置の処理性能の改善を容易にするための前記データの前記一部を記憶する、請求項１～８のいずれか１項に記載のシステム。

【請求項10】

コンピュータ実装方法であって、
一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータを画像処理装置によって処理することと、
一連の層の第１の層から、前記ディープ・ニューラル・ネットワークに一連の出力を提供する前記一連の層の最後の層に、前記一連の層を通る前記ディープ・ニューラル・ネットワークのフォワード・パス・プロセス中であって、前記ディープ・ニューラル・ネットワークの訓練中に、前記一連の層における前記第１の層とは異なる１つの層のための入力データを中央処理装置メモリに前記画像処理装置によって提供することと
を含む、コンピュータ実装方法。

【請求項11】

コンピュータ実装方法であって、
一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータの少なくとも一部を中央処理装置によって受け取ることと、
前記中央処理装置に関連したメモリに前記データの少なくとも前記一部を前記中央処理装置によって記憶することと、
前記ディープ・ニューラル・ネットワークに一連の出力を提供する前記一連の層の最後の層から、前記一連の層の第１の層に、前記ディープ・ニューラル・ネットワークの前記一連の層を通る前記ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、前記ディープ・ニューラル・ネットワークに関連した画像処理装置に前記データの少なくとも前記一部を前記中央処理装置によって提供することと
を含む、コンピュータ実装方法。

【請求項12】

深層学習のモデル・サポートのための画像処理装置が実行するコンピュータ・プログラムであって、
前記画像処理装置に
一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータを処理することと、
一連の層の第１の層から、前記ディープ・ニューラル・ネットワークに一連の出力を提供する前記一連の層の最後の層に、前記一連の層を通る前記ディープ・ニューラル・ネットワークのフォワード・パス・プロセス中であって、前記ディープ・ニューラル・ネットワークの訓練中に、前記一連の層における前記第１の層とは異なる１つの層のための入力データを中央処理装置メモリに提供することと
を行わせる、コンピュータ・プログラム。

【請求項13】

深層学習のモデル・サポートのための中央処理装置が実行するコンピュータ・プログラムであって、
前記中央処理装置が、
一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータの少なくとも一部を受け取ることと、
前記中央処理装置に関連したメモリに前記データの少なくとも前記一部を記憶することと、
前記ディープ・ニューラル・ネットワークに一連の出力を提供する前記一連の層の最後の層から、前記一連の層の第１の層に、前記ディープ・ニューラル・ネットワークの前記一連の層を通る前記ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、前記ディープ・ニューラル・ネットワークに関連した画像処理装置に前記データの少なくとも前記一部を提供することと
を行わせる、コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

主題の開示は、コンピュータ・アーキテクチャに関し、より詳細には、深層学習システムに関する。深層学習は、処理層のネットワークに提供されるデータに関連した、以前に知られていなかった特徴、分類、またはパターン、あるいはその組合せを判定するために、処理層のネットワーク（例えば、入力層、一連の隠れ層、または出力層、あるいはその組合せ）に関連した訓練プロセスを用いる機械学習技法である。深層学習は、例えば、言語認識、画像認識、ビデオ処理、テキスト分析、グラフィカル・モデリング、データ分析、生命情報科学、非構造化データに関連した技術システム、または他の技術用途、あるいはその組合せなどの技術分野でしばしば用いられる。処理層のネットワークに提供されるデータは、訓練プロセスの始めに用いられる訓練セット（例えば、訓練プロセスのために用いられる既知の分類による一連のデータ）を含むことができる。訓練セットを利用して、処理層のネットワークは、特定の処理ステージ中に生成されたデータが、１つまたは複数の前の処理ステージ中に生成されたデータから判定される、反復処理ステージを実施することができる。処理ステージ中に、処理層は、入力データ、または以前に学習したデータ、あるいはその両方に基づいて、データを独立して生成することができる。一定の実装形態では、画像処理装置を、深層学習を実行するために用いることができる。例えば、画像処理装置は、処理層のネットワークを実行するために用いることができる。１つの例では、Yangら（米国特許公開第２０１６／０３４２８８８号）は、「ＧＰＵ上で動作するＣＮＮのための改善されたメモリ効率の効果を通じた、ＣＮＮシステムの性能を改善する技術」を開示している。それでも、画像処理装置は、一般に、オン・ボード・メモリを制限してきた。さらに、画像処理装置は、一般に、一定のタイプの深層学習ネットワーク（例えば、大規模深層学習ネットワーク、複雑な深層学習ネットワーク、等）を収容することができない。したがって、画像処理装置に関連した深層学習を改善することができる。

【発明の概要】

【0002】

以下は、本発明の１つまたは複数の実施形態を基本的に理解するための概要を提示する。本概要は、主要もしくは重要な要素を識別すること、または、特定の実施形態のいずれかの範囲、もしくは特許請求の範囲のいずれかの範囲を詳しく説明することを意図するものではない。その唯一の目的は、後で提示される、より詳細な説明の前置きとして、簡単な形で概念を提示することである。本明細書で説明する１つまたは複数の実施形態では、深層学習のモデル・サポートを容易にするデバイス、システム、コンピュータ実装方法、装置、またはコンピュータ・プログラム製品、あるいはその組合せを説明する。

【0003】

１つの実施形態によれば、システムは、画像処理装置と、中央処理装置メモリとを備えることができる。画像処理装置は、ディープ・ニューラル・ネットワークを訓練するためのデータを処理することができる。中央処理装置メモリは、ディープ・ニューラル・ネットワークを訓練するためのデータの一部を記憶することができる。画像処理装置は、一連の層の第１の層から、ディープ・ニューラル・ネットワークに一連の出力を提供する一連の層の最後の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのフォワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの一連の層の１つの層のための入力データを中央処理装置メモリに提供することができる。システムは、従来の深層学習技法と比較して様々な長所をもたらすことができる。一定の実施形態では、システムは、ディープ・ニューラル・ネットワークに関連した深層学習処理の性能の改善を容易にすることができる。１つの実施形態では、中央処理装置メモリに関連した中央処理装置は、一連の層の最後の層から、一連の層の第１の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、入力データを画像処理装置に提供することができる。別の実施形態では、画像処理装置は、フォワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層からの出力データを画像処理装置に関連したメモリに記憶することができる。さらに別の実施形態では、画像処理装置は、ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層からの勾配データを中央処理装置メモリに提供することができる。さらに別の実施形態では、画像処理装置は、ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層のためのパラメータ・データを中央処理装置メモリから受け取ることができる。一定の実施形態では、画像処理装置は、圧縮方式を介して中央処理装置メモリに入力データを提供することができる。一定の実施形態では、画像処理装置は、半精度浮動小数点形式を介して中央処理装置メモリに入力データを提供することができる。一定の実施形態では、画像処理装置は、シリアル・マルチ・レーン通信リンクを介して中央処理装置メモリに連結することができる。一定の実施形態では、中央処理装置メモリは、画像処理装置の処理性能の改善を容易にするためのデータの一部を記憶することができる。

【0004】

別の実施形態によれば、コンピュータ実装方法が提供される。コンピュータ実装方法は、一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータを画像処理装置によって処理することを含むことができる。コンピュータ実装方法は、一連の層の第１の層から、ディープ・ニューラル・ネットワークに一連の出力を提供する一連の層の最後の層に、一連の層を通って横断するディープ・ニューラル・ネットワークのフォワード・パス・プロセス中に、一連の層の１つの層のための入力データを中央処理装置メモリに画像処理装置によって提供することを含むこともできる。コンピュータ実装方法は、従来の深層学習技法と比較して様々な長所をもたらすことができる。一定の実施形態では、コンピュータ実装方法は、ディープ・ニューラル・ネットワークに関連した深層学習処理の性能の改善を容易にすることができる。１つの実施形態では、コンピュータ実装方法は、一連の層の最後の層から、一連の層の第１の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、中央処理装置メモリから入力データを画像処理装置によって受け取ることを含むこともできる。別の実施形態では、コンピュータ実装方法は、画像処理装置によって、および、フォワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層からの出力データを画像処理装置に関連したメモリに記憶することを含むこともできる。さらに別の実施形態では、コンピュータ実装方法は、画像処理装置によって、および、ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層からの勾配データを中央処理装置メモリに提供することを含むこともできる。さらに別の実施形態では、コンピュータ実装方法は、画像処理装置によって、および、ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層のためのパラメータ・データを中央処理装置メモリから受け取ることを含むこともできる。一定の実施形態では、提供することは、圧縮方式を介して中央処理装置メモリに入力データを提供することを含むことができる。一定の実施形態では、提供することは、半精度浮動小数点形式を介して中央処理装置メモリに入力データを提供することを含む。一定の実施形態では、提供することは、画像処理装置の処理性能の改善を容易にすることを含む。

【0005】

さらに別の実施形態によれば、コンピュータ実装方法が提供される。コンピュータ実装方法は、一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータの少なくとも一部を中央処理装置によって受け取ることを含むことができる。コンピュータ実装方法は、中央処理装置に関連したメモリにデータの少なくとも一部を中央処理装置によって記憶することを含むこともできる。さらに、コンピュータ実装方法は、ディープ・ニューラル・ネットワークに一連の出力を提供する一連の層の最後の層から、一連の層の第１の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワークに関連した画像処理装置にデータの少なくとも一部を中央処理装置によって提供することを含むことができる。コンピュータ実装方法は、従来の深層学習技法と比較して様々な長所をもたらすことができる。一定の実施形態では、コンピュータ実装方法は、ディープ・ニューラル・ネットワークに関連した深層学習処理の性能の改善を容易にすることができる。１つの実施形態では、受け取ることは、一連の層の第１の層から、一連の層の最後の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのフォワード・パス・プロセス中に、データの少なくとも一部を受け取ることを含むことができる。別の実施形態では、受け取ることは、圧縮方式を介してデータの少なくとも一部を受け取ることを含むことができる。

【0006】

さらに別の実施形態によれば、深層学習のモデル・サポートのためのコンピュータ・プログラム製品は、プログラム命令を含んだコンピュータ可読ストレージ媒体を備えることができる。プログラム命令は、画像処理装置によって実行可能であり、一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータを画像処理装置によって処理することを画像処理装置に行わせることができる。プログラム命令は、一連の層の第１の層から、ディープ・ニューラル・ネットワークに一連の出力を提供する一連の層の最後の層に、一連の層を通って横断するディープ・ニューラル・ネットワークのフォワード・パス・プロセス中に、一連の層の１つの層のための入力データを中央処理装置メモリに画像処理装置によって提供することを画像処理装置に行わせることもできる。コンピュータ・プログラム製品は、従来の深層学習技法と比較して様々な長所をもたらすことができる。一定の実施形態では、コンピュータ・プログラム製品は、ディープ・ニューラル・ネットワークに関連した深層学習処理の性能の改善を容易にすることができる。１つの実施形態では、プログラム命令は、一連の層の最後の層から、一連の層の第１の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、中央処理装置メモリから入力データを画像処理装置によって受け取ることを画像処理装置に行わせることもできる。別の実施形態では、プログラム命令は、画像処理装置によって、および、フォワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層からの出力データを画像処理装置に関連したメモリに記憶することを画像処理装置に行わせることもできる。

【0007】

さらに別の実施形態によれば、深層学習のモデル・サポートのためのコンピュータ・プログラム製品は、プログラム命令を含んだコンピュータ可読ストレージ媒体を備えることができる。プログラム命令は、中央処理装置によって実行可能であり、一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータの少なくとも一部を中央処理装置によって受け取ることを中央処理装置に行わせることができる。プログラム命令は、中央処理装置に関連したメモリにデータの少なくとも一部を中央処理装置によって記憶することを中央処理装置に行わせることもできる。プログラム命令は、ディープ・ニューラル・ネットワークに一連の出力を提供する一連の層の最後の層から、一連の層の第１の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワークに関連した画像処理装置にデータの少なくとも一部を中央処理装置によって提供することを中央処理装置に行わせることもできる。コンピュータ・プログラム製品は、従来の深層学習技法と比較して様々な長所をもたらすことができる。一定の実施形態では、コンピュータ・プログラム製品は、ディープ・ニューラル・ネットワークに関連した深層学習処理の性能の改善を容易にすることができる。１つの実施形態では、プログラム命令は、一連の層の第１の層から、一連の層の最後の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのフォワード・パス・プロセス中に、データの少なくとも一部を中央処理装置によって受け取ることを画像処理装置に行わせることもできる。

【図面の簡単な説明】

【0008】

【図1】本明細書で説明する１つまたは複数の実施形態による、深層学習のモデル・サポートを容易にするための実例の非限定的なシステムを示す図である。

【図2】本明細書で説明する１つまたは複数の実施形態による、深層学習のモデル・サポートを容易にするための別の実例の非限定的なシステムを示す図である。

【図3】本明細書で説明する１つまたは複数の実施形態による、有限状態機械に関連した実例の非限定的なシステムを示す図である。

【図4】本明細書で説明する１つまたは複数の実施形態による、ディープ・ニューラル・ネットワークに関連した実例の非限定的なシステムを示す図である。

【図5】本明細書で説明する１つまたは複数の実施形態による、ディープ・ニューラル・ネットワークに関連した別の実例の非限定的なシステムを示す図である。

【図6】本明細書で説明する１つまたは複数の実施形態による、データ圧縮に関連した実例の非限定的なシステムを示す図である。

【図7】本明細書で説明する１つまたは複数の実施形態による、データ圧縮に関連した別の実例の非限定的なシステムを示す図である。

【図8】本明細書で説明する１つまたは複数の実施形態による、深層学習のモデル・サポートを容易にするための実例の非限定的なコンピュータ実装方法の流れ図である。

【図9】本明細書で説明する１つまたは複数の実施形態による、深層学習のモデル・サポートを容易にするための別の実例の非限定的なコンピュータ実装方法の流れ図である。

【図10】本明細書で説明する１つまたは複数の実施形態を容易にすることができる実例の非限定的な動作環境のブロック図である。

【発明を実施するための形態】

【0009】

以下の詳細な説明は、例証にすぎず、実施形態、または実施形態の用途もしくは使用、あるいはその両方を限定することを意図するものではない。さらに、先行する背景技術もしくは発明の概要セクションで、または発明を実施するための形態セクションで提示した、いずれかの表現した、または意味した情報によって束縛される意図はない。

【0010】

図面を参照しながら、１つまたは複数の実施形態を次に説明するが、同様の要素を全体にわたって参照するために同様の参照番号を使用する。以下の記述では、説明のために、１つまたは複数の実施形態をより完全に理解するために非常に多くの具体的詳細を示す。それでも、これらの具体的詳細がなくても、１つまたは複数の実施形態を実践できることが様々なケースで明らかである。

【0011】

深層学習は、処理層のネットワークに提供されるデータに関連した、以前に知られていなかった特徴、分類、またはパターン、あるいはその組合せを判定するために、処理層のネットワーク（例えば、入力層、一連の隠れ層、または出力層、あるいはその組合せ）に関連した訓練プロセスを用いる機械学習技法である。深層学習は、例えば、言語認識、画像認識、ビデオ処理、テキスト分析、グラフィカル・モデリング、データ分析、生命情報科学、非構造化データに関連した技術システム、または他の技術用途、あるいはその組合せなどの技術分野でしばしば用いられる。処理層のネットワークに提供されるデータは、訓練プロセスの始めに用いられる訓練セット（例えば、訓練プロセスのために用いられる既知の分類による一連のデータ）を含むことができる。訓練セットを利用して、処理層のネットワークは、特定の処理ステージ中に生成されたデータが、１つまたは複数の前の処理ステージ中に生成されたデータから判定される、反復処理ステージを実施することができる。処理ステージ中に、処理層は、入力データ、または以前に学習したデータ、あるいはその両方に基づいて、データを独立して生成することができる。１つの実施形態では、画像処理装置を、深層学習を実行するために用いることができる。例えば、画像処理装置は、処理層のネットワークを実行するために用いることができる。それでも、画像処理装置は、一般に、オン・ボード・メモリを制限してきた。さらに、画像処理装置は、一般に、一定のタイプの深層学習ネットワーク（例えば、大規模深層学習ネットワーク、複雑な深層学習ネットワーク、等）を収容することができない。したがって、画像処理装置に関連した深層学習を改善することができる。

【0012】

従来の深層学習技法、つまり、画像処理装置を用いる深層学習、または他の従来の技術、あるいはその両方に関連した、これらの、または他の、あるいはその両方の問題に対処するために、本明細書で説明する実施形態は、深層学習のモデル・サポートのためのシステム、コンピュータ実装方法、およびコンピュータ・プログラム製品を含む。１つの態様では、深層学習がモデル・サポートを行うために、画像処理装置を用いることができる。モデルは、例えば、深層学習モデルであってもよい。さらに、モデル・サポートを行うために、ホスト・メモリを追加として用いることができる。ホスト・メモリは、例えば、中央処理装置メモリであってもよい。別の例では、ホスト・メモリは、異なる画像処理装置に関連した別の画像処理装置メモリであってもよい。それでも、ホスト・メモリは、異なるタイプのメモリであってもよいことを認識されたい。ホスト・メモリは、画像処理装置に通信連結することができる。ホスト・メモリは、画像処理装置に関連した深層学習のためのキャッシュとして用いることができる。例えば、ホスト・メモリは、画像処理装置によって実行される深層学習ネットワークのための深層学習モデルの訓練に関連したデータの少なくとも一部を記憶するためのキャッシュとして用いることができる。１つの実施形態では、画像処理装置によって実行される深層学習ネットワークに関連したフォワード・パスからのデータは、画像処理装置によって実行される深層学習ネットワークに関連したバックワード・パスで再使用することができる。フォワード・パスからのデータは、ホスト・メモリに記憶することができる。さらに、バックワード・パス中に、ホスト・メモリに記憶したデータを画像処理装置に提供することができる。フォワード・パスは、一連の層の第１の層から、深層学習ネットワークに一連の出力を提供する一連の層の最後の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断する深層学習ネットワークのフォワード・パス・プロセスであってもよい。バックワード・パスは、一連の層の最後の層から、一連の層の第１の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断する深層学習ネットワークのバックワード・パス・プロセスであってもよい。別の実施形態では、バックワード・パスが完了した後、データの少なくとも一部を、ホスト・メモリから捨てることができる。追加として、一定の実施形態では、画像処理装置は、圧縮方式を介してホスト・メモリにデータを提供することができる。したがって、画像処理装置の処理性能を改善すること、画像処理装置の計算ボトルネックを減らすこと、または、画像処理装置の処理効率を改善すること、あるいはその組合せを行うことができる。さらに、深層学習ネットワークのためのバッチ・サイズ（例えば、フォワード・パスもしくはバックワード・パスのための訓練要素の数）、または、深層学習ネットワークによって処理されるデータの量、あるいはその両方を増やすことができる。その上、深層学習ネットワークに関連した深層学習を実施するための時間を減らすことができる。

【0013】

図１は、本明細書で説明する１つまたは複数の実施形態による、深層学習のモデル・サポートを容易にする実例の非限定的なシステム１００を示す。様々な実施形態では、システム１００は、深層学習技術、機械学習技術、人工知能技術、協調フィルタリング技術、推薦システム技術、信号処理技術、単語の埋め込み技術、トピック・モデル技術、画像処理技術、データ分析技術、検索エンジン技術、画像認識技術、言語認識技術、モデル縮小技術、反復法線形ソルバ（iterative linear solver）技術、データ・マイニング技術、ヘルスケア技術、製薬技術、バイオテクノロジ技術、財務技術、化学技術、材料発見技術、振動解析技術、地質学技術、産業技術、航空技術、または他のデジタル技術、あるいはその組合せなどであるがこれらに限定されない技術に関連した深層学習システムであってもよい。

【0014】

システム１００は、ハードウェアまたはソフトウェアあるいはその両方を用いて、抽象的でなく、人間による一連の心の行為として実施することができない、本質的に高度に技術的な問題を解決することができる。さらに、一定の実施形態では、実施される処理のうちのいくつかは、深層学習に関連した規定のタスクを実行するために、１つまたは複数の専用コンピュータ（例えば、１つまたは複数の専用処理ユニット、専用画像処理装置、専用プロセッサ、専用中央処理装置、等）によって実施することができる。システム１００またはシステム１００の構成要素あるいはその両方は、上記で言及した技術、コンピュータ・アーキテクチャ、深層学習アーキテクチャ、または同様のもの、あるいはその組合せの進歩を通じて生じる新しい問題を解決するために用いることができる。システム１００の１つまたは複数の実施形態は、深層学習システム、機械学習システム、人工知能システム、協調フィルタリング・システム、推薦システム、信号処理システム、単語の埋め込みシステム、トピック・モデル・システム、画像処理システム、データ分析システム、検索エンジン・システム、画像認識システム、言語認識システム、モデル縮小システム、反復法線形ソルバ・システム、データ・マイニング・システム、ヘルスケア・システム、製薬システム、バイオテクノロジシステム、財務システム、化学システム、材料発見システム、振動解析システム、地質学システム、産業システム、航空システム、または他のデジタル・システム、あるいはその組合せに技術的改善をもたらすことができる。システム１００の１つまたは複数の実施形態は、画像処理装置の処理性能を改善すること、画像処理装置の計算ボトルネックを減らすこと、画像処理装置の処理効率を改善すること、または画像処理装置が深層学習処理を実施するための時間を減らすこと、あるいはその組合せによって、画像処理装置に技術的改善をもたらすこともできる。

【0015】

図１に示した実施形態では、システム１００は、画像処理装置１０２および中央処理装置１０４を含むことができる。画像処理装置１０２は、１つまたは複数の演算を繰り返し実施するように構成された専用ハードウェア・プロセッサであってもよい。画像処理装置１０２は、ディスプレイ機能またはグラフィックス処理あるいはその両方を実施するために特殊化することができる。さらに、画像処理装置１０２は、１つまたは複数の演算を繰り返し実施することを容易にするための複数のプロセッサ・コアを含むことができる。中央処理装置１０４は、一連の処理スレッドを実行するように構成されたハードウェア・プロセッサであってもよい。画像処理装置１０２は、中央処理装置１０４より速い速度でデータを処理するように構成することができる。さらに、中央処理装置１０４は、一連の処理スレッドの実行を容易にするための少なくとも１つのプロセッサ・コアを含むことができる。中央処理装置１０４は、メモリ１０６を含むことができる。メモリ１０６は、例えば、中央処理装置メモリであってもよい。例えば、メモリ１０６は、中央処理装置１０４によって頻繁に用いられるデータのコピーを記憶するように構成された中央処理装置キャッシュであってもよい。１つの実施形態では、画像処理装置１０２は、通信リンク１０８を介して中央処理装置に通信連結することができる。例えば、画像処理装置１０２は、通信リンク１０８を介して中央処理装置のメモリ１０６に通信連結することができる。通信リンク１０８は、例えば、シリアル・マルチ・レーン通信リンクであってもよい。

【0016】

画像処理装置１０２は、ディープ・ニューラル・ネットワーク１１０を訓練するためのデータを処理することができる。例えば、画像処理装置１０２は、データを処理して、データに関連した特定のタスクを実施する（例えば、特定の分類を識別する）ようにディープ・ニューラル・ネットワーク１１０を構成することができる。１つの態様では、画像処理装置１０２は、ディープ・ニューラル・ネットワーク１１０の訓練中に、ディープ・ニューラル・ネットワーク１１０についての一連の重みの修正または判定あるいはその両方を行うことができる。ディープ・ニューラル・ネットワーク１１０は、一連の層を含む人工ニューラル・ネットワークであってもよい。ディープ・ニューラル・ネットワーク１１０の一連の層は、例えば、入力層、一連の隠れ層、および出力層を含むことができる。ディープ・ニューラル・ネットワーク１１０の入力層は、ディープ・ニューラル・ネットワーク１１０に入力されたデータを処理する一連の人工ニューロンを含むことができる。１つの態様では、ディープ・ニューラル・ネットワーク１１０の入力層は、一連の重みに基づいて、ディープ・ニューラル・ネットワーク１１０に入力されたデータを処理することができる。ディープ・ニューラル・ネットワーク１１０の一連の隠れ層は、入力層と出力層の間にあってもよい。ディープ・ニューラル・ネットワーク１１０の一連の隠れ層は、１つまたは複数の隠れ層を含むことができる。さらに、ディープ・ニューラル・ネットワーク１１０の一連の隠れ層は、入力層によって提供されたデータを処理する一連の人工ニューロンを含むことができる。１つの態様では、一連の隠れ層の隠れ層は、一連の層の中の前の隠れ層によって提供されたデータを処理することができる。ディープ・ニューラル・ネットワーク１１０の出力層は、一連の隠れ層によって提供されたデータを処理する一連の人工ニューロンを含むことができる。さらに、ディープ・ニューラル・ネットワーク１１０の出力層は、ディープ・ニューラル・ネットワーク１１０に一連の出力を提供することができる。別の態様では、ディープ・ニューラル・ネットワーク１１０は、人間の脳構造に似た、データを分析する論理構造を含む深層学習モデルであってもよい。

【0017】

中央処理装置１０４のメモリ１０６は、ディープ・ニューラル・ネットワーク１１０を訓練するために、用いること、分析すること、または生成すること、あるいはその組合せが行われたデータの少なくとも一部を記憶することができる。例えば、中央処理装置１０４のメモリ１０６は、画像処理装置１０２によって、用いること、分析すること、または生成すること、あるいはその組合せが行われたデータの少なくとも一部を記憶することができる。画像処理装置１０２は、ディープ・ニューラル・ネットワーク１１０の訓練中に、中央処理装置１０４のメモリ１０６にデータの少なくとも一部を提供することができる。一定の実施形態では、画像処理装置１０２は、圧縮方式を介して、中央処理装置１０４のメモリ１０６にデータの少なくとも一部を提供することができる。一定の実施形態では、画像処理装置１０２は、半精度浮動小数点形式を介して、中央処理装置１０４のメモリ１０６にデータの少なくとも一部を提供することができる。追加または代替として、画像処理装置１０２は、ディープ・ニューラル・ネットワーク１１０の訓練中に、中央処理装置１０４のメモリ１０６に記憶されたデータを受け取ることができる。一定の実施形態では、画像処理装置１０２は、圧縮方式を介して、中央処理装置１０４のメモリ１０６に記憶されたデータを受け取ることができる。一定の実施形態では、画像処理装置１０２は、半精度浮動小数点形式を介して、中央処理装置１０４のメモリ１０６に記憶されたデータを受け取ることができる。

【0018】

１つの実施形態では、画像処理装置１０２は、画像処理装置１０２によって実行されたディープ・ニューラル・ネットワーク１１０のフォワード・パス・プロセス中に、ディープ・ニューラル・ネットワーク１１０の一連の層の１つの層のための入力データを、中央処理装置１０４のメモリ１０６に提供することができる。フォワード・パス・プロセスは、一連の層の第１の層から、ディープ・ニューラル・ネットワーク１１０に一連の出力を提供する一連の層の最後の層に、ディープ・ニューラル・ネットワーク１１０の一連の層を通って横断するディープ・ニューラル・ネットワーク１１０の訓練中の処理であってもよい。一定の実施形態では、画像処理装置１０２は、圧縮方式を介して、中央処理装置１０４のメモリ１０６に入力データを提供することができる。一定の実施形態では、画像処理装置１０２は、半精度浮動小数点形式を介して、中央処理装置１０４のメモリ１０６に入力データを提供することができる。別の実施形態では、中央処理装置１０４は、画像処理装置１０２によって実行されたディープ・ニューラル・ネットワーク１１０のバックワード・パス・プロセス中に、メモリ１０６に記憶された入力データを画像処理装置１０２に提供することができる。メモリ１０６に記憶された入力データは、バックワード・パス・プロセス中に、ディープ・ニューラル・ネットワーク１１０によって用いることができる。バックワード・パス・プロセスは、一連の層の最後の層から、一連の層の第１の層に、ディープ・ニューラル・ネットワーク１１０の一連の層を通って横断するディープ・ニューラル・ネットワーク１１０の訓練中の処理であってもよい。一定の実施形態では、画像処理装置１０２は、フォワード・パス・プロセス中に、ディープ・ニューラル・ネットワーク１１０の層からの出力データを、画像処理装置１０２のメモリ１０３に記憶することができる。例えば、画像処理装置１０２のメモリ１０３は、ディープ・ニューラル・ネットワーク１１０の別の層に関連したさらなる処理のための出力データをディープ・ニューラル・ネットワーク１１０が用いるまで、層からの出力データを一時的に記憶することができる。一定の実施形態では、画像処理装置１０２は、ディープ・ニューラル・ネットワーク１１０のバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワーク１１０の層からの勾配データを、中央処理装置１０４のメモリ１０６に提供することができる。例えば、中央処理装置１０４のメモリ１０６は、ディープ・ニューラル・ネットワーク１１０の別の層に関連したさらなる処理のための勾配データをディープ・ニューラル・ネットワーク１１０が用いるまで、層からの勾配データを一時的に記憶することができる。一定の実施形態では、画像処理装置１０２は、ディープ・ニューラル・ネットワーク１１０のバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワーク１１０の層のためのパラメータ・データを、中央処理装置１０４のメモリ１０６から受け取ることができる。例えば、中央処理装置１０４のメモリ１０６は、ディープ・ニューラル・ネットワーク１１０の別の層に関連したさらなる処理のためのパラメータ・データをディープ・ニューラル・ネットワーク１１０が用いるまで、層からのパラメータ・データを一時的に記憶することができる。

【0019】

画像処理装置１０２または中央処理装置１０４あるいはその両方は、人間によって実施することができない（例えば、１人の人間の心の能力より大きい）深層学習処理を実施することを認識されたい。例えば、深層学習処理についての、一定の期間にわたって画像処理装置１０２または中央処理装置１０４あるいはその両方によって処理されるデータの量、データの処理のスピード、または処理されるデータ型、あるいはその組合せは、同じ期間にわたって１人の人間の心によって処理できる量、スピード、およびデータ型より大きく、速く、かつ異なっていてもよい。また、画像処理装置１０２または中央処理装置１０４あるいはその両方は、上記で参照した行列因数分解処理も実施しつつ、１つまたは複数の他の機能を実施するために完全に動作可能であってもよい（例えば、完全に電源オンされる、完全に実行される、等）。その上、画像処理装置１０２によって生成された深層学習モデルは、ユーザが手動で取得できない情報を含むことができる。例えば、画像処理装置１０２によって生成された深層学習モデルに含まれるある量の情報、または画像処理装置１０２によって生成された深層学習モデルに含まれる様々な情報、あるいはその両方は、ユーザが手動で取得した情報より複雑になり得る。

【0020】

一定の実施形態では、画像処理装置１０２または中央処理装置１０４あるいはその両方の態様は、例えば、１つまたは複数の機械に関連した１つまたは複数のコンピュータ可読媒体（または複数の媒体）に含まれるなど、機械に含まれる、機械実行可能構成要素とみなされてもよい。このような構成要素は、例えば、コンピュータ、コンピューティング・デバイス、仮想マシン等といった、１つまたは複数の機械によって実行されると、説明した動作を機械に実施させることができる。１つの態様では、画像処理装置１０２または中央処理装置１０４あるいはその両方は、コンピュータ実行可能構成要素および命令を記憶するメモリも含むことができる。さらに、画像処理装置１０２または中央処理装置１０４あるいはその両方は、画像処理装置１０２または中央処理装置１０４あるいはその両方による命令（例えば、コンピュータ実行可能構成要素および対応する命令）の実行を容易にするためのプロセッサを含むこと、またはプロセッサとして実装すること、あるいはその両方を行うことができる。

【0021】

追加として、システム１００は、従来の深層学習技法と比較して様々な長所をもたらすことができることを認識されたい。システム１００は、従来の深層学習技法に関連した問題に様々な解決策を提供することもできる。例えば、システム１００を用いることによって、深層学習処理を実施するための時間を減らすことができる。さらに、システム１００を用いることによって、深層学習処理を実施するために用いる計算リソースの量を減らすことができる。システム１００を用いることによって、深層学習処理の正確さも改善することができる。その上、システム１００を用いることによって、深層学習処理に関連した画像処理装置の品質を改善すること、深層学習処理に関連した画像処理装置の性能を改善すること、深層学習処理に関連した画像処理装置の効率性を改善すること、深層学習処理に関連した画像処理装置のタイミング特性を改善すること、深層学習処理に関連した画像処理装置の電力特性を改善すること、または深層学習処理に関連した画像処理装置の別の特性を改善すること、あるいはその組合せを行うことができる。

【0022】

図２は、本明細書で説明する１つまたは複数の実施形態による、実例の非限定的なシステム２００を示す。本明細書で説明する他の実施形態で用いる同様の要素の繰返しの説明は、簡潔さのために省略する。

【0023】

システム２００は、画像処理装置１０２、中央処理装置１０４、ディープ・ニューラル・ネットワーク１１０、または有限状態機械２０２、あるいはその組合せを含むことができる。１つの実施形態では、中央処理装置１０４は、メモリ１０６を含むことができる。追加として、一定の実施形態では、画像処理装置１０２は、メモリ１０３を含むことができる。有限状態機械２０２は、ディープ・ニューラル・ネットワーク１１０の訓練中に、データの記憶または伝送あるいはその両方を制御するために用いることができる。例えば、有限状態機械２０２は、ディープ・ニューラル・ネットワーク１１０をサポートするために用いることができる。１つの態様では、有限状態機械２０２は、ディープ・ニューラル・ネットワーク１１０に関連したデータの、中央処理装置１０４のメモリ１０６への伝送を制御することができる。追加または代替として、有限状態機械２０２は、メモリ１０６に記憶されたデータの、画像処理装置１０２への伝送を制御することができる。追加または代替として、有限状態機械２０２は、画像処理装置１０２のメモリ１０３へのデータの記憶を制御することができる。追加または代替として、有限状態機械２０２は、中央処理装置１０４のメモリ１０６へのデータの記憶を制御することができる。別の態様では、有限状態機械２０２は、ディープ・ニューラル・ネットワーク１１０の訓練中に、中央処理装置１０４のメモリ１０６が、画像処理装置１０２のためのキャッシュ・メモリとして用いられるべきかどうかを判定することができる。さらに別の態様では、有限状態機械２０２は、ディープ・ニューラル・ネットワーク１１０の特定の層の処理が終了したとの判定に応答して、中央処理装置１０４のメモリ１０６にデータを記憶するべきかどうかを判定することができる。１つの実施形態では、有限状態機械２０２は、画像処理装置１０２および中央処理装置１０４とは別個のプロセッサによって実行することができる。別の実施形態では、有限状態機械２０２は、画像処理装置１０２によって実行することができる。さらに別の実施形態では、有限状態機械２０２は、中央処理装置１０４によって実行することができる。さらに、１つの実施形態では、有限状態機械２０２は、メモリ１０３およびメモリ１０６とは別個のメモリに記憶することができる。別の実施形態では、有限状態機械２０２は、メモリ１０３に記憶することができる。さらに別の実施形態では、有限状態機械２０２は、メモリ１０６に記憶することができる。

【0024】

追加として、システム２００は、従来の深層学習技法と比較して様々な長所をもたらすことができることを認識されたい。システム２００は、従来の深層学習技法に関連した問題に様々な解決策を提供することもできる。例えば、システム２００を用いることによって、深層学習処理を実施するための時間を減らすことができる。さらに、システム２００を用いることによって、深層学習処理を実施するために用いる計算リソースの量を減らすことができる。システム２００を用いることによって、深層学習処理の正確さも改善することができる。その上、システム２００を用いることによって、深層学習処理に関連した画像処理装置の品質を改善すること、深層学習処理に関連した画像処理装置の性能を改善すること、深層学習処理に関連した画像処理装置の効率性を改善すること、深層学習処理に関連した画像処理装置のタイミング特性を改善すること、深層学習処理に関連した画像処理装置の電力特性を改善すること、または深層学習処理に関連した画像処理装置の別の特性を改善すること、あるいはその組合せを行うことができる。

【0025】

図３は、本明細書で説明する１つまたは複数の実施形態による、実例の非限定的なシステム３００を示す。本明細書で説明する他の実施形態で用いる同様の要素の繰返しの説明は、簡潔さのために省略する。

【0026】

システム３００は、有限状態機械３０２を含むことができる。１つの例では、有限状態機械２０２は、有限状態機械３０２に対応し得る。有限状態機械３０２は、未初期化状態３０４、画像処理装置状態３０６、中央処理装置状態３０８、または一致状態３１０、あるいはその組合せを含むことができる。未初期化状態３０４は、有限状態機械３０２における状態であってよく、ここで、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータは、初期化されていない。例えば、画像処理装置１０２または中央処理装置１０４あるいはその両方は、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータについて初期化されていなくてもよい。画像処理装置状態３０６は、有限状態機械３０２における状態であってよく、ここで、画像処理装置１０２が、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータの最新バージョンを備える。中央処理装置状態３０８は、有限状態機械３０２における状態であってよく、ここで、中央処理装置１０４が、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータの最新バージョンを備える。一致状態３１０は、有限状態機械３０２における状態であってよく、ここで、画像処理装置１０２および中央処理装置１０４が、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータの最新バージョンを備える。１つの態様では、未初期化状態３０４、画像処理装置状態３０６、中央処理装置状態３０８、または一致状態３１０、あるいはその組合せの間で、１つまたは複数の遷移が発生し得る。１つまたは複数の遷移は、１つまたは複数の状態（例えば、未初期化状態３０４、画像処理装置状態３０６、中央処理装置状態３０８、または一致状態３１０、あるいはその組合せ）の間で有限状態機械３０２を遷移させる１つまたは複数のイベントであってもよい。別の態様では、ディープ・ニューラル・ネットワーク１１０の層（例えば、隠れ層）の処理が完了したとの判定に応答して、未初期化状態３０４、画像処理装置状態３０６、中央処理装置状態３０８、または一致状態３１０、あるいはその組合せの間で、１つまたは複数の遷移が発生し得る。

【0027】

１つの実施形態では、未初期化状態３０４は、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータが、画像処理装置１０２のメモリ１０３に記憶されることになるとの判定に応答して、画像処理装置状態３０６に遷移することができる。別の実施形態では、未初期化状態３０４は、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータが、中央処理装置１０４のメモリ１０６に記憶されることになるとの判定に応答して、中央処理装置状態３０８に遷移することができる。画像処理装置状態３０６は、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータを、画像処理装置１０２のメモリ１０３に、一定時間、記憶することができる。例えば、画像処理装置状態３０６は、ディープ・ニューラル・ネットワーク１１０の特定の層の処理が終了するまで、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータを、画像処理装置１０２のメモリ１０３に記憶することができる。１つの態様では、画像処理装置状態３０６は、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータを中央処理装置１０４に伝送することができる。さらに、有限状態機械３０２は、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータが中央処理装置１０４に伝送されると、画像処理装置状態３０６から中央処理装置状態３０８に遷移することができる。中央処理装置状態３０８は、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータを、中央処理装置１０４のメモリ１０６に、一定時間、記憶することができる。例えば、中央処理装置状態３０８は、ディープ・ニューラル・ネットワーク１１０に関連したさらなる処理のために、特定のデータが画像処理装置１０２によって必要とされるまで、ディープ・ニューラル・ネットワーク１１０を訓練するために用いる特定のデータを、中央処理装置１０４のメモリ１０６に記憶することができる。一定の実施形態では、画像処理装置状態３０６は、特定のデータが中央処理装置１０４によって必要とされるとの判定に応答して、一致状態３１０に遷移することができる。さらに、一致状態３１０は、ディープ・ニューラル・ネットワーク１１０の特定の層の処理が終了したとの判定に応答して、中央処理装置状態３０８に遷移することができる。一定の実施形態では、ディープ・ニューラル・ネットワーク１１０の特定の層の処理が終了したとの判定に応答して、画像処理装置状態３０６は、メモリ１０３から特定のデータを捨てること、または、未初期化状態３０４に遷移すること、あるいはその両方を行うことができる。一定の実施形態では、中央処理装置状態３０８は、特定のデータが画像処理装置１０２によって必要とされるとの判定に応答して、一致状態３１０に遷移することができる。

【0028】

追加として、システム３００は、従来の深層学習技法と比較して様々な長所をもたらすことができることを認識されたい。システム３００は、従来の深層学習技法に関連した問題に様々な解決策を提供することもできる。例えば、システム３００を用いることによって、深層学習処理を実施するための時間を減らすことができる。さらに、システム３００を用いることによって、深層学習処理を実施するために用いる計算リソースの量を減らすことができる。システム３００を用いることによって、深層学習処理の正確さも改善することができる。その上、システム３００を用いることによって、深層学習処理に関連した画像処理装置の品質を改善すること、深層学習処理に関連した画像処理装置の性能を改善すること、深層学習処理に関連した画像処理装置の効率性を改善すること、深層学習処理に関連した画像処理装置のタイミング特性を改善すること、深層学習処理に関連した画像処理装置の電力特性を改善すること、または深層学習処理に関連した画像処理装置の別の特性を改善すること、あるいはその組合せを行うことができる。

【0029】

図４は、本明細書で説明する１つまたは複数の実施形態による、実例の非限定的なシステム４００を示す。本明細書で説明する他の実施形態で用いる同様の要素の繰返しの説明は、簡潔さのために省略する。

【0030】

システム４００は、ディープ・ニューラル・ネットワーク４０２を含むことができる。１つの例では、ディープ・ニューラル・ネットワーク１１０は、ディープ・ニューラル・ネットワーク４０２に対応し得る。１つの態様では、ディープ・ニューラル・ネットワーク４０２は、人間の脳構造に似た、データを分析する論理構造を含む深層学習モデルを表すことができる。ディープ・ニューラル・ネットワーク４０２は、入力層４０４、隠れ層４０６、隠れ層４０８、隠れ層４１０、および出力層４１２を含むことができる。図４に示した１つの実施形態では、ディープ・ニューラル・ネットワーク４０２は、入力層４０４、隠れ層４０６、隠れ層４０８、隠れ層４１０、および出力層４１２を通じて順方向にディープ・ニューラル・ネットワーク４０２を通って横断するフォワード・パス・プロセスに関連したものであってもよい。入力層４０４、隠れ層４０６、隠れ層４０８、隠れ層４１０、および出力層４１２は、ディープ・ニューラル・ネットワーク４０２の一連の層であってもよい。入力層４０４は、ディープ・ニューラル・ネットワーク４０２に入力されたデータを処理する一連の人工ニューロンを含むことができる。１つの態様では、入力層４０４は、一連の重みに基づいて、ディープ・ニューラル・ネットワーク４０２に入力されたデータを処理することができる。隠れ層４０６、隠れ層４０８、および隠れ層４１０は、入力層４０４と出力層４１２の間に位置する一連の隠れ層であってもよい。隠れ層４０６は、入力層４０４によって提供されたデータを処理する一連の人工ニューロンを含むことができる。隠れ層４０８は、隠れ層４０６によって提供されたデータを処理する一連の人工ニューロンを含むことができる。隠れ層４１０は、隠れ層４０８によって提供されたデータを処理する一連の人工ニューロンを含むことができる。出力層４１２は、隠れ層４１０によって提供されたデータを処理する一連の人工ニューロンを含むことができる。さらに、出力層４１２は、ディープ・ニューラル・ネットワーク４０２に一連の出力を提供することができる。１つの態様では、入力データ４１４を、隠れ層４０８に提供することができる。例えば、隠れ層４０６は、入力データ４１４を隠れ層４０８に提供することができる。さらに、出力データ４１６を、隠れ層４０８によって提供することができる。１つの実施形態では、入力データ４１４は、中央処理装置１０４のメモリ１０６にコピーすることができる。例えば、入力データ４１４は、隠れ層４０８の処理が完了したとの判定に応答して、中央処理装置１０４のメモリ１０６にコピーすることができる。追加または代替として、入力データ４１４は、ディープ・ニューラル・ネットワーク４０２のさらなる処理中に（例えば、ディープ・ニューラル・ネットワーク４０２のバックワード・パス・プロセス中に）、ディープ・ニューラル・ネットワーク４０２によって入力データ４１４が使用されることになるとの判定に応答して、中央処理装置１０４のメモリ１０６にコピーすることができる。別の実施形態では、出力データ４１６は、画像処理装置１０２のメモリ１０３に記憶することができる。

【0031】

追加として、システム４００は、従来の深層学習技法と比較して様々な長所をもたらすことができることを認識されたい。システム４００は、従来の深層学習技法に関連した問題に様々な解決策を提供することもできる。例えば、システム４００を用いることによって、深層学習処理を実施するための時間を減らすことができる。さらに、システム４００を用いることによって、深層学習処理を実施するために用いる計算リソースの量を減らすことができる。システム４００を用いることによって、深層学習処理の正確さも改善することができる。その上、システム４００を用いることによって、深層学習処理に関連した画像処理装置の品質を改善すること、深層学習処理に関連した画像処理装置の性能を改善すること、深層学習処理に関連した画像処理装置の効率性を改善すること、深層学習処理に関連した画像処理装置のタイミング特性を改善すること、深層学習処理に関連した画像処理装置の電力特性を改善すること、または深層学習処理に関連した画像処理装置の別の特性を改善すること、あるいはその組合せを行うことができる。

【0032】

図５は、本明細書で説明する１つまたは複数の実施形態による、実例の非限定的なシステム５００を示す。本明細書で説明する他の実施形態で用いる同様の要素の繰返しの説明は、簡潔さのために省略する。

【0033】

システム５００は、ディープ・ニューラル・ネットワーク４０２を含むことができる。ディープ・ニューラル・ネットワーク４０２は、入力層４０４、隠れ層４０６、隠れ層４０８、隠れ層４１０、および出力層４１２を含むことができる。図５に示した１つの実施形態では、ディープ・ニューラル・ネットワーク４０２は、出力層４１２、隠れ層４１０、隠れ層４０８、隠れ層４０６、および入力層４０４を通じて逆方向にディープ・ニューラル・ネットワーク４０２を通って横断するバックワード・パス・プロセスに関連したものであってもよい。１つの態様では、入力データ５０２を、隠れ層４０８に提供することができる。例えば、隠れ層４１０は、隠れ層４０８に入力データ５０２を提供することができる。さらに、出力データ５０４を、隠れ層４０８によって提供することができる。１つの実施形態では、入力データ５０２は、中央処理装置１０４のメモリ１０６からコピーすることができる。例えば、入力データ５０２は、（例えば、フォワード・パス・プロセス中に）中央処理装置１０４のメモリ１０６に記憶することができ、中央処理装置１０４は、ディープ・ニューラル・ネットワーク４０２によって用いるためにメモリ１０６から画像処理装置１０２に入力データ５０２を伝送することができる。１つの例では、入力データ５０２の少なくとも一部は、入力データ４１４に対応し得る。別の実施形態では、出力データ５０４は、隠れ層４０６に提供された後、捨てることができる。一定の実施形態では、入力データ５０２に含まれるパラメータ・データを、中央処理装置のメモリ１０６にコピーすることができる。パラメータ・データは、ディープ・ニューラル・ネットワーク４０２に関連したバックワード・パス・プロセス中に判定した１つまたは複数の学習可能パラメータを含むことができる。一定の実施形態では、出力データ５０４に含まれる勾配データを、中央処理装置のメモリ１０６にコピーすることができる。勾配データは、ディープ・ニューラル・ネットワーク４０２に関連したバックワード・パス・プロセス中に判定した１つまたは複数の学習可能勾配パラメータを含むことができる。したがって、ディープ・ニューラル・ネットワーク４０２に関連したフォワード・パス・プロセスからのデータの少なくとも一部は、ディープ・ニューラル・ネットワーク４０２に関連したバックワード・パス・プロセス中に再使用することができる。例えば、ディープ・ニューラル・ネットワーク４０２に関連したフォワード・パス・プロセスからのデータの少なくとも一部は、ディープ・ニューラル・ネットワーク４０２に関連したバックワード・パス・プロセス中にデータが必要とされるまで、中央処理装置１０４のメモリ１０６によって一時的に記憶することができる。さらに、中央処理装置１０４のメモリ１０６は、画像処理装置１０２のためのキャッシュまたは一時記憶位置あるいはその両方として用いることができる。

【0034】

追加として、システム５００は、従来の深層学習技法と比較して様々な長所をもたらすことができることを認識されたい。システム５００は、従来の深層学習技法に関連した問題に様々な解決策を提供することもできる。例えば、システム５００を用いることによって、深層学習処理を実施するための時間を減らすことができる。さらに、システム５００を用いることによって、深層学習処理を実施するために用いる計算リソースの量を減らすことができる。システム５００を用いることによって、深層学習処理の正確さも改善することができる。その上、システム５００を用いることによって、深層学習処理に関連した画像処理装置の品質を改善すること、深層学習処理に関連した画像処理装置の性能を改善すること、深層学習処理に関連した画像処理装置の効率性を改善すること、深層学習処理に関連した画像処理装置のタイミング特性を改善すること、深層学習処理に関連した画像処理装置の電力特性を改善すること、または深層学習処理に関連した画像処理装置の別の特性を改善すること、あるいはその組合せを行うことができる。

【0035】

図６は、本明細書で説明する１つまたは複数の実施形態による、実例の非限定的なシステム６００を示す。本明細書で説明する他の実施形態で用いる同様の要素の繰返しの説明は、簡潔さのために省略する。

【0036】

システム６００は、データ６０２を含む。データ６０２は、画像処理装置１０２によって生成されたデータに対応し得る。例えば、データ６０２は、画像処理装置１０２によって実行されたディープ・ニューラル・ネットワーク（例えば、ディープ・ニューラル・ネットワーク１１０、ディープ・ニューラル・ネットワーク４０２等）における層に提供された、または層によって生成された、あるいはその両方のデータであってもよい。データ６０２は、データ要素のセットＦ０～Ｆ９を含むことができる。さらに、１つの例では、データ６０２は、３２ビット・データ構造としてフォーマットすることができる。データ６０２を修正して、データ６０４を生成することができる。データ６０４は、例えば、１６ビット・データ構造であってもよい。例えば、データ要素のセットＦ０～Ｆ９を修正して、データ要素のセットＦ０～Ｆ９と比較して、半精度浮動小数としてフォーマットされたデータ要素のセットＨ０～Ｈ９を生成することができる。したがって、データ要素のセットＦ０～Ｆ９に関連したビット削減を実施して、データ要素のセットＨ０～Ｈ９を生成することができる。追加として、データ６０４を修正して、データ６０６を生成することができる。データ６０６は、データ６０４の圧縮バージョンであってもよい。例えば、データ要素のセットＨ０～Ｈ９を再配置して、データ６０６を提供することができる。データ６０６は、データ６０２またはデータ６０４あるいはその両方より小さいサイズを含むデータ６０２またはデータ６０４あるいはその両方のエンコード・バージョンであってもよい。１つの実施形態では、データ６０６は、画像処理装置１０２と中央処理装置１０４との間で伝送されたデータに対応し得る。１つの例では、データ６０６は、入力データ４１４または入力データ５０２あるいはその両方に対応し得る。別の例では、データ６０６は、出力データ５０４の勾配データに対応し得る。１つの実施形態では、データ６０６は、半精度浮動小数点形式または圧縮形式あるいはその両方でフォーマットすることができる。一定の実施形態では、切取線６０５は、データ６０６のサイズを形成するための位置を示すために、データ要素（例えば、データ要素Ｈ４とデータ要素Ｈ５）の間に形成することができる。例えば、切取線６０５は、データ６０４をデータ６０６に並べ替えるための位置を示すことができる。１つの例では、データ６０４を並べ替えて、空のメモリ空間（例えば、空のメモリ区画）を埋めることができる。１つの態様では、データ６０６は、画像処理装置１０２と中央処理装置１０４との間の転送時間の低減を容易にするための、データ６０２の圧縮バージョンであってもよい。１つの実施形態では、画像処理装置１０２は、データ６０６（例えば、データ６０２の圧縮バージョン）を生成することができる。追加として、一定の実施形態では、画像処理装置１０２は、中央処理装置１０４からデータ６０６を受け取ることに応答して、データ６０６からデータ６０２を再現することができる。

【0037】

追加として、システム６００は、従来の深層学習技法と比較して様々な長所をもたらすことができることを認識されたい。システム６００は、従来の深層学習技法に関連した問題に様々な解決策を提供することもできる。例えば、システム６００を用いることによって、深層学習処理を実施するための時間を減らすことができる。さらに、システム６００を用いることによって、深層学習処理を実施するために用いる計算リソースの量を減らすことができる。システム６００を用いることによって、深層学習処理の正確さも改善することができる。その上、システム６００を用いることによって、深層学習処理に関連した画像処理装置の品質を改善すること、深層学習処理に関連した画像処理装置の性能を改善すること、深層学習処理に関連した画像処理装置の効率性を改善すること、深層学習処理に関連した画像処理装置のタイミング特性を改善すること、深層学習処理に関連した画像処理装置の電力特性を改善すること、または深層学習処理に関連した画像処理装置の別の特性を改善すること、あるいはその組合せを行うことができる。

【0038】

図７は、本明細書で説明する１つまたは複数の実施形態による、実例の非限定的なシステム７００を示す。本明細書で説明する他の実施形態で用いる同様の要素の繰返しの説明は、簡潔さのために省略する。

【0039】

システム７００は、データ７０２を含む。データ７０２は、画像処理装置１０２によって生成されたデータに対応し得る。例えば、データ７０２は、画像処理装置１０２によって実行されたディープ・ニューラル・ネットワーク（例えば、ディープ・ニューラル・ネットワーク１１０、ディープ・ニューラル・ネットワーク４０２等）における層に提供された、または層によって生成された、あるいはその両方のデータであってもよい。データ７０２は、データ要素のセットＦ０～Ｆ９を含むことができる。さらに、１つの例では、データ７０２は、３２ビット・データ構造としてフォーマットすることができる。データ７０２を修正して、データ７０４を生成することができる。データ７０４は、例えば、データ７０２の圧縮バージョンであってもよい。１つの態様では、データ７０２は、データ・セクション７０４、データ・セクション７０６、データ・セクション７０８、およびデータ・セクション７１０に分割することができる。データ・セクション７０４は、データ要素の第１のセットＦ０～Ｆ２を含むことができ、データ・セクション７０６は、データ要素の第２のセットＦ３～Ｆ５を含むことができ、データ・セクション７０８は、データ要素の第３のセットＦ６～Ｆ７を含むことができ、データ・セクション７１０は、データ要素の第４のセットＦ８～Ｆ９を含むことができる。さらに、データ・セクション７０４、データ・セクション７０６、データ・セクション７０８、またはデータ・セクション７１０、あるいはその組合せの再フォーマットまたは圧縮あるいはその組合せを行って、データ７０４を生成することができる。データ７０４は、データ７０２より小さいサイズを含むデータ７０２のエンコード・バージョンであってもよい。１つの実施形態では、データ７０４は、画像処理装置１０２と中央処理装置１０４との間で伝送されたデータに対応し得る。１つの例では、データ７０４は、入力データ４１４または入力データ５０２あるいはその両方に対応し得る。別の例では、データ７０４は、出力データ５０４の勾配データに対応し得る。１つの態様では、データ７０４は、画像処理装置１０２と中央処理装置１０４との間の転送時間の低減を容易にするための、データ７０２の圧縮バージョンであってもよい。１つの実施形態では、画像処理装置１０２は、データ７０４（例えば、データ７０２の圧縮バージョン）を生成することができる。追加として、一定の実施形態では、画像処理装置１０２は、中央処理装置１０４からデータ７０４を受け取ることに応答して、データ７０４からデータ７０２を再現することができる。

【0040】

追加として、システム７００は、従来の深層学習技法と比較して様々な長所をもたらすことができることを認識されたい。システム７００は、従来の深層学習技法に関連した問題に様々な解決策を提供することもできる。例えば、システム７００を用いることによって、深層学習処理を実施するための時間を減らすことができる。さらに、システム７００を用いることによって、深層学習処理を実施するために用いる計算リソースの量を減らすことができる。システム７００を用いることによって、深層学習処理の正確さも改善することができる。その上、システム７００を用いることによって、深層学習処理に関連した画像処理装置の品質を改善すること、深層学習処理に関連した画像処理装置の性能を改善すること、深層学習処理に関連した画像処理装置の効率性を改善すること、深層学習処理に関連した画像処理装置のタイミング特性を改善すること、深層学習処理に関連した画像処理装置の電力特性を改善すること、または深層学習処理に関連した画像処理装置の別の特性を改善すること、あるいはその組合せを行うことができる。

【0041】

図８は、本明細書で説明する１つまたは複数の実施形態による、深層学習のモデル・サポートを行うための実例の非限定的なコンピュータ実装方法８００の流れ図を示す。８０２において、一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータを画像処理装置（例えば、画像処理装置１０２）によって処理する。例えば、データを処理して、データに関連した特定のタスクを実施する（例えば、特定の分類を識別する）ようにディープ・ニューラル・ネットワークを構成することができる。１つの態様では、ディープ・ニューラル・ネットワークの訓練中に、ディープ・ニューラル・ネットワークについての一連の重みの修正または判定あるいはその両方を行うことができる。ディープ・ニューラル・ネットワークは、一連の層を含む人工ニューラル・ネットワークであってもよい。ディープ・ニューラル・ネットワークの一連の層は、例えば、入力層、一連の隠れ層、および出力層を含むことができる。ディープ・ニューラル・ネットワークの入力層は、ディープ・ニューラル・ネットワークに入力されたデータを処理する一連の人工ニューロンを含むことができる。１つの態様では、ディープ・ニューラル・ネットワークの入力層は、一連の重みに基づいて、ディープ・ニューラル・ネットワークに入力されたデータを処理することができる。ディープ・ニューラル・ネットワークの一連の隠れ層は、入力層と出力層の間にあってもよい。ディープ・ニューラル・ネットワークの一連の隠れ層は、１つまたは複数の隠れ層を含むことができる。さらに、ディープ・ニューラル・ネットワークの一連の隠れ層は、入力層によって提供されたデータを処理する一連の人工ニューロンを含むことができる。１つの態様では、一連の隠れ層の隠れ層は、一連の層の中の前の隠れ層によって提供されたデータを処理することができる。ディープ・ニューラル・ネットワークの出力層は、一連の隠れ層によって提供されたデータを処理する一連の人工ニューロンを含むことができる。さらに、ディープ・ニューラル・ネットワークの出力層は、ディープ・ニューラル・ネットワークに一連の出力を提供することができる。別の態様では、ディープ・ニューラル・ネットワークは、人間の脳構造に似た、データを分析する論理構造を含む深層学習モデルであってもよい。

【0042】

８０４において、一連の層の第１の層から、ディープ・ニューラル・ネットワークに一連の出力を提供する一連の層の最後の層に、一連の層を通って横断するディープ・ニューラル・ネットワークのフォワード・パス・プロセス中に、一連の層の１つの層のための入力データを中央処理装置メモリに画像処理装置（例えば、画像処理装置１０２）によって提供する。例えば、ディープ・ニューラル・ネットワークのフォワード・パス・プロセス中に、一連の層の１つの層のための入力データを、中央処理装置メモリによって一時的に記憶することができる。１つの実施形態では、圧縮方式を介して、中央処理装置メモリに入力データを提供することができる。１つの例では、半精度浮動小数点形式を介して、中央処理装置メモリに入力データを提供することができる。

【0043】

８０６において、一連の層の最後の層から、一連の層の第１の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、中央処理装置メモリから入力データを画像処理装置（例えば、画像処理装置１０２）によって受け取る。例えば、中央処理装置メモリによって一時的に記憶された入力データは、ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、画像処理装置に伝送することができる。１つの実施形態では、圧縮方式を介して、画像処理装置メモリに入力データを提供することができる。１つの例では、半精度浮動小数点形式を介して、画像処理装置メモリに入力データを提供することができる。

【0044】

８０８において、一連の層の別の層からの入力データが利用可能であるかどうかを判定する。はいの場合、コンピュータ実装方法８００は、８０４に戻る。いいえの場合、コンピュータ実装方法８００は、８１０に進む。

【0045】

８１０において、ディープ・ニューラル・ネットワークの処理が完了したかどうかを判定する。いいえの場合、コンピュータ実装方法８００は、８０２に戻る。はいの場合、コンピュータ実装方法８００は、８１２に進む。

【0046】

８１２において、ディープ・ニューラル・ネットワークのための深層学習モデルを画像処理装置（例えば、画像処理装置１０２）によって提供する。深層学習モデルは、例えば、ディープ・ニューラル・ネットワークについての論理構造または一連の重みあるいはその両方を含むことができる。

【0047】

一定の実施形態では、コンピュータ実装方法８００は、追加または代替として、画像処理装置によって、および、フォワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層からの出力データを画像処理装置に関連したメモリに記憶することを含むことができる。一定の実施形態では、コンピュータ実装方法８００は、追加または代替として、画像処理装置によって、および、ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層からの勾配データを中央処理装置メモリに提供することを含むことができる。一定の実施形態では、コンピュータ実装方法８００は、追加または代替として、画像処理装置によって、および、ディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワークの層のためのパラメータ・データを中央処理装置メモリから受け取ることを含むことができる。

【0048】

図９は、本明細書で説明する１つまたは複数の実施形態による、深層学習のモデル・サポートを行うための実例の非限定的なコンピュータ実装方法９００の流れ図を示す。９０２において、一連の層を備えるディープ・ニューラル・ネットワークを訓練するためのデータの少なくとも一部を中央処理装置によって（例えば、中央処理装置１０４によって）受け取る。例えば、ディープ・ニューラル・ネットワークによってデータの一部を用いて、データに関連した特定のタスクを実施する（例えば、特定の分類を識別する）ようにディープ・ニューラル・ネットワークを構成することができる。１つの態様では、ディープ・ニューラル・ネットワークの訓練中に、ディープ・ニューラル・ネットワークについての一連の重みの修正または判定あるいはその両方を行うことができる。ディープ・ニューラル・ネットワークは、一連の層を含む人工ニューラル・ネットワークであってもよい。ディープ・ニューラル・ネットワークの一連の層は、例えば、入力層、一連の隠れ層、および出力層を含むことができる。ディープ・ニューラル・ネットワークの入力層は、ディープ・ニューラル・ネットワークに入力されたデータを処理する一連の人工ニューロンを含むことができる。１つの態様では、ディープ・ニューラル・ネットワークの入力層は、一連の重みに基づいて、ディープ・ニューラル・ネットワークに入力されたデータを処理することができる。ディープ・ニューラル・ネットワークの一連の隠れ層は、入力層と出力層の間にあってもよい。ディープ・ニューラル・ネットワークの一連の隠れ層は、１つまたは複数の隠れ層を含むことができる。さらに、ディープ・ニューラル・ネットワークの一連の隠れ層は、入力層によって提供されたデータを処理する一連の人工ニューロンを含むことができる。１つの態様では、一連の隠れ層の隠れ層は、一連の層の中の前の隠れ層によって提供されたデータを処理することができる。ディープ・ニューラル・ネットワークの出力層は、一連の隠れ層によって提供されたデータを処理する一連の人工ニューロンを含むことができる。さらに、ディープ・ニューラル・ネットワークの出力層は、ディープ・ニューラル・ネットワークに一連の出力を提供することができる。別の態様では、ディープ・ニューラル・ネットワークは、人間の脳構造に似た、データを分析する論理構造を含む深層学習モデルであってもよい。

【0049】

９０４において、中央処理装置に関連したメモリにデータの少なくとも一部を中央処理装置によって（例えば、中央処理装置１０４によって）記憶する。例えば、ディープ・ニューラル・ネットワークのフォワード・パス・プロセス中に、データの少なくとも一部を、中央処理装置に関連したメモリによって一時的に記憶することができる。ディープ・ニューラル・ネットワークのフォワード・パス・プロセスは、一連の層の第１の層から、ディープ・ニューラル・ネットワークに一連の出力を提供する一連の層の最後の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断することができる。１つの実施形態では、圧縮方式を介して、中央処理装置に関連したメモリにデータの少なくとも一部を提供することができる。１つの例では、半精度浮動小数点形式を介して、中央処理装置に関連したメモリにデータの少なくとも一部を提供することができる。

【0050】

９０６において、ディープ・ニューラル・ネットワークに一連の出力を提供する一連の層の最後の層から、一連の層の第１の層に、ディープ・ニューラル・ネットワークの一連の層を通って横断するディープ・ニューラル・ネットワークのバックワード・パス・プロセス中に、ディープ・ニューラル・ネットワークに関連した画像処理装置にデータの少なくとも一部を中央処理装置によって（例えば、中央処理装置１０４によって）提供する。１つの実施形態では、圧縮方式を介して、画像処理装置にデータの少なくとも一部を提供することができる。１つの例では、半精度浮動小数点形式を介して、画像処理装置にデータの少なくとも一部を提供することができる。

【0051】

９０８において、ディープ・ニューラル・ネットワークからの他のデータが利用可能であるかどうかを判定する。はいの場合、コンピュータ実装方法９００は、９０４に戻る。いいえの場合、コンピュータ実装方法９００は、９１０に進む。

【0052】

９１０において、中央処理装置に関連したメモリからのデータの一部を中央処理装置によって（例えば、中央処理装置１０４によって）捨てる。例えば、データの一部は、データの一部が画像処理装置に伝送されたとの判定に応答して、メモリから消去することができる。

【0053】

説明の簡略化のために、コンピュータ実装方法は、一連の行為として描写し、説明する。主題のイノベーションは、図示した行為によって、または、行為の順序によって、あるいはその両方によって限定されず、例えば、行為は、様々な順序で、または同時に、あるいはその両方で、および、本明細書で提示も説明もしていない他の行為とともに、発生してもよいことを理解し、認識されたい。さらに、開示の主題によるコンピュータ実装方法を実装するために、全ての図示した行為が必要とされ得るわけではない。さらに、コンピュータ実装方法は、代替として、状態図またはイベントを介して一連の相関状態として表せることを当業者は、理解し、認識するであろう。追加として、本明細書の以降および全体にわたって開示したコンピュータ実装方法は、このようなコンピュータ実装方法の、コンピュータへの輸送および転送を容易にするための製品に格納できることをさらに認識されたい。用語「製品」は、本明細書で使用されるように、任意のコンピュータ可読デバイスまたはストレージ媒体からアクセス可能なコンピュータ・プログラムを包含することを意図するものである。

【0054】

その上、少なくとも、深層学習処理の実施、および深層学習モデルの生成は、電気的および機械的な構成要素および回路機器の組合せから確立されるので、人間は、本明細書で開示した画像処理装置（例えば、画像処理装置１０２）または中央処理（例えば、中央処理装置１０４）あるいはその両方によって実施された処理を複製または実施することができない。さらに、人間は、画像処理装置（例えば、画像処理装置１０２）と中央処理装置（例えば、中央処理装置１０４）との間で伝送された、深層学習処理に関連したデータを圧縮することができない。

【0055】

開示の主題の様々な態様についての背景を提供するために、図１０および以下の議論は、開示の主題の様々な態様を実装することができる適切な環境を全体的に説明することを意図するものである。図１０は、本明細書で説明する１つまたは複数の実施形態を容易にすることができる実例の非限定的な動作環境のブロック図を示す。本明細書で説明する他の実施形態で用いる同様の要素の繰返しの説明は、簡潔さのために省略する。

【0056】

図１０を参照すると、本開示の様々な態様を実装するための適切な動作環境１０００は、コンピュータ１０１２を含むこともできる。コンピュータ１０１２も、処理ユニット１０１４、システム・メモリ１０１６、およびシステム・バス１０１８を含むことができる。システム・バス１０１８は、システム・メモリ１０１６を含むがこれらに限定されないシステム構成要素を、処理ユニット１０１４に連結する。処理ユニット１０１４は、様々な利用可能なプロセッサのいずれかであってもよい。デュアル・マイクロプロセッサおよび他のマルチプロセッサ・アーキテクチャも、処理ユニット１０１４として用いることができる。システム・バス１０１８は、インダストリアル・スタンダード・アーキテクチャ（ＩＳＡ）、マイクロチャネル・アーキテクチャ（ＭＳＡ）、拡張ＩＳＡ（ＥＩＳＡ）、インテリジェント・ドライブ・エレクトロニクス（ＩＤＥ）、ＶＥＳＡローカル・バス（ＶＬＢ）、ペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）、カード・バス、ユニバーサル・シリアル・バス（ＵＳＢ）、アドバンスト・グラフィックス・ポート（ＡＧＰ）、Ｆｉｒｅｗｉｒｅ（ＩＥＥＥ１３９４）、およびスモール・コンピュータ・システム・インターフェース（ＳＣＳＩ）を含むがこれらに限定されない任意の多様な利用可能なバス・アーキテクチャを使用した、メモリ・バスもしくはメモリ・コントローラ、周辺機器バスもしくは外部バス、またはローカル・バス、あるいはその組合せを含むバス構造のいくつかのタイプのいずれかであってもよい。

【0057】

システム・メモリ１０１６は、揮発性メモリ１０２０および不揮発性メモリ１０２２を含むこともできる。基本入出力システム（ＢＩＯＳ）は、スタート・アップ中などにコンピュータ１０１２内の要素間で情報を転送するための基本ルーチンを収め、不揮発性メモリ１０２２に記憶される。コンピュータ１０１２は、取外し可能／取外し不能な揮発性／不揮発性のコンピュータ・ストレージ媒体を含むこともできる。図１０は、例えば、ディスク・ストレージ１０２４を示す。ディスク・ストレージ１０２４は、磁気ディスク・ドライブ、フロッピー（登録商標）・ディスク・ドライブ、テープ・ドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－１００ドライブ、フラッシュ・メモリ・カード、またはメモリ・スティック（登録商標）のようなデバイスを含むこともできるがこれらに限定されない。また、ディスク・ストレージ１０２４は、他のストレージ媒体と別々に、または組み合わせて、ストレージ媒体を含むことができる。ディスク・ストレージ１０２４の、システム・バス１０１８への接続を容易にするために、インターフェース１０２６などの取外し可能または取外し不能なインターフェースが典型的に使用される。図１０は、ユーザと、適切な動作環境１０００で説明した基本的なコンピュータ・リソースとの間の中間体として機能するソフトウェアも描写する。このようなソフトウェアは、例えば、オペレーティング・システム１０２８を含むこともできる。オペレーティング・システム１０２８は、ディスク・ストレージ１０２４に格納することができ、コンピュータ１０１２のリソースを制御し、アロケートするように機能する。

【0058】

システム・アプリケーション１０３０は、例えば、システム・メモリ１０１６に、またはディスク・ストレージ１０２４に記憶されたプログラム・モジュール１０３２およびプログラム・データ１０３４を通じたオペレーティング・システム１０２８によるリソースの管理を利用する。本開示は、様々なオペレーティング・システム、またはオペレーティング・システムの組合せによって実装できることを認識されたい。ユーザは、入力デバイス１０３６を通じてコンピュータ１０１２にコマンドまたは情報を入力する。入力デバイス１０３６は、マウス、トラックボール、スタイラス、タッチ・パッド、キーボード、マイクロフォン、ジョイスティック、ゲーム・パッド、パラボラ・アンテナ、スキャナ、ＴＶチューナ・カード、デジタル・カメラ、デジタル・ビデオ・カメラ、ウェブ・カメラ等などのポインティング・デバイスを含むがこれらに限定されない。これらおよび他の入力デバイスは、インターフェース・ポート１０３８を介してシステム・バス１０１８を通じて処理ユニット１０１４に接続する。インターフェース・ポート１０３８は、例えば、シリアル・ポート、パラレル・ポート、ゲーム・ポート、およびユニバーサル・シリアル・バス（ＵＳＢ）を含む。出力デバイス１０４０は、入力デバイス１０３６と同じタイプのポートのうちのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、コンピュータ１０１２への入力を行い、コンピュータ１０１２からの情報を出力デバイス１０４０に出力することができる。出力アダプタ１０４２は、数ある出力デバイス１０４０の中でも、モニタ、スピーカ、およびプリンタのようないくつかの出力デバイス１０４０があり、特殊なアダプタが必要であることを示すために提供される。出力アダプタ１０４２は、限定ではなく例証として、出力デバイス１０４０とシステム・バス１０１８との間の接続手段を提供するビデオおよびサウンド・カードを含む。リモート・コンピュータ１０４４などの他のデバイス、またはデバイスのシステム、あるいはその両方が、入力と出力両方の能力を提供することに留意されたい。

【0059】

コンピュータ１０１２は、リモート・コンピュータ１０４４などの、１つまたは複数のリモート・コンピュータへの論理接続を使用してネットワーク化された環境で動作することができる。リモート・コンピュータ１０４４は、コンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサ・ベースのアプライアンス、ピア・デバイス、または他の共通ネットワーク・ノードなどであってもよく、典型的には、コンピュータ１０１２について説明された要素の多くまたは全てを含むこともできる。簡潔さのために、メモリ・ストレージ・デバイス１０４６だけを、リモート・コンピュータ１０４４とともに示す。リモート・コンピュータ１０４４は、ネットワーク・インターフェース１０４８を通じてコンピュータ１０１２に論理的に接続され、次に、通信接続部１０５０を介して物理的に接続される。ネットワーク・インターフェース１０４８は、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、セルラー・ネットワーク等などの有線または無線あるいはその両方の通信ネットワークを包含する。ＬＡＮ技術は、ファイバ・ディストリビューテッド・データ・インターフェース（ＦＤＤＩ）、カパー・ディストリビューテッド・データ・インターフェース（ＣＤＤＩ）、イーサネット（登録商標）、トークン・リングなどを含む。ＷＡＮ技術は、ポイント・ツー・ポイント・リンク、サービス総合デジタル網（ＩＳＤＮ）およびその変形形態のような回線交換ネットワーク、パケット交換ネットワーク、ならびにデジタル加入者線（ＤＳＬ）を含むがこれらに限定されない。通信接続部１０５０は、ネットワーク・インターフェース１０４８をシステム・バス１０１８に接続するために用いられるハードウェア／ソフトウェアを指す。例証的な明瞭さのために、通信接続部１０５０をコンピュータ１０１２の内側に示すが、コンピュータ１０１２の外部にあってもよい。ネットワーク・インターフェース１０４８への接続のためのハードウェア／ソフトウェアは、例示のためだけに、通常のテレフォン・グレード・モデムを含むモデム、ケーブル・モデムおよびＤＳＬモデム、ＩＳＤＮアダプタ、ならびにイーサネット（登録商標）・カードなどの内部および外部技術を含むこともできる。

【0060】

本発明は、統合の任意の可能な技術詳細レベルにおけるシステム、方法、装置、またはコンピュータ・プログラム製品、あるいはその組合せであってもよい。コンピュータ・プログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読ストレージ媒体（または複数の媒体）を含むことができる。コンピュータ可読ストレージ媒体は、命令実行デバイスによる使用のための命令を保持し、記憶することができる有形デバイスであってもよい。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、または前述の任意の適切な組合せであってもよいがこれらに限定されない。コンピュータ可読ストレージ媒体のより具体的な例の完全に網羅されていないリストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリ・メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック（登録商標）、フロッピー（登録商標）・ディスク、命令が記録されたパンチ・カードまたは溝内隆起構造などの機械的にエンコードされたデバイス、および前述の任意の適切な組合せを含むこともできる。コンピュータ可読ストレージ媒体は、本明細書で使用するように、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号などの一時的な信号であると本質的に解釈されるべきではない。

【0061】

本明細書で説明するコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれの計算／処理デバイスに、あるいは、例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくはワイヤレス・ネットワーク、またはその組合せといった、ネットワークを介して外部コンピュータまたは外部ストレージ・デバイスに、ダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを備えることができる。各計算／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、コンピュータ可読プログラム命令をネットワークから受け取り、それぞれの計算／処理デバイス内のコンピュータ可読ストレージ媒体に記憶するためにコンピュータ可読プログラム命令を転送する。本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクション・セット・アーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路機器のための構成データ、または、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋、もしくは同様のものなどのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの手続き型プログラミング言語を含む１つもしくは複数のプログラミング言語の任意の組合せで書かれたソース・コードもしくはオブジェクト・コードであってもよい。コンピュータ可読プログラム命令は、全面的にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で、スタンド・アロン・ソフトウェア・パッケージとして実行することができ、部分的にユーザのコンピュータ上かつ部分的にリモート・コンピュータ上で、または全面的にリモート・コンピュータもしくはサーバ上で実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続することができ、または、接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを通じて）外部コンピュータに対して行うことができる。いくつかの実施形態では、例えば、プログラマブル・ロジック回路機器、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路機器は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して、電子回路機器を個別化することによって、コンピュータ可読プログラム命令を実行することができる。

【0062】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品の流れ図またはブロック図あるいはその両方を参照しながら本明細書で説明される。流れ図またはブロック図あるいはその両方の各ブロック、および流れ図またはブロック図あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実装できることが理解されよう。これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサによって実行する命令が、流れ図またはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／行為を実装するための手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または機械を生み出すための他のプログラム可能データ処理装置のプロセッサに提供することができる。これらのコンピュータ可読プログラム命令は、流れ図またはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／行為の態様を実装する命令を含む製品を、命令を記憶したコンピュータ可読ストレージ媒体が備えるべく、コンピュータ可読ストレージ媒体に記憶することもでき、コンピュータ、プログラム可能データ処理装置、または他のデバイス、あるいはその組合せに特定の手法で機能するように指図することができる。コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行する命令が、流れ図またはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／行為を実装するべく、コンピュータ実行処理を生み出すためのコンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作行為を実施するために、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードすることもできる。

【0063】

図中の流れ図およびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示す。この点に関して、流れ図またはブロック図の中の各ブロックは、命令のモジュール、セグメント、または一部を表すことができ、指定の論理機能を実装するための１つまたは複数の実行可能命令を含む。いくつかの代替実装形態では、ブロック内に記された機能は、図に記された順序とは異なる順序で発生してもよい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行することができ、またはブロックは、時には、含まれる機能に応じて、逆の順序で実行することができる。ブロック図または流れ図あるいはその両方の各ブロック、および、ブロック図または流れ図あるいはその両方におけるブロックの組合せは、指定の機能もしくは行為を行うか、または、専用ハードウェアとコンピュータ命令の組合せを実行する専用ハードウェア・ベースのシステムによって実現できることにも留意されたい。

【0064】

１つのコンピュータ、または複数のコンピュータ、あるいはその両方で動くコンピュータ・プログラム製品のコンピュータ実行可能命令の一般的な背景で主題を上記で説明してきたが、本開示は、他のプログラム・モジュールであること、他のプログラム・モジュールと組み合わせて実装できることを当業者は認識するであろう。一般に、プログラム・モジュールは、特定のタスクを実施すること、または特定の抽象データ型を実装すること、あるいはその両方を行う、ルーチン、プログラム、構成要素、データ構造等を含む。その上、本発明のコンピュータ実装方法は、シングル・プロセッサまたはマルチプロセッサ・コンピュータ・システム、ミニ・コンピューティング・デバイス、メインフレーム・コンピュータ、および、コンピュータ、ハンドヘルド・コンピューティング・デバイス（例えば、ＰＤＡ、電話）、マイクロプロセッサ・ベースのまたはプログラム可能な消費者または産業用電子機器などを含む他のコンピュータ・システム構成で実践できることを当業者は理解するであろう。図示の態様は、通信ネットワークを通じてリンクされたリモート処理デバイスによってタスクが実施される分散コンピューティング環境で実践することもできる。それでも、本開示の全てではないにしても、いくつかの態様は、スタンド・アロン・コンピュータ上で実践することができる。分散コンピューティング環境では、プログラム・モジュールは、ローカルとリモート両方のメモリ・ストレージ・デバイス内にあってもよい。

【0065】

本出願で使用されるように、用語「構成要素（component）」、「システム」、「プラットフォーム」、「インターフェース」などは、コンピュータ関連エンティティ、または、１つもしくは複数の特定の機能を伴う動作機械に関連したエンティティを指すこと、または含むこと、あるいはその両方を行うことができる。本明細書で開示されたエンティティは、ハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアであってもよい。例えば、構成要素は、プロセッサ上で動くプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、またはコンピュータ、あるいはその組合せであってもよいがこれらに限定されない。例証として、サーバ上で動くアプリケーションと、サーバの両方が、構成要素であってもよい。１つまたは複数の構成要素は、プロセスまたは実行スレッドあるいはその両方に常駐することができ、構成要素は、１つのコンピュータに局所化すること、または、２つ以上のコンピュータの間に分散させること、あるいはその両方を行うことができる。別の例では、それぞれの構成要素は、様々なデータ構造を記憶した様々なコンピュータ可読媒体から実行することができる。構成要素は、（例えば、ローカル・システム、分散システムにおける別の構成要素と、または、インターネットなどのネットワークを横断して信号を介して他のシステムと、あるいはその両方と対話する１つの構成要素からのデータといった）１つまたは複数のデータ・パケットを有する信号によるなどして、ローカルまたはリモートあるいはその両方のプロセスを介して通信することができる。別の例として、構成要素は、電気または電子回路機器によって動作する機械部品によって提供された特定の機能を伴う装置であってもよく、プロセッサによって実行されたソフトウェアまたはファームウェア・アプリケーションによって動作する。このようなケースでは、プロセッサは、装置の内部にあっても外部にあってもよく、ソフトウェアまたはファームウェア・アプリケーションの少なくとも一部を実行することができる。さらに別の例として、構成要素は、機械部品のない電子構成要素を通じて特定の機能を提供する装置であってもよく、電子構成要素は、電子構成要素の機能を少なくとも部分的に与えるソフトウェアまたはファームウェアを実行するためのプロセッサまたは他の手段を含むことができる。１つの態様では、構成要素は、例えば、クラウド・コンピューティング・システム内の、仮想マシンを介して電子構成要素をエミュレートすることができる。

【0066】

さらに、用語「または（or）」は、排他的な「または」ではなく、包括的な「または」を意味することを意図するものである。すなわち、別途指定されない限り、または文脈から明らかでない限り、「ＸがＡまたはＢを用いる」は、自然の包括的な並べ替えのいずれかを意味することを意図するものである。すなわち、ＸがＡを用いる、ＸがＢを用いる、またはＸがＡとＢの両方を用いる場合、「ＸがＡまたはＢを用いる」は、前述の例のいずれかのもとで満たされる。その上、主題の明細書および添付の図面で使用されるような冠詞「ａ」および「ａｎ」は、単数形を対象とすることが別途指定されない限り、または文脈から明らかでない限り、「１つまたは複数」を意味するものとして、全体として解釈されなければならない。本明細書において使用されるように、用語「例（example）」または「例示的（exemplary）」あるいはその両方は、例、事例、または例証として機能することを意味するために利用される。誤解を避けるために、本明細書で開示した主題は、このような例によって限定されない。さらに、「例」または「例示的」あるいはその両方として本明細書で説明した任意の態様または設計は、他の態様または設計に対して好ましいものまたは有利なものと必ずしも解釈されるわけではなく、当業者に知られた同等の例示的構造および技法を排除することを意味するものでもない。

【0067】

主題の明細書で用いられるように、用語「プロセッサ」は、シングル・コア・プロセッサ、ソフトウェア・マルチスレッド実行能力を有するシングル・プロセッサ、マルチコア・プロセッサ、ソフトウェア・マルチスレッド実行能力を有するマルチコア・プロセッサ、ハードウェア・マルチスレッド技術によるマルチコア・プロセッサ、パラレル・プラットフォーム、および分散共有メモリを有するパラレル・プラットフォームを含むがこれらに限定されない任意の計算処理ユニットまたはデバイスを実質的に指すことができる。追加として、プロセッサは、本明細書で説明する機能を実施するように設計された、集積回路、特定用途向け集積回路（ＡＳＩＣ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・ロジック・コントローラ（ＰＬＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、ディスクリート・ゲートもしくはトランジスタ・ロジック、ディスクリート・ハードウェア構成要素、またはこれらの任意の組合せを指すことができる。さらに、プロセッサは、空間使用量を最適化するため、またはユーザ機器の性能を強化するために、分子および量子ドット・ベースのトランジスタ、スイッチ、およびゲートなどであるがこれらに限定されないナノ・スケール・アーキテクチャを活用することができる。プロセッサを、計算処理ユニットの組合せとして実装することもできる。本開示では、「記憶する（store）」、「ストレージ（storage）」、「データ・ストア（data store）」、「データ・ストレージ（data storage）」、「データベース（database）」、ならびに構成要素の動作および機能に関連した実質的に他の任意の情報ストレージ構成要素などの用語を、「メモリ構成要素」、「メモリ」に含まれるエンティティ、またはメモリを備える構成要素を指すために利用する。本明細書で説明するメモリまたはメモリ構成要素あるいはその両方は、揮発性メモリもしくは不揮発性メモリであってもよく、または揮発性メモリと不揮発性メモリの両方を含むことができることを認識されたい。限定ではなく例証として、不揮発性メモリは、リード・オンリ・メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、または不揮発性ランダム・アクセス・メモリ（ＲＡＭ）（例えば、強誘電体ＲＡＭ（ＦｅＲＡＭ））を含むことができる。揮発性メモリは、ＲＡＭを含むことができ、例えば、外部キャッシュ・メモリとして機能する。限定ではなく例証として、ＲＡＭは、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブル・データ・レートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）、Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ（ＳＬＤＲＡＭ）、ダイレクトＲａｍｂｕｓ ＲＡＭ（ＤＲＲＡＭ）、ダイレクトＲａｍｂｕｓダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびＲａｍｂｕｓダイナミックＲＡＭ（ＲＤＲＡＭ）などの多くの形で利用可能である。追加として、本明細書におけるシステムまたはコンピュータ実装方法の開示のメモリ構成要素は、これらおよび他の任意の適切なタイプのメモリを、含むことに限定することなく、含むことを意図するものである。

【0068】

上記で説明してきたものは、システムおよびコンピュータ実装方法の単なる例を含む。当然、本開示を説明するために、構成要素またはコンピュータ実装方法のあらゆる想像可能な組合せを説明することはできないが、本開示の多くのさらなる組合せおよび並べ替えが可能であることを当業者は認識するはずである。さらに、用語「含む（includes）」、「有する（has）」、「保有する（possesses）」などが、発明を実施するための形態、特許請求の範囲、補遺、および図面で使用される限り、このような用語は、請求項において遷移語として用いられるときに「備える（comprising）」が解釈されるように、用語「備える」と同様に包括的であることを意図するものである。

【0069】

様々な実施形態の説明を例証のために提示してきたが、網羅的であること、または開示の実施形態に限定することを意図するものではない。説明した実施形態の範囲および思想から逸脱することなく、多くの変更形態および変形形態が当業者には明らかであろう。本明細書で使用した専門用語は、実施形態の原理、実用的用途、もしくは市場で見つかる技術に対する技術的改善を最もよく説明するように、または、本明細書で開示された実施形態を当業者が理解できるように、選ばれた。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】