特許 7648352 データ処理方法、データ処理装置、データ処理システムおよびデータ処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-10

(45)【発行日】2025-03-18

(54)【発明の名称】データ処理方法、データ処理装置、データ処理システムおよびデータ処理プログラム

(51)【国際特許分類】

   G06N 3/063 20230101AFI20250311BHJP

   G06F 12/06 20060101ALI20250311BHJP

【ＦＩ】

G06N3/063

G06F12/06 522A

【請求項の数】 20

(21)【出願番号】P 2020142827

(22)【出願日】2020-08-26

(65)【公開番号】P2022038363

(43)【公開日】2022-03-10

【審査請求日】2023-08-24

(73)【特許権者】

【識別番号】515130201

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】渡部 源太郎

【審査官】佐藤 直樹

(56)【参考文献】

【文献】国際公開第２０２０／０７６３９２（ＷＯ，Ａ１）

【文献】特開２０１７－１６２３４２（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８２０５９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０６３

Ｇ０６Ｆ １２／０６

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークのフォワード処理の少なくとも１つの層の演算コストに関する値と前記少なくとも１つの層の中間データのサイズに関する値とに基づいて、前記中間データを１以上の第１メモリに保存するかどうかを決定し、
前記中間データは前記少なくとも１つの層から出力され、前記１以上の第１メモリに保存された前記中間データを、前記フォワード処理に続くバックワード処理を行う際に使用し、
前記１以上の第１メモリに保存されなかった前記中間データを、前記バックワード処理を行う際に、前記フォワード処理の少なくとも一部を再計算することにより取得する、
１以上のコンピュータが実行するデータ処理方法。

【請求項2】

前記演算コストに関する値と前記中間データのサイズに関する値とに基づく指標に基づいて前記中間データを前記１以上の第１メモリに保存するかどうかを決定する、
請求項１に記載のデータ処理方法。

【請求項3】

前記演算コストに関する値を前記中間データのサイズに関する値で除することにより得られる値に基づいて前記中間データを前記１以上の第１メモリに保存するかどうかを決定する、
請求項１又は請求項２に記載のデータ処理方法。

【請求項4】

ニューラルネットワークのフォワード処理の少なくとも１つの層の演算コストと前記少なくとも１つの層の中間データのサイズとに基づいて、前記中間データを１以上の第１メモリに保存するかどうかを決定し、
前記演算コストを前記中間データのサイズで除することにより得られる値に基づいて前記中間データを前記１以上の第１メモリに保存するかどうかを決定する、
１以上のコンピュータが実行するデータ処理方法。

【請求項5】

前記再計算により取得された少なくとも一部の前記中間データを、１以上の第２メモリに保存し、前記バックワード処理で使用する、
請求項１乃至請求項３のいずれか１項に記載のデータ処理方法。

【請求項6】

前記１以上の第１メモリは、ＤＲＡＭであり、前記中間データを前記１以上の第１メモリに保存すると決定した場合、前記中間データをＳＲＡＭを介して前記１以上の第１メモリに保存する、
請求項１乃至請求項５のいずれか１項に記載のデータ処理方法。

【請求項7】

前記ニューラルネットワークは少なくとも第１層及び第２層から構成され、
前記フォワード処理において、前記第１層から第１中間データを出力し、第１中間データを前記第２層に入力して第２中間データを出力し、
前記第１層の演算コストに関する値と前記第１中間データのサイズに関する値とに基づいて、前記第１中間データを前記１以上の第１メモリに保存するかどうかを決定し、
前記第２層の演算コストに関する値と前記第２中間データのサイズに関する値とに基づいて、前記第２中間データを前記１以上の第１メモリに保存するかどうかを決定し、
前記フォワード処理に続くバックワード処理において、前記１以上の第１メモリに前記第１中間データが保存されている場合、前記１以上の第１メモリから読み出された前記第１中間データを用いて、前記第２層のパラメータの勾配を算出する、
請求項１乃至請求項４のいずれか１項に記載のデータ処理方法。

【請求項8】

前記バックワード処理において、前記１以上の第１メモリに前記第１中間データは保存されているが、前記第２中間データが保存されていない場合、前記第１中間データを前記第２層に入力することにより前記第２中間データを再計算する、
請求項７に記載のデータ処理方法。

【請求項9】

前記バックワード処理において、前記第１メモリに前記第１中間データが保存されていない場合、再計算により前記第１中間データを取得する、
請求項７に記載のデータ処理方法。

【請求項10】

１以上のプロセッサと、前記１以上のプロセッサに接続される１以上の第１メモリとを有するデータ処理装置であって、
ニューラルネットワークのフォワード処理の少なくとも１つの層の演算コストに関する値と前記少なくとも１つの層の中間データのサイズに関する値とに基づいて、前記中間データを前記１以上の第１メモリに保存するかどうかを決定し、
前記中間データは前記少なくとも１つの層から出力され、前記１以上の第１メモリに保存された前記中間データを、前記フォワード処理に続くバックワード処理を行う際に使用し、
前記１以上の第１メモリに保存されなかった少なくとも一部の前記中間データを、前記バックワード処理を行う際に、前記フォワード処理の少なくとも一部を再計算することにより取得する、
データ処理装置。

【請求項11】

前記演算コストに関する値と前記中間データのサイズに関する値とに基づく指標に基づいて前記中間データを前記１以上の第１メモリに保存するかどうかを決定する、
請求項１０に記載のデータ処理装置。

【請求項12】

前記演算コストに関する値を前記中間データのサイズに関する値で除することにより得られる値に基づいて前記中間データを前記１以上の第１メモリに保存するかどうかを決定する、
請求項１０又は請求項１１に記載のデータ処理装置。

【請求項13】

１以上のプロセッサと、前記１以上のプロセッサに接続される１以上の第１メモリとを有するデータ処理装置であって、
ニューラルネットワークのフォワード処理の少なくとも１つの層の演算コストと前記少なくとも１つの層の中間データのサイズとに基づいて、前記中間データを前記１以上の第１メモリに保存するかどうかを決定し、
前記演算コストを前記中間データのサイズで除することにより得られる値に基づいて前記中間データを前記１以上の第１メモリに保存するかどうかを決定する、
データ処理装置。

【請求項14】

前記再計算により取得した少なくとも一部の前記中間データを、１以上の第２メモリに保存し、前記バックワード処理に使用する、
請求項１０乃至請求項１２のいずれか１項に記載のデータ処理装置。

【請求項15】

前記１以上の第１メモリは、ＤＲＡＭであり、前記中間データを前記１以上の第１メモリに保存すると決定した場合、前記中間データをＳＲＡＭを介して前記１以上の第１メモリに保存する、
請求項１０乃至請求項１４のいずれか１項に記載のデータ処理装置。

【請求項16】

前記ニューラルネットワークは少なくとも第１層及び第２層から構成され、
前記フォワード処理において、前記第１層から第１中間データを出力し、第１中間データを前記第２層に入力して第２中間データを出力し、
前記第１層の演算コストに関する値と前記第１中間データのサイズに関する値とに基づいて、前記第１中間データを前記１以上の第１メモリに保存するかどうかを決定し、
前記第２層の演算コストに関する値と前記第２中間データのサイズに関する値とに基づいて、前記第２中間データを前記１以上の第１メモリに保存するかどうかを決定し、
前記フォワード処理に続くバックワード処理において、前記１以上の第１メモリに前記第１中間データが保存されている場合、前記１以上の第１メモリから読み出された前記第１中間データを用いて、前記第２層のパラメータの勾配を算出する、
請求項１０乃至請求項１３のいずれか１項に記載のデータ処理装置。

【請求項17】

前記バックワード処理において、前記１以上の第１メモリに前記第１中間データは保存されているが、前記第２中間データが保存されていない場合、前記第１中間データを前記第２層に入力することにより前記第２中間データを再計算する、
請求項１６に記載のデータ処理装置。

【請求項18】

前記バックワード処理において、前記第１メモリに前記第１中間データが保存されていない場合、再計算により前記第１中間データを取得する、
請求項１６に記載のデータ処理装置。

【請求項19】

請求項１乃至請求項９のいずれか１項に記載のデータ処理方法を実行する１以上のコンピュータを有するデータ処理システム。

【請求項20】

請求項１乃至請求項９のいずれか１項に記載のデータ処理方法を１以上のコンピュータに実行させるデータ処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、データ処理方法、データ処理装置、データ処理システムおよびデータ処理プログラムに関する。

【背景技術】

【0002】

一般に、深層学習の訓練は、ＧＰＵ（Graphics Processing Unit）等の多数のコアを内蔵したプロセッサを使用して行われる。この種のプロセッサを利用して訓練を行う場合、通常、フォワード処理の計算の途中結果は、バックワード処理のためにＤＲＡＭ（Dynamic Random Access Memory）等の外部メモリに保存される。そして、バックワード処理時に、バックワード処理の計算に必要なフォワード処理の計算の途中結果（中間データ）が外部メモリから読み出される。フォワード処理の計算の途中結果を外部メモリに毎回保存することができるのは、プロセッサと外部メモリとの間のメモリバンド幅（通信帯域）が十分に大きいためである。

【発明の概要】

【発明が解決しようとする課題】

【0003】

今後、プロセッサの性能が向上した場合、フォワード処理の計算の途中結果を外部メモリに毎回送信できるだけのメモリバンド幅を、プロセッサと外部メモリとの間に確保することが困難になるおそれがある。既存の構成の外部メモリまたはメモリインタフェースを利用してメモリバンド幅を向上することが困難な場合、新たな高速メモリの開発または新たな高速メモリインタフェースの開発等が必要になり、システムコストが大幅に上昇してしまう。

【課題を解決するための手段】

【0004】

本発明の実施形態の１以上のコンピュータが実行するデータ処理方法は、ニューラルネットワークのフォワード処理の少なくとも１つの層の演算コストに関する値と前記少なくとも１つの層の中間データのサイズに関する値とに基づいて、前記中間データを１以上の第１メモリに保存するかどうかを決定し、前記中間データは前記少なくとも１つの層から出力され、前記１以上の第１メモリに保存された前記中間データを、前記フォワード処理に続くバックワード処理を行う際に使用し、前記１以上の第１メモリに保存されなかった前記中間データを、前記バックワード処理を行う際に、前記フォワード処理の少なくとも一部を再計算することにより取得する。

【図面の簡単な説明】

【0005】

【図1】本発明の一実施形態におけるデータ処理装置の例を示すブロック図である。

【図2】図１に示すデータ処理装置で実行するニューラルネットワークの訓練の例を示す説明図である。

【図3】ニューラルネットワークの訓練におけるフォワード処理の例を示すフロー図である。

【図4】ニューラルネットワークの訓練におけるバックワード処理と最適化処理の例を示すフロー図である。

【図5】図１のデータ処理装置によるニューラルネットワークの訓練の例を示す説明図である。

【図6】図１のデータ処理装置によるニューラルネットワークの訓練の別の例を示す説明図である。

【図7】図１のデータ処理装置によるニューラルネットワークの訓練のさらなる別の例を示す説明図である。

【図8】図１のデータ処理装置を使用したニューラルネットワークの訓練の別の例を示す説明図である。

【図9】ニューラルネットワークの訓練を実行するデータ処理装置の動作の例を示すフロー図である。

【図10】図１のデータ処理装置１００のハードウェア構成の例を示すブロック図である。

【発明を実施するための形態】

【0006】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

【0007】

図１は、本発明の一実施形態におけるデータ処理装置の例を示すブロック図である。図１に示すデータ処理装置１００は、プロセッサ２０と、プロセッサ２０に接続された複数のＤＲＡＭ（Dynamic Random Access Memory）５０とを含む少なくとも１つのシステム基板１０を有する。例えば、データ処理装置１００は、サーバである。プロセッサ２０は、演算装置の一例である。ＤＲＡＭ５０は、メモリ（外部メモリ）の一例である。

【0008】

プロセッサ２０は、複数の演算器３０と、複数の演算器３０にそれぞれ接続された複数のＳＲＡＭ（Static Random Access Memory）４０とを有する。プロセッサ２０は、システムバスに接続される。プロセッサ２０は、チップの形態でもよく、パッケージの形態でもよい。なお、プロセッサ２０に接続されるメモリは、ＤＲＡＭ５０に限定されず、演算器３０に接続されるメモリは、ＳＲＡＭ４０に限定されない。ＳＲＡＭ４０は、内部メモリの一例である。

【0009】

このように本実施形態においては、データ処理装置１００は、読み書きの速度が異なる複数種類のメモリ、つまりＳＲＡＭ４０及び一般的にＳＲＡＭ４０より読み書きの速度が遅いＤＲＡＭ５０を備える。本実施形態において、例えば、複数のレイヤーを有するニューラルネットワークの訓練を実行する場合に、一部のレイヤーの計算結果のＤＲＡＭ５０への書き込みを一部行わないことで、メモリの読み書きの速度の不足を補うことを可能にする。これにより、訓練の速度を向上させることができる。

【0010】

図２は、図１に示すデータ処理装置１００で実行するニューラルネットワークの訓練の例を示す説明図である。入力レイヤーと出力レイヤーとの間に複数の中間レイヤーを有するニューラルネットワークの訓練では、フォワード処理、バックワード処理および最適化処理が、訓練データを変えながら複数回繰り返し実行される。フォワード処理、バックワード処理および最適化処理については、図３および図４で説明する。

【0011】

フォワード処理は、第１の処理の一例であり、フォワード処理において複数のレイヤー（複数の中間レイヤー）で実行される演算は、複数種の第１の演算の一例である。第１のデータは、第１の演算に使用するデータの一例であり、第２のデータは、第１の演算の実行により得られるデータ（演算結果）の一例である。バックワード処理は、第２の処理の一例であり、バックワード処理において複数のレイヤーで実行される演算は、複数種の第２の演算の一例である。

【0012】

図３は、ニューラルネットワークの訓練におけるフォワード処理の例を示すフロー図である。フォワード処理では、入力レイヤーおよび所定数の中間レイヤーの各々にデータと重み等のパラメータとが入力される。入力レイヤーでは、入力データとパラメータ１とが演算され、中間データ１が生成される。入力レイヤーの次の中間レイヤーでは、中間データ１とパラメータ２とが演算され、中間データ２が生成される。

【0013】

以降の中間レイヤーにおいても、１つ前の中間レイヤーが生成する中間データと、中間レイヤー毎に設定されたパラメータとが演算され、演算により生成された中間データが次の中間レイヤーに出力される。なお、パラメータを使用しない中間レイヤーが存在する場合もある。中間レイヤーとしては、例えば、畳み込み層、プーリング層、全結合層等がある。

【0014】

出力レイヤーでは、出力レイヤーの１つ前の中間レイヤーＮ（Ｎ番目のレイヤー）が生成した中間データＮを使用して出力データが求められる。分類問題において誤差を求める出力レイヤーでは、例えば、ソフトマックス関数を活性化関数として使用し、交差エントロピーを誤差関数として使用することで出力データ（解）が求められる。出力レイヤーでは、図４で説明するように、出力データと教師データ（正解データ）とを比較することで、正解との誤差（損失関数）が求められる。

【0015】

このように、フォワード処理では、ニューラルネットワークの各レイヤーにおいて、入力データとパラメータとが演算されて次のレイヤーに入力するデータが求められ、最終のレイヤーから出力データが出力される（順伝播）。なお、フォワード処理は、ニューラルネットワークの訓練だけでなく、ニューラルネットワークを用いた推論にも使用される。フォワード処理は、ＤＡＧ（Directed Acyclic Graph）等の計算グラフにより表現可能である。

【0016】

図４は、ニューラルネットワークの訓練におけるバックワード処理および最適化処理の例を示すフロー図である。バックワード処理では、フォワード処理とは逆の順序で誤差を伝播させていく誤差逆伝播が行われる。図４において、符号Δは、データの誤差またはパラメータの誤差を示す。最適化処理で実施されるパラメータの更新処理は、破線の矢印で示される。

【0017】

まず、バックワード処理では、誤差を求めるレイヤー（出力レイヤー）において、フォワード処理で生成した出力データと教師データとが比較され、出力レイヤーに入力される中間データＮに対する誤差であるΔ中間データＮが生成される。Δ中間データＮは、Ｎ番目の中間レイヤーが出力する出力データの誤差でもある。

【0018】

次に、各中間レイヤーにおいて、出力レイヤーに近い中間レイヤーから順に、出力データに対する誤差（Δ中間データ）と、入力データである中間データとが演算され、当該中間レイヤーのパラメータに対する誤差であるΔパラメータが生成される。Δパラメータは、パラメータの変化に対する誤差の変化を示す曲線におけるパラメータの勾配を示す。例えば、入力レイヤーに隣接する中間レイヤーでは、Δ中間データ２と中間データ１とが演算されてΔパラメータ２が求められる。

【0019】

また、各中間レイヤーにおいて、出力データに対する誤差（Δ中間データ）と、当該中間レイヤーのパラメータとが演算され、当該中間レイヤーの入力データに対する誤差であるΔ中間データが生成される。当該中間レイヤーの入力データに対する誤差（Δ中間データ）は、１つ前の中間レイヤー（または入力レイヤー）の出力データの誤差でもある。例えば、入力レイヤーに隣接する中間レイヤーでは、Δ中間データ２とパラメータ２とが演算されてΔ中間データ１が求められる。

【0020】

入力レイヤーにおいても中間レイヤーと同様に、Δ中間データ１と入力データとが演算されてΔパラメータ１が求められ、Δ中間データ１とパラメータ１とが演算されて、入力データに対する誤差であるΔ入力データが求められる。このように、バックワード処理では、フォワード処理による計算の途中結果である中間データが必要である。

【0021】

最適化処理では、各中間レイヤーおよび入力レイヤーにおいて、バックワード処理で求めたΔパラメータ（誤差の勾配）を使用して、パラメータが補正される。すなわち、パラメータが最適化される。パラメータの最適化は、Ｍｏｍｅｎｔｕｍ－ＳＧＤ（Stochastic Gradient Descent）またはＡＤＡＭ等の勾配降下法を使用して行われる。

【0022】

このように、バックワード処理では、出力データと教師データとから出力レイヤーに入力されたデータ（出力レイヤーの１つ前の中間レイヤーの出力データ）の誤差が算出される。そして、算出されたデータの誤差を用いて中間データの誤差を算出する処理と、中間データの誤差を用いてパラメータの誤差を算出する処理とが、出力側のレイヤーから順に行われる（誤差逆伝播）。パラメータの更新処理では、バックワード処理で得られたパラメータの誤差に基づいて、パラメータが最適化される。

【0023】

図５から図８は、図１のデータ処理装置１００によるニューラルネットワークの訓練の例を示す説明図である。説明を分かりやすくするため、訓練するニューラルネットワークは、レイヤーＬ１、Ｌ２、Ｌ３およびレイヤーＬｏｓｓを有するとする。計算グラフでは、レイヤーＬ１は入力データＤ０を受け、レイヤーＬ１の出力はレイヤーＬ２の入力に接続される。レイヤーＬ２の出力はレイヤーＬ３の入力に接続され、レイヤーＬ３は出力データを出力する。レイヤーＬｏｓｓは、レイヤーＬ３からの出力データＤ３と教師データとを使用して誤差（損失関数）を算出する。図５から図８を説明は、以下の仮定に基づく。

【0024】

（１）ディープラーニングの処理は、複数のデータ点をバッチという単位にまとめて処理するのが一般的である。図５から図８では、演算とメモリアクセスの比率を検討するため、データ処理装置１００（プロセッサ２０）のピーク性能およびメモリバンド幅は、１バッチに含まれるデータ点あたりで議論すれば十分である。データサイズ、ＦＬＯＰＳ（Floating-point Operations Per Second）、メモリバンド幅は、暗黙にデータ点あたりの値であるとする。

【0025】

（２）レイヤーＬ１は、畳み込み層であり、カーネルサイズが１×１、入力チャンネル数が"３"、出力チャンネル数が"１２８"であるとする。レイヤーＬ２は、畳み込み層であり、カーネルサイズが３×３、入力チャンネル数が"１２８"、出力チャンネル数が"１２８"であるとする。レイヤーＬ３は、全結合層であり、入力チャンネル数が"１２８"、出力チャンネル数が"１０"であるとする。レイヤーＬ１の入力と出力の画像サイズおよびレイヤーＬ２の出力の画像サイズは、幅３２ピクセル、高さ３２ピクセルであるとする。

【0026】

（３）追加のレイヤーとして、各レイヤーＬ１、Ｌ２（畳み込み層）の後にはＲｅＬＵ（Rectified Linear Unit）等の適当な活性化関数が入るとする。レイヤーＬ３（全結合層）の前にはAverage Poolingが入るとする。レイヤーＬ１、Ｌ２のそれぞれは、畳み込み層とＲｅＬＵ（Rectified Linear Unit）とを合わせたレイヤーでもよい。レイヤーＬ３は、Average Poolingと全結合層とを合わせたレイヤーでもよい。

【0027】

これにより、図５で訓練されたニューラルネットワークは、小規模であるが、実用的な画像認識タスクを実行可能である。フォワード処理およびバックワード処理は、それぞれレイヤーＬ１、Ｌ２、Ｌ３と融合して実行できるものとする。つまり、これらのレイヤーによるＤＲＡＭ５０のアクセスの追加は発生しない。また、追加のレイヤーの演算量は、十分小さいので無視する。

【0028】

（４）訓練に使用するデータは、３２ｂｉｔの浮動小数点数フォーマットで表されるとする。プロセッサ２０のピーク性能は、０．５ＴＦＬＯＰＳ（Tera Floating-point Operations Per Second）であるとする。プロセッサ２０のＤＲＡＭ５０に対するバンド幅は、１ＧＢ／ｓであるとする。ＤＲＡＭ５０のアクセスと演算器３０による演算は、最大までオーバーラップできるとする。つまり、訓練に掛かる総経過時間はＤＲＡＭ５０のアクセス時間と演算器３０による演算時間の大きい方になる。

【0029】

図５から図８において、各レイヤーＬ１、Ｌ２、Ｌ３、Ｌｏｓｓを示す矩形枠内に丸印で囲った文字は、レイヤーでの処理を示し、先頭の"Ｆ"はフォワード処理を示し、先頭の"Ｂ"はバックワード処理を示す。各レイヤーＬ１、Ｌ２、Ｌ３を示す矩形枠内に括弧で示す数値は、各レイヤーでの処理に掛かるコスト（計算コストまたは演算コスト）の例を示す。

【0030】

フォワード処理において、各レイヤーＬ１、Ｌ２、Ｌ３、Ｌｏｓｓに対して入力または出力される数値は、データサイズを示す。この例では、説明を分かりやすくするため、でデータサイズは、互いに隣接する２つのレイヤー間のチャネル数と同じであるとする。

【0031】

フォワード処理において、各レイヤーＬ１、Ｌ２、Ｌ３の下に示す転送指標は、各レイヤーの計算コストを各レイヤーが出力するデータサイズで除することで求められる。転送指標は、各レイヤーのフォワード処理により得られたデータをＤＲＡＭ５０に転送するか否かを判断する基準の１つであり、保存価値の一例である。

【0032】

転送価値が大きいレイヤーほど、演算により得られたデータをＤＲＡＭ５０に転送することが好ましく、転送価値が小さいレイヤーほど、演算により得られたデータをＤＲＡＭ５０に転送しないことが好ましい。そして、転送価値に基づいてレイヤー毎にデータをＤＲＡＭ５０に転送するか否かを決定することで、ニューラルネットワークの訓練での経過時間に占めるプロセッサ２０による演算時間の割合で示される実効効率を向上することができる。例えば、実効効率は、プロセッサ２０による演算時間の最小値（最速値）をニューラルネットワークの訓練での経過時間で除することで算出される。なお、図５から図８では、各レイヤーの演算に使用するためにＳＲＡＭ４０に一時的に保存されるデータの量は制限されないものとする。また、ＤＲＡＭ５０に対して読み書きされるデータは、ＳＲＡＭ４０を介するものとする。

【0033】

図５に示す訓練では、各レイヤーでの演算により得られたデータをＤＲＡＭ５０に転送するか否かを決める転送指標の閾値は設定されない。このため、フォワード処理において、レイヤーＬ１、Ｌ２、Ｌ３での演算によりそれぞれ得られる全てのデータＤ１、Ｄ２、Ｄ３がＤＲＡＭ５０に保存される。レイヤーＬ１で使用するデータＤ０は、ＤＲＡＭ５０から転送される。バックワード処理において、レイヤーＬｏｓｓ、Ｌ３、Ｌ２、Ｌ１で使用するデータＤ３、Ｄ２、Ｄ１、Ｄ０は、ＤＲＡＭ５０から転送される。

【0034】

フォワード処理での演算により得られるデータを全てＤＲＡＭ５０に保存し、バックワード処理で使用するデータを全てＤＲＡＭ５０から読み出す場合、訓練全体でのＤＲＡＭ５０の総アクセス時間は２．１２２ｍｓになる。また、訓練全体でのプロセッサ２０による総演算時間は１．８１７ｍｓになる。総演算時間は、図６以降で説明するデータの再計算を含まないため、最小値となる。このため、訓練に掛かる経過時間は、ボトルネックとなるＤＲＡＭ５０の総アクセス時間（２．１２２ｍｓ）になり、実効効率は８５．６％（１．８１７／２．１２２）となる。

【0035】

図６に示す訓練では、各レイヤーでの演算により得られたデータをＤＲＡＭ５０に転送するか否かを決める転送指標の閾値（第１の閾値）が"０．１"に設定される。このため、フォワード処理において、転送指標が閾値以上のレイヤーＬ２、Ｌ３での演算により得られるデータＤ２、Ｄ３がＤＲＡＭ５０に保存される。転送指標が閾値より小さいレイヤーＬ１での演算により得られるデータＤ１はＤＲＡＭ５０に保存されない。すなわち、データ処理装置１００は、訓練に使用するデータの一部を間引いてＤＲＡＭ５０に保存する。

【0036】

そして、バックワード処理において、レイヤーＬ２での演算に使用するデータＤ１は、プロセッサ２０によりレイヤーＬ１のフォワード処理を実行することで再計算される。バックワード処理のレイヤーＬｏｓｓ、Ｌ３、Ｌ１での演算に使用するデータＤ３、Ｄ２、Ｄ０は、ＤＲＡＭ５０から転送される。

【0037】

図６では、バックワード処理において、データ量が比較的大きいデータＤ１が、レイヤーＬ１のフォワード処理Ｆ１により再計算される。データＤ１のＤＲＡＭ５０に対する読み書きがなくなるため、訓練全体でのＤＲＡＭ５０のアクセス時間は、図５に比べて大幅に減少し、総アクセス時間は１．０７３ｍｓになる。また、訓練全体でのプロセッサ２０のよる総演算時間は、わずかに増加し、１．８１８ｍｓになる。このため、訓練に掛かる経過時間は、ボトルネックとなるプロセッサ２０による総演算時間（１．８１８ｍｓ）となり、実効効率は、図５より改善して９９．９％（１．８１７／１．８１８）となる。

【0038】

図７に示す訓練では、各レイヤーでの演算により得られたデータをＤＲＡＭ５０に転送するか否かを決める転送指標の閾値が"１．０"に設定される。ただし、図７では、実効効率を評価するために、転送指標が閾値より小さいレイヤーＬ１での演算により得られるデータＤ１は、ＤＲＡＭ５０に転送される。このため、フォワード処理において、転送指標が閾値以上のレイヤーＬ３での演算により得られるデータＤ３と、レイヤーＬ１での演算により得られるデータＤ１とがＤＲＡＭ５０に保存される。転送指標が閾値より小さいレイヤーＬ２での演算により得られるデータＤ２はＤＲＡＭ５０に保存されない。

【0039】

そして、バックワード処理において、レイヤーＬ３での演算に使用するデータＤ２は、プロセッサ２０によりレイヤーＬ２のフォワード処理を実行することで再計算される。バックワード処理のレイヤーＬｏｓｓ、Ｌ２、Ｌ１での演算に使用するデータＤ３、Ｄ１、Ｄ０は、ＤＲＡＭ５０から転送される。

【0040】

図７では、バックワード処理において、データ量が比較的大きいデータＤ２が、レイヤーＬ２のフォワード処理Ｆ２により再計算される。データＤ２のＤＲＡＭ５０に対する読み書きがなくなるため、訓練全体でのＤＲＡＭ５０のアクセス時間は、図６と同様に減少し、総アクセス時間は約１ｍｓになる。一方、レイヤーＬ２のフォワード処理Ｆ２の計算コストは、レイヤーＬ１のフォワード処理Ｆ１の計算コストに比べて大きい。このため、訓練全体でのプロセッサ２０のよる総演算時間は、図５および図６に比べて増加し、２．４２３ｍｓになる。このため、経過時間は、ボトルネックとなるプロセッサ２０による総演算時間（２．４２３ｍｓ）となり、実効効率は、図５より悪化して７５．０％（１．８１７／２．４２３）となる。

【0041】

図８に示す訓練では、各レイヤーでの演算により得られたデータをＤＲＡＭ５０に転送するか否かを決める転送指標の閾値が"１．０"に設定される。このため、フォワード処理において、転送指標が閾値以上のレイヤーＬ３での演算により得られるデータＤ３がＤＲＡＭ５０に保存される。転送指標が閾値より小さいレイヤーＬ１、Ｌ２での演算によりそれぞれ得られるデータＤ１、Ｄ２はＤＲＡＭ５０に保存されない。

【0042】

そして、バックワード処理において、レイヤーＬ３での演算に使用するデータＤ２は、プロセッサ２０によりレイヤーＬ１、Ｌ２のフォワード処理を順次実行することで再計算される。バックワード処理において、レイヤーＬ２での演算に使用するデータＤ１は、レイヤーＬ１のフォワード処理でＳＲＡＭ４０に保持されたものが使用される。バックワード処理のレイヤーＬｏｓｓ、Ｌ１での演算に使用するデータＤ０は、ＤＲＡＭ５０から転送される。

【0043】

図８に示す動作は、図６および図７を合わせた動作であり、バックワード処理におけるプロセッサ２０の計算コストは、図７よりも増加する。このため、実効効率は、図７の７５．０％よりも低くなる。

【0044】

以上、図５から図８に示した例では、図６の実効効率（９９．９％）が最も高くなることが分かる。このように、各レイヤーでの演算により得られたデータをＤＲＡＭ５０に転送するか否かを決める転送指標の閾値を適切な値に設定することで、プロセッサ２０の実効効率を最大化しつつ、ＤＲＡＭ５０のメモリバンド幅を削減することができる。

【0045】

ＤＲＡＭ５０に転送するデータ量を削減できるため、データ処理装置１００に搭載するＤＲＡＭ５０の容量を削減することができる。例えば、容量が小さい安価なＤＲＡＭ５０を採用することができる。この結果、データ処理装置１００のコストを削減することができる。換言すれば、ＤＲＡＭ５０の容量が削減されたデータ処理装置１００によっても、プロセッサ２０の実効効率を向上することができる。

【0046】

さらに、ＤＲＡＭ５０の容量を削減できるため、データ処理装置１００の消費電力を削減することができる。また、ＤＲＡＭ５０のメモリバンド幅を削減しない場合、より高性能なプロセッサ２０を使用することができる。

【0047】

図９は、ニューラルネットワークの訓練を実行するデータ処理装置１００の動作の例を示すフロー図である。例えば、図９に示すフローは、データ処理装置１００（プロセッサ２０）がデータ処理プログラムを実行することで実現されてもよい。図９は、データ処理方法およびデータ処理プログラムの例を示している。

【0048】

まず、ステップＳ１０において、データ処理装置１００は、フォワード処理を実行するレイヤーを選択する。次に、ステップＳ１２において、データ処理装置１００は、選択したレイヤーのフォワード処理を実行する。

【0049】

次に、ステップＳ１４において、データ処理装置１００は、レイヤーでのフォワード処理により得られたデータをＤＲＡＭ５０に保存する価値が高いか否かを判定する。例えば、データ処理装置１００は、フォワード処理の対象のレイヤーにおける転送指標（図５から図８）があらかじめ設定された閾値以上の場合、データをＤＲＡＭ５０に保存するためにステップＳ１６を実行する。データ処理装置１００は、フォワード処理の対象のレイヤーにおける転送指標が閾値より小さい場合、データをＤＲＡＭ５０に保存せずにステップＳ１８を実行する。

【0050】

ステップＳ１６において、データ処理装置１００は、フォワード処理により得られたデータをＤＲＡＭ５０に保存し、ステップＳ１８を実行する。ステップＳ１８において、データ処理装置１００は、フォワード処理を実行する次のレイヤーがある場合、ステップＳ１０を実行し、フォワード処理を実行する次のレイヤーがない場合、ステップＳ２０を実行する。

【0051】

ステップＳ２０において、データ処理装置１００は、バックワード処理を実行するレイヤーを選択する。次に、ステップＳ２２において、データ処理装置１００は、バックワード処理に使用するデータがＤＲＡＭ５０に保存されているか否かを判定する。データ処理装置１００は、データがＤＲＡＭ５０に保存されている場合、ステップＳ２４を実行し、データがＤＲＡＭ５０に保存されていない非保存データである場合、ステップＳ２６を実行する。

【0052】

ステップＳ２４において、データ処理装置１００は、バックワード処理に使用するデータをＤＲＡＭ５０からリードし、ステップＳ２８を実行する。ステップＳ２６において、データ処理装置１００は、バックワード処理に使用するデータ（非保存データ）を生成するフォワード処理を実行し、ステップＳ２８を実行する。

【0053】

ステップＳ２８において、データ処理装置１００は、ステップＳ２４またはステップＳ２６で得られたデータを使用して、演算対象のレイヤーのバックワード処理を実行する。次に、ステップＳ３０において、データ処理装置１００は、バックワード処理を実行する次のレイヤーがある場合、ステップＳ２０を実行し、バックワード処理を実行する次のレイヤーがない場合、図９に示す動作を終了する。

【0054】

前述した実施形態におけるデータ処理装置１００の一部または全部は、ハードウェアで構成されていてもよいし、ＣＰＵ（Central Processing Unit）、またはＧＰＵ（Graphics Processing Unit）等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、またはＵＳＢ（Universal Serial Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field Programmable Gate Array）等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。

【0055】

データ処理プログラム等のソフトウェアを収納する記憶媒体の種類は限定されるものではない。記憶媒体は、磁気ディスク、または光ディスク等の着脱可能なものに限定されず、ハードディスク、またはメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、コンピュータ外部に備えられてもよい。

【0056】

図１０は、図１のデータ処理装置１００のハードウェア構成の例を示すブロック図である。データ処理装置１００は、一例として、プロセッサ２０と、ＤＲＡＭ（主記憶装置）５０と、補助記憶装置６０（メモリ）と、ネットワークインタフェース７０と、デバイスインタフェース８０と、を備え、これらがバス９０を介して接続されたコンピュータとして実現されてもよい。例えば、プロセッサ２０がデータ処理プログラムを実行することで、図５から図８で説明した訓練が実行される。

【0057】

データ処理装置１００は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図１０では、１台のデータ処理装置１００が示されているが、ソフトウェアがデータ処理装置１００を含む複数台の装置にインストールされて、当該複数台のデータ処理装置１００のそれぞれがソフトウェアの同一のまたは異なる一部の処理を実行してもよい。この場合、データ処理装置１００のそれぞれがネットワークインタフェース７０等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、１または複数の記憶装置に記憶された命令を１台または複数台のデータ処理装置１００が実行することで機能を実現するコンピュータシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台または複数台のデータ処理装置１００で処理し、この処理結果を端末に送信するような構成であってもよい。

【0058】

図５から図８で説明した動作および図９のフローで説明した動作は、１または複数のプロセッサ２０を用いて、または、通信ネットワーク２００を介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ２０内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部または全部は、ネットワークを介してデータ処理装置１００と通信可能なクラウド上に設けられたプロセッサおよび記憶装置の少なくとも一方により実行されてもよい。このように、データ処理装置１００を含むコンピュータシステムは、１台または複数台のコンピュータによる並列コンピューティングの形態であってもよい。

【0059】

プロセッサ２０は、コンピュータの制御装置および演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、またはＡＳＩＣ等）であってもよい。また、プロセッサ２０は、専用の処理回路を含む半導体装置等であってもよい。プロセッサ２０は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ２０は、量子コンピューティングに基づく演算機能を含むものであってもよい。

【0060】

プロセッサ２０は、データ処理装置１００の内部構成の各装置等から入力されたデータやソフトウェア（プログラム）に基づいて演算処理を行い、演算結果や制御信号を各装置等に出力することができる。プロセッサ２０は、データ処理装置１００のＯＳ（Operating System）や、アプリケーション等を実行することにより、データ処理装置１００を構成する各構成要素を制御してもよい。

【0061】

データ処理装置１００は、１または複数のプロセッサ２０により実現されてもよい。ここで、プロセッサ２０は、１チップ上に設けられた１または複数の電子回路を指してもよいし、２つ以上のチップあるいは２つ以上のデバイス上に設けられた１または複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線または無線により通信してもよい。

【0062】

主記憶装置５０は、プロセッサ２０が実行する命令および各種データ等を記憶する記憶装置であり、主記憶装置５０に記憶された情報がプロセッサ２０により読み出される。補助記憶装置６０は、主記憶装置５０以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体メモリでもよい。半導体メモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。データ処理装置１００において各種データを保存するための記憶装置は、主記憶装置５０または補助記憶装置６０により実現されてもよく、プロセッサ２０に内蔵されるＳＲＡＭ４０等の内蔵メモリにより実現されてもよい。

【0063】

データ処理装置１００は、図１の構成に限定されるものではない。記憶装置（メモリ）１つに対して、複数のプロセッサ２０が接続（結合）されてもよいし、単数のプロセッサ２０が接続されてもよい。プロセッサ２０の１つに対して、複数の記憶装置（メモリ）が接続（結合）されてもよい。データ処理装置１００が、少なくとも１つの記憶装置（メモリ）とこの少なくとも１つの記憶装置（メモリ）に接続（結合）される複数のプロセッサ２０で構成される場合、複数のプロセッサ２０のうち少なくとも１つのプロセッサ２０が、少なくとも１つの記憶装置（メモリ）に接続（結合）される構成を含んでもよい。また、複数台のデータ処理装置１００に含まれる記憶装置（メモリ）とプロセッサ２０によって、この構成が実現されてもよい。さらに、記憶装置（メモリ）がプロセッサ２０と一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。

【0064】

ネットワークインタフェース７０は、無線または有線により、通信ネットワーク２００に接続するためのインタフェースである。ネットワークインタフェース７０は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース７０により、通信ネットワーク２００を介して接続された外部装置２１０と情報のやり取りが行われてもよい。なお、通信ネットワーク２００は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）等の何れか、または、それらの組み合わせであってよく、データ処理装置１００と外部装置２１０との間で情報のやり取りが行われるものであればよい。ＷＡＮの一例としてインターネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット（登録商標）等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near Field Communication）等がある。

【0065】

デバイスインタフェース８０は、外部装置２２０と直接接続するＵＳＢ等のインタフェースである。

【0066】

外部装置２２０は、データ処理装置１００とネットワークを介して接続されてもよく、データ処理装置１００と直接接続されてもよい。

【0067】

外部装置２１０または外部装置２２０は、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、またはタッチパネル等のデバイスであり、取得した情報をデータ処理装置１００に与える。また、パーソナルコンピュータ、タブレット端末、またはスマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。

【0068】

また、外部装置２１０または外部装置２２０は、一例として、出力装置でもよい。出力装置は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、または有機ＥＬ（Electro Luminescence）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末、またはスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。

【0069】

また、外部装置２１０または外部装置２２０は、記憶装置（メモリ）であってもよい。例えば、外部装置２１０はネットワークストレージ等であってもよく、外部装置２２０はＨＤＤ等のストレージであってもよい。記憶装置（メモリ）である外部装置２２０は、プロセッサ２０等のコンピュータにより読み取り可能な記録媒体の一例である。

【0070】

また、外部装置２１０または外部装置２２０は、データ処理装置１００の構成要素の一部の機能を有する装置でもよい。つまり、データ処理装置１００は、外部装置２１０または外部装置２２０の処理結果の一部または全部を送信または受信してもよい。

【0071】

以上、この実施形態では、各レイヤーでの演算により得られたデータをＤＲＡＭ５０に転送するか否かを決める転送指標の閾値を適切な値に設定することで、プロセッサ２０の実効効率を最大化しつつ、ＤＲＡＭ５０のメモリバンド幅を削減することができる。これにより、データ処理装置１００へのＤＲＡＭ５０の搭載量を削減でき、データ処理装置１００のコストを削減することができる。

【0072】

転送指標は、各レイヤーの計算コストを各レイヤーが出力するデータサイズで除することで求められる。このため、ニューラルネットワーク（計算グラフ）の複雑度によらず、転送指標を簡易に求めることができる。なお、プロセッサ２０による演算結果をＤＲＡＭ５０に転送するか否かを転送指標により決定する手法は、ニューラルネットワークの訓練に限らず、他のデータ処理に適用可能である。

【0073】

本明細書（請求項を含む）において、「ａ、ｂおよびｃの少なくとも１つ（一方）」または「ａ、ｂまたはｃの少なくとも１つ（一方）」の表現（同様な表現を含む）が用いられる場合は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、またはａ－ｂ－ｃのいずれかを含む。また、ａ－ａ、ａ－ｂ－ｂ、ａ－ａ－ｂ－ｂ－ｃ－ｃ等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、ａ－ｂ－ｃ－ｄのようにｄを有する等、列挙された要素（ａ、ｂおよびｃ）以外の他の要素を加えることも含む。

【0074】

本明細書（請求項を含む）において、「データを入力として／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を入力として用いる場合を含む。また「データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件、および／または状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を出力とする場合も含む。

【0075】

本明細書（請求項を含む）において、「接続される（connected）」および「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。

【0076】

本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）または一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）または一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサまたは専用演算回路等である場合、制御用命令およびデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Ｂを実際に実行するように構築（implemented）されていればよい。

【0077】

本明細書（請求項を含む）において、含有または所有を意味する用語（例えば、「含む（comprising/including）」および有する「（having）等）」が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有または所有する場合を含む、open-endedな用語として意図される。これらの含有または所有を意味する用語の目的語が数量を指定しないまたは単数を示唆する表現（aまたはanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。

【0078】

本明細書（請求項を含む）において、ある箇所において「１つまたは複数（one or more）」または「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しないまたは単数を示唆する表現（aまたはanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しないまたは単数を示唆する表現（aまたはanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。

【0079】

本明細書において、ある実施例の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つまたは複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件、および／または状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件、および／または状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成または類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。

【0080】

本明細書（請求項を含む）において、「最大化（maximize）」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、およびローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的またはヒューリスティックに求めることを含む。同様に、「最小化（minimize）」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、およびローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的またはヒューリスティックに求めることを含む。同様に、「最適化（optimize）」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、およびローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的またはヒューリスティックに求めることを含む。

【0081】

本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１または複数のハードウェアが第１の処理を行い、前記１または複数のハードウェアが第２の処理を行う」等の表現が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェアおよび第２の処理を行うハードウェアが、前記１または複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、または電子回路を含む装置等を含んでよい。

【0082】

本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置（メモリ）のうち個々の記憶装置（メモリ）は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。

【0083】

以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換えおよび部分的削除等が可能である。例えば、前述した全ての実施形態において、数値または数式を説明に用いている場合は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。

【符号の説明】

【0084】

２０ プロセッサ
３０ 演算器
４０ ＳＲＡＭ
５０ ＤＲＡＭ
６０ 補助記憶装置
７０ ネットワークインタフェース
８０ デバイスインタフェース
９０ バス
１００ データ処理装置
２００ 通信ネットワーク
２１０ 外部装置
２２０ 外部装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】