特許 7225831 演算処理装置，プログラム及び演算処理装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-13

(45)【発行日】2023-02-21

(54)【発明の名称】演算処理装置，プログラム及び演算処理装置の制御方法

(51)【国際特許分類】

   G06F 7/544 20060101AFI20230214BHJP

   G06F 17/10 20060101ALI20230214BHJP

   G06N 3/063 20230101ALI20230214BHJP

   G06G 7/60 20060101ALI20230214BHJP

【ＦＩ】

G06F7/544

G06F17/10 Z

G06N3/063

G06G7/60

【請求項の数】 3

(21)【出願番号】P 2019009395

(22)【出願日】2019-01-23

(65)【公開番号】P2020119213

(43)【公開日】2020-08-06

【審査請求日】2021-10-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(74)【代理人】

【識別番号】100092978

【弁理士】

【氏名又は名称】真田 有

(72)【発明者】

【氏名】野津 隆弘

【審査官】豊田 真弓

(56)【参考文献】

【文献】国際公開第２０１７／０３８１０４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０００５６０３（ＵＳ，Ａ１）

【文献】特開２０１９－００８３８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ７／５４４

Ｇ０６Ｆ １７／１０

Ｇ０６Ｎ ３／０６３

Ｇ０６Ｇ ７／６０

(57)【特許請求の範囲】

【請求項1】

入力値を境界値と比較し、前記境界値を超過した前記入力値に対して前記入力値と等しい値を出力する第１出力部と、
前記入力値が境界値以下の場合に、前記入力値に対して－εと＋εと０とのいずれかの値をランダムに出力する第２出力部と、
を備える、演算処理装置。

【請求項2】

入力値を境界値と比較し、前記境界値を超過した前記入力値に対して前記入力値と等しい値を第１出力部が出力し、
前記入力値が境界値以下の場合に、第２出力部が、前記入力値に対して－εと＋εと０とのいずれかの値をランダムに出力する、
処理をコンピュータに実行させる、プログラム。

【請求項3】

入力値を境界値と比較し、前記境界値を超過した前記入力値に対して前記入力値と等しい値を第１出力部が出力し、
前記入力値が境界値以下の場合に、第２出力部が、前記入力値に対して－εと＋εと０とのいずれかの値をランダムに出力する、
処理を演算処理装置が実行する、制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、演算処理装置，プログラム及び演算処理装置の制御方法に関する。

【背景技術】

【0002】

Deep Learning（ＤＬ）を高速に実行するプロセッサでは、大量の演算器が実装され、並列演算が実行される。並列演算では、全ての演算器が同じ演算を実行するため、実行する命令や種類やデータの内容によって大量の演算器全体の電力が急激に変化する場合がある。

【0003】

プロセッサは同一電圧条件で作動するため、電力が増加すると電流が増加する。通常Direct Current（ＤＣ）－ＤＣコンバータが電流の増加に追従するが、変化が急激であると、電流の増加に追従できず、電圧が降下する。

【0004】

プロセッサに供給される電圧が降下すると半導体のスイッチング速度が低下し、タイミング制約を満たせなくなることにより、プロセッサの誤動作が発生するおそれがある。

【先行技術文献】

【特許文献】

【0005】

【文献】国際公開２０１７／０３８１０４号

【文献】特開平１１－２２４２４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

電圧降下によるプロセッサの誤動作は常時電圧を高めに設定することにより解決できるが、常時電圧を高めに設定すると消費電力が増加してしまうという課題がある。

【0007】

１つの側面では、消費電力を増加させずにプロセッサの電圧降下を防止することを目的とする。

【課題を解決するための手段】

【0008】

演算処理装置は、入力値を境界値と比較し、前記境界値を超過した前記入力値に対して前記入力値と等しい値を出力する第１出力部と、前記入力値が境界値以下の場合に、前記入力値に対して－εと＋εと０とのいずれかの値を出力する第２出力部と、を備える。

【発明の効果】

【0009】

１つの側面では、消費電力を増加させずにプロセッサの電圧降下を防止することができる。

【図面の簡単な説明】

【0010】

【図1】関連例における神経細胞のモデル化を説明する図である。

【図2】関連例における命令の種類による電力変動の第１の例を説明する図である。

【図3】関連例における命令の種類による電力変動の第２の例を説明する図である。

【図4】関連例における命令の種類による電力変動の第３の例を説明する図である。

【図5】関連例における命令の種類による電力変動の第３の例を説明する図である。

【図6】実施形態の一例における第１のRectified Linear Unit（ＲｅＬＵ）演算処理を説明する図である。

【図7】実施形態の一例におけるＲｅＬＵの第１の順伝播処理及び第１の逆伝播処理を説明する図である。

【図8】実施形態の一例における第２のＲｅＬＵ演算処理を説明する図である。

【図9】実施形態の一例におけるＲｅＬＵの第２の順伝播処理及び第２の逆伝播処理を説明する図である。

【図10】実施形態の一例における第３のＲｅＬＵ演算処理を説明する図である。

【図11】実施形態の一例におけるＲｅＬＵの第３の順伝播処理及び第３の逆伝播処理を説明する図である。

【図12】実施形態の一例における乗算器の構成例を模式的に示すブロック図である。

【図13】実施形態の一例における演算処理システムの構成例を模式的に示すブロック図である。

【図14】図１３に示した演算処理システムにおけるＤＬ処理を説明するブロック図である。

【図15】図１３に示したホストマシンにおけるＤＬ処理を説明するフローチャートである。

【図16】図１３に示したホストマシンにおけるハードウェア構成例を模式的に示すブロック図である。

【図17】図１３に示したＤＬ実行ハードウェアのハードウェア構成例を模式的に示すブロック図である。

【図18】図１３に示したホストマシンにおける機能構成例を模式的に示すブロック図である。

【図19】図１３に示したホストマシンにおけるプログラムの生成処理を説明するフローチャートである。

【図20】図１３に示したホストマシンにおける順伝播及び逆伝播のプログラムの生成処理の詳細を説明するフローチャートである。

【図21】図１３に示したホストマシンにおける第２のＲｅＬＵ演算の順伝播処理の詳細を説明するフローチャートである。

【図22】図１３に示したホストマシンにおける第２のＲｅＬＵ演算の逆伝播処理の詳細を説明するフローチャートである。

【図23】図１３に示したホストマシンにおける第３のＲｅＬＵ演算の順伝播処理の詳細を説明するフローチャートである。

【図24】図１３に示したホストマシンにおける第３のＲｅＬＵ演算の逆伝播処理の詳細を説明するフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。

【0012】

また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

【0013】

以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。

【0014】

〔Ａ〕関連例
図１は、関連例における神経細胞のモデル化を説明する図である。

【0015】

ニューラルネットワークを多層に拡張したDeep Neural Networkは、従来解決が困難であった問題に適用できることが判明し、様々な分野へ適用されることが予想される。

【0016】

図１に示すように、脳の神経細胞（別言すれば、「ニューロン」）は、細胞体６１，シナプス６２，樹状突起６３及び軸索６４を含む。神経細胞が機械的にモデル化されることにより、ニューラルネットワークが生成される。

【0017】

Deep Neural Networkの学習処理における演算は、内積演算等であり単純ではあるが、大量に実行される場合がある。そのため、これらの演算を高速に実行するプロセッサでは、大量の演算器を並列に作動させることにより性能の向上が図られる。

【0018】

Deep Neural Networkの学習処理を実行する演算器では、実行する命令の種類やデータの内容によって全ての演算器における電力が急激に変化する場合がある。

【0019】

例えば、整数加算命令（別言すれば、「ＡＤＤ演算命令」）は、浮動小数点積和命令（別言すれば、「Fused Multiply-Add（ＦＭＡ）演算命令」）よりも消費電力が小さい。これは、命令の種類によってプロセッサ内部で使用されるリソースが異なるためである。整数加算命令では１つの加算器に限って使用されるが、浮動小数点積和命令では乗算を実行するための複数の加算器やよりビット幅の広い加算器が使用される。

【0020】

命令の種類による電力の変動は、事前にどのような命令を実行するかが分かっているため、対処が可能である。例えば、浮動小数点積和命令が支配的であるプログラムの一部区間で整数加算命令を実行する場合に、整数加算命令と浮動小数点積和命令とを交互に実行させる。これにより、全体としての電力の変動を抑えることができる。

【0021】

図２は、関連例における命令の種類による電力変動の第１の例を説明する図である。

【0022】

図２に示す例では、ＦＭＡ演算命令が１０命令実行された後、ＡＤＤ演算命令が１０命令実行される。このような命令列では、ＦＭＡ演算命令がＡＤＤ演算命令に切り替わると電力低下が発生する。

【0023】

図３は、関連例における命令の種類による電力変動の第２の例を説明する図である。

【0024】

図３に示す例では、ＦＭＡ演算命令が５命令実行された後、ＡＤＤ演算命令とＦＭＡ演算命令とが交互に実行される。このように、ＦＭＡ演算命令とＡＤＤ演算命令とが織り交ぜて実行されることで電力の急激な低下が抑えられる。

【0025】

同じ浮動小数点積和命令が実行されても、データの内容としてゼロが入力され続けると電力が低下する。通常はある程度の割合で入力データが０又は１に変化するが、同じ値が入力され続けると論理素子の状態が固定され、電力が低下する。特にゼロ値は、乗算の場合には、もう一方のオペランドにどのような値が入力されても同じ結果である０が返されるため、スイッチング回数が削減される傾向が強い。

【0026】

事前にどのようなデータが入力されるかが不明であるため、データの内容による電力の変動へ対処することは容易でない。

【0027】

図４及び図５は、関連例における命令の種類による電力変動の第３の例を説明する図である。

【0028】

図４の符号Ａ１に示すように、フラグレジスタの４０番（図示する例では「%fr40」）から４５番（図示する例では「%fr45」）までに、命令列としてゼロが格納されている。図５に示すように、ゼロを用いた演算が実行されると、その期間における電力が低下する。

【0029】

このように、プロセッサの電力変動の原因は、命令の種類によるものと、命令が読み込むデータによるものとがある。例えば、整数加算命令は消費電力が低いが、浮動小数点積和命令は消費電力が高い。また、同じ浮動小数点積和命令でも、ゼロが入力されると消費電力が低くなる。

【0030】

命令の種類の違いによる電力変動は、プログラム作成の際に実行する命令が既知となるため、命令の組み合わせによって回避することが可能である。

【0031】

一方、命令のデータに起因する電力変動は、プログラム作成の際にオペランドの内容が不明であるため、対策が容易でない。特に、ゼロ値が連続して入力されると、演算器内の殆どの値がゼロに固定されるため、電力が急激に低下する。

【0032】

〔Ｂ〕実施形態の一例
〔Ｂ－１〕システム構成例
ＤＬにおいては、Multiply-Add命令を実行し、内積を求める処理が大半を占める。この際に、入力にゼロが連続して現われるとMultiply-Add命令の実行の際の入力が急激に低下し、誤動作の原因となる。

【0033】

図６は、第１のＲｅＬＵ演算の処理を説明する図である。

【0034】

ＤＬの学習処理においてＲｅＬＵ演算と呼ばれる処理が明示的にゼロを生成する。ＲｅＬＵ演算は、１つの入力を受け取り、１つの出力を生成する。図６及び以下の数式１に示すように、与えられた入力値が正であれば入力値がそのまま出力され、入力値が０又は負であれば０が出力される。

【数1】

【0035】

図７は、実施形態の一例におけるＲｅＬＵの第１の順伝播処理及び第１の逆伝播処理を説明する図である。

【0036】

図７に示すように、順伝播の際の入力ｘ（符号Ｂ１参照）は、変形ＲｅＬＵ順伝播処理（符号Ｂ２参照）によって、出力ｚ（符号Ｂ３参照）に変換される。ここで、入力ｘと出力ｚとの関係は、以下の数式２によって表わされる。

【数2】

【0037】

また、順伝播の際の入力ｘは、逆伝播の実行の際まで一時領域に格納される（符号Ｂ４参照）。

【0038】

そして、逆伝播の際の入力ｄｚ（符号Ｂ５参照）は、一時領域の入力ｘを参照する変形ＲｅＬＵ逆伝播処理（符号Ｂ６参照）により、出力ｄｘ（符号Ｂ７参照）に変換される。ここで、入力ｄｚと出力ｄｘとの関係は、以下の数式３によって表わされる。

【数3】

【0039】

ただし、数式１で示したＲｅＬＵ（ｘ）では、入力ｘが負の値である場合には出力は常に０であるため、出力が０である可能性が高い。

【0040】

そこで、本実施形態の一例においては、入力ｘが負の値である場合に、微小正数（ε）の傾きを有するネガティブスロープが設定されてよい。また、入力ｘが負の値である場合に、ランダムで微小負数（－ε），ゼロ値（０），微小正数（＋ε）のいずれかが出力されてもよい。

【0041】

微小正数（ε）は絶対値が小さく、ある程度（例えば、半分以上の桁で）１のビットが立っていればよく、例えば、“0x00FFFFFF”及び“0x00CCCCCC”の２つを候補としてよい。“0x00FFFFFF”は、ゼロよりも大きい値FLT_MINに近く、仮数部が全て１になるような数である。“0x00CCCCCC”は、ゼロよりも大きい値FLT_MINに近く、仮数部に０と１とが交互に現れる数である。

【0042】

ネガティブスロープを設定する方法でも、ランダムで値を出力する方法でも、ゼロの代わりにゼロでない値が使用される場合があるため、演算結果が図６に示した例とは異なる。しかしながら、ＤＬ処理においては順伝播処理（別言すれば、「フォワード処理」）と逆伝播処理（別言すれば、「バックワード処理」）との整合性が取れていれば、本来の計算と異なる処理が行なわれても学習は可能である。

【0043】

図８は、実施形態の一例における第２のＲｅＬＵ演算処理を説明する図である。

【0044】

図８に示すように、ネガティブスロープは、負の領域での傾きを示す。ネガティブスロープが０のときは、図６に示したＲｅＬＵ処理と同様となる。

【0045】

図８に示す例においては、図６に示したＲｅＬＵ処理に対して、ネガティブの値がεに設定されることにより、連続するゼロの生成が抑止される。

【0046】

図８に示すＲｅＬＵ処理は、Leaky ReLU処理と称されてもよい。

【0047】

以下の数式４及び数式５に表わすように、入力ｘ値が正の領域では入力値がそのまま出力され、入力値ｘが負の領域では入力値にεを掛けた値が出力される。

【数4】

【数5】

【0048】

図９は、実施形態の一例におけるＲｅＬＵの第２の順伝播処理及び第２の逆伝播処理を説明する図である。

【0049】

図９に示す順伝播処理及び逆伝播処理は、図７に示した順伝播処理及び逆伝播処理と同様である。

【0050】

ただし、図９に示す変形ＲｅＬＵ順伝播処理（符号Ｂ２１参照）は、以下の数式６を使用して行なわれる。

【数6】

【0051】

また、図９に示す変形ＲｅＬＵ逆伝播処理（符号Ｂ６１参照）は、以下の数式７を使用して行なわれる。

【数7】

【0052】

図１０は、実施形態の一例における第３のＲｅＬＵ演算処理を説明する図である。

【0053】

図１０に示すＲｅＬＵ処理は、正領域では図６に示したＲｅＬＵ処理と同様だが、負領域では－ε，０，＋εの３つの値からランダムに出力値が選択される（図１０の網掛け部参照）。

【0054】

すなわち、出力値は以下の数式８及び９によって表わされる。

【数8】

【数9】

【0055】

図１１は、実施形態の一例におけるＲｅＬＵの第３の順伝播処理及び第３の逆伝播処理を説明する図である。

【0056】

図１１に示す順伝播処理及び逆伝播処理は、図７に示した順伝播処理及び逆伝播処理と同様である。

【0057】

ただし、図１１に示す変形ＲｅＬＵ順伝播処理（符号Ｂ２２参照）は、以下の数式１０を使用して行なわれる。

【数10】

【0058】

また、図１１に示す変形ＲｅＬＵ逆伝播処理（符号Ｂ６２参照）は、以下の数式１１を使用して行なわれる。

【数11】

【0059】

図１２は、実施形態の一例における乗算器１０００の構成例を模式的に示すブロック図である。

【0060】

ＲｅＬＵ^（１）の演算結果は様々な値を採り得るが、ＲｅＬＵ^（２）の演算結果は－ε，０，＋εの３つの値しか採らない。そのため、実施形態の一例では、乗算器１０００への入力も考慮される。

【0061】

デジタル計算機の乗算器１０００は、筆算の要領で被乗数と乗数のそれぞれのビットとの部分積を求め、それらの和を求める。

【0062】

乗算器１０００は、乗数１０１及び被乗数１０２の２つの入力に対して、１つの出力１０５を生成する。また、乗算器１０００は、複数のセレクタ１０３及び加算器１０４を備える。セレクタ１０３は、０ビット列かシフタ側入力かを選択し、ＡＮＤゲートにより実装されてよい。

【0063】

乗算の内容は、被乗数１０２のビット列が１ビットずつシフトされて加算器１０４に入力される。この際、乗数の各ビットの内容により、０のビット列が入力されるか被乗数１０２のビット列が入力されるかが決定される。そして、入力されたビット列の和が求められることにより、積が得られる。

【0064】

ここで、微小正数及び微小負数は、乗算器１０００の被乗数１０２側に入力されてよい。これは、微小正数及び微小負数が特定の値（例えば、１のビット連続する形式）であり、乗算器１０００が特定の内部構造（例えば、ブースアルゴリズムを使用する乗算器１０００）である場合に、乗算器１０００内部で大量のゼロが発生し、電力が必要以上に低下するためである。

【0065】

図１３は、実施形態の一例における演算処理システム１００の構成例を模式的に示すブロック図である。

【0066】

演算処理システム１００は、ホストマシン１及びＤＬ実行ハードウェア２を備える。また、ホストマシン１及びＤＬ実行ハードウェア２は、利用者３によって操作される。

【0067】

利用者３は、ホストマシン１に接続し、ＤＬ実行ハードウェア２を操作し、ＤＬ実行ハードウェア２において深層学習を実行させる。

【0068】

ホストマシン１は、演算処理装置の一例であり、利用者３からの指示に従い、ＤＬ実行ハードウェア２が実行するプログラムを生成し、ＤＬ実行ハードウェア２に送信する。

【0069】

ＤＬ実行ハードウェア２は、ホストマシン１から送信されたプログラムを実行し、実行結果のデータを生成する。

【0070】

図１４は、図１３に示した演算処理システム１００におけるＤＬ処理を説明するブロック図である。

【0071】

利用者３は、ホストマシン１におけるプログラム１１０に対して、ＤＬ設計情報を入力する。ホストマシン１は、ＤＬ設計情報が入力されたプログラム１１０をＤＬ実行プログラムとしてＤＬ実行ハードウェア２に入力する。利用者３は、ＤＬ実行ハードウェア２に対して、学習データを入力する。そして、ＤＬ実行ハードウェア２は、ＤＬ実行プログラムと学習データとに基づき、実行結果を利用者３に提示する。

【0072】

図１５は、図１３に示したホストマシン１におけるＤＬ処理を説明するフローチャートである。

【0073】

符号Ｃ１に示すように、アプリケーションにおいて、利用者３とのユーザインタフェースが実装される。アプリケーションは、利用者３からＤＬ設計情報の入力を受け付け、入力結果を表示させる。アプリケーションにおけるＤＬ実行の機能は、下位のレイヤにあるライブラリの機能を使って実装される。

【0074】

符号Ｃ２に示すように、ライブラリにおいて、ホストマシン１におけるアプリケーションの実装が補佐される。ＤＬ実行に関する機能はライブラリで提供される。

【0075】

符号Ｃ３に示すように、ユーザモードのドライバは、通常、ライブラリから呼び出される。なお、ユーザモードのドライバは、アプリケーションから直接に読み出されてもよい。ユーザモードのドライバは、ＤＬ実行ハードウェア２のためのプログラムコードを作成するコンパイラとして機能する。

【0076】

符号Ｃ４に示すように、カーネルモードのドライバは、ユーザモードのドライバから呼び出され、ＤＬ実行ハードウェア２と通信する。ハードウェアと直接にアクセスするため、カーネルモードのドライバとして実装される。

【0077】

図１６は、図１３に示したホストマシン１におけるハードウェア構成例を模式的に示すブロック図である。

【0078】

ホストマシン１は、プロセッサ１１，Random Access Memory（ＲＡＭ）１２，Hard Disk Drive（ＨＤＤ）１３，内部バス１４，高速入出力インターフェース１５及び低速入出力インターフェース１６を備える。

【0079】

ＲＡＭ１２は、プロセッサ１１が実行するプログラムやデータを記憶する。ＲＡＭ１２の形式としては、例えば、Double-Data-Rate4 Synchronous Dynamic Random Access Memory（ＤＤＲ４－ＳＤＲＡＭ）であってよい。

【0080】

ＨＤＤ１３は、プロセッサ１１が実行するプログラムやデータを記憶する。ＨＤＤ１３は、Solid State Drive（ＳＳＤ）やStorage Class Memory（ＳＣＭ）等であってもよい。

【0081】

内部バス１４は、プロセッサ１１と比較して低速な周辺機器とプロセッサ１１とを接続し、通信を中継する。

【0082】

高速入出力インターフェース１５は、プロセッサ１１とホストマシン１の外部にあるＤＬ実行ハードウェア２とを接続する。高速入出力インターフェース１５は、例えば、Peripheral Component Interconnect Express（ＰＣＩ Ｅｘｐｒｅｓｓ）であってよい。

【0083】

低速入出力インターフェース１６は、利用者３によるホストマシン１への接続を実現する。低速入出力インターフェース１６は、例えば、キーボードやマウスと接続される。また、低速入出力インターフェース１６は、Ｅｔｈｅｒｎｅｔ（登録商標）によるネットワーク越しに利用者３に接続されてもよい。

【0084】

プロセッサ１１は、例示的に、種々の制御や演算を行なう処理装置であり、ＲＡＭ１２に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。すなわち、プロセッサ１１は、図１８を用いて後述するように、ゼロ生成処理変形部１１１及びプログラム生成部１１２として機能してよい。

【0085】

なお、これらのゼロ生成処理変形部１１１及びプログラム生成部１１２としての機能を実現するためのプログラムは、例えばフレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ等）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、ＨＤ ＤＶＤ等）、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供されてよい。そして、コンピュータ（本実施形態ではプロセッサ１１）は上述した記録媒体から図示しない読取装置を介してプログラムを読み取って内部記録装置または外部記録装置に転送し格納して用いてよい。また、プログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、記憶装置から通信経路を介してコンピュータに提供してもよい。

【0086】

ゼロ生成処理変形部１１１及びプログラム生成部１１２としての機能を実現する際には、内部記憶装置（本実施形態ではＲＡＭ１２）に格納されたプログラムがコンピュータ（本実施形態ではプロセッサ１１）によって実行されてよい。また、記録媒体に記録されたプログラムをコンピュータが読み取って実行してもよい。

【0087】

プロセッサ１１は、ホストマシン１全体の動作を制御する。プロセッサ１１は、マルチプロセッサであってもよい。プロセッサ１１は、例えばCentral Processing Unit（ＣＰＵ）やMicro Processing Unit（ＭＰＵ），Digital Signal Processor（ＤＳＰ），Application Specific Integrated Circuit（ＡＳＩＣ），Programmable Logic Device（ＰＬＤ），Field Programmable Gate Array（ＦＰＧＡ）のいずれか一つであってもよい。また、プロセッサ１１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。

【0088】

図１７は、図１３に示したＤＬ実行ハードウェア２のハードウェア構成例を模式的に示すブロック図である。

【0089】

ＤＬ実行ハードウェア２は、ＤＬ実行プロセッサ２１，制御部２２，メモリアクセスコントローラ２３，内部ＲＡＭ２４及び高速入出力インターフェース２５を備える。

【0090】

制御部２２は、ホストマシン１からの指令に基づき、ＤＬ実行プロセッサ２１を駆動させたり、内部ＲＡＭ２４にプログラムやデータを転送させたりする。

【0091】

メモリアクセスコントローラ２３は、ＤＬ実行プロセッサ２１や制御部２２からの信号を選択し、メモリアクセスのためのプログラムに従ってメモリアクセスを行なう。

【0092】

内部ＲＡＭ２４は、ＤＬ実行プロセッサ２１が実行するプログラムや処理対象のデータ，処理結果のデータを記憶する。内部ＲＡＭ２４は、ＤＤＲ４－ＳＤＲＡＭであってもよいし、より高速なGraphics Double-Data-Rate5（ＧＤＤＲ５）やより広帯域なHigh Bandwidth Memory2（ＨＢＭ２）等であってもよい。

【0093】

高速入出力インターフェース２５は、ＤＬ実行プロセッサ２１をホストマシン１と接続する。高速入出力インターフェース２５におけるプロトコルとしては、例えば、ＰＣＩ Ｅｘｐｒｅｓｓであってよい。

【0094】

ＤＬ実行プロセッサ２１は、ホストマシン１から与えられたプログラムやデータに基づき、深層学習の処理を実行する。

【0095】

ＤＬ実行プロセッサ２１は、例示的に、種々の制御や演算を行なう処理装置であり、内部ＲＡＭ２４に格納されたＯＳやプログラムを実行することにより、種々の機能を実現する。

【0096】

なお、種々の機能を実現するためのプログラムは、例えばフレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ等）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、ＨＤ ＤＶＤ等）、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供されてよい。そして、コンピュータ（本実施形態ではプロセッサ１１）は上述した記録媒体から図示しない読取装置を介してプログラムを読み取って内部記録装置または外部記録装置に転送し格納して用いてよい。また、プログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、記憶装置から通信経路を介してコンピュータに提供してもよい。

【0097】

ＤＬ実行プロセッサ２１における種々の機能を実現する際には、内部記憶装置（本実施形態では内部ＲＡＭ２４）に格納されたプログラムがコンピュータ（本実施形態ではＤＬ実行プロセッサ２１）によって実行されてよい。また、記録媒体に記録されたプログラムをコンピュータが読み取って実行してもよい。

【0098】

ＤＬ実行プロセッサ２１は、ＤＬ実行ハードウェア２全体の動作を制御する。ＤＬ実行プロセッサ２１は、マルチプロセッサであってもよい。ＤＬ実行プロセッサ２１は、例えばＣＰＵやＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか一つであってもよい。また、ＤＬ実行プロセッサ２１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。

【0099】

図１８は、図１３に示したホストマシン１における機能構成例を模式的に示すブロック図である。

【0100】

図１８に示すように、ホストマシン１のプロセッサ１１は、ゼロ生成処理変形部１１１及びプログラム生成部１１２として機能する。

【0101】

プログラム生成部１１２は、ニューラルネットワーク記述データ１０６とプログラム生成パラメータ１０７との入力に基づき、ＤＬ実行ハードウェア２において実行されるニューラルネットワーク実行プログラム１０８を生成する。

【0102】

ゼロ生成処理変形部１１１は、ニューラルネットワーク記述データ１０６の内容を変更することにより、ＲｅＬＵ演算の内容を変形する。図１８に示すように、ゼロ生成処理変形部１１１は、第１出力部１１１１及び第２出力部１１１２として機能する。

【0103】

第１出力部１１１１は、図８及び図１０等に示したように、入力値を境界値（例えば、０）と比較し、境界値を超過した入力値に対して入力値と等しい値を出力する。

【0104】

第２出力部１１１２は、図８及び図１０等に示したように、境界値以下である入力値に対して一定の出力値を出力する正規化線形関数の演算（別言すれば、「ＲｅＬＵ演算」）において、境界値以下の入力値に対して０よりも大きい微小値εの倍数を出力する。

【0105】

第２出力部１１１２は、図８等に示したように、入力値と微小値εとの積を出力値として出力してよい。また、第２出力部１１１２は、図１２等を用いて前述したように、入力値を乗数とすると共に微小値εを被乗数として乗算器１０００に入力することにより、出力値を出力してよい。

【0106】

第２出力部１１１２は、図１０等に示したように、微小値εについて、－εと０と＋εとのうちいずれかの値を出力値として出力してよい。

【0107】

〔Ｂ－２〕動作例
図１３に示したホストマシン１におけるプログラムの生成処理を、図１９に示すフローチャートを用いて説明する。

【0108】

プログラム生成部１１２は、ネットワーク中の各層の依存関係を整理する（ステップＳ１）。プログラム生成部１１２は、順伝播の順に各層を並び替え、Layer[0], Layer[1], …, Layer[L-1]として管理する。

【0109】

プログラム生成部１１２は、Layer[0], Layer[1], …, Layer[L-1]のそれぞれについて、順伝播及び逆伝播のプログラムを生成する（ステップＳ２）。ステップＳ２における処理の詳細は、図２０を用いて後述する。

【0110】

プログラム生成部１１２は、Layer[0], Layer[1], …, Layer[L-1]の順伝播及び逆伝播を呼び出すコードを生成する（ステップＳ３）。そして、プログラムの生成処理は終了する。

【0111】

次に、図１３に示したホストマシン１における順伝播及び逆伝播のプログラムの生成処理（図１９のステップＳ２）の詳細を、図２０に示すフローチャートを用いて説明する。

【0112】

プログラム生成部１１２は、生成するプログラムの種類がＲｅＬＵであるかを判定する（ステップＳ１１）。

【0113】

生成するプログラムの種類がＲｅＬＵである場合には（ステップＳ１１のＹｅｓルート参照）、プログラム生成部１１２は、ゼロ生成処理変形部１１１からの出力に基づき、変形ＲｅＬＵの処理を実行するプログラムを生成する（ステップＳ１２）。そして、順伝播及び逆伝播のプログラムの生成処理は終了する。なお、ゼロ生成処理変形部１１１からの出力は、図２１～図２４のいずれかのフローチャートを用いて後述する処理によって実現されてよい。

【0114】

一方、生成するプログラムの種類がＲｅＬＵでない場合には（ステップＳ１１のＮｏルート参照）、プログラム生成部１１２は、通常の処理によってプログラムを生成する（ステップＳ１３）。そして、順伝播及び逆伝播のプログラムの生成処理は終了する。

【0115】

次に、図１３に示したホストマシン１における第２のＲｅＬＵ演算の順伝播処理（図２０のステップＳ１２）の詳細を、図２１に示すフローチャートを用いて説明する。

【0116】

ゼロ生成処理変形部１１１は、入力値ｘを一時領域に格納する（ステップＳ２１）。

【0117】

ゼロ生成処理変形部１１１は、入力値ｘが正数であるかを判定する（ステップＳ２２）。

【0118】

入力値ｘが正数である場合には（ステップＳ２２のＹｅｓルート参照）、ゼロ生成処理変形部１１１の第１出力部１１１１は、入力値ｘを出力値ｚとする（ステップＳ２３）。そして、処理はステップＳ２５へ進む。

【0119】

一方、入力値ｘが正数でない場合には（ステップＳ２２のＮｏルート参照）、ゼロ生成処理変形部１１１の第２出力部１１１２は、入力値ｘεを出力値ｚとする（ステップＳ２４）。

【0120】

ゼロ生成処理変形部１１１は、出力値ｚを出力する（ステップＳ２５）。そして、第２のＲｅＬＵ演算の順伝播処理は終了する。

【0121】

次に、図１３に示したホストマシン１における第２のＲｅＬＵ演算の逆伝播処理（図２０のステップＳ１２）の詳細を、図２２に示すフローチャートを用いて説明する。

【0122】

ゼロ生成処理変形部１１１は、順伝播の際の入力値ｘを一時領域から読み込む（ステップＳ３１）。

【0123】

ゼロ生成処理変形部１１１は、入力値ｘが正数であるかを判定する（ステップＳ３２）。

【0124】

入力値ｘが正数である場合には（ステップＳ３２のＹｅｓルート参照）、ゼロ生成処理変形部１１１の第１出力部１１１１は、１を微分係数Ｄとする（ステップＳ３３）。そして、処理はステップＳ３５へ進む。

【0125】

一方、入力値ｘが正数でない場合には（ステップＳ３２のＮｏルート参照）、ゼロ生成処理変形部１１１の第２出力部１１１２は、εを微分係数Ｄとする（ステップＳ３４）。

【0126】

ゼロ生成処理変形部１１１は、微分係数Ｄと入力値ｄｚとの積を出力する（ステップＳ３５）。そして、第２のＲｅＬＵ演算の逆伝播処理は終了する。

【0127】

次に、図１３に示したホストマシン１における第３のＲｅＬＵ演算の順伝播処理（図２０のステップＳ１２）の詳細を、図２３に示すフローチャートを用いて説明する。

【0128】

ゼロ生成処理変形部１１１は、入力値ｘを一時領域に格納する（ステップＳ４１）。

【0129】

ゼロ生成処理変形部１１１は、入力値ｘが正数であるかを判定する（ステップＳ４２）。

【0130】

入力値ｘが正数である場合には（ステップＳ４２のＹｅｓルート参照）、ゼロ生成処理変形部１１１の第１出力部１１１１は、入力値ｘを出力値ｚとする（ステップＳ４３）。そして、処理はステップＳ５０へ進む。

【0131】

入力値ｘが正数でない場合には（ステップＳ４２のＮｏルート参照）、ゼロ生成処理変形部１１１の第２出力部１１１２は、０，１，２，３の範囲で乱数ｒ_１を生成する（ステップＳ４４）。

【0132】

第２出力部１１１２は、乱数ｒ_１が０であるかを判定する（ステップＳ４５）。

【0133】

乱数ｒ_１が０である場合には（ステップＳ４５のＹｅｓルート参照）、第２出力部１１１２は、εを出力値ｚとする（ステップＳ４６）。そして、処理はステップＳ５０へ進む。

【0134】

一方、乱数ｒ_１が０でない場合には（ステップＳ４５のＮｏルート参照）、第２出力部１１１２は、乱数ｒ_１が１であるかを判定する（ステップＳ４７）。

【0135】

乱数ｒ_１が１である場合には（ステップＳ４７のＹｅｓルート参照）、第２出力部１１１２は、－εを出力値ｚとする（ステップＳ４８）。そして、処理はステップＳ５０へ進む。

【0136】

一方、乱数ｒ_１が１でない場合には（ステップＳ４７のＮｏルート参照）、第２出力部１１１２は、０を出力値ｚとする（ステップＳ４９）。

【0137】

ゼロ生成処理変形部１１１は、出力値ｚを出力する（ステップＳ５０）。そして、第３のＲｅＬＵ演算の順伝播処理は終了する。

【0138】

次に、図１３に示したホストマシン１における第３のＲｅＬＵ演算の逆伝播処理（図２０のステップＳ１２）の詳細を、図２４に示すフローチャートを用いて説明する。

【0139】

ゼロ生成処理変形部１１１は、順伝播の際の入力値ｘを一時領域から読み込む（ステップＳ５１）。

【0140】

ゼロ生成処理変形部１１１は、入力値ｘが正数であるかを判定する（ステップＳ５２）。

【0141】

入力値ｘが正数である場合には（ステップＳ５２のＹｅｓルート参照）、ゼロ生成処理変形部１１１の第１出力部１１１１は、１を微分係数Ｄとする（ステップＳ５３）。そして、処理はステップＳ６０へ進む。

【0142】

入力値ｘが正数でない場合には（ステップＳ５２のＮｏルート参照）、ゼロ生成処理変形部１１１の第２出力部１１１２は、０，１，２，３の範囲で乱数ｒ_２を生成する（ステップＳ５４）。

【0143】

第２出力部１１１２は、乱数ｒ_２が０であるかを判定する（ステップＳ５５）。

【0144】

乱数ｒ_２が０である場合には（ステップＳ５５のＹｅｓルート参照）、第２出力部１１１２は、εを微分係数Ｄとする（ステップＳ５６）。そして、処理はステップＳ６０へ進む。

【0145】

一方、乱数ｒ_２が０でない場合には（ステップＳ５５のＮｏルート参照）、第２出力部１１１２は、乱数ｒ_２が１であるかを判定する（ステップＳ５７）。

【0146】

乱数ｒ_２が１である場合には（ステップＳ５７のＹｅｓルート参照）、第２出力部１１１２は、－εを微分係数Ｄとする（ステップＳ５８）。そして、処理はステップＳ６０へ進む。

【0147】

一方、乱数ｒ_２が１でない場合には（ステップＳ５７のＮｏルート参照）、第２出力部１１１２は、０を微分係数Ｄとする（ステップＳ５９）。

【0148】

ゼロ生成処理変形部１１１は、微分係数Ｄと入力値ｄｚとの積を出力する（ステップＳ６０）。そして、第３のＲｅＬＵ演算の逆伝播処理は終了する。

【0149】

〔Ｂ－３〕効果
上述した実施形態の一例におけるホストマシン１によれば、例えば、以下の作用効果を奏することができる。

【0150】

第１出力部１１１１は、入力値を境界値と比較し、境界値を超過した入力値に対して入力値と等しい値を出力する。第２出力部１１１２は、境界値以下である入力値に対して一定の出力値を出力するＲｅＬＵ演算において、境界値以下の入力値に対して０よりも大きい微小値εの倍数を出力する。

【0151】

これにより、消費電力を増加させずにプロセッサ１１の電圧降下を防止することができる。具体的には、学習の品質を変えることなく、ゼロ値の生成を抑止し、電力の変動を防ぐことができる。また、ＲｅＬＵ演算及びその後の計算で電力が増加するものの、他の計算では基準電圧が低下するため、低電力でＤＬを実行できる。すなわち、電力変動を抑えて、高めの電圧設定を不要にできる。

【0152】

第２出力部１１１２は、入力値と微小値εとの積を出力値として出力する。

【0153】

これにより、ゼロ値の出力の可能性を低減できる。

【0154】

第２出力部１１１２は、入力値を乗数とすると共に微小値εを被乗数として乗算器１０００に入力することにより、出力値を出力する。

【0155】

これにより、乗算器１０００における電力低減を防止できる。

【0156】

第２出力部１１１２は、微小値εについて、－εと０と＋εとのうちいずれかの値を出力値として出力する。

【0157】

これにより、ＲｅＬＵ演算の出力値を限定できるため、ＤＬ実行プログラムの生成を効率的に実施できる。

【0158】

〔Ｃ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

【0159】

〔Ｄ〕付記
以上の実施形態に関し、さらに以下の付記を開示する。

【0160】

（付記１）
入力値を境界値と比較し、前記境界値を超過した前記入力値に対して前記入力値と等しい値を出力する第１出力部と、
前記境界値以下である前記入力値に対して一定の出力値を出力する正規化線形関数の演算において、前記境界値以下の前記入力値に対して０よりも大きい微小値εの倍数を出力する第２出力部と、
を備える、演算処理装置。

【0161】

（付記２）
前記第２出力部は、前記入力値と前記微小値εとの積を前記出力値として出力する、
付記１に記載の演算処理装置。

【0162】

（付記３）
前記第２出力部は、前記入力値を乗数とすると共に前記微小値εを被乗数として乗算器に入力することにより、前記出力値を出力する、
付記１又は２に記載の演算処理装置。

【0163】

（付記４）
前記第２出力部は、前記微小値εについて、－εと０と＋εとのうちいずれかの値を前記出力値として出力する、
付記１に記載の演算処理装置。

【0164】

（付記５）
コンピュータに、
入力値を境界値と比較し、前記境界値を超過した前記入力値に対して前記入力値と等しい値を出力し、
前記境界値以下である前記入力値に対して一定の出力値を出力する正規化線形関数の演算において、前記境界値以下の前記入力値に対して０よりも大きい微小値εの倍数を出力する、
処理を実行させる、プログラム。

【0165】

（付記６）
前記入力値と前記微小値εとの積を前記出力値として出力する、
処理を前記コンピュータに実行させる、付記５に記載のプログラム。

【0166】

（付記７）
前記入力値を乗数とすると共に前記微小値εを被乗数として乗算器に入力することにより、前記出力値として出力する、
処理を前記コンピュータに実行させる、付記５又は６に記載のプログラム。

【0167】

（付記８）
前記微小値εについて、－εと０と＋εとのうちいずれかの値を前記出力値として出力する、
処理を前記コンピュータに実行させる、付記５に記載のプログラム。

【0168】

（付記９）
入力値を境界値と比較し、前記境界値を超過した前記入力値に対して前記入力値と等しい値を出力し、
前記境界値以下である前記入力値に対して一定の出力値を出力する正規化線形関数の演算において、前記境界値以下の前記入力値に対して０よりも大きい微小値εの倍数を出力する、
演算処理装置の制御方法。

【0169】

（付記１０）
前記入力値と前記微小値εとの積を前記出力値として出力する、
付記９に記載の演算処理装置の制御方法。

【0170】

（付記１１）
前記入力値を乗数とすると共に前記微小値εを被乗数として乗算器に入力することにより、前記出力値として出力する、
付記９又は１０に記載の演算処理装置の制御方法。

【0171】

（付記１２）
前記微小値εについて、－εと０と＋εとのうちいずれかの値を前記出力値として出力する、
付記９に記載の演算処理装置の制御方法。

【符号の説明】

【0172】

１００ ：演算処理システム
１０００ ：乗算器
１０１ ：乗数
１０２ ：被乗数
１０３ ：セレクタ
１０４ ：加算器
１０５ ：出力
１０６ ：ニューラルネットワーク記述データ
１０７ ：プログラム生成パラメータ
１０８ ：ニューラルネットワーク実行プログラム
１１０ ：プログラム
１ ：ホストマシン
１１ ：プロセッサ
１１１ ：ゼロ生成処理変形部
１１２ ：プログラム生成部
１１１１ ：第１出力部
１１１２ ：第２出力部
１２ ：ＲＡＭ
１３ ：ＨＤＤ
１４ ：内部バス
１５，２５：高速入出力インターフェース
１６ ：低速入出力インターフェース
２ ：ＤＬ実行ハードウェア
２１ ：ＤＬ実行プロセッサ
２２ ：制御部
２３ ：メモリアクセスコントローラ
２４ ：内部ＲＡＭ
３ ：利用者
６１ ：細胞体
６２ ：シナプス
６３ ：樹状突起
６４ ：軸索

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】