特許7682255 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧

特許7682255ニューラル・ネットワークのオンライン・トレーニング

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4a
4b
5
6
7
8
9
10
11

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-15

(45)【発行日】2025-05-23

(54)【発明の名称】ニューラル・ネットワークのオンライン・トレーニング

(51)【国際特許分類】

G06N 3/084 20230101AFI20250516BHJP

G06N 3/09 20230101ALI20250516BHJP

【ＦＩ】

G06N3/084

G06N3/09

【請求項の数】 14

(21)【出願番号】P 2023502937

(86)(22)【出願日】2021-07-06

(65)【公表番号】

(43)【公表日】2023-08-21

(86)【国際出願番号】 IB2021056026

(87)【国際公開番号】W WO2022018548

(87)【国際公開日】2022-01-27

【審査請求日】2023-12-12

(31)【優先権主張番号】63/054,247

(32)【優先日】2020-07-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬＢＵＳＩＮＥＳＳＭＡＣＨＩＮＥＳＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】ＮｅｗＯｒｃｈａｒｄＲｏａｄ，Ａｒｍｏｎｋ，ＮｅｗＹｏｒｋ１０５０４，ＵｎｉｔｅｄＳｔａｔｅｓｏｆＡｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡忠彦

(72)【発明者】

【氏名】ボーンシュティングル、トーマス

(72)【発明者】

【氏名】ウォズニアック、スタニスラフ

(72)【発明者】

【氏名】パンタツ、アンゲリキ

(72)【発明者】

【氏名】エレフセリウー、エヴァンゲロス、スタブロス

【審査官】渡辺順哉

(56)【参考文献】

【文献】国際公開第２０２０／１２９２０４（ＷＯ，Ａ１）

【文献】BELLEC, Guillaume ほか，Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets，arXiv[online]，2019年02月21日，pp.1-29，[retrieved on 2024.12.19], Retrieved from the Internet: <URL: https://arxiv.org/pdf/1901.09049>

【文献】WU, Yujie ほか，Spatio-Temporal Backpropagation for Training High-performance Spiking Neural Networks，arXiv[online]，2017年09月12日，pp.1-10，[retrieved on 2024.12.19], Retrieved from the Internet: <URL: https://arxiv.org/pdf/1706.02609>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

ニューラル・ネットワークを訓練するためのコンピュータ実装方法であって、前記ニューラル・ネットワークがニューロン・ユニットの１つのレイヤを備え、各ニューロン・ユニットが内部状態（ユニット状態）を有し、前記方法が、
入力信号および予想出力信号を含むトレーニング・データを前記ニューラル・ネットワークに提供することと、
前記各ニューロン・ユニットごとに、空間勾配成分を計算することと、
前記各ニューロン・ユニットごとに、時間勾配成分を計算することと、
前記入力信号の各時間インスタンスにおいて前記各ニューロン・ユニットごとに前記時間勾配成分および前記空間勾配成分を更新することと、
前記空間勾配成分および前記時間勾配成分の関数として、前記ニューラル・ネットワークのトレーニング・パラメータの既定のセットを更新することと
を含み、
前記空間勾配成分を計算することが、

【数1】

を計算することを含み、
前記時間勾配成分を計算することが、

【数2】

を計算することを含み、
ここで、
ｔが前記各時間インスタンスを表記し、
ｙ ^ｔが時間インスタンスｔにおける現在の出力信号を表記し、
Ｌ ^ｔが前記時間インスタンスｔにおける前記空間勾配成分を表記し、
Ｅ ^ｔが前記ニューラル・ネットワークの誤差、特に、前記時間インスタンスｔにおける前記予想出力信号と前記現在の出力信号との間の前記誤差を表記する、
ｓ ^ｔが前記時間インスタンスｔにおける前記ユニット状態を表記し、
θが前記ニューラル・ネットワークの前記トレーニング・パラメータを表記し、
ｅ ^{t, θ} が、前記時間インスタンスｔにおける前記時間勾配成分を表記する、
コンピュータ実装方法。

【請求項2】

ニューラル・ネットワークを訓練するためのコンピュータ実装方法であって、前記ニューラル・ネットワークがニューロン・ユニットの複数のレイヤを備え、各ニューロン・ユニットが内部状態（ユニット状態）を有し、前記方法が、
入力信号および予想出力信号を含むトレーニング・データを前記ニューラル・ネットワークに提供することと、
前記各ニューロン・ユニットごとに、空間勾配成分を計算することと、
前記各ニューロン・ユニットごとに、時間勾配成分を計算することと、
前記入力信号の各時間インスタンスにおいて前記各ニューロン・ユニットごとに前記時間勾配成分および前記空間勾配成分を更新することと、
前記空間勾配成分および前記時間勾配成分の関数として、前記ニューラル・ネットワークのトレーニング・パラメータの既定のセットを更新することと
を含み、
前記空間勾配成分を計算することが、

【数3】

を計算することを含み、
前記時間勾配成分を計算することが、

【数4】

を計算することを含み、
ここで
ｔが前記各時間インスタンスを表記し、
ｌが前記複数のレイヤの各レイヤを表記し、
Ｌ _ｌ ^ｔが時間インスタンスｔにおけるレイヤｌの前記空間勾配成分を表記し、
ｙ _ｌ ^ｔが時間インスタンスｔにおけるレイヤｌの現在の出力信号を表記し、
Ｅ ^ｔが前記ニューラル・ネットワークの誤差、特に、前記時間インスタンスｔにおける前記予想出力信号と前記現在の出力信号との間の前記誤差を表記し、
ｓ _ｌ ^ｔが前記時間インスタンスｔにおけるレイヤｌの前記ユニット状態を表記し、
ｋが前記ニューラル・ネットワークの最後のレイヤまたは出力レイヤを表記し、
ｍ’が１から（ｋ－ｌ＋１）まで及ぶ前記ニューラル・ネットワークの中間レイヤを表記し、
θが前記ニューラル・ネットワークの前記トレーニング・パラメータを表記し、
ｅ _ｌ ^{t, θ} が、前記時間インスタンスｔにおけるレイヤｌの前記時間勾配成分を表記する、
コンピュータ実装方法。

【請求項3】

前記方法が、
前記各時間インスタンスにおいて、前記複数のレイヤの各々に対して前記空間勾配成分を計算することと、
前記各時間インスタンスにおいて、前記複数のレイヤの各々に対して前記時間勾配成分を計算することと
を含む、請求項２に記載のコンピュータ実装方法。

【請求項4】

前記空間勾配成分および前記時間勾配成分の関数として、前記ニューラル・ネットワークのトレーニング・パラメータの既定のセットを更新することをさらに含み、前記トレーニング・パラメータを更新することが、

【数5】

を計算することを含み、Ｒが剰余項である、
請求項２に記載のコンピュータ実装方法。

【請求項5】

前記剰余項Ｒが、適格度トレースと学習信号の組合せを用いて近似される、請求項４に記載のコンピュータ実装方法。

【請求項6】

前記空間勾配成分および前記時間勾配成分の前記計算が互いに独立して実行される、請求項１または２に記載のコンピュータ実装方法。

【請求項7】

前記ニューラル・ネットワークのトレーニング・パラメータの既定のセットを更新することは、前記空間勾配成分および前記時間勾配成分の関数として、特定または既定の時間インスタンスにおいて前記ニューラル・ネットワークの前記トレーニング・パラメータの前記既定のセットを更新することを含む、請求項１または２に記載のコンピュータ実装方法。

【請求項8】

前記ニューラル・ネットワークのトレーニング・パラメータの既定のセットを更新することは、前記空間勾配成分および前記時間勾配成分の関数として、前記各時間インスタンスにおいて前記ニューラル・ネットワークのトレーニング・パラメータの前記既定のセットを更新することを含む、請求項１または２に記載のコンピュータ実装方法。

【請求項9】

前記空間勾配成分が、前記ニューラル・ネットワークの接続性パラメータに基づき、
前記時間勾配成分が、前記ニューロン・ユニットの時間的ダイナミクスに関するパラメータに基づく、
請求項１または２に記載のコンピュータ実装方法。

【請求項10】

【数6】

を計算することを含み、αが学習率である、
請求項１または２に記載のコンピュータ実装方法。

【請求項11】

前記ニューラル・ネットワークが、再帰型ニューラル・ネットワーク、ハイブリッド・ネットワーク、スパイキング・ニューラル・ネットワーク、および汎用再帰型ネットワークからなるグループから選択され、前記汎用再帰型ネットワークが、特に、長短期メモリ・ユニットおよびゲート再帰ユニットを備えるか、またはそれらから構成される、請求項１または２に記載のコンピュータ実装方法。

【請求項12】

ニューラル・ネットワークを訓練するためのコンピュータ実装方法であって、前記ニューラル・ネットワークがニューロン・ユニットの１つまたは複数のレイヤを備え、各ニューロン・ユニットが内部状態（ユニット状態）を有し、前記方法が、
入力信号および予想出力信号を含むトレーニング・データを前記ニューラル・ネットワークに提供することと、
前記各ニューロン・ユニットごとに、空間勾配成分を計算することと、
前記各ニューロン・ユニットごとに、時間勾配成分を計算することと、
前記入力信号の各時間インスタンスにおいて前記各ニューロン・ユニットごとに前記時間勾配成分および前記空間勾配成分を更新することと、
前記空間勾配成分および前記時間勾配成分の関数として、前記ニューラル・ネットワークのトレーニング・パラメータの既定のセットを更新することを含み、
前記ニューラル・ネットワークが前記ニューロン・ユニットの複数のレイヤを備え、
前記空間勾配成分を計算することが、

【数7】

を計算することを含み、
ｔが前記各時間インスタンスを表記し、
ｌが前記複数のレイヤの各レイヤを表記し、
Ｌ _ｌ ^ｔが時間インスタンスｔにおけるレイヤｌの前記空間勾配成分を表記し、
ｙ _ｋ ^ｔがレイヤｋの現在の出力信号を表記し、
Ｅ ^ｔがニューラル・ネットワークの誤差、特に、前記時間インスタンスｔにおける前記予想出力信号と前記現在の出力信号との間の前記誤差を表記し、
ｓ _ｋ ^ｔがレイヤｋの前記ユニット状態を表記し、
ｋが前記ニューラル・ネットワークの最後のレイヤまたは出力レイヤを表記し、
ｍ’が１から（ｋ－ｌ＋１）まで及ぶ前記ニューラル・ネットワークの中間レイヤを表記し、
前記時間勾配成分を計算することが、

【数8】

を計算することを含み、
ｔが前記各時間インスタンスを表記し、
ｌが前記複数のレイヤの各レイヤを表記し、
ｙ^ｔが前記時間インスタンスｔにおける現在の出力信号を表記し、
ｓ^ｔが時間インスタンスｔにおける現在の前記ユニット状態を表記し、
θが前記ニューラル・ネットワークの前記トレーニング・パラメータを表記し、

【数9】

である、コンピュータ実装方法。

【請求項13】

再帰型ニューラル・ネットワークを訓練するためのコンピュータ・プログラムであって、コンピュータによって、請求項１ないし１２のいずれかに記載の方法を実行させるためのコンピュータ・プログラム。

【請求項14】

ニューラル・ネットワークのパラメータを訓練するためのコンピューティング・システムであって、
前記ニューラル・ネットワークがニューロン・ユニットの１つまたは複数のレイヤを備え、各ニューロン・ユニットが内部状態を有し、
前記コンピューティング・システムは、１つまたは複数のコンピュータ・プロセッサと、システム・メモリとを含み、
前記システム・メモリは、請求項８に記載のコンピュータ・プログラムを格納し、
前記１つまたは複数のコンピュータ・プロセッサによって、前記方法の各手順が実行される
ように構成された、コンピューティング・システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年７月２１日に出願され、その全体がすべての目的で参照により本明細書に組み込まれる、米国仮出願第６３／０５４２４７号「ONLINE TRAINING OF RECURRENT NEURAL NETWORKS」の非仮出願である。

【0002】

本発明は、とりわけ、ニューラル・ネットワーク、特に、再帰型ニューラル・ネットワークを訓練するためのコンピュータ実装方法を対象とする。

【0003】

本発明はさらに、関連するニューラル・ネットワークおよび関連するコンピュータ・プログラム製品に関する。

【背景技術】

【0004】

ここ数年の間に、人工ニューラル・ネットワーク（ＡＮＮ）を利用するアプリケーションの数が急速に増えている。特に、音声認識、言語翻訳、またはニューラル・コンピュータの構築などのタスクでは、再帰的に接続されたＡＮＮ、いわゆるＲＮＮは、驚異的な性能レベルを実証している。

【0005】

再帰型ニューラルネットワーク（ＲＮＮ）は、近年の人工知能の進歩において重要な役割を果たしている。ＲＮＮを訓練するための１つの知られている手法は、時間の経過に伴う誤差の逆伝搬（ＢＰＴＴ）を利用する勾配ベースのトレーニングである。

【0006】

しかしながら、ＢＰＴＴは、時間的にネットワークを展開することによってすべての過去の活動を記録する必要があり、それは入力シーケンス長の増加に伴って非常に深くなり得るので、制限を有する。たとえば、時間ステップが１ｍｓである２秒の長さの話された入力シーケンスは、２０００レイヤの深さの展開ネットワークをもたらす。

【0007】

したがって、時間的に後方に誤差を伝搬することは、システム・ロック問題をもたらし、ＢＰＴＴをオンライン学習シナリオに使用できないものにする可能性がある。オンライン・トレーニングを可能にする変形形態が、最近研究コミュニティの関心を取り戻している。１つの知られている手法は、オンライン・アルゴリズムを介してＢＰＴＴを近似することに焦点を当てる。別の手法は、生態学からインスピレーションを得て、スパイキング・ニューラル・ネットワーク（ＳＮＮ）を調査する。

【0008】

したがって、ニューラル・ネットワークのトレーニング、特にオンライン・トレーニング向けの有利な方法に対する必要性が残っている。

【発明の概要】

【0009】

一態様によれば、本発明は、ニューラル・ネットワークを訓練するためのコンピュータ実装方法として具現化される。ネットワークは、ニューロン・ユニットの１つまたは複数のレイヤを備える。各ニューロン・ユニットは内部状態を有し、それはユニット状態と表記される場合もある。方法は、入力信号および予想出力信号を含むトレーニング・データをニューラル・ネットワークに提供することを含む。方法は、ニューロン・ユニットごとに空間勾配成分を計算することと、ニューロン・ユニットごとに時間勾配成分を計算することとをさらに含む。方法は、入力信号の各時間インスタンスにおいて、ニューロン・ユニットごとに時間勾配成分および空間勾配成分を更新することをさらに含む。

【0010】

したがって、本発明の実施形態による方法は、空間勾配成分および時間勾配成分の分離に基づく。これは、フィードバック機構のより深い理解を容易にすることができる。さらに、それは、メモリスタ・アレイなどのハードウェア・アクセラレータ上の効率的な実装を容易にすることができる。本発明の実施形態による方法は、特に、オンライン・トレーニングに使用されてもよい。本発明の実施形態による方法は、特に、ニューラル・ネットワークのトレーニング・パラメータを訓練するために使用されてもよい。

【0011】

本発明の実施形態による方法は、時間データを入力信号として処理する。時間データは、時間内の状態または値を表すデータとして、または言い換えれば、時間インスタンスに関係するデータとして定義される場合がある。入力信号は、詳細には、連続する入力データ・ストリームであり得る。入力信号は、時間インスタンスにおいて、または言い換えれば、時間ステップにおいてニューラル・ネットワークによって処理される。

【0012】

一実施形態によれば、空間勾配成分および時間勾配成分の計算は、互いに独立して実行される。これは、これらの勾配成分が計算時間を短縮するように並行して計算され得るという利点を有する。

【0013】

実施形態によれば、空間勾配成分は学習信号を確立し、時間勾配成分は適格度トレースを確立する。

【0014】

本発明の実施形態による方法は、特に、モノのインターネット（ＩｏＴ）デバイスならびにエッジ人工知能（ＡＩ）デバイスなどの低複雑度デバイスに使用されてもよい。

【0015】

実施形態によれば、方法は、特定または既定の時間インスタンスにおいて、特に各時間インスタンスにおいてニューラル・ネットワークのトレーニング・パラメータを更新することを含む。更新は、詳細には、空間勾配成分および時間勾配成分の関数として実行されてもよい。

【0016】

実施形態に従って訓練される場合があるトレーニング・パラメータは、詳細には、ニューロン・ユニットの入力重みまたは再帰重みあるいはその両方を包含する。各時間インスタンスにおいてトレーニング・パラメータを更新することにより、ニューロン・ユニットは、各時間インスタンスにおいて、または言い換えれば書く時間ステップにおいて学習する。

【0017】

実施形態によれば、空間勾配成分は、ニューラル・ネットワークの接続性パラメータ、たとえば、個々のニューロン・ユニットの接続性に基づく。実施形態によれば、接続性パラメータは、特に、ニューラル・ネットワークのアーキテクチャのパラメータを記述する。実施形態によれば、接続性パラメータは、個々のニューロン・ユニット間の情報交換を可能にする伝送ラインの数またはセットとして定義されてもよい。実施形態によれば、空間勾配成分は、ニューラル・ネットワークの空間的様相、特に、各時間インスタンスにおける個々のニューロン・ユニット間の相互依存性を考慮に入れる成分である。

【0018】

実施形態によれば、時間勾配成分は、ニューロン・ユニットの時間的ダイナミクスに基づく。実施形態によれば、時間勾配成分は、ニューロン・ユニットの時間的ダイナミクス、特に、内部状態／ユニット状態の時間的進化を考慮に入れる成分である。

【0019】

実施形態によれば、方法は、各時間インスタンスにおいて、１つまたは複数のレイヤの各々について空間勾配成分を計算することと、各時間インスタンスにおいて、１つまたは複数のレイヤの各々について時間勾配成分を計算することとを含む。したがって、各時間インスタンス／時間ステップにおいて、方法は、レイヤごとに時間勾配成分および空間勾配成分を計算する。空間勾配成分／学習信号は、レイヤごとに特有であってもよく、時間的に戻ることなく最後のレイヤから入力レイヤまで伝搬する、すなわち、それは、ネットワーク・アーキテクチャを通る空間勾配を表す。

【0020】

実施形態によれば、各レイヤは、それ自体の時間勾配成分／適格度トレースを計算することができ、それらはそれぞれのレイヤの寄与のみに依存する、すなわち、それは同じレイヤについての時間を通る時間勾配を表す。実施形態によれば、空間勾配成分は、２つ以上のレイヤに対して共有されてもよい。

【0021】

実施形態によれば、方法は、シングル・レイヤ・ネットワークならびにマルチ・レイヤ・ネットワークに使用されてもよい。

【0022】

実施形態によれば、方法は、ユニット状態を有するユニットおよびユニット状態をもたないユニットを備えるか、またはそれらから構成される、再帰型ニューラル・ネットワーク、スパイキング・ニューラル・ネットワーク、およびハイブリッド・ネットワークに適用されてもよい。

【0023】

実施形態によれば、方法および方法の一部は、ニューロモルフィック・ハードウェア、特に、メモリスタ・デバイスのアレイに実装されてもよい。

【0024】

浅いネットワークの場合、本発明の実施形態による方法は、時間の経過に伴う逆伝搬（ＢＰＴＴ）技術として等しい勾配を維持することができる。

【0025】

本発明の別の態様の一実施形態によれば、ニューラル・ネットワーク、特に、再帰型ニューラル・ネットワークが提供される。ニューラル・ネットワークは、ニューロン・ユニットの１つまたは複数のレイヤを備える。各ニューロン・ユニットは内部状態を有し、それはユニット状態と表記される場合もある。ニューラル・ネットワークは、入力信号および予想出力信号を含むトレーニング・データをニューラル・ネットワークに提供することを含む方法を実行するように構成される。方法は、ニューロン・ユニットごとに空間勾配成分を計算することと、ニューロン・ユニットごとに時間勾配成分を計算することとをさらに含む。方法は、入力信号の各時間インスタンスにおいて、ニューロン・ユニットごとに時間勾配成分および空間勾配成分を更新することをさらに含む。空間勾配成分および時間勾配成分の計算は、互いに独立して実行されてもよい。

【0026】

実施形態によれば、ニューラル・ネットワークは、再帰型ニューラル・ネットワーク、スパイキング・ニューラル・ネットワーク、またはハイブリッド・ニューラル・ネットワークであり得る。

【0027】

本発明の別の態様の一実施形態によれば、ニューラル・ネットワークを訓練するためのコンピュータ・プログラム製品が提供される。コンピュータ・プログラム製品は、それとともに具現化されたプログラム命令を有するコンピュータ可読記憶媒体を備え、プログラム命令は、入力信号および予想出力信号を含むトレーニング・データを受信するステップを含む方法をニューラル・ネットワークに実行させるように、ニューラル・ネットワークによって実行可能である。方法は、ニューロン・ユニットごとに空間勾配成分を計算し、ニューロン・ユニットごとに時間勾配成分を計算するさらなるステップを含む。さらなるステップは、入力信号の各時間インスタンスにおいてニューロン・ユニットごとに時間勾配成分および空間勾配成分を更新することを含む。実施形態によれば、空間勾配成分および時間勾配成分の計算は、互いに独立して実行されてもよい。

【0028】

本発明の実施形態は、添付図面を参照して、例示的かつ非限定的な例として、以下により詳細に記載される。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態による、ニューラル・ネットワークを訓練するためのコンピュータ実装方法の勾配フローを示す図である。

【図2】本発明の一実施形態による、ニューラル・ネットワークを訓練するためのコンピュータ実装方法の勾配フローを示す図である。

【図3】スパイキング・ニューラル・ネットワークのスパイキング・ニューロン・ユニットを示す図である。

【図4a】時間の経過に伴う逆伝搬（ＢＰＴＴ）技術と比較して、本発明の実施形態による方法のテスト結果を示す図である。

【図4b】時間の経過に伴う逆伝搬（ＢＰＴＴ）技術と比較して、本発明の実施形態による方法のさらなるテスト結果を示す図である。

【図5】手書き数字分類に関する別のタスクのテスト結果を示す図である。

【図6】本発明の実施形態による方法がニューロモルフィック・ハードウェアにどのように実装され得るかを示す図である。

【図7】本発明の一実施形態による、ニューラル・ネットワークの簡略化された概略図である。

【図8】再帰型ニューラル・ネットワークのパラメータを訓練するためのコンピュータ実装方法の方法ステップのフローチャートである。

【図9】本発明の実施形態による方法を実行するためのコンピューティング・システムの例示的な実施形態を示す図である。

【図10】深層ニューラル・ネットワーク向けの本発明の実施形態による方法の例示的な詳細微分を示す図である。

【図11】深層ニューラル・ネットワーク向けの本発明の実施形態による方法の例示的な詳細微分を示す図である。

【発明を実施するための形態】

【0030】

本発明の実施形態は、ニューラル・ネットワーク、特に再帰型ニューラル・ネットワーク（ＲＮＮ）のトレーニング、特にオンライン・トレーニングのための方法を提供する。方法は、ＯＳＴＬとも表記される以下の通りであり得る。本発明の実施形態による方法は、空間勾配と時間勾配を分離することにより、オンライン学習アプリケーションに使用することができる有利なアルゴリズムを提供する。

【0031】

図１は、本発明の一実施形態による、ニューラル・ネットワーク１００を訓練するためのコンピュータ実装方法の勾配フローを示す。図１の場合、ニューラル・ネットワーク１００は、ニューロン・ユニット１１１を備える単一のレイヤ１１０を有する再帰型ニューラル・ネットワーク（ＲＮＮ）であることが想定される。ニューラル・ネットワークは、３つの時間ステップｔに対して展開される。

【0032】

各ニューロン・ユニット１１１は内部状態Ｓ、１２０を有する。方法は、入力信号ｘ^ｔ、１３１および予想出力信号１３２を含むトレーニング・データをニューラル・ネットワークに提供することを含む。次いで、方法は、ニューロン・ユニット１１１ごとに、空間勾配成分Ｌ^ｔ、１４１および時間勾配成分ｅ^ｔ、１４２を計算する。さらに、入力信号１３１の各時間インスタンスｔにおいて、時間勾配成分１４２および空間勾配成分１４１は、ニューロン・ユニット１１１ごとに更新される。

【0033】

学習／トレーニングの目的は、ニューラル・ネットワークのパラメータθを、それが時間ｔにおける現在の出力信号ｙ^ｔと入力信号ｘ^ｔとの間の誤差Ｅ^ｔを最小化するように訓練することである。

【0034】

ＲＮＮでは、時間ｔにおけるネットワーク誤差Ｅ^ｔは、しばしば、出力レイヤ内のニューロン・ユニットの出力ｙ^ｔの関数であり、すなわち、Ｅ^ｔ＝ｆ（ｙ^ｔ）である。加えて、ＲＮＮ内の多くのニューロン・ユニットは、出力が依存する内部状態ｓ^ｔを含む場合があり、すなわち、ｙ^ｔ＝ｆ（ｓ^ｔ）である。ニューロン・ユニットのこの内部状態は、加えて、それぞれ、訓練可能な入力重みＷおよび訓練可能な再帰重みＨを介して、その入力信号ｘ^ｔに依存し、その出力信号に再帰的に依存するそれ自体の再帰関数であり得る。

【0035】

実施形態によれば、内部状態を支配する式は、ｓ^ｔ＝ｆ（ｘ^ｔ，ｓ^ｔ－１，ｙ^ｔ－１，Ｗ，Ｈ）、たとえば、ｓ^ｔ＝Ｗｘ^ｔ＋Ｈｙ^ｔ－１として定式化することができる。
表記を簡単にするために、ＲＮＮ１００のすべての訓練可能なパラメータは、変数θによって以下のように一括して記述されてもよい。これにより、上記の式はｓ^ｔ＝ｆ（ｘ^ｔ，ｓ^ｔ－１，ｙ^ｔ－１，θ）に簡略化される。

【0036】

その上、出力ｙ^ｔの表記は、訓練可能なパラメータに対する直接依存を可能にするために実施形態に従って拡張されてもよい、すなわち、ｙ^ｔ＝ｆ（ｓ^ｔ，θ）、たとえば、ｙ^ｔ＝σ（ｓ^ｔ＋ｂ）である。

【0037】

この表記を使用して、Ｅを最小化するために必要なパラメータθの変化は、勾配降下の原理に基づいて、

【数1】

のように計算されてもよい。

【0038】

これから、本発明の実施形態は、微分用の開始点として時間の経過に伴う逆伝搬（ＢＰＴＴ）技術を使用し、ｄＥ／ｄθを、

【数2】

と表現し、ここで、経時的な合計は、最初の時間ステップｔ＝１から最後の時間ステップｔ＝Ｔまで及ぶ。次いで、式２が以下に拡張され、ＢＰＴＴのオンライン再定式化を形成するために活用することができる再帰が解かれる。簡略にするために、単一ユニット用の主要ステップのみが概説されるが、詳細微分はさらに以下で補足説明内に与えられる。詳細には、それは、

【数3】

のように示すことができる。

【0039】

式３は、以下のように再帰形式で書き直すことができる。

【数4】

これは、

【数5】

のような勾配の表現につながり、
ここで、

【数6】

である。

【0040】

したがって、実施形態によれば、空間勾配成分および時間勾配成分の計算は、互いに独立して実行されてもよい。

【0041】

標準ＲＮＮの例では、これらの式の明示形式は、

【数7】

である。

【0042】

実施形態によれば、表記は、生態系の標準命名法からインスピレーションを受け、シナプス重みの変化は、しばしば、学習信号および適格度トレースに分解される。最も簡単なケースでは、適格度トレースは、ニューラル活動のローパス・フィルタ・バージョンであるが、学習信号は空間伝達された報酬信号を表す。したがって、実施形態によれば、式６においてｅ^ｔ，θと表記された時間勾配は、適格度トレースと関連付けられ、式７においてＬ^ｔと表記された空間勾配は、学習信号と関連付けられ得る。

【0043】

生態系と同様に、式５によるパラメータ変化ｄＥ／ｄθは、適格度トレースと学習信号の積の経時的な総和として計算される。これにより、図１に示されたように、パラメータ更新がオンラインで計算されることが可能になる。

【0044】

さらに、式６における微分が正確であることに留意されたい。

【0045】

図１から分かるように、各時間ステップにおいて、時間勾配がこの時間ステップの空間勾配と組み合わされてもよく、既知の時間の経過に伴う逆伝搬技術に従って必要とされる入力シーケンス／入力信号の開始まで戻る必要はない。

【0046】

図２は、本発明の一実施形態による、ニューラル・ネットワーク２００を訓練するためのコンピュータ実装方法の勾配フローを示す。図２の場合、ニューラル・ネットワーク２００は、複数のレイヤを有する再帰型ニューラル・ネットワーク（ＲＮＮ）であることが想定される。

【0047】

より詳細には、図２は、ニューロン・ユニット２１１を有する第１のレイヤ２１０およびニューロン・ユニット２２１を有する第２のレイヤ２２０を備える２レイヤＲＮＮ用の勾配フローを示す。レイヤ２１０および２２０は、３つの時間ステップに対して展開され、空間勾配と時間勾配が分離される。

【0048】

各ニューロン・ユニット２１１は内部状態Ｓ_１、２３０を有する。各ニューロン・ユニット２２１は内部状態Ｓ_２、２３１を有する。方法は、入力信号ｘ^ｔ、１４１および予想出力信号１４２を含むトレーニング・データをニューラル・ネットワーク２００に提供することを含む。次いで、方法は、ニューロン・ユニット２１１ごとに空間勾配成分Ｌ_１ ^ｔ、１５１を計算し、ニューロン・ユニット２２１ごとに空間勾配成分Ｌ_２ ^ｔ、１５２を計算する。さらに、方法は、ニューロン・ユニット２１１ごとに時間勾配成分ｅ_１ ^ｔ、１６１を計算し、ニューロン・ユニット２２１ごとに時間勾配成分ｅ_２ ^ｔ、１６２を計算する。

【0049】

さらに、入力信号１４１の各時間インスタンスｔにおいて、時間勾配成分１６１、１６２および空間勾配成分１５１、１５２が、それぞれ、ニューロン・ユニット２１１、２２１ごとに更新される。

【0050】

多くの先行技術のアプリケーションは、より複雑なマルチ・レイヤ・アーキテクチャに依存する。本発明の実施形態による方法を深層アーキテクチャに拡張するために、状態ｓ^ｔおよび出力ｙ^ｔの定義は以下のように見直されてもよい。深層アーキテクチャ内の誤差Ｅ^ｔは最後の出力レイヤｋの関数にすぎず、すなわち、Ｅ^ｔ＝ｆ（ｙ_ｋ ^ｔ）であり、各レイヤｌはそれ自体の訓練可能なパラメータθ_ｌを有する。レイヤｌの入力は、前のレイヤの出力ｙ_ｌ－１ ^ｔであり、最初のレイヤの場合、外部入力が使用され、ｙ_０ ^ｔ＝ｘ^ｔである。

【0051】

したがって、定義は、

【数8】

であるように適合されることができる。

【0052】

シングル・レイヤ・ニューラル・ネットワークの場合、空間成分と時間成分の分離は、式３～５によって概説された微分に従う場合に生じる。

【0053】

しかしながら、マルチ・レイヤ・アーキテクチャの場合、式３の中の項ｄｓ^ｔ／ｄθは、異なるレイヤｌおよびｍを含む、たとえば、ｄｓ_ｌ ^ｔ／ｄθ_ｍである場合があり、それにより、レイヤにわたる依存性がもたらされる（補足説明参照）。

【0054】

上述された利益を維持するために、空間勾配と時間勾配の明確な分離はまた、本発明の実施形態によるマルチ・レイヤ・アーキテクチャのために導入される。したがって、シングル・レイヤＲＮＮについて上述された同様のステップは、一般化された状態および出力の式８および９を使用して実行される。補足説明内の詳細な微分に続いて、以下の適格度トレースおよび学習信号がレイヤｌに対して取得され、

【数9】

ここで、

【数10】

である。
次いで、それは、

【数11】

と示すことができる。

【0055】

式５～１３を比較することによって分かるように、学習信号Ｌ_ｌ ^ｔを適格度トレースｅ_ｌ ^ｔ，θと乗算することに関する本発明の実施形態による手法は、深層ネットワークの場合も同じままである。

【0056】

学習信号Ｌ_ｌ ^ｔはレイヤごとに特有であり、時間的に戻ることなく最後のレイヤから入力レイヤまで伝搬する、すなわち、それは、ネットワーク・アーキテクチャを通る空間勾配を表す。さらに、各レイヤは、それ自体の適格度トレースｅ_ｌ ^ｔ，θを計算し、それはそれぞれのレイヤｌの寄与のみに依存する、すなわち、それは同じレイヤについての時間経過による時間勾配を表す。

【0057】

しかしながら、追加の項も式１３に含まれ、それらは空間勾配と時間勾配の混合を含み、一般に時間的に戻ることを必要とする。これらの項は、剰余項Ｒ内で収集される。

【0058】

空間勾配と時間勾配との間の分離を維持するために、式１３は、項Ｒを省略することにより実施形態に従って簡略化される。このように、マルチ・レイヤ・ネットワーク用の以下の定式化が実施形態に従って取得される。

【数12】

【0059】

したがって、本発明の実施形態によれば、剰余項Ｒは意図的に省略され、混合された空間勾配成分と時間勾配成分は、学習／トレーニング中に考慮に入れられない。しかしながら、本発明の発明者の研究は、これが有利な手法であるという洞察をもたらしている。詳細には、そのような手法により、何が省略されるかが知られる。さらに、発明者のシミュレーションは、以下でさらに説明されるように、これらの項がなくてもＢＰＴＴに劣らぬ高い性能が実現され得るという経験的証拠を提供している。
その上、実施形態によれば、剰余項Ｒはまた近似されてもよく、したがって、式１３からの勾配のより良い近似が可能になる。

【0060】

図３は、スパイキング・ニューラル・ネットワーク３００のスパイキング・ニューロン・ユニットＳＮＵ３１０を示す。図３を参照して、実施形態による方法がスパイキング・ニューラル・ネットワーク（ＳＮＮ）に適用され得ることが示される。図３の中の破線はタイムラグとの接続を示し、太線はパラメータ化された接続を示す。ＳＮＵ３１０は、ブロック入力３２０、ブロック出力３２１、リセット・ゲート３２２、および膜電位３２３を含む。

【0061】

歴史的に、ＳＮＮは、しばしばスパイク・タイミング依存の可塑性の変形形態で訓練され、最近は、たとえば、文献：Wozniak, S.、Pantazi, A.、Bohnstingl, T.、およびEleftheriou, E.のDeep learning incorporating biologically-inspired neural dynamics.arXiv、２０１８年１２月、URL：https://arxiv.org/abs/1812.07040において、ＳＮＮ用の勾配ベースのトレーニングが提案されている。

【0062】

そのような方法は、ＡＮＮベースの構築ブロックでＳＮＮダイナミクスを作り直し、スパイキング・ニューロン・ユニットＳＮＵ３１０を形成することにより、ＡＮＮ世界をＳＮＮ世界と橋渡しすることを目的とする。スパイキング・ニューラル・ネットワーク３００のＳＮＵ３１０は、複数の入力信号を受信する。

【0063】

この手法により、ＳＮＵは勾配ベースの学習を可能にする。これにより、神経科学ではよく知られている漏れ積分発火（ＬＩＦ）ニューロン・モデルのダイナミクスを再生しながら、ＡＮＮ向けの既知の最適化技術の力を活用することが可能になる。

【0064】

上記に示されたように、本発明の実施形態による方法は、汎用ＲＮＮに使用されてもよいが、ＲＮＮとして定式化された深層ＳＮＮを訓練するために、実施形態に従って適用することもできる。これは以下に示される。ＳＮＵレイヤｌの状態および出力の式から始まり、（Ｗｏｚｎｉａｋら、２０１８年）と比較する。

【0065】

【数13】

【0066】

式１５および１６を使用することにより、

【数14】

のように、式１０に従って適格度トレースを導出し、
ここで、

【数15】

および

【数16】

である。

【数17】

の簡単な表記法が使用されていることに留意されたい。

【0067】

平均平方誤差損失関数、たとえば、

【数18】

が目的とする出力の場合、学習信号は、

【数19】

のように計算することができる。

【0068】

ＲＮＮまたは再帰型ＳＮＵから構成されるｋ個のレイヤを有する深層ニューラル・ネットワークの場合、本発明の実施形態による方法は、Ｏ（ｋｎ^４）の時間計算量を有する。この時間計算量は、ネットワーク構造自体によって決定され、主に再帰行列Ｈ_ｌによって支配される。実施形態に従ってフィード・フォワード・アーキテクチャが使用される場合、Ｈ_ｌを含む項は消滅し、ＳＮＵの式は、

【数20】

になる。

【0069】

これらの式は、次いで、以下の適格度トレース

【数21】

につながり、ここで、

【数22】

であり、

【数23】

である。

【0070】

これにより、Ｏ（ｋｎ^４）からＯ（ｋｎ^２）に時間計算量が大幅に減少する。フィード・フォワードＳＮＵネットワーク・アーキテクチャを使用することは、必ずしも時間タスクを解くことを妨害しない。そのようなネットワークは長くＳＮＮで使用されており、それは、ネットワークが、レイヤ型再帰行列Ｈ_ｌではなく、自己再帰を使用して実装されたユニットの内部状態に依存するべきであることを暗示する。

【0071】

実施形態によれば、学習信号は、行列Ｗなしに、たとえば、Ｗの何らかのランダム化または近似に基づいて計算されてもよいことに留意されたい。より詳細には、学習信号は、前方経路において使用されない異なる行列に基づいて計算されてもよい。言い換えれば、前方経路は行列Ｗを使用することができ、学習信号は異なる行列Ｂに対して計算される。行列Ｂは訓練可能であってもなくてもよい。

【0072】

実施形態によれば、上記に提示された方法はまた、ハイブリッド・ネットワークに使用されてもよい。この点において、深層ＲＮＮまたはＳＮＮにおける非常に一般的なシナリオは、それらが、しばしば、出力、たとえば、シグモイド・レイヤまたはソフトマックス・レイヤにおいてステートレス・ニューロンのレイヤと結合されることである。本発明の実施形態による方法はまた、いかなる修正もなしに、ステートレス・ニューロンの１つまたは複数のレイヤを含むこれらのハイブリッド・ネットワークを訓練するために適用することができる。詳細には、これらのレイヤの状態および出力の式は、

【数24】

に簡略化され、それは、式１２の中の項

【数25】

を消滅させ、適格度トレースおよび学習信号を

【数26】

として計算することができ、

【数27】

である。

【0073】

ステートレス・レイヤはいかなる剰余項Ｒも導入しないことに留意されたい。これは、そのようなレイヤをネットワーク、さらにＲＮＮレイヤ間に追加したときに、次のレイヤに対する勾配が変化しないままであるという効果を有する。

【0074】

図４ａは、時間の経過に伴う逆伝搬（ＢＰＴＴ）技術と比較して本発明の実施形態による方法のテスト結果を示す。より詳細には、図４ａは、文献：Boulanger-Lewandowski, N.、Bengio, Y.、およびVincent, P.のModeling temporal dependencies in high-dimensional sequences：Application to polyphonic music generation and transcription, In Proceedings of the 29th International Conference on International Conference on Machine Learning, ICML’12, pp. 1881-1888, Madison, WI, USA, 2012.Omnipress. ISBN 9781450312851において紹介された、ＪＳＢデータセットに基づく音楽予測に関する。

【0075】

このために、標準的なトレーニング／テスト・データ分割が使用された。そのテストの場合、ハイブリッド・アーキテクチャは、１５０個のユニットを有するフィード・フォワードＳＮＵレイヤおよび上部に８８個のユニットを有するステートレス・レイヤ・シグモイド・レイヤを備える。ベースラインを取得するために、すべてのそのハイパーパラメータを含む同じネットワークは、本発明の実施形態による方法および１０００個のエポックについてＢＰＴＴを用いて訓練された。Ｙ軸は、１０個のランダムな初期状態にわたって平均された負対数尤度を表記する。バー４１１はＢＰＴＴ方法のトレーニングの結果を示し、バー４１２は本発明の実施形態による方法のトレーニングの結果を示す。さらに、バー４１３はＢＰＴＴ方法の試運転の結果を示し、バー４１４は、本発明の実施形態による方法の試運転の結果を示す。

【0076】

図４ａに示されたように、本発明の実施形態による方法を用いて得られた結果は、実際にはＢＰＴＴを用いて得られたこれらの結果と同等である。タスクは、ＢＰＴＴと、単一のＲＮＮレイヤおよび上部のステートレス・レイヤを有するハイブリッド・アーキテクチャ用の本発明の実施形態による方法の勾配の等価性を証明することに留意されたい。

【0077】

図４ｂに示されたように、このタスクは、フィード・フォワードＳＮＮ向けの本発明の実施形態による方法の低減された計算複雑性を立証するために使用されてもよい。この目的のために、ＪＳＢ入力シーケンスの異なる入力シーケンス長（ｘ軸）にわたって更新される１つのパラメータに対して、内蔵ＴｅｎｓｏｒＦｌｏｗプロファイラを使用して、必要な浮動小数点演算ＭＦＬＯＰ（ｙ軸）の数が測定された（図４ｂ参照）。ライン４２２から分かるように、ＢＰＴＴは時間展開を実行する必要があり、したがって、シーケンスの長さＴに対する線形依存性があり、一方、ライン４２１によって示された本発明の実施形態による方法はそうではなく、したがって一定のままである。しかしながら、実際の実装形態では、経時的に本発明の実施形態による方法からの更新情報を蓄積する必要があり得、それらはＢＰＴＴと同じ複雑性をもたらす。本発明の実施形態による方法の最初の高いコストは、本発明の実施形態による方法がＴｅｎｓｏｒＦｌｏｗの標準ツールボックスに含まれていないので、実装のオーバーヘッドに起因することに留意されたい。それにもかかわらず、得られたプロットは理論的な複雑性分析と一致する。

【0078】

図５は、文献：Lecun, Y.、Bottou,L.、Bengio, Y.、およびHaffner, P.のGradient based learning applied to document recognition. Proc.、IEEE86(11)：2278-2324、１９９８年１１月、ISSN1558-2256、doi：10.1109/5.726791において紹介された、ＭＮＩＳＴデータセットに基づく手書き数字分類に関する別のタスクのテスト結果を示す。

【0079】

再び、標準的なトレーニング／テスト・データ分割が使用された。テストによれば、２５６個のユニットを有するＳＮＵの５つのレイヤのフィード・フォワード・アーキテクチャは、１０個のランダムな初期状態にわたって平均する５０個のエポックに対して採用され訓練された。図４ａおよび図４ｂを参照して示されたタスクと同様に、本発明の実施形態による方法の精度は、ＢＰＴＴのそれと一致する。ｙ軸は精度（パーセンテージ）を表記し、ｘ軸はエポックの数を表記し、ライン５１０はＢＰＴＴの結果を表記し、ライン５２０は本発明の実施形態による方法の結果を表記する。

【0080】

図６は、本発明の実施形態による方法がニューロモルフィック・ハードウェアにどのように実装され得るかを示す。ニューロモルフィック・ハードウェアは、詳細には、複数の行ライン６１０、複数の列ライン６２０、および複数の行ライン６１０と複数の列ライン６２０との間に配置された複数の接合点６３０を含むクロスバー・アレイを含む場合がある。各接合点６３０は、抵抗変化型メモリ素子６４０、特に抵抗変化型メモリ素子および抵抗変化型メモリ素子にアクセスするためのアクセス端子を含むアクセス素子の直列配列を含む。抵抗変化型素子は、たとえば、相変化メモリ素子、導電性ブリッジ・ランダム・アクセス・メモリ素子（ＣＢＲＡＭ）、酸化金属抵抗変化型ランダム・アクセス・メモリ素子（ＲＲＡＭ）、磁気抵抗変化型ランダム・アクセス・メモリ素子（ＭＲＡＭ）、強誘電体ランダム・アクセス・メモリ素子（ＦｅＲＡＭ）、または光学メモリ素子であってもよい。

【0081】

実施形態によれば、入力重みおよび再帰重みは、特に抵抗変化型素子の抵抗状態として、ニューロモルフィック・デバイスに配置されてもよい。

【0082】

そのような実施形態によれば、訓練可能な入力重みＷ_ｌおよび訓練可能な再帰重みＨ_ｌは、抵抗変化型メモリ素子６４０にマッピングされる。

【0083】

図７は、本発明の一実施形態による、ニューラル・ネットワーク７００の簡略化された概略図を示す。ニューラル・ネットワーク７００は、複数のニューロン・ユニット１０を備える入力レイヤ７１０と、複数のニューロン・ユニット１０を備える１つまたは複数の隠れレイヤ７２０と、複数のニューロン・ユニット１０を備える出力レイヤ７３０とを備える。ニューラル・ネットワーク７００は、ニューロン・ユニット１０の間に複数の電気接続２０を備える。電気接続２０は、１つのレイヤから、たとえば、入力レイヤ７１０からのニューロンの出力を、次のレイヤ、たとえば、隠れレイヤ７２０のうちの１つからのニューロン・ユニットの入力に接続する。ニューラル・ネットワーク７００は、特に、再帰型ニューラル・ネットワークとして具現化されてもよい。

【0084】

したがって、ネットワーク７００は、矢印３０によって図式的に示されたように、１つのレイヤから同じまたは前のレイヤからのニューロン・ユニットへの再帰接続を備える。

【0085】

図８は、再帰型ニューラル・ネットワークのパラメータを訓練するためのコンピュータ実装方法の方法ステップのフローチャートを示す。

【0086】

方法はステップ８１０から始まる。

【0087】

ステップ８２０において、トレーニング・データは、ニューラル・ネットワークによって受信され、または言い換えれば、ニューラル・ネットワークに提供される。トレーニング・データは、入力信号および予想出力信号を含む。

【0088】

ステップ８３０において、ニューラル・ネットワークは、ニューロン・ユニットごとに空間勾配成分を計算する。

【0089】

ステップ８４０において、ニューラル・ネットワークは、ニューロン・ユニットごとに時間勾配成分を計算する。

【0090】

ステップ８５０において、ニューラル・ネットワークは、入力信号の各時間インスタンスにおいてニューロン・ユニットごとに時間勾配成分および空間勾配成分を更新する。

【0091】

一実施形態によれば、ニューラル・ネットワークのパラメータの更新情報は、その後の時間ステップＴまで蓄積し保留することができる。空間勾配成分および時間勾配成分の計算は、互いに独立して実行される。

【0092】

ステップ８２０～８５０は、ループ８６０において繰り返される。より詳細には、ステップ８２０～８５０は、特定または既定の時間インスタンスにおいて、特に各時間インスタンスにおいて繰り返されてもよい。

【0093】

図９を参照すると、本発明の実施形態による方法を実行するためのコンピューティング・システム９００の例示的な実施形態が示されている。コンピューティング・システム９００は、実施形態に従ってニューラル・ネットワークを形成することができる。コンピューティング・システム９００は、多数の他の汎用コンピューティング・システムまたは専用コンピューティング・システムの環境または構成で動作可能であり得る。コンピューティング・システム９００とともに使用することに適切な場合がある、よく知られたコンピューティング・システム、環境、または構成あるいはその組合せの例には、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサベース・システム、セット・トップ・ボックス、プログラマブル家電製品、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、および上記のシステムまたはデバイスのいずれかを含む分散クラウド・コンピューティング環境などが含まれるが、それらに限定されない。

【0094】

コンピューティング・システム９００は、コンピュータ・システムによって実行されるプログラム・モジュールなどのコンピュータ・システム実行可能命令の一般的な文脈で記載される場合がある。一般に、プログラム・モジュールには、特定のタスクを実行するか、または特定の抽象データ・タイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などが含まれてもよい。コンピューティング・システム９００は、汎用コンピューティング・デバイスの形態で示される場合がある。サーバ・コンピューティング・システム９００のコンポーネントには、１つまたは複数のプロセッサまたは処理ユニット９１６、システム・メモリ９２８、およびシステム・メモリ９２８からプロセッサ９１６を含む様々なシステム・コンポーネントを結合するバス９１８が含まれてもよいが、それらに限定されない。

【0095】

バス９１８は、様々なバス・アーキテクチャのいずれかを使用する、メモリ・バスもしくはメモリ・コントローラ、周辺バス、加速グラフィックス・ポート、およびプロセッサまたはローカル・バスを含む、いくつかのタイプのバス構造のいずれかのうちの１つまたは複数を表す。例として、かつ限定ではなく、そのようなアーキテクチャには、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ）ローカル・バス、および周辺装置相互接続（ＰＣＩ）バスが含まれる。

【0096】

コンピューティング・システム９００は、通常、様々なコンピュータ・システム可読媒体を含む。そのような媒体は、コンピューティング・システム９００によってアクセス可能な任意の利用可能な媒体であってもよく、それは揮発性と不揮発性の両方の媒体、リムーバルおよび非リムーバルの媒体を含む。

【0097】

システム・メモリ９２８は、ランダム・アクセス・メモリ（ＲＡＭ）９３０またはキャッシュ・メモリ９３２あるいはその両方などの、揮発性メモリの形態のコンピュータ・システム可読媒体を含むことができる。コンピューティング・システム９００は、他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ・システム記憶媒体をさらに含む場合がある。ほんの一例として、ストレージ・システム９３４は、（図示されず、通常「ハード・ドライブ」と呼ばれる）非リムーバブル、不揮発性の磁気媒体から読み取り、それに書き込むために設けることができる。図示されていないが、リムーバブル、不揮発性の磁気ディスク（たとえば、「フロッピー（Ｒ）・ディスク」）から読み取り、それに書き込むための磁気ディスク・ドライブ、およびＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光学媒体などのリムーバブル、不揮発性の光ディスクから読み取り、それに書き込むための光ディスク・ドライブを設けることができる。そのようなインスタンスでは、各々は、１つまたは複数のデータ媒体インターフェースによってバス９１８に接続することができる。以下にさらに描写され記載されるように、メモリ９２８は、本発明の実施形態の機能を実行するように構成された一組（たとえば、少なくとも１つ）のプログラム・モジュールを有する少なくとも１つのプログラム製品を含む場合がある。

【0098】

一組（少なくとも１つ）のプログラム・モジュール９４２、ならびに、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データを有するプログラム／ユーティリティ９４０は、例として、かつ限定ではなく、メモリ９２８に記憶されてもよい。オペレーティング・システム、１つもしくは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプラグラム・データの各々、またはそれらの何らかの組合せは、ネットワーキング環境の実装形態を含む場合がある。プログラム・モジュール９４２は、一般に、本明細書に記載された本発明の実施形態の機能または方法あるいはその両方を実行する。プログラム・モジュール９４２は、特に、再帰型ニューラル・ネットワークを訓練するためのコンピュータ実装方法の１つまたは複数のステップ、たとえば、図１、図２、および図８を参照して記載された方法の１つまたは複数のステップを実行することができる。

【0099】

コンピューティング・システム９００はまた、キーボード、ポインティング・デバイス、ディスプレイ９２４などの１つもしくは複数の外部デバイス９１５、ユーザがコンピューティング・システム９００と対話することを可能にする１つもしくは複数のデバイス、またはコンピューティング・システム９００が１つもしくは複数の他のコンピューティング・デバイスと通信することを可能にする任意のデバイス（たとえば、ネットワーク・カード、モデムなど）あるいはその組合せと通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース９２２を介して行うことができる。それでもさらに、コンピューティング・システム９００は、ネットワーク・アダプタ９２０を介して、ローカル・エリア・ネットワーク（ＬＡＮ）、一般的なワイド・エリア・ネットワーク（ＷＡＮ）、またはパブリック・ネットワーク（たとえば、インターネット）あるいはその組合せなどの、１つまたは複数のネットワークと通信することができる。描写されたように、ネットワーク・アダプタ９２０は、バス９１８を介してコンピューティング・システム９００の他のコンポーネントと通信する。図示されていないが、コンピューティング・システム９００と連携して、他のハードウェア・コンポーネントまたはソフトウェア・コンポーネントあるいはその両方が使用され得ることを理解されたい。例には、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイブ・ストレージ・システムなどが含まれるが、それらに限定されない。

【0100】

本発明は、任意の可能な技術的に詳細な統合レベルでのシステム、方法、またはコンピュータ・プログラム製品あるいはその組合せであり得る。コンピュータ・プログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有する、１つまたは複数のコンピュータ可読記憶媒体を含む場合がある。

【0101】

コンピュータ可読記憶媒体は、命令実行デバイスが使用するための命令を保持し記憶することができる有形デバイスであり得る。コンピュータ可読記憶媒体は、たとえば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または前述の任意の適切な組合せであり得るが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、以下のポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチ・カードまたはそこに記録された命令を有する溝の中の隆起構造などの機械的符号化デバイス、および前述の任意の適切な組合せを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由伝搬電磁波、導波管もしくは他の伝送媒体を通って伝搬する電磁波（たとえば、光ファイバ・ケーブルを通る光パルス）、またはワイヤを通って送信される電気信号などの、本質的に一過性の信号と解釈されるべきではない。

【0102】

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれの計算／処理デバイスに、あるいはネットワーク、たとえば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、もしくはワイヤレス・ネットワークまたはその組合せを介して、外部コンピュータまたは外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅製伝送ケーブル、光伝送ケーブル、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバあるいはその組合せを備える場合がある。各計算／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれの計算／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

【0103】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、または、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの手続き型プログラミング言語を含む１つもしくは複数のプログラミング言語の任意の組合せで書かれたソースコードもしくはオブジェクトコードであり得る。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上で、かつ部分的にリモート・コンピュータ上で、または全体的にリモート・コンピュータもしくはサーバ上で実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または接続は、（たとえば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部のコンピュータに対して行われてもよい。いくつかの実施形態では、たとえば、プログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人向けにすることにより、コンピュータ可読プログラム命令を実行することができる。

【0104】

本発明の態様は、本発明の実施形態による、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して本明細書に記載されている。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方のブロックの組合せは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

【0105】

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定された機能／動作を実現するための手段を作成するように、汎用コンピュータ、専用コンピュータ、または機械を生成する他のプログラマブル・データ処理装置に提供される場合がある。これらのコンピュータ可読プログラム命令はまた、命令を記憶しているコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定された機能／動作の態様を実現する命令を含む製造品を備えるように、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに特定の方式で機能するように指示することができるコンピュータ可読記憶媒体に記憶される場合がある。

【0106】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定された機能／動作を実現するように、一連の動作ステップがコンピュータ、他のプログラマブル装置、または他のデバイス上で実行されるようにしてコンピュータ実装プロセスを生成するために、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされる場合がある。

【0107】

図の中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示す。この点に関連して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実現するための１つまたは複数の実行可能命令を含む命令のモジュール、セグメント、または部分を表すことができる。いくつかの代替の実装形態では、ブロック内で言及された機能は、図の中で言及された順序以外で行われてもよい。たとえば、連続して示された２つのブロックは、実際には、関与する機能に応じて、実質的に並行して実行されてもよく、またはブロックは時々逆の順序で実行されてもよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方のブロックの組合せは、指定された機能もしくは動作を実行するか、または専用ハードウェアおよびコンピュータ命令の組合せを実行する専用ハードウェア・ベース・システムによって実現することができることに留意されたい。

【0108】

本発明の様々な実施形態の説明は例示目的で提示されているが、開示された実施形態に徹底または限定するものではない。記載された実施形態の範囲および思想から逸脱することなく、多くの修正および変形が当業者には明白であろう。本明細書で使用された用語は、実施形態の原理、実際の用途、もしくは市場で見つかる技術に対する技術的な改善を最も良く説明するために、または他の当業者が本明細書に開示された実施形態を理解することを可能にするために選択された。

【0109】

一般に、一実施形態について記載された修正は、必要に応じて別の実施形態に適用されてもよい。

【0110】

以下では、深層ニューラル・ネットワーク、特にマルチ・レイヤ・アーキテクチャを含む再帰型ネットワークのための本発明の実施形態による方法の詳細な微分が補足説明として提供される。
多くの先行技術のアプリケーションはマルチ・レイヤ・ネットワークに依存し、その中で、誤差Ｅ^ｔは、最後の出力レイヤｋの関数にすぎない、すなわち、

【数28】