特開 2024-34865 機械学習システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024034865

(43)【公開日】2024-03-13

(54)【発明の名称】機械学習システム

(51)【国際特許分類】

   G06N 3/044 20230101AFI20240306BHJP

【ＦＩ】

G06N3/04 145

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022139389

(22)【出願日】2022-09-01

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度 国立研究開発法人科学技術振興機構 戦略的創造研究推進事業、研究題目「物理リザバー計算のための数理と応用」事業、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】中島 光雅

(72)【発明者】

【氏名】橋本 俊和

(72)【発明者】

【氏名】中嶋 浩平

(72)【発明者】

【氏名】井上 克馬

(72)【発明者】

【氏名】國吉 康夫

(57)【要約】

【課題】高い自律性を有する機械学習を実現するため、被学習器と学習器とが、つなぎ目のない非線形力学系内で一貫して表現される機械学習システムを提供する。
【解決手段】リザーバーコンピューティングである機械学習システムであって、エコーステートニューラルネットワークの構成を有するリザーバーと、リザーバーの内部状態を変換するリードアウトと、学習アルゴリズムと、を備え、学習アルゴリズムが、その高次元性と非線形性を非線形な入出力関係の近似に活用することによって、リザーバーとして活用され、学習アルゴリズムおよびリードアウトのアルゴリズム的な処理が、リザーバーで置換される。
【選択図】図４

【特許請求の範囲】

【請求項1】

リザーバーコンピューティングである機械学習システムであって、
結合重みを固定したリカレントニューラルネットワークを用いて、経時列入力の過去の情報が反映されて残る状態を作り出し、そこから入力の特徴の読み出しを行うエコーステートニューラルネットワークの構成を有するリザーバーと、
前記リザーバーの内部状態を変換するリードアウトと、
学習アルゴリズムと、
を備え、
前記学習アルゴリズムが、非線形な入出力関係の近似に活用することによって、前記リザーバーとして活用され、
前記学習アルゴリズムおよび前記リードアウトの処理が、前記リザーバーで置換される、機械学習システム。

【請求項2】

前記学習アルゴリズムが再帰最小二乗（ＲＬＳ）アルゴリズムである、請求項１に記載の機械学習システム。

【請求項3】

前記リザーバーにおける時間発展写像が、前記学習アルゴリズム内の変数の線形閉ループによって構成される、請求項１に記載の機械学習システム。

【請求項4】

前記学習アルゴリズムの忘却項が１未満である、請求項３に記載の機械学習システム。

【請求項5】

前記学習アルゴリズムを非線形演算と線形演算に分解し、非線形演算をＥｘｔｒｅｍｅ Ｌｅａｒｎｉｎｇ Ｍａｃｈｉｎｅ（ＥＬＭ）を用いて近似する、請求項１に記載の機械学習システム。

【請求項6】

前記ＥＬＭの非線形関数としてｔａｎｈを用いる、請求項５に記載の機械学習システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習システムに関し、より詳細には、リザーバーコンピューティング（以下、ＲＣという）の機械学習システムに関する。

【背景技術】

【0002】

近年、人工知能の中心技術である機械学習に関する研究開発が精力的に進められており、その技術は著しい発展を遂げている。タスクを限定すれば、人間と同等またはそれ以上の計算モデルも実現されており、今後も機械学習技術は、進歩・発展し続けるとともに、その適用範囲が拡大していくと見込まれる。

【0003】

人工知能技術の開発における究極的な目標の１つとして、生物知能が有するような高度な自律性を実現する機械学習システムの構築が挙げられる。生物知能における学習機能は、恒常的であるため、外的な介入から一定の独立性を維持しながら動作することを可能にしている（自己同一性）。また、環境との相互作用の中で常に学習し続けることができ、その結果、想定されていない様々な未知の状況に対しても、その学習機能を駆使して適応的な振る舞いを生み出すことも可能にしている（適応性）。加えて、生物知能における学習機能は、自己充足性を有した構成を含む。換言すれば、生物知能における学習機能は、物理的実体（例えば、脳、感覚器、筋肉等）を含み、その構成は、物理的実体で独立して機能している。

【0004】

このように、生物知能における学習機能では、自己同一性、適応性が共存しており、かつ自己充足性を有した構成が含まれるため、高度な自律性が実現されており、結果として、実世界における生物のしなやかな振る舞いが達成される。一方、現在における多くの機械学習は、生物知能における学習機能と比べて自律性が乏しく、生物知能が有するようなしなやかな振る舞いが実現されないことが、しばしばあり得る。

【0005】

その要因の１つとして、現在における多くの機械学習では、学習の制御が設計者の手に委ねられており、自発的な学習が達成されていないことが挙げられる。例えば、多くの機械学習では、学習パラメータの調整は、学習モデルを構築する「学習フェーズ」のみで実行され、モデル性能を評価する「評価フェーズ」では実行されない。このため、現在における多くの機械学習は、自発的な学習が実現できておらず、常に学習する適応性および学習機能を恒常的に維持する自己同一性が、生物知能における学習機能に比べて乏しいと言える。

【0006】

また、別の要因として、多くの機械学習では、学習データを外部の設計者が予め用意する必要があることが挙げられる。このため、多くの機械学習は経時的に変化する環境に対して、系自身が何を学習すべきかを取捨選択すること（「勝手に」学習すること）ができず、臨機応変な振る舞いが達成されない。加えて、設計者が学習データを予め準備するため、学習の範囲およびタスクが限定的となり、汎用性にも乏しい。

【0007】

さらに別の要因として、多くの機械学習では、学習メカニズム自体が内包された構成となっておらず、生物知能における物理的実体のように、そのものだけで学習機能を成立させることができないことが挙げられる。例えば、機械学習では、学習モデルのパラメータを学習アルゴリズムが調整する被学習器（Optimizee）と、学習器（Optimizer）が分離した構成を有する。換言すれば、学習モデルの他に学習器の機構が別途設置され、被学習器単体では学習できない。これは、上述の通り、評価フェーズにおいて学習機能が不要となることに起因しており、学習アルゴリズムの使用／不使用の切り替えを行う上では都合がよい構成であるが、一方で、自己充足性を有していない構成であるとも言える。後述するが、これは、物理系を活用するリカレントニューラルネットワーク（以下、ＲＮＮという）において、より顕著な問題となる。

【0008】

このように、現在における機械学習は、生物知能の学習機能と比べると、自己同一性、適応性が低く、自己充足性を有さない構成となっていることから、その学習機能は自律性に乏しいと言える。そして、その結果、生物のようなしなやかな振る舞いが達成されない、或いは、しなやかな振る舞いを達成するためには、あるタスクに限定されるのが実情である。したがって、生物と同等またはそれ以上のしなやかな振る舞いを実現するという観点から、機械学習には、その学習機能が自律的な学習システムとなることが求められる。

【0009】

上記の内容から考えると、機械学習システムが高い自律性を実現するためには、内的な機構によって恒常的に学習が進行する自発性と、何を学習すべきかを判断・構成する学習対象の自己決定・構成機能と、学習メカニズムがそれ自身に内包されていること、が求められる。

【0010】

このような機械学習システムにおける被学習器と学習器の分離構成は、物理系ＲＣ（以下、ＰＲＣという）の文脈で、より顕著な問題となる。ＰＲＣは、物理系（電子系、光学系等）をリザーバーに活用するＲＣであり、一般に、物理系と、物理系の入力応答を取得するセンサと、センサからの情報を処理および統合するリードアウトと、を含む。このような構成を有するＰＲＣは、物理系の特性を活用し、低電力、高速といったメリットを有するが、学習部が物理系とは別のコンピュータで処理されるため、結果的に、その性能はコンピュータの原理的制約に律速される。

【0011】

ＲＣは、機械学習機構を物理系で実現する上で、好適な数理モデルである。しかしながら、その課題の１つに、ＲＣでは学習メカニズムが内包されておらず、被学習器と学習器が分離された構成を有する点が挙げられる。より具体的には、ＲＣでは、再帰最小二乗（Recursive Least Square：以下、ＲＬＳという）と呼ばれる学習アルゴリズムが採用されるが、この学習アルゴリズムを実装する機構は外的な機構として独立して構成されており、自己充足性を有する構成とはなっていない。

【0012】

図１は、従来技術によるＲＣに基づく機械学習システム１０の構成を模式的に示す図である。ここでは例として、機械学習システム１０は、ＲＮＮのモデルにエコーステートネットワーク（以下、ＥＳＮという）が適用されたＲＣを含み、学習アルゴリズムは、上述の通り、ＲＬＳアルゴリズムが設定された形態として描写されている。図１に示される通り、機械学習システム１０は、被学習器１１と、学習器１２と、を含み、被学習器１１は、ＥＳＮの構成を有する、入力を高次空間へ写像するリードイン１１０と、変換された情報が回帰的な内部結合を介して循環するリザーバー１１１と、リザーバー１１１の内部状態を変換するリードアウト１１２と、をさらに含む。

【0013】

ＥＳＮは、一般にＲＣの代表的なモデルとして知られており、リザーバーとして結合重みを固定したＲＮＮを用いて、経時列入力の過去の情報が反映されて残る状態（内部状態）を作り出し、そこから入力の特徴の読み出しを行うモデルである。

【0014】

このような構成を有する機械学習システム１０では、被学習器１１において、任意の時間tにおける入力u(t)がリザーバー１１１の各層に入力され、リザーバー１１１内において再帰的に処理される。そして、リザーバー１１１の各層において生成された内部状態x(t)がリードアウト１１２に入力され、内部状態x(t)とパラメータw(t)に基づいて出力y(t)が生成される。一方、学習器１２では、上述の通り、ＲＬＳアルゴリズムに基づいて、学習モデルが構築される。学習器１２におけるこのような学習過程は、上述したリザーバー１１１におけるＥＳＮとは別に独立して実装される。

【0015】

特徴として、リードイン１１０、リザーバー１１１はランダムに生成され学習を行わない。従って、前述のＰＲＣの枠組みではこのランダム変換回路を物理システムに置き換えが可能である。例えば、光回路で構成することで光の並列性を利用した高速・低電力な演算が可能となる（例えば、非特許文献１参照）。このような構成によって、図１における被学習器１１で示される順伝搬時の演算は極めて高速に実施できるものの、図１における学習器１２で示される学習は依然として物理系とは別のコンピュータで処理されるため、結果的に、その性能はコンピュータの原理的制約に律速される。

【0016】

仮に、ＰＲＣにおいて被学習器と学習器の分離構成をつなぎ目のない非線形力学系内で一貫して表現するような手法に置き換えることができれば、その物理アーキテクチャはコンピュータの原理的制約が解消され、飛躍的な性能向上が図られ得る。

【0017】

上記の内容に基づき、発明者らは、ＲＣを自律的に学習可能な形式へと拡張させることで、高い自律性を有する機械学習方法および機械学習システムを構築した。これによって、ＰＲＣの物理系に学習機構をも埋め込むことが可能となる。

【先行技術文献】

【非特許文献】

【0018】

【非特許文献1】M. Nakajima et al., “Scalable reservoir computing on coherent linear photonic processor”, Commun. Phys., 4, 20, 2021

【非特許文献2】Eduardo Izquierdo-Torres and Inman Harvey. “Hebbian learning using fixed weight evolved dynamicalneural’networks”. In 2007 IEEE Symposium on Artificial Life, pp. 394-401. IEEE, 2007.

【非特許文献3】Christian Klos, Yaroslav Felipe Kalle Kossio, Sven Goedeke, Aditya Gilra, and RaoulMartin Memmesheimer. “Dynamical learning of dynamics”. Physical Review Letters, Vol. 125, No. 8, p. 088103, 2020.

【非特許文献4】Guillaume Bellec, Franz Scherr, Elias Hajek, Darjan Salaj, Robert Legenstein, and Wolfgang Maass. “Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets”. arXiv preprint arXiv:1901.09049, 2019.

【発明の概要】

【発明が解決しようとする課題】

【0019】

従来技術によるＲＣの機械学習システム１０では、被学習器１１と学習器１２の各々が独立した構成を有する。しかしながら、高い自律性を有する学習機能では、その適応性を担保するため、常に学習が継続されなければならない。そして、このような学習過程を実現するためには、被学習器１１と学習器１２が、つなぎ目のない非線形力学系内で一貫して表現するような手法であることが求められる。特にこの課題は、ＰＲＣの利点を活用した学習機の構成に向けて重要となる。

【0020】

現在までにおいて、学習過程をＲＮＮのダイナミクスで表現することでつなぎ目のない一貫した機械学習システムを実現するための技術は、既にいくつか提案されている。例えば、Izquierdo-TorresとHarveyは、Ｈｅｂｂ則の動作を行う重みが固定化された連続時間のＲＮＮを進化的アルゴリズムによって構成した（例えば、非特許文献２参照）。しかしながら、このような技術では、進化ロボティクスの文脈で採用されてきたような進化的アルゴリズムによる実装は困難である。また、Klosらは、タスクの学習中に使われる変数をＲＮＮからの自律的に生成するように閉ループ系を事前に学習することで、内部結合の調整を伴わずにタスクに適応できるＲＮＮを構築した（例えば、非特許文献３参照）。一方、Bellecらは、ＢＰＴＴによってその内部結合を事前学習させることで、相互作用パラメータの調整なしに新しいタスクに適応できるスパイキングニューラルネットワークを構築した（例えば、非特許文献４参照）。しかしながら、このようなＲＮＮの事前学習によって内部結合を調整する手法は、タスクの範囲が先行的に設計者によって決定される必要がある。その結果、汎化が部分的であり、ＲＬＳアルゴリズムそのものをその汎用性を担保したままニューラルネットワーク上に設計することには向いていない。

【課題を解決するための手段】

【0021】

本発明は、上記のような課題に対して鑑みてなされたものであり、その目的とするところは、高い自律性を有する機械学習を実現するため、被学習器と学習器とが、つなぎ目のない非線形力学系内で一貫して表現される機械学習システムを提供することにある。

【0022】

このような目的を達成するため、本発明では、リザーバーコンピューティングである機械学習システムであって、結合重みを固定したリカレントニューラルネットワークを用いて、経時列入力の過去の情報が反映されて残る状態を作り出し、そこから入力の特徴の読み出しを行うエコーステートニューラルネットワークの構成を有するリザーバーと、リザーバーの内部状態を変換するリードアウトと、学習アルゴリズムと、を備え、学習アルゴリズムが、非線形な入出力関係の近似に活用することによって、リザーバーとして活用され、学習アルゴリズムおよびリードアウトの処理が、リザーバーで置換される、機械学習システムを提供する。

【発明の効果】

【0023】

本発明による機械学習システムを適用すれば、その自律性の高い学習機能により、自発的な学習が実装され、汎用性の高い機械学習が実現される。また、特にＰＲＣにおいては、外的なリードアウトの機構が不要となるため、その構成に律速されない計算が可能となる。

【図面の簡単な説明】

【0024】

【図1】従来技術によるＲＣの機械学習システム１０の構成を模式的に示す図である。

【図2】本発明による機械学習システムの構築における、ＲＬＳアルゴリズムをリザーバーとみなした構成を模式的に示した図である。

【図3】本発明による機械学習システムの構築における、ＲＬＳアルゴリズム上の形式的処理をＲＮＮで置換した構成を模式的に示した図である。

【図4】本発明による機械学習システムの最終的な構成を模式的に示した図である。

【発明を実施するための形態】

【0025】

以下に、図面を参照しながら本発明の種々の実施形態について詳細に説明する。同一又は類似の参照符号は同一又は類似の要素を示し重複する説明を省略する場合がある。材料及び数値は例示を目的としており、本発明の技術的範囲の限定を意図していない。以下の説明は、一例であって本発明の一実施形態の要旨を逸脱しない限り、一部の構成を省略若しくは変形し、又は追加の構成とともに実施することができる。

【0026】

また、以下の説明において、本発明による機械学習システムは、被学習器がＲＣ、学習器に設定される学習アルゴリズムがＲＬＳアルゴリズムである文脈として述べられるが、これは例示を目的としており、限定するものではないことに留意されたい。

【0027】

本発明による機械学習システムは、上述の通り、ＲＣを拡張した機械学習システムであって、被学習器と学習器とが、つなぎ目のない非線形力学系内で一貫して表現される機械学習システムである。

【0028】

以下に、本発明による機械学習システムの原理を詳細に述べる。

【0029】

（原理）
図１に示される機械学習システム１０において、被学習器１１を構成するＲＣは、（式１）および（式２）で表現されるような力学系となる。

【0030】

【数1】

【0031】

ここで、F_ESNは、被学習器１１におけるＥＳＮの時間発展写像である。

【0032】

一方、学習器１２では、上述の通り、ＲＬＳアルゴリズムに基づいた学習が実装される。ＲＬＳアルゴリズムは、データの追加に対して逐一パラメータw(t)を更新するＯｎｌｉｎｅ学習であり、規定の目的関数を最小化するw(t)が、補助変数P(t)を導入した漸化式を用いて更新されるように構成されている。このような計算方法において、ＲＬＳアルゴリズムは、現在の状態x(t)のみを因数として更新されるP(t)と、教師軌道d(t)も因数として計算される差分値Δw(t)の二つに分類される。したがって、機械学習システム１０において、学習器１２で実装される計算は、（式３）及び（式４）のように定式化できる。

【0033】

【数2】

【0034】

このように、ＲＣの学習全体はu(t)、d(t)を引数にとり時間発展するシステムと解釈できる。特に、F_ESN、F_RLSがエコーステートプロパティ（Echo state property：以下、ＥＳＰという）を有する場合、ＲＣの学習全体はそれ自身がリザーバーとして活用できる力学系であるとみなせる。本発明による機械学習システムでは、このような被学習器と学習器の機能性を一つの力学系でつなぎ目なく表現するようにＲＣを拡張している。

【0035】

そのような被学習器と学習器の機能性をつなぎ目なく表現した力学系は、その状態を仮にX(t)とおけば、（式５）及び（式６）のように記述できる。

【0036】

【数3】

【0037】

ここで、F_all、G_allはそれぞれ、学習過程の時間発展と出力の生成機構を表す写像を表す。本発明による機械学習システムでは、ＥＳＮの非線形性tanhのみを用い、その内部結合パラメータを設計することでF_allを実現するＲＮＮが構築されている。このようなシステムでは、入力u(t)と教師軌道d(t)が与えられると、そのダイナミクスの上で「勝手に」学習が進行する。そこでは、通常トップダウン的に設定されるモジュールや明示的な役割分担などの学習過程に付随する構造を、一貫した力学系として表現することで一様なダイナミクスの中に自律的に立ち現れるダイナミックな構造として解析することが可能となる。

【0038】

（本発明による機械学習システムのアーキテクチャ）
本発明による機械学習システムは、以下の３つの構成により実現される。
（１）学習器の学習アルゴリズム（ＲＬＳアルゴリズム）を、リザーバーとして構築
（２）学習器の学習アルゴリズム（ＲＬＳアルゴリズム）上の形式的処理をＲＮＮで置換
（３）（１）と（２）の統合
以下に、各事項に対する詳細な説明を述べる。

【0039】

（リザーバーとしてのＲＬＳアルゴリズムの構築）
図２は、本発明による機械学習システムの構築における、ＲＬＳアルゴリズムをリザーバーとみなした構成を模式的に示した図である。本発明による機械学習システムでは、まず、ＲＬＳアルゴリズムが特定のパラメータの条件下でＥＳＰが成り立つことを示し、そして、その条件下でＲＬＳアルゴリズムそのものをリザーバーとしてみなして活用する。すなわち、ＲＬＳアルゴリズムの高次元性と非線形性に着目し、それをある非線形な入出力関係の近似に活用している。特に、本発明による機械学習システムでは、その対象として、被学習器におけるF_ESNに着目し、それをＲＬＳアルゴリズム内の変数の線形閉ループによって構成している。なお、この閉ループはサンプルされた軌道を使用した教師あり学習によって達成される。このようにして構成された閉ループ系では、被学習器のＥＳＮが線形閉ループに置換され、ＲＬＳアルゴリズムだけが残された構成となり、一貫したシステムとなる。本明細書では、このようなＲＬＳアルゴリズムをリザーバーとみなした形態をＡｌｌ－Ｉｎ－Ｏｎｅ系と呼ぶこととする。

【0040】

次いで、このようなＡｌｌ－Ｉｎ－Ｏｎｅ系において、ＲＬＳアルゴリズムに基づいて学習されるリザーバーの系について説明する。このような場合における系全体は、（式７）から（式１１）で表される。

【0041】

【数4】

【0042】

ここで、μは、ＲＬＳアルゴリズムの目的関数における忘却項であり、０以上１以下を満たすように設定される。

【0043】

本発明における機械学習システムでは、上述の通り、被学習器と学習器の分離構成を解消したＡｌｌ－Ｉｎ－Ｏｎｅ系を構築する。この時、ＲＬＳアルゴリズムそのものをリザーバーとして活用し、被学習器のＥＳＮの近似に活用する。上述の通り、ＥＳＮの時間発展写像F_ESNは、x(t)とu(t)を引数とする非線形写像である。したがって、F_ESNの近似のためには（式８）の軌道が活用できる。すなわち、本発明による機械学習システムでは、（式５）をリザーバーとして活用し、F_ESNを構成する。

【0044】

ある力学系がリザーバーとして活用されるためには、その系がＥＳＰを有することが前提条件となる。ここで、ＥＳＰはある入力での系の漸近状態収束の条件であり、大まかにいえば、入力の過去系列の関数として各変数が記述できることが要求される。

【0045】

一方、P(t)は、（式１２）に示される形で、陽な形式で表現される。

【0046】

【数5】

【0047】

あるシステムをリザーバーとして活用する時、ある種の定常的な状態が仮定される。したがって、十分にtが大きく時間発展した状態での使用が想定される。ここでμ＜１.０ならば、P(t)は（式１３）の値に収束する。

【0048】

【数6】

【0049】

（式８）を考慮すれば、これはP(t)がx(t)とu(t)の過去時系列の関数であることを意味する。加えて、μ＜１.０であるため、時間発展に従い過去の入力の影響が小さくなる。これはF_RLSがＥＳＰを有することを示唆する。これにより、本発明による機械学習システムでは、μ＜１.０の条件のＲＬＳアルゴリズムを採用する。

【0050】

次に、ＲＬＳアルゴリズムに現れる独立な変数に関して論じる。ＲＬＳアルゴリズムは、式１０）の形で、一行で記述されるP(t)の変数であるが、アルゴリズムとしては変数の積と和の繰り返しで構成される。具体的には以下の（式１４）から（式２４）の順に計算される。

【0051】

【数7】

【0052】

ここでi、jは添え字でありiは１以上、jはＮ＋１以下である。

【0053】

今注目すべきは、ＲＬＳアルゴリズムのリザーバーとしての性能で、換言すればアルゴリズム上で出現する（式８）の非線形変換である。上記の式の中で、非線形性という意味で独立なのは a_ij、b_ij、γ、ΔP_ijである。したがって、これらの変数は、ＲＬＳアルゴリズムの計算の結果、必ず生成される非線形な変換でリザーバーとして活用される。特に本発明による機械学習システムでは、（式２５）の２ケースを用意し、リザーバーとしてのＲＬＳアルゴリズムの状態θ_RLS(t)を定義する。

【0054】

【数8】

【0055】

ここで、でθ_RLS(t)の次元数は、Ｐのみの場合は(n² + n)/2、全変数の場合は(5n² + 5n + 1)/2である。

【0056】

最終的に、図１に示されるような系は、線形な閉ループｗ_AIOを（式２６）を満たすように学習させることにより達成される。

【0057】

【数9】

【0058】

なお、このリードアウトw_AIOの学習はＲｉｄｇｅ回帰を用いて達成される。被学習器のＥＳＮをこの線形な閉ループで置き換えることにより、最終的にＥＳＮが消失したＡｌｌ－Ｉｎ－Ｏｎｅ系が構築される。そこでは、ＲＬＳアルゴリズムの非線形性を活用してＥＳＮが表現される。

【0059】

（ＲＬＳアルゴリズム上の形式的処理をＲＮＮで置換）
図３は、本発明による機械学習システムの構築における、ＲＬＳアルゴリズム上の形式的処理をＲＮＮで置換した構成を模式的に示した図である。本発明による機械学習システムでは、ＲＬＳアルゴリズムとリードアウトのアルゴリズム的処理の全体をＥＳＮに置き換える。特に、元のＥＳＮの非線形性のみを活用してこれを構成する。まず、ＲＬＳアルゴリズムを非線形演算と線形演算に分解する。そして各非線形演算をＥｘｔｒｅｍｅ Ｌｅａｒｎｉｎｇ Ｍａｃｈｉｎｅ（以下、ＥＬＭという）と呼ばれる一層のニューラルネットワークを用いて近似し、その非線形演算を学習されたＥＬＭに置き換える。この時、ＥＬＭの非線形関数として、本発明による機械学習システムではtanhを使用する。このＥＬＭの学習は誤差逆伝搬法を用いず、同様に線形回帰で達成される。本明細書では、このような操作をＮｅｕｒａｌｉｚｉｎｇと呼ぶ。結果的に、本発明による機械学習システムでは、３層のニューラルネットワークでＲＬＳアルゴリズムを置換することができる。これを再帰的に結合することで、ＲＬＳアルゴリズムとリードのアルゴリズム的な処理と等価なＲＮＮが獲得される。

【0060】

ＲＬＳアルゴリズム上の形式的処理をＲＮＮで置換するという操作は、具体的には、（式１０）及び（式１１）と等価な処理を行うＲＮＮを構築することに相当する。ＲＬＳアルゴリズムでは、（式１４）における二変数の積、（式１５）、（式１９）における三変数の積、（式１８）における逆数の計算、の累計３種類の非線形演算が要求される。以降それぞれ、XY、XYZ、(1+X)-1と表記する。本発明による機械学習システムでは、これらをＥＳＮの非線形性であるtanhを用いて表現する。具体的には、活性化関数としてtanhを持つＥＬＭを使用し、３種類の非線形演算に対応して（式２７）から（式２９）の３種類のＥＬＭを構築する。

【0061】

【数10】

【0062】

なお、本発明による機械学習システムでは、XY、XYZ、(1+X)-1に対してそれぞれ２０、４０、５０次元の隠れ層をもつＥＬＭを構築した。

【0063】

このように、（式２７）から（式２９）で表されるＥＬＭを用いて、（式１４）、（式１５）、（式１８）、（式１９）、（式２１）及び（式２３）のアルゴリズムを置換することで、（式１０）及び（式１１）は、図３に示されるような３層のニューラルネットワークで表現される。そして、得られたニューラルネットワークを再帰的に結合することで、tanhの非線形性のみが出現する巨大なＲＮＮが構築される。

【0064】

この処理により、内部結合の変更を伴わずにＲＬＳアルゴリズムとリードアウトが等価なＲＮＮが構築できる。なお、このＮｅｕｒａｌｉｚｉｎｇされたＲＬＳの次元数、すなわち独立な非線形成分の数は、ＥＬＭの隠れ層のため、ＲＬＳアルゴリズムの次元数よりはるかに大きい。

【0065】

また、ＲＬＳアルゴリズムとは異なり、これらの要素はそれ単体では明示的な意味を与えられておらず、他の要素と足し合わせることで初めてＲＬＳアルゴリズム内の変数と対応付けられる。

【0066】

（Ａｌｌ－Ｉｎ－Ｏｎｅ系とＮｅｕｒａｌｉｚｉｎｇされたＲＬＳの統合）
図４は、本発明による機械学習システムの最終的な構成を模式的に示した図である。上述のＡｌｌ－Ｉｎ－Ｏｎｅ系の構成とＮｅｕｒａｌｉｚｉｎｇされたＲＬＳの構成を統合することにより、図４に示されるような本発明による機械学習システムとなる。この統合は、具体的には、（式２６）におけるθ_RLS(t)を、ＮｅｕｒａｌｉｚｉｎｇされたＲＬＳにおけるＥＬＭの隠れ層のノードを全て統合したθ_ELM(t)とし、同様に線形閉ループw_AIOを学習させることに相当する。換言すれば、本発明による機械学習システムは、（式２６）を（式３０）に置き換えた構成を有する。

【0067】

【数11】

【0068】

これにより、被学習器と学習器の分離構成が解消され、且つＲＬＳアルゴリズムを用いたＲＣ全体が、tanhの非線形性のみでそのダイナミクスの上に実現されたＲＮＮが実現される。

【0069】

また、本発明による機械学習システムは、入力が与えられなくても常に内部状態が変化し続ける。また、この教師軌道はシステムの内部状態を反映した内的なものであり、その意味で学習対象を自ら構築している自発的な学習機能を有する機械学習システムである。

【0070】

したがって、本発明による機械学習システムは、従来技術による機械学習システム（例えば、機械学習システム１０）に比べ、高い自律性を有したシステムであると言える。

【符号の説明】

【0071】

１０ 機械学習システム
１１ 被学習器
１１０ リードイン
１１１ リザーバー
１１２ リードアウト
１２ 学習器

【図1】

【図2】

【図3】

【図4】