特許 6704585 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6704585

(24)【登録日】2020年5月15日

(45)【発行日】2020年6月3日

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06N 3/04 20060101AFI20200525BHJP

【ＦＩ】

   G06N3/04

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2018-206370(P2018-206370)

(22)【出願日】2018年11月1日

(65)【公開番号】特開2020-71755(P2020-71755A)

(43)【公開日】2020年5月7日

【審査請求日】2019年8月27日

【早期審査対象出願】

(73)【特許権者】

【識別番号】513190830

【氏名又は名称】Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社

(74)【代理人】

【識別番号】100110559

【弁理士】

【氏名又は名称】友野 英三

(72)【発明者】

【氏名】佐藤 可直

(72)【発明者】

【氏名】池田 成満

(72)【発明者】

【氏名】藤野 真人

【審査官】 塚田 肇

(56)【参考文献】

【文献】 特開平１０−０６３６３４（ＪＰ，Ａ）

【文献】 特表２００４−５１１８６６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／００１５４５９（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１８／０２５３６４０（ＵＳ，Ａ１）

【文献】 本間 幸徳 ほか，自然言語を扱う時系列処理ニューラルネットワーク A Time-series Processing Neural Network for Natural Language，電子情報通信学会技術研究報告 Ｖｏｌ．１１３ Ｎｏ．５００ IEICE Technical Report，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，２０１４年 ４月１６日，第113巻，p.151-156

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

情報入力部と、
前記情報入力部に入力された情報を空間パターンとして空間情報に埋め込む教師なし構造学習を行う特徴抽出部と、
教師なし学習で更に学習するネットワーク中に前記特徴抽出部で教師なし構造学習された空間パターンとしての情報を導入して前記構造学習された情報をさらに教師なし学習で学習しつつ蓄積するリザバー層と、
前記リザバー層で蓄積された情報から教師あり学習によって解答を抽出する情報読出部と
を備えるニューラルネットワーク系情報処理装置。

【請求項2】

前記情報入力部及び前記特徴抽出部はＳＯＭ(Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ)、ＡＲＴ（Ａｄａｐｔｉｖｅ Ｒｅｓｏｎａｎｃｅ Ｔｈｅｏｒｙ Ｍｏｄｅｌ）、及び、ＬＶＱ（Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）のいずれかのアルゴリズムで実行され、
前記リザバー層及び前記情報読出部はＥＳＮ（Ｅｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）又はＬＳＭ（Ｌｉｑｕｉｄ Ｓｔａｔｅ Ｍａｃｈｉｎｅ）のアルゴリズムで実行される
ことを特徴とする請求項１に記載のニューラルネットワーク系情報処理装置。

【請求項3】

前記情報入力部及び前記特徴抽出部はＳＯＭ(Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ)、ＡＲＴ（Ａｄａｐｔｉｖｅ Ｒｅｓｏｎａｎｃｅ Ｔｈｅｏｒｙ Ｍｏｄｅｌ）、及び、ＬＶＱ（Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）のいずれかのアルゴリズムで実行され、
前記リザバー層はＥＳＮ（Ｅｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）又はＬＳＭ（Ｌｉｑｕｉｄ Ｓｔａｔｅ Ｍａｃｈｉｎｅ）のアルゴリズムで実行され、
前記情報読出部はＦＯＲＣＥ（Ｆｉｒｓｔ Ｏｒｄｅｒ Ｒｅｄｕｃｅｄ ａｎｄＣｏｎｔｒｏｌｌｅｄ Ｅｒｒｏｒ）又はＢＰＤＣ（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ Ｄｅｃｏｒｒｅｌａｔｉｏｎ）のアルゴリズムで実行される
ことを特徴とする請求項１に記載のニューラルネットワーク系情報処理装置。

【請求項4】

前記特徴抽出部はＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、Ａｕｔｏ−ｅｎｃｏｒｄｅｒ、及び、ＧＴＭ（Ｇｅｎｅｒａｔｉｖｅ Ｔｏｐｏｇｒａｈｉｃ Ｍａｐ）のいずれかのアルゴリズムで実行され、
前記リザバー層及び前記情報読出部はＥＳＮ（Ｅｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）又はＬＳＭ（Ｌｉｑｕｉｄ Ｓｔａｔｅ Ｍａｃｈｉｎｅ）のアルゴリズムで実行される
ことを特徴とする請求項１に記載のニューラルネットワーク系情報処理装置。

【請求項5】

前記特徴抽出部はＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、Ａｕｔｏ−ｅｎｃｏｒｄｅｒ、及び、ＧＴＭ（Ｇｅｎｅｒａｔｉｖｅ Ｔｏｐｏｇｒａｈｉｃ Ｍａｐ）のいずれかのアルゴリズムで実行され、
前記リザバー層はＥＳＮ（Ｅｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）又はＬＳＭ（Ｌｉｑｕｉｄ Ｓｔａｔｅ Ｍａｃｈｉｎｅ）のアルゴリズムで実行され、
前記情報読出部はＦＯＲＣＥ（Ｆｉｒｓｔ Ｏｒｄｅｒ Ｒｅｄｕｃｅｄ ａｎｄＣｏｎｔｒｏｌｌｅｄ Ｅｒｒｏｒ）又はＢＰＤＣ（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ Ｄｅｃｏｒｒｅｌａｔｉｏｎ）のアルゴリズムで実行される
ことを特徴とする請求項１に記載のニューラルネットワーク系情報処理装置。

【請求項6】

前記情報が系列情報である請求項１〜５のいずれか一項に記載のニューラルネットワーク系情報処理装置。

【請求項7】

前記情報が時系列情報である請求項１〜５のいずれか一項に記載のニューラルネットワーク系情報処理装置。

【請求項8】

前記情報が時系列データである請求項１〜５のいずれか一項に記載のニューラルネットワーク系情報識別装置。

【請求項9】

前記情報が音声である請求項１〜５のいずれか一項に記載のニューラルネットワーク系音声識別装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、様々な情報、系列情報、時系列情報を処理し、予測、識別、実行が可能なニューラルネットワーク系情報処理装置に関する。特に、時系列データ、例えば、文章、音声、音楽、動画等の処理に適した情報処理装置に関する。

【背景技術】

【0002】

深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）は、機械学習の一種であるニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の階層を深めた、生物の脳の神経細胞（ニューロン、Ｎｅｕｒｏｎ）モデルとしたアルゴリズムで、１９４０年代から研究が行われてきた歴史のあるアルゴリズムである。ニューラルネットワークの基本的な構造は、入力層、複数の隠れ層、出力層を備え、各層に含まれる複数のノード（ユニット）をエッジで接続する構造となっており、隠れ層の層数が多いものを深層学習と呼んでいる。そして、各層は活性化関数を、エッジは結合荷重を有し、各ノードの値は、そのノードと接続する前の層のノードの値、エッジの結合荷重の値、及び、層が有する活性化関数から計算され、ノード接続方法、計算方法には様々なものが開発されており、近年急速な進化を遂げ、画像認識、音声認識等の様々な分野で実用化されている。

【0003】

このような深層学習で、画像処理の分野で実績があるのは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）である（非特許文献１）。ＣＮＮでは、隠れ層において、入力画像の特徴を維持しながら画像を縮小処理して画像を抽象化し、この抽象画された画像を用いて、入力される画像の分類及び認識をするものである。現在では、更に、教師画像を学習して教師画像と近似した生成画像を生み出すネットワーク構造が開発され、この生成器（Ｇｅｎｅｒａｔｏｒ）と教師画像と生成画像を識別するネットワーク構造である識別器（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）の二つのニューラルネットワークで構成されたネットワーク構造であるＧＡＮの有効性に注目が注がれている。

【0004】

画像処理は二次元の矩形データで固定長の系列データしか取り扱わない一方、音声データ等の可変長の時系列データを扱うことが可能なネットワーク構造として、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が開発された（非特許文献２）。これは、隠れ層の値を再び隠れ層に入力するネットワーク構造としたことに特徴があるが、通常、誤差逆伝播法ＢＰＴＴ（Ｂａｃｋｐｒｏａｇａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｔｉｍｅ）という学習方法を適用するため、過去に遡った全ての時系列データが学習に必要で、長時間のデータを処理する場合、隠れ層が増加するにつれ、勾配損失及び過学習等が生じると共に、莫大な演算量となり、短時間のデータしか処理できないという問題があった。そのため、ＲＰＲＯＰ（Ｒｅｓｉｌｉｅｎｔ Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）やＲＴＲＬ（Ｒｅａｌ Ｔｉｍｅ Ｒｅｃｕｒｒｅｎｔ Ｌｅａｎｉｎｇ）等の学習方法が検討されてきたが、上記課題の解決には至っていない。

【0005】

このようなＲＮＮの課題を解決するネットワーク構造として、１９９７年に開発された、長時間前のデータが関連付けて記録されるデータ貯蔵部を有するＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）が注目されているが、勾配損失を解消する技術であり、学習方法として基本的にはＢＰＴＴを適用しており、大量の教師あり学習が必要であるということに変わりはなく、演算に必要な多大な時間と労力を低減することは困難であり、極めてコストが高いという問題を内在している（非特許文献１）。

【0006】

近年、このような時系列データを扱うＲＮＮやＬＳＴＭの課題を解決する新しいニューラルネットワーク構造として、リザバー計算（ＲＣ、Ｒｅｓｅｒｖｏｉｒ Ｃｏｍｐｕｔｉｎｇ）が提案されている（非特許文献３及び４）。ＲＣは、入力層、リザバー層（隠れ層）、出力層の三層で構成されているＲＮＮの一種であるが、入力層とリザバー層間、リサバー層内のエッジにおける結合荷重は初期値のまま変更することはなく、リザバー層と出力層と結合するエッジにおいてのみ結合荷重を調整して学習するという点に特徴がある。リザバー層は、ノードが規則性なくエッジで結合されており、入力されてきた情報を教師なし学習で学習しつつ、その学習された情報を蓄積していく機能を有していると考えられる。

【0007】

このようなＲＣの範疇に属するアルゴリズムには、ＥＳＮ（Ｅｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）及びＬＳＭ（Ｌｉｑｕｉｄ Ｓｔａｔｅ Ｍａｃｈｉｎｅ）等があり、いずれも、演算に掛かる負担が少なく、時系列データを扱うことができ、ＲＮＮ等と遜色ない学習結果を得ることができる（非特許文献５及び６）。代表例として、ＥＳＮの構造を図１に示す。また、ＲＣのリザバー層と出力層との結合における特徴的な学習方法として、ＦＯＲＣＥ（Ｆｉｒｓｔ Ｏｒｄｅｒ Ｒｅｄｕｃｅｄ ａｎｄ Ｃｏｎｔｒｏｌｌｅｄ Ｅｒｒｏｒ）やＢＰＤＣ（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ−Ｄｅｃｏｒｒｅｌａｔｉｏｎ）等が提案されている（非特許文献７及び８）。しかしながら、ＲＣに高い性能を付与するためには、リザバー層にタスク実行に必要となる活性化関数群が存在しなければならないという問題がある。

【0008】

一方、教師なし学習の代表例で、ＲＣと同様演算に掛かる負担が少ない深層学習として注目されているのが、１９８２年、Ｋｏｈｏｎｅｎによって提案された、入力された情報が自己組織的に分類される自己組織化マップ（ＳＯＭ、Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ）である（非特許文献９及び１０）。これは、入力層と競合層があり、入力層のノードと入力層よりも多い競合層のノードとが全てエッジで結合されており、エッジの結合荷重は当初適当に与えられるが、Ｋｏｈｏｎｅｎｎのアルゴリズムによって、学習するごとに結合の荷重が更新され、入力された情報が精度よく分類される。このようなＳＯＭは、多次元データを扱うことができ、複雑な計算が必要なく、視覚的な結果が得られることから、遺伝子解析、音声認識、画像解析、ロボット制御等への応用が期待されている。これとほとんど相違ないアルゴリズムとして、ＡＲＴ（Ａｄａｐｔｉｖｅ Ｒｅｓｏｎａｎｃｅ Ｔｈｅｏｒｙ Ｍｏｄｅｌ）及びＬＶＱ（Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）等がある。代表例として、ＳＯＭの構造を図２に示す。

【0009】

しかしながら、このようなデータクラスタリング（Ｄａｔａ Ｃｌｕｓｔｅｒｉｎｇ）的なニューラルネットワーク構造では、繰り返し学習が必要であり、データ数が大きい場合、繰り返し学習の回数とデータ数に比例して演算量が膨大になるという問題がある。また、初期の結合荷重や繰り返し学習の回数が適切でない場合、安定した性能が得られないという問題もある。

【0010】

特に、時系列データが音声の場合、音声認識システムとして、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）が有効であることが認識されており、そのシステムは、主として、音声情報の特徴の抽出、抽出された特徴量のモデル化、モデル化されたパラメータを推定する評価基準、最適化アルゴリズムから構成される。特に、音声情報の特徴量をモデル化する方法が重要で、生成モデル、識別モデル、因子分析モデル等が提案されてきた。例えば、生成モデルとしては、ＧＭＭ−ＵＢＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅ−Ｕｎｉｖｅｒｓａｌ Ｂａｃｋｒｏｕｄ）やＧＭＭ-ＳＶ（Ｓｕｐｅｒ Ｖｅｃｔｏｒ）、識別モデルとしては、ＳＶＭ（Ｓｕｐｅｒ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、因子分析モデルとしては、ｉ−ｖｅｃｔｏｒ等である（非特許文献１１及び１２）。その結果、現在の最高水準のモデルであるｉ−ｖｅｃｔｏｒ／ＰＬＤＡ（Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）に至っている。この最高水準のモデルを利用しても、学習、識別データが少ない場合、性能が著しく劣化するという問題がある。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特許第４０９３８５８号公報

【非特許文献】

【0012】

【非特許文献1】「やさしい機械学習」、http://gagbot.net/machine-learning.

【非特許文献2】「ニューラルネットワークで時系列データの予測を行う」, https://qiita.com/icoxfog417/items/2791ee878deee0d0fd9c．

【非特許文献3】「ちょっと変わったニューラルネットワークReservoir Computing」, https://qiita.com/kazoo04/items/71b659ced9dc0342a2b0.

【非特許文献4】B. Schrauwen,D. Verstraeten, and J. V. Campenhout,“An overview of reservoir computing: theory,applications and implementations”, ESANN'2007 proceedings - European Symposiumon Artificial Neural Networks Bruges (Belgium), 25-27 April 2007, d-sidepubli., ISBN 2-930307-07-2, pp.471-482.

【非特許文献5】H. Jaeger,“Echo state network”, Scholarpedia, 2(9):2330(2007), http://www. Scholar-pedia.org/article/Echo_state_network.

【非特許文献6】S. Kok,“Liquid State Machine Optimization”, https://pdfs.semanticscholar. org/379d/135c7ac1a5bded34100b98d04712e2473ec4.pdf.

【非特許文献7】D. Sussillo andL.F. Abbott, “GeneratingCoherent Patterns of Activity from Chaotic Neural Networks”, Neuron 63, 544-557,August 27, 2009.

【非特許文献8】J. J. Steil,“Backpropagation-Decorrelation:onlinerecurrent learning with 0(N)complexity”,http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.161.9279&rep=rep1& type=pdf.

【非特許文献9】T. Kohonen,“Self-OrganizedFormation of Topologically Correct Feature Maps”, Biol. Cybern., 43, 59-69(1982).

【非特許文献10】A. K. Jain, M. N. Murty, and P. J. Flynn,“Data Clustering : A Review”,ACM Computing Surveys, Vol. 31, No. 3, September 1999, pp.264-323.

【非特許文献11】越仲孝文, 篠田浩一, 「話者認識の国際動向」,日本音響学会誌, 69巻, 7号(2013), pp.342-348.

【非特許文献12】小川哲司, 松井知子， 「話者認識で用いる機械学習」, 日本音響学会誌, 69巻, 7号(2013),pp.349-356.

【発明の概要】

【発明が解決しようとする課題】

【0013】

ニューラルネットワーク系情報処理技術は、次のような課題がある。ＲＮＮ等の教師あり学習は、大量の教師あり学習で、学習方法としてＢＰＴＴを使用するため、莫大な演算量が必要であると共に、勾配損失及び過学習の問題がある。ＥＳＮ等のリザバー層から出力層の結合荷重をチューニングするＲＣは、演算量は抑制されるが、高い性能を要求する場合、リザバー層にタスク実行に必要となる関数群が存在しなければならない。また、ＳＯＭ等のクラスタリング的な教師なし学習は、構造上スタティックな情報のみしか扱えないこと、繰り返し学習が必要な為、その回数とデータ数に比例して演算量が膨大になること、また、初期の結合荷重や繰り返し学習の回数が適切でない場合、安定した性能が得られないという問題がある。

【0014】

特に、音声処理技術においては、現在の最高水準であるｉ−ｖｅｃｔｏｒ／ＰＬＤＡモデリングを用いた音声識別システムでも、学習、識別データが少ない場合、性能が著しく劣化するという課題がある。そのため、音声認識システムへのニューラルネットワーク系情報処理技術の適用が検討されているが、当然、音声認識システムにＲＮＮ、ＥＳＮやＬＳＭ等のＲＣ、及び、ＳＯＭ、ＡＲＴ、ＬＶＱ等のクラスタリング的な教師なし学習を適用する場合にも、上述したようなそれぞれ固有の課題が生起する。

【0015】

本発明は、上記課題を解決した単純なニューラルネットワーク構造であって、演算が容易で少ないにもかかわらず、性能に優れた情報処理装置及び情報識別装置、特に、時系列データにも対応可能な情報処理装置及び情報識別装置を提供することを目的とする。

【課題を解決するための手段】

【0016】

本発明者らは、ＥＳＮ、ＬＳＭ、及び、ＳＯＭ等のニューラルネットワーク構造及びそれらを実行するアルゴリズムを詳細に検討した結果、ＲＣにおいて、リザバー層に入力する情報の特徴を予め抽出し、事前学習することによって、上述した課題を解決できることを見出すと共に、リザバー層と出力層との結合における学習方法を最適化することによって更に性能が向上することを見出し、本発明の完成に至った。

【0017】

すなわち、本発明は、少なくとも、情報入力部と、前記情報入力部に入力した情報を空間情報に埋め込む教師なし構造学習を行う特徴抽出部と、この特徴抽出部で教師なし構造学習された情報を教師なし学習で更に学習を行うネットワーク中に導入してその構造学習された情報を学習しつつ蓄積する情報蓄積部と、この情報蓄積部で蓄積された情報から教師あり学習によって解答を抽出する情報読出部とを備えるニューラルネットワーク系情報処理装置を提供するものであって、この順に直接接続されることが効率的で好ましい。

【0018】

更に、情報の種類、質、及び、量等に応じて、本発明の情報処理装置の前に、情報収集部及び情報処理部を備えることが好ましい。一方、本発明の情報処理装置の後には、情報処理の結果の扱い方に応じて、様々な方法のマン・マシン・インターフェースとしての出力部を設けることが好ましい。

【0019】

本発明の情報処理装置を構成する情報入力部、特徴抽出部、情報蓄積部、及び、情報読出部は、特に限定されるものではない。ただし、特徴抽出部が、時系列データも扱うことができ、入力した情報を空間情報に埋め込む教師なし構造学習を行うことができるデータクラスタリング的なニューラルネットワーク構造であって、情報蓄積部も、時系列データも扱うことができ、入力した情報を教師なし学習で学習しつつ、その学習された情報を蓄積することができるＲＣ的なニューラルネットワーク構造であることが求められる。

【0020】

具体的には、特徴抽出部として、ＳＯＭ、ＡＲＴ、及び、ＬＶＱ等の情報入力部と特徴抽出部とが二層で接続され、その層間で教師なしの繰返し競合学習が行われる新しいニューラルネットワーク構造全体又はその一部を利用することができる。また、従来の教師なし学習で次元圧縮を主として行うＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、Ａｕｔｏ−ｅｎｃｏｒｄｅｒ、及び、ＧＴＭ（Ｇｅｎｅｒａｔｉｖｅ Ｔｏｐｏｇｒａｈｉｃ Ｍａｐ）等の手法も利用できる。また、情報蓄積部は、既存のＲＣであるＥＳＮ（Ｅｃｈｏ Ｓｔａｔｅ Ｎｅｔｗｏｒｋ）、ＬＳＭ（Ｌｉｑｕｉｄ Ｓｔａｔｅ Ｍａｃｈｉｎｅ）等の教師なし学習が行われる情報蓄積部と、その学習された情報を教師あり学習で読み出す情報読出部とが接続している新しいニューラルネットワーク構造全体又は一部を利用することができる。更に、情報読出部では、ＲＣに適用可能な学習方法であるＦＯＲＣＥ又はＢＰＤＣを適用することもできる。

【0021】

特に、情報入力部と特徴抽出部とが接続した、ＳＯＭ、ＡＲＴ、及び、ＬＶＱのいずれかと、情報蓄積部と情報読出部とが接続したＥＳＮ又はＬＳＭのどちらかとを接続することが、従来にない新たなニューラルネットワーク構造を構築する必要がなく、簡便な方法でありながら、演算量が少なく、性能に優れた情報処理装置を低価格で提供することができ、特に、ＳＯＭとＥＳＮの組合せが最も好ましい。

【0022】

更に、情報入力部及び特徴抽出部は、ＳＯＭ、ＡＲＴ、及び、ＬＶＱ（Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）のいずれかを適用するが、情報蓄積部は、ＥＳＮ又はＬＳＭのリザバー層を活用するが、情報読出部では、ＦＯＲＣＥ又はＢＰＤＣのＥＳＮ又はＬＳＭと異なる学習方法を適用することもできる。この場合、音声、動画、文章等情報の種類、質、及び、量等に応じて使い分けることが好ましい。

【0023】

特徴抽出部として、ＰＣＡ、Ａｕｔｏ−ｅｎｃｏｒｄｅｒ、及び、ＧＴＭのいずれかのアルゴリズムで実行されるニューラルネットワーク構造を適用し、情報蓄積部及び情報読出部には、ＥＳＮ又はＬＳＭを適用することも可能である。更に、この場合、情報蓄積部として、ＥＳＮ又はＬＳＭのリザバー層を活用し、情報読出部として、ＦＯＲＣＥ又はＢＰＤＣを適用することもできる。

【0024】

このように、本発明の情報処理装置は、従来のニューラルネットワーク構造全体又は一部を多種多様な構造に組み換えて構築されることによって創造された、全く新しいニューラルネットワーク構造を応用した情報処理装置であるという大きな特徴がある。

【0025】

本発明の情報処理装置は、時系列データに対応可能なニューラルネットワーク構造で構成されているが、それに限定されることはなく、系列データの情報処理にも対応可能なニューラルネットワーク構造である。特に、本発明の情報処理装置は、莫大な情報から演算量を増やすことなく精度の高い情報処理が可能な為、動画、音声、文章、及び、言語等の抽出、認識、判断、及び、診断等の識別、並びに、自動車の自動運転等に代表される表現、行動、作業等の実行に適している。中でも、音声の情報処理に適しており、音声認識、話者識別、音声合成、感情把握、情報判断等に適している。

【発明の効果】

【0026】

本発明の情報処理装置は、情報入力部と、前記情報入力部に入力した情報を空間情報に埋め込む教師なし構造学習を行う特徴抽出部と、前記特徴抽出部で教師なし構造学習された情報を教師なし学習で更に学習を行うネットワーク中に導入して前記構造学習された情報を学習しつつ蓄積する情報蓄積部と、前記情報蓄積部で蓄積された情報から教師あり学習によって解答を抽出する情報読出部とを備えていることを特徴としている。より具体的には、本発明は、入力層、リザバー層、出力層から構成されるリザバー層における教師なし学習とリザバー層と出力層との接続における結合荷重のみ調整する教師あり学習とを実行して情報処理を行うことができるＥＳＮやＬＳＭ等のＲＣの入力層に入力する情報が、クラスタリング的なニューラルネットワーク構造で教師なし構造学習された情報とすることを特徴とする情報処理装置である。このことによって、莫大な情報量であっても、演算量の増加を招くことなく、従来技術以上の高い性能を発揮することができるようになり、演算コストを大きく削減することができる。更に、本発明の情報処理装置は、従来にない新たなニューラルネットワーク構造を構築する必要がなく、既存のニューラルネットワーク構造を情報の種類、質、及び、量等に応じて様々な構造に組換えることによって創造された、全く新しいニューラルネットワーク構造を応用したものであるため、簡便な構造で容易に製造可能であり、装置コストも大きく削減することができる。特に、音声識別システムにおいては、本発明の情報処理装置は、現在最高水準のモデルであるｉ−ｖｅｃｔｏｒ／ＰＬＤＡを用いた音声識別システム以上に高い識別能力を有する。更に、本発明の情報処理装置は、時系列データに対して最小限の遅延のみで、リアルタイムに出力結果を得ることができる。

【図面の簡単な説明】

【0027】

【図1】ＲＣの代表例であるＥＳＮのニューラルネットワーク構造を示す模式図である。

【図2】データクラスタリング的な深層学習の代表例であるＳＯＭのニューラルネットワーク構造を示す模式図である。

【図3】本発明のニューラルネットワーク構造を備えた情報処理装置の概念を示す模式図である。

【図4】本発明の一実施形態に係るＲＯＭ（Ｒｅｓｅｒｖｏｉｒ ｗｉｔｈ ｓｅｌｆ−ｏｒｇａｎｉｚｅｄ Ｍａｐｐｉｎｇ）の構造を示す模式図である。

【発明を実施するための形態】

【0028】

本発明の情報処理装置について、音声認識装置に利用する場合を想定し、複数の固有の特性を有する音声が、複数の源から発せられる話者音声情報を用いた話者識別に関する実施形態を詳細に説明するが、本発明の情報処理装置が扱うことが可能な音声情報、また、本発明の情報処理装置が応用可能な音声認識装置はこれに限定されるものではない。更に、ここでは本技術の一実施例として、音声情報を扱うことを想定した一実施形態を取り上げたが、本発明の情報処理装置が扱うことができる情報は音声だけに限定されるものではなく、静止画、動画、文章等、系列データ及び時系列データを問わず幅広く取り扱うことができる上、本発明の情報処理装置の構成もこれに限定されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能であり、特許請求の範囲に記載した技術思想によってのみ限定されるものである。

【0029】

本発明の一実施形態である音声認識装置は、図４に示すように、情報入力部４−１、特徴抽出部４−２、 情報蓄積部４−３、及び、情報読出部４−４から構成され、それぞれ、ＳＯＭの入力層、ＳＯＭの競合層、ＥＳＮのリザバー層、ＥＳＮの出力層を適用したもので、ＥＳＮにおける入力層（図１における１−１）に、ＳＯＭの入力層４−１及び競合層４−２（４−１２）（図２における２−１及び２−２）が組み込まれ、新しいニューラルネットワーク構造が創出されており、ＲＯＭ（Ｒｅｓｅｒｖｏｉｒ ｗｉｔｈ ｓｅｌｆ−ｏｒｇａｎｉｚｅｄ Ｍａｐｐｉｎｇ）と命名し、話者識別装置に適用した。このように、本発明の技術思想を具体的に説明するため、本発明の一実施形態としてＲＯＭを取り上げ、音声を扱う情報処理装置に応用しているが、情報は、音声に限定されるものではなく、静止画、動画、音楽、文章等あらゆる情報の処理装置に応用可能である。

【0030】

この実施形態では、情報入力部４−１に音声情報を入力することになるが、情報入力部４−１には、話者識別に適した音声情報とする必要がある。そのため、（図４には図示していない）図３に示したような従来技術を用いた情報収集部や情報処理部を適宜設けた。具体的には、情報収集部にはマイクロフォン等の音声入力デバイスを、情報処理部には、マイクロフォンから入力された音声信号を話者識別に適した前処理を行う高速フーリエ変換（ＦＦＴ、Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）アナライザーを設けた。ただし、情報処理方法は、音声信号から話者の特徴量を抽出する方法であれば、これに限定されることなく適用できる。例えば、あらかじめ決められた特徴量を数学的に計算して求める方法や、ルールベースによる処理で特徴量を抽出する方法、フォルマント等を適用してもよい。

【0031】

一方、情報読出部４−４には、識別結果が出力されるが、話者識別装置としても利用の仕方に応じて、（図４には図示していない）図３に示したような出力部３−７として、スピーカーやディスプレイ等既存の出力装置を備えることが好ましい。

【0032】

このような本発明の一実施形態である話者識別装置は、情報収集部及び情報処理部から情報入力部４−１に音声情報を入力された後、特徴抽出部４−２、情報蓄積部４−３、情報読出部４−４を経由して、識別結果が出力され、その結果が出力部で公開される。例えば、話者が５人の場合（話者１、話者２、話者３、話者４、話者５）、話者２が発話していれば、識別結果として話者２が出力される。

【0033】

次いで、本発明の一実施形態である図４に示す話者識別装置４の学習方法や動作を説明するが、上述したように、話者識別に適した音声情報を入力する必要があるため、情報収集部で集められた音声情報に対して情報処理部でＦＦＴを行ったので、簡単に説明する。

【0034】

音声信号は連続信号であり、発話が全て終わってからＦＦＴを行うのでは実用性に欠けるため、音声信号を一定時間に区切る時間窓を設定し、時間窓内の音声波形に対してＦＦＴを行った。通常、時間窓は、矩形波状やハミングウィンドウ等の窓関数を設定するが、両端の不連続性が問題になることを考慮してハミングウィンドウの窓関数を用いた。

【0035】

次いで、情報入力部４−１と特徴抽出部４−２において行われる教師なし学習について説明する。この情報入力部４−１と特徴抽出部４−２は、それぞれ、図２の模式図に示したフィードフォワードニューラルネットワークであるＳＯＭ２の入力層２−１及び競合層２−２に対応している。ここでは、以下、図４の新しく構築されたニューラルネットワーク構造の符号及びその説明を使用して説明する。

【0036】

特徴抽出部４−２は、一般的には、ノードが一次元に配置したアレイ又は二次元に配置したマップであるが、ここでは、二次元のマップとし、情報収集部及び情報処理部を経由して情報入力部４−１に入力された高次元の情報を二次元の空間パターンとして特徴抽出部４−２に出力する教師なし競合学習が行われた。この教師なし競合学習における結合荷重ｗ_ｉは、次のようにして更新された。情報処理部でＦＦＴが行われた情報入力部４−１への入力情報ｘに対し、最初は、初期化された結合荷重ｗ_ｉを用いた式（１）により学習されたノードｉ^＊を得るが、それ以後、情報入力部４−１への入力情報ｘに対して、結合荷重ｗ_ｉに最も近い値で、ノードｉ^＊の近傍のノードとなるように、式（１）及び（２）に従って次々と更新される。

【0037】

【数1】

【0038】

ここで、ｄは距離関数、γ（ｎ）は学習回数ｎで減衰する学習率、Ｎ（ｉ，ｊ；ｎ）は、ノードｉとｊの間の距離Ｄ（ｉ，ｊ）と共に減少する近接関数であり、本発明の一実施形態では、学習率及び近接関数は、式（５）、（６）、及び（７）によって求めた。γ_０及びλは、それぞれ、初期学習率及び学習減衰因子である。このようにして、全ての結合荷重が正規化され、似通った入力データが特徴抽出部４−２に密接したノードとして投影される。

【0039】

【数2】

【0040】

そして、この教師なし競合学習によって得られた、一種のクラスタリングされた情報が、情報蓄積部４−３の入力情報となり、更に情報蓄積層４−３において、教師なし学習が行われつつ情報が蓄積される。最後に、この蓄積された情報に基づき、情報蓄積部４−３と情報読出部４−４との間において教師あり学習が行われ、話者が識別された結果情報読出部に出力され、需要に応じた方法で出力部から公開される。

【0041】

これは、図１に示したＥＳＮ１の模式図では、特徴抽出部４−２の出力情報が、入力層１−１に与えられ、リザバー層１−２において、教師なし学習が行われつつ情報が蓄積され、リザバー層１−２と出力層１−３との間で教師あり学習が行われることと対応している。すなわち、図４の新しく構築されたニューラルネットワーク構造は、情報入力部４−１と特徴抽出部４−２とをまとめて、情報蓄積部４−３及び情報読出部４−４の情報入力部４−１２と考えれば、図１の模式図に示したフィードバックニューラルネットワークで、ＲＮＮの一種であるＥＳＮ１の入力層１−１、リザバー層１−２、出力層１−３と対応している。ここでは、以下、図４の新しく構築されたニューラルネットワーク構造の符号及びその説明を使用して説明する。

【0042】

ＥＳＮは、ＲＮＮの一種であるが、前の時刻の隠れ層の出力を次の時刻の隠れ層の入力としてＢＰＴＴ等の学習方法を用いるＲＮＮと全く異なり、少量の教師あり学習で複雑な時系列のダイナミックスを学習できる。これは、図４の情報蓄積部４−３が、ＲＮＮの結合Ｗを持った一つの隠れ層から構成されており、その一つの隠れ層の内部にＲＮＮの隠れ層に相当するノードが不規則に結合されていると共に、各結合荷重が不規則で固定されていることに起因している。

【0043】

本発明の実施形態では、特徴抽出部４−２から情報蓄積部４−３への結合を書込みＷ_ｉｎと呼び、情報蓄積部４−３から情報読出部への結合を読出しＷ_ｏｕｔと呼び、出力ｙ（ｔ）は、式（７）のように計算される。このｙ（ｔ）は、話者数の次元を持つベクトルであり、各次元が各話者に対応する。そして、話者の登録時には、ｙ（ｔ）が、フレームｔにおける話者のワン・ホットベクトル（発話を行っている話者に対応する要素が１、その他の要素は０に設定されたベクトル）に設定され、Ｗ_ｏｕｔはこのような出力を与えるように学習される。一方、話者の認識時には、ｙ（ｔ）は、各話者のスコア（その話者が発話を行っている尤もらしさ）を与える。なお、時間ステップｔにおける情報蓄積（リザバー）状態ｓ（ｔ）は式（６）で計算され、ｘ（ｔ）は入力ベクトル、ε（ｔ）はノイズ、αは入力スケールファクターである。

【0044】

【数3】

【0045】

ここで、本発明の一実施形態における特徴抽出部４−２の一組のノードと情報蓄積部４−３の一組のノードとは同一であり、特徴抽出部４−２の一組のノードの二次元空間パターンというトポロジーは情報蓄積部４−３において無視される。

【0046】

さて、本発明の一実施形態においては、初期化において、ＲＮＮ結合Ｗの各コンポーネントは、確率ｐ_ｗを０とする、すなわち、スパース化するか、又は、［−１，１］の一様分布から選ばれ、ＲＮＮ結合Ｗの全てのコンポーネントは、同じファクターを用いてそのスペクトル半径ｒ_ｗが１より小さくなるように調整された。初期化後は、このニューラルネットワークの特徴であるように、Ｗの全てのコンポーネントが固定された。

【0047】

これは、初期化の設定の一例であり、次のように様々な選択肢がある。例えば、読出しＷ_ｏｕｔの学習（話者登録時）及び識別・分類（話者識別）時において、１）ゼロベクトルに設定する、２）ＳＯＭの学習に使用したデータ（音声）を、全て又は部分的に入力した後のリザバー状態に設定する、３）Ｗ_ｏｕｔの学習（話者登録）用の音声を、全て又は部分的に入力した後のリザバー状態に設定する、４）上記の音声を組み合わせて入力した後のリザバー状態に設定する等の方法がある。

【0048】

また、このニューラルネットワークは、情報蓄積部４−３から情報読出部への結合を読出しＷｏｕｔにおいてのみ、教師あり学習が実行される。このステップは、本発明の一実施形態においては、エンロールメント（登録）といい、少量のデータの教師あり学習によって十分な精度の高い学習が行われることができる。これは、情報蓄積部４−３が大容量で、入力データのダイナミクスをモデル化することができる能力があるためである。ただし、本発明の一実施形態のエンロールメントは、従来のｉ−ｖｅｃｔｏｒ系システムと異なり、話者のある１グループに対して行われ、個々の話者に対して行われるものではない。そのため、識別結果としては、各登録された話者の発話の可能性が情報読出部４−４から得られる。

【0049】

更に、本発明の一実施形態では、話者識別装置に応用しているため、読出しマトリックス（行列）が、情報蓄積（リザバー）状態空間における話者と想像されるベクトルの集合であると解釈される。本発明の一実施形態では、ｘ（ｔ）を無視し、Ｗ_ｏｕｔの列ベクトルを用いて、式（７）の右辺を簡略化し、式（８）に書き換えることにした。ここで、Ｐは，話者の個体数、ω_ｏｕｔはコサイン類似度を示している。この式は、話者ｐであることの可能性が、コサイン類似度ω_ｏｕｔと抽出される情報蓄積（リザバー）状態ｓ（ｔ）によって与えられ、発話から抽出されることを示している。従って、コサイン類似度ω_ｏｕｔが情報蓄積（リザバー）状態空間における話者ベクトルを表出していると見なすことができ、話者識別装置として機能することができる。

【0050】

【数4】

【0051】

以上、本発明の一実施形態である話者識別装置は、ＳＯＭとＥＳＮの構造及びアルゴリズムを詳細に検討した結果、図４の模式図に示すように、ＥＳＮの入力層としてＳＯＭを結合させ、情報入力部４−１から情報蓄積部４−３までの式（１）〜（７）に示した教師なし学習方法を用い、話者識別に適した式（８）の教師あり学習を工夫することによって実現することができた。

【0052】

そこで、本発明の一実施形態である話者識別装置の性能を明らかにするために、短い発話に関し、認識時の発声内容が登録時の発声内容によらないテキスト独立型話者識別に関する実験を行うと共に、現在の音声から抽出された特徴量のモデル化として最高水準のｉ−ｖｅｃｔｏｒ／ＰＬＤＡを用いた話者識別装置の識別精度と比較した。この実験では、登録と識別に使った全ての発話は明瞭で短いものであり、話者の全てが既知であるクローズドセット話者識別に的を絞った。換言すれば、存在しない人の発話は用いられない。

【0053】

この実験では、日本語話し言葉コーパス（ＣＳＪ）と多数の話者のＡＴＲ音声データベース、特に音素バランス文を読み上げ発生したもの（ＡＴＲ／ＡＰＰ−ＢＬＡ）の二つのコーパスを用いた。

【0054】

ＣＳＪは、日本語の自発音声データの収集であり、１６ｋＨｚで、１，３９５名の話者の６６１時間の話し言葉が含まれており、その約９０％はモノローグ音声で、残り約１０％は対話、朗読、再朗読の音声である。このコーパスは、ｉ−ｖｅｃｔｏｒ音声抽出器の学習のために用いられ、そのコーパスから無作為に選択された一部がＲＯＭの情報入力部４−１及び特徴抽出部４−２における事前学習、すなわち、情報蓄積部４−３への構造学習された入力情報を生成するために用いられた。

【0055】

ＡＴＲ／ＡＰＰ−ＢＬＡは、ＣＳＪと同じ音声データの収集で、３，７００名の話者によって読み上げられた音素バランス文の約１００，０００件の朗読であり、総朗読時間は１２８時間であるが、平均発話時間は４秒であり、話者は一度しか声に出して読み上げない。そして、このコーパスも、多数の話者による明瞭で短い朗読である。このコーパスから、本発明の一実施形態の話者識別装置のエンロールメント（登録）と識別のための発話を以下に記載される方法で選択した。

【0056】

６人、５０人、１００人からなる話者群ｐの一つのグループ内における話者を識別するために、数多くの試験を行った。最初に、話者群ｐのある一つの話者グループＧｐが、ある一セットが５０である単文を朗読した１５９６人の話者から無作為に選択された。それから、グループＧｐ、０．５秒、１秒、２秒、及び、５秒からなる登録時間ｄｅ、並びに、０．５秒、１秒、２秒、及び、５秒からなる識別時間ｄｒの各組合せを求めるための四つの単文が無作為に選択された。その後、単文と話者の各ペアに対し、必要に応じて、上記四つの単文以外の単文を切り取り、繋ぎ合わせることによって、登録時間ｄｅ及び識別時間ｄｒの発話を抽出した。最後に、登録のために、グループＧｐの全ての話者のための一つの単文、すなわち、各話者のための一つの発話が選択され、識別のために残っている発話が選択された。登録のための単文の選択を変えながら、この手順が４回繰り返された。言い換えれば、四つの発話から登録のための一つの発話が提供されたのである。それゆえ、登録は、Ｇｐ、ｄｅ、ｄｒ、及び、ｉ（発話が提供される回数）の組合せに対して一回だけ必要とされる。発話グループＧの無作為な選択は、ｐ＝６人、５０人、１００人それぞれに対して、Ｎ_Ｇｐ＝１５０回、２０回、１０回繰り返される。従って、試験は、ｐ、ｄｅ、及び、ｄｒによって決定される条件の下で、ｐ×Ｎ_Ｇｐ×３（発話内容）×４（四つの単文から一つの単文を提供）回行われる。

【0057】

上述したように、ＣＳＪによって学習されたｉ−ｖｅｃｔｏｒ／ＰＬＤＡを用いたシステムを基準とした。音声認識でよく使用され音声の特徴表現の代表例である、デルタ及びデルタ−デルタ特徴量が追加された２０次元のＭＦＣＣｓ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）を用いて、６０次元の音響的特徴が形成された。ＦＦＴを実施する時間窓のフレーム幅及びフレームシフトは、それぞれ、２０ｍｓ及び１０ｍｓである。この音響的特徴から、事前に学習しておいた事前分布として２５６混合の完全共分散行列ＧＭＭ−ＵＢＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ−Ｕｎｉｖｅｒｓａｌ Ｂａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌ）を用いて、一般的な話者の音響的特徴（ＵＢＭ）からの差として話者の音響的特徴を表現する１００次元のｉ−ｖｅｃｔｏｒを抽出する。更に、次のように話者内の変動要因を低減する。すなわち、このようにして抽出したｉ−ｖｅｃｔｏｒに対してホワイトニング及び長さの規格化を行った後、ＬＤＡ（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）により５０次元に圧縮し、更に、ＷＣＣＮ（Ｗｉｔｈｉｎ−Ｃｌａｓｓ Ｃｏｖａｒｉａｎｃｅ Ｎｏｍａｒｉｚａｔｉｏｎ）を行い話者内の変動要因を低減する。そして、ＰＬＤＡモデルにより話者のスコアを算出した。

【0058】

本発明の一実施形態である話者識別装置では、次のような条件で話者識別を行った。入力される音響的特徴は、１０２５次元の対数パワースペクトルである。ＦＦＴを実施する情報処理部３−６の時間窓のフレーム幅及びフレームシフトは、それぞれ、１００ｍｓ及び２５ｍｓとした。また、本発明の一実施形態の実験では、ＲＯＭ４に表１に示すパラメータを設定した。これらのパラメータは、ＡＴＲ／ＡＰＰ−ＢＬＡの選択されなかったデータを用いて決定され、評価には使用されていない。情報入力部４−１及び特徴抽出部４−２における事前学習には、ＣＳＪから１０，０００フレームの話し言葉が用いられた。

【0059】

このようにして得られた結果をｉ−ｖｅｃｔｏｒ／ＰＬＤＡの結果と比較するために、次のような手順で音声全体に対する話者識別結果を定める。各フレームにおける話者のスコアを表す出力ベクトルｙ（ｔ）にソフト・マックス関数を適用し、識別対象の音声全体で和を取った結果が最大となる話者を識別結果として採用する。

【0060】

【表1】

【0061】

表２に、本発明の一実施形態であるＲＯＭ４及びｉ−ｖｅｃｔｏｒ／ＰＬＤＡを用いたシステムについて、結果として得られた話者識別の精度を示す。表から明らかなように、登録時間ｄｅ及び識別時間ｄｒが十分に長く、話者群Ｇｐの人数が少ない場合、両者に有意差が認められないが、登録時間ｄｅ及び識別時間ｄｒが短くなるにつれ、また、話者群Ｇｐの人数が多くなるにつれ、本発明の一実施形態であるＲＯＭ４を用いたシステムの話者識別精度が、ｉ−ｖｅｃｔｏｒ／ＰＬＤＡを用いたシステムのそれよりも高いという結果が得られた。すなわち、本発明の実施形態であるＲＯＭ４を用いたシステムは、世界最高水準の話者識別精度を有していることが明らかとなった。

【0062】

【表2】

【0063】

このような結果は、短い発話で登録及び識別が行え、話者の負担が極めて軽く、精度の高い音声認識装置を構築できる上、演算コストが低く、低価格の音声認識装置を提供できることを示している。更に、上記一実施形態の話者識別装置から分かるように、本発明の情報処理装置は、出力結果をフレームごとに与えることができる。これは、出力結果を時間ステップごとに与えることができることを意味しているので、本発明が、時系列データに対して最小限の遅延のみで、リアルタイムに出力結果を得ることができる情報処理装置であることを示している。

【産業上の利用可能性】

【0064】

本発明の情報処理装置は、莫大な情報から演算量を増やすことなく精度の高い情報処理が可能であり、実施例では、音声認識において優れた性能を発現することを示した。しかし、ニューラルネットワークの実用化が最も進んでいる、売上需要動向、商品トレンド・レコメンド等の予測の分野に適用できることはいうまでもなく、更に高度な情報処理が必要とされる識別及び実行の分野に適している。識別の分野では、言語、画像、音楽等の判断、仕分け、及び、検索等、並びに、音声、画像、及び、動画等の識別、認証、及び、感情把握等、並びに、故障、異常、及び、潜在顧客等の予知、検出、及び、発見等に適用することができ、また、実行の分野では、自動運転車、Ｑ＆Ａ対応、及び、苦情処理対応等の作業の自動化、並びに、文章の要約、作成、及び、翻訳等の表現生成、並びに、ゲーム攻略、配送経路の最適化等の行動の最適化に適用することができ、幅広い産業分野に利用可能である。特に、時系列データに対して最小限の遅延のみで、リアルタイムに出力結果を得ることができる情報処理装置に適している。

【符号の説明】

【0065】

１ ＥＳＮ
１−１ 入力層
１−２ リザバー層
１−３ 出力層
２ ＳＯＭ
２−１ 入力層
２−２ 出力層（競合層）
３ 情報処理装置
３−１ 情報入力部
３−２ 特徴抽出部
３−３ 情報蓄積部
３−４ 情報読出部
３−５ 情報収集部
３−６ 情報処理部
３−７ 出力部
４ ＲＯＭ（Ｒｅｓｅｒｖｏｉｒ ｗｉｔｈ ｓｅｌｆ−ｏｒｇａｎｉｚｅｄ Ｍａｐｐｉｎｇ）
４−１ 情報入力部／ＳＯＭの入力層
４−２ 特徴抽出部／ＳＯＭの出力層（競合層）
４−１２ ＳＯＭ（ＥＳＮの入力層に相当）
４−３ 情報蓄積部／ＥＳＮのリザバー層
４−４ 情報読出部／ＥＳＮの出力層

【図1】

【図2】

【図3】

【図4】