特許 7557874 フィードフォワードニューラルネットワークを複数段含む学習済みネットワーク、並びに当該学習済みネットワークの生成方法及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-19

(45)【発行日】2024-09-30

(54)【発明の名称】フィードフォワードニューラルネットワークを複数段含む学習済みネットワーク、並びに当該学習済みネットワークの生成方法及び情報処理システム

(51)【国際特許分類】

   G06N 3/045 20230101AFI20240920BHJP

   G06N 3/0499 20230101ALI20240920BHJP

【ＦＩ】

G06N3/045

G06N3/0499

【請求項の数】 14

(21)【出願番号】P 2021016396

(22)【出願日】2021-02-04

(65)【公開番号】P2022119341

(43)【公開日】2022-08-17

【審査請求日】2023-11-15

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(72)【発明者】

【氏名】佐宗 晃

【審査官】真木 健彦

(56)【参考文献】

【文献】国際公開第２０２０／０６２８９４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１１２８０８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４５

Ｇ０６Ｎ ３／０２

(57)【特許請求の範囲】

【請求項1】

予め定められたタイミングパターンに基づき特定される時刻における観測特徴量を入力とする第１のフィードフォワードニューラルネットワークを含む第１のネットワークと、
前記予め定められたタイミングパターンに基づき特定される時刻における、１つ下段のネットワークの出力特徴量と観測特徴量との連結である連結特徴量を入力とする第２のフィードフォワードニューラルネットワークを含み、当該第２のフィードフォワードニューラルネットワークの出力と前記１つ下段のネットワークの出力特徴量との加算により出力特徴量を算出する加算部を各々含む（Ｌ－１）段（Ｌは２以上の整数）の第２のネットワークと
を含み、コンピュータによって実行可能な学習済みネットワークであって、
前記予め定められたタイミングパターンは、第１乃至第ｍ（１以上ｍはＬ以下の整数）のタイミングパターンを含み、
前記第１及び第２のネットワークの各々に、当該ネットワークの、最下段からの段数ｘ（１≦ｘ≦Ｌ）に基づき、前記第１乃至第ｍのタイミングパターンのうち第（ｘ mod ｍ）のタイミングパターンを適用する
学習済みネットワーク。

【請求項2】

前記第１及び第２のネットワークの各々は、
当該ネットワークのためのタイミングパターンで特定される時刻における観測特徴量を保持するためのメモリ領域を用いる
請求項１記載の学習済みネットワーク。

【請求項3】

前記第１乃至第ｍのタイミングパターンのうちの第ｙ（１≦ｙ≦ｍ）のタイミングパターンが、
観測特徴量を用いるべき最も新しい時刻と最も古い時刻との差が（ｂ－１）×ｂ^ｙ－１であり、均等間隔でｂ個の時刻を含む
請求項１又は２記載の学習済みネットワーク。

【請求項4】

最上段のネットワークの出力特徴量と、前記第１のネットワーク及び前記最上段のネットワーク以外の前記第２のネットワークの出力特徴量のうち少なくとも１つの出力特徴量とを入力とする第３のネットワークをさらに含む請求項１乃至３のいずれか１つ記載の学習済みネットワーク。

【請求項5】

請求項１乃至３のいずれか１つ記載の学習済みネットワークを複数含み、
各学習済みネットワークにおける少なくとも最上段のネットワークの出力特徴量を入力とする第３のネットワークをさらに含み、コンピュータにより実行可能な学習済みネットワーク。

【請求項6】

予め定められたタイミングパターンに基づき特定される時刻における観測特徴量を入力とする第１のフィードフォワードニューラルネットワークを含む第１のネットワークと、前記予め定められたタイミングパターンに基づき特定される時刻における、１つ下段のネットワークの出力特徴量と観測特徴量との連結である連結特徴量を入力とする第２のフィードフォワードニューラルネットワークを含み、当該第２のフィードフォワードニューラルネットワークの出力と前記１つ下段のネットワークの出力特徴量との加算により出力特徴量を算出する加算部を各々含む（Ｌ－１）段（Ｌは２以上の整数）の第２のネットワークとを含む構築対象ネットワークであって、前記予め定められたタイミングパターンは、第１乃至第ｍ（ｍは１以上Ｌ以下の整数）のタイミングパターンを含み、前記第１及び第２のネットワークの各々に、当該ネットワークの、最下段からの段数ｘ（≦Ｌ）に基づき、前記第１乃至第ｍのタイミングパターンのうち第（ｘ mod ｍ）のタイミングパターンを適用する構築対象ネットワークについて、
前記観測特徴量の元となる観測イベントの継続時間と、当該構築対象ネットワーク全体において用いられる観測特徴量の最も古い時刻と最も新しい時刻との差である受容域サイズとに基づき、構築対象ネットワークの構成について複数の候補を特定するステップと、
前記複数の候補の各々について学習済みネットワークを生成するステップと、
生成された前記学習済みネットワークの推論精度に基づき、用いるべき学習済みネットワークを選択するステップと、
を含み、コンピュータが実行する、学習済みネットワークの生成方法。

【請求項7】

前記構築対象ネットワークの構成について複数の候補を特定するステップが、
前記継続時間を含む所定の時間幅に対応する所定幅に入る前記受容域サイズを有することになる構築対象ネットワークのｍ及びＬの組み合わせを候補として特定するステップ
を含む請求項６の生成方法。

【請求項8】

前記受容域サイズが、最下段から最上段までの各ネットワークにおいて観測特徴量を用いるべき最も新しい時刻と最も古い時刻との差を構築対象ネットワークの全体について加算した結果と１との加算により算出される
請求項６又は７記載の生成方法。

【請求項9】

前記第１乃至第ｍのタイミングパターンのうちの第ｙ（１≦ｙ≦ｍ）のタイミングパターンが、
観測特徴量を用いるべき最も新しい時刻と最も古い時刻との差が（ｂ－１）×ｂ^ｙ－１であり、均等間隔でｂ個の時刻を含み、
前記受容域サイズが、１＋Σ^Ｌ _ｉ（ｂ－１）×ｂ^{（ｉ－１） ｍｏｄ ｍ}で算出される
請求項６又は７記載の生成方法。

【請求項10】

前記観測特徴量の元となる観測イベントに考慮すべき複数の継続時間が存在する場合、
当該複数の継続時間の各々について、前記複数の候補を特定するステップと、前記複数の候補の各々について学習済みネットワークを生成するステップと、前記学習済みネットワークを選択するステップとを実行し、
選択された前記学習済みネットワークの少なくとも出力特徴量を統合する第３のネットワークを学習するステップをさらに含む
請求項６乃至９のいずれか１つ記載の生成方法。

【請求項11】

選択された前記学習済みネットワークのうち、第１の学習済みネットワークが、第２の学習済みネットワークを包含する場合、
前記第３のネットワークが、前記第１の学習済みネットワークの出力特徴量と、前記第１の学習済みネットワークにおいて前記第２の学習済みネットワークに相当する段の出力特徴量とを少なくとも入力とするネットワークである
請求項１０記載の生成方法。

【請求項12】

選択された前記学習済みネットワークのうち、第１の学習済みネットワークが、第２の学習済みネットワークを包含しない場合、
前記第３のネットワークが、前記第１の学習済みネットワークの出力特徴量と、前記第２の学習済みネットワークの出力特徴量とを少なくとも入力とするネットワークである
請求項１０又は１１記載の生成方法。

【請求項13】

請求項６乃至１２のいずれか１つ記載の生成方法を、コンピュータに実行させるためのプログラム。

【請求項14】

予め定められたタイミングパターンに基づき特定される時刻における観測特徴量を入力とする第１のフィードフォワードニューラルネットワークを含む第１のネットワークと、前記予め定められたタイミングパターンに基づき特定される時刻における、１つ下段のネットワークの出力特徴量と観測特徴量との連結である連結特徴量を入力とする第２のフィードフォワードニューラルネットワークを含み、当該第２のフィードフォワードニューラルネットワークの出力と前記１つ下段のネットワークの出力特徴量との加算により出力特徴量を算出する加算部を各々含む（Ｌ－１）段（Ｌは２以上の整数）の第２のネットワークとを含む構築対象ネットワークであって、前記予め定められたタイミングパターンは、第１乃至第ｍ（ｍは１以上Ｌ以下の整数）のタイミングパターンを含み、前記第１及び第２のネットワークの各々に、当該ネットワークの、最下段からの段数ｘ（≦Ｌ）に基づき、前記第１乃至第ｍのタイミングパターンのうち第（ｘ mod ｍ）のタイミングパターンを適用する構築対象ネットワークについて、
前記観測特徴量の元となる観測イベントの継続時間と、当該構築対象ネットワーク全体において用いられる観測特徴量の最も古い時刻と最も新しい時刻との差である受容域サイズとに基づき、構築対象ネットワークの構成について複数の候補を特定する手段と、
前記複数の候補の各々について学習済みネットワークを生成する手段と、
生成された前記学習済みネットワークの推論精度に基づき、用いるべき学習済みネットワークを選択する手段と、
を有する情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フィードフォワードニューラルネットワークを複数段含むネットワーク及び当該ネットワークの学習済みモデルの生成技術に関する。

【背景技術】

【0002】

隠れ層が１層となっているフィードフォワードニューラルネットワーク（ＦＦＮＮ：Feed-Forward Neural network）の入力層－隠れ層間の重みを学習データとは無関係に乱数で決定し、隠れ層－出力層間の重みだけを学習データから求めることで、全重みを学習する方法に比べ軽量な演算量で学習を実現する方法（例えば非特許文献５）がある。そしてこのような方法で学習したＦＦＮＮを複数段重ねてネットワークの推論精度改善を試みる様々な技術が存在している。例えば、観測特徴量のみを用いて推論を行う最下段のフィードフォワードニューラルネットワークへの入力だけに対応付けて残差特徴量を学習させる方法（例えば非特許文献１）、最下段のフィードフォワードニューラルネットワークからの出力だけに対応付けて残差特徴量を学習させる方法（例えば非特許文献２）があるが、これらの方法では下段のフィードフォワードニューラルネットワークの推論誤りの傾向を的確に学習できず、結果的に大幅な推論精度の改善が見込めないという問題がある。また、最下段のフィードフォワードニューラルネットワークの上に積み上げられた他の全てのフィードフォワードニューラルネットワークを、全く同じ入力で学習する技術も知られているが（例えば非特許文献３）、この技術では学習効率があまり良くないことが知られている。

【0003】

このように一部の重みを乱数で決定するＦＦＮＮを複数段重ねて用いるネットワークの構成には様々なバリエーションが存在しており、従来技術と比較してより高い推論精度や汎化性能を得るためにさらなる工夫の余地がある。

【先行技術文献】

【非特許文献】

【0004】

【文献】SEN ZHANG , ZHENG LIU, XUEJIAO HUANG, AND WENDONG XIAO, "A Modified Residual Extreme Learning Machine Algorithm and Its Application," DOI 10.1109/ACCESS.2018.2876360, IEEE Access, Vol.6, 2018.

【文献】Alexander Waibel, Tashiyuki Hanazawa, Geoffrey Hinton, Kiyohito Shikano, Kevin J. Lang, "Phoneme Recognition Using Time-Delay Neural Networks," IEEE Transactions on Acoustics, Speech, and Signal Processing, Volume 37, No.3, pp.328-339 March 1989.

【文献】Yinghao Chen Xiaoliang Xie Tianle Zhang Jiaxian Bai Muzhou Hou, "QA deep residual compensation extreme learning machine and applications,"＜https://doi.org/10.1002/for.2663＞, Journal of FORCASTING, vol.39, issue 6, pp.986-999, September, 2020.

【文献】Guang-Bin Huang, "Extreme Learning Machine for Regression and Multiclass Classification," IEEE Trans. SYSTEMS, MAN, AND CYBERNETICS-PART B: CYBERNETICS, VOL. 42, NO. 2, pp.513-529, APRIL 2012.

【文献】Pao Y-H, Park G-H, Sobajic D., "Learning and generalization characteristics of the random vector functional-link net," Neurocomputing 1994, 6:163-180.

【発明の概要】

【発明が解決しようとする課題】

【0005】

従って、本発明の目的は、一側面として、ＦＦＮＮを複数段重ねることで構築されるネットワークでより高い推論精度を実現するための技術を提供することである。

【課題を解決するための手段】

【0006】

本発明に係る学習済みネットワークは、（Ａ）予め定められたタイミングパターンに基づき特定される時刻における観測特徴量を入力とする第１のフィードフォワードニューラルネットワークを含む第１のネットワークと、（Ｂ）予め定められたタイミングパターンに基づき特定される時刻における、１つ下段のネットワークの出力特徴量と観測特徴量との連結である連結特徴量を入力とする第２のフィードフォワードニューラルネットワークを含み、当該第２のフィードフォワードニューラルネットワークの出力と上記１つ下段のネットワークの出力特徴量との加算により出力特徴量を算出する加算部を各々含む（Ｌ－１）段（Ｌは２以上の整数）の第２のネットワークとを含み、コンピュータによって実行可能な学習済みネットワークである。そして、予め定められたタイミングパターンは、第１乃至第ｍ（１以上ｍはＬ以下の整数）のタイミングパターンを含み、第１及び第２のネットワークの各々に、当該ネットワークの、最下段からの段数ｘ（１≦ｘ≦Ｌ）に基づき、第１乃至第ｍのタイミングパターンのうち第（ｘ mod ｍ）のタイミングパターンを適用するものである。

【0007】

上記のような学習済みネットワークを生成する方法は、（Ａ）観測特徴量の元となる観測イベントの継続時間と、当該構築対象ネットワーク全体において用いられる観測特徴量の最も古い時刻と最も新しい時刻との差である受容域サイズとに基づき、構築対象ネットワークの構成について複数の候補を特定するステップと、（Ｂ）複数の候補の各々について学習済みネットワークを生成するステップと、（Ｃ）生成された学習済みネットワークの推論精度に基づき、用いるべき学習済みネットワークを選択するステップとを含む。

【発明の効果】

【0008】

一側面として、ＦＦＮＮを複数段重ねることで構築されるネットワークでより高い推論精度を実現できるようになる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の実施の形態に係る基部ネットワークの構成例を示す図である。

【図2】図２は、本発明の実施の形態に係る残差ネットワークの構成例を示す図である。

【図3】図３は、第１の実施の形態に係るネットワークの全体構成例を示す図である。

【図4】図４は、本発明の実施の形態に係るスイッチにおけるオンオフパターンの一例を表す図である。

【図5】図５は、本発明の実施の形態に係る各段のネットワークの入力及び出力のタイミングを模式的に示す図である。

【図6】図６は、本発明の実施の形態に係るスイッチにおけるオンオフパターンの他の例を表す図である。

【図7】図７は、本発明の実施の形態において準最適な学習済みネットワークを生成する処理を実行する情報処理装置の機能ブロック図である。

【図8】図８は、第１の実施の形態に係る学習済みネットワークの生成処理の考え方を説明するための図である。

【図9】図９は、第１の実施の形態に係る学習済みネットワークの生成処理の考え方を説明するための図である。

【図10】図１０は、第１の実施の形態に係る学習済みネットワークの生成処理の考え方を説明するための図である。

【図11】図１１は、第１の実施の形態に係る学習済みネットワークの生成処理の処理フローを示す図である。

【図12】図１２は、第１モデル構築評価処理の処理フローを示す図である。

【図13】図１３は、第１モデル構築評価処理の処理フローを示す図である。

【図14】図１４は、第２モデル構築評価処理の処理フローを示す図である。

【図15】図１５は、第２モデル構築評価処理の処理フローを示す図である。

【図16】図１６は、第２の実施の形態に係るネットワークの全体構成の一例を示す図である。

【図17】図１７は、第２の実施の形態に係るネットワークの全体構成の他の例を示す図である。

【図18】図１８は、第２の実施の形態に係る学習済みネットワークの生成処理の考え方を説明するための図である。

【図19】図１９は、第２の実施の形態に係る学習済みネットワークの生成処理の処理フローを示す図である。

【図20】図２０は、第２の実施の形態に係る学習済みネットワークの生成処理の処理フローを示す図である。

【図21】図２１は、実施例におけるネットワークの段数と受容域サイズとの関係を表す図である。

【図22】図２２は、学習により調整可能なモデルパラメータ数とＦ値との関係を表す図である。

【図23】図２３は、残差ネットワークへの入力特徴量を直下のネットワークの入力特徴量のみとする場合におけるＦ値と、学習により調整可能なモデルパラメータ数との関係を表す図である。

【図24】図２４は、現時刻ｔから時刻（ｔ－１０２）までの連続する１０３個の特徴量を全てＦＦＮＮに入力するパターンを、全１０段のネットワークに適用した場合におけるＦ値と、学習により調整可能なモデルパラメータ数との関係を表す図である。

【図25】図２５は、畳み込みニューラルネットワークについてのＦ値と、学習により調整可能なパラメータ数との関係を表す図である。

【図26】図２６は、隠れ層のノード数は全１２段のネットワークで同一数とし、１０００個から１００００個まで１０００個刻みの１０種類とした場合における段数と、Ｆ値との関係を表す図である。

【図27】図２７は、情報処理装置の機能ブロック図である。

【発明を実施するための形態】

【0010】

［実施の形態１］
［本実施の形態に係るネットワークの構成例］
本実施の形態では、音響や振動など１次元の観測信号に対して、短時間フーリエ変換やウェーブレット変換などを行うことで得られ、且つ特徴抽出時刻近傍の周波数成分分布に関するパラメータである観測特徴量を入力として用いる。この観測特徴量は、具体的には、メルフィルタバンク特徴量、メルスペクトログラム特徴量、メルケプストラム特徴量などであるが、これに限定されるものではない。一方、ネットワークによる推論結果は、例えば、観測信号の元となる観測イベントの種別であるものとするが、これに限定されるものではない。

【0011】

本実施の形態では、図１に示すような基部ネットワークの上に、図２に示すような残差ネットワークを１又は複数段積み上げることで全体のネットワークを構築する。図１に示すように、基部ネットワークは、隠れ層１層のＦＦＮＮ１００と、観測特徴量ｆ_ｔが入力され且つ所定個数（図ではＭ_１個）の遅延素子Ｚ^－１を直列に接続する記憶機構１２０と、記憶機構１２０に記憶されている観測特徴量ｆ_ｔ－Ｍ１乃至ｆ_ｔ－１及び観測特徴量ｆ_ｔのうちＦＦＮＮ１００の入力層に入力すべき観測特徴量を選択するためのスイッチ群１１０とを有する。

【0012】

基部ネットワークには観測特徴量のみを入力し、観測特徴量の時系列から推論を行うため、記憶機構１２０で、遅延素子Ｚ^－１の個数分だけ過去の時刻の観測特徴量を記憶する。更に、その記憶機構１２０の各パスにはスイッチ群１１０に含まれるスイッチを接続し、このスイッチ群１１０の各スイッチをオンまたはオフすることで、任意の時刻（すなわち任意のタイミング）の観測特徴量を選択してＦＦＮＮ１００に入力するようになっている。ＦＦＮＮ１００における演算については後に詳細に述べる。なお、ＦＦＮＮ１００の出力特徴量ｙ_１，ｔが、学習データのターゲット特徴量となるように、ＦＦＮＮ１００の内部パラメータを学習する。

【0013】

図２に示す残差ネットワークは、隠れ層一層のＦＦＮＮ２００と、観測特徴量ｆ_ｔと前段（下段）のネットワークが出力した前段出力特徴量ｙ_{ｌ－１，ｔ}とを連結して連結特徴量ｃ_ｔを生成する連結部２３０と、連結特徴量ｃ_ｔが入力され且つ所定個数（図ではＭ_ｌ個）の遅延素子Ｚ^－１を直列に接続した記憶機構２２０と、記憶機構２２０に格納されている連結特徴量ｃ_ｔ－Ｍｌ乃至ｃ_ｔ－１及び連結特徴量ｃ_ｔのうちＦＦＮＮ２００の入力層に入力すべき連結特徴量を選択するためのスイッチ群２１０と、ＦＦＮＮ２００の出力と前段出力特徴量ｙ_{ｌ－１，ｔ}とを加算して出力特徴量ｙ_ｌ，ｔを生成する加算器２４０とを有する。ｌは、基部ネットワークを１段目とした場合における、本残差ネットワークの段数を表している。

【0014】

上でも述べたように、残差ネットワークのＦＦＮＮ２００への入力は、基部ネットワークの入力と同じ観測特徴量と、前段ネットワークの出力である前段出力特徴量（ターゲット特徴量を推論した結果）とを連結した連結特徴量である。このような連結特徴量をＦＦＮＮ２００の入力として用いて、ＦＦＮＮ２００では、ターゲット特徴量から、基部ネットワークを含む前段までのネットワークがターゲットを推論した結果である前段出力特徴量を差し引いた残差特徴量を推論するようになっているので、主に前段ネットワークの推論誤りの特性や傾向を、残差ネットワークのＦＦＮＮ２００が的確に学習できるようにしている。これは、非特許文献１及び２とは異なっている。

【0015】

更に、残差ネットワークのＦＦＮＮ２００の学習は、基部ネットワークの学習とは以下の点で異なる。すなわち、残差ネットワークのＦＦＮＮ２００は、ターゲット特徴量を直接推論するように学習するのではなく、上で述べた残差特徴量を推論するように学習するもので、これも本実施の形態の特徴の一つである。そして、前段ネットワークがターゲットを推論した結果である出力特徴量に、残差ネットワークのＦＦＮＮ２００が残差特徴量を推論した結果を加算することで、残差ネットワークがターゲット特徴量を推論した結果である出力特徴量を生成するようになっている。もし基部ネットワーク又は基部ネットワークを含む前段までのネットワークがターゲット特徴量を推論した結果が、ターゲット特徴量と完全に一致している場合、残差ネットワークのＦＦＮＮ２００が学習する残差特徴量はゼロベクトルとなる。これは、残差ネットワークのＦＦＮＮ２００における隠れ層ー出力層間の全結合の重みが全て０と学習することで実現される。このため、基部ネットワーク又は基部ネットワークを含む前段までのネットワークの出力と比較して、本残差ネットワークの出力の推論精度が同等以上に改善されることが保証される。

【0016】

また、本実施の形態では、基部ネットワークでも残差ネットワークでも、所定個数の遅延素子を直列に接続した記憶機構とスイッチ群とを設け、その各パスに接続したスイッチをオンまたはオフすることでＦＦＮＮへ入力する特徴量を任意に選択可能としている。そして、そのオンオフパターン（すなわち、特徴量の採否を定めるタイミングパターン）が、基部ネットワーク及び１又は複数の残差ネットワークのそれぞれで異なるように設定可能である。これによって、基部ネットワークのＦＦＮＮ１００への入力、及び各残差ネットワークのＦＦＮＮ２００への入力に、
バリエーションを持たせられる。これにより、残差ネットワークを積み上げる度に、入力特徴量に変化を持たせることができ、非特許文献３と比較して学習効率が改善している。

【0017】

このような特徴を有するので、非特許文献１乃至３等の従来技術よりも、高い推論精度を実現できる。

【0018】

図３に、基部ネットワークと２段の残差ネットワークを積み上げた例を示す。なお、２段目の残差ネットワーク及び３段目の残差ネットワークにおいては、前段のネットワークからの出力である前段出力特徴量と、当該前段出力特徴量が出力されたタイミングにおける観測特徴量とが連結部で連結されるので、上の段ほど遅い時刻の観測特徴量が入力されるようになる。

【0019】

次に、図４に、スイッチ群のオンオフパターンの例を模式的に示す。図４は、２のべき乗パターンに属する４段分のオンオフパターン（すなわちタイミングパターン）を示している。各オンオフパターンで、右端のボックスが現時刻ｔにおける特徴量の出力可否を制御するスイッチのオンまたはオフ状態を示し、左端のボックスが時刻（ｔ－５５）について特徴量の出力可否を制御するスイッチのオンまたはオフ状態を示している。ハッチングが付されたボックスがオンの状態を表し、空白のボックスがオフの状態を表している。

【0020】

この例では、全てのオンオフパターンで２つの特徴量をＦＦＮＮへ入力することになる。その１つは現時刻ｔの特徴量で、もう１つは現時刻からΔ＝２^ｌ－１時間分だけ過去の時刻（ｔ－Δ）における特徴量である。上でも述べたように、ｌは、ｌ＝１が基部ネットワークである場合におけるネットワークの段数を表しており、ｌ≧２は残差ネットワークを表す。

【0021】

このようなオンオフパターンでネットワークを４段積み上げた場合、第４段目の残差ネットワークがターゲット特徴量を推論することで得た出力特徴量は、現時刻ｔから時刻（ｔ－１５）までの１６個の観測特徴量に基づいている。この様子を図５に模式的に示す。図５では、ＦＦＮＮは、各段につき１つだが、時刻ｔから時刻（ｔ－１５）までの推論回数に応じたブロックを示している。基部ネットワークの入力は連続する２つの時刻（例えば（ｔ－１５）と（ｔ－１４））の観測特徴量であって、ＦＦＮＮ１００の出力は後の時刻（例えば（ｔ－１４））で生成されることになる。２段目の残差ネットワークにおいては、基部ネットワークの出力特徴量（ターゲットを推論した特徴量）と観測特徴量を連結した連結特徴量を入力とするが、１フレーム時間空いた２つの時刻（例えば（ｔ－１４）と（ｔ－１２））における連結特徴量を用い、ＦＦＮＮ２００の出力（残差特徴量を推論した特徴量）は後の時刻（例えば（ｔ－１２））で生成される。このＦＦＮＮ２００の出力は、残差であるから、基部ネットワークの出力特徴量と加算されて、３段目の入力（ターゲットを推論した特徴量）となる。３段目の残差ネットワークにおいては、２段目の残差ネットワークの出力特徴量と観測特徴量を連結した連結特徴量を入力とするが、３フレーム時間空いた２つの時刻（例えば（ｔ－１２）と（ｔ－８））における連結特徴量を用い、ＦＦＮＮ２００の出力（残差特徴量を推論した特徴量）は後の時刻（例えば（ｔ－８））で生成される。このＦＦＮＮ２００の出力は、残差であるから、２段目の出力特徴量と加算されて、４段目の入力（ターゲットを推論した特徴量）となる。４段目の残差ネットワークにおいては、３段目の残差ネットワークの出力特徴量と観測特徴量を連結した連結特徴量を入力とするが、７フレーム時間空いた２つの時刻（例えば（ｔ－８）とｔ）における連結特徴量を用い、ＦＦＮＮ２００の出力（残差特徴量を推論した特徴量）は後の時刻（例えばｔ）で生成される。このＦＦＮＮ２００の出力は、残差であるから、３段目の出力特徴量と加算されて、最終的な出力となる。

【0022】

なお、図５では、縦方向に並んだブロック（特徴量ブロック及びＦＦＮＮの推論ブロック）は同じ時刻の特徴量またはＦＦＮＮにおける推論を表している。

【0023】

このように、ある特定の段のネットワークにおける１つの出力特徴量を推論するのに用いた最も過去の時刻と最も現在に近い時刻間の時間差を、受容域サイズ（ＲＦ：Receptive Field Size）と呼ぶ。ここで第ｌ段のためのオンオフパターン（すなわちタイミングパターン）をベクトルｐ_ｌで表すものとすると、このベクトルｐ_ｌにおいてオンとなる右端位置に相当する時刻から左端位置に相当する時刻までの時間は受容域サイズを表しており、このオンオフパターンで特定される時間差ΔをΔ（ｐ_ｌ）で表すものとする。例えば、図４の２のべき乗パターンの場合、以下のようになる。
Δ_２（ｐ_ｌ）＝２^ｌ－１

【0024】

そして、２のべき乗パターンの場合、複数段のネットワークの受容域サイズは、ベクトルｐ_ｌの関数として、以下のように表される。
ＲＦ_２（ｐ_１，・・・，ｐ_Ｌ）＝１＋Σ_ｌ＝１ ^ＬΔ_２（ｐ_ｌ）
但し、Ｌは積み上げるネットワークの段数を表している。

【0025】

図４の場合、Ｌ＝２、Δ_２（ｐ_ｌ）＝２^ｌ－１であるから、以下のようになる。
ＲＦ_２（ｐ_１，・・・，ｐ_４）＝１＋Σ_ｌ＝１ ^４２^ｌ－１＝１６
このように上で述べた値と一致することになる。

【0026】

ネットワークを積み上げる度に時間差をΔ_２（ｐ_ｌ）＝２^ｌ－１のように単調にべき乗で広げる方法の他に、段数を一定数積み上げる毎に再度初期のパターンから繰り返す方法を採用しても良い。例えば、ｍ段毎に初期パターンから繰り返す場合、２のべき乗パターンであれば、ｌ段目の時間差はΔ_２ ^ｍ＝２^{（ｌ－１）mod ｍ}となる。図４のパターンを２回繰り返してＬ＝８段積み上げる場合、受容域サイズは以下のようになる。
ＲＦ_２ ^４（ｐ_１・・・ｐ_８）＝１＋Σ_ｌ＝１ ^８２^{（ｌ－１）mod ｍ}＝３１
一方、２のべき乗パターンで単調にＬ＝８段積み上げる場合、受容域サイズは以下のようになる。
ＲＦ_２（ｐ_１・・・ｐ_８）＝１＋Σ_ｌ＝１ ^８２^{（ｌ－１）}＝２５６
このように同じ段数でもオンオフパターンの設定を変えると、受容域サイズは大きく変化する。

【0027】

２のべき乗パターンだけではなく３のべき乗パターンを採用するようにしても良い。この場合を図６に模式的に示す。図６から分かるように、各段において３つの特徴量をＦＦＮＮに入力するようになっている。３つの特徴量の時刻の間隔は均等である。３のべき乗パターンにおけるｌ段目の時間差は、Δ_３（ｐ_ｌ）＝２×３^ｌ－１と表される。

【0028】

一般的に基数ｂのべき乗パターンにおけるｌ段目の時間差は、Δ_ｂ（ｐ_ｌ）＝（ｂ－１）×ｂ^ｌ－１で、それをＬ段積み上げた場合における受容域サイズは以下のように表される。
ＲＦ_ｂ（ｐ_１，・・・，ｐ_Ｌ）＝１＋Σ_ｌ＝１ ^ＬΔ_ｂ（ｐ_ｌ）

【0029】

そして、ｍ段毎に初期パターンから繰り返す場合、ｌ段目の時間差は、Δ_ｂ ^ｍ（ｐ_ｌ）＝（ｂ－１）×ｂ^{（ｌ－１）mod ｍ}であり、Ｌ段積み上げたモデルの受容域サイズは以下のように表される。
ＲＦ_ｂ ^ｍ（ｐ_１，・・・，ｐ_Ｌ）＝１＋Σ_ｌ＝１ ^ＬΔ_ｂ ^ｍ（ｐ_ｌ）

【0030】

また、べき乗パターンでない場合でも、第ｌ段のオンオフパターンにおけるオンとなる右端位置に相当する時刻から左端位置に相当する時刻までの時間差は、Δ（ｐ_ｌ）と表し、それをＬ段積み上げたモデルの受容域サイズを以下のように表すことで、同様に扱うことができる。
ＲＦ（ｐ_１，・・・，ｐ_Ｌ）＝１＋Σ_ｌ＝１ ^ＬΔ（ｐ_ｌ）
べき乗パターンでない場合でも、ｍ段毎に初期パターンから繰り返してもよく、その場合Ｌ段積み上げたモデルの受容域は以下のように表される。
ＲＦ^ｍ（ｐ_１，・・・，ｐ_Ｌ）＝１＋Σ_ｌ＝１ ^ＬΔ^ｍ（ｐ_ｌ）

【0031】

次に基部ネットワークに入力した観測特徴量に対する出力特徴量の具体的な計算内容について説明する。基部ネットワークには、音響信号などの観測信号から抽出した現時刻ｔの観測特徴量を入力する。以後、観測特徴量の次元数をＤとして、時刻ｔの観測特徴量をベクトルｆ_ｔ＝［ｆ_１，ｔ，ｆ_２，ｔ，．．，ｆ_Ｄ，ｔ］^Ｔ∈Ｒ^Ｄ×１で表す。ここでＴは転置を表す。

【0032】

図１では、観測特徴量が２次元ベクトルの場合を表している。図１では、ｚ^－１で表される遅延素子は、ｆ_ｔの入力に対してｆ_ｔ－１を出力する。この遅延素子をＭ１個繋げることで、現時刻ｔから（ｔ－Ｍ１）時刻までの（Ｍ１＋１）個の観測特徴量が記憶可能となる。遅延素子に接続しているスイッチ群１１０は、ＦＦＮＮ１００の入力層に、どの時刻の観測特徴量を入力するかを決める。例えば図１の場合、ｆ_ｔ、ｆ_ｔ－２、及びｆ_{（ｔ－Ｍ１）}の３つを結合したベクトルをＦＦＮＮ１００に入力する。

【0033】

ＦＦＮＮ１００の入力層のノード数Ｐ１は、入力される観測特徴量ｘ_１，ｔ∈Ｒ^Ｐ１×１の要素数であり、Ｐ１＝Ｄ×（オンとなるスイッチの数）で表される。図１では、ｘ_１，ｔ＝［ｆ_ｔ ^Ｔ ｆ_ｔ－２ ^Ｔ ｆ_ｔーＭ１ ^Ｔ］＝［ｆ_１，ｔ，ｆ_２，ｔ，ｆ_{１，ｔ－２}，ｆ_{２，ｔ－２}，ｆ_{１，ｔ－Ｍ１}，ｆ_{２，ｔ－Ｍ１}］^Ｔとなり、入力層のノード数はＰ１＝６となる。ここでＭ１、Ｐ１、ｘ_１，ｔなどにある添え字の「１」は、図３に示したように基部ネットワークおよび１又は複数の残差ネットワークを積み上げたネットワークで、基部ネットワークは第１段のネットワークであることを示している。

【0034】

また、隠れ層のノード数をＱ１として、入力層から隠れ層への全結合の重み行列をＷ_１∈Ｒ^{Ｑ１×Ｐ１}、隠れ層でのバイアスベクトルをｂ_１∈Ｒ^Ｑ１×１、そしてベクトルの要素毎に演算を行う活性化関数をｈ（・）とすると、隠れ層の出力ベクトルｚ_１，ｔ∈Ｒ^Ｑ１×１は、以下のように表される。
ｚ_１，ｔ＝ｈ（Ｗ_１・ｘ_１，ｔ＋ｂ_１）
活性化関数にはＲｅＬＵ（Rectified Linear Unit）などを用いるが、これに限定されるものではない。図１の例では、隠れ層のノード数はＱ１＝９としている。

【0035】

次に出力層のノード数をＲとして、隠れ層から出力層への全結合の重み行列をβ_１∈Ｒ^Ｑ１×Ｒとすると、出力層の出力ベクトルｙ_１，ｔ∈Ｒ^Ｒ×１は、以下の式で得られる。
ｙ_１，ｔ ^Ｔ＝ｚ_１，ｔ ^Ｔ・β_１
このｙ_１，ｔが基部ネットワークの出力特徴量となる。出力層のノード数Ｒは基部ネットワークおよび全ての残差ネットワークで同一の値を設定する。図１の例ではＲ＝３である。

【0036】

次に残差ネットワークへの入力特徴量に対する出力特徴量の計算内容について説明する。基部ネットワークを第１段ネットワークとして、その直上にある残差ネットワークを第２段残差ネットワークと呼ぶこととする。そして、基部ネットワークから数えてｌ段目の残差ネットワークを第ｌ段残差ネットワークと呼ぶ（但し、ｌ≧２）。第ｌ段残差ネットワークには、時刻ｔの観測特徴量のベクトルｆ_ｔ∈Ｒ^Ｄ×１と、直下のネットワークの出力特徴量のベクトルｙ_{ｌ－１，ｔ}∈Ｒ^Ｒ×１を連結したベクトルｃ_ｔ＝［ｆ_ｔ ^Ｔ ｙ_{ｌ－１，ｔ} ^Ｔ］^Ｔ∈Ｒ^{（Ｄ＋Ｒ）×１}を入力する。なお、簡略化のためｃ_ｔの添え字ｌを省略している。

【0037】

この連結特徴量のベクトルの各要素をｃ_ｔ＝［ｃ_１，ｔ・・・ｃ_{Ｄ＋Ｒ，ｔ}］と表す。図２の例では、観測特徴量ベクトルの次元数がＤ＝２、直下の出力特徴量のベクトルの次元数がＲ＝３である。基部ネットワークと同様に、連結特徴量はＭｌ個連結された遅延素子に入力される。遅延素子の個数は他のネットワークの個数とは独立に任意の個数を設定してもよい。遅延素子に接続しているスイッチ群２１０は、ＦＦＮＮ２００の入力層にどの時刻の連結特徴量を入力するかを決める。このスイッチ群２１０のオンオフパターン（すなわちタイミングパターン）も、他のネットワークのオンオフパターンとは独立に任意に設定しても良い。

【0038】

図２の場合、ｃ_ｔ、ｃ_ｔ－２、ｃ_ｔ－Ｍｌの３つを結合したベクトルをＦＦＮＮ２００に入力するようになっている。入力層のノード数Ｐｌは入力特徴量ｘ_ｌ，ｔ∈Ｒ^Ｐｌ×１の要素数であり、Ｐｌ＝（Ｄ＋Ｒ）×(オンとなるスイッチの数）で表される。図２では、ｘ_ｌ，ｔ＝［ｃ_ｔ ^Ｔ ｃ_ｔ－２ ^Ｔ ｃ_ｔーＭｌ ^Ｔ］^Ｔ＝［ｃ_１，ｔ，・・ｃ_５，ｔ，ｃ_{１，ｔ－２}，・・ｃ_{５，ｔ－２}，ｃ_{１，ｔ－Ｍｌ}，・・ｃ_{５，ｔ－Ｍｌ}］^Ｔとなり、入力層のノード数はＰｌ＝１５となる。

【0039】

第ｌ段残差ネットワークの隠れ層のノード数をＱｌとして、入力層から隠れ層への全結合の重み行列をＷ_ｌ∈Ｒ^{Ｑｌ×Ｐｌ}、隠れ層でのバイアスベクトルをｂ_ｌ∈Ｒ^Ｑｌ×１、そしてベクトルの要素毎に演算を行う活性化関数をｈ（・）とすると、隠れ層の出力ベクトルｚ_ｌ，ｔ∈Ｒ^Ｑｌ×１は、以下のような式で算出される。
ｚ_ｌ，ｔ＝ｈ（Ｗ_ｌ・ｘ_ｌ，ｔ＋ｂ_ｌ）
図２の例では、隠れ層のノード数はＱｌ=９としている。次に出力層のノード数はＲであるから、隠れ層から出力層への全結合の重み行列をβ_ｌ∈Ｒ^Ｑｌ×Ｒとすると、出力層の出力ベクトルｐ_ｌ，ｔ∈Ｒ^Ｒ×１は以下の式で求められる。
ｐ_ｌ，ｔ ^Ｔ＝ｚ_ｌ，ｔ ^Ｔ・β_ｌ

【0040】

第ｌ段残差ネットワークの出力特徴量ベクトルｙ_ｌ，ｔは、ｙ_ｌ，ｔ＝ｙ_{ｌ－１，ｔ}＋ｐ_ｌ，ｔで得られる。すなわち、出力層の出力ベクトルｐ_ｌ，ｔと直下のネットワークの出力ベクトルｙ_{ｌ－１，ｔ}の和で算出される。

【0041】

次に、基部ネットワークの上に（Ｌ－１）段の残差ネットワークを積み重ねて構築したネットワークのパラメータ｛Ｗ_ｌ，ｂ_ｌ，β_ｌ｜ｌ＝１，．．．Ｌ｝を求める計算手順について説明する。

【0042】

入力層ー隠れ層間のパラメータ｛Ｗ_ｌ，ｂ_ｌ｜ｌ＝１，．．．Ｌ｝を以下のように設定する。ここで、入力層のノード数をＰｌ、隠れ層のノード数をＱｌとして、入力層から隠れ層への全結合の重み行列をＷ_ｌ＝［ｗ_ｌ，１，．．．ｗ_ｌ，Ｑｌ］^Ｔ∈Ｒ^{Ｑｌ×Ｐｌ}で表す。

【0043】

まず、行列Ｗ_ｌの各要素に、正規分布Ｎ（０，１）に従う乱数を代入する。Ｑｌ≦Ｐｌの場合、ｗ_ｌ，ｊ ^Ｔｗ_ｌ，ｋ＝δ_ｊ，ｋ（１≦ｊ，ｋ≦Ｑｌ)となるようにグラムシュミット直交法などを用いて正規直交化する。ここでδ_ｊ、ｋはクロネッカーのデルタを表し、ｊ＝ｋのとき１、その他は０の値をとる。Ｑｌ＞Ｐｌの場合、行列Ｗ_ｌの行ベクトルｗ_ｌ，ｊをＰｌ毎のブロック｛ｗ_ｌ，ｊ｜（ｍ－１）Ｐｌ＋１≦ｊ≦ｍＰｌ｝に分割し、ブロック毎に上記と同様に正規直交化を実行する。ここでｍは、以下のような値である。

【数1】

余りがある場合（Ｑｌ mod Ｐｌ≧１）は、以下のような余った行ベクトルを同様に正規直交化する。

【数2】

バイアスベクトルｂ_ｌ∈Ｒ^Ｑｌ×１は、各要素に正規分布Ｎ（０，１）に従う乱数を代入し、ｂ_ｌ ^Ｔｂ_ｌ＝１（１≦ｌ≦Ｌ）となるようにノルムの正規化を行う。以上のように、入力層－隠れ層間のパラメータ｛Ｗ_ｌ，ｂ_ｌ｜ｌ＝１，．．．Ｌ｝は学習データとは全く無関係に設定される。

【0044】

隠れ層ー出力層間のパラメータ｛β_ｌ｜ｌ＝１，．．．Ｌ｝は例えば非特許文献４の方法を用いて以下のように計算する。基部ネットワークの場合、隠れ層の入力ベクトルｚ_１，ｔ∈Ｒ^Ｑ１×１に対する出力層の出力ベクトルｙ_１，ｔ∈Ｒ^Ｒ×１をｙ_１，ｔ ^Ｔ＝ｚ_１，ｔ ^Ｔ・β_１で求める。

【0045】

残差ネットワークの場合、隠れ層の入力ベクトルｚ_ｌ，ｔ∈Ｒ^Ｑｌ×１に対する出力層の出力ベクトルｐ_ｌ，ｔ∈Ｒ^Ｒ×１をｐ_ｌ，ｔ ^Ｔ＝ｚ_ｌ，ｔ ^Ｔ・β_ｌで求める。基部ネットワークと残差ネットワークとで、出力ベクトルの変数名が異なるだけで、パラメータβ_ｌの求め方は全く同じになるため、以下では残差ネットワークを例にして説明する。また簡単化のために添え字ｌを省略する。

【0046】

出力ベクトルｐ_ｔに対するターゲット特徴量のベクトルであるターゲットベクトルをｒ_ｔ∈Ｒ^Ｒ×１とする。残差ベクトルｅ_ｔ∈Ｒ^Ｒ×１を、ｅ_ｔ ^Ｔ＝ｒ_ｔ ^Ｔ－ｐ_ｔ ^Ｔ＝ｒ_ｔ ^Ｔーｚ_ｔ ^Ｔ・βと定義する。学習用の入力ベクトルｚ_ｔとターゲットベクトルｒ_ｔは、１≦ｔ≦Ｎの範囲でＮ個あるとする。Ｒ＝［ｒ_１，．．．ｒ_Ｎ］^Ｔ，Ｚ＝［ｚ_１，．．．ｚ_Ｎ］^Ｔ，Ｅ＝［ｅ_１，．．．ｅ_Ｎ］^Ｔとおくと、上記の式はＥ＝ＲーＺ・βと表される。この関係を満たす条件付きで、過学習を防ぐための正則化項と残差項の和で表される評価関数を最小化するパラメータβを最適解として求める。

【数3】

ここで定数Ｃは正則化項と残差項のバランスを決めるパラメータである。この最適解は、以下の式で得られる。

【数4】

【0047】

ディープラーニングでは、全モデルパラメータや機械学習アルゴリズムの挙動を制御するハイパーパラメータなど極めて多くのパラメータを学習と検証を繰り返しながら最適化するため、ＧＰＵ（Graphics Processing Unit）など高価な計算リソースと膨大な学習時間と電力消費を要することになる。これに対し本実施の形態に係るネットワークは、入力層－隠れ層間のパラメータを学習データとは独立な乱数に基づいて設定することにより、隠れ層ー出力層間の最適なパラメータを線形方程式の解として簡単に求められるようになっているため、高速な学習が可能となる。これにより計算能力の低いエッジデバイスで、オンライン学習やリアルタイム学習が可能となる。

【0048】

［ネットワークの構成の準最適化］
本実施の形態に係るネットワークを観測イベントである音響イベントの検知又は認識に利用する場合、音響イベントの受容域サイズを、検知又は認識対象となる音響イベントの平均的な継続時間に合わせることが望ましい。これは、受容域サイズが、音響イベントの平均的な継続時間を大幅に上回る場合、背景雑音などの観測特徴量も学習することになり検知又は認識の精度が劣化してしまうためである。また逆の場合は、音響イベントの観測特徴量を十分に利用できないため検知又は認識の精度が劣化するためである。

【0049】

本実施の形態に係るネットワークの受容域サイズは、簡単な解析により算出することができる。このため本実施の形態では、スイッチのオンオフパターンや積み重ねるネットワークの段数などを、恣意的に試行錯誤を繰り返すのではなく、検知又は認識対象の観測イベントの平均的な継続時間に基づき決定することができる。特に、基数ｂのべき乗パターンだけでなく、べき乗則の制約を受けない一般的なオンオフパターンによるネットワーク構成も含めた中で、準最適なネットワーク構成を自動的に選択可能となる。以下、このための情報処理システムの構成などについて説明する。

【0050】

図７に、準最適なネットワーク構成を有する学習済みネットワークを生成するための情報処理装置の機能構成例を示す。本情報処理装置３００は、候補抽出部３１０と、ＲＦテーブル格納部３２０と、学習データ格納部３３０と、学習処理部３４０と、モデル構築部３５０と、認識精度算出部３６０とを有する。

【0051】

学習データ格納部３３０は、各時刻における観測特徴量とターゲット特徴量との対を格納している。なお、例えば、ターゲット特徴量が所定の条件を満たすような値となる時間を計測することで、観測イベントの継続時間を計測し、平均継続時間、標準偏差等を算出しておく。なお、継続時間のヒストグラムなど、分布を表すデータを生成しておき、その分布を表すデータから、平均継続時間の代わりに用いる継続時間、標準偏差の代わりに用いる時間幅を決定するようにしても良い。平均継続時間及び標準偏差などについては、本情報処理装置３００で算出するようにしても良いし、別途算出された結果を入力するようにしても良い。

【0052】

ＲＦテーブル格納部３２０は、ネットワーク構成と受容域サイズとの関係を保持するＲＦテーブルを格納する。例えば、２のべき乗パターンでｍ段毎にスイッチのオンオフパターンを初期パターンから繰り返す場合には、ネットワークの積み上げ段数Ｌに対応する受容域サイズ（ＲＦサイズ）は、図８に示すような関係を有する。図８において、縦軸は受容域サイズを表し、横軸は、ネットワークの積み上げ段数Ｌを表している。上で述べたように、受容域サイズは、以下のように表される。
ＲＦ_２ ^ｍ（ｐ_１・・・ｐ_Ｌ）＝１＋Σ_ｌ＝１ ^ＬΔ_２ ^ｍ（ｐ_ｌ）

【0053】

Ｌ＝１は基部ネットワークのみのネットワークであり、ｍ＝１となっている。図８では、このネットワークは、点８０１に対応する。ここで、基部ネットワークにおけるスイッチと同じオンオフパターンを採用した残差ネットワークを１段積み上げることでＬ＝２にすると、点８０１から右方向に伸びる曲線上でＬ＝２の点になる。この曲線上では、Δ_２ ^１（ｐ_ｌ）＝２^{（ｌ－１） mod １}が受容域サイズとなる。

【0054】

Ｌ＝２は基部ネットワークと残差ネットワークからなるネットワークである。ｍ＝２であれば、図８では、このネットワークは点８０２に対応する。ここで、さらにスイッチのオンオフパターンを初期パターンに戻して残差ネットワークを１段追加すると、点８０２から右方向に伸びる曲線上でＬ＝３の点になる。この曲線上では、Δ_２ ^２（ｐ_ｌ）＝２^{（ｌ－１） mod ２}が受容域サイズとなる。なお、この曲線上では、２段毎にスイッチのオンオフパターンが繰り返される。

【0055】

このように、Ｌ＝ｍとなっているニューラルネットワークに対応する点が直線８００上に並び、直線８００上の各点から、その点のＬをｍに設定してスイッチのオンオフパターンを初期パターンに戻して積み上げることでＬを増加させるネットワーク構成に対応する曲線が伸びるようになる。この曲線上ではｍ段毎にスイッチのオンオフパターンを初期パターンに戻すようにして残差ネットワークを積み上げる。

【0056】

例えば、ある観測イベントの平均継続時間が１００であり、上下に１標準偏差の分の時間幅をとると、図８における灰色のバンドとなる。このバンドに入る点に対応するネットワーク構成は、この観測イベントに対して好ましいネットワーク構成と推定される。

【0057】

３のべき乗パターンでｍ段毎にスイッチのオンオフパターンを初期パターンから繰り返す場合、ネットワークの積み上げ段数Ｌに対応する受容域サイズ（ＲＦサイズ）は、図９に示すような関係を有する。上で述べたように、受容域サイズは、以下のように表される。
ＲＦ_３ ^ｍ（ｐ_１・・・ｐ_Ｌ）＝１＋Σ_ｌ＝１ ^ＬΔ_３ ^ｍ（ｐ_ｌ）

【0058】

３のべき乗パターンであっても、図８と同様に、Ｌ＝ｍの直線がＬの増加と共に伸び、直線上の各点から、スイッチのオンオフパターンを初期パターンに戻して積み上げることでＬを増加させるネットワーク構成に対応する曲線が伸びるようになる。この曲線上ではｍ段毎にスイッチのオンオフパターンを初期パターン戻すようにして残差ネットワークを積み上げる。図９でも、例えば、ある観測イベントの平均継続時間が１００であり、上下に１標準偏差の分の時間幅をとると、灰色のバンドとなる。このバンドに入る点に対応するネットワーク構成は、この観測イベントに対して好ましいネットワーク構成と推定される。

【0059】

４のべき乗パターンでｍ段毎にスイッチのオンオフパターンを初期パターンから繰り返す場合、ネットワークの積み上げ段数Ｌに対応する受容域サイズ（ＲＦサイズ）は、図１０に示すような関係を有する。上で述べたように、受容域サイズは、以下のように表される。
ＲＦ_４ ^ｍ（ｐ_１・・・ｐ_Ｌ）＝１＋Σ_ｌ＝１ ^ＬΔ_４ ^ｍ（ｐ_ｌ）

【0060】

４のべき乗パターンであっても、図８と同様に、Ｌ＝ｍの直線がＬの増加と共に伸び、直線上の各点から、スイッチのオンオフパターンを初期パターンに戻して積み上げることでＬを増加させるネットワーク構成に対応する曲線が伸びるようになる。この曲線上ではｍ段毎にスイッチのオンオフパターンを初期パターン戻すようにして残差ネットワークを積み上げる。図１０でも、例えば、ある観測イベントの平均継続時間が１００であり、上下に１標準偏差の分の時間幅をとると、灰色のバンドとなる。このバンドに入る点に対応するネットワーク構成は、この観測イベントに対して好ましいネットワーク構成と推定される。

【0061】

このように、Ｌ，ｍ，ｂの組み合わせで受容域サイズが決まるので、受容域サイズとネットワーク構成との対応関係をテーブル化しておく。

【0062】

なお、基数ｂのべき乗パターンでない、スイッチのオンオフパターンを採用する場合においても、予めサイズサイズとネットワーク構成の対応関係をテーブル化しておけば良い。

【0063】

候補抽出部３１０は、観測イベントの平均継続時間等に基づき、ＲＦテーブル格納部３２０に格納されているデータから、本観測イベントについて候補となるネットワーク構成を抽出する。モデル構築部３５０は、抽出された候補となるネットワーク構成の各々の学習済みネットワークを構築して、候補の中から最適な学習済みネットワークを選択する処理を行う。この処理の際に、モデル構築部３５０は、学習処理部３４０と認識精度算出部３６０と連携する。学習処理部３４０は、学習データ格納部３３０に格納された学習データを用いてネットワークの学習処理を実行する。認識精度算出部３６０は、例えば学習データ格納部３３０に格納されているデータを用いて、構築されたネットワーク（すなわち学習済みネットワーク）の認識精度を算出する処理を実行する。

【0064】

次に、準最適なネットワーク構成を有する学習済みネットワークを生成する処理について図１１乃至図１５を用いて説明する。まず、候補抽出部３１０は、学習データ格納部３３０に格納されているデータを用いて、観測イベントの継続時間に関する統計量（例えば、平均継続時間、標準偏差など）を算出する（図１１：ステップＳ１）。本ステップは、観測イベントの平均継続時間、標準偏差などが入力される場合には省略される。

【0065】

次に、候補抽出部３１０は、観測イベントの平均継続時間に基づき、ＲＦテーブル格納部３２０に格納されたＲＦテーブルから、候補となるモデル（すなわちネットワーク構成）を抽出する（ステップＳ３）。上で述べたように、例えば、平均継続時間にプラスマイナス１標準偏差分の時間幅を設定して、その時間幅に相当する受容域サイズの範囲に包含される受容域サイズを有するネットワーク構成を抽出する。すなわち、図８乃至図１０で説明したバンドに入るようなネットワーク構成を抽出する。

【0066】

次に、モデル構築部３５０は、未処理の候補モデルを１つ特定する（ステップＳ５）。そして、モデル構築部３５０は、特定した候補モデルが、べき乗の制約を有するモデル（すなわち、べき乗パターンのモデル）であるか否かを判断する（ステップＳ７）。べき乗の制約を有するモデルの場合には、モデル構築部３５０は、第１モデル構築評価処理を実行する（ステップＳ９）。そして処理はステップＳ１３に移行する。一方、べき乗の制約を有するモデルではない場合、モデル構築部３５０は、第２モデル構築評価処理を実行する（ステップＳ１１）。そして処理はステップＳ１３に移行する。

【0067】

その後、モデル構築部３５０は、未処理の候補モデルが存在しているか否かを判断する（ステップＳ１３）。未処理の候補モデルが存在している場合には、処理はステップＳ５に戻る。一方、未処理の候補モデルが存在していない場合には、モデル構築部３５０は、各候補モデルから構築された学習済みネットワークのうち、その認識精度に基づき、採用すべき学習済みネットワークを選択する（ステップＳ１５）。例えば、最高認識精度の学習済みネットワークを選択する。

【0068】

このような処理を実行することで、観測イベントの継続時間に応じた準最適な学習済みニューラルネットワークを生成できるようになる。

【0069】

次に、図１２及び図１３を用いて、第１モデル構築評価処理について説明する。まず、モデル構築部３５０は、候補モデルのｂ、ｍ及びＬを特定する（ステップＳ２１）。そして、モデル構築部３５０は、ｂに基づき基部ネットワークを構築する（ステップＳ２３）。ｂ＝２であれば、図４のようなスイッチのオンオフパターンを採用することになり、基部ネットワークなのでその初期パターンを採用する。ｂ＝３であれば、図６のようなスイッチのオンオフパターンを採用することになり、基部ネットワークなのでその初期パターンを採用する。あとは、図１に示すような基部ネットワークの基本構成を採用する。ノード数その他についても基本構成を設定しておき、そのまま採用する。

【0070】

さらに、モデル構築部３５０は、学習処理部３４０に、学習データ格納部３３０に格納されている学習データで基部ネットワークの学習をＮ通り行わせ、認識精度算出部３６０に、学習データ格納部３３０に格納されているデータを用いて、学習済みの基部ネットワークの各々の認識精度を算出させる（ステップＳ２５）。学習において乱数でパラメータを設定する部分があるので、Ｎ通りの学習を行って、それぞれについて認識精度を算出するものである。そして、モデル構築部３５０は、Ｎ個の学習済み基部ネットワークのうち認識精度が最高のものを選択する（ステップＳ２７）。その後処理は端子Ａを介して図１３の処理に移行する。

【0071】

図１３の処理の説明に移行して、モデル構築部３５０は、ｌ＝２を設定する（ステップＳ２９）。そして、モデル構築部３５０は、ｂ及びｍに基づき、第ｌ段の残差ネットワークを構築する（ステップＳ３１）。基数ｂにおけるスイッチのオンオフパターンの（ｌ mod ｍ）番目のパターンを採用する。あとは、図２に示すような残差ネットワークの基本構成を採用する。ノード数その他についても基本構成を設定しておき、そのまま採用する。

【0072】

そして、モデル構築部３５０は、学習処理部３４０に、学習データ格納部３３０に格納されている学習データで第ｌ段残差ネットワークの学習をＮ通り行わせる（ステップＳ３３）。このステップにおけるＮは、ステップＳ２５のＮとは異なる値であっても良い。そして、モデル構築部３５０は、（ｌ－１）段学習済みネットワークに、各第ｌ段学習済みネットワークを積み上げてＮ個のｌ段学習済みネットワークを構築し、認識精度算出部３６０に、それぞれの認識精度を算出させる（ステップＳ３５）。そして、モデル構築部３５０は、Ｎ個のｌ段学習済みネットワークのうち、認識精度が最高のものを選択する（ステップＳ３７）。

【0073】

その後、モデル構築部３５０は、ｌ＝ｌ＋１と設定する（ステップＳ３９）。そして、モデル構築部３５０は、ｌ≦Ｌであるか否かを判断する（ステップＳ４１）。ｌ≦Ｌであれば、処理はステップＳ３１に戻る。一方、ｌ＞Ｌとなった場合には、処理は呼び出し元の処理に戻る。

【0074】

このような処理を行えば、べき乗パターンで候補となった特定のネットワーク構成について適切に学習されたＬ段の学習済みネットワークが得られるようになる。

【0075】

次に、図１４及び図１５を用いて、第２モデル構築評価処理について説明する。第２モデル構築評価処理を実行する場合には、べき乗パターンに基づくスイッチのオンオフパターンではないので、予め各段についてスイッチのオンオフパターンが定義されているものとする。

【0076】

まず、モデル構築部３５０は、候補モデルにおける１段目のスイッチのオンオフパターンに基づき、基部ネットワークを構築する（ステップＳ５１）。図１に示すような基部ネットワークの基本構成に対して、１段目のスイッチのオンオフパターンを適用する。

【0077】

さらに、モデル構築部３５０は、学習処理部３４０に、学習データ格納部３３０に格納されている学習データで基部ネットワークの学習をＮ通り行わせ、認識精度算出部３６０に、学習データ格納部３３０に格納されているデータを用いて、学習済みの基部ネットワークの各々の認識精度を算出させる（ステップＳ５３）。学習において乱数でパラメータを設定する部分があるので、Ｎ通りの学習を行って、それぞれについて認識精度を算出する。そして、モデル構築部３５０は、Ｎ個の学習済み基部ネットワークのうち認識精度が最高のものを選択する（ステップＳ５５）。その後処理は端子Ｂを介して図１５の処理に移行する。

【0078】

図１５の処理の説明に移行して、モデル構築部３５０は、ｌ＝２を設定する（ステップＳ５７）。そして、モデル構築部３５０は、ｌ段目のスイッチのオンオフパターンに基づき、第ｌ段の残差ネットワークを構築する（ステップＳ５９）。図２に示すような残差ネットワークの基本構成に対して、ｌ段目のスイッチのオンオフパターンを適用する。なお、べき乗パターンの場合と同じようにパターン繰り返しのためのｍを設定する場合もある。この場合には、（ｌ mod ｍ）番目のオンオフパターンを採用する。

【0079】

そして、モデル構築部３５０は、学習処理部３４０に、学習データ格納部３３０に格納されている学習データで第ｌ段残差ネットワークの学習をＮ通り行わせる（ステップＳ６３）。このステップにおけるＮも、ステップＳ５３のＮとは異なる値であっても良い。そして、モデル構築部３５０は、（ｌ－１）段学習済みネットワークに、各第ｌ段学習済みネットワークを積み上げてＮ個のｌ段学習済みネットワークを構築し、認識精度算出部３６０に、それぞれの認識精度を算出させる（ステップＳ６３）。そして、モデル構築部３５０は、Ｎ個のｌ段学習済みネットワークのうち、認識精度が最高のものを選択する（ステップＳ６５）。

【0080】

その後、モデル構築部３５０は、ｌ＝ｌ＋１と設定する（ステップＳ６７）。そして、モデル構築部３５０は、ｌ≦Ｌであるか否かを判断する（ステップＳ６９）。ｌ≦Ｌであれば、処理はステップＳ５９に戻る。一方、ｌ＞Ｌとなった場合には、処理は呼び出し元の処理に戻る。

【0081】

このような処理を行えば、べき乗パターンではないネットワーク構成の候補となった特定のネットワーク構成について適切に学習されたＬ段の学習済みネットワークが得られるようになる。

【0082】

このような処理を実行することで、観測イベントの検知又は認識において準最適な学習済みのネットワークを自動的に生成することが出来るようになる。

【0083】

［実施の形態２］
［本実施の形態に係るネットワークの構成例］
第１の実施の形態では、ネットワークの受容域サイズを観測イベントの平均的な継続時間に合わせるようにしていた。しかし、検知又は認識対象の観測イベントの継続時間の分布が、正規分布のように平均的な継続時間を中心とした１ピークの分布であれば良いが、複数のピークを有するような分布を有する場合には、異なる受容域サイズを有する複数のネットワークを用い、且つ各ネットワークの出力を統合することが好ましい。

【0084】

本実施の形態では、例えば、複数の継続時間に対応する複数の受容域サイズの各々を実現するネットワークにおける基部ネットワーク及び残差ネットワークの全出力特徴量を重み付けして統合して最終的な出力特徴量を生成する全結合線形ネットワークを、出力段に設けることにする。一般的には乱数で重みを決定し非線形活性化関数を通した結果を全結合線形ネットワークに入力する隠れ層が１層のＦＦＮＮを、出力段に設けてもよい。更に、そのＦＦＮＮを複数段重ねたネットワークを出力段に設けてもよい。

【0085】

このようなネットワークの一例を図１６に示す。図１６の例では、例えば２のべき乗パターンで且つ分布のピークである第１の継続時間に対応する受容域サイズＲＦ１のネットワーク１６００と、例えば３のべき乗パターンで且つ分布のピークである第２の継続時間に対応する受容域サイズＲＦ２のネットワーク１６１０と、ネットワーク１６００の各段の出力特徴量とネットワーク１６１０の各段の出力特徴量とを入力とする全結合線形ネットワークである統合ネットワーク１６２０とを有する。このように各段の出力特徴量を用いることで、継続時間の分布に広がりがある場合でも対応可能となる。但し、計算量を削減するために、ネットワーク１６００の出力特徴量とネットワーク１６１０の出力特徴量とを入力とする統合ネットワーク１６２０を追加するようにしても良い。

【0086】

また、継続時間の分布においてピークが複数ある場合であっても、選ばれた複数のネットワークに、ネットワーク構造上包含関係がある場合には、図１７のようなネットワーク構成を採用するようにしても良い。例えば、図１７のように、分布のピークである第１の継続時間に対応する受容域サイズＲＦ１の第１ネットワーク１７００が得られ、分布のピークである第２の継続時間に対応する受容域サイズＲＦ２の第２ネットワークが得られたが、この第２ネットワークが第１ネットワーク１７００の２段目までのネットワークと同一構造である場合、第１ネットワーク１７００の各段の出力特徴量を入力とする全結合線形ネットワークである統合ネットワーク１７２０を連結することとする。この場合も、２段目の出力特徴量と最終段の出力特徴量とを入力とする統合ネットワーク１７２０を採用するようにしても良い。

【0087】

より具体的な例を図１８を用いて説明する。ここで、分布のピーク１に対応する継続時間１と分布のピーク２に対応する継続時間２の２つの継続時間を持つ観測イベントを考える。それぞれの継続時間について準最適なネットワークを、第１の実施の形態で説明した処理を実行して選択する。例えば、継続時間１に関して選択したネットワークを選択モデルＡ１、継続時間２に関して選択したネットワークを選択モデルＡ２とする。この選択モデルＡ１及びＡ２は、いずれも同じΔ_２ ^５（ｐ_ｌ）の曲線上において、それぞれ６段目と１９段目のモデルとなる。このままでは、１つの音響イベントの検出又は認識結果が別々に、６段目と１９段目の２つモデルから得られることになる。このような場合には、受容域サイズが大きい方を採用して統合ネットワーク１７２０を追加することで統合を行う。

【0088】

一方、継続時間１に関して選択したネットワークが選択モデルＢ１であり、継続時間２に関して選択したネットワークが選択モデルＢ２であるとする。この場合は、選択モデルＢ１は、Δ_２ ^５ （ｐ_ｌ）の曲線上の１６段目のモデルで、選択モデルＢ２はΔ_２ ^３（ｐ_ｌ）の曲線上の１３段目のモデルとなる。この場合、このように包含関係が無い場合には、図１６に示すように、２つのネットワークを採用してさらに統合ネットワークを追加することで統合する。

【0089】

なお、一般的にＬ段ネットワークを積み上げる場合、第ｌ段ネットワークの出力特徴量のベクトルｙ_ｌ，ｔ∈Ｒ^Ｒ×１ （ｌ＝１，．．Ｌ）、全結合線形ネットワークの出力特徴量ベクトルｙ_Ｆ，ｔ∈Ｒ^Ｒ×１の次元数は共に出力層のノード数Ｒとなる。全結合線形ネットワークの結合入力特徴量ベクトルは、ｙ_Ｃ，ｔ ^Ｔ＝［ｙ_１，ｔ ^Ｔ，ｙ_２，ｔ ^Ｔ，．．ｙ_Ｆ，ｔ ^Ｔ］∈Ｒ^１×ＲＬで表される。

【0090】

学習データの結合入力特徴量ベクトルｙ_Ｃ，ｔと全結合線形ネットワークの出力特徴量ベクトルｙ_Ｆ，ｔ、そしてターゲット特徴量のベクトルｒ_ｔは、１≦ｔ≦Ｎの範囲でＮ個あるとする。ここで、Ｙ_Ｃ＝［ｙ_Ｃ，１，．．ｙ_Ｃ，Ｎ］^Ｔ∈Ｒ^Ｎ×ＲＬ、Ｙ_Ｆ＝［ｙ_Ｆ，１，．．ｙ_Ｆ，Ｎ］^Ｔ∈Ｒ^Ｎ×Ｒ、そして全結合線形ネットワークのパラメータをγ∈Ｒ^ＲＬ×Ｒとを行列で表すと、以下のようになる。
Ｙ_Ｆ＝Ｙ_Ｃ・γ

【0091】

そして、ターゲットの行列Ｒ＝［ｒ_１，．．ｒ_Ｎ］^Ｔ∈Ｒ^Ｎ×Ｒで表し、ターゲット特徴量のベクトルと全結合線形ネットワークの出力ベクトルとの誤差を行列Ｅ＝［ｅ_１，．．ｅ_Ｎ］^Ｔ∈Ｒ^Ｎ×Ｒで表すと、以下のようになる。
Ｅ＝Ｒ－Ｙ_Ｆ＝Ｒ－Ｙ_Ｃ・γ

【0092】

この関係を満たす条件付きで、過学習を防ぐための正則化項と残差項の和で表される評価関数を最小化するパラメータγを最適解として求める。

【数5】

ここで定数Ｃは正則化項と残差項のバランスを決めるパラメータである。この最適解は、以下のように表される。

【数6】

【0093】

［ネットワークの構成の準最適化］
本実施の形態に係る処理を行う情報処理装置は図７に示したものと同様である。そして、図１９及び図２０に示す処理を実行する。まず、候補抽出部３１０は、学習データ格納部３３０に格納されているデータを用いて、観測イベントの継続時間の分布データ（例えば、ピークの継続時間、標準偏差など）を算出する（図１９：ステップＳ１０１）。本ステップは、観測イベントの継続時間の分布におけるピークの継続時間、標準偏差などが入力される場合には省略される。

【0094】

次に、候補抽出部３１０は、継続時間の分布においてピークが１つか否かを判断する（ステップＳ１０３）。ピークが複数の場合には、処理は端子Ｃを介して図２０の処理に移行する。一方、ピークが単数である場合には、モデル構築部３５０は、第１の実施の形態で説明した準最適化処理を実行する（ステップＳ１０５）。より具体的には、図１１のステップＳ３乃至Ｓ１５を実行する。

【0095】

そして、モデル構築部３５０は、継続時間の分布における標準偏差が閾値以上であるか否かを判断する（ステップＳ１０７）。継続時間の分布が、１つのピークで標準偏差が閾値未満であるような広がりのない分布である場合には、第１の実施の形態と実質同じであるので、処理は終了する。一方、継続時間の分布が、１つのピークであるが標準偏差が閾値以上であって広がりのある分布の場合には、モデル構築部３５０は、ステップＳ１０５で生成された学習済みネットワークに各段の出力特徴量を入力とする統合ネットワークを連結し、学習処理部３４０によって統合ネットワークを学習することで、最終的な学習済みネットワークを生成する（ステップＳ１０９）。このようにすれば、このような広がりのある分布であっても、認識精度の高い学習済みネットワークを生成できるようになる。なお、ステップＳ１０９では、統合ネットワークをＮ通り学習して認識精度が最高となる統合ネットワークを採用するようにしても良い。

【0096】

図２０の処理の説明に移行して、継続時間の分布においてピークが複数ある場合には、モデル構築部３５０は、未処理のピークに係る継続時間を１つ特定する（ステップＳ１１１）。そして、モデル構築部３５０は、第１の実施の形態で説明した準最適化処理を実行する（ステップＳ１０５）。より具体的には、図１１のステップＳ３乃至Ｓ１５を実行する。

【0097】

そして、モデル構築部３５０は、未処理のピークが存在するか否かを判断し（ステップＳ１１５）、未処理のピークが存在する場合には処理はステップＳ１１１に戻る。一方、未処理のピークが存在しない場合には、モデル構築部３５０は、生成された複数の学習済みネットワークにおいて、構造上の包含関係が存在するか否かを判断する（ステップＳ１１７）。図１７に示すような構造を採用すべきか否かを判断するものである。生成された複数の学習済みネットワークにおいて構造上の包含関係が存在しない場合には、全ての学習済みネットワークを採用して、処理はステップＳ１２１に移行する。

【0098】

一方、生成された複数の学習済みネットワークにおいて構造上の包含関係が一部にでもある場合には、モデル構築部３５０は、構造上包含関係にある学習済みネットワークのうち長い方を採用する（ステップＳ１１９）。構造上包含関係にない学習済みネットワークについてはそのまま採用する。そして、モデル構築部３５０は、採用された学習済みネットワークの各段の出力特徴量を入力とする統合ネットワークを連結し、学習処理部３４０によって統合ネットワークを学習することで、最終的な学習済みネットワークを生成する（ステップＳ１２１）。そして処理は端子Ｄを介して終了する。なお、ステップＳ１２１でも、統合ネットワークをＮ通り学習して認識精度が最高となる統合ネットワークを採用するようにしても良い。

【0099】

また、準最適な学習済みネットワークの各段の出力特徴量を統合ネットワークの入力とするか、準最適な学習済みネットワークの最終的な出力特徴量を統合ネットワークの入力とするかは、予め設定しておけば良い。また、構造上包含関係にある学習済みネットワークのうち採用されなかった方に相当する段の出力特徴量と、採用された方の学習済みネットワークの最終的な出力特徴量とを統合ネットワークの入力とするか、採用された方の学習済みネットワークの各段の出力特徴量を統合ネットワークの入力とするかも、予め設定しておけばよい。

【0100】

このような処理を実行することで、観測イベントの継続時間の分布に応じた適切な学習済みネットワークを生成できるようになる。

【0101】

［実施例］
作業音（すなわち気導音）に基づいた作業行動認識実験として、９種類の生活音に基づいた生活行動の認識実験を行った。生活行動は、電話、料理、皿洗い、食事、掃除、来訪者対応、テレビ視聴、仕事の９種類である。生活音は１６ｋＨｚサンプリング、１６ビット量子化のディジタル信号で、高域強調フィルタを通した後、窓幅３０ｍｓ、窓移動幅１５ｍｓでＦＦＴ（Fast Fourier Transformation）を計算し、４０次元のメルフィルタバンク特徴量時系列を算出した。学習には４時間３０分（各生活行動３０分）の生活音を用い、テストには２時間１５分（各生活行動１５分）の生活音を用いた。

【0102】

基部ネットワークの上に残差ネットワークが１１段積み上がるまで、各ネットワークの学習を繰り返した。記憶機構に接続したスイッチのオンオフパターンは、図４に示した２のべき乗パターンを使用した。右端のオンスイッチの時刻と左端のオンスイッチの時刻間の時間差は、ｌ＝１，．．，１２のそれぞれに対して、Δ（ｐ_ｌ）＝２^ｌ－１と単調増加するパターンを使用した。１０段まで残差ネットワークを積み上げたときの受容域サイズは１０２４で、これを時間に換算すると約１５秒である。１１段まで残差ネットワークを積み上げる場合の受容域サイズは２０４８（約３０秒）、そして１２段まで残差ネットワークを積み上げる場合は、４０９６（約１分）となる。各段数における受容域サイズを時間に換算した結果を図２１に示す。横軸はネットワークの積み上げ段数Ｌであり、縦軸は秒である。

【0103】

隠れ層のノード数は全１２段のネットワークで同一数とし、本実験では１０００個から１００００個まで１０００個刻みの１０種類とした。それぞれのノード数について全１２段のネットワークの学習とテストを行った。図２２に、Ｆ値で算出した認識結果を示す。図２２において横軸は、学習により調整可能なネットワークパラメータの個数を表しており、縦軸はＦ値を表す。本実施例の場合、入力層－隠れ層間の全結合重み行列｛Ｗ_ｌ｜ｌ＝１，．．．，１２｝学習データに関係なく乱数から設定されるため、調整可能なネットワークパラメータの個数には含めていない。学習により調整されるのは、隠れ層ー出力層間の全結合重み行列｛β_ｌ｜ｌ＝１，．．．，１２｝のみである。

【0104】

本実施の形態のネットワークは、残差ネットワークへの入力特徴量を、直下の基部ネットワーク又は残差ネットワークの入力特徴量（音響特徴量などの観測特徴量）と出力特徴量（ターゲットを推論した特徴量）を組み合わせていることが１つの特徴点となっている。この効果を確かめるために、オンオフパターンは上記実験と同じであるが、残差ネットワークへの入力特徴量を直下のネットワークの入力特徴量（音響特徴量などの観測特徴量）のみとする実験を行った。その結果を図２３に示す。比較しやすいように本実施の形態に係るネットワークの結果（図２２）も図２３に示している。このように、本実施の形態の方が、調整可能なネットワークパラメータが同レベルでも、Ｆ値が高くなっており、効果が認められる。

【0105】

本実施の形態に係るネットワークは、有限個の遅延素子を直列に接続した記憶機構を設置し、その各パスに接続したスイッチをオンオフすることで、ＦＦＮＮへ入力する特徴量を記憶した範囲内で任意に選択可能としている。そして、そのオンオフパターンが基部ネットワークおよび各残差ネットワークで異なる設定を可能である。このような効果を確かめるために、残差ネットワークへの入力特徴量を、直下の基部ネットワーク又は残差ネットワークの入力特徴量（音響特徴量などの観測特徴量）と出力特徴量（ターゲットを推論した特徴量）を組み合わせている点は本実施の形態に係るネットワークの実験と同じであるが、オンオフパターンを全ネットワークで同一パターンとする実験を行った。

【0106】

本実験でのオンオフパターンは、現時刻ｔから時刻（ｔ－１０２）までの連続する１０３個の特徴量を全てＦＦＮＮに入力するパターンを、全１０段のネットワークに適用した。この時、受容域サイズは１０２１となる。その結果を図２４に示す。比較しやすいように本実施の形態に係るネットワークの結果（図２２）も図２４にも表している。これを見ても、本実施の形態の方に係るネットワークの方がＦ値が高くなっており、効果が認められる。

【0107】

以上の３つの実験で使用したネットワークは全て、残差ネットワークのＦＦＮＮが、ターゲット特徴量を直接推論するように学習するのではなく、ターゲット特徴量から１つ下段のネットワークがターゲット特徴量を推論した出力特徴量を差し引いた残差特徴量を推論するように学習するようになっている。そして、１つ下段のネットワークがターゲットを推論した出力特徴量に、残差ネットワークのＦＦＮＮが残差特徴量を推論した特徴量を加算することで、残差ネットワークがターゲットを推論した出力特徴量を求めるようになっている。そして、上記の実験結果から、３つの特徴点を全て備えている本実施の形態のネットワークの認識精度が最も良いことが確認できる。

【0108】

また、ＣＮＮ（Convolutional Neural Network）との比較実験結果を図２５に示す。本実施の形態に係るネットワークの受容域サイズが１０２４という条件が合うように、（特徴量４０次元）×（受容域サイズ１０２４）のメルフィルタバンク特徴量時系列を画像とみなし、ＣＮＮを学習した。図２５の例では、調整可能なパラメータ数が少ない場合にはＣＮＮの方が良い場合があるが、調整可能なパラメータ数が多くなると、ＣＮＮは過学習を起こし認識精度が劣化する。これに対して本実施の形態のネットワークは、ネットワークの積み上げ段数を増やしてパラメータ数が多くなっても、Ｆ値は単調増加しており、本実施の形態の、認識精度および汎化性能に関する効果が認められる。

【0109】

さらに、体導音に基づいた手作業の認識実験として、１１種類の手作業の認識実験を行った。実験に用いた手作業は、ボールペンでの円描画、ドリンクカップの蓋の開け閉め、キーボードタイピング、マウスクリック、マウス移動、マウスホイールの回転、紙の握りしめ、ハサミで紙切り、ホチキス止め、ビニールの握りしめ、安静状態の１１種類である。体導音は８ｋＨｚサンプリング、１６ビット量子化でＡ／Ｄ変換し、高域強調フィルタを通した後、窓幅３０ｍｓ、窓移動幅１５ｍｓでＦＦＴを計算し、４０次元のメルフィルタバンク特徴量時系列を算出した。モデル学習には２２分（各手作業２分）の体導音を用い、テストには１１分（各手作業１分）の体導音を用いた。基部ネットワークの上に残差ネットワークが１１段積み上がるまで、各ネットワークの学習を繰り返した。記憶機構に接続したスイッチのオンオフパターンは、図４に示した２のべき乗パターンを使用した。各積み上げ段数における受容域サイズを時間に換算した結果は先に示した図２１と同じである。

【0110】

隠れ層のノード数は全１２段のネットワークで同一数とし、本実験では１０００個から１００００個まで１０００個刻みの１０種類とした。そして、それぞれのネットワークについて学習とテストを行った。Ｆ値で算出した認識結果を図２６に示す。図２６において横軸はネットワークの積み上げ段数Ｌを表し、縦軸はＦ値を表す。各積み上げ段数において、１０本の棒グラフが１０００個から１００００個までの１０種類の隠れ層のノード数に対する認識結果を示している。このように、ネットワーク段数が増加すると、Ｆ値が上昇するが、８段程度で飽和している。一方、隠れ層のノード数が増加すると効果があるのはネットワークの段数が少ない場合である。

【0111】

以上、本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、図７に示した情報処理装置の機能構成例は一例であって、プログラムモジュール構成とは一致しない場合もある。また、複数の機能ブロックを１つの機能ブロックに統合したり、１つの機能ブロックを複数の機能ブロックに分けるようにしても良い。また、処理フローも一例であって、処理結果が変わらない限り、複数のステップを並列に実行したり、実行順番を入れ替えても良い。
さらに、情報処理装置３００は、１台のコンピュータで実装される場合もあれば、複数台のコンピュータで実装される場合もある。

【0112】

なお、上で述べた情報処理装置３００は、コンピュータ装置であって、図２７に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。なお、ＨＤＤはソリッドステート・ドライブ（ＳＳＤ：Solid State Drive）などの記憶装置でもよい。オペレーティング・システム（ＯＳ：Operating System）及び本発明の実施の形態における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

【0113】

なお、上で述べたような処理を実行することで用いられるデータは、処理途中のものであるか、処理結果であるかを問わず、メモリ２５０１又はＨＤＤ２５０５等の記憶装置に格納される。
以上述べた実施の形態をまとめると以下のようになる。

【0114】

本実施の形態に係る学習済みネットワークは、（Ａ）予め定められたタイミングパターンに基づき特定される時刻における観測特徴量を入力とする第１のフィードフォワードニューラルネットワークを含む第１のネットワーク（例えば基部ネットワーク）と、（Ｂ）予め定められたタイミングパターンに基づき特定される時刻における、１つ下段のネットワークの出力特徴量と観測特徴量との連結である連結特徴量を入力とする第２のフィードフォワードニューラルネットワークを含み、当該第２のフィードフォワードニューラルネットワークの出力と上記１つ下段のネットワークの出力特徴量との加算により出力特徴量を算出する加算部を各々含む（Ｌ－１）段（Ｌは２以上の整数）の第２のネットワーク（例えば残差ネットワーク）とを含み、コンピュータによって実行可能な学習済みネットワークである。そして、予め定められたタイミングパターンは、第１乃至第ｍ（１以上ｍはＬ以下の整数）のタイミングパターンを含み、第１及び第２のネットワークの各々に、当該ネットワークの、最下段からの段数ｘ（１≦ｘ≦Ｌ）に基づき、第１乃至第ｍのタイミングパターンのうち第（ｘ mod ｍ）のタイミングパターンを適用するものである。

【0115】

このような構造を有するネットワークであれば、第２のネットワークで当該第２のネットワークより下段における推論結果の偏りや誤りを効果的に修正できるようになり、推論精度を高めることが出来るようになる。また、様々なタイミングパターンの特徴量を用いて推論を行うことが出来るようになっているので、学習効率も高くなる。なお、タイミングパターンのバリエーションに応じて、構築対象ネットワーク全体において用いられる観測特徴量の最も古い時刻と最も新しい時刻との差である受容域サイズが幅広く変化するので、観測イベントに応じてより好ましい構成のネットワークを決めやすくなっている。

【0116】

なお、第１及び第２のネットワークの各々は、当該ネットワークのためのタイミングパターンで特定される時刻における観測特徴量を保持するためのメモリ領域（例えば記憶機構）を用いるようにしても良い。このようにすれば、任意の時刻の観察特徴量を活用しやすくなる。

【0117】

また、上記第１乃至第ｍのタイミングパターンのうちの第ｙ（１≦ｙ≦ｍ）のタイミングパターンが、観測特徴量を用いるべき最も新しい時刻と最も古い時刻との差が（ｂ－１）×ｂ^ｙ－１であり、均等間隔でｂ個の時刻を含むようにしても良い。基数ｂのべき乗パターンに対応できるようになる。

【0118】

さらに、上記学習済みネットワークが、最上段のネットワークの出力特徴量と、第１のネットワーク及び最上段のネットワーク以外の第２のネットワークの出力特徴量のうち少なくとも１つの出力特徴量とを入力とする第３のネットワーク（例えば統合ネットワーク）をさらに含むようにしても良い。このような構成を含む方が推論精度が高い場合もあるためである。

【0119】

また、上記のような学習済みネットワークを複数含み、各学習済みネットワークにおける少なくとも最上段のネットワークの出力特徴量を入力とする第３のネットワーク（例えば統合ネットワーク）をさらに含み、コンピュータにより実行可能な学習済みネットワークであっても良い。このような構成の方が、単体の学習済みネットワークよりも推論精度が高い場合もあるためである。

【0120】

また、本実施の形態に係る生成方法では、予め定められたタイミングパターンに基づき特定される時刻における観測特徴量を入力とする第１のフィードフォワードニューラルネットワークを含む第１のネットワークと、予め定められたタイミングパターンに基づき特定される時刻における、１つ下段のネットワークの出力特徴量と観測特徴量との連結である連結特徴量を入力とする第２のフィードフォワードニューラルネットワークを含み、当該第２のフィードフォワードニューラルネットワークの出力と１つ下段のネットワークの出力特徴量との加算により出力特徴量を算出する加算部を各々含む（Ｌ－１）段（Ｌは２以上の整数）の第２のネットワークとを含むネットワークであって、予め定められたタイミングパターンは、第１乃至第ｍ（ｍは１以上Ｌ以下の整数）のタイミングパターンを含み、第１及び第２のネットワークの各々に、当該ネットワークの、最下段からの段数ｘ（≦Ｌ）に基づき、第１乃至第ｍのタイミングパターンのうち第（ｘ mod ｍ）のタイミングパターンを適用するネットワークを構築対象ネットワークとしている。そして、本生成方法は、このような構築対象ネットワークについて、（Ａ）観測特徴量の元となる観測イベントの継続時間と、当該構築対象ネットワーク全体において用いられる観測特徴量の最も古い時刻と最も新しい時刻との差である受容域サイズとに基づき、構築対象ネットワークの構成について複数の候補を特定するステップと、（Ｂ）複数の候補の各々について学習済みネットワークを生成するステップと、（Ｃ）生成された学習済みネットワークの推論精度に基づき、用いるべき学習済みネットワークを選択するステップとを含む。

【0121】

観測イベントの継続時間に応じた受容域サイズを有するネットワークの方が、適切な推論を行うことができるため上記のような処理で学習済みネットワークを生成する。なお、上記のような特性を有するネットワークであればネットワーク構造と受容域サイズとの関係が明らかなので、容易に処理を行うことが出来る。

【0122】

また、上記構築対象ネットワークの構成について複数の候補を特定するステップが、継続時間を含む所定の時間幅に対応する所定幅に入る受容域サイズを有することになる構築対象ネットワークのｍ及びＬの組み合わせを候補として特定するステップを含むようにしても良い。このようにすれば、適切に候補となるネットワークを選択できるようになる。

【0123】

さらに、上で述べた受容域サイズは、最下段から最上段までの各ネットワークにおいて観測特徴量を用いるべき最も新しい時刻と最も古い時刻との差を構築対象ネットワークの全体について加算した結果と１との加算により算出される場合もある。

【0124】

さらに、上で述べた第１乃至第ｍのタイミングパターンのうちの第ｙ（１≦ｙ≦ｍ）のタイミングパターンが、観測特徴量を用いるべき最も新しい時刻と最も古い時刻との差が（ｂ－１）×ｂ^ｙ－１であり、均等間隔でｂ個の時刻を含むようにしても良い。また、上で述べた受容域サイズが、１＋Σ^Ｌ _ｉ（ｂ－１）×ｂ^{（ｉ－１） ｍｏｄ ｍ}で算出される場合もある。

【0125】

さらに、上記生成方法は、観測特徴量の元となる観測イベントに考慮すべき複数の継続時間が存在する場合、（Ｄ）当該複数の継続時間の各々について、上記複数の候補を特定するステップと、上記複数の候補の各々について学習済みネットワークを生成するステップと、上記学習済みネットワークを選択するステップとを実行し、（Ｅ）選択された学習済みネットワークの少なくとも出力特徴量を統合する第３のネットワークを学習するステップをさらに含むようにしても良い。

【0126】

観測イベントによっては継続時間の分布においてピークが１つの場合もあれば複数の場合もある。複数の場合には、このような処理を実行することで、推論精度の高い学習済みネットワークを生成できるようになる。例えば、図１６で示したような学習済みネットワークを生成するものである。

【0127】

なお、選択された学習済みネットワークのうち、第１の学習済みネットワークが、第２の学習済みネットワークを包含する場合、第３のネットワークが、第１の学習済みネットワークの出力特徴量と、第１の学習済みネットワークにおいて第２の学習済みネットワークに相当する段の出力特徴量とを少なくとも入力とするネットワークであっても良い。

【0128】

継続時間の分布において複数のピークが存在する場合においても、特別な場合には、上記のような学習済みネットワークが適切であるためである。なお、例えば図１７で示したような学習済みネットワークを生成するものである。

【0129】

選択された前記学習済みネットワークのうち、第１の学習済みネットワークが、第２の学習済みネットワークを包含しない場合、第３のネットワークが、第１の学習済みネットワークの出力特徴量と、前記第２の学習済みネットワークの出力特徴量とを少なくとも入力とするネットワークであってもよい。

【0130】

以上述べた生成方法をコンピュータに実行させるためのプログラムを作成することができて、そのプログラムは、様々な記憶媒体に記憶される。

【0131】

また、上で述べたような生成方法を実行する情報処理装置は、１台のコンピュータで実現される場合もあれば、複数台のコンピュータで実現される場合もあり、それらを合わせて情報処理システム又は単にシステムと呼ぶものとする。

【符号の説明】

【0132】

３００ 情報処理装置
３１０ 候補抽出部 ３２０ ＲＦテーブル格納部
３３０ 学習データ格納部 ３４０ 学習処理部
３５０ モデル構築部 ３６０ 認識精度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】