特許 6192010 重み設定装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6192010

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】重み設定装置および方法

(51)【国際特許分類】

   G06N 3/08 20060101AFI20170828BHJP

【ＦＩ】

   G06N3/08

【請求項の数】10

【全頁数】18

(21)【出願番号】特願2013-184075(P2013-184075)

(22)【出願日】2013年9月5日

(65)【公開番号】特開2015-52832(P2015-52832A)

(43)【公開日】2015年3月19日

【審査請求日】2016年8月25日

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110000017

【氏名又は名称】特許業務法人アイテック国際特許事務所

(72)【発明者】

【氏名】中山 英樹

【審査官】 石川 亮

(56)【参考文献】

【文献】 中山 英樹，階層フィッシャー重みマップを用いた識別的初期化による深層畳み込みニューラルネットワーク構築法，ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集 ［ＣＤ−ＲＯＭ］，日本，２０１４年 ６月，p.IS1-04-1〜IS1-04-8

【文献】 麻生 英樹，多層ニューラルネットワークによる深層表現の学習，人工知能学会誌，日本，（一社）人工知能学会，２０１３年 ７月 １日，第28巻, 第4号，p.649-659

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定装置であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定装置。

【請求項2】

請求項１に記載の重み設定装置において、
第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定することを特徴とする重み設定装置。

【請求項3】

請求項１または２に記載の重み設定装置において、
複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定装置。

【請求項4】

請求項３に記載の重み設定装置において、
ｊ番目（ただし、１≦ｊ≦Ｃであり、“Ｃ”は、サンプルデータのクラスの総数である。）のクラスに含まれるｉ番目（ただし、１≦ｉ≦Ｎｊであり、“Ｎｊ”は、ｊ番目のクラスに含まれるサンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘ^(j)_iを設定する連結行列設定手段と、
全サンプルデータの第ｋ層の連結行列Ｘ⁽¹⁾₁〜Ｘ^(C)_Njの平均行列Ｘ^-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ^(j)₁〜Ｘ^(j)_Njの平均行列Ｘ^-(j)とを設定する平均行列設定手段と、
次式（１）に示す固有値問題を次式（２）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えることを特徴とする重み設定装置。ただし、式（１）における“Λ_F”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（１）および（２）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（２）における“Ｉ”は単位行列であり、“Σ_W”は、次式（３）に示すとおりであり、“Σ_B”は、次式（４）に示すとおりであり、“Ｎ”は、サンプルデータの総数である。

【数1】

【請求項5】

請求項１または２に記載の重み設定装置において、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定装置。

【請求項6】

請求項４に記載の重み設定装置において、
ｈ番目（ただし、１≦ｈ≦Ｎであり、“Ｎ”は、サンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘ_hを設定する連結行列設定手段と、
全サンプルデータの第ｋ層の連結行列Ｘ₁〜Ｘ_Nの平均行列Ｘ^-を設定する平均行列設定手段と、
次式（５）に示す固有値問題を次式（６）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えることを特徴とする重み設定装置。ただし、式（５）における“Λ_E”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（５）および（６）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（６）における“Ｉ”は単位行列であり、“Σ_X”は、次式（７）に示す共分散行列であり、“Ｎ”は、サンプルデータの総数である。

【数2】

【請求項7】

畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定方法であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定方法。

【請求項8】

請求項７に記載の重み設定方法において、
第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定することを特徴とする重み設定方法。

【請求項9】

請求項７または８に記載の重み設定方法において、
複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定方法。

【請求項10】

請求項７または８に記載の重み設定方法において、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする重み設定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを設定する重み設定装置および方法に関する。

【背景技術】

【0002】

近年、画像認識や音声認識、形状認識といった分野において、畳み込みニューラルネットワーク（Convolutional Neural Networks）が注目されている（例えば、非特許文献１〜４参照）。この種の畳み込みニューラルネットワークは、複数の畳み込み層や、当該畳み込み層と交互に並ぶプーリング層（部分サンプリング層）を有し、画像データや音声データ等の局所特徴を階層的に畳み込むことにより、画像や音声データを精度よくクラス分け（識別）可能とするものである。そして、このような畳み込みニューラルネットワークを構成する畳み込み層は、第ｋ層の特徴マップ（特徴量の配列）と複数の重みマップ（重みの配列）との畳み込み、すなわち、第ｋ層の特徴マップから抽出した複数の特徴ベクトルに対する複数の重みマップを用いた重み付けを行い、それにより当該重みマップと同数の第ｋ＋１層の特徴マップを生成する。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Y. LeCun, L. Bottou, Y. Bengio, and P. Haner. Gradient-based learning applied to document recognition. Proc. of the IEEE, 1998.

【非特許文献2】G. E. Hinton and R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science, 313:504.507, 2006.

【非特許文献3】R. Gens and P. Domingos. Discriminative learning of sum-product networks. In Proc. NIPS, 2012.

【非特許文献4】A. Krizhevsky, I. Sutskever, and G. E. Hinton. ImageNet classification with deep convolutional neural networks. In Proc. NIPS, 2012.

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述のような畳み込みニューラルネットワークを用いて高精度な画像認識等を可能とするためには、各畳み込み層における重みマップ（多数の重み）を適正に設定しておく必要がある。しかしながら、多数の重みを適正に設定するためには、大量（例えば１００万個以上）の学習サンプルを用いて誤差逆伝播法による学習等を繰り返し行わなければならない。従って、重みマップの設定における計算コストは非常に高くなり、ＧＰＵやスーパーコンピュータ等を用いなければ適正な重みマップが得られないことが多い。また、多数のパラメータを用いた重みのチューニング（学習）に際しては、ノウハウも要求され、従来の一般的な重みマップの設定手法によって適正な重みマップを容易に得ることは困難である。そして、従来の重みマップの設定手法には、学習サンプル数が少ない場合、学習を繰り返し行っても適正な重みマップを得ることができない、という問題が存在している。

【0005】

そこで、本発明は、計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定することを主目的とする。

【課題を解決するための手段】

【0006】

本発明による重み設定装置は、
畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定装置であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする。

【0007】

畳み込みニューラルネットワークの畳み込み層による第ｋ層の特徴マップ（特徴量の配列）と複数の重みマップ（重みの配列すなわち重みベクトル）との畳み込みは、第ｋ層の特徴マップから抽出される特徴ベクトルを順番に並べた結合ベクトルを並列に列挙した連結行列を“Ｘ”とし、第ｋ層と第ｋ＋１層との間の畳み込み層における複数の重みマップ（重みベクトル）ｗ₁，ｗ₂，…を並列に列挙した行列（重み行列）を“Ｗ”とし、第ｋ＋１層の各特徴マップの全要素（ニューロン）を列挙したベクトルｚ₁，ｚ₂，…を並列に列挙した行列（特徴行列）を“Ｚ”としたときに、
Ｚ＝（ｚ₁，ｚ₂，…）＝（Ｘ−Ｘ^-）^T（ｗ₁，ｗ₂，…）＝（Ｘ−Ｘ^-）^TＷ…（０）
という関係式により表される。ただし、第ｋ層は、畳み込み層の前段の層であり、第ｋ＋１層は、畳み込み層の後段の層であり、“Ｘ^-”は、全サンプルデータの第ｋ層の連結行列Ｘの平均行列である。従来の重み設定手法は、基本的に、複数のクラスに分けられた複数のサンプルデータを用いた誤差逆伝播学習等を繰り返し行って複数の重みマップの要素を定めていくものであるが、本発明による重み設定装置は、従来とは全く異なるアプローチにより複数の重みマップを設定する。すなわち、本発明では、第ｋ層における局所特徴を第ｋ＋１層の受容野に重み付けしながら射影するための上記関係式（０）における行列Ｗを誤差逆伝播学習のような重みの修正（調整）を行うことなく解析的に導出することにより複数の重みマップが設定される。

【0008】

ここで、上述のような畳み込みにより得られる第ｋ＋１層の各特徴マップ内（ベクトル空間）において、同じクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が短くなり、かつ異なるクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が長くなるほど、当該特徴マップの全要素を列挙したベクトルの分散に基づく指標がより大きくなる。これを踏まえて、本発明による重み設定装置は、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚ（ただし、“ｚ”は、ベクトルｚ₁，ｚ₂…の何れかを示す。）の分散に基づく指標がそれぞれ最大になるように複数の重みマップを設定する。

【0009】

このように設定される複数の重みマップを有する畳み込み層によれば、当該複数の重みマップと第ｋ層の特徴マップとを畳み込むことにより、各特徴マップにおいて同じクラスに属する特徴ベクトル同士の距離が短くなり、かつ異なるクラスに属する特徴ベクトル同士の距離が長くなるように第ｋ＋１層の複数の特徴マップを生成することができる。また、各ベクトルｚの分散に基づく指標をそれぞれ最大にする複数の重みマップは、当該ベクトルｚの分散（共分散行列）についての固有値問題を解くことにより固有値ごとの固有ベクトルとして容易に得ることが可能である。更に、上記固有値問題は、サンプルデータの数に依存するものではないことから、本発明による重み設定装置によれば、サンプルデータの数が少ない場合であっても、適正な複数の重みマップを得ることができる。従って、本発明による重み設定装置によれば、計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定することが可能となる。

【0010】

そして、本発明による重み設定装置により設定された複数の重みマップは、更に誤差逆伝播法による学習等を行ってチューニングされてもよいことはいうまでもない。また、構築されるべき畳み込みニューラルネットワークが複数の畳み込み層を含むものである場合には、複数の畳み込み層ごとに各ベクトルｚの分散に基づく指標がそれぞれ最大になるように複数の重みマップを設定すればよい。この結果、本発明による重み設定装置によれば、画像認識や音声認識、形状認識等に極めて有用な畳み込みニューラルネットワークを構築することが可能となる。なお、「分散に基づく指標」は、共分散行列等に基づいて導出される判別基準であってもよく、分散自体であってもよい。

【0011】

また、前記重み設定装置は、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定するものであってもよい。これにより、第ｋ＋１層の特徴マップを生成する畳み込み層における複数の重みマップをより適正に設定することが可能となる。

【0012】

更に、前記重み設定装置は、複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよい。このように、フィッシャー判別基準を利用することにより、第ｋ＋１層の各特徴マップにおける分離精度をより向上させることが可能となる。

【0013】

また、前記重み設定装置は、ｊ番目（ただし、１≦ｊ≦Ｃであり、“Ｃ”は、サンプルデータのクラスの総数である。）のクラスに含まれるｉ番目（ただし、１≦ｉ≦Ｎｊであり、“Ｎｊ”は、ｊ番目のクラスに含まれるサンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘ^(j)_iを設定する連結行列設定手段と、全サンプルデータの第ｋ層の連結行列Ｘ⁽¹⁾₁〜Ｘ^(C)_Njの平均行列Ｘ^-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ^(j)₁〜Ｘ^(j)_Njの平均行列Ｘ^-(j)とを設定する平均行列設定手段と、次式（１）に示す固有値問題を次式（２）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えてもよい。ただし、式（１）における“Λ_F”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（１）および（２）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（２）における“Ｉ”は単位行列であり、“Σ_W”は、次式（３）に示すとおりであり、“Σ_B”は、次式（４）に示すとおりであり、“Ｎ”は、サンプルデータの総数である。

【0014】

【数1】

【0015】

すなわち、上記ベクトルｚのクラス内共分散行列“Σ〜_W”とし、クラス間共分散行列を“Σ〜_B”とし、トレースを“ｔｒ”とし、フィッシャー判別基準を“Ｊ_F（ｗ）”とすれば（ただし、“ｗ”は、複数の重みマップｗ₁，ｗ₂…の何れかを示す。）、
Ｊ_F（ｗ）＝ｔｒΣ〜_B／ｔｒΣ〜_W＝ｗ^TΣ_Bｗ／ｗ^TΣ_Wｗ
としてフィッシャー判別基準Ｊ_F（ｗ）を得ることができる。従って、連結行列Ｘ^(j)_iを設定する連結行列設定手段と、平均行列Ｘ^-および平均行列Ｘ^-(j)を設定する平均行列設定手段と、式（１）に示す固有値問題を式（２）の拘束条件のもとで解く重みマップ設定手段とを備えた重み設定装置によれば、各ベクトルｚのクラス内共分散行列Σ〜_Wとクラス間共分散行列Σ〜_Bとに基づくフィッシャー判別基準Ｊ_F（ｗ）が式（２）の拘束条件の下でそれぞれ最大になるように複数の重みマップを設定することが可能となる。

【0016】

また、前記重み設定装置は、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよい。これにより、クラス分けされていない複数のサンプルデータを用いて、第ｋ＋１層の特徴マップを生成する畳み込み層における複数の重みマップを容易かつ適正に設定することが可能となる。更に、第ｋ層の特徴マップから第ｋ＋１層の特徴マップへの次元圧縮をより適正に実行することができる。

【0017】

この場合、前記重み設定装置は、ｈ番目（ただし、１≦ｈ≦Ｎであり、“Ｎ”は、サンプルデータの総数である。）のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを列挙して連結行列Ｘ_hを設定する連結行列設定手段と、全サンプルデータの第ｋ層の連結行列Ｘ₁〜Ｘ_Nの平均行列Ｘ^-を設定する平均行列設定手段と、次式（５）に示す固有値問題を次式（６）に示す拘束条件のもとで解くことにより固有値ごとに得られる固有ベクトルを前記複数の重みマップとして設定する重みマップ設定手段とを備えてもよい。ただし、式（５）における“Λ_E”は、固有値を対角要素とすると共に値０を非対角要素とする対角行列であり、式（５）および（６）における“Ｗ”は、前記複数の重みマップを列挙した行列であり、式（６）における“Ｉ”は単位行列であり、“Σ_X”は、次式（７）に示す共分散行列であり、“Ｎ”は、サンプルデータの総数である。

【0018】

【数2】

【0019】

すなわち、各ベクトルｚの分散を“Ｊ_E（ｗ）”とすれば、Ｊ_E（ｗ）＝ｗ^TΣ_Xｗとして各ベクトルｚの分散Ｊ_E（ｗ）を得ることができる。従って、連結行列Ｘ_hを設定する連結行列設定手段と、平均行列Ｘ^-を設定する平均行列設定手段と、式（５）に示す固有値問題を式（６）の拘束条件のもとで解く重みマップ設定手段とを備えた重み設定装置によれば、各ベクトルｚの分散Ｊ_E（ｗ）が式（６）の拘束条件の下でそれぞれ最大になるように複数の重みマップを設定することが可能となる。

【0020】

本発明による重み設定方法は、
畳み込みニューラルネットワークを構成する共に、少なくとも１つの第ｋ層の特徴マップと複数の重みマップとを畳み込むことにより前記重みマップと同数の第ｋ＋１層の特徴マップを生成する畳み込み層における前記複数の重みマップを設定する重み設定方法であって、
複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散に基づく指標がそれぞれ最大になるように前記複数の重みマップを設定することを特徴とする。

【0021】

この方法によれば、計算コストを削減しつつ、畳み込みニューラルネットワークを構成する畳み込み層における複数の重みを容易かつ適正に設定することが可能となる。

【0022】

また、前記方法は、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの共分散行列についての固有値問題を解くことにより固有値ごとに得られる固有ベクトルを該固有値の大きい順に前記複数の重みマップとして設定するものであってもよい。

【0023】

更に、前記方法は、複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルのクラス内共分散行列とクラス間共分散行列とに基づくフィッシャー判別基準が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよく、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルの分散が所定の拘束条件の下でそれぞれ最大になるように前記複数の重みマップを設定するものであってもよい。

【図面の簡単な説明】

【0024】

【図1】本発明による重み設定装置が適用される畳み込みニューラルネットワークを示す模式図である。

【図2】図１のニューラルネットワークを構成する畳み込み層における畳み込み処理を説明するための模式図である。

【図3】本発明による重み設定装置のブロック構成図である。

【図4】本発明による重み設定装置により実行される重み設定ルーチンを例示するフローチャートである。

【図5】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。

【図6】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。

【図7】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。

【図8】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。

【図9】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。

【図10】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。

【図11】本発明による重み設定方法の有用性を評価するための実験の結果を示す図表である。

【発明を実施するための形態】

【0025】

次に、図面を参照しながら本発明を実施するための形態について説明する。

【0026】

図１は、本発明による重み設定装置が適用される畳み込みニューラルネットワークを示す模式図である。同図に示す畳み込みニューラルネットワーク１は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ、システムバス、各種インターフェース、記憶装置等を含むコンピュータに実装されて、例えば画像データをクラス分け（分類）するのに用いられるものである。図示するように、畳み込みニューラルネットワーク１は、入力層２と、交互に並ぶ複数の畳み込み層３ａ，３ｂおよび複数のプーリング層（部分サンプリング層）４ａ，４ｂと、出力層５とを有する。

【0027】

畳み込み層３ａ，３ｂは、それぞれの前段の第ｋ層の特徴マップ（特徴量の配列）から抽出した複数の特徴ベクトルに対する複数の重みマップ（重みの配列）を用いた重み付けを行い、当該重みマップと同数の第ｋ＋１層の特徴マップを生成する。また、プーリング層４ａ，４ｂは、それぞれの前段の層の特徴マップを部分的にサンプリング（プーリング）するものである。プーリングの手法としては、ｓピクセルだけ離間したｎ×ｎ個の近隣画素値の平均をとる平均プーリング（以下、「ＡＰ（ｎ，ｓ）」）という。）や、ｓピクセルだけ離間したｎ×ｎ個の近隣画素値の最大値をとる最大値プーリング（以下、「ＭＰ（ｎ，ｓ）」という。）、元画像の２×２の空間領域をプーリング領域とする平均プーリング（以下、「ＡＰ_q（ｎ，ｓ）」という。）、元画像の２×２の空間領域に対応をプーリング領域とする最大値プーリング（以下、「ＭＰ_q（ｎ，ｓ）」という。）。そして、図１の例では、出力層５のノードが前段の層の特徴マップと全結合される。

【0028】

次に、図２を参照しながら、畳み込み層３ａ，３ｂによる畳み込み処理を説明する。ここでは、第ｋ層における特徴マップｍａｐ１，ｍａｐ２…がカラー画像から生成されたそれぞれＲ値、Ｇ値またはＢ値を示す３つの特徴マップであり（ただし、第ｋ層における特徴マップの座標系を“（ｘ、ｙ）”とする。）、これらの特徴マップｍａｐ１，ｍａｐ２…に対して畳み込み層３ａにより畳み込み処理が施される場合を例にとって当該畳み込み処理について説明する。

【0029】

この場合、畳み込み層３ａは、第ｋ層の特徴マップｍａｐ１，ｍａｐ２…から、ｘ方向に１画素ずつずらしながらｎ×ｎ個（図２の例では、３×３個）ずつ画素値（特徴量）を抽出すると共に、更にｙ方向に１画素ずつずらしながらｎ×ｎ個ずつ画素値を抽出する。次いで、畳み込み層３ａは、各ｍａｐ１，ｍａｐ２…の同一座標（ｘ，ｙ）から抽出した画素値を順番に並べて特徴ベクトルｆ^(k)_(x,y)を設定し、これらの特徴ベクトルｆ^(k)_(x,y)を順番に並べて次式（８）に示す結合ベクトルｘ^(k)_(x′_,y′₎を（Ｐ_k−ｎ＋１）×（Ｐ_k−ｎ＋１）個だけ取得（抽出）する。ただし、式（８）において、（ｘ′，ｙ′）は、第ｋ＋１層の特徴マップにおける座標系を示し、“δ”は、“ｎ／２”の整商である。また、“Ｐｋ”は、第ｋ層の各特徴マップにおける画素数（特徴量の数）の平方個である。

【0030】

【数3】

【0031】

そして、畳み込み層３ａは、結合ベクトルｘ^(k)_(x′_,y′₎と、予め設定されている複数の重みマップ（重みベクトル）ｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1（以下、何れかの重みマップを適宜“ｗ”として表す。）とを用いて第ｋ＋１層における特徴マップｍａｐ１，ｍａｐ２…を生成する。すなわち、畳み込み層３ａは、第ｋ＋１層における特徴マップｍａｐ１，ｍａｐ２…の（ｘ′，ｙ′）座標における要素（ニューロンすなわち特徴量）ｆ^(k+1)_(x′_,y′₎を、ｆ^(k+1)_(x′_,y′₎＝ｗ_u^Tｘ^(k)_(x′_,y′₎として算出する。ただし、“ｕ”は、重みマップのインデックスであり、“ｍ_k+1”は、第ｋ層と第ｋ＋１層との間の畳み込み層における重みマップの数＝第ｋ＋１層の特徴マップの数である。これにより、第ｋ層の特徴マップにおける局所特徴を受容野に重み付けしながら射影することで第ｋ＋１層の特徴マップが生成されることになる。

【0032】

図３は、上述の畳み込みニューラルネットワーク１の各畳み込み層３ａ，３ｂにおける複数の重みマップを設定するのに用いられる本発明の一実施形態に係る重み設定装置２０のブロック構成図である。

【0033】

重み設定装置２０は、パーソナルコンピュータ等に重み設定プログラム（ソフトウェア）をインストールすることにより構成され、複数のクラスに分けられた複数のサンプルデータに基づいて畳み込み層３ａ，３ｂにおける複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を設定するものである。図３に示すように、重み設定装置２０は、重み設定プログラム（ソフトウェア）とコンピュータのＣＰＵやＲＯＭ，ＲＡＭ、各種インターフェース、記憶装置といったハードウェアとの一方または双方の協働により構築されるデータ入力処理部２１や、ベクトル抽出部２２、連結行列設定部２３、平均行列設定部２４、マップ設定部２５、記憶装置２７等を有する。

【0034】

データ入力処理部２１は、それぞれクラスラベルが付された（クラス分けされた）複数のサンプルデータの入力を受け付け、必要に応じて、入力データを上述の特徴マップ（例えば、カラー画像に基づくＲ値、Ｇ値、Ｂ値を示す３つの特徴マップ）の形式に変換し、当該データ、すなわち第１層の特徴マップを記憶装置２７に記憶させる。ベクトル抽出部２２は、サンプルデータに基づく特徴マップから上述の（Ｐ_k−ｎ＋１）×（Ｐ_k−ｎ＋１）個の結合ベクトルｘ^(k)_(x′_,y′₎を抽出（設定）する。また、連結行列設定部２３は、ベクトル抽出部２２により抽出された（Ｐ_k−ｎ＋１）×（Ｐ_k−ｎ＋１）個の結合ベクトルｘ^(k)_(x′_,y′₎を並列に列挙することにより次式（９）に示す連結行列Ｘ^(k)を設定する。

【0035】

【数4】

【0036】

更に、平均行列設定部２４は、全サンプルデータの第ｋ層の連結行列Ｘ⁽¹⁾₁〜Ｘ^(C)_Njの平均行列Ｘ^-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ^(j)₁〜Ｘ^(j)_Njの平均行列Ｘ^-(j)とを設定する。ただし、“ｊ”は、サンプルデータのクラスのインデックス（１≦ｊ≦Ｃ）であり、“Ｎｊ”は、ｊ番目のクラスに含まれるサンプルデータの総数であり、“Ｃ”は、サンプルデータのクラスの総数である。そして、マップ設定部２５は、連結行列設定部２３や平均行列設定部２４により設定されたパラメータを用いて畳み込み層３ａ，３ｂにおける複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を設定すると共に、第ｋ＋１層の特徴マップに相当する仮の特徴マップを設定し、設定したデータを記憶装置２７に記憶させる。

【0037】

続いて、図４を参照しながら、上述の重み設定装置２０による複数の重みマップの設定手順について説明する。図４は、重み設定装置２０により実行される重み設定ルーチンを例示するフローチャートである。

【0038】

重み設定ルーチンの開始に際して、重み設定装置２０のデータ入力処理部２１は、記憶装置２７（あるいは外部装置）から全サンプルデータの第１層の特徴マップを入力し、ＲＡＭに展開する（ステップＳ１００）。次いで、ベクトル抽出部２２は、まず、第１層の特徴マップから上述の（Ｐ₁−ｎ＋１）×（Ｐ₁−ｎ＋１）個の結合ベクトルｘ⁽¹⁾_(x′_,y′₎をサンプルデータごとに抽出（設定）する（ステップＳ１１０）。更に、連結行列設定部２３は、ベクトル抽出部２２により抽出された（Ｐ₁−ｎ＋１）×（Ｐ₁−ｎ＋１）個の結合ベクトルｘ⁽¹⁾_(x′_,y′₎を並列に列挙することにより式（９）に示す連結行列Ｘ⁽¹⁾をサンプルデータごとに設定する（ステップＳ１２０）。また、平均行列設定部２４は、全サンプルデータの第ｋ層の連結行列Ｘ⁽¹⁾₁〜Ｘ^(C)_Njの平均行列Ｘ^-と、ｊ番目のクラスに含まれるサンプルデータの第ｋ層の連結行列Ｘ^(j)₁〜Ｘ^(j)_Njの平均行列Ｘ^-(j)とを設定する（ステップＳ１３０）。

【0039】

ここで、畳み込み層による第ｋ層の特徴マップと複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1との畳み込みは、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚ₁，ｚ₂，…，ｚ_mk+1（以下、当該ベクトルの何れかを適宜“ｚ”として表す。）を並列に列挙した行列（特徴行列）を“Ｚ”とすれば、第ｋ層の特徴マップから抽出される結合ベクトルｘ⁽¹⁾_(x′_,y′₎を並列に列挙した連結行列Ｘ^(k)と、全サンプルデータの第ｋ層の連結行列Ｘ⁽¹⁾₁〜Ｘ^(C)_Njの平均行列Ｘ^-と、畳み込み層における複数の重みマップ（重みベクトル）ｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を並列に列挙した行列（重み行列）Ｗとから次式（１０）のように表される。そして、上述のような畳み込みにより得られる第ｋ＋１層の各特徴マップ内において、同じクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が短くなり、かつ異なるクラスに属する特徴ベクトル同士の距離（ユークリッド距離）が長くなるほど、上記ベクトルｚの分散に基づく指標がより大きくなる。

【0040】

【数5】

【0041】

これを踏まえて、重み設定装置２０のマップ設定部２５は、複数のクラスに分けられた複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚの分散に基づく指標がそれぞれ最大になるように複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を設定するものとして構築される。本実施形態において、マップ設定部２５は、各ベクトルｚの次式（１１）に示すクラス内共分散行列Σ〜_Wと、次式（１２）に示すクラス間共分散行列Σ〜_Bとに基づくフィッシャー判別基準Ｊ_F（ｗ）が所定の拘束条件の下でそれぞれ最大になるように複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を設定する。フィッシャー判別基準Ｊ_F（ｗ）は、トレースを“ｔｒ”とすれば、次式（１３）および（１４）が成立することから、次式（１５）のように表される。

【0042】

【数6】

【0043】

各ベクトルｚのフィッシャー判別基準Ｊ_F（ｗ）をそれぞれ最大にする複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1は、次式（１６）に示す固有値問題を次式（１７）に示す拘束条件のもとで解くことにより、固有値λ₁，λ₂，…，λ_u，…，λ_mk+1ごとの固有ベクトルとして容易に得ることができる。ただし、式（１６）における“Λ_F”は、固有値λ₁，λ₂，…，λ_u，…，λ_mk+1を対角要素とすると共に値０を非対角要素とする対角行列であり、式（１６）および（１７）における“Ｗ”は、上述の複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を並列に列挙した行列であり、式（１７）における“Ｉ”は単位行列であり、“Σ_W”は、次式（１８）に示すとおりであり、“Σ_B”は、次式（１９）に示すとおりであり、“Ｎ”は、サンプルデータの総数である。また、連結行列Ｘ_hや平均行列Ｘ^-，Ｘ^-(j)に基づいて式（１６）の固有値問題を解くマップ設定部２５は、周知のソフトウェアを用いて容易に構築することができる。

【0044】

【数7】

【0045】

マップ設定部２５は、ステップＳ１２０にて第１層の特徴マップからサンプルデータごとに設定された連結行列Ｘ⁽¹⁾や、ステップＳ１３０にて設定された平均行列Ｘ^-、平均行列Ｘ^-(j)を用いて上記式（１６）の固有値問題を解き、固有値λ₁，λ₂，…，λ_u，…，λ_mk+1ごとに固有ベクトルを算出する（ステップＳ１４０）。そして、マップ設定部２５は、ステップＳ１４０にて固有値λ₁，λ₂，…，λ_u，…，λ_mk+1ごとに算出した所定数の固有ベクトルを当該固有値の大きい順に第２層（第ｋ＋１層）の特徴マップを生成するための重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗｍ₂として設定し、設定した重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗｍ₂を記憶装置２７に記憶させる（ステップＳ１５０）。

【0046】

具体的には、例えば固有値を値が大きい順にλ₁，λ₂，λ₃，…としたときに、マップ設定部２５は、固有値λ₁に対応した固有ベクトルを重みマップｗ₁として、固有値λ₂に対応した固有ベクトルを重みマップｗ₂として、…固有値λ_m2に対応した固有ベクトルを重みマップｗ_m2として設定する。なお、第２層（第ｋ＋１層）の特徴マップの数ｍ₂（ｍ_k+1）は、固有値λ₁，λ₂，…，λ_u，…，λ_mk+1の大きさを考慮しながら任意に定めることができる。更に、ステップＳ１５０において、マップ設定部２５は、全サンプルデータについての第１層の特徴マップと、設定した重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗｍ₂とを畳み込むと共に、対応するプーリング層と同様のプーリング処理を行うことにより、第３層（第ｋ＋２層）の仮の特徴マップをｍ₂個だけ生成し、生成した第３層の仮の特徴マップを記憶装置２７に記憶させる。

【0047】

上述のようにしてステップＳ１００からＳ１５０の処理が実行されると、重みマップを設定すべき畳み込み層の有無が判定され（ステップＳ１６０）、ステップＳ１６０にて重みマップを設定すべき畳み込み層が存在しない（畳み込み層が１個である）と判定された場合、その段階で本ルーチンが終了する。これに対して、ステップＳ１６０にて重みマップを設定すべき畳み込み層が存在していると判定された場合には、上述のステップＳ１００からＳ１５０の処理が繰り返し実行される。

【0048】

この場合、ステップＳ１００ではデータ入力処理部２１により記憶装置２７からの第３層（第ｋ層）の仮の特徴マップがＲＡＭに展開され、当該第３層（第ｋ層）の仮の特徴マップに基づいて重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗｍ₃（ｗ_mk+1）が設定されることになる（ステップＳ１１０〜Ｓ１５０）。また、この場合、ステップＳ１５０では、必要に応じて、全サンプルデータについての第３層（第ｋ層）の仮の特徴マップと、設定された重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗｍ₄（ｗ_mk+1）との畳み込みと、対応するプーリング層と同様のプーリング処理とが行なわれ、第４層（第ｋ＋１層）の仮の特徴マップがｍ₄個だけ生成されて記憶装置２７に格納されることになる。そして、ステップＳ１００〜Ｓ１５０の処理が繰り返し実行されて、ステップＳ１６０にて重みマップを設定すべき畳み込み層が存在しないと判定されると、その段階で本ルーチンが終了する。

【0049】

なお、重み設定装置２０のマップ設定部２５は、上述のように、各ベクトルｚのフィッシャー判別基準Ｊ_F（ｗ）が所定の拘束条件の下でそれぞれ最大になるように複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を設定するものには限られない。すなわち、マップ設定部２５は、各ベクトルｚの分散Ｊ_E（ｗ）自体が所定の拘束条件の下で最大になるようにｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を設定するものとして構成されてもよい。

【0050】

ベクトルｚの分散Ｊ_E（ｗ）は、次式（２０）に示すように表され、各ベクトルｚのＪ_E（ｗ）をそれぞれ最大にする複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1は、次式（２１）に示す固有値問題を次式（２２）に示す拘束条件のもとで解くことにより、固有値λ₁，λ₂，…，λ_u，…，λ_mk+1ごとの固有ベクトルとして容易に得ることができる。ただし、式（２１）における“Λ_E”は、固有値λ₁，λ₂，…，λ_u，…，λ_mk+1を対角要素とすると共に値０を非対角要素とする対角行列であり、式（２１）および（２２）における“Ｗ”は、上述の複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を並列に列挙した行列であり、式（２２）における“Ｉ”は単位行列であり、式（２１）における“Σ_X”は、次式（２３）に示す共分散行列であり、式（２３）における“ｈ”は、サンプルデータのインデックスである。そして、連結行列Ｘ_hと平均行列Ｘ^-とに基づいて式（２１）の固有値問題を解くマップ設定部２５も、周知のソフトウェアを用いて容易に構築することができる。そして、このように各ベクトルｚの分散Ｊ_E（ｗ）が拘束条件の下でそれぞれ最大になるようにｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を設定する場合、式（２０）からわかるように、重みマップの設定前に、複数のサンプルデータを複数のクラスに分けておく必要はない。

【0051】

【数8】

【0052】

図５から図７に、本発明による重み設定方法の有用性を評価するための“STL-10”データセット（１０個のクラスごとに１００枚の学習サンプル画像およびテストサンプル画像を含む）を用いた実験の結果を示し、図８から図１１に、“MNIST”データセット（１０個のクラスごとに６０００個の学習サンプル画像および１０００個のテストサンプル画像を含む）を用いた実験の結果を示す。

【0053】

図５、図６、図８から図１０において、“Ｒａｎｄ（ｎ，ｄ）”は、ｎ×ｎ個のパッチ画像にｄ次元のランダム重みによるフィルタ処理を施すことを示す。また、“Ｋ_m（ｎ，ｄ）”は、Ｋミーンズ法により得られるｄ次元の視覚的単語を用いてｎ×ｎ個のパッチ画像から抽出される記述子を示す。更に、“Ｃ_E（ｎ，ｍ）”は、上述の分散Ｊ_E（ｗ）に基づくｍ個の重みマップ（以下、適宜「固有重みマップ」または「ＥＷＭ」という。）およびｎ×ｎ個の受容野を有する畳み込み層を示し、“Ｃ_F（ｎ，ｍ）は、上述の分散Ｊ_F（ｗ）に基づくｍ個の重みマップ（以下、適宜「フィッシャー重みマップ」または「ＦＭＷ」という。）およびｎ×ｎ個の受容野を有する畳み込み層を示す。

【0054】

また、“Ｒ”，“Ｒ₂”は、調整ユニット（ReLU）を示す。更に、“ＡＰ（ｎ，ｓ）”，“ＡＰ_q（ｎ，ｓ）”，“ＭＰ_q（ｎ，ｓ）”および“ＭＰ_q（ｎ，ｓ）”は、上述のとおりである。そして、例えば“Rand(5, 200)-R-AP(4, 4)-C_F(3, 100)-R-APq”は、“d=200のrandom filters，ReLU，平均プーリング層，100 個のフィッシャー重みマップを有する 3×3の畳み込み層，ReLUおよび平均プーリング層が入力側から出力側に順番に並んだ畳み込みニューラルネットワークを示す。また、実験は、一般的な諸元（例えば、動作周波数３．２ＧＨｚのプロセッサ、３２ＧＢのメモリ）を有するデスクトップ型パーソナルコンピュータを用いて行われた。

【0055】

図５および図６に示すように、本発明による重み設定方法により設定されるフィッシャー重みマップや固有重みマップを有する畳み込み層を備えた畳み込みニューラルネットワークによれば、サンプルデータの数が少ない“STL-10”データセットにおいても分類率（Classification rates）をより高くすることができる。そして、図７に示すように、本発明による重み設定方法により重みマップを設定すれば、“1-layer Vector Quantization”や“1-layer Sparse Coding”（A. Coates and A. Ng. The importance of encoding versus training with sparse coding and vector quantization. In Proc. ICML, 2011.参照）”，“3-layer Learned Receptive Field”（A. Coates and A. Ng. Selecting receptive fields in deep networks. In Proc. NIPS, 2011.参照），“Discriminative Sum-Product Network”（R. Gens and P. Domingos. Discriminative learning of sum-product networks. In Proc. NIPS, 2012.参照）といった従来の畳み込みネットワークに比べて、畳み込みニューラルネットワークの分類率をより向上させることが可能となる。従って、これらの実験結果から、本発明による重み設定方法は、比較的少ないサンプルデータを用いて画像認識性に優れた畳み込みニューラルネットワークを構築する上で極めて有用であることが理解されよう。

【0056】

更に、図８から図１０に示すように、本発明による重み設定方法により設定されるフィッシャー重みマップや固有重みマップを有する畳み込み層を備えた畳み込みニューラルネットワークによれば、“MNIST”データセットにおける分類エラー率（Classification errors）をより充分に低くし得ることが理解されよう。なお、図９において、括弧（）内の数字は、受容野における特徴の数を示す。そして、本発明による重み設定方法により重みマップを設定すれば、“Large CNN (unsup. pretraining)［1］”（M. A. Ranzato, C. Poultney, S. Chopra, and Y. LeCun. Ecient learning of sparse representations with an energy-based model. In Proc. NIPS, 2006.参照）や、“Large CNN (unsup. pretraining)［2］”（K. Jarrett, K. Kavukcuoglu, M. A. Ranzato, and Y. Lecun. What is the best multi-stage architecture for object recognition? In Proc. IEEE ICCV, 2009.参照），“3-layer CNN + Stochastic Pooling”（M. D. Zeiler and R. Fergus. Stochastic pooling for regularization of deep convolutional neural networks. In arXiv preprint, 2013.参照）、Multi-Column Deep Neural Network”（D. Ciresan, U. Meier, and J. Schmidhuber. Multi-column deep neural networks for image classification. In Proc. IEEE CVPR, 2012.参照）といった従来の畳み込みネットワークと同等あるいはそれ以上の分類エラー率を得ることが可能となる。

【0057】

以上説明したように、重み設定装置２０は、複数のサンプルデータを用いて、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚの分散に基づく指標であるフィッシャー判別基準Ｊ_F（ｗ）あるいは分散Ｊ_E（ｗ）自体がそれぞれ最大になるように複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を設定する。

【0058】

このように設定される複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を有する畳み込み層によれば、当該複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1と第ｋ層の特徴マップとを畳み込むことにより、各特徴マップにおいて同じクラスに属する特徴ベクトルｆ^(k+1)_(x′_,y′₎同士の距離が短くなり、かつ異なるクラスに属する特徴ベクトルｆ^(k+1)_(x′_,y′₎同士の距離が長くなるように第ｋ＋１層の複数の特徴マップを生成することができる。また、各ベクトルｚの分散に基づく指標Ｊ_F（ｗ）あるいはＪ_E（ｗ）をそれぞれ最大にする複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1は、ベクトルｚの分散すなわち共分散行列についての固有値問題を解くことにより固有値ごとの固有ベクトルとして容易に得ることが可能である。更に、上記固有値問題は、サンプルデータの数に依存するものではないことから、重み設定装置２０によれば、サンプルデータの数が少ない場合であっても、適正な複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を得ることができる。従って、重み設定装置２０によれば、計算コストを削減しつつ、畳み込みニューラルネットワーク１を構成する畳み込み層３ａ，３ｂにおける複数の重みを容易かつ適正に設定することが可能となる。

【0059】

また、複数の重みマップの設定に際して、フィッシャー判別基準Ｊ_F（ｗ）を利用することにより、第ｋ＋１層の各特徴マップにおける分離精度をより向上させることが可能となる。更に、連結行列Ｘ^(j)_iを設定する連結行列設定部２３と、平均行列Ｘ^-および平均行列Ｘ^-(j)を設定する平均行列設定部２４と、式（１６）に示す固有値問題を式（１７）の拘束条件のもとで解く重みマップ設定部２５とを含む重み設定装置２０によれば、各ベクトルｚのクラス内共分散行列Σ〜_Wとクラス間共分散行列Σ〜_Bとに基づくフィッシャー判別基準Ｊ_F（ｗ）が式（１７）の拘束条件の下でそれぞれ最大になるように複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を設定することが可能となる。

【0060】

一方、複数の重みマップの設定に際して、第ｋ＋１層の各特徴マップの全要素を列挙したベクトルｚの分散Ｊ_E（ｗ）自体を指標として利用すれば、クラス分けされていない複数のサンプルデータを用いて、第ｋ＋１層の特徴マップを生成する畳み込み層における複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1を容易かつ適正に設定することが可能となる。更に、第ｋ層の特徴マップから第ｋ＋１層の特徴マップへの次元圧縮をより適正に実行することができる。この場合には、ｈ（１≦ｈ≦Ｎ）番目のサンプルデータの第ｋ層における特徴マップから抽出される特徴ベクトルを並列に列挙して連結行列Ｘ_hを設定するように連結行列設定部２３を構成し、全サンプルデータの連結行列Ｘ₁〜Ｘ_Nの平均行列Ｘ^-を設定するように平均行列設定部２４を構成し、式（２１）に示す固有値問題を式（２２）に示す拘束条件のもとで解くようにマップ設定部２５を構成すればよい。

【0061】

そして、重み設定装置２０により設定された複数の重みマップｗ₁，ｗ₂，…，ｗ_u，…，ｗ_mk+1は、更に誤差逆伝播法による学習等を行ってチューニングされてもよいことはいうまでもない。また、構築されるべき畳み込みニューラルネットワークが複数の畳み込み層を含むものである場合には、上述のように、複数の畳み込み層ごとに各ベクトルｚの分散に基づく指標Ｊ_F（ｗ）あるいはＪ_E（ｗ）がそれぞれ最大になるように複数の重みマップを設定すればよい。この結果、重み設定装置２０によれば、画像認識や音声認識、形状認識等に極めて有用な畳み込みニューラルネットワークを構築することが可能となる。

【0062】

なお、本発明は上記実施形態に何ら限定されるものではなく、本発明の外延の範囲内において様々な変更をなし得ることはいうまでもない。更に、上記発明を実施するための形態は、あくまで課題を解決するための手段の欄に記載された発明の具体的な一形態に過ぎず、課題を解決するための手段の欄に記載された発明の要素を限定するものではない。

【0063】

本発明は、畳み込みニューラルネットワークを用いた情報処理分野において利用可能である。

【符号の説明】

【0064】

１ 畳み込みニューラルネットワーク、２ 入力層、３ａ，３ｂ 畳み込み層、４ａ，４ｂ プーリング層、５ 出力層、２０ 重み設定装置、２１ データ入力処理部、２１ データ入力処理部、２２ ベクトル抽出部、２３ 連結行列設定部、２４ 平均行列設定部、２５ マップ設定部、２７ 記憶装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】