特許 7537213 情報処理装置、演算方法、及び、コンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】情報処理装置、演算方法、及び、コンピュータープログラム

(51)【国際特許分類】

   G06N 3/04 20230101AFI20240814BHJP

【ＦＩ】

G06N3/04

【請求項の数】 7

(21)【出願番号】P 2020164456

(22)【出願日】2020-09-30

(65)【公開番号】P2022056611

(43)【公開日】2022-04-11

【審査請求日】2023-07-19

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】倉沢 光

【審査官】渡辺 一帆

(56)【参考文献】

【文献】国際公開第２０１９／０８３５５３（ＷＯ，Ａ１）

【文献】特開２００６－１６４０６３（ＪＰ，Ａ）

【文献】特開２０２０－１２６６６２（ＪＰ，Ａ）

【文献】特表２０２０－５２２０７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２－３／１０

(57)【特許請求の範囲】

【請求項1】

情報処理装置であって、
ベクトルニューラルネットワーク型の機械学習モデルを記憶するメモリーと、
前記機械学習モデルを用いた演算を実行するプロセッサーと、
を備え、
前記機械学習モデルは、
複数のノードをそれぞれ含む複数のベクトルニューロン層を有し、
前記複数のベクトルニューロン層のうちの１つを上位層と呼び、前記上位層の下位にあるベクトルニューロン層を下位層と呼ぶとき、
前記上位層の各ノードは、前記下位層の複数のノードからの出力ベクトルを入力として、１つの出力ベクトルを出力するように構成されており、
前記上位層の任意のノードである対象ノードは、
（ａ）前記下位層の各ノードの出力ベクトルと予測行列との積に基づく予測ベクトルを求め、
（ｂ）前記下位層の前記各ノードから得られた前記予測ベクトルの線形結合に基づく和ベクトルを求め、
（ｃ）前記和ベクトルのノルムを正規化することによって正規化係数を求め、
（ｄ）前記和ベクトルを前記ノルムで除算し、更に、前記正規化係数を乗じることによって前記対象ノードの前記出力ベクトルを求める、
ように構成されている、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記正規化係数は、前記上位層における前記正規化係数の総和が１になるように前記ノルムを正規化関数で正規化することによって得られる、情報処理装置。

【請求項3】

請求項１又は２に記載の情報処理装置であって、
前記予測行列は複数準備されており、
前記上位層の各ノードの前記出力ベクトルの演算に使用される前記下位層の前記複数のノードの範囲は、前記複数の予測行列を複数の要素とするカーネルを用いた畳み込みによって制限され、
前記複数の予測行列は、前記機械学習モデルの学習によって決定される、情報処理装置。

【請求項4】

請求項１～３のいずれか一項に記載の情報処理装置であって、
前記メモリーは、学習済みの前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの少なくとも１つの特定層の出力から得られた既知特徴スペクトル群を格納しており、
前記機械学習モデルは、学習済みの前記機械学習モデルに新たな入力データが入力されたときに前記特定層の出力から得られる特徴スペクトルと、前記既知特徴スペクトル群との類似度を演算する類似度演算部を有する、情報処理装置。

【請求項5】

請求項４に記載の情報処理装置であって、
前記特定層は、第１軸と第２軸の２つの軸で規定された平面に配置されたベクトルニューロンが、前記２つの軸とは異なる方向の第３軸に沿って複数のチャンネルとして配置されている構成を有し、
前記特徴スペクトルは、
（ｉ）前記特定層のうちの１つの平面位置におけるベクトルニューロンの出力ベクトルの複数の要素値を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第１種の特徴スペクトルと、
（ｉｉ）前記第１種の特徴スペクトルの各要素値に、前記正規化係数を乗じることによって得られる第２種の特徴スペクトルと、
（ｉｉｉ）前記特定層のうちの１つの平面位置における前記正規化係数を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第３種の特徴スペクトルと、
のうちのいずれかである、情報処理装置。

【請求項6】

ベクトルニューラルネットワーク型の機械学習モデルを用いて演算処理を実行する演算方法であって、
前記機械学習モデルは、
複数のノードをそれぞれ含む複数のベクトルニューロン層を有し、
前記複数のベクトルニューロン層のうちの１つを上位層と呼び、前記上位層の下位にあるベクトルニューロン層を下位層と呼ぶとき、
前記上位層の各ノードは、前記下位層の複数のノードからの出力ベクトルを入力として、１つの出力ベクトルを出力するように構成されており、
前記上位層の任意のノードである対象ノードの前記出力ベクトルを求める工程は、
（ａ）前記下位層の各ノードの出力ベクトルと予測行列との積に基づく予測ベクトルを求める工程と、
（ｂ）前記下位層の前記各ノードから得られた前記予測ベクトルの線形結合に基づく和ベクトルを求める工程と、
（ｃ）前記和ベクトルのノルムを正規化することによって正規化係数を求める工程と、
（ｄ）前記和ベクトルを前記ノルムで除算し、更に、前記正規化係数を乗じることによって前記対象ノードの前記出力ベクトルを求める工程と、
を含む、演算方法。

【請求項7】

ベクトルニューラルネットワーク型の機械学習モデルを用いる演算処理をプロセッサーに実行させるコンピュータープログラムであって、
前記機械学習モデルは、
複数のノードをそれぞれ含む複数のベクトルニューロン層を有し、
前記複数のベクトルニューロン層のうちの１つを上位層と呼び、前記上位層の下位にあるベクトルニューロン層を下位層と呼ぶとき、
前記上位層の各ノードは、前記下位層の複数のノードからの出力ベクトルを入力として、１つの出力ベクトルを出力するように構成されており、
前記コンピュータープログラムは、
前記上位層の任意のノードである対象ノードの前記出力ベクトルを求める処理として、
（ａ）前記下位層の各ノードの出力ベクトルと予測行列との積に基づく予測ベクトルを求める処理と、
（ｂ）前記下位層の前記各ノードから得られた前記予測ベクトルの線形結合に基づく和ベクトルを求める処理と、
（ｃ）前記和ベクトルのノルムを正規化することによって正規化係数を求める処理と、
（ｄ）前記和ベクトルを前記ノルムで除算し、更に、前記正規化係数を乗じることによって前記対象ノードの前記出力ベクトルを求める処理と、
を前記プロセッサーに実行させる、コンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習モデルを用いる情報処理装置、演算方法、及び、コンピュータープログラムに関する。

【背景技術】

【0002】

特許文献１，２には、ベクトルニューロンを用いる機械学習モデルとして、カプセルネットワークと呼ばれるものが開示されている。ベクトルニューロンとは、入出力がベクトルであるニューロンを意味する。カプセルネットワークは、カプセルと呼ばれるベクトルニューロンをネットワークのノードとする機械学習モデルである。カプセルネットワークでは、各層の出力ベクトルを求める際に、動的ルーティングを複数回繰り返すことによって内部パラメーターを探索する。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第５２１０７９８号公報

【文献】国際公開２０１９／０８３５５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、カプセルネットワークでは、動的ルーティングを複数回繰り返す必要があるため、演算の速度が遅いという問題があった。

【課題を解決するための手段】

【0005】

本開示の第１の形態によれば、情報処理装置が提供される。この情報処理装置は、ベクトルニューラルネットワーク型の機械学習モデルを記憶するメモリーと、前記機械学習モデルを用いた演算を実行するプロセッサーと、を備える。前記機械学習モデルは、複数のノードをそれぞれ含む複数のベクトルニューロン層を有し、前記複数のベクトルニューロン層のうちの１つを上位層と呼び、前記上位層の下位にあるベクトルニューロン層を下位層と呼ぶとき、前記上位層の各ノードは、前記下位層の複数のノードからの出力ベクトルを入力として、１つの出力ベクトルを出力するように構成されている。前記上位層の任意のノードである対象ノードは、（ａ）前記下位層の各ノードの出力ベクトルと予測行列との積に基づく予測ベクトルを求め、（ｂ）前記下位層の前記各ノードから得られた前記予測ベクトルの線形結合に基づく和ベクトルを求め、（ｃ）前記和ベクトルのノルムを正規化することによって正規化係数を求め、（ｄ）前記和ベクトルを前記ノルムで除算し、更に、前記正規化係数を乗じることによって前記対象ノードの前記出力ベクトルを求める、ように構成されている。

【0006】

本開示の第２の形態によれば、ベクトルニューラルネットワーク型の機械学習モデルを用いて演算処理を実行する演算方法が提供される。前記機械学習モデルは、複数のノードをそれぞれ含む複数のベクトルニューロン層を有し、前記複数のベクトルニューロン層のうちの１つを上位層と呼び、前記上位層の下位にあるベクトルニューロン層を下位層と呼ぶとき、前記上位層の各ノードは、前記下位層の複数のノードからの出力ベクトルを入力として、１つの出力ベクトルを出力するように構成されている。前記上位層の任意のノードである対象ノードの前記出力ベクトルを求める工程は、（ａ）前記下位層の各ノードの出力ベクトルと予測行列との積に基づく予測ベクトルを求める工程と、（ｂ）前記下位層の前記各ノードから得られた前記予測ベクトルの線形結合に基づく和ベクトルを求める工程と、（ｃ）前記和ベクトルのノルムを正規化することによって正規化係数を求める工程と、（ｄ）前記和ベクトルを前記ノルムで除算し、更に、前記正規化係数を乗じることによって前記対象ノードの前記出力ベクトルを求める工程と、を含む。

【0007】

本開示の第３の形態によれば、ベクトルニューラルネットワーク型の機械学習モデルを用いる演算処理をプロセッサーに実行させるコンピュータープログラムが提供される。前記機械学習モデルは、複数のノードをそれぞれ含む複数のベクトルニューロン層を有し、前記複数のベクトルニューロン層のうちの１つを上位層と呼び、前記上位層の下位にあるベクトルニューロン層を下位層と呼ぶとき、前記上位層の各ノードは、前記下位層の複数のノードからの出力ベクトルを入力として、１つの出力ベクトルを出力するように構成されている。前記コンピュータープログラムは、前記上位層の任意のノードである対象ノードの前記出力ベクトルを求める処理として、（ａ）前記下位層の各ノードの出力ベクトルと予測行列との積に基づく予測ベクトルを求める処理と、（ｂ）前記下位層の前記各ノードから得られた前記予測ベクトルの線形係合に基づく和ベクトルを求める処理と、（ｃ）前記和ベクトルのノルムを正規化することによって正規化係数を求める処理と、（ｄ）前記和ベクトルを前記ノルムで除算し、更に、前記正規化係数を乗じることによって前記対象ノードの前記出力ベクトルを求める処理と、を前記プロセッサーに実行させる。

【図面の簡単な説明】

【0008】

【図1】実施形態における情報処理装置のブロック図。

【図2】機械学習モデルの構成を示す説明図。

【図3】クラス分類処理の処理手順を示すフローチャート。

【図4】特徴スペクトルを示す説明図。

【図5】既知特徴スペクトル群の構成を示す説明図。

【発明を実施するための形態】

【0009】

図１は、一実施形態における情報処理装置１００の機能を示すブロック図である。情報処理装置１００は、プロセッサー１１０と、メモリー１２０と、インターフェイス回路１３０と、インターフェイス回路１３０に接続された入力デバイス１４０及び表示部１５０と、を有している。限定されないが例えば、プロセッサー１１０は、以下で詳述される処理を実行する機能を有するだけでなく、表示部１５０に、当該処理によって得られるデータ、および当該処理の過程で生成されるデータを表示する機能も有する。情報処理装置１００は、パーソナルコンピューターなどのコンピューターによって実現可能である。

【0010】

プロセッサー１１０は、入力データのクラス分類処理を実行するクラス分類処理部１１２として機能する。クラス分類処理部１１２は、メモリー１２０に格納されたコンピュータープログラムをプロセッサー１１０が実行することによって実現される。但し、クラス分類処理部１１２をハードウェア回路で実現してもよい。本明細書のプロセッサーは、このようなハードウェア回路をも含む用語である。メモリー１２０には、ベクトルニューラルネットワーク型の機械学習モデル２００と、教師データＴＤと、既知特徴スペクトル群ＫＳＧと、被分類データＤｉとが格納される。機械学習モデル２００は、クラス分類処理部１１２による演算に使用される。機械学習モデル２００の構成例や動作については後述する。教師データＴＤは、機械学習モデル２００の学習に使用されるラベル付きのデータである。既知特徴スペクトル群ＫＳＧは、学習済みの機械学習モデル２００に教師データＴＤを再度入力した際に得られる特徴スペクトルの集合である。特徴スペクトルについては後述する。被分類データＤｉは、クラス分類処理の処理対象となる新たな入力データである。なお、教師データＴＤは、機械学習モデル２００の学習時にのみ必要であり、被分類データＤｉに対するクラス分類処理の実行時には不要である。また、被分類データＤｉは、機械学習モデル２００の学習時にメモリー１２０に保存されている必要はない。

【0011】

上述のように、情報処理装置１００は、クラス分類処理を行うクラス分類装置としての機能を有する。但し、情報処理装置１００は、クラス分類処理以外の他の演算処理を行うように構成することも可能であり、例えば、入力データの評価値である連続値を算出する評価値算出処理を実行するように構成することができる。一般に、プロセッサー１１０は、機械学習モデル２００を用いた演算を実行する演算部として機能する。

【0012】

図２は、機械学習モデル２００の構成を示す説明図である。この機械学習モデル２００は、入力データＩＭの側から順に、畳み込み層２１０と、プライマリーベクトルニューロン層２２０と、第１畳み込みベクトルニューロン層２３０と、第２畳み込みベクトルニューロン層２４０と、分類ベクトルニューロン層２５０とを備える。これらの５つの層２１０～２５０のうち、畳み込み層２１０が最も下位の層であり、分類ベクトルニューロン層２５０が最も上位の層である。以下の説明では、層２１０～２５０を、それぞれ「Conv層２１０」、「PrimeVN層２２０」、「ConvVN1層２３０」、「ConvVN2層２４０」、及び「ClassVN層２５０」とも呼ぶ。

【0013】

図２の例では２つの畳み込みベクトルニューロン層２３０，２４０を用いているが、畳み込みベクトルニューロン層の数は任意であり、畳み込みベクトルニューロン層を省略してもよい。但し、１つ以上の畳み込みベクトルニューロン層を用いることが好ましい。

【0014】

図２の機械学習モデル２００は、更に、類似度を生成する類似度演算部２６０を有している。類似度演算部２６０は、ConvVN1層２３０と、ConvVN2層２４０と、ClassVN層２５０の出力から、後述する類似度Ｓ_ConvVN1，Ｓ_ConvVN2，Ｓ_ClassVNをそれぞれ算出することが可能である。但し、類似度演算部２６０を省略してもよい。

【0015】

各層２１０～２５０の構成は、以下のように記述できる。
＜各層の構成の記述＞
・Conv層２１０：Conv[32,5,2]
・PrimeVN層２２０：PrimeVN[16,1,1]
・ConvVN1層２３０：ConvVN1[12,3,2]
・ConvVN2層２４０：ConvVN2[6,3,1]
・ClassVN層２５０：ClassVN[2,4,1]
・ベクトル次元ＶＤ：VD=16
これらの各層２１０～２５０の記述において、括弧前の文字列はレイヤー名であり、括弧内の数字は、順に、チャンネル数、カーネルサイズ、及び、ストライドである。例えば、Conv層２１０のレイヤー名は「Conv」であり、チャンネル数は３２、カーネルサイズは５×５、ストライドは２である。図２では、各層の下にこれらの記述が示されている。各層の中に描かれているハッチングを付した矩形は、隣接する上位層の出力ベクトルを算出する際に使用されるカーネルを表している。なお、各層２１０～２５０の記述で用いたパラメーターの値は例示であり、任意に変更可能である。

【0016】

Conv層２１０は、スカラーニューロンで構成された層である。他の４つの層２２０～２５０は、ベクトルニューロンで構成された層である。ベクトルニューロンは、ベクトルを入出力とするニューロンである。上記の記述では、個々のベクトルニューロンの出力ベクトルの次元は１６で一定である。以下では、スカラーニューロン及びベクトルニューロンの上位概念として「ノード」という語句を使用する。

【0017】

図２では、Conv層２１０について、ノード配列の平面座標を規定する第１軸ｘ及び第２軸ｙと、奥行きを表す第３軸ｚとが示されている。また、Conv層２１０のｘ，ｙ，ｚ方向のサイズが１３，１３，３２であることが示されている。ｘ方向のサイズとｙ方向のサイズを「解像度」と呼ぶ。この例では、ｘ方向とｙ方向の解像度は等しいが、異なっていても良い。ｚ方向のサイズは、チャンネル数である。これらの３つの軸ｘ，ｙ，ｚは、他の層においても各ノードの位置を示す座標軸として使用する。但し、図２では、Conv層２１０以外の層では、これらの軸ｘ，ｙ，ｚの図示が省略されている。

【0018】

よく知られているように、畳み込み後の解像度Ｗ１は、次式で与えられる。
W1=Ceil{(W0-Wk+1)/S} （１）
ここで、Ｗ０は畳み込み前の解像度、Ｗｋはカーネルサイズ、Ｓはストライド、Ceil｛Ｘ｝はＸを切り上げる演算を行う関数である。
図２に示した各層の解像度は、入力データＩＭの解像度を２９×２９画素とした場合の例であり、実際の各層の解像度は入力データＩＭのサイズに応じて適宜変更される。なお、図２の例では入力データＩＭは２次元配列のデータであるが、１次元配列のデータとしてもよいし、３次元以上の配列データとしてもよい。

【0019】

PrimeVN層２２０の各ノードは、Conv層２１０の１×１×３２個のノードのスカラー出力を３２次元のベクトルとみなして、このベクトルに変換行列を乗ずることによってそのノードのベクトル出力を得る。この変換行列は、１×１のカーネルの要素であり、機械学習モデル２００の学習によって更新される。なお、Conv層２１０とPrimeVN層２２０の処理を統合して、１つのプライマリーベクトルニューロン層として構成することも可能である。

【0020】

PrimeVN層２２０を「下位層Ｌ」と呼び、その上位側に隣接するConvVN1層２３０を「上位層Ｌ＋１」と呼ぶとき、上位層Ｌ＋１の各ノードの出力は、以下の式を用いて決定される。

【数1】

ここで、
Ｍ^L _iは、下位層Ｌにおけるｉ番目のノードの出力ベクトル、
Ｍ^L+1 _jは、上位層Ｌ＋１におけるｊ番目のノードの出力ベクトル、
ｖ_ijは、出力ベクトルＭ^L+1 _jの予測ベクトル、
Ｗ^L _ijは、下位層Ｌの出力ベクトルＭ^L _iから予測ベクトルｖ_ijを算出するための予測行列、
ｕ_jは、予測ベクトルｖ_ijの和、すなわち線形結合、である和ベクトル、
ａ_jは、和ベクトルｕ_jのノルム|ｕ_j|を正規化することによって得られる正規化係数であるアクティベーション値、
Ｆ（Ｘ）は、Ｘを正規化する正規化関数である。

【0021】

正規化関数Ｆ（Ｘ）としては、例えば以下の（４ａ）式または（４ｂ）式を使用できる。

【数2】

ここで、
ｋは、上位層Ｌ＋１のすべてのノードに対する序数、
βは、任意の正の係数である調整パラメーターであり、例えばβ＝１である。

【0022】

上記（４ａ）式では、上位層Ｌ＋１のすべてのノードに関して和ベクトルｕ_jのノルム|ｕ_j|をソフトマックス関数で正規化することによってアクティベーション値ａ_jが得られる。一方、（４ｂ）式では、和ベクトルｕ_jのノルム|ｕ_j|を、上位層Ｌ＋１のすべてのノードに関するノルム|ｕ_j|の和で除算することによってアクティベーション値ａ_jが得られる。なお、正規化関数Ｆ（Ｘ）としては、（４ａ）式や（４ｂ）式以外の他の関数を用いてもよい。

【0023】

上記（３）式の序数ｉは、上位層Ｌ＋１におけるｊ番目のノードの出力ベクトルＭ^L+1 _jを決めるために使用される下位層Ｌのノードに便宜上割り振られるものであり、１～ｎの値をとる。また、整数ｎは、上位層Ｌ＋１におけるｊ番目のノードの出力ベクトルＭ^L+1 _jを決めるために使用される下位層Ｌのノードの数である。従って、整数ｎは次式で与えられる。
n=Nk×Nc （６）
ここで、Ｎｋはカーネルの要素数であり、Ｎｃは下位層であるPrimeVN層２２０のチャンネル数である。図２の例ではＮｋ＝９、Ｎｃ＝１６なので、ｎ＝１４４である。

【0024】

ConvVN1層２３０の出力ベクトルを求めるために使用される１つのカーネルは、カーネルサイズ３×３を表面サイズとし、下位層のチャンネル数１６を深さとする３×３×１６＝１４４個の要素を有しており、これらの要素のそれぞれは予測行列Ｗ^L _ijである。また、ConvVN1層２３０の１２個のチャンネルの出力ベクトルを生成するためには、このカーネルが１２組必要である。従って、ConvVN1層２３０の出力ベクトルを求めるために使用されるカーネルの予測行列Ｗ^L _ijの数は、１４４×１２＝１７２８個である。これらの予測行列Ｗ^L _ijは、機械学習モデル２００の学習により更新される。

【0025】

上述した（２）～（５）式から分かるように、上位層Ｌ＋１の個々のノードの出力ベクトルＭ^L+1 _jは、以下の演算によって求められる。
（ａ）下位層Ｌの各ノードの出力ベクトルＭ^L _iに予測行列Ｗ^L _ijを乗じて予測ベクトルｖ_ijを求め、
（ｂ）下位層Ｌの各ノードから得られた予測ベクトルｖ_ijの和、すなわち線形結合、である和ベクトルｕ_jを求め、
（ｃ）和ベクトルｕ_jのノルム|ｕ_j|を正規化することによって正規化係数であるアクティベーション値ａ_jを求め、
（ｄ）和ベクトルｕ_jをノルム|ｕ_j|で除算し、更に、アクティベーション値ａ_jを乗じる。

【0026】

なお、アクティベーション値ａ_jは、上位層Ｌ＋１のすべてのノードに関してノルム|ｕ_j|を正規化することによって得られる正規化係数である。従って、アクティベーション値ａ_jは、上位層Ｌ＋１内の全ノードの中における各ノードの相対的な出力強度を示す指標と考えることができる。（４）式，（４ａ）式、（４ｂ）式、及び（５）式で使用されるノルムは、典型的な例ではベクトル長さを表すＬ２ノルムである。このとき、アクティベーション値ａ_jは、出力ベクトルＭ^L+1 _jのベクトル長さに相当する。アクティベーション値ａ_jは、上述した（４）式と（５）式で使用されるだけなので、ノードから出力される必要は無い。但し、アクティベーション値ａ_jを外部に出力するように上位層Ｌ＋１を構成することも可能である。

【0027】

ベクトルニューラルネットワークの構成は、カプセルネットワークの構成とほぼ同じであり、ベクトルニューラルネットワークのベクトルニューロンがカプセルネットワークのカプセルに相当する。但し、ベクトルニューラルネットワークで使用される上述の（２）～（５）式による演算は、カプセルネットワークで使用される演算と異なる。両者の最も大きな違いは、カプセルネットワークでは、上記（３）式の右辺の予測ベクトルｖ_ijにそれぞれ重みが乗じられており、その重みが、動的ルーティングを複数回繰り返すことによって探索される点である。一方、本実施形態のベクトルニューラルネットワークでは、上述した（２）～（５）式を順番に１回計算することによって出力ベクトルＭ^L+1 _jが得られるので、動的ルーティングを繰り返す必要が無く、演算がより高速であるという利点がある。また、本実施形態のベクトルニューラルネットワークは、カプセルネットワークよりも演算に必要とするメモリー量がカプセルネットワークより少なく、本開示の発明者の実験によれば、約１／２～１／３のメモリー量で済むという利点もある。

【0028】

ベクトルを入出力とするノードを使用するという点では、ベクトルニューラルネットワークはカプセルネットワークと同じである。従って、ベクトルニューロンを使用する利点もカプセルネットワークと共通している。また、複数の層２１０～２５０は、上位に行くほどより大きな領域の特徴を表現し、下位に行くほどより小さな領域の特徴を表現する、という点は、通常の畳み込みニューラルネットワークと同じである。ここで、「特徴」とは、ニューラルネットワークへの入力データに含まれている特徴的な部分を意味する。ベクトルニューラルネットワークやカプセルネットワークでは、或るノードの出力ベクトルが、そのノードが表現する特徴の空間的な情報を表す空間情報を含む点で、通常の畳み込みニューラルネットワークよりも優れている。すなわち、或るノードの出力ベクトルのベクトル長さは、そのノードが表現する特徴の存在確率を表し、ベクトル方向がその特徴の方向やスケール等の空間情報を表している。従って、同じ層に属する２つのノードの出力ベクトルのベクトル方向は、それぞれの特徴の位置関係を表す。あるいは、当該２つのノードの出力ベクトルのベクトル方向は、特徴のバリエーションを表わすとも言える。例えば、「目」の特徴に対応するノードなら、出力ベクトルの方向は、目の細さ、吊り上がり方、などのバリエーションを表し得る。通常の畳み込みニューラルネットワークでは、プーリング処理によって特徴の空間情報が消失してしまうと言われている。この結果、ベクトルニューラルネットワークやカプセルネットワークは、通常の畳み込みニューラルネットワークに比べて入力データを識別する性能に優れているという利点がある。

【0029】

ベクトルニューラルネットワークの利点は、以下のように考えることも可能である。すなわち、ベクトルニューラルネットワークでは、ノードの出力ベクトルが、入力データの特徴を連続空間内の座標として表現すること、に利点がある。従って、ベクトル方向が近ければ特徴が似ている、というように出力ベクトルを評価できる。また、入力データに含まれている特徴が教師データではカバーできていなくても、補間してその特徴を判別できる、などの利点もある。一方、通常の畳み込みニューラルネットワークは、プーリング処理によって無秩序な圧縮がかかるため、入力データの特徴を連続空間内の座標として表現できない、という欠点がある。

【0030】

ConvVN2層２４０とClassVN層２５０の各ノードの出力も、上述した（２）～（５）式を用いて同様に決定されるので、詳細な説明は省略する。最上位層であるClassVN層２５０の解像度は１×１であり、チャンネル数は２である。ClassVN層２５０のチャンネル数は、通常は教師データで使用されるラベルの数と等しくなるように設定される。

【0031】

各層２１０～２５０のノードの出力を求める方法は、以下のように説明することも可能である。入力データＩＭに対して、５×５のカーネルをストライド「２」で適用することで、入力データＩＭの範囲のうちでConv層２１０の一つのノードに出力を与える部分範囲が決まる。入力データＩＭに対して適用するカーネルの数は３２である。これにより、Conv層２１０は、第１軸ｘと第２軸ｘがそれぞれ１３個に区切られた領域を有するように構成される。また、Conv層２１０の深さであるチャンネル数はカーネルの数と同数の３２で構成される。「部分範囲」とは、入力データＩＭ上の領域であって、第１軸ｘの位置と第２軸ｙの位置で特定される１つの領域である。ただし、以下の説明から明らかなように、「部分範囲」の大きさは、「部分範囲」に対応する１つ以上のノード又は当該１つ以上のノードから構成される「部分領域Ｒｎ」が、ベクトルニューロン層２２０，２３０，２４０，２５０のどれに属するかに応じて異なる。他方、「部分領域Ｒｎ」とは、ベクトルニューロン層において第１軸ｘの位置と第２軸ｙの位置とで特定される領域である。ベクトルニューロン層における各「部分領域Ｒｎ」は、上記第１軸ｘ、第２軸ｘ、および第３軸ｚに対応する「Ｗｉｄｔｈ」×「Ｈｅｉｇｈｔ」×「Ｄｅｐｔｈ」の次元を有する。本実施形態では、１つの「部分領域Ｒｎ」に含まれるノードの数は「１×１×デプス数」、すなわち「１×１×チャンネル数」である。本明細書において、部分領域Ｒｎの添え字「ｎ」には、ベクトルニューロン層２２０，２３０，２４０，２５０に応じて、「２２０」、「２３０」、「２４０」、「２５０」の数値を代入する。例えば、部分領域Ｒ２２０は、PrimeVN層２２０における領域を示す。

【0032】

Conv層２１０に１×１×３２のカーネルをストライド「１」で適用することで、Conv層２１０の部分領域Ｒ２１０のうちから、PrimeVN層２２０の一つのノードに出力する部分領域Ｒ２１０が決まる。ここでは、同じサイズ、同じストライドで、１６種類のカーネルが用いられることから、PrimeVN層２２０において、Conv層２１０の一つの部分領域Ｒ２１０に対応するノードの数は１６である。Conv層２１０のノードからPrimeVN層２２０のノードへの出力の生成には、変換行列が用いられており、上記の式（２）～式（５）で示される出力決定アルゴリズムが用いられていない。なお、ベクトルニューロン層に畳み込むためのカーネルの次元は、チャンネル数およびベクトルの要素数も考慮にいれる場合には、「Ｗｉｄｔｈ」×「Ｈｅｉｇｈｔ」×「Ｄｅｐｔｈ」×「ベクトルの要素数」と表現されることもある。この表現にしたがうと、Conv層２１０からPrimeVN層２２０への畳み込みに用いられるカーネルの次元は、１×１×３２×１６である。

【0033】

PrimeVN層２２０に３×３×１６のカーネルをストライド「２」で適用することで、PrimeVN層２２０の部分領域Ｒ２２０のうちから、ConvVN1層２３０の一つの部分領域Ｒ２３０に含まれるノードに出力を与える部分領域Ｒ２２０、が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、１２種類のカーネルが用いられることから、ConvVN1層２３０の部分領域Ｒ２３０に含まれるノードの数は１２である。PrimeVN層２２０のノードからConvVN1層２３０のノードへの出力の生成には、上記の式（２）～式（５）で示される出力決定アルゴリズムが用いられる。ここで、下位層２２０に適用されるカーネルは、上位層２３０の１つのノードを決めるために用いる下位層２２０の３×３×１６個のノードを指定する、とも表現される。これは、以下の説明でもあてはまる。

【0034】

ConvVN1層２３０に３×３×１２のカーネルをストライド「１」で適用することで、ConvVN1層２３０の部分領域Ｒ２３０のうちから、ConvVN2層２４０の一つの部分領域Ｒ２４０に出力を与える部分領域Ｒ２３０が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、６種類のカーネルが用いられることから、ConvVN2層２４０の部分領域Ｒ２４０に含まれるノードの数は６である。ConvVN1層２３０のノードからConvVN2層２４０のノードを生成する際には、上記の式（２）～式（５）で示される出力決定アルゴリズムが用いられる。

【0035】

ConvVN2層２４０に４×４×６のカーネルをストライド「１」で適用することで、ConvVN2層２４０の部分領域Ｒ２４０のうちから、ClassVN層２５０の一つの部分領域Ｒ２５０に出力を与える部分領域Ｒ２４０が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、２種類のカーネルが用いられることから、ClassVN層２５０の部分領域Ｒ２５０に含まれるノードの数は２である。ConvVN2層２４０のノードからClassVN層２５０のノードを生成する際には、上記の式（２）～式（５）で示される出力決定アルゴリズムが用いられる。

【0036】

最上位層であるClassVN層２５０は１つの部分領域Ｒ２５０で構成される。ClassVN層２５０は、機械学習モデル２００に入力された入力データＩＭについて、予め定められたラベルに分類する。本実施形態では、予め定めたラベルは、ラベル「０」とラベル「１」とである。ClassVN層２５０では、２つのノードのうち、アクティベーション値ａ_jが最大となるノードに対応するラベルが出力となる。ClassVN層２５０から出力されるラベルは、プロセッサー１１０によって制御されることで表示部１５０によって出力される。

【0037】

上記図２において、PrimeVN層２２０の１つの部分領域Ｒ２２０は、入力データＩＭの５×５ピクセルの部分範囲に対応する。また、ConvVN1層２３０の１つの部分領域Ｒ２３０は、入力データＩＭの９×９ピクセルの部分範囲に対応する。また、ConvVN2層２４０の部分領域Ｒ２４０は、入力データＩＭの１７×１７ピクセルの部分範囲に対応する。また、ClassVN層２５０の部分領域Ｒ２５０は、入力データＩＭの２９×２９ピクセルの部分範囲に対応する。

【0038】

図３は、クラス分類処理の処理手順を示すフローチャートである。最初の２つのステップＳ１１０～Ｓ１２０は、教師データＴＤを用いて機械学習モデル２００の学習を行う準備工程Ｓ１００である、次の３つのステップＳ２１０～Ｓ２３０は、学習済みの機械学習モデル２００を使用して被分類データＤｉのクラスを判別するクラス分類工程Ｓ２００である。準備工程Ｓ１００とクラス分類工程Ｓ２００を連続して行う必要はなく、クラス分類工程Ｓ２００は、準備工程Ｓ１００の後の任意のタイミングで実行することが可能である。

【0039】

図３のステップＳ１１０では、クラス分類処理部１１２が、複数の教師データＴＤを用いて機械学習モデル２００の学習を実行する。個々の教師データＴＤには、予めラベルが付与されている。本実施形態では、０と１のいずれかのラベルが、個々の教師データＴＤに付与されているものと仮定する。

【0040】

ClassVN層２５０の出力は、ラベルの数と等しい個数のクラスに対する複数の判定値に変換されるが、図２ではその図示を省略している。本実施形態では、ClassVN層２５０の２つのノードの出力が、２つのラベル「０」「１」に対応する２つのクラスに対する判定値に変換される。これらの判定値は、通常はソフトマックス関数によって正規化された値である。具体的には、例えば、ClassVN層２５０の各ノードの出力ベクトルから、その出力ベクトルのベクトル長さを算出し、更に、２つのノードのベクトル長さをソフトマックス関数で正規化する、という演算を実行することによって、２つのクラスに対する判定値を得ることができる。上述したように、上記（４）式で得られるアクティベーション値ａ_jは、出力ベクトルＭ^L+1 _jのベクトル長さに相当する値であり、正規化されている。従って、ClassVN層２５０の２つのノードのそれぞれにおけるアクティベーション値ａ_jを出力して、そのまま２つのクラスに対する判定値として使用してもよい。

【0041】

複数の教師データＴＤを用いた学習が終了すると、学習済みの機械学習モデル２００がメモリー１２０に保存される。図３のステップＳ１２０では、学習済みの機械学習モデル２００に複数の教師データＴＤを再度入力して、既知特徴スペクトル群ＫＳＧを生成する。既知特徴スペクトル群ＫＳＧは、以下で説明する特徴スペクトルの集合である。

【0042】

図４は、学習済みの機械学習モデル２００に任意の入力データを入力することによって得られる特徴スペクトルＳｐを示す説明図である。ここでは、ConvVN1層２３０の出力から得られる特徴スペクトルＳｐについて説明する。図４の横軸は、ConvVN1層２３０の１つの平面位置（ｘ，ｙ）におけるノードの出力ベクトルの要素番号ＮＤと、チャンネル番号ＮＣとの組み合わせで表されるスペクトル位置である。本実施形態では、ノードのベクトル次元が１６なので、出力ベクトルの要素番号ＮＤは０から１５までの１６個である。また、ConvVN1層２３０のチャンネル数は１２なので、チャンネル番号ＮＣは０から１１までの１２個である。

【0043】

図４の縦軸は、各スペクトル位置での特徴値Ｃ_Vを示す。この例では、特徴値Ｃ_Vは、出力ベクトルの各要素の値Ｖ_NDである。なお、特徴値Ｃ_Vとしては、出力ベクトルの各要素の値Ｖ_NDと、そのノードのアクティベーション値ａ_jとを乗算した値Ｖ_ND×ａ_jを使用してもよく、或いは、アクティベーション値ａ_jをそのまま使用してもよい。後者の場合には、特徴スペクトルＳｐに含まれる特徴値Ｃ_Vの数はチャンネル数に等しく、１２個である。

【0044】

１つの入力データに対してConvVN1層２３０の出力から得られる特徴スペクトルＳｐの数は、ConvVN1層２３０の平面位置（ｘ，ｙ）の数に等しいので、６×６＝３６個である。同様に、１つの入力データに対して、ConvVN2層２４０の出力から１６個の特徴スペクトルＳｐが得られ、ClassVN層２５０の出力から１個の特徴スペクトルＳｐが得られる。

【0045】

類似度演算部２６０は、学習済みの機械学習モデル２００に教師データＴＤが再度入力されたときに、図４に示す特徴スペクトルＳｐを算出して、既知特徴スペクトル群ＫＳＧに登録する。

【0046】

図５は、既知特徴スペクトル群ＫＳＧの構成を示す説明図である。この例では、既知特徴スペクトル群ＫＳＧは、ConvVN1層２３０の出力から得られた既知特徴スペクトル群ＫＳＧ_ConvVN1と、ConvVN2層２４０の出力から得られた既知特徴スペクトル群ＫＳＧ_ConvVN2と、ClassVN層２５０の出力から得られた既知特徴スペクトル群ＫＳＧ_ConvVN1とを含んでいる。

【0047】

既知特徴スペクトル群ＫＳＧ_ConvVN1の個々のレコードは、レコード番号と、レイヤー名と、ラベルＬｂと、既知特徴スペクトルＫＳｐとを含んでいる。また、個々のレコードは、教師データＴＤの個別のデータ名や、入力データＩＭにおいて特徴スペクトルＳｐに対応する部分の左上の座標、などの他の項目を含んでいてもよい。既知特徴スペクトルＫＳｐは、教師データＴＤの入力に応じて得られた図４の特徴スペクトルＳｐと同じものである。図５の例では、複数の教師データＴＤを学習済みの機械学習モデル２００に入力することによって、ConvVN1層２３０の出力から、ラベルＬｂ＝０に関連づけられたＮ１_0max個の既知特徴スペクトルＫＳｐと、ラベルＬｂ＝１に関連づけられたＮ１_1max個の既知特徴スペクトルＫＳｐと、が得られて登録されている。Ｎ１_0max，Ｎ１_1maxは、それぞれ２以上の整数である。前述したように、ラベルＬｂ＝０とラベルＬｂ＝１は、互いに異なるクラスに対応する。従って、既知特徴スペクトル群ＫＳＧ_ConvVN1における個々の既知特徴スペクトルＫＳｐは、複数のクラスのうちの１つのクラスに関連付けられて登録されていることが理解できる。他の既知特徴スペクトル群ＫＳＧ_ConvVN2，ＫＳＧ_ConvVN1も同様である。

【0048】

なお、ステップＳ１２０で使用される複数の教師データＴＤは、ステップＳ１１０で使用された複数の教師データＴＤと同じものである必要は無い。但し、ステップＳ１２０においても、ステップＳ１１０で使用された複数の教師データＴＤの一部又は全部を利用すれば、新たな教師データを準備する必要が無いという利点がある。

【0049】

図３のステップＳ２１０では、クラス分類処理部１１２が、機械学習モデル２００に被分類データＤｉを入力して、被分類データＤｉのクラス分類処理を実行する。本実施形態では、被分類データＤｉが、２つのラベルＬｂ＝０，Ｌｂ＝１のいずれのクラスに分類されるかが判定される。ClassVN層２５０からの２つの出力は、ラベルＬｂ＝０のクラスに該当する確率を示す第１の判定値と、ラベルＬｂ＝１のクラスに該当する確率を示す第２の判定値である。クラス分類処理部１１２は、これらの２つの判定値のうち、予め定められた閾値よりも大きな判定値に対応するクラスを、クラス分類処理の結果としてユーザーに提示する。

【0050】

図３のステップＳ２２０では、類似度演算部２６０が、ConvVN1層２３０と、ConvVN2層２４０と、ClassVN層２５０の出力から、既知特徴スペクトル群ＫＳＧとの類似度Ｓ_ConvVN1，Ｓ_ConvVN2，Ｓ_ClassVNをそれぞれ算出する。以下では、ConvVN1層２３０の出力から類似度Ｓ_ConvVN1を算出する方法を説明する。

【0051】

類似度演算部２６０は、既知特徴スペクトル群ＫＳＧとの類似度Ｓ_ConvVN1として、類似度画像Ｓ_ConvVN1_Mと、クラス別類似度Ｓ_ConvVN1_Cの２種類の類似度のいずれかを算出することができる。なお、図１では、これらの符号の末尾「_M」「_C」は省略している。

【0052】

類似度画像Ｓ_ConvVN1_Mの各画素位置（ｘ，ｙ）における類似度Ｓ（ｘ，ｙ）は、図５に示した既知特徴スペクトル群ＫＳＧを用いて、次式に従って求めることができる。
S(x,y)=max[G{Sp(x,y),KSp(j)}] （７）
ここで、Ｇ｛ａ，ｂ｝はａとｂの類似度を求める関数、Ｓｐ（ｘ，ｙ）は被分類データＤｉに応じて得られるConvVN1層２３０の平面位置（ｘ，ｙ）での特徴スペクトル、ＫＳｐ（ｊ）はConvVN1層２３０に関連付けられたすべての既知特徴スペクトル、ｍａｘ［Ｘ］はＸの最大値を取る論理演算を示す。すなわち、各画素位置（ｘ，ｙ）における類似度Ｓ（ｘ，ｙ）は、被分類データＤｉに応じて得られた特徴スペクトルＳｐ（ｘ，ｙ）と、同じConvVN1層２３０で得られていたすべての既知特徴スペクトルＫＳｐ（ｊ）との間の類似度のうちの最大値である。

【0053】

類似度を求める関数Ｇ｛ａ，ｂ｝としては、例えば、コサイン類似度を求める式や、距離に応じた類似度を求める式を使用できる。なお、各位置（ｘ，ｙ）での画素値は、類似度Ｓ（ｘ，ｙ）の他に、上記（７）式において最大値を与えた既知特徴スペクトルＫＳｐ（ｊ）に関連づけられたラベルＬｂも含む形で保存される。類似度画像Ｓ_ConvVN1_Mの類似度Ｓ（ｘ，ｙ）は、その位置（ｘ，ｙ）に対応する被分類データＤｉの画素位置に、そのラベルＬｂに対応するクラスの特徴が存在する確率を表している。換言すれば、類似度Ｓ（ｘ，ｙ）は、その層の平面位置（ｘ，ｙ）における特徴が、複数のクラスのうちのいずれかのクラスの特徴と類似する程度を示す指標である。

【0054】

一方、クラス別類似度Ｓ_ConvVN1_Cは、例えば次式を用いて算出できる。
S_ConvVN1_C(Class)=max[G{Sp(i,j),KSp(Class,k)}] （８）
ここで、”Class”は複数のクラスに対する序数、Ｇ｛ａ，ｂ｝はａとｂの類似度を求める関数、Ｓｐ（ｉ，ｊ）は被分類データＤｉに応じて得られるすべての平面位置（ｉ，ｊ）での特徴スペクトル、ＫＳｐ（Class,ｋ）は、ConvVN1層２３０と特定の”Class”とに関連付けられたすべての既知特徴スペクトル、ｍａｘ［Ｘ］はＸの最大値を取る論理演算を示す。すなわち、クラス別類似度Ｓ_ConvVN1_Cは、ConvVN1層２３０のすべての平面位置（ｉ，ｊ）における特徴スペクトルＳｐ（ｉ，ｊ）のそれぞれと、特定のクラスに対応するすべての既知特徴スペクトルＫＳｐ（ｋ）のそれぞれとの間で算出された類似度のうちの最大値である。このようなクラス別類似度Ｓ_ConvVN1_Cは、複数のラベルＬｂに対応する複数のクラスのそれぞれに対して求められる。クラス別類似度Ｓ_ConvVN1_Cは、被分類データＤｉが、そのクラスの特徴に類似している程度を表している。

【0055】

ConvVN2層２４０とClassVN層２５０の出力に関する類似度Ｓ_ConvVN2，Ｓ_ClassVNも、類似度Ｓ_ConvVN1と同様に生成される。なお、これらの３つの類似度Ｓ_ConvVN1，Ｓ_ConvVN2，Ｓ_ClassVNをすべて生成する必要はないが、これらのうちの１つ以上を生成することが好ましい。本開示において、類似度の生成に使用された層を、「特定層」とも呼ぶ。

【0056】

図３のステップＳ２３０では、クラス分類処理部１１２が、既知特徴スペクトル群ＫＳＧとの類似度Ｓ_ConvVN1，Ｓ_ConvVN2，Ｓ_ClassVNをユーザーに提示し、ユーザーは、これに応じてクラス分類処理の結果を確認する。上述したように、既知特徴スペクトル群ＫＳＧとの類似度Ｓ_ConvVN1，Ｓ_ConvVN2，Ｓ_ClassVNは、被分類データＤｉが、いずれかのラベルに対応するクラスの特徴に類似している程度を表しているので、これらの類似度Ｓ_ConvVN1，Ｓ_ConvVN2，Ｓ_ClassVNの少なくとも１つから、クラス分類処理の結果の良否を確認することができる。なお、クラス分類工程Ｓ２００の３つのステップＳ２１０～Ｓ２３０は、実際にはほぼ同時に実行される。

【0057】

以上のように、本実施形態では、上位層Ｌ＋１の個々のノードの出力ベクトルＭ^L+1 _jは、（ａ）下位層Ｌの各ノードの出力ベクトルＭ^L _iと予測行列Ｗ^L _ijとの積に基づく予測ベクトルｖ_ijを求め、（ｂ）下位層Ｌの各ノードから得られた予測ベクトルｖ_ijの線形結合である和ベクトルｕ_jを求め、（ｃ）和ベクトルｕ_jのノルム|ｕ_j|を正規化することによって正規化係数であるアクティベーション値ａ_jを求め、（ｄ）和ベクトルｕ_jをノルム|ｕ_j|で除算し、更に、アクティベーション値ａ_jを乗じる、という演算によって求められる。従って、カプセルネットワークのように動的ルーチンを複数回実行する必要がないので、機械学習モデル２００を用いた演算をより高速に実行できるという利点がある。

【0058】

なお、既知スペクトル群ＫＳＧの生成方法や、ConvVN1層等の中間層の出力データの生成方法は上記実施形態に限定されるものではなく、例えば、Ｋｍｅａｎｓ法を用いてこれらのデータを生成してもよい。また、ＰＣＡやＩＣＡ、Ｆｉｓｈｅｒなどの変換を用いてこれらのデータを生成してもよい。また、既知スペクトル群ＫＳＧと中間層の出力データの変換方法は異なっていてもよい。

【0059】

・他の実施形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0060】

（１）本開示の第１の形態によれば、情報処理装置が提供される。この情報処理装置は、ベクトルニューラルネットワーク型の機械学習モデルを記憶するメモリーと、前記機械学習モデルを用いた演算を実行するプロセッサーと、を備える。前記機械学習モデルは、複数のノードをそれぞれ含む複数のベクトルニューロン層を有し、前記複数のベクトルニューロン層のうちの１つを上位層と呼び、前記上位層の下位にあるベクトルニューロン層を下位層と呼ぶとき、前記上位層の各ノードは、前記下位層の複数のノードからの出力ベクトルを入力として、１つの出力ベクトルを出力するように構成されている。前記上位層の任意のノードである対象ノードは、（ａ）前記下位層の各ノードの出力ベクトルと予測行列との積に基づく予測ベクトルを求め、（ｂ）前記下位層の前記各ノードから得られた前記予測ベクトルの線形結合に基づく和ベクトルを求め、（ｃ）前記和ベクトルのノルムを正規化することによって正規化係数を求め、（ｄ）前記和ベクトルを前記ノルムで除算し、更に、前記正規化係数を乗じることによって前記対象ノードの前記出力ベクトルを求める、ように構成されている。
この情報処理装置によれば、カプセルネットワークのように動的ルーチンを複数回実行する必要がないので、機械学習モデルを用いた演算をより高速に実行できる。

【0061】

（２）上記情報処理装置において、前記正規化係数は、前記上位層における前記正規化係数の総和が１になるように前記ノルムを正規化関数で正規化することによって得られるものとしてもよい。
この情報処理装置によれば、簡単な演算で適切な正規化係数を求めることができる。

【0062】

（３）上記情報処理装置において、前記予測行列は複数準備されており、前記上位層の各ノードの前記出力ベクトルの演算に使用される前記下位層の前記複数のノードの範囲は、前記複数の予測行列を複数の要素とするカーネルを用いた畳み込みによって制限され、前記複数の予測行列は、前記機械学習モデルの学習によって決定されるものとしてもよい。
この情報処理装置によれば、カーネルによって演算の範囲が制限されているので予測行列の数が少なくてすみ、また、学習によって適切な予測行列を決定できる。

【0063】

（４）上記情報処理装置において、前記メモリーは、学習済みの前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの少なくとも１つの特定層の出力から得られた既知特徴ベクトル群を格納しており、前記機械学習モデルは、学習済みの前記機械学習モデルに新たな入力データが入力されたときに前記特定層の出力から得られる特徴ベクトルと、前記既知特徴ベクトル群との類似度を演算する類似度演算部を有するものとしてもよい。
この情報処理装置によれば、特徴ベクトルの類似度を利用して、入力データが複数の教師データのいずれに類似するかを確認できる。

【0064】

（５）上記情報処理装置において、前記特定層は、第１軸と第２軸の２つの軸で規定された平面に配置されたベクトルニューロンが、前記２つの軸とは異なる方向の第３軸に沿って複数のチャンネルとして配置されている構成を有し、前記特徴ベクトルは、（ｉ）前記特定層のうちの１つの平面位置におけるベクトルニューロンの出力ベクトルの複数の要素値を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第１種の特徴スペクトルと、（ｉｉ）前記第１種の特徴スペクトルの各要素値に、前記正規化係数を乗じることによって得られる第２種の特徴スペクトルと、（ｉｉｉ）前記特定層のうちの１つの平面位置における前記正規化係数を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第３種の特徴スペクトルと、のうちのいずれかであるものとしてもよい。
この情報処理装置によれば、特徴ベクトルを容易に求めることができる。

【0065】

（６）本開示の第２の形態によれば、ベクトルニューラルネットワーク型の機械学習モデルを用いて演算処理を実行する演算方法が提供される。前記機械学習モデルは、複数のノードをそれぞれ含む複数のベクトルニューロン層を有し、前記複数のベクトルニューロン層のうちの１つを上位層と呼び、前記上位層の下位にあるベクトルニューロン層を下位層と呼ぶとき、前記上位層の各ノードは、前記下位層の複数のノードからの出力ベクトルを入力として、１つの出力ベクトルを出力するように構成されている。前記上位層の任意のノードである対象ノードの前記出力ベクトルを求める工程は、（ａ）前記下位層の各ノードの出力ベクトルと予測行列との積に基づく予測ベクトルを求める工程と、（ｂ）前記下位層の前記各ノードから得られた前記予測ベクトルの線形結合に基づく和ベクトルを求める工程と、（ｃ）前記和ベクトルのノルムを正規化することによって正規化係数を求める工程と、（ｄ）前記和ベクトルを前記ノルムで除算し、更に、前記正規化係数を乗じることによって前記対象ノードの前記出力ベクトルを求める工程と、を含む。
この演算方法によれば、カプセルネットワークのように動的ルーチンを複数回実行する必要がないので、機械学習モデルを用いた演算をより高速に実行できる。

【0066】

（７）本開示の第３の形態によれば、ベクトルニューラルネットワーク型の機械学習モデルを用いる演算処理をプロセッサーに実行させるコンピュータープログラムが提供される。前記機械学習モデルは、複数のノードをそれぞれ含む複数のベクトルニューロン層を有し、前記複数のベクトルニューロン層のうちの１つを上位層と呼び、前記上位層の下位にあるベクトルニューロン層を下位層と呼ぶとき、前記上位層の各ノードは、前記下位層の複数のノードからの出力ベクトルを入力として、１つの出力ベクトルを出力するように構成されている。前記コンピュータープログラムは、前記上位層の任意のノードである対象ノードの前記出力ベクトルを求める処理として、（ａ）前記下位層の各ノードの出力ベクトルと予測行列との積に基づく予測ベクトルを求める処理と、（ｂ）前記下位層の前記各ノードから得られた前記予測ベクトルの線形結合に基づく和ベクトルを求める処理と、（ｃ）前記和ベクトルのノルムを正規化することによって正規化係数を求める処理と、（ｄ）前記和ベクトルを前記ノルムで除算し、更に、前記正規化係数を乗じることによって前記対象ノードの前記出力ベクトルを求める処理と、を前記プロセッサーに実行させる。
このコンピュータープログラムによれば、カプセルネットワークのように動的ルーチンを複数回実行する必要がないので、機械学習モデルを用いた演算をより高速に実行できる。

【0067】

本開示は、上記以外の種々の形態で実現することも可能である。例えば、クラス分類装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

【符号の説明】

【0068】

１００…情報処理装置、１１０…プロセッサー、１１２…クラス分類処理部、１２０…メモリー、１３０…インターフェイス回路、１５０…表示部、２００…機械学習モデル、２１０…畳み込み層、２２０…プライマリーベクトルニューロン層、２３０…第１畳み込みベクトルニューロン層、２４０…第２畳み込みベクトルニューロン層、２５０…分類ベクトルニューロン層、２６０…類似度演算部

【図1】

【図2】

【図3】

【図4】

【図5】