ホーム > 特許ランキング > 株式会社メガチップス
知財求人 - 知財ポータルサイト「IP Force」
特開2024-57907データ処理装置、畳み込み処理装置、データ処理方法、および、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024057907
(43)【公開日】2024-04-25
(54)【発明の名称】データ処理装置、畳み込み処理装置、データ処理方法、および、プログラム
(51)【国際特許分類】
G06N 3/10 20060101AFI20240418BHJP
G06N 3/06 20060101ALI20240418BHJP
【ＦＩ】
G06N3/10
G06N3/06
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022164890
(22)【出願日】2022-10-13
(71)【出願人】
【識別番号】591128453
【氏名又は名称】株式会社メガチップス
(74)【代理人】
【識別番号】100143498
【弁理士】
【氏名又は名称】中西 健
(74)【代理人】
【識別番号】100136319
【弁理士】
【氏名又は名称】北原 宏修
(72)【発明者】
【氏名】松本 真人
(57)【要約】 （修正有）
【課題】どのような分布のデータに対しても、ベクトル分解処理、量子化処理、畳み込み処理等を伴うデータ処理を高精度に行うことができるデータ処理装置及び処理方法を提供する。
【解決手段】データ処理装置１００は、ベクトル分解処理において、複数の局所解を取得し、取得した局所解毎に、量子化処理前に実行される複数のデータ調整処理を選択し、畳み込み処理の精度を取得し、最も精度の高い、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理を特定する。
【効果】最適化処理により特定した、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理により予測処理を実行することで、どのようなデータ分布の特徴量入力データに対しても、ベクトル分解処理により取得した最適な基底行列および実数係数ベクトルを用いて、量子化処理、畳み込み処理等を伴うデータ処理を高精度に実行できる。
【選択図】図１
【解決手段】データ処理装置１００は、ベクトル分解処理において、複数の局所解を取得し、取得した局所解毎に、量子化処理前に実行される複数のデータ調整処理を選択し、畳み込み処理の精度を取得し、最も精度の高い、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理を特定する。
【効果】最適化処理により特定した、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理により予測処理を実行することで、どのようなデータ分布の特徴量入力データに対しても、ベクトル分解処理により取得した最適な基底行列および実数係数ベクトルを用いて、量子化処理、畳み込み処理等を伴うデータ処理を高精度に実行できる。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の要素を含む行列データに対して、重み係数行列を用いて畳み込み処理を実行するためのデータ処理装置であって、
前記重み係数行列を、基底値を要素とする基底行列と、実数を要素とする実数係数ベクトルとに分解するベクトル分解処理を行うベクトル分解処理部と、
前記行列データに対して、複数種類のデータ調整処理を行うことができ、前記複数種類のデータ調整処理のいずれか１つを選択し、前記行列データに対して、選択したデータ調整処理を実行することで、データ調整処理後データを取得し、取得した前記データ調整処理後データに対して量子化処理を行うことで、量子化処理後データを取得する量子化処理部と、
前記ベクトル分解処理部による前記ベクトル分解により取得された前記基底行列と、前記実数係数ベクトルとを用いて、前記量子化処理後データに対して畳み込み処理を実行することで、当該畳み込み処理後のデータを、ベクトル分解畳み込み処理後データとして、取得する畳み込み処理部と、
前記行列データに対して、前記重み係数行列を用いて、畳み込み処理を行ったデータである正解行列データと、前記ベクトル分解畳み込み処理後データとに基づく評価結果を取得する評価部と、
を備えるデータ処理装置。
前記重み係数行列を、基底値を要素とする基底行列と、実数を要素とする実数係数ベクトルとに分解するベクトル分解処理を行うベクトル分解処理部と、
前記行列データに対して、複数種類のデータ調整処理を行うことができ、前記複数種類のデータ調整処理のいずれか１つを選択し、前記行列データに対して、選択したデータ調整処理を実行することで、データ調整処理後データを取得し、取得した前記データ調整処理後データに対して量子化処理を行うことで、量子化処理後データを取得する量子化処理部と、
前記ベクトル分解処理部による前記ベクトル分解により取得された前記基底行列と、前記実数係数ベクトルとを用いて、前記量子化処理後データに対して畳み込み処理を実行することで、当該畳み込み処理後のデータを、ベクトル分解畳み込み処理後データとして、取得する畳み込み処理部と、
前記行列データに対して、前記重み係数行列を用いて、畳み込み処理を行ったデータである正解行列データと、前記ベクトル分解畳み込み処理後データとに基づく評価結果を取得する評価部と、
を備えるデータ処理装置。
【請求項2】
前記ベクトル分解処理部は、
第１の乱数を用いて前記基底行列を初期化し、および、第２の乱数を用いて前記実数係数ベクトルを初期化し、初期化した前記基底行列、および、初期化した前記実数係数ベクトルとの積により取得される行列が、前記重み係数行列に近づくように、前記基底行列および／または前記実数係数ベクトルを更新する処理を繰り返し、所定の誤差範囲内に収まったときの前記基底行列および前記実数係数ベクトルを、局所解基底行列および局所解実数係数ベクトルとして取得し、
前記畳み込み処理部は、
前記局所解基底行列および前記局所解実数係数ベクトルを用いて、前記畳み込み処理を実行する、
請求項１に記載のデータ処理装置。
第１の乱数を用いて前記基底行列を初期化し、および、第２の乱数を用いて前記実数係数ベクトルを初期化し、初期化した前記基底行列、および、初期化した前記実数係数ベクトルとの積により取得される行列が、前記重み係数行列に近づくように、前記基底行列および／または前記実数係数ベクトルを更新する処理を繰り返し、所定の誤差範囲内に収まったときの前記基底行列および前記実数係数ベクトルを、局所解基底行列および局所解実数係数ベクトルとして取得し、
前記畳み込み処理部は、
前記局所解基底行列および前記局所解実数係数ベクトルを用いて、前記畳み込み処理を実行する、
請求項１に記載のデータ処理装置。
【請求項3】
前記ベクトル分解処理部は、
初期化時の設定を変更させることで、Ｌ個（Ｌ：２以上の自然数）の局所解基底行列および局所解実数係数ベクトルを取得し、
前記量子化処理部は、
Ｍ種類（Ｍ：２以上の自然数）の前記データ調整処理を行うことができ、
Ｍ種類の前記データ調整処理を実行することでＭ個の量子化処理後データを取得し、
前記畳み込み処理部は、
前記量子化処理部が取得した前記Ｍ個の量子化処理後データに対して、前記Ｌ個の前記局所解基底行列および前記局所解実数係数ベクトルのそれぞれを用いた畳み込み処理を行い、
前記評価部は、
前記Ｍ個の量子化処理後データに対して、前記Ｌ個の前記局所解基底行列および前記局所解実数係数ベクトルのそれぞれを用いた畳み込み処理を行うことで取得されたデータのそれぞれと、前記正解行列データと、の比較結果を前記評価結果として取得し、当該比較結果が最良となる、前記局所解基底行列および前記局所解実数係数ベクトルと、前記データ調整処理の種類との組み合わせを特定し、特定した組み合わせのデータを、ベクトル分解処理およびデータ調整処理の最適解データとして取得する、
請求項２に記載のデータ処理装置。
初期化時の設定を変更させることで、Ｌ個（Ｌ：２以上の自然数）の局所解基底行列および局所解実数係数ベクトルを取得し、
前記量子化処理部は、
Ｍ種類（Ｍ：２以上の自然数）の前記データ調整処理を行うことができ、
Ｍ種類の前記データ調整処理を実行することでＭ個の量子化処理後データを取得し、
前記畳み込み処理部は、
前記量子化処理部が取得した前記Ｍ個の量子化処理後データに対して、前記Ｌ個の前記局所解基底行列および前記局所解実数係数ベクトルのそれぞれを用いた畳み込み処理を行い、
前記評価部は、
前記Ｍ個の量子化処理後データに対して、前記Ｌ個の前記局所解基底行列および前記局所解実数係数ベクトルのそれぞれを用いた畳み込み処理を行うことで取得されたデータのそれぞれと、前記正解行列データと、の比較結果を前記評価結果として取得し、当該比較結果が最良となる、前記局所解基底行列および前記局所解実数係数ベクトルと、前記データ調整処理の種類との組み合わせを特定し、特定した組み合わせのデータを、ベクトル分解処理およびデータ調整処理の最適解データとして取得する、
請求項２に記載のデータ処理装置。
【請求項4】
前記複数種類のデータ調整処理は、
（１）入力値に対して、行列データの要素の値のデータ分布における最大値と最小値を用いた正規化を行うことで出力値を取得する処理、
（２）入力値に対して、行列データの要素の値のデータ分布における平均値と標準偏差を用いた標準化を行うことで出力値を取得する処理、および、
（３）入力値に対して、行列データの要素の値のデータ分布における第１四分位数と第３四分位に基づくデータ範囲調整処理を行うことで出力値を取得する処理、
の少なくても１つを含む、
請求項１から３のいずれかに記載のデータ処理装置。
（１）入力値に対して、行列データの要素の値のデータ分布における最大値と最小値を用いた正規化を行うことで出力値を取得する処理、
（２）入力値に対して、行列データの要素の値のデータ分布における平均値と標準偏差を用いた標準化を行うことで出力値を取得する処理、および、
（３）入力値に対して、行列データの要素の値のデータ分布における第１四分位数と第３四分位に基づくデータ範囲調整処理を行うことで出力値を取得する処理、
の少なくても１つを含む、
請求項１から３のいずれかに記載のデータ処理装置。
【請求項5】
前記ベクトル分解処理部は、
初期化時の設定を変更させることで、Ｌ個（Ｌ：２以上の自然数）の局所解基底行列および局所解実数係数ベクトルを、逐次、取得するものであり、第Ｌ’番目（Ｌ’：自然数、Ｌ’＜Ｌ）の前記ベクトル分解処理により取得された局所解基底行列および局所解実数係数ベクトルによる積と、前記重み係数行列との差のノルムを取得し、取得した当該ノルムが所定の閾値よりも小さい場合、第Ｌ’番目より後の前記ベクトル分解処理を実行せず、
前記評価部は、
前記ベクトル分解処理部が第Ｌ’番目より後の前記ベクトル分解処理を実行しない場合、前記Ｍ個の量子化処理後データに対して、第Ｌ’番目までの前記ベクトル分解処理により取得されたＬ’個の前記局所解基底行列および前記局所解実数係数ベクトルのそれぞれを用いた畳み込み処理を行うことで取得されたデータのそれぞれと、前記正解行列データと、の比較結果を前記評価結果として取得し、当該比較結果が最良となる、前記局所解基底行列および前記局所解実数係数ベクトルと、前記データ調整処理の種類との組み合わせを特定し、特定した組み合わせのデータを、ベクトル分解処理およびデータ調整処理の最適解データとして取得する、
請求項３に記載のデータ処理装置。
初期化時の設定を変更させることで、Ｌ個（Ｌ：２以上の自然数）の局所解基底行列および局所解実数係数ベクトルを、逐次、取得するものであり、第Ｌ’番目（Ｌ’：自然数、Ｌ’＜Ｌ）の前記ベクトル分解処理により取得された局所解基底行列および局所解実数係数ベクトルによる積と、前記重み係数行列との差のノルムを取得し、取得した当該ノルムが所定の閾値よりも小さい場合、第Ｌ’番目より後の前記ベクトル分解処理を実行せず、
前記評価部は、
前記ベクトル分解処理部が第Ｌ’番目より後の前記ベクトル分解処理を実行しない場合、前記Ｍ個の量子化処理後データに対して、第Ｌ’番目までの前記ベクトル分解処理により取得されたＬ’個の前記局所解基底行列および前記局所解実数係数ベクトルのそれぞれを用いた畳み込み処理を行うことで取得されたデータのそれぞれと、前記正解行列データと、の比較結果を前記評価結果として取得し、当該比較結果が最良となる、前記局所解基底行列および前記局所解実数係数ベクトルと、前記データ調整処理の種類との組み合わせを特定し、特定した組み合わせのデータを、ベクトル分解処理およびデータ調整処理の最適解データとして取得する、
請求項３に記載のデータ処理装置。
【請求項6】
前記Ｍ種類の前記データ調整処理のそれぞれについて、Ｎ個（Ｎ：自然数）のデータを入力データとして実行し、前記Ｍ種類の前記データ調整処理のうちｊ番目（ｊ：自然数、１≦ｊ≦Ｍ）の前記データ調整処理を実行するときのｉ番目（ｉ：自然数、１≦ｉ≦Ｎ）の入力データをＸ０
（ｉ）（ｊ）とし、正解データをＸ１
（ｉ）とし、
前記Ｌ個の前記局所解基底行列および前記局所解実数係数ベクトルの積により取得されるデータであって、ｑ番目（ｑ：自然数、１≦ｑ≦Ｌ）のデータをＷ０’（ｑ）とすると、
前記評価部は、
により、ｊｏｐｔ、ｑｏｐｔを特定し、ｑｏｐｔ番目の前記局所解基底行列および前記局所解実数係数ベクトルと、ｊｏｐｔ番目の前記データ調整処理との組み合わせのデータを、ベクトル分解処理およびデータ調整処理の前記最適解データとして取得する、
請求項３に記載のデータ処理装置。
前記Ｌ個の前記局所解基底行列および前記局所解実数係数ベクトルの積により取得されるデータであって、ｑ番目（ｑ：自然数、１≦ｑ≦Ｌ）のデータをＷ０’（ｑ）とすると、
前記評価部は、
請求項３に記載のデータ処理装置。
【請求項7】
複数の要素を含む行列データに対して、請求項３に記載のデータ処理装置により取得された前記最適解データで特定されるデータ調整処理を行った後、量子化処理を行うことで量子化処理後データを取得する量子化処理部と、
前記量子化処理部により取得された前記量子化処理後データに対して、前記最適解データで特定される前記局所解基底行列および前記局所解実数係数ベクトルを用いて、畳み込み処理を行う畳み込み処理部と、
を備える畳み込み処理装置。
前記量子化処理部により取得された前記量子化処理後データに対して、前記最適解データで特定される前記局所解基底行列および前記局所解実数係数ベクトルを用いて、畳み込み処理を行う畳み込み処理部と、
を備える畳み込み処理装置。
【請求項8】
複数の要素を含む行列データに対して、重み係数行列を用いて畳み込み処理を実行するためのデータ処理方法であって、
前記重み係数行列を、基底値を要素とする基底行列と、実数を要素とする実数係数ベクトルとに分解するベクトル分解処理を行うベクトル分解処理ステップと、
前記行列データに対して、複数種類のデータ調整処理を行うことができ、前記複数種類のデータ調整処理のいずれか１つを選択し、前記行列データに対して、選択したデータ調整処理を実行することで、データ調整処理後データを取得し、取得した前記データ調整処理後データに対して量子化処理を行うことで、量子化処理後データを取得する量子化処理ステップと、
前記ベクトル分解処理ステップによる前記ベクトル分解により取得された前記基底行列と、前記実数係数ベクトルとを用いて、前記量子化処理後データに対して畳み込み処理を実行することで、当該畳み込み処理後のデータを、ベクトル分解畳み込み処理後データとして、取得する畳み込み処理ステップと、
前記行列データに対して、前記重み係数行列を用いて、畳み込み処理を行ったデータである正解行列データと、前記ベクトル分解畳み込み処理後データとに基づく評価結果を取得する評価ステップと、
を備えるデータ処理方法。
前記重み係数行列を、基底値を要素とする基底行列と、実数を要素とする実数係数ベクトルとに分解するベクトル分解処理を行うベクトル分解処理ステップと、
前記行列データに対して、複数種類のデータ調整処理を行うことができ、前記複数種類のデータ調整処理のいずれか１つを選択し、前記行列データに対して、選択したデータ調整処理を実行することで、データ調整処理後データを取得し、取得した前記データ調整処理後データに対して量子化処理を行うことで、量子化処理後データを取得する量子化処理ステップと、
前記ベクトル分解処理ステップによる前記ベクトル分解により取得された前記基底行列と、前記実数係数ベクトルとを用いて、前記量子化処理後データに対して畳み込み処理を実行することで、当該畳み込み処理後のデータを、ベクトル分解畳み込み処理後データとして、取得する畳み込み処理ステップと、
前記行列データに対して、前記重み係数行列を用いて、畳み込み処理を行ったデータである正解行列データと、前記ベクトル分解畳み込み処理後データとに基づく評価結果を取得する評価ステップと、
を備えるデータ処理方法。
【請求項9】
請求項８に記載のデータ処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理技術に関し、特に、ベクトル分解処理、量子化処理、畳み込み処理を伴うデータ処理についての技術に関する。
【背景技術】
【0002】
近年、多種多様なアプリケーションを高精度に実現するニューラルネットワークモデルを用いた技術が注目されている。ニューラルネットワークモデルを用いた技術では、学習用データを用いて、ニューラルネットワークモデルの学習処理を行い、学習済みモデルを取得し、取得した学習済みモデルを用いて予測処理（推測処理）を行う。これにより、ニューラルネットワークモデルを用いた技術では、多種多様なアプリケーションを高精度に実現することが可能となる。
【0003】
このような技術で用いられるニューラルネットワークモデルは、入力層と、複数の隠れ層と、出力層により構成される。ニューラルネットワークモデルでは、隠れ層の数を多くすることで（層を深くすることで）、複雑な事象に対して高精度な予測（推論）を行うことができるモデル（例えば、深層学習用モデル（深層ニューラルネットワークモデル））を取得することができる。
【0004】
一般に、ニューラルネットワークモデルでは、学習時において、教師データとニューラルネットワークモデルの出力データとの誤差が小さくなるようにパラメータ更新処理（ニューラルネットワークモデルを各層のノードの重み係数の更新処理）が実行される。このとき、ニューラルネットワークモデルでは、誤差逆伝播法により、パラメータ更新処理が実行されるが、ニューラルネットワークモデルの層が深いと（隠れ層の数が多いと）、誤差逆伝播に必要な勾配が非常に小さくなり、学習が適切に進まなくなるという問題がある。
【0005】
これに対処するために、例えば、特許文献１に開示されている技術では、隠れ層にバッチ正規化層を設け、誤差逆伝播時に勾配消失が発生しないようにしている。つまり、特許文献１に開示されている技術では、バッチ正規化層を、バッチ正規化層の前段の隠れ層の出力をミニバッチの同一チャネルごとに、平均０、分散１（標準偏差１）となるように正規化（標準化）を行うように構成するので、誤差逆伝播時に勾配消失現象が発生することなく、学習が適切に進む。また、バッチ正規化処理を行う（バッチ正規化層を設ける）ことで、隠れ層で処理されるデータが適度に分散された分布を有するデータとなり、過学習を抑制することもできる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許出願公開第２０１６／２１７３６８号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記従来の技術では、隠れ層の出力値において、外れ値があると、当該出力値を正規化した後の値が平均値０付近の狭い範囲に集中してしまい、隠れ層の出力値の正規化後の値の分布を適度に分散した分布とすることができない。このような偏った分布（隠れ層の出力値の正規化後の値が平均値０付近の狭い範囲に集中する分布）の値に対して、例えば、量子化処理を行うと、量子化処理後の値が所定の値に集中してしまい、ニューラルネットワークモデルにおいて、適切に学習が進まず、その結果、適切な予測処理（推論処理）を行う学習済みモデルを取得することが困難となる。
【0008】
また、近年、隠れ層の重み係数を、係数ベクトルと基底ベクトルとに分解し（ベクトル分解処理を行い）、隠れ層の入力データに対して量子化処理を行った後、ベクトル分解した重み係数と量子化後のデータとに対して畳み込み処理等を行うことが多い。このような処理を行う隠れ層において、外れ値があるデータが入力され、当該データに対して、正規化処理を行い、ベクトル分解処理、量子化処理、畳み込み処理を行うと、量子化後のデータが偏った分布のデータとなり、当該隠れ層を有するニューラルネットワークモデルにおいて、適切に学習が進まず、その結果、適切な予測処理（推論処理）を行う学習済みモデルを取得することが困難となる。
【0009】
そこで、本発明は、上記課題に鑑み、どのような分布のデータに対しても、ベクトル分解処理、量子化処理、畳み込み処理等を伴うデータ処理を高精度に行うことができるデータ処理装置、畳み込み処理装置、データ処理方法、および、プログラムを実現することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するために、第１の発明は、複数の要素を含む行列データに対して、重み係数行列を用いて畳み込み処理を実行するためのデータ処理装置であって、ベクトル分解処理部と、量子化処理部と、畳み込み処理部と、評価部と、を備える。
【0011】
ベクトル分解処理部は、重み係数行列を、基底値を要素とする基底行列と、実数を要素とする実数係数ベクトルとに分解するベクトル分解処理を行う。
【0012】
量子化処理部は、行列データに対して、複数種類のデータ調整処理を行うことができ、複数種類のデータ調整処理のいずれか１つを選択し、行列データに対して、選択したデータ調整処理を実行することで、データ調整処理後データを取得し、取得したデータ調整処理後データに対して量子化処理を行うことで、量子化処理後データを取得する。
【0013】
畳み込み処理部は、ベクトル分解処理部によるベクトル分解により取得された基底行列と、実数係数ベクトルとを用いて、量子化処理後データに対して畳み込み処理を実行することで、当該畳み込み処理後のデータを、ベクトル分解畳み込み処理後データとして、取得する。
【0014】
評価部は、行列データに対して、重み係数行列を用いて、畳み込み処理を行ったデータである正解行列データと、ベクトル分解畳み込み処理後データとに基づく評価結果を取得する。
【0015】
このデータ処理装置では、量子化処理部において、量子化処理前に実行される複数のデータ調整処理を選択し、畳み込み処理を実行することで、当該処理結果データと、重み係数行列を用いて、畳み込み処理を行ったデータである正解行列データとを比較することで、畳み込み処理の精度を取得することができ、最も精度の高い、量子化処理前に実行するデータ調整処理を特定することができる。そして、このデータ処理装置では、上記処理により特定した、量子化処理前に実行するデータ調整処理により、例えば、データ処理（予測処理）を実行することで、どのようなデータ分布の特徴量入力データに対しても、ベクトル分解処理により取得した最適な基底行列および実数係数ベクトルを用いて、量子化処理、畳み込み処理等を伴うデータ処理を高精度に行うことができる。
【0016】
なお、「正解行列データと、ベクトル分解畳み込み処理後データとに基づく評価結果」とは、例えば、両データの差に基づく比較結果データや、両データの差から取得される行列（各要素の差を要素とする行列）のノルム（行列ノルム、フロベニウスノルム等）、および、当該ノルムに関連するデータや、二乗和誤差や交差エントロピー誤差である。
【0017】
第２の発明は、第１の発明であって、ベクトル分解処理部は、第１の乱数を用いて基底行列を初期化し、および、第２の乱数を用いて実数係数ベクトルを初期化し、初期化した基底行列、および、初期化した実数係数ベクトルとの積により取得される行列が、重み係数行列に近づくように、基底行列および／または実数係数ベクトルを更新する処理を繰り返し、所定の誤差範囲内に収まったときの基底行列および実数係数ベクトルを、局所解基底行列および局所解実数係数ベクトルとして取得する。
【0018】
そして、畳み込み処理部は、局所解基底行列および局所解実数係数ベクトルを用いて、畳み込み処理を実行する。
【0019】
このデータ処理装置１００では、乱数を用いた初期化された基底行列および実数係数ベクトルを用いて、基底行列および実数係数ベクトルとの積により取得される行列が、重み係数行列に近づくように、更新処理を行うことで、局所解基底行列および局所解実数係数ベクトルを取得することができる。そして、このデータ処理装置では、局所解基底行列および局所解実数係数ベクトルを用いて、畳み込み処理を実行することができる。
【0020】
第３の発明は、第１または第２の発明であって、ベクトル分解処理部は、初期化時の設定を変更させることで、Ｌ個（Ｌ：２以上の自然数）の局所解基底行列および局所解実数係数ベクトルを取得する。
【0021】
量子化処理部は、Ｍ種類（Ｍ：２以上の自然数）のデータ調整処理を行うことができ、Ｍ種類のデータ調整処理を実行することでＭ個の量子化処理後データを取得する。畳み込み処理部は、量子化処理部が取得したＭ個の量子化処理後データに対して、Ｌ個の局所解基底行列および局所解実数係数ベクトルのそれぞれを用いた畳み込み処理を行う。
【0022】
そして、評価部は、Ｍ個の量子化処理後データに対して、Ｌ個の局所解基底行列および局所解実数係数ベクトルのそれぞれを用いた畳み込み処理を行うことで取得されたデータのそれぞれと、正解行列データと、の比較結果（例えば、差のデータ、差のノルム、二乗和誤差、交差エントロピー誤差）を取得し、当該比較結果が最良となる（例えば、差（あるいは誤差）が最も小さくなる、あるいは、差のノルムが最小となる）、局所解基底行列および局所解実数係数ベクトルと、データ調整処理の種類との組み合わせを特定し、特定した組み合わせのデータを、ベクトル分解処理およびデータ調整処理の最適解データとして取得する。
【0023】
このデータ処理装置では、ベクトル分解処理において、複数（Ｌ個）の局所解を取得し、取得したベクトル分解処理の局所解ごとに、量子化処理前に実行される複数のデータ調整処理を選択し、畳み込み処理の精度を取得し、最も精度の高い、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理を特定することができる。そして、このデータ処理装置では、上記処理（最適化処理）により特定した、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理により、例えば、データ処理（予測処理）を実行することで、どのようなデータ分布の特徴量入力データに対しても、ベクトル分解処理により取得した最適な基底行列および実数係数ベクトルを用いて、量子化処理、畳み込み処理等を伴うデータ処理を高精度に行うことができる。
【0024】
第４の発明は、第１から第３のいずれかの発明であって、複数のデータ調整処理は、
（１）入力値に対して、行列データの要素の値のデータ分布における最大値と最小値を用いた正規化を行うことで出力値を取得する処理、
（２）入力値に対して、行列データの要素の値のデータ分布における平均値と標準偏差を用いた標準化を行うことで出力値を取得する処理、および、
（３）入力値に対して、行列データの要素の値のデータ分布における第１四分位数と第３四分位に基づくデータ範囲調整処理を行うことで出力値を取得する処理、
の少なくても１つを含む。
（１）入力値に対して、行列データの要素の値のデータ分布における最大値と最小値を用いた正規化を行うことで出力値を取得する処理、
（２）入力値に対して、行列データの要素の値のデータ分布における平均値と標準偏差を用いた標準化を行うことで出力値を取得する処理、および、
（３）入力値に対して、行列データの要素の値のデータ分布における第１四分位数と第３四分位に基づくデータ範囲調整処理を行うことで出力値を取得する処理、
の少なくても１つを含む。
【0025】
これにより、このデータ処理装置では、上記（１）～（３）の少なくてもいずれかのデータ調整処理を用いて、量子化処理部が、データ調整処理、および、量子化処理を行うことができる。
【0026】
第５の発明は、第３または第４の発明であって、ベクトル分解処理部は、初期化時の設定を変更させることで、Ｌ個（Ｌ：２以上の自然数）の局所解基底行列および局所解実数係数ベクトルを、逐次、取得するものであり、第Ｌ’番目（Ｌ’：自然数、Ｌ’＜Ｌ）のベクトル分解処理により取得された局所解基底行列および局所解実数係数ベクトルによる積と、重み係数行列との差のノルムを取得し、取得した当該ノルムが所定の閾値よりも小さい場合、第Ｌ’番目より後のベクトル分解処理を実行しない。
【0027】
そして、評価部は、ベクトル分解処理部が第Ｌ’番目より後のベクトル分解処理を実行しない場合、Ｍ個の量子化処理後データに対して、第Ｌ’番目までのベクトル分解処理により取得されたＬ’個の局所解基底行列および局所解実数係数ベクトルのそれぞれを用いた畳み込み処理を行うことで取得されたデータのそれぞれと、正解行列データと、の比較結果を評価結果として取得し、当該比較結果が最良となる、局所解基底行列および局所解実数係数ベクトルと、データ調整処理の種類との組み合わせを特定し、特定した組み合わせのデータを、ベクトル分解処理およびデータ調整処理の最適解データとして取得する。
【0028】
これにより、このデータ処理装置では、逐次実行されるベクトル分解処理の途中で、精度の良い（誤差が極小の）データが取得された場合、以降の処理を中断する（実行しないようにする）ことができるので、処理を高速化することができる。
【0029】
第６の発明は、第３から第５のいずれかの発明であって、Ｍ種類のデータ調整処理のそれぞれについて、Ｎ個（Ｎ：自然数）のデータを入力データとして実行し、Ｍ種類のデータ調整処理のうちｊ番目（ｊ：自然数、１≦ｊ≦Ｍ）のデータ調整処理を実行するときのｉ番目（ｉ：自然数、１≦ｉ≦Ｎ）の入力データをＸ０
（ｉ）（ｊ）とし、正解データをＸ１
（ｉ）とし、
Ｌ個の局所解基底行列および局所解実数係数ベクトルの積により取得されるデータであって、ｑ番目（ｑ：自然数、１≦ｑ≦Ｌ）のデータをＷ０’（ｑ）とすると、
評価部は、
により、ｊｏｐｔ、ｑｏｐｔを特定し、ｑｏｐｔ番目の局所解基底行列および局所解実数係数ベクトルと、ｊｏｐｔ番目のデータ調整処理との組み合わせのデータを、ベクトル分解処理およびデータ調整処理の最適解データとして取得する。
Ｌ個の局所解基底行列および局所解実数係数ベクトルの積により取得されるデータであって、ｑ番目（ｑ：自然数、１≦ｑ≦Ｌ）のデータをＷ０’（ｑ）とすると、
評価部は、
【数1】
【0030】
これにより、このデータ処理装置では、Ｍ種類のデータ調整処理のそれぞれについて、Ｎ個（Ｎ：自然数）のデータを入力データとして取得される平均差分データに基づいて、ベクトル分解処理およびデータ調整処理の最適解データを取得することができる。
【0031】
第７の発明は、量子化処理部と、畳み込み処理部と、を備える畳み込み処理装置である。
【0032】
量子化処理部は、複数の要素を含む行列データに対して、第３から第６のいずれかの発明であるデータ処理装置により取得された最適解データで特定されるデータ調整処理を行った後、量子化処理を行うことで量子化処理後データを取得する。
【0033】
畳み込み処理部は、量子化処理部により取得された量子化処理後データに対して、最適解データで特定される局所解基底行列および局所解実数係数ベクトルを用いて、畳み込み処理を行う。
【0034】
これにより、第３から第６のいずれかの発明であるデータ処理装置により取得された最適解データで特定されるデータ調整処理、および、最適解データで特定される局所解基底行列および局所解実数係数ベクトルを用いた畳み込み処理を行う畳み込み処理装置を実現することができる。
【0035】
第８の発明は、複数の要素を含む行列データに対して、重み係数行列を用いて畳み込み処理を実行するためのデータ処理方法であって、ベクトル分解処理ステップと、量子化処理ステップと、畳み込み処理ステップと、評価ステップと、を備えるデータ処理方法である。
【0036】
ベクトル分解処理ステップは、重み係数行列を、基底値を要素とする基底行列と、実数を要素とする実数係数ベクトルとに分解するベクトル分解処理を行う。
【0037】
量子化処理ステップは、行列データに対して、複数種類のデータ調整処理を行うことができ、複数種類のデータ調整処理のいずれか１つを選択し、行列データに対して、選択したデータ調整処理を実行することで、データ調整処理後データを取得し、取得したデータ調整処理後データに対して量子化処理を行うことで、量子化処理後データを取得する。
【0038】
畳み込み処理ステップは、ベクトル分解処理ステップによるベクトル分解により取得された基底行列と、実数係数ベクトルとを用いて、量子化処理後データに対して畳み込み処理を実行することで、当該畳み込み処理後のデータを、ベクトル分解畳み込み処理後データとして、取得する。
【0039】
評価ステップは、行列データに対して、重み係数行列を用いて、畳み込み処理を行ったデータである正解行列データと、ベクトル分解畳み込み処理後データとに基づく評価結果を取得する。
【0040】
これにより、第１の発明と同様の効果を奏するデータ処理方法を実現することができる。
【0041】
第９の発明は、第８の発明であるデータ処理方法をコンピュータに実行させるためのプログラムである。
【0042】
これにより、第１の発明と同様の効果を奏するデータ処理方法をコンピュータに実行させるためのプログラムを実現することができる。
【発明の効果】
【0043】
本発明によれば、本発明は、上記課題に鑑み、どのような分布のデータに対しても、ベクトル分解処理、量子化処理、畳み込み処理等を伴うデータ処理を高精度に行うことができるデータ処理装置、畳み込み処理装置、データ処理方法、および、プログラムを実現することができる。
【図面の簡単な説明】
【0044】
【図1】第１実施形態に係るデータ処理装置１００の概略構成図。
【図2】データ処理装置１００の最適化処理用データについて説明するための図。
【図3】データ処理装置１００の概略構成図であって、最適化処理時の動作を説明するための図。
【図4】データ処理装置１００の最適化処理のシーケンス図（タイミングチャート）。
【図5】データ範囲調整処理を説明するための図。
【図6】データ処理装置１００の概略構成図であって、データ処理時（予測処理時）の動作を説明するための図。
【図7】ＣＰＵバス構成を示す図。
【発明を実施するための形態】
【0045】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。
第１実施形態について、図面を参照しながら、以下、説明する。
【0046】
＜１．１：データ処理装置の構成＞
図１は、第１実施形態に係るデータ処理装置１００の概略構成図である。
図１は、第１実施形態に係るデータ処理装置１００の概略構成図である。
【0047】
データ処理装置１００は、図１に示すように、ベクトル分解判定処理部１と、データ入力部Ｄｅｖ１と、データ格納部ＤＢ１と、量子化判定処理部２と、評価部３とを備える。
【0048】
ベクトル分解判定処理部１は、図１に示すように、ベクトル分解処理部１１と、第１セレクタＳＥＬ１と、第１判定処理部１２と、第２セレクタＳＥＬ２と、を備える。
【0049】
ベクトル分解処理部１１は、重み係数行列Ｗ０を含むデータＤｉ＿Ｗを入力し、当該データＤｉ＿Ｗに対して、ベクトル分解処理を実行し、当該処理結果を含むデータを、データＤ１１として、第１セレクタＳＥＬ１に出力する。なお、重み係数行列Ｗ０をベクトル分解した結果をＷ０
（ｂａｓｉｓ）・ｖｅｃ０
（ｃｏｅ）と表記する。ｖｅｃ０
（ｃｏｅ）は、係数ベクトルであり、Ｗ０
（ｂａｓｉｓ）は、基底行列（所定の基底により表現される行列）である。
【0050】
第１セレクタＳＥＬ１は、１入力２出力のセレクタであり、ベクトル分解処理部１１から出力されるデータＤ１１を入力する。また、第１セレクタＳＥＬ１は、データ処理装置１００の各機能部を制御する制御部（不図示）から出力される選択信号ｓｅｌ１を入力する。第１セレクタＳＥＬ１は、選択信号ｓｅｌ１に従い、入力したデータＤ１１を、第１判定処理部１２および第２セレクタＳＥＬ２のいずれか一方に出力する。なお、第１セレクタＳＥＬ１から第１判定処理部１２に出力されるデータをデータＤ１２Ａ（＝Ｄ１１）とし、第１セレクタＳＥＬ１から第２セレクタＳＥＬ２に出力されるデータをデータＤ１２Ｂ（＝Ｄ１１）とする。
【0051】
第１判定処理部１２は、重み係数行列Ｗ０を含むデータＤｉ＿Ｗと、第１セレクタＳＥＬ１から出力されるデータＤ１２Ａとを入力する。第１判定処理部１２は、データＤｉ＿Ｗと、データＤ１２Ａとを用いて、第１判定処理（詳細については後述）を行い、当該処理後に取得されるデータをデータＤ１３として第２セレクタＳＥＬ２に出力する。また、第１判定処理部１２は、第１判定処理の処理結果を含むデータを、データＤ１＿Ｌ＿ｍｉｎとして、評価部３に出力する。なお、第１判定処理により取得された重み係数行列をＷ’０と表記する。
【0052】
第２セレクタＳＥＬ２は、２入力１出力のセレクタであり、第１判定処理部１２から出力されるデータＤ１３と、第１セレクタＳＥＬ１から出力されるデータＤ１２Ｂとを入力する。また、第２セレクタＳＥＬ２は、データ処理装置１００の各機能部を制御する制御部（不図示）から出力される選択信号ｓｅｌ１を入力する。第２セレクタＳＥＬ２は、選択信号ｓｅｌ１に従い、データＤ１３およびデータ１２Ｂのいずれか一方を選択し、選択したデータをデータＤｏ１として、量子化判定処理部２に出力する。
【0053】
データ入力部Ｄｅｖ１は、データ格納部ＤＢ１と接続されており、データ格納部ＤＢ１に対して読み出し指令を出力することで、データ格納部ＤＢ１に記憶されているデータを読み出す。また、データ入力部Ｄｅｖ１は、外部から入力されるデータＤｉｎを入力することができる。データ入力部Ｄｅｖ１は、データ格納部ＤＢ１から読み出したデータの統計データを取得し、取得した統計データを含むデータを、データＤ＿ｓｔａｔとして、量子化処理部２１に出力する。また、データ入力部Ｄｅｖ１は、データ格納部ＤＢ１から読み出した特徴量の入力データ（畳み込み処理の入力データ）Ｘ０
（ｉ）を含むデータを、データＤｉ＿Ｘｉとして、量子化処理部２１に出力する。また、データ入力部Ｄｅｖ１は、データ格納部ＤＢ１から読み出した特徴量の出力データ（畳み込み処理の出力データ）Ｘ１
（ｉ）を含むデータを、データＤｉ＿Ｘｏとして、第２判定処理部２３に出力する。
【0054】
データ格納部ＤＢ１は、データ入力部Ｄｅｖ１と接続されており、データ入力部Ｄｅｖ１からの指令に従い、データ格納部ＤＢ１にデータを書き込む、および／または、データ格納部ＤＢ１に記憶されているデータを読み出し、データ入力部Ｄｅｖ１に出力する。データ格納部ＤＢ１は、例えば、データベースにより実現される。
【0055】
量子化判定処理部２は、図１に示すように、量子化処理部２１と、畳み込み処理部２２と、第３セレクタＳＥＬ３と、第２判定処理部２３と、第４セレクタＳＥＬ４とを備える。
【0056】
量子化処理部２１は、データ入力部Ｄｅｖ１から出力されるデータＤｉ＿ＸｉおよびＤ＿ｓｔａｔを入力する。また、量子化処理部２１は、データ処理装置１００の各機能部を制御する制御部（不図示）から出力される制御信号であって、データ範囲調整処理を実現する方法と指定する制御信号ＣＴＬ１を入力する。量子化処理部２１は、制御信号ＣＴＬ１で指示された方法により、データＤ＿ｓｔａｔに基づき、データＤｉ＿Ｘｉに対してデータの範囲を調整する処理（データ範囲調整処理）を行う。そして、量子化処理部２１は、データ範囲調整処理後のデータに対して、量子化処理を実行する。そして、量子化処理部２１は、量子化処理後のデータを、データＤ２１として、畳み込み処理部２２に出力する。なお、入力データＤｉ＿Ｘｉに含まれる特徴量の入力データＸ０（行列Ｘ０
（ｉ））に対してデータ範囲調整処理および量子化処理を行って取得したデータ（行列）をＱ（Ｘ０
（ｉ））と表記する。Ｑ（）は、データ範囲調整処理および量子化処理に相当する関数を表す。
【0057】
畳み込み処理部２２は、ベクトル分解判定処理部１から出力されるデータＤｏ１と、量子化処理部２１から出力されるデータＤ２１とを入力する。畳み込み処理部２２は、データＤｏ１とデータＤ２１に対して、畳み込み処理を実行し、畳み込み処理後のデータを、データＤ２２として、第３セレクタＳＥＬ３に出力する。なお、Ｗ’０とＱ（Ｘ０
（ｉ））に対する畳み込み処理後のデータをＷ’＊Ｑ（Ｘ０
（ｉ））と表記する（「＊」は、畳み込み処理（畳み込み演算）を示す）。
【0058】
第３セレクタＳＥＬ３は、１入力２出力のセレクタであり、畳み込み処理部２２から出力されるデータＤ２２を入力する。また、第３セレクタＳＥＬ３は、データ処理装置１００の各機能部を制御する制御部（不図示）から出力される選択信号ｓｅｌ１を入力する。第３セレクタＳＥＬ３は、選択信号ｓｅｌ１に従い、入力したデータＤ２２を、第２判定処理部２３および第４セレクタＳＥＬ４のいずれか一方に出力する。なお、第３セレクタＳＥＬ３から第２判定処理部２３に出力されるデータをデータＤ２３Ａ（＝Ｄ２２）とし、第３セレクタＳＥＬ３から第４セレクタＳＥＬ４に出力されるデータをデータＤ２３Ｂ（＝Ｄ２２）とする。
【0059】
第２判定処理部２３は、出力データ行列Ｘ１
（ｉ）を含むデータＤｉ＿Ｘｏと、第３セレクタＳＥＬ３から出力されるデータＤ２３Ａと、制御部（不図示）から出力される制御信号ＣＴＬ１とを入力する。第２判定処理部２３は、データＤｉ＿Ｘｏと、データＤ２３Ａとを用いて、第２判定処理（詳細については後述）を行い、当該処理後に取得されるデータをデータＤ２４として第４セレクタＳＥＬ４に出力する。また、第２判定処理部２３は、第２判定処理の処理結果を含むデータを、データＤ２＿Ｌ＿ｍｉｎとして、評価部３に出力する。
【0060】
第４セレクタＳＥＬ４は、２入力１出力のセレクタであり、第２判定処理部２３から出力されるデータＤ２４と、第３セレクタＳＥＬ３から出力されるデータＤ２３Ｂとを入力する。また、第４セレクタＳＥＬ４は、データ処理装置１００の各機能部を制御する制御部（不図示）から出力される選択信号ｓｅｌ１を入力する。第４セレクタＳＥＬ４は、選択信号ｓｅｌ１に従い、データＤ２４およびデータ２３Ｂのいずれか一方を選択し、選択したデータをデータＤｏｕｔとして、出力する。
【0061】
評価部３は、図１に示すように、評価処理部３１と、局所解保持部３２とを備える。
【0062】
評価処理部３１は、第１判定処理部１２から出力されるデータＤ１＿Ｌ＿ｍｉｎと、第２判定処理部２３から出力されるデータＤ２＿Ｌ＿ｍｉｎとを入力する。評価処理部３１は、データＤ１＿Ｌ＿ｍｉｎと、データＤ２＿Ｌ＿ｍｉｎとを用いて、評価処理（詳細については後述）を行い、処理結果を含むデータ（局所解についてのデータ）をデータＤ３１として、局所解保持部３２に出力する。また、評価処理部３１は、局所解保持部３２に記憶保持されているデータ（局所解についてのデータ）を読み出し、読み出したデータと、データＤ１＿Ｌ＿ｍｉｎと、データＤ２＿Ｌ＿ｍｉｎとを用いて、評価処理（詳細については後述）を行い最適解のデータを取得する。そして、評価処理部３１は、取得した最適解のデータを含むデータを、データＤ＿ｂｅｓｔ＿ｓｏｌとして、出力する。
【0063】
＜１．２：データ処理装置の動作＞
以上のように構成されたデータ処理装置１００の動作について、以下、説明する。
以上のように構成されたデータ処理装置１００の動作について、以下、説明する。
【0064】
図２は、データ処理装置１００の最適化処理用データについて説明するための図である。
【0065】
図３は、データ処理装置１００の概略構成図であって、最適化処理時の動作を説明するための図である。
【0066】
図４は、データ処理装置１００の最適化処理のシーケンス図（タイミングチャート）である。
【0067】
まず、前提として、重み係数データと、特徴量入力データに対して畳み込み処理を行うことで取得した特徴量出力データが、データ格納部ＤＢ１に記憶されているものとする。つまり、図２に示すように、データ処理装置１００の量子化判定処理部２の畳み込み処理部２２と同じ畳み込み処理を実行する畳み込み処理２２Ａに、重み係数データＷ０と、特徴量入力データＸ０
（ｉ）とを入力し、畳み込み処理を実行し、重み係数データＷ０と、特徴量入力データＸ０
（ｉ）（畳み込み層に入力される特徴マップに相当するデータ）との畳み込み処理結果データ（特徴量出力データ（畳み込み層から出力される特徴マップに相当するデータ））Ｘ１
（ｉ）（＝Ｗ０＊Ｘ０
（ｉ））（＊：畳み込み処理を行う演算子）をデータ格納部ＤＢ１に記憶させる。そして、上記処理を繰り返し実行して複数の畳み込み処理結果データ（特徴量出力データ）を取得し（例えば、特徴量入力データＸ０
（１）～Ｘ０
（Ｎ）（Ｎ：自然数）に対して上記処理を行い、所定の数の畳み込み処理結果データ（特徴量出力データ）Ｘ１
（１）～Ｘ１
（Ｎ）を取得し）、取得した複数の畳み込み処理結果データ（特徴量出力データ）をデータ格納部ＤＢ１に記憶させる。
【0068】
これにより、畳み込み処理を対象とする最適化処理用データを準備することができる。
【0069】
以下では、一例として、上記により取得された最適化処理用データ（データ格納部ＤＢ１に記憶されたデータセット＜Ｘ０
（ｉ），Ｘ１
（ｉ）＞（ｉ：自然数、１≦ｉ≦Ｎ））を用いて、データ処理装置１００で実行される最適化処理を説明する。また、最適化処理後において、データ処理装置１００で実行されるデータ処理（予測処理）について説明する。また、説明便宜のため、以下では、重み係数データＷ０、特徴量入力データＸ０
（ｉ）、および、特徴量出力データＸ１
（ｉ）は、ｎ×１行列（縦ベクトル）であるものとして、説明する。なお、重み係数データ（重みフィルタ（カーネル））、特徴量入力データ（特徴マップ（畳み込み層の入力））、および、特徴量出力データ（特徴マップ（畳み込み層の出力））は、ｎ１×ｍ１行列（ｎ１、ｍ１：自然数）であってもよく、この場合、重み係数データＷ０、特徴量入力データＸ０
（ｉ）、および、特徴量出力データＸ１
（ｉ）は、上記データ（ｎ１×ｍ１行列）を、ｎ＝ｎ１×ｍ１としてｎ×１行列（縦ベクトル）に変換したデータ（ｎ１×ｍ１個の行列の要素をｎ列にしたデータ）とすればよい。
【0070】
（１．２．１：最適化処理）
まず、データ処理装置１００で実行される最適化処理について説明する。
まず、データ処理装置１００で実行される最適化処理について説明する。
【0071】
≪第１回目のベクトル分解判定処理（時刻ｔ００～ｔ０１）≫
ベクトル分解判定処理部１のベクトル分解処理部１１は、重み係数行列Ｗ０（ｎ×１行列）を含むデータＤｉ＿Ｗを入力し、当該データＤｉ＿Ｗに対して、ベクトル分解処理を実行する。具体的には、ベクトル分解処理部１１は、以下を満たす基底行列Ｗ０ （ｂａｓｉｓ）と、実数係数ベクトルｖｅｃ０ （ｃｏｅ）とを取得する処理を実行する。
Ｎｏｒｍ（Ｗ０－Ｗ０ （ｂａｓｉｓ）・ｖｅｃ０ （ｃｏｅ））＜ε
Ｗ０：重み係数行列Ｗ０（ｎ×１行列）
Ｗ０ （ｂａｓｉｓ）：基底行列（その要素を基底データとする行列（ｎ×ｋ行列））
ｖｅｃ０ （ｃｏｅ）：実数係数ベクトル（その要素を実数値とする係数ベクトル（ｋ×１行列））
Ｎｏｒｍ（）：ノルムを取得する関数
ε：許容誤差
なお、基底行列Ｗ０ （ｂａｓｉｓ）は、例えば、基底データを｛－１，１｝とすると、Ｗ０ （ｂａｓｉｓ）∈｛－１，１｝ｎ×ｋである。なお、基底行列の基底（基底データ）は、任意の数を要素とする集合とすることができ、集合の要素数も任意の数とすることができる。
ベクトル分解判定処理部１のベクトル分解処理部１１は、重み係数行列Ｗ０（ｎ×１行列）を含むデータＤｉ＿Ｗを入力し、当該データＤｉ＿Ｗに対して、ベクトル分解処理を実行する。具体的には、ベクトル分解処理部１１は、以下を満たす基底行列Ｗ０ （ｂａｓｉｓ）と、実数係数ベクトルｖｅｃ０ （ｃｏｅ）とを取得する処理を実行する。
Ｎｏｒｍ（Ｗ０－Ｗ０ （ｂａｓｉｓ）・ｖｅｃ０ （ｃｏｅ））＜ε
Ｗ０：重み係数行列Ｗ０（ｎ×１行列）
Ｗ０ （ｂａｓｉｓ）：基底行列（その要素を基底データとする行列（ｎ×ｋ行列））
ｖｅｃ０ （ｃｏｅ）：実数係数ベクトル（その要素を実数値とする係数ベクトル（ｋ×１行列））
Ｎｏｒｍ（）：ノルムを取得する関数
ε：許容誤差
なお、基底行列Ｗ０ （ｂａｓｉｓ）は、例えば、基底データを｛－１，１｝とすると、Ｗ０ （ｂａｓｉｓ）∈｛－１，１｝ｎ×ｋである。なお、基底行列の基底（基底データ）は、任意の数を要素とする集合とすることができ、集合の要素数も任意の数とすることができる。
【0072】
まず、ベクトル分解処理部１１は、以下の数式に相当する処理を実行し、基底行列Ｍと実数係数ベクトルｃの局所解Ｍｏｐｔとｃｏｐｔを取得する。
ｗ：重み係数行列（ｎ×１行列）（ｗ＝Ｗ０）
Ｍ：基底行列（ｎ×ｋ行列）
ｃ：実数係数ベクトル（ｋ×１行列）
そして、ベクトル分解処理部１１は、
Ｗ０ （ｂａｓｉｓ）＝Ｍｏｐｔ
ｖｅｃ０ （ｃｏｅ）＝ｃｏｐｔ
とする。
【数2】
Ｍ：基底行列（ｎ×ｋ行列）
ｃ：実数係数ベクトル（ｋ×１行列）
そして、ベクトル分解処理部１１は、
Ｗ０ （ｂａｓｉｓ）＝Ｍｏｐｔ
ｖｅｃ０ （ｃｏｅ）＝ｃｏｐｔ
とする。
【0073】
ベクトル分解処理部１１は、上記ベクトル分解処理により取得した処理結果データ（Ｗ０
（ｂａｓｉｓ）・ｖｅｃ０
（ｃｏｅ））を含むデータを、データＤ１１として、第１セレクタＳＥＬ１に出力する。第１セレクタＳＥＬ１は、選択信号ｓｅｌ１に従い、ベクトル分解処理部１１からのデータＤ１１をデータＤ１２Ａとして第１判定処理部１２に出力する。最適化処理時において、制御信号により、選択信号ｓｅｌ１は、その信号値が「０」（端子０を選択する信号値）に設定されているものとする。
【0074】
なお、上記（数式２）に相当する処理を実行して取得されるデータは、最適解ではなく局所解となることがある。これは、上記（数式２）に相当する処理を、例えば、下記のように実行するためである。
（１）実数係数ベクトルｃを実数の乱数により初期化し、かつ、基底行列Ｍを基底値の乱数により初期化する（例えば、基底値を｛－１，１｝とすると、基底行列の各要素をランダムに｛－１，１｝から選択した値とする初期化を行う）。
（２）基底行列Ｍを固定し、最小二乗法により、実数係数ベクトルｃを算出する（Ｍが正則行列である場合、ｃ＝（ＭＴ・Ｍ）－１・（ＭＴ・ｗ）により算出する、あるいは、勾配降下法により、実数係数ベクトルｃを求める）。
（３）実数係数ベクトルｃを固定し、下記数式に相当する処理（例えば、Ｍについて全探索し、Ｎｏｒｍ（ｗ－Ｍ・ｃ）の最小値を求める処理）を実行する。
（４）Ｎｏｒｍ（ｗ－Ｍ・ｃ）＜εを満たす（収束する）まで、上記（１）～（３）の処理を繰り返し実行する。
（１）実数係数ベクトルｃを実数の乱数により初期化し、かつ、基底行列Ｍを基底値の乱数により初期化する（例えば、基底値を｛－１，１｝とすると、基底行列の各要素をランダムに｛－１，１｝から選択した値とする初期化を行う）。
（２）基底行列Ｍを固定し、最小二乗法により、実数係数ベクトルｃを算出する（Ｍが正則行列である場合、ｃ＝（ＭＴ・Ｍ）－１・（ＭＴ・ｗ）により算出する、あるいは、勾配降下法により、実数係数ベクトルｃを求める）。
（３）実数係数ベクトルｃを固定し、下記数式に相当する処理（例えば、Ｍについて全探索し、Ｎｏｒｍ（ｗ－Ｍ・ｃ）の最小値を求める処理）を実行する。
【数3】
【0075】
ベクトル分解処理部１１は、上記ベクトル分解処理により取得した（収束したときに取得した）処理結果データ（Ｗ０
（ｂａｓｉｓ）・ｖｅｃ０
（ｃｏｅ））を含むデータＤ１１を第１セレクタＳＥＬ１に出力し、第１セレクタＳＥＬ１は、当該データＤ１１を、データＤ１２Ａとして、第１判定処理部１２に出力する。
【0076】
第１判定処理部１２は、重み係数行列Ｗ０を含むデータＤｉ＿Ｗと、第１セレクタＳＥＬ１から出力されるデータＤ１２Ａ（ベクトル分解処理結果データ（Ｗ０
（ｂａｓｉｓ）・ｖｅｃ０
（ｃｏｅ）））とを入力する。第１判定処理部１２は、データＤｉ＿Ｗと、データＤ１２Ａとを用いて、第１判定処理を行う。具体的には、第１判定処理部１２は、ベクトル分解処理部１１により取得されたベクトル分解処理結果データ（Ｗ０
（ｂａｓｉｓ）・ｖｅｃ０
（ｃｏｅ））と、重み係数行列Ｗ０との差分のノルムを取得し、取得した差分のノルムを含むデータと、ベクトル分解処理結果データ（Ｗ０
（ｂａｓｉｓ）・ｖｅｃ０
（ｃｏｅ））とを含むデータを、データＤ１＿Ｌ＿ｍｉｎとして、評価部３に出力する。
【0077】
また、第１判定処理部１２は、ベクトル分解処理結果データ（Ｗ０
（ｂａｓｉｓ）・ｖｅｃ０
（ｃｏｅ））（これをデータＷ０’とする）を含むデータ（Ｗ０
（ｂａｓｉｓ）と、ｖｅｃ０
（ｃｏｅ）とを区別できる状態で含むデータ）を、データＤ１３として、第２セレクタＳＥＬ２に出力する。第２セレクタＳＥＬ２は、選択信号ｓｅｌ１（端子０を選択する信号値を有する選択信号ｓｅｌ１）に従い、データＤ１３を、データＤｏ１として、量子化処理部２１の畳み込み処理部２２に出力する。
【0078】
なお、上記処理（１回目のベクトル分解判定処理）が、図４において、時刻ｔ００～ｔ０１のｏｐＡで示した処理である。
【0079】
≪第１回目の量子化判定処理（時刻ｔ１０～ｔ１１）≫
データ入力部Ｄｅｖ１は、データ格納部ＤＢ１に記憶されているＮ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）を読み出し、当該データの統計処理を行う。具体的には、データ入力部Ｄｅｖ１は、下記（ａ）～（ｃ）の処理を行い、Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）についての統計データを取得する。
（ａ）Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の要素の値の最大値および最小値を取得する。
（ｂ）Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の要素の値の平均値および標準偏差を取得（算出）する。
（ｃ）Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の要素の値の四分位範囲を特定するためのデータを取得する（例えば、Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の全要素の値を昇順ソートし、昇順ソート後のデータにおいて、先頭から２５％の位置の値Ｑ１（第１四分位数）と、先頭から７５％の位置の値Ｑ３（第３四分位数）とを取得する）。
データ入力部Ｄｅｖ１は、データ格納部ＤＢ１に記憶されているＮ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）を読み出し、当該データの統計処理を行う。具体的には、データ入力部Ｄｅｖ１は、下記（ａ）～（ｃ）の処理を行い、Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）についての統計データを取得する。
（ａ）Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の要素の値の最大値および最小値を取得する。
（ｂ）Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の要素の値の平均値および標準偏差を取得（算出）する。
（ｃ）Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の要素の値の四分位範囲を特定するためのデータを取得する（例えば、Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の全要素の値を昇順ソートし、昇順ソート後のデータにおいて、先頭から２５％の位置の値Ｑ１（第１四分位数）と、先頭から７５％の位置の値Ｑ３（第３四分位数）とを取得する）。
【0080】
データ入力部Ｄｅｖ１は、上記により取得した統計データを含むデータを、データＤ＿ｓｔａｔとして、量子化処理部２１に出力する。
【0081】
また、データ入力部Ｄｅｖ１は、ｉ＝１の特徴量入力データＸ０
（ｉ）および特徴量出力データＸ１
（ｉ）を、データ格納部ＤＢ１から読み出し、（１）読み出したｉ＝１の特徴量入力データＸ０
（ｉ）を含むデータを、データＤｉ＿Ｘｉとして、量子化処理部２１に出力するとともに、（２）読み出したｉ＝１の特徴量出力データＸ１
（ｉ）を含むデータを、データＤｉ＿Ｘｏとして、第２判定処理部２３に出力する。
【0082】
量子化判定処理部２の量子化処理部２１は、データ入力部Ｄｅｖ１から出力されるデータＤｉ＿ＸｉおよびＤ＿ｓｔａｔを入力する。本実施形態では、データＤ＿ｓｔａｔには、特徴量入力データのデータ値（Ｎ個の特徴量入力データＸ０
（１）～Ｘ０
（Ｎ）の各要素の値）の最大値、最小値、平均値、標準偏差、第１四分位数Ｑ１、および、第３四分位数Ｑ３が含まれるものとする。
【0083】
また、量子化処理部２１は、データ処理装置１００の各機能部を制御する制御部（不図示）から出力される制御信号であって、データ範囲調整処理を実現する方法と指定する制御信号ＣＴＬ１を入力する。本実施形態では、データ範囲調整処理は、下記（ａ）～（ｃ）であり、どの手法を選択するかは、制御信号ＣＴＬ１により指示されるものとする。
（ａ）最大値－最小値正規化によるデータ範囲調整方法：
特徴量入力データのデータ値（Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の各要素の値）をｘとし、値ｘの最大値をｘｍａｘとし、値ｘの最小値をｘｍｉｎとし、データ範囲調整後の値とｘ’とすると、量子化処理部２１は、
ｘ’＝（ｘ－ｘｍｉｎ）／（ｘｍａｘ－ｘｍｉｎ）
に相当する処理を実行することで、データ範囲調整後の値ｘ’を取得する。これにより、データ範囲調整後の値ｘ’の範囲は、［０，１］となる。
（ｂ）標準化によるデータ範囲調整方法：
特徴量入力データのデータ値（Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の各要素の値）の平均値をμとし、標準偏差をσとし、データ範囲調整後の値とｘ’とすると、量子化処理部２１は、
ｘ’＝（ｘ－μ）／σ
に相当する処理を実行することで、データ範囲調整後の値ｘ’を取得する。これにより、データ範囲調整後の値ｘ’の平均は「０」となり、標準偏差は「１」となる。
（ｃ）四分位範囲に基づくデータ範囲調整方法：
特徴量入力データのデータ値（Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の各要素の値）の第１四分位数をＱ１とし、第３四分位数をＱ３とし、データ範囲調整後の値とｘ’とすると、量子化処理部２１は、
ｘｔｍｐ＝ｌｉｍｉｔ（ｘ，ｘｕｐｐｅｒ，ｘｂｔｍ）
ｘｕｐｐｅｒ＝Ｑ３＋（Ｑ３－Ｑ１）×１．５
ｘｂｔｍ＝Ｑ１－（Ｑ３－Ｑ１）×１．５
ｘ’＝（ｘｔｍｐ－ｘｂｔｍ）／（ｘｕｐｐｅｒ－ｘｂｔｍ）
ｌｉｍｉｔ（ｘ，ｘｕｐｐｅｒ，ｘｂｔｍ）：上限値ｘｕｐｐｅｒ、下限値ｘｂｔｍによりリミット処理を行う関数（（１）ｘ＞ｘｕｐｐｅｒの場合、ｘｕｐｐｅｒを出力し、（２）ｘ＜ｘｂｔｍの場合、ｘｂｔｍを出力し、（３）ｘｂｔｍ≦ｘ≦ｘｕｐｐｅｒの場合、ｘを出力する関数）
に相当する処理を実行することで、データ範囲調整後の値ｘ’を取得する。これにより、データ範囲調整後の値ｘ’の範囲は、［０，１］となる。
（ａ）最大値－最小値正規化によるデータ範囲調整方法：
特徴量入力データのデータ値（Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の各要素の値）をｘとし、値ｘの最大値をｘｍａｘとし、値ｘの最小値をｘｍｉｎとし、データ範囲調整後の値とｘ’とすると、量子化処理部２１は、
ｘ’＝（ｘ－ｘｍｉｎ）／（ｘｍａｘ－ｘｍｉｎ）
に相当する処理を実行することで、データ範囲調整後の値ｘ’を取得する。これにより、データ範囲調整後の値ｘ’の範囲は、［０，１］となる。
（ｂ）標準化によるデータ範囲調整方法：
特徴量入力データのデータ値（Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の各要素の値）の平均値をμとし、標準偏差をσとし、データ範囲調整後の値とｘ’とすると、量子化処理部２１は、
ｘ’＝（ｘ－μ）／σ
に相当する処理を実行することで、データ範囲調整後の値ｘ’を取得する。これにより、データ範囲調整後の値ｘ’の平均は「０」となり、標準偏差は「１」となる。
（ｃ）四分位範囲に基づくデータ範囲調整方法：
特徴量入力データのデータ値（Ｎ個の特徴量入力データＸ０ （１）～Ｘ０ （Ｎ）の各要素の値）の第１四分位数をＱ１とし、第３四分位数をＱ３とし、データ範囲調整後の値とｘ’とすると、量子化処理部２１は、
ｘｔｍｐ＝ｌｉｍｉｔ（ｘ，ｘｕｐｐｅｒ，ｘｂｔｍ）
ｘｕｐｐｅｒ＝Ｑ３＋（Ｑ３－Ｑ１）×１．５
ｘｂｔｍ＝Ｑ１－（Ｑ３－Ｑ１）×１．５
ｘ’＝（ｘｔｍｐ－ｘｂｔｍ）／（ｘｕｐｐｅｒ－ｘｂｔｍ）
ｌｉｍｉｔ（ｘ，ｘｕｐｐｅｒ，ｘｂｔｍ）：上限値ｘｕｐｐｅｒ、下限値ｘｂｔｍによりリミット処理を行う関数（（１）ｘ＞ｘｕｐｐｅｒの場合、ｘｕｐｐｅｒを出力し、（２）ｘ＜ｘｂｔｍの場合、ｘｂｔｍを出力し、（３）ｘｂｔｍ≦ｘ≦ｘｕｐｐｅｒの場合、ｘを出力する関数）
に相当する処理を実行することで、データ範囲調整後の値ｘ’を取得する。これにより、データ範囲調整後の値ｘ’の範囲は、［０，１］となる。
【0084】
【0085】
図５の下左図は、（ａ）最大値－最小値正規化によるデータ範囲調整後のデータ値のデータ分布を示す図である。
【0086】
図５の下中図は、（ｂ）標準化によるデータ範囲調整後のデータ値のデータ分布を示す図である。
【0087】
図５の下右図は、（ｃ）四分位範囲に基づくデータ範囲調整後のデータ値のデータ分布を示す図である。
【0088】
なお、図５の下図において、データ値が８ビット（０～２５５の値）をとるように、データ範囲調整後のデータ値を調整している（所定のゲイン、オフセットにより調整している）。
【0089】
制御部は、制御信号ＣＴＬ１を、（ａ）最大値－最小値正規化によるデータ範囲調整方法を指示する信号値とし、量子化処理部２１および第２判定処理部２３に出力する。
【0090】
量子化処理部２１は、制御信号ＣＴＬ１に従い、（ａ）最大値－最小値正規化によるデータ範囲調整方法により、データ範囲調整後の値ｘ’を取得する。この処理を、特徴量入力データＸ０
（ｉ）の各要素の値に対して行い、データ調整後の値に対して、量子化処理を行う。これにより取得したデータをデータＱ（Ｘ０
（ｉ））とする。
【0091】
そして、量子化処理部２１は、上記により取得したデータＱ（Ｘ０
（ｉ））を含むデータを、データＤ２１として、畳み込み処理部２２に出力する。
【0092】
畳み込み処理部２２は、ベクトル分解判定処理部１から出力されるデータＤｏ１と、量子化処理部２１から出力されるデータＤ２１とを入力する。畳み込み処理部２２は、データＤｏ１（Ｗ０’）とデータＤ２１（Ｑ（Ｘ０
（ｉ）））に対して、畳み込み処理（Ｗ０’＊Ｑ（Ｘ０
（ｉ））に相当する処理）を実行し、畳み込み処理後のデータを、データＤ２２として、第３セレクタＳＥＬ３に出力する。
【0093】
第３セレクタＳＥＬ３は、制御部からの選択信号ｓｅｌ１に従い、端子「０」を選択し、入力されたデータＤ２２を、データＤ２３Ａとして、第２判定処理部２３に出力する。
【0094】
第２判定処理部２３は、特徴量出力データＸ１
（ｉ）を含むデータＤｉ＿Ｘｏと、第３セレクタＳＥＬ３から出力されるデータＤ２３Ａ（最大値－最小値正規化によるデータ範囲調整処理および量子化処理後データＷ０’＊Ｑ（Ｘ０
（ｉ）））と、制御部（不図示）から出力される制御信号ＣＴＬ１とを入力する。第２判定処理部２３は、データＤｉ＿Ｘｏ（特徴量出力データＸ１
（ｉ））と、データＤ２３Ａ（最大値－最小値正規化によるデータ範囲調整処理および量子化処理後データＷ０’＊Ｑ（Ｘ０
（ｉ）））とを用いて、第２判定処理を行う。具体的には、第２判定処理部２３は、特徴量出力データＸ１
（ｉ）と、最大値－最小値正規化によるデータ範囲調整処理および量子化処理後データＷ０’＊Ｑ（Ｘ０
（ｉ））との差分（例えば、差分のノルム）を取得する。この差分のデータをｄｉｆｆ（ｉ）（ａ）とする。
【0095】
そして、上記処理（（１）データ入力部Ｄｅｖ１によるデータ読み出し処理、（２）量子化処理部２１でのデータ範囲調整処理、量子化処理、（３）畳み込み処理部２２による畳み込み処理、（４）第２判定処理部２３による第２判定処理）を、ｉ＝１からｉ＝Ｎにおいて行う（データＸ０
（ｉ）、Ｘ１
（ｉ）に対して行う）。
【0096】
そして、第２判定処理部２３は、Ｎ個のデータ（データＸ０
（ｉ）、Ｘ１
（ｉ）（ｉ＝１からｉ＝Ｎまでのデータ））のそれぞれで取得した差分データｄｉｆｆ（ｉ）（ａ）（１≦ｉ≦Ｎ）の平均値のデータＡｖｅ＿ｄｉｆｆ（Ｎ，ａ）を取得する。つまり、第２判定処理部２３は、
に相当する処理を行い、差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ａ）を取得する。
【数4】
【0097】
この処理が、図４のシーケンス図で処理ｏｐＢ（Ｎ，ａ）である。
【0098】
そして、第２判定処理部２３は、処理ｏｐＢ（Ｎ，ａ）で取得した差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ａ）と、当該データを取得したときのデータ範囲調整処理を特定するデータ（（ａ）最大値－最小値正規化によるデータ範囲調整方法であることを示すデータ）とを含むデータを、データＤ２＿Ｌ＿ｍｉｎとして、評価部３に出力する。
【0099】
さらに、データ入力部Ｄｅｖ１、量子化判定処理部２において、量子化処理部２１でのデータ範囲調整処理を（ｂ）標準化によるデータ範囲調整処理、（ｃ）四分位範囲に基づくデータ範囲調整処理として、上記処理（処理ｏｐＢ（Ｎ，ａ））と同様の処理を実行する。なお、データ範囲調整処理の選択は、制御部からの制御信号ＣＴＬ１に従って行われる。量子化処理部２１でのデータ範囲調整処理を（ｂ）標準化によるデータ範囲調整処理として、差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ｂ）（Ｎ個のｄｉｆｆ（ｉ）（ｂ）（１≦ｉ≦Ｎ）の平均値）を取得する処理を、処理ｏｐＢ（Ｎ，ｂ）とする。量子化処理部２１でのデータ範囲調整処理を（ｃ）四分位範囲に基づくデータ範囲調整処理として、差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ｃ）（Ｎ個のｄｉｆｆ（ｉ）（ｃ）（１≦ｉ≦Ｎ）の平均値）を取得する処理を、処理ｏｐＢ（Ｎ，ｃ）とする。
【0100】
第２判定処理部２３は、処理ｏｐＢ（Ｎ，ｂ）を実行した後、処理ｏｐＢ（Ｎ，ｂ）で取得された差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ｂ）と、当該データが取得されたときのデータ範囲調整処理を特定するデータ（（ｂ）標準化によるデータ範囲調整処理方法であることを示すデータ）とを含むデータを、データＤ２＿Ｌ＿ｍｉｎとして、評価部３に出力する。
【0101】
また、第２判定処理部２３は、処理ｏｐＢ（Ｎ，ｃ）を実行した後、処理ｏｐＢ（Ｎ，ｃ）で取得された差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ｃ）と、当該データが取得されたときのデータ範囲調整処理を特定するデータ（（ｃ）四分位範囲に基づくデータ範囲調整処理方法であることを示すデータ）とを含むデータを、データＤ２＿Ｌ＿ｍｉｎとして、評価部３に出力する。
【0102】
≪第１回目の評価処理（時刻ｔ１１～ｔ１２）≫
評価部３の評価処理部３１は、第１判定処理部１２から入力したデータＤ１＿Ｌ＿ｍｉｎと、第２判定処理部２３から入力したデータＤ２＿Ｌ＿ｍｉｎとを用いて、評価処理を行う。
評価部３の評価処理部３１は、第１判定処理部１２から入力したデータＤ１＿Ｌ＿ｍｉｎと、第２判定処理部２３から入力したデータＤ２＿Ｌ＿ｍｉｎとを用いて、評価処理を行う。
【0103】
具体的には、評価処理部３１は、
（１）データＤ１＿Ｌ＿ｍｉｎから、ベクトル分解処理結果データである、基底行列Ｗ０ （ｂａｓｉｓ）と実数係数ベクトルｖｅｃ０ （ｃｏｅ）とを取得し、
（２ａ）処理ｏｐＢ（Ｎ，ａ）の後に出力されたデータＤ２＿Ｌ＿ｍｉｎから、処理ｏｐＢ（Ｎ，ａ）で取得された差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ａ）と、当該データが取得されたときのデータ範囲調整処理を特定するデータ（（ａ）最大値－最小値正規化によるデータ範囲調整方法であることを示すデータ）とを取得し、
（２ｂ）処理ｏｐＢ（Ｎ，ｂ）の後に出力されたデータＤ２＿Ｌ＿ｍｉｎから、処理ｏｐＢ（Ｎ，ｂ）で取得された差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ｂ）と、当該データが取得されたときのデータ範囲調整処理を特定するデータ（（ｂ）標準化によるデータ範囲調整処理方法であることを示すデータ）とを取得し、
（２ｃ）処理ｏｐＢ（Ｎ，ｃ）の後に出力されたデータＤ２＿Ｌ＿ｍｉｎから、処理ｏｐＢ（Ｎ，ｃ）で取得された差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ｃ）と、当該データが取得されたときのデータ範囲調整処理を特定するデータ（（ｃ）四分位範囲に基づくデータ範囲調整処理方法であることを示すデータ）とを取得する。
（１）データＤ１＿Ｌ＿ｍｉｎから、ベクトル分解処理結果データである、基底行列Ｗ０ （ｂａｓｉｓ）と実数係数ベクトルｖｅｃ０ （ｃｏｅ）とを取得し、
（２ａ）処理ｏｐＢ（Ｎ，ａ）の後に出力されたデータＤ２＿Ｌ＿ｍｉｎから、処理ｏｐＢ（Ｎ，ａ）で取得された差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ａ）と、当該データが取得されたときのデータ範囲調整処理を特定するデータ（（ａ）最大値－最小値正規化によるデータ範囲調整方法であることを示すデータ）とを取得し、
（２ｂ）処理ｏｐＢ（Ｎ，ｂ）の後に出力されたデータＤ２＿Ｌ＿ｍｉｎから、処理ｏｐＢ（Ｎ，ｂ）で取得された差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ｂ）と、当該データが取得されたときのデータ範囲調整処理を特定するデータ（（ｂ）標準化によるデータ範囲調整処理方法であることを示すデータ）とを取得し、
（２ｃ）処理ｏｐＢ（Ｎ，ｃ）の後に出力されたデータＤ２＿Ｌ＿ｍｉｎから、処理ｏｐＢ（Ｎ，ｃ）で取得された差分平均値データＡｖｅ＿ｄｉｆｆ（Ｎ，ｃ）と、当該データが取得されたときのデータ範囲調整処理を特定するデータ（（ｃ）四分位範囲に基づくデータ範囲調整処理方法であることを示すデータ）とを取得する。
【0104】
そして、評価処理部３１は、
ｍｉｎＡｖｅ＝ｍｉｎ（Ａｖｅ＿ｄｉｆｆ（Ｎ，ａ），Ａｖｅ＿ｄｉｆｆ（Ｎ，ｂ），Ａｖｅ＿ｄｉｆｆ（Ｎ，ｃ））
ｍｉｎ（）：要素の最小値を取得する関数
に相当する処理を行い、最小値ｍｉｎＡｖｅを取得する。
ｍｉｎＡｖｅ＝ｍｉｎ（Ａｖｅ＿ｄｉｆｆ（Ｎ，ａ），Ａｖｅ＿ｄｉｆｆ（Ｎ，ｂ），Ａｖｅ＿ｄｉｆｆ（Ｎ，ｃ））
ｍｉｎ（）：要素の最小値を取得する関数
に相当する処理を行い、最小値ｍｉｎＡｖｅを取得する。
【0105】
そして、評価処理部３１は、（１）データＤ１＿Ｌ＿ｍｉｎから取得したベクトル分解処理結果データである基底行列Ｗ０
（ｂａｓｉｓ）（このデータをＷ０
（ｂａｓｉｓ）（１）と表記する）および実数係数ベクトルｖｅｃ０
（ｃｏｅ）（このデータをｖｅｃ０
（ｃｏｅ）（１）と表記する）と
（２）上記で取得した最小値ｍｉｎＡｖｅ（このデータをｍｉｎＡｖｅ（１）と表記する）と、（３）差分平均値データが最小値となったときのデータ範囲調整処理を特定するデータ（このデータをＤｍｔｈｄ （１）と表記する）と、を含むデータを、第１局所解データＤ＿Ｌ＿ｍｉｎ（１）＝｛Ｗ０ （ｂａｓｉｓ）（１），ｖｅｃ０ （ｃｏｅ）（１）,ｍｉｎＡｖｅ（１）,Ｄｍｔｈｄ （１）｝とする。また、評価処理部３１は、第１局所解データＤ＿Ｌ＿ｍｉｎ（１）を、データＤ３１として、局所解保持部３２に出力し、局所解保持部３２は、当該データを記憶保持する。
（２）上記で取得した最小値ｍｉｎＡｖｅ（このデータをｍｉｎＡｖｅ（１）と表記する）と、（３）差分平均値データが最小値となったときのデータ範囲調整処理を特定するデータ（このデータをＤｍｔｈｄ （１）と表記する）と、を含むデータを、第１局所解データＤ＿Ｌ＿ｍｉｎ（１）＝｛Ｗ０ （ｂａｓｉｓ）（１），ｖｅｃ０ （ｃｏｅ）（１）,ｍｉｎＡｖｅ（１）,Ｄｍｔｈｄ （１）｝とする。また、評価処理部３１は、第１局所解データＤ＿Ｌ＿ｍｉｎ（１）を、データＤ３１として、局所解保持部３２に出力し、局所解保持部３２は、当該データを記憶保持する。
【0106】
≪第２回目のベクトル分解判定処理（時刻ｔ１０～ｔ１３）≫
時刻ｔ１０～ｔ１３において、データ処理装置１００では、第２回目のベクトル分解判定処理が実行される。なお、第２回目のベクトル分解処理は、図４に示すように、第１回目の量子化判定処理と並行して実行される。これにより、処理を高速化することができる。つまり、ベクトル分解処理と、量子化判定処理とが、並列処理されることから、データ処理装置１００で実行される処理（全体処理）の速度を向上させることができる。
時刻ｔ１０～ｔ１３において、データ処理装置１００では、第２回目のベクトル分解判定処理が実行される。なお、第２回目のベクトル分解処理は、図４に示すように、第１回目の量子化判定処理と並行して実行される。これにより、処理を高速化することができる。つまり、ベクトル分解処理と、量子化判定処理とが、並列処理されることから、データ処理装置１００で実行される処理（全体処理）の速度を向上させることができる。
【0107】
第２回目のベクトル分解判定処理では、ベクトル分解判定処理部１のベクトル分解処理部１１において、第１回目のベクトル分解判定処理で設定された初期値とは異なる初期値によりベクトル分解処理が実行される。つまり、ベクトル分解処理部１１で実行されるベクトル分解処理において、実数係数ベクトルｃの初期値、および／または、基底行列Ｍの初期値によっては（数式２）に相当する処理を実行して取得されるデータは、最適解ではなく局所解となることがある。
【0108】
そこで、ベクトル分解処理部１１は、（数式２）に相当する処理（ベクトル分解処理）を実行する度に、初期値を変更して（例えば、乱数により変更して）実行する。それ以外の処理については、第２回目のベクトル分解判定処理は、第１回目のベクトル分解判定処理と同様である。
【0109】
第２回目のベクトル分解判定処理では、第１回目のベクトル分解判定処理と同様の処理が実行される。なお、第１判定処理部１２から評価処理部３１に出力されるデータＤ１＿Ｌ＿ｍｉｎに含まれるベクトル分解処理結果データ（Ｗ０
（ｂａｓｉｓ）・ｖｅｃ０
（ｃｏｅ））の基底行列Ｗ０
（ｂａｓｉｓ）をＷ０
（ｂａｓｉｓ）（２）と表記し、実数係数ベクトルｖｅｃ０
（ｃｏｅ）をｖｅｃ０
（ｃｏｅ）（２）と表記する。
【0110】
≪第２回目の量子化判定処理（時刻ｔ２０～ｔ２１）≫
時刻ｔ２０～ｔ２１において、データ処理装置１００では、第２回目の量子化判定処理が実行される。第２回目の量子化判定処理では、第１回目の量子化判定処理と同様の処理が実行される。なお、第２回目の量子化判定処理では、データ入力部Ｄｅｖ１から量子化処理部２１に出力されるデータＤｉ＿Ｘｉに含まれるデータがＸ０ （ｉ）（ｉ＝２）であり、データ入力部Ｄｅｖ１から第２判定処理部２３に出力されるデータがＸ１ （ｉ）（ｉ＝２）であり、ベクトル分解判定処理部１から畳み込み処理部２２に入力されるデータＤｏ１が、第２回目のベクトル分解判定処理により取得されたデータである。
時刻ｔ２０～ｔ２１において、データ処理装置１００では、第２回目の量子化判定処理が実行される。第２回目の量子化判定処理では、第１回目の量子化判定処理と同様の処理が実行される。なお、第２回目の量子化判定処理では、データ入力部Ｄｅｖ１から量子化処理部２１に出力されるデータＤｉ＿Ｘｉに含まれるデータがＸ０ （ｉ）（ｉ＝２）であり、データ入力部Ｄｅｖ１から第２判定処理部２３に出力されるデータがＸ１ （ｉ）（ｉ＝２）であり、ベクトル分解判定処理部１から畳み込み処理部２２に入力されるデータＤｏ１が、第２回目のベクトル分解判定処理により取得されたデータである。
【0111】
≪第２回目の評価処理（時刻ｔ２１～ｔ２２）≫
時刻ｔ２１～ｔ２２において、データ処理装置１００では、第２回目の評価処理が実行される。第２回目の評価処理では、第１回目の評価処理と同様の処理が実行される。なお、第２回目の評価処理において、評価処理部３１が取得する局所解データを、第２局所解データＤ＿Ｌ＿ｍｉｎ（２）＝｛Ｗ０ （ｂａｓｉｓ）（２），ｖｅｃ０ （ｃｏｅ）（２）,ｍｉｎＡｖｅ（２）,Ｄｍｔｈｄ （２）｝とする。
時刻ｔ２１～ｔ２２において、データ処理装置１００では、第２回目の評価処理が実行される。第２回目の評価処理では、第１回目の評価処理と同様の処理が実行される。なお、第２回目の評価処理において、評価処理部３１が取得する局所解データを、第２局所解データＤ＿Ｌ＿ｍｉｎ（２）＝｛Ｗ０ （ｂａｓｉｓ）（２），ｖｅｃ０ （ｃｏｅ）（２）,ｍｉｎＡｖｅ（２）,Ｄｍｔｈｄ （２）｝とする。
【0112】
≪第３～（Ｌ－１）回目のベクトル分解判定処理、量子化判定処理、評価処理≫
第３～（Ｌ－１）回目のベクトル分解判定処理、量子化判定処理、評価処理では、データ処理装置１００において、それぞれ、第２回目のベクトル分解判定処理、量子化判定処理、評価処理と同様の処理が実行される。
第３～（Ｌ－１）回目のベクトル分解判定処理、量子化判定処理、評価処理では、データ処理装置１００において、それぞれ、第２回目のベクトル分解判定処理、量子化判定処理、評価処理と同様の処理が実行される。
【0113】
≪第Ｌ回目のベクトル分解判定処理、量子化判定処理≫
第Ｌ回目のベクトル分解判定処理、量子化判定処理では、データ処理装置１００において、それぞれ、第２回目のベクトル分解判定処理、量子化判定処理と同様の処理が実行される。
第Ｌ回目のベクトル分解判定処理、量子化判定処理では、データ処理装置１００において、それぞれ、第２回目のベクトル分解判定処理、量子化判定処理と同様の処理が実行される。
【0114】
≪第Ｌ回目の評価処理≫
時刻ｔＬ１～ｔＬ２において、データ処理装置１００では、第Ｌ回目の評価処理が実行される。第Ｌ回目の評価処理では、第１回目の評価処理と同様の処理が実行される。なお、第Ｌ回目の評価処理において、評価処理部３１が取得する局所解データを、第２局所解データＤ＿Ｌ＿ｍｉｎ（Ｌ）＝｛Ｗ０ （ｂａｓｉｓ）（Ｌ），ｖｅｃ０ （ｃｏｅ）（Ｌ）,ｍｉｎＡｖｅ（Ｌ）,Ｄｍｔｈｄ （Ｌ）｝とする。
時刻ｔＬ１～ｔＬ２において、データ処理装置１００では、第Ｌ回目の評価処理が実行される。第Ｌ回目の評価処理では、第１回目の評価処理と同様の処理が実行される。なお、第Ｌ回目の評価処理において、評価処理部３１が取得する局所解データを、第２局所解データＤ＿Ｌ＿ｍｉｎ（Ｌ）＝｛Ｗ０ （ｂａｓｉｓ）（Ｌ），ｖｅｃ０ （ｃｏｅ）（Ｌ）,ｍｉｎＡｖｅ（Ｌ）,Ｄｍｔｈｄ （Ｌ）｝とする。
【0115】
評価処理部３１は、Ｌ個の局所解データである第１局所解データＤ＿Ｌ＿ｍｉｎ（１）～第Ｌ局所解データＤ＿Ｌ＿ｍｉｎ（Ｌ）の中から、ｍｉｎＡｖｅ（ｊ）（ｊ:自然数、１≦ｊ≦Ｌ）が最小値となる局所解データを特定する。なお、評価処理部３１は、第１局所解データＤ＿Ｌ＿ｍｉｎ（１）～第Ｌ－１局所解データＤ＿Ｌ＿ｍｉｎ（Ｌ－１）を、局所解保持部３２から読み出す。
【0116】
そして、評価処理部３１は、ｍｉｎＡｖｅ（ｊ）が最小値となる局所解データ（ｊ＝ｊ０のとき、ｍｉｎＡｖｅ（ｊ）が最小値となるものとする）を最適解データＤ＿ｂｅｓｔ＿ｓｏｌ＝｛Ｗ０
（ｂａｓｉｓ）（ｊ０），ｖｅｃ０
（ｃｏｅ）（ｊ０）,ｍｉｎＡｖｅ（ｊ０）,Ｄｍｔｈｄ
（ｊ０）｝として取得する。なお、ｊ＝ｊ０のときの局所解データが、ｍｉｎＡｖｅ（ｊ）が最小値となる局所解データであるものとする。
【0117】
そして、評価処理部３１は、取得した最適解データＤ＿ｂｅｓｔ＿ｓｏｌを出力する（時刻ｔＬ２～ｔＬ３の処理）。
【0118】
以上により、データ処理装置１００では、Ｎ個の特徴量入力データＸ０
（ｉ）に対して、畳み込み処理を行うときのベクトル分解処理の最適解（｛Ｗ０
（ｂａｓｉｓ）（ｊ０），ｖｅｃ０
（ｃｏｅ）（ｊ０）｝）、および、量子化処理前のデータ調整処理の最適な方法（Ｄｍｔｈｄ
（ｊ０）で特定される方法）を特定することができる。
【0119】
（１．２．２：データ処理（予測処理））
次に、データ処理装置１００で実行されるデータ処理（予測処理）について説明する。
次に、データ処理装置１００で実行されるデータ処理（予測処理）について説明する。
【0120】
図６は、データ処理装置１００の概略構成図であって、データ処理時（予測処理時）の動作を説明するための図である。
【0121】
データ処理装置１００において、上記の最適化処理により取得した、畳み込み処理を行うときのベクトル分解処理の最適解（｛Ｗ０
（ｂａｓｉｓ）（ｊ０），ｖｅｃ０
（ｃｏｅ）（ｊ０）｝）、および、量子化処理前のデータ調整処理の最適な方法（Ｄｍｔｈｄ
（ｊ０）で特定される方法）をベクトル分解処理部１１、および、量子化処理部２１において設定する。つまり、畳み込み処理部２２に、ベクトル分解処理部１１から、最適解である基底行列Ｗ０
（ｂａｓｉｓ）（ｊ０）、実数係数ベクトルｖｅｃ０
（ｃｏｅ）（ｊ０）が畳み込み処理部２２に出力されるように設定し、さらに、量子化処理部２１において、データ調整処理が最適解、すなわち、Ｄｍｔｈｄ
（ｊ０）で特定される方法で実行されるように設定する。
【0122】
なお、制御部は、データ処理時（予測処理時）において、選択信号ｓｅｌ１の信号値を「１」とし、当該選択信号を、第１セレクタＳＥＬ１、第２セレクタＳＥＬ２、第３セレクタＳＥＬ３、および、第４セレクタＳＥＬ４に出力し、端子１が選択されるようにする。
【0123】
データ入力部Ｄｅｖ１は、入力データＤｉｎを入力し、当該データ（あるいは、必要に応じてデータ調整処理を行った後のデータ）を、データＤｉ＿Ｘｉとして、量子化処理部２１に出力する。なお、データ入力部Ｄｅｖ１は、所定量の入力データＤｉｎを入力、保持し、統計データ、すなわち、入力データＤｉｎの要素の値の統計データ（最大値、最小値、平均値、標準偏差、第１四分位数、第３四分位数）を取得し、取得した統計データを含むデータを、データＤ＿ｓｔａｔとして、量子化処理部２１に出力する。
【0124】
量子化処理部２１は、データ入力部Ｄｅｖ１から入力した統計データＤ＿ｓｔａｔを用いて、データ調整処理の最適解、すなわち、Ｄｍｔｈｄ
（ｊ０）で特定される方法により、データ調整処理を行う。そして、量子化処理部２１は、データ調整後のデータに対して量子化処理を行い、量子化処理後のデータを、データＤ２１として、畳み込み処理部２２に出力する。
【0125】
畳み込み処理部２２は、ベクトル分解処理部１１から出力された、最適解である基底行列Ｗ０
（ｂａｓｉｓ）（ｊ０）、実数係数ベクトルｖｅｃ０
（ｃｏｅ）（ｊ０）を用いて、量子化処理部２１から出力されるデータＤ２１に対して、畳み込み処理を実行し、畳み込み処理後のデータを、データＤ２２として、第３セレクタＳＥＬ３に出力する。第３セレクタＳＥＬ３は、データＤ２２を、データＤ２３Ｂとして、第４セレクタＳＥＬ４に出力し、第４セレクタＳＥＬ４は、データＤ２３Ｂ（＝Ｄ２２）を、データＤｏｕｔとして、出力する。
【0126】
これにより、データ処理装置１００において、データ処理（予測処理）を実行することができる。なお、上記のデータ処理装置１００におけるデータ処理（予測処理）は、例えば、ニューラルネットワークモデルの畳み込み層の畳み込み処理を実行する部分の処理に相当する。したがって、ニューラルネットワークモデルの畳み込み層の畳み込み処理を実行する部分を、上記で説明したデータ処理装置１００と同様の機能を実現する機能部（最適化処理により、ベクトル分解の基底行列、実数係数ベクトル、量子化処理のデータ調整処理の最適解が設定された機能部）により実現（実装）するようにすればよい。
【0127】
≪まとめ≫
以上のように、データ処理装置１００では、ベクトル分解処理において、複数（Ｌ個）の局所解を取得し、取得したベクトル分解処理の局所解ごとに、量子化処理前に実行される複数のデータ調整処理を選択し、畳み込み処理の精度（正解データＸ１ （ｉ）＝Ｗ０＊Ｘ０ （ｉ）との誤差）を取得し、最も精度の高い、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理を特定することができる。そして、データ処理装置１００では、上記処理（最適化処理）により特定した、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理により、データ処理（予測処理）を実行することで、どのようなデータ分布の特徴量入力データに対しても、ベクトル分解処理により取得した最適な基底行列および実数係数ベクトルを用いて、量子化処理、畳み込み処理等を伴うデータ処理を高精度に行うことができる。
以上のように、データ処理装置１００では、ベクトル分解処理において、複数（Ｌ個）の局所解を取得し、取得したベクトル分解処理の局所解ごとに、量子化処理前に実行される複数のデータ調整処理を選択し、畳み込み処理の精度（正解データＸ１ （ｉ）＝Ｗ０＊Ｘ０ （ｉ）との誤差）を取得し、最も精度の高い、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理を特定することができる。そして、データ処理装置１００では、上記処理（最適化処理）により特定した、ベクトル分解処理の局所解、量子化処理前に実行するデータ調整処理により、データ処理（予測処理）を実行することで、どのようなデータ分布の特徴量入力データに対しても、ベクトル分解処理により取得した最適な基底行列および実数係数ベクトルを用いて、量子化処理、畳み込み処理等を伴うデータ処理を高精度に行うことができる。
【0128】
特に、外れ値があるデータ分布の特徴量入力データについて、例えば、従来技術のように、外れ値を除外して、バッチ正規化処理を行う場合、畳み込み処理の精度が悪化する場合があり（例えば、特徴量入力データが疎なデータ（スパースなデータ）であり、外れ値が重要な意味のあるデータであることがあり、そのような場合に、当該データを外れ値として除外すると畳み込み処理の精度が悪化することがあり）、このような場合に対しても、データ処理装置１００では、最適なデータ調整処理を行った後、量子化処理を行うため、畳み込み処理を高精度に実行することができる。
【0129】
また、データ処理装置１００をハードウェアで実現する場合、追加すべき回路は、汎用の回路を用いた比較的規模の小さい回路で済むので、大規模な回路構成を採用する必要もない。その結果、回路規模、コストを抑えつつ、高性能な処理を実行するデータ処理装置１００をハードウェア（一部、ソフトウェア処理を行う部分を含んでもよい）で実現することができる。
【0130】
［他の実施形態］
上記実施形態では、データ処理装置１００において、Ｌ回ベクトル分解処理を実行する場合について説明したが、これに限定されることはない。例えば、データ処理装置１００において、第Ｌ’番目（Ｌ’：自然数、Ｌ’＜Ｌ）のベクトル分解処理により取得された局所解基底行列Ｗ０ （ｂａｓｉｓ）および局所解実数係数ベクトルｖｅｃ０ （ｃｏｅ）による積Ｗ０ （ｂａｓｉｓ）・ｖｅｃ０ （ｃｏｅ）と、重み係数行列Ｗ０との差のノルム（例えば、行列ノルム、フロベニウスノルム）（あるいは、二乗和誤差や交差エントロピー誤差）を取得し、取得した当該ノルム（あるいは、二乗和誤差や交差エントロピー誤差）が所定の閾値よりも小さい場合、第Ｌ’番目より後の前記ベクトル分解処理を実行しないようにしてもよい（処理を中断するようにしてもよい）。そして、この場合、データ処理装置１００において、評価部３は、第Ｌ’番目のベクトル分解処理までに取得されたデータを用いて、最適解のデータを取得するようにすればよい。このように処理することで、ベクトル分解処理により、精度の良い（誤差が極小の）データが取得された場合、以降の処理を中断する（実行しないようにする）ことができるので、処理を高速化することができる。
上記実施形態では、データ処理装置１００において、Ｌ回ベクトル分解処理を実行する場合について説明したが、これに限定されることはない。例えば、データ処理装置１００において、第Ｌ’番目（Ｌ’：自然数、Ｌ’＜Ｌ）のベクトル分解処理により取得された局所解基底行列Ｗ０ （ｂａｓｉｓ）および局所解実数係数ベクトルｖｅｃ０ （ｃｏｅ）による積Ｗ０ （ｂａｓｉｓ）・ｖｅｃ０ （ｃｏｅ）と、重み係数行列Ｗ０との差のノルム（例えば、行列ノルム、フロベニウスノルム）（あるいは、二乗和誤差や交差エントロピー誤差）を取得し、取得した当該ノルム（あるいは、二乗和誤差や交差エントロピー誤差）が所定の閾値よりも小さい場合、第Ｌ’番目より後の前記ベクトル分解処理を実行しないようにしてもよい（処理を中断するようにしてもよい）。そして、この場合、データ処理装置１００において、評価部３は、第Ｌ’番目のベクトル分解処理までに取得されたデータを用いて、最適解のデータを取得するようにすればよい。このように処理することで、ベクトル分解処理により、精度の良い（誤差が極小の）データが取得された場合、以降の処理を中断する（実行しないようにする）ことができるので、処理を高速化することができる。
【0131】
また、上記実施形態では、データ処理装置１００において、最適化処理時において、データ入力部Ｄｅｖ１から量子化判定処理部２に出力されるデータ数がＮである場合について説明した。このデータ数Ｎは、最適化処理後の量子化処理部２１、畳み込み処理部２２の機能を有する畳み込み層を有するニューラルネットワークモデルにおいて、学習時に用いられる訓練データ（学習用データ）の数（１バッチ（１エポック）に相当する数（訓練データの総数））に一致させるようにしてもよい。また、データ数Ｎを、上記ニューラルネットワークモデルの学習処理を行うときの１つのミニバッチを構成するデータ数と同じ数としてもよい。また、データ数Ｎを、上記以外の他の数にしてもよい。
【0132】
また、上記実施形態では、量子化処理において、量子化幅については、説明しなかったが、量子化幅は、固定値であってもよく、可変値であってもよい。
【0133】
上記実施形態では、説明便宜のため、カーネルサイズ（重み係数行列（重み係数フィルタ）のサイズ）と、特徴マップのサイズ（特徴量入力データ（行列）のサイズ）とが同じであり、かつ、チャネル数が１である場合を想定して説明したが、これに限定されることはない。
【0134】
カーネルサイズが特徴マップのサイズよりも小さくてもよく、この場合、データ入力部Ｄｅｖ１がカーネルサイズに応じて、特徴マップの所定の範囲（領域）のデータを抽出し、抽出した範囲（領域）のデータについて、データ処理装置１００において、上記処理（最適化処理、データ処理（データ予測処理））を同様に行えばよい。また、畳み込み処理におけるストライド量、パディング量（パディングの有無も含む）が所定の値に設定される場合、データ処理装置１００において、設定されるストライド量、パディング量に応じて（を考慮して）、上記処理（最適化処理、データ処理（データ予測処理））を同様に行えばよい。
【0135】
また、チャンネル数が２以上に設定されている場合、データ処理装置１００において、設定されているチャンネル数に応じて、上記処理（最適化処理、データ処理（データ予測処理））を同様に行えばよい。
【0136】
また、上記実施形態では、データ範囲調整処理方法が、（ａ）最大値－最小値正規化によるデータ範囲調整方法、（ｂ）標準化によるデータ範囲調整方法、および、（ｃ）四分位範囲に基づくデータ範囲調整方法の３つの方法である場合について説明したが、これに限定されることはなく、他のデータ範囲調整処理方法を追加、あるいは、上記方法の代わりに採用するようにしてもよい。例えば、上記３つの方法に、外れ値を除外した後、最大値－最小値正規化によるデータ範囲調整方法、標準化によるデータ範囲調整方法、および／または、四分位範囲に基づくデータ範囲調整方法を行うものを追加するようにしてもよい。
【0137】
また、上記実施形態で説明したデータ処理装置１００の各ブロック（各機能部）は、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。また、上記実施形態で説明したポーズデータ生成システム、ＣＧデータシステム、ポーズデータ生成装置の各ブロック（各機能部）は、複数のＬＳＩなどの半導体装置により実現されるものであってもよい。
【0138】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0139】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【0140】
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【0141】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【0142】
例えば、上記実施形態の各機能部を、ソフトウェアにより実現する場合、図７に示したハードウェア構成（例えば、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。
【0143】
また、上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図７に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。
【0144】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。また、上記実施形態における処理方法において、発明の要旨を逸脱しない範囲で、一部のステップが、他のステップと並列に実行されるものであってもよい。また、上記実施形態における処理方法において、並列に実行される処理を、直列に（順次）実行されるようにしてもよい。
【0145】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【0146】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【0147】
また、文言「部」は、「サーキトリー（ｃｉｒｃｕｉｔｒｙ）」を含む概念であってもよい。サーキトリーは、ハードウェア、ソフトウェア、あるいは、ハードウェアおよびソフトウェアの混在により、その全部または一部が、実現されるものであってもよい。
【0148】
ここに開示される要素の機能は、当該開示される要素を実行するように構成された、あるいは当該開示される機能を実行するようにプログラミングされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（「特定用途向け集積回路」）、従来の回路構成及び／またはそれらの組み合わせを含む回路構成あるいは処理回路構成が用いられて実装されてもよい。プロセッサは、それが、その中にトランジスタ及び他の回路構成を含むとき、処理回路構成あるいは回路構成として見なされる。本開示において、回路構成、ユニットあるいは手段は、挙げられた機能を実行するハードウェア、あるいは当該機能を実行するようにプログラミングされたハードウェアである。ハードウェアは、挙げられた機能を実行するようにプログラミングされた、あるいは当該機能を実行するように構成された、ここで開示されるいかなるハードウェアあるいは既知の他のものであってもよい。ハードウェアが、あるタイプの回路構成として見なされるかもしれないプロセッサであるとき、回路構成、手段あるいはユニットは、ハードウェアとソフトウェアの組み合わせ、ハードウェアを構成するために用いられるソフトウェア及び／またはプロセッサである。
【0149】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【0150】
また、本明細書内の記載、特許請求の範囲の記載において、「最適化」とは、最も良い状態にすることをいい、システム（モデル）を「最適化」するパラメータとは、当該システムの目的関数の値が最適値となるときのパラメータのことをいう。「最適値」は、システムの目的関数の値が大きくなるほど、システムが良い状態となる場合は、最大値であり、システムの目的関数の値が小さくなるほど、システムが良い状態となる場合は、最小値である。また、「最適値」は、極値であってもよい。また、「最適値」は、所定の誤差（測定誤差、量子化誤差等）を許容するものであってもよく、所定の範囲（十分収束したとみなすことができる範囲）に含まれる値であってもよい。
【符号の説明】
【0151】
１００ データ処理装置
１ ベクトル分解判定処理部
１１ ベクトル分解処理部
２ 量子化判定処理部
２１ 量子化処理部
２２ 畳み込み処理部
２３ 第２判定処理部
３ 評価部
１ ベクトル分解判定処理部
１１ ベクトル分解処理部
２ 量子化判定処理部
２１ 量子化処理部
２２ 畳み込み処理部
２３ 第２判定処理部
３ 評価部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】