特開2024-113761演算装置、集積回路、機械学習装置、判別装置、方程式利用装置、演算方法。
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024113761
(43)【公開日】2024-08-23
(54)【発明の名称】演算装置、集積回路、機械学習装置、判別装置、方程式利用装置、演算方法。
(51)【国際特許分類】
G06N 3/08 20230101AFI20240816BHJP
【ＦＩ】
G06N3/08
【審査請求】未請求
【請求項の数】28
【出願形態】ＯＬ
(21)【出願番号】P 2023018916
(22)【出願日】2023-02-10
(71)【出願人】
【識別番号】720000890
【氏名又は名称】大庭 富美男
(72)【発明者】
【氏名】大庭 富美男
(57)【要約】
【課題】方程式を導くことのできる演算装置（機械学習装置）の提供。
【解決手段】演算装置の入力層は、複数の入力データにそれぞれ対応付けられて、複数の前記入力データをそれぞれべき乗する複数のべき指数（ｐ０,ｐ１,…,ｐＮ）と、所定の学習用関数の係数とを、前記ニューラルネットワーク構造の学習パラメータとして有し、演算装置の出力層は、前記入力層に入力された複数の前記入力データが複数の前記べき指数によりそれぞれべき乗された複数のべき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）の積（ＹＹ０＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ）と前記学習用関数（Ｄｅ＝ｇ（Ｄ０,Ｄ１,…,ＤＮ））との積に基づいて、前記出力値（ｙ＝ｆ（ＹＹ０＊Ｄｅ））を出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力層及び出力層を少なくとも含むニューラルネットワーク構造を用いて、前記入力層に入力される複数の入力データ（Ｄ０,Ｄ１,…,ＤＮ）に対して前記出力層から出力値を出力する演算装置であって、
前記入力層は、
複数の前記入力データにそれぞれ対応付けられて、複数の前記入力データをそれぞれべき乗する複数のべき指数（ｐ０,ｐ１,…,ｐＮ）と、所定の学習用関数の係数とを、前記ニューラルネットワーク構造の学習パラメータとして有し、
前記出力層は、
前記入力層に入力された複数の前記入力データが複数の前記べき指数によりそれぞれべき乗された複数のべき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）の積（ＹＹ０＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ）と前記学習用関数（Ｄｅ＝ｇ（Ｄ０,Ｄ１,…,ＤＮ））との積に基づいて、前記出力値（ｙ＝ｆ（ＹＹ０＊Ｄｅ））を出力する、
演算装置。
前記入力層は、
複数の前記入力データにそれぞれ対応付けられて、複数の前記入力データをそれぞれべき乗する複数のべき指数（ｐ０,ｐ１,…,ｐＮ）と、所定の学習用関数の係数とを、前記ニューラルネットワーク構造の学習パラメータとして有し、
前記出力層は、
前記入力層に入力された複数の前記入力データが複数の前記べき指数によりそれぞれべき乗された複数のべき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）の積（ＹＹ０＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ）と前記学習用関数（Ｄｅ＝ｇ（Ｄ０,Ｄ１,…,ＤＮ））との積に基づいて、前記出力値（ｙ＝ｆ（ＹＹ０＊Ｄｅ））を出力する、
演算装置。
【請求項2】
前記学習パラメータとしての複数の前記べき指数、前記学習用関数の係数パラメータは、
複数の前記入力データを学習データとして複数組用いることで学習されるパラメータであって、
前記学習データとしての複数の前記入力データを前記入力層に入力したときに出力される前記出力値（ｙ）の変動係数の値が小さくなるように調整される、
請求項１に記載の演算装置。
複数の前記入力データを学習データとして複数組用いることで学習されるパラメータであって、
前記学習データとしての複数の前記入力データを前記入力層に入力したときに出力される前記出力値（ｙ）の変動係数の値が小さくなるように調整される、
請求項１に記載の演算装置。
【請求項3】
請求項１に記載の前記出力値（ｙ）の前記変動係数の値に基づいて、前記べき指数の優劣順を前記変動係数の値順にリスト出力表示する、
請求項１に記載の演算装置。
請求項１に記載の演算装置。
【請求項4】
前記出力値（ｙ）の前記変動係数の値に基づいて、前記学習用関数の型ごとの優劣順を前記変動係数の値順にリスト出力表示する、
請求項１に記載の演算装置。
請求項１に記載の演算装置。
【請求項5】
前記ニューラルネットワーク構造は、
前記入力層と前記出力層との間に隠れ層をさらに含み、
前記隠れ層は、
複数の前記入力データが前記学習パラメータとしての複数の重み付けパラメータ（ｗ０，ｗ１，…,ｗＮ）を介してそれぞれ入力されて、下記の式［数１］で規定される目標値（ＹＹ）を前記出力層に出力する第１の隠れノードと、
複数の前記入力データが前記複数の重み付けパラメータを介してそれぞれ入力されるともに、前記学習パラメータとしてのバイアスパラメータ（ｂ）が入力されて、下記の式［数２］で規定される加算型演算出力（ＢＹＡ）を前記出力層に出力する第２の隠れノードとを有し、
前記出力層は、
前記目標値（ＹＹ）と前記加算型演算出力（ＢＹＡ）とに基づいて、前記出力値（ｙ＝ｆ（ＹＹ，ＢＹＡ））を出力する、
請求項１に記載の演算装置。
［数１］
ＹＹ＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ
（＝ＹＹ０＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ）
［数２］
ＢＹＡ＝Ｂ＊（ｂａｓｅ）（Σ［ｎ＝０→Ｎ］（ｗｎ＊ｐｎ＊ｄｎ））
但し、
ｂａｓｅは、１を除く正の数
Ｄｎ＝ｂａｓｅｄｎ（ｎ＝０，１,…,Ｎ）
Ｗｎ＝ｂａｓｅｗｎ（ｎ＝０，１,…,Ｎ）
Ｂ＝ｂａｓｅｂ
である。
前記入力層と前記出力層との間に隠れ層をさらに含み、
前記隠れ層は、
複数の前記入力データが前記学習パラメータとしての複数の重み付けパラメータ（ｗ０，ｗ１，…,ｗＮ）を介してそれぞれ入力されて、下記の式［数１］で規定される目標値（ＹＹ）を前記出力層に出力する第１の隠れノードと、
複数の前記入力データが前記複数の重み付けパラメータを介してそれぞれ入力されるともに、前記学習パラメータとしてのバイアスパラメータ（ｂ）が入力されて、下記の式［数２］で規定される加算型演算出力（ＢＹＡ）を前記出力層に出力する第２の隠れノードとを有し、
前記出力層は、
前記目標値（ＹＹ）と前記加算型演算出力（ＢＹＡ）とに基づいて、前記出力値（ｙ＝ｆ（ＹＹ，ＢＹＡ））を出力する、
請求項１に記載の演算装置。
［数１］
ＹＹ＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ
（＝ＹＹ０＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ）
［数２］
ＢＹＡ＝Ｂ＊（ｂａｓｅ）（Σ［ｎ＝０→Ｎ］（ｗｎ＊ｐｎ＊ｄｎ））
但し、
ｂａｓｅは、１を除く正の数
Ｄｎ＝ｂａｓｅｄｎ（ｎ＝０，１,…,Ｎ）
Ｗｎ＝ｂａｓｅｗｎ（ｎ＝０，１,…,Ｎ）
Ｂ＝ｂａｓｅｂ
である。
【請求項6】
前記変動係数は、下記［数３］で規定される目標値ＹＹの平均値と、標準偏差との比で規定される値であり、
前記変動係数が最小となるように重み付けパラメータｗｎを決定した後、前記重み付けパラメータｗｎを用いて、下記［数３］で規定されるＹＹと、下記［数４］で規定されるＢＹＡとの差分が最小となるバイアスパラメータＢ（Ｂ＝ｂａｓｅｂ）を計算する、
、
請求項２に記載の演算装置。
［数３］
ＹＹ＝Ｄ０ｐ０＊Ｄ０ｐ１＊…＊ＤＮｐＮ＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ
［数４］
ＢＹＡ＝Ｂ＊（ｂａｓｅ）（Σ［ｎ＝０→Ｎ］（ｗｎ＊ｐｎ＊ｄｎ））
但し、
ｂａｓｅは、１を除く正の数
Ｄｎ＝ｂａｓｅｄｎ（ｎ＝０，１,…,Ｎ）
Ｗｎ＝ｂａｓｅｗｎ（ｎ＝０，１,…,Ｎ）
Ｂ＝ｂａｓｅｂ
前記変動係数が最小となるように重み付けパラメータｗｎを決定した後、前記重み付けパラメータｗｎを用いて、下記［数３］で規定されるＹＹと、下記［数４］で規定されるＢＹＡとの差分が最小となるバイアスパラメータＢ（Ｂ＝ｂａｓｅｂ）を計算する、
、
請求項２に記載の演算装置。
［数３］
ＹＹ＝Ｄ０ｐ０＊Ｄ０ｐ１＊…＊ＤＮｐＮ＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ
［数４］
ＢＹＡ＝Ｂ＊（ｂａｓｅ）（Σ［ｎ＝０→Ｎ］（ｗｎ＊ｐｎ＊ｄｎ））
但し、
ｂａｓｅは、１を除く正の数
Ｄｎ＝ｂａｓｅｄｎ（ｎ＝０，１,…,Ｎ）
Ｗｎ＝ｂａｓｅｗｎ（ｎ＝０，１,…,Ｎ）
Ｂ＝ｂａｓｅｂ
【請求項7】
前記学習パラメータの決定後、さらに、下記の出力式［数５］によって規定されるＺＺの第２の変動係数ＣＶ’を損失関数とし、特徴量である重み付けパラメータｗｎを勾配降下法で動かし最小値となる第２の変動係数ＣＶ’の値（損失量）を探索し重み付けパラメータｗｎを決定する
請求項６に記載の演算装置。
［数５］
ＺＺ＝ｆ（ＹＹ，ＢＹＡ）
ＺＺ＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊…＊ＤＮ（ｐＮ＋ｗＮ）＊Ｄｅ＊Ｂ＊Ｗ
請求項６に記載の演算装置。
［数５］
ＺＺ＝ｆ（ＹＹ，ＢＹＡ）
ＺＺ＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊…＊ＤＮ（ｐＮ＋ｗＮ）＊Ｄｅ＊Ｂ＊Ｗ
【請求項8】
前記学習パラメータとしての複数の前記べき指数、複数の前記重み付けパラメータ、及び前記バイアスパラメータは、
複数の前記入力データを前記学習データとして複数組用いることで学習されるパラメータであって、
前記学習データとしての複数の前記入力データを前記入力層に入力したときに前記第１の隠れノードから出力される前記目標値（ＹＹ）と前記第２の隠れノードから出力される前記加算型演算出力（ＢＹＡ）との間の差分（｜ＹＹ－ＢＹＡ｜）が小さくなるように調整される、
請求項５に記載の演算装置。
複数の前記入力データを前記学習データとして複数組用いることで学習されるパラメータであって、
前記学習データとしての複数の前記入力データを前記入力層に入力したときに前記第１の隠れノードから出力される前記目標値（ＹＹ）と前記第２の隠れノードから出力される前記加算型演算出力（ＢＹＡ）との間の差分（｜ＹＹ－ＢＹＡ｜）が小さくなるように調整される、
請求項５に記載の演算装置。
【請求項9】
前記学習パラメータとしての複数の前記べき指数、及び学習用関数の係数は、
複数の前記入力データと、複数の前記入力データに対応付けられた教師データとを含む学習データを複数組用いることで学習されるパラメータであって、
前記学習データに含まれる複数の前記入力データを前記入力層に入力したときに前記出力層から出力される前記出力値と、前記学習データに含まれる教師データとの間の差分が小さくなるように調整される、
請求項１に記載の演算装置。
複数の前記入力データと、複数の前記入力データに対応付けられた教師データとを含む学習データを複数組用いることで学習されるパラメータであって、
前記学習データに含まれる複数の前記入力データを前記入力層に入力したときに前記出力層から出力される前記出力値と、前記学習データに含まれる教師データとの間の差分が小さくなるように調整される、
請求項１に記載の演算装置。
【請求項10】
前記学習パラメータとしての複数の前記べき指数、及び学習用関数の係数は、
複数の前記入力データと、複数の前記入力データに対応付けられた教師データとを含む学習データを複数組用いることで学習されるパラメータであって、
前記学習データに含まれる複数の前記入力データを前記入力層に入力したときに前記出力層から出力される前記出力値と、前記学習データに含まれる教師データとの間の差分が小さくなるように調整される、
請求項５に記載の演算装置。
複数の前記入力データと、複数の前記入力データに対応付けられた教師データとを含む学習データを複数組用いることで学習されるパラメータであって、
前記学習データに含まれる複数の前記入力データを前記入力層に入力したときに前記出力層から出力される前記出力値と、前記学習データに含まれる教師データとの間の差分が小さくなるように調整される、
請求項５に記載の演算装置。
【請求項11】
前記複数のべき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）の積（ＹＹ０＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ）と、前記学習用関数（Ｄｅ＝ｇ（Ｄ０,Ｄ１,…,ＤＮ））とを用いた第１の方程式から、
前記入力データに相当する部分を、変数と、定数項とで表した第２の方程式を作成し、ユーザに提示する、
請求項１から１０いずれか一項に記載の演算装置。
前記入力データに相当する部分を、変数と、定数項とで表した第２の方程式を作成し、ユーザに提示する、
請求項１から１０いずれか一項に記載の演算装置。
【請求項12】
請求項１乃至請求項１０のいずれか一項に記載の演算装置により用いられる前記ニューラルネットワーク構造を構成する集積回路であって、
前記入力層及び前記出力層を構成する入出力部と、
前記学習パラメータを記憶する記憶部と、
前記入力層に入力される複数の前記入力データ及び前記記憶部に記憶された前記学習パラメータに基づいて、前記出力層から前記出力値を出力するための演算を行う演算部とを備える、
集積回路。
前記入力層及び前記出力層を構成する入出力部と、
前記学習パラメータを記憶する記憶部と、
前記入力層に入力される複数の前記入力データ及び前記記憶部に記憶された前記学習パラメータに基づいて、前記出力層から前記出力値を出力するための演算を行う演算部とを備える、
集積回路。
【請求項13】
請求項１乃至請求項１０のいずれか一項に記載の演算装置により用いられる前記ニューラルネットワーク構造を有する学習モデルを生成する機械学習装置であって、
複数の前記入力データを少なくとも含む学習データを記憶する学習データ記憶部と、
前記学習データ記憶部に記憶された前記学習データを前記学習モデルに入力することで、前記学習パラメータの学習を行う学習部と、
前記学習部による学習結果として、前記学習パラメータを記憶する学習パラメータ記憶部とを備える、
機械学習装置。
複数の前記入力データを少なくとも含む学習データを記憶する学習データ記憶部と、
前記学習データ記憶部に記憶された前記学習データを前記学習モデルに入力することで、前記学習パラメータの学習を行う学習部と、
前記学習部による学習結果として、前記学習パラメータを記憶する学習パラメータ記憶部とを備える、
機械学習装置。
【請求項14】
請求項１乃至請求項１０のいずれか一項に記載の演算装置により生成された前記学習モデルを用いて、判別データに対する判別結果を出力する判別装置であって、
前記判別データを取得する判別データ取得部と、
前記判別データ取得部により取得された前記判別データを前記学習モデルに入力することで、当該学習モデルからの前記出力値に基づいて前記判別結果を出力する判別処理部とを備える、
判別装置。
前記判別データを取得する判別データ取得部と、
前記判別データ取得部により取得された前記判別データを前記学習モデルに入力することで、当該学習モデルからの前記出力値に基づいて前記判別結果を出力する判別処理部とを備える、
判別装置。
【請求項15】
請求項１から１０いずれか一項に記載の演算装置を用いて、分類対象物の分類すべき群内のデータ間の関係に成り立つ関数を探索し、
前記関数に、未知の分類対象物のデータを入力することで、前記未知の分類対象物の分類を行う、判別装置。
前記関数に、未知の分類対象物のデータを入力することで、前記未知の分類対象物の分類を行う、判別装置。
【請求項16】
請求項１から１０いずれか一項に記載の演算装置によって導出された、特性の異なる判別式の中から、前記判別式の識別性能と、前記変動係数の値とに基づいて、複数の判別式を選択し、
前記複数の判別式を用いて、未知の分類対象物の分類を行う判別装置。
前記複数の判別式を用いて、未知の分類対象物の分類を行う判別装置。
【請求項17】
請求項１０に記載の演算装置によって導出された第２の方程式を記憶する方程式記憶部と、
前記第２の方程式を用いて入力値に対する出力を計算する計算部と、
を備える方程式利用装置。
前記第２の方程式を用いて入力値に対する出力を計算する計算部と、
を備える方程式利用装置。
【請求項18】
入力層及び出力層を少なくとも含むニューラルネットワーク構造を用いて、前記入力層に入力される複数の入力データ（Ｄ０,Ｄ１,…,ＤＮ）に対して前記出力層から出力値を出力するとして動作する演算装置を用いた演算方法であって、
複数の前記入力データにそれぞれ対応付けられて、複数の前記入力データをそれぞれべき乗する複数のべき指数（ｐ０,ｐ１,…,ｐＮ）と、所定の学習用関数の係数とを、前記ニューラルネットワーク構造の学習パラメータとして有する前記入力層に、前記複数の入力データ（Ｄ０,Ｄ１,…,ＤＮ）を入力し、
前記演算装置に、前記出力層から、
前記入力層に入力された複数の前記入力データが複数の前記べき指数によりそれぞれべき乗された複数のべき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）の積（ＹＹ０＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ）と前記学習用関数（Ｄｅ＝ｇ（Ｄ０,Ｄ１,…,ＤＮ））との積に基づいて、前記出力値（ｙ＝ｆ（ＹＹ０＊Ｄｅ））を出力させる、
演算方法。
複数の前記入力データにそれぞれ対応付けられて、複数の前記入力データをそれぞれべき乗する複数のべき指数（ｐ０,ｐ１,…,ｐＮ）と、所定の学習用関数の係数とを、前記ニューラルネットワーク構造の学習パラメータとして有する前記入力層に、前記複数の入力データ（Ｄ０,Ｄ１,…,ＤＮ）を入力し、
前記演算装置に、前記出力層から、
前記入力層に入力された複数の前記入力データが複数の前記べき指数によりそれぞれべき乗された複数のべき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）の積（ＹＹ０＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ）と前記学習用関数（Ｄｅ＝ｇ（Ｄ０,Ｄ１,…,ＤＮ））との積に基づいて、前記出力値（ｙ＝ｆ（ＹＹ０＊Ｄｅ））を出力させる、
演算方法。
【請求項19】
前記学習パラメータとしての複数の前記べき指数、前記学習用関数の係数パラメータは、
複数の前記入力データを学習データとして複数組用いることで学習されるパラメータであって、
前記演算装置は、前記学習データとしての複数の前記入力データを前記入力層に入力したときに出力される前記出力値（ｙ）の変動係数の値が小さくなるように調整する、
請求項１８に記載の演算方法。
複数の前記入力データを学習データとして複数組用いることで学習されるパラメータであって、
前記演算装置は、前記学習データとしての複数の前記入力データを前記入力層に入力したときに出力される前記出力値（ｙ）の変動係数の値が小さくなるように調整する、
請求項１８に記載の演算方法。
【請求項20】
前記演算装置は、前記出力値（ｙ）の前記変動係数の値に基づいて、前記べき指数の優劣順を前記変動係数の値順にリスト出力表示する、
請求項１８に記載の演算方法。
請求項１８に記載の演算方法。
【請求項21】
前記演算装置は、前記出力値（ｙ）の前記変動係数の値に基づいて、前記前記統計分岐関数の型ごとの優劣順を前記変動係数の値順にリスト出力表示する、
請求項１８に記載の演算方法。
請求項１８に記載の演算方法。
【請求項22】
前記ニューラルネットワーク構造は、
前記入力層と前記出力層との間に隠れ層をさらに含み、
前記隠れ層は、
複数の前記入力データが前記学習パラメータとしての複数の重み付けパラメータ（ｗ０，ｗ１，…,ｗＮ）を介してそれぞれ入力されて、下記の式［数１］で規定される目標値（ＹＹ１）を前記出力層に出力する第１の隠れノードと、
複数の前記入力データが前記複数の重み付けパラメータを介してそれぞれ入力されるともに、前記学習パラメータとしてのバイアスパラメータ（ｂ）が入力されて、下記の式［数２］で規定される加算型演算出力（ＢＹＡ）を前記出力層に出力する第２の隠れノードとを有し、
前記出力層は、
前記目標値（ＹＹ１）と前記加算型演算出力（ＢＹＡ）とに基づいて、前記出力値（ｙ＝ｆ（ＹＹ１，ＢＹＡ））を出力する、
請求項１８に記載の演算方法。
前記入力層と前記出力層との間に隠れ層をさらに含み、
前記隠れ層は、
複数の前記入力データが前記学習パラメータとしての複数の重み付けパラメータ（ｗ０，ｗ１，…,ｗＮ）を介してそれぞれ入力されて、下記の式［数１］で規定される目標値（ＹＹ１）を前記出力層に出力する第１の隠れノードと、
複数の前記入力データが前記複数の重み付けパラメータを介してそれぞれ入力されるともに、前記学習パラメータとしてのバイアスパラメータ（ｂ）が入力されて、下記の式［数２］で規定される加算型演算出力（ＢＹＡ）を前記出力層に出力する第２の隠れノードとを有し、
前記出力層は、
前記目標値（ＹＹ１）と前記加算型演算出力（ＢＹＡ）とに基づいて、前記出力値（ｙ＝ｆ（ＹＹ１，ＢＹＡ））を出力する、
請求項１８に記載の演算方法。
【請求項23】
前記変動係数は、下記［数３］で規定される目標値ＹＹの平均値と、標準偏差との比で規定される値であり、
前記演算装置は、前記変動係数が最小となるように重み付けパラメータｗｎを決定した後、前記重み付けパラメータｗｎを用いて、下記［数３］で規定されるＹＹと、下記［数４］で規定されるＢＹＡとの差分が最小となるＢ（Ｂ＝ｂａｓｅｂ）を逆算する、
請求項１９に記載の演算方法。
［数３］
ＹＹ＝Ｄ０ｐ０＊Ｄ０ｐ１＊…＊ＤＮｐＮ＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ
［数４］
ＢＹＡ＝Ｂ＊（ｂａｓｅ）（Σ［ｎ＝０→Ｎ］（ｗｎ＊ｐｎ＊ｄｎ））
但し、
ｂａｓｅは、１を除く正の数
Ｄｎ＝ｂａｓｅｄｎ（ｎ＝０，１,…,Ｎ）
Ｗｎ＝ｂａｓｅｗｎ（ｎ＝０，１,…,Ｎ）
Ｂ＝ｂａｓｅｂ
前記演算装置は、前記変動係数が最小となるように重み付けパラメータｗｎを決定した後、前記重み付けパラメータｗｎを用いて、下記［数３］で規定されるＹＹと、下記［数４］で規定されるＢＹＡとの差分が最小となるＢ（Ｂ＝ｂａｓｅｂ）を逆算する、
請求項１９に記載の演算方法。
［数３］
ＹＹ＝Ｄ０ｐ０＊Ｄ０ｐ１＊…＊ＤＮｐＮ＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ
［数４］
ＢＹＡ＝Ｂ＊（ｂａｓｅ）（Σ［ｎ＝０→Ｎ］（ｗｎ＊ｐｎ＊ｄｎ））
但し、
ｂａｓｅは、１を除く正の数
Ｄｎ＝ｂａｓｅｄｎ（ｎ＝０，１,…,Ｎ）
Ｗｎ＝ｂａｓｅｗｎ（ｎ＝０，１,…,Ｎ）
Ｂ＝ｂａｓｅｂ
【請求項24】
前記演算装置は、前記学習パラメータの決定後、さらに、下記の出力式［数５］によって規定されるＺＺの第２の変動係数ＣＶ’を損失関数とし、特徴量である重み付けパラメータｗｎを勾配降下法で動かし最小値となる第２の変動係数ＣＶ’の値（損失量）を探索し重み付けパラメータｗｎを決定する、
請求項２３に記載の演算方法。
［数５］
ＺＺ＝ｆ（ＹＹ，ＢＹＡ）
ＺＺ＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊…＊ＤＮ（ｐＮ＋ｗＮ）＊Ｄｅ＊Ｂ＊Ｗ
請求項２３に記載の演算方法。
［数５］
ＺＺ＝ｆ（ＹＹ，ＢＹＡ）
ＺＺ＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊…＊ＤＮ（ｐＮ＋ｗＮ）＊Ｄｅ＊Ｂ＊Ｗ
【請求項25】
前記学習パラメータとしての複数の前記べき指数、複数の前記重み付けパラメータ、及び前記バイアスパラメータは、
複数の前記入力データを前記学習データとして複数組用いることで学習されるパラメータであって、
前記演算装置は、前記学習データとしての複数の前記入力データを前記入力層に入力したときに前記第１の隠れノードから出力される前記目標値（ＹＹ１）と前記第２の隠れノードから出力される前記加算型演算出力（ＢＹＡ）との間の差分（｜ＹＹ１－ＢＹＡ｜）が小さくなるように調整する、
請求項２２に記載の演算方法。
複数の前記入力データを前記学習データとして複数組用いることで学習されるパラメータであって、
前記演算装置は、前記学習データとしての複数の前記入力データを前記入力層に入力したときに前記第１の隠れノードから出力される前記目標値（ＹＹ１）と前記第２の隠れノードから出力される前記加算型演算出力（ＢＹＡ）との間の差分（｜ＹＹ１－ＢＹＡ｜）が小さくなるように調整する、
請求項２２に記載の演算方法。
【請求項26】
前記学習パラメータとしての複数の前記べき指数、及び学習用関数の係数は、
複数の前記入力データと、複数の前記入力データに対応付けられた教師データとを含む学習データを複数組用いることで学習されるパラメータであって、
前記演算装置は、前記学習データに含まれる複数の前記入力データを前記入力層に入力したときに前記出力層から出力される前記出力値と、前記学習データに含まれる教師データとの間の差分が小さくなるように調整する、
請求項１８に記載の演算方法。
複数の前記入力データと、複数の前記入力データに対応付けられた教師データとを含む学習データを複数組用いることで学習されるパラメータであって、
前記演算装置は、前記学習データに含まれる複数の前記入力データを前記入力層に入力したときに前記出力層から出力される前記出力値と、前記学習データに含まれる教師データとの間の差分が小さくなるように調整する、
請求項１８に記載の演算方法。
【請求項27】
前記学習パラメータとしての複数の前記べき指数、及び学習用関数の係数は、
複数の前記入力データと、複数の前記入力データに対応付けられた教師データとを含む学習データを複数組用いることで学習されるパラメータであって、
前記演算装置は、前記学習データに含まれる複数の前記入力データを前記入力層に入力したときに前記出力層から出力される前記出力値と、前記学習データに含まれる教師データとの間の差分が小さくなるように調整する、
請求項２２に記載の演算方法。
複数の前記入力データと、複数の前記入力データに対応付けられた教師データとを含む学習データを複数組用いることで学習されるパラメータであって、
前記演算装置は、前記学習データに含まれる複数の前記入力データを前記入力層に入力したときに前記出力層から出力される前記出力値と、前記学習データに含まれる教師データとの間の差分が小さくなるように調整する、
請求項２２に記載の演算方法。
【請求項28】
前記複数のべき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）の積（ＹＹ０＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ）と、前記学習用関数（Ｄｅ＝ｇ（Ｄ０,Ｄ１,…,ＤＮ））とを用いた第１の方程式から、
前記入力データに相当する部分を、変数と、定数項とで表した第２の方程式を作成し、ユーザに提示する、
請求項１８から２７いずれか一項に記載の演算方法。
前記入力データに相当する部分を、変数と、定数項とで表した第２の方程式を作成し、ユーザに提示する、
請求項１８から２７いずれか一項に記載の演算方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークを用いた演算装置、集積回路、機械学習装置、判別装置、方程式利用装置、演算方法に関する。
【背景技術】
【0002】
近年、機械学習は様々な分野に適用され、特に、ニューラルネットワーク構造は回帰問題及び分類問題のいずれにも幅広く応用されている。このようなニューラルネットワーク構造では、入力層に入力された複数の入力データに対して重み係数がそれぞれ乗算され、それらの総和を算出した結果に基づく出力値が出力層から出力される（例えば、特許文献１、特許文献２等参照）。しかしながら、出力結果が人に理解し難い欠点があるため、演算方式を加算型演算及び差動型演算方式を採用した特許文献３が公開された。さらに出力形式に、べき乗値の積の 方程式を持つ、べき指数型ニューラルネットワークを採用した特許文献４が公開され、これにより人に理解しやすい出力形式、及び出力精度の向上がなされた。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１５／１１８６８６号
【特許文献2】特開平７－１４１３１５号公報
【特許文献3】特開２０２１－１２４９７９号公報
【特許文献4】特開２０２２－１６１０９９号公報
【非特許文献】
【0004】
【非特許文献1】Ｅ．Ａｎｄｅｒｓｏｎ： Ｔｈｅ Ｓｐｅｃｉｅｓ Ｐｌｏｂｌｅｍ ｉｎ Ｉｒｉｓ．Ａｎｎａｌｓ ｏｆ ｔｈｅ Ｍｉｓｓｏｕｒｉ Ｂｏａｎｉｃａｌ Ｇａｒｄｅｎ，Ｖｏｌ．２３，４５７－５０９，１９３６
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の特許文献１、特許文献２、特許文献３等に記載されたようなニューラルネットワーク構造は、重み係数を調節することで機械学習が行われるが、複数の入力データに対する「べき指数」は、例えば、「１」等のように固定されており、高次のべき指数を有する出力式の厳密解を一つも表現できない問題があった。特許文献４では、べき指数をニューラルネットワークの特徴量に組み込むことで、この問題の解決を試みている。特許文献４によれば、幾何問題、倒立振子のような物理、運動方程式の個体間同士が干渉しない個の系のべき乗値の積で表される方程式をデータから導くことができる。しかしながら、例えば群の系である水流や電流の分子、電子の干渉が織り成す波動方程式等はネイピア数（ｅ）を含む統計分布関数を解に含むため厳密解の方程式を導けないという問題があった。
【0006】
本発明は、上述した課題に鑑み、べき指数により表現される現象の取り扱いに数種類の関数を加味した学習用関数を用意し、個体間の干渉が織り成す現象においても入力と出力との間に成り立つ相関関係を精度良く導出することを可能とする演算装置、集積回路、機械学習装置、判別装置、方程式利用装置、演算方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の一態様に係る演算装置は、入力層及び出力層を少なくとも含むニューラルネットワーク構造を用いて、前記入力層に入力される複数の入力データ（Ｄ０,Ｄ１,…,ＤＮ）に対して前記出力層から出力値を出力する演算装置であって、
前記入力層は、
複数の前記入力データにそれぞれ対応付けられて、複数の前記入力データをそれぞれべき乗する複数の整数のべき指数（ｐ０,ｐ１,…,ｐＮ）と、小数の重み付け特徴量（ｗ０,ｗ１,…,ｗＮ）と、所定の学習用関数の係数とを、前記ニューラルネットワーク構造の学習パラメータとして有し、
前記出力層は、
前記入力層に入力された複数の前記入力データが複数の前記べき指数と重み付け特徴量によりそれぞれべき乗された複数のべき乗値（Ｄ０ｐ０＋ｗ０,Ｄ１ｐ１＋ｗ１,…,ＤＮｐＮ＋ｗＮ）の積
（Ｄ０ｐ０＋ｗ０＊Ｄ１ｐ１＋ｗ１＊…＊ＤＮｐＮ＋ｗＮ）と前記学習用関数（Ｄｅ＝ｇ（ｑ，Ｄｎ））との積に基づいて、前記出力値（ＺＺ＝ｆ（Ｄ０ｐ０＋ｗ０＊Ｄ１ｐ１＋ｗ１＊…＊ＤＮｐＮ＋ｗＮ＊Ｄｅ））を出力する。
前記入力層は、
複数の前記入力データにそれぞれ対応付けられて、複数の前記入力データをそれぞれべき乗する複数の整数のべき指数（ｐ０,ｐ１,…,ｐＮ）と、小数の重み付け特徴量（ｗ０,ｗ１,…,ｗＮ）と、所定の学習用関数の係数とを、前記ニューラルネットワーク構造の学習パラメータとして有し、
前記出力層は、
前記入力層に入力された複数の前記入力データが複数の前記べき指数と重み付け特徴量によりそれぞれべき乗された複数のべき乗値（Ｄ０ｐ０＋ｗ０,Ｄ１ｐ１＋ｗ１,…,ＤＮｐＮ＋ｗＮ）の積
（Ｄ０ｐ０＋ｗ０＊Ｄ１ｐ１＋ｗ１＊…＊ＤＮｐＮ＋ｗＮ）と前記学習用関数（Ｄｅ＝ｇ（ｑ，Ｄｎ））との積に基づいて、前記出力値（ＺＺ＝ｆ（Ｄ０ｐ０＋ｗ０＊Ｄ１ｐ１＋ｗ１＊…＊ＤＮｐＮ＋ｗＮ＊Ｄｅ））を出力する。
【0008】
本発明の別の一態様に係る演算方法は、入力層及び出力層を少なくとも含むニューラルネットワーク構造を用いて、前記入力層に入力される複数の入力データ（Ｄ０,Ｄ１,…,ＤＮ）に対して前記出力層から出力値を出力するとして動作する演算装置を用いた演算方法であって、複数の前記入力データにそれぞれ対応付けられて、複数の前記入力データをそれぞれべき乗する複数のべき指数（ｐ０,ｐ１,…,ｐＮ）と、所定の学習用関数の係数とを、前記ニューラルネットワーク構造の学習パラメータとして有する前記入力層に、前記複数の入力データ（Ｄ０,Ｄ１,…,ＤＮ）を入力し、
前記演算装置に、前記出力層から、
前記入力層に入力された複数の前記入力データが複数の前記べき指数によりそれぞれべき乗された複数のべき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）の積（ＹＹ０＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ）と前記学習用関数（Ｄｅ＝ｇ（Ｄ０,Ｄ１,…,ＤＮ））との積に基づいて、前記出力値（ｙ＝ｆ（ＹＹ０＊Ｄｅ））を出力させる。
前記演算装置に、前記出力層から、
前記入力層に入力された複数の前記入力データが複数の前記べき指数によりそれぞれべき乗された複数のべき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）の積（ＹＹ０＝Ｄ０ｐ０＊Ｄ１ｐ１＊…＊ＤＮｐＮ）と前記学習用関数（Ｄｅ＝ｇ（Ｄ０,Ｄ１,…,ＤＮ））との積に基づいて、前記出力値（ｙ＝ｆ（ＹＹ０＊Ｄｅ））を出力させる。
【発明の効果】
【0009】
本発明によれば、べき指数と学習用関数により表現される現象の取り扱いを可能とするとともに、当該現象において入力と出力との間に成り立つ相関関係を精度良く導出することができる。
【0010】
上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。
【図面の簡単な説明】
【0011】
【図1】本発明の基本形態に係る演算装置により用いられるニューラルネットワーク構造１００Ｄ及びその基本原理を説明する図である。
【図2】本発明の基本形態に係るニューラルネットワーク構造を用いた演算装置１の構成を示すブロック図である。
【図3】勾配消失の問題点を表す図である。
【図4】第１の実施形態に係る、平均寿命Ｌ（故障に至った平均時間）を出力値として縦軸、温度（１０００／Ｔ）を横軸に表したアレニウスプロット図である。
【図5】第１の実施形態に係る、平均寿命Ｌ（故障に至った平均時間）を出力値として縦軸、電圧を横軸に表したグラフである。
【図7】本発明の基本形態に係る、学習用関数（Ｅｕｒｅｋａ関数）の具体例を表した表である。
【図8】第１の実施形態に係る、変動係数ＣＶ（損失量）の小さい順のリストである。
【図9】第１の実施形態に係る、出力式（関係式）［数３－９］で計算されたＺＺ’の値の一覧表である。
【図10】第１の実施形態に係る、平均寿命Ｌの測定値を横軸、式［数３－１０］に基づく寿命計算（予測）値を縦軸に表した相関グラフである。
【図11】第２の実施形態に係る、横軸に波長λ、縦軸に強度Ｅ、及び、温度Ｔをパラメータにしたグラフである。
【図13】第２の実施形態に係る、変動係数ＣＶ（損失量）の小さい順のリストである。
【図15】第３の実施形態に係る、Ｉｒｉｓデータの表（１）である。
【図16】第３の実施形態に係る、Ｉｒｉｓデータの表（２）である。
【図17】第３の実施形態に係る、Ｉｒｉｓデータのがく辺長－がく辺幅、がく辺長－花びら長の相関グラフである。
【図18】第３の実施形態に係る、報酬（判別率）の降順リストの上位３０番までの表である。
【図19】第３の実施形態に係る、横軸にｉｒｉｓの花Ｎｏ．を、縦軸に判別式ＡＡの値をプロットしたグラフである。
【図20】第３の実施形態に係る、判別式ＡＢ、及び判別式ＡＣを探索した結果のリストである。
【図21】第３の実施形態に係る、横軸にｉｒｉｓの花Ｎｏ．を、縦軸に判別式ＡＢの値をプロットしたグラフである。
【図22】第３の実施形態に係る、横軸にｉｒｉｓの花Ｎｏ．を、縦軸に判別式ＡＣの値をプロットしたグラフである。
【図23】第３の実施形態に係る、多数決判別式Ｚ＝ＭＯＤＥ（ＡＡ，ＡＢ，ＡＣ）を用いてＩｒｉｓの花の判別の学習データを分類した表である。
【発明を実施するための形態】
【0012】
以下、本発明の基本原理を示す「基本形態」と、その基本原理を応用して本発明を実施するための「実施形態」とに分けて、図面を参照しつつ説明する。
【0013】
（基本形態）
図１は、本発明の基本形態に係る演算装置により用いられるニューラルネットワーク構造１００Ｄ及びその基本原理を説明する図である。
図１は、本発明の基本形態に係る演算装置により用いられるニューラルネットワーク構造１００Ｄ及びその基本原理を説明する図である。
【0014】
演算装置（図２の符号１）は、入力層１１０Ｄ及び出力層１２０Ｄを少なくとも含むニューラルネットワーク構造１００Ｄを用いて、入力層１１０Ｄに入力される複数の入力データＤｎ＝（Ｄ０,Ｄ１,…,ＤＮ）に対して出力層１２０Ｄから出力値ＺＺを出力する装置である。
【0015】
図１に示すニューラルネットワーク構造１００Ｄは、Ｎ＋１次元（Ｎは１以上の自然数）のニューロン（ノード）を有する入力層１１０Ｄと、１個のニューロン（ノード）と有する出力層１２０Ｄとから構成される。入力層１１０Ｄと出力層１２０Ｄとの間には変換層１４０と隠れ層１３０とを含む。
【0016】
入力層１１０ＤのＮ＋１個ニューロンは、Ｎ＋１次元の入力デ―タＤｎ＝（Ｄ０,Ｄ１,…,ＤＮ）にそれぞれ対応付けられて、Ｎ＋１次元の入力データＤｎがそれぞれ入力され、変換層１４０に出力する。
【0017】
変換層１４０は、入力層１１０ＤのＮ＋１次元の入力データＤｎをそれぞれべき乗するＮ＋１次元のべき指数ｐｎ＝（ｐ０,ｐ１,・・・,ｐＮ）を、ニューラルネットワーク構造１００Ｄの学習パラメータとして有する。さらに変換層１４０は、複数の学習用関数の値Ｄｅ（＝ｇ（ｑ、Ｄｎ））を入力とする１つの学習用関数ノード１４１を有したＮ＋２次元のノードで構成される。
【0018】
学習用関数の値Ｄｅ（＝ｇ（ｑ、Ｄｎ））は、学習用関数の係数ｑを学習パラメータとして入力層１１０ＤのＮ＋１次元の入力データＤｎとの掛け合わせをパラメータに有する学習用関数の出力値である。
【0019】
変換層１４０のＮ＋１個のニューロンの出力は、Ｎ＋１次元の入力データＤｎ＝（Ｄ０,Ｄ１,…,ＤＮ）をそれぞれべき乗するＮ＋１次元のべき指数ｐｎ＝（ｐ０,ｐ１,…,ｐＮ）に対応付けられた、べき乗値（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ）に変換される。さらに、Ｎ＋１個のニューロンの出力は、学習用関数の値Ｄｅと連結され、Ｎ＋２次元の入力データ（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ,Ｄｅ）として、隠れ層１３０の隠れ層入力ノード１３３に出力される。
【0020】
隠れ層１３０は、第１の隠れノード１３１と、第２の隠れノード１３２とを有する。第１の隠れノード１３１は、学習パラメータとしてのＮ＋１次元の重み付けパラメータｗｎ＝（ｗ０，ｗ１，…,ｗＮ）を介して、隠れ層入力ノード１３３の入力Ｎ＋２次元の入力データ（Ｄ０ｐ０,Ｄ１ｐ１,…,ＤＮｐＮ,Ｄｅ）がそれぞれ入力されて、下記の式［数３－１］で規定される目標値ＹＹを出力層１２０Ｄに出力する。第２の隠れノード１３２は、学習パラメータとしてのバイアスパラメータｂが入力されて、下記の式［数３－２］で規定される加算型演算出力ＢＹＡを前記出力層１２０Ｄに出力する。
【0021】
出力層１２０Ｄは、目標値ＹＹと加算型演算出力ＢＹＡとに基づいて、出力値ＺＺ（＝ｆ（ＹＹ，ＢＹＡ））を出力する。
【0022】
［数３－１］
ＹＹ＝Ｄ０ｐ０＊Ｄ０ｐ１＊…＊ＤＮｐＮ＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ
［数３－２］
ＢＹＡ＝Ｂ＊（ｂａｓｅ）（Σ［ｎ＝０→Ｎ］（ｗｎ＊ｐｎ＊ｄｎ））
ただし、上記の式における各パラメータは、下記の通りである。
ｂａｓｅは、１を除く正の数
Ｄｎ＝ｂａｓｅｄｎ（ｎ＝０，１,…,Ｎ） ：入力データ
ｐｎ（ｐ０，ｐ１，…，ｐＮ） ：べき指数
Ｄｎｐｎ ：べき乗値
Ｄｅ＝ｇ（ｑ，Ｄｎ） ：学習用関数値
ｗｎ＝ｌｏｇｂａｓｅＷｎ（ｎ＝０，１,…,Ｎ） ：重み付けパラメータ
（Ｗｎ＝ｂａｓｅｗｎ）
Ｗ＝Ｗ０＊Ｗ１＊…＊ＷＮ ：重み付けパラメータの積
ｂ＝ｌｏｇｂａｓｅＢ ：バイアスパラメータ
（Ｂ＝ｂａｓｅｂ）
ＹＹ ：目標値
ＢＹＡ ：加算型演算出力
ＹＹ＝Ｄ０ｐ０＊Ｄ０ｐ１＊…＊ＤＮｐＮ＊Ｗ０＊Ｗ１＊…＊ＷＮ＊Ｄｅ
［数３－２］
ＢＹＡ＝Ｂ＊（ｂａｓｅ）（Σ［ｎ＝０→Ｎ］（ｗｎ＊ｐｎ＊ｄｎ））
ただし、上記の式における各パラメータは、下記の通りである。
ｂａｓｅは、１を除く正の数
Ｄｎ＝ｂａｓｅｄｎ（ｎ＝０，１,…,Ｎ） ：入力データ
ｐｎ（ｐ０，ｐ１，…，ｐＮ） ：べき指数
Ｄｎｐｎ ：べき乗値
Ｄｅ＝ｇ（ｑ，Ｄｎ） ：学習用関数値
ｗｎ＝ｌｏｇｂａｓｅＷｎ（ｎ＝０，１,…,Ｎ） ：重み付けパラメータ
（Ｗｎ＝ｂａｓｅｗｎ）
Ｗ＝Ｗ０＊Ｗ１＊…＊ＷＮ ：重み付けパラメータの積
ｂ＝ｌｏｇｂａｓｅＢ ：バイアスパラメータ
（Ｂ＝ｂａｓｅｂ）
ＹＹ ：目標値
ＢＹＡ ：加算型演算出力
【0023】
学習パラメータとしてのＮ＋１次元のべき指数ｐｎ、Ｎ＋１次元の重み付けパラメータｗｎ、バイアスパラメータｂ、及び学習用関数の係数ｑは、複数の入力データＤｎを学習データとして複数用いることで学習されるパラメータである。
【0024】
Ｎ＋１次元のべき指数ｐｎ、Ｎ＋１次元の重み付けパラメータｗｎ、及び、バイアスパラメータｂ、及び学習用関数の係数ｑは、学習データとしてのＮ＋１次元の入力データＤｎを入力層１１０Ｄに入力したときに第１の隠れノード１３１から出力される目標値ＹＹと第２の隠れノード１３２から出力される加算型演算出力ＢＹＡとの間の所定の損失関数（変動係数）が小さくなるように調整される。
【0025】
演算装置１は、上記のように、学習データにより学習パラメータを調整（探索）する一連の工程を所定の回数だけ反復実施したときや上記の損失関数の値（損失量）が所定の許容値より小さくなったときに、所定の学習終了条件が満たされたと判定し、学習パラメータに対する学習を終了する。これにより、学習パラメータとしてのＮ＋１次元のべき指数ｐｎ、Ｎ＋１次元の重み付けパラメータｗｎ、バイアスパラメータｂ、及び学習用関数の係数ｑを有する学習済みのニューラルネットワーク構造１００Ｄが実現される。
【0026】
本基本形態に係る演算装置が用いるニューラルネットワーク構造１００Ｄによれば、隠れ層１３０が、上記の式［数３－１］で規定される目標値を出力層に出力する第１の隠れノード１３１と、上記の式［数３－２］で規定される加算型演算出力を出力層に出力する第２の隠れノード１３２とを有し、出力層１２０Ｄが、目標値と加算型演算出力とに基づいて、出力値を出力する。したがって、演算装置１は、べき指数、及び学習用関数により表現される現象の取り扱いを可能とするとともに、当該現象において入力と出力との間に成り立つ相関関係を精度良く導出することができる。
【0027】
本基本形態の特徴である学習用関数を使わないとき、学習用関数の値Ｄｅ＝１とする、このとき学習用関数を使わない特許文献４と整合性を保つ。
【0028】
（基本形態の装置構成）
図２は、本発明の基本形態に係るニューラルネットワーク構造を用いた演算装置１の構成を示すブロック図である。
図２は、本発明の基本形態に係るニューラルネットワーク構造を用いた演算装置１の構成を示すブロック図である。
【0029】
演算装置１は、基本形態のニューラルネットワーク構造１００Ｄを有する学習モデルを生成する機械学習装置１Ａと、機械学習装置１Ａにより生成された学習モデルを用いて判別対象の判別データＢＢに対する判別結果ＡＡを出力する判別装置１Ｂとして機能する。機械学習装置１Ａは、学習フェーズにて用いられ、判別装置１Ｂは、判別フェーズ（推論フェーズ）にて用いられる。
【0030】
演算装置１は、その構成要素として、判別器学習部２、学習パラメータ記憶部３、学習データ記憶部４、学習データ処理部５、判別結果処理部６、判別データ取得部７、及び、学習用関数記憶部８を備えて構成される。
【0031】
判別器学習部２は、ニューラルネットワーク構造１００Ｄを有する学習モデルを用いて学習パラメータの学習を行う学習部２０と、学習中又は学習済みの学習パラメータを反映させた学習モデルを用いて判別データに対する判別結果を出力する判別処理部２１とを備える。基本形態に係る学習パラメータは、Ｎ＋１次元のべき指数ｐｎ、Ｎ＋１次元の重み付けパラメータｗｎ、学習用関数の係数ｑ、及び、バイアスパラメータｂである。
【0032】
学習パラメータ記憶部３は、学習フェーズにおいて学習部２０により学習が行われた学習結果として、学習パラメータと学習用関数の整理Ｎｏ．を記憶する。学習パラメータ記憶部３には、学習パラメータの初期化処理により学習パラメータの初期値が記憶され、学習部２０で学習が繰り返し行われることにより学習パラメータが逐次更新される。そして、学習パラメータ記憶部３には、学習部２０による学習が終了したときの学習パラメータと学習用関数の整理Ｎｏ．が記憶され、判別フェーズ（推論フェーズ）にて判別処理部２１により読み出される。
【0033】
学習データ記憶部４は、複数の入力データを少なくとも含む学習データを複数組記憶する。この学習データは、入力データと、その入力データに対応付けられた教師データとを含むものであってもよい。また、教師なし学習を行う場合、学習データは、入力データのみであってもよい。教師データは、例えば、判別結果に対応するデータであり、判別結果として、例えば、正常を「０」及び異常を「１」で表す場合には、「０」か「１」が設定される。
【0034】
学習用関数記憶部８は、予め設定した複数の学習用関数と、紐づけられた学習用関数の整理Ｎｏ．を複数組記憶する。
【0035】
学習部２０は、学習データ記憶部４に記憶された学習データ、及び学習用関数記憶部８に記憶された複数の学習用関数を、学習データ処理部５を介して学習モデルに入力し、例えば、損失関数が最小となるように学習パラメータの学習を行う。すなわち、学習部２０は、判別処理部２１から出力された判別結果と、学習データ処理部５から読み出した学習データとが入力されて、これらのデータを用いて学習を行い、学習パラメータ記憶部３に学習パラメータと学習用関数の整理Ｎｏ．を記憶する。また、教師ありの学習を行う場合、学習部２０は、前記学習データに含まれる複数の前記入力データを前記入力層に入力したときに前記出力層から出力される前記出力値と、前記学習データに含まれる教師データとの間の差分が小さくなるように調整する学習を行う。
【0036】
判別処理部２１は、学習フェーズにて、学習データ処理部５により取得された学習データを、初期値又は学習中の学習パラメータを反映させた学習モデルに入力することで、当該学習モデルからの出力値に基づいて判別結果を学習部２０及び判別結果処理部６に出力する。
【0037】
また、判別処理部２１は、判別フェーズ（推論フェーズ）にて、判別データ取得部７により取得された判別データを、学習済みの学習パラメータを反映させた学習モデルに入力することで、当該学習モデルからの出力値（例えば、特徴量等）を判別結果処理部６に出力する。
【0038】
学習データ処理部５は、学習フェーズにて、学習データ記憶部４、及び学習用関数記憶部８から学習データを読み出して所定の前処理を施した後、その学習データを学習部２０及び判別処理部２１に送る。その際、学習データ処理部５は、判別結果処理部６からの要求に応じて、学習データを学習部２０及び判別処理部２１に送る。
【0039】
判別結果処理部６は、判別処理部２１から出力された出力値を受け取り、判別結果ＡＡとして、例えば、ディスプレイ等の所定の出力装置に出力する。また、判別結果処理部６は、学習フェーズにて、判別結果に基づいて変動係数や判別率等を計算し、その計算結果に応じて、学習データを学習部２０及び判別処理部２１にさらに送るように、学習データ処理部５に要求する。
【0040】
判別データ取得部７は、判別フェーズ（推論フェーズ）にて、所定の入力装置から判別データＢＢを受け付けて所定の前処理を施した後、その判別データＢＢを判別処理部２１に送る。
【0041】
上記構成を有する演算装置１は、汎用又は専用のコンピュータにより構成される。なお、機械学習装置１Ａ及び判別装置１Ｂは、別々のコンピュータにより構成されていてもよい。その場合、機械学習装置１Ａは、学習データ記憶部４、学習用関数記憶部８、学習部２０及び学習パラメータ記憶部３を少なくとも備えていれればよい。また、判別装置１Ｂは、判別データ取得部７及び判別処理部２１を少なくとも備えていればよい。
【0042】
演算装置１の構成要素のうち、学習パラメータ記憶部３、学習データ記憶部４、及び学習用関数記憶部８は、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶装置（内蔵型、外付け型、ネットワーク接続型等）で構成されてもよいし、ＵＳＢメモリ、記憶メディア再生装置で再生可能な記憶メディア（ＣＤ、ＤＶＤ、ＢＤ）等で構成されてもよい。また、演算装置１の構成要素のうち、ＵＳＢメモリ、記憶メディア再生装置で再生可能な記憶メディア（ＣＤ、ＤＶＤ、ＢＤ）等で構成されてもよい。また、演算装置１の構成要素のうち、判別器学習部２、学習データ処理部５、判別結果処理部６及び判別データ取得部７は、例えば、１又は複数のプロセッサ（ＣＰＵ、ＭＰＵ、ＧＰＵ等）を有する演算装置で構成される。
【0043】
（プログラム）
演算装置１は、各種の記憶装置や記憶メディアに記憶されたプログラムや外部からネットワークを介してダウンロードにより取得されたプログラムを実行することで、判別器学習部２、学習データ処理部５、判別結果処理部６及び判別データ取得部７として機能するものでもよい。
演算装置１は、各種の記憶装置や記憶メディアに記憶されたプログラムや外部からネットワークを介してダウンロードにより取得されたプログラムを実行することで、判別器学習部２、学習データ処理部５、判別結果処理部６及び判別データ取得部７として機能するものでもよい。
【0044】
（集積回路）
ニューラルネットワーク構造１００Ｄは、集積回路により構成されてもよい。その場合、集積回路は、入力層及び出力層を構成する入出力部と、学習パラメータを記憶する記憶部と、入力層に入力される複数の入力データ及び記憶部に記憶された学習パラメータに基づいて、出力層から前記出力値を出力するための演算を行う演算部とを備える。集積回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等により構成され、これら以外のハードウェアが用いられてもよい。
ニューラルネットワーク構造１００Ｄは、集積回路により構成されてもよい。その場合、集積回路は、入力層及び出力層を構成する入出力部と、学習パラメータを記憶する記憶部と、入力層に入力される複数の入力データ及び記憶部に記憶された学習パラメータに基づいて、出力層から前記出力値を出力するための演算を行う演算部とを備える。集積回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等により構成され、これら以外のハードウェアが用いられてもよい。
【0045】
次に、式［数３－１］で規定される目標値ＹＹと式［数３－２］で規定される加算型演算出力ＢＹＡとの関係にて調整される損失関数について説明する。
【0046】
前記損失関数の値（損失量）の最小値の探索方法には少なくとも３通りの方法がある。
【0047】
第１の方法は式［数３－１］で規定される目標値ＹＹと式［数３－２］で規定される加算型演算出力ＢＹＡとの間の差分（｜ＹＹ－ＢＹＡ｜）を損失関数とし、特徴量であるべき指数ｐｎ、重み付けパラメータｗｎ、複数の学習用関数の係数ｑ、及び、バイアスパラメータｂを動かし損失量を直接計算し最小値を探索する方法である。
【0048】
第２の方法は式［数３－１］で規定される目標値ＹＹの平均値と標準偏差の比で規定される変動係数ＣＶ（標準偏差／平均値）を損失関数とし、特徴量であるべき指数ｐｎ、及び、複数の学習用関数の係数ｑを動かし最小値となる変動係数ＣＶの値（損失量）を探索することで、特徴量であるべき指数ｐｎ、一つの学習用関数Ｄｅ、及び、学習用関数の係数ｑが決定される。
【0049】
第３の方法は、第２の方法を用いて特徴量であるべき指数ｐｎ、一つの学習用関数Ｄｅ、及び、学習用関数Ｄｅの係数ｑが決定されたとき、下記の出力式［数３－３］ＺＺの変動係数ＣＶ（第２の変動係数ＣＶ’）を損失関数とし、特徴量である重み付けパラメータｗｎを勾配降下法で動かし最小値となる変動係数ＣＶ（第２の変動係数ＣＶ’）の値（損失量）を探索し重み付けパラメータｗｎを決定する方法である。
【0050】
第２の方法は、特徴量である複数の重み付けパラメータｗｎ、及び、バイアスパラメータｂを動かす必要が無い、また、第２、及び第３の方法のバイアスパラメータｂは一義的に決定されプログラムの構成上有利である。また、損失量である変動係数ＣＶをパラメータ更新毎に計算し記憶するため、例えば特徴量であるべき指数ｐｎ毎の損失量リスト、あるいは損失量に係るグラフを再計算する必要無く作成できる。実施形態では、損失関数に第２、及び、第３の方法を適宜採用する。
【0051】
演算装置１の出力層１２０Ｄから出力される出力式ＺＺ（＝ｆ（ＹＹ，ＢＹＡ））は下記の式［数３－３］に設計される。また、前記の損失関数の第２の方法、及び第３の方法によれば、特徴量であるバイアスパラメータＢ（Ｂ＝ｂａｓｅｂ）、及び重み付けパラメータの積Ｗは一義的に決定され、ＺＺ’＝ＺＺ／（Ｂ＊Ｗ）と置き換えて下記の式［数３－４］に単純化できる。換言すると、第２、第３の方法では、最初に、ＹＹの変動係数が最小となるように重み付けパラメータｗｎを決定し、これを使って、ＹＹ－ＢＹＡの差分が最小（つまりＹＹ＝ＢＹＡ）となるバイアスパラメータＢを計算する。
【0052】
［数３－３］
ＺＺ＝ｆ（ＹＹ，ＢＹＡ）
ＺＺ＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊…＊ＤＮ（ｐＮ＋ｗＮ）＊Ｄｅ＊Ｂ＊Ｗ
［数３－４］
ＺＺ’＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊…＊ＤＮ（ｐＮ＋ｗＮ）＊Ｄｅ
ＺＺ＝ｆ（ＹＹ，ＢＹＡ）
ＺＺ＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊…＊ＤＮ（ｐＮ＋ｗＮ）＊Ｄｅ＊Ｂ＊Ｗ
［数３－４］
ＺＺ’＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊…＊ＤＮ（ｐＮ＋ｗＮ）＊Ｄｅ
【0053】
出力式［数３－４］ＺＺ’は特徴量であるべき指数ｐｎを整数値、重み付けパラメータｗｎは±１に収まる程度の小数値を探索し、入力データＤｎのべき数値をｐｎ＋ｗｎの実数値の範囲で見つけることができる。
【0054】
特許文献１、２に例示される従来のニューラルネットワークの損失関数の最小値の探索方法に内在する問題について図３を用いて説明する。図３は横軸に重み付け特徴量ｗ、縦軸に損失量Ｌを表したイメージ図である。図３に示すように、特許文献１、２に例示されるニューラルネットワークの損失関数の最小値の探索方法では、勾配降下法を利用して損失（誤差）Ｌを最小になるように重み付けパラメータｗを微少量（Δｗ）動かしていく。この方法では最小と予測した損失（誤差）Ｌ（ローカルミニマム）よりさらに小さい点が存在しても、そこで探索が終了し。グローバルミニマムを探し出せないという勾配消失の問題点がある。この問題点の対処法には、１つに、パラメータｗを動かすステップ幅Δｗを大きくする。２つ目には入力データＤｎのサンプル数を全数使うのではなくサンプリングして量を減らしたデータ（ミニバッチ）を利用することでデータを粗くしローカルミニマムで終了してしまうポテンシャルを減らす方法がある。副作用として、前者は、ステップ幅Δｗを大きくし過ぎると精度が悪化しミニマム点を見逃してしまうリスクがある。後者は必ずしもローカルミニマムを防ぐことができる訳ではなくミニバッチのデータを作るにあたり試行を重ねる必要がある。いずれの対策も完全な対策ではなく、ローカルミニマムに陥ってしまわないためには、この２つの方法を組み合わせ評価できる程度に、利用者に、ニューラルネットワークだけでなく解決しようする問題についての知識や経験が求めれられるという問題点があった。
【0055】
本発明である演算装置１の損失関数の最小値の探索方法は、２段階の処理を行い前記の問題点を克服している。第１段階は前記の第２の方法を用いて、べき指数ｐｎを整数値で探索し損失（誤差）Ｌの最小となるべき指数を絞り込む。第２段階は前記の第３の方法を用いて、その絞り込んだ整数のべき指数ｐｎを使い、重み付けパラメータｗｎを勾配降下法で微少量動かして損失（誤差）Ｌの最小値を探索する。このように２段階の方法で処理することで、ローカルミニマムで終了してしまうことを防止できる。
【0056】
（第１の実施形態）
続いて、関係式を探索し発見する方法の具体例として第１の実施形態について説明する。以下では、前記の基本形態に係るニューラルネットワーク構造１００Ｄの基本原理の手順に沿い、本発明に該当する特徴部分を中心に具体例を説明する。
続いて、関係式を探索し発見する方法の具体例として第１の実施形態について説明する。以下では、前記の基本形態に係るニューラルネットワーク構造１００Ｄの基本原理の手順に沿い、本発明に該当する特徴部分を中心に具体例を説明する。
【0057】
昨今、高集積ＬＳＩを始めとした各種電子部品の小型化に併せてプリント配線板もファインパターン化と部品の狭ピッチ化、導体隙間の縮小化の技術が急速に進歩した結果、配線の断線あるいは絶縁信頼性の問題がクローズアップされている。信頼性評価をどのようにして行うか、その試験結果から寿命推定にあたってはそこに絶対的なものは無く、試験と経験的なものの繰り返しで技術者が判断せざるをえないという課題がある。この課題を解決する策として、一歩進んだ寿命予測の方法が望まれており、配線基板へ電子部品実装したセットの信頼性の高い寿命予測式を導くことが重要である。
【0058】
第１の実施形態では、プリント配線材に電子部品を実装した基板の信頼性評価実験 のデータから寿命予測式を導いた事例を説明する。
【0059】
プリント配線材として標準的なＦＲ－４材の基材、及び、電子部品を実装し、温度、湿度、電圧の３項目について信頼度試験の分流実験をそれぞれ複数の試料を用いて行い、故障と判断された平均寿命Ｌ（故障に至った平均時間）を出力値として縦軸に表したグラフを図４、図５に示す。図４は電圧を７５Ｖに固定し、湿度６０％、及び、９５％のときのアレニウスプロットである。図５は、電圧５０Ｖ、６５Ｖ及び、７５Ｖの試験点数を増やした電圧依存性グラフである。
【0060】
前記の図４、図５に基づく入力データを、実験温度５０℃、７５℃、８５℃を項目名Ｄ０に、実験湿度９５％、６０％を項目名Ｄ１に、実験電圧７５Ｖ、６５Ｖ、５０Ｖを項目名Ｄ２に分割し、故障と判断された寿命Ｌを項目名Ｄ３の値として図６の表に示す。
【0061】
演算装置１は、［数３－４］に基づく出力式（関係式）ＺＺ’の特徴量である４次元のべき指数ｐｎ、４次元の重み付けパラメータｗｎ、及び学習用関数Ｄｅとその係数ｑを抽出する。より具体的には、演算装置１は、前記の図６の表のサンプル数１１個の４次元入力データＤｎ＝（Ｄ０，Ｄ１，Ｄ２，Ｄ３）から当該現象において入力項目データ間に成り立つ［数３－４］に基づく出力式（関係式）ＺＺ’の特徴量ｐｎ、ｗｎ、及びＤｅ並びにその係数ｑを、前記の基本形態のフローに従い探索し抽出する。
【0062】
前記の信頼度試験結果の４次元入力データＤｎ＝（Ｄ０，Ｄ１，Ｄ２，Ｄ３）の項目名Ｄ０、Ｄ１、及びＤ２は、それぞれ温度、湿度、電圧のパラメータ値であり、Ｄ３は１次元の故障と判断された平均寿命Ｌ（故障に至った平均時間）の出力値である。項目名Ｄ３の出力式こそ目的とする導きたい平均寿命Ｌの寿命予測式であることから、［数３－４］に基づく出力式（関係式）ＺＺ’は特徴量ｐ３を例えば－１に、及びｗ３を０に固定すると下記の式［数３－５］に表すことができ、平均寿命ＬのＤ３を解にした式は［数３－６］に表すことができる。
【0063】
［数３－５］
ＺＺ’＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊Ｄ２（ｐ２＋ｗ２）＊Ｄ３（－１）＊Ｄｅ
［数３－６］
Ｄ３＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊Ｄ２（ｐ２＋ｗ２）＊Ｄｅ／ＺＺ’
ＺＺ’＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊Ｄ２（ｐ２＋ｗ２）＊Ｄ３（－１）＊Ｄｅ
［数３－６］
Ｄ３＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊Ｄ２（ｐ２＋ｗ２）＊Ｄｅ／ＺＺ’
【0064】
前記の例のように、学習用関数Ｄｅを出力式ＺＺ’に利用する場合、入力データＤｎのいずれか１つに目的とする導きたい出力項目が含まれ、その出力項目を指定し特徴量ｐｎを－１、及び１に、ｗｎを０に固定できる機能を演算装置１に含む。この機能はコンピュータの特徴量の探索時間短縮に寄与する。
【0065】
ここで、前記の学習用関数Ｄｅ＝ｇ（ｑ，Ｄｎ）として利用可能な関数の例について説明する。学習用関数は、学習用関数ノード１４１で用いる関数のことであり、代表例として古典力学に用いる統計分布関数であるＭａｘｗｅｌｌ－Ｂｏｌｚｍａｎ分布の型がある。その型はＤｅ＝ｅｘｐ（ｑ／（Ｄ０））と表現できる。ｅｘｐ（）内の要素である特徴量ｑは設定した所定の範囲の値の幅を所定の刻み量でスキャンして得られる。Ｄ０は入力データＤｎ＝（Ｄ０,Ｄ１,…,ＤＮ）の中の例えばＤ０で構成される。量子物理学の代表的なものとして、フェルミ・ディラック分布関数はＤｅ＝１／（１＋ｅｘｐ（ｑ／（Ｄ０）））、ボーズ粒子の分布関数はＤｅ＝１／（ｅｘｐ（ｑ／（Ｄ０））－１）、標準正規分布関数はＤｅ＝ｅｘｐ（－ｑ＊Ｄ０２）の型がある。このような典型的な型のｅｘｐ（）内の要素には入力データＤｎのいずれか１つの項目を用いる場合が多いが、その限りではないため入力データＤｎの複数項目の積、及び比の組み合わせを予め学習用関数の種類に複数登録し、最も相応しい学習用関数Ｄｅを探索し抽出する。入力データＤｎの２次元入力項目Ｄ０、Ｄ１を用いた学習用関数の例を図７に示す。次元数は最大入力項目数の組み合わせでもよく、入力データ項目の特徴から項目数を絞ってもよい。また、統計分布関数以外に波の振動を表現できる双極線三角関数、あるいは、ネイピア数（ｅ）への収束過程を表す関数の型も学習用関数として用いることができる。後者のネイピア数（ｅ）への収束過程を表す関数の型は、ｑを利率（例えば年利）、Ｄ０を利率の分割数、Ｄ１を運用回数としたときの複利計算式Ｄｅ＝（１＋ｑ／Ｄ０）＾Ｄ１の型と同じであり、入力データから経済活動に内在された式の特徴を掴むことができる。これらは学習用関数Ｄｅとして利用可能な関数の一例であり、これ以外にも様々な種類の関数を学習用関数として用いることができる。以下、これらの関数を総称してＥｕｒｅｋａ関数とも呼ぶ。
【0066】
第１段階は４次元入力データＤｎ＝（Ｄ０，Ｄ１，Ｄ２，Ｄ３）を前記のニューラルネットワーク構造１００Ｄの入力層１１０Ｄに入力し、整数値のべき指数と最も相応しい学習用関数Ｄｅを探索する。
【0067】
４次元入力データＤｎ＝（Ｄ０，Ｄ１，Ｄ２，Ｄ３）は変換層１４０に渡され、それぞれのべき乗値Ｄｎｐｎに変換し、隠れ層１３０の隠れ層入力ノード１３３に渡される。特徴量である４次元の整数べき指数ｐｎの初期値はふり幅を－９～９の範囲に設定し（－９，－９，－９，－９）をスタート値に（０，０，０，０）まで、１ステップずつスキャンされる。整数べき指数ｐｎの初期値はふり幅はユーザが任意に設定でき－６～６等に短くしてもよい。前記したように本事例では項目名Ｄ３を平均寿命Ｌの出力式に指定することで特徴量ｐ３を－１、及び１に固定される。また、（０，０，０，０）は特異点であり除かれる。
【0068】
変換層１４０の学習用関数ノード１４１のＤｅには登録されている複数の学習用関数が並列にセットされ、隠れ層１３０の隠れ層入力ノード１３３に渡される。
【0069】
隠れ層１３０の隠れ層入力ノード１３３にセットされた、それぞれのべき乗値Ｄｎｐｎ、及び複数の学習用関数Ｄｅは第１の隠れ層ノード１３１で［数３－１］式ＹＹの演算処理が行われる。前記したように第１段階では、［数３－１］式ＹＹの特徴量である重み付けパラメータｗｎは全て０、重み付けパラメータの積Ｗは１に固定され、複数の学習用関数Ｄｅに対してべき乗値の積で表されるＹＹ＝Ｄ０ｐ０＊Ｄ１ｐ１＊Ｄ２ｐ２＊Ｄ３ｐ３＊Ｄｅが演算される。
【0070】
演算装置１は、前記の［数３－１］式ＹＹの演算値から変動係数ＣＶ（損失量）の最小値となる一つの学習用関数Ｄｅと学習用関数の係数ｑを決定するためにｑ値を所定の範囲と刻みでスキャンする。変動係数ＣＶ（損失量）が最小となった一つの学習用関数Ｄｅとｑ値が決定されると、機械学習装置１Ａの学習パラメータ記憶部３に整数べき指数ｐｎ、学習用関数Ｄｅの整理Ｎｏ．及び学習用関数の係数ｑの特徴量、及び変動係数ＣＶ（損失量）が記憶される。
【0071】
前記したように、整数べき指数ｐｎは初期値（－９，－９，－９，－９）から（０，０，０，０）まで繰り返し、機械学習装置１Ａの学習パラメータ記憶部３に整数べき指数ｐｎ、学習用関数Ｄｅの整理Ｎｏ．及び学習用関数の係数ｑの特徴量、及び変動係数ＣＶ（損失量）を記憶し、整数値のべき指数と最も相応しい学習用関数Ｄｅの探索を行い第１段階を完了する。次に判別処理部２１は機械学習装置１Ａの学習パラメータ記憶部３から整数べき指数ｐｎ、学習用関数Ｄｅの整理Ｎｏ．及び学習用関数の係数ｑの特徴量、及び変動係数ＣＶ（損失量）の値を受け取り、変動係数ＣＶ（損失量）の小さい順リストを作成しディスプレイ等に出力する。
【0072】
図８に出力された変動係数ＣＶ（損失量）の小さい順のリストを示す。但し、説明の便宜上ｐ３＝－１のときのリストを表示している。図８から理解されるように、図８のリストは、前記べき指数の優劣順を前記変動係数の値順に出力したものとなっている。
【0073】
図８の変動係数ＣＶ（損失量）の小さい順リストから、最小の特徴量組み合わせはｐｎ＝（０，－３，－１，－１）、学習用関数はｅｘｐ（ｑ／Ｄ０）、係数ｑ＝１０１１６である。これより前記の出力式（関係式）［数３－５］ＺＺ’は下記の式［数３－７］に表すことができ、平均寿命ＬのＤ３を解にした式は［数３－８］に表すことができる。
【0074】
［数３－７］
ＺＺ’＝Ｄ０（０＋ｗ０）＊Ｄ１（－３＋ｗ１）＊Ｄ２（－１＋ｗ２）＊Ｄ３（－１）＊ｅｘｐ（ｑ／Ｄ０）
［数３－８］
Ｄ３＝Ｄ０（０＋ｗ０）＊Ｄ１（－３＋ｗ１）＊Ｄ２（－１＋ｗ２）＊ｅｘｐ（ｑ／Ｄ０）／ＺＺ’
ＺＺ’＝Ｄ０（０＋ｗ０）＊Ｄ１（－３＋ｗ１）＊Ｄ２（－１＋ｗ２）＊Ｄ３（－１）＊ｅｘｐ（ｑ／Ｄ０）
［数３－８］
Ｄ３＝Ｄ０（０＋ｗ０）＊Ｄ１（－３＋ｗ１）＊Ｄ２（－１＋ｗ２）＊ｅｘｐ（ｑ／Ｄ０）／ＺＺ’
【0075】
第２段階では、変動係数ＣＶ（損失量）の最も小さかった整数べき指数ｐｎ、学習用関数Ｄｅの整理Ｎｏ．及び学習用関数の係数ｑの特徴量の４次元の入力データを判別処理部２１から判別結果処理部６を通して学習データ処理部５に出力させ、重み付けパラメータｗｎの特徴量を探索する。
【0076】
第１段階処理で得られた特徴量を受けて第２段階へ進む流れは、変動係数ＣＶ（損失量）の最小の特徴量を第２段階へ渡す連続処理でもよく、一旦ストップし、変動係数ＣＶ（損失量）リストのデータから特徴量を指定し第２段階の処理へマニュアルで入力する流れでもよい。
【0077】
学習データ処理部５は、学習用関数Ｄｅの整理Ｎｏ．に対応した学習用関数Ｄｅを学習用関数記憶部８から受け取り、整数べき指数ｐｎ、学習用関数Ｄｅの整理Ｎｏ．に対応した学習用関数、及び学習用関数の係数ｑを学習部２０に出力する。
【0078】
前記の学習データ処理部５から学習部２０へのデータ受け渡しの流れは、ニューラルネットワーク構造１００Ｄの入力層１１０Ｄから変換層１４０の流れであり、隠れ層入力ノード１３３に入力データが変換されセットされる。
【0079】
隠れ層入力ノード１３３のデータは、それぞれ第１の隠れ層ノード１３１、及び第２の隠れ層ノード１３２に渡され、前記の損失関数計算方法である第３の方法を用いて変動係数ＣＶの値（損失量）が計算され、重み付けパラメータｗｎの特徴量が決定される。
【0080】
前記変動係数ＣＶの値（損失量）が最小値となるときの特徴である重み付けパラメータｗｎは（０，０，－０．４）が抽出される。出力式（関係式）［数３－７］のＺＺ’は［数３－９］に表され、ＺＺ’の平均値に近似する。このＺＺ’の平均値をＺＺ’（平均）と定義すると、平均寿命ＬのＤ３を解にした式（第２の方程式）は［数３－１０］に表される。
【0081】
［数３－９］
ＺＺ’＝Ｄ１（－３）＊Ｄ２（－１。４）＊Ｄ３（－１）＊ｅｘｐ（ｑ／Ｄ０）
［数３－１０］
Ｄ３＝Ｄ１（－３）＊Ｄ２（－１．４）＊ｅｘｐ（ｑ／Ｄ０）／ＺＺ’（平均）
ＺＺ’＝Ｄ１（－３）＊Ｄ２（－１。４）＊Ｄ３（－１）＊ｅｘｐ（ｑ／Ｄ０）
［数３－１０］
Ｄ３＝Ｄ１（－３）＊Ｄ２（－１．４）＊ｅｘｐ（ｑ／Ｄ０）／ＺＺ’（平均）
【0082】
前記の図６のサンプル数１１個に対応した出力式（関係式）［数３－９］で計算されたＺＺ’の値を図９に表記した。この表から出力式（関係式）ＺＺ’の平均値は１．７６Ｅ＋０９、標準偏差は７．８３＋Ｅ０７であり、ばらつきの少ない定数近似ができていることが判る。前記のＺＺ’（平均）の平均値を便宜上Ａ＝１／ＺＺ’（平均値）に置き換えると、式［数３－１０］は式［数３－１１］に表現できる。なお、図９のＺＺ’の列の値は、Ｅ表記である。
［数３－１１］
Ｄ３＝Ａ＊Ｄ１（－３）＊Ｄ２（－１。４）＊ｅｘｐ（ｑ／Ｄ０）
ｑ＝１０１１６ 定数
Ａ＝５．６８Ｅ－１０ 定数
［数３－１１］
Ｄ３＝Ａ＊Ｄ１（－３）＊Ｄ２（－１。４）＊ｅｘｐ（ｑ／Ｄ０）
ｑ＝１０１１６ 定数
Ａ＝５．６８Ｅ－１０ 定数
【0083】
前記の平均寿命ＬのＤ３を解にした式は、前記した手順に従ってコンピュータアルゴリズムにより自動計算される。さらに、平均寿命ＬのＤ３の相関関数グラフが表示され、図１０に横軸に平均寿命ＬのＤ３の測定値、式［数３－１０］による寿命計算（予測）値を縦軸に表した。相関係数は０．９９９と非常に強い相関を示している。
【0084】
このように、本発明の演算装置１は、少ない入力データから精度の高い寿命予測式を導くことができる。さらに、本発明の演算装置１は、その得られた寿命予測式の分析にも効果を発揮する。［数３－１１］は項目名Ｄｎを測定名に置き換えて式［数３－１２］（第２の方程式）に表すことができる。
【0085】
［数３－１２］
Ｌ＝Ａ＊Ｈ（－３）＊Ｖ（－１、４）＊ｅｘｐ（Ｅｂ／ｋＴ）
Ａ＝５．６８Ｅ－１０ 定数
ｎ＝１．４ （逆）ｎ乗則電圧加速係数
ｋ＝８．６１５７Ｅ－５ｅＶ／Ｋ ボルツマン定数
Ｅｂ＝０．８７２ｅＶ 活性化エネルギー
Ｌ＝Ａ＊Ｈ（－３）＊Ｖ（－１、４）＊ｅｘｐ（Ｅｂ／ｋＴ）
Ａ＝５．６８Ｅ－１０ 定数
ｎ＝１．４ （逆）ｎ乗則電圧加速係数
ｋ＝８．６１５７Ｅ－５ｅＶ／Ｋ ボルツマン定数
Ｅｂ＝０．８７２ｅＶ 活性化エネルギー
【0086】
式［数３－１２］は、電子部品の故障は電圧Ｖに対して逆ｎ乗則の関係を持つｅｘｐ（Ｅｂ／ｋＴ）の型を含む化学反応論で知られている経験則のアレニウスモデル式を測定データに最も相応しい一つの式として発見しており、人に解りやすく、モデルの分析・解析を進める上で役立つ。
【0087】
モデルの分析・解析を進める上で、前記の図８の変動係数ＣＶ（損失量）の小さい順リストが役に立つ。図８を参照すると、ｐｎ＝（０～－９，－３，－１，－１）の損失は上位１０を占めており、－１．１１１～－１．０９７の範囲に集中していることが判る。つまり温度Ｔのべき指数ｐ０は０～－９のどの値でも大差無い損失量である。技術者の眼には、測定結果を表現する複数の式に有意差が認められないとき図８のリストから、既知の理論式であるアイリングモデル式が上位２番目にあり、これも視野に入れて、どの方程式を採用するかの判断基準にすることができる。図８のリストからアイリングモデル式のｐｎは（－１，－３，－１，－１）で表され、学習用関数の係数ｑは９７７２である特徴量を使い、前記した第２段階からスタートし、重み付けパラメータｗｎの特徴量を探索するとｗｎは（０，０，－０．４）と同等な値が得られ、アイリングモデルの寿命予測式は下記式［数３－１３］に表すことができる。相関係数は０．９９９と計算され、前記［数３－１２］の相関係数と遜色無く、どちらの式を採用しても高い精度の得られるモデル式であることが判る。
【0088】
［数３－１３］
Ｌ＝Ａ＊Ｔ（－１）＊Ｈ（－３）＊Ｖ（－１、４）＊ｅｘｐ（Ｅｂ／ｋＴ）
Ａ＝５．３２Ｅ－７ 定数
ｎ＝１．４ （逆）ｎ乗則電圧加速係数
ｋ＝８．６１５７Ｅ－５ｅＶ／Ｋ ボルツマン定数
Ｅｂ＝０．８４２ｅＶ アイリングモデルの活性化エネルギー
Ｌ＝Ａ＊Ｔ（－１）＊Ｈ（－３）＊Ｖ（－１、４）＊ｅｘｐ（Ｅｂ／ｋＴ）
Ａ＝５．３２Ｅ－７ 定数
ｎ＝１．４ （逆）ｎ乗則電圧加速係数
ｋ＝８．６１５７Ｅ－５ｅＶ／Ｋ ボルツマン定数
Ｅｂ＝０．８４２ｅＶ アイリングモデルの活性化エネルギー
【0089】
前記のように、本発明を利用することで、寿命予測式の導出にあたり、試験と経験的なものの繰り返しで技術者が判断せざるをえないという課題を解決し、論理的に説明できる精度の高い寿命予測式（第２の方程式）を、自動的に一貫したコンピュータ処理によりフィッテングし精度よく導くことができる。また、コンピュータに、このようにして導出した寿命予測式（第２の方程式）を記憶する記憶部（方程式記憶部）と、この第２の方程式を用いて入力値に対する出力を計算する計算部と、を備えさせることで、電子部品の寿命の予測を行う方程式利用装置を構成することができる。
【0090】
（第２の実施形態）
続いて、関係式を探索し発見する方法の第２の具体例として第２の実施形態について説明する。ドイツの物理学者であるPlanck博士は黒体輻射スペクトル分布の温度、波長、強度のデータを元に、波長λ全域を内挿(フィッテイング)し非常によく合う有名なスペクトル分布の実験式を見出したことで知られている。
続いて、関係式を探索し発見する方法の第２の具体例として第２の実施形態について説明する。ドイツの物理学者であるPlanck博士は黒体輻射スペクトル分布の温度、波長、強度のデータを元に、波長λ全域を内挿(フィッテイング)し非常によく合う有名なスペクトル分布の実験式を見出したことで知られている。
【0091】
第２の実施形態では、文献にある黒体輻射スペクトル分布のグラフのデータを抽出し、本発明を用いてスペクトル分布の実験式を僅かなデータから簡単に自動的に導く方法を第１の実施形態に倣い説明する。
【0092】
図１１は、天野 清著「熱輻射論と量子論の起源」の第３図として掲載されているものであり、横軸に波長λ、縦軸に強度Ｅ、及び、温度Ｔをパラメータにしたグラフであり観測値をドット表示している。図１２は、図１１のデータから、実験波長λを項目名Ｄ０に、実験温度Ｔを項目名Ｄ１に、実験強度Ｅを項目名Ｄ２に分割し、それらの値を抽出した表である。
【0093】
前記の図１２の表のサンプル数２１個の３次元入力データＤｎ＝（Ｄ０，Ｄ１，Ｄ２）から当該現象において入力項目データ間に成り立つ出力式（関係式）を、前記の式［数３－４］ＺＺ’の特徴量である３次元のべき指数ｐｎ、３次元の重み付けパラメータｗｎ、及び学習用関数Ｄｅとその係数ｑを抽出し、最終的には実験強度Ｅを表現する式（項目名Ｄ２の式）を導く。本方法の手順は第１の実施形態と同じであり、特徴部分のみを説明する。
【0094】
前記の３次元入力データＤｎ＝（Ｄ０，Ｄ１，Ｄ２）の項目名Ｄ０、及び、Ｄ１は、それぞれ波長、温度のパラメータ値であり、Ｄ２は１次元の強度Ｅの出力値である。項目名Ｄ２の出力式が導きたいスペクトル分布の実験式であることから、［数３－４］に基づく出力式（関係式）ＺＺ’は特徴量ｐ２を－１、及び１に、ｗ２を０に固定すると下記の式［数３－１５］に表すことができ、強度ＥのＤ２を解にした式は［数３－１６］に表すことができる。但し、説明の便宜上ｐ２＝－１とした場合について表示している。
【0095】
［数３－１５］
ＺＺ’＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊Ｄ２（－１）＊Ｄｅ
［数３－１６］
Ｄ２＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊Ｄｅ／ＺＺ’
ＺＺ’＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊Ｄ２（－１）＊Ｄｅ
［数３－１６］
Ｄ２＝Ｄ０（ｐ０＋ｗ０）＊Ｄ１（ｐ１＋ｗ１）＊Ｄｅ／ＺＺ’
【0096】
第１段階の手順は３次元入力データＤｎ＝（Ｄ０，Ｄ１，Ｄ２）を前記のニューラルネットワーク構造１００Ｄの入力層１１０Ｄに入力され、整数値のべき指数と最も相応しい学習用関数Ｄｅの探索が行われる。特徴量である３次元の整数べき指数ｐｎの初期値はふり幅を－９～９の範囲に設定し（－９，－９，－９）をスタート値に（０，０，０）まで、１ステップずつスキャンされる。
【0097】
第１段階を完了すると、変動係数ＣＶ（損失量）の値の最小値である整数値のべき指数ｐｎと最も相応しい学習用関数Ｄｅとその係数ｑが決定され、変動係数ＣＶ（損失量）の小さい順リストを作成しディスプレイ等に出力される。
【0098】
【0099】
図１３の変動係数ＣＶの小さい順リストから、一番の最小の特徴量組み合わせはｐｎ＝（－５，０，－１）、学習用関数は１／（ｅｘｐ（ｑ／Ｄ０／Ｄ１）－１）、係数ｑ＝１３９６４を抽出している。これより前記の出力式（関係式）［数３－１５］ＺＺ’は下記の式［数３－１７］に表すことができ、強度ＥのＤ２を解にした式は［数３－１８］に表すことができる。
【0100】
［数３－１７］
ＺＺ’＝Ｄ０（－５）＊Ｄ２（－１）／（ｅｘｐ（ｑ／Ｄ０／Ｄ１）－１）
［数３－１８］
Ｄ２＝Ｄ０（－５）／（ｅｘｐ（ｑ／Ｄ０／Ｄ１）－１）／ＺＺ’
ＺＺ’＝Ｄ０（－５）＊Ｄ２（－１）／（ｅｘｐ（ｑ／Ｄ０／Ｄ１）－１）
［数３－１８］
Ｄ２＝Ｄ０（－５）／（ｅｘｐ（ｑ／Ｄ０／Ｄ１）－１）／ＺＺ’
【0101】
第２段階では、整数べき指数ｐｎ＝（－５，０，－１）、学習用関数、１／（ｅｘｐ（ｑ／Ｄ０／Ｄ１）－１）、及び、学習用関数の係数ｑ＝１４１２５の特徴量から重み付けパラメータｗｎの特徴量を探索する手順が行われる。
【0102】
前記手順の結果、変動係数ＣＶの値（損失量）が最小値となるときの特徴である重み付けパラメータｗｎとして（０，０）が抽出される。つまり、小数値の重み付け特徴量ｗ０，ｗ１は共に０が最適値であり、式［数３－１７］のＺＺ’はは単純な整数値のべき指数の式で構成されていることが判り［数３－１９］に表され、ＺＺ’の平均値であるＺＺ’（平均）は、３．４Ｅ－６と出力される。便宜上、ｃ１＝１／ＺＺ’、ｑ＝ｃ２に置き換え、Ｄ０を項目名の波長λ、Ｄ１を温度Ｔ、Ｄ２を強度Ｅに置き換えて、強度Ｅを解にした式は［数３－２０］に表される。
【0103】
［数３－１９］
ＺＺ’＝Ｄ０（－５）＊Ｄ２（－１）／（ｅｘｐ（ｑ／Ｄ０／Ｄ１）－１）
ｑ＝１．４ Ｅ４
ＺＺ’（平均値）＝３．４Ｅ－６ 定数
［数３－２０］
Ｅ＝ｃ１＊λ（－５）／（ｅｘｐ（ｃ２／（λ＊Ｔ））－１）
ｃ１＝２．８Ｅ５ 定数（１／ＺＺ’）
ｃ２＝１．４ Ｅ４ 定数（ｑ）
ＺＺ’＝Ｄ０（－５）＊Ｄ２（－１）／（ｅｘｐ（ｑ／Ｄ０／Ｄ１）－１）
ｑ＝１．４ Ｅ４
ＺＺ’（平均値）＝３．４Ｅ－６ 定数
［数３－２０］
Ｅ＝ｃ１＊λ（－５）／（ｅｘｐ（ｃ２／（λ＊Ｔ））－１）
ｃ１＝２．８Ｅ５ 定数（１／ＺＺ’）
ｃ２＝１．４ Ｅ４ 定数（ｑ）
【0104】
前記式［数３－２０］の式は、Ｐｌａｎｃｋ博士の発見した黒体輻射のスペクトル分布の実験式と同じである。
【0105】
確認のため図１１に倣い、横軸に波長λ、縦軸に強度Ｅをとり、図１２の測定データをドット表示、［数３－２０］式の値を実線としたグラフを図１４に示す。相関係数は０．９９７であり実験値と実験式はよい一致を示していることが判る。
【0106】
前記した第１の実施例、及び、第２の実施例で示したように、本発明は測定データから第１の手順で整数のべき指数ｐｎを１シフトの盲目的スキャン探索を行い、第２の手順で小数のべき指数ｗｎを勾配降下法を用いて探索を実施する２段階のべき指数探索を行い、損失量が前記したローカルミニマムに留まることを防止している。しかも自然界においては、べき指数が単純な整数値である場合も多く見受けられ方程式発見において有効な手法である。また、整数のべき指数のみを入力項目の次元数分相当だけ探索するのは探索時間への影響も少ないが、第１の手順から整数値をベースにした勾配降下法による探索を用いてもよい。
【0107】
さらに本発明では、損失関数に変動係数ＣＶを採用できるという他のニューラルネットワークには無い利点がある。前記の事例で示したように変動係数ＣＶ（損失量）の順位リストが作成され、べき指数と変動係数ＣＶ（損失量）の関係を可視化、及び、分析を可能にした。この利点からも第１の手順へ整数のべき指数ｐｎを１シフトの盲目的スキャン探索を選択する価値がある。
【0108】
前記に示した本発明であるＥｕｒｅｋａ関数（学習用関数）を加味したべき指数型ニューラルネットワークの名称は統一し、以下、べき指数型ニューラルネットワークと呼ぶ。
【0109】
（第３の実施形態）
【0110】
次に、物の判別に本発明であるべき指数型ニューラルネットワークを利用し高判別率を得る関数を導く方法について説明する。
【0111】
以下、分類対象物が、例えば異なるＡ，Ｂ，Ｃの３種類存在し、その種類を判別するためのデータ項目（４次元データ）としてＤ０、Ｄ１、Ｄ２、Ｄ３の４項目を選択して判別する方法を考える。この場合、異なるＡ，Ｂ，Ｃの判別・分類方法には、２つの方法が考えられる。
【0112】
まず、１つめの判別方法について説明する。最初に分類対象物Ａ群、Ｂ群、Ｃ群の学習データを用いて、それぞれの群内に成り立つデータ間の関係に最も誤差の少ない関数を探索する。次に、発見したそれぞれの３つの関数に閾値を設定し、例えば、分類Ａに属する４次元データに分類Ｂの式を適用すると閾値を基準とした外れ値が得られる。これらの関数を用いて、未知の分類対象物から得た４次元のデータから、当該分類対象物を精度よく分類することができる。
【0113】
前記の方法は、べき指数型ニューラルネットワークの関係式の探索手順を利用し、精度の高いＡ群を表す関数、Ｂ群を表す関数、Ｃ群を表す関数を決定し、それぞれの式に閾値を設定し判別式に用いる方法である。
【0114】
２つめの分類方法は、分類対象物Ａ群、Ｂ群、Ｃ群の判別率を最大にする式を探索し、判別式に利用する方法である。
【0115】
２つめの分類方法について、判別対象物Ｉｒｉｓ（あやめ）の花分類の実施例を用いて説明する。以下、特性の異なる判別式の中から、前記判別式の識別性能と、前記変動係数の値とに基づいて、複数の判別式を選択し、これらの判別式を用いて判別対象物Ｉｒｉｓ（あやめ）の花分類を行う方法を説明する。
【0116】
物の判別にあたり判別率は、強化学習によるところの報酬と同じ意味で扱うことができる。前記の関数の探索に変動係数ＣＶを損失量とした昇順の順位リストを用いたのと同様に、整数のべき指数ｐｎを探索し得られた報酬（判別率）の降順の順位リストを利用して最大の報酬（判別率）を得られる報酬関数（判別式）を決定する。
【0117】
以下、３種類のあやめ（ｓｅｔｏｓａ，ｖｅｒｓｉｃｏｌｏｒ，ｖｉｒｇｉｎｉｃａ）の判別の例を用いて第３の実施形態を詳細に説明する。図１５及び図１６は、３種類のあやめのデータ（以下、「Ｉｒｉｓデータ」という。）の例を示す表である。図１５及び図１６の例では、Ｉｒｉｓデータとして、がく辺長と幅、花びら（花弁）長と幅を対応付けた４次元のデータを各５０個用意し、それぞれに整理番号として、Ａ群Ｎｏ．１～５０（ｓｅｔｏｓａ）、Ｂ群Ｎｏ．５１～１００（ｖｅｒｓｉｃｏｌｏｒ）、及びＣ群Ｎｏ．１０１～１５０（ｖｉｒｇｉｎｉｃａ）に割り振っている。
【0118】
上記Ｉｒｉｓデータの基本セットは機械学習の基本としてよく引用されており、非特許文献１に記載されている。
【0119】
図１５及び図１６のＩｒｉｓデータのがく辺長－がく辺幅、がく辺長－花びら長の相関グラフを図１７に示した。種類間のデータ比較から、ｓｅｔｏｓａは他の２種類からデータ間距離が離れているため、難なく区別できるが、ｖｅｒｓｉｃｏｌｏｒとｖｉｒｇｉｎｉｃａのデータ間距離は近く、分別は難しいデータ構成である。本事例ではｖｅｒｓｉｃｏｌｏｒを中心に、ｖｉｒｇｉｎｉｃａ、及びｓｅｔｏｓａとの判別率を最大に判別する具体例を説明する。
【0120】
図１のニューラルネットワーク構造１００Ｄの入力層１１０Ｄに入力されたｖｅｒｓｉｃｏｌｏｒ、ｖｉｒｇｉｎｉｃａ、及び、ｓｅｔｏｓａの学習データを用いて、べき指数ｐｎで構成される前記式［数３－１］を第１の隠れ層ノード１３１にて、重み付け特徴量ｗｎ＝０、学習用関数Ｄｅ＝１のべき乗値の積の式ＹＹの値がそれぞれ計算される。
【0121】
べき指数ｐｎは（－９，－９，－９，－９）から（０，０，０，０）までスキャンし、それぞれのべき指数ｐｎのべき乗値の積の式ＹＹの値をｖｅｒｓｉｃｏｌｏｒの値の群とｖｉｒｇｉｎｉｃａの値の群、及び、ｓｅｔｏｓａの値の群と比較し最大の報酬（判別率）を得られるべき乗値の積の式ＹＹの値の上限、下限の閾値が計算されて、それぞれのべき指数ｐｎに対応した報酬（判別率）が記憶されリスト化される。
【0122】
このとき、べき指数ｐｎの要素の絶対値に１、または、絶対値の素数の値を一つも含まないべき指数ｐｎと、全ての絶対値の素数の値が同じべき指数ｐｎは演算から除外することが好ましい。例えば、べき指数ｐｎ＝（－２，－１，３，１）のとき、２倍、３倍等の値である（－４，－２，６，２）、（－６，－３，９，３）、及び、べき指数ｐｎ＝（－１，－１，－１，－１）に対応した、（－２，－２，－２，－２）、（－３，－３，－３，－３）は数学的に報酬（判別率）が同値になるため除外する。このようにすることで、計算時間の短縮、及び、リストをシンプルにできる利点が得られる。
【0123】
また、本事例では、学習データの要素である、がく辺長、がく辺幅、がく辺長、及び、花びら長の４つの要素を全て使う判別式を探索するのは明らかであり、べき指数ｐｎの要素に１個でも０を含むべき指数ｐｎを除外している。
【0124】
図１８に、前記に計算された報酬（判別率）の降順リストの上位３０番までを示す。図１８から最大の報酬（判別率）は９９．３％であり４個存在している。ここで報酬（判別率）が同順であった場合、対象とする群の変動係数が小さい順にリスト化し優劣を付ける。これにより、べき乗値の積の式ＹＹの群の個々の値のばらつきが少ない、すなわち頑強（ロバスト）なべき指数ｐｎを上位とし優劣を付けることができる。
【0125】
図１８の最上位はｐｎ＝（－２、－１，４，１）のとき９９．３％（１４９個／１５０）が得られ、誤判別はＮｏ．８４の１個である。下記［数３－２１］に、その式（判別式ＡＡ）、及び、閾値、判定値を示す。
【0126】
［数３－２１］
ＹＹ＝Ｄ２４＊Ｄ３／（Ｄ０２＊Ｄ１） 判別式ＡＡ
上限閾値 ８．８
下限閾値 ０．２
判定値 Ａ＜０．２，０．２≦Ｂ≦８．８，Ｃ＞８．８
ＹＹ＝Ｄ２４＊Ｄ３／（Ｄ０２＊Ｄ１） 判別式ＡＡ
上限閾値 ８．８
下限閾値 ０．２
判定値 Ａ＜０．２，０．２≦Ｂ≦８．８，Ｃ＞８．８
【0127】
図１９に横軸にｉｒｉｓの花Ｎｏ．を、縦軸に判別式ＡＡの値をプロットしたグラフを示す。誤判別はｖｅｒｓｉｃｏｌｏｒのＮｏ．８４をｖｉｒｇｉｎｉｃａに誤判別していることが判る。
【0128】
前記の手順で得られた判別式ＡＡを用いて、花の分類先の未知の入力データを分類することができる。
【0129】
次に、判別率をさらに向上させる方法について説明する。本事例では既に９９．３％（１４９個／１５０）の判別率が得られており１００％分類を目指し探索を進める手法である。
【0130】
最初に、本発明の背景にある分類の考え方について説明する。分類とは、何らかの基準を人が設定し、その基準に基づいてカテゴリを複数作り、個々のものをいずれかのカテゴリ枠の中に入れていくことであり恣意性が含まれる、本事例のＩｒｉｓの花の分類も絶対的ではない。分類基準を人が設定するので、分類式が前記の第１の実施形態、及び、第２の実施形態で示したような自然則を基準とする１つの方程式に代表されるものでは無いことから、人の取るべき行動様式の一つである複数人による多数決判別を模擬し分類式に取り入れる。以下、べき指数型ニューラルネットワークを用いて、複数の判別式による多数決判別を分類式に取り入れる方法について説明する。
【0131】
前記の、判別式［数３－２１］を便宜上、判別式ＡＡと表す。また、未知の判別式ＡＢ、及び、判別式ＡＣを定義すると、多数決判別はＭＯＤＥ関数を用いて次式に表すことができる。
【0132】
［数３－２２］
Ｚ＝ＭＯＤＥ（ＡＡ，ＡＢ，ＡＣ）
Ｚ＝ＭＯＤＥ（ＡＡ，ＡＢ，ＡＣ）
【0133】
前記の多数判別式［数３－２２］のＭＯＤＥ関数は、例えば判別式ＡＡの判別結果がｖｉｒｇｉｎｉｃａ（記号Ｃ）、判別式ＡＢの判別結果がｖｅｒｓｉｃｏｌｏｒ（記号Ｂ）、及び、判別式ＡＣの判別結果がｖｅｒｓｉｃｏｌｏｒ（記号Ｂ）のとき、ＭＯＤＥ関数Ｚの出力は、ｖｅｒｓｉｃｏｌｏｒ（記号Ｂ）が出力される。あるいは判別式ＡＡ、判別式ＡＢ、及び、判別式ＡＣの判別結果が全て異なるか、最大数が複数のとき最初の最大数の記号が出力される。なお、判別式の数は、Ｚ＝ＭＯＤＥ（ＡＡ、ＡＢ、ＡＣ、ＡＤ、ＡＥ）のように、さらに複数用いてもよい。
【0134】
次に、前記の判別式ＡＢ、及び判別式ＡＣを探索する方法について具体例をもって説明する。
【0135】
前記の判別式ＡＡの１つの誤判別は花のＮｏ，８４をｖｅｒｓｉｃｏｌｏｒ（記号Ｂ）から、ｖｉｒｇｉｎｉｃａ（記号Ｃ）に間違えている。従って判別率を向上させるための条件は、判別式ＡＢは花のＮｏ，８４に正解を出すこと、但し、他の花Ｎｏ．を間違えてもよいが、判別率は高いものを選択すること。次に、判別式ＡＣは判別式ＡＡと判別式ＡＢの誤判定の花のＮｏ，に正解を出すこと、但し、他の花Ｎｏ．を間違えてもよいが、判別率は高いものを選択するという条件である。
【0136】
【0137】
図２０のリスト１番目のｐｎ＝（－１、３，－２，５）の判別率は９８．７％（１４８個／１５０）、誤判別は２つＮｏ．１３４、１３５であり、ＣをＢに間違えている。図２１に横軸にｉｒｉｓの花Ｎｏ．を、縦軸に判別式ＡＢの値をプロットしたグラフを示す。下記［数３－２３］に判別式ＡＢを示す。
【0138】
［数３－２３］
ＹＹ／Ｗ＝Ｄ１３／（Ｄ０＊Ｄ２２＊Ｄ３５） 判別式ＡＢ
上限閾値 ２１．０
下限閾値 １．１１Ｅ－２
判定値 Ａ＞２１．０，１．１１Ｅ－２≦Ｂ≦２１．０，Ｃ＜１．１１Ｅ－２
ＹＹ／Ｗ＝Ｄ１３／（Ｄ０＊Ｄ２２＊Ｄ３５） 判別式ＡＢ
上限閾値 ２１．０
下限閾値 １．１１Ｅ－２
判定値 Ａ＞２１．０，１．１１Ｅ－２≦Ｂ≦２１．０，Ｃ＜１．１１Ｅ－２
【0139】
図２０のリスト２番目のｐｎ＝（－１、２，７，－１）の判別率は９０．７％（１３６個／１５０）、誤判別は１４個Ｎｏ．１０２、１０７、１１４、１１５、１２０、１２２、１２４，１２７，１２８，１３９，１４２，１４３，１４６、１４７であり、ＣをＢに間違えている。図２２に横軸にｉｒｉｓの花Ｎｏ．を、縦軸に判別式ＡＣの値をプロットしたグラフを示す。下記［数３－２４］に判別式ＡＣを示す。判別式ＡＣの判別成績は芳しくないが、判別式ＡＡと判別式ＡＢが間違えるところに正解を出せるという尖った見方ができる式である。
【0140】
［数３－２４］
ＹＹ／Ｗ＝Ｄ１２＊Ｄ２７／（Ｄ０＊Ｄ３） 判別式ＡＣ
上限閾値 ６９．３Ｅ３
下限閾値 １．８Ｅ３
判定値 Ａ＜１．８Ｅ３，１．８Ｅ３≦Ｂ≦６９．３Ｅ３，Ｃ＞６９．３Ｅ３
ＹＹ／Ｗ＝Ｄ１２＊Ｄ２７／（Ｄ０＊Ｄ３） 判別式ＡＣ
上限閾値 ６９．３Ｅ３
下限閾値 １．８Ｅ３
判定値 Ａ＜１．８Ｅ３，１．８Ｅ３≦Ｂ≦６９．３Ｅ３，Ｃ＞６９．３Ｅ３
【0141】
前記したように、判別式ＡＡ式［数３－２１］、判別式ＡＢ式［数３－２３］、及び、判別式ＡＣ式［数３－２４］の３つの式を利用した多数決判別式［数３－２２］であるＺ＝ＭＯＤＥ（ＡＡ，ＡＢ，ＡＣ）を用いてＩｒｉｓの花の判別の学習データを分類した結果の表を図２３に示しており、判別率は１００％を達成している。
【0142】
３つの式の組み合わせには次のような特徴がある。それぞれ式のべき指数ｐｎの要素順は符号の向き（±）が異なるものを含む、べき指数０を境にした異なる象限を利用したべき乗値の積の式の組み合わせである。
【0143】
また、多数決判別を使わない判別方法の手段として、特許文献３による前記の図１８のリストで表現される式の出力値を、当該出力値の分散あるいは標準偏差に応じたポイント（スコア）に変換する手段と、前記ポイントを合算する手段と、を備え、前記合算したポイント（スコア）による判別対象物の判定結果が、最も高い判別率を得るように、それぞれの判別器出力のポイント（スコア）に重み付けを行うことで実現する方法も採用できる。これらの方法との比較において、本事例に説明した多数決判別方法は分類式がシンプルであり、特許文献３による方法は閾値を使わない利点がある。
【0144】
つまり、本発明は、自然に、べき指数の象限が異なる違った見方のできる複数の最適な式を探索・発見し組み合わせ、人の理解しやすい高精度な分類式を提示できる。
【0145】
前記の手順で示したように、機械学習のプロセス、データ、モデルの作成方法は透明である。従来のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）や機械学習のソリューションは複雑で不透明であることが多く、実利用段階になると工程や作成方法のはっきりしないものは信頼して使えないという懸念がある。本発明は、そのような懸念点を、方程式を導くことができるべき指数型ニューラルネットワークを構築し、モデル式の部品にべき乗値の積の式と学習用関数を準備し組み合わせることで、人が解釈できない問題を解決し、透明なＡＩ（Ｔｒａｎｓｐａｒｅｎｔ ＡＩ）を実現できる。
【符号の説明】
【0146】
１…演算装置、１Ａ…機械学習装置、１Ｂ…判別装置、
２…判別器学習部、３…学習パラメータ記憶部、４…学習データ記憶部、
５…学習データ処理部、６…判別結果処理部、７…判別データ取得部、
８…学習用関数記憶部、２０…学習部、２１…判別処理部、
１００Ｄ…ニューラルネットワーク構造、
１１０Ｄ…入力層、１２０Ｄ…出力層
１３０…隠れ層、１３１…第１の隠れノード、１３２…第２の隠れノード
１３３…隠れ層入力ノード、１４０…変換層、１４１…学習用関数ノード
２…判別器学習部、３…学習パラメータ記憶部、４…学習データ記憶部、
５…学習データ処理部、６…判別結果処理部、７…判別データ取得部、
８…学習用関数記憶部、２０…学習部、２１…判別処理部、
１００Ｄ…ニューラルネットワーク構造、
１１０Ｄ…入力層、１２０Ｄ…出力層
１３０…隠れ層、１３１…第１の隠れノード、１３２…第２の隠れノード
１３３…隠れ層入力ノード、１４０…変換層、１４１…学習用関数ノード
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
