(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-24
(45)【発行日】2024-06-03
(54)【発明の名称】ニューラルネットワーク演算方法及びデータ分類システム
(51)【国際特許分類】
G06N 3/08 20230101AFI20240527BHJP
G06N 3/048 20230101ALI20240527BHJP
G06F 18/241 20230101ALI20240527BHJP
【ＦＩ】
G06N3/08
G06N3/048
G06F18/241
【請求項の数】
10
(21)【出願番号】P 2023503449
(86)(22)【出願日】2021-08-02
(86)【国際出願番号】 JP2021028594
(87)【国際公開番号】W WO2023012863
(87)【国際公開日】2023-02-09
【審査請求日】2023-01-18
(73)【特許権者】
【識別番号】720000890
【氏名又は名称】大庭 富美男
(72)【発明者】
【氏名】大庭 富美男
【審査官】多賀 実
(56)【参考文献】
【文献】特開平１０－１３４０１８（ＪＰ，Ａ）
【文献】特開２００３－０３０６２２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｆ １８／００－１８／４０
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
Ｎ次元の入力データ要素（ｄ０，ｄ１，・・，ｄｎ，・・，ｄ（Ｎ－１））と重み付けパラメータｗｎのそれぞれのｂａｓｅべき乗値であるＤｎ及びＷｎの積とした目標値ＹＹと、次式で規定される入力データ要素ｄｎと重み付けパラメータｗｎとバイアスパラメータｂのｂａｓｅべき乗値Ｂの加算型演算出力ＢＹＡとの差分式｜ＹＹ－ＢＹＡ｜を損失関数Ｌとし、前記損失関数Ｌを最小化する演算により、前記重み付けパラメータｗｎと前記バイアスパラメータｂの値を抽出すること、を特徴とするニューラルネットワーク演算方法。但し、ｂａｓｅは１を除く正の数とする。【数3】
【請求項5】
Ｎ次元の入力データ要素（ｄ０，ｄ１，・・，ｄｎ，・・，ｄ（Ｎ－１））から切り出した２次元データ（ｄ０，ｄ１）を入力とし、次式によって規定されるｂａｓｅべき乗値の差分により計算される目標値ＹＹｓと、次式で規定される入力要素と差分の重み付けパラメータｓとバイアスＢのパラメータの差動型演算出力ＢＹＡｓとの差分式｜ＹＹｓ－ＢＹＡｓ｜を損失関数Ｌとし、前記損失Ｌを最小化する演算により、前記重み付けパラメータｓと前記バイアスＢのパラメータ値を抽出することを特徴とするニューラルネットワーク演算方法。但し、ｂａｓｅは１を除く正の数とする。【数4】
【数5】
【請求項6】
Ｎ次元の入力データ要素（ｄ０，ｄ１，・・，ｄｎ，・・，ｄ（Ｎ－１））から切り出した４次元データ（ｄ０，ｄ１，ｄ２，ｄ３）を入力とし、次式によって規定されるべき乗値の差分により計算される目標値ＹＹｓと、次式で規定される入力要素と差分の重み付けパラメータｓとバイアスＢのパラメータの差動型演算出力ＢＹＡｓとの差分式｜ＹＹｓ－ＢＹＡｓ｜を損失関数Ｌとし、前記損失Ｌを最小化する演算により、前記重み付けパラメータｓと前記バイアスＢのパラメータ値を抽出することを特徴とするニューラルネットワーク演算方法。【数6】
【数7】
【請求項10】
前記判別対象物の判定に用いたニューラルネットワーク判別器の出力値を、当該出力値の分散あるいは標準偏差に応じたポイントに変換する手段と、前記ポイントを合算する手段と、を備え、前記合算したポイントによる判別対象物の判定結果が、最も高い判別率を得るように、それぞれのニューラルネットワーク判別器出力のポイントに重み付けを行う請求項８又は９に記載のデータ分類システム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワーク演算方法及びデータ分類システムに関する。
【背景技術】
【0002】
ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の利用方法として分類問題に応用されている。例えばＡ群、Ｂ群の異なる分布データ（Ｄ０，Ｄ１，・・・，Ｄ（ｎ－１））を学習させ、特徴量パラメータを抽出し、新たな未知の入力データの属する群を判別し振り分けることができる。
それに用いる従来技術は、脳の神経細胞の情報伝達仕組みを数式モデル化したニューロン式を用いている。その構成は複数の入力を受け取り、それらの値を重み付きで足し合わせて出力する加算型ニューロン式で表される。
［数２１］
この加算型ニューロン式に活性化関数と呼ぶ非線形な関数（シグモイド関数、ＲｅＬＵ、ｔａｎｈ等が考案されている。）を作用させたものが、ニューロン伝達の基本構造式になる。
［数２２］
特徴量パラメータｗｎ、ｂはそれぞれ重み、バイアスと呼ぶ２種類の調整可能な変数であり、これらのパラメータについて少しずつ変化させることで、目標値との差分（一般的に差の２乗和がよく使われる）で設定した損失関数Ｌ（次式［数２３］をなるべくゼロに近づけて最適な学習パラメータｗｎ、ｂを特徴量として抽出できる。なお、次式［数２３］は、学習時の複数セット（バッチサイズ）Ｍ個を用いた時の損失関数の例であり、式中のｔｍは目標値、ｙｍは出力値を表す。
［数２３］
それに用いる従来技術は、脳の神経細胞の情報伝達仕組みを数式モデル化したニューロン式を用いている。その構成は複数の入力を受け取り、それらの値を重み付きで足し合わせて出力する加算型ニューロン式で表される。
［数２１］
この加算型ニューロン式に活性化関数と呼ぶ非線形な関数（シグモイド関数、ＲｅＬＵ、ｔａｎｈ等が考案されている。）を作用させたものが、ニューロン伝達の基本構造式になる。
［数２２］
特徴量パラメータｗｎ、ｂはそれぞれ重み、バイアスと呼ぶ２種類の調整可能な変数であり、これらのパラメータについて少しずつ変化させることで、目標値との差分（一般的に差の２乗和がよく使われる）で設定した損失関数Ｌ（次式［数２３］をなるべくゼロに近づけて最適な学習パラメータｗｎ、ｂを特徴量として抽出できる。なお、次式［数２３］は、学習時の複数セット（バッチサイズ）Ｍ個を用いた時の損失関数の例であり、式中のｔｍは目標値、ｙｍは出力値を表す。
［数２３］
【0003】
例えば分類問題で、Ａ群、Ｂ群の異なる分布データ（Ｄ０，Ｄ１，・・・，Ｄ（ｎ－１））の塊に対して、加算型ニューロン式でそれぞれ学習させ抽出されたｗｎ、ｂは、異なる特徴量数値が得られ、そのパラメータｗｎ、ｂを用い、未知の入力データから得られた出力を演算することで、どちらの群に属するものなのか判別できる技術である。
【0004】
特許文献１には、精度と訓練の効率とを向上できるというニューラルネ ット及びその
学習方法が開示されている。特許文献２には、誤り訂正符号の検査行列に基づいて階層型ニューラル ネットワークにおける一部のノード間に結合を行って疎結合部分を生成する
ことができるという判別器学習方法が開示されている。
学習方法が開示されている。特許文献２には、誤り訂正符号の検査行列に基づいて階層型ニューラル ネットワークにおける一部のノード間に結合を行って疎結合部分を生成する
ことができるという判別器学習方法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１７－０４９９０７号公報
【文献】国際公開第２０１５／１１８６８６号
【非特許文献】
【0006】
【文献】Ｅ．Ａｎｄｅｒｓｏｎ： Ｔｈｅ Ｓｐｅｃｉｅｓ Ｐｌｏｂｌｅｍ ｉｎ Ｉｒｉｓ．Ａｎｎａｌｓ ｏｆ ｔｈｅ Ｍｉｓｓｏｕｒｉ Ｂｏａｎｉｃａｌ Ｇａｒｄｅｎ，Ｖｏｌ．２３，４５７－５０９，１９３６：
【発明の概要】
【発明が解決しようとする課題】
【0007】
これには次のような欠点がある。
２種の特徴量パラメータｗｎ、ｂは、同時に少しずつ変化させ損失を最小近くに動かした非線形な演算値であり、それを用いた出力は複雑な演算結果となってしまうため判別結果の解釈が困難である。例えば、設計者が決めた損失関数の目標値が便宜上の符号（例：－１，１，１等のラベル固定値）であり、この符号に対する損失を最小になるように動かし、学習させて得られた特徴量パラメータを用いた出力の判別結果の解釈は難しく、誤判定の理由が明確でなかった。つまり説明責任が問題となってしまうため、ニューラルネットの実装への妨げになっている。
２種の特徴量パラメータｗｎ、ｂは、同時に少しずつ変化させ損失を最小近くに動かした非線形な演算値であり、それを用いた出力は複雑な演算結果となってしまうため判別結果の解釈が困難である。例えば、設計者が決めた損失関数の目標値が便宜上の符号（例：－１，１，１等のラベル固定値）であり、この符号に対する損失を最小になるように動かし、学習させて得られた特徴量パラメータを用いた出力の判別結果の解釈は難しく、誤判定の理由が明確でなかった。つまり説明責任が問題となってしまうため、ニューラルネットの実装への妨げになっている。
【0008】
特許文献１、２はニューラルネットの高速化を目的として、活性化関数（シグモイド関数等）を使わず、並列配置した三角関数を利用、あるいはニューロン間全ての足し算し逐次演算を行わず、誤り訂正符号等の行列表を配置してニューロン間の疎結合部分を形成し間引くことで演算精度に影響無く高速化を図っているが、演算の結果及び処理プロセスを対外的に説明できるものではない。
【課題を解決するための手段】
【0009】
第１の視点によれば、Ｎ次元の入力データ要素（ｄ０，ｄ１，・・，ｄｎ，・・，ｄ（Ｎ－１））と重み付けパラメータｗｎのそれぞれのｂａｓｅべき乗値であるＤｎ及びＷｎの積とした目標値ＹＹと、次式で規定される入力データ要素ｄｎと重み付けパラメータｗｎとバイアスパラメータｂのｂａｓｅべき乗値Ｂの加算型演算出力ＢＹＡとの差分式｜ＹＹ－ＢＹＡ｜を損失関数Ｌとし、前記損失関数Ｌを最小化する演算により、前記重み付けパラメータｗｎと前記バイアスパラメータｂの値を抽出することを特徴とするニューラルネットワーク演算方法が提供される。ここで、底（ｂａｓｅ）は、１を除く正の数である。
【0010】
第２の視点によれば、Ｎ次元の入力データ要素（ｄ０，ｄ１，・・，ｄｎ，・・，ｄ（Ｎ－１））から切り出した２次元データ（ｄ０，ｄ１）を入力とし、次式によって規定されるｂａｓｅべき乗値の差分により計算される目標値ＹＹと、次式で規定される入力要素と差分の重み付けパラメータｓとバイアスＢのパラメータの差動型演算出力ＢＹＡとの差分式｜ＹＹ－ＢＹＡ｜を損失関数Ｌとし、前記損失関数Ｌを最小化する演算により、前記重み付けパラメータｓと前記バイアスＢのパラメータ値を抽出すること、を特徴とするニューラルネットワーク演算方法が提供される。ここで、底（ｂａｓｅ）は、１を除く正の数である。
【発明の効果】
【0011】
本発明によれば、活性化関数を用いない加算型または差動型ニューラルネット演算を使うことで、ＡＩモデル作成プロセスを可視化し、データ間の関係や影響度合いから判別結果の解釈が可能であり、得られた知見からほかのＡＩモデルの生成も検討することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第１の実施形態に係るニューラルネットワーク装置の構成を示すブロック図である。
【図2】本発明の第１の実施形態のニューラルネットワーク装置によって構成される加算型ニューラルネットワークの構造を示す図である。
【図3】従来の単層ニューラルネットワークの構造を示す図である。
【図4】本発明の第１の実施形態に係るニューラルネットワーク装置による重み学習処理を示すフローチャートである。
【図5】本発明の第１の実施形態のニューラルネットワーク装置によって構成される多層型の加算型ニューラルネットワークの構造を示す図である。
【図6】本発明の第２の実施形態のニューラルネットワーク装置によって構成される２入力の差動型ニューラルネットワークの構造を示す図である。
【図7】本発明の第２の実施形態に係る２入力の差動型ニューラルネットワーク装置による重み学習処理を示すフローチャートである。
【図8】本発明の第２の実施形態のニューラルネットワーク装置によって構成される４入力の差動型ニューラルネットワークの構造を示す図である。
【図9】本発明の第２の実施形態に係る４入力の差動型ニューラルネットワーク装置による重み学習処理を示すフローチャートである。
【図10】本発明の第３の実施形態に係るニューラルネットワーク装置の構成を示すブロック図である。
【図11】本発明の第３の実施形態に係るニューラルネットワーク装置による判別システムを示すフローチャートである。
【図12】本発明の第３の実施形態に係るポイントを群毎に個別判別データ毎に合算する例の表である。
【図13】本発明の実施例１で用いるＩｒｉｓデータの表（１）である。
【図14】本発明の実施例１で用いるＩｒｉｓデータの表（２）である。
【図15】本発明の実施例１に係るＩｒｉｓデータのがく辺長－がく辺幅、がく辺長－花びら長の相関グラフである。
【図16】本発明の実施例１に係るニューラルネットワーク装置によって構成される多層型の加算型ニューラルネットワークの構造を示す図である。
【図17】本発明の実施例１に係る花の種類ｓｅｔｏｓａの学習過程の図である。
【図18】本発明の実施例１に係る花の種類ｖｅｒｓｉｃｏｌｏｒの学習過程の図である。
【図19】本発明の実施例１に係る花の種類ｖｉｒｇｉｎｉｃａの学習過程の図である。
【図20】本発明の実施例１に係る花の種類ｓｅｔｏｓａから抽出した特徴量に基づく出力の図である。
【図21】本発明の実施例１に係る花の種類ｖｅｒｓｉｃｏｌｏｒから抽出した特徴量に基づく出力の図である。
【図22】本発明の実施例１に係る花の種類ｖｉｒｇｉｎｉｃａから抽出した特徴量に基づく出力の図である。
【図23】本発明の実施例１に係る花の３種の特徴量纏め表である。
【図24】本発明の実施例１に係る判定加算ポイント表である。
【図25】本発明の実施例１に係る花の３種の判別結果の表（１）である。
【図26】本発明の実施例１に係る花の３種の判別結果の表（２）である。
【図27】本発明の実施例１に係る花の３種の判別結果の表（３）である。
【図28】本発明の実施例１に係る花の３種の判別結果の表（４）である。
【図29】本発明の実施例１に係る花の３種の判別結果の表（５）である。
【図30】本発明の実施例１に係る花の３種の判別結果の表（６）である。
【図31】本発明の実施例１に係る誤判別のレーダーチャートを用いた説明図である。
【図32】本発明の実施例２に係るニューラルネットワーク装置によって構成される４次元入力の差動型ニューラルネットワークの構造を示す図である。
【図33】本発明の実施例２に係る差動型演算スイッチ選択のための群間変動係数及び群間最小変動倍数の比較表である。
【図34】本発明の実施例２に係る花の３種類の学習過程の図（１）である。
【図35】本発明の実施例２に係る花の３種類の学習過程の図（２）である。
【図36】本発明の実施例２に係る花の３種類の学習過程の図（３）である。
【図37】本発明の実施例２に係る花の３種類から抽出した特徴量に基づく出力の図（１）である。
【図38】本発明の実施例２に係る花の３種類から抽出した特徴量に基づく出力の図（２）である。
【図39】本発明の実施例２に係る花の３種類から抽出した特徴量に基づく出力の図（３）である。
【図40】本発明の実施例２に係る花の３種の特徴量纏め表である。
【図41】本発明の実施例２に係る判定加算ポイント表である。
【図42】本発明の実施例２に係る判定ポイント表（１）である。
【図43】本発明の実施例２に係る判定ポイント表（２）である。
【図44】本発明の実施例２に係る判定ポイント表（３）である。
【図45】本発明の実施例２に係る判定ポイント表（４）である。
【図46】本発明の実施例２に係る判定ポイント表（５）である。
【図47】本発明の実施例２に係る判定ポイント表（６）である。
【図48】本発明の実施例２に係る誤判別のレーダーチャートを用いた説明図（１）である。
【図49】本発明の実施例２に係る誤判別のレーダーチャートを用いた説明図（２）である。
【図50】本発明の実施例２に関わる差分比分類の群間変動係数及び群間最小変動倍数の表である。
【図51】本発明の実施例２に関わる差分比の判定ポイント表（１）である。
【図52】本発明の実施例２に関わる差分比の判定ポイント表（２）である。
【図53】本発明の実施例２に関わる差分比の判定ポイント表（３）である。
【図54】本発明の実施例２に関わる差分比の判定ポイント表（４）である。
【図55】本発明の実施例２に関わる差分比の判定ポイント表（５）である。
【図56】本発明の実施例２に関わる差分比の判定ポイント表（６）である。
【図57】本発明の実施例１に関わる比分類の群間変動係数及び群間最小変動倍数の表である。
【図58】本発明の実施例３に係る判定ポイント表（１）である。
【図59】本発明の実施例３に係る判定ポイント表（２）である。
【図60】本発明の実施例３に係る判定ポイント表（３）である。
【図61】本発明の実施例３に係る判定ポイント表（４）である。
【図62】本発明の実施例３に係る判定ポイント表（５）である。
【図63】本発明の実施例３に係る判定ポイント表（６）である。
【図64】本発明の実施例３に関わる実施例１及び実施例２の判定ポイントに重み付け係数を掛算した判別率のグラフである。
【発明を実施するための形態】
【0013】
［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図１はこの発明の第１の実施形態に係るニューラルネットワーク装置の構成を示すブロック図である。図１において、ニューラルネットワーク装置１は、判別器学習部２、重み記憶部３、学習データ記憶部４および教師データ記憶部５を備えて構成される。
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図１はこの発明の第１の実施形態に係るニューラルネットワーク装置の構成を示すブロック図である。図１において、ニューラルネットワーク装置１は、判別器学習部２、重み記憶部３、学習データ記憶部４および教師データ記憶部５を備えて構成される。
【0014】
判別器学習部２は、ニューラルネットワークを学習し、学習したニューラルネットワークを用いた判別を行う。その構成として、判別器学習部２は、重み学習部２０及び判別処理部２１を備える。
【0015】
重み学習部２０は、損失関数が最小となるようにニューラルネットワークを学習する。すなわち、重み学習部２０は、判別処理部２１から出力された判別結果と教師データ記憶部５から読み出した教師データを入力すると、これらのデータを用いて重み学習を行い、重み記憶部３に重みとバイアスを記憶する。
【0016】
判別処理部２１は、重み記憶部３から重みとバイアスを入力し、学習データ記憶部４から学習データを入力すると、これらを用いた判別結果を装置外部のディスプレイなどの所定の出力装置へ出力する。
【0017】
重み記憶部３は、ニューラルネットワークにおけるノード間の重みとバイアスを記憶する記憶部である。重み記憶部３には、重みの初期化処理時にはニューラルネットワークの全てのノード間の重みとバイアスの初期値が記憶され、学習データ記憶部４から読み出した学習データを用いてニューラルネットワークを学習したノード間の重みとバイアスを記憶する。
【0018】
学習データ記憶部４は、学習データを記憶する記憶部である。学習データとは、予め正常と異常が判別された状態情報および特徴量を示すテスト用のデータである。また、判別データＢＢは判別対象のデータである。
【0019】
なお、重み学習部２０と判別処理部２１は、例えば、この実施の形態に特有な処理が記述されたプログラムをマイクロコンピュータが実行することで、ハードウェアとソフトウェアが協働した具体的な手段として実現することができる。
【0020】
重み記憶部３、学習データ記憶部４は、例えば、ニューラルネットワーク装置として機能するコンピュータに搭載、またはネットワーク接続されているハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）装置、ＵＳＢメモリ、記憶メディア再生装置で再生可能な記憶メディア（ＣＤ、ＤＶＤ、ＢＤ）に構築される。
【0021】
ここで、第１の実施形態のニューラルネットワーク装置によって構成される加算型ニューラルネットワークの構造について説明する。図２は、本発明の第１の実施形態のニューラルネットワーク装置によって構成される加算型ニューラルネットワークの構造を示す図である。図２に示すように、加算型ニューラルネットワークは入力層、隠れ層および出力層によって構成され、各層は複数のノードを有している。またこのような加算型ニューラルネットワークは、入力層と中間層とのノード間および隠れ層と出力層とのノード間に任意の重みを設定してノード間の結合状態を調整することにより様々な問題（分類問題あるいは回帰問題）を解くことができる判別器として機能する。
【0022】
図３は従来の単層ニューラルネットワークの構造を示す図である。図３に示すように、従来の単層ニューラルネットワークは、入力層を重み付けで結合した１つの演算部をも
ち、ニューラルネットワーク演算により出力を算出する。これに対し、第１の実施形態では、図２に示すように、入力層を重み付けで結合した２つの演算部を配置した隠れ層をもち、ニューラルネットワーク演算により、２つの演算値の差が最小となるパラメータを求め、出力値を算出する。
ち、ニューラルネットワーク演算により出力を算出する。これに対し、第１の実施形態では、図２に示すように、入力層を重み付けで結合した２つの演算部を配置した隠れ層をもち、ニューラルネットワーク演算により、２つの演算値の差が最小となるパラメータを求め、出力値を算出する。
【0023】
続いて、上記した加算型ニューラルネットワークのノード間の重みを決定する方法について説明する。図４は、本発明の第１の実施形態に係るニューラルネットワーク装置による重み学習処理を示すフローチャートである。以下、図４に沿って重み学習部２０による重み学習の詳細を説明する。
【0024】
まず、重み学習部２０は、加算型ニューラルネットワークの特徴量である重みとバイアスを初期化する（ステップＳＴ１）。具体的には、初期値に０を与える。
【0025】
次に、重み学習部２０は、隠れ層の演算式ＹＹ、ＢＹＡの初期値を計算する（ステップＳＴ２）。
【0026】
ここで、隠れ層の演算式ＹＹ（目標値）、ＢＹＡ（加算型演算出力）について説明する。隠れ層の演算式ＹＹ、ＢＹＡは、下記式［数１］、［数２］、［数３］で表すことができる。ただし特徴量パラメータｗｎ、ｂの底（ｂａｓｅ）のべき乗をそれぞれＷｎ、Bと
し、入力データ要素Ｄｎのｌｏｇ値をｄｎとする。
演算式ＹＹ［数１］は入力データ要素Dｎ（Ｄ０，Ｄ１，・・・，Ｄ（Ｎ－１））と特
徴量パラメータWｎ（Ｗ０、Ｗ１、・・・，Ｗ（Ｎ－１））の全ての積で表し、ＢＹＡ［
数２］は従来の加算型ニューロン式［数２１］をｂａｓｅべき乗した式に等しい。また、ＢＹＡ［数３］はＢとｗｎとｄｎの積の和をｂａｓｅべき乗した値の積に等しい。
し、入力データ要素Ｄｎのｌｏｇ値をｄｎとする。
演算式ＹＹ［数１］は入力データ要素Dｎ（Ｄ０，Ｄ１，・・・，Ｄ（Ｎ－１））と特
徴量パラメータWｎ（Ｗ０、Ｗ１、・・・，Ｗ（Ｎ－１））の全ての積で表し、ＢＹＡ［
数２］は従来の加算型ニューロン式［数２１］をｂａｓｅべき乗した式に等しい。また、ＢＹＡ［数３］はＢとｗｎとｄｎの積の和をｂａｓｅべき乗した値の積に等しい。
【数1】
【数2】
【数3】
【0027】
続いて、重み学習部２０は、損失量｜ＹＹ－ＢＹＡ｜の初期値を計算する（ステップＳＴ３）。
【0028】
次に、重み学習部２０は、バイアス（パラメータｂ）を少しプラス方向に設定量だけ更新する。（ステップＳＴ４）。
【0029】
続いて、重み学習部２０は、損失量の値が小さくなるように重み（重み付けパラメータｗｎ）の修正量（適度なシフト量Δｗｎ）を算出する（ステップＳＴ５）。
【0030】
この後、重み学習部２０は、ＳＴ５で求めた修正量で重みの値を従前の値から更新する。（ステップＳＴ６）。
【0031】
さらに、重み学習部２０は、ＳＴ５～ＳＴ６のステップを設定回数分のループを廻し重み量を更新する。（ステップＳＴ７）
【0032】
この後、重み学習部２０は、重み学習の終了条件を満たしたか否かを確認する。（ステップＳＴ７）。ここで終了条件は損失量が減少から増加に転じた一つ前の最小値がよい。また、学習回数が設定回数以上となった場合でもよい。
【0033】
以上、説明したとおり、この第１の実施形態によれば、重み学習部２０によって学習された重みとバイアスの値で更新されたニューラルネットワークを用いて分類問題あるいは回帰問題を解く判別処理部２１とを備える構造を持つ。これによると重み学習部２０は損失量｜ＹＹ－ＢＹＡ｜を最小にする特徴量を抽出することで、判別処理部２１は入力データ要素順の積に相応した判別機学習結果を得ることができる。
【0034】
上記した第１の実施形態では、隠れ層が１段の場合の例を挙げて説明したが、本発明は、複数段の隠れ層を持つ多層型の加算型ニューラルネットワークにも適用することができる。図５は、多層型の加算型ニューラルネットワークの構造を示す図である。ここで１段目の隠れ層のノードｎ１，ｎ２の出力を受け取る２段目の隠れ層として、２つの重みｈ０、ｈ１を紐づけた２段目の目標値ＺＺのノードをｎ３、加算型演算出力ＢＺＡのノードをｎ４とする２つのノードを挿入し拡張している。このような２段の隠れ層構造を持つニューラルネットワークを用いることで、より複雑な問題に対して判別精度を向上できる。
【0035】
［第２の実施形態］
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態のニューラルネットワーク装置は、ニューラルネットワークのノードにおける演算として加算ではなく差分を取る減算を行う差動型ニューラルネットワークを構成する点で、第１の実施形態と異なっている。ニューラルネットワーク装置自体の構成は、第１の実施形態と同様であるので、以下、その相違点を中心に説明する。
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態のニューラルネットワーク装置は、ニューラルネットワークのノードにおける演算として加算ではなく差分を取る減算を行う差動型ニューラルネットワークを構成する点で、第１の実施形態と異なっている。ニューラルネットワーク装置自体の構成は、第１の実施形態と同様であるので、以下、その相違点を中心に説明する。
【0036】
ここで、第２の実施形態のニューラルネットワーク装置によって構成される差動型ニューラルネットワークの構造について説明する。図６は、本発明の第２の実施形態のニューラルネットワーク装置によって構成される２入力差動型ニューラルネットワークの構造を示す図である。図６に示すように、２入力はノードｓ１で２入力データ要素の差の絶対値に変換されニューラルネットワーク演算への入力となる。このノードｓ１を重みｓ０１で結合した２つの演算部を配置した隠れ層ノードｓ２、ｓ３をもち、ニューラルネットワーク演算により、２つの演算値の差が最小となるパラメータを求め、出力値を算出する。
【0037】
【0038】
まず、重み学習部２０は、データ間差分を計算する（ステップＳＳ１）。
【0039】
次に、重み学習部２０は、差動型ニューラルネットワークの特徴量である重みとバイアスを初期化する（ステップＳＳ３）。具体的には、初期値に０を与える。
【0040】
次に、重み学習部２０は、重み学習部２０は、隠れ層の演算式ＹＹｓ、ＢＹＡｓの初期値を計算する（ステップＳＳ４）。
【0041】
ここで、隠れ層の演算式ＹＹｓ（目標値）、ＢＹＡｓ（差動型演算出力）について説明する。隠れ層の演算式ＹＹｓ、ＢＹＡｓは下記式［数４］、［数５］で表すことができる。ただし記号ｓ０１は２入力データ要素間（Ｄ０，Ｄ１）の特徴量パラメータの重みを表し、Ｂはバイアスを表す。また入力データ要素Ｄｎ（Ｄ０，Ｄ１）のｌｏｇ値をｄｎ（ｄ０，ｄ１）とする。
【0042】
演算式ＹＹｓ［数４］は２入力データ要素Ｄｎ（Ｄ０，Ｄ１）間の差の絶対値で表し、ＢＹＡｓ［数５］は２入力データ要素のｌｏｇ値の差の絶対値のｂａｓｅべき乗にバイアスＢを加えた値に等しい。
【数4】
【数5】
【0043】
続いて、重み学習部２０は、損失量｜ＹＹｓ－ＢＹＡｓ｜の初期値を計算する（ステップＳＳ５）。
【0044】
次に、重み学習部２０は、バイアス（Ｂ）を少しプラス方向に設定量だけ更新する（ステップＳＳ６）。
【0045】
続いて、重み学習部２０は、損失量の値が小さくなるように重み（重み付けパラメータｓ）の修正量（適度なシフト量Δｓ）を算出する（ステップＳＳ７）。
【0046】
この後、重み学習部２０は、ＳＳ７で求めた修正量で重みの値を従前の値から更新する。（ステップＳＳ８）。
【0047】
さらに、重み学習部２０は、ＳＳ６～ＳＳ８のステップを設定回数分のループを廻し重み量を更新する。（ステップＳＳ９）
【0048】
この後、重み学習部２０は、重み学習の終了条件を満たしたか否かを確認する。（ステップＳＳ１０）。ここで終了条件は損失量が減少から増加に転じた一つ前の最小値がよい。また、学習回数が設定回数以上となった場合でもよい。
【0049】
上記した第２の実施形態では、２入力の差動型ニューラルネットワークを構成する例を挙げて説明したが、本発明は、４入力の差動型ニューラルネットワークを構成することもできる。図８は、４入力の差動型ニューラルネットワークの構造を示す図である。
【0050】
図８に示すように、４入力はノードｔ１～ｔ４で２入力データ要素の差の絶対値に変換され、さらに２つのノードｔ５～ｔ６で４入力データ要素の差の絶対値に変換されニューラルネットワーク演算への入力となる。次にスイッチｔｓ１により２つのノードｔ５～ｔ６のどちらかを選択し、重みｓ０１２３またはｓ１２０３で結合された２つの演算部を配置した隠れ層ノードｔ７、ｔ８へつなぐ。その後ニューラルネットワーク演算を行い、２つの演算値の差が最小となるパラメータを求め、出力値を算出する。ここで２入力の差動型との違いはスイッチｔｓ１を追加しており、この２つのノードｔ５～ｔ６のどちらか一方を選択する方法は、統計を用いて群間データ差を算出し大きい方を選んでもよい。なお、４次元データ（Ｄ０，Ｄ１，Ｄ２，Ｄ３）の差分絶対値は、（Ｄ０１，Ｄ２３，Ｄ０２，Ｄ１３，Ｄ１２，Ｄ０３）の６通りがある。これらの絶対値の差分は｜Ｄ０１－Ｄ２３｜、｜Ｄ０２－Ｄ１３｜、｜Ｄ１２－Ｄ０３｜の３通りを持ち、｜Ｄ０１－Ｄ２３｜＝｜Ｄ０１２－Ｄ１３｜が成り立つため、図８に示すとおり、実質２通りである。
【0051】
図９は、４入力の差動型ニューラルネットワークの重み学習処理を示すフローチャートである。図７に示した２入力の差動型ニューラルネットワークの重み学習処理との相違点では、ステップＳＳ２において、演算に用いる差分値を２つの差分値からどちらか一方に選択する処理が追加されている点である。以降の処理は、２入力の差動型ニューラルネットワークの重み学習処理と同様であるので、説明を省略する。
【0052】
以上、説明したとおり、第２の実施形態によれば、第１の実施形態重みと同じく学習部２０によって学習された重みとバイアスの値で更新されたニューラルネットワークを用いて分類問題あるいは回帰問題を解く判別処理部２１とを備える構造を持つ。これによると重み学習部２０は損失量｜ＹＹｓ－ＢＹＡｓ｜を最小にする特徴量を抽出することで、判別処理部２１は入力データ要素間の差に相応した判別機学習結果を得ることができる。
【0053】
４入力の差動型入力は、２入力の差動型入力に対して２つのノードのどちらかを選択するスイッチを設けている点が異なる。このスイッチの効果は多数入力の差動演算が可能となる点にある。例えば１６入力の場合、４入力毎の４つのブロックに分けた差動型入力ネットワークを構成し、４入力毎の差動演算を行うと４つのブロックの４出力を得ることができる。その４出力を受ける新たな４入力の隠れ層を追加することで、多数の入力に対応したニューラルネットワークを実現できる。
［第３の実施形態］
［第３の実施形態］
【0054】
続いて、上記したニューラルネットワーク演算方法を用いて構成されたニューラルネットワークを用いて判別を行う本発明の第３の実施形態について説明する。
【0055】
本発明の第３の実施形態について図面を参照して詳細に説明する。図１０はこの発明の第３の実施形態に係るニューラルネットワーク装置の構成を示すブロック図である。図１０において、ニューラルネットワーク装置３０は、重み記憶部３、判別値演算部５、判定ポイント処理部６、分類処理部７、判別結果記憶部８、および出力処理部９を備えて構成される。以下、判別値演算部５以降について、その詳細を説明する。
【0056】
重み記憶部３は、ニューラルネットワークにおけるノード間の重みとバイアスを記憶する記憶部である。本実施形態では、事前に、上記した第１、第２の実施形態のニューラルネットワーク演算方法を用いて、加算型ニューラルネットワークと差動型ニューラルネットワークが構成されているものとして説明する。
【0057】
判別値演算部５は、各群分類毎に抽出されて重み記憶部３に保存された特徴量パラメータを用いて、個別に群毎の判別値計算する。例えば学習データの出力は３群の分類とすると、特徴量パラメータは３種類あり、個別では３つの群毎の学習演算結果（値）を持つ。さらに、複数の演算方式を用いて、例えば加算型１方式、差動型１方式の２方式の特徴量を持つとすると、個別では２方式に各３つの群毎の判別値を持つ。
【0058】
判定ポイント処理部６は、ポイント変換部３１とポイント合算部３２で構成される。判別値演算部５の複数の演算方式による学習演算結果（値）をポイント変換部３１で個別のポイントに変換し、次にポイント合算部３２で複数の演算方式によるポイントを群毎に個別に合算する。
【0059】
ポイント変換部３１は、判別器学習部２の複数の演算方式により得られた判定値をポイントに変換する。ポイントへの変換方法は統計手法を用い、例えば分散あるいは標準偏差σ、２σ、３σによる中心値からの距離が近いと得点が高くなるような重み付けとしてもよい。
【0060】
ポイント合算部３２は、ポイント変換部３１で得られた複数の演算方式のポイントを加算集計する。また、図１２の例に示すように、演算方式１と演算方式２のポイントに重み付け係数ａ，ｂ（ａ＋ｂ＝１）を設けて、判別率が最大となる係数を設定してもよい。群分類の判断基準として群分類の判断基準はそのポイントの合算値の一番大きい群とする。
【0061】
分類処理部７は、ポイント合算部３２で得られた個別の合算値を所定の判断基準を用いて属する群を期待値として出力する。ここで、期待値とは、判別データがある群に属する確率を所定の計算式で計算したものである。
【0062】
判別結果記憶部８は、ポイント変換部３１のポイント変換値と、ポイント合算部３２のポイント合算値及び分類処理部７の期待値を記憶する。
【0063】
出力処理部９は、期待値判別結果を装置外部のディスプレイなどの所定の出力装置へ出力する。
【0064】
【0065】
まず、判別値演算部５は、重み記憶部３に保存された複数のニューラルネットワーク演算方法、群毎の特徴量パラメータを取り出す（ステップＳＵ１）。
【0066】
次に、判別値演算部５は、重み記憶部３から取り出した特徴量パラメータを用いて、個別に判別値を計算する（ステップＳＵ２）。
【0067】
次に、判定ポイント処理部６は、判別値演算部５で計算された、個別の判別値をポイント変換部３１にてポイントに変換する（ステップＳＵ３）。
【0068】
次に、判定ポイント処理部６は、ポイント変換部３１で得られたポイントを、ポイント合算部３２にて、群毎に個別に合算する（ステップＳＵ４）。
【0069】
次に、分類処理部７はポイント合算部３２で得られた個別の合算値を所定の判断基準を用いて属する群に分類する（ステップＳＵ５）。
【0070】
次に、出力処理部９は群分類結果を出力装置へ出力する。（ステップＳＵ６）。
【0071】
以上、説明したとおり、第３の実施形態によれば、複数のニューラルネットワーク演算結果を統合し一つの解にできる。例えば、第１の実施形態及び第２の実施形態を併用した場合、異なる加算型及び差動型の演算方式の特徴を活かした判別器学習結果を得ることができる。
【実施例1】
【0072】
第１の実施例として、判別対象物Ｉｒｉｓ（あやめ）の花分類に、第１の実施形態で説明した加算型演算を適用して群分類の学習を実施した例を示す。本実施例では、Ｉｒｉｓ（あやめ）の花分類に、第１の実施形態で説明した加算型演算を適用して群分類の学習を行う。
【0073】
図１３及び図１４は、本発明の実施例１で用いるＩｒｉｓデータの例を示す表である。Ｉｒｉｓデータとして、３種類のあやめ（ｓｅｔｏｓａ，ｖｅｒｓｉｃｏｌｏｒ，ｖｉｒｇｉｎｉｃａ）について、がく辺長と幅、花びら（花弁）長と幅を対応付けた４次元のデータを各５０個用意した。
【0074】
上記Ｉｒｉｓデータの基本セットは機械学習の基本としてよく引用されており、非特許文献１に記載されている。
【0075】
図１３及び図１４のＩｒｉｓデータのがく辺長－がく辺幅、がく辺長－花びら長の相関グラフを図１５に示した。種類間のデータ比較から、ｓｅｔｏｓａは他の２種類からデータ間距離が離れているため、難なく区別できるが、ｖｅｒｓｉｃｏｌｏｒとｖｉｒｇｉｎｉｃａのデータ間距離は近く、分別は難しいデータ構成である。
【0076】
データの表記方法は、Ｉｒｉｓデータの次元数Ｎ＝４，バッチサイズＭ＝５０のそれぞれの構成要素順をｎ，ｍとする。入力データをDｎｍ＝（Ｄ０ｍ，Ｄ１ｍ，Ｄ２ｍ，Ｄ３
ｍ）のLｏｇ値入力をｄｎｍ＝（ｄ０ｍ，ｄ１ｍ，ｄ２ｍ，ｄ３ｍ）とし、重み特徴量を
（ｗ０、ｗ１、ｗ２、ｗ３）及びバイアス特徴量をｂと表記する。
ｍ）のLｏｇ値入力をｄｎｍ＝（ｄ０ｍ，ｄ１ｍ，ｄ２ｍ，ｄ３ｍ）とし、重み特徴量を
（ｗ０、ｗ１、ｗ２、ｗ３）及びバイアス特徴量をｂと表記する。
【0077】
学習用データは、バッチサイズＭ＝５０の前半４０個を学習用データとし、後半１０個を、うまく学習できたかどうかを確かめるテスト用データに用いた。従って学習用データのバッチサイズはＭ＝４０である。
【0078】
図１６に、本実施例で用いる加算型ニューラルネットワークの構造を示す。この加算型ニューラルネットワークの構造は、図５に示した本発明の第１の実施形態のニューラルネットワーク装置によって構成される多層型の加算型ニューラルネットワークの構造に相当する。
【0079】
図１６の入力ｄｎｍは、入力データDｎｍのＬｏｇ値を用いると、隠れ層１の出力演算
式ＹＹｍ、ＢＹＡｍはＹＹ［数１］及びＢＹＡ［数２］から、底（ｂａｓｅ）を理解の便として、１０としたべき乗式は、次のように表すことができる。ここで、底（ｂａｓｅ）は１を除く正の数を扱うことができる。例えば０．９のような任意の小数でもよい。
式ＹＹｍ、ＢＹＡｍはＹＹ［数１］及びＢＹＡ［数２］から、底（ｂａｓｅ）を理解の便として、１０としたべき乗式は、次のように表すことができる。ここで、底（ｂａｓｅ）は１を除く正の数を扱うことができる。例えば０．９のような任意の小数でもよい。
【数6】
【数7】
【0080】
次に、この２出力ＹＹｍとＢＹＡｍの差の損失量［数８］が最小となる特徴量ｗｎ、ｂを学習する。
【数8】
【0081】
次に、抽出した特徴量ｗｎ、ｂを用いて計算されたＹＹｍとＢＹＡｍを中間層２の入力とすると、隠れ層２の出力演算式ＺＺｍ、ＢＺＡｍはそれぞれ、［数９］及び［数１０］に表すことができる。次に、同様に２出力ＺＺｍとＢＺＡｍの差の損失量［数１１］が最小となる隠れ層２の特徴量ｈ０、ｈ１、ｂｈを学習する。
【数9】
【数10】
【数11】
【0082】
上記手順を踏み、Ｉｒｉｓデータの３種類について学習を行い、３種類の特徴量ｗ０、ｗ１、ｗ２、ｗ３、ｂ、ｈ０、ｈ１、ｂｈを学習し抽出することができる。次に、この学習済の特徴量を用いて出力値Ｚ－Ａｃｔｍを計算する。この出力値Ｚ－Ａｃｔｍを計算するための計算式を［数１２］に示す。［数１２］の出力式は、隠れ層２の出力式ＢＺＡｍ［数１０］と同じ式を用いることができる。
【数12】
【0083】
ここで、特徴量の抽出のための初期設定について述べる。図４のフローチャートに示す重み学習を進めるにあたり、ループを行うバイアス更新回数、重み更新回数、及び、重み及びバイアス更新量を適度な値に初期設定する。本実施例では、隠れ層１のバイアス更新回数を最大２００回、重み更新回数を１０回に設定した。バイアスの更新量はＹＹ［数１］及びＹＹm［数６］より、重みWｎ＝１（ｗｎ＝０）のときはデータ積の項のみに単純化できることから、例えばデータ積の平均値を２００で割った値を、２００回刻みの分割量として初期設定にできる。さらに損失量が最小値を超えて、増加に転じてからはバイアスの更新を続ける必要は無いため、バイアスの刻みは損失量が最小となる更新回数が、ちょうど２００回となるようにオートチューニングを行うプログラムとした。重み更新量（Δｗｎ）は、損失量の０．１％を設定値とした。目的に応じ、更新回数の増減及び、更新量を細かくしたり、または荒く設定値を可変してもよい。また、隠れ層２のバイアス更新回数は２００回に固定、重み更新回数は２０回を設定値とした。
【0084】
次に、学習途中の「見える化」について述べる。以下のような表示を行うことにより、特徴量の抽出のための初期設定値が適切であるか、または学習が順調に進んでいるかを途中観察できるようにした。図１７は花の種類ｓｅｔｏｓａの学習個数４０個（m＝０～m＝３９）を学習させたときのグラフを４つ表示している。
【0085】
左上のグラフは、バイアス更新回数を横軸に、演算出力ＢＹＡ［数７］を縦軸にしたグラフである。このグラフから学習回数が進むにつれＢＹＡのばらつき変化の度合いを観測できる。
【0086】
次に右上のグラフは、バイアス更新回数を横軸に、隠れ層１層目の損失｜ＹＹ－ＢＹＡ｜＿Ｌｏｓｓ［数８］、ＢＹＡ／ＹＹ、隠れ層２層目の損失Ｚ－Ａｃｔ＿Ｌｏｓｓ［数１１］を縦軸にしたグラフである。隠れ層１層目の損失はサイクル回数２００で最小値を取り、隠れ層２層目の損失はサイクル回数４９で最小値を取っている。このグラフから、損失の最小値を探す学習が順調に設定サイクル数内で進行できたことを確認できる。
【0087】
次に左下のグラフは、バイアス更新回数を横軸に、特徴量バイアスｂ及び重みｗ０、ｗ１、ｗ２、ｗ３を縦軸にしたグラフである。このグラフから、バイアスのサイクル最大設定回数２００まで順調に進み、この例ではｗ３がプラス方向にシフト、ｗ０、ｗ１、ｗ２はそれぞれ異なったシフト量でマイナスに動いたことが判る。
【0088】
次に右下のグラフは、目標値ＹＹを横軸に、演算出力ＢＹＡ及び隠れ層２層目の出力Ｚ－Ａｃｔのプロット図である。このグラフから、隠れ層２層目の出力Ｚ－Ａｃｔは隠れ層１層目の出力ＢＹＡよりばらつきが減り線形性が向上していることが判る。
【0089】
【0090】
以上のように、本実施例では、学習途中のパラメータ変化、更新量をモニターできるようにした。図１７～図１９のグラフからも明らかなとおり、これらのグラフにより、入力データの誤り、あるいは判別に適しないデータ形式や初期設定値のチェック、あるいは想定外のエラー等の原因を特定し対応することが容易となっている。
【0091】
次に出力結果について説明する。図２０に、上記に説明したｓｅｔｏｓａの学習結果から抽出した特徴量ｂ、ｗ０、ｗ１、ｗ２、ｗ３及びｈ０、ｈ１、ｂｈを使い、Ｉｒｉｓ３種の個別の花毎の出力値Ｚ－Ａｃｔｍ［数１２］を示した。図２０からも明らかなとおり、出力値Ｚ－Ａｃｔｍに対し、適切な判定リミット（閾値）を設定することで花の種類の判別ができる。この判定リミット（閾値）は、統計的手法を用いて判別正解率が最も高くなるリミットを自動算出して設定することができる。
【0092】
また、図２０のグラフからｓｅｔｏｓａはリミット判定（閾値）で１００％判別可能なことが判る。同様にｖｅｒｓｉｃｏｌｏｒ、ｖｉｒｇｉｎｉｃａのグラフを図２１、図２２に示した。ｖｅｒｓｉｃｏｌｏｒ、ｖｉｒｇｉｎｉｃａにおいては、リミット判定（閾値）で誤判定の花が有ることが判る。
【0093】
学習した３種の特徴量纏め表を図２３に整理した。図２３の３種の特徴量と、統計的手法を用いて設定した判定リミット（閾値）を用いると、新たな未知の種の入力データに対し出力値を計算し、リミット判定（閾値判定）を行うことで、花の種類を区別することができる。
【0094】
但し、上記のリミット判定方法によれば、同じ個体で３種の特徴量を用い３種のリミット判定を行った結果が異なるので注意する必要がある。例えば、同じ個体にｖｅｒｓｉｃｏｌｏｒの特徴量を用いて計算された出力値はｖｅｒｓｉｃｏｌｏｒと判定され、ｖｉｒｇｉｎｉｃａの特徴量を用いた出力値はｖｉｒｇｉｎｉｃａに判定されてしまい、判別結果が２つに割れてしまうような場合は、１つの種に判別できないため、統合的に解決する必要がある。この解決策として、以下、３種の学習データを用いた出力統計分布の標準偏差σを利用し、分別の対象とする個体のデータを、より中心値に近いほうの種類へ統一して判別する方法を説明する。
【0095】
３種の特徴量を用いた出力値から、属する種を統一して判別する方法について説明する。図２４に判定リミット（閾値）と、群毎の出力平均値、σ、１．５σ、２σ、３σの値を纏めた。図２４のＵ．Ｌ．及びＬ．Ｌ．は、それぞれ上側閾値、した側閾値を示す。また、図２４に判定リミット（閾値）及びσに対応する加算ポイントを設定した項目を追加した。この判定加算ポイントの和を３種の群毎に個別に合算してポイントの最大となる群を属する群と定義することで、出力を一つに統一して判別することができる。また、同じ個体で合算ポイントが例えばｖｅｒｓｉｃｏｌｏｒ、ｖｉｒｇｉｎｉｃａで同じであれば、ｖｅｒｓｉｃｏｌｏｒ、ｖｉｒｇｉｎｉｃａの区別ができないと判定される。ここで、判定加算ポイントは目的あるいは判別成績に応じ、変更してもよい。また、目的に応じて判別精度が十分であれば、判定加算ポイントを使わず、先の群毎の出力値Ｚ－Ａｃｔｍから求めた判定リミット（閾値）で判別してもよい。
【0096】
３種の１５０個の花の分類を加算ポイントを用いて判別した結果を図２５～図３０の表にした。総合判別精度は１４１個／１５０個の正解率９４％であり、３種の後半１０個づつのテスト用データの正解率は１００％の結果を得られた。誤判定９個はｖｅｒｓｉｃｏｌｏｒをｖｉｒｇｉｎｉｃａへ誤判定４個、ｖｉｒｇｉｎｉｃａをｖｅｒｓｉｎｉｃａへの誤判定が５個であった。
【0097】
次に、誤判定について説明する。本事例は目標値にデータの積を用いたニューラルネットワーク加算型演算の出力であり、その出力は入力データ要素順の積に相応した判別機学習結果を表すため、誤判定９個はデータの大きさ（サイズ）に起因している。例えば、図２５の表にあるｖｅｒｓｉｃｏｌｏｒの誤判定Ｎｏ．５７、７１、７８，８６、及びｖｉｒｇｉｎｉｃａの誤判定Ｎｏ．１０９、１２０、１３０、１３４，１３５のデータをグラフ表示（レーダーチャート）で比較した図を図３１に示す。ｖｅｒｓｉｃｏｌｏｒの誤判定４個はデータＤ０３（花びら幅）が平均より特に大きく、全体的にも大きめな特徴があり誤判定されている。ｖｉｒｇｉｎｉｃａの誤判定５個はデータＤ０３（花びら幅）が平均より特に小さいことが判る。
【0098】
以上、［実施例１］として、Ｉｒｉｓ（あやめ）の花分類の目標値にデータ積を用いた加算型演算の分類を行い、入力データ要素順のデータの大きさで判別する方法を説明した。但しＩｒｉｓ（あやめ）の花分類の目標値を大きさで分類するのが最適とは限らない。大きさ（サイズ）による分類以外に比率（バランス）、あるいは部位の差や差分比を用いた比較も有効である。また、これらを組み合わせることで判別精度を向上させることができる。比率（バランス）の比較は、加算型演算の個体のデータ入力値を比率に変えることに等しい。第２の実施形態で説明した差動型演算のニューラルネットワークを用いて差や差分比の比較を行った例を［実施例２］として説明する。
【実施例2】
【0099】
「第２の実施形態」の実施例は、Ｉｒｉｓ（あやめ）の花分類に差動型演算を適用して群分類の学習を実施する例を示す。
【0100】
図３２に、本実施例で用いる差動型ニューラルネットワークの構造を示す。本差動型ニューラルネットワークの構造は、図８に示した本発明の第２の実施形態のニューラルネットワーク装置によって構成される４入力の差動型ニューラルネットワークの構造に相当する。
【0101】
図３２の構造図は、図９のフローチャートに示すステップＳＳ１、ＳＳ２の手順に従い、図８の構造図からノードｔ６に繋がるスイッチｔｓ１の１側を選択し、０側を削除した構成図である。スイッチｔｓ１の選択方法は図３３に示すように、統計を用いノードｔ５とノードｔ６の群間変動係数及び群間平均値差異を比較し差の大きいノードｔ６を選択した。
【0102】
データの表記方法は、Ｉｒｉｓデータの次元数Ｎ＝４，バッチサイズＭ＝５０のそれぞれの構成要素順をｎ，ｍとする。入力データをDｎｍ＝（Ｄ０ｍ，Ｄ１ｍ，Ｄ２ｍ，Ｄ３
ｍ）のLｏｇ値入力をｄｎｍ＝（ｄ０ｍ，ｄ１ｍ，ｄ２ｍ，ｄ３ｍ）とし、その差分は、
例えばＤ０とＤ１の差の絶対値である｜Ｄ０m－Ｄ１m｜をＤ０１mと表記し、Ｌｏｇ値ｄ
０１ｍは｜ｄ０ｍ－ｄ１ｍ｜と表記する。
ｍ）のLｏｇ値入力をｄｎｍ＝（ｄ０ｍ，ｄ１ｍ，ｄ２ｍ，ｄ３ｍ）とし、その差分は、
例えばＤ０とＤ１の差の絶対値である｜Ｄ０m－Ｄ１m｜をＤ０１mと表記し、Ｌｏｇ値ｄ
０１ｍは｜ｄ０ｍ－ｄ１ｍ｜と表記する。
【0103】
４次元の隠れ層の演算式ＹＹｓｍ、ＢＹＡｓｍは２次元式［数４］、［数５］と同様に、重みｓ１２０３、バイアスBの２つの特徴量を用いて、底（ｂａｓｅ）を１０としたべ
き乗式は、下記式［数１３］、［数１４］に表すことができる。（特許請求の範囲の［数６］、［数７］に対応する）。なお、特許請求の範囲の［数６］、［数７］では、構成要素の順を表す添え字ｍを省略している。
き乗式は、下記式［数１３］、［数１４］に表すことができる。（特許請求の範囲の［数６］、［数７］に対応する）。なお、特許請求の範囲の［数６］、［数７］では、構成要素の順を表す添え字ｍを省略している。
【数13】
【数14】
【0104】
ここで、図９のフローチャートに示す重み学習を進めるにあたり、ステップＳＳ３以降の特徴量の抽出のための初期設定について述べる。ループを行うバイアス更新回数、重み更新回数、及び、重み及びバイアス更新量を適度な値に初期設定する。本実施例では、バイアス更新回数を最大２００回、重み更新回数を２０回に設定した。バイアスの更新量は、ＹＹｓｍ［数１３］の平均値を２００で割った値を、２００回刻みの分割量として初期設定にした。さらに損失量が最小値を超えて、増加に転じてからはバイアスの更新を続ける必要は無いため、バイアスの刻みは損失量が最小となる更新回数が、ちょうど２００回となるようにオートチューニングを行うプログラムとした。重み更新量（Δｓ）は、損失量の０．０１％を設定値とした。目的に応じ、更新回数の増減及び、更新量を細かくしたり、または荒く設定値を可変してもよい。
【0105】
次に、ステップＳＳ４～ＳＳ１０にて、この２出力ＹＹｓｍとＢＹＡｓｍの差の損失量が最小となる特徴量ｓ１２０３、Bの抽出をループを回し学習する。上記手順を踏み、Ｉ
ｒｉｓデータの３種類について学習を行い、３種類の特徴量ｓ１２０３、Bを抽出するこ
とができる。最終出力式ｙは、出力式ＢＹＡｓと同じ式を用いることができる。
ｒｉｓデータの３種類について学習を行い、３種類の特徴量ｓ１２０３、Bを抽出するこ
とができる。最終出力式ｙは、出力式ＢＹＡｓと同じ式を用いることができる。
【0106】
次に、学習途中の「見える化」について述べる。前述の第１の実施形態と同様に学習の途中観察できるようにしている。図３４～図３６は花の種類毎に特徴量を学習させたときのグラフを４つ表示している。これらのグラフの形式は、第１の実施形態と同じであるため説明を省略する。
【0107】
次に出力結果について説明する。図３７～図３９に、上記に説明した３種類の特徴量ｓ１２０３及びBを用いた個別の花毎の出力値ＢＹＡｓを示した。また、学習した３種の特
徴量纏め表を図４０に整理した。出力値ＢＹＡｓに対し、適切な判定リミット（閾値）を設定することで花の種類の判別ができる。リミット設定、判定方法及び判定加算ポイントの方法についても、前述の第１の実施形態と同じであるため説明を省略する。図４１に判定リミット（閾値）と、群毎の出力平均値、σ、１．５σ、２σ、３σの値を纏めた。
徴量纏め表を図４０に整理した。出力値ＢＹＡｓに対し、適切な判定リミット（閾値）を設定することで花の種類の判別ができる。リミット設定、判定方法及び判定加算ポイントの方法についても、前述の第１の実施形態と同じであるため説明を省略する。図４１に判定リミット（閾値）と、群毎の出力平均値、σ、１．５σ、２σ、３σの値を纏めた。
【0108】
３種の１５０個の花の分類を加算ポイントを用いて判別した結果を図４２～図４７の表にした。総合判別精度は１４２個／１５０個の正解率９４．７％である。誤判定８個はｓｅｔｏｓａをｖｅｒｓｉｃｏｌｏｒへ誤判定１個、ｖｅｒｓｉｃｏｌｏｒをｖｉｒｇｉｎｉｃａへ誤判定４個、ｖｉｒｇｉｎｉｃａをｖｅｒｓｉｎｉｃａへの誤判定が３個であった。
【0109】
次に、誤判定について説明する。本事例は目標値にデータ間の差を用いたニューラルネットワーク差動型演算の出力であり、その出力は入力データ要素間の差に相応した判別機学習結果を表し、誤判定８個はデータ間の差の大きさに起因している。例えば、図４８、図４９のデータ間のログ値の差をログ値比較したグラフ表示（レーダーチャート）から、ｓｅｔｏｓａの誤判定Ｎｏ．４４は｜ｄ０３｜の大きさが規格化平均値１の半分であり、｜ｄ０３－ｄ１２｜の差は平均の０．６倍と小さくなっている。これはＤ０（がく辺長）とＤ３（花びら幅）の差はｓｅｔｏｓａの標準値より小さく、ｖｅｒｓｉｃｏｌｏｒに近いことを示している。同様にｖｅｒｓｉｃｏｌｏｒの誤判定Ｎｏ．６９，７１，７３．８４は、｜ｄ１２｜が大きく｜ｄ０３｜が小さいことに起因している。ｖｉｒｇｉｎｉｃａの誤判定１３０、１３２，１３４は｜ｄ０３｜が大きく｜ｄ１２｜が小さいことに起因している。
【0110】
以上のように、［実施例２］としてＩｒｉｓ（あやめ）の花分類の目標値にデータ間の差を用いた差動型演算の分類を行い、入力データ間の差で判別する方法を説明した。差分比の比較は、差動型演算の個体のデータ入力値を比率に変えることに等しい。
【0111】
次に差分比の事例を説明する。４次元入力には、図５０のように８パターンの差分比出力が存在する。高い判別率のパターンの選び方は全て差動演算を行い判別率を比較するのもよいが、高次元入力においてはパターン数が増え処理時間が増加するため図３３のように、群間変動係数及び群間最小変動倍数を比較した結果を図５０の下段に示している。これによると、差分比｜Ｄ０３－Ｄ１２｜／Ｄ３の値が上述で扱った差｜Ｄ０３－Ｄ１２｜の分類事例より大きく判別には有利である。Ｄ３を分母にした差分比の演算方法は、入力を（Ｄ０／Ｄ３，Ｄ１／Ｄ３，Ｄ２／Ｄ３，１）とした違いだけであり、この差分比｜Ｄ０３－Ｄ１２｜／Ｄ３により分類した判定ポイント表を図５１～図５６に示す。総合判別精度は正解率９４．７％（１４２個／１５０個）であり、誤判定の花も差の分類結果と同じであるが、判定ポイントにやや違いが生じている。
【0112】
ここで、加算型演算に関する、大きさ（積）と比の群間変動係数及び群間最小変動倍数の比較結果についても図５７を用いて説明する。４次元入力には、図５７のように４パターンの比出力があり、上述で扱った大きさ（積）の値が一番大きく判別には有利である。以下に述べる［実施例３］の説明には、判別に有利な［実施例１］大きさ（積）の判定ポイント及び、Ｄ３による［実施例２］差分比の判定ポイントを用いて説明する。
【0113】
［実施例１］で大きさ（積）による分類、［実施例２］は差、差分比による分類を行い、どちらも９４％程度の判別正解率を得て、それぞれ誤判別された花の説明を行った。これらによると目標値の選び方によって判別精度及び、誤判別される個体の花には違いがあり、それぞれ視点が異なった理由で説明されていることが判る。目標値に着目すると、比較指標に大きさ、比率、差、差分比を用いて、本発明のニューラルネットワーク演算をそれぞれの指標で並列に処理し、判別に優位な指標の出力値を組み合わせて総合的なスコアを得ることにより、更なる判別率の向上を行い、判別結果の理由を判りやすく説明できる。次にＩｒｉｓ（あやめ）の花分類に、前述の加算型演算及び差動型演算による分類結果を組み合わせて判別精度を向上させた例を［実施例３］として説明する。
【0114】
［実施例３］
「第３の実施形態」の実施例は、Ｉｒｉｓ（あやめ）の花分類に、［実施例１］の大きさ（積）による分類と［実施例２］の差分比による分類結果を組み合わせた判別の事例を示す。
「第３の実施形態」の実施例は、Ｉｒｉｓ（あやめ）の花分類に、［実施例１］の大きさ（積）による分類と［実施例２］の差分比による分類結果を組み合わせた判別の事例を示す。
【0115】
図１１の複数演算出力の判別処理を示すフローチャートのステップＳＵ１～ＳＵ３のポイント変換は、［実施例１］及び［実施例２］の事例で説明しているので省略する。ステップＳＵ４～ＳＵ６について、［実施例１］及び［実施例２］の大きさ（積）及び差分比による分類の判定ポイントをそのまま合算した分類結果例を図５８～図６３の表に示した。次に、複数演算出力の判別率を俯瞰する目的で、［実施例１］と［実施例２］のポイントに重み付け係数ａ，ｂ（ａ＋ｂ＝１）を設けて横軸にとり、判別率を縦軸にしたグラフを図６４に示した。これによると、判別率の変化は、ａ＝０では（［実施例２］による）判別率は９４．７％から、ａ＝０．４５～０．５で判別率は９６％に向上し、ａ＝１の（［実施例１］による）判別率は９４％へ低下していることが定量的に解る。
【0116】
以上のように、大きさ（積）による加算型演算及び、データ間差分比による差動型演算による分類結果を組み合わせて判別精度を９４％から９６％に向上させることができた。
【0117】
これによると、データ分類の過程及び結果から次のような知見を得ることができる。・ｓｅｔｏｓａに比べてｖｅｒｓｉｃｏｌｏｒとｖｉｒｇｉｎｉｃａはよく似ており、判別がときに困難である。
一方で、部位の大きさと差による見分け方を組み合わせると判別しやすい。
この部位の大きさと差による見分けの優位性は、本発明による加算型演算と差動型演算の目標値と出力値を用いて判別の可視化を行い、定量的に得られた新たな知見であり、従来のニューラルネットワークでは解らない。また、非特許文献１では、長さ・幅に対応する長方形を作成し、がく辺と花弁での差分に着目し、種間の違いを視覚的に提示して判別を試みており、その後のＦｉｓｈｅｒによる回帰分析及び統計的判別分析の基礎となっている。しかし、多角的な分析による被対象物の誤判定に応じた具体的説明は難しい。これに対し本発明では、これらを用いて様々な観点でのニューラルネットワーク判別器を作成し、その判定結果を得るだけでなく、目標値との差異から説明責任を果たすことができる。
一方で、部位の大きさと差による見分け方を組み合わせると判別しやすい。
この部位の大きさと差による見分けの優位性は、本発明による加算型演算と差動型演算の目標値と出力値を用いて判別の可視化を行い、定量的に得られた新たな知見であり、従来のニューラルネットワークでは解らない。また、非特許文献１では、長さ・幅に対応する長方形を作成し、がく辺と花弁での差分に着目し、種間の違いを視覚的に提示して判別を試みており、その後のＦｉｓｈｅｒによる回帰分析及び統計的判別分析の基礎となっている。しかし、多角的な分析による被対象物の誤判定に応じた具体的説明は難しい。これに対し本発明では、これらを用いて様々な観点でのニューラルネットワーク判別器を作成し、その判定結果を得るだけでなく、目標値との差異から説明責任を果たすことができる。
【0118】
なお、本発明の加算型ニューラルネットワークに用いる［数６］及び［数７］の出力式は、［数１５］及び［数１６］のように表すことができる。これによると、目標値をＬｏｇ（ＹＹｍ）、加算型演算出力値ＢＹＡをＬｏｇ（ＢＹＡｍ）としたときの２出力Ｌｏｇ（ＹＹｍ）とＬｏｇ（ＢＹＡｍ）の差の損失量｜Ｌｏｇ（ＹＹｍ）－Ｌｏｇ（ＢＹＡｍ）｜が最小となる特徴量ｗｎ、ｂを学習することと等価であり、特徴量ｗｎ，ｂの抽出に［数１５］及び［数１６］の出力式を用いてもよい。但し、底（ｂａｓｅ）は１を除く正の数とする。なお、特許請求の範囲の｜Ｌｏｇ（ＹＹ）－Ｌｏｇ（ＢＹＡ）｜では、構成要素の順を表す添え字ｍを省略している。
【数15】
【数16】
【符号の説明】
【0119】
１ ニューラルネットワーク装置
２ 判別器学習部
３ 重み記憶部
４ 学習データ記憶部
５ 判別値演算部
６ 判定ポイント処理部
７ 分類処理部
８ 判別結果記憶部
９ 出力処理部
２０ 重み学習部
２１ 判別処理部
３１ ポイント変換部
３２ ポイント合算部
ＡＡ 判別結果
ＢＢ 判別データ
２ 判別器学習部
３ 重み記憶部
４ 学習データ記憶部
５ 判別値演算部
６ 判定ポイント処理部
７ 分類処理部
８ 判別結果記憶部
９ 出力処理部
２０ 重み学習部
２１ 判別処理部
３１ ポイント変換部
３２ ポイント合算部
ＡＡ 判別結果
ＢＢ 判別データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図62】
【図63】
【図64】
