知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-26
(45)【発行日】2024-02-05
(54)【発明の名称】ニューラルネットワーク装置、情報処理装置およびプログラム
(51)【国際特許分類】
G06N 3/063 20230101AFI20240129BHJP
G06N 3/08 20230101ALI20240129BHJP
【ＦＩ】
G06N3/063
G06N3/08
【請求項の数】
12
(21)【出願番号】P 2021011226
(22)【出願日】2021-01-27
(65)【公開番号】P2022114793
(43)【公開日】2022-08-08
【審査請求日】2023-02-07
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】丸亀 孝生
(72)【発明者】
【氏名】水島 公一
(72)【発明者】
【氏名】野村 久美子
(72)【発明者】
【氏名】西 義史
【審査官】山本 俊介
(56)【参考文献】
【文献】特開２０１９－２００５５３（ＪＰ，Ａ）
【文献】特開２０１９－５３５６３（ＪＰ，Ａ）
【文献】特開２０１９－２８７４６（ＪＰ，Ａ）
【文献】特開平４－２１６１６２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０１６０１５９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
それぞれが第１分解能の値で表される複数の重み、および、それぞれがターナリの値で表される複数のバイアスを用いたニューラルネットワークに従った演算処理を実行する演算回路と、前記ニューラルネットワークの学習時において、前記演算回路による前記ニューラルネットワークに従った演算処理の結果に基づき、前記複数の重みのそれぞれおよび前記複数のバイアスのそれぞれを更新する学習処理を複数回繰り返す学習制御回路と、
それぞれの回の前記学習処理において、前記複数のバイアスのうちの予め設定された第１確率でランダムに選択されたバイアスを、前記ターナリにおける中央値にリセットするバイアスリセット回路と、
を備えるニューラルネットワーク装置。
【請求項2】
前記複数の重みに一対一で対応し、それぞれが前記第１分解能より高い第２分解能で表される複数の学習重みを記憶する学習重み記憶回路と、前記複数のバイアスに一対一で対応し、それぞれが前記ターナリより高い第３分解能で表される複数の学習バイアスを記憶する学習バイアス記憶回路と、
前記複数の重みのそれぞれは、前記複数の学習重みのうちの対応する学習重みを前記第１分解能の値に変換した値であり、
前記複数のバイアスのそれぞれは、前記複数の学習バイアスのうちの対応する学習バイアスを前記ターナリに変換した値である
請求項１に記載のニューラルネットワーク装置。
【請求項3】
それぞれの前記学習処理において、前記学習制御回路は、前記複数の重みおよび前記複数のバイアスを用いて前記ニューラルネットワークに従った演算処理の演算結果と、教師情報との誤差情報を、前記ニューラルネットワークに対して逆伝播させることにより前記複数の重みのそれぞれおよび前記複数のバイアスのそれぞれについての誤差値を算出し、
前記学習重み記憶回路に記憶された前記複数の学習重みのそれぞれに、対応する前記誤差値を加算し、
前記学習バイアス記憶回路に記憶された前記複数の学習バイアスのそれぞれに、対応する前記誤差値を加算する
請求項２に記載のニューラルネットワーク装置。
【請求項4】
それぞれの前記学習処理において、前記バイアスリセット回路は、前記複数のバイアスのうちの前記第１確率でランダムに選択されたバイアスについて、前記誤差値が加算された後の学習バイアスを、前記ターナリにおける中央値に変換される値にリセットする請求項３に記載のニューラルネットワーク装置。
【請求項5】
前記複数の重みのそれぞれは、バイナリで表される請求項１から４の何れか１項に記載のニューラルネットワーク装置。
【請求項6】
前記演算回路は、複数の演算入力値を取得し、取得した前記複数の演算入力値を前記ニューラルネットワークに与えて、１個または複数の演算結果値を算出し、算出した前記１個または複数の演算結果値を出力する請求項１から５の何れか１項に記載のニューラルネットワーク装置。
【請求項7】
前記複数の演算入力値のそれぞれは、バイナリで表され、請求項６に記載のニューラルネットワーク装置。
【請求項8】
前記１個または複数の演算結果値のそれぞれは、バイナリで表される請求項６または７に記載のニューラルネットワーク装置。
【請求項9】
前記演算回路は、複数の積和演算回路を含み、前記複数の積和演算回路のそれぞれは、前記ニューラルネットワークに含まれる何れかの積和演算処理を実行し、
前記複数の積和演算回路のうちの何れかの積和演算回路は、
Ｍ個（Ｍは２以上の整数）の入力値が入力され、前記複数の重みのうちの対応するＭ個の重みおよび前記複数のバイアスのうちの対応する所定個のバイアスが設定され、
前記Ｍ個の入力値と前記Ｍ個の重みとを積和演算した積和演算値と、前記所定個のバイアスとを加算した出力値を出力する
請求項６から８の何れか１項に記載のニューラルネットワーク装置。
【請求項10】
前記Ｍ個の重みのそれぞれは、－１または＋１を表し、前記所定個のバイアスのそれぞれは、－１、０または＋１を表し、
前記複数の積和演算回路のそれぞれは、
前記Ｍ個の重みのそれぞれと前記Ｍ個の入力値のうちの対応する入力値とを乗算することにより生成されるＭ個の乗算値、および、前記所定個のバイアスのうち、正となる値群を合計した値の絶対値を表す正側信号を生成する正側回路と、
前記Ｍ個の乗算値および前記所定個のバイアスのうち、負となる値群を合計した値の絶対値を表す負側信号を生成する負側回路と、
前記正側信号と前記負側信号との大小を比較し、比較結果を前記出力値として出力するコンパレータ回路と、
を有する請求項９に記載のニューラルネットワーク装置。
【請求項11】
それぞれが第１分解能の値で表される複数の重み、および、それぞれがターナリの値で表される複数のバイアスを用いたニューラルネットワークを学習させる情報処理装置であって、プロセッサを備え、
前記プロセッサは、
前記ニューラルネットワークの学習時において、前記ニューラルネットワークに従った演算処理の結果に基づき、前記複数の重みのそれぞれおよび前記複数のバイアスのそれぞれを更新する学習処理を複数回繰り返し、
それぞれの回の前記学習処理において、前記複数のバイアスのうちの予め設定された第１確率でランダムに選択されたバイアスを、前記ターナリにおける中央値にリセットする
情報処理装置。
【請求項12】
コンピュータを、それぞれが第１分解能の値で表される複数の重み、および、それぞれがターナリの値で表される複数のバイアスを用いたニューラルネットワークを学習させる情報処理装置として機能させるためのプログラムであって、前記情報処理装置に、
前記ニューラルネットワークの学習時において、前記ニューラルネットワークに従った演算処理の結果に基づき、前記複数の重みのそれぞれおよび前記複数のバイアスのそれぞれを更新する学習処理を複数回繰り返させ、
それぞれの回の前記学習処理において、前記複数のバイアスのうちの予め設定された第１確率でランダムに選択されたバイアスを、前記ターナリにおける中央値にリセットさせる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、ニューラルネットワーク装置、情報処理装置およびプログラムに関する。
【背景技術】
【0002】
近年、ハードウェアで実現したニューラルネットワーク装置が研究されている。ハードウェアで実現したニューラルネットワーク装置に含まれる各ユニットは、電気回路により実現される。電気回路により実現されるユニットは、積和演算（乗累算）およびバイアスの加算を実行する。すなわち、電気回路により実現されたユニットは、前段のユニットから受け取った複数の入力値のそれぞれに対して重みを乗算し、重みを乗算した後の複数の乗算値とバイアスとを加算する。
【0003】
また、ハードウェアで実現したニューラルネットワーク装置は、２値で表された重みを用いることができる。これにより、ニューラルネットワーク装置は、推論を高速に実行することができる。
【0004】
しかし、推論で用いる重みが２値でよい場合であっても、学習処理において用いられる重みは、精度を高くするために、微小量で更新をしなければならない。従って、学習処理において用いられる重みは、連続値（多値）であることが好ましい。例えば、学習時における重みは、１０００階調程度、例えば、１０ビット程度の精度が必要と考えられる。
【0005】
また、ニューラルネットワークの学習装置は、学習させたい入力データを順方向処理して出力値を算出する。続いて、学習装置は、順方向処理により算出した出力値と教師値との誤差値を算出し、誤差値を逆方向処理して、複数の重みのそれぞれおよび複数のバイアスのそれぞれの更新値を算出する。そして、学習装置は、複数の重みのそれぞれおよび複数のバイアスのそれぞれに、対応する更新値を加算する。学習装置は、複数の入力データについて、このような学習処理を繰り返して実行する。
【0006】
学習装置は、出力値と教師値との誤差を評価関数に与えて、複数の入力データの全体について誤差の大きさを評価する。ニューラルネットワーク装置は、誤差が小さくなるほど、推論の正答率が高くなる。誤差がゼロまたは誤差がゼロに近くなることを、学習が収束するという。学習装置は、学習が収束するまで、学習処理を繰り返して実行する。
【0007】
ところで、学習装置は、より短い時間で学習を収束させることが好ましい。すなわち、学習装置は、より少ない学習回数で学習が収束するように、学習処理を実行することが好ましい。
【先行技術文献】
【特許文献】
【0008】
【文献】特許第６１８３９８０号
【文献】米国特許出願公開２０１８／０２３２６３４号明細書
【文献】特開２０１７－２１１９７２公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明が解決しようとする課題は、少ない学習回数で精度良く学習させることができるニューラルネットワーク装置、情報処理装置およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
実施形態に係るニューラルネットワーク装置は、演算回路と、学習制御回路と、バイアスリセット回路と、を備える。前記演算回路は、それぞれが第１分解能の値で表される複数の重み、および、それぞれがターナリの値で表される複数のバイアスを用いたニューラルネットワークに従った演算処理を実行する。前記学習制御回路は、前記ニューラルネットワークの学習時において、前記演算回路による前記ニューラルネットワークに従った演算処理の結果に基づき、前記複数の重みのそれぞれおよび前記複数のバイアスのそれぞれを更新する学習処理を複数回繰り返す。前記バイアスリセット回路は、それぞれの回の前記学習処理において、前記複数のバイアスのうちの予め設定された第１確率でランダムに選択されたバイアスを、前記ターナリにおける中央値にリセットする。
【図面の簡単な説明】
【0011】
【図1】実施形態に係るニューラルネットワーク装置の構成を示す図。
【図2】ニューラルネットワークの１つのレイヤを説明するための図。
【図3】積和演算回路による積和演算を説明する図。
【図4】学習時の処理の流れを示すフローチャート。
【図5】学習処理の回数に対する誤差値の積分値の第１例を示す図。
【図6】学習処理の回数に対する誤差値の積分値の第２例を示す図。
【図7】リセット確率に対する収束回数の第１例を示す図。
【図8】リセット確率に対する収束回数の第２例を示す図。
【図9】リセット確率に対する収束回数の第３例を示す図。
【図10】積和演算回路のハードウェア構成図。
【図11】ｘｉ＝＋１およびｗｉ＝＋１の場合の演算動作の説明図。
【図12】ｘｉ＝－１およびｗｉ＝＋１の場合の演算動作の説明図。
【図13】ｘｉ＝＋１およびｗｉ＝－１の場合の演算動作の説明図。
【図14】ｘｉ＝－１およびｗｉ＝－１の場合の演算動作の説明図。
【図15】ｂ＝０の場合の演算動作の説明図。
【図16】コンパレータの動作の説明図。
【図17】実施形態に係るコンピュータのハードウェア構成の一例を示す図。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら実施形態に係るニューラルネットワーク装置１０について説明する。
【0013】
図１は、実施形態に係るニューラルネットワーク装置１０の構成を示す図である。ニューラルネットワーク装置１０は、演算回路１２と、推論重み記憶回路１４と、推論バイアス記憶回路１６と、学習重み記憶回路２２と、学習バイアス記憶回路２４と、学習制御回路２６と、バイアスリセット回路２８とを備える。
【0014】
演算回路１２は、複数の重みおよび複数のバイアスを用いたニューラルネットワークに従った演算処理を実行する。演算回路１２は、演算対象である複数の演算入力値を受け取り、受け取った複数の演算入力値に対して演算処理を実行して、演算結果値を出力する。なお、演算回路１２は、複数の演算結果値を出力してもよい。本実施形態において、演算回路１２は、アナログ回路を含む電気回路により実現される。
【0015】
推論重み記憶回路１４は、演算回路１２によるニューラルネットワークに従った演算処理において用いられる複数の重みを記憶する。推論重み記憶回路１４は、例えば、Ｌ個（Ｌは、２以上の整数）の重み（ｗ１，…，ｗＬ）を記憶する。複数の重みのそれぞれは、第１分解能の値で表される。第１分解能は、２以上の整数で表される分解能である。本実施形態において、複数の重みのそれぞれは、バイナリ（２値）で表される。例えば、本実施形態において、複数の重みのそれぞれは、－１または＋１の何れかの値となる。これにより、演算回路１２は、それぞれがバイナリで表された複数の重みを用いて、アナログ回路によりニューラルネットワークに従った演算処理を高速に実行することができる。
【0016】
推論バイアス記憶回路１６は、演算回路１２によるニューラルネットワークに従った演算処理において用いられる複数のバイアスを記憶する。推論バイアス記憶回路１６は、例えば、Ｈ個（Ｈは、２以上の整数）のバイアス（ｂ１，…，ｂＨ）を記憶する。複数のバイアスのそれぞれは、ターナリ（３値）の値で表される。本実施形態において、複数のバイアスのそれぞれは、－１、０または＋１の何れかの値となる。これにより、演算回路１２は、それぞれがターナリで表された複数のバイアスを用いて、アナログ回路によりニューラルネットワークに従った演算処理を高速に実行することができる。
【0017】
なお、ターナリにおける最も小さい値（本実施形態において－１）は、バイナリにおける小さい方の値（本実施形態において－１）と同一のレベルを表す。また、ターナリにおける最も大きい値（本実施形態において＋１）は、バイナリにおける大きい方の値（本実施形態において＋１）と同一のレベルを表す。そして、ターナリにおける中央値（本実施形態において０）は、バイナリにおける小さい方の値（本実施形態において－１）と、大きい方の値（本実施形態において＋１）との中間値、または、バイナリにおける値が無効であることを表す。
【0018】
学習重み記憶回路２２は、ニューラルネットワークの学習処理において用いられる複数の学習重みを記憶する。複数の学習重みは、複数の重みに一対一で対応する。複数の学習重みのそれぞれは、第１分解能より高い第２分解能で表される。学習重み記憶回路２２は、例えば、Ｌ個の重みに一対一で対応する、Ｌ個の学習重み（ｗ１，…，ｗＬ）を記憶する。学習重み記憶回路２２に記憶された複数の学習重みのそれぞれは、例えば、符号付の１０ビットの精度で表される。
【0019】
学習バイアス記憶回路２４は、ニューラルネットワークの学習処理において用いられる複数の学習バイアスを記憶する。複数の学習バイアスは、複数のバイアスに一対一で対応する。複数の学習バイアスは、それぞれがターナリより高い第３分解能で表される。なお、第３分解能は、第２分解能と同一であってもよい。学習バイアス記憶回路２４は、例えば、Ｈ個のバイアスに一対一で対応する、Ｈ個の学習バイアス（ｂ１，…，ｂＨ）を記憶する。学習バイアス記憶回路２４に記憶された複数の学習バイアスのそれぞれは、例えば、符号付の１０ビットの精度で表される。
【0020】
学習制御回路２６は、ニューラルネットワークの学習時の処理を制御する。学習制御回路２６は、学習開始時において、学習重み記憶回路２２に記憶された複数の学習重みおよび学習バイアス記憶回路２４に記憶された複数の学習バイアスを初期化させる。
【0021】
また、学習制御回路２６は、学習重み記憶回路２２に対して、記憶している複数の学習重みのそれぞれを２値化した複数の重みを、推論重み記憶回路１４へと転送させる。これにより、推論重み記憶回路１４は、複数の学習重みのそれぞれを２値化した複数の重みを記憶することができる。さらに、学習制御回路２６は、学習バイアス記憶回路２４に対して、記憶している複数の学習バイアスのそれぞれを３値化した複数のバイアスを、推論バイアス記憶回路１６へと転送させる。これにより、推論バイアス記憶回路１６は、複数の学習バイアスのそれぞれを３値化した複数のバイアスを記憶することができる。
【0022】
また、学習制御回路２６は、演算回路１２によるニューラルネットワークに従った演算処理の演算結果に基づき、複数の重みのそれぞれおよび複数のバイアスのそれぞれを更新する学習処理を複数回繰り返す。
【0023】
それぞれの学習処理において、学習制御回路２６は、複数の重みおよび複数のバイアスを用いたニューラルネットワークに従った演算処理の演算結果と教師情報との誤差情報を算出する。さらに、学習制御回路２６は、算出した誤差情報をニューラルネットワークに対して逆伝播させることにより複数の重みのそれぞれおよび複数のバイアスのそれぞれについての誤差値を算出する。複数の重みのそれぞれの誤差値は、学習重みの分解能である第２分解能（例えば符号付の１０ビット）で表される。また、複数のバイアスのそれぞれの誤差値は、学習バイアスの分解能である第３分解能（例えば符号付の１０ビット）で表される。
【0024】
続いて、学習制御回路２６は、学習重み記憶回路２２に記憶された複数の学習重みのそれぞれに、対応する誤差値を加算する。また、学習制御回路２６は、学習バイアス記憶回路２４に記憶された複数の学習バイアスのそれぞれに、対応する誤差値を加算する。そして、学習制御回路２６は、学習重み記憶回路２２に記憶された複数の学習重みのそれぞれを２値化した複数の重みを、推論重み記憶回路１４に記憶させる。また、学習制御回路２６は、学習バイアス記憶回路２４に記憶された複数の学習バイアスのそれぞれを３値化した複数のバイアスを推論バイアス記憶回路１６に記憶させる。そして、学習制御回路２６は、新たな複数の重みおよび新たな複数のバイアスを用いて、次の回の学習処理を実行する。
【0025】
学習制御回路２６は、以上の学習処理を学習が収束するまで繰り返す。これにより、学習制御回路２６は、複数の学習重みのそれぞれおよび複数の学習バイアスのそれぞれを微小量ずつ増減させて、ニューラルネットワークを精度良く学習させることができる。
【0026】
バイアスリセット回路２８は、複数回繰り返される学習処理におけるそれぞれの回において、複数のバイアスのうちの予め設定された第１確率で選択されたバイアスを、ターナリにおける中央値にリセットする。本実施形態においては、バイアスリセット回路２８は、複数のバイアスのうちの選択されたバイアスを、０にリセットする。
【0027】
例えば、それぞれの学習処理において、バイアスリセット回路２８は、学習バイアス記憶回路２４から推論バイアス記憶回路１６へと３値化した複数のバイアスを転送する前に、複数のバイアスのうちの第１確率で選択されたバイアスについて、誤差値が加算された後の学習バイアスを、ターナリにおける中央値に変換される値にリセットする。本実施形態においては、バイアスリセット回路２８は、選択されたバイアスに対応する学習バイアスを、ターナリにした場合に０に変換される値にリセットする。
【0028】
なお、バイアスリセット回路２８は、複数のバイアスを均等の確率でリセットする。バイアスリセット回路２８は、複数のバイアスを均等の確率でリセットすることができれば、それぞれの学習処理において、２個以上のバイアスが同時にリセットされる場合があっても、何れのバイアスもリセットされない場合があってもよい。
【0029】
また、第１確率は、例えば、０．０１％から０．１％といった微小の確率である。例えば、第１確率が０．１％である場合、バイアスリセット回路２８は、複数のバイアスのそれぞれを、１０００回に１回の確率でランダムに０にリセットしてもよい。また、第１確率が０．１％であり、ニューラルネットワークが１０００個のバイアスを用いる場合、バイアスリセット回路２８は、それぞれの学習処理において、１０００個のうちの１個の確率でバイアスをランダムに選択し、選択したバイアスを０にリセットしてもよい。また、第１確率が０．１％であり、ニューラルネットワークが１００個のバイアスを用いる場合、バイアスリセット回路２８は、１０回の学習処理において１個の確率でバイアスをランダムに選択し、選択したバイアスを０にリセットしてもよい。
【0030】
バイアスリセット回路２８は、学習時において、このような処理を実行することにより、学習が収束するまでの学習回数を少なくすることができる。
【0031】
そして、推論時において、演算回路１２は、学習が完了した後のそれぞれがバイナリで表された複数の重みおよびそれぞれがターナリで表された複数のバイアスを用いたニューラルネットワークに従った演算処理を実行する。これにより、推論時において、演算回路１２は、高速で精度良い演算処理を実行することができる。
【0032】
図２は、ニューラルネットワークの１つのレイヤを説明するための図である。ニューラルネットワークは、例えば、図２に示すようなレイヤを１個または複数個含む。演算回路１２は、図２に示すようなレイヤに対応する演算を実行する回路を含む。
【0033】
図２に示すレイヤは、Ｍ個（Ｍは２以上の整数）の入力値（ｘ１～ｘＭ）を受け取り、Ｎ個（Ｎは２以上の整数）の出力値（ｙ１～ｙＮ）を出力する。演算回路１２は、例えば、図２に示すようなレイヤの演算を実行するために、Ｎ個の出力値（ｙ１～ｙＮ）に対応するＮ個の積和演算回路３０（３０－１～３０－Ｎ）を有する。Ｎ個の積和演算回路３０のうちのｊ番目（ｊは、１からＮまでのうちの任意の整数）の積和演算回路３０－ｊは、ｊ番目の出力値（ｙｊ）に対応する。Ｎ個の積和演算回路３０のそれぞれは、Ｍ個の入力値（ｘ１～ｘＭ）を受け取る。
【0034】
図３は、第１の積和演算回路３０－１による積和演算を説明する図である。演算回路１２は、複数の積和演算回路３０を含む。複数の積和演算回路３０のそれぞれは、ニューラルネットワークに含まれる何れかの積和演算処理を実行する。
【0035】
複数の積和演算回路３０のうちの第１の積和演算回路３０－１は、Ｍ個の入力値（ｘ１，ｘ２，…，ｘＭ）が入力される。また、第１の積和演算回路３０－１は、推論重み記憶回路１４に記憶された複数の重みのうちの、Ｍ個の入力値に対応するＭ個の重み（ｗ１，ｗ２，…，ｗＭ）が設定される。第１の積和演算回路３０－１は、推論バイアス記憶回路１６に記憶された複数のバイアスのうちの、第１の積和演算回路３０－１に対応する所定個のバイアス（ｂ）が設定される。なお、図３の例において、第１の積和演算回路３０－１は、１個のバイアスが設定されているが、２個以上のバイアスが設定されてもよい。
【0036】
第１の積和演算回路３０－１は、Ｍ個の入力値とＭ個の重みとを積和演算した積和演算値と、所定個のバイアスとを加算した値を、２値化した出力値を出力する。より具体的には、例えば、第１の積和演算回路３０－１は、下記式（１）の演算を実行する。
【数1】
【0037】
式（１）において、ｙは、第１の積和演算回路３０－１の出力値を表す。ｘｉは、Ｍ個の入力値のうちのｉ番目（ｉは、１以上、Ｍ以下の整数）の入力値を表す。ｗｉは、Ｍ個の重みのうちのｉ番目の入力値に乗算される重みを表す。式（１）において、μは、Ｍ個の入力値とＭ個の重みとを積和演算した積和演算値と、所定個のバイアスとを加算した値を表す。式（１）において、ｆ（μ）は、カッコ内の値であるμを所定の閾値で二値化する関数を表す。
【0038】
なお、式（１）は、第１の積和演算回路３０－１に１個のバイアスが設定されている例を示している。複数個のバイアスが設定されている場合、式（１）のμは、１個のｂを加算する項に代えて、複数個のｂを加算する項が含まれる。
【0039】
【0040】
まず、Ｓ１１において、学習制御回路２６は、学習重み記憶回路２２に記憶された複数の学習重みおよび学習バイアス記憶回路２４に記憶された複数の学習バイアスを初期化させる。例えば、学習制御回路２６は、１０ビット精度で表された複数の学習重みのそれぞれ、および、複数の学習バイアスのそれぞれをランダムな値に設定する。
【0041】
続いて、Ｓ１２において、学習制御回路２６は、推論重み記憶回路１４に、それぞれがバイナリで表された複数の重みを設定する。これとともに、学習制御回路２６は、推論バイアス記憶回路１６に、それぞれがターナリで表された複数のバイアスを設定する。より具体的には、学習制御回路２６は、学習重み記憶回路２２に記憶された複数の学習重みのそれぞれを２値化した複数の重みを、推論重み記憶回路１４に転送させる。また、学習制御回路２６は、学習バイアス記憶回路２４に記憶された複数の学習バイアスのそれぞれを３値化した複数のバイアスを、推論バイアス記憶回路１６に転送させる。
【0042】
続いて、Ｓ１３において、学習制御回路２６は、学習用の演算入力値を表す学習用入力情報、および、正解の演算結果値を表す教師情報のペアを取得する。なお、学習制御回路２６は、Ｓ１３において、複数の学習用入力情報と、教師情報とを含むデータセットを取得してもよい。
【0043】
続いて、Ｓ１４において、学習制御回路２６は、学習用入力情報を演算回路１２に与えて、演算回路１２に、推論重み記憶回路１４に記憶された複数の重みおよび推論バイアス記憶回路１６に記憶された複数のバイアスを用いてニューラルネットワークに従った順方向の演算処理を実行させる。
【0044】
続いて、Ｓ１５において、学習制御回路２６は、Ｓ１４の演算処理の演算結果と対応する教師情報との誤差情報を、ニューラルネットワークに対して逆伝播させることにより、複数の重みのそれぞれおよび複数のバイアスのそれぞれの誤差値を算出する。すなわち、学習制御回路２６は、誤差逆伝播法を用いて、複数の重みのそれぞれおよび複数のバイアスのそれぞれの誤差値を算出する。なお、Ｓ１３で複数の学習用入力情報を含むデータセットを取得した場合、学習制御回路２６は、複数の学習用入力情報のそれぞれについて、Ｓ１４およびＳ１５の処理を実行する。
【0045】
続いて、Ｓ１６において、学習制御回路２６は、学習が収束したか否かを判断する。例えば、学習制御回路２６は、複数の重みおよび複数のバイアスの誤差値を合計した積分値を算出し、算出した積分値が０または予め定められた値以下となった場合に学習が収束したと判断する。なお、Ｓ１３で複数の学習用入力情報を含むデータセットを取得した場合、学習制御回路２６は、複数の学習用入力情報について算出した複数の誤差値の全てを合計した積分値を算出し、算出した積分値が０または予め定められた値以下となった場合に学習が収束したと判断する。
【0046】
学習制御回路２６は、学習が収束した場合（Ｓ１６のＹｅｓ）、本フローを終了する。学習制御回路２６は、学習が収束していない場合（Ｓ１６のＮｏ）、処理をＳ１７に進める。
【0047】
続いて、Ｓ１７において、学習制御回路２６は、学習重み記憶回路２２に記憶されている複数の学習重みのそれぞれを、対応する重みの誤差値に基づき更新する。例えば、学習制御回路２６は、学習重み記憶回路２２に記憶された複数の学習重みのそれぞれに、対応する重みの誤差値を加算する。さらに、学習制御回路２６は、学習バイアス記憶回路２４に記憶されている複数の学習バイアスのそれぞれを、対応するバイアスの誤差値に基づき更新する。例えば、学習制御回路２６は、学習バイアス記憶回路２４に記憶された複数の学習バイアスのそれぞれに、対応するバイアスの誤差値を加算する。
【0048】
続いて、Ｓ１８において、バイアスリセット回路２８は、複数のバイアスのうちの予め設定された第１確率でリセット対象のバイアスを選択する。そして、バイアスリセット回路２８は、選択したバイアスに対応する学習バイアスを、ターナリにおける中央値に変換される値にリセットする。例えば、バイアスリセット回路２８は、選択したバイアスに対応する学習バイアスを、ターナリにした場合に０に変換される値にリセットする。
【0049】
そして、学習制御回路２６は、Ｓ１８の処理を終えると、処理をＳ１２に戻し、次の学習処理を実行する。
【0050】
以上の処理を実行することにより、学習制御回路２６は、演算回路１２によるニューラルネットワークに従った演算処理の演算結果に基づき、複数の重みのそれぞれおよび複数のバイアスのそれぞれを更新する学習処理を複数回繰り返すことができる。さらに、バイアスリセット回路２８は、複数回繰り返される学習処理におけるそれぞれの回において、複数のバイアスのうちの予め設定された第１確率で選択されたバイアスを、ターナリにおける中央値にリセットすることができる。
【0051】
図５および図６は、バイアスをリセットしなかった場合およびバイアスをリセットした場合における、学習処理の回数に対する誤差値の積分値を表すシミュレーション結果を示す図である。図５および図６は、横軸に学習処理の回数を表し、縦軸に誤差値の積分値を表す。
【0052】
【0053】
入力レイヤは、１６個の演算入力値を取得する。１６個の演算入力値のそれぞれは、－１または＋１の何れかをとる。ただし、入力レイヤは、演算入力値をそのまま出力する。従って、対象ニューラルネットワークは、実質的に２レイヤ構成である。
【0054】
中間レイヤは、３１個のノードを有する。中間レイヤの３１個のノードのそれぞれは、入力レイヤから出力された１６個の値を、１６個の入力値として取得する。中間レイヤの３１個のノードのそれぞれは、１６個の入力値のそれぞれと対応する重みとを乗算した乗算値を算出し、さらに、１６個の乗算値と、ノードに対応するバイアスとを加算した中間値を出力する。それぞれの重みは、－１または＋１を取る。それぞれのバイアスは、－１、０または＋１をとる。
【0055】
さらに、３１個のノードのそれぞれは、中間値を２値化した出力値を出力する。３１個のノードのそれぞれは、中間値が０以上である場合、出力値を＋１とし、中間値が０より小さい場合には、出力値を－１とする。
【0056】
出力レイヤは、１６個のノードを有する。出力レイヤの１６個のノードのそれぞれは、中間レイヤから出力された３１個の値を、３１個の入力値として取得する。出力レイヤの３１個のノードのそれぞれは、３１個の入力値のそれぞれと対応する重みとを乗算した乗算値を算出し、さらに、３１個の乗算値と、ノードに対応するバイアスとを加算した中間値を出力する。出力レイヤの３１個のノードのそれぞれは、他の点については、中間レイヤに含まれるノードと同一である。そして、出力レイヤは、１６個のノードから出力された値を、１６個の演算結果値として出力する。
【0057】
対象ニューラルネットワークの学習は、対象ニューラルネットワークにおいて用いられる複数の重みに一対一で対応する複数の学習重み、および、複数のバイアスに一対一に対応する複数の学習バイアスを用いる。複数の学習重みのそれぞれおよび複数の学習重みのそれぞれは、－１から＋１の範囲を表す符号付の１０ビット精度の値であり、浮動小数点で表される。
【0058】
対象ニューラルネットワークの学習は、誤差逆伝播法に従って、複数の学習重みおよび複数の学習バイアスを更新することにより行われる。学習において、複数の重みのそれぞれは、複数の学習重みのうちの対応する学習重みを２値化した値に設定される。また、学習において、複数のバイアスのそれぞれは、複数の学習バイアスのうちの対応する学習バイアスを３値化した値に設定される。
【0059】
対象ニューラルネットワークの学習は、誤差逆伝播法に従って、複数の学習重みのそれぞれの誤差値および複数の学習バイアスのそれぞれの誤差値が算出され、算出された誤差値を対応する学習重みまたは対応する学習バイアスに加算する。学習において用いる微分関数は、ハイパボリックタンジェントの微分関数である。誤差値は、学習重みおよび学習バイアスと同一の精度で表される。
【0060】
上述のような対象ニューラルネットワークを上述のような学習方法で学習させた場合、図５および図６に示すように、バイアスをリセットした場合の方が、バイアスをリセットしない場合よりも、少ない学習回数で学習が収束する。なお、図５および図６は、バイアスを０．０２％の確率でリセットした例を示している。
【0061】
【0062】
図７、図８および図９は、第１確率（バイアスをリセットする確率）に対する収束までの学習処理の回数を示すシミュレーション結果を示す図である。対象ニューラルネットワークおよび学習方法は、図５および図６の場合と同一である。
【0063】
図７、図８および図９の違いは、複数の重みおよび複数のバイアスに設定される初期値の相違である。図７、図８および図９の楕円で囲った領域で、収束するまでの学習処理の回数が少なくなっていることが分かる。従って、シミュレーションをした対象ニューラルネットワークおよび学習方法において、第１確率は、０．０１％以上０．１％以下の範囲で設定することが好ましい。
【0064】
以上のように、本実施形態に係るニューラルネットワーク装置１０は、それぞれの回の学習処理において、複数のバイアスのうちの予め設定された第１確率でランダムに選択されたバイアスを、ターナリにおける中央値にリセットする。これにより、本実施形態に係るニューラルネットワーク装置１０によれば、少ない学習回数で精度良く学習させることができる。
【0065】
図１０は、積和演算回路２０のハードウェア構成を示す図である。積和演算回路２０は、正側電流源３２と、負側電流源３４と、比較部３６と、（Ｍ＋１）個のクロススイッチ３８と、クランプ回路４０と、記憶回路４２とを備える。
【0066】
正側電流源３２は、正側端子４６を有する。正側電流源３２は、正側端子４６から電流を出力する。さらに、正側電流源３２は、正側端子４６から出力した電流の１／Ｂ（Ｂは２以上の整数）の値に応じた第１電圧を出力する。正側電流源３２は、正側回路の一例である。また、第１電圧は、正側信号の一例である。
【0067】
例えば、正側電流源３２は、正側端子４６から出力した電流の１／Ｂの値に比例した第１電圧を出力する。本実施形態においてはＢ＝（Ｍ＋１）である。しかし、Ｂは、（Ｍ＋１）と同一でなくてもよい。なお、図１０には、複数の正側端子４６が記載されている。しかし、図１０に記載された複数の正側端子４６は、電気的に接続されている。
【0068】
例えば、正側電流源３２は、Ｂ個の第１ＦＥＴ４８を有する。Ｂ個の第１ＦＥＴ４８のそれぞれは、同一の特性を有する電界効果トランジスタである。本実施形態においては、Ｂ個の第１ＦＥＴ４８のそれぞれは、同一の特性を有するｐＭＯＳトランジスタである。
【0069】
Ｂ個の第１ＦＥＴ４８は、ゲートが共通に接続され、ソースが第２基準電位に接続され、ドレインがゲートおよび正側端子４６に接続される。第２基準電位は、例えば、正側の電源電圧（ＶＤＤ）である。すなわち、Ｂ個の第１ＦＥＴ４８のそれぞれは、ダイオード接続され、ソースが第２基準電位（例えばＶＤＤ）に接続され、ゲートおよびドレインが正側端子４６に接続される。そして、正側電流源３２は、正側端子４６の電圧（第１ＦＥＴ４８のゲートの電圧）を、第１電圧として出力する。
【0070】
このような正側電流源３２は、Ｍ個の重みのそれぞれとＭ個の入力値のうちの対応する入力値とを乗算することにより生成されるＭ個の乗算値、および、所定個のバイアスのうち、正となる値群を合計した値の絶対値を表す正側信号を生成する。
【0071】
負側電流源３４は、負側端子５０を有する。負側電流源３４は、負側端子５０から電流を出力する。さらに、負側電流源３４は、負側端子５０から出力した電流の１／Ｂの値に応じた第２電圧を出力する。負側電流源３４は、負側回路の一例である。また、第２電圧は、負側信号の一例である。
【0072】
例えば、負側電流源３４は、負側端子５０から出力した電流の１／Ｂの値に比例した第２電圧を出力する。なお、図１０には、複数の負側端子５０が記載されている。しかし、複数の負側端子５０は、電気的に接続されている。
【0073】
例えば、負側電流源３４は、Ｂ個の第２ＦＥＴ５２を有する。Ｂ個の第２ＦＥＴ５２のそれぞれは、第１ＦＥＴ４８と同一の特性を有する電界効果トランジスタである。本実施形態においては、Ｂ個の第２ＦＥＴ５２のそれぞれは、第１ＦＥＴ４８と同一の特性を有するｐＭＯＳトランジスタである。
【0074】
Ｂ個の第２ＦＥＴ５２は、ゲートが共通に接続され、ソースが第２基準電位に接続され、ドレインがゲートおよび負側端子５０に接続される。すなわち、Ｂ個の第２ＦＥＴ５２のそれぞれは、ダイオード接続され、ソースが第２基準電位（例えばＶＤＤ）に接続され、ゲートおよびドレインが負側端子５０に接続される。そして、負側電流源３４は、負側端子５０の電圧（第２ＦＥＴ５２のゲートの電圧）を、第２電圧として出力する。
【0075】
このような負側電流源３４は、Ｍ個の重みのそれぞれとＭ個の入力値のうちの対応する入力値とを乗算することにより生成されるＭ個の乗算値、および、所定個のバイアスのうち、負となる値群を合計した値の絶対値を表す負側信号を生成する。
【0076】
比較部３６は、コンパレータ回路の一例である。比較部３６は、正側電流源３２から出力された第１電圧と、負側電流源３４から出力された第２電圧との大小を比較する。そして、比較部３６は、第１電圧と第２電圧との比較結果に応じた出力値（ｙ）を出力する。比較部３６は、第１電圧が第２電圧より小さい場合、第１論理（例えば、－１）の出力値を出力し、第１電圧が第２電圧以上の場合、第２論理（例えば、＋１）の出力値を出力する。なお、比較部３６は、第１電圧が第２電圧より小さい場合、第２論理（例えば、＋１）の出力値を出力し、第１電圧が第２電圧以上の場合、第１論理（例えば、－１）の出力値を出力してもよい。
【0077】
（Ｍ＋１）個のクロススイッチ３８は、Ｍ個の入力値に対応するＭ個のクロススイッチ３８－１～３８－Ｍと、１個のバイアスに対応する１個のクロススイッチ３８－（Ｍ＋１）とを含む。本実施形態においては、積和演算回路２０は、Ｍ個の入力値に対応するＭ個のクロススイッチ３８として、第１クロススイッチ３８－１～第Ｍクロススイッチ３８－Ｍを備える。例えば、第１クロススイッチ３８－１は、第１の入力値（ｘ１）に対応し、第２クロススイッチ３８－２は、第２の入力値（ｘ２）に対応し、第Ｍクロススイッチ３８－Ｍは、第Ｍの入力値（ｘＭ）に対応する。また、本実施形態においては、積和演算回路２０は、バイアスに対応するクロススイッチ３８として、第（Ｍ＋１）クロススイッチ３８－（Ｍ＋１）を備える。
【0078】
（Ｍ＋１）個のクロススイッチ３８のそれぞれは、正側流入端子５６と、負側流入端子５８と、第１端子６０と、第２端子６２とを有する。
【0079】
（Ｍ＋１）個のクロススイッチ３８のそれぞれは、第１端子６０を、正側流入端子５６および負側流入端子５８のうち何れか一方に接続する。また、（Ｍ＋１）個のクロススイッチ３８のそれぞれは、第２端子６２を、正側流入端子５６および負側流入端子５８のうち第１端子６０が接続されていないもう一方に接続する。Ｍ個の入力値に対応するＭ個のクロススイッチ３８のそれぞれは、対応する入力値に応じて、第１端子６０および第２端子６２を、正側流入端子５６または負側流入端子５８の何れに接続するかを切り換える。また、バイアスに対応するクロススイッチ３８は、予め固定された値（例えば、＋１）に応じて、第１端子６０および第２端子６２を、正側流入端子５６または負側流入端子５８の何れかに接続する。
【0080】
クランプ回路４０は、（Ｍ＋１）個のクロススイッチ３８に対応する（Ｍ＋１）個の正側ＦＥＴスイッチ６６を有する。本実施形態においては、クランプ回路４０は、（Ｍ＋１）個の正側ＦＥＴスイッチ６６として、第１正側ＦＥＴスイッチ６６－１～第（Ｍ＋１）正側ＦＥＴスイッチ６６－（Ｍ＋１）を有する。例えば、第１正側ＦＥＴスイッチ６６－１は、第１クロススイッチ３８－１に対応し、第２正側ＦＥＴスイッチ６６－２は、第２クロススイッチ３８－２に対応し、第（Ｍ＋１）正側ＦＥＴスイッチ６６－Ｍは、第（Ｍ＋１）クロススイッチ３８－（Ｍ＋１）に対応する。
【0081】
（Ｍ＋１）個の正側ＦＥＴスイッチ６６のそれぞれは、ゲートがクランプ電位（Ｖｃｌｍｐ）に接続され、ソースが正側端子４６に接続され、ドレインが対応するクロススイッチ３８の正側流入端子５６に接続される。（Ｍ＋１）個の正側ＦＥＴスイッチ６６のそれぞれは、動作中において、ソース－ドレイン間がオンとなる。従って、（Ｍ＋１）個のクロススイッチ３８のそれぞれの正側流入端子５６は、動作中において、正側電流源３２の正側端子４６に接続され、電圧がクランプ電位（Ｖｃｌｍｐ）に固定される。
【0082】
さらに、クランプ回路４０は、（Ｍ＋１）個のクロススイッチ３８に対応する（Ｍ＋１）個の負側ＦＥＴスイッチ６８を有する。本実施形態においては、クランプ回路４０は、（Ｍ＋１）個の負側ＦＥＴスイッチ６８として、第１負側ＦＥＴスイッチ６８－１～第（Ｍ＋１）負側ＦＥＴスイッチ６８－（Ｍ＋１）を有する。例えば、第１負側ＦＥＴスイッチ６８－１は、第１クロススイッチ３８－１に対応し、第２負側ＦＥＴスイッチ６８－２は、第２クロススイッチ３８－２に対応し、第（Ｍ＋１）負側ＦＥＴスイッチ６８－（Ｍ＋１）は、第（Ｍ＋１）クロススイッチ３８－（Ｍ＋１）に対応する。
【0083】
（Ｍ＋１）個の負側ＦＥＴスイッチ６８のそれぞれは、ゲートがクランプ電位（Ｖｃｌｍｐ）に接続され、ソースが負側端子５０に接続され、ドレインが対応するクロススイッチ３８の負側流入端子５８に接続される。（Ｍ＋１）個の負側ＦＥＴスイッチ６８のそれぞれは、動作中において、ソース－ドレイン間がオンとなる。従って、（Ｍ＋１）個のクロススイッチ３８のそれぞれの負側流入端子５８は、動作中において、負側電流源３４の負側端子５０に接続され、電圧がクランプ電位（Ｖｃｌｍｐ）に固定される。
【0084】
記憶回路４２は、（Ｍ＋１）個のセル７２を有する。（Ｍ＋１）個のセル７２は、Ｍ個の重みに対応するＭ個のセル７２と、１個のバイアスに対応する１個のセル７２とを含む。本実施形態においては、記憶回路４２は、Ｍ個の重みに対応するＭ個のセル７２として、第１セル７２－１～第Ｍセル７２－Ｍを有する。例えば、第１セル７２－１は、第１の重み（ｗ１）に対応し、第２セル７２－２は、第２の重み（ｗ２）に対応し、第Ｍセル７２－Ｍは、第Ｍの重み（ｗＭ）に対応する。なお、第１の重み（ｗ１）は、第１の入力値（ｘ１）に対応し、第２の重み（ｗ２）は、第２の入力値（ｘ２）に対応し、第Ｍの重み（ｗＭ）は、第Ｍの入力値（ｘＭ）に対応する。従って、例えば、第１セル７２－１は、第１クロススイッチ３８－１に対応し、第２セル７２－２は、第２クロススイッチ３８－２に対応し、第Ｍセル７２－Ｍは、第Ｍクロススイッチ３８－Ｍに対応する。また、本実施形態においては、記憶回路４２は、バイアスに対応するセル７２として、第（Ｍ＋１）セル７２－（Ｍ＋１）を有する。従って、第（Ｍ＋１）セル７２－（Ｍ＋１）は、第（Ｍ＋１）セル７２－（Ｍ＋１）に対応する。
【0085】
（Ｍ＋１）個のセル７２のそれぞれは、第１抵抗７４と、第２抵抗７６とを含む。第１抵抗７４は、一方の端が対応するクロススイッチ３８の第１端子６０に接続され、他方の端が第１基準電位に接続される。第１基準電位は、例えば、グランドである。第２抵抗７６は、一方の端が対応するクロススイッチ３８の第２端子６２に接続され、他方の端が第１基準電位に接続される。
【0086】
第１抵抗７４および第２抵抗７６のそれぞれは、例えばメモリスタである。また、第１抵抗７４および第２抵抗７６は、他の可変抵抗であってもよい。第１抵抗７４および第２抵抗７６は、対応する重みまたはバイアスに応じて、抵抗値の大小関係が切り替えられる。例えば、記憶回路４２は、Ｍ個の入力値の受け取りに先だって、Ｍ個の重みを受け取る。そして、記憶回路４２は、受け取ったＭ個の重みのそれぞれに応じて、対応するセル７２に含まれる第１抵抗７４および第２抵抗７６の抵抗値の大小関係を設定する。また、バイアスがターナリにおける中央値である場合（例えば、バイアスが０である場合）、記憶回路４２は、第１抵抗７４と第２抵抗７６とを同一の抵抗値に設定する。
【0087】
例えば、（Ｍ＋１）個のセル７２のそれぞれは、対応する重みまたはバイアスが＋１である場合、第１抵抗７４が第１抵抗値に設定され、第２抵抗７６が、第１抵抗値とは異なる第２抵抗値に設定される。また、（Ｍ＋１）個のセル７２のそれぞれは、対応する重みまたはバイアスが－１である場合、第１抵抗７４が第２抵抗値に設定され、第２抵抗７６が第１抵抗値に設定される。また、バイアスがターナリにおける中央値である場合（例えば、バイアスが０である場合）、第（Ｍ＋１）セル７２－（Ｍ＋１）は、第１抵抗７４と第２抵抗７６とを同一の抵抗値に設定する。
【0088】
また、（Ｍ＋１）個のセル７２のそれぞれは、第１抵抗７４または第２抵抗７６の一方が固定抵抗であり、他方が可変抵抗であってもよい。また、（Ｍ＋１）個のセル７２のそれぞれは、第１抵抗７４または第２抵抗７６の両方が可変抵抗であってもよい。この場合、（Ｍ＋１）個のセル７２のそれぞれは、対応する重みが＋１である場合と、－１である場合とで、第１抵抗７４と第２抵抗７６との抵抗差の正負が反転するように、可変抵抗の抵抗値が変更される。また、この場合、第（Ｍ＋１）セル７２－（Ｍ＋１）は、バイアスが０である場合、第１抵抗７４と第２抵抗７６との抵抗差が０となるように、可変抵抗の抵抗値が変更される。
【0089】
そして、（Ｍ＋１）個のクロススイッチ３８のうちのＭ個の入力値に対応するＭ個のクロススイッチ３８のそれぞれは、対応する入力値の値に応じて、第１端子６０および第２端子６２を、正側端子４６（正側流入端子５６）および負側端子５０（負側流入端子５８）に対して、ストレート接続するかリバース接続するかを切り換える。
【0090】
例えば、Ｍ個の入力値に対応するＭ個のクロススイッチ３８のそれぞれは、ストレート接続する場合、第１端子６０と正側端子４６（正側流入端子５６）とを接続し、且つ、第２端子６２と負側端子５０（負側流入端子５８）とを接続する。また、Ｍ個の入力値に対応するＭ個のクロススイッチ３８のそれぞれは、リバース接続する場合、第１端子６０と負側端子５０（負側流入端子５８）とを接続し、且つ、第２端子６２と正側端子４６（正側流入端子５６）とを接続する。
【0091】
例えば、Ｍ個の入力値に対応するＭ個のクロススイッチ３８のそれぞれは、対応する入力値の値が＋１である場合、ストレート接続し、対応する入力値の値が－１である場合、リバース接続する。これに代えて、Ｍ個の入力値に対応するＭ個のクロススイッチ３８のそれぞれは、対応する入力値の値が＋１である場合、リバース接続し、対応する入力値の値が－１である場合、ストレート接続してもよい。
【0092】
なお、バイアスに対応するクロススイッチ３８は、ストレート接続またはリバース接続の何れか一方に固定されている。例えば、バイアスに対応するクロススイッチ３８は、＋１が固定して入力され、ストレート接続に固定される。
【0093】
図１１は、ｗｉ＝＋１、ｘｉ＝＋１の場合の積和演算回路２０の演算動作を説明するための図である。第ｉの重み（ｗｉ）が＋１である場合、第ｉセル７２－ｉの第１抵抗７４は、第１コンダクタンス（Ｇ１＝１／Ｒ１）に設定される。第ｉの重み（ｗｉ）が＋１である場合、第ｉセル７２－ｉの第２抵抗７６は、第２コンダクタンス（Ｇ２＝１／Ｒ２）に設定される。この場合、第１抵抗７４には、第１電流値（Ｉ１）の電流が流れる。また、第２抵抗７６には、第２電流値（Ｉ２）の電流が流れる。なお、Ｇ１＞Ｇ２であるとする。従って、Ｉ１＞Ｉ２である。
【0094】
また、第ｉの入力値（ｘｉ）が＋１である場合、第ｉクロススイッチ３８－ｉは、ストレート接続される。従って、正側電流源３２の正側端子４６は、第ｉセル７２－ｉの第１抵抗７４へ電流を供給する。また、負側電流源３４の負側端子５０は、第ｉセル７２－ｉの第２抵抗７６へ、電流を供給する。
【0095】
ここで、積和演算回路２０は、第ｉの重み（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）の算出結果を、正側端子４６から第ｉセル７２－ｉへ流れる電流（ＩＰ＿ｉ）と、負側端子５０から第ｉセル７２－ｉへ流れる電流（ＩＮ＿ｉ）との電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）で表す。
【0096】
このため、図１１の例では、ＩＰ＿ｉ＝Ｉ１、ＩＮ＿ｉ＝Ｉ２となり、電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、正の値となる。従って、ｗｉ＝＋１、ｘｉ＝＋１の場合、積和演算回路２０は、第ｉの重み（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）として、＋１を算出することができる。
【0097】
図１２は、ｗｉ＝＋１、ｘｉ＝－１の場合の積和演算回路２０の演算動作を説明するための図である。第ｉの重み（ｗｉ）が＋１である場合、第ｉセル７２－ｉの第１抵抗７４は、第１コンダクタンス（Ｇ１）に設定される。第ｉの重み（ｗｉ）が＋１である場合、第ｉセル７２－ｉの第２抵抗７６は、第２コンダクタンス（Ｇ２）に設定される。この場合、第１抵抗７４には、第１電流値（Ｉ１）の電流が流れる。また、第２抵抗７６には、第２電流値（Ｉ２）の電流が流れる。
【0098】
また、第ｉの入力値（ｘｉ）が－１である場合、第ｉクロススイッチ３８－ｉは、リバース接続される。従って、正側電流源３２の正側端子４６は、第ｉセル７２－ｉの第２抵抗７６へ電流を供給する。また、負側電流源３４の負側端子５０は、第ｉセル７２－ｉの第１抵抗７４へ電流を供給する。
【0099】
このため、図１２の例では、ＩＰ＿ｉ＝Ｉ２、ＩＮ＿ｉ＝Ｉ１となり、電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、負の値となる。従って、ｗｉ＝＋１、ｘｉ＝－１の場合、積和演算回路２０は、第ｉの重み（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）として、－１を算出することができる。
【0100】
なお、バイアス（ｂ）が－１であり、クロススイッチ３８に入力される値が＋１で固定されている場合も、積和演算回路２０は、同様に、バイアス（ｂ）に固定入力値（＋１）を乗じた値（ｂ）として、－１を算出することができる。
【0101】
図１３は、ｗｉ＝－１、ｘｉ＝＋１の場合の積和演算回路２０の演算動作を説明するための図である。第ｉの重み（ｗｉ）が－１である場合、第ｉセル７２－ｉの第１抵抗７４は、第２コンダクタンス（Ｇ２）に設定される。第ｉの重み（ｗｉ）が－１である場合、第ｉセル７２－ｉの第２抵抗７６は、第１コンダクタンス（Ｇ１）に設定される。従って、この場合、第１抵抗７４には、第２電流値（Ｉ２）の電流が流れる。また、第２抵抗７６には、第１電流値（Ｉ１）の電流が流れる。
【0102】
また、第ｉの入力値（ｘｉ）が＋１である場合、第ｉクロススイッチ３８－ｉは、ストレート接続される。従って、正側電流源３２の正側端子４６は、第ｉセル７２－ｉの第１抵抗７４へ電流を供給する。また、負側電流源３４の負側端子５０は、第ｉセル７２－ｉの第２抵抗７６へ電流を供給する。
【0103】
このため、図１３の例では、ＩＰ＿ｉ＝Ｉ２、ＩＮ＿ｉ＝Ｉ１となり、電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、負の値となる。従って、ｗｉ＝－１、ｘｉ＝＋１の場合、積和演算回路２０は、第ｉの重み（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）は、－１を算出することができる。
【0104】
図１４は、ｗｉ＝－１、ｘｉ＝－１の場合の積和演算回路２０の演算動作を説明するための図である。第ｉの重み（ｗｉ）が－１である場合、第ｉセル７２－ｉの第１抵抗７４は、第２コンダクタンス（Ｇ２）に設定される。第ｉの重み（ｗｉ）が－１である場合、第ｉセル７２－ｉの第２抵抗７６は、第１コンダクタンス（Ｇ１）に設定される。従って、この場合、第１抵抗７４には、第２電流値（Ｉ２）の電流が流れる。また、第２抵抗７６には、第１電流値（Ｉ１）の電流が流れる。
【0105】
また、第ｉの入力値（ｘｉ）が－１である場合、第ｉクロススイッチ３８－ｉは、リバース接続される。従って、正側電流源３２の正側端子４６は、第ｉセル７２－ｉの第２抵抗７６へ電流を供給する。また、負側電流源３４の負側端子５０は、第ｉセル７２－ｉの第１抵抗７４へ電流を供給する。
【0106】
このため、図１４の例では、ＩＰ＿ｉ＝Ｉ１、ＩＮ＿ｉ＝Ｉ２となり、電流差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、正の値となる。従って、ｗｉ＝－１、ｘｉ＝－１の場合、積和演算回路２０は、第ｉの重み（ｗｉ）に第ｉの入力値（ｘｉ）を乗じた値（ｗｉ・ｘｉ）として、＋１を算出することができる。
【0107】
図１５は、ｂ＝０の場合の積和演算回路２０の演算動作を説明するための図である。バイアス（ｂ）が０である場合、第（Ｍ＋１）セル７２－（Ｍ＋１）の第１抵抗７４は、第１コンダクタンス（Ｇ１）に設定される。バイアス（ｂ）が０である場合、第（Ｍ＋１）セル７２－（Ｍ＋１）の第２抵抗７６は、第１コンダクタンス（Ｇ１）に設定される。従って、この場合、第１抵抗７４には、第１電流値（Ｉ１）の電流が流れる。また、第２抵抗７６には、第１電流値（Ｉ１）の電流が流れる。
【0108】
また、第（Ｍ＋１）クロススイッチ３８－（Ｍ＋１）は、固定値である＋１が入力され、ストレート接続される。従って、正側電流源３２の正側端子４６は、第（Ｍ＋１）セル７２－（Ｍ＋１）の第１抵抗７４へ電流を供給する。また、負側電流源３４の負側端子５０は、第（Ｍ＋１）セル７２－（Ｍ＋１）の第２抵抗７６へ電流を供給する。
【0109】
このため、図１５の例では、ＩＰ＿（Ｍ＋１）＝Ｉ１、ＩＮ＿（Ｍ＋１）＝Ｉ１となり、電流差（ＩＰ＿（Ｍ＋１）－ＩＮ＿（Ｍ＋１））は、０となる。従って、ｂ＝０の場合、積和演算回路２０は、バイアス（ｂ）として、０を算出することができる。
【0110】
なお、バイアス（ｂ）が０である場合、第（Ｍ＋１）セル７２－（Ｍ＋１）の第１抵抗７４および第２抵抗７６は、第２コンダクタンス（Ｇ２）に設定されてもよい。この場合、第１抵抗７４および第２抵抗７６は、第２電流値（Ｉ２）の電流が流れる。この場合にも、電流差（ＩＰ＿（Ｍ＋１）－ＩＮ＿（Ｍ＋１））は、０となり、積和演算回路２０は、バイアス（ｂ）として、０を算出することができる。
【0111】
以上のように、正側端子４６から第ｉセル７２－ｉへと出力される電流（ＩＰ＿ｉ）と、負側端子５０から第ｉセル７２－ｉへと出力される電流（ＩＮ＿ｉ）との差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、第ｉの重み（ｗｉ）と第ｉの入力値（ｘｉ）との乗算値（ｗｉ・ｘｉ）を表す。また、正側端子４６から第（Ｍ＋１）セル７２－（Ｍ＋１）へと出力される電流（ＩＰ＿（Ｍ＋１））と、負側端子５０から第（Ｍ＋１）セル７２－（Ｍ＋１）へと出力される電流（ＩＮ＿（Ｍ＋１））との差（ＩＰ＿（Ｍ＋１）－ＩＮ＿（Ｍ＋１））は、バイアス（ｂ）を表す。
【0112】
従って、正側電流源３２の正側端子４６から出力される合計の電流（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１））と、負側電流源３４の負側端子５０から出力される合計の電流（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１））との差分値｛（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１））－（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１））｝は、Ｍ個の入力値とＭ個の重みとの積和演算（乗累算）結果と、バイアス（ｂ）とを加算した値を表す。
【0113】
図１６は、正側電流源３２、負側電流源３４および比較部３６の動作を説明するための図である。
【0114】
正側電流源３２は、第１セル７２－１に対して、ＩＰ＿１の電流を出力する。また、正側電流源３２は、第２セル７２－２に対して、ＩＰ＿２の電流を出力する。そして、正側電流源３２は、第（Ｍ＋１）セル７２－（Ｍ＋１）に対して、ＩＰ＿（Ｍ＋１）の電流を出力する。従って、正側電流源３２は、正側端子４６から、ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１）の電流を出力する。すなわち、正側電流源３２は、Ｍ個の重みのそれぞれとＭ個の入力値のうちの対応する入力値とを乗算することにより生成されるＭ個の乗算値、および、所定個のバイアスのうち、正となる値群を合計した値の絶対値を表す電流を、正側端子４６から出力する。
【0115】
また、正側電流源３２は、Ｂ個の第１ＦＥＴ４８を有する。Ｂ個の第１ＦＥＴ４８は、同一の特性を有し、同一の接続関係となっている。従って、Ｂ個の第１ＦＥＴ４８は、同一のドレイン電流（Ｉｄ１）を流す。
【0116】
また、Ｂ個の第１ＦＥＴ４８のドレイン電流（Ｉｄ１）の合計は、Ｂ×Ｉｄ１である。Ｂ個の第１ＦＥＴ４８のドレイン電流（Ｉｄ１）は、全て正側端子４６に供給される。従って、Ｂ×Ｉｄ１＝（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１））となる。つまり、Ｂ個の第１ＦＥＴ４８のそれぞれのドレイン電流（Ｉｄ１）は、（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１））／Ｂとなる。
【0117】
負側電流源３４は、第１セル７２－１に対して、ＩＮ＿１の電流を出力する。また、負側電流源３４は、第２セル７２－２に対して、ＩＮ＿２の電流を出力する。そして、負側電流源３４は、第Ｍセル７２－Ｍに対して、ＩＮ＿（Ｍ＋１）の電流を出力する。従って、負側電流源３４は、負側端子５０から、ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１）の電流を出力する。すなわち、負側電流源３４は、Ｍ個の重みのそれぞれとＭ個の入力値のうちの対応する入力値とを乗算することにより生成されるＭ個の乗算値、および、所定個のバイアスのうち、負となる値群を合計した値の絶対値を表す電流を、負側端子５０から出力する。
【0118】
負側電流源３４は、Ｂ個の第２ＦＥＴ５２を有する。Ｂ個の第２ＦＥＴ５２は、同一の特性を有し、同一の接続関係となっている。従って、Ｂ個の第２ＦＥＴ５２は、同一のドレイン電流（Ｉｄ２）を流す。
【0119】
また、Ｂ個の第２ＦＥＴ５２のドレイン電流（Ｉｄ２）の合計は、Ｂ×Ｉｄ２である。Ｂ個の第２ＦＥＴ５２のドレイン電流（Ｉｄ２）は、全て負側端子５０に供給される。従って、Ｂ×Ｉｄ２＝（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１））となる。つまり、Ｂ個の第２ＦＥＴ５２のそれぞれのドレイン電流（Ｉｄ２）は、（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１））／Ｂとなる。
【0120】
正側電流源３２は、第１電圧として、正側端子４６に発生する電圧を出力する。正側端子４６に発生する電圧は、第２基準電位（例えば、ＶＤＤ）から、第１ＦＥＴ４８のゲート－ソース間電圧（ＶＧＳ１）を減じた電位である。
【0121】
また、負側電流源３４は、第２電圧として、負側端子５０に発生する電圧を出力する。負側端子５０に発生する電圧は、第２基準電位（例えば、ＶＤＤ）から、第２ＦＥＴ５２のゲート－ソース間電圧（ＶＧＳ２）を減じた電位である。
【0122】
比較部３６は、第１電圧と第２電圧との差（Ｖｄ）が０より小さいか、０以上であるかを判定する。例えば、比較部３６は、第１電圧と第２電圧との差（Ｖｄ）が０より小さい場合、第１論理（例えば－１）を出力し、０以上である場合、第２論理（例えば＋１）を出力する。
【0123】
ここで、第１電圧と第２電圧との差（Ｖｄ）は、第１ＦＥＴ４８のゲート－ソース間電圧（ＶＧＳ１）から、第２ＦＥＴ５２のゲート－ソース間電圧（ＶＧＳ２）を減じた電圧に等しい。
【0124】
第１ＦＥＴ４８のゲート－ソース間電圧（ＶＧＳ１）は、第１ＦＥＴ４８のドレイン電流（Ｉｄ１）に比例した値である。また、第２ＦＥＴ５２のゲート－ソース間電圧（ＶＧＳ２）は、第２ＦＥＴ５２のドレイン電流（Ｉｄ２）に比例した値である。また、第１ＦＥＴ４８と第２ＦＥＴ５２とは、同一の特性である。従って、第１電圧と第２電圧との差（Ｖｄ）は、第１ＦＥＴ４８のドレイン電流（（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１）／Ｂ）から、第２ＦＥＴ５２のドレイン電流（（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１）／Ｂ）を減じた電流に比例する。
【0125】
以上から、出力値（ｙ）は、第１ＦＥＴ４８のドレイン電流（（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１））／Ｂ）から、第２ＦＥＴ５２のドレイン電流（（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１））／Ｂ）を減じた電流が、０より小さいか、または、０以上であるか否かを表す。
【0126】
ここで、正側電流源３２が有する第１ＦＥＴ４８の個数（Ｂ）と、負側電流源３４が有する第２ＦＥＴ５２の個数（Ｂ）は、同一である。また、比較部３６は、０を閾値として、値を反転させている。第１ＦＥＴ４８のドレイン電流（（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１））／Ｂ）から、第２ＦＥＴ５２のドレイン電流（（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１））／Ｂ）を減じた電流の０クロス点と、正側端子４６から出力される合計の電流（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１））から、負側端子５０から出力される合計の電流（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１））を減じた電流の０クロス点とは、同一である。従って、出力値（ｙ）は、正側端子４６から出力される合計の電流（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１））から、負側端子５０から出力される合計の電流（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１））を減じた電流が、０より小さいか、０以上であるか否かを表す。
【0127】
正側端子４６から第ｉセル７２－ｉへと出力される電流（ＩＰ＿ｉ）と、負側端子５０から第ｉセル７２－ｉへと出力される電流（ＩＮ＿ｉ）との差（ＩＰ＿ｉ－ＩＮ＿ｉ）は、第ｉの重み（ｗｉ）と第ｉの入力値（ｘｉ）との乗算値（ｗｉ・ｘｉ）を表す。また、正側端子４６から第（Ｍ＋１）セル７２－（Ｍ＋１）へと出力される電流（ＩＰ＿（Ｍ＋１））と、負側端子５０から第（Ｍ＋１）セル７２－（Ｍ＋１）へと出力される電流（ＩＮ＿（Ｍ＋１））との差（ＩＰ＿（Ｍ＋１）－ＩＮ＿（Ｍ＋１））は、バイアス（ｂ）を表す。そして、正側端子４６から出力される合計の電流（ＩＰ＿１＋ＩＰ＿２＋…＋ＩＰ＿（Ｍ＋１））から、負側端子５０から出力される合計の電流（ＩＮ＿１＋ＩＮ＿２＋…＋ＩＮ＿（Ｍ＋１））を減じた電流は、Ｍ個の入力値とＭ個の重みとの積和演算（乗累算）値と、バイアス（ｂ）とを加算した値を表す。
【0128】
従って、出力値（ｙ）は、Ｍ個の入力値とＭ個の重みとの積和演算（乗累算）値と、バイアス（ｂ）とを加算した値が、０より小さいか、または、０以上であるか否かを表す。
【0129】
このように、積和演算回路２０は、Ｍ個の入力値とＭ個の重みとの積和値と、バイアスとを加算する演算処理をアナログ処理により実行することができる。そして、積和演算回路２０は、積和演算値を２値化した出力値を生成することができる。
【0130】
図１７は、情報処理装置のハードウェア構成の一例を示す図である。ニューラルネットワーク装置１０は、プログラムと協働して動作することにより、例えば図１７に示すようなハードウェア構成の情報処理装置により実現することも可能である。また、ニューラルネットワーク装置１０は、図１７に示す構成に限らず、サーバまたは複数のコンピュータにより実現されるクラウド等により実現することも可能である。
【0131】
情報処理装置は、ＣＰＵ（Central Processing Unit）３０１と、ＲＡＭ（Random Access Memory）３０２と、ＲＯＭ（Read Only Memory）３０３と、操作入力装置３０４と、表示装置３０５と、記憶装置３０６と、通信装置３０７とを備える。そして、これらの各部は、バスにより接続される。なお、情報処理装置は、操作入力装置３０４および表示装置３０５を備えない構成であってもよい。
【0132】
ＣＰＵ３０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ３０１は、ＲＡＭ３０２の所定領域を作業領域として、ＲＯＭ３０３および記憶装置３０６等に記憶されたプログラムとの協働により各種処理を実行する。
【0133】
ＲＡＭ３０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリである。ＲＡＭ３０２は、ＣＰＵ３０１の作業領域として機能する。ＲＯＭ３０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。
【0134】
操作入力装置３０４は、マウスおよびキーボード等の入力デバイスである。操作入力装置３０４は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ３０１に出力する。
【0135】
表示装置３０５は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスである。表示装置３０５は、ＣＰＵ３０１からの表示信号に基づいて、各種情報を表示する。
【0136】
記憶装置３０６は、フラッシュメモリ等の半導体による記憶媒体、または、磁気的若しくは光学的に記録可能な記憶媒体等にデータを書き込みおよび読み出しをする装置である。記憶装置３０６は、ＣＰＵ３０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。通信装置３０７は、ＣＰＵ３０１からの制御に応じて外部の機器とネットワークを介して通信する。
【0137】
情報処理装置をニューラルネットワーク装置１０として機能させるためのプログラムは、演算モジュールと、学習制御モジュールと、バイアスリセットモジュールとを含む。このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、情報処理装置を、演算部、学習制御部およびバイアスリセット部として機能させる。演算部は、演算回路１２と同一の処理を実行する。学習制御部は、学習制御回路２６と同一の処理を実行する。バイアスリセット部は、バイアスリセット回路２８と同一の処理を実行する。また、このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、ＲＡＭ３０２または記憶装置３０６を、推論重み記憶回路１４、推論バイアス記憶回路１６、学習重み記憶回路２２および学習バイアス記憶回路２４として機能させる。
【0138】
また、情報処理装置で実行されるプログラムは、コンピュータにインストール可能な形式または実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0139】
また、情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、情報処理装置で実行されるプログラムを、ＲＯＭ３０３等に予め組み込んで提供するように構成してもよい。
【0140】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0141】
１０ ニューラルネットワーク装置
１２ 演算回路
１４ 推論重み記憶回路
１６ 推論バイアス記憶回路
２２ 学習重み記憶回路
２４ 学習バイアス記憶回路
２６ 学習制御回路
２８ バイアスリセット回路
３０ 積和演算回路
１２ 演算回路
１４ 推論重み記憶回路
１６ 推論バイアス記憶回路
２２ 学習重み記憶回路
２４ 学習バイアス記憶回路
２６ 学習制御回路
２８ バイアスリセット回路
３０ 積和演算回路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】