特開 2023-37054 機械学習装置および機械学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023037054

(43)【公開日】2023-03-15

(54)【発明の名称】機械学習装置および機械学習方法

(51)【国際特許分類】

   G06N 3/084 20230101AFI20230308BHJP

【ＦＩ】

G06N3/08 140

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021143583

(22)【出願日】2021-09-03

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】大久保 教夫

(72)【発明者】

【氏名】松村 忠幸

(57)【要約】

【課題】
新しいクラスを追加する継続学習を繰り返すと推論精度が下がっていくという課題がある。
【解決手段】
ニューラルネットワークを備える機械学習装置であって、前記ニューラルネットワークの出力層から出力される信号の値に基づいて、教師データを自動生成する教師データ生成部と、前記教師データに基づいて、前記ニューラルネットワークの結合重みのバイアス値を変更する結合バイアス変更部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ニューラルネットワークを備える機械学習装置であって、
前記ニューラルネットワークの出力層から出力される信号の値に基づいて、教師データを自動生成する教師データ生成部と、
前記教師データに基づいて、前記ニューラルネットワークの結合重みのバイアス値を変更する結合バイアス変更部と、を備える、
ことを特徴とする機械学習装置。

【請求項2】

請求項1記載の機械学習装置であって、
前記教師データ生成部は、
前記出力層から出力される信号の値が、最も大きな値に、事前に設定された値をかけた値以上のものを正解とし、それ以外を不正解として、前記教師データを生成する
ことを特徴とする機械学習装置。

【請求項3】

請求項１記載の機械学習装置であって、
前記結合バイアス変更部は、
前記教師データ生成部において、正解とした前記出力層から出力される信号を生成する結合バイアスに事前に設定された値を減算する、あるいは、
前記教師データ生成部において、不正解とした前記出力層から出力される信号を生成する結合バイアスに事前に設定された値を加算する、あるいは、その両方の演算を行う、
ことを特徴とする機械学習装置。

【請求項4】

請求項1記載の機械学習装置であって、
前記教師データ生成部は、
前記出力層からの出力は、分類すべきラベル毎に分割され、入力データに該当するラベルに分割された出力の中から、最も大きな値に、事前に設定された値をかけた値以上のものを正解とし、それ以外を不正解として、前記教師データを生成する、
ことを特徴とする機械学習装置。

【請求項5】

ニューラルネットワークによる機械学習方法であって、
前記ニューラルネットワークの出力層から出力される信号の値に基づいて、教師データを自動生成する教師データ生成処理と、
前記教師データに基づいて、前記ニューラルネットワークの結合重みのバイアス値を変更する結合バイアス変更処理と、
がある、
ことを特徴とする機械学習方法。

【請求項6】

請求項５記載の機械学習方法であって、
前記教師データ生成処理では、
前記出力層から出力される信号の値が、最も大きな値に、事前に設定された値をかけた値以上のものを正解とし、それ以外を不正解として、前記教師データを生成する
ことを特徴とする機械学習方法。

【請求項7】

請求項５記載の機械学習方法であって、
前記結合バイアス変更処理では、
前記教師データ生成処理において、正解とした前記出力層から出力される信号を生成する結合バイアスに事前に設定された値を減算する、あるいは、
前記教師データ生成処理において、不正解とした前記出力層から出力される信号を生成する結合バイアスに事前に設定された値を加算する、あるいは、その両方の演算を行う、
ことを特徴とする機械学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はニューラルネットワークを用いた機械学習装置および機械学習方法に関する。

【背景技術】

【0002】

過去に学習した内容を忘れずに、新しい学習を行う継続学習という手法が知られている。この継続学習の例が、特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】WO2020/194500

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載のような従来の継続学習においては、新しいクラスを追加する継続学習を繰り返すと推論精度が下がっていくという課題がある。

【0005】

本発明の目的は、上記の課題を解決し、継続学習を繰り返し行っても推論精度が下がることを抑えることが可能な機械学習装置および機械学習方法を提供することにある。

【課題を解決するための手段】

【0006】

上記の課題を解決するため、本発明においては、ニューラルネットワークを備える機械学習装置であって、ニューラルネットワークの出力層から出力される信号の値に基づいて、教師データを自動生成する教師データ生成部と、教師データに基づいて、ニューラルネットワークの結合重みのバイアス値を変更する結合バイアス変更部と、を備える機械学習装置を提供する。

【0007】

また、上記の課題を解決するため、本発明においては、ニューラルネットワークによる機械学習方法であって、ニューラルネットワークの出力層から出力される信号の値に基づいて、教師データを自動生成する教師データ生成処理と、教師データに基づいて、ニューラルネットワークの結合重みのバイアス値を変更する結合バイアス変更処理と、からなる機械学習方法を提供する。

【発明の効果】

【0008】

本発明によれば、新しいクラスを追加する継続学習を繰り返し行っても推論精度が下がることを抑えることが可能となる。

【0009】

上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】第1実施例の機械学習装置の説明図である。

【図2】第２実施例の機械学習装置の機能構成を示すブロック図である。

【図3】第３実施例の機械学習装置の学習処理のフローチャートである。

【図4】第３実施例の機械学習装置の訓練データについて学習処理のフローチャートである。

【図5】第３実施例の機械学習装置の教師データ作成処理のフローチャートである。

【図6】第３実施例の機械学習装置の結合バイアスの変更処理のフローチャートである。

【図7】継続学習を繰り返した時の推論精度を示すグラフである。

【図8】第４実施例の機械学習装置の説明図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明を実施するための好適な形態について説明する。

【実施例0012】

実施例１は、ニューラルネットワークを備える機械学習装置であって、ニューラルネットワークの出力層から出力される信号の値に基づいて、教師データを自動生成する教師データ生成部と、教師データに基づいて、ニューラルネットワークの結合重みのバイアス値を変更する結合バイアス変更部と、を備える機械学習装置、及び機械学習方法の実施例である。

【0013】

図1は、実施例１の機械学習装置の説明図である。同図において、ニューラルネットワーク１００は、入力層１０１と出力層１０２から構成される。入力層１０１はニューロン１１１、１１２、１１３から構成され、出力層１０２はニューロン１２１、１２２、１２３により構成される。入力層１０１と出力層１０２は全結合される。

【0014】

出力層１０２の出力は処理(以下、S)１５１により、上位の条件を満たしていれば正解に、それ以外は不正解として、教師データを生成する。生成された教師データはS１５２とS１５３に渡される。

【0015】

S１５２では、正解としたニューロンの結合重みのバイアスを、予め決めておいた値で減算する。S１５３では、誤差逆伝播により入力層１０１と出力層１０２の結合重みを更新する。

【0016】

本実施例によれば、ニューラルネットワークの学習において出力信号が大きいものを正解とすることで、外部から教師データを与えることなく結合重みにデータを記憶することができる。また、本実施例によれば、一度正解となったニューロンは、出力信号が大きくなりやすい傾向が現れるが、バイアスを減算することで誤学習を防ぐことができる。

【0017】

以上の学習方法により、新しいクラスを追加する継続学習を繰り返し行っても推論精度が下がることを抑えることが可能となる。また、結合重みにデータが記憶されるため、何を覚えているかが結合重みから分かり、それにより分類の理由が分かり易いという効果もある。

【0018】

なお、入力層１０１は入力層に限定されるものではなく、中間層としてその前に入力層を持つ構成としてもよい。また、出力層１０２は出力層に限定されるものではなく、中間層としてその後に出力層を持つ構成としてもよい。

【実施例0019】

実施例２は、推論時のラベル判定方法まで含めた実施例を示す。図２は、実施例２の機械学習装置の機能構成を示すブロック図である。ニューラルネットワーク部２０１は、入力層部２０３、全結合部２０４、出力層部２０５、結合重み２０７、結合バイアス２０８から構成される。

【0020】

まず学習について説明する。
データ２０２は、ニューラルネットワーク部２０１に入力し、伝播制御部２０９によりニューラルネットワーク部２０１内を順伝播して、出力は教師データ生成部２１０に入力される。

【0021】

教師データ生成部２１０では、ニューラルネットワーク部２０１の出力に基づき教師データを生成する。生成された教師データは、ニューラルネットワーク部２０１、ラベル判定部２０６、伝播制御部２０９、結合バイアス変更部２１１に入力される。

【0022】

結合バイアス変更部２１１では、教師データ生成部２１０により生成された教師データに基づきニューラルネットワーク部２０１の結合バイアス２０８を変更する。

【0023】

また、教師データ生成部２１０により生成された教師データは、伝播制御部２０９によりニューラルネットワーク部２０１内を逆伝播するとともに、結合更新部２１２によりニューラルネットワーク部２０１の結合重み２０７と結合バイアス２０８を更新することで学習が進行する。

【0024】

次に推論について説明する。
データ２０２は、ニューラルネットワーク部２０１に入力し、伝播制御部２０９によりニューラルネットワーク部２０１内を順伝播して、出力はラベル判定部２０６に入力される。ラベル判定部２０６により、ラベルが判定され推論される。

【0025】

ここで、ラベル判定の方法としては、例えば、学習時に教師データが正解とした出力を、データに対応するラベル毎に集計して、最も多いラベルを該当する出力の割り当てラベルとし、推論時にニューラルネットワーク部２０１の出力が最も大きな出力の割り当てラベルを判定結果とする。

【0026】

以上、本実施例の学習方法と推論方法により、新しいクラスを追加する継続学習を繰り返し行っても推論精度が下がることを抑えることが可能となる。