(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024006647
(43)【公開日】2024-01-17
(54)【発明の名称】学習装置、機械学習プログラム、および機械学習方法
(51)【国際特許分類】
G06N 3/082 20230101AFI20240110BHJP
【ＦＩ】
G06N3/08 120
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022107734
(22)【出願日】2022-07-04
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年４月２８日 ウェブサイト「ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２２０４．１３３６１」を通じて公開 令和４年４月２８日 下記ウェブサイトを通じて公開 「ｈｔｔｐｓ：／／ｐａｐｅｒｓｗｉｔｈｃｏｄｅ．ｃｏｍ／ｐａｐｅｒ／ｉｔ－ｓ－ｄｏｎｅ－ｄｉｒｅｃｔ－ｏｎｅ－ｓｈｏｔ－ｌｅａｒｎｉｎｇ－ｗｉｔｈｏｕｔ」 令和４年４月２９日 下記ウェブサイトを通じて公開されたＴｗｉｔｔｅｒにて公開 「ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ＨｏｓｏｄａＫａｚｕｆｕｍｉ／ｓｔａｔｕｓ／１５１９９１０７０３１８７９９６６７２」 令和４年６月２日 下記ウェブサイトを通じて公開 「ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｈｏｓｏｄａｋａｚｕｆｕｍｉ／ｔｆｄｏｎｅ／ｃｏｍｍｉｔ／５ｆ１４７５０７７８０９ｃ８ｃａｂｄｂｃ８ｂａ１ａｃａ４ｂ２０ｆｆ０５７０１ｆ２」「ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｈｏｓｏｄａｋａｚｕｆｕｍｉ／ｔｆｄｏｎｅ」 令和４年６月３日 ウェブサイト「ｈｔｔｐｓ：／／ｐｙｐｉ．ｏｒｇ／ｐｒｏｊｅｃｔ／ｔｆｄｏｎｅ／０．０．１／」を通じて公開 令和４年６月５日 下記ウェブサイトを通じて公開されたＦａｃｅｂｏｏｋにて公開 「ｈｔｔｐｓ：／／ｗｗｗ．ｆａｃｅｂｏｏｋ．ｃｏｍ／ｐｅｒｍａｌｉｎｋ．ｐｈｐ？ｓｔｏｒｙ＿ｆｂｉｄ＝ｐｆｂｉｄ０２ｕ８８ｇＺＮＶ７ＭｚｖＺＡＥ３ＳｚＬＹｕｄＦｚＪＶｅＧｈ７６ＧＬｂＦｅｋＸｂｏｑＨｚｅＤＰＷｑ９ＳａｅＥＨｃｘｓ９ＮＥＸｏＰｓｈｌ＆ｉｄ＝１０００１１４６５７３５７１１」 令和４年６月６日 下記ウェブサイトを通じて公開されたＴｗｉｔｔｅｒにて公開 「ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ＨｏｓｏｄａＫａｚｕｆｕｍｉ／ｓｔａｔｕｓ／１５３３６４４８８９０１１１６３１３６」 令和４年６月２７日 ウェブサイト「ｈｔｔｐｓ：／／ｗｗｗ．ｌｏｙ－ｒｅｐｏｒｔｓ．ｃｏｍ／」を通じて公開された「第７回 細胞生物若手の会交流会」のＹｏｕ Ｔｕｂｅ Ｌｉｖｅにて公開
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、総務省、情報通信技術の研究開発、「脳の仕組みに倣った省エネ型の人工知能関連技術の開発・実証事業」に係る委託研究 産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】細田 一史
(72)【発明者】
【氏名】柏岡 秀紀
(57)【要約】
【課題】ニューラルネットワークの統計的特徴によらず、ニューラルネットワークの性能を維持しながら、１つまたは少数の学習データを用いて、当該１つまたは少数の学習データに対応するクラスをニューラルネットワークに学習させる。
【解決手段】学習装置は、少なくとも１つの学習データＤｎｃについて少なくとも１つの隠れ層Ｌｈ１～ＬｈＭから出力層Ｌｏへそれぞれ出力される少なくとも１つの活性値ベクトルから、少なくとも１つの学習データＤｎｃの特定クラスに対応する特定活性値ベクトルｘｎｅｗを算出し、出力層Ｌｏの重み行列Ｗｏｒｉを基準分布として参照するＱｕａｎｔｉｌｅ正規化Ｆを特定活性値ベクトルｘｎｅｗに対して行って正規化ベクトルを算出し、正規化ベクトルを重み行列に追加し、特定クラスに対応するニューロンＮｏ３を出力層Ｌｏに追加する。
【選択図】図５
【解決手段】学習装置は、少なくとも１つの学習データＤｎｃについて少なくとも１つの隠れ層Ｌｈ１～ＬｈＭから出力層Ｌｏへそれぞれ出力される少なくとも１つの活性値ベクトルから、少なくとも１つの学習データＤｎｃの特定クラスに対応する特定活性値ベクトルｘｎｅｗを算出し、出力層Ｌｏの重み行列Ｗｏｒｉを基準分布として参照するＱｕａｎｔｉｌｅ正規化Ｆを特定活性値ベクトルｘｎｅｗに対して行って正規化ベクトルを算出し、正規化ベクトルを重み行列に追加し、特定クラスに対応するニューロンＮｏ３を出力層Ｌｏに追加する。
【選択図】図５
【特許請求の範囲】
【請求項1】
ニューラルネットワークが保存された記憶部と、
少なくとも１つの学習データに対応する特定クラスを前記ニューラルネットワークに学習させる制御部とを備え、
前記ニューラルネットワークは、前記少なくとも１つの学習データを受ける入力層と、複数のクラスにそれぞれ対応する複数のニューロンを含む出力層と、前記入力層と前記出力層との間に接続された少なくとも１つの隠れ層とを含み、
前記制御部は、
前記少なくとも１つの学習データについて前記少なくとも１つの隠れ層から前記出力層へそれぞれ出力される少なくとも１つの活性値ベクトルから、前記特定クラスに対応する特定活性値ベクトルを算出し、
前記出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を前記特定活性値ベクトルに対して行って正規化ベクトルを算出し、
前記正規化ベクトルを前記重み行列に追加し、
前記特定クラスに対応するニューロンを前記出力層に追加する、学習装置。
少なくとも１つの学習データに対応する特定クラスを前記ニューラルネットワークに学習させる制御部とを備え、
前記ニューラルネットワークは、前記少なくとも１つの学習データを受ける入力層と、複数のクラスにそれぞれ対応する複数のニューロンを含む出力層と、前記入力層と前記出力層との間に接続された少なくとも１つの隠れ層とを含み、
前記制御部は、
前記少なくとも１つの学習データについて前記少なくとも１つの隠れ層から前記出力層へそれぞれ出力される少なくとも１つの活性値ベクトルから、前記特定クラスに対応する特定活性値ベクトルを算出し、
前記出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を前記特定活性値ベクトルに対して行って正規化ベクトルを算出し、
前記正規化ベクトルを前記重み行列に追加し、
前記特定クラスに対応するニューロンを前記出力層に追加する、学習装置。
【請求項2】
前記ニューラルネットワークは、学習済みである、請求項１に記載の学習装置。
【請求項3】
前記少なくとも１つの学習データは、特定学習データを含み、
前記特定活性値ベクトルは、前記特定学習データに対応する活性値ベクトルである、請求項１または２に記載の学習装置。
前記特定活性値ベクトルは、前記特定学習データに対応する活性値ベクトルである、請求項１または２に記載の学習装置。
【請求項4】
前記少なくとも１つの学習データは、複数の学習データであり、
前記少なくとも１つの活性値ベクトルは、前記複数の学習データにそれぞれ対応する複数の活性値ベクトルであり、
前記特定活性値ベクトルは、前記複数の活性値ベクトルの平均ベクトルである、請求項１または２に記載の学習装置。
前記少なくとも１つの活性値ベクトルは、前記複数の学習データにそれぞれ対応する複数の活性値ベクトルであり、
前記特定活性値ベクトルは、前記複数の活性値ベクトルの平均ベクトルである、請求項１または２に記載の学習装置。
【請求項5】
少なくとも１つの学習データに対応する特定クラスをニューラルネットワークに学習させる機械学習プログラムであって、
前記ニューラルネットワークは、前記少なくとも１つの学習データを受ける入力層と、複数のクラスにそれぞれ対応する複数のニューロンを含む出力層と、前記入力層と前記出力層との間に接続された少なくとも１つの隠れ層とを含み、
前記機械学習プログラムは、プロセッサに実行されることによって、
前記少なくとも１つの学習データについて前記少なくとも１つの隠れ層から前記出力層へそれぞれ出力される少なくとも１つの活性値ベクトルから、前記特定クラスに対応する特定活性値ベクトルを算出し、
前記出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を前記特定活性値ベクトルに対して行って正規化ベクトルを算出し、
前記正規化ベクトルを前記重み行列に追加し、
前記特定クラスに対応するニューロンを前記出力層に追加する、機械学習プログラム。
前記ニューラルネットワークは、前記少なくとも１つの学習データを受ける入力層と、複数のクラスにそれぞれ対応する複数のニューロンを含む出力層と、前記入力層と前記出力層との間に接続された少なくとも１つの隠れ層とを含み、
前記機械学習プログラムは、プロセッサに実行されることによって、
前記少なくとも１つの学習データについて前記少なくとも１つの隠れ層から前記出力層へそれぞれ出力される少なくとも１つの活性値ベクトルから、前記特定クラスに対応する特定活性値ベクトルを算出し、
前記出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を前記特定活性値ベクトルに対して行って正規化ベクトルを算出し、
前記正規化ベクトルを前記重み行列に追加し、
前記特定クラスに対応するニューロンを前記出力層に追加する、機械学習プログラム。
【請求項6】
少なくとも１つの学習データに対応する特定クラスをニューラルネットワークに学習させる機械学習方法であって、
前記ニューラルネットワークは、前記少なくとも１つの学習データを受ける入力層と、複数のクラスにそれぞれ対応する複数のニューロンを含む出力層と、前記入力層と前記出力層との間に接続された少なくとも１つの隠れ層とを含み、
前記機械学習方法は、
前記少なくとも１つの学習データについて前記少なくとも１つの隠れ層から前記出力層へそれぞれ出力される少なくとも１つの活性値ベクトルから、前記特定クラスに対応する特定活性値ベクトルを算出するステップと、
前記出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を前記特定活性値ベクトルに対して行って正規化ベクトルを算出するステップと、
前記正規化ベクトルを前記重み行列に追加するステップと、
前記特定クラスに対応するニューロンを前記出力層に追加するステップとを含む、機械学習方法。
前記ニューラルネットワークは、前記少なくとも１つの学習データを受ける入力層と、複数のクラスにそれぞれ対応する複数のニューロンを含む出力層と、前記入力層と前記出力層との間に接続された少なくとも１つの隠れ層とを含み、
前記機械学習方法は、
前記少なくとも１つの学習データについて前記少なくとも１つの隠れ層から前記出力層へそれぞれ出力される少なくとも１つの活性値ベクトルから、前記特定クラスに対応する特定活性値ベクトルを算出するステップと、
前記出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を前記特定活性値ベクトルに対して行って正規化ベクトルを算出するステップと、
前記正規化ベクトルを前記重み行列に追加するステップと、
前記特定クラスに対応するニューロンを前記出力層に追加するステップとを含む、機械学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、１つまたは少数の学習データに対応するクラスをニューラルネットワークに学習させる学習装置、機械学習プログラム、および機械学習方法に関する。
【背景技術】
【0002】
従来、１つまたは少数の学習データに対応するクラスをニューラルネットワークに学習させる機械学習方法が知られている。たとえば、非特許文献１には、新たなクラスの画像を学習済みのＣＮＮ（Convolutional Neural Network）に入力した場合に全結合層の最終層（出力層）に入力される活性値ベクトルを線形変換して出力層の重み行列に追加することにより、当該ＣＮＮに新たなクラスを追加するウェイトインプリンティングが開示されている。当該ウェイトインプリンティングによれば、追加の最適化を要することなく、１つの画像を用いて学習済みのＣＮＮに当該画像に対応する新たなクラスを追加することができる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Hang Qi, Matthew Brown, David G. Lowe, "Low-Shot Learning With Imprinted Weights", in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 5822-5830.
【発明の概要】
【発明が解決しようとする課題】
【0004】
活性値ベクトルが追加された重み行列の統計的特徴は、活性値ベクトルの統計的特徴によっては元の重み行列の統計的特徴と大きく異なり得る。重み行列の統計的特徴はバックプロパゲーション等の最適化の結果であるため、重み行列の統計的特徴の変化は学習済みであった元のニューラルネットワークの性能を大きく低下させ得る。そのため、非特許文献１に開示された機械学習方法が有効なニューラルネットワークは、活性値ベクトルの統計的特徴と重み行列の統計的特徴とが類似しているニューラルネットワークに限定され得る。
【0005】
本発明は、上述のような課題を解決するためになされたものであり、その目的は、ニューラルネットワークの統計的特徴によらず、ニューラルネットワークの性能を維持しながら、１つまたは少数の学習データを用いて、当該１つまたは少数の学習データに対応するクラスをニューラルネットワークに学習させることである。
【課題を解決するための手段】
【0006】
本発明の一局面に係る学習装置は、記憶部と、制御部とを備える。記憶部には、ニューラルネットワークが保存されている。制御部は、少なくとも１つの学習データに対応する特定クラスをニューラルネットワークに学習させる。ニューラルネットワークは、入力層と、少なくとも１つの隠れ層と、出力層とを含む。入力層は、少なくとも１つの学習データを受ける。出力層は、複数のクラスにそれぞれ対応する複数のニューロンを含む。少なくとも１つの隠れ層は、入力層と出力層との間に接続されている。制御部は、少なくとも１つの学習データについて少なくとも１つの隠れ層から出力層へそれぞれ出力される少なくとも１つの活性値ベクトルから、特定クラスに対応する特定活性値ベクトルを算出し、出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を特定活性値ベクトルに対して行って正規化ベクトルを算出し、正規化ベクトルを重み行列に追加し、特定クラスに対応するニューロンを出力層に追加する。
【0007】
本発明の他の局面に係る機械学習プログラムは、少なくとも１つの学習データに対応する特定クラスをニューラルネットワークに学習させる。ニューラルネットワークは、入力層と、少なくとも１つの隠れ層と、出力層とを含む。入力層は、少なくとも１つの学習データを受ける。出力層は、複数のクラスにそれぞれ対応する複数のニューロンを含む。少なくとも１つの隠れ層は、入力層と出力層との間に接続されている。機械学習プログラムは、プロセッサに実行されることによって、少なくとも１つの学習データについて少なくとも１つの隠れ層から出力層へそれぞれ出力される少なくとも１つの活性値ベクトルから、特定クラスに対応する特定活性値ベクトルを算出し、出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を特定活性値ベクトルに対して行って正規化ベクトルを算出し、正規化ベクトルを重み行列に追加し、特定クラスに対応するニューロンを出力層に追加する。
【0008】
本発明の他の局面に係る機械学習方法は、少なくとも１つの学習データに対応する特定クラスをニューラルネットワークに学習させる。ニューラルネットワークは、入力層と、少なくとも１つの隠れ層と、出力層とを含む。入力層は、少なくとも１つの学習データを受ける。出力層は、複数のクラスにそれぞれ対応する複数のニューロンを含む。少なくとも１つの隠れ層は、入力層と出力層との間に接続されている。機械学習方法は、少なくとも１つの学習データについて少なくとも１つの隠れ層から出力層へそれぞれ出力される少なくとも１つの活性値ベクトルから、特定クラスに対応する特定活性値ベクトルを算出するステップと、出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を特定活性値ベクトルに対して行って正規化ベクトルを算出するステップと、正規化ベクトルを重み行列に追加するステップと、特定クラスに対応するニューロンを出力層に追加するステップとを含む。
【発明の効果】
【0009】
本発明に係る学習装置および機械学習方法によれば、Ｑｕａｎｔｉｌｅ正規化により、ニューラルネットワークの統計的特徴によらず、ニューラルネットワークの性能を維持しながら、１つまたは少数の学習データを用いて、当該１つまたは少数の学習データに対応するクラスをニューラルネットワークに学習させることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。
【0012】
［実施の形態１］
図１は、実施の形態１に係る学習装置１００の構成を示すブロック図である。図１に示されるように、学習装置１００は、ストレージ１０１（記憶部）と、プロセッサ１０２（制御部）と、メモリ１０３と、ネットワークインターフェイス１０４と、入出力部１０５とを含む。
図１は、実施の形態１に係る学習装置１００の構成を示すブロック図である。図１に示されるように、学習装置１００は、ストレージ１０１（記憶部）と、プロセッサ１０２（制御部）と、メモリ１０３と、ネットワークインターフェイス１０４と、入出力部１０５とを含む。
【0013】
ストレージ１０１は、不揮発性の記憶装置であり、たとえば、ハードディスクあるいは外付けの記憶媒体を含む。ストレージ１０１には、たとえばオペレーティングシステムのプログラム（不図示）、機械学習プログラムＰｇ１、少なくとも１つの学習データＤｎ、および学習済みのニューラルネットワークＮｗが保存されている。ニューラルネットワークＮｗは、たとえば、がん診断、異常検知、監視カメラ、あるいは自動運転における画像分類に使用される。あるいは、ニューラルネットワークＮｗは、自然言語処理あるいは別言語入力に用いられてもよいし、ネットワーク制御、計算エッジ分散、あるいは電炉制御等の多変量最適化に用いられてもよい。
【0014】
ニューラルネットワークＮｗは、たとえば、ＤＮＮ（Deep Neural Network）を含む。ニューラルネットワークＮｗには、たとえば、ＶｉＴ（Vision Transformer）、ＥｆｆｉｃｉｅｎｔＮｅｔ、ＧｏｏｇｌｅＮｅｔ（ＩｎｃｅｐｔｉｏｎＶ１)、あるいはＲｅｓＮｅｔを含む。なお、ニューラルネットワークＮｗは、学習済みでなくともよい。
【0015】
プロセッサ１０２は、ストレージ１０１に保存されている各種プログラムを実行することにより、学習装置１００の機能を実現する。プロセッサ１０２は、たとえば、ＣＰＵ（Central Processing Unit）、あるいはＧＰＵ（Graphics Processing Unit）を含む。プロセッサ１０２は、機械学習プログラムＰｇ１を実行して、少なくとも１つの学習データＤｎのうちの１つの学習データによって当該学習データに対応する新たなクラス（特定クラス）をニューラルネットワークＮｗに学習させる機械学習（ｏｎｅ－ｓｈｏｔラーニング）を実現する。プロセッサ１０２は、ネットワークインターフェイス１０４を介して、インターネットに接続されている外部装置へデータを送信するとともに、当該外部装置からのデータを受信する。
【0016】
メモリ１０３は、揮発性の記憶装置であり、たとえば、ＲＡＭ（Random Access Memory）を含む。メモリ１０３は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
【0017】
入出力部１０５は、ユーザからの操作を受けるとともに、当該操作に対応するプログラムの処理結果をユーザに出力する。入出力部１０５は、たとえば、マウス、キーボード、タッチパネル、ディスプレイ、ランプ、およびスピーカを含む。入出力部１０５を介して、各種アプリケーションのＧＵＩ（Graphical User Interface）がユーザに表示される。
【0018】
【0019】
図２に示されるように、ニューラルネットワークＮｗは、入力層Ｌｉと、少なくとも１つの隠れ層Ｌｈ１～ＬｈＭ（Ｍは１以上の自然数）と、出力層Ｌｏとを含む。
【0020】
入力層Ｌｉは、少なくとも１つの学習データＤｎを受ける。図２においては、一例として、少なくとも１つの学習データＤｎのうちの画像データＤｎｃを構成する複数のピクセルに関する情報が入力層Ｌｉに入力される様子が示されている。画像データＤｎｃに対応するクラス（特定クラス）は、たとえば、猫である。
【0021】
少なくとも１つの隠れ層Ｌｈ１～ＬｈＭは、入力層Ｌｉと出力層Ｌｏとの間においてこの順に直列に接続されている。隠れ層Ｌｈ１は、入力層Ｌｉと全結合している。隠れ層ＬｈＭは、出力層Ｌｏと全結合している。以下では、出力層Ｌｏと接続された隠れ層ＬｈＭを最後の隠れ層とも称する。Ｍが２以上である場合、隠れ層Ｌｈｊ（ｊは１以上Ｍ－１以下）は、Ｌｈｊ＋１と全結合している。なお、ニューラルネットワークＮｗに含まれる複数の層の各々は、当該層に隣接する層と全結合していなくともよい。
【0022】
入力層Ｌｉ、少なくとも１つの隠れ層Ｌｈ１～ＬｈＭ、および出力層Ｌｏの各々は、複数のニューロンを含む。入力層Ｌｉ、および少なくとも１つの隠れ層Ｌｈ１～ＬｈＭの各々に関して、当該層に含まれる複数のニューロンは、当該層に順方向（入力層Ｌｉから出力層Ｌｏへの方向）に接続する層に複数の活性値をそれぞれ出力する。１つの層から出力される複数の活性値を以下では活性値ベクトルとも称する。
【0023】
隠れ層ＬｈＭは、ニューロンＮＭ１，ＮＭ２，ＮＭ３，ＮＭ４を含む。図２においては、隠れ層ＬｈＭから出力層に出力される活性値ベクトルがｘとして示されている。すなわち、活性値ベクトルｘは、複数のニューロンＮＭ１～ＮＭ４からそれぞれ出力される複数の活性値を成分として有する。なお、隠れ層ＬｈＭに含まれるニューロン数は３以下でもよいし、５以上でもよい。
【0024】
出力層Ｌｏは、ニューロンＮｏ１，Ｎｏ２を含む。ニューロンＮｏ１，Ｎｏ２は、ニューラルネットワークＮｗによって分類可能な複数のクラス（たとえば、ねずみ、および犬）にぞれぞれ対応する。出力ベクトルｙは、出力層Ｌｏに含まれる複数のニューロンＮｏ１，Ｎｏ２からそれぞれ出力される複数の出力値を成分として有する。出力ベクトルｙの成分のうち、最も大きい成分のニューロンに対応するクラスが、入力層Ｌｉに入力された画像データの分類として選択される。なお、出力層Ｌｏに含まれるニューロン数（ニューラルネットワークＮｗによって分類可能なクラス数）は３以上であってもよい。
【0025】
少なくとも１つの隠れ層Ｌｈ１～ＬｈＭ、および出力層Ｌｏの各々には、重み行列およびバイアスベクトルが定義されている。出力ベクトルｙは、活性値ベクトルｘ、出力層Ｌｏの重み行列Ｗｏｒｉ、および出力層Ｌｏのバイアスベクトルｂを用いて、以下の式（１）のように表される。
【0026】
【数1】
【0027】
重み行列Ｗｏｒｉは、複数の重みベクトルを含む。複数の重みベクトルの各々の次元数は、活性値ベクトルｘの次元数と等しい。また、複数の重みベクトルの数は、出力ベクトルの次元数（成分数）と等しい。すなわち、複数の重みベクトルは出力層Ｌｏに含まれる複数のニューロンにそれぞれ対応するため、ニューラルネットワークＮｗによって分類可能な複数のクラスにそれぞれ対応する。一例として、図２に示される重み行列Ｗｏｒｉは、以下の式（２）のように表される。
【0028】
【数2】
【0029】
出力ベクトルｙのｉ番目の成分ｙｉは、活性値ベクトルｘと重みベクトルｗｉとのコサイン類似度ｃｏｓθｉを含む以下の式（３）のように表される。なお、自然数ｉは、１以上であり、かつ出力ベクトルｙの次元数以下である。
【0030】
【数3】
【0031】
コサイン類似度ｃｏｓθｉは、活性値ベクトルｘと重みベクトルｗｉとの内積を両者のＬ２ノルムの積で除した値として定義される。コサイン類似度ｃｏｓθｉは、複数の重みベクトルのうち活性値ベクトルｘに最も類似したベクトルが重みベクトルｗｉである場合に最大となる。
【0032】
画像データＤｎｃのクラスである猫に対応するニューロンは、図２の出力層Ｌｏに含まれていない。画像データＤｎｃは、ニューラルネットワークＮｗによると、ニューロンＮｏ１，Ｎｏ２のいずれかに対応する誤ったクラスに分類される。画像データＤｎｃを正しいクラスに分類するためには、猫に対応する新たなクラスをニューラルネットワークＮｗに追加する必要がある。
【0033】
ニューラルネットワークＮｗによって分類可能な複数のクラスに画像データＤｎｃに対応する新たなクラスを追加する場合、画像データＤｎｃに対応する活性値ベクトルｘｎｅｗ（特定活性値ベクトル）を重み行列Ｗｏｒｉにそのまま追加することにより、画像データＤｎｃに対応する活性値ベクトルｘｎｅｗとのコサイン類似度を最大とすることができるとともに、新たなクラスに対応する重みベクトルを重み行列Ｗｏｒｉに追加することができる。そこで、以下では、図３，図４を用いて、実施の形態１の比較例として、画像データＤｎｃに対応する活性値ベクトルｘｎｅｗを重み行列Ｗｏｒｉにそのまま追加する機械学習方法について説明する。
【0034】
図３は、実施の形態１の比較例に係る機械学習方法によって、図２のニューラルネットワークＮｗに、画像データＤｎｃに対応する新たなクラスが追加されたニューラルネットワークＮｗ１Ａの構造の一例を示す図である。ニューラルネットワークＮｗ１Ａの構造は、図２の出力層Ｌｏに画像データＤｎｃのクラスに対応するニューロンＮｏ３が追加されているとともに、重み行列ＷｏｒｉがＷ１Ａに置き換えられた構造である。重み行列Ｗ１Ａの構成は、重み行列Ｗｏｒｉに活性値ベクトルｘｎｅｗが追加された構成である。ニューロンＮｏ３，活性値ベクトルｘｎｅｗの追加に伴い、バイアスベクトルｂにも、新たな成分（たとえば元のバイアスベクトルｂの中央値）が追加される。これら以外のニューラルネットワークＮｗ１Ａの構造は、ニューラルネットワークＮｗと同様であるため、同様の構造についての説明を繰り返さない。
【0035】
図４は、図２の活性値ベクトルｘに含まれる複数の成分（活性値）の分布Ａｄｓの一例および図２の重み行列Ｗｏｒｉを構成する複数の重みベクトルの各々に含まれる複数の成分（重み値）の分布Ｗｄｓの一例を併せて示す図である。図４に示されるように、分布Ｗｄｓにおいて、ほとんどの重み値は、－０．２以上０．２以下の範囲に分布している。また、分布Ｗｄｓには、０付近の最頻値を中心に対称性が認められる。一方、分布Ａｄｓにおいては、－０．２より大きく０より小さい範囲に分布が偏っている。そのため、当該範囲にある最頻値より大きい範囲の分布と当該最頻値より小さい範囲の分布との間に対称性が認められない。そのため、分布Ａｄｓの統計的特徴（たとえば平均値）は、分布Ｗｄｓの統計的特徴と大きく異なり得る。
【0036】
再び図３を参照して、重み行列Ｗ１Ａには、分布Ａｄｓの統計的特徴を有する重みベクトルｗ１，ｗ２と分布Ｗｄｓの特徴を有する活性値ベクトルｘｎｅｗとが混在している。そのため、重み行列Ｗ１Ａの統計的特徴は、図２の重み行列Ｗｏｒｉの統計的特徴と大きく異なり得る。重み行列Ｗｏｒｉの統計的特徴はバックプロパゲーション等の最適化の結果であるため、重み行列Ｗｏｒｉの統計的特徴の変化は学習済みであった元のニューラルネットワークＮｗの性能（たとえば、正解率、適合率、再現率、あるいはＦ値）を大きく低下させ得る。そのため、比較例に係る機械学習方法によって新たなクラスを学習済みのニューラルネットワークＮｗに追加する場合、性能を維持するために学習済みのニューラルネットワークＮｗに対して様々な修正（たとえば活性値ベクトルｘのＬ２正規化および重みベクトルの正規化）を行う必要が生じ得る。
【0037】
そこで、学習装置１００においては、重み行列Ｗｏｒｉを基準分布として参照するＱｕａｎｔｉｌｅ正規化を活性値ベクトルｘｎｅｗに対して行うことによって得られる正規化ベクトルｗｊを重み行列Ｗｏｒｉに追加する。Ｑｕａｎｔｉｌｅ正規化によって、活性値ベクトルｘｎｅｗの複数の成分の順位が正規化ベクトルｗｊにおいて維持されるように、当該順位に対応する重み行列Ｗｏｒｉの統計値が正規化ベクトルｗｊの成分として使用される。当該統計値には、たとえば、基準分布における当該順位の平均値、あるいは当該順位に対応する分位数によって基準分布において特定される値が含まれる。その結果、新しいクラスに対応する画像データの特徴を正規化ベクトルｗｊに残存させながら、元の重み行列Ｗｏｒｉの統計的特徴を変化させずに重み行列Ｗｏｒｉに正規化ベクトルｗｊを追加することができる。
【0038】
実施の形態１に係る学習装置および機械学習方法によれば、ニューラルネットワークの統計的特徴によらず、ニューラルネットワークの性能を維持しながら、少数の学習データに対応するクラスをニューラルネットワークに学習させることができる。すなわち、ニューラルネットワークの重み行列に含まれる複数の重み行列に変更および最適化を行うことなく、新たなクラスの追加の必要が生じる度に、新たなクラスに対応する重みベクトルおよびニューロンをニューラルネットワークに追加するという汎用的かつ簡易な処理によって、新たなクラスをニューラルネットワークに学習させることができる。また、ニューラルネットワークが学習済みであることにより、元々のニューラルネットワークの高い性能を、新たなクラスを学習後のニューラルネットワークに承継させることができる。
【0039】
図５は、図１の学習装置１００によって、図２のニューラルネットワークＮｗに、画像データＤｎｃに対応する新たなクラスが追加されたニューラルネットワークＮｗ１の構造の一例を示す図である。ニューラルネットワークＮｗ１の構造は、図３の重み行列Ｗ１ＡがＷ１に置き換えられた構造である。重み行列Ｗ１の構成は、活性値ベクトルｘｎｅｗに、重み行列Ｗｏｒｉを基準分布とするＱｕａｎｔｉｌｅ正規化Ｆが行われて得られた正規化ベクトルｗｊ（図５においてはｊ＝３）が、重み行列Ｗｏｒｉに追加された構成である。これら以外のニューラルネットワークＮｗ１の構造は、ニューラルネットワークＮｗ１Ａと同様であるため、同様の構造についての説明を繰り返さない。
【0040】
出力ベクトルｙに含まれる複数の成分およびバイアスベクトルｂに含まれる複数の成分のうち、正規化ベクトルｗｊに対応する成分をそれぞれｙｊおよびｂｊとする。成分ｙｊ、正規化ベクトルｗｊ、および成分ｂｊは、以下の式（４），（５），（６）のようにそれぞれ表される。なお、式（６）の右辺は、重み行列Ｗｏｒｉに対応するバイアスベクトルｂに含まれる複数の成分の中央値を表す。
【0041】
【数4】
【0042】
以下では、重み行列Ｗｏｒｉ，活性値ベクトルｘｎｅｗが以下の式（７），（８）でそれぞれ表される場合を例にして、式（５）のＱｕａｎｔｉｌｅ正規化Ｆの処理の流れの一例を説明する。重み行列Ｗｏｒｉが式（７）で表される場合、重み行列Ｗｏｒｉに含まれる複数の成分の平均値は、－０．００７５である。
【0043】
【数5】
【0044】
まず、重み行列Ｗｏｒｉの複数の重みベクトルの各々に含まれる複数の成分にそれぞれ対応する複数の順位を特定し、複数の順位の各々について成分の平均値を算出する。具体的には、式（７）の重み行列Ｗｏｒｉの複数の重みベクトルの各々に含まれる複数の成分を昇順にソートすることによって、以下の式（９）に示される行列Ｗｓｒｔが得られる。
【0045】
【数6】
【0046】
行列Ｗｓｒｔの第１列、第２列、第３列、および第４列には、各重みベクトルにおいて第１位、第２位、第３位、および第４位の成分がそれぞれ含まれている。重みベクトルにおける第１位、第２位、第３位、および第４位の成分の平均値は、式（９）に示されるように、それぞれ、－０．１５、－０．０５、０．０３、および０．１４となる。
【0047】
【数7】
【0048】
活性値ベクトルｘｎｅｗの第１成分、第２成分、第３成分、および第４成分の昇順の順位は、式（１０）に示されるように、それぞれ第３位、第２位、第１位、および第４位となる。活性値ベクトルｘｎｅｗの各成分を、当該成分の順位を有する重みベクトルの成分の平均値に置換することにより、正規化ベクトルｗｊが得られる。すなわち、式（１０）の活性値ベクトルｘｎｅｗの第１成分、第２成分、第３成分、および第４成分は、式（１１）に示されるように、式（９）における第３位の０．０３、第２位の－０．０５、第１位の－０．１５、および第４位の０．１４にそれぞれ置換される。
【0049】
正規化ベクトルｗｊの複数の成分の順位は、活性値ベクトルｘｎｅｗの複数の成分の順位に一致している。また、重み行列Ｗｏｒｉに正規化ベクトルｗｊが追加された図５の重み行列Ｗ１の複数の成分の平均値は、－０．００７５であり、重み行列Ｗｏｒｉの複数の成分の平均値と等しい。Ｑｕａｎｔｉｌｅ正規化によって、新しいクラスに対応する画像データの特徴である活性値ベクトルｘｎｅｗの複数の成分の順位を正規化ベクトルｗｊに残存させながら、元の重み行列Ｗｏｒｉの複数の成分の平均値を変化させずに重み行列Ｗｏｒｉに正規化ベクトルｗｊを追加することができる。
【0050】
図６は、図１の学習装置１００によって、図５のニューラルネットワークＮｗ１に、画像データＤｎｓに対応する新たなクラスがさらに追加されたニューラルネットワークＮｗ２の構造の一例を示す図である。ニューラルネットワークＮｗ２の構造は、図５の重み行列Ｗ１がＷ２に置き換えられるとともに、出力層Ｌｏに画像データＤｎｓのクラス（たとえば、ひまわり）に対応するニューロンＮｏ４が追加された構造である。重み行列Ｗ２の構成は、画像データＤｎｓに対応する活性値ベクトルｘｎｅｗに、重み行列Ｗ１を基準分布とするＱｕａｎｔｉｌｅ正規化Ｆが行われることによって得られた正規化ベクトルｗｊ（図５においてはｊ＝４）が、重み行列Ｗ１に追加されている構成である。また、バイアスベクトルｂにも、式（６）によって示される新たな成分が追加されている。これら以外のニューラルネットワークＮｗ２の構造は、ニューラルネットワークＮｗ１と同様であるため、同様の構造についての説明を繰り返さない。
【0051】
【0052】
図７に示されるように、プロセッサ１０２は、Ｓ１０１において、新たなクラスの学習データについて最後の隠れ層から出力される活性値ベクトルを算出し、処理をＳ１０２に進める。プロセッサ１０２は、Ｓ１０２において、出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化をＳ１０１において算出された活性値ベクトルに対して行って正規化ベクトルを算出し、処理をＳ１０３に進める。プロセッサ１０２は、Ｓ１０３において、正規化ベクトルを重み行列に追加して処理をＳ１０４に進める。プロセッサ１０２は、Ｓ１０４において、新たなクラスに対応するニューロンを出力層に追加して機械学習処理を終了する。
【0053】
以下の表１は、５つの新たなクラスの各々をｏｎｅ－ｓｈｏｔラーニングによって４つの既知の学習済みＤＮＮの各々に学習させるという機械学習方法として、非特許文献１の機械学習方法（Ｑｉ）を用いた場合の機械学習後のＤＮＮの正解率の平均値および標準偏差と、実施の形態１に係る機械学習方法を用いた場合の機械学習後のＤＮＮの正解率および標準偏差とを示す比較表である。表１に示されるように、４つの学習済みＤＮＮの各々において、実施の形態１の正解率の平均値は、Ｑｉの正解率の平均値よりも高い。
【0054】
【表1】
【0055】
以上、実施の形態１に係る学習装置、機械学習プログラム、および機械学習方法によれば、ニューラルネットワークの統計的特徴によらず、ニューラルネットワークの性能を維持しながら、１つの学習データを用いて、当該学習データに対応するクラスをニューラルネットワークに学習させることができる。
【0056】
［実施の形態２］
実施の形態１においては、１つの学習データを用いて、当該学習データに対応するクラスをニューラルネットワークに学習させる、いわゆるｏｎｅ－ｓｈｏｔラーニングについて説明した。実施の形態２においては、新たなクラスに対応する２以上の少数の学習データを用いる、いわゆるｆｅｗ－ｓｈｏｔラーニングについて説明する。
実施の形態１においては、１つの学習データを用いて、当該学習データに対応するクラスをニューラルネットワークに学習させる、いわゆるｏｎｅ－ｓｈｏｔラーニングについて説明した。実施の形態２においては、新たなクラスに対応する２以上の少数の学習データを用いる、いわゆるｆｅｗ－ｓｈｏｔラーニングについて説明する。
【0057】
図８は、実施の形態２に係る学習装置２００の構成を示すブロック図である。学習装置２００の構成は、図１の機械学習プログラムＰｇ１がＰｇ２に置き換えられた構成である。少なくとも１つの学習データＤｎは、新たなクラスに対応する少数の学習データＤｎ１～ＤｎＫ（自然数Ｋは２以上）を含む。これら以外の学習装置２００の構成は、学習装置１００と同様であるため、同様の構成についての説明を繰り返さない。
【0058】
少数の学習データＤｎ１～ＤｎＫがニューラルネットワークＮｗの入力層に入力された場合に最後の隠れ層からそれぞれ出力される複数の活性値ベクトルをｘ１～ｘＫとする。式（５）の活性値ベクトルｘｎｅｗは、実施の形態２においては以下の式（１２）のように活性値ベクトルｘ１～ｘＫの平均ベクトル（特定活性値ベクトル）として表される。
【0059】
【数8】
【0060】
図９は、図８の機械学習プログラムＰｇ２を実行するプロセッサ１０２によって行われる機械学習処理の流れの一例を示すフローチャートである。図９に示されるフローチャートは、図７のＳ１０１，Ｓ１０２がＳ２０１，Ｓ２０２にそれぞれ置き換えられたフローチャートである。
【0061】
図９に示されるように、プロセッサ１０２は、Ｓ２０１において、新たなクラスの少数の学習データについて最後の隠れ層からそれぞれ出力される複数の活性値ベクトルの平均ベクトルを算出し、処理をＳ２０２に進める。プロセッサ１０２は、Ｓ２０２において、出力層の重み行列を基準分布として参照するＱｕａｎｔｉｌｅ正規化を、Ｓ２０１において算出された平均ベクトルに対して行って正規化ベクトルを算出し、処理をＳ１０３に進める。プロセッサ１０２は、実施の形態１と同様にＳ１０３，Ｓ１０４を行って機械学習処理を終了する。
【0062】
以下の表２は、５つの新たなクラスの各々を５－ｓｈｏｔラーニングによって４つの既知の学習済みＤＮＮの各々に学習させるという機械学習方法として、非特許文献１の機械学習方法（Ｑｉ）を用いた場合の機械学習後のＤＮＮの正解率の平均値および標準偏差と、実施の形態２に係る機械学習方法を用いた場合の機械学習後のＤＮＮの正解率および標準偏差とを示す比較表である。表２に示されるように、４つの学習済みＤＮＮの各々において、実施の形態２の正解率の平均値は、Ｑｉの正解率の平均値よりも高い。
【0063】
【表2】
【0064】
以下の表３は、５つの新たなクラスの各々を４つの既知の学習済みＤＮＮの各々に学習させるという機械学習方法として、実施の形態１に係る機械学習方法を用いた場合の機械学習後のＤＮＮの正解率の平均値および標準偏差と、実施の形態２に係る機械学習方法を用いた場合の機械学習後のＤＮＮの正解率および標準偏差とを示す比較表である。表３に示されるように、４つの学習済みＤＮＮの各々において、実施の形態２の正解率の平均値は、実施の形態１の正解率の平均値よりも高い。
【0065】
【表3】
【0066】
以上、実施の形態２に係る学習装置、機械学習プログラム、および機械学習方法によれば、ニューラルネットワークの統計的特徴によらず、ニューラルネットワークの性能を維持しながら、少数の学習データを用いて、当該少数の学習データに対応するクラスをニューラルネットワークに学習させることができる。また、新たなクラスが追加されたニューラルネットワークの性能を実施の形態１よりも向上させることができる。
【0067】
今回開示された各実施の形態は、矛盾しない範囲で適宜組み合わされて実施されることも予定されている。今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0068】
１００，２００ 学習装置、１０１ ストレージ、１０２ プロセッサ、１０３ メモリ、１０４ ネットワークインターフェイス、１０５ 入出力部、Ａｄｓ，Ｗｄｓ 分布、Ｄｎ，Ｄｎ１～ＤｎＫ 学習データ、Ｄｎｃ，Ｄｎｓ 画像データ、Ｌｈ１～ＬｈＭ 隠れ層、Ｌｉ 入力層、Ｌｏ 出力層、ＮＭ１～ＮＭ４，Ｎｏ１～Ｎｏ４ ニューロン、Ｎｗ，Ｎｗ１，Ｎｗ１Ａ，Ｎｗ２ ニューラルネットワーク、Ｐｇ１，Ｐｇ２ 機械学習プログラム、Ｗ１，Ｗ１Ａ，Ｗ２，Ｗｏｒｉ 重み行列、Ｗｓｒｔ 行列、ｂ バイアスベクトル、ｗ１，ｗ２，ｗｉ 重みベクトル、ｗｊ 正規化ベクトル、ｘ，ｘ１～ｘＫ，ｘｎｅｗ 活性値ベクトル、ｙ 出力ベクトル。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】