特許 7593066 ニューラルネットワーク導出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】ニューラルネットワーク導出方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241126BHJP

【ＦＩ】

G06N20/00

【請求項の数】 26

(21)【出願番号】P 2020190347

(22)【出願日】2020-11-16

(65)【公開番号】P2021125223

(43)【公開日】2021-08-30

【審査請求日】2023-10-16

(31)【優先権主張番号】P 2020018469

(32)【優先日】2020-02-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100189430

【弁理士】

【氏名又は名称】吉川 修一

(74)【代理人】

【識別番号】100190805

【弁理士】

【氏名又は名称】傍島 正朗

(72)【発明者】

【氏名】笹川 幸宏

【審査官】宮司 卓佳

(56)【参考文献】

【文献】特開平０８－３０５８５５（ＪＰ，Ａ）

【文献】廣瀬一俊 ほか，量子化誤差を考慮したニューラルネットワークの学習手法，第104回人工知能基本問題研究会資料，日本，一般社団法人人工知能学会，2017年08月01日，pp.1-4（SIG-FPAI-B507-01）

【文献】栗田多喜夫他，多層パーセプトロンの学習における中間層に付加したノイズの影響とネットワークの構造化，電子情報通信学会論文誌 （Ｊ７９－Ｄ－ＩＩ） 情報・システムＩＩ－情報処理，第J79-D-II巻第2号，日本，社団法人電子情報通信学会，1996年02月25日，p.257-p.266

【文献】石井真樹他 ，パターンの変動を考慮した階層型ニューラルネットワークの汎化能力改善学習法，電子情報通信学会技術研究報告 NC2000-133，日本，社団法人電子情報通信学会，2001年03月08日，第100巻,第687号，p.39-p.46

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する方法であって、
第１のパラメータを持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、
前記第１学習ステップの後に、前記第１のニューラルネットワークを、前記第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、
を含み、
前記正則化項は、
前記第１のニューラルネットワークに基づいて前記第１のパラメータに変動を加えた第２のパラメータを持つ第２のニューラルネットワークが導出された後、前記第１のニューラルネットワークと前記第２のニューラルネットワークとの内部特徴量または推論値の相互関係に基づいて決定される、
ニューラルネットワーク導出方法。

【請求項2】

コンピュータが実行する方法であって、
第１の重みパラメータを持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、
前記第１学習ステップの後に、前記第１のニューラルネットワークを、前記第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、
を含み、
前記正則化項は、
前記第１のニューラルネットワークと、前記第１のニューラルネットワークに基づいて前記第１の重みパラメータに変動を加えた第２の重みパラメータを持つ第２のニューラルネットワークとの関係に基づいて決定される、
ニューラルネットワーク導出方法。

【請求項3】

コンピュータが実行する方法であって、
第１のパラメータを持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、
前記第１学習ステップの後に、前記第１のニューラルネットワークを、前記第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、
を含み、
前記正則化項は、前記第１のニューラルネットワークと、前記第１のニューラルネットワークに基づいた第２のニューラルネットワークとの関係に基づいて決定され、
前記第２のニューラルネットワークは、前記第１のニューラルネットワークに対し、さらに、少なくとも１つのレイヤの入力が、前段レイヤの出力である特徴量に変動を加えたものとなる構成を有する、
ニューラルネットワーク導出方法。

【請求項4】

前記正則化項は、前記第１のニューラルネットワークの第１の推論値と前記第２のニューラルネットワークの第２の推論値との類似度の時系列での変化に基づいて決定される、
請求項１に記載のニューラルネットワーク導出方法。

【請求項5】

前記正則化項は、前記第１のニューラルネットワークの最終レイヤを除く少なくとも１つのレイヤの出力の特徴量と前記第２のニューラルネットワークの対応するレイヤの出力の特徴量との類似度に基づいて決定される、
請求項１に記載のニューラルネットワーク導出方法。

【請求項6】

前記正則化項は、前記類似度が高くなると小さく、前記類似度が低くなると大きくなるように決定される、
請求項４または５に記載のニューラルネットワーク導出方法。

【請求項7】

さらに、前記第１学習ステップと前記第２学習ステップとの間に前記正則化項を決定するための識別器の学習を行う第１の正則化項学習ステップを含み、
前記第１の正則化項学習ステップでは、
前記第１のパラメータおよび前記第２のパラメータを前記識別器への入力とし、
前記第１の推論値と前記第２の推論値とから求められる第１の期待値を用いて前記識別器の学習が行われる、
請求項４に記載のニューラルネットワーク導出方法。

【請求項8】

前記第１の期待値は、
前記第１の推論値に対しては、常にＳ（Ｓ＞０）とされ、
前記第２の推論値に対しては、前記第２の推論値を時系列で見たときに、１つ前の前記第２の推論値に対して前記類似度が高くなっている場合には－Ｓとされ、前記類似度が高くなっていない場合には０とされる、
請求項７に記載のニューラルネットワーク導出方法。

【請求項9】

前記第１の正則化項学習ステップでは、前記第１のパラメータに基づいて算出された第１の特徴量および前記第２のパラメータに基づいて算出された第２の特徴量のそれぞれを入力とする第３のロス関数を用いて前記識別器の学習が行われる、
請求項７または８に記載のニューラルネットワーク導出方法。

【請求項10】

前記第３のロス関数は、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数であり、
基準となる特徴量として、Ｎ－１回目（Ｎは１より大きい整数）の学習で得られる前記第１の特徴量が設定され、
ポジティブ側の特徴量として、Ｎ回目の学習で得られる前記第１の特徴量が設定され、
ネガティブ側の特徴量として、Ｎ回目の学習で得られる前記第２の特徴量が設定される、
請求項９に記載のニューラルネットワーク導出方法。

【請求項11】

前記第１のパラメータは、第１の数値表現で表され、
前記第２のパラメータは、前記第１のパラメータを第２の数値表現に変換することによって得られる、
請求項４～１０いずれか１項に記載のニューラルネットワーク導出方法。

【請求項12】

前記第１の数値表現はｆｌｏａｔ値からなる実数であり、前記第２の数値表現は整数であり、
前記第２のパラメータは、前記第１のパラメータを量子化することによって得られる、
請求項１１に記載のニューラルネットワーク導出方法。

【請求項13】

さらに、前記第１学習ステップと前記第２学習ステップとの間に前記正則化項を決定するための識別器の学習を行う第２の正則化項学習ステップを含み、
前記第２の正則化項学習ステップでは、
第１の入力データおよび第２の入力データを前記識別器への入力とし、
前記第１の入力データを前記第１のニューラルネットワークに入力したときの前記第１のニューラルネットワークの第３の推論値と、前記第１の入力データに変動を加えた第２の入力データを前記第２のニューラルネットワークに入力したときの前記第２のニューラルネットワークの第４の推論値と、から求められる第２の期待値を用いて前記識別器の学習が行われる、
請求項４～１２のいずれか１項に記載のニューラルネットワーク導出方法。

【請求項14】

前記第２の期待値は、
前記第３の推論値に対しては、常にＳ（Ｓ＞０）とされ、
前記第４の推論値に対しては、前記第４の推論値を時系列で見たときに、１つ前の前記第４の推論値に対して類似度が高くなっている場合には－Ｓとされ、前記類似度が高くなっていない場合には０とされる、
請求項１３に記載のニューラルネットワーク導出方法。

【請求項15】

前記第２の正則化項学習ステップでは、前記第１のパラメータおよび前記第１の入力データに基づいて算出された第３の特徴量、ならびに、前記第２のパラメータおよび前記第２の入力データに基づいて算出された第４の特徴量のそれぞれを入力とする第４のロス関数を用いて前記識別器の学習が行われる、
請求項１３または１４に記載のニューラルネットワーク導出方法。

【請求項16】

前記第４のロス関数は、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数であり、
基準となる特徴量として、Ｎ－１回目（Ｎは１より大きい整数）の学習で得られる前記第３の特徴量が設定され、
ポジティブ側の特徴量として、Ｎ回目の学習で得られる前記第３の特徴量が設定され、
ネガティブ側の特徴量として、Ｎ回目の学習で得られる前記第４の特徴量が設定される、
請求項１５に記載のニューラルネットワーク導出方法。

【請求項17】

前記第１の入力データは、第３の数値表現で表され、
前記第２の入力データは、前記第３の数値表現と異なる第４の数値表現で表される、
請求項１３～１６のいずれか１項に記載のニューラルネットワーク導出方法。

【請求項18】

前記第３の数値表現はｆｌｏａｔ値からなる実数であり、前記第４の数値表現は整数である、
請求項１７に記載のニューラルネットワーク導出方法。

【請求項19】

コンピュータが実行する方法であって、
第１の入力データが入力される第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、
前記第１学習ステップの後に、前記第１のニューラルネットワークを、前記第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、
を含み、
前記正則化項は、前記第１のニューラルネットワークに基づいて前記第１の入力データに変動を加えた第２の入力データが入力される第２のニューラルネットワークが導出された後、前記第１のニューラルネットワークの第５の推論値と前記第２のニューラルネットワークの第６の推論値との類似度の時系列での変化に基づいて決定される、
ニューラルネットワーク導出方法。

【請求項20】

前記正則化項は、前記類似度が高くなると小さく、前記類似度が低くなると大きくなるように決定される、
請求項１９に記載のニューラルネットワーク導出方法。

【請求項21】

さらに、前記第１学習ステップと前記第２学習ステップとの間に前記正則化項を決定するための識別器の学習を行う第３の正則化項学習ステップを含み、
前記第３の正則化項学習ステップでは、
前記第１の入力データおよび前記第２の入力データを前記識別器への入力とし、
前記第５の推論値と前記第６の推論値とから求められる第３の期待値を用いて前記識別器の学習が行われる、
請求項１９または２０に記載のニューラルネットワーク導出方法。

【請求項22】

前記第３の期待値は、
前記第５の推論値に対しては、常にＳ（Ｓ＞０）とされ、
前記第６の推論値に対しては、前記第６の推論値を時系列で見たときに、１つ前の前記第６の推論値に対して前記類似度が高くなっている場合には－Ｓとされ、前記類似度が高くなっていない場合には０とされる、
請求項２１に記載のニューラルネットワーク導出方法。

【請求項23】

前記第３の正則化項学習ステップでは、前記第１の入力データに基づいて算出された第５の特徴量および前記第２の入力データに基づいて算出された第６の特徴量のそれぞれを入力とする第５のロス関数を用いて前記識別器の学習が行われる、
請求項２１または２２に記載のニューラルネットワーク導出方法。

【請求項24】

前記第５のロス関数は、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数であり、
基準となる特徴量として、Ｎ－１回目（Ｎは１より大きい整数）の学習で得られる前記第５の特徴量が設定され、
ポジティブ側の特徴量として、Ｎ回目の学習で得られる前記第５の特徴量が設定され、
ネガティブ側の特徴量として、Ｎ回目の学習で得られる前記第６の特徴量が設定される、
請求項２３に記載のニューラルネットワーク導出方法。

【請求項25】

前記第１の入力データは、第３の数値表現で表され、
前記第２の入力データは、前記第３の数値表現と異なる第４の数値表現で表される、
請求項１９～２４のいずれか１項に記載のニューラルネットワーク導出方法。

【請求項26】

前記第３の数値表現はｆｌｏａｔ値からなる実数であり、前記第４の数値表現は整数である、
請求項２５に記載のニューラルネットワーク導出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ニューラルネットワークを導出するニューラルネットワーク導出方法に関する。

【背景技術】

【0002】

入力されたデータに対する識別または分類を行うために、ニューラルネットワークで構成される推論モデルが用いられる。この推論モデルを生成する方法の一例として、特許文献１には、ニューラルネットワークを学習用のデータセットで学習し、推論モデルを生成する方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１８－５２５７３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この推論モデルを実際に使用する場合、ニューラルネットワークが持つパラメータまたはニューラルネットワークに入力される入力データが変動することにより、間違った推論値が出力される場合がある。

【0005】

本開示は、上述の事情を鑑みてなされたもので、ニューラルネットワークのパラメータまたは入力データの変動に対してロバスト性を有するニューラルネットワークを導出するニューラルネットワーク導出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の一形態に係るニューラルネットワーク導出方法は、コンピュータが実行する方法であって、第１のパラメータを持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、前記第１学習ステップの後に、前記第１のニューラルネットワークを、前記第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、を含み、前記正則化項は、前記第１のニューラルネットワークに基づいて前記第１のパラメータに変動を加えた第２のパラメータを持つ第２のニューラルネットワークが導出された後、前記第１のニューラルネットワークと前記第２のニューラルネットワークとの内部特徴量または推論値の相互関係に基づいて決定される。

【0007】

上記目的を達成するために、本開示の一形態に係るニューラルネットワーク導出方法は、コンピュータが実行する方法であって、第１の重みパラメータを持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、前記第１学習ステップの後に、前記第１のニューラルネットワークを、前記第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、を含み、前記正則化項は、前記第１のニューラルネットワークと、前記第１のニューラルネットワークに基づいて前記第１の重みパラメータに変動を加えた第２の重みパラメータを持つ第２のニューラルネットワークとの関係に基づいて決定される。

【0008】

上記目的を達成するために、本開示の一形態に係るニューラルネットワーク導出方法は、コンピュータが実行する方法であって、第１のパラメータを持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、前記第１学習ステップの後に、前記第１のニューラルネットワークを、前記第１のロス関数に正則化項を加えた第２のロス関数を指標として学習す
る第２学習ステップと、を含み、前記正則化項は、前記第１のニューラルネットワークと、前記第１のニューラルネットワークに基づいた第２のニューラルネットワークとの関係に基づいて決定され、前記第２のニューラルネットワークは、前記第１のニューラルネットワークに対し、さらに、少なくとも１つのレイヤの入力が、前段レイヤの出力である特徴量に変動を加えたものとなる構成を有する。

【0009】

上記目的を達成するために、本開示の一形態に係るニューラルネットワーク導出方法は、コンピュータが実行する方法であって、第１の入力データが入力される第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、前記第１学習ステップの後に、前記第１のニューラルネットワークを、前記第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、を含み、前記正則化項は、前記第１のニューラルネットワークに基づいて前記第１の入力データに変動を加えた第２の入力データが入力される第２のニューラルネットワークが導出された後、前記第１のニューラルネットワークの第５の推論値と前記第２のニューラルネットワークの第６の推論値との類似度の時系列での変化に基づいて決定される。

【0010】

なお、これらの全般的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0011】

本開示により、ニューラルネットワークのパラメータまたは入力データの変動に対してロバスト性を有するニューラルネットワークを導出できる。

【図面の簡単な説明】

【0012】

【図1】図１は、ニューラルネットワークの重みパラメータが変動したときの推論値の精度の変化を模式的に示す図である。

【図2】図２は、推論値の精度を識別する識別器の機能を示す模式図である。

【図3】図３は、ニューラルネットワーク導出方法の概要を示すフローである。

【図4】図４は、実施の形態１において、ニューラルネットワークを導出するための導出モデルを示す図である。

【図5】図５は、実施の形態１に係るニューラルネットワーク導出方法を示すフローチャートである。

【図6】図６は、図５に続いて実行されるニューラルネットワーク導出方法を示すフローチャートである。

【図7】図７は、図４の導出モデルに含まれる識別学習モデルを示す模式図である。

【図8】図８は、実施の形態１に係るニューラルネットワーク導出方法を実現する装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。

【図9】図９は、実施の形態２において、ニューラルネットワークを導出するための導出モデルを示す図である。

【図10】図１０は、実施の形態２に係るニューラルネットワーク導出方法を示すフローチャートである。

【図11】図１１は、図１０に続いて実行されるニューラルネットワーク導出方法を示すフローチャートである。

【図12】図１２は、図９の導出モデルに含まれる識別学習モデルを示す模式図である。

【図13】図１３は、実施の形態３において、ニューラルネットワークを導出するための導出モデルを示す図である。

【図14】図１４は、実施の形態３に係るニューラルネットワーク導出方法を示すフローチャートである。

【図15】図１５は、図１０に続いて実行されるニューラルネットワーク導出方法を示すフローチャートである。

【図16】図１６は、図１３の導出モデルに含まれる識別学習モデルを示す模式図である。

【図17】図１７は、実施の形態４において、ニューラルネットワークを導出する導出モデルを示す図である。

【図18】図１８は、実施の形態４に係るニューラルネットワーク導出方法を示すフローチャートである。

【図19】図１９は、実施の形態４における特徴量類似度の定義を示す図である。

【発明を実施するための形態】

【0013】

（本開示に至る経緯）
機械学習にて学習済の推論モデルをＬＳＩ（大規模集積回路）に実装することが増えてきている。一般に、学習時には実数値表現の重みパラメータが使われるが、実装時には学習時の重みパラメータを固定小数点表示などに量子化（離散化）した重みパラメータが使われる。量子化した重みパラメータを使うことで、実装時のハードウェアコストを抑制することができるが、一方で、量子化誤差による推論モデルの推論値の精度が劣化することがある。

【0014】

また、学習済の推論モデルの入力データに意図的なノイズを付加し、間違った推論をさせる手法が発表されている。例えば「ＤＥＦＥＮＳＩＶＥ ＱＵＡＮＴＩＺＡＴＩＯＮ：ＷＨＥＮ ＥＦＦＩＣＩＥＮＣＹ ＭＥＥＴＳ ＲＯＢＵＳＴＮＥＳＳ、ＩＣＬＲ ２０１９」では、量子化により、アドバーサリアル・アタック(敵対的サンプルによる攻撃)に対する耐性が大幅に劣化することが発表されている。

【0015】

そこで、このような重みパラメータおよび入力データの変動に対して推論値の精度が左右されにくい、ロバスト性を有する推論モデルが求められる。以下では理解を容易にするため、重みパラメータおよび入力データのうち重みパラメータに着目して説明する。

【0016】

図１は、ニューラルネットワークの重みパラメータが変動したときの推論値の精度の変化を模式的に示す図である。図１の右側には、重みパラメータが変動することによって推論値の精度が大きく変化する例が示され、図１の左側には重みパラメータが変動しても推論値の精度がそれほど変化しない例が示されている。推論モデルのロバスト性という観点では、図１の左側に示すように、重みパラメータが変動しても推論値の精度が劣化しにくいことが望ましい。

【0017】

例えば、ロス関数のみを指標としてニューラルネットワークの学習を行うと、図１の右側に示すようにロバスト性の低い推論モデルが生成されることがある。そこで本開示では、推論モデルを生成する際に、ロス関数に正則化項を加えたものを指標として学習を行う。この正則化項は、ニューラルネットワークで使われる重みパラメータが、推論値の精度を変化させやすい性質の重みパラメータになることを防ぐためのものである。例えば本開示ではニューラルネットワークの学習を行う際に、「ロス関数＋正則化項」の値を小さくするように重みパラメータを更新し、推論モデルを生成する。これによれば、実装時に重みパラメータを量子化した場合であっても、推論値の精度が大きく劣化することを抑制できる。

【0018】

上記「ロス関数＋正則化項」の正則化項は、推論値の精度が劣化する場合は大きく、推論値の精度が向上する場合は小さくなるように決定される。ここで、推論値の精度が劣化するかまたは向上するかをどのように識別するかについて検討する。

【0019】

図２は、推論値の精度を識別する識別器の機能を示す模式図である。図２には、量子化すると推論値の精度が劣化する重みパラメータ（図２の下側領域）と、量子化しても推論値の精度が劣化しにくい重みパラメータ（図２の上側領域）とが、識別器が有する機能によって分類されている様子が示されている。このような識別器を生成することができれば、未知の重みパラメータが推論値の精度を劣化させるか否かを識別することができ、この識別結果に基づいて正則化項を大きくするか小さくするかを決めることができる。

【0020】

図３は、ニューラルネットワーク導出方法の概要を示すフローである。本開示では、まず、学習データセットを用いてニューラルネットワークの学習を行う。次に、このニューラルネットワークの重みパラメータを用いて識別器の学習を行い、識別器を生成する。次に、この識別器から正則化項を導出し、正則化項が反映された「ロス関数＋正則化項」を指標として、再びニューラルネットワークの学習を行う。そして、ニューラルネットワークの学習と識別器の学習とを繰り返すことで推論モデルを生成する。このニューラルネットワーク導出方法によれば、重みパラメータの変動に対してロバスト性を有するニューラルネットワークを導出することが可能となる。

【0021】

以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。

【0022】

（実施の形態１）
［１－１．ニューラルネットワークを導出するための導出モデル］
まず、パラメータの変動に対してロバスト性を有するニューラルネットワークを導出するための導出モデルについて説明する。

【0023】

図４は、実施の形態１において、ニューラルネットワークを導出する導出モデル１０を示す図である。図４に示すように、導出モデル１０は、量子化前モデル２０と、量子化後モデル３０と、識別学習モデル４０とによって構成されている。

【0024】

例えば、量子化前モデル２０は、ある条件のもとで機械学習が実行されるモデルであり、量子化後モデル３０は、最終的には、量子化前モデル２０を量子化することで得られ、ＬＳＩ等に実装される推論モデルとなる。識別学習モデル４０は、推論値の精度を識別する識別器４１を学習させるためのモデルである。量子化前モデル２０、量子化後モデル３０および識別器４１のそれぞれは、ニューラルネットワークによって構成されている。また量子化前モデル２０、量子化後モデル３０、識別学習モデル４０はそれぞれ学習の状態と推論の状態があり、推論の状態ではモデルの重みパラメータは固定されたものとなる。

【0025】

これらのモデルは、マルチレイヤ構造を有し、入力レイヤ、中間レイヤおよび出力レイヤなどによって構成されている。各レイヤは、ニューロンに相当する複数のノード（図示省略）を有している。ニューロン同士のつながりの強さは、重みパラメータで表現される。ニューラルネットワークは複数の重みパラメータを持つが、理解を容易にするため、以下では複数の重みパラメータのうちの１つの重みパラメータを例に挙げて説明する。

【0026】

量子化前モデル２０は、重みパラメータ（第１のパラメータ）ｗを持つ第１のニューラルネットワークによって構成されている。重みパラメータｗは、例えば、ｆｌｏａｔ（浮動小数点精度）値からなる実数などの第１の数値表現で表される。量子化前モデル２０には、入力データｚが入力される。入力データｚは、学習データであり、各種の入力パターンがある。入力データｚが入力された量子化前モデル２０は、出力値として推論値ｘを出力する。量子化前モデル２０は、入力データｚを含む所定の学習データセットに基づいて機械学習が行われる。また識別器４１の学習の際には重みパラメータｗにΔｗが加算された重みパラメータｗ＋Δｗで動作する。

【0027】

量子化後モデル３０は、重みパラメータ（第２のパラメータ）ｗ^ｑを持つ第２のニューラルネットワークによって構成されている。重みパラメータｗ^ｑは、量子化前モデル２０の重みパラメータｗを上記第１の数値表現とは異なる第２の数値表現に変換することによって得られる。第２の数値表現は、例えば整数などの固定小数点精度による数値表現である。具体的には、重みパラメータｗ^ｑは、重みパラメータｗにΔｗが加算された重みパラメータｗ＋Δｗを量子化することによって得られる。したがって重みパラメータｗ^ｑは、重みパラメータｗに変動を加えた値に更に量子化誤差が加えられた値となっている。量子化後モデル３０には、入力データｚが入力される。入力データｚが入力された量子化後モデル３０は、出力値として推論値Ｇ（ｚ）を出力する。

【0028】

識別学習モデル４０は、推論値の精度を識別する識別器４１を学習するためのモデルであり、識別器４１等を有している。

【0029】

識別器４１には、量子化前の重みパラメータｗ＋Δｗ、量子化後の重みパラメータｗ^ｑのそれぞれが入力される。識別器４１は、重みパラメータｗ＋Δｗに対応して推論値Ｄ（ｗ＋Δｗ）を出力し、重みパラメータｗ^ｑに対応して推論値Ｄ（ｗ^ｑ）を出力する。

【0030】

識別学習モデル４０には、量子化前モデル２０の推論値（第１の推論値）ｘ、量子化後モデル３０の推論値（第２の推論値）Ｇ（ｚ）のそれぞれが入力される。識別学習モデル４０は、入力された推論値ｘ、推論値Ｇ（ｚ）と上記の推論値Ｄ（ｗ＋Δｗ）、Ｄ（ｗ^ｑ）とを対比し、バックプロパゲーションを行うことで、識別器４１を学習させる。そして識別学習モデル４０は、学習済の識別器４１によって、前述した正則化項を導出する。識別学習モデル４０によって導出された正則化項は、量子化前モデル２０の第１のニューラルネットワークを再び学習する際に用いられる。識別学習モデル４０については、後で詳しく説明する。

【0031】

［１－２．ニューラルネットワーク導出方法］
次に、上記導出モデル１０を用いてニューラルネットワークを導出する方法について説明する。

【0032】

図５は、本実施の形態に係るニューラルネットワーク導出方法を示すフローである。

【0033】

ニューラルネットワーク導出方法は、第１学習ステップＳ１０と、正則化項学習ステップ（第１の正則化項学習ステップ）Ｓ１１と、第２学習ステップＳ２０と、を含む。

【0034】

第１学習ステップＳ１０は、量子化前モデル２０の第１のニューラルネットワークを学習するステップである。第１学習ステップＳ１０は、図５の（ａ）の破線内で実行される。このステップでは、第１のロス関数を指標とし、所定の学習データセットを用いて第１のニューラルネットワークの学習が行われる。第１学習ステップＳ１０により、第１のニューラルネットワークにおける重みパラメータｗがいったん求められる。

【0035】

正則化項学習ステップＳ１１は、前述した正則化項を導出するために学習を行うステップである。正則化項学習ステップＳ１１は、量子化後モデル３０を生成するステップＳ１２と、識別器４１を学習するステップＳ１３と、識別器４１から正則化項を導出するステップＳ１４とを含む。

【0036】

量子化後モデル３０を生成するステップＳ１２は、第１のニューラルネットワークに基づいて、重みパラメータｗ^ｑを持つ第２のニューラルネットワークを導出するステップである。このステップＳ１２は、図５の（ｂ）の破線内で実行される。重みパラメータｗ^ｑは、重みパラメータｗ＋Δｗにさらに変動が加えられた値を量子化したものであり、例えば、重みパラメータｗ＋Δｗを量子化することで求められる。

【0037】

識別器４１を学習するステップＳ１３は、図５の（ｃ）および（ｄ）のそれぞれの破線内の系で実行されるステップである。ここで、図５の（ｃ）に示す破線内の系を量子化前モデル側の系４１ａと呼び、図５の（ｄ）に示す破線内の系を量子化後モデル側の系４１ｂと呼ぶ。

【0038】

図５の（ｃ）に示すように、量子化前モデル側の系４１ａでは、重みパラメータｗ＋Δｗが識別器４１に入力される。Δｗは、学習を行う際のサンプル数を増やすことにもなり、例えば、量子化ステップの半分を最大値として、乱数で与えられる。重みパラメータｗ＋Δｗが入力された識別器４１からは、推論値Ｄ（ｗ＋Δｗ）が出力される。また、識別学習モデル４０には、量子化前モデル２０および量子化後モデル３０の出力である推論値ｘ、Ｇ（ｚ）が入力される。識別学習モデル４０は、この推論値ｘと推論値Ｇ（ｚ）との類似度の時系列での変化に基づいて、推論値Ｄ（ｗ＋Δｗ）の精度が向上するように識別器４１を学習させる。

【0039】

ここでいう類似度は、２つの推論値ｘ、Ｇ（ｚ）の似ている度合を示すものである。類似度が高いということは、推論値の精度が高いことになる。類似度としては、例えば（式１）に示すようなｃｏｓ類似度が用いられる。なお（式１）では、推論値ｘ、Ｇ（ｚ）をベクトル化（Ｔｅｎｓｏｒ ｓｈａｐｅを一次元化）したものを、Ｖ_ｘ、Ｖ_Gｚとしている。

【0040】

【数1】

【0041】

このように量子化前モデル側の系４１ａでは、量子化前モデル２０が固定された状態で、識別器４１が学習される。

【0042】

図５の（ｄ）に示すように、量子化後モデル側の系４１ｂでは、量子化後モデル３０の重みパラメータｗ^ｑ（ｗ^ｑ=ｑｕａｎｔｉｚｅｒ（ｗ+Δｗ））が、識別器４１に入力される。重みパラメータｗ^ｑが入力された識別器４１からは、推論値Ｄ（ｗ^ｑ）が出力される。識別学習モデル４０は、入力された推論値ｘと推論値Ｇ（ｚ）との類似度の時系列での変化に基づいて、推論値Ｄ（ｗ^ｑ）の精度が向上するように識別器４１を学習させる。このように量子化後モデル側の系４１ｂでは、量子化後モデル３０が固定された状態で、識別器４１が学習される。

【0043】

なお、上記の量子化前モデル側の系４１ａおよび量子化後モデル側の系４１ｂにおける重みは共通化（量子化前モデル側の系４１ａでの重みパラメータを量子化したものが、量子化後モデル側の系４１ｂの重みパラメータとなっている）されており、また、これらの系４１ａ、４１ｂによる識別器４１の学習は同時に実行される。

【0044】

正則化項を導出するステップＳ１４は、識別器４１を用いて正則化項を導出するステップである。正則化項は、推論値ｘと推論値Ｇ（ｚ）との類似度の大きさに対して負の相関があり、例えば時系列でみて、上記類似度が高くなると小さく、上記類似度が低くなると大きくなるように決定される。識別器４１から導出された正則化項は、量子化前モデル２０の第１のニューラルネットワークの学習に反映される。

【0045】

第２学習ステップＳ２０は、第１のロス関数に正則化項を加えた第２のロス関数（第２のロス関数＝第１のロス関数＋正則化項）を指標として、第１のニューラルネットワークを学習するステップである。第２学習ステップＳ２０も、図５の（ａ）の破線内で実行され、第１学習ステップＳ１０と同様に所定の学習データセットが用いられる。第２学習ステップＳ２０による学習は、識別学習モデル４０を固定した状態で行われる。第２学習ステップＳ２０により、第１のニューラルネットワークの重みパラメータｗが更新される。

【0046】

図６は、図５に続いて実行されるニューラルネットワーク導出方法を示すフローチャートである。このニューラルネットワーク導出方法では、第２学習ステップＳ２０の後に、正則化項学習ステップＳ１１と同様の正則化項学習ステップＳ１１Ａが実行される。正則化項学習ステップＳ１１Ａは、前述した量子化後モデル３０を生成するステップＳ１２と、識別器４１を学習するステップＳ１３と、識別器４１から正則化項を導出するステップＳ１４とを含む。

【0047】

そして本実施の形態のニューラルネットワーク導出方法では、第２学習ステップＳ２０および正則化項学習ステップＳ１１Ａを繰り返すことで、ロバスト性を有する第１のニューラルネットワークが生成される。また、上記繰り返しによって生成された第１のニューラルネットワークの重みパラメータｗを量子化することで、重みパラメータｗ^ｑを持ち、ロバスト性を有する第２のニューラルネットワークが生成される。

【0048】

これらの学習は、識別器４１の学習レベルが予め決められたレベル以上となったときに終了される。また、これらの学習は、上記推論値ｘと推論値Ｇ（ｚ）との類似度が予め決められた閾値以上となったときに終了されてもよい。

【0049】

なお、上記では第２学習ステップＳ２０と正則化項学習ステップＳ１１Ａとを交互に繰り返すイタレーション例（Ｓ２０→Ｓ１１Ａ→Ｓ２０→Ｓ１１Ａ→・・・→Ｓ２０）を示したが、イタレーション例はそれに限られない。例えば、第２学習ステップＳ２０と正則化項学習ステップＳ１１Ａとを、（Ｓ２０→Ｓ１１Ａ→Ｓ１１Ａ）→（Ｓ２０→Ｓ１１Ａ→Ｓ１１Ａ）→・・・→Ｓ２０の順で繰り返してもよい。

【0050】

［１－３．識別学習モデルの動作］
次に、識別器４１を学習させるための識別学習モデル４０の動作について説明する。

【0051】

図７は、導出モデル１０に含まれる識別学習モデル４０を示す模式図である。なお、図７には、量子化前モデル２０および量子化後モデル３０も図示されている。

【0052】

識別器４１は、畳み込みニューラルネットワーク（ＣＮＮ）および全結合ニューラルネットワーク（ＦＣ）によって構成されている。識別器４１には、重みパラメータｗ＋Δｗおよび重みパラメータｗ^ｑが入力され、それぞれに対応して、推論値Ｄ（ｗ＋Δｗ）および推論値Ｄ（ｗ^ｑ）が出力される。

【0053】

また、識別学習モデル４０には、量子化前モデル２０から推論値ｘが入力され、量子化後モデル３０から推論値Ｇ（ｚ）が入力される。識別学習モデル４０では、この推論値ｘと推論値Ｇ（ｚ）とから求められる類似度および期待値を用いて、識別器４１が学習される。

【0054】

ここで、識別器４１を学習する際に用いる期待値（第１の期待値）について説明する。期待値は、学習を行う際のラベルであり、（式２）に示すように、識別学習モデル４０に入力された推論値ｘ、Ｇ（ｚ）に基づいて決定される。

【0055】

期待値＝｛ｘに対する推論値（ｘまたはＧ（ｚ））の類似度，ｘに対する推論値（ｘまたはＧ（ｚ））の類似度の前回の評価に対する向上具合｝・・・（式２）

【0056】

表１には、識別器の量子化前モデル側の系４１ａおよび量子化後モデル側の系４１ｂに対するそれぞれの期待値が示されている。上記期待値は、識別器４１の出力である推論値Ｄ（ｗ＋Δｗ）、Ｄ（ｗ^ｑ）に良否を付ける際に、比較的容易に学習させやすい識別器である２クラス分類器として学習させるため、０および１という二値で表されている。

【0057】

【表1】

【0058】

表１に示すように、量子化前モデル側の系４１ａのｘに対する類似度は、推論値ｘがｘと同じなので期待値１となる。量子化後モデル側の系４１ｂのｘに対する類似度は、推論値Ｇ（ｚ）がｘと異なるので期待値０となる。量子化前モデル側の系４１ａおよび量子化後モデル側の系４１ｂのそれぞれの推論値ｘ、Ｇ（ｚ）の類似度の向上具合は、前回求めた類似度に対して今回求めた類似度が向上していれば期待値１、向上していなければ期待値０となる。なお、量子化前モデル側の系４１ａは常に推論値ｘ自身との比較になるため、学習における類似度の向上具合の期待値は実質１となる。

【0059】

識別学習モデル４０では、上記のように決めた期待値を用いて識別器４１の学習が行われる。具体的には、識別器４１から出力される推論値Ｄ（ｗ＋Δｗ）、Ｄ（ｗ^ｑ）が、期待値１に近づくように、識別器４１の学習が行われる。識別器４１を学習する際は、量子化前モデル側の系４１ａおよび量子化後モデル側の系４１ｂの両方の系を用いて学習が行われ、識別器４１のニューラルネットワークの重みが更新される。識別器４１の学習を終えると、この識別器４１を用いて正則化項が導出される。なお、量子化前モデル２０の第１のニューラルネットワークに反映されるのは、識別器４１のうちの量子化前モデル側の系４１ａにて導出された正則化項である。

【0060】

上記では期待値（第１の期待値）を０および１という二値で表現したが、それに限られず、０およびＳ（Ｓ＞０）という２つの値で表現してもよい。例えば、上記期待値は、推論値ｘに対しては、常にＳ（Ｓ＞０）とされ、推論値Ｇ（ｚ）に対しては、推論値Ｇ（ｚ）を時系列で見たときに、１つ前の推論値Ｇ（ｚ）に対して類似度が高くなっている場合には－Ｓとされ、類似度が高くなっていない場合には０とされてもよい。

【0061】

なお、識別器４１を学習する際は、重みパラメータｗ＋Δｗに基づいて算出された第１の特徴量および重みパラメータｗ^ｑに基づいて算出された第２の特徴量のそれぞれを入力とする第３のロス関数を指標として学習が行われてもよい。

【0062】

第１の特徴量および第２の特徴量のそれぞれは、識別器４１の畳み込みニューラルネットワークと全結合ニューラルネットワークとの境界において、畳み込みニューラルネットワークから出力される値である。第１の特徴量は量子化前モデル側の系４１ａにおける特徴量であり、第２の特徴量は、量子化後モデル側の系４１ｂにおける特徴量である。

【0063】

識別器４１の学習では、これらの第１の特徴量および第２の特徴量により、識別器４１の第３のロス関数が設定され、第３のロス関数を指標として第３のロス関数が小さくなるように識別器４１の学習が行われる。

【0064】

第３のロス関数としては、例えば、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数が用いられる。Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数は、ニューラルネットワークの特徴量（基準値、基準値から派生した値ａおよび値ｂ）を因子としてもち、学習によって基準値と値ａとの距離を狭めつつ、基準値と値ｂとの距離を広げるという性質を持っている。これにより（基準値または値ａ）と、値ｂとを分離しやすい状態にして学習を進めることができる。

【0065】

例えば、学習の繰り返し回数Ｎに対して、量子化前モデル側の系４１ａの特徴量（ポジティブ側の特徴量）と、量子化後モデル側の系４１ｂの特徴量（ネガティブ側の特徴量）とを分離しやすい状態とするために、
基準値：（Ｎ－１）回目の量子化前モデル側の系４１ａの特徴量
値ａ：Ｎ回目の量子化前モデル側の系４１ａの特徴量
値ｂ：Ｎ回目の量子化後モデル側の系４１ｂの特徴量
とすることが望ましい。

【0066】

これらを式で表すと、以下の（式３）に示すようになる。

【0067】

【数2】

【0068】

すなわち第３のロス関数を設定する場面では、基準となる特徴量として、Ｎ－１回目（Ｎは１より大きい整数）の学習で得られる第１の特徴量が設定され、ポジティブ側の特徴量として、Ｎ回目の学習で得られる第１の特徴量が設定され、ネガティブ側の特徴量として、Ｎ回目の学習で得られる第２の特徴量が設定されることが望ましい。

【0069】

［１－４．ハードウェア構成］
次に、本実施の形態に係るニューラルネットワーク導出モデルを構成する導出装置のハードウェア構成について、図８を用いて説明する。図８は、導出装置の機能をソフトウェアにより実現するコンピュータ１０００のハードウェア構成の一例を示す図である。

【0070】

コンピュータ１０００は、図８に示すように、入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７、送受信装置１００８及びバス１００９を備えるコンピュータである。入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。

【0071】

入力装置１００１は入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。

【0072】

出力装置１００２は、入力装置１００１と兼用されており、タッチパッドまたはタッチパネルディスプレイなどによって構成され、ユーザに知らすべき情報を通知する。

【0073】

内蔵ストレージ１００４は、フラッシュメモリなどである。また、内蔵ストレージ１００４は、導出装置の機能を実現するためのプログラム、及び、導出装置の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。

【0074】

ＲＡＭ１００５は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、プログラム又はアプリケーションの実行に際してデータ等の記憶に利用される。

【0075】

読取装置１００７は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体から情報を読み取る。読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラムやアプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。

【0076】

送受信装置１００８は、無線又は有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラムやアプリケーションをダウンロードして内蔵ストレージ１００４に記憶させる。

【0077】

ＣＰＵ１００３は、中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションをＲＡＭ１００５にコピーし、そのプログラムやアプリケーションに含まれる命令をＲＡＭ１００５から順次読み出して実行する。

【0078】

［１－５．効果等］
以上のように、本実施の形態のニューラルネットワーク導出方法は、第１のパラメータ（例えば重みパラメータｗ）を持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップＳ１０と、第１学習ステップＳ１０の後に、第１のニューラルネットワークを、第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップＳ２０と、を含む。正則化項は、第１のニューラルネットワークに基づいて第１のパラメータに変動を加えた第２のパラメータ（例えば重みパラメータｗ^ｑ）を持つ第２のニューラルネットワークが導出された後、第１のニューラルネットワークの第１の推論値ｘと第２のニューラルネットワークの第２の推論値Ｇ（ｚ）との類似度の時系列での変化に基づいて決定される。

【0079】

これによれば、第１のニューラルネットワークの第１の推論値ｘと第２のニューラルネットワークの第２の推論値Ｇ（ｚ）との類似度の時系列での変化に基づいて正則化項を求め、この正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、ニューラルネットワークのパラメータの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0080】

また、正則化項は、類似度が高くなると小さく、類似度が低くなると大きくなるように決定されてもよい。

【0081】

これによれば、ニューラルネットワークで使われる第１のパラメータが、推論値の精度を変化させやすい性質のパラメータになることを防ぐことができる。これにより、ニューラルネットワークのパラメータの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0082】

また、ニューラルネットワーク導出方法は、さらに、第１学習ステップＳ１０と第２学習ステップＳ２０との間に正則化項を決定するための識別器４１の学習を行う第１の正則化項学習ステップＳ１１を含む。第１の正則化項学習ステップＳ１１では、第１のパラメータおよび第２のパラメータを識別器４１への入力とし、第１の推論値ｘと第２の推論値Ｇ（ｚ）とから求められる第１の期待値を用いて識別器４１の学習が行われてもよい。

【0083】

これによれば、第１の期待値を用いて識別器４１を学習することができるので、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、ニューラルネットワークのパラメータの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0084】

また、第１の期待値は、第１の推論値ｘに対しては、常にＳ（Ｓ＞０）とされ、第２の推論値Ｇ（ｚ）に対しては、第２の推論値Ｇ（ｚ）を時系列で見たときに、１つ前の第２の推論値Ｇ（ｚ）に対して類似度が高くなっている場合には－Ｓとされ、類似度が高くなっていない場合には０とされてもよい。

【0085】

これによれば、第１の期待値を適切に決めることができ、識別器４１を適切に学習することができる。そのため、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、ニューラルネットワークのパラメータの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0086】

また、第１の正則化項学習ステップＳ１１では、第１のパラメータに基づいて算出された第１の特徴量および第２のパラメータに基づいて算出された第２の特徴量のそれぞれを入力とする第３のロス関数を用いて識別器４１の学習が行われてもよい。

【0087】

これによれば、識別器４１を適切に学習することができるので、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、ニューラルネットワークのパラメータの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0088】

また、第３のロス関数は、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数であり、基準となる特徴量として、Ｎ－１回目（Ｎは１より大きい整数）の学習で得られる第１の特徴量が設定され、ポジティブ側の特徴量として、Ｎ回目の学習で得られる第１の特徴量が設定され、ネガティブ側の特徴量として、Ｎ回目の学習で得られる第２の特徴量が設定されてもよい。

【0089】

これによれば、第３のロス関数に基づいて、識別器４１を適切に学習することができる。そのため、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、ニューラルネットワークのパラメータの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0090】

また、第１のパラメータは、第１の数値表現で表され、第２のパラメータは、第１のパラメータを第２の数値表現に変換することによって得られてもよい。

【0091】

本実施の形態のニューラルネットワーク導出方法は、パラメータが第１の数値表現から第２の数値表現に変換されるような場合であっても、この変換に対してロバスト性を有するニューラルネットワークを導出することができる。

【0092】

また、第１の数値表現はｆｌｏａｔ値からなる実数であり、第２の数値表現は整数であり、第２のパラメータは、第１のパラメータを量子化することによって得られてもよい。

【0093】

本実施の形態のニューラルネットワーク導出方法は、パラメータが量子化されて変換されるような場合であっても、この変換に対してロバスト性を有するニューラルネットワークを導出することができる。

【0094】

（実施の形態２）
［２－１．ニューラルネットワークを導出するための導出モデル］
次に、実施の形態２において、ニューラルネットワークを導出するための導出モデルについて説明する。実施の形態２では、実施の形態１で示したパラメータの変動に対するロバスト性に加え、入力データの変動に対してロバスト性を有するニューラルネットワークを生成する例について説明する。

【0095】

図９は、実施の形態２において、ニューラルネットワークを導出する導出モデル１０Ａを示す図である。図９に示すように、導出モデル１０Ａは、量子化前モデル２０と、量子化後モデル３０と、識別学習モデル４０とによって構成されている。

【0096】

量子化前モデル２０は、重みパラメータ（第１のパラメータ）ｗを持つ第１のニューラルネットワークによって構成されている。量子化前モデル２０には、入力データ（第１の入力データ）ｚが入力される。入力データｚは、例えば、ｆｌｏａｔ値からなる実数などの第３の数値表現で表される。入力データｚが入力された量子化前モデル２０は、出力値として推論値（第３の推論値）ｘを出力する。量子化前モデル２０は、入力データｚを含む所定の学習データセットに基づいて機械学習が行われる。また識別器４１の学習の際には重みパラメータｗにΔｗが加算された重みパラメータｗ＋Δｗで動作する。

【0097】

量子化後モデル３０は、重みパラメータ（第２のパラメータ）ｗ^ｑを持つ第２のニューラルネットワークによって構成されている。量子化後モデル３０には、入力データ（第２の入力データ）ｚ＋Δｚが入力される。Δｚは、例えば学習済の量子化前モデル２０の重みパラメータを固定し、間違った推論値となるように入力データｚを学習させることで求められる。この場合、Δｚは、元の入力データｚとの差となって表れる。入力データｚ＋Δｚは、上記第３の数値表現とは異なる第４の数値表現で表される。第４の数値表現は、例えば整数などの固定小数点精度による数値表現である。入力データｚ＋Δｚは、入力データｚに変動を加えた値となっており、入力データｚとは値が少し異なっている。入力データｚ＋ｚが入力された量子化後モデル３０は、出力値として推論値（第４の推論値）Ｇ（ｚ＋Δｚ）を出力する。

【0098】

識別学習モデル４０は、推論値の精度を識別する識別器４１を学習するためのモデルであり、識別器４１等を有している。

【0099】

識別器４１には、量子化前の重みパラメータｗ＋Δｗ、量子化後の重みパラメータｗ^ｑのそれぞれが入力され、また、入力データｚ、ｚ＋Δｚのそれぞれが入力される。識別器４１は、入力データｚならびに重みパラメータｗ＋Δｗに対応して推論値Ｄ（ｚ，ｗ＋Δｗ）を出力する。また、識別器４１は、入力データｚ＋Δｚならびに重みパラメータｗ^ｑに対応して推論値Ｄ（ｚ＋Δｚ，ｗ^ｑ）を出力する。なおここで推論値Ｄ（Ａ，Ｂ）という表記はテンソルＡとテンソルＢ、両方に依存する推論値を意味する。

【0100】

識別学習モデル４０には、量子化前モデル２０の推論値ｘ、量子化後モデル３０の推論値Ｇ（ｚ＋Δｚ）のそれぞれが入力される。識別学習モデル４０は、入力された推論値ｘ、推論値Ｇ（ｚ＋Δｚ）と上記の推論値Ｄ（ｚ，ｗ＋Δｗ）、Ｄ（ｚ＋Δｚ，ｗ^ｑ）とを対比し、バックプロパゲーションを行うことで、識別器４１を学習させる。そして識別学習モデル４０は、学習済の識別器４１によって、前述した正則化項を導出する。識別学習モデル４０によって導出された正則化項は、量子化前モデル２０の第１のニューラルネットワークを再び学習する際に用いられる。

【0101】

［２－２．ニューラルネットワーク導出方法］
次に、上記導出モデル１０Ａを用いてニューラルネットワークを導出する方法について説明する。

【0102】

図１０は、本実施の形態に係るニューラルネットワーク導出方法を示すフローである。

【0103】

ニューラルネットワーク導出方法は、第１学習ステップＳ１０と、正則化項学習ステップＳ１７（第２の正則化項学習ステップ）と、第２学習ステップＳ２０と、を含む。

【0104】

第１学習ステップＳ１０は、量子化前モデル２０の第１のニューラルネットワークを学習するステップである。第１学習ステップＳ１０は、図１０の（ａ）の破線内で実行される。このステップでは、第１のロス関数を指標とし、所定の学習データセットを用いて第１のニューラルネットワークの学習が行われる。第１学習ステップＳ１０により、第１のニューラルネットワークにおける重みパラメータｗがいったん求められる。

【0105】

正則化項学習ステップＳ１７は、前述した正則化項を導出するために学習を行うステップである。正則化項学習ステップＳ１７は、量子化後モデル３０を生成するステップＳ１２と、識別器４１を学習するステップＳ１３と、識別器４１から正則化項を導出するステップＳ１４とを含む。

【0106】

量子化後モデル３０を生成するステップＳ１２は、第１のニューラルネットワークに基づいて、重みパラメータｗ^ｑを持つ第２のニューラルネットワークを導出するステップである。このステップＳ１２は、図１０の（ｂ）の破線内で実行される。重みパラメータｗ^ｑは、重みパラメータｗ＋Δｗにさらに変動が加えられた値を量子化したものであり、例えば、重みパラメータｗ＋Δｗを量子化することで求められる。

【0107】

識別器４１を学習するステップＳ１３は、図１０の（ｃ）および（ｄ）のそれぞれの破線内の系で実行されるステップである。ここで、図１０の（ｃ）に示す破線内の系を量子化前モデル側の系４１ａと呼び、図１０の（ｄ）に示す破線内の系を量子化後モデル側の系４１ｂと呼ぶ。

【0108】

図１０の（ｃ）に示すように、量子化前モデル側の系４１ａでは、重みパラメータｗ＋Δｗおよび入力データｚが、識別器４１に入力される。重みパラメータｗ＋Δｗおよび入力データｚが入力された識別器４１からは、推論値Ｄ（ｚ，ｗ＋Δｗ）が出力される。また、識別学習モデル４０には、量子化前モデル２０および量子化後モデル３０の出力である推論値ｘおよび推論値Ｇ（ｚ＋Δｚ）が入力される。識別学習モデル４０は、この推論値ｘと推論値Ｇ（ｚ＋Δｚ）との類似度の時系列での変化に基づいて、推論値Ｄ（ｚ，ｗ＋Δｗ）の精度が向上するように識別器４１を学習させる。

【0109】

ここでいう類似度は、２つの推論値ｘ、Ｇ（ｚ＋Δｚ）の似ている度合を示すものである。類似度としては、前述したｃｏｓ類似度が用いられる。

【0110】

図１０の（ｄ）に示すように、量子化後モデル側の系４１ｂでは、量子化後モデル３０の重みパラメータｗ^ｑおよび入力データｚ＋Δｚが、識別器４１に入力される。重みパラメータｗ^ｑおよび入力データｚ＋Δｚが入力された識別器４１からは、推論値Ｄ（ｚ＋Δｚ，ｗ^ｑ）が出力される。識別学習モデル４０は、入力された推論値ｘと推論値Ｇ（ｚ＋Δｚ）との類似度の時系列での変化に基づいて、推論値Ｄ（ｚ＋Δｚ，ｗ^ｑ）の精度が向上するように識別器４１を学習させる。

【0111】

なお、上記の量子化前モデル側の系４１ａおよび量子化後モデル側の系４１ｂにおける重みは共通化（量子化前モデル側の系４１ａでの重みパラメータを量子化したものが，量子化後モデル側の系４１ｂの重みパラメータとなっている）されており、また、これらの系４１ａ、４１ｂによる識別器４１の学習は同時に実行される。

【0112】

正則化項を導出するステップＳ１４は、識別器４１を用いて正則化項を導出するステップである。正則化項は、推論値ｘと推論値Ｇ（ｚ＋Δｚ）との類似度の大きさに対して負の相関があり、例えば時系列でみて、上記類似度が高くなると小さく、上記類似度が低くなると大きくなるように決定される。識別器４１から導出された正則化項は、量子化前モデル２０の第１のニューラルネットワークの学習に反映される。

【0113】

第２学習ステップＳ２０は、第１のロス関数に正則化項を加えた第２のロス関数（第２のロス関数＝第１のロス関数＋正則化項）を指標として、第１のニューラルネットワークを学習するステップである。第２学習ステップＳ２０も、図１０の（ａ）の破線内で実行され、第１学習ステップＳ１０と同様に所定の学習データセットが用いられる。第２学習ステップＳ２０により、第１のニューラルネットワークの重みパラメータｗが更新される。

【0114】

図１１は、図１０に続いて実行されるニューラルネットワーク導出方法を示すフローチャートである。このニューラルネットワーク導出方法では、第２学習ステップＳ２０の後に、正則化項学習ステップＳ１７と同様の正則化項学習ステップＳ１７Ａが実行される。正則化項学習ステップＳ１７Ａは、前述した量子化後モデル３０を生成するステップＳ１２と、識別器４１を学習するステップＳ１３と、識別器４１から正則化項を導出するステップＳ１４とを含む。

【0115】

そして本実施の形態のニューラルネットワーク導出方法では、第２学習ステップＳ２０および正則化項学習ステップＳ１７Ａを繰り返すことで、ロバスト性を有する第１のニューラルネットワークが生成される。また、上記繰り返しによって生成された第１のニューラルネットワークの重みパラメータｗを量子化することで、パラメータおよび入力データの変動に対してロバスト性を有する第２のニューラルネットワークが生成される。

【0116】

［２－３．識別学習モデルの動作］
次に、識別器４１を学習させるための識別学習モデル４０の動作について説明する。

【0117】

図１２は、導出モデル１０Ａに含まれる識別学習モデル４０を示す模式図である。なお、図１２には、量子化前モデル２０および量子化後モデル３０も図示されている。

【0118】

識別器４１の量子化前モデル側の系４１ａには、重みパラメータｗ＋Δｗ、入力データｚが入力され、推論値Ｄ（ｚ，ｗ＋Δｗ）が出力される。識別器４１の量子化後モデル側の系４１ｂには、重みパラメータｗ^ｑ、入力データｚ＋Δｚが入力され、推論値Ｄ（ｚ＋Δｚ，ｗ^ｑ）が出力される。

【0119】

また、識別学習モデル４０には、量子化前モデル２０から推論値ｘが入力され、量子化後モデル３０から推論値Ｇ（ｚ＋Δｚ）が入力される。識別学習モデル４０では、この推論値ｘと推論値Ｇ（ｚ＋Δｚ）とから求められる類似度および期待値を用いて、識別器４１が学習される。

【0120】

ここで、識別器４１を学習する際に用いる期待値（第２の期待値）について説明する。

【0121】

期待値は、学習を行う際のラベルであり、（式４）に示すように、識別学習モデル４０に入力された推論値ｘ、Ｇ（ｚ＋Δｚ）に基づいて決定される。

【0122】

期待値＝｛ｘに対する推論値（ｘまたはＧ（ｚ＋Δ））の類似度，ｘに対する推論値（ｘまたはＧ（ｚ＋Δ））の類似度の前回の評価に対する向上具合｝・・・（式４）

【0123】

表２には、識別器の量子化前モデル側の系４１ａおよび量子化後モデル側の系４１ｂに対するそれぞれの期待値が示されている。上記期待値は、識別器４１の出力である推論値Ｄ（ｚ，ｗ＋Δｗ）、Ｄ（ｚ＋Δｚ，ｗ^ｑ）に良否を付ける際に、比較的容易に学習させやすい識別器である２クラス分類器として学習させるため、０および１という二値で表されている。

【0124】

【表2】

【0125】

表２に示すように、量子化前モデル側の系４１ａのｘに対する類似度は、推論値ｘがｘと同じなので期待値１となる。量子化後モデル側の系４１ｂのｘに対する類似度は、推論値Ｇ（ｚ＋Δｚ）がｘと異なるので期待値０となる。量子化前モデル側の系４１ａおよび量子化後モデル側の系４１ｂのそれぞれの推論値ｘ、Ｇ（ｚ＋Δｚ）の類似度の向上具合は、前回求めた類似度に対して今回求めた類似度が向上していれば期待値１、向上していなければ期待値０となる。なお、量子化前モデル側の系４１ａは常に推論値ｘ自身との比較になるため、学習における類似度の向上具合の期待値は実質１となる。

【0126】

識別学習モデル４０では、上記のように決めた期待値を用いて識別器４１の学習が行われる。具体的には、識別器４１から出力される推論値Ｄ（ｚ，ｗ＋Δｗ）、Ｄ（ｚ＋Δｚ，ｗ^ｑ）が、期待値１に近づくように、識別器４１の学習が行われる。識別器４１を学習する際は、量子化前モデル側の系４１ａおよび量子化後モデル側の系４１ｂの両方の系を用いて学習が行われ、識別器４１のニューラルネットワークの重みが更新される。識別器４１の学習を終えると、識別器４１のうちの量子化前モデル側の系４１ａを用いて正則化項が導出される。

【0127】

上記では期待値（第２の期待値）を０および１という二値で表現したが、それに限られず、０およびＳ（Ｓ＞０）という２つの値で表現してもよい。例えば、上記期待値は、推論値ｘに対しては、常にＳ（Ｓ＞０）とされ、推論値Ｇ（ｚ＋Δｚ）に対しては、推論値Ｇ（ｚ＋Δｚ）を時系列で見たときに、１つ前の推論値Ｇ（ｚ＋Δｚ）に対して類似度が高くなっている場合には－Ｓとされ、類似度が高くなっていない場合には０とされてもよい。

【0128】

なお、識別器４１を学習する際は、重みパラメータｗ＋Δｗおよび入力データｚに基づいて算出された第３の特徴量、ならびに、重みパラメータｗ^ｑおよび入力データｚ＋Δｚに基づいて算出された第４の特徴量のそれぞれを入力とする第４のロス関数を指標として学習が行われてもよい。

【0129】

第３の特徴量および第４の特徴量のそれぞれは、識別器４１の畳み込みニューラルネットワークと全結合ニューラルネットワークとの境界において、畳み込みニューラルネットワークから出力される値である。第３の特徴量は量子化前モデル側の系４１ａにおける特徴量であり、第４の特徴量は、量子化後モデル側の系４１ｂにおける特徴量である。

【0130】

識別器４１の学習では、これらの第３の特徴量および第４の特徴量により、識別器４１の第４のロス関数が設定され、第４のロス関数を指標として第４のロス関数が小さくなるように識別器４１の学習が行われる。

【0131】

第４のロス関数としては、例えば、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数が用いられる。Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数は、ニューラルネットワークの特徴量（基準値、基準値から派生した値ａおよび値ｂ）を因子としてもち、学習によって基準値と値ａとの距離を狭めつつ、基準値と値ｂとの距離を広げるという性質を持っている。

【0132】

例えば、学習の繰り返し回数Ｎに対して、量子化前モデル側の系４１ａの特徴量（ポジティブ側の特徴量）と、量子化後モデル側の系４１ｂの特徴量（ネガティブ側の特徴量）とを分離しやすい状態とするために、
基準値：（Ｎ－１）回目の量子化前モデル側の系４１ａの特徴量
値ａ：Ｎ回目の量子化前モデル側の系４１ａの特徴量
値ｂ：Ｎ回目の量子化後モデル側の系４１ｂの特徴量
とすることが望ましい。

【0133】

すなわち第４のロス関数を設定する場面では、基準となる特徴量として、Ｎ－１回目（Ｎは１より大きい整数）の学習で得られる第３の特徴量が設定され、ポジティブ側の特徴量として、Ｎ回目の学習で得られる第４の特徴量が設定され、ネガティブ側の特徴量として、Ｎ回目の学習で得られる第４の特徴量が設定されることが望ましい。

【0134】

［２－４．効果等］
以上のように、実施の形態２のニューラルネットワーク導出方法は、実施の形態１に加えさらに、第１学習ステップＳ１０と第２学習ステップＳ２０との間に正則化項を決定するための識別器４１の学習を行う第２の正則化項学習ステップＳ１７を含む。第２の正則化項学習ステップＳ１７では、第１の入力データ（例えば入力データｚ）および第２の入力データ（例えば入力データｚ＋Δｚ）を識別器４１への入力とし、第１の入力データを第１のニューラルネットワークに入力したときの第１のニューラルネットワークの第３の推論値ｘと、第１の入力データに変動を加えた第２の入力データを第２のニューラルネットワークに入力したときの第２のニューラルネットワークの第４の推論値Ｇ（ｚ＋Δｚ）と、から求められる第２の期待値を用いて識別器４１の学習が行われる。

【0135】

これによれば、第２の期待値を用いて識別器４１を学習することができるので、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、パラメータおよび入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。またそれにより、アドバーサリアル・アタック(敵対的サンプルによる攻撃)に対する耐性が大幅に向上する。

【0136】

また、第２の期待値は、第３の推論値ｘに対しては、常にＳ（Ｓ＞０）とされ、第４の推論値Ｇ（ｚ＋Δｚ）に対しては、第４の推論値Ｇ（ｚ＋Δｚ）を時系列で見たときに、１つ前の第４の推論値Ｇ（ｚ＋Δｚ）に対して類似度が高くなっている場合には－Ｓとされ、類似度が高くなっていない場合には０とされてもよい。

【0137】

これによれば、第２の期待値を適切に決めることができ、識別器４１を適切に学習することができる。そのため、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、パラメータおよび入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0138】

また、第２の正則化項学習ステップＳ１７では、第１のパラメータおよび第１の入力データに基づいて算出された第３の特徴量、ならびに、第２のパラメータおよび第２の入力データに基づいて算出された第４の特徴量のそれぞれを入力とする第４のロス関数を用いて識別器４１の学習が行われてもよい。

【0139】

これによれば、識別器４１を適切に学習することができるので、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、パラメータおよび入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0140】

また、第４のロス関数は、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数であり、基準となる特徴量として、Ｎ－１回目（Ｎは１より大きい整数）の学習で得られる第３の特徴量が設定され、ポジティブ側の特徴量として、Ｎ回目の学習で得られる第３の特徴量が設定され、ネガティブ側の特徴量として、Ｎ回目の学習で得られる第４の特徴量が設定されてもよい。

【0141】

これによれば、第４のロス関数に基づいて、識別器４１を適切に学習することができる。そのため、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、パラメータおよび入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0142】

また、第１の入力データは、第３の数値表現で表され、第２の入力データは、第３の数値表現と異なる第４の数値表現で表されてもよい。

【0143】

本実施の形態のニューラルネットワーク導出方法は、入力データが第３の数値表現から第４の数値表現に変わるような場合であっても、ロバスト性を有するニューラルネットワークを導出することができる。

【0144】

また、第３の数値表現はｆｌｏａｔ値からなる実数であり、第４の数値表現は整数であってもよい。

【0145】

本実施の形態のニューラルネットワーク導出方法は、第３の数値表現がｆｌｏａｔ値からなる実数であり、第４の数値表現が整数であっても、ロバスト性を有するニューラルネットワークを導出することができる。

【0146】

（実施の形態３）
［３－１．ニューラルネットワークを導出するための導出モデル］
次に、実施の形態３において、ニューラルネットワークを導出するための導出モデルについて説明する。実施の形態３では、入力データの変動に対してロバスト性を有するニューラルネットワークを生成する例について説明する。

【0147】

図１３は、実施の形態３において、ニューラルネットワークを導出する導出モデル１０Ｂを示す図である。図１３に示すように、導出モデル１０Ｂは、基準モデル２０Ｂと、クローンモデル３０Ｂと、識別学習モデル４０とによって構成されている。

【0148】

基準モデル２０Ｂは、重みパラメータ（第１のパラメータ）ｗを持つ第１のニューラルネットワークによって構成されている。基準モデル２０Ｂには、入力データ（第１の入力データ）ｚが入力される。入力データｚは、例えば、ｆｌｏａｔ値からなる実数などの第３の数値表現で表される。入力データｚが入力された基準モデル２０Ｂは、出力値として推論値（第５の推論値）ｘを出力する。基準モデル２０Ｂは、入力データｚを含む所定の学習データセットに基づいて機械学習が行われる。また識別器４１の学習の際には重みパラメータｗにΔｗが加算された重みパラメータｗ＋Δｗで動作する。

【0149】

クローンモデル３０Ｂは、基準モデル２０Ｂと同じ重みパラメータｗを持つ第２のニューラルネットワークによって構成されている。クローンモデル３０Ｂには、入力データ（第２の入力データ）ｚ＋Δｚが入力される。Δｚは、例えば学習済の基準モデル２０Ｂの重みパラメータを固定し、間違った推論値となるように入力データｚを学習させることで求められる。この場合、Δｚは、元の入力データｚとの差となって表れる。入力データｚ＋Δｚは、上記第３の数値表現とは異なる第４の数値表現で表される。第４の数値表現は、例えば整数などの固定小数点精度による数値表現である。入力データｚ＋Δｚは、入力データｚに変動を加えた値となっており、入力データｚとは値が少し異なっている。入力データｚ＋ｚが入力されたクローンモデル３０Ｂは、出力値として推論値（第６の推論値）Ｇ（ｚ＋Δｚ）を出力する。また識別器４１の学習の際には重みパラメータｗにΔｗが加算された重みパラメータｗ＋Δｗで動作する。

【0150】

識別学習モデル４０は、推論値の精度を識別する識別器４１を学習するためのモデルであり、識別器４１等を有している。

【0151】

識別器４１には、２つの重みパラメータｗ＋Δｗのそれぞれが入力され、また、入力データｚ、ｚ＋Δｚのそれぞれが入力される。識別器４１は、入力データｚならびに重みパラメータｗ＋Δｗに対応して推論値Ｄ（ｚ，ｗ＋Δｗ）を出力する。また、識別器４１は、入力データｚ＋Δｚならびに重みパラメータｗ＋Δｗに対応して推論値Ｄ（ｚ＋Δｚ，ｗ＋Δｗ）を出力する。なおここで推論値Ｄ（Ａ，Ｂ）という表記はテンソルＡとテンソルＢ、両方に依存する推論値を意味する。

【0152】

識別学習モデル４０には、基準モデル２０Ｂの推論値ｘ、クローンモデル３０Ｂの推論値Ｇ（ｚ＋Δｚ）のそれぞれが入力される。識別学習モデル４０は、入力された推論値ｘ、推論値Ｇ（ｚ＋Δｚ）と上記の推論値Ｄ（ｚ，ｗ＋Δｗ）、Ｄ（ｚ＋Δｚ，ｗ＋Δｗ）とを対比し、バックプロパゲーションを行うことで、識別器４１を学習させる。そして識別学習モデル４０は、学習済の識別器４１によって、前述した正則化項を導出する。識別学習モデル４０によって導出された正則化項は、基準モデル２０Ｂの第１のニューラルネットワークを再び学習する際に用いられる。

【0153】

［３－２．ニューラルネットワーク導出方法］
次に、上記導出モデル１０Ｂを用いてニューラルネットワークを導出する方法について説明する。

【0154】

図１４は、本実施の形態に係るニューラルネットワーク導出方法を示すフローである。

【0155】

ニューラルネットワーク導出方法は、第１学習ステップＳ１０と、正則化項学習ステップＳ１８（第３の正則化項学習ステップ）と、第２学習ステップＳ２０と、を含む。

【0156】

第１学習ステップＳ１０は、基準モデル２０Ｂの第１のニューラルネットワークを学習するステップである。第１学習ステップＳ１０は、図１４の（ａ）の破線内で実行される。このステップでは、第１のロス関数を指標とし、所定の学習データセットを用いて第１のニューラルネットワークの学習が行われる。第１学習ステップＳ１０により、第１のニューラルネットワークにおける重みパラメータｗがいったん求められる。

【0157】

正則化項学習ステップＳ１８は、前述した正則化項を導出するために学習を行うステップである。正則化項学習ステップＳ１８は、クローンモデル３０Ｂを生成するステップＳ１２Ａと、識別器４１を学習するステップＳ１３と、識別器４１から正則化項を導出するステップＳ１４とを含む。

【0158】

クローンモデル３０Ｂを生成するステップＳ１２Ａは、第１のニューラルネットワークに基づいて、同じ重みパラメータｗを持つ第２のニューラルネットワークを導出するステップである。このステップＳ１２Ａは、図１４の（ｂ）の破線内で実行される。

【0159】

識別器４１を学習するステップＳ１３は、図１４の（ｃ）および（ｄ）のそれぞれの破線内の系で実行されるステップである。ここで、図１４の（ｃ）に示す破線内の系を基準モデル側の系４１ｃと呼び、図１４の（ｄ）に示す破線内の系をクローンモデル側の系４１ｄと呼ぶ。

【0160】

図１４の（ｃ）に示すように、基準モデル側の系４１ｃでは、重みパラメータｗ＋Δｗおよび入力データｚが識別器４１に入力される。重みパラメータｗ＋Δｗおよび入力データｚが入力された識別器４１からは、推論値Ｄ（ｚ，ｗ＋Δｗ）が出力される。また、識別学習モデル４０には、基準モデル２０Ｂおよびクローンモデル３０Ｂの出力である推論値ｘ、Ｇ（ｚ＋Δｚ）が入力される。識別学習モデル４０は、この推論値ｘと推論値Ｇ（ｚ＋Δｚ）との類似度の時系列での変化に基づいて、推論値Ｄ（ｚ，ｗ＋Δｗ）の精度が向上するように識別器４１を学習させる。

【0161】

ここでいう類似度は、２つの推論値ｘ、Ｇ（ｚ＋Δｚ）の似ている度合を示すものである。類似度としては、前述したｃｏｓ類似度が用いられる。

【0162】

図１４の（ｄ）に示すように、クローンモデル側の系４１ｄでは、クローンモデル３０Ｂの重みパラメータｗ＋Δｗおよび入力データｚ＋Δｚが、識別器４１に入力される。重みパラメータｗ＋Δｗおよび入力データｚ＋Δｚが入力された識別器４１からは、推論値Ｄ（ｚ＋Δｚ，ｗ＋Δｗ）が出力される。識別学習モデル４０は、入力された推論値ｘと推論値Ｇ（ｚ＋Δｚ）との類似度の時系列での変化に基づいて、推論値Ｄ（ｚ＋Δｚ，ｗ＋Δｗ）の精度が向上するように識別器４１を学習させる。

【0163】

なお、上記の基準モデル側の系４１ｃおよびクローンモデル側の系４１ｄにおける重みは共通化されており、また、これらの系４１ｃ、４１ｄによる識別器４１の学習は同時に実行される。

【0164】

正則化項を導出するステップＳ１４は、識別器４１を用いて正則化項を導出するステップである。正則化項は、推論値ｘと推論値Ｇ（ｚ＋Δｚ）との類似度の大きさに対して負の相関があり、例えば時系列でみて、上記類似度が高くなると小さく、上記類似度が低くなると大きくなるように決定される。識別器４１から導出された正則化項は、基準モデル２０Ｂの第１のニューラルネットワークの学習に反映される。

【0165】

第２学習ステップＳ２０は、第１のロス関数に正則化項を加えた第２のロス関数（第２のロス関数＝第１のロス関数＋正則化項）を指標として、第１のニューラルネットワークを学習するステップである。第２学習ステップＳ２０も、図１４の（ａ）の破線内で実行され、第１学習ステップＳ１０と同様に所定の学習データセットが用いられる。第２学習ステップＳ２０により、第１のニューラルネットワークの重みパラメータｗが更新される。

【0166】

図１５は、図１４に続いて実行されるニューラルネットワーク導出方法を示すフローチャートである。このニューラルネットワーク導出方法では、第２学習ステップＳ２０の後に、正則化項学習ステップＳ１８と同様の正則化項学習ステップＳ１８Ａが実行される。正則化項学習ステップＳ１８Ａは、前述したクローンモデル３０Ｂを生成するステップＳ１２Ａと、識別器４１を学習するステップＳ１３と、識別器４１から正則化項を導出するステップＳ１４とを含む。

【0167】

そして本実施の形態のニューラルネットワーク導出方法では、第２学習ステップＳ２０および正則化項学習ステップＳ１８Ａを繰り返すことで、ロバスト性を有する第１のニューラルネットワークが生成される。また、上記繰り返しによって生成された第１のニューラルネットワークと同じ重みパラメータｗを持たせることで、入力データの変動に対してロバスト性を有する第２のニューラルネットワークが生成される。

【0168】

［３－３．識別学習モデルの動作］
次に、識別器４１を学習させるための識別学習モデル４０の動作について説明する。

【0169】

図１６は、導出モデル１０Ｂに含まれる識別学習モデル４０を示す模式図である。なお、図１６には、基準モデル２０Ｂおよびクローンモデル３０Ｂも図示されている。

【0170】

識別器４１の基準モデル側の系４１ｃには、重みパラメータｗ＋Δｗ、入力データｚが入力され、推論値Ｄ（ｚ，ｗ＋Δｗ）が出力される。識別器４１のクローンモデル側の系４１ｄには、重みパラメータｗ＋Δｗ、入力データｚ＋Δｚが入力され、推論値Ｄ（ｚ＋Δｚ，ｗ＋Δｗ）が出力される。

【0171】

また、識別学習モデル４０には、基準モデル２０Ｂから推論値ｘが入力され、クローンモデル３０Ｂから推論値Ｇ（ｚ＋Δｚ）が入力される。識別学習モデル４０では、この推論値ｘと推論値Ｇ（ｚ＋Δｚ）とから求められる類似度および期待値を用いて、識別器４１が学習される。

【0172】

ここで、識別器４１を学習する際に用いる期待値（第３の期待値）について説明する。

【0173】

期待値は、学習を行う際のラベルであり、（式５）に示すように、識別学習モデル４０に入力された推論値ｘ、Ｇ（ｚ＋Δｚ）に基づいて決定される。

【0174】

期待値＝｛ｘに対する推論値（ｘまたはＧ（ｚ＋Δｚ））類似度，ｘに対する推論値（ｘまたはＧ（ｚ＋Δｚ））の類似度の前回の評価に対する向上具合｝・・・（式５）

【0175】

表３には、識別器の基準モデル側の系４１ｃおよびクローンモデル側の系４１ｄに対するそれぞれの期待値が示されている。上記期待値は、識別器４１の出力である推論値Ｄ（ｚ，ｗ＋Δｗ）、Ｄ（ｚ＋Δｚ，ｗ＋Δｗ）に良否を付ける際に、比較的容易に学習させやすい識別器である２クラス分類器として学習させるため、０および１という二値で表されている。

【0176】

【表3】

【0177】

表３に示すように、基準モデル側の系４１ｃのｘに対する類似度は、推論値ｘがｘと同じなので期待値１となる。クローンモデル側の系４１ｄのｘに対する類似度は、推論値Ｇ（ｚ＋Δｚ）がｘと異なるので期待値０となる。基準モデル側の系４１ｃおよびクローンモデル側の系４１ｄのそれぞれの推論値ｘ、Ｇ（ｚ＋Δｚ）の類似度の向上具合は、前回求めた類似度に対して今回求めた類似度が向上していれば期待値１、向上していなければ期待値０となる。なお、基準モデル側の系４１ｃは常に推論値ｘ自身との比較になるため、学習における類似度の向上具合の期待値は実質１となる。

【0178】

識別学習モデル４０では、上記のように決めた期待値を用いて識別器４１の学習が行われる。具体的には、識別器４１から出力される推論値Ｄ（ｚ，ｗ＋Δｗ）、Ｄ（ｚ＋Δｚ，ｗ＋Δｗ）が、期待値１に近づくように、識別器４１の学習が行われる。識別器４１を学習する際は、基準モデル側の系４１ｃおよびクローンモデル側の系４１ｄの両方の系を用いて学習が行われ、識別器４１のニューラルネットワークの重みが更新される。識別器４１の学習を終えると、識別器４１のうちの基準モデル側の系４１ｃを用いて正則化項が導出される。

【0179】

上記では期待値（第３の期待値）を０および１という二値で表現したが、それに限られず、０およびＳ（Ｓ＞０）という２つの値で表現してもよい。例えば、上記期待値は、推論値ｘに対しては、常にＳ（Ｓ＞０）とされ、推論値Ｇ（ｚ＋Δｚ）に対しては、推論値Ｇ（ｚ＋Δｚ）を時系列で見たときに、１つ前の推論値Ｇ（ｚ＋Δｚ）に対して類似度が高くなっている場合には－Ｓとされ、類似度が高くなっていない場合には０とされてもよい。

【0180】

なお、識別器４１を学習する際は、入力データｚに基づいて算出された第５の特徴量、ならびに、入力データｚ＋Δｚに基づいて算出された第６の特徴量のそれぞれを入力とする第５のロス関数を指標として学習が行われてもよい。

【0181】

第５の特徴量および第６の特徴量のそれぞれは、識別器４１の畳み込みニューラルネットワークと全結合ニューラルネットワークとの境界において、畳み込みニューラルネットワークから出力される値である。第５の特徴量は基準モデル側の系４１ｃにおける特徴量であり、第６の特徴量は、クローンモデル側の系４１ｄにおける特徴量である。

【0182】

識別器４１の学習では、これらの第５の特徴量および第６の特徴量により、識別器４１の第５のロス関数が設定され、第５のロス関数を指標として第５のロス関数が小さくなるように識別器４１の学習が行われる。

【0183】

第５のロス関数としては、例えば、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数が用いられる。Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数は、ニューラルネットワークの特徴量（基準値、基準値から派生した値ａおよび値ｂ）を因子としてもち、学習によって基準値と値ａとの距離を狭めつつ、基準値と値ｂとの距離を広げるという性質を持っている。

【0184】

例えば、学習の繰り返し回数Ｎに対して、基準モデル側の系４１ｃの特徴量（ポジティブ側の特徴量）と、クローンモデル側の系４１ｄの特徴量（ネガティブ側の特徴量）とを分離しやすい状態とするために、
基準値：（Ｎ－１）回目の基準モデル側の系４１ｃの特徴量
値ａ：Ｎ回目の基準モデル側の系４１ｃの特徴量
値ｂ：Ｎ回目のクローンモデル側の系４１ｄの特徴量
とすることが望ましい。

【0185】

すなわち第５のロス関数を設定する場面では、基準となる特徴量として、Ｎ－１回目（Ｎは１より大きい整数）の学習で得られる第５の特徴量が設定され、ポジティブ側の特徴量として、Ｎ回目の学習で得られる第６の特徴量が設定され、ネガティブ側の特徴量として、Ｎ回目の学習で得られる第６の特徴量が設定されることが望ましい。

【0186】

［３－４．効果等］
以上のように、実施の形態３のニューラルネットワーク導出方法は、第１の入力データ（例えば入力データｚ）が入力される第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップＳ１０と、第１学習ステップＳ１０の後に、第１のニューラルネットワークを、第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップＳ２０と、を含む。正則化項は、第１のニューラルネットワークに基づいて第１の入力データに変動を加えた第２の入力データ（例えば入力データｚ＋Δｚ）が入力される第２のニューラルネットワークが導出された後、第１のニューラルネットワークの第５の推論値ｘと第２のニューラルネットワークの第６の推論値Ｇ（ｚ＋Δｚ）との類似度の時系列での変化に基づいて決定される。

【0187】

これによれば、第１のニューラルネットワークの第５の推論値ｘと第２のニューラルネットワークの第６の推論値Ｇ（ｚ＋Δｚ）との類似度の時系列での変化に基づいて正則化項を求め、この正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、ニューラルネットワークの入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。またそれにより、アドバーサリアル・アタック(敵対的サンプルによる攻撃)に対する耐性が大幅に向上する。

【0188】

また、正則化項は、類似度が高くなると小さく、類似度が低くなると大きくなるように決定されてもよい。

【0189】

これによれば、ニューラルネットワークで使われる第１のパラメータが、推論値の精度を変化させやすい性質のパラメータになることを防ぐことができる。これにより、ニューラルネットワークの入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0190】

また、ニューラルネットワーク導出方法は、さらに、第１学習ステップＳ１０と第２学習ステップＳ２０との間に正則化項を決定するための識別器４１の学習を行う第３の正則化項学習ステップＳ１８を含む。第３の正則化項学習ステップＳ１８では、第１の入力データおよび第２の入力データを識別器４１への入力とし、第５の推論値ｘと第６の推論値Ｇ（ｚ＋Δｚ）とから求められる第３の期待値を用いて識別器４１の学習が行われてもよい。

【0191】

これによれば、第３の期待値を用いて識別器４１を学習することができるので、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0192】

また、第３の期待値は、第５の推論値に対しては、常にＳ（Ｓ＞０）とされ、第６の推論値に対しては、第６の推論値を時系列で見たときに、１つ前の第６の推論値に対して類似度が高くなっている場合には－Ｓとされ、類似度が高くなっていない場合には０とされてもよい。

【0193】

これによれば、第３の期待値を適切に決めることができ、識別器４１を適切に学習することができる。そのため、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0194】

また、第３の正則化項学習ステップでは、第１の入力データに基づいて算出された第５の特徴量および第２の入力データに基づいて算出された第６の特徴量のそれぞれを入力とする第５のロス関数を用いて識別器４１の学習が行われてもよい。

【0195】

これによれば、識別器４１を適切に学習することができるので、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0196】

また、第５のロス関数は、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数であり、基準となる特徴量として、Ｎ－１回目（Ｎは１より大きい整数）の学習で得られる第５の特徴量が設定され、ポジティブ側の特徴量として、Ｎ回目の学習で得られる第５の特徴量が設定され、ネガティブ側の特徴量として、Ｎ回目の学習で得られる第６の特徴量が設定されてもよい。

【0197】

これによれば、第５のロス関数に基づいて、識別器４１を適切に学習することができる。そのため、学習済の識別器４１によって決定された正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、入力データの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0198】

また、第１の入力データは、第３の数値表現で表され、第２の入力データは、第３の数値表現と異なる第４の数値表現で表されてもよい。

【0199】

本実施の形態のニューラルネットワーク導出方法は、入力データが第３の数値表現から第４の数値表現に変わるような場合であっても、ロバスト性を有するニューラルネットワークを導出することができる。

【0200】

また、第３の数値表現はｆｌｏａｔ値からなる実数であり、第４の数値表現は整数であってもよい。

【0201】

本実施の形態のニューラルネットワーク導出方法は、第３の数値表現がｆｌｏａｔ値からなる実数であり、第４の数値表現が整数であっても、ロバスト性を有するニューラルネットワークを導出することができる。

【0202】

（実施の形態４）
［４－１．ニューラルネットワークを導出するための導出モデル］
次に、実施の形態４において、ニューラルネットワークを導出するための導出モデルについて説明する。実施の形態４では、重みパラメータの変動に対してロバスト性を有するニューラルネットワークを生成する例について説明する。

【0203】

図１７は、実施の形態４において、ニューラルネットワークを導出する導出モデル１０Ｃを示す図である。図１７に示すように、導出モデル１０Ｃは、基準モデル２０Ｃと、微小変動モデル３０Ｃとによって構成されている。

【0204】

基準モデル２０Ｃは、重みパラメータ（第１のパラメータ）ｗを持つ第１のニューラルネットワークによって構成されている。基準モデル２０Ｃには、入力データ（第１の入力データ）ｚが入力される。入力データｚは、例えば、ｆｌｏａｔ値からなる実数などの第３の数値表現で表される。入力データｚが入力された基準モデル２０Ｃは、出力値として推論値（第７の推論値）ｘを出力する。基準モデル２０Ｃは、入力データｚを含む所定の学習データセットに基づいて機械学習が行われる。また基準モデルは複数のレイヤで構成され、各レイヤの出力を特徴量としてＲｆｅａｔ［Ｎ］と示す（Ｎはレイヤのインデックス）。各レイヤの入力特徴量Ｒｆｅａｔｉｎ［Ｎ］はＲｆｅａｔ［Ｎ-１］に等しい。

【0205】

微小変動モデル３０Ｃは、基準モデル２０Ｃと同じ重みパラメータｗに微小変動Δｗを加えた重みパラメータ（第２のパラメータ）を持つ第２のニューラルネットワークによって構成されている。微小変動モデル３０Ｃには、入力データ（第１の入力データ）ｚが入力され、出力値として推論値（第８の推論値）Ｇ（ｚ）を出力する。また微小変動モデル３０Ｃと基準モデル２０Ｃは重みパラメータｗを共有し、微小変動モデル３０Ｃの学習によって基準モデル２０Ｃの重みパラメータｗが更新される。また微小変動モデルは複数のレイヤで構成され、各レイヤの出力を特徴量としてＧｆｅａｔ［Ｎ］と示す（Ｎはレイヤのインデックス）。各レイヤの入力特徴量Ｇｆｅａｔｉｎ［Ｎ］はＧｆｅａｔ［Ｎ-１］に微小変動ΔＧｆｅａｔ［Ｎ］を加えたものとなる。

【0206】

なお、各レイヤから出力される特徴量は、元々はネットワークの内部の特徴量である。したがって、各レイヤから出力される特徴量は、ネットワークの内部特徴量に含まれるものであり、上記内部特徴量と実質的に同じである。微小変動モデル３０Ｃは、上記の重みパラメータを除き、基準モデル２０Ｃと同じ構成を有している。

【0207】

［４－２．ニューラルネットワーク導出方法］
次に、上記導出モデル１０Ｃを用いてニューラルネットワークを導出する方法について説明する。

【0208】

図１８は、実施の形態４に係るニューラルネットワーク導出方法を示すフローチャートである。

【0209】

ニューラルネットワーク導出方法は、第１学習ステップＳ１０と、正則化項構築ステップＳ１９と、第２学習ステップＳ２１と、を含む。

【0210】

第１学習ステップＳ１０は、基準モデル２０Ｃの第１のニューラルネットワークを学習するステップである。第１学習ステップＳ１０は、図１８の（ａ）の破線内で実行される。このステップでは、第１のロス関数を指標とし、所定の学習データセットを用いて第１のニューラルネットワークの学習が行われる。第１学習ステップＳ１０により、第１のニューラルネットワークにおける重みパラメータｗがいったん求められる。

【0211】

正則化項構築ステップＳ１９は、前述した正則化項とは別の形態を導出するステップである。正則化項構築ステップＳ１９は、微小変動モデル３０Ｃを生成するステップＳ１２Ｂと、基準モデル２０Ｃと微小変動モデル３０Ｃから正則化項を導出するステップＳ１５とを含む。

【0212】

微小変動モデル３０Ｃを生成するステップＳ１２Ｂは、第１のニューラルネットワークに基づいて、同じ重みパラメータｗに微小変動Δｗを加えた重みを持つ第２のニューラルネットワークを導出するステップである。このステップＳ１２Ｂは、図１８の（ｂ）の破線内で実行される。重みが（ｗ＋Δｗ）となっている。本来の重みｗは基準モデルと共有されている。

【0213】

正則化項を導出するステップＳ１５は、図１８の（ｃ）の系で実行されるステップである。図１８（ｃ）に示すように、基準モデルと微小変動モデルの特徴量類似度を求める。図１９は、実施の形態４における特徴量類似度の定義を示す図である。この図では、複数のレイヤで構成される基準モデル、微小変動モデルにおいて、各レイヤの出力を特徴量としてＲｆｅａｔ［Ｎ］、Ｇｆｅａｔ［Ｎ］（Ｎはレイヤのインデックス）と示す。ここでいう類似度は、２つのＲｆｅａｔ［Ｎ］、Ｇｆｅａｔ［Ｎ］の似ている度合を示すものである。類似度としては、前述したｃｏｓ類似度が用いられる。

【0214】

正則化項としては各レイヤの重みｗ［Ｎ］にそれぞれ対応してレイヤＮの特徴量類似度を逆の符号にしたものを定義する。

【0215】

第２学習ステップＳ２１は、第１のロス関数に正則化項を加えた第２のロス関数（第２のロス関数＝第１のロス関数＋正則化項）を指標として、第１のニューラルネットワークを学習するステップである。第２学習ステップＳ２１は、図１８の（ｃ）の破線内で実行され、第１学習ステップＳ１０と同様に所定の学習データセットが用いられる。前述した通り本来の重みｗは基準モデルと微小変動モデルで共有しているため、第２学習ステップＳ２１により、第１のニューラルネットワークの重みパラメータｗが更新される。

【0216】

［４－３．効果等］
以上のように、実施の形態４のニューラルネットワーク導出方法は、第１の入力データ（例えば入力データｚ）が入力される第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップＳ１０と、第１学習ステップＳ１０の後に、第１のニューラルネットワークを、第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップＳ２１と、を含む。正則化項は、第１のニューラルネットワークに基づいて第１のパラメータに変動を加えた第２のパラメータ（例えば、重みパラメータ（ｗ＋Δｗ）、入力データ（ｚ＋Δｚ））が入力される第２のニューラルネットワークが導出された後、または、第１のニューラルネットワークの各レイヤの出力の特徴量に変動を加えた特徴量（Ｇｆｅａｔ［Ｎ-１］＋ΔＧｆｅａｔ［Ｎ］））を有する第２のニューラルネットワークが導出された後、第１のニューラルネットワークの各レイヤの出力の特徴量と第２のニューラルネットワークの対応するレイヤの出力の特徴量との類似度に基づいて決定される。

【0217】

これによれば、第１のニューラルネットワークの特徴量（Ｒｆｅａｔ）と第２のニューラルネットワークの特徴量（Ｇｆｅａｔ）との類似度に基づいて正則化項を求め、この正則化項を含む第２のロス関数を指標として第１のニューラルネットワークを学習することができる。これにより、実施の形態１、２、３で使用した識別器を用いずに、ニューラルネットワークのパラメータの変動に対してロバスト性を有するニューラルネットワークを導出することができる。

【0218】

また、第１のパラメータは、第３の数値表現で表され、第２のパラメータは、第３の数値表現と異なる第４の数値表現で表されてもよい。

【0219】

本実施の形態のニューラルネットワーク導出方法は、パラメータが第３の数値表現から第４の数値表現に変わるような場合であっても、ロバスト性を有するニューラルネットワークを導出することができる。

【0220】

また、第３の数値表現はｆｌｏａｔ値からなる実数であり、第４の数値表現は整数であってもよい。

【0221】

本実施の形態のニューラルネットワーク導出方法は、第３の数値表現がｆｌｏａｔ値からなる実数であり、第４の数値表現が整数であっても、ロバスト性を有するニューラルネットワークを導出することができる。

【0222】

また、第２のニューラルネットワークにおける変動は、重みパラメータ（例えばｗ＋Δｗ）のみでも構わない。

【0223】

本実施の形態のニューラルネットワーク導出方法は、第２のニューラルネットワークにおける変動が重みパラメータのみであっても、重みパラメータに対するロバスト性を有するニューラルネットワークを導出することができる。

【0224】

また、本実施の形態のニューラルネットワーク導出方法は、以下に示すように構成されてもよい。

【0225】

例えば、ニューラルネットワーク導出方法は、第１のパラメータを持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、第１学習ステップの後に、第１のニューラルネットワークを、第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、を含み、正則化項は、第１のニューラルネットワークに基づいて第１のパラメータに変動を加えた第２のパラメータを持つ第２のニューラルネットワークが導出された後、第１のニューラルネットワークと第２のニューラルネットワークとの内部特徴量または推論値の相互関係に基づいて決定されてもよい。また、正則化項は、第１のニューラルネットワークの最終レイヤを除く少なくとも１つのレイヤの出力の特徴量と第２のニューラルネットワークの対応するレイヤの出力の特徴量との類似度に基づいて決定されてもよい。

【0226】

例えば、ニューラルネットワーク導出方法は、第１の重みパラメータを持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、第１学習ステップの後に、第１のニューラルネットワークを、第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、を含み、正則化項は、第１のニューラルネットワークと、第１のニューラルネットワークに基づいて第１の重みパラメータに変動を加えた第２の重みパラメータを持つ第２のニューラルネットワークとの関係に基づいて決定されてもよい。

【0227】

例えば、ニューラルネットワーク導出方法は、第１のパラメータを持つ第１のニューラルネットワークを第１のロス関数を指標として学習する第１学習ステップと、第１学習ステップの後に、第１のニューラルネットワークを、第１のロス関数に正則化項を加えた第２のロス関数を指標として学習する第２学習ステップと、を含み、正則化項は、第１のニューラルネットワークと、第１のニューラルネットワークに基づいた第２のニューラルネットワークとの関係に基づいて決定され、第２のニューラルネットワークは、第１のニューラルネットワークに対し、さらに、少なくとも１つのレイヤの入力が、前段レイヤの出力である特徴量に変動を加えたものとなる構成を有していてもよい。なお、上記における「少なくとも１つのレイヤ」は、必ずしも全てのレイヤである必要はない。つまり、第２のニューラルネットワークは、第１のニューラルネットワークに対し、さらに、一部のレイヤの入力が、前段レイヤの出力である特徴量に変動を加えたものとなる構成を有していてもよい。

【0228】

（その他の実施の形態）
以上、本開示に係るニューラルネットワーク導出方法について、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

【0229】

また、以下に示す形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。

【0230】

（１）上記の導出装置を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

【0231】

（２）上記の導出装置を構成する構成要素の一部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

【0232】

（３）上記の導出装置を構成する構成要素の一部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

【0233】

（４）また、上記の導出装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

【0234】

また、上記の導出装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

【0235】

（５）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

【0236】

（６）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

【0237】

（７）また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

【0238】

（８）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

【産業上の利用可能性】

【0239】

本開示は、ニューラルネットワークのコンピュータなどへの実装方法として、画像処理方法、音声認識方法または物体制御方法などに利用できる。

【符号の説明】

【0240】

１０、１０Ａ、１０Ｂ、１０Ｃ 導出モデル
２０ 量子化前モデル
２０Ｂ、２０Ｃ 基準モデル
３０ 量子化後モデル
３０Ｂ クローンモデル
３０Ｃ 微小変動モデル
４０ 識別学習モデル
４１ 識別器
４１ａ 量子化前モデル側の系
４１ｂ 量子化後モデル側の系
４１ｃ 基準モデル側の系
４１ｄ クローンモデル側の系
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ 内蔵ストレージ
１００５ ＲＡＭ
１００７ 読取装置
１００８ 送受信装置
１００９ バス
ｗ、ｗ^ｑ 重みパラメータ
ｚ、ｚ＋Δｚ 入力データ
ｘ、Ｇ（ｚ）、Ｄ（ｗ＋Δｗ）、Ｄ（ｗ^ｑ）、Ｄ（ｚ，ｗ＋Δｗ）、Ｄ（ｚ＋Δｚ，ｗ^ｑ）、Ｄ（ｚ＋Δｚ，ｗ＋Δｗ） 推論値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】