特許 7419711 量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置

(51)【国際特許分類】

   G06N 3/0495 20230101AFI20240116BHJP

【ＦＩ】

G06N3/0495

【請求項の数】 10

(21)【出願番号】P 2019163981

(22)【出願日】2019-09-09

(65)【公開番号】P2021043596

(43)【公開日】2021-03-18

【審査請求日】2022-08-09

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100189430

【弁理士】

【氏名又は名称】吉川 修一

(74)【代理人】

【識別番号】100190805

【弁理士】

【氏名又は名称】傍島 正朗

(72)【発明者】

【氏名】笹川 幸宏

【審査官】渡辺 順哉

(56)【参考文献】

【文献】特許第６５２８８８４（ＪＰ，Ｂ１）

【文献】特開平０７－０８４９７５（ＪＰ，Ａ）

【文献】特開２０１８－０１０６１８（ＪＰ，Ａ）

【文献】特開２０１８－０４５３５０（ＪＰ，Ａ）

【文献】特開２０１２－１５９８８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを最適化する、コンピュータプログラムにより実行される量子化パラメータ最適化方法であって、
前記ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数に、前記重みパラメータと前記量子化パラメータとの誤差である量子化誤差の関数である正則化項を加えたコスト関数を決定するコスト関数決定ステップと、
前記コスト関数を用いて、前記量子化パラメータを更新する更新ステップと、
前記更新ステップを繰り返した結果、前記コスト関数により導出される関数値が所定の条件を満たした場合の前記量子化パラメータを、前記ニューラルネットワークにおける重みパラメータが量子化された量子化ニューラルネットワークの最適化された量子化パラメータとして決定する量子化パラメータ決定ステップと、を含み、
前記正則化項の関数値と、前記量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある、
量子化パラメータ最適化方法。

【請求項2】

前記精度は、前記量子化ニューラルネットワークの出力値が、正解を推論したか否かを示す場合の適合率、再現率、前記適合率及び前記再現率の調和平均により算出されるＦ値、並びに、正解率のうちの少なくとも一の組み合わせである、
請求項１に記載の量子化パラメータ最適化方法。

【請求項3】

さらに、
前記重みパラメータに複数の誤差を加えた重み誤差パラメータを与えた前記量子化ニューラルネットワークを用いて得た、テストデータに対する出力値それぞれの前記精度が所定の基準より高いまたは低いことを示すラベルを、当該出力値に対応する前記重み誤差パラメータに付与することにより、前記重み誤差パラメータと精度とのデータセットからなる学習データを作成する学習データ作成ステップと、
作成した前記学習データを用いて、ＳＶＭ（サポートベクターマシン）による学習を行い、前記重み誤差パラメータを前記所定の基準より高い前記精度の出力値に対応する重み誤差パラメータと前記所定の基準より低い前記精度の出力値に対応する重み誤差パラメータとに分離する面である分離境界面を得る学習ステップと、
前記学習ステップにおいて得た前記分離境界面に基づき、前記正則化項を決定する正則化項決定ステップと、を含む、
請求項１または２に記載の量子化パラメータ最適化方法。

【請求項4】

前記正則化項決定ステップでは、
前記分離境界面から、ｇ（ｘ）を導出し、導出した前記ｇ（ｘ）に基づいて、前記正則化項を決定し、
前記ＳＶＭによる学習として、線形２ ｃｌａｓｓ ＳＶＭによる学習を行うことで、前記分離境界面を得た場合、前記ｇ（ｘ）は、下記の（式１）で表される、
Ａ^Ｔｘ＋ｂ＝ｇ（ｘ）・・・（式１）
ここで、ｘはｎ次元ベクトルの量子化誤差であり、Ａはｎ次元ベクトルであり、ｂは定数である、
請求項３に記載の量子化パラメータ最適化方法。

【請求項5】

前記正則化項決定ステップでは、
前記分離境界面から、ｇ（ｘ）を導出し、導出した前記ｇ（ｘ）に基づいて、前記正則化項を決定し、
前記ＳＶＭによる学習として、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行うことで、前記分離境界面を得た場合、前記ｇ（ｘ）は、前記量子化パラメータをｗ^ｑ、前記
量子化誤差をｗ－ｗ^ｑとしたとき、下記の（式２）で表される、

【数1】

・・・（式２）
ここで、α_ｉは係数であり、Ｋはカーネル関数であり、

【数2】

はサポートベクタであり、ｂは定数である、
請求項３に記載の量子化パラメータ最適化方法。

【請求項6】

前記カーネル関数は、ガウシアンカーネルである、
請求項５に記載の量子化パラメータ最適化方法。

【請求項7】

前記カーネル関数は、シグモイドカーネルである、
請求項５に記載の量子化パラメータ最適化方法。

【請求項8】

前記カーネル関数は、多項式カーネルである、
請求項５に記載の量子化パラメータ最適化方法。

【請求項9】

前記正則化項決定ステップでは、
前記ｇ（ｘ）の関数であるｔａｎｈ（－ｇ（ｘ））に基づいて，前記正則化項を決定する、
請求項４～８のいずれか１項に記載の量子化パラメータ最適化方法。

【請求項10】

ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを決定する量子化パラメータ最適化装置であって、
前記ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数に、前記重みパラメータと前記量子化パラメータとの誤差である量子化誤差の関数である正則化項を加えたコスト関数を決定するコスト関数決定部と、
前記コスト関数を用いて、前記量子化パラメータを更新する更新部と、
前記更新部が前記量子化パラメータの更新を繰り返した結果、前記コスト関数により導出される関数値が所定の条件を満たした場合の前記量子化パラメータを、前記ニューラルネットワークにおける重みパラメータが量子化された量子化ニューラルネットワークの最適化された量子化パラメータとして決定する量子化パラメータ決定部と、を備え、
前記正則化項の関数値と、前記量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある、
量子化パラメータ最適化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置に関する。

【背景技術】

【0002】

入力されたデータに対する識別または分類を行う場合に、ニューラルネットワークで構成される推論モデルが用いられる。

【0003】

機械学習において、訓練データに対して学習させた推論モデルが、訓練データに対しては非常に精度の高い結果を出力する一方で、未知のデータに対しては精度の高くない結果を出力してしまうといった過学習の状況が起こりうる。

【0004】

過学習の状況は、例えば、訓練データに比べて相対的に推論モデルの方の複雑度合いが高い場合などに起こりうる。つまり、過学習は、訓練データに対して複数ある「正解」のモデルの中で、パラメータの設定が極端なモデルを推論モデルとして選んでしまうことによって発生し、未知のデータに対する精度が落ちてしまう現象である。

【0005】

このような過学習を防ぐための手段として、モデルの複雑度合いが増すことに対してペナルティを与える正則化という方法を利用することが知られている。

【0006】

ところで、推論モデルを実装する場合、演算量を低減するために、重みパラメータを量子化する。ただし、この場合、重みパラメータを量子化することによる誤差である量子化誤差も考慮した誤差関数を考える必要がある。例えば非特許文献１では、量子化誤差を正則化項として誤差関数に加えることが開示されている。非特許文献１によれば、誤差関数に量子化誤差を正則化項として加えたコスト関数を用いることにより、量子化誤差を減らす学習を実現することができる。

【先行技術文献】

【非特許文献】

【0007】

【文献】Kazutoshi Hirose, Ryota Uematsu, Kota Ando, Kodai Ueyoshi, Masayuki Ikebe, Tetsuya Asai, Masato Motomura, and Shinya Takamaeda-Yamazaki: Quantization Error-Based Regularization for Hardware-Aware Neural Network Training, IEICE Transactions on Nonlinear Theory and Its Applications, Vol.9, No.4, pp.453-465, October 2018.

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、非特許文献１に開示されるコスト関数を最小化する過程において、量子化誤差係数で表される学習係数の値によっては、正則化項→０となるときに、誤差関数→０とならないばかりか、むしろ誤差関数が増大してしまうという課題がある。

【0009】

本開示は、上述の事情を鑑みてなされたもので、過学習を防ぎながら量子化誤差を考慮して、量子化パラメータを最適化することができる量子化パラメータ最適化方法などを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本開示の一形態に係る量子化パラメータ最適化方法は、ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを最適化する量子化パラメータ最適化方法であって、前記ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数に、前記重みパラメータと前記量子化パラメータとの誤差である量子化誤差の関数である正則化項を加えたコスト関数を決定するコスト関数決定ステップと、前記コスト関数を用いて、前記量子化パラメータを更新する更新ステップと、前記更新ステップを繰り返した結果、前記コスト関数により導出される関数値が所定の条件を満たした場合の前記量子化パラメータを、前記ニューラルネットワークにおける重みパラメータが量子化された量子化ニューラルネットワークの最適化された量子化パラメータとして決定する量子化パラメータ決定ステップと、を含み、前記正則化項の関数値と、前記量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある。

【0011】

これにより、過学習を防ぎながら量子化誤差を考慮して、量子化パラメータを最適化することができる。

【0012】

ここで、例えば、前記精度は、前記量子化ニューラルネットワークの出力値が、正解を推論したか否かを示す場合の適合率、再現率、前記適合率及び前記再現率の調和平均により算出されるＦ値、並びに、正解率のうちの少なくとも一の組み合わせである。

【0013】

また、例えば、さらに、前記重みパラメータに複数の誤差を加えた重み誤差パラメータを与えた前記量子化ニューラルネットワークを用いて得た、テストデータに対する出力値それぞれの前記精度が所定の基準より高いまたは低いことを示すラベルを、当該出力値に対応する前記重み誤差パラメータに付与することにより、前記重み誤差パラメータと精度とのデータセットからなる学習データを作成する学習データ作成ステップと、作成した前記学習データを用いて、ＳＶＭ（サポートベクターマシン）による学習を行い、前記重み誤差パラメータを前記所定の基準より高い前記精度の出力値に対応する重み誤差パラメータと前記所定の基準より低い前記精度の出力値に対応する重み誤差パラメータとに分離する面である分離境界面を得る学習ステップと、前記学習ステップにおいて得た前記分離境界面に基づき、前記正則化項を決定する正則化項決定ステップと、を含むとしてもよい。

【0014】

ここで、例えば、前記正則化項決定ステップでは、前記分離境界面から、ｇ（ｘ）を導出し、導出した前記ｇ（ｘ）に基づいて、前記正則化項を決定し、前記ＳＶＭによる学習として、線形２ ｃｌａｓｓ ＳＶＭによる学習を行うことで、前記分離境界面を得た場合、前記ｇ（ｘ）は、Ａ^Ｔｘ＋ｂ＝ｇ（ｘ）で表される。ここで、ｘはｎ次元ベクトルの量子化誤差であり、Ａはｎ次元ベクトルであり、ｂは定数である。

【0015】

また、前記正則化項決定ステップでは、前記分離境界面から、ｇ（ｘ）を導出し、導出した前記ｇ（ｘ）に基づいて、前記正則化項を決定し、前記ＳＶＭによる学習として、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行うことで、前記分離境界面を得た場合、前記ｇ（ｘ）は、前記量子化パラメータをｗ^ｑ、前記量子化誤差をｗ－ｗ^ｑとしたとき、下記の（式）で表される。

【0016】

【数1】

【0017】

ここで、α_ｉは係数であり、Ｋはカーネル関数であり、

【数2】

はサポートベクタであり、ｂは定数である。

【0018】

また、例えば、前記カーネル関数は、ガウシアンカーネルであるとしてもよい。

【0019】

また、例えば、前記カーネル関数は、シグモイドカーネルであるとしてもよい。

【0020】

また、例えば、前記カーネル関数は、多項式カーネルであるとしてもよい。

【0021】

また、例えば、前記正則化項決定ステップでは、前記ｇ（ｘ）の関数であるｔａｎｈ（－ｇ（ｘ））に基づいて，前記正則化項を決定するとしてもよい。

【0022】

また、上記目的を達成するために、本開示の一形態に係る量子化パラメータ最適化装置は、ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを決定する量子化パラメータ最適化装置であって、前記ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数に、前記重みパラメータと前記量子化パラメータとの誤差である量子化誤差の関数である正則化項を加えたコスト関数を決定するコスト関数決定部と、前記コスト関数を用いて、前記量子化パラメータを更新する更新部と、前記更新部が前記量子化パラメータの更新を繰り返した結果、前記コスト関数により導出される関数値が所定の条件を満たした場合の前記量子化パラメータを、前記ニューラルネットワークにおける重みパラメータが量子化された量子化ニューラルネットワークの最適化された量子化パラメータとして決定する量子化パラメータ決定部と、を備え、前記正則化項の関数値と、前記量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある。

【0023】

なお、これらの全般的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0024】

本開示により、過学習を防ぎながら量子化誤差を考慮して、量子化パラメータを最適化することができる量子化パラメータ最適化方法などを提供できる。

【図面の簡単な説明】

【0025】

【図1】図１は、実施の形態に係る量子化パラメータ最適化装置が行う最適化処理の概要を説明するための図である。

【図2】図２は、実施の形態に係る量子化パラメータ最適化装置の機能構成を示すブロック図である。

【図3A】図３Ａは、量子化誤差係数に対するｌｏｓｓ及び量子化誤差の変化を示す図である。

【図3B】図３Ｂは、量子化誤差係数に対する再現率及び適合率の変化を示す図である。

【図4】図４は、再現率及び適合率を含む統計指標を説明するための図である。

【図5A】図５Ａは、実施の形態に係る精度と正則化項の関数値との関係を模式的に示す図である。

【図5B】図５Ｂは、実施の形態に係る量子化誤差と正則化項の関数値との関係を模式的に示す図である。

【図6】図６は、実施の形態に係る量子化パラメータ最適化装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。

【図7】図７は、実施の形態に係る量子化パラメータ最適化方法を示すフローチャートである。

【図8】図８は、実施の形態に係る正則化項決定部が行う決定処理の概要を説明するための図である。

【図9】図９は、実施の形態に係る正則化項決定部の機能構成を示すブロック図である。

【図10A】図１０Ａは、実施の形態に係る重みパラメータが２次元のときの、ラベル付けされた重み誤差パラメータの分布を模式的に示す図である。

【図10B】図１０Ｂは、図１０Ａに示す分布に対して線形２ｃｌａｓｓ ＳＶＭによる学習を行った結果を模式的に示す図である。

【図10C】図１０Ｃは、図１０Ａに示す分布に対して得られた分離境界面を模式的に示す図である。

【図11A】図１１Ａは、実施の形態に係る重み誤差パラメータを直線では２クラスに分離できない場合の例を模式的に示す図である。

【図11B】図１１Ｂは、図１１Ａに示す重み誤差パラメータを高次元に拡張することにより平面で２クラスに分離できる場合の例を模式的に示す図である。

【図12】図１２は、実施の形態に係る分離境界面から正則化項を導出する方法を説明するための図である。

【図13】図１３は、実施の形態に係る正則化項導出方法を示すフローチャートである。

【図14】図１４は、実施の形態に係る線形２ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の全体像を模式的に示す図である。

【図15】図１５は、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の全体像を模式的に示す図である。

【発明を実施するための形態】

【0026】

以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。

【0027】

（実施の形態）
まず、本実施の形態に係る量子化パラメータ最適化方法及び量子化パラメータ最適化装置について説明する。

【0028】

［１－１．量子化パラメータ最適化装置］
以下、本実施の形態に係る量子化パラメータ最適化装置の構成等について説明する。図１は、本実施の形態に係る量子化パラメータ最適化装置１０が行う最適化処理の概要を説明するための図である。

【0029】

量子化パラメータ最適化装置１０は、ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを最適化する装置である。ここで、重みパラメータは、例えば実数値または浮動小数点精度（ｆｌｏａｔとも称する）で数値表現され、量子化パラメータは、例えば固定小数点精度で数値表現される。最適化前の量子化ニューラルネットワーク５０ａと最適化後の量子化ニューラルネットワーク５０ｂは、重みパラメータが量子化された量子化パラメータを有するニューラルネットワークで構成される推論モデルである。最適化前の量子化ニューラルネットワーク５０ａは、最適化されていない量子化パラメータを有し、最適化後の量子化ニューラルネットワーク５０ｂは、最適化された量子化パラメータを有する。最適化前の量子化ニューラルネットワーク５０ａは、実数値または浮動小数点精度（ｆｌｏａｔ）の重みパラメータを持つニューラルネットワーク５０（不図示）の学習完了後に、重みパラメータが量子化された量子化パラメータを持つニューラルネットワーク５０である。

【0030】

より具体的には、図１に示すように、量子化パラメータ最適化装置１０は、正則化項Ψを取得し、取得した正則化項Ψを加えたコスト関数を用いて、最適化前の量子化ニューラルネットワーク５０ａの量子化パラメータを最適化する。そして、量子化パラメータ最適化装置１０は、最適化した量子化パラメータ（最適化後の量子化パラメータ）を記憶部１１に格納するともに、最適化前の量子化ニューラルネットワーク５０ａに最適化後の量子化パラメータを適用することで最適化後の量子化ニューラルネットワーク５０ｂを生成する。

【0031】

このように、量子化パラメータ最適化装置１０は、取得した正則化項Ψを加えたコスト関数を用いて量子化パラメータの更新を繰り返すことで、量子化パラメータを最適化する。

【0032】

なお、最適化前の量子化ニューラルネットワーク５０ａ及び最適化後の量子化ニューラルネットワーク５０ｂで扱われるすべてのテンソルは、量子化されていなくてもよく、少なくとも重みパラメータを示すテンソルが量子化されていればよい。テンソルとは、最適化前の量子化ニューラルネットワーク５０ａ及び最適化後の量子化ニューラルネットワーク５０ｂの各層における入力データ、出力データ及び重みなどのパラメータを含むｎ次元配列（ｎは０以上の整数）で表される値である。

【0033】

図２は、本実施の形態に係る量子化パラメータ最適化装置１０の機能構成を示すブロック図である。

【0034】

図２に示されるように、量子化パラメータ最適化装置１０は、コスト関数決定部１０１と、量子化パラメータ更新部１０２と、量子化パラメータ決定部１０３とを備える。なお、本実施の形態では、量子化パラメータ最適化装置１０は、後述する正則化項決定部２０をさらに備えてもよい。この場合、量子化パラメータ最適化装置１０は、正則化項決定部２０から、正則化項決定部２０が決定した正則化項Ψを取得すればよい。

【0035】

＜量子化パラメータ更新部１０２＞
量子化パラメータ更新部１０２は、更新部の一例であり、コスト関数決定部１０１で決定されたコスト関数を用いて、量子化パラメータを更新する。ここで、量子化パラメータは、上述したように、ニューラルネットワークにおける重みパラメータが量子化されたパラメータである。量子化パラメータ更新部１０２は、量子化パラメータの更新を繰り返し実行する。

【0036】

＜量子化パラメータ決定部１０３＞
量子化パラメータ決定部１０３は、量子化パラメータ更新部１０２が量子化パラメータの更新を繰り返した結果、コスト関数により導出される関数値が、所定の条件を満たした場合の量子化パラメータを、量子化ニューラルネットワークの最適化された量子化パラメータとして決定する。

【0037】

＜コスト関数決定部１０１＞
コスト関数決定部１０１は、取得した正則化項Ψを用いてコスト関数を決定する。より具体的には、ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数Ｅ（ｗ^ｑ）に、重みパラメータ（ｗ）と量子化パラメータ（ｗ^ｑ）との誤差である量子化誤差（ｗ－ｗ^ｑ）の関数である正則化項Ψを加えたコスト関数Ｌ（ｗ^ｑ）を決定する。

【0038】

ここで、正則化項Ψの関数値と、量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある。換言すると、正則化項Ψは、コスト関数に包含され、正則化項Ψ→０のときコスト関数→０となる関係を満たす。以下、正則化項Ψがこの関係を満たす必要があることについて説明する。

【0039】

機械学習では、代表的な学習アルゴリズムとして勾配法を用いる。勾配法は、関数の最適化手法の一つであり、関数の偏導関数（勾配）を用いて最適な点を割り出す方法である。例えば、下記の式（１）は、誤差関数Ｅの重みｗに対する偏微分に係数をかけて反復計算させるＭｏｍｅｎｔｕｍ ＳＧＤ（確率的勾配降下法）を示している。

【0040】

【数3】

【0041】

すなわち、式（１）において、反復ｔの重みｗにおける誤差関数Ｅから、反復ｔ+１の重みｗを求める。このような反復計算を行うことにより誤差関数Ｅを最小にする重みｗを求める。ここで、ηは学習係数であり、収束の速さを制御する。なお、αΔｗ^ｔは慣性成分に該当する。

【0042】

さらに、誤差関数Ｅにペナルティの性質をもたせ、重みｗが極端な値をとること（つまり過学習）を防ぐための正則化項を、誤差関数Ｅに加えて、新たな誤差関数すなわちコスト関数とする。例えば、下記の式（２）に示すように、ペナルティとして重みｗの二乗の総和を用いたＬ２正則化を正則化項として用いる。なお、式（２）において、Ｌ（ｗ）はコスト関数であり、Ｅ（ｗ）は誤差関数である。

【0043】

【数4】

【0044】

ここで、式（２）に示されるコスト関数Ｌ（ｗ）を偏微分すると、下記の式（３）が得られる。

【0045】

【数5】

【0046】

式（３）により、正則化項が重みｗに比例することから、式（２）に示すコスト関数を用いて最急降下法または確率的勾配降下法を行う場合、重みｗの大きさに比例した分だけ誤差が０に近づくことがわかる。このように、正則化項を用いると、コスト関数Ｌ（ｗ）において重みｗが大きく変わらない傾向があることから、過学習を防ぐことができる。

【0047】

一方、ニューラルネットワークで構成される推論モデルを実装する場合、演算量を低減するために、重みパラメータを量子化する場合がある。この場合、実数値等のｆｌｏａｔで表現される重みパラメータと、ｆｌｏａｔが量子化されて表現される量子化パラメータとの間の差である量子化誤差も考慮した誤差関数を考える必要がある。重みパラメータをもつニューラルネットワークで構成される推論モデルと比較すると、量子化誤差のために、量子化パラメータともつ量子化ニューラルネットワークで構成される推論モデルの推論結果の精度が低下するからである。

【0048】

例えば、上述した式（１）に量子化誤差の影響を反映すると、下記の式（４）のように表すことができる。

【0049】

【数6】

【0050】

つまり、量子化誤差の影響は、式（４）の括弧（）内のｅｒｒ項として現れる。そして、ｅｒｒ項は、式（４）の反復計算時の収束に影響を及ぼすことになる。この対策のために、学習係数ηを小さくしてｅｒｒ項の影響を小さくする場合、極小値に陥りやすくなってしまうという問題がある。

【0051】

そこで、例えば非特許文献１では、式（５）に示すように、誤差関数Ｅ（ｗ）に、量子化誤差を、Ｌ２ノルムの形で正則化項として加えたコスト関数Ｌ（ｗ）を用いることが開示されている。そして、このようなコスト関数Ｌ（ｗ）を用いることにより、量子化誤差を減らす学習を実現することができるとされている。式（５）において、Ｗ^ｑは、重みパラメータｗを量子化した量子化パラメータを示す。

【0052】

【数7】

【0053】

しかしながら、コスト関数Ｌ（ｗ）を最小化する過程において、量子化誤差係数で表される学習係数η_２の値によっては、正則化項→０となるときに、誤差関数→０とならないばかりか、誤差関数が増大する変化をしてしまう。これについて図３Ａ及び図３Ｂを用いて詳述する。

【0054】

図３Ａは、量子化誤差係数に対するｌｏｓｓ及び量子化誤差の変化を示す図である。図３Ｂは、量子化誤差係数に対する再現率及び適合率の変化を示す図である。図４は、再現率及び適合率を含む統計指標を説明するための図である。

【0055】

図３Ａでは、横軸は式（５）に示す量子化誤差係数で表される学習係数η_２の値を示し、左側縦軸は量子化誤差を示し、右側縦軸はｌｏｓｓすなわち式（５）に示す誤差関数Ｅ（ｗ）の値を示す。図３Ｂでは、横軸は式（５）に示す量子化誤差係数で表される学習係数η_２の値を示し、左側縦軸は再現率（Ｒｅｃａｌｌ）を示し、右側縦軸は適合率（Ｐｒｅｃｉｓｉｏｎ）を示す。また、図３Ａ及び図３Ｂに示される変化は、誤差関数に量子化誤差を正則化項として加えたコスト関数に対してシミュレーションを行うことで評価した。

【0056】

図４には、量子化ニューラルネットワークで構成される推論モデルが、「正解である」または「正解でない」を推論する場合のデータ数について示されている。すなわち、推論モデルが正解と推論したが、実際には正解ではないデータ数をＦＰ（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）個とし、推論モデルが正解と推論して、実際にも正解であるデータ数をＴＰ（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）個としている。同様に、推論モデルが正解でないと推論したが、実際には正解であるデータ数をＦＮ（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）個とし、推論モデルが正解でないと推論して、実際にも正解でないデータ数をＴＮ（Ｔｒｕｅ Ｎｅｇａｔｉｖｅ）個としている。

【0057】

ここで、適合率は、ＴＰ／（ＴＰ+ＦＰ）で表すことができる統計指標の一つであり、推論モデルが正解であると推論したデータ数のうち、実際に正解であるデータ数の割合を意味する。また、再現率は、ＴＰ／（ＴＰ+ＦＮ）で表すことができる統計指標の一つであり、実際に正解であるデータ数のうち、推論モデルが正解であると推論したデータ数の割合を意味する。

【0058】

図３Ａに示すように、量子化誤差は学習係数η_２の増加に伴い減少している。これにより、式（５）に示すコスト関数Ｌ（ｗ）の正則化項は有効であることがわかる。一方、ｌｏｓｓすなわち式（５）に示す誤差関数Ｅ（ｗ）の値は、学習係数η_２の増加がある値を超えると急激に増加している。これにより、式（５）に示すコスト関数Ｌ（ｗ）の正則化項における学習係数η_２の調整がさらに必要なのがわかる。

【0059】

また、図３Ｂに示すように、学習係数η_２の増加に対して、適合率及び再現率で示される精度はほぼ横ばいである。つまり、学習係数η_２が増加すると、適合率及び再現率が向上するといった相関はみられない。さらに、図３Ｂに示すように、学習係数η_２の増加がある値を超えると精度の劣化も見られる。

【0060】

このような精度の劣化は、図３Ａに示すｌｏｓｓすなわち式（５）に示す誤差関数Ｅ（ｗ）の値の急激な増加と関連すると考えられ、式（５）に示す正則化項が強すぎることで学習を阻害していると考えられる。

【0061】

より具体的には、式（５）に示す誤差関数Ｅ（ｗ）と正則化項との関係において、正則化項→０となるときに、常に、誤差関数→０とならないことに起因すると考えられる。

【0062】

そこで、本実施の形態では、コスト関数決定部１０１は、正則化項→０のとき、常に、コスト関数→０となる関係を満たす量子化誤差の関数を正則化項として用いたコスト関数を決定する。以下、これについて図５Ａ及び図５Ｂを用いて説明する。

【0063】

図５Ａは、実施の形態に係る精度と正則化項の関数値との関係を模式的に示す図である。図５Ｂは、実施の形態に係る量子化誤差と正則化項の関数値との関係を模式的に示す図である。

【0064】

コスト関数決定部１０１が決定するコスト関数Ｌ（ｗ）は、例えば、下記の式（６）のように表すことができる。式（６）において、η_２は学習係数を示し、Ψ（ｗ－ｗ^ｑ）は量子化誤差の関数を示す。

【0065】

【数8】

【0066】

【数9】

【0067】

ここで、量子化誤差の関数の関数値が、上記の式（７）の関係を満たすとき、（ｗ^ｑ２時の精度）＞（ｗ^ｑ１時の精度）を満たす。すなわち、式（７）の関係を満たすとき、量子化パラメータｗ^ｑ２に対応する量子化ニューラルネットワーク（を構成する推論モデル）の出力値の精度は、量子化パラメータｗ^ｑ１に対応する量子化ニューラルネットワーク（を構成する推論モデル）の出力値の精度よりもよいという関係を満たす。つまり、図５Ａには、式（６）で示される量子化誤差の関数Ψ（ｗ－ｗ^ｑ）の関数値が小さいほど、コスト関数Ｌ（ｗ）の関数値が小さい、すなわち精度がよいという関係が模式的に示されている。これは、正則化項→０のときコスト関数→０となる関係を満たすことを意味する。

【0068】

また、図５Ｂには、量子化誤差の関数Ψ（ｗ－ｗ^ｑ）は、単調増加または単調減少の関数ではないことが示されている。このように単調な関数でなくても図５Ａに示される負の相関がある量子化誤差の関数Ψ（ｗ－ｗ^ｑ）で表される正則化項を用いることで、正則化項→０のときコスト関数→０とできることがわかる。なお、正則化項の具体的な決定方法については後述する。

【0069】

また、精度は、量子化ニューラルネットワークの出力値が、正解を推論したか否かを示す場合の適合率及び再現率に限らず、適合率、再現率、適合率及び前記再現率の調和平均により算出されるＦ値、並びに、正解率のうちの少なくとも一の組み合わせであればよい。

【0070】

ここで、量子化ニューラルネットワークが正解と推論した複数の出力値を第１データ群とすると、第１データ群は図４に示すＴＰ＋ＦＰで表すことができる。また、量子化ニューラルネットワークが正解でないと推論した複数の出力値を第２データ群とすると、第２データ群は図４に示すＦＮ＋ＴＮで表すことができる。また、量子化ニューラルネットワークが推論した全出力値において実際に正解である複数の出力値を第３データ群とすると、第３データ群は図４に示すＴＰ＋ＦＮで表すことができる。また、量子化ニューラルネットワークが正解でない推論した複数の出力値を第４データ群としたとすると、第４データ群は図４に示すＦＰ＋ＴＮで表すことができる。この場合、適合率は、第１データ群（ＴＰ＋ＦＰ）のうち、実際に正解である複数の出力値である第５データ群（ＴＰ）の割合であり、再現率は、第３データ群（ＴＰ＋ＦＮ）のうち、第５データ群（ＴＰ）の割合である。また、正解率は、全出力値（ＴＰ＋ＦＰ＋ＦＮ＋ＴＮ）のうち、量子化ニューラルネットワークが推論した出力値と実際の出力値とが一致した第６データ群（ＴＰ＋ＴＮ）の割合である。

【0071】

以上のような構成により、量子化パラメータ最適化装置１０は、過学習を防ぎながら量子化誤差を考慮して量子化パラメータを最適化することができる。

【0072】

［１－２．ハードウェア構成］
次に、本実施の形態に係る量子化パラメータ最適化装置１０のハードウェア構成について、図６を用いて説明する。図６は、本実施の形態に係る量子化パラメータ最適化装置１０の機能をソフトウェアにより実現するコンピュータ１０００のハードウェア構成の一例を示す図である。

【0073】

コンピュータ１０００は、図６に示すように、入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７、送受信装置１００８及びバス１００９を備えるコンピュータである。入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。

【0074】

入力装置１００１は入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。

【0075】

内蔵ストレージ１００４は、フラッシュメモリなどである。また、内蔵ストレージ１００４は、量子化パラメータ最適化装置１０の機能を実現するためのプログラム、及び、量子化パラメータ最適化装置１０の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。

【0076】

ＲＡＭ１００５は、ランダムアクセスメモリ（Random Access Memory）であり、プログラム又はアプリケーションの実行に際してデータ等の記憶に利用される。

【0077】

読取装置１００７は、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る。読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラムやアプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。

【0078】

送受信装置１００８は、無線又は有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラムやアプリケーションをダウンロードして内蔵ストレージ１００４に記憶させる。

【0079】

ＣＰＵ１００３は、中央演算処理装置（Central Processing Unit）であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションをＲＡＭ１００５にコピーし、そのプログラムやアプリケーションに含まれる命令をＲＡＭ１００５から順次読み出して実行する。

【0080】

［１－３．量子化パラメータ最適化方法］
次に、本実施の形態に係る量子化パラメータ最適化方法について、図７を用いて説明する。図７は、本実施の形態に係る量子化パラメータ最適化方法を示すフローチャートである。

【0081】

図７に示されるように、量子化パラメータ最適化方法では、まず、量子化ニューラルネットワークのコスト関数を決定する（Ｓ１００）。本実施の形態では、量子化パラメータ最適化装置１０は、量子化ニューラルネットワーク（で構成される推論モデル）の出力値と期待される正解値との誤差を求める関数である誤差関数に、量子化誤差の関数である正則化項を加えたコスト関数を決定する。

【0082】

続いて、量子化パラメータ最適化装置１０は、ステップＳ１００で決定されたコスト関数を用いて量子化パラメータを更新する（Ｓ１０１）。本実施の形態では、量子化パラメータ最適化装置１０は、量子化パラメータの更新を繰り返し実行する。

【0083】

続いて、量子化パラメータ最適化装置１０は、ステップＳ１０１の結果から、量子化パラメータを決定する（Ｓ１０２）。本実施の形態では、量子化パラメータ最適化装置１０は、ステップＳ１０１を繰り返した結果、コスト関数により導出される関数値が、所定の条件を満たした場合の量子化パラメータを、量子化ニューラルネットワークの最適化された量子化パラメータとして決定する。

【0084】

以上のように、本実施の形態に係る量子化パラメータ最適化方法によれば、過学習を防ぎながら量子化誤差を考慮して量子化パラメータを最適化することができる。

【0085】

次に、量子化パラメータ最適化装置１０がコスト関数を決定するために用いる正則化項の決定方法について説明する。以下では、正則化項決定部により正則化項が決定されるとして説明する。

【0086】

［１－４．正則化項決定部］
図８は、本実施の形態に係る正則化項決定部２０が行う決定処理の概要を説明するための図である。

【0087】

正則化項決定部２０は、本実施の形態に係る正則化項を決定する装置である。本実施の形態では、正則化項決定部２０は、決定した正則化項を記憶部２１に記憶する。正則化項決定部２０は、決定した正則化項を量子化パラメータ最適化装置１０に出力してもよい。

【0088】

より具体的には、正則化項決定部２０は、テストデータ６０と、重み誤差パラメータを与えた最適化前の量子化ニューラルネットワーク５０ａとを用いて、量子化誤差と最適化前の量子化ニューラルネットワーク５０ａの精度とのデータセットからなる学習データを作成する。ここで、重み誤差パラメータは、量子化パラメータ候補として、重みパラメータにランダムに複数の誤差を与えたものである。そして、正則化項決定部２０は、作成した学習データを用いて、ＳＶＭ（サポートベクターマシン）による学習を行うことで得た分離境界面に基づき、正則化項を決定する。なお、ＳＶＭとは、２クラスに分類されたデータを、明確に２クラスに分離する境界（境界線または境界面）を決定するための方法である。ＳＶＭは、境界から最も近いベクトル（サポートベクトル）との距離を表すマージンを最大化するという方法で、上記の境界を決定する。

【0089】

図９は、本実施の形態に係る正則化項決定部２０の機能構成を示すブロック図である。

【0090】

図９に示されるように、正則化項決定部２０は、学習データ作成部２０１と、学習実行部２０２と、正則化項導出部２０３とを備える。

【0091】

＜学習データ作成部２０１＞
学習データ作成部２０１は、重みパラメータに複数の誤差を加えた重み誤差パラメータを与えた量子化ニューラルネットワークを用いて得た、テストデータに対する出力値それぞれの精度が所定の基準より高いまたは低いことを示すラベルを、当該出力値に対応する当該重み誤差パラメータに付与する。このようにして、学習データ作成部２０１は、重み誤差パラメータと精度とのデータセットからなる学習データを作成する。

【0092】

本実施の形態では、まず、学習データ作成部２０１は、重みパラメータにランダムに求めた複数の誤差を加えた重み誤差パラメータを与えた最適化前の量子化ニューラルネットワーク５０ａを用いて、テストデータ６０に対する出力値を得る。次に、学習データ作成部２０１は、得た出力値それぞれの精度が、所定の基準より高いまたは低いことを示すラベルを、当該出力値に対応する重み誤差パラメータに付与することで、重み誤差パラメータと精度とのデータセットからなる学習データを作成し、記憶部２１に記憶する。ここで、所定の基準は、例えば、実数値または浮動小数点精度（ｆｌｏａｔ）で表現される重みパラメータを与えた最適化前の量子化ニューラルネットワーク５０ａを用いてテストデータ６０に対する出力値を得たときの当該出力値の精度である。

【0093】

また、学習データ作成部２０１は、得た出力値それぞれの精度を、所定の基準より高いか低いかの２つに分類して、分類した結果を示すラベルを当該出力値に対応する重み誤差パラメータに付与する。なお、重み誤差パラメータは、量子化誤差に対応するものである。これにより、学習データ作成部２０１は、量子化誤差と精度との相関関係を示すデータセットからなる学習データを作成することができる。

【0094】

＜学習実行部２０２＞
学習実行部２０２は、学習データ作成部２０１が作成した学習データを用いて、ＳＶＭによる学習を行う。この結果、学習実行部２０２は、重み誤差パラメータを所定の基準より高い精度の出力値に対応する重み誤差パラメータと、所定の基準より低い精度の出力値に対応する重み誤差パラメータとに分離する面である分離境界面を得る。ＳＶＭによる学習としては、例えば線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習がある。

【0095】

なお、線形２ｃｌａｓｓ ＳＶＭによる学習は、線形ＳＶＭとも称され、２つのクラスのサポートベクタを基準として、それらのユークリッド距離が最大化（マージン最大化）するように、分離境界面を学習することである。これにより、２つのクラスを完全に分離できる分離境界面を得ることができる。一方、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習は、教師データ（正常データ）として１つのクラス分を学習させることである。この結果、教師データ（正常データ）と、教師データ（正常データ）から外れた値となる外れデータとの分離境界面を得ることである。

【0096】

本実施の形態では、学習実行部２０２は、学習データ作成部２０１が作成した学習データを用い、機械学習としてＳＶＭによる学習を行う。より具体的には、学習実行部２０２は、学習データに含まれる、２クラスのいずれかに分類されたことを示すラベルが付された重み誤差パラメータを、２クラスにクリアに分類する分離境界面を求める。換言すると、学習実行部２０２は、所定の基準より低い精度の出力値に対応する量子化誤差悪化グループと、所定の基準より高い精度の出力値に対応する量子化誤差良化グループとを最もクリアに分類する分離境界面を求める。

【0097】

ここで、線形２ｃｌａｓｓ ＳＶＭによる学習を行い、分離境界面を得る場合の例について、図１０Ａ～図１０Ｃを用いて説明する。なお、以下では、重み誤差パラメータは２次元であるとして説明する。

【0098】

図１０Ａは、本実施の形態に係る重みパラメータが２次元のときの、ラベル付けされた重み誤差パラメータの分布を模式的に示す図である。図１０Ｂは、図１０Ａに示す分布に対して線形２ｃｌａｓｓ ＳＶＭによる学習を行った結果を模式的に示す図である。図１０Ｃは、図１０Ａに示す分布に対して得られた分離境界面を模式的に示す図である。

【0099】

図１０Ａには、精度が所定の基準以上の（出力値に対応する）重み誤差パラメータと、精度が所定の基準より劣化している（出力値に対応する）重み誤差パラメータとが示されている。学習実行部２０２は、図１０Ａに示される重み誤差パラメータに対して、線形２ｃｌａｓｓ ＳＶＭによる学習を行い、精度が所定の基準以上の重み誤差パラメータと、精度が所定の基準より劣化している重み誤差パラメータとをクリアに分離することができる境界を求める。この結果、学習実行部２０２は、例えば図１０Ｂに示すようなベストすなわちマージン最大となる境界を求めることができる。そして、学習実行部２０２は、図１０Ｂに示す境界を、例えば図１０Ｃに示すように、ｇ（ｘ）＝０で表される分離境界面として得ることができる。

【0100】

なお、重み誤差パラメータが２次元であり、分離境界面として直線で２つのグループに分類できる場合について説明したが、直線で分離できないケースもある。

【0101】

図１１Ａは、本実施の形態に係る重み誤差パラメータを直線では２クラスに分離できない場合の例を模式的に示す図である。図１１Ｂは、図１１Ａに示す重み誤差パラメータを高次元に拡張することにより平面で２クラスに分離できる場合の例を模式的に示す図である。

【0102】

つまり、例えば、重み誤差パラメータが図１１Ａに示すような分布を示す場合、どのような直線を用いても、精度が所定の基準以上の重み誤差パラメータと、精度が所定の基準より劣化している重み誤差パラメータとをクリアに分離できない。このような場合、重み誤差パラメータを例えば３次元など、より高次元に拡張すれば、平面で分離できる。このように、重み誤差パラメータを高次元へと拡張した場合、直線を用いて分離可能（線形分離可能）な場合と同様に、境界（境界面）との距離を考えることができる。

【0103】

そして、このような場合、線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行うことで、ｇ（ｘ）＝０で表される分離境界面を得ることができる。

【0104】

以上から、学習実行部２０２は、ＳＶＭによる学習を行うことで分離境界面を得ることができる。つまり、学習実行部２０２は、ＳＶＭによる学習として、線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行い、ｇ（ｘ）＝０で表される分離境界面を得ることができる。

【0105】

＜正則化項導出部２０３＞
正則化項導出部２０３は、学習実行部２０２により得た、ｇ（ｘ）＝０で表される分離境界面から、関数であるｇ（ｘ）を導出し、導出したｇ（ｘ）に基づいて、正則化項Ψを決定する。

【0106】

本実施の形態では、正則化項導出部２０３は、導出したｇ（ｘ）の極性を逆にした「－ｇ（ｘ）」を正則化項Ψとして決定してもよいし、単調増加かつ値域が（－１、１）となるｔａｎｈを用いて、ｇ（ｘ）の関数であるｔａｎｈ（－ｇ（ｘ））を正則化項Ψとして決定してもよい。

【0107】

例えば、正則化項導出部２０３は、ＳＶＭによる学習として、線形２ｃｌａｓｓ ＳＶＭによる学習を行うことで分離境界面を得た場合、下記の（式８）で表されるｇ（ｘ）を導出する。

【0108】

Ａ^Ｔｘ＋ｂ＝ｇ（ｘ）・・・（式８）

【0109】

ここで、ｘはｎ次元ベクトルの量子化誤差であり、Ａはｎ次元ベクトルであり、ｂは定数である。

【0110】

図１２は、本実施の形態に係る分離境界面から正則化項を導出する方法を説明するための図である。図１２には、図１０Ｃで示される重み誤差パラメータの分布に対応する量子化誤差の分布における分離境界面を表すｇ（ｘ）＝０が示されている。ここで、式（８）で示されるｇ（ｘ）は、ｘと分離境界面（ｇ（ｘ）＝０）との距離に比例する値を示す関数である。式（８）において、Ａは、ｎ次元ベクトルであり、分離境界面に対して法線方向を表す。図１２に示す分離境界面を表すｇ（ｘ）＝０から、式（８）におけるＡとｂとを求めることができる。つまり、分離境界面を表すｇ（ｘ）＝０から、式（８）で表されるｇ（ｘ）を導出することができる。

【0111】

例えば図１２に示す量子化誤差の分布のように、ｇ（ｘ）＞０の領域では、精度が良くなるとすると、ｇ（ｘ）の関数値が大きくなれば、精度も良くなるという傾向があるのがわかる。この場合、導出したｇ（ｘ）の極性を逆にした－ｇ（ｘ）を正則化項として決定すれば、決定した正則化項は量子化誤差の関数で表すことができ、かつ、精度と負の相関をもつことになる。

【0112】

したがって、本実施の形態では、正則化項導出部２０３は、導出したｇ（ｘ）の極性を逆にした－ｇ（ｘ）を正則化項Ψとして決定してもよいことがわかる。また、正則化項導出部２０３は、ｔａｎｈ（－ｇ（ｘ））を正則化項Ψとしてもよい。ｔａｎｈを用いると、－ｇ（ｘ）の関数値を単調増加でかつ（－１、１）の範囲にさせることができるので、コスト関数の演算が行いやすくなるという利点がある。

【0113】

また、量子化誤差の分布を直線で分離（線形分離）できない場合、量子化誤差の分布を高次元へと拡張することで、平面（超平面）で分離することができる。このような場合、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行い、ｇ（ｘ）＝０で表される分離境界面を得る場合、分離境界面を下記の（式９）の左辺が０である場合の形で表すことができるので、ｇ（ｘ）を導出することができる。

【0114】

したがって、正則化項導出部２０３は、ＳＶＭによる学習として、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行うことで、分離境界面を得た場合、下記の（式９）で表されるｇ（ｘ）を導出することができる。量子化誤差の分布を高次元へ拡張しない場合でも、ＳＶＭによる学習として、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行ってもよいのはいうまでもない。

【0115】

【数10】

【0116】

ここで、α_ｉは係数であり、Ｋはカーネル関数であり、

【数11】

はサポートベクタであり、ｂは定数である。

【0117】

また、カーネル関数は、例えば、式（１０）で表されるガウシアンカーネルでもよい。

【0118】

【数12】

【0119】

なお、ＳＶＭのアルゴリズムでは、特徴空間でのデータがすべて内積として現れる。このため、カーネル関数を用いることで、特徴空間にデータを写像したときの具体的な関数の形がわからなくても内積が計算できる。さらに、高次元の特徴空間で内積を計算する必要がなく、入力空間でカーネル関数を計算すればよいので、計算量とメモリを大幅に削減できるメリットがある。

【0120】

つまり、カーネル関数を用いた形でｇ（ｘ）を導出することで、ｇ（ｘ）に基づき決定された正則化項を用いたコスト関数の関数値の計算する計算量とメモリを大幅に削減できる。

【0121】

なお、カーネル関数は、式（１０）で表されるガウシアンカーネルである場合に限らない。例えば、下記の式（１１）で表されるシグモイドカーネルまたは下記の式（１２）で表される多項式カーネルを用いてもよい。式（１２）においてｐは次数を示す。

【0122】

【数13】

【0123】

【数14】

【0124】

このようにして、正則化項導出部２０３は、導出したｇ（ｘ）の極性を逆にした－ｇ（ｘ）またはｔａｎｈを用いたｔａｎｈ（－ｇ（ｘ））を正則化項Ψとして決定することができる。そして、正則化項導出部２０３は、決定した正則化項Ψを記憶部２１に記憶させるとともに、量子化パラメータ最適化装置１０に出力することができる。

【0125】

［１－５．正則化項導出方法］
次に、本実施の形態に係る正則化項導出方法について図１３を用いて説明する。図１３は、本実施の形態に係る正則化項導出方法を示すフローチャートである。

【0126】

図１３に示されるように、正則化項導出方法では、まず、学習データを作成する（Ｓ９１）。本実施の形態では、正則化項決定部２０は、実数値または浮動小数点精度（ｆｌｏａｔ）の重みにランダムな誤差を加えた重み誤差を与えた最適化前の量子化ニューラルネットワーク５０ａを用いて得た、テストデータ６０に対する出力値を得る。正則化項決定部２０は、得た出力値それぞれの精度が所定の基準より高いか低いかの２クラスに分類するすラベルを、当該出力値に対応する重み誤差に付与する。このようにして正則化項決定部２０は、重み誤差と精度とのデータセットからなる学習データを作成する。なお、重み誤差は、元の重みを差分することで、量子化誤差となるため、量子化誤差と精度とのデータセットからなる学習データを作成することと同じ意味となる。

【0127】

続いて、正則化項決定部２０は、ステップＳ９１で作成した学習データを用いて、ＳＶＭによる学習を実行する（Ｓ９２）。本実施の形態では、正則化項決定部２０は、ステップＳ９１で作成した学習データを用いて、線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を実行する。これにより、正則化項決定部２０は、ｇ（ｘ）＝０で表される分離境界面を得る。

【0128】

続いて、正則化項決定部２０は、ステップＳ９２において得たｇ（ｘ）＝０で表される分離境界面に基づき、正則化項を決定する（Ｓ９３）。本実施の形態では、正則化項決定部２０は、ｇ（ｘ）＝０で表される分離境界面から、ｇ（ｘ）を導出する。そして、正則化項決定部２０は、導出したｇ（ｘ）に基づき、－ｇ（ｘ）またはｔａｎｈ（－ｇ（ｘ））を正則化項として決定する。

【0129】

以上のように、本実施の形態に係る正則化項導出方法によれば、正則化項Ψの関数値と、量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関があるような正則化項Ψを導出することができる。

【0130】

［１－６．効果等］
以上のように、本実施の形態によれば、正則化項Ψの関数値と、量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関があるような正則化項Ψを導出することができる。これにより、導出した正則化項Ψを誤差関数に加えたコスト関数を決定することができる。

【0131】

さらに、本実施の形態によれば、このようなコスト関数を用いることで、過学習を防ぎながら量子化誤差を考慮して量子化パラメータを最適化することができる。

【0132】

ここで、線形２ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の概要と非線形ｏｎｅ ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の概要について説明する。

【0133】

図１４は、実施の形態に係る線形２ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の全体像を模式的に示す図である。図１５は、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の全体像を模式的に示す図である。図１４及び図１５において、重み誤差パターン＃１等は、上記の実施の形態における重み誤差パラメータに該当する。ラベル＃１等はそれぞれ、ラベルが付された重み誤差パターンであり、上記の実施の形態における重み誤差パラメータと精度とのデータセットからなる学習データに該当する。図１４及び図１５の違いは、ＳＶＭによる学習として、線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を用いる点であり、これにより、導出されるｇ（ｘ）の形は異なる。

【0134】

ここで、ＳＶＭのアルゴリズムでは、特徴空間でのデータがすべて内積として現れる。

【0135】

図１４に示されるｇ（ｘ）は、線形２ｃｌａｓｓ ＳＶＭによる学習により得られるので、ｇ（ｘ）が単純な内積として現れる。このため、ｔａｎｈ（－ｇ（ｘ）を正則化項として用いることで、コスト関数の関数値（ｌｏｓｓ）を容易に計算できる。

【0136】

一方、図１５に示されるｇ（ｘ）は、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習により、カーネル関数を用いて表される形で得られる。なお、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭでは、学習データのうち正常データとなるすべての教師データをクラスタ１とし、原点のみをクラスタ－１に属するようにカーネルトリックといわれる手法を用いて、高次元空間の特徴空間へ教師データを写像する。このとき、教師データは原点から遠くに配置されるように写像されるため、教師データに類似していない学習データは原点の近くに集まるようになる。したがって、線形２ｃｌａｓｓ ＳＶＭを用いる場合と比較すると、分離性能は高いと言える。

【0137】

図１５に示されるｇ（ｘ）は、カーネル関数を用いて表されることで、具体的な関数の形がわからなくても内積が計算できる。これにより、複雑なコスト関数の関数値（ｌｏｓｓ）を演算できる。

【0138】

（その他の実施の形態）
以上、本開示に係る量子化パラメータ最適化方法などについて、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

【0139】

また、以下に示す形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。

【0140】

（１）上記の量子化パラメータ最適化装置を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

【0141】

（２）上記の量子化パラメータ最適化装置を構成する構成要素の一部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

【0142】

（３）上記の量子化パラメータ最適化装置を構成する構成要素の一部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

【0143】

（４）また、上記の量子化パラメータ最適化装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

【0144】

また、上記の量子化パラメータ最適化装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

【0145】

（５）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

【0146】

（６）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

【0147】

（７）また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

【0148】

（８）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

【産業上の利用可能性】

【0149】

本開示は、ニューラルネットワークのコンピュータなどへの実装方法として、画像処理方法、音声認識方法または物体制御方法などに利用できる。

【符号の説明】

【0150】

１０ 量子化パラメータ最適化装置
１１、２１ 記憶部
２０ 正則化項決定部
５０ａ 最適化前の量子化ニューラルネットワーク
５０ｂ 最適化後の量子化ニューラルネットワーク
６０ テストデータ
１０１ コスト関数決定部
１０２ 量子化パラメータ更新部
１０３ 量子化パラメータ決定部
２０１ 学習データ作成部
２０２ 学習実行部
２０３ 正則化項導出部
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ 内蔵ストレージ
１００５ ＲＡＭ
１００７ 読取装置
１００８ 送受信装置
１００９ バス

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15】