特許 7512914 ニューラルネットワーク量子化方法、装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-01

(45)【発行日】2024-07-09

(54)【発明の名称】ニューラルネットワーク量子化方法、装置及びプログラム

(51)【国際特許分類】

   G06N 3/0495 20230101AFI20240702BHJP

   G06N 3/02 20060101ALI20240702BHJP

   G06N 10/00 20220101ALI20240702BHJP

【ＦＩ】

G06N3/0495

G06N3/02

G06N10/00

【請求項の数】 21

(21)【出願番号】P 2021009978

(22)【出願日】2021-01-26

(65)【公開番号】P2022113945

(43)【公開日】2022-08-05

【審査請求日】2023-04-10

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(74)【代理人】

【識別番号】230121430

【弁護士】

【氏名又は名称】安井 友章

(72)【発明者】

【氏名】森 政文

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０２０－１１３２７３（ＪＰ，Ａ）

【文献】国際公開第２０２０／２４８４２４（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１０９２９８３８（ＣＮ，Ａ）

【文献】特開２０１９－０３２８３３（ＪＰ，Ａ）

【文献】国際公開第２０２０／０６５８７４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４９５

Ｇ０６Ｎ ３／０２

Ｇ０６Ｎ １０／００

(57)【特許請求の範囲】

【請求項1】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得ステップと、
前記統計情報に基づいて、前記量子化対象レイヤの重み又は特徴量の分布範囲から前記参照レイヤにおいて無効となる領域の少なくとも一部分を除外するように、前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定ステップと、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化ステップと、
を具備するニューラルネットワーク量子化方法。

【請求項2】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得ステップと、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定ステップと、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化ステップと、
を具備し、
前記参照レイヤは、前記量子化対象レイヤの後段のレイヤであり、
前記統計情報は、前記参照レイヤの特徴量の分布範囲を示す情報であり、
前記量子化範囲決定ステップは、前記参照レイヤの特徴量の分布範囲外の少なくとも一部を除外するように前記量子化対象レイヤの特徴量の前記量子化範囲を決定する、
ニューラルネットワーク量子化方法。

【請求項3】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得ステップと、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定ステップと、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化ステップと、
を具備し、
前記参照レイヤは、前記量子化対象レイヤの後段の活性化関数を適用する活性化レイヤであり、
前記統計情報は、前記活性化レイヤの活性化関数の飽和領域を示す情報であり、
前記量子化範囲決定ステップは、前記活性化レイヤの活性化関数の飽和領域を除外するように前記量子化対象レイヤの特徴量の前記量子化範囲を決定する、
ニューラルネットワーク量子化方法。

【請求項4】

前記活性化関数は、非飽和領域が線形関数から形成されている、
請求項３に記載のニューラルネットワーク量子化方法。

【請求項5】

前記活性化関数は、非飽和領域が非線形関数から形成されている、
請求項３に記載のニューラルネットワーク量子化方法。

【請求項6】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得ステップと、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定ステップと、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化ステップと、
を具備し、
前記参照レイヤは、前記量子化対象レイヤの後段のレイヤであり、
前記統計情報は、前記参照レイヤの指標であり、
前記量子化範囲決定ステップは、前記指標を最適化するように前記量子化範囲自体を順次変化させて前記量子化範囲を更新していくことで前記量子化範囲を決定する、
ニューラルネットワーク量子化方法。

【請求項7】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得ステップと、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定ステップと、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化ステップと、
を具備し、
前記参照レイヤは、前記量子化対象レイヤの後段のレイヤであり、
前記統計情報は、前記参照レイヤの指標であり、
前記量子化範囲決定ステップは、前記指標を最適化するように前記量子化範囲を決定し、
前記量子化ステップは、さらに前記量子化範囲をクリッピングの閾値としてクリッピング処理を行い、
前記指標は、量子化又はクリッピング処理により発生する演算誤差である、
ニューラルネットワーク量子化方法。

【請求項8】

前記参照レイヤは、最終出力レイヤであり、
前記指標は、前記最終出力レイヤの認識精度である、
請求項６に記載のニューラルネットワーク量子化方法。

【請求項9】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得部（２１）と、
前記統計情報に基づいて、前記量子化対象レイヤの重み又は特徴量の分布範囲から前記参照レイヤにおいて無効となる領域の少なくとも一部分を除外するように、前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定部（２２）と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化部（２３）と、
を具備するニューラルネットワーク量子化装置。

【請求項10】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得部と、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定部と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化部と、
を具備し、
前記参照レイヤは、前記量子化対象レイヤの後段のレイヤであり、
前記統計情報は、前記参照レイヤの特徴量の分布範囲を示す情報であり、
前記量子化範囲決定部は、前記参照レイヤの特徴量の分布範囲外の少なくとも一部を除外するように前記量子化対象レイヤの特徴量の前記量子化範囲を決定する、
ニューラルネットワーク量子化装置。

【請求項11】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得部と、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定部と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化部と、
を具備し、
前記参照レイヤは、前記量子化対象レイヤの後段の活性化関数を適用する活性化レイヤであり、
前記統計情報は、前記活性化レイヤの活性化関数の飽和領域を示す情報であり、
前記量子化範囲決定部は、前記活性化レイヤの活性化関数の飽和領域を除外するように前記量子化対象レイヤの特徴量の前記量子化範囲を決定する、
ニューラルネットワーク量子化装置。

【請求項12】

前記活性化関数は、非飽和領域が線形関数から形成されている、
請求項１１に記載のニューラルネットワーク量子化装置。

【請求項13】

前記活性化関数は、非飽和領域が非線形関数から形成されている、
請求項１１に記載のニューラルネットワーク量子化装置。

【請求項14】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得部と、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定部と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化部と、
を具備し、
前記参照レイヤは、前記量子化対象レイヤの後段のレイヤであり、
前記統計情報は、前記参照レイヤの指標であり、
前記量子化範囲決定部は、前記指標を最適化するように前記量子化範囲自体を順次変化させて前記量子化範囲を更新していくことで前記量子化範囲を決定する、
ニューラルネットワーク量子化装置。

【請求項15】

量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得部と、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定部と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化部と、
を具備し、
前記参照レイヤは、前記量子化対象レイヤの後段のレイヤであり、
前記統計情報は、前記参照レイヤの指標であり、
前記量子化範囲決定部は、前記指標を最適化するように前記量子化範囲を決定し、
前記量子化部は、さらに前記量子化範囲をクリッピングの閾値としてクリッピング処理を行い、
前記指標は、量子化又はクリッピング処理により発生する演算誤差である、
ニューラルネットワーク量子化装置。

【請求項16】

前記参照レイヤは、最終出力レイヤであり、
前記指標は、前記最終出力レイヤの認識精度である、
請求項１４に記載のニューラルネットワーク量子化装置。

【請求項17】

コンピュータに、
量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得機能と、
前記統計情報に基づいて、前記量子化対象レイヤの重み又は特徴量の分布範囲から前記参照レイヤにおいて無効となる領域の少なくとも一部分を除外するように、前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定機能と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化機能と、
を実現させるニューラルネットワーク量子化プログラム。

【請求項18】

コンピュータに、
量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得機能と、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定機能と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化機能と、
を実現させ、
前記参照レイヤは、前記量子化対象レイヤの後段のレイヤであり、
前記統計情報は、前記参照レイヤの特徴量の分布範囲を示す情報であり、
前記量子化範囲決定機能は、前記参照レイヤの特徴量の分布範囲外の少なくとも一部を除外するように前記量子化対象レイヤの特徴量の前記量子化範囲を決定する、
ニューラルネットワーク量子化プログラム。

【請求項19】

コンピュータに、
量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得機能と、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定機能と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化機能と、
を実現させ、
前記参照レイヤは、前記量子化対象レイヤの後段の活性化関数を適用する活性化レイヤであり、
前記統計情報は、前記活性化レイヤの活性化関数の飽和領域を示す情報であり、
前記量子化範囲決定機能は、前記活性化レイヤの活性化関数の飽和領域を除外するように前記量子化対象レイヤの特徴量の前記量子化範囲を決定する、
ニューラルネットワーク量子化プログラム。

【請求項20】

コンピュータに、
量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得機能と、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定機能と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化機能と、
を実現させ、
前記参照レイヤは、前記量子化対象レイヤの後段のレイヤであり、
前記統計情報は、前記参照レイヤの指標であり、
前記量子化範囲決定機能は、前記指標を最適化するように前記量子化範囲自体を順次変化させて前記量子化範囲を更新していくことで前記量子化範囲を決定する、
ニューラルネットワーク量子化プログラム。

【請求項21】

コンピュータに、
量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得機能と、
前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定機能と、
前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化機能と、
を実現させ、
前記参照レイヤは、前記量子化対象レイヤの後段のレイヤであり、
前記統計情報は、前記参照レイヤの指標であり、
前記量子化範囲決定機能は、前記指標を最適化するように前記量子化範囲を決定し、
前記量子化機能は、さらに前記量子化範囲をクリッピングの閾値としてクリッピング処理を行い、
前記指標は、量子化又はクリッピング処理により発生する演算誤差である、
ニューラルネットワーク量子化プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワークにおいて量子化を行うニューラルネットワーク量子化方法、装置及びプログラムに関する。

【背景技術】

【0002】

従来、ニューラルネットワークにおいて、ビット数を低下させる量子化を行い、演算量を減少させて演算速度を向上させることが行われている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－３２８３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のニューラルネットワークにおける量子化では、量子化の対象となる量子化対象レイヤの統計情報のみに基づいて、量子化対象レイヤの量子化を行う量子化範囲を決定している。このため、量子化により発生する量子化誤差が大きくなっている。

【0005】

本発明は上記課題に鑑みてなされたものであり、その目的は、量子化誤差を減少させることが可能なニューラルネットワーク量子化方法、装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の第１実施態様は、量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得ステップと、前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定ステップと、前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化ステップと、を具備するニューラルネットワーク量子化方法である。

【0007】

本発明の第２実施態様は、量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得部（２１）と、前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定部（２２）と、前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化部（２３）と、を具備するニューラルネットワーク量子化装置である。

【0008】

本発明の第３実施態様は、コンピュータに、量子化対象レイヤ以外の参照レイヤから統計情報を取得する統計情報取得機能と、前記統計情報に基づいて前記量子化対象レイヤの重み又は特徴量の量子化範囲を決定する量子化範囲決定機能と、前記量子化範囲において前記量子化対象レイヤの重み又は特徴量を量子化する量子化機能と、を実現させるニューラルネットワーク量子化プログラムである。

【発明の効果】

【0009】

本発明では、量子化誤差を減少させることが可能となっている。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態のニューラルネットワーク装置を示すブロック図。

【図2】本発明の第１実施形態のニューラルネットワーク量子化方法を示すフロー図。

【図3】本発明の第１実施形態のニューラルネットワーク量子化方法を説明するための模式図。

【図4】本発明の第２実施形態のニューラルネットワーク装置を示すブロック図。

【図5】本発明の第２実施形態のニューラルネットワーク量子化方法を示すフロー図。

【図6】本発明の第２実施形態のニューラルネットワーク量子化方法を説明するための模式図。

【図7】本発明の第３実施形態のニューラルネットワーク装置を示すブロック図。

【図8】本発明の第３実施形態のニューラルネットワーク量子化方法を示すフロー図。

【図9】本発明の第３実施形態のニューラルネットワーク量子化方法を説明するための模式図。

【図10】本発明の第４実施形態のニューラルネットワーク装置を示すブロック図。

【図11】本発明の第４実施形態のニューラルネットワーク量子化方法を示すフロー図。

【発明を実施するための形態】

【0011】

図１乃至図３を参照して、本発明の第１実施形態について説明する。
本実施形態では、量子化対象レイヤとしての畳み込みレイヤ１１に加えて、参照レイヤとしての活性化レイヤ１２及びプーリングレイヤ１３から、統計情報として、特徴量の分布範囲を示す情報である特徴量の分布範囲の最大値及び最小値を取得し、活性化レイヤ１２及びプーリングレイヤ１３の特徴量の分布範囲外の少なくとも一部を除外するように、各レイヤにおける最大値及び最小値に基づいて、畳み込みレイヤ１１の特徴量の量子化範囲を決定するようにしている。

【0012】

図１を参照して、本実施形態のニューラルネットワーク装置について概説する。
図１に示されるように、ニューラルネットワーク装置は、ニューラルネットワークと、ニューラルネットワークにおいて量子化を行うニューラルネットワーク量子化装置と、から形成されている。ニューラルネットワークでは、畳み込み演算を実行する畳み込みレイヤ１１、活性化関数を適用する活性化レイヤ１２、プーリングを実行するプーリングレイヤ１３が順に配置されている。ニューラルネットワーク量子化装置では、統計情報取得部２１は、畳み込みレイヤ１１に加えて、活性化レイヤ１２及びプーリングレイヤ１３から、特徴量の分布範囲の最大値及び最小値を取得する。量子化範囲決定部２２は、統計情報取得部２１によって取得された各レイヤにおける特徴量の分布範囲の最大値及び最小値に基づいて、活性化レイヤ１２及びプーリングレイヤ１３の特徴量の分布範囲外の少なくとも一部を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定する。量子化部２３は、量子化範囲決定部２２によって決定された量子化範囲において、畳み込みレイヤ１１の特徴量を量子化する。

【0013】

ここで、量子化後のビット数が同一であれば、量子化範囲が小さいほど量子化間隔が小さくなり、量子化により発生する量子化誤差が減少する。そして、畳み込みレイヤ１１の特徴量の量子化において、活性化レイヤ１２又はプーリングレイヤ１３の特徴量の分布範囲外の部分について量子化を行っても、活性化レイヤ１２又はプーリングレイヤ１３において無意味な無効領域が発生するだけである。このため、量子化範囲決定部２２によって、活性化レイヤ１２又はプーリングレイヤ１３の特徴量の分布範囲外の少なくとも一部を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定することで、活性化レイヤ１２又はプーリングレイヤ１３において無効領域が発生するのを回避すると共に、畳み込みレイヤ１１の特徴量の量子化範囲を小さくして、量子化後の量子化範囲内の量子化間隔を小さくしている。

【0014】

図２及び図３を参照して、本実施形態のニューラルネットワーク量子化方法について詳細に説明する。
図２に示されるように、ニューラルネットワーク量子化方法については、以下の各ステップを有する。なお、本実施形態では、対称型の量子化（Symmetric Quantization）を用いる。

【0015】

統計情報取得ステップＳ２１
統計情報取得ステップＳ２１では、畳み込みレイヤ１１に加えて、活性化レイヤ１２及びプーリングレイヤ１３から、特徴量の分布範囲の最大値及び最小値を取得する。

【0016】

図３（ａ）に示されるように、本実施形態では、ニューラルネットワークにおいて、畳み込み演算を実行する畳み込み処理、活性化関数を適用する活性化処理、プーリングを実行するプーリング処理を順に行う。活性化処理における活性化関数として，正規化線形関数（ＲｅＬＵ）を用い、プーリング処理におけるプーリングとして、最大プーリングを用いる。畳み込みレイヤ１１、活性化レイヤ１２、プーリングレイヤ１３の特徴量の分布範囲の最大値及び最小値を、夫々、x_c ^max及びx_c ^min、x_a ^max及びx_a ^min、x_p ^max及びx_p ^minとする。

【0017】

量子化範囲決定ステップＳ２２
量子化範囲決定ステップＳ２２では、統計情報取得ステップＳ２１において取得された各レイヤにおける特徴量の分布範囲の最大値及び最小値に基づいて、活性化レイヤ１２及びプーリングレイヤ１３の特徴量の分布範囲外の少なくとも一部を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定する。

【0018】

本実施形態では、次式（１－１）乃至（１－４）に示されるように、畳み込みレイヤ１１、活性化レイヤ１２、プーリングレイヤ１３の各レイヤにおける最大値x_c ^max、x_a ^max、x_p ^maxの内の最小値x^max _min、及び、各レイヤにおける最小値x_c ^min、x_a ^min、x_p ^minの内の最大値x^min _maxを求め、両者の絶対値|x^max _min|及び|x^min _max|の内の最大値x^rを量子化範囲の閾値として、量子化範囲Rを-x^r以上x^r以下に決定する。

【数1】

【数2】

【数3】

【数4】

図３（ａ）及び図３（ｂ）に示されるように、畳み込みレイヤ１１、活性化レイヤ１２、プーリングレイヤ１３の各レイヤにおける最大値x_c ^max（>0）、x_a ^max（>0）、x_p ^max（>0）は互いに共通であり（x_c ^max=x_a ^max=x_p ^max）、各レイヤにおける最大値の内の最小値x^max _minは当該共通値となる（x^max _min=x_c ^max=x_a ^max=x_p ^max）。また、各レイヤにおける最小値x_c ^min（<0）、x_a ^min（=0）、x_p ^min（>0）の内の最大値x^min _maxは、プーリングレイヤ１３における最小値となる（x^min _max=x_p ^min）。そして、各レイヤにおける最大値の内の最小値の絶対値|x^max _min|である共通値の絶対値|x_c ^max|=|x_a ^max|=|x_p ^max|は、各レイヤにおける最小値の内の最大値の絶対値|x^min _max|であるプーリングレイヤ１３における最小値の絶対値|x_p ^min|よりも大きいので（|x_c ^max|=|x_a ^max|=|x_p ^max|>|x_p ^min|）、量子化範囲の閾値x^rについては共通値の絶対値となる（x^r=|x_c ^max|=|x_a ^max|=|x_p ^max|）。このため、活性化レイヤ１２、プーリングレイヤ１３における最大値x_a ^max、x_p ^max以上の部分（x>x^r（=|x_c ^max|=|x_a ^max|=|x_p ^max|）=x_a ^max=x_p ^max）、並びに、活性化レイヤ１２、プーリングレイヤ１３の最小値x_a ^min、x_p ^min以下の一部分（x<-x^r（=-|x_c ^max|=-|x_a ^max|=-|x_p ^max|）<x_a ^min<x_p ^min）について、量子化範囲から除外されている。

【0019】

量子化ステップＳ２３
量子化ステップＳ２３では、量子化範囲決定ステップＳ２２において決定された量子化範囲において、畳み込みレイヤ１１の特徴量を量子化する。

【0020】

本実施形態では、次式（２）に示されるように、対称型の量子化を用い、ＮビットからＬビットにビット数を低下させる。ここで、Δ_xは量子化間隔である。また、ビット数については、例えば、N=32、L=8となる。

【数5】

【0021】

ここで、量子化範囲決定ステップにおいて、活性化レイヤ１２及びプーリングレイヤ１３の特徴量の分布範囲外の少なくとも一部を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定しているため、活性化レイヤ１２及びプーリングレイヤ１３における無効領域の発生が回避されると共に、畳み込みレイヤ１１の特徴量の量子化範囲が小さくなっており、量子化後の量子化範囲内の量子化間隔が小さくなっている。

【0022】

図３（ｂ）に示されるように、本実施形態では、畳み込みレイヤ１１の特徴量の量子化範囲Rについては、畳み込みレイヤ１１の最小値x_c ^minから量子化範囲の下限-x^r（=-|x_c ^max|=-|x_a ^max|=-|x_p ^max|）まで小さくなっており、量子化後の量子化範囲内の量子化間隔Δ_xが小さくなっている。

【0023】

本実施形態との比較のため、図３（ｃ）を参照して、畳み込みレイヤ１１の統計情報のみから量子化範囲を決定する比較形態について説明する。
本比較形態では、統計情報として、畳み込みレイヤ１１の特徴量の分布範囲の最大値x_c ^max及び最小値x_c ^minのみを取得する。そして、次式（３）に示されるように、畳み込みレイヤ１１における最大値x_c ^max及び最小値x_c ^minの絶対値|x_c ^max|及び|x_c ^min|の内の最大値を量子化範囲の閾値x^uとして、量子化範囲Uを-x^u以上x^u以下に決定する。

【数6】

【数7】

図３（ｃ）に示されるように、本比較形態では、畳み込みレイヤ１１における最小値x_c ^min（<0）の絶対値|x_c ^min|よりも、最大値x_c ^max（>0）の絶対値|x_c ^max|が小さくなっているため（|x_c ^min|>|x_c ^max|）、量子化範囲の閾値x^uについては、畳み込みレイヤ１１における最小値x_c ^minの絶対値|x_c ^min|となる（x^u=|x_c ^min|）。

【0024】

本比較形態では、畳込みレイヤの特徴量の量子化範囲Uについて、本実施形態の量子化範囲の上限x^r（=|x_c ^max|）及び下限-x^r（=-|x_c ^max|）から、夫々、本比較形態の量子化範囲の上限x^u（=|x_c ^min|）及び下限-x^u（=-|x_c ^min|）まで量子化範囲内が大きくなっているため、本実施形態よりも量子化後の量子化範囲内の量子化間隔Δ_xが大きくなっており、活性化レイヤ１２において本実施形態では発生していない無効領域Ｉが発生している。

【0025】

本実施形態のニューラルネットワーク装置及びニューラルネットワーク量子化方法については、以下の効果を奏する。
本実施形態のニューラルネットワーク装置及びニューラルネットワーク量子化方法では、畳み込みレイヤ１１に加えて、活性化レイヤ１２及びプーリングレイヤ１３から、特徴量の分布範囲の最大値及び最小値を取得し、各レイヤにおける特徴量の分布範囲の最大値及び最小値に基づいて、活性化レイヤ１２及びプーリングレイヤ１３の特徴量の分布範囲外の少なくとも一部を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定している。このため、活性化レイヤ１２又はプーリングレイヤ１３において無効領域が発生するのが回避されると共に、畳み込みレイヤ１１の特徴量の量子化範囲が小さくされ、量子化後の量子化範囲内の量子化間隔が小さくなっている。従って、畳み込みレイヤ１１の特徴量の量子化により発生する量子化誤差を減少させることが可能となっている。

【0026】

本実施形態では、特徴量の分布範囲を示す統計情報として、特徴量の分布範囲の最大値及び最小値を用いているが、特徴量の分布範囲の９７％タイル、３％タイルを用いるようにしてもよい。

【0027】

図４乃至図６を参照して、本発明の第２実施形態について説明する。
以下では、第１実施形態と同様の構成、ステップ等については説明を省略し、第１実施形態と相違する構成、ステップ等について説明する。

【0028】

本実施形態では、参照レイヤとしての活性化レイヤ１２から、統計情報として、活性化関数の飽和領域を示す情報である飽和領域の閾値を取得し、活性化関数の飽和領域の閾値に基づいて、活性化関数の飽和領域を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定するようにしている。また、活性化関数は、飽和領域と、線形関数をなす非飽和領域とから形成されているため、上述した畳み込みレイヤ１１の特徴量の量子化を行うことで、活性化関数を適用するのと同一の結果が得られ、活性化レイヤ１２又は活性化処理を省略可能となっている。

【0029】

図４を参照して、本実施形態のニューラルネットワーク装置について概説する。
本実施形態の活性化レイヤ１２において適用される活性化関数については、飽和領域と非飽和領域とからなり、飽和領域については、入力値にかかわらず一定の出力値を出力する関数であり、非飽和領域については、入力値と同一の出力値を出力する線形関数である。

【0030】

統計情報取得部２１は、活性化レイヤ１２から活性化関数の飽和領域の閾値を取得する。量子化範囲決定部２２は、統計情報取得部２１によって取得された活性化関数の飽和領域の閾値に基づいて、活性化レイヤ１２の活性化関数の飽和領域を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定する。量子化部２３は、量子化範囲決定部２２によって決定された量子化範囲において、畳み込みレイヤ１１の特徴量を量子化する。

【0031】

ここで、畳み込みレイヤ１１の特徴量の量子化において、活性化レイヤ１２の活性化関数の飽和領域について量子化を行っても、活性化レイヤ１２において無意味な無効領域が発生するだけである。このため、活性化レイヤ１２の活性化関数の飽和領域を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定することで、活性化レイヤ１２において無効領域が発生するのを回避すると共に、畳み込みレイヤ１１の特徴量の量子化範囲を小さくして、量子化後の量子化範囲内の量子化間隔を小さくしている。

【0032】

活性化レイヤ１２の活性化関数については、入力値にかかわらず一定の出力値を出力する関数である飽和領域と、入力値と同一の出力値を出力する線形関数である非飽和領域とから形成されている。このため、活性化関数の飽和領域を除外するように量子化範囲を決定して、畳み込みレイヤ１１の特徴量の量子化を行うことで、活性化関数を適用したのと同一の結果が得られる。従って、活性化関数を適用する活性化レイヤ１２については省略することが可能である。

【0033】

図５及び図６を参照して、本実施形態のニューラルネットワーク量子化方法について詳細に説明する。
図５に示されるように、ニューラルネットワーク量子化方法については、以下の各ステップを有する。なお、本実施形態では、非対称型（Asymmetric Quantization）の量子化を用いる。

【0034】

図６（ａ）に示されるように、本実施形態の活性化関数については、負の飽和領域S_-及び正の飽和領域S₊、並びに、非飽和領域S₀から形成されている。負の飽和領域S_-及び正の飽和領域S₊については、入力値にかかわらず夫々一定の出力値を出力する関数から形成されており、非飽和領域S₀については、入力値と同一の出力値を出力する線形関数から形成されている。ここで、負の飽和領域S_-の上限値をs_minとし、正の飽和領域S₊の下限値をs_maxとする。

【0035】

統計情報取得ステップＳ３１
統計情報取得ステップＳ３１では、活性化レイヤ１２から活性化関数の飽和領域の閾値を取得する。本実施形態では、活性化関数の飽和領域の閾値として、負の飽和領域S_-の上限値s_min及び正の飽和領域S₊の下限値s_maxを取得する。

【0036】

量子化範囲決定ステップＳ３２
量子化範囲決定ステップＳ３２では、統計情報取得ステップＳ３１において取得された活性化関数の飽和領域の閾値に基づいて、活性化レイヤ１２の活性化関数の飽和領域を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定する。

【0037】

次式（４）及び図６（ｂ）に示されるように、本実施形態では、量子化範囲Rを負の飽和領域S_-の上限値s_min以上、正の飽和領域S₊の下限値s_max以下に決定する。

【数8】

このため、活性化関数の負の飽和領域S_-（<s_min）及び正の飽和領域S₊（> s_max）について、量子化範囲から除外されている。

【0038】

量子化ステップＳ３３
量子化ステップＳ３３では、量子化範囲決定ステップＳ３２において決定された量子化範囲において、畳み込みレイヤ１１の特徴量を量子化する。

【0039】

ここで、活性化レイヤ１２の活性化関数の飽和領域を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定しているため、活性化レイヤ１２における無効領域の発生が回避されつつ、畳み込みレイヤ１１の特徴量の量子化範囲が小さくなっており、量子化後の量子化範囲内の量子化間隔が小さくなっている。

【0040】

本実施形態では、次式（５）及び図６（ｂ）に示されるように、非対称型の量子化を用い、ＮビットからＬビットにビット数を低下させる。ここで、Δ_xは量子化間隔であり、本実施形態では、シフト量Z_xとして畳み込みレイヤ１１の特徴量の平均値μを用いる。また、ビット数については、例えば、N=32、L=8となる。

【数9】

図６（ｂ）に示されるように、本実施形態では、畳み込みレイヤ１１の特徴量の量子化範囲Rについて、畳み込みレイヤ１１の最大値x_c ^max及び最小値x_c ^minから、夫々、量子化範囲の上限s_max及び下限s_minまで量子化範囲Rが小さくなっており、量子化後の量子化範囲内の量子化間隔Δ_xが小さくなっている。

【0041】

本実施形態との比較のため、図６（ｃ）を参照して、畳み込みレイヤ１１の統計情報のみから量子化範囲を決定する比較形態について説明する。
本比較形態では、統計情報として、畳み込みレイヤ１１の特徴量の分布範囲の最大値x_c ^max及び最小値x_c ^minを取得する。そして、次式（６）に示されるように、量子化範囲Uをx_c ^min以上x_c ^max以下に決定する。

【数10】

【0042】

本比較形態では、畳込みレイヤの特徴量の量子化範囲Uについて、本実施形態の量子化範囲の上限s_max及び下限s_minから、夫々、本比較形態の量子化範囲の上限x_c ^max及び下限x_c ^minまで量子化範囲が大きくなっているため、本実施形態よりも量子化後の量子化範囲内の量子化間隔Δ_x大きくなっており、活性化レイヤ１２においては本実施形態では発生していない無効領域Ｉが発生している。

【0043】

活性化処理の省略
本実施形態では、図６（ａ）に示されるように、活性化処理の活性化関数については、入力値にかかわらず一定の出力値を出力する関数からなる飽和領域S_-及びS₊と、入力値と同一の出力値を出力する線形関数からなる非飽和領域S₀とから形成されている。このため、図６（ｂ）に示されるように、活性化関数の飽和領域S_-及びS₊を除外するように量子化範囲を決定し、畳み込みレイヤ１１の特徴量の量子化を行うことで、活性化関数を適用したのと同一の結果が得られる。従って、活性化関数を適用する活性化処理を省略することが可能である。

【0044】

本実施形態と比較するため、図６（ｄ）を参照して、比較形態について説明する。比較形態では、畳み込み処理、活性化処理、量子化処理の順に実行するため、活性化処理を省略することが不可能である。なお、本実施形態の量子化後の特徴量については、比較形態の活性化処理後の特徴量と同一となっている。

【0045】

本実施形態のニューラルネットワーク装置及びニューラルネットワーク量子化方法については、以下の効果を奏する。
本実施形態では、活性化レイヤ１２の活性化関数の飽和領域の閾値を取得し、活性化関数の飽和領域の閾値に基づいて、活性化関数の飽和領域を除外するように、畳み込みレイヤ１１の特徴量の量子化範囲を決定している。このため、活性化レイヤ１２において無効領域が発生するのが回避されると共に、畳み込みレイヤ１１の特徴量の量子化範囲が小さくなり、量子化後の量子化範囲内の量子化間隔が小さくなっている。このため、畳み込みレイヤ１１の特徴量の量子化により発生する量子化誤差を減少することが可能となっている。

【0046】

また、活性化レイヤ１２又は活性化処理の活性化関数については、飽和領域と、線形関数からなる非飽和領域とから形成されている。このため、活性化関数の飽和領域を除外するように量子化範囲を決定し、畳み込みレイヤ１１の特徴量の量子化を行うことで、活性化関数を適用したのと同一の結果が得られるようになっている。従って、活性化関数を適用する活性化レイヤ１２又は活性化処理を省略することが可能となっている。

【0047】

図７乃至図９を参照して、本発明の第３実施形態について説明する。
以下では、第２実施形態と同様の構成、ステップ等については説明を省略し、第２実施形態と相違する構成、ステップ等について説明する。

【0048】

本実施形態では、活性化処理において適用される活性化関数の非飽和領域は非線形関数から形成されており、ルックアップテーブル（以下、「ＬＵＴ」と称する。）３１によって、量子化処理の実行の後に活性化処理を実行するようにしている。

【0049】

図７を参照して、本実施形態のニューラルネットワーク装置について概説する。
量子化部２３は、畳み込みレイヤ１１の特徴量を量子化し、量子化においては、ＮビットからＭビットにビット数を低下させる。活性化レイヤ１２は、活性化関数を適用する活性化処理を実行し、活性化関数の非飽和領域については、入力値に対応する所定の出力値を出力する非線形関数である。活性化レイヤ１２はＬＵＴ３１を備え、ＬＵＴ３１は、活性化関数を適用する活性化処理を実行すると共に、不等間隔量子化処理を実行して、ＭビットからＬビットにビット数を低下させる。このため、ＬＵＴ３１のビット幅はＭビットとなる。ビット数については、例えば、N=32、M=16、L=8となる。

【0050】

図８及び図９を参照して、本実施形態のニューラルネットワーク量子化方法について詳細に説明する。
図８に示されるように、ニューラルネットワーク量子化方法については、以下の各ステップを有する。

【0051】

図９（ａ）に示されるように、本実施形態の活性化関数の非飽和領域S₀については、入力値に対応する所定の出力値を出力する非線形関数である。

【0052】

統計情報取得ステップＳ４１及び量子化範囲決定ステップＳ４２
統計情報取得ステップＳ４１及び量子化範囲決定ステップＳ４２については、第２実施形態と同様である。

【0053】

量子化ステップＳ４３
量子化ステップＳ４３では、図９（ｂ）に示されるように、量子化範囲決定ステップＳ４２において決定された量子化範囲において、畳み込みレイヤ１１の特徴量を量子化し、ＮビットからＭビットにビット数を低下させる。

【0054】

活性化ステップＳ４４
活性化ステップＳ４４では、図９（ｂ）に示されるように、ＬＵＴ３１によって、活性化関数を適用する活性化処理を実行すると共に、不等間隔量子化処理を実行し、ＭビットからＬビットにビット数を低下させる。

【0055】

本実施形態と比較するために、図９（ｃ）を参照して、比較形態について説明する。比較形態では、畳み込み処理、活性化処理、量子化処理の順に実行する。このため、活性化処理を実行するＬＵＴのビット幅は、畳み込みレイヤ１１の特徴量のビット数であるＮビットとなり、本実施形態のＬＵＴ３１のビット幅であるＭビットよりも大きくなっている。

【0056】

本実施形態のニューラルネットワーク装置及びニューラルネットワーク量子化方法については、以下の効果を奏する。
本実施形態では、活性化処理の活性化関数の非飽和領域は非線形関数から形成されており、活性化関数を適用する活性化処理については、ＬＵＴ３１によって実行されている。そして、量子化処理によるビット数の低下後に、ＬＵＴ３１によって活性化処理を行っているため、ＬＵＴ３１のビット幅を小さくすることができ、メモリ容量を削減して、ハードウェア効率を向上することが可能となっている。

【0057】

以上述べた第１乃至第３実施形態では、量子化対象レイヤとして畳み込みレイヤ１１を選択したが、その他の積和演算を実行するレイヤを選択してもよく、例えば、量子化対象レイヤとして全結合レイヤを選択することが可能である。

【0058】

また、第１実施形態では、畳み込みレイヤ１１の特徴量の量子化において、対称型の量子化を用いているが、第２及び第３実施形態のように、非対称型の量子化を用いるようにしてもよい。

【0059】

図１０及び図１１を参照して、本発明の第４実施形態について説明する。
本実施形態では、量子化対象レイヤとしての畳み込みレイヤ１１ｃの特徴量について、量子化範囲において量子化すると共に、量子化範囲をクリッピングの閾値としてクリッピング処理を行う。そして、参照レイヤとしてのプーリングレイヤ１３から、統計情報としての指標として、クリッピング誤差と量子化誤差との合計である演算誤差を取得し、当該演算誤差を最適化即ち最小化するように、量子化範囲を決定する。

【0060】

図１０を参照して、本実施形態のニューラルネットワーク装置について説明する。
図１０に示されるように、本実施形態では、第１の畳み込みレイヤ１１ａ及び活性化レイヤ１２ａ、第２の畳み込みレイヤ１１ｂ及び活性化レイヤ１２ｂ、第３の畳み込みレイヤ１１ｃ及び活性化レイヤ１２ｃ、プーリングレイヤ１３が順に配置されている。

【0061】

量子化部２３は、量子化範囲において第３の畳み込みレイヤ１１ｃの特徴量の量子化を行うと共に、量子化範囲をクリッピングの閾値としてクリッピング処理を行う。クリッピング処理とは、畳み込みレイヤの重み又は特徴量の量子化において、分布の外れ値により量子化範囲が大きくなり、量子化間隔が大きくなって量子化誤差が増大するのを防止するため、次式（７）に示されるように、クリッピングの閾値c_min、c_maxを導入し、当該閾値c_min、c_maxを超える分布の外れ値をクリッピングする処理である。

【数11】

ここで、クリッピング処理によりクリッピング誤差が発生するが、一方で量子化範囲が小さくなって量子化間隔が小さくなり、量子化誤差が小さくなるため、クリッピング誤差と量子化誤差との合計である演算誤差を減少させることが可能である。

【0062】

統計情報取得部２１は、プーリングレイヤ１３から、指標として、クリッピング誤差と量子化誤差との合計である演算誤差を取得する。演算誤差としては、MSE（Mean Squared Error）、MAE（Mean Average Error）、KL-Divergence等を用いる。量子化範囲決定部２２は、演算誤差が減少するように量子化範囲を更新する。量子化部２３は、更新された量子化範囲において、再び第３の畳み込みレイヤ１１ｃの特徴量の量子化を行うと共に、量子化範囲をクリッピングの閾値としてクリッピング処理を行う。統計情報取得部２１、量子化範囲決定部２２及び量子化部２３は、当該処理を繰り返すことで演算誤差を最小化して、量子化範囲を決定する。量子化範囲の初期値としては、第１乃至第３実施形態のいずれかの実施形態により決定された量子化範囲を用いる。

【0063】

図１１を参照して、本実施形態のニューラルネットワーク量子化方法について説明する。
図１１に示されるように、ニューラルネットワーク量子化方法については、以下の各ステップを有する。

【0064】

初期化ステップＳ５１
初期化ステップＳ５１では、第３の畳み込みレイヤ１１ｃの特徴量の量子化範囲を初期化する。本実施形態では、第１乃至第３実施形態のいずれかの実施形態で決定された量子化範囲に、第３の畳み込みレイヤ１１ｃの特徴量の量子化範囲を初期化する。

【0065】

量子化ステップＳ５２
量子化ステップＳ５２では、第３の畳み込みレイヤ１１ｃの特徴量を量子化範囲において量子化すると共に、量子化範囲をクリッピングの閾値としてクリッピング処理を行う。

【0066】

指標取得ステップＳ５３
指標取得ステップＳ５３では、プーリングレイヤ１３から、指標として、クリッピング誤差と量子化誤差との合計である演算誤差を取得する。

【0067】

量子化範囲更新ステップＳ５４
量子化範囲更新ステップＳ５４では、指標取得ステップＳ５３において取得した演算誤差が小さくなるように、第３の畳み込みレイヤ１１ｃの特徴量の量子化範囲を更新する。

【0068】

最適化ステップＳ５５
最適化ステップＳ５５では、指標としての演算誤差が最小化するように、上記量子化ステップＳ５２、指標取得ステップＳ５３、量子化範囲更新ステップＳ５４を繰り返して、量子化範囲を決定する。

【0069】

本実施形態のニューラルネットワーク装置及びニューラルネットワーク量子化方法については、以下の効果を奏する。
本実施形態では、畳み込みレイヤ１１ｃの特徴量を量子化範囲において量子化すると共に、量子化範囲をクリッピングの閾値としてクリッピング処理を行うようにし、プーリングレイヤ１３から指標としてクリッピング誤差と量子化誤差との合計である演算誤差を取得し、演算誤差を最小化するように量子化範囲を決定するようにしている。このため、クリッピング誤差と量子化誤差との合計である演算誤差を最小化することが可能となっている。

【0070】

本実施形態では、第３の畳み込みレイヤ１１ｃの特徴量について量子化し量子化範囲を決定するようにしたが、第１乃至第３の畳み込みレイヤ１１ａ－１１ｃの重み及び特徴量から、量子化し量子化範囲を決定するものの組み合わせをどのように選択してもよい。

【0071】

本実施形態では、参照レイヤとしてプーリングレイヤ１３を用い、指標として、クリッピング誤差と量子化誤差との合計である演算誤差を用いているが、その他にも様々な参照レイヤ及び指標を用いることが可能である。

【0072】

一変形例では、参照レイヤとして最終出力レイヤを用い、指標として、最終出力レイヤの出力に認識精度評価関数を適用して算出した認識精度を用い、当該認識精度を最大化するように量子化範囲を求める。

【0073】

以上の各実施形態では、ニューラルネットワーク装置及びニューラルネットワーク量子化方法について述べたが、コンピュータに当該装置の各機能を実現させるプログラム、又は、コンピュータに当該方法の各ステップを実行させるプログラムについても、本発明の範囲に含まれる。

【符号の説明】

【0074】

１１，１１ａ，１１ｂ，１１ｃ…畳み込みレイヤ
１２，１２ａ，１２ｂ，１２ｃ…活性化レイヤ
１３プーリングレイヤ ２１…統計情報取得部 ２２量子化範囲決定部
２３…量子化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】