ホーム > 特許ランキング > 日本電信電話株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-21
(45)【発行日】2024-10-29
(54)【発明の名称】学習装置、学習方法、及びプログラム
(51)【国際特許分類】
G06N 3/08 20230101AFI20241022BHJP
G06N 3/0495 20230101ALI20241022BHJP
【ＦＩ】
G06N3/08
G06N3/0495
【請求項の数】
6
(21)【出願番号】P 2023522144
(86)(22)【出願日】2021-05-20
(86)【国際出願番号】 JP2021019268
(87)【国際公開番号】W WO2022244216
(87)【国際公開日】2022-11-24
【審査請求日】2023-08-21
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ＩＴＯＨ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100124844
【弁理士】
【氏名又は名称】石原 隆治
(72)【発明者】
【氏名】加来 宗一郎
(72)【発明者】
【氏名】西田 京介
(72)【発明者】
【氏名】吉田 仙
【審査官】真木 健彦
(56)【参考文献】
【文献】国際公開第２０１８／０１６６０８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００ － ９９／００
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
ニューラルネットワークモデルにより所定のタスクの推論を行う推論部と、複数の３値ベクトルを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化する３値化部と、
前記ニューラルネットワークモデルのモデルパラメータと、前記活性化を３値で表現するための３値化パラメータとを学習する学習部と、
を有し、
前記３値化部は、
前記層毎に、前記層への入力を表す活性化と、スカラー値と－１、０、＋１のいずれかを各要素に持つ３値ベクトルとの積のｎ（ただし、ｎは予め決められた自然数）個の和との距離を最小化するような前記スカラー値と前記３値ベクトルとを帰納的に繰り返し計算し、
前記学習部は、
前記スカラー値との移動平均により前記３値化パラメータを学習する、学習装置。
【請求項2】
ニューラルネットワークモデルにより所定のタスクの推論を行う推論部と、
複数の３値ベクトルを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化する３値化部と、
前記ニューラルネットワークモデルのモデルパラメータと、前記活性化を３値で表現するための３値化パラメータとを学習する学習部と、
を有し、
前記３値化部は、
前記層毎に、前記３値化パラメータを持つ量子化関数により、前記層への入力を表す活性化を３値化し、
前記学習部は、
前記３値化パラメータに関する前記量子化関数の疑似的な勾配を用いて、誤差逆伝播法により前記３値化パラメータを学習する、学習装置。
【請求項3】
前記３値化パラメータは、第１の３値化パラメータと、第２の３値化パラメータとで構成され、第１のスカラー値と－１、０、＋１のいずれかを各要素に持つ第１の３値ベクトルとの積と、第２のスカラー値と－１、０、＋１のいずれかを各要素に持つ第２の３値ベクトルとの積との和を最小化するような前記第１のスカラー値と前記第２のスカラー値と前記第１の３値ベクトルと前記第２の３値ベクトルとを計算し、前記第１のスカラー値と前記第２のスカラー値とをそれぞれ前記第１の３値化パラメータと前記第２の３値化パラメータの初期値とする初期化部を有し、
前記３値化部は、
前記層毎に、前記３値化パラメータを持つ量子化関数により、前記第１の３値化パラメータと前記第１の３値ベクトルとの積と、前記第２の３値化パラメータと前記第２の３値ベクトルとの積との和で前記層への入力を表す活性化を３値化し、
前記学習部は、
前記第１の３値化パラメータに関する前記量子化関数の疑似的な勾配と、前記第２の３値化パラメータに関する前記量子化関数の疑似的な勾配とを用いて、前記３値化パラメータを学習する、請求項２に記載の学習装置。
【請求項4】
ニューラルネットワークモデルにより所定のタスクの推論を行う推論手順と、複数の３値ベクトルを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化する３値化手順と、
前記ニューラルネットワークモデルのモデルパラメータと、前記活性化を３値で表現するための３値化パラメータとを学習する学習手順と、
をコンピュータが実行し、
前記３値化手順は、
前記層毎に、前記層への入力を表す活性化と、スカラー値と－１、０、＋１のいずれかを各要素に持つ３値ベクトルとの積のｎ（ただし、ｎは予め決められた自然数）個の和との距離を最小化するような前記スカラー値と前記３値ベクトルとを帰納的に繰り返し計算し、
前記学習手順は、
前記スカラー値との移動平均により前記３値化パラメータを学習する、学習方法。
【請求項5】
ニューラルネットワークモデルにより所定のタスクの推論を行う推論手順と、
複数の３値ベクトルを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化する３値化手順と、
前記ニューラルネットワークモデルのモデルパラメータと、前記活性化を３値で表現するための３値化パラメータとを学習する学習手順と、
をコンピュータが実行し、
前記３値化手順は、
前記層毎に、前記３値化パラメータを持つ量子化関数により、前記層への入力を表す活性化を３値化し、
前記学習手順は、
前記３値化パラメータに関する前記量子化関数の疑似的な勾配を用いて、誤差逆伝播法により前記３値化パラメータを学習する、学習方法。
【請求項6】
コンピュータを、請求項１乃至３の何れか一項に記載の学習装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習装置、学習方法、及びプログラムに関する。
【背景技術】
【0002】
近年、ニューラルネットワークモデルの性能向上が注目を集めているが、同時にニューラルネットワークモデルのパラメータ数と計算量が増加傾向にある。このため、ニューラルネットワークモデルの精度低下を抑えながら、軽量化・高速化を目指す研究が学術界と商業界の双方で注目を集めている。なお、ニューラルネットワークモデルには多数の線形変換が含まれ、特に、それらの線形変換を行う際の行列演算が計算時間に影響している。
【0003】
ニューラルネットワークモデルの軽量化・高速化に関する研究の１つとして、ニューラルネットワークモデルの重みと活性化を量子化する手法が知られている。ここで、量子化とは、通常３２ｂｉｔで表現されるｆｌｏａｔ値をより少ないｂｉｔ数（例えば、２ビットや８ビット等）で近似して表現することである。量子化は低ビット化とも呼ばれる。なお、活性化とは、ニューラルネットワークモデルの各層へ入力されるベクトルのことである。
【0004】
ニューラルネットワークモデルの重みと活性化の量子化に関する従来手法としては、例えば、非特許文献１や非特許文献２に記載されている手法が知られている。非特許文献１及び２ではいずれもＢＥＲＴ（Bidirectional Encoder Representations from Transformers）
と呼ばれる言語モデルの重みを３値化、活性化を８ｂｉｔ化している。なお、３値化とは、後述するように、実数値をスカラー値と３つの整数値のいずれかとの積（又は複数個の積の和）で近似することをいう。
と呼ばれる言語モデルの重みを３値化、活性化を８ｂｉｔ化している。なお、３値化とは、後述するように、実数値をスカラー値と３つの整数値のいずれかとの積（又は複数個の積の和）で近似することをいう。
【先行技術文献】
【非特許文献】
【0005】
【文献】Wei Zhang, Lu Hou, Yichun Yin, Lifeng Shang, Xiao Chen, Xin Jiang, Qun Liu. TernaryBERT: Distillation-aware Ultra-low Bit BERT
【文献】Jing Jin, Cai Liang, TianchengWu, Liqin Zou, Zhiliang Gan. KDLSQ-BERT: A Quantized Bert Combining Knowledge Distillation with Learned Step Size Quantization
【発明の概要】
【発明が解決しようとする課題】
【0006】
ニューラルネットワークモデルの重みと活性化の両方を３値化（２ｂｉｔ化）すれば、より軽量化・高速化を図ることができると考えられる。しかしながら、量子化では、精度維持と軽量化・高速化とがトレードオフの関係にある。特に、活性化を２値、３値等の低ビットで表現する場合は精度維持が困難となる。
【0007】
本発明の一実施形態は、上記の点に鑑みてなされたもので、ニューラルネットワークモデルの活性化を高精度に３値化することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、一実施形態に係る学習装置は、ニューラルネットワークモデルにより所定のタスクの推論を行う推論部と、複数の３値ベクトルを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化する３値化部と、前記ニューラルネットワークモデルのモデルパラメータと、前記活性化を３値で表現するための３値化パラメータとを学習する学習部と、を有する。
【発明の効果】
【0009】
ニューラルネットワークモデルの活性化を高精度に３値化することができる。
【図面の簡単な説明】
【0010】
【図1】本実施形態に係る推論装置のハードウェア構成の一例を示す図である。
【図2】推論時における推論装置の機能構成の一例を示す図である。
【図3】学習時における推論装置の機能構成の一例を示す図である。
【図4】実施例１における推論処理の一例を示すフローチャートである。
【図5】実施例１における学習処理の一例を示すフローチャートである。
【図6】実施例２における推論処理の一例を示すフローチャートである。
【図7】従来手法の３値化ベクトルとの比較例を示す図である。
【図8】実施例２における学習処理の一例を示すフローチャートである。
【図9】従来手法の疑似勾配との比較例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態について説明する。本実施形態では、ニューラルネットワークモデルの活性化を高精度に３値化し、そのニューラルネットワークモデルにより所定のタスクの推論を実行する推論装置１０について説明する。ここで、ニューラルネットワークモデルの活性化を量子化する際には、ニューラルネットワークモデルの重みも量子化されることが一般的であるため、以下では、重みは既知の量子化技術により量子化（例えば、２値化、３値化等）されているものとする。重みの量子化には軽量化の効果があり、更に重みと活性化の両方を量子化した場合には線形変換を行う際の行列演算を専用の実装で行うことで高速化を図ることができると考えられる。特に、２値化、３値化では論理値演算を利用した大幅に高速な行列演算の実装が期待できる。
【0012】
なお、２値化とは実数値をスカラー値と２つの整数値（例えば、｛－１，１｝）のいずれかとの積のｎ個の和で近似することをいい、３値化とは実数値をスカラー値と３つの整数値（例えば、｛－１，０，１｝）のいずれかとの積のｎ個の和で近似することをいう。ただし、スカラー値は０より大きい実数値、ｎは自然数である。
【0013】
【0014】
図１に示すように、本実施形態に係る推論装置１０は一般的なコンピュータ又はコンピュータシステムのハードウェア構成で実現され、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、プロセッサ１０５と、メモリ装置１０６とを有する。これらの各ハードウェアは、それぞれがバス１０７により通信可能に接続される。
【0015】
入力装置１０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置１０２は、例えば、ディスプレイ等である。なお、推論装置１０は、入力装置１０１及び表示装置１０２のうちの少なくとも一方を有していなくてもよい。
【0016】
外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。推論装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込み等を行うことができる。なお、記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
【0017】
通信Ｉ／Ｆ１０４は、推論装置１０を通信ネットワークに接続するためのインタフェースである。プロセッサ１０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。メモリ装置１０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
【0018】
本実施形態に係る推論装置１０は、図１に示すハードウェア構成を有することにより、後述する推論処理や学習処理を実現することができる。なお、図１に示すハードウェア構成は一例であって、推論装置１０は、他のハードウェア構成を有していてもよい。例えば、推論装置１０は、複数のプロセッサ１０５を有していてもよいし、複数のメモリ装置１０６を有していてもよい。
【0019】
＜機能構成＞
本実施形態に係る推論装置１０には、学習時と推論時の２つのフェーズが存在する。学習時では、ニューラルネットワークモデルのパラメータ（以下、「モデルパラメータ」ともいう。）と、活性化を３値化するためのパラメータ（以下、「３値化パラメータ）ともいう。）とを学習する。推論時では、学習済みモデルパラメータと学習済み３値化パラメータとを用いて、活性化を３値化すると共に、ニューラルネットワークモデルにより推論を行う。
本実施形態に係る推論装置１０には、学習時と推論時の２つのフェーズが存在する。学習時では、ニューラルネットワークモデルのパラメータ（以下、「モデルパラメータ」ともいう。）と、活性化を３値化するためのパラメータ（以下、「３値化パラメータ）ともいう。）とを学習する。推論時では、学習済みモデルパラメータと学習済み３値化パラメータとを用いて、活性化を３値化すると共に、ニューラルネットワークモデルにより推論を行う。
【0020】
なお、学習時における推論装置１０は、「学習装置」等と呼ばれてもよい。また、学習時における推論装置１０と推論時における推論装置１０は異なる装置又はシステムで実現されていてもよい。
【0021】
【0022】
図２に示すように、推論時における推論装置１０は、３値化部２０１と、推論部２０２とを有する。これら各部は、推論時における推論装置１０にインストールされた１以上のプログラムが、プロセッサ１０５に実行させる処理により実現される。
【0023】
３値化部２０１は、学習済み３値化パラメータを用いて、ニューラルネットワークモデルの各層の活性化を３値化する。すなわち、３値化部２０１は、学習済み３値化パラメータを用いて、ニューラルネットワークモデルの各層に入力される実数値ベクトルの各要素を３値化した３値化ベクトルを作成し、この３値化ベクトルを活性化としてニューラルネットワークモデルに出力する。なお、学習済み３値化パラメータはニューラルネットワークモデルの層毎に存在し、例えば、メモリ装置１０６等に格納されている。
【0024】
推論部２０２は、ニューラルネットワークモデルで実現され、学習済みモデルパラメータを用いて、所定のタスクの推論を行う。すなわち、推論部２０２は、ニューラルネットワークモデルの各層において、３値化部２０１で作成された３値化ベクトルを入力として、学習済みモデルパラメータを用いて、当該層の出力ベクトルとして実数値ベクトルを出力する。このとき、ニューラルネットワークモデルの最終層（出力層）の出力（又は、それに対して所定の処理を行った結果）が推論結果となる。なお、学習済みモデルパラメータはニューラルネットワークモデルの層毎に存在し、例えば、メモリ装置１０６等に格納されている。
【0025】
ここで、ニューラルネットワークモデルは、一般に、複数の層で構成されており、各層にはニューロン（又は、ユニット、ノード等とも呼ばれる。）が存在する。また、各層の間にはニューロン同士の結合の強さを表す重みが存在する。ニューラルネットワークモデルの層が線形層（又は、全結合層）と呼ばれるものである場合、その層に存在するニューロンでは、以下の操作１～操作３が行われる。
【0026】
操作１：当該層に入力された入力ベクトル（活性化）の重み付き和を計算
操作２：バイアス項を加算
操作３：活性化関数（例えば、ＲｅＬｕ等）を計算
このとき、ニューラルネットワークモデルの計算時間は、上記の操作１の重み付き和の計算に要する時間が支配的である。上記の操作１の重み付き和は、重みを表すベクトル（重みベクトル）をｗ＝（ｗ１，ｗ２，・・・，ｗｄｉｍ）、入力ベクトルをｖ＝（ｖ１，ｖ２，・・・，ｖｄｉｍ）とすると、ｖとｗの内積、つまりｗ１ｖ１＋・・・＋ｗｄｉｍｖｄｉｍとなる。このため、大量の積演算ｗｋｖｋ（ｋ＝１，・・・，ｄｉｍ）に要する時間を削減できれば、ニューラルネットワークモデルの計算時間を削減することが可能となる。なお、ｄｉｍはベクトルの次元数である。
操作２：バイアス項を加算
操作３：活性化関数（例えば、ＲｅＬｕ等）を計算
このとき、ニューラルネットワークモデルの計算時間は、上記の操作１の重み付き和の計算に要する時間が支配的である。上記の操作１の重み付き和は、重みを表すベクトル（重みベクトル）をｗ＝（ｗ１，ｗ２，・・・，ｗｄｉｍ）、入力ベクトルをｖ＝（ｖ１，ｖ２，・・・，ｖｄｉｍ）とすると、ｖとｗの内積、つまりｗ１ｖ１＋・・・＋ｗｄｉｍｖｄｉｍとなる。このため、大量の積演算ｗｋｖｋ（ｋ＝１，・・・，ｄｉｍ）に要する時間を削減できれば、ニューラルネットワークモデルの計算時間を削減することが可能となる。なお、ｄｉｍはベクトルの次元数である。
【0027】
例えば、参考文献１では、ｆｌｏａｔ値（３２ｂｉｔ）同士の積演算ｗｋｖｋに比べて、２値と３値の積演算ｗｋｖｋ（例えば、ｗｋ∈｛－１，１｝，ｖｋ∈｛－１，０，１｝）の方が理論的に４０倍速く計算できることが示されている。なお、この例に限らず、重みと活性化の両方を低ｂｉｔ化した場合は操作１の積演算が高速化されることが期待できる。
【0028】
上述したように、本実施形態では、ニューラルネットワークモデルの重みを既知の量子化技術より量子化（特に、２値化や３値化等といった低ｂｉｔで表現する量子化）しており、活性化を３値化するため、ニューラルネットワークモデルの計算時間を削減することが可能となる。
【0029】
【0030】
図３に示すように、学習時における推論装置１０は、３値化部２０１と、推論部２０２と、学習部２０３とを有する。これら各部は、学習時における推論装置１０にインストールされた１以上のプログラムが、プロセッサ１０５に実行させる処理により実現される。
【0031】
３値化部２０１及び推論部２０２は、推論時と同様である。ただし、学習済みでない３値化パラメータ及び学習済みでないモデルパラメータをそれぞれ用いる点が推論時と異なる。なお、３値化パラメータはニューラルネットワークモデルの層毎に存在し、例えば、メモリ装置１０６等に格納されている。同様に、モデルパラメータはニューラルネットワークモデルの層毎に存在し、例えば、メモリ装置１０６等に格納されている。
【0032】
学習部２０３は、３値化部２０１が活性化を３値化する際に用いる３値化パラメータの学習と、推論部２０２を実現するニューラルネットワークモデルのモデルパラメータの学習とを行う。
【0033】
［実施例１］
以下、本実施形態の実施例１について説明する。本実施例では、活性化をｎ個の３値ベクトルで近似する場合について説明する。すなわち、例えば、ニューラルネットワークモデルの或る層の活性化（実数値ベクトル）をＸ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）、当該層の３値化パラメータをＡ＝（ａ１，ａ２，・・・，ａｎ）とすれば、この実数値ベクトルを３値化ベクトルａ１Ｂ１＋ａ２Ｂ２＋・・・＋ａｎＢｎで近似する場合について説明する。ここで、ａｉ（ｉ＝１，・・・，ｎ）はａｉ＞０を満たすスカラー値、Ｂｉ（ｉ＝１，・・・，ｎ）は各要素が－１，０，１のいずれかを取るベクトルである。
以下、本実施形態の実施例１について説明する。本実施例では、活性化をｎ個の３値ベクトルで近似する場合について説明する。すなわち、例えば、ニューラルネットワークモデルの或る層の活性化（実数値ベクトル）をＸ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）、当該層の３値化パラメータをＡ＝（ａ１，ａ２，・・・，ａｎ）とすれば、この実数値ベクトルを３値化ベクトルａ１Ｂ１＋ａ２Ｂ２＋・・・＋ａｎＢｎで近似する場合について説明する。ここで、ａｉ（ｉ＝１，・・・，ｎ）はａｉ＞０を満たすスカラー値、Ｂｉ（ｉ＝１，・・・，ｎ）は各要素が－１，０，１のいずれかを取るベクトルである。
【0034】
なお、ｎの値が大きい方が活性化をより高精度に近似することが可能であるが、より多くのメモリ量と計算量が必要となる。
【0035】
＜実施例１における推論処理＞
推論時における推論装置１０が実行する推論処理について、図４を参照しながら説明する。図４は、実施例１における推論処理の一例を示すフローチャートである。なお、以下では、３値化パラメータとモデルパラメータは学習済みであるものとする。
推論時における推論装置１０が実行する推論処理について、図４を参照しながら説明する。図４は、実施例１における推論処理の一例を示すフローチャートである。なお、以下では、３値化パラメータとモデルパラメータは学習済みであるものとする。
【0036】
ここで、図４のステップＳ１０１～ステップＳ１０６はニューラルネットワークモデルの各層毎に繰り返し実行される。以下では、ニューラルネットワークモデルの或る層に関するステップＳ１０１～ステップＳ１０６について説明する。
【0037】
ステップＳ１０１：推論部２０２は、ニューラルネットワークモデルに与えられた実数値ベクトル又は１つ前の層の出力ベクトルである実数値ベクトルを入力する。ここで、推論部２０２は、当該層が最初の層（入力層）である場合はニューラルネットワークモデルに与えられた実数値ベクトルを入力し、それ以外の場合は１つ前の層の出力ベクトルである実数値ベクトルを入力する。なお、ニューラルネットワークモデルに与えられた実数値ベクトルとは、タスクの推論対象データのことである。
【0038】
ステップＳ１０２：３値化部２０１は、学習済み３値化パラメータを用いて、上記のステップＳ１０１で入力された実数値ベクトル（つまり、活性化）を３値化し、３値化ベクトルを作成する。このとき、３値化部２０１は、以下の手順１－１～手順１－３により３値化ベクトルを作成する。なお、上記のステップＳ１０１で入力された実数値ベクトルをＸ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）、当該層の学習済み３値化パラメータをＡ＝（ａ１，ａ２，・・・，ａｎ）とする。また、各ｉ＝１，・・・，ｎに対してａｉ＞０であるものとする。
【0039】
手順１－１）まず、３値化部２０１は、Ｘ＝Ｘ０とすると共に、量子化に用いる関数を
【0040】
【数1】
【0041】
そして、３値化部２０１は、
【0042】
【数2】
【0043】
手順１－２）次に、３値化部２０１は、ｉ個目の３値ベクトルａｉＢｉ（ｉ≧２）を帰納的に繰り返し計算する。すなわち、ａ１Ｂ１，・・・，ａｉ－１Ｂｉ－１までの３値ベクトルが得られているとき、３値化部２０１は、Ｘｉ－１＝Ｘｉ－２－ａｉ－１Ｂｉ－１とした上で、
【0044】
【数3】
【0045】
手順１－３）最後に、３値化部２０１は、ａ１Ｂ１＋・・・＋ａｎＢｎを３値化ベクトルとする。これにより、当該層の活性化Ｘ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）をｎ個の３値ベクトルの和で近似した３値化ベクトルａ１Ｂ１＋・・・＋ａｎＢｎが得られる。
【0046】
ステップＳ１０３：推論部２０２は、当該層に含まれるニューロン毎に、学習済みモデルパラメータを用いて、上記のステップＳ１０２で作成された３値化ベクトルの重み付き和を計算する。すなわち、例えば、３値化ベクトルａ１Ｂ１＋・・・＋ａｎＢｎを（ｖ１，ｖ２，・・・，ｖｄｉｍ）、当該層に含まれる或るニューロンと１つ前の層に含まれる各ニューロンとの間の重みを表す重みベクトルを（ｗ１，ｗ２，・・・，ｗｄｉｍ）とすれば、推論部２０２は、ｗ１ｖ１＋・・・＋ｗｄｉｍｖｄｉｍを計算する。なお、重みは学習済みモデルパラメータに含まれる。
【0047】
ステップＳ１０４：推論部２０２は、当該層に含まれるニューロン毎に、学習済みモデルパラメータを用いて、上記のステップＳ１０３で計算された重み付き和に対してバイアス項を加算する。すなわち、例えば、当該ニューロンのバイアス項をｂとすれば、推論部２０２は、ｗ１ｖ１＋・・・＋ｗｄｉｍｖｄｉｍ＋ｂを計算する。なお、バイアス項は学習済みモデルパラメータに含まれる。
【0048】
ステップＳ１０５：推論部２０２は、当該層に含まれるニューロン毎に、上記のステップＳ１０４の計算結果を用いて活性化関数を計算する。すなわち、例えば、当該ニューロンの活性化関数をσ（・）とすれば、推論部２０２は、σ（ｗ１ｖ１＋・・・＋ｗｄｉｍｖｄｉｍ＋ｂ）を計算する。
【0049】
ステップＳ１０６：推論部２０２は、当該層に含まれる各ニューロンの活性化関数値を要素とする出力ベクトル（実数値ベクトル）を次の層に出力する。すなわち、例えば、ｊ番目のニューロンの活性化関数値をｘ'ｊとすれば、推論部２０２は、実数値ベクトルＸ'＝（ｘ'１，ｘ'２，・・・，ｘ'ｄｉｍ'）を次の層に出力する。なお、ｄｉｍ'は次の層に出力される実数値ベクトルの次元数であり、当該層に含まれるニューロン数である。
【0050】
以上のステップＳ１０１～ステップＳ１０６が各層毎に繰り返し実行され、最終層の出力ベクトル（又は、当該出力ベクトルに対して、タスクに応じた所定の処理を行った結果）が推論結果となる。
【0051】
＜実施例１における学習処理＞
学習時における推論装置１０が実行する学習処理について、図５を参照しながら説明する。図５は、実施例１における学習処理の一例を示すフローチャートである。なお、以下では、３値化パラメータとモデルパラメータは学習済みでないものとする。
学習時における推論装置１０が実行する学習処理について、図５を参照しながら説明する。図５は、実施例１における学習処理の一例を示すフローチャートである。なお、以下では、３値化パラメータとモデルパラメータは学習済みでないものとする。
【0052】
ここで、図５のステップＳ２０１～ステップＳ２０７はニューラルネットワークモデルの各層毎に繰り返し実行される。以下では、ニューラルネットワークモデルの或る層に関するステップＳ２０１～ステップＳ２０７について説明する。
【0053】
ステップＳ２０１：推論部２０２は、図４のステップＳ１０１と同様に、ニューラルネットワークモデルに与えられた実数値ベクトル又は１つ前の層の出力ベクトルである実数値ベクトルを入力する。なお、ニューラルネットワークモデルに与えられた実数値ベクトルとは、タスクの学習用データのことである。
【0054】
ステップＳ２０２：３値化部２０１は、３値化パラメータを用いて、上記のステップＳ２０１で入力された実数値ベクトル（つまり、活性化）を３値化し、３値化ベクトルを作成する。このとき、３値化部２０１は、以下の手順２－１～手順２－３により３値化ベクトルを作成する。なお、上記のステップＳ２０１で入力された実数値ベクトルをＸ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）とする。また、当該層の３値化パラメータをＡ＝（ａ'１，ａ'２，・・・，ａ'ｎ）とする。
【0055】
手順２－１）まず、３値化部２０１は、Ｘ＝Ｘ０とすると共に、｜Ｘ０－ａＢ｜２を最小化するようなスカラー値ａと３値ベクトルＢを求める。ここで、Ｂは各要素が－１，０，１のいずれかを取るベクトルである。また、｜・｜はＬ２ノルムである。ただし、｜・｜はＬ２ノルム以外の他の距離であってもよい。
【0056】
このとき、ａとＢは相互作用しており、厳密解を求めるのことは困難である（例えば、参考文献２等を参照）。そこで、本実施例では、参考文献３に記載されているａｌｇｏｒｉｔｈｍ２を参考にニュートン法を用いて近似解を求める。これは、ａ又はＢのいずれか一方が固定されたとき、｜Ｘ０－ａＢ｜２を最小化する他方の値が計算可能であることを利用している。ただし、ニュートン法以外の他の手法により近似解を求めてもよい。
【0057】
そして、３値化部２０１は、このようして求めたスカラー値ａをａ１とすると共に３値ベクトルＢをＢ１として、１つ目の３値ベクトルをａ１Ｂ１とする。また、３値化部２０１は、Ｘ１＝Ｘ０－ａ１Ｂ１とする。このとき、Ｘ１は、１つ目の３値ベクトルａ１Ｂ１で近似できなかった誤差と見做せる。
【0058】
手順２－２）次に、３値化部２０１は、ｉ個目の３値ベクトルａｉＢｉ（ｉ≧２）を帰納的に繰り返し計算する。すなわち、ａ１Ｂ１，・・・，ａｉ－１Ｂｉ－１までの３値ベクトルが得られているとき、３値化部２０１は、Ｘｉ－１＝Ｘｉ－２－ａｉ－１Ｂｉ－１とした上で、｜Ｘｉ－１－ａＢ｜２を最小化するようなスカラー値ａと３値ベクトルＢを求める。これは、上記の手順２－１と同様の手法により近似解を求めればよい。
【0059】
そして、３値化部２０１は、このようにして求めたスカラー値ａをａｉとすると共に３値ベクトルＢをＢｉとする。これにより、ｎ個の３値ベクトルａ１Ｂ１，・・・，ａｎＢｎが得られる。
【0060】
手順２－３）最後に、３値化部２０１は、ａ１Ｂ１＋・・・＋ａｎＢｎを３値化ベクトルとする。これにより、当該層の活性化Ｘ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）をｎ個の３値ベクトルの和で近似した３値化ベクトルａ１Ｂ１＋・・・＋ａｎＢｎが得られる。
【0061】
ステップＳ２０３：学習部２０３は、上記のステップＳ２０２で３値化ベクトルａ１Ｂ１＋・・・＋ａｎＢｎを作成した際に得られたスカラー値ａ１，・・・ａｎを用いて、当該層の３値化パラメータＡ＝（ａ'１，ａ'２，・・・，ａ'ｎ）を更新する。
【0062】
具体的には、学習部２０３は、各ｉ＝１，・・・，ｎに対して、ａ'ｉ＝（１－γ）ａ'ｉ＋γａｉによりａ'ｉを更新する。ここで、γは０＜γ＜１を満たすパラメータである。すなわち、学習部２０３は、移動平均によりａ'ｉを更新する。ただし、これは一例であって、他の方法により各層の３値化パラメータを更新してもよい。
【0063】
ステップＳ２０４：推論部２０２は、図４のステップＳ１０３と同様に、当該層に含まれるニューロン毎に、モデルパラメータを用いて、上記のステップＳ２０２で作成された３値化ベクトルの重み付き和を計算する。
【0064】
ステップＳ２０５：推論部２０２は、図４のステップＳ１０４と同様に、当該層に含まれるニューロン毎に、モデルパラメータを用いて、上記のステップＳ２０４で計算された重み付き和に対してバイアス項を加算する。
【0065】
ステップＳ２０６：推論部２０２は、図４のステップＳ１０５と同様に、上記のステップＳ２０５の計算結果を用いて活性化関数を計算する。
【0066】
ステップＳ２０７：推論部２０２は、図４のステップＳ１０６と同様に、当該層に含まれる各ニューロンの活性化関数値を要素とする出力ベクトル（実数値ベクトル）を次の層に出力する。
【0067】
ステップＳ２０８：上記のステップＳ２０１～ステップＳ２０７が最終層まで実行された場合、学習部２０３は、モデルパラメータを更新する。すなわち、学習部２０３は、既知の誤差逆伝播法によりｌｏｓｓ関数の微分を計算し、その微分値を用いてモデルパラメータを更新する。
【0068】
ここで、上記のステップＳ２０２で活性化Ｘを３値化（量子化）する関数（以下、「量子化関数」ともいう。）をＱとする。すなわち、Ｑ（Ｘ）＝ａ１Ｂ１＋・・・＋ａｎＢｎとする。誤差逆伝播法によりｌｏｓｓ関数の微分を計算するためには量子化関数Ｑの微分値が必要であるが、量子化関数Ｑの微分値はその性質上必ず０になってしまい、誤差を逆伝播させることができなくなってしまう。そこで、本実施例では、参考文献４に記載されているＳＴＥ（straight-through estimator）の手法によって量子化関数Ｑの微分値を疑似的に与える。ＳＴＥは量子化学習で用いられる基本的な手法の１つである。
【0069】
具体的には、量子化関数Ｑの疑似的な微分値として、例えば、
【0070】
【数4】
【0071】
なお、モデルパラメータの更新は、学習用データの集合であるバッチ毎に行われてもよい。
【0072】
以上のステップＳ２０１～ステップＳ２０８が実行されることで、３値化パラメータとモデルパラメータが学習される。
【0073】
＜適用例及び評価＞
以下では、本実施例を言語モデルに適用する場合の適用例とその評価について説明する。本適用例では、非特許文献１に記載されているＴｅｒｎａｒｙＢＥＲＴに対して本実施例を適用する。
以下では、本実施例を言語モデルに適用する場合の適用例とその評価について説明する。本適用例では、非特許文献１に記載されているＴｅｒｎａｒｙＢＥＲＴに対して本実施例を適用する。
【0074】
ＴｅｒｎａｒｙＢＥＲＴはＢＥＲＴモデルの重みを３値化、活性化を８ｂｉｔ化しており、本実施例を適用して活性化も３値化することで高速化が期待できる。また、後述するように、従来手法と比較して精度が向上することも確認できた。
【0075】
・ＢＥＲＴ等に代表されるＴｒａｎｓｆｏｒｍｅｒ言語モデルの構成
ＢＥＲＴ等に代表されるＴｒａｎｓｆｏｒｍｅｒ言語モデルは、ｅｍｂｅｄｄｉｎｇ層と、Ｌ個（本適用例ではＬ＝１２）のＴｒａｎｓｆｏｒｍｅｒ ｅｎｃｏｄｅｒブロックとで構成される。ＢＥＲＴのパラメータは、ｔｏｋｅｎ、ｓｅｇｍｅｎｔ、ｐｏｓｉｔｉｏｎに対するｅｍｂｅｄｄｉｎｇ行列Ｗｅ，Ｗｓ，Ｗｐと、ｌ（ｌは小文字のＬ）層目のブロックに含まれるＭｕｌｔｉ－Ｈｅａｄ Ａｔｔｅｎｔｉｏｎ（ＭＨＡ）のｈ番目のｈｅａにおけるｑｕｅｒｙ，ｋｅｙ，ｖａｌｕｅの線形変換行列Ｗｌｈ Ｑ，Ｗｌｈ Ｋ，Ｗｌｈ Ｖ、ＭＨＡの直後に施されるｏｕｔｐｕｔの線形変換行列Ｗｌ Ｏ、及び２層のＦｅｅｄ－Ｆｏｒｗａｒｄ Ｎｅｔｗｏｒｋ（ＦＦＮ）の線形変換行列Ｗｌ １，Ｗｌ ２である。
ＢＥＲＴ等に代表されるＴｒａｎｓｆｏｒｍｅｒ言語モデルは、ｅｍｂｅｄｄｉｎｇ層と、Ｌ個（本適用例ではＬ＝１２）のＴｒａｎｓｆｏｒｍｅｒ ｅｎｃｏｄｅｒブロックとで構成される。ＢＥＲＴのパラメータは、ｔｏｋｅｎ、ｓｅｇｍｅｎｔ、ｐｏｓｉｔｉｏｎに対するｅｍｂｅｄｄｉｎｇ行列Ｗｅ，Ｗｓ，Ｗｐと、ｌ（ｌは小文字のＬ）層目のブロックに含まれるＭｕｌｔｉ－Ｈｅａｄ Ａｔｔｅｎｔｉｏｎ（ＭＨＡ）のｈ番目のｈｅａにおけるｑｕｅｒｙ，ｋｅｙ，ｖａｌｕｅの線形変換行列Ｗｌｈ Ｑ，Ｗｌｈ Ｋ，Ｗｌｈ Ｖ、ＭＨＡの直後に施されるｏｕｔｐｕｔの線形変換行列Ｗｌ Ｏ、及び２層のＦｅｅｄ－Ｆｏｒｗａｒｄ Ｎｅｔｗｏｒｋ（ＦＦＮ）の線形変換行列Ｗｌ １，Ｗｌ ２である。
【0076】
・ＴｅｒｎａｒｙＢＥＲＴで３値化している重み
ｓｅｇｍｅｎｔとｐｏｓｉｔｉｏｎに対するｅｍｂｅｄｄｉｎｇ行列を除くＷｅを重み行列とする１つのｅｍｂｅｄｄｉｎｇ層と、｛Ｗｌｈ Ｑ｝，｛Ｗｌｈ Ｋ｝，｛Ｗｌｈ Ｖ｝，｛Ｗｌ Ｏ｝，｛Ｗｌ １｝，｛Ｗｌ ２｝をそれぞれ重み行列とする６つの線形層との重みを３値化している。
ｓｅｇｍｅｎｔとｐｏｓｉｔｉｏｎに対するｅｍｂｅｄｄｉｎｇ行列を除くＷｅを重み行列とする１つのｅｍｂｅｄｄｉｎｇ層と、｛Ｗｌｈ Ｑ｝，｛Ｗｌｈ Ｋ｝，｛Ｗｌｈ Ｖ｝，｛Ｗｌ Ｏ｝，｛Ｗｌ １｝，｛Ｗｌ ２｝をそれぞれ重み行列とする６つの線形層との重みを３値化している。
【0077】
・本適用例におけるＴｅｒｎａｒｙＢＥＲＴの追実装
ＴｅｒｎａｒｙＢＥＲＴはモデルのコードが公開されていない。そこで、本適用例では、ｈｕｇｇｉｎｇｆａｃｅ社が提供しているＲｏＢＥＲＴａモデルのコード（例えば、参考文献５等を参照）をベースとして追実装を行った。ただし、ＴｅｒｎａｒｙＢＥＲＴではｅｍｂｅｄｄｉｎｇ行列Ｗｅに対して次元毎に量子化係数を用意する特殊な３値化を施しているが、本適用例では簡単のためＷｅは量子化しないものとした。すなわち、本適用例では、｛Ｗｌｈ Ｑ｝，｛Ｗｌｈ Ｋ｝，｛Ｗｌｈ Ｖ｝，｛Ｗｌ Ｏ｝，｛Ｗｌ １｝，｛Ｗｌ ２｝の６つの線形層の重みを実施例１により３値化するものとした。
ＴｅｒｎａｒｙＢＥＲＴはモデルのコードが公開されていない。そこで、本適用例では、ｈｕｇｇｉｎｇｆａｃｅ社が提供しているＲｏＢＥＲＴａモデルのコード（例えば、参考文献５等を参照）をベースとして追実装を行った。ただし、ＴｅｒｎａｒｙＢＥＲＴではｅｍｂｅｄｄｉｎｇ行列Ｗｅに対して次元毎に量子化係数を用意する特殊な３値化を施しているが、本適用例では簡単のためＷｅは量子化しないものとした。すなわち、本適用例では、｛Ｗｌｈ Ｑ｝，｛Ｗｌｈ Ｋ｝，｛Ｗｌｈ Ｖ｝，｛Ｗｌ Ｏ｝，｛Ｗｌ １｝，｛Ｗｌ ２｝の６つの線形層の重みを実施例１により３値化するものとした。
【0078】
・事前学習について
Ｗｉｋｉｔｅｘｔ１０３データセット（例えば、参考文献６等を参照）を用いて各モデルの事前学習を行った。学習対象のモデルは、量子化されていないＲｏＢＥＲＴａモデル（例えば、参考文献７等を参照）、追実装したＴｅｒｎａｒｙＢＥＲＴモデル（８ｂｉｔ活性化）、ＴｅｒｎａｒｙＢＥＲＴの手法のまま活性化を３値化したモデル、追実装したＴｅｒｎａｒｙＢＥＲＴに対して本実施例をそれぞれｎ＝１，２として適用したモデルとした。以下、これら各モデルのそれぞれを「ＲｏＢＥＲＴａ」、「ＴｅｒｎａｒｙＢＥＲＴ（８ｂｉｔ活性化）」、「ＴｅｒｎａｒｙＢＥＲＴ（３値活性化）」、「本実施例（ｎ＝１）」、「本実施例（ｎ＝２）」ともいう。なお、ｎは、活性化を３値化ベクトルで近似する際における３値ベクトルの個数である。
Ｗｉｋｉｔｅｘｔ１０３データセット（例えば、参考文献６等を参照）を用いて各モデルの事前学習を行った。学習対象のモデルは、量子化されていないＲｏＢＥＲＴａモデル（例えば、参考文献７等を参照）、追実装したＴｅｒｎａｒｙＢＥＲＴモデル（８ｂｉｔ活性化）、ＴｅｒｎａｒｙＢＥＲＴの手法のまま活性化を３値化したモデル、追実装したＴｅｒｎａｒｙＢＥＲＴに対して本実施例をそれぞれｎ＝１，２として適用したモデルとした。以下、これら各モデルのそれぞれを「ＲｏＢＥＲＴａ」、「ＴｅｒｎａｒｙＢＥＲＴ（８ｂｉｔ活性化）」、「ＴｅｒｎａｒｙＢＥＲＴ（３値活性化）」、「本実施例（ｎ＝１）」、「本実施例（ｎ＝２）」ともいう。なお、ｎは、活性化を３値化ベクトルで近似する際における３値ベクトルの個数である。
【0079】
学習条件として、事前学習では、バッチサイズを６４、エポック数を３とし、市販の一般的なＧＰＵを１枚用いた。また、学習率は２×１０－５とし、学習の最終ステップでは学習率が０となるように線形に減衰させた。最適化にはａｄａｍを用いて、Ｄｒｏｐｏｕｔ率は０．１とした。
【0080】
ＴｅｒｎａｒｙＢＥＲＴでは実数値モデルを教師モデルとした蒸留学習を行う（例えば、非特許文献１等を参照）。そこで、ＴｅｒｎａｒｙＢＥＲＴでは事前学習を行わず、ｈｕｇｇｉｎｆａｃｅのＲｏＢＥＲＴａモデルをＷｉｋｉｔｅｘｔ１０３データセットで事前学習したもの教師モデルとして、非特許文献１と同様の蒸留ｌｏｓｓを用いて蒸留学習を行った。
【0081】
以上の条件の下で、各モデルの評価実験を行った結果を以下の表１に示す。
【0082】
【表1】
【0083】
重みと活性化が３値の場合で比較すると、ＴｅｒｎａｒｙＢＥＲＴ（３値活性化）ではｐｐｌが１９０４、本実施例（ｎ＝１）ではｐｐｌが２６．９３であり、本実施例の手法がＴｅｒｎａｒｙＢＥＲＴの活性化低ｂｉｔ化手法よりも優れていることがわかる。
【0084】
また、活性化を近似する３値ベクトルを２つに増やした本実施例（ｎ＝２）ではｐｐｌが９．４２であり、ｎを増やすことで精度低下を大幅に抑えることができている。これは、活性化を８ｂｉｔ化したＴｅｒｎａｒｙＢＥＲＴ（８ｂｉｔ活性化）には及ばないものの、活性化を８ｂｉｔ未満にしつつ、今まで困難であった言語モデルの精度維持に成功しているといえる。更に、本実施例（ｎ＝２）では、重みと活性化の両方が３値化されているため、ＴｅｒｎａｒｙＢＥＲＴよりも高速化が期待できる。
【0085】
・ダウンストリームタスクでの評価
事前学習で学習した各モデルをＧＬＵＥデータセット（例えば、参考文献８等を参照）のＱＱＰタスク及びＳＳＴ－２タスクでファインチューニングした。
事前学習で学習した各モデルをＧＬＵＥデータセット（例えば、参考文献８等を参照）のＱＱＰタスク及びＳＳＴ－２タスクでファインチューニングした。
【0086】
評価対象はＲｏＢＥＲＴａ、ＴｅｒｎａｒｙＢＥＲＴ（８ｂｉｔ活性化）、ＴｅｒｎａｒｙＢＥＲＴ（３値活性化）、本実施例（ｎ＝２）とした。
【0087】
学習条件として、各モデルの初期値は事前学習で学習したものとし、バッチサイズを１６、エポック数を３とし、市販の一般的なＧＰＵを１枚用いた。また、学習率は２×１０－５とし、学習の最終ステップでは学習率が０となるように線形に減衰させた。最適化にはａｄａｍを用いて、Ｄｒｏｐｏｕｔ率は０．１とした。
【0088】
ＴｅｒｎａｒｙＢＥＲＴでは実数値モデルを教師モデルとした蒸留学習を行う（例えば、非特許文献１等を参照）。そこで、ＴｅｒｎａｒｙＢＥＲＴではファインチューニングを行わず、ｈｕｇｇｉｎｆａｃｅのＲｏＢＥＲＴａモデルをＧＬＵＥデータセットの各タスクでファインチューニングしたものを教師モデルとして、非特許文献１と同様の蒸留ｌｏｓｓを用いて蒸留学習を行った。
【0089】
以上の条件の下で、各モデルの評価実験を行った結果を以下の表２に示す。
【0090】
【表2】
【0091】
ＴｅｒｎａｒｙＢＥＲＴ（３値活性化）では事前学習で言語モデルを獲得できておらず、各タスクにおいても学習ができていないのに対して、本実施例（ｎ＝２）では各タスクで精度低下が大幅に抑えられている。
【0092】
また、本実施例（ｎ＝２）は、実数値のＲｏＢＥＲＴａと比較しても５～７％程度の精度低下に抑えられており、活性化を８ｂｉｔ未満にしつつも、今まで困難であった言語モデルの精度維持に成功しているといえる。更に、本実施例（ｎ＝２）は、ＴｅｒｎａｒｙＢＥＲＴ（８ｂｉｔ活性化）と比べると精度面では劣るものの、重みと活性化の両方が３値化されているため、ＴｅｒｎａｒｙＢＥＲＴ（８ｂｉｔ活性化）よりも高速化が期待できる。
【0093】
［実施例２］
以下、本実施形態の実施例２について説明する。本実施例では、活性化を２個の３値ベクトルの和で近似する場合について説明する。すなわち、例えば、ニューラルネットワークモデルの或る層の活性化（実数値ベクトル）をＸ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）、当該層の３値化パラメータをＳ＝（ｓ１，ｓ２）とすれば、この実数値ベクトルを３値化ベクトルｓ１Ｂ１＋ｓ２Ｂ２で近似する場合について説明する。ここで、ｓ１，ｓ２は、ｓ１＞２ｓ２＞０を満たすスカラー値、Ｂｉ（ｉ＝１，２）は各要素が－１，０，１のいずれかを取るベクトルである。
以下、本実施形態の実施例２について説明する。本実施例では、活性化を２個の３値ベクトルの和で近似する場合について説明する。すなわち、例えば、ニューラルネットワークモデルの或る層の活性化（実数値ベクトル）をＸ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）、当該層の３値化パラメータをＳ＝（ｓ１，ｓ２）とすれば、この実数値ベクトルを３値化ベクトルｓ１Ｂ１＋ｓ２Ｂ２で近似する場合について説明する。ここで、ｓ１，ｓ２は、ｓ１＞２ｓ２＞０を満たすスカラー値、Ｂｉ（ｉ＝１，２）は各要素が－１，０，１のいずれかを取るベクトルである。
【0094】
なお、本実施例では、実施例１でｎ＝２とした場合と比較して、より高精度に活性化を近似することが可能となる。
【0095】
＜実施例２における推論処理＞
推論時における推論装置１０が実行する推論処理について、図６を参照しながら説明する。図６は、実施例２における推論処理の一例を示すフローチャートである。なお、以下では、３値化パラメータとモデルパラメータは学習済みであるものとする。
推論時における推論装置１０が実行する推論処理について、図６を参照しながら説明する。図６は、実施例２における推論処理の一例を示すフローチャートである。なお、以下では、３値化パラメータとモデルパラメータは学習済みであるものとする。
【0096】
ここで、図６のステップＳ３０１～ステップＳ３０６はニューラルネットワークモデルの各層毎に繰り返し実行される。以下では、ニューラルネットワークモデルの或る層に関するステップＳ３０１～ステップＳ３０６について説明する。
【0097】
ステップＳ３０１：推論部２０２は、図４のステップＳ１０１と同様に、ニューラルネットワークモデルに与えられた実数値ベクトル又は１つ前の層の出力ベクトルである実数値ベクトルを入力する。なお、ニューラルネットワークモデルに与えられた実数値ベクトルとは、タスクの推論対象データのことである。
【0098】
ステップＳ３０２：３値化部２０１は、学習済み３値化パラメータを用いて、上記のステップＳ３０１で入力された実数値ベクトル（つまり、活性化）を３値化し、３値化ベクトルを作成する。このとき、３値化部２０１は、以下の手順３－１～手順３－２により３値化ベクトルを作成する。なお、上記のステップＳ３０１で入力された実数値ベクトルをＸ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）、当該層の学習済み３値化パラメータをＳ＝（ｓ１，ｓ２）とする。また、ｓ１，ｓ２は、ｓ１＞２ｓ２＞０を満たすスカラー値であるものとする。
【0099】
手順３－１）まず、３値化部２０１は、量子化に用いる関数を
【0100】
【数5】
【0101】
【数6】
【0102】
【数7】
【0103】
【数8】
【0104】
手順３－２）そして、３値化部２０１は、ｓ１Ｂ１＋ｓ２Ｂ２を３値化ベクトルとする。これにより、当該層の活性化Ｘ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）を２個の３値ベクトルの和で近似した３値化ベクトルｓ１Ｂ１＋ｓ２Ｂ２が得られる。
【0105】
ステップＳ３０３：推論部２０２は、図４のステップＳ１０３と同様に、当該層に含まれるニューロン毎に、学習済みモデルパラメータを用いて、上記のステップＳ３０２で作成された３値化ベクトルの重み付き和を計算する。
【0106】
ステップＳ３０４：推論部２０２は、図４のステップＳ１０４と同様に、当該層に含まれるニューロン毎に、学習済みモデルパラメータを用いて、上記のステップＳ３０３で計算された重み付き和に対してバイアス項を加算する。
【0107】
ステップＳ３０５：推論部２０２は、図４のステップＳ１０５と同様に、当該層に含まれるニューロン毎に、上記のステップＳ３０４の計算結果を用いて活性化関数を計算する。
【0108】
ステップＳ３０６：推論部２０２は、図４のステップＳ１０６と同様に、当該層に含まれる各ニューロンの活性化関数値を要素とする出力ベクトル（実数値ベクトル）を次の層に出力する。
【0109】
以上のステップＳ３０１～ステップＳ３０６が各層毎に繰り返し実行され、最終層の出力ベクトル（又は、当該出力ベクトルに対して、タスクに応じた所定の処理を行った結果）が推論結果となる。
【0110】
ここで、ＬＳＱ量子化と呼ばれる従来手法（例えば、参考文献９等を参照）と、本実施例とを比較する。ＬＳＱ量子化では、１つの３値ベクトルで活性化を表現している。すなわち、本実施例と対比する形で記載すると、ＬＳＱ量子化では、活性化Ｘをｓ１Ｂ１で表現している。
【0111】
例えば、活性化Ｘを表現する３値化ベクトルを
【0112】
【数9】
【0113】
図７に示すように、本実施例では、ｓ１により与えられる３値のそれぞれをｓ２で微調整することにより、ＬＳＱ量子化よりも精度低下を抑えている。なお、後述するように、学習処理では、ｓ１により与えられる３値のそれぞれをｓ２で微調整するような３値化パラメータＳ＝（ｓ１，ｓ２）を学習できる疑似勾配が与えられる。
【0114】
＜実施例２における学習処理＞
学習時における推論装置１０が実行する学習処理について、図８を参照しながら説明する。図８は、実施例２における学習処理の一例を示すフローチャートである。なお、以下では、３値化パラメータとモデルパラメータは学習済みでないものとする。
学習時における推論装置１０が実行する学習処理について、図８を参照しながら説明する。図８は、実施例２における学習処理の一例を示すフローチャートである。なお、以下では、３値化パラメータとモデルパラメータは学習済みでないものとする。
【0115】
ここで、図８のステップＳ４０２～ステップＳ４０７はニューラルネットワークモデルの各層毎に繰り返し実行される。以下では、ニューラルネットワークモデルの或る層に関するステップＳ４０２～ステップＳ４０７について説明する。なお、ステップＳ４０１の初期化は１回のみ実行される。例えば、モデルパラメータと３値化パラメータの更新がバッチ毎に繰り返される場合、ステップＳ４０１の初期化は１バッチ目のみ実行され、２バッチ目以降では実行されない。
【0116】
ステップＳ４０１：学習部２０３は、ニューラルネットワークモデルに最初に与えられた学習用データを用いて、３値化パラメータを初期化する。具体的には、学習部２０３は、以下の手順４－１～手順４－３により３値化パラメータを初期化する。なお、ニューラルネットワークモデルに最初に与えられた学習用データが表す実数値ベクトルをＸとする。
【0117】
手順４－１）まず、学習部２０３は、｜Ｘ－ｓＢ｜２を最小化するようなスカラー値ｓと３値ベクトルＢを求め、ｓ１＝ｓ，Ｂ１＝Ｂとする。ここで、Ｂは各要素が－１，０，１のいずれかを取るベクトルである。
【0118】
手順４－２）次に、学習部２０３は、｜Ｘ－ｓ１Ｂ１－ｓＢ｜２を最小化するようなスカラー値ｓと３値ベクトルＢを求め、ｓ２＝ｓ，Ｂ２＝Ｂとする。
【0119】
手順４－３）そして、学習部２０３は、上記の手順４－１～手順４－２で求めた（ｓ１，ｓ２）を３値化パラメータＳの初期値とする。これにより、Ｘ－（ｓ１Ｂ１＋ｓ２Ｂ２）のＬ２ノルムを小さくような初期値を得ることができるため、近似誤差の小さい初期値で学習を開始させることができるようになる。
【0120】
ステップＳ４０２：推論部２０２は、図４のステップＳ１０１と同様に、ニューラルネットワークモデルに与えられた実数値ベクトル又は１つ前の層の出力ベクトルである実数値ベクトルを入力する。なお、ニューラルネットワークモデルに与えられた実数値ベクトルとは、タスクの学習用データのことである。
【0121】
ステップＳ４０３：３値化部２０１は、３値化パラメータＳ＝（ｓ１，ｓ２）を用いて、上記のステップＳ４０２で入力された実数値ベクトル（つまり、活性化）を３値化し、３値化ベクトルを作成する。このとき、３値化部２０１は、以下の手順５－１～手順５－２により３値化ベクトルを作成する。なお、上記のステップＳ４０２で入力された実数値ベクトルをＸ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）とする。また、
手順５－１）まず、３値化部２０１は、量子化に用いる関数を
手順５－１）まず、３値化部２０１は、量子化に用いる関数を
【0122】
【数10】
【0123】
【数11】
【0124】
【数12】
【0125】
【数13】
【0126】
手順５－２）そして、３値化部２０１は、ｓ１Ｂ１＋ｓ２Ｂ２を３値化ベクトルとする。これにより、当該層の活性化Ｘ＝（ｘ１，ｘ２，・・・，ｘｄｉｍ）を２個の３値ベクトルの和で近似した３値化ベクトルｓ１Ｂ１＋ｓ２Ｂ２が得られる。
【0127】
ステップＳ４０４：推論部２０２は、図４のステップＳ１０３と同様に、当該層に含まれるニューロン毎に、モデルパラメータを用いて、上記のステップＳ４０３で作成された３値化ベクトルの重み付き和を計算する。
【0128】
ステップＳ４０５：推論部２０２は、図４のステップＳ１０４と同様に、当該層に含まれるニューロン毎に、モデルパラメータを用いて、上記のステップＳ４０４で計算された重み付き和に対してバイアス項を加算する。
【0129】
ステップＳ４０６：推論部２０２は、図４のステップＳ１０５と同様に、上記のステップＳ４０５の計算結果を用いて活性化関数を計算する。
【0130】
ステップＳ４０７：推論部２０２は、図４のステップＳ１０６と同様に、当該層に含まれる各ニューロンの活性化関数値を要素とする出力ベクトル（実数値ベクトル）を次の層に出力する。
【0131】
ステップＳ４０８：上記のステップＳ４０２～ステップＳ４０７が最終層まで実行された場合、学習部２０３は、モデルパラメータと３値化パラメータを更新する。すなわち、学習部２０３は、既知の誤差逆伝播法によりｌｏｓｓ関数の微分を計算し、その微分値を用いてモデルパラメータと３値化パラメータを更新する。
【0132】
ここで、上記のステップＳ４０３で活性化Ｘを３値化（量子化）する量子化関数をＱとする。すなわち、Ｑ（Ｘ）＝ｓ１Ｂ１＋ｓ２Ｂ２とする。上述したように、誤差逆伝播法によりｌｏｓｓ関数の微分を計算するためには量子化関数Ｑの微分値が必要であるが、量子化関数Ｑの微分値はその性質上必ず０になってしまい、誤差を逆伝播させることができなくなってしまう。そこで、本実施例では、量子化関数Ｑの微分値を疑似的に与える。
【0133】
まず、モデルパラメータの学習（更新）に必要な量子化関数Ｑの疑似的な微分値として、例えば、
【0134】
【数14】
【0135】
次に、３値化パラメータＳ＝（ｓ１，ｓ２）の学習（更新）に必要な量子化関数Ｑの疑似的な微分値
【0136】
【数15】
【0137】
記述のため、
【0138】
【数16】
【0139】
【数17】
【0140】
【数18】
【0141】
【数19】
【0142】
ここで、ＬＳＱ量子化の疑似勾配と、本実施例で与える疑似勾配（３値化パラメータＳ＝（ｓ１，ｓ２）の学習に必要な量子化関数Ｑの疑似的な微分値）とを比較する。ＬＳＱ量子化の疑似勾配と、本実施例で与える疑似勾配とを図９に示す。なお、図９では、縦軸が３値化ベクトルのｋ番目の要素の３値化パラメータに関する疑似的な微分、横軸が３値化ベクトルのｋ番目の要素である。
【0143】
図９に示すように、本実施例では、ｓ１により与えられる３値のそれぞれをｓ２で微調整している。すなわち、｛ｓ１，０，－ｓ１｝付近で
【0144】
【数20】
【0145】
【数21】
【0146】
なお、モデルパラメータと３値化パラメータの更新は、学習用データの集合であるバッチ毎に行われてもよい。
【0147】
以上のステップＳ４０１～ステップＳ４０８が実行されることで、３値化パラメータとモデルパラメータが学習される。
【0148】
＜適用例及び評価＞
以下では、本実施例を言語モデルに適用する場合の適用例とその評価について説明する。本適用例では、非特許文献２に記載されているＫＤＬＳＱ－ＢＥＲＴに対して本実施例を適用する。
以下では、本実施例を言語モデルに適用する場合の適用例とその評価について説明する。本適用例では、非特許文献２に記載されているＫＤＬＳＱ－ＢＥＲＴに対して本実施例を適用する。
【0149】
ＫＤＬＳＱ－ＢＥＲＴはＢＥＲＴモデルの重みを３値化、活性化を８ｂｉｔ化しており、本実施例を適用して活性化も３値化することで高速化が期待できる。また、ＫＤＬＳＱ－ＢＥＲＴでは活性化の低ｂｉｔ化にＬＳＱ量子化が用いられており、後述するように、ＬＳＱ量子化と比較して精度が向上することも確認できた。
【0150】
・ＢＥＲＴ等に代表されるＴｒａｎｓｆｏｒｍｅｒ言語モデルの構成
実施例１でも説明したように、ＢＥＲＴ等に代表されるＴｒａｎｓｆｏｒｍｅｒ言語モデルは、ｅｍｂｅｄｄｉｎｇ層と、Ｌ個（本適用例ではＬ＝１２）のＴｒａｎｓｆｏｒｍｅｒ ｅｎｃｏｄｅｒブロックとで構成される。ＢＥＲＴのパラメータは、ｔｏｋｅｎ、ｓｅｇｍｅｎｔ、ｐｏｓｉｔｉｏｎに対するｅｍｂｅｄｄｉｎｇ行列Ｗｅ，Ｗｓ，Ｗｐと、ｌ（ｌは小文字のＬ）層目のブロックに含まれるＭｕｌｔｉ－Ｈｅａｄ Ａｔｔｅｎｔｉｏｎ（ＭＨＡ）のｈ番目のｈｅａにおけるｑｕｅｒｙ，ｋｅｙ，ｖａｌｕｅの線形変換行列Ｗｌｈ Ｑ，Ｗｌｈ Ｋ，Ｗｌｈ Ｖ、ＭＨＡの直後に施されるｏｕｔｐｕｔの線形変換行列Ｗｌ Ｏ、及び２層のＦｅｅｄ－Ｆｏｒｗａｒｄ Ｎｅｔｗｏｒｋ（ＦＦＮ）の線形変換行列Ｗｌ １，Ｗｌ ２である。
実施例１でも説明したように、ＢＥＲＴ等に代表されるＴｒａｎｓｆｏｒｍｅｒ言語モデルは、ｅｍｂｅｄｄｉｎｇ層と、Ｌ個（本適用例ではＬ＝１２）のＴｒａｎｓｆｏｒｍｅｒ ｅｎｃｏｄｅｒブロックとで構成される。ＢＥＲＴのパラメータは、ｔｏｋｅｎ、ｓｅｇｍｅｎｔ、ｐｏｓｉｔｉｏｎに対するｅｍｂｅｄｄｉｎｇ行列Ｗｅ，Ｗｓ，Ｗｐと、ｌ（ｌは小文字のＬ）層目のブロックに含まれるＭｕｌｔｉ－Ｈｅａｄ Ａｔｔｅｎｔｉｏｎ（ＭＨＡ）のｈ番目のｈｅａにおけるｑｕｅｒｙ，ｋｅｙ，ｖａｌｕｅの線形変換行列Ｗｌｈ Ｑ，Ｗｌｈ Ｋ，Ｗｌｈ Ｖ、ＭＨＡの直後に施されるｏｕｔｐｕｔの線形変換行列Ｗｌ Ｏ、及び２層のＦｅｅｄ－Ｆｏｒｗａｒｄ Ｎｅｔｗｏｒｋ（ＦＦＮ）の線形変換行列Ｗｌ １，Ｗｌ ２である。
【0151】
・ＫＤＬＳＱ－ＢＥＲＴで３値化している重み
ｓｅｇｍｅｎｔとｐｏｓｉｔｉｏｎに対するｅｍｂｅｄｄｉｎｇ行列を除くＷｅを重み行列とする１つのｅｍｂｅｄｄｉｎｇ層と、｛Ｗｌｈ Ｑ｝，｛Ｗｌｈ Ｋ｝，｛Ｗｌｈ Ｖ｝，｛Ｗｌ Ｏ｝，｛Ｗｌ １｝，｛Ｗｌ ２｝をそれぞれ重み行列とする６つの線形層との重みを３値化している。
ｓｅｇｍｅｎｔとｐｏｓｉｔｉｏｎに対するｅｍｂｅｄｄｉｎｇ行列を除くＷｅを重み行列とする１つのｅｍｂｅｄｄｉｎｇ層と、｛Ｗｌｈ Ｑ｝，｛Ｗｌｈ Ｋ｝，｛Ｗｌｈ Ｖ｝，｛Ｗｌ Ｏ｝，｛Ｗｌ １｝，｛Ｗｌ ２｝をそれぞれ重み行列とする６つの線形層との重みを３値化している。
【0152】
・本適用例におけるＫＤＬＳＱ－ＢＥＲＴの追実装
ＫＤＬＳＱ－ＢＥＲＴはモデルのコードが公開されていない。そこで、本適用例では、ｈｕｇｇｉｎｇｆａｃｅ社が提供しているＲｏＢＥＲＴａモデルのコード（例えば、参考文献５等を参照）をベースとして追実装を行った。ただし、ＫＤＬＳＱ－ＢＥＲＴではｅｍｂｅｄｄｉｎｇ行列Ｗｅに対して次元毎に量子化係数を用意する特殊な３値化を施しているが、本適用例では簡単のためＷｅは量子化しないものとした。すなわち、本適用例では、｛Ｗｌｈ Ｑ｝，｛Ｗｌｈ Ｋ｝，｛Ｗｌｈ Ｖ｝，｛Ｗｌ Ｏ｝，｛Ｗｌ １｝，｛Ｗｌ ２｝の６つの線形層の重みを実施例２により３値化するものとした。
ＫＤＬＳＱ－ＢＥＲＴはモデルのコードが公開されていない。そこで、本適用例では、ｈｕｇｇｉｎｇｆａｃｅ社が提供しているＲｏＢＥＲＴａモデルのコード（例えば、参考文献５等を参照）をベースとして追実装を行った。ただし、ＫＤＬＳＱ－ＢＥＲＴではｅｍｂｅｄｄｉｎｇ行列Ｗｅに対して次元毎に量子化係数を用意する特殊な３値化を施しているが、本適用例では簡単のためＷｅは量子化しないものとした。すなわち、本適用例では、｛Ｗｌｈ Ｑ｝，｛Ｗｌｈ Ｋ｝，｛Ｗｌｈ Ｖ｝，｛Ｗｌ Ｏ｝，｛Ｗｌ １｝，｛Ｗｌ ２｝の６つの線形層の重みを実施例２により３値化するものとした。
【0153】
・事前学習について
Ｗｉｋｉｔｅｘｔ１０３データセット（例えば、参考文献６等を参照）を用いて各モデルの事前学習を行った。学習対象のモデルは、量子化されていないＲｏＢＥＲＴａモデル（例えば、参考文献７等を参照）、追実装したＫＤＬＳＱ－ＢＥＲＴモデル（８ｂｉｔ活性化）、ＫＤＬＳＱ－ＢＥＲＴの手法のまま活性化を３値化したモデル、追実装したＴｅｒｎａｒｙＢＥＲＴに対して本実施例を適用したモデルとした。以下、これら各モデルのそれぞれを「ＲｏＢＥＲＴａ」、「ＫＤＬＳＱ－ＢＥＲＴ（８ｂｉｔ活性化）」、「ＫＤＬＳＱ－ＢＥＲＴ（３値活性化）」、「本実施例」ともいう。
Ｗｉｋｉｔｅｘｔ１０３データセット（例えば、参考文献６等を参照）を用いて各モデルの事前学習を行った。学習対象のモデルは、量子化されていないＲｏＢＥＲＴａモデル（例えば、参考文献７等を参照）、追実装したＫＤＬＳＱ－ＢＥＲＴモデル（８ｂｉｔ活性化）、ＫＤＬＳＱ－ＢＥＲＴの手法のまま活性化を３値化したモデル、追実装したＴｅｒｎａｒｙＢＥＲＴに対して本実施例を適用したモデルとした。以下、これら各モデルのそれぞれを「ＲｏＢＥＲＴａ」、「ＫＤＬＳＱ－ＢＥＲＴ（８ｂｉｔ活性化）」、「ＫＤＬＳＱ－ＢＥＲＴ（３値活性化）」、「本実施例」ともいう。
【0154】
学習条件として、事前学習では、バッチサイズを６４、エポック数を１２とし、市販の一般的なＧＰＵを１枚用いた。また、学習率は２×１０－５とし、学習の最終ステップでは学習率が０となるように線形に減衰させた。最適化にはａｄａｍを用いて、Ｄｒｏｐｏｕｔ率は０．１とした。
【0155】
ＫＤＬＳＱ－ＢＥＲＴでは実数値モデルを教師モデルとした蒸留学習を行う（例えば、非特許文献２等を参照）。そこで、ＫＤＬＳＱ－ＢＥＲＴでは事前学習を行わず、ｈｕｇｇｉｎｆａｃｅのＲｏＢＥＲＴａモデルをＷｉｋｉｔｅｘｔ１０３データセットで事前学習したもの教師モデルとして、非特許文献２と同様の蒸留ｌｏｓｓを用いて蒸留学習を行った。
【0156】
以上の条件の下で、各モデルの評価実験を行った結果を以下の表３に示す。
【0157】
【表3】
【0158】
また、活性化を近似する３値ベクトルを２つに増やしたことにより精度低下を大幅に抑えることができていることがわかる。これは、活性化を８ｂｉｔ化したＫＤＬＳＱ－ＢＥＲＴ（８ｂｉｔ活性化）には及ばないものの、活性化を８ｂｉｔ未満にしつつ、今まで困難であった言語モデルの精度維持に成功しているといえる。更に、本実施例では、重みと活性化の両方が３値化されているため、ＫＤＬＳＱ－ＢＥＲＴよりも高速化が期待できる。
【0159】
・ダウンストリームタスクでの評価
事前学習で学習した各モデルをＧＬＵＥデータセット（例えば、参考文献８等を参照）の様々なタスク（ＭＮＬＩ、ＱＱＰ、ＱＮＬＩ、ＳＳＴ－２、ＣｏＬＡ、ＳＴＳ－Ｂ、ＭＲＰＣ、ＲＴＥ）でファインチューニングした。
事前学習で学習した各モデルをＧＬＵＥデータセット（例えば、参考文献８等を参照）の様々なタスク（ＭＮＬＩ、ＱＱＰ、ＱＮＬＩ、ＳＳＴ－２、ＣｏＬＡ、ＳＴＳ－Ｂ、ＭＲＰＣ、ＲＴＥ）でファインチューニングした。
【0160】
評価対象はＲｏＢＥＲＴａ、ＫＤＬＳＱ－ＢＥＲＴ（８ｂｉｔ活性化）、ＫＤＬＳＱ－ＢＥＲＴ（３値活性化）、本実施例とした。
【0161】
学習条件として、各モデルの初期値は事前学習で学習したものとし、バッチサイズを１６、エポック数を３とし、市販の一般的なＧＰＵを１枚用いた。また、学習率は２×１０－５とし、学習の最終ステップでは学習率が０となるように線形に減衰させた。最適化にはａｄａｍを用いて、Ｄｒｏｐｏｕｔ率は０．１とした。
【0162】
ＫＤＬＳＱ－ＢＥＲＴでは実数値モデルを教師モデルとした蒸留学習を行う（例えば、非特許文献２等を参照）。そこで、ＫＤＬＳＱ－ＢＥＲＴではファインチューニングを行わず、ｈｕｇｇｉｎｆａｃｅのＲｏＢＥＲＴａモデルをＧＬＵＥデータセットの各タスクでファインチューニングしたものを教師モデルとして、非特許文献２と同様の蒸留ｌｏｓｓを用いて蒸留学習を行った。
【0163】
以上の条件の下で、各モデルの評価実験を行った結果を以下の表４に示す。
【0164】
【表4】
【0165】
ＫＤＬＳＱ－ＢＥＲＴ（３値活性化）と比較して、本実施例では各タスクでの精度低下が大幅に抑えられている。
【0166】
また、ＣｏＬＡ及びＲＴＥ以外のタスクではＲｏＢＥＲＴａと比較しても２～５％程度の精度低下に抑えられており、活性化を８ｂｉｔ未満にしつつも、今まで困難であった言語モデルの精度維持に成功しているといえる。更に、本実施例は、ＫＤＬＳＱ－ＢＥＲＴ（８ｂｉｔ活性化）と比べると精度面では劣るものの、重みと活性化の両方が３値化されているため、ＫＤＬＳＱ－ＢＥＲＴ（８ｂｉｔ活性化）よりも高速化が期待できる。
【0167】
＜まとめ＞
以上のように、本実施形態に係る推論装置１０は、ニューラルネットワークモデルの活性化を高精度に３値化し、そのニューラルネットワークモデルにより所定のタスクの推論を高速に実行することができる。また、ニューラルネットワークモデルとしてＢＥＲＴ等に代表されるＴｒａｎｓｆｏｒｍｅｒ言語モデルを用いて様々な自然言語タスクで実験を行い、従来手法と比べて精度低下を大幅に抑えられることを確認した。
以上のように、本実施形態に係る推論装置１０は、ニューラルネットワークモデルの活性化を高精度に３値化し、そのニューラルネットワークモデルにより所定のタスクの推論を高速に実行することができる。また、ニューラルネットワークモデルとしてＢＥＲＴ等に代表されるＴｒａｎｓｆｏｒｍｅｒ言語モデルを用いて様々な自然言語タスクで実験を行い、従来手法と比べて精度低下を大幅に抑えられることを確認した。
【0168】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
【0169】
以上の実施形態に関し、更に以下の付記を開示する。
【0170】
（付記１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
ニューラルネットワークモデルにより所定のタスクの推論を行い、
複数の３値ベクトルを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化し、
前記ニューラルネットワークモデルのモデルパラメータと、前記活性化を３値で表現するための３値化パラメータとを学習する、
学習装置。
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
ニューラルネットワークモデルにより所定のタスクの推論を行い、
複数の３値ベクトルを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化し、
前記ニューラルネットワークモデルのモデルパラメータと、前記活性化を３値で表現するための３値化パラメータとを学習する、
学習装置。
【0171】
（付記２）
前記プロセッサは、
前記層毎に、前記層への入力を表す活性化と、スカラー値と－１、０、＋１のいずれかを各要素に持つ３値ベクトルとの積のｎ（ただし、ｎは予め決められた自然数）個の和との距離を最小化するような前記スカラー値と前記３値ベクトルとを帰納的に繰り返し計算し、
前記スカラー値との移動平均により前記３値化パラメータを学習する、付記１に記載の学習装置。
前記プロセッサは、
前記層毎に、前記層への入力を表す活性化と、スカラー値と－１、０、＋１のいずれかを各要素に持つ３値ベクトルとの積のｎ（ただし、ｎは予め決められた自然数）個の和との距離を最小化するような前記スカラー値と前記３値ベクトルとを帰納的に繰り返し計算し、
前記スカラー値との移動平均により前記３値化パラメータを学習する、付記１に記載の学習装置。
【0172】
（付記３）
前記プロセッサは、
前記層毎に、前記３値化パラメータを持つ量子化関数により、前記層への入力を表す活性化を３値化し、
前記３値化パラメータに関する前記量子化関数の疑似的な勾配を用いて、誤差逆伝播法により前記３値化パラメータを学習する、付記１に記載の学習装置。
前記プロセッサは、
前記層毎に、前記３値化パラメータを持つ量子化関数により、前記層への入力を表す活性化を３値化し、
前記３値化パラメータに関する前記量子化関数の疑似的な勾配を用いて、誤差逆伝播法により前記３値化パラメータを学習する、付記１に記載の学習装置。
【0173】
（付記４）
前記３値化パラメータは、第１の３値化パラメータと、第２の３値化パラメータとで構成され、
前記プロセッサは、
第１のスカラー値と－１、０、＋１のいずれかを各要素に持つ第１の３値ベクトルとの積と、第２のスカラー値と－１、０、＋１のいずれかを各要素に持つ第２の３値ベクトルとの積との和を最小化するような前記第１のスカラー値と前記第２のスカラー値と前記第１の３値ベクトルと前記第２の３値ベクトルとを計算し、前記第１のスカラー値と前記第２のスカラー値とをそれぞれ前記第１の３値化パラメータと前記第２の３値化パラメータの初期値とし、
前記層毎に、前記３値化パラメータを持つ量子化関数により、前記第１の３値化パラメータと前記第１の３値ベクトルとの積と、前記第２の３値化パラメータと前記第２の３値ベクトルとの積との和で前記層への入力を表す活性化を３値化し、
前記第１の３値化パラメータに関する前記量子化関数の疑似的な勾配と、前記第２の３値化パラメータに関する前記量子化関数の疑似的な勾配とを用いて、前記３値化パラメータを学習する、付記３に記載の学習装置。
前記３値化パラメータは、第１の３値化パラメータと、第２の３値化パラメータとで構成され、
前記プロセッサは、
第１のスカラー値と－１、０、＋１のいずれかを各要素に持つ第１の３値ベクトルとの積と、第２のスカラー値と－１、０、＋１のいずれかを各要素に持つ第２の３値ベクトルとの積との和を最小化するような前記第１のスカラー値と前記第２のスカラー値と前記第１の３値ベクトルと前記第２の３値ベクトルとを計算し、前記第１のスカラー値と前記第２のスカラー値とをそれぞれ前記第１の３値化パラメータと前記第２の３値化パラメータの初期値とし、
前記層毎に、前記３値化パラメータを持つ量子化関数により、前記第１の３値化パラメータと前記第１の３値ベクトルとの積と、前記第２の３値化パラメータと前記第２の３値ベクトルとの積との和で前記層への入力を表す活性化を３値化し、
前記第１の３値化パラメータに関する前記量子化関数の疑似的な勾配と、前記第２の３値化パラメータに関する前記量子化関数の疑似的な勾配とを用いて、前記３値化パラメータを学習する、付記３に記載の学習装置。
【0174】
（付記５）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
ニューラルネットワークモデルにより所定のタスクの推論を行い、
複数の３値ベクトルと、実数値を３値で表現するための学習済み３値化パラメータとを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化する、
推論装置。
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
ニューラルネットワークモデルにより所定のタスクの推論を行い、
複数の３値ベクトルと、実数値を３値で表現するための学習済み３値化パラメータとを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化する、
推論装置。
【0175】
（付記６）
学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記学習処理は、
ニューラルネットワークモデルにより所定のタスクの推論を行い、
複数の３値ベクトルを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化し、
前記ニューラルネットワークモデルのモデルパラメータと、前記活性化を３値で表現するための３値化パラメータとを学習する、
非一時的記憶媒体。
学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記学習処理は、
ニューラルネットワークモデルにより所定のタスクの推論を行い、
複数の３値ベクトルを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化し、
前記ニューラルネットワークモデルのモデルパラメータと、前記活性化を３値で表現するための３値化パラメータとを学習する、
非一時的記憶媒体。
【0176】
（付記７）
推論処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
ニューラルネットワークモデルにより所定のタスクの推論を行い、
複数の３値ベクトルと、実数値を３値で表現するための学習済み３値化パラメータとを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化する、
非一時的記憶媒体。
推論処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
ニューラルネットワークモデルにより所定のタスクの推論を行い、
複数の３値ベクトルと、実数値を３値で表現するための学習済み３値化パラメータとを用いて、前記ニューラルネットワークモデルを構成する各層への入力を表す活性化を３値化する、
非一時的記憶媒体。
【0177】
［参考文献］
参考文献１：Diwen Wan, Fumin Shen, Li Liu, Fan Zhu, Jie Qin, Ling Shao, Heng Tao Shen. TBN: Convolutional Neural Network with Ternary Inputs and Binary Weights (ECCV2018)
参考文献２：Fengfu Li, Bo Zhang, Bin Liu. Ternary Weight Networks (2016)
参考文献３：Lu Hou, James T. Kwok. LOSS-AWARE WEIGHT QUANTIZATION OF DEEP NETWORKS (2018)
参考文献４：Yoshua Bengio, Nicholas Leonard, and Aaron Courville. Estimating or propagating gradients through stochastic neurons for conditional computation. arXiv preprint arXiv:1308.3432, 2013.
参考文献５：huggingface, インターネット＜ＵＲＬ：https://github.com/huggingface/transformers＞
参考文献６：Stephen Merity, Caiming Xiong, James Bradbury, Richard Socher. Pointer Sentinel Mixture Models (2016)
参考文献７：Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M.,Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoy-anov, V.: RoBERTa: A Robustly Optimized BERT Pre-training Approach,CoRR, Vol. abs/1907.11692, (2019)
参考文献８：Alex Wang , Amanpreet Singh , Julian Michael , Felix Hill , Omer Levy & Samuel R. Bowman GLUE: A MULTI-TASK BENCHMARK AND ANALYSIS PLATFORM FOR NATURAL LANGUAGE UNDERSTANDING (ICLR2019)
参考文献９：Steven K. Esser, Jeffrey L. McKinstry, Deepika Bablani, Rathinakumar Appuswamy, Dharmendra S. Modha. LEARNED STEP SIZE QUANTIZATION (ICLR2020)
参考文献１：Diwen Wan, Fumin Shen, Li Liu, Fan Zhu, Jie Qin, Ling Shao, Heng Tao Shen. TBN: Convolutional Neural Network with Ternary Inputs and Binary Weights (ECCV2018)
参考文献２：Fengfu Li, Bo Zhang, Bin Liu. Ternary Weight Networks (2016)
参考文献３：Lu Hou, James T. Kwok. LOSS-AWARE WEIGHT QUANTIZATION OF DEEP NETWORKS (2018)
参考文献４：Yoshua Bengio, Nicholas Leonard, and Aaron Courville. Estimating or propagating gradients through stochastic neurons for conditional computation. arXiv preprint arXiv:1308.3432, 2013.
参考文献５：huggingface, インターネット＜ＵＲＬ：https://github.com/huggingface/transformers＞
参考文献６：Stephen Merity, Caiming Xiong, James Bradbury, Richard Socher. Pointer Sentinel Mixture Models (2016)
参考文献７：Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M.,Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoy-anov, V.: RoBERTa: A Robustly Optimized BERT Pre-training Approach,CoRR, Vol. abs/1907.11692, (2019)
参考文献８：Alex Wang , Amanpreet Singh , Julian Michael , Felix Hill , Omer Levy & Samuel R. Bowman GLUE: A MULTI-TASK BENCHMARK AND ANALYSIS PLATFORM FOR NATURAL LANGUAGE UNDERSTANDING (ICLR2019)
参考文献９：Steven K. Esser, Jeffrey L. McKinstry, Deepika Bablani, Rathinakumar Appuswamy, Dharmendra S. Modha. LEARNED STEP SIZE QUANTIZATION (ICLR2020)
【符号の説明】
【0178】
１０ 推論装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ プロセッサ
１０６ メモリ装置
１０７ バス
２０１ ３値化部
２０２ 推論部
２０３ 学習部
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ プロセッサ
１０６ メモリ装置
１０７ バス
２０１ ３値化部
２０２ 推論部
２０３ 学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】