ホーム > 特許ランキング > 株式会社ソシオネクスト
知財求人 - 知財ポータルサイト「IP Force」
特開2022-162930ウェイトデータ圧縮方法、ウェイトデータ伸長方法、ウェイトデータ圧縮装置及びウェイトデータ伸長装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022162930
(43)【公開日】2022-10-25
(54)【発明の名称】ウェイトデータ圧縮方法、ウェイトデータ伸長方法、ウェイトデータ圧縮装置及びウェイトデータ伸長装置
(51)【国際特許分類】
G06N 3/04 20060101AFI20221018BHJP
【ＦＩ】
G06N3/04
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021068040
(22)【出願日】2021-04-13
(71)【出願人】
【識別番号】514315159
【氏名又は名称】株式会社ソシオネクスト
(74)【代理人】
【識別番号】100189430
【弁理士】
【氏名又は名称】吉川 修一
(74)【代理人】
【識別番号】100190805
【弁理士】
【氏名又は名称】傍島 正朗
(72)【発明者】
【氏名】橋本 芳信
(57)【要約】
【課題】ニューラルネットワークで使用されるターナリーウェイトデータのビット数を従来技術よりも少なくする。
【解決手段】ウェイトデータ圧縮方法は、ニューラルネットワークで使用されるターナリーウェイトデータを圧縮する方法であって、２ビット３値のデータ列であるターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成するステップと、４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、かつ、００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、第１のフラグ列及び第１の非ゼロ値列からなる第１の圧縮データを生成するステップと、を含む。
【選択図】図８
【解決手段】ウェイトデータ圧縮方法は、ニューラルネットワークで使用されるターナリーウェイトデータを圧縮する方法であって、２ビット３値のデータ列であるターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成するステップと、４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、かつ、００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、第１のフラグ列及び第１の非ゼロ値列からなる第１の圧縮データを生成するステップと、を含む。
【選択図】図８
【特許請求の範囲】
【請求項1】
ニューラルネットワークで使用されるターナリーウェイトデータを圧縮する方法であって、
２ビット３値のデータ列である前記ターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成するステップと、
前記４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、かつ、００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、前記第１のフラグ列及び前記第１の非ゼロ値列からなる第１の圧縮データを生成するステップと、
を含むウェイトデータ圧縮方法。
２ビット３値のデータ列である前記ターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成するステップと、
前記４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、かつ、００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、前記第１のフラグ列及び前記第１の非ゼロ値列からなる第１の圧縮データを生成するステップと、
を含むウェイトデータ圧縮方法。
【請求項2】
さらに、前記４ビット９値のうち００００以外の８つのデータと前記３ビット８値のデータとの対応付けを行うステップを含み、
前記第１の圧縮データを生成するステップでは、前記８つのデータと前記３ビット８値のデータとの対応付けに基づいて、００００以外のデータを前記３ビット８値のデータに変換する
請求項１に記載のウェイトデータ圧縮方法。
前記第１の圧縮データを生成するステップでは、前記８つのデータと前記３ビット８値のデータとの対応付けに基づいて、００００以外のデータを前記３ビット８値のデータに変換する
請求項１に記載のウェイトデータ圧縮方法。
【請求項3】
前記２ビット３値は、００、０１及び１１からなる２ビットデータであり、
前記４ビット９値は、００００、０００１、００１１、０１００、０１０１、０１１１、１１００、１１０１及び１１１１からなる４ビットデータであり、
前記３ビット８値は、０００、００１、０１０、０１１、１００、１０１、１１０及び１１１からなる３ビットデータである
請求項１又は２に記載のウェイトデータ圧縮方法。
前記４ビット９値は、００００、０００１、００１１、０１００、０１０１、０１１１、１１００、１１０１及び１１１１からなる４ビットデータであり、
前記３ビット８値は、０００、００１、０１０、０１１、１００、１０１、１１０及び１１１からなる３ビットデータである
請求項１又は２に記載のウェイトデータ圧縮方法。
【請求項4】
前記４ビットデータ列を生成するステップでは、２ビット３値のデータ列である前記ターナリーウェイトデータに対する２ビットデータの区切り数が奇数である場合に、当該ターナリーウェイトデータの末尾に００を付加した後に、当該ターナリーウェイトデータを４ビットごとに区切ることで前記４ビットデータ列を生成する
請求項１～３のいずれか１項に記載のウェイトデータ圧縮方法。
請求項１～３のいずれか１項に記載のウェイトデータ圧縮方法。
【請求項5】
さらに、
前記第１の圧縮データを、前記ニューラルネットワークによる処理が実行される半導体集積回路の外部のメモリに格納するステップを含む
請求項１～４のいずれか１項に記載のウェイトデータ圧縮方法。
前記第１の圧縮データを、前記ニューラルネットワークによる処理が実行される半導体集積回路の外部のメモリに格納するステップを含む
請求項１～４のいずれか１項に記載のウェイトデータ圧縮方法。
【請求項6】
さらに、
２ビット３値のデータ列である前記ターナリーウェイトデータを２ビットごとに区切り、２ビット３値で表現される２ビットデータ列を生成するステップと、
前記２ビットデータ列の２ビットデータのうち、００に該当する２ビットデータには１を、００以外の２ビットデータには０を割り当て、あるいは、００に該当する２ビットデータには０を、００以外の２ビットデータには１を割り当てることで第２のフラグ列を生成し、かつ、００以外の２ビットデータを順に並べて第２の非ゼロ値列を生成することで、前記第２のフラグ列及び前記第２の非ゼロ値列からなる第２の圧縮データを生成するステップと、
前記第１の圧縮データのビット数と、前記第２の圧縮データのビット数とを比較し、前記ビット数が少ないほうの圧縮データをメモリに格納するステップと、
を含む請求項１に記載のウェイトデータ圧縮方法。
２ビット３値のデータ列である前記ターナリーウェイトデータを２ビットごとに区切り、２ビット３値で表現される２ビットデータ列を生成するステップと、
前記２ビットデータ列の２ビットデータのうち、００に該当する２ビットデータには１を、００以外の２ビットデータには０を割り当て、あるいは、００に該当する２ビットデータには０を、００以外の２ビットデータには１を割り当てることで第２のフラグ列を生成し、かつ、００以外の２ビットデータを順に並べて第２の非ゼロ値列を生成することで、前記第２のフラグ列及び前記第２の非ゼロ値列からなる第２の圧縮データを生成するステップと、
前記第１の圧縮データのビット数と、前記第２の圧縮データのビット数とを比較し、前記ビット数が少ないほうの圧縮データをメモリに格納するステップと、
を含む請求項１に記載のウェイトデータ圧縮方法。
【請求項7】
前記格納するステップは、前記ニューラルネットワークの畳み込みレイヤごとに実行される
請求項６に記載のウェイトデータ圧縮方法。
請求項６に記載のウェイトデータ圧縮方法。
【請求項8】
請求項１～５のいずれか１に記載のウェイトデータ圧縮方法によって圧縮された前記第１の圧縮データを伸長する方法であって、
前記第１の非ゼロ値列に含まれる３ビットデータを００００以外の複数の４ビットデータに変換して並べるステップと、
前記第１のフラグ列に含まれる０及び１からなるフラグのうち、前記一方の値のフラグには００００を当てはめ、前記他方の値のフラグには前記複数の４ビットデータが並ぶ順に前記４ビットデータを当てはめることで、圧縮前の前記ターナリーウェイトデータを生成するステップと、
を含むウェイトデータ伸長方法。
前記第１の非ゼロ値列に含まれる３ビットデータを００００以外の複数の４ビットデータに変換して並べるステップと、
前記第１のフラグ列に含まれる０及び１からなるフラグのうち、前記一方の値のフラグには００００を当てはめ、前記他方の値のフラグには前記複数の４ビットデータが並ぶ順に前記４ビットデータを当てはめることで、圧縮前の前記ターナリーウェイトデータを生成するステップと、
を含むウェイトデータ伸長方法。
【請求項9】
ニューラルネットワークで使用されるターナリーウェイトデータを圧縮する圧縮部を備え、
前記圧縮部は、
２ビット３値のデータ列である前記ターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成し、
前記４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、
００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、前記第１のフラグ列及び前記第１の非ゼロ値列からなる第１の圧縮データを生成する
ウェイトデータ圧縮装置。
前記圧縮部は、
２ビット３値のデータ列である前記ターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成し、
前記４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、
００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、前記第１のフラグ列及び前記第１の非ゼロ値列からなる第１の圧縮データを生成する
ウェイトデータ圧縮装置。
【請求項10】
請求項９に記載のウェイトデータ圧縮装置によって圧縮された前記第１の圧縮データを伸長する伸長回路を備え、
前記伸長回路は、
前記３ビット８値で表される前記第１の非ゼロ値列を００００以外の複数の４ビットデータに変換して並べ、
前記第１のフラグ列に含まれる０及び１からなるフラグのうち、前記一方の値のフラグには００００を当てはめ、前記他方の値のフラグには前記複数の４ビットデータが並ぶ順に前記４ビットデータを当てはめることで、圧縮前の前記ターナリーウェイトデータを生成する
ウェイトデータ伸長装置。
前記伸長回路は、
前記３ビット８値で表される前記第１の非ゼロ値列を００００以外の複数の４ビットデータに変換して並べ、
前記第１のフラグ列に含まれる０及び１からなるフラグのうち、前記一方の値のフラグには００００を当てはめ、前記他方の値のフラグには前記複数の４ビットデータが並ぶ順に前記４ビットデータを当てはめることで、圧縮前の前記ターナリーウェイトデータを生成する
ウェイトデータ伸長装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ニューラルネットワークで使用されるウェイトデータを圧縮する方法、圧縮後のウェイトデータを伸長する方法、ウェイトデータ圧縮装置及びウェイトデータ伸長装置に関する。特に、ウェイトが２ビット３値のターナリーウェイトである場合に関する。
【背景技術】
【0002】
従来、ニューラルネットワークでは畳み込み演算が多用される。その際に重み係数となる高次元のウェイトデータはビット数が多く、ウェイトデータを保持するメモリ領域と、ウェイトデータが流れるバスの帯域を圧迫する。そこで、演算以前のウェイトデータのビット数を少なくするために、ウェイトデータの圧縮が行われる。
【0003】
ターナリーウェイトデータを圧縮する方法の一例として、非特許文献１には、ゼロ値圧縮（ＺＶＣ：Ｚｅｒｏ－Ｖａｌｕｅ Ｃｏｍｐｒｅｓｓｉｏｎ）及び連長圧縮（ＲＬＥ：Ｒｕｎ－ｌｅｎｇｔｈ Ｅｎｃｏｄｉｎｇ）による圧縮方法が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Compressing Sparse Ternary Weight Convolutional Neural Networks for Efficient Hardware Acceleration、Hyeonwook Wi,Hyeonuk Kim,Seungkyu Choi,and Lee-Sup Kim、2019 IEEE/ACM International Symposium on Low Power Electronics and Design（ISLPED）
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献１に記載された圧縮方法では、ターナリーウェイトデータのビット数をある程度まで少なくすることができるが、それ以上に少なくすることができない。
【0006】
そこで、本開示は、ニューラルネットワークで使用されるターナリーウェイトデータのビット数を従来技術よりも少なくすることが可能なウェイトデータ圧縮方法等を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本開示の一形態に係るウェイトデータ圧縮方法は、ニューラルネットワークで使用されるターナリーウェイトデータを圧縮する方法であって、２ビット３値のデータ列である前記ターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成するステップと、前記４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、かつ、００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、前記第１のフラグ列及び前記第１の非ゼロ値列からなる第１の圧縮データを生成するステップと、を含む。
【0008】
上記目的を達成するために、本開示の一形態に係るウェイトデータ伸長方法は、上記のウェイトデータ圧縮方法によって圧縮された前記第１の圧縮データを伸長する方法であって、前記第１の非ゼロ値列に含まれる３ビットデータを００００以外の複数の４ビットデータに変換して並べるステップと、前記第１のフラグ列に含まれる０及び１からなるフラグのうち、前記一方の値のフラグには００００を当てはめ、前記他方の値のフラグには前記複数の４ビットデータが並ぶ順に前記４ビットデータを当てはめることで、圧縮前の前記ターナリーウェイトデータを生成するステップと、を含む。
【0009】
上記目的を達成するために、本開示の一形態に係るウェイトデータ圧縮装置は、ニューラルネットワークで使用されるターナリーウェイトデータを圧縮する圧縮部を備え、前記圧縮部は、２ビット３値のデータ列である前記ターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成し、前記４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、前記第１のフラグ列及び前記第１の非ゼロ値列からなる第１の圧縮データを生成する。
【0010】
上記目的を達成するために、本開示の一形態に係るウェイトデータ伸長装置は、上記に記載のウェイトデータ圧縮装置によって圧縮された前記第１の圧縮データを伸長する伸長回路を備え、前記伸長回路は、前記３ビット８値で表される前記第１の非ゼロ値列を００００以外の複数の４ビットデータに変換して並べ、前記第１のフラグ列に含まれる０及び１からなるフラグのうち、前記一方の値のフラグには００００を当てはめ、前記他方の値のフラグには前記複数の４ビットデータが並ぶ順に前記４ビットデータを当てはめることで、圧縮前の前記ターナリーウェイトデータを生成する。
【発明の効果】
【0011】
本開示のウェイトデータ圧縮方法等によれば、ニューラルネットワークで使用されるターナリーウェイトデータのビット数を従来技術よりも少なくすることが可能となる。
【図面の簡単な説明】
【0012】
【図1】畳み込みニューラルネットワークの構成の一例と、その構成においてウェイトデータが使用される位置を示す図である。
【図2】ＩＮＴ８（８ビット整数）のネットワークで使用されるウェイトの度数分布の一例を示す図である。
【図3】ターナリーウェイトの度数分布の一例を示す図である。
【図4】比較例１のウェイトデータ圧縮方法において、ターナリーウェイトデータが圧縮される過程を示す図である。
【図5】比較例２のウェイトデータ圧縮方法において、ターナリーウェイトデータが圧縮される過程を示す図である。
【図6】図６の（ａ）は、２ビット３値であるターナリーウェイトの度数分布の一例を示す図であり、図６の（ｂ）は、ターナリーウェイトデータを、仮想的に４ビット９値のデータ列であるとみなした場合の９値の度数分布の一例を示す図である。
【図7】実施の形態１に係るウェイトデータ圧縮装置の機能構成の概要を示すブロック図である。
【図8】実施の形態１に係るウェイトデータ圧縮装置において、ターナリーウェイトデータが圧縮される過程を示す図である。
【図9】実施の形態１、比較例１及び比較例２におけるターナリーウェイトデータの圧縮前後のビット数の変化を示す図である。
【図10】ターナリーウェイトデータに含まれる非ゼロ値を表現するのに必要なビット数を示す図である。
【図11】実施の形態１に係るウェイトデータ圧縮装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。
【図12】実施の形態１に係るウェイトデータ圧縮方法を示すフローチャートである。
【図13】実施の形態１の変形例１に係るウェイトデータ圧縮方法を示すフローチャートである。
【図14】実施の形態２に係るウェイトデータ伸長装置の機能構成の概要を示すブロック図である。
【図15】実施の形態２に係るウェイトデータ伸長装置において、ターナリーウェイトデータが伸長される過程を示す図である。
【図16】実施の形態２に係るウェイトデータ伸長装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。
【図17】実施の形態２に係るウェイトデータ伸長方法を示すフローチャートである。
【図18】実施の形態３にて実行されるウェイトデータの圧縮処理及び伸長処理を示す図である。
【図19】実施の形態４にて実行されるウェイトデータの圧縮処理及び伸長処理を示す図である。
【発明を実施するための形態】
【0013】
【0014】
図１は、畳み込みニューラルネットワーク１の構成の一例と、その構成においてウェイトデータが使用される位置を示す図である。
【0015】
畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１は、Ｃｏｎｖｏｌｕｔｉｏｎレイヤ及びＤｅｎｓｅ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤなどの複数のレイヤ（Ｌａｙｅｒ）によって構成される。例えば、各レイヤでは、入力されたデータにウェイト（Ｗｅｉｇｈｔ）を乗算しバイアス（Ｂｉａｓ）を加算するという行列演算が実行される。この行列演算は、半導体集積回路にて実行され、この演算処理によって得られたデータは、他レイヤの入力となる。
【0016】
畳み込みニューラルネットワーク１（以下、ニューラルネットワーク１と呼ぶ場合がある）では、ニューラルネットワーク１で使用されるウェイトデータのビット数を削減する圧縮が行われる。
【0017】
図２は、ＩＮＴ８（８ビット整数）のネットワークで使用されるウェイトの度数分布の一例を示す図である。図２には、８ビット整数のネットワークで使用されるウェイトとして、８ビット２５６値で表現されるウェイトの度数分布の一例が示されている。同図に示すウェイトは、０（図２に示す（００００００００））の出現頻度が最も高く、０を中心に左右対称の分布傾向を有している。そこで、８ビット整数のネットワークで使用されるウェイトデータに対しては、０の出現頻度の高さを利用したデータ圧縮が行われる。なお、０の出現頻度が相対的に高くなるのは、ニューラルネットワークの学習時において、過学習を防ぐために一般に用いられる正則化に因るところが大きい。
【0018】
図３は、ターナリーウェイトの度数分布の一例を示す図である。図３には、Ｔｅｒｎａｒｙネットワークで使用されるターナリーウェイトの度数分布の一例が示されている。２ビット３値は、例えば、００、０１、１１からなる２ビットデータであり、この場合、１０は含まれない。同図に示すウェイトデータも、０（図３に示す（００））の出現頻度が最も高く、０を中心に左右対称の分布傾向を有している。そこで、Ｔｅｒｎａｒｙネットワークで使用されるウェイトデータに対しても、０の出現頻度の高さを利用したデータ圧縮が行われる。
【0019】
図４は、比較例１のウェイトデータ圧縮方法において、ターナリーウェイトデータが圧縮される過程を示す図である。比較例１のウェイトデータ圧縮方法は、ゼロ値圧縮（ＺＶＣ）による圧縮方法であり、ターナリーウェイトデータに含まれる複数の２ビットデータをフラグ化することで圧縮を行う。
【0020】
比較例１及び２、ならびに、後述する実施の形態では、圧縮前のターナリーウェイトデータが、以下に示す２ビット３値で表されるターナリーウェイトが１６個連続した３２ビットデータである例について説明する（図４の（ａ）参照）。
【0021】
「３２ｂ（０００００１００００００１１０００００１００００００００００１１）」
【0022】
なお、上記の３２ｂは、括弧内のデータが３２ビットデータであることを示す。同様に以下において、ｎｂ（００００・・・・）のｎｂは、括弧内のデータがｎビットデータ（ｎは２以上の整数）であることを示す。
【0023】
上記の３２ビットデータを２ビットごとに区切ると、３２ビットデータは以下に示す２ビットデータ列で表される（図４の（ｂ）参照）。
【0024】
「３２ｂ（００＿００＿０１＿００＿００＿００＿１１＿００＿００＿０１＿００＿００＿００＿００＿００＿１１）」
【0025】
上記の２ビットデータ列の２ビットデータのうち、（００）に該当する２ビットデータには（１）のフラグを割り当て、（００）以外の２ビットデータには（０）のフラグを割り当てると、以下に示す１６ビットデータからなるフラグ列が生成される（図４の（ｃ）参照）。
【0026】
「１６ｂ（１＿１＿０＿１＿１＿１＿０＿１＿１＿０＿１＿１＿１＿１＿１＿０）」
【0027】
上記の１６ビットデータは、フラグ（１）の位置に（００）であるゼロ値が存在し、フラグ（０）の位置に（００）以外の２ビットデータである非ゼロ値が存在していることを表している。
【0028】
比較例１では、（００）以外の２ビットデータのうち、２ビットデータが（１１）であるものには（１）を割り当て、（０１）であるものには（０）を割り当てる。すると、（００）以外の２ビットデータを順に並べた非ゼロ値列は、以下に示すデータで表される（図４の（ｄ）参照）。
【0029】
「４ｂ（０＿１＿０＿１）」
【0030】
このようにして、比較例１では、上記フラグ列及び非ゼロ値列からなる圧縮データが生成される。圧縮後のビット数は、１６ビット＋４ビット＝２０ビットとなり、圧縮前のターナリーウェイトデータのビット数よりも減少している。
【0031】
図５は、比較例２のウェイトデータ圧縮方法において、ターナリーウェイトデータが圧縮される過程を示す図である。比較例２のウェイトデータ圧縮方法は、連長圧縮（ＲＬＥ）による圧縮方法であり、ターナリーウェイトデータに含まれる複数の２ビットデータ（００）（０１）（１１）のうちの（００）の連続性を利用して圧縮する。
【0032】
この例でも、圧縮前のターナリーウェイトデータが、以下に示す２ビット３値であるターナリーウェイトが１６個連続した３２ビットデータである例について説明する（図５の（ａ）参照）。
【0033】
「３２ｂ（０００００１００００００１１０００００１００００００００００１１）」
【0034】
上記の３２ビットデータを２ビットごとに区切ると、３２ビットデータは以下に示すような２ビットデータ列で表される（図５の（ｂ）参照）。
【0035】
「３２ｂ（００＿００＿０１＿００＿００＿００＿１１＿００＿００＿０１＿００＿００＿００＿００＿００＿１１）」
【0036】
上記の２ビットデータ列では、（００）が２連続して表れた後に（０１）が表れ、（００）が３連続して表れた後に（１１）が表れ、（００）が２連続して表れた後に（０１）が表れ、（００）が２連続して表れた後に（０１）が表れ、（００）が３連続して表れた後に（００）が表れ、（００）が１つ表れた後に（１１）が表れている。
【0037】
比較例２では、図５の（ｃ）に示すように、（００）が３連続している場合に（１１）を割り当て、（００）が２連続している場合に（１０）を割り当て、（００）が１つ表れている場合に（０１）を割り当てる。また、比較例２では、さらに、（００）以外のデータに対してそのまま同じ値を割り当て、（００）が３連続して表れた後のデータにもそのまま同じ値を割り当てる。すると、上記の３２ビットデータは、以下に示すデータで表される（図５の（ｃ）参照）。
【0038】
「２０ｂ（１０＿０１＿１１＿１１＿１０＿０１＿１１＿００＿０１＿１１）」
【0039】
このようにして、比較例２では、上記の圧縮データが生成される。圧縮後のビット数は、２０ビットとなり、圧縮前のターナリーウェイトデータのビット数よりも減少している。
【0040】
しかしながら、比較例１及び２に示す圧縮方法では、ターナリーウェイトデータのビット数をある程度まで少なくすることができるが、それ以上に少なくすることができない。そこで、本開示のウェイトデータ圧縮方法は、ターナリーウェイトデータのビット数を比較例１及び２よりも少なくすることができるように、以下に示す構成を有している。
【0041】
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。
【0042】
（実施の形態１）
［１－１．ウェイトデータ圧縮装置］
まず、本実施の形態にて取り扱うウェイトデータについて説明する。
［１－１．ウェイトデータ圧縮装置］
まず、本実施の形態にて取り扱うウェイトデータについて説明する。
【0043】
図６の（ａ）は、２ビット３値であるターナリーウェイトの度数分布の一例を示す図であり、図６の（ｂ）は、ターナリーウェイトデータを、仮想的に４ビット９値のデータ列であるとみなした場合の９値の度数分布の一例を示す図である。図６の（ａ）及び（ｂ）は、同一のターナリーウェイトデータを、異なる粒度で度数分布図に落とし込んだものである。
【0044】
ターナリーウェイトは、前述したように、００、０１及び１１からなる２ビットデータであり、１０は含まれない。
【0045】
４ビット９値は、連続する２ビットのターナリーウェイト２つを連結した仮想的な４ビットデータで、圧縮手順の中でのみ考慮し、実際の演算には用いられないものであり、具体的には、００００、０００１、００１１、０１００、０１０１、０１１１、１１００、１１０１及び１１１１からなるデータである。４ビット９値には、２ビット３値に含まれていない２ビットデータは含まれていない。すなわち４ビット９値には、１０を用いる００１０、０１１０、１１１０、１０００、１００１、１０１０及び１０１１は含まれない。
【0046】
図６の（ｂ）に示すように、４ビット９値においても、２ビット３値の場合と同様に、０（図６に示す（００００））の出現頻度が高くなっている。そこで、本実施の形態でも、０の出現頻度の高さを利用してデータ圧縮が行われる。
【0047】
図７は、実施の形態１に係るウェイトデータ圧縮装置１０の機能構成の概要を示すブロック図である。
【0048】
ウェイトデータ圧縮装置１０（以下、データ圧縮装置１０と呼ぶ場合がある）は、後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、揮発性のメモリ及び不揮発性のメモリと、不揮発性のメモリに格納されたプログラムとを備えている。データ圧縮装置１０の機能的な構成は、上記プログラムを実行することで実現される。
【0049】
データ圧縮装置１０は、ニューラルネットワーク１で使用されるウェイトデータを圧縮する圧縮部２０を備える。圧縮部２０には、ニューラルネットワーク１で使用されるウェイトデータが入力され、圧縮部２０は、入力されたウェイトデータを圧縮して、圧縮後のウェイトデータ（後述する第１の圧縮データｄ１）を生成する。圧縮後のウェイトデータは、外部のメモリに格納される。以下、圧縮部２０が実行する処理について説明する。
【0050】
図８は、ウェイトデータ圧縮装置１０において、ターナリーウェイトデータが圧縮される過程を示す図である。このデータ圧縮装置１０では、２ビット３値のデータ列であるターナリーウェイトデータを仮想的に４ビット９値のデータ列であるとみなしてデータ圧縮を行う。
【0051】
本実施の形態でも、圧縮前の２ビット３値のデータ列であるターナリーウェイトデータが、
「３２ｂ（０００００１００００００１１０００００１００００００００００１１）」
であるとして説明する（図８の（ａ）参照）。
「３２ｂ（０００００１００００００１１０００００１００００００００００１１）」
であるとして説明する（図８の（ａ）参照）。
【0052】
圧縮部２０は、２ビット３値のデータ列であるターナリーウェイトデータを４ビットごとに区切り、以下に示す４ビット９値で表現される４ビットデータ列を生成する（図８の（ｂ）参照）。
【0053】
「３２ｂ（００００＿０１００＿００００＿１１００＿０００１＿００００＿００００＿００１１）」
【0054】
圧縮部２０は、上記の４ビットデータ列に含まれる各データが、（００００）であるか否かを判断し、フラグ化する。具体的には圧縮部２０は、４ビットデータ列の４ビットデータのうち、（００００）に該当する４ビットデータには（０）及び（１）のうち一方の値をフラグとして割り当て、（００００）以外の４ビットデータには（０）及び（１）のうち他方の値をフラグとして割り当てる。本実施の形態では、圧縮部２０は、（００００）に該当する４ビットデータには（１）を割り当て、（００００）以外の４ビットデータには（０）を割り当てる。すると、以下に示す８ビットデータからなる第１のフラグ列が生成される（図８の（ｃ）参照）。
【0055】
「８ｂ（１＿０＿１＿０＿０＿１＿１＿０）」
【0056】
上記の第１のフラグ列は、フラグ（１）の位置に（００００）の４ビットデータであるゼロ値が存在し、フラグ（０）の位置に（００００）以外の４ビットデータである非ゼロ値が存在していることを表している。
【0057】
ここで、圧縮部２０は、（００００）以外の４ビットデータを、図８の（ｅ）に示すテーブルＴ１に基づいて、３ビットデータに変換する。テーブルＴ１は、（００００）以外の８つのデータと３ビット８値のデータとの対応付けがされているテーブルであり、圧縮部２０に実装されている。３ビット８値は、１１１、１１０、１０１、１００、０１１、０１０、００１及び０００からなる３ビットデータである。
【0058】
圧縮部２０は、テーブルＴ１に基づいて、（００００）以外の４ビットデータを３ビットデータに変換して第１の非ゼロ値列を生成する。具体的には、（００００）以外の４ビットデータのうち、（１１１１）には（１１１）を割り当て、（１１０１）には（１１０）を割り当て、（１１００）には（１０１）を割り当て、（０００１）には（１００）を割り当て、（００１１）には（０１１）を割り当て、（０１００）には（０１０）を割り当て、（０１０１）には（００１）を割り当て、（０１１１）には（０００）を割り当てる。これにより、３２ビットデータに含まれる非ゼロ値が、以下に示す第１の非ゼロ値列で表される（図８の（ｄ）参照）。
【0059】
「１２ｂ（０１０＿１０１＿１００＿０１１）」
【0060】
このように実施の形態１では、圧縮部２０が、第１のフラグ列及び第１の非ゼロ値列からなる第１の圧縮データｄ１を生成する。第１の圧縮データｄ１のビット数は、８ビット＋１２ビット＝２０ビットとなり、圧縮前のウェイトデータのビット数よりも減少している。
【0061】
なお、上記の３２ビットデータの例では、実施の形態１、比較例１及び２の全てにおいてビット数の減少数が同じとなっているが、実際のビット数の減少数は、データの中身によって変わるものである。以下では、データの中身によってビット数がどのように変わるかを説明する。
【0062】
図９は、実施の形態１、比較例１及び比較例２におけるターナリーウェイトデータの圧縮前後のビット数の変化を示す図である。図９には、圧縮前のターナリーウェイトデータのビット数がＡで示され、圧縮後のターナリーウェイトデータのビット数がＡの倍数で示されている。なお、この例では、圧縮前のターナリーウェイトデータのビット数を８の倍数にし、比較例２にとって不利とならないビット数としている。
【0063】
同図に示すように、比較例１の圧縮方法では、フラグ列のビット数を「Ａ／２」にすることができる。また、比較例１の圧縮方法では、非ゼロ値列のビット数を最も圧縮効果が高いときに「０」にすることができ、最も圧縮効果が低いときに「Ａ／２」にすることができる。比較例１における圧縮後のビット数は、フラグ列のビット数及び非ゼロ値列のビット数の合計値であり「Ａ／２～Ａ」の範囲となる。
【0064】
また、比較例２の圧縮方法では、最も圧縮効果が高いときに「Ａ／２」にすることができ、最も圧縮効果が低いときに「２Ａ」となる。比較例２における圧縮後のビット数は「Ａ／２～２Ａ」の範囲となる。
【0065】
それに対し、実施の形態１の圧縮方法では、第１のフラグ列のビット数を「Ａ／４」にすることができる。また、実施の形態１の圧縮方法では、非ゼロ値のビット数を最も圧縮効果が高いときに「０」にすることができ、最も圧縮効果が低いときに「３Ａ／４」にすることができる。実施の形態１における圧縮後のビット数は、第１のフラグ列のビット数及び第１の非ゼロ値列のビット数の合計値であり「Ａ／４～Ａ」の範囲となる。したがって、実施の形態１では、比較例１及び２よりも、圧縮後のビット数を少なくすることが可能となる。また、比較例２は圧縮後のビット数が増えることがあるのに対し、実施の形態１では圧縮後のビット数が増えることはない。
【0066】
このように、本実施の形態に係るデータ圧縮装置１０では、圧縮部２０が、２ビット３値のデータ列であるターナリーウェイトデータから４ビットデータ列を生成し、この４ビットデータ列に基づいて、第１のフラグ列及び第１の非ゼロ値列を生成する。これによれば、データの圧縮を効果的に行うことができ、ニューラルネットワーク１で使用されるターナリーウェイトデータのビット数を従来技術よりも少なくすることができる。
【0067】
ここで、２ビット３値のデータ列であるターナリーウェイトデータを４ビット９値で表現される４ビットデータ列に変換することにした理由について説明する。具体的には、２ビット３値のデータ列であるターナリーウェイトデータを３ビット又は５ビット等で表現されるデータ列には変換していない点について説明する。
【0068】
図１０は、ターナリーウェイトデータに含まれる非ゼロ値を表現するのに必要なビット数を示す図である。図１０には、２ビット３値のデータ列であるターナリーウェイトデータを仮想的にＮビットのデータ列とみなし（Ｎは２以上の整数、あるいは、最後がＮビットに満たない場合は、満たない数だけ１ビットの０を付加する）、フラグ化して圧縮する場合が示されている。また、図１０には、上記のようにして仮想したＮビットのウェイトデータに含まれる非ゼロ値の通り数、及び、非ゼロ値を表現するのに必要なビット数が示されている。同図に示すように、Ｎが奇数である場合は、仮想的にＮビット２Ｎ値のデータ列であるとみなし、そのＮビットデータにおいて発現する２Ｎ－１通りの非ゼロ値を表現するのにＮビットが必要となる。他方、Ｎが偶数である場合は、Ｎ＝２Ｍとして（Ｍは１以上の整数）、仮想的にＮビット３Ｍ値のデータ列であるとみなし、そのＮビットデータ列において発現する３Ｍ－１通りの非ゼロ値を表現するのに、多くともＮ－１ビットが必要となる。ゆえに、一般にＮを奇数とするよりも、最近接の偶数へ切り上げた方が圧縮効果を高くすることができる。また、Ｎが偶数である場合において、Ｎ＝２、及びＮ＝４では、数学的に３Ｍ－１＝２Ｎ－１という条件が成り立つため、非ゼロ値を表現するビットに無駄がないが、Ｎ＝６、及びＮ＝８では、３Ｍ－１＜２Ｎ－１となり、非ゼロ値を表現するためのビットを無駄にしており、圧縮効果が低い。例えば、Ｎ＝８では、８０通りの非ゼロ値を表現するために７ビットを要するが、本来７ビットでは２７＝１２８通りを表現できるため、７ビットの非ゼロ値に１２８－８０＝４８通り分の無駄を含んでいると言える。また、Ｎ＝１０以上では、３Ｍ－１＜２Ｎ－２が成り立つため、非ゼロ値を表現するのに多くともＮ－２ビットで足りるが、圧縮手段として現実的ではない。例えば、Ｎ＝１０の段階で、もはや２４３値ものウェイトデータであるとみなすため、フラグ化対象であるゼロ値の出現頻度が極端に低くなり圧縮効果を得られない。また、２４２通りもの非ゼロ値の８ビットへの対応付けも困難となる。したがって、２ビット３値のデータ列であるターナリーウェイトデータを、仮想的に３ビット以上のデータ列に変換する場合においては、４ビット９値で表現されるデータ列に変換することが望ましい。
【0069】
［１－２．ハードウェア構成］
次に、本実施の形態に係るウェイトデータ圧縮装置１０のハードウェア構成について、図１１を参照しながら説明する。
次に、本実施の形態に係るウェイトデータ圧縮装置１０のハードウェア構成について、図１１を参照しながら説明する。
【0070】
図１１は、実施の形態１に係るウェイトデータ圧縮装置１０の機能をソフトウェアにより実現するコンピュータ１０００のハードウェア構成の一例を示す図である。
【0071】
コンピュータ１０００は、ウェイトデータを圧縮するためのコンピュータである。コンピュータ１０００は、図１１に示すように、入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、書き込み装置１００６、読取装置１００７、送受信装置１００８及びバス１００９を備える。入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。
【0072】
入力装置１００１は入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。
【0073】
出力装置１００２は、コンピュータ１０００からの信号を出力する装置であり、信号出力端子の他、ディスプレイ、スピーカなどのユーザインタフェースとなる装置であってもよい。
【0074】
内蔵ストレージ１００４は、フラッシュメモリなどである。また、内蔵ストレージ１００４は、ウェイトデータ圧縮装置１０の機能を実現するためのプログラム、及び、ウェイトデータ圧縮装置１０の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。
【0075】
ＲＡＭ１００５は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、プログラム又はアプリケーションの実行に際してデータ等の記憶に利用される。
【0076】
読取装置１００７は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体から情報を読み取る。読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラムやアプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。
【0077】
送受信装置１００８は、無線又は有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラムやアプリケーションをダウンロードして内蔵ストレージ１００４に記憶させる。
【0078】
ＣＰＵ１００３は、中央演算処理装置であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションなどをＲＡＭ１００５にコピーし、コピーしたプログラム、アプリケーションなどに含まれる命令をＲＡＭ１００５から順次読み出して実行する。ＣＰＵ１００３は、読取装置１００７又は送受信装置１００８から取得したウェイトデータの圧縮処理を実行する。
【0079】
書き込み装置１００６は、ＣＰＵ１００３で演算処理した結果をメモリに書き込む。メモリは、ニューラルネットワーク１を実行する半導体集積回路から見て外部に位置するメモリであり、このメモリには、ＣＰＵ１００３により圧縮処理された第１の圧縮データｄ１が格納される。
【0080】
［１－３．ウェイトデータ圧縮方法］
次に、実施の形態１に係るウェイトデータ圧縮方法について、図１２を参照しながら説明する。
次に、実施の形態１に係るウェイトデータ圧縮方法について、図１２を参照しながら説明する。
【0081】
図１２は、実施の形態１に係るウェイトデータ圧縮方法の流れを示すフローチャートである。
【0082】
本実施の形態に係るウェイトデータ圧縮方法は、ニューラルネットワーク１で使用されるウェイトデータを圧縮する方法であって、４ビットデータ列を生成するステップと、第１の圧縮データｄ１を生成するステップと、を含む。
【0083】
まず、圧縮部２０は、図８の（ａ）に示す２ビット３値のデータ列であるターナリーウェイトデータを、図８の（ｂ）に示すように４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成する（ステップＳ１１）。
【0084】
次に、圧縮部２０は、ステップＳ１１で生成した４ビットデータ列の４ビットデータのうち、（００００）に該当する４ビットデータには（０）及び（１）のうち一方の値をフラグとして割り当て、（００００）以外の４ビットデータには（０）及び（１）のうち他方の値をフラグとして割り当てる。圧縮部２０は、これらの割り当てにより、第１のフラグ列を生成する（ステップＳ１２）。本実施の形態では、図８の（ｃ）に示すように、（００００）に該当する４ビットデータには（１）を割り当て、（００００）以外の４ビットデータには（０）を割り当てる。
【0085】
また、圧縮部２０は、（００００）以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成する（ステップＳ１３）。４ビットデータを３ビットデータに変換する際は、図８の（ｅ）に示すテーブルＴ１に基づいて、４ビットデータを３ビットデータに変換し、第１の非ゼロ値列を生成する。これらステップＳ１２及びＳ１３により、第１のフラグ列及び第１の非ゼロ値列からなる第１の圧縮データｄ１を生成する（ステップＳ１４）。なお、テーブルＴ１に示されている００００以外の８つのデータと３ビット８値のデータとの対応付けは、ステップＳ１３よりも前に予め決定され、圧縮部２０に実装されている。
【0086】
圧縮部２０は、第１の圧縮データｄ１を、ニューラルネットワーク１による処理が実行される半導体集積回路の外部のメモリに格納する（ステップＳ１５）。
【0087】
これらステップＳ１１～Ｓ１５が実行されることで、ターナリーウェイトデータが圧縮され、保存される。なお、４ビットデータ列を生成するステップＳ１１において、２ビット３値のデータ列であるターナリーウェイトデータに対する２ビットデータの区切り数が奇数となり、ウェイトデータの末尾が４ビットデータにならない場合がある。その場合、圧縮部２０は、ウェイトデータの末尾に（００）を付加した後に当該ウェイトデータを４ビットごとに区切ることで、４ビットデータ列を生成してもよい。ただし、慣例的には畳み込みニューラルネットワークの１レイヤ毎のウェイトデータに含まれるウェイト数は偶数であるため、２ビットデータの区切り数は一般に偶数である。
【0088】
［１－４．実施の形態１の変形例１］
実施の形態１の変形例１に係るウェイトデータ圧縮方法について説明する。この例では、実施の形態１の圧縮方法に加え、さらに、比較例１の圧縮方法を実行し、圧縮効果が高いほうの圧縮方法を選択する例について説明する。
実施の形態１の変形例１に係るウェイトデータ圧縮方法について説明する。この例では、実施の形態１の圧縮方法に加え、さらに、比較例１の圧縮方法を実行し、圧縮効果が高いほうの圧縮方法を選択する例について説明する。
【0089】
図１３は、実施の形態１の変形例１に係るウェイトデータ圧縮方法を示すフローチャートである。変形例１に係るウェイトデータ圧縮方法は、上記で説明したステップＳ１１～Ｓ１４に加え、さらに、２ビットデータ列を生成するステップと、第２の圧縮データｄ２を生成するステップ等と、を含む。ここでは、ステップＳ１１～Ｓ１４以外のステップを中心に説明する。
【0090】
ステップＳ１１～Ｓ１４の後、圧縮部２０は、図４の（ａ）に示す２ビット３値のデータ列であるターナリーウェイトデータを、図４の（ｂ）に示すように２ビットごとに区切り、２ビットデータ列を生成する（ステップＳ２１）。
【0091】
次に、圧縮部２０は、ステップＳ２１で生成した２ビットデータ列の２ビットデータのうち、（００）に該当する２ビットデータには（１）を、（００）以外の２ビットデータには（０）を割り当て、あるいは、（００）に該当する２ビットデータには（０）を、（００）以外の２ビットデータには（１）を割り当てることで第２のフラグ列を生成する（ステップＳ２２）。本変形例では、図４の（ｃ）に示すように、（００）に該当する２ビットデータには（１）を割り当て、（００）以外の２ビットデータには（０）を割り当てる。
【0092】
また、圧縮部２０は、図４の（ｄ）に示すように、（００）以外の２ビットデータを順に並べて第２の非ゼロ値列を生成する（ステップＳ２３）。これにより、第２のフラグ列及び第２の非ゼロ値列からなる第２の圧縮データｄ２を生成する（ステップＳ２４）。
【0093】
そして、圧縮部２０は、第１の圧縮データｄ１のビット数と、第２の圧縮データｄ２のビット数とを比較し、ビット数が少ないほうの圧縮データをメモリに格納する（ステップＳ２５）。
【0094】
これらステップＳ１１～Ｓ１４及びＳ２１～Ｓ２５が実行されることで、より効果的にウェイトデータが圧縮される。なお、ステップＳ２１～Ｓ２４は、ステップＳ１１～Ｓ１４の前に実行されてもよいし、後に実行されてもよいし、並行して実行されてもよい。
【0095】
［１－５．効果等］
本実施の形態のウェイトデータ圧縮方法は、ニューラルネットワークで使用されるターナリーウェイトデータを圧縮する方法であって、２ビット３値のデータ列であるターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成するステップと、４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、かつ、００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、第１のフラグ列及び第１の非ゼロ値列からなる第１の圧縮データを生成するステップと、を含む。
本実施の形態のウェイトデータ圧縮方法は、ニューラルネットワークで使用されるターナリーウェイトデータを圧縮する方法であって、２ビット３値のデータ列であるターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成するステップと、４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成し、かつ、００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、第１のフラグ列及び第１の非ゼロ値列からなる第１の圧縮データを生成するステップと、を含む。
【0096】
このように、２ビット３値のデータ列であるターナリーウェイトデータから４ビットデータ列を生成し、この４ビットデータ列に基づいて、第１のフラグ列及び第１の非ゼロ値列を生成することで、データの圧縮を効果的に行うことができる。これにより、ニューラルネットワーク１で使用されるウェイトデータのビット数を従来技術よりも少なくすることができる。
【0097】
また、ウェイトデータ圧縮方法は、さらに、４ビット９値のうち００００以外の８つのデータと３ビット８値のデータとの対応付けを行うステップを含み、第１の圧縮データｄ１を生成するステップでは、８つのデータと３ビット８値のデータとの対応付けに基づいて、００００以外のデータを３ビット８値のデータに変換してもよい。
【0098】
これによれば、第１の非ゼロ値列を適切に生成し、データの圧縮を効果的に行うことができる。これにより、ニューラルネットワーク１で使用されるウェイトデータのビット数を従来技術よりも少なくすることができる。
【0099】
また、２ビット３値は、００、０１及び１１からなる２ビットデータであり、４ビット９値は、００００、０００１、００１１、０１００、０１０１、０１１１、１１００、１１０１及び１１１１からなる４ビットデータであり、３ビット８値は、０００、００１、０１０、０１１、１００、１０１、１１０及び１１１からなる３ビットデータであってもよい。
【0100】
これによれば、第１の非ゼロ値列を適切に生成し、データの圧縮を効果的に行うことができる。これにより、ニューラルネットワーク１で使用されるウェイトデータのビット数を従来技術よりも少なくすることができる。
【0101】
また、４ビットデータ列を生成するステップでは、２ビット３値のデータ列であるターナリーウェイトデータに対する２ビットデータの区切り数が奇数である場合に、当該ターナリーウェイトデータの末尾に００を付加した後に、当該ターナリーウェイトデータを４ビットごとに区切ることで４ビットデータ列を生成してもよい。
【0102】
これにより、ニューラルネットワーク１で使用されるウェイトデータのビット数を従来技術よりも少なくすることができる。
【0103】
また、ウェイトデータ圧縮方法は、さらに、第１の圧縮データｄ１を、ニューラルネットワーク１による処理が実行される半導体集積回路の外部のメモリに格納するステップを含んでいてもよい。
【0104】
これによれば、半導体集積回路の内部に格納すべきウェイトデータを減らすことができ、半導体集積回路にかかる負担を低減することができる。
【0105】
また、ウェイトデータ圧縮方法は、さらに、２ビット３値のデータ列であるターナリーウェイトデータを２ビットごとに区切り、２ビット３値で表現される２ビットデータ列を生成するステップと、２ビットデータ列の２ビットデータのうち、００に該当する２ビットデータには１を、００以外の２ビットデータには０を割り当て、あるいは、００に該当する２ビットデータには０を、００以外の２ビットデータには１を割り当てることで第２のフラグ列を生成し、かつ、００以外の２ビットデータを順に並べて第２の非ゼロ値列を生成することで、第２のフラグ列及び第２の非ゼロ値列からなる第２の圧縮データを生成するステップと、第１の圧縮データのビット数と、第２の圧縮データのビット数とを比較し、ビット数が少ないほうの圧縮データをメモリに格納するステップと、を含んでいてもよい。
【0106】
このように、ビット数が少ないほうの圧縮データを選択することで、ニューラルネットワーク１で使用されるウェイトデータのビット数を従来技術よりも少なくすることができる。
【0107】
また、上記格納するステップは、ニューラルネットワークの畳み込みレイヤごとに実行されてもよい。
【0108】
これによれば、畳み込みレイヤごとに使用されるウェイトデータのビット数を従来技術よりも少なくすることができる。
【0109】
本実施の形態に係るウェイトデータ圧縮装置１０は、ニューラルネットワーク１で使用されるターナリーウェイトデータを圧縮する圧縮部２０を備える。圧縮部２０は、２ビット３値のデータ列であるターナリーウェイトデータを４ビットごとに区切り、４ビット９値で表現される４ビットデータ列を生成する。また、圧縮部２０は、４ビットデータ列の４ビットデータのうち、００００に該当する４ビットデータには０及び１のうち一方の値をフラグとして割り当て、００００以外の４ビットデータには０及び１のうち他方の値をフラグとして割り当てることで第１のフラグ列を生成する。また、圧縮部２０は、００００以外の４ビットデータを３ビット８値のいずれかの３ビットデータに変換して第１の非ゼロ値列を生成することで、第１のフラグ列及び第１の非ゼロ値列からなる第１の圧縮データｄ１を生成する。
【0110】
このように、圧縮部２０が、２ビット３値のデータ列であるターナリーウェイトデータから４ビットデータ列を生成し、この４ビットデータ列に基づいて、第１のフラグ列及び第１の非ゼロ値列を生成することで、データの圧縮を効果的に行うことができる。これにより、ニューラルネットワーク１で使用されるウェイトデータのビット数を従来技術よりも少なくすることができる。
【0111】
【0112】
ウェイトデータ伸長装置５０（以下、データ伸長装置５０と呼ぶ場合がある）は、ＣＰＵ等のプロセッサと、揮発性のメモリ及び不揮発性のメモリと、不揮発性のメモリに格納されたプログラムとを備えている。データ伸長装置５０の機能的な構成は、上記プログラムを実行することで実現される。
【0113】
データ伸長装置５０は、データ圧縮装置１０によって圧縮された第１の圧縮データｄ１を伸長する伸長回路６０を備える。伸長回路６０には、データ圧縮装置１０によって圧縮された圧縮後のウェイトデータが入力される。伸長回路６０は、伸長回路６０に入力された圧縮後のウェイトデータを伸長して、圧縮前のウェイトデータに復元する。復元されたウェイトデータは、ニューラルネットワーク１のレイヤに出力される。以下、伸長回路６０が実行する処理について説明する。
【0114】
図１５は、ウェイトデータ伸長装置５０において、ターナリーウェイトデータが伸長される過程を示す図である。
【0115】
伸長回路６０は、第１の圧縮データｄ１を構成する第１のフラグ列及び第１の非ゼロ値列に対して伸長処理を行う。
【0116】
例えば、第１のフラグ列は、以下に示すデータである（図１５の（ａ）参照）。
【0117】
「８ｂ（１＿０＿１＿０＿０＿１＿１＿０）」
【0118】
例えば、第１の非ゼロ値列は、以下に示すデータである（図１５の（ｂ）参照）。
【0119】
「１２ｂ（０１０＿１０１＿１００＿０１１）」
【0120】
伸長回路６０は、図１５の（ｄ）のテーブルＴ２に基づいて、第１の非ゼロ値列に含まれる３ビットデータを（００００）以外の４ビットデータに変換し、順番に並べる。テーブルＴ２は、（００００）以外の４ビットデータと３ビット８値のデータとの対応付けがされているテーブルであり、伸長回路６０に実装されている。テーブルＴ２は、圧縮時に用いたテーブルＴ１と同じである。伸長回路６０は、上記の変換により、以下に示す複数の４ビットデータを生成する（図１５の（ｃ）参照）。
【0121】
「１６ｂ（０１００＿１１００＿０００１＿００１１）」
【0122】
また、伸長回路６０は、図１５の（ａ）に示す第１のフラグ列の各フラグに４ビットデータを当てはめ、圧縮前のデータを生成する。具体的には、伸長回路６０は、各フラグが（０）であるか否かを判断し、第１のフラグ列に含まれる（０）及び（１）からなるフラグのうち、一方の値のフラグには（００００）を当てはめ、他方の値のフラグには、（００００）以外の４ビットデータを当てはめ、それぞれ４ビット粒度で伸長処理を行う。
【0123】
本実施の形態では、予め設定された情報に基づき、（１）のフラグには（００００）を当てはめ、（０）のフラグには、（００００）以外の４ビットデータを当てはめる。なお、（００００）以外の４ビットデータは、テーブルＴ２に基づいて変換した４ビットデータであり、当てはめを行う際は、３ビット８値のデータから（００００）以外の４ビットデータに変換した順番に当てはめていく。これらの当てはめにより、伸長回路６０は、以下に示す圧縮前のウェイトデータを生成する（図１５の（ｅ）参照）。
【0124】
「３２ｂ（０００００１００００００１１０００００１００００００００００１１）」
【0125】
このように、本実施の形態に係るデータ伸長装置５０では、伸長回路６０が、第１の非ゼロ値列及び第１のフラグ列に基づいて４ビットデータ列を生成して、圧縮前のウェイトデータを生成する。これによれば、ビット数が少なくなるように圧縮されたウェイトデータを効果的に伸長することができる。また、データ伸長装置５０では、比較例１及び２のように２ビット粒度で伸長処理を行うのでなく４ビット粒度で伸長処理を行うので、単位時間における伸長処理の回数を減らすことができる。これにより、伸長処理を行うための回路構成を簡素化することができる。
【0126】
［２－２．ハードウェア構成］
次に、本実施の形態に係るウェイトデータ伸長装置５０のハードウェア構成について、図１６を参照しながら説明する。
次に、本実施の形態に係るウェイトデータ伸長装置５０のハードウェア構成について、図１６を参照しながら説明する。
【0127】
図１６は、実施の形態２に係るウェイトデータ伸長装置５０の機能をソフトウェアにより実現するコンピュータ１５００のハードウェア構成の一例を示す図である。
【0128】
コンピュータ１５００は、ＣＮＮ処理を実行するためのコンピュータである。コンピュータ１５００は、図１６に示すように、入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、書き込み装置１００６、読取装置１００７、送受信装置１００８及びバス１００９を備える。入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。
【0129】
入力装置１００１は入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。
【0130】
出力装置１００２は、コンピュータ１５００からの信号を出力する装置であり、信号出力端子の他、ディスプレイ、スピーカなどのユーザインタフェースとなる装置であってもよい。
【0131】
内蔵ストレージ１００４は、フラッシュメモリなどである。また、内蔵ストレージ１００４は、ウェイトデータ圧縮装置１０の機能を実現するためのプログラム、及び、ウェイトデータ圧縮装置１０の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。
【0132】
ＲＡＭ１００５は、例えばＤＤＲ（Ｄｏｕｂｌｅ－Ｄａｔａ－Ｒａｔｅ）などのランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、プログラム又はアプリケーションの実行に際してデータ等の記憶に利用される。ＲＡＭ１００５には、ＣＰＵ１００３によって伸長処理されたウェイトデータが保存される。
【0133】
送受信装置１００８は、無線又は有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラムやアプリケーションをダウンロードして内蔵ストレージ１００４に記憶させる。
【0134】
書き込み装置１００６は、ＵＳＢメモリなどの記録媒体に情報を書き込む。
【0135】
読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラムやアプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。
【0136】
また、読取装置１００７は、外部のメモリから情報を読み取る。外部のメモリは、ニューラルネットワーク１を実行する半導体集積回路から見て外部に位置するメモリであり、このメモリには、第１の圧縮データｄ１が格納されている。読取装置１００７は、外部のメモリから読み取った情報をＣＰＵ１００３へ出力する。
【0137】
ＣＰＵ１００３は、中央演算処理装置であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションなどをＲＡＭ１００５にコピーし、コピーしたプログラム、アプリケーションなどに含まれる命令をＲＡＭ１００５から順次読み出して実行する。本実施の形態のＣＰＵ１００３は、外部のメモリから取得した第１の圧縮データｄ１の伸長処理を実行する。
【0138】
［２－３．ウェイトデータ伸長方法］
次に、実施の形態２に係るウェイトデータ伸長方法について、図１７を参照しながら説明する。
次に、実施の形態２に係るウェイトデータ伸長方法について、図１７を参照しながら説明する。
【0139】
図１７は、実施の形態２に係るウェイトデータ伸長方法の流れを示すフローチャートである。
【0140】
実施の形態２に係るウェイトデータ伸長方法は、実施の形態１のウェイトデータ圧縮方法によって圧縮された第１の圧縮データｄ１を伸長する方法である。
【0141】
まず、伸長回路６０は、図１５の（ｂ）の第１の非ゼロ値列に含まれる３ビットデータを（００００）以外の複数の４ビットデータに変換し、順番に並べる（ステップＳ５１）。３ビットデータを４ビットデータに変換する際は、図１５の（ｄ）のテーブルＴ２に基づいて、３ビットデータを４ビットデータに変換する。これにより、図１５の（ｃ）に示す複数の４ビットデータを生成する。
【0142】
次に、伸長回路６０は、図１５の（ａ）の第１のフラグ列に含まれる（０）及び（１）からなるフラグのうち、一方の値のフラグには（００００）を当てはめ、他方の値のフラグには（００００）以外の４ビットデータを当てはめる。実施の形態２では、（１）のフラグには（００００）を当てはめ、（０）のフラグには、（００００）以外の４ビットデータを当てはめる。（００００）以外の４ビットデータは、テーブルＴ２に基づいて変換した４ビットデータであり、当てはめを行う際は、３ビット８値のデータから（００００）以外の４ビットデータに変換した順番に当てはめていく。これらの当てはめにより、伸長回路６０は、図１５の（ｅ）に示すような圧縮前のウェイトデータを生成する（ステップＳ５２）。復元されたウェイトデータは、ニューラルネットワーク１の各レイヤにおける行列演算に使用される。
【0143】
［２－４．効果等］
本実施の形態に係るウェイトデータ伸長方法は、実施の形態１のウェイトデータ圧縮方法によって圧縮された第１の圧縮データｄ１を伸長する方法であって、第１の非ゼロ値列に含まれる３ビットデータを００００以外の複数の４ビットデータに変換して並べるステップと、第１のフラグ列に含まれる０及び１からなるフラグのうち、一方の値のフラグには００００を当てはめ、他方の値のフラグには複数の４ビットデータが並ぶ順に４ビットデータを当てはめることで、圧縮前のターナリーウェイトデータを生成するステップと、を含む。
本実施の形態に係るウェイトデータ伸長方法は、実施の形態１のウェイトデータ圧縮方法によって圧縮された第１の圧縮データｄ１を伸長する方法であって、第１の非ゼロ値列に含まれる３ビットデータを００００以外の複数の４ビットデータに変換して並べるステップと、第１のフラグ列に含まれる０及び１からなるフラグのうち、一方の値のフラグには００００を当てはめ、他方の値のフラグには複数の４ビットデータが並ぶ順に４ビットデータを当てはめることで、圧縮前のターナリーウェイトデータを生成するステップと、を含む。
【0144】
このように、第１の非ゼロ値列及び第１のフラグ列に基づいて４ビットデータ列を生成して、圧縮前のターナリーウェイトデータを生成することで、ビット数が少なくなるように圧縮されたターナリーウェイトデータを効果的に伸長することができる。
【0145】
本実施の形態に係るウェイトデータ伸長装置５０は、ウェイトデータ圧縮装置１０によって圧縮された第１の圧縮データｄ１を伸長する伸長回路６０を備える。伸長回路６０は、３ビット８値で表される第１の非ゼロ値列を００００以外の複数の４ビットデータに変換して並べ、第１のフラグ列に含まれる０及び１からなるフラグのうち、一方の値のフラグには００００を当てはめ、他方の値のフラグには複数の４ビットデータが並ぶ順に４ビットデータを当てはめることで、圧縮前のターナリーウェイトデータを生成する。
【0146】
このように、伸長回路６０が、第１の非ゼロ値列及び第１のフラグ列に基づいて４ビットデータ列を生成して、圧縮前のターナリーウェイトデータを生成することで、ビット数が少なくなるように圧縮されたターナリーウェイトデータを効果的に伸長することができる。
【0147】
（実施の形態３）
実施の形態３に係るウェイトデータの圧縮方法及び伸長方法について説明する。この実施の形態では、４ビット整数（ＩＮＴ４）による圧縮及び伸長を行う例について説明する。
実施の形態３に係るウェイトデータの圧縮方法及び伸長方法について説明する。この実施の形態では、４ビット整数（ＩＮＴ４）による圧縮及び伸長を行う例について説明する。
【0148】
図１８は、実施の形態３にて実行されるウェイトデータの圧縮処理及び伸長処理を示す図である。
【0149】
実施の形態３に係るウェイトデータ圧縮方法は、ゼロ値圧縮（ＺＶＣ）による圧縮方法である。実施の形態３でも、圧縮前のウェイトデータが、
「３２ｂ（０００００１００００００１１０００００１００００００００００１１）」
であるとして説明する（図１８の（ａ）参照）。
「３２ｂ（０００００１００００００１１０００００１００００００００００１１）」
であるとして説明する（図１８の（ａ）参照）。
【0150】
まず、３２ビットのウェイトデータを４ビットごとに区切り、４ビットデータ列を生成する（図１８の（ｂ）参照）。
【0151】
「３２ｂ（００００＿０１００＿００００＿１１００＿０００１＿００００＿００００＿００１１）」
【0152】
ここで、４ビットデータ列の４ビットデータのうち、（００００）に該当する４ビットデータには（１）のフラグを割り当て、（００００）以外の４ビットデータには（０）のフラグを割り当てる。すると、以下に示す８ビットデータからなるフラグ列が生成される（図１８の（ｃ）参照）。
【0153】
「８ｂ（１＿０＿１＿０＿０＿１＿１＿０）」
【0154】
上記のフラグ列は、フラグ（１）の位置に（００００）の４ビットデータであるゼロ値が存在し、フラグ（０）の位置に（００００）以外の４ビットデータである非ゼロ値が存在していることを表している。
【0155】
ここで、（００００）以外の４ビットデータを、（００００）以外の４ビットデータに対して、そのまま同じ値を割り当てる。すると、（００００）以外の４ビットデータを順に並べた非ゼロ値列は、以下に示すデータで表される（図１８の（ｄ）参照）。
【0156】
「１６ｂ（０１００＿１１００＿０００１＿００１１）」
【0157】
このようにして圧縮された圧縮後のデータは、外部のメモリに格納される。
【0158】
実施の形態３に係るウェイトデータ伸長方法は、上記のウェイトデータ圧縮方法によって圧縮されたデータを伸長する方法である。このウェイトデータ伸長方法では、実施の形態２で示したデータ伸長装置５０を用いることができる。
【0159】
まず、データ伸長装置５０は、図１８の（ｄ）のフラグ列に含まれる（１）のフラグに（００００）を当てはめ、（０）のフラグに（００００）以外の４ビットデータをそのまま当てはめ、それぞれ４ビット粒度で伸長処理する。これにより、以下に示す圧縮前のウェイトデータが生成される（図１８の（ｅ）参照）。
【0160】
「３２ｂ（０００００１００００００１１０００００１００００００００００１１）」
【0161】
復元されたウェイトデータは、ニューラルネットワーク１の各レイヤにおける行列演算に使用される。
【0162】
このように、データ伸長装置５０は、４ビット整数（ＩＮＴ４）によって圧縮されたデータを伸長することも可能である。
【0163】
（実施の形態４）
実施の形態４に係るウェイトデータの圧縮方法及び伸長方法について説明する。この実施の形態では、８ビット整数（ＩＮＴ８）による圧縮及び伸長を行う例について説明する。
実施の形態４に係るウェイトデータの圧縮方法及び伸長方法について説明する。この実施の形態では、８ビット整数（ＩＮＴ８）による圧縮及び伸長を行う例について説明する。
【0164】
図１９は、実施の形態４にて実行されるウェイトデータの圧縮処理及び伸長処理を示す図である。
【0165】
実施の形態４に係るウェイトデータ圧縮方法は、ゼロ値圧縮（ＺＶＣ）による圧縮方法である。この形態では、圧縮前のウェイトデータが、図１９の（ａ）に示す８０ビットデータである例について説明する。
【0166】
【0167】
実施の形態４では、８ビットデータ列の８ビットデータのうち、（００００００００）に該当する８ビットデータには（１）のフラグを割り当て、（００００００００）以外の８ビットデータには（０）のフラグを割り当てる。すると、図１９の（ｃ）に示すような１０ｂからなるフラグ列が生成される。このフラグ列は、フラグ（１）の位置に（００００００００）であるゼロ値が存在し、フラグ（０）の位置に（００００００００）以外の８ビットデータである非ゼロ値が存在していることを表している。
【0168】
実施の形態４では、（００００００００）以外の８ビットデータに対して、そのまま同じ値を割り当てる。すると、（００００００００）以外の８ビットデータを順に並べた非ゼロ値列は、図１９の（ｄ）に示すデータで表される。こられの圧縮処理により圧縮された後のデータは、外部のメモリに格納される。
【0169】
実施の形態４に係るウェイトデータ伸長方法は、上記のウェイトデータ圧縮方法によって圧縮されたデータを伸長する方法である。このウェイトデータ伸長方法でも、実施の形態２で示したデータ伸長装置５０を用いることができる。
【0170】
まず、データ伸長装置５０は、図１９の（ｃ）のフラグ列に含まれる（１）のフラグに（００００００００）を当てはめ、（０）のフラグには、（００００００００）以外の８ビットデータをそのまま当てはめ、８ビット粒度で伸長する。これにより、図１９の（ｅ）に示すような、圧縮前のウェイトデータが生成される。復元されたウェイトデータは、ニューラルネットワーク１の各レイヤにおける行列演算に使用される。
【0171】
このように、データ伸長装置５０は、８ビット整数（ＩＮＴ８）によって圧縮されたデータを伸長することも可能である。
【0172】
（その他の実施の形態）
以上、本開示に係るウェイトデータ圧縮方法などについて、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
以上、本開示に係るウェイトデータ圧縮方法などについて、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
【0173】
また、以下に示す形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。
【0174】
（１）上記のウェイトデータ圧縮装置及びウェイトデータ伸長装置を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0175】
（２）上記のウェイトデータ圧縮装置及びウェイトデータ伸長装置を構成する構成要素の一部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造されており、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【0176】
（３）上記のウェイトデータ圧縮装置及びウェイトデータ伸長装置を構成する構成要素の一部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記のＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
【0177】
（４）また、上記のウェイトデータ圧縮装置及びウェイトデータ伸長装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【0178】
また、上記のウェイトデータ圧縮装置及びウェイトデータ伸長装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0179】
（５）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。さらに、本開示は、そのコンピュータプログラムを記録したＣＤ－ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現してもよい。
【0180】
（６）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【0181】
（７）また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【0182】
（８）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【0183】
本開示は、ニューラルネットワークのコンピュータなどへの実装方法として、画像処理方法などに利用できる。
【符号の説明】
【0184】
１ ニューラルネットワーク
１０ ウェイトデータ圧縮装置
２０ 圧縮部
５０ ウェイトデータ伸長装置
６０ 伸長回路
１０００、１５００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ 内蔵ストレージ
１００５ ＲＡＭ
１００６ 書き込み装置
１００７ 読取装置
１００８ 送受信装置
１００９ バス
ｄ１、ｄ２、ｄ３ 圧縮データ
Ｔ１、Ｔ２ テーブル
１０ ウェイトデータ圧縮装置
２０ 圧縮部
５０ ウェイトデータ伸長装置
６０ 伸長回路
１０００、１５００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ 内蔵ストレージ
１００５ ＲＡＭ
１００６ 書き込み装置
１００７ 読取装置
１００８ 送受信装置
１００９ バス
ｄ１、ｄ２、ｄ３ 圧縮データ
Ｔ１、Ｔ２ テーブル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】