特許7071451コンボリューションニューラルネットワークでコンボリューション演算を加速させるプロセッサ、及び該プロセッサの動作方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-10
(45)【発行日】2022-05-19
(54)【発明の名称】コンボリューションニューラルネットワークでコンボリューション演算を加速させるプロセッサ、及び該プロセッサの動作方法
(51)【国際特許分類】
G06F 17/10 20060101AFI20220511BHJP
G06N 3/10 20060101ALI20220511BHJP
【ＦＩ】
G06F17/10 A
G06N3/10
【請求項の数】
13
(21)【出願番号】P 2020132496
(22)【出願日】2020-08-04
(65)【公開番号】P2021034036
(43)【公開日】2021-03-01
【審査請求日】2020-08-04
(31)【優先権主張番号】10-2019-0106638
(32)【優先日】2019-08-29
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】517425675
【氏名又は名称】ハイパーコネクト インコーポレイテッド
(74)【代理人】
【識別番号】100076428
【弁理士】
【氏名又は名称】大塚 康徳
(74)【代理人】
【識別番号】100115071
【弁理士】
【氏名又は名称】大塚 康弘
(74)【代理人】
【識別番号】100112508
【弁理士】
【氏名又は名称】高柳 司郎
(74)【代理人】
【識別番号】100116894
【弁理士】
【氏名又は名称】木村 秀二
(74)【代理人】
【識別番号】100130409
【弁理士】
【氏名又は名称】下山 治
(74)【代理人】
【識別番号】100134175
【弁理士】
【氏名又は名称】永川 行光
(72)【発明者】
【氏名】アン， サン イル
(72)【発明者】
【氏名】ハ， スン ジョー
(72)【発明者】
【氏名】キム， ドン ヨン
(72)【発明者】
【氏名】キム， ベオム スー
(72)【発明者】
【氏名】ケルスナー， マーティン
【審査官】坂庭 剛史
(56)【参考文献】
【文献】米国特許出願公開第２０１８／００３９８８６（ＵＳ，Ａ１）
【文献】LIANG, Shuang et. al.，FP-BNN: Binarized neural network on FPGA，Neurocomputing，NL，Elsevier，2018年01月31日，Vol. 275，pp.1072-1086，https://www.doc.ic.ac.uk/~wl/papers/17/neuro17sl0.pdf，https://doi.org/10.1016/j.neucom.2017.09.046
【文献】UMUROGLU, Yaman et. al.，Work-in-Progress: Towards Efficient Quantized Neural Network Inference on Mobile Devices，CASES'17: Proceedings of the 2017 International Conference on Compilers, Architectures and Synthesis for Embedded Systems Companion，米国，ACM，2017年10月15日，No.18，pp.1-2，https://dl.acm.org/doi/pdf/10.1145/3125501.3125528
【文献】COWAN, Meghan et. al.，Automating Generation of Low Precision Deep Learning Operators，arXiv.org，米国，Cornell University，2018年10月25日，pp.1-10，https://arxiv.org/pdf/1810.11066.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １７／１０
Ｇ０６Ｎ ３／１０
(57)【特許請求の範囲】
【請求項1】
コンボリューションニューラルネットワークでコンボリューション演算を行う方法において、第１ビット幅と同じ距離を有する第１距離ベクトルに基づいて、入力イメージに係わる前記第１ビット幅で量子化された入力アクティベーションデータを獲得する段階と、
第２ビット幅と同じ距離を有する第２距離ベクトルに基づいて、前記コンボリューションニューラルネットワークを介して学習されたパラメータの値を示す、前記第２ビット幅で量子化された加重値データを獲得する段階と、
前記入力アクティベーションデータ及び加重値データそれぞれを二進化し、二進化入力アクティベーションベクトル及び二進化加重値ベクトルを獲得する段階と、
前記二進化入力アクティベーションベクトルと前記二進化加重値ベクトルとの二進演算に基づいて獲得された演算値それぞれに、前記演算値の算出に基となった前記第１距離ベクトルのコンポーネントと前記第２距離ベクトルのコンポーネントとを乗じ、乗算した結果値を合算することにより、前記入力アクティベーションデータと前記加重値データとの内積演算を行う段階と、
前記内積演算によってなされた結果を出力アクティベーションデータとして保存する段階と、
を含み、
ｎビットのデータに係わる距離ベクトルのコンポーネントは、ｎ個で構成され、前記ｎビットで量子化されたデータは、前記距離ベクトルのｎ個のコンポーネント値のそれぞれに、既設定の値のうち１つの値を乗じた値の和に基づいて算出され、
前記入力アクティベーションデータ及び加重値データそれぞれを二進化し、二進化入力アクティベーションベクトル及び二進化加重値ベクトルを獲得する段階は、
前記入力アクティベーションデータ内のコンポーネントを二進化し、前記二進化されたコンポーネントそれぞれにおいてｉ番目ビットで構成された第ｉ二進化入力アクティベーションベクトル（０≦ｉ≦ｎ－１、ｉは、整数であり、前記第１ビット幅は、ｎビットである）を獲得する段階と、
前記加重値データ内のコンポーネントを二進化し、前記二進化されたコンポーネントそれぞれにおいてｊ番目ビットで構成された第ｊ二進化加重値ベクトル（０≦ｊ≦ｍ－１、ｊは、整数であり、前記第２ビット幅は、ｍビットである）を獲得する段階と、
を含む、方法。
【請求項2】
前記入力アクティベーションデータを獲得する段階は、前記第１距離ベクトルに基づき、前記第１ビット幅で表現される二進数を、量子化されたデータにマッピングする段階と、
前記マッピングされた結果、及び前記コンボリューション演算の単位に基づき、前記入力イメージから、前記第１ビット幅で量子化された入力アクティベーションデータを獲得する段階と、
を含む、請求項１に記載の方法。
【請求項3】
前記加重値データを獲得する段階は、前記第２距離ベクトルに基づき、前記第２ビット幅で表現される二進数を、量子化されたデータにマッピングする段階と、
前記マッピングされた結果、及び前記コンボリューション演算の単位に基づき、前記コンボリューションニューラルネットワークを介して学習されたパラメータの値から、前記第２ビット幅で量子化された加重値データを獲得する段階と、
を含む、請求項１に記載の方法。
【請求項4】
前記入力アクティベーションデータと加重値データとの内積演算を行う段階は、前記第ｉ二進化入力アクティベーションベクトルと前記第ｊ二進化加重値ベクトルとの間でＸＮＯＲ演算を行い、ｎｘｍ個の第１演算ベクトルを獲得する段階と、
前記ｎｘｍ個の第１演算ベクトルにｐｏｐｃｏｕｎｔ演算を行い、ｎｘｍ個の第２演算値を獲得する段階と、
前記ｎｘｍ個の第２演算値、及び前記ｎｘｍ個の第１演算ベクトルに対応する距離ベクトルに基づき、前記入力アクティベーションデータと加重値データとの内積演算を行う段階と、
を含む、請求項１に記載の方法。
【請求項5】
前記ｎｘｍ個の第２演算値、及び前記ｎｘｍ個の第１演算ベクトルに対応する距離ベクトルに基づき、前記入力アクティベーションデータと加重値データとの内積演算を行う段階は、前記ｎｘｍ個の第２演算値それぞれで２を乗じ、前記入力アクティベーションデータの長さを差し引く演算を行い、ｎｘｍ個の第３演算値を獲得する段階と、
前記ｎｘｍ個の第３演算値それぞれを獲得するのに基になった距離ベクトルの値を、前記ｎｘｍ個の第３演算値と乗じ、ｎｘｍ個の乗じた値を合算することにより、前記入力アクティベーションデータと加重値データとの内積演算を行う段階と、
を含む、請求項４に記載の方法。
【請求項6】
前記入力イメージから獲得される所定個数の入力アクティベーションデータについて、前記内積演算を行うことにより、所定個数の出力アクティベーションデータを獲得する段階をさらに含む、請求項１に記載の方法。
【請求項7】
前記コンボリューションニューラルネットワーク上の第１レイヤから出力された前記所定個数の出力アクティベーションデータを、前記コンボリューションニューラルネットワーク上の第２レイヤの入力アクティベーションデータとして適用する段階をさらに含む、請求項６に記載の方法。
【請求項8】
コンボリューションニューラルネットワークでコンボリューション演算を行う装置において、少なくとも１つのプログラムが保存されたメモリと、
前記少なくとも１つのプログラムが実行されることにより、コンボリューションニューラルネットワークでコンボリューション演算を行うプロセッサと、
を含み、
前記プロセッサは、
第１ビット幅と同じ距離を有する第１距離ベクトルに基づいて、入力イメージに係わる前記第１ビット幅で量子化された入力アクティベーションデータを獲得し、
第２ビット幅と同じ距離を有する第２距離ベクトルに基づいて、前記コンボリューションニューラルネットワークを介して学習されたパラメータの値を示す、前記第２ビット幅で量子化された加重値データを獲得し、
前記入力アクティベーションデータ及び加重値データそれぞれを二進化し、二進化入力アクティベーションベクトル及び二進化加重値ベクトルを獲得し、
前記二進化入力アクティベーションベクトルと前記二進化加重値ベクトルとの二進演算に基づいて獲得された演算値それぞれを、前記演算値の算出に基礎になった前記第１距離ベクトルのコンポーネントと前記第２距離ベクトルのコンポーネントを乗じ、乗算した結果値を合算することで、前記入力アクティベーションデータと前記加重値データとの内積演算を行い、
前記内積演算によってなされた結果を、前記メモリに出力アクティベーションデータとして保存し、
ｎビットのデータに係わる距離ベクトルのコンポーネントは、ｎ個で構成され、前記ｎビットに量子化されたデータは、前記距離ベクトルのｎ個のコンポーネント値のそれぞれに、既設定の値のうち１つの値を乗じた値の和に基づいて算出され、
前記プロセッサは、
前記入力アクティベーションデータ内のコンポーネントを二進化し、前記二進化したコンポーネントそれぞれにおいてｉ番目ビットで構成された第ｉ二進化入力アクティベーションベクトル（０≦ｉ≦ｎ－１、ｉは、整数であり、前記第１ビット幅は、ｎビットである）を獲得し、
前記加重値データ内のコンポーネントを二進化し、前記二進化したコンポーネントそれぞれにおいてｊ番目ビットで構成された第ｊ二進化加重値ベクトル（０≦ｊ≦ｍ－１、ｊは、整数であり、前記第２ビット幅は、ｍビットである）を獲得する、装置。
【請求項9】
前記プロセッサは、前記第１距離ベクトルに基づき、前記第１ビット幅で表現される二進数を、量子化されたデータにマッピングし、
前記マッピングされた結果、及び前記コンボリューション演算の単位に基づき、前記入力イメージから、前記第１ビット幅で量子化された入力アクティベーションデータを獲得する、
請求項８に記載の装置。
【請求項10】
前記プロセッサは、前記第２距離ベクトルに基づき、前記第２ビット幅で表現される二進数を、量子化されたデータにマッピングし、
前記マッピングされた結果、及び前記コンボリューション演算の単位に基づき、前記コンボリューションニューラルネットワークを介して学習されたパラメータの値から、前記第２ビット幅で量子化された加重値データを獲得する、
請求項８に記載の装置。
【請求項11】
前記プロセッサは、前記第ｉ二進化入力アクティベーションベクトルと前記第ｊ二進化加重値ベクトルとの間でＸＮＯＲ演算を行い、ｎｘｍ個の第１演算ベクトルを獲得し、
前記ｎｘｍ個の第１演算ベクトルにｐｏｐｃｏｕｎｔ演算を行い、ｎｘｍ個の第２演算値を獲得し、
前記ｎｘｍ個の第２演算値、及び前記ｎｘｍ個の第１演算ベクトルに対応する距離ベクトルに基づき、前記入力アクティベーションデータと加重値データとの内積演算を行う、
請求項８に記載の装置。
【請求項12】
前記プロセッサは、前記ｎｘｍ個の第２演算値それぞれで２を乗じ、前記入力アクティベーションデータの長さを差し引く演算を行い、ｎｘｍ個の第３演算値を獲得し、
前記ｎｘｍ個の第３演算値それぞれを獲得するのに基になった距離ベクトルの値を、前記ｎｘｍ個の第３演算値と乗じ、ｎｘｍ個の乗じた値を合算することにより、前記入力アクティベーションデータと加重値データとの内積演算を行う、
請求項１１に記載の装置。
【請求項13】
第１ビット幅と同じ距離を有する第１距離ベクトルに基づいて前記第１ビット幅で量子化された入力アクティベーションデータと、第２ビット幅と同じ距離を有する第２距離ベクトルに基づいて前記第２ビット幅で量子化された加重値データとの内積演算によってなされた結果を示す出力アクティベーションデータを保存するアドレスをローディングする段階と、前記入力アクティベーションデータ内のコンポーネントが二進化された二進化入力アクティベーションベクトルをローディングする段階と、
前記二進化入力アクティベーションベクトルと、前記加重値データ内のコンポーネントが二進化された二進化加重値ベクトルとの二進演算に基づいて獲得された演算値それぞれを、前記演算値の算出に基礎になった前記第１距離ベクトルのコンポーネントと前記第２距離ベクトルのコンポーネントとを乗じ、乗算した結果値を合算することで、前記入力アクティベーションデータと前記加重値データとの内積演算を行う段階と、
前記内積演算によってなされた結果を、前記ローディングされたアドレスに前記出力アクティベーションデータとして保存する段階と、
を含み、
ｎビットのデータに係わる距離ベクトルのコンポーネントは、ｎ個で構成され、前記ｎビットで量子化されたデータは、前記距離ベクトルのｎ個のコンポーネント値のそれぞれに、既設定の値のうち１つの値を乗じた値の和に基づいて算出され、
前記入力アクティベーションデータ及び加重値データそれぞれを二進化し、二進化入力アクティベーションベクトル及び二進化加重値ベクトルを獲得する段階は、
前記入力アクティベーションデータ内のコンポーネントを二進化し、前記二進化したコンポーネントそれぞれにおいてｉ番目ビットで構成された第ｉ二進化入力アクティベーションベクトル（０≦ｉ≦ｎ－１、ｉは、整数であり、前記第１ビット幅は、ｎビットである）を獲得する段階と、
前記加重値データ内のコンポーネントを二進化し、前記二進化したコンポーネントそれぞれにおいてｊ番目ビットで構成された第ｊ二進化加重値ベクトル（０≦ｊ≦ｍ－１、ｊは、整数であり、前記第２ビット幅は、ｍビットである）を獲得する段階と、
を含む、コンボリューションニューラルネットワークでコンボリューション演算を行う方法をプロセッサと結合されて実行させるために媒体に保存されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンボリューションニューラルネットワークでコンボリューション演算を行うプロセッサ、及び該プロセッサの動作方法に関する。
【背景技術】
【0002】
コンボリューションニューラルネットワーク（ＣＮＮ：convolutional neural network）は、人工ニューラルネットワーク（ＡＮＮ：artificial neural network）のうち一種類であり、複数のレイヤが積層されても構成される。
【0003】
映像システムは、コンボリューションニューラルネットワークを介して、リアルタイムで映像を認識して感知することができる。コンボリューションニューラルネットワークの正確度は、コンボリューションレイヤが多く積層されるほど高くもなる。しかし、コンボリューションレイヤが多く積層されるほど、コンボリューション演算量が増加し、コンボリューションニューラルネットワークにおける映像処理時間が長くなってしまう。特に、モバイル装置のように、リソースが制限された環境において、コンボリューションニューラルネットワークを介して映像をリアルタイムで処理するには、困難さが伴う。
【0004】
従って、リソースが制限された環境においても、コンボリューションニューラルネットワークを介して、コンボリューション演算を加速させる技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、ハードウェアリソースが制限された環境において、コンボリューション演算の正確度及び速度を増進させるものである。
【課題を解決するための手段】
【0006】
一側によれば、コンボリューションニューラルネットワークでコンボリューション演算を行う方法において、入力イメージから、第１ビットで量子化された入力アクティベイションデータを獲得する段階と、前記コンボリューションニューラルネットワークを介して学習されたパラメーターの値を示す、第２ビットで量子化された加重値データを獲得する段階と、前記入力アクティベイションデータ及び加重値データそれぞれを二進化し、二進化入力アクティベイションベクトル及び二進化加重値ベクトルを獲得する段階と、前記二進化入力アクティベーションベクトルと前記二進化加重値ベクトルとの二進演算、並びに前記第１ビット及び前記第２ビットそれぞれと同一長を有する距離ベクトルに基づき、前記入力アクティベーションデータと加重値データとの内積演算を行う段階と、前記内積演算によってなされた結果を出力アクティベーションデータとして保存する段階と、を含んでもよい。
【0007】
他の一側によれば、コンボリューションニューラルネットワークでコンボリューション演算を行う装置において、少なくとも１つのプログラムが保存されたメモリと、前記少なくとも１つのプログラムが実行されることにより、コンボリューションニューラルネットワークでコンボリューション演算を行うプロセッサと、を含み、前記プロセッサは、入力イメージから、第１ビットで量子化された入力アクティベーションデータを獲得し、前記コンボリューションニューラルネットワークを介して学習されたパラメータの値を示す、第２ビットで量子化された加重値データを獲得し、前記入力アクティベーションデータ及び加重値データそれぞれを二進化し、二進化入力アクティベーションベクトル及び二進化加重値ベクトルを獲得し、前記二進化入力アクティベーションベクトルと前記二進化加重値ベクトルとの二進演算、並びに前記第１ビット及び前記第２ビットそれぞれと同一長を有する距離ベクトルに基づき、前記入力アクティベーションデータと加重値データとの内積演算を行い、前記内積演算によってなされた結果を、前記メモリに出力アクティベーションデータとして保存することができる。
【0008】
さらに他の一側によれば、第１ビットで量子化された入力アクティベーションデータと、第２ビットで量子化された加重値データとの内積演算によってなされた結果を示す出力アクティベーションデータを保存するアドレスをローディングする段階と、前記入力アクティベーションデータ内のコンポーネントが二進化された二進化入力アクティベーションベクトルをローディングする段階と、前記二進化入力アクティベーションベクトルと、前記加重値データ内のコンポーネントが二進化された二進化加重値ベクトルとの二進演算、並びに前記第１ビット及び前記第２ビットそれぞれと同一長を有する距離ベクトルに基づき、前記入力アクティベーションデータと加重値データとの内積演算を行う段階と、前記内積演算によってなされた結果を、前記ローディングされたアドレスに前記出力アクティベーションデータとして保存する段階と、を含む、コンボリューションニューラルネットワークでコンボリューション演算を行う方法をプロセッサと結合されて実行させるために媒体に保存されたコンピュータプログラムが提供される。
【発明の効果】
【0009】
本発明によれば、コンボリューションニューラルネットワークを介してコンボリューション演算を行う専用ハードウェアだけではなく、一般的なプロセッサも、所定の二進演算を利用し、コンボリューション演算の正確度及び速度を増進させることができる。
【図面の簡単な説明】
【0010】
【図1】一実施形態によるコンボリューションニューラルネットワークを示すブロック図である。
【図2】一実施形態による、コンボリューション演算を行う装置の構成を示したブロック図である。
【図3】一実施形態により、コンボリューション演算を行う装置がコンボリューション演算を行う過程について説明するための図面である。
【図4】一実施形態により、８ビットで量子化されたデータのコンボリューション演算を加速させる方法について説明するための図面である。
【図5】一実施形態により、入力アクティベーションブロックと加重値ブロックとをチャネル方向に分割し、分割されたサブブロックを利用し、コンボリューション演算を行う方法について説明するための図面である。
【図6】一実施形態により、プロセッサが８ビットＳＩＭＤ ＭＡＣ動作を介してコンボリューション演算を行う方法について説明するための図面である。
【図7】一実施形態により、入力アクティベーションブロックが幅方向に分割されたサブブロックと、加重値ブロックが分割されたサブブロックとを利用し、コンボリューション演算を行う方法について説明するための図面である。
【図8】一実施形態により、プロセッサが所定の二進演算を介してコンボリューション演算を行う方法について説明するための図面である。
【図9】一実施形態により、データのビット数及び距離ベクトルに基づき、量子化されたデータを獲得する方法について説明するための図面である。
【図10】一実施形態により、入力アクティベーションデータが１ビットであり、加重値データが１ビットである場合、内積演算値を獲得する過程について説明するための図面である
【図11】一実施形態により、入力アクティベーションデータが２ビットであり、加重値データが１ビットである場合、内積演算値を獲得する過程について説明するための図面である。
【図12】一実施形態により、入力アクティベーションデータが２ビットであり、加重値データが２ビットである場合、内積演算値を獲得する過程について説明するための図面である。
【図13】一実施形態により、コンボリューション演算を行う方法について説明するためのフローチャートである。
【発明を実施するための形態】
【0011】
本発明は、以下の詳細な説明と、それに伴う図面との結合により、容易に理解され、参照番号は、構造的構成要素を意味する。
【0012】
以下においては、図面を参照し、多様な実施形態について詳細に説明する。以下で説明される実施形態は、さまざまに異なる形態に変形されても実施される。本実施形態の特徴についてさらに明確に説明するために、以下の実施形態が属する技術分野において当業者に広く知られている事項について、詳細な説明は、省略する。
【0013】
一方、本明細書において、ある構成が他の構成を「含む」とするとき、それは、特別に反対となる記載がない限り、それ以外の他構成を除くものではなく、他構成をさらに含んでもよいということを意味する。
【0014】
また、本明細書で使用される「第１」または「第２」のように序数を含む用語は、多様な構成要素についての説明に使用することができるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
【0015】
図１は、一実施形態によるコンボリューションニューラルネットワークを示すブロック図である。
【0016】
コンボリューションニューラルネットワーク（ＣＮＮ：convolutional neural network）は、人工ニューラルネットワーク（ＡＮＮ：artificial neural network）のうち一種類であり、主に、マトリックス（matrix）データやイメージデータの特徴の抽出に利用されうる。該コンボリューションニューラルネットワークは、入力データから特徴を学習するアルゴリズムでもある。
【0017】
該コンボリューションニューラルネットワーク上において、プロセッサは、第１コンボリューションレイヤ１２０を介し、入力イメージ１１０にフィルタを適用し、特徴を獲得することができる。該プロセッサは、第１プーリングレイヤ１３０を介してフィルタ処理されたイメージをサブサンプリングし、大きさを小さくすることができる。該プロセッサは、第２コンボリューションレイヤ１４０及び第２プーリングレイヤ１５０を介し、イメージのフィルタ処理を施して特徴を抽出し、フィルタ処理されたイメージをサブサンプリングし、大きさを小さくすることができる。その後、該プロセッサは、隠れ層１６０を介して処理されたイメージを完全連結し、出力データ１７０を獲得することができる。
【0018】
該コンボリューションニューラルネットワークにおいて、コンボリューションレイヤ１２０，１４０は、三次元入力データである入力アクティベーションデータ（input activation data）と、学習可能なパラメータを示す四次元データである加重値データ（weight data）とのコンボリューション演算を行い、三次元出力データである出力アクティベーションデータ（output activation data）を獲得することができる。ここで、獲得された出力アクティベーションデータは、次のレイヤにおいて、入力アクティベーションデータとしても利用される。
【0019】
一方、三次元出力データである出力アクティベーションデータ上の１つのピクセルを演算するところに、数千個の乗算と加算との演算が必要であるために、コンボリューションニューラルネットワーク上において、データが処理される時間のほとんどがコンボリューションレイヤで必要となる。図２ないし図１３としては、コンボリューション演算を行う装置またはプロセッサが、コンボリューション演算を加速させるために遂行する動作について説明する。
【0020】
図２は、一実施形態による、コンボリューション演算を行う装置の構成を示したブロック図である。
【0021】
図２を参照すれば、コンボリューション演算を行う装置１０（以下、コンボリューション演算装置）は、プロセッサ２１０及びメモリ２２０を含んでもよい。本実施形態と係わる技術分野で当業者であるならば、図２に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということが分かるであろう。
【0022】
プロセッサ２１０は、コンボリューション演算装置１０の全体的な動作を制御し、ＣＰＵのような少なくとも１つのプロセッサを含んでもよい。プロセッサ２１０は、各機能に対応する特化されたプロセッサを少なくとも一つ含むか、あるいは一つに統合された形態のプロセッサでもある。
【0023】
メモリ２２０は、コンボリューションニューラルネットワークで行われるコンボリューション演算と係わるプログラム、データまたはファイルを保存することができる。メモリ２２０は、プロセッサ２１０によって実行可能な命令語を保存することができる。プロセッサ２１０は、メモリ２２０に保存されたプログラムを実行させたり、メモリ２２０に保存されたデータまたはファイルを読み取ったり、新たなデータを保存したりすることができる。また、メモリ２２０は、プログラム命令、データファイル、データ構造などを、単独でまたは組み合わせで保存することができる。
【0024】
プロセッサ２１０は、高精度（high-precision）演算器（例えば、３２ビット演算器）が階層構造に設計され、複数の低精度（low-precision）演算器（例えば、８ビット演算器）を含んでもよい。その場合、プロセッサ２１０は、高精度演算のための命令語及び低精度演算のためのＳＩＭＤ（single instruction multiple data）命令語を支援することができる。ビット幅（bit-width）が低精度演算器の入力に合うように量子化（quantization）されるならば、プロセッサ２１０は、同一時間内に、ビット幅が広い演算を行う代わりに、ビット幅が狭い複数の演算を並列的に行うことにより、コンボリューション演算を加速させることができる。プロセッサ２１０は、所定の二進演算を介し、コンボリューションニューラルネットワーク上でコンボリューション演算を加速させることができる。
【0025】
プロセッサ２１０は、入力イメージから、第１ビットで量子化された入力アクティベーションデータを獲得することができる。例えば、プロセッサ２１０は、第１ビットと同一距離を有する第１距離ベクトルに基づき、第１ビットで表現される二進数を、量子化されたデータにマッピングすることができる。例えば、第１ビットは、プロセッサ２１０で支援されない精度に対応するビットでもある。プロセッサ２１０で支援される精度に対応するビットが、３２ビット、１６ビット、８ビットである場合、第１ビットは、１ビットと８ビットとの間の任意のビットでもある。プロセッサ２１０は、マッピングされた結果、及びコンボリューション演算の単位に基づき、イメージから、第１ビットで量子化された入力アクティベーションデータを獲得することができる。
【0026】
プロセッサ２１０は、第２ビットで量子化された加重値データを獲得することができる。ここで、該加重値データは、コンボリューションニューラルネットワークを介して学習されたパラメータの値を示すことができる。例えば、プロセッサ２１０は、第２ビットと同一距離を有する第２距離ベクトルに基づき、第２ビットで表現される二進数を、量子化されたデータにマッピングすることができる。例えば、第２ビットは、プロセッサ２１０で支援されない精度に対応するビットでもある。プロセッサ２１０で支援される精度に対応するビットが３２ビット、１６ビット、８ビットである場合、第２ビットは、１ビットと８ビットとの間の任意のビットでもある。プロセッサ２１０は、マッピングされた結果、及びコンボリューション演算の単位に基づき、コンボリューションニューラルネットワークを介して学習されたパラメータの値から、第２ビットで量子化された加重値データを獲得することができる。また、第１ビットは、第２ビットと同一ビットでもあり、異なるビットでもある。
【0027】
プロセッサ２１０は、入力アクティベーションデータ及び加重値データそれぞれを二進化し、二進化入力アクティベーションベクトル及び二進化加重値ベクトルを獲得することができる。
【0028】
例えば、プロセッサ２１０は、入力アクティベーションデータ内のコンポーネントを二進化し、二進化されたコンポーネントそれぞれにおいて、ｉ番目ビットで構成された第ｉ二進化入力アクティベーションベクトル（０≦ｉ≦ｎ－１、ｉは、整数であり、第１ビットは、ｎビットである）を獲得することができる。また、プロセッサ２１０は、加重値データ内のコンポーネントを二進化し、二進化されたコンポーネントそれぞれにおいて、ｊ番目ビットで構成された第ｊ二進化加重値ベクトル（０≦ｊ≦ｍ－１、ｊは、整数であり、第２ビットは、ｍビットである）を獲得することができる。
【0029】
プロセッサ２１０は、二進化入力アクティベーションベクトルと二進化加重値ベクトルとの二進演算を行うことができる。プロセッサ２１０は、第１ビット及び第２ビットそれぞれと同一長を有する距離ベクトルを獲得することができる。プロセッサ２１０は、二進化入力アクティベーションベクトルと二進化加重値ベクトルとの二進演算及び距離ベクトルに基づき、入力アクティベーションデータと加重値データとの内積演算を行うことができる。
【0030】
例えば、プロセッサ２１０は、第ｉ二進化入力アクティベーションベクトルと第ｊ二進化加重値ベクトルとの間でＸＮＯＲ演算を行い、ｎｘｍ個の第１演算ベクトルを獲得することができる。プロセッサ２１０は、ｎｘｍ個の第１演算ベクトルに、ｐｏｐｃｏｕｎｔ演算を行い、ｎｘｍ個の第２演算値を獲得することができる。プロセッサ２１０は、ｎｘｍ個の第２演算値、及びｎｘｍ個の第１演算ベクトルに対応する距離ベクトルに基づき、入力アクティベーションデータと加重値データとの内積演算を行うことができる。
【0031】
具体的には、プロセッサ２１０は、ｎｘｍ個の第２演算値それぞれに２を乗じ、入力アクティベーションデータの長さを差し引く演算を行い、ｎｘｍ個の第３演算値を獲得することができる。プロセッサ２１０は、ｎｘｍ個の第３演算値それぞれの獲得に基になった距離ベクトルの値を、ｎｘｍ個の第３演算値と乗じ、ｎｘｍ個の乗じられた値を合算することにより、入力アクティベーションデータと加重値データとの内積演算を行うことができる。
【0032】
プロセッサ２１０は、入力イメージから獲得される所定個数の入力アクティベーションデータについて、内積演算を行うことにより、所定個数の出力アクティベーションデータを獲得することができる。
【0033】
プロセッサ２１０は、コンボリューションニューラルネットワーク上の第１レイヤから出力された所定個数の出力アクティベーションデータを、コンボリューションニューラルネットワーク上の第２レイヤの入力アクティベーションデータとして適用することができる。
【0034】
プロセッサ２１０は、内積演算によってなされた結果を、出力アクティベーションデータとしてメモリ２２０に保存することができる。
【0035】
図３は、一実施形態により、コンボリューション演算を行う装置がコンボリューション演算を行う過程について説明するための図面である。
【0036】
図３を参照すれば、プロセッサ２１０は、コンボリューションレイヤを介してコンボリューション演算を行うことができる。例えば、コンボリューションレイヤは、入力データとして、入力アクティベーションデータ及び加重値データを獲得することができる。該入力アクティベーションデータは、三次元データであるＩ［Ｃｋ］［Ｗｉ］［Ｈｉ］によっても表現される。該加重値データは、四次元データであるＷ［Ｃｏ］［Ｃｋ］［Ｗｋ］［Ｈｋ］によっても表現される。プロセッサ２１０は、コンボリューションレイヤを介し、入力アクティベーションデータと加重値データとのコンボリューション演算を行い、出力データとして出力アクティベーションデータを獲得することができる。出力アクティベーションデータは、Ｏ［Ｃｏ］［Ｗｏ］［Ｈｏ］によっても表現される。
【0037】
図３のイメージ３１０は、出力アクティベーション第１平面５０上の最初ピクセル５１に係わるコンボリューション演算値を計算する過程について説明するための図面である。プロセッサ２１０は、入力アクティベーションデータ３０内の第１入力アクティベーションデータ３１である三次元ブロック（ＷｋｘＨｋｘＣｋ）と、第１加重値データ４１である三次元ブロック（ＷｋｘＨｋｘＣｋ）との内積を計算することにより、出力アクティベーション第１平面（ＷｏｘＨｏ）５０上の最初ピクセル５１値を獲得することができる。ここで、ピクセル５１値は、第１入力アクティベーションデータ３１と第１加重値データ４１とのコンボリューション値でもある。
【0038】
図３のイメージ３２０は、出力アクティベーション第１平面５０上の２番目ピクセル５２に係わるコンボリューション演算値を計算する過程について説明するための図面である。プロセッサ２１０は、第１入力アクティベーションデータ３１である三次元ブロック（ＷｋｘＨｋｘＣｋ）を二次元平面（ＷｉｘＨｉ）方向に所定歩幅（stride）ほど移動させ、入力アクティベーションデータ３０内の第２入力アクティベーションデータ３２である三次元ブロック（ＷｋｘＨｋｘＣｋ）を獲得することができる。プロセッサ２１０は、第２入力アクティベーションデータ３２である三次元ブロック（ＷｋｘＨｋｘＣｋ）と、第１加重値データ４１である三次元ブロック（ＷｋｘＨｋｘＣｋ）との内積を計算することにより、出力アクティベーション第１平面（ＷｏｘＨｏ）５０上の２番目ピクセル５２値を獲得することができる。
【0039】
プロセッサ２１０は、出力アクティベーション第１平面５０上の最初ピクセル５１に係わるコンボリューション演算値、及び２番目ピクセル５２に係わるコンボリューション演算値を獲得するための演算を並列的に行うことができる。また、プロセッサ２１０は、入力アクティベーションデータ３０内において、三次元ブロック（ＷｋｘＨｋｘＣｋ）を二次元平面（ＷｉｘＨｉ）方向に所定歩幅ほど移動させて獲得された所定の入力アクティベーションデータと、第１加重値データ４１である三次元ブロック（ＷｋｘＨｋｘＣｋ）との内積演算を反復して行うことにより、出力アクティベーション第１平面（ＷｏｘＨｏ）５０上の全ピクセルに係わるピクセル値を獲得することができる。
【0040】
また、プロセッサ２１０は、出力アクティベーション三次元座標（ＷｏｘＨｏｘＣｏ）上の出力アクティベーション第２平面（ＷｏｘＨｏ）６０上の全ピクセルに係わるピクセル値も、出力アクティベーション第１平面（ＷｏｘＨｏ）５０上の全ピクセルに係わるピクセル値を獲得するための方法と同一方法で獲得することができる。
【0041】
図３のイメージ３３０は、出力アクティベーション第２平面６０上の最初ピクセル６１に係わるコンボリューション演算値を計算する過程について説明するための図面である。プロセッサ２１０は、入力アクティベーションデータ３０内の第１入力アクティベーションデータ３１である三次元ブロック（ＷｋｘＨｋｘＣｋ）と、第２加重値データ４２である三次元ブロック（ＷｋｘＨｋｘＣｋ）との内積を計算することにより、出力アクティベーション第２平面（ＷｏｘＨｏ）６０上の最初ピクセル６１値を獲得することができる。
【0042】
また、出力アクティベーション第２平面（ＷｏｘＨｏ）６０上の全ピクセルに係わるピクセル値、及び出力アクティベーション第１平面（ＷｏｘＨｏ）５０上の全ピクセルに係わるピクセル値を獲得するための演算は、並列的にも行われる。プロセッサ２１０は、全ての出力アクティベーション平面上のピクセル値を獲得することにより、出力アクティベーション三次元座標（ＷｏｘＨｏｘＣｏ）上のピクセル値を獲得することができる。
【0043】
図４は、一実施形態により、８ビットで量子化されたデータのコンボリューション演算を加速させる方法について説明するための図面である。
【0044】
図４のイメージ４１０を参照すれば、プロセッサ２１０は、３２ビット入力Ａ，Ｂ，Ｃに対し、ＭＡＣ（multiplication and accumulation）演算を行うことができる。プロセッサ２１０は、３２ビット入力Ａ，Ｂ，Ｃについて、ＡＸＢ＋Ｃ＝Ｄを演算し、６４ビット出力Ｄを生成することができる。ここで、プロセッサ２１０は、１回のＭＡＣ演算を行うことにより、１つの出力Ｄを獲得することができる。
【0045】
図４のイメージ４２０を参照すれば、プロセッサ２１０は、入力Ａ，Ｂ，Ｃを、８ビットデータ４個で構成された３２ビットベクトルとして獲得することができる。プロセッサ２１０は、８ビットＳＩＭＤ演算を行うことができる。プロセッサ２１０は、８ビットＳＩＭＤ演算を行うことにより、８ビットデータ４個で構成された３２ビットベクトルである入力Ａ，Ｂ，Ｃについて、Ａ［ｉ］ＸＢ［ｉ］＋Ｃ［ｉ］＝Ｄ［ｉ］（ただし、ｉ＝０，１、２、３）を並列的に演算し、１６ビットデータ４個で構成された６４ビットベクトルＤを獲得することができる。ここで、プロセッサ２１０は、３２ビットデータを８ビットで量子化し、ＳＩＭＤ演算を行うことにより、ＭＡＣ演算を行うときより、データ処理の速度を４倍向上させることができる。
【0046】
図５は、一実施形態により、入力アクティベーションブロックと加重値ブロックとをチャネル方向に分割し、分割されたサブブロックを利用し、コンボリューション演算を行う方法について説明するための図面である。
【0047】
図５は、プロセッサ２１０がＳＩＭＤ ＭＡＣ演算を利用し、コンボリューション演算を行う方法について説明するための図面である。
【0048】
例えば、プロセッサ２１０は、入力アクティベーションブロック５１０内の第１入力アクティベーションブロック５１１（ＩＢ∈Ｒ１６ｘ１ｘ８）を獲得することができる。プロセッサ２１０は、第１入力アクティベーションブロック５１１（ＩＢ∈Ｒ１６ｘ１ｘ８）をチャネル方向に分割し、８個のサブブロックＩＳＢ［０］～ＩＳＢ［７］を獲得することができる。また、プロセッサ２１０は、第１加重値ブロック５２０（ＷＢ∈Ｒ１ｘ１ｘ８）を獲得することができる。プロセッサ２１０は、第１加重値ブロック５２０（ＷＢ∈Ｒ１ｘ１ｘ８）をチャネル方向に分割し、８個のサブブロックＷＳＢ［０］～ＷＳＢ［７］を獲得することができる。プロセッサ２１０は、８個の入力アクティベーションサブブロックＩＳＢ［０］～ＩＳＢ［７］と、８個の加重値サブブロックＷＳＢ［０］～ＷＳＢ［７］とのＳＩＭＤ ＭＡＣ演算を行うことにより、１６個のピクセルの部分和（ＯＢ＝ＯＢ＋ＩＳＢ［ｉ］ｘＷＳＢｘ１６［ｉ］、ｉ＝０，１、２、３、４、５、６、７）を獲得することができる。プロセッサ２１０は、全てのチャネルについて、ＳＩＭＤ ＭＡＣ演算を反復して行うことにより、１６個ピクセル５３１に係わるコンボリューション値を獲得することができる。また、プロセッサ２１０は、入力アクティベーションブロック５１０と第１加重値ブロック５２０とのコンボリューション演算を介し、出力アクティベーションデータ５３０に係わるコンボリューション値を獲得することができる。一方、プロセッサ２１０は、演算を行うにおいて、加重値ブロックＷＳＢをｎ個複写し、ベクトルに生成されたＷＳＢｘｎを利用することができる。
【0049】
図６は、一実施形態により、プロセッサ２１０が、８ビットＳＩＭＤ ＭＡＣ動作を介してコンボリューション演算を行う方法について説明するための図面である。
【0050】
例えば、プロセッサ２１０のパイプラインは、１回に１２８ビットの出力を処理することができると仮定する。プロセッサ２１０が、１６ビットのデータについてロードまたは保存する演算を行うとき、プロセッサ２１０は、８個のデータを、１回にロードまたは保存することができる。一方、プロセッサ２１０は、８ビットＳＩＭＤ ＭＡＣ演算を行うにおいて、加重値ブロックＷＳＢを８個複写し、ベクトルに生成されたＷＳＢｘ８を利用することができる。
【0051】
図６のコード６１０のライン２～３を参照すれば、プロセッサ２１０は、第１出力アクティベーションの１６個ピクセル（ＯＢ∈Ｒ１６ｘ１ｘ１）をローディングすることができる。
【0052】
コード６１０のライン４を参照すれば、プロセッサ２１０は、コンボリューション演算に利用される第１入力アクティベーションブロックのサブブロックＩＳＢ［ｉ］［０］～ＩＳＢ［ｉ］［１５］をローディングすることができる。
【0053】
コード６１０のライン５～６を参照すれば、プロセッサ２１０は、第１入力アクティベーションブロックのサブブロックＩＳＢ［ｉ］と加重値サブブロックＷＳＢ［ｉ］との乗算を行い、第１出力アクティベーションブロックの１６個ピクセルの部分和を加えるＭＡＣ演算（ＯＢ＝ＯＢ＋ＩＳＢ［ｉ］ｘＷＳＢｘ１６［ｉ］）を行うことができる。プロセッサ２１０は、ＭＡＣ（ＩＳＢ［ｉ］，ＷＳＢｘ１６［ｉ］，ＯＢ［ｉ］）を行い、遂行された結果値をＯＢ［ｉ］に保存することができる。
【0054】
コード６１０のライン７～８を参照すれば、プロセッサ２１０は、第１出力アクティベーションブロックの１６個ピクセル（ＯＢ∈Ｒ１６ｘ１ｘ１）の部分和を保存することができる。
【0055】
従って、ループ（loop）当たり７個の命令語（Instruction）を８回反復するので、総５６サイクルが所要される。
【0056】
図７は、一実施形態により、入力アクティベーションブロックが幅方向に分割されたサブブロックと、加重値ブロックが分割されたサブブロックとを利用し、コンボリューション演算を行う方法について説明するための図面である。
【0057】
例えば、プロセッサ２１０は、入力アクティベーションブロック７１０内の第１入力アクティベーションブロック７１１（ＩＢ∈Ｒ１６ｘ１ｘ８）を獲得することができる。プロセッサ２１０は、第１入力アクティベーションブロック７１１（ＩＢ∈Ｒ１６ｘ１ｘ８）を幅方向に分割し、８ビットデータからなる１６個の第１入力アクティベーションサブブロック７１１－０，７１１－２，...，７１１－１５を獲得することができる。ＩＳＢ２［０］７１１－０、ＩＳＢ２［１］７１１－１、ＩＳＢ２［２］７１１－２、...、ＩＳＢ２［１５］７１１－１５は、それぞれ幅方向に分割され、８ビットからなる１６個のサブブロックでもある。ＩＳＢ２［０］［ｉ］～ＩＳＢ２［１５］［ｉ］は、各サブブロックのｉ番目ビットで構成されたデータでもある。
【0058】
また、プロセッサ２１０は、第１加重値ブロック７２０（ＷＢ∈Ｒ１ｘ１ｘ８）を獲得することができる。プロセッサ２１０は、第１加重値ブロック７２０（ＷＢ∈Ｒ１ｘ１ｘ８）から１個の第１加重値サブブロックＷＳＢ２［０］を獲得することができる。ＷＳＢ２［ｊ］は、第１加重値サブブロックのデータのｊ番目ビットで構成されたサブブロックでもある。プロセッサ２１０は、１６個の第１入力アクティベーションサブブロック７１１－０，７１１－２，...，７１１－１５と、８個の第１加重値サブブロックとのコンボリューション演算を行うことにより、出力アクティベーション平面７３０上の１６個のピクセル７３１のコンボリューション値を獲得することができる。入力アクティベーションブロックと加重値ブロックとのコンボリューション演算は、図８で説明する。
【0059】
図８は、一実施形態により、プロセッサ２１０が所定の二進演算を介してコンボリューション演算を行う方法について説明するための図面である。
【0060】
図８のコード８１０のライン１～２を参照すれば、プロセッサ２１０は、第１出力アクティベーションの１６個ピクセル（ＯＢ∈Ｒ１６ｘ１ｘ１）の部分和をローディングすることができる。
【0061】
コード８１０のライン５を参照すれば、プロセッサ２１０は、所定コンボリューション演算に利用されるｉ番目ビットからなる１６個の入力アクティベーションベクトルＩＳＢ２［０］［ｉ］～ＩＳＢ２［１５］［ｉ］をローディングすることができる。
【0062】
コード８１０のライン６～７を参照すれば、プロセッサ２１０は、１６個の入力アクティベーションベクトルＩＳＢ２［０］［ｉ］～ＩＳＢ２［１５］［ｉ］と加重値ベクトルＷＳＢ２ｘ８［ｊ］）との間でＸＮＯＲ演算を行うことができる。一方、プロセッサ２１０は、所定コンボリューション演算を行うにおいて、加重値ブロックＷＳＢ２をｎ個複写し、ベクトルとして生成されたＷＳＢ２ｘｎを利用することができる。プロセッサ２１０は、ＸＮＯＲ演算を行った結果Ｍ０，Ｍ１を獲得することができる。Ｍ０，Ｍ１それぞれは、６４ビット（８ｘ８）でもある。プロセッサ２１０で１２８ビット処理が可能である場合、プロセッサ２１０は、Ｍ０を獲得するためのＸＮＯＲ演算と、Ｍ１を獲得するためのＸＮＯＲ演算とを並列的に行うことができる。
【0063】
コード８１０のライン８～９を参照すれば、プロセッサ２１０は、ＸＮＯＲ演算結果にｐｏｐｃｏｕｎｔ演算を行うことができる。Ｐ０、Ｐ１それぞれは６４ビット（８ｘ８）でもある。プロセッサ２１０で１２８ビット処理ができた場合、プロセッサ２１０は、Ｐ０を獲得するためのｐｏｐｃｏｕｎｔ演算とＰ１を獲得するためのｐｏｐｃｏｕｎｔ演算を並列的に遂行することができる。
【0064】
コード８１０のライン１０～１１を参照すれば、プロセッサ２１０は、ｐｏｐｃｏｕｎｔ演算値と距離ベクトルとを利用し、ＭＡＣ演算を行うことができる。距離ベクトル（Ｄ［ｉ］［ｊ］）は、図１２のブロック１２５０に記載されているように、ｄ［ｉ］ｘｄ［ｊ］が計算された値でもある。また、プロセッサ２１０は、Ｄ［ｉ］［ｊ］を８個複写し、ベクトルとして生成されたＤｘ８［ｉ］［ｊ］を獲得し、ｐｏｐｃｏｕｎｔ演算値とＤｘ８［ｉ］［ｊ］とを利用し、ＭＡＣ演算を行うことができる。
【0065】
コード８１０のライン１２～１３を参照すれば、プロセッサ２１０は、第１出力アクティベーションブロックの１６個ピクセル（ＯＢ∈Ｒ１６ｘ１ｘ１）の部分和を保存することができる。
【0066】
例えば、入力アクティベーションデータのビットが２ビットであり、加重値データのビットが１ビットである場合、ループ当たり５個の命令語（図８のコード８１０のライン５～１１、ライン６～７の演算は、並列的に処理し、ライン８～９の演算は、並列的に処理する）を２回反復し、出力アクティベーションデータのロード及び保存に４個の命令語を遂行するので、総１４（５ｘ２＋４＝１４）サイクルが所要される。従って、図８のコード８１０によるコンボリューション演算の性能が、図６のコード６１０によるコンボリューション演算の性能より４倍位向上することができる。
【0067】
また、入力アクティベーションデータのビットが３ビットであり、加重値データのビットが１ビットである場合、総１９（５ｘ３＋４＝１９）サイクルが所要される。その場合、コンボリューション演算の性能は、２．９倍位向上することができる。
【0068】
また、入力アクティベーションデータのビットが２ビットであり、加重値データのビットが２ビットである場合、総２４（５ｘ２ｘ２＋４＝２４）サイクルが所要される。その場合、コンボリューション演算の性能は、２．３倍位向上することができる。
【0069】
図９は、一実施形態により、データのビット数及び距離ベクトルに基づき、量子化されたデータを獲得する方法について説明するための図面である。
【0070】
プロセッサ２１０は、データの所定ビットと同一距離を有する距離ベクトルに基づき、所定ビットで表現される二進数を、量子化されたデータにマッピングすることができる。例えば、ブロック９１０を参照すれば、データがｎビットである場合、距離ベクトルは、［１，２，...，２ｎ－１］でもある。データが２ビットである場合、距離ベクトルは、［１，２］でもある。また、データが１ビットである場合、距離ベクトルは、［１］でもある。
【0071】
ブロック９２０を参照すれば、データが２ビットである場合、２ビットで表現される二進数は、００（２）、０１（２）、１０（２）、１１（２）でもある。プロセッサ２１０は、距離ベクトルの各コンポーネントに、１または－１を乗じた値の和に基づき、２ビットで表現される二進数に対応する量子化されたデータを獲得することができる。例えば、２ビットで表現される二進数の第１コンポーネントの値が０である場合、第１コンポーネントに対応する距離ベクトルのコンポーネントの値に－１を乗じることができる。また、２ビットで表現される二進数の第２コンポーネントの値が１である場合、第２コンポーネントに対応する距離ベクトルのコンポーネントの値に１を乗じることができる。
【0072】
従って、２ビットで表現される二進数が００（２）である場合、プロセッサ２１０は、最初ビットの値が０であるので、距離ベクトルの最初コンポーネント値である２に－１を乗じ、－２を獲得することができる。プロセッサ２１０は、０番目ビットの値が０であるので、距離ベクトルの０番目コンポーネント値である１に－１を乗じ、－１を獲得することができる。プロセッサ２１０は、－２と－１を合算し、－３を獲得することができる。二進数が００（２）であるならば、プロセッサ２１０は、量子化されたデータ－３を獲得することができる。
【0073】
同じ方法で、二進数が０１（２）であるならば、プロセッサ２１０は、量子化されたデータ－１を獲得することができる。二進数が１０（２）であるならば、プロセッサ２１０は、量子化されたデータ１を獲得することができる。二進数が１１（２）であるならば、プロセッサ２１０は、量子化されたデータ３を獲得することができる。
【0074】
ブロック９３０を参照すれば、データが１ビットである場合、１ビットで表現される二進数は、０（２）、１（２）でもある。プロセッサ２１０は、距離ベクトルのコンポーネントに１または－１を乗じた値に基づき、２ビットで表現される二進数に対応する量子化されたデータを獲得することができる。
【0075】
従って、二進数が０（２）であるならば、プロセッサ２１０は、量子化されたデータ－１を獲得することができる。二進数が１（２）であるならば、プロセッサ２１０は、量子化されたデータ１を獲得することができる。
【0076】
図１０は、一実施形態により、入力アクティベーションデータが１ビットであり、加重値データが１ビットである場合、内積演算値を獲得する過程について説明するための図面である。
【0077】
ブロック１０１０を参照すれば、入力アクティベーションデータ及び加重値データが１ビットであるならば、入力アクティベーションデータ及び加重値データそれぞれに係わる距離ベクトルは、［１］でもある。
【0078】
ブロック１０２０を参照すれば、プロセッサ２１０は、１ビットで量子化された入力アクティベーションデータ、及び１ビットで量子化された加重値データを獲得することができる。例えば、１ビットで量子化された入力アクティベーションデータ（Ａoriginal）は、８個のベクトルで構成された［１，１，１，１，－１，－１，１，－１］でもある。１ビットで量子化された加重値データ（Ｗoriginal）は、８個のベクトルで構成された［－１，１，－１，１，－１，１，－１，１］でもある。
【0079】
ブロック１０３０を参照すれば、プロセッサ２１０は、入力アクティベーションデータ（Ａoriginal）及び加重値データ（Ｗoriginal）をそれぞれ二進化し、二進化入力アクティベーションデータベクトル（Ａbin）及び二進化加重値ベクトル（Ｗbin）を獲得することができる。
【0080】
例えば、１ビットのデータが、距離ベクトル（ｄ＝［１］）によって量子化された場合、プロセッサ２１０は、量子化されたデータである－１を０（２）に二進化することができ、量子化されたデータである１を１（２）に二進化することができる。
【0081】
従って、プロセッサ２１０は、入力アクティベーションデータ（Ａoriginal）である［１，１，１，１，－１，－１，１，－１］を二進化し、二進化入力アクティベーションデータベクトル（Ａbin）である［１，１，１，１，０，０，１，０］を獲得することができる。また、プロセッサ２１０は、加重値データ（Ｗoriginal）である［－１，１，－１，１，－１，１，－１，１］を二進化し、二進化加重値ベクトル（Ｗbin）である［０，１，０，１，０，１，０，１］を獲得することができる。
【0082】
ブロック１０４０を参照すれば、プロセッサ２１０は、二進化入力アクティベーションデータベクトル（Ａbin）と二進化加重値ベクトル（Ｗbin）との間でＸＮＯＲ演算を行い、第１演算ベクトルを獲得することができる。第１演算ベクトルＭは、［０，１，０，１，１，０，０、０］でもある。ＸＮＯＲ演算が行われた後、プロセッサ２１０は、第１演算ベクトルＭにｐｏｐｃｏｕｎｔ演算を行い、第２演算値Ｐを獲得することができる。ここで、第２演算値Ｐは、３である。
【0083】
ブロック１０５０を参照すれば、プロセッサ２１０は、第２演算値Ｐ及び第１演算ベクトルＭに対応する距離ベクトルに基づき、入力アクティベーションデータ（Ａoriginal）と加重値データ（Ｗoriginal）との内積演算を行うことができる。
【0084】
具体的には、プロセッサ２１０は、第２演算値Ｐに２を乗じ、入力アクティベーションデータ（Ａoriginal）の長さを差し引く演算を行い、第３演算値を獲得することができる。ここで、入力アクティベーションデータ（Ａoriginal）の長さは、８であり、第３演算値は、－２である。プロセッサ２１０は、第３演算値に距離ベクトル（ｄ［０］＝１）を乗じ、入力アクティベーションデータ（Ａoriginal）と加重値データ（Ｗoriginal）との内積演算を行うことができる。内積演算値は、－２である。
【0085】
ブロック１０５０で計算された前記内積演算値－２は、入力アクティベーションデータ（Ａoriginal）と加重値データ（Ｗoriginal）との内積演算の結果と同一であることが分かる。
【0086】
図１１は、一実施形態により、入力アクティベーションデータが２ビットであり、加重値データが１ビットである場合、内積演算値を獲得する過程について説明するための図面である。
【0087】
ブロック１１１０を参照すれば、入力アクティベーションデータが２ビットであるならば、入力アクティベーションデータに係わる距離ベクトルｄａは、［１，２］でもある。加重値データが１ビットであるならば、加重値データに係わる距離ベクトルｄｗは、［１］でもある。
【0088】
ブロック１１２０を参照すれば、プロセッサ２１０は、２ビットで量子化された入力アクティベーションデータ、及び１ビットで量子化された加重値データを獲得することができる。例えば、２ビットで量子化された入力アクティベーションデータ（Ａoriginal）は、８個のベクトルで構成された［１，３，３，１，－３、－１，１，－１］でもある。１ビットで量子化された加重値データ（Ｗoriginal）は、８個のベクトルで構成された［－１，１，－１，１，－１，１，－１，１］でもある。
【0089】
ブロック１１３０を参照すれば、プロセッサ２１０は、入力アクティベーションデータ（Ａoriginal）及び加重値データ（Ｗoriginal）をそれぞれ二進化し、二進化入力アクティベーションデータベクトル（Ａbin）及び二進化加重値ベクトル（Ｗbin）を獲得することができる。
【0090】
例えば、１ビットのデータが距離ベクトル（ｄ＝［１］）によって量子化された場合、プロセッサ２１０は、量子化されたデータである－１を０（２）に二進化することができ、量子化されたデータである１を１（２）に二進化することができる。また、２ビットのデータが距離ベクトル（ｄ＝［１，２］）によって量子化された場合、プロセッサ２１０は、量子化されたデータである－３を００（２）に二進化することができ、量子化されたデータである－１を０１（２）に二進化することができ、量子化されたデータである１を１０（２）に二進化することができ、量子化されたデータである３を１１（２）に二進化することができる。
【0091】
従って、プロセッサ２１０は、入力アクティベーションデータ（Ａoriginal）である［１，３，３，１，－３，－１，１，－１］を二進化し、二進化入力アクティベーションデータベクトル（Ａbin）である［１０（２），１１（２），１１（２），１０（２），００（２），０１（２），１０（２），０１（２）］を獲得することができる。プロセッサ２１０は、二進化入力アクティベーションデータベクトル（Ａbin）において、ｉ番目ビットで構成された第ｉ二進化入力アクティベーションベクトル（０≦ｉ≦１、ｉは、整数である）を獲得することができる。ここで、０番目ビットで構成された二進化入力アクティベーションベクトル（Ａbin［０］）は、［０，１，１，０，０，１，０，１］である。また、最初ビットで構成された二進化入力アクティベーションベクトル（Ａbin［１］）は、［１，１，１，１，０，０，１，０］である。また、プロセッサ２１０は、加重値データ（Ｗoriginal）である［－１，１，－１，１，－１，１，－１，１］を二進化し、二進化加重値ベクトル（Ｗbin）である［０，１，０，１，０，１，０，１］を獲得することができる。
【0092】
ブロック１１４０を参照すれば、プロセッサ２１０は、第ｉ二進化入力アクティベーションデータベクトル（Ａbin［ｉ］、ｉ＝０，１）と二進化加重値ベクトル（Ｗbin）との間でＸＮＯＲ演算を行い、第１演算ベクトル（Ｍ［ｋ］、ｋ＝０，１）を獲得することができる。第１演算ベクトル（Ｍ［ｋ］）の個数は、入力アクティベーションデータが量子化されたビット数と、加重値データが量子化されたビット数とを乗じた値である。ここで、第１演算ベクトル（Ｍ［ｋ］）の個数は、２ｘ１＝２である。プロセッサ２１０は、Ａbin［０］とＷbinとの間でＸＮＯＲを演算し、Ｍ［０］を獲得することができる。ここで、Ｍ［０］は、［１，１，０，０，１，１，１，１］である。また、プロセッサ２１０は、Ａbin［１］とＷbinとの間でＸＮＯＲを演算し、Ｍ［１］を獲得することができる。ここで、Ｍ［１］は、［０，１，０，１，１，０，０，０］である。ＸＮＯＲ演算が行われた後、プロセッサ２１０は、２個の第１演算ベクトル（Ｍ［ｋ］）それぞれにｐｏｐｃｏｕｎｔ演算を行い、２個の第２演算値（Ｐ（ｋ）、ｋ＝０，１）を獲得することができる。Ｐ（０）は、６であり、Ｐ（１）は、３である。
【0093】
ブロック１１５０を参照すれば、プロセッサ２１０は、第２演算値Ｐ及び第１演算ベクトルＭに対応する距離ベクトルに基づき、入力アクティベーションデータ（Ａoriginal）と加重値データ（Ｗoriginal）との内積演算を行うことができる。
【0094】
具体的には、プロセッサ２１０は、第２演算値（Ｐ（ｋ）、ｉ＝０，１）に２を乗じ、入力アクティベーションデータ（Ａoriginal）の長さを差し引く演算を行い、２個の第３演算値を獲得することができる。プロセッサ２１０は、第３演算値それぞれに、第３演算値獲得に基になった距離ベクトル（ｄ［ｉ］、ｉ＝０，１）を乗じた値を合算することにより、入力アクティベーションデータ（Ａoriginal）と加重値データ（Ｗoriginal）との内積演算を行うことができる。ブロック１１５０を参照すれば、内積演算値は、０である。
【0095】
ブロック１１５０で計算された前記内積演算値０は、入力アクティベーションデータ（Ａoriginal）と加重値データ（Ｗoriginal）との内積演算の結果と同一であることが分かる。
【0096】
図１２は、一実施形態により、入力アクティベーションデータが２ビットであり、加重値データが２ビットである場合、内積演算値を獲得する過程について説明するための図面である。
【0097】
ブロック１２１０を参照すれば、入力アクティベーションデータ及び加重値データが２ビットであるならば、入力アクティベーションデータに係わる距離ベクトルｄａは、［１，２］であり、加重値データに係わる距離ベクトルｄｗは、［１，２］でもある。
【0098】
ブロック１２２０を参照すれば、プロセッサ２１０は、２ビットで量子化された入力アクティベーションデータ、及び２ビットで量子化された加重値データを獲得することができる。例えば、２ビットで量子化された入力アクティベーションデータ（Ａoriginal）は、８個のベクトルで構成された［１，３，３，１，－３，－１，１，－１］でもある。２ビットで量子化された加重値データ（Ｗoriginal）は、８個のベクトルで構成された［－１，１，－１，－３，３，１，３，１］でもある。
【0099】
ブロック１２３０を参照すれば、プロセッサ２１０は、入力アクティベーションデータ（Ａoriginal）及び加重値データ（Ｗoriginal）をそれぞれ二進化し、二進化入力アクティベーションデータベクトル（Ａbin）及び二進化加重値ベクトル（Ｗbin）を獲得することができる。
【0100】
例えば、図１１で説明したように、２ビットのデータが、距離ベクトル（ｄ＝［１，２］）によって量子化された場合、プロセッサ２１０は、量子化されたデータである－３を００（２）に二進化することができ、量子化されたデータである－１を０１（２）に二進化することができ、量子化されたデータである１を１０（２）に二進化することができ、量子化されたデータである３を１１（２）に二進化することができる。
【0101】
従って、プロセッサ２１０は、入力アクティベーションデータ（Ａoriginal）である［１，３，３，１，－３，－１，１，－１］を二進化し、二進化入力アクティベーションデータベクトル（Ａbin）である［１０（２），１１（２），１１（２），１０（２），００（２），０１（２），１０（２），０１（２）］を獲得することができる。プロセッサ２１０は、二進化入力アクティベーションデータベクトル（Ａbin）から、ｉ番目ビットで構成された第ｉ二進化入力アクティベーションベクトル（０≦ｉ≦１、ｉは、整数である）を獲得することができる。ここで、０番目ビットで構成された二進化入力アクティベーションベクトル（Ａbin［０］）は、［０，１，１，０，０，１，０，１］である。また、最初ビットで構成された二進化入力アクティベーションベクトル（Ａbin［１］）は、［１，１，１，１，０，０，１，０］である。
【0102】
同様に、プロセッサ２１０は、加重値データ（Ｗoriginal）である［－１，１，－１，－３，３，１，３，１］を二進化し、二進化加重値ベクトル（Ｗbin）である［０１（２），１０（２），０１（２），００（２），１１（２），１０（２），１１（２），１０（２）］を獲得することができる。プロセッサ２１０は、二進化加重値ベクトル（Ｗbin）から、ｊ番目ビットで構成された第ｊ二進化加重値ベクトル（０≦ｊ≦１、ｊは、整数である）を獲得することができる。ここで、０番目ビットで構成された二進化加重値ベクトル（Ｗbin［０］）は、［１，０，１，０，１，０，１，０］である。また、最初ビットで構成された二進化加重値ベクトル（Ｗbin［１］）は、［０，１，０，０，１，１，１，１］である。
【0103】
ブロック１２４０を参照すれば、プロセッサ２１０は、第ｉ二進化入力アクティベーションデータベクトル（Ａbin［ｉ］、ｉ＝０，１）と二進化加重値ベクトル（Ｗbin［ｊ］、ｊ＝０，１）との間でＸＮＯＲ演算を行い、第１演算ベクトル（Ｍ［ｋ］、ｋ＝０，１，２，３）を獲得することができる。第１演算ベクトル（Ｍ［ｋ］）の個数は、入力アクティベーションデータが量子化されたビット数と、加重値データが量子化されたビット数とを乗じた値である。ここで、第１演算ベクトル（Ｍ［ｋ］）の個数は、２ｘ２＝４である。
【0104】
プロセッサ２１０は、Ａbin［０］とＷbin［０］との間でＸＮＯＲを演算し、Ｍ［０］を獲得することができる。ここで、Ｍ［０］は、［０，０，１，１，０，０，０，０］である。プロセッサ２１０は、Ａbin［０］とＷbin［１］との間でＸＮＯＲを演算し、Ｍ［１］を獲得することができる。ここで、Ｍ［１］は、［１，１，０，１，０，１，０，１］である。プロセッサ２１０は、Ａbin［１］とＷbin［０］との間でＸＮＯＲを演算し、Ｍ［２］を獲得することができる。ここで、Ｍ［２］は、［１，０，１，０，０，１，１，１］である。プロセッサ２１０は、Ａbin［１］とＷbin［１］との間でＸＮＯＲを演算し、Ｍ［３］を獲得することができる。ここで、Ｍ［３］は、［０，１，０，０，０，０，１，０］である。
【0105】
ＸＮＯＲ演算が行われた後、プロセッサ２１０は、４個の第１演算ベクトル（Ｍ［ｋ］、ｋ＝０，１，２，３）それぞれにｐｏｐｃｏｕｎｔ演算を行い、４個の第２演算値（Ｐ（ｋ）、ｋ＝０，１，２，３）を獲得することができる。Ｐ（０）は、２であり、Ｐ（１）は、５であり、Ｐ（２）は、５であり、Ｐ（３）は、２である。
【0106】
ブロック１２５０を参照すれば、プロセッサ２１０は、第２演算値Ｐ及び第１演算ベクトルＭに対応する距離ベクトルに基づき、入力アクティベーションデータ（Ａoriginal）と加重値データ（Ｗoriginal）との内積演算を行うことができる。
【0107】
具体的には、プロセッサ２１０は、第２演算値（Ｐ（ｋ）、ｉ＝０，１，２，３）に２を乗じ、入力アクティベーションデータ（Ａoriginal）の長さを差し引く演算を行い、４個の第３演算値を獲得することができる。プロセッサ２１０は、第３演算値それぞれに第３演算値獲得に基になった距離ベクトル（ｄ［ｉ］、ｉ＝０，１、ｄ［ｊ］、ｊ＝０，１）を乗じた値を合算することにより、入力アクティベーションデータ（Ａoriginal）と加重値データ（Ｗoriginal）との内積演算を行うことができる。ブロック１２５０を参照すれば、内積演算値は、－１２である。
【0108】
ブロック１２５０で計算された前記内積演算値－１２は、入力アクティベーションデータ（Ａoriginal）と加重値データ（Ｗoriginal）との内積演算の結果と同一であるということが分かる。
【0109】
図１３は、一実施形態により、コンボリューション演算を行う方法について説明するためのフローチャートである。
【0110】
図１３を参照すれば、段階Ｓ１３１０において、コンボリューション演算を行う装置（以下、コンボリューション演算装置１０）は、入力イメージから、第１ビットで量子化された入力アクティベーションデータを獲得することができる。
【0111】
例えば、コンボリューション演算装置１０は、第１ビットと同一距離を有する第１距離ベクトルに基づき、第１ビットで表現される二進数を、量子化されたデータにマッピングすることができる。コンボリューション演算装置１０は、マッピングされた結果をメモリ２２０に保存することができる。コンボリューション演算装置１０は、マッピングされた結果及びコンボリューション演算の単位に基づき、イメージから、第１ビットで量子化された入力アクティベーションデータを獲得することができる。
【0112】
段階Ｓ１３２０において、コンボリューション演算装置１０は、コンボリューションニューラルネットワークを介して学習されたパラメータの値を示す、第２ビットで量子化された加重値データを獲得することができる。
【0113】
例えば、コンボリューション演算装置１０は、第２ビットと同一距離を有する第２距離ベクトルに基づき、第２ビットで表現される二進数を、量子化されたデータにマッピングすることができる。コンボリューション演算装置１０は、マッピングされた結果をメモリ２２０に保存することができる。コンボリューション演算装置１０は、マッピングされた結果及びコンボリューション演算の単位に基づき、コンボリューションニューラルネットワークを介して学習されたパラメータの値から、第２ビットで量子化された加重値データを獲得することができる。
【0114】
段階Ｓ１３３０において、コンボリューション演算装置１０は、入力アクティベーションデータ及び加重値データそれぞれを二進化し、二進化入力アクティベーションベクトル及び二進化加重値ベクトルを獲得することができる。
【0115】
コンボリューション演算装置１０は、入力アクティベーションデータ内のコンポーネントを二進化し、二進化されたコンポーネントそれぞれにおいて、ｉ番目ビットで構成された第ｉ二進化入力アクティベーションベクトル（０≦ｉ≦ｎ－１、ｉは、整数であり、第１ビットは、ｎビットである）を獲得することができる。
【0116】
また、コンボリューション演算装置１０は、加重値データ内のコンポーネントを二進化し、二進化されたコンポーネントそれぞれにおいて、ｊ番目ビットで構成された第ｊ二進化加重値ベクトル（０≦ｊ≦ｍ－１、ｊは、整数であり、第２ビットは、ｍビットである）を獲得することができる。
【0117】
段階Ｓ１３４０において、コンボリューション演算装置１０は、二進化入力アクティベーションベクトルと二進化加重値ベクトルとの所定二進演算を行うことができる。コンボリューション演算装置１０は、第１ビット及び第２ビットそれぞれと同一長を有する距離ベクトルを獲得することができる。コンボリューション演算装置１０は、二進化入力アクティベーションベクトルと二進化加重値ベクトルとの所定の二進演算及び距離ベクトルに基づき、入力アクティベーションデータと加重値データとの内積演算を行うことができる。
【0118】
コンボリューション演算装置１０は、第ｉ二進化入力アクティベーションベクトルと第ｊ二進化加重値ベクトルとの間でＸＮＯＲ演算を行い、ｎｘｍ個の第１演算ベクトルを獲得することができる。コンボリューション演算装置１０は、ｎｘｍ個の第１演算ベクトルにｐｏｐｃｏｕｎｔ演算を行い、ｎｘｍ個の第２演算値を獲得することができる。コンボリューション演算装置１０は、ｎｘｍ個の第２演算値及びｎｘｍ個の第１演算ベクトルに対応する距離ベクトルに基づき、入力アクティベーションデータと加重値データとの内積演算を行うことができる。
【0119】
具体的には、コンボリューション演算装置１０は、ｎｘｍ個の第２演算値それぞれにおいて２を乗じ、入力アクティベーションデータの長さを差し引く演算を行い、ｎｘｍ個の第３演算値を獲得することができる。コンボリューション演算装置１０は、ｎｘｍ個の第３演算値それぞれの獲得に基になった距離ベクトルの値を、ｎｘｍ個の第３演算値と乗じ、ｎｘｍ個の乗じた値を合算することにより、入力アクティベーションデータと加重値データとの内積演算を行うことができる。
【0120】
コンボリューション演算装置１０は、入力イメージから獲得される所定個数の入力アクティベーションデータについて、内積演算を行うことにより、所定個数の出力アクティベーションデータを獲得することができる。
【0121】
コンボリューション演算装置１０は、コンボリューションニューラルネットワーク上の第１レイヤから出力された所定個数の出力アクティベーションデータを、コンボリューションニューラルネットワーク上の第２レイヤの入力アクティベーションデータとして適用することができる。
【0122】
段階Ｓ１３５０において、コンボリューション演算装置１０は、内積演算によってなされた結果を出力アクティベーションデータとして保存することができる。
【0123】
なお、前述のコンボリューション演算を行う方法に係わる実施形態は、コンボリューション演算装置１０において、コンボリューション演算を行う方法を遂行するように、コンピュータ可読記録媒体に保存されたコンピュータプログラム形態によっても提供される。コンピュータ可読記録媒体は、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、フラッシュメモリ、ＣＤ－ＲＯＭｓ、ＣＤ－Ｒｓ、ＣＤ＋Ｒｓ、ＣＤ－ＲＷｓ、ＣＤ＋ＲＷｓ、ＤＶＤ－ＲＯＭｓ、ＤＶＤ－Ｒｓ、ＤＶＤ＋Ｒｓ、ＤＶＤ－ＲＷｓ、ＤＶＤ＋ＲＷｓ、ＤＶＤ－ＲＡＭｓ、ＢＤ－ＲＯＭｓ、ＢＤ－Ｒｓ、ＢＤ－ＲＬＴＨｓ、ＢＤ－ＲＥｓ、マグネチックテープ、フロッピーディスク、光磁気データ保存装置、光学データ保存装置、ハードディスク、ＳＳＤ（solid state drive）、及び命令語またはソフトウェア、関連データ、データファイル、及びデータ構造を保存することができ、プロセッサやコンピュータが命令語を実行するように、プロセッサやコンピュータに、命令語またはソフトウェア、関連データ、データファイル、及びデータ構造を提供することができるいかなる装置でもよい。
【0124】
以上のように、本実施形態が、たとえ限定された実施形態と図面とによって説明されたにしても、当該技術分野で当業者であるならば、前述のところから多様な修正及び変形が可能である。例えば、説明された技術が、説明された方法と異なる順序で遂行され、かつ／または説明されたシステム、構造、装置、回路のような構成要素が、説明された方法と異なる形態で結合されたり組み合わされたりし、他の構成要素または均等物によって代置されたり置換されたりされても、適切な結果が達成されるのである。
【0125】
従って、本発明の範囲は、説明された実施形態に限って決められるものではなく、特許請求の範囲だけではなく、該特許請求の範囲と均等なものなどによっても定められるのである。
【符号の説明】
【0126】
１０ コンボリューション装置
２１０ プロセッサ
２２０ メモリ
２１０ プロセッサ
２２０ メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】