ホーム > 特許ランキング > ＵＮＩＱＵＩＦＹ， ＩＮＣ．
特開2024-119963半導体ハードウェアにおいてニューラルネットワークを処理するための実装および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024119963
(43)【公開日】2024-09-03
(54)【発明の名称】半導体ハードウェアにおいてニューラルネットワークを処理するための実装および方法
(51)【国際特許分類】
G06N 3/063 20230101AFI20240827BHJP
G06N 3/0495 20230101ALI20240827BHJP
【ＦＩ】
G06N3/063
G06N3/0495
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024095760
(22)【出願日】2024-06-13
(62)【分割の表示】P 2023565626の分割
【原出願日】2022-04-29
(31)【優先権主張番号】63/184,576
(32)【優先日】2021-05-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/184,630
(32)【優先日】2021-05-05
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＶＩＳＵＡＬ ＢＡＳＩＣ
３．ＰＹＴＨＯＮ
４．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】523402774
【氏名又は名称】ユニークファイ， インク
【氏名又は名称原語表記】ＵＮＩＱＵＩＦＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】リー， ジョシュア
(57)【要約】 （修正有）
【課題】システム、方法、コンピュータ命令および人工知能処理要素（ＡＩＰＥ）を提供する。
【解決手段】畳み込み演算を実行するＡＩＰＥは、ニューラルネットワーク動作の入力データから導出されたシフト可能な入力を取り込むことと、ニューラルネットワークの対応する対数量子化されたパラメータまたは定数値から導出されたシフト命令を取り込むことと、シフト命令に従ってシフト可能な入力を左方向または右方向にシフトして、ニューラルネットワークの対応する対数量子化されたパラメータとの入力データの乗算を表すシフトされた出力を形成することと、を実行する。
【選択図】図７８
【解決手段】畳み込み演算を実行するＡＩＰＥは、ニューラルネットワーク動作の入力データから導出されたシフト可能な入力を取り込むことと、ニューラルネットワークの対応する対数量子化されたパラメータまたは定数値から導出されたシフト命令を取り込むことと、シフト命令に従ってシフト可能な入力を左方向または右方向にシフトして、ニューラルネットワークの対応する対数量子化されたパラメータとの入力データの乗算を表すシフトされた出力を形成することと、を実行する。
【選択図】図７８
【特許請求の範囲】
【請求項1】
人工知能処理要素（ＡＩＰＥ）であって、前記ＡＩＰＥが、
ニューラルネットワーク動作の入力データから導出されたシフト可能な入力を取り込むことと、
ニューラルネットワークの対応する対数量子化されたパラメータまたは定数値から導出されたシフト命令を取り込むことと、
前記シフト命令に従って前記シフト可能な入力を左方向または右方向にシフトして、前記ニューラルネットワークの前記対応する対数量子化されたパラメータとの前記入力データの乗算を表すシフトされた出力を形成すること
とを実行するように構成されたシフタ回路を備える。
ニューラルネットワーク動作の入力データから導出されたシフト可能な入力を取り込むことと、
ニューラルネットワークの対応する対数量子化されたパラメータまたは定数値から導出されたシフト命令を取り込むことと、
前記シフト命令に従って前記シフト可能な入力を左方向または右方向にシフトして、前記ニューラルネットワークの前記対応する対数量子化されたパラメータとの前記入力データの乗算を表すシフトされた出力を形成すること
とを実行するように構成されたシフタ回路を備える。
【請求項2】
前記シフト命令が、シフト方向およびシフト量を含み、前記シフト量が、前記対応する対数量子化されたパラメータの指数の大きさから導出され、前記シフト方向が、前記対応する対数量子化されたパラメータの前記指数の符号から導出され、
前記シフタ回路が、前記シフト可能な入力を、前記シフト方向に従って前記左方向または前記右方向にシフトし、前記シフト可能な入力を、前記シフト量によって示された量だけ前記シフト方向にシフトする、
請求項１に記載のＡＩＰＥ。
前記シフタ回路が、前記シフト可能な入力を、前記シフト方向に従って前記左方向または前記右方向にシフトし、前記シフト可能な入力を、前記シフト量によって示された量だけ前記シフト方向にシフトする、
請求項１に記載のＡＩＰＥ。
【請求項3】
前記シフト可能な入力の第１の符号ビットおよび前記対応する対数量子化されたパラメータの第２の符号ビットを取り込み、前記シフトされた出力の第３の符号ビットを形成するように構成された回路
をさらに備える請求項１に記載のＡＩＰＥ。
をさらに備える請求項１に記載のＡＩＰＥ。
【請求項4】
前記対数量子化されたパラメータの前記符号ビットが負符号を示す場合のために、前記シフトされた出力および前記対数量子化されたパラメータのうちの前記対応する１つの符号ビットを取り込み、１の補数データを形成するように構成された第１の回路と、
前記対応する対数量子化されたパラメータの前記符号ビットによって前記１の補数データをインクリメントし、前記シフトされた出力を、前記対応する対数量子化されたパラメータとの前記入力データの前記乗算を表す２の補数データに変更するように構成された第２の回路と
をさらに備える請求項１に記載のＡＩＰＥ。
前記対応する対数量子化されたパラメータの前記符号ビットによって前記１の補数データをインクリメントし、前記シフトされた出力を、前記対応する対数量子化されたパラメータとの前記入力データの前記乗算を表す２の補数データに変更するように構成された第２の回路と
をさらに備える請求項１に記載のＡＩＰＥ。
【請求項5】
前記シフタ回路が対数シフタ回路またはバレルシフタ回路である、
請求項１に記載のＡＩＰＥ。
請求項１に記載のＡＩＰＥ。
【請求項6】
前記ニューラルネットワーク動作の出力を取り込むように構成された回路
をさらに備え、
前記回路が、前記シフタ回路への信号入力に従って、前記ニューラルネットワーク動作の前記出力から、または前記ニューラルネットワーク動作の前記入力データから生成された大きさを変更された入力データから、前記シフト可能な入力を提供する、
請求項１に記載のＡＩＰＥ。
をさらに備え、
前記回路が、前記シフタ回路への信号入力に従って、前記ニューラルネットワーク動作の前記出力から、または前記ニューラルネットワーク動作の前記入力データから生成された大きさを変更された入力データから、前記シフト可能な入力を提供する、
請求項１に記載のＡＩＰＥ。
【請求項7】
信号入力に従って、前記ニューラルネットワークの前記対応する対数量子化されたパラメータまたは前記定数値から導出された前記シフト命令を提供するように構成された回路
をさらに備える請求項１に記載のＡＩＰＥ。
をさらに備える請求項１に記載のＡＩＰＥ。
【請求項8】
前記シフタ回路に結合された加算器回路
をさらに備え、
前記加算器回路が、前記シフトされた出力に基づいて加算し、前記ニューラルネットワーク動作の出力を形成するように構成される、請求項１に記載のＡＩＰＥ。
をさらに備え、
前記加算器回路が、前記シフトされた出力に基づいて加算し、前記ニューラルネットワーク動作の出力を形成するように構成される、請求項１に記載のＡＩＰＥ。
【請求項9】
前記加算器回路が整数加算器回路である、
請求項８に記載のＡＩＰＥ。
請求項８に記載のＡＩＰＥ。
【請求項10】
前記加算器回路が、前記シフトされた出力を、前記ニューラルネットワークの複数のバイアスパラメータのうちの対応する１つに加算し、前記ニューラルネットワーク動作の前記出力を形成するように構成される、
請求項８に記載のＡＩＰＥ。
請求項８に記載のＡＩＰＥ。
【請求項11】
別のシフタ回路と、
前記別のシフタ回路からの出力をラッチする前記別のシフタ回路に結合されたレジスタ回路と
をさらに備え、
前記別のシフタ回路が、前記シフトされた出力に関連付けられた符号ビットおよび前記シフトされた出力の各セグメントを取り込み、前記符号ビットに基づいて別のシフタ回路入力を左または右にシフトし、前記別のシフタ回路から前記出力を形成するように構成され、
前記レジスタ回路が、前記ニューラルネットワーク動作が完了していないことを示す信号の受信の場合に、前記別のシフタ回路からの前記ラッチされた出力を、前記別のシフタ回路への前記別のシフタ回路入力として提供し、前記ニューラルネットワーク動作が完了していることを示す前記信号の受信の場合に、前記ラッチされた出力を前記ニューラルネットワーク動作の出力として提供するように構成される、
請求項１に記載のＡＩＰＥ。
前記別のシフタ回路からの出力をラッチする前記別のシフタ回路に結合されたレジスタ回路と
をさらに備え、
前記別のシフタ回路が、前記シフトされた出力に関連付けられた符号ビットおよび前記シフトされた出力の各セグメントを取り込み、前記符号ビットに基づいて別のシフタ回路入力を左または右にシフトし、前記別のシフタ回路から前記出力を形成するように構成され、
前記レジスタ回路が、前記ニューラルネットワーク動作が完了していないことを示す信号の受信の場合に、前記別のシフタ回路からの前記ラッチされた出力を、前記別のシフタ回路への前記別のシフタ回路入力として提供し、前記ニューラルネットワーク動作が完了していることを示す前記信号の受信の場合に、前記ラッチされた出力を前記ニューラルネットワーク動作の出力として提供するように構成される、
請求項１に記載のＡＩＰＥ。
【請求項12】
前記各セグメントが、前記別のシフタ回路入力の幅の２進対数のサイズを有する、
請求項１１に記載のＡＩＰＥ。
請求項１１に記載のＡＩＰＥ。
【請求項13】
前記シフタ回路による前記別のシフタ回路入力の前記シフトから生じる、前記別のシフタ回路からのオーバーフローまたはアンダーフローを取り込むように構成されたカウンタ
をさらに備え、
前記別のシフタ回路が、前記各セグメントからの前記オーバーフローまたは前記アンダーフローを取り込み、前記オーバーフローまたは前記アンダーフローの量によって、その後のセグメントを左または右にシフトするように構成される、
請求項１１に記載のＡＩＰＥ。
をさらに備え、
前記別のシフタ回路が、前記各セグメントからの前記オーバーフローまたは前記アンダーフローを取り込み、前記オーバーフローまたは前記アンダーフローの量によって、その後のセグメントを左または右にシフトするように構成される、
請求項１１に記載のＡＩＰＥ。
【請求項14】
前記ラッチされた出力を取り込んでエンコードされた出力を生成し、すべてのセグメントからの前記エンコードされた出力およびオーバーフロー動作またはアンダーフロー動作の結果からの符号ビットを連結して、前記ニューラルネットワーク動作の前記出力を形成するように構成されたワンホットからバイナリへのエンコーディング回路
をさらに備える請求項１１に記載のＡＩＰＥ。
をさらに備える請求項１１に記載のＡＩＰＥ。
【請求項15】
前記シフト命令に関連付けられた符号ビットが正符号を示している場合に、前記シフトされた出力の各セグメントを取り込み、正の累算シフタ回路入力を左にシフトするように構成された第２のシフタ回路を含んでいる正の累算シフタ回路であって、前記第２のシフタ回路が、前記第２のシフタ回路からの前記シフトされた正の累算シフタ回路入力を、第１のラッチされた出力としてラッチするように構成された第１のレジスタ回路に結合され、前記第１のレジスタ回路が、前記ニューラルネットワーク動作が完了していないことを示す信号の受信の場合に、前記第１のラッチされた出力を前記正の累算シフタ回路入力として提供するように構成される、正の累算シフタ回路と、
前記シフト命令に関連付けられた前記符号ビットが負符号を示している場合に、前記シフトされた出力の前記各セグメントを取り込み、負の累算シフタ回路入力を左にシフトするように構成された第３のシフタ回路を含んでいる負の累算シフタ回路であって、前記第３のシフタ回路が、前記第３のシフタ回路からの前記シフトされた負の累算シフタ回路入力を、第２のラッチされた出力としてラッチするように構成された第２のレジスタ回路に結合され、前記第２のレジスタ回路が、前記ニューラルネットワーク動作が完了していないことを示す信号の受信の場合に、前記第２のラッチされた出力を前記負の累算シフタ回路入力として提供するように構成される、負の累算シフタ回路と、
前記ニューラルネットワーク動作が完了していることを示す前記信号の受信の場合に、前記正の累算シフタ回路からの前記第１のラッチされた出力および前記負の累算シフタ回路からの前記第２のラッチされた出力に基づいて加算し、前記ニューラルネットワーク動作の出力を形成するように構成された加算器回路と
をさらに備える請求項１に記載のＡＩＰＥ。
前記シフト命令に関連付けられた前記符号ビットが負符号を示している場合に、前記シフトされた出力の前記各セグメントを取り込み、負の累算シフタ回路入力を左にシフトするように構成された第３のシフタ回路を含んでいる負の累算シフタ回路であって、前記第３のシフタ回路が、前記第３のシフタ回路からの前記シフトされた負の累算シフタ回路入力を、第２のラッチされた出力としてラッチするように構成された第２のレジスタ回路に結合され、前記第２のレジスタ回路が、前記ニューラルネットワーク動作が完了していないことを示す信号の受信の場合に、前記第２のラッチされた出力を前記負の累算シフタ回路入力として提供するように構成される、負の累算シフタ回路と、
前記ニューラルネットワーク動作が完了していることを示す前記信号の受信の場合に、前記正の累算シフタ回路からの前記第１のラッチされた出力および前記負の累算シフタ回路からの前記第２のラッチされた出力に基づいて加算し、前記ニューラルネットワーク動作の出力を形成するように構成された加算器回路と
をさらに備える請求項１に記載のＡＩＰＥ。
【請求項16】
前記正の累算シフタ回路入力の前記シフトから生じる、前記正の累算シフタ回路からの第１のオーバーフローを取り込むように構成された第１のカウンタであって、前記第２のシフタ回路が、前記各セグメントからの前記第１のオーバーフローを取り込んで、その後のセグメントを前記第１のオーバーフローの量だけ左にシフトするように構成される、第１のカウンタと、
前記負の累算シフタ回路入力の前記シフトから生じる、前記負の累算シフタ回路からの第２のオーバーフローを取り込むように構成された第２のカウンタであって、前記第３のシフタ回路が、前記各セグメントからの前記第２のオーバーフローを取り込んで、その後のセグメントを前記第２のオーバーフローの量だけ左にシフトするように構成される、第２のカウンタと
をさらに備える請求項１５に記載のＡＩＰＥ。
前記負の累算シフタ回路入力の前記シフトから生じる、前記負の累算シフタ回路からの第２のオーバーフローを取り込むように構成された第２のカウンタであって、前記第３のシフタ回路が、前記各セグメントからの前記第２のオーバーフローを取り込んで、その後のセグメントを前記第２のオーバーフローの量だけ左にシフトするように構成される、第２のカウンタと
をさらに備える請求項１５に記載のＡＩＰＥ。
【請求項17】
前記第１のラッチされた出力を取り込んで第１のエンコードされた出力を生成し、すべてのセグメントからの前記第１のエンコードされた出力および正符号ビットを連結して第１の加算器回路入力を形成するように構成された第１のワンホットからバイナリへのエンコーディング回路と、
前記第２のラッチされた出力を取り込んで第２のエンコードされた出力を生成し、すべてのセグメントからの前記第２のエンコードされた出力および負符号ビットを連結して第２の加算器回路入力を形成するように構成された第２のワンホットからバイナリへのエンコーディング回路と
をさらに備え、
前記加算器回路が、前記第１の加算器回路入力を前記第２の加算器回路入力に加算して前記ニューラルネットワーク動作の前記出力を形成することによって、前記第１のラッチされた出力および前記第２のラッチされた出力に基づいて前記加算を実施する、
請求項１５に記載のＡＩＰＥ。
前記第２のラッチされた出力を取り込んで第２のエンコードされた出力を生成し、すべてのセグメントからの前記第２のエンコードされた出力および負符号ビットを連結して第２の加算器回路入力を形成するように構成された第２のワンホットからバイナリへのエンコーディング回路と
をさらに備え、
前記加算器回路が、前記第１の加算器回路入力を前記第２の加算器回路入力に加算して前記ニューラルネットワーク動作の前記出力を形成することによって、前記第１のラッチされた出力および前記第２のラッチされた出力に基づいて前記加算を実施する、
請求項１５に記載のＡＩＰＥ。
【請求項18】
前記入力データが、大きさを変更されて、前記シフト可能な入力を形成する、
請求項１に記載のＡＩＰＥ。
請求項１に記載のＡＩＰＥ。
【請求項19】
前記シフトされた出力をラッチするように構成されたレジスタ回路
をさらに備え、
加算演算を示す制御信号の受信の場合に、
前記シフタ回路が、前記シフト可能な入力の各セグメントを取り込み、前記シフトされた出力に関連付けられた符号ビットに基づいて前記シフトされた出力を左または右にシフトして、前記シフトされた出力および前記シフト可能な入力の加算演算を表す別のシフトされた出力を形成するように構成される、
請求項１に記載のＡＩＰＥ。
をさらに備え、
加算演算を示す制御信号の受信の場合に、
前記シフタ回路が、前記シフト可能な入力の各セグメントを取り込み、前記シフトされた出力に関連付けられた符号ビットに基づいて前記シフトされた出力を左または右にシフトして、前記シフトされた出力および前記シフト可能な入力の加算演算を表す別のシフトされた出力を形成するように構成される、
請求項１に記載のＡＩＰＥ。
【請求項20】
前記ニューラルネットワーク動作がパラメトリックＲｅＬＵ動作である場合、前記シフタ回路が、前記シフト可能な入力の符号ビットが正である場合にシフトを実行せずに、前記シフト可能な入力を前記シフトされた出力として提供するように構成される、
請求項１に記載のＡＩＰＥ。
請求項１に記載のＡＩＰＥ。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
【0002】
[0001]本出願は、２０２１年５月５日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ Ｉｎｖｏｌｖｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｃｌｏｕｄ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｅｄｇｅ ａｎｄ Ｓｅｒｖｅｒ ＳＯＣ」と題された、米国特許仮出願第６３／１８４，５７６号および２０２１年５月５日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ Ｉｎｖｏｌｖｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｃｌｏｕｄ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｅｄｇｅ ａｎｄ Ｓｅｒｖｅｒ ＳＯＣ」と題された、米国特許仮出願第６３／１８４，６３０号の恩恵およびこれらの米国特許仮出願に対する優先権を請求し、これらの米国特許仮出願の開示は、その全体が参照によって本明細書に明示的に組み込まれている。
【0003】
[0002]本開示は、一般に、人工知能システムを対象にしており、より詳細には、ハードウェアおよびソフトウェアにおけるニューラルネットワークおよび人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）処理を対象にしている。
関連技術
関連技術
【0004】
[0003]ニューラルネットワークは、複数のニューラルネットワーク層によって表された人工ニューロンのネットワークまたは回路であり、ニューラルネットワーク層の各々は、パラメータの集合によってインスタンス化される。ニューラルネットワーク層は、２種類のニューラルネットワークパラメータによって表される。ニューラルネットワークパラメータの１つの種類は、基礎になるニューラルネットワーク動作（例えば、畳み込みの場合、バッチ正規化など）に応じてデータと乗算される重みである。ニューラルネットワークパラメータのもう１つの種類は、データに、またはデータとの重みの乗算の結果に加算され得る値であるバイアスである。
【0005】
[0004]ニューラルネットワークのニューラルネットワーク層は、データが供給される入力層から開始し、次に隠れ層、その次に出力層が続く。層は、人工ニューロンで構成され、畳み込み層の場合、カーネルまたはフィルタとも呼ばれる。ニューラルネットワークを構成する層の異なる種類の例は、畳み込み層、完全接続層、回帰層、活性化層、バッチ正規化層などを含むことができるが、これらに限定されない。
【0006】
[0005]ニューラルネットワークのトレーニングまたは学習は、入力データのラベルで通常は表された目的格のセットおよびテストデータとして知られている入力データのセットに従って、ニューラルネットワーク内のパラメータの値を変更または改良するプロセスである。ニューラルネットワークのトレーニング、学習、または最適化は、勾配に基づく最適化などの数学的方法または非数学的方法によって、目的格の特定のセットに対してニューラルネットワーク内のパラメータの値を最適化することを含む。トレーニング／学習／最適化の各反復（エポックと呼ばれる）では、オプティマイザ（例えば、ソフトウェアプログラム、専用ハードウェア、またはこれらの組合せ）が、設定された目的格またはラベルに基づいて最も小さい誤差を生み出すように、パラメータの最適化された値を見つけ出す。ニューラルネットワーク推論の場合、テストデータおよびラベルを使用してニューラルネットワークがトレーニング、学習、または最適化された後に、任意のデータをトレーニング済みニューラルネットワークに適用／供給して出力値を取得し、その後、ニューラルネットワーク用に設定されたルールに従って出力値を解釈することができる。関連する技術におけるニューラルネットワークのトレーニング、ニューラルネットワーク推論、および対応するハードウェア実装の例は次の通りである。
【0007】
[0006]図１は、関連する技術に従ってニューラルネットワークのトレーニングの例を示している。関連する技術では、ニューラルネットワークのトレーニングを促進するために、最初に、ニューラルネットワークパラメータがランダムな浮動小数点数または整数に初期化される。次に、ニューラルネットワークをトレーニングするための反復プロセスが次のように開始される。出力値を取得するために、テストデータがニューラルネットワークに入力され、すべての層を通って前方に伝搬される。そのようなテストデータは、浮動小数点数または整数の形態であることができる。出力値をテストラベルの値と比較することによって、誤差が計算される。次に、従来技術において知られているように、ニューラルネットワークの誤差を小さくするためにパラメータをどのように変更するかを決定するための方法が実行され、そうすると、実行された方法に従ってパラメータが変更される。この反復プロセスは、ニューラルネットワークが許容できる（例えば、しきい値以内の）誤差を生み出すまで繰り返され、結果として得られたニューラルネットワークは、トレーニング済み、学習済み、または最適化済みであると言われる。
【0008】
[0007]図２は、関連する技術に従ってニューラルネットワーク推論動作の例を示している。ニューラルネットワーク推論を容易にするために、最初に、出力値を取得するために、推論データがニューラルネットワークに入力され、すべての層を通って前方に伝搬される。次に、ニューラルネットワークの出力値が、ニューラルネットワークによって設定された目的格に従って解釈される。
【0009】
[0008]図３は、関連する技術に従ってニューラルネットワークのハードウェア実装の例を示している。ハードウェアにおいてニューラルネットワークを実装するために、最初に、入力データおよびニューラルネットワークパラメータが取得される。次に、ハードウェア乗算器を使用することによって、入力データ（被乗数）がパラメータ（乗数）と乗算され、積を取得する。その後、ハードウェア加算器を使用することによって、これらの積がすべて加算され、合計値を取得する。最後に、適用可能な場合、必要に応じてバイアスパラメータを合計値に加算するために、ハードウェア加算器が使用される。
【0010】
[0009]図４は、関連する技術に従って、量子化されたニューラルネットワークのトレーニングの例を示している。量子化されたニューラルネットワークのトレーニングを促進するために、最初に、ニューラルネットワークのニューラルネットワークパラメータ（例えば、重み、バイアス）が、ランダムな浮動小数点数または整数に初期化される。次に、反復プロセスが実行され、この反復プロセスでは、出力値を取得するために、テストデータがニューラルネットワークに入力され、ニューラルネットワークのすべての層を通って前方に伝搬される。出力値をテストラベルの値と比較することによって、誤差が計算される。従来技術において知られているように、ニューラルネットワークの誤差を減らすためにパラメータをどのように変更するかを決定するための方法が使用され、それに応じてパラメータが変更される。この反復プロセスは、ニューラルネットワークが望ましいしきい値以内の許容できる誤差を生み出すまで繰り返される。そのような誤差が生み出された後に、パラメータのサイズを縮小するために、パラメータが量子化される（例えば、３２ビットの浮動小数点数を８ビットの整数に量子化する）。
【0011】
[0010]図５は、関連する技術に従って、量子化されたニューラルネットワークの場合のニューラルネットワーク推論の例を示している。推論プロセスは、図２の標準的なニューラルネットワークの推論プロセスと同じであるが、ニューラルネットワークパラメータが整数に量子化される。
【0012】
[0011]図６は、関連する技術に従って、量子化されたニューラルネットワークの場合のニューラルネットワークのハードウェア実装の例を示している。このハードウェア実装は、図３に示された標準的なニューラルネットワークのハードウェア実装と同じである。この事例では、量子化されたニューラルネットワークに使用されるハードウェア乗算器およびハードウェア加算器は、通常、パラメータの整数量子化に起因して、図３の浮動小数点加算器／乗算器とは対照的に、整数乗算器および整数加算器の形態である。
【0013】
[0012]ニューラルネットワーク動作に必要とされる計算を容易にするために、通常、乗累算回路（ＭＡＣ：ｍｕｌｔｉｐｌｉｅｒ－ａｃｃｕｍｕｌａｔｏｒ ｃｉｒｃｕｉｔｓ）またはＭＡＣの等価回路（乗算器および加算器）を使用して、ニューラルネットワーク動作の乗算演算および加算演算を実行する。関連する技術におけるすべてのＡＩ処理ハードウェアは、ほとんどのニューラルネットワーク動作の計算を実行するために、根本的に、ＭＡＣまたはＭＡＣの等価回路に依存する。
【発明の概要】
【0014】
[0013]乗算演算の複雑さに起因して、ＭＡＣは、ニューラルネットワークおよびその他の人工知能動作を処理するためにアレイ内で使用された場合、大量の電力を消費し、かなりの設置面積を占めるだけでなく、計算するために長時間を要する。入力データおよびニューラルネットワークパラメータの量が膨大になる可能性があるため、ニューラルネットワーク動作を処理するためにＭＡＣの大規模な（例えば、数万個の）アレイが利用されることがある。複雑なニューラルネットワーク動作は、タイムリーな方法でニューラルネットワークを処理する必要がある大規模なＭＡＣアレイを必要とすることがあるため、そのような要件は、エッジデバイスまたはパーソナルデバイスでのニューラルネットワークに基づくアルゴリズムの使用を難しくする可能性がある。
【0015】
[0014]本明細書に記載された例示的な実装は、ハードウェア、ソフトウェア、またはこれらの組合せにおいて実装されるような第二世代ニューラルネットワークプロセッサ（ニューラルネットワーク２．０またはＮＮ２．０）を対象にする。提案された例示的な実装は、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、回帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、完全接続ニューラルネットワーク（ＦＮＮ：Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、およびオートエンコーダ（ＡＥ：Ａｕｔｏ Ｅｎｃｏｄｅｒ）、バッチ正規化、パラメトリック整流線形ユニットなどの、乗算および加算を使用するすべてのニューラルネットワーク層／動作において、ＭＡＣハードウェアを置き換えることができる。
【0016】
[0015]本明細書に記載された例示的な実装では、ＮＮ２．０は、ハードウェアにおいてシフタ機能を利用し、乗算器および／または加算器の代わりにシフタを使用することによって、ニューラルネットワークの実装の面積および電力を大幅に削減する。この技術は、計算されたそれらの勾配値の任意係数によってパラメータを調整することによって、ニューラルネットワークのトレーニングが達成されるということに基づく。言い換えると、ニューラルネットワークのトレーニングでは、その勾配に基づく任意量によって各パラメータの漸進的な調整が行われる。ニューラルネットワーク（ＡＩモデル）をトレーニングするためにＮＮ２．０が使用されるたびに、ＮＮ２．０は、ハードウェアまたはソフトウェアにおいて、２進数シフタなどのシフタが、畳み込み演算、バッチ正規化、またはパラメトリック／リーキーＲｅＬＵなどの何かの活性化関数などの、乗算演算および／または加算演算を必要とするニューラルネットワーク動作に利用されることができるように、重みなどのニューラルネットワークのパラメータが（例えば、２の整数乗として表されることができる値に）対数量子化されることを保証し、それによって、乗算演算および／または加算演算をシフト演算に置き換える。場合によっては、パラメータまたは重みは、２進対数量子化（パラメータを２の整数乗である数値に量子化すること）されてよい。本明細書に記載された例示的な実装によって、わずかな電力を消費し、わずかな物理的設置面積のみを有しながら、ＭＡＣアレイを使用して達成されることができる速度よりも非常に高速な方法で、ニューラルネットワーク動作の計算を実行することが可能になる。
【0017】
[0016]本明細書に記載された例示的な実装は、ニューラルネットワーク／人工知能動作を処理するための専用回路を容易にするために、人工知能処理要素（ＡＩＰＥ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）の形態で新しい回路を含む。しかし、本明細書に記載された機能は、望ましい実装に応じて、同等のフィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）または特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）によって等価回路において、あるいは汎用中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）プロセッサに読み込まれるメモリ内の命令として、実装されることができる。ＦＰＧＡ、ＡＳＩＣ、またはＣＰＵを含んでいる場合においても、本明細書に記載された機能のアルゴリズムの実装は、シフトによる乗算または加算の置き換えによって、ニューラルネットワーク動作またはその他のＡＩ動作を処理するためのハードウェアの設置面積、電力、および実行時間における削減につながり、その他の方法ではＦＰＧＡ、ＡＳＩＣ、またはＣＰＵ上で通常の乗算によって消費されていた計算サイクルまたは計算リソースを節約する。
【0018】
[0017]本開示の態様は、人工知能処理要素（ＡＩＰＥ）を含むことができる。ＡＩＰＥは、ニューラルネットワーク動作の入力データから導出されたシフト可能な入力を取り込むことと、ニューラルネットワークの対応する対数量子化されたパラメータまたは定数値から導出されたシフト命令を取り込むことと、シフト命令に従ってシフト可能な入力を左方向または右方向にシフトして、ニューラルネットワークの対応する対数量子化されたパラメータとの入力データの乗算を表すシフトされた出力を形成することとを実行するように構成されたシフタ回路を備えることができる。
【0019】
[0018]本開示の態様は、シフタ回路を備えているニューラルネットワーク動作を処理するためのシステムを含むことができ、シフタ回路は、入力データを、ニューラルネットワークの動作に関連付けられた対応する対数量子化されたパラメータと乗算するように構成される。入力データを対応する対数量子化されたパラメータと乗算するために、シフタ回路は、入力データから導出されたシフト可能な入力を取り込むことと、対応する対数量子化されたパラメータから導出されたシフト命令に従って、シフト可能な入力を左方向または右方向にシフトして、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算を表す出力を生成することとを実行するように構成される。
【0020】
[0019]本開示の態様は、入力データを、ニューラルネットワークの動作に関連付けられた対応する対数量子化されたパラメータと乗算することを含んでいる、ニューラルネットワーク動作を処理するための方法を含むことができる。この乗算は、入力データから導出されたシフト可能な入力を取り込むことと、対応する対数量子化されたパラメータから導出されたシフト命令に従って、シフト可能な入力を左方向または右方向にシフトして、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算を表す出力を生成することとを含むことができる。
【0021】
[0020]本開示の態様は、入力データを、ニューラルネットワークの動作に関連付けられた対応する対数量子化されたパラメータと乗算することを含んでいる、ニューラルネットワーク動作を処理するための命令を格納しているコンピュータプログラムを含むことができる。乗算のための命令は、入力データから導出されたシフト可能な入力を取り込むことと、対応する対数量子化されたパラメータから導出されたシフト命令に従って、シフト可能な入力を左方向または右方向にシフトして、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算を表す出力を生成することとを含むことができる。これらの命令は、非一過性コンピュータ可読媒体などの媒体に格納され、１つまたは複数のプロセッサによって実行されることができる。
【0022】
[0021]本開示の態様は、入力データを、ニューラルネットワークの動作に関連付けられた対応する対数量子化されたパラメータと乗算するための手段を含む、ニューラルネットワーク動作を処理するためのシステムを含むことができる。乗算のための手段は、入力データから導出されたシフト可能な入力を取り込むための手段と、対応する対数量子化されたパラメータから導出されたシフト命令に従って、シフト可能な入力を左方向または右方向にシフトして、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算を表す出力を生成するための手段とを含むことができる。
【0023】
[0022]本開示の態様はシステムをさらに含むことができ、このシステムは、１つまたは複数のニューラルネットワーク層に関連付けられた１つまたは複数の対数量子化されたパラメータ値によって表されたトレーニング済みニューラルネットワークを格納するように構成されたメモリであって、１つまたは複数のニューラルネットワーク層の各々が、実行される対応するニューラルネットワーク動作を表す、メモリと、シフト可能な入力データをシフトまたは加算するように構成された１つまたは複数のハードウェア要素と、１つまたは複数のハードウェア要素を制御して、メモリから読み取られた１つまたは複数のニューラルネットワーク層の各々について、対応する対数量子化されたパラメータ値に基づいてシフト可能な入力データを左または右にシフトして、シフトされたデータを形成するように構成されたコントローラ論理とを含み、実行される対応するニューラルネットワーク動作に従って、形成されたシフト済みデータを加算またはシフトすることができる。
【0024】
[0023]本開示の態様は、メモリ内で、１つまたは複数のニューラルネットワーク層に関連付けられた１つまたは複数の対数量子化されたパラメータ値によって表されたトレーニング済みニューラルネットワークを管理することであって、１つまたは複数のニューラルネットワーク層の各々が、実行される対応するニューラルネットワーク動作を表す、管理することと、１つまたは複数のハードウェア要素を制御して、メモリから読み取られた１つまたは複数のニューラルネットワーク層の各々について、対応する対数量子化されたパラメータ値に基づいてシフト可能な入力データを左または右にシフトして、シフトされたデータを形成することとを含み、実行される対応するニューラルネットワーク動作に従って、形成されたシフト済みデータを加算またはシフトすることができる方法をさらに含むことができる。
【0025】
[0024]本開示の態様は、メモリ内で、１つまたは複数のニューラルネットワーク層に関連付けられた１つまたは複数の対数量子化されたパラメータ値によって表されたトレーニング済みニューラルネットワークを管理することであって、１つまたは複数のニューラルネットワーク層の各々が、実行される対応するニューラルネットワーク動作を表す、管理することと、メモリから読み取られた１つまたは複数のニューラルネットワーク層の各々について、対応する対数量子化されたパラメータ値に基づいてシフト可能な入力データを左または右にシフトして、シフトされたデータを形成することと、実行される対応するニューラルネットワーク動作に従って、形成されたシフト済みデータを加算またはシフトすることとを含むことができる方法をさらに含むことができる。
【0026】
[0025]本開示の態様は、命令を含んでいるコンピュータプログラムをさらに含むことができ、これらの命令は、メモリ内で、１つまたは複数のニューラルネットワーク層に関連付けられた１つまたは複数の対数量子化されたパラメータ値によって表されたトレーニング済みニューラルネットワークを管理することであって、１つまたは複数のニューラルネットワーク層の各々が、実行される対応するニューラルネットワーク動作を表す、管理することと、１つまたは複数のハードウェア要素を制御して、メモリから読み取られた１つまたは複数のニューラルネットワーク層の各々について、対応する対数量子化されたパラメータ値に基づいてシフト可能な入力データを左または右にシフトして、シフトされたデータを形成することとを含み、実行される対応するニューラルネットワーク動作に従って、形成されたシフト済みデータを加算またはシフトすることができる。コンピュータプログラムおよび命令は、ハードウェア（例えば、プロセッサ、ＦＰＧＡ、コントローラなど）によって実行される非一過性コンピュータ可読媒体に格納されることができる。
【0027】
[0026]本開示の態様は、１つまたは複数のニューラルネットワーク層に関連付けられた１つまたは複数の対数量子化されたパラメータ値によって表されたトレーニング済みニューラルネットワークを格納するためのメモリの手段であって、１つまたは複数のニューラルネットワーク層の各々が、実行される対応するニューラルネットワーク動作を表す、メモリの手段と、メモリの手段から読み取られた１つまたは複数のニューラルネットワーク層の各々について、対応する対数量子化されたパラメータ値に基づいてシフト可能な入力データを左または右にシフトして、シフトされたデータを形成するためのシフトの手段と、実行される対応するニューラルネットワーク動作に従って、形成されたシフト済みデータを加算またはシフトするための手段とを含むことができるシステムをさらに含むことができる。
【0028】
[0027]本開示の態様は、メモリ内で、１つまたは複数のニューラルネットワーク層に関連付けられた１つまたは複数の対数量子化されたパラメータ値によって表されたトレーニング済みニューラルネットワークを管理することであって、１つまたは複数のニューラルネットワーク層の各々が、実行される対応するニューラルネットワーク動作を表す、管理することと、メモリから読み取られた１つまたは複数のニューラルネットワーク層の各々について、対応する対数量子化されたパラメータ値に基づいてシフト可能な入力データを左または右にシフトして、シフトされたデータを形成することと、実行される対応するニューラルネットワーク動作に従って、形成されたシフト済みデータを加算またはシフトすることとを含むことができる方法をさらに含むことができる。
【0029】
[0028]本開示の態様は、命令を含んでいるコンピュータプログラムをさらに含むことができ、これらの命令は、メモリ内で、１つまたは複数のニューラルネットワーク層に関連付けられた１つまたは複数の対数量子化されたパラメータ値によって表されたトレーニング済みニューラルネットワークを管理することであって、１つまたは複数のニューラルネットワーク層の各々が、実行される対応するニューラルネットワーク動作を表す、管理することと、メモリから読み取られた１つまたは複数のニューラルネットワーク層の各々について、対応する対数量子化されたパラメータ値に基づいてシフト可能な入力データを左または右にシフトして、シフトされたデータを形成することと、実行される対応するニューラルネットワーク動作に従って、形成されたシフト済みデータを加算またはシフトすることとを含むことができる。コンピュータプログラムおよび命令は、ハードウェア（例えば、プロセッサ、ＦＰＧＡ、コントローラなど）によって実行される非一過性コンピュータ可読媒体に格納されることができる。
【0030】
[0029]本開示の態様は、１つまたは複数のニューラルネットワーク層に関連付けられた１つまたは複数の対数量子化されたパラメータ値によって表されたトレーニング済みニューラルネットワークを格納するためのメモリの手段であって、１つまたは複数のニューラルネットワーク層の各々が、実行される対応するニューラルネットワーク動作を表す、メモリの手段と、メモリの手段から読み取られた１つまたは複数のニューラルネットワーク層の各々について、対応する対数量子化されたパラメータ値に基づいてシフト可能な入力データを左または右にシフトして、シフトされたデータを形成するためのシフトの手段と、実行される対応するニューラルネットワーク動作に従って、形成されたシフト済みデータを加算またはシフトするための手段とを含むことができるシステムをさらに含むことができる。
【0031】
[0030]本開示の態様は、本明細書に記載されているように、入力データから導出された（例えば、係数によって大きさを変更された）シフト可能な入力を取り込むことと、対応する対数量子化されたパラメータから導出されたシフト命令に従って、シフト可能な入力を左方向または右方向にシフトして、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算を表す出力を生成することとを含むことができる方法を含むことができる。本明細書に記載されているように、対応する対数量子化されたパラメータに関連付けられたシフト命令は、シフト方向およびシフト量を含むことができ、シフト量が、対応する対数量子化されたパラメータの指数の大きさから導出され、シフト方向が、対応する対数量子化されたパラメータの指数の符号から導出され、シフト可能な入力をシフトすることが、シフト方向に従って、シフト量によって示された量だけ、シフト可能な入力を左方向または右方向にシフトすることを含む。
【0032】
[0031]本開示の態様は、ニューラルネットワークの動作を処理するための方法を含むことができ、この方法は、ニューラルネットワークの動作の入力データから導出されたシフト可能な入力データを取り込むことと、ニューラルネットワークの動作の入力データの対応する対数量子化された重みパラメータに関連付けられた入力を取り込むことであって、入力がシフト方向およびシフト量を含み、シフト量が、対応する対数量子化された重みパラメータの指数の大きさから導出され、シフト方向が、対応する対数量子化された重みパラメータの指数の符号から導出される、取り込むことと、対応する対数量子化された重みパラメータに関連付けられた入力に従ってシフト可能な入力データをシフトし、ニューラルネットワークの動作の処理の出力を生成することとを含むことができる。
【0033】
[0032]本開示の態様は、ニューラルネットワークの動作を処理するためのシステムを含むことができ、このシステムは、ニューラルネットワークの動作の入力データから導出されたシフト可能な入力データを取り込むための手段と、ニューラルネットワークの動作の入力データの対応する対数量子化された重みパラメータに関連付けられた入力を取り込むための手段であって、入力がシフト方向およびシフト量を含み、シフト量が、対応する対数量子化された重みパラメータの指数の大きさから導出され、シフト方向が、対応する対数量子化された重みパラメータの指数の符号から導出される、手段と、対応する対数量子化された重みパラメータに関連付けられた入力に従ってシフト可能な入力データをシフトし、ニューラルネットワークの動作の処理の出力を生成するための手段とを含むことができる。
【0034】
[0033]本開示の態様は、ニューラルネットワークの動作を処理するためのコンピュータプログラムを含むことができ、このコンピュータプログラムは、ニューラルネットワークの動作の入力データから導出されたシフト可能な入力データを取り込むことと、ニューラルネットワークの動作の入力データの対応する対数量子化された重みパラメータに関連付けられた入力を取り込むことであって、入力がシフト方向およびシフト量を含み、シフト量が、対応する対数量子化された重みパラメータの指数の大きさから導出され、シフト方向が、対応する対数量子化された重みパラメータの指数の符号から導出される、取り込むことと、対応する対数量子化された重みパラメータに関連付けられた入力に従ってシフト可能な入力データをシフトし、ニューラルネットワークの動作の処理の出力を生成することとを含んでいる命令を含むことができる。コンピュータプログラムおよび命令は、非一過性コンピュータ可読媒体に格納され、１つまたは複数のプロセッサによって実行されるように構成されることができる。
【図面の簡単な説明】
【0035】
【図14AB】[0047]図１４Ａ～図１４Ｃは、パラメータの更新間の比較を示す図である。図１４Ａは、通常のニューラルネットワークのパラメータ更新プロセスの例である。図１４Ｂおよび図１４Ｃは、対数量子化されたニューラルネットワークのパラメータ更新プロセスの例である。
【図14C】[0047]図１４Ａ～図１４Ｃは、パラメータの更新間の比較を示す図である。図１４Ａは、通常のニューラルネットワークのパラメータ更新プロセスの例である。図１４Ｂおよび図１４Ｃは、対数量子化されたニューラルネットワークのパラメータ更新プロセスの例である。
【図31】[0057]図３１および図３２は、例示的な実装に従って、対数量子化されたニューラルネットワーク内のパラメトリックＲｅＬＵ（ＰＲｅＬＵ：Ｐａｒａｍｅｔｒｉｃ ＲｅＬＵ）のトレーニングの例を示す図である。
【発明を実施するための形態】
【0036】
[0095]以下の詳細な説明は、本出願の図および例示的な実装の詳細を提供する。図間の冗長な要素の参照番号および説明は、明確にするために省略される。説明全体を通じて使用される用語は、例として提供されており、制限となるよう意図されていない。例えば、「自動的」という用語の使用は、本出願の実装を実践する当業者の望ましい実装に応じて、実装の特定の態様に対するユーザまたは管理者の制御を伴う完全に自動的な実装または半自動的な実装を含んでよい。選択が、ユーザインターフェイスまたはその他の入力手段を介して、ユーザによって実施されることができ、あるいは望ましいアルゴリズムによって実施されることができる。本明細書に記載されている例示的な実装は、単独で、または組み合わせて利用されることができ、例示的な実装の機能は、望ましい実装に従って任意の手段によって実装されることができる。
【0037】
[0096]図７は、例示的な実装に従って、対数量子化されたニューラルネットワークのアーキテクチャ全体を示している。ＮＮ２．０アーキテクチャは、トレーニングおよび推論プラットフォームを含んでいる対数量子化されたニューラルネットワークプラットフォームである。以下では、ＮＮ２．０アーキテクチャのトレーニングおよび推論プロセスが説明される。
【0038】
[0097]トレーニングデータ７０１およびトレーニングされていないニューラルネットワーク７０２が、トレーニングプラットフォーム７０３に入力される。トレーニングプラットフォーム７０３は、オプティマイザ７０４および対数量子化器７０５を含んでいる。オプティマイザ７０４は、従来技術において知られている任意の最適化アルゴリズムに従ってモデルのパラメータを最適化する。対数量子化器７０５は、最適化されたパラメータを対数量子化する。オプティマイザ７０４および対数量子化器７０５は、望ましい実装に従って、誤差が望ましいしきい値を下回ってニューラルネットワークがトレーニングされるまで、または別の終了条件が満たされるまで、反復的に実行される。結果として得られる出力は、対数量子化されたパラメータによって表されたトレーニング済みニューラルネットワーク７０６である。
【0039】
[0098]トレーニング済みニューラルネットワーク７０６および推論データ７０７は、以下を含むことができる推論プラットフォーム７０８に入力される。データおよびバイアススケーラ７０９は、本明細書で説明されるように、トレーニング済みニューラルネットワーク７０６の推定データ７０７およびバイアスパラメータの大きさを変更し、左または右にシフト可能なデータおよびパラメータを形成する。推論エンジン７１０は、本明細書において説明されるように、ハードウェアまたはハードウェアとソフトウェアの何らかの組合せによってトレーニング済みニューラルネットワーク７０６を使用して、大きさを変更された推論データ７０７を推論する。データスケーラ７１１は、望ましい実装に応じて、推論エンジン７１０の出力の大きさを適切な出力範囲に変更する。推論プラットフォーム７０８は、データおよびバイアススケーラ７０９、推論エンジン７１０、および／またはデータスケーラ７１１の結果に基づいて出力７１２を生成してよい。図７に示されたアーキテクチャの要素は、ハードウェアとソフトウェアの任意の組合せで実装されることができる。本明細書に記載された例示的な実装は、本明細書において説明されるように、シフトによって推論において必要とされる乗算および／または加算を容易にするために、ハードウェアに実装された新しい人工知能処理ユニット（ＡＩＰＥ）を含むが、そのような例示的な実装は、他の方法または従来のハードウェアによって（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ハードウェアプロセッサなどによって）実装されることもでき、代わりに、より単純なシフト演算への乗算／加算演算の変更に起因して、そのような従来のハードウェア上の処理サイクル、電力消費、および面積を節約する。
【0040】
[0099]図８は、例示的な実装に従って、対数量子化されたニューラルネットワークをトレーニングする例を示している。望ましい実装に応じて、例えば図４で説明された「ｒｏｕｎｄ（オペランド）」演算を利用する代わりに、「ｆｌｏｏｒ（オペランド）」または［ｃｅｉｌｉｎｇ（オペランド）］または「ｔｒｕｎｃａｔｅ（オペランド）」などの、オペランドを整数に変える任意の数学演算が使用されることができ、本開示は特にこれらに制限されない。
【0041】
【0042】
[0101]９０１で、最初にフローが、ニューラルネットワークのパラメータ（例えば、重み、バイアス）を初期化し、これらのパラメータは、望ましい実装に従って、ランダムな浮動小数点数または整数の形態であることができる。９０２で、ニューラルネットワークによって処理された出力値を取得するために、テストデータがニューラルネットワークに入力され、ニューラルネットワーク層のすべてを通って前方に伝搬される。９０３で、出力値をテストラベルの値と比較することによって、出力値の誤差が計算される。９０４で、ニューラルネットワークの誤差を減らすためにパラメータをどのように変更するかを決定するための最適化方法が使用され、それに応じてパラメータが変更される。９０５で、パラメータが許容可能であるかどうか、すなわち、ニューラルネットワークがしきい値以内の誤差を生み出すかどうか、またはその他の終了条件が満たされるかどうかに関する判定が行われる。そうである場合（はい）、フローが９０６に進み、そうでない場合（いいえ）、フローが９０２に進む。それに応じて、望ましい誤差が満たされるか、または終了条件が満たされる（例えば、手動で終了される、反復回数が満たされるなど）まで、９０２～９０５のフローが反復される。
【0043】
[0102]９０６で、次に、パラメータのサイズを縮小し、それによって、シフタのハードウェア実装のためにパラメータを準備するために、結果として得られたパラメータが対数量子化される。１つの例では、３２ビットの浮動小数点数が７ビットのデータに対数量子化されるが、本開示はこの例に制限されず、望ましい実装に従って他の実装が利用されることができる。例えば、６４ビットの浮動小数点数が８ビットのデータに対数量子化されることができる。さらに、パラメータを対数量子化するために、９０６でのフローが最後に実行される必要はない。例示的な実装では、図９Ｂの９１６に示されているように、パラメータの反復トレーニングプロセスの一部として対数量子化が使用されることができるように、パラメータの対数量子化は、９０２と９０５の間の（例えば、９０５の前に実行される）反復プロセスの一部であることができる。最適化および対数量子化が一緒に発生してパラメータ（例えば、７ビットのデータのパラメータ）を生成するように、望ましい実装に応じて、そのような例示的な実装が利用されることができる。それによって、結果として得られた対数量子化されニューラルネットワークは、任意の入力（例えば、浮動小数点数、整数）を取り込み、それに応じて、出力データ（例えば、独自のデータ形式、整数、浮動小数点数）を提供することができる。
【0044】
[0103]図１０は、例示的な実装に従って、対数量子化されたニューラルネットワークの推論プロセスの例を示している。ニューラルネットワーク推論を容易にするために、最初に、出力値を取得するために、推論データがニューラルネットワークに入力され、すべての層を通って前方に伝搬される。次に、ニューラルネットワークの出力値が、ニューラルネットワークによって設定された目的格に従って解釈される。しかし、この例では、パラメータが対数量子化される。したがって、推論プロセスは、望ましい実装に応じて、本明細書で説明されるように、シフタ回路またはＡＩＰＥを介して実施されることができるか、またはハードウェアプロセッサおよびシフト演算を使用してソフトウェアで実施されることができる。
【0045】
[0104]図１１は、例示的な実装に従って、対数量子化されたニューラルネットワークのハードウェア実装の例を示している。ハードウェアにおいて対数量子化されたニューラルネットワークを実装するために、最初に、入力データおよびニューラルネットワークパラメータが取得される。次に、ハードウェアまたはソフトウェアのデータスケーラを使用することによって、ハードウェアシフタによるシフト演算に備えて、係数によって入力データおよびバイアスの大きさが変更される。ハードウェアシフタを使用することによって、対数量子化されたパラメータ値に基づいて、入力データがシフトされる。その後、ハードウェア加算器を使用することによって、シフトされた値のすべてが一緒に加算される。最後に、バイアスを合計値に加算するために、ハードウェア加算器が使用される。図１１の例示的な実装では、対数量子化されたパラメータ（例えば、７ビットの対数量子化されたパラメータ）との大きさを変更された（例えば、２１０によって大きさを変更された）入力データ値の乗算を容易にするため、および加算演算のために、３２ビットのシフタが利用される。しかし、望ましい実装に応じて、他の変形が利用されることができ、本開示はそれらに限定されない。入力データ値は、任意の係数によって大きさを変更されることができ、対数量子化されたパラメータは、同様に任意の種類の対数量子化された係数（例えば、８ビット、９ビット）であることができ、シフタが、望ましい実装を容易にするために適切に（例えば、１６ビット、３２ビット、６４ビットなどに）サイズ設定される。
【0046】
[0105]図１２は、例示的な実装に従って、ハードウェア実装における対数量子化されたニューラルネットワーク推論のフロー図の例を示している。１２０１で、フローが、入力データおよび対数量子化されたニューラルネットワークパラメータを取得する。１２０２で、フローが、適切な係数によって入力データおよびバイアスの大きさを変更し、入力データおよびバイアスを、シフト演算のためのシフト可能な形態に変換する。１２０３で、対数量子化されたパラメータから導出されたシフト命令によって、シフト可能な入力データがシフトされる。このシフトは、望ましい実装に応じて、本明細書において説明されるように、ハードウェアシフタによって実行されることができ、またはハードウェアプロセッサもしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実行されることができる。以下では、このシフトの詳細がさらに説明される。
【0047】
[0106]１２０４で、シフトされた値のすべてが加算される。加算演算は、望ましい実装に応じて、本明細書において説明されるように、ハードウェア加算器によって実行されることができるか、またはハードウェアプロセッサもしくはＦＰＧＡによって実行されることができる。同様に、１２０５で、大きさを変更されたバイアスが、ハードウェア加算器、ハードウェアプロセッサ、またはＦＰＧＡによる１２０４での加算演算の結果として得られた合計値に加算される。
【0048】
[0107]図１３Ａおよび図１３Ｂは、量子化と対数量子化の比較をそれぞれ示している。図１３Ａは、ｑｖ＝１０によって０～１０４の整数を量子化する例を示しており、Ｑｕａｎｔｉｚａｔｉｏｎ（ｎ）＝ｒｏｕｎｄ（ｎ／ｑｖ）＊ｑｖである。図１３Ｂは、２～１８０の整数を対数量子化する例を示しており、Ｌｏｇ Ｑｕａｎｔｉｚａｔｉｏｎ（＋－ｎ）＝＋－２ｒｏｕｎｄ（ｌｏｇ２（ｎ））である。図１３Ａおよび図１３Ｂの比較において示されているように、対数量子化は、パラメータ値に関わらず、範囲が、同じ範囲とは対照的な２ｎの形態であるため、より小さいパラメータの一層の正確さを可能にする。
【0049】
[0108]図１４Ａ～図１４Ｃは、通常のニューラルネットワークのトレーニングおよび対数量子化されたニューラルネットワークのトレーニングそれぞれについて、パラメータの更新間の比較を示している。本明細書に記載された例示的な実装は、勾配を適切に調整することによって重みパラメータの対数量子化を実行することを含んでいるが、本明細書に記載された例示的な実装に従って、勾配の調整後に更新された重みパラメータの対数量子化が実行されることもできる。そのような例示的な実装では、結果として得られるパラメータ値が対数量子化された値になるように、勾配と乗算するための適切な学習率を決定することによって、図９Ｂのフローおよび９１６が変更されることができる。
【0050】
[0109]本明細書に記載された例示的な実装では、シフト演算に対応するように、望ましい実装に従って入力データの大きさが変更される。モデル内のほとんどのパラメータは、０．５、０．２５、０．１２５などの１．０未満の値に対応する「右へのシフト」演算をもたらす。したがって、入力データが左にシフトされ、これは入力に２Ｎを掛けることと同等であり、Ｎは正の整数である。
【0051】
[0110]一例として、未加工の入力値がｘｏｌｄ＝０．８５であると仮定する。この入力は、２２０によって大きさを変更され、０．８５ｘ２２０＝０．８５ｘ１，０４８，５７６＝８９１，２８９．６という結果になる。そのように大きさを変更された入力は、ｒｏｕｎｄ（８９１，２８９．６）＝８９１，２９０となるように、整数に四捨五入され、新しい入力値ｘｎｅｗ＝８９１，２９０として使用される。
【0052】
[0111]バイアスは、ニューラルネットワーク動作において（乗算されるのではなく）加算されるパラメータとして定義される。次のような標準的なニューラルネットワーク動作では、バイアス項は加算項である。
ａ＝ｘ＊ｗ＋ｂ
ａ＝ｘ＊ｗ＋ｂ
【0053】
[0112]ここで、ａはアクソン（出力）であり、ｘは入力であり、ｗは重みであり、ｂはバイアスである。本明細書に記載された例示的な実装では、同じ量によって入力およびバイアスの大きさが変更される。例えば、２２０によって入力の大きさが変更された場合、２２０によってバイアスの大きさが変更される。
【0054】
[0113]図１５は、例示的な実装に従って、オプティマイザの例を示している。本明細書に記載された例示的な実装では、任意のその他の勾配に基づくオプティマイザの上に最適化が構築されることができる。最適化は、段階ごとの、（トレーニングステップにおいて）ステップが実行される回数、各段階においてステップによる影響を受ける層、および／またはユーザによって設定されたしきい値以内の変数を量子化する（「量子化」－量子化しきい値未満の値を量子化する）かどうか、もしくは選択された層内のすべての変数を強制的に量子化する（「強制」－しきい値に関わらず、すべてのパラメータを量子化する）かどうかに加えて、段階の数がユーザによって設定されて、複数の段階で実行されることができる。各段階は、段階のステップ数（例えば、段階ごとの最適化の数）、ステップ間隔（例えば、段階ごとの動作の数）、および動作（例えば、動作の種類（量子化／強制）および量子化する層）によって定義される。
【0055】
[0114]望ましい実装に応じて、ユーザは以下のパラメータを設定してもよい。
【0056】
[0115]ｑｕａｎｔ＿ｍｅｔｈｏｄ：「切り詰め」または「最も近い」。量子化する場合に使用する四捨五入方法。
【0057】
[0116]ｆｒｅｅｚｅ＿ｔｈｒｅｓｈｏｌｄ：残りの重みに対して量子化＋フリーズ動作を強制する前に量子化されなければならない重みのパーセンテージを決定するためのしきい値。
【0058】
[0117]ｍａｓｋ＿ｔｈｒｅｓｈｏｌｄ：重みを量子化＋フリーズするために、その重みがどの程度対数量子化された形態に近くなければならないかを決定するためのしきい値。
【0059】
[0118]例示的な実装では、モデルの量子化方法は次の通りであることができる。
【0060】
[0119]Ｃｌｏｓｅｓｔ：値ｘについて、最も近いｌｏｇ２値に量子化する。
【0061】
[0120]Ｄｏｗｎ：値ｘについて、ｌｏｇ２の最も近い切り捨てに量子化する。
【0062】
[0121]Ｓｔｏｃｈａｓｔｉｃ：値ｘについて、ｌｏｇ２の切り上げおよび切り捨てを見つける。切り上げが選択される確率は、（ｘ－切り捨て）／（切り上げ－切り捨て）である。
【0063】
[0122]例示的な実装では、モデルのフリーズ方法は次の通りである。
【0064】
[0123]Ｔｈｒｅｓｈｏｌｄ：フリーズ動作中に、ｆｚ＿ｔｈｒｅｓｈｏｌｄ以上のフリーズされた重みのパーセンテージを有するすべての層をフリーズする。トレーニングの最後に、残りのすべての層もフリーズされる。
【0065】
[0124]Ｒａｎｋｅｄ：フリーズ動作中に、フリーズされた重みのパーセンテージに関して、層がランク付けされる。その後、フリーズ動作が実行されるたびに同じ数の層がフリーズされるように、最も高くランク付けされた層がフリーズされて管理される。
【0066】
[0125]Ｏｒｄｅｒｅｄ：フリーズ動作中に、同じ数の層がフリーズされるように、入力－＞出力の順序に関して、層がフリーズされて管理される。
【0067】
[0126]例示的な実装では、トレーニング段階の選択肢は次の通りであることができる。デフォルトは、標準的な（ＮＮ１．０）ニューラルネットワーク動作であると仮定される。
【0068】
[0127]Ｆｚ＿ａｌｌ：ＮＮ２．０動作である場合、層を量子化してフリーズし、層にマスクを適用する。
【0069】
[0128]Ｆｚ＿ｂｎ：ＮＮ２．０動作である場合、バッチ正規化層を量子化してフリーズし、バッチ正規化層にマスクを適用する。
【0070】
[0129]Ｆｚ＿ｃｏｎｖ：ＮＮ２．０動作である場合、畳み込み層を量子化してフリーズし、畳み込み層にマスクを適用する。
【0071】
[0130]Ｑｕａｎｔ＿ａｌｌ：ＮＮ２．０動作である場合、すべての層を量子化し、すべての層にマスクを適用する。
【0072】
[0131]Ｑｕａｎｔ＿ｂｎ：ＮＮ２．０動作である場合、バッチ正規化層を量子化し、バッチ正規化層にマスクを適用する。
【0073】
[0132]Ｑｕａｎｔ＿ｃｏｎｖ：ＮＮ２．０動作である場合、畳み込み層を量子化し、畳み込み層にマスクを適用する。
【0074】
[0133]例示的な実装のトレーニングの内訳は次の通りであることができる。
【0075】
[0134]入力：トレーニング段階のタプルのうちのタプル。
【0076】
[0135]例Ａ：（（４，１，Ｆｚ＿ａｌｌ），）
【0077】
[0136]第１のエントリは、段階の動作で実施されるエポックの数を決定する（この場合、４つのエポックのｆｚ＿ａｌｌ）。
【0078】
[0137]第２のエントリは、ＮＮ２．０動作が実行される回数を決定する。言い換えると、このタプルは、エポックごとにｆｚ＿ａｌｌ動作が実行されることを示している。
【0079】
[0138]第３のエントリは、ＮＮ２．０のどの段階の動作が実行されるかを示している。
【0080】
[0139]例Ｂ：（（２，１，Ｄｅｆａｕｌｔ），（４，１，Ｆｚ＿ｃｏｎｖ），（４，２，ｆｚ＿ｂｎ））
【0081】
[0140]この例では、合計で１０個のエポックについてトレーニングが実行される。最初の２つのエポックは、ＮＮ１．０を使用してトレーニングされる。次の４つのエポックは、エポックごとの最後にＮＮ２．０動作を実行する。４つのエポックの終了までに、すべての畳み込み層がフリーズされる。最後の４つのエポックは、１エポックおきにＮＮ２．０を実行する。４つのエポックの終了までに、すべてのバッチ正規化層がフリーズされる。
【0082】
[0141]図１６Ａ、図１６Ｂ、および図１６Ｃは、例示的な実装に従って、畳み込み演算の例を示している。具体的には、図１６Ａは畳み込みの例を示しており、図１６Ｂは深さ方向畳み込みの例を示しており、図１６Ｃは分離可能畳み込みの例を示している。図１６Ａの例示的な畳み込みでは、次式のように、入力信号に対して２次元（２Ｄ：ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ）畳み込みが適用される。
Ｃｏｎｖ（ｘ）＝Σ（重み＊ｘ）＋バイアス
Ｃｏｎｖ（ｘ）＝Σ（重み＊ｘ）＋バイアス
【0083】
[0142]図１６Ｂの深さ方向畳み込みの例では、各チャネルに対して別々に２Ｄ畳み込みが適用され、出力が連結される。図１６Ｃの分離可能畳み込みの例では、各チャネルに対して別々に２Ｄ畳み込みが適用され、出力が連結されて畳み込みが深さ方向に実施される。
【0084】
[0143]図１７Ａ、図１７Ｂ、および図１８は、例示的な実装に従って、畳み込み層をトレーニングするための例示的なプロセスを示している。具体的には、図１７Ａが畳み込みのフォワードパスの例を示しており、図１７Ｂが畳み込みの重みの更新および対数量子化の例を示しており、図１８が図１７Ａおよび図１７Ｂを参照して畳み込み層のトレーニングの例示的なフローを示している。図１８のフローでは、１８０１で、フローが、入力データに対して各値を乗算してから積を累算し、各カーネル（図１７Ａでは３ｘ３ｘ３）を畳み込む。カーネルごとに１つの出力行列（図１７Ａでは３ｘ３）が生成される。１８０２で、フローが、出力とグランドトゥルースデータの間の誤差を計算した後に、重み勾配を計算する。１８０３で、フローが、図１７Ｂに示されているように、事前に定義された更新アルゴリズムに従って、重み勾配を使用して重みを更新する。１８０４で、フローが、低い対数量子化コストを有する重み値を対数量子化する。高い量子化損失を伴う重みは、望ましい実装に応じて、今後の反復まで量子化されないままであることができ、または直ちに量子化されることができる。図１７Ｂの例では、値「２．９９」は、対数量子化コストが、０．５の最大対数量子化損失より高い２．９９－２．００＝０．９９であるため、量子化されないままになる。１８０５で、畳み込みのトレーニングが完了するまで、１８０１～１８０４のプロセスが反復される。
【0085】
[0144]図１９Ａ、図１９Ｂ、および図２０は、例示的な実装に従って、緻密層をトレーニングするための例示的なプロセスを示している。具体的には、図１９Ａが緻密層のフォワードパスの例を示しており、図１９Ｂが緻密層の重みの更新および対数量子化の例を示しており、図２０が図１９Ａおよび図１９Ｂを参照して緻密層のトレーニングの例示的なフローを示している。図２０のフローでは、２００１で、フローが、各入力行データ（図１９Ａの入力（１ｘ３）））を重み行列（図１９Ａの重み（３ｘ４））の各列と乗算し、次に積を累算し、結果として、図１９Ａに示されたような出力（１ｘ４）を得る。２００２で、フローが、出力とグランドトゥルースデータの間の誤差を計算した後に、重み勾配を計算する。２００３で、フローが、図１９Ｂに示されているように、事前に定義された更新アルゴリズムに従って、重み勾配を使用して重みを更新する。２００４で、フローが、低い対数量子化コストを有する重み値を対数量子化する。高い量子化損失を伴う重みは、望ましい実装に応じて、今後の反復まで量子化されないままであることができ、または直ちに量子化されることができる。２００５で、緻密層のトレーニングが完了するまで、２００１～２００４のプロセスが反復される。
【0086】
[0145]バッチ正規化のトレーニングに関しては、ｄ次元の入力ｘ＝（ｘ（１）．．．ｘ（ｄ））を含む層に対して、各次元が正規化される。
【0087】
[0146]次元は、次式に基づいてチャネルを表してよい。
ここで、平均および分散が、トレーニングデータセットすべてにわたって計算される。
【数1】
【0088】
[0147]次のように、活性化ｘ（ｋ）ごとに、パラメータγ（ｋ）、β（ｋ）の対が、正規化された値の大きさを変更してシフトしてよい。元のモデルパラメータと共に、パラメータの対が学習される。
【数2】
【0089】
[0148]バッチ正規化データに関して、次式によってバッチ正規化（ＢＮ：ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）が表される。
【数3】
【0090】
[0149]データの平均および分散が計算される。
【0091】
[0150]イプシロン（ε）の値は、通常、ゼロ除算を回避するための小さい数値である。次に、ＢＮがＷ．ｘ＋Ｂの形態に変換される。
ここで、
である。Ｗの項が対数量子化され、バイアス項Ｂが適切に大きさを変更される。次に、Ｗが入力ｘに掛けられ、バイアスＢが乗算の結果に加算される。
【数4】
【数5】
【数6】
【0092】
[0151]図２１および図２２は、例示的な実装に従って、バッチ正規化のトレーニングの例を示している。具体的には、図２２は、図２１の例で使用されるバッチ正規化のトレーニングのフローを示している。２２０１で、フローが、バッチ正規化の重みとの入力の要素ごとの乗算を実施する。２２０２で、フローが、バッチ正規化のバイアスを加算する。２２０３で、フローが、アクソンの出力をラベルと比較することによって勾配を計算する。２２０４で、フローが、バッチ正規化の変数を更新する。２２０５で、フローが、対数量子化された値に近い（例えば、しきい値以内の）バッチ正規化の重みを対数量子化する。２２０６で、フローが、バッチ正規化の重みが完全に対数量子化されるまで２２０５を繰り返す。
【0093】
[0152]図２３および図２４は、例示的な実装に従って、回帰型ニューラルネットワーク（ＲＮＮ）フォワードパスの例を示している。具体的には、図２３および図２４は、ＲＮＮフォワードパスの例を示している。２４０１で、フローが、図２３の第１のデータおよび重み（２ｘ２）を乗算する。２４０２で、フローが、第１のデータおよび重みの積のすべてを累算する。２４０３で、第１の反復の間に、フローが、データと同じ形状を有しているゼロアレイに隠れ層（２ｘ２）を掛ける。２４０４で、フローが、ゼロアレイおよび隠れ層のすべての積を累算する。２４０５で、フローが、２４０２および２４０４からの出力の合計値を保存し、この合計値が次の、またはその後の反復において使用される。２４０６で、フローが、図２３の第２のデータに重み（２ｘ２）を掛ける。２４０７で、フローが、第２のデータおよび重みのすべての積を累算する。２４０８で、フローが、２４０７からの出力に隠れ層（２ｘ２）を掛ける。２４０９で、フローが、保存された出力および隠れ層のすべての積を累算する。２４１０で、データが完全に処理されるまでフローが繰り返す。
【0094】
[0153]図２５および図２６は、例示的な実装に従って、ＲＮＮフォワードパスの別の例を示している。具体的には、図２５および図２６は、ＲＮＮフォワードパスの例を示している。２６０１で、フローが、図２５の第１のデータに重み（２ｘ２）を掛ける。２６０２で、フローが、第１のデータおよび重みの積のすべてを累算する。２６０３で、第１の反復の間に、フローが、データ（１ｘ２）と同じ形状を有しているゼロアレイ（ｉｎｉｔ＿ｓｔａｔｅ）に隠れ層（２ｘ２）を掛ける。２６０４で、フローが、ゼロアレイおよび隠れ層（２ｘ２）のすべての積を累算する。２６０５で、フローが、２６０２および２６０４からの出力の合計値を保存し、この合計値が次の、またはその後の反復において使用される。２６０６で、フローが、図２５の第２のデータに重み（２ｘ２）を掛ける。２６０７で、フローが、第２のデータおよび重み（２ｘ２）のすべての積を累算する。２６０８で、フローが、２６０７からの出力に隠れ層（２ｘ２）を掛ける。２６０９で、フローが、保存された出力および隠れ層（２ｘ２）のすべての積を累算する。２６１０で、データが完全に処理されるまでフローが繰り返す。
【0095】
[0154]図２７および図２８は、例示的な実装に従って、ＲＮＮの重みの更新および対数量子化の例を示している。具体的には、図２７は、ＲＮＮの重みの更新および量子化の例を示しており、図２８は、ＲＮＮの重みの更新および量子化の例示的なフローを示している。２８０１で、フローが、出力とグランドトゥルースデータの間の誤差を計算することによって、重み勾配を計算する。場合によっては、重み（２ｘ２）および隠れ層（２ｘ２）は、両方とも緻密層である。２８０２で、フローが、事前に定義されたか、または事前に構成された更新アルゴリズムに基づいて、重み勾配を使用して重みを更新する。２８０３で、フローが、低い（例えば、しきい値以内の）対数量子化コストを有する重み値を対数量子化する。高い（例えば、しきい値を超える）量子化損失を有する重みは量子化されず、今後またはその後の反復のために残される。
【0096】
[0155]図２９および図３０は、例示的な実装に従って、ＬｅａｋｙＲｅＬＵをトレーニングする例を示している。具体的には、図２９は、ＬｅａｋｙＲｅＬＵのトレーニングの例を示しており、図３０は、ＬｅａｋｙＲｅＬＵのトレーニングの例示的なフローを示している。ＬｅａｋｙＲｅＬＵは、ＬｅａｋｙＲｅＬＵ（ｘ）＝ｍａｘ（０，ｘ）＋ｎｅｇａｔｉｖｅ＿ｓｌｏｐｅ＊ｍｉｎ（０，ｘ）に対応する要素ごとの関数を適用してよく、ｘ≧０の場合はＬｅａｋｙＲｅＬＵ（ｘ）＝ｘであり、そうでない場合はＬｅａｋｙＲｅＬＵ（ｘ）＝ｎｅｇａｔｉｖｅ＿ｓｌｏｐｅ＊ｘである。３００１で、フローが、ｙがゼロ（０）以上であるかどうかを判定する。３００２で、フローによるｙがゼロ（０）以上であるということの決定に応答して、ｙがｘの値に設定され、トレーニングプロセスが完了する。３００３で、フローによるｙがゼロ（０）未満であるということの決定に応答して、ｘに負の傾斜が掛けられる。標準的なニューラルネットワーク動作では、デフォルトで、負の傾斜が０．３に設定される。ＮＮ２．０では、０．３の値を対数量子化することによって、負の傾斜が０．２５または２－２に設定される。３００４で、フローが、更新された傾斜値を使用してＮＮをトレーニングする。トレーニング中に他の層のアクソンの値が変化することがあるため、更新された傾斜値を使用してＮＮがトレーニングされる。
【0097】
[0156]図３１および図3２は、例示的な実装に従って、パラメトリックＲｅＬＵ（ＰＲｅＬＵ）をトレーニングする例を示している。具体的には、図３１は、ＰＲｅＬＵのトレーニングの例を示しており、図３２は、ＰＲｅＬＵのトレーニングの例示的なフローを示している。ＰＲｅＬＵのトレーニングは、ＰＲｅＬＵ（ｘ）＝ｍａｘ（０，ｘ）＋α＊ｍｉｎ（０，ｘ）に対応する要素ごとの関数を適用してよく、ｘ≧０の場合はＰＲｅＬＵ（ｘ）＝ｘであり、そうでない場合はＰＲｅＬＵ（ｘ）＝α＊ｘである。そのような場合、αはトレーニング可能なパラメータである。３２０１で、フローが、ｙがゼロ（０）以上であるかどうかを判定する。３２０２で、フローによるｙがゼロ（０）以上であるということの決定に応答して、ｙがｘの値に設定され、ＰＲｅＬＵのトレーニングプロセスが完了する。３２０３で、フローによるｙがゼロ（０）未満であるということの決定に応答して、勾配を計算して層の重みを更新するために、ｘにαが掛けられる。３２０４で、αが対数量子化された重みに近い（例えば、しきい値以内である）場合、フローがαを対数量子化された数値に変更する。３２０５で、αが３２０４で対数量子化されていない場合、アルファが対数量子化されるまで、３２０３および３２０４のプロセスが繰り返す。
【0098】
[0157]図３３は、通常のニューラルネット動作（ＮＮ１．０）とＮＮ２．０動作の間の違いの例を示している。ニューラルネットワークがトレーニング、学習、または最適化された後に、出力値を取得するために、推論データ（任意のデータ）がトレーニング済みニューラルネットワークに適用されてよい。ニューラルネットワーク用に設定されたルールに基づいて、出力値が解釈される。例えば、ＮＮ１．０では、出力を生成するために、データが重みと乗算されてよい。ＮＮ２．０では、ニューラルネットワーク動作の結果として得られる出力を生成するために、ＮＮ２．０の対数量子化された重みに基づいてデータがシフトされてよい。
【0099】
[0158]ＮＮ２．０においてシフト演算を使用する場合に生じる可能性がある問題は、右シフト演算において情報（層のアクソンにおける桁）が失われることがあるということである。例えば、緻密層への入力が４（２進数では０１００）であり、重みが２－５であると仮定すると、それは、入力（４＝０１００）が５だけ右にシフトされて、乗算による通常の０．１２５の代わりに、０の結果を生成するということを意味する。これは、ＮＮ２．０における右シフトに起因して、情報の損失につながることがある。係数によってすべての入力データを拡大し（左にシフトし）、すべての右シフト演算を十分に適用するための十分な空白を残すことによって、この問題が考慮されてよい。正確な係数値は、個別のニューラルネットワークおよび／またはニューラルネットワークと共に使用されるデータセットによって変わってよい。例えば、係数２２４が使用されてよい。しかし、本開示は、他の係数値が使用され得るように、係数２２４に限定されるよう意図されていない。各層のバイアスは、例えば図３４に示されているように、大きさを変更された入力との整合性を維持するために、入力データに使用される係数と同じ係数によって大きさを変更される（左にシフトされる）べきである。
【0100】
[0159]図３５および図３６は、例示的な実装に従って、通常のニューラルネットワーク内の緻密層を含んでいる完全接続ニューラルネットワークの推論の例を示している。具体的には、図３５は、緻密層を含んでいる完全接続ニューラルネットワーク（例えば、ＮＮ１．０）の例を示しており、図３６は、緻密層を含んでいる完全接続ニューラルネットワークの例示的なフローを示している。図３５のニューラルネットワークは、入力層、隠れ層、および出力層を含んでいる。入力層は、隠れ層に供給される複数の入力を含んでよい。３６０１で、フローが入力データを取得する。隠れ層に供給される入力データは、浮動小数点数を含んでいる。３６０２で、フローが、入力データを最適化された重みと乗算する。３６０３で、フローが、対応する最適化され重みを掛けられた入力データおよびバイアスの合計値を計算し、出力を生成する。
【0101】
[0160]図３７および図３８は、例示的な実装に従って、対数量子化されたニューラルネットワークＮＮ２．０内の完全に接続された緻密層の推論の例を示している。具体的には、図３７は、緻密層を含んでいる完全接続ＮＮ２．０の例を示しており、図３８は、緻密層を含んでいる完全接続ＮＮ２．０の例示的なフローを示している。図３７のＮＮ２．０は、入力層、隠れ層、および出力層を含んでいる。入力層は、隠れ層に供給される複数の入力を含んでよい。３８０１で、フローが入力データの大きさを変更する。入力データは、係数によって大きさを変更された浮動小数点数を含む。例えば、浮動小数点数は２２４の係数によって大きさを変更されてよい。本開示は、スケール係数の異なる値が使用され得るように、本明細書で開示された例示的なスケール係数に限定されるよう意図されていない。３８０２で、フローが、対応する対数量子化された重みから導出されたシフト命令に基づいて入力データをシフトする。重みは、パラメータを対数量子化することから導出された７ビットのデータを含んでよい。３８０３で、フローがバイアスを加算する。入力データの大きさを変更するために使用された係数と同じ係数によって、バイアスの大きさが変更されてよい。
【0102】
[0161]図３９および図４０は、例示的な実装に従って、通常のニューラルネットワーク内の畳み込み推論動作の例を示している。具体的には、図３９は、畳み込み層の畳み込み推論動作の例を示しており、図４０は、畳み込み層の畳み込み推論動作の例示的なフローを示している。４００１で、フローが、入力データすべてにわたって各カーネル（図３９に示されているような３ｘ３ｘ３）を畳み込む。４００２で、フローが各値を乗算し、積を累算または加算する。図３９の例では、カーネルごとに１つの出力行列（３ｘ３）が生成されてよい。４００３で、フローが各出力行列に、対応するバイアスを加算する。各カーネルは、カーネルの出力行列（図３９では３ｘ３）全体にわたってブロードキャストされる異なるバイアスを有してよい。
【0103】
[0162]図４１および図４２は、例示的な実装に従って、ＮＮ２．０の畳み込み推論動作の例を示している。具体的には、図４１は、ＮＮ２．０の畳み込み層の畳み込み推論動作の例を示しており、図４２は、ＮＮ２．０の畳み込み層の畳み込み推論の例示的なフローを示している。４２０１で、フローが、係数によって入力データの各々の大きさを変更し、同じ係数によって各バイアス値の大きさを変更する。層がＮＮ２．０への入力層である場合、フローは係数（例えば、２２４）を掛けることによって入力データの各々を拡大する。層が入力層でない場合、入力データ値は、すでに大きさを変更されていると仮定され、カーネルの重みは、シフトに使用するための対数量子化された値にトレーニングされていると仮定される。４２０２で、フローは、入力データすべてにわたって各カーネル（図４１では２ｘ２ｘ３）を畳み込む。要素ごとのシフトが各値に使用されてよく、結果が累算される。一部の態様では、カーネルごとに１つの出力行列（図４１では３ｘ３）が生成される。カーネル内の重み値は、（重みの符号を決定するための＋／－）（左／右シフトのための＋／－の後に、シフトする量が続く）の形式を有してよい。例えば、＋（－５）は、重みの符号は負であり、その後に、５による右へのシフトが続くということを示す。これは、入力値に２－５を掛けることと同等である。４２０３で、フローが各出力行列に、対応するバイアスを加算する。各カーネルは、カーネルの出力行列（図４１では３ｘ３）全体にわたってブロードキャストされ得る各バイアスを有してよい。
【0104】
[0163]バッチ正規化の推論に関して、バッチ正規化は次式に対応してよい。
【数7】
【0105】
[0164]ここで、γおよびβはトレーニング可能なパラメータであってよく、一方、平均および分散は定数であってよく、トレーニング中に設定されてよい。イプシロン（ε）も、数値安定性のために使用される定数であり、１Ｅ－３などの、ただしこれに限定されない小さい値を有する。平均、分散、およびイプシロンは、すべてブロードキャストされる。平均および分散は、チャネルごとに（各チャネルの高さ／幅にわたってブロードキャストされる）１つの値を有し、一方、イプシロンは、すべての次元にわたってブロードキャストされる１つの値である。場合によっては、バッチ正規化方程式に従う要素ごとの動作が、入力データ（ｘ）を使用してアクソンを計算するために使用されてよい。
【0106】
[0165]図４３Ａ、図４３Ｂ、および図４４は、例示的な実装に従って、バッチ正規化の推論の例を示している。具体的には、図４３Ａは、ＮＮ２．０用に変換されたバッチ正規化方程式を示しており、図４３Ｂは、ＮＮ２．０のバッチ正規化の推論を示しており、図４４は、ＮＮ２．０のバッチ正規化の推論の例示的なフローを示している。ＮＮ２．０のバッチ正規化方程式は、図４３Ａに示されているように変換される。ＮＮ２．０のバッチ正規化の最終的な形式が、図４３Ａの方程式３として示されている。場合によっては、トレーニング中に、図４３Ａの方程式４内のＷおよび方程式４３Ａの方程式４内のＢが最適化されるということが仮定されてよく、Ｗは対数量子化され、ＷおよびＢは推論用に設定されて準備ができている。
【0107】
[0166]４４０１で、フローが、図４３Ｂに示されているように、対数量子化された重み（ｗ）値に基づいて、要素ごとに入力データをシフトする。４４０２で、フローが要素ごとにバイアスを加算する。この層は、バッチ正規化層であるため、入力データの大きさが変更されていると仮定されるような入力層である可能性は低い。バイアスは、入力データと同じ係数によって大きさを変更されてもよい。４４０３で、フローがアクソンを計算する。
【0108】
[0167]図４５および図４６は、例示的な実装に従って、通常のニューラルネットワーク内のＲＮＮの推論の例を示している。具体的には、図４５は、ＲＮＮの推論の例を示しており、図４６は、ＲＮＮの推論の例示的なフローを示している。４６０１で、フローが、図４５の第１のデータに重み（２ｘ２）を掛ける。４６０２で、フローが、第１のデータおよび重みのすべての積を累算する。４６０３で、第１の反復の間に、フローが、データ（１ｘ２）と同じ形状を有しているゼロアレイ（ｉｎｉｔ＿ｓｔａｔｅ）に隠れ層（２ｘ２）を掛ける。４６０４で、フローが、ゼロアレイのすべての積を累算する。４６０５で、フローが、４６０２および４６０４からの出力の合計値を保存し、この合計値が次の、またはその後の反復において使用される。４６０６で、フローが、図４５の第２のデータに重み（２ｘ２）を掛ける。４６０７で、フローが、第２のデータおよび重みのすべての積を累算する。４６０８で、フローが、４６０５からの出力に隠れ層（２ｘ２）を掛ける。４６０９で、フローが、保存された出力のすべての積を累算する。４６１０で、データが４６０９で完全に処理されない場合、データが完全に処理されるまで、４６０５～４６０９のプロセスが繰り返す。
【0109】
[0168]図４７および図４８は、例示的な実装に従って、ＮＮ２．０のＲＮＮの推論の例を示している。具体的には、図４７は、ＮＮ２．０のＲＮＮの推論の例を示しており、図４８は、ＮＮ２．０のＲＮＮの推論の例示的なフローを示している。４８０１で、フローが、シフトを使用して、ゼロアレイ（ｉｎｉｔ＿ｓｔａｔｅ）に隠れ層（２ｘ２）を掛けて、その値を累算する。図４７に示されているように、結果として得られたベクトルが保存される（出力１ Ａ）。４８０２で、フローが、シフトを使用して、第１のデータ（データＡ）に重み（２ｘ２）を掛けて、その値を累算する。重み（２ｘ２）および隠れ層（２ｘ２）は、両方とも緻密層である。図４７に示されているように、結果として得られたベクトルが保存される（出力２ Ａ）。４８０３で、フローが、４８０１および４８０２からのベクトル出力を一緒に加算する。図４７に示されているように、結果として得られたベクトルが保存される（出力３ Ａ）。４８０４で、フローが、シフトを使用して、４８０３からのベクトル出力に隠れ層（２ｘ２）を掛けて、その値を累算する。図４７に示されているように、結果として得られたベクトルが保存される（出力１ Ｂ）。４８０５で、フローが、シフトを使用して、第２のデータ（データＢ）に重み（２ｘ２）を掛けて、その値を累算する。図４７に示されているように、結果として得られたベクトルが保存される（出力２ Ｂ）。４８０６で、データが４８０５で完全に処理されない場合、データが完全に処理されるまで、４８０２～４８０５のプロセスが繰り返す。
【0110】
[0169]場合によっては、ＲｅＬＵ、ＬｅａｋｙＲｅＬＵ、またはパラメトリックＲｅＬＵ（ＰＲｅＬＵ）を含んでよい３種類の整流線形ユニット（ｒｅｌｕ）活性化関数が、一般に使用される。ＲｅＬＵは、次式に対応してよい。
【0111】
[0170]ＲｅＬＵ（ｘ）＝（ｘ）＋＝ｍａｘ（０，ｘ）
【0112】
[0171]ＬｅａｋｙＲｅＬＵは、次式に対応してよい。
【0113】
[0172]ＬｅａｋｙＲｅＬＵ（ｘ）＝ｍａｘ（０，ｘ）＋ｎｅｇａｔｉｖｅ＿ｓｌｏｐｅ＊ｍｉｎ（０，ｘ）であり、ここで、
である。
【数8】
【0114】
[0173]ＰＲｅＬＵは、次式に対応してよい。
【0115】
[0174]ＰＲｅＬＵ（ｘ）＝ｍａｘ（０，ｘ）＋α＊ｍｉｎ（０，ｘ）であり、ここで、
である。
【数9】
【0116】
[0175]これらの３つの関数は、入力（通常は、ニューラルネットワークの層を通じて計算されるアクソンのテンソル）を取り込み、関数を適用して出力を計算するように構成される。アクソンのテンソルでの各入力値は、それらの値に基づいて独立して機能する。例えば、入力値がゼロ（０）より大きい場合、出力＝入力となるように、３つの関数がすべて同じように動作する。しかし、入力値がゼロ（０）より小さい場合、関数は異なって動作する。
【0117】
[0176]ＲｅＬＵの場合、入力値＜０である場合、出力＝０である。ＬｅａｋｙＲｅＬＵの場合、出力＝ｎｅｇａｔｉｖｅ＿ｓｌｏｐｅ＊入力であり、ｎｅｇａｔｉｖｅ＿ｓｌｏｐｅは、トレーニングの開始時に（通常は０．３に）設定され、トレーニング全体を通じて固定される。ＰＲｅＬＵの場合、出力＝α＊入力であり、αはトレーニング可能であり、トレーニング中に最適化される。αは、ＰＲｅＬＵ層ごとに１つの値を有し、すべての次元にわたってブロードキャストされる。ネットワーク内に２つ以上のＰＲｅＬＵが存在する場合などの一部の事例では、各ＰＲｅＬＵは、対応するトレーニング済みの最適化されたαを含む。
【0118】
[0177]図４９は、例示的な実装に従って、３つの関数すべての例示的なグラフを示している。３つの活性化関数はすべて、入力値が０より大きい場合、出力＝入力となるように、標準的な推論と同じように推論する。入力値がゼロ（０）より小さい場合、ＮＮ２．０のＲｅＬＵの推論は、図４９の短破線に示されているように、出力＝０を有してよい。入力値がゼロ（０）より小さい場合、ＮＮ２．０のＲｅＬＵの推論は標準的なＲｅＬＵと同じであってよい。負の入力値の場合のＮＮ２．０のＬｅａｋｙＲｅＬＵの推論は、ｎｅｇａｔｉｖｅ＿ｓｌｏｐｅが対数量子化されるように変更される（図４９の長破線として示されている０．２５＝２－２のデフォルトを有する）。（乗算の代わりに）シフトを利用して出力を計算するために、対数量子化が実行される。ｎｅｇａｔｉｖｅ＿ｓｌｏｐｅの値は、トレーニング開始前に設定され、それに応じて、他の層内のトレーニング可能なパラメータがトレーニングされて最適化される。負の入力値の場合のＮＮ２．０のＰＲｅＬＵの推論は、トレーニング可能なパラメータ（図４９の点線として示されているα＝０．５＝２－１）がトレーニング中に対数量子化され、シフトを利用して出力値を計算できるようにするという点においても異なっている。
【0119】
[0178]図５０および図５１は、例示的な実装に従って、ＹＯＬＯなどの物体検出モデルを対数量子化されたＮＮ２．０のモデルに変換する方法の例を示している。標準的なＹＯＬＯアーキテクチャは、ｂａｃｋｂｏｎｅ５００１、ｎｅｃｋ５００２、およびｈｅａｄ５００３を含んでよい。ｂａｃｋｂｏｎｅは、ＣＳＰＤａｒｋｎｅｔ５３ Ｔｉｎｙを含んでよく、一方、ｎｅｃｋおよびｈｅａｄは、畳み込みブロックを含む。入力層は、シフトの目的で、係数２ｎ（例えば、２２４）によって大きさを変更されてよい。畳み込み層およびバッチ正規化層のためのバイアスは、入力層の大きさを変更するために使用された係数と同じ係数２ｎ（例えば、２２４）によって大きさを変更されてもよい。出力は、入力層、ならびに畳み込み層およびバッチ正規化層のためのバイアスの大きさを変更するために使用された係数と同じ係数２２４によって縮小されてよい。
【0120】
[0179]図５１は、モデルをＮＮ２．０モデルに変換するためにＹＯＬＯのどの動作／層を対数量子化するかの例を示している。ｂａｃｋｂｏｎｅ５１０１への入力は、シフトの目的で、２ｎの係数によって大きさを変更される。例えば、係数は２２４であってよいが、本開示は、係数が異なる値になり得るように、２２４の例に限定されるよう意図されていない。ｂａｃｋｂｏｎｅ５１０１、ｎｅｃｋ５１０２、および／またはｈｅａｄ５１０３は、データを処理する複数の層（例えば、ニューラルネットワーク層）を含んでよい。例えば、層の一部は、畳み込み層、バッチ正規化層、またはＬｅａｋｙＲｅＬＵ層を含んでよい。畳み込み層、バッチ正規化層、およびＬｅａｋｙＲｅＬＵ層などの、乗算および／または加算を利用する動作／層は、モデルをＮＮ２．０モデルにするために対数量子化される。ｂａｃｋｂｏｎｅ、ｎｅｃｋ、および／またはｈｅａｄ内の他の層は、そのような他の層が乗算演算および／または加算演算を利用しないため、対数量子化されない。例えば、他の層の一部は、連結層、アップサンプル層、またはゼロパディング層を含んでよく、これらの層は、それらの各動作を実行するための乗算を含んでおらず、そのため連結層、アップサンプル層、またはゼロパディング層は、対数量子化されない。しかし、場合によっては、乗算演算および／または加算演算を使用しない他の層が対数量子化されてよい。畳み込み層、緻密層、ＲＮＮ、バッチ正規化、またはＬｅａｋｙＲｅＬＵなどの、ただしこれらに限定されない、乗算演算および／または加算演算を利用する層は、通常、モデルをＮＮ２．０モデルにするために対数量子化される。ｈｅａｄの出力は、通常のモデルと同じ出力値を生成するために、入力の大きさを変更するために使用された係数と同じ係数によって縮小されてよい。例えば、ｈｅａｄの出力は２２４の係数によって縮小されてよい。
【0121】
[0180]図５２Ａおよび図５２Ｂは、例示的な実装に従って、ＭＴＣＮＮなどの顔検出モデルを対数量子化されたＮＮ２．０のモデルに変換する方法の例を示している。具体的には、図５２Ａは、ＭＴＣＮＮモデルの標準的なアーキテクチャを示しており、一方、図５２Ｂは、モデルをＮＮ２．０モデルに変換するために対数量子化されるＭＴＣＮＮモデルの層を示している。図５２Ａは、ＰＮｅｔ、ＲＮｅｔ、およびＯＮｅｔの例示的なアーキテクチャを含んでおり、対数量子化されることができる各アーキテクチャ内の層を識別する。例えば、図５２ＡのＰＮｅｔの畳み込み層およびＰＲｅＬＵ層が対数量子化されることができ、一方、図５２ＡのＲＮｅｔおよびＯＮｅｔの畳み込み層、ＰＲｅＬＵ層、および緻密層が対数量子化されることができる。図５２Ｂを参照すると、ＮＮ２．０に従うＰＮｅｔ、ＲＮｅｔ、およびＯＮｅｔのアーキテクチャは、入力および出力のために大きさを変更する層に加えて、図５２ＡのモデルをＮＮ２．０モデルに変換するために対数量子化された層を含んでいる。
【0122】
[0181]図５３Ａおよび図５３Ｂは、例示的な実装に従って、ＶＧＧＦａｃｅなどの顔認識モデルを対数量子化されたＮＮ２．０モデルに変換する方法の例を示している。具体的には、図５３Ａは、標準的なアーキテクチャのＶＧＧＦａｃｅモデルを示しており、一方、図５３Ｂは、モデルをＮＮ２．０モデルに変換するために対数量子化されるＶＧＧＦａｃｅモデルの層を示している。図５３Ａは、ＲｅｓＮｅｔ５０およびＲｅｓＢｌｏｃｋの例示的なアーキテクチャを含んでおり、対数量子化されることができる各アーキテクチャ内の層を識別する。例えば、図５３Ａの畳み込み層、バッチ正規化層、ならびにＲｅｓＢｌｏｃｋ層およびＲｅｓＢｌｏｃｋ畳み込み層を含んでいるスタック層が、対数量子化されることができる。図５３Ｂを参照すると、ＮＮ２．０に従うＲｅｓＮｅｔ５０およびＲｅｓＢｌｏｃｋのアーキテクチャは、入力および出力のために大きさを変更する層に加えて、図５３ＡのモデルをＮＮ２．０モデルに変換するために対数量子化された層を含んでいる。
【0123】
[0182]図５４Ａおよび図５４Ｂは、例示的な実装に従って、オートエンコーダモデルを対数量子化されたＮＮ２．０モデルに変える方法の例を示している。具体的には、図５４Ａは、オートエンコーダモデルの標準的なアーキテクチャを示しており、一方、図５４Ｂは、モデルをＮＮ２．０モデルに変換するために対数量子化されるオートエンコーダモデルの層を示している。図５４Ａは、オートエンコーダ層の構造の例を含んでおり、対数量子化されることができる層を識別する。例えば、図５４Ａのエンコーダおよびデコーダ内の緻密層が対数量子化されることができる。図５４Ｂを参照すると、ＮＮ２．０に従うオートエンコーダ層は、入力および出力のために大きさを変更する層に加えて、図５４ＡのモデルをＮＮ２．０モデルに変換するために対数量子化された層を含んでいる。
【0124】
[0183]図５５Ａおよび図５５Ｂは、例示的な実装に従って、緻密ニューラルネットワークモデルを対数量子化されたＮＮ２．０モデルに変える方法の例を示している。具体的には、図５５Ａは、緻密ニューラルネットワークモデルの標準的なアーキテクチャを示しており、一方、図５５Ｂは、モデルをＮＮ２．０モデルに変換するために対数量子化される緻密ニューラルネットワークモデルの層を示している。図５５Ａは、緻密ニューラルネットワークモデル層の構造の例を含んでおり、対数量子化されることができる層を識別する。例えば、図５５Ａのモデルのアーキテクチャ内の緻密層が対数量子化されることができる。図５５Ｂを参照すると、ＮＮ２．０に従うモデル層は、入力および出力のために大きさを変更する層に加えて、図５５ＡのモデルをＮＮ２．０モデルに変換するために対数量子化された層を含んでいる。
【0125】
[0184]図５６は、例示的な実装に従って、ハードウェア内で発生する標準的な２進乗算の例を示している。ハードウェア内で発生する例示的な乗算は、２進数を使用してよい。例えば、図５６に示されているように、データ５６０１は６の値を有してよく、パラメータ５６０２は３の値を有してよい。１６ビットのパラメータデータが入力され、乗算器５６０３を使用して１６ｘ１６乗算器によって乗算され、乗算器５６０３が３２ビットの数値５６０４を生成するように、データ５６０１およびパラメータ５６０２は１６ビットのデータである。望ましい場合に１６ビットの数値５６０６を生成するために、切り詰め演算５６０５を使用して３２ビットの数値が切り詰められてよい。１６ビットの数値５６０６は、１８の値を有する。
【0126】
[0185]図５７および図５８は、例示的な実装に従って、ＮＮ２．０のシフト演算の例を示している。具体的には、図５７は、ＮＮ２．０のシフト演算の例を示しており、図５８は、ＮＮ２．０のシフト演算の例示的なフローを示している。
【0127】
[0186]５８０１で、フローが、データスケーリング係数によってデータの大きさを変更する。図５７の例では、入力データ５７０１が６の値を有してよく、入力データが、スケーリング係数２１０によって大きさを変更される。データスケーリング係数は、大きさを変更されたデータを生成してよい。他のデータスケーリング係数が使用されてよく、本開示は本明細書で提供された例に限定されるよう意図されていない。入力データ５７０１は、入力データ５７０１にデータスケーリング係数２１０を掛けることによって大きさを変更され、その結果、６，１４４の値を有する大きさを変更されたデータを得る。大きさを変更されたデータの１６ビットの２進表現は、０００１１０００００００００００である。
【0128】
[0187]５８０２で、フローが、対数量子化されたパラメータから導出されたシフト命令に基づいて、大きさを変更されたデータをシフトする。図５７の例では、パラメータ５７０２が３の値を有し、大きさを変更されたデータをシフトするシフト命令を生成するために、パラメータ５７０２が対数量子化される。パラメータ５７０２は対数量子化され、値＋３を対数量子化する方法は、ｌｏｇ－ｑｕａｎｔｉｚｅ（＋３）＝＞＋２ｒｏｕｎｄ（ｌｏｇ
２
（３））＝＋２ｒｏｕｎｄ（＋１．５６４９）＋２（＋２）＝＋４のようになる。
【0129】
[0188]５８０２でのシフトは、シフタ５７０９に提供されたシフト命令に従って実施される。シフト命令は、符号ビット５７０４、シフト方向５７０５、およびシフト量５７０６のうちの１つまたは複数を含むことができる。対数量子化されたパラメータから導出されたシフト命令５７０３は、６ビットのデータとして提示され、符号ビット５７０４は、シフト命令５７０３の最上位ビットであり、シフト方向５７０５は、２番目の最上位ビットであり、シフト量５７０６は、シフト命令５７０３の残りの４ビットである。０または１の値を有する符号ビット５７０４は、対数量子化されたパラメータの符号に基づく。例えば、０の値を有する符号ビット５７０４は、対数量子化されたパラメータの正符号を示す。１の値を有する符号ビット５７０４は、対数量子化されたパラメータの負符号を示す。図５７の例では、符号ビット５７０４が０の値を有するように、パラメータ＋３が正符号を有している。０または１の値を有するシフト方向５７０５は、対数量子化されたパラメータの指数の符号に基づく。例えば、０の値を有するシフト方向５７０５は、左シフト方向に対応する正符号を有する指数に基づく。１の値を有するシフト方向５７０５は、右シフト方向に対応する負符号を有する指数に基づく。図５７の例では、シフトビット５７０５が、左シフト方向に対応する０の値を有するように、対数量子化されたパラメータの指数（＋２）が正符号を有している。シフト量５７０６は、対数量子化されたパラメータの指数の大きさに基づく。図５７の例では、シフト量５７０６が２になるように、指数が２の大きさを有している。２のシフト量５７０６が００１０に対応するように、シフト量５７０６が、シフト命令５７０３の最後の４ビットから成る。シフト方向５７０５およびシフト量５７０６が決定された状態で、シフトが大きさを変更されたデータに適用されてよい。大きさを変更されたデータ、シフト方向、およびシフト量がシフタ５７０９に供給される。大きさを変更されたデータが１６ビットのデータとして表されるため、シフタ５７０９は、この例に示されているように１６ビットのシフタであってよい。シフタ５７０９は、シフト方向５７０５（左方向）およびシフト量５７０６（２）に基づいてシフト演算を適用し、２４，５７６に対応する０１１０００００００００００００のシフトされた値５７１０を生成する。乗算を利用する、示されたシフト演算と数学的に同等の動作は、次の通りである。大きさを変更されたデータが６，１４４の値を有し、パラメータ＋３の対数量子化された値が＋４であり、６，１４４ｘ４の積＝２４，５７６である。ＮＮ２．０のシフト演算は、乗算演算を使用せずに、シフトによって同じ結果を取得する。
【0130】
[0189]５８０３で、フローが、データの符号ビットおよびシフト命令からの符号ビットのＸＯＲ演算を実行し、シフトされた値の符号ビットを決定する。図５７の例では、データの符号ビット５７０７が０の値を有しており、シフト命令からの符号ビット５７０４が０の値を有している。シフトされた値５７１０の符号ビット５７１１が０の値を有するように、両方の値がＸＯＲ５７０８に入力され、０ ＸＯＲ ０の結果が０になる。
【0131】
[0190]５８０４で、フローが、シフトされた値の符号ビットを設定する。シフトされた値５７１０の符号ビット５７１１は、ＸＯＲ５７０８の結果に基づく。図５７の例では、符号ビット５７１１が０に設定されるように、符号ビット５７０４と符号ビット５７０７のＸＯＲの結果が０になる。
【0132】
[0191]図５９は、例示的な実装に従って、ＮＮ２．０のシフト演算の例を示している。図５９のＮＮ２．０のシフト演算のフローは、図５８のフローと一致している。図５９の例は、図５７の例におけるパラメータの値とは異なるパラメータ値を含んでいる。例えば、図５９のパラメータ５９０２は－０．１２２の値を有しており、この値が、ｌｏｇ－ｑｕａｎｔｉｚｅ（－０．１２２）＝－２ｒｏｕｎｄ（ｌｏｇ
２
（０．１２２））＝－２ｒｏｕｎｄ（－３．０３５）＝－２（－３）＝－０．１２５のように対数量子化される。その結果、対数量子化されたパラメータの符号に起因して、符号ビット５９０４が１の値を有し、対数量子化されたパラメータの指数の符号に起因して、シフト方向５９０５が１の値を有する。３の大きさを有している指数に起因して、シフト量は３である。シフト量５９０６は、対数量子化されたパラメータ５９０３の最後の４ビット内で、２進数の形態である。シフト量およびシフト方向を大きさを変更されたデータに適用し、－７６８のシフトされた値５９１０を生成するために、シフト方向５９０５、シフト量５９０６、および大きさを変更されたデータ５９０１がシフタ５９０９に入力される。符号ビット５９１１の１の値をもたらす符号ビット５９０４および符号ビット５９０７のＸＯＲに起因して、シフトされた値５９１０が負符号を有する。シフトされた値５９１０が－７６８の値を有するように、１の値を有する符号ビット５９１１が、負符号を有するシフトされた値５９１０をもたらす。大きさを変更されたデータは６ｘ２１０＝６，１４４の値を有し、パラメータの対数量子化された値は－２（－３）＝－０．１２５の値を有する。大きさを変更されたデータおよび対数量子化されたパラメータの積は、６，１４４ｘ－０．１２５＝－７６８である。シフトされた値５９１０は、乗算を使用することによってではなく、シフタを使用して取得されたー７６８の値を有する。ＮＮ２．０のシフト演算は、乗算演算を使用せずに、シフトによって同じ結果を取得する。
【0133】
[0192]図６０および図６１は、例示的な実装に従って、２の補数データを使用するＮＮ２．０のシフト演算の例を示している。具体的には、図６０は、２の補数データを使用するＮＮ２．０のシフト演算の例を示しており、図６１は、２の補数データを使用するＮＮ２．０のシフト演算の例示的なフローを示している。
【0134】
[0193]６１０１で、フローが、データスケーリング係数によってデータの大きさを変更する。図６０の例では、入力データ６００１が６の値を有してよく、入力データが、スケーリング係数２１０によって大きさを変更される。データスケーリング係数は、１６ビットのデータとして表されるデータを生成してよい。他のデータスケーリング係数が使用されてよく、本開示は本明細書で提供された例に限定されるよう意図されていない。入力データ６００１は、入力データ６００１にデータスケーリング係数２１０を掛けることによって大きさを変更され、その結果、６，１４４の値を有する大きさを変更されたデータを得る。２進数として表された１６ビットの大きさを変更されたデータは、０００１１０００００００００００である。
【0135】
[0194]６１０２で、フローが、シフト命令に基づいて、大きさを変更されたデータの算術シフトを実行する。図６０の例では、パラメータ６００２が３の値を有し、大きさを変更されたデータをシフトするシフト命令を生成するために、パラメータ６００２が対数量子化される。パラメータ６００２は対数量子化され、＋３の値を対数量子化する方法は、ｌｏｇ－ｑｕａｎｔｉｚｅ（＋３）＝＞＋２ｒｏｕｎｄ（ｌｏｇ
２
（３））＝＋２（＋２）＝＋４のようになる。対数量子化されたパラメータから導出されたシフト命令６００３は、６ビットのデータとして提示され、符号ビット６００４は、シフト命令６００３の最上位ビットであり、シフト方向６００５は、２番目の最上位ビットであり、シフト量６００６は、対数量子化されたパラメータの残りの４ビットである。０または１の値を有する符号ビット６００４は、対数量子化されたパラメータの符号に基づく。例えば、０の値を有する符号ビット６００４は、対数量子化されたパラメータの正符号を示す。１の値を有する符号ビット６００４は、対数量子化されたパラメータの負符号を示す。図６０の例では、符号ビット６００４が０の値を有するように、パラメータ＋３が正符号を有している。０または１の値を有するシフト方向６００５は、対数量子化されたパラメータの指数の符号に基づく。例えば、０の値を有するシフト方向６００５は、左シフト方向に対応する正符号を有する指数に基づく。１の値を有するシフト方向６００５は、右シフト方向に対応する負符号を有する指数に基づく。図６０の例では、シフトビット６００５が、左シフト方向に対応する０の値を有するように、対数量子化されたパラメータの指数（２）が正符号を有している。シフト量６００６は、対数量子化されたパラメータの指数の大きさに基づく。図６０の例では、シフト量６００６が２になるように、指数が２の大きさを有している。２のシフト量６００６が００１０に対応するように、シフト量６００６が、シフト命令データ６００３の最後の４ビットから成る。シフト方向６００５およびシフト量６００６が決定された状態で、シフトが大きさを変更されたデータに適用されてよい。大きさを変更されたデータ、シフト方向、およびシフト量が算術シフタ６００９に供給される。大きさを変更されたデータが１６ビットのデータとして表されるため、算術シフタ６００９は、この例に示されているように１６ビットの算術シフタであってよい。算術シフタ６００９は、シフト方向６００５（左方向）およびシフト量６００６（２）に基づいてシフト演算を適用し、０１１０００００００００００００のシフトされた値６０１０を生成する。
【0136】
[0195]６１０３で、フローが、シフト命令からの符号ビットとのシフトされたデータのＸＯＲ演算を実行する。図６０の例では、符号ビット６００４は、シフトされた値６０１０（算術シフタ６００９の出力）と共にＸＯＲ６０１１に供給される０の値を有する。符号ビット６００４とシフトされた値６０１０のＸＯＲ演算の結果は、シフトされた値６０１２をもたらす。図６０の例では、符号ビット６００４が０の値を有するため、符号ビット６００４とシフトされた値６０１０のＸＯＲ演算の結果として、シフトされた値６０１２がシフトされた値６０１０から変更されない。
【0137】
[0196]６１０４で、フローが、シフト命令からの符号ビットが１である場合、ＸＯＲの結果の値を１だけインクリメントする。図６０の例では、シフトされた値６０１２がインクリメンタ（例えば、＋１または０）に入力され、インクリメンタには符号ビット６００４が供給される。フローがＸＯＲの結果のシフトされた値６０１２をインクリメントせず、シフトされた値６０１３をもたらすように、シフト命令の符号ビット６００４は０である。
【0138】
[0197]図６２は、例示的な実装に従って、２の補数データを使用するＮＮ２．０のシフト演算の例を示している。図６２のＮＮ２．０のシフト演算のフローは、図６１のフローと一致している。図６２の例は、図６０の例におけるシフト命令とは異なるシフト命令を含んでいる。例えば、図６２のパラメータ６２０２が－０．１２２の値を有し、大きさを変更されたデータをシフトするシフト命令を生成するために、この値が対数量子化される。パラメータ６２０２は対数量子化され、－０．１２２の値を対数量子化する方法は、ｌｏｇ－ｑｕａｎｔｉｚｅ（－０．１２２）＝＞－２ｒｏｕｎｄ（ｌｏｇ
２
（０．１２２））＝２ｒｏｕｎｄ（－３．０３５）＝－２（－３）＝０．１２５のようになる。対数量子化されたパラメータ６２０３から導出されたシフト命令は、６ビットのデータとして提示され、符号ビット６２０４は、シフト命令６２０３の最上位ビットであり、シフト方向６２０５は、２番目の最上位ビットであり、シフト量６２０６は、対数量子化されたパラメータ６２０３の残りの４ビットである。対数量子化されたパラメータの負符号に起因して、符号ビット６２０４が１の値を有し、対数量子化されたパラメータの指数の符号に起因して、シフト方向６２０５が１の値を有する。３の大きさを有している指数に起因して、シフト量は３である。シフト量６２０６は、対数量子化されたパラメータの指数の大きさに基づく。図６２の例では、シフト量６２０６が３になるように、指数が３の大きさを有している。３のシフト量６２０６が００１１に対応するように、シフト量６２０６が、シフト命令６２０３の最後の４ビット内の２進数の形態である。シフト量およびシフト方向を大きさを変更されたデータ６２０１に適用し、００００００１１００００００００のシフトされた値６２１０を生成するために、シフト方向、シフト量、および大きさを変更されたデータが１６ビットの算術シフタ６２０９に入力される。シフトされた値６２１０およびシフト命令からの符号ビット６２０４がＸＯＲ６２１１に入力される。符号ビット６２０４とシフトされた値６２１０のＸＯＲ演算の結果は、シフトされた値６２１２をもたらす。ＸＯＲの結果の出力（例えば、シフトされた値６２１２）および符号ビットがインクリメンタ（例えば、＋１または０）に入力される。シフト命令の符号ビットが１である場合、インクリメンタは、シフトされた値６２１２を１だけインクリメントしてよい。図６２の例では、シフト命令の符号ビットが１の値を有していることに起因して、シフトされた値６２１２が１だけインクリメントされるように、シフト命令の符号ビット６２０４が１である。その結果、シフトされた値６２１２がインクリメントされ、００００００１１００００００００のシフトされた値６２１３を生成する。シフトされた値６２１３は、－７６８の値を有する。大きさを変更されたデータは６ｘ２１０＝６，１４４の値を有し、対数量子化されたパラメータは－２（－３）＝－０．１２５の値を有する。大きさを変更されたデータおよび対数量子化されたパラメータの積は、６，１４４ｘ－０．１２５＝－７６８である。シフトされた値６２１２は、乗算を使用することによってではなく、シフタを使用して取得されたー７６８の値を有する。ＮＮ２．０のシフト演算は、乗算演算を使用せずに、シフトによって同じ結果を取得する。
【0139】
[0198]図６３および図６４は、例示的な実装に従って、加算演算がシフト演算に置き換えられることができる、ＮＮ２．０の累算演算／加算演算の例を示している。具体的には、図６３は、ＮＮ２．０の累算演算／加算演算の例を示しており、図６４は、ＮＮ２．０の累算演算／加算演算の例示的なフローを示している。ＮＮ２．０の累算演算は、シフト演算を利用し、正数用の正の累算シフタおよび負数用の負の累算シフタという、シフタの２つの別々のセットを使用して、Ｎ個の符号付き大きさデータの累算または加算を実行してよい。
【0140】
[0199]６４０１で、フローが、データの大きさの部分を複数のセグメントに分割する。図６３の例では、データ６３０１の大きさの部分が、ｓｅｇ１～ｓｅｇ６として指定された６つの５ビットのセグメントに分割される。しかし、場合によっては、データの大きさの部分が複数のセグメントに分割されることができ、本開示は、６つのセグメントに限定されるよう意図されていない。３０番目のビットは、将来使用するために予約されてよく、３１番目のビットは符号ビット６３０４であり、一方、残りのビットが、６つの５ビットのセグメントおよび予約された３０番目のビットを含む。
【0141】
[0200]６４０２で、フローが、各セグメントを正の累算シフタおよび負の累算シフタの両方に入力する。図６３の例では、１番目のデータ列（１番目のデータ）の１番目のセグメント（ｓｅｇ１）が、正の累算シフタ６３０２および負の累算シフタ６３０３に入力される。他のセグメント（ｓｅｇ２～ｓｅｇ６）は、セグメント１と同じ正の累算シフタ構造および負の累算シフタ構造の構造を有する。代替として、６つのセグメントすべてが、すべてのセグメントのシフト演算の中間結果を格納するための適切なバッファと共に、同じ正の累算シフタおよび負の累算シフタを共有するアーキテクチャが存在することができる。
【0142】
[0201]６４０３で、フローが、符号ビットに基づいてシフト演算を実行することを決定する。図６３の例では、シフト演算を決定するために、シフタ６３０２および６３０３によって符号ビット６３０４が利用される。例えば、符号ビット６３０４が、正数に対応する０の値を有する場合、正の累算シフト演算が実行される。符号ビット６３０４が、負数に対応する１の値を有する場合、負の累算シフト演算が実行される。各データ（データ＃１、データ＃２、．．．データ＃Ｎ）は、対応する符号ビット６３０４を有する。
【0143】
[0202]６４０４で、フローが、セグメント値によって表されたシフト量だけデータをシフトする。演算の開始時に、シフタは、シフタへの入力として定数１を受信する。次に、シフタは、その後のすべての演算のためのシフタへの入力として、シフタの出力を受信する。
【0144】
[0203]６４０５で、フローが、すべてのデータが処理されるまで、各セグメントおよびデータ列について、６４０１～６４０４のプロセスを続行する。
【0145】
[0204]図６５および図６６は、例示的な実装に従って、シフト演算を使用するＮＮ２．０の加算演算のオーバーフロー処理の例を示している。具体的には、図６５は、シフタを使用するＮＮ２．０の加算演算のオーバーフロー処理の例を示しており、図６６は、シフタを使用するＮＮ２．０の加算演算のオーバーフロー処理の例示的なフローを示している。
【0146】
[0205]６６０１で、フローが、シフタからの１番目のセグメント（ｓｅｇ１）のオーバーフロー信号をオーバーフローカウンタに入力する。図６５の例では、シフタ６５０１からのオーバーフロー信号が、オーバーフローカウンタ６５０２に入力されている。
【0147】
[0206]６６０２で、ｓｅｇ１のオーバーフローカウンタが最大値に達した場合、フローが、ｓｅｇ１のオーバーフローカウンタの出力をシフト量としてｓｅｇ２のシフタに入力し、ｓｅｇ１のオーバーフローカウンタからのオーバーフローカウンタ値に基づいてｓｅｇ２のデータをシフトする。図６５の例では、オーバーフローカウンタ６５０２からのデータがｓｅｇ１のオーバーフロー６５０３に入力され、ｓｅｇ１のオーバーフロー６５０３が最大値に達した場合、ｓｅｇ１のオーバーフロー６５０３の出力が、シフタ６５０４によって入力として受信される。シフタ６５０４は、ｓｅｇ１のオーバーフロー６５０３からの入力をシフト量として使用して、ｓｅｇ２のデータを、ｓｅｇ１のオーバーフロー６５０３によって提供されたオーバーフローカウンタ値に対応する量だけシフトする。
【0148】
[0207]６６０３で、ｓｅｇ２のオーバーフローカウンタが最大値に達した場合、フローが、ｓｅｇ２のオーバーフローカウンタの出力をシフト量としてｓｅｇ３のシフタに入力し、ｓｅｇ２のオーバーフローカウンタからのオーバーフローカウンタ値に基づいてｓｅｇ３のデータをシフトする。図６５の例では、オーバーフローカウンタ６５０５からのデータがｓｅｇ２のオーバーフロー６５０６に入力され、ｓｅｇ２のオーバーフロー６５０６が最大値に達した場合、ｓｅｇ２のオーバーフロー６５０６の出力が、第３のシフタ（図示されていない）によって入力として受信される。第３のシフタは、ｓｅｇ２のオーバーフロー６５０６からの入力をシフト量として使用して、ｓｅｇ３のデータを、ｓｅｇ２のオーバーフロー６５０６によって提供されたオーバーフローカウンタ値に対応する量だけシフトする。
【0149】
[0208]６６０４で、フローが、データのセグメントがすべて処理されたかどうかを判定する。処理されていない場合、データのセグメントがすべて処理されるまで、６６０１～６６０３のプロセスが繰り返す。
【0150】
[0209]図６７および図６８は、例示的な実装に従って、ＮＮ２．０のセグメント組み立て動作の例を示している。具体的には、図６７は、ＮＮ２．０のセグメント組み立て動作の例を示しており、図６８は、ＮＮ２．０のセグメント組み立て動作の例示的なフローを示している。セグメント組み立て動作は、６つのセグメントの累算演算の出力を組み立ててよい。６８０１で、累算のシフトが実行された後に、フローが、ワンホットの２進数である出力データをエンコードされた２進数に変換する。例えば、出力データ６７０１－１は、３２ビットのワンホットデータを含んでよく、このワンホットデータが、５ビットのエンコードされた２進数６７０２－１に変換される。６つのセグメントの各々の出力されたワンホットデータが、５ビットのエンコードされた２進数に変換される。図６７の例では、１番目、２番目、５番目、および６番目のセグメントの変換が示されているが、３番目および４番目のセグメントの変換は示されていない。６８０２で、フローが、セグメントを３０ビットのデータ６７０３に連結する。６つのセグメントが連結されて、３０ビットのデータを形成し、３０ビットのデータ内のセグメントの配置は、セグメントの番号に基づいて順序付けられる。例えば、１番目の５ビットの２進数６７０２－１が、０～４ビット番号の位置に配置され、それに続いて２番目の５ビットの２進数６７０２－２、次に３番目、その次に４番目、その次に５番目６７０２－５が続き、３０ビットデータの最後に、６番目の５ビットの２進数６７０２－６で終了する。６８０３で、フローが、符号ビット６７０４および３０番目のビット６７０５を、３０ビットのデータ６７０３に連結する。符号ビット６７０４、３０番目のビット６７０５、および３０ビットのデータ６７０３を形成する６つのセグメントの組合せが、３２ビットのデータ６７０６を形成する。図６７の例は、「＋の累算の組み立て」のための３２ビットのデータ６７０６の形成を示している。同様の手順が、「－の累算の組み立て」に関して発生するが、本明細書では、重複する説明を減らすために示されていない。６８０４で、フローがセグメントの組み立てを実行する。図６９に示されているように、「＋の累算」および「－の累算」のためのセグメント組み立て手順が実行された後に、「＋の累算」および「－の累算」からのデータ（６９０１、６９０２）が加算器６９０３に入力されて一緒に加算され、最終的なデータを形成する。
【0151】
[0210]図７０および図７１は、例示的な実装に従って、加算演算がシフト演算に置き換えられることができる、ＮＮ２．０の累算演算／加算演算の例を示している。具体的には、図７０は、ＮＮ２．０の累算演算／加算演算の例を示しており、図７１は、ＮＮ２．０の累算演算／加算演算の例示的なフローを示している。ＮＮ２．０の累算演算は、シフト演算を利用し、正および負の両方のデータについて右および左の両方にシフトすることができるシフタの１つのセットを使用して、Ｎ個の符号付き大きさデータの累算または加算を実行してよい。
【0152】
[0211]７１０１で、フローが、データの大きさの部分を複数のセグメントに分割する。図７０の例では、データ７００１の大きさの部分が、ｓｅｇ１～ｓｅｇ６として指定された６つの５ビットのセグメントに分割される。しかし、場合によっては、データの大きさの部分が複数のセグメントに分割されることができ、本開示は、６つのセグメントに限定されるよう意図されていない。３０番目のビットは、将来使用するために予約されてよく、３１番目のビットは符号ビット７００３であり、一方、残りのビットが、６つの５ビットのセグメントおよび予約された３０番目のビットを含む。
【0153】
[0212]７１０２で、フローが、各セグメントをシフタに入力する。図７０の例では、データ７００１のセグメントがシフタ７００２に入力されている。他のセグメント（ｓｅｇ２～ｓｅｇ６）は、セグメント１と同じシフタ構造の構造を有する。代替として、６つのセグメントすべてが、すべてのセグメントのシフト演算の中間結果を格納するための適切なバッファと共に、同じシフタを共有するアーキテクチャが存在することができる。
【0154】
[0213]７１０３で、フローが、符号ビットに基づいてシフト演算を実行することを決定する。図７０の例では、シフト方向を決定するために、シフタ７００２によって符号ビット７００３が利用される。例えば、符号ビット７００３が０の値を有している場合、データが左にシフトされる。符号ビット７００３が１の値を有している場合、データが右にシフトされる。
【0155】
[0214]７１０４で、フローが、セグメント値によって表されたシフト量だけデータをシフトする。演算の開始時に、シフタは、シフタへの入力として定数１を受信する。次に、シフタは、その後のすべての演算のためのシフタへの入力として、シフタの出力を受信する。
【0156】
[0215]７１０５で、すべての入力データが処理されるまで、フローが７１０１～７１０４のプロセスを続行する。
【0157】
[0216]図７２は、例示的な実装に従って、ＡＩ処理要素（ＡＩＰＥ）の一般的なアーキテクチャの例を示している。ＡＩＰＥは、畳み込み、緻密層、ＲｅＬＵ、リーキーＲｅＬＵ、最大プーリング、加算、および／または乗算などの、ただしこれらに限定されない、複数のニューラルネットワーク動作を処理するように構成される。ＡＩＰＥは、データ７２０２およびパラメータ７２０３を入力として受信するシフタ回路７２０１などの、さまざまなコンポーネントを備えてよい。ＡＩＰＥは、シフタ回路７２０１の出力を入力として受信する加算器回路またはシフタ回路７２０４を備えてもよい。ＡＩＰＥは、加算器回路またはシフタ回路７２０４の出力を入力として受信するフリップフロップ７２０５などのレジスタ回路を備えてもよい。データ７２０２およびパラメータ７２０３と共に、フリップフロップ７２０５などのレジスタ回路の出力がＡＩＰＥにフィードバックされ、多重化される。
【0158】
[0217]図７２に示されているように、ＡＩＰＥは、ニューラルネットワーク動作の入力データ（Ｍ１、Ｍ２）から導出されたシフト可能な入力７２０６を取り込むことと、図７２に示されているように、ニューラルネットワークの対応する対数量子化されたパラメータ７２０３または定数０などの定数値から導出されたシフト命令７２０７を取り込むことと、（例えば、図５７～６３に示されたような）シフト命令７２０７に従ってシフト可能な入力を左方向または右方向にシフトして、ニューラルネットワークの対応する対数量子化されたパラメータとの入力データの乗算を表すシフトされた出力７２０８（Ｍｏｕｔ）を形成することとを実行するように構成されたシフタ回路７２０１を少なくとも含むことができる。そのようなシフタ回路７２０１は、対数シフタ回路またはバレルシフタ回路などの、ただしこれらに限定されない、従来技術において知られている任意のシフタ回路であることができる。本明細書に記載されているように、図３７および図３８に示されたフローによってシフト可能な入力７２０６を形成するために、入力データの大きさが変更されることができる。そのようなフローは、専用の回路によって、コンピュータデバイスによって、または任意のその他の望ましい実装によって実行されることができる。
【0159】
[0218]図７２のアーキテクチャに基づいて図５７～図６２に示された例示的な実装では、シフト命令は、シフト方向（例えば、５７０５、５９０５、６００５、６２０５）およびシフト量（例えば、５７０６、５９０６、６００６、６２０６）を含むことができ、シフト量が、対応する対数量子化されたパラメータ（例えば、５７０２、５９０２、６００２、６２０２）の指数の大きさから導出され、シフト方向が、対応する対数量子化されたパラメータの指数の符号から導き出され、シフタ回路が、シフト可能な入力を、シフト方向に従って左方向または右方向にシフトし、シフト可能な入力を、例えば５７１０、５９１０、６０１０、および６２１０に示されたシフト量によって示された量だけ、シフト方向にシフトする。
【0160】
[0219]例示的な実装は、本明細書に記載されているような対数量子化されたパラメータから導出されたシフト命令を利用するが、本開示はそれに限定されず、その他の実装も可能である。例えば、必要に応じて、大きさを変更された（例えば、浮動小数点パラメータ、整数パラメータ、またはその他から大きさを変更された）パラメータをシフトするためのシフト命令が、入力としてデータから導出されてよい。そのような例示的な実装では、対数量子化されたデータ値が使用可能である場合、対数量子化されたデータ値からシフト命令が同様に導出されることができる。例えば、それによって、大きさを変更されたパラメータ値をシフトするシフト命令を生成するために、対応する対数量子化されたデータ値の指数の大きさからシフト量が導出されることができ、対応する対数量子化された値の指数の符号からシフト方向が導出されることができる。対数量子化された値から導出されたシフト命令によって値をシフトする動作が、データとパラメータの乗算と同等であることに起因して、そのような実装が可能である。
【0161】
[0220]図７２のアーキテクチャに基づく例示的な実装および図５７～図６２の例示的な実装では、ＡＩＰＥは、シフト可能な入力の第１の符号ビット（５７０７、５９０７）および対応する対数量子化されたパラメータの第２の符号ビット（例えば、５７０４、５９０４）を取り込み、シフトされた出力の第３の符号ビット（例えば、５７１１、５９１１）を形成するように構成された、ＸＯＲ回路（例えば、５７０８、５９０８）または任意のそれと同等のものなどの回路をさらに含むことができる。
【0162】
[0221]図７３および図７４の例において拡張されたような図７２のアーキテクチャに基づく例示的な実装、および図５７～図６４の例示的な実装では、ＡＩＰＥは、シフトされた出力（例えば、６０１０、６２１０、７３１０）および対数量子化されたパラメータのうちの対応する１つの符号ビット（例えば、６００４、６２０４、７３０６）を取り込んで１の補数データ（例えば、７４０５、７４０６）を形成するように構成されたＸＯＲ回路（例えば、６０１１、６２１１、７３１１）またはそれと同等のものなどの第１の回路と、対応する対数量子化されたパラメータの符号ビットによって１の補数データをインクリメントし、１の補数データを、対応する対数量子化されたパラメータとの入力データの乗算を表す２の補数データ（例えば、７４０５、７４０６）に変更するように構成されたインクリメンタ／加算器回路（７２０４、７３０２）などの第２の回路とをさらに備えることができる。
【0163】
[0222]図７２のアーキテクチャに基づき、図７３～図８２の例において拡張されたような例示的な実装では、ＡＩＰＥは、ニューラルネットワーク動作の出力を取り込むように構成された、マルチプレクサ７２１０または任意のそれと同等のものなどの回路を備えることができ、この回路は、シフタ回路７２０１への信号入力（ｓ１）に従って、ニューラルネットワーク動作の出力（例えば、Ｍ２）から、またはニューラルネットワーク動作の入力データから生成された大きさを変更された入力データ（例えば、７２０２、Ｍ１）から、シフト可能な入力を提供する。そのような回路（例えば、マルチプレクサ７２１０）は、回路への入力のうちのどの入力がシフタ回路７２０１に提供されるかを制御するための制御信号（ｓ１）を取り込むことができる。
【0164】
[0223]図７２のアーキテクチャに基づき、図７３～図８２の例において拡張されたような例示的な実装では、ＡＩＰＥは、信号入力（ｓ２）に従って、ニューラルネットワークの対応する対数量子化されたパラメータ（例えば、Ｋ）または定数値（例えば、定数０）から導出されたシフト命令を提供するように構成されたマルチプレクサ７２１１などの回路を備えることができる。
【0165】
[0224]図７２のアーキテクチャに基づき、図７３～図８２の例において拡張されたような例示的な実装では、ＡＩＰＥは、シフタ回路に結合された加算器回路７２０４、７３０２を備えることができ、加算器回路７２０４、７３０２、７６０８は、シフトされた出力に基づいて加算し、ニューラルネットワーク動作の出力（例えば、Ｏｕｔ、ａｏｕｔ）を形成するように構成される。そのような加算器回路７２０４、７３０２、７６０８は、望ましい実装に従って、１つまたは複数のシフタ、整数加算器回路、浮動小数点加算器回路、または任意のそれと同等の回路の形態をとることができる。
【0166】
[0225]図７２のアーキテクチャに基づき、図７３～図８２の例において拡張されたような例示的な実装では、加算器回路７２０４、７３０２、７６０８は、シフトされた出力を、トレーニング済みニューラルネットワークの複数のバイアスパラメータ７３０５のうちの対応する１つに加算して、ニューラルネットワーク動作の出力（ａｏｕｔ）を形成するように構成される。
【0167】
[0226]図７２のアーキテクチャに基づき、図６２～図７２の例示的な実装において拡張されたような例示的な実装では、ＡＩＰＥは、別のシフタ回路７２０４と、別のシフタ回路７２０４からの出力（Ｏｕｔ）をラッチする、別のシフタ回路７２０４に結合された出力フリップフロップ７２０５および／またはマルチプレクサ７２０９あるいはこれらと同等のものなどのレジスタ回路とを備えることができる。例えば図７０に示されているように、別のシフタ回路７２０４は、シフトされた出力に関連付けられた符号ビットＳおよびシフトされた出力の各セグメントを取り込み、符号ビットに基づいて別のシフタ回路入力を左または右にシフトし、別のシフタ回路から出力を形成するように構成される。
【0168】
[0227]図７２のアーキテクチャに基づき、図６２～図７２の例示的な実装において拡張されたような例示的な実装では、ＡＩＰＥは、シフタ回路による別のシフタ回路入力のシフトから生じる、別のシフタ回路からのオーバーフローまたはアンダーフロー（例えば、６５０３、６５０６）を取り込むように構成されたオーバーフローカウンタ（例えば、６５０２、６５０５）などのカウンタを備えることができ、別のシフタ回路が、図６５および図７０に示されているように、各セグメントからのオーバーフローまたはアンダーフローを取り込み、オーバーフローまたはアンダーフローの量によって、その後のセグメントを左または右にシフトするように構成される。そのようなカウンタは、従来技術において知られているような任意の回路を使用して、望ましい実装に従って実装されることができる。
【0169】
[0228]図７２のアーキテクチャに基づく例示的な実装では、ＡＩＰＥは、図６７および図７０の機能を提供する回路６７１０または任意のそれと同等のものなどの、ワンホットからバイナリへのエンコーディング回路を備えることができる。ワンホットからバイナリへのエンコーディング回路は、ラッチされた出力を取り込んでエンコードされた出力を生成し、すべてのセグメントからのエンコードされた出力およびオーバーフロー動作またはアンダーフロー動作の結果からの符号ビットを連結して、ニューラルネットワーク動作（６７０１～６７０６）の出力を形成するように構成される。
【0170】
[0229]図７２のアーキテクチャに基づく例示的な実装では、ＡＩＰＥは、シフト命令に関連付けられた符号ビットが正符号を示している場合に、シフトされた出力の各セグメントを取り込み、正の累算シフタ回路入力を左にシフトするように構成された第２のシフタ回路を含んでいる正の累算シフタ回路６３０２であって、第２のシフタ回路が、第２のシフタ回路からのシフトされた正の累算シフタ回路入力を、第１のラッチされた出力としてラッチするように構成された第１のレジスタ回路に結合され、第１のレジスタ回路が、ニューラルネットワーク動作が完了していないことを示す信号の受信の場合に、第１のラッチされた出力を正の累算シフタ回路入力として提供するように構成される、正の累算シフタ回路６３０２と、シフト命令に関連付けられた符号ビットが負符号を示している場合に、シフトされた出力の各セグメントを取り込み、負の累算シフタ回路入力を左にシフトするように構成された第３のシフタ回路を含んでいる負の累算シフタ回路６３０３であって、第３のシフタ回路が、第３のシフタ回路からのシフトされた負の累算シフタ回路入力を、第２のラッチされた出力としてラッチするように構成された第２のレジスタ回路に結合され、第２のレジスタ回路が、ニューラルネットワーク動作が完了していないことを示す信号の受信の場合に、第２のラッチされた出力を負の累算シフタ回路入力として提供するように構成される、負の累算シフタ回路６３０３と、ニューラルネットワーク動作が完了していることを示す信号の受信の場合に、正の累算シフタ回路からの第１のラッチされた出力６９０１および負の累算シフタ回路からの第２のラッチされた出力６９０２に基づいて加算し、ニューラルネットワーク動作の出力を形成するように構成された加算器回路６９０３とを備えることができる。
【0171】
[0230]図７２のアーキテクチャに基づき、図８１の例において拡張されたような例示的な実装では、ニューラルネットワーク動作がパラメトリックＲｅＬＵ動作である場合、シフタ回路８１０７が、シフト可能な入力の符号ビットが正である場合にシフトを実行せずに、シフト可能な入力をシフトされた出力として提供するように構成される。
【0172】
[0231]図７３は、例示的な実装に従って、算術シフトアーキテクチャを含んでいるＡＩＰＥの例を示している。図７３のＡＩＰＥは、算術シフタ７３０１および加算器７３０２を利用して、畳み込み、緻密層、ＲｅＬＵ、パラメトリックＲｅＬＵ、バッチ正規化、最大プーリング、加算、および／または乗算などの、ただしこれらに限定されない、ニューラルネットワーク動作を処理する。算術シフタ７３０１は、データ７３０３、およびパラメータを対数量子化することから導出されたシフト命令７３０４を入力として受信する。データ７３０３は、２の補数に基づく３２ビットのデータを含んでよく、一方、シフト命令７３０４は、７ビットのデータを含んでよい。算術シフタ７３０１は、３２ビットの算術シフタを含んでよい。算術シフタ７３０１は、シフト命令７３０４に基づいてデータ７３０３をシフトする。算術シフタ７３０１の出力は、出力を２の補数データにする回路を通り、その後、バイアス７３０５に加算される。バイアス７３０５は、３２ビットのバイアスを含んでよい。加算器７３０２は、マルチプレクサ（ｍｕｘ）Ｍ３の出力、およびＸＯＲ７３１１の出力、ならびにシフト命令７３０４の符号ビット７３０６からの１つのキャリーイン入力（Ｃｉ）という３つの入力を受信する。加算器は、２つの入力およびキャリーイン入力を一緒に加算して、ｍｕｘ Ｍ４に入る出力ａｏｕｔを形成する。ｍｕｘ Ｍ４の出力が、フリップフロップ７３０７によってラッチされる。次に、フリップフロップ７３０７の出力が、別のニューラルネットワーク動作のためにｍｕｘ Ｍ１にフィードバックされることができ、フリップフロップ７３０７からのｆｆｏｕｔの符号ビットが、ｍｕｘ Ｍ２を制御してシフト命令７３０４または定数１から選択するために、ＯＲ回路７３１２に使用されることができる。
【0173】
[0232]図７４は、例示的な実装に従って、シフタおよび加算器を使用するＡＩＰＥの動作の例を示している。ＡＩＰＥは、シフト演算を使用して乗算を置き換える。例えば、データ７４０１が１２の値を有し、対数量子化されたパラメータから導出されたシフト命令７４０２が＋２の値を有する場合、このデータおよびシフト命令の乗算は１２ｘ（＋２）であり、この乗算は１２ｘ（＋２＋１）と記述されてよく、（＋２＋１）が対数量子化されたパラメータである。このパラメータの指数の符号が正（＋）であり、これはシフト方向が左であることを意味し、指数の大きさが１であり、これはシフト量が１であることを意味する。そのため、データ１２は、左に１だけシフトされる。データ１２を左に１だけシフトすると、図７４の７４０３に示されているように、２４が得られる。別の例では、データ７４０１が１２の値を有し、シフト命令７４０２が＋０．５の値を有する。このデータおよびシフト命令の乗算は１２ｘ（＋０．５）であり、この乗算は１２ｘ（＋２－１）と記述されてよく、（＋２－１）が対数量子化されたパラメータである。このパラメータの指数の符号が負（－）であり、これはシフト方向が右であることを意味し、指数の大きさが１であり、これはシフト量が１であることを意味する。そのため、データ１２は、右に１だけシフトされる。データ１２を右に１だけシフトすると、図７４の７４０４に示されているように、６が得られる。別の例では、データ７４０１が１２の値を有し、シフト命令７４０２が－２の値を有し、このデータおよびシフト命令の乗算は１２ｘ（－２）であり、この乗算は１２ｘ（－２＋１）と記述されてよく、（－２＋１）が対数量子化されたパラメータである。このパラメータの指数の符号が正（＋）であり、これはシフト方向が左であることを意味し、指数の大きさが１であり、これはシフト量が１であることを意味する。そのため、データ１２は、左に１だけシフトされる。しかし、このパラメータの基数が負の値を有するため、シフトされた値には２の補数の手順が発生し、図７４の７４０５に示されているように、－２４が得られる。別の例では、データ７４０１が１２の値を有し、シフト命令７４０２が－０．５の値を有する。このデータおよびシフト命令の乗算は１２ｘ（－０．５）であり、この乗算は１２ｘ（－０．５－１）と記述されてよく、（－０．５－１）が対数量子化されたパラメータである。このパラメータの指数の符号が負（－）であり、これはシフト方向が右であることを意味し、指数の大きさが１であり、これはシフト量が１であることを意味する。そのため、データ１２は、右に１だけシフトされる。しかし、このパラメータの基数が負の値を有するため、シフトされた値には２の補数の手順が発生し、図７４の７４０６に示されているように、－６が得られる。
【0174】
[0233]図７５は、例示的な実装に従って、シフタおよび加算器を使用するＡＩＰＥの動作の例を示している。ＡＩＰＥは、シフト演算を使用して乗算を置き換える。例えば、データ７５０１が－１２の値を有し、対数量子化されたパラメータから導出されたシフト命令７５０２が＋２の値を有する場合、このデータおよびシフト命令の乗算は－１２ｘ（＋２）であり、この乗算は－１２ｘ（＋２＋１）と記述されてよく、（＋２＋１）が対数量子化されたパラメータである。このパラメータの指数の符号が正（＋）であり、これはシフト方向が左であることを意味し、指数の大きさが１であり、これはシフト量が１であることを意味する。そのため、データ－１２は、左に１だけシフトされる。データ－１２を左に１だけシフトすると、図７５の７５０３に示されているように、－２４が得られる。別の例では、データ７５０１が－１２の値を有し、シフト命令７５０２が＋０．５の値を有する。このデータおよびシフト命令の乗算は－１２ｘ（＋０．５）であり、この乗算は－１２ｘ（＋２－１）と記述されてよく、（＋２－１）が対数量子化されたパラメータである。このパラメータの指数の符号が負（－）であり、これはシフト方向が右であることを意味し、指数の大きさが１であり、これはシフト量が１であることを意味する。そのため、データ－１２は、右に１だけシフトされる。データ－１２を右に１だけシフトすると、図７５の７５０４に示されているように、－６が得られる。別の例では、データ７５０１が－１２の値を有し、シフト命令７５０２が－２の値を有し、このデータおよびシフト命令の乗算は－１２ｘ（－２）であり、この乗算は－１２ｘ（－２＋１）と記述されてよく、（－２＋１）が対数量子化されたパラメータである。このパラメータの指数の符号が正（＋）であり、これはシフト方向が左であることを意味し、指数の大きさが１であり、これはシフト量が１であることを意味する。そのため、データ－１２は、左に１だけシフトされる。しかし、このパラメータの基数が負の値を有するため、シフトされた値には２の補数の手順が発生し、図７５の７５０５に示されているように、＋２４が得られる。別の例では、データ７５０１が－１２の値を有し、シフト命令７５０２が－０．５の値を有する。このデータおよびシフト命令の乗算は－１２ｘ（－０．５）であり、この乗算は－１２ｘ（－０．５－１）と記述されてよく、（－０．５－１）が対数量子化されたパラメータである。このパラメータの指数の符号が負（－）であり、これはシフト方向が右であることを意味し、指数の大きさが１であり、これはシフト量が１であることを意味する。そのため、データ－１２は、右に１だけシフトされる。しかし、このパラメータの基数が負の値を有するため、シフトされた値には２の補数の手順が発生し、図７５の７５０６に示されているように、＋６が得られる。
【0175】
[0234]図７６、図７７、および図７８は、例示的な実装に従って、畳み込み演算を実行するＡＩＰＥの例を示している。具体的には、図７６は、畳み込み演算を実行するように構成されたＡＩＰＥアーキテクチャの例を示しており、図７７は、畳み込み演算の初期サイクルの例示的なフローを示しており、図７８は、畳み込み演算のその後のサイクルの例示的なフローを示している。ＡＩＰＥは、算術シフタを使用して畳み込み演算を実行してよい。
【0176】
[0235]７７０１で、畳み込み演算の初期サイクルの間に、フローが、データ７６０１、および対応するパラメータを対数量子化することから導出されたシフト命令７６０２を読み込む。データ７６０１は、例として、複数のデータ値（Ｘ１，Ｘ２，．．．Ｘ９）を含んでよい。シフト命令ＳＨ７６０２は、各パラメータ値に対応するシフト命令（ＳＨ１，ＳＨ２，．．．ＳＨ９）を形成するように、パラメータ値（Ｋ１，Ｋ２，．．．Ｋ９）から導出されてよい。図７６の例では、データ７６０１およびシフト命令７６０２が９の値を有しているが、本開示は本明細書で開示された例に限定されるよう意図されていない。データ７６０１およびシフト命令７６０２は、１つまたは複数の値を有してよい。畳み込み演算の初期サイクルでは、フローが、Ｘ１をデータ７６０１に読み込み、ＳＨ１をシフト命令７６０２に読み込む。
【0177】
[0236]７７０２で、フローが、データｍｕｘ Ｍ１の制御ビットおよびパラメータｍｕｘ Ｍ２の制御ビットを設定する。データ７６０１の制御ビット７６０３は、０に設定されてよい。パラメータの制御ビット７６０４は、１に設定されてよい。
【0178】
[0237]７７０３で、フローが、シフト命令によってデータをシフトする。データ７６０１、および対数量子化されたパラメータから導出されたシフト命令７６０２が算術シフタ７６０５に供給され、算術シフタ７６０５が、シフト命令７６０２に基づくシフト量だけデータ７６０１をシフトする。次に、算術シフタ７６０５の出力が、２の補数データに変換される。算術シフタ７６０５の出力が、加算器７６０８に供給される。この時点で、算術シフタ７６０５の出力は、畳み込みプロセスの最初のサイクルの値（Ｘ１＊Ｋ１）を含んでいる。しかし、畳み込みプロセスの最初のサイクルの値は、乗算演算を使用することによってではなく、算術シフタ７６０５を使用して取得される。畳み込みプロセスは、各データおよびパラメータ（Ｘ１＊Ｋ１＋Ｘ２＊Ｋ２＋．．．＋Ｘ９＊Ｋ９）の積の合計である。
【0179】
[0238]７７０４で、フローが、バイアス値を有するバイアスを読み込み、バイアスｍｕｘ Ｍ２の制御ビットを設定する。バイアス値を有するバイアス７６０６が読み込まれ、バイアス制御ビット７６０７が１に設定される。バイアス値を有する読み込まれたバイアス７６０６が、加算器７６０８に供給される。
【0180】
[0239]７７０５で、フローが、加算器によって、シフトされたデータおよびバイアスを処理する。加算器７６０８によって、算術シフタ７６０５の出力またはシフトされたデータがバイアス７６０６に加算される。畳み込みプロセスの最初のサイクルでは、バイアスが加算される。
【0181】
[0240]７７０６で、フローが、加算器の出力を捕捉する。加算器７６０８の出力が、フリップフロップ７６１０に送信されて捕捉される。
【0182】
[0241]７８０１で、畳み込み演算のその後のサイクルの間に、フローが、データ、およびパラメータを対数量子化することから導出されたシフト命令を読み込む。例えば、初期サイクルの後に、フローが、２番目のサイクルの間に、Ｘ２を含むデータ７６０１およびＳＨ２を含むシフト命令７６０２を読み込む。その後のサイクルでは、その後のサイクルの間に、前のサイクルの出力がバイアスｍｕｘ Ｍ３にフィードバックされる。例えば、２番目のサイクルでは、最初のサイクルの加算器の捕捉された出力が、加算器７６０８への入力のために、フリップフロップ７６１０によってバイアスｍｕｘ Ｍ３に送信される。
【0183】
[0242]７８０２で、フローが、データｍｕｘの制御ビットおよびパラメータｍｕｘの制御ビットを設定する。データ７６０１の制御ビット７６０３は、０に設定されてよい。パラメータの制御ビット７６０４は、１に設定されてもよい。
【0184】
[0243]７８０３で、フローが、シフト命令によってデータをシフトする。データ７６０１、およびその後のサイクルの対数量子化されたパラメータから導出されたシフト命令７６０２が算術シフタ７６０５に供給され、算術シフタ７６０５が、シフト命令７６０２に基づくシフト量だけデータ７６０１をシフトする。次に、算術シフタ７６０５の出力が、２の補数に変換される。算術シフタ７６０５の出力が、加算器７６０８に供給される。この時点で、算術シフタ７６０５の出力は、畳み込みプロセスの２番目のサイクルの値（Ｘ２＊Ｋ２）を含んでいる。しかし、畳み込みプロセスの２番目のサイクルおよびその後のサイクルの値は、乗算演算を使用することによってではなく、算術シフタ７６０５を使用して取得される。
【0185】
[0244]７８０４で、フローが、バイアスｍｕｘの制御ビットを設定する。２番目のサイクルでは（およびその後のサイクルでは）、バイアスｍｕｘ Ｍ３がフィードバックされた前の演算の出力を選択するように、バイアス制御ビット７６０７が０に設定される。
【0186】
[0245]７８０５で、フローが、加算器によって、シフトされたデータおよびバイアスｍｕｘの出力を処理する。加算器７６０８によって、算術シフタ７６０５の出力またはシフトされたデータがバイアスｍｕｘの出力に加算される。しかし、畳み込みプロセスの２番目およびその後のサイクルでは、０に設定されているバイアス制御ビット７６０９が、フリップフロップ７６１０からのフィードバック（前のサイクルの加算器の出力）がマルチプレクサＭ４を通過することを許可する。そのため、２番目のサイクルのこの時点で、畳み込みプロセスの最初のサイクルおよび２番目のサイクルのデータおよびシフト命令の積の合計値（ｂ＋Ｘ１＊ＳＨ１＋Ｘ２＊ＳＨ２）を含むように、最初のサイクルの加算器の出力が、２番目のサイクルの算術シフタ７６０５の出力に加算される。
【0187】
[0246]７８０６で、フローが、加算器の出力を捕捉する。加算器７６０８の出力が、フリップフロップ７６１０に送信されて捕捉される。
【0188】
[0247]７８０７で、フローが、データおよびシフト命令のすべてが処理されるまで、各データおよびシフト命令について、７８０１～７８０６のプロセスを続行する。
【0189】
[0248]図７９および図８０は、例示的な実装に従って、バッチ正規化動作を実行するＡＩＰＥの例を示している。具体的には、図７９が、バッチ正規化動作を実行するように構成されたＡＩＰＥアーキテクチャの例を示しており、図８０が、バッチ正規化動作を実行するＡＩＰＥの例示的なフローを示している。ＡＩＰＥは、算術シフタを使用してバッチ正規化動作を実行してよい。図７９の例では、データ＝Ｘ、パラメータ＝γ、βであり、バッチ正規化が次式に対応してよい。
【0190】
[0249]
【数10】
【0191】
[0250]
【数11】
【0192】
[0251]
ここで、
および
である。
【数12】
【数13】
【数14】
【0193】
[0252]８００１で、フローが、データおよび対数量子化されたパラメータを読み込む。データ７９０１、および対数量子化されたパラメータから導出されたシフト命令７９０２が読み込まれ、一方、入力データ７９０１と共に、前のニューラルネットワーク動作の出力も使用可能であり、多重化される。フローは、バイアスを読み込んでもよい。図７９の例では、
が対数量子化され、シフト命令７９０２のＳＨに読み込まれてよく、
がバイアス７９０４のＤ３に読み込まれてよい。データおよび対数量子化されたパラメータが、算術加算器７９０７に供給される。
【数15】
【数16】
【0194】
[0253]８００２で、フローが、データｍｕｘの制御ビットおよびパラメータｍｕｘの制御ビットを設定する。データｍｕｘ７９０１の制御ビット７９０５は、読み込まれたデータ７９０１が使用される場合、０に設定されてよく、前のニューラルネット動作の出力が使用される場合、１に設定されてよい。パラメータの制御ビット７９０６は、１に設定されてもよい。
【0195】
[0254]８００３で、フローが、シフト命令によってデータをシフトする。フリップフロップ７９０３からのフィードバックを伴う多重化されたデータ７９０１および対数量子化されたパラメータから導出されたシフト命令７９０２が、算術シフタ７９０７に供給される。算術シフタ７９０７は、対数量子化されたパラメータに基づくシフト命令によってデータをシフトする。次に、算術シフタ７９０７の出力が、２の補数に変換される。算術シフタ７９０７の出力が、加算器７９０８に供給される。
【0196】
[0255]８００４で、フローが、バイアスｍｕｘの制御ビットを設定する。バイアス制御ビット７９０９は、１に設定されてよい。バイアス符号ビット７９０９を１に設定することによって、Ｄ３で読み込まれたバイアス値が加算器７９０８に提供されることを許可する。
【0197】
[0256]８００５で、フローが、加算器によって、シフトされたデータおよびバイアスを処理する。バッチ正規化動作を完了するために、加算器７９０８によって、算術シフタ７９０７の出力またはシフトされたデータがバイアス７９０４に加算される。加算器７９０８の出力が、フリップフロップ７９０３に送信される。
【0198】
[0257]８００６で、フローが出力制御ビットを設定する。出力制御ビット７９１０は、１に設定されてよい。１に設定されている出力制御ビット７９１０は、フリップフロップに送信される加算器７９０８の出力が捕捉されることを許可する。
【0199】
[0258]８００７で、フローが、加算器の出力を捕捉する。加算器７９０８の出力は、１に設定されている出力制御ビット７９１０に一部において基づいて、フリップフロップ７９０３によって捕捉される。
【0200】
[0259]図８１および図８２は、例示的な実装に従って、パラメトリックＲｅＬＵ動作を実行するＡＩＰＥの例を示している。具体的には、図８１が、パラメトリックＲｅＬＵ動作を実行するように構成されたＡＩＰＥアーキテクチャの例を示しており、図８２が、パラメトリックＲｅＬＵ動作を実行するＡＩＰＥの例示的なフローを示している。ＡＩＰＥは、算術シフタを使用してパラメトリックＲｅＬＵ動作を実行してよい。図８１の例では、データ＝Ｘ、対数量子化されたパラメータ＝ａである。パラメトリックＲｅＬＵの関数は、Ｘ≧０の場合、Ｙ＝Ｘであり、またはＸ＜０の場合、Ｙ＝ａ＊Ｘである。
【0201】
[0260]８２０１で、フローが、データおよび対数量子化されたパラメータを読み込み、前のニューラルネットワーク動作からのフィードバックも、Ｄ２として使用可能であり、データｍｕｘ Ｍ１に入力される。データ８１０１、および対数量子化されたパラメータから導出されたシフト命令８１０２が読み込まれ、一方、データ８１０１と共に、フリップフロップ８１０３内の前のニューラルネットワーク動作の出力がＡＩＰＥにフィードバックされ、多重化される。フローは、バイアスを読み込んでもよい。この例の場合、Ｄ３で、定数０を有するバイアス８１０４が読み込まれてよい。
【0202】
[0261]８２０２で、フローが、データｍｕｘの制御ビットおよびパラメータｍｕｘの制御ビットを設定する。データ８１０１の制御ビット８１０５は、１に設定されてよい。シフト命令８１０２の制御ビット８１０６は、１に設定されてよい。１に設定されている制御ビット８１０５は、フリップフロップ８１０３からのフィードバックがシフタへの入力として選択されることを許可する。１に設定されている制御ビット８１０６は、シフト命令８１０２が算術シフタ８１０７への入力として選択されることを許可する。
【0203】
[0262]８２０４で、フローが、シフト命令によってデータをシフトする。算術シフタ８１０７は、対数量子化されたパラメータに基づくシフト命令８１０２によってデータ８１０１をシフトする。次に、算術シフタ８１０７の出力が、２の補数に変換される。算術シフタ８１０７の出力が、加算器８１０８に供給される。
【0204】
[0263]８２０５で、フローがバイアス制御ビットを設定する。バイアス制御ビット８１０９は、１に設定されてよい。バイアス制御ビット８１０９を１に設定することによって、Ｄ３で読み込まれたバイアス値が加算器８１０８に提供されることを許可する。
【0205】
[0264]８２０６で、フローが、加算器によって、シフトされたデータおよびバイアスを処理する。パラメトリックＲｅＬＵ動作を完了するために、加算器８１０８によって、算術シフタ８１０７の出力またはシフトされたデータがバイアス８１０４に加算される。加算器８１０８の出力が、フリップフロップ８１０３に送信される。
【0206】
[0265]８２０７で、フローが加算器ｍｕｘ制御ビットを設定する。加算器ｍｕｘ制御ビット８１１０は、１に設定されてよい。加算器ｍｕｘ制御ビット８１１０を１に設定することによって、加算器８１０８の出力が、加算器８１０８に関連付けられたマルチプレクサを通過し、フリップフロップ８１０３に供給されることを許可する。
【0207】
[0266]８２０８で、フローが、加算器の出力を捕捉する。フリップフロップ８１０３が加算器８１０８の出力を受信して捕捉することを許可されるように、加算器ｍｕｘ制御ビットが１に設定されているため、加算器８１０８の出力がマルチプレクサを通過する。フリップフロップ８１０３の符号ビット８１１１は、制御ビット８１０６との比較のために、ＯＲ回路に供給されてよい。
【0208】
[0267]図８３および図８４は、例示的な実装に従って、加算演算を実行するＡＩＰＥの例を示している。具体的には、図８３が、加算演算を実行するように構成されたＡＩＰＥアーキテクチャの例を示しており、図８４が、加算演算を実行するＡＩＰＥの例示的なフローを示している。図８３の例では、データが、Ｘ１～Ｘ９を含んでいる第１の入力およびＹ１～Ｙ９を含んでいる第２の入力を含んでよい。加算演算は、加算演算＝Ｘ１＋Ｙ１，Ｘ２＋Ｙ２，．．．Ｘ９＋Ｙ９となるように、第１および第２の入力を加算してよい。
【0209】
[0268]８４０１で、フローがデータおよびバイアスを読み込む。Ｄ１で、Ｘ１を含むデータ８３０１が読み込まれてよく、一方、Ｄ３で、Ｙ１を含むバイアス８３０６が読み込まれてよい。
【0210】
[0269]８４０２で、フローが、データｍｕｘおよびパラメータｍｕｘの制御ビットを設定する。データ８３０１の制御ビット８３０３は、０に設定されてよい。パラメータ８３０２の制御ビット８３０４は、０に設定されてもよい。０に設定されている制御ビット８３０３は、データ８３０１（Ｄ１）が算術シフタ８３０５に供給されることを許可する。０に設定されている制御ビット８３０４は、定数０が算術シフタ８３０５に供給されることを許可する。
【0211】
[0270]８４０３で、フローが、シフト命令によってデータをシフトする。データ８３０１およびパラメータ８３０２は、算術シフタ８３０５に供給される。算術シフタ８３０５は、定数０であるパラメータ８３０２に基づくシフト量だけデータをシフトする。したがって、シフタが、シフトしないのと同じである量０だけデータをシフトしたため、シフタの出力は入力データ８３０１と同じである。算術シフタ８３０５の出力が、加算器８３０８に供給される。
【0212】
[0271]８４０４で、フローがバイアスｍｕｘ制御ビットを設定する。バイアスｍｕｘ制御ビット８３０７は、１に設定されてよい。１に設定されているバイアスｍｕｘ制御ビット８３０７は、Ｄ３でのバイアス８３０６が加算器８３０８に提供されることを許可してよい。
【0213】
[0272]８４０５で、フローが、加算器によって、シフトされたデータおよびバイアスを処理する。加算演算を実行するために、加算器８３０８によって、算術シフタ８３０５の出力またはシフトされたデータがバイアス８３０６に加算される。加算器８３０８の出力が、フリップフロップ８３１０に送信される。
【0214】
[0273]８４０６で、フローが加算器ｍｕｘ制御ビットを設定する。加算器ｍｕｘ制御ビット８３０９は、１に設定されてよい。１に設定されている加算器ｍｕｘ制御ビット８３０９は、加算器８３０８の出力がフリップフロップ８３１０に提供されることを許可する。
【0215】
[0274]８４０７で、フローが、加算器の出力を捕捉する。加算器８３０８の出力は、１に設定されている加算器ｍｕｘ制御ビット８３０９に一部において起因して、フリップフロップ８３１０に提供される。８４０８で、フリップフロップ８３１０が加算器８３０８の出力を捕捉する。
【0216】
[0275]８４０９で、フローが、データのすべてが処理されるまで、残りのデータについて、８４０１～８４０８のプロセスを続行する。
【0217】
[0276]図８５は、例示的な実装に従って、ニューラルネットワークアレイの例を示している。図８５の例では、ニューラルネットワークアレイが複数のＡＩ処理要素（ＡＩＰＥ）を含んでおり、本明細書で開示されたさまざまな動作を実行するために、データおよび対数量子化されたパラメータ（カーネル）がＡＩＰＥに入力される。ＡＩＰＥアーキテクチャは、シフタおよび論理ゲートを利用するように構成される。本明細書で開示された例は、７ビットの対数量子化されたパラメータと共に３２ビットのデータを含み、データは、１ビット～Ｎビットであることができ、対数量子化されたパラメータは、１ビット～Ｍビットのパラメータであることができ、ＮおよびＭは任意の正の整数である。一部の例は１つの３２ビットのシフタを含むが、シフタの数は、２つ以上であってよく、１つのシフタからＯ個のシフタまで変化してよく、Ｏは正の整数である。場合によっては、アーキテクチャは、データの１２８ビット、対数量子化されたパラメータの９ビット、および直列に（次々に）接続された７つのシフタを含む。また、本明細書に示された論理ゲートは、特定のアーキテクチャに応じて変化することができる論理ゲートの標準的なセットである。
【0218】
[0277]場合によっては、ＡＩＰＥアーキテクチャは、シフタ、加算器、および／または論理ゲートを利用してよい。本明細書で開示された例は、７ビットの対数量子化されたパラメータと共に３２ビットのデータを含み、データは、１ビット～Ｎビットであることができ、対数量子化されたパラメータは、１ビット～Ｍビットのパラメータであることができ、ＮおよびＭは任意の正の整数である。一部の例は１つの３２ビットのシフタおよび１つの３２ビットの２入力加算器を含むが、シフタおよび加算器の数は、２つ以上であってよく、１つのシフタからＯ個のシフタまで、および１つの加算器からＰ個の加算器まで変化してよく、ＯおよびＰは正の整数である。場合によっては、アーキテクチャは、データの１２８ビット、パラメータの９ビット、ならびに直列に（次々に）接続された２つのシフタおよび直列に（次々に）接続された２つの加算器を含む。
【0219】
[0278]図８６Ａ、図８６Ｂ、図８６Ｃ、および図８６Ｄは、例示的な実装に従って、特定の各ニューラルネットワーク動作に専用のＡＩＰＥ構造の例を示している。具体的には、図８６Ａは、畳み込み演算を実行するように構成されたＡＩＰＥ構造の例を示しており、図８６Ｂは、バッチ正規化動作を実行するように構成されたＡＩＰＥ構造の例を示しており、図８６Ｃは、プーリング演算を実行するように構成されたＡＩＰＥ構造の例を示しており、図８６Ｄは、パラメトリックＲｅＬＵ動作を実行するように構成されたＡＩＰＥ構造の例を示している。ＡＩＰＥ構造は、４つの異なる回路を備え、各回路は、畳み込み演算、バッチ正規化動作、プーリング演算、およびパラメトリックＲｅＬＵ動作を実行するための専用である。場合によっては、ＡＩＰＥ構造は、４つより多いか、または少ない異なる回路を備えてよく、本明細書で開示された例に限定されるよう意図されていない。例えば、ＡＩＰＥ構造は複数の回路を備えてよく、各回路は、各ニューラルネットワーク動作を実行するための専用である。
【0220】
[0279]図８６Ａの回路は、畳み込み演算を実行するためにデータを入力させ、このデータをレジスタに登録する。この回路は、カーネルも受信し、カーネルは、対数量子化されたパラメータから導出されたシフト命令であり、やはり登録される。次に、シフタによって、シフト命令に基づいて最初のシフト演算が実行され、シフタからの出力が登録される。データのシフト後に、出力が、レジスタの出力のフィードバックに加算され、レジスタは、前の演算のシフタからの出力を受信する。初期サイクルでは、フィードバックがゼロを含むが、その後のサイクルでは、前のサイクルの出力が、次のサイクルの出力に加算される。次に、この結合された出力が多重化され、シフトされた出力としてレジスタに提供される。
【0221】
[0280]図８６Ｂの回路は、バッチ正規化動作を実行するためにデータを入力させ、このデータをレジスタに登録する。この回路は、カーネルも受信し、カーネルは、対数量子化されたパラメータから導出されたシフト命令であり、やはり登録される。次に、シフタによって、シフト命令に基づいて最初のシフト演算が実行され、シフタからの出力が登録される。データのシフト後に、バイアスを受信する加算器によって、データが加算される。加算された、シフトされたデータおよびバイアスの出力が、出力データとしてレジスタに提供される。
【0222】
[0281]図８６Ｃの回路は、プーリング演算を実行するためにデータを入力させ、このデータをレジスタに登録する。データが比較器に提供され、比較器が、入力データおよび出力データを比較する。比較の結果が、出力データが入力データより大きいということを示す場合、出力データが選択される。比較の結果が、入力データが出力データより大きいということを示す場合、入力データが選択される。入力データがマルチプレクサに提供され、マルチプレクサは、比較の結果を示す比較器からの信号ビットを受信する。マルチプレクサは、第２のレジスタにデータを供給し、第２のレジスタの出力がマルチプレクサにフィードバックされ、比較器からの信号ビットが、マルチプレクサからのどのデータが第２のレジスタに供給されるかを示すようにする。第２のレジスタの出力が比較器にフィードバックされ、比較器が比較を実行できるようにする。第２のレジスタの出力は、データ出力である。
【0223】
[0282]図８６Ｄの回路は、パラメトリックＲｅＬＵ動作を実行するためにデータを入力させ、このデータをレジスタに登録する。データが、シフタ、比較器、およびマルチプレクサに提供される。この回路は、シフタに提供される対数量子化されたＲｅＬＵパラメータから導出されたシフト命令も受信する。シフタによって、シフト命令に基づいてシフト演算が実行され、シフタからの出力がマルチプレクサに提供される。比較器が、元の入力データおよびシフタの出力（シフトされたデータ）を比較する。比較の結果が、シフトされたデータが元の入力データより大きいということを示す場合、シフトされたデータが選択される。比較の結果が、元の入力データがシフトされたデータより大きいということを示す場合、元の入力データが選択される。比較器は、元の入力データまたはシフトされたデータのうちのどのデータを選択するべきかの命令を、マルチプレクサに提供する。次に、マルチプレクサは、比較器からの命令に基づいて、元の入力データまたはシフトされたデータをレジスタに提供する。レジスタの出力は、ＲｅＬＵ動作の出力である。
【0224】
[0283]図８７は、例示的な実装に従って、ＡＩＰＥ構造を使用するアレイの例を示している。アレイ構造は、複数のＡＩＰＥ構造を含んでよく、アレイ構造は、ニューラルネットワーク動作を実行するように構成される。アレイ構造は、畳み込み演算を実行するＡＩＰＥ構造のアレイを含む。畳み込みを実行するＡＩＰＥ構造のアレイは、一例として、１６ｘ１６ｘ１６のＡＩＰＥを含んでよい。アレイ構造は、バッチ正規化動作を実行するＡＩＰＥ構造のアレイを含む。バッチ正規化を実行するＡＩＰＥ構造のアレイは、一例として、１６ｘ１ｘ１６のＡＩＰＥを含んでよい。アレイ構造は、パラメトリックＲｅＬＵ動作を実行するＡＩＰＥ構造のアレイを含む。パラメトリックＲｅＬＵ動作を実行するＡＩＰＥ構造のアレイは、一例として、１６ｘ１ｘ１６のＡＩＰＥを含んでよい。アレイ構造は、プーリング演算を実行するＡＩＰＥ構造のアレイを含む。プーリング演算を実行するＡＩＰＥ構造のアレイは、一例として、１６ｘ１ｘ１６のＡＩＰＥを含んでよい。アレイの各出力はマルチプレクサに提供され、マルチプレクサの出力が出力バッファに提供される。アレイは、入力バッファから入力を受信し、対数量子化されたパラメータから導出されたシフト命令をカーネルバッファから受信する。入力バッファおよびカーネルバッファは、ＡＸＩ１入力２出力デマルチプレクサから入力を受信してよい。デマルチプレクサは、ＡＸＩ読み取り入力を受信する。
【0225】
[0284]したがって、図８６Ａ～図８７に示されているように、本明細書に記載された例示的な実装の変形は、特定のニューラルネットワーク動作を対象にするための専用回路を提供するように、変更されることができる。システムは、図８６Ａに示されているようなシフタ回路によって畳み込みを容易にするための第１の回路、図８６Ｂに示されているようなシフタ回路によって畳み込みを容易にするための第２の回路、図８６Ｃに示されているような比較器によって最大プーリングを容易にするための第３の回路、および図８６Ｄに示されているようなパラメトリックＲｅＬＵを容易にするための第４の回路などの、専用回路から成ることができる。そのような回路は、望ましい実装を容易にするために、本明細書に記載されているように、任意の組合せで、または単独の機能として使用されることができ、ＡＩＰＥ回路と共に使用されることもできる。
【0226】
[0285]図８８は、パラメータを生成するため、および／または対数量子化するため、ＡＩ／ＮＮネットワークをトレーニングするため、あるいはアルゴリズムの形態で本明細書に記載された例示的な実装を実行するための装置などの、一部の例示的な実装での使用に適した例示的なコンピュータデバイスを含む例示的なコンピューティング環境を示している。コンピューティング環境８８００内のコンピュータデバイス８８０５は、１つまたは複数の処理ユニット、コア、またはプロセッサ８８１０、メモリ８８１５（例えば、ＲＡＭ、ＲＯＭ、および／または同様のもの）、内部ストレージ８８２０（例えば、磁気、光、半導体ストレージ、および／または有機）、および／あるいはＩ／Ｏインターフェイス８８２５を含むことができ、これらのいずれかが、情報を伝達するために通信メカニズムまたはバス８８３０上で結合されるか、あるいはコンピュータデバイス８８０５に組み込まれることができる。また、Ｉ／Ｏインターフェイス８８２５は、望ましい実装に応じて、カメラから画像を受信するか、あるいはプロジェクタまたはディスプレイに画像を提供するように構成される。
【0227】
[0286]コンピュータデバイス８８０５は、入力／ユーザインターフェイス８８３５および出力デバイス／インターフェイス８８４０に通信可能に結合されることができる。入力／ユーザインターフェイス８８３５および出力デバイス／インターフェイス８８４０のうちのいずれか１つまたは両方は、有線インターフェイスまたは無線インターフェイスであることができ、取り外し可能であることができる。入力／ユーザインターフェイス８８３５は、入力を提供するために使用されることができる、物理的または仮想の、任意のデバイス、コンポーネント、センサ、またはインターフェイス（例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング／カーソル制御、マイクロホン、カメラ、点字、モーションセンサ、光学式リーダ、および／または同様のもの）を含んでよい。出力デバイス／インターフェイス８８４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでよい。一部の例示的な実装では、入力／ユーザインターフェイス８８３５および出力デバイス／インターフェイス８８４０は、コンピュータデバイス８８０５に組み込まれるか、または物理的に結合されることができる。他の例示的な実装では、他のコンピュータデバイスが、コンピュータデバイス８８０５の入力／ユーザインターフェイス８８３５および出力デバイス／インターフェイス８８４０として機能するか、またはそれらの機能を提供してよい。
【0228】
[0287]コンピュータデバイス８８０５の例としては、高移動性のデバイス（例えば、スマートフォン、車両およびその他の機械内のデバイス、人間および動物によって運ばれるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、および携帯用に設計されていないデバイス（例えば、デスクトップコンピュータ、その他のコンピュータ、インフォメーションセンター、１つまたは複数のプロセッサが組み込まれた、および／または結合されたテレビ、ラジオなど）が挙げられるが、これらに限定されない。
【0229】
[0288]コンピュータデバイス８８０５は、同じ構成または異なる構成の１つまたは複数のコンピュータデバイスを含む任意の数のネットワーク化されたコンポーネント、デバイス、およびシステムと通信するために、（例えば、Ｉ／Ｏインターフェイス８８２５を介して）外部ストレージ８８４５およびネットワーク８８５０に通信可能に結合されることができる。コンピュータデバイス８８０５または任意の接続されたコンピュータデバイスは、サーバ、クライアント、シンサーバ、一般的な機械、専用機械、または別のラベルとして機能するか、これらのサービスを提供するか、またはこれらと見なされることができる。
【0230】
[0289]Ｉ／Ｏインターフェイス８８２５は、少なくともコンピューティング環境８８００内の接続されたすべてのコンポーネント、デバイス、およびネットワークとの間で情報を伝達するために、任意の通信またはＩ／Ｏプロトコルまたは規格（例えば、イーサネット、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を使用する有線および／または無線インターフェイスを含むことができるが、これらに限定されない。ネットワーク８８５０は、任意のネットワークまたはネットワークの組合せ（例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、電話網、セルラーネットワーク、衛星ネットワークなど）であることができる。
【0231】
[0290]コンピュータデバイス８８０５は、一過性の媒体および非一過性の媒体を含む、コンピュータ使用可能媒体またはコンピュータ可読媒体を使用すること、および／またはこれらを使用して通信することができる。一過性の媒体は、送信媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一過性の媒体は、磁気媒体（例えば、ディスクおよびテープ）、光媒体（例えば、ＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、半導体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、半導体ストレージ）、およびその他の不揮発性ストレージまたはメモリを含む。
【0232】
[0291]コンピュータデバイス８８０５は、一部の例示的なコンピューティング環境内で技術、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用されることができる。コンピュータ実行可能命令は、一過性の媒体から取り出され、非一過性の媒体に格納され、非一過性の媒体から取り出されることができる。実行可能な命令は、任意のプログラミング、スクリプト記述、および機械語のうちの１つまたは複数（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔなど）から生じることができる。
【0233】
[0292]プロセッサ８８１０は、ネイティブ環境または仮想環境内で、任意のオペレーティングシステム（ＯＳ：ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）（図示されていない）の下で実行されることができる。論理ユニット８８６０と、アプリケーションプログラミングインターフェイス（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）ユニット８８６５と、入力ユニット８８７０と、出力ユニット８８７５と、異なるユニットが、互いに、ＯＳと、および他のアプリケーション（図示されていない）と通信するためのユニット間通信メカニズム８８９５とを含む、１つまたは複数のアプリケーションがデプロイされることができる。説明されたユニットおよび要素は、設計、機能、構成、または実装において変化することができ、提供された説明に限定されない。プロセッサ８８１０は、中央処理装置（ＣＰＵ）などのハードウェアプロセッサの形態であるか、またはハードウェアユニットとソフトウェアユニットの組合せであることができる。
【0234】
[0293]一部の例示的な実装では、ＡＰＩユニット８８６５によって情報または実行命令が受信された場合、それらの情報または実行命令が１つまたは複数の他のユニット（例えば、論理ユニット８８６０、入力ユニット８８７０、出力ユニット８８７５）に伝達されてよい。場合によっては、前述の一部の例示的な実装では、論理ユニット８８６０は、ユニット間の情報の流れを制御し、ＡＰＩユニット８８６５、入力ユニット８８７０、出力ユニット８８７５によって提供されるサービスを方向付けるように構成されてよい。例えば、論理ユニット８８６０単独で、またはＡＰＩユニット８８６５と共に、１つまたは複数のプロセスまたは実装のフローが制御されてよい。入力ユニット８８７０は、例示的な実装において説明された計算のための入力を取得するように構成されてよく、出力ユニット８８７５は、例示的な実装において説明された計算に基づいて出力を提供するように構成されてよい。
【0235】
[0294]望ましい実装に応じて、プロセッサ８８１０は、図８９に示されているように、ＡＩ／ニューラルネットワークモデルのデータ値またはパラメータを、システムのメモリに提供される対数量子化されたデータ値または対数量子化された値に変換するように構成されることができる。次に、対数量子化されたデータ値または対数量子化されたパラメータは、図８９のシステムのコントローラによって使用され、ニューラルネットワークまたはＡＩ動作を容易にするために、対応するパラメータまたはデータ値をシフトするためのシフト命令に変換されることができる。そのような例示的な実装では、プロセッサ８８１０は、図９Ａおよび９Ｂに示されているようなプロセスを実行して、機械学習アルゴリズムのトレーニングを実施し、結果として対数量子化されたパラメータを得るように構成されることができ、対数量子化されたパラメータは、コントローラによって使用するためにメモリに格納されることができる。他の例示的な実装では、プロセッサ８８１０は、方法またはプロセスを実行し、入力データを、ＡＩＰＥに提供するための対数量子化されたデータに変換するように構成されることもできる。
【0236】
[0295]図８９は、例示的な実装に従って、ＡＩＰＥ制御のための例示的なシステムを示している。例示的な実装では、コントローラ８９００は、本明細書に記載されているように、制御信号（例えば、図７２～図８５に示されたｓ１、ｓ２、ｓ３、ｓ４）を介して１つまたは複数のＡＩＰＥ８９０１を制御し、望ましいニューラルネットワーク動作を実行することができる。コントローラ８９００は、望ましい実装に従って、メモリコントローラ、中央処理装置などの、従来技術において知られているような任意の論理回路または任意の種類のハードウェアコントローラとして実装されることができるコントローラ論理を使用して構成される。例示的な実装では、コントローラ８９００は、対数量子化されたパラメータをメモリ８９０２から取り出し、それらのパラメータを、対数量子化されたパラメータから導出された符号ビット、シフト方向、およびシフト命令を含んでいるシフト命令に変換してよい。そのようなシフト命令および制御信号が、コントローラ８９００からＡＩＰＥ８９０１に提供されることができる。望ましい実装に応じて、入力データは、望ましい実装に従う任意の入力インターフェイス８９０３によってＡＩＰＥ８９０１に直接提供されることができ（例えば、２ｘの係数によってデータストリームを拡大するように構成された変換回路、入力処理回路、ＦＰＧＡ、ハードウェアプロセッサなどによって処理されるようなデータストリーム）、またはメモリ８９０２から取り出されたときに、コントローラ８９００によって提供されることもできる。ＡＩＰＥ８９０１の出力は、望ましい実装に従って、ニューラルネットワーク動作の出力を任意の望ましいデバイスまたはハードウェアに提示することができる、出力インターフェイス８９０４によって処理されることができる。出力インターフェイス８９０４は、望ましい実装に従って、任意のハードウェア（例えば、ＦＰＧＡ、ハードウェア、専用回路）として実装されることができる。さらに、コントローラ８９００、ＡＩＰＥ８９０１、メモリ８９０２、入力インターフェイス８９０３、および／または出力インターフェイス８９０４のいずれかまたはすべては、望ましい実装に従って、１つまたは複数のハードウェアプロセッサまたはＦＰＧＡとして実装されることができる。
【0237】
[0296]メモリ８９０２は、望ましい実装に従って、ダブルデータレートシンクロナスダイナミックランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＭＲＡＭ：ｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの、ただしこれらに限定されない、任意の形態の物理メモリであることができる。例示的な実装では、データが対数量子化されてメモリ８９０２に格納される場合、データは、メモリ８９０２から取り出されたときに、対数量子化されたニューラルネットワークパラメータを利用してシフト命令を導出する代わりに、ニューラルネットワークパラメータをシフトするためのシフト命令を導出するために使用されることができる。対数量子化されたデータからのシフト命令の導出は、対数量子化されたパラメータからの導出に類似する方法で実施されることができる。
【0238】
[0297]例示的な実装では、図８９に示されているようなシステムが存在することができ、このシステムでは、メモリ８９０２が、１つまたは複数のニューラルネットワーク層に関連付けられた１つまたは複数の対数量子化されたパラメータ値によって表されたトレーニング済みニューラルネットワークを格納するように構成されることができ、１つまたは複数のニューラルネットワーク層の各々が、実行される対応するニューラルネットワーク動作を表す。そのようなシステムは、シフト可能な入力データをシフトまたは加算するように構成された１つまたは複数のハードウェア要素（例えば、本明細書に記載されているようなＡＩＰＥ８９０１、ハードウェアプロセッサ、ＦＰＧＡなど）と、１つまたは複数のハードウェア要素を（例えば、制御信号ｓ１、ｓ２、ｓ３、ｓ４などを介して）制御して、メモリから読み取られた１つまたは複数のニューラルネットワーク層の各々について、対応する対数量子化されたパラメータ値から導出されたシフト命令に基づいてシフト可能な入力データを左または右にシフトして、シフトされたデータを形成するように構成された（例えば、コントローラ８９００、ハードウェアプロセッサ、論理回路などとして実装されるような）コントローラ論理とを含み、実行される対応するニューラルネットワーク動作に従って、形成されたシフト済みデータを（例えば、本明細書に記載されているように、加算器回路またはシフタ回路を介して）加算またはシフトすることができる。
【0239】
[0298]望ましい実装に応じて、システムは、入力データの大きさを変更してシフト可能な入力データを形成するように構成されたデータスケーラをさらに含むことができる。そのようなデータスケーラは、望ましい実装に従って、（例えば、専用回路の論理、ハードウェアプロセッサなどを介して）ハードウェアにおいて、またはソフトウェアにおいて実装されることができる。そのようなデータスケーラは、加算器回路またはシフタ回路を介して、シフトされたデータに加算するために、メモリ８９０２から読み取られた１つまたは複数のニューラルネットワーク層からのバイアスパラメータの大きさを変更するか、または（例えば、シフト可能な入力データを形成するために、ｘが整数である２ｘの係数によって）入力データの大きさを変更するように構成されることができる。
【0240】
[0299]本明細書に記載された例示的な実装において示されているように、ＡＩＰＥ８９０１またはそれと同等のハードウェア要素は、シフトを実行するように構成された１つまたは複数のシフタ回路（例えば、バレルシフタ回路、対数シフタ回路、算術シフタ回路など）を含むことができる。ＡＩＰＥ８９０１またはそれと同等のハードウェア要素は、本明細書に記載されているような加算を実行するように構成された１つまたは複数の加算器回路（例えば、算術加算器回路、整数加算器回路など）をさらに含むことができる。必要に応じて、加算演算は、（例えば、セグメント、正／負の累算器などを介して）本明細書に記載されているような加算を実行するように構成された１つまたは複数のシフト回路を含むことができる。
【0241】
[0300]コントローラ８９００は、ＡＩＰＥ８９０１または同等のハードウェア要素に提供されるシフト命令を生成するように構成されることができる。そのようなシフト命令は、ＡＩＰＥまたは同等のハードウェア要素に対して、シフト可能な入力データを左または右にシフトするように制御／指示するための、シフト方向およびシフト量を含むことができる。本明細書に記載されているように（例えば、図５９～図６２に示されているように）、シフト量は、対応する対数量子化された重みパラメータの指数の大きさから導出されることができ（例えば、２２は２の大きさを有し、それによって、シフト量を２にする）、シフト方向は、対応する対数量子化された重みパラメータの指数の符号から導出されることができる（例えば、２２は正符号を有し、それによって、左へのシフトを示す）。
【0242】
[0301]望ましい実装に応じて、ＡＩＰＥ８９０１または同等のハードウェア要素は、図６０または図６２に示されているように、対応する対数量子化された重みパラメータの符号ビットおよび入力データの符号ビットに基づいて、形成されたシフト済みデータの符号ビットを提供するように構成されることができる。シフト命令は、望ましい実装に従って、ＸＯＲ回路において使用するために、または２の補数の目的で、対応する対数量子化された重みパラメータの符号ビットを含むことができる。
【0243】
[0302]本明細書でさまざまな例示的な実装において説明されたように、図８８のコンピューティング環境および／または図８９のシステムは、（例えば、畳み込み、バッチ正規化などを容易にするために）入力データをニューラルネットワークの動作に関連付けられた対応する対数量子化されたパラメータと乗算することを含むことができるニューラルネットワーク動作を処理するために、方法またはコンピュータ命令を実行するように構成されることができる。乗算のためのそのような方法およびコンピュータ命令は、本明細書に記載されているように、入力データから導出された（例えば、係数によって大きさを変更された）シフト可能な入力を取り込むことと、対応する対数量子化されたパラメータから導出されたシフト命令に従って、シフト可能な入力を左方向または右方向にシフトして、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算を表す出力を生成することとを含むことができる。本明細書に記載されているように、対応する対数量子化されたパラメータに関連付けられたシフト命令は、シフト方向およびシフト量を含むことができ、シフト量が、対応する対数量子化されたパラメータの指数の大きさから導出され、シフト方向が、対応する対数量子化されたパラメータの指数の符号から導出され、シフト可能な入力をシフトすることが、シフト方向に従って、シフト量によって示された量だけ、シフト可能な入力を左方向または右方向にシフトすることを含む。下記は、図８８および図８９に示されたシステムに関して説明されるが、方法またはコンピュータ命令を容易にするための他の実装も可能であり、本開示はそれらに限定されない。例えば、方法は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって、集積回路（例えば、ＡＳＩＣ）によって、または１つまたは複数のハードウェアプロセッサによって実行されることができる。
【0244】
[0303]本明細書に記載されているように、図８８のコンピュータ環境および／または図８９で説明されたようなシステムには、ニューラルネットワークの動作を処理するための方法またはコンピュータ命令が存在することができ、この方法またはコンピュータ命令は、ニューラルネットワークの動作の入力データから導出されたシフト可能な入力データを取り込むことと、ニューラルネットワークの動作の入力データの対応する対数量子化された重みパラメータに関連付けられた入力を取り込むことであって、入力がシフト方向およびシフト量を含み、シフト量が、対応する対数量子化された重みパラメータの指数の大きさから導出され、シフト方向が、対応する対数量子化された重みパラメータの指数の符号から導出される、取り込むことと、対応する対数量子化された重みパラメータに関連付けられた入力に従ってシフト可能な入力データをシフトし、ニューラルネットワークの動作の処理の出力を生成することとを含むことができる。
【0245】
[0304]本明細書に記載された例示的な実装において示されたように、方法およびコンピュータ命令は、（例えば、ＸＯＲ回路あるいはソフトウェアまたは回路での同等の機能を介して）対応する対数量子化されたパラメータの符号ビットおよび入力データの符号ビットに基づいて、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算の出力の符号ビットを決定することを含むことができる。
【0246】
[0305]本明細書に記載された例示的な実装において示されたように、乗算のための方法およびコンピュータ命令は、対応する対数量子化されたパラメータの符号ビットが負である場合に、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算の出力を１の補数データに変換することと、１の補数データをインクリメントして、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算の出力として、２の補数データを形成することとを含むことができる。
【0247】
[0306]本明細書に記載された例示的な実装において示されたように、方法およびコンピュータ命令は、ニューラルネットワーク動作に関連付けられた値を、対応する対数量子化されたパラメータとの入力データの乗算の生成された出力に加算して、ニューラルネットワーク動作の処理の出力を形成することを含むことができる。そのような加算は、望ましい実装に応じて、加算器回路（例えば、整数加算器回路または浮動小数点加算器回路）によって、または１つまたは複数のシフタ回路（例えば、バレルシフタ回路、対数シフタ回路など）によって実施されることができる。そのような１つまたは複数のシフタ回路は、望ましい実装に応じて、シフトを管理する１つまたは複数のシフタ回路と同じであるか、またはそれらのシフタ回路から分離することができる。ニューラルネットワーク動作に関連付けられた値は、バイアスパラメータであることができるが、これに限定されない。
【0248】
[0307]本明細書で例示的な実装において説明されたように、方法およびコンピュータ命令は、ニューラルネットワークが畳み込み演算である場合に、入力データが畳み込み演算の複数の入力要素を含むことと、シフト可能な入力が複数のシフト可能な入力要素を含み、シフト可能な入力要素の各々が、複数の対数量子化されたパラメータからの対応する対数量子化されたパラメータによって乗算される複数の入力要素のうちの１つに対応する、ことと、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算の出力が複数のシフト可能な出力を含み、複数のシフト可能な出力の各々が、複数の対数量子化されたパラメータからの対応する対数量子化されたパラメータに関連付けられた入力に従って、シフト可能な入力要素の各々のシフトに対応する、こととを含むことができ、複数のシフト可能な出力が、加算演算またはシフト演算によって合計される。
【0249】
[0308]本明細書で例示的な実装において説明されたように、方法およびコンピュータ命令は、ニューラルネットワーク動作がパラメトリックＲｅＬＵ動作である場合に、シフト命令に従ってシフト可能な入力をシフトして、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算の出力を生成することが、入力データの符号ビットが負である場合のためにのみ実行され、入力データの符号ビットが正である場合のために、シフトせずに、シフト可能な入力が、ニューラルネットワーク動作の対応する対数量子化されたパラメータとの入力データの乗算の出力として提供される、ことを含むことができる。
【0250】
[0309]詳細な説明の一部は、コンピュータ内の動作のアルゴリズムおよび記号表現に関して提示されている。これらのアルゴリズム的記述および記号表現は、革新的技術の本質を他の当業者に伝達するために、データ処理技術の当業者によって使用される手段である。アルゴリズムは、望ましい最終状態または最終結果につながる一連の定義されたステップである。例示的な実装では、実行されるステップは、有形の結果を達成するために、有形の量の物理的操作を必要とする。
【0251】
[0310]説明から明らかであるように、特に具体的に述べられない限り、説明全体を通じて、「処理」、「計算」、「算出」、「決定」、「表示」などの用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されたデータを操作して、コンピュータシステムのメモリまたはレジスタあるいはその他の情報の格納デバイス、送信デバイス、または表示デバイス内の物理量として同様に表された他のデータに変換する、コンピュータシステムまたはその他の情報処理デバイスの動作およびプロセスを含むことができると理解される。
【0252】
[0311]例示的な実装は、本明細書における動作を実行するための装置に関連してもよい。この装置は、必要な目的のために特別に構築されてよく、あるいは１つまたは複数のコンピュータプログラムによって選択的に作動または再構成される１つまたは複数の汎用コンピュータを含んでよい。そのようなコンピュータプログラムは、コンピュータ可読ストレージ媒体またはコンピュータ可読信号媒体などのコンピュータ可読媒体に格納されてよい。コンピュータ可読ストレージ媒体は、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、半導体デバイスおよびドライブ、あるいは電子情報を格納するのに適している任意のその他の種類の有形または非一過性の媒体などの、有形の媒体を含んでよいが、これらに限定されない。コンピュータ可読信号媒体は、搬送波などの媒体を含んでよい。本明細書において提示されたアルゴリズムおよび表示は、本質的に、どの特定のコンピュータまたはその他の装置にも関連していない。コンピュータプログラムは、望ましい実装の動作を実行する命令を含んでいる純粋なソフトウェア実装を含むことができる。
【0253】
[0312]さまざまな汎用システムが、本明細書における例に従って、プログラムおよびモジュールと共に使用されてよく、または望ましい方法のステップを実行するために、さらに特殊な装置を構築することが便利であると判明してもよい。加えて、例示的な実装は、いずれかの特定のプログラミング言語を参照して説明されない。本明細書に記載された例示的な実装の技術を実装するために、さまざまなプログラミング言語が使用されてよいということが理解されるであろう。プログラミング言語の命令は、１つまたは複数の処理デバイス（例えば、中央処理装置（ＣＰＵ）、プロセッサ、またはコントローラ）によって実行されてよい。
【0254】
[0313]従来技術において知られているように、前述の動作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの何らかの組合せによって実行されることができる。例示的な実装のさまざまな態様は、回路および論理デバイス（ハードウェア）を使用して実装されてよいが、他の態様は、機械可読媒体に格納された命令（ソフトウェア）を使用して実装されてもよく、これらの命令は、プロセッサによって実行された場合、プロセッサに、本出願の実装を実行するための方法を実行させる。さらに、本出願の一部の例示的な実装は、ハードウェアのみにおいて実行されてよく、一方、他の例示的な実装は、ソフトウェアのみにおいて実行されてよい。さらに、説明されたさまざまな機能は、単一のユニットにおいて実行されることができ、または任意の数の方法で、複数のコンポーネントにわたって分散されることができる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体に格納された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてよい。必要に応じて、命令は、圧縮された形式および／または暗号化された形式で媒体に格納されることができる。
【0255】
[0314]さらに、本明細書の検討および本出願の技術の実践から、本出願の他の実装が当業者にとって明らかになるであろう。説明された例示的な実装のさまざまな態様および／またはコンポーネントが、単独で、または任意の組合せで使用されてよい。本明細書および例示的な実装は、単なる例と見なされるということが意図され、本出願の真の範囲および思想は、以下の特許請求の範囲によって示されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14AB】
【図14C】
【図15】
【図16ABC】
【図17A】
【図17B】
【図18】
【図19AB】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43AB】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52AB】
【図53AB】
【図54AB】
【図55AB】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図62】
【図63】
【図64】
【図65】
【図66】
【図67】
【図68】
【図69】
【図70】
【図71】
【図72】
【図73】
【図74】
【図75】
【図76】
【図77】
【図78】
【図79】
【図80】
【図81】
【図82】
【図83】
【図84】
【図85】
【図86ABCD】
【図87】
【図88】
【図89】
【手続補正書】
【提出日】2024-07-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
入力データに対してバッチ正規化動作を実行するように構成された人工知能処理要素（ＡＩＰＥ）であって、前記ＡＩＰＥが、
前記入力データから導出されたシフト可能な入力を取り込むことと、
ニューラルネットワークの第１のトレーニング可能なパラメータから導出された対数量子化された値から導出されたシフト命令を取り込むことと、
前記シフト命令に従って前記シフト可能な入力を左方向または右方向にシフトして、前記対数量子化された値との前記入力データの乗算を表すシフトされた出力を形成することと
を実行するように構成されたシフタ回路と、
バイアス値を前記シフトされた出力に加算して、前記バッチ正規化動作の出力を生成するように構成された加算器回路と
を備え、
前記バイアス値が、前記ニューラルネットワークの前記第１のトレーニング可能なパラメータ、および前記第１のトレーニング可能なパラメータとは別の前記ニューラルネットワークの第２のトレーニング可能なパラメータから導出される、
人工知能処理要素（ＡＩＰＥ）。
前記入力データから導出されたシフト可能な入力を取り込むことと、
ニューラルネットワークの第１のトレーニング可能なパラメータから導出された対数量子化された値から導出されたシフト命令を取り込むことと、
前記シフト命令に従って前記シフト可能な入力を左方向または右方向にシフトして、前記対数量子化された値との前記入力データの乗算を表すシフトされた出力を形成することと
を実行するように構成されたシフタ回路と、
バイアス値を前記シフトされた出力に加算して、前記バッチ正規化動作の出力を生成するように構成された加算器回路と
を備え、
前記バイアス値が、前記ニューラルネットワークの前記第１のトレーニング可能なパラメータ、および前記第１のトレーニング可能なパラメータとは別の前記ニューラルネットワークの第２のトレーニング可能なパラメータから導出される、
人工知能処理要素（ＡＩＰＥ）。
【請求項2】
前記シフト命令が、シフト方向およびシフト量を含み、前記シフト量が、前記対数量子化された値の指数の大きさから導出され、前記シフト方向が、前記対数量子化された値の前記指数の符号から導出され、
前記シフタ回路が、前記シフト可能な入力を、前記シフト方向に従って前記左方向または前記右方向にシフトし、前記シフト可能な入力を、前記シフト量によって示された量だけ前記シフト方向にシフトする、
請求項１に記載のＡＩＰＥ。
前記シフタ回路が、前記シフト可能な入力を、前記シフト方向に従って前記左方向または前記右方向にシフトし、前記シフト可能な入力を、前記シフト量によって示された量だけ前記シフト方向にシフトする、
請求項１に記載のＡＩＰＥ。
【請求項3】
前記シフト可能な入力の第１の符号ビットおよび前記対数量子化された値の第２の符号ビットを取り込み、前記シフトされた出力の第３の符号ビットを形成するように構成された回路
をさらに備える請求項１に記載のＡＩＰＥ。
をさらに備える請求項１に記載のＡＩＰＥ。
【請求項4】
前記シフトされた出力および前記対数量子化された値の符号ビットを取り込み、前記対数量子化された値の前記符号ビットが負符号を示す場合に１の補数データを形成するように構成された第１の回路と、
前記対数量子化された値の前記符号ビットによって前記１の補数データをインクリメントし、前記シフトされた出力を、前記対数量子化された値との前記入力データの前記乗算を表す２の補数データに変更するように構成された第２の回路と
をさらに備える請求項１に記載のＡＩＰＥ。
前記対数量子化された値の前記符号ビットによって前記１の補数データをインクリメントし、前記シフトされた出力を、前記対数量子化された値との前記入力データの前記乗算を表す２の補数データに変更するように構成された第２の回路と
をさらに備える請求項１に記載のＡＩＰＥ。
【請求項5】
前記シフタ回路が対数シフタ回路またはバレルシフタ回路である、
請求項１に記載のＡＩＰＥ。
請求項１に記載のＡＩＰＥ。
【請求項6】
前記加算器回路が整数加算器回路である、
請求項１に記載のＡＩＰＥ。
請求項１に記載のＡＩＰＥ。
【請求項7】
前記入力データが、大きさを変更されて、前記シフト可能な入力を形成する、
請求項１に記載のＡＩＰＥ。
請求項１に記載のＡＩＰＥ。
【請求項8】
前記入力データの分散によって変更されたニューラルネットワークの第１のパラメータから、前記対数量子化された値が導出される、
請求項１に記載のＡＩＰＥ。
請求項１に記載のＡＩＰＥ。
【請求項9】
前記入力データの分散および平均によって変更された前記ニューラルネットワークの前記第１のパラメータ、ならびに前記ニューラルネットワークの前記第２のパラメータから、前記バイアス値が導出される、
請求項１に記載のＡＩＰＥ。
請求項１に記載のＡＩＰＥ。
【請求項10】
入力データに対してバッチ正規化動作を実行するように構成された人工知能処理要素（ＡＩＰＥ）であって、前記ＡＩＰＥが、
前記入力データから導出されたシフト可能な入力を取り込むことと、
ニューラルネットワークの第１のトレーニング可能なパラメータから導出された対数量子化された値から導出されたシフト命令を取り込むことと、
前記シフト命令に従って前記シフト可能な入力を左方向または右方向にシフトして、前記対数量子化された値との前記入力データの乗算を表すシフトされた出力を形成することと
を実行するように構成された第１のシフタ回路と、
前記シフトされた出力をシフトしてバイアス値を加算し、前記バッチ正規化動作の出力を生成するように構成された第２のシフタ回路と
を備え、
前記バイアス値が、前記ニューラルネットワークの前記第１のトレーニング可能なパラメータ、および前記第１のトレーニング可能なパラメータとは別の前記ニューラルネットワークの第２のトレーニング可能なパラメータから導出される、
人工知能処理要素（ＡＩＰＥ）。
前記入力データから導出されたシフト可能な入力を取り込むことと、
ニューラルネットワークの第１のトレーニング可能なパラメータから導出された対数量子化された値から導出されたシフト命令を取り込むことと、
前記シフト命令に従って前記シフト可能な入力を左方向または右方向にシフトして、前記対数量子化された値との前記入力データの乗算を表すシフトされた出力を形成することと
を実行するように構成された第１のシフタ回路と、
前記シフトされた出力をシフトしてバイアス値を加算し、前記バッチ正規化動作の出力を生成するように構成された第２のシフタ回路と
を備え、
前記バイアス値が、前記ニューラルネットワークの前記第１のトレーニング可能なパラメータ、および前記第１のトレーニング可能なパラメータとは別の前記ニューラルネットワークの第２のトレーニング可能なパラメータから導出される、
人工知能処理要素（ＡＩＰＥ）。
【請求項11】
入力データに対してバッチ正規化動作を実行するように構成された人工知能処理要素（ＡＩＰＥ）であって、前記ＡＩＰＥが、
前記入力データから導出されたシフト可能な入力を取り込むことと、
ニューラルネットワークの第１のトレーニング可能なパラメータから導出された対数量子化された値から導出されたシフト命令を取り込むことと、
前記シフト命令に従って前記シフト可能な入力を左方向または右方向にシフトして、前記対数量子化された値との前記入力データの乗算を表すシフトされた出力を形成することと、
前記シフトされた出力をシフトしてバイアス値を加算し、前記バッチ正規化動作の出力を生成することと
を実行するように構成されたシフタ回路
を備え、
前記バイアス値が、前記ニューラルネットワークの前記第１のトレーニング可能なパラメータ、および前記第１のトレーニング可能なパラメータとは別の前記ニューラルネットワークの第２のトレーニング可能なパラメータから導出される、
人工知能処理要素（ＡＩＰＥ）。
前記入力データから導出されたシフト可能な入力を取り込むことと、
ニューラルネットワークの第１のトレーニング可能なパラメータから導出された対数量子化された値から導出されたシフト命令を取り込むことと、
前記シフト命令に従って前記シフト可能な入力を左方向または右方向にシフトして、前記対数量子化された値との前記入力データの乗算を表すシフトされた出力を形成することと、
前記シフトされた出力をシフトしてバイアス値を加算し、前記バッチ正規化動作の出力を生成することと
を実行するように構成されたシフタ回路
を備え、
前記バイアス値が、前記ニューラルネットワークの前記第１のトレーニング可能なパラメータ、および前記第１のトレーニング可能なパラメータとは別の前記ニューラルネットワークの第２のトレーニング可能なパラメータから導出される、
人工知能処理要素（ＡＩＰＥ）。
【外国語明細書】