特許7394980ブロック分割を伴うニューラルネットワークを復号する方法、装置及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-30
(45)【発行日】2023-12-08
(54)【発明の名称】ブロック分割を伴うニューラルネットワークを復号する方法、装置及びプログラム
(51)【国際特許分類】
G06N 3/02 20060101AFI20231201BHJP
H04N 19/70 20140101ALI20231201BHJP
H04N 19/96 20140101ALI20231201BHJP
H03M 7/30 20060101ALI20231201BHJP
【ＦＩ】
G06N3/02
H04N19/70
H04N19/96
H03M7/30
【請求項の数】
9
(21)【出願番号】P 2022521704
(86)(22)【出願日】2021-04-19
(65)【公表番号】
(43)【公表日】2022-12-07
(86)【国際出願番号】 US2021027926
(87)【国際公開番号】W WO2021216429
(87)【国際公開日】2021-10-28
【審査請求日】2022-04-11
(31)【優先権主張番号】63/015,213
(32)【優先日】2020-04-24
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/042,303
(32)【優先日】2020-06-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/079,310
(32)【優先日】2020-09-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/079,706
(32)【優先日】2020-09-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/232,069
(32)【優先日】2021-04-15
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】ウェイ・ワン
(72)【発明者】
【氏名】ウェイ・ジアン
(72)【発明者】
【氏名】シャン・リュウ
【審査官】円子 英紀
(56)【参考文献】
【文献】特開２０１９－２０１３３２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３９４４７７（ＵＳ，Ａ１）
【文献】峯澤 彰，「ニューラルネットワークモデル圧縮の国際標準ＮＮＲ」，映像情報メディア学会誌，日本，一般社団法人 映像情報メディア学会，Vol.75, No.2，第246-250頁，ISSN:1342-6907
【文献】"Working Draft 4 of Compression of neural networks for multimedia content description and analysis"，No. N19225，[online], ISO/IEC JTC 1/SC 29/WG 11，2020年05月15日，Pages 1-48，[令和5年3月23日検索], インターネット，<URL: https://mpeg.chiariglione.org/standards/mpeg-7/compression-neural-networks-multimedia-content-description-and-analysis/working> and <URL: https://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w19225_NN_compression_WD4.zip> and <URL: https://mpeg.chiariglione.org/meetings/130>
【文献】"Use cases and requirements for neural network compression for multimedia content description and an，No. N18731，[online], ISO/IEC JTC 1/SC 29/WG 11，2019年07月12日，Pages 1-38，[令和5年3月23日検索], インターネット，<URL: https://mpeg.chiariglione.org/standards/mpeg-7/compression-neural-networks-multimedia-content-description-and-analysis/use-cases> and <URL: https://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w18731.zip> and <URL: https://mpeg.chiariglione.org/meetings/127>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｆ １８／００－１８／４０
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
Ｈ０３Ｍ ３／００－ ９／００
(57)【特許請求の範囲】
【請求項1】
デコーダが実行するニューラルネットワークを復号する方法であって、ニューラルネットワークの圧縮ニューラルネットワーク表現のビットストリームから、圧縮ニューラルネットワーク表現（ＮＮＲ）集約ユニットのＮＮＲ集約ユニットヘッダ内の第１のシンタックス要素を受信するステップであって、前記第１のシンタックス要素は、前記ＮＮＲ集約ユニット内のテンソルを処理するための符号化ツリーユニット（ＣＴＵ）走査順序を示す、ステップと、
前記第１のシンタックス要素によって示される前記ＣＴＵ走査順序に基づいて前記ＮＮＲ集約ユニット内の前記テンソルを再構築するステップと、
を含む、方法。
【請求項2】
前記第１のシンタックス要素の第１の値は、前記ＣＴＵ走査順序が水平方向の第１のラスタ走査順序であることを示し、前記第１のシンタックス要素の第２の値は、前記ＣＴＵ走査順序が垂直方向の第２のラスタ走査順序であることを示す、請求項１に記載の方法。
【請求項3】
前記ビットストリームから前記ＮＮＲ集約ユニットの前記ＮＮＲ集約ユニットヘッダ内の第２のシンタックス要素を受信するステップであって、前記第２のシンタックス要素は、前記ＮＮＲ集約ユニット内の前記テンソルに対する量子化係数の最大ビット深度を示す、ステップをさらに含む、請求項１に記載の方法。
【請求項4】
前記ＮＮＲ集約ユニット内の前記テンソルに対してＣＴＵブロック分割が有効にされているかどうかを示す第３のシンタックス要素を受信するステップをさらに含む、請求項１に記載の方法。
【請求項5】
前記第３のシンタックス要素は、前記ＣＴＵブロック分割が前記ニューラルネットワークの層に対して有効にされているかどうかを指定するモデルごとのシンタックス要素、または前記ＣＴＵブロック分割が前記ＮＮＲ集約ユニット内の前記テンソルに対して有効にされているかどうかを指定するテンソルごとのシンタックス要素である、請求項４に記載の方法。
【請求項6】
前記ＮＮＲ集約ユニット内の前記テンソルについてのＣＴＵ次元を示すモデルごと、またはテンソルごとの第４のシンタックス要素を受信するステップをさらに含む、請求項１に記載の方法。
【請求項7】
任意のＮＮＲ集約ユニットを受信する前にＮＮＲユニットを受信するステップであって、前記ＮＮＲユニットは、ＣＴＵ分割が有効にされているかどうかを示す第５のシンタックス要素を含む、ステップをさらに含む、請求項１に記載の方法。
【請求項8】
請求項１から７のいずれか一項に記載の方法を行うように構成された装置。
【請求項9】
コンピュータに、請求項１から７のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本開示は、２０２１年４月１５日に出願された米国特許出願第１７／２３２，０６９号、「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ Ｂｌｏｃｋ Ｐａｒｔｉｔｉｏｎｉｎｇ」、２０２０年４月２４日に出願された米国仮出願第６３／０１５，２１３号、「Ｂｌｏｃｋ Ｄｅｆｉｎｉｔｉｏｎ ａｎｄ Ｕｓａｇｅ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ」、２０２０年６月２２日に出願された米国仮出願第６３／０４２，３０３号、「３Ｄ Ｐｙｒａｍｉｄ Ｃｏｄｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ」、２０２０年９月１６日に出願された米国仮特許出願第６３／０７９，３１０号、「Ｕｎｉｆｉｃａｔｉｏｎ Ｂａｓｅｄ Ｃｏｄｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ」、および２０２０年９月１７日に出願された米国仮特許出願第６３／０７９，７０６号、「Ｕｎｉｆｉｃａｔｉｏｎ ｂａｓｅｄ Ｃｏｄｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ」に対する優先権を主張するものである。先行出願の開示は、その全体が参照により本明細書に組み込まれる。
本開示は、２０２１年４月１５日に出願された米国特許出願第１７／２３２，０６９号、「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ Ｂｌｏｃｋ Ｐａｒｔｉｔｉｏｎｉｎｇ」、２０２０年４月２４日に出願された米国仮出願第６３／０１５，２１３号、「Ｂｌｏｃｋ Ｄｅｆｉｎｉｔｉｏｎ ａｎｄ Ｕｓａｇｅ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ」、２０２０年６月２２日に出願された米国仮出願第６３／０４２，３０３号、「３Ｄ Ｐｙｒａｍｉｄ Ｃｏｄｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ」、２０２０年９月１６日に出願された米国仮特許出願第６３／０７９，３１０号、「Ｕｎｉｆｉｃａｔｉｏｎ Ｂａｓｅｄ Ｃｏｄｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ」、および２０２０年９月１７日に出願された米国仮特許出願第６３／０７９，７０６号、「Ｕｎｉｆｉｃａｔｉｏｎ ｂａｓｅｄ Ｃｏｄｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ Ｃｏｍｐｒｅｓｓｉｏｎ」に対する優先権を主張するものである。先行出願の開示は、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、ニューラルネットワークモデルの圧縮／解凍に概ね関する実施形態を説明する。
【背景技術】
【0003】
本明細書で提供される背景技術の説明は、本発明の背景を一般的に提示することを目的としている。本発明者らの研究は、出願時に別の形で先行技術としての資格を有しない明細書の態様と同様に、背景技術に記載される範囲で、明示または黙示を問わず、本開示に対する先行技術として認めるものではない。
【0004】
コンピュータビジョン、画像認識、および音声認識の分野における様々な用途は、性能改善を達成するためにニューラルネットワークに依存している。ニューラルネットワークは、生物学的脳内のニューロンを大まかにモデル化する接続されたノード（ニューロンとも呼ばれる）の集合に基づいている。ニューロンは、複数の層に編成することができる。１つの層のニューロンは、直前および直後の層のニューロンに接続することができる。
【0005】
生物学的脳内のシナプスのような２つのニューロン間の接続は、一方のニューロンから他方のニューロンに信号を伝送することができる。信号を受信するニューロンは次いで、信号を処理し、他の接続されたニューロンに信号を送ることができる。いくつかの例では、ニューロンの出力を見つけるために、ニューロンへの入力は、入力からニューロンへの接続の重みによって重み付けされ、重み付けされた入力が合計されて重み付き和を生成する。重み付き和にバイアスが加えられてもよい。さらに、重み付き和はその後、活性化関数に通されて出力を生成する。
【発明の概要】
【課題を解決するための手段】
【0006】
本開示の態様は、ニューラルネットワークモデル圧縮／解凍の方法および装置を提供する。いくつかの例では、ニューラルネットワークモデル解凍の装置は処理回路を含む。処理回路は、ＮＮＲ集約ユニットの圧縮ニューラルネットワーク表現（ＮＮＲ）集約ユニットヘッダ内の第１のシンタックス要素を、ニューラルネットワークの圧縮ニューラルネットワーク表現のビットストリームから受信するように構成することができる。第１のシンタックス要素は、ＮＮＲ集約ユニット内のテンソルを処理するための符号化ツリーユニット（ＣＴＵ）走査順序を示すことができる。ＮＮＲ集約ユニット内のテンソルは、第１のシンタックス要素によって示されるＣＴＵ走査順序に基づいて再構築することができる。
【0007】
一実施形態では、第１のシンタックス要素の第１の値は、ＣＴＵ走査順序が水平方向の第１のラスタ走査順序であることを示すことができ、第１のシンタックス要素の第２の値は、ＣＴＵ走査順序が垂直方向の第２のラスタ走査順序であることを示す。一実施形態では、ＮＮＲ集約ユニットのＮＮＲ集約ユニットヘッダ内の第２のシンタックス要素をビットストリームから受信することができる。第２のシンタックス要素は、ＮＮＲ集約ユニット内のテンソルの量子化係数の最大ビット深度を示すことができる。
【0008】
一実施形態では、ＮＮＲ集約ユニット内のテンソルに対してＣＴＵブロック分割が有効にされているかどうかを示す第３のシンタックス要素を受信することができる。第３のシンタックス要素は、ＣＴＵブロック分割がニューラルネットワークの層に対して有効にされているかどうかを指定するモデルごとのシンタックス要素、またはＣＴＵブロック分割がＮＮＲ集約ユニット内のテンソルに対して有効にされているかどうかを指定するテンソルごとのシンタックス要素とすることができる。
【0009】
一実施形態では、ＮＮＲ集約ユニット内のテンソルについてのＣＴＵ次元を示すモデルごと、またはテンソルごとの第４のシンタックス要素を受信することができる。一実施形態では、ＮＮＲユニットは、任意のＮＮＲ集約ユニットを受信する前に受信され得る。ＮＮＲユニットは、ＣＴＵ分割が有効にされているかどうかを示す第５のシンタックス要素を含むことができる。
【0010】
いくつかの例では、ニューラルネットワークモデル解凍の別の装置は処理回路を含む。処理回路は、圧縮ニューラルネットワーク表現のビットストリームから、第１の３次元符号化ツリーユニット（ＣＴＵ３Ｄ）から分割された３次元符号化ユニット（ＣＵ３Ｄ）に関連付けられた１つまたは複数の第１のシンタックス要素を受信するように構成することができる。第１のＣＴＵ３Ｄは、ニューラルネットワーク内のテンソルから分割することができる。１つまたは複数の第１のシンタックス要素は、ＣＵ３Ｄが、複数の深さを含む３Ｄピラミッド構造に基づいて分割されていることを示すことができる。各深さは、１つまたは複数のノードに対応する。各ノードはノード値を有する。３Ｄピラミッド構造内のノードのノード値に対応する第２のシンタックス要素は、３Ｄピラミッド構造内のノードを走査するための幅優先走査順序でビットストリームから受信することができる。テンソルのモデルパラメータは、３Ｄピラミッド構造内のノードのノード値に対応する受信した第２のシンタックス要素に基づいて再構築することができる。様々な実施形態において、３Ｄピラミッド構造は、オクトツリー構造、ユニツリー構造、タグツリー構造、またはユニタグツリー構造のうちの１つである。
【0011】
一実施形態では、第２のシンタックス要素の受信は、３Ｄピラミッド構造の深さの開始の深さから開始する。開始の深さは、ビットストリーム内で示すことができる、またはデコーダにおいて推測することができる。一実施形態では、３Ｄピラミッド構造におけるノードのノード値を示す第２のシンタックス要素を受信するための開始の深さを示す第３のシンタックス要素を受信することができる。開始の深さが３Ｄピラミッド構造の最後の深さであるとき、テンソルのモデルパラメータは、非３Ｄピラミッドツリーベースの復号方法を使用してビットストリームから復号することができる。
【0012】
一実施形態では、３Ｄピラミッド構造におけるノードのノード値を示す第２のシンタックス要素を受信するための開始の深さを示す第３のシンタックス要素を受信することができる。開始の深さが３Ｄピラミッド構造の最後の深さである場合、第２のシンタックス要素の受信は、３Ｄピラミッド構造の深さの最後から２番目の深さから開始する。
【0013】
別の実施形態では、３Ｄピラミッド構造におけるノードのノード値を示す第２のシンタックス要素を受信するための開始の深さを示す第３のシンタックス要素を受信することができる。開始の深さが３Ｄピラミッド構造の最後の深さであり、かつ３Ｄピラミッド構造がユニツリー部エンコードおよびタグツリー部エンコードに関連付けられたユニタグツリー構造である場合、ユニツリー部エンコードについて、第２のシンタックス要素の受信は、３Ｄピラミッド構造の深さの最後から２番目の深さから開始し、および、タグツリー部エンコードの場合、第２のシンタックス要素の受信は、３Ｄピラミッド構造の深さの最後の深さから開始する。
【0014】
一実施形態では、１つまたは複数の第１のシンタックス要素が、ＣＵ３Ｄが３Ｄピラミッド構造に基づいて分割されていることを示す場合、依存量子化は無効にされる。一実施形態では、１つまたは複数の第１のシンタックス要素が、ＣＵ３Ｄが３Ｄピラミッド構造に基づいて分割されていることを示す場合、依存量子化構築プロセスを実行することができる。３Ｄピラミッド構造に基づくエンコードプロセス中にスキップされるテンソルのモデルパラメータは、依存量子化構築プロセスから除外される。
【0015】
一実施形態では、ＣＵ３Ｄのすべてのモデルパラメータが統一化されているかどうかを示すＣＵ３Ｄに関連付けられた第４のシンタックス要素を受信することができる。一実施形態では、テンソルのカーネル内の第１の係数の前隣接係数の値としての０値は、カーネル内の第１の係数をエントロピー復号するためのコンテキストモデルを決定するために使用することができる。一実施形態では、ビットストリーム内のテンソルの第２のＣＴＵ３Ｄの幅または高さを示す１つまたは複数の第５のシンタックス要素を受信することができる。幅、高さ、または幅と高さの両方が１モデルパラメータである場合、ベースライン符号化方法に基づいて第２のＣＴＵ３Ｄのモデルパラメータを復号することを決定することができる。
【0016】
いくつかの例では、ニューラルネットワークモデル解凍の別の装置は処理回路を含む。処理回路は、ニューラルネットワークの圧縮ニューラルネットワーク表現のビットストリーム内のニューラルネットワークの層内のテンソルから分割されたＣＴＵ３Ｄに関連付けられた第１のシンタックス要素を受信するように構成することができる。第１のシンタックス要素は、ＣＴＵ３Ｄに関連付けられたピラミッドツリー構造の最下部の深さにおけるすべての子ノードが統一化されているかどうかを示すことができる。ＣＴＵ３Ｄは、第１のシンタックス要素が、ＣＴＵ３Ｄに関連付けられたピラミッドツリー構造の最下部の深さにおけるすべての子ノードが統一化されていることを示す場合、３次元ユニツリー（３Ｄユニツリー）符号化方法に基づいて復号することができる。
【0017】
一実施形態では、ニューラルネットワークの層に関連付けられた第２のシンタックス要素をビットストリーム内で受信することができる。第２のシンタックス要素は、層がピラミッドツリー構造ベースの符号化方法を使用してエンコードされるかどうかを示すことができる。一実施形態では、同じ親ノードを共有しない最下部の深さにおける子ノードは、異なる統一化値を有する。
【0018】
一実施形態では、３Ｄユニツリー符号化方法の開始の深さは、ピラミッドツリー構造の最下部の深さであると推測することができる。一実施形態では、ピラミッドツリー構造の最下部の深さにおけるノードの統一化フラグはビットストリーム内でエンコードされない。一実施形態では、同じ親ノードを共有する最下部の深さにおけるすべての子ノードについてビットストリーム内でエンコードされた統一化値を受信することができる。同じ親ノードを共有する最下部の深さにおけるすべての子ノードの符号ビットを受信することができる。符号ビットは、ビットストリーム内の統一化値に続く。
【0019】
一実施形態では、同じ親ノードを共有する最下部の深さにおける子ノードの各グループの統一化値をビットストリームから受信することができる。同じ親ノードを共有する最下部の深さにおける子ノードの各グループ内の子ノードの符号ビットを受信することができる。
【0020】
一実施形態において、第１のシンタックス要素が、ＣＴＵ３Ｄに関連付けられたピラミッドツリー構造の最下部の深さにおける子ノードのすべてが統一化されているわけではないことを示すことに応答して、ＣＴＵ３Ｄは、３次元タグツリー（３Ｄタグツリー）符号化方法に基づいて復号することができる。一実施形態では、３Ｄタグツリー符号化方法の開始の深さは、ピラミッドツリー構造の最下部の深さであると推測することができる。
【0021】
一実施形態では、ピラミッドツリー構造の最下部の深さにおけるノードの値は、所定の走査順序に基づいてビットストリーム内でそれぞれエンコードされたピラミッドツリー構造の最下部の深さにおけるノードの値を受信すること、所定の走査順序に基づいてビットストリーム内のピラミッドツリー構造の最下部の深さにおけるノードの各々について、絶対値が非ゼロである場合に符号が続く絶対値を受信すること、または所定の走査順序に基づいてビットストリーム内のピラミッドツリー構造の最下部の深さにおけるノードの各々について絶対値を受信し、その後に、所定の走査順序に基づいてビットストリーム内のピラミッドツリー構造の最下部の深さにおいて、ノードが非ゼロ値を有する場合に、ノードの各々について符号を受信することのうちの１つに従って復号することができる。
【0022】
本開示の態様はまた、ニューラルネットワークモデル解凍のためにコンピュータによって実行されると、コンピュータにニューラルネットワークモデル解凍の方法を実行させる命令を格納する非一時的コンピュータ可読媒体を提供する。
【0023】
開示される主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。
【図面の簡単な説明】
【0024】
【図1】本開示の一実施形態による電子デバイス（１３０）のブロック図を示す図である。
【図2】例示的な圧縮ニューラルネットワーク表現（ＮＮＲ）ユニット（２００）を示す図である。
【図3】例示的な集約ＮＮＲユニット（３００）を示す図である。
【図4】例示的なＮＮＲビットストリーム（４００）を示す図である。
【図5】例示的なＮＮＲユニットシンタックスを示す図である。
【図6】例示的なＮＮＲユニットヘッダシンタックスを示す図である。
【図7】例示的なＮＮＲ集約ユニットヘッダシンタックスを示す図である。
【図8】例示的なＮＮＲユニットペイロードシンタックスを示す図である。
【図9】例示的なＮＮＲモデルパラメータセットペイロードシンタックスを示す図である。
【図10】モデルパラメータセットの例示的なシンタックスを示す図である。
【図11】１つまたは複数の重みテンソルについての符号化ツリーユニット（ＣＴＵ）走査順序のシグナリングを含む集約ユニットヘッダの例示的なシンタックスを示す図である。
【図12】重みテンソルにおける走査重み係数のシンタックス例を示す図である。
【図13】本開示のいくつかの実施形態による量子化重み係数の絶対値を復号するための一例を示す図である。
【図14】垂直方向におけるラスタ走査を使用する適応型３次元ＣＴＵ（ＣＴＵ３Ｄ）／３次元符号化ユニット（ＣＵ３Ｄ）分割の２つの例を示す図である。
【図15】３Ｄピラミッド構造に基づく例示的な分割プロセスを示す図である。
【図16】本開示の実施形態による２つのスカラ量子化器を示す図である。
【図17】本開示の一実施形態によるＣＴＵ分割の復号プロセス（１７００）を示す図である。
【図18】本開示の一実施形態による３Ｄピラミッド符号化の復号プロセス（１８００）を示す図である。
【図19】本開示の一実施形態による統一化ベースの符号化の復号プロセス（１９００）を示す図である。
【図20】本開示の一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0025】
本開示の態様は、ニューラルネットワークモデルの圧縮／解凍のための様々な技術を提供する。これらの技術は、符号化ツリーユニット（ＣＴＵ）ブロック分割、３Ｄピラミッド構造ベースの符号化、および統一化ベースの符号化に関する。
【0026】
人工ニューラルネットワークは、マルチメディア分析および処理、メディア符号化、データ分析、ならびに他の多くの分野における広範囲のタスクに採用することができる。人工ニューラルネットワークの使用の成功は、過去におけるものより、はるかに大きく複雑なニューラルネットワーク（深層ニューラルネットワーク、ＤＮＮ）の処理の実現可能性、および大規模な訓練データセットの利用可能性に基づいている。結果として、訓練されたニューラルネットワークは、多数のモデルパラメータを含むことができ、非常に大きなサイズ（例えば、数百ＭＢ）をもたらす。モデルパラメータは、重み、バイアス、スケーリング係数、バッチ正規化（バッチノーム）パラメータなどの訓練されたニューラルネットワークの係数を含むことができる。これらのモデルパラメータは、モデルパラメータテンソルに編成することができる。モデルパラメータテンソルは、ニューラルネットワークの関連するモデルパラメータを一緒にグループ化する多次元構造（例えば、アレイまたは行列）を指すために使用される。例えば、ニューラルネットワーク内の層の係数は、利用可能な場合、重みテンソル、バイアステンソル、スケーリング係数テンソル、バッチノームテンソルなどにグループ化することができる。
【0027】
多くのアプリケーションは、特定の訓練されたネットワークインスタンスを潜在的により多くのデバイスに展開することを必要とし、これは処理能力およびメモリ（例えば、モバイルデバイスまたはスマートカメラ）の観点で、ならびに通信帯域幅の観点でも制限を有する可能性がある。これらのアプリケーションは、本明細書に開示されるニューラルネットワーク圧縮／解凍技術から利益を得ることができる。
【0028】
Ｉ．ニューラルネットワークベースのデバイスおよびアプリケーション
図１は、本開示の一実施形態による電子デバイス（１３０）のブロック図を示す。電子デバイス（１３０）は、ニューラルネットワークベースのアプリケーションを実行するように構成することができる。いくつかの実施形態では、電子デバイス（１３０）は、圧縮された（エンコードされた）ニューラルネットワークモデル（例えば、ビットストリームの形態のニューラルネットワークの圧縮表現）を受信し記憶する。電子デバイス（１３０）は、圧縮ニューラルネットワークモデルを解凍（または復号）してニューラルネットワークモデルを復元することができ、ニューラルネットワークモデルに基づくアプリケーションを実行することができる。いくつかの実施形態では、圧縮ニューラルネットワークモデルは、アプリケーションサーバ（１１０）などのサーバから提供される。
図１は、本開示の一実施形態による電子デバイス（１３０）のブロック図を示す。電子デバイス（１３０）は、ニューラルネットワークベースのアプリケーションを実行するように構成することができる。いくつかの実施形態では、電子デバイス（１３０）は、圧縮された（エンコードされた）ニューラルネットワークモデル（例えば、ビットストリームの形態のニューラルネットワークの圧縮表現）を受信し記憶する。電子デバイス（１３０）は、圧縮ニューラルネットワークモデルを解凍（または復号）してニューラルネットワークモデルを復元することができ、ニューラルネットワークモデルに基づくアプリケーションを実行することができる。いくつかの実施形態では、圧縮ニューラルネットワークモデルは、アプリケーションサーバ（１１０）などのサーバから提供される。
【0029】
図１の例では、アプリケーションサーバ（１１０）は、互いに結合された処理回路（１２０）、メモリ（１１５）、およびインターフェース回路（１１１）を含む。いくつかの例では、ニューラルネットワークは、適切に生成される、訓練される、または更新される。ニューラルネットワークは、ソースニューラルネットワークモデルとしてメモリ（１１５）に記憶することができる。処理回路（１２０）は、ニューラルネットワークモデルコーデック（１２１）を含む。ニューラルネットワークモデルコーデック（１２１）は、ソースニューラルネットワークモデルを圧縮し、圧縮ニューラルネットワークモデル（ニューラルネットワークの圧縮表現）を生成することができるエンコーダを含む。いくつかの例では、圧縮ニューラルネットワークモデルはビットストリームの形態である。圧縮ニューラルネットワークモデルは、メモリ（１１５）に記憶することができる。アプリケーションサーバ（１１０）は、圧縮ニューラルネットワークモデルをビットストリームの形態で、インターフェース回路（１１１）を介して電子デバイス（１３０）などの他のデバイスに提供することができる。
【0030】
電子デバイス（１３０）は、スマートフォン、カメラ、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ゲームヘッドセットなどの任意の適切なデバイスとすることができることに留意されたい。
【0031】
図１の例では、電子デバイス（１３０）は、互いに結合された処理回路（１４０）、キャッシュメモリ（１５０）、メインメモリ（１６０）、およびインターフェース回路（１３１）を含む。いくつかの例では、圧縮ニューラルネットワークモデルは、例えばビットストリームの形態でインターフェース回路（１３１）を介して電子デバイス（１３０）によって受信される。圧縮ニューラルネットワークモデルは、メインメモリ（１６０）に記憶される。
【0032】
処理回路（１４０）は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などの任意の適切な処理ハードウェアを含む。処理回路（１４０）は、ニューラルネットワークに基づいてアプリケーションを実行するための適切な構成要素を含み、ニューラルネットワークモデルコーデック（１４１）として構成された適切な構成要素を含む。ニューラルネットワークモデルコーデック（１４１）は、例えば、アプリケーションサーバ（１１０）から受信した圧縮ニューラルネットワークモデルを復号することができるデコーダを含む。一例では、処理回路（１４０）は、単一チップ（例えば、集積回路）を含み、単一チップ上には１つまたは複数のプロセッサが配置されている。別の例では、処理回路（１４０）は複数のチップを含み、各チップは１つまたは複数のプロセッサを含むことができる。
【0033】
いくつかの実施形態では、メインメモリ（１６０）は、比較的大きな記憶空間を有し、ソフトウェアコード、メディアデータ（例えば、ビデオ、オーディオ、画像など）、圧縮ニューラルネットワークモデルなどの様々な情報を記憶することができる。キャッシュメモリ（１５０）は、比較的小さい記憶空間を有するが、メインメモリ（１６０）と比較してはるかに速いアクセス速度を有する。いくつかの例では、メインメモリ（１６０）は、ハードディスクドライブ、ソリッドステートドライブなどを含むことができ、キャッシュメモリ（１５０）は、スタティックランダムアクセスメモリ（ＳＲＡＭ）などを含むことができる。一例では、キャッシュメモリ（１５０）は、例えばプロセッサチップ上に配置されたオンチップメモリとすることができる。別の例では、キャッシュメモリ（１５０）は、プロセッサチップとは別個の１つまたは複数のメモリチップ上に配置されたオフチップメモリとすることができる。一般に、オンチップメモリはオフチップメモリよりもアクセス速度が速い。
【0034】
いくつかの実施形態では、処理回路（１４０）がニューラルネットワークモデルを使用するアプリケーションを実行するとき、ニューラルネットワークモデルコーデック（１４１）は、圧縮ニューラルネットワークモデルを解凍してニューラルネットワークモデルを復元することができる。いくつかの例では、キャッシュメモリ（１５０）は十分に大きく、したがって、復元されたニューラルネットワークモデルをキャッシュメモリ（１５０）にバッファリングすることができる。次いで、処理回路（１４０）は、アプリケーションにおいて復元されたニューラルネットワークモデルを使用するためにキャッシュメモリ（１５０）にアクセスすることができる。別の例では、キャッシュメモリ（１５０）は、限られたメモリ空間（例えば、オンチップメモリ）を有し、圧縮ニューラルネットワークモデルは層ごとまたはブロックごとに解凍することができ、キャッシュメモリ（１５０）は、復元されたニューラルネットワークモデル層を層ごとまたはブロックごとにバッファリングすることができる。
【0035】
ニューラルネットワークモデルコーデック（１２１）およびニューラルネットワークモデルコーデック（１４１）は、任意の適切な技術によって実装することができることに留意されたい。いくつかの実施形態では、エンコーダおよび／またはデコーダは集積回路によって実装することができる。いくつかの実施形態では、エンコーダおよびデコーダは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する１つまたは複数のプロセッサとして実装される場合がある。ニューラルネットワークモデルコーデック（１２１）およびニューラルネットワークモデルコーデック（１４１）は、以下に記載するエンコード機能および復号機能に従って実装することができる。
【0036】
本開示は、記憶および計算の両方を節約するために、ディープニューラルネットワーク（ＤＮＮ）モデルなどのニューラルネットワークモデルをエンコードおよび復号するために使用することができる圧縮ニューラルネットワーク表現（ＮＮＲ）のための技術を提供する。ディープニューラルネットワーク（ＤＮＮ）は、セマンティック分類、ターゲット検出／認識、ターゲット追跡、ビデオ品質強化などの広範囲のビデオアプリケーションにおいて使用することができる。
【0037】
ニューラルネットワーク（または人工ニューラルネットワーク）は、一般に、入力層と出力層との間に複数の層を含む。いくつかの例では、ニューラルネットワーク内の層は、層の入力を層の出力に変える数学的操作に対応する。数学的操作は、線形関係または非線形関係であり得る。ニューラルネットワークは、層を通って移動して各出力の確率を計算することができる。このような各数学的操作は層と見なされ、複雑なＤＮＮは多くの層を有することができる。いくつかの例では、層の数学的操作は、１つまたは複数のテンソル（例えば、重みテンソル、バイアステンソル、スケーリング係数テンソルバッチノームテンソルなど）によって表すことができる。
【0038】
ＩＩ．ニューラルネットワークモデル圧縮のためのブロック定義および使用
１．高レベルシンタックス
いくつかの実施形態では、圧縮表現または符号化表現でニューラルネットワーク（モデル）を搬送するビットストリームのための高レベルシンタックスは、ＮＮＲユニットの概念に基づいて定義することができる。ＮＮＲユニットは、ニューラルネットワークデータおよび関連するメタデータを搬送するためのデータ構造である。ＮＮＲユニットは、ニューラルネットワークメタデータ、トポロジ情報、完全または部分層データ、フィルタ、カーネル、バイアス、量子化重み、テンソルなどに関する圧縮情報または非圧縮情報を搬送する。
１．高レベルシンタックス
いくつかの実施形態では、圧縮表現または符号化表現でニューラルネットワーク（モデル）を搬送するビットストリームのための高レベルシンタックスは、ＮＮＲユニットの概念に基づいて定義することができる。ＮＮＲユニットは、ニューラルネットワークデータおよび関連するメタデータを搬送するためのデータ構造である。ＮＮＲユニットは、ニューラルネットワークメタデータ、トポロジ情報、完全または部分層データ、フィルタ、カーネル、バイアス、量子化重み、テンソルなどに関する圧縮情報または非圧縮情報を搬送する。
【0039】
図２は、例示的なＮＮＲユニット（２００）を示す。示されるように、ＮＮＲユニット（２００）は、以下のデータ要素を含むことができる。
－ＮＮＲユニットサイズ：このデータ要素は、ＮＮＲユニットサイズ自体を含む、ＮＮＲユニットの合計バイトサイズをシグナリングする。
－ＮＮＲユニットヘッダ：このデータ要素は、ＮＮＲユニットタイプおよび関連するメタデータに関する情報を含む。
ＮＮＲユニットペイロード：このデータ要素は、ニューラルネットワークに関連する圧縮データまたは非圧縮データを含む。
－ＮＮＲユニットサイズ：このデータ要素は、ＮＮＲユニットサイズ自体を含む、ＮＮＲユニットの合計バイトサイズをシグナリングする。
－ＮＮＲユニットヘッダ：このデータ要素は、ＮＮＲユニットタイプおよび関連するメタデータに関する情報を含む。
ＮＮＲユニットペイロード：このデータ要素は、ニューラルネットワークに関連する圧縮データまたは非圧縮データを含む。
【0040】
図３は、例示的な集約ＮＮＲユニット（３００）を示す。集約ＮＮＲユニット（３００）は、そのペイロードにおいて複数のＮＮＲユニットを搬送することができるＮＮＲユニットである。集約ＮＮＲユニットは、互いに関連し、単一のＮＮＲユニットの下での集約から利益を得るいくつかのＮＮＲユニットのためのグループ化機構を提供する。図４は、例示的なＮＮＲビットストリーム（４００）を示す。ＮＮＲビットストリーム（４００）は、一連のＮＮＲユニットを含むことができる。ＮＮＲビットストリーム内の最初のＮＮＲユニットは、ＮＮＲ開始ユニット（すなわち、タイプＮＮＲ＿ＳＴＲのＮＮＲユニット）であり得る。
【0041】
図５は、例示的なＮＮＲユニットシンタックスを示す。図６は、例示的なＮＮＲユニットヘッダシンタックスを示す。図７は、例示的なＮＮＲ集約ユニットヘッダシンタックスを示す。図８は、例示的なＮＮＲユニットペイロードシンタックスを示す。図９は、例示的なＮＮＲモデルパラメータセットペイロードシンタックスを示す。
【0042】
２．再成形および走査順序
いくつかの例では、重みテンソルの次元は３以上（畳み込み層では４など）であり、重みテンソルは２次元（２Ｄ）テンソルに再成形することができる。一例では、重みテンソルの次元が２以下である場合（完全接続層またはバイアス層など）、再成形は実行されない。重みテンソルをエンコードするために、重みテンソル内の重み係数が特定の順序に従って走査される。いくつかの例では、重みテンソル内の重み係数は、例えば、各行について左から右へ、および最上行から最下行へ、行優先で走査することができる。
いくつかの例では、重みテンソルの次元は３以上（畳み込み層では４など）であり、重みテンソルは２次元（２Ｄ）テンソルに再成形することができる。一例では、重みテンソルの次元が２以下である場合（完全接続層またはバイアス層など）、再成形は実行されない。重みテンソルをエンコードするために、重みテンソル内の重み係数が特定の順序に従って走査される。いくつかの例では、重みテンソル内の重み係数は、例えば、各行について左から右へ、および最上行から最下行へ、行優先で走査することができる。
【0043】
３．ブロック分割フラグ
いくつかの実施形態では、重みテンソルは、続いて符号化ツリーユニット（ＣＴＵ）と呼ばれるブロックに分割される２Ｄテンソルに再成形することができる。次に、２Ｄテンソルの係数は、結果として得られるＣＴＵブロックに基づいてエンコードすることができる。例えば、これらのＣＴＵブロックに基づいて走査順序を定義することができ、走査順序に従ってエンコードを実行することができる。いくつかの他の実施形態では、重みテンソルは、例えば、それぞれ第１の次元および第２の次元としての入力チャネルおよび出力チャネルの数、ならびに第３の次元としてのカーネル（フィルタ）内の要素の数を有する３Ｄテンソルに再成形することができる。次に、ブロック分割を第１の次元および第２の次元の平面に沿って実行することができ、ＣＴＵ３Ｄと呼ばれる３Ｄブロックが得られる。したがって、テンソルのエンコードは、それらのＣＴＵ３Ｄの走査順序に基づいて実行することができる。いくつかの例では、ＣＴＵブロックまたはＣＴＵ３Ｄブロックは、等しいサイズのブロックであり得る。
いくつかの実施形態では、重みテンソルは、続いて符号化ツリーユニット（ＣＴＵ）と呼ばれるブロックに分割される２Ｄテンソルに再成形することができる。次に、２Ｄテンソルの係数は、結果として得られるＣＴＵブロックに基づいてエンコードすることができる。例えば、これらのＣＴＵブロックに基づいて走査順序を定義することができ、走査順序に従ってエンコードを実行することができる。いくつかの他の実施形態では、重みテンソルは、例えば、それぞれ第１の次元および第２の次元としての入力チャネルおよび出力チャネルの数、ならびに第３の次元としてのカーネル（フィルタ）内の要素の数を有する３Ｄテンソルに再成形することができる。次に、ブロック分割を第１の次元および第２の次元の平面に沿って実行することができ、ＣＴＵ３Ｄと呼ばれる３Ｄブロックが得られる。したがって、テンソルのエンコードは、それらのＣＴＵ３Ｄの走査順序に基づいて実行することができる。いくつかの例では、ＣＴＵブロックまたはＣＴＵ３Ｄブロックは、等しいサイズのブロックであり得る。
【0044】
いくつかの実施形態では、モデルごとのシンタックス要素ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、ニューラルネットワークの各層の重みテンソルに対してブロック分割（ＣＴＵ分割）が有効にされているかどうかを指定するために使用される。例えば、シンタックス要素の第１の値（例えば、値０）はブロック分割が無効であることを示し、シンタックス要素の第２の値（例えば、値１）はブロック分割が有効にされていることを示す。一実施形態では、シンタックス要素は１ビットフラグである。別の実施形態では、シンタックス要素は複数のビットによって表されてもよい。シンタックス要素の１つの値は、ブロック分割が実行されるかどうかを示す。例えば、値０は、分割が実行されないことを示すことができる。シンタックス要素の他の値を使用して、ＣＴＵまたはＣＴＵ３Ｄブロックのサイズを示すことができる。
【0045】
図１０は、モデルパラメータセットの例示的なシンタックスを示す図である。モデルパラメータセットは、ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇを含む。ｃｔｕ＿ｐａｒｉｔｉｏｎ＿ｆｌａｇは、モデルパラメータセットによって制御されるニューラルネットワークモデルのブロック分割をオンまたはオフにするために使用することができる。
【0046】
いくつかの実施形態では、テンソルごとのシンタックス要素ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、ニューラルネットワークの１つまたは複数の個別の重みテンソルに対してブロック分割（ＣＴＵ分割）が有効にされているかどうかを指定するために使用される。例えば、シンタックス要素の第１の値（例えば、値０）は、それぞれの１つまたは複数のテンソルに対してブロック分割が無効であることを示し、シンタックス要素の第２の値（例えば、値１）は、それぞれの１つまたは複数のテンソルに対してブロック分割が有効にされていることを示す。一実施形態では、シンタックス要素は１ビットフラグである。別の実施形態では、シンタックス要素は複数のビットによって表されてもよい。シンタックス要素の１つの値は、それぞれの１つまたは複数のテンソルに対してブロック分割が実行されるかどうかを示す。例えば、値０は、それぞれの１つまたは複数のテンソルに対して分割が実行されないことを示すことができる。シンタックス要素の他の値を使用して、それぞれの１つまたは複数のテンソルから分割されたＣＴＵまたはＣＴＵ３Ｄブロックのサイズを示すことができる。
【0047】
一例では、テンソルごとのシンタックス要素ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、圧縮データユニットヘッダに含まれる。一例では、テンソルごとのシンタックス要素ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、集約ユニットヘッダに含まれる。
【0048】
４．ＣＴＵ次元のシグナリング
一実施形態では、モデルごとのフラグｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇがブロック分割が有効にされていることを示す値を有する場合、モデルごとの２ビットｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇを使用して、ニューラルネットワークの重みテンソルに対してモデルごとの最大ＣＴＵ次元（ｇｃｔｕ＿ｄｉｍと表記）を指定することができる。例えば、ｇｃｔｕは、以下に従って決定することができる。
ｇｃｔｕ＿ｄｉｍ＝（６４＞＞ｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇ）．
例えば、０、１、２、または３の値を有するｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇに対応して、ｇｃｔｕ＿ｄｉｍは６４、３２、１６、および８の値を有することができる。
一実施形態では、モデルごとのフラグｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇがブロック分割が有効にされていることを示す値を有する場合、モデルごとの２ビットｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇを使用して、ニューラルネットワークの重みテンソルに対してモデルごとの最大ＣＴＵ次元（ｇｃｔｕ＿ｄｉｍと表記）を指定することができる。例えば、ｇｃｔｕは、以下に従って決定することができる。
ｇｃｔｕ＿ｄｉｍ＝（６４＞＞ｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇ）．
例えば、０、１、２、または３の値を有するｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇに対応して、ｇｃｔｕ＿ｄｉｍは６４、３２、１６、および８の値を有することができる。
【0049】
一実施形態では、２Ｄ再成形テンソルについて、テンソルごとの最大ＣＴＵ幅は、以下のように各畳み込みテンソルのカーネルサイズによってスケーリングすることができ、
ｍａｘ＿ｃｔｕ＿ｈｅｉｇｈｔ＝ｇｃｔｕ＿ｄｉｍ、
ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈ＝ｇｃｔｕ＿ｄｉｍ＊ｋｅｒｎｅｌ＿ｓｉｚｅである。
ｍａｘ＿ｃｔｕ＿ｈｅｉｇｈｔ＝ｇｃｔｕ＿ｄｉｍ、
ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈ＝ｇｃｔｕ＿ｄｉｍ＊ｋｅｒｎｅｌ＿ｓｉｚｅである。
【0050】
右／下部ＣＴＵの高さ／幅は、ｍａｘ＿ｃｔｕ＿ｈｅｉｇｈｔ／ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈ未満であり得る。ｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇのビット数は、他の値（例えば、２ビットを超える）に変更することができることに留意されたい。ｇｃｔｕ＿ｄｉｍは、ｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇに対する他のマッピング関数を用いて計算することができる。ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈは、（例えば、ＣＴＵ３Ｄブロックの分割のために）ｋｅｒｎｅｌ＿ｓｉｚｅによってスケーリングされなくてもよい。あるいは、ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈを任意の値でスケーリングして、様々なサイズの適切な２Ｄブロックまたは３Ｄブロックを形成することができる。
【0051】
別の実施形態では、モデルごとまたはテンソルごとのフラグｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇがブロック分割が有効にされていることを示す値を有する場合、テンソルごとの２ビットｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇを使用して、以下に従ってニューラルネットワークのそれぞれの重みテンソルに対するテンソルごとの最大ＣＴＵ次元を指定することができる。
ｇｃｔｕ＿ｄｉｍ＝（６４＞＞ｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇ）．
ｇｃｔｕ＿ｄｉｍ＝（６４＞＞ｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇ）．
【0052】
一実施形態では、テンソルごとの最大ＣＴＵ幅は、以下のように各畳み込みテンソルのカーネルサイズによってスケーリングすることができ、
ｍａｘ＿ｃｔｕ＿ｈｅｉｇｈｔ＝ｇｃｔｕ＿ｄｉｍ、
ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈ＝ｇｃｔｕ＿ｄｉｍ＊ｋｅｒｎｅｌ＿ｓｉｚｅである。
ｍａｘ＿ｃｔｕ＿ｈｅｉｇｈｔ＝ｇｃｔｕ＿ｄｉｍ、
ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈ＝ｇｃｔｕ＿ｄｉｍ＊ｋｅｒｎｅｌ＿ｓｉｚｅである。
【0053】
同様に、右／下部ＣＴＵの高さ／幅は、ｍａｘ＿ｃｔｕ＿ｈｅｉｇｈｔ／ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈより小さくてもよい。テンソルごとのｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇのビット数は、他の値（例えば、２ビットを超える）に変更することができる。ｇｃｔｕ＿ｄｉｍは、テンソルごとのｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇに対して、他のマッピング関数を用いて計算することができる。ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈは、（例えば、ＣＴＵ３Ｄブロックの分割のために）ｋｅｒｎｅｌ＿ｓｉｚｅによってスケーリングされなくてもよい。ｍａｘ＿ｃｔｕ＿ｗｉｄｔｈは、様々なサイズの適切な２Ｄまたは３Ｄブロックを形成するために、任意の値によってスケーリングすることができる。
【0054】
５．ＣＴＵ走査順序
いくつかの実施形態では、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒは、それぞれの１つまたは複数のテンソルに対するＣＴＵごとの（またはＣＴＵ３Ｄ）走査順序を指定するために使用される。例えば、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒの第１の値（例えば、値０）は、ＣＴＵごとの走査順序が水平方向のラスタ走査順序であることを示す。テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒの第２の値（例えば、値１）は、ＣＴＵごとの走査順序が垂直方向のラスタ走査順序であることを示す。一例では、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒは、圧縮データユニットヘッダに含まれる。一例では、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒは、集約ユニットヘッダに含まれる。
いくつかの実施形態では、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒは、それぞれの１つまたは複数のテンソルに対するＣＴＵごとの（またはＣＴＵ３Ｄ）走査順序を指定するために使用される。例えば、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒの第１の値（例えば、値０）は、ＣＴＵごとの走査順序が水平方向のラスタ走査順序であることを示す。テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒの第２の値（例えば、値１）は、ＣＴＵごとの走査順序が垂直方向のラスタ走査順序であることを示す。一例では、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒは、圧縮データユニットヘッダに含まれる。一例では、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒは、集約ユニットヘッダに含まれる。
【0055】
一実施形態では、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒは、モデルごとのシンタックス要素フラグｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇがブロック（ＣＴＵ）分割が有効にされていることを示す値を有するときにシンタックステーブルに含まれる。
【0056】
図１１は、１つまたは複数の重みテンソルに対するＣＴＵ走査順序のシグナリングを含む集約ユニットヘッダの例示的なシンタックスを示す。行（１１０１）において、ＦＯＲループが複数のＮＮＲユニットに対して実行される。複数のＮＮＲユニットの各々は、例えば重みテンソルを含むことができる。複数のＮＮＲユニットのそれぞれについて、ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇがＣＴＵ分割が有効にされていることを示す値を有する場合（行（１１０２））、ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒ［ｉ］を受信することができ、この場合、ｉは複数のＮＮＲユニットの各々のインデックスとすることができる。ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、モデルごとのシンタックス要素とすることができる。
【0057】
さらに、行（１１０２）において、シンタックス要素ｑｕａｎｔ＿ｂｉｔｄｅｐｔｈ［ｉ］を、１つまたは複数のＮＮＲユニットの各々について受信することができる。ｑｕａｎｔ＿ｂｉｔｄｅｐｔｈ［ｉ］は、ＮＮＲ集約ユニット内の各テンソルに対して量子化係数の最大ビット深度を指定することができる。
【0058】
別の実施形態では、テンソルごとのシンタックス要素フラグｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇが、それぞれの１つまたは複数のテンソルに対してブロック（ＣＴＵ）分割が有効にされていることを示す値を有するとき、テンソルごとのシンタックス要素ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒはシンタックステーブルに含まれる。
【0059】
６．フラグの依存関係
一例では、ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、モデルワイズフラグとして定義される。ｎｎｒ＿ａｇｇｒｅｇａｔｅ＿ｕｎｉｔ＿ｈｅａｄｅｒセクション（例えば、図１１の例における）には、ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒフラグが配置される。ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、ｎｎｒ＿ａｇｇｒｅｇａｔｅ＿ｕｎｉｔ内のｎｎｒ＿ｍｏｄｅｌ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｐａｙｌｏａｄセクションに配置される。ｎｎｒ＿ａｇｇｒｅｇａｔｅ＿ｕｎｉｔ＿ｈｅａｄｅｒは、ｎｎｒ＿ｍｏｄｅｌ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｐａｙｌｏａｄの前に連続させることができるため、ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒを復号することができない。
一例では、ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、モデルワイズフラグとして定義される。ｎｎｒ＿ａｇｇｒｅｇａｔｅ＿ｕｎｉｔ＿ｈｅａｄｅｒセクション（例えば、図１１の例における）には、ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒフラグが配置される。ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、ｎｎｒ＿ａｇｇｒｅｇａｔｅ＿ｕｎｉｔ内のｎｎｒ＿ｍｏｄｅｌ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｐａｙｌｏａｄセクションに配置される。ｎｎｒ＿ａｇｇｒｅｇａｔｅ＿ｕｎｉｔ＿ｈｅａｄｅｒは、ｎｎｒ＿ｍｏｄｅｌ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｐａｙｌｏａｄの前に連続させることができるため、ｃｔｕ＿ｓｃａｎ＿ｏｒｄｅｒを復号することができない。
【0060】
この問題を解決するために、一例では、モデルごとのｎｎｒ＿ｕｎｉｔを、任意のｎｎｒ＿ａｇｇｒｅｇａｔｅ＿ｕｎｉｔｓの前に連続して配置することができる。このｎｎｒ＿ｕｎｉｔには、ｃｔｕ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇと、ｍａｘ＿ｃｔｕ＿ｄｉｍ＿ｆｌａｇとを含めることができる。したがって、ｎｎｒ＿ｕｎｉｔに続くＮＮＲ集約ユニットは、ｎｎｒ＿ｕｎｉｔにおいて定義された任意の情報を使用することができる。
【0061】
ＩＩＩ．ニューラルネットワークモデル圧縮のための３Ｄピラミッド符号化
１．走査順序
図１２は、重みテンソルにおける走査重み係数のシンタックス例を示す。例えば、重みテンソルの次元は３以上（畳み込み層では４など）であり、重みテンソルは２次元テンソルに再成形することができる。一例では、重みテンソルの次元が２以下である場合（完全接続層またはバイアス層など）、再成形は実行されない。重みテンソルをエンコードするために、重みテンソル内の重み係数が特定の順序に従って走査される。いくつかの例では、重みテンソル内の重み係数は、例えば、各行について左から右へ、および最上行から最下行へ、行優先で走査することができる。
１．走査順序
図１２は、重みテンソルにおける走査重み係数のシンタックス例を示す。例えば、重みテンソルの次元は３以上（畳み込み層では４など）であり、重みテンソルは２次元テンソルに再成形することができる。一例では、重みテンソルの次元が２以下である場合（完全接続層またはバイアス層など）、再成形は実行されない。重みテンソルをエンコードするために、重みテンソル内の重み係数が特定の順序に従って走査される。いくつかの例では、重みテンソル内の重み係数は、例えば、各行について左から右へ、および最上行から最下行へ、行優先で走査することができる。
【0062】
図１２の例では、２Ｄ整数アレイＳｔａｔｅＴｒａｎｓＴａｂ［］［］は、依存スカラ量子化のための状態遷移表を指定し、以下のように構成することができる。
ＳｔａｔｅＴｒａｎｓＴａｂ［］［］＝｛｛０，２｝、｛７、５｝、｛１、３｝、｛６，４｝、｛２，０｝、｛５，７｝、｛３，１｝、｛４，６｝｝。
ＳｔａｔｅＴｒａｎｓＴａｂ［］［］＝｛｛０，２｝、｛７、５｝、｛１、３｝、｛６，４｝、｛２，０｝、｛５，７｝、｛３，１｝、｛４，６｝｝。
【0063】
２．量子化
様々な実施形態において、３つのタイプの量子化方法、すなわち、ベースライン量子化方法、コードブックベースの量子化方法、および依存スカラ量子化方法を使用することができる。
様々な実施形態において、３つのタイプの量子化方法、すなわち、ベースライン量子化方法、コードブックベースの量子化方法、および依存スカラ量子化方法を使用することができる。
【0064】
ベースライン量子化方法では、固定ステップサイズを使用して、モデルパラメータテンソル（またはパラメータテンソル）に一様量子化を適用することができる。一例では、固定ステップサイズは、パラメータｑｐＤｅｎｓｉｔｙおよびｑｐによって表すことができる。ｄｑ＿ｆｌａｇとして表示されるフラグを使用して、一様量子化（例えば、ｄｑ＿ｆｌａｇは０に等しい）を可能にすることができる。復号されたテンソル内の再構築された値は、ステップサイズの整数倍とすることができる。
【0065】
コードブックベースの方法では、モデルパラメータテンソルは、コードブックおよびインデックスのテンソルとして表すことができ、後者は元のテンソルと同じ形状を有する。コードブックのサイズは、エンコーダにおいて選択することができ、メタデータパラメータとして伝送することができる。インデックスは整数値を有し、さらにエントロピー符号化することができる。一例では、コードブックは、浮動小数点３２ビット値で構成される。復号されたテンソル内の再構築された値は、それらのインデックス値によって参照されるコードブック要素の値である。
【0066】
依存スカラ量子化方法では、例えば、ｑｐＤｅｎｓｉｔｙおよびｑｐのパラメータで表される固定ステップサイズと、サイズ８の状態遷移表とを用いて、パラメータテンソルに対して依存スカラ量子化を適用することができる。１に等しいｄｑ＿ｆｌａｇとして示されるフラグを使用して、依存スカラ量子化を可能にすることができる。復号されたテンソル内の再構築された値は、ステップサイズの整数倍である。
【0067】
３．エントロピー符号化
量子化重み係数をエンコードするために、エントロピー符号化技術を使用することができる。いくつかの実施形態では、量子化重み係数の絶対値は、固定長シーケンスが後続し得る単項シーケンスを含むシーケンスにおいて符号化される。
量子化重み係数をエンコードするために、エントロピー符号化技術を使用することができる。いくつかの実施形態では、量子化重み係数の絶対値は、固定長シーケンスが後続し得る単項シーケンスを含むシーケンスにおいて符号化される。
【0068】
いくつかの例では、層内の重み係数の分布は一般にガウス分布に従っており、値が大きい重み係数の割合は非常に小さいが、重み係数の最大値は非常に大きくなり得る。いくつかの実施形態では、単項符号化を使用して非常に小さい値を符号化することができ、ゴロム符号化に基づいてより大きい値を符号化することができる。例えば、ゴロム符号化を用いない場合の最大数を示すためにｍａｘＮｕｍＮｏＲｅｍと呼ばれる整数パラメータが使用される。量子化重み係数がｍａｘＮｕｍＮｏＲｅｍを超えない（例えば、これ以下である）場合、量子化重み係数を単項符号化によって符号化することができる。量子化重み係数がｍａｘＮｕｍＮｏＲｅｍより大きい場合、量子化重み係数のｍａｘＮｕｍＮｏＲｅｍに等しい部分は、単項符号化によって符号化され、量子化重み係数の残りの部分は、ゴロム符号化によって符号化される。したがって、単項シーケンスは、単項符号化の第１の部分と、指数ゴロム剰余ビットを符号化するためのビットの第２の部分とを含む。
【0069】
いくつかの実施形態では、量子化重み係数は、以下の２つのステップによって符号化することができる。
【0070】
第１のステップでは、バイナリシンタックス要素ｓｉｇ＿ｆｌａｇが量子化重み係数のためにエンコードされる。バイナリシンタックス要素ｓｉｇ＿ｆｌａｇは、量子化重み係数が０に等しいかどうかを指定する。ｓｉｇ＿ｆｌａｇが１に等しい（量子化重み係数が０に等しくないことを示す）場合、バイナリシンタックス要素ｓｉｇｎ＿ｆｌａｇはさらにエンコードされる。バイナリシンタックス要素ｓｉｇｎ＿ｆｌａｇは、量子化重み係数が正であるか負であるかを示す。
【0071】
第２のステップでは、量子化重み係数の絶対値は、固定長シーケンスが後続し得る単項シーケンスを含むシーケンスに符号化することができる。量子化重み係数の絶対値がｍａｘＮｕｍＮｏＲｅｍ以下である場合、シーケンスは、量子化重み係数の絶対値の単項符号化を含む。量子化重み係数の絶対値がｍａｘＮｕｍＮｏＲｅｍより大きい場合、単項シーケンスは、単項符号化を使用してｍａｘＮｕｍＮｏＲｅｍを符号化するための第１の部分と、指数ゴロム剰余ビットを符号化するための第２の部分とを含むことができ、固定長シーケンスは固定長剰余を符号化するためのものである。
【0072】
いくつかの例では、最初に単項符号化が適用される。例えば、ｊなどの変数は０で初期化され、別の変数Ｘはｊ＋１に設定される。シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘがエンコードされる。一例では、量子化重みレベルの絶対値が変数Ｘより大きい場合、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘは１に設定され、単項符号化は継続し、そうでない場合、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘは０に設定され、単項符号化が行われる。ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが１に等しく、変数ｊがｍａｘＮｕｍＮｏＲｅｍより小さい場合、変数ｊは１だけ増加し、変数Ｘも１だけ増加する。次に、さらなるシンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘがエンコードされる。プロセスは、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが０に等しくなるか、または変数ｊがｍａｘＮｕｍＮｏＲｅｍに等しくなるまで継続する。変数ｊがｍａｘＮｕｍＮｏＲｅｍに等しい場合、エンコードされたビットは単項シーケンスの第１の部分である。
【0073】
ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが１に等しく、ｊがｍａｘＮｕｍＮｏＲｅｍに等しい場合、符号化はゴロム符号化で継続する。具体的には、変数ｊは０にリセットされ、Ｘは１＜＜ｊに設定される。量子化重み係数減算ｍａｘＮｕｍＮｏＲｅｍの絶対値として、単項符号化剰余を算出することができる。シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｔｈａｎ Ｘがエンコードされる。一例では、単項符号化剰余が変数Ｘより大きい場合、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘは１に設定され、そうでない場合、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘは０に設定される。ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが１に等しい場合、変数ｊは１だけ増加し、１＜＜ｊがＸに追加され、さらなるａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘがエンコードされる。この手順は、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが０に等しくなるまで続けられ、したがって、単項シーケンスの第２の部分がエンコードされる。ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが０に等しいとき、単項符号化剰余は値（Ｘ，Ｘ－１，．．．Ｘ－（１＜＜ｊ）＋１）のうちの１つとすることができる。長さｊのコードは、（Ｘ，Ｘ－１，．．．Ｘ－（１＜＜ｊ）＋１）内の１つの値を指すインデックスを符号化するために使用することができ、コードは固定長剰余と呼ぶことができる。
【0074】
図１３は、本開示のいくつかの実施形態による量子化重み係数の絶対値を復号するための一例を示す。図１３の例では、ＱｕａｎｔＷｅｉｇｈｔ［ｉ］は、アレイ内のｉ番目の位置での量子化重み係数を表し、ｓｉｇ＿ｆｌａｇは、量子化重み係数ＱｕａｎｔＷｅｉｇｈｔ［ｉ］が非ゼロ（例えば、ｓｉｇ＿ｆｌａｇが０であることは、ＱｕａｎｔＷｅｉｇｈｔ［ｉ］が０であることを示す）であるかどうかを指定し、ｓｉｇｎ＿ｆｌａｇは、量子化重み係数ＱｕａｎｔＷｅｉｇｈｔ［ｉ］が正であるか負であるかを指定し（例えば、ｓｉｇｎ＿ｆｌａｇが１であることは、ＱｕａｎｔＷｅｉｇｈｔ［ｉ］が負であることを示す）、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ［ｊ］は、ＱｕａｎｔＷｅｉｇｈｔ［ｉ］の絶対レベルがｊ＋１より大きいかどうかを示し（例えば、単項シーケンスの第１の部分）、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ２［ｊ］は、指数ゴロム剰余（例えば、単項シーケンスの第２の部分）の単項部を含み、ａｂｓ＿ｒｅｍａｉｎｄｅｒは固定長剰余を示す。
【0075】
本開示の一態様によれば、コンテキストモデリング手法を、３つのフラグｓｉｇ＿ｆｌａｇ、ｓｉｇｎ＿ｆｌａｇ、およびａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘの符号化に使用することができる。したがって、類似の統計的挙動を有するフラグを同じコンテキストモデルに関連付けることができ、その結果、確率推定器（コンテキストモデルの内部）は基礎となる統計に適応することができる。
【0076】
一例では、コンテキストモデリング手法は、左に隣接する量子化重み係数が０であるか、０より小さいか、または０より大きいかに応じて、ｓｉｇ＿ｆｌａｇに対して３つのコンテキストモデルを使用する。
【0077】
別の例では、コンテキストモデル手法は、左に隣接する量子化重み係数が０であるか、０より小さいか、または０より大きいかに応じて、ｓｉｇｎ＿ｆｌａｇに対して３つの他のコンテキストモデルを使用する。
【0078】
別の例では、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘフラグの各々について、コンテキストモデリング手法は、１つまたは２つの別々のコンテキストモデルのいずれかを使用する。一例では、Ｘ＜＝ｍａｘＮｕｍＮｏＲｅｍの場合、ｓｉｇｎ＿ｆｌａｇに応じて２つのコンテキストモデルが使用される。Ｘ＞ｍａｘＮｕｍＮｏＲｅｍの場合、一例では１つのコンテキストモデルのみが使用される。
【0079】
４．ＣＴＵ３Ｄおよび再帰的ＣＵ３Ｄブロック分割
いくつかの実施形態では、モデルパラメータテンソルは、各々が３Ｄ符号化ユニット（ＣＵ３Ｄ）ブロックにさらに分割されるＣＴＵ３Ｄブロックに分割することができる。ＣＵ３Ｄは、ピラミッド構造に基づいて分割および符号化することができる。例えば、ピラミッド構造は、３Ｄオクトツリー構造、３Ｄユニツリー構造、３Ｄタグツリー構造、または３Ｄユニタグツリー構造とすることができる。重み係数は、特定の訓練／再訓練演算後にローカル構造を有することができる。３Ｄオクトツリー、３Ｄユニツリー、３Ｄタグツリー、および／または３Ｄユニタグツリー構造を利用する符号化方法は、ＣＴＵ３Ｄ／ＣＵ３Ｄブロックの局所的な分布を利用することによって、より効率的な表現を生成することができる。これらのピラミッド構造に基づく方法は、ベースライン方法（すなわち、非ピラミッド構造ベースの符号化方法）と調和させることができる。
いくつかの実施形態では、モデルパラメータテンソルは、各々が３Ｄ符号化ユニット（ＣＵ３Ｄ）ブロックにさらに分割されるＣＴＵ３Ｄブロックに分割することができる。ＣＵ３Ｄは、ピラミッド構造に基づいて分割および符号化することができる。例えば、ピラミッド構造は、３Ｄオクトツリー構造、３Ｄユニツリー構造、３Ｄタグツリー構造、または３Ｄユニタグツリー構造とすることができる。重み係数は、特定の訓練／再訓練演算後にローカル構造を有することができる。３Ｄオクトツリー、３Ｄユニツリー、３Ｄタグツリー、および／または３Ｄユニタグツリー構造を利用する符号化方法は、ＣＴＵ３Ｄ／ＣＵ３Ｄブロックの局所的な分布を利用することによって、より効率的な表現を生成することができる。これらのピラミッド構造に基づく方法は、ベースライン方法（すなわち、非ピラミッド構造ベースの符号化方法）と調和させることができる。
【0080】
典型的には、重みテンソル（またはモデルパラメータテンソル）の次元は、［Ｒ］［Ｓ］［Ｃ］［Ｋ］のレイアウトを有する畳み込み層の場合４とすることができ、［Ｃ］［Ｋ］のレイアウトを有する完全接続層の場合は２、バイアスおよびバッチ通常層の場合は１とすることができる。ＲおよびＳは畳み込みカーネルサイズ（幅および高さ）を表し、Ｃは入力特徴サイズを表し、Ｋは出力特徴サイズを表す。
【0081】
一実施形態では、畳み込み層の場合、４Ｄテンソル［Ｒ］［Ｓ］［Ｃ］［Ｋ］が３Ｄテンソル［ＲＳ］［Ｃ］［Ｋ］に再成形されるように、２Ｄ［Ｒ］［Ｓ］次元を１Ｄ［ＲＳ］次元に再成形することができる。完全接続層は、Ｒ＝Ｓ＝１の３Ｄテンソルの特殊なケースとして扱われる。
【0082】
一実施形態では、３Ｄテンソル［ＲＳ］［Ｃ］［Ｋ］は、重なり合わないより小さいブロック（ＣＴＵ３Ｄ）で［Ｃ］［Ｋ］平面に沿って分割することができる。各ＣＴＵ３Ｄは、［ＲＳ］［ｃｔｕ３ｄ＿ｈｅｉｇｈｔ］［ｃｔｕ３ｄ＿ｗｉｄｔｈ］の形状を有し、ここで、一例では、ｃｔｕ３ｄ＿ｈｅｉｇｈｔ＝ｍａｘ＿ｃｔｕ３ｄ＿ｈｅｉｇｈｔおよびｃｔｕ３ｄ＿ｗｉｄｔｈ＝ｍａｘ＿ｃｔｕ３ｄ＿ｗｉｄｔｈである。ＣＴＵ３Ｄがテンソルの右および／または下に位置する場合、そのｃｔｕ３ｄ＿ｈｅｉｇｈｔはＣ／ｍａｘ＿ｃｔｕ３ｄ＿ｈｅｉｇｈｔの剰余であり、そのｃｔｕ３ｄ＿ｗｉｄｔｈはＫ／ｍａｘ＿ｃｔｕ３ｄ＿ｗｉｄｔｈの剰余である。
【0083】
一実施形態では、ｍａｘ＿ｃｔｕ３ｄ＿ｈｅｉｇｈｔおよびｍａｘ＿ｃｔｕ３ｄ＿ｗｉｄｔｈの値は、ビットストリーム内で明示的にシグナリングすることができる、または明示的に推測することができる。一例では、ｍａｘ＿ｃｔｕ３ｄ＿ｈｅｉｇｈｔ＝Ｃおよびｍａｘ＿ｃｔｕ３ｄ＿ｗｉｄｔｈ＝Ｋの場合、ブロック分割は無効化される。
【0084】
一実施形態では、ＣＴＵ３Ｄ／ＣＵ３Ｄがより小さいＣＵ３Ｄに再帰的に分割される単純化されたブロッキング構造は、最大再帰深度に達するまでクワッドツリー構造を使用して再帰的に実行することができる。ＣＴＵ３Ｄノードから開始して、ＣＵ３Ｄブロックのこのクワッドツリーは、深さ優先クワッドツリー走査順序を使用して走査および処理することができる。同じ親ノードの下にある子ノードは、水平方向または垂直方向のいずれかでラスタ走査順序を使用して走査および処理される。
【0085】
図１４は、垂直方向におけるラスタ走査を使用する適応型ＣＴＵ３Ｄ／ＣＵ３Ｄ分割の２つの例を示す。
【0086】
一実施形態では、所与のクワッドツリー深さのＣＵ３Ｄについて、これらのＣＵ３Ｄのｍａｘ＿ＣＵ３Ｄ＿ｈｅｉｇｈｔ／ｍａｘ＿ＣＵ３Ｄ＿ｗｉｄｔｈは、以下の式を使用して計算される。
ｍａｘ＿ｃｕ３ｄ＿ｈｅｉｇｈｔ＝ｍａｘ＿ｃｔｕ３ｄ＿ｈｅｉｇｈｔ＞＞ｄｅｐｔｈ
ｍａｘ＿ｃｕ３ｄ＿ｗｉｄｔｈ＝ｍａｘ＿ｃｔｕ３ｄ＿ｗｉｄｔｈ＞＞ｄｅｐｔｈ
ｍａｘ＿ｃｕ３ｄ＿ｈｅｉｇｈｔ＝ｍａｘ＿ｃｔｕ３ｄ＿ｈｅｉｇｈｔ＞＞ｄｅｐｔｈ
ｍａｘ＿ｃｕ３ｄ＿ｗｉｄｔｈ＝ｍａｘ＿ｃｔｕ３ｄ＿ｗｉｄｔｈ＞＞ｄｅｐｔｈ
【0087】
ｍａｘ＿ＣＵ３Ｄ＿ｈｅｉｇｈｔおよびｍａｘ＿ＣＵ３Ｄ＿ｗｉｄｔｈの両方が所定の閾値以下である場合、最大再帰深度に達する。この閾値は、明示的にビットストリームに含めることができるか、またはデコーダによって暗黙的に推測することができる所定の数（８など）とすることができる。この再帰的分割は、所定の閾値がＣＴＵ３Ｄのサイズである場合に無効にされる。
【0088】
一実施形態では、親ＣＵ３Ｄを複数のより小さい子ＣＵ３Ｄに分離するかどうかを決定するためのレート歪み（ＲＤ）ベースのエンコードアルゴリズムが使用される。これらのより小さい子ＣＵ３Ｄの合成されたＲＤが親ＣＵ３ＤからのＲＤよりも小さい場合、親ＣＵ３Ｄは複数のより小さい子ＣＵ３Ｄに分離される。そうでなければ、この親ＣＵ３Ｄはそれ以上分離されない。分離フラグは、それぞれの分離決定を記録するように定義される。このフラグは、ＣＵ分割の最後の深さではスキップすることができる。
【0089】
一実施形態では、再帰的ＣＵ３Ｄブロック分割演算は、ＣＴＵ３ＤをＣＵ３Ｄブロックに分割するためにクワッドツリー構造に基づいて実行され、分離フラグは、クワッドツリー構造内のノードにおいて各分離決定を記録するように定義される。
【0090】
別の実施形態では、再帰的ＣＵ３Ｄブロック分割演算はＣＴＵ３Ｄブロック内で実行されず、分離決定を記録するための分離フラグは定義されない。この場合、ＣＵ３Ｄブロックは、ＣＴＵ３Ｄブロックと同一である。
【0091】
５．３Ｄピラミッド構造
様々な実施形態において、ピラミッド構造（または３Ｄピラミッド構造）は、各内部ノードが８つの子を有することができるツリーデータ構造とすることができる。３Ｄピラミッド構造を使用して、ｚ軸、ｙ軸、およびｘ軸に沿って３Ｄテンソル（またはＣＴＵ３ＤもしくはＣＵ３Ｄなどのサブブロック）を８つのオクタントに再帰的に細分化することによって３Ｄテンソルを分割することができる。
様々な実施形態において、ピラミッド構造（または３Ｄピラミッド構造）は、各内部ノードが８つの子を有することができるツリーデータ構造とすることができる。３Ｄピラミッド構造を使用して、ｚ軸、ｙ軸、およびｘ軸に沿って３Ｄテンソル（またはＣＴＵ３ＤもしくはＣＵ３Ｄなどのサブブロック）を８つのオクタントに再帰的に細分化することによって３Ｄテンソルを分割することができる。
【0092】
図１５は、３Ｄピラミッド構造に基づく例示的な分割プロセスを示す。図１５に示すように、３Ｄオクトツリー（１５０５）は、各内部ノード（１５１０）が正確に８つの子ノード（１５１５）を有するツリーデータ構造である。３Ｄオクトツリー（１５０５）は、３次元テンソル（１５２０）をｚ軸、ｙ軸、およびｘ軸に沿って８つのオクタント（１５２５）に再帰的に細分化することによってそれを分割するために使用される。３Ｄオクトツリー（１５０５）の最後の深さのノードは、２ｘ２ｘ２係数のサイズを有するブロックとすることができる。
【0093】
様々な実施形態では、エンコーダ側またはデコーダ側においてＣＵ３Ｄ内の係数を表すために３Ｄピラミッド構造を構築するために異なる方法を採用することができる。
【0094】
一実施形態では、ＣＵ３Ｄの３Ｄオクトツリーは以下のように構築することができる。最後の深さにおける３Ｄオクトツリー位置のノード値１は、対応するノード内のコードブックインデックス（コードブック符号化方法が使用される場合）または係数（直接量子化符号化方法が使用される場合）が非ゼロであることを示す。最下部の深さの３Ｄオクトツリー位置のノード値０は、対応するノード内のコードブックインデックスまたは係数が０であることを示す。他の深さにおける３Ｄオクトツリー位置のノード値は、その８つの子ノードの最大値として定義される。
【0095】
一実施形態では、ＣＵ３Ｄについての３Ｄユニツリーは、以下のように構築することができる。最後の深さ以外の深さの３Ｄユニツリー位置のノード値１は、その子ノード（およびそれらの子ノード（最後の深さにおけるノードを含む）が統一化されていない（異なる）値を有することを示し、最後の深さ以外の深さにおける３Ｄユニツリー位置のノード値０は、そのすべての子ノード（および最後の深さのノードを含むそれらの子ノード）が統一化された（同一の）絶対値を有することを示す。
【0096】
一実施形態では、ＣＵ３Ｄについての３Ｄタグツリーは、以下のように構築することができる。最後の深さにおける３Ｄタグツリー位置のノード値は、対応するＣＵ３Ｄ内のコードブックインデックスの絶対値（コードブック符号化方法が使用される場合）または絶対係数（直接量子化符号化方法が使用される場合）が非ゼロであることを示す。他の深さにおける３Ｄタグツリー位置のノード値は、その８つの子ノードの最大値として定義される。別の実施形態では、他の深さにおける３Ｄタグツリー位置のノード値は、その８つの子ノードの最大値として定義することができる。
【0097】
一実施形態では、ＣＵ３Ｄについての３Ｄユニタグツリーは、３Ｄタグツリーと３Ｄユニツリーとを組み合わせることによって構築される。
【0098】
異なる深さ／異なる高さ／異なる幅を有するいくつかのＣＵ３Ｄブロックについては、すべての親ノードが利用可能な８つすべての子ノードを有する完全な３Ｄピラミッドを構築するのに十分ではない係数が存在し得ることに留意されたい。親ノードが８つすべての子ノードを持たない場合、これらの存在しない子ノードの走査およびエンコードはスキップすることができる。
【0099】
６．３Ｄピラミッド走査順序
３Ｄピラミッドが構築された後、エンコーダ側でノード値をエンコードするか、またはデコーダ側でノード値を復号するために、所定の走査順序を使用してすべてのノードをウォークスルーすることができる。
３Ｄピラミッドが構築された後、エンコーダ側でノード値をエンコードするか、またはデコーダ側でノード値を復号するために、所定の走査順序を使用してすべてのノードをウォークスルーすることができる。
【0100】
一実施形態では、トップノードから開始して、深さ優先探索走査順序を使用して、すべてのノードをウォークスルーすることができる。同じ親ノードを共有する子ノードに対する走査順序は、（０，０，０）→（０，０，１）→（０，１，０）→（０，１，１）→（１，０，０）→（１，０，１）→（１，１，０）→（１，１，１）など、任意に定義可能である。
【0101】
別の実施形態では、トップノードから開始して、幅優先探索を利用してすべてのノードをウォークスルーすることができる。各ピラミッド深さは３Ｄ形状であるため、各深さにおける走査順序は任意に定義することができる。一実施形態では、走査順序は、ピラミッド符号化方法と整列させるために以下の擬似コードを使用して定義される。
ｆｏｒ（ｉｎｔ ｄ＝ｓｔａｒｔ＿ｄｅｐｔｈ；ｄ＜ｔｏｔａｌ＿ｄｅｐｔｈ；＋＋ｄ）
ｆｏｒ（ｉｎｔ ｂｙ＝０；ｂｙ＜ｈｅｉｇｈｔ［ｄ］；ｂｙ＋＝２）
ｆｏｒ（ｉｎｔ ｂｘ＝０；ｂｘ＜ｗｉｄｔｈ［ｄ］；ｂｘ＋＝２）
ｆｏｒ（ｉｎｔ ｂｚ＝０；ｂｚ＜ｌｅｎｇｔｈ［ｄ］；ｂｚ＋＝２）
ｆｏｒ（ｉｎｔ ｙ＝ｂｙ；ｙ＜ｂｙ＋ｍｉｎ（２，ｈｅｉｇｈｔ［ｄ］－ｂｙ）；＋＋ｙ）
ｆｏｒ（ｉｎｔ ｘ＝ｂｘ；ｘ＜ｂｘ＋ｍｉｎ（２，ｗｉｄｔｈ［ｄ］－ｂｘ）；＋＋ｘ）
ｆｏｒ（ｉｎｔ ｚ＝ｂｚ；ｚ＜ｂｚ＋ｍｉｎ（２，ｌｅｎｇｔｈ［ｄ］－ｂｚ）；＋＋ｚ）
ｐｒｏｃｅｓｓ ｎｏｄｅ［ｄ］［ｚ］［ｙ］［ｘ］．．．．．．
ｆｏｒ（ｉｎｔ ｄ＝ｓｔａｒｔ＿ｄｅｐｔｈ；ｄ＜ｔｏｔａｌ＿ｄｅｐｔｈ；＋＋ｄ）
ｆｏｒ（ｉｎｔ ｂｙ＝０；ｂｙ＜ｈｅｉｇｈｔ［ｄ］；ｂｙ＋＝２）
ｆｏｒ（ｉｎｔ ｂｘ＝０；ｂｘ＜ｗｉｄｔｈ［ｄ］；ｂｘ＋＝２）
ｆｏｒ（ｉｎｔ ｂｚ＝０；ｂｚ＜ｌｅｎｇｔｈ［ｄ］；ｂｚ＋＝２）
ｆｏｒ（ｉｎｔ ｙ＝ｂｙ；ｙ＜ｂｙ＋ｍｉｎ（２，ｈｅｉｇｈｔ［ｄ］－ｂｙ）；＋＋ｙ）
ｆｏｒ（ｉｎｔ ｘ＝ｂｘ；ｘ＜ｂｘ＋ｍｉｎ（２，ｗｉｄｔｈ［ｄ］－ｂｘ）；＋＋ｘ）
ｆｏｒ（ｉｎｔ ｚ＝ｂｚ；ｚ＜ｂｚ＋ｍｉｎ（２，ｌｅｎｇｔｈ［ｄ］－ｂｚ）；＋＋ｚ）
ｐｒｏｃｅｓｓ ｎｏｄｅ［ｄ］［ｚ］［ｙ］［ｘ］．．．．．．
【0102】
別の実施形態では、エンコードプロセスまたは復号プロセスに関与する第１の深さを示すために、ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈシンタックス要素を使用することができる。所定の走査順序を使用してすべてのノードをウォークするとき、このノードの深さがｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈを上回る場合、現在のノード値のエンコードはスキップされる。複数のＣＵ３Ｄ、ＣＴＵ３Ｄ、層またはモデルは、１つのｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈを共有することができる。このシンタックス要素は、ビットストリーム内で明示的にシグナリングすることができるか、または事前定義されて明示的に推論される場合もある。
【0103】
一実施形態では、ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈはビットストリームにおいて明示的にシグナリングされる。別の実施形態では、ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈは事前定義され、明示的に推論される。別の実施形態では、ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈは、３Ｄピラミッド構造の最後の深さに設定され、明示的に推論される。
【0104】
７．３Ｄピラミッド符号化方法
デコーダ側では、３Ｄピラミッド構造が構築された後、対応する符号化方法を実行して、すべてのノードをウォークスルーし、異なる３Ｄツリーによって表される係数をエンコードすることができる。デコーダ側では、異なる符号化方法に対応して、エンコードされた係数をそれに応じて復号することができる。
デコーダ側では、３Ｄピラミッド構造が構築された後、対応する符号化方法を実行して、すべてのノードをウォークスルーし、異なる３Ｄツリーによって表される係数をエンコードすることができる。デコーダ側では、異なる符号化方法に対応して、エンコードされた係数をそれに応じて復号することができる。
【0105】
３Ｄオクトツリーの場合、親ノードの値が０である場合、その子ノード（およびそれらの子ノード）の走査およびエンコードは、それらの値が常に０であるべきであるためスキップされる。親ノードの値が１であり、最後以外のすべての子ノードの値がすべて０である場合、最後の子ノードを走査することができるが、その値のエンコードは常に１であるべきであるためスキップされる。現在の深さがピラミッドの最後の深さであり、現在のノード値が１である場合、コードブック方法が使用されないときにマップ値の符号がエンコードされ、続いてマップ値（量子化値）自体がエンコードされる。
【0106】
３Ｄユニツリーの場合、一実施形態では、所与のノードの値をエンコードすることができる。ノード値が０である場合、対応する統一化値をエンコードすることができ、その子ノード（およびそれらの子ノード）のエンコードは、それらの絶対値が常に統一化値に等しくなければならないのでスキップすることができる。最下部の深さに達するまで子ノードを走査することができ、ノード値が非ゼロである場合、各子ノードの符号ビットをエンコードすることができる。
【0107】
３Ｄユニツリーの場合、別の実施形態では、所与のノードの値をエンコードすることができる。ノード値が０である場合、その対応する統一化値をエンコードすることができ、その子ノード（およびそれらの子ノード）の走査およびエンコードは、それらの絶対値が常に統一化値に等しくなければならないため、スキップすることができる。そして、このＣＵ３Ｄ内のすべてのノードが処理された後、ピラミッド構造を再び走査することができ、ノード値が非ゼロである場合、最下部の深さの各子ノードの符号ビットをエンコードすることができる。
【0108】
３Ｄタグツリーの場合、ノードが親ノードを有さないトップノードである場合、その値をエンコードすることができる。任意の子ノードについて、親ノードとこの子ノードとの間の差をエンコードすることができる。親ノードの値がＸであり、最後の子ノード以外のすべての値がＸより大きい場合、最後の子ノードを走査することはできるが、その値のエンコードは常にＸであるはずなのでスキップされる。
【0109】
３Ｄ＿ユニタグツリーの場合、最初にユニツリーからの所与のノードの値をエンコードすることができる。その後、ノードが親ノードを有さないトップノードである場合のタグツリー値、または親ノードとこの子ノードとの間のタグツリー値の差のいずれかをエンコードするために、タグツリー符号化方法を使用することができる。また、タグツリー符号化セクションにおいて導入されノードスキップ方法も採用されている。ユニツリーノード値が０である場合、その子ノード（およびその子ノード）の走査およびエンコードは、それらの値が常に統一化値に等しくなければならないため、スキップすることができる。
【0110】
一実施形態では、ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈが最後の深さである場合、本明細書に記載のこれらの係数スキップ方法は、すべての係数がエンコードされるように無効化することができる。一例では、シンタックス要素は、３Ｄピラミッド構造の開始の深さを示すデコーダ側のビットストリーム内で受信することができる。開始の深さが３Ｄピラミッド構造の最後の深さであるとき、モデルパラメータテンソルのモデルパラメータは、非３Ｄピラミッドツリーベースの復号方法を使用してビットストリームから復号することができる。
【0111】
別の実施形態では、ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈが最後の深さであるとき、本明細書に記載のこれらの係数スキップ方法を利用するために、開始の深さが最後から２番目の深さになるように開始の深さを調整することによって３Ｄピラミッドツリーをエンコードすることができる。一例では、３Ｄピラミッド構造における開始の深さを示すシンタックス要素は、デコーダにおいてビットストリームで受信することができる。開始の深さが３Ｄピラミッド構造の最後の深さであるとき、復号プロセスは、デコーダにおいて３Ｄピラミッド構造の深さの最後から２番目の深さから開始することができる。
【0112】
別の実施形態では、ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈが最後の深さである場合、３Ｄユニタグツリーの場合、ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈが最後から２番目の深さになるようにｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈを調整することによって３Ｄピラミッドツリーのユニツリー部をエンコードすることができる。３Ｄピラミッドツリーのタグツリー部は、ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈを調整せずにエンコードされ得る。一例では、３Ｄピラミッド構造における開始の深さを示すシンタックス要素は、デコーダにおいてビットストリームで受信することができる。開始の深さが３Ｄピラミッド構造の最後の深さであり、かつ３Ｄピラミッド構造がユニツリー部エンコードおよびタグツリー部エンコードに関連付けられたユニタグツリー構造である場合、デコーダにおいて以下のように復号プロセスを実行することができる。ユニツリー部エンコードの場合、復号プロセスの受信は、３Ｄピラミッド構造の深さの最後から２番目の深さから開始することができる。タグツリー部エンコードの場合、復号プロセスは、３Ｄピラミッド構造の深さの最後の深さから開始することができる。
【0113】
８．依存量子化
いくつかの実施形態では、依存スカラ量子化方法がニューラルネットワークパラメータ近似に使用される。関連するエントロピー符号化方法を使用して、量子化方法と協働することができる。この方法は、量子化されたパラメータ値間の依存性を導入し、パラメータ近似の歪みを低減する。追加として、エントロピー符号化段階で依存性を利用することができる。
いくつかの実施形態では、依存スカラ量子化方法がニューラルネットワークパラメータ近似に使用される。関連するエントロピー符号化方法を使用して、量子化方法と協働することができる。この方法は、量子化されたパラメータ値間の依存性を導入し、パラメータ近似の歪みを低減する。追加として、エントロピー符号化段階で依存性を利用することができる。
【0114】
依存量子化では、ニューラルネットワークパラメータ（例えば、重みパラメータ）の許容可能な再構成値は、再構成順序における先行するニューラルネットワークパラメータの選択された量子化インデックスに依存する。この手法の主な効果は、従来のスカラ量子化と比較して、許容可能な再構成ベクトル（層のすべての再構成されたニューラルネットワークパラメータによって与えられる）がＮ次元（Ｎは層内のパラメータの数を表す）ベクトル空間でより高密度にパックされることである。すなわち、Ｎ次元単位体積当たりの許容可能な再構成ベクトルの所与の平均数に対して、入力ベクトルと最も近い再構成ベクトルとの間の平均距離（例えば、平均二乗誤差（ＭＳＥ）または平均絶対誤差（ＭＡＥ）歪み）が（入力ベクトルの典型的な分布に対して）低減される。
【0115】
依存量子化プロセスでは、パラメータは、再構成された値の間の依存性のために、走査順（エントロピー復号されるのと同じ順序）で再構成することができる。次に、依存スカラ量子化の方法は、異なる再構成レベルを有する２つのスカラ量子化器を定義し、２つのスカラ量子化器を切り替えるためのプロセスを定義することによって実現することができる。したがって、各パラメータに対して、図１６に示すように、利用可能なスカラ量子化器が２つ存在し得る。
【0116】
図１６は、本開示の実施形態に従って使用される２つのスカラ量子化器を示す。第１の量子化器Ｑ０は、ニューラルネットワークパラメータレベル（点の下の－４から４までの数）を量子化ステップサイズΔの偶数倍にマッピングする。第２の量子化器Ｑ１は、ニューラルネットワークパラメータレベル（－５から５までの数）を量子化ステップサイズΔの奇数倍または０にマッピングする。
【0117】
量子化器Ｑ０およびＱ１の両方について、利用可能な再構築レベルの位置は、量子化ステップサイズΔによって一意に指定される。２つのスカラ量子化器Ｑ０およびＱ１は、以下のように特徴付けられる。
【0118】
Ｑ０：第１の量子化器Ｑ０の再構築レベルは、量子化ステップサイズΔの偶数倍によって与えられる。この量子化器が使用される場合、再構築されたニューラルネットワークパラメータｔ’は、以下に従って計算され、
ｔ’＝２・ｋ・Δ、
ここで、ｋは、関連するパラメータレベル（送信された量子化インデックス）を表す。
ｔ’＝２・ｋ・Δ、
ここで、ｋは、関連するパラメータレベル（送信された量子化インデックス）を表す。
【0119】
Ｑ１：第２の量子化器Ｑ１の再構築レベルは、量子化ステップサイズΔの奇数倍と、０に等しい再構築レベルとによって与えられる。ニューラルネットワークのパラメータレベルｋの再構築されたパラメータｔ’へのマッピングは、以下によって指定され、
ｔ’＝（２・ｋ－ｓｇｎ（ｋ））・Δ、
ここで、ｓｇｎ（・）は、ｓｉｇｎｕｍ関数を表す。
ｔ’＝（２・ｋ－ｓｇｎ（ｋ））・Δ、
ここで、ｓｇｎ（・）は、ｓｉｇｎｕｍ関数を表す。
【数1】
【0120】
現在の重みパラメータに対して使用される量子化器（Ｑ０またはＱ１）をビットストリーム内で明示的にシグナリングする代わりに、それは、符号化順序／再構築順序において現在の重みパラメータに先行する重みパラメータレベルのパリティによって決定される。量子化器間の切り替えは、表１によって表されるステートマシンを介して実現される。状態は８つの可能な値（０，１，２，３，４，５，６，７）を有し、符号化順序／再構築順序において現在の重みパラメータに先行する重みパラメータレベルのパリティによって一意に決定される。各層について、状態変数は最初に０に設定される。重みパラメータが再構築されると、状態は表１に従ってその後更新され、ここで、ｋは変換係数レベルの値を表す。次の状態は、現在の状態および現在の重みパラメータレベルｋのパリティ（ｋ＆１）に依存する。したがって、状態の更新は、以下によって取得することができ、
ｓｔａｔｅ＝ｓｔｔａｂ［ｓｔａｔｅ］［ｋ＆１］
ここで、ｓｔｔａｂは表１を表す。
ｓｔａｔｅ＝ｓｔｔａｂ［ｓｔａｔｅ］［ｋ＆１］
ここで、ｓｔｔａｂは表１を表す。
【0121】
表１は、ニューラルネットワークパラメータに使用されるスカラ量子化器を決定するための状態遷移表を示し、ここで、ｋはニューラルネットワークパラメータの値を表す。
【0122】
【表1】
【0123】
状態は、使用されるスカラ量子化器を一意に指定する。現在の重みパラメータの状態値が偶数である場合（０，２，４，６）、スカラ量子化器Ｑ０が使用される。そうではなく、状態値が奇数である場合（１，３，５，７）、スカラ量子化器Ｑ１が使用される。
【0124】
いくつかの実施形態では、ベースライン符号化方法（３Ｄピラミッド構造ベースのエンコード方法／復号方法が使用されない）を利用することができる。ベースライン符号化方法では、モデルパラメータテンソルのすべての係数を走査し、走査順に従ってエントロピー符号化することができる。ベースライン符号化方法と組み合わせて使用される依存量子化プロセスの場合、係数は走査順に（エントロピー復号されるのと同じ順序で）再構築することができる。
【0125】
本明細書に記載される３Ｄピラミッド符号化方法の性質により、モデルパラメータテンソル内の特定の係数は、エントロピー符号化プロセスからスキップすることができる。したがって、一実施形態では、３Ｄピラミッド符号化方法が使用される場合、（モデルパラメータテンソル内のすべての係数に対して作用する）依存量子化プロセスを無効にすることができる。
【0126】
別の実施形態では、３Ｄピラミッド符号化方法が使用される場合、依存量子化プロセスを有効にすることができる。例えば、依存量子化構築プロセスは、これらの係数がエントロピー符号化プロセスからスキップされる場合、これらの係数を依存量子化係数の構築から除外することができるように修正することができる。一例では、ＣＵ３Ｄが３Ｄピラミッド構造に基づいて分割されていることを１つまたは複数のシンタックス要素が示す場合、ＣＵ３Ｄに対して依存量子化構築プロセスを実行することができる。３Ｄピラミッド構造に基づくエンコードプロセス中にスキップされるＣＵ３Ｄのモデルパラメータは、依存量子化構築プロセスから除外される。
【0127】
別の実施形態では、係数の絶対値が依存量子化において使用される。
【0128】
９．エントロピー符号化のためのコンテキスト
いくつかの実施形態では、依存量子化が使用されない場合、コンテキストモデリングを以下のように実行することができる。
いくつかの実施形態では、依存量子化が使用されない場合、コンテキストモデリングを以下のように実行することができる。
【0129】
３Ｄオクトツリーベースの符号化方法においてＯｃｔ＿ｆｌａｇで表されるオクトツリーノード値、およびｓｉｇｎで表される符号について、ｃｔｘで表されるコンテキストモデルインデックスは、以下に従って決定することができ、
Ｏｃｔ＿ｆｌａｇ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｏｃｔ［ｄ］［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｐ１＝（ｚ＞＝２）？ｏｃｔ［ｄ］［ｚ－２］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝ｐ１）？！！ｐ０：２；
ｓｉｇｎ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｍａｐ［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：（ｐ０＜０）？１：２である。
上記の計算において、ｏｃｔ［ｄ］［ｚ］［ｙ］［ｘ］は、ｄの深さにおける［ｚ］［ｙ］［ｘ］の位置におけるノード値を表し、ｍａｐ［ｚ］［ｙ］［ｘ］は、［ｚ］［ｙ］［ｘ］の位置の量子化値を表す。
Ｏｃｔ＿ｆｌａｇ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｏｃｔ［ｄ］［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｐ１＝（ｚ＞＝２）？ｏｃｔ［ｄ］［ｚ－２］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝ｐ１）？！！ｐ０：２；
ｓｉｇｎ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｍａｐ［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：（ｐ０＜０）？１：２である。
上記の計算において、ｏｃｔ［ｄ］［ｚ］［ｙ］［ｘ］は、ｄの深さにおける［ｚ］［ｙ］［ｘ］の位置におけるノード値を表し、ｍａｐ［ｚ］［ｙ］［ｘ］は、［ｚ］［ｙ］［ｘ］の位置の量子化値を表す。
【0130】
３Ｄユニツリーベースの符号化方法において、ｎｚ＿ｆｌａｇで表される非ゼロフラグ、および ｓｉｇｎで表される符号について、ｃｔｘで表されるコンテキストモデルインデックスは、以下に従って決定することができ、
ｎｚ＿ｆｌａｇ：
ｉｎｔ ｐ０＝（ｌａｓｔ＿ｄｅｐｔｈ＆＆ｍａｐ＿ｚ＞＝１）？ｓｔｄ：：ａｂｓ（ｍａｐ［ｍａｐ＿ｚ－１］［ｍａｐ＿ｙ］［ｍａｐ＿ｘ］）：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：１；
ｓｉｇｎ：
ｉｎｔ ｐ０＝（ｚ ＞＝１）？ ｍａｐ［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：（ｐ０＜０）？１：２である。
ｎｚ＿ｆｌａｇ：
ｉｎｔ ｐ０＝（ｌａｓｔ＿ｄｅｐｔｈ＆＆ｍａｐ＿ｚ＞＝１）？ｓｔｄ：：ａｂｓ（ｍａｐ［ｍａｐ＿ｚ－１］［ｍａｐ＿ｙ］［ｍａｐ＿ｘ］）：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：１；
ｓｉｇｎ：
ｉｎｔ ｐ０＝（ｚ ＞＝１）？ ｍａｐ［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：（ｐ０＜０）？１：２である。
【0131】
３Ｄタグツリーベースの符号化方法の場合、ｎｚ＿ｆｌａｇで表される非ゼロフラグ、およびｓｉｇｎで表される符号の、ｃｔｘで表されるコンテキストモデルインデックスは、以下に従って決定することができ、
ｎｚ＿ｆｌａｇ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｔｇｔ［ｄ］［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｐ１＝（ｚ＞＝２）？ｔｇｔ［ｄ］［ｚ－２］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝ｐ１）？！！ｐ０：２；
ｓｉｇｎ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｔｇｔ［ｄ］［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：（ｐ０＜０）？１：２であり、
ここで、ｔｇｔ［ｄ］［ｚ］［ｙ］［ｘ］は、ｄの深さにおける［ｚ］［ｙ］［ｘ］の位置におけるノード値である。
ｎｚ＿ｆｌａｇ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｔｇｔ［ｄ］［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｐ１＝（ｚ＞＝２）？ｔｇｔ［ｄ］［ｚ－２］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝ｐ１）？！！ｐ０：２；
ｓｉｇｎ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｔｇｔ［ｄ］［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：（ｐ０＜０）？１：２であり、
ここで、ｔｇｔ［ｄ］［ｚ］［ｙ］［ｘ］は、ｄの深さにおける［ｚ］［ｙ］［ｘ］の位置におけるノード値である。
【0132】
３Ｄ＿ユニタグツリーの場合、ｎｚ＿ｆｌａｇで表される非ゼロフラグおよびｓｉｇｎで表される符号の、ｃｔｘで示されるコンテキストモデルインデックスは、以下に従って決定することができ、
ｎｚ＿ｆｌａｇ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｔｇｔ［ｄ］［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｐ１＝（ｚ＞＝２）？ｔｇｔ［ｄ］［ｚ－２］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝ｐ１）？！！！ｐ０：２；
ｓｉｇｎ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｍａｐ［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：（ｐ０＜０）？１：２である。
ｎｚ＿ｆｌａｇ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｔｇｔ［ｄ］［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｐ１＝（ｚ＞＝２）？ｔｇｔ［ｄ］［ｚ－２］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝ｐ１）？！！！ｐ０：２；
ｓｉｇｎ：
ｉｎｔ ｐ０＝（ｚ＞＝１）？ｍａｐ［ｚ－１］［ｙ］［ｘ］：０；
ｉｎｔ ｃｔｘ＝（ｐ０＝＝０）？０：（ｐ０＜０）？１：２である。
【0133】
一例では、依存量子化が使用される場合、ｎｚ＿ｆｌａｇについてのコンテキストモデリングは、ｃｔｘ＝ｃｔｘ＋３＊ｓｔａｔｅ＿ｉｄとなるように調整することができる。
【0134】
１０．シンタックスクリーンアップ
ＣＵ３Ｄ内のすべての係数が統一化されることが可能である。一実施形態では、ＣＵ３Ｄ内のすべての係数が統一化されているかどうかを示すために、ｕａｆｌａｇをＣＵ３Ｄヘッダ内に定義することができる。一例では、ｕａｆｌａｇ＝１の値は、このＣＵ３Ｄ内のすべての係数が統一化されていることを示す。
ＣＵ３Ｄ内のすべての係数が統一化されることが可能である。一実施形態では、ＣＵ３Ｄ内のすべての係数が統一化されているかどうかを示すために、ｕａｆｌａｇをＣＵ３Ｄヘッダ内に定義することができる。一例では、ｕａｆｌａｇ＝１の値は、このＣＵ３Ｄ内のすべての係数が統一化されていることを示す。
【0135】
一実施形態では、ＣＴＵ３Ｄ内のすべてのＣＵ３Ｄブロックが同じｍａｐ＿ｍｏｄｅを共有するかどうかを示すために、ｃｔｕ３ｄ＿ｍａｐ＿ｍｏｄｅ＿ｆｌａｇを定義することができる。ｍａｐ＿ｍｏｄｅは、ｃｔｕ３ｄ＿ｍａｐ＿ｍｏｄｅ＿ｆｌａｇ＝１である場合にシグナリングされる。このフラグは、間接的に（０として）推測することもできることに留意されたい。
【0136】
一実施形態では、ｅｎａｂｌｅ＿ｓｔａｒｔ＿ｄｅｐｔｈは、ｃｕ３ｄエンコードが最下部の深さ以外の深さから開始できるかどうかを示すように定義することができる。ｅｎａｂｌｅ＿ｓｔａｒｔ＿ｄｅｐｔｈ＝１である場合、ｓｔａｒｔ＿ｄｅｐｔｈ（またはｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈ）は、シグナリングされる。このフラグは、間接的に（１として）推測することもできることに留意されたい。
【0137】
一実施形態では、ｅｎａｂｌｅ＿ｚｄｅｐ＿ｒｅｏｒｄｅｒフラグは、ｚｄｅｐ＿ａｒｒａｙの並べ替えが可能であるかどうかを示すように定義することができる。このフラグは、間接的に（０として）推測することもできることに留意されたい。
【0138】
１１．ベースライン符号化方法とピラミッド符号化方法の調和
ベースライン方法では、重みテンソルは、［ｏｕｔｐｕｔ＿ｃｈａｎｎｅｌ］［ｉｎｐｕｔ＿ｃｈａｎｎｅｌ＊ｋｅｒｎｅｌ ｓｉｚｅ］の形状を有する２Ｄ行列に再成形することができる。同じカーネル内の係数は、連続するメモリ位置に格納される。ｓｉｇ＿ｆｌａｇとｓｉｇｎ＿ｆｌａｇのコンテキストを計算する際、近傍係数は、現在の係数の前に処理される最後の係数として定義される。例えば、１つのカーネルにおける第１の係数の近傍係数は、前のカーネルにおける最後の係数である。
ベースライン方法では、重みテンソルは、［ｏｕｔｐｕｔ＿ｃｈａｎｎｅｌ］［ｉｎｐｕｔ＿ｃｈａｎｎｅｌ＊ｋｅｒｎｅｌ ｓｉｚｅ］の形状を有する２Ｄ行列に再成形することができる。同じカーネル内の係数は、連続するメモリ位置に格納される。ｓｉｇ＿ｆｌａｇとｓｉｇｎ＿ｆｌａｇのコンテキストを計算する際、近傍係数は、現在の係数の前に処理される最後の係数として定義される。例えば、１つのカーネルにおける第１の係数の近傍係数は、前のカーネルにおける最後の係数である。
【0139】
一実施形態では、コンテキストモデルインデックスを計算するために、１つのカーネルにおける第１の係数について、その近傍係数の値は、前のカーネルにおける最後の係数の値の代わりに０に設定される。
【0140】
一実施形態では、３Ｄピラミッド符号化プロセス中に、量子化モードがコードブックモードではなく、かつｓｔａｒｔ＿ｄｅｐｔｈが最後のピラミッド深さである場合、ベースライン符号化方法が選択され、そのＲＤが計算され、他のモード（例えば、３Ｄピラミッド構造ベースの符号化方法）と比較される。
【0141】
一実施形態では、ｃｔｕ３ｄ＿ｗｉｄｔｈおよび／またはｃｔｕ３ｄ＿ｈｅｉｇｈｔが１である場合、ベースライン符号化方法が自動的に選択される。
【0142】
１２．３Ｄピラミッド符号化のシンタックステーブル
本開示の付記Ｂでは、本明細書に開示される３Ｄピラミッド構造ベースの符号化手法の一例として、シンタックステーブル表の表２～表１７が列挙されている。列挙されたシンタックス表に採用されたシンタックス要素は、それぞれのシンタックス表の最後に定義される。
本開示の付記Ｂでは、本明細書に開示される３Ｄピラミッド構造ベースの符号化手法の一例として、シンタックステーブル表の表２～表１７が列挙されている。列挙されたシンタックス表に採用されたシンタックス要素は、それぞれのシンタックス表の最後に定義される。
【0143】
１３．ニューラルネットワークモデル圧縮のための統一化ベースの符号化方法
いくつかの実施形態では、統一化ベースの符号化方法を利用することができる。この層が３Ｄピラミッド構造ベースの符号化方法を使用してエンコードされるかどうかを示すために、畳み込み層および完全接続層に対してｌａｙｅｒ＿ｕｎｉｆｏｒｍ＿ｆｌａｇフラグを定義することができる。一例では、ｌａｙｅｒ＿ｕｎｉｆｏｒｍ＿ｆｌａｇフラグが第１の値（例えば、０）に等しい場合、この層はベースライン方法を用いてエンコードされる。
いくつかの実施形態では、統一化ベースの符号化方法を利用することができる。この層が３Ｄピラミッド構造ベースの符号化方法を使用してエンコードされるかどうかを示すために、畳み込み層および完全接続層に対してｌａｙｅｒ＿ｕｎｉｆｏｒｍ＿ｆｌａｇフラグを定義することができる。一例では、ｌａｙｅｒ＿ｕｎｉｆｏｒｍ＿ｆｌａｇフラグが第１の値（例えば、０）に等しい場合、この層はベースライン方法を用いてエンコードされる。
【0144】
ｌａｙｅｒ＿ｕｎｉｆｏｒｍ＿ｆｌａｇが第２の値（例えば、１）に等しい場合、３Ｄピラミッド構造ベースの符号化方法を使用することができる。例えば、層をＣＴＵ３Ｄレイアウトに再成形することができる。ＣＴＵ３Ｄごとに、ｃｔｕ３ｄ＿ｕｎｉｆｏｒｍ＿ｆｌａｇフラグを定義して、同じ親ノードを共有する最下部の深さにおけるすべての子ノードが統一化されている場合（同じ親ノードを共有しないノードは異なる統一化値を有し得る）を示すことができる。
【0145】
ｃｔｕ３ｄ＿ｕｎｉｆｏｒｍ＿ｆｌａｇフラグが第１の値（例えば、１）に等しい場合、このＣＴＵ３Ｄについて、同じ親ノードを共有する最下部の深さにおけるすべての子ノードが統一化され（同じ親ノードを共有しないノードは異なる統一化値を有し得る）、一実施形態では、３Ｄユニツリー符号化方法は、このＣＴＵ３Ｄをエンコードすることができる。ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈは、３Ｄピラミッド構造の最後の深さ（例えば、ＣＵ３ＤまたはＣＴＵ３Ｄに関連付けられた）に設定され、明示的に推論される。ノードの統一化値のエンコードは、それらが常に０であるべきであるため、スキップすることができる。
【0146】
一実施形態では、同じ親ノードを共有する最下部の深さにおけるすべての子ノードに対して１つの統一化値をエンコードすることができ、ノード値が非ゼロである場合、これらの子ノードの符号ビットが続く。別の実施形態では、同じ親ノードを共有する最下部の深さにおけるすべての子ノードに対して１つの統一化値をエンコードすることができる。そして、このＣＵ３Ｄ内のすべてのノードが処理された後、ノード値が非ゼロである場合、ピラミッド（ピラミッド構造）を再び走査して、最下部の深さにおける各子ノードの符号ビットをエンコードすることができる。
【0147】
ｃｔｕ３ｄ＿ｕｎｉｆｏｒｍ＿ｆｌａｇフラグが第２の値（例えば、０）に等しい場合、一実施形態では、３Ｄタグツリー符号化方法を使用してこのＣＴＵ３Ｄをエンコードすることができる。ｅｎｃｏｄｉｎｇ＿ｓｔａｒｔ＿ｄｅｐｔｈは、３Ｄピラミッド構造の最後の深さ（例えば、ＣＵ３ＤまたはＣＴＵ３Ｄに関連付けられた）に設定され、明示的に推論される。
【0148】
一実施形態では、各子ノードの値は、所定の走査順序に基づいてエンコードすることができる。別の実施形態では、各子ノードの絶対値がエンコードされ得るのに続いて、所定の走査順序に基づいてその符号ビットをエンコードすることができる。別の実施形態では、絶対値は、所定の走査順序に基づいて、すべての子ノードに対してエンコードすることができる。そして、このＣＵ３Ｄ内のすべてのノードが処理された後、ノード値が非ゼロである場合、すべての子ノードの符号ビットをエンコードすることができる。
【0149】
１４．統一化ベースの符号化のシンタックステーブル
本開示の付記Ｃでは、本明細書で開示される統一化ベースの符号化方法の一例として、シンタックステーブル表の表１８～表２１が列挙されている。列挙されたシンタックス表に採用されたシンタックス要素は、それぞれのシンタックス表の最後に定義される。
本開示の付記Ｃでは、本明細書で開示される統一化ベースの符号化方法の一例として、シンタックステーブル表の表１８～表２１が列挙されている。列挙されたシンタックス表に採用されたシンタックス要素は、それぞれのシンタックス表の最後に定義される。
【0150】
ＩＶ．符号化プロセスの例
図１７は、本開示の一実施形態によるＣＴＵ分割の復号プロセス（１７００）を示す。プロセス（１７００）は、（Ｓ１７０１）から開始して（Ｓ１７１０）に進むことができる。
図１７は、本開示の一実施形態によるＣＴＵ分割の復号プロセス（１７００）を示す。プロセス（１７００）は、（Ｓ１７０１）から開始して（Ｓ１７１０）に進むことができる。
【0151】
（Ｓ１７１０）において、第１のシンタックス要素をビットストリームからＮＮＲ集約ユニットのＮＮＲ集約ユニットヘッダ内で受信することができる。第１のシンタックス要素は、ＮＮＲ集約ユニット内で伝送されるモデルパラメータテンソルを処理するためのＣＴＵ走査順序を示すことができる。例えば、第１のシンタックス要素の第１の値は、ＣＴＵ走査順序が水平方向の第１のラスタ走査順序であることを示すことができる。第１のシンタックス要素の第２の値は、ＣＴＵ走査順序が垂直方向の第２のラスタ走査順序であることを示すことができる。
【0152】
一例では、ＮＮＲ集約ユニット内のテンソルに対してＣＴＵブロック分割が有効にされているかどうかを制御するために、さらなるシンタックス要素を事前に受信することができる。例えば、さらなるシンタックス要素は、ＣＴＵブロック分割がニューラルネットワークの層に対して有効にされているかどうかを指定するモデルごとのシンタックス要素、またはＣＴＵブロック分割がＮＮＲ集約ユニット内のテンソルに対して有効にされているかどうかを指定するテンソルごとのシンタックス要素とすることができる。
【0153】
（Ｓ１７２０）において、ＮＮＲ集約ユニット内のテンソルは、ＣＴＵ走査順序に基づいて再構築することができる。ＣＴＵブロック分割がＮＮＲ集約ユニット内のテンソルに対して有効にされているとき、エンコーダ側で、テンソルをＣＴＵに分割することができる。ＣＴＵは、第１のシンタックス要素によって示される走査順序に従って走査およびエンコードすることができる。デコーダ側では、示された走査順序に基づいて、デコーダはＣＴＵがエンコードされる順序を理解し、それに応じて、復号されたＣＴＵをテンソルに編成することができる。プロセス（１７００）は、（Ｓ１７９９）に進み、（Ｓ１７９９）において終了することができる。
【0154】
図１８は、本開示の一実施形態による３Ｄピラミッド符号化の復号プロセス（１８００）を示す図である。プロセス（１８００）は、（Ｓ１８０１）から開始して（Ｓ１８１０）に進むことができる。
【0155】
（Ｓ１８１０）において、圧縮ニューラルネットワーク表現のビットストリームから１つまたは複数の第１のシンタックス要素を受信することができる。１つまたは複数の第１のシンタックス要素は、ＣＴＵ３Ｄから分割されたＣＵ３Ｄに関連付けることができる。ＣＴＵ３Ｄは、ニューラルネットワーク内のテンソルから分割することができる。１つまたは複数の第１のシンタックス要素は、ＣＵ３Ｄが３Ｄピラミッド構造に対応する符号化モードに基づいて分割されていることを示すことができる。３Ｄピラミッド構造は、複数の深さを含むことができる。各深さは、１つまたは複数のノードに対応する。各ノードはノード値を有する。様々な実施形態において、３Ｄピラミッド構造は、オクトツリー構造、ユニツリー構造、タグツリー構造、またはユニタグツリー構造のうちの１つである。
【0156】
（Ｓ１８２０）において、３Ｄピラミッド構造におけるノードのノード値に対応する第２のシンタックス要素のシーケンスは、３Ｄピラミッド構造におけるノードを走査するための幅優先走査順序でビットストリームから受信することができる。したがって、デコーダ側では、深さ優先走査順序に基づいて（シンタックス要素によって表される）ノード値を受信することができる。他の実施形態（プロセス（１８００）を実施しない）では、エンコーダ側で深さ優先走査順序に従って３Ｄピラミッド構造を走査することができる。
【0157】
（Ｓ１８３０）において、テンソルのモデルパラメータは、３Ｄピラミッド構造におけるノードのノード値に対応する受信した第２のシンタックス要素に基づいて再構築することができる。上述したように、オクトツリー構造、ユニツリー構造、タグツリー構造、またはユニタグツリー構造に対応するデコーダでは、３Ｄピラミッド符号化方法を使用して、３Ｄピラミッド構造のノード値、および３Ｄピラミッド構造を使用して分割されたＣＵ３Ｄの係数値をエンコードすることができる。デコーダでは、使用される３Ｄピラミッド符号化方法に対応して、それに応じてノード値および係数値を再構築することができる。プロセスは（Ｓ１８９９）に進み、（Ｓ１８９９）において終了することができる。
【0158】
図１９は、本開示の一実施形態による統一化ベースの符号化の復号プロセス（１９００）を示す。プロセス（１９００）は、（Ｓ１９０１）から開始して（Ｓ１９１０）に進むことができる。
【0159】
（Ｓ１９１０）において、ＣＴＵ３Ｄに関連付けられたシンタックス要素を受信することができる。ＣＴＵ３Ｄは、ニューラルネットワークの圧縮ニューラルネットワーク表現のビットストリーム内のニューラルネットワークの層内のテンソルから分割することができる。シンタックス要素は、ＣＴＵ３Ｄに関連付けられたピラミッドツリー構造の最下部の深さにおけるすべての子ノードが統一化されているかどうかを示すことができる。同じ親ノードを共有しない最下部の深さにおける子ノードは、異なる統一化値を有し得る。
【0160】
（Ｓ１９２０）において、シンタックス要素が、ＣＴＵ３Ｄに関連付けられたピラミッドツリー構造の最下部の深さにおけるすべての子ノードが統一化されていることを示すことに応答して、ＣＴＵ３Ｄは、３Ｄユニツリー符号化方法に基づいて復号することができる。一例では、３Ｄユニツリー符号化方法の開始の深さは、ピラミッドツリー構造の最下部の深さであると推測することができる。一実施形態では、ピラミッドツリー構造の最下部の深さにおけるノードの統一化フラグはビットストリーム内でエンコードされない。
【0161】
一実施形態では、同じ親ノードを共有する、最下部の深さにおけるすべての子ノードについてビットストリーム内でエンコードされた統一化値を受信することができる。同じ親ノードを共有する最下部の深さにおけるすべての子ノードの符号ビットを受信することができる。符号ビットが、ビットストリーム内の統一化値に続く。
【0162】
一実施形態では、同じ親ノードを共有する、最下部の深さにおける子ノードの各グループについての統一化値を受信することができる。次いで、同じ親ノードを共有する最下部の深さにおける子ノードの各グループ内の子ノードの符号ビットを受信することができる。
【0163】
（Ｓ１９３０）において、シンタックス要素が、ＣＴＵ３Ｄに関連付けられたピラミッドツリー構造の最下部の深さにおける子ノードのすべてが統一化されているわけではないことを示すことに応答して、ＣＴＵ３Ｄは、３Ｄタグツリー符号化方法に基づいて復号することができる。一例では、３Ｄタグツリー符号化方法の開始の深さは、ピラミッドツリー構造の最下部の深さであると推測することができる。
様々な実施形態において、ピラミッドツリー構造の最下部の深さのノードの値は、以下の方法のうちの１つに従って復号することができる。第１の方法では、所定の走査順序に基づいてビットストリーム内でそれぞれエンコードされたピラミッドツリー構造の最下部の深さにおけるノードの値を受信することができる。
第２の方法では、所定の走査順序に基づいたビットストリーム内のピラミッドツリー構造の最下部の深さにおけるノードの各々について絶対値を受信し、（絶対値が非ゼロの場合）続いて符号を受信することができる。第３の方法では、所定の走査順序に基づいたビットストリーム内のピラミッドツリー構造の最下部の深さにおけるノードの各々について絶対値を受信し、続いて所定の走査順序に基づいたビットストリーム内のピラミッドツリー構造の最下部の深さにおけるノード（ノードが非ゼロ値を有する場合）の各々について符号を受信することができる。プロセス（１９００）は、（Ｓ１９９９）に進み、（Ｓ１９９９）において終了することができる。
様々な実施形態において、ピラミッドツリー構造の最下部の深さのノードの値は、以下の方法のうちの１つに従って復号することができる。第１の方法では、所定の走査順序に基づいてビットストリーム内でそれぞれエンコードされたピラミッドツリー構造の最下部の深さにおけるノードの値を受信することができる。
第２の方法では、所定の走査順序に基づいたビットストリーム内のピラミッドツリー構造の最下部の深さにおけるノードの各々について絶対値を受信し、（絶対値が非ゼロの場合）続いて符号を受信することができる。第３の方法では、所定の走査順序に基づいたビットストリーム内のピラミッドツリー構造の最下部の深さにおけるノードの各々について絶対値を受信し、続いて所定の走査順序に基づいたビットストリーム内のピラミッドツリー構造の最下部の深さにおけるノード（ノードが非ゼロ値を有する場合）の各々について符号を受信することができる。プロセス（１９００）は、（Ｓ１９９９）に進み、（Ｓ１９９９）において終了することができる。
【0164】
Ｖ．コンピュータシステム
上述した技術は、コンピュータ可読命令を使用し、１つまたは複数のコンピュータ可読メディアに物理的に記憶されたコンピュータソフトウェアとして実装することができる。例えば、図２０は、開示された主題のいくつかの実施形態を実装するのに適したコンピュータシステム（２０００）を示す。
上述した技術は、コンピュータ可読命令を使用し、１つまたは複数のコンピュータ可読メディアに物理的に記憶されたコンピュータソフトウェアとして実装することができる。例えば、図２０は、開示された主題のいくつかの実施形態を実装するのに適したコンピュータシステム（２０００）を示す。
【0165】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンクなどのメカニズムを受けることができる任意の適切な機械コードまたはコンピュータ言語を使用してコード化され得、１つまたは複数のコンピュータ中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などを介して、実行することができる命令を含むコードが作成され得る。
【0166】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、ＩｏＴデバイスなどを含む様々な種類のコンピュータまたはその構成要素上で、実行され得る。
【0167】
コンピュータシステム（２０００）について図２０に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用範囲または機能に関する制限を示唆することを意図するものではない。構成要素の構成は、コンピュータシステム（２０００）の例示的な実施形態に示された構成要素のいずれか１つまたは組合せに関するいかなる依存性または要件も有すると解釈されるべきでない。
【0168】
コンピュータシステム（２０００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介した、１人または複数の人間のユーザによる入力に応答し得る。ヒューマンインターフェースデバイスは、オーディオ（例えば、音声、音楽、周囲音）、画像（例えば、走査画像、静止画像カメラから取得された写真画像）、ビデオ（２Ｄ映像、立体映像を含む３Ｄ映像など）など、必ずしも人間による意識的な入力に直接関連しない特定の媒体を取り込むために使用され得る。
【0169】
入力ヒューマンインターフェースデバイスには、キーボード（２００１）、マウス（２００２）、トラックパッド（２００３）、タッチスクリーン（２０１０）、データグローブ（図示せず）、ジョイスティック（２００５）、マイクロフォン（２００６）、スキャナ（２００７）、カメラ（２００８）のうちの１つまたは複数が含まれてよい（各々の１つのみが描写されている）。
【0170】
コンピュータシステム（２０００）は、特定のヒューマンインターフェース出力デバイスも含んでよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味によって１人または複数の人間ユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力装置（例えば、タッチスクリーン（２０１０）、データグローブ（図示せず）、またはジョイスティック（２００５）による触覚フィードバックが含まれることがあるが、入力装置として機能しない触覚フィードバック装置もあり得る）、オーディオ出力装置（スピーカ（２００９）、ヘッドホン（図示せず）など）、視覚出力装置（それぞれがタッチスクリーン入力機能の有無にかかわらず、それぞれが触覚フィードバック機能の有無にかかわらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（２０１０）など、それらの一部は、ステレオグラフィック出力、仮想現実ガラス（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）などの手段を通じて２Ｄ視覚出力または３Ｄ以上の出力が可能であり得る）およびプリンタ（図示せず）を含み得る。
【0171】
コンピュータシステム（２０００）は、ＣＤ／ＤＶＤまたは同様の媒体（２０２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２０２０）を含む光学媒体、サムドライブ（２０２２）、リムーバブルハードドライブまたはソリッドステートドライブ（２０２３）、テープおよびフロッピーディスクなどのレガシー磁気媒体（描写せず）、セキュリティドングルなどの特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（描写せず）などの、人間がアクセス可能なストレージデバイスおよびそれらに関連する媒体を含むこともできる。
【0172】
当業者はまた、本開示内容に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的信号を包含しないことを理解すべきである。
【0173】
コンピュータシステム（２０００）は、１つまたは複数の通信ネットワークへのインターフェースを含むこともできる。ネットワークは、例えば、ワイヤレス、有線、光であり得る。ネットワークはさらに、ローカル、広域、メトロポリタン、車両および産業、リアルタイム、遅延耐性などにすることができる。ネットワークの例には、イーサネット、ワイヤレスＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上波ブロードキャストＴＶを含むＴＶの有線またはワイヤレスの広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両および産業用などが含まれる。特定のネットワークは、通常、（例えば、コンピュータシステム（２０００）のＵＳＢポートなどの）特定の汎用データポートまたは周辺バス（２０４９）に取り付けられたれた外部ネットワークインターフェースアダプタを必要とし、他のネットワークは、通常、以下に記載されるシステムバスに取り付けることによってコンピュータシステム（２０００）のコアに統一される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（２０００）は他のエンティティと通信することができる。そのような通信は、単方向受信のみ（例えば、ブロードキャストＴＶ）、単方向送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または、例えば、ローカルもしくは広域のデジタルネットワークを使用する他のコンピュータシステムとの双方向であり得る。特定のプロトコルおよびプロトコルスタックは、上述したように、それらのネットワークおよびネットワークインターフェースのそれぞれで使用し得る。
【0174】
前述のヒューマンインターフェースデバイス、人間がアクセス可能なストレージデバイス、およびネットワークインターフェースは、コンピュータシステム（２０００）のコア（２０４０）に取り付けることができる。
【0175】
コア（２０４０）は、１つまたは複数の中央処理装置（ＣＰＵ）（２０４１）、グラフィックス処理装置（ＧＰＵ）（２０４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（２０４３）、特定のタスク用のハードウェアアクセラレータ（２０４４）などの形態の特殊なプログラマブル処理装置を含むことができる。これらのデバイスは、読取り専用メモリ（ＲＯＭ）（２０４５）、ランダムアクセスメモリ（２０４６）、内部のユーザがアクセスできないハードドライブ、ＳＳＤなどの内部大容量ストレージ（２０４７）とともに、システムバス（２０４８）を介して接続されてよい。いくつかのコンピュータシステムでは、システムバス（２０４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つまたは複数の物理プラグの形でアクセス可能であり得る。周辺機器は、コアのシステムバス（２０４８）に直接取り付けることも、周辺バス（２０４９）を介して取り付けることもできる。周辺バスのアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。
【0176】
ＣＰＵ（２０４１）、ＧＰＵ（２０４２）、ＦＰＧＡ（２０４３）、およびアクセラレータ（２０４４）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（２０４５）またはＲＡＭ（２０４６）に記憶することができる。移行データもＲＡＭ（２０４６）に記憶することができるが、永続データは、例えば、内部大容量ストレージ（２０４７）に記憶することができる。１つまたは複数のＣＰＵ（２０４１）、ＧＰＵ（２０４２）、大容量ストレージ（２０４７）、ＲＯＭ（２０４５）、ＲＡＭ（２０４６）などと密接に関連付けることができるキャッシュメモリを使用することにより、メモリデバイスのいずれかへの高速記憶および高速取り出しを可能にすることできる。
【0177】
コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有し得る。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってもよく、またはコンピュータソフトウェア技術の当業者に、良く知られた利用可能な種類のものであってもよい。
【0178】
一例として、限定としてではなく、アーキテクチャを有するコンピュータシステム（２０００）、具体的にはコア（２０４０）は、１つまたは複数の有形のコンピュータ可読媒体に組み込まれたソフトウェアを（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）プロセッサが実行する結果として、機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介されたユーザアクセス可能大容量ストレージ、ならびにコア内部大容量ストレージ（２０４７）またはＲＯＭ（２０４５）などの非一時的な性質のコア（２０４０）の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（２０４０）によって実行することができる。コンピュータ可読媒体は、特定のニーズに応じて、１つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（２０４０）、および具体的にはその中の（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）プロセッサに、ＲＡＭ（２０４６）に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、ハードワイヤードまたは他の方法で回路（例えば、アクセラレータ（２０４４））に具現化された論理回路の結果として、機能を提供することができ、ソフトウェアの代わりに、またはソフトウェアとともに動作して、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行し得る。ソフトウェアへの参照は、論理回路を包含することができ、適切な場合には逆もまた同様である。コンピュータ可読媒体への参照は、適切な場合には、実行のためにソフトウェアを格納する回路（集積回路（ＩＣ）など）、実行のための論理回路を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。
【0179】
本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内に入る修正、置換、および様々な代替等価物がある。したがって、当業者は、本明細書に明示的に示されていないまたは記載されていないが、本開示の原理を具体化し、したがってその精神および範囲内にある、多数のシステムおよび方法を考案し得ることが理解されよう。
付記Ａ、略語
ＤＮＮ：ディープニューラルネットワーク
ＮＮＲ：圧縮ニューラルネットワーク表現、ニューラルネットワークの符号化表現
ＣＴＵ：符号化ツリーユニット
ＣＴＵ３Ｄ：３次元符号化ツリーユニット
ＣＵ：符号化ユニット
ＣＵ３Ｄ：３次元符号化ユニット
ＲＤ：レート歪み
付記Ａ、略語
ＤＮＮ：ディープニューラルネットワーク
ＮＮＲ：圧縮ニューラルネットワーク表現、ニューラルネットワークの符号化表現
ＣＴＵ：符号化ツリーユニット
ＣＴＵ３Ｄ：３次元符号化ツリーユニット
ＣＵ：符号化ユニット
ＣＵ３Ｄ：３次元符号化ユニット
ＲＤ：レート歪み
【0180】
【表2A】
【表2B】
【0181】
【表3】
【0182】
ｔｏｔａｌ＿ｌａｙｅｒ全層の数（モデル構造が利用可能であれば除去可能）
ｅｎａｂｌｅ＿ｅｓｃａｐｅ＿ｒｅｏｒｄｅｒ０はエスケープ並べ替えが許容されないことを示し、１はエスケープ並べ替えが許容されることを示す
ｅｎａｂｌｅ＿ｍａｘ＿ｃｔｕ３ｄ＿ｓｉｚｅ０は、ｃｔｕ３ｄ＿ｈｅｉｇｈｔ／ｃｔｕ３ｄ＿ｗｉｄｔｈがカーネルサイズに関係なく変更されない状態が維持されることを示し、１は、ｃｔｕ３ｄ＿ｈｅｉｇｈｔ／ｃｔｕ３ｄ＿ｗｉｄｔｈがカーネルサイズに基づいてスケーリングされることを示す。
ｍａｘ＿ｃｔｕ３ｄ＿ｉｄｘ ｍａｘ＿ｃｔｕ３ｄ＿ｓｉｚｅ＝（ｍａｘ＿ｃｔｕ３ｄ＿ｉｄｘ＝＝０）？６４：（ｍａｘ＿ｃｔｕ３ｄ＿ｉｄｘ＝＝１）？３２：（ｍａｘ＿ｃｔｕ３ｄ＿ｉｄｘ＝＝２）？１６：８
ｅｎａｂｌｅ＿ｅｓｃａｐｅ＿ｒｅｏｒｄｅｒ０はエスケープ並べ替えが許容されないことを示し、１はエスケープ並べ替えが許容されることを示す
ｅｎａｂｌｅ＿ｍａｘ＿ｃｔｕ３ｄ＿ｓｉｚｅ０は、ｃｔｕ３ｄ＿ｈｅｉｇｈｔ／ｃｔｕ３ｄ＿ｗｉｄｔｈがカーネルサイズに関係なく変更されない状態が維持されることを示し、１は、ｃｔｕ３ｄ＿ｈｅｉｇｈｔ／ｃｔｕ３ｄ＿ｗｉｄｔｈがカーネルサイズに基づいてスケーリングされることを示す。
ｍａｘ＿ｃｔｕ３ｄ＿ｉｄｘ ｍａｘ＿ｃｔｕ３ｄ＿ｓｉｚｅ＝（ｍａｘ＿ｃｔｕ３ｄ＿ｉｄｘ＝＝０）？６４：（ｍａｘ＿ｃｔｕ３ｄ＿ｉｄｘ＝＝１）？３２：（ｍａｘ＿ｃｔｕ３ｄ＿ｉｄｘ＝＝２）？１６：８
【0183】
【表4A】
【表4B】
【0184】
ｔｏｔａｌ＿ｌａｙｅｒ＿ｍｉｎｕｓ＿ｏｎｅ ｔｏｔａｌ＿ｌａｙｅｒ＝１＋ｔｏｔａｌ＿ｌａｙｅｒ＿ｍｉｎｕｓ＿ｏｎｅ
ｓｔｅｐｓｉｚｅサブ層のステップサイズ
ｂｉｔｄｅｐｔｈサブ層の量子化係数のビット深度０ｍａｘ
ｄｉｍ＿ｍｉｎｕｓ＿ｏｎｅ１第１のサブ層 ｄｉｍ＝１＋ｄｉｍ＿ｍｉｎｕｓ＿ｏｎｅ１
ｌｙ＿ｓｈａｐｅ１第１のサブ層の形状
ｉｎｃｌｕｄｅ＿ｂｉａｓ０は、この層にバイアステンソルが存在しないことを示し、１は、この層にバイアステンソルが存在することを示す。
ｉｎｃｌｕｄｅ＿ｓｃａｌｉｎｇ０は、この層にスケーリングテンソルが存在しないことを示し、１は、この層にスケーリングテンソルが存在することを示す。
ｄｉｍ＿ｍｉｎｕｓ＿ｏｎｅ２サブ層 ｄｉｍ＝１＋ｄｉｍ＿ｍｉｎｕｓ＿ｏｎｅ２
ｌｙ＿ｓｈａｐｅ２サブ層の形状
ｓｃａｎ＿ｏｒｄｅｒ０は水平方向のラスタ走査順序、１は垂直方向のラスタ走査順序を示す
ｓｔｅｐｓｉｚｅサブ層のステップサイズ
ｂｉｔｄｅｐｔｈサブ層の量子化係数のビット深度０ｍａｘ
ｄｉｍ＿ｍｉｎｕｓ＿ｏｎｅ１第１のサブ層 ｄｉｍ＝１＋ｄｉｍ＿ｍｉｎｕｓ＿ｏｎｅ１
ｌｙ＿ｓｈａｐｅ１第１のサブ層の形状
ｉｎｃｌｕｄｅ＿ｂｉａｓ０は、この層にバイアステンソルが存在しないことを示し、１は、この層にバイアステンソルが存在することを示す。
ｉｎｃｌｕｄｅ＿ｓｃａｌｉｎｇ０は、この層にスケーリングテンソルが存在しないことを示し、１は、この層にスケーリングテンソルが存在することを示す。
ｄｉｍ＿ｍｉｎｕｓ＿ｏｎｅ２サブ層 ｄｉｍ＝１＋ｄｉｍ＿ｍｉｎｕｓ＿ｏｎｅ２
ｌｙ＿ｓｈａｐｅ２サブ層の形状
ｓｃａｎ＿ｏｒｄｅｒ０は水平方向のラスタ走査順序、１は垂直方向のラスタ走査順序を示す
【0185】
【表5】
【0186】
ｎｚｆｌａｇ量子化係数の非ゼロフラグ
ｓｉｇｎ量子化係数の符号ビット
ｓｉｇｎ量子化係数の符号ビット
【0187】
【表6】
【0188】
【表7】
【0189】
ｓｐｌｉｔ＿ｆｌａｇ：親ＣＵ３Ｄを４つのより小さな子ＣＵ３Ｄに分離するか否かを示すフラグ
ｓｔａｒｔ＿ｄｅｐｔｈ＿ｄｅｌｔａ ｓｔａｒｔ＿ｄｅｐｔｈ＝ｔｏｔａｌ＿ｄｅｐｔｈ－１－ｓｔａｒｔ＿ｄｅｐｔｈ＿ｄｅｌｔａ
ｃｂｏｏｋ＿ｅｓｃ＿ｍｏｄｅ０はエスケープが並べ替えられていないことを示し、１はエスケープが並べ替えられていることを示す。
ｍａｐ＿ｍｏｄｅ０はオクトツリー３ｄ／ユニツリー３ｄ方法が選択されていることを示し、１はタグツリー３ｄ／ユニタグツリー３ｄ方法が選択されていることを示す。
ｕｎｉ＿ｍｏｄｅ０は、ユニツリー３ｄ方法が選択されていないことを示し、１は、ユニツリー３ｄ方法が選択されていることを示す。
ｔｇｔ＿ｍｏｄｅ０は、タグツリー３ｄ方法が選択されていないことを示し、１は、タグツリー３ｄ方法が選択されていることを示す。
ｕａｆｌａｇ０は、すべての係数が統一化されているわけではないことを示し、１は、すべての係数が統一化されていることを示す。
ｓｔａｒｔ＿ｄｅｐｔｈ＿ｄｅｌｔａ ｓｔａｒｔ＿ｄｅｐｔｈ＝ｔｏｔａｌ＿ｄｅｐｔｈ－１－ｓｔａｒｔ＿ｄｅｐｔｈ＿ｄｅｌｔａ
ｃｂｏｏｋ＿ｅｓｃ＿ｍｏｄｅ０はエスケープが並べ替えられていないことを示し、１はエスケープが並べ替えられていることを示す。
ｍａｐ＿ｍｏｄｅ０はオクトツリー３ｄ／ユニツリー３ｄ方法が選択されていることを示し、１はタグツリー３ｄ／ユニタグツリー３ｄ方法が選択されていることを示す。
ｕｎｉ＿ｍｏｄｅ０は、ユニツリー３ｄ方法が選択されていないことを示し、１は、ユニツリー３ｄ方法が選択されていることを示す。
ｔｇｔ＿ｍｏｄｅ０は、タグツリー３ｄ方法が選択されていないことを示し、１は、タグツリー３ｄ方法が選択されていることを示す。
ｕａｆｌａｇ０は、すべての係数が統一化されているわけではないことを示し、１は、すべての係数が統一化されていることを示す。
【0190】
【表8】
【0191】
ｓｉｇｎ ｓｉｇｎ ｂｉｔ ｏｆ ｐｒｅｄｉｃｔｅｄ＿ｓｉｚｅ－ｐｒｅｖ＿ｐｒｅｄｉｃｔｅｄ＿ｓｉｚｅ
ｐｒｅｄｉｃｔｅｄ＿ｆｌａｇ０は、位置ｎが予測されたエントリでないことを示し、１は、位置ｎが予測されたエントリであることを示す。
ｐｒｅｄｉｃｔｅｄ＿ｆｌａｇ０は、位置ｎが予測されたエントリでないことを示し、１は、位置ｎが予測されたエントリであることを示す。
【0192】
【表9】
【0193】
ｓｉｇｎａｌｌｅｄ＿ｓｉｚｅ ｓｉｇｎａｌｌｅｄ ｃｏｄｅｂｏｏｋ ｓｉｚｅ
ｎｚｆｌａｇ＿ｄｅｌｔａ ｎｏｎ－ｚｅｒｏ ｆｌａｇ ｏｆ ｄｅｌｔａ
ｓｉｇｎ＿ｄｅｌｔａ ｓｉｇｎ ｂｉｔ ｏｆ ｄｅｌｔａ
ｓｉｇｎ ｓｉｇｎ ｂｉｔ ｏｆ ｃｏｄｅｂｏｏｋ ｅｎｔｒｙ
ｎｚｆｌａｇ＿ｄｅｌｔａ ｎｏｎ－ｚｅｒｏ ｆｌａｇ ｏｆ ｄｅｌｔａ
ｓｉｇｎ＿ｄｅｌｔａ ｓｉｇｎ ｂｉｔ ｏｆ ｄｅｌｔａ
ｓｉｇｎ ｓｉｇｎ ｂｉｔ ｏｆ ｃｏｄｅｂｏｏｋ ｅｎｔｒｙ
【0194】
【表10】
【0195】
ｎｚｆｌａｇ量子化係数の非ゼロフラグ
ｓｉｇｎ量子化係数の符号ビット
ｓｉｇｎ量子化係数の符号ビット
【0196】
【表11A】
【表11B】
【0197】
ｕｎｉ＿ｆｌａｇユニツリーノード値
ｎｚｆｌａｇ量子化係数の非ゼロフラグ
ｓｉｇｎ量子化係数の符号ビット
ｎｚｆｌａｇ量子化係数の非ゼロフラグ
ｓｉｇｎ量子化係数の符号ビット
【0198】
【表12A】
【表12B】
【0199】
ｏｃｔ＿ｆｌａｇオクトツリーノード値
ｓｉｇｎ量子化係数の符号ビット
ｓｉｇｎ量子化係数の符号ビット
【0200】
【表13A】
【表13B】
【0201】
ｎｚ＿ｆｌａｇノード値の非ゼロフラグ
ｓｉｇｎ量子化係数の符号ビット
ｓｉｇｎ量子化係数の符号ビット
【0202】
【表14A】
【表14B】
【0203】
ｕｎｉ＿ｆｌａｇユニツリーノード値
ｎｚ＿ｆｌａｇノード値の非ゼロフラグ
ｓｉｇｎ量子化係数の符号ビット
ｎｚ＿ｆｌａｇノード値の非ゼロフラグ
ｓｉｇｎ量子化係数の符号ビット
【0204】
【表15】
【0205】
ｎｚ＿ｆｌａｇノード値の非ゼロフラグ
ｓｉｇｎ量子化係数の符号ビット
ｓｉｇｎ量子化係数の符号ビット
【0206】
【表16】
【0207】
ｎｚ＿ｆｌａｇ非ゼロフラグ
ｎｚｆｌａｇ非ゼロフラグ
ｕｉＢｉｔ＿ｐｒｅ指数ゴロム剰余の単項部
ｕｉＢｉｔ ＥＧｋのビット
ｎｚｆｌａｇ非ゼロフラグ
ｕｉＢｉｔ＿ｐｒｅ指数ゴロム剰余の単項部
ｕｉＢｉｔ ＥＧｋのビット
【0208】
【表17】
【0209】
ｎｚｆｌａｇ非ゼロフラグ
ｕｉＢｉｔ指数ゴロム剰余の単項部
ｕｉＢｉｔｓ固定長剰余
ｕｉＢｉｔ指数ゴロム剰余の単項部
ｕｉＢｉｔｓ固定長剰余
【0210】
【表18】
【0211】
Ｎｄｉｍ（ａｒｒａｙＮａｍｅ［］）は、ａｒｒａｙＮａｍｅ［］の次元の数に戻る。
ｓｃａｎ＿ｏｒｄｅｒは、以下の表に従って、２つ以上の次元を有するパラメータのブロック走査順を指定する。
０：ブロック走査なし
１：８×８ブロック
２：１６×１６ブロック
３：３２×３２ブロック
４：６４×６４ブロック
ｌａｙｅｒ＿ｕｎｉｆｏｒｍ＿ｆｌａｇは、量子化重みＱｕａｎｔＰａｒａｍ［］が統一された方法を使用してエンコードされるかどうかを指定するｌａｙｅｒ＿ｕｎｉｆｏｒｍ＿ｆｌａｇが１であることは、ＱｕａｎｔＰａｒａｍ［］が統一された方法を使用してエンコードされることを示す。
ｓｃａｎ＿ｏｒｄｅｒは、以下の表に従って、２つ以上の次元を有するパラメータのブロック走査順を指定する。
０：ブロック走査なし
１：８×８ブロック
２：１６×１６ブロック
３：３２×３２ブロック
４：６４×６４ブロック
ｌａｙｅｒ＿ｕｎｉｆｏｒｍ＿ｆｌａｇは、量子化重みＱｕａｎｔＰａｒａｍ［］が統一された方法を使用してエンコードされるかどうかを指定するｌａｙｅｒ＿ｕｎｉｆｏｒｍ＿ｆｌａｇが１であることは、ＱｕａｎｔＰａｒａｍ［］が統一された方法を使用してエンコードされることを示す。
【0212】
【表19】
【0213】
２Ｄ整数アレイＳｔａｔｅＴｒａｎｓＴａｂ［］［］は依存スカラ量子化のための状態遷移表を指定し、以下の通りである。
ＳｔａｔｅＴｒａｎｓＴａｂ［］［］＝｛｛０，２｝，｛７，５｝，｛１，３｝，｛６，４｝，｛２，０｝，｛５，７｝，｛３，１｝，｛４，６｝｝
ＳｔａｔｅＴｒａｎｓＴａｂ［］［］＝｛｛０，２｝，｛７，５｝，｛１，３｝，｛６，４｝，｛２，０｝，｛５，７｝，｛３，１｝，｛４，６｝｝
【0214】
【表20A】
【表20B】
【0215】
ｃｔｕ３ｄ＿ｕｎｉｆｏｒｍ＿ｆｌａｇは、量子化されたＣＴＵ３Ｄ重みＱｕａｎｔＰａｒａｍ［］が一様な方法を使用してエンコードされるかどうか指定する。ｃｔｕ３ｄ＿ｕｎｉｆｏｒｍ＿ｆｌａｇが１であることは、ＱｕａｎｔＰａｒａｍ［］が一様な方法を使用してエンコードされることを示す。
ｓｉｇｎ＿ｆｌａｇは、量子化された重みＱｕａｎｔＰａｒａｍ［］が正であるか、負あるかを指定する。ｓｉｇｎ＿ｆｌａｇが１であることは、ＱｕａｎｔＰａｒａｍ［ｉ］が負であることを示す。
ｓｉｇｎ＿ｆｌａｇは、量子化された重みＱｕａｎｔＰａｒａｍ［］が正であるか、負あるかを指定する。ｓｉｇｎ＿ｆｌａｇが１であることは、ＱｕａｎｔＰａｒａｍ［ｉ］が負であることを示す。
【0216】
【表21】
【0217】
ｓｉｇ＿ｆｌａｇは、量子化重みＱｕａｎｔＰａｒａｍ［ｉ］が非ゼロであるかどうかを指定する。ｓｉｇ＿ｆｌａｇが０であることは、ＱｕａｎｔＰａｒａｍ［ｉ］が０であることを示す。
ｓｉｇｎ＿ｆｌａｇは、量子化された重みＱｕａｎｔＰａｒａｍ［］が正であるか、負あるかを指定する。ｓｉｇｎ＿ｆｌａｇが１であることは、ＱｕａｎｔＰａｒａｍ［ｉ］が負であることを示す。
ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ［ｊ］は、ＱｕａｎｔＰａｒａｍ［ｉ］の絶対レベルがｊ＋１より大きいかどうかを示す。
ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ２［ｊ］は、指数ゴロム剰余の単項部を含む。
ａｂｓ＿ｒｅｍａｉｎｄｅｒは、固定長剰余を示す。
ｓｉｇｎ＿ｆｌａｇは、量子化された重みＱｕａｎｔＰａｒａｍ［］が正であるか、負あるかを指定する。ｓｉｇｎ＿ｆｌａｇが１であることは、ＱｕａｎｔＰａｒａｍ［ｉ］が負であることを示す。
ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ［ｊ］は、ＱｕａｎｔＰａｒａｍ［ｉ］の絶対レベルがｊ＋１より大きいかどうかを示す。
ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ２［ｊ］は、指数ゴロム剰余の単項部を含む。
ａｂｓ＿ｒｅｍａｉｎｄｅｒは、固定長剰余を示す。
【符号の説明】
【0218】
１１０ アプリケーションサーバ
１１１ インターフェース回路
１１５ メモリ
１２０ 処理回路
１２１ ニューラルネットワークモデルコーデック
１３０ 電子デバイス
１３１ インターフェース回路
１４０ 処理回路
１４１ ニューラルネットワークモデルコーデック
１５０ キャッシュメモリ
１６０ メインメモリ
２００ 圧縮ニューラルネットワーク表現ＮＮＲユニット
３００ 集約ＮＮＲユニット
４００ ＮＮＲビットストリーム
１１０１ 行
１１０２ 行
１５０５ ３Ｄオクトツリー
１５１０ 内部ノード
１５１５ 子ノード
１５２０ ３次元テンソル
１５２５ オクタント
１７００ 復号プロセス
１８００ 復号プロセス
１９００ 復号プロセス
２０００ コンピュータシステム
２００１ キーボード
２００２ マウス
２００３ トラックパッド
２００５ ジョイスティック
２００６ マイクロフォン
２００７ スキャナ
２００８ カメラ
２００９ スピーカ
２０１０ タッチスクリーン
２０２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
２０２１ 媒体
２０２２ サムドライブ
２０２３ リムーバブルハードドライブまたはソリッドステートドライブ
２０４０ コア
２０４１ ＣＰＵ
２０４２ ＧＰＵ
２０４３ ＦＰＧＡ
２０４４ ハードウェアアクセラレータ
２０４５ ＲＯＭ
２０４６ ＲＡＭ
２０４７ コア内部大容量ストレージ
２０４８ システムバス
２０４９ 周辺バス
１１１ インターフェース回路
１１５ メモリ
１２０ 処理回路
１２１ ニューラルネットワークモデルコーデック
１３０ 電子デバイス
１３１ インターフェース回路
１４０ 処理回路
１４１ ニューラルネットワークモデルコーデック
１５０ キャッシュメモリ
１６０ メインメモリ
２００ 圧縮ニューラルネットワーク表現ＮＮＲユニット
３００ 集約ＮＮＲユニット
４００ ＮＮＲビットストリーム
１１０１ 行
１１０２ 行
１５０５ ３Ｄオクトツリー
１５１０ 内部ノード
１５１５ 子ノード
１５２０ ３次元テンソル
１５２５ オクタント
１７００ 復号プロセス
１８００ 復号プロセス
１９００ 復号プロセス
２０００ コンピュータシステム
２００１ キーボード
２００２ マウス
２００３ トラックパッド
２００５ ジョイスティック
２００６ マイクロフォン
２００７ スキャナ
２００８ カメラ
２００９ スピーカ
２０１０ タッチスクリーン
２０２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
２０２１ 媒体
２０２２ サムドライブ
２０２３ リムーバブルハードドライブまたはソリッドステートドライブ
２０４０ コア
２０４１ ＣＰＵ
２０４２ ＧＰＵ
２０４３ ＦＰＧＡ
２０４４ ハードウェアアクセラレータ
２０４５ ＲＯＭ
２０４６ ＲＡＭ
２０４７ コア内部大容量ストレージ
２０４８ システムバス
２０４９ 周辺バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】