特表 2024-518718 更新モデルを使用して、ニューラルネットワークパラメーターを復号化する装置、方法及びコンピュータープログラム、並びにニューラルネットワークパラメーターを符号化する装置、方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-02

(54)【発明の名称】更新モデルを使用して、ニューラルネットワークパラメーターを復号化する装置、方法及びコンピュータープログラム、並びにニューラルネットワークパラメーターを符号化する装置、方法及びコンピュータープログラム

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240424BHJP

   H04N 19/90 20140101ALI20240424BHJP

【ＦＩ】

H04N19/70

H04N19/90

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023563318

(86)(22)【出願日】2022-04-14

(85)【翻訳文提出日】2023-12-12

(86)【国際出願番号】 EP2022060124

(87)【国際公開番号】W WO2022219159

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】21169030.0

(32)【優先日】2021-04-16

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100133411

【弁理士】

【氏名又は名称】山本 龍郎

(74)【代理人】

【識別番号】100067677

【弁理士】

【氏名又は名称】山本 彰司

(72)【発明者】

【氏名】ハーゼ，パウル

(72)【発明者】

【氏名】キルヒホッファー，ハイナー

(72)【発明者】

【氏名】ベッキング，ダニエル

(72)【発明者】

【氏名】テック，ゲルハード

(72)【発明者】

【氏名】ミュラー，カーステン

(72)【発明者】

【氏名】サメク，ヴォイチェフ

(72)【発明者】

【氏名】シュヴァルツ，ハイコ

(72)【発明者】

【氏名】マルペ，デトレフ

(72)【発明者】

【氏名】ヴィーガンド，トーマス

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA19

5C159PP04

5C159RC11

5C159TA16

5C159TA59

5C159TB17

5C159UA02

5C159UA05

(57)【要約】

本発明による実施形態は、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する装置を含む。本装置は、任意選択で、ニューラルネットワークの、例えばベース層のような１つ以上の層を定義する、ニューラルネットワークの、例えばＮＢのようなベースモデルの、パラメーターを得るように、例えば復号化するように構成されてもよい。さらに、本装置は、ニューラルネットワークの、例えばベース層のような１つ以上の層の修正を定義する、例えばＮＵ１～ＮＵＫのような更新モデルを、復号化するように構成され、本装置は、新たなモデル層ＬＮｋｊを含む、例えば「新たなモデル」として指定されるような、更新されたモデルを得るために、更新モデルを使用してニューラルネットワークのベースモデルのパラメーターを修正するように構成されている。さらに、本装置は、例えば更新モデルのパラメーターの行、若しくは列、又はブロックのようなシーケンスがゼロであるか否かを示す、例えばｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ及び／又はｓｋｉｐ＿ｃｏｌｕｍｎ＿ｆｌａｇのようなスキップ情報を評価するように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークの１つ以上の層の修正を定義する更新モデル（１１２、１６２、２１２、２６２）を復号化するように構成され、
前記装置は、更新されたモデル（１０８、２０８）を得るために、前記更新モデルを使用して前記ニューラルネットワークのベースモデル（１８４、２８４）のパラメーターを修正するように構成され、
前記装置は、前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報（１６４）を評価するように構成されている、
装置。

【請求項2】

請求項１に記載の装置（１５０、２５０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、差分値を記述し、
前記装置は、前記更新されたモデル（１０８、２０８）のパラメーターの値を得るために、前記差分値を前記ベースモデル（１８４、２８４）のパラメーターの値と加算的に又は減算的に組み合わせるように構成されている、
装置。

【請求項3】

請求項１又は２に記載の装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークのｊ番目の層に関連付けられた差分値又は差分テンソルＬ_Ｕｋ，ｊを、前記ニューラルネットのベースモデル（１８４、２８４）のｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊと、
Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ＋Ｌ_Ｕｋ，ｊ（全てのｊについて、又は前記更新モデルが層を含む全てのｊについて）
に従って組み合わせ、それにより、前記ニューラルネットワークのモデルインデックスｋを有する更新されたモデル（１０８、２０８）のｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊを得るように構成されている、
装置。

【請求項4】

請求項１～３のいずれか一項に記載の装置（１５０、２５０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、スケーリング因子値を記述し、
前記装置は、前記更新されたモデル（１０８、２０８）のパラメーターの値を得るために、前記スケーリング因子値を使用して、前記ベースモデル（１８４、２８４）のパラメーターの値をスケーリングするように構成されている、
装置。

【請求項5】

請求項１～４のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークのｊ番目の層に関連付けられたスケーリング値又はスケーリングテンソルＬ_Ｕｋ，ｊを、前記ニューラルネットのベースモデル（１８４、２８４）のｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊと、
Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ・Ｌ_Ｕｋ，ｊ（全てのｊについて、又は前記更新モデルが層を含む全てのｊについて）
に従って組み合わせ、それにより、前記ニューラルネットワークのモデルインデックスｋを有する更新されたモデル（１０８、２０８）のｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊを得るように構成されている、
装置。

【請求項6】

請求項１～５のいずれか一項に記載の装置（１５０、２５０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、置換値を記述し、
前記装置は、前記更新されたモデル（１０８、２０８）のパラメーターの値を得るために、前記置換値を使用して、前記ベースモデルのパラメーターの値を置換するように構成されている、
装置。

【請求項7】

請求項１～６のいずれか一項に記載の装置（１５０、２５０）であって、
前記ニューラルネットワークパラメーターは、ニューロンから発生する、又はニューロンに向かってつながる、ニューロン相互接続の重みを定義する重み値を含む、
装置。

【請求項8】

請求項１～７のいずれか一項に記載の装置（１５０、２５０）であって、
ニューラルネットワークパラメーターのシーケンスが、行列の行又は列に関連付けられた重み値を含む、
装置。

【請求項9】

請求項１～８のいずれか一項に記載の装置（１５０、２５０）であって、
前記スキップ情報（１６４）は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの全てのパラメーターがゼロであるか否かを示すフラグを含む、
装置。

【請求項10】

請求項１～９のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記スキップ情報（１６４）に依存して、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの復号化を選択的にスキップするように構成されている、
装置。

【請求項11】

請求項１～１０のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記スキップ情報（１６４）に依存して、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの値を、所定の値に選択的に設定するように構成されている、
装置。

【請求項12】

請求項１～１１のいずれか一項に記載の装置（１５０、２５０）であって、
前記スキップ情報（１６４）は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのそれぞれのシーケンスの全てのパラメーターがゼロであるか否かを示すスキップフラグのアレイを含む、
装置。

【請求項13】

請求項１～１２のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのそれぞれのシーケンスの復号化を、パラメーターのそれぞれのシーケンスに関連付けられたそれぞれのスキップフラグに依存して、選択的にスキップするように構成されている、
装置。

【請求項14】

請求項１～１３のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、スキップフラグの前記アレイのエントリの数を記述するアレイサイズ情報を評価するように構成されている、
装置。

【請求項15】

請求項１～１４のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、コンテキストモデル（２６４）を使用して、１つ以上のスキップフラグを復号化するように構成され、
前記装置は、１つ以上の以前に復号化されたシンボルに依存して、１つ以上のスキップフラグの復号化のためのコンテキストモデルを選択するように構成されている、
装置。

【請求項16】

請求項１～１５のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークの層に関連付けられた全てのスキップフラグの復号化のために単一のコンテキストモデル（２６４）を適用するように構成されている、
装置。

【請求項17】

請求項１～１６のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたスキップフラグに依存して、スキップフラグの復号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項18】

請求項１～１７のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの復号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項19】

請求項１～１８のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの復号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項20】

請求項１～１９のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける対応する層の存在に依存して、スキップフラグの復号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項21】

請求項１～２０のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、現在復号化されている更新モデル（１１２、１６２、２１２、２６２）の１つ以上の以前に復号化されたシンボルに依存して、コンテキストモデルの前記選択されたセットの中からコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項22】

ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくは前記ニューラルネットワークの修正を定義する、現在の更新モデル（１１２、１６２、２１２、２６２）を復号化するように構成され、
前記装置は、更新されたモデル（１０８、２０８）を得るために、前記現在の更新モデルを使用して、前記ニューラルネットワークのベースモデル（１８４、２８４）のパラメーター、又は１つ以上の中間更新モデルを使用して前記ニューラルネットワークの前記ベースモデルから導出された中間パラメーターを修正するように構成され、
前記装置は、前記現在の更新モデルの１つ以上のパラメーターをエントロピー復号化するように構成され、
前記装置は、前記ベースモデル（１８４、２８４）の１つ以上の以前に復号化されたパラメーターに依存して、及び／又は中間更新モデル（１８４、２８４）の１つ以上の以前に復号化されたパラメーターに依存して、前記現在の更新モデルの１つ以上のパラメーターのエントロピー復号化のために使用されるコンテキストを適応させるように構成されている、
装置。

【請求項23】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、コンテキストベースのエントロピー復号化を使用して、前記現在の更新モデル（１１２、１６２、２１２、２６２）の１つ以上のパラメーターの量子化及び二値化された表現を復号化するように構成されている、
装置。

【請求項24】

請求項２２又は２３に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー復号化するように構成され、前記有意ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述する、
装置。

【請求項25】

請求項２２～２４のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー復号化するように構成され、前記符号ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述する、
装置。

【請求項26】

請求項２２～２５のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた単項シーケンスをエントロピー復号化するように構成され、前記単項シーケンスの前記ビンは、前記現在考慮されているパラメーター値の量子化インデックスの絶対値がそれぞれのビン重みよりも大きいか否かを記述する、
装置。

【請求項27】

請求項２２～２６のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー復号化するように構成され、Ｘはゼロよりも大きい整数である、
装置。

【請求項28】

請求項２２～２７のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項29】

請求項２２～２８のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項30】

請求項２２～２９のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項31】

請求項２２～３０のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値を、１つ以上の閾値と比較するように構成され、
前記装置は、前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項32】

請求項２２～３１のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値を、単一の閾値と比較するように構成され、
前記装置は、前記単一の閾値との前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、前記単一の閾値との前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項33】

請求項２２～３２のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値を、１つ以上の閾値と比較するように構成され、
前記装置は、前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項34】

請求項２２～３３のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー復号化することであって、前記有意ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述することと、
以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、前記少なくとも１つの有意ビンの前記エントロピー復号化のためのコンテキスト、又は前記少なくとも１つの有意ビンの前記エントロピー復号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項35】

請求項２２～３４のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー復号化することであって、前記符号ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述することと、
以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、前記少なくとも１つの符号ビンの前記エントロピー復号化のためのコンテキスト、又は前記少なくとも１つの符号ビンの前記エントロピー復号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項36】

請求項２２～３５のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー復号化することであって、Ｘはゼロよりも大きい整数であることと、
以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、少なくとも１つのＸよりも大きいビンの前記エントロピー復号化のためのコンテキスト、又は前記少なくとも１つのＸよりも大きいビンの前記エントロピー復号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項37】

請求項２２～３６のいずれか一項に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の、１つ以上の以前に復号化されたビン又はパラメーターに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデル（２６４）を選ぶように構成されている、
装置。

【請求項38】

ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークの１つ以上の層の修正を定義する更新モデル（１１２、１６２、２１２、２６２）を符号化するように構成され、
前記装置は、更新されたモデル（１０８、２０８）を得るために、デコーダーが、前記更新モデルを使用して、前記ニューラルネットワークのベースモデル（１０４、２０４）のパラメーターを修正することを、前記更新モデルが可能とするように、前記更新モデルを提供するように構成され、
前記装置は、前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報（１１４）を提供及び／又は決定するように構成されている、
装置。

【請求項39】

請求項３８に記載の装置（１００、２１０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、前記更新されたモデル（１０８、２０８）のパラメーターの値を得るために、前記デコーダーが、前記差分値を前記ベースモデル（１０４、２０４）のパラメーターの値と加算的に又は減算的に組み合わせることを可能とする差分値を記述する、
装置。

【請求項40】

請求項３９に記載の装置（１００、２１０）であって、
前記装置は、前記更新されたモデル（１０８、２０８）のパラメーターの値と前記ベースモデル（１０４、２０４）のパラメーターの値との間の差分として、前記差分値を決定するように構成されている、
装置。

【請求項41】

請求項３９又は４０に記載の装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークのｊ番目の層に関連付けられた差分値又は差分テンソルＬ_Ｕｋ，ｊを、前記ニューラルネットのベースモデル（１０４、２０４）のｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊとの、
Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ＋Ｌ_Ｕｋ，ｊ（全てのｊについて、又は前記更新モデルが層を含む全てのｊについて）
に従う、前記差分値又は差分テンソルＬ_Ｕｋ，ｊの組み合わせが、前記ニューラルネットワークのモデルインデックスｋを有する前記更新されたモデル（１０８、２０８）のｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊの決定を可能にするように、決定するように構成されている、
装置。

【請求項42】

請求項３８～４１のいずれか一項に記載の装置（１００、２１０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、スケーリング因子値を記述し、
前記装置は、前記スケーリング因子値を使用した、前記ベースモデル（１０４、２０４）のパラメーターの値のスケーリングが、前記更新されたモデル（１０８、２０８）のパラメーターの値に帰着するように、前記スケーリング因子値を提供するように構成されている、
装置。

【請求項43】

請求項４２に記載の装置（１００、２１０）であって、
前記装置は、前記スケーリング因子値を、前記更新されたモデル（１０８、２０８）のパラメーターの値と前記ベースモデル（１０４、２０４）のパラメーターの値との間のスケーリング因子として決定するように構成されている、
装置。

【請求項44】

請求項４３に記載の装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークのｊ番目の層に関連付けられたスケーリング値又はスケーリングテンソルＬ_Ｕｋ，ｊを、前記ニューラルネットのベースモデル（１０４、２０４）のｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊとの、
Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ・Ｌ_Ｕｋ，ｊ（全てのｊについて、又は前記更新モデルが層を含む全てのｊについて）
に従う、前記スケーリング値又はスケーリングテンソルの組み合わせが、前記ニューラルネットワークのモデルインデックスｋを有する更新されたモデル（１０８、２０８）のｊ番目の層のパラメーターを表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊの決定を可能にするように、決定するように構成されている、
装置。

【請求項45】

請求項３８～４４のいずれか一項に記載の装置（１００、２１０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、置換値を記述し、
前記装置は、前記置換値を使用した前記ベースモデル（１０４、２０４）のパラメーターの値の置換が、前記更新されたモデル（１０８、２０８）のパラメーターの値を得ることを可能にするように、前記置換値を提供するように構成されている、
装置。

【請求項46】

請求項４５に記載の装置（１００、２１０）であって、
前記装置は、前記置換値を決定するように構成されている、
装置。

【請求項47】

請求項３８～４６のいずれか一項に記載の装置（１００、２１０）であって、
前記ニューラルネットワークパラメーターは、ニューロンから発生する、又はニューロンに向かってつながる、ニューロン相互接続の重みを定義する重み値を含む、
装置。

【請求項48】

請求項３８～４７のいずれか一項に記載の装置（１００、２１０）であって、
ニューラルネットワークパラメーターのシーケンスが、行列の行又は列に関連付けられた重み値を含む、
装置。

【請求項49】

請求項３８～４８のいずれか一項に記載の装置（１００、２１０）であって、
前記スキップ情報（１１４）は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの全てのパラメーターがゼロであるか否かを示すフラグを含む、
装置。

【請求項50】

請求項３８～４９のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの復号化のスキップをシグナリングするスキップ情報（１１４）を提供するように構成されている、
装置。

【請求項51】

請求項３８～５０のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスが所定の値を有するか否かの情報を含むスキップ情報を提供するように構成されている、
装置。

【請求項52】

請求項３８～５１のいずれか一項に記載の装置（１００、２１０）であって、
前記スキップ情報（１１４）は、前記更新モデルのパラメーターのそれぞれのシーケンスの全てのパラメーターがゼロであるか否かを示すスキップフラグの前記アレイを含む、
装置。

【請求項53】

請求項３８～５２のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのそれぞれのシーケンスの復号化のスキップをシグナリングするための、パラメーターのそれぞれのシーケンスに関連付けられたスキップフラグを提供するように構成されている、
装置。

【請求項54】

請求項３８～５３のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、スキップフラグのアレイのエントリの数を記述するアレイサイズ情報を提供するように構成されている、
装置。

【請求項55】

請求項３８～５４のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、コンテキストモデル（２６４）を使用して、１つ以上のスキップフラグを符号化するように構成され、
前記装置は、１つ以上の以前に符号化されたシンボルに依存して、１つ以上のスキップフラグの符号化のためのコンテキストモデルを選択するように構成されている、
装置。

【請求項56】

請求項３８～５５のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークの層に関連付けられた全てのスキップフラグの符号化のために単一のコンテキストモデル（２６４）を適用するように構成されている、
装置。

【請求項57】

請求項３８～５６のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたスキップフラグに依存して、スキップフラグの符号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項58】

請求項３８～５７のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの符号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項59】

請求項３８～５８のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの符号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項60】

請求項３８～５９のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける対応する層の存在に依存して、スキップフラグの符号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項61】

請求項３８～６０のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、現在符号化されている更新モデル（１１２、１６２、２１２、２６２）の１つ以上の以前に符号化されたシンボルに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項62】

ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくは前記ニューラルネットワークの修正を定義する、現在の更新モデル（１１２、１６２、２１２、２６２）を符号化するように構成され、
前記装置は、更新されたモデル（１０８、２０８）を得るために、前記現在の更新モデルを使用して、前記ニューラルネットワークのベースモデル（１０４、２０４）のパラメーター、又は１つ以上の中間更新モデルを使用して前記ニューラルネットワークの前記ベースモデル（１０４、２０４）から導出された中間パラメーターを、デコーダーが修正することを、前記更新モデルが可能とするように、前記更新モデル（１１２、１６２、２１２、２６２）を提供するように構成され、
前記装置は、前記現在の更新モデルの１つ以上のパラメーターをエントロピー符号化するように構成され、
前記装置は、前記ベースモデル（１０４、２０４）の１つ以上の以前に符号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ以上の以前に符号化されたパラメーターに依存して、前記現在の更新モデルの１つ以上のパラメーターのエントロピー符号化のために使用されるコンテキストを適応させるように構成されている、
装置。

【請求項63】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、コンテキストベースのエントロピー符号化を使用して、前記現在の更新モデル（１１２、１６２、２１２、２６２）の１つ以上のパラメーターの量子化及び二値化された表現を符号化するように構成されている、
装置。

【請求項64】

請求項６２又は６３に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー符号化するように構成され、前記有意ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述する、
装置。

【請求項65】

請求項６２～６４のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー符号化するように構成され、前記符号ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述する、
装置。

【請求項66】

請求項６２～６５のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた単項シーケンスをエントロピー符号化するように構成され、前記単項シーケンスの前記ビンは、前記現在考慮されているパラメーター値の量子化インデックスの絶対値がそれぞれのビン重みよりも大きいか否かを記述する、
装置。

【請求項67】

請求項６２～６６のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー符号化するように構成され、Ｘはゼロよりも大きい整数である、
装置。

【請求項68】

請求項６２～６７のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）を選択するように構成されている、
装置。

【請求項69】

請求項６２～６８のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のために選択可能なコンテキストモデル（２２４）のセットを選択するように構成されている、
装置。

【請求項70】

請求項６２～６９のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）を選択するように構成されているか、又は
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項71】

請求項６２～７０のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値を、１つ以上の閾値と比較するように構成され、
前記装置は、前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）のセットを選択するように構成されている、
装置。

【請求項72】

請求項６２～７１のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値を、単一の閾値と比較するように構成され、
前記装置は、前記単一の閾値との前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）を選択するように構成されているか、又は
前記装置は、前記単一の閾値との前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項73】

請求項６２～７２のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値を、１つ以上の閾値と比較するように構成され、
前記装置は、前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）を選択するように構成されているか、又は
前記装置は、前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項74】

請求項６２～７３のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー符号化することであって、前記有意ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述することと、
以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、前記少なくとも１つの有意ビンの前記エントロピー符号化のためのコンテキスト（２２４）、又は前記少なくとも１つの有意ビンの前記エントロピー符号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項75】

請求項６２～７４のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー符号化することであって、前記符号ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述することと、
以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、前記少なくとも１つの符号ビンの前記エントロピー符号化のためのコンテキスト（２２４）、又は前記少なくとも１つの符号ビンの前記エントロピー符号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項76】

請求項６２～７５のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー符号化することであって、Ｘはゼロよりも大きい整数であることと、
以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、少なくとも１つのＸよりも大きいビンの前記エントロピー符号化のためのコンテキスト（２２４）、又は前記少なくとも１つのＸよりも大きいビンの前記エントロピー符号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項77】

請求項６２～７６のいずれか一項に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の、１つ以上の以前に符号化されたビン又はパラメーターに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデル（２２４）を選ぶように構成されている、
装置。

【請求項78】

ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法（３００）であって、前記方法は、
前記ニューラルネットワークの１つ以上の層の修正を定義する更新モデル（１１２、１６２、２１２、２６２）を復号化すること（３１０）と、
更新されたモデル（１０８、２０８）を得るために、前記更新モデルを使用して前記ニューラルネットワークのベースモデルのパラメーターを修正すること（３２０）と、
前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報（１６４）を評価すること（３３０）と、
を含む、方法。

【請求項79】

ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法（４００）であって、前記方法は、
前記ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくは前記ニューラルネットワークの修正を定義する、現在の更新モデル（１１２、１６２、２１２、２６２）を復号化すること（４１０）と、
更新されたモデル（１０８、２０８）を得るために、前記現在の更新モデルを使用して、前記ニューラルネットワークのベースモデルのパラメーター、又は１つ以上の中間更新モデルを使用して前記ニューラルネットワークの前記ベースモデルから導出された中間パラメーターを修正すること（４２０）と、
前記現在の更新モデルの１つ以上のパラメーターをエントロピー復号化すること（４３０）と、
前記ベースモデルの１つ以上の以前に復号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ又は以前に復号化されたパラメーターに依存して、前記現在の更新モデルの１つ以上のパラメーターのエントロピー復号化のために使用されるコンテキスト（２６４）を適応させること（４４０）と、
を含む、方法。

【請求項80】

ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法（５００）であって、前記方法は、
前記ニューラルネットワークの１つ以上の層の修正を定義する更新モデル（１１２、１６２、２１２、２６２）を符号化すること（５１０）と、
更新されたモデル（１０８、２０８）を得るために、前記更新モデルを使用して前記ニューラルネットワークのベースモデル（１０４、２０４）のパラメーターを修正するために、前記更新モデルを提供すること（５２０）と、
前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報（１１４）を提供及び／又は決定すること（５３０）と、
を含む、方法。

【請求項81】

ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法（６００）であって、前記方法は、
前記ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくは前記ニューラルネットワークの修正を定義する、現在の更新モデル（１１２、１６２、２１２、２６２）を符号化すること（６１０）と、
更新されたモデル（１０８、２０８）を得るために、前記ニューラルネットワークのベースモデル（１０４、２０４）のパラメーター、又は１つ以上の中間更新モデルを使用して前記ニューラルネットワークの前記ベースモデルから導出された中間パラメーターを修正するために、前記現在の更新モデルを使用することと、
前記現在の更新モデルの１つ以上のパラメーターをエントロピー符号化すること（６２０）と、
前記ベースモデルの１つ以上の以前に符号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ又は以前に符号化されたパラメーターに依存して、前記現在の更新モデル（１１２、１６２、２１２、２６２）の１つ以上のパラメーターのエントロピー符号化のために使用されるコンテキスト（２２４）を適応させること（６３０）と、
を含む、方法。

【請求項82】

コンピュータープログラムであって、前記コンピュータープログラムがコンピューター上で動作するときに、請求項７８～８１のいずれか一項に記載の方法を実行する、コンピュータープログラム。

【請求項83】

ニューラルネットワークパラメーターの符号化表現であって、
前記ニューラルネットワークの１つ以上の層の修正を定義する、更新モデル（１１２、１６２、２１２、２６２）と、
前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示す、スキップ情報と、
を含む、符号化表現。

【発明の詳細な説明】

【技術分野】

【0001】

本発明による実施形態は、更新モデルを使用して、ニューラルネットワークパラメーターを復号化する装置、方法及びコンピュータープログラム、並びにニューラルネットワークパラメーターを符号化する装置、方法及びコンピュータープログラムに関する。

【0002】

本発明による更なる実施形態は、ニューラルネットワークの増分更新のパラメーターのエントロピー符号化の方法に関する。

【背景技術】

【0003】

ニューラルネットワーク（ＮＮ）は、多種多様な用途において使用されている。増加し続ける計算能力により、複雑さが増し、それゆえニューラルネットワークパラメーター、例えば重みの数が増加している、ＮＮが使用され得る。

【0004】

特に計算コストの高いトレーニングプロセスは、専用のトレーニング装置上で実行され得るものであり、そのため、更新されたニューラルネットワークパラメーターは、かかるトレーニングデバイスからエンドユーザデバイスに伝送される必要があることとなり得る。

【0005】

さらに、ＮＮは、複数のデバイス、例えば複数のエンドユーザデバイス上でトレーニングされ得るものであり、複数のトレーニング結果の集約されたバージョンを提供することが有利となり得る。それゆえ、それぞれのトレーニング結果は、後続する集約のために送信される必要があることとなり得るものであり、集約された更新されたパラメーターセットは、デバイスのそれぞれに再伝送され得る。

【発明の概要】

【発明が解決しようとする課題】

【0006】

それゆえ、ニューラルネットワークパラメーターをコード化する、例えば符号化する及び／又は復号化する概念であって、該概念の効率、複雑さ及び計算コストの間で良好な妥協点を実現する、概念に対するニーズがある。

【課題を解決するための手段】

【0007】

これは、本出願の独立請求項の主題によって達成される。

【0008】

本発明による更なる実施の形態は、本出願の従属請求項の主題によって定義される。

【0009】

本発明による実施の形態は、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する装置を含む。本装置は、任意選択で、ニューラルネットワークの、１つ以上の層、例えばベース層を定義する、ニューラルネットワークのベースモデル、例えばＮＢのパラメーターを得るように、例えば復号化するように構成されてもよい。

【0010】

さらに、本装置は、ニューラルネットワークの、例えばベース層のような１つ以上の層の修正を定義する、例えばＮＵ１～ＮＵＫのような更新モデルを、復号化するように構成され、本装置は、新たなモデル層ＬＮｋｊを含む、例えば「新たなモデル」として指定されるような、更新されたモデルを得るために、更新モデルを使用してニューラルネットワークのベースモデルのパラメーターを修正するように構成されている。

【0011】

さらに、本装置は、更新モデルのパラメーターの、例えば行、若しくは列、又はブロックのようなシーケンスが、ゼロであるか否かを示す、例えばｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ及び／又はｓｋｉｐ＿ｃｏｌｕｍｎ＿ｆｌａｇのようなスキップ情報を評価するように構成されている。

【0012】

本発明者らは、ニューラルネットワークパラメーターは、ベースモデル及び更新モデルを使用して効率的に伝送することができることを認識した。ニューラルネットワークのトレーニングにおいては、ニューラルネットワークパラメーターの一部のみが、例えばデフォルトパラメーター又は初期パラメーターのようなベースパラメーターと比較して、著しく変更され得る。それゆえ、本発明者らは、例えば更新モデルの形態をとる修正情報のような、変更情報のみを伝送することが有利となり得ることを認識した。一例として、ベースモデルはデコーダーに記憶することができ、それにより伝送を必要なくできる。一方、かかるベースモデルは、例えば一度だけ伝送されるものとすることができる。

【0013】

さらに、本発明者らは、かかる更新モデルの手法は、スキップ情報を使用することによって更に改善することができることを認識した。スキップ情報は、モデル内の情報分布に関する更新モデルの構造についての情報を含むことができる。それゆえ、スキップ情報は、更新モデルのパラメーターの或る特定のシーケンスが更新情報を含まないこと、換言すればゼロであることを示すことができる。それゆえ、かかるパラメーターのシーケンスの代わりに、スキップ情報しか伝送される必要がないものとすることができる。

【0014】

さらに、スキップ情報に基づいて、デコーダーにおいて、かかるパラメーターの評価及び適用（例えばベースモデルへの適用）をスキップすることができる。

【0015】

これに加えて、ベースモデル及び更新モデルは、ニューラルネットワーク全体の若しくはその層の、又はニューラルネットワークのニューラルネットワークパラメーターの他のサブセット又は一部の、ニューラルネットワークパラメーターに対処することができることは、留意されるべきである。

【0016】

本発明の更なる実施の形態によれば、更新モデルは、差分値を記述し、本装置は、更新されたモデルのパラメーターの、例えば対応する値を得るために、差分値をベースモデルのパラメーターの値と加算的に又は減算的に組み合わせるように構成されている。

【0017】

本発明者らは、加法的な又は減法的な修正情報が、効果的なパラメーター更新、更には計算コストの低いパラメーターの適応を可能にすることができることを認識した。

【0018】

本発明の更なる実施の形態によれば、本装置は、ニューラルネットワークのｊ番目の層に関連付けられた差分値又は差分テンソルＬ_Ｕｋ，ｊを、ニューラルネットのベースモデルのｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊと、Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ＋Ｌ_Ｕｋ，ｊ（全てのｊについて、又は更新モデルが層を含む全てのｊについて）に従って組み合わせ、それにより、ニューラルネットワークのモデルインデックスｋを有する更新されたモデルのｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊを得るように構成され、ここで、例えば、「＋」は、２つのテンソル間の要素毎の加法演算を定義してもよい。

【0019】

本発明者らは、ニューラルネットワークパラメーターは、例えば、テンソルを使用して効率的に表現することができることを認識した。さらに、本発明者らは、テンソルの形態をとる更新情報とベース情報との組み合わせを、計算コストの低い態様で実行することができることを認識した。

【0020】

本発明の更なる実施の形態によれば、更新モデルは、スケーリング因子値を記述し、本装置は、更新されたモデルのパラメーターの、例えば対応する値を得るために、スケーリング因子値を使用して、ベースモデルのパラメーターの値をスケーリングするように構成されている。

【0021】

本発明者らは、スケーリング因子を使用することが、少ないビット数でパラメーター更新を表すことを可能にし、それにより、かかる情報を少ない伝送リソースを用いて伝送することができることを認識した。さらに、スケーリング因子の適用は、低い計算コストで実行することができる。

【0022】

本発明の更なる実施の形態によれば、本装置は、ニューラルネットワークのｊ番目の層に関連付けられたスケーリング値又はスケーリングテンソルＬ_Ｕｋ，ｊを、ニューラルネットのベースモデルのｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊと、Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ・Ｌ_Ｕｋ，ｊ（全てのｊについて、又は更新モデルが層を含む全てのｊについて）に従って組み合わせ、それにより、ニューラルネットワークのモデルインデックスｋを有する更新されたモデルのｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊを得るように構成され、ここで、例えば、「・」は、２つのテンソル間の要素毎の乗法演算を定義してもよい。

【0023】

本発明者らは、テンソルと乗法スケーリングとの組み合わせが、効率的なニューラルネットワークパラメーター更新を可能にすることができることを認識した。

【0024】

本発明の更なる実施の形態によれば、更新モデルは、置換値を記述し、本装置は、更新されたモデルのパラメーターの、例えば対応する値を得るために、置換値を使用して、ベースモデルのパラメーターの値を置換するように構成されている。

【0025】

本発明者らは、いくつかの場合においては、パラメーターの更新を表すために、例えば、加法的な又は乗法的な修正の代わりに、ベースモデルの値を更新モデルからの値で置換することが、より効率的となり得ることを認識した。

【0026】

本発明の更なる実施の形態によれば、ニューラルネットワークパラメーターは、ニューロンから発生する、又はニューロンに向かってつながる、ニューロン相互接続の重みを定義する重み値を含む。

【0027】

それゆえ、ＮＮの重み値を、効率的に復号化することができる。

【0028】

本発明の更なる実施の形態によれば、ニューラルネットワークパラメーターのシーケンスは、例えば２次元行列又は更にはより高次元の行列のような、行列の行又は列に関連付けられた重み値を含む。

【0029】

本発明者らは、ニューラルネットワークパラメーターのシーケンスの行毎の又は列毎の配置が、シーケンスの、例えば行列のスキャンを含む、効率的な処理を可能にすることができることを認識した。

【0030】

本発明の更なる実施の形態によれば、スキップ情報は、更新モデルのパラメーターの、例えば行のようなシーケンスの、全てのパラメーターがゼロであるか否かを、例えば単一のビットを使用して示す、フラグを含む。

【0031】

本発明者らは、ニューラルネットワークパラメーターのシーケンス専用のフラグが、対応するシーケンスを効率的に取り扱う方法についての、デコーダーによる個別の評価を可能にすることができることを認識した。一例として、フラグが更新モデルの対応するパラメーターがゼロであることを示す場合、かかるシーケンスの処理はスキップされてもよい。

【0032】

それゆえ、本発明の更なる実施の形態によれば、本装置は、スキップ情報に依存して、更新モデルのパラメーターの、例えば行のようなシーケンスの復号化を選択的にスキップするように構成されている。

【0033】

本発明の更なる実施の形態によれば、本装置は、スキップ情報に依存して、更新モデルのパラメーターのシーケンスの値を、例えばゼロのような所定の値に選択的に設定するように構成されている。

【0034】

一例として、パラメーターのシーケンスの代わりに、スキップ情報のみがデコーダーに伝送されてもよい。スキップ情報に基づいて、デコーダーは、シーケンスのニューラルネットワークパラメーターが所定の値を有することを結論付けてもよく、それゆえ、これらの値を再構築してもよい。

【0035】

本発明の更なる実施の形態によれば、スキップ情報は、例えば単一のビットを使用して、更新モデルのパラメーターの、例えば行のようなそれぞれのシーケンスの全てのパラメーターがゼロであるか否かを示す、スキップフラグのアレイを含み、例えば、各フラグは、更新モデルのパラメーターの１つのシーケンスに関連付けられたものであってもよい。

【0036】

本発明者らは、スキップフラグのアレイを使用することが、更新モデルのニューラルネットワークパラメーターの複数のシーケンスに対処するコンパクトな情報を提供することを可能にすることができることを認識した。

【0037】

それゆえ、本発明の更なる実施の形態によれば、本装置は、パラメーターのそれぞれのシーケンスに関連付けられたそれぞれのスキップフラグに依存して、更新モデルのパラメーターの、例えば行のような複数のそれぞれのシーケンスの（又は例えば１つのそれぞれのシーケンスの）復号化を、選択的にスキップするように構成されている。

【0038】

本発明の更なる実施の形態によれば、本装置は、スキップフラグのアレイのエントリの数を記述する、例えばＮのようなアレイサイズ情報を評価し、例えば復号化し、使用するように構成されている。このことは、良好な柔軟性及び良好な効率を提供することができる。

【0039】

本発明の更なる実施の形態によれば、本装置は、コンテキストモデルを使用して１つ以上のスキップフラグを復号化するように構成され、本装置は、例えば１つ以上の以前に復号化されたスキップフラグに依存してのように、１つ以上の以前に復号化されたシンボルに依存して、１つ以上のスキップフラグの復号化のためのコンテキストモデルを選択するように構成されている。

【0040】

本発明者らは、コンテキストモデルを使用することが、スキップフラグを効率的に符号化し、それに対応して復号化することを可能にすることができることを認識した。

【0041】

本発明の更なる実施の形態によれば、本装置は、ニューラルネットワークの層に関連付けられた全てのスキップフラグの復号化のために単一のコンテキストモデルを適用するように構成されている。

【0042】

このことは、低い計算労力でのスキップフラグの単純な復号化を可能にすることができる。

【0043】

本発明の更なる実施の形態によれば、本装置は、以前に復号化されたスキップフラグに依存して、スキップフラグの復号化のためのコンテキストモデルを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0044】

本発明者らは、コード化効率の向上のために、対応するスキップフラグ間の相関を、コンテキストモデルの選択によって利用することができることを認識した。

【0045】

本発明の更なる実施の形態によれば、本装置は、例えば、以前に復号化された更新モデル又は以前に復号化されたベースモデルのような、以前に復号化されたニューラルネットワークモデルにおける、対応する（例えば、現在考慮されているスキップフラグが関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものであってもよい、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）スキップフラグの値に依存して、スキップフラグの復号化のためのコンテキストモデルを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0046】

本発明者らは、スキップフラグの復号化のために、コンテキストモデルをそれに応じて選択することによって、以前に復号化されたニューラルネットワークの対応するスキップフラグとの相関を利用することができることを認識した。

【0047】

本発明の更なる実施の形態によれば、本装置は、例えば、以前に復号化された更新モデル又は以前に復号化されたベースモデルのような、以前に復号化されたニューラルネットワークモデルにおける、対応する（例えば、現在考慮されているスキップフラグが関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものであってもよい、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）スキップフラグの値に依存して、スキップフラグの復号化のための選択可能なコンテキストモデルのセットを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0048】

本発明者らは、コード化効率を向上させるために、コンテキストモデルのセットを、スキップフラグを復号化し、それに応じて符号化するために使用できることを認識した。さらに、本発明者らは、以前に復号化されたニューラルネットワークモデルと現在復号化されているニューラルネットワークモデルとの間の相関を、かかるコンテキストモデルのセットの選択のために利用することができることを認識した。

【0049】

本発明の更なる実施の形態によれば、本装置は、例えば以前に復号化された更新モデル又は以前に復号化されたベースモデルにおけるような、以前に復号化されたニューラルネットワークモデルにおける、対応する層の存在に依存して、スキップフラグの復号化のための選択可能なコンテキストモデルのセットを、例えば２つのコンテキストモデルのセットの中から、選択するように構成され、ここで、任意選択で、以前に復号化されたニューラルネットワークモデルは、或る特定の層を含まないが、この或る特定の層は、現在考慮されている層に存在し得るものとすることができる。このことは例えば、例えば層を追加することによって、ニューラルネットワークのトポロジーが変更される場合に成り立ち得る。このことはまた例えば、ニューラルネットワークの或る特定の層が以前の更新においては変更されず、そのため、この或る特定の層に関する情報が以前の更新に含まれていない場合に成り立ち得る。

【0050】

一例として、デコーダーは、対応するスキップフラグ間の相関が存在するか否かを評価するように構成されてもよい。対応する層の欠如は、以前に復号化されたニューラルネットワークモデルにおいて、現在の復号化されるべきスキップフラグに対応し得るスキップフラグがないことを示し得る。それゆえ、この情報は、コンテキストモデルのセットの選択のために使用することができる。

【0051】

本発明の更なる実施の形態によれば、本装置は、現在復号化されている更新モデルの、例えば１つ以上の以前に復号化されたスキップフラグに依存してのように、１つ以上の以前に復号化されたシンボルに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデルを選択するように構成されている。

【0052】

それゆえ、実施の形態によれば、いくつかの決定、及びそれゆえ自由度を組み込むことができることは、留意されるべきである。以前に復号化されたニューラルネットワークモデルと、現在復号化されているモデルとの間、更には、現在復号化されている更新モデルの以前に復号化されたシンボルと、現在復号化されているシンボルとの間の情報の相関が、利用されてもよい。それゆえ、これらの相関は、最初にコンテキストモデルのセットを選択し、次いでコンテキストモデルのセットの中からコンテキストモデルを選択し、それゆえ現在のシンボルを復号化するために、使用することができる。本発明者らは、簡単に言えば、コード化効率を向上させるために、情報相関のいくつかの層を利用することができることを認識した。

【0053】

本発明による更なる実施の形態は、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する装置を含む。任意選択で、本装置は、ニューラルネットワークの、例えばベース層のような１つ以上の層を定義する、ニューラルネットワークの、例えばＮＢのようなベースモデルのパラメーターを得るように、例えば復号化するように構成されてもよい。

【0054】

さらに、本装置は、例えばＬＢ，ｊのようなニューラルネットワークの、例えばベース層のような１つ以上の層の修正、又は、１つ以上の中間層の若しくはニューラルネットワークの、例えばＬＵＫ－１，ｊの修正を定義する、例えばＮＵ１又はＮＵＫのような現在の更新モデルを復号化するように構成されている。

【0055】

さらに、本装置は、例えば新たなモデル層ＬＮ１，ｊ又はＬＮＫ，ｊを含む「新たなモデル」として指定されるような、更新されたモデルを得るために、例えばＮＵ１又はＮＵＫのような現在の更新モデルを使用して、例えばＬＢ，ｊのパラメーターのようなニューラルネットワークのベースモデルのパラメーター、又は例えばＮＵ１～ＮＵＫ－１を使用してのように、１つ以上の中間更新モデルを使用して、ニューラルネットワークのベースモデルから導出された、例えばＬＵＫ－１，ｊのパラメーターのような中間パラメーターを修正するように構成されている。

【0056】

これに加えて、本装置は、現在の更新モデルの１つ以上のパラメーターを、例えばコンテキスト適応型二値算術コード化を使用して、エントロピー復号化するように構成され、本装置は、例えば、現在の更新モデルとベースモデルとの間の相関、及び／又は現在の更新モデルと中間更新モデルとの間の相関を利用するために、ベースモデルの１つ以上の以前に復号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ以上の以前に復号化されたパラメーターに依存して、現在の更新モデルの１つ以上のパラメーターのエントロピー復号化のために使用されるコンテキストを適応させるように構成されている。

【0057】

本発明者らは、例えばベースモデル又は中間モデルのような、以前に復号化されたニューラルネットワークモデルと、現在復号化されているニューラルネットワークモデルである現在の更新モデルとの間の相関が、現在の更新モデルの１つ以上のパラメーターのエントロピー復号化のために使用される、コンテキストモデルの適応のために利用することができることを認識した。

【0058】

一例として、ニューラルネットワークの反復トレーニング手順においては、ベースモデル（例えばデフォルトニューラルネットワークパラメーター又は初期ニューラルネットワークパラメーターを含むか又はそれに関連付けられる）に基づいて、例えば各トレーニングの後に、更新された、例えば改善されたモデルを得ることができる。本発明者らは、例えばトレーニングサイクルの間に、ニューラルネットワークパラメーターの変更又は改変を相関付けることができることを認識した。先行するトレーニング及び後続するトレーニングを通じて、相関付けることができるニューラルネットワークパラメーターのいくつかのセットがあり得る。それゆえ、かかる相関を利用することによって、コード化効率を改善することができる。中間モデルは、例えば初期のモデルのようなベースモデルと、例えば直近のトレーニングサイクルに関連付けられた現在のモデルとの間の、更新されたニューラルネットワークを表し得る。

【0059】

それゆえ、本発明者らは、かかる相関についての情報を組み込むために、復号化及び対応する符号化のためのコンテキストの適応が有利となり得ることを認識した。

【0060】

本発明の更なる実施の形態によれば、本装置は、コンテキストベースのエントロピー復号化を使用して、現在の更新モデルの、例えば差分値ＬＵｋ，ｊ又はスケーリング因子値Ｌｕｋ，ｊ若しくは置換値Ｌｕｋ，ｊのような１つ以上のパラメーターの、量子化及び二値化された表現を復号化するように構成されている。

【0061】

本発明者らは、現在の更新モデルのパラメーターについて量子化及び二値化された表現を使用することが、本発明の手法のコード化効率を更に向上させることを可能にすることを認識した。一例として、二値表現を使用することは、複雑さを低く保つことができ、任意のシンボルの、より頻繁に使用されるビットについての、単純な確率モデル化を可能にすることができる。

【0062】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー復号化するように構成され、有意ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述する。

【0063】

このことは、ニューラルネットワークパラメーターの符号化及び／又は復号化のために使用されるビットを節約することを可能にすることができる。有意ビンが、パラメーターがゼロであることを示す場合、更なるビンは不要とすることができ、それゆえ他の情報のために使用することができる。

【0064】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー復号化するように構成され、符号ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述する。

【0065】

本発明者らは、符号ビンの使用が、パラメーター値の符号についてのコンパクトで複雑性の低い情報を提供することを可能にすることを認識した。

【0066】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた単項シーケンスをエントロピー復号化するように構成され、単項シーケンスのビンは、現在考慮されているパラメーター値の量子化インデックスの絶対値が、例えばＸのようなそれぞれのビン重みよりも大きいか否かを記述する。

【0067】

本発明者らは、かかる単項アレイの使用が、現在考慮されているパラメーター値の効率的な表現を可能にすることを認識した。

【0068】

本発明の更なる実施の形態によれば、本装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー復号化するように構成され、Ｘはゼロよりも大きい整数である。

【0069】

本発明者らは、量子化インデックスについての間隔のかかる後続の指標が、その絶対値の効率的な表現を可能にすることを認識した。

【0070】

本発明の更なる実施の形態によれば、本装置は、例えば、以前に復号化されたベースモデルの、又は以前に復号化された更新モデルの、対応する層における、例えば、以前に復号化された更新モデル又は以前に復号化されたベースモデルのような、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応する（例えば、現在考慮されているパラメーター値が関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものであってもよい、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0071】

本発明者らは、現在復号化されているモデルと以前に復号化されたモデルとの間の相関を利用することができることを認識した。本発明者らは、かかる相関を、例えば改善されたコード化効率を提供するために、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスを復号化するためのコンテキストモデルを選択することによって、有利に利用することができることを認識した。本発明者らは、例えば後続のニューラルネットワークトレーニングの対応するパラメーター値の、対応する量子化インデックスの相関を、コンテキストモデルの選択に組み込むことができることを認識した。

【0072】

本発明の更なる実施の形態によれば、本装置は、例えば、以前に復号化されたベースモデルの、又は以前に復号化された更新モデルの、対応する層における、例えば、以前に復号化された更新モデル又は以前に復号化されたベースモデルのような、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応する（例えば、現在考慮されているパラメーター値が関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものであってもよい、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値、例えば現在考慮されているパラメーター値のような２つの所与のニューロン間の同じニューロン相互接続に関連する又はこれを定義する「対応する」パラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のための選択可能なコンテキストモデルのセットを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0073】

本発明者らは、現在復号化されているモデルと以前に復号化されたモデルとの間の相関を、例えば、量子化インデックスのビンについてのコンテキストモデルのセット、それゆえ一例としては複数のコンテキストモデルの選択のために、例えばコード化効率の向上のために、更に利用することができることを認識した。コンテキストモデルの全セットの使用は、より良好なコンテキスト選択、それゆえコード化効率の向上を可能にする、別の自由度を実装することを可能にすることができる。

【0074】

本発明の更なる実施の形態によれば、本装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルを選択するように構成されている。

【0075】

代替としては、本装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている。

【0076】

本発明者らは、情報の相関を、任意選択で、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値に基づいて利用することができることを認識した。それゆえ、コンテキストモデル又はコンテキストモデルのセットが選択されてもよく、このとき、選ばれたセット又はコンテキストモデルは、対応する以前に復号化された絶対値に基づいて、量子化インデックスのビンの相関を良好に又は例えば最良に表すコンテキストを含むものであってもよい。

【0077】

本発明の更なる実施の形態によれば、本装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値を、例えばＴ１、Ｔ２等のような１つ以上の閾値と比較するように構成されている。

【0078】

さらに、本装置は、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルを選択するように構成されている。

【0079】

代替としては、本装置は、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成され、例えば、対応する又は同位置にあるパラメーターが第１の閾値Ｔ１よりも低い場合には第１のセットが選ばれ、例えば、対応する又は同位置にあるパラメーターが第１の閾値Ｔ１以上である場合には第２のセットが選ばれ、例えば、対応する又は同位置にあるパラメーターが閾値Ｔ２以上である場合には第３のセットが選ばれるようにする。

【0080】

本発明者らは、閾値は、コンテキストモデル又はコンテキストモデルのセットを選択する、計算コストの低い方法を可能にすることができることを認識した。複数の閾値を使用することは、例えば、どのようなコンテキストモデル又はコンテキストモデルのセットを選ぶか又は選択するかについての、差別化された情報を提供することを可能にすることができる。

【0081】

本発明の更なる実施の形態によれば、本装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値を、例えばＴ１のような単一の閾値（又は単一の閾値）と比較するように構成されている。

【0082】

さらに、本装置は、単一の閾値との比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルを選択するように構成されている。

【0083】

代替としては、本装置は、単一の閾値との比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている。

【0084】

本発明者らは、単一の閾値の使用が、以前に復号化された対応するパラメーター値から抽出される又は該パラメーター値に基づいて使用される情報の量と、計算コストとの間の良好な妥協点を提供することを可能にすることができることを認識した。

【0085】

本発明の更なる実施の形態によれば、本装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値を、例えばＴ１、Ｔ２等のような１つ以上の閾値と比較するように構成されている。

【0086】

さらに、本装置は、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルを選択するように構成されている。

【0087】

代替としては、本装置は、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成され、例えば、対応する又は同位置にあるパラメーターが第１の閾値Ｔ１よりも低い場合には第１のセットが選ばれ、例えば、対応する又は同位置にあるパラメーターが第１の閾値Ｔ１以上である場合には第２のセットが選ばれ、例えば、対応する又は同位置にあるパラメーターが閾値Ｔ２以上である場合には第３のセットが選ばれるようにする。

【0088】

本発明者らは、以前に復号化された対応するパラメーター値の絶対値の、１つ以上の閾値との、計算コストの低い比較に基づいて、コンテキストモデル又はコンテキストモデルのセットの高度な選択を実行することができることを認識した。

【0089】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー復号化することであって、有意ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述することと、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応する（例えば、現在考慮されているパラメーター値が関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものであってもよい、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値、例えば現在考慮されているパラメーター値のような２つの所与のニューロン間の同じニューロン相互接続に関連する又はこれを定義する「対応する」パラメーター値の、例えば絶対値又は符号付きの値のような値に依存して、少なくとも１つの有意ビンのエントロピー復号化のためのコンテキスト、又は少なくとも１つの有意ビンのエントロピー復号化のためのコンテキストのセットを選択することとを行うように構成され、ここで例えば、対応するパラメーター値は、コンテキストを選択するために若しくはコンテキストのセットを選択するために、単一の閾値と比較されるか、又は例えば、対応するパラメーター値は、例えばＴ１＝１及びＴ２＝２のような２つの閾値と比較される。

【0090】

本発明者らは、有意ビンの使用が、コード化効率を改善することを可能にすることができることを認識した。パラメーター値がゼロである場合、それを示すために有意ビンしか伝送される必要がないこととすることができる。それゆえ、例えば、ベースモデルの又は中間モデルのニューラルネットワークパラメーターの断片についてのいくつかの変更値のみを含む更新モデルについては、有意ビンが、更新モデルを表すために伝送される必要があり得るビットの量を低減させることを可能にすることができる。さらに、有意ビンは、コンテキストモデルを使用して効果的に符号化し、及びそれゆえ復号化することができ、本発明者らは、コンテキストの選択は、現在の更新モデルと以前に復号化されたモデルとの間の相関を利用するために、以前に復号化されたニューラルネットワークモデルにおける、対応する以前に復号化されたパラメーター値に基づいて実行することができることを認識した。

【0091】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー復号化することであって、符号ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述することと、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応する（例えば、現在考慮されているパラメーター値が関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものである、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値、例えば現在考慮されているパラメーター値のような２つの所与のニューロン間の同じニューロン相互接続に関連する又はこれを定義する「対応する」パラメーター値の値に依存して、少なくとも１つの符号ビンのエントロピー復号化のためのコンテキスト、又は少なくとも１つの符号ビンのエントロピー復号化のためのコンテキストのセットを選択することとを行うように構成され、ここで例えば、対応するパラメーター値は、コンテキストを選択するために若しくはコンテキストのセットを選択するために、単一の閾値と比較されるか、又は例えば、対応するパラメーター値は、例えばＴ１＝０及びＴ２＝１のような２つの閾値と比較される。

【0092】

以上に説明されたように、本発明者らは、符号ビンの使用が、例えば、パラメーター値の符号についてのコンパクトで複雑性の低い情報を提供することを可能にすることができることを認識した。さらに、符号ビンは、例えば、コンテキストモデルを使用して効果的に符号化し、及びそれゆえ復号化することができ、本発明者らは、コンテキストの選択は、例えば現在の更新モデルと以前に復号化されたモデルとの間の相関を利用するために、以前に復号化されたニューラルネットワークモデルにおけるパラメーター値に基づいて実行することができることを認識した。

【0093】

本発明の更なる実施の形態によれば、本装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー復号化することであって、Ｘはゼロよりも大きい整数であることと、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応する（例えば、現在考慮されているパラメーター値が関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものである、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値、例えば現在考慮されているパラメーター値のような２つの所与のニューロン間の同じニューロン相互接続に関連する又はこれを定義する「対応する」パラメーター値の、例えば絶対値又は符号付きの値のような値に依存して、少なくとも１つのＸよりも大きいビンのエントロピー復号化のためのコンテキスト、又は少なくとも１つのＸよりも大きいビンのエントロピー復号化のためのコンテキストのセットを選択することとを行うように構成され、ここで例えば、対応するパラメーター値は、コンテキストを選択するために又はコンテキストのセットを選択するために、例えばＴ１＝Ｘのような、単一の閾値と比較される。

【0094】

以上に説明されたように、本発明者らは、量子化インデックスについての間隔のかかる後続の指標が、その絶対値の効率的な表現を可能にすることを認識した。さらに、Ｘよりも大きいビンは、コンテキストモデルを使用して効果的に符号化し、及びそれゆえ復号化することができ、本発明者らは、コンテキストの選択は、例えば現在の更新モデルと以前に復号化されたモデルとの間の相関を利用するために、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値に基づいて実行することができることを認識した。

【0095】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの１つ以上の以前に復号化されたビン又はパラメーターに依存して（又は、例えば、現在の更新モデルに依存して）、コンテキストモデルの選択されたセットの中から、コンテキストモデルを選ぶように構成されている。

【0096】

本発明者らは、例えば効率的な符号化及びそれぞれの復号化のためのコンテキストモデルを選択する又は選ぶためにも、現在の更新モデル内のパラメーター又はビンの相関を、
利用することができることを認識した。

【0097】

本発明による更なる実施の形態は、ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する装置を含む。本装置は、任意選択で、ニューラルネットワークの、例えばベース層のような、１つ以上の層を定義する、ニューラルネットワークの、例えばＮＢのようなベースモデルのパラメーターを、得る及び／又は提供する、例えば符号化するように構成されてもよい。

【0098】

さらに、本装置は、ニューラルネットワークの、例えばベース層のような１つ以上の層の修正を定義する、例えばＮＵ１～ＮＵＫのような更新モデルを、符号化するように構成されている。さらに、例えば、本装置は、例えば、更新モデルが、例えば以上に定義されたような復号化の装置のようなデコーダーが、新たなモデル層ＬＮｋｊを含む、例えば「新たなモデル」として指定されるような、更新されたモデルを得るために、更新モデルを使用してニューラルネットワークのベースモデルのパラメーターを修正することを可能とするように、更新モデルを提供するように構成されている。

【0099】

さらに、本装置は、更新モデルのパラメーターの、例えば行、若しくは列、又はブロックのようなシーケンスが、ゼロであるか否かを示す、例えばｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ及び／又はｓｋｉｐ＿ｃｏｌｕｍｎ＿ｆｌａｇのようなスキップ情報を、提供及び／又は決定、及び／又は符号化するように構成されている。

【0100】

上述したエンコーダーは、上述したデコーダーと同じ考察に基づくことができる。また、エンコーダーは、デコーダーに関しても説明される全ての（例えば、全ての対応する又は全ての類似する）特徴及び機能を備えることができる。

【0101】

本発明の更なる実施の形態によれば、更新モデルは、更新されたモデルのパラメーターの、例えば対応する値を得るために、デコーダーが、差分値をベースモデルのパラメーターの値と加算的に又は減算的に組み合わせることを可能とする差分値を記述する。

【0102】

本発明の更なる実施の形態によれば、本装置は、更新されたモデルのパラメーターの値と、例えば対応する、ベースモデルのパラメーターの値との差分として、又は該差分を使用して、差分値を決定するように構成されている。

【0103】

本発明の更なる実施の形態によれば、本装置は、ニューラルネットワークのｊ番目の層に関連付けられた差分値又は差分テンソルＬ_Ｕｋ，ｊを、ニューラルネットのベースモデルのｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊとの、Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ＋Ｌ_Ｕｋ，ｊ（全てのｊについて、又は更新モデルが層を含む全てのｊについて）に従う、差分値又は差分テンソルＬ_Ｕｋ，ｊの組み合わせが、ニューラルネットワークのモデルインデックスｋを有する更新されたモデルのｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊの決定を可能にするように、決定するように構成され、ここで、例えば、「＋」は、２つのテンソル間の要素毎の加法演算を定義してもよい。

【0104】

本発明の更なる実施の形態によれば、更新モデルは、スケーリング因子値を記述し、本装置は、スケーリング因子値を使用した、ベースモデルのパラメーターの値のスケーリングが、更新されたモデルのパラメーターの、例えば対応する値に帰着するように、スケーリング因子値を提供するように構成されている。

【0105】

本発明の更なる実施の形態によれば、本装置は、スケーリング因子値を、更新されたモデルのパラメーターの値とベースモデルのパラメーターの、例えば対応する値との間のスケーリング因子として決定するように構成されている。

【0106】

本発明の更なる実施の形態によれば、本装置は、ニューラルネットワークのｊ番目の層に関連付けられたスケーリング値又はスケーリングテンソルＬ_Ｕｋ，ｊを、ニューラルネットのベースモデルのｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊとの、Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ・Ｌ_Ｕｋ，ｊ（全てのｊについて、又は更新モデルが層を含む全てのｊについて）に従う、スケーリング値又はスケーリングテンソルの組み合わせが、ニューラルネットワークのモデルインデックスｋを有する更新されたモデルのｊ番目の層のパラメーターを表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊの決定を可能にするように、決定するように構成され、ここで、例えば、「・」は、２つのテンソル間の要素毎の加法演算を定義してもよい。

【0107】

本発明の更なる実施の形態によれば、更新モデルは、置換値を記述し、本装置は、置換値を使用したベースモデルのパラメーターの値の置換が、更新されたモデルのパラメーターの、例えば対応する値を得ることを可能にするように、置換値を提供するように構成されている。

【0108】

本発明の更なる実施の形態によれば、本装置は、置換値を決定するように構成されている。

【0109】

本発明の更なる実施の形態によれば、ニューラルネットワークパラメーターは、ニューロンから発生する、又はニューロンに向かってつながる、ニューロン相互接続の重みを定義する重み値を含む。

【0110】

本発明の更なる実施の形態によれば、ニューラルネットワークパラメーターのシーケンスは、例えば２次元行列又は更にはより高次元の行列のような、行列の行又は列に関連付けられた重み値を含む。

【0111】

本発明の更なる実施の形態によれば、スキップ情報は、更新モデルのパラメーターの、例えば行のようなシーケンスの、全てのパラメーターがゼロであるか否かを、例えば単一のビットを使用して示す、フラグを含む。

【0112】

本発明の更なる実施の形態によれば、本装置は、更新モデルのパラメーターの、例えば行のようなシーケンスの復号化のスキップをシグナリングするスキップ情報を提供するように構成されている。

【0113】

本発明の更なる実施の形態によれば、本装置は、更新モデルのパラメーターのシーケンスが、例えばゼロのような所定の値を有するか否かの情報を含むスキップ情報を提供するように構成されている。

【0114】

本発明の更なる実施の形態によれば、スキップ情報は、例えば単一のビットを使用して、更新モデルのパラメーターの、例えば行のようなそれぞれのシーケンスの、全てのパラメーターがゼロであるか否かを示す、スキップフラグのアレイを含み、例えば、各フラグは、更新モデルのパラメーターの１つのシーケンスに関連付けられたものであってもよい。

【0115】

本発明の更なる実施の形態によれば、本装置は、更新モデルのパラメーターの、例えば行のようなそれぞれのシーケンスの復号化のスキップをシグナリングするための、パラメーターのそれぞれのシーケンスに関連付けられたスキップフラグを提供するように構成されている。

【0116】

本発明の更なる実施の形態によれば、本装置は、スキップフラグのアレイのエントリの数を記述する、例えばＮのようなアレイサイズ情報を提供するように、例えば符号化する及び／又は決定するように、構成されている。

【0117】

本発明の更なる実施の形態によれば、本装置は、コンテキストモデルを使用して１つ以上のスキップフラグを符号化するように構成され、本装置は、例えば１つ以上の以前に符号化されたスキップフラグに依存してのように、１つ以上の以前に符号化されたシンボルに依存して、１つ以上のスキップフラグの符号化のためのコンテキストモデルを選択するように構成されている。

【0118】

本発明の更なる実施の形態によれば、本装置は、ニューラルネットワークの層に関連付けられた全てのスキップフラグの符号化のために単一のコンテキストモデルを適用するように構成されている。

【0119】

本発明の更なる実施の形態によれば、本装置は、以前に符号化されたスキップフラグに依存して、スキップフラグの符号化のためのコンテキストモデルを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0120】

本発明の更なる実施の形態によれば、本装置は、例えば、以前に符号化された更新モデル又は以前に符号化されたベースモデルのような、以前に符号化されたニューラルネットワークモデルにおける、対応する（例えば、現在考慮されているスキップフラグが関連しているものと同じニューラルネットワークパラメーター（同じニューロン相互接続を定義する）に関連付けられたものであってもよい、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）スキップフラグの値に依存して、スキップフラグの符号化のためのコンテキストモデルを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0121】

本発明の更なる実施の形態によれば、本装置は、例えば、以前に符号化された更新モデル又は以前に符号化されたベースモデルのような、以前に符号化されたニューラルネットワークモデルにおける、対応する（例えば、現在考慮されているスキップフラグが関連しているものと同じニューラルネットワークパラメーター（同じニューロン相互接続を定義する）に関連付けられたものであってもよい、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）スキップフラグの値に依存して、スキップフラグの符号化のための選択可能なコンテキストモデルのセットを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0122】

本発明の更なる実施の形態によれば、本装置は、例えば以前に符号化された更新モデル又は以前に符号化されたベースモデルにおけるような、以前に符号化されたニューラルネットワークモデルにおける、対応する層の存在に依存して、スキップフラグの符号化のための選択可能なコンテキストモデルのセットを、例えば２つのコンテキストモデルのセットの中から、選択するように構成され、ここで例えば、以前に符号化されたニューラルネットワークモデルは、或る特定の層を含まないが、この或る特定の層は、現在考慮されている層に存在するものとすることができる。このことは例えば、例えば層を追加することによって、ニューラルネットワークのトポロジーが変更される場合に成り立ち得る。このことはまた、ニューラルネットワークの或る特定の層が以前の更新においては変更されず、そのため、この或る特定の層に関する情報が以前の更新に含まれていない場合に成り立ち得る。

【0123】

本発明の更なる実施の形態によれば、本装置は、現在符号化されている更新モデルの、例えば１つ以上の以前に符号化されたスキップフラグに依存してのように、１つ以上の以前に符号化されたシンボルに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデルを選択するように構成されている。

【0124】

本発明による更なる実施の形態は、ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する装置を含む。任意選択で、本装置は、ニューラルネットワークの、例えばベース層のような１つ以上の層を定義する、ニューラルネットワークの、例えばＮＢのようなベースモデルのパラメーターを得る及び／又は提供するように、例えば符号化するように構成されてもよい。

【0125】

さらに、本装置は、例えばＬＢ，ｊのようなニューラルネットワークの、例えばベース層のような１つ以上の層の修正、又は、１つ以上の中間層の若しくはニューラルネットワークの、例えばＬＵＫ－１，ｊの修正を定義する、例えばＮＵ１又はＮＵＫのような現在の更新モデルを符号化するように構成されている。

【0126】

さらに、例えば、本装置は、更新モデルが、新たなモデル層ＬＮ１，ｊ又はＬＮＫ，ｊを含む、例えば「新たなモデル」として指定されるような、更新されたモデルを得るために、例えばＮＵ１又はＮＵＫのような現在の更新モデルを使用して、例えばＬＢ，ｊのパラメーターのようなニューラルネットワークのベースモデルのパラメーター、又は例えばＮＵ１～ＮＵＫ－１を使用してのように、１つ以上の中間更新モデルを使用して、ニューラルネットワークのベースモデルから導出された、例えばＬＵＫ－１，ｊのパラメーターのような中間パラメーターを、例えば以上に定義されたような復号化の装置のようなデコーダーが修正することを可能とするような、更新モデルを提供するように構成されている。

【0127】

これに加えて、本装置は、現在の更新モデルの１つ以上のパラメーターを、例えばコンテキスト適応型二値算術コード化を使用して、エントロピー符号化するように構成され、本装置は、例えば、現在の更新モデルとベースモデルとの間の相関、及び／又は現在の更新モデルと中間更新モデルとの間の相関を利用するために、ベースモデルの１つ以上の以前に符号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ（又は例えば、それ以上）の以前に符号化されたパラメーターに依存して、現在の更新モデルの１つ以上のパラメーターのエントロピー符号化のために使用されるコンテキストを適応させるように構成されている。

【0128】

以上に説明されたようなエンコーダーは、以上に説明されたデコーダーと同じ考察に基づくものであってもよい。ところで、エンコーダーは、デコーダーに関しても説明されている全ての（例えば全ての対応する又は全ての類似する）特徴及び機能を備えてもよい。

【0129】

本発明の更なる実施の形態によれば、本装置は、コンテキストベースのエントロピー符号化を使用して、現在の更新モデルの、例えば差分値ＬＵｋ，ｊ又はスケーリング因子値Ｌｕｋ，ｊ若しくは置換値Ｌｕｋ，ｊのような１つ以上のパラメーターの、量子化及び二値化された表現を符号化するように構成されている。

【0130】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー符号化するように構成され、有意ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述する。

【0131】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー符号化するように構成され、符号ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述する。

【0132】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた単項シーケンスをエントロピー符号化するように構成され、単項シーケンスのビンは、現在考慮されているパラメーター値の量子化インデックスの絶対値が、例えばＸのようなそれぞれのビン重みよりも大きいか否かを記述する。

【0133】

本発明の更なる実施の形態によれば、本装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー符号化するように構成され、Ｘはゼロよりも大きい整数である。

【0134】

本発明の更なる実施の形態によれば、本装置は、例えば、以前に符号化されたベースモデルの、又は以前に符号化された更新モデルの、対応する層における、例えば以前に符号化された更新モデル又は以前に復号化されたベースモデルのような、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応する（現在考慮されているパラメーター値が関連しているものと同じニューラルネットワークパラメーター（同じニューロン相互接続を定義する）に関連付けられた、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0135】

本発明の更なる実施の形態によれば、本装置は、例えば、以前に符号化されたベースモデルの、又は以前に符号化された更新モデルの、対応する層における、例えば、以前に符号化された更新モデル又は以前に符号化されたベースモデルのような、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応する（例えば、現在考慮されているスキップフラグが関連しているものと同じニューラルネットワークパラメーター（同じニューロン相互接続を定義する）に関連付けられた、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値、例えば現在考慮されているパラメーター値のような２つの所与のニューロン間の同じニューロン相互接続に関連する又はこれを定義する「対応する」パラメーター値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のための選択可能なコンテキストモデルのセットを、例えば２つのコンテキストモデルのセットの中から、選択するように構成されている。

【0136】

本発明の更なる実施の形態によれば、本装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルを選択するように構成されている。

【0137】

代替としては、本装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成されている。

【0138】

本発明の更なる実施の形態によれば、本装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値を、例えばＴ１、Ｔ２等のような１つ以上の閾値と比較するように構成され、本装置は、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルを選択するように構成されている。

【0139】

代替としては、本装置は、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成され、例えば、対応する又は同位置にあるパラメーターが第１の閾値Ｔ１よりも低い場合には第１のセットが選ばれ、例えば、対応する又は同位置にあるパラメーターが第１の閾値Ｔ１以上である場合には第２のセットが選ばれ、例えば、対応する又は同位置にあるパラメーターが閾値Ｔ２以上である場合には第３のセットが選ばれるようにする。

【0140】

本発明の更なる実施の形態によれば、本装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値を、例えばＴ１のような単一の閾値と比較するように構成されている。

【0141】

さらに、本装置は、単一の閾値との比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルを選択するように構成されている。

【0142】

代替としては、本装置は、単一の閾値との比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成されている。

【0143】

本発明の更なる実施の形態によれば、本装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値を、例えばＴ１、Ｔ２等のような１つ以上の閾値と比較するように構成されている。

【0144】

さらに、本装置は、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルを選択するように構成されている。

【0145】

代替としては、本装置は、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成され、例えば、対応する又は同位置にあるパラメーターが第１の閾値Ｔ１よりも低い場合には第１のセットが選ばれ、例えば、対応する又は同位置にあるパラメーターが第１の閾値Ｔ１以上である場合には第２のセットが選ばれ、例えば、対応する又は同位置にあるパラメーターが閾値Ｔ２以上である場合には第３のセットが選ばれるようにする。

【0146】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー符号化することであって、有意ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述することと、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応する（例えば、現在考慮されているパラメーター値が関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものであってもよい、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値、例えば現在考慮されているパラメーター値のような２つの所与のニューロン間の同じニューロン相互接続に関連する又はこれを定義する「対応する」パラメーター値の、例えば絶対値又は符号付きの値のような値に依存して、少なくとも１つの有意ビンのエントロピー符号化のためのコンテキスト、又は少なくとも１つの有意ビンのエントロピー符号化のためのコンテキストのセットを選択することとを行うように構成され、ここで例えば、対応するパラメーター値は、コンテキストを選択するために若しくはコンテキストのセットを選択するために、単一の閾値と比較されるか、又は例えば、対応するパラメーター値は、例えばＴ１＝１及びＴ２＝２のような２つの閾値と比較される。

【0147】

本発明の更なる実施の形態によれば、本装置は、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー符号化することであって、符号ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述することと、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応する（例えば、現在考慮されているパラメーター値が関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものであってもよい、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値、例えば現在考慮されているパラメーター値のような２つの所与のニューロン間の同じニューロン相互接続に関連する又はこれを定義する「対応する」パラメーター値の値に依存して、少なくとも１つの符号ビンのエントロピー符号化のためのコンテキスト、又は少なくとも１つの符号ビンのエントロピー符号化のためのコンテキストのセットを選択することとを行うように構成され、ここで例えば、対応するパラメーター値は、コンテキストを選択するために若しくはコンテキストのセットを選択するために、単一の閾値と比較されるか、又は例えば、対応するパラメーター値は、例えばＴ１＝０及びＴ２＝１のような２つの閾値と比較される。

【0148】

本発明の更なる実施の形態によれば、本装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー符号化することであって、Ｘはゼロよりも大きい整数であることと、本装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応する（例えば、現在考慮されているパラメーター値が関連しているものと同じニューラルネットワークパラメーター（例えば同じニューロン相互接続を定義する）に関連付けられたものである、例えば同位置にある、例えば更新モデルの対応するパラメーターのシーケンスに関連付けられたもの）パラメーター値、例えば現在考慮されているパラメーター値のような２つの所与のニューロン間の同じニューロン相互接続に関連する又はこれを定義する「対応する」パラメーター値の、例えば絶対値又は符号付きの値のような値に依存して、少なくとも１つのＸよりも大きいビンのエントロピー符号化のためのコンテキスト、又は少なくとも１つのＸよりも大きいビンのエントロピー符号化のためのコンテキストのセットを選択することとを行うように構成され、ここで例えば、対応するパラメーター値は、コンテキストを選択するために又はコンテキストのセットを選択するために、例えばＴ１＝Ｘのような、単一の閾値と比較される。

【0149】

本発明の更なる実施の形態によれば、本装置は、１つ以上の以前に符号化されたビン若しくはパラメーター（例えば現在の更新モデルの）又は現在の更新モデルに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデルを選ぶように構成されている。

【0150】

本発明による更なる実施の形態は、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法を含み、本方法は、任意選択で、ニューラルネットワークの、例えばベース層のような１つ以上の層を定義する、ニューラルネットワークの、例えばＮＢのようなベースモデルのパラメーターを得ること、例えば復号化することを含む。さらに、本方法は、ニューラルネットワークの、例えばベース層のような１つ以上の層の修正を定義する、例えばＮＵ１～ＮＵＫのような更新モデルを復号化することと、新たなモデル層ＬＮｋｊを含む、例えば「新たなモデル」として指定されるような、更新されたモデルを得るために、更新モデルを使用してニューラルネットワークのベースモデルのパラメーターを修正することと、更新モデルのパラメーターの、例えば行、若しくは列、又はブロックのようなシーケンスが、ゼロであるか否かを示す、例えばｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ及び／又はｓｋｉｐ＿ｃｏｌｕｍｎ＿ｆｌａｇのようなスキップ情報を評価することとを含む。

【0151】

本発明による更なる実施の形態は、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法を含み、本方法は、任意選択で、ニューラルネットワークの、例えばベース層のような１つ以上の層を定義する、ニューラルネットワークの、例えばＮＢのようなベースモデルの、パラメーターを得ること、例えば復号化することを含む。さらに、本方法は、例えばＬＢ，ｊのような、ニューラルネットワークの、例えばベース層のような１つ以上の層の修正、又は、１つ以上の中間層の若しくはニューラルネットワークの、例えばＬＵＫ－１，ｊの修正を定義する、例えばＮＵ１又はＮＵＫのような現在の更新モデルを復号化することと、新たなモデル層ＬＮ１，ｊ又はＬＮＫ，ｊを含む、例えば「新たなモデル」と指定されるような、更新されたモデルを得るために、例えばＮＵ１又はＮＵＫのような現在の更新モデルを使用して、例えばＬＢ，ｊのパラメーターのようなニューラルネットワークのベースモデルのパラメーター、又は例えばＮＵ１～ＮＵＫ－１を使用してのように、１つ以上の中間更新モデルを使用して、ニューラルネットワークのベースモデルから導出された、ＬＵＫ－１，ｊのパラメーターのような中間パラメーターを修正することと、を含む。

【0152】

さらに、本方法は、現在の更新モデルの１つ以上のパラメーターを、例えばコンテキスト適応型二値算術コード化を使用して、エントロピー復号化することと、例えば、現在の更新モデルとベースモデルとの間の相関、及び／又は現在の更新モデルと中間更新モデルとの間の相関を利用するために、ベースモデルの１つ以上の以前に復号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ又は以前に復号化されたパラメーターに依存して、現在の更新モデルの１つ以上のパラメーターのエントロピー復号化のために使用されるコンテキストを適応させることとを含む。

【0153】

本発明による更なる実施の形態は、ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法を含み、本方法は、任意選択で、ニューラルネットワークの、例えばベース層のような１つ以上の層を定義する、ニューラルネットワークの、例えばＮＢのようなベースモデルのパラメーターを、得る及び／又は提供すること、例えば符号化することを含む。

【0154】

さらに、本方法は、ニューラルネットワークの、例えばベース層のような１つ以上の層の修正を定義する、例えばＮＵ１～ＮＵＫのような更新モデルを符号化することと、新たなモデル層ＬＮｋｊを含む、例えば「新たなモデル」と指定されるような、更新されたモデルを得るために、更新モデルを使用して、ニューラルネットワークのベースモデルのパラメーターを修正するために、更新モデルを提供することとを含む。

【0155】

さらに、本方法は、更新モデルのパラメーターの、例えば行、若しくは列、又はブロックのようなシーケンスがゼロであるか否かを示す、例えばｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ及び／又はｓｋｉｐ＿ｃｏｌｕｍｎ＿ｆｌａｇのようなスキップ情報を提供する及び／又は決定する、及び／又は符号化することを含む。

【0156】

本発明による更なる実施の形態は、ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法を含み、本方法は、任意選択で、ニューラルネットワークの、例えばベース層のような１つ以上の層を定義する、ニューラルネットワークの、例えばＮＢのようなベースモデルのパラメーターを、得る及び／又は提供すること、例えば符号化することを含む。

【0157】

さらに、本方法は、例えばＬＢ，ｊのもののような、ニューラルネットワークの、例えばベース層のような１つ以上の層の修正、又は、１つ以上の中間層の若しくはニューラルネットワークの、例えばＬＵＫ－１，ｊの修正を定義する、例えばＮＵ１又はＮＵＫのような現在の更新モデルを符号化して、新たなモデル層ＬＮ１，ｊ又はＬＮＫ，ｊを含む、例えば「新たなモデル」と指定されるような、更新されたモデルを得るために、例えばＮＵ１又はＮＵＫのような現在の更新モデルを使用して、例えばＬＢ，ｊのパラメーターのようなニューラルネットワークのベースモデルのパラメーター、又は例えばＮＵ１～ＮＵＫ－１を使用してのように、１つ以上の中間更新モデルを使用して、ニューラルネットワークのベースモデルから導出された、例えばＬＵＫ－１，ｊのパラメーターのような中間パラメーターを修正することを含む。

【0158】

さらに、本方法は、現在の更新モデルの１つ以上のパラメーターを、例えばコンテキスト適応型二値算術コード化を使用して、エントロピー符号化することと、例えば、現在の更新モデルとベースモデルとの間の相関、及び／又は現在の更新モデルと中間更新モデルとの間の相関を利用するために、ベースモデルの１つ以上の以前に符号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ又は以前に符号化されたパラメーターに依存して、現在の更新モデルの１つ以上のパラメーターのエントロピー符号化のために使用されるコンテキストを適応させることとを含む。

【0159】

上述した方法は、上述したデコーダー及びエンコーダーと同じ考慮事項に基づき得ることに留意されたい。また、本方法は、デコーダー及びエンコーダーに関しても説明される全ての（例えば、全ての対応する又は全ての類似の）特徴及び機能を備えることができる。

【0160】

本発明による更なる実施の形態は、コンピュータープログラムがコンピューター上で動作するときに、本明細書に開示される上記の方法のいずれかを実行するコンピュータープログラムを含む。

【0161】

本発明による更なる実施の形態は、ニューラルネットワークの、例えばベース層のような１つ以上の層の修正を定義する、例えばＮＵ１～ＮＵＫのような更新モデルと、更新モデルのパラメーターの、例えば行、若しくは列、又はブロックのようなシーケンスがゼロであるか否かを示す、例えばｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ及び／又はｓｋｉｐ＿ｃｏｌｕｍｎ＿ｆｌａｇのようなスキップ情報とを含む、例えばビットストリームのような、ニューラルネットワークパラメーターの符号化表現を含む。

【0162】

図面は、必ずしも縮尺通りではなく、代わりに、概して、本発明の原理を図示することに重点が置かれている。以下の説明では、本発明の種々の実施形態が、以下の図面を参照して説明される。

【図面の簡単な説明】

【0163】

【図1】本発明の実施形態による、ニューラルネットワークパラメーターを符号化する装置、及びニューラルネットワークパラメーターを復号化する装置を示す概略図である。

【図2】本発明の実施形態による、ニューラルネットワークパラメーターを符号化する第２の装置、及びニューラルネットワークパラメーターを復号化する第２の装置を示す概略図である。

【図3】本発明の実施形態による、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法を示す図である。

【図4】本発明の実施形態による、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法を示す図である。

【図5】本発明の実施形態による、ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法を示す図である。

【図6】本発明の実施形態による、ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法を示す図である。

【図7】本発明の実施形態による、例えばフィードフォワードニューラルネットワークのような、フィードフォワードニューラルネットワークのグラフ表現の一例を示す図である。

【図8】本発明の実施形態による、一様再構築量子化器の説明の一例を示す図である。

【図9】本発明の実施形態による、許容可能な再構築ベクトルの位置についての一例を示す図である。

【図10】本発明の実施形態による、再構築レベルのセットの、２つサブセットへの分割についての一例を示す図である。

【発明を実施するための形態】

【0164】

同一若しくは同等の要素、又は同一若しくは同等の機能を有する要素は、異なる図に現れる場合であっても、以下の説明において同一又は同等の参照番号によって示される。

【0165】

以下の説明では、本発明の実施形態のより完全な説明を提供するために、複数の詳細が記載される。しかしながら、本発明の実施形態がこれらの具体的な詳細なしに実施され得ることは、当業者には明らかであろう。他の例では、本発明の実施形態を不明瞭にすることを回避するために、既知の構造及びデバイスは、詳細にではなくブロック図の形態で示される。加えて、本明細書で後に説明される異なる実施形態の特徴は、特に別段の記載がない限り、互いに組み合わせることができる。

【0166】

図１は、本発明の実施形態による、ニューラルネットワークパラメーターを符号化する装置、及びニューラルネットワークパラメーターを復号化する装置の概略図を示す。

【0167】

図１は、ニューラルネットワークを定義するニューラルネットワーク（ＮＮ）パラメーターを符号化する装置１００を示す。装置１００は、更新モデル提供ユニット１１０及び符号化ユニット１２０を備える。

【0168】

簡潔さのため、符号化の装置１００は、エンコーダー１００と呼ばれる。任意選択の特徴として、エンコーダー１００、例えば更新モデル提供ユニット１１０は、ＮＮパラメーター１０２を提供されてもよい。

【0169】

これに基づいて、更新モデル提供ユニット１１０は、更新モデルであるか又は更新モデルを含む更新モデル情報１１２を提供するように構成されてもよく、これにより、更新モデルが、更新されたモデルを得るために、デコーダー１５０が更新モデルを使用してニューラルネットワークのベースモデルのパラメーターを修正することを可能とする。一例として、更新されたモデルは、ＮＮパラメーター１０２と関連付けられてもよいし、又はＮＮパラメーター１０２によって表されてもよい。

【0170】

代替として、一例として、エンコーダー１００は、例えばＮＮパラメーター１０２の代わりに、例えば更新モデル情報１１２の形態で、更新モデルを提供されてもよく、それゆえ受信された更新モデルを符号化するように構成され、それにより、更新モデルが、例えば１０８のような更新モデルを得るために、デコーダー１５０が更新モデルを使用してベースモデルのパラメーターを修正することを可能とする。

【0171】

更新モデル情報１１２は、更新モデルを符号化するように構成された符号化ユニット１２０に提供される。更新モデルは、ニューラルネットワークの１つ以上の層の修正を定義してもよい。

【0172】

任意選択の特徴として、エンコーダー１００、例えば更新モデル提供ユニット１１０は、参照モデル情報１０４を提供されてもよい。別の任意選択の特徴として、例えば代替として、エンコーダー１００は、参照モデル情報１０４を任意選択で更新モデル提供ユニット１１０及び／又は符号化ユニット１２０に提供するように構成された参照ユニット１３０を備えてもよい。

【0173】

参照モデル情報１０４は、ニューラルネットワークの１つ以上の層を定義する、例えばベースモデルのニューラルネットワークパラメーターのような、ニューラルネットワークのベースモデルについての情報を含んでもよい。それゆえ、任意選択の特徴として、エンコーダー１００は例えば、例えば更新モデル提供ユニット１１０を使用して及び／又は例えば参照ユニット１３０を使用して、参照モデル情報１０４を得るように構成されてもよい。

【0174】

一例として、参照モデル情報１０４に基づいて、更新モデル提供ユニット１１０は、例えば、例えば参照モデル情報によって表されるベースモデルのニューラルネットワークパラメーターと、例えば更新されたモデルのもののような、例えばベースモデルの更新されたバージョンの、対応するＮＮパラメーター１０２との間のような、ベースモデルとエンコーダー１００に提供される更新モデルとの間のような、ベースモデルとニューラルネットワークパラメーター１０２に関連付けられたモデルとの間の差分を決定してもよい。この差異又は差分情報は、例えば更新モデルとして、更新モデル情報１１２の形態で提供されてもよい。

【0175】

別の例としては、例えばＮＮパラメーター１０２の代わりに、更新モデル提供ユニット１１０は、例えば１０８又は１０８と同等のもののような更新されたモデル情報を受信するように構成されてもよく、更新モデル提供ユニット１１０は、例えば更新されたモデルであるか又は更新されたモデルを含む更新モデル情報と、例えばベースモデルであるか又はベースモデルを含む参照情報との間の差異情報として、更新モデル情報１１２を提供するように構成されてもよい。

【0176】

それゆえ、ベースモデルが利用可能であれば、対応するデコーダー１５０は、全てのＮＮパラメーター１０２の伝送を必要とすることなく、例えばＮＮパラメーター１０２を含む又はＮＮパラメーター１０２に関連付けられた更新されたモデルを得るために、更新モデル（例えばパラメーター又はそのパラメーター値）を使用して、ベースモデルのパラメーターを修正することができる。

【0177】

さらに、一例として、符号化ユニット１２０を使用して、エンコーダー１００は任意選択で、例えば符号化されたビットストリーム１０６の一部として、参照モデル情報を対応するデコーダー１５０に提供するように構成されてもよい。それゆえ、デコーダー１５０は、例えば参照モデル情報１０４内のベースモデルの参照パラメーターのような参照情報、及び、例えば更新モデル情報１１２のような修正情報を提供されてもよい。

【0178】

これに加えて、更新モデル提供ユニット１１０は、更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報１１４を決定するように構成されてもよい（代替としては、スキップ情報１１４は任意選択で、外部ソースからエンコーダー１００に提供されてもよい）。それゆえ、符号化ユニット１２０は、スキップ情報１１４を、対応するデコーダー１５０のための符号化されたビットストリームで提供する及び／又は符号化するように構成されてもよい。スキップ情報は、例えば、フラグ又はフラグのアレイであってもよい。それゆえ、更新モデル情報１１２は、フラグを用いて、ゼロであるか又は著しい影響がないものであってもよい、そのＮＮパラメーターを表すことによって圧縮されてもよく、それにより、これらのパラメーターが明示的に伝送される必要がなくなる。

【0179】

図１はさらに、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する装置１５０を示す。簡潔さのため、装置１５０は、デコーダー１５０と呼ばれる。デコーダー１５０は、復号化ユニット１６０及び修正ユニット１７０を備える。

【0180】

図示されるように、デコーダー１５０、又は例えば復号化ユニット１６０は、更新モデル情報及びスキップ情報（例えばスキップ情報１１４と等しいか又は同等である）を含む、符号化されたビットストリーム１０６を受信するように構成されてもよい。復号化ユニット１６０は、ニューラルネットワークの１つ以上の層の修正を定義する更新モデルを含むか又はかかる更新モデルである、更新モデル情報１６２（例えば更新モデル情報１１２と等しいか又は同等である）を提供するために、ビットストリーム１０６を復号化するように構成されてもよい。復号化された更新モデル情報１６２は、修正ユニット１７０に提供されてもよい。

【0181】

修正ユニット１７０は、例えば更新されたモデルを含むか又は更新されたモデルである、更新されたモデル情報１０８を得るために、更新モデル情報１６２を使用して、ニューラルネットワークのベースモデルのパラメーターを修正するように構成されている。

【0182】

それゆえ、任意選択の特徴として、修正ユニット１７０は、例えばベースモデルのニューラルネットワークパラメーターのような、例えばニューラルネットワークのベースモデルについての情報のような、参照モデル情報を提供されてもよい。

【0183】

一例として、デコーダー１５０、例えば復号化ユニット１６０は、例えば、符号化されたビットストリーム１０６から、ニューラルネットワークの１つ以上の層を定義するニューラルネットワークのベースモデルのパラメーターを含むか又はかかるパラメーターである、参照モデル情報１８４（例えば参照モデル情報１０４と等しいか又は同等である）を得るように構成されてもよい。

【0184】

一例として、参照モデル情報１８４は、例えば、任意選択の参照ユニット１８０に記憶されてもよい。任意選択で、参照ユニット１８０は、例えばその伝送とは関係なく、参照モデル情報１８４を含んでもよい。

【0185】

それゆえ、任意選択で、復号化ユニット１６０及び／又は参照ユニット１８０は、参照モデル情報１８４を修正ユニット１７０に提供してもよい。したがって、参照モデル情報１０４に含まれるベースモデルのパラメーターは、更新されたモデルを含むか又は更新されたモデルである更新されたモデル情報１０８を提供するために、更新モデル情報１１２を使用して適応又は修正若しくは更新されてもよい。

【0186】

さらに、デコーダー１５０、例えば、復号化ユニット１６０は、任意選択で、ビットストリーム１０６を復号化するように構成されてもよい。スキップ情報１６４（例えばスキップ情報１１４と等しいか又は同等である）を提供するためのデコーダー１５０。一例として、復号化ユニット１６０又は修正ユニット１７０は、更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報１６４を評価するように構成されてもよい。

【0187】

一例として、スキップ情報１６４を評価した後に、復号化ユニット１６０は、それに応じて更新モデル情報１６２を適応させ、例えばそれにより、スキップ情報１１４によってゼロであることが示された更新モデルのパラメーターがゼロに設定されるようにしてもよい。

【0188】

別の例として、修正ユニット１７０は、更新されたモデル情報１０８を得る又は提供するために、スキップ情報１６４を考慮に入れて、更新モデル情報１６２に従ってベースモデルを修正してもよい。

【0189】

任意選択の特徴として、更新モデル情報１１２、１６２は、更新モデルを含むか又は更新モデルであり、更新モデルは差分値を記述する。

【0190】

それゆえ、差分値は、例えば、デコーダー１５０、例えば修正ユニット１７０が、例えば更新されたモデル情報１０８のもののような、更新されたモデルのパラメーターの、例えば対応する値を得るために、差分値をベースモデルのパラメーターの値と加算的又は減算的に組み合わせることを可能とすることができる。

【0191】

したがって、デコーダー１００、例えば修正ユニット１７０は、更新されたモデルのパラメーターの、例えば対応する値を得るために、差分値をベースモデルのパラメーターの値（例えば参照モデル情報１８４からのもの）と加算的又は減算的に組み合わせるように構成されてもよい。

【0192】

したがって、別の任意選択の特徴として、エンコーダー１００、例えば更新モデル提供ユニット１１０は、例えばＮＮパラメーター１０２によって決定される又は表される、更新されたモデルのパラメーターの値と、例えば参照モデル情報１０４に含まれる、ベースモデルのパラメーターの値との間の差分として、差分値を決定するように構成されてもよい。

【0193】

別の任意選択の特徴として、エンコーダー１００、例えば更新モデル提供ユニット１１０は、ニューラルネットワークのｊ番目の層に関連付けられた差分値又は差分テンソルＬ_Ｕｋ，ｊを決定するように構成されてもよく、それにより、Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ＋Ｌ_Ｕｋ，ｊ（全てのｊについて、又は更新モデルが層を含む全てのｊについて）に従う、ニューラルネットのベースモデルのｊ番目の層のパラメーターの値を表す、ベース値パラメーター又はベース値テンソルＬ_Ｂｊ（例えば参照モデル情報１０４に含まれる）との、差分値又は差分テンソルＬ_Ｕｋ，ｊの組み合わせが、ニューラルネットワークのモデルインデックスｋを有する更新されたモデルのｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊ（それゆえ、例えば、更新されたモデル情報１０８）の決定を可能にする。

【0194】

したがって、デコーダー１５０、例えば修正ユニット１７０は、ニューラルネットワークのｊ番目の層に関連付けられた差分値又は差分テンソルＬ_Ｕｋ，ｊを、ニューラルネットのベースモデルのｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊと、Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ＋Ｌ_Ｕｋ，ｊ（全てのｊについて、又は更新モデルが層を含む全てのｊについて）に従って組み合わせるように構成されてもよく、それにより、ニューラルネットワークのモデルインデックスｋを有する更新されたモデルのｊ番目の層のパラメーターの値を表す更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊ（それゆえ、例えば、更新されたモデル情報１０８）を得る。

【0195】

それゆえ、更新モデル提供ユニット１１０及び／又は修正ユニット１７０は、テンソル間の要素毎の加算を実行するように構成されてもよい。しかしながら、それに応じて減算も実行されてもよいことは、留意されるべきである。

【0196】

別の任意選択の特徴として、例えば１１２、１６２のような更新モデルは、スケーリング因子値を記述するか又は含んでもよい。

【0197】

それゆえ、エンコーダー１００、例えば更新モデル提供ユニット１１０は、スケーリング因子値を提供するように構成されてもよく、それにより、スケーリング因子値を使用した（例えば参照モデル情報１０４に含まれる）ベースモデルのパラメーターの値のスケーリングが、例えば１０８のような更新されたモデルのパラメーターの値に帰着する。

【0198】

したがって、デコーダー１５０、例えば修正ユニット１７０は、例えば１０８又は１０２のような更新されたモデルのパラメーターの値を得るために、スケーリング因子値を使用してベースモデルのパラメーターの値をスケーリングするように構成されてもよい。

【0199】

したがって、エンコーダー１００、例えば更新モデル提供ユニット１１０は、例えば１０８又は１０２のような更新されたモデルのパラメーターの値と、例えば参照モデル情報１０４に基づく、ベースモデルのパラメーターの値との間のスケーリング因子として、スケーリング因子値を決定するように構成されてもよい。以上に説明されたように、一例として、更新されたモデルは、ＮＮパラメーター１０２によって表されてもよい。別の任意選択の特徴として、更新されたモデルは、エンコーダー１００に提供されてもよい。

【0200】

別の任意選択の特徴として、エンコーダー１００、例えば更新モデル提供ユニット１１０は、ニューラルネットワークのｊ番目の層に関連付けられたスケーリング値又はスケーリングテンソルＬ_Ｕｋ，ｊを決定するように構成されてもよく、それにより、Ｌ_Ｎｋ，ｊ＝Ｌ_Ｂｊ・Ｌ_Ｕｋ，ｊ（全てのｊについて、又は更新モデルが層を含む全てのｊについて）に従う、ニューラルネットのベースモデルのｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊとの、スケーリング値又はスケーリングテンソルの組み合わせが、ニューラルネットワークのモデルインデックスｋを有する、例えば１０８のような更新されたモデルのｊ番目の層のパラメーターを表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊの決定を可能にする。

【0201】

したがって、デコーダー１５０、例えば修正ユニット１７０は、ニューラルネットワークのｊ番目の層に関連付けられたスケーリング値又はスケーリングテンソルＬ_Ｕｋ，ｊを、ニューラルネットのベースモデルのｊ番目の層のパラメーターの値を表す、ベース値パラメーター又はベース値テンソルＬ_Ｂｊと、Ｌ_Ｎｋ，ｊ＝Ｌ_Ｂｊ・Ｌ_Ｕｋ，ｊ（全てのｊについて、又は更新モデルが層を含む全てのｊについて）に従って組み合わせるように構成されてもよく、それにより、ニューラルネットワークのモデルインデックスｋを有する、例えば１０８のような更新されたモデルのｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊを得る。

【0202】

それゆえ、更新モデル提供ユニット１１０及び／又は修正ユニット１７０は、テンソル間の要素毎の乗算を実行するように構成されてもよい。しかしながら、それに応じて除算も実行されてもよいことは、留意されるべきである。

【0203】

別の任意選択の特徴として、例えば１１２、１６２のような更新モデルは、置換値を記述する。

【0204】

それゆえ、エンコーダー１００、例えば更新モデル提供ユニット１１０は、置換値を提供するように構成されてもよく、それにより、例えば１６２のような置換値を使用した、例えば１８４のようなベースモデルのパラメーターの値の置換が、例えば更新されたモデル情報１０８に含まれる、更新されたモデルのパラメーターの値を得ることを可能にする。

【0205】

したがって、デコーダー１５０、例えば修正ユニット１７０は、例えば１０８に含まれる更新されたモデルのパラメーターの値を得るために、例えば１６２に含まれる置換値を使用して、例えば参照情報１８４に含まれるベースモデルのパラメーターの値を置換するように構成されてもよい。

【0206】

したがって、エンコーダー１００、例えば更新モデル提供ユニット１１０は、置換値を決定するように構成されてもよい。

【0207】

別の任意選択の例として、例えば１０２のようなニューラルネットワークパラメーターは、ニューロンから発生する、又はニューロンに向かってつながる、ニューロン相互接続の重みを定義する重み値を含む。

【0208】

別の任意選択の特徴として、ニューラルネットワークパラメーターのシーケンスは、行列の行又は列に関連付けられた重み値を含む。本発明者らは、行毎の又は列毎の処理を、効率的に実行することができることを認識した。一例として、エンコーダー１０１０、例えば更新モデル提供ユニット１１０、及び／又は、デコーダー１５０、例えば修正ユニット１７０は、行列を効率的に処理するように構成されてもよく、又は行列を処理するために最適化されてもよい。

【0209】

別の任意選択の特徴として、スキップ情報１１４及び／又は１６４は、例えば１１２、１６２のような更新モデルのパラメーターのシーケンスの全てのパラメーターがゼロであるか否かを示すフラグを含む。それゆえ、ゼロシーケンスの代わりに、スキップ情報１１４のみが符号化ユニット１２０を使用してビットストリーム１０６に符号化されてもよく、より少ない伝送リソースしか必要とされなくする。デコーダー側においては、スキップ情報１６４の評価に基づいて、ゼロである例えば重みのような更新値に関連付けられたベースモデルパラメーターの修正が、スキップされてもよい。したがって、デコーダー１５０、例えば修正ユニット１７０は、スキップ情報１６４に依存して、更新モデルのパラメーターのシーケンスの復号化を選択的にスキップするように構成されてもよい。

【0210】

したがって、別の任意選択の特徴として、エンコーダー１００、例えば更新モデル提供ユニット１１０は、例えば１１２のような更新モデルのパラメーターのシーケンスの復号化のスキップをシグナリングするために、スキップ情報１１４を提供するように構成されてもよい。

【0211】

別の任意選択の特徴として、エンコーダー１００、例えば更新モデル提供ユニット１１０は、例えば１１２のような更新モデルのパラメーターのシーケンスが所定の値を有するか否かの情報を含むスキップ情報１１４を提供するように構成されてもよい。

【0212】

したがって、デコーダー１５０、例えば修正ユニット１７０は、例えば１６２のような更新モデルのパラメーターのシーケンスの値を、スキップ情報に依存して、所定の値に選択的に設定するように構成されてもよい。

【0213】

それゆえ、スキップ情報によって差別化された情報が提供されてもよい。ニューラルネットワークパラメーターは、ゼロ又は非ゼロであることがフラグ付けされ、非ゼロである場合には、所定の値さえもが示されてもよい。または、パラメーターのセット又はシーケンスが、例えばニューラルネットワークパラメーターの近似値として、所定の値によって表され得ることが示され得る。

【0214】

別の任意選択の特徴として、スキップ情報１１４及び／又は１６４は、例えば１０８のような更新モデルのパラメーターのそれぞれのシーケンスの全てのパラメーターがゼロであるか否かを示す、スキップフラグのアレイを有する。本発明者らは、例えばニューラルネットワークパラメーター行列の行及び列についてのような、複数のシーケンスについての指標を、スキップフラグのアレイ中に要約することができることを認識した。かかるアレイは、効率的に符号化、伝送、及び復号化することができる。

【0215】

別の任意選択の特徴として、エンコーダー１００、例えば更新モデル提供ユニット１１０は、例えば１１２のような更新モデルのパラメーターのそれぞれのシーケンスの復号化のスキップをシグナリングするために、パラメーターのそれぞれのシーケンスに関連付けられた、例えばスキップフラグ情報１１４に含まれる、スキップフラグを提供するように構成されてもよい。フラグは、パラメーターのスキップの単純な指標のために、数ビットで表されてもよい。

【0216】

したがって、デコーダー１５０、例えば復号化ユニット１６０は、パラメーターのそれぞれのシーケンスに関連付けられた、例えばスキップ情報１６４に含まれるそれぞれのスキップフラグに依存して、例えば符号化されたビットストリーム１０６から、更新モデルのパラメーターのそれぞれのシーケンスの復号化を、選択的にスキップするように構成されてもよい。

【0217】

別の例として、エンコーダー１００、例えば更新モデル提供ユニット１１０は、スキップフラグのアレイのエントリの数を記述するアレイサイズ情報を提供するように構成されてもよい。任意選択で、更新モデル情報１１４は、アレイサイズ情報を含んでもよい。

【0218】

したがって、デコーダー１５０、例えば修正ユニット１７０は、スキップフラグのアレイのエントリの数を記述する、例えば更新モデル情報１６２に含まれるアレイサイズ情報を評価するように構成されてもよい。

【0219】

別の任意選択の例として、エンコーダー１００、例えば符号化ユニット１２０は、コンテキストモデルを使用して、例えばスキップ情報１１４に含まれる１つ以上のスキップフラグを符号化し、例えば更新モデル情報１１２の及び／又はスキップ情報１１４のシンボルのような、１つ以上の以前に符号化されたシンボルに依存して、１つ以上のスキップフラグの符号化のためのコンテキストモデルを選択するように構成されてもよい。それゆえ、符号化ユニット１２０は、１つ以上のコンテキストモデルを含んでもよいし、又は、コンテキストモデルを使用するか否かを選ぶための１つのコンテキストモデルを、若しくは、選ぶためにより多くのコンテキストモデルを、提供されてもよい。任意選択の特徴として、エンコーダー１００及び／又はデコーダー１５０は、例えば図２の文脈において更に説明されるように、それぞれのコード化ユニット（符号化／復号化）に提供され得る、選ぶためのコンテキストモデルを含んでもよい、コンテキストユニットを含んでもよい。

【0220】

したがって、デコーダー１５０、例えば復号化ユニット１６０は、コンテキストモデルを使用して１つ以上のスキップフラグを復号化し、１つ以上の以前に復号化されたシンボルに依存して、１つ以上のスキップフラグの復号化のためのコンテキストモデルを選択するように構成されてもよい。したがって、復号化ユニット１６０は、１つ以上のコンテキストモデルを含んでもよいし、又は、例えば符号化されたビットストリーム１０６を介して、１つ以上のコンテキストモデルを提供されてもよい。それゆえ、任意選択で、エンコーダー１００、例えば符号化ユニット１２０は、１つ以上のコンテキストモデルを符号化及び／又は伝送するように構成されてもよい。

【0221】

別の任意選択の特徴として、エンコーダー１００、例えば符号化ユニット１２０は、ニューラルネットワークの層に関連付けられた全てのスキップフラグの符号化のために単一のコンテキストモデルを適用するように構成されてもよい。したがって、デコーダー１５０、例えば復号化ユニット１６０は、ニューラルネットワークの層に関連付けられた全てのスキップフラグの復号化のために単一のコンテキストモデルを適用するように構成されてもよい。それゆえ、符号化及び／又は復号化は、低い計算コストで実行することができる。

【0222】

別の任意選択の特徴として、エンコーダー１００、例えば符号化ユニット１２０は、以前に符号化されたスキップフラグに依存して、スキップフラグの符号化のためのコンテキストモデルを選択するように構成されてもよい。したがって、デコーダー１５０、例えば復号化ユニット１６０は、以前に復号化されたスキップフラグに依存して、スキップフラグの復号化のためのコンテキストモデルを選択するように構成されてもよい。それゆえ、本発明のエンコーダー及び本発明のデコーダーは、後続のスキップフラグ間の相関を利用又は活用するように構成することができる。このことは、コード化効率を向上させることを可能にすることができる。情報の相関は、コンテキストモデルの形態で使用することができる。

【0223】

さらに、一般的に、また別の任意選択の特徴として、符号化ユニット１２０は、以前に符号化された情報についての情報を記憶するように構成されてもよく、復号化ユニット１６０は、以前に復号化された情報についての情報を記憶するように構成されてもよい。

【0224】

別の任意選択の特徴として、エンコーダー１００、例えば符号化ユニット１２０は、以前に符号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、例えばスキップ情報１１４に含まれる、スキップフラグの符号化のためのコンテキストモデルを選択するように構成されてもよい。したがって、デコーダー１５０、例えば復号化ユニット１６０は、以前に復号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの復号化のために選択可能なコンテキストモデルのセットを選択するように構成されてもよい。本発明者らは、コード化効率を向上させるために、単一のモデルの後続のスキップフラグ間のみならず、異なるモデルの対応するスキップフラグ間（例えば、現在のモデルと以前に符号化／復号化された更新モデル又は以前に符号化／復号化されたベースモデルとの間）の相関を、使用又は利用することができることを認識した。この相関は、それぞれのコンテキストモデルにマッピングされ、適切なコンテキストモデルの選択によって使用されてもよい。

【0225】

別の任意選択の特徴として、エンコーダー１００、例えば符号化ユニット１２０は、以前に符号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの符号化のために選択可能なコンテキストモデルのセットを選択するように構成されてもよい。したがって、デコーダー１５０、例えば復号化ユニット１６０は、以前に復号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの復号化のために選択可能なコンテキストモデルのセットを選択するように構成されてもよい。更なる自由度として、コンテキストモデルのセットは、例えばコンテキストモデルのセットの中からそれぞれのコンテキストモデルを選ぶ前に、選ばれてもよい。それゆえ、良好なコード化効率を提供するために、良好に合致する又は最も良好に合致するコンテキストを選択する方法が提供されてもよい。以上に説明されたように、符号化ユニット１２０及び／又は復号化ユニット１６０は、後続するコンテキスト選択のために、先行する符号化／復号化された情報についての情報を記憶するように構成されてもよい。

【0226】

別の任意選択の特徴として、エンコーダー１００、例えば符号化ユニット１２０は、以前に符号化されたニューラルネットワークモデルにおける対応する層の存在に依存して、スキップフラグの符号化のために選択可能なコンテキストモデルのセットを選択するように構成されてもよい。したがって、デコーダー１５０、例えば復号化ユニット１６０は、以前に復号化されたニューラルネットワークモデルにおける対応する層の存在に依存して、スキップフラグの復号化のために選択可能なコンテキストモデルのセットを選択するように構成されてもよい。それゆえ、本発明の手法は、例えばトレーニングステップの間の、ニューラルネットワークのトポロジー変更に対処することができる。それゆえ、コード化を効率的に実行することができ、柔軟なネットワークトポロジーさえももたらし得る。

【0227】

別の任意選択の特徴として、エンコーダー１００、例えば符号化ユニット１２０は、現在符号化されている更新モデルの、１つ以上の以前に符号化されたシンボルに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデルを選択するように構成されてもよい。したがって、デコーダー１５０、例えば復号化ユニット１６０は、現在復号化されている更新モデルの、１つ以上の以前に復号化されたシンボルに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデルを選択するように構成されてもよい。

【0228】

図２は、本発明の実施形態による、ニューラルネットワークパラメーターを符号化する第２の装置、及びニューラルネットワークパラメーターを復号化する第２の装置の概略図を示す。

【0229】

図２は、ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する装置２００を示す。簡潔さのため、装置２００は、エンコーダー２００と呼ばれる。

【0230】

エンコーダー２００は、更新モデル提供ユニット２１０、及び符号化ユニット２２０を含む。任意選択の例として、エンコーダー２００、例えば更新モデル提供ユニット２１０は、例えば更新されたモデルであるか又は更新されたモデルを含む、更新されたモデル情報２０２を受信するように構成されてもよい。

【0231】

代替として、例えば図１の文脈において説明されたように、更新モデル提供ユニットは、例えば、更新されたモデルに関連付けられた又は更新されたモデルの、ＮＮパラメーターを受信するように構成されてもよい。

【0232】

それに基づいて、更新モデル提供ユニット２１０は、例えば現在の、例えば最近の、更新モデルであるか又はそれを含む、更新モデル情報を提供するように構成されてもよく、それにより、更新モデルは、デコーダーが、更新されたモデルを得るために、現在の更新モデルを使用して、ニューラルネットワークのベースモデルのパラメーター、又は１つ以上の中間更新モデルを使用して、ニューラルネットワークのベースモデルから導出された中間パラメーターを、修正することを可能にする。

【0233】

それゆえ、別の任意選択の特徴として、エンコーダー２００は任意選択で、例えば、例えばベースモデル若しくはベースモデルから導出された中間パラメーターについての、又は例えば中間の更新されたモデル（例えばベースモデルに基づく部分的に更新されたモデル）についての情報を含む、更新モデル情報２１２を使用してパラメーターが修正される、例えば、参照モデルを含む参照モデル情報を提供するように構成された、参照ユニット２３０を備えてもよい。

【0234】

別の任意選択の特徴として、エンコーダー１００は、例えば更新されたモデル情報２０２の代わりに、例えば、現在の更新モデルであるか又は現在の更新モデルを含む、更新モデル情報を受信するように構成されてもよい。この場合、エンコーダー２００は、更新モデル提供ユニット２１０を含まなくてもよい。符号化ユニット２２０は、ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくはニューラルネットワークの修正を定義するものであってもよい、更新モデル情報を符号化してもよい。それゆえ、エンコーダー２００は、更新モデル情報を提供してもよく、それにより、更新モデルは、例えば２５０のようなデコーダーが、例えば２０８のような更新されたモデルを得るために、現在の更新モデルを使用して、ニューラルネットワークのベースモデルのパラメーター、又は１つ以上の中間更新モデルを使用して、ニューラルネットワークのベースモデルから導出された中間パラメーターを修正することを可能にする。

【0235】

一例として、任意選択の参照ユニット２３０は、かかる参照モデル情報２０４を含んでもよく、又は例えば、かかる参照モデル情報（図示されていない）を一度提供されてもよい。別の例として、更新モデル提供ユニット２１０は任意選択で、参照モデル情報２０４を受信するように構成されてもよい。

【0236】

例えば、参照モデル情報に基づいて、更新モデル提供ユニット２１０は、例えば、ベースモデルと更新モデルとの間の差分を示すモデルとして、更新モデルを提供するように又は更には決定するように構成されてもよい。

【0237】

例えば、かかる更新モデルであるか又はかかる更新モデルを含む、更新モデル情報２１２は次いで、符号化ユニット２２０に提供されてもよい。符号化ユニット２２０は、現在の更新モデルの１つ以上のパラメーターをエントロピー符号化するように構成されている。それゆえ、更新モデル情報２１２又はその一部、例えばそのパラメーター、パラメーター値、フラグ、シンボルは、ビットストリーム２０６に符号化されてもよい。

【0238】

さらに、符号化ユニット２２０は、ベースモデルの１つ以上の以前に符号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ以上の以前に符号化されたパラメーターに依存して、現在の更新モデルの１つ以上のパラメーターのエントロピー符号化のために使用されるコンテキストを適応させるように構成されている。

【0239】

図２に示されるように、エンコーダー２００は、更新モデル情報２１２を符号化するための１つ以上のコンテキストモデルについての情報を含む、コンテキストユニット２４０を含んでもよい。例えば、１つ以上の以前に符号化されたパラメーター及び／又は中間更新モデルの１つ以上の以前に符号化されたパラメーターを含むか又はこれらである、任意選択の符号化情報２２２に基づいて、コンテキストユニット２４０は、例えばコンテキスト又はコンテキストモデルを含むか又はこれらである、コンテキスト情報２２４を、符号化ユニット２２０に提供してもよい。

【0240】

したがって、符号化ユニット２２０は任意選択で、かかる以前に符号化されたパラメーターについての情報を記憶してもよい。

【0241】

以上に説明されたように、エンコーダー２００は任意選択で、例えばニューラルネットワークの１つ以上の層を定義するニューラルネットワークのベースモードのパラメーターであるか又はかかるパラメーターを含む、参照モデル情報を得るように構成されてもよい。それゆえ、この情報２０４は任意選択で、例えば対応するデコーダーに提供されるために、符号化ユニット２２０に提供されてもよい。それゆえ、参照モデル情報２０４は、ビットストリーム２０６に符号化されてもよい。

【0242】

別の任意選択の例として、符号化ユニット２２０は任意選択で、コンテキスト情報２４０を符号化ビットストリーム２０６に符号化するように構成されてもよい。

【0243】

さらに、図２は、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する装置２５０を示す。簡潔さのため、装置２５０は、デコーダー２５０と呼ばれる。デコーダー２５０は、復号化ユニット２６０及び修正ユニット２７０を備える。

【0244】

任意選択で示されるように、デコーダー２００、例えば復号化ユニット２６０は、符号化されたビットストリーム２０６を受信してもよい。ビットストリームは、更新モデル情報２１２の符号化されたバージョンを含んでもよいし又はかかる符号化されたバージョンであってもよい。

【0245】

復号化ユニット２６０は、ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくはニューラルネットワークの修正を定義する、現在の更新モデルを（例えばビットストリーム２０６に符号化された更新モデル情報を復号化することによって）復号化するように構成されている。それゆえ、復号化ユニット２６０は、現在の更新モデルであるか又は現在の更新モデルを含む、更新モデル情報２６２を提供することができる。更新モデル情報２６２は、例えば、更新モデル情報２１２と等しいか又は同等であってもよい。

【0246】

復号化ユニット２６０は、現在の更新モデルの１つ以上のパラメーターをエントロピー復号化するように構成されている。したがって、更新モデル情報２６２は、これらの復号化されたパラメーターを含んでもよい。更新モデル情報２６２は、例えば、更新モデル情報２１２と等しいか又は同等であってもよい。

【0247】

さらに、復号化ユニット２６０は、ベースモデルの１つ以上の以前に復号化されたパラメーターに依存して、及び／又は、中間更新モデルの１つ以上の以前に復号化されたパラメーターに依存して、現在の更新モデルの１つ以上のパラメーターのエントロピー復号化に使用されるコンテキストを適応させるように構成されている。

【0248】

それゆえ、デコーダー２５０は、コンテキストユニット２９０を備える。例えば、ベースモデルの１つ以上の以前に復号化されたパラメーター、及び／又は中間更新モデルの１つ以上の以前に復号化されたパラメーターであるか又はかかるパラメーターを含む、任意選択の復号化情報に基づいて、コンテキストユニット２９０は、例えば、コンテキスト又は対応するコンテキストモデルであるか又はかかるコンテキストモデルを含む、コンテキスト情報２６４を提供してもよい。任意選択で、コンテキスト情報２６４は、コンテキスト情報２２４と等しいか又は同等であってもよい。

【0249】

それゆえ、復号化ユニット２６０は任意選択で、かかる以前に復号化されたパラメーターについての情報を記憶するように構成されてもよい。

【0250】

さらに、更新モデル情報２６２は、修正ユニット２７０に提供される。修正ユニット２７０は、更新されたモデル２０８を得るために、現在の更新モデルを使用して、ニューラルネットワークのベースモデルのパラメーター、又は１つ以上の中間更新モデルを使用してニューラルネットワークのベースモデルから導出された中間パラメーターを修正するように構成されている。図示されるように、修正ユニット２７０は、更新されたモデルを含むか又は更新されたモデルである、更新されたモデル情報２０８を提供するように構成されてもよい。さらに、更新されたモデル情報２０８は、例えば、更新されたモデル情報２０２と等しいか又は同等であってもよい。

【0251】

以上に説明されたように、更新モデル情報２６２は、現在の更新モデルであるか又は現在の更新モデルを含んでもよい。任意選択で示されるように、修正ユニット２７０は、例えば、参照モデル情報２８４を提供されてもよい。参照モデル情報２８４は、ベースモデル若しくは中間モデル、又は、例えばニューラルネットワークのベースモデルのパラメーター、若しくは中間パラメーター（又はそのそれぞれの値）であってもよいし、又はそれらを含んでもよい。

【0252】

さらに、参照モデル情報２８４は、例えば、参照モデル情報２０４と等しいか又は同等であってもよい。

【0253】

任意選択の特徴として、デコーダー２５０は、例えば、参照モデル情報２８４を修正ユニット２７０に提供するように構成された参照ユニットを備えてもよい。

【0254】

別の任意選択の特徴として、復号化ユニット２６０は、例えばビットストリーム２０６を介して、参照モデル情報２８４を受信し、情報２８４を修正ユニット２７０に提供してもよい。この場合、参照ユニット２８０は、例えば、存在しなくてもよい。

【0255】

別の例として、復号化ユニット２６０は、例えばビットストリーム２０６を介して、参照モデル情報２８４を受信し、参照モデル情報２８４を、例えば一度、参照ユニット２８０に提供して、そこに記憶させてもよい。

【0256】

それゆえ、デコーダー２５０は任意選択で、ニューラルネットワークの１つ以上の層を定義するニューラルネットワークのベースモデルのパラメーターを得る、例えば復号化するように構成されてもよい。

【0257】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、例えばコンテキスト情報２２４を使用してのように、コンテキストベースのエントロピー符号化を使用して、例えば２１２のような現在の更新モデルの、換言すれば例えば更新モデル情報２１２に含まれる、１つ以上のパラメーターの量子化及び二値化された表現を符号化するように構成されてもよい。

【0258】

本発明者らは、コンテキストベースのエントロピー符号化が、計算労力とコード化効率との間の良好なトレードオフを提供することを可能にすることができることを認識した。

【0259】

したがって、デコーダー２５０、例えば復号化ユニット２６０は、例えば、例えばコンテキスト情報２６４を使用してのように、コンテキストベースのエントロピー復号化を使用して、例えばビットストリーム２０６に符号化された、現在の更新モデルの１つ以上のパラメーターの量子化及び二値化された表現を復号化するように構成されてもよい。

【0260】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、例えば２１２のような現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー符号化するように構成されてもよく、有意ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述する。更新モデル情報２１２は、例えば、少なくとも１つの有意ビンを含んでもよい。有意ビンは、例えば、ビットストリーム２０６に符号化されてもよい。

【0261】

したがって、デコーダー２５０、例えば復号化ユニット２６０は、例えば、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー復号化するように構成されてもよく、有意ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述する。任意選択で、更新モデル情報２６２は、例えば、少なくとも１つの復号化された有意ビンを含んでもよい。

【0262】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、例えば２１２のような現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー符号化するように構成されてもよく、符号ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述する。更新モデル情報２１２は、例えば、少なくとも１つの符号ビンを含んでもよい。符号ビンは、例えば、ビットストリーム２０６に符号化されてもよい。

【0263】

したがって、デコーダー２５０、例えば復号化ユニット２６０は、例えば、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー復号化するように構成されてもよく、符号ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述する。任意選択で、更新モデル情報２６２は、例えば、少なくとも１つの復号化された符号ビンを含んでもよい。

【0264】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、例えば２１２のような現在の更新モデルの現在考慮されているパラメーター値に関連付けられた単項シーケンスをエントロピー符号化するように構成されてもよく、単項シーケンスのビンは、現在考慮されているパラメーター値の量子化インデックスの絶対値がそれぞれのビン重みよりも大きいか否かを記述する。更新モデル情報２１２は、例えば、単項シーケンスを含んでもよい。単項シーケンスは、ビットストリーム２０６に符号化されてもよい。

【0265】

したがって、デコーダー２５０、例えば復号化ユニット２６０は、例えば、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた単項シーケンスをエントロピー復号化するように構成されてもよく、単項シーケンスのビンは、現在考慮されているパラメーター値の量子化インデックスの絶対値がそれぞれのビン重みよりも大きいか否かを記述する。任意選択で、更新モデル情報２６２は、例えば、復号化された単項シーケンスを含んでもよい。

【0266】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー符号化するように構成されてもよく、Ｘはゼロよりも大きい整数である。更新モデル情報２１２は、例えば、１つ以上のＸよりも大きいビンを含んでもよい。１つ以上のＸよりも大きいビンは、例えば、ビットストリーム２０６に符号化されてもよい。

【0267】

したがって、復号器２５０、例えば復号化ユニット２６０は、例えば、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー復号化するように構成されてもよく、Ｘはゼロよりも大きい整数である。任意選択で、更新モデル情報２６２は、例えば、１つ以上の復号化されたＸよりも大きいビンを含んでもよい。

【0268】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０及び／又はコンテキストユニット２４０は、例えば、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のための、例えば２２４のようなコンテキストモデルを選択するように構成されてもよい。

【0269】

それゆえ、符号化ユニット２２０は任意選択で、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値についての情報を記憶する又は含むように構成されてもよい。任意選択の符号化情報２２２は、例えば、以前に符号化された対応するパラメーター値の値を含んでもよい。更新モデル情報２１２は、例えば、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンを含んでもよい。

【0270】

したがって、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のための、例えば２６４のようなコンテキストモデルを選択するように構成されてもよい。

【0271】

それゆえ、復号化ユニット２６０は任意選択で、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値についての情報を記憶する又は含むように構成されてもよい。任意選択の復号化情報２９２は、例えば、例えばコンテキストユニット２９０におけるコンテキストの選択のために、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値を含んでもよい。

【0272】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０及び／又はコンテキストユニット２４０は、例えば、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のために選択可能な、例えば２２４のようなコンテキストモデルのセットを選択するように構成されてもよい。

【0273】

それゆえ、符号化ユニット２２０は任意選択で、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値についての情報を記憶する又は含むように構成されてもよい。

【0274】

任意選択の符号化情報２２２は、例えば、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値を含んでもよい。コンテキスト情報２２４は任意選択で、選択されたコンテキストモデルのセットを含んでもよい。更新モデル情報２１２は、例えば、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンを含んでもよい。

【0275】

したがって、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のために選択可能な、例えば２２４のようなコンテキストモデルのセットを選択するように構成されてもよい。

【0276】

それゆえ、復号化ユニット２６０は任意選択で、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値についての情報を記憶する又は含むように構成されてもよい。

【0277】

コンテキスト情報２６４は、選択されたコンテキストモデルのセットを含んでもよい。更新モデル情報２１２は、例えば、現在考慮されているパラメーター値の量子化インデックスの１つ以上の復号化されたビンを含んでもよい。任意選択の復号化情報２９２は、例えば、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値を含んでもよい。

【0278】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０及び／又はコンテキストユニット２４０は、例えば、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のための、例えば２２４のようなコンテキストモデルを選択するように構成されてもよい。

【0279】

代替として、エンコーダー２００、例えば符号化ユニット２２０及び／又はコンテキストユニット２４０は、例えば、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のための、例えば２６４のようなコンテキストモデルのセットを選択するように構成されてもよい。

【0280】

コンテキスト情報２２４は、例えば、選択されたコンテキストモデル又はコンテキストモデルの選択されたセットを含んでもよい。符号化情報２２２は、例えば、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値を含んでもよい。それゆえ、符号化ユニット２２０は任意選択で、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値についての情報を記憶する又は含むように構成されてもよい。更新モデル情報２１２は、例えば、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンを含んでもよい。

【0281】

したがって、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のための、例えば２６４のようなコンテキストモデルを選択するように構成されてもよい。

【0282】

代替として、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されてもよい。

【0283】

コンテキスト情報２６４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。復号化情報２２２は、例えば、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値を含んでもよい。それゆえ、復号化ユニット２６０は任意選択で、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値についての情報を記憶する又は含むように構成されてもよい。更新モデル情報２６２は、例えば、現在考慮されているパラメーター値の量子化インデックスの１つ以上の復号化されたビンを含んでもよい。

【0284】

任意選択の特徴として、エンコーダー２００、例えば更新モデル提供ユニット２１０は、例えば、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値を、１つ以上の閾値と比較するように構成されてもよい。

【0285】

任意選択で、エンコーダー２００は、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のための、例えば２２４のようなコンテキストモデルを選択するように構成されてもよい。

【0286】

代替として、エンコーダー２００は、例えば、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のための、例えば２２４のようなコンテキストモデルのセットを選択するように構成されてもよい。

【0287】

一例として、第１のセットは、例えば、対応する又は同位置のパラメーターが第１の閾値Ｔ１よりも小さい場合に選ばれてもよく、例えば、第２のセットは、対応する又は同位置のパラメーターが第１の閾値Ｔ１以上である場合に選ばれ、また例えば、第３のセットは、対応する又は同位置のパラメーターが閾値Ｔ２以上である場合に選ばれるようにしてもよい。

【0288】

コンテキスト情報２２４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。更新モデル情報２１２は、例えば、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンを含んでもよい。したがって、符号化ユニット２２０は、例えば、以前に符号化された対応するパラメーター値についての及び／又は１つ以上の閾値についての情報を記憶する又は含むように構成されてもよい。さらに、符号化情報２２２は、例えば、比較の結果を含んでもよい。

【0289】

したがって、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値を、１つ以上の閾値と比較するように構成されてもよい。

【0290】

任意選択で、デコーダー２５０は、例えば、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のための、例えば２２４のようなコンテキストモデルを選択するように構成されてもよい。

【0291】

代替として、デコーダー２５０は、例えば、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されてもよい。

【0292】

コンテキスト情報２６４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。更新モデル情報２１２は、例えば、現在考慮されているパラメーター値の量子化インデックスの復号化された１つ以上のビンを含んでもよい。さらに、復号化情報２９２は、例えば、比較の結果を含んでもよい。したがって、復号化ユニット２６０は、例えば、以前に復号化された対応するパラメーター値についての及び／又は１つ以上の閾値についての情報を記憶する又は含むように構成されてもよい。

【0293】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値を、単一の閾値と比較するように構成されてもよい。

【0294】

任意選択で、エンコーダー２００、例えば符号化ユニット２２０及び／又はコンテキストユニット２４０は、例えば、単一の閾値との比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のための、例えば２２４のようなコンテキストモデルを選択するように構成されてもよい。

【0295】

代替として、エンコーダー２００、例えば符号化ユニット２２０及び／又はコンテキストユニット２４０は、例えば、単一の閾値との比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のために、例えば２２４のようなコンテキストモデルのセットを選択するように構成されてもよい。

【0296】

それゆえ、符号化ユニット２２０は任意選択で、以前に符号化された対応するパラメーター値についての情報を記憶する又は含むように構成されてもよく、及び／又は閾値を含んでもよい。

【0297】

コンテキスト情報２６４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。更新モデル情報２１２は任意選択で、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンを含んでもよい。符号化情報２２２は任意選択で、単一の閾値との比較の結果を含んでもよい。

【0298】

したがって、デコーダー２５０、例えば復号化ユニット２６０は、例えば、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値を、単一の閾値と比較するように構成されてもよい。

【0299】

任意選択で、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、単一の閾値との比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のための、例えば２６４のようなコンテキストモデルを選択するように構成されてもよい。

【0300】

代替として、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、単一の閾値との比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のために、例えば２６４のようなコンテキストモデルのセットを選択するように構成されてもよい。

【0301】

それゆえ、復号化ユニット２６０は任意選択で、以前に復号化された対応するパラメーター値についての及び／又は閾値についての情報を記憶する又は含むように構成されてもよい。

【0302】

コンテキスト情報２６４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。更新モデル情報２６２は任意選択で、現在考慮されているパラメーター値の量子化インデックスの復号化された１つ以上のビンを含んでもよい。復号化情報２９２は任意選択で、単一の閾値との比較の結果を含んでもよい。

【0303】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値を、１つ以上の閾値と比較するように構成されてもよい。

【0304】

任意選択で、エンコーダー２００、例えば符号化ユニット２２０及び／又はコンテキストユニット２４０は、例えば、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のための、例えば２２４のようなコンテキストモデルを選択するように構成されてもよい。

【0305】

代替として、エンコーダー２００、例えば符号化ユニット２２０及び／又はコンテキストユニット２４０は、例えば、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のための、例えば２２４のようなコンテキストモデルのセットを選択するように構成されてもよい。

【0306】

それゆえ、符号化ユニット２２０は任意選択で、以前に符号化された対応するパラメーター値の絶対値を記憶するように構成されてもよく、１つ以上の閾値を含んでもよい。

【0307】

コンテキスト情報２２４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。更新モデル情報２１２は任意選択で、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンを含んでもよい。符号化情報２２２は任意選択で、１つ以上の閾値との比較の結果を含んでもよい。

【0308】

したがって、デコーダー２５０、例えば復号化ユニット２６０は、例えば、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値を、１つ以上の閾値と比較するように構成されてもよい。

【0309】

任意選択で、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のための、例えば２２４のようなコンテキストモデルを選択するように構成されてもよい。

【0310】

代替として、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のための、例えば２２４のようなコンテキストモデルのセットを選択するように構成されてもよい。

【0311】

それゆえ、復号化ユニット２６０は、任意選択で、以前に復号化された対応するパラメーター値の絶対値についての及び／又は１つ以上の閾値についての情報を記憶する又は含むように構成されてもよい。

【0312】

コンテキスト情報２６４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。更新モデル情報２６２は任意選択で、現在考慮されているパラメーター値の量子化インデックスの復号化された１つ以上のビンを含んでもよい。復号化情報２９２は任意選択で、例えばコンテキスト情報の選択のための、１つ以上の閾値との比較の結果を含んでもよい。

【0313】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、例えば２１２のような現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー符号化することであって、有意ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述することと、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、少なくとも１つの有意ビンのエントロピー符号化のための、例えば２２４のようなコンテキスト、又は、少なくとも１つの有意ビンのエントロピー符号化のための、例えば２２４のようなコンテキストのセットを選択することとを行うように構成されてもよい。

【0314】

コンテキスト情報２２４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。それゆえ、符号化ユニット２２０は任意選択で、以前に符号化された対応するパラメーター値の値についての情報を記憶するように構成されてもよい。更新モデル情報２１２は任意選択で、少なくとも１つの有意ビンを含んでもよい。符号化情報２２２は任意選択で、例えばコンテキストユニット２４０を使用した、コンテキスト選択のための以前に符号化された対応するパラメーター値の値を含んでもよい。

【0315】

したがって、デコーダー２５０、例えば復号化ユニット２６０は、例えば、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー復号化することであって、有意ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述することと、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、少なくとも１つの有意ビンのエントロピー復号化のための、例えば２６４のようなコンテキスト、又は少なくとも１つの有意ビンのエントロピー復号化のための、例えば２６４のようなコンテキストのセットを選択することとを行うように構成されてもよい。

【0316】

コンテキスト情報２６４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。それゆえ、復号化ユニット２６０は任意選択で、以前に復号化された対応するパラメーター値の値についての情報を記憶するように構成されてもよい。

【0317】

更新モデル情報２６２は任意選択で、少なくとも１つの復号化された有意ビンを含んでもよい。復号化情報２９２は任意選択で、例えばコンテキストユニット２９０を使用した、コンテキスト選択のための以前に復号化された対応するパラメーター値の値を含んでもよい。

【0318】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー符号化することであって、符号ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述することと、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、少なくとも１つの符号ビンのエントロピー符号化のための、例えば２２４のようなコンテキスト、又は少なくとも１つの符号ビンのエントロピー符号化のための、例えば２２４のようなコンテキストのセットを選択することとを行うように構成されてもよい。

【0319】

コンテキスト情報２２４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。それゆえ、符号化ユニット２２０は任意選択で、以前に符号化された対応するパラメーター値の値についての情報を記憶するように構成されてもよい。

【0320】

更新モデル情報２１２は任意選択で、少なくとも１つの符号ビンを含んでもよい。符号化情報２２２は任意選択で、例えばコンテキストユニット２４０を使用した、コンテキスト選択のための以前に符号化された対応するパラメーター値の値を含んでもよい。

【0321】

したがって、デコーダー２５０、例えば復号化ユニット２６０は、例えば、現在の更新モデルの現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー復号化することであって、符号ビンは、現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述することと、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、少なくとも１つの符号ビンのエントロピー復号化のための、例えば２２４のようなコンテキスト、又は少なくとも１つの符号ビンのエントロピー復号化のための、例えば２２４のようなコンテキストのセットを選択することとを行うように構成されてもよい。

【0322】

コンテキスト情報２６４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。それゆえ、復号化ユニット２６０は任意選択で、以前に復号化された対応するパラメーター値の値についての情報を記憶するように構成されてもよい。

【0323】

更新モデル情報２６２は任意選択で、少なくとも１つの復号化された符号ビンを含んでもよい。復号化情報２９２は任意選択で、例えばコンテキストユニット２９０を使用した、コンテキスト選択のための以前に復号化された対応するパラメーター値の値を含んでもよい。

【0324】

任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０は、例えば、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー符号化することであって、Ｘはゼロよりも大きい整数であることと、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、少なくとも１つのＸよりも大きいビンのエントロピー符号化のための、例えば２２４のようなコンテキスト、又は少なくとも１つのＸよりも大きいビンのエントロピー符号化のための、例えば２２４のようなコンテキストのセットを選択することとを行うように構成されてもよい。

【0325】

コンテキスト情報２２４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。それゆえ、符号化ユニット２２０は任意選択で、以前に符号化された対応するパラメーター値の値についての情報を記憶するように構成されてもよい。

【0326】

更新モデル情報２１２は任意選択で、１つ以上のＸよりも大きいビンを含んでもよい。符号化情報２２２は任意選択で、例えばコンテキストユニット２４０を使用した、コンテキスト選択のための以前に符号化された対応するパラメーター値の値を含んでもよい。

【0327】

したがって、デコーダー２５０、例えば復号化ユニット２６０は、例えば、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す１つ以上のＸよりも大きいビンをエントロピー復号化することであって、Ｘはゼロよりも大きい整数であることと、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、少なくとも１つのＸよりも大きいビンのエントロピー復号化のための、例えば２６４のようなコンテキスト、又は少なくとも１つのＸよりも大きいビンのエントロピー復号化のための、例えば２６４のようなコンテキストのセットを選択することとを行うように構成されてもよい。

【0328】

コンテキスト情報２６４は、例えば、選択されたコンテキストモデル又はコンテキストモデルのセットを含んでもよい。それゆえ、復号化ユニット２６０は任意選択で、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値についての情報を記憶するように構成されてもよい。

【0329】

更新モデル情報２６２は任意選択で、１つ以上のＸよりも大きいビンを含んでもよい。復号化情報２９２は任意選択で、例えばコンテキストユニット２９０を使用した、コンテキスト選択のための以前に復号化された対応するパラメーター値の値を含んでもよい。

【0330】

別の任意選択の特徴として、エンコーダー２００、例えば符号化ユニット２２０及び／又はコンテキストユニット２４０は、例えば、現在の更新モデルの１つ以上の以前に符号化されたビン又はパラメーターに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデルを選ぶように構成されてもよい。

【0331】

それゆえ、コンテキスト情報２２４は、コンテキストモデルの選択されたセットを含んでもよく、符号化ユニット２２０は、コンテキストモデルのセットの中から１つのコンテキストモデルを選んでもよい。代替として、コンテキスト情報２２４は、選ばれたコンテキストモデルであってもよいし、又は選ばれたコンテキストモデルを含んでもよい。一例として、現在の更新モデルの１つ以上の以前に符号化されたビン又はパラメーターは、符号化情報２２２を使用したコンテキスト選択のためにコンテキストユニット２４０に提供されてもよい。

【0332】

したがって、デコーダー２５０、例えば復号化ユニット２６０及び／又はコンテキストユニット２９０は、例えば、現在の更新モデルの１つ以上の以前に復号化されたビン又はパラメーターに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデルを選ぶように構成されてもよい。

【0333】

それゆえ、一般的に、符号化ユニット２２０は、例えば、例えばシンボル、モデル、値、絶対値及び／又はビンのような、以前に符号化された情報についての情報を記憶するように構成されてもよいことは、留意されるべきである。

【0334】

したがって、一般的に、復号化ユニット２６０は、例えば、例えばシンボル、モデル、値、絶対値及び／又はビンのような、以前に復号化された情報についての情報を記憶するように構成されてもよいことは、留意されるべきである。

【0335】

図３は、本発明の実施形態による、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法を示す。方法３００は、ニューラルネットワークの１つ以上の層の修正を定義する更新モデルを復号化すること（３１０）と、更新されたモデルを得るために、更新モデルを使用してニューラルネットワークのベースモデルのパラメーターを修正すること（３２０）と、更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報を評価すること（３３０）とを含む。

【0336】

図４は、本発明の実施形態による、ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法を示す。方法４００は、ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくはニューラルネットワークの修正を定義する、現在の更新モデルを復号化すること（４１０）と、更新されたモデルを得るために、現在の更新モデルを使用して、ニューラルネットワークのベースモデルのパラメーター、又は１つ以上の中間更新モデルを使用してニューラルネットワークのベースモデルから導出された中間パラメーターを修正すること（４２０）と、現在の更新モデルの１つ以上のパラメーターをエントロピー復号化すること（４３０）と、ベースモデルの１つ以上の以前に復号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ又は以前に復号化されたパラメーターに依存して、現在の更新モデルの１つ以上のパラメーターのエントロピー復号化のために使用されるコンテキストを適応させること（４４０）とを含む。

【0337】

図５は、本発明の実施形態による、ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法を示す。方法５００は、ニューラルネットワークの１つ以上の層の修正を定義する更新モデルを符号化すること（５１０）と、更新されたモデルを得るために、更新モデルを使用してニューラルネットワークのベースモデルのパラメーターを修正するために、更新モデルを提供すること（５２０）と、更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報を提供すること（５３０）及び／又は決定することとを含む。

【0338】

図６は、本発明の実施形態による、ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法を示す。方法６００は、更新されたモデルを得るために、現在の更新モデルを使用して、ニューラルネットワークのベースモデルのパラメーター、又は１つ以上の中間更新モデルを使用してニューラルネットワークのベースモデルから導出された中間パラメーターを修正するために、ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくはニューラルネットワークの修正を定義する、現在の更新モデルを符号化すること（６１０）と、現在の更新モデルの１つ以上のパラメーターをエントロピー符号化すること（６２０）と、ベースモデルの１つ以上の以前に符号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ又は以前に符号化されたパラメーターに依存して、現在の更新モデルの１つ以上のパラメーターのエントロピー符号化のために使用されるコンテキストを適応させること（６３０）とを含む。

【0339】

本発明による更なる実施形態は、時間的なコンテキスト適応を含む。実施形態は、例えば、時間経過に伴うコンテキストモデル又はコンテキスト情報の適応を含んでもよい。

【0340】

さらに、実施形態は、ニューラルネットワーク全体の圧縮に適用することができ、それらのうちのいくつかは、ベースネットワークに対するニューラルネットワークの差分更新の圧縮にも適用され得ることに留意されたい。かかる差分更新は、例えば、モデルがファインチューニング又は転移学習の後に再分配されるとき、又は異なる圧縮率を有するニューラルネットワークのバージョンを提供するときに有用である。

【0341】

実施形態は、ベースニューラルネットワーク、例えば、差分更新の基準となるニューラルネットワークの使用、例えば、操作又は修正に更に対処することができる。

【0342】

実施形態は更に、更新されたニューラルネットワーク、例えば、ベースニューラルネットワークを修正することから生じるニューラルネットワークに対処するか、又はそれを含むか、又はそれを提供することができる。注：更新されたニューラルネットワークは、例えば、差分更新をベースニューラルネットワークに適用することによって再構成することができる。

【0343】

本発明による更なる実施形態は、ＮＮＲユニットの形態のシンタックス要素を含むことができる。ＮＮＲユニットは、例えば、本発明の実施形態に従って圧縮又は表現され得るニューラルネットワークデータ及び／又は関連するメタデータを搬送するデータ構造であってもよい。

【0344】

ＮＮＲユニットは、ニューラルネットワークメタデータについての圧縮された情報、ニューラルネットワークメタデータについての圧縮されていない情報、トポロジー情報、完全な又は部分的な層データ、フィルター、カーネル、バイアス、量子化された重み、テンソル等のうちの少なくとも１つを搬送することができる。

【0345】

ＮＮＲユニットは、例えば、以下のデータ要素を含むか、又はそれらからなっていてもよい。

【0346】

ＮＮＲユニットサイズ（任意選択）：このデータ要素は、ＮＮＲユニットサイズを含む、ＮＮＲユニットの総バイトサイズをシグナリングすることができる。

【0347】

ＮＮＲユニットヘッダー：このデータ要素は、ＮＮＲユニットタイプ及び／又は関連するメタデータに関する情報を含むか、又は包含することができる。

【0348】

ＮＮＲユニットペイロード：このデータ要素は、ニューラルネットワークに関係する圧縮又は非圧縮データを含むか、又は包含することができる。

【0349】

一例として、実施形態は、以下のビットストリームシンタックス（例えばｎｕｍＢｙｔｅｓＩｎＮＮＲＵｎｉｔはｎｎｒ＿ｕｎｉｔビットストリーム要素のサイズを示してもよい）を含んでも（又は使用しても）よい。

【0350】

【表1】

【0351】

【表2】

【0352】

【表3】

【0353】

親ノード識別子は、例えば、上記のシンタックス要素のうちの１つ以上を含むことができ、例えば、ｄｅｖｉｃｅ＿ｉｄ、ｐａｒａｍｅｔｅｒ＿ｉｄ、及び／又はｐｕｔ＿ｎｏｄｅ＿ｄｅｐｔｈが挙げられる。

【0354】

【表4】

【0355】

【表5】

【0356】

ｄｅｃｏｄｅ＿ｃｏｍｐｒｅｓｓｅｄ＿ｄａｔａ＿ｕｎｉｔ＿ｐａｙｌｏａｄ（）を使用して、更新されたモデルを取得するために、ニューラルネットワークのベースモデルのパラメーターを修正することができる。

【0357】

１に等しいｎｏｄｅ＿ｉｄ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックス要素ｄｅｖｉｃｅ＿ｉｄ、ｐａｒａｍｅｔｅｒ＿ｉｄ、及び／又はｐｕｔ＿ｎｏｄｅ＿ｄｅｐｔｈが存在することを示すことができる。

【0358】

ｄｅｖｉｃｅ＿ｉｄは、例えば、現在のＮＤＵを生成したデバイスを一意に識別することができる。

【0359】

ｐａｒａｍｅｔｅｒ＿ｉｄは、例えば、ＮＤＵに記憶されたテンソルが関係するモデルのパラメーターを一意に識別することができる。ｐａｒｅｎｔ＿ｎｏｄｅ＿ｉｄ＿ｔｙｐｅがＩＣＮＮ＿ＮＤＵ＿ＩＤに等しい場合、ｐａｒａｍｅｔｅｒ＿ｉｄは、例えば、関連する親ＮＤＵのｐａｒａｍｅｔｅｒ＿ｉｄに等しくなり得るか、又は等しいものとする。

【0360】

ｐｕｔ＿ｎｏｄｅ＿ｄｅｐｔｈは、例えば、現在のＮＤＵが位置するツリー深度であってもよい。０の深度は、ルートノードに対応することができる。ｐａｒｅｎｔ＿ｎｏｄｅ＿ｉｄ＿ｔｙｐｅがＩＣＮＮ＿ＮＤＵ＿ＩＤに等しい場合、ｐｕｔ＿ｎｏｄｅ＿ｄｅｐｔｈ－１は、例えば、関連する親ＮＤＵのｐｕｔ＿ｎｏｄｅ＿ｄｅｐｔｈであってよく、又は更にはそれに等しくなければならない。

【0361】

１に等しいｐａｒｅｎｔ＿ｎｏｄｅ＿ｉｄ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、例えば、シンタックス要素ｐａｒｅｎｔ＿ｎｏｄｅ＿ｉｄ＿ｔｙｐｅが存在することを示すことができる。

【0362】

ｐａｒｅｎｔ＿ｎｏｄｅ＿ｉｄ＿ｔｙｐｅは、例えば、親ノードｉｄタイプを指定することができる。これは、親ノードを一意に識別する更なるシンタックス要素が存在することを示してもよい。ｐａｒｅｎｔ＿ｎｏｄｅ＿ｉｄ＿ｔｙｐｅの許容値の例が表２に定義されている。

【0363】

【表6】

【0364】

ｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇは、例えば、時間コンテキストモデリングが有効にされるかどうかを指定することができる。１に等しいｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇは、時間コンテキストモデリングが有効にされることを示すことができる。ｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇが存在しない場合、０であると推測される。

【0365】

ｐａｒｅｎｔ＿ｄｅｖｉｃｅ＿ｉｄは、例えば、親ＮＤＵのシンタックス要素ｄｅｖｉｃｅ＿ｉｄに等しくてもよい。

【0366】

ｐａｒｅｎｔ＿ｎｏｄｅ＿ｐａｙｌｏａｄ＿ｓｈａ２５６は、例えば、親ＮＤＵのｎｎｒ＿ｃｏｍｐｒｅｓｓｅｄ＿ｄａｔａ＿ｕｎｉｔ＿ｐａｙｌｏａｄのＳＨＡ２５６ハッシュであってもよい。

【0367】

ｐａｒｅｎｔ＿ｎｏｄｅ＿ｐａｙｌｏａｄ＿ｓｈａ５１２は、例えば、親ＮＤＵのｎｎｒ＿ｃｏｍｐｒｅｓｓｅｄ＿ｄａｔａ＿ｕｎｉｔ＿ｐａｙｌｏａｄのＳＨＡ５１２ハッシュであってもよい。

【0368】

さらに、本発明による実施形態は、行スキップ機能を含むことができる。一例として、フラグｒｏｗ＿ｓｋｉｐ＿ｆｌａｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇによって有効にされた場合、行スキップ技術は、パラメーターテンソルの第１の軸に沿って値ｉごとに１つのフラグｒｏｗ＿ｓｋｉｐ＿ｌｉｓｔ［ｉ］をシグナリングする。フラグｒｏｗ＿ｓｋｉｐ＿ｌｉｓｔ［ｉ］が１である場合、第１の軸のインデックスがｉに等しいパラメーターテンソルの全ての要素がゼロに設定される。フラグｒｏｗ＿ｓｋｉｐ＿ｌｉｓｔ［ｉ］が０である場合、第１の軸のインデックスがｉに等しいパラメーターテンソルの全ての要素が個々に符号化される。

【0369】

さらに、本発明による実施形態は、コンテキストモデリングを含むことができる。一例として、コンテキストモデリングは、３つのタイプのフラグｓｉｇ＿ｆｌａｇ、ｓｉｇｎ＿ｆｌａｇ、及びａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ／ｘ２をコンテキストモデルに関連付けることに対応することができる。このようにして、（コンテキストモデルの内部の）確率推定器が、例えば、基礎となる統計に適応することができるように、同様の統計的挙動を有するフラグが同じコンテキストモデルに関連付けられ得るか、又は関連付けられるべきである。

【0370】

提示された手法のコンテキストモデリングは、例えば、以下の通りであってもよい。

【0371】

例えば、２４個のコンテキストモデルは、状態値と、左に隣接する量子化されたパラメーターレベルがゼロであるか、ゼロよりも小さいか、又はゼロよりも大きいかとに応じて、ｓｉｇ＿ｆｌａｇについて区別することができる。

【0372】

ｄｑ＿ｆｌａｇが０である場合、例えば、最初の３個のコンテキストモデルのみを使用することができる。

【0373】

３つの他のコンテキストモデルは、例えば、左に隣接する量子化されたパラメーターレベルがゼロであるか、ゼロよりも小さいか、又はゼロよりも大きいかに応じて、ｓｉｇｎ＿ｆｌａｇについて区別することができる。

【0374】

ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ／ｘ２フラグの場合、各ｘは、例えば、１つ又は２つの別個のコンテキストモデルのいずれかを使用することができる。ｘ≦ｍａｘＮｕｍＮｏＲｅｍＭｉｎｕｓ１の場合、ｓｉｇｎ＿ｆｌａｇに応じて２つのコンテキストモデルが区別される。ｘ＞ｍａｘＮｕｍＮｏＲｅｍＭｉｎｕｓ１の場合、例えば、１つのコンテキストモデルのみを使用することができる。

【0375】

さらに、本発明による実施形態は、時間コンテキストモデリングを含むことができる。一例として、フラグｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇによって有効にされた場合、フラグｓｉｇ＿ｆｌａｇ、ｓｉｇｎ＿ｆｌａｇ及びａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘの追加のコンテキストモデルセットが利用可能であり得る。ｃｔｘＩｄｘの導出は、次いで、例えば、パラメーター更新ツリーによって一意に識別され得る、以前に符号化されたパラメーター更新テンソル中の量子化されたコロケートパラメーターレベルの値にも基づき得る。コロケートパラメーターレベルが利用可能でないか、又はゼロに等しい場合、例えば、前に説明したようなコンテキストモデリングが適用されてもよい。そうではなく、コロケートパラメーターレベルがゼロに等しくない場合、提示される手法の時間コンテキストモデリングは、以下の通りであってもよい。

【0376】

１６個のコンテキストモデルは、例えば、状態値と、量子化されたコロケートパラメーターレベルの絶対値が１よりも大きいか否かとに応じて、ｓｉｇ＿ｆｌａｇについて区別することができる。

【0377】

ｄｑ＿ｆｌａｇが０である場合、最初の２つの追加のコンテキストモデルのみを使用することができる。

【0378】

更に２つのコンテキストモデルは、例えば、量子化されたコロケートパラメーターレベルがゼロよりも小さいか又は大きいかに応じて、ｓｉｇｎ＿ｆｌａｇについて区別することができる。

【0379】

ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘフラグの場合、各ｘは２つの別個のコンテキストモデルを使用することができる。これらの２つのコンテキストモデルは、例えば、量子化されたコロケートパラメーターレベルの絶対値がｘ－１以上であるか否かに応じて区別することができる。

【0380】

本発明による実施形態は、任意選択で、以下のテンソルシンタックス、例えば量子化されたテンソルシンタックスを含むことができる。

【0381】

【表7】

【0382】

スキップ情報は、例えば、上記の行スキップ情報、例えば、ｒｏｗ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及び／又はｒｏｗ＿ｓｋｉｐ＿ｌｉｓｔのいずれか又は全てを含むことができる。

【0383】

一例として、ｒｏｗ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、行スキップが有効にされるかどうかを指定することができる。１に等しいｒｏｗ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、行スキップが有効にされることを示すことができる。

【0384】

ｒｏｗ＿ｓｋｉｐ＿ｌｉｓｔは、フラグのリストを指定することができ、ｉ番目のフラグｒｏｗ＿ｓｋｉｐ＿ｌｓｉｔ［ｉ］は、第１の次元のインデックスがｉに等しいＱｕａｎｔＰａｒａｍの全てのテンソル要素がゼロであるかどうかを示すことができる。ｒｏｗ＿ｓｋｉｐ＿ｌｉｓｔ［ｉ］が１に等しい場合、第１の次元のインデックスがｉに等しいＱｕａｎｔＰａｒａｍの全てのテンソル要素はゼロであってもよい。

【0385】

本発明による実施形態は、例えば、量子化されたパラメーターシンタックス、一例として、以下に定義されるシンタックスを更に含むことができる（全ての要素は、任意選択と見なすことができる）。

【0386】

【表8】

【0387】

ｓｉｇ＿ｆｌａｇは、例えば、量子化された重みＱｕａｎｔＰａｒａｍ［ｉ］が非ゼロであるかどうかを指定することができる。０に等しいｓｉｇ＿ｆｌａｇは、例えば、ＱｕａｎｔＰａｒａｍ［ｉ］が０であることを示すことができる。ｓｉｇｎ＿ｆｌａｇは、例えば、量子化された重みＱｕａｎｔＰａｒａｍ［ｉ］が正であるか負であるかを指定することができる。１に等しいｓｉｇｎ＿ｆｌａｇは、例えば、ＱｕａｎｔＰａｒａｍ［ｉ］が負であることを示すことができる。ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ［ｊ］は、例えば、ＱｕａｎｔＰａｒａｍ［ｉ］の絶対レベルがｊ＋１よりも大きいかどうかを示すことができる。

【0388】

ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ２［ｊ］は、例えば、指数ゴロム剰余の単項部分を含むことができる。

【0389】

ａｂｓ＿ｒｅｍａｉｎｄｅｒは、例えば、固定長剰余を示すことができる。

【0390】

本発明による更なる実施形態は、例えば、以下のシフトパラメーターインデックスシンタックスを含むことができる（全ての要素は、任意選択と見なすことができる）。

【0391】

【表9】

【0392】

本発明による更なる実施形態は、以下で説明されるように、エントロピー復号化プロセスを含む。

【0393】

一般に、このプロセスへの入力は、例えば、シンタックス要素の値及び前の解析されたシンタックス要素の値についての要求であり得る。

【0394】

このプロセスの出力は、例えば、シンタックス要素の値とすることができる。

【0395】

シンタックス要素の解析は、例えば、以下のように進めることができる。

【0396】

シンタックス要素の要求された値ごとに、例えば、二値化を導出することができる。

【0397】

シンタックス要素の二値化及び解析されたビンのシーケンスは、例えば、復号化プロセスフローを決定することができる。

【0398】

実施形態による初期化プロセスの例：

【0399】

一般に、このプロセスの出力は、例えば、初期化されたＤｅｅｐＣＡＢＡＣ内部変数とすることができる。

【0400】

算術復号化エンジンのコンテキスト変数は、例えば、以下のように初期化することができる。

【0401】

復号化エンジンは、例えば、ＩｖｌＣｕｒｒＲａｎｇｅ及びＩｖｌＯｆｆｓｅｔを両方とも１６ビットレジスタ精度で登録することができ、例えば、算術復号化エンジンの初期化プロセスを呼び出すことによって初期化することができる。

【0402】

本発明による実施形態は、例えば以下で説明するように、確率推定パラメーターの初期化プロセスを含むことができる。

【0403】

このプロセスの出力は、例えば、シンタックス要素ｓｉｇ＿ｆｌａｇ、ｓｉｇｎ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ、及びａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ２の各コンテキストモデルの初期化された確率推定パラメーターｓｈｉｆｔ０、ｓｈｉｆｔ１、ｐＳｔａｔｅＩｄｘ０、及びｐＳｔａｔｅＩｄｘ１であってもよい。

【0404】

２ＤアレイＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［］［］は、例えば、以下のように初期化することができる。

【0405】

ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［］［］＝｛｛１，４，０，０｝，｛１，４，－４１，－６５４｝，｛１，４，９５，１５１９｝，｛０，５，０，０｝，｛２，６，３０，４８２｝，｛２，６，９５，１５１９｝，｛２，６，－２１，－３３７｝，｛３，５，０，０｝，｛３，５，３０，４８２｝｝

【0406】

ｄｑ＿ｆｌａｇが１に等しく、ｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇが１に等しい場合、例えば、シンタックス要素ｓｉｇ＿ｆｌａｇの４０個のコンテキストモデルのそれぞれについて、関連するコンテキストパラメーターｓｈｉｆｔ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［０］に設定することができ、ｓｈｉｆｔ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［１］に設定することができ、ｐＳｔａｔｅＩｄｘ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［２］に設定することができ、ｐＳｔａｔｅＩｄｘ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［３］に設定することができ、ここで、ｉは、例えば、コンテキストモデルのインデックスであり得て、ｓｅｔＩｄは、例えば、ＳｈｉｆｔＰａｒａｍｅｔｅｒＩｄｓＳｉｇＦｌａｇ［ｉ］に等しくなり得る。

【0407】

ｄｑ＿ｆｌａｇ＝＝が１に等しく、ｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇが０に等しい場合、例えば、シンタックス要素ｓｉｇ＿ｆｌａｇの最初の、例えば、２４個のコンテキストモデルのそれぞれについて、関連するコンテキストパラメーターｓｈｉｆｔ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［０］に設定することができ、ｓｈｉｆｔ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［１］に設定することができ、ｐＳｔａｔｅＩｄｘ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［２］に設定することができ、ｐＳｔａｔｅＩｄｘ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［３］に設定することができ、ここで、ｉは、例えば、コンテキストモデルのインデックスであり得て、ｓｅｔＩｄは、例えば、ＳｈｉｆｔＰａｒａｍｅｔｅｒＩｄｓＳｉｇＦｌａｇ［ｉ］に等しくなり得る。

【0408】

ｄｑ＿ｆｌａｇが０に等しく、ｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇが１に等しい場合、例えば、シンタックス要素ｓｉｇ＿ｆｌａｇの、例えば、最初の３個のコンテキストモデル並びに例えば、コンテキストモデル２４及び２５のそれぞれについて、関連するコンテキストパラメーターｓｈｉｆｔ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［０］に設定することができ、ｓｈｉｆｔ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［１］に設定することができ、ｐＳｔａｔｅＩｄｘ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［２］に設定することができ、ｐＳｔａｔｅＩｄｘ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［３］に設定することができ、ここで、ｉは、例えば、コンテキストモデルのインデックスであり得て、ｓｅｔＩｄは、例えば、ＳｈｉｆｔＰａｒａｍｅｔｅｒＩｄｓＳｉｇＦｌａｇ［ｉ］に等しくなり得る。

【0409】

ｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇが１に等しい場合、例えば、シンタックス要素ｓｉｇｎ＿ｆｌａｇの例えば５個のコンテキストモデルのそれぞれについて、関連するコンテキストパラメーターｓｈｉｆｔ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［０］に設定することができ、ｓｈｉｆｔ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［１］に設定することができ、ｐＳｔａｔｅＩｄｘ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［２］に設定することができ、ｐＳｔａｔｅＩｄｘ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［３］に設定することができ、ここで、ｉは、例えば、コンテキストモデルのインデックスであり得て、ｓｅｔＩｄは、例えば、ＳｈｉｆｔＰａｒａｍｅｔｅｒＩｄｓＳｉｇｎＦｌａｇ［ｉ］に等しくなり得る。

【0410】

そうでない場合（ｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇ＝＝０）、例えば、シンタックス要素ｓｉｇｎ＿ｆｌａｇの最初の、例えば、３個のコンテキストモデルのそれぞれについて、関連するコンテキストパラメーターｓｈｉｆｔ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔｓｅｔＩｄ［０］に設定することができ、ｓｈｉｆｔ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［１］に設定することができ、ｐＳｔａｔｅＩｄｘ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［２］に設定することができ、ｐＳｔａｔｅＩｄｘ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［３］に設定することができ、ここで、ｉは、例えば、コンテキストモデルのインデックスであり得て、ｓｅｔＩｄは、例えば、ＳｈｉｆｔＰａｒａｍｅｔｅｒＩｄｓＳｉｇｎＦｌａｇ［ｉ］に等しくなり得る。

【0411】

ｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇが１に等しい場合、例えば、シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘの４＊（ｃａｂａｃ＿ｕｎａｒｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１＋１）個のコンテキストモデルのそれぞれについて、関連するコンテキストパラメーターｓｈｉｆｔ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［０］に設定することができ、ｓｈｉｆｔ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［１］に設定することができ、ｐＳｔａｔｅＩｄｘ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［２］に設定することができ、ｐＳｔａｔｅＩｄｘ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［３］に設定することができ、ここで、ｉは、例えば、コンテキストモデルのインデックスであり得て、ｓｅｔＩｄは、例えば、ＳｈｉｆｔＰａｒａｍｅｔｅｒＩｄｓＡｂｓＧｒＸ［ｉ］に等しくなり得る。

【0412】

そうでない場合（ｔｅｍｐｏｒａｌ＿ｃｏｎｔｅｘｔ＿ｍｏｄｅｌｉｎｇ＿ｆｌａｇ＝＝０）、例えば、シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘの最初の、例えば、２＊（ｃａｂａｃ＿ｕｎａｒｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１＋１）個のコンテキストモデルのそれぞれについて、関連するコンテキストパラメーターｓｈｉｆｔ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［０］に設定することができ、ｓｈｉｆｔ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［１］に設定することができ、ｐＳｔａｔｅＩｄｘ０は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［２］に設定することができ、ｐＳｔａｔｅＩｄｘ１は、例えば、ＣｔｘＰａｒａｍｅｔｅｒＬｉｓｔ［ｓｅｔＩｄ］［３］に設定することができ、ここで、ｉは、例えば、コンテキストモデルのインデックスであり得て、ｓｅｔＩｄは、例えば、ＳｈｉｆｔＰａｒａｍｅｔｅｒＩｄｓＡｂｓＧｒＸ［ｉ］に等しくなり得る。

【0413】

本発明による更なる実施形態は、例えば、以下で説明されるような復号化プロセスフローを含むことができる。

【0414】

一般に、このプロセスへの入力は、例えば、要求されたシンタックス要素の二値化の全てのビン文字列であってもよい。

【0415】

このプロセスの出力は、例えば、シンタックス要素の値であってもよい。

【0416】

このプロセスは、例えば、各シンタックス要素について、例えば、ビン文字列の各ビンがどのように解析されるかを指定することができる。例えば各ビンを解析した後、得られたビン文字列は、例えばシンタックス要素の二値化の全てのビン文字列と比較されてもよく、以下が適用されてもよい。

【0417】

ビン文字列がビン文字列のうちの１つに等しい場合、シンタックス要素の対応する値は、例えば、出力であり得る。
そうでない場合（ビン文字列がビン文字列のうちの１つに等しくない）、次のビットが、例えば解析され得る。

【0418】

各ビンを解析する間、変数ｂｉｎＩｄｘは、例えば、最初のビンについて０に等しく設定されているｂｉｎＩｄｘから開始して、１だけ増分することができる。

【0419】

各ビンの解析は、例えば、以下の２つの順序付けられたステップによって指定することができる。

【0420】

１．例えば、ｃｔｘＩｄｘ及びｂｙｐａｓｓＦｌａｇの導出プロセスは、例えば、ｂｉｎＩｄｘを入力として、ｃｔｘＩｄｘ及びｂｙｐａｓｓＦｌａｇを出力として呼び出すことができる。
２．算術復号化プロセスは、例えば、ｃｔｘＩｄｘ及びｂｙｐａｓｓＦｌａｇを入力とし、ビンの値を出力として呼び出すことができる。

【0421】

本発明による更なる実施形態は、シンタックス要素ｓｉｇ＿ｆｌａｇのｃｔｘＩｎｃの導出プロセスを含むことができる。

【0422】

このプロセスへの入力は、例えば、現在のｓｉｇ＿ｆｌａｇの前に復号化されたｓｉｇ＿ｆｌａｇ、状態値ｓｔａｔｅＩｄ、存在する場合、関連するｓｉｇｎ＿ｆｌａｇ、及び存在する場合、現在の増分更新の前に復号化された増分更新からのコロケートパラメーターレベル（ｃｏＬｏｃＰａｒａｍ）であり得る。現在のｓｉｇ＿ｆｌａｇの前にｓｉｇ＿ｆｌａｇが復号化されなかった場合、それは、例えば、０であると推論することができる。以前に復号化されたｓｉｇ＿ｆｌａｇに関連付けられたｓｉｇｎ＿ｆｌａｇが復号化されなかった場合、それは、例えば、０であると推論することができる。現在の増分更新の前に復号化された増分更新からのコロケートパラメーターレベルが利用可能でない場合、それは０であると推論される。コロケートパラメーターレベルは、以前に復号化された増分更新における同じ位置における同じテンソル中のパラメーターレベルを意味する。

【0423】

このプロセスの出力は変数ｃｔｘＩｎｃである。

【0424】

変数ｃｔｘＩｎｃは、以下のように導出される。

【0425】

ｃｏＬｏｃＰａｒａｍが０に等しい場合、以下が適用される。
ｓｉｇ＿ｆｌａｇが０に等しい場合、ｃｔｘＩｎｃはｓｔａｔｅＩｄ＊３に設定される。
そうでない場合、ｓｉｇｎ＿ｆｌａｇが０に等しい場合、ｃｔｘＩｎｃはｓｔａｔｅＩｄ＊３＋１に設定される。
そうでない場合、ｃｔｘＩｎｃは、ｓｔａｔｅＩｄ＊３＋２に設定される。
ｃｏＬｏｃＰａｒａｍが０に等しくない場合、以下が適用される。
ｃｏＬｏｃＰａｒａｍが１よりも大きいか、又は－１よりも小さい場合、ｃｔｘＩｎｃはｓｔａｔｅＩｄ＊２＋２４に設定される。
そうでない場合、ｃｔｘＩｎｃは、ｓｔａｔｅＩｄ＊２＋２５に設定される。

【0426】

本発明による更なる実施形態は、シンタックス要素ｓｉｇｎ＿ｆｌａｇのｃｔｘＩｎｃの導出プロセスを含むことができる。

【0427】

このプロセスへの入力は、例えば、現在のｓｉｇ＿ｆｌａｇの前に復号化されたｓｉｇ＿ｆｌａｇ、存在する場合、関連するｓｉｇｎ＿ｆｌａｇ、及び存在する場合、現在の増分更新の前に復号化された増分更新からのコロケートパラメーターレベル（ｃｏＬｏｃＰａｒａｍ）であり得る。現在のｓｉｇ＿ｆｌａｇの前にｓｉｇ＿ｆｌａｇが復号化されなかった場合、それは、例えば、０であると推論することができる。以前に復号化されたｓｉｇ＿ｆｌａｇに関連付けられたｓｉｇｎ＿ｆｌａｇが復号化されなかった場合、それは、例えば、０であると推論することができる。現在の増分更新の前に復号化された増分更新からのコロケートパラメーターレベルが利用可能でない場合、それは、例えば、０であると推論することができる。コロケートパラメーターレベルは、以前に復号化された増分更新における同じ位置における同じテンソル中のパラメーターレベルを意味する。

【0428】

このプロセスの出力は、例えば、変数ｃｔｘＩｎｃであり得る。

【0429】

変数ｃｔｘＩｎｃは、例えば、以下のように導出され得る。

【0430】

ｃｏＬｏｃＰａｒａｍが０に等しい場合、以下を適用することができる。
ｓｉｇ＿ｆｌａｇが０に等しい場合、ｃｔｘＩｎｃは、例えば、０に設定され得る。
そうでない場合、ｓｉｇｎ＿ｆｌａｇが０に等しい場合、ｃｔｘＩｎｃは、例えば、１に設定され得る。
そうでない場合、ｃｔｘＩｎｃは、例えば、２に設定され得る。
ｃｏＬｏｃＰａｒａｍが０に等しくない場合、以下を適用することができる。
ｃｏＬｏｃＰａｒａｍが０未満である場合、ｃｔｘＩｎｃは、例えば、３に設定され得る。
そうでない場合、ｃｔｘＩｎｃは、例えば、４に設定され得る。

【0431】

更なる実施形態は、シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ［ｊ］のｃｔｘＩｎｃの導出プロセスを含むことができる。

【0432】

このプロセスへの入力は、例えば、現在のシンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿ｘ［ｊ］の前に復号化されたｓｉｇｎ＿ｆｌａｇ、及び、存在する場合、現在の増分更新の前に復号化された増分更新からのコロケートパラメーターレベル（ｃｏＬｏｃＰａｒａｍ）であり得る。現在の増分更新の前に復号化された増分更新からのコロケートパラメーターレベルが利用可能でない場合、それは、例えば、０であると推論することができる。コロケートパラメーターレベルは、以前に復号化された増分更新における同じ位置における同じテンソル中のパラメーターレベルを意味する。

【0433】

このプロセスの出力は、例えば、変数ｃｔｘＩｎｃであり得る。

【0434】

変数ｃｔｘＩｎｃは、例えば、以下のように導出され得る。

【0435】

ｃｏＬｏｃＰａｒａｍがゼロに等しい場合、以下を適用することができる。

【0436】

ｓｉｇｎ＿ｆｌａｇが０に等しい場合、ｃｔｘＩｎｃは、例えば、２＊ｊに設定され得る。
そうでない場合、ｃｔｘＩｎｃは、例えば、２＊ｊ＋１に設定され得る。
ｃｏＬｏｃＰａｒａｍがゼロに等しくない場合、以下を適用することができる。
ｃｏＬｏｃＰａｒａｍがｊ以上又は－ｊ以下である場合、
ｃｔｘＩｎｃは、例えば、２＊ｊ＋２＊ｍａｘＮｕｍＮｏＲｅｍＭｉｎｕｓ１に設定され得る。
そうでない場合、ｃｔｘＩｎｃは、例えば、２＊ｊ＋２＊ｍａｃＮｕｍＮｏＲｅｍＭｉｎｕｓ１＋１に設定され得る。

【0437】

更なる注：
以下においては、章「応用分野」、章「本発明による実施形態の態様」、及び章「本発明の態様」において、種々の本発明の実施形態及び態様が説明される。

【0438】

また、更なる実施形態は、添付の特許請求の範囲によって定義される。

【0439】

特許請求の範囲によって定義される任意の実施形態は、それぞれ上述の章及び／又は下位章に記載された詳細（特徴及び機能）のいずれかによって、及び／又は上記の開示に記載された詳細（特徴及び機能）のいずれかによって補完され得ることに留意されたい。

【0440】

また、それぞれ上述の章及び／又は下位章に記載された実施形態は、個々に使用することができ、それぞれ別の章及び／又は下位章の特徴のいずれかによって、又は特許請求の範囲に含まれる任意の特徴によって補完することもできる。

【0441】

また、本明細書に記載される個々の態様は、個々に又は組み合わせて使用することができることに留意されたい。したがって、当該態様の別の１つに詳細を追加することなく、当該個々の態様のそれぞれに詳細を追加することができる。

【0442】

また、本開示は、ニューラルネットワークパラメーターエンコーダー又はニューラルネットワークパラメーター更新エンコーダー（ニューラルネットワークパラメーター又はその更新の符号化表現を提供する装置）及びニューラルネットワークパラメーターデコーダー又はニューラルネットワークパラメーター更新デコーダー（符号化表現に基づいて、ニューラルネットワークパラメーター又はニューラルネットワークパラメーター更新の復号化表現を提供する装置）において使用可能な特徴を、明示的又は暗黙的に記載するものであることは、留意されるべきである。かくして、本明細書で説明される特徴のいずれも、ニューラルネットワークエンコーダーの文脈及びニューラルネットワークデコーダーの文脈において使用することができる。

【0443】

さらに、方法に関して本明細書に開示される特徴及び機能は、（かかる機能を実施するように構成された）装置においても使用され得る。さらに、装置に関して本明細書に開示される任意の特徴及び機能は、対応する方法においても使用され得る。換言すれば、本明細書に開示される方法は、装置に関して説明される特徴及び機能のうちのいずれかによって補完することができる。

【0444】

また、本明細書において説明される特徴及び機能のいずれも、「代替的な実施態様」の節で説明されるように、ハードウェア若しくはソフトウェアで、又はハードウェアとソフトウェアとの組み合わせを使用して実装され得る。

【0445】

以下の節は、ニューラルネットワークの増分更新のパラメーターのエントロピーコード化の方法と題することができ、例えば、下位節又は章１～３を含む。

【0446】

以下において、本発明の実施形態の態様が開示される。以下は、本発明の実施形態の態様の包括的な概念を提供し得る。特許請求の範囲によって定義される任意の実施形態は、任意選択で、以下に説明される詳細（特徴及び機能）のいずれかによって補足されてもよいことは、留意されるべきである。また、以下に説明される実施形態及びその態様は、個々に使用されてもよく、また、任意選択で、それぞれ別の章及び／又は下位章における特徴のいずれかによって、又は特許請求の範囲に含まれるいずれかの特徴によって、及び／又は以上の開示において説明された詳細（特徴及び機能）のいずれかによって、補足されてもよい。実施形態は、当該態様及び／又は特徴を単独で含んでもよいし、又は組み合わせで含んでもよい。

【0447】

本発明の実施形態及び／又は態様は、例えば、エントロピー符号化法を使用して、ニューラルネットワークパラメーター（例えば重み、又は重みパラメーター（複数の場合もある）とも呼ばれる）のセットの増分更新のパラメーターコード化の方法を説明し得る。例えば、（例えば完全な）ニューラルネットワークパラメーターの符号化と同様に、この方法は、量子化、可逆符号化及び／又は可逆復号化法を含んでもよい。例えば、通常、増分更新は、ニューラルネットワークモデルを再構築するのに十分でないものであり得るが、例えば既存のモデルに対する差分更新を提供することができる。例えば、例えば更新のアーキテクチャのようなそれらのアーキテクチャが、関連する完全なニューラルネットワークモデルと類似しているか又は例えば更には同一となり得るということのために、例えば、ニューラルネットワーク圧縮のための多くの又は更には全ての既存の方法（例えばマルチメディアコンテンツの記述及び分析のためのニューラルネットワークの圧縮についてのＭＰＥＧ－７パート１７規格［２］で与えられるようなもの）が適用可能となり得る。

【0448】

ベースモデル及び１つ以上の増分更新を有するという基本構造は、例えば、例えばこの開示において説明されるエントロピーコード化のためのコンテキストモデリングにおいて、新たな方法を可能にすることができる。換言すれば、本発明による実施形態は、エントロピーコード化のためのコンテキストモデリング法を使用して、ベースモデル及び１つ以上の増分更新を含んでもよい。

【0449】

本発明の実施形態及び／又は態様は、例えば、ニューラルネットワーク圧縮におけるニューラルネットワークパラメーターの層の非可逆コード化を主な対象とすることができるが、非可逆コード化の他の領域にも適用することができる。換言すれば、本発明による実施形態は、例えば追加的に、非可逆コード化のための方法を含んでもよい。

【0450】

例えば本発明の実施形態による装置の方法論、又は装置は、異なる主要部分に分割することができ、これらは以下のうちの少なくとも１つを含むか又は以下のうちの少なくとも１つからなるものであってもよい：
１．量子化
２．可逆符号化
３．可逆復号化

【0451】

本発明の実施形態の主な利点を理解するために、以下においては、ニューラルネットワークのトピックについて及びパラメーターコード化のための関連する方法についての、簡単な導入が開示される。以下において開示されるいずれの態様及び／又は特徴も、本発明による実施形態に組み込まれてもよく、及び／又は、本発明の実施形態は、当該特徴及び態様によって補足されてもよいことは、留意されるべきである。

【0452】

１ 応用分野
最も基本的な形態においては、ニューラルネットワークは、例えば、アフィン変換の後に例えば、要素毎の非線形関数が続く連鎖を構成し得る。これらは、例えば図７に描かれているように、有向非巡回グラフとして表現することができる。図７は、例えばフィードフォワードニューラルネットワークのような、フィードフォワードニューラルネットワークのグラフ表現の一例を示している。具体的には、この２層ニューラルネットワークは、４次元入力ベクトルを実数直線にマッピングする非線形関数である。各ノード７１０は、例えば、エッジ７２０のそれぞれの重み値との乗算によって、次のノードに順伝播させることができる、特定の値を含むことができる。全ての入力値は、例えば、次いで単純に集約されてもよい。

【0453】

数学的には、以上のニューラルネットワークは、例えば、以下のように出力を算出してもよく、又は算出することとなり得る：
出力＝σ（Ｗ_２・σ（Ｗ_１・入力））
ここで、Ｗ２及びＷ１は、ニューラルネットワークの重みパラメーター（エッジ重み）であり得て、σは、何らかの非線形関数であり得る。例として、いわゆる畳み込み層もまた、例えば［１］に記載されているように、例えば行列－行列積としてキャストすることによって、使用されてもよい。増分更新は、例えば、通常はＷ１及び／又はＷ２の重みについての更新を提供することを目的とすることができ、例えば、追加的なトレーニングプロセスの結果であり得る。Ｗ２及びＷ１の更新されたバージョンは、例えば、通常は修正された出力に導くことができる。ここからは、所与の入力から出力を算出する手順を、推論と呼ぶこととする。また、中間的な結果を隠れ層又は隠れ活性化値と呼ぶこととするが、これらは、例えば、以上の第１のドット積＋非線形性の算出等の、線形変換＋要素毎の非線形性を構成してもよい。

【0454】

例えば、通常は、ニューラルネットワークは、数百万のパラメーターを備え得るものであり、かくして、表現されるために数百ＭＢを必要とし得る。その結果、それらの推論手順が、例えば、例えば大きな行列間の多くのドット積演算を含み得るため、実行されるためには高い計算リソースを必要とし得る。それゆえ、これらのドット積を実行することの複雑さを低減することは、高い重要性を持つものとなり得る。

【0455】

２ 本発明による実施形態の態様
２．１ 量子化及びエントロピーコード化の関連する方法
マルチメディアコンテンツの記述及び分析のためのニューラルネットワークの圧縮についてのＭＰＥＧ－７パート１７規格［２］は、例えば、独立スカラー量子化及び従属スカラー量子化（ＤＱ又はトレリス符号化量子化（ＴＣＱ））のような、ニューラルネットワークパラメーターの量子化のための種々の方法を提供する。これに加えて、ｄｅｅｐＣＡＢＡＣ［７］としても知られるエントロピー量子化方式も規定している。より深い理解のために、これらの方法が簡潔に要約される。詳細は、［２］において見出され得る。本発明による実施形態（例えば節３において説明され、特許請求の範囲によって定義されるもの）は、当該方法又は規格のいずれの特徴及び／又は態様を含んでもよく、特に、以下において説明される特徴及び／又は態様を、単独で又は組み合わせで含んでもよいことは、留意されるべきである。

【0456】

２．１．１ スカラー量子化器（任意選択、詳細は全て任意選択）
ニューラルネットワークパラメーターは、例えば、スカラー量子化器を使用して量子化されてもよい。量子化の結果として、パラメーターについての許容可能な値のセットを、例えば、低減させることができる。換言すれば、ニューラルネットワークパラメーターは、いわゆる再構築レベルのカウント可能なセット（例えば、実際には、有限のセット）にマッピングすることができる。再構築レベルのセットは、とり得るニューラルネットワークパラメーター値のセットの適切なサブセットを表すことができる。以下のエントロピーコード化を簡略化するために、許容可能な再構築レベルは、例えば、ビットストリームの一部として伝送することができる、量子化インデックスによって表されてもよい。デコーダー側においては、量子化インデックスは、例えば、再構築されたニューラルネットワークパラメーターにマッピングされてもよい。再構築されたニューラルネットワークパラメーターについてのとり得る値は、再構築レベルのセットに対応してもよい。エンコーダー側においては、スカラー量子化の結果は、（整数の）量子化インデックスのセットであってもよい。

【0457】

実施形態によれば、例えば、この用途においては、一様再構築量子化器（ＵＲＱ）を使用することができる。それらの基本設計が、図８に示されている。図８は、本発明の実施形態による、一様再構築量子化器の説明の一例である。ＵＲＱは、再構築レベルが等間隔であるという特性を有することができる。２つの隣接する再構築レベル間の距離Δは、量子化ステップサイズと呼ばれる。再構築レベルの１つは、例えば、０に等しくてもよい。それゆえ、利用可能な再構築レベルの完全なセットは、例えば、量子化ステップサイズΔによって一意に指定することができる。再構築された重みパラメーターｔ’に対する量子化インデックスｑのデコーダーマッピングは、例えば、原理的には、
ｔ’＝ｑ・Δ
という単純な式によって与えることができる。

【0458】

この文脈において、用語「独立スカラー量子化」は、例えば、任意の重みパラメーターに対する所与の量子化インデックスｑに対して、関連する再構築された重みパラメーターｔ’が、例えば、例えば他の重みパラメーターについての全ての量子化インデックスとは独立して、決定することができるという特性を指し得る。

【0459】

２．１．２ 従属スカラー量子化（任意選択、詳細は全て任意選択）
従属スカラー量子化（ＤＱ）においては、ニューラルネットワークパラメーターについての許容可能な再構築レベルは、例えば、例えば再構築順序において、先行するニューラルネットワークパラメーターについて選択された量子化インデックスに依存してもよい。従属スカラー量子化の概念は、ニューラルネットワークパラメーターについての確率モデル選択（又は、例えば、代替として、コードワードテーブル選択）が、例えば、許容可能な再構築レベルのセットに依存し得る、修正されたエントロピーコード化と組み合わせられてもよい。ニューラルネットワークパラメーターの従属量子化の利点は、例えば、許容可能な再構築ベクトルを、Ｎ次元信号空間（ここでＮは例えば層のような処理されるべきサンプルのセット中のサンプル又はニューラルネットワークパラメーターの数を示す）に、より密に詰め込むことができることであり得る。ニューラルネットワークパラメーターのセットについての再構築ベクトルは、ニューラルネットワークパラメーターのセットの順序付けられた再構築されたニューラルネットワークパラメーター（又は、例えば、代替として、順序付けられた再構築されたサンプル）を指し得る。従属スカラー量子化の効果の例が、例えば２つのニューラルネットワークパラメーターの最も単純な場合について、図９に示される。図９は、本発明の実施形態による、例えば２つの重みパラメーター：（ａ）独立スカラー量子化（例）及び（ｂ）従属スカラー量子化の、最も単純な場合についての許容可能な再構築ベクトルの位置の例を示す。図９（ａ）は、独立スカラー量子化についての許容可能な再構築ベクトル９１０（２ｄ平面内の点を表す）の例を示す。ここに見られるように、第２のニューラルネットワークパラメーターｔ_１’についての許容可能な値のセットは、第１の再構築されたニューラルネットワークパラメーターｔ_０’について選ばれた値に依存しないこととなり得る。図９（ｂ）は、従属スカラー量子化の例を示す。独立スカラー量子化とは対照的に、第２のニューラルネットワークパラメーターｔ_１’のために選択可能な再構築値は、第１のニューラルネットワークパラメーターｔ_０’について選ばれた再構築レベルに依存し得ることに留意されたい。図９（ｂ）の例においては、第２のニューラルネットワークパラメーターｔ_１’についての利用可能な再構築レベルの２つの異なるセット９２０、９３０がある（異なる色若しくは異なるハッチング又は異なるタイプのシンボルで示されている）。第１のニューラルネットワークパラメーターｔ_０’についての量子化インデックスが偶数（．．．、－２、０、２、．．．）である場合、例えば、第２のニューラルネットワークパラメーターｔ_１’について、第１のセット９２０の任意の再構築レベル（例えば青色の点若しくは第１のハッチングを有する点又は第１のタイプのシンボル）が選択されてもよい。また、第１のニューラルネットワークパラメーターｔ_０’についての量子化インデックスが奇数（．．．、－３、－１、１、３、．．．）である場合、例えば、第２のニューラルネットワークパラメーターｔ_１’について、第２のセット９３０の任意の再構築レベル（例えば、赤色の点若しくは第２のハッチングを有する点又は第２のタイプのシンボル）が選択されてもよい。本例においては、第１のセット及び第２のセットについての再構築レベルは、量子化ステップサイズの半分だけシフトされる（第２のセットの任意の再構築レベルは、第１のセットの２つの再構築レベルの間に位置する）。

【0460】

ニューラルネットワークパラメーターの従属スカラー量子化は、例えば、Ｎ次元単位体積当たりの再構築ベクトルの所与の平均数について、ニューラルネットワークパラメーターの所与の入力ベクトルと、最も近い利用可能な再構築ベクトルとの間の距離の期待値を低減することができるという効果を有し得る。例えば、結果として、ニューラルネットワークパラメーターの入力ベクトルと、ベクトル再構築されたニューラルネットワークパラメーターとの間の平均歪みは、例えば、所与のビットの平均数に対して低減され得る。ベクトル量子化においては、この効果は空間充填利得と呼ばれ得る。ニューラルネットワークパラメーターのセットに対して従属スカラー量子化を使用して、例えば、高次元ベクトル量子化の潜在的な空間充填利得の大部分が、例えば利用されてもよい。また、ベクトル量子化とは対照的に、再構築プロセス（又は、例えば、復号化プロセス）の実装の複雑度は、例えば、例えば独立スカラー量子化器を用いた、関連するニューラルネットワークパラメーターコード化のものに相当し得る。

【0461】

上述した態様の結果として、ＤＱは、例えば、通常は、より低いビットレートで同じ歪みレベルを達成することができる。

【0462】

２．１．３ ＭＰＥＧ－７パート１７におけるＤＱ（任意選択、詳細は全て任意選択）
マルチメディアコンテンツの記述及び分析のためのニューラルネットワークの圧縮についてのＭＰＥＧ－７パート１７規格は、再構築レベルの異なるセットを有する２つの量子化器Ｑ１及びＱ２を採用する。いずれのセットも、例えば、量子化ステップサイズΔの整数倍を含むことができる。Ｑ１は、例えば、量子化ステップサイズの全ての偶数倍と０とを含むことができ、Ｑ２は、例えば、量子化ステップサイズの全ての奇数倍と０とを含むことができる。この再構築セットの分割は、図１０に示されている。図１０は、本発明の実施形態による、再構築レベルのセットの、２つのサブセットへの分割についての例を示す。量子化セット０の２つのサブセットは、「Ａ」及び「Ｂ」を使用してラベル付けされ、量子化セット１の２つのサブセットは、「Ｃ」及び「Ｄ」を使用してラベル付けされている。

【0463】

セット間を切り換えるためのプロセスは、例えば、再構築順序において先行するニューラルネットワークパラメーターについて選ばれた量子化インデックスに基づいて、又は例えば、より正確には、以前に符号化された量子化インデックスのパリティに基づいて、適用されるべき量子化器を決定してもよい。この切り換えプロセスは、例えば、（図１１において表されているような）８つの状態を有する有限状態機械によって実現されてもよく、このとき各状態は、例えば、量子化器Ｑ１又はＱ２のうちの一方と関連付けられてもよい。図１１は、８つの状態を有する構成についての状態遷移テーブルの好ましい例を示している。

【0464】

状態遷移の概念を使用して、例えば、現在の状態、及び、例えば、かくして、現在の量子化セットが、（例えば再構築順序において）以前の状態、及び、例えば、以前の量子化インデックスによって、一意に決定されてもよい。

【0465】

２．１．４ エントロピーコード化（任意選択、詳細は全て任意選択）
例えば、以前のステップにおいて適用された量子化の結果として、重みパラメーターは、例えば、いわゆる再構築レベルの有限セットにマッピングされてもよい。これらは、例えば、例えば層全体に対して固定されていてもよい、（例えば整数の）量子化器インデックス（例えばパラメーターレベル又は重みレベルとも呼ばれる）及び量子化ステップサイズによって表されてもよい。例えば、或る層の全ての量子化された重みパラメーターを復元するために、その層のステップサイズ及び次元がデコーダーに既知であってもよい。これらは、例えば、個別に伝送されてもよい。

【0466】

２．１．４．１ コンテキスト適応型二値算術コード化（ＣＡＢＡＣ）を用いた量子化インデックスの符号化
量子化インデックス（整数表現）は、例えば、次いで、エントロピーコード化手法を使用して伝送されてもよい。例えば、それゆえ、重みの層は、例えばスキャンを使用して、量子化された重みレベルのシーケンス上にマッピングされてもよい。例えば、行列の最も上の行から開始し、含まれる値を左から右に符号化する、行ファースト（row first）スキャン順序が例えば使用されてもよい。このようにして、例えば、全ての行が、上から下に符号化されてもよい。他の任意のスキャンが、例えば、適用されてもよいことに、留意されたい。例えば、行ファーストスキャンを適用する前に、行列が転置されてもよいし、又は水平方向及び／又は垂直方向に反転させられてもよく、及び／又は左又は右に９０度／１８０度／２７０度回転させられてもよい。

【0467】

レベルのコード化のために、例えば、ＣＡＢＡＣ（コンテキスト適応型二値算術コード化）が使用されてもよい。詳細については、例えば［２］を参照されたい。したがって、量子化された重みレベルｑは、例えば、一連の二値シンボル又はシンタックス要素に分解されてもよく、その後、例えば、二値算術コード化器（ＣＡＢＡＣ）に渡されてもよい。

【0468】

第１のステップにおいては、例えば、量子化された重みレベルに対して二値シンタックス要素ｓｉｇ＿ｆｌａｇが導出されてもよく、これが、例えば、対応するレベルがゼロに等しいか否かを指定するものであってもよい。ｓｉｇ＿ｆｌａｇが１に等しい場合、例えば、更なる二値シンタックス要素ｓｉｇｎ＿ｆｌａｇが導出されてもよい。ビンは、例えば、現在の重みレベルが正である（例えばビン＝０）か負である（例えばビン＝１）かを示すものであってもよい。

【0469】

例えば、次に、ビンの単項シーケンスが、例えば固定長シーケンスに後続されて、例えば以下のように符号化されてもよい。

【0470】

変数ｋは、例えば、負でない整数で初期化されてもよく、Ｘは、例えば、１＜＜ｋで初期化されてもよい。

【0471】

１つ以上のシンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘは、例えば、符号化されてもよく、これは、量子化された重みレベルの絶対値がＸよりも大きいことを示すことができる。ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが１に等しい場合、変数ｋは、例えば、更新され（例えば１だけ増加され）得て、次いで、例えば、１＜＜ｋがＸに加算され得て、例えば、更なるａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが符号化され得る。この手順は、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが０に等しくなるまで続けられてもよい。その後、量子化器インデックスの符号化を完了するには、長さｋの固定長コードで十分とすることができる。例えば、変数ｒｅｍ＝Ｘ－｜ｑ｜は、例えば、ｋ個のビットを使用して符号化されてもよいし、または符号化され得る。又は代替として、変数ｒｅｍ’は、ｒｅｍ’＝（１＜＜ｋ）－ｒｅｍ－１として定義されてもよいし、又は定義され得るものであり、これは、例えばｋ個のビットを使用して符号化することができる。代替として、ｋ個のビットの固定長コードへの変数ｒｅｍの他の任意のマッピングが、本発明の実施形態に従って使用されてもよい。

【0472】

各ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘの後にｋを１ずつ増加させる場合、この手法は、指数ゴロムコード化を適用することと同じであり得る（例えばｓｉｇｎ＿ｆｌａｇが考慮されない場合）。

【0473】

これに加えて、最大絶対値ａｂｓ＿ｍａｘがエンコーダー及びデコーダー側において既知である場合、例えば、伝送されるべき次のａｂｓ＿Ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘについて、Ｘ≧ａｂｓ＿ｍａｘが成り立つとき、ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘシンタックス要素の符号化が終了させられてもよい。

【0474】

２．１．４．２ コンテキスト適応型二値算術コード化（ＣＡＢＡＣ）を用いた量子化インデックスの復号化
量子化された重みレベル（例えば整数表現）の復号化は、例えば、符号化と同様に動作してもよい。デコーダーは、最初にｓｉｇ＿ｆｌａｇを復号化してもよい。これが１に等しい場合、ｓｉｇｎ＿ｆｌａｇとａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘの単項シーケンスとが続き得て、ｋの更新（及び、例えば、かくして、Ｘの増分）は、エンコーダーにおけるものと同じ規則に従ってもよく、又は、例えば、従わなければならない。例えば、最終的に、ｋ個のビットの固定長コードは、復号化され、整数として解釈されてもよい（例えばｒｅｍ又はｒｅｍ’として、例えば双方のうちのどちらが符号化されたかに応じて）。復号化された量子化された重みレベルの絶対値｜ｑ｜は次いで、Ｘから再構築されてもよく、固定長部分を形成してもよい。例えば、固定長部分としてｒｅｍが使用された場合、｜ｑ｜＝Ｘ－ｒｅｍとなる。または代替としては、ｒｅｍ’が符号化されていた場合には、｜ｑ｜＝Ｘ＋１＋ｒｅｍ’－（１＜＜ｋ）である。例えば、最後のステップとして、符号が適用されてもよいし、又は例えば、復号化されたｓｉｇｎ＿ｆｌａｇに依存して、｜ｑ｜に適用される必要があってもよく、例えば量子化された重みレベルｑをもたらす。例えば、最終的に、量子化された重みｗは、例えば、量子化された重みレベルｑをステップサイズΔで乗算することによって、再構築されてもよい。

【0475】

実装の一変形例においては、ｋは、例えば、０で初期化されてもよく、以下のように更新されてもよい。例えば、各ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが１に等しくなった後、例えば、ｋの必要とされる更新は、以下の規則に従って行われてもよい：Ｘ＞Ｘ’の場合、ｋは１だけインクリメントされてもよく、Ｘ’は用途に依存する定数であってもよい。例えば、Ｘ’は、例えばエンコーダーによって導出されてもよくデコーダーにシグナリングされてもよい数（例えば０と１００との間）であってもよい。

【0476】

２．１．４．３ コンテキストモデリング
ＣＡＢＡＣエントロピーコード化においては、例えば、量子化された重みレベルのほとんどのシンタックス要素が、二値確率モデリングを使用してコード化されてもよい。各二値決定（ビン）は、コンテキストに関連付けられてもよい。コンテキストは、例えば、コード化されたビンのクラスについての確率モデルを表すものであってもよい。２つのとり得るビン値のうちの一方についての確率は、例えば、例えば対応するコンテキストを用いて既にコード化されているビンの値に基づいて、各コンテキストについて推定されてもよい。例えば、用途に依存して、異なるコンテキストモデリング手法が適用されてもよい。例えば、通常は、量子化された重みコード化に関連するいくつかのビンについて、コード化のために使用することができるコンテキストは、既に伝送されたシンタックス要素に基づいて選択されてもよい。例えば実際の用途に依存して、例えばＳＢＭＰ［４］、又はＨＥＶＣ［５］若しくはＶＴＭ－４．０［６］のような、種々の確率推定器を選ぶことができる。この選択は、例えば、圧縮効率及び／又は複雑さに影響を与え得る。

【0477】

広範なニューラルネットワークに適合することができるコンテキストモデリング方式が、以下に説明される。量子化された重みレベルｑを、例えば、重み行列（層）中の特定の位置（ｘ，ｙ）において復号化するために、ローカルテンプレートが現在の位置に適用されてもよい。このテンプレートは、例えば（ｘ－１，ｙ）、（ｘ，ｙ－１）、（ｘ－１，ｙ－１）等のような、他のいくつかの（順序付けられた）位置を含んでもよい。例えば、各位置について、状態識別子が導出されてもよい。

【0478】

実装の一変形例（例えばＳｉ１と示される）においては、位置（ｘ，ｙ）についての状態識別子ｓ_ｘ，ｙは、以下のように導出されてもよい：位置（ｘ，ｙ）が行列の外側を指す場合、又は位置（ｘ，ｙ）における量子化された重みレベルｑ_ｘ，ｙが未だ復号化されていないか若しくはゼロに等しい場合、状態識別子ｓ_ｘ，ｙ＝０である。そうでない場合には、状態識別子は、ｓ_ｘ，ｙ＝ｑ_ｘ，ｙ＜０？１：２となってもよく、又はそうなるべきである。

【0479】

特定のテンプレートについて、状態識別子のシーケンスが導出されてもよく、状態識別子の値のとり得る各コンステレーションは、使用されるべきコンテキストを識別するコンテキストインデックスにマッピングされてもよい。テンプレートとマッピングとは、例えば、異なるシンタックス要素に対して、異なるものであってもよい。例えば、（例えば順序付けられた）位置（ｘ－１，ｙ）、（ｘ，ｙ－１）、（ｘ－１，ｙ－１）を含むテンプレートから、状態識別子の順序付けられたシーケンスｓ_{ｘ－１，ｙ}、ｓ_{ｘ，ｙ－１}、ｓ_{ｘ－１，ｙ－１}が導出されてもよい。例えば、このシーケンスは、コンテキストインデックスＣ＝ｓ_{ｘ－１，ｙ}＋３＊ｓ_{ｘ，ｙ－１}＋９＊ｓ_{ｘ－１，ｙ－１}にマッピングされてもよい。例えば、コンテキストインデックスＣは、ｓｉｇ＿ｆｌａｇについてのいくつかのコンテキストを識別するために使用されてもよい。

【0480】

実装の一変形例（手法１と示される）においては、位置（ｘ，ｙ）における量子化された重みレベルｑ_ｘ，ｙのｓｉｇ＿ｆｌａｇ又はｓｉｇｎ＿ｆｌａｇについてのローカルテンプレートは、例えば、１つの位置（ｘ－１，ｙ）のみ（すなわち、例えば、左近傍）からなるものであってもよい。関連する状態識別子ｓ_{ｘ－１，ｙ}は、実装の変形例Ｓｉ１に従って導出されてもよい。

【0481】

ｓｉｇ＿ｆｌａｇについて、例えば、ｓ_{ｘ－１，ｙ}の値に依存して、３つのコンテキストの中から１つが選択されてもよいし、又は、ｓｉｇｎ＿ｆｌａｇについて、例えば、ｓ_{ｘ－１，ｙ}の値に依存して、３つの他のコンテキストの中から１つが選択されてもよい。

【0482】

別の実装の変形例（手法２と示される）においては、ｓｉｇフラグについてのローカルテンプレートは、３つの順序付けられた位置（ｘ－１，ｙ）、（ｘ－２，ｙ）、（ｘ－３，ｙ）を含んでもよい。関連する状態識別子のシーケンスｓ_{ｘ－１，ｙ}、ｓ_{ｘ－２，ｙ}、ｓ_{ｘ－３，ｙ}は、実装の変形例Ｓｉ２に従って導出されてもよい。

【0483】

ｓｉｇ＿ｆｌａｇについては、コンテキストインデックスＣは、例えば、以下のように導出されてもよい：
ｓ_{ｘ－１，ｙ}≠０ならばＣ＝０。そうでなければ、ｓ_{ｘ－２，ｙ}≠０ならばＣ＝１。そうでなければ、ｓ_{ｘ－３，ｙ}≠０ならばＣ＝２。そうでなければ、Ｃ＝３。

【0484】

このことは、以下の式によって表すこともできる：
Ｃ＝（ｓ_{ｘ－１，ｙ}≠０）？０：（（ｓ_{ｘ－２，ｙ}≠０）？１：（（ｓ_{ｘ－３，ｙ}≠０）？２：３））。

【0485】

例えば、同じ態様で、コンテキストインデックスＣが、左隣の次の非ゼロの重みまでの距離に等しくなるように（例えばテンプレートサイズを超えないように）、左隣の数が増減されてもよい。

【0486】

例えば、各ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘフラグは、例えば、２つのコンテキストの自身のセットを適用してもよい。次いで、例えば、ｓｉｇｎ＿ｆｌａｇの値に依存して、２つのコンテキストの中から１つが選ばれてもよい。

【0487】

実装の一変形例においては、Ｘが予め定義された数Ｘ’よりも小さいａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘフラグについて、例えば、Ｘに及び／又はｓｉｇｎ＿ｆｌａｇの値に依存して、異なるコンテキストが区別されてもよい。

【0488】

実装の一変形例においては、Ｘが予め定義された数Ｘ’以上であるａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘフラグについて、例えば、Ｘにのみ依存して、異なるコンテキストが区別されてもよい。

【0489】

別の実装の変形例においては、Ｘが予め定義された数Ｘ’以上であるａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘフラグは、（例えば算術コード化器のバイパスモードを使用して）１の固定符号長を使用して符号化されてもよい。

【0490】

さらに、シンタックス要素のいくつか又は全てが、例えば、コンテキストの使用なしで、符号化されてもよい。その代わりに、例えばＣＡＢＡＣのいわゆるバイパスビンを使用して、１ビットの固定長で符号化されてもよい。

【0491】

別の実装の変形例においては、例えば、バイパスモードを使用して、固定長の剰余部ｒｅｍが符号化されてもよい。

【0492】

別の実装の変形例においては、エンコーダーは、予め定義された数Ｘ’を決定してもよく、例えば符号に依存して、Ｘ＜Ｘ’である各シンタックス要素ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘについて、２つのコンテキストを区別してもよく、例えば、Ｘ＞＝Ｘ’である各ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘについて、１つのコンテキストを使用してもよい。

【0493】

２．１．４．４ 従属スカラー量子化についてのコンテキストモデリング
従属スカラー量子化の主な態様の１つ、又は例えば主な態様は、ニューラルネットワークパラメーターについて許容可能な再構築レベルの異なるセット（例えば量子化セットとも呼ばれる）があり得るということであり得る。現在のニューラルネットワークパラメーターの量子化セットは、例えば、先行するニューラルネットワークパラメーターについての量子化インデックスの値に基づいて決定されてもよい。図１０における好ましい例を検討し、２つの量子化セットを比較すると、ゼロに等しい再構築レベルと隣接する再構築レベルとの間の距離は、セット１におけるよりもセット０における方が大きいことが明らかである。それゆえ、量子化インデックスが０に等しい確率は、セット０が使用される場合に大きくなり、セット１が使用される場合に小さくなる。実装の一変形例においては、この効果は、例えば、現在の量子化インデックスのために使用される量子化セット（又は状態）に基づいて、コードワードテーブル又は確率モデルを切り換えることによって、エントロピーコード化において利用されてもよい。

【0494】

例えば、コードワードテーブル又は確率モデルの適切な切り換えのために、現在の量子化インデックス（又は、例えば、現在の量子化インデックスの対応する二値決定）をエントロピー復号化するときに、全ての先行する量子化インデックスのパス（例えば使用される量子化セットのサブセットとの関連付け）が既知であってもよく、又は例えば、既知でなければならないことに留意されたい。例えば、それゆえ、ニューラルネットワークパラメーターが再構築順序でコード化されることが有益であるか、又は必要でさえあり得る。それゆえ、実装の一変形例においては、ニューラルネットワークパラメーターのコード化順序は、それらの再構築順序と等しくてもよい。その態様の他に、節２．１．４．１において規定されたもの、及び／又は他の任意の、例えば一意に定義された順序等の、量子化インデックスの任意の符号化／再構築順序が可能であり得る。

【0495】

例えば、絶対レベルについてのビンの少なくとも一部は典型的には、適応的確率モデル（コンテキストとも呼ばれる）を使用してコード化されてもよい。実装の一変形例においては、１つ以上のビンの確率モデルは、例えば、対応するニューラルネットワークパラメーターについての量子化セット（又は、例えば、より一般的には、対応する状態変数）に基づいて選択されてもよい。選ばれた確率モデルは、例えば、既に伝送された量子化インデックスの複数のパラメーター又は特性に依存し得るが、パラメーターのうちの１つは、コード化されている量子化インデックスに適用することができる量子化セット又は状態であってもよい。

【0496】

別の実装の変形例においては、層の量子化インデックスを伝送するためのシンタックスは、量子化インデックスが０に等しいか、又は０に等しくないかを指定するビンを含んでもよい。このビンをコード化するために使用することができる確率モデルは、例えば、２つ以上の確率モデルのセットの中から選択されてもよい。使用される確率モデルの選択は、例えば対応する量子化インデックスに適用することができる量子化セット（すなわち、例えば、再構築レベルのセット）に依存してもよい。別の実装の変形例においては、使用される確率モデルは、例えば、現在の状態変数に依存してもよい（状態変数は、例えば、使用される量子化セットを意味してもよい）。

【0497】

更なる実装の変形例においては、層の量子化インデックスを伝送するためのシンタックスは、例えば、量子化インデックスがゼロよりも大きいかゼロよりも小さいかを指定するビンを含んでもよい。換言すれば、ビンは量子化インデックスの符号を示すものであってもよい。使用される確率モデルの選択は、例えば対応する量子化インデックスに適用することができる量子化セット（すなわち、例えば、再構築レベルのセット）に依存してもよい。別の実装の変形例においては、使用される確率モデルは、現在の状態変数に依存してもよい（状態変数は使用される量子化セットを意味してもよい）。

【0498】

更なる実装の変形例においては、量子化インデックスを伝送するためのシンタックスは、量子化インデックス（例えばニューラルネットワークパラメーターレベル）の絶対値がＸよりも大きいか否かを指定するものであってもよいビンを含んでもよい（任意の詳細については、節２．１．４．１を参照されたい）。このビンをコード化するために使用することができる確率モデルは、例えば、２つ以上の確率モデルのセットの中から選択されてもよい。使用される確率モデルの選択は、対応する量子化インデックスに適用することができる量子化セット（すなわち、例えば、再構築レベルのセット）に依存してもよい。別の実装の変形例においては、使用される確率モデルは、現在の状態変数に依存してもよい（例えば状態変数は使用される量子化セットを意味する）。

【0499】

実施形態による１つの態様は、ニューラルネットワークパラメーターの従属量子化が、エントロピー符号化と組み合わせることができるものであり、この場合、量子化インデックスの二値表現の１つ以上のビン（量子化レベルとも呼ばれる）についての確率モデルの選択は、例えば、量子化セット（例えば許容可能な再構築レベルのセット）、及び／又は、例えば、現在の量子化インデックスについての、対応する状態変数に依存してもよい。量子化セット（及び／又は状態変数）は、例えば、コード化順序及び再構築順序において先行するニューラルネットワークパラメーターについての量子化インデックス（及び／又は量子化インデックスを表すビンのサブセット）によって与えられてもよい。

【0500】

実装の一変形例において、確率モデルの記述された選択は、例えば、以下のエントロピーコード化の態様のうちの１つ以上と組み合わせられてもよい：
－ 量子化インデックスの絶対値は、例えば、適応的確率モデルを使用してコード化することができるいくつかのビンと、適応的にコード化されたビンが既に絶対値を完全に指定しない場合には、算術コード化エンジンのバイパスモードにおいてコード化することができるサフィックス部分（例えば全てのビンに対してｐｍｆ（０．５，０．５）を有する非適応的確率モデル）とからなるものであってもよい、二値化方式を使用して伝送されてもよい。実装の一変形例において、サフィックス部分のために使用される二値化は、例えば、既に伝送された量子化インデックスの値に依存してもよい。
－ 量子化インデックスの絶対値についての二値化は、例えば、量子化インデックスが０に等しくないか否かを指定する、適応的にコード化されたビンを含んでもよい。このビンをコード化するために使用される確率モデル（コンテキストと呼ばれる）は、候補の確率モデルのセットの中から選択されてもよい。選択された候補の確率モデルは、現在の量子化インデックスについての量子化セット（例えば許容可能な再構築レベルのセット）及び／又は状態変数によって決定されてもよいのみならず、例えば、これに加えて、層について既に伝送された量子化インデックスによっても決定されてもよい。実装の一変形例においては、量子化セット（及び／又は状態変数）は、利用可能な確率モデルのサブセット（例えばコンテキストセットとも呼ばれる）を決定してもよく、既にコード化された量子化インデックスの値は、このサブセット（コンテキストセット）の内部で使用される確率モデルを決定してもよい。換言すれば、例えば、本発明の実施形態によれば、利用可能な確率モデルのサブセット（例えばコンテキストセットとも呼ばれる）は、量子化セット（及び／又は状態変数）に基づいて決定されてもよく、及び／又は、このサブセット（コンテキストセット）の内部で使用される確率モデルは、例えば、既にコード化された量子化インデックスの値に基づいて決定されてもよい。

【0501】

実装の一変形例においては、コンテキストセットの内部で使用される確率モデルは、例えば、現在のニューラルネットワークパラメーターの局所近傍において、既にコード化された量子化インデックスの値に基づいて決定されてもよい。以下においては、例えば、局所近傍における量子化インデックスの値に基づいて導出され得て、例えば、次いで、所定のコンテキストセットの確率モデルを選択するために使用され得る、いくつかの例示的な尺度が列記される：
－ 例えば局所近傍の内部における、０に等しくない量子化インデックスの符号。
－ 例えば局所近傍の内部における、０に等しくない量子化インデックスの数。この数はことによると、例えば、最大値にクリッピングされてもよい。
－ 例えば局所近傍における、量子化インデックスの絶対値の和。この数値は、例えば、最大値にクリッピングされてもよい。
－ 例えば局所近傍における、量子化インデックスの絶対値の和と、例えば局所近傍の内部における、０に等しくない量子化インデックスの数との差。この数値は、例えば、最大値にクリッピングされてもよい。

【0502】

量子化インデックスの絶対値についての二値化は、例えば、量子化インデックスの絶対値がＸよりも大きいか否かを指定するものであってもよい、１つ以上の適応的にコード化されたビンを含んでもよい。例えばこれらのビンをコード化するために使用される確率モデル（コンテキストと呼ばれる）は、例えば候補の確率モデルのセットの中から選択されてもよい。選択された確率モデルは、現在の量子化インデックスについての量子化セット（例えば許容可能な再構築レベルのセット）及び／又は状態変数によって決定されてもよいのみならず、これに加えて、層についての既に伝送された量子化インデックスによっても決定されてもよい。実装の一変形例においては、量子化セット（又は状態変数）は、利用可能な確率モデルのサブセット（コンテキストセットとも呼ばれる）を決定してもよく、既にコード化された量子化インデックスのデータは、このサブセット（例えばコンテキストセット）の内部において使用される確率モデルを決定してもよい。確率モデルを選択するために、本発明の実施形態によって、以上に説明された方法（例えば量子化インデックスが０に等しくないか否かを指定するビンについて）のいずれが使用されてもよい。

【0503】

３ 本発明の態様
本発明による実施形態は、ニューラルネットワークの増分更新の符号化の方法を説明する及び／又は含むものであり、例えば、再構築されたネットワーク層は、既存のベース層（例えばベースモデルのもの）と、例えば、別個に符号化及び／又は伝送されてもよい１つ以上の増分更新層との合成であってもよい。

【0504】

３．１ ベースモデル及び更新モデルの概念
本発明の実施形態による概念は、例えば、所与の入力に対して出力が計算され得るという意味で完全なモデルとして考慮され得る、節１によるニューラルネットワークモデルを導入する。換言すれば、本発明による実施形態は、節１によるニューラルネットワークモデルを含んでもよい。このモデルは、ベースモデルＮ_Ｂと示される。各ベースモデルは、ベース層Ｌ_Ｂ１、Ｌ_Ｂ２、．．．、Ｌ_ＢＪと示される層からなってもよい。ベース層は、例えば、例えば本発明の実施形態による方法の第１のステップのような、第１のステップにおいて、例えば効率的に表現及び／又は圧縮／伝送できるように選ばれてもよい、ベース値を含んでもよい。例えば、これに加えて、この概念は、ベースモデルと同様の、又は例えば同一のアーキテクチャを有してもよい、更新モデル（Ｎ_Ｕ１、Ｎ_Ｕ２、．．．、Ｎ_ＵＫ）を導入する。換言すれば、本発明による実施形態は、更新モデル（Ｎ_Ｕ１、Ｎ_Ｕ２、．．．、Ｎ_ＵＫ）を含んでもよい。更新モデルは、例えば、上述した意味での完全なモデルでなくてもよい。その代わりに、例えば合成法を使用して、ベースモデルと組み合わせられ、それによって、例えばベースモデルと更新モデルとが、新たな完全なモデルＮ_Ｂ１を形成するようにしてもよい。このモデル自体は、例えば、更なる更新モデルについてのベースモデルとして機能することができる。更新モデルＮ_Ｕｋは、更新層Ｌ_Ｕｋ，１、Ｌ_Ｕｋ，２、．．．、Ｌ_Ｕｋ，Ｊと示される層からなってもよい。更新層は、例えば、別個に効率的に表現及び／又は圧縮／伝送できるように選ばれてもよいベース値を含んでもよい。

【0505】

更新モデルは、例えば、例えばエンコーダー側でベースモデルに適用される、（例えば追加的な）トレーニングプロセスの結果であってもよい。例えば、更新モデルによって提供される更新のタイプに依存して、いくつかの合成方法を、実施形態によって適用することができる。本発明内で説明される方法は、いずれかの特定のタイプの更新／合成方法に限定されるものではなく、例えば、ベースモデル／更新モデル手法を使用するいずれのアーキテクチャにも適用可能であり得ることに留意されたい。

【0506】

好ましい実施形態においては、ｋ番目の更新モデルＮ_Ｕｋは、差分値を有する層Ｌ_Ｕｋ，ｊを含むことができ（増分更新とも示される）、この差分値は、例えば、ベースモデルＬ_Ｂｊの対応する層に追加されて、以下に従って新たなモデル層Ｌ_Ｎｋ，ｊを形成することができる：
Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ＋Ｌ_Ｕｋ，ｊ（全てのｊについて）

【0507】

新たなモデル層は、（例えば更新された）新たなモデルを形成することができ、この新たなモデルは、例えば、次いで、別個に伝送されることができる次の増分更新のためのベースモデルとして機能することができる。

【0508】

更に好ましい実施形態においては、ｋ番目の更新モデルは、スケーリング因子値を有する層Ｌ_Ｕｋ，ｊを含むことができ、このスケーリング因子値は、例えば、対応するベース層Ｌ_Ｂｊ値によって乗算されて、以下に従って新たなモデルＬ_Ｎｋ，ｊを形成することができる：
Ｌ_Ｎｋ，ｊ＝Ｌ_Ｂｊ・Ｌ_Ｕｋ，ｊ（全てのｊについて）

【0509】

新たなモデル層は、（更新された）新たなモデルを形成することができ、この新たなモデルは、例えば、次いで、別個に伝送されることができる次の増分更新のためのベースモデルとして機能することができる。

【0510】

いくつかの場合においては、更新モデルはまた、例えば以上に説明されたように層を更新する代わりに、１つ以上の既存の層を置換することができる新たな層を含んでもよいことに留意されたい（すなわち、例えば、層ｋについて、Ｌ_Ｎｋ，ｊ＝Ｌ_Ｕｋ，ｊ（全てのｊについて））。しかしながら、実施形態によれば、前述した更新のいずれの組み合わせが実行されてもよい。

【0511】

３．２ 増分更新のニューラルネットワークパラメーターコード化
本発明の実施形態による、ベースモデル及び１つ以上の増分更新の概念は、例えば、例えばコード化効率を向上させるために、エントロピーコード化段階において利用されてもよい。層のパラメーターは、例えば、通常は、多次元テンソルによって表されてもよい。符号化プロセスについては、例えば、複数の又は全てのテンソルが、例えば、通常は、行及び列のようなエンティティのような２Ｄ行列にマッピングされてもよい。この２Ｄ行列は、例えば、予め定義された順序でスキャンされてもよく、パラメーターが符号化／伝送されてもよい。以下において説明される方法は、２Ｄ行列に限定されないことに留意されたい。実施形態による方法は、例えば行、列、ブロック等及び／又はそれらの組み合わせのような、既知のサイズのパラメーターエンティティを提供する、ニューラルネットワークパラメーターの全ての表現に適用することができる。以下においては、本方法のより深い理解のために、２Ｄ行列表現が使用される。一般的に、実施形態によれば、ニューラルネットワークパラメーターについての情報を含むテンソルが、例えば、多次元行列の行及び列にマッピングされてもよい。

【0512】

好ましい実施形態においては、層のパラメーターは、例えば行及び列のような値のエンティティを提供することができる、２Ｄ行列として表現されてもよい。

【0513】

３．２．１ 行又はチャネルスキップモード
例えば、通常は、更新モデルの値の大きさは、例えば完全な（ベース）モデルと比較して小さくてもよい。例えば、多くの場合、かなりの数の値がゼロとなり得て、量子化プロセスによって更に増幅されることができる。例えば、結果として、伝送されるべき層はゼロの長いシーケンスを含んでもよく、このことは、２Ｄ行列の行のいくつかが完全にゼロになり得ることを意味し得る。

【0514】

このことは、例えば、行の中の全てのパラメーターがゼロに等しいか否かを指定することができるフラグ（ｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ）を、例えば各行について、導入することによって利用されてもよい。フラグが１に等しい場合（ｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ＝＝１）、その行については更なるパラメーターは符号化されなくてもよい。デコーダー側においては、フラグが１に等しい場合、この行についてのパラメーターは復号化されなくてもよい。その代わりに、これら、例えばかかるパラメーターは、０であると仮定されてもよい。

【0515】

ここでの実施形態による変形例は、全てのｓｋｉｐ＿ｒｏｗ＿ｆｌａｇを、フラグのアレイｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ［Ｎ］に配列することであり、ここでＮは行の数である。また、一変形例においては、Ｎはアレイの前にシグナリングされているもの又はされるものであり得る。

【0516】

例えば、そうでなければ、フラグが０に等しい場合、パラメーターはこの行について定期的に符号化され復号化されてもよい。

【0517】

例えば、ｓｋｉｐ＿ｒｏｗ＿ｆｌａｇのそれぞれは、確率モデル又はコンテキストモデルに関連付けられてもよい。コンテキストモデルは、例えば、以前にコード化されたシンボル（例えば先行する符号化されたパラメーター及び／又はｓｋｉｐ＿ｒｏｗ＿ｆｌａｇ）に基づいて、コンテキストモデルのセットの中から選ばれてもよい。

【0518】

好ましい実施形態においては、単一のコンテキストモデルが、層の全てのｓｋｉｐ＿ｒｏｗ＿ｆｌａｇに適用されてもよい。

【0519】

別の好ましい実施形態においては、コンテキストモデルは、例えば、以前に符号化されたｓｋｉｐ＿ｒｏｗ＿ｆｌａｇの値に基づいて、２つのコンテキストモデルのセットの中から選ばれてもよい。このコンテキストモデルは、先行するｓｋｉｐ＿ｒｏｗ＿ｆｌａｇの値がゼロに等しい場合には第１のコンテキストモデルとなり、値が１に等しい場合には第２のコンテキストモデルとなってもよい。換言すれば、実施形態によれば、第１のコンテキストモデルは、例えば、先行するｓｋｉｐ＿ｒｏｗ＿ｆｌａｇの値がゼロに等しい場合に選ばれてもよく、第２のコンテキストモデルは、例えば、値が１に等しい場合に選ばれてもよい。

【0520】

更に好ましい実施形態においては、コンテキストモデルは、例えば以前に符号化された更新モデル及び／又はベースモデルの対応する層における、同位置にあるｓｋｉｐ＿ｒｏｗ＿ｆｌａｇの値に基づいて、２つのコンテキストモデルのセットの中から選ばれてもよい。このコンテキストモデルは、先行するｓｋｉｐ＿ｒｏｗ＿ｆｌａｇの値がゼロに等しい場合には第１のコンテキストモデルとなり、値が１に等しい場合には第２のコンテキストモデルとなってもよい。換言すれば、実施形態によれば、第１のコンテキストモデルは、例えば、先行するｓｋｉｐ＿ｒｏｗ＿ｆｌａｇの値がゼロに等しい場合に選ばれてもよく、第２のコンテキストモデルは、例えば、値が１に等しい場合に選ばれてもよい。

【0521】

別の好ましい実施形態においては、例えば以上の実施形態におけるような所与の数のコンテキストモデルが２倍にされ、コンテキストモデルの２つのセットを形成してもよい。例えば、次いで、コンテキストモデルのセットは、例えば、特定の以前に符号化された更新モデル及び／又はベースモデルの対応する層における、同位置のｓｋｉｐ＿ｒｏｗ＿ｆｌａｇの値に基づいて選ばれてもよい。このことは、例えば、先行するｓｋｉｐ＿ｒｏｗ＿ｆｌａｇの値が０に等しい場合には第１のセットが選ばれてもよく、値が１に等しい場合には第２のセットが選択ばれてもよいことを意味する。

【0522】

更なる好ましい実施形態は、以上の実施形態と等しくてもよいが、コンテキストモデルの第１のセットは、特定の以前に符号化された更新モデル及び／又はベースモデルにおいて対応する層が存在しない場合に選ばれてもよい。例えば、その結果、特定の以前に符号化された更新モデル及び／又はベースモデルにおいて対応する層が存在する場合には、第２のセットが選ばれてもよい。

【0523】

行をスキップするための特定の説明された機構は、２Ｄ行列の場合の列にも同様に適用されてもよく、Ｎ個のパラメーター次元を有する一般化されたテンソルの場合にも適用されてもよく、例えばｓｋｉｐ＿ｆｌａｇ及び／又はｓｋｉｐ＿ｆｌａｇ＿ａｒｒａｙの説明された機構を使用して、より小さい次元Ｋ（Ｋ＜Ｎ）のサブブロック又はサブ行が、例えばスキップされてもよいことに、留意されたい。

【0524】

３．２．２ ベースモデル更新モデル構造のための改善されたコンテキストモデリング
ベースモデル及び１つ以上の更新モデルの概念は、例えば、エントロピーコード化段階において利用されてもよい。ここで説明される実施形態による方法は、例えば節２．１．４において説明されるもののようなコンテキストモデルを使用する、いずれのエントロピーコード化方式にも適用可能となることができる。

【0525】

例えば、通常は、別個の更新モデル（及び、例えば、ベースモデル）は、相関していてもよく、例えば、エンコーダー側及びデコーダー側において利用可能であってもよい。このことは、例えば、例えば新たなコンテキストモデル及び／又はコンテキストモデル選択の方法を提供することによって、例えばコード化効率を改善するために、コンテキストモデリング段階において使用されてもよい。

【0526】

好ましい実施形態においては、節２．１．４．１による二値化（例えば、例えばこれらフラグを含む、ｓｉｇ＿ｆｌａｇ、ｓｉｇｎ＿ｆｌａｇ等）、コンテキストモデリング及び／又は符号化方式が適用されてもよい。

【0527】

別の好ましい実施形態においては、符号化されるべきシンボルについての所与の数のコンテキストモデル（例えばコンテキストセット）が複製され、コンテキストモデルの２つ以上のセットを形成してもよい。例えば、次いで、コンテキストモデルのセットは、例えば特定の以前に符号化された更新モデル及び／又はベースモデルの対応する層における、例えば同位置のパラメーターの値に基づいて、選ばれてもよい。このことは、同位置のパラメーターが第１の閾値Ｔ_１よりも小さい場合には第１のセットが選ばれ、値が閾値Ｔ_１以上である場合には第２のセットが選ばれ、値が閾値Ｔ_２以上である場合には第３のセットが選ばれる等してもよいことを意味する。この手順は、例えば任意の数の閾値、例えば特定の用途に応じて選ぶことができる数の閾値のような、より多くの又はより少ない閾値で適用されてもよい。

【0528】

以上の実施形態に等しいものとなり得る好ましい実施形態においては、単一の閾値Ｔ_１＝０が使用されてもよい。

【0529】

別の好ましい実施形態においては、符号化されるべきシンボルについての所与の数のコンテキストモデル（例えばコンテキストセット）が複製され、コンテキストモデルの２つ以上のセットを形成してもよい。例えば、次いで、コンテキストモデルのセットは、例えば、例えば特定の以前に符号化された更新モデル及び／又はベースモデルの対応する層における、例えば同位置のパラメーター及び／又は近傍値（例えば同位置のパラメーターの１つの又はいくつかの空間的近傍）からなる、値のセットに基づいて、選ばれてもよい。

【0530】

例えば以上の実施形態と部分的に等しい又は等しい、好ましい実施形態においては、例えば同位置のパラメーター及び／又は近傍値からなる値のセットのテンプレートのような、テンプレート内の値（又は、例えば、絶対値）の和が、第１の閾値Ｔ_１よりも小さい場合には、例えばコンテキストモデルの第１のセットのような、第１のセットが選ばれ、和が閾値Ｔ_１以上である場合には、例えばコンテキストモデルの第２のセットのような、第２のセットが選ばれ、和が閾値Ｔ_２以上である場合には、第３のセットが選ばれる等してもよい。この手順は、例えば任意の数の閾値、例えば特定の用途に応じて選ぶことができる数の閾値のような、より多くの又はより少ない閾値で適用されてもよい。

【0531】

例えば以上の実施形態と部分的に等しい又は等しい、特に好ましい実施形態においては、テンプレートは、同位置のパラメーター及び同位置のパラメーターの左近傍を含んでもよく、単一の閾値Ｔ_１＝０が使用されてもよい。

【0532】

別の好ましい実施形態においては、シンタックス要素についてのコンテキストモデルのセットのうちのコンテキストモデルは、例えば特定の以前に符号化された更新モデル及び／又はベースモデルの対応する層における、例えば同位置のパラメーター及び／又は近傍値（例えば同位置のパラメーターの１つの又はいくつかの空間的な近傍）からなる、値のセットに基づいて選ばれてもよい。

【0533】

例えば以上の実施形態と部分的に等しい又は等しい、好ましい実施形態においては、例えば、同位置のパラメーター及び／又は近傍値からなる値のセットのテンプレートのような、テンプレート内の値（又は、例えば、絶対値）の和が、第１の閾値Ｔ_１よりも小さい場合には、第１のコンテキストモデルが選ばれ、和が閾値Ｔ_１以上である場合には、第２のコンテキストモデルが選ばれ、和が閾値Ｔ_２以上である場合には、第３のコンテキストモデルが選ばれる等してもよい。この手順は、例えば任意の数の閾値、例えば特定の用途に応じて選ぶことができる数の閾値のような、より多くの又はより少ない閾値で適用されてもよい。

【0534】

例えば以上の実施形態と部分的に等しい又は等しい、特に好ましい実施形態においては、テンプレートは、同位置のパラメーター及び同位置のパラメーターの左近傍を含んでもよく、単一の閾値Ｔ_１＝０が使用されてもよい。

【0535】

更に好ましい実施形態においては、符号化されるべきシンボルについての所与の数のコンテキストモデル（例えばコンテキストセット）が複製され、コンテキストモデルの２つ以上のセットを形成してもよい。例えば、次いで、コンテキストモデルのセットは、例えば特定の以前に符号化された更新モデル及び／又はベースモデルの対応する層における、同位置のパラメーターの絶対値に基づいて、選ばれてもよい。このことは、同位置のパラメーターの絶対値が第１の閾値Ｔ_１よりも小さい場合には第１のセットが選ばれ、絶対値が閾値Ｔ_１以上である場合には第２のセットが選ばれ、絶対値が閾値Ｔ_２以上である場合には第３のセットが選ばれる等してもよいことを意味する。この手順は、例えば任意の数の閾値、例えば特定の用途に応じて選ぶことができる数の閾値のような、より多くの又はより少ない閾値で適用されてもよい。

【0536】

以上の実施形態に等しくてもよい好ましい実施形態においては、符号化されるべき現在の値がゼロに等しいか否かを示すことができるｓｉｇ＿ｆｌａｇが符号化されてもよく、このことはコンテキストモデルのセットを利用してもよい。この実施形態は、単一の閾値Ｔ_１＝１を使用してもよい。実施形態によれば、コンテキストモデルのセットは、例えば、符号化されるべき現在の値がゼロに等しいか否かを示すｓｉｇ＿ｆｌａｇに依存して選ばれてもよい。

【0537】

別の好ましい実施形態は、以上の実施形態と等しくてもよいが、ｓｉｇ＿ｆｌａｇの代わりに、符号化されるべき現在の値の符号を示すことができるｓｉｇｎ＿ｆｌａｇが符号化されてもよい。

【0538】

更に好ましい実施形態は、以上の実施形態と等しくてもよいが、ｓｉｇ＿ｆｌａｇの代わりに、符号化されるべき現在の値がＸよりも大きいか否かを示すことができるａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが符号化されてもよい。

【0539】

更に好ましい実施形態においては、符号化されるべきシンボルについての所与の数のコンテキストモデル（例えばコンテキストセット）が２倍にされ、コンテキストモデルの２つのセットを形成してもよい。例えば、次いで、対応する以前に符号化された更新（及び／又はベース）モデルがあるか否かに依存して、コンテキストモデルのセットが選ばれてもよい。対応する以前に符号化された更新（及び／又はベース）モデルがない場合には、コンテキストモデルの第１のセットが選ばれ、そうでない場合には、第２のセットが選ばれてもよい。

【0540】

別の好ましい実施形態においては、シンタックス要素についてのコンテキストモデルのセットのうちのコンテキストモデルは、例えば特定の対応する以前に符号化された更新（及び／又はベース）モデルにおける、同位置のパラメーターの値に基づいて選ばれてもよい。このことは、同位置のパラメーターが第１の閾値Ｔ_１よりも小さい場合には第１のモデルが選ばれ、値が閾値Ｔ_１以上である場合には第２のモデルが選ばれ、値が閾値Ｔ_２以上である場合には第３のセットが選ばれる等してもよいことを意味する。この手順は、例えば任意の数の閾値、例えば特定の用途に応じて選ぶことができる数の閾値のような、より多くの又はより少ない閾値で適用されてもよい。

【0541】

例えば以上の実施形態と等しい、好ましい実施形態においては、符号化されるべき現在の値の符号を示すことができるｓｉｇｎ＿ｆｌａｇが符号化されてもよい。コンテキストモデル選択プロセスについての第１の閾値はＴ_１＝０であってもよく、第２の閾値はＴ_２＝１であってもよい。

【0542】

別の好ましい実施形態においては、シンタックス要素についてのコンテキストモデルのセットのうちのコンテキストモデルは、特定の対応する以前に符号化された更新（及び／又はベース）モデルにおける同位置のパラメーターの絶対値に基づいて選ばれてもよい。このことは、同位置のパラメーターの絶対値が閾値Ｔ_１よりも小さい場合には第１のモデルが選ばれ、値が閾値Ｔ_１以上である場合には第２のモデルが選ばれ、値が閾値Ｔ_２以上である場合には第３のモデルが選ばれる等してもよいことを意味する。この手順は、例えば任意の数の閾値、例えば特定の用途に応じて選ぶことができる数の閾値のような、より多くの又はより少ない閾値で適用されてもよい。

【0543】

例えば以上の実施形態と等しい、好ましい実施形態においては、符号化されるべき現在の値がゼロに等しいか否かを示すことができるｓｉｇ＿ｆｌａｇが符号化されてもよい。例えば、この実施形態による装置は、Ｔ_１＝１に設定された第１の閾値、及びＴ_２＝２に設定された第２の閾値を採用してもよい。

【0544】

例えば以上の実施形態と等しい、別の好ましい実施形態においては、ｓｉｇ＿ｆｌａｇの代わりに、符号化されるべき現在の値がＸよりも大きいか否かを示すことができるａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ＿Ｘが符号化されてもよい。これに加えて、Ｔ_１＝Ｘに設定されてもよい１つの閾値のみが採用されてもよい。

【0545】

上述した実施形態並びにその態様及び特徴のいずれも、他の実施形態並びにその態様及び特徴のうちの１つ以上と組み合わせられてもよいことに、留意されたい。

【0546】

いくつかの態様が装置の文脈で説明されているが、これらの態様が対応する方法の説明も表すことは明らかであり、ブロック又はデバイスは方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明される態様はまた、対応する装置の対応するブロック又は項目又は特徴の説明を表す。

【0547】

ニューラルネットワークパラメーターの本発明の符号化表現は、デジタル記憶媒体に保存されてもよいし、又はインターネット等の無線伝送媒体若しくは有線伝送媒体等の伝送媒体上で伝送されてもよい。

【0548】

或る特定の実装要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアで実施することができる。実施態様は、それぞれの方法が実行されるようにプログラム可能なコンピューターシステムと協働する（又は協働することができる）電子的可読制御信号が記憶されたデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリを使用して実行することができる。

【0549】

本発明によるいくつかの実施形態は、電子的可読制御信号を有するデータキャリアを備え、該電子的可読制御信号は、本明細書で説明される方法のうちの１つが実行されるように、プログラム可能なコンピューターシステムと協働することが可能である。

【0550】

概して、本発明の実施形態は、プログラムコードを有するコンピュータープログラム製品として実施することができ、プログラムコードは、コンピュータープログラム製品がコンピューター上で動作するときに方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。

【0551】

他の実施形態は、機械可読キャリア上に記憶された、本明細書で説明される方法のうちの１つを実行するコンピュータープログラムを含む。

【0552】

したがって、換言すれば、本発明の方法の一実施形態は、コンピュータープログラムがコンピューター上で動作するときに、本明細書で説明される方法のうちの１つを実行するプログラムコードを有するコンピュータープログラムである。

【0553】

したがって、本発明の方法の更なる実施形態は、本明細書に記載の方法のうちの１つを実行するコンピュータープログラムを記録したデータキャリア（又はデジタル記憶媒体、又はコンピューター可読媒体）である。

【0554】

したがって、本発明の方法の更なる実施形態は、本明細書に記載された方法の１つを実行するコンピュータープログラムを表すデータストリーム又はシグナルのシーケンスである。データストリーム又はシグナルのシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されてもよい。

【0555】

更なる実施形態は、本明細書に記載の方法の１つを実行するように構成又は適合された処理手段、例えばコンピューター又はプログラム可能な論理デバイスを含む。

【0556】

更なる実施形態は、本明細書に記載の方法のうちの１つを実行するコンピュータープログラムがインストールされたコンピューターを含む。

【0557】

いくつかの実施形態において、プログラム可能論理デバイス（例えば、フィールドプログラマブルゲートアレイ）が、本明細書に説明される方法の機能性のいくつか又は全部を行うために使用されてもよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書に説明される方法のうちの１つを行うために、マイクロプロセッサと協働してもよい。概して、方法は、任意のハードウェア装置によって実行されることが好ましい。

【0558】

記載される実施形態は、本発明の原理を単に例示するものである。本明細書に記載された構成及び詳細の変更及び変形が他の当業者に明らかであることが理解される。したがって、添付の特許請求の範囲によってのみ限定され、本明細書の実施形態の記述及び説明によって提示される特定の詳細によって限定されないことが意図される。

【0559】

参考文献
[1] S. Chetlur et al., "cuDNN: Efficient Primitives for Deep Learning," arXiv: 1410.0759, 2014
[2] MPEG, “Text of ISO/IEC DIS 15938-17 Compression of Neural Networks for Multimedia Content Description and Analysis”, Document of ISO/IEC JTC1/SC29/WG11, w19764, OnLine, Oct. 2020
[3] D. Marpe, H. Schwarz und T. Wiegand, "Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard,“ IEEE transactions on circuits and systems for video technology, Vol. 13, No. 7, pp. 620-636, July 2003.
[4] H. Kirchhoffer, J. Stegemann, D. Marpe, H. Schwarz und T. Wiegand, "JVET-K0430-v3 - CE5-related: State-based probalility estimator,“ in JVET, Ljubljana, 2018.
[5] ITU - International Telecommunication Union, "ITU-T H.265 High efficiency video coding,“Series H: Audiovisual and multimedia systems - Infrastructure of audiovisual services - Coding of moving video, April 2015.
[6] B. Bross, J. Chen und S. Liu, "JVET-M1001-v6 - Versatile Video Coding (Draft 4),“ in JVET, Marrakech, 2019.
[7] S. Wiedemann et al., "DeepCABAC: A Universal Compression Algorithm for Deep Neural Networks," in IEEE Journal of Selected Topics in Signal Processing, vol. 14, no. 4, pp. 700-714, May 2020, doi: 10.1109/JSTSP.2020.2969554.

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2023-12-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークの１つ以上の層の修正を定義する更新モデル（１１２、１６２、２１２、２６２）を復号化するように構成され、
前記装置は、更新されたモデル（１０８、２０８）を得るために、前記更新モデルを使用して前記ニューラルネットワークのベースモデル（１８４、２８４）のパラメーターを修正するように構成され、
前記装置は、前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報（１６４）を評価するように構成されている、
装置。

【請求項2】

請求項１に記載の装置（１５０、２５０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、差分値を記述し、
前記装置は、前記更新されたモデル（１０８、２０８）のパラメーターの値を得るために、前記差分値を前記ベースモデル（１８４、２８４）のパラメーターの値と加算的に又は減算的に組み合わせるように構成されている、
装置。

【請求項3】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークのｊ番目の層に関連付けられた差分値又は差分テンソルＬ_Ｕｋ，ｊを、前記ニューラルネットのベースモデル（１８４、２８４）のｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊと、
Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ＋Ｌ_Ｕｋ，ｊ（全てのｊについて、又は前記更新モデルが層を含む全てのｊについて）
に従って組み合わせ、それにより、前記ニューラルネットワークのモデルインデックスｋを有する更新されたモデル（１０８、２０８）のｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊを得るように構成されている、
装置。

【請求項4】

請求項１に記載の装置（１５０、２５０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、スケーリング因子値を記述し、
前記装置は、前記更新されたモデル（１０８、２０８）のパラメーターの値を得るために、前記スケーリング因子値を使用して、前記ベースモデル（１８４、２８４）のパラメーターの値をスケーリングするように構成されている、
装置。

【請求項5】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークのｊ番目の層に関連付けられたスケーリング値又はスケーリングテンソルＬ_Ｕｋ，ｊを、前記ニューラルネットのベースモデル（１８４、２８４）のｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊと、
Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ・Ｌ_Ｕｋ，ｊ（全てのｊについて、又は前記更新モデルが層を含む全てのｊについて）
に従って組み合わせ、それにより、前記ニューラルネットワークのモデルインデックスｋを有する更新されたモデル（１０８、２０８）のｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊを得るように構成されている、
装置。

【請求項6】

請求項１に記載の装置（１５０、２５０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、置換値を記述し、
前記装置は、前記更新されたモデル（１０８、２０８）のパラメーターの値を得るために、前記置換値を使用して、前記ベースモデルのパラメーターの値を置換するように構成されている、
装置。

【請求項7】

請求項１に記載の装置（１５０、２５０）であって、
前記ニューラルネットワークパラメーターは、ニューロンから発生する、又はニューロンに向かってつながる、ニューロン相互接続の重みを定義する重み値を含む、
装置。

【請求項8】

請求項１に記載の装置（１５０、２５０）であって、
ニューラルネットワークパラメーターのシーケンスが、行列の行又は列に関連付けられた重み値を含む、
装置。

【請求項9】

請求項１に記載の装置（１５０、２５０）であって、
前記スキップ情報（１６４）は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの全てのパラメーターがゼロであるか否かを示すフラグを含む、
装置。

【請求項10】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、前記スキップ情報（１６４）に依存して、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの復号化を選択的にスキップするように構成されている、
装置。

【請求項11】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、前記スキップ情報（１６４）に依存して、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの値を、所定の値に選択的に設定するように構成されている、
装置。

【請求項12】

請求項１に記載の装置（１５０、２５０）であって、
前記スキップ情報（１６４）は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのそれぞれのシーケンスの全てのパラメーターがゼロであるか否かを示すスキップフラグのアレイを含む、
装置。

【請求項13】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのそれぞれのシーケンスの復号化を、パラメーターのそれぞれのシーケンスに関連付けられたそれぞれのスキップフラグに依存して、選択的にスキップするように構成されている、
装置。

【請求項14】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、スキップフラグの前記アレイのエントリの数を記述するアレイサイズ情報を評価するように構成されている、
装置。

【請求項15】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、コンテキストモデル（２６４）を使用して、１つ以上のスキップフラグを復号化するように構成され、
前記装置は、１つ以上の以前に復号化されたシンボルに依存して、１つ以上のスキップフラグの復号化のためのコンテキストモデルを選択するように構成されている、
装置。

【請求項16】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークの層に関連付けられた全てのスキップフラグの復号化のために単一のコンテキストモデル（２６４）を適用するように構成されている、
装置。

【請求項17】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたスキップフラグに依存して、スキップフラグの復号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項18】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの復号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項19】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの復号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項20】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける対応する層の存在に依存して、スキップフラグの復号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項21】

請求項１に記載の装置（１５０、２５０）であって、
前記装置は、現在復号化されている更新モデル（１１２、１６２、２１２、２６２）の１つ以上の以前に復号化されたシンボルに依存して、コンテキストモデルの前記選択されたセットの中からコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項22】

ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する装置（１５０、２５０）であって、
前記装置は、前記ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくは前記ニューラルネットワークの修正を定義する、現在の更新モデル（１１２、１６２、２１２、２６２）を復号化するように構成され、
前記装置は、更新されたモデル（１０８、２０８）を得るために、前記現在の更新モデルを使用して、前記ニューラルネットワークのベースモデル（１８４、２８４）のパラメーター、又は１つ以上の中間更新モデルを使用して前記ニューラルネットワークの前記ベースモデルから導出された中間パラメーターを修正するように構成され、
前記装置は、前記現在の更新モデルの１つ以上のパラメーターをエントロピー復号化するように構成され、
前記装置は、前記ベースモデル（１８４、２８４）の１つ以上の以前に復号化されたパラメーターに依存して、及び／又は中間更新モデル（１８４、２８４）の１つ以上の以前に復号化されたパラメーターに依存して、前記現在の更新モデルの１つ以上のパラメーターのエントロピー復号化のために使用されるコンテキストを適応させるように構成されている、
装置。

【請求項23】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、コンテキストベースのエントロピー復号化を使用して、前記現在の更新モデル（１１２、１６２、２１２、２６２）の１つ以上のパラメーターの量子化及び二値化された表現を復号化するように構成されている、
装置。

【請求項24】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー復号化するように構成され、前記有意ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述する、
装置。

【請求項25】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー復号化するように構成され、前記符号ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述する、
装置。

【請求項26】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた単項シーケンスをエントロピー復号化するように構成され、前記単項シーケンスの前記ビンは、前記現在考慮されているパラメーター値の量子化インデックスの絶対値がそれぞれのビン重みよりも大きいか否かを記述する、
装置。

【請求項27】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー復号化するように構成され、Ｘはゼロよりも大きい整数である、
装置。

【請求項28】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項29】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項30】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項31】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値を、１つ以上の閾値と比較するように構成され、
前記装置は、前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項32】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値を、単一の閾値と比較するように構成され、
前記装置は、前記単一の閾値との前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、前記単一の閾値との前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項33】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の絶対値を、１つ以上の閾値と比較するように構成され、
前記装置は、前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの復号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項34】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー復号化することであって、前記有意ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述することと、
以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、前記少なくとも１つの有意ビンの前記エントロピー復号化のためのコンテキスト、又は前記少なくとも１つの有意ビンの前記エントロピー復号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項35】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー復号化することであって、前記符号ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述することと、
以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、前記少なくとも１つの符号ビンの前記エントロピー復号化のためのコンテキスト、又は前記少なくとも１つの符号ビンの前記エントロピー復号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項36】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー復号化することであって、Ｘはゼロよりも大きい整数であることと、
以前に復号化されたニューラルネットワークモデルにおける、以前に復号化された対応するパラメーター値の値に依存して、少なくとも１つのＸよりも大きいビンの前記エントロピー復号化のためのコンテキスト、又は前記少なくとも１つのＸよりも大きいビンの前記エントロピー復号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項37】

請求項２２に記載の装置（１５０、２５０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の、１つ以上の以前に復号化されたビン又はパラメーターに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデル（２６４）を選ぶように構成されている、
装置。

【請求項38】

ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークの１つ以上の層の修正を定義する更新モデル（１１２、１６２、２１２、２６２）を符号化するように構成され、
前記装置は、更新されたモデル（１０８、２０８）を得るために、デコーダーが、前記更新モデルを使用して、前記ニューラルネットワークのベースモデル（１０４、２０４）のパラメーターを修正することを、前記更新モデルが可能とするように、前記更新モデルを提供するように構成され、
前記装置は、前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報（１１４）を提供及び／又は決定するように構成されている、
装置。

【請求項39】

請求項３８に記載の装置（１００、２１０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、前記更新されたモデル（１０８、２０８）のパラメーターの値を得るために、前記デコーダーが、前記差分値を前記ベースモデル（１０４、２０４）のパラメーターの値と加算的に又は減算的に組み合わせることを可能とする差分値を記述する、
装置。

【請求項40】

請求項３９に記載の装置（１００、２１０）であって、
前記装置は、前記更新されたモデル（１０８、２０８）のパラメーターの値と前記ベースモデル（１０４、２０４）のパラメーターの値との間の差分として、前記差分値を決定するように構成されている、
装置。

【請求項41】

請求項３９に記載の装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークのｊ番目の層に関連付けられた差分値又は差分テンソルＬ_Ｕｋ，ｊを、前記ニューラルネットのベースモデル（１０４、２０４）のｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊとの、
Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ＋Ｌ_Ｕｋ，ｊ（全てのｊについて、又は前記更新モデルが層を含む全てのｊについて）
に従う、前記差分値又は差分テンソルＬ_Ｕｋ，ｊの組み合わせが、前記ニューラルネットワークのモデルインデックスｋを有する前記更新されたモデル（１０８、２０８）のｊ番目の層のパラメーターの値を表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊの決定を可能にするように、決定するように構成されている、
装置。

【請求項42】

請求項３８に記載の装置（１００、２１０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、スケーリング因子値を記述し、
前記装置は、前記スケーリング因子値を使用した、前記ベースモデル（１０４、２０４）のパラメーターの値のスケーリングが、前記更新されたモデル（１０８、２０８）のパラメーターの値に帰着するように、前記スケーリング因子値を提供するように構成されている、
装置。

【請求項43】

請求項４２に記載の装置（１００、２１０）であって、
前記装置は、前記スケーリング因子値を、前記更新されたモデル（１０８、２０８）のパラメーターの値と前記ベースモデル（１０４、２０４）のパラメーターの値との間のスケーリング因子として決定するように構成されている、
装置。

【請求項44】

請求項４３に記載の装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークのｊ番目の層に関連付けられたスケーリング値又はスケーリングテンソルＬ_Ｕｋ，ｊを、前記ニューラルネットのベースモデル（１０４、２０４）のｊ番目の層のパラメーターの値を表すベース値パラメーター又はベース値テンソルＬ_Ｂｊとの、
Ｌ_Ｎｋｊ＝Ｌ_Ｂｊ・Ｌ_Ｕｋ，ｊ（全てのｊについて、又は前記更新モデルが層を含む全てのｊについて）
に従う、前記スケーリング値又はスケーリングテンソルの組み合わせが、前記ニューラルネットワークのモデルインデックスｋを有する更新されたモデル（１０８、２０８）のｊ番目の層のパラメーターを表す、更新されたモデル値パラメーター又は更新されたモデル値テンソルＬ_Ｎｋｊの決定を可能にするように、決定するように構成されている、
装置。

【請求項45】

請求項３８に記載の装置（１００、２１０）であって、
前記更新モデル（１１２、１６２、２１２、２６２）は、置換値を記述し、
前記装置は、前記置換値を使用した前記ベースモデル（１０４、２０４）のパラメーターの値の置換が、前記更新されたモデル（１０８、２０８）のパラメーターの値を得ることを可能にするように、前記置換値を提供するように構成されている、
装置。

【請求項46】

請求項４５に記載の装置（１００、２１０）であって、
前記装置は、前記置換値を決定するように構成されている、
装置。

【請求項47】

請求項３８に記載の装置（１００、２１０）であって、
前記ニューラルネットワークパラメーターは、ニューロンから発生する、又はニューロンに向かってつながる、ニューロン相互接続の重みを定義する重み値を含む、
装置。

【請求項48】

請求項３８に記載の装置（１００、２１０）であって、
ニューラルネットワークパラメーターのシーケンスが、行列の行又は列に関連付けられた重み値を含む、
装置。

【請求項49】

請求項３８に記載の装置（１００、２１０）であって、
前記スキップ情報（１１４）は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの全てのパラメーターがゼロであるか否かを示すフラグを含む、
装置。

【請求項50】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスの復号化のスキップをシグナリングするスキップ情報（１１４）を提供するように構成されている、
装置。

【請求項51】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのシーケンスが所定の値を有するか否かの情報を含むスキップ情報を提供するように構成されている、
装置。

【請求項52】

請求項３８に記載の装置（１００、２１０）であって、
前記スキップ情報（１１４）は、前記更新モデルのパラメーターのそれぞれのシーケンスの全てのパラメーターがゼロであるか否かを示すスキップフラグの前記アレイを含む、
装置。

【請求項53】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、前記更新モデル（１１２、１６２、２１２、２６２）のパラメーターのそれぞれのシーケンスの復号化のスキップをシグナリングするための、パラメーターのそれぞれのシーケンスに関連付けられたスキップフラグを提供するように構成されている、
装置。

【請求項54】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、スキップフラグのアレイのエントリの数を記述するアレイサイズ情報を提供するように構成されている、
装置。

【請求項55】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、コンテキストモデル（２６４）を使用して、１つ以上のスキップフラグを符号化するように構成され、
前記装置は、１つ以上の以前に符号化されたシンボルに依存して、１つ以上のスキップフラグの符号化のためのコンテキストモデルを選択するように構成されている、
装置。

【請求項56】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークの層に関連付けられた全てのスキップフラグの符号化のために単一のコンテキストモデル（２６４）を適用するように構成されている、
装置。

【請求項57】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたスキップフラグに依存して、スキップフラグの符号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項58】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの符号化のためのコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項59】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける対応するスキップフラグの値に依存して、スキップフラグの符号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項60】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける対応する層の存在に依存して、スキップフラグの符号化のために選択可能なコンテキストモデル（２６４）のセットを選択するように構成されている、
装置。

【請求項61】

請求項３８に記載の装置（１００、２１０）であって、
前記装置は、現在符号化されている更新モデル（１１２、１６２、２１２、２６２）の１つ以上の以前に符号化されたシンボルに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデル（２６４）を選択するように構成されている、
装置。

【請求項62】

ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する装置（１００、２１０）であって、
前記装置は、前記ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくは前記ニューラルネットワークの修正を定義する、現在の更新モデル（１１２、１６２、２１２、２６２）を符号化するように構成され、
前記装置は、更新されたモデル（１０８、２０８）を得るために、前記現在の更新モデルを使用して、前記ニューラルネットワークのベースモデル（１０４、２０４）のパラメーター、又は１つ以上の中間更新モデルを使用して前記ニューラルネットワークの前記ベースモデル（１０４、２０４）から導出された中間パラメーターを、デコーダーが修正することを、前記更新モデルが可能とするように、前記更新モデル（１１２、１６２、２１２、２６２）を提供するように構成され、
前記装置は、前記現在の更新モデルの１つ以上のパラメーターをエントロピー符号化するように構成され、
前記装置は、前記ベースモデル（１０４、２０４）の１つ以上の以前に符号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ以上の以前に符号化されたパラメーターに依存して、前記現在の更新モデルの１つ以上のパラメーターのエントロピー符号化のために使用されるコンテキストを適応させるように構成されている、
装置。

【請求項63】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、コンテキストベースのエントロピー符号化を使用して、前記現在の更新モデル（１１２、１６２、２１２、２６２）の１つ以上のパラメーターの量子化及び二値化された表現を符号化するように構成されている、
装置。

【請求項64】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー符号化するように構成され、前記有意ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述する、
装置。

【請求項65】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー符号化するように構成され、前記符号ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述する、
装置。

【請求項66】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた単項シーケンスをエントロピー符号化するように構成され、前記単項シーケンスの前記ビンは、前記現在考慮されているパラメーター値の量子化インデックスの絶対値がそれぞれのビン重みよりも大きいか否かを記述する、
装置。

【請求項67】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー符号化するように構成され、Ｘはゼロよりも大きい整数である、
装置。

【請求項68】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）を選択するように構成されている、
装置。

【請求項69】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のために選択可能なコンテキストモデル（２２４）のセットを選択するように構成されている、
装置。

【請求項70】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）を選択するように構成されているか、又は
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項71】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値を、１つ以上の閾値と比較するように構成され、
前記装置は、前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２６４）を選択するように構成されているか、又は
前記装置は、前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）のセットを選択するように構成されている、
装置。

【請求項72】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値を、単一の閾値と比較するように構成され、
前記装置は、前記単一の閾値との前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）を選択するように構成されているか、又は
前記装置は、前記単一の閾値との前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項73】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の絶対値を、１つ以上の閾値と比較するように構成され、
前記装置は、前記比較の結果に依存して、現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデル（２２４）を選択するように構成されているか、又は
前記装置は、前記比較の結果に依存して、前記現在考慮されているパラメーター値の量子化インデックスの１つ以上のビンの符号化のためのコンテキストモデルのセットを選択するように構成されている、
装置。

【請求項74】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの有意ビンをエントロピー符号化することであって、前記有意ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロに等しいか否かを記述することと、
以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、前記少なくとも１つの有意ビンの前記エントロピー符号化のためのコンテキスト（２２４）、又は前記少なくとも１つの有意ビンの前記エントロピー符号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項75】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の現在考慮されているパラメーター値に関連付けられた少なくとも１つの符号ビンをエントロピー符号化することであって、前記符号ビンは、前記現在考慮されているパラメーター値の量子化インデックスがゼロよりも大きいかゼロよりも小さいかを記述することと、
以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、前記少なくとも１つの符号ビンの前記エントロピー符号化のためのコンテキスト（２２４）、又は前記少なくとも１つの符号ビンの前記エントロピー符号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項76】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、現在考慮されているパラメーター値の量子化インデックスの絶対値がＸよりも大きいか否かを示す、１つ以上のＸよりも大きいビンをエントロピー符号化することであって、Ｘはゼロよりも大きい整数であることと、
以前に符号化されたニューラルネットワークモデルにおける、以前に符号化された対応するパラメーター値の値に依存して、少なくとも１つのＸよりも大きいビンの前記エントロピー符号化のためのコンテキスト（２２４）、又は前記少なくとも１つのＸよりも大きいビンの前記エントロピー符号化のためのコンテキストのセットを選択することと、
を行うように構成されている、
装置。

【請求項77】

請求項６２に記載の装置（１００、２１０）であって、
前記装置は、前記現在の更新モデル（１１２、１６２、２１２、２６２）の、１つ以上の以前に符号化されたビン又はパラメーターに依存して、コンテキストモデルの選択されたセットの中からコンテキストモデル（２２４）を選ぶように構成されている、
装置。

【請求項78】

ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法（３００）であって、前記方法は、
前記ニューラルネットワークの１つ以上の層の修正を定義する更新モデル（１１２、１６２、２１２、２６２）を復号化すること（３１０）と、
更新されたモデル（１０８、２０８）を得るために、前記更新モデルを使用して前記ニューラルネットワークのベースモデルのパラメーターを修正すること（３２０）と、
前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報（１６４）を評価すること（３３０）と、
を含む、方法。

【請求項79】

ニューラルネットワークを定義するニューラルネットワークパラメーターを復号化する方法（４００）であって、前記方法は、
前記ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくは前記ニューラルネットワークの修正を定義する、現在の更新モデル（１１２、１６２、２１２、２６２）を復号化すること（４１０）と、
更新されたモデル（１０８、２０８）を得るために、前記現在の更新モデルを使用して、前記ニューラルネットワークのベースモデルのパラメーター、又は１つ以上の中間更新モデルを使用して前記ニューラルネットワークの前記ベースモデルから導出された中間パラメーターを修正すること（４２０）と、
前記現在の更新モデルの１つ以上のパラメーターをエントロピー復号化すること（４３０）と、
前記ベースモデルの１つ以上の以前に復号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ又は以前に復号化されたパラメーターに依存して、前記現在の更新モデルの１つ以上のパラメーターのエントロピー復号化のために使用されるコンテキスト（２６４）を適応させること（４４０）と、
を含む、方法。

【請求項80】

ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法（５００）であって、前記方法は、
前記ニューラルネットワークの１つ以上の層の修正を定義する更新モデル（１１２、１６２、２１２、２６２）を符号化すること（５１０）と、
更新されたモデル（１０８、２０８）を得るために、前記更新モデルを使用して前記ニューラルネットワークのベースモデル（１０４、２０４）のパラメーターを修正するために、前記更新モデルを提供すること（５２０）と、
前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示すスキップ情報（１１４）を提供及び／又は決定すること（５３０）と、
を含む、方法。

【請求項81】

ニューラルネットワークを定義するニューラルネットワークパラメーターを符号化する方法（６００）であって、前記方法は、
前記ニューラルネットワークの１つ以上の層の修正、又は１つ以上の中間層の若しくは前記ニューラルネットワークの修正を定義する、現在の更新モデル（１１２、１６２、２１２、２６２）を符号化すること（６１０）と、
更新されたモデル（１０８、２０８）を得るために、前記ニューラルネットワークのベースモデル（１０４、２０４）のパラメーター、又は１つ以上の中間更新モデルを使用して前記ニューラルネットワークの前記ベースモデルから導出された中間パラメーターを修正するために、前記現在の更新モデルを使用することと、
前記現在の更新モデルの１つ以上のパラメーターをエントロピー符号化すること（６２０）と、
前記ベースモデルの１つ以上の以前に符号化されたパラメーターに依存して、及び／又は中間更新モデルの１つ又は以前に符号化されたパラメーターに依存して、前記現在の更新モデル（１１２、１６２、２１２、２６２）の１つ以上のパラメーターのエントロピー符号化のために使用されるコンテキスト（２２４）を適応させること（６３０）と、
を含む、方法。

【請求項82】

コンピュータープログラムであって、前記コンピュータープログラムがコンピューター上で動作するときに、請求項７８、７９、８０又は８１に記載の方法を実行する、コンピュータープログラム。

【請求項83】

ニューラルネットワークパラメーターの符号化表現であって、
前記ニューラルネットワークの１つ以上の層の修正を定義する、更新モデル（１１２、１６２、２１２、２６２）と、
前記更新モデルのパラメーターのシーケンスがゼロであるか否かを示す、スキップ情報と、
を含む、符号化表現。

【国際調査報告】