特表 2023-530471 ディープニューラルネットワークを符号化／復号するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-18

(54)【発明の名称】ディープニューラルネットワークを符号化／復号するためのシステム及び方法

(51)【国際特許分類】

   H04N 19/124 20140101AFI20230710BHJP

   H04N 19/154 20140101ALI20230710BHJP

   H04N 19/70 20140101ALI20230710BHJP

   H04N 19/90 20140101ALI20230710BHJP

【ＦＩ】

H04N19/124

H04N19/154

H04N19/70

H04N19/90

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022577699

(86)(22)【出願日】2021-06-09

(85)【翻訳文提出日】2023-01-13

(86)【国際出願番号】 EP2021065525

(87)【国際公開番号】W WO2021254856

(87)【国際公開日】2021-12-23

(31)【優先権主張番号】63/041,044

(32)【優先日】2020-06-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】521557230

【氏名又は名称】インターデジタル ヴイシー ホールディングス フランス，エスエーエス

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ハミディ－ラッド、シャハブ

(72)【発明者】

【氏名】ジャイン、スワヤンブー

(72)【発明者】

【氏名】ラカペ、ファビアン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159MD02

5C159MD07

5C159ME01

5C159RC12

5C159TA52

5C159TC08

5C159UA02

5C159UA05

5C159UA16

5C159UA33

(57)【要約】

本開示は、入力テンソルのパラメータを量子化することを含む方法に関し、当該量子化することは、少なくとも１つのテンソルと量子化されたバージョンの当該少なくとも１つのテンソルと間で判定された歪み値に従ってそのサイズが取得されるコードブックを使用する。本開示はまた、少なくとも１つの第１のｐｄｆ係数に従って境界されるｐｄｆに基づく初期化を使用して、入力テンソルのパラメータを量子化するための方法に関し、当該第１のｐｄｆ係数は、結果としてのエントロピに従って、いくつかの候補境界ｐｄｆ係数の中から選択される。本開示はまた、対応する信号；ビットストリーム、記憶媒体、並びにエンコーダデバイス及び／又はデコーダデバイスに関する。
【選択図】図６

【特許請求の範囲】

【請求項1】

ビットストリーム中の少なくとも１つのディープニューラルネットワークの層に関連付けられる少なくとも１つのテンソルを符号化することを含む方法であって、
前記少なくとも１つのテンソルを符号化することが、
前記少なくとも１つのテンソルのパラメータを量子化するためのコードブックのサイズを取得することであって、前記サイズが前記少なくとも１つのテンソルと量子化されたバージョンの前記少なくとも１つのテンソルとの間で判定された歪み値に従って取得される、取得することと、
前記取得されたサイズを有するコードブックを使用して、前記パラメータを量子化することと、を含む、方法。

【請求項2】

前記コードブックの前記サイズが、コードブックサイズ範囲全体にわたる二分探索から取得される、請求項１に記載の方法。

【請求項3】

前記量子化することが、少なくとも１つの第１のｐｄｆ係数に従って境界されるｐｄｆに基づく初期化を使用する、請求項１及び２に記載の方法。

【請求項4】

前記第１のｐｄｆ係数が、いくつかの候補境界ｐｄｆ係数の各１つからの前記量子化されたパラメータに対して取得されたエントロピに基づいて、前記いくつかの候補境界ｐｄｆ係数の中から選択される、請求項３に記載の方法。

【請求項5】

前記コードブックのタイプを表す情報を符号化することを更に含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

ビットストリーム中の少なくとも１つのディープニューラルネットワークの層に関連付けられる少なくとも１つのテンソルを符号化するためのデバイスであって、前記デバイスが、少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサが、
－前記少なくとも１つのテンソルのパラメータを量子化するためのコードブックのサイズを取得することであって、前記サイズが、前記少なくとも１つのテンソルと量子化されたバージョンの前記少なくとも１つのテンソルとの間で判定された歪み値に従って取得される、取得することと、
－前記取得されたサイズを有するコードブックを使用して前記パラメータを量子化することと、を行うように構成されている、デバイス。

【請求項7】

前記コードブックの前記サイズがコードブックサイズ範囲全体にわたる二分探索から取得される、請求項６に記載の装置。

【請求項8】

前記量子化することが、少なくとも１つの第１のｐｄｆ係数に従って境界されるｐｄｆに基づく初期化を使用する、請求項６及び７に記載の装置。

【請求項9】

前記第１のｐｄｆ係数が、いくつかの候補境界ｐｄｆ係数の各１つからの前記量子化されたパラメータに対して取得されたエントロピに基づいて、前記いくつかの候補境界ｐｄｆｌ係数の中から選択される、請求項８に記載の装置。

【請求項10】

前記コードブックのタイプを表す情報を符号化することを更に含む、請求項６～９のいずれか一項に記載の装置。

【請求項11】

請求項１～５のいずれか一項に記載の方法に従って符号化された前記ディープニューラルネットワークの少なくとも１つの層の少なくとも１つの第１のテンソルを表すデータを含む、ビットストリームを含む、信号。

【請求項12】

前記データが、前記コードブックのタイプを表す情報を含む、請求項１１に記載の信号。

【請求項13】

請求項１１又は１２に記載の信号を含む、コンピュータ可読媒体。

【請求項14】

ビットストリームからの少なくとも１つのディープニューラルネットワークの層に関連付けられる少なくとも１つのテンソルを復号することを含む方法であって、前記少なくとも１つのテンソルを復号することが、
－前記ビットストリームから、コードブックのタイプを表す情報を復号することと、
－前記コードブックを使用して、前記少なくとも１つのテンソルのパラメータを逆量子化することと、を含む、方法。

【請求項15】

ビットストリームからの少なくとも１つのディープニューラルネットワークの層に関連付けられる少なくとも１つのテンソルを復号するように構成された少なくとも１つのプロセッサを備える装置であって、前記少なくとも１つのテンソルを復号することが、
－前記ビットストリームから、コードブックのタイプを表す情報を復号することと、
－前記コードブックを使用して、前記少なくとも１つのテンソルのパラメータを逆量子化することと、を含む、装置。

【請求項16】

１つ以上のプロセッサに、請求項１～５又は１４のいずれか一項に記載の方法を行わせるための命令を格納している、コンピュータ可読記憶媒体。

【請求項17】

１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに、請求項１～５又は１４のいずれか一項の方法を行わせる命令を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の１つ以上の実施形態のドメイン技術分野は、データ圧縮及び／又はデータ解凍のような、データ処理技術ドメインに関するものである。例えば、少なくともいくつかの実施形態は、オーディオストリーム及び／又はビデオストリームの少なくとも一部の圧縮及び／又は解凍のような、或いはディープニューラルネットワーク（Deep Neural Network、ＤＮＮ）の少なくともいくつかのパラメータのような、ディープラーニング技法と結び付いたデータの圧縮及び／又は解凍のような、大容量のデータに伴うデータ圧縮／解凍に関するものである。

【0002】

少なくともいくつかの実施形態は、ＨＥＶＣ（ＨＥＶＣとは、「ＩＴＵ－Ｔ Ｈ．２６５ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ｓｅｃｔｏｒ ｏｆ ＩＴＵ （１０／２０１４），ｓｅｒｉｅｓ Ｈ：ａｕｄｉｏｖｉｓｕａｌ ａｎｄ ｍｕｌｔｉｍｅｄｉａ ｓｙｓｔｅｍｓ，ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ－ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ，Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５」に記載のＨ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２としても既知である高効率ビデオコーディングのことである）などの開発中のビデオ圧縮システムと比較して、又はＶＶＣ（多用途ビデオコーディング、ＪＶＥＴ統合ビデオ専門家チームにより進展している新規格）のような展開中のビデオ圧縮システムと比較して、圧縮効率を改善することに関する。

【0003】

高圧縮効率を得るために、画像及びビデオコーディング方式では、通常、空間ベクトル予測及び／又は動きベクトル予測を含む予測、及び変換を採用し、ビデオコンテンツにおける時空間冗長性を活かす。一般に、フレーム内又はフレーム間の相関を活かすのにイントラ予測又はインター予測が使用され、それにより、しばしば予測誤差又は予測残差と呼ばれる原画像と予測画像との差分が、変換され、量子化され、エントロピコーディングされる。ビデオを再構築するために、エントロピコーディング、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号する。

【0004】

少なくともいくつかの実施形態は、国際標準化機構により現在進展しているマルチメディアコンテンツ記述・分析用の近日発表のニューラルネットワーク規格ＩＳＯ／ＭＰＥＧ７のようないくつかの圧縮規格又はドラフト規格など、ディープニューラルネットワーク（Deep Neural Network、ＤＮＮ）の圧縮用の既存のシステムと比較して、圧縮効率を改善することに関するものである。

【0005】

大抵、符号化プロセスでは、ＤＮＮのパラメータを量子化し、エントロピコーディングし、圧縮データを取得する。データを再構築するために、圧縮データを復号し、復号プロセスは、エントロピ復号及び逆量子化を含む。

【発明の概要】

【0006】

本発明の原理により、少なくとも１つのビットストリーム中のデータを符号化することを含む方法を提案することによりいくつかの既知の圧縮及び／又は解凍方法の少なくとも１つの欠点を解消するのが可能になり、データとは、少なくとも１つのディープニューラルネットワークの少なくとも１つの層又は副層の少なくとも１つのテンソルの１つ以上のパラメータである。層に関連付けられるネットワークパラメータのテンソルは、重み及び／又はバイアスなどの類のネットワークパラメータ（例えば、「バッハ標準化」のテンソルに関しては）を含むことができるということに注目されたい。

【0007】

ある実施形態により、ビットストリーム中の少なくとも１つのディープニューラルネットワークの層に関連付けられる少なくとも１つのテンソルを符号化するための方法を提供する。少なくとも１つのテンソルを符号化することは、当該少なくとも１つのテンソルのパラメータを量子化するためのコードブックのサイズを取得することを含み、当該サイズは、少なくとも１つのテンソルと量子化されたバージョンの当該少なくとも１つのテンソルとの間で判定された歪み値に従って取得され、当該取得されたサイズを有するコードブックを使用して当該パラメータを量子化する。

【0008】

別の実施形態により、ビットストリーム中の少なくとも１つのディープニューラルネットワークの層に関連付けられる少なくとも１つのテンソルを符号化するためのデバイスを提供し、デバイスは、当該少なくとも１つのテンソルのパラメータを量子化するためのコードブックのサイズを取得するように構成された少なくとも１つのプロセッサを備え、当該サイズは、少なくとも１つのテンソルと量子化されたバージョンの当該少なくとも１つのテンソルとの間で判定された歪み値に従って取得され、当該取得されたサイズを有するコードブックを使用して当該パラメータを量子化する。

【0009】

別の実施形態により、ビットストリームからの少なくとも１つのディープニューラルネットワークの層に関連付けられる少なくとも１つのテンソルを復号するための方法を提供し、少なくとも１つのテンソルを復号することは、コードブックのタイプを表す情報をビットストリームから復号し、コードブックを使用して、当該少なくとも１つのテンソルのパラメータを逆量子化することを含む。

【0010】

別の実施形態により、ビットストリームから少なくとも１つのディープニューラルネットワークの層に関連付けられる少なくとも１つのテンソルを復号するための装置を提供し、この装置は、ビットストリームからコードブックのタイプを表す情報を復号し、コードブックを使用して当該この少なくとも１つのテンソルのパラメータを逆量子化するように構成された少なくとも１つのプロセッサを備える。

【0011】

本開示のある態様は、入力テンソルのパラメータを量子化するように適合された少なくとも１つのプロセッサを備えるデバイスに関し、当該量子化することは、少なくとも１つの第１のｐｄｆ係数に従って境界されるｐｄｆに基づく初期化を使用して、当該第１のｐｄｆ係数は、結果としてのエントロピに従って、いくつかの候補境界ｐｄｆ係数の中から選択される。

【0012】

本開示のある態様は、入力テンソルのパラメータを量子化することを含む方法に関し、当該量子化することは、少なくとも１つの第１のｐｄｆ係数に従って境界されるｐｄｆに基づく初期化を使用して、当該第１のｐｄｆ係数は、結果としてのエントロピに従って、いくつかの候補境界ｐｄｆ係数の中から選択される。

【0013】

本開示のいくつかの実施形態により、量子化することは、コードブックに基づく量子化を使用し、当該コードブックサイズが、当該候補コードブックサイズを使用して、当該入力テンソルから取得された量子化テンソルと当該入力テンソルとの間の誤差に従って、いくつかの候補コードブックサイズから取得される。

【0014】

別の態様により、装置を提供する。装置は、プロセッサを備える。少なくとも１つのビットストリーム中の少なくとも１つのディープニューラルネットワークの少なくとも１つの層の少なくとも１つのテンソルを符号化し、かつ／又はこれまで述べた方法のうちのいずれかを実行することにより、少なくとも１つのディープニューラルネットワークの少なくとも１つの層の少なくとも１つのテンソルを表すビットストリームを復号するようにプロセッサを構成することができる。

【0015】

少なくとも１つの実施形態の別の汎用態様により、復号する実施形態のいずれかによる装置と、（ｉ）入力データを含むデータを受信するように構成されたアンテナ、（ｉｉ）入力データを含む周波帯域に受信信号を限るように構成された帯域リミッタ、又は（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイのうちの少なくとも１つと、を備えるデバイスを提供する。

【0016】

少なくとも１つの実施形態のまた別の汎用態様により、記載される復号する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含む非一時的コンピュータ可読媒体を提供する。

【0017】

少なくとも１つの実施形態の更に別の汎用態様により、記載される復号する実施形態又は変形形態のうちのいずれかに従って生成される、少なくとも１つのディープニューラルネットワークの少なくとも１つの層又は副層の少なくとも１つのテンソルを表すデータを含む信号を提供する。

【0018】

少なくとも１つの実施形態の別の汎用態様によれば、記載される復号する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含むようにビットストリームをフォーマットする。

【0019】

少なくとも１つの実施形態の別の汎用形態によれば、コンピュータによって実行されるとき、記載される復号する実施形態又は変形形態のうちのいずれかをコンピュータに行わせる命令を含む、コンピュータプログラム製品を提供する。

【0020】

少なくとも１つの実施形態の別の汎用態様により、その実施形態のいずれかにおける本開示の方法のうちの少なくとも１つを実行するようにコンピュータによって実行可能な命令のプログラムを有形に具体化する、コンピュータによって読み取り可能な非一時的プログラム記憶デバイスを提供する。

【0021】

少なくとも１つの実施形態の別の汎用態様により、コンピュータにより実行されると、それらの実施形態のうちのいずれかにおける本開示の方法のうちの少なくとも１つをコンピュータに行わせる命令を含む、コンピュータ可読記憶媒体を提供する。

【0022】

明示的には記載されていないが、それらの実施形態のうちのいずれかにおける本開示の方法を行うように本開示のデバイスを適合させることができる。

【0023】

明示的には記載されていないが、方法又は対応する信号、デバイス、及びコンピュータ可読記憶媒体に関わる本実施形態を、どのような組み合わせでも下位組み合わせでも採用することができる。

【図面の簡単な説明】

【0024】

【図1】一般的な標準符号化方式を示す。

【図2】一般的な標準復号方式を示す。

【図3】記載される実施形態が実装され得る典型的なプロセッサ装置を示す。

【図4】本開示の符号化方法の少なくともいくつかの実施形態を使用したＤＮＮ符号化号式を示す。

【図5】本開示の復号方法の少なくともいくつかの実施形態を用いたＤＮＮ復号方式を示す。

【図6】ある実施形態によるＤＮＮ層のテンソルのパラメータを量子化するための方法の一例を示す。

【図7】別の実施形態によるＤＮＮ層のテンソルのパラメータを量子化するための方法の一例を示す。

【図8】ある実施形態によるＤＮＮ層のテンソルのパラメータを符号化する方法の一例を示す。

【図9】ある実施形態によるＤＮＮを復号する方法の一例を示す。

【図10】ある実施形態に従って生成されるディープニューラルネットワークの少なくとも１つの層のテンソルを表すデータを含むビットストリームの一部の一例を示す。

【0025】

図面が実施形態例を示すものであり、本開示の実施形態が図示の実施形態に限定されないということに留意されたい。

【発明を実施するための形態】

【0026】

多くの技術分野では、大容量のデータのコンピュータ手段による処理を伴うことがある。このような処理には、例えばこのようなデータの少なくとも一部の格納又は変換のためにデータ圧縮及び／又はデータ解凍を伴うことがある。大量のデータを含むストリームの圧縮及び／又は解凍の例は、ビデオ処理技術分野で又はディープラーニング技法を伴う技術分野で確認することができる。

【0027】

限定ではなく例示となるものを示す目的で、ディープニューラルネットワーク（ＤＮＮ）と結び付けて本開示の実施形態について詳しく述べる。但し、明らかなのは、本開示が、ビデオ処理技術分野におけるような、他の大量のデータの圧縮／解凍にも適用できる、ということである。例えば、少なくとも１つの画像からディープラーニングアルゴリズムにより取得されたテンソルの圧縮／解凍に本開示を適用することができる。

【0028】

ディープニューラルネットワーク（ＤＮＮ）は、マルチメディア処理、コンピュータビジョン、音声認識、自然言語処理などの多様な領域における技術パフォーマンス状態を呈している。このパフォーマンスはどう見ても、ＤＮＮがしばしば数百万、ときには数十憶にも上る大量のパラメータを持つ傾向にあることから、膨大な計算コストを費やす可能性がある。

【0029】

これにより、例えば、法外に高い推論複雑性につながる可能性がある。簡単に言えば、推論とは、例えばその分類の観点からは、入力データを処理するように訓練された時点のＤＮＮの展開である。推論複雑性は、推論対象の入力データに訓練済みＤＮＮを適用する計算コストと定義することができる。

【0030】

したがって、この高い推論複雑性は、ハードウェア及び／又はソフトウェアリソースが制限された電子デバイスを伴う環境において、例えば、バッテリサイズ、制限された計算能力、及びメモリ容量などのリソース制限があるモバイルデバイス又は組み込みデバイスを伴う環境においてＤＮＮを使用する際の重要な課題であり得る。

【0031】

ディープニューラルネットワークは、いくつかの層で構成されている。層は、例えばＤＮＮの訓練時に取得することができるパラメータ集合に関連付けられる。これらのパラメータ（重み及び／又はバイアスのような）は、多次元配列として格納される。以下では、簡単にするために、「行列」という用語は、パラメータ集合（例えば、所与の層のテンソルのパラメータ）を示すのに使用されることがある。但し、本開示の方法のいくつかの実施形態は、通常、４Ｄテンソルのパラメータを含む２Ｄ畳み込み層などの２次元を超える次元のテンソルのパラメータにも適用することができるということを理解されたい。ＤＮＮの膨大なパラメータでは、分散環境におけるＤＮＮ（又はＤＮＮを含むソリューション）の展開に広い帯域を必要とする場合がある。

【0032】

本開示の少なくともいくつかの実施形態は、少なくとも１つのＤＮＮ（例えば、事前訓練済みＤＮＮ）の少なくともいくつかのパラメータの圧縮及び／又は解凍（復号）に当てはまる。確かに、圧縮により、少なくとも１つのＤＮＮの送信及び／又は格納を容易にすることができる。より正確には、本開示の少なくともいくつかの実施形態は、少なくとも１つのディープニューラルネットワークの少なくとも１つの層に関連付けられる少なくとも１つのテンソルのパラメータの圧縮に当てはまる。ネットワークパラメータは、例えば、一度に圧縮された１つのテンソルとすることができる。

【0033】

本開示の実施形態によっては、層（又は副層）は、異なるタイプのものとすることができる。例えば、いくつかの実施形態では、少なくとも１つの層の全てが畳み込み層、若しくは完全コネクタ層であり得るか、又は少なくとも１つの層を少なくとも１つの畳み込み層及び／又は少なくとも１つの完全コネクタ層を備えることができる。

【0034】

図４及び図５には、本開示の少なくともいくつかの実施形態で使用することができる少なくとも１つのＤＮＮの少なくとも１つのテンソルのパラメータを符号化／復号する際の一般的プロセスをそれぞれ高水準で示す。

【0035】

図４の圧縮方法４００の例示的な実施形態では、方法４００は、圧縮されるテンソルのパラメータを取得する４１０（又は言い換えると、得る）ことを含むことができる。取得することは、例えば、ストレージユニットから少なくとも１つのテンソルのパラメータを取り出すことによって、又は通信インターフェース経由でデータソースからパラメータを受信することによって、行うことができる。

【0036】

図４によって示されるように、ニューラルネットワークの少なくともいくつかのパラメータの圧縮を行うことには、
ニューラルネットワークのパラメータ（重み及びバイアスのような）を量子化すること４３０、
すなわち、量子化された情報のロスレスエントロピコーディング４４０を含むことができる。

【0037】

このようなプロセスは、より少ないビット数でパラメータを表すことを可能にする。

【0038】

いくつかの実施形態では、圧縮４００は、量子化４３０に先立ち、ニューラルネットワークに特有の冗長性を活かすことによって、ニューラルネットワークのパラメータ数を低減する４２０ステップを更に含むことができる。このため、低減すること４２０により、層に関連付けられるテンソルの次元と比較して、低減された次元の少なくとも１つのテンソルと、低減するステップへの入力と、を提供する。例えば、ＤＮＮの少なくとも１つの層のテンソルのパラメータは、分解するか、又は低減すること４２０において疎らにすることができる。

【0039】

通常、浮動小数点値を備える結果としてのテンソルを量子化し、エントロピコーディングし、受信器に送信される最終ビットストリームにする。

【0040】

この低減すること４２０は、任意選択的であり、そのため、いくつかの実施形態では省略することができる。

【0041】

テンソルの量子化は、入力テンソルよりも少ないビット数で済む整数のような値でテンソルの値を近似させることを伴うことができる（例えば、浮動小数点値）。

【0042】

ＤＮＮ圧縮ソリューションに応じて、異なる種類の量子化を行うことができる。例えば、一様量子化を使用することによって、又はいくつかのＤＮＮ圧縮ソリューションに見られるように、とりわけ、これ以降より簡単にＭＰＥＧ ＮＮＲと示されるマルチメディアコンテンツ記述・分析対象のニューラルネットワークに関するいくつかの来る規格ＩＳＯ／ＭＰＥＧ７のようないくつかの圧縮規格に見られるように、コードブックに基づく量子化のような非一様量子化を使用することによって、量子化を行うことができる。

【0043】

一様量子化では、浮動小数点「刻み幅」を規定することができ、テンソルにおける全ての浮動小数点値を刻み幅の倍数として表すことができる。テンソルの近似値は、整数値に「刻み幅」を乗算するだけで、復号器において再構築することができる。

【0044】

コードブックとは、量子化後に層のパラメータが持つことのできる値集合（整数値又は浮動小数点値のような）である。指数は、量子化によって元のテンソルのパラメータに割り当てられたコードブック値から導出することができる。元のテンソルの近似値を再構築するために、復号デバイスは、インデックスを使用して、コードブックから対応する浮動小数点値をルックアップする。コードブックに基づく量子化については、これ以降、より招待に考察される。

【0045】

図４によって示されるように、量子化へのパラメータ入力は、小数点型であり得るが、量子化の出力は、整数型の指数の１つ以上のテンソルを含むことができる。任意選択的に、量子化は、指数が関わるコードブックを出力することもできる。確かに、いくつかの実施形態では、例えばコードブックが量子化によって予め固定される実施形態では、量子化の出力においてコードブックを省略することができる。

【0046】

図４によれば、量子化４３０の出力のうちの少なくともいくつかは、ロスレスエントロピコーディング４４０を行う際に入力として使用される。エントロピコーディングの際の情報入力（量子化されたテンソルでは、コードブック及び／又は整数型のテンソルに関する情報のような）は、いくつかの実施形態では、ヘッダ情報と、指数を含むペイロードと、に分けられ得る。

【0047】

それ以外の要素（元のテンソルの形すなわちシンボルカウントのような）もエントロピコ－ディング４４０に入力され得る。

【0048】

符号化方法４００によっていくつかの層を符号化することができる場合、層に関連付けられるパラメータを符号化した後、符号化されるべき最後の層のパラメータの符号化の終了（４５０）まで、ＤＮＮに対して層ごとに方法を繰り返すことができる。

【0049】

図５には、すでに述べた符号化方法４００によって取得されたビットストリームを復号するのに使用され得る復号方法５００を表す。デコーダにおいて、図５によって示されるように、符号化方法５００は、いくつかの逆演算を含むことができる（エンコーダ側の演算と比較して）。例えば、復号方法５００は、パラメータの量子化された形式を引き出す入力ビンの解析／エントロピ復号５１０を含むことができる。次に、逆量子化５２０を適用して、パラメータの最終値を導出することができる。エンコーダにおけるテンソルの行列分解／スパース化は、通常、デコーダにおける逆プロセスがなくても済む。例えば、パラメータ低減段階（低減４２０）においてゼロに設定されたパラメータは、デコーダにおける逆量子化の後にもゼロのままであり得る。

【0050】

図５によって示されるように、ＤＮＮの層に対応するビットストリームを解析し、復号する５１０出力は、メタデータ及び量子化されたパラメータで構成することができる。例えば、エンコーダ側でコードブックに基づく量子が行われるとき、出力は、コードブック及び対応する指数を含む。例えば、整数域［０．．．Ｋ－１］に属する値を持つことができる、指数のクラスタセンタ及びテンソルとして示すＫ値のコードブックを導出する、Ｋ平均法により、指数のコードブックもテンソルもコンピュータで求めることができる。

【0051】

復号方法は、復号済み情報（指数及びコードブックのような）を使用して逆量子化５２０を行うことを更に含むことができる。

【0052】

いくつかの層が復号方法５００によって復号され得るとき、最後の層のパラメータが符号化される（５５０）まで繰り返し方法５００を行うことができる。

【0053】

図４によって示されるように、量子化４３０によって出力された要素のうちの少なくともいくつかは、エントロピ符号化４４０を行う際に入力として使用され、量子化が実施される方法は、エントロピ符号化が行われる方法に準拠すべきであり、逆もまた同様である。これは、例えば、量子化が一様量子化であろうと、コードブックに基づく量子化（近日発表の規格ＭＰＥＧ－ＮＮＲのようないくつかの圧縮ソリューションに使用される量子化としての）であろうと当てはまるはずである。

【0054】

しかしながら、これは、必ずしもそうとは限らない。例えば、コードブックに基づく量子化にいくつかの欠点がある可能性がある。例えば、コードブック量子化は、多くの場合、より小さいテンソルよりも、より大きいテンソルでより効率的であり得る。この理由の１つは、テンソルが小さい場合、コードブックのオーバーヘッドがテンソルのサイズと比較して、重要になり得る、と言うことが挙げられる。

【0055】

本開示の少なくともいくつかの実施形態は、この問題に対処する助けとなる。

【0056】

より正確には、本開示の第１の態様により、少なくともいくつかの実施形態は、より小さなテンソルには一様量子化を使用し、より大きなテンソルにはコードブックを使用することを提案する。

【0057】

本開示ではまた、いくつかの類の量子化に使用されるように適合された例示的なフォーマット（これ以降「統合フォーマット」とも呼ばれる）、とりわけ、コードブックも一様量子化も対象とするフォーマットを提案する。

【0058】

エントロピコーディングとは、他のデータシンボルよりも起こる可能性が高いデータシンボルがある場合、いかなるデータも圧縮することができるという事実に基づき上手く行くロスレスデータ圧縮である。エントロピコーディング方法の例には、ハフマン符号化及び算術符号化が挙げられる。

【0059】

量子化された情報のエントロピは、算術符号化の効率に直に影響を及ぼす。量子化された情報が高いエントロピ（例えば、高いランダム性）を有する場合、算術符号化アルゴリズムでは、データを効率的に圧縮することができない。例えば、シンボルが同じ頻度（高いランダム性、高いエントロピ）でデータに現れる場合、圧縮は効率的ではない。しかし、他のシンボルよりも頻繁に現れるシンボルがある場合、圧縮は、より頻繁なシンボルに対してより少ないビットを使用することによってより効率的になる。

【0060】

本開示の第２の態様により、少なくともいくつかの実施形態は、量子化された情報のエントロピを最小限に抑えることにより、エントロピコーディング時に行われる算術符号化の効率を改善する（例えば、条件付き算術符号化及び／又は適応算術符号化）のを促進する方法を提案する。

【0061】

量子化された情報は、少なくとも１つの第１の平均二乗誤差（Mean Square Error、ＭＳＥ）値（歪みを制御する）に基づいて、例えば、量子化された情報のエントロピを最小限に抑える（又は少なくとも低下）しようとしながら平均二乗誤差値を最小限に抑えることによって（例えば、Ｋ平均法アルゴリズムのｐｄｆ境界初期化を使用することによって）、最適化（又は少なくとも改善）され得る。

【0062】

本開示は、いくつかの態様に関するものである。上で紹介した第１の態様及び第２の態様のようないつくかの態様は、同じ実施形態で及び又は別々に実施され得る（いくつかの実施形態は、両方の態様を実施するが、いくつかの実施形態は、態様のうちの１つのみを実施する）。例えば、いくつかの実施形態では、ＭＳＥに従ってｐｄｆ係数を最適化せずに、シンボルカウント対象の二分探索を行うことができる。しかしながら、シンボルカウントのための二分探索とＭＳＥに従ってｐｄｆを最適化することとを組み合わせる実施形態は、多くの場合、量子化が量子化されたテンソルと元のテンソルとの誤差（ＭＳＥ）を最小限に抑えようとするだけのときよりも良好なレート／歪み結果を取得する助けとなり得る。また、本開示のいくつかの実施形態では、本明細書に記載のような量子化、例えば、コードブック量子化（第２の態様と結び付くような）並びに条件付き符号化及び／又は適応算術符号化が組み合わされ得る。

【0063】

本明細書で詳しく述べる本開示の方法の実施形態が多くの圧縮ソリューションにおいて実施され得、特定の規格に限定されるものではなく、本開示のうちの少なくともいくつかでさえ、ＩＳＯ／ＭＰＥＧ７により進展するいくつかのドラフト規格のようないくつかの圧縮規格の背景に当てはめることもできるということに注目されたい。

【0064】

「最良」シンボルカウントの二分探索
エントロピコーディング時に現れる可能性のある全シンボルの個数を全体として示すシンボルカウントという用語は、コードブック量子化の場合にはコードブックサイズのことである。

【0065】

いくつかの圧縮フレームワークによっては、量子化段階に入力されるパラメータには、コードブックの各シンボルの表現用のビット数を示す「ｑＢｉｔｔ」値を時折含むめることができ、したがって、コードブックサイズは、２^ｑＢｉｔに等しい。

【0066】

但し、算術符号化（又は条件付き算術符号化及び／又は適応算術符号化）が量子化の後に使用される実施形態では、コードブックサイズが２の累乗でなくとも済む。本開示の少なくともいくつかの実施形態によれば、コードブックサイズ（必ずしも２の累乗ではない）は、第１の（指定の）精度で取得（又は判定）することができる。

【0067】

より正確には、本開示のいくつかの実施形態によれば、「ｑＢｉｔ」値を指定する代わりに、元のテンソルと量子化されたテンソルとの間の第１の歪み値、例えば、所望の最大平均二乗誤差（ＭＳＥ）値（以下、ＭａｘＭＳＥおと示す）のような所望の最大歪み値をエンコーダにおいて指定することができる。それにより、例えば二分探索を使用することによって、この第１のＭＳＥ値に従ってコードブックサイズを取得することができる。

【0068】

本開示のいくつかの実施形態では、コードブックサイズ範囲、例えばコードブックサイズの４～４０９６の範囲（「ｑＢｉｔｓ」２～１２に相当）全体にわたって二分探索を行うことができる。

【0069】

明らかに、実施形態に応じて、範囲の最小値及び最大値は、「ｑＢｉｔ」の最小値及び最大値のように、実施形態に応じて変わることがあり、数値（例えば、コードブックサイズの場合で４又は４０９６）は、例示的な値にすぎない。例えば、いくつかの実施形態では、２～２０のｑＢｉｔｓ値（また対応するコードブックサイズ）を使用することができる。

【0070】

実施形態に応じて、単調に増加又は減少する値に二分探索を適用することができる。実際、シンボルカウント（又はコードブックサイズ）が増加すると、ＭＳＥは単調に減少する。したがって、二分探索を使用して、所与のＭＳＥ値（ｍａｘＭＳＥ）に対して最良の（最小の）シンボルカウントを取得することができる。

【0071】

図６には、ある実施形態による、ＤＮＮ層のテンソルのパラメータを量子化するための方法６００の一例を示す。６０１において、ＤＮＮの少なくとも１つのテンソルのパラメータを量子化するためのコードブックのサイズが取得される。上に記載されるように、コードブックのサイズは、少なくとも１つのテンソルと量子化されたバージョンの当該少なくとも１つのテンソルとの間で判定された歪み値に従って取得される。変形形態では、コードブックのサイズは、コードブックサイズ範囲全体にわたって二分探索を使用して取得される。６０２において、テンソルのパラメータが、６０１において取得されたサイズを有するコードブックを使用して量子化される。図６に絡めて説明する実施形態は、図４に絡めて説明する、ＤＮＮを符号化するための方法において実装され得る。

【0072】

ｐｄｆに基づく初期化を用いたエントロピ量子化の低下
いくつかの量子化ソリューションは、Ｋ平均法クラスタのｐｄｆに基づく初期化のようなｐｄｆに基づく初期化に基づくことができる。例えば、ｐｄｆ関数に境界を使用すると、初期Ｋ平均法クラスタ（より正確には、Ｋ平均法初期化に使用されるＫ平均法クラスタの中心の値）が互いにどのように一様に離間されるかを制御する助けとなることができる。初期化が完全にｐｄｆに基づく場合、より多くの初期クラスタが、より頻度が高いシンボルに割り当てられる。これは、量子化の精度を改善する（すなわち、歪みを低減する）のを助けることができる一方、クラスタ母集団（すなわち、各クラスタにおけるシンボル数）を互いに近づける可能性もあり、これは、最終的にエントロピを損ない、したがって、ビットストリームのサイズを増加させる（すなわち、レート歪みの面から、ＭＳＥ及びネットワーク推論誤り率を歪みとして、また圧縮モデルのサイズをレートとして考えると、レートを増加させる）。したがって、一定時間量でモデルを送信したい場合、サイズはビットレートに比例することになる。

【0073】

本開示の少なくともいくつかの実施形態によれば、ＰＤＦに基づく初期化が量子化（例えば、Ｋ平均法量子化）にどのように適用されるかを示す「ｐｄｆ係数」が定義される。本開示の実施形態に応じて、ｐｄｆ係数のフォーマットがばらつくことがある。

【0074】

例えば、いくつかの実施形態では、「ｐｄｆ係数」が、０．０～１．０の範囲の数であることがある。したがって、このような実施形態では、「ｐｄｆ係数」は、ＰＤＦに基づく初期化をどれほど適用したいかを表すものである。ｐｄｆ係数の値が「０」である場合、ＰＤＦに基づく初期化を全く使用したくないことを意味する。この場合、Ｋ平均法アルゴリズムは一様に初期化される。ｐｄｆ係数の値が１．０であることは、その効果が最大であるＰＤＦ特徴を使用したいことを意味する。（例えば、以下の式では、下限は０となり、上限は平均値の２倍となる）。

【0075】

いくつかの実施形態では、Ｋ平均法の初期化に使用される例示的な境界ＰＤＦ関数は、以下のように定義することができる。
ＢｏｕｎｄｅｄＰＤＦ＝Ｃｌｉｐ（ＰＤＦ、ＬｏｗｅｒＢｏｕｎｄ、ＵｐｐｅｒＢｏｕｎｄ）
ここで、
ＬｏｗｅｒＢｏｕｎｄ＝（１．０－ｐｄｆＦａｃｔｏｒ）^＊Ａｖｇ（ＰＤＦ）
ＵｐｐｅｒＢｏｕｎｄ＝（１．０＋ｐｄｆＦａｃｔｏｒ）^＊Ａｖｇ（ＰＤＦ）
ここで、ＰＤＦは確率密度関数であり、これは、指定の値をとる確率変数の尤度を与えることができる。

【0076】

上で説明されるように、本開示の少なくともいくつかの実施形態によれば、量子化アルゴリズムへの入力のうちの１つは、第１の歪み値（所望の最大ＭＳＥ値ＭａｘＭＳＥのような）とすることができる。量子化アルゴリズムでは、例えば、エンコーダ側で二分検索アルゴリズムを使用して、歪み（又は誤差）を指定の最大値未満に保ちながらテンソルを量子化するのに必要とされるシンボル最小数（すなわちコードブックサイズ）を見付けることができる。（ＭＳＥ＜ｍａｘＭＳＥ）

【0077】

本開示の少なくともいくつかの実施形態では、指定のシンボルカウント（又はコードブックサイズ）で量子化する間に、量子化された情報のエントロピを改善するようにｐｄｆ係数を変化させることができる。例えば、ｐｄｆ係数の値が、第１のｐｄｆ係数値と第２のｐｄｆ値との間に含まれる範囲において定義され得る場合、一定刻み及び／又は可変刻みで、第１の値から第２の値にｐｄｆ係数の値を変化させることができ、ｐｄｆ係数の各値に対して、最低エントロピの場合に対応するｐｄｆ係数を選択するように、量子化された情報のエントロピをコンピュータで求めることができる。

【0078】

第１の例によれば、ｐｄｆ係数の値を、最小ｐｄｆ係数値～最大ｐｄｆ係数値（例えば、０～１）の範囲で漸増的（例えば、０．１刻み）に変化させ、ｐｄｆ係数の各値に対して量子化された情報のエントロピを計算することができる。第２の例によれば、最大ｐｄｆ係数値～最小ｐｄｆ係数値（例えば、１～０）の範囲において、０．１刻みを用いてｐｄｆ係数を漸減的に変化させ、各ｐｄｆ係数に対して量子化された情報のエントロピを計算することができる。それにより、第１の例及び／又は第２の例で最低エントロピに対応するｐｄｆ係数を決める。

【0079】

本開示の実施形態の少なくともいくつかにおいて、２つの入れ子型ループを行うことができ、第１のループは、ＭＳＥ（ｍａｘＭＳＥ値が与えられた場合に最良のシンボルカウントを見付ける二分探索のような）に対して最適化を促し、第２のループは、エントロピに対して最適化を促す（最低エントロピをもたらすｐｄｆ係数の調査）。

【0080】

本開示の実施形態の少なくともいくつかでは、ＭＳＥを最適化するのを促す第１のループを実施することができるが、エントロピを最適化するのを促す第２のループを実施することはできず、又はその逆もある。

【0081】

例えば、ＭＳＥに対するコードブックサイズの最適化は、境界ｐｄｆ量子化以外のコードブック量子化初期化方法が使用される実施形態において行うことができ、エントロピを下げるｐｄｆ係数を使用する境界ｐｄｆ量子化は、上で説明されるように、入力ｑビットから判定されるコードブックサイズで行うことができる。

【0082】

図７には、上記の実施形態による、ＤＮＮ層のテンソルのパラメータを量子化するための方法７００の一例を示す。７０１において、上に記載されるように、ｐｄｆ係数が、いくつかの候補境界ｐｄｆ係数の各１つからの量子化されたパラメータに対して取得されたエントロピに基づいて、いくつかの候補境界ｐｄｆ係数の中から選択される。７０２において、テンソルのパラメータは、選択されたｐｄｆ係数に従って境界されるｐｄｆに基づく初期化を使用して量子化される。図７との絡みで説明する実施形態は、図４との絡みで説明した、ＤＮＮを符号化するための方法において実施され得る。

【0083】

ある実施形態では、上に示されるように、図６、図７にそれぞれ示した方法を組み合わせることができる。

【0084】

統合コードブック情報
本開示の実施形態のうちの少なくともいくつかではまた、いくつかの種の量子化に使用されるように適合され、とりわけ、コードブック量子化も一様量子化も対象とすることができる、例示的なコードブックフォーマット（「統合コードブック情報」）を提案する。

【0085】

本開示の少なくともいくつかの実施形態では、整数配列（以下、コードブック情報とする）に統合コードブック情報を対応させることができる。

【0086】

統合コードブック情報は、コードブックのタイプを表す第１の情報を含むことができる。例えば、統合コードブック情報が整数配列である例示的なフォーマットでは、配列における第１の整数により、コードブックのタイプを指定することができる。コードブックのタイプの例を以下に挙げる。

【0087】

統合コードブック情報におけるいくつかの成分は、コードブックタイプにより決めることができる。例えば、上記の例示的なフォーマットでは、統合コードブック情報において第１の整数に続く成分は、コードブックタイプにより決めることができる。

【0088】

いくつかのコードブックタイプ（以下のタイプ「１」及び「２」のような）では、コードブック情報がテンソルを再構築するのに必要とされる全ての情報を含むので、実際の量子化されたテンソルをビットストリームにおいて省略することができる（すなわち、ビットストリームにおいて符号化される指数はない）。

【0089】

コードブックタイプ及び関連する統合コードブック情報の例を以下に示す。当然ながら、タイプの表記及び／又は番号付けは、例示的なものにすぎず、本開示を限定するものとみなすことはできない。

【0090】

コードブックタイプ１：テンソル成分の整数値は必ず同じである。
これは、バイアステンソルにおいて時々起こる稀なケースである（例えば、ＭＰＥＧ－ＮＮＲにおいて研究された画像分類ニューラルネットワーク「ＲｅｓＮｅｔ５０」のいくつかの畳み込み層に見られるように）。
コードブック情報：［１、ｉｎｔＶａｌ］
ここで、ｉｎｔＶａｌとは、テンソルの全ての成分に対する整数値である。

【0091】

コードブックタイプ２：テンソル成分の浮動小数点値は必ずほぼ同じである。
これは、テンソルの一様量子化が行われた場合、結果として得られる全ての整数値が同じになることを意味する。
これは、バイアステンソル（例えば、「ＲｅｓＮｅｔ５０」）において時々起こる稀なケースである。
コードブック情報：［２、ｒａｎｇｅＩｎｔ、ｓｙｍＣｏｕｎｔ、ｏｆｆｓｅｔ］
テンソルの成分に使用される浮動小数点値ｆｌｏａｔＶａｌは、以下のように計算することができる。
ｓｔｅｐ＝ｆｌｏａｔ（ｒａｎｇｅＩｎｔ）／（ｓｙｍＣｏｕｎｔ－１）
ｆｌｏａｔＶａｌ＝ｏｆｆｓｅｔ^＊ｓｔｅｐ
「ｓｙｍＣｏｕｎｔ」は、量子化アルゴリズム（ｍａｘＭＳＥに基づく二分探索）によって取得される量子化の際のシンボルカウントである。「ｒａｎｇｅＩｎｔ」及び「ｏｆｆｓｅｔ」の値は、例えば算術関数ｃｅｉｌ及びｆｌｏｏｒを使用して、元のテンソルから以下のように計算される。
ｒａｎｇｅＩｎｔ＝ｃｅｉｌ（ｍａｘ（ｔｅｎｓｏｒ）－ｆｌｏｏｒ（ｍｉｎ（ｔｅｎｓｏｒ））
ｓｔｅｐ＝ｆｌｏａｔ（ｒａｎｇｅＩｎｔ）／（ｓｙｍＣｏｕｎｔ－１）
ｏｆｆｓｅｔ＝ｒｏｕｎｄ（ｍｉｎ（ｔｅｎｓｏｒ）／ｓｔｅｐ

【0092】

Ｃｏｄｅｂｏｏｋ Ｔｙｐｅ３：テンソルの一様量子化。
Ｃｏｄｅｂｏｏｋ Ｉｎｆｏ：［３、ｒａｎｇｅＩｎｔｒａｎｇｅｌｎｔ、ｓｙｍＣｏｕｎｔ、ｏｆｆｓｅｔ］
量子化されたテンソルにおける各整数成分「ｑ」に対して、再構築されたテンソルにおける対応する浮動小数点成分「ｒ」は、以下のように計算することができる。
ｓｔｅｐ＝ｆｌｏａｔ（ｒａｎｇｅＩｎｔ）／（ｓｙｍＣｏｕｎｔ－１）
ｒ＝（ｑ＋ｏｆｆｓｅｔ）^＊ｓｔｅｐ
ここで、ｒａｎｇｅＩｎｔ、ｓｙｍＣｏｕｎｔ、ｏｆｆｓｅｔは、上と同様の意味を有する。

【0093】

Ｃｏｄｅｂｏｏｋ Ｔｙｐｅ０：コードブック量子化。
Ｃｏｄｅｂｏｏｋ Ｉｎｆｏ：［０、ｃｂＲａｎｇｅＩｎｔ、ｃｂＳｙｍＣｏｕｎｔ、ｃｂＯｆｆｓｅｔ、ｃｂＩｎｔ_０、ｃｂＩｎｔ_１、．．．、ｃｂＩｎｔ_Ｎ－１］
この場合、配列「Ｃｏｄｅｂｏｏｋ ｉｎｆｏ」のｃｂＩｎｔ_０～ｃｂＩｎｔ_Ｎ－１の成分は、整数値に量子化されたコードブックのＮ個の成分である。まず、例えばデコーダ側で、浮動小数点コードブックを再構築し、それによりそれを使用してテンソル成分を再構築する（すなわち、ルックアップする）。ｒｃｂＦｌｏａｔ_ｉが、コードブック情報において整数ｃｂＩｎｔ_ｉに対応する浮動小数点の再構築されたコードブック成分であると仮定すると、コードブックを以下のように再構築することができる。
ｃｂＳｔｅｐ＝ｆｌｏａｔ（ｃｂＲａｎｇｅｌｎｔ）／（ｃｂＳｙｍＣｏｕｎｔ－１）
ｒｃｂＦｌｏａｔ_ｉ＝（ｃｂＩｎｔ_ｉ＋Ｏｆｆｓｅｔ）^＊ｃｂＳｔｅｐ
ｒｅｃＣｏｄｅｂｏｏｋ＝［ｒｃｂＦｌａｔ_０、ｒｃｂＦｌｏａｔ_１、．．．、ｒｃｂＦｌｏａｔ_Ｎ－１］
ここで、ｒｅｃＣｏｄｅｂｏｏｋは、コードブック情報から再構築されたコードブックを表す。
量子化されたテンソルにおける（すなわち、「指数」における）各整数成分「ｑ」に対して、再構築されたテンソルにおける対応する浮動小数点成分「ｒ」は、以下の通りである。
ｒ＝ｒｅｃＣｏｄｅｂｏｏｋ［ｑ］
符号化側では、Ｋ平均法量子化後の元のコードブックは以下の通りである。
ｆｌｏａｔＣｏｄｅｂｏｏｋ＝［ｃｂＦｌｏａｔ_０、ｃｂＦｌｏａｔ_１、．．．、ｃｂＦｌｏａｔ_Ｎ－１］
「ｃｂＲａｎｇｅＩｎｔ」、「ｃｂＳｙｍＣｏｕｎｔ」、及び「ｃｂＯｆｆｓｅｔ」の値は、以下の通り、テンソルのコードブック量子化後に設定することができる。
ｃｂＲａｎｇｅＩｎｔ＝ｃｅｉｌ（ｍａｘ（ｆｌｏａｔＣｏｄｅｂｏｏｋ））－ｆｌｏｏｒ（ｍｉｎ（ｆｌｏａｔＣｏｄｅｂｏｏｋ））
ｃｂＳｙｍＣｏｕｎｔ＝ｍａｘ（ＭｉｎＣｂＳｙｍＣｏｕｎｔ，ｓｙｍＣｏｕｎｔ^２）
ｃｂＳｔｅｐ＝ｆｌｏａｔ（ｃｂＲａｎｇｅＩｎｔ）／（ｃｂＳｙｍＣｏｕｎｔ－１）
ｃｂＯｆｆｓｅｔ＝ｒｏｕｎｄ（ｍｉｎ（ｆｌｏａｔＣｏｄｅｂｏｏｋ）／ｓｔｅｐ）
ｃｂＩｎｔ_ｉ＝ｒｏｕｎｄ（ｃｂＦｌｏａｔ_ｉ／ｃｂＳｔｅｐ）－ｃｂＯｆｆｓｅｔ
ここで、ｃｂｌｎｔ_ｉは、元の浮動小数点コードブックｃｂＦｌｏａｔ_ｉにおける第ｉの成分に対応する量子化された整数値である。
ここで、ＭｉｎＣｂＳｙｍＣｏｕｎｔは、コードブックサイズの最大値を表し、これは、実施形態に応じてばらつくことがあり、２^２０又は２^１２（＝４０９６）に等しい。

【0094】

非限定的な例として、いくつかの実施形態は、非標準化技術に適用することができるが、いくつかの実施形態は、これ以降、より簡単にＭＰＥＧ ＮＮＲと示す、マルチメディアコンテンツ記述・分析に対するニューラルネットワーク圧縮表現に関わる、来る規格ＩＳＯ／ＭＰＥＧ７のような、ＤＮＮ圧縮／解凍に対する規格の面において使用することができる。

【0095】

本開示のいくつかの実施形態は、エンコーダとデコーダとの間でシグナリング情報を送信／受信することを含むことができる。このシグナリング情報は、例示的な、非限定的なシンタックスに結び付けて本開示において提示する。この例示的なシンタックスは、説明の便宜上、例示的なＭＰＥＧ ＮＮＲドラフト規格（Ｎ１９２２５－Ｗｏｒｋｉｎｇ Ｄｒａｆｔ４ ｏｆ Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ｃｏｎｔｅｎｔ ｄｅｓｃｒｉｐｔｉｏｎ ａｎｄ ａｎａｌｙｓｉｓ＞＞。国際標準化機構ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１、４月、２０２０において使用されるシンタックスに基づき、この例示的なＭＰＥＧ ＮＲＲシンタックスとの違いがシンタックス表に下線が引いてある。

【0096】

以下のシンタックスは、本開示を限定しない単なる例示的なシンタックスである。例えば、シンタックス要素に使用されるビット数は、例示的な実施形態である。理解を容易にするために、例示的なシンタックスでは、本開示の実施形態による以下の識別子及び節には、ＭＰＥＧ－ＮＮＲの現在の例示的なワーキングドラフトとの整合が保たれているセクション及び表の番号が付いている。

【0097】

本明細書で詳しく述べる例示的なシンタックスによれば、ビットストリームを１つのテンソルを表す単位に分けることができる。各単位のヘッダ、すなわち、ｎｎｒ＿ｃｏｍｐｒｅｓｓｅｄ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒに含まれるパラメータ。

【0098】

以下に示されるように、ｆｌｏａｔ３２値として保存されるｃｏｄｅｂｏｏｋ＿ｓｉｚｅコードブック成分のパーシングを指定するＭＰＥＧ ＮＲＲ草案規格の現在のバージョンに結び付けて例示的なシンタックスが詳述される。

【0099】

【表1】

【0100】

本開示の少なくともいくつかの実施形態によれば、上で導入された例示的なシンタックスを使用して、本原理により提案したコードブック機構（又はフォーマット）に対応するように適合されるように、ｎｎｒ＿ｃｏｍｐｒｅｓｓｅｄ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ（）｛の定義を改めることを提案する。新しい部分に下線を引いてある。

【0101】

【表2】

【0102】

【表3】

【0103】

上の例示的なシンタックスでは、このテーブルにおける全ての符号付き整数値及び符号なし整数値は、可変バイト数を使用する。いくつかの例示的な実装形態では、以下で定義される関数を使用して、これらの整数値をバイトストリームに直列化／バイトストリームから非直列化する。直列化／非直列化にこれ以外の可変長方法を使用することができる実施形態もある。

【0104】

これらの整数値をバイトストリームに／から直列化／非直列化する際の例示的な関数
以下の関数を使用して、符号付き整数／符号なし整数をバイトストリームに直列化することができる。バイトストリームに使用されるバイト数は、整数値によって決めることができる。

【0105】

【表4】

以下の関数は、ビットストリームを復号するときにバイトストリームから符号付き整数／符号なし整数を非直列化する。

【0106】

【表5】

【0107】

図８には、ある実施形態によるＤＮＮを符号化するための方法８００の一例を示す。８１０において、ＤＮＮ層のテンソルのパラメータが、コードブックを使用して量子化され、ビットストリームにおいて符号化される。

【0108】

パラメータを量子化する際、上で規定したタイプを有するコードブックが使用される。上に記載されるように、８２０において、使用されるコードブックタイプをデコーダにシグナリングするために、テンソルパラメータを量子化するのに使用されるコードブックのタイプを表す情報がビットストリームにおいて符号化される。

【0109】

図９には、ある実施形態によるＤＮＮを復号するための方法９００の一例を示す。９１０において、コードブックのタイプを表す情報が、ＤＮＮの層の少なくとも１つのテンソルを表すデータを含む入力ビットストリームから復号される。９２０において、上に記載されるように、テンソルのパラメータがビットストリームから復号され、復号済み情報によって示されるタイプのコードブックを使用して逆量子化される。

【0110】

それぞれ、図８及び図９との関係で説明した符号化方法８００、復号方法」９００の実施形態は、図４との関係で説明したＤＮＮを符号化するための方法、図５との関係で説明したＤＮＮを復号するための方法において実施することができる。

【0111】

いくつかの実施形態では、上で説明される、かつ図６、図７、及び図８との関係で説明される態様を組み合わせることができる。

【0112】

図１０には、ある実施形態に従って生成されるディープニューラルネットワークの少なくとも１つの層のテンソルを表すデータを含むビットストリームＳＴＲ＿１００の一部の一例を示す。ビットストリームは、例えば、上記の実施形態のいずれか１つに従って生成される。図１０に示す部分は、テンソル（ＳＴＲ＿１０１）を表すデータと、テンソルのパラメータを量子化するのに使用されるコードブックのタイプを表す情報（ＳＴＲ＿１０２）と、を含む。

【0113】

更なる実施形態及び情報
本出願では、ツール、特徴、実施形態、モデル、手法などを含む様々な態様を説明している。これらの態様のうちの多くを具体的に説明し、少なくとも個々の特性を示すために、しばしば、限定的に聞こえるように説明している。しかしながら、これは、説明を明確にするためであり、それらの態様の適用又は範囲を限定するものではない。実際に、異なる態様の全ては、更なる態様を提供するために、組み合わせ、かつ相互交換することができる。また、これらの態様は、以前の出願において説明されている態様と組み合わせ、かつ相互交換することもできる。

【0114】

本出願において説明し、その可能性が受け入れられる態様は、多くの異なる形態で実装することができる。以下の図１、図２、及び図３は、いくつかの実施形態を提供するが、それ以外の実施形態もその可能性が受け入れられ、図１、図２、及び図３の考察は、実装形態の広がりを限定するものではない。態様のうちの少なくとも１つは、概して、符号化及び復号（例えば、ビデオ符号化及びビデオ復号、並びに／又はＤＮＮの少なくともいくつかの層の少なくともいくつかのパラメータの符号化及び復号）に関し、少なくとも１つのそれ以外の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これらなどの態様は、方法、装置、また説明した方法のいずれかに従って、データを符号化又は復号するよう求める命令をそれ自体に格納するコンピュータ可読記憶媒体、及び／又は説明した方法のいずれかに従って生成されるビットストリームを格納している、コンピュータ可読記憶媒体、として実装することができる。

【0115】

本出願では、「再構築された」及び「復号された」という用語は、言い換え可能に使用することができ、「画素」と「サンプル」という用語も、同義的に使用することができ、「画像」、「ピクチャ」、「フレーム」という用語も、言い換え可能に使用することができる。通常、必ずしもそうではないが、「再構築された」という用語は、エンコーダ側で使用され、一方「復号された」という用語はデコーダ側で使用される。

【0116】

本出願に記載の様々な方法などの態様を使用して、図１及び図２に示すようなエンコーダ１００及びデコーダ２００のモジュール、例えば、イントラ予測モジュール、エントロピコーディングモジュール、及び／又は復号モジュール（１６０、２６０、１４５、２３０）を修正することができる。また、本開示の態様は、ＶＶＣ又はＨＥＶＣに限定されるものではなく、例えば、既存のもの、又は将来開発されるものにかかわらず、他の規格及び勧告、また任意のこのような規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張にも適用することができる。

【0117】

また、本態様は、ＶＶＣ若しくはＨＥＶＣに、又はビデオデータにさえも限定されるものではなく、ビデオ以外の多くの技術分野において使用され得るニューラルネットワークの少なくとも１つの層の少なくとも１つのテンソルを、それぞれ、符号化するか、復号するように適合されたエンコーダ又はデコーダに適用され得る（当然ながら、このような実施形態では、イントラ予測モジュール１６０のようないくつかのモジュールは、任意選択的であり得る）。

【0118】

特に断りのない限り、又は技術上除外されない限り、本出願に記載の態様は、個別でも組み合わせてでも使用することができる。

【0119】

本出願では、様々な数値が使用される（例えば、ｐｄｆ係数範囲、又はｐｄｆ係数を変更する際の刻み、又はいくつかのコンピューティングに使用される最大コードブックサイズ）。具体的な値は、例を挙げるためであり、記載される態様は、これらの具体的な値に限定されるものではない。

【0120】

図１は、エンコーダ１００を示す。このエンコーダ１００の変形形態が企図されるが、エンコーダ１００は、明瞭にする目的で、必ずしも予想される全ての変形形態を説明せずに、以下で説明される。

【0121】

符号化される前に、シーケンスが、符号化前処理（１０１）、例えばビデオ変換の場合にはカラー変換を入力カラーピクチャに適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを行う（例えば、カラー成分のうちの１つのヒストグラム等化を使用して）ことを経ることがある。また、前符号化処理は、ＣＡＢＡＣに結び付けて上で詳しく述べた例示的な二値化として二値化を含むことができる。

【0122】

メタデータを前処理に関連付け、ビットストリームに付加することができる。

【0123】

エンコーダ１００では、以下に記載されるように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、ＣＵという単位に分けられ（１０２）、処理される。各単位は、例えば、イントラモードを使用してでもインターモードを使用してでも符号化される。単位がイントラモードで符号化される場合、それは、イントラ予測（１６０）を行う。インターモードでは、動き推定（１７５）及び動き補償（１７０）が行われる。エンコーダは、単位を符号化するのにイントラモード又はインターモードのうちのどちらを使用すべきかを決め（１０５）、例えば予測モードフラグによってイントラ／インター決定を示す。例えば、元の画像ブロックから予測ブロックを減算することによって、予測残差が計算される（１１０）。

【0124】

それにより、その予測残差が変換され（１２５）、量子化される（１３０）。

【0125】

量子化された変換係数とともに動きベクトルなどのシンタックス要素をエントロピコーディングして、ビットストリームを出力する（１４５）。

【0126】

エンコーダでは、変換を飛ばし、量子化を非変換残差信号に直に適用することができる。エンコーダでは、変換も量子化も無視することができ、すなわち、残差は、変換プロセスも量子化プロセスも適用せずとも直にコーディングされる。

【0127】

エンコーダでは、符号化済みブロックを復号して、更なる予測に基準を提供する。量子化された変換係数を逆量子化し（１４０）、逆変換し（１５０）、予測残差を復号する。例えば、ビデオシーケンスの場合、復号済み予測残差と予測ブロックとを組み合わせること（１５５）により、画像ブロックが再構築される。例えば、非ブロック化／ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）（サンプル適応オフセット）フィルタリングを行って、符号化アーチファクトを低減するために、再構築されたピクチャにループ内フィルタ（１６５）を適用する。フィルタリングされた画像は、基準ピクチャバッファ（１８０）に格納される。

【0128】

図２には、デコーダ２００のブロック図を示す。デコーダ２００では、以下に記載されるように、ビットストリームが、デコーダ要素によって復号される。デコーダ２００では、図１に記載されるように、通常、符号化パスとはほとんど逆の復号パスを行う。エンコーダ１００もまた、通常、データを符号化する一環として復号を行う。

【0129】

具体的には、デコーダ２００の入力は、ビットストリームを含み、これは、エンコーダ１００によって生成され得る。ビットストリームは、まず、変換係数、動きベクトルなどのコード化情報を取得するようにエントロピ復号される（２３０）。

【0130】

ビデオビットストリームの場合、ピクチャ分割情報が、ピクチャがどのように分割されるかを示す。それにより、デコーダは、復号済みピクチャ分割情報に従ってピクチャを分けることができる（２３５）。予測残差を復号するのに、変換係数が逆量子化され（２４０）、逆変換される（２５０）。復号済み予測残差と予測ブロックとを組み合わせて（２５５）、画像ブロックを再構築する。イントラ予測（２６０）又は動き補償予測（すなわち、インター予測）（２７５）から予測ブロックを取得することができる（２７０）。ループ内フィルタ（２６５）が、再構築された画像に適用される。フィルタリングされた画像は、基準ピクチャバッファ（２８０）に格納される。

【0131】

復号済み要素（ピクチャ又は層パラメータのような）は、復号後処理（２８５）、例えば、復号済み画像の場合、逆カラー変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）、又は符号化前処理（１０１）において行われた再マッピングプロセスの逆を行う逆再マッピングを更に経ることがある。復号後処理では、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。

【0132】

図３には、様々な態様及び実施形態が実装されているシステムの一例のブロック図を示す。システム１０００は、以下に記載の様々な構成要素を含むデバイスとして具体化することができ、本明細書に記載の態様のうちの１つ以上を行うように構成されている。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが含まれるが、これらに限定されない。システム１０００の要素は、単独で又は組み合わせて、１つの集積回路（Integrated Circuit、ＩＣ）、複数のＩＣ、及び／又は別個の構成要素において具体化することができる。例えば、少なくとも１つの実施形態では、システム１０００の処理要素及びエンコーダ要素／デコーダ要素は、複数のＩＣ及び／又は個別の構成要素にわたって分散される。様々な実施形態では、システム１０００は、例えば、通信バスを介して又は専用の入力ポート及び／若しくは出力ポートを通して、１つ以上のそれ以外のシステム又はそれ以外の電子デバイスに通信可能につなげられている。様々な実施形態では、システム１０００は、本明細書に記載の態様のうちの１つ以上を実装するように構成されている。

【0133】

システム１０００は、例えば、本明細書に記載の様々な態様を実装するように、それに読み込まれた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、当該技術分野において既知である、埋め込みメモリ、入出力インターフェース、及び様々なそれ以外の回路を含むことができる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性記憶デバイス及び／又は不揮発性記憶デバイス）を含む。システム１０００は、記憶デバイス１０４０を含み、これには、不揮発性メモリ及び／又は揮発性メモリを含むことができ、これらのメモリとしては、電気的消去可能プログラマブル読み取り専用メモリ（Electrically Erasable Programmable Read-Only Memory、ＥＥＰＲＯＭ）読み取り専用メモリ（Read Only Memory、ＲＯＭ）、プログラマブル読み取り専用メモリ（Programmable Read-Only Memory、ＰＲＯＭ）、ランダムアクセスメモリ（Random Access Memory、ＲＡＭ）、ダイナミックランダムアクセスメモリ（Dynamic Random-Access Memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブが含まれるが、これらに限定されない記憶デバイス１０４０は、非限定的な例として、内部記憶デバイス、取り付け式記憶デバイス（取り外し可能記憶デバイス及び取り外し不可能記憶デバイスを含む）、並びに／又はネットワークアクセス可能記憶デバイスを含むことができる。

【0134】

システム１０００は、例えば、符号化済みデータストリーム又は復号済みデータストリーム（少なくとも１つのＤＮＮの少なくとも１つの層の少なくとも１つのテンソルの少なくとも１つのパラメータを表すビデオストリーム及び／又はストリームなど）を提供するようにデータを処理するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ／デコーダモジュール１０３０は、符号化機能及び／又は復号機能を果たすデバイスに含めることができるモジュールを表す。既知のように、デバイスは、符号化モジュール及び復号モジュールのうちの一方又は両方を含むことができる。追加的に、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実装することができるか、又は当業者に既知であるように、ハードウェアとソフトウェアとの組み合わせとしてプロセッサ１０１０内に組み込むことができる。

【0135】

本明細書に記載の様々な態様を行うのにプロセッサ１０１０又はエンコーダ／デコーダ１０３０に読み込まれるプログラムコードは、記憶デバイス１０４０に格納することができ、続いて、プロセッサ１０１０による実行のためにメモリ１０２０に読み込むことができる。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０、及びエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本明細書に記載のプロセスの実施時の様々な項目のうちの１つ以上を格納することができる。このような格納される項目は、入力ビデオ、復号済みビデオ又は復号済みビデオの一部分、少なくとも１つのＤＮＮの少なくとも１つの層の少なくとも１つのテンソルの少なくとも１つのパラメータを表すデータ、ビットストリーム、行列、変数、また方程式、式、演算、及び演算論理の処理からの中間結果又は最終結果を含むことができるが、これらに限定されない。

【0136】

いくつかの実施形態では、プロセッサ１０１０及び／又はエンコーダ／デコーダモジュール１０３０の内部のメモリは、命令を記憶し、また符号化又は復号時に必要とされる処理用のワーキングメモリを提供するのに使用される。しかしながら、他の実施形態では、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０であってもエンコーダ／デコーダモジュール１０３０でもあり得る）の外部のメモリが、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ１０２０及び／又は記憶デバイス１０４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えばテレビのオペレーティングシステムを格納する。少なくとも１つの実施形態では、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ－２（ＭＰＥＧとは、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐのことであり、ＭＰＥＧ－２は、ＩＳＯ／ＩＥＣ１３８１８ともされ、１３８１８－１はＨ．２２２としても既知であり、１３８１８－２はＨ．２６２としても既知である）、ＨＥＶＣ（ＨＥＶＣとは、高効率ビデオコーディングのことであり、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２としても既知である）、又はＶＶＣ（バーサタイルビデオコーディングは、ＪＶＥＴのＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍによって進展している新しい規格）などのコーディング演算及び復号演算用のワーキングメモリとして使用される。

【0137】

ブロック１１３０に示されるように、様々な入力デバイスを通じて、システム１０００の要素への入力を与えることができる。このような入力デバイスには、（ｉ）例えば、放送事業者による放送全体にわたり送信されるＲＦ信号を受信する無線周波数（Radio Frequency、ＲＦ）部分、（ｉｉ）コンポーネント（Component、ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子セット）、（ｉｉｉ）ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）入力端子、及び／又は（ｉｖ）高解像度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力端子が含まれるが、これらに限定されない。それ以外の例には、図３には示していないが、合成ビデオが含まれる。

【0138】

様々な実施形態では、ブロック１１３０の入力デバイスは、当技術分野で既知であるような関連するそれぞれの入力処理要素を有する。例えば、（ｉ）所望の周波数を選択することと（また信号を選択するか、又は信号を周波数帯域に帯域制限する、としている）、（ｉｉ）選択された信号をダウンコンバートすること、（ｉｉｉ）再度より狭い周波数帯域に帯域制限して、特定の実施形態ではチャネルと言われることもある信号周波数帯域を選択すること（例えば）、（ｉｖ）ダウンコンバートし、帯域制限した信号を復調すること、（ｖ）誤り訂正を行うこと、また（ｖｉ）逆多重化して、所望のデータパケットストリームを選択すること、に好適な要素にＲＦ部分を関連付けることができる。様々な実施形態のＲＦ部分は、これらの機能を果たす１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調装置、誤り訂正装置、及びデマルチプレクサを含む。ＲＦ部分は、例えば、受信信号をより低い周波数（例えば、中間周波数又は近ベースバンド周波数）又はベースバンドにダウンコンバートすることを含む、様々なこれらの機能を果たすチューナを含むことができる。セットトップボックスの一実施形態では、ＲＦ部分とその関連する入力処理要素は、有線（例えば、ケーブル）媒体上で送信されるＲＦ信号を受信し、フィルタリングし、ダウンコンバートし、また所望の周波数帯域に再びフィルタリングすることによって、周波数選択を行う。様々な実施形態では、上記の（及びそれ以外の）要素の順序を並べ替え、これらの要素のうちのいくつかを取り除き、かつ／又は、同様の機能若しくは異なる機能を果たす他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含むことができる。様々な実施形態において、ＲＦ部分は、アンテナを含む。

【0139】

追加的に、ＵＳＢ端子及び／又はＨＤＭＩ端子は、システム１０００をＵＳＢ接続及び／又はＨＤＭＩ接続にわたってそれ以外の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な側面、例えば、リード－ソロモン誤り訂正が、例えば、必要に応じて、別個の入力処理ＩＣ内で実施されても、又はプロセッサ１０１０内で実施され得るということを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の側面が、必要に応じて、別個のインターフェースＩＣ内で実施されても、又はプロセッサ１０１０内で実施され得る。例えば、メモリ及びストレージ要素との組み合わせで働くプロセッサ１０１０、及びエンコーダ／デコーダ１０３０を含む様々な処理要素に、復調され、誤り訂正され、逆多重化されたストリームを提供して、出力デバイス上の提示するように必要に応じてこのデータストリームを処理する。

【0140】

システム１０００の様々な要素を統合ハウジング内に設けることができ、統合ハウジング内では、様々な要素は、好適な接続装置１１４０、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む、当該技術分野で既知であるような内部バスを使用して相互接続され、互いの間でデータを送信することができる。

【0141】

システム１０００は、通信チャネル１０６０を介してそれ以外のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０上でデータを送信し、またデータを受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース１０５０は、モデム又はネットワークカードを含むことはできるが、これらに限定されず、通信チャネル１０６０は、例えば、有線媒体及び／又は無線媒体内に実装され得る。

【0142】

データは、様々な実施形態では、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥとは、米国電気電子技術者協会のことである）などの無線ネットワークを使用して、システム１０００にストリーミングされるか、又は別の方法で提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル１０６０及び通信インターフェース１０５０上で受信される。これらの実施形態の通信チャネル１０６０は、通常、ストリーミングアプリケーションなどのオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック１１３０のＨＤＭＩ接続上でデータを配信するセットトップボックスを使用して、システム１０００にストリーミングデータを提供する。また他の実施形態では、入力ブロック１１３０のＲＦ接続を使用して、システム１０００にストリーミングデータを提供する。上で示されるように、様々な実施形態では、データを非ストリーミング様態で提供する。追加的に、様々な実施形態では、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。

【0143】

システム１０００は、ディスプレイ１１００、スピーカ１１１０、及びそれ以外の周辺デバイス１１２０を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（Organic Light-Emitting Diode、ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、携帯電話（移動電話）、又は別のデバイス用とすることができる。ディスプレイ１１００はまた、他の構成要素と一体化され得るか（例えば、スマートフォンに見られるように）、又は別個のものであり得る（例えば、ラップトップ用の外部モニタ）。他の周辺デバイス１１２０は、実施形態の様々な例において、スタンドアロンデジタルビデオディスク（又はデジタル多用途ディスク）（両方の用語の略称として、ＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上を含む。様々な実施形態では、システム１０００の出力に基づいて機能を提供する１つ以上の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を果たす。

【0144】

様々な実施形態において、制御信号が、ＡＶなどのシグナリングを使用して、システム１０００と、ディスプレイ１１００、スピーカ１１１０、又は他の周辺デバイス１１２０との間で通信される。ユーザの介入の有無に関わらずデバイス間制御を可能にする、（Consumer Electronics Control、ＣＥＣ）などの通信プロトコルを結び付ける。出力デバイスは、それぞれのインターフェース１０７０、１０８０、及び１０９０を通した専用接続を介してシステム１０００に通信可能につなげられ得る。代替的に、出力デバイスは、通信インターフェース１０５０を介して、通信チャネル１０６０を使用してシステム１０００に接続され得る。ディスプレイ１１００及びスピーカ１１１０は、例えば、テレビなどの電子デバイスにおいてシステム１０００のそれ以外の構成要素と１つのユニットに一体化され得る。様々な実施形態において、ディスプレイインターフェース１０７０は、例えば、タイミングコントローラ（Timing Controller、Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。

【0145】

例えば、入力１１３０のＲＦ部分が別個のセットトップボックスの一部である場合、代替として、ディスプレイ１１００及びスピーカ１１１０は、それ以外の構成要素のうちの１つ以上とは別個とすることができる。ディスプレイ１１００及びスピーカ１１１０が外部構成要素である様々な実施形態では、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して出力信号を提供することができる。

【0146】

プロセッサ１０１０によって実装されるコンピュータソフトウェアによって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実施形態を実装することができる。非限定的な例として、１つ以上の集積回路によって実施形態を実装することができる。メモリ１０２０は、技術環境に相応しい任意のタイプのものであり得、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリブ－バブルメモリなどの任意の適切なデータ記憶技術を使用して実装することができる。プロセッサ１０１０は、技術環境に相応しい任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサ、のうちの１つ以上を包含することができる。

【0147】

様々な実装形態では、復号することを伴う。本出願で使用する際、「復号」は、例えば、ディスプレイに好適な最終出力を生成するために、受信した符号化済みシーケンス上で実行される、プロセスの全て又は一部に包含することができる。様々な実施形態において、このようなプロセスは、例えば、エントロピ復号、逆量子化、逆変換、及び差動復号など、通常、デコーダによって行われるプロセスのうちの１つ以上を含む。様々な実施形態において、このようなプロセスはまた、又は代替として、本出願に記載の様々な実装形態のデコーダによって行われるプロセスも含む。

【0148】

更なる例として、ある実施形態では、「復号」は、エントロピ復号のみのことであり、別の実施形態では、「復号」は差動復号のみのことであり、また別の実施形態では、「復号」は、エントロピ復号と差動復号との組み合わせのことである。「復号プロセス」という句が、具体的に演算部分集合のことを言うこと目的とするものであるか、又は全体としてより広範な復号プロセスのことを言うことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。

【0149】

様々な実装形態では、符号化することを伴う。「復号」に関する上記の考察と同様に、本出願で使用する際の「符号化」は、例えば、符号化済みビットストリームを生成するために入力ビデオシーケンスに対して実行される、プロセスの全て又は一部に包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、通常、エンコーダによって行われるプロセスのうちの１つ以上を含む。様々な実施形態において、このようなプロセスにはまた、又は代替的に、本出願に記載の様々な実装形態のエンコーダによって行われるプロセスを含む。

【0150】

更なる例として、ある実施形態では、「符号化」は、エントロピ符号化のみのことであり、別の実施形態では、「符号化」は差動符号化のみのことであり、また別の実施形態では、「符号化」は、差動符号化とエントロピ符号化の組み合わせのことである。「符号化プロセス」という句が、具体的に作業部分集合のことを言うこと目的とするものであるか、又は全体としてより広範な符号化プロセスのことを言うことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者にはよく分かると考えられる。

【0151】

本明細書で使用する際のシンタックス要素が、説明上の用語であることに留意されたい。したがって、シンタックス要素は、それ以外のインタックス要素名の使用を締め出すものではない。

【0152】

図が流れ図として提示されている場合、その図が対応する装置のブロック図も提供する、ということを理解すべきである。同様に、図がブロック図として提示されている場合、その図が対応する方法／プロセスの流れ図も提供する、ということを理解すべきである。

【0153】

様々な実施形態では、パラメトリックモデル又はレート歪み最適化に言及する。具体的には、符号化プロセス中、レートと歪みとの間のバランス又はトレードオフは、通常、多くの場合、計算複雑性の制約が与えられるものと考えられる。レート歪み最適化（Rate Distortion Optimization、ＲＤＯ）メトリックを通して、或いは最小二乗平均（Least Mean Square、ＬＭＳ）、絶対誤差平均（Mean of Absolute Errors、ＭＡＥ）などのそのような測定を通して、これを測定することができる。レート歪み最適化は、通常、レートと歪みとの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くための異なる手法がある。例えば、これらの手法は、全ての考えられるモード又は符号化パラメータ値を含む全ての符号化選択肢の広範なテストに基づくことがあり、それらの符号化コストと、また符号化後及び復号後に再構築された信号の関連する歪みとの完全な評価を伴う。また、符号化複雑性を抑えるのに、特に、再構築された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算とともに、より素早い手法が使用され得る。考えられる符号化選択肢の一部のみに対して近似歪みを使用し、それ以外の符号化選択肢に対しては完全な歪みを使用することなどによって、これらの２つの手法の混合を使用することもできる。他の手法では、考えられる符号化選択肢部分集合のみを評価する。より一般的には、多くの手法では、最適化を行うのに様々な技法のいずれでも採用するが、最適化は、必ずしもコーディングコストと関連する歪みの両方の完全な評価ではない。

【0154】

本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ形態の実装形態の背景でしか考察されない場合でも（例えば、方法としてしか考察されない）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。装置は、例えば、相応しいハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサとは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスのことである。プロセッサはまた、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル／携帯情報端末（「Personal Digital Assistant、ＰＤＡ」）などのデバイスなどの通信デバイスを含む。

【0155】

「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、またそれらの他の変形形態と言うとき、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくともある実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「一実装形態では」、並びに任意の他の変形計形態という句が現れるとき、必ずしも全てが同じ実施形態のことを指しているのではない。

【0156】

追加的に、本出願では、様々な情報を「判定すること」に言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。

【0157】

また、本出願では、様々な情報に「アクセスすること」に言及し得る。情報にアクセスすることは、例えば、情報を受信すること、情報を取り出すこと（例えばメモリから）、情報を格納すること、情報を移動させること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。

【0158】

追加的に、本出願では、様々な情報を「受信する」に触れることがある。受信することは、「アクセスする」の場合と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は情報を取り出すこと（例えば、メモリから）のうちの１つ以上を含むことができる。更に、「受信する」は、通常、例えば、情報を格納する、情報を処理する、情報を送信する、情報を移動させる、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの作業時、何らかの形で関与する。

【0159】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ）」、及び「Ａ及びＢのうちの少なくとも１つ」の場合、次の「／」、「及び／又は」、及び「のうちの少なくとも１つ」のいずれかの使用が、第１のリストアップした選択肢（Ａ）のみの選択、又は第２のリストアップした選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択に言い包含することを意図しているということを理解されたい。更なる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、このような表現は、第１のリストアップした選択肢（Ａ）のみの選択、又は第２のリストアップした選択肢（Ｂ）のみの選択、又は第３のリストアップした選択肢（Ｃ）のみの選択、又は第１及び第２のリストアップした選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストアップした選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストアップした選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢（Ａ、Ｂ及びＣ）の選択に包含することを意図している。このことは、当該技術分野及び関連技術分野の当業者には明らかであるように、記載された項目の数だけ拡張され得る。

【0160】

また、本明細書で使用する際、「シグナリングする」という語は、数ある中でも、対応するデコーダに対して何かを示すということである。例えば、特定の実施形態では、エンコーダは、複数の変換、符号化モード又は符号化フラグのうちの少なくとも１つをシグナリングする。このように、ある実施形態では、同じパラメータが、エンコーダ側とデコーダ側との両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信する（明示的なシグナリング）ことができる。逆に、デコーダがすでにその特定のパラメータとともにそれ以外のパラメータもすでに有している場合、送信せずにシグナリングを使用して（暗黙的なシグナリング）、デコーダがその特定のパラメータが分かり、選択することを可能にすることができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることを理解されたい。例えば、様々な実施形態において、１つ以上のシンタックス要素、フラグなどを使用して、デコーダに情報をシグナリングする。上記は、「信号」という語の動詞形に関するものであるが、「信号」という語は、本明細書では名詞としても使用され得る。

【0161】

当業者には分かることであるが、実装形態では、例えば、格納され得る、又は送信され得る情報を運ぶようにフォーマットされた様々な信号を生み出すことができる。情報は、例えば、方法を行うよう求める命令、又は記載される実装形態のうちの１つによって生み出されたデータを含むことができる。例えば、記載される実施形態のビットストリームを運ぶように、信号をフォーマットすることができる。このような信号を、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化済みデータストリームで搬送波を変調することと、を含むことができる。信号が運ぶ情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、信号は、様々な異なる有線リンク又は無線リンク上で送信することができる。信号は、プロセッサ可読媒体に信格納することができる。

【0162】

いくつかの実施形態を記載する。これらの実施形態の特徴は、様々な特許請求の範疇及びタイプにわたって、単独又は任意の組み合わせにおいて提供することができる。また、実施形態は、様々な特許請求の範疇及びタイプにわたって、以下の特徴、デバイス、又は態様のうちの１つ以上を、単独、又は任意の組み合わせで含むことができる。
・事前訓練済みディープニューラルネットワークのディープニューラルネットワーク圧縮を用いて符号化及び復号を行うプロセス又はデバイス。
・事前訓練済みディープニューラルネットワークの少なくとも１つの層の符号化及び復号を行って、ディープニューラルネットワーク圧縮を実施するプロセス又はデバイス。
・パラメータを表すビットストリームに挿入された情報を用いて符号化及び復号を行って、１つ以上の層を備える事前訓練済みディープニューラルネットワークのディープニューラルネットワーク圧縮を実施するプロセス又はデバイス。
・パラメータを表すビットストリームに挿入された情報を用いて符号化及び復号を行って、ディープニューラルネットワークのディープニューラルネットワーク圧縮を実施するプロセス又はデバイス。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号。
・記載される実施形態のうちのいずれかに従って生成される情報を運ぶシンタックスを含むビットストリーム又は信号。
・記載される実施形態のいずれかにより、作り出しかつ／又は送信しかつ／又は受信しかつ／又は復号する。
・記載される実施形態のいずれかによる、方法、プロセス、装置、命令を格納する媒体、データを記憶する媒体、又は信号。
・エンコーダによって使用される方法に対応する様態で、デコーダが符号化モードを判定することを可能にするシンタックス要素をシグナリングに挿入する。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を作り出しかつ／又は送信しかつ／又受信しかつ／又は復号する。
・記載される実施形態のいずれかによる、変換方法を行う、テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイス。
・記載される実施形態のいずれかにより、変換方法判定を下し、結果としてもたらされた画像を表示する（例えば、モニタ、スクリーン、などのタイプのディスプレイを使用して）表示する、テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイス。
・符号化済み画像を含む信号を受信するように、チャネルを選択し、帯域制限し、又はチューニングし（例えば、チューナを使用して）、記載される実施形態のいずれかにより変換方法を行う、テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化済み画像を含む信号を放送全体にわたって受信し、変換方法を行う、ＴＶ、セットトップボックス、携帯電話、タブレット、又はそれ以外の電子デバイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2023-02-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

方法であって、
ディープニューラルネットワークの少なくとも１つの層に関連付けられるテンソルのパラメータを量子化するためのコードブックサイズを含むコードブックを取得することであって、前記コードブックサイズが、前記テンソルと量子化されたバージョンの前記テンソルとの間で判定された歪み値に従って取得される、取得することと、
前記パラメータを少なくとも判定されたサイズで表すように、前記取得されたコードブックを使用して前記テンソルの前記パラメータを量子化することと、を含む、方法。

【請求項2】

送信対象のビットストリーム中の前記量子化されたパラメータを符号化することと、
前記ビットストリーム中の前記符号化済みパラメータをデコーダに送信することと、を更に含む、請求項１に記載の方法。

【請求項3】

コードブックサイズ範囲全体にわたる二分探索から前記コードブックサイズを取得することを更に含む、請求項１に記載の方法。

【請求項4】

第１のｐｄｆ係数に従って境界されるｐｄｆに基づく初期化に基づいて量子化することと、
候補境界ｐｄｆ係数から選択することであって、前記候補境界ｐｄｆ係数が候補量子化されたパラメータから取得されたエントロピに基づく、選択することと、を更に含む、請求項１に記載の方法。

【請求項5】

前記コードブックに対応するコードブックタイプを表す情報を符号化することを更に含む、請求項１に記載の方法。

【請求項6】

１つ以上のプロセッサを備える装置であって、前記１つ以上のプロセッサが、
ディープニューラルネットワークの少なくとも１つの層に関連付けられるテンソルのパラメータを量子化するためのコードブックサイズを含むコードブックを取得することであって、前記コードブックサイズが、前記テンソルと量子化されたバージョンの前記テンソルとの間で判定された歪み値に従って取得される、取得することと、
前記パラメータを少なくとも判定されたサイズで表すように、前記取得されたコードブックを使用して前記テンソルの前記パラメータを量子化することと、を行うように構成されている、装置。

【請求項7】

前記１つ以上のプロセッサが、
送信対象のビットストリーム中の前記量子化されたパラメータを符号化することと、
前記ビットストリーム中の前記符号化済みパラメータをデコーダに送信することと、を行うように更に構成されている、請求項６に記載の装置。

【請求項8】

前記１つ以上のプロセッサが、コードブックサイズ範囲全体にわたる二分探索から前記コードブックサイズを取得するように更に構成されている、請求項６に記載の装置。

【請求項9】

前記１つ以上のプロセッサが、
第１のｐｄｆ係数に従って境界されるｐｄｆに基づく初期化に基づいて量子化することと、
候補境界ｐｄｆ係数から、候補量子化されたパラメータから取得されたエントロピに基づいて、前記候補バウンディングｐｄｆ係数を選択することと、を行うように更に構成されている、請求項６に記載の装置。

【請求項10】

前記１つ以上のプロセッサが、前記コードブックに対応するコードブックタイプを表す情報を符号化するように更に構成されている、請求項６に記載の装置。

【請求項11】

符号化済みビットストリームを受信することであって、前記符号化済みビットストリームが、ディープニューラルネットワークの少なくとも１つの層に関連付けられるテンソルの量子化されたパラメータを含み、前記符号化済みビットストリームが、前記テンソルと量子化されたバージョンの前記テンソルとの間で判定された歪み値に従って取得されたコードブックサイズを含むコードブックを含む、受信することと、
前記ビットストリームから、前記コードブックを復号することと、
前記コードブックを使用して前記テンソルの前記パラメータの逆量子化を行うことと、を含む、方法。

【請求項12】

入力ビンを解析して、量子化されたパラメータを引き出すことと、
前記量子化されたパラメータを逆量子化して最終パラメータ値を導出することと、
前記最終パラメータ値を逆変換することと、を更に含む、請求項１１に記載の方法。

【請求項13】

第１のｐｄｆ係数に従って境界されるｐｄｆに基づく初期化に基づいて逆量子化することを更に含む、請求項１１に記載の方法。

【請求項14】

１つ以上のプロセッサを備える装置であって、前記１つ以上のプロセッサが、
符号化済みビットストリームを受信することであって、前記符号化済みビットストリームが、ディープニューラルネットワークの少なくとも１つの層に関連付けられるテンソルの量子化されたパラメータを含み、前記符号化済みビットストリームが、前記テンソルと量子化されたバージョンの前記テンソルとの間で判定された歪み値に従って取得されたコードブックサイズを含むコードブックを含む、受信することと、
前記ビットストリームから、前記コードブックを復号することと、
前記コードブックを使用して、前記テンソルの前記パラメータの逆量子化を行うことと、を行うように構成されている、装置。

【請求項15】

前記１つ以上のプロセッサが、入力ビンを解析して、量子化されたパラメータを引き出すことと、前記量子化されたパラメータを逆量子化して最終パラメータ値を導出することと、前記最終パラメータを逆変換することと、を行うように更に構成されている、請求項１４に記載の装置。

【国際調査報告】