特許 7568349 置換ニューラル残差圧縮の方法、装置およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】置換ニューラル残差圧縮の方法、装置およびコンピュータプログラム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20241008BHJP

   H04N 19/157 20140101ALI20241008BHJP

   H04N 19/176 20140101ALI20241008BHJP

【ＦＩ】

H04N19/105

H04N19/157

H04N19/176

【請求項の数】 9

(21)【出願番号】P 2022530862

(86)(22)【出願日】2021-05-27

(65)【公表番号】

(43)【公表日】2023-03-10

(86)【国際出願番号】 US2021034472

(87)【国際公開番号】W WO2022015422

(87)【国際公開日】2022-01-20

【審査請求日】2022-06-28

(31)【優先権主張番号】63/052,242

(32)【優先日】2020-07-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/236,108

(32)【優先日】2021-04-21

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジャン，ウェイ

(72)【発明者】

【氏名】ワン，ウエイ

(72)【発明者】

【氏名】リィウ，シャン

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】国際公開第２０１９／１０２８８９（ＷＯ，Ａ１）

【文献】特開平１０－１６４５９７（ＪＰ，Ａ）

【文献】米国特許第５４９１７７６（ＵＳ，Ａ）

【文献】国際公開第２０１９／０９３２３４（ＷＯ，Ａ１）

【文献】特表２００１－５１８２４７（ＪＰ，Ａ）

【文献】特表２０１７－５０８３４４（ＪＰ，Ａ）

【文献】AGUSTSSON, Eirikur et al.，Scale-Space Flow for End-to-End Optimized Video Compression，Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition 2020，米国，IEEE，2020年06月19日，pp.8500-8509，[online]，[retrieved on 2023-07-07]，Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/document/9157366>

【文献】DJELOUAH, Abdelaziz et al.，Neural Inter-Frame Compression for Video Coding，Proc. IEEE/CVF International Conference on Computer Vision 2019，KR，IEEE，2019年11月02日，pp.6420-6428，[online]，[retrieved on 2023-07-07]，Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/document/9009574>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサが実行する置換ニューラル残差圧縮方法であって、
現在の画像フレームおよび以前の再構成された画像フレームに基づいて、動きベクトルを推定するステップと、
前記推定された動きベクトルおよび前記以前の再構成された画像フレームに基づいて、予測される画像フレームを取得するステップと、
取得された前記予測される画像フレームを前記現在の画像フレームから減算することで、残差を取得するステップと、
第１ニューラルネットワークを使用して、取得された前記残差を変換することで、符号化された表現を取得するステップと、
前記符号化された表現を量子化することで、量子化された表現を取得するステップと、
前記量子化された表現を逆量子化することで、逆量子化された表現を取得するステップと、
第２ニューラルネットワークを使用して、前記逆量子化された表現を逆変換することで、復元される残差を取得するステップと、
前記取得された復元される残差を取得された前記予測される画像フレームに加算することで、再構成された画像フレームを取得するステップと、を含み、
当該方法は、 取得された前記復元される残差及び取得された前記残差に基づいて、歪み損失を決定し、
前記量子化された表現に基づいて、レート損失を決定し、
決定された前記歪み損失、決定された前記レート損失およびハイパーパラメータに基づいて、レート歪み損失の勾配を決定し、
前記決定されたレート歪み損失の勾配を減少させることによって、逆伝播により取得された前記残差を置き換えるための置換残差を更新することによって、
前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを訓練するステップをさらに含み、
前記ハイパーパラメータは、前記量子化された表現のターゲットビットレートに基づいて設定される、
ことを特徴とする方法。

【請求項2】

前記歪み損失は、前記量子化された表現のターゲットメトリックのタイプに基づいて設定された関数に基づいて決定される、
ことを特徴とする請求項１に記載の方法。

【請求項3】

動きベクトルを推定する前記ステップと、予測される画像フレームを取得する前記ステップと、残差を取得する前記ステップと、符号化された表現を取得する前記ステップと、符号化された表現を量子化する前記ステップとは、前記プロセッサにおける符号化プロセッサによって実行される、
ことを特徴とする請求項１に記載の方法。

【請求項4】

前記プロセッサにおける復号プロセッサによって、前記量子化された表現を逆量子化することで、逆量子化された表現を取得するステップと、
前記復号プロセッサによって、第２ニューラルネットワークを使用して、前記逆量子化された表現を逆変換することで、復元される残差を取得するステップと、
前記復号プロセッサによって、前記推定された動きベクトルおよび前記以前の再構成された画像フレームに基づいて、前記予測される画像フレームを取得するステップと、
前記復号プロセッサによって、取得された前記復元される残差を、取得された前記予測される画像フレームに加算することで、再構成される画像フレームを取得するステップと、をさらに含む、
ことを特徴とする請求項３に記載の方法。

【請求項5】

置換ニューラル残差圧縮装置であって、
前記装置は、
プログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードの指示に従って動作するように構成された少なくとも１つのプロセッサと、を含み、
前記プログラムコードは、
前記少なくとも１つのプロセッサに、現在の画像フレームおよび以前の再構成された画像フレームに基づいて、動きベクトルを推定させるように構成された推定コードと、
前記少なくとも１つのプロセッサに、前記推定された動きベクトルおよび前記以前の再構成された画像フレームに基づいて、予測される画像フレームを取得させるように構成された第１取得コードと、
前記少なくとも１つのプロセッサに、取得された前記予測される画像フレームを前記現在の画像フレームから減算することで、残差を取得させるように構成された減算コードと、
前記少なくとも１つのプロセッサに、第１ニューラルネットワークを使用して、取得された前記残差を変換することで、符号化された表現を取得させるように構成された符号化コードと、
前記少なくとも１つのプロセッサに、前記符号化された表現を量子化させることで、量子化された表現を取得するように構成された量子化コードと、
前記少なくとも１つのプロセッサに、前記量子化された表現を逆量子化することで、逆量子化された表現を取得させるように構成された逆量子化コードと、
前記少なくとも１つのプロセッサに、第２ニューラルネットワークを使用して、前記逆量子化された表現を逆変換することで、復元される残差を取得させるように構成された復号コードと、
前記少なくとも１つのプロセッサに、前記取得された復元される残差を、取得された前記予測される画像フレームに加算することで、再構成された画像フレームを取得させるように構成された加算コードと、を含み、
前記プログラムコードは、
取得された前記復元される残差及び取得された前記残差に基づいて、歪み損失を決定し、
前記量子化された表現に基づいて、レート損失を決定し、
決定された前記歪み損失、決定された前記レート損失およびハイパーパラメータに基づいて、レート歪み損失の勾配を決定し、
前記決定されたレート歪み損失の勾配を減少させることによって、逆伝播により取得された前記残差を置き換えるための置換残差を更新することによって、
前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを訓練する訓練コードをさらに含み、
前記ハイパーパラメータは、前記量子化された表現のターゲットビットレートに基づいて設定される、
ことを特徴とする装置。

【請求項6】

前記歪み損失は、前記量子化された表現のターゲットメトリックのタイプに基づいて設定された関数に基づいて決定される、
ことを特徴とする請求項５に記載の装置。

【請求項7】

前記推定コード、前記第１取得コード、前記減算コード、前記符号化コードおよび前記量子化コードは、前記プロセッサにおける符号化プロセッサに、機能を実行させるように構成される、
ことを特徴とする請求項５に記載の装置。

【請求項8】

前記プログラムコードは、さらに、
前記プロセッサにおける復号プロセッサに、前記量子化された表現を逆量子化することで、逆量子化された表現を取得させるように構成された逆量子化コードと、
前記復号プロセッサに、第２ニューラルネットワークを使用して、前記逆量子化された表現を逆変換することで、復元される残差を取得させるように構成された復号コードと、
前記復号プロセッサに、前記推定された動きベクトルおよび前記以前の再構成された画像フレームに基づいて、前記予測される画像フレームを取得させるように構成された第２取得コードと、
前記復号プロセッサに、取得された前記復元される残差を、取得された前記予測される画像フレームに加算することで、再構成される画像フレームを取得させるように構成された加算コードと、をさらに含む、
ことを特徴とする請求項７に記載の装置。

【請求項9】

コンピュータプログラムであって、
前記コンピュータプログラムが、前記コンピュータプログラムが記憶されているメモリと、プロセッサとを含むコンピュータデバイスによって実行されるとき、前記請求項１～４のいずれか１項に記載の方法を実現させる、
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本願は、２０２０年７月１５日に出願された米国仮特許出願第６３／０５２，２４２号、および２０２１年４月２１日に出願された米国特許出願第１７／２３６，１０８号に基づいており、またそれらの優先権を主張しており、それらの開示は、それらの全体が参照により本明細書に組み込まれる。

【0002】

本願は、ビデオコーデックに関し、特に、置換ニューラル残差圧縮のための方法、装置およびコンピュータプログラムに関する。

【背景技術】

【0003】

例えばＨ．２６４／高度なビデオコーディング（Ｈ．２６４／ＡＶＣ）、高効率ビデオコーディング（ＨＥＶＣ：Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、および多用途ビデオコーディング（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のようなビデオコーディング規格は、同様な（再帰的）ブロックベースのハイブリッド予測／変換フレームワークを共有し、このフレームワークでは、フレーム内／フレーム間予測、整数変換、およびコンテキスト適応エントロピーコーディングのような個別のコーディングツールは、全体的な効率を最適化するために集中的に設計されるものである。時空間画素近傍（Ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｐｉｘｅｌ ｎｅｉｇｈｂｏｒｈｏｏｄ）は、予測信号構築のために活用され、後続の変換、量子化およびエントロピーコーディングのために、対応する残差を取得する。

【0004】

他方で、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）の本質は、隣接する画素の受容野（ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄ）からの時空間情報を分析することによって異なるレベルの時空間的知覚（ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｓｔｉｍｕｌｉ）を抽出する、ということである。この高度な非線形性および非局所的な時空相関性を探索する能力は、圧縮の品質を大幅に向上させるために有望な機会を提供する。

【発明の概要】

【0005】

実施形態によれば、置換ニューラル残差圧縮の方法は、少なくとも一つのプロセッサによって実行され、また、現在の画像フレームおよび以前の再構成された画像フレームに基づいて、動きベクトルを推定するステップと、推定された動きベクトルおよび以前の再構成された画像フレームに基づいて、予測される画像フレームを取得するステップと、取得された予測される画像フレームを現在の画像フレームから減算することで、置換残差を取得するステップと、を含む。この方法は、さらに、第１ニューラルネットワークを使用して、取得された前記置換残差を符号化することで、符号化された表現を取得するステップと、符号化された表現を圧縮するステップと、を含む。

【0006】

実施形態によれば、置換ニューラル残差圧縮のための装置は、プログラムコードを記憶するように構成された少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードの指示に従って動作するように構成された少なくとも１つのプロセッサと、を含み、当該プログラムコードは、少なくとも１つのプロセッサに、現在の画像フレームおよび以前の再構成された画像フレームに基づいて、動きベクトルを推定させるように構成された推定コードと、少なくとも１つのプロセッサに、推定された動きベクトルおよび以前の再構成された画像フレームに基づいて、予測される画像フレームを取得させるように構成された第１取得コードと、少なくとも１つのプロセッサに、取得された予測される画像フレームを現在の画像フレームから減算することで、置換残差を取得させるように構成された減算コードと、を含む。当該プログラムコードは、さらに、少なくとも１つのプロセッサに、第１ニューラルネットワークを使用して、取得された置換残差を符号化することで、符号化された表現を取得させるように構成された符号化コードと、少なくとも１つのプロセッサに、符号化された表現を圧縮させるように構成された圧縮コードと、を含む。

【0007】

実施形態によれば、命令が記憶されている非一時的なコンピュータ読み取り可能な媒体であって、当該命令は、置換ニューラル残差圧縮のために少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサに、現在の画像フレームおよび以前の再構成された画像フレームに基づいて動きベクトルを推定するステップと、推定された動きベクトルおよび以前の再構成された画像フレームに基づいて、予測される画像フレームを取得するステップと、取得された予測される画像フレームを前記現在の画像フレームから減算することで、置換残差を取得するステップと、第１ニューラルネットワークを使用して、取得された置換残差を符号化することで、符号化された表現を取得するステップと、符号化された表現を圧縮するステップと、を実行させる。

【図面の簡単な説明】

【0008】

【図1】実施形態による、本明細書に記載の方法、装置およびシステムが実施され得る環境の図である。

【図2】図１の１つまたは複数のデバイスの例示的な構成要素のブロック図である。

【図3】実施形態による、訓練段階中の置換ニューラル残差圧縮のための訓練装置のブロック図である。

【図4】実施形態による、試験段階中の置換ニューラル残差圧縮のための試験装置のブロック図である。

【図5】実施形態による、置換ニューラル残差圧縮の方法のフローチャートである。

【図6】実施形態による、置換ニューラル残差圧縮の方法のフローチャートである。

【図7】実施形態による、置換ニューラル残差圧縮のための装置のブロック図である。

【図8】実施形態による、置換ニューラル残差圧縮のための装置のブロック図である。

【発明を実施するための形態】

【0009】

本開示は、ＤＮＮベースの残差圧縮を使用するビデオコーディングフレームワークにおける置換残差を学習することにより、入力ビデオを圧縮するための方法および装置に関する。学習された置換残差は、元の残差に対して視覚的に類似しているが、よりよく圧縮されることによって、元の残差の優れた変更である。さらに、本明細書の方法および装置は、ＤＮＮベースの残差圧縮におけるビットレートを制御する場合の柔軟性を提供する。

【0010】

ビデオ圧縮フレームワークは、以下のように説明され得る。入力ビデオｘには、画像フレーム

【0011】

【数1】

が含まれる。第１の動き推定ステップでは、画像フレームは、空間ブロック（例えば、８×８正方形）に分割され、現在の画像フレーム

【0012】

【数2】

と以前の再構成された画像フレーム

【0013】

【数3】

【0014】

【数4】

には、以前の再構成された画像フレームのセットが含まれ得る）との間の動きベクトルのセットｍ_ｔが、ブロックごとに計算される。次に、第２の動き補償ステップでは、予測される画像フレーム

【0015】

【数5】

は、動きベクトルｍ_ｔに基づいて以前の再構成された画像フレーム

【0016】

【数6】

の対応する画素をコピーすることによって取得され、また、元の画像フレームｘ_ｔと予測される画像フレーム

【0017】

【数7】

との間の残差ｒ_ｔは、

【0018】

【数8】

として取得され得る。第３のステップでは、残差ｒ_ｔは、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）のような線形変換の後に量子化される。ｒｔのＤＣＴ係数は、よりよい量子化性能を取得するために量子化される。量子化ステップは、量子化された値

【0019】

【数9】

を提供する。動きベクトルｍｔおよび量子化された値

【0020】

【数10】

の両方は、エントロピーコーディングによってビットストリームに符号化され、デコーダに送信される。

【0021】

デコーダ側では、まず、量子化された値

【0022】

【数11】

を、逆量子化係数を有する逆離散コサイン変換（ＩＤＣＴ：ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）のような逆変換によって逆量子化することで、復元される残差

【0023】

【数12】

を取得し、そして、復元される残差

【0024】

【数13】

を、予測される画像フレーム

【0025】

【数14】

に加算し直すことで、再構成される画像フレーム

【0026】

【数15】

を取得する。

【0027】

残差ｒｔを圧縮する効率は、ビデオ圧縮性能のための因子である。ＤＮＮベースの方法は、残差圧縮を支援するために使用され得る。例えば、量子化効率を向上させるために、ＤＮＮを使用して、線形変換の代わりに高度な非線形変換を学習することができる。残差は、エンドツーエンド（Ｅ２Ｅ：Ｅｎｄ－ｔｏ－Ｅｎｄ）ＤＮＮによって符号化されてもよく、ここで、量子化された表現が、明示的な変換なしで直接に学習される。

【0028】

図１は、実施形態による、本明細書に記載の方法、装置およびシステムが実施され得る環境１００の図である。

【0029】

図１に示すように、環境１００には、ユーザデバイス１１０、プラットフォーム１２０、およびネットワーク１３０を含み得る。環境１００のデバイスは、有線接続、無線接続、または有線接続と無線接続の組み合わせを介して相互接続され得る。

【0030】

ユーザデバイス１１０は、プラットフォーム１２０に関連付けられている情報を受信、生成、記憶、処理および／または提供することができる１つ以上または複数のデバイスを含む。例えば、ユーザデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブルデバイス（例えば、着用される１つのスマートグラスまたはスマートウォッチなど）、または類似なデバイスを含み得る。いくつかの実施形態では、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信、および／または、プラットフォーム１２０に情報を伝送することができる。

【0031】

プラットフォーム１２０は、本明細書の他の箇所に記載されているような１つまたは複数のデバイスを含む。いくつかの実施形態では、プラットフォーム１２０は、クラウドサーバまたはクラウドサーバのグループを含み得る。いくつかの実施形態では、プラットフォーム１２０は、モジュール式になるように設計され、これにより、ソフトウェアコンポーネントがスワップインまたはスワップアウトされ得る。これによって、プラットフォーム１２０は、異なる用途のために容易かつ迅速に再構成され得る。

【0032】

いくつかの実施形態では、図示されるように、プラットフォーム１２０は、クラウドコンピューティング環境１２２においてホスト（ｈｏｓｔｅｄ）されてもよい。特に、本明細書に記載の実施形態は、プラットフォーム１２０を、クラウドコンピューティング環境１２２においてホストされるものとして説明するが、いくつかの実施形態では、プラットフォーム１２０は、クラウドベースではなくてもよく（即ち、クラウドコンピューティング環境の外部で実現され得る）、または部分的にクラウドベースであってもよい。

【0033】

クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。クラウドコンピューティング環境１２２は、コンピューティング、ソフトウェア、データアクセス、ストレージなどのサービスを提供することができ、これらのサービスは、プラットフォーム１２０をホストするシステムおよび／またはデバイスの物理的位置および構成をエンドユーザ（例えば、ユーザデバイス１１０）が了解する必要がない。図示されるように、クラウドコンピューティング環境１２２は、一組のコンピューティングリソース（複数可）１２４（まとめて「コンピューティングリソース（ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅｓ）１２４」と呼ばれて、個別に「コンピューティングリソース（ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ）１２４」と呼ばれる）を含み得る。

【0034】

コンピューティングリソース１２４は、１つまたは複数のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、あるいは他のタイプのコンピューティングデバイスおよび／または通信デバイスを含む。いくつかの実施形態では、コンピューティングリソース１２４は、プラットフォーム１２０をホストすることができる。クラウドリソースは、コンピューティングリソース１２４において実行されるコンピューティングインスタンス、コンピューティングリソース１２４において提供される記憶デバイス、コンピューティングリソース１２４によって提供されるデータ転送デバイスなどを含み得る。いくつかの実施形態では、コンピューティングリソース１２４は、有線接続、無線接続、または有線接続と無線接続の組み合わせを介して、他のコンピューティングリソース１２４と通信され得る。

【0035】

図１に示すように、コンピューティングリソース１２４は、一組のクラウドリソース、例えば１つまたは複数のアプリケーション（「ＡＰＰ」）１２４－１、１つまたは複数の仮想マシン（「ＶＭ」）１２４－２、仮想化されたストレージ（「ＶＳ」）１２４－３、１つまたは複数のハイパーバイザ（「ＨＹＰ」）１２４－４などを含む。

【0036】

アプリケーション１２４－１は、ユーザデバイス１１０および／またはプラットフォーム１２０に提供され得るか、またはユーザデバイス１１０および／またはプラットフォーム１２０によってアクセスされ得る、１つまたは複数のソフトウェアアプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０上でソフトウェアアプリケーションをインストールおよび実行する必要性を解消することができる。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連付けられているソフトウェア、および／または、クラウドコンピューティング環境１２２を介して提供され得る他の任意のソフトウェアを含み得る。いくつかの実施形態では、１つのアプリケーション１２４－１は、仮想マシン１２４－２を介して、１つまたは複数の他のアプリケーション１２４－１との間で情報を送受信することができる。

【0037】

仮想マシン１２４－２は、物理マシンのように、プログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実現を含む。仮想マシン１２４－２は、任意の実際のマシンに対する仮想マシン１２４－２の使用および対応の程度に応じて、システム仮想マシンまたはプロセス仮想マシンとすることができる。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ：ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ」）の実行をサポートする、完全なシステムプラットフォームを提供することができる。プロセス仮想マシンは、単一のプログラムを実行することができ、また、単一のプロセスをサポートすることができる。いくつかの実施形態では、仮想マシン１２４－２は、ユーザ（例えば、ユーザデバイス１１０））に代わって実行することができ、また、クラウドコンピューティング環境１２２のインフラストラクチャ、例えば、データ管理、同期または長時間のデータ転送を管理することができる。

【0038】

仮想化されたストレージ１２４－３は、コンピューティングリソース１２４のストレージシステムまたはデバイス内で仮想化技術を使用する１つまたは複数のストレージシステムおよび／または１つまたは複数のデバイスを含む。いくつかの実施形態では、ストレージシステムのコンテキスト内で、仮想化のタイプは、ブロック仮想化およびファイル仮想化を含み得る。ブロック仮想化とは、物理ストレージから論理ストレージを抽象（または分離）することを指し、これにより、ストレージシステムは、物理ストレージまたは異種構造に関係なくアクセスされ得る。この分離は、ストレージシステムの管理者が、当該管理者がエンドユーザのためのストレージをどのように管理するかについて柔軟に管理する、ということを許可することができる。ファイル仮想化は、ファイルレベルでアクセスされているデータと、ファイルが物理的に記憶されている場所との間の依存関係を解消することができる。これは、ストレージの使用、サーバの統合、および／または無停止でのファイル移行の性能への最適化を可能にすることができる。

【0039】

ハイパーバイザ１２４－４は、ハードウェア仮想化技術を提供することができ、この技術は、コンピューティングリソース１２４などのホストコンピューター上で複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）が同時に実行することを可能にする。ハイパーバイザ１２４－４は、ゲストオペレーティングシステムに仮想オペレーティングプラットフォームを提供し、また、ゲストオペレーティングシステムの実行を管理することができる。さまざまなオペレーティングシステムの複数のインスタンスは、仮想化されたハードウェアリソースを共有することができる。

【0040】

ネットワーク１３０は、１つまたは複数の有線および／または無線ネットワークを含む。例えば、ネットワーク１３０は、セルラネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ：ｌｏｎｇ－ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多重接続（ＣＤＭＡ：ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）ネットワークなど）、公衆地上移動ネットワーク（ＰＬＭＮ：ｐｕｂｌｉｃ ｌａｎｄ ｍｏｂｉｌｅ ｎｅｔｗｏｒｋ）、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、メトロポリタンエリアネットワーク（ＭＡＮ：ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、電話ネットワーク（例えば、公衆交換電話網（ＰＳＴＮ：Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワークなど、および／または、これらまたは他のタイプのネットワークの組合せを含み得る。

【0041】

図１に示されるデバイスおよびネットワークの数および配置は、例として提供される。実際には、図1に示されるものよりも、追加のデバイスおよび／またはネットワーク、より少ないデバイスおよび／またはネットワーク、異なるデバイスおよび／またはネットワーク、または異なって配置されたデバイスおよび／またはネットワークが存在する場合がある。さらに、図１に示される２つ以上のデバイスは、単一のデバイス内で実現されてもよく、あるいは、図１に示される単一のデバイスは、複数の分散されたデバイスとして実現されてもよい。追加的または代替的に、環境１００の１つのセットのデバイス（例えば、１つまたは複数のデバイス）は、環境１００の他のセットのデバイスによって実行されるように記載されている１つまたは複数の機能を実行することができる。

【0042】

図２は、図１の１つまたは複数のデバイスの例示的な構成要素のブロック図である。

【0043】

デバイス２００は、ユーザデバイス１１０および／またはプラットフォーム１２０に対応することができる。図２に示すように、デバイス２００は、バス２１０と、プロセッサ２２０と、メモリ２３０と、ストレージコンポーネント２４０と、入力コンポーネント２５０と、出力コンポーネント２６０と、通信インターフェース２７０とを含み得る。

【0044】

バス２１０は、デバイス２００のコンポーネント同士の間の通信を可能にするコンポーネントを含む。プロセッサ２２０は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせで実現される。プロセッサ２２０は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、グラフィックス処理装置（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、加速処理装置（ＡＰＵ：ａｃｃｅｌｅｒａｔｅｄ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、または他のタイプの処理コンポーネントである。いくつかの実施形態では、プロセッサ２２０は、機能を実行するようにプログラム可能な１つまたは複数のプロセッサを含む。メモリ２３０は、プロセッサ２２０によって使用される情報および／または命令を記憶する、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、および／または他のタイプの動的または静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、および／または光メモリ）を含む。

【0045】

ストレージコンポーネント２４０は、デバイス２００の動作および使用に関する情報および／またはソフトウェアを記憶する。例えば、ストレージコンポーネント２４０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、および／またはソリッドステートディスク）、コンパクトディスク（ＣＤ：ｃｏｍｐａｃｔ ｄｉｓｃ）、デジタル汎用ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、フロッピーディスク、カートリッジ、磁気テープ、および／または他のタイプの非一時的なコンピュータ読み取り可能な媒体、および対応するドライブを含み得る。

【0046】

入力コンポーネント２５０は、デバイス２００が、例えばユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、および／またはマイクロフォン）を介して情報を受信することを可能にするコンポーネントを含む。追加的または代替的に、入力コンポーネント２５０は、情報を感知するためのセンサ（例えば、全地球測位システム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）コンポーネント、加速度計、ジャイロスコープ、および／またはアクチュエーター）を含み得る。出力コンポーネント２６０は、デバイス２００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカー、および／または１つまたは複数の発光ダイオード（ＬＥＤ：ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅｓ））を含む。

【0047】

通信インターフェース２７０は、デバイス２００が例えば有線接続、無線接続、または有線接続と無線接続の組み合わせを介して他のデバイスと通信することを可能とする、トランシーバのようなコンポーネント（例えば、トランシーバおよび／または別個の受信機および送信機）を含む。通信インターフェース２７０は、デバイス２００が他のデバイスから情報を受信し、および／または他のデバイスに情報を提供することを可能にすることができる。例えば、通信インターフェース２７０は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラネットワークインターフェースなどを含み得る。

【0048】

デバイス２００は、本明細書に記載の１つまたは複数のプロセスを実行することができる。デバイス２００は、メモリ２３０および／またはストレージコンポーネント２４０などの非一時的なコンピュータ読み取り可能な媒体によって記憶されているソフトウェア命令をプロセッサ２２０が実行することに応して、これらのプロセスを実行することができる。ここで、コンピュータ読み取り可能な媒体は、非一時的なメモリデバイスとして定義される。メモリデバイスには、単一の物理ストレージデバイス内のメモリ空間、または複数の物理ストレージデバイスに分散されたメモリ空間が含まれる。

【0049】

ソフトウェア命令は、通信インターフェース２７０を介して、別のコンピュータ読み取り可能な媒体または別のデバイスから、メモリ２３０および／またはストレージコンポーネント２４０に読み込まれる。メモリ２３０および／またはストレージコンポーネント２４０に記憶されているソフトウェア命令は、実行されるとき、プロセッサ２２０に、本明細書に記載の１つまたは複数のプロセスを実行させてもよい。追加的または代替的に、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤ回路を使用して、本明細書に記載の１つまたは複数のプロセスを実行してもよい。したがって、本明細書に記載の実施形態は、ハードウェア回路とソフトウェアとの任意の特定の組み合わせにも限定されない。

【0050】

図２に示されるコンポーネントの数および配置は、例として提供される。実際には、デバイス２００は、図２に示されるものよりも、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、または異なって配置されたコンポーネントを含んでもよい。追加的または代替的に、デバイス２００の１つのセットのコンポーネント（例えば、１つまたは複数のコンポーネント）は、デバイス２００の他のセットのコンポーネントによって実行されるように記載されている１つまたは複数の機能を実行することができる。

【0051】

次に、置換ニューラル残差圧縮のための方法および装置を詳細に説明する。

【0052】

この方法および装置は、ＤＮＮベースの残差圧縮の効率を向上させることができる。Ｅ２Ｅ ＤＮＮによって圧縮された残差を有する各画像フレームについて、置換残差が、生成され、元の残差よりも良好な圧縮性能を提供することができる。

【0053】

サイズ（ｈ,ｗ,ｃ）を有する残差ｒ_ｔが与えられると、ここで、ｈ、ｗ、ｃは、それぞれ、高さ、幅およびチャネル数であり、Ｅ２Ｅ残差圧縮は、圧縮された表現

【0054】

【数16】

を計算することを含み、復元される残差

【0055】

【数17】

が、圧縮された表現

【数18】

から再構成され得る。歪み損失関数

【0056】

【数19】

は、平均二乗誤差（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）またはピーク信号対雑音比（ＰＳＮＲ：Ｐｅａｋ Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ）のような、再構成誤差（例えば、歪み損失）を測定するために使用される。レート損失関数

【0057】

【数20】

は、圧縮された表現

【数21】

のビット消費量を測定するために使用される。トレードオフハイパーパラメータ（ｔｒａｄｅ－ｏｆｆ ｈｙｐｅｒｐａｒａｍｅｔｅｒ）λは、結合レート歪み（Ｒ－Ｄ）損失Ｌを平衡させるために使用される。

【0058】

【数22】

大きなトレードオフハイパーパラメータλを使用した訓練は、歪みが小さいがビット消費量がより多い圧縮モデルをもたらし、そしてその逆も同様である。実際には異なるビットレートを達成するために、Ｅ２Ｅ残差圧縮方法は、複数のモデルインスタンスを訓練することができ、各ターゲットトレードオフハイパーパラメータλに対して、１つのモデルインスタンスが使用され、これらのモデルインスタンスの全てを、エンコーダ側およびデコーダ側に記憶することができる。しかしながら、本明細書に記載の実施形態は、複数のモデルインスタンスを訓練し記憶することなく、さまざまな柔軟なビットレート制御能力を提供する。

【0059】

図３および図４は、実施形態による、エンコーダおよびデコーダの全体的なワークフローを提供する。訓練段階と試験段階という２つ異なるの段階が存在している。

【0060】

図３は、実施形態による、訓練段階中の置換ニューラル残差圧縮のための訓練装置３００のブロック図である。

【0061】

図３に示すように、訓練装置３００は、動き推定コンポーネント３０５と、動き補償コンポーネント３１０と、減算器３１５と、訓練ＤＮＮエンコーダ３２０と、訓練エンコーダ３２５と、訓練デコーダ３３０と、訓練ＤＮＮデコーダ３３５と、加算器３４０と、レート損失コンポーネント３４５と、歪み損失コンポーネント３５０と、データ更新コンポーネント３５５と、を含む。

【0062】

訓練段階の目的は、各画像フレームｘ_ｔに対して、置換残差

【0063】

【数23】

を生成する、ことである。現在の画像フレームｘｔおよび以前の再構成された画像フレーム

【0064】

【数24】

が与えられると、動き推定コンポーネント３０５は、動きベクトルｍｔを取得する。以前の再構成された画像フレーム

【0065】

【数25】

は、画像フレームのセットを含み得る。例えば、現在の画像フレームｘ_ｔがＰフレームである場合、以前の再構成された画像フレーム

【0066】

【数26】

はすべて、現在の画像フレームｘ_ｔよりも前にある。現在の画像フレームｘ_ｔがＢフレームである場合、以前の再構成された画像フレーム

【0067】

【数27】

は、現在の画像フレームｘ_ｔの前および後からの画像フレームを含む。現在のフレームｘ_ｔが低遅延Ｂフレームである場合、以前の再構成された画像フレーム

【0068】

【数28】

は、現在の画像フレームｘ_ｔよりも前にある。動き推定コンポーネント３０５は、１つまたは複数のブロック型動き推定器、またはＤＮＮベースのオプティカルフロー推定器を使用することができる。

【0069】

動き補償コンポーネント３１０は、以前の再構成された画像フレーム

【0070】

【数29】

および動きベクトルｍ_ｔに基づいて、予測される画像フレーム

【0071】

【数30】

を取得する。実施形態では、１つのＤＮＮは、動きベクトルｍ_ｔと予測される画像フレーム

【0072】

【数31】

を同時に計算するために使用され得る。

【0073】

減算器３１５は、元の画像フレームｘ_ｔと、予測される画像フレーム

【0074】

【数32】

との間の残差

【0075】

【数33】

を取得する。

【0076】

残差ｒ_ｔを入力として使用すると、訓練ＤＮＮエンコーダ３２０は、ＤＮＮ符号化された表現を取得し、訓練エンコーダ３２５は、当該、ＤＮＮ符号化された表現に基づいて、圧縮された表現

【0077】

【数34】

を取得する。訓練ＤＮＮエンコーダ３２０および訓練エンコーダ３２５は、Ｅ２Ｅ ＤＮＮエンコーダ－デコーダのエンコーダ部分である。

【0078】

圧縮された表現

【0079】

【数35】

に基づいて、訓練デコーダ３３０は、解凍された表現を取得し、当該解凍された表現は、復元される残差

【0080】

【数36】

を取得するために、訓練ＤＮＮデコーダ３３５への入力として使用される。訓練デコーダ３３０および訓練ＤＮＮデコーダ３３５は、Ｅ２Ｅ ＤＮＮエンコーダ－デコーダのデコーダ部分である。

【0081】

本開示において、Ｅ２Ｅ ＤＮＮエンコーダ－デコーダのネットワーク構造は、勾配逆伝搬によって学習可能である限り、何ら制限されない。実施形態では、訓練エンコーダ３２５および訓練デコーダ３３０は、実際の量子化および逆量子化の効果を近似するために、微分可能な統計サンプラーを使用する。

【0082】

加算器３４０は、復元される残差

【0083】

【数37】

を、予測される画像フレーム

【0084】

【数38】

に加算し直すことで、再構成される画像フレーム

【0085】

【数39】

を取得する。

【0086】

訓練段階では、訓練ＤＮＮエンコーダ３２０および訓練ＤＮＮデコーダ３３５は、まず初期化され、すなわち、訓練ＤＮＮエンコーダ３２０および訓練ＤＮＮデコーダ３３５のモデル重みは、予め決定されたＤＮＮエンコーダおよび予め決定されたＤＮＮデコーダに基づいて設定される。

【0087】

次に、再訓練／微調整プロセスは、置換残差

【0088】

【数40】

を計算するために実施され、これにより、式（１）の総損失

【0089】

【数41】

（ここで、置換残差

【0090】

【数42】

が残差

【0091】

【数43】

を置換するために使用される）は、最適化または低減され得る。

【0092】

具体的には、レート損失コンポーネント３４５は、予め決定されたレート損失推定器を使用してレート損失

【0093】

【数44】

を取得する。例えば、エントロピー推定方法は、レート損失

【0094】

【数45】

を推定するために使用され得る。

【0095】

歪み損失コンポーネント３５０は、再構成される画像フレーム

【0096】

【数46】

に基づいて、歪み損失

【0097】

【数47】

を取得する。

【0098】

データ更新コンポーネント３５５は、総損失

【0099】

【数48】

の勾配を取得することで、逆伝搬により置換残差

【0100】

【数49】

を更新する。この逆伝搬プロセスは、例えば最適化が収束するとき、または最大の反復回数に達するときなど、停止基準に達するまで、置換残差

【0101】

【数50】

の更新を継続するように反復される。

【0102】

実施形態では、予め決定されたＤＮＮエンコーダ、予め決定されたＤＮＮデコーダ、および予め決定されたレート損失推定器の重みは、予め訓練されるデータのセットに基づいて予め訓練されており、ここで、各訓練画像フレーム

【0103】

【数51】

について、同じプロセスを実施することで残差

【0104】

【数52】

が計算され、当該残差に対して、ＤＮＮ符号化、符号化、復号およびＤＮＮ復号を介して、同様の前向き計算を経由することで、圧縮された表現

【0105】

【数53】

および復元される残差

【0106】

【数54】

が生成される。次に、ハイパーパラメータ

【0107】

【数55】

が与えられると、予め訓練された損失は、取得され、式（１）と同様に、レート損失および歪み損失

【0108】

【数56】

の両方を含み、それらの損失の勾配は、反復逆伝搬によって、予め決定されたＤＮＮエンコーダ、予め決定されたＤＮＮデコーダおよび予め決定されたレート損失推定器の重みを更新するために使用される。予め訓練されるデータセットは、訓練ＤＮＮエンコーダ３２０および訓練ＤＮＮデコーダ３３５がそれに基づいて訓練されたデータセットと同じであってもよく、異なっていてもよい。

【0109】

図４は、実施形態による、試験段階中の置換ニューラル残差圧縮のための試験装置４００のブロック図である。

【0110】

図４に示すように、試験装置４００は、動き推定コンポーネント３０５と、動き補償コンポーネント３１０と、減算器３１５と、試験ＤＮＮエンコーダ４０５と、試験エンコーダ４１０と、試験デコーダ４１５と、試験ＤＮＮデコーダ４２０と、加算器３４０とを含む。

【0111】

エンコーダ（すなわち、試験ＤＮＮエンコーダ４０５および試験エンコーダ４１０）の試験段階では、置換残差

【0112】

【数57】

が学習された後、当該置換残差に対して、試験ＤＮＮエンコーダ４０５の前向き推論プロセスを経由することで、ＤＮＮ符号化された表現が生成され、試験エンコーダ４１０は、当該表現に基づいて、最終的な圧縮された表現

【0113】

【数58】

を取得する。

【0114】

次に、試験デコーダ４１５は、再構成される残差

【0115】

【数59】

を取得するために試験ＤＮＮデコーダ４２０への入力として使用される解凍された表現を取得する。

【0116】

実施形態では、試験ＤＮＮエンコーダ４０５および試験ＤＮＮデコーダ４２０は、それぞれ、訓練ＤＮＮエンコーダ３２０および訓練ＤＮＮデコーダ３３５と同じであるが、試験エンコーダ４１０および試験デコーダ４１５は、それぞれ、訓練エンコーダ３２５および訓練デコーダ３３０と異なる。前述したように、量子化および逆量子化プロセスは、訓練エンコーダ３２５および訓練デコーダ３３０における微分可能な統計サンプラーによって置き換えられる。試験段階では、実際の量子化および逆量子化は、それぞれ、試験エンコーダ４１０および試験デコーダ４１５において実施される。本開示において、試験エンコーダ４１０および試験デコーダ４１５によって使用される量子化および逆量子化方法には制限はない。

【0117】

再構成される残差

【0118】

【数60】

が再構成された後、加算器３４０は、再構成される残差

【0119】

【数61】

を予測される画像フレーム

【0120】

【数62】

に加算し直すことで、再構成される画像フレーム

【0121】

【数63】

を取得し、試験装置４００は、次の画像フレームｘ_ｔ＋１の処理に進む。

【0122】

動きベクトルｍ_ｔと圧縮された表現

【0123】

【数64】

との両方は、デコーダに送信され得る。これらは、さらに、エントロピーコーディングによってビットストリームに符号化され得る。

【0124】

デコーダ（すなわち、試験デコーダ４１５および試験ＤＮＮデコーダ４２０）の試験段階では、動きベクトルｍ_ｔ、および圧縮された表現

【0125】

【数65】

（例えば、符号化されたビットストリームから復号することによって）が取得された後、以前の再構成された画像フレーム

【0126】

【数66】

が与えられると、試験デコーダ４１５は、

【0127】

【数67】

の解凍された表現を取得し、試験ＤＮＮデコーダ４２０は、この解凍された表現に基づいて、再構成される残差

【0128】

【数68】

を取得する。デコーダ側での動き補償コンポーネントでは、エンコーダ側での動き補償コンポーネント３１０と同様に、以前の再構成された画像フレーム

【0129】

【数69】

と動きベクトルｍ_ｔとに基づいて、予測される画像フレームが取得される。次に、加算器３４０は、再構成される残差

【0130】

【数70】

を予測される画像フレーム

【0131】

【数71】

に加算し直すことで、再構成される画像フレーム

【0132】

【数72】

を取得し、試験装置４００は、次の画像フレーム

【0133】

【数73】

の処理に進む。

【0134】

上記の実施形態は、ビットレート制御およびターゲットメトリック制御において柔軟性を提供する。圧縮された表現

【0135】

【数74】

のターゲットビットレートが変更された場合、図３に示される符号化プロセスの訓練段階におけるハイパーパラメータλのみが、変更され、訓練ＤＮＮエンコーダ３２０、訓練エンコーダ３２５、訓練デコーダ３３０、訓練ＤＮＮデコーダ３３５、試験ＤＮＮエンコーダ４０５、試験エンコーダ４１０、試験デコーダ４１５、および試験ＤＮＮデコーダ４２０の再訓練／微調整なしに変更される。同様に、圧縮された表現

【0136】

【数75】

の異なるターゲットメトリック（例えば、ＰＳＮＲまたは構造的類似度（ＳＳＩＭ：ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ））に対して最適な圧縮された残差を取得するために、図３に示される符号化プロセスの訓練段階で歪み損失を取得する方法が、上記の訓練ＤＮＮエンコーダ３２０、上記の訓練エンコーダ３２５、上記の訓練デコーダ３３０、上記の訓練ＤＮＮデコーダ３３５、上記の試験ＤＮＮエンコーダ４０５、上記の試験エンコーダ４１０、上記の試験デコーダ４１５、および上記の試験ＤＮＮデコーダ４２０の再訓練／微調整なしで変更される。

【0137】

図５は、実施形態による、置換ニューラル残差圧縮の方法のフローチャートである。

【0138】

いくつかの実施形態では、図５の１つまたは複数のプロセスブロックが、プラットフォーム１２０によって実行され得る。いくつかの実施形態では、図５の１つまたは複数のプロセスブロックが、例えばユーザデバイス１１０などのような、プラットフォーム１２０とは別の、またはプラットフォーム１２０を含む、他のデバイスまたはデバイスのグループによって実行され得る。

【0139】

図５に示すように、動作５１０では、方法５００は、現在の画像フレームおよび以前の再構成された画像フレームに基づいて、動きベクトルを推定するステップを含む。

【0140】

動作５２０では、方法５００は、推定された動きベクトルおよび以前の再構成された画像フレームに基づいて、予測される画像フレームを取得するステップを含む。

【0141】

動作５３０では、方法５００は、取得された予測される画像フレームを現在の画像フレームから減算することで、置換残差を取得するステップを含む。

【0142】

動作５４０では、方法５００は、第１ニューラルネットワークを使用して、取得された置換残差を符号化することで、符号化された表現を取得するステップを含む。

【0143】

動作５５０では、方法５００は、符号化された表現を圧縮するステップを含む。

【0144】

動きベクトルの推定、予測される画像フレームの取得、置換残差の取得、符号化された表現の取得、および符号化された表現の圧縮は、符号化プロセッサによって実行され得る。

【0145】

図５は、全体として、方法５００の例示的なブロックを示しており、いくつかの実施形態では、方法５００は、図５に示されるものよりも、追加のブロック、より少ないブロック、異なるブロック、または異なって配置されたブロックを含んでもよい。追加的または代替的に、方法５００の２つ以上のブロックは、並列に実行されてもよい。

【0146】

図６は、実施形態による、置換ニューラル残差圧縮の方法のフローチャートである。

【0147】

いくつかの実施形態では、図６の１つまたは複数のプロセスブロックが、プラットフォーム１２０によって実行され得る。いくつかの実施形態では、図６の１つまたは複数のプロセスブロックが、例えばユーザデバイス１１０などのような、プラットフォーム１２０とは別の、またはプラットフォーム１２０を含む、他のデバイスまたはデバイスのグループによって実行され得る。

【0148】

図６に示すように、動作６１０では、方法６００は、圧縮された表現を解凍するステップを含む。

【0149】

動作６２０では、方法６００は、第２ニューラルネットワークを使用して、解凍された表現を復号することで、復元される残差を取得するステップを含む。

【0150】

動作６３０では、方法６００は、取得された復元される残差を、取得された予測される画像フレームに加算することで、再構成される画像フレームを取得するステップを含む。

【0151】

第１ニューラルネットワークおよび第２ニューラルネットワークは、取得された復元される残差および取得された置換残差に基づいて、歪み損失を決定するステップと、圧縮された表現に基づいて、レート損失を決定するステップと、決定された歪み損失、決定されたレート損失およびハイパーパラメータに基づいて、レート歪み損失勾配を決定するステップと、取得された置換残差を更新することで、決定されたレート歪み損失勾配を減少させるステップと、によって訓練され得る。

【0152】

ハイパーパラメータは、第１ニューラルネットワークおよび第２ニューラルネットワークを再訓練することなく、圧縮された表現のターゲットビットレートに基づいて設定され得る。

【0153】

歪み損失は、第１ニューラルネットワークおよび第２ニューラルネットワークを再訓練することなく、圧縮された表現のターゲットメトリックのタイプに基づいて設定された関数に基づいて決定され得る。

【0154】

圧縮された表現の解凍、解凍された表現の復号、および再構成される画像フレームの取得は、復号プロセッサによって実行され得る。この方法は、推定された動きベクトルおよび以前の再構成された画像フレームに基づいて、復号プロセッサによって、予測される画像フレームを取得するステップを、さらに含み得る。

【0155】

図６は、方法６００の例示的なブロックを示しており、いくつかの実施形態では、方法６００は、図６に示されるものよりも、追加のブロック、より少ないブロック、異なるブロック、または異なって配置されたブロックを含んでもよい。追加的または代替的に、方法６００の２つ以上のブロックは、並列に実行されてもよい。

【0156】

図７は、実施形態による、置換ニューラル残差圧縮のための装置７００のブロック図である。

【0157】

図７に示すように、装置７００は、推定コード７１０、第１取得コード７２０、減算コード７３０、符号化コード７４０および圧縮コード７５０、を含む。

【0158】

推定コード７１０は、少なくとも１つのプロセッサに、現在の画像フレームおよび以前の再構成された画像フレームに基づいて、動きベクトルを推定させるように構成される。

【0159】

第１取得コード７２０は、少なくとも１つのプロセッサに、推定された動きベクトル及び以前の再構成された画像フレームに基づいて、予測される画像フレームを取得させるように構成される。

【0160】

減算コード７３０は、少なくとも１つのプロセッサに、取得された予測される画像フレームを現在の画像フレームから減算することで、置換残量を取得させるように構成される。

【0161】

符号化コード７４０は、少なくとも１つのプロセッサに、第１ニューラルネットワークを使用して、取得された置換残差を符号化することで、符号化された表現を取得させるように構成される。

【0162】

圧縮コード７５０は、少なくとも１つのプロセッサに、符号化された表現を圧縮させるように構成される。

【0163】

推定コード、第１取得符号、減算コード、符号化コードおよび圧縮コードは、符号化プロセッサに機能を実行させるように構成され得る。

【0164】

図８は、実施形態による、置換ニューラル残差圧縮のための装置８００のブロック図である。

【0165】

図８に示すように、装置８００は、解凍コード８１０、復号コード８２０および加算コード８３０、を含む。

【0166】

解凍コード８１０は、少なくとも一つのプロセッサに、圧縮された表現を解凍させるように構成される。

【0167】

復号コード８２０は、少なくとも１つのプロセッサに、第２ニューラルネットワークを使用して、解凍された表現を復号することで、復元される残差を取得させるように構成される。

【0168】

加算コード８３０は、少なくとも１つのプロセッサに、取得された復元される残差を、取得された予測される画像フレームに加算し直すことで、再構成される画像フレームを取得させるように構成される。

【0169】

第１ニューラルネットワークおよび第２ニューラルネットワークは、取得された復元される残差および取得された置換残差に基づいて、歪み損失を決定することと、圧縮された表現に基づいて、歪み損失を決定することと、決定された歪み損失、決定されたレート損失およびハイパーパラメータに基づいて、レート歪み損失勾配を決定することと、取得された置換残差を更新することで、決定されたレート歪み損失勾配を減少することとによって、訓練され得る。

【0170】

ハイパーパラメータは、第１ニューラルネットワークおよび第２ニューラルネットワークを再訓練することなく、圧縮された表現のターゲットビットレートに基づいて設定され得る。

【0171】

歪み損失は、第１ニューラルネットワークおよび第２ニューラルネットワークを再訓練することなく、圧縮された表現のターゲットメトリックのタイプに基づいて設定された関数に基づいて、決定され得る。

【0172】

解凍コード８１０、復号コード８２０および加算コード８３０は、復号プロセッサに機能を実行させるように構成され得る。装置８００は、復号プロセッサに、推定された動きベクトルおよび前の再構成された像フレームに基づいて、予測される画像フレームを取得させるように構成される第２取得コードを、さらに含み得る。

【0173】

上記の実施形態は、従来のビデオ圧縮方法と比較すると、以下の利点を有する。これらの実施形態は、任意のＥ２Ｅ残差圧縮ＤＮＮ法に適用され得る一般的なモジュールとして見なすことができる。個々の画像フレームごとに、その置換残差は、その損失のフィードバックに基づいて、個々の再訓練／微調整プロセスによって最適化され得て、これにより、圧縮性能を向上させることができる。

【0174】

さらに、上記の実施形態は、Ｅ２Ｅ残差圧縮モデルを再訓練／微調整することなく、または複数のモデルを使用することなく、柔軟なビットレート制御を実現することができる。これらの実施形態は、また、Ｅ２Ｅ残差圧縮モデルを再訓練／微調整することなく、ターゲット圧縮メトリックを変更することもできる。

【0175】

提案された方法は、単独で、または任意の順序で組み合わせて使用され得る。さらに、方法（または実施形態）、エンコーダおよびデコーダの各々は、処理回路（例えば、１つまたは複数のプロセッサ、または、１つまたは複数の集積回路）によって実現され得る。一例では、１つまたは複数のプロセッサは、非一時的なコンピュータ読み取り可能な媒体に記憶されているプログラムを実行する。

【0176】

前述の開示は、図示および説明を提供したが、網羅的であること、または開示された正確な形態に実現を限定することを意図したものではない。上記の開示を考慮して、修正および変更は可能であるか、または実施された実践から取得され得る。

【0177】

本明細書で使用されるとき、コンポーネントという用語は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせとして広く解釈されることを意図している。

【0178】

明らかに、本明細書に記載のシステムおよび／または方法は、さまざまな形式のハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせで実現され得る。これらのシステムおよび／または方法を実現するために使用される実際の専用制御ハードウェアまたはソフトウェアコードは、これらの実現を制限するものではない。したがって、システムおよび／または方法の動作および行動は、特定のソフトウェアコードを参照することなく本明細書で説明されており、ソフトウェアおよびハードウェアは、本明細書における説明に基づいて、システムおよび／または方法を実施するように設計され得る、ということを理解されたい。

【0179】

特徴の組合せが請求項において列挙され、および／または本明細書において開示されていても、これらの組合せは、可能な実施形態の開示を制限することを意図していない。実際には、これらの特徴の多くは、特許請求の範囲において具体的に記載されていない、および／または明細書において開示されていない方式で組み合わされてもよい。以下に列挙された各従属請求項は、１つの請求項のみに直接に依存し得るが、可能な実施形態の開示は、各従属請求項と請求項セット内の他のあらゆる請求項との組合せを含む。

【0180】

本明細書で使用されている要素、動作または命令は、そのようなものとして明示的に説明されていない限り、重要または必須と解釈されることはない。さらに、本明細書で使用されるように、用語「１つ」および「一」は、１つまたは複数のアイテムを含むことを意図しており、「１つまたは複数」と交換的に使用され得る。さらに、本明細書で使用されるように、用語「セット」は、１つまたは複数のアイテム（例えば、関連アイテム、非関連アイテム、関連アイテムと非関連アイテムの組み合わせなど）を含むことを意図しており、「１つまたは複数」と交換的に使用され得る。１つのアイテムのみが意図されている場合、用語「１つ」または類似の単語が使用される。また、本明細書で使用されるように、「を有する」、「を有し」、「を有している」などの用語は、開放型用語であることを意図している。さらに、「に基づいて」という句は、特に明示的に記載されていない限り、「少なくとも部分的に基づいて」を意味することを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】