特許7471730 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・アメリカ・エルエルシーの特許一覧

特許7471730メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3A
3B
4A
4B
4C
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-12

(45)【発行日】2024-04-22

(54)【発明の名称】メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム

(51)【国際特許分類】

H04N 19/115 20140101AFI20240415BHJP

H04N 19/46 20140101ALI20240415BHJP

H04N 19/136 20140101ALI20240415BHJP

【ＦＩ】

H04N19/115

H04N19/46

H04N19/136

【請求項の数】 9

(21)【出願番号】P 2022558544

(86)(22)【出願日】2021-08-06

(65)【公表番号】

(43)【公表日】2023-05-10

(86)【国際出願番号】 US2021044899

(87)【国際公開番号】W WO2022159142

(87)【国際公開日】2022-07-28

【審査請求日】2022-09-27

(31)【優先権主張番号】63/139,156

(32)【優先日】2021-01-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/365,371

(32)【優先日】2021-07-01

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】ウェイ・ジアン

(72)【発明者】

【氏名】ウェイ・ワン

(72)【発明者】

【氏名】シャン・リュウ

【審査官】田部井和彦

(56)【参考文献】

【文献】特開２０１９－１４０６８０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１７３９９４（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１１５８６５（ＷＯ，Ａ１）

【文献】Nannan Zou et al.，L2C Learning to Learn to Compress [online]，Published in: 2020 IEEE 22nd International Workshop on Multimedia Signal Processing (MMSP), [2023年10月23日検索]，2020年12月16日，インターネット＜URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9287069＞，DOI: 10.1109/MMSP48831.2020.9287069

【文献】Fei Yang et al.，Variable Rate Deep Image Compression With Modulated Autoencoder [online]，Published in: IEEE Signal Processing Letters ( Volume: 27), [2023年10月23日検索]，2020年01月31日，pp.331-335，インターネット＜URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8977394＞，DOI: 10.1109/LSP.2020.2970539

【文献】Zhao Wang et al.，[DNNVC] Preliminary results of Neural Network Loop Filter [online], [2023年10月23日検索]，JVET-T0128 （JVET-T0128.docx），インターネット＜URL: https://jvet-experts.org/doc_end_user/documents/20_Teleconference/wg11/JVET-T0128-v2.zip＞，2020年10月14日

【文献】Rige Su et al.，SCALABLE LEARNED IMAGE COMPRESSION WITH A RECURRENT NEURAL NETWORKS-BASED HYPERPRIOR [online]，Published in: 2020 IEEE International Conference on Image Processing (ICIP), [2023年10月23日検索]，2020年09月30日，pp.3369-3373，インターネット＜URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9190704＞，DOI: 10.1109/ICIP40778.2020.9190704

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／１１５

Ｈ０４Ｎ１９／４６

Ｈ０４Ｎ１９／１３６

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサによって実施される、メタ学習によるレート制御を用いた適応ニューラル画像圧縮の方法であって、
入力画像及びハイパーパラメータを受信するステップと、
圧縮表現を生成するために、符号化ニューラルネットワークを使用して、前記受信したハイパーパラメータに基づいて、前記受信した入力画像を符号化するステップであって、
符号化する前記ステップが、
第１の共有符号化パラメータを有する第１の共有符号化レイヤを使用して、前記受信した入力画像に対して第１の共有符号化を実施するステップと、
第１の適応符号化パラメータを有する第１の適応符号化レイヤを使用して、前記受信した入力画像に対して第１の適応符号化を実施するステップと、
第１の結合出力を生成するために、前記第１の共有符号化した入力画像と前記第１の適応符号化した入力画像とを加算、連結及び乗算のうちの少なくとも１つにより結合するステップと、
第２の共有符号化パラメータを有する第２の共有符号化レイヤを使用して、前記第１の結合出力に対して第２の共有符号化を実施するステップと、を含む、ステップと、
第２の適応符号化パラメータを有する第２の適応符号化レイヤを使用して、前記第１の結合出力に対して第２の適応符号化を実施するステップと、
復元された圧縮表現及び前記ハイパーパラメータを受信するステップと、
出力画像を再構成するために、復号ニューラルネットワークを使用して、前記受信したハイパーパラメータに基づいて、前記受信した復元された圧縮表現を復号するステップであって、
復号する前記ステップが、
第１の共有復号パラメータを有する第１の共有復号レイヤを使用して、前記受信した復元された圧縮表現に対して第１の共有復号を実施するステップと、
第１の適応復号パラメータを有する第１の適応復号レイヤを使用して、前記受信した復元された圧縮表現に対して第１の適応復号を実施するステップと、
第２の結合出力を生成するために、前記第１の共有復号した復元された圧縮表現と前記第１の適応復号した復元された圧縮表現とを加算、連結及び乗算のうちの少なくとも１つにより結合するステップと、
第２の共有復号パラメータを有する第２の共有復号レイヤを使用して、前記第２の結合出力に対して第２の共有復号を実施するステップと、
第２の適応復号パラメータを有する第２の適応復号レイヤを使用して、前記第２の結合出力に対して第２の適応復号を実施するステップと、を含む、ステップと
を含み、
前記符号化ニューラルネットワーク及び前記復号ニューラルネットワークが、
前記受信したハイパーパラメータ、前記第１の共有符号化パラメータ、前記第１の適応符号化パラメータ、前記第１の共有復号パラメータ、及び前記第１の適応復号パラメータに基づいて、前記受信したハイパーパラメータに対応する訓練データのための内側ループ損失を生成することによって、
前記生成した内側ループ損失の勾配に基づいて、前記第１の共有符号化パラメータ、前記第１の適応符号化パラメータ、前記第１の共有復号パラメータ、及び前記第１の適応復号パラメータの第１の更新をすることによって、
前記受信したハイパーパラメータ、前記第１の更新をした第１の共有符号化パラメータ、前記第１の更新をした第１の適応符号化パラメータ、前記第１の更新をした第１の共有復号パラメータ、及び前記第１の更新をした第１の適応復号パラメータに基づいて、前記受信したハイパーパラメータに対応する検証データのためのメタ損失を生成することによって、並びに、
前記生成したメタ損失の勾配に基づいて、前記第１の更新をした第１の共有符号化パラメータ、前記第１の更新をした第１の適応符号化パラメータ、前記第１の更新をした第１の共有復号パラメータ、及び前記第１の更新をした第１の適応復号パラメータの第２の更新をすることによって、
訓練される、方法。

【請求項2】

符号化する前記ステップが、
前記受信した入力画像及び前記第１の共有符号化パラメータに基づいて、共有特徴を生成するステップと、
予測ニューラルネットワークを使用して、前記受信した入力画像、前記第１の適応符号化パラメータ、前記生成した共有特徴、及び前記受信したハイパーパラメータのうちの１つ又は複数に基づいて、推定適応符号化パラメータを生成するステップと、
前記推定適応符号化パラメータ及び前記受信したハイパーパラメータに基づいて、前記圧縮表現を生成するステップと
を含む、請求項１に記載の方法。

【請求項3】

前記予測ニューラルネットワークが、
前記受信したハイパーパラメータ、前記第１の共有符号化パラメータ、前記第１の適応符号化パラメータ、前記第１の共有復号パラメータ、前記第１の適応復号パラメータ、及び前記予測ニューラルネットワークの予測パラメータに基づいて、前記受信したハイパーパラメータに対応する訓練データのための第１の損失、及び前記受信したハイパーパラメータに対応する検証データのための第２の損失を生成することによって、並びに、
前記生成した第１の損失の勾配及び前記生成した第２の損失の勾配に基づいて、前記予測パラメータを更新することによって、
訓練される、請求項２に記載の方法。

【請求項4】

復号する前記ステップが、
前記受信した入力画像及び前記第１の共有復号パラメータに基づいて、共有特徴を生成するステップと、
予測ニューラルネットワークを使用して、前記受信した入力画像、前記第１の適応復号パラメータ、前記生成した共有特徴、及び前記受信したハイパーパラメータのうちの１つ又は複数に基づいて、推定適応復号パラメータを生成するステップと、
前記推定適応復号パラメータ及び前記受信したハイパーパラメータに基づいて、前記出力画像を再構成するステップと
を含む、請求項１に記載の方法。

【請求項5】

【請求項6】

【請求項7】

前記受信した入力画像を符号化する前記ステップが、
第２の共有符号化パラメータを有する第２の共有符号化レイヤを使用して、前記第１の出力テンソルに対して第２の共有符号化を実施して第２の共有特徴を生成するステップと、
第２の適応符号化パラメータを有する第２の適応符号化レイヤを使用して、前記第１の出力テンソルに対して第２の適応符号化を実施するステップであって、
前記予測ニューラルネットワークを使用して、前記第１の出力テンソル、前記第２の適応符号化パラメータ、前記第２の共有特徴、及び前記受信したハイパーパラメータに基づいて、第２の推定適応符号化パラメータを生成し、
第２の適応符号化パラメータ推論関数を使用して、前記第２の推定適応符号化パラメータ及び前記第２の共有特徴に基づいて、第２の出力テンソルを生成する、ステップと、
を更に含む、請求項６に記載の方法。

【請求項8】

メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための装置であって、前記装置が、
プログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードによって命令されるように動作するように構成された少なくとも１つのプロセッサと
を備え、前記プログラムコードが、前記少なくとも１つのプロセッサに、請求項１から７のいずれか一項に記載の方法を実行させるように構成される、装置。

【請求項9】

命令を含むプログラムであって、前記命令が、メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための少なくとも１つのプロセッサによって実行された場合、前記少なくとも１つのプロセッサに、請求項１から７のいずれか一項に記載の方法を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１月１９日に出願された米国仮特許出願第６３／１３９，１５６号、及び２０２１年７月１日に出願された米国特許出願第１７／３６５，３７１号に基づいており、それらに対する優先権を主張し、それらの開示は、全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

ＩＳＯ／ＩＥＣＭＰＥＧ（ＪＴＣ１／ＳＣ２９／ＷＧ１１）は、将来のビデオコーディング技術の標準化に対する潜在的なニーズを積極的に探ってきた。ＩＳＯ／ＩＥＣＪＰＥＧは、ニューラルネットワーク（ＮＮ）を使用したＡＩベースのエンドツーエンドのニューラル画像圧縮（ＮＩＣ）に焦点を当てたＪＰＥＧ－ＡＩグループを確立している。最近の取り組みの成功は、高度なニューラル画像及びビデオ圧縮方法論に対するますます多くの産業上の関心をもたらしている。

【0003】

従来技術は有望な性能を示しているが、柔軟なビットレート制御は、従来のＮＩＣ方法にとって依然として大きな課題である。従来、これは、レートと歪み（圧縮画像の品質）との間の各所望のトレードオフを目標とする複数のモデルインスタンスを個別に訓練することを含み得る。これらの複数のモデルインスタンスはすべて、異なるビットレートから画像を再構成するために、復号器側で記憶及び展開される必要があり得る。また、可能な目標ビットレートごとに無限数のモデルインスタンスを訓練し、及び記憶することが困難であるため、これらのモデルインスタンスは、任意の滑らかなビットレート制御を与えることができない。従来技術は、１つのモデルインスタンスが複数の所定のビットレートの圧縮を達成するように訓練されるマルチレートＮＩＣを研究してきた。しかしながら、任意の滑らかなビットレート制御は、未調査の未解決の問題である。

【発明の概要】

【課題を解決するための手段】

【0004】

実施形態によれば、メタ学習によるレート制御を用いた適応ニューラル画像圧縮の方法は、少なくとも１つのプロセッサによって実施され、入力画像及びハイパーパラメータを受信するステップと、圧縮表現を生成するために、符号化ニューラルネットワークを使用して、受信したハイパーパラメータに基づいて、受信した入力画像を符号化するステップと、を含む。符号化するステップは、第１の共有符号化パラメータを有する第１の共有符号化レイヤを使用して、受信した入力画像に対して第１の共有符号化を実施するステップと、第１の適応符号化パラメータを有する第１の適応符号化レイヤを使用して、受信した入力画像に対して第１の適応符号化を実施するステップと、第１の結合出力を生成するために、第１の共有符号化した入力画像と第１の適応符号化した入力画像とを結合するステップと、第２の共有符号化パラメータを有する第２の共有符号化レイヤを使用して、第１の結合出力に対して第２の共有符号化を実施するステップと、を含む。

【0005】

実施形態によれば、メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための装置は、プログラムコードを記憶するように構成された少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードによって命令されるように動作するように構成された少なくとも１つのプロセッサと、を含む。プログラムコードは、少なくとも１つのプロセッサに、入力画像及びハイパーパラメータを受信させるように構成された第１の受信コードと、少なくとも１つのプロセッサに、圧縮表現を生成させるために、符号化ニューラルネットワークを使用して、受信したハイパーパラメータに基づいて、受信した入力画像を符号化させるように構成された符号化コードと、を含む。符号化コードは、少なくとも１つのプロセッサに、第１の共有符号化パラメータを有する第１の共有符号化レイヤを使用して、受信した入力画像に対して第１の共有符号化を実施させ、第１の適応符号化パラメータを有する第１の適応符号化レイヤを使用して、受信した入力画像に対して第１の適応符号化を実施させ、第１の結合出力を生成させるために、第１の共有符号化した入力画像と第１の適応符号化した入力画像とを結合させ、及び、第２の共有符号化パラメータを有する第２の共有符号化レイヤを使用して、第１の結合出力に対して第２の共有符号化を実施させる、ように更に構成される。

【0006】

実施形態によれば、非一時的コンピュータ可読媒体は、命令を記憶し、命令は、メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための少なくとも１つのプロセッサによって実行された場合、少なくとも１つのプロセッサに、入力画像及びハイパーパラメータを受信させ、及び、圧縮表現を生成させるために、符号化ニューラルネットワークを使用して、受信したハイパーパラメータに基づいて、受信した入力画像を符号化させる。命令は、少なくとも１つのプロセッサによって実行された場合、更に、少なくとも１つのプロセッサに、第１の共有符号化パラメータを有する第１の共有符号化レイヤを使用して、受信した入力画像に対して第１の共有符号化を実施させ、第１の適応符号化パラメータを有する第１の適応符号化レイヤを使用して、受信した入力画像に対して第１の適応符号化を実施させ、第１の結合出力を生成させるために、第１の共有符号化した入力画像と第１の適応符号化した入力画像とを結合させ、及び、第２の共有符号化パラメータを有する第２の共有符号化レイヤを使用して、第１の結合出力に対して第２の共有符号化を実施させる。

【図面の簡単な説明】

【0007】

【図1】実施形態による、本明細書に記載された方法、装置、及びシステムがその中で実現され得る環境の図である。

【図2】図１の１つ又は複数のデバイスの例示的な構成要素のブロック図である。

【図3A】実施形態による、メタ学習によるレート制御を用いた適応ニューラル画像圧縮のためのメタＮＩＣアーキテクチャのブロック図である。

【図3B】実施形態による、メタ学習によるレート制御を用いた適応ニューラル画像圧縮のためのメタＮＩＣアーキテクチャのブロック図である。

【図4A】実施形態による、テスト段階中のメタ学習によるレート制御を用いた適応ニューラル画像圧縮のための装置のブロック図である。

【図4B】図４Ａに示す装置のうちのメタＮＩＣ符号化器のブロック図である。

【図4C】図４Ａに示す装置のうちのメタＮＩＣ復号器のブロック図である。

【図5】実施形態による、訓練段階中のメタ学習によるレート制御を用いた適応ニューラル画像圧縮のための訓練装置のブロック図である。

【図6】実施形態による、メタ学習によるレート制御を用いた適応ニューラル画像圧縮の方法のフローチャートの図である。

【図7】実施形態による、メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための装置のブロック図である。

【発明を実施するための形態】

【0008】

本開示は、ＮＩＣにおける滑らかなビットレート制御のためのメタニューラル画像圧縮（メタＮＩＣ）フレームワークのための方法及び装置を説明する。メタ学習メカニズムは、現在の入力画像及び目標ビットレートに基づいて、基礎となるＮＩＣモデルのレート適応重みパラメータを適応的に計算するために使用され、これにより、単一のメタＮＩＣモデルインスタンスは、任意の滑らかな様々なビットレートで画像圧縮を達成することができる。

【0009】

図１は、実施形態による、本明細書に記載された方法、装置、及びシステムがその中で実現され得る環境１００の図である。

【0010】

図１に示されたように、環境１００は、ユーザデバイス１１０、プラットフォーム１２０、及びネットワーク１３０を含み得る。環境１００のデバイスは、有線接続、ワイヤレス接続、又は有線接続とワイヤレス接続の組合せを介して相互接続し得る。

【0011】

ユーザデバイス１１０は、プラットフォーム１２０に関連付けられた情報を受信、生成、記憶、処理、及び／又は提供することが可能な１つ又は複数のデバイスを含む。例えば、ユーザデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブルデバイス（例えば、一対のスマートグラス若しくはスマートウォッチ）、又は同様のデバイスを含んでもよい。いくつかの実装形態では、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信し、及び／又はプラットフォーム１２０に情報を送信することができる。

【0012】

プラットフォーム１２０は、本明細書の他の箇所に記載されるような１つ又は複数のデバイスを含む。いくつかの実装形態では、プラットフォーム１２０は、クラウドサーバ又はクラウドサーバのグループを含んでもよい。いくつかの実装形態では、プラットフォーム１２０は、ソフトウェア構成要素がスワップイン又はスワップアウトされ得るようにモジュール式に設計されてもよい。そのため、プラットフォーム１２０は、異なる用途向けに、容易に、及び／又は迅速に復元され得る。

【0013】

いくつかの実装形態では、図示されたように、プラットフォーム１２０は、クラウドコンピューティング環境１２２内でホストされてもよい。特に、本明細書に記載された実装形態は、クラウドコンピューティング環境１２２内でホストされるものとしてプラットフォーム１２０を記載するが、いくつかの実装形態では、プラットフォーム１２０は、クラウドベースでなくてもよく（すなわち、クラウドコンピューティング環境の外部に実装されてもよく）、又は部分的にクラウドベースであってもよい。

【0014】

クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストするシステム及び／又はデバイスの物理的な位置及び構成のエンドユーザ（例えば、ユーザデバイス１１０）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供し得る。図示されたように、クラウドコンピューティング環境１２２は、（まとめて「コンピューティングリソース１２４」と呼ばれ、個別に「コンピューティングリソース１２４」と呼ばれる）コンピューティングリソース１２４のグループを含んでもよい。

【0015】

コンピューティングリソース１２４は、１つ又は複数のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、又は他のタイプの計算デバイス及び／若しくは通信デバイスを含む。いくつかの実装形態では、コンピューティングリソース１２４は、プラットフォーム１２０をホストしてもよい。クラウドリソースは、コンピューティングリソース１２４内で実行される計算インスタンス、コンピューティングリソース１２４内で提供されるストレージデバイス、コンピューティングリソース１２４によって提供されるデータ転送デバイスなどを含んでもよい。いくつかの実装形態では、コンピューティングリソース１２４は、有線接続、ワイヤレス接続、又は有線接続とワイヤレス接続の組合せを介して他のコンピューティングリソース１２４と通信してもよい。

【0016】

図１に更に示されたように、コンピューティングリソース１２４は、１つ又は複数の（「ＡＰＰ」）１２４－１、１つ又は複数の仮想マシン（「ＶＭ」）１２４－２、仮想化ストレージ（「ＶＳ」）１２４－３、１つ又は複数のハイパーバイザ（「ＨＹＰ」）１２４－４などのクラウドリソースのグループを含む。

【0017】

アプリケーション１２４－１は、ユーザデバイス１１０及び／若しくはプラットフォーム１２０に提供され得るか、又はユーザデバイス１１０及び／若しくはプラットフォーム１２０によってアクセスされ得る１つ又は複数のソフトウェアアプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０上でソフトウェアアプリケーションをインストールし、及び実行する必要性を排除し得る。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連付けられたソフトウェア、及び／又はクラウドコンピューティング環境１２２を介して提供されることが可能な任意の他のソフトウェアを含んでもよい。いくつかの実装形態では、１つのアプリケーション１２４－１は、仮想マシン１２４－２を介して１つ又は複数の他のアプリケーション１２４－１との間で情報を送受信してもよい。

【0018】

仮想マシン１２４－２は、物理マシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装形態を含む。仮想マシン１２４－２は、仮想マシン１２４－２による用途及び任意の実マシンとの対応関係の程度に応じて、システム仮想マシン又はプロセス仮想マシンのいずれかであってもよい。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行をサポートする完全なシステムプラットフォームを提供し得る。プロセス仮想マシンは、単一のプログラムを実行し、更に単一のプロセスをサポートし得る。いくつかの実装形態では、仮想マシン１２４－２は、ユーザ（例えば、ユーザデバイス１１０）の代わりに動作し、データ管理、同期、又は長期データ転送などのクラウドコンピューティング環境１２２の基盤を管理してもよい。

【0019】

仮想化ストレージ１２４－３は、コンピューティングリソース１２４のストレージシステム又はデバイス内で仮想化技法を使用する１つ若しくは複数のストレージシステム及び／又は１つ若しくは複数のデバイスを含む。いくつかの実装形態では、ストレージシステムのコンテキスト内で、仮想化のタイプは、ブロック仮想化及びファイル仮想化を含んでもよい。ブロック仮想化は、ストレージシステムが物理ストレージ又は異種構造に関係なくアクセスされ得るような、物理ストレージからの論理ストレージの抽象化（又は分離）を指し得る。分離により、ストレージシステムの管理者がエンドユーザのためにストレージを管理する方法の柔軟性が可能になり得る。ファイル仮想化は、ファイルレベルでアクセスされるデータとファイルが物理的に記憶された場所との間の依存関係を排除し得る。これにより、ストレージ使用の最適化、サーバ統合、及び／又はスムーズなファイル移行の実施が可能になり得る。

【0020】

ハイパーバイザ１２４－４は、複数のオペレーティングシステム（例えば、「ゲスト・オペレーティング・システム」）をコンピューティングリソース１２４などのホストコンピュータ上で同時に実行することを可能にするハードウェア仮想化技法を提供し得る。ハイパーバイザ１２４－４は、仮想オペレーティングプラットフォームをゲスト・オペレーティング・システムに提示し、更にゲスト・オペレーティング・システムの実行を管理し得る。様々なオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェアリソースを共有し得る。

【0021】

ネットワーク１３０は、１つ又は複数の有線及び／又はワイヤレスのネットワークを含む。例えば、ネットワーク１３０は、セルラーネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワークなど）、公的地域モバイルネットワーク（ＰＬＭＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆交換電話網（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワークなど、及び／又はそれら若しくは他のタイプのネットワークの組合せを含んでもよい。

【0022】

図１に示されたデバイス及びネットワークの数及び配置は、一例として提供されている。実際には、図１に示されたものに比べて、更なるデバイス及び／若しくはネットワーク、少ないデバイス及び／若しくはネットワーク、異なるデバイス及び／若しくはネットワーク、又は異なる配置のデバイス及び／若しくはネットワークが存在してもよい。更に、図１に示された２つ以上のデバイスは、単一のデバイス内に実装されてもよく、又は図１に示された単一のデバイスは、複数の分散型デバイスとして実装されてもよい。追加又は代替として、環境１００のデバイスのセット（例えば、１つ又は複数のデバイス）は、環境１００のデバイスの別のセットによって実施されるものとして記載された１つ又は複数の機能を実施してもよい。

【0023】

図２は、図１の１つ又は複数のデバイスの例示的な構成要素のブロック図である。

【0024】

デバイス２００は、ユーザデバイス１１０及び／又はプラットフォーム１２０に対応してもよい。図２に示されたように、デバイス２００は、バス２１０、プロセッサ２２０、メモリ２３０、記憶構成要素２４０、入力構成要素２５０、出力構成要素２６０、及び通信インターフェース２７０を含んでもよい。

【0025】

バス２１０は、デバイス２００の構成要素間の通信を可能にする構成要素を含む。プロセッサ２２０は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組合せで実装される。プロセッサ２２０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は別のタイプの処理構成要素である。いくつかの実装形態では、プロセッサ２２０は、機能を実施するようにプログラムされることが可能な１つ又は複数のプロセッサを含む。メモリ２３０は、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、並びに／又はプロセッサ２２０が使用するための情報及び／若しくは命令を記憶する別のタイプの動的若しくは静的なストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、及び／若しくは光メモリ）を含む。

【0026】

記憶構成要素２４０は、デバイス２００の動作及び使用に関連する情報及び／又はソフトウェアを記憶する。例えば、記憶構成要素２４０は、対応するドライブとともに、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、及び／若しくはソリッド・ステート・ディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、並びに／又は別のタイプの非一時的コンピュータ可読媒体を含んでもよい。

【0027】

入力構成要素２５０は、デバイス２００がユーザ入力（例えば、タッチ・スクリーン・ディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイクロフォン）などを介して情報を受信することを可能にする構成要素を含む。追加又は代替として、入力構成要素２５０は、情報を検知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）構成要素、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含んでもよい。出力構成要素２６０は、デバイス２００（例えば、ディスプレイ、スピーカ、及び／又は１つ若しくは複数の発光ダイオード（ＬＥＤ））からの出力情報を提供する構成要素を含む。

【0028】

通信インターフェース２７０は、デバイス２００が有線接続、ワイヤレス接続、又は有線接続とワイヤレス接続の組合せなどを介して他のデバイスと通信することを可能にする、トランシーバのような構成要素（例えば、トランシーバ並びに／又は別個の受信機及び送信機）を含む。通信インターフェース２７０は、デバイス２００が別のデバイスから情報を受信し、及び／又は別のデバイスに情報を提供することを可能にし得る。例えば、通信インターフェース２７０は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサル・シリアル・バス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラー・ネットワーク・インターフェースなどを含んでもよい。

【0029】

デバイス２００は、本明細書に記載された１つ又は複数のプロセスを実施し得る。デバイス２００は、プロセッサ２２０がメモリ２３０及び／又は記憶構成要素２４０などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令を実行することに応答して、これらのプロセスを実施し得る。コンピュータ可読媒体は、本明細書では非一時的メモリデバイスと定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、又は複数の物理ストレージデバイスにわたって広がるメモリ空間を含む。

【0030】

ソフトウェア命令は、別のコンピュータ可読媒体から、又は通信インターフェース２７０を介して別のデバイスから、メモリ２３０及び／又は記憶構成要素２４０に読み込まれてもよい。メモリ２３０及び／又は記憶構成要素２４０に記憶されたソフトウェア命令は、実行されると、本明細書に記載された１つ又は複数のプロセスをプロセッサ２２０に実施させ得る。追加又は代替として、ハード有線回路は、本明細書に記載された１つ又は複数のプロセスを実施するために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて使用されてもよい。このように、本明細書に記載された実装形態は、ハードウェア回路とソフトウェアのいかなる特定の組合せにも限定されない。

【0031】

図２に示された構成要素の数及び配置は、一例として提供されている。実際には、デバイス２００は、図２に示された構成要素に比べて、更なる構成要素、少ない構成要素、異なる構成要素、又は異なる配置の構成要素を含んでもよい。追加又は代替として、デバイス２００の構成要素のセット（例えば、１つ又は複数の構成要素）は、デバイス２００の構成要素の別のセットによって実施されるものとして記載された１つ又は複数の機能を実施してもよい。

【0032】

次に、メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法及び装置について詳細に説明する。

【0033】

本開示は、任意の滑らかなビットレート制御をサポートするメタＮＩＣフレームワークを提案する。メタ学習メカニズムは、現在の入力画像及び目標ビットレートに基づいて、基礎となるＮＩＣモデルのレート適応重みパラメータを適応的に計算するために使用され、これにより、単一のメタＮＩＣモデルインスタンスは、任意の滑らかな様々なビットレートで画像圧縮を達成することができる。

【0034】

サイズ（ｈ、ｗ、ｃ）の入力画像ｘが与えられ、ここで、ｈ、ｗ、ｃはそれぞれ、高さ、幅、チャネル数であり、ＮＩＣワークフローのテスト段階の目標は、以下のように記述することができる。記憶及び伝送のためにコンパクトな圧縮表現

【数1】

が計算される。次に、圧縮表現

【数2】

に基づいて、出力画像

【数3】

が再構成され、そして、再構成された出力画像

【数4】

は、元の入力画像ｘと同様であり得る。歪み損失

【数5】

は、ピーク信号対雑音比（ＰＳＮＲ）、又は構造的類似性指数尺度（ＳＳＩＭ）などの再構成誤差を測定するために使用される。圧縮表現

【数6】

のビット消費を測定するために、レート損失

【数7】

が計算される。したがって、トレードオフハイパーパラメータλが、ジョイントレート歪み（Ｒ－Ｄ）損失を形成するために使用される。

【0035】

【数8】

【0036】

大きいハイパーパラメータλを用いた訓練では、歪みは小さいがビット消費の多い圧縮モデルとなり、その逆もまた同様である。従来、所定のハイパーパラメータλの各値について、ＮＩＣモデルインスタンスは訓練されるが、これはハイパーパラメータλの他の値ではうまく機能しない。したがって、圧縮ストリームの複数のビットレートを達成するために、従来の方法は、複数のモデルインスタンスを訓練し、及び記憶する必要があり得る。また、実際にはハイパーパラメータλの可能な値ごとにモデルを訓練することは困難であるため、従来の方法は、任意の滑らかなビットレート制御を達成することができない。

【0037】

図３Ａ及び図３Ｂは、実施形態による、メタ学習によるレート制御を用いた適応ニューラル画像圧縮のためのメタＮＩＣアーキテクチャ３００Ａ及び３００Ｂのブロック図である。

【0038】

図３Ａに示すように、メタＮＩＣアーキテクチャ３００Ａは、共有符号化ＮＮ３０５、適応符号化ＮＮ３１０、共有復号ＮＮ３１５、及び適応復号ＮＮ３２０を含む。

【0039】

図３Ｂに示すように、メタＮＩＣアーキテクチャ３００Ｂは、共有符号化レイヤ３２５及び３３０と、適応符号化レイヤ３３５及び３４０と、共有復号レイヤ３４５及び３５０と、適応復号レイヤ３５５及び３６０と、を含む。

【0040】

本開示では、基礎をなすＮＩＣ符号化器及び基礎をなすＮＩＣ復号器のモデルパラメータは、４つの部分

【数9】

に分離され、それぞれ、共有符号化パラメータ（ＳＥＰ）、適応符号化パラメータ（ＡＥＰ）、共有復号パラメータ（ＳＤＰ）、及び適応復号パラメータ（ＡＤＰ）を示す。図３Ａ及び図３Ｂは、ＮＩＣネットワークアーキテクチャの２つの実施形態を示している。

【0041】

図３Ａでは、ＳＥＰ、ＳＤＰ、ＡＥＰ、及びＡＤＰは、個々のＮＮモジュールに分離され、これらの個々のモジュールは、ネットワーク前進計算のために順次互いに接続される。ここで、図３Ａは、これらの個々のＮＮモジュールを接続する順番を示している。他の順番を本明細書で使用してもよい。

【0042】

図３Ｂでは、パラメータ分割はＮＮレイヤ内にある。

【数10】

は、ＮＩＣ符号化器の第ｉ番目のレイヤ及びＮＩＣ復号器の第ｊ番目のレイヤに関するＳＥＰ、ＡＥＰ、ＳＤＰ、及びＡＤＰを、それぞれ表すものとする。ネットワークは、それぞれＳＥＰ及びＡＥＰ（又はＳＤＰ及びＡＤＰ）の対応する入力に基づいて、推論出力を計算し、これらの出力は、結合され（例えば、加算、連結、乗算などによって）、次いで次のレイヤに送られる。

【0043】

図３Ａの実施形態は、共有符号化ＮＮ３０５

【数11】

におけるレイヤが空であり、適応符号化ＮＮ３１０

【数12】

におけるレイヤが空であり、共有復号ＮＮ３１５

【数13】

におけるレイヤが空であり、及び適応復号ＮＮ３２０

【数14】

におけるレイヤが空である、図１Ｂのケースとして見ることができる。したがって、他の実施形態では、図３Ａ及び図３Ｂのネットワーク構造を組み合わせることができ、ＮＩＣアーキテクチャは、純粋な共有符号化／復号レイヤ及び／又は純粋な適応符号化／復号レイヤと、部分的な共有符号化／復号パラメータ及び部分的な適応符号化／復号パラメータを有する混合レイヤとの両方を含む。

【0044】

図４Ａは、実施形態による、テスト段階中のメタ学習によるレート制御を用いた適応ニューラル画像圧縮のための装置４００のブロック図である。

【0045】

図４Ａに示すように、装置４００は、メタＮＩＣ符号化器４１０及びメタＮＩＣ復号器４２０を含む。

【0046】

図４Ａは、メタＮＩＣフレームワークのテスト段階の全体的なワークフローを示している。

【数15】

及び

【数16】

は、メタＮＩＣ符号化器４１０の第ｉ番目のレイヤのＳＥＰ及びＡＥＰを、それぞれ表すものとする。これは、完全に共有されているレイヤの場合であるので、

【数17】

は空である、例示的な表記である。完全に適応的なレイヤの場合、

【数18】

は空である。言い換えれば、この表記を、図３Ａ及び図３Ｂの両方の実施形態に使用することができる。

【0047】

入力画像ｘが与えられ、目標トレードオフハイパーパラメータλが与えられると、メタＮＩＣ符号化器４１０は、圧縮表現

【数19】

を計算する。メタＮＩＣ符号化器４１０では、入力画像ｘがメタＮＩＣ符号化ＮＮを通過する。ｆ（ｉ）及びｆ（ｉ＋１）は、第ｉ番目のレイヤの入力テンソル及び出力テンソルを表すものとする。

【0048】

図４Ｂは、図４Ａに示された装置４００のメタＮＩＣ符号化器４１０のブロック図である。

【0049】

図４Ｂに示すように、メタＮＩＣ符号化器４１０は、ＳＥＰ推論部４１２、ＡＥＰ予測部４１４、及びＡＥＰ推論部４１６を有する。

【0050】

図４Ｂは、第ｉ番目のレイヤ用のメタＮＩＣ符号化器４１０の推論ワークフローの例示的な実施形態を与えている。現在の入力ｆ（ｉ）及びＳＥＰ

【数20】

に基づいて、ＳＥＰ推論部４１２は、第ｉ番目のレイヤのＳＥＰを用いた前進計算によってモデル化された共有推論関数

【数21】

に基づいて、共有特徴ｇ（ｉ）を計算する。現在の入力ｆ（ｉ）、共有特徴ｇ（ｉ）、ＡＥＰ

【数22】

及びハイパーパラメータλに基づいて、ＡＥＰ予測部４１４は、第ｉ番目のレイヤの推定ＡＥＰ

【数23】

を計算する。ＡＥＰ予測部４１４は、例えば、元のＡＥＰ

【数24】

、現在の入力ｆ（ｉ）、及び目標ハイパーパラメータλに基づいて、更新された推定ＡＥＰ

【数25】

を予測する畳み込みレイヤ及び全接続レイヤを含むＮＮであってもよい。いくつかの実施形態では、現在の入力ｆ（ｉ）は、ＡＥＰ予測部４１４への入力として使用される。いくつかの他の実施形態では、現在の入力ｆ（ｉ）の代わりに、共有特徴ｇ（ｉ）が使用される。他の実施形態では、ＳＥＰ損失を、共有特徴ｇ（ｉ）に基づいて計算することができ、損失の勾配が、ＡＥＰ予測部４１４への入力として使用される。推定ＡＥＰ

【数26】

及び共有特徴ｇ（ｉ）に基づいて、ＡＥＰ推論部４１６は、第ｉ番目のレイヤにおいて推定ＡＥＰを用いた前進計算によってモデル化されたＡＥＰ推論関数

【数27】

に基づいて、出力テンソルｆ（ｉ＋１）を計算する。

【0051】

なお、図４Ｂで説明したワークフローは例示的な表記である。ＡＥＰ

【数28】

と完全に共有されるレイヤが空である場合、ＡＥＰ関連モジュール及びｆ（ｉ＋１）＝ｇ（ｉ）は省略されてもよい。ＳＥＰ

【数29】

と完全に適応的であるレイヤが空である場合、ＳＥＰ関連モジュール及びｇ（ｉ）＝ｆ（ｉ）は省略されてもよい。

【0052】

メタＮＩＣ符号化器４１０に合計Ｎ個のレイヤがあると仮定すると、最後のレイヤの出力は圧縮表現

【数30】

であり、これは（例えば、量子化及びエントロピー符号化によってコンパクトなビットストリームに更に圧縮された後で）、メタＮＩＣ復号器４２０に送信される。

【0053】

再び図４Ａを参照して、復号器側で、

【数31】

及び

【数32】

は、メタＮＩＣ復号器４２０の第ｊ番目のレイヤのＳＤＰ及びＡＤＰをそれぞれ、表すものとする。メタＮＩＣ符号化器４１０と同様に、これは、完全に共有されるレイヤの場合であるので、

【数33】

が空であり、完全に適応性のあるレイヤの場合であるので、

【数34】

が空である、例示的な表記である。

【0054】

復号器側では、復元された圧縮表現

【数35】

が、エントロピー復号及び逆量子化によって、メタＮＩＣ符号化器４１０から送信されたビットストリームから取得される。復元された圧縮表現

【数36】

及び目標トレードオフハイパーパラメータλに基づいて、メタＮＩＣ復号器４２０は、再構成された出力画像

【数37】

を計算する。メタＮＩＣ復号器４２０では、復元された圧縮表現

【数38】

は、メタＮＩＣ復号ＮＮを通過する。ｆ（ｊ）及びｆ（ｊ＋１）は、第ｊ番目のレイヤの入力テンソル及び出力テンソルを表すものとする。

【0055】

図４Ｃは、図４Ａに示された装置４００のメタＮＩＣ復号器４２０のブロック図である。

【0056】

図４Ｃに示すように、メタＮＩＣ復号器４２０は、ＳＤＰ推論部４２２と、ＡＤＰ予測部４２４と、ＡＤＰ推論部４２６と、を含む。

【0057】

図４Ｃは、第ｊ番目のレイヤのためのメタＮＩＣ復号器４２０の推論ワークフローの例示的な実施形態を与えている。現在の入力ｆ（ｊ）及びＳＤＰ

【数39】

に基づいて、ＳＤＰ推論部４２２は、第ｊ番目のレイヤのＳＤＰを用いたネットワーク前進計算によってモデル化された共有推論関数

【数40】

に基づいて、共有特徴量ｇ（ｊ）を計算する。現在の入力ｆ（ｊ）、共有特徴ｇ（ｊ）、ＡＤＰ

【数41】

及びハイパーパラメータλに基づいて、ＡＤＰ予測部４２４は、ｊ番目のレイヤの推定ＡＤＰ

【数42】

を計算する。ＡＤＰ予測部４２４は、例えば、元のＡＤＰ

【数43】

、現在の入力ｆ（ｊ）、及び目標ハイパーパラメータλに基づいて、更新された推定

【数44】

を予測する畳み込みレイヤ及び全接続レイヤを有するＮＮであってもよい。いくつかの実施形態では、現在の入力ｆ（ｊ）は、ＡＤＰ予測部４２４への入力として使用される。いくつかの他の実施形態では、共有特徴ｇ（ｊ）が、現在の入力ｆ（ｊ）の代わりに使用される。他の実施形態では、ＳＤＰ損失が、共有特徴量ｇ（ｊ）に基づいて計算され、損失の勾配が、ＡＤＰ予測部４２４への入力として使用される。推定されたＡＤＰ

【数45】

及び共有特徴ｇ（ｊ）に基づいて、ＡＤＰ推論部４２６は、第ｊ番目のレイヤの推定されたＡＤＰを用いたネットワーク前進計算によってモデル化されたＡＤＰ推論関数

【数46】

に基づいて、出力テンソルｆ（ｊ＋１）を計算する。

【0058】

なお、図４Ｃで説明したワークフローは、例示的な表記である。ＡＤＰ

【数47】

と完全に共有されるレイヤが空である場合、ＡＤＰ関連モジュール及びｆ（ｊ＋１）＝ｇ（ｊ）は省略されてもよい。ＳＤＰ

【数48】

と完全に適応的であるレイヤが空である場合、ＳＤＰ関連モジュール及びｇ（ｊ）＝ｆ（ｊ）は省略されてもよい。

【0059】

メタＮＩＣ復号器４２０に合計Ｍ個のレイヤがあると仮定すると、最後のレイヤの出力は再構成画像出力

【数49】

である。

【0060】

メタＮＩＣフレームワークは、任意の滑らかなトレードオフのハイパーパラメータλを可能にし、処理ワークフローは、目標ハイパーパラメータλに適合するように圧縮表現及び再構成出力画像を計算することに留意されたい。

【0061】

いくつかの実施形態では、トレードオフハイパーパラメータλは、符号化器及び復号器について同じである。いくつかの他の実施形態では、ハイパーパラメータλは、メタＮＩＣ符号化器４１０及びメタＮＩＣ復号器４２０について異なり得る。そのような場合、メタＮＩＣ復号器４２０は、圧縮表現を、元の符号化目標品質とは異なる目標品質に適合させようと試みる。

【0062】

場合によっては、ＡＥＰ予測部４１４及びＡＤＰ予測部４２４が、入力ｆ（ｉ）又はｆ（ｊ）を考慮して／考慮せずに、トレードオフハイパーパラメータの所定のセットにわたって予測を実施するだけであるとき、メタＮＩＣモデルは、複数の所定のビットレートの圧縮効果に対応するために、１つのモデルインスタンスを使用するマルチレートＮＩＣモデルに縮小される。

【0063】

図５は、実施形態による、訓練段階中のメタ学習によるレート制御を用いた適応ニューラル画像圧縮のための訓練装置５００のブロック図である。

【0064】

図５に示すように、訓練装置５００は、タスクサンプラ５１０と、内側ループ損失生成器５２０と、内側ループ更新部５３０と、メタ損失生成器５４０と、メタ更新部５５０と、重み更新部５６０と、を含む。

【0065】

訓練プロセスは、図４ＡのメタＮＩＣ符号化器４１０についてのＳＥＰ

【数50】

及びＡＥＰ

【数51】

、並びに図４ＡのメタＮＩＣ復号器４２０についてのＳＤＰ

【数52】

及びＡＤＰ

【数53】

、並びにＡＥＰ予測ＮＮ（Φ^ｅとして示されるモデルパラメータ）及びＡＤＰ予測ＮＮ（Φ^ｄとして示されるモデルパラメータ）を、学習することを目的とする。

【0066】

実施形態では、訓練目的のために、モデル非依存型メタ学習（ＭＡＭＬ）メカニズムが使用される。図５は、メタ訓練フレームワークの例示的なワークフローを与えている。他のメタ訓練アルゴリズムを、ここで使用することができる。

【0067】

訓練の場合、訓練データＤ_ｔｒ（λ_ｉ）のセットがあり、ここで、ｉ＝１、・・・、Ｋ、各Ｄ_ｔｒ（λ_ｉ）は、訓練トレードオフハイパーパラメータλ_ｉに対応し、合計でＫ個の訓練トレードオフハイパーパラメータ（したがって、Ｋ個の訓練データセット）がある。更に、検証データＤ_ｖａｌ（λ_ｊ）のセットがあり、ここで、ｊ＝１、・・・、Ｐ、各Ｄ_ｖａｌ（λ_ｊ）は、検証トレードオフハイパーパラメータλ_ｉに対応し、合計でＰ個の検証トレードオフハイパーパラメータがある。検証トレードオフハイパーパラメータは、訓練セットとは異なるハイパーパラメータを含む。検証トレードオフハイパーパラメータはまた、訓練セットからのハイパーパラメータを含むことができる。

【0068】

目標トレードオフハイパーパラメータを有するＮＩＣタスクが、タスク分布Ｐ（λ）から引き出されるという仮定の下で、全体的な訓練目標は、すべての（訓練及び将来見えない）トレードオフハイパーパラメータに広く適用され得るように、メタＮＩＣモデルを学習することである。これを達成するために、メタＮＩＣモデルを学習するための損失は、すべての訓練トレードオフハイパーパラメータにわたる、すべての訓練データセットにわたって最小化される。

【0069】

【数54】

は、ＳＥＰ及びＳＤＰにおけるすべての共有パラメータを含むものとし、

【数55】

は、ＡＥＰ及びＡＤＰにおけるすべての適応パラメータを含むものとする。ＭＡＭＬ訓練プロセスは、勾配ベースのパラメータ更新のために、外側ループ及び内側ループを有し得る。各外側ループ反復について、タスクサンプラ５１０は、最初にＫ’個の訓練トレードオフハイパーパラメータのセットをサンプリングする（Ｋ’≦Ｋ）。次いで、各サンプリングされた訓練トレードオフハイパーパラメータλ_ｉについて、タスクサンプラ５１０は、訓練データＤ_ｔｒ（λ_ｉ）のセットから訓練データ

【数56】

のセットをサンプリングする。また、タスクサンプラ５１０は、Ｐ’（Ｐ’≦Ｐ）個の検証トレードオフハイパーパラメータのセットをサンプリングし、サンプリングした各検証ハイパーパラメータλ_ｊについて、検証データＤ_ｖａｌ（λ_ｊ）のセットから検証データ

【数57】

のセットをサンプリングする。次に、サンプリングした各データ

【数58】

について、メタＮＩＣ前進計算が、現在のパラメータΘ_ｓ、Θ_ａ、Φ^ｅ、及びΦ^ｄに基づいて実行され、次いで、内側ループ損失生成器５２０は、累積内側ループ損失

【数59】

を計算する。

【0070】

【数60】

【0071】

損失関数Ｌ（ｘ、Θ_ｓ、Θ_ａ、Φ^ｅ、Φ^ｄ、λ_ｉ）は、式（１）のＲ－Ｄ損失と、別の正則化損失（例えば、異なるトレードオフを対象とする中間ネットワーク出力を区別する補助損失）と、を含み得る。次に、内側ループ損失

【数61】

に基づいて、λ_ｉのハイパーパラメータとして所与のステップサイズをａ_ｓｉ及びａ_ａｉとすると、内側ループ更新部５３０は、更新されたタスク固有パラメータ更新を計算する。

【0072】

【数62】

及び

【0073】

【数63】

【0074】

累積内側ループ損失

【数64】

の勾配

【数65】

及び勾配

【数66】

はそれぞれ、適応パラメータ

【数67】

及び

【数68】

の更新バージョンを計算するために使用される。

【0075】

次に、メタ損失生成器５４０は、外側メタ対象、又はすべてのサンプリングされた検証ハイパーパラメータにわたる損失を計算する。

【0076】

【数69】

及び

【0077】

【数70】

【0078】

ここで、

【数71】

は、パラメータ

【数72】

、

【数73】

、Φ^ｓ、Φ^ａを使用して、メタＮＩＣ前進計算に基づいて、入力ｘについて計算された損失である。λ_ｊのハイパーパラメータとしてステップサイズをβ_ａｊ及びβ_ｓｊとすると、メタ更新部５５０は、モデルパラメータを以下のように更新する。

【0079】

【数74】

、及び

【0080】

【数75】

【0081】

いくつかの実施形態では、Θ_ｓは、内側ループ内で更新されない、すなわち、ａ_ｓｉ＝０、

【数76】

である。これは、訓練プロセスを安定させるために役立ち得る。

【0082】

ＡＥＰ予測ＮＮ及びＡＤＰ予測ＮＮのパラメータΦ^ｅ、Φ^ｄについては、重み更新部５６０が定期的な訓練により更新する。すなわち、訓練及び検証データＤ_ｔｒ（λ_ｉ）、ｉ＝１、・・・、Ｋ、Ｄ_ｖａｌ（λ_ｊ）、ｊ＝１、・・・、Ｐに従って、現在のパラメータΘ_ｓ、Θ_ａ、Φ^ｅ、Φ^ｄに基づいて、すべてのサンプルｘ∈Ｄ_ｔｒ（λ_ｉ）についての損失Ｌ（ｘ、Θ_ｓ、Θ_ａ、Φ^ｅ、Φ^ｄ、λ_ｉ）及びすべてのサンプルｘ∈Ｄ_ｖａｌ（λ_ｊ）についての損失Ｌ（ｘ、Θ_ｓ、Θ_ａ、Φ^ｅ、Φ^ｄ、λ_ｊ）が計算される。これらすべての損失の勾配は、定期的なバックプロパゲーションによって、Φ^ｅ、Φ^ｄ上でパラメータ更新を実施するために、累積（例えば、合計）され得る。

【0083】

なお、本開示は、これらのモデルパラメータを更新するための最適化アルゴリズムや損失関数に何ら制約を課すものではない。

【0084】

図４ＢのＡＥＰ予測部４１４及びメタＮＩＣモデルのＡＤＰ予測部４２４のみが、訓練トレードオフハイパーパラメータの所定のセットにわたって予測を実施する場合、検証トレードオフハイパーパラメータは、訓練ハイパーパラメータと同じになる。同じＭＡＭＬ訓練手順を使用して、この縮小されたメタＮＩＣモデル（すなわち、複数の所定のビットレートの圧縮効果に対応するために、１つのモデルインスタンスを使用するマルチレートＮＩＣモデル）を訓練することができる。

【0085】

本明細書に記載の実施形態により、１つのメタＮＩＣモデルインスタンスのみを使用する機能は、メタ学習を使用して任意の滑らかなビットレート制御を用いた画像圧縮を達成することができる。本方法及び装置を、単一のモデルによるマルチレート圧縮と、滑らかなビットレート制御との両方に使用することができる。実施形態は、様々な基礎となるＮＩＣモデル及びメタ学習方法に対応する柔軟なフレームワークを提供する。

【0086】

図６は、実施形態による、メタ学習によるレート制御を用いた適応ニューラル画像圧縮の方法のフローチャートの図である。

【0087】

いくつかの実装形態では、図６の１つ又は複数のプロセスブロックは、プラットフォーム１２０によって実施されてもよい。いくつかの実装形態では、図６の１つ又は複数のプロセスブロックは、ユーザデバイス１１０などのプラットフォーム１２０とは別個である、又はプラットフォーム１２０を含む別のデバイス若しくはデバイスのグループによって実施されてもよい。

【0088】

図６に示すように、方法６００は、動作６１０において、入力画像及びハイパーパラメータを受信するステップを含む。

【0089】

方法６００は、動作６２０において、圧縮表現を生成するために、符号化ニューラルネットワークを使用して、受信したハイパーパラメータに基づいて、受信した入力画像を符号化するステップを含む。

【0090】

符号化するステップは、第１の共有符号化パラメータを有する第１の共有符号化レイヤを使用して、受信した入力画像に対して第１の共有符号化を実施するステップと、第１の適応符号化パラメータを有する第１の適応符号化レイヤを使用して、受信した入力画像に対して第１の適応符号化を実施するステップと、第１の結合出力を生成するために、第１の共有符号化した入力画像と第１の適応符号化した入力画像とを結合するステップと、第２の共有符号化パラメータを有する第２の共有符号化レイヤを使用して、第１の結合出力に対して第２の共有符号化を実施するステップと、を含む。符号化するステップは、第２の適応符号化パラメータを有する第２の適応符号化レイヤを使用して、第１の結合出力に対して第２の適応符号化を実施するステップを更に含み得る。

【0091】

方法６００は、動作６３０において、復元された圧縮表現及びハイパーパラメータを受信するステップを含む。

【0092】

方法６００は、動作６４０において、出力画像を再構成するために、復号ニューラルネットワークを使用して、受信したハイパーパラメータに基づいて、受信した復元された圧縮表現を復号するステップを含む。

【0093】

復号するステップは、第１の共有復号パラメータを有する第１の共有復号レイヤを使用して、受信した復元された圧縮表現に対して第１の共有復号を実施するステップと、第１の適応復号パラメータを有する第１の適応復号レイヤを使用して、受信した復元された圧縮表現に対して第１の適応復号を実施するステップと、第２の結合出力を生成するために、第１の共有復号した復元された圧縮表現と第１の適応復号した復元された圧縮表現とを結合するステップと、第２の共有復号パラメータを有する第２の共有復号レイヤを使用して、第２の結合出力に対して第２の共有復号を実施するステップと、第２の適応復号パラメータを有する第２の適応復号レイヤを使用して、第２の結合出力に対して第２の適応復号を実施するステップと、を含む。

【0094】

符号化するステップは、受信した入力画像及び第１の共有符号化パラメータに基づいて、共有特徴を生成するステップと、予測ニューラルネットワークを使用して、受信した入力画像、第１の適応符号化パラメータ、生成した共有特徴、及び受信したハイパーパラメータのうちの１つ又は複数に基づいて、推定適応符号化パラメータを生成するステップと、推定適応符号化パラメータ及び受信したハイパーパラメータに基づいて、圧縮表現を生成するステップと、を含み得る。

【0095】

予測ニューラルネットワークは、受信したハイパーパラメータ、第１の共有符号化パラメータ、第１の適応符号化パラメータ、第１の共有復号パラメータ、第１の適応復号パラメータ、及び予測ニューラルネットワークの予測パラメータに基づいて、受信したハイパーパラメータに対応する訓練データのための第１の損失、及び受信したハイパーパラメータに対応する検証データのための第２の損失を生成することによって、並びに、生成した第１の損失の勾配及び生成した第２の損失の勾配に基づいて、予測パラメータを更新することによって、訓練され得る。

【0096】

復号するステップは、受信した入力画像及び第１の共有復号パラメータに基づいて、共有特徴を生成するステップと、予測ニューラルネットワークを使用して、受信した入力画像、第１の適応復号パラメータ、生成した共有特徴、及び受信したハイパーパラメータのうちの１つ又は複数に基づいて、推定適応復号パラメータを生成するステップと、推定適応復号パラメータ及び受信したハイパーパラメータに基づいて、出力画像を再構成するステップと、を含み得る。

【0097】

【0098】

符号化ニューラルネットワーク及び復号ニューラルネットワークは、受信したハイパーパラメータ、第１の共有符号化パラメータ、第１の適応符号化パラメータ、第１の共有復号パラメータ、及び第１の適応復号パラメータに基づいて、受信したハイパーパラメータに対応する訓練データのための内側ループ損失を生成することによって、生成した内側ループ損失の勾配に基づいて、第１の共有符号化パラメータ、第１の適応符号化パラメータ、第１の共有復号パラメータ、及び第１の適応復号パラメータの第１の更新をすることによって、受信したハイパーパラメータ、第１の更新をした第１の共有符号化パラメータ、第１の更新をした第１の適応符号化パラメータ、第１の更新をした第１の共有復号パラメータ、及び第１の更新をした第１の適応復号パラメータに基づいて、受信したハイパーパラメータに対応する検証データのためのメタ損失を生成することによって、並びに、生成したメタ損失の勾配に基づいて、第１の更新をした第１の共有符号化パラメータ、第１の更新をした第１の適応符号化パラメータ、第１の更新をした第１の共有復号パラメータ、及び第１の更新をした第１の適応復号パラメータの第２の更新をすることによって、訓練され得る。

【0099】

図６は方法６００の例示的なブロックを示すが、いくつかの実装形態では、方法６００は、図６に描写されたブロックに比べて、更なるブロック、少ないブロック、異なるブロック、又は異なる配置のブロックを含んでもよい。追加又は代替として、方法６００のブロックのうちの２つ以上は、並行して実施されてもよい。

【0100】

図７は、実施形態による、ニューラル画像圧縮のためのタスク適応事前処理のための装置７００のブロック図である。

【0101】

図７に示すように、装置７００は、第１の受信コード７１０と、符号化コード７２０と、第２の受信コード７３０と、復号コード７４０と、を含む。

【0102】

第１の受信コード７１０は、少なくとも１つのプロセッサに、入力画像及びハイパーパラメータを受信させるように構成される。

【0103】

符号化コード７２０は、少なくとも１つのプロセッサに、圧縮表現を生成させるために、符号化ニューラルネットワークを使用して、受信したハイパーパラメータに基づいて、受信した入力画像を符号化させるように構成される。

【0104】

符号化コード７２０は、少なくとも１つのプロセッサに、第１の共有符号化パラメータを有する第１の共有符号化レイヤを使用して、受信した入力画像に対して第１の共有符号化を実施させ、第１の適応符号化パラメータを有する第１の適応符号化レイヤを使用して、受信した入力画像に対して第１の適応符号化を実施させ、第１の結合出力を生成させるために、第１の共有符号化した入力画像と第１の適応符号化した入力画像とを結合させ、及び、第２の共有符号化パラメータを有する第２の共有符号化レイヤを使用して、第１の結合出力に対して第２の共有符号化を実施させる、ように更に構成される。符号化コード７２０は、少なくとも１つのプロセッサに、第２の適応符号化パラメータを有する第２の適応符号化レイヤを使用して、第１の結合出力に対して第２の適応符号化を実施させるように更に構成されてもよい。

【0105】

第２の受信コード７３０は、少なくとも１つのプロセッサに、復元された圧縮表現及びハイパーパラメータを受信させるように構成される。

【0106】

復号コード７４０は、少なくとも１つのプロセッサに、出力画像を再構成させるために、復号ニューラルネットワークを使用して、受信したハイパーパラメータに基づいて、受信した復元された圧縮表現を復号させるように構成される。

【0107】

復号コード７４０は、少なくとも１つのプロセッサに、第１の共有復号パラメータを有する第１の共有復号レイヤを使用して、受信した復元された圧縮表現に対して第１の共有復号を実施させ、第１の適応復号パラメータを有する第１の適応復号レイヤを使用して、受信した復元された圧縮表現に対して第１の適応復号を実施させ、第２の結合出力を生成させるために、第１の共有復号した復元された圧縮表現と第１の適応復号した復元された圧縮表現とを結合させ、第２の共有復号パラメータを有する第２の共有復号レイヤを使用して、第２の結合出力に対して第２の共有復号を実施させ、及び、第２の適応復号パラメータを有する第２の適応復号レイヤを使用して、第２の結合出力に対して第２の適応復号を実施させる、ように更に構成される。

【0108】

符号化コード７２０は、少なくとも１つのプロセッサに、受信した入力画像及び第１の共有符号化パラメータに基づいて、共有特徴を生成させ、予測ニューラルネットワークを使用して、受信した入力画像、第１の適応符号化パラメータ、生成した共有特徴、及び受信したハイパーパラメータのうちの１つ又は複数に基づいて、推定適応符号化パラメータを生成させ、並びに、推定適応符号化パラメータ及び受信したハイパーパラメータに基づいて、圧縮表現を生成させる、ように更に構成されてもよい。

【0109】

【0110】

復号コード７４０は、少なくとも１つのプロセッサに、受信した入力画像及び第１の共有復号パラメータに基づいて、共有特徴を生成させ、予測ニューラルネットワークを使用して、受信した入力画像、第１の適応復号パラメータ、生成した共有特徴、及び受信したハイパーパラメータのうちの１つ又は複数に基づいて、推定適応復号パラメータを生成させ、並びに、推定適応復号パラメータ及び受信したハイパーパラメータに基づいて、出力画像を再構成させる、ように更に構成されてもよい。

【0111】

【0112】

【0113】

提案された方法は、別々に使用されてもよく、任意の順序で組み合わされてもよい。更に、方法（又は実施形態）、符号化器、及び復号器の各々は、処理回路（例えば、１つ若しくは複数のプロセッサ又は１つ若しくは複数の集積回路）によって実装されてもよい。一例では、１つ又は複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。

【0114】

前述の開示は、例示及び説明を提供するが、網羅的であること、又は実装形態を開示された正確な形態に限定することを意図するものではない。修正形態及び変形形態は、上記の開示に照らして実現可能であり、又は実装形態の実践から取得されてもよい。

【0115】

本明細書で使用される構成要素という用語は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組合せとして広く解釈されることを意図している。

【0116】

本明細書に記載のシステム及び／又は方法は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組合せの異なる形態で実装されてもよいことは明らかであろう。これらのシステム及び／又は方法を実装するために使用される実際の専用の制御ハードウェア又はソフトウェアコードは、実装形態を限定するものではない。したがって、システム及び／又は方法の動作及び挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、ソフトウェア及びハードウェアは、本明細書の記載に基づいてシステム及び／又は方法を実装するように設計され得ることが理解される。

【0117】

特徴の組合せが特許請求の範囲に列挙され、及び／又は本明細書に開示されているが、これらの組合せは、可能な実装形態の開示を限定するものではない。実際には、これらの特徴の多くは、特許請求の範囲に具体的に列挙されていない、及び／又は本明細書に開示されていない方法で組み合わされてもよい。以下に列挙されている各従属請求項は１つの請求項のみに直接従属し得るが、可能な実施態様の開示は、請求項セット内の他のすべての請求項との組合せにおいて各従属請求項を含む。

【0118】

本明細書で使用される要素、行為、又は指示は、明示的にそのように記載されていない限り、重要又は必須であると解釈されなくてもよい。また、本明細書で使用される冠詞「ａ」及び「ａｎ」は、１つ又は複数の項目を含むものであり、「１つ又は複数」と同じ意味で使用されてもよい。更に、本明細書で使用される「セット」という用語は、１つ又は複数の項目（例えば、関連項目、非関連項目、関連項目と非関連項目の組合せなど）を含むものであり、「１つ又は複数」と同じ意味で使用されてもよい。１つの項目のみが対象とされる場合、「１つ」という用語又は同様の言葉が使用される。また、本明細書で使用される「有する（ｈａｓ）」、「有する（ｈａｖｅ）」、「有する（ｈａｖｉｎｇ）」などの用語は、オープンエンド用語であることが意図される。更に、「に基づいて」という語句は、特に明記されない限り、「に少なくとも部分的に基づいて」を意味するものである。

【符号の説明】

【0119】

１００環境
１１０ユーザデバイス
１２０プラットフォーム
１２２クラウドコンピューティング環境
１２４コンピューティングリソース
１２４－１アプリケーション
１２４－２仮想マシン
１２４－３仮想化ストレージ
１２４－４ハイパーバイザ
１３０ネットワーク
２００デバイス
２１０バス
２２０プロセッサ
２３０メモリ
２４０記憶構成要素
２５０入力構成要素
２６０出力構成要素
２７０通信インターフェース
３００Ａ、３００ＢメタＮＩＣアーキテクチャ
３０５共有符号化ＮＮ
３１０適応符号化ＮＮ
３１５共有復号ＮＮ
３２０適応復号ＮＮ
３２５、３３０共有符号化レイヤ
３３５、３４０適応符号化レイヤ
３４５、３５０共有復号レイヤ
３５５、３６０適応復号レイヤ
４００装置
４１０メタＮＩＣ符号化器
４１２ＳＥＰ推論部
４１４ＡＥＰ予測部
４１６ＡＥＰ推論部
４２０メタＮＩＣ復号器
４２２ＳＤＰ推論部
４２４ＡＤＰ予測部
４２６ＡＤＰ推論部
５００訓練装置
５１０タスクサンプラ
５２０内部ループ損失生成器
５３０内部ループ更新部
５４０メタ損失生成器
５５０メタ更新部
５６０重み更新部
７００装置
７１０第１の受信コード
７２０符号化コード
７３０第２の受信コード
７４０復号コード

【図1】