特表 2023-534481 ニューラルネットワークを使用したビデオ復号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-09

(54)【発明の名称】ニューラルネットワークを使用したビデオ復号化

(51)【国際特許分類】

   H04N 19/70 20140101AFI20230802BHJP

   H04N 19/85 20140101ALI20230802BHJP

   G06V 10/82 20220101ALI20230802BHJP

   G06T 7/00 20170101ALI20230802BHJP

【ＦＩ】

H04N19/70

H04N19/85

G06V10/82

G06T7/00 350C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023502953

(86)(22)【出願日】2021-07-13

(85)【翻訳文提出日】2023-03-15

(86)【国際出願番号】 EP2021069519

(87)【国際公開番号】W WO2022013249

(87)【国際公開日】2022-01-20

(31)【優先権主張番号】2007529

(32)【優先日】2020-07-17

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521196970

【氏名又は名称】フォンダシオン ベー－コム

【氏名又は名称原語表記】ＦＯＮＤＡＴＩＯＮ Ｂ－ＣＯＭ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】フェリクス アンリ

(72)【発明者】

【氏名】ゴルドン クラール

【テーマコード（参考）】

5C159

5L096

【Ｆターム（参考）】

5C159KK13

5C159LA00

5C159RB09

5C159RC11

5C159RC24

5C159UA02

5C159UA05

5L096DA02

5L096HA02

5L096HA11

5L096KA01

5L096KA04

(57)【要約】

データストリームは、インジケータ（ＩＮＤ）と、ビデオ又はオーディオコンテンツを表すデータ（Ｆｎｎ）とを含む。このデータストリームを復号化する方法は、インジケータ（ＩＮＤ）を復号化して、表現データ（Ｆｎｎ）を復号化するために使用される人工ニューラルネットワークがデータストリーム中に符号化されるか、又は所定の人工ニューラルネットワークセットの一部を形成するかを特定するステップ（Ｅ６０）と、表現データ（Ｆｎｎ）を人工ニューラルネットワークによって復号化するステップ（Ｅ７０）と、を含む。インジケータ（ＩＮＤ）を復号化することにより、人工ニューラルネットワークが上述の所定のセットの一部を形成することが特定される場合、方法は、ニューラルネットワークの識別子（Ｉｎｎ）を復号化するステップ（Ｅ６２）を伴う。関連する復号化装置及び関連するデータストリームも記載される。

【特許請求の範囲】

【請求項1】

インジケータ（ＩＮＤ、ＩＮＤ’）と、オーディオ又はビデオコンテンツを表すデータ（Ｆｎｎ）とを含むデータストリームを復号化する方法であって、
－ 前記インジケータ（ＩＮＤ、ＩＮＤ’）を復号化して、前記表現データ（Ｆｎｎ）を復号化するために使用される人工ニューラルネットワーク（１８）が前記データストリーム中で符号化されるか、又は所定の人工ニューラルネットワークセットに属するかを特定するステップ（Ｅ６０）と、
－ 前記表現データ（Ｆｎｎ）を前記人工ニューラルネットワーク（１８）によって復号化するステップ（Ｄ７０）と、
を含む方法。

【請求項2】

前記コンテンツは、ビデオシーケンスの第一の部分であり、前記ビデオシーケンスは、前記第一の部分及び第二の部分を含み、前記表現データを復号化する前記ステップは、前記第一の部分を生成し、前記方法は、他のデータを別の人工ニューラルネットワークによって復号化して、前記第二の部分を生成するステップをさらに含む、請求項１に記載の復号化方法。

【請求項3】

前記他の人工ニューラルネットワークは、前記人工ニューラルネットワークの構造と同一の構造を有する、請求項２に記載の復号化方法。

【請求項4】

前記第一の部分及び前記第二の部分は、使用される前記コンテンツの表現フォーマットについて２つの画像グループをそれぞれ形成する、請求項２又は３に記載の復号化方法。

【請求項5】

人工ニューラルネットワークのリスト（Ｌ）を、データストリームの送信を制御するための装置に送信するステップ（Ｅ５０）を含む、請求項１～４の何れか一項に記載の復号化方法。

【請求項6】

前記インジケータ（ＩＮＤ）を復号化することにより、前記人工ニューラルネットワーク（１８）が前記所定のセットに属することが特定される場合、前記ニューラルネットワーク（１８）の識別子（Ｉｎｎ）を復号化するステップ（Ｅ６２）を含む、請求項１～５の何れか一項に記載の復号化方法。

【請求項7】

記憶ユニット（１２）内において、前記復号化された識別子（Ｉｎｎ）によって識別された前記人工ニューラルネットワーク（１８）のパラメータを読み出すステップを含む、請求項６に記載の復号化方法。

【請求項8】

前記記憶ユニット（１２）は、ランダムアクセスデコーダを形成する第一の人工ニューラルネットワークを表す第一のパラメータセットと、低レイテンシデコーダを形成する第二の人工ニューラルネットワークを表す第二のパラメータセットとを記憶する、請求項７に記載の復号化方法。

【請求項9】

前記復号化された識別子によって識別された前記人工ニューラルネットワークに関するデータがない場合、エラーメッセージを生成するステップを含む、請求項６に記載の復号化方法。

【請求項10】

リモートサーバから、前記復号化された識別子（Ｉｎｎ）によって識別された前記人工ニューラルネットワーク（１８）のパラメータを受信するステップを含む、請求項６に記載の復号化方法。

【請求項11】

前記インジケータ（ＩＮＤ’）を復号化することにより、前記人工ニューラルネットワーク（１８）が前記データストリーム中で符号化されることが特定される場合、前記データストリームに含まれる、前記人工ニューラルネットワーク（１８）を符号化するデータ（Ｒｃ）を復号化して、前記人工ニューラルネットワーク（１８）のパラメータを取得するステップ（Ｅ６６）を含む、請求項１～５の何れか一項に記載の復号化方法。

【請求項12】

復号化装置であって、
－ インジケータ（ＩＮＤ、ＩＮＤ’）と、オーディオ又はビデオコンテンツを表すデータ（Ｆｎｎ）とを含むデータストリームを受信するためのユニット（１１）と、
－ 前記インジケータ（ＩＮＤ、ＩＮＤ’）を復号化することにより、前記表現データ（Ｆｎｎ）を復号化するために使用される人工ニューラルネットワーク（１８）が所定の人工ニューラルネットワークセットに属するか、又は前記データストリーム中で符号化されるかを特定し、且つ前記表現データを前記人工ニューラルネットワーク（１８）によって復号化するように設計された復号化アセンブリ（１４、１６）と、
を含む複合化装置。

【請求項13】

データストリームであって、オーディオ又はビデオコンテンツを表すデータ（Ｆｎｎ）と、前記表現データ（Ｆｎｎ）を復号化するために使用される人工ニューラルネットワーク（１８）が前記データストリーム中で符号化されるか、又は所定の人工ニューラルネットワークセットに属するかを示すインジケータ（ＩＮＤ、ＩＮＤ’）とを含むデータストリーム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオビジュアルコンテンツの復号化の技術分野に関する。

【0002】

特に、本発明は、データストリームを復号化する方法並びに関連する装置及びデータストリームに関する。

【背景技術】

【0003】

ビデオコンテンツを表すデータを人工ニューラルネットワークによって圧縮することが提案されている。したがって、圧縮データの復号化は、他の人工ニューラルネットワークによって実行され得、これは、例えば、２０１９ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｌｏｎｇ Ｂｅａｃｈ，ＣＡ，ＵＳＡ，２０１９，ｐｐ．１０９９８－１１００７のＧｕｏ Ｌｕ ｅｔ ａｌ．による記事「ＤＶＣ：Ａｎ Ｅｎｄ－ｔｏ－ｅｎｄ Ｄｅｅｐ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｆｒａｍｅｗｏｒｋ」に記載されている。

【発明の概要】

【課題を解決するための手段】

【0004】

これに関して、本発明は、インジケータと、オーディオ又はビデオコンテンツを表すデータとを含むデータストリームを復号化する方法を提案し、この方法は、
－ インジケータを復号化して、前記表現データを復号化するために使用される人工ニューラルネットワークがデータストリーム中で符号化されるか、又は所定の人工ニューラルネットワークセットに属するかを特定するステップと、
－ 前記表現データを人工ニューラルネットワークによって復号化するステップと、
を含む。

【0005】

このようなインジケータにより、したがって、デコーダは、コンテンツを表すデータを復号化するために使用される人工ニューラルネットワークにそれがアクセスすることができる方法がわかる。

【0006】

この復号化方法は、インジケータを復号化することにより、人工ニューラルネットワークが前記所定のセットに属することが特定される場合、ニューラルネットワークの識別子を復号化するステップを含み得る。

【0007】

本発明は、元々それ自体知られている方法において、オーディオ又はビデオコンテンツを表すデータと、所定の人工ニューラルネットワークセットのうちの１つの人工ニューラルネットワークセットを指定する識別子とを含むデータストリームを復号化する方法も提案し、この方法は、
－ 識別子を復号化するステップと、
－ 前記表現データを、復号化された識別子によって指定される人工ニューラルネットワークによって復号化するステップと、
を含む。

【0008】

識別子の復号化は、したがって、後述するように、所定の人工ニューラルネットワークセット、例えば電子復号化装置がアクセスできる所定の人工ニューラルネットワークセットのうち、何れの人工ニューラルネットワークセットを使用しなければならないかを示す。

【0009】

１つの可能性によれば、復号化方法は、記憶ユニット内において、復号化された識別子によって識別された人工ニューラルネットワークのパラメータを読み出すステップをさらに含み得る。

【0010】

この記憶ユニットは、ランダムアクセスデコーダを形成する第一の人工ニューラルネットワークを表す第一のパラメータセット及び／又は低レイテンシデコーダを形成する第二の人工ニューラルネットワークを表す第二のパラメータセットを記憶するようになされ得る。

【0011】

さらに、復号化方法は、復号化された識別子によって識別された人工ニューラルネットワークに関するデータが（ここでは記憶ユニット内に）ない場合、エラーメッセージを生成するステップを含み得る。

【0012】

第二の可能性によれば、方法は、リモートサーバから、復号化された識別子によって識別された人工ニューラルネットワークのパラメータを受信するステップを含み得る。

【0013】

さらに、復号化方法は、インジケータを復号化することにより、人工ニューラルネットワークがデータストリーム中で符号化されることが特定される場合、データストリームに含まれる、人工ニューラルネットワークを符号化するデータを復号化して、人工ニューラルネットワークのパラメータを取得するステップを含み得る。

【0014】

考え得る実施形態によれば、復号化方法は、人工ニューラルネットワークのリストを、データストリームの送信を制御するための装置に送信する（予備的）ステップを含み得る。特定の実施形態において、この人工ニューラルネットワークリストは、前述の所定のセットに対応し得る。換言すれば、この場合、所定の人工ニューラルネットワークセットは、このリストの人工ニューラルネットワークを含み得る（又はそれによって形成され得る）。

【0015】

コンテンツは、実際には、ビデオシーケンスの第一の部分を含み得、このビデオシーケンスは、したがって、前記第一の部分及び第二の部分を含み得る。

【0016】

この場合、前記表現データを復号化するステップは、前記第一の部分を生成し、方法は、他のデータを別の人工ニューラルネットワークによって復号化して、第二の部分を生成するステップをさらに含み得る。

【0017】

考え得る実施形態によれば、他の人工ニューラルネットワークは、前記人工ニューラルネットワークの構造と同一の構造を有し、それにより電子復号化装置内での人工ニューラルネットワークの更新が単純化される。

【0018】

第一の部分及び上述の第二の部分は、例えば、使用されるコンテンツの表現フォーマットについて２つの画像グルーブをそれぞれ形成する。

【0019】

本発明は、復号化装置も提案し、これは、
－ インジケータと、オーディオ又はビデオコンテンツを表すデータとを含むデータストリームを受信するためのユニットと、
－ インジケータを復号化することにより、前記表現データを復号化するために使用される人工ニューラルネットワークが所定の人工ニューラルネットワークセットに属するか、又はデータストリーム中で符号化されるかを特定し、且つ前記表現データを人工ニューラルネットワークによって復号化するように設計された復号化アセンブリと、
を含む。

【0020】

本発明は、復号化装置をさらに提案し、これは、
－ オーディオ又はビデオコンテンツを表すデータと、所定の人工ニューラルネットワークセットのうちの１つの人工ニューラルネットワークを指定する識別子とを含むデータストリームを受信するためのユニットと、
－ 識別子を復号化し、且つ前記表現データを、前記復号化された識別子によって指定される人工ニューラルネットワークによって復号化するように設計された復号化アセンブリと、
を含む。

【0021】

後述の実施形態において、このような復号化アセンブリは、インジケータ及び／若しくは識別子を復号化するように設計若しくはプログラムされたプロセッサ及び／又はある時点で同じ種類の複数の動作を並列に行い、且つ前述の表現データを復号化するための上述の人工ニューラルネットワークを実装するように設計された並列処理ユニットを含む。

【0022】

本発明は、データストリームも提案し、これは、オーディオ又はビデオコンテンツを表すデータと、前記表現データを復号化するために使用される人工ニューラルネットワークがデータストリーム中で符号化されるか、又は所定の人工ニューラルネットワークセットに属するかを示すインジケータとを含む。

【0023】

本発明は、最後に、データストリームを提案し、これは、オーディオ又はビデオコンテンツを表すデータと、所定の人工ニューラルネットワークセットのうち、前記表現データを復号化するために使用される１つの人工ニューラルネットワークを指定する識別子とを含む。

【0024】

当然のことながら、本発明の様々な特徴、代替形態及び実施形態は、これらが相互に矛盾しないか又は排他的でない限り、各種の組合せによって相互に関連付けられ得る。

【0025】

さらに、本発明の他の様々な特徴は、本発明の非限定的な実施形態を図解する下記の図面に関して行われる以下の説明から明らかになるであろう。

【図面の簡単な説明】

【0026】

【図1】本発明の枠組み内で使用される電子符号化装置を示す。

【図2】図１の電子符号化装置内で実行される符号化方法のステップを示すフローチャートである。

【図3】図２の方法によって得られるデータストリームの第一の例である。

【図4】図２の方法によって得られるデータストリームの第二の例である。

【図5】図２の方法によって得られるデータストリームの第三の例である。

【図6】図２の方法によって得られるデータストリームの第四の例である。

【図7】本発明の実施形態による電子符号化装置を示す。

【図8】図７の電子復号化装置内で実行される復号化方法のステップを示すフローチャートである。

【発明を実施するための形態】

【0027】

図１は、少なくとも１つの人工ニューラルネットワーク８を使用する電子符号化装置２を示す。

【0028】

電子符号化装置２は、プロセッサ４（例えば、マイクロプロセッサ）及び並列処理ユニット６、例えばグラフィック処理ユニット、すなわちＧＰＵ又はテンソル処理ユニット、すなわちＴＰＵを含む。

【0029】

図１に概略的に示されるように、プロセッサ４は圧縮されることになるオーディオ又はビデオコンテンツを表すデータＰ、Ｂ、ここではフォーマットデータＰとコンテンツデータＢを受信する。

【0030】

フォーマットデータＰは、オーディオ又はビデオコンテンツの表現フォーマットの特性、例えばビデオコンテンツの場合には画像サイズ（ピクセルの単位）、フレームレート、輝度情報のバイナリ深度及び色差情報のバイナリ深度を示す。

【0031】

コンテンツデータＢは、オーディオ又はビデオコンテンツの（ここでは圧縮されていない）表現を形成する。例えばビデオコンテンツの場合、コンテンツデータは、画像シーケンスの各画像の各画素について、そのピクセルの輝度値を表すデータ及び／又はピクセルの色差値を表すデータを含む。

【0032】

並列処理ユニット６は、プロセッサ４によって構成された後に人工ニューラルネットワーク８を実装するように設計される。その目的のために、並列処理ユニットはある時点で同じ種類の複数の動作を並列に行うように設計される。

【0033】

以下に説明するように、人工ニューラルネットワーク８は、圧縮データＣを得ることを目的として、コンテンツデータＢの処理の枠内で使用される。

【0034】

本明細書に記載の実施形態において、コンテンツデータＢが人工ニューラルネットワーク８の入力で適用されると、人工ニューラルネットワーク８は出力で圧縮データＣを生成する。

【0035】

人工ニューラルネットワーク８の入力で適用された（すなわち人工ニューラルネットワーク８の入力層で適用された）コンテンツデータＢは、画像のブロック、又は画像成分のブロック（例えば、輝度若しくは色差成分のブロック又はこの画像の色成分のブロック）、又はビデオシーケンスの画像、又はビデオシーケンスの画像の成分（例えば、輝度若しくは色差成分又は色成分）、又はビデオシーケンスの一連の画像も表し得る。

【0036】

例えば、この場合、入力層のニューロンの少なくとも幾つかは、画像成分のピクセル値をそれぞれ受信するように適合され得、前記値は、コンテンツデータＢの１つによって表される。

【0037】

代替として、コンテンツデータＢの処理は、幾つかの人工ニューラルネットワークの使用を含み得、これは、例えば、前述の記事、２０１９ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ），Ｊｕｎｅ ２０１９のＧｕｏ Ｌｕ ｅｔ ａｌ．による「ＤＶＣ：Ａｎ Ｅｎｄ－ｔｏ－ｅｎｄ Ｄｅｅｐ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｆｒａｍｅｗｏｒｋ」に記載されている。

【0038】

これから電子符号化装置２によって実行される符号化方法の例を、図２を参照しながら説明する。

【0039】

プロセッサ４にリンクされるメモリは、例えば、コンピュータプログラム命令を記憶し、これは、これらの命令がプロセッサ４によって実行されると、図２の方法のステップの少なくとも一部を実行するように設計される。換言すれば、プロセッサ４は図２のステップの少なくとも一部を実行するようにプログラムされる。

【0040】

図２の方法は、ここで、電子復号化装置によってアクセス可能な人工ニューラルネットワークのリストを受信する任意選択的ステップＥ２から始まる。

【0041】

リストは、例えば、電子符号化装置２のプロセッサ４によって電子復号化装置（例えば、後に説明する図７の電子復号化装置１０と一致する）から直接受信される。

【0042】

以下に説明するように、電子復号化装置によってアクセス可能な人工ニューラルネットワークは、それに関して電子復号化装置が関係する人工ニューラルネットワークを定義するパラメータを記憶するか、又はサーバ等のリモート電子設備との接続によってこれらのパラメータにアクセスし得る人工ニューラルネットワークである。

【0043】

代替として、リストは、電子装置２のプロセッサ４により、上述のサーバ等のリモートサーバから直接受信できる。

【0044】

図２の方法は、符号化プロセス－復号化プロセスのペアを選択するステップＥ４に続く。符号化プロセスについて前述したように、符号化プロセスと復号化プロセスは各々、少なくとも１つの人工ニューラルネットワークを使用する。

【0045】

本明細書に記載の例では、符号化プロセスは符号化人工ニューラルネットワークによって実行され、復号化プロセスは復号化人工ニューラルネットワークによって実行される。

【0046】

符号化人工ニューラルネットワーク及び復号化ニューラルネットワークによって形成されるセット（符号化人工ニューラルネットワークの出力は復号化人工ニューラルネットワークの入力に適用される）は、例えば、オートエンコーダを形成する。

【0047】

符号化プロセス－復号化プロセスペアは、例えば、事前設定された複数の符号化プロセス－復号化プロセスペア、すなわちここでは複数の符号化人工ニューラルネットワーク－復号化人工ニューラルネットワークペアの中から選択される。

【0048】

電子復号化装置によってアクセス可能な人工ニューラルネットワークのリストが事前に受け取られている場合（ステップＥ２で前述したとおり）、符号化プロセス－復号化プロセスペアは、例えば、そのために復号化プロセスが受け取ったリスト中にある人工ニューラルネットワークを使用する符号化プロセス－復号化プロセスペアの中から選択される。

【0049】

符号化プロセス－復号化プロセスペアは、所期の用途（例えば、ユーザが電子符号化装置２の図示されていないユーザインタフェースを用いて示す）に応じても選択され得る。例えば、所期の用途がビデオ会議である場合、選択される符号化プロセス－復号化プロセスペアには低レイテンシの復号化プロセスが含まれる。他の用途の場合、選択される符号化プロセス－復号化プロセスペアにはランダムアクセス復号化プロセスが含まれる。

【0050】

ビデオシーケンスの復号化のための低レイテンシプロセスでは、ビデオシーケンスの画像は、例えば、符号化されたデータによって表され、それが直ちに送信され、復号化され得、データは、その後、ビデオ画像の表示順に送信され得るが、それにより、この場合、符号化と復号化との間に１フレームのレイテンシが確保される。

【0051】

ビデオシーケンスの復号化のためのランダムアクセスプロセスでは、それぞれ複数の画像に関する符号化されたデータは、これらの画像の表示順以外の順序で送信され、それにより圧縮度を高めることができる。他の画像を参照せずに符号化された画像（いわゆるイントラフレーム）は、その後、規則的に符号化され得、それによりビデオシーケンスの復号化を符号化されたストリーム内の複数の箇所から開始することができる。

【0052】

その目的のために、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ．２２，ｎｏ．１２，ｐｐ．１６４９－１６６８，Ｄｅｃ．２０１２内のＧ．Ｊ．Ｓｕｌｌｉｖａｎ，Ｊ．－Ｒ．Ｏｈｍ，Ｗ．－Ｊ．Ｈａｎ ａｎｄ Ｔ．Ｗｉｅｇａｎｄによる記事「Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｓｔａｎｄａｒｄ」を参照されたい。

【0053】

符号化プロセス－復号化プロセスペアは、最良の圧縮－歪みバランスを得るためにも選択され得る。

【0054】

その目的のために、複数の符号化プロセス－復号化プロセスペアをコンテンツデータＢに適用し、よりよい圧縮－歪みバランスに到達するセットを選択することが可能である。

【0055】

代替として、コンテンツの種類を特定し（例えば、コンテンツデータＢを分析することによる）、特定された種類に応じた符号化プロセス－復号化プロセスペアを選択することが可能である。

【0056】

符号化プロセス－復号化プロセスペアは、電子復号化装置で利用可能な計算能力に応じても選択され得る。この計算能力を表す情報は、電子復号化装置から電子符号化装置に事前に送信されている（例えば、上述のステップＥ２で電子符号化装置によって受信されている）可能性がある。

【0057】

符号化プロセス－復号化プロセスペアを選択するための様々な基準を相互に組み合わせることも可能であり得る。

【0058】

符号化プロセス－復号化プロセスペアが選択されると、プロセッサ４は、並列処理ユニット６を並列処理ユニット６が選択された符号化方法を実行できるような方法で構成するステップＥ６に進む。

【0059】

このステップＥ６は、特に選択された符号化プロセスによって使用される符号化人工ニューラルネットワーク８の並列処理ユニット６内でのインスタンス化を含む。

【0060】

このインスタンス化は、特に以下のステップ、
－ 並列処理ユニット６内において、符号化人工ニューラルネットワークを実装するのに必要なメモリスペースを留保するステップ、及び／又は
－ 並列処理ユニット６を、符号化人工ニューラルネットワーク８を定義する重みＷ及び活性化関数でプログラムするステップ、及び／又は
－ 並列処理ユニット６のローカルメモリ内にコンテンツデータＢの少なくとも一部をロードするステップ
を含み得る。

【0061】

図２の方法は、したがって、符号化プロセスを実行するステップＥ８、すなわちコンテンツデータＢを符号化人工ニューラルネットワーク８の入力に適用する（又は換言すれば入力としてコンテンツデータＢをとることによって符号化人工ニューラルネットワーク８を作動させる）ステップを含む。

【0062】

したがって、ステップＥ８により、圧縮データＣを（ここでは符号化人工ニューラルネットワーク８の出力で）生成できる。

【0063】

以下のステップは、特に圧縮データＣを含み、電子復号化装置（例えば、図７に関して説明する電子復号化装置１０）に向けられるデータストリームの符号化（すなわち準備）に関する。

【0064】

方法は、したがって、特にオーディオ又はビデオコンテンツの表現フォーマットのデータ特性（ここでは例えば符号化されているビデオシーケンスのフォーマットに関連付けられるデータ）を含む第一のヘッダ部分Ｆｃを符号化するステップＥ１０を含む。

【0065】

第一のヘッダ部分Ｆｃを形成するこれらのデータは、例えば、画像サイズ（ピクセルの単位）、フレームレート、輝度情報のバイナリ深度及び色差情報のバイナリ深度を示す。これらのデータは、例えば、上述のフォーマットデータＰに基づいて（考え得る再フォーマットの後に）構成される。

【0066】

図２の方法は、したがって、データストリームを復号化できる電子復号化装置（例えば、図７に関して後述する電子復号化装置１０）にとっての復号化人工ニューラルネットワーク（ステップＥ４で選択された復号化プロセスによって使用される）の利用可能性を特定するステップＥ１２に続く。

【0067】

この特定は、ステップＥ２で受け取ったリストに基づいて行われ得、プロセッサ４はこの場合、ステップＥ４で選択された復号化プロセスによって使用される復号化人工ニューラルネットワークがステップＥ２で受け取ったリストに属しているか否かを特定する。（当然のことながら、符号化プロセス－復号化プロセスペアが電子復号化装置にとって利用可能な復号化人工ニューラルネットワークに対応するように体系的に選択される実施形態において、ステップＥ１２は、省略され得、したがって、方法は、ステップＥ１４に続く。）

【0068】

考え得る実施形態によれば、電子復号化装置にとっての復号化人工ニューラルネットワークの利用可能性に関する情報がない場合、方法は（すでに説明したように、復号化人工ニューラルネットワークを記述するデータが電子復号化装置に送信されるように）ステップＥ１６に続く。

【0069】

プロセッサ４が、ステップＥ１２において、復号化人工ニューラルネットワークが電子復号化装置にとって利用可能であることを特定した場合（矢印Ｐ）、方法は、下記のステップＥ１４に続く。

【0070】

プロセッサ４が、ステップＥ１２において、復号化人工ニューラルネットワークが電子復号化装置にとって利用可能ではないことを特定した場合（矢印Ｎ）、方法は、以下のステップＥ１６に続く。

【0071】

代替として、ステップＥ１２の後のステップとしてのステップＥ１４かステップＥ１６かの選択は、他の基準に依存して、例えば電子符号化装置２に記憶された（且つおそらくユーザが電子符号化装置２のユーザインタフェースを介して調整可能であり得る）専用のインジケータ又はユーザが行う（例えば、電子符号化装置２のユーザインタフェースを介して得られる）選択に応じて行うこともできる。

【0072】

プロセッサ４は、インジケータＩＮＤを含む第二のヘッダ部分と、ここでは復号化人工ニューラルネットワークの識別子Ｉｎｎを含む第三のヘッダ部分を符号化するステップＥ１４に進む。

【0073】

ステップＥ１４において、データストリーム中で符号化されるインジケータＩＮＤは、その復号化人工ニューラルネットワークが所定の人工ニューラルネットワークセット、ここでは電子復号化装置にとって利用可能な（又はアクセス可能な）人工ニューラルネットワークセット（すなわちステップＥ２で受け取られるリストの人工ニューラルネットワークのセット）に属することを示す。

【0074】

復号化人工ニューラルネットワークの識別子Ｉｎｎは、変換により、（特に電子符号化装置と電子復号化装置が共有する）この復号化人工ニューラルネットワークを例えば上述の所定のセット内で定義する識別子である。

【0075】

プロセッサ４は、インジケータＩＮＤ’を含む第二のヘッダ部分とここでは復号化人工ニューラルネットワークを記述するデータＲｃを含む第三のヘッダ部分を符号化するステップＥ１６に進む。

【0076】

ステップＥ１６において、データストリーム中で符号化されたインジケータＩＮＤ’は、復号化人工ニューラルネットワークがデータストリーム中で符号化されたこと、すなわち上述の記述データＲｃによって表されることを示す。

【0077】

復号化人工ニューラルネットワークは、例えば、記述データ（又は復号化人工ニューラルネットワークを符号化するデータ）Ｒｃにより、ＭＰＥＧ－７ ｐａｒｔ １７等の標準又はＪＳＯＮ等のフォーマットに従って符号化される（すなわち表される）。

【0078】

その目的のために、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，Ｌｏｎｇ Ｂｅａｃｈ，Ｃａｌｉｆｏｒｎｉａ，ＰＭＬＲ ９７，２０１９におけるＳ．Ｗｉｅｄｅｍａｎｎ ｅｔ ａｌ．による記事「ＤｅｅｐＣＡＢＡＣ：Ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ ｆｏｒ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｃｏｍｐｒｅｓｓｉｏｎ」又はＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｌｅａｒｎｉｎｇ Ｓｙｓｔｅｍｓ（Ｖｏｌ．３１，Ｉｓｓ．３），Ｍａｒｃｈ ２０２０におけるＳ．Ｗｉｅｄｅｍａｎｎ ｅｔ ａｌ．による記事「Ｃｏｍｐａｃｔ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ Ｅｆｆｉｃｉｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」を参照されたい。

【0079】

ステップＥ１６後のステップＥ１４において、図２の方法は、電子復号化装置が復号化人工ニューラルネットワークを使用して復号化プロセスを実行する可能性を特定するステップＥ１８に続く。

【0080】

プロセッサ４は、例えば、この可能性を、（おそらく電子符号化装置と電子復号化装置との間のそれ以前の交換によって）電子復号化装置がこの復号化プロセスを実行するように設計されたモジュール又はこの電子復号化装置のプロセッサによってソフトウェアが実行されたときに電子復号化装置によるこの復号化プロセスの実行に適しているソフトウェアを含むか否かを特定することによって特定する。

【0081】

プロセッサ４は、電子復号化装置が復号化プロセスを実行できることを特定した場合、方法は、後述のステップＥ２２に続く。

【0082】

プロセッサ４が、電子復号化装置が復号化プロセスを実行できないことを特定した場合、方法は、（ステップＥ２２に進む前に）後述のステップＥ２０を実行する。

【0083】

代替として、（ステップＥ２２を実行する前に）ステップＥ２０を実行するか否かの選択は、他の基準に存して、例えば電子符号化装置２内に記憶された（及びおそらくユーザによって電子符号化装置２のユーザインタフェースを介して調整可能な）専用インジケータ又は（例えば、電子符号化装置２のユーザインタフェースを介して得られる）ユーザによって行われた選択に応じて行うことができる。

【0084】

プロセッサ４は、ステップＥ２０において、データストリーム中で電子復号化装置のプロセッサによって実行可能なコンピュータプログラムＥｘｅ（又はコード）を含む第四のヘッダ部分を符号化する。（電子復号化装置内でのコンピュータプログラムＥｘｅの使用については、図８を参照して後に説明する。）

【0085】

電子復号化装置内での実行に合わせて調整されるようにするために、コンピュータプログラムは、例えば、電子復号化装置のハードウェア構成に関する情報（例えば、電子符号化装置２と電子復号装置との以前の交換によって受け取られた情報）に応じてライブラリ内で選択される。

【0086】

プロセッサ４は、したがって、ステップＥ８で得られた圧縮データＣに基づいて圧縮ストリームＦｎｎを符号化するステップＥ２２に進む。

【0087】

この点において、上述の説明では、ステップＥ８は、ヘッダＦｅｔを符号化するステップ（ステップＥ１０～Ｅ２０）前に説明されていることがわかる。しかしながら、実際には、ステップＥ８は、ステップＥ２２の直前に実行できる。

【0088】

特に、ステップＥ８によって圧縮されるべきオーディオ又はビデオコンテンツの一部のみを処理できる場合（例えば、ステップＥ８は圧縮されるべきビデオシーケンスのブロック、又は成分、又は画像の処理を実行する場合）、ステップＥ８（コンテンツの連続部分に関係する圧縮データを取得するため）及びＥ２２（データストリーム中で得られた圧縮データを符号化するため）の実行を繰り返すことが可能である。

【0089】

プロセッサ４は、したがって、ステップＥ２４において、ヘッダＦｅｔ及び圧縮ストリームＦｎｎを含む完全なデータストリームを構築することができる。

【0090】

完全なデータストリームは、ヘッダＦｅｔ及び圧縮ストリームＦｎｎが個別に識別可能となるような方法で構築される。

【0091】

考え得る実施形態によれば、ヘッダＦｅｔは、完全なデータストリーム中の圧縮ストリームＦｎｎの開始のインジケータを含む。このインジケータは、例えば、圧縮データストリームの開始からの圧縮ストリームＦｎｎの始まりの位置をビットで表したものである。（換言すれば、ヘッダはこの場合、所定の固定の長さを有する。）

【0092】

ヘッダＦｅｔ及び圧縮ストリームＦｎｎのその他の識別方法も代替として想定でき、これは、例えば、マーカ（すなわち圧縮ストリームＦｎｎの開始を示すために使用され、その使用がデータストリームの残りの部分又は少なくともヘッダＦｅｔに隠されるバイナリの組合せ）である。

【0093】

図３～６には、図２の方法によって得られ得る完全なデータストリームの例が示されている。

【0094】

すでに説明したように、これらのデータストリームはヘッダＦｅｔと圧縮ストリームＦｎｎを含む。

【0095】

図３のケース（ステップＥ１４が実行され、ステップＥ２０が実行されなかった状況に対応する）では、ヘッダは、
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃと、
－ 復号化人工ニューラルネットワークが所定の人工ニューラルネットワークセットに属することを示すインジケータＩＮＤを含む第二の部分と、
－ 復号化人工ニューラルネットワークの識別子Ｉｎｎを含む第三の部分と、
を含む。

【0096】

図４のケース（ステップＥ１６が実行され、ステップＥ２０が実行されていない状況に対応する）では、ヘッダは、
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃと、
－ 復号化人工ニューラルネットワークがデータストリーム中で符号化されていることを示すインジケータＩＮＤ’を含む第二の部分と、
－ 復号化人工ニューラルネットワークを記述するデータＲｃ（ここではそれを符号化するデータ）を含む第三の部分と、
を含む。

【0097】

図５のケース（ステップＥ１４及びＥ２０が実行された状況に対応する）では、ヘッダは、
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃと、
－ 復号化人工ニューラルネットワークが所定の人工ニューラルネットワークセットに属することを示すインジケータＩＮＤを含む第二の部分と、
－ 復号化人工ニューラルネットワークの識別子Ｉｎｎを含む第三の部分と、
－ コンピュータプログラムＥｘｅを含む第四の部分と、
を含む。

【0098】

図６のケース（ステップＥ１６及びＥ２０が実行された状況に対応する）では、ヘッダは、
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃと、
－ 復号化人工ニューラルネットワークがデータストリーム中で符号化されていることを示すインジケータＩＮＤ’を含む第二の部分と、
－ 復号化人工ニューラルネットワークを記述するデータＲｃ（ここではそれを符号化するデータ）を含む第三の部分と、
－ コンピュータプログラムＥｘｅを含む第四の部分と、
を含む。

【0099】

ステップＥ２４で構築されるデータストリームは、「Ｐａｃｋｅｔ－Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ」フォーマット又は「Ｂｙｔｅ－Ｓｔｒｅａｍ」フォーマット等、それ自体知られている送信フォーマットにカプセル化され得る。

【0100】

「Ｐａｃｋｅｔ－Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ」フォーマット（例えば、ＲＴＰプロトコルによって提案される）の場合、データは、識別可能なパケットによって符号化され、通信ネットワーク上で送信される。ネットワークは、ネットワーク層によって提供されるパケット識別情報を用いて、データ（画像、画像の集合及びここではヘッダＦｅｔと圧縮ストリームＦｎｎ）の境界を容易に識別できる。

【0101】

「Ｂｙｔｅ－Ｓｔｒｅａｍ」フォーマットの場合、特にパケットはなく、ステップＥ２４の構築は、関連するデータの境界（例えば、ストリームのうちの各画像に対応する部分間及びここではヘッダＦｅｔと圧縮ストリームＦｎｎとの間の境界）を、ネットワーク抽出層（ＮＡＬ）ユニットの使用等の追加の手段を使用して識別できなければならず、この場合、固有のバイナリの組合せ（０×０００００００１等）によってデータ間の境界を識別することが可能である）。

【0102】

ステップＥ２４で構築される完全なデータストリームは、その後、ステップＥ２６において、電子復号化装置２６に向かって（図示されていない通信手段により且つ／又は少なくとも１つの通信ネットワークを通して）発出するか、又は電子符号化装置２に（後に送信するか又は代替として後に例えば電子符号化装置自体内で復号化するために（この場合、図８に関して後述する復号化方法をさらに実行するように設計される））記憶され得る。

【0103】

オーディオ又はビデオコンテンツが複数の部分（例えば、コンテンツがビデオシーケンスである場合、複数の画像群）を含むときには、ステップＥ４～Ｅ２４の方法はおそらく、コンテンツの各部分について（例えば、各画像群について）、図３～６の１つに示されるデータストリームを得るような方法で実行することができる。したがって、各画像群に関する圧縮ストリームＦｎｎは、関係する画像群にとって適正であり、おそらく後述のように他の画像群に使用される人工ニューラルネットワークと異なる人工ニューラルネットワークを使用して復号化できる。人工ニューラルネットワークは、おそらく、同じ構造を有し得る（且つその重み及び／又は特定の人工ニューラルネットワークを定義する活性化関数のみが異なる）。

【0104】

図７は、少なくとも１つの人工ニューラルネットワーク１８を使用する電子復号化装置１０を示す。

【0105】

この電子復号化装置１０は、受信ユニット１１、プロセッサ１４（例えば、マイクロプロセッサ）及び並列処理ユニット１６、例えばグラフィック処理ユニット、すなわちＧＰＵ又はテンソル処理ユニット、すなわちＴＰＵを含む。

【0106】

受信ユニット１１は、例えば、通信回路（無線周波数通信回路等）であり、それにより電子符号化装置２等の外部電子装置からデータ（及び特にここでは符号化されたデータストリーム）を受信し、これらのデータを（そこに受信ユニット１１が例えばバスによって接続される）プロセッサ１４に通信することが可能となる。

【0107】

電子復号化装置１０は、記憶ユニット１２、例えばメモリ（リライタブル不揮発性メモリであり得る）又はハードドライブも含む。記憶ユニット１２は、図７において、プロセッサ１４と異なる素子として示されているが、記憶ユニット１２は、代替として、プロセッサ１４に内蔵され得る（すなわちその中に含まれ得る）。

【0108】

プロセッサ１４はこの場合、例えば記憶ユニット１２に記憶されたコンピュータプログラムの複数の命令を連続的に実行するように適合される。

【0109】

並列処理ユニット１６は、プロセッサ１４によって構成された後、人工ニューラルネットワーク１８を実装するように設計される。その目的のために、並列処理ユニット１６は、ある時点で同じ種類の複数の動作を並列に行うように設計される。

【0110】

図７に概略的に示されているように、プロセッサ１４は、第一のデータセット、ここではヘッダＦｅｔと、オーディオ又はビデオコンテンツを表す第二のデータセット、ここでは圧縮ストリームＦｎｎを含むデータストリームを（例えば、電子復号化装置１０の、図示されない通信手段を介して）受信する。

【0111】

後述するように、人工ニューラルネットワーク１８は、第二のデータセット（すなわちここでは圧縮データＦｎｎ）の処理の枠組み内において、初期オーディオ又はビデオコンテンツＢに対応するオーディオ又はビデオコンテンツを取得するために使用される。

【0112】

記憶ユニット１２は、複数のパラメータセットを記憶でき、各パラメータセットは復号化人工ニューラルネットワークを定義する。後述するように、プロセッサ１４はこの場合、これらのパラメータセットのうちの特定のパラメータセットによって並列処理ユニット１６を、並列処理ユニット１６がこの特定のパラメータセットによって定義される人工ニューラルネットワークを実装できるような方法で構成できる。

【0113】

記憶ユニット１２は、特に、ランダムアクセスデコーダを形成する第一の人工ニューラルネットワークを定義する第一のパラメータセット及び／又は低レイテンシデコーダを形成する第二の人工ニューラルネットワークを定義する第二のパラメータセットを記憶し得る。

【0114】

この場合、電子復号化装置１０には、コンテンツへのランダムアクセスが望ましい状況とコンテンツが遅滞なく表示されることになる状況の両方のための事前の復号化オプションがある。

【0115】

ここで、図８に関して、電子復号化装置１０内において、並列処理ユニット１６によって実装される人工ニューラルネットワーク１８を用いて実行される復号化方法を説明する。

【0116】

この方法は、電子復号化装置１０による、復号化対象のデータストリームの送信を制御する装置に向けた、電子復号化装置１０によって利用可能な人工ニューラルネットワークのリストＬの送信の人選択的ステップから開始され得る。データストリーム送信制御装置は、例えば、電子符号化装置２であり得る。（電子符号化装置２は、この場合、このリストＬを図２に関して前述したステップＥ２で受信する。）代替として、データストリーム送信制御装置は、電子符号化装置２と協働する専用サーバでもあり得る。

【0117】

電子復号化装置１０がアクセス可能な人工ニューラルネットワークは、電子復号化装置１０がそれに関して（前述のように）関係する人工ニューラルネットワークを定義するパラメータセットを記憶するか、又は（後述のように）サーバ等のリモート電子設備との接続によってこのパラメータセットにアクセスし得る人工ニューラルネットワークである。

【0118】

図８の方法は、（電子復号化装置１０、正確にはここでは受信ユニット１１によって）第一のパラメータセット、すなわちヘッダＦｅｔと第二のパラメータセット、すなわち圧縮ストリームＦｎｎを含むデータストリームを受信するステップＥ５２を含む。受信ユニット１１は、受信したデータストリームをプロセッサ１４に送信する。

【0119】

プロセッサ１４は、したがって、受信したデータストリーム内の第一のデータセット（ヘッダＦｅｔ）及び第二のデータセット（圧縮ストリームＦｎｎ）を、例えば圧縮ストリームの始まりのインジケータ（ステップＥ２４の説明ですでに述べた）によって識別するステップＥ５４に進む。

【0120】

プロセッサ１４は、ステップＥ５４において、第一のデータセット（ヘッダ）、すなわちここではヘッダＦｅｔ内の異なる部分も識別し得、これは、前述の図３～６に示されるように、第一の部分Ｆｃ（データストリームによって符号化されたコンテンツのフォーマットの特性を表すデータを含む）、第二の部分（インジケータＩＮＤ又はＩＮＤ’）、第三の部分（Ｉｎｎ又は符号化データＲｃ）及びおそらく第四の部分（コンピュータプログラムＥｘｅ）である。

【0121】

ステップＥ５４において、第一のデータ内で実行可能命令（例えば、コンピュータプログラムＥｘｅの命令）が識別（すなわち検出）される場合、プロセッサ１４は、ステップＥ５６において、これらの実行可能命令を実行し、第一のデータセットからのデータの処理のステップの少なくとも特定のものの実行を開始し得る。これらの命令は、プロセッサ１４又は代替として電子復号化装置１０内でインスタンス化された仮想マシンによって実行され得る。

【0122】

図７の方法は、オーディオ又はビデオコンテンツの表現フォーマットの特性であるデータＦｃを、このフォーマットの特性を取得するような方法で復号化するステップＥ５８に続く。ビデオコンテンツの場合、例えば、データ部分Ｆｃの復号化により、画像サイズ（ピクセルの単位）、及び／又はフレームレート、及び／又は輝度情報のバイナリ深度、及び／又は色差情報のバイナリ深度を取得することが可能となる。

【0123】

プロセッサ１４は、次に、（特定の実施形態では前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）ここではヘッダＦｅｔの第二の部分に含まれるインジケータＩＮＤ、ＩＮＤ’を復号化するステップＥ６０に進む。

【0124】

受信したデータストリーム中にあるインジケータＩＮＤ、ＩＮＤ’の復号化が、復号化に使用される人工ニューラルネットワーク１８が所定の人工ニューラルネットワークセットに属することを示す場合（すなわち、第一のデータセット中にあるインジケータが、復号化人工ニューラルネットワーク１８が所定の人工ニューラルネットワークに属することを示すインジケータＩＮＤである場合）、方法は、後述のステップＥ６２に続く。

【0125】

受信したデータストリーム中にあるインジケータＩＮＤ、ＩＮＤ’の復号化が、復号化に使用される人工ニューラルネットワーク１８がデータストリーム内で符号化されることを示す場合（すなわち、第一のデータセット中にあるインジケータが、復号化人工ニューラルネットワーク１８がデータストリーム内で符号化されることを示すインジケータＩＮＤ’である場合）、方法は、後述のステップＥ６６に続く。

【0126】

ステップＥ６２において、プロセッサ１４は、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）識別子Ｉｎｎ（ここではヘッダＦｅｔの第三の部分に含まれる）の復号化に進む。前述のように、この識別子Ｉｎｎは、例えば、前述の所定の人工ニューラルネットワークセット内の復号化人工ニューラルネットワーク１８を指定する識別子である。

【0127】

プロセッサ１４は、したがって、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）復号化された識別子Ｉｎｎに関連付けられたパラメータセットを記憶ユニット１２内から読み出すステップＥ６４に進むことができる（このパラメータセットは、復号化された識別子Ｉｎｎによって識別される人工ニューラルネットワークを定義する）。

【0128】

考え得る実施形態によれば、プロセッサ１４は、復号化された識別子Ｉｎｎによって識別されるこの人工ニューラルネットワークに関するデータ（特にパラメータ）が（ここでは記憶ユニット１２内に）ない場合にエラーメッセージを生成するようになされ得る。

【0129】

代替として（又は復号化された識別子Ｉｎｎによって識別された人工ニューラルネットワークのための記憶ユニット１２に何れのパラメータセットも記憶されていない場合）、電子復号化装置１０は、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）リモートサーバにパラメータセットのリクエストを送信し（このリクエストは、例えば、符号化された識別子Ｉｎｎを含む）、ステップＥ６４において、復号化された識別子Ｉｎｎによって識別される人工ニューラルネットワークを定義するパラメータセットを回答として受信し得る。

【0130】

次に、方法は後述のステップＥ６８に続く。

【0131】

ステップＥ６６において、プロセッサ１４は、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）人工ニューラルネットワーク１８を記述するデータＲｃ（ここではヘッダＦｅｔの第三の部分に含まれる）の復号化に進む。

【0132】

前述のように、これらの記述データ（又は符号化データ）Ｒｃは、例えば、ＭＰＥＧ－７ ｐａｒｔ １７等の標準又はＪＳＯＮ等のフォーマットに従って符号化される。

【0133】

記述データＲｃの符号化により、第二のデータセットからのデータ（すなわちここでは圧縮ストリームＦｎｎのデータ）を復号化するために使用される人工ニューラルネットワークを定義するパラメータを取得することが可能となる。

【0134】

方法は、この場合、ステップＥ６８に続き、これについて以下に説明する。

【0135】

プロセッサ１４は、次に、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）復号化人工ニューラルネットワーク１８を定義するパラメータ（ステップＥ６４又はステップＥ６６で取得したパラメータ）によって並列処理ユニット１６を、並列処理ユニット１６が復号化人工ニューラルネットワーク１８を実装できるような方法で構成するステップＥ６８に進む。

【0136】

この構成ステップＥ６８は、特に並列処理ユニット１６内の復号化人工ニューラルネットワーク１８を、ここではステップＥ６４又はステップＥ６６で得られたパラメータを使用してインスタンス化することを含む。

【0137】

このインスタンス化は、特に、
－ 並列処理ユニット１６内において、復号化人工ニューラルネットワーク１８を実装するのに必要なメモリスペースを留保するステップ、及び／又は
－ 並列処理ユニット１６を、復号化人工ニューラルネットワーク１８を定義するパラメータ（例えば、重みＷ’及び活性化関数を含む）（ステップＥ６４又はステップＥ６６で得られたパラメータ）でプログラムするステップ、及び／又は
－ 並列処理ユニット１６のローカルメモリ内に第二のデータセットからのデータの少なくとも一部（すなわち圧縮ストリームＦｎｎのデータの少なくとも一部）をロードするステップ
を含み得る。

【0138】

ステップＥ５８～Ｅ６８の上述の説明からわかるように、第一のデータセットＦｅｔのデータは、したがって、プロセッサ１４によってこのように処理される。

【0139】

プロセッサ１４は、その後、ステップＥ７０において、第二のデータセットからのデータ（ここでは圧縮ストリームＦｎｎのデータ）を、並列処理ユニット１６によって実装される人工ニューラルネットワーク１８に、これらのデータが少なくとも部分的に人工ニューラルネットワーク１８を使用する復号化プロセスによって処理されるような方法で適用する（すなわち提示する）ことができる。

【0140】

本明細書で説明する例では、人工ニューラルネットワーク１８は入力として第二のデータセットＦｎｎのデータを受信し、出力として、オーディオ又はビデオ再生装置上での再生に適応された符号化済みコンテンツの表現Ｉを生成する。換言すれば、第二のデータセットＦｎｎのデータの少なくとも特定のものが人工ニューラルネットワーク１８の入力層に適用され、人工ニューラルネットワーク１８の出力層は上述の符号化済みコンテンツの表現Ｉを生成する。ビデオコンテンツ（１つの画像又は画像シーケンスを含む）の場合、人工ニューラルネットワーク１８は、したがって、出力として（すなわちその出力層において）画像の少なくとも１つのマトリクス表現Ｉを生成する。

【0141】

特定の実施形態において、圧縮ストリームＦｃの特定のデータ（例えば、あるブロック又はある画像に対応する）を処理するために、人工ニューラルネットワーク１８は入力として圧縮ストリームＦｃ内の先行データ（例えば、先行ブロック又は先行画像に対応する）の処理中に人工ニューラルネットワーク１８で生成されたデータの少なくとも特定のものを受信できる。この場合、それは人工ニューラルネットワーク１８の出力で生成されたデータを人工ニューラルネットワーク１８の入力に再注入するステップＥ７２に進む。

【0142】

さらに、他の考え得る実施形態によれば、復号化プロセスは、コンテンツデータＢの処理に関してすでに前述したように、複数の人工ニューラルネットワークを使用できる。

【0143】

第二のセットからのデータ（ここでは圧縮ストリームＦｎｎの少なくとも特定のデータ）は、したがって、第一のセットからのデータの部分に依存するプロセス（ここでは符号化データＲｃの識別子Ｉｎｎに依存するプロセス）により、並列処理ユニット１６によって実装される人工ニューラルネットワーク１８を使用して処理されている。

【0144】

プロセッサ１４は、その後、ステップ７４において、人工ニューラルネットワーク１８による圧縮ストリームＦｎｎの処理が終了したか否かを特定する。

【0145】

特定結果が否定（Ｎ）の場合、方法はステップＥ７０に戻り、圧縮ストリームＦｎｎの他のデータを人工ニューラルネットワーク１８に適用する。

【0146】

特定結果が肯定（Ｐ）の場合、方法はステップＥ７６に続き、プロセッサ１４は受信したデータストリーム内に処理すべきデータが残っているか否かを特定する。

【0147】

ステップＥ７６での特定結果が否定（Ｎ）の場合、方法はステップＥ７８で終了する。

【0148】

ステップＥ７６での特定結果が肯定（Ｐ）の場合、方法はステップＥ５２に戻り、図３～６の１つに示されるデータストリームの新しい部分の処理を行う。

【0149】

以上、符号化ステップＥ４～Ｅ２４の繰返しとして示されているように、データストリームのこの別の部分も、したがって、第一のデータセットと、他のオーディオ又はビデオコンテンツを表す第二のデータセット（例えば、ビデオコンテンツの場合、使用されるコンテンツの表現フォーマットに関する他の画像グループ）とを含む。この場合、ステップＥ５４～Ｅ６６にで前述したように、他の人工ニューラルネットワークをこれらの第一のデータの特定のものに基づいて特定でき、その後、並列処理ユニット１６はこの別の人工ニューラルネットワークを（前述のステップＥ６８に従って）実装するように構成され得る。データストリームのこの別の部分の第二のデータセットからのデータ（例えば、前述の他の画像グループに関する）は、その後、この別の人工ニューラルネットワークによって（ステップＥ７０で前述したように）復号化され得る。

【0150】

上述の別の人工ニューラルネットワークは、前述の人工ニューラルネットワーク１８の構造と同一の構造を有し得、それにより並列処理ユニット１６を構成するステップが単純化される（現在の人工ニューラルネットワークを定義する重み及び／又は活性化関数のみが例えば更新される）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】