(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-09
(54)【発明の名称】ニューラルネットワークを使用した並列ビデオ復号化
(51)【国際特許分類】
H04N 19/90 20140101AFI20230802BHJP
H04N 19/436 20140101ALI20230802BHJP
【ＦＩ】
H04N19/90
H04N19/436
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023503012
(86)(22)【出願日】2021-07-13
(85)【翻訳文提出日】2023-03-15
(86)【国際出願番号】 EP2021069515
(87)【国際公開番号】W WO2022013247
(87)【国際公開日】2022-01-20
(31)【優先権主張番号】2007530
(32)【優先日】2020-07-17
(33)【優先権主張国・地域又は機関】FR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521196970
【氏名又は名称】フォンダシオン ベー－コム
【氏名又は名称原語表記】ＦＯＮＤＡＴＩＯＮ Ｂ－ＣＯＭ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】フェリクス アンリ
(72)【発明者】
【氏名】ゴルドン クラール
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK13
5C159PP16
5C159RC11
5C159TC02
5C159TC08
5C159TC18
5C159TD17
5C159UA02
5C159UA05
(57)【要約】
プロセッサ（１４）と、ある時点で同じ種類の複数の動作を並列に行うように設計された並列処理ユニット（１６）とを含む電子装置（１０）によってデータフローを復号化する方法において、データフローは、第一のデータセット（Ｆｅｔ）と、オーディオ又はビデオコンテンツを表す第二のデータセット（Ｆｎｎ）とを含む。この復号化方法は、プロセッサ（１４）が第一のデータセット（Ｆｅｔ）からのデータを処理するステップと、第二のデータセット（Ｆｎｎ）からのデータを、第一のセット（Ｆｅｔ）からのデータに少なくとも部分的に依存するプロセスを使用し、且つ並列処理ユニット（１６）によって実装される人工ニューラルネットワーク（１８）を使用して処理すること（Ｅ７０）により、オーディオ又はビデオコンテンツを取得するステップと、を含む。
【特許請求の範囲】
【請求項1】
プロセッサ（１４）と、ある時点で同じ種類の複数の動作を並列に行うように設計された並列処理ユニット（１６）とを含む電子装置（１０）によってデータストリームを復号化する方法において、前記データストリームは、第一のデータセット（Ｆｅｔ）と、オーディオ又はビデオコンテンツを表す第二のデータセット（Ｆｎｎ）とを含むことと、前記方法は、－ 前記第一のデータセット（Ｆｅｔ）からのデータをプロセッサ（１４）によって処理するステップ（Ｅ５６、Ｅ５８、Ｅ６０、Ｅ６２、Ｅ６６）と、
－ 前記第二のデータセット（Ｆｎｎ）からのデータを、前記第一のセット（Ｆｅｔ）からの前記データの少なくとも一部に依存するプロセスを使用し、且つ前記並列処理ユニット（１６）によって実装される人工ニューラルネットワーク（１８）を使用して処理すること（Ｅ７０）により、前記オーディオ又はビデオコンテンツを取得するステップと、
を含むことを特徴とする方法。
【請求項2】
前記並列処理ユニット（１６）を、前記第一のデータセット（Ｆｅｔ）からの前記データの少なくとも一部に応じて構成するステップ（Ｅ６８）を含む、請求項１に記載の復号化方法。
【請求項3】
前記第一のデータセット（Ｆｅｔ）は、前記人工ニューラルネットワーク（１８）を記述するデータ（Ｒｃ）を含み、前記構成ステップ（Ｅ６８）において、前記プロセッサ（１４）は、前記並列処理ユニット（１６）を前記記述データ（Ｒｃ）に基づいて構成する、請求項２に記載の復号化方法。
【請求項4】
前記電子装置（１０）は、それぞれ複数の人工ニューラルネットワークを定義する複数のパラメータセットを記憶するための記憶ユニット（１２）を含み、前記第一のデータセット（Ｆｅｔ）は、識別子（Ｉｎｎ）を含み、前記構成ステップ（Ｅ６８）において、前記プロセッサ（１４）は、前記並列処理ユニット（１６）を、前記複数のパラメータセットのうち、前記識別子（Ｉｎｎ）に関連付けられたパラメータセットに基づいて構成する、請求項２に記載の復号化方法。
【請求項5】
前記データストリームは、前記電子装置（１０）内で実行可能な命令（Ｅｘｅ）をさらに含み、前記第一のデータセット（Ｆｅｔ）からの前記データの前記処理は、少なくとも部分的に前記命令（Ｅｘｅ）の少なくとも一部の実行によって行われる、請求項１～４の何れか一項に記載の復号化方法。
【請求項6】
前記並列処理ユニット（１６）を構成する前記ステップ（Ｅ６８）は、前記命令（Ｅｘｅ）の少なくとも一部の実行によって行われる、請求項２に直接的又は間接的に従属する場合の請求項５に記載の復号化方法。
【請求項7】
前記データストリーム内の前記第一のデータセット（Ｆｅｔ）及び前記第二のデータセット（Ｆｎｎ）を識別するステップ（Ｅ５４）を含む、請求項１～６の何れか一項に記載の復号化方法。
【請求項8】
前記第一のデータセット（Ｆｅｔ）は、前記データストリームによって符号化された前記コンテンツのフォーマットの特性を表すデータ（Ｆｃ）を含む、請求項１～７の何れか一項に記載の復号化方法。
【請求項9】
前記第二のセット（Ｆｎｎ）からの前記データの前記処理は、画像の少なくとも一部の少なくとも１つのマトリクス表現（Ｉ）を生成する、請求項１～８の何れか一項に記載の復号化方法。
【請求項10】
前記人工ニューラルネットワーク（１８）は、前記第二のデータセット（Ｆｎｎ）からのデータを入力として受信する、請求項１～９の何れか一項に記載の復号化方法。
【請求項11】
前記人工ニューラルネットワーク（１８）は、前記人工ニューラルネットワーク（１８）の出力として以前に生成されたデータを入力として受信する、請求項１～１０の何れか一項に記載の復号化方法。
【請求項12】
第一のデータセット（Ｆｅｔ）と、オーディオ又はビデオコンテンツを表す第二のデータセット（Ｆｎｎ）とを含むデータストリームを復号化するための電子装置（１０）であって、－ 前記第一のデータセット（Ｆｅｔ）からのデータを処理するように適合されたプロセッサ（１４）と、
－ ある時点で同じ種類の複数の動作を並列に行うように設計された並列処理ユニット（１６）であって、前記第二のデータセット（Ｆｎｎ）からのデータを、前記第一のセット（Ｆｅｔ）からの前記データの少なくとも一部に依存するプロセスを使用し、且つ前記並列処理ユニット（１６）によって実装される人工ニューラルネットワーク（１８）を使用して処理することにより、前記オーディオ又はビデオコンテンツを取得するように適合された並列処理ユニット（１６）と、
を含む電子装置（１０）。
【請求項13】
前記プロセッサ（１４）は、前記並列処理ユニット（１６）を、前記第一のデータセット（Ｆｅｔ）からの前記データの少なくとも一部に応じて構成するように適合される、請求項１２に記載の電子装置。
【請求項14】
それぞれ複数の人工ニューラルネットワークを定義する複数のパラメータセットを記憶するための記憶ユニット（１２）を含み、前記第一のデータセット（Ｆｅｔ）は、識別子（Ｉｎｎ）を含み、前記プロセッサ（１４）は、前記並列処理ユニット（１６）を、前記複数のパラメータセットのうち、前記識別子（Ｉｎｎ）に関連付けられたパラメータセットに基づいて構成するように適合される、請求項１３に記載の電子装置。
【請求項15】
前記並列処理ユニット（１６）は、画像の少なくとも一部の少なくとも１つのマトリクス表現（Ｉ）を生成するように適合される、請求項１２～１４の何れか一項に記載の電子装置。
【請求項16】
第一のデータセット（Ｆｅｔ）と、オーディオ又はビデオコンテンツを表す第二のデータセット（Ｆｎｎ）とを含むデータストリームであって、前記第一のデータセット（Ｆｅｔ）は、少なくとも部分的に、前記第二のデータセット（Ｆｎｎ）からのデータを、人工ニューラルネットワークを使用して処理するためのプロセスを定義するデータ（Ｉｎｎ、Ｒｃ）を含む、データストリーム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツの復号化、特にオーディオ又はビデオコンテンツの技術分野に関する。
【0002】
特に、本発明は、データストリームを復号化するための方法及び電子装置並びに関連するデータストリームに関する。
【背景技術】
【0003】
特にビデオ復号化の分野において、プロセッサ（一般に電子装置の中央ユニット、すなわち「中央処理ユニット」、略してＣＰＵ）と、ある時点で同じ種類の複数の動作を並列に行うように設計された並列処理ユニットとの両方を含む電子装置を使用することが知られている。このような並列処理ユニットは、例えば、グラフィック処理ユニット、すなわちＧＰＵ又はテンソル処理ユニット、すなわちＴＰＵであり、これは、例えば、２０１６年８月２２日付のＴｅｃｈｒａｄａｒのＪｏｅ Ｏｓｂｏｒｎｅによる記事「Ｇｏｏｇｌｅ’ｓ Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ｅｘｐｌａｉｎｅｄ：ｔｈｉｓ ｉｓ ｗｈａｔ ｔｈｅ ｆｕｔｕｒｅ ｏｆ ｃｏｍｐｕｔｉｎｇ ｌｏｏｋｓ ｌｉｋｅ」に記載されている。
【0004】
さらに、ビデオコンテンツを表すデータを人工ニューラルネットワークによって圧縮することが提案されている。したがって、圧縮データの復号化は、他の人工ニューラルネットワークによって実行され得、これは、例えば、２０１９ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｌｏｎｇ Ｂｅａｃｈ，ＣＡ，ＵＳＡ，２０１９，ｐｐ．１０９９８－１１００７のＧｕｏ Ｌｕ ｅｔ ａｌ．による記事「ＤＶＣ：Ａｎ Ｅｎｄ－ｔｏ－ｅｎｄ Ｄｅｅｐ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｆｒａｍｅｗｏｒｋ」に記載されている。
【発明の概要】
【課題を解決するための手段】
【0005】
これに関して、本発明は、プロセッサと、ある時点で同じ種類の複数の動作を並列に行うように設計された並列処理ユニットとを含む電子装置によってデータストリームを復号化する方法において、データストリームは、第一のデータセットと、オーディオ又はビデオコンテンツを表す第二のデータセットとを含むことと、この方法は、
－ 第一のデータセットからのデータをプロセッサによって処理するステップと、
－ 第二のデータセットからのデータを、第一のデータセットからのデータの少なくとも一部に依存するプロセスを使用し、且つ並列処理ユニットによって実装される人工ニューラルネットワークを使用して処理することにより、オーディオ又はビデオコンテンツを取得するステップと、
を含むことを特徴とする方法を提案する。
－ 第一のデータセットからのデータをプロセッサによって処理するステップと、
－ 第二のデータセットからのデータを、第一のデータセットからのデータの少なくとも一部に依存するプロセスを使用し、且つ並列処理ユニットによって実装される人工ニューラルネットワークを使用して処理することにより、オーディオ又はビデオコンテンツを取得するステップと、
を含むことを特徴とする方法を提案する。
【0006】
並列処理ユニットによって実装される人工ニューラルネットワークにより、第二のセットからのデータを処理するステップは、したがって、データストリームに含まれる第一のセットからのデータに応じて調整され得る。これにより、人工ニューラルネットワークによる第二のデータのその復号化のための処理がフレキシブルで効率的なものとなる。
【0007】
方法は、したがって、例えば並列処理ユニットを、第一のデータセットからのデータの少なくとも一部に応じて構成するステップを含むことができる。
【0008】
並列処理ユニットの構成は、並列処理ユニットのメモリアロケーション、及び／又は並列処理メモリのメモリのインスタンス化、及び／又は（第一のデータセットからのデータの前記少なくとも一部に応じた）並列処理ユニット上で実行される処理動作への値の割当（ここでは、実際には、人工ニューラルネットワークを定義する重み及び／又は活性化関数の割当であり、これらの重み及び／又は活性化関数は、第一のデータセットからのデータの前記少なくとも一部に応じて特定される）を含み得る。
【0009】
第一の可能性によれば、第一のデータセットは、人工ニューラルネットワークを記述するデータ（例えば、人工ニューラルネットワークを符号化するデータ）を含み得る。この場合、構成ステップにおいて、プロセッサは、並列処理ユニットをこれらの記述データに基づいて構成し得る。
【0010】
第二の可能性によれば、電子装置は、それぞれ複数の人工ニューラルネットワークを定義する複数のパラメータセットを記憶するための記憶ユニットを含み得る。第一のデータセットは、この場合、識別子を含み得る。したがって、構成ステップにおいて、プロセッサは、並列処理ユニットを、複数のパラメータセットのうち、この識別子に関連付けられたパラメータセットに基づいて構成することができる。
【0011】
プロセッサは、例えば、マイクロプロセッサであり、プロセッサは、したがって、コンピュータプログラムからの複数の命令を連続的に実行することができる。
【0012】
さらに、データストリームは、電子装置内で（例えば、プロセッサ又は代替として仮想マシンによって）実行可能な命令をさらに含むようになされ得る。第一のデータセットからのデータの処理は、この場合、少なくとも部分的にこれらの命令の少なくとも一部の実行によって行われ得る。
【0013】
特に、並列処理ユニットの構成ステップは、したがって、これらの命令の少なくとも一部の実行によって行われ得る。
【0014】
復号化方法は、データストリーム内の第一のデータセット及び第二のデータセットを識別するステップをさらに含み得る（例えば、第一のデータセット及び／又は第二のデータセットのための所定のバイナリ長を利用することによるか、又は第一のデータセットと第二のデータセットとの境界のインジケータの利用による）。
【0015】
第一のデータセットは、データストリームによって符号化されたコンテンツのフォーマットの特性を表すデータをさらに含み得る。
【0016】
コンテンツがビデオコンテンツである（すなわちこのコンテンツが少なくとも１つの画像、おそらく画像シーケンスを含む）場合、第二のセットからのデータの処理は、例えば、画像の少なくとも一部（例えば、画像のブロック若しくは画像の成分又は画像全体）の少なくとも１つのマトリクス表現を生成し得る。
【0017】
人工ニューラルネットワークは、第二のデータセットからのデータを入力として（すなわち人工ニューラルネットワークの入力層で）受信し得る。人工ニューラルネットワークは、上述のマトリクス表現を出力として（すなわち人工ニューラルネットワークの出力層で）さらに生成し得る。
【0018】
考え得る実施形態によれば、人工ニューラルネットワークは、人工ニューラルネットワークの出力として（すなわち出力層で）以前に生成されたデータを入力として（すなわち上述の入力層で）さらに受信し得る。
【0019】
本発明は、第一のデータセットと、オーディオ又はビデオコンテンツを表す第二のデータセットとを含むデータストリームを復号化するための電子装置も提案し、電子装置は、
－ 第一のデータセットからのデータを処理するように適合されたプロセッサ、
－ ある時点で同じ種類の複数の動作を並列に行うように設計された並列処理ユニットであって、第二のデータセットからのデータを、第一のセットからのデータの少なくとも一部に依存するプロセスを使用し、且つ並列処理ユニットによって実装される人工ニューラルネットワークを使用して処理することにより、オーディオ又はビデオコンテンツを取得するように適合された並列処理ユニット
を含む。
－ 第一のデータセットからのデータを処理するように適合されたプロセッサ、
－ ある時点で同じ種類の複数の動作を並列に行うように設計された並列処理ユニットであって、第二のデータセットからのデータを、第一のセットからのデータの少なくとも一部に依存するプロセスを使用し、且つ並列処理ユニットによって実装される人工ニューラルネットワークを使用して処理することにより、オーディオ又はビデオコンテンツを取得するように適合された並列処理ユニット
を含む。
【0020】
前述のように、プロセッサは、並列処理ユニットを、第一のデータセットからのデータの少なくとも一部に応じて構成するようにさらに適合され得る。
【0021】
並列処理ユニットは、画像の少なくとも一部の少なくとも１つのマトリクス表現を生成するように適合され得る。
【0022】
本発明は、最後に、第一のデータセットと、オーディオ又はビデオコンテンツを表す第二のデータセットとを含むデータストリームを提案し、第一のデータセットは、少なくとも部分的に、第二のデータセットからのデータを、人工ニューラルネットワークを使用して処理するためのプロセスを定義するデータを含む。
【0023】
前述のように、また以下に説明するように、少なくとも部分的に処理プロセスを定義するこれらのデータは、人工ニューラルネットワークの識別子（所定の人工ニューラルネットワークセットのうちの）又は人工ニューラルネットワークを記述するデータ（例えば、それを符号化するデータ）であり得る。
【0024】
当然のことながら、本発明の様々な特徴、代替形態及び実施形態は、これらが相互に矛盾しないか又は排他的でない限り、各種の組合せによって相互に関連付けられ得る。
【0025】
さらに、本発明の他の様々な特徴は、本発明の非限定的な実施形態を図解する下記の図面に関して行われる以下の説明から明らかになるであろう。
【図面の簡単な説明】
【0026】
【発明を実施するための形態】
【0027】
図１は、少なくとも１つの人工ニューラルネットワーク８を使用する電子符号化装置２を示す。
【0028】
電子符号化装置２は、プロセッサ４（例えば、マイクロプロセッサ）及び並列処理ユニット６、例えばグラフィック処理ユニット、すなわちＧＰＵ又はテンソル処理ユニット、すなわちＴＰＵを含む。
【0029】
図１に概略的に示されるように、プロセッサ４は圧縮されることになるオーディオ又はビデオコンテンツを表すデータＰ、Ｂ、ここではフォーマットデータＰとコンテンツデータＢを受信する。
【0030】
フォーマットデータＰは、オーディオ又はビデオコンテンツの表現フォーマットの特性、例えばビデオコンテンツの場合には画像サイズ（ピクセルの単位）、フレームレート、輝度情報のバイナリ深度及び色差情報のバイナリ深度を示す。
【0031】
コンテンツデータＢは、オーディオ又はビデオコンテンツの（ここでは圧縮されていない）表現を形成する。例えばビデオコンテンツの場合、コンテンツデータは、画像シーケンスの各画像の各画素について、そのピクセルの輝度値を表すデータ及び／又はピクセルの色差値を表すデータを含む。
【0032】
並列処理ユニット６は、プロセッサ４によって構成された後に人工ニューラルネットワーク８を実装するように設計される。その目的のために、並列処理ユニットはある時点で同じ種類の複数の動作を並列に行うように設計される。
【0033】
以下に説明するように、人工ニューラルネットワーク８は、圧縮データＣを得ることを目的として、コンテンツデータＢの処理の枠内で使用される。
【0034】
本明細書に記載の実施形態において、コンテンツデータＢが人工ニューラルネットワーク８の入力で適用されると、人工ニューラルネットワーク８は出力で圧縮データＣを生成する。
【0035】
人工ニューラルネットワーク８の入力で適用された（すなわち人工ニューラルネットワーク８の入力層で適用された）コンテンツデータＢは、画像のブロック、又は画像成分のブロック（例えば、輝度若しくは色差成分のブロック又はこの画像の色成分のブロック）、又はビデオシーケンスの画像、又はビデオシーケンスの画像の成分（例えば、輝度若しくは色差成分又は色成分）、又はビデオシーケンスの一連の画像も表し得る。
【0036】
例えば、この場合、入力層のニューロンの少なくとも幾つかは、画像成分のピクセル値をそれぞれ受信するように適合され得、前記値は、コンテンツデータＢの１つによって表される。
【0037】
代替として、コンテンツデータＢの処理は、幾つかの人工ニューラルネットワークの使用を含み得、これは、例えば、前述の記事、２０１９ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ），Ｊｕｎｅ ２０１９のＧｕｏ Ｌｕ ｅｔ ａｌ．による「ＤＶＣ：Ａｎ Ｅｎｄ－ｔｏ－ｅｎｄ Ｄｅｅｐ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｆｒａｍｅｗｏｒｋ」に記載されている。
【0038】
これから電子符号化装置２によって実行される符号化方法の例を、図２を参照しながら説明する。
【0039】
プロセッサ４にリンクされるメモリは、例えば、コンピュータプログラム命令を記憶し、これは、これらの命令がプロセッサ４によって実行されると、図２の方法のステップの少なくとも一部を実行するように設計される。換言すれば、プロセッサ４は図２のステップの少なくとも一部を実行するようにプログラムされる。
【0040】
図２の方法は、ここで、電子復号化装置によってアクセス可能な人工ニューラルネットワークのリストを受信する任意選択的ステップＥ２から始まる。
【0041】
リストは、例えば、電子符号化装置２のプロセッサ４によって電子復号化装置（例えば、後に説明する図７の電子復号化装置１０と一致する）から直接受信される。
【0042】
以下に説明するように、電子復号化装置によってアクセス可能な人工ニューラルネットワークは、それに関して電子復号化装置が関係する人工ニューラルネットワークを定義するパラメータを記憶するか、又はサーバ等のリモート電子設備との接続によってこれらのパラメータにアクセスし得る人工ニューラルネットワークである。
【0043】
代替として、リストは、電子装置２のプロセッサ４により、上述のサーバ等のリモートサーバから直接受信できる。
【0044】
図２の方法は、符号化プロセス－復号化プロセスのペアを選択するステップＥ４に続く。符号化プロセスについて前述したように、符号化プロセスと復号化プロセスは各々、少なくとも１つの人工ニューラルネットワークを使用する。
【0045】
本明細書に記載の例では、符号化プロセスは符号化人工ニューラルネットワークによって実行され、復号化プロセスは復号化人工ニューラルネットワークによって実行される。
【0046】
符号化人工ニューラルネットワーク及び復号化ニューラルネットワークによって形成されるセット（符号化人工ニューラルネットワークの出力は復号化人工ニューラルネットワークの入力に適用される）は、例えば、オートエンコーダを形成する。
【0047】
符号化プロセス－復号化プロセスペアは、例えば、事前設定された複数の符号化プロセス－復号化プロセスペア、すなわちここでは複数の符号化人工ニューラルネットワーク－復号化人工ニューラルネットワークペアの中から選択される。
【0048】
電子復号化装置によってアクセス可能な人工ニューラルネットワークのリストが事前に受け取られている場合（ステップＥ２で前述したとおり）、符号化プロセス－復号化プロセスペアは、例えば、そのために復号化プロセスが受け取ったリスト中にある人工ニューラルネットワークを使用する符号化プロセス－復号化プロセスペアの中から選択される。
【0049】
符号化プロセス－復号化プロセスペアは、所期の用途（例えば、ユーザが電子符号化装置２の図示されていないユーザインタフェースを用いて示す）に応じても選択され得る。例えば、所期の用途がビデオ会議である場合、選択される符号化プロセス－復号化プロセスペアには低レイテンシの復号化プロセスが含まれる。他の用途の場合、選択される符号化プロセス－復号化プロセスペアにはランダムアクセス復号化プロセスが含まれる。
【0050】
ビデオシーケンスの復号化のための低レイテンシプロセスでは、ビデオシーケンスの画像は、例えば、符号化されたデータによって表され、それが直ちに送信され、復号化され得、データは、その後、ビデオ画像の表示順に送信され得るが、それにより、この場合、符号化と復号化との間に１フレームのレイテンシが確保される。
【0051】
ビデオシーケンスの復号化のためのランダムアクセスプロセスでは、それぞれ複数の画像に関する符号化されたデータは、これらの画像の表示順以外の順序で送信され、それにより圧縮度を高めることができる。他の画像を参照せずに符号化された画像（いわゆるイントラフレーム）は、その後、規則的に符号化され得、それによりビデオシーケンスの復号化を符号化されたストリーム内の複数の箇所から開始することができる。
【0052】
その目的のために、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ．２２，ｎｏ．１２，ｐｐ．１６４９－１６６８，Ｄｅｃ．２０１２内のＧ．Ｊ．Ｓｕｌｌｉｖａｎ，Ｊ．－Ｒ．Ｏｈｍ，Ｗ．－Ｊ．Ｈａｎ ａｎｄ Ｔ．Ｗｉｅｇａｎｄによる記事「Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｓｔａｎｄａｒｄ」を参照されたい。
【0053】
符号化プロセス－復号化プロセスペアは、最良の圧縮－歪みバランスを得るためにも選択され得る。
【0054】
その目的のために、複数の符号化プロセス－復号化プロセスペアをコンテンツデータＢに適用し、よりよい圧縮－歪みバランスに到達するセットを選択することが可能である。
【0055】
代替として、コンテンツの種類を特定し（例えば、コンテンツデータＢを分析することによる）、特定された種類に応じた符号化プロセス－復号化プロセスペアを選択することが可能である。
【0056】
符号化プロセス－復号化プロセスペアは、電子復号化装置で利用可能な計算能力に応じても選択され得る。この計算能力を表す情報は、電子復号化装置から電子符号化装置に事前に送信されている（例えば、上述のステップＥ２で電子符号化装置によって受信されている）可能性がある。
【0057】
符号化プロセス－復号化プロセスペアを選択するための様々な基準を相互に組み合わせることも可能であり得る。
【0058】
符号化プロセス－復号化プロセスペアが選択されると、プロセッサ４は、並列処理ユニット６を並列処理ユニット６が選択された符号化方法を実行できるような方法で構成するステップＥ６に進む。
【0059】
このステップＥ６は、特に選択された符号化プロセスによって使用される符号化人工ニューラルネットワーク８の並列処理ユニット６内でのインスタンス化を含む。
【0060】
このインスタンス化は、特に以下のステップ、
－ 並列処理ユニット６内において、符号化人工ニューラルネットワークを実装するのに必要なメモリスペースを留保するステップ、及び／又は
－ 並列処理ユニット６を、符号化人工ニューラルネットワーク８を定義する重みＷ及び活性化関数でプログラムするステップ、及び／又は
－ 並列処理ユニット６のローカルメモリ内にコンテンツデータＢの少なくとも一部をロードするステップ
を含み得る。
－ 並列処理ユニット６内において、符号化人工ニューラルネットワークを実装するのに必要なメモリスペースを留保するステップ、及び／又は
－ 並列処理ユニット６を、符号化人工ニューラルネットワーク８を定義する重みＷ及び活性化関数でプログラムするステップ、及び／又は
－ 並列処理ユニット６のローカルメモリ内にコンテンツデータＢの少なくとも一部をロードするステップ
を含み得る。
【0061】
図２の方法は、したがって、符号化プロセスを実行するステップＥ８、すなわちコンテンツデータＢを符号化人工ニューラルネットワーク８の入力に適用する（又は換言すれば入力としてコンテンツデータＢをとることによって符号化人工ニューラルネットワーク８を作動させる）ステップを含む。
【0062】
したがって、ステップＥ８により、圧縮データＣを（ここでは符号化人工ニューラルネットワーク８の出力で）生成できる。
【0063】
以下のステップは、特に圧縮データＣを含み、電子復号化装置（例えば、図７に関して説明する電子復号化装置１０）に向けられるデータストリームの符号化（すなわち準備）に関する。
【0064】
方法は、したがって、特にオーディオ又はビデオコンテンツの表現フォーマットのデータ特性（ここでは例えば符号化されているビデオシーケンスのフォーマットに関連付けられるデータ）を含む第一のヘッダ部分Ｆｃを符号化するステップＥ１０を含む。
【0065】
第一のヘッダ部分Ｆｃを形成するこれらのデータは、例えば、画像サイズ（ピクセルの単位）、フレームレート、輝度情報のバイナリ深度及び色差情報のバイナリ深度を示す。これらのデータは、例えば、上述のフォーマットデータＰに基づいて（考え得る再フォーマットの後に）構成される。
【0066】
図２の方法は、したがって、データストリームを復号化できる電子復号化装置（例えば、図７に関して後述する電子復号化装置１０）にとっての復号化人工ニューラルネットワーク（ステップＥ４で選択された復号化プロセスによって使用される）の利用可能性を特定するステップＥ１２に続く。
【0067】
この特定は、ステップＥ２で受け取ったリストに基づいて行われ得、プロセッサ４はこの場合、ステップＥ４で選択された復号化プロセスによって使用される復号化人工ニューラルネットワークがステップＥ２で受け取ったリストに属しているか否かを特定する。（当然のことながら、符号化プロセス－復号化プロセスペアが電子復号化装置にとって利用可能な復号化人工ニューラルネットワークに対応するように体系的に選択される実施形態において、ステップＥ１２は、省略され得、したがって、方法は、ステップＥ１４に続く。）
【0068】
考え得る実施形態によれば、電子復号化装置にとっての復号化人工ニューラルネットワークの利用可能性に関する情報がない場合、方法は（すでに説明したように、復号化人工ニューラルネットワークを記述するデータが電子復号化装置に送信されるように）ステップＥ１６に続く。
【0069】
プロセッサ４が、ステップＥ１２において、復号化人工ニューラルネットワークが電子復号化装置にとって利用可能であることを特定した場合（矢印Ｐ）、方法は、下記のステップＥ１４に続く。
【0070】
プロセッサ４が、ステップＥ１２において、復号化人工ニューラルネットワークが電子復号化装置にとって利用可能ではないことを特定した場合（矢印Ｎ）、方法は、以下のステップＥ１６に続く。
【0071】
代替として、ステップＥ１２の後のステップとしてのステップＥ１４かステップＥ１６かの選択は、他の基準に依存して、例えば電子符号化装置２に記憶された（且つおそらくユーザが電子符号化装置２のユーザインタフェースを介して調整可能であり得る）専用のインジケータ又はユーザが行う（例えば、電子符号化装置２のユーザインタフェースを介して得られる）選択に応じて行うこともできる。
【0072】
プロセッサ４は、インジケータＩＮＤを含む第二のヘッダ部分と、ここでは復号化人工ニューラルネットワークの識別子Ｉｎｎを含む第三のヘッダ部分を符号化するステップＥ１４に進む。
【0073】
ステップＥ１４において、データストリーム中で符号化されるインジケータＩＮＤは、その復号化人工ニューラルネットワークが所定の人工ニューラルネットワークセット、ここでは電子復号化装置にとって利用可能な（又はアクセス可能な）人工ニューラルネットワークセット（すなわちステップＥ２で受け取られるリストの人工ニューラルネットワークのセット）に属することを示す。
【0074】
復号化人工ニューラルネットワークの識別子Ｉｎｎは、変換により、（特に電子符号化装置と電子復号化装置が共有する）この復号化人工ニューラルネットワークを例えば上述の所定のセット内で定義する識別子である。
【0075】
プロセッサ４は、インジケータＩＮＤ’を含む第二のヘッダ部分とここでは復号化人工ニューラルネットワークを記述するデータＲｃを含む第三のヘッダ部分を符号化するステップＥ１６に進む。
【0076】
ステップＥ１６において、データストリーム中で符号化されたインジケータＩＮＤ’は、復号化人工ニューラルネットワークがデータストリーム中で符号化されたこと、すなわち上述の記述データＲｃによって表されることを示す。
【0077】
復号化人工ニューラルネットワークは、例えば、記述データ（又は復号化人工ニューラルネットワークを符号化するデータ）Ｒｃにより、ＭＰＥＧ－７ ｐａｒｔ １７等の標準又はＪＳＯＮ等のフォーマットに従って符号化される（すなわち表される）。
【0078】
その目的のために、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，Ｌｏｎｇ Ｂｅａｃｈ，Ｃａｌｉｆｏｒｎｉａ，ＰＭＬＲ ９７，２０１９におけるＳ．Ｗｉｅｄｅｍａｎｎ ｅｔ ａｌ．による記事「ＤｅｅｐＣＡＢＡＣ：Ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ ｆｏｒ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｃｏｍｐｒｅｓｓｉｏｎ」又はＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｌｅａｒｎｉｎｇ Ｓｙｓｔｅｍｓ（Ｖｏｌ．３１，Ｉｓｓ．３），Ｍａｒｃｈ ２０２０におけるＳ．Ｗｉｅｄｅｍａｎｎ ｅｔ ａｌ．による記事「Ｃｏｍｐａｃｔ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ Ｅｆｆｉｃｉｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」を参照されたい。
【0079】
ステップＥ１６後のステップＥ１４において、図２の方法は、電子復号化装置が復号化人工ニューラルネットワークを使用して復号化プロセスを実行する可能性を特定するステップＥ１８に続く。
【0080】
プロセッサ４は、例えば、この可能性を、（おそらく電子符号化装置と電子復号化装置との間のそれ以前の交換によって）電子復号化装置がこの復号化プロセスを実行するように設計されたモジュール又はこの電子復号化装置のプロセッサによってソフトウェアが実行されたときに電子復号化装置によるこの復号化プロセスの実行に適しているソフトウェアを含むか否かを特定することによって特定する。
【0081】
プロセッサ４は、電子復号化装置が復号化プロセスを実行できることを特定した場合、方法は、後述のステップＥ２２に続く。
【0082】
プロセッサ４が、電子復号化装置が復号化プロセスを実行できないことを特定した場合、方法は、（ステップＥ２２に進む前に）後述のステップＥ２０を実行する。
【0083】
代替として、（ステップＥ２２を実行する前に）ステップＥ２０を実行するか否かの選択は、他の基準に存して、例えば電子符号化装置２内に記憶された（及びおそらくユーザによって電子符号化装置２のユーザインタフェースを介して調整可能な）専用インジケータ又は（例えば、電子符号化装置２のユーザインタフェースを介して得られる）ユーザによって行われた選択に応じて行うことができる。
【0084】
プロセッサ４は、ステップＥ２０において、データストリーム中で電子復号化装置のプロセッサによって実行可能なコンピュータプログラムＥｘｅ（又はコード）を含む第四のヘッダ部分を符号化する。（電子復号化装置内でのコンピュータプログラムＥｘｅの使用については、図８を参照して後に説明する。）
【0085】
電子復号化装置内での実行に合わせて調整されるようにするために、コンピュータプログラムは、例えば、電子復号化装置のハードウェア構成に関する情報（例えば、電子符号化装置２と電子復号装置との以前の交換によって受け取られた情報）に応じてライブラリ内で選択される。
【0086】
プロセッサ４は、したがって、ステップＥ８で得られた圧縮データＣに基づいて圧縮ストリームＦｎｎを符号化するステップＥ２２に進む。
【0087】
この点において、上述の説明では、ステップＥ８は、ヘッダＦｅｔを符号化するステップ（ステップＥ１０～Ｅ２０）前に説明されていることがわかる。しかしながら、実際には、ステップＥ８は、ステップＥ２２の直前に実行できる。
【0088】
特に、ステップＥ８によって圧縮されるべきオーディオ又はビデオコンテンツの一部のみを処理できる場合（例えば、ステップＥ８は圧縮されるべきビデオシーケンスのブロック、又は成分、又は画像の処理を実行する場合）、ステップＥ８（コンテンツの連続部分に関係する圧縮データを取得するため）及びＥ２２（データストリーム中で得られた圧縮データを符号化するため）の実行を繰り返すことが可能である。
【0089】
プロセッサ４は、したがって、ステップＥ２４において、ヘッダＦｅｔ及び圧縮ストリームＦｎｎを含む完全なデータストリームを構築することができる。
【0090】
完全なデータストリームは、ヘッダＦｅｔ及び圧縮ストリームＦｎｎが個別に識別可能となるような方法で構築される。
【0091】
考え得る実施形態によれば、ヘッダＦｅｔは、完全なデータストリーム中の圧縮ストリームＦｎｎの開始のインジケータを含む。このインジケータは、例えば、圧縮データストリームの開始からの圧縮ストリームＦｎｎの始まりの位置をビットで表したものである。（換言すれば、ヘッダはこの場合、所定の固定の長さを有する。）
【0092】
ヘッダＦｅｔ及び圧縮ストリームＦｎｎのその他の識別方法も代替として想定でき、これは、例えば、マーカ（すなわち圧縮ストリームＦｎｎの開始を示すために使用され、その使用がデータストリームの残りの部分又は少なくともヘッダＦｅｔに隠されるバイナリの組合せ）である。
【0093】
【0094】
すでに説明したように、これらのデータストリームはヘッダＦｅｔと圧縮ストリームＦｎｎを含む。
【0095】
図３のケース（ステップＥ１４が実行され、ステップＥ２０が実行されなかった状況に対応する）では、ヘッダは、
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃ、
－ 復号化人工ニューラルネットワークが所定の人工ニューラルネットワークセットに属することを示すインジケータＩＮＤを含む第二の部分、
－ 復号化人工ニューラルネットワークの識別子Ｉｎｎを含む第三の部分
を含む。
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃ、
－ 復号化人工ニューラルネットワークが所定の人工ニューラルネットワークセットに属することを示すインジケータＩＮＤを含む第二の部分、
－ 復号化人工ニューラルネットワークの識別子Ｉｎｎを含む第三の部分
を含む。
【0096】
図４のケース（ステップＥ１６が実行され、ステップＥ２０が実行されていない状況に対応する）では、ヘッダは、
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃ、
－ 復号化人工ニューラルネットワークがデータストリーム中で符号化されていることを示すインジケータＩＮＤ’を含む第二の部分、
－ 復号化人工ニューラルネットワークを記述するデータＲｃ（ここではそれを符号化するデータ）を含む第三の部分
を含む。
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃ、
－ 復号化人工ニューラルネットワークがデータストリーム中で符号化されていることを示すインジケータＩＮＤ’を含む第二の部分、
－ 復号化人工ニューラルネットワークを記述するデータＲｃ（ここではそれを符号化するデータ）を含む第三の部分
を含む。
【0097】
図５のケース（ステップＥ１４及びＥ２０が実行された状況に対応する）では、ヘッダは、
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃ、
－ 復号化人工ニューラルネットワークが所定の人工ニューラルネットワークセットに属することを示すインジケータＩＮＤを含む第二の部分、
－ 復号化人工ニューラルネットワークの識別子Ｉｎｎを含む第三の部分、
－ コンピュータプログラムＥｘｅを含む第四の部分
を含む。
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃ、
－ 復号化人工ニューラルネットワークが所定の人工ニューラルネットワークセットに属することを示すインジケータＩＮＤを含む第二の部分、
－ 復号化人工ニューラルネットワークの識別子Ｉｎｎを含む第三の部分、
－ コンピュータプログラムＥｘｅを含む第四の部分
を含む。
【0098】
図６のケース（ステップＥ１６及びＥ２０が実行された状況に対応する）では、ヘッダは、
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃ、
－ 復号化人工ニューラルネットワークがデータストリーム中で符号化されていることを示すインジケータＩＮＤを含む第二の部分、
－ 復号化人工ニューラルネットワークを記述するデータＲｃ（ここではそれを符号化するデータ）を含む第三の部分、
－ コンピュータプログラムＥｘｅを含む第四の部分
を含む。
－ オーディオ又はビデオコンテンツの表現フォーマットのデータ特性を含む第一の部分Ｆｃ、
－ 復号化人工ニューラルネットワークがデータストリーム中で符号化されていることを示すインジケータＩＮＤを含む第二の部分、
－ 復号化人工ニューラルネットワークを記述するデータＲｃ（ここではそれを符号化するデータ）を含む第三の部分、
－ コンピュータプログラムＥｘｅを含む第四の部分
を含む。
【0099】
ステップＥ２４で構築されるデータストリームは、「Ｐａｃｋｅｔ－Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ」フォーマット又は「Ｂｙｔｅ－Ｓｔｒｅａｍ」フォーマット等、それ自体知られている送信フォーマットにカプセル化され得る。
【0100】
「Ｐａｃｋｅｔ－Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍ」フォーマット（例えば、ＲＴＰプロトコルによって提案される）の場合、データは、識別可能なパケットによって符号化され、通信ネットワーク上で送信される。ネットワークは、ネットワーク層によって提供されるパケット識別情報を用いて、データ（画像、画像の集合及びここではヘッダＦｅｔと圧縮ストリームＦｎｎ）の境界を容易に識別できる。
【0101】
「Ｂｙｔｅ－Ｓｔｒｅａｍ」フォーマットの場合、特にパケットはなく、ステップＥ２４の構築は、関連するデータの境界（例えば、ストリームのうちの各画像に対応する部分間及びここではヘッダＦｅｔと圧縮ストリームＦｎｎとの間の境界）を、ネットワーク抽出層（ＮＡＬ）ユニットの使用等の追加の手段を使用して識別できなければならず、この場合、固有のバイナリの組合せ（０×０００００００１等）によってデータ間の境界を識別することが可能である）。
【0102】
ステップＥ２４で構築される完全なデータストリームは、その後、ステップＥ２６において、電子復号化装置２６に向かって（図示されていない通信手段により且つ／又は少なくとも１つの通信ネットワークを通して）発出するか、又は電子符号化装置２に（後に送信するか又は代替として後に例えば電子符号化装置自体内で復号化するために（この場合、図８に関して後述する復号化方法をさらに実行するように設計される））記憶され得る。
【0103】
オーディオ又はビデオコンテンツが複数の部分（例えば、コンテンツがビデオシーケンスである場合、複数の画像群）を含むときには、ステップＥ４～Ｅ２４の方法はおそらく、コンテンツの各部分について（例えば、各画像群について）、図３～６の１つに示されるデータストリームを得るような方法で実行することができる。したがって、各画像群に関する圧縮ストリームＦｎｎは、関係する画像群にとって適正であり、おそらく後述のように他の画像群に使用される人工ニューラルネットワークと異なる人工ニューラルネットワークを使用して復号化できる。人工ニューラルネットワークは、おそらく、同じ構造を有し得る（且つその重み及び／又は特定の人工ニューラルネットワークを定義する活性化関数のみが異なる）。
【0104】
図７は、少なくとも１つの人工ニューラルネットワーク１８を使用する電子復号化装置１０を示す。
【0105】
この電子復号化装置１０は、受信ユニット１１、プロセッサ１４（例えば、マイクロプロセッサ）及び並列処理ユニット１６、例えばグラフィック処理ユニット、すなわちＧＰＵ又はテンソル処理ユニット、すなわちＴＰＵを含む。
【0106】
受信ユニット１１は、例えば、通信回路（無線周波数通信回路等）であり、それにより電子符号化装置２等の外部電子装置からデータ（及び特にここでは符号化されたデータストリーム）を受信し、これらのデータを（そこに受信ユニット１１が例えばバスによって接続される）プロセッサ１４に通信することが可能となる。
【0107】
電子復号化装置１０は、記憶ユニット１２、例えばメモリ（リライタブル不揮発性メモリであり得る）又はハードドライブも含む。記憶ユニット１２は、図７において、プロセッサ１４と異なる素子として示されているが、記憶ユニット１２は、代替として、プロセッサ１４に内蔵され得る（すなわちその中に含まれ得る）。
【0108】
プロセッサ１４はこの場合、例えば記憶ユニット１２に記憶されたコンピュータプログラムの複数の命令を連続的に実行するように適合される。
【0109】
並列処理ユニット１６は、プロセッサ１４によって構成された後、人工ニューラルネットワーク１８を実装するように設計される。その目的のために、並列処理ユニット１６は、ある時点で同じ種類の複数の動作を並列に行うように設計される。
【0110】
図７に概略的に示されているように、プロセッサ１４は、第一のデータセット、ここではヘッダＦｅｔと、オーディオ又はビデオコンテンツを表す第二のデータセット、ここでは圧縮ストリームＦｎｎを含むデータストリームを（例えば、電子復号化装置１０の、図示されない通信手段を介して）受信する。
【0111】
後述するように、人工ニューラルネットワーク１８は、第二のデータセット（すなわちここでは圧縮データＦｎｎ）の処理の枠組み内において、初期オーディオ又はビデオコンテンツＢに対応するオーディオ又はビデオコンテンツを取得するために使用される。
【0112】
記憶ユニット１２は、複数のパラメータセットを記憶でき、各パラメータセットは復号化人工ニューラルネットワークを定義する。後述するように、プロセッサ１４はこの場合、これらのパラメータセットのうちの特定のパラメータセットによって並列処理ユニット１６を、並列処理ユニット１６がこの特定のパラメータセットによって定義される人工ニューラルネットワークを実装できるような方法で構成できる。
【0113】
記憶ユニット１２は、特に、ランダムアクセスデコーダを形成する第一の人工ニューラルネットワークを定義する第一のパラメータセット及び／又は低レイテンシデコーダを形成する第二の人工ニューラルネットワークを定義する第二のパラメータセットを記憶し得る。
【0114】
この場合、電子復号化装置１０には、コンテンツへのランダムアクセスが望ましい状況とコンテンツが遅滞なく表示されることになる状況の両方のための事前の復号化オプションがある。
【0115】
ここで、図８に関して、電子復号化装置１０内において、並列処理ユニット１６によって実装される人工ニューラルネットワーク１８を用いて実行される復号化方法を説明する。
【0116】
この方法は、電子復号化装置１０による、復号化対象のデータストリームの送信を制御する装置に向けた、電子復号化装置１０によって利用可能な人工ニューラルネットワークのリストＬの送信の人選択的ステップから開始され得る。データストリーム送信制御装置は、例えば、電子符号化装置２であり得る。（電子符号化装置２は、この場合、このリストＬを図２に関して前述したステップＥ２で受信する。）代替として、データストリーム送信制御装置は、電子符号化装置２と協働する専用サーバでもあり得る。
【0117】
電子復号化装置１０がアクセス可能な人工ニューラルネットワークは、電子復号化装置１０がそれに関して（前述のように）関係する人工ニューラルネットワークを定義するパラメータセットを記憶するか、又は（後述のように）サーバ等のリモート電子設備との接続によってこのパラメータセットにアクセスし得る人工ニューラルネットワークである。
【0118】
図８の方法は、（電子復号化装置１０、正確にはここでは受信ユニット１１によって）第一のパラメータセット、すなわちヘッダＦｅｔと第二のパラメータセット、すなわち圧縮ストリームＦｎｎを含むデータストリームを受信するステップＥ５２を含む。受信ユニット１１は、受信したデータストリームをプロセッサ１４に送信する。
【0119】
プロセッサ１４は、したがって、受信したデータストリーム内の第一のデータセット（ヘッダＦｅｔ）及び第二のデータセット（圧縮ストリームＦｎｎ）を、例えば圧縮ストリームの始まりのインジケータ（ステップＥ２４の説明ですでに述べた）によって識別するステップＥ５４に進む。
【0120】
プロセッサ１４は、ステップＥ５４において、第一のデータセット（ヘッダ）、すなわちここではヘッダＦｅｔ内の異なる部分も識別し得、これは、前述の図３～６に示されるように、第一の部分Ｆｃ（データストリームによって符号化されたコンテンツのフォーマットの特性を表すデータを含む）、第二の部分（インジケータＩＮＤ又はＩＮＤ’）、第三の部分（Ｉｎｎ又は符号化データＲｃ）及びおそらく第四の部分（コンピュータプログラムＥｘｅ）である。
【0121】
ステップＥ５４において、第一のデータ内で実行可能命令（例えば、コンピュータプログラムＥｘｅの命令）が識別（すなわち検出）される場合、プロセッサ１４は、ステップＥ５６において、これらの実行可能命令を実行し、第一のデータセットからのデータの処理のステップの少なくとも特定のものの実行を開始し得る。これらの命令は、プロセッサ１４又は代替として電子復号化装置１０内でインスタンス化された仮想マシンによって実行され得る。
【0122】
図７の方法は、オーディオ又はビデオコンテンツの表現フォーマットの特性であるデータＦｃを、このフォーマットの特性を取得するような方法で復号化するステップＥ５８に続く。ビデオコンテンツの場合、例えば、データ部分Ｆｃの復号化により、画像サイズ（ピクセルの単位）、及び／又はフレームレート、及び／又は輝度情報のバイナリ深度、及び／又は色差情報のバイナリ深度を取得することが可能となる。
【0123】
プロセッサ１４は、次に、（特定の実施形態では前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）ここではヘッダＦｅｔの第二の部分に含まれるインジケータＩＮＤ、ＩＮＤ’を復号化するステップＥ６０に進む。
【0124】
受信したデータストリーム中にあるインジケータＩＮＤ、ＩＮＤ’の復号化が、復号化に使用される人工ニューラルネットワーク１８が所定の人工ニューラルネットワークセットに属することを示す場合（すなわち、第一のデータセット中にあるインジケータが、復号化人工ニューラルネットワーク１８が所定の人工ニューラルネットワークに属することを示すインジケータＩＮＤである場合）、方法は、後述のステップＥ６２に続く。
【0125】
受信したデータストリーム中にあるインジケータＩＮＤ、ＩＮＤ’の復号化が、復号化に使用される人工ニューラルネットワーク１８がデータストリーム内で符号化されることを示す場合（すなわち、第一のデータセット中にあるインジケータが、復号化人工ニューラルネットワーク１８がデータストリーム内で符号化されることを示すインジケータＩＮＤ’である場合）、方法は、後述のステップＥ６６に続く。
【0126】
ステップＥ６２において、プロセッサ１４は、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）識別子Ｉｎｎ（ここではヘッダＦｅｔの第三の部分に含まれる）の復号化に進む。前述のように、この識別子Ｉｎｎは、例えば、前述の所定の人工ニューラルネットワークセット内の復号化人工ニューラルネットワーク１８を指定する識別子である。
【0127】
プロセッサ１４は、したがって、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）復号化された識別子Ｉｎｎに関連付けられたパラメータセットを記憶ユニット１２内から読み出すステップＥ６４に進むことができる（このパラメータセットは、復号化された識別子Ｉｎｎによって識別される人工ニューラルネットワークを定義する）。
【0128】
考え得る実施形態によれば、プロセッサ１４は、復号化された識別子Ｉｎｎによって識別されるこの人工ニューラルネットワークに関するデータ（特にパラメータ）が（ここでは記憶ユニット１２内に）ない場合にエラーメッセージを生成するようになされ得る。
【0129】
代替として（又は復号化された識別子Ｉｎｎによって識別された人工ニューラルネットワークのための記憶ユニット１２に何れのパラメータセットも記憶されていない場合）、電子復号化装置１０は、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）リモートサーバにパラメータセットのリクエストを送信し（このリクエストは、例えば、符号化された識別子Ｉｎｎを含む）、ステップＥ６４において、復号化された識別子Ｉｎｎによって識別される人工ニューラルネットワークを定義するパラメータセットを回答として受信し得る。
【0130】
次に、方法は後述のステップＥ６８に続く。
【0131】
ステップＥ６６において、プロセッサ１４は、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）人工ニューラルネットワーク１８を記述するデータＲｃ（ここではヘッダＦｅｔの第三の部分に含まれる）の復号化に進む。
【0132】
前述のように、これらの記述データ（又は符号化データ）Ｒｃは、例えば、ＭＰＥＧ－７ ｐａｒｔ １７等の標準又はＪＳＯＮ等のフォーマットに従って符号化される。
【0133】
記述データＲｃの符号化により、第二のデータセットからのデータ（すなわちここでは圧縮ストリームＦｎｎのデータ）を復号化するために使用される人工ニューラルネットワークを定義するパラメータを取得することが可能となる。
【0134】
方法は、この場合、ステップＥ６８に続き、これについて以下に説明する。
【0135】
プロセッサ１４は、次に、（特定の実施形態において前述のようにステップＥ５４での第一のデータセット内で識別された命令の実行により）復号化人工ニューラルネットワーク１８を定義するパラメータ（ステップＥ６４又はステップＥ６６で取得したパラメータ）によって並列処理ユニット１６を、並列処理ユニット１６が復号化人工ニューラルネットワーク１８を実装できるような方法で構成するステップＥ６８に進む。
【0136】
この構成ステップＥ６８は、特に並列処理ユニット１６内の復号化人工ニューラルネットワーク１８を、ここではステップＥ６４又はステップＥ６６で得られたパラメータを使用してインスタンス化することを含む。
【0137】
このインスタンス化は、特に、
－ 並列処理ユニット１６内において、復号化人工ニューラルネットワーク１８を実装するのに必要なメモリスペースを留保するステップ、及び／又は
－ 並列処理ユニット１６を、復号化人工ニューラルネットワーク１８を定義するパラメータ（例えば、重みＷ’及び活性化関数を含む）（ステップＥ６４又はステップＥ６６で得られたパラメータ）でプログラムするステップ、及び／又は
－ 並列処理ユニット１６のローカルメモリ内に第二のデータセットからのデータの少なくとも一部（すなわち圧縮ストリームＦｎｎのデータの少なくとも一部）をロードするステップ
を含み得る。
－ 並列処理ユニット１６内において、復号化人工ニューラルネットワーク１８を実装するのに必要なメモリスペースを留保するステップ、及び／又は
－ 並列処理ユニット１６を、復号化人工ニューラルネットワーク１８を定義するパラメータ（例えば、重みＷ’及び活性化関数を含む）（ステップＥ６４又はステップＥ６６で得られたパラメータ）でプログラムするステップ、及び／又は
－ 並列処理ユニット１６のローカルメモリ内に第二のデータセットからのデータの少なくとも一部（すなわち圧縮ストリームＦｎｎのデータの少なくとも一部）をロードするステップ
を含み得る。
【0138】
ステップＥ５８～Ｅ６８の上述の説明からわかるように、第一のデータセットＦｅｔのデータは、したがって、プロセッサ１４によってこのように処理される。
【0139】
プロセッサ１４は、その後、ステップＥ７０において、第二のデータセットからのデータ（ここでは圧縮ストリームＦｎｎのデータ）を、並列処理ユニット１６によって実装される人工ニューラルネットワーク１８に、これらのデータが少なくとも部分的に人工ニューラルネットワーク１８を使用する復号化プロセスによって処理されるような方法で適用する（すなわち提示する）ことができる。
【0140】
本明細書で説明する例では、人工ニューラルネットワーク１８は入力として第二のデータセットＦｎｎのデータを受信し、出力として、オーディオ又はビデオ再生装置上での再生に適応された符号化済みコンテンツの表現Ｉを生成する。換言すれば、第二のデータセットＦｎｎのデータの少なくとも特定のものが人工ニューラルネットワーク１８の入力層に適用され、人工ニューラルネットワーク１８の出力層は上述の符号化済みコンテンツの表現Ｉを生成する。ビデオコンテンツ（１つの画像又は画像シーケンスを含む）の場合、人工ニューラルネットワーク１８は、したがって、出力として（すなわちその出力層において）画像の少なくとも１つのマトリクス表現Ｉを生成する。
【0141】
特定の実施形態において、圧縮ストリームＦｃの特定のデータ（例えば、あるブロック又はある画像に対応する）を処理するために、人工ニューラルネットワーク１８は入力として圧縮ストリームＦｃ内の先行データ（例えば、先行ブロック又は先行画像に対応する）の処理中に人工ニューラルネットワーク１８で生成されたデータの少なくとも特定のものを受信できる。この場合、それは人工ニューラルネットワーク１８の出力で生成されたデータを人工ニューラルネットワーク１８の入力に再注入するステップＥ７２に進む。
【0142】
さらに、他の考え得る実施形態によれば、復号化プロセスは、コンテンツデータＢの処理に関してすでに前述したように、複数の人工ニューラルネットワークを使用できる。
【0143】
第二のセットからのデータ（ここでは圧縮ストリームＦｎｎの少なくとも特定のデータ）は、したがって、第一のセットからのデータの部分に依存するプロセス（ここでは識別子Ｉｎｎ又は符号化データＲｃに依存するプロセス）により、並列処理ユニット１６によって実装される人工ニューラルネットワーク１８を使用して処理されている。
【0144】
プロセッサ１４は、その後、ステップ７４において、人工ニューラルネットワーク１８による圧縮ストリームＦｎｎの処理が終了したか否かを特定する。
【0145】
特定結果が否定（Ｎ）の場合、方法はステップＥ７０に戻り、圧縮ストリームＦｎｎの他のデータを人工ニューラルネットワーク１８に適用する。
【0146】
特定結果が肯定（Ｐ）の場合、方法はステップＥ７６に続き、プロセッサ１４は受信したデータストリーム内に処理すべきデータが残っているか否かを特定する。
【0147】
ステップＥ７６での特定結果が否定（Ｎ）の場合、方法はステップＥ７８で終了する。
【0148】
ステップＥ７６での特定結果が肯定（Ｐ）の場合、方法はステップＥ５２に戻り、図３～６の１つに示されるデータストリームの新しい部分の処理を行う。
【0149】
以上、符号化ステップＥ４～Ｅ２４の繰返しとして示されているように、データストリームのこの別の部分も、したがって、第一のデータセットと、他のオーディオ又はビデオコンテンツを表す第二のデータセット（例えば、ビデオコンテンツの場合、使用されるコンテンツの表現フォーマットに関する他の画像グループ）とを含む。この場合、ステップＥ５４～Ｅ６６に前述したように、他の人工ニューラルネットワークをこれらの第一のデータの特定のものに基づいて特定でき、その後、並列処理ユニット１６はこの別の人工ニューラルネットワークを（前述のステップＥ６８に従って）実装するように構成され得る。データストリームのこの別の部分の第二のデータセットからのデータ（例えば、前述の他の画像グループに関する）は、その後、この別の人工ニューラルネットワークによって（ステップＥ７０で前述したように）復号化され得る。
【0150】
上述の別の人工ニューラルネットワークは、前述の人工ニューラルネットワーク１８のそれと同じ構造を有し得、それにより並列処理ユニット１６を構成するステップが単純化される（現在の人工ニューラルネットワークを定義する重み及び／又は活性化関数のみが例えば更新される）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】