特表 2023-543480 データストリームを復号する方法及び電子装置並びに関連するコンピュータプログラム及びデータストリーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-16

(54)【発明の名称】データストリームを復号する方法及び電子装置並びに関連するコンピュータプログラム及びデータストリーム

(51)【国際特許分類】

   H04N 19/91 20140101AFI20231006BHJP

   H04N 19/46 20140101ALI20231006BHJP

【ＦＩ】

H04N19/91

H04N19/46

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023519767

(86)(22)【出願日】2021-09-28

(85)【翻訳文提出日】2023-05-23

(86)【国際出願番号】 EP2021076582

(87)【国際公開番号】W WO2022069437

(87)【国際公開日】2022-04-07

(31)【優先権主張番号】2009994

(32)【優先日】2020-09-30

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521196970

【氏名又は名称】フォンダシオン ベー－コム

【氏名又は名称原語表記】ＦＯＮＤＡＴＩＯＮ Ｂ－ＣＯＭ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】フェリクス アンリ

(72)【発明者】

【氏名】ゴルドン クラル

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159ME01

5C159PP04

5C159RC11

5C159UA02

5C159UA05

(57)【要約】

データストリームは、複数の識別子及びビットシーケンス（Ｆｎｎ）を含む。前記データストリームをそれぞれの所定のタイプのデータ（Ｖ）のシーケンスに復号する方法は、シーケンスのデータ（Ｖ）の各項目を取得するための以下のステップ：－ 複数の識別子のうち、関連するデータ項目のタイプを有する識別子に基づいてコンテキスト（Ｃ）を決定するステップ、－ ビットシーケンス（Ｆｎｎ）を入力として受信し、且つ決定されたコンテキスト（Ｃ）でパラメータ化されるエントロピーデコーダ（２３）により、ビットシーケンス（Ｆｎｎ）の一部を復号するステップを含む。本発明は、電子復号装置（２０）及び関連するコンピュータプログラムにも関する。

【特許請求の範囲】

【請求項1】

複数の識別子（Ｉ２＿ｍａｐ［ｉ］）及びバイナリ要素のシーケンス（Ｆｎｎ）を含むデータストリームをそれぞれの所定のタイプのデータ（Ｖ）のシーケンスに復号する方法であって、前記シーケンスの各データ（Ｖ）を取得するための以下のステップ：
－ 前記複数の識別子のうち、前記関連するデータの前記タイプに関連付けられる識別子（Ｉ２＿ｍａｐ［ｉ］）に基づいてコンテキスト（Ｃ）を決定するステップ、
－ 前記バイナリ要素のシーケンス（Ｆｎｎ）を入力として受信し、且つ前記決定されたコンテキスト（Ｃ）でパラメータ化されたエントロピーデコーダ（２３）により、前記バイナリ要素のシーケンス（Ｆｎｎ）の一部を復号するステップ、
を含む復号方法。

【請求項2】

前記データストリームは、前記エントロピーデコーダ（２３）内で使用可能なコンテキストのセットを示す情報（Ｉ１）を含む、請求項１に記載の復号方法。

【請求項3】

前記情報（Ｉ１）は、前記エントロピーデコーダ（２３）内で使用可能なコンテキストの数を示す、請求項２に記載の復号方法。

【請求項4】

前記データストリームは、前記エントロピーデコーダ内で使用可能な各コンテキストについて、前記関連するコンテキストをパラメータ化するためのデータ（Ｉｉｎｉｔ）を含む、請求項１～３の何れか一項に記載の復号方法。

【請求項5】

前記関連するコンテキストをパラメータ化するための前記データ（Ｉｉｎｉｔ）を使用して、前記エントロピーデコーダ（２３）内で使用可能な各コンテキストを初期化するステップ（Ｅ６６）を含む、請求項４に記載の復号方法。

【請求項6】

前記取得されたデータ（Ｖ）を人工ニューラルネットワーク（２８）の入力に適用するステップ（Ｅ７２）を含む、請求項１～５の何れか一項に記載の復号方法。

【請求項7】

前記人工ニューラルネットワーク（２８）は、処理ユニット（２６）によって実装され、前記方法は、前記データストリームに含まれるデータ（Ｒ）に応じて前記処理ユニット（２６）を構成するステップ（Ｅ６０）を含む、請求項６に記載の復号方法。

【請求項8】

前記データのシーケンスは、フィーチャマップ（Ｆ）のセットを形成する、請求項１～７の何れか一項に記載の復号方法。

【請求項9】

前記複数の識別子のうちの前記識別子は、前記フィーチャマップのセットの前記フィーチャマップ（Ｆ）にそれぞれ関連付けられ、所与のフィーチャマップ（Ｆ）の要素を取得するために決定される前記コンテキストは、前記所与のフィーチャマップ（Ｆ）に関連付けられた前記識別子に基づいて決定される、請求項８に記載の復号方法。

【請求項10】

前記フィーチャマップのセットの前記フィーチャマップ（Ｆ）は、フィーチャマップの各要素が位置によって定義される共通の構造を有し、前記複数の識別子のうちの前記識別子は、前記共通の構造における前記異なる位置にそれぞれ関連付けられ、フィーチャマップ（Ｆ）の所与の要素を取得するために決定される前記コンテキストは、前記所与の要素を定義する前記位置に関連付けられた前記識別子に基づいて決定される、請求項８に記載の復号方法。

【請求項11】

複数の識別子（Ｉ２＿ｍａｐ［ｉ］）及びバイナリ要素のシーケンス（Ｆｎｎ）を含むデータストリームをそれぞれの所定のタイプのデータ（Ｖ）のシーケンスに復号するための電子装置（２０）であって、
－ 前記バイナリ要素のシーケンス（Ｆｎｎ）を入力として受信するエントロピーデコーダ（２３）と、
－ 前記複数の識別子のうち、取得される前記データの前記タイプに関連付けられる識別子（Ｉ２＿ｍａｐ［ｉ］）に基づいてコンテキスト（Ｃ）を決定し、且つ前記エントロピーデコーダ（２３）の出力で前記データを取得するために、前記決定されたコンテキスト（Ｃ）で前記エントロピーデコーダ（２３）をパラメータ化するように設計された構成モジュール（２５）と、
を含む電子装置（２０）。

【請求項12】

コンピュータプログラムであって、プロセッサ（２４）によって実行可能な命令を含み、且つ前記命令が前記プロセッサ（２４）によって実行されると、請求項１に記載の復号方法を実装するように適合されたコンピュータプログラム。

【請求項13】

データストリームであって、それぞれの所定のタイプのデータ（Ｖ）のシーケンスを表し、且つ複数の識別子（Ｉ２＿ｍａｐ［ｉ］）及びバイナリ要素のシーケンス（Ｆｎｎ）を含み、各識別子（Ｉ２＿ｍａｐ［ｉ］）は、エントロピーデコーダ（２３）が前記バイナリ要素のシーケンス（Ｆｎｎ）の一部を入力として受信するとき、前記エントロピーデコーダ（２３）が、前記識別子（Ｉ２＿ｍａｐ［ｉ］）に関連付けられたタイプを有する少なくとも１つのデータを取得するようにパラメータ化されるコンテキスト（Ｃ）を表す、データストリーム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ復号の技術分野に関する。

【0002】

特に、本発明は、データストリームを復号する方法及び電子装置並びに関連するコンピュータプログラム及びデータストリームに関する。

【背景技術】

【0003】

エントロピー符号化は、データ内の異なるシンボルの出現統計を考慮してそれらのデータを最適に圧縮するために、特にオーディオ又はビデオコンテンツの符号化の分野で使用される。

【0004】

このフレームワーク内において、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．１３，ｎｏ．７，ｐｐ．６２０－６３６，Ｊｕｌｙ ２００３におけるＤ．Ｍａｒｐｅ、Ｈ．Ｓｃｈｗａｒｚ及びＴ．Ｗｉｅｇａｎｄによる論文「Ｃｏｎｔｅｘｔ－ｂａｓｅｄ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ ｉｎ ｔｈｅ Ｈ．２６４／ＡＶＣ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ ｓｔａｎｄａｒｄ」に記載されるように、例えばＣＡＢＡＣ（「コンテキスト適応バイナリ算術符号化」）が言及され得る。

【0005】

規格（例えば、オーディオ又はビデオコンテンツを圧縮する方法を定義する規格）のフレームワーク内において、データのエントロピー符号化又はエントロピー復号に使用される場合、エントロピーデコーダは、常に、関連する規格で事前定義された方法において、以前に符号化又は復号された構文要素に依存するコンテキストでパラメータ化される。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明は、複数の識別子及びバイナリ要素のシーケンスを含むデータストリームをそれぞれの所定のタイプのデータのシーケンスに復号する方法であって、前記シーケンスの各データを取得するための以下のステップ：
－ 複数の識別子のうち、関連するデータのタイプに関連付けられる識別子に基づいてコンテキストを決定するステップ、
－ バイナリ要素のシーケンスを入力として受信し、且つ決定されたコンテキストでパラメータ化されたエントロピーデコーダにより、バイナリ要素のシーケンスの一部を復号するステップ、
を含む方法を提案する。

【0007】

異なるタイプのデータを復号するために使用されるコンテキストを示す識別子がデータストリーム内に存在することで、エントロピー符号化を使用する際の柔軟性が高まり、これは、特にデータのフォーマットが完全には事前定義されていない場合に興味深い。

【0008】

取得されたデータは、例えば、オーディオ又はビデオコンテンツを表す値である。これらの代表値は、符号化プロセス中、以下に説明するように符号化人工ニューラルネットワーク（又は、より一般的に深層学習法、若しくは、ランダムフォレスト学習法などの機械学習法）によって生成され得る。

【0009】

データストリームは、エントロピーデコーダ内で使用可能なコンテキストのセットを示す情報も含み得る。このような情報は、例えば、エントロピーデコーダ内で使用可能なコンテキストの数を示す。

【0010】

データストリームは、エントロピーデコーダ内で使用可能な各コンテキストについて、関連するコンテキストをパラメータ化するためのデータをさらに含み得る。

【0011】

復号方法は、したがって、関連するコンテキストをパラメータ化するためのデータを使用して、エントロピーデコーダ内で使用可能な各コンテキストを初期化するステップを含み得る。

【0012】

したがって、上述の指示情報及びパラメータ化データは、エントロピー復号の効果的な実装前にエントロピーデコーダを構成することを可能にする。

【0013】

復号方法は、取得されたデータを人工ニューラルネットワークの入力に適用するステップをさらに含み得る。

【0014】

このような人工ニューラルネットワークは、例えば、処理ユニット（場合により並列処理ユニット）によって実装される。したがって、この方法は、データストリームに含まれるデータに応じて処理ユニットを構成するステップを含み得る。

【0015】

本発明は、扱われる異なるデータ（又は代表値）のそれぞれの技術的性質が、使用される人工ニューラルネットワーク（それ自体が前述のようにデータによって定義される）に依存し、したがって予め決定されないため、特定のデータのエントロピー符号化に使用されるコンテキストが事前に定義できない（既に示したように、そのような事前の定義は、例えば、規格で与えられ得る）この状況で特に興味深い。

【0016】

しかしながら、既に示したように、本発明は、この状況に限定されず、符号化されるデータ及びエントロピー符号化コンテキストのそれぞれの関連付けが事前に定義できない場合に関心があるものである。したがって、本発明は、異なるアルファベットを使用していくつかの言語で記述されたテキストのエントロピー符号化に有利に使用することができる。アルファベットの記号の数及びその出現確率は、言語ごとに異なり、本発明は、そのような状況において、ある言語に固有の記号又は単語のエントロピー符号化に使用されるコンテキストを指定することを可能にする。

【0017】

一般に、復号方法は、深層学習法又はランダムフォレスト学習法などの機械学習法をさらに含み得る。したがって、データストリームは、この機械学習法の構成のためのデータを含み得、且つ／又は、この機械学習法を実装するように、これらの構成データを用いて処理ユニットを構成するためのステップが提供され得る。

【0018】

一般に、本発明は、ニューラルネットワークに由来するデータを符号化するか、又はニューラルネットワークに提供されるデータを復号するために使用され得る。ニューラルネットワークは、多数の類似のステップを含む処理プロセスとして理解されるべきであり、これらのステップのパラメータのみが互いに異なり、且つ学習プロセスによって設定され、これらのステップは、大規模に並列で実装されるように適合される。したがって、「ニューラルネットワーク」は、入力層又は先行する層に由来するデータの線形フィルタリングを実行する一連の層を指し得、各フィルタリング後、非線形関数（従来の意味ではニューラルネットワーク）の適用が続く。代替として、ニューラルネットワークは、一連のテストを指し得、各テストの結果は、適用される後続のテストを決定するか（ランダムフォレスト）、又は上述の特性を有する他の処理プロセスも指し得る。

【0019】

以下に説明する実施形態によれば、上述のデータのシーケンスは、フィーチャマップのセットを形成する。

【0020】

この場合、第１の可能性によれば、複数の識別子のうちの識別子は、フィーチャマップのセットのフィーチャマップにそれぞれ関連付けられる。この場合、所与のフィーチャマップの要素を取得するために決定されるコンテキストは、所与のフィーチャマップに関連付けられた識別子に基づいて決定されることが規定され得る。

【0021】

第２の可能性によれば、フィーチャマップのセットのフィーチャマップは、フィーチャマップの各要素が位置によって定義される共通の構造を有し、複数の識別子のうちの識別子は、共通の構造における異なる位置にそれぞれ関連付けられ得る。したがって、フィーチャマップの所与の要素を取得するために決定されるコンテキストは、この所与の要素を定義する位置に関連付けられた識別子に基づいて決定されることが規定され得る。

【0022】

本発明は、複数の識別子及びバイナリ要素のシーケンスを含むデータストリームをそれぞれの所定のタイプのデータのシーケンスに復号するための電子装置であって、バイナリ要素のシーケンスを入力として受信するエントロピーデコーダと、複数の識別子のうち、取得されるデータのタイプに関連付けられる識別子に基づいてコンテキストを決定し、且つエントロピーデコーダの出力で前記データを取得するために、決定されたコンテキストでエントロピーデコーダをパラメータ化するように設計された構成モジュールとを含む電子装置も提案する。

【0023】

本発明は、コンピュータプログラムであって、プロセッサによって実行可能な命令を含み、且つこれらの命令がプロセッサによって実行されると、上に提案したような復号方法を実装するように設計されたコンピュータプログラムをさらに提案する。

【0024】

最後に、本発明は、データストリームであって、それぞれの所定のタイプのデータのシーケンスを表し、且つ複数の識別子及びバイナリ要素のシーケンスを含み、各識別子は、エントロピーデコーダがバイナリ要素のシーケンスの一部を入力として受信するとき、このエントロピーデコーダが、この識別子に関連付けられたタイプを有する少なくとも１つのデータを取得するようにパラメータ化されるコンテキストを表す、データストリームを提案する。

【0025】

当然のことながら、本発明の異なる特徴、代替形態及び実施形態は、相互に互換性がないか又は排他的でない限り、様々な組み合わせに従って互いに関連付けられ得る。

【0026】

さらに、本発明の様々な他の特徴は、本発明の非限定的な実施形態を示す図面を参照して行われる添付の説明から明らかになるであろう。

【図面の簡単な説明】

【0027】

【図1】本発明のフレームワーク内で使用される電子符号化装置を示す。

【図2】図１の電子符号化装置によって使用されるフィーチャマップを概略的に示す。

【図3】図１の電子符号化装置内で実装される符号化方法のステップを示すフローチャートである。

【図4】図１の電子符号化装置によって生成されたデータストリームを示す。

【図5】本発明による電子復号装置の一例を示す。

【図6】図５の電子復号装置内で実装される復号方法のステップを示すフローチャートである。

【発明を実施するための形態】

【0028】

図１は、エントロピーエンコーダ１０を含む電子符号化装置２を示す。

【0029】

この電子符号化装置２は、プロセッサ４（例えば、マイクロプロセッサ）と、並列処理ユニット６、例えばグラフィック処理ユニット、すなわちＧＰＵ又はテンソル処理ユニット、すなわちＴＰＵとを含む。

【0030】

プロセッサ４は、制御モジュール５及び前述のエントロピーエンコーダ１０を実装するように、（例えば、プロセッサ４によって実行可能であり、且つプロセッサ４に関連付けられたメモリ（図示せず）に格納されたコンピュータプログラム命令によって）プログラムされる。

【0031】

図１に概略的に示されるように、制御モジュール５は、圧縮されるオーディオ又はビデオコンテンツを表すデータＰ、Ｂ、ここではフォーマットデータＰ及びコンテンツデータＢを受信する。

【0032】

フォーマットデータＰは、オーディオ又はビデオコンテンツの表現のフォーマットの特性、例えばビデオコンテンツの場合には画像サイズ（ピクセル単位）、フレームレート、輝度情報のバイナリ深度及びクロミナンス情報のバイナリ深度を示す。

【0033】

コンテンツデータＢは、オーディオ又はビデオコンテンツの表現（ここでは圧縮されていない）を形成する。例えば、ビデオコンテンツの場合、コンテンツデータは、画像シーケンスの各画像のピクセルごとに、ピクセルの輝度値を表すデータと、ピクセルのクロミナンス値を表すデータとを含む。

【0034】

並列処理ユニット６は、プロセッサ４（例えば、制御モジュール５）によって構成された後、人工ニューラルネットワーク８を実装するように設計される。そのために、並列処理ユニット６は、所与の時点で同じタイプの複数の演算を並列に実行するように設計される。

【0035】

以下に説明するように、人工ニューラルネットワーク８は、オーディオ又はビデオコンテンツを表す値Ｖを取得することを目的としたコンテンツデータＢの処理のフレームワーク内で使用される。

【0036】

代替として、人工ニューラルネットワークと異なる別のタイプの機械学習法、例えば別のタイプの深層学習法又はランダムフォレスト学習法を使用することができる。

【0037】

ここで説明する実施形態では、コンテンツデータＢが人工ニューラルネットワーク８の入力に適用されると、人工ニューラルネットワーク８は、代表値Ｖを出力として生成する。

【0038】

人工ニューラルネットワーク８の入力に適用される（すなわち人工ニューラルネットワーク８の入力層に適用される）コンテンツデータＢは、画像のブロック、又は画像成分のブロック（例えば、この画像の輝度若しくはクロミナンス成分のブロック又はこの画像の色成分のブロック）、又はビデオシーケンスの画像、又はビデオシーケンスの画像の成分（例えば、輝度若しくはクロミナンス成分又は色成分）、又はビデオシーケンスの一連の画像も表し得る。

【0039】

例えば、この場合、入力層のニューロン（又はノード）の少なくともいくつかは、それぞれ画像成分のピクセル値を受け取り、前記値は、コンテンツデータＢの１つによって表されることが規定され得る。

【0040】

代替として、コンテンツデータＢの処理は、例えば、Ｇｕｏ Ｌｕらによる上述の論文「ＤＶＣ：Ａｎ Ｅｎｄ－ｔｏ－ｅｎｄ Ｄｅｅｐ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｆｒａｍｅｗｏｒｋ」（２０１９ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｊｕｎｅ ２０１９）に記載されるように、いくつかの人工ニューラルネットワークの使用を含み得る。

【0041】

人工ニューラルネットワーク８の出力で生成された代表値Ｖは、ここで、図２に概略的に示されるようにフィーチャマップＦのシーケンスに整理される。ここで、人工ニューラルネットワーク８は、例えば、Ｎ個のフィーチャマップＦを生成する。

【0042】

各フィーチャマップＦは、例えば、２次元構造（又はマトリックス構造）を有する。したがって、ここでの各フィーチャマップＦは、Ｈ個の行及びＷ個の列の行列を形成する。

【0043】

所与のフィーチャマップＦ内の所与の位置にある要素は、人工ニューラルネットワークの出力ノード（又は出力層のノード）によって生成される代表値Ｖに対応し、この出力ノードは、事前定義された方法でこの所与の位置及びこの所与のフィーチャマップＦに関連付けられる。ある可能な実施形態によれば、人工ニューラルネットワーク８は、所与の時点でＮ個のフィーチャマップのすべてを出力として（すなわちその出力層上で）生成する。別の可能な実施形態によれば、（例えば、画像内の異なる位置に対応する）コンテンツデータＢの異なるセットは、異なる時点で人工ニューラルネットワーク８の入力（すなわち入力層）に適用され、人工ニューラルネットワーク８は、これらの異なる時点のそれぞれにおいて、対応するフィーチャマップＦを出力として（すなわちその出力層上で）生成する（この場合、人工ニューラルネットワーク８の出力ノードは、単一のフィーチャマップＦの異なる位置にそれぞれ関連付けられる）。

【0044】

代替として、人工ニューラルネットワーク８の出力で生成された代表値Ｖは、代表値Ｖの順序付けられたシーケンスに整理され得る。人工ニューラルネットワーク８の入力に適用されたコンテンツデータＢが画像のあるブロック（又は画像成分のあるブロック）を表す場合、人工ニューラルネットワーク８の出力で生成された代表値Ｖの順序付けられたシーケンスは、このブロックに関連付けられる。したがって、人工ニューラルネットワーク８によって連続して生成された代表値の異なるシーケンスは、画像の異なるブロック（又は画像の関連する成分の異なるブロック）にそれぞれ関連付けられる。

【0045】

さらに別の代替形態によれば、人工ニューラルネットワーク８の出力で生成された代表値Ｖは、データの多次元（例えば、Ｍ次元）構造内に配置される。次に、この構造の各要素は、構造内のその位置、すなわち上述の例ではＭ個１組の座標によって識別される。次に、人工ニューラルネットワーク８の所与の出力ノード（すなわち出力層の所与のノード）によって生成された代表値Ｖは、事前定義された方法でこの出力ノードに関連付けられた構造内の位置（すなわち事前定義された方法でこの出力ノードに関連付けられた座標）によって識別される構造の要素を形成する。

【0046】

人工ニューラルネットワーク８の出力で生成された代表値Ｖは、エントロピーエンコーダ１０の入力に適用される。

【0047】

これらの代表値Ｖは、例えば、事前定義された順序で適用される。したがって、代表値ＶがフィーチャマップＦの（順序付けられた）シーケンスに整理される場合、異なるフィーチャマップＦが（上述のシーケンス順序で）次々に適用され、同じフィーチャマップＦの異なる要素（それぞれが１つの代表値に対応する）は、フィーチャマップＦ内で事前定義されたスキーム（それらの位置）に従って適用される。

【0048】

エントロピーエンコーダ１０は、符号化されるシンボルの特定の出現確率にそれぞれ対応するいくつかの統計ソースを符号化するように設計される。そのために、エントロピーエンコーダ１０は、所与の統計ソースに関連付けられた特定のコンテキストであって、効果的に符号化されたシンボル（ここでは代表値Ｖ）がこの統計ソースの期待確率を満たす場合、エントロピーエンコーダ１０が最適なエントロピー符号化を生成する特定のコンテキストでパラメータ化され得る。

【0049】

エントロピーエンコーダ１０は、ここで、ＣＡＢＡＣ（「コンテキスト適応バイナリ算術符号化」）タイプのものである。代替として、それは、別のタイプのエントロピーエンコーダ、例えばハフマンタイプのエンコーダ、算術エンコーダ又はＬＺＷ（「Ｌｅｍｐｅｌ－Ｚｉｖ－Ｗｅｌｃｈ」）エンコーダであり得る。

【0050】

以下に説明するように、エントロピーエンコーダ１０は、常に、その時点で符号化される代表値Ｖ（人工ニューラルネットワーク８に由来する代表値Ｖ）のタイプに依存するコンテキストＣで制御モジュール５によってパラメータ化される。

【0051】

代表値ＶがフィーチャマップＦのシーケンスに整理される、ここで説明される事例では、フィーチャマップＦの要素のエントロピー符号化のためにエントロピーエンコーダ１０をパラメータ化するために制御モジュール５によって選択されるコンテキストＣは、例えば、（事前定義された方法で）関連するフィーチャマップＦ及び／又はフィーチャマップＦ内の要素の位置に依存し得る。（特定のコンテキストと、あるフィーチャマップ及び／又はそのフィーチャマップ内の位置との関連付けは、例えば、符号化人工ニューラルネットワーク８によって処理された多数の画像に関する、このフィーチャマップ内又はこの位置におけるシンボルの出現確率の以前の統計的測定値を使用して行われる。このような関連付けは、異なる統計ソースのそれぞれを特定のコンテキストで符号化し、したがって圧縮を最大化するために、代表値Ｖにおいてこれらの統計ソースを分離する目的を有する。）

【0052】

エントロピーエンコーダ１０は、バイナリ要素のシーケンス（又はビットのシーケンス）Ｆｎｎを出力として生成する。

【0053】

ここで、電子符号化装置２によって実装される符号化方法の例を、図３を参照して説明する。

【0054】

図３の方法は、符号化プロセス－復号プロセス対を選択するステップＥ２から始まる。符号化プロセスについて既に示したように、符号化プロセス及び復号プロセスは、それぞれ少なくとも１つの人工ニューラルネットワークを使用する。

【0055】

ここで説明する例では、符号化プロセスは、符号化人工ニューラルネットワークによって実装され、復号プロセスは、復号人工ニューラルネットワークによって実装される。

【0056】

符号化人工ニューラルネットワーク及び復号人工ニューラルネットワークによって形成されるユニット（符号化人工ニューラルネットワーク出力が復号人工ニューラルネットワーク入力に適用される）は、例えば、オートエンコーダを形成する。

【0057】

符号化プロセス－復号プロセス対は、例えば、複数の事前定義された符号化プロセス－復号プロセス対、すなわちここでは複数の符号化人工ニューラルネットワーク－復号人工ニューラルネットワーク対のうちから選択される。

【0058】

符号化プロセス－復号プロセス対は、例えば、電子復号装置（図５に示され、且つ以下に説明される電子復号装置２０など）に使用可能な人工ニューラルネットワークを復号プロセスが使用する符号化プロセス－復号プロセス対のうちから選択され得る。そのために、電子符号化装置は、場合により、（電子復号装置又は専用サーバから）この電子復号装置によってアクセス可能な人工ニューラルネットワークのリストを事前に受信することができる。

【0059】

符号化プロセス－復号プロセス対は、（例えば、電子符号化装置２の図示しないユーザインタフェースを介してユーザによって示された）意図された用途に応じて選択することもできる。例えば、意図された用途がテレビ会議である場合、選択された符号化プロセス－復号プロセス対は、低レイテンシー復号プロセスを含む。他の用途では、選択された符号化プロセス－復号プロセス対は、ランダムアクセス復号プロセスを含む。

【0060】

低レイテンシーのビデオシーケンス復号プロセスでは、ビデオシーケンスの画像は、例えば、直ちに送信及び復号することができる符号化データによって表され、次に、このデータは、ビデオ画像の表示順序で送信することができ、これにより、この場合、符号化と復号との間に１フレームのレイテンシーが確保される。

【0061】

ランダムアクセスビデオシーケンス復号プロセスでは、複数の画像にそれぞれ関連する符号化データは、これらの画像の表示順序と異なる順序で送信され、これにより圧縮の向上が可能となる。次に、他の画像を参照しない符号化画像（いわゆるイントラフレーム）は、定期的に符号化することができ、これにより符号化されたストリーム内のいくつかの場所からビデオシーケンスの復号を開始することが可能となる。

【0062】

そのために、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．２２．，ｎｏ．１２，ｐｐ．１６４９－１６６８，Ｄｅｃ．２０１２におけるＧ．Ｊ．Ｓｕｌｌｉｖａｎ、Ｊ．－Ｒ．Ｏｈｍ、Ｗ．－Ｊ．Ｈａｎ及びＴ．Ｗｉｅｇａｎｄによる論文「Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ） Ｓｔａｎｄａｒｄ」を参照することができる。

【0063】

符号化プロセス－復号プロセス対を選択するための様々な基準は、場合により一緒に組み合わせることができる。

【0064】

符号化プロセス－復号プロセス対が選択されると、制御モジュール５は、ステップＥ４において、並列処理ユニット６が選択された符号化プロセスを実装することができるように並列処理ユニット６の構成に進む。

【0065】

このステップＥ４は、特に、並列処理ユニット６内において、選択された符号化プロセスによって使用される符号化人工ニューラルネットワーク８のインスタンス生成を含む。

【0066】

このインスタンス生成は、特に、以下のステップ：
－ 並列処理ユニット６内において、符号化人工ニューラルネットワークを実装するために必要なメモリスペースを確保するステップ、及び／又は、
－ 符号化人工ニューラルネットワーク８を定義する重みΓ及び活性化関数を使用して、並列処理ユニット６をプログラミングするステップ、及び／又は、
－ コンテンツデータＢの少なくとも一部を並列処理ユニット６のローカルメモリにロードするステップ、
を含み得る。

【0067】

次に、図３の方法は、符号化プロセスを実装するステップＥ６、すなわち、ここではコンテンツデータＢを符号化人工ニューラルネットワーク８の入力に適用するステップ（又は換言すると、入力としてコンテンツデータＢを用いて符号化人工ニューラルネットワーク８を活性化するステップ）を含む。

【0068】

したがって、ステップＥ６は、代表値Ｖを生成することを可能にする（ここでは符号化人工ニューラルネットワーク８の出力において）。

【0069】

以下のステップは、電子復号装置（例えば、図５を参照して以下に説明する電子復号装置２０）向けのデータストリームの符号化（すなわち準備）に関する。

【0070】

したがって、この方法は、特に、オーディオ又はビデオコンテンツ表現フォーマットに特有のデータ（ここでは例えば符号化されているビデオシーケンスのフォーマットにリンクされたデータ）を含む第１のヘッダ部分Ｆｃを符号化するステップＥ８を含む。

【0071】

第１のヘッダ部分Ｆｃを形成するこれらのデータは、例えば、画像サイズ（ピクセル単位）、フレームレート、輝度情報のビット深さ及びクロミナンス情報のビット深さを示す。これらのデータは、例えば、上述のフォーマットデータＰに基づいて構築される（潜在的な再フォーマット後）。

【0072】

制御モジュール５は、ステップＥ１０で、復号人工ニューラルネットワーク（ステップＥ２で選択された符号化プロセス－復号プロセス対に関連する）を示すデータＲを含む第２のヘッダ部分の符号化を実行する。

【0073】

第１の可能な実施形態によれば、これらの指示データＲは、復号人工ニューラルネットワークの識別子を含み得る。

【0074】

このような識別子は、（複数の復号人工ニューラルネットワーク、例えば電子復号装置で利用可能なすべての復号人工ニューラルネットワークのうち）上述の符号化人工ニューラルネットワーク８に対応する復号人工ニューラルネットワークを示し、したがって、そのような復号人工ニューラルネットワークは、代表値Ｖを復号するために使用される必要がある。

【0075】

すなわち、そのような識別子は、（特に電子符号化装置及び電子復号装置によって共有される）慣例により、例えば電子復号装置が使用可能な（又は電子復号装置によってアクセス可能な）すべての復号人工ニューラルネットワークのうちからこの復号人工ニューラルネットワークを定義する。既に示したように、電子符号化装置２は、場合により、（電子復号装置又は専用サーバから）電子復号装置によってアクセス可能な人工ニューラルネットワークのリストを事前に受信することができる。

【0076】

第２の可能な実施形態によれば、これらの指示データＲは、復号人工ニューラルネットワークの記述データを含み得る。

【0077】

（上述の符号化人工ニューラルネットワーク８に対応する）復号人工ニューラルネットワークは、例えば、ＭＰＥＧ－７ Ｐａｒｔ １７などの規格に従って又はＪＳＯＮなどのフォーマットを用いて、これらの記述データ（又は復号人工ニューラルネットワークを符号化するデータ）によって符号化（すなわち表現）される。

【0078】

そのために、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，Ｌｏｎｇ Ｂｅａｃｈ，Ｃａｌｉｆｏｒｎｉａ，ＰＭＬＲ ９７，２０１９におけるＳ．Ｗｉｅｄｅｍａｎｎらによる論文「ＤｅｅｐＣＡＢＡＣ：Ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ ｆｏｒ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｃｏｍｐｒｅｓｓｉｏｎ」又はＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｌｅａｒｎｉｎｇ Ｓｙｓｔｅｍｓ（Ｖｏｌ．３１，Ｉｓｓ．３），Ｍａｒｃｈ ２０２０におけるＳ．Ｗｉｅｄｅｍａｎｎらによる論文「Ｃｏｍｐａｃｔ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ Ｅｆｆｉｃｉｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」を参照することができる。

【0079】

指示データＲは、復号人工ニューラルネットワークが人工ニューラルネットワークの所定のセットに属するかどうか（この場合、上述の第１の可能な実施形態が使用される）、又は復号人工ニューラルネットワークがデータストリームで符号化されているかどうか、すなわち上述の記述データによって表現されているかどうか（この場合、上述の第２の可能な実施形態が使用される）を示す標識を含むことも規定され得る。

【0080】

図３の方法は、電子復号装置が復号人工ニューラルネットワークを使用して復号プロセスを実装する可能性を決定するステップＥ１２に続く。

【0081】

制御モジュール５は、例えば、電子復号装置が、この復号プロセスを実装するのに適したモジュール又は電子復号装置によるこの復号プロセスの実装に適したソフトウェア（このソフトウェアが電子復号装置のプロセッサによって実行される場合）を含むかどうかを（潜在的に電子符号化装置２と電子復号装置との間の以前のやり取りを用いて）決定することにより、この可能性を決定する。

【0082】

制御モジュール５が、電子復号装置が復号プロセスを実装することが可能であると決定した場合、方法は、以下に説明するステップＥ１６に続く。

【0083】

制御モジュール５が、電子復号装置が復号プロセスを実装することが不可能であると決定した場合、方法は、（ステップＥ１６に進む前に）以下に説明するステップＥ１４を実行する。

【0084】

代替として、（ステップＥ１６を実行する前に）ステップＥ１４を実行するか否かの選択は、別の基準、例えば電子符号化装置２内に格納された（及び場合により電子符号化装置２のユーザインタフェースを介してユーザによって調整可能な）専用標識に応じて又は（例えば、電子符号化装置２のユーザインタフェースを介して得られる）ユーザによって行われる選択に応じて行うことができる。

【0085】

制御モジュール５は、ステップＥ１４において、電子復号装置のプロセッサによって実行可能なコンピュータプログラムＥｘｅ（又はコード）を含む第３のヘッダ部分をデータストリームで符号化する。（電子復号装置内でのコンピュータプログラムＥｘｅの使用は、図５を参照して以下に説明する。）

【0086】

電子復号装置内での実行に適合させるために、コンピュータプログラムは、例えば、ライブラリ内において、電子復号装置のハードウェア構成に関連する情報（例えば、電子符号化装置２と電子復号装置との間の以前のやり取り中に受信した情報）に応じて選択される。

【0087】

次に、ステップＥ１６では、制御モジュール５は、エントロピー符号化の構成を実行する。

【0088】

この構成ステップ１６中、制御モジュール５は、それによってエントロピー符号化を実行する統計ソースのセットを決定する。制御モジュール５は、例えば、エントロピー符号化に使用される統計ソース（したがってコンテキスト）の数を決定する。

【0089】

そのために、制御モジュール５は、例えば、上に示したように生成された代表値Ｖを分析し、そのとき、その中にいくつの異なる統計ソースが含まれているかを識別することができる。別の可能性によれば、制御モジュール５は、符号化及び／又は復号中に許容されることが望まれる複雑さに応じて統計ソースの数を選択し得る。

【0090】

したがって、制御モジュール５は、代表値Ｖのセットによって形成された信号を、事前定義された基準に従い、サブ信号の数（例えば、所定の数以下又は代替としてその数に制限なく）に細分化することができる。

【0091】

以下では、代表値Ｖによって形成される信号において識別される異なる統計ソースの数（すなわち代表値Ｖのエントロピー符号化中にエントロピーエンコーダがパラメータ化されるコンテキストの数）は、Ｋで示される。例えば、Ｋ＝１６０である。

【0092】

ここで説明する例では、制御モジュール５は、フィーチャマップＦと同数のサブ信号又はフィーチャマップＦ内の場所（すなわち別個の位置）と同数のサブ信号を生成することができる。場合により、制御モジュール５は、同じ統計分布（又は非常に類似した統計分布）を有するサブ信号をマージできることがさらに規定され得る。

【0093】

したがって、制御モジュール５は、構成ステップＥ１６中、何れの統計ソース（したがって何れのコンテキスト）が代表値Ｖの各タイプ（すなわちここではフィーチャマップの各要素）に関連付けられるかも決定する。

【0094】

例えば、制御モジュール５がフィーチャマップＦと同数のサブ信号を生成する場合、フィーチャマップＦの１つの要素に関連付けられた（すなわちこの要素のエントロピー符号化をパラメータ化するために使用される）コンテキストは、関連するフィーチャマップＦに依存する。

【0095】

一方、制御モジュール５が各フィーチャマップＦ内の場所と同数のサブ信号を生成する場合、フィーチャマップＦの１つの要素に関連付けられた（すなわちこの要素のエントロピー符号化をパラメータ化するために使用される）コンテキストは、フィーチャマップＦにおけるこの要素の場所に依存する。

【0096】

次に、図３の方法は、ステップＥ１６で決定されたエントロピーエンコーダ構成を表すデータを符号化するステップに続く。

【0097】

したがって、図３の方法は、まず、エントロピー符号化に使用されるコンテキストのセットを示す情報Ｉ１を含む第４のヘッダ部分を符号化するステップＥ１８を含む。本明細書で説明する例では、情報Ｉ１は、エントロピー符号化に使用されるコンテキストの数Ｋを示す。

【0098】

次に、図３の方法は、エントロピー符号化に使用されるコンテキストごとに、関連するコンテキストをパラメータ化するためのデータＩｉｎｉｔを含む第５のヘッダ部分を符号化するステップＥ２０を含む。

【0099】

使用されるエントロピー符号化がＣＡＢＡＣタイプである、ここで説明する事例では、所与のコンテキストに関連付けられたパラメータ化データＩｉｎｉｔは、例えば、Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，ｐａｒｔ“９．３．２．２ Ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｃｏｎｔｅｘｔ ｖａｒｉａｂｌｅｓ”に記載されるように、このコンテキストを初期化するためのデータである。

【0100】

他の実施形態では、所与のコンテキストに関連付けられたパラメータ化データは、エントロピー符号化中に関連するコンテキストに使用される確率モデルを示すデータであり得る。

【0101】

次に、図３の方法は、代表値Ｖのタイプごとに、このタイプを有する代表値Ｖのエントロピー符号化が行われるコンテキストを示すデータＩ２を含む第６のヘッダ部分を符号化するステップＥ２２を含む。

【0102】

説明した例では、既に示したように、制御モジュール５は、異なるフィーチャマップＦのそれぞれに対する（サブ信号を形成する各フィーチャマップＦ）又はフィーチャマップＦで定義された異なる位置（又は場所）のそれぞれに対する（要素は、サブ信号を形成する所与の位置を有する）異なるコンテキストの割り当てを、既に示したように選択する。

【0103】

したがって、ここで、データＩ２は、
－ 値が０である場合、コンテキストが各フィーチャマップＦに関連付けられることを示し、値が１である場合、コンテキストがフィーチャマップＦの各位置に対して使用されることを示す標識Ｉ２＿ｍｏｄｅ、
－ 異なるタイプの代表値Ｖに使用されるコンテキストをそれぞれ示す複数の識別子Ｉ２＿ｍａｐ［ｉ］、
を含むことが提案される。

【0104】

標識Ｉ２＿ｍｏｄｅが０に等しい場合、異なるタイプの代表値は、異なるフィーチャマップＦに対応する。標識Ｉ２＿ｍｏｄｅが１に等しい場合、異なるタイプの代表値は、フィーチャマップＦ内の異なる位置に対応する。

【0105】

以下では、（特に明記しない限り）制御モジュール５が異なるフィーチャマップに対して異なるコンテキストの割り当てを選択する事例、すなわち標識Ｉ２＿ｍｏｄｅが０に等しい事例について説明する。

【0106】

図３の方法は、異なるコンテキストに関連する上述のパラメータ化データを用いて、エントロピーエンコーダ１０を（制御モジュール５によって）初期化するステップＥ２４に続く。このタイプの初期化については、上述の文献（Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，ｐａｒｔ“９．３．２．２ Ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｃｏｎｔｅｘｔ ｖａｒｉａｂｌｅｓ”）に記載されている。

【0107】

次に、図３の方法は、エントロピーエンコーダ１０による代表値Ｖのエントロピー符号化のステップＥ２６を含み、エントロピーエンコーダ１０は、常に、処理されている代表値Ｖのタイプに関して、（上に記載したように行われた選択に基づいて）使用されるコンテキストＣで（制御モジュール５によって）パラメータ化される。

【0108】

例えば、本明細書で説明する例では、所与のフィーチャマップＦに含まれる代表値Ｖをエントロピー符号化するために、制御モジュール５は、この所与のフィーチャマップＦに関連付けられたコンテキストＣでエントロピーエンコーダ１０をパラメータ化し、このフィーチャマップＦの要素をエントロピーエンコーダ１０の入力に連続的に（事前定義された順序で）適用する。

【0109】

したがって、エントロピーエンコーダ１０は、オーディオ又はビデオコンテンツを圧縮形式で表すバイナリ要素のシーケンスＦｎｎを出力として生成する。

【0110】

ステップＥ２６は、場合により、上述の論文「Ｃｏｎｔｅｘｔ－ｂａｓｅｄ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ ｉｎ ｔｈｅ Ｈ．２６４／ＡＶＣ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ ｓｔａｎｄａｒｄ」に記載されるように、代表値Ｖを二値化するサブステップを含み得る（したがってエントロピー符号化前に）。この二値化ステップの目的は、多数の値を取ることができる代表値Ｖをバイナリ要素のシーケンスに変換することであり、各バイナリ要素は、エントロピー符号化によって符号化される（及びこの場合、コンテキストは、各バイナリ要素の符号化に関連付けられる）。

【0111】

特に、ステップＥ６が、圧縮されるオーディオ又はビデオコンテンツの一部のみの処理を可能にする場合（例えば、ステップＥ６が、圧縮されるビデオシーケンスのブロック、成分又は画像の処理を実行する場合）、ステップＥ６（コンテンツの連続部分の代表値を取得するため）及びステップＥ２６（これらの代表値のエントロピー符号化を実行するため）の実施を繰り返すことが可能である。

【0112】

したがって、プロセッサ４は、ステップＥ２８において、ヘッダＦｅｔ及びバイナリ要素のシーケンスＦｎｎを含む完全なデータストリームを構築することができる。

【0113】

完全なデータストリームは、ヘッダＦｅｔ及びバイナリ要素のシーケンスＦｎｎが個々に識別可能であるように構築される。

【0114】

ある可能な実施形態によれば、ヘッダＦｅｔは、完全なデータストリーム内で開始されるバイナリ要素シーケンスＦｎｎの標識を含む。この標識は、例えば、ビット単位での、完全なデータストリームの先頭からのバイナリ要素のシーケンスＦｎｎの先頭の場所である。（すなわち、この場合、ヘッダは、所定の固定長を有する。）

【0115】

ヘッダＦｅｔ及びバイナリ要素のシーケンスＦｎｎを識別するための他の手段は、代替として、例えばマーカ（すなわちバイナリ要素のシーケンスＦｎｎの先頭を示すために使用されるビットの組み合わせであり、その使用は、データストリームの残りの部分又は少なくともヘッダＦｅｔ内で禁止される）として企図され得る。

【0116】

ステップＥ２８で構築されたデータストリームは、「パケットトランスポートシステム」又は「バイトストリーム」フォーマットなど、それ自体が知られている伝送フォーマットでカプセル化され得る。

【0117】

（例えば、ＲＴＰプロトコルによって提案される）「パケットトランスポートシステム」フォーマットの場合、データは、識別可能なパケットによって符号化され、且つ通信ネットワーク上で伝送される。ネットワークは、ネットワーク層によって提供されるパケット識別情報を使用して、データ（画像、画像群並びにここではヘッダＦｅｔ及びバイナリ要素のシーケンスＦｎｎ）の境界を簡単に識別することができる。

【0118】

「バイトストリーム」フォーマットでは、具体的には、パケットが存在せず、ステップＥ２８の構築は、一意のバイナリ組み合わせ（０ｘ０００００００１など）がデータ間の境界を識別できるようにするネットワーク抽象化層（ＮＡＬ）ユニットの使用などのさらなる手段を使用して、関連するデータの境界（各画像に対応するストリームの部分間の境界及びここではヘッダＦｅｔとバイナリ要素のシーケンスＦｎｎとの間の境界など）を識別することを可能にする必要がある。

【0119】

次に、ステップＥ２８で構築された完全なデータストリームは、ステップＥ３０において、以下に説明する電子復号装置２０に向けて（図示しない通信手段によって及び／又は少なくとも１つの通信ネットワークを介して）送られるか、又は（後に伝送するために又は代替として例えば電子符号化装置自体内で後に復号するために、この場合、電子符号化装置は、図５を参照して以下に説明する復号方法２０をさらに実装するように設計される）電子符号化装置２内に格納され得る。

【0120】

したがって、このデータストリームは、図４に示されるように、ヘッダＦｅｔ及びバイナリ要素のシーケンスＦｎｎを含む。

【0121】

上記から明らかなように、ヘッダＦｅｔは、
－ オーディオ又はビデオコンテンツ表現フォーマットのデータ特性を含む第１の部分Ｆｃ、
－ 復号人工ニューラルネットワークを示すデータＲ（又は一般に復号に使用される機械学習法を示すデータ）を含む第２の部分、
－ 場合により、電子復号装置のプロセッサによって実行可能なコンピュータプログラムＥｘｅを含む第３の部分、
－ エントロピー符号化に使用されるコンテキストのセットを示す情報Ｉ１を含む第４の部分、
－ エントロピー符号化に使用されるコンテキストごとに、関連するコンテキストをパラメータ化するためのデータＩｉｎｉｔを含む第５の部分、
－ 以下に説明するように、特定のタイプのデータのエントロピー符号化のためにエントロピーエンコーダがパラメータ化され、したがってエントロピーデコーダがバイナリ要素のシーケンスの一部を入力として受信するとき、このタイプのデータを取得するためにエントロピーデコーダがパラメータ化されるコンテキストをそれぞれ表す複数の識別子Ｉ２＿ｍａｐ［ｉ］を含む第６の部分Ｉ２、
を含む。

【0122】

考えられる代替形態によれば、エントロピー符号化に使用されるコンテキストのセットを示す情報Ｉ１を伝送しないように規定され得、この場合、エントロピーエンコーダ及びエントロピーデコーダは、事前に（慣例によって）定義されたいくつかのコンテキストを使用することができる。

【0123】

図５は、エントロピーデコーダ２３を使用する電子復号装置２０を示す。

【0124】

この電子復号装置２０は、受信ユニット２１、プロセッサ２４（例えば、マイクロプロセッサ）及び並列処理ユニット２６、例えばグラフィック処理ユニット、すなわちＧＰＵ又はテンソル処理ユニット、すなわちＴＰＵを含む。

【0125】

受信ユニット２１は、例えば、通信回路（無線周波数通信回路など）であり、電子符号化装置２などの外部電子装置からデータ（特にここでは上記のデータストリーム）を受信すること及びこれらのデータをプロセッサ２４（例えば、受信ユニット２１は、バスによってプロセッサ２４に接続される）に通信することを可能にする。

【0126】

電子復号装置２０は、ストレージユニット２２、例えばメモリ（場合により書き換え可能な不揮発性メモリ）又はハードドライブも含む。ストレージユニット２２は、プロセッサ２４とは別個の要素として図５に示されているが、代替として、ストレージユニット２２は、プロセッサ２４に統合され得る（すなわち含まれ得る）。

【0127】

この場合、プロセッサ２４は、例えば、ストレージユニット２２に格納されたコンピュータプログラムの複数の命令を連続して実行するように適合される。

【0128】

これらの命令の一部は、プロセッサ２４によって実行されると、特に後述する機能を有する制御モジュール２５を実装することを可能にする。代替として、制御モジュール２５の機能のいくつかは、後述するように、ステップＥ５２において、ヘッダＦｅｔ内で識別された命令をプロセッサ２４によって実行することによって実装され得る。

【0129】

ストレージユニット２２に格納された命令の別の部分は、プロセッサ２４によって実行されると、前述のエントロピーデコーダ２３を実装することを可能にする。代替として、エントロピーデコーダ２３は、後述するように、ステップＥ５２において、ヘッダＦｅｔ内で識別された命令をプロセッサ２４によって実行することによって実装され得る。

【0130】

エントロピーデコーダ２３は、図１を参照して上に説明した電子符号化装置２のエントロピーエンコーダ１０によって実行されるエントロピー符号化の逆であるエントロピー復号を実行するように設計される。したがって、エントロピーデコーダ２３は、ここで、ＣＡＢＡＣ（「コンテキスト適応バイナリ算術符号化」）タイプのエントロピーデコーダである。代替として、それは、別のタイプのエントロピーエンコーダ、例えばハフマンタイプのデコーダ、算術デコーダ又はＬＺＷ（「Ｌｅｍｐｅｌ－Ｚｉｖ－Ｗｅｌｃｈ」）デコーダであり得る。

【0131】

並列処理ユニット２６は、プロセッサ２４（ここでは正確には制御モジュール２５）によって構成された後、人工ニューラルネットワーク２８を実装するように設計される。そのために、並列処理ユニット２６は、所与の時点で同じタイプの複数の演算を並列に実行するように設計される。

【0132】

一般に、並列処理ユニット２６は、例えば、データストリーム内で受信された機械学習法（例えば、深層学習法又はランダムフォレスト学習法など）を構成するためのデータを用いて、プロセッサ２４によって構成された後、そのような機械学習法を実装するように設計される。

【0133】

図５に概略的に示すように、プロセッサ２４は、（ここでは受信ユニット２１を介して）ヘッダＦｅｔ及びバイナリ要素のシーケンスＦｎｎを含むデータストリームを受信する。

【0134】

以下に説明するように、人工ニューラルネットワーク２８は、バイナリ要素のシーケンスＦｎｎのエントロピー復号によって取得されるデータの処理のフレームワーク内で使用され、このデータ処理は、最初のオーディオ又はビデオコンテンツＢに対応するオーディオ又はビデオコンテンツを取得することを目的とする。

【0135】

ストレージユニット２２は、複数のパラメータセットを格納することができ、各パラメータセットは、復号人工ニューラルネットワークを定義する。以下で説明するように、プロセッサ２４は、この場合、これらのパラメータセットのうちの特定のパラメータセットを用いて、並列処理ユニット２６が、次に、この特定のパラメータセットによって定義される人工ニューラルネットワークを実装することができるように、並列処理ユニット２６を構成することができる。

【0136】

ストレージユニット２２は、特に、ランダムアクセスデコーダを形成する第１の人工ニューラルネットワークを定義する第１のパラメータセット及び／又は低レイテンシーデコーダを形成する第２の人工ニューラルネットワークを定義する第２のパラメータセットを格納し得る。

【0137】

この場合、電子復号装置２０は、コンテンツへのランダムアクセスが望まれる状況及びコンテンツが遅延なく表示されるべき状況の両方に対して、事前に復号オプションを有する。

【0138】

ここで、図６を参照して、電子復号装置２０内に実装され、一方ではエントロピーデコーダ２３を使用し、他方では並列処理ユニット２６によって実装される人工ニューラルネットワーク２８を使用する復号方法について説明する。

【0139】

図６の方法は、ヘッダＦｅｔ及びバイナリ要素のシーケンスＦｎｎを含むデータストリームを（電子復号装置２０、正確にはここでは受信ユニット２１によって）受信するステップＥ５０から始まる。受信ユニット２１は、制御モジュール２５による処理のために、受信したデータストリームをプロセッサ２４に伝送する。

【0140】

次に、制御モジュール２５は、例えば、（ステップＥ２８の説明で既に述べた）バイナリ要素シーケンスの先頭の標識により、受信データストリーム内のヘッダＦｅｔ及びバイナリ要素のシーケンスＦｎｎを識別するステップＥ５２に進む。

【0141】

制御モジュール２５は、ステップＥ５２において、（図４を参照して上に説明したように）ヘッダＦｅｔの異なる部分も識別することができる。

【0142】

ステップＥ５２において、第１のデータ内で実行可能命令（コンピュータプログラムＥｘｅの命令など）が識別（すなわち検出）される場合、制御モジュール２５は、ステップＥ５４において、ヘッダデータの処理（及び場合によりエントロピー復号）の（後述の）ステップの少なくともいくつかを実装するために、これらの実行可能命令の実行を開始し得る。これらの命令は、プロセッサ２４又は代替として電子復号装置２０内でインスタンス生成された仮想マシンによって実行され得る。

【0143】

図６の方法は、オーディオ又はビデオコンテンツ表現フォーマットの特徴を取得するように、このフォーマットの特徴であるデータＦｃを復号するステップＥ５６に続く。例えば、ビデオコンテンツの場合、データ部分Ｆｃの復号は、画像サイズ（ピクセル単位）、及び／又はフレームレート、及び／又は輝度情報のバイナリ深度、及び／又はクロミナンス情報のバイナリ深度を取得することを可能にする。

【0144】

次に、制御モジュール２５は、使用される復号人工ニューラルネットワークを示すデータＲを復号するステップＥ５８に進む。

【0145】

第１の可能性によれば、既に示したように、これらのデータＲは、例えば、人工ニューラルネットワークの所定のセット内で復号人工ニューラルネットワーク２８を示す識別子である。

【0146】

この所定のセットは、例えば、電子復号装置２０によってアクセス可能な復号人工ニューラルネットワークのセット、すなわち（上に示したように）それに関して電子復号装置２０が、関連する人工ニューラルネットワークを定義するパラメータのセットを格納するか、又は（以下に説明するように）サーバなどのリモート電子機器に接続することにより、このパラメータのセットにアクセスし得る人工ニューラルネットワークのセットである。

【0147】

この場合、制御モジュール２５は、例えば、ストレージユニット２２において、復号された識別子に関連付けられたパラメータのセット（このパラメータのセットは、復号された識別子によって識別される人工ニューラルネットワークを定義する）の読み取りに進み得る。

【0148】

代替として（又は復号された識別子によって識別される人工ニューラルネットワークに関してストレージユニット２２にパラメータのセットが格納されていない場合）、制御モジュール２５は、パラメータのセットに対する要求をリモートサーバに伝送し（この要求は、例えば、復号された識別子を含む）、且つ復号された識別子によって識別される人工ニューラルネットワークを定義するパラメータのセットを応答として受信することができる。

【0149】

第２の可能な実施形態によれば、データＲは、復号人工ニューラルネットワーク２８を記述するデータＲｃである。

【0150】

既に示したように、これらの記述データ（又は符号化データ）は、例えば、ＭＰＥＧ－７ ｐａｒｔ １７などの規格に従って又はＪＳＯＮなどのフォーマットを用いて符号化される。

【0151】

これらの記述データの復号は、バイナリ要素のシーケンスＦｎｎから（エントロピー復号によって）取得されたデータを復号するために使用される人工ニューラルネットワークを定義するパラメータを取得することを可能にする。

【0152】

いくつかの実施形態では、上述の第１の可能性又は第２の可能性の使用は、既に示したように、データＲにも含まれる標識に依存する。

【0153】

何れの選択肢が使用されても、使用される復号人工ニューラルネットワークを示すデータＲの復号は、（ここでは制御モジュール２５が）復号人工ニューラルネットワーク２８のフィーチャを決定することを可能にする。したがって、例えば、本明細書に記載する例では、制御モジュール２５は、復号人工ニューラルネットワーク２８の入力で期待されるフィーチャマップの数Ｎ及びこれらのフィーチャマップのサイズＨ、Ｗを決定する。実際、上に説明したように（例えば、ステップＥ２の説明を参照されたい）、符号化人工ニューラルネットワーク８の出力層に対応する復号人工ニューラルネットワーク２８の入力層、フィーチャマップＦの各要素は、所定の方法で復号人工ニューラルネットワークの入力ノード（又は入力層のノード）に関連付けられる。したがって、フィーチャマップＦの数及びサイズは、復号人工ニューラルネットワーク２８のフィーチャ及び上述のデータＦｃ（特に画像サイズを含む）などの特定のヘッダデータにリンクされる。

【0154】

次に、制御モジュール２５は、ステップＥ６０において、並列処理ユニット２６が復号人工ニューラルネットワーク２８（又は一般に機械学習法、例えば代替として別の深層学習法若しくはランダムフォレスト学習法）を実装することができるように、復号人工ニューラルネットワーク２８を定義するパラメータ（ステップＥ５８で取得されたパラメータ）又は一般に使用される機械学習法を定義するパラメータを用いた並列処理ユニット２６の構成に進む。

【0155】

この構成ステップＥ６０は、特に、ここではステップＥ５８で取得されたパラメータを使用して、並列処理ユニット２６内での復号人工ニューラルネットワーク２８のインスタンス生成を含む。

【0156】

このインスタンス生成は、特に、以下のステップ：
－ 並列処理ユニット２６内において、復号人工ニューラルネットワーク２８を実装するために必要なメモリスペースを確保するステップ、及び／又は、
－ 復号人工ニューラルネットワーク２８を定義するパラメータ（例えば、重みΓ’及び活性化関数を含む）（ステップＥ５８で取得されたパラメータ）を使用して、並列処理ユニット２６をプログラミングするステップ、
を含み得る。

【0157】

次に、制御モジュール２５は、ステップＥ６２において、エントロピーデコーダ２３内で使用可能なコンテキストのセットを示す（ここではエントロピーデコーダ２３内で使用可能なコンテキストの数Ｋを示す）情報Ｉ１の復号に進む。既に示したように、例えばＫ＝１６０である。

【0158】

次に、制御モジュール２５は、ステップＥ６４において、使用されるコンテキストのセット（このセットは、ステップＥ６２で復号された情報Ｉ１のために決定される）の異なるコンテキストにそれぞれ関連するパラメータ化データＩｉｎｉｔの復号に進む。

【0159】

次に、制御モジュール２５は、（ステップＥ６４で復号された）関連するコンテキストのパラメータ化データＩｉｎｉｔを使用して、エントロピーデコーダ２３内で使用可能な各コンテキストを初期化するステップＥ６６を実装することができる。

【0160】

より正確には、エントロピーエンコーダ２３は、ここで、適応型であり、各コンテキストは、このコンテキストに関連するパラメータ化データＩｉｎｉｔによって定義される確率モデルを用いて初期化される。

【0161】

代替として、エントロピーデコーダ２３が各コンテキストに対して固定確率モデルを使用する場合、制御モジュール２５は、ステップＥ６６において、エントロピーデコーダによって使用可能な各コンテキストを、このコンテキストに関連するパラメータ化データＩｉｎｉｔによって定義される確率モデルを用いて構成する。

【0162】

次に、制御モジュール２５は、エントロピー復号によって取得されるデータのタイプごとに、このタイプを有するデータのエントロピー符号化が行われ、したがってエントロピーエンコーダ２３が、このデータのエントロピー復号のためにパラメータ化される必要があるコンテキストを示すデータＩ２を復号するステップＥ６８を実行する。

【0163】

本明細書に記載する例では、制御モジュール２５は、まず、値が０である場合、コンテキストが各フィーチャマップＦに関連付けられることを示し、値が１である場合、コンテキストがフィーチャマップＦの各位置に対して使用されることを示す標識Ｉ２＿ｍｏｄｅを復号する（すなわちここでは参照する）。

【0164】

したがって、標識Ｉ２＿ｍｏｄｅの値、数Ｋ及びフィーチャマップのサイズＨ、Ｗに応じて、制御モジュール２５は、エントロピーデコーダ２３がバイナリ要素のシーケンスＦｎｎの一部を入力として受信するとき、このタイプのデータを取得するためにエントロピーデコーダ２３がパラメータ化される必要があるコンテキストをそれぞれ表す識別子Ｉ２＿ｍａｐ［ｉ］を復号する（すなわちここではデータストリームを読み込む）。

【0165】

例えば、標識Ｉ２＿ｍｏｄｅが０に等しい場合、制御モジュール２５は、Ｎ個のフィーチャマップＦのそれぞれについて、このフィーチャマップＦに関連するデータ（ここでは代表値Ｖ）を取得するためにエントロピーデコーダ２３がパラメータ化される必要があるコンテキストを表す識別子Ｉ２＿ｍａｐ［ｉ］を復号する（又は読み取る）。すなわち、この場合、データのタイプは、このデータが属するフィーチャマップＦによって定義される（このデータは、ここで、代表値Ｖである）。

【0166】

標識Ｉ２＿ｍｏｄｅが１に等しい場合、制御モジュール２５は、各フィーチャマップＦ内のＷ×Ｈ個の位置（又は場所）のそれぞれについて、この位置にあるデータ（ここでは代表値Ｖ）を取得するためにエントロピーデコーダ２３がパラメータ化される必要があるコンテキストを表す識別子Ｉ２＿ｍａｐ［ｉ］を復号する（又は読み取る）。すなわち、この場合、データのタイプは、関連するフィーチャマップＦ内のこのデータ（ここでは代表値Ｖ）の位置によって定義される。

【0167】

期待データのシーケンスの各データについて（すなわちここでは復号人工ニューラルネットワーク２８の入力に適用される代表値Ｖのそれぞれについて）、ステップＥ７０において、制御モジュール２５は、
－ このデータのタイプに関連付けられた識別子Ｉ２＿ｍａｐ［ｉ］に基づいて、このデータを復号するために使用されるコンテキストを決定し、
－ そのように決定されたコンテキストＣでエントロピーデコーダ２３をパラメータ化し、及び
－ エントロピーデコーダ２３が、ステップＥ２６においてエントロピー符号化によって符号化されたものと同一の期待データ（ここでは代表値Ｖ）を出力として生成するように、バイナリ要素のシーケンスＦｎｎの一部を（これらのバイナリ要素を受信した順序で）エントロピーデコーダ２３の入力に適用する。

【0168】

既に示したように（上記のステップＥ５８の説明を参照されたい）、制御モジュール２５は、フィーチャマップの数Ｎ及びサイズＨ、Ｗを以前に決定しており、したがってエントロピー復号ステップＥ７０中に取得される代表値Ｖ（又は期待データ）の数を知っている。さらに、ステップＥ２６の説明で述べたように、異なる代表値Ｖは、事前定義された順序でエントロピー符号化によって符号化され、したがって、代表値Ｖ（期待データ）は、この同じ事前定義された順序で復号される。

【0169】

既に説明した内容によれば、標識Ｉ２＿ｍｏｄｅが０に等しい場合、所与のフィーチャマップＦの要素（すなわち代表値Ｖ）を復号するために決定されるコンテキストＣは、したがって、この所与のフィーチャマップＦに関連付けられた識別子Ｉ２＿ｍａｐ［ｉ］に基づいて決定される（この場合、このデータを含むフィーチャマップに対応するデータのタイプ）。

【0170】

同様に、標識Ｉ２＿ｍｏｄｅが１に等しい場合、フィーチャマップＦの所与の要素（すなわち代表値Ｖ）を復号するために決定されるコンテキストＣは、フィーチャマップ内のこの所与の要素の位置に関連付けられた識別子Ｉ２＿ｍａｐ［ｉ］に基づいて決定される（この場合、データの位置に対応するデータのタイプ）。

【0171】

したがって、エントロピーデコーダ２３は、ステップＥ７０において、期待データシーケンス、すなわちここではそれぞれの値Ｖのセットを生成する。

【0172】

次に、プロセッサ２４（ここではエントロピーエンコーダ２３の出力で直接的に又は代替として制御モジュール２５を介して）は、ステップＥ７２において、代表値Ｖが少なくとも部分的に人工ニューラルネットワーク２８を使用する復号プロセスによって処理されるように、並列処理ユニット２６によって実装される人工ニューラルネットワーク２８に対してこれらのデータを適用（すなわち提示）することができる。

【0173】

ここで説明する例では、人工ニューラルネットワーク２８は、代表値Ｖを入力として受信し、オーディオ又はビデオ再生装置での再生に適合した符号化コンテンツの表現Ｉを出力として生成する。すなわち、代表値Ｖ（ここではフィーチャマップＦの形式における）が人工ニューラルネットワーク２８の入力層に適用され、人工ニューラルネットワーク２８の出力層が符号化コンテンツの上述の表現Ｉを生成する。したがって、ビデオコンテンツ（画像又は画像のシーケンスを含む）の場合、人工ニューラルネットワーク２８は、出力として（すなわちその出力層上で）画像の少なくとも１つの行列表現Ｉを生成する。

【0174】

上述のステップＥ６における符号化について既に理解されるように、フィーチャマップＦの要素（すなわち代表値Ｖ）と入力ノード（又は入力層のノード）との関連付けは、事前に定義される。

【0175】

特定の実施形態では、（例えば、ブロック又は画像に対応する）特定の代表値Ｖを処理するために、人工ニューラルネットワーク２８は、例えば、先行するブロック又は先行する画像に対応する以前のデータ（ここでは前の代表値Ｖ）の処理中、人工ニューラルネットワーク２８の出力で生成されたデータの少なくともいくつかを入力として受信することができる。この場合、人工ニューラルネットワーク２８の出力で生成されたデータを人工ニューラルネットワーク２８の入力に再注入するステップＥ７４に進む。

【0176】

さらに、他の可能な実施形態によれば、復号プロセスは、コンテンツデータＢの処理について既に上述したように、複数の人工ニューラルネットワークを使用し得る。

【0177】

次に、制御モジュール２５は、ステップＥ７６において、人工ニューラルネットワーク２８によるバイナリ要素のシーケンスＦｎｎの処理が完了したかどうかを決定する。

【0178】

否定的決定（Ｎ）の場合、この方法は、ステップＥ７０にループして、バイナリ要素のシーケンスＦｎｎの後続の部分のエントロピー復号を実行し、（このエントロピー復号によって生成された）他の代表値Ｖを人工ニューラルネットワーク２８に適用する。

【0179】

肯定的決定（Ｐ）の場合、この方法は、ステップＥ７８で終了する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】