特表 2024-500168 空間画像サブサンプリングを用いた符号化予定の映像シーケンスの画像を符号化するための方法、復号方法、対応するデバイス及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-04

(54)【発明の名称】空間画像サブサンプリングを用いた符号化予定の映像シーケンスの画像を符号化するための方法、復号方法、対応するデバイス及びシステム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20231222BHJP

   H04N 19/85 20140101ALI20231222BHJP

   H04N 19/167 20140101ALI20231222BHJP

   H04N 19/164 20140101ALI20231222BHJP

【ＦＩ】

H04N19/117

H04N19/85

H04N19/167

H04N19/164

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023538080

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-06-21

(86)【国際出願番号】 EP2021086398

(87)【国際公開番号】W WO2022136143

(87)【国際公開日】2022-06-30

(31)【優先権主張番号】2013944

(32)【優先日】2020-12-22

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521196970

【氏名又は名称】フォンダシオン ベー－コム

【氏名又は名称原語表記】ＦＯＮＤＡＴＩＯＮ Ｂ－ＣＯＭ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】ブノワ ル リュドゥク

(72)【発明者】

【氏名】パトリック デュメニル

(72)【発明者】

【氏名】フランク シ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA02

5C159LB01

5C159ME01

5C159TA69

5C159TB06

5C159TC10

5C159TC14

5C159TC34

5C159TC45

5C159TC48

5C159UA02

5C159UA05

(57)【要約】

本発明は、映像シーケンスの画像を符号化するための方法であって、以下のステップ、すなわち、
ｃ）表示デバイスの構造特性を表す初期の構成を得ること（Ｅ１００）と、入力サブシーケンスと呼ばれる映像シーケンスの画像に対して、
ｄ１）第１の方向に方向付けられたフィルタを使用することによって、サブサンプリングファクタ値の第１のセット（ＥＮＳ１）を含む、画像の要素において第１の空間サブサンプリング動作を行うこと（Ｅ１０２）であって、後者が、初期の構成に応じて決定される、第１の空間サブサンプリングを行うこと（Ｅ１０２）と、次いで、結果として得られた画像を出力サブシーケンスに挿入することと、
ｅ）出力サブシーケンスの画像を符号化すること（Ｅ２）と
の実施を含む、方法に関する。

【特許請求の範囲】

【請求項1】

映像シーケンスのピクチャを符号化するための方法であって、各ピクチャが、行と列に整理された要素で形成される、方法であり、以下のステップ、すなわち、
ｃ）表示デバイスの構造特性を表す初期の構成を得ること（Ｅ１００）と、入力サブシーケンスと呼ばれる前記映像シーケンスの１つ又は複数のピクチャのサブシーケンスの少なくとも１つのピクチャに対して、
ｄ１）第１の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるサブサンプリングファクタ値の第１のセット（ＥＮＳ１）を含む、前記ピクチャの前記要素の少なくとも一部の第１の空間サブサンプリングを行うこと（Ｅ１０２）であって、値の前記第１のセットが、前記初期の構成に応じて決定される、第１の空間サブサンプリングを行うこと（Ｅ１０２）と、次いで、前記結果として得られたピクチャを出力サブシーケンスに挿入することと、
ｅ）前記出力サブシーケンスの前記ピクチャを符号化すること（Ｅ２）と
の実施を含む、方法。

【請求項2】

ステップｄ１）が、第２の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるサブサンプリングファクタ値の第２のセット（ＥＮＳ２）を含む、前記サブサンプリング済みのピクチャの前記要素の少なくとも一部の第２の空間サブサンプリングを行うことであって、値の前記第２のセットが、前記初期の構成に応じて決定される、第２の空間サブサンプリングを行うことをさらに含む、請求項１に記載の方法。

【請求項3】

空間サブサンプリングが、以下の方向、すなわち、
－ 水平方向、
－ 垂直方向
の一方に方向付けられたフィルタを使用して行われる、請求項１又は２に記載の方法。

【請求項4】

値のセットの各サブサンプリングファクタ値が、前記フィルタが方向付けられた前記方向におけるｐ個の連続要素の少なくとも１つのグループにそれぞれ適用され、ｐが、正の整数である、請求項１～３のいずれか一項に記載の方法。

【請求項5】

ステップｄ１）の前記実施の前に、前記入力サブシーケンスの少なくとも１つのピクチャのコンテンツの分析を含む分析ステップ（Ｅ１００３、Ｅ１００８）と、前記コンテンツの前記分析の前記結果に応じて、前記サブサンプリングファクタ値を更新するステップとをさらに含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

ステップｄ１）の前記実施の前に、ユーザが行った動きを表す測定値の分析を含む分析ステップであって、前記表示デバイスが、前記ユーザが着用する頭部装着型ディスプレイである、分析ステップと、前記測定値の前記分析の前記結果に応じて、前記サブサンプリングファクタ値を更新するステップとをさらに含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

ステップｄ１）の前記実施の前に、前記出力サブシーケンスの前記ピクチャの視覚的品質の分析（Ｅ１００５）を含む別の分析ステップと、前記視覚的品質が既定の閾値より低い場合は、前記サブサンプリングファクタ値を更新するステップとをさらに含む、請求項１～６のいずれか一項に記載の方法。

【請求項8】

以下のサブステップ、すなわち、
ａ）前記映像シーケンスから、いわゆる初期のサブシーケンスを得ることと、少なくとも１つの初期のサブシーケンスに対して、
ｂ１）前記初期のサブシーケンスの少なくとも１つのピクチャの前記コンテンツを表す情報を決定することと、前記情報に応じて、
ｂ２）前記決定された情報に応じて、前記初期のサブシーケンスに対して、初期のピクチャ表示周波数以下の処理周波数を決定することと、
ｂ３）前記決定された処理周波数に応じて、入力サブシーケンスを形成するピクチャのサブシーケンスに前記ピクチャグループの前記ピクチャのすべて又は一部を挿入することと
を含む予備ステップ（Ｅ１０１）を含む、請求項１～７のいずれか一項に記載の方法。

【請求項9】

出力サブシーケンスのＭ個のピクチャに対する事後ステップ（Ｅ１０３）であって、Ｍが整数である、事後ステップ（Ｅ１０３）をさらに含み、前記事後ステップが、以下のサブステップ、すなわち、
ｄ２）前記出力サブシーケンスの前記ピクチャと関連付けられた前記処理周波数を前記初期のピクチャ表示周波数と比較することと、
前記処理周波数が前記初期の周波数より低い場合は、前記出力サブシーケンスの前記Ｍ個のピクチャの各々をＮ個のサブピクチャに空間分割することであって、Ｎが、その値が前記処理周波数と前記初期の周波数との比率に依存する整数であり、前記符号化ステップｅ）が、前記出力サブシーケンスの前記Ｍ^＊Ｎ個のサブピクチャの前記符号化に相当する、空間分割することと
を含み、
前記処理周波数が前記初期の周波数より高い場合は、前記符号化ステップｅ）が、前記出力サブシーケンスの前記Ｍ個のピクチャの前記符号化に相当する、請求項１～８のいずれか一項に記載の方法。

【請求項10】

各出力サブシーケンスに対して、以下のステップ、すなわち、
－ 以下のリスト、すなわち、
・ サブサンプリングファクタ値、
・ ユーザが行った動きを表す測定値（前記表示デバイスが、前記ユーザが着用する頭部装着型ディスプレイである）、
・ 前記表示デバイスの構造特性、
・ 処理周波数
の要素の少なくとも１つを表す情報を得ることと、
－ 前記情報を符号化することと
をさらに含む、請求項１～９のいずれか一項に記載の方法。

【請求項11】

映像シーケンスのピクチャに対応するデータを復号するための方法であって、各ピクチャが、行と列に整理された要素で形成され、前記映像シーケンスの前記ピクチャが、出力サブシーケンスと呼ばれる１つ又は複数のピクチャのサブシーケンスに分類される、方法であり、以下のステップ、すなわち、
ｃ１）表示デバイスの構造特性を表す初期の構成を得ること（Ｅ５００１）と、出力サブシーケンスの少なくとも１つのピクチャに対して、
ｄ１１）第１の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるオーバーサンプリングファクタ値の第１のセットを含む、前記ピクチャの前記要素の少なくとも一部の第１の空間オーバーサンプリングを行うこと（Ｅ５０２）であって、値の前記第１のセットが、前記初期の構成に応じて決定される、第１の空間オーバーサンプリングを行うこと（Ｅ５０２）と、次いで、前記結果として得られたピクチャを復号予定のサブシーケンスに挿入することと、
ｅ１）復号予定の前記サブシーケンスの前記ピクチャを復号することと
の実施を含む、方法。

【請求項12】

ステップｄ１１）が、第２の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるオーバーサンプリングファクタ値の第２のセットを含む、前記オーバーサンプリング済みのピクチャの前記要素の少なくとも一部の第２の空間オーバーサンプリングを行うことであって、値の前記第２のセットが、前記初期の構成に応じて決定される、第２の空間オーバーサンプリングを行うことをさらに含む、請求項１１に記載の方法。

【請求項13】

映像シーケンスのピクチャを符号化するためのデバイス（ＤＣ）であって、各ピクチャが、行と列に整理された要素で形成される、デバイス（ＤＣ）であり、以下のステップ、すなわち、
ｃ）表示デバイスの構造特性を表す初期の構成を得ることと、入力サブシーケンスと呼ばれる前記映像シーケンスの１つ又は複数のピクチャのサブシーケンスの少なくとも１つのピクチャに対して、
ｄ１）第１の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるサブサンプリングファクタ値の第１のセットを含む、前記ピクチャの前記要素の少なくとも一部の第１の空間サブサンプリングを行うことであって、値の前記第１のセットが、前記初期の構成に応じて決定される、第１の空間サブサンプリングを行うことと、次いで、前記結果として得られたピクチャを出力サブシーケンスに挿入することと、
ｅ）前記出力サブシーケンスの前記ピクチャを符号化することと
を実施するように構成される、デバイス（ＤＣ）。

【請求項14】

映像シーケンスのピクチャに対応するデータを復号するためのデバイス（ＤＤＥＣ）であって、各ピクチャが、行と列に整理された要素で形成され、前記映像シーケンスの前記ピクチャが、出力サブシーケンスと呼ばれる１つ又は複数のピクチャのサブシーケンスに分類される、デバイス（ＤＤＥＣ）であり、以下のステップ、すなわち、
ｃ１）表示デバイスの構造特性を表す初期の構成を得ることと、出力サブシーケンスの少なくとも１つのピクチャに対して、
ｄ１１）第１の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるオーバーサンプリングファクタ値の第１のセットを含む、前記ピクチャの前記要素の少なくとも一部の第１の空間オーバーサンプリングを行うことであって、値の前記第１のセットが、前記初期の構成に応じて決定される、第１の空間オーバーサンプリングを行うことと、次いで、前記結果として得られたピクチャを復号予定のサブシーケンスに挿入することと、
ｅ１）復号予定の前記サブシーケンスのピクチャを復号することと
を実施するように構成される、デバイス（ＤＤＥＣ）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像シーケンス符号化及び復号の技術分野に関する。より具体的には、本発明は、符号化方法及びデバイス、復号方法及びデバイス、並びに、対応するデバイスに関する。

【背景技術】

【0002】

高空間及び時間分解能映像コンテンツを送信するため、国際公開第２０２０／０２５５１０号パンフレットにおいて説明される、いわゆるスケーラブルな方法を実施することが知られている。この方法を使用して映像シーケンスを処理することにより、ピクチャを表示する際に空間及び時間領域における映像シーケンス品質の目に見える変化をもたらすことなく、送信する映像データの量が低減される。

【発明の概要】

【課題を解決するための手段】

【0003】

この文脈では、本発明の第１の態様によれば、映像シーケンスのピクチャを符号化するための方法であって、各ピクチャが、行と列に整理された要素で形成される、方法が提案される。方法は、以下のステップ、すなわち、
ｃ）表示デバイスの構造特性を表す初期の構成を得ることと、入力サブシーケンスと呼ばれる映像シーケンスの１つ又は複数のピクチャのサブシーケンスの少なくとも１つのピクチャに対して、
ｄ１）第１の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるサブサンプリングファクタ値の第１のセットを含む、ピクチャの要素の少なくとも一部の第１の空間サブサンプリングを行うことであって、値の第１のセットが、上記初期の構成に応じて決定される、第１の空間サブサンプリングを行うことと、次いで、結果として得られたピクチャを出力サブシーケンスに挿入することと、
ｅ）出力サブシーケンスのピクチャを符号化すること（Ｅ２）と
の実施を含む。

【0004】

有利には、本発明の第１の態様による方法は、映像シーケンスを見るユーザに対する視覚的品質の損失が生じることなく、送信する符号化済みのデータの量を低減することができる。実際に、サブサンプリングは、ユーザが映像シーケンスを見るための表示デバイスの構造特性（例えば、表示デバイスの光学特性又はその形状に関連するもの）に依存する。従って、使用される表示デバイスに対して、ユーザのために、ピクチャの対象のエリアに合わせてサブサンプリングを調整することができる。

【0005】

好ましくは、ステップｄ１）は、第２の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるサブサンプリングファクタ値の第２のセットを含む、サブサンプリング済みのピクチャの要素の少なくとも一部の第２の空間サブサンプリングを行うことであって、値の第２のセットが、上記初期の構成に応じて決定される、第２の空間サブサンプリングを行うことをさらに含む。

【0006】

２つの異なる方向に方向付けられた２つのフィルタを使用した２つの逐次サブサンプリング動作の実施により、異なる空間分解能の値を有するエリアを定義する比較的複雑なパターンを生成することができる。次いで、表示デバイスの構造特性に従って、処理済みのピクチャの各エリアの分解能を微調整することができる。

【0007】

好ましくは、空間サブサンプリングは、以下の方向、すなわち、
－ 水平方向、
－ 垂直方向
の一方に方向付けられたフィルタを使用して行われる。

【0008】

これらの方向の選択により、空間分解能の複雑なパターンを可能にする一方で、符号化デバイス内での特に単純なソリューションの実施が可能になる。

【0009】

値のセットの各サブサンプリングファクタ値は、好ましくは、フィルタが方向付けられた方向におけるｐ個の連続要素の少なくとも１つのグループにそれぞれ適用され、ｐは、正の整数である。

【0010】

実施形態によれば、方法は、ステップｄ１）の実施の前に、上記入力サブシーケンスの少なくとも１つのピクチャのコンテンツの分析を含む分析ステップと、コンテンツの分析の結果に応じて、サブサンプリングファクタ値を更新するステップとをさらに含み得る。

【0011】

実施形態によれば、方法は、ステップｄ１）の実施の前に、ユーザが行った動きを表す測定値の分析を含む分析ステップであって、表示デバイスが、上記ユーザが（例えば、彼／彼女の頭及び／又は眼に）着用する頭部装着型ディスプレイである、分析ステップと、測定値の分析の結果に応じて、サブサンプリングファクタ値を更新するステップとをさらに含み得る。

【0012】

別の実施形態によれば、方法は、ステップｄ１）の実施の前に、上記出力サブシーケンスのピクチャの視覚的品質の分析を含む別の分析ステップと、視覚的品質が既定の閾値より低い場合は、サブサンプリングファクタ値を更新するステップとをさらに含み得る。

【0013】

別の実施形態によれば、方法は、以下のサブステップ、すなわち、
ａ）上記映像シーケンスから、いわゆる初期のサブシーケンスを得ることと、少なくとも１つの初期のサブシーケンスに対して、
ｂ１）初期のサブシーケンスの少なくとも１つのピクチャのコンテンツを表す情報を決定することと、上記情報に応じて、
ｂ２）決定された情報に応じて、初期のサブシーケンスに対して、初期のピクチャ表示周波数以下の処理周波数を決定することと、
ｂ３）決定された処理周波数に応じて、入力サブシーケンスを形成するピクチャのサブシーケンスにピクチャグループのピクチャのすべて又は一部を挿入することと
を含む予備ステップをさらに含み得る。

【0014】

好ましくは、方法は、次いで、出力サブシーケンスのＭ個のピクチャに対する事後ステップであって、Ｍが整数である、事後ステップをさらに含み得、上記事後ステップは、以下のサブステップ、すなわち、
ｄ２）出力サブシーケンスのピクチャと関連付けられた処理周波数を初期のピクチャ表示周波数と比較することと、
処理周波数が初期の周波数より低い場合は、出力サブシーケンスのＭ個のピクチャの各々をＮ個のサブピクチャに空間分割することであって、Ｎが、その値が処理周波数と初期の周波数との比率に依存する整数であり、符号化ステップｅ）が、出力サブシーケンスのＭ^＊Ｎ個のサブピクチャの符号化に相当する、空間分割することと
を含み、
処理周波数が初期の周波数より高い場合は、符号化ステップｅ）は、出力サブシーケンスの上記Ｍ個のピクチャの符号化に相当する。

【0015】

別の実施形態によれば、方法は、各出力サブシーケンスに対して、以下のステップ、すなわち、
－ 以下のリスト、すなわち、
・ サブサンプリングファクタ値、
・ ユーザが行った動きを表す測定値（表示デバイスは、上記ユーザが着用する頭部装着型ディスプレイである）、
・ 表示デバイスの構造特性、
・ 処理周波数
の要素の少なくとも１つを表す情報を得ることと、
－ 上記情報を符号化することと
をさらに含み得る。

【0016】

本発明の第２の態様によれば、映像シーケンスのピクチャに対応するデータを復号するための方法であって、各ピクチャが、行と列に整理された要素で形成され、映像シーケンスのピクチャが、出力サブシーケンスと呼ばれる１つ又は複数のピクチャのサブシーケンスに分類される、方法が提案される。方法は、以下のステップ、すなわち、
ｃ１）表示デバイスの構造特性を表す初期の構成を得ることと、出力サブシーケンスの少なくとも１つのピクチャに対して、
ｄ１１）第１の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるオーバーサンプリングファクタ値の第１のセットを含む、ピクチャの要素の少なくとも一部の第１の空間オーバーサンプリングを行うことであって、値の第１のセットが、上記初期の構成に応じて決定される、第１の空間オーバーサンプリングを行うことと、次いで、結果として得られたピクチャを復号予定のサブシーケンスに挿入することと、
ｅ１）復号予定のサブシーケンスのピクチャを復号することと
の実施を含む。

【0017】

好ましくは、ステップｄ１１）は、第２の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるオーバーサンプリングファクタ値の第２のセットを含む、オーバーサンプリング済みのピクチャの要素の少なくとも一部の第２の空間オーバーサンプリングを行うことであって、値の第２のセットが、上記初期の構成に応じて決定される、第２の空間オーバーサンプリングを行うことをさらに含み得る。

【0018】

本発明の第３の態様によれば、映像シーケンスのピクチャを符号化するためのデバイスであって、各ピクチャが、行と列に整理された要素で形成される、デバイスが提案される。デバイスは、以下のステップ、すなわち、
ｃ）表示デバイスの構造特性を表す初期の構成を得ることと、入力サブシーケンスと呼ばれる映像シーケンスの１つ又は複数のピクチャのサブシーケンスの少なくとも１つのピクチャに対して、
ｄ１）第１の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるサブサンプリングファクタ値の第１のセットを含む、ピクチャの要素の少なくとも一部の第１の空間サブサンプリングを行うことであって、値の第１のセットが、上記初期の構成に応じて決定される、第１の空間サブサンプリングを行うことと、次いで、結果として得られたピクチャを出力サブシーケンスに挿入することと、
ｅ）出力サブシーケンスのピクチャを符号化することと
を実施するように構成される。

【0019】

本発明の第４の態様によれば、映像シーケンスのピクチャに対応するデータを復号するためのデバイスであって、各ピクチャが、行と列に整理された要素で形成され、映像シーケンスのピクチャが、出力サブシーケンスと呼ばれる１つ又は複数のピクチャのサブシーケンスに分類される、デバイスが提案される。デバイスは、以下のステップ、すなわち、
ｃ１）表示デバイスの構造特性を表す初期の構成を得ることと、出力サブシーケンスの少なくとも１つのピクチャに対して、
ｄ１１）第１の方向に方向付けられたフィルタを使用して、少なくとも２つの異なるオーバーサンプリングファクタ値の第１のセットを含む、ピクチャの要素の少なくとも一部の第１の空間オーバーサンプリングを行うことであって、値の第１のセットが、上記初期の構成に応じて決定される、第１の空間オーバーサンプリングを行うことと、次いで、結果として得られたピクチャを復号予定のサブシーケンスに挿入することと、
ｅ１）復号予定のサブシーケンスのピクチャを復号することと
を実施するように構成される。

【0020】

その上、本発明の様々な他の特徴は、本発明の非限定的な実施形態を示す図面を参照して行われる添付の説明から明らかであろう。

【図面の簡単な説明】

【0021】

【図1】本発明の第１の態様による方法の実施形態を示す。

【図2】映像シーケンスを表示するために使用される頭部装着型ディスプレイの光学特性を示す。

【図3】図１に示される実施形態の特定のステップをより正確に示す。

【図4】本発明による方法の実施形態に従って得られたパターンを概略的に示す。

【図5】本発明による方法の別の実施形態に従って得られた別のパターンを概略的に示す。

【図6】本発明による空間サブサンプリングステップの実施形態を詳細に示す。

【図7】本発明による空間サブサンプリングステップの別の実施形態を詳細に示す。

【図8】図６及び７に示される実施形態の逐次適用の終了時に得られたパターンを概略的に示す。

【図9】図１に示される実施形態の特定のステップをより正確に示す。

【図10】本発明の第２の態様による方法の実施形態を示す。

【図11】本発明の第３の態様によるデバイスの実施形態を示す。

【図12】本発明の第４の態様によるデバイスの実施形態を示す。

【図13】本発明の第３又は第４の態様によるデバイスの可能な実装形態を示す。

【発明を実施するための形態】

【0022】

図１は、本発明による方法の実施形態を示す。ソース映像データＳＶＤは、前処理ステップＥ１の入力として、例えば、ＵＨＤ（「超高解像度」）映像フォーマットで、提供される。各ソース映像は、「ピクチャグループ」（ＧＯＰ）ベースで処理される。ピクチャグループは、入力サブシーケンスを形成する。このステップＥ１（以下でさらに詳細に説明される）は、空間処理及び任意選択により時間処理を映像データに適用することを可能にする。映像シーケンスＳＶＤのピクチャを形成する画素の空間及び場合により時間周波数は、前処理の結果として低減される。次いで、映像のフォーマットが修正される。場合により、以下の説明において解説されるように、前処理に関連するメタデータが生成される。

【0023】

処理済みの映像データは、ステップＥ２の間に符号化され、次いで、表示手段に送信される（ステップＥ３）。表示する前に、送信された符号化済みの映像データが復号される（ステップＥ４）。次いで、それらの映像データは、符号化の前に行われた前処理Ｅ３に応じた後処理Ｅ５の対象となる。場合により、後処理Ｅ５は、前処理ステップＥ２の間に生成されるメタデータに依存する。最後に、ステップＥ６において、表示手段を使用して、後処理が行われた映像データが表示される。

【0024】

ステップＥ１、Ｅ２及びＥ３は、送信デバイスによって実施され、ステップＥ４、Ｅ５及びＥ６は、表示手段を含む受信デバイスによって実施される。

【0025】

表示手段は、可変寸法のスクリーン、頭部装着型ディスプレイ又は単純な表示面を含み得るが、このリストは網羅的ではない。これらの表示手段は、それら自体のディスプレイ構成を有する。ディスプレイ構成は、表示デバイスの構造特性（その寸法又はその光学コンポーネントのパラメータなど）によって定義することができる。例として、図２は、頭部装着型ディスプレイのレンズの左ＬＧと右ＬＤのそれぞれの光学特性を概略的に示す。従来の方式では、両眼視を可能にする各レンズＬＧ、ＬＤは、中心円ＣＣＧ、ＣＣＤ内において最適な空間分解能を有する。ユーザが頭部装着型ディスプレイを着用すると、この中心円は、左右のそれぞれの眼窩に当てはまる。眼窩は、詳細の視覚化が最も正確な網膜エリアである。次いで、中心円から遠ざかる際は、同心円の半径の増加と共に、表示ピクチャの空間分解能は、段階的に徐々に低減する。最後に、黒いエリアＺＮは、映像の円形表示エリアを取り囲む。

【0026】

図３は、図１のステップＥ１及びＥ５をより詳細に示す。前処理ステップＥ１は、初期の構成の第１のサブステップＥ１００を含む。このサブステップは、構成から得られたフィルタリングパターンに従ってソース映像のピクチャグループに適用するための空間及び任意選択により時間フィルタのセットを得ることを可能にする。初期の構成は、デフォルト（例えば、格納されたもの）として設定することも、使用中の状況の変化を考慮するように、各入力サブシーケンスに対して更新することもできる。初期の構成は、１つ又は複数の基準の組合せに依存し、これらの基準は、上記で定義されるディスプレイ構成を含む。さらに、初期の構成は、例えば、送信機と受信機との間の映像の送信チェーン又はユーザが与える指示（これらの指示は、送信可能なデータの量、許容レイテンシ閾値若しくは複雑度の耐容レベルに関連する）に関連するものなど、追加の基準に依存し得る。

【0027】

サブステップＥ１００は、品質の損失がほとんど生じることなく、コンテンツが表示デバイス上にレンダリングされるように、許容可能な空間及び場合により時間周波数値を先験的に提供することを可能にする。空間周波数値は、ピクチャのパーティション（少なくとも２つのパーティションを含むピクチャ）と関連付けられる。時間周波数値（ピクチャ送信周波数又は「送信するピクチャ周波数」に相当する）は、ソース映像のピクチャグループ内の送信するピクチャ周波数に相当する。

【0028】

得られた初期の構成に応じて、以下の２つのサブステップＥ１０１及びＥ１０２が実施され、ステップＥ１０１は、任意選択である。初期の構成が時間フィルタリングを伴う場合は、ステップＥ１０１が実施される。ステップＥ１０１は、ピクチャグループに対して、ピクチャの入力サブシーケンスの修正を行うことを含み、ピクチャの一部のみが維持される。簡単にするため、別段の明記がない限り、以下の説明では、空間フィルタリング（Ｅ１０２）と時間フィルタリング（Ｅ１０２）が実施されると考えられる。従って、ソース映像の入力サブシーケンスは、ピクチャの少なくとも一部の空間及び時間サブサンプリングを含む処理動作の組合せの対象となる。

【0029】

処理済みのピクチャの各グループに対して、サブステップＥ１０１は、その時間周波数が初期の構成に依存するピクチャのサブシーケンスを提供する。時間周波数は、入力サブシーケンスのピクチャグループのオリジナルの時間周波数と同一であり得る。その結果、サブステップＥ１０１の出力側のピクチャのサブシーケンスは、ピクチャの入力サブシーケンスと同一である。反対に、初期の構成に依拠する時間周波数は、上記オリジナルの周波数をＮで除したものに相当し得る（Ｎは、２以上の整数）。次いで、入力ストリームのＮ個のピクチャのうちの１つが抑制される。従って、サブステップＥ１０１の出力側のピクチャのサブシーケンスは、時間周波数をＮで除したものを有する。

【0030】

実施形態では、サブステップＥ１０１は、表示デバイスがユーザが着用する頭部装着型ディスプレイである場合は、表示デバイス及び／又はこのユーザ（彼／彼女の眼）が行った動きの測定値の分析（Ｅ１０５）から得られた情報を受信することができる。次いで、頭部装着型ディスプレイ着用者が経験する「動揺病」徴候を防ぐため、動き推定のための測定値を表すこの情報を使用して、時間周波数が適応され、それは、最先端技術の（すなわち、時間周波数に関して非動的な）手法によって生み出すことができる。好ましくは、入力サブシーケンスがかなりの動きを示す場合は、時間周波数は、その最大で維持され、サブステップＥ１０２で実施される空間分解能を低減することが有利である。それに対して、入力サブシーケンスがほとんど動きを示さない場合は、時間周波数の低減が有利であり、サブステップＥ１０２で実施される空間分解能は、ほとんど又は全く低減されない。

【0031】

次いで、初期の構成に応じて、入力サブシーケンスの少なくとも１つのピクチャグループのピクチャに空間フィルタリング（Ｅ１０２）が適用される。空間フィルタリングは、ピクチャの少なくとも１つの行又は少なくとも１つの列の要素の少なくとも１つの空間サブサンプリングを使用して行われる。この空間サブサンプリングは、初期の構成によって定義される、サブサンプリングピッチとも呼ばれる、ファクタのセットに依存する。１つの要素は、ピクチャの１つの画素又はピクチャの色成分の１つに対するこの画素の成分を表す。

【0032】

その代替として、以下の説明で考慮されるように、空間フィルタリングは、水平（水平フィルタ）及び垂直（垂直フィルタ）のそれぞれの２つの異なる方向に方向付けられたフィルタを使用した２つの逐次サブサンプリング動作に従って行われる（その順番に関係なく）。従って、ピクチャの列のサブサンプリングに次いで、行のサブサンプリングが逐次に行われる。その代替として、１つの行のサブサンプリングに次ぐ１つの列のサブサンプリング（又はその逆も同様）を交互に行うことができる。

【0033】

サブサンプリング動作の各々に対して、２つの異なる方向に方向付けられたフィルタを使用して、空間フィルタリングを２つのサブサンプリング動作に分解することにより、フィルタによって実施されるサンプリングファクタに従って、ピクチャ内において、異なる分解能のエリア又はパーティションを得ることができる。垂直又は水平フィルタを使用してサブサンプリング動作を行うように適応させたプログラマブル回路における電子処理の実施は、単純であるが、ほとんどメモリを必要とせず、処理レイテンシを制限する。サンプリングファクタによって取られる値を最終的に適応させることにより、ピクチャの対象のエリアに依存する、各々がそれら自体の空間分解能を有する、非常に正確なパターンを得ることができる。例えば、表示されるピクチャエリアが眼窩に近いほど、空間分解能は高くなる。言い換えれば、パターン作成は、ピクチャの異なるエリアに応じて異なるサブサンプリングファクタを適用することができ、これらのエリアは、それらの空間座標を使用して、初期の構成において定義することができる。

【0034】

図４及び５は、サブサンプリングピッチ又はファクタ及び各サブサンプリングピッチ値と関係する画素サブセットの２つの異なる構成に従ってサブサンプリングされた２つのピクチャをそれぞれ示す。

【0035】

各正方形は、ピクチャの要素のグループに相当する。図４のパターン（水平ストリップ）は、垂直フィルタを使用して適用された異なるサンプリングピッチ値のセットを使用した単一のサブサンプリングから得られる。図５のパターンは、垂直フィルタを使用して適用された異なるサンプリングピッチ値の第１のセットを使用した第１のサブサンプリングの適用に次いで、水平フィルタを使用して適用された異なるサンプリングピッチ値の第２のセットを使用した第２のサブサンプリングの適用から得られる。第１のサブサンプリング動作と第２のサブサンプリング動作の適用順番は、逆にすることができる。長方形のパターンは、適用されたサンプリングピッチの値及び各サンプリングピッチと関係する画素の数に応じて得られる。パターンの長方形の色調が薄いほど、ピクチャの対応するエリアの空間分解能は高くなる。反対に、色調が濃いほど、ピクチャの対応するエリアの空間分解能は低減する。

【0036】

図６及び７は、第１及び第２の空間サブサンプリング動作をそれぞれ解説する。

【0037】

図６は、処理予定のピクチャ又はピクチャ部分ＩＭＡ１を概略的に示す。ピクチャの行は、Ｌ個の連続水平ストリップＢＤ１、ＢＤ２、ＢＤ３、ＢＤ４、ＢＤ５に整理される。より一般的には、Ｌは、正の整数である。例えば、各水平ストリップは、空間サブサンプリングを行うために使用されるフィルタの構成に依存する行の数を含む（例えば、８つのライン）。

【0038】

次いで、垂直フィルタＦＬＶを使用して、サブサンプリングピッチの第１のセットＥＮＳ１がピクチャＩＭＡ１に適用される。この第１のセットＥＮＳ１は、この例では、次のサブサンプリングファクタ値、すなわち、｛１／３，１／２，１，１／２，１／３｝を含む。従って、第１のＢＤ１及び第５のＢＤ５の水平ストリップに属する行の場合、垂直方向において３つの連続画素のうちの１つの画素のみが維持される。第２のＢＤ２及び第４のＢＤ４の水平ストリップに属する行の場合、垂直方向において２つの連続画素のうちの１つの画素のみが維持される。最後に、第３の水平ストリップＢＤ３の場合、すべての画素が維持される。

【0039】

サブサンプリング動作の終了時に維持される各画素の値は、公知の双一次若しくは双三次アルゴリズム方法を使用して又は当業者に周知のランチョス法のおかげで、補間することができる。その代替として、維持される画素の値は、そのオリジナルの値に等しいものであり得る。

【0040】

水平ストリップのセットがサブサンプリングされた時点で、結果として得られるサブサンプリング済みのピクチャＩＭＡＦ１が得られ、示されるストリップが濃いほど（ハッチングが最も密である）、残りの画素の数が多くなる。

【0041】

図７は、処理予定のピクチャ又はピクチャ部分ＩＭＡ２を概略的に示す。ピクチャの列は、Ｍ個の連続垂直ストリップＢＤ６、ＢＤ７、ＢＤ８、ＢＤ９、ＢＤ１０、ＢＤ１１、ＢＤ１２、ＢＤ１３、ＢＤ１４に整理される。より一般的には、Ｍは、正の整数である。例えば、各垂直ストリップは、空間サブサンプリングを行うために使用されるフィルタの構成に依存する列の数を含む（例えば、８つの列）。

【0042】

次いで、水平フィルタＦＬＨを使用して、サブサンプリングピッチの第２のセットＥＮＳ２がピクチャＩＭＡ２に適用される。この第２のセットＥＮＳ２は、この例では、次のサブサンプリングファクタ値、すなわち、｛１／８，１／２，１，１／２，１／８，１／２，１，１／２，１／８｝を含む。従って、第１のＢＤ６、第５のＢＤ１０及び最後のＢＤ１４の垂直ストリップに属する列の場合、水平方向において８つの連続画素のうちの１つの画素のみが維持される。第２のＢＤ７、第４のＢＤ９、第６のＢＤ１１及び第８のＢＤ１３の垂直ストリップに属する列の場合、水平方向において２つの連続画素のうちの１つの画素のみが維持される。最後に、第３のＢＤ８及び第７のＢＤ１２の垂直ストリップの場合、水平方向においてすべての画素が維持される。

【0043】

前の図で説明されるサブサンプリングと同じ方法で、サブサンプリング動作の終了時に維持される各画素の値は、公知の双一次若しくは双三次アルゴリズム方法を使用して又は当業者に周知のランチョス法のおかげで、補間することができる。その代替として、維持される画素の値は、そのオリジナルの値に等しいものであり得る。

【0044】

サブサンプリングが行われた時点で、結果として得られるサブサンプリング済みのピクチャＩＭＡＦ２が得られ、示されるストリップが濃いほど（ハッチングが最も密である）、残りの画素の数が多くなる。

【0045】

第１及び第２のサブサンプリング動作は、いかなる順番でも、逐次に適用することができる。最初に水平ストリップのサブサンプリングが適用される場合は、出力ピクチャＩＭＡ１Ｆは、垂直ストリップの第２のサブサンプリングのサブサンプリング予定のピクチャＩＭＡ２に相当する。

【0046】

図８は、２回サンプリングされたピクチャ全体の不均一な分解能を表現したパターンを概略的に示し、このパターンは、図６及び７に示される２つの空間サブサンプリング動作の逐次適用の終了時に描かれたものである。

【0047】

２回サブサンプリングされたピクチャＩＭＡＦの各部分又はタイルの空間分解能は、考慮されるタイルを含むストリップに適用されるサブサンプリングファクタ値に依存する。最後に、均一な空間分解能Ｒｉの８つの異なる値は、Ｒ０＜Ｒ１＜Ｒ２＜Ｒ３＜Ｒ４＜Ｒ５＜Ｒ６＜Ｒ７となるように、ピクチャＩＭＡＦ内に共存する。２つの異なる方向における二重のサブサンプリングにより、空間分解能の複雑なパターンを得ることができ、空間分解能がＲ７（最も薄いエリア）に等しい際に、ピクチャの特定の場所における最大分解能の保存が可能になる。その上、ピクチャの特定の場所における空間分解能の低減の制御により、送信されるデータの量の低減が可能になる。

【0048】

例えば、図８のパターンは、図２に示されるような頭部装着型ディスプレイとディスプレイ構成が関連付けられる際に実施され得る。最大空間分解能Ｒ７は、中心円の前方に位置するエリアに対応する。

【0049】

実施形態によれば、ピクチャグループの時間周波数値が高いほど、空間分解能値は低くなる。例えば、前処理ステップを実施する前処理手段は、ステップＥ１０１において実施された時間周波数値とステップＥ１０２において適用されたサブサンプリングピッチのセットとの対応表を格納することができる。対応表は、後者がサブサンプリングされた（例えば、オリジナルのピクチャに関して正の整数Ｐで除した）時点で、ピクチャの全分解能の中間値を格納することができる。完全なピクチャが全分解能の中間値によって平均的にサブサンプリングされるように、ピクチャの全分解能の中間値は、サブサンプリングピッチの１つ又は複数のセットに対応する。

【0050】

例えば、初期の構成は、指示として、送信できるデータの量を含み得、この指示は、以下の通り表現することができる。
－ 初期のデータ量の全体的な低減率ＲＥＤ（ＲＥＤは、整数又は正の１０進数値として表現することができる）
－ 許容時間サブサンプリングレートＴＥＭＰ（このレートは、処理をより簡単にするために正の整数値を取ることができ、この制約は、技術環境によってより複雑な処理が可能になる場合は、解除することができる）

【0051】

次いで、次の公式、すなわち、ＳＰＡＴ＝ＲＥＤ／ＴＥＭＰから、空間サブサンプリングレートＳＰＡＴが得られる。後者は、整数か否かにかかわらず、正の値を取ることができる。

【0052】

例えば、全体的な低減率ＲＥＤが４に等しい場合、
－ ＴＥＭＰ＝４であれば、ＳＰＡＴ＝１であり、
－ ＴＥＭＰ＝３であれば、ＳＰＡＴ＝４／３であり、
－ ＴＥＭＰ＝２であれば、ＳＰＡＴ＝２であり、
－ ＴＥＭＰ＝１であれば、ＳＰＡＴ＝４である。

【0053】

サブサンプリングピッチのセットは、例えば、ＳＰＡＴによって取られる値に応じて初期の構成によって定義される、ルックアップテーブルを使用して得られる。

【0054】

再び図３を参照する。任意選択により、ピクチャグループのピクチャに対して、ピクチャ分割Ｅ１０３のサブステップが実施される。このステップは、符号化ステップＥ２に先行する。このステップは、ピクチャグループの各ピクチャをｋ個のサブピクチャ（ｋは、正の整数である）に分解することを目的とする。例えば、ｋ＝２の場合、各ピクチャは、二等分される。より一般的には、サブステップＥ１０１の出力側のピクチャグループの時間周波数が、オリジナルの周波数をＮで除したものに等しい場合は、サブステップＥ１０３において、各ピクチャは、Ｎ個のサブピクチャに分割される。入力サブシーケンスのすべてのピクチャが処理されると、それらは、処理のために発行される（Ｅ１０４）。

【0055】

従って、サブステップＥ１０４の出力側では、処理済みのピクチャのグループは、符号化予定の出力サブシーケンスを形成し、この出力サブシーケンスは、サブステップＥ１０３の間のサブピクチャへのピクチャの分解により、むしろ低い空間分解能（値は、平均的に全分解能の中間値に等しい）及びオリジナルの時間周波数に等しい時間周波数を有する。オリジナルの時間周波数の保存により、前処理は、固定入力周波数で動作するエンコーダを使用して実施される符号化と適合するようになる。

【0056】

本発明は、本出願人等の名の下で、国際公開第２０２０／０２５５１０号パンフレットの提案と組み合わせることができる。その場合、サブステップＥ１０１とＥ１０３のみを実施することもできる。この場合、組合せから生じる方法により、分解能の変化が生じることも、視覚的品質の主観的な損失が生じることもなく、データ量を２（Ｎ＝２の場合）で除することが可能になるであろう。従って、上記組合せから生じる方法（及び対応するデバイス）は、３つの代替法を提供し、その代替法に従って、Ｎ＝２の場合は２～４の間で変化する低減ファクタを用いて、送信するデータの量を低減することが可能になる。時間周波数のみが低減するか、空間分解能のみが劣化するか、空間分解能と時間周波数の両方が低減するかのいずれかである。

【0057】

従って、ステップＥ２の符号化は、固定分解能（最も低い空間分解能、例えば、図８のＲ０）及び高い時間周波数（オリジナルの時間周波数）で動作する低レイテンシ標準コーデックを使用して行うことができる。本発明による行及び／又は列サブサンプリング動作を実施する電子回路は、小型化することができる。その上、標準コーデックとの互換性を有することにより、重量を著しく増やすことなく、電子回路を頭部装着型ディスプレイに組み込むことができる（例えば、ＨＴＣ ｃｏｍｐａｎｙの頭部装着型ディスプレイＶＩＶＥ（商標））。

【0058】

次いで、例えば、無線送信チャネル（非限定的な例）を介して、符号化済みの出力サブシーケンスの各々が送信される（ステップＥ３）。例えば、出力サブシーケンスは、一部の頭部装着型ディスプレイ着用者に関与する仮想現実アプリケーションのフレームワークの範囲内の一部のユーザ向けであり得る。その結果、無線送信チャネルは、マルチユーザである。例えば、ＷｉＧｉｇ ６０ＧＨｚのＷｉ－Ｆｉ無線ネットワークプロトコルを使用して送信することができる（帯域幅は、７Ｇｂｐｓ程度である）。その代替として、６００Ｍｂｐｓの帯域幅を提供するＷｉ－Ｆｉ ５プロトコルを使用することができる。

【0059】

各出力サブシーケンスの受信及び復号が行われる（ステップＥ４）。実施される復号は、ステップＥ２で実施される符号化のものに依存する。次いで、後処理ステップＥ５が行われる。このステップは、後処理構成を得るサブステップＥ５００を含む。このサブステップについては、以下で図１０を参照してさらに詳細に説明する。

【0060】

次いで、前処理Ｅ１の間にピクチャ分割サブステップＥ１０３が実施されている事例では、ステップＥ５は、ピクチャ再構築サブステップＥ５０１を含む。ステップＥ１０３の間に各ピクチャが二等分されている場合は、受信及び復号が行われた出力サブシーケンスの２つの連続ピクチャを適切に並置することによって、新しい再構築されたピクチャの各々が得られる。ピクチャが再構築された時点で、オーバーサンプリングサブステップＥ５０２により、再構築されたピクチャの空間分解能の増加が可能になる。オーバーサンプリングは、サブサンプリングと同じ方向で、オーバーサンプリングピッチ値の逆数を有するオーバーサンプリングピッチのセットを使用して行われる。オーバーサンプリングにリンクされた新しい画素の各々の値は、例えば、公知の双一次若しくは双三次アルゴリズム方法を使用して又は当業者に周知のランチョス法のおかげで、補間することができる。オーバーサンプリングサブステップＥ５０２の終了時には、再構築されたピクチャの空間分解能は、サブサンプリングステップＥ１０２の前の入力サブシーケンスのピクチャの空間分解能に等しい。最後に、時間周波数低減のサブステップＥ１０１が前処理として実施される場合は、後処理は、入力サブシーケンスのオリジナルの周波数を回復するサブステップＥ５０３を含む。その目的のため、出力サブシーケンスの時間周波数が、入力サブシーケンスの時間周波数をＮで除したものに相当する場合は、サブステップＥ５０２からの各ピクチャは、入力サブシーケンスの時間周波数を回復するように、Ｎ回繰り返される。従って、入力サブシーケンスのものに等しい最大空間分解能及び時間周波数を有する、復号及び後処理が行われたピクチャのサブシーケンスが、入力としてディスプレイに提供される（ステップＥ６）。

【0061】

第１の実施形態によれば、時間及び空間フィルタは両方とも、前処理及び後処理のために、事前に定義され、格納される。次いで、ルックアップテーブルは、構成を時間及び／又は空間フィルタの選択に関連付ける。第２の実施形態によれば、前処理の時点における空間及び／又は時間フィルタの識別は、後処理を実施するデバイスに送信される専用メタデータの生成及び送信とカップリングされる。図９は、第２の実施形態を示す。サブステップＥ１００は、それ自体がいくつかのサブステップに分解される。これらのサブステップの第１のサブステップＥ１０００は、初期の構成及びこの初期の構成と関連付けられたパラメータ（例えば、頭部装着型ディスプレイの光学機器に関連する構成）を得ることを含む。Ｔ１００１において、初期の構成と関連付けられ易いフィルタが事前に定義されていない（例えば、以前に格納されていない）場合（この事例では、矢印「Ｎ」）は、処理予定のピクチャグループが読み取られ（Ｅ１００２）、次いで、分析される（Ｅ１００３）。分析は、例えば、エッジ検出、運動推定（例えば、運動センサによって行われる測定による）、画素値のヒストグラムの決定を用いた、ピクチャ（又はピクチャグループの中の参照ピクチャ）のコンテンツの分析を含み得る。この分析は、予備学習（「機械学習」）に基づくアルゴリズムを使用して実施することができる。また、分析ステップＥ１００３は、ユーザが着用する頭部装着型ディスプレイの動きなどの外部情報の分析又はピクチャの補足情報（例えば、深度情報）の分析も含み得る。分析の終了時には、例えば、コンテンツ分析の結果と時間及び／又は空間フィルタとの対応表を使用して、フィルタリングステップを行うための最適なフィルタの識別及び選択が行われる（Ｅ１００４）。既定の視覚的に許容可能な最低品質に対して選択されたフィルタの設定の任意選択のチェック（Ｅ１００５）を実施することができる。この最低品質基準が満たされない場合は、時間及び／又は空間フィルタの更新を実施することができる。

【0062】

Ｔ１００１において、この構成と関連付けられ易いフィルタが事前に定義されている場合（矢印「Ｙ」）は、これらの後者が生成される（Ｅ１００６）。次いで、処理予定のピクチャグループのピクチャが読み取られ（Ｅ１００７）、それらのコンテンツが分析される（Ｅ１００８）。分析結果に応じて、フィルタパラメータ更新が可能であるかどうかをチェックするためのテストＴ１００９が実施される。これに該当しない場合（矢印「Ｎ」）は、生成されたフィルタを用いてフィルタリング動作Ｅ１０１、Ｅ１０２及びＥ１０３が実施される。更新が可能である場合（矢印「Ｙ」）は、選択されたフィルタを用いたフィルタリングから生じることになるピクチャの品質が十分であるか否か（例えば、既定の視覚的に許容可能な最低品質に対して）をチェックするためのテストＴ１０１０が実施される。品質が十分でない場合（矢印「Ｙ」）は、例えば、コンテンツ分析の結果と時間及び／又は空間フィルタとの対応表を使用して、視覚的に許容可能な最低品質に対する最適なフィルタの識別及び選択が行われる（Ｅ１００４）。次いで、この場合もやはり、任意選択のチェック（Ｅ１００５）を実施することができる。品質が十分でない場合（Ｔ１０１０、矢印「Ｎ」）は、生成されたフィルタを用いてフィルタリング動作Ｅ１０１、Ｅ１０２及びＥ１０３が実施される。

【0063】

示されていない別の代替の実施形態によれば、サブサブステップＥ１００４、Ｅ１００５、Ｅ１００７、Ｅ１００８及びテストＴ１００９、Ｔ１０１０は実施されない。フィルタリング動作Ｅ１０１、Ｅ１０２及びＥ１０３に対して、生成されたフィルタ（Ｅ１００６）が直接使用される。

【0064】

実施形態では、サブステップＥ１０４は、メタデータの送信が可能か否かをチェックするためのテストＴ１０４１を行うことを含み得る。これに該当しない場合（矢印「Ｎ」）は、符号化のために、符号化予定の出力サブシーケンスが直接送信される（ステップＥ１０４３）。メタデータの送信が可能である場合（矢印「Ｙ」）は、イーサネット又は他の任意の手段を介して、ピクチャ補助データ（Ｅ１０４２）など、サブステップＥ１００の間に得られたメタデータを、一方では、１つ又は複数のフィルタリングサブステップＥ１０１、Ｅ１０２、Ｅ１０３を行うために直接送信し、他方では、後処理を実施するデバイスに直接送信することができ、メタデータは、それらが関連するピクチャと同期させても、同期させなくともよい。この後者の事例では、メタデータは、例えば、ＭＪＰＥＧ「モーションジョイントフォトグラフィックエキスパーツグループ」）などの映像に対して使用される送信プロトコルを補助するチャネルを介して送信される。メタデータは、選択されたフィルタ及びそれらのパラメータ（例えば、既定のリストからフィルタを指定する識別子を使用）、事前に定義されたフィルタの修正若しくは構成を可能にするパラメータ、又は、これらのフィルタの生成を可能にする特性のリストを使用してフィルタについて完全に説明するパラメータを表し得る。

【0065】

送信機と受信機との間のメタデータの交換は任意選択である。それは、後処理Ｅ５の間に、例えば、出力サブシーケンスの映像フォーマットから、構成を直接得ることができる場合は特に、省略することができる。

【0066】

最後に、テストＴ１０４４は、新しい入力サブシーケンスが利用可能かどうかをチェックする。これに該当する場合（矢印「Ｙ」）は、新しい入力サブシーケンスが読み取られる（Ｅ１００７）。該当しない場合（矢印「Ｎ」）は、符号化ステップＥ２が実施される。

【0067】

図１０は、後処理Ｅ５の実施形態を示す。サブステップＥ５００は、以前に、例えば、メモリに格納された、初期の構成を読み取ること（Ｅ５００１）を含む。この初期の構成は、例えば、頭部装着型ディスプレイに相当し得る。テストＴ５００２は、この初期の構成によって各出力サブシーケンスに対して適切なフィルタを得ることが可能かどうか、又は、得られた構成に対応するフィルタが出力サブシーケンスのセットに有効かどうかをチェックする。各出力サブシーケンスに対してフィルタの更新が可能である場合（矢印「Ｙ」）は、空間及び／又は時間フィルタの構成が得られる（Ｅ５００３）（例えば、垂直方向に次ぐ水平方向における２つの逐次空間サブサンプリング動作）。次いで、対応するフィルタが生成される（Ｅ５００４）。次いで、後処理を行う予定の出力サブシーケンスが読み取られる（Ｅ５００５）。各出力サブシーケンスに対してフィルタの更新が可能でない場合（矢印「Ｎ」）は、後処理方法は、後処理を行う予定の出力サブシーケンスを読み取るステップ（Ｅ５００５）に直接進む。

【0068】

次いで、後処理は、考慮される出力サブシーケンスに対応するメタデータが受信されているか否かをチェックすること（Ｔ５００６）を含む。メタデータが受信されている場合（矢印「Ｙ」）は、ステップＥ５００７の間に、得られたフィルタがパラメータ化される（サンプリングピッチ、時間フィルタリング周波数．．．）。次いで、異なるフィルタリング動作Ｅ５０１、Ｅ５０２及びＥ５０３が出力サブシーケンスに適用される。後処理に対して新しい出力サブシーケンスが利用可能である場合（テストＴ５０４の矢印「Ｙ」）は、再び方法が繰り返される。そうでなければ（矢印「Ｎ」）、後処理が終了する。

【0069】

図１１は、本発明による符号化デバイスＤＣに組み込まれた前処理手段の実施形態を概略的に示す。デバイスは、ピクチャグループごとに、ソース映像ＳＶＤからピクチャを読み取るように適応させた読み取り手段ＭＬＣ１を含む。読み取られたピクチャは、最適な前処理を識別するための手段ＭＩＤ１に送信される。信号伝達手段ＭＳＧＡは、最適な前処理について記載するメタデータが後処理デバイスに送信されない場合は、最適な前処理について記載するか又はこの最適な前処理の識別子を含むメタデータＭＴＤＡの生成に適している。生成手段ＭＧＮＦ１は、手段ＭＩＤ１によって識別された前処理に従って及びメモリＭＥＭに格納された初期の構成に応じてパラメータ化されたフィルタを生成するように適応される。この実施形態では、デバイスＤＰＲＴは、生成されたフィルタのフィルタリングパラメータについて記載するメタデータＭＴＤＢを生成するように適応させた手段を含む。

【0070】

また、前処理手段は、手段ＭＧＮＦによって生成されたフィルタに応じてソース映像ＳＶＤのピクチャをフィルタリングするように適応させた、時間フィルタリングのための手段ＭＦＴ１、空間サブサンプリングのための手段ＭＦＳ１及びピクチャ分解のための手段ＭＤ１も含む。前処理済みのピクチャＩＭＰＲは、デコーダ及び後処理デバイスに結合された表示デバイスにメタデータＭＴＤＡ及びＭＴＤＢと共に送信される出力サブシーケンスを形成する。

【0071】

図１２は、本発明による復号デバイスＤＤＥＣに属する後処理手段の実施形態を概略的に示す。読み取り手段ＭＬＣ２は、連続出力サブシーケンスの前処理済みのピクチャＩＭＰＲを読み取るように構成される。これらの手段ＭＬＣ２は、例えば、適用される前処理について記載するメタデータ（例えば、リストとして付属メモリ（簡単にするため、図示せず）に格納されたもの）と読み取るピクチャの各々を整合させるために前処理済みのピクチャと同時に送信された前処理識別子ＭＴＤＡを使用して、ピクチャの読み取りを実施することができる。各前処理は、この識別子のおかげで識別可能である。例えば、リストは、ピクチャに存在する場面を分析するための手段（図示せず）によって提供される結果に応じて変化し得る。次いで、識別手段ＭＩＤ２は、上記で言及される識別子ＭＴＤＡを使用して、出力サブシーケンスのピクチャに適用される後処理フィルタリング動作を決定するように適応される。識別手段ＭＩＤ２は、識別された後処理の実施のためのフィルタの選択及びパラメータ化を行うように適応される。生成手段ＭＧＮＦ２は、前処理済みのピクチャと同時に送信されたメタデータＭＴＤＢを使用して、後処理に適したフィルタを生成するように構成される。生成手段ＭＧＮＦ２は、上記で説明されるような構成を格納するように適応させたメモリＭＥＭ２に結合される。

【0072】

後処理手段は、手段ＭＩＤ２によって識別された後処理に応じて読み取り手段ＭＬＣ２によって読み取られたピクチャ及び手段ＭＧＮＦ２によって生成されたパラメータをフィルタリングするように適応させた、時間フィルタリングのための手段ＭＦＴ２、空間オーバーサンプリングのための手段ＭＦＳ２及びピクチャ再構築のための手段ＭＤ２をさらに含む。ソース映像ＭＴＤＣのフォーマットに再構築されたピクチャが出力として提供される。

【0073】

図１３は、図３、９及び１０を参照して説明されるように、前処理又は後処理方法を実施するように適応させた電子回路ＣＩＲを概略的に示す。回路は、具体的には、第１の空間フィルタリング手段ＭＦＩＬ１によって実施される時間フィルタリング動作と、第２の時間フィルタリング手段ＭＦＩＬ２によって実施される空間サブ又はオーバーサンプリング動作及びピクチャ分解又は再構築とを駆動するように構成されたマイクロプロセッサμＰを含む。その上、マイクロプロセッサμＰは、上記で言及される処理メタデータの生成又は処理を行うように適応される（後処理において）。また、マイクロプロセッサμＰは、初期の構成及び場合により上記で言及されるルックアップテーブルを格納するように適応させたメモリＭＥＭにも結合される。マイクロプロセッサμＰ並びに空間ＭＦＩＬ１及び時間ＭＦＩＬ２フィルタリング手段は、例えば、エンコーダ又はデコーダなどの別のデバイスとの処理済みのデータ又は処理予定のデータの交換が可能な入力ＭＣＯＭＥ及び出力ＣＭＯＭＳ通信手段にそれぞれ結合される。例えば、入力通信手段ＭＣＯＭＳを通過するデータは、空間フィルタリング手段ＭＦＩＬ１に送信されるソース映像データのピクチャと、マイクロプロセッサμＰに提供されるフィルタリング手段のための構成パラメータとを含み得る。入力通信手段ＭＣＯＭＥを介して送信されるデータは、例えば、マイクロプロセッサμＰによって生成された処理メタデータと、空間及び時間サブサンプリング済みのピクチャとを含み得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】