特開 2024-102275 ビデオデコーダ、復号のための方法、ビデオエンコーダ、符号化のための方法、および非一時的なコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102275

(43)【公開日】2024-07-30

(54)【発明の名称】ビデオデコーダ、復号のための方法、ビデオエンコーダ、符号化のための方法、および非一時的なコンピュータ可読媒体

(51)【国際特許分類】

   H04N 19/70 20140101AFI20240723BHJP

   H04N 19/59 20140101ALI20240723BHJP

【ＦＩ】

H04N19/70

H04N19/59

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2024076511

(22)【出願日】2024-05-09

(62)【分割の表示】P 2022518776の分割

【原出願日】2020-09-24

(31)【優先権主張番号】19199304.7

(32)【優先日】2019-09-24

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】591037214

【氏名又は名称】フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】サンチェス デ ラ フエンテ ヤゴ

(72)【発明者】

【氏名】ズーリング カルステン

(72)【発明者】

【氏名】ヘルゲ コーネリアス

(72)【発明者】

【氏名】ツェル トーマス

(72)【発明者】

【氏名】スクピン ロベルト

(72)【発明者】

【氏名】ウィーガンド トーマス

(57)【要約】      （修正有）

【課題】サンプルアスペクト比（ＳＡＲ）をシグナリングするビデオデコーダ、復号方法、ビデオエンコーダ及び符号化方法を提供する。
【解決手段】ビデオデコーダ１５１は、符号化ピクチャデータおよびサンプルアスペクト比がビデオシーケンス内で変更可能であることを示す指示を備えるシーケンスパラメータセット（ＳＰＳ）を備える符号化ビデオ信号を受信する入力ステップと、ビデオシーケンスの複数のピクチャのうちの１つまたは複数の第１のグループのためのＳＡＲ値を備える符号化ビデオ信号内の、サプリメンタルエンハンスメント情報（ＳＥＩ）メッセージを受信するステップと、複数の復号化ピクチャを取得するために符号化ピクチャデータを復号するステップと、複数の復号化ピクチャおよび複数の復号化ピクチャのうちの１つまたは複数のためのサンプルアスペクト情報を出力するステップと、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

ビデオのビデオシーケンスの複数のピクチャを復号するために、符号化ピクチャデータを備える符号化ビデオ信号を復号するビデオデコーダであって、前記ビデオデコーダは：
少なくとも１つのメモリと、
前記少なくとも１つのメモリに通信可能に接続されている少なくとも１つのプロセッサと、
を備え、
前記少なくとも１つのプロセッサは、前記少なくとも１つのメモリから命令を読み出して、
符号化ピクチャデータ、および、サンプルアスペクト比（ＳＡＲ）が前記ビデオシーケンス内で変更可能であることを示す指示（indication）を備えるシーケンスパラメータセット（ＳＰＳ）を備える前記符号化ビデオ信号を受信するステップと、
前記符号化ビデオ信号内のサプリメンタルエンハンスメント情報（ＳＥＩ）メッセージであって、前記ビデオシーケンスの前記複数のピクチャのうちの１つまたは複数の第１のグループのためのＳＡＲ値を備える前記ＳＥＩメッセージを受信するステップと、
複数の復号化ピクチャを取得するために前記符号化ピクチャデータを復号するステップと、
前記複数の復号化ピクチャ、および、前記複数の復号化ピクチャのうちの１つまたは複数のためのサンプルアスペクト情報を出力するステップと、
を備える動作を実行するように構成されており、
前記複数の復号化ピクチャのうちの前記１つまたは複数のための前記サンプルアスペクト情報は、前記指示が、前記ＳＡＲ値が前記ビデオシーケンスに対して一定であること、または前記ビデオシーケンス内で変更可能であることを示すか否かに依存する、
ビデオデコーダ。

【請求項2】

前記ＳＰＳは、前記ＳＰＳがデフォルトＳＡＲ値を備えるか否かの情報を備える、
請求項１に記載のビデオデコーダ。

【請求項3】

前記動作は、前記符号化ビデオ信号内の第２のＳＥＩメッセージを受信するステップをさらに備え、
前記第２のＳＥＩメッセージは、前記ビデオシーケンスの前記複数のピクチャのうちの１つまたは複数の第２のグループのための第２のＳＡＲ値を備え、
前記第２のグループは、前記第１のグループと異なる、
請求項１に記載のビデオデコーダ。

【請求項4】

前記ビデオシーケンスの前記複数のピクチャのうちの前記１つまたは複数の前記第１のグループは、前記ＳＡＲ値を備えるＳＥＩメッセージが受信された後、および、前記第２のＳＡＲ値を備える第２のＳＥＩメッセージが受信される前に受信される符号化ピクチャデータ内で符号化される前記ビデオシーケンスの前記複数のピクチャのうちの前記１つまたは複数を備え、
前記ビデオシーケンスの前記複数のピクチャのうちの前記１つまたは複数の前記第２のグループは、前記第２のＳＡＲ値を備える前記第２のＳＥＩメッセージが受信された後に受信される前記符号化ピクチャデータ内で符号化される前記ビデオシーケンスの前記複数のピクチャのうちの前記１つまたは複数を備えている、
請求項３に記載のビデオデコーダ。

【請求項5】

ビデオのビデオシーケンスの複数のピクチャを復号するために、符号化ピクチャデータを備える符号化ビデオ信号を復号する方法であって、前記方法は：
符号化ピクチャデータ、および、サンプルアスペクト比（ＳＡＲ）が前記ビデオシーケンス内で変更可能であることを示す指示（indication）を備えるシーケンスパラメータセット（ＳＰＳ）を備える前記符号化ビデオ信号を受信するステップと、
前記符号化ビデオ信号内のサプリメンタルエンハンスメント情報（ＳＥＩ）メッセージであって、前記ビデオシーケンスの前記複数のピクチャのうちの１つまたは複数の第１のグループのためのＳＡＲ値を備える前記ＳＥＩメッセージを受信するステップと、
複数の復号化ピクチャを取得するために前記符号化ピクチャデータを復号するステップと、
前記複数の復号化ピクチャ、および、前記複数の復号化ピクチャのうちの１つまたは複数のためのサンプルアスペクト情報を出力するステップと、
を備え、
前記複数の復号化ピクチャのうちの前記１つまたは複数のための前記サンプルアスペクト情報は、前記指示が、前記ＳＡＲ値が前記ビデオシーケンスに対して一定であること、または前記ビデオシーケンス内で変更可能であることを示すか否かに依存する、
方法。

【請求項6】

前記ＳＰＳは、前記ＳＰＳがデフォルトＳＡＲ値を備えるか否かの情報を備える、
請求項５に記載の方法。

【請求項7】

前記符号化ビデオ信号内の第２のＳＥＩメッセージを受信するステップをさらに備え、
前記第２のＳＥＩメッセージは、前記ビデオシーケンスの前記複数のピクチャのうちの１つまたは複数の第２のグループのための第２のＳＡＲ値を備え、
前記第２のグループは、前記第１のグループと異なる、
請求項５に記載の方法。

【請求項8】

前記ビデオシーケンスの前記複数のピクチャのうちの前記１つまたは複数の前記第１のグループは、前記ＳＡＲ値を備えるＳＥＩメッセージが受信された後、および、前記第２のＳＡＲ値を備える第２のＳＥＩメッセージが受信される前に受信される符号化ピクチャデータ内で符号化される前記ビデオシーケンスの前記複数のピクチャのうちの前記１つまたは複数を備え、
前記ビデオシーケンスの前記複数のピクチャのうちの前記１つまたは複数の前記第２のグループは、前記第２のＳＡＲ値を備える前記第２のＳＥＩメッセージが受信された後に受信される前記符号化ピクチャデータ内で符号化される前記ビデオシーケンスの前記複数のピクチャのうちの前記１つまたは複数を備えている、
請求項７に記載の方法。

【請求項9】

実行時において、請求項５に記載の方法を実行する命令を備える、
非一時的なコンピュータ可読媒体。

【請求項10】

ビデオのビデオシーケンスの複数のピクチャを符号化するビデオエンコーダであって、前記ビデオエンコーダは、
少なくとも１つのメモリと、
前記少なくとも１つのメモリに通信可能に接続されている少なくとも１つのプロセッサと、
を備え、
前記少なくとも１つのプロセッサは、前記少なくとも１つのメモリから命令を読み出して、
前記ビデオシーケンスの前記複数のピクチャを符号化ピクチャデータに符号化するステップと、
サンプルアスペクト比（ＳＡＲ）が前記ビデオシーケンス内で変更可能であることを示す指示（indication）を備えるシーケンスパラメータセット（ＳＰＳ）を生成するステップと、
前記ビデオシーケンスの前記複数のピクチャのうちの１つまたは複数の第１のグループのためのＳＡＲ値を備えるサプリメンタルエンハンスメント情報（ＳＥＩ）メッセージを生成するステップと、
符号化ビデオ信号が前記符号化ピクチャデータ、前記ＳＰＳ、および前記ＳＥＩメッセージを備えるように、前記符号化ビデオ信号を生成するステップと、
前記符号化ビデオ信号を出力するステップと、
を備える動作を実行するように構成されている、
ビデオエンコーダ。

【請求項11】

前記動作は、前記ＳＰＳがデフォルトＳＡＲ値を備えるか否かの情報を前記ＳＰＳが備えるように前記ＳＰＳを生成するステップをさらに備える、
請求項１０に記載のビデオエンコーダ。

【請求項12】

前記動作は、前記ビデオシーケンスの前記複数のピクチャのうちの１つまたは複数の第２のグループのための第２のＳＡＲ値を備える第２のＳＥＩメッセージを生成するステップをさらに備え、
前記第２のグループは、前記第１のグループと異なる、
請求項１０に記載のビデオエンコーダ。

【請求項13】

前記符号化ビデオ信号は：
前記ＳＰＳが前記ＳＥＩメッセージの前、
前記ＳＥＩメッセージが前記ビデオシーケンスの前記複数のピクチャの前記１つまたは複数の前記第１のグループの符号化の前、
前記ビデオシーケンスの前記複数のピクチャの前記１つまたは複数の前記第１のグループの前記符号化が前記第２のＳＥＩメッセージの前、
前記第２のＳＥＩメッセージが前記ビデオシーケンスの前記複数のピクチャの前記１つまたは複数の前記第２のグループの符号化の前、
となるように配置されている、
請求項１２に記載のビデオエンコーダ。

【請求項14】

ビデオのビデオシーケンスの複数のピクチャを符号化する方法であって、前記方法は：
前記ビデオシーケンスの前記複数のピクチャを符号化ピクチャデータに符号化するステップと、
サンプルアスペクト比（ＳＡＲ）が前記ビデオシーケンス内で変更可能であることを示す指示（indication）を備えるシーケンスパラメータセット（ＳＰＳ）を生成するステップと、
前記ビデオシーケンスの前記複数のピクチャのうちの１つまたは複数の第１のグループのためのＳＡＲ値を備えるサプリメンタルエンハンスメント情報（ＳＥＩ）メッセージを生成するステップと、
符号化ビデオ信号が前記符号化ピクチャデータ、前記ＳＰＳ、および前記ＳＥＩメッセージを備えるように、前記符号化ビデオ信号を生成するステップと、
前記符号化ビデオ信号を出力するステップと、
を備える、方法。

【請求項15】

前記ＳＰＳがデフォルトＳＡＲ値を備えるか否かの情報を前記ＳＰＳが備えるように前記ＳＰＳを生成するステップをさらに備える、
請求項１４に記載の方法。

【請求項16】

前記ビデオシーケンスの前記複数のピクチャのうちの１つまたは複数の第２のグループのための第２のＳＡＲ値を備える第２のＳＥＩメッセージを生成するステップをさらに備え、
前記第２のグループは、前記第１のグループと異なる、
請求項１４に記載の方法。

【請求項17】

前記符号化ビデオ信号は：
前記ＳＰＳが前記ＳＥＩメッセージの前、
前記ＳＥＩメッセージが前記ビデオシーケンスの前記複数のピクチャの前記１つまたは複数の前記第１のグループの符号化の前、
前記ビデオシーケンスの前記複数のピクチャの前記１つまたは複数の前記第１のグループの前記符号化が前記第２のＳＥＩメッセージの前、
前記第２のＳＥＩメッセージが前記ビデオシーケンスの前記複数のピクチャの前記１つまたは複数の前記第２のグループの符号化の前、
となるように配置されている、
請求項１６に記載の方法。

【請求項18】

実行時において、請求項１４に記載の方法を実行する命令を備える、
非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオデコーダ、復号のための方法、ビデオエンコーダ、符号化のための方法、および非一時的なコンピュータ可読媒体に関する。

【0002】

Ｈ．２６５／ＨＥＶＣ（ＨＥＶＣ＝High Efficiency Video Coding）は、エンコーダおよび／またはデコーダでの並列処理を向上させる、または可能にするためのツールをすでに提供しているビデオコーデックである。例えば、ＨＥＶＣは、互いに独立して符号化されるタイルのアレイへのピクチャの細分化（sub-division）をサポートする。ＨＥＶＣによってサポートされる別の概念はＷＰＰに関し、それによれば、ピクチャのＣＴＵ行またはＣＴＵラインは、連続するＣＴＵラインの処理において、いくつかの最小ＣＴＵオフセットに従うという条件で、例えばストライプで、左から右に並列に処理されてもよい（ＣＴＵ＝coding tree unit）。しかしながら、ビデオエンコーダおよび／またはビデオデコーダの並列処理能力をさらに効率的にサポートするビデオコーデックを近くに有することが好ましい。

【0003】

以下では、最新技術によるＶＣＬパーティショニングについて説明する（ＶＣＬ＝video coding layer）。

【0004】

通常、ビデオ符号化ではピクチャサンプルの符号化プロセスがより小さなパーティションを必要とし、サンプルは予測符号化または変換符号化などの結合処理のためにいくつかの矩形領域に分割される。従って、ピクチャは、ビデオシーケンスの符号化中に一定である特定のサイズのブロックに分割される。Ｈ．２６４／ＡＶＣでは、１６×１６サンプルの標準固定サイズブロック、いわゆるマクロブロックが使用される（ＡＶＣ＝Advanced Video Coding）。

【0005】

最新のＨＥＶＣ規格（ISO/IEC, ITU-T. High efficiency video coding. ITU-T Recommendation H.265 | ISO/IEC 23008 10 (HEVC), edition 1, 2013; edition 2, 2014.を参照）では、最大サイズ６４×６４サンプルの符号化ツリーブロック（ＣＴＢ）または符号化ツリーユニット（ＣＴＵ）がある。ＨＥＶＣのさらなる説明では、そのような種類のブロックについて、より一般的な用語ＣＴＵが使用される。

【0006】

ＣＴＵは、左上のＣＴＵから開始してラスタスキャン順序で処理され、ピクチャライン単位で右下のＣＴＵまで下がってＣＴＵを処理する。

【0007】

符号化されたＣＴＵデータは、スライスと呼ばれる一種のコンテナに編成される。元来、以前のビデオ符号化規格では、スライスがピクチャの１つまたは複数の連続するＣＴＵを備える区分を意味する。スライスは、符号化されたデータのセグメンテーションのために使用される。別の観点から、完全なピクチャは１つの大きなセグメントとして定義することもでき、従って、歴史的には、スライスという用語が依然として適用される。符号化ピクチャサンプルの他に、スライスは、いわゆるスライスヘッダに入れられるスライス自体の符号化プロセスに関連する追加情報も備える。

【0008】

最新技術によれば、ＶＣＬ（ビデオ符号化レイヤ（video coding layer））はまた、フラグメンテーションおよび空間分割のための技法を備える。このような分割は、例えば、様々な理由のためにビデオ符号化に適用することができ、その中には、並列化における処理負荷バランシング、ネットワーク伝送におけるＣＴＵサイズマッチング、エラー軽減などがある。

【0009】

他の例は、ＲｏＩ（ＲｏＩ＝関心領域（Region of Interest））符号化に関連し、この符号化では、例えば、視聴者がズームイン操作（ＲｏＩのみの復号化）で選択することができるピクチャの中央の領域、またはイントラデータ（典型的にはビデオシーケンスの１つのフレームに入れられる）が例えば、ピクチャ平面上をスワイプし、ピクチャ平面全体についてイントラピクチャが行うのと同じ様式で時間予測チェーンを局所的にリセットするイントラブロックの列として、いくつかの連続するフレームにわたって時間的に分配される漸進的デコーダリフレッシュ（gradual decoder refresh）（ＧＤＲ）が存在する。後者の場合、２つの領域が各ピクチャに存在し、１つは最近リセットされ、１つはエラーおよびエラー伝播によって潜在的に影響される。

【0010】

参照ピクチャリサンプリング（Reference Picture Resampling）（ＲＰＲ）は、粗い量子化パラメータを使用するだけでなく、潜在的に各送信ピクチャの解像度を適応させることによって、ビデオの品質／レートを適応させるためにビデオ符号化で使用される技術である。従って、インター予測に使用される参照は、符号化のために現在予測されているピクチャとは異なるサイズを有することがある。基本的に、ＲＰＲは予測ループにおけるリサンプリングプロセス、例えば、定義されるアップサンプリングフィルタおよびダウンサンプリングフィルタを必要とする。

【0011】

フレーバに応じて、ＲＰＲは任意のピクチャにおける符号化ピクチャサイズの変更をもたらすことができ、または、例えば、セグメント境界に境界を定められた特定の位置においてのみ、適応ＨＴＴＰストリーミングのように、特定のピクチャにおいてのみ発生するように制限されうる。

【発明の概要】

【0012】

本発明の目的は、ビデオ符号化およびビデオ復号化のための改善された概念を提供することである。

【0013】

本発明の目的は、独立請求項の主題によって解決される。

【0014】

好ましい実施形態は、従属請求項において提供される。

【図面の簡単な説明】

【0015】

以下、図面を参照して本発明の実施形態を詳細に説明する：

【0016】

【図1】一実施形態によるビデオエンコーダを示す。

【図2】一実施形態によるビデオデコーダを示す。

【図3】一実施形態によるシステムを示す。

【図4】関心領域（ＲｏＩ）スケーラビリティ対拡張スケーラビリティを示す。

【図5a】時間の経過に伴ってピクチャ内で移動するコンテンツ断片（グレー）の第１の例を示す。

【図5b】時間の経過に伴ってピクチャ内で移動するコンテンツ断片（グレー）の第２の例を示す。

【図6a】混合参照ピクチャを有する現在のピクチャを示す。

【図6b】参照ピクチャのクロッピングウィンドウを無視する例を示す。

【図7】ビデオエンコーダを示す。

【図8】ビデオデコーダを示す。

【図9】一方では再構成された信号、例えば再構成されたピクチャと、一方ではデータストリームにおいてシグナル化されたような予測残差信号と、予測信号との組み合わせとの間の関係を示す。

【発明を実施するための形態】

【0017】

以下の図面の説明は、本発明の実施形態を組み込むことができる符号化フレームワークの例を形成するために、ビデオのピクチャを符号化するためのブロックベース予測コーデックのエンコーダおよびデコーダの説明から始まる。それぞれのエンコーダおよびデコーダは、図７から図９に関して説明される。その後、本発明の概念の実施形態の説明を、図７および図８のエンコーダおよびデコーダにそのような概念をそれぞれ組み込む方法についの説明とともに示す。ただし、図１から図３および以下で説明した実施形態は、図７および図８のエンコーダおよびデコーダの基礎となる符号化フレームワークに従って動作しないエンコーダおよびデコーダを形成するためにも使用されてもよい。

【0018】

図７は、ビデオエンコーダ、典型的には変換ベースの残差符号化（residual coding）を使用して、ピクチャ１２をデータストリーム１４に予測符号化するための装置を示す。装置、すなわちエンコーダは、参照符号１０を用いて示される。図８は、対応するビデオデコーダ２０、例えば、変換ベースの残差復号化（residual decoding）も用いてデータストリーム１４からピクチャ１２’を予測的に復号化するように構成された装置２０を示し、ここで、アポストロフィーは、デコーダ２０によって再構成されたピクチャ１２’が予測残差信号の量子化によって導入された符号化損失に関して、装置１０によって元々エンコードされたピクチャ１２から逸脱することを示すために使用されている。図７および図８は、例示的に、変換ベースの予測残差符号化を使用するが、本出願の実施形態はこの種の予測残差符号化に限定されない。これは、以下に概説されるように、図７および図８に関して説明される他の詳細についても当てはまる。

【0019】

エンコーダ１０は、予測残差信号を空間スペクトル変換に掛け、このようにして得られた予測残差信号をデータストリーム１４に符号化するように構成される。同様に、デコーダ２０は、データストリーム１４からの予測残差信号を復号化し、このようにして得られた予測残差信号をスペクトル空間変換に掛けるように構成される。

【0020】

内部的には、エンコーダ１０が予測残差２４を生成する予測残差信号形成器（prediction residual signal former）２２を備えてもよく、これにより、オリジナルの信号から、例えばピクチャ１２からの予測信号２６の偏差を測定することができる。予測残差信号形成器２２は、オリジナルの信号から、例えばピクチャ１２からの予測信号を減算する減算器であってもよい。そして、エンコーダ１０は、予測残差信号２４を空間スペクトル変換に掛けてスペクトル領域予測残差信号２４’を得る変換器（transformer）２８をさらに備え、この残差信号は、エンコーダ１０によっても構成される量子化器（quantizer）３２によって量子化される。このように、定量化された予測残差信号２４はビットストリーム１４に符号化されているが、エンコーダ１０は任意に、予測残差信号をエントロピー符号化によってデータストリームに変換および量子化したエントロピーコーダ３４を構成し、予測信号２６は、エンコーダ１０の予測ステージ３６によって、データストリーム１４に符号化され、またはデータストリーム１４から復号化可能である予測残差信号２４に基づいて生成される。この目的のために、予測ステージ３６は、図７に示されるように、内部的に、量子化損失を除く信号２４’に対応するスペクトル領域予測残差信号２４’’’を得るように予測残差信号２４’’を逆量子化する逆量子化器（dequantizer）３８を備えてもよく、その後、逆変換器（inverse transformer）４０が後者の予測残差信号２４’’’を逆変換する、例えば、スペクトル－空間変換に掛けて、量子化損失を除くオリジナルの予測残差信号２４に対応する予測残差信号２４’’’’を取得する。そして、予測ステージ３６の結合器（combiner）４２が、例えば加算によって、予測信号２６と予測残差信号２４’’’’とを再結合して、再構成信号４６、オリジナルの信号、例えば、ピクチャ１２の再構成を取得することができる。再構成信号４６は信号１２’に対応してもよい。そして、予測ステージ３６の予測モジュール４４は、例えば空間予測、すなわちピクチャ内予測、および／または時間予測、すなわちピクチャ間予測を使用することによって、信号４６に基づいて予測信号２６を生成する。

【0021】

同様に、デコーダ２０は、図８に示されるように、予測ステージ３６に対応する構成要素から内部的に構成され、かつ、それに対応する方法で相互接続されてもよい。特に、デコーダ２０のエントロピーデコーダ５０は、データストリームから量子化されたスペクトル領域予測残差信号２４’’をエントロピー復号化することができ、そこで、逆量子化器５２、逆変換器５４、結合器５６および予測モジュール５８は、予測ステージ３６のモジュールに関して上述した方法で相互接続され、協働することにより、予測残差信号２４’’に基づいて再構成信号を回復し、それにより、図８に示すように、結合器５６の出力が再構成信号、すなわちピクチャ１２’を生じる。

【0022】

具体的に上述したわけではないが、エンコーダ１０は例えば、ある種のレートおよび歪み関連基準、例えば符号化コストを最適化する方法、例えば、ある種の最適化スキームに従って、例えば予測モード、運動パラメータ等を含むいくつかの符号化パラメータを設定してもよいことは容易に明らかである。例えば、エンコーダ１０およびデコーダ２０、ならびに対応するモジュール４４、５８は、それぞれ、イントラ符号化モードおよびインター符号化モードなどの異なる予測モードをサポートしてもよい。エンコーダおよびデコーダがこれらの予測モードタイプ間で切り替わる粒度（granularity）は、ピクチャ１２および１２’のそれぞれ符号化セグメントまたは符号化ブロックへの細分化に対応してもよい。これらの符号化セグメントの単位で、例えば、ピクチャは、イントラ符号化されるブロックとインター符号化されるブロックとに再分割されてもよい。イントラ符号化されたブロックは、以下でより詳細に概説されるように、それぞれのブロックの空間的な、すでに符号化／復号化された近傍（neighborhood）に基づいて予測される。いくつかのイントラ符号化モードが存在してもよく、それぞれのイントラ符号化モードは、それぞれの方向性イントラ符号化モードに特有のある方向に沿った近傍のサンプル値をそれぞれのイントラ符号化セグメントに外挿することによって、それぞれのセグメントが満たされる、方向性または角度イントラ符号化モードを含む、それぞれのイントラ符号化セグメントのために選択されてもよい。イントラ符号化モードはまた、例えば、それぞれのイントラ符号化されたブロックのための予測がそれぞれのイントラ符号化されたセグメント内のすべてのサンプルにＤＣ値を割り当てるＤＣ符号化モード、および／または、それぞれのブロックの予測が隣接するサンプルに基づいて２次元線形関数によって定義される平面の駆動傾斜およびオフセットを有するそれぞれのイントラ符号化されたブロックのサンプル位置にわたる２次元線形関数によって記述されるサンプル値の空間分布であると近似または決定されるプレーナ（planar）イントラ符号化モードなどの、１つまたは複数のさらなるモードを備えてもよい。これと比較して、インター符号化されたブロックは例えば、時間的に予測されてもよい。インター符号化ブロックの場合、動きベクトルはデータストリーム内でシグナリングされてもよく、動きベクトルはピクチャ１２が属するビデオの以前に符号化されたピクチャの部分の空間変位を示し、以前に符号化／復号されたピクチャはそれぞれのインター符号化されたブロックの予測信号を取得するためにサンプリングされる。これは、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピー符号化変換係数レベル（entropy-coded transform coefficient levels）のような、データストリーム１４によって備えられる残差信号符号化に加えて、データストリーム１４が、符号化モードを様々なブロックに割り当てるための符号化モードパラメータ、インター符号化セグメントのための動きパラメータのようないくつかのブロックのための予測パラメータ、およびピクチャ１２および１２’のセグメントへの細分化をそれぞれ制御し、シグナリングするためのパラメータのような任意選択のさらなるパラメータを、その中で符号化してもよいことを意味する。デコーダ２０は、これらのパラメータを使用して、エンコーダが行ったものと同様の方法でピクチャを細分化し、セグメントに同じ予測モードを割り当て、同じ予測信号に結果をもたらすために同じ予測を行う。

【0023】

図９は、一方では再構成された信号、例えば再構成されたピクチャ１２’と、他方ではデータストリーム１４でシグナル化された予測残差信号２４’’’’と予測信号２６との組み合わせとの間の関係を示す。既に上述したように、組み合わせは、追加であってもよい。予測信号２６は、図９において、ハッチングを用いて例示的に示されるイントラ符号化ブロック、および、ハッチングされずに例示的に示されるインター符号化ブロックへのピクチャ領域の細分化として示される。細分化は、ピクチャ領域を正方形ブロックまたは非正方形ブロックの行および列に規則的に細分化するなどの任意の細分化であってもよく、あるいはツリールートブロック（tree root block）から、ピクチャ１２を、クアッドツリー（quadtree）細分化などの様々なサイズの複数のリーフブロックに細分化するマルチツリー細分化であってもよく、ピクチャ領域はまず、ツリールートブロックの行および列に細分化され、そして、再帰的（recursive）マルチツリー細分化に従って１つまたは複数のリーフブロックにさらに細分化される、それらの混合物が図９に示されている。

【0024】

また、データストリーム１４は、イントラ符号化ブロック８０のためにその中で符号化されたイントラ符号化モードを有してもよく、これは、それぞれのイントラ符号化ブロック８０に、いくつかのサポートされるイントラ符号化モードのうちの１つを割り当てる。インター符号化ブロック８２のために、データストリーム１４は、その中で符号化された１つまたは複数の運動パラメータを有してもよい。一般的に言えば、インター符号化ブロック８２は、時間的に符号化されることに限定されない。代替的には、インター符号化ブロック８２は、ピクチャ１２が属するビデオの以前に符号化されたピクチャ、またはエンコーダおよびデコーダがそれぞれスケーラブルエンコーダおよびデコーダである場合には別のビューまたは階層的に下層ピクチャなど、現在のピクチャ１２自体を超えて以前に符号化された部分から予測される任意のブロックとしてもよい。

【0025】

また、図９の予測残差信号２４’’’’は、ブロック８４へのピクチャ領域の細分化として図示されている。これらのブロックは、符号化ブロック８０および８２と同じものを区別するために、変換ブロックと呼ばれることがある。事実上、図９は、エンコーダ１０およびデコーダ２０がそれぞれ、ピクチャ１２およびピクチャ１２’の２つの異なる細分化を、ブロック、即ち、符号化ブロック８０および８２にそれぞれ細分化する１つ、および変換ブロック８４に再分割する別の細分化を用いることができることを示している。両方の細分化は同じであってもよく、例えば、各符号化ブロック８０および８２は変換ブロック８４を同時に形成してもよいが、図９は例えば、変換ブロック８４への細分化がブロック８０および８２の２つのブロックの間の任意の境界が２つのブロック８４の間の境界に重なるように、または代替的に言えば、各ブロック８０、８２が変換ブロック８４のうちの１つと一致するか、または変換ブロック８４のクラスタと一致するかのいずれかであるように、符号化ブロック８０、８２への細分化の拡張を形成する場合を示す。しかしながら、変換ブロック８４がブロック８０、８２の間のブロック境界を交差することができるように、再分割は、互いに独立して決定または選択されてもよい。変換ブロック８４への細分化に関する限り、ブロック８０、８２への細分化に関して提示されたものと同様であり、例えば、ブロック８４は、（行および列への配置を伴うまたは伴わない）ブロックへのピクチャ領域の規則的な細分化の結果、ピクチャ領域の再帰的マルチツリー細分化の結果、またはそれらの組み合わせ、または任意の他の種類のブロック化の結果であってもよい。余談として、ブロック８０、８２、および８４は、正方形、長方形、または任意の他の形状であることに限定されないことに留意されたい。

【0026】

図９は、予測信号２６と予測残差信号２４’’’’との組み合わせが、再構成信号１２’を直接もたらすことをさらに示す。しかしながら、代替的な実施形態によれば、２つ以上の予測信号２６を予測残差信号２４’’’’と組み合わせて、ピクチャ１２’をてもよいことに留意されたい。

【0027】

図９において、変換ブロック８４は、以下の重要性を有する。変換器２８および逆変換器５４は、これらの変換ブロック８４の単位でそれらの変換を行う。例えば、多くのコーデックは、全ての変換ブロック８４に対して何らかの種類のＤＳＴまたはＤＣＴを使用する。いくつかのコーデックは、変換ブロック８４のいくつかについて、予測残差信号が空間領域で直接符号化されるように、変換をスキップすることを可能にする。しかしながら、以下に説明する実施形態によれば、エンコーダ１０およびデコーダ２０は、いくつかの変換をサポートするように構成される。例えば、エンコーダ１０およびデコーダ２０によってサポートされる変換は、以下を含むことができる：
・ＤＣＴ－ＩＩ（またはＤＣＴ－ＩＩＩ）、ＤＣＴは離散コサイン変換（Discrete Cosine Transform）を表す
・ＤＳＴ－ＩＶ、ここでＤＳＴは離散サイン変換（Discrete Sine Transform）を表す
・ＤＣＴ－ＩＶ
・ＤＳＴ－ＶＩＩ
・アイデンティティ変換（ＩＴ）

【0028】

当然ながら、変換器２８は、これらの変換の順方向変換バージョンのすべてをサポートするが、デコーダ２０または逆変換器５４は、その対応する逆方向または逆方向バージョンをサポートする：
・逆ＤＣＴ－ＩＩ（または逆ＤＣＴ－ＩＩＩ）
・逆ＤＳＴ－ＩＶ
・逆ＤＣＴ－ＩＶ
・逆ＤＳＴ－ＶＩＩ
・アイデンティティ変換（ＩＴ）

【0029】

以降の説明は、どの変換がエンコーダ１０およびデコーダ２０によってサポートされ得るかについてのさらなる詳細を提供する。いずれの場合も、サポートされる変換のセットは、１つのスペクトル－空間変換または空間－スペクトル変換などの１つの変換のみを備えてもよいことに留意されたい。

【0030】

すでに上記で概説したように、図７から図９は本出願によるエンコーダおよびデコーダの特定の例を形成するために、以下でさらに説明する本発明の概念を実施することができる例として提示されている。図７および図８のエンコーダおよびデコーダは、それぞれ、以下に記載されるエンコーダおよびデコーダの可能な実装を表してもよい。しかしながら、図７および図８は単なる例である。しかしながら、本出願の実施形態によるエンコーダは、以下詳細に概説され、例えば同じものはビデオエンコーダではなく、静止画エンコーダである点、相互予測をサポートしない点、またはブロック８０への細分化が図９に例示された方法とは異なる方法で行われる点で、図７のエンコーダとは異なるピクチャ１２のブロックベース符号化を行ってもよい。同様に、本発明の実施形態によるデコーダは、以下でさらに概説する符号化概念を使用して、データストリーム１４からのピクチャ１２’のブロックベース復号化を行うことができるが、例えば、同じものはビデオデコーダではなく、静止ピクチャデコーダである点、イントラ予測をサポートしない点、または同じものが、図９に関して説明したものとは異なる方法でピクチャ１２’をブロックに細分化する点、および／または同じものが、例えば、変換領域でデータストリーム１４から予測残差を導出しない点で、図８のデコーダ２０とは異なってもよい。

【0031】

以下では、実施形態による汎用ビデオエンコーダが図１に記載され、実施形態による汎用ビデオデコーダが図２に記載され、実施形態による汎用システムが図３に記載される。

【0032】

図１は、実施形態による一般的なビデオエンコーダ１０１を示す。

【0033】

ビデオエンコーダ１０１は、符号化ビデオ信号を生成することによってビデオの複数のピクチャを符号化するように構成され、複数のピクチャの各々はオリジナルのピクチャデータを備える。

【0034】

ビデオエンコーダ１０１は、符号化ピクチャデータ備える符号化ビデオ信号を生成するように構成されたデータエンコーダ１１０を備え、データエンコーダはビデオの複数のピクチャを符号化ピクチャデータに符号化するように構成される。

【0035】

さらに、ビデオエンコーダ１０１は、複数のピクチャのそれぞれの符号化ピクチャデータを出力するように構成された出力インターフェース１２０を備える。

【0036】

図２は、実施形態による汎用ビデオデコーダ１５１を示す。

【0037】

ビデオデコーダ１５１は、ビデオの複数のピクチャを再構成するために、符号化ピクチャデータを備える符号化ビデオ信号を復号するように構成される。

【0038】

ビデオデコーダ１５１は、符号化ビデオ信号を受信するように構成された入力インタフェース１６０を備える。

【0039】

さらに、ビデオデコーダは、符号化ピクチャデータを復号することによってビデオの複数のピクチャを再構成するように構成されたデータデコーダ１７０を備える。

【0040】

図３は、実施形態による一般的なシステムを示す。

【0041】

システムは、図１のビデオエンコーダ１０１と、図２のビデオデコーダ１５１とを含む。

【0042】

ビデオエンコーダ１０１は、符号化ビデオ信号を生成するように構成される。

【0043】

ビデオデコーダ１５１は、符号化ビデオ信号を復号して、ビデオのピクチャを再構成するように構成される。

【0044】

本発明の第１の態様は、請求項１から３３に記載される。第１の態様は、サンプルアスペクト比信号を提供する。

【0045】

本発明の第２の態様は、請求項３４から７２に記載されている。第２の態様は、実装負担を軽減するために、参照ピクチャリサンプリング制約（Reference Picture Resampling restrictions）を提供する。

【0046】

本発明の第３の態様は、請求項７３から１３１に記載されている。第３の態様は、参照ピクチャリサンプリングのズームのために柔軟な領域ベースの参照を提供し、特に、より効率的なアドレスズーム使用ケースを提供する。

【0047】

以下、本発明の第１の態様について詳細に説明する。

【0048】

特に、第１の態様は、サンプルアスペクト比シグナリング（sample aspect ratio signalling）を提供する。

【0049】

サンプルアスペクト比（ＳＡＲ）は、符号化されたビデオを消費者に正しく提示することに関連しており、その結果、符号化されたサンプルアレイのアスペクト比がＲＰＲを経て経時的に変化する場合（例えば、１次元でのサブサンプリングによって）、提示されたピクチャのアスペクト比は、意図した通りに一定に保たれることができる。

【0050】

ＨＥＶＣまたはＡＶＣのようなシーケンスパラメータセット（ＳＰＳ）におけるビデオ使用可能性情報（Video Usability Information）（ＶＵＩ）の最新のＳＡＲシグナリングされたビデオシーケンス全体に対して一定のＳＡＲを設定することのみを可能にする、例えば、ＳＡＲ変更は符号化されたビデオシーケンスの開始時にのみ許可される（例えば、サンプルアスペクト比は、符号化されたビデオシーケンスごとに一定である）。

【0051】

従って、本発明の一部として、ＳＡＲシグナリング新しいモードが、ビデオ符号化に導入される。シーケンスレベルパラメータセット、すなわちＳＰＳは、以下の指示を含む：
・ＲＰＲが使用されている（このため、符号化されたピクチャサイズが変化する可能性がある）
・実際のＳＡＲはＶＵＩでは与えられない、
・代わりに、符号化されたビデオのＳＡＲは、動的であると示され、ＣＶＳ（符号化ビデオシーケンス（coded video sequence））の中で変化し得る
・符号化ピクチャの実際のＳＡＲは、解像度切替ポイントでのＳＥＩ（サプリメンタルエンハンスメント情報（(supplemental enhancement information））メッセージを介して示される

【表1】

【0052】

動的ＳＡＲ情報ＳＥＩメッセージ

【表2】

【0053】

同様に、vui_aspect_ratio_constant_flagが、例えば、採用されてもよい。

【0054】

vui_aspect_ratio_constant_flagは、例えば、サンプルのアスペクト比がビデオシーケンスに対して一定であるか否か、またはサンプルのアスペクト比がビデオシーケンス内で変更可能であるか否かを示す指標であってもよい。

【0055】

例えば、vui_aspect_ratio_constant_flagが例えば、０に設定され得る（または例えば、ＦＡＬＳＥに設定され得る、または例えば、－１に設定され得る）場合、これは例えば、動的ＳＡＲ情報が、例えばＳＥＩメッセージ中に存在することを示し得る。

【0056】

代替実施形態では、ＶＵＩ（例えば、ＳＰＳ）内のＳＡＲ情報がデフォルトとして使用され、これはＳＥＩメッセージが利用可能でない限り使用される。ＳＥＩメッセージの情報は、ＳＰＳの情報で上書きされる。

【表3】

【0057】

別の実施形態では、ＳＡＲ情報がピクチャ解像度に関連付けられてＰＰＳ（ピクチャパラメータセット（picture parameter set））でシグナリングされ、ピクチャ解像度がシグナリングされる。デフォルトＳＡＲは、ＳＰＳでシグナリングされ、ＳＡＲが特定のピクチャ解像度に対して変化する場合、異なるＳＡＲがシグナリングされ、デフォルトＳＡＲを上書きする。

【0058】

ＳＰＳ ＶＵＩ：

【表4】

【0059】

また、ＳＥＩの場合については、ＳＰＳはさらに、ＳＡＲが変更される可能性があること、およびＳＡＲがＰＰＳに更新されることを示すことができる（以前のaspect_ratio_dynamic_SEI_present_flagと同様）。従って、いくつかの応用では、ＳＡＲを変更しないように制約または制限することが可能であり、実施またはＲＰＲ／ＡＲＣを容易にすることができる。

【0060】

ＰＰＳ：

【表5】

【0061】

pps_aspect_ratio_info_present_flagが０に設定されている場合、デフォルトのＳＡＲはＳＰＳから取得され、そうでない場合は実際のＳＡＲが提供される。

【0062】

以下、本発明の第２の態様について詳細に説明する。

【0063】

特に、第２の態様は、参照ピクチャリサンプリングのための制約に関するシグナリングを提供する。

【0064】

ＲＰＲ方式を様々な方法で制限することにより、実装負担を軽減することができる。以下の発明のような、追加の制限を含まない一般的なＲＰＲスキームでは、実装者が以下を実行するためにそのデコーダハードウェアをオーバープロビジョンする必要がある：
・任意の現在のピクチャ、最悪の場合：すべてのピクチャでのリサンプリング
・ＤＰＢ（符号化ピクチャバッファ（decoded picture buffer））、中間ＧＯＰ（group of pictures）対、より少ない参照ピクチャを有する定義された位置における任意のピクチャのリサンプリング
・さまざまな解像度の複数の画像のターゲット解像度への同時リサンプリング
・（参照）ピクチャ品質の損失を伴うref picのカスケードリサンプリングチェーン（cascaded resampling chain）

【0065】

以下の発明された制限は、制限されていないＲＰＲコーデックと比較して、そのような制限されたＲＰＲスキームを特徴とするコーデックの実装コストを低減することを可能とする。

【0066】

一実施形態では、解像度変更がＲＡＰ（ランダムアクセスポイント（random access point））でのみ許可され、例えば、リサンプリングされたピクチャの最大数はこのＲＡＰにおけるＲＡＳＬ（ランダムアクセス復号可能スキップピクチャ（(random access decodable skipped picture））ピクチャの量であり、ＲＡＰは通常、１つまたは複数のＧＯＰ、例えば、数十ピクチャ離れた距離にあり、これはそのようなリサンプリング操作がサポートされなければならない最悪の場合のレートを低減する。

【0067】

別の実施形態では、解像度変更が階層ＧＯＰ内のキーピクチャ、例えば、ピクチャが：
・最下層の時間レイヤに属する、および
・すべてのＧＯＰで一度発生する、および
・符号化順序に続くすべてのピクチャは、より低いＰＯＣ（例えば、より早いプレゼンテーションタイムスタンプ）を有し、
参照ピクチャがリサンプリングされるとき、より高い時間レイヤのＧＯＰ内の直後のピクチャのいずれもカスケードアップ／ダウンサンプリングを必要としない。

【0068】

別の実施形態によれば、解像度変更はプレゼンテーション順序でキーピクチャの直後に続くピクチャ、すなわち、プレゼンテーション順序で次のＧＯＰの最初のピクチャにおいてのみ許可される。

【0069】

別の実施形態では、連続する解像度変化間の時間距離がレベル定義における最小ＰＯＣ（ピクチャ順序カウント（picture order count））距離によって制限される。

【0070】

別の実施形態では、連続する解像度変化間の時間的距離がレベル定義における中間の符号化ピクチャの最小数によって制限される。

【0071】

別の実施形態では、解像度の変化は、破棄不可としてマークされたピクチャ、またはnon_reference_picture_flagが０に等しい参照ピクチャとしてのみ起こり得る。

【0072】

別の実施形態では、解像度変化の速度が、レベル定義によって制限される。

【0073】

別の実施形態では、現在のピクチャに対する参照ピクチャのリサンプリングが単一のリサンプリング比を使用するように制限され、例えば、現在のピクチャとは異なる解像度を有する現在のピクチャのすべての参照ピクチャが同じ解像度を有するように要求される。

【0074】

別の実施形態では、現在のピクチャの１つの参照ピクチャがリサンプリングを必要とするとき、現在のピクチャのすべての参照ピクチャはリサンプリングを使用する必要があり、例えば、１つの参照ピクチャと同じオリジナルの解像度である。

【0075】

別の実施形態では、現在のピクチャの１つの参照ピクチャのみが、リサンプリングを必要とすることが許可される。

【0076】

別の実施形態によれば、解像度変更ポイントにおいてリサンプリングを必要とするピクチャの最大数は、デコーダの保証として符号化ビデオシーケンス／ビットストリーム内に任意選択で示され、指示が存在しない場合、レベル定義による推論または指示が行われる。

【0077】

別の実施形態では、オリジナルの（リサンプリングされていない）参照ピクチャがリサンプリングされた参照ピクチャのみがそこから利用可能であるように、リサンプリングされた後に、参照ピクチャリストおよび／または復号化ピクチャバッファから除去され、例えば、参照のために使用されていないとしてマークされる。

【0078】

別の実施形態では、符号化ビデオシーケンス内で使用されるリサンプリング比が、シーケンスまたはビットストリームスコープを有するパラメータセット（復号パラメータセット（decoding parameter set）、ＤＰＳ；シーケンスパラメータセット（sequence parameter set）、ＳＰＳ）に含まれるリサンプリング比のセットに制限される。

【0079】

以下、本発明の第３の態様について詳細に説明する。

【0080】

特に、第２の態様は、参照ピクチャリサンプリングのためのズームのための柔軟な領域ベースの参照を提供する。

【0081】

上述のように、ＳＨＶＣおよびＳＶＣのような階層化コーデックでは、２つの拡張スケーラビリティモード、すなわち、以下の図４に示すようなＲｏＩスケーラビリティ（下層ピクチャの領域が上層で拡大される）および拡張スケーラビリティ（下層ピクチャが上層で追加コンテンツを介して拡張される）が対処される。

【0082】

拡張スケーラビリティは、例えば、いわゆるズームアウトと呼ばれる使用ケース、例えば、ビデオがより多くのコンテンツ、例えば、より大きなキャプチャ角度、シーンのより多くの部分、より大きな領域などを完全にカバーするという意味で時間的に変化する使用ケースを参照してもよい。

【0083】

図４は、拡張スケーラビリティに対する関心領域（ＲｏＩ）スケーラビリティを示す。

【0084】

ズームインおよびズームアウトが許容されるシナリオでは、予測に使用され予測されるズームおよび移動領域が定義される。これは、ＲｏＩスケーラビリティ（典型的にはズームイン）または拡張スケーラビリティ（典型的にはズームアウト）として知られている。スケーラブル符号化によるＲｏＩスケーラビリティでは、通常、参照ピクチャの次元にアップスケールされる領域が参照ピクチャ内で定義される。しかしながら、スケーラブル符号化では、予測が実行される上層ピクチャと下層ピクチャとが同じ時間を表す。

【0085】

ＳＨＶＣおよびＳＶＣの場合、これは層状符号化のために行われ、これらの場合、並置されたベース層はいかなる動きも表さない、例えば、ベース層内の対応するサンプルは既知であるため、ベース層内の既知の領域を完全にアップスケールし、そのアップスケールされた基準に基づいて動作することが可能であった。

【0086】

しかしながら、ＲＰＲ応用では、それらの間で予測が実行される２つのピクチャが同じ時間インスタンスを描写せず、従って、定義された領域から外れたいくつかのコンテンツは、時間インスタンスＡ（低解像度）から時間インスタンスＢ（高解像度）においてズームイン／アウト領域に移動することができる。予測のためにこれらの領域を参照することを禁止することは、符号化効率のために有害である。

【0087】

しかしながら、ＲＰＲの場合、例えば、ＲｏＩに移動するオブジェクトがエリア内でズームされることにより、参照は、対応する参照領域の外側のあるエリアを指すことができる。これは、符号化解像度を実際に変更することなく図５ａに示されている：

【0088】

図５ａは、時間の経過に伴ってピクチャ内で移動するコンテンツ断片（グレー）の第１の例を描写する。

【0089】

第１の実施形態では、ＲｏＩズーム領域に入る図中のグレーボックスが参照内にあるように、ＲｏＩの面積よりも大きい面積を含む参照領域が定義される：

【0090】

図５ｂは、時間の経過に伴ってピクチャ内で移動するコンテンツ断片（グレー）の第２の例を描写する。

【0091】

これはＲｏＩに対応するピクチャについて、ＲｏＩよりも少し大きい領域を再構成することにつながり、追加の領域はクロッピングウィンドウを示すことによって除去される。この問題は、参照をアップサンプリングするために使用されるスケーリング係数がクロップアウトされたピクチャからＶＶＣ（Versative Video Coding）で計算されるという事実から生じる。最初に、ＲｏＩがないと仮定すると、水平スケール係数HorScaleおよび垂直スケール係数VerScaleは、以下のように計算される：
HorScale = CroppedOutWidthPic / CroppedOutWidthRefPic
VerScale = CroppedOutHeightPic / CroppedOutHeightRefPic

【0092】

クロップアウトされたピクチャに基づいて比率を示す理由は、コーデックが最小サイズ（ＶＶＣ ８サンプルにおける）の倍数である必要があるので、関心のあるピクチャサイズに応じて、いくつかの追加のサンプルが復号される必要があるからである。従って、PicまたはRefPicのいずれかが８の倍数でない場合、いくつかのサンプルが入力ピクチャに加算され、それらが８の倍数になって、比率が異なり、誤ったスケーリング係数につながる。この問題は、ビットストリームが「マージ可能（mergeable）」として符号化されることが望まれる場合、例えば、ピクチャサイズが１２８までのＣＴＵサイズの倍数である必要がある場合のように、ビットストリームを他のビットストリームにマージすることができる場合に、さらに悪化する可能性がある。従って、正しいスケーリング係数は、クロッピングウィンドウを考慮する必要がある。

【0093】

いくつかの追加の参照を含めるためにクロッピングウィンドウを使用する、記述されたシナリオ（ＲＰＲをＲｏＩと組み合わせる）では、クロッピングウィンドウの使用は不十分である。

【0094】

上述のように、参照ピクチャ内のＲｏＩを少し大きく定義することができ、ＲｏＩは参照のために使用されるが、現在の再構成ピクチャ内のクロッピングウィンドウと共に廃棄される。しかしながら、水平スケール係数HorScaleおよび垂直スケール係数VerScaleが、次のように計算された場合：
HorScale = CroppedOutWidthPic / WidthEnlargedRefRoI
VerScale = CroppedOutHeightPic / HeightEnlargeRefRoI
拡大されたＲｏＩ内のサンプルのいくつかは、実際にはクロップアウトされた領域内のサンプルに対応するので、結果が正しくない。

【0095】

以下では、実施形態の第１のグループによるクロッピングウィンドウベース化概念（cropping window based concept）について説明する。

【0096】

従って、上記第１のグループの実施形態では、計算は例えば、以下のようになってもよく：
HorScale = CodedPicWidth / RefRoIWidth
VerScale = CodedPicHeight / RefRoIHeight
このような計算は、スケール係数の計算のために切り取られるサンプルを含む。

【0097】

シグナリングに関して、一実施形態では、拡大されたＲｏＩのシグナリングは、クロッピングウィンドウ情報がスケーリング係数計算において無視されるべきであることを示す。

【0098】

別の実施形態では、スケーリング係数の計算にクロッピングウィンドウを考慮する必要があるか否かは、ビットストリーム（例えば、パラメータセットまたはスライスヘッダ）で示される。

【表6】

【0099】

クロッピングウィンドウは例えば、適合クロッピングウィンドウと呼ばれることもある。クロッピングウィンドウ／適合クロッピングウィンドウに対するオフセットは例えば、pps_conf_win_left_offset、pps_conf_win_top_offset、pps_conf_win_right_offset、およびpps_conf_win_botton_offsetとも呼ばれることがある。

【0100】

use_cropping_for_scale_factor_derivation_flagを用いて、クロッピングウィンドウ上の符号化ビデオ信号内の情報を、参照ピクチャ内の領域をアップスケールするために（または、クロッピングウィンドウ上の符号化ビデオ信号内の情報を参照ピクチャ内の領域のアップスケールに用いるか否かを決定するために）無視するか否かを決定する代わりに、例えば、pps_scaling_window_explicit_signalling_flagを用いてもよい。

【0101】

例えば、pps_scaling_window_explicit_signalling_flagが０に設定されている（または例えば、ＦＡＬＳＥに設定されている、または例えば、－１に設定されている）場合、クロッピングウィンドウ上の符号化ビデオ信号内の情報は例えば、参照ピクチャ内の領域をアップスケールするために使用されてもよい。そして、例えば、pps_scaling_window_explicit_signalling_flagが１に設定されている（または、例えば、ＴＲＵＥに設定されている）場合、クロッピングウィンドウ上の符号化ビデオ信号内の情報は例えば、参照ピクチャ内の領域をアップスケールするために無視されてもよい。

【0102】

上記アプローチの欠点の１つは、ＲｏＩの外側のサンプルを参照すること、例えば、拡大されたＲｏＩ上のサンプルを参照することを可能にするために、現在のピクチャのために復号される領域がより大きくなることである。より具体的には、サンプルがＲｏＩの外側の領域で復号され、後にクロッピングウィンドウで廃棄される。これは、参照ピクチャ内の対応するＲｏＩの外部での参照を可能にする符号化効率ゲインに潜在的に対抗することができる追加のサンプルオーバーヘッドおよび符号化効率の低減につながる。

【0103】

より効率的なアプローチは、ＲｏＩのみを復号化することであるが（上述したように、８倍のピクチャまたはＣＴＵを作るために必要な追加のサンプルについては省略する）、拡大されたＲｏＩ内のサンプルを参照することを可能にする。

【0104】

以下では、第２のグループの実施形態によるバウンディングボックスベース化概念（bounding box based concept）について説明する。

【0105】

上記第２のグループの実施形態では、赤色矩形の外側であるが緑色ボックスの内部であるサンプル（ＲｏＩオフセットに追加のＲｏＩオフセットを加えたもの）が赤色ＲｏＩのみを使用する代わりに、リサンプリングされたref picを決定するために使用される。

【0106】

赤色カットアウト周りのＭＶのための境界ボックスのサイズは、メモリアクセス／ラインバッファ要求を制限し、また、pic-wiseアップサンプリングアプローチによる実装を可能にする利点と共に定義／シグナリングされる。

【0107】

そのようなシグナリングは、ＰＰＳ（additional_roi_X）に含めることができる：

【表7】

【0108】

従って、スケーリング係数の導出は次のようになる：
HorScale = CroppedOutWidthPic / RefRoIWidth
VerScale = CroppedOutHeightPic / RefRoIHeight

【0109】

一実施形態では、参照サンプルがRoI_X_offsetを使用して配列されたサンプルを見つけ、参照サンプルがadditional_RoI_xによって示される拡大されたＲｏＩの外側にある場合にクリップされるＭＶを適用することによって識別される。代替的には、この拡大されたＲｏＩの外側のサンプルが、拡大されたＲｏＩ内の最後のサンプルでパッド（pad）される。

【0110】

別の実施形態では、この拡大されたＲｏＩが、実装最適化に使用することができる制限または制約としてのみ使用される。例えば、参照ピクチャが、オンザフライ（on-the-fly）（ブロックベース化）ではなく、必要に応じて最初に完全にアップサンプリングされる場合、拡大されたＲｏＩのみが、ピクチャ全体の代わりにリサンプリングされ、多くの処理を節約する。

【0111】

さらなる問題は、２つ以上の参照ピクチャが同時に使用される場合である。この場合、ＲｏＩ領域情報が適用されるピクチャを特定する必要がある。このような場合、ＰＰＳに情報を追加する代わりに、スライスヘッダは、参照リスト内のエントリの一部がピクチャ全体ではなく、その一部を参照していないことを示す。例えば、

【表8】

【0112】

さらなる実施形態では、追加の制約が適所にある：
・より低いＰＯＣを有する参照ピクチャのみが、ＲｏＩ情報を有することができる。典型的には、ＲｏＩスイッチングが説明された特徴を用いて、オープンＧＯＰスイッチングシナリオに適用され、従って、より高いＰＯＣを有するＰＯＣは既にＲｏＩシーンを表す。
・１つの参照ピクチャのみがＲｏＩ情報を有することができる。

【0113】

別の実施形態では、RoIInfo()がピクチャパラメータセットで搬送され、スライスヘッダは参照ピクチャごとにフラグ（RoI_flag）のみを搬送し、ＲｏＩ情報がリサンプリング（スケーリング係数の導出）のために適用されるべきか否かを示す。以下の図は、スイッチングポイントの２つ前と２つ後の４つの符号化ピクチャにおける原理を示す。スイッチングポイントにおいて、総分解能は一定のままであるが、ＲｏＩのアップサンプリングが実行される。２つのＰＰＳが定義され、後者の２つのピクチャのＰＰＳは、参照ピクチャ内のＲｏＩを示す。さらに、後者の２つのピクチャのスライスヘッダはそれらの参照ピクチャのそれぞれについてRoI_flag[i]を搬送し、値は、図では「RoI_flag」または「RF = x」として示される。

【0114】

さらに、スライスヘッダは、上記のようにRoI_flagだけでなく、フラグがtrueの場合、特定の参照ピクチャに適用するＲｏＩ情報を識別するためにパラメータセットで運ばれるRoIInfo()の配列への追加インデックスを、各参照ピクチャに対して搬送することができる。

【0115】

図６ａは、混合参照ピクチャによる現在のピクチャを示す図である。

【0116】

以下では、第３のグループの実施形態によるズームアウトの場合について説明する。

【0117】

ＲｏＩスケーラビリティの代わりに、上記第３のグループの実施形態では、拡張されたスケーラビリティ、例えば、ＲｏＩピクチャからより大きなエリアに行くスケーラビリティを考慮することができる。このような場合、特に、電流デコードされたピクチャの領域が、拡大縮小などの拡張性のための領域であると識別される場合、参照ピクチャのクロッピングウィンドウも無視されるべきである。

【0118】

図６ｂは、現在のピクチャ内で識別された領域の場合に、参照ピクチャのクロッピングウィンドウを無視する例を示す。

【0119】

HorScale = IdentifiedRegionInPicWidth / CodedRefPicWidth
VerScale = IdentifiedRegionInPicHeight / CodedRefPicHeight

【0120】

いくつかの態様を装置の文脈で説明したが、これらの態様はブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明も表していることは明らかである。同様に、方法ステップの文脈で説明される態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。方法ステップの一部または全部は例えば、マイクロプロセッサ、プログラマブルコンピュータ、または電子回路などのハードウェア装置によって（またはそれを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つまたは複数を、そのような装置によって実行することができる。

【0121】

特定の実施要件に応じて、本発明の実施形態は、ハードウェアで、またはソフトウェアで、または少なくとも部分的にハードウェアで、または少なくとも部分的にソフトウェアで実施することができる。この実装は、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ（登録商標）、Ｂｌｕ－ｒａｙ（登録商標）、ＣＤ（登録商標）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使用して実行することができ、これらは、それぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（または協働することができる）電子的に読み取り可能な制御信号が記憶されている。従って、デジタル記憶媒体は、コンピュータ読み取り可能であってもよい。

【0122】

本発明によるいくつかの実施形態は本明細書で説明される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを備える。

【0123】

一般に、本発明の実施形態はプログラムコードを有するコンピュータプログラム製品として実施することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの１つを実行するように動作可能である。プログラムコードは例えば、機械可読キャリア上に記憶されてもよい。

【0124】

他の実施形態は、機械可読キャリアに記憶された、本明細書に記載された方法のうちの１つを実行するためのコンピュータプログラムを含む。

【0125】

換言すれば、本発明の方法の一実施形態は従って、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書で説明される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0126】

従って、本発明の方法のさらなる実施形態は、本明細書で説明される方法のうちの１つを実行するためのコンピュータプログラムをその上に記録して備える、データキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、典型的には有形および／または非一時的である。

【0127】

従って、本発明の方法のさらなる実施形態は、本明細書で説明される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成されてもよい。

【0128】

さらなる実施形態は本明細書で説明される方法のうちの１つを実行するように構成された、または適合された、処理手段、例えば、コンピュータ、またはプログラマブル論理デバイスを備える。

【0129】

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

【0130】

本発明によるさらなる実施形態は、本明細書で説明される方法のうちの１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを備える。受信器は例えば、コンピュータ、モバイル装置、メモリ装置等であってもよい。装置またはシステムは例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含むことができる。

【0131】

いくつかの実施形態では、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書で説明される方法の機能のいくつかまたはすべてを実行することができる。

【0132】

いくつかの実施形態では、フィールドプログラマブルゲートアレイが本明細書で説明される方法のうちの１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくは任意のハードウェア装置によって実行される。

【0133】

本明細書で説明される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装され得る。

【0134】

本明細書で説明される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行され得る。

【0135】

上述の実施形態は、単に本発明の原理を説明するためのものである。本明細書で説明される構成および詳細の修正および変形は、他の当業者には明らかであろうことが理解される。従って、本明細書の実施形態の説明および説明によって提示される特定の詳細によってではなく、差し迫った（impending）特許請求の範囲によってのみ限定されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6a】

【図6b】

【図7】

【図8】

【図9】