IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クゥアルコム・インコーポレイテッドの特許一覧

特開2023-159110時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測
<>
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図1
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図2
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図3
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図4A
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図4B
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図5
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図6
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図7
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図8
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図9
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図10
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図11
  • 特開-時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023159110
(43)【公開日】2023-10-31
(54)【発明の名称】時間的スケーラビリティサポートのための修正された適応ループフィルタ時間的予測
(51)【国際特許分類】
   H04N 19/117 20140101AFI20231024BHJP
   H04N 19/46 20140101ALI20231024BHJP
   H04N 19/31 20140101ALI20231024BHJP
   H04N 19/82 20140101ALI20231024BHJP
【FI】
H04N19/117
H04N19/46
H04N19/31
H04N19/82
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023123350
(22)【出願日】2023-07-28
(62)【分割の表示】P 2019536184の分割
【原出願日】2018-01-04
(31)【優先権主張番号】62/442,322
(32)【優先日】2017-01-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/445,174
(32)【優先日】2017-01-11
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】15/861,165
(32)【優先日】2018-01-03
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】QUALCOMM INCORPORATED
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】リ・ジャン
(72)【発明者】
【氏名】ウェイ-ジュン・チェン
(72)【発明者】
【氏名】マルタ・カルチェビチ
(72)【発明者】
【氏名】イェ-クイ・ワン
(57)【要約】      (修正有)
【課題】ビデオデータの現在のピクチャを再構築するビデオコーダ(ビデオ符号化器及びビデオ復号器)及び方法を提供する。
【解決手段】現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる。さらに、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、ビデオコーダは、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶し得る。ビデオコーダは、ALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定する。
【選択図】図10
【特許請求の範囲】
【請求項1】
ビデオデータを復号する方法であって、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと
を備える、方法。
【請求項2】
前記ALFパラメータのセットを記憶することは、
前記複数のアレイの各それぞれのアレイについて、前記それぞれのアレイに対応する前記時間的レイヤに属し、且つ前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤに属する前記現在のピクチャの前記現在の領域より前に復号された前記ビデオデータの前記ピクチャの前記領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することを備える、
請求項1に記載の方法。
【請求項3】
前記複数のアレイのうちの少なくとも2つは、ALFパラメータの異なる数のセットを含む、
請求項1に記載の方法。
【請求項4】
前記現在の領域についてのALFパラメータの前記適用可能なセットが前記アレイ中に未だに記憶されていない場合に、前記現在の領域についてのALFパラメータの前記適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイまたは前記現在の領域が属する前記時間的レイヤより上位の時間的レイヤに対応する前記複数のアレイのうちの前記アレイのうちの少なくとも1つ中に記憶することをさらに備える、
請求項1に記載の方法。
【請求項5】
前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶することは、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定することを備える、
請求項4に記載の方法。
【請求項6】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたPOC値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
請求項1に記載の方法。
【請求項7】
ALFパラメータの前記選択されたセットのインデックスを示すシンタックス要素を、前記ビットストリームから取得することをさらに備え、
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、ALFパラメータの前記選択されたセットを、前記シンタックス要素に基づいて決定することを備え、
前記シンタックス要素のフォーマットは、時間的インデックスに依存する、
請求項1に記載の方法。
【請求項8】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、フィルタ係数ではなくクラスマージング情報を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを備える、
請求項1に記載の方法。
【請求項9】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、クラスマージング情報ではなくフィルタ係数を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを備える、
請求項1に記載の方法。
【請求項10】
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリームから取得することをさらに備え、
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、前記現在の領域についてのALFパラメータの前記適用可能なセットを、ALFパラメータの前記選択されたセットと前記差分とに基づいて決定することを備える、
請求項1に記載の方法。
【請求項11】
ビデオデータを符号化する方法であって、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと、
前記現在の領域に前記適応ループフィルタリングを適用した後に、前記ビデオデータの後続のピクチャの予測のために前記現在の領域を使用することと
を備える、方法。
【請求項12】
前記ALFパラメータのセットを記憶することは、
前記複数のアレイの各それぞれのアレイについて、前記それぞれのアレイに対応する前記時間的レイヤに属し、且つ前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤに属する前記現在のピクチャの前記現在の領域より前に復号された前記ビデオデータの前記ピクチャの前記領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することを備える、
請求項11に記載の方法。
【請求項13】
前記複数のアレイのうちの少なくとも2つは、ALFパラメータの異なる数のセットを含む、
請求項11に記載の方法。
【請求項14】
前記現在の領域についてのALFパラメータの前記適用可能なセットが前記アレイ中に未だに記憶されていない場合に、前記現在の領域についてのALFパラメータの前記適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイまたは前記現在の領域が属する前記時間的レイヤより上位の時間的レイヤに対応する前記複数のアレイのうちの前記アレイのうちの少なくとも1つ中に記憶することをさらに備える、
請求項11に記載の方法。
【請求項15】
前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶することは、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定することを備える、
請求項14に記載の方法。
【請求項16】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたPOC値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
請求項11に記載の方法。
【請求項17】
ALFパラメータの前記選択されたセットのインデックスを示すシンタックス要素を、前記ビットストリーム中に含めることをさらに備える、
請求項11に記載の方法。
【請求項18】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、フィルタ係数ではなくクラスマージング情報を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを備える、
請求項11に記載の方法。
【請求項19】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、クラスマージング情報ではなくフィルタ係数を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを備える、
請求項11に記載の方法。
【請求項20】
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリーム中に含めることをさらに備える、
請求項11に記載の方法。
【請求項21】
ビデオデータを復号するためのデバイスであって、前記デバイスは、
前記ビデオデータを記憶するように構成された1つまたは複数の記憶媒体と、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと
を行うように構成された1つまたは複数のプロセッサと
を備える、デバイス。
【請求項22】
前記1つまたは複数のプロセッサは、前記ALFパラメータのセットを記憶することの一部として、前記1つまたは複数のプロセッサは、
前記複数のアレイの各それぞれのアレイについて、前記それぞれのアレイに対応する前記時間的レイヤに属し、且つ前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤに属する前記現在のピクチャの前記現在の領域より前に復号された前記ビデオデータの前記ピクチャの前記領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを前記それぞれのアレイ中に記憶することを行うように構成される、
請求項21に記載のデバイス。
【請求項23】
前記複数のアレイのうちの少なくとも2つは、ALFパラメータの異なる数のセットを含む、
請求項21に記載のデバイス。
【請求項24】
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットが前記アレイ中に未だに記憶されていない場合に、前記現在の領域についてのALFパラメータの前記適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイまたは前記現在の領域が属する前記時間的レイヤより上位の時間的レイヤに対応する前記複数のアレイのうちの前記アレイのうちの少なくとも1つ中に記憶することを行うようにさらに構成される、
請求項21に記載のデバイス。
【請求項25】
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶することの一部として、前記1つまたは複数のプロセッサが、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定することを行うように構成される、
請求項24に記載のデバイス。
【請求項26】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたPOC値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
請求項21に記載のデバイス。
【請求項27】
前記1つまたは複数のプロセッサは、
ALFパラメータの前記選択されたセットのインデックスを示すシンタックス要素を、前記ビットストリームから取得することを行うようにさらに構成され、
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、ALFパラメータの前記選択されたセットを、前記シンタックス要素に基づいて決定するように構成され、
前記シンタックス要素のフォーマットは、時間的インデックスに依存する、
請求項21に記載のデバイス。
【請求項28】
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、フィルタ係数ではなくクラスマージング情報を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを行うように構成される、
請求項21に記載のデバイス。
【請求項29】
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、クラスマージング情報ではなくフィルタ係数を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを行うように構成される、
請求項21に記載のデバイス。
【請求項30】
前記1つまたは複数のプロセッサは、
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリームから取得することを行うようさらに構成され、
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、前記現在の領域についてのALFパラメータの前記適用可能なセットを、ALFパラメータの前記選択されたセットと前記差分とに基づいて決定することを行うように構成される、
請求項21に記載のデバイス。
【請求項31】
前記デバイスは、ワイヤレス通信デバイスを備え、符号化されたビデオデータを受信するように構成された受信機をさらに備える、
請求項21に記載のデバイス。
【請求項32】
前記ワイヤレス通信デバイスは、電話ハンドセットを備え、および前記受信機は、前記符号化されたビデオデータを備える信号を、ワイヤレス通信規格にしたがって復調するように構成される、
請求項31に記載のデバイス。
【請求項33】
ビデオデータを符号化するためのデバイスであって、
前記ビデオデータを記憶するように構成された1つまたは複数の記憶媒体と、
1つまたは複数のプロセッサと
を備え、前記1つまたは複数のプロセッサは、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと、
前記現在の領域に前記適応ループフィルタリングを適用した後に、前記ビデオデータの後続のピクチャの予測のために前記現在の領域を使用することと
を行うように構成される、デバイス。
【請求項34】
前記1つまたは複数のプロセッサは、前記ALFパラメータのセットを記憶することの一部として、前記1つまたは複数のプロセッサが、
前記複数のアレイの各それぞれのアレイについて、前記それぞれのアレイに対応する前記時間的レイヤに属し、且つ前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤに属する前記現在のピクチャの前記現在の領域より前に復号された前記ビデオデータの前記ピクチャの前記領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶する
ように構成される、請求項33に記載のデバイス。
【請求項35】
前記複数のアレイのうちの少なくとも2つは、ALFパラメータの異なる数のセットを含む、
請求項33に記載のデバイス。
【請求項36】
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットが前記アレイ中に未だに記憶されていない場合に、前記現在の領域についてのALFパラメータの前記適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイまたは前記現在の領域が属する前記時間的レイヤより上位の時間的レイヤに対応する前記複数のアレイのうちの前記アレイのうちの少なくとも1つ中に記憶することを行うようにさらに構成される、
請求項33に記載のデバイス。
【請求項37】
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶することの一部として、前記1つまたは複数のプロセッサが、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定することを行うように構成される、
請求項36に記載のデバイス。
【請求項38】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたPOC値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
請求項33に記載のデバイス。
【請求項39】
前記1つまたは複数のプロセッサは、ALFパラメータの前記選択されたセットのインデックスを示すシンタックス要素を、前記ビットストリーム中に含めるようにさらに構成される、
請求項33に記載のデバイス。
【請求項40】
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、フィルタ係数ではなくクラスマージング情報を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定するように構成される、
請求項33に記載のデバイス。
【請求項41】
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、クラスマージング情報ではなくフィルタ係数を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定するように構成される、
請求項33に記載のデバイス。
【請求項42】
前記1つまたは複数のプロセッサは、
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリーム中に含めることを行うようにさらに構成される、
請求項33に記載のデバイス。
【請求項43】
前記デバイスは、ワイヤレス通信デバイスを備え、符号化されたビデオデータを送信するように構成された送信機をさらに備える、
請求項33に記載のデバイス。
【請求項44】
前記ワイヤレス通信デバイスは、電話ハンドセットを備え、および前記送信機は、前記符号化されたビデオデータを備える信号を、ワイヤレス通信規格にしたがって変調するように構成される、
請求項43に記載のデバイス。
【請求項45】
ビデオデータを復号するためのデバイスであって、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信するための手段、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築するための手段と、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶するための手段と、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータの選択されたセットに基づいて決定するための手段と、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用するための手段と
を備える、デバイス。
【請求項46】
ビデオデータを符号化するためのデバイスであって、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成するための手段、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築するための手段と、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶するための手段と、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定するための手段と、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用するための手段と、
前記現在の領域に前記適応ループフィルタリングを適用した後に、前記ビデオデータの後続のピクチャの予測のために前記現在の領域を使用するための手段と
を備える、デバイス。
【請求項47】
実行されると、1つまたは複数のプロセッサに、
ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと
を行わせる命令を記憶する、コンピュータ可読データ記憶媒体。
【請求項48】
実行されると、1つまたは複数のプロセッサに、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと、
前記現在の領域に前記適応ループフィルタリングを適用した後に、前記ビデオデータの後続のピクチャの予測のために前記現在の領域を使用することと
を行わせる命令を記憶するコンピュータ可読記憶媒体。
【発明の詳細な説明】
【関連出願】
【0001】
[0001]本願は、2017年1月4日に出願された米国仮特許出願第62/442,322号と、2017年1月11日に出願された米国仮特許出願第62/445,174号の利益を主張し、それらの各々の内容全体は、参照によってここに組み込まれる。
【技術分野】
【0002】
[0002]この開示は、ビデオ符号化および復号に関する。
【背景技術】
【0003】
[0003]デジタルビデオ能力は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラ式または衛星無線電話、いわゆる「スマートフォン」、ビデオテレビ会議デバイス、ビデオストリーミングデバイス、および同様のものを含む、幅広い範囲のデバイスに組み込まれることができる。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、アドバンスドビデオコーディング(AVC)、ITU-T H.265、高効率ビデオコーディング(HEVC)規格、およびそのような規格の拡張によって定義された規格に説明されているもののような、ビデオ圧縮技法をインプリメントする。ビデオデバイスは、そのようなビデオ圧縮技法をインプリメントすることによって、より効率的にデジタルビデオ情報を送信、受信、符号化、復号、および/または記憶し得る。
【0004】
[0004]ビデオ圧縮技法は、ビデオシーケンスに内在する冗長性を低減または取り除くために、空間的(イントラピクチャ)予測および/または時間的(インターピクチャ)予測を遂行し得る。ブロックベースのビデオコーディングの場合、ビデオスライス(例えば、ビデオフレームまたはビデオフレームの一部分)は、コーディングツリーブロックおよびコーディングブロックのようなビデオブロックへと区分化され得る。空間的または時間的予測は、コーディングされることになるブロックについての予測ブロックをもたらす。残差データは、コーディングされることになる元のブロックと予測ブロックとの間のピクセル差分を表す。さらなる圧縮のために、残差データは、ピクセルドメインから変換ドメインに変換され得、残差変換係数をもたらし、それはその後、量子化され得る。
【発明の概要】
【0005】
[0005]一般に、この開示は、特に、以前にコーディングされたフレーム、スライス、またはタイルからの適応ループフィルタリング(ALF:adaptive loop filtering)フィルタの予測のために、ALFに関する技法を説明する。本技法は、HEVCの拡張または次世代のビデオコーディング規格のような、アドバンストビデオコーデックのコンテキストにおいて使用され得る。
【0006】
[0006]一例では、この開示は、ビデオデータを復号する方法を説明し、その方法は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、現在のピクチャを再構築することと、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶することと、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定することと、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用することとを備える。
【0007】
[0007]別の例では、この開示は、ビデオデータを符号化する方法を説明し、その方法は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成すること、ここにおいて、現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、現在のピクチャを再構築することと、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶することと、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定することと、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用することと、現在の領域に適応ループフィルタリングを適用した後に、ビデオデータの後続のピクチャの予測のために現在の領域を使用することとを備える。
【0008】
[0008]別の例では、この開示は、ビデオデータを復号するためのデバイスを説明し、そのデバイスは、ビデオデータを記憶するように構成された1つまたは複数の記憶媒体と、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、現在のピクチャを再構築することと、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶することと、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定することと、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用することとを行うように構成された1つまたは複数のプロセッサとを備える。
【0009】
[0009]別の例では、この開示は、ビデオデータを符号化するためのデバイスを説明し、そのデバイスは、ビデオデータを記憶するように構成された1つまたは複数の記憶媒体と、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成すること、ここにおいて、現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、現在のピクチャを再構築することと、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶することと、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定することと、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用することと、現在の領域に適応ループフィルタリングを適用した後に、ビデオデータの後続のピクチャの予測のために現在の領域を使用することとを行うように構成された1つまたは複数のプロセッサとを備える。
【0010】
[0010]別の例では、この開示は、ビデオデータを復号するためのデバイスを説明し、そのデバイスは、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信するための手段、ここにおいて、現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、現在のピクチャを再構築するための手段と、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶するための手段と、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定するための手段と、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用するための手段とを備える。
【0011】
[0011]別の例では、この開示は、ビデオデータを符号化するためのデバイスを説明し、そのデバイスは、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成するための手段、ここにおいて、現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、現在のピクチャを再構築するための手段と、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶するための手段と、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定するための手段と、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用するための手段と、現在の領域に適応ループフィルタリングを適用した後に、ビデオデータの後続のピクチャの予測のために現在の領域を使用するための手段とを備える。
【0012】
[0012]別の例では、この開示は、実行されると、1つまたは複数のプロセッサに、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、現在のピクチャを再構築することと、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶することと、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定することと、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用することとを行わせる命令を記憶するコンピュータ可読データ記憶媒体を説明する。
【0013】
[0013]別の例では、この開示は、実行されると、1つまたは複数のプロセッサに、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成すること、ここにおいて、現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、現在のピクチャを再構築することと、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶することと、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定することと、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用することと、現在の領域に適応ループフィルタリングを適用した後に、ビデオデータの後続のピクチャの予測のために現在の領域を使用することとを行わせる命令を記憶するコンピュータ可読記憶媒体を説明する。
【0014】
[0014]本開示の1つまたは複数の態様の詳細は、添付の図面および以下の説明中に記載される。この開示中に説明される技法の他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0015】
図1】この開示中に説明される1つまたは複数の技法を使用し得る実例的なビデオ符号化および復号システムを例示するブロック図である。
図2】3つの異なる実例的な適応ループフィルタリング(ALF)フィルタサポートを例示する。
図3】16に等しいピクチャのグループ(GOP:Group of Pictures)を有するランダムアクセス構成の例を例示する。
図4A】フィルタパラメータを記憶するためのアレイを例示する。
図4B】フィルタパラメータを記憶するためのアレイの異なる状態を例示する。
図5】この開示の第1の技法にしたがって、異なる時間的レイヤに対応する複数のアレイを例示する。
図6】この開示の第2の技法にしたがって、ALFパラメータと関連する時間的レイヤインデックス値とを記憶するためのアレイを例示する。
図7】この開示中に説明される1つまたは複数の技法をインプリメントし得る実例的なビデオ符号化器を例示するブロック図である。
図8】この開示中に説明される1つまたは複数の技法をインプリメントし得る実例的なビデオ復号器を例示するブロック図である。
図9】この開示の第1の技法にしたがって、ビデオ符号化器の実例的な動作を例示するフローチャートである。
図10】この開示の第1の技法にしたがって、ビデオ復号器の実例的な動作を例示するフローチャートである。
図11】この開示の第2の技法にしたがって、ビデオ符号化器の実例的な動作を例示するフローチャートである。
図12】この開示の第2の技法にしたがって、ビデオ復号器の実例的な動作を例示するフローチャートである。
【詳細な説明】
【0016】
[0028]適応ループフィルタリング(ALF)は、復号されたビデオデータの品質を向上させるために、コーディングループの一部として1つまたは複数の適応フィルタ(すなわち、ALFフィルタ)を適用するプロセスである。ALFフィルタは、係数のセットに関連付けられる。ビデオコーダ(すなわち、ビデオ符号化器またはビデオ復号器)は、ブロックの特性に基づいて、同じピクチャの異なるブロックに異なる係数を有するALFフィルタを適用し得る。ALFフィルタに関連付けられた係数をシグナリングすることに関連付けられたオーバヘッドを低減するために、ビデオコーダは、以前にコーディングされたピクチャ、タイル、またはスライス中で使用されるALFフィルタについてのALFパラメータのセットを、1つのアレイ中に記憶し得る。ALFパラメータのセットは、1つまたは複数のALFフィルタに関連付けられた複数の係数を含み得る。例えば、ALFパラメータのセットは、複数のフィルタに関連付けられた係数を示し得る。ビデオコーダは、先入れ先出し(FIFO:First-In First-Out)基準にしたがって、アレイ中のALFパラメータのセットを置き換える。
【0017】
[0029]ビデオシーケンス中の異なるピクチャは、異なる時間的レイヤに属し得る。異なる時間的レイヤは、異なる時間的識別子に関連付けられる。所与の時間的レイヤ中のピクチャは、所与の時間的レイヤの時間的識別子を有する他のピクチャと、所与の時間的レイヤの時間的識別子の値未満の値を有する時間的識別子を有するピクチャとを参照して復号され得る。
【0018】
[0030]ビデオコーダがFIFO基準にしたがってアレイ中にフィルタデータ(例えば、ALFパラメータのセット)を記憶することから、アレイは、現在復号されているピクチャの時間的識別子より高い時間的識別子を有するピクチャからのフィルタデータを包含し得る。これは、現在のピクチャの時間的レイヤより高い時間的識別子を有する時間的レイヤ中のピクチャに、より高い時間的識別子を有するピクチャが失われるか、または復号される必要がない場合に現在のピクチャを従属させ得ることから、これは潜在的に、フィルタリングプロセスにおいて誤りを引き起こす可能性がある。
【0019】
[0031]この開示は、この欠点に対処し得る技法を説明する。一例では、ビデオコーダは、現在のピクチャより前にコーディングされたビデオデータのピクチャの領域のサンプルに1つまたは複数のALFフィルタを適用する際に使用されるALFパラメータのセットを、複数のアレイ中に記憶し得る。複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。さらに、ビデオコーダは、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。この開示は、ALFを遂行するための現在のピクチャのスライスまたは他のタイプのエリアを指すために、「領域」という用語を使用し得る。ビデオコーダは、現在の領域にALFフィルタを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。
【0020】
[0032]いくつかの例では、ビデオコーダは、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルに1つまたは複数のALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ中に記憶する。加えて、この例では、ビデオコーダは、ALFパラメータのセットに関連付けられた時間的レイヤインデックスを、1つのアレイ中に記憶する。ALFパラメータのセットに関連付けられた時間的レイヤインデックスは、ALFパラメータのセットがALFフィルタを適用するために使用された領域の時間的レイヤを示す。この例では、ビデオコーダは、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。さらに、この例では、ビデオコーダは、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。
【0021】
[0033]これらの例のいずれでも、時間的レイヤにALFパラメータを関連付けることは、現在のピクチャがより上位の時間的レイヤ中のピクチャの復号に潜在的に依存することの問題を避けるのに役立ち得る。
【0022】
[0034]図1は、この開示の技法を使用し得る実例的なビデオ符号化および復号システム10を例示するブロック図である。図1に示されているように、システム10は、宛先デバイス14によって後の時間に復号されることになる符号化されたビデオデータを提供するソースデバイス12を含む。特に、ソースデバイス12は、コンピュータ可読媒体16を介して宛先デバイス14に符号化されたビデオデータを提供する。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのような電話ハンドセット、タブレットコンピュータ、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、または同様のものを含む、幅広い範囲のデバイスのうちの任意のものを備え得る。いくつかのケースでは、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備される。このことから、ソースデバイス12および宛先デバイス14は、ワイヤレス通信デバイスであり得る。この開示中に説明される技法は、ワイヤレスおよび/またはワイヤードアプリケーションに適用され得る。ソースデバイス12は、実例的なビデオ符号化デバイス(すなわち、ビデオデータを符号化するためのデバイス)である。宛先デバイス14は、実例的なビデオ復号デバイス(すなわち、ビデオデータを復号するためのデバイス)である。
【0023】
[0035]図1の例示されているシステム10は単に、一例に過ぎない。ビデオデータを処理するための技法は、任意のデジタルビデオ符号化および/または復号デバイスによって遂行され得る。いくつかの例では、本技法は、「CODEC」と典型的に呼ばれるビデオコーダによって遂行され得る。ソースデバイス12および宛先デバイス14は、ソースデバイス12が宛先デバイス14への送信のためのコーディングされたビデオデータを生成するそのようなコーディングデバイスの例である。いくつかの例では、ソースデバイス12および宛先デバイス14は、ソースデバイス12および宛先デバイス14の各々がビデオ符号化および復号コンポーネントを含むような実質的に対称的な方法で動作する。故に、システム10は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話通信のために、ソースデバイス12と宛先デバイス14との間での1方向(one-way)または2方向(two-way)ビデオ送信をサポートし得る。
【0024】
[0036]図1の例では、ソースデバイス12は、ビデオソース18と、ビデオデータを記憶するように構成された記憶媒体19と、ビデオ符号化器20と、出力インターフェース22とを含む。宛先デバイス14は、入力インターフェース26と、符号化されたビデオデータを記憶するように構成された記憶媒体28と、ビデオ復号器30と、ディスプレイデバイス32とを含む。他の例では、ソースデバイス12および宛先デバイス14は、他のコンポーネントまたは配列を含む。例えば、ソースデバイス12は、外部カメラのような外部ビデオソースからビデオデータを受信し得る。同じように、宛先デバイス14は、統合されたディスプレイデバイスを含むというよりはむしろ、外部ディスプレイデバイスとインターフェースし得る。
【0025】
[0037]ビデオソース18は、ビデオデータのソースである。ビデオデータは、一連のピクチャを備え得る。ビデオソース18は、ビデオカメラのようなビデオキャプチャデバイス、以前にキャプチャされたビデオを包含するビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェースを含み得る。いくつかの例では、ビデオソース18は、コンピュータグラフィックスベースのビデオデータ、またはライブビデオ、アーカイブされたビデオ、およびコンピュータ生成されたビデオの組み合わせを生成する。記憶媒体19は、ビデオデータを記憶するように構成され得る。各ケースでは、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオは、ビデオ符号化器20によって符号化され得る。
【0026】
[0038]出力インターフェース22は、コンピュータ可読媒体16に符号化されたビデオ情報を出力し得る。出力インターフェース22は、様々なタイプのコンポーネントまたはデバイスを備え得る。例えば、出力インターフェース22は、ワイヤレス送信機、モデム、ワイヤードネットワーキングコンポーネント(例えば、イーサネット(登録商標)カード)、または別の物理的コンポーネントを備え得る。出力インターフェース22がワイヤレス送信機を備える例では、出力インターフェース22は、4G、4G-LTE(登録商標)、LTE Advanced、5G、および同様のもののようなセルラ通信規格にしたがって変調される、符号化されたビデオデータのようなデータを送信するように構成され得る。出力インターフェース22がワイヤレス送信機を備えるいくつかの例では、出力インターフェース22は、IEEE802.11仕様、IEEE802.15仕様(例えば、ZigBee(登録商標))、Bluetooth(登録商標)規格、および同様のもののような他のワイヤレス規格にしたがって変調される、符号化されたビデオデータのようなデータを送信するように構成され得る。このことから、いくつかの例では、ソースデバイス12は、符号化されたビデオデータを送信するように構成された送信機を含むワイヤレス通信デバイスを備える。いくつかのそのような例では、ワイヤレス通信デバイスは、電話ハンドセットを備え、および送信機は、符号化されたビデオデータを備える信号を、ワイヤレス通信規格にしたがって変調するように構成される。
【0027】
[0039]いくつかの例では、出力インターフェース22の回路は、ビデオ符号化器20の回路および/またはソースデバイス12の他のコンポーネントへと統合される。例えば、ビデオ符号化器20および出力インターフェース22は、システムオンチップ(SoC)の一部であり得る。SoCはまた、汎用マイクロプロセッサ、グラフィックス処理ユニット、等のような他のコンポーネントを含み得る。
【0028】
[0040]宛先デバイス14は、コンピュータ可読媒体16を介して、復号されることになる符号化されたビデオデータを受信し得る。コンピュータ可読媒体16は、ソースデバイス12から宛先デバイス14に符号化されたビデオデータを移動させることが可能である任意のタイプの媒体またはデバイスを備え得る。いくつかの例では、コンピュータ可読媒体16は、ソースデバイス12がリアルタイムで宛先デバイス14に符号化されたビデオデータを直接送信することを可能にするための通信媒体を備える。通信媒体は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理的伝送線路のような任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットのようなグローバルネットワークのような、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を容易にするのに有用であり得る任意の他の機器を含み得る。宛先デバイス14は、符号化されたビデオデータおよび復号されたビデオデータを記憶するように構成された1つまたは複数のデータ記憶媒体を備え得る。
【0029】
[0041]いくつかの例では、出力インターフェース22は、記憶デバイスのような中間デバイスに符号化されたビデオデータのようなデータを出力し得る。同様に、宛先デバイス14の入力インターフェース26は、中間デバイスから符号化されたデータを受信し得る。中間デバイスは、ハードドライブ、Blu-ray(登録商標)ディスク、DVD、CD-ROM、フラッシュメモリ、揮発性または非揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の適したデジタル記憶媒体のような、多様な分散されたまたは局所的にアクセスされるデータ記憶媒体のうちの任意のものを含み得る。いくつかの例では、中間デバイスは、ファイルサーバに対応する。実例的なファイルサーバは、ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)デバイス、またはローカルディスクドライブを含む。
【0030】
[0042]宛先デバイス14は、インターネット接続を含む、任意の標準データ接続を通じて符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化されたビデオデータにアクセスするのに適している、ワイヤレスチャネル(例えば、Wi-Fi接続)、ワイヤード接続(例えば、DSL、ケーブルモデム、等)、またはその両方の組み合わせを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであり得る。
【0031】
[0043]コンピュータ可読媒体16は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信のような一過性媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu-rayディスク、または他のコンピュータ可読媒体のような記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示せず)は、例えば、ネットワーク送信を介して、ソースデバイス12から符号化されたビデオデータを受信し、および宛先デバイス14に符号化されたビデオデータを提供し得る。同様に、ディスクスタンピング設備のような媒体製造設備(medium production facility)のコンピューティングデバイスは、ソースデバイス12から符号化されたビデオデータを受信し、および符号化されたビデオデータを包含するディスクを製造し得る。したがって、コンピュータ可読媒体16は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むことが理解され得る。
【0032】
[0044]宛先デバイス14の入力インターフェース26は、コンピュータ可読媒体16からデータを受信する。入力インターフェース26は、様々なタイプのコンポーネントまたはデバイスを備え得る。例えば、入力インターフェース26は、ワイヤレス受信機、モデム、ワイヤードネットワーキングコンポーネント(例えば、イーサネットカード)、または別の物理的コンポーネントを備え得る。入力インターフェース26がワイヤレス受信機を備える例では、入力インターフェース26は、4G、4G-LTE、LTE Advanced、5G、および同様のもののようなセルラ通信規格にしたがって変調される、ビットストリームのようなデータを受信するように構成され得る。入力インターフェース26がワイヤレス受信機を備えるいくつかの例では、入力インターフェース26は、IEEE802.11仕様、IEEE802.15仕様(例えば、ZigBee(登録商標))、Bluetooth(登録商標)規格、および同様のもののような他のワイヤレス規格にしたがって変調される、ビットストリームのようなデータを受信するように構成され得る。このことから、いくつかの例では、宛先デバイス14は、符号化されたビデオデータを受信するように構成された受信機を備えるワイヤレス通信デバイスを備え得る。いくつかのそのような例では、ワイヤレス通信デバイスは、電話ハンドセットを備え、および受信機は、符号化されたビデオデータを備える信号を、ワイヤレス通信規格にしたがって復調するように構成される。いくつかの例では、ソースデバイス12は、送信機を備え得、および宛先デバイス14は、送信機と受信機とを備え得る。
【0033】
[0045]いくつかの例では、入力インターフェース26の回路は、ビデオ復号器30の回路および/または宛先デバイス14の他のコンポーネントへと統合され得る。例えば、ビデオ復号器30および入力インターフェース26は、SoCの一部であり得る。SoCはまた、汎用マイクロプロセッサ、グラフィックス処理ユニット、等のような他のコンポーネントを含み得る。
【0034】
[0046]記憶媒体28は、入力インターフェース26によって受信される符号化されたビデオデータ(例えば、ビットストリーム)のような符号化されたビデオデータを記憶するように構成され得る。ディスプレイデバイス32は、ユーザに復号されたビデオデータを表示する。ディスプレイデバイス32は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスのような、多様なディスプレイデバイスのうちの任意のものを備え得る。
【0035】
[0047]ビデオ符号化器20およびビデオ復号器30は各々、1つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせのような、多様な適した固定機能(fixed-function)および/またはプログラマブル回路のうちの任意のものとしてインプリメントされ得る。本技法がソフトウェアにおいて部分的にインプリメントされるとき、デバイスは、適した非一時的コンピュータ可読媒体中にソフトウェアのための命令を記憶し得、およびこの開示の技法を遂行するために、1つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオ符号化器20およびビデオ復号器30の各々は、1つまたは複数の符号化器または復号器中に含まれ得、それらのうちのいずれも、それぞれのデバイス中で組み合わされた符号化器/復号器(CODEC)の一部として統合され得る。
【0036】
[0048]いくつかの例では、ビデオ符号化器20およびビデオ復号器30は、ビデオコーディング規格または仕様にしたがってビデオデータを符号化および復号する。例えば、ビデオ符号化器20およびビデオ復号器30は、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、およびそのスケーラブルビデオコーディング(SVC)およびマルチビュービデオコーディング(MVC)拡張を含む(ISO/IEC MPEG-4 AVCとしても知られている)ITU-T H.264、あるいは別のビデオコーディング規格または仕様にしたがってビデオデータを符号化および復号し得る。いくつかの例では、ビデオ符号化器20およびビデオ復号器30は、またはITU-T H.265として知られている高効率ビデオコーディング(HEVC)、その範囲およびスクリーンコンテンツコーディング拡張、その3Dビデオコーディング拡張(3D-HEVC)、そのマルチビュー拡張(MV-HEVC)、またはそのスケーラブル拡張(SHVC)にしたがってビデオデータを符号化および復号する。いくつかの例では、ビデオ符号化器20およびビデオ復号器30は、現在開発中の規格を含む他の規格にしたがって動作する。
【0037】
[0049]HEVCおよび他のビデオコーディング仕様では、ビデオデータは、一連のピクチャを含む。ピクチャはまた、「フレーム」と呼ばれ得る。ピクチャは、1つまたは複数のサンプルアレイを含み得る。ピクチャの各それぞれのサンプルアレイは、それぞれの色コンポーネントについてのサンプルのアレイを備え得る。ピクチャは、SL、SCb、およびSCrと表される3つのサンプルアレイを含み得る。SLは、ルーマサンプルの2次元アレイ(すなわち、ブロック)である。SCbは、Cbクロマサンプルの2次元アレイである。SCrは、Crクロマサンプルの2次元アレイである。他の事例では、ピクチャは、モノクロームであり得、およびルーマサンプルのアレイのみを含み得る。
【0038】
[0050]ビデオデータを符号化することの一部として、ビデオ符号化器20は、ビデオデータのピクチャを符号化し得る。言い換えれば、ビデオ符号化器20は、ビデオデータのピクチャの符号化された表現を生成し得る。ピクチャの符号化された表現は、ここでは「コーディングされたピクチャ」または「符号化されたピクチャ」と呼ばれ得る。
【0039】
[0051]ピクチャの符号化された表現を生成するために、ビデオ符号化器20は、ピクチャのブロックを符号化し得る。ビデオ符号化器20は、ビデオブロックの符号化された表現を、ビットストリーム中に含め得る。いくつかの例では、ピクチャのブロックを符号化するために、ビデオ符号化器20は、1つまたは複数の予測ブロックを生成するために、イントラ予測またはインター予測を遂行する。加えて、ビデオ符号化器20は、ブロックについての残差データを生成し得る。残差ブロックは、残差サンプルを備える。各残差サンプルは、生成された予測ブロックのうちの1つのサンプルと、ブロックの対応するサンプルとの間の差分を示し得る。ビデオ符号化器20は、変換係数を生成するために、残差サンプルのブロックに変換を適用し得る。さらに、ビデオ符号化器20は、変換係数を量子化し得る。いくつかの例では、ビデオ符号化器20は、変換係数を表すために、1つまたは複数のシンタックス要素を生成し得る。ビデオ符号化器20は、変換係数を表すシンタックス要素のうちの1つまたは複数をエントロピー符号化し得る。
【0040】
[0052]より具体的には、HEVCまたは他のビデオコーディング仕様にしたがってビデオデータを符号化するとき、ピクチャの符号化された表現を生成するために、ビデオ符号化器20は、ピクチャの各サンプルアレイをコーディングツリーブロック(CTB)へと区分化し、およびCTBを符号化し得る。CTBは、ピクチャのサンプルアレイ中のサンプルのN×Nブロックであり得る。HEVCメインプロファイルでは、技術的には8×8のCTBサイズがサポートされることができるが、CTBのサイズは、16×16~64×64に及ぶことができる。
【0041】
[0053]ピクチャのコーディングツリーユニット(CTU)は、1つまたは複数のCTBを備え得、および1つまたは複数のCTBのサンプルを符号化するために使用されるシンタックス構造を備え得る。例えば、各CTUは、ルーマサンプルのCTBと、クロマサンプルの2つの対応するCTBと、CTBのサンプルを符号化するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは3つの別個の色平面を有するピクチャでは、CTUは、単一のCTBと、CTBのサンプルを符号化するために使用されるシンタックス構造とを備え得る。CTUはまた、「ツリーブロック」または「最大コーディングユニット」(LCU)と呼ばれ得る。この開示では、「シンタックス構造」は、指定された順序でビットストリーム中にともに存在する0以上のシンタックス要素として定義され得る。いくつかのコーデックでは、符号化されたピクチャは、ピクチャの全てのCTUを包含する符号化された表現である。
【0042】
[0054]ピクチャのCTUを符号化するために、ビデオ符号化器20は、CTUのCTBを1つまたは複数のコーディングブロックへと区分化し得る。コーディングブロックは、サンプルのN×Nブロックである。いくつかのコーデックでは、ピクチャのCTUを符号化するために、ビデオ符号化器20は、CTBをコーディングブロックへと区分化するために、CTUのコーディングツリーブロックに対して四分木区分化を再帰的に遂行し得、故に名称が「コーディングツリーユニット」である。コーディングユニット(CU)は、1つまたは複数のコーディングブロックと、1つまたは複数のコーディングブロックのサンプルを符号化するために使用されるシンタックス構造とを備え得る。例えば、CUは、ルーマサンプルアレイ、Cbサンプルアレイ、およびCrサンプルアレイを有するピクチャのルーマサンプルのコーディングブロックおよびクロマサンプルの2つの対応するコーディングブロックと、コーディングブロックのサンプルを符号化するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは3つの別個の色平面を有するピクチャでは、CUは、単一のコーディングブロックと、コーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。
【0043】
[0055]さらに、ビデオ符号化器20は、ビデオデータのピクチャのCUを符号化し得る。いくつかのコーデックでは、CUを符号化することの一部として、ビデオ符号化器20は、CUのコーディングブロックを1つまたは複数の予測ブロックへと区分化し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形(すなわち、正方形または非正方形)ブロックである。CUの予測ユニット(PU)は、CUの1つまたは複数の予測ブロックと、1つまたは複数の予測ブロックを予測するために使用されるシンタックス構造とを備え得る。例えば、PUは、ルーマサンプルの予測ブロックと、クロマサンプルの2つの対応する予測ブロックと、予測ブロックを予測するために使用されるシンタックス構造とを備え得る。モノクロームのピクチャまたは3つの別個の色平面を有するピクチャでは、PUは、単一の予測ブロックと、予測ブロックを予測するために使用されるシンタックス構造とを備え得る。
【0044】
[0056]ビデオ符号化器20は、CUのPUの予測ブロック(例えば、ルーマ、Cb、およびCr予測ブロック)についての予測ブロック(例えば、ルーマ、Cb、およびCr予測ブロック)を生成し得る。ビデオ符号化器20は、予測ピクセルブロックを生成するために、イントラ予測またはインター予測を使用し得る。ビデオ符号化器20が予測ブロックを生成するためにイントラ予測を使用する場合、ビデオ符号化器20は、CUを含むピクチャの復号されたサンプルに基づいて、予測ブロックを生成し得る。ビデオ符号化器20が現在のピクチャのPUの予測ブロックを生成するためにインター予測を使用する場合、ビデオ符号化器20は、参照ピクチャ(すなわち、現在のピクチャ以外のピクチャ)の復号されたサンプルに基づいて、PUの予測ブロックを生成し得る。HEVCでは、ビデオ符号化器20は、インター予測されたPUの場合は「coding_unit」シンタックス構造内に「prediction_unit」シンタックス構造を生成するが、イントラ予測されたPUの場合は「coding_unit」シンタックス構造内に「prediction_unit」シンタックス構造を生成しない。むしろ、HEVCでは、イントラ予測されたPUに関連するシンタックス要素は、「coding_unit」シンタックス構造中に直接含まれる。
【0045】
[0057]ビデオ符号化器20は、CUについての1つまたは複数の残差ブロックを生成し得る。例えば、ビデオ符号化器20は、CUについてのルーマ残差ブロックを生成し得る。CUのルーマ残差ブロック中の各サンプルは、CUの予測ルーマブロックのうちの1つ中のルーマサンプルと、CUの元のルーマコーディングブロック中の対応するサンプルとの間の差分を示す。加えて、ビデオ符号化器20は、CUについてのCb残差ブロックを生成し得る。CUのCb残差ブロック中の各サンプルは、CUの予測Cbブロックのうちの1つ中のCbサンプルと、CUの元のCbコーディングブロック中の対応するサンプルとの間の差分を示し得る。ビデオ符号化器20はまた、CUについてのCr残差ブロックを生成し得る。CUのCr残差ブロック中の各サンプルは、CUの予測Crブロックのうちの1つ中のCrサンプルと、CUの元のCrコーディングブロック中の対応するサンプルとの間の差分を示し得る。
【0046】
[0058]さらに、ビデオ符号化器20は、CUの残差ブロックを1つまたは複数の変換ブロックへと分解し得る。例えば、ビデオ符号化器20は、CUの残差ブロックを1つまたは複数の変換ブロックへと分解するために、四分木区分化を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形(例えば、正方形または非正方形)ブロックである。CUの変換ユニット(TU)は、1つまたは複数の変換ブロックを備え得る。例えば、TUは、ルーマサンプルの変換ブロックと、クロマサンプルの2つの対応する変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。このことから、CUの各TUは、ルーマ変換ブロックと、Cb変換ブロックと、Cr変換ブロックとを有し得る。TUのルーマ変換ブロックは、CUのルーマ残差ブロックのサブブロックであり得る。Cb変換ブロックは、CUのCb残差ブロックのサブブロックであり得る。Cr変換ブロックは、CUのCr残差ブロックのサブブロックであり得る。モノクロームのピクチャまたは3つの別個の色平面を有するピクチャでは、TUは、単一の変換ブロックと、変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備え得る。
【0047】
[0059]ビデオ符号化器20は、TUについての係数ブロックを生成するために、TUの変換ブロックに1つまたは複数の変換を適用し得る。係数ブロックは、変換係数の2次元アレイであり得る。変換係数は、スカラー量であり得る。いくつかの例では、1つまたは複数の変換は、変換ブロックをピクセルドメインから周波数ドメインにコンバートする。このことから、そのような例では、変換係数は、周波数ドメイン中にあると考えられるスカラー量であり得る。変換係数レベルは、変換係数値の計算のためのスケーリングより前の復号プロセスにおける特定の2次元周波数インデックスに関連付けられた値を表す整数量である。
【0048】
[0060]いくつかの例では、ビデオ符号化器20は、変換ブロックへの変換の適用をスキップする。そのような例では、ビデオ符号化器20は、変換係数と同じ方法で残差サンプル値を扱い得る。このことから、ビデオ符号化器20が変換の適用をスキップする例では、変換係数および係数ブロックの以下の論述は、残差サンプルの変換ブロックに適用可能であり得る。
【0049】
[0061]係数ブロックを生成した後に、ビデオ符号化器20は、係数ブロックを表すために使用されるデータの量をことによると低減するために、係数ブロックを量子化し得、潜在的にさらなる圧縮を提供する。量子化は概して、ある範囲の値が単一の値に圧縮されるプロセスを指す。例えば、量子化は、定数で値を除算し、およびその後、最も近い整数に端数を丸めることによって行われ得る。係数ブロックを量子化するために、ビデオ符号化器20は、係数ブロックの変換係数を量子化し得る。いくつかの例では、ビデオ符号化器20は、量子化をスキップする。
【0050】
[0062]ビデオ符号化器20は、いくつかまたは全ての潜在的に量子化された変換係数を示すシンタックス要素を生成し得る。ビデオ符号化器20は、量子化された変換係数を示すシンタックス要素のうちの1つまたは複数をエントロピー符号化し得る。例えば、ビデオ符号化器20は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応バイナリ算術コーディング(CABAC:Context-Adaptive Binary Arithmetic Coding)を遂行し得る。このことから、符号化されたブロック(例えば、符号化されたCU)は、量子化された変換係数を示すエントロピー符号化されたシンタックス要素を含み得る。
【0051】
[0063]ビデオ符号化器20は、符号化されたビデオデータを含むビットストリームを出力し得る。言い換えれば、ビデオ符号化器20は、ビデオデータの符号化された表現を含むビットストリームを出力し得る。ビデオデータの符号化された表現は、ビデオデータのピクチャの符号化された表現を含み得る。例えば、ビットストリームは、ビデオデータおよび関連するデータの符号化されたピクチャの表現を形成するビットのシーケンスを備え得る。いくつかの例では、符号化されたピクチャの表現は、ピクチャのブロックの符号化された表現を含み得る。
【0052】
[0064]ビットストリームは、ネットワーク抽象化レイヤ(NAL)ユニットのシーケンスを備え得る。NALユニットは、NALユニット中のデータのタイプのインジケーションと、エミュレーション防止ビットが必要に応じて組み入れられている(interspersed as necessary with)生バイトシーケンスペイロード(RBSP:a raw byte sequence payload)の形式でそのデータを包含するバイトとを包含するシンタックス構造である。NALユニットの各々は、NALユニットヘッダを含み得、およびRBSPをカプセル化し得る。NALユニットヘッダは、NALユニットタイプコードを示すシンタックス要素を含み得る。NALユニットのNALユニットヘッダによって指定されるNALユニットタイプコードは、NALユニットのタイプを示す。RBSPは、NALユニット内にカプセル化された整数の数のバイトを包含するシンタックス構造であり得る。いくつかの事例では、RBSPは、0ビットを含む。
【0053】
[0065]ビデオ復号器30は、ビデオ符号化器20によって生成されたビットストリームを受信し得る。上述されたように、ビットストリームは、ビデオデータの符号化された表現を備え得る。ビデオ復号器30は、ビデオデータのピクチャを再構築するために、ビットストリームを復号し得る。ビットストリームを復号することの一部として、ビデオ復号器30は、ビットストリームからシンタックス要素を取得し得る。ビデオ復号器30は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、ビデオデータのピクチャを再構築し得る。ビデオデータのピクチャを再構築するためのプロセスは概して、ピクチャを符号化するためにビデオ符号化器20によって遂行されるプロセスとは相反し得る。
【0054】
[0066]例えば、ビデオデータのピクチャを復号することの一部として、ビデオ復号器30は、予測ブロックを生成するために、インター予測またはイントラ予測を使用し得る。加えて、ビデオ復号器30は、ビットストリームから取得されたシンタックス要素に基づいて、変換係数を決定し得る。いくつかの例では、ビデオ復号器30は、決定された変換係数を逆量子化する。さらに、ビデオ復号器30は、残差サンプルの値を決定するために、決定された変換係数に対して逆変換を適用し得る。ビデオ復号器30は、残差サンプルと生成された予測ブロックの対応するサンプルとに基づいて、ピクチャのブロックを再構築し得る。例えば、ビデオ復号器30は、ブロックの再構築されたサンプルを決定するために、残差サンプルを生成された予測ブロックの対応するサンプルに加え得る。
【0055】
[0067]より具体的には、HEVCおよび他のビデオコーディング仕様では、ビデオ復号器30は、現在のCUの各PUについての1つまたは複数の予測ブロックを生成するために、インター予測またはイントラ予測を使用し得る。加えて、ビデオ復号器30は、現在のCUのTUの係数ブロックを逆量子化し得る。ビデオ復号器30は、現在のCUのTUの変換ブロックを再構築するために、係数ブロックに対して逆変換を遂行し得る。ビデオ復号器30は、現在のCUのPUの予測ブロックのサンプルと、現在のCUのTUの変換ブロックの残差サンプルとに基づいて、現在のCUのコーディングブロックを再構成し得る。いくつかの例では、ビデオ復号器30は、現在のCUのPUについての予測ブロックのサンプルを現在のCUのTUの変換ブロックの対応する復号されたサンプルに加えることによって、現在のCUのコーディングブロックを再構築し得る。ピクチャの各CUについてのコーディングブロックを再構築することによって、ビデオ復号器30は、ピクチャを再構築し得る。
【0056】
[0068]上述されたように、ビデオコーダ(例えば、ビデオ符号化器20またはビデオ復号器30)は、現在のピクチャのビデオブロックについての予測ブロックを生成するために、インター予測を適用し得る。例えば、ビデオコーダは、CUの予測ブロックを生成するために、インター予測を適用し得る。ビデオコーダが予測ブロックを生成するためにインター予測を適用する場合、ビデオコーダは、1つまたは複数の参照ピクチャの復号されたサンプルに基づいて、予測ブロックを生成する。典型的に、参照ピクチャは、現在のピクチャ以外のピクチャである。いくつかのビデオコーディング仕様では、ビデオコーダはまた、参照ピクチャとして現在のピクチャ自体を扱い得る。
【0057】
[0069]ビデオコーダ(例えば、ビデオ符号化器20またはビデオ復号器30)が現在のピクチャを処理し始めると、ビデオコーダは、現在のピクチャについての1つまたは複数の参照ピクチャセット(RPS)サブセットを決定し得る。例えば、HEVCでは、ビデオコーダは、次のRPSサブセットを決定し得る:RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetFoll、RefPicSetLtCurr、およびRefPicSetLtFoll。さらに、ビデオコーダは、1つまたは複数の参照ピクチャリストを決定し得る。現在のピクチャの参照ピクチャリストの各々は、現在のピクチャのRPSからの0以上の参照ピクチャを含む。参照ピクチャリストのうちの1つは、参照ピクチャリスト0(RefPicList0)と呼ばれ得、およびもう1つの参照ピクチャリストは、参照ピクチャリスト1(RefPicList1)と呼ばれ得る。
【0058】
[0070]ピクチャのスライスは、ピクチャの整数の数のブロックを含み得る。例えば、HEVCおよび他のビデオコーディング仕様では、ピクチャのスライスは、ピクチャの整数の数のCTUを含み得る。スライスのCTUは、ラスター走査順序のような走査順序で連続して順序付けられ得る。HEVCおよび他のビデオコーディング規格では、スライスは、1つの独立スライスセグメントと、同じアクセスユニット内の次の独立スライスセグメント(ある場合には)に先行する全ての後続の従属スライスセグメント(ある場合には)との中に包含される整数の数のCTUとして定義される。さらに、HEVCおよび他のビデオコーディング規格では、スライスセグメントは、タイル走査において連続して順序付けられ、且つ単一のNALユニット中に包含される整数の数のCTUとして定義される。タイル走査は、CTBがタイル中でのCTBラスター走査において連続して順序付けられるピクチャを区分化するCTBの特定の順次的な順序付けであるのに対して、ピクチャ中のタイルは、ピクチャのタイルのラスター走査において連続して順序付けられる。タイルは、ピクチャ中の特定のタイル列および特定のタイル行内のCTBの矩形領域である。
【0059】
[0071]上述されたように、ビットストリームは、ビデオデータおよび関連するデータの符号化されたピクチャの表現を含み得る。関連するデータは、パラメータセットを含み得る。NALユニットは、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)についてのRBSPをカプセル化し得る。VPSは、0以上のコーディングされたビデオシーケンス(CVS)全体に適用されるシンタックス要素を備えるシンタックス構造である。SPSもまた、0以上のCVS全体に適用されるシンタックス要素を備えるシンタックス構造である。SPSは、SPSがアクティブであるときにアクティブであるVPSを識別するシンタックス要素を含み得る。このことから、VPSのシンタックス要素は、SPSのシンタックス要素より一般に適用可能であり得る。PPSは、0以上のコーディングされたピクチャに適用されるシンタックス要素を備えるシンタックス構造である。PPSは、PPSがアクティブであるときにアクティブであるSPSを識別するシンタックス要素を含み得る。スライスセグメントのスライスヘッダは、スライスセグメントがコーディングされているときにアクティブであるPPSを示すシンタックス要素を含み得る。
【0060】
[0072]上述されたように、ビデオ符号化器は、一連のNALユニットを備えるビットストリームを生成し得る。マルチレイヤビデオコーディングでは、ビットストリームの異なるNALユニットは、ビットストリームの異なるレイヤに関連付けられ得る。レイヤは、同じレイヤ識別子を有するVCL NALユニットと関連する非VCL NALユニットとのセットとして定義され得る。レイヤは、マルチビュービデオコーディングにおけるビューと同等であり得る。マルチビュービデオコーディングでは、レイヤは、異なる時間インスタンスを有する同じレイヤの全てのビューコンポーネントを包含することができる。各ビューコンポーネントは、特定の時間インスタンスにおいて特定のビューに属するビデオシーンのコーディングされたピクチャであり得る。マルチレイヤビデオコーディングでは、「アクセスユニット」という用語は、同じ時間インスタンスに対応するピクチャのセットを指し得る。このことから、「ビューコンポーネント」は、単一のアクセスユニット中のビューのコーディングされた表現であり得る。いくつかの例では、ビューコンポーネントは、テクスチャビューコンポーネント(すなわち、テクスチャピクチャ)または深度ビューコンポーネント(すなわち、深度ピクチャ)を備え得る。
【0061】
[0073]マルチビュービデオコーディングのいくつかの例では、レイヤは、特定のビューの全てのコーディングされた深度ピクチャまたは特定のビューのコーディングされたテクスチャピクチャのいずれかを包含し得る。マルチビュービデオコーディングの他の例では、レイヤは、特定のビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントの両方を包含し得る。同様に、スケーラブルビデオコーディングのコンテキストでは、レイヤは典型的に、他のレイヤ中のコーディングされたピクチャとは異なるビデオ特性を有するコーディングされたピクチャに対応する。そのようなビデオ特性は典型的に、空間的解像度および品質レベル(例えば、信号対雑音比)を含む。
【0062】
[0074]ビットストリームの各それぞれのレイヤについて、下位レイヤ中のデータは、任意の上位レイヤ中のデータへの参照なしに復号され得る。スケーラブルビデオコーディングでは、例えば、ベースレイヤ中のデータは、エンハンスメントレイヤ中のデータへの参照なしに復号され得る。一般に、NALユニットは、単一のレイヤのデータをカプセル化するのみであり得る。このことから、ビットストリームの最上位の残りのレイヤのデータをカプセル化するNALユニットは、ビットストリームの残りのレイヤ中のデータの復号性に影響を及ぼすことなしに、ビットストリームから取り除かれ得る。マルチビューコーディングでは、上位レイヤは、追加のビューコンポーネントを含み得る。SHVCでは、上位レイヤは、信号対雑音比(SNR)エンハンスメントデータ、空間的エンハンスメントデータ、および/または時間的エンハンスメントデータを含み得る。MV-HEVCおよびSHVCでは、レイヤは、ビデオ復号器が任意の他のレイヤのデータへの参照なしにレイヤ中のピクチャを復号することができる場合に、「ベースレイヤ」と呼ばれ得る。ベースレイヤは、HEVCベース仕様(例えば、Rec.ITU-T H.265|ISO/IEC23008-2)にしたがい得る。
【0063】
[0075]スケーラブルビデオコーディングでは、ベースレイヤ以外のレイヤは、「エンハンスメントレイヤ」と呼ばれ得、およびビットストリームから復号されたビデオデータの視覚的品質を向上させる情報を提供し得る。スケーラブルビデオコーディングは、空間的解像度、信号対雑音比(すなわち、品質)または時間的レートを向上させることができる。
【0064】
[0076]マルチビューコーディングは、インタービュー予測をサポートし得る。インタービュー予測は、HEVCにおいて使用されるインター予測に類似しており、および同じシンタックス要素を使用し得る。しかしながら、ビデオコーダが(PUのような)現在のビデオユニットに対してインタービュー予測を遂行するとき、ビデオ符号化器20は、現在のビデオユニットと同じアクセスユニット中にあるが異なるビュー中にあるピクチャを、参照ピクチャとして使用し得る。対照的に、従来のインター予測は、参照ピクチャとして異なるアクセスユニット中のピクチャのみを使用する。
【0065】
[0077]マルチビューコーディングでは、ビューは、ビデオ復号器(例えば、ビデオ復号器30)が任意の他のビュー中のピクチャへの参照なしにビュー中のピクチャを復号することができる場合に、「ベースビュー」と呼ばれ得る。非ベースビューのうちの1つ中のピクチャをコーディングするとき、(ビデオ符号化器20またはビデオ復号器30のような)ビデオコーダは、ピクチャが異なるビュー中にあるがビデオコーダが現在コーディングしているピクチャと同じ時間インスタンス(すなわち、アクセスユニット)内にある場合に、ピクチャを参照ピクチャリストへと加え得る。他のインター予測参照ピクチャのように、ビデオコーダは、参照ピクチャリストの任意の位置においてインタービュー予測参照ピクチャを挿入し得る。
【0066】
[0078]例えば、NALユニットは、ヘッダ(すなわち、NALユニットヘッダ)とペイロード(例えば、RBSP)とを含み得る。NALユニットヘッダは、レイヤ識別子シンタックス要素(例えば、HEVCにおけるnuh_layer_idシンタックス要素)を含み得る。異なる値を指定するレイヤ識別子シンタックス要素を有するNALユニットは、ビットストリームの異なる「レイヤ」に属する。このことから、マルチレイヤビューコーディング(例えば、MV-HEVC、SVC、またはSHVC)では、NALユニットのレイヤ識別子シンタックス要素は、NALユニットのレイヤ識別子(すなわち、レイヤID)を指定する。NALユニットのレイヤ識別子は、NALユニットがマルチレイヤコーディングにおけるベースレイヤに関連する場合には、0に等しい。ビットストリームのベースレイヤ中のデータは、ビットストリームの任意の他のレイヤ中のデータへの参照なしに復号され得る。NALユニットがマルチレイヤコーディングにおけるベースレイヤに関連していない場合、NALユニットのレイヤ識別子は、非0値を有し得る。マルチビューコーディングでは、ビットストリームの異なるレイヤは、異なるビューに対応し得る。スケーラブルビデオコーディング(例えば、SVCまたはSHVC)では、ベースレイヤ以外のレイヤは、「エンハンスメントレイヤ」と呼ばれ得、およびビットストリームから復号されたビデオデータの視覚的品質を向上させる情報を提供し得る。
【0067】
[0079]さらに、レイヤ内のいくつかのピクチャは、同じレイヤ内の他のピクチャへの参照なしに復号され得る。このことから、レイヤのある特定のピクチャのデータをカプセル化するNALユニットは、レイヤ中の他のピクチャの復号性に影響を及ぼすことなしにビットストリームから取り除かれ得る。そのようなピクチャのデータをカプセル化するNALユニットを取り除くことは、ビットストリームのフレームレートを低減し得る。レイヤ内の他のピクチャへの参照なしに復号され得るレイヤ内のピクチャのサブセットは、ここでは「サブレイヤ」、「時間的レイヤ」、または「時間的サブレイヤ」と呼ばれ得る。最上位の時間的レイヤは、レイヤ中の全てのピクチャを含み得る。このことから、時間的スケーラビリティは、サブレイヤ(すなわち、時間的レイヤ)として特定の時間的レベルを有するピクチャのグループを定義することによって、1つのレイヤ内で達成され得る。
【0068】
[0080]NALユニットは、時間的識別子(例えば、HEVCにおけるtemporal_id)シンタックス要素を含み得る。NALユニットの時間的識別子シンタックス要素は、NALユニットの時間的識別子を指定する。NALユニットの時間的識別子は、NALユニットが関連付けられる時間的サブレイヤを識別する。このことから、ビットストリームの各時間的サブレイヤは、異なる時間的識別子に関連付けられ得る。第1のNALユニットの時間的識別子が第2のNALユニットの時間的識別子未満である場合、第1のNALユニットによってカプセル化されたデータは、第2のNALユニットによってカプセル化されたデータへの参照なしに復号され得る。
【0069】
[0081]ビデオコーディング規格は、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、およびそのスケーラブルビデオコーディング(SVC)およびマルチビュービデオコーディング(MVC)拡張を含む(ISO/IEC MPEG-4 AVCとしても知られている)ITU-T H.264を含む。加えて、新しいビデオコーディング規格、すなわち高効率ビデオコーディング(HEVC)が最近、ITU-Tビデオコーディング専門家グループ(VCEG:Video Coding Experts Group)およびISO/IECモーションピクチャ専門家グループ(MPEG:Motion Picture Experts Group)のビデオコーディングに関する共同コラボレーションチーム(JCT-VC:the Joint Collaboration Team on Video Coding)によって開発された。Wang et al., “High Efficiency Video Coding (HEVC) Defect Report,” Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 14th Meeting, Vienna, AT, 25 July - 2 Aug. 2013, document JCTVC-N1003-v1は、HEVCドラフト仕様である。HEVC規格は、2013年1月に完成された。
【0070】
[0082]ITU-T VCEG(Q6/16)およびISO/IEC MPEG(JTC 1/SC 29/WG 11)は現在、(スクリーンコンテンツコーディングおよびハイダイナミックレンジコーディングについてのその現在の拡張および近々の拡張を含む)現在のHEVC規格のそれを有意に上回る圧縮能力を有する将来のビデオコーディング技術の標準化の潜在的な必要性を研究している。グループは、このエリアにおけるそれらの専門家によって提案された圧縮技術設計を評価するために、共同ビデオ調査チーム(JVET:the Joint Video Exploration Team)として知られている共同コラボレーションの試みにおいて、この調査活動で協働している。JVETは、2015年10月19日~21日中に最初の会合を行った。共同調査モデル(JEM:The Joint Exploration Model)は、JVETによって作り出されたテストモデルである。J. Chen et al., “Description of Exploration Experiments on Coding Tools,” JVET-D1011, Chengdu, Oct. 2016は、第4のバージョンのJEM(すなわち、JEM4)についてのアルゴリズム記述である。
【0071】
[0083]ビデオコーディングの分野では、復号されたビデオ信号の品質を向上させるために、フィルタリングを適用することは一般的である。フィルタは、フィルタリングされたフレームが将来のフレームの予測のために使用されないポストフィルタ(a post-filter)として、またはフィルタリングされたフレームが将来のフレームを予測するために使用されるインループフィルタ(an in-loop filter)として適用されることができる。フィルタは、例えば、元の信号と、復号されたフィルタリングされた信号との間の誤りを最小化することによって設計されることができる。変換係数と同様に、フィルタの係数h(k,l),k=-K,...,K,l=-K,...Kは、f(k,l)=round(normFactor・h(k,l))の通りに量子化され、およびコーディングされ、および復号器に送られ得る。normFactorは通常、2nに等しい。normFactorの値がより大きいほど、量子化はより精確であり、および量子化されたフィルタ係数f(k,l)は、より良い性能を提供する。その一方で、normFactorのより大きい値は、送信するのにより多くのビットを必要とする係数f(k,l)を作り出す。
【0072】
[0084]ビデオ復号器30では、復号されたフィルタ係数f(k,l)は、以下の通りに、再構築された画像R(i,j)に適用される:
【0073】
【数1】
【0074】
ここで、iおよびjは、フレーム内のピクセルの座標である。インループ適応フィルタは、HEVCステージにおいて評価されたが、最終バージョンには含まれていない。
【0075】
[0085]JEMにおいて用いられるインループ適応ループフィルタは、J. Chen et al., “Coding tools investigation for next generation video coding”, SG16-Geneva-C806, Jan. 2015中に説明された。基本的なアイディアは、以下において「JCTVC-E603」と記載される、T. Wiegand et al., “WD3: Working Draft 3 of High-Efficiency Video Coding,” Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-E603, 5th Meeting: Geneva, CH, 16-23 March 2011中のブロックベースの適応を有するALFと同じである。
【0076】
[0086]ルーマコンポーネントについて、ピクチャ全体中の4×4ブロックは、1次元ラプラシアン方向(最大で3つまでの方向)と、2次元ラプラシアンアクティビティ(最大で5つまでのアクティビティ値)とに基づいて分類される。方向Dirbおよび非量子化アクティビティActbの算出は、式(2)~式(5)中に示され、ここで、
【0077】
【数2】
【0078】
は、4×4ブロックの左上に対する相対座標(i,j)を有する再構築されたピクセルを示す。Actbは、JCTVC-E603中に説明されているように、両端値を含む0~4の範囲にさらに量子化される。
【0079】
【数3】
【0080】
[0087]全体で、各ブロックは、15(5×3)個のグループのうちの1つにカテゴリ化されることができ、およびインデックスが、ブロックのDirbおよびActbの値にしたがって各4×4ブロックに割り当てられる。グループインデックスをCによって示し、およびCを
【0081】
【数4】
【0082】
に等しく設定し、ここにおいて、
【0083】
【数5】
【0084】
は、Actbの量子化された値である。したがって、ビデオ符号化器20は、ピクチャのルーマコンポーネントについてのALFパラメータの最大で15個までのセットをシグナリングし得る。シグナリングコストを節約するために、ビデオ符号化器20は、グループインデックス値に沿って(along)グループをマージし得る。各マージされたグループについて、ビデオ符号化器20は、ALF係数のセットをシグナリングし得る。図2は、3つの異なる実例的なALFフィルタサポートを例示している。図2の例では、最大で3つまでの円対称フィルタ形状がサポートされる。ピクチャ中の両方のクロマコンポーネントのために、ALF係数の単一のセットが適用され、および5×5ダイヤモンド形状フィルタが常に使用される。
【0085】
[0088]復号器側において、ビデオ復号器30は、各ピクセルサンプル
【0086】
【数6】
【0087】
をフィルタリングし得、式(6)中に示されているように、ピクセル値I’i, jをもたらし、ここで、Lは、フィルタ長を示し、fm, nは、フィルタ係数を表し、およびoは、フィルタオフセットを示す。
【0088】
【数7】
【0089】
いくつかの設計では、最大で1つまでのフィルタのみが、2つのクロマコンポーネントについてサポートされる。
【0090】
[0089]以下は、フィルタ係数についてシグナリングされ得るデータのリストである。
1.フィルタの総数:フィルタの総数(またはマージされたグループの総数)は、ALFが1つのスライスに対して有効にされたときに、最初にシグナリングされる。フィルタのシグナリングされた総数は、ルーマコンポーネントに適用される。クロマコンポーネントについては、1つのフィルタのみが適用され得ることから、フィルタの総数をシグナリングする必要はない。
2.フィルタサポート:3つのフィルタサポートのインデックスがシグナリングされる。
3.フィルタインデックス:どのALFフィルタ、すなわちクラスマージング情報(class merging information)、が使用されるかを示す。Cの非連続値を有するクラスがマージされ得、すなわち、同じフィルタを共有し得る。クラスがマージされているか否かを示すために各クラスの1つのフラグをコーディングすることによって、フィルタインデックスが導出されることができる。いくつかの例では、クラスマージング情報はまた、左または上のフィルタインデックスからマージするようにシグナリングされ得る。
4.forceCoeff0フラグ:forceCoeff0フラグは、フィルタのうちの少なくとも1つがコーディングされるべきではないかどうかを示すために使用される。このフラグが0に等しいとき、フィルタの全ては、コーディングされるべきである。forceCoeff0フラグが1に等しいとき、CodedVarBinによって示される、各マージされたグループの1つのフラグが、フィルタがシグナリングされるべきか否かを示すためにさらにシグナリングされる。フィルタがシグナリングされないとき、それは、フィルタに関連付けられたフィルタ係数の全てが0に等しいことを意味する。
5.予測方法:フィルタの複数のグループがシグナリングされる必要があるとき、2つの方法のうちの1つが使用され得る:
・全てのフィルタは、フィルタ情報へと直接コーディングされる。このケースでは、例えば、フィルタ係数の値は、いかなる予測符号化技法も使用することなしに、ビットストリームへと符号化され得る。言い換えれば、フィルタは、明示的にシグナリングされる。
・第1のフィルタのフィルタ係数は、直接コーディングされる。一方で残りのフィルタについては、フィルタ係数は、フィルタ情報へと予測的にコーディングされる。このケースでは、フィルタ係数の値は、以前にコーディングされたフィルタに関連付けられたフィルタ係数に対する差分または残差値によって定義され得る。以前にコーディングされたフィルタは、直近のフィルタである(すなわち、現在のフィルタおよびその予測子のフィルタインデックスは、連続している)。
上記の2つの予測方法のうちの1つの使用を示すために、ビデオ符号化器20は、マージされたグループの数が1より大きく、且つforceCoeff0が0に等しいときに、1つのフラグをシグナリングし得る。
【0091】
[0090]ALFパラメータのセットは、上記にリストされたシンタックス要素のうちの1つまたは複数を含み得、およびまたフィルタ係数を含み得る。
【0092】
[0091]ビデオコーダ(例えば、ビデオ符号化器20またはビデオ復号器30)はまた、フィルタ係数の時間的予測を使用し得る。ビデオコーダは、以前にコーディングされたピクチャのALF係数を記憶し得、および現在のピクチャのALF係数として以前にコーディングされたピクチャのALF係数を再使用し得る。ビデオ符号化器20は、現在のピクチャについての記憶されたALF係数を使用し、およびALF係数のシグナリングを回避することを選び得る。このケースでは、ビデオ符号化器20は、参照ピクチャのうちの1つにインデックス(それは、ALFパラメータについての記憶されたアレイ中の候補のインデックスに実際に等しい)をシグナリングするのみであり、および示されたピクチャの記憶されたALF係数は、現在のピクチャのために単に引き継がれる。時間的予測の使用を示すために、ビデオ符号化器20は、参照ピクチャにインデックスを送る前に、時間的予測の使用を示すフラグを最初に符号化し得る。
【0093】
[0092]JEM4では、ビデオコーダは、シグナリングされたALFパラメータでコーディングされる(すなわち、時間的予測が無効にされる)多くとも6つの以前にコーディングされたピクチャからのALFパラメータを別個のアレイ中に記憶する。ビデオコーダは、イントラランダムアクセスポイント(IRAP)ピクチャについてのアレイを効果的に空にする。重複を避けるため、ビデオコーダは、ALFパラメータ値が明示的にシグナリングされた場合にのみ、アレイ中にALFパラメータ値を記憶する。ALFパラメータの記憶は、FIFO様式で動作するため、アレイがフルである場合、ビデオコーダは、復号順序で、最も古いALFパラメータ値(すなわち、ALFパラメータ)をALFパラメータ値の新しいセットで上書きする。
【0094】
[0093]M. Karczewicz et al., “Improvements on adaptive loop filter”, Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Doc. JVET-B0060_r1, 2nd Meeting: San Diego, USA, 20-26 February 2016(以下において「JVET-B0060」と記載される)では、幾何学的変換ベースのALF(GALF:the Geometric transformations-based ALF)が提案されている。GALFでは、分類は、対角勾配を考慮に入れて修正され、および幾何学的変換は、フィルタ係数に適用され得る。
【0095】
[0094]水平、垂直および対角勾配を含む全ての勾配情報に基づいて、フィルタ係数の4つの幾何学的変換のうちの1つが決定される。すなわち、同じカテゴリへと分類されるサンプルは、同じフィルタ係数を共有することになる。しかしながら、フィルタサポート領域は、選択された幾何学的変換インデックスに基づいて変換され得る。JVET-B0060中に説明されている方法は、復号器に送られなければならないフィルタの数を効果的に低減し得、故にそれらを表すのに必要とされるビットの数を低減する、または代替として、再構築されたフレームと元のフレームとの間の差分を低減し得る。各2×2ブロックは、その方向性と、アクティビティの量子化された値とに基づいて、25個のクラスのうちの1つへとカテゴリ化される。
【0096】
[0095]さらに、JVET-B0060では、(例えば、イントラフレーム中で)時間的予測が利用可能でないときにコーディング効率を改善するために、ビデオコーダは、各クラスに16個の固定フィルタのセットを割り当てる。すなわち、16*25(クラス)フィルタは、予め定義され得る。固定フィルタの使用を示すために、各クラスについてのフラグと、必要である場合には、固定フィルタのインデックスとがシグナリングされる。固定フィルタが所与のクラスのために選択されるときであっても、適応フィルタの係数f(k,l)は、このクラスのために依然として送られることができ、そのケースでは、再構築された画像に適用されることになるフィルタの係数は、係数の両方のセットの和である。クラスのうちの1つまたは複数は、異なる固定フィルタがそれらのために選ばれた場合であっても、ビットストリーム中でシグナリングされる同じ係数f(k,l)を共有することができる。2017年8月17日に公開された米国特許出願公開第2017/0238020号は、どのように固定フィルタがインターコーディングされたフレームにも適用されることができるかを説明している。
【0097】
[0096]JVET-B0060では、第2のバージョンのJEM(すなわち、JEM2)にあるような、以前にコーディングされたフレームからの時間的予測の設計は、変更されずに保持されている。JEM2は、Jianle Chen et al., “Algorithm Description of Joint Exploration Test Model 2,” Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2nd Meeting, San Diego, USA, 20-26 February 2016, document JVET-B1001_v3中に説明されている。すなわち、フラグは、ALF係数の時間的予測が使用されるかどうかを示すためにコーディングされる。ALF係数の時間的予測が使用される場合、記憶されたALFパラメータについての選択されたピクチャのインデックスが、さらにシグナリングされる。このケースでは、各クラスについてのフィルタインデックスとフィルタ係数とをシグナリングする必要はない。
【0098】
[0097]さらに、ALFフィルタ係数の明示的なコーディングは、GALFで使用され得る。例えば、固定フィルタからの予測パターンおよび予測インデックスは、GALFにおいて明示的にコーディングされ得る。3つのケースが定義される:
・ケース1:25個のクラスのフィルタのいずれも、固定フィルタから予測されないかどうか。
・ケース2:クラスの全てのフィルタが、固定フィルタから予測される。
・ケース3:いくつかのクラスに関連付けられたフィルタが、固定フィルタから予測され、および残りのクラスに関連付けられたフィルタが、固定フィルタから予測されない。
インデックスは、3つのケースのうちの1つを示すために最初にコーディングされ得る。加えて、以下が適用される:
・示されたケースがケース1である場合は、固定フィルタのインデックスをさらにシグナリングする必要はない。
・そうでない場合、示されたケースがケース2である場合は、各クラスについての選択された固定フィルタのインデックスがシグナリングされる。
・そうでない場合、示されたケースがケース3である場合は、各クラスについての1ビットが最初にシグナリングされ、および固定フィルタが使用される場合は、固定フィルタのインデックスがさらにシグナリングされる。
【0099】
[0098]GALFでは、フィルタ係数を表すのに必要とされるビットの数を低減するために、異なるクラスがマージされることができる。しかしながら、JCTVC-E603とは異なり、クラスのいかなるセット、Cの非連続値を有するクラスであっても、マージされることができる。どのクラスがマージされるかに関する情報は、インデックスiCを25個のクラスの各々のために送ることによって提供される。同じインデックスiCを有するクラスは、コーディングされた同じフィルタ係数を共有する。インデックスiCは、トランケートされた固定長方法でコーディングされる。
【0100】
[0099]同様に、forceCoeff0フラグもまた使用され得る。forceCoeff0フラグが1に等しいとき、CodedVarBinによって示される1ビットフラグが、シグナリングされたフィルタ係数が全て0であるかどうかを示すために、マージされたグループ(コーディングされることになる全てのフィルタ)の各々についてさらにシグナリングされる。その上、forceCoeff0が1に等しいとき、予測コーディング(すなわち、現在のフィルタと以前にコーディングされたフィルタとの間の差分をコーディングすること)は、無効にされる。固定フィルタからの予測が可能にされるとき、上述されたシグナリング/コーディングされることになるフィルタは、再構築された画像に適用されるフィルタと、選択された固定フィルタとの間の差分である。係数のような他の情報は、JEM2.0にあるのと同じ方法でコーディングされる。
【0101】
[0100]GALFがALFの一形態であることから、この開示は、ALFおよびGALFの両方に適用されるように「ALF」という用語を使用し得る。
【0102】
[0101]ALFおよびGALFにおけるフィルタの時間的予測のための現在の設計は、いくつかの欠点を有する。例えば、ピクチャがフィルタの明示的なコーディングを使用する場合、ピクチャを復号した後に、対応するALFフィルタは、時間的レイヤにかかわらず、時間的予測のためにALFフィルタのアレイに加えられ得る。すなわち、ピクチャを復号した後に、ビデオコーダは、アレイ中のエントリ中にALFパラメータのセットを含め得る。ALFパラメータのセットは、ピクチャ中で使用されるALFフィルタの各々についてのグループマージング情報およびフィルタ係数を含み得る。この設計は、ランダムアクセスのような、ある特定の構成下での時間的レイヤのサブセットの復号のときに失敗につながる。例が図3に与えられ、ここにおいて、GOPサイズは、16に等しい。図3の例では、5つの時間的レイヤがサポートされる(T0~T4によって示される)。ピクチャの符号化/復号順序は、ピクチャ順序カウンタ(POC)0[T0]、POC16[T0]、POC8[T1]、POC4[T2]、POC2[T3]、POC1[T4]、POC3[T4]、POC6[T3]、POC5[T4]、POC7[T4]、POC12[T2]、POC10[T3]、POC9[T4]、POC11[T4]、POC14[T3]、POC13[T4]、POC15[T4]である。異なるダッシュパターンを有する矢印は、参照ピクチャとしてピクチャから指し示されたもの(the pointed from pictures)を使用し得るピクチャを指し示す。図3は、明確さのためにある特定の矢印を省略することに留意されたい。
【0103】
[0102]図4Aは、フィルタパラメータを記憶するためのアレイ50を例示している。図4Bは、アレイ50の異なる状態を例示している。各ピクチャが有効にされたALFでコーディングされ、および各ピクチャについてのALFフィルタが明示的にシグナリングされると想定すると、図3のPOC3を復号する前に、記憶されたフィルタについてのアレイは、図4Aに示されている状態を有する。図3のPOC3を復号した後およびPOC6を復号する前に、記憶されたALFフィルタについてのアレイは、図4Bに示されているように更新される。図4Bの例に示されているように、POC0についてのフィルタは、フィルタがFIFO様式で置き換えられ、且つPOC0についてのフィルタがアレイ50に加えられた最初のフィルタだったことから、POC3についてのフィルタと置き換えられている。
【0104】
[0103]したがって、3に等しい時間的レイヤインデックス(TempIdx)を有するPOC6を復号するために、4に等しい時間的レイヤインデックスを有するPOC1、POC3のフィルタは、復号される必要がある。これは、時間的スケーラビリティの精神と相容れず、ここにおいて、TempIdxのある特定の値を有するピクチャを復号することは、TempIdxのより大きい値を有するピクチャに依拠するべきではない。
【0105】
[0104]ALFにおけるフィルタの時間的予測のための現在の設計の第2の欠点は、ALFフィルタの時間的予測がスライスに対して有効にされたときに、いくつかの例では、ある特定の以前にコーディングされたフレームからの全てのALFフィルタが引き継がれるべきであるということである。それは、クラスとフィルタ係数とのマージが、現在のスライスについての特性をより良くキャプチャするためにクラスとフィルタ係数とを若干修正する可能性なしに直接再使用されることを意味する。
【0106】
[0105]以下の技法は、上述されたALFにおけるフィルタの時間的予測のための現在の設計の欠点のうちの1つまたは複数を解決するために提案される。以下の項目別の技法は、個々に適用され得る。代替として、それらの任意の組み合わせが適用され得る。
【0107】
[0106]第1の技法にしたがって、複数のアレイが、以前にコーディングされたALFフィルタの1つまたは複数のセットを記憶するために割り振られ得る。言い換えれば、ビデオコーダは、複数のアレイ中にALFパラメータのセットを記憶し得る。各アレイは、割り当てられた時間的レイヤインデックスに対応する(TempIdx、それは、HEVC仕様において定義されたTemporalIDと同等である)。第1の技法にしたがって、各アレイは、同じTempIdxまたはより低いTempIdxを有するピクチャからのALFパラメータのみを包含する。TempIdxを有するスライス(またはALFを遂行するための他のユニット)は、このアレイ中に構成されたフィルタの1つのセットを選択し得る。言い換えれば、ビデオコーダは、スライスのTempIdxに対応するアレイ中のALFパラメータに基づいて、ALFフィルタをスライスのブロック中のサンプルに適用し得る。有効にされたALFでコーディングされる領域について、およびALFパラメータが明示的にシグナリングされると想定すると(すなわち、時間的予測なし)、この領域についてのALFパラメータのセットは、同じまたはより高いTempIdxに関連付けられたアレイに加えられ得る。これは、現在のピクチャの時間的レイヤより上位の時間的レイヤのピクチャ中で使用されるALFフィルタに対応する1つまたは複数のALFパラメータを含む記憶されたALFパラメータのアレイに関して上述された欠点を解決し得る。
【0108】
[0107]図5は、この開示の技法にしたがって、異なる時間的レイヤに対応する複数のアレイ60A~60E(集合的に、「アレイ60」)を例示している。図5の例では、図3の各ピクチャが有効にされたALFでコーディングされ、および各ピクチャについてのALFフィルタが明示的にシグナリングされると想定すると、図3のPOC6を復号する前に、記憶されたALFフィルタについてのアレイは、図5に示されている状態を有する。
【0109】
[0108]図5の例では、POC6が時間的レイヤT3中にあることから、ビデオコーダは、アレイ60DからのALFフィルタを使用し得る。このことから、図4Bの例とは異なり、POC1が復号されるか否かは、どのALFフィルタがPOC6を復号するときに使用のために利用可能であるかに対して影響を有さない。
【0110】
[0109]このように、第1の技法にしたがって、ビデオ符号化器20は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成し得る。現在のピクチャの現在の領域(例えば、ALFを遂行するためのスライスまたは他のタイプのユニット)は、現在の領域が属する時間的レイヤを示す時間的インデックス(すなわち、時間的レイヤインデックス)に関連付けられる。さらに、ビデオ符号化器20は、現在のピクチャの全てまたは一部を再構築する。ビデオ符号化器20は、現在の領域より前に復号されたビデオデータのピクチャの領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、複数のアレイ中に記憶する。例えば、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、ビデオ符号化器20は、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶し得る。複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。さらに、ビデオ符号化器20は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応するアレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定する。いくつかの例では、ビデオ符号化器20は、アレイ中のALFパラメータのセットのレート歪み分析に基づいて、ALFパラメータの選択されたセットを決定し得る。ビデオ符号化器20は、ビットストリーム中でALFパラメータの選択されたセットのインデックスをシグナリングし得る。さらに、この例では、ビデオ符号化器20は、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用する。現在の領域に適応ループフィルタリングを適用することは、現在の領域内の1つまたは複数の、ただし必ずしも全てではないブロックにALFフィルタを適用することを備え得る。現在の領域に適応ループフィルタリングを適用した後に、ビデオ符号化器20は、ビデオデータの後続のピクチャの予測のために現在の領域を使用し得る。
【0111】
[0110]同様に、第1の技法にしたがって、ビデオ復号器30は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信し得る。現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる。ビデオ復号器30はその後、現在のピクチャの全てまたは一部を再構築し得る。加えて、ビデオ復号器30は、現在のピクチャより前に復号されたビデオデータのピクチャの領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、複数のアレイ中に記憶する。複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。例えば、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、ビデオ復号器30は、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶し得る。ビデオ復号器30は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応する複数のアレイのうちのアレイ中のALFパラメータの選択されたセットに基づいて決定する。いくつかの例では、ビデオ復号器30は、ビットストリーム中でシグナリングされるインデックスに基づいて、ALFパラメータの選択されたセットを決定する。ビデオ復号器30はその後、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。現在の領域にALFフィルタを適用することは、現在の領域内の1つまたは複数の、ただし必ずしも全てではないブロックにALFフィルタを適用することを備え得る。
【0112】
[0111]TempIdxによって割り当てられる各アレイは、等しいまたはより低いTempIdxを有するピクチャに関連付けられた以前に復号されたフィルタのセットを備え得る。例えば、k番目のアレイは、kに等しいTempIdxに関連付けられるように割り当てられ、およびそれは、kに等しいまたはそれより低いTempIdxを有するピクチャからのフィルタのフルセットまたはサブセット(例えば、フィルタについてのALFパラメータ)のみを包含するであろう。
【0113】
[0112]このことから、複数のアレイの各それぞれのアレイについて、ビデオコーダ(例えば、ビデオ符号化器20またはビデオ復号器30)は、それぞれのアレイに対応する時間的レイヤに属し、且つそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤに属する現在のピクチャのより前に復号されたビデオデータのピクチャの領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットをそれぞれのアレイ中に記憶し得る。
【0114】
[0113]いくつかの例では、異なるアレイに関連付けられたフィルタセットの数は、異なり得る(それは、0以上であることができる)。代替として、いくつかの例では、異なる時間的レイヤに関連付けられたフィルタセットの数は、異なり得、および時間的レイヤインデックスに依存し得る。このことから、いくつかの例では、複数のアレイのうちの少なくとも2つは、ALFパラメータの異なる数のセットを含む。例えば、図5の例では、16個のピクチャのGOPでは、時間的レイヤT0中に2つより多くのピクチャは決して存在しないであろうことから、アレイ60A中に5つのロケーションを有することは不必要であり得る。このことから、アレイ60Aは、2つのロケーションのみを有し得る。同様に、図5の例では、16個のピクチャのGOPでは、時間的レイヤT1中に多くとも1つのピクチャが存在するであろう。故に、アレイ60Bは、3つのロケーションのみを有し得る。
【0115】
[0114]いくつかの例では、ALFを遂行するためのある特定のスライス/ユニットをコーディングした後に、ビデオコーダは、等しいまたはより高いTempIdxに関連付けられたそれらのアレイを更新するために、スライスに関連付けられたフィルタのセットを使用し得る。例えば、ビデオコーダは、現在の領域(すなわち、ALFを遂行するためのスライスまたは別のユニット)に適用可能であるALFパラメータのセットを、現在の領域が属する時間的レイヤに対応する1つのアレイ(および、いくつかの事例では、現在の領域が属する時間的レイヤより上位の時間的レイヤに対応する時間的レイヤに対応する複数のアレイ)中に記憶し得る。例えば、図3および図5の例では、現在の領域がPOC8に関連付けられたピクチャ中にある場合、ビデオコーダは、現在の領域に適用可能であるALFパラメータを含むように、アレイ60B、60C、60D、および60Eを更新し得る。
【0116】
[0115]いくつかの例では、各フィルタセット(例えば、ALFパラメータのセット)に関連付けられたPOC値もまた、記録され得る。このことから、ビデオコーダは、現在のピクチャのPOC値を、現在のピクチャの現在の領域が属する時間的レイヤに対応する1つのアレイ中に記憶し得る。一例では、ALF時間的予測のために所与のアレイから候補としてフィルタを選択するとき、フィルタに関連付けられたPOC値が現在の参照ピクチャリスト中の参照ピクチャのうちの1つのPOC値に等しいことが必要とされ得る。例えば、図5のPOC0におけるピクチャによって使用されるALFフィルタについてのALFパラメータを記憶することに加えて、ビデオコーダは、POC0の値を示すデータをアレイ60A中に記憶し得る。この例では、POC6におけるピクチャの領域を符号化するときに、POC0におけるピクチャがPOC6におけるピクチャの参照ピクチャ中にない場合、ビデオ符号化器20は、POC0におけるピクチャについてのアレイ60A中に記憶されたALFフィルタの中からALFフィルタを選択することを許容されない。
【0117】
[0116]第2の技法にしたがって、アレイが、以前にコーディングされたALFフィルタのセットを記憶するために依然として使用される。フィルタに加えて、各セットについて(それは、スライス/ピクチャをコーディングするために使用される複数のフィルタを包含し得る)、フィルタセットに関連付けられた時間的レイヤインデックス(TempIdx)もまた、記録される。言い換えれば、時間的レイヤインデックスは、ALFフィルタについてのALFパラメータとともに記憶され得る。
【0118】
[0117]第2の技法に基づくいくつかの例では、アレイのサイズは、(可能性のある時間的レイヤの数)*(ALF使用のためのスライス/ピクチャまたは他のユニットについての時間的予測のためのフィルタのセットの最大数)に設定され得る。一例では、可能性のある時間的レイヤの数は、コーディング構造(例えば、いくつのレベルが階層B構造中でサポートされるか)または低遅延チェックフラグ(HEVC仕様におけるNoBackwardPredFlag)に依存し得る。
【0119】
[0118]一例では、ALF使用のためのスライス/ピクチャまたは他のユニットについての時間的予測のためのフィルタのセットの最大数は、予め定義され得るか、またはシグナリングされ得るか、またはTempIdxに依存し得る。一例では、可能性のある時間的レイヤの数は、5に設定され、およびALF使用のためのスライス/ピクチャまたは他のユニットについての時間的予測のためのフィルタのセットの最大数は、6に設定される。スライス/ピクチャをコーディングするとき、時間的予測のための可能性のある候補が、アレイ中に含まれたセットをトラバースすることによって決められ得、および等しいまたはより小さいTempIdxを有する全てまたはいくつかのフィルタセットが、有効な候補として扱われる。
【0120】
[0119]ALFを遂行するためのある特定のスライス/ユニットをコーディングした後に、スライスに関連付けられたフィルタのセットおよび関連するTempIdxは、アレイを更新するために使用され得る。例えば、コーディングされたビデオ(a video coded)(例えば、ビデオ符号化器20またはビデオ復号器30)は、領域についてのALFパラメータの適用可能なセットを、アレイ中のALFパラメータの選択されたセットに基づいて決定し得る。この例では、符号化器または復号器は、ALFパラメータの適用可能なセットを、1つのアレイ中に記憶し得る。符号化器または復号器はまた、現在の領域が属する時間的レイヤより上位の時間的レイヤに対応するアレイのうちの1つまたは複数中にALFパラメータの適用可能なセットを記憶し得る。この例では、ビデオコーダは、ALFパラメータがビットストリーム中で明示的にシグナリングされなかった場合に、アレイ中にALFパラメータを記憶しないことがあり得る。いくつかの例では、符号化器または復号器は、ALFパラメータの適用可能なセットがアレイ中に未だに記憶されていない場合にのみ、アレイ中にALFパラメータの適用可能なセットを記憶する。
【0121】
[0120]図6は、この開示の第2の技法にしたがって、ALFパラメータと時間的レイヤインデックス(TempIdx)値とを記憶するためのアレイ70を例示している。図6の例では、可能性のある時間的レイヤの数は、5であり、および領域についての時間的予測のためのフィルタのセットの最大数は、6に設定され、30個のエントリを包含するアレイ70をもたらす。図6の例では、図3の各ピクチャが有効にされたALFでコーディングされ、および各ピクチャについてのALFフィルタが明示的にシグナリングされると想定すると、図3のPOC6を復号する前に、記憶されたALFフィルタについてのアレイは、図6に示されている状態を有する。
【0122】
[0121]図6の例では、ビデオコーダは、POC6をコーディングする際に使用されるALFパラメータの予測子としてビデオコーダが使用し得るALFパラメータを、アレイ70中のエントリのうちのどれが記憶するかを決定するために、アレイ70中に記憶されたTempIdx値をレビューし得る。そうする際に、ビデオコーダは、T3(すなわち、POC6についてのTempIdx)より大きいTempIdx値を指定する任意のエントリを無視し得る。図4Bの例とは対照的に、POC0についてのフィルタは、POC3についてのフィルタによって上書きされない。
【0123】
[0122]このように、この開示の第2の技法にしたがって、ビデオ符号化器20は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成し得る。現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる。加えて、ビデオ符号化器20は、現在のピクチャを再構築し得る。ビデオ符号化器20はまた、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ中に記憶する。さらに、ビデオ符号化器20は、ALFパラメータのセットに関連付けられた時間的レイヤインデックスを、1つのアレイ中に記憶する。ALFパラメータのセットに関連付けられた時間的レイヤインデックスは、ALFパラメータのセットがALFフィルタを適用するために使用された領域の時間的レイヤを示す。この例では、ビデオ符号化器20は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤ、または現在の領域が属する時間的レイヤより下位の時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定する。ビデオ符号化器20はその後、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。現在の領域に適応ループフィルタリングを適用した後に、ビデオ符号化器20は、ビデオデータの後続のピクチャの予測のために現在の領域を使用し得る。
【0124】
[0123]同様に、この開示の第2の技法にしたがって、ビデオ復号器30は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信し得る。現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる。さらに、ビデオ復号器30は、現在のピクチャを再構築し得る。この例では、ビデオ復号器30は、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ中に記憶する。加えて、ビデオ復号器30は、ALFパラメータのセットに関連付けられた時間的レイヤインデックスを、1つのアレイ中に記憶する。ALFパラメータのセットに関連付けられた時間的レイヤインデックスは、ALFパラメータのセットがALFフィルタを適用するために使用された領域の時間的レイヤを示す。この例では、ビデオ復号器30は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。加えて、この例では、ビデオ復号器30は、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。
【0125】
[0124]この開示の第2の技法に基づくいくつかの例では、ALFフィルタの各セットに関連付けられたPOC値もまた、記憶され得る。例えば、ビデオコーダはまた、ALFパラメータが明示的にコーディングされる現在のピクチャのPOC値を、1つのアレイ(例えば、アレイ70)中に記憶し得る。このことから、この例では、複数複数の(a plurality multiple)ピクチャを符号化/復号した後に、ビデオコーダは、新しい現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ中に記憶している。
【0126】
[0125]一例では、時間的予測のための可能性のある候補は、アレイ中に含まれたセットをトラバースすることによって決められ得、等しいまたはより小さいTempIdxを有する全てまたはいくつかのフィルタセット、および現在の参照ピクチャリスト中の参照ピクチャのうちの1つのPOC値に等しいPOC値を有するそれらが、有効な候補として扱われ得る。例えば、ビデオコーダは、現在の領域についてのALFパラメータの適用可能なセットを、現在のピクチャの現在の領域が属する時間的レイヤ、または現在の領域が属する時間的レイヤより下位の時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。この例では、現在の領域についてのALFパラメータの適用可能なセットを決定するときに、現在の領域についてのALFパラメータの適用可能なセットに関連付けられたPOC値が、現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる。
【0127】
[0126]この開示の第2の技法に基づくいくつかの例では、アレイ中に記憶されることになる各ALFフィルタは、現在のピクチャの参照ピクチャセット中に含まれている参照ピクチャに関連付けられるべきである(これらのピクチャはまた、復号ピクチャバッファ中で利用可能になるであろう)。すなわち、ピクチャが現在のピクチャの参照ピクチャセット中に含まれない場合、現在のピクチャに関連付けられたフィルタは、ALF時間的予測のために記憶および使用されることができない。
【0128】
[0127]この開示の第2の技法に基づくいくつかの例では、アレイのサイズは、参照ピクチャセットのサイズに依存し得る。例えば、アレイのサイズは、参照ピクチャセット中にあることを許容される参照ピクチャの最大数に等しくあり得る。
【0129】
[0128]いくつかの例では、ビデオコーダは、特にALFフィルタパラメータ(すなわち、ALFパラメータ)についてのリストを生成しないが、そのリストは、現在のスライスについて生成される参照ピクチャリストと同じである。このケースでは、現在の領域の参照ピクチャに関連付けられたALFパラメータは、参照ピクチャ記憶装置によって必要とされる(再構築サンプル、1つの領域を有する各ブロックの動き情報のような)他の情報とともに直接記憶される。別の代替として、ALFフィルタパラメータのリストは、現在のスライス(またはピクチャ)の参照ピクチャセットに等しく設定される。
【0130】
[0129]アレイ(例えば、アレイ70)中に記憶された各ALFフィルタが現在のピクチャの参照ピクチャセット中に含まれた参照ピクチャに関連付けられた別の例では、(現在のピクチャの参照ピクチャセット中に含まれた参照ピクチャに関連付けられた)ALFフィルタパラメータのリスト(アレイ)は、現在のスライスについての参照ピクチャリストとは独立して別個に生成される。ALFフィルタパラメータの効率的なリストの効率的な生成のために、ALFフィルタパラメータのより頻繁に使用されるセットがALFフィルタパラメータのリスト中のより早い位置にあるように、ALFフィルタパラメータのリスト中のALFフィルタパラメータの候補セットの特定の順序のシグナリングのためのシンタックス要素は、スライスヘッダ中の参照ピクチャリスト修正シンタックスと同様に、スライスヘッダ中に含まれることができる。
【0131】
[0130]第3の技法にしたがって、記憶されたALFフィルタについてのアレイ(1つ以上)を更新するためにFIFO規則を使用する代わりに、アレイ(1つ以上)を更新するためにピクチャ順序カウント(POC)差分をさらに考慮することが提案される。例えば、アレイ(例えば、図4Aおよび図4Bのアレイ50、図5のアレイ60のうちの1つ、または図6のアレイ70)がフルである場合、ビデオコーダは、アレイ中のどのエントリが現在のピクチャのPOC値と最も異なるPOC値に関連付けられたALFフィルタを記憶するかを決定し得る。第1の技法に基づく一例では、ALFパラメータのセットが現在のピクチャの領域について明示的にシグナリングされるとき、ビデオコーダは、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータのどのセットを現在の領域についてのALFパラメータの適用可能なセットと置き換えるかを、現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定し得る。第2の技法に基づく一例では、ALFパラメータのセットが現在のピクチャの領域について明示的にシグナリングされるとき、ビデオコーダは、アレイ中のALFパラメータのどのセットを現在の領域についてのALFパラメータの適用可能なセットと置き換えるかを、現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定し得る。
【0132】
[0131]いくつかの例では、参照ピクチャセットから参照ピクチャを選択することとは異なる、参照ピクチャセットからフィルタを選択することの別個のリストが定義され得る。このケースでは、選択されるフィルタは、現在のスライス/タイル/ピクチャの任意の参照ピクチャリスト中に含まれていないピクチャからのものであり得る。
【0133】
[0132]第4の技法にしたがって、ALF時間的予測のためのフィルタの選択されたセット/サブセットのインデックスのシグナリングは、時間的レイヤインデックスに依存し得る。ALF時間的予測のためのフィルタのサブセットは、ALFフィルタの部分的セットである。例えば、現在、ピクチャごとに25個のALFフィルタが存在することができる。この例では、時間的予測を使用するとき、ビデオコーダは、ピクチャに関連付けられることになる、25個の代わりに10個のALFフィルタを選び得る。一例では、トランケートされた単項2値化方法(truncated unary binarization method)は、フィルタのセットの選択されたインデックスをコーディングするために使用され得、およびセットの許容された数の最大値は、時間的レイヤインデックスに依存する。
【0134】
[0133]例えば、第4の技法の例にしたがって、ビデオ符号化器20は、ALFパラメータの選択されたセットのインデックスを示すシンタックス要素を、ビットストリーム中に含め得る。同様に、ビデオ復号器30は、ALFパラメータの選択されたセットのインデックスを示すシンタックス要素を、ビットストリームから取得し得る。ALFパラメータの選択されたセットは、第1の技法において使用されるタイプの複数のアレイのうちの1つまたは第2の技法において使用されるタイプの1つのアレイ中にあり得る。この例では、ビデオ符号化器20および/またはビデオ復号器30は、現在の領域についてのALFパラメータの適用可能なセットを、アレイ中のALFパラメータの選択されたセットに基づいて決定し得る。ビデオ符号化器20および/またはビデオ復号器30は、現在の領域にALFフィルタを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。この例では、シンタックス要素のフォーマットは、時間的レイヤインデックスに依存する。例えば、トランケートされた単項2値化方法は、シンタックス要素をコーディングするために使用され得、およびALFパラメータのセットの許容された数の最大値は、時間的レイヤインデックスに依存する。
【0135】
[0134]第4の技法に基づくいくつかの例では、インデックスのシグナリングは、POC差分にさらに依存し得る。言い換えれば、以前の段落の例のコンテキストでは、シンタックス要素のフォーマットは、POC差分にさらに依存する。例えば、インデックスが0である場合、ALFパラメータの選択されたセットは、現在のピクチャのPOC値に最も近いPOC値を有するピクチャに関連付けられ、インデックスが1である場合、ALFパラメータの選択されたセットは、現在のピクチャのPOC値に次に最も近いPOC値を有するピクチャに関連付けられ、といった具合である。この例では、1つのアレイまたは複数のアレイ中のALFパラメータのセットのうちの2つ以上が現在のピクチャからの同じPOC距離を有するピクチャに関連付けられる場合、より低い(または、他の例では、より高い)POC値を有するピクチャに関連付けられたALFパラメータのセットは、より低いインデックス値に関連付けられる。
【0136】
[0135]第5の技法にしたがって、フィルタ係数およびクラスマージング情報の両方を引き継ぐ代わりに、クラスマージング情報のみが引き継がれ得ることが提案される。すなわち、異なるクラスについてのフィルタインデックスは、以前にコーディングされた情報から引き継がれることができる。代替として、さらに、別個のアレイは、各クラスについてのフィルタインデックスを記録するためにある1つのアレイを、およびフィルタ係数を記録するためにもう一方を、割り振られ得る。
【0137】
[0136]このことから、第5の技法にしたがう一例では、ビデオコーダは、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、複数のアレイ中に記憶し得、複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。この例では、ビデオコーダは、フィルタ係数ではなくクラスマージング情報を、現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応するアレイ中のALFパラメータのセットから決定し得る。
【0138】
[0137]さらに、いくつかの例では、ビデオコーダは、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるフィルタ係数のセットを、第2の複数のアレイ中に記憶し得、第2の複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。現在の領域についてのALFパラメータの適用可能なセットを決定することの一部として、ビデオコーダは、ALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応する第2の複数のアレイのうちのアレイのうちの1つ中のフィルタ係数のセットに基づいて、および現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応する第1の複数のアレイ中の1つのアレイ中のALFパラメータのセットに基づいて、決定し得る。
【0139】
[0138]第5の技法にしたがう一例では、ビデオコーダは、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ中に記憶し得る。この例では、ビデオコーダは、フィルタ係数ではなくクラスマージング情報を、現在の領域が属する時間的レイヤ、または現在の領域が属する時間的レイヤより下位の時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータのセットから決定し得る。
【0140】
[0139]さらに、いくつかの例では、ビデオコーダは、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるフィルタ係数のセットを、第2の1つのアレイ中に記憶し得る。そのような例では、ビデオコーダは、フィルタ係数のセットに関連付けられた時間的レイヤインデックスを、第2の1つのアレイ中に記憶し得る。フィルタ係数のセットに関連付けられた時間的レイヤインデックスは、ALFパラメータのセットがALFフィルタを適用するために使用された領域の時間的レイヤを示す。現在の領域についてのALFパラメータの適用可能なセットを決定することの一部として、ビデオコーダは、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応する第2の複数のアレイのうちのアレイのうちの1つ中のフィルタ係数のセットに基づいて、および現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応する第1の複数のアレイ中の1つのアレイ中のALFパラメータのセットに基づいて、決定し得る。
【0141】
[0140]第6の技法にしたがって、フィルタ係数およびクラスマージング情報の両方を引き継ぐ代わりに、フィルタ係数のみが引き継がれ得ることが提案される。すなわち、現在のスライス/ピクチャについて、クラスインデックスとフィルタインデックスとの間の関係は、時間的予測が使用されるとしてもさらにシグナリングされ得る。
【0142】
[0141]このことから、第6の技法の例にしたがって、ビデオコーダは、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、複数のアレイ中に記憶し得る。複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。この例では、現在の領域についてのALFパラメータの適用可能なセットを決定することの一部として、ビデオコーダは、クラスマージング情報ではなくフィルタ係数を、現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応するアレイ中のALFパラメータのセットから決定し得る。
【0143】
[0142]さらに、いくつかの例では、ビデオコーダは、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるクラスマージング情報のセットを、第2の複数のアレイ中に記憶し得る。第2の複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。現在の領域についてのALFパラメータの適用可能なセットを決定することの一部として、ビデオコーダは、ALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応する第2の複数のアレイのうちのアレイのうちの1つ中のクラスマージング情報のセットに基づいて、および現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応する第1の複数のアレイ中の1つのアレイ中のALFパラメータのセットに基づいて、決定し得る。
【0144】
[0143]第6の技法の別の例にしたがって、ビデオコーダは、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ中に記憶し得る。この例では、ビデオコーダは、クラスマージング情報ではなくフィルタ係数を、現在の領域が属する時間的レイヤ、または現在の領域が属する時間的レイヤより下位の時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータのセットから決定し得る。
【0145】
[0144]さらに、いくつかの例では、ビデオコーダは、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるクラスマージング情報のセットを、第2の1つのアレイ中に記憶し得る。この例では、ビデオコーダはまた、クラスマージング情報のセットに関連付けられた時間的レイヤインデックスを、第2の1つのアレイ中に記憶し得る。フィルタ係数のセットに関連付けられた時間的レイヤインデックスは、ALFパラメータのセットがALFフィルタを適用するために使用された領域の時間的レイヤを示す。現在の領域についてのALFパラメータの適用可能なセットを決定することの一部として、ビデオコーダは、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応する第2の複数のアレイのうちのアレイのうちの1つ中のフィルタ係数のセットに基づいて、および現在の領域が属する時間的レイヤに対応する、または現在の領域が属する時間的レイヤより下位の時間的レイヤに対応する第1の複数のアレイ中の1つのアレイ中のALFパラメータのセットに基づいて、決定し得る。
【0146】
[0145]第7の技法にしたがって、時間的予測が使用されるときであっても、選択された記憶されたフィルタと導出されたフィルタとの間の差分が、さらにシグナリングされ得る。一例では、フィルタのセットのインデックスおよびフラグを有効にする時間的予測をシグナリングするための現在の設計が、依然として使用され得る。加えて、フラグは、フィルタ差分をシグナリングするか否かを示すために使用され得る。する場合、差分が、さらにシグナリングされ得る。いくつかの例では、以前にコーディングされたフレームまたはスライスからのフィルタが加えられ、および固定フィルタの一部として扱われ得る。このケースでは、固定フィルタのサイズおよび固定フィルタの係数は、適応的に変更され得る。代替として、さらに、いくつかの例では、セットのフィルタが固定フィルタに加えられるとき、重複を避けるためにプルーニングが適用されるべきである。
【0147】
[0146]第7の技法にしたがう例では、ビデオ符号化器20は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。代替として、この例では、ビデオ符号化器20は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。いずれのケースでも、ビデオ符号化器20は、ALFパラメータの選択されたセットと現在の領域についてのALFパラメータの適用可能なセットとの間の差分のインジケーションを、ビットストリーム中に含め得る。いくつかの例では、ビデオ符号化器20は、ビットストリームが差分のインジケーションを含むかどうかを示すシンタックス要素を、ビットストリーム中に含め得る。
【0148】
[0147]第7の技法にしたがう別の例では、ビデオ復号器30は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。代替では、この例では、ビデオ復号器30は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。いずれのケースでも、ビデオ復号器30は、ALFパラメータの選択されたセットと現在の領域についてのALFパラメータの適用可能なセットとの間の差分のインジケーションを、ビットストリームから取得し得る。この例では、現在の領域についてのALFパラメータの適用可能なセットを決定することの一部として、ビデオ復号器30は、現在の領域についてのALFパラメータの適用可能なセットを、ALFパラメータの選択されたセットと差分とに基づいて決定し得る。いくつかの例では、ビデオ復号器30は、ビットストリームが差分のインジケーションを含むかどうかを示すシンタックス要素を、ビットストリームから取得し得る。
【0149】
[0148]第8の技法にしたがって、ALFフィルタの1つまたは複数のセットは、異なるコーディングされたビデオシーケンス中のピクチャであってもそれらを使用し得るように、パラメータセット(例えば、シーケンスパラメータセットまたはピクチャパラメータセット)中に記憶され得る。誤り耐性問題またはランダムアクセス問題を避けるために、スライスヘッダ中でシグナリングされたALFフィルタを使用してパラメータセット中のALFフィルタのセットを更新することを許容されない。例えば、ビットストリームをコーディングするとき、ビデオコーダは、ビットストリームのパラメータセット中に指定されたALFフィルタのセットを、1つのアレイ中に記憶し得る。この例では、スライスヘッダは、追加のALFフィルタまたはフィルタ差分を定義するALFパラメータを含み得る。スライスヘッダは、スライス(またはスライスセグメント)中に表された第1または全てのコーディングツリーユニットに関係したデータ要素を包含するコーディングされたスライス(またはコーディングされたスライスセグメント)の一部である。
【0150】
[0149]図7は、この開示の技法をインプリメントし得る実例的なビデオ符号化器20を例示するブロック図である。図7は、説明を目的として提供されており、この開示中に広く例証および説明されるような技法の限定と見なされるべきではない。この開示の技法は、様々なコーディング規格または方法に適用可能であり得る。
【0151】
[0150]処理回路は、ビデオ符号化器20を含み、およびビデオ符号化器20は、この開示中に説明される実例的な技法のうちの1つまたは複数を遂行するように構成される。例えば、ビデオ符号化器20は、集積回路を含み、および図5に例示されている様々なユニットは、回路バスを用いて相互接続されているハードウェア回路ブロックとして形成され得る。これらのハードウェア回路ブロックは、別個の回路ブロックであり得る、またはユニットのうちの2つ以上は、共通ハードウェア回路ブロックへと組み合わされ得る。ハードウェア回路ブロックは、算術ロジックユニット(ALU:arithmetic logic units)、初等関数ユニット(EFU:elementary function units)のような演算ブロック、ならびにAND、OR、NAND、NOR、XOR、XNORのようなロジックブロック、および他の同様のロジックブロックを形成する電気コンポーネントの組み合わせとして形成され得る。
【0152】
[0151]いくつかの例では、図7に例示されているユニットのうちの1つまたは複数は、処理回路上で実行するソフトウェアユニットであり得る。そのような例では、これらのソフトウェアユニットについてのオブジェクトコードは、メモリ中に記憶される。オペレーティングシステムは、ビデオ符号化器20に、オブジェクトコードを取り出し、且つオブジェクトコード実行することを行わせ得、それは、ビデオ符号化器20に、実例的な技法をインプリメントするための動作を遂行することを行わせる。いくつかの例では、ソフトウェアユニットは、スタートアップ時にビデオ符号化器20が実行するファームウェアであり得る。それ故に、ビデオ符号化器20は、実例的な技法を遂行するようにハードウェアを専門化するためにハードウェア上で実行するソフトウェア/ファームウェアを有するか、または実例的な技法を遂行するハードウェアを有する構造的コンポーネントである。
【0153】
[0152]図7の例では、ビデオ符号化器20は、予測処理ユニット100と、ビデオデータメモリ101と、残差生成ユニット102と、変換処理ユニット104と、量子化ユニット106と、逆量子化ユニット108と、逆変換処理ユニット110と、再構築ユニット112と、フィルタユニット114と、復号ピクチャバッファ116と、エントロピー符号化ユニット118とを含む。予測処理ユニット100は、インター予測処理ユニット120と、イントラ予測処理ユニット126とを含む。インター予測処理ユニット120は、動き推定ユニットと、動き補償ユニットとを含み得る(図示せず)。
【0154】
[0153]ビデオデータメモリ101は、ビデオ符号化器20のコンポーネントによって符号化されることになるビデオデータを記憶するように構成され得る。ビデオデータメモリ101中に記憶されるビデオデータは、例えば、ビデオソース18から取得され得る。復号ピクチャバッファ116は、例えば、イントラまたはインターコーディングモードで、ビデオ符号化器20によってビデオデータを符号化する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ101および復号ピクチャバッファ116は、同期動的ランダムアクセスメモリ(SDRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM(登録商標))、または他のタイプのメモリデバイスを含むDRAMのような、多様なメモリデバイスのうちの任意のものによって形成され得る。ビデオデータメモリ101および復号ピクチャバッファ116は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ101は、ビデオ符号化器20の他のコンポーネントとともにオンチップであり得るか、またはそれらのコンポーネントに対してオフチップであり得る。ビデオデータメモリ101は、図1の記憶媒体19と同じまたはその一部であり得る。
【0155】
[0154]ビデオ符号化器20は、ビデオデータを受信する。ビデオ符号化器20は、そのビデオデータのピクチャのスライス中の各CTUを符号化し得る。CTUの各々は、等しいサイズのルーマコーディングツリーブロック(CTB)およびピクチャの対応するCTBに関連付けられ得る。CTUを符号化することの一部として、予測処理ユニット100は、CTUのCTBを次第により小さいブロック(progressively-smaller blocks)へと分割するために区分化を遂行し得る。より小さいブロックは、CUのコーディングブロックであり得る。例えば、予測処理ユニット100は、ツリー構造にしたがって、CTUに関連付けられたCTBを区分化し得る。
【0156】
[0155]ビデオ符号化器20は、CUの符号化された表現(すなわち、コーディングされたCU)を生成するために、CTUのCUを符号化し得る。CUを符号化することの一部として、予測処理ユニット100は、CUの1つまたは複数のPUの間でCUに関連付けられたコーディングブロックを区分化し得る。このことから、各PUは、ルーマ予測ブロックおよび対応するクロマ予測ブロックに関連付けられ得る。ビデオ符号化器20およびビデオ復号器30は、様々なサイズを有するPUをサポートし得る。上述されたように、CUのサイズは、CUのルーマコーディングブロックのサイズを指し得、およびPUのサイズは、PUのルーマ予測ブロックのサイズを指し得る。特定のCUのサイズが2N×2Nであると想定すると、ビデオ符号化器20およびビデオ復号器30は、イントラ予測のために2N×2NまたはN×NのPUサイズを、およびインター予測のために2N×2N、2N×N、N×2N、N×N、または同様のものの対称PUサイズをサポートし得る。ビデオ符号化器20およびビデオ復号器30はまた、インター予測のために2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズについての非対称区分化をサポートし得る。
【0157】
[0156]インター予測処理ユニット120は、PUについての予測データを生成し得る。PUについての予測データを生成することの一部として、インター予測処理ユニット120は、PUに対してインター予測を遂行する。PUについての予測データは、PUの予測ブロックおよびPUについての動き情報を含み得る。インター予測処理ユニット120は、PUがIスライス中にあるか、Pスライス中にあるか、またはBスライス中にあるかに依存して、CUのPUに対して異なる動作を遂行し得る。Iスライスでは、全てのPUがイントラ予測される。故に、PUがIスライス中にある場合、インター予測処理ユニット120は、PUに対してインター予測を遂行しない。このことから、Iモードで符号化されるブロックの場合、予測されたブロックは、同じフレーム内の以前に符号化された近隣ブロックからの空間的予測を使用して形成される。PUがPスライス中にある場合、インター予測処理ユニット120は、PUの予測ブロックを生成するために、単方向(uni-directional)インター予測を使用し得る。PUがBスライス中にある場合、インター予測処理ユニット120は、PUの予測ブロックを生成するために、単方向または双方向(bi-directional)インター予測を使用し得る。
【0158】
[0157]イントラ予測処理ユニット126は、PUに対してイントラ予測を遂行することによって、PUについての予測データを生成し得る。PUについての予測データは、PUの予測ブロックおよび様々なシンタックス要素を含み得る。イントラ予測処理ユニット126は、Iスライス、Pスライス、およびBスライス中のPUに対してイントラ予測を遂行し得る。
【0159】
[0158]PUに対してイントラ予測を遂行するために、イントラ予測処理ユニット126は、PUについての予測データの複数のセットを生成するために、複数のイントラ予測モードを使用し得る。イントラ予測処理ユニット126は、PUについての予測ブロックを生成するために、近隣PUのサンプルブロックからのサンプルを使用し得る。近隣PUは、PU、CU、およびCTUに対する左から右、上から下への符号化順序を想定すると、PUの上、右上、左上、または左にあり得る。イントラ予測処理ユニット126は、様々な数のイントラ予測モード、例えば、33個の方向イントラ予測モードを使用し得る。いくつかの例では、イントラ予測モードの数は、PUに関連付けられた領域のサイズに依存し得る。
【0160】
[0159]予測処理ユニット100は、PUについてのインター予測処理ユニット120によって生成された予測データまたはPUについてのイントラ予測処理ユニット126によって生成された予測データの中から、CUのPUについての予測データを選択し得る。いくつかの例では、予測処理ユニット100は、予測データのセットのレート/歪みメトリックに基づいて、CUのPUについての予測データを選択する。選択された予測データの予測ブロックは、ここでは選択された予測ブロックと呼ばれ得る。
【0161】
[0160]残差生成ユニット102は、CUについての残差ブロック(例えば、ルーマ、CbおよびCr残差ブロック)を、CUについてのコーディングブロック(例えば、ルーマ、CbおよびCrコーディングブロック)と、CUのPUについての選択された予測ブロック(例えば、予測ルーマ、CbおよびCrブロック)とに基づいて生成し得る。例えば、残差生成ユニット102は、残差ブロック中の各サンプルがCUのコーディングブロック中のサンプルとCUのPUの対応する選択された予測ブロック中の対応するサンプルとの間の差分に等しい値を有するように、CUの残差ブロックを生成し得る。
【0162】
[0161]変換処理ユニット104は、CUの残差ブロックをCUのTUの変換ブロックへと区分化し得る。例えば、変換処理ユニット104は、CUの残差ブロックをCUのTUの変換ブロックへと区分化するために、四分木区分化を遂行し得る。このことから、TUは、1つのルーマ変換ブロックと2つのクロマ変換ブロックとに関連付けられ得る。CUのTUのルーマおよびクロマ変換ブロックのサイズおよび位置は、CUのPUの予測ブロックのサイズおよび位置に基づくことも基づかないこともあり得る。「残差四分木」(RQT)として知られている四分木構造は、領域の各々に関連付けられたノードを含み得る。CUのTUは、RQTのリーフノードに対応し得る。
【0163】
[0162]変換処理ユニット104は、TUの変換ブロックに1つまたは複数の変換を適用することによって、CUの各TUについての変換係数ブロックを生成し得る。変換処理ユニット104は、TUに関連付けられた変換ブロックに様々な変換を適用し得る。例えば、変換処理ユニット104は、変換ブロックに離散コサイン変換(DCT)、方向変換、または概念的に類似した変換を適用し得る。いくつかの例では、変換処理ユニット104は、変換ブロックに変換を適用しない。そのような例では、変換ブロックは、変換係数ブロックとして扱われ得る。
【0164】
[0163]量子化ユニット106は、係数ブロック中の変換係数を量子化し得る。量子化プロセスは、変換係数のうちのいくつかまたは全てに関連付けられたビット深度を低減し得る。例えば、nビット変換係数は、量子化中にmビット変換係数に切り捨てられ得、ここで、nは、mより大きい。量子化ユニット106は、CUに関連付けられた量子化パラメータ(QP)値に基づいて、CUのTUに関連付けられた係数ブロックを量子化し得る。ビデオ符号化器20は、CUに関連付けられたQP値を調整することによって、CUに関連付けられた係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらし得る。このことから、量子化された変換係数は、元のものより低い精度を有し得る。
【0165】
[0164]逆量子化ユニット108および逆変換処理ユニット110は、係数ブロックから残差ブロックを再構築するために、それぞれ、係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット112は、TUに関連付けられた再構築された変換ブロックを作り出すために、再構築された残差ブロックのサンプルを、予測処理ユニット100によって生成された1つまたは複数の予測ブロックからの対応するサンプルに加え得る。このようにCUの各TUについての変換ブロックを再構築することによって、ビデオ符号化器20は、CUのコーディングブロックを再構築し得る。
【0166】
[0165]フィルタユニット114は、CUに関連付けられたコーディングブロック中のブロッキングアーティファクトを低減するために、1つまたは複数のデブロッキング動作を遂行し得る。フィルタユニット114は、この開示のフィルタ技法を遂行し得る。例えば、フィルタユニット114は、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、複数のアレイ中に記憶し得る。この例では、複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。さらに、この例では、フィルタユニット114は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定し得る。この例では、フィルタユニット114は、現在の領域中の1つまたは複数のブロックに適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。
【0167】
[0166]別の例では、フィルタユニット114は、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ(例えば、図6のアレイ70)中に記憶し得る。加えて、フィルタユニット114は、ALFパラメータのセットに関連付けられた時間的レイヤインデックスを、1つのアレイ中に記憶し得る。ALFパラメータのセットに関連付けられた時間的レイヤインデックスは、ALFパラメータのセットがALFフィルタを適用するために使用された領域の時間的レイヤを示す。さらに、この例では、フィルタユニット114は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤ、または現在の領域が属する時間的レイヤより下位の時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。この例では、フィルタユニット114は、現在の領域中の1つまたは複数のブロックに適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。
【0168】
[0167]復号ピクチャバッファ116は、フィルタユニット114が再構築されたコーディングブロックに対して1つまたは複数のデブロッキング動作を遂行した後に、再構築されたコーディングブロックを記憶し得る。インター予測処理ユニット120は、他のピクチャのPUに対してインター予測を遂行するために、再構築されたコーディングブロックを包含する参照ピクチャを使用し得る。加えて、イントラ予測処理ユニット126は、CUと同じピクチャ中の他のPUに対してイントラ予測を遂行するために、復号ピクチャバッファ116中の再構築されたコーディングブロックを使用し得る。
【0169】
[0168]エントロピー符号化ユニット118は、ビデオ符号化器20の他の機能的コンポーネントからデータを受信し得る。例えば、エントロピー符号化ユニット118は、量子化ユニット106から係数ブロックを受信し得、および予測処理ユニット100からシンタックス要素を受信し得る。エントロピー符号化ユニット118は、エントロピー符号化されたデータを生成するために、そのデータに対して1つまたは複数のエントロピー符号化動作を遂行し得る。例えば、エントロピー符号化ユニット118は、そのデータに対してCABAC動作、コンテキスト適応可変長コーディング(CAVLC:context-adaptive variable length coding)動作、可変対可変(V2V:variable-to-variable)長コーディング動作、シンタックスベースのコンテキスト適応バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)動作、確率間隔区分化エントロピー(PIPE:Probability Interval Partitioning Entropy)コーディング動作、指数ゴロム(Exponential-Golomb)符号化動作、または別のタイプのエントロピー符号化動作を遂行し得る。ビデオ符号化器20は、エントロピー符号化ユニット118によって生成されたエントロピー符号化されたデータを含むビットストリームを出力し得る。例えば、そのビットストリームは、CUについての変換係数の値を表すデータを含み得る。
【0170】
[0169]図8は、この開示の技法をインプリメントするように構成された実例的なビデオ復号器30を例示するブロック図である。図8は、説明を目的として提供されており、この開示中に広く例証および説明されるような技法に対して限定的ではない。説明を目的として、この開示は、HEVCコーディングのコンテキストにおいてビデオ復号器30を説明する。しかしながら、この開示の技法は、他のコーディング規格または方法に適用可能であり得る。
【0171】
[0170]処理回路は、ビデオ復号器30を含み、およびビデオ復号器30は、この開示中に説明される実例的な技法のうちの1つまたは複数を遂行するように構成される。例えば、ビデオ復号器30は、集積回路を含み、および図8に例示されている様々なユニットは、回路バスを用いて相互接続されているハードウェア回路ブロックとして形成され得る。これらのハードウェア回路ブロックは、別個の回路ブロックであり得る、またはユニットのうちの2つ以上は、共通ハードウェア回路ブロックへと組み合わされ得る。ハードウェア回路ブロックは、算術ロジックユニット(ALU)、初等関数ユニット(EFU)のような演算ブロック、ならびにAND、OR、NAND、NOR、XOR、XNORのようなロジックブロック、および他の同様のロジックブロックを形成する電気コンポーネントの組み合わせとして形成され得る。
【0172】
[0171]いくつかの例では、図8に例示されているユニットのうちの1つまたは複数は、処理回路上で実行するソフトウェアユニットであり得る。そのような例では、これらのソフトウェアユニットについてのオブジェクトコードは、メモリ中に記憶される。オペレーティングシステムは、ビデオ復号器30に、オブジェクトコードを取り出し、且つオブジェクトコード実行することを行わせ得、それは、ビデオ復号器30に、実例的な技法をインプリメントするための動作を遂行することを行わせる。いくつかの例では、ソフトウェアユニットは、スタートアップ時にビデオ復号器30が実行するファームウェアであり得る。それ故に、ビデオ復号器30は、実例的な技法を遂行するようにハードウェアを専門化するためにハードウェア上で実行するソフトウェア/ファームウェアを有するか、または実例的な技法を遂行するハードウェアを有する構造的コンポーネントである。
【0173】
[0172]図8の例では、ビデオ復号器30は、エントロピー復号ユニット150と、ビデオデータメモリ151と、予測処理ユニット152と、逆量子化ユニット154と、逆変換処理ユニット156と、再構築ユニット158と、フィルタユニット160と、復号ピクチャバッファ162とを含む。予測処理ユニット152は、動き補償ユニット164と、イントラ予測処理ユニット166とを含む。他の例では、ビデオ復号器30は、より多い、より少ない、または異なる機能的コンポーネントを含み得る。
【0174】
[0173]ビデオデータメモリ151は、ビデオ復号器30のコンポーネントによって復号されることになる、符号化されたビデオビットストリームのような符号化されたビデオデータを記憶し得る。ビデオデータメモリ151中に記憶されるビデオデータは、ビデオデータのワイヤードまたはワイヤレスネットワーク通信を介して、あるいは物理的データ記憶媒体にアクセスすることによって、例えば、コンピュータ可読媒体16から、例えば、カメラのようなローカルビデオソースから、取得され得る。ビデオデータメモリ151は、符号化されたビデオビットストリームからの符号化されたビデオデータを記憶するコーディングピクチャバッファ(CPB:a coded picture buffer)を形成し得る。復号ピクチャバッファ162は、例えば、イントラまたはインターコーディングモードで、ビデオ復号器30によってビデオデータを復号する際に使用するための、または出力のための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ151および復号ピクチャバッファ162は、同期動的ランダムアクセスメモリ(SDRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスを含むDRAMのような、多様なメモリデバイスのうちの任意のものによって形成され得る。ビデオデータメモリ151および復号ピクチャバッファ162は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ151は、ビデオ復号器30の他のコンポーネントとともにオンチップであり得るか、またはそれらのコンポーネントに対してオフチップであり得る。ビデオデータメモリ151は、図1の記憶媒体28と同じまたはその一部であり得る。
【0175】
[0174]ビデオデータメモリ151は、ビットストリームの符号化されたビデオデータ(例えば、NALユニット)を受信および記憶する。エントロピー復号ユニット150は、ビデオデータメモリ151から符号化されたビデオデータ(例えば、NALユニット)を受信し得、およびシンタックス要素を取得するためにそのNALユニットを構文解析し得る。エントロピー復号ユニット150は、NALユニット中のエントロピー符号化されたシンタックス要素をエントロピー復号し得る。予測処理ユニット152、逆量子化ユニット154、逆変換処理ユニット156、再構築ユニット158、およびフィルタユニット160は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。エントロピー復号ユニット150は、エントロピー符号化ユニット118のものとは概して相反するプロセスを遂行し得る。
【0176】
[0175]ビットストリームからシンタックス要素を取得することに加えて、ビデオ復号器30は、非区分化CUに対して再構築動作を遂行し得る。CUに対して再構築動作を遂行するために、ビデオ復号器30は、CUの各TUに対して再構築動作を遂行し得る。CUの各TUに対して再構築動作を遂行することによって、ビデオ復号器30は、CUの残差ブロックを再構築し得る。
【0177】
[0176]CUのTUに対して再構築動作を遂行することの一部として、逆量子化ユニット154は、TUに関連付けられた係数ブロックを逆量子化(inverse quantize)、すなわち逆量子化(de-quantize)し得る。逆量子化ユニット154が係数ブロックを逆量子化した後に、逆変換処理ユニット156は、TUに関連付けられた残差ブロックを生成するために、その係数ブロックに1つまたは複数の逆変換を適用し得る。例えば、逆変換処理ユニット156は、係数ブロックに逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を適用し得る。
【0178】
[0177]逆量子化ユニット154は、この開示の特定の技法を遂行し得る。例えば、ビデオデータのピクチャのCTUのCTB内の複数の量子化グループのうちの少なくとも1つのそれぞれの量子化グループについて、逆量子化ユニット154は、それぞれの量子化グループについてのそれぞれの量子化パラメータを、ビットストリーム中でシグナリングされるローカル量子化情報に少なくとも部分的に基づいて導出し得る。加えて、この例では、逆量子化ユニット154は、CTUのCUのTUの変換ブロックの少なくとも1つの変換係数を、それぞれの量子化グループについてのそれぞれの量子化パラメータに基づいて逆量子化し得る。この例では、それぞれの量子化グループは、それぞれの量子化グループの境界がCUまたはコーディングブロックの境界でなければならず、且つそれぞれの量子化グループのサイズがしきい値以上であるように、コーディング順序で連続するCUまたはコーディングブロックのグループとして定義される。ビデオ復号器30(例えば、逆変換処理ユニット156、再構築ユニット158、およびフィルタユニット160)は、CUのコーディングブロックを、変換ブロックの逆量子化された変換係数に基づいて再構築し得る。
【0179】
[0178]PUがイントラ予測を使用して符号化される場合、イントラ予測処理ユニット166は、PUの予測ブロックを生成するために、イントラ予測を遂行し得る。イントラ予測処理ユニット166は、ブロックに空間的に近隣するサンプルに基づいて、PUの予測ブロックを生成するために、イントラ予測モードを使用し得る。イントラ予測処理ユニット166は、ビットストリームから取得された1つまたは複数のシンタックス要素に基づいて、PUについてのイントラ予測モードを決定し得る。
【0180】
[0179]PUがインター予測を使用して符号化される場合、エントロピー復号ユニット150は、PUについての動き情報を決定し得る。動き補償ユニット164は、1つまたは複数の参照ブロックを、PUの動き情報に基づいて決定し得る。動き補償ユニット164は、PUについての予測ブロック(例えば、予測ルーマ、CbおよびCrブロック)を、1つまたは複数の参照ブロックに基づいて生成し得る。
【0181】
[0180]再構築ユニット158は、CUについてのコーディングブロック(例えば、ルーマ、CbおよびCrコーディングブロック)を再構築するために、CUのTUについての変換ブロック(例えば、ルーマ、CbおよびCr変換ブロック)およびCUのPUの予測ブロック(例えば、ルーマ、CbおよびCrブロック)、すなわち、適宜、イントラ予測データまたはインター予測データのいずれかを使用し得る。例えば、再構築ユニット158は、CUのコーディングブロック(例えば、ルーマ、CbおよびCrコーディングブロック)を再構築するために、変換ブロック(例えば、ルーマ、CbおよびCr変換ブロック)のサンプルを、予測ブロック(例えば、ルーマ、CbおよびCr予測ブロック)の対応するサンプルに加え得る。
【0182】
[0181]フィルタユニット160は、CUのコーディングブロックに関連付けられたブロッキングアーティファクトを低減するために、デブロッキング動作を遂行し得る。フィルタユニット160は、この開示のフィルタ技法を遂行し得る。例えば、フィルタユニット160は、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、複数のアレイ中に記憶し得る。この例では、複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。例えば、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、フィルタユニット160は、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ中に記憶し得る。この例では、フィルタユニット160は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。さらに、この例では、フィルタユニット160は、現在の領域中の1つまたは複数のブロックにALFフィルタを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。
【0183】
[0182]別の例では、フィルタユニット160は、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ中に記憶する。さらに、この例では、フィルタユニット160は、ALFパラメータのセットに関連付けられた時間的レイヤインデックスを、1つのアレイ中に記憶する。ALFパラメータのセットに関連付けられた時間的レイヤインデックスは、ALFパラメータのセットがALFフィルタを適用するために使用された領域の時間的レイヤを示す。この例では、フィルタユニット160は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定し得る。この例では、フィルタユニット160は、現在の領域の1つまたは複数のブロックにALFフィルタを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る。
【0184】
[0183]ビデオ復号器30は、復号ピクチャバッファ162中にCUのコーディングブロックを記憶し得る。復号ピクチャバッファ162は、後続の動き補償、イントラ予測、および、図1のディスプレイデバイス32のようなディスプレイデバイス上での提示のために、参照ピクチャを提供し得る。例えば、ビデオ復号器30は、他のCUのPUに対してイントラ予測またはインター予測動作を、復号ピクチャバッファ162中のブロックに基づいて遂行し得る。
【0185】
[0184]この開示のある特定の態様は、例示を目的としてHEVC規格の拡張に関連して説明されてきた。しかしながら、この開示中に説明された技法は、未だに開発されていない他の標準的または所有権を有するビデオコーディングプロセスを含む、他のビデオコーディングプロセスにとって有用であり得る。
【0186】
[0185]図9は、この開示の第1の技法にしたがって、ビデオ符号化器20の実例的な動作を例示するフローチャートである。この開示のフローチャートは、例として提供される。他の例では、アクションは、異なる順序で遂行され得る、または動作は、より多い、より少ない、または異なるアクションを含み得る。
【0187】
[0186]図9の例では、ビデオ符号化器20は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成する(200)。現在のピクチャの現在の領域(例えば、現在のスライスまたは他のユニット)は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる。ビデオ符号化器20は、図5の例のような、この開示中の他の箇所に説明された例のうちの任意のものにしたがってビットストリームを生成し得る。
【0188】
[0187]加えて、ビデオ符号化器20は、現在のピクチャを再構築する(202)。例えば、ビデオ符号化器20は、再構築されたブロックを作り出すために、再構築された残差ブロックのサンプルを1つまたは複数の予測ブロックからの対応するサンプルに加えることによって、現在のピクチャのブロックを再構築し得る。このようにブロックを再構築することによって、ビデオ符号化器20は、現在のピクチャのコーディングブロックを再構築し得る。
【0189】
[0188]さらに、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、ビデオ符号化器20は、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ(例えば、図5のアレイ60のうちの1つ)中に記憶し得る(204)。ALFパラメータの各セットは、フィルタ係数のセットおよび/またはALFクラスマージング情報のセットを含み得る。
【0190】
[0189]ビデオ符号化器20は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定する(206)。例えば、ビデオ符号化器20は、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータのセットのレート歪み分析を使用することによって、ALFパラメータの選択されたセットを選択し得る。いくつかの例では、現在の領域についてのALFパラメータの適用可能なセットは、ALFパラメータの選択されたセットと同じであり得る。いくつかの例では、ビデオ符号化器20は、ALFパラメータの選択されたセットと現在の領域についてのALFパラメータの適用可能なセットとの間の差分のインジケーションを、ビットストリーム中に含め得る。
【0191】
[0190]ビデオ符号化器20はその後、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る(208)。現在の領域に適応ループフィルタリングを適用するとき、ビデオ符号化器20は、現在の領域中の1つまたは複数の、ただし必ずしも全てではないブロックにALFフィルタを適用し得る。例えば、ビデオ符号化器20は、現在の領域をブロック(例えば、4×4ブロック)へと分割し得る。この例では、ブロックの各々について、ビデオ符号化器20は、ブロックについての対応するカテゴリを(例えば、ブロックの方向およびアクティビティに基づいて)決定し得る。この例では、現在の領域についてのALFパラメータの適用可能なセットは、ブロックについてのカテゴリのALFフィルタのフィルタ係数を含み得る。この例では、ビデオ符号化器20はその後、ブロックにALFフィルタを適用し得る。
【0192】
[0191]現在の領域に適応ループフィルタリングを適用した後に、ビデオ符号化器20は、ビデオデータの後続のピクチャの予測のために現在の領域を使用する(210)。例えば、ビデオ符号化器20は、後続のピクチャのブロックのインター予測のために現在の領域を使用し得る。
【0193】
[0192]図10は、この開示の第1の技法にしたがって、ビデオ復号器30の実例的な動作を例示するフローチャートである。図10の例では、ビデオ復号器30は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信する(250)。現在のピクチャの現在の領域は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる。
【0194】
[0193]さらに、ビデオ復号器30は、現在のピクチャを再構築する(252)。ビデオ復号器30は、この開示中の他の箇所に提供された例のうちの任意のものにしたがって現在のピクチャを再構築し得る。例えば、ビデオ復号器30は、再構築されたブロックを作り出すために、再構築された残差ブロックのサンプルを1つまたは複数の予測ブロックからの対応するサンプルに加えることによって、現在のピクチャのブロックを再構築し得る。このようにブロックを再構築することによって、ビデオ復号器30は、現在のピクチャのコーディングブロックを再構築し得る。
【0195】
[0194]ビデオ復号器30はまた、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、複数のアレイ中に記憶する(254)。複数のアレイの各それぞれのアレイは、それぞれの異なる時間的レイヤに対応する。例えば、異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、ビデオ復号器30は、現在の領域より前に復号され、且つそれぞれのアレイに対応する時間的レイヤまたはそれぞれのアレイに対応する時間的レイヤより下位の時間的レイヤ中にあるビデオデータのピクチャの領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、それぞれのアレイ(例えば、図5のアレイ60のうちの1つ)中に記憶し得る。
【0196】
[0195]加えて、ビデオ復号器30は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットに基づいて決定し得る(256)。例えば、ビデオ復号器30は、現在の領域が属する時間的レイヤに対応するアレイ中のALFパラメータの選択されたセットを示すインデックスを、ビットストリームから取得し得る。いくつかの例では、現在の領域についてのALFパラメータの適用可能なセットは、ALFパラメータの選択されたセットと同じであり得る。いくつかの例では、ビデオ復号器30は、ALFパラメータの選択されたセットと現在の領域についてのALFパラメータの適用可能なセットとの間の差分のインジケーションを、ビットストリームから取得し得る。
【0197】
[0196]ビデオ復号器30はその後、現在の領域に適応ループフィルタリングを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用し得る(258)。現在の領域に適応ループフィルタリングを適用するとき、ビデオ復号器30は、現在の領域中の1つまたは複数の、ただし必ずしも全てではないブロックにALFフィルタを適用し得る。例えば、ビデオ復号器30は、現在の領域をブロック(例えば、4×4ブロック)へと分割し得る。この例では、ブロックの各々について、ビデオ復号器30は、ブロックについての対応するカテゴリを(例えば、ブロックの方向およびアクティビティに基づいて)決定し得る。この例では、現在の領域についてのALFパラメータの適用可能なセットは、ブロックについてのカテゴリのALFフィルタのフィルタ係数を含み得る。この例では、ビデオ復号器30はその後、ブロックにALFフィルタを適用し得る。
【0198】
[0197]図11は、この開示の第2の技法にしたがって、ビデオ符号化器20の実例的な動作を例示するフローチャートである。図11の例では、ビデオ符号化器20は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成する(300)。現在のピクチャの現在の領域(例えば、現在のスライスまたは他のユニット)は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる。ビデオ符号化器20は、図5の例のような、この開示中の他の箇所に説明された例のうちの任意のものにしたがってビットストリームを生成し得る。
【0199】
[0198]さらに、ビデオ符号化器20は、現在のピクチャを再構築し得る(302)。例えば、ビデオ符号化器20は、再構築されたブロックを作り出すために、再構築された残差ブロックのサンプルを1つまたは複数の予測ブロックからの対応するサンプルに加えることによって、現在のピクチャのブロックを再構築し得る。このようにブロックを再構築することによって、ビデオ符号化器20は、現在のピクチャのコーディングブロックを再構築し得る。
【0200】
[0199]ビデオ符号化器20は、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ(例えば、図6のアレイ70)中に記憶する(304)。加えて、ビデオ符号化器20は、ALFパラメータのセットに関連付けられた時間的レイヤインデックスを、1つのアレイ中に記憶する(306)。ALFパラメータのセットに関連付けられた時間的レイヤインデックスは、ALFパラメータのセットがALFフィルタを適用するために使用された領域の時間的レイヤを示す。
【0201】
[0200]さらに、ビデオ符号化器20は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤ、または現在の領域が属する時間的レイヤより下位の時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定する(308)。例えば、ビデオ符号化器20は、アレイ中のALFパラメータのセットのレート歪み分析を使用することによって、ALFパラメータの選択されたセットを選択し得る。いくつかの例では、現在の領域についてのALFパラメータの適用可能なセットは、ALFパラメータの選択されたセットと同じであり得る。いくつかの例では、ビデオ符号化器20は、ALFパラメータの選択されたセットと現在の領域についてのALFパラメータの適用可能なセットとの間の差分のインジケーションを、ビットストリーム中に含め得る。
【0202】
[0201]ビデオ符号化器20は、現在の領域にALFを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用する(310)。ビデオ符号化器20は、この開示中の他の箇所に提供された例のうちの任意のものにしたがって現在の領域にALFフィルタを適用し得る。
【0203】
[0202]現在の領域にALFフィルタを適用した後に、ビデオ符号化器20は、ビデオデータの後続のピクチャの予測のために現在の領域を使用する(312)。例えば、ビデオ符号化器20は、後続のピクチャのブロックのインター予測のために現在の領域を使用し得る。
【0204】
[0203]図12は、この開示の技法にしたがって、ビデオ復号器30の実例的な動作を例示するフローチャートである。図12の例では、ビデオ復号器30は、ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信する(350)。現在のピクチャの現在の領域(例えば、現在のスライスまたは他のユニット)は、現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる。
【0205】
[0204]ビデオ復号器30はその後、現在のピクチャを再構築し得る(352)。ビデオ復号器30は、この開示中の他の箇所に提供された例のうちの任意のものにしたがって現在のピクチャを再構築し得る。例えば、ビデオ復号器30は、再構築されたブロックを作り出すために、再構築された残差ブロックのサンプルを1つまたは複数の予測ブロックからの対応するサンプルに加えることによって、現在のピクチャのブロックを再構築し得る。このようにブロックを再構築することによって、ビデオ復号器30は、現在のピクチャのコーディングブロックを再構築し得る。
【0206】
[0205]図12の例では、ビデオ復号器30は、現在のピクチャより前に復号されたビデオデータのピクチャのサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、1つのアレイ中に記憶する(354)。さらに、ビデオ復号器30は、ALFパラメータのセットに関連付けられた時間的レイヤインデックスを、1つのアレイ中に記憶する(356)。ALFパラメータのセットに関連付けられた時間的レイヤインデックスは、ALFパラメータのセットがALFフィルタを適用するために使用された領域の時間的レイヤを示す。
【0207】
[0206]ビデオ復号器30は、現在の領域についてのALFパラメータの適用可能なセットを、現在の領域が属する時間的レイヤを関連する時間的レイヤインデックスが示すアレイ中のALFパラメータの選択されたセットに基づいて決定し得る(358)。例えば、ビデオ復号器30は、アレイ中のALFパラメータの選択されたセットを示すインデックスを、ビットストリームから取得し得る。いくつかの例では、現在の領域についてのALFパラメータの適用可能なセットは、ALFパラメータの選択されたセットと同じであり得る。いくつかの例では、ビデオ復号器30は、ALFパラメータの選択されたセットと現在の領域についてのALFパラメータの適用可能なセットとの間の差分のインジケーションを、ビットストリームから取得し得る。
【0208】
[0207]ビデオ復号器30はその後、現在の領域にALFフィルタを、現在の領域についてのALFパラメータの適用可能なセットに基づいて適用する(360)。ビデオ復号器30は、この開示中の他の箇所に提供された例のうちの任意のものにしたがって現在の領域にALFフィルタを適用し得る。
【0209】
[0208]ビデオコーダは、この開示中に説明されたように、ビデオ符号化器またはビデオ復号器を指し得る。同様に、ビデオコーディングユニットは、ビデオ符号化器またはビデオ復号器を指し得る。同じように、ビデオコーディングは、適宜、ビデオ符号化またはビデオ復号を指し得る。この開示では、「~に基づいて」というフレーズは、~のみに基づいて、~に少なくとも部分的に基づいて、または~に何らかの方法で基づいて、を示し得る。この開示は、サンプルの1つまたは複数のブロックのサンプルをコーディングするために使用される1つまたは複数のサンプルブロックおよびシンタックス構造を指すために、「ビデオユニット」または「ビデオブロック」または「ブロック」という用語を使用し得る。実例的なタイプのビデオユニットは、CTU、CU、PU、変換ユニット(TU)、マクロブロック、マクロブロック区分、等を含み得る。いくつかのコンテキストでは、PUの論述は、マクロブロックまたはマクロブロック区分の論述と置き換えられ得る。実例的なタイプのビデオブロックは、コーディングツリーブロック、コーディングブロック、およびビデオデータの他のタイプのブロックを含み得る。
【0210】
[0209]この開示の技法は、無線テレビブロードキャスト、ケーブルテレビ送信、衛星テレビ送信、HTTPを通した動的適応型ストリーミング(DASH)のようなインターネットストリーミングビデオ送信、データ記憶媒体上へと符号化されるデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他のアプリケーションのような、多様なマルチメディアアプリケーションのうちの任意のものをサポートするビデオコーディングに適用され得る。
【0211】
[0210]例に依存して、ここに説明されたあらゆる技法のある特定の動作(acts)またはイベントは、異なるシーケンスで遂行されることができ、追加、統合、または完全に省略され得る(例えば、全ての説明された動作またはイベントが、それら技法の実施のために必要なわけではない)ことが認識されるべきである。その上、ある特定の例では、動作またはイベントは、順次にというよりはむしろ、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサを通じて、同時に遂行され得る。
【0212】
[0211]1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいてインプリメントされ得る。ソフトウェアにおいてインプリメントされる場合には、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶され得るか、あるいはコンピュータ可読媒体を通して送信され得、およびハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルにしたがって、コンピュータプログラムのある場所から別の場所への転送を容易にする任意の媒体を含む通信媒体、またはデータ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このように、コンピュータ可読媒体は概して、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号または搬送波のような通信媒体に対応し得る。データ記憶媒体は、この開示中に説明された技法のインプリメンテーションのための命令、コードおよび/またはデータ構造を取り出すために、1つまたは複数のコンピュータあるいは1つまたは複数の処理回路によってアクセスされることができる任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【0213】
[0212]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置、または他の磁気記憶デバイス、フラッシュメモリ、あるいはデータ構造もしくは命令の形態で所望のプログラムコードを記憶するために使用されることができ、且つコンピュータによってアクセスされることができる任意の他の媒体を備えることができる。また、任意の接続は、厳密にはコンピュータ可読媒体と称される。例えば、命令が、ウェブサイト、サーバ、あるいは同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用する他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義中に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一過性媒体を含まないが、代わりに非一過性有形記憶媒体を対象にすることは理解されるべきである。ディスク(disk)およびディスク(disc)は、ここに使用される場合、コンパクトディスク(CD)(disc)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(DVD)(disc)、フロッピー(登録商標)ディスク(disk)およびBlu-rayディスク(disc)を含み、ここで、ディスク(disk)は通常、磁気的にデータを再生し、その一方でディスク(disc)は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【0214】
[0213]この開示中に説明された機能は、固定機能および/またはプログラマブル処理回路によって遂行され得る。例えば、命令は、固定機能および/またはプログラマブル処理回路によって実行され得る。そのような処理回路は、1つまたは複数のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、あるいは他の同等な集積またはディスクリートロジック回路のような1つまたは複数のプロセッサを含み得る。それ故に、「プロセッサ」という用語は、ここに使用される場合、前述の構造またはここに説明された技法のインプリメンテーションに適したあらゆる他の構造のうちの任意のものを指し得る。加えて、いくつかの態様では、ここに説明された機能は、符号化および復号のために構成された専用ハードウェアおよび/またはソフトウェアモジュール内で提供され得るか、あるいは組み合わされたコーデック中に組み込まれ得る。また、それら技法は、1つまたは複数の回路またはロジック要素において十分にインプリメントされることができる。処理回路は、様々な方法で他のコンポーネントに結合され得る。例えば、処理回路は、内部デバイス相互接続、ワイヤードまたはワイヤスネットワーク接続、あるいは別の通信媒体を介して他のコンポーネントに結合され得る。
【0215】
[0214]この開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(例えば、チップセット)を含む、幅広い多様なデバイスまたは装置においてインプリメントされ得る。様々なコンポーネント、モジュール、またはユニットは、開示された技法を遂行するように構成されたデバイスの機能的な態様を強調するためにこの開示中に説明されているが、必ずしも異なるハードウェアユニットによる実現を必要とはしない。むしろ、上述されたように、様々なユニットは、コーデックハードウェアユニット中で組み合わされ得るか、あるいは、適したソフトウェアおよび/またはファームウェアと併せて、上述されたような1つまたは複数のプロセッサを含む、相互運用ハードウェアユニットの集合によって提供され得る。
【0216】
[0215]様々な例が説明されてきた。これらおよび他の例は、次の特許請求の範囲内にある。
図1
図2
図3
図4A
図4B
図5
図6
図7
図8
図9
図10
図11
図12
【手続補正書】
【提出日】2023-08-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオデータを復号するデバイスであって、
前記デバイスは、
メモリと、
前記メモリに結合されたプロセッサと、
を備え、前記プロセッサは、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する第1の時間的レイヤを示す第1の時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
前記現在の領域より前に復号された前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータの複数のセットのうちのALFパラメータのセットが、前記第1の時間的インデックスに対応する前記第1の時間的レイヤにあるとき、ALFパラメータの前記セットをALFパラメータの記憶されるセットに記憶することと、
ALFパラメータの前記複数のセットのうちのALFパラメータのセットが、前記第1の時間的インデックスより低い時間的インデックスに対応する時間的レイヤにあるとき、ALFパラメータの前記セットをALFパラメータの前記記憶されるセットに記憶することと、
ALFパラメータの前記記憶されるセットのうちのALFパラメータの選択されたセットに基づいて、前記現在の領域についてのALFパラメータの適用可能なセットを決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと、
を行うように構成される、デバイス。
【請求項2】
ALFパラメータの前記複数のセット中のALFパラメータのセットの数は、可変である、
請求項1に記載のデバイス
【請求項3】
前記プロセッサは、複数のアレイを割り振るようにさらに構成され、ALFパラメータの前記複数のセットは、前記複数のアレイに記憶される、
請求項1に記載のデバイス。
【請求項4】
前記プロセッサは、リストデータ構造を割り振るようにさらに構成され、ALFパラメータの前記複数のセットは、前記リストデータ構造中に記憶される、
請求項1に記載のデバイス
【請求項5】
前記プロセッサは、
LFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのピクチャ順序カウンタ(POC)値とALFパラメータの前記複数のセットに関連付けられたPOC値との間の差分に基づいて決定することにより、前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶するように構成された、
請求項1に記載のデバイス
【請求項6】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたピクチャ順序カウンタ(POC)値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
請求項1に記載のデバイス
【請求項7】
前記プロセッサは、
ALFパラメータの前記選択されたセットのインデックスを示すシンタックス要素を、前記ビットストリームから取得することをさらに備え、
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、ALFパラメータの前記選択されたセットを、前記シンタックス要素に基づいて決定することを備え、
前記シンタックス要素のフォーマットは、時間的インデックスに依存する、
請求項1に記載のデバイス
【請求項8】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、ALFパラメータの前記選択されたセットから、フィルタ係数ではなく、クラスマージング情報を決定することを備える、
請求項1に記載のデバイス
【請求項9】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、ALFパラメータの前記選択されたセットから、クラスマージング情報ではなく、フィルタ係数を決定することを備える、
請求項1に記載のデバイス。
【請求項10】
前記プロセッサは、
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリームから取得するようにさらに構成され
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、前記現在の領域についてのALFパラメータの前記適用可能なセットを、ALFパラメータの前記選択されたセットと前記差分とに基づいて決定することを備える、
請求項1に記載のデバイス
【請求項11】
前記デバイスは、ワイヤレス通信デバイスを備える、請求項1に記載のデバイス。
【請求項12】
ビデオデータを復号する方法であって、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する第1の時間的レイヤを示す第1の時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
前記現在の領域より前に復号された前記ビデオデータのピクチャの領域に適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータの複数のセットのうちのALFパラメータのセットが、前記第1の時間的インデックスに対応する前記第1の時間的レイヤにあるとき、ALFパラメータの前記セットをALFパラメータの記憶されるセットに記憶することと、
ALFパラメータの前記複数のセットのうちのALFパラメータのセットが、前記第1の時間的インデックスより低い時間的インデックスに対応する時間的レイヤにあるとき、ALFパラメータの前記セットをALFパラメータの前記記憶されるセットに記憶することと、
ALFパラメータの前記記憶されるセットのうちのALFパラメータの選択されたセットに基づいて、前記現在の領域についてのALFパラメータの適用可能なセットを決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと、
を備える、方法。
【請求項13】
ALFパラメータの前記複数のセット中のALFパラメータのセットの数は、可変である、
請求項12に記載の方法。
【請求項14】
複数のアレイを割り振ることをさらに備え、ALFパラメータの前記複数のセットは、前記複数のアレイに記憶される、
請求項12に記載の方法。
【請求項15】
リストデータ構造を割り振ることをさらに備え、ALFパラメータの前記複数のセットは、前記リストデータ構造中に記憶される、
請求項12に記載の方法。
【請求項16】
ALFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのピクチャ順序カウンタ(POC)値とALFパラメータの前記複数のセットに関連付けられたPOC値との間の差分に基づいて決定することにより、前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶すること、をさらに備えた、
請求項12に記載の方法。
【請求項17】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたピクチャ順序カウンタ(POC)値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
請求項12に記載の方法。
【請求項18】
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、ALFパラメータの前記選択されたセットから、フィルタ係数ではなく、クラスマージング情報を決定することを備える、
請求項12に記載の方法。
【請求項19】
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリームから取得することをさらに備え、
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、前記現在の領域についてのALFパラメータの前記適用可能なセットを、ALFパラメータの前記選択されたセットと前記差分とに基づいて決定することを備える、
請求項12に記載の方法。
【請求項20】
命令を記憶したコンピュータ可読データ記憶媒体であって、前記命令は、実行されると、プロセッサに、
ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する第1の時間的レイヤを示す第1の時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
前記現在の領域より前に復号された前記ビデオデータのピクチャの領域に適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータの複数のセットのうちのALFパラメータのセットが、前記第1の時間的インデックスに対応する前記第1の時間的レイヤにあるとき、ALFパラメータの前記セットをALFパラメータの記憶されるセットに記憶することと、
ALFパラメータの前記複数のセットのうちのALFパラメータのセットが、前記第1の時間的インデックスより低い時間的インデックスに対応する時間的レイヤにあるとき、ALFパラメータの前記セットをALFパラメータの前記記憶されるセットに記憶することと、
ALFパラメータの前記記憶されるセットのうちのALFパラメータの選択されたセットに基づいて、前記現在の領域についてのALFパラメータの適用可能なセットを決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと、
を行わせる、コンピュータ可読データ記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0216
【補正方法】変更
【補正の内容】
【0216】
[0215]様々な例が説明されてきた。これらおよび他の例は、次の特許請求の範囲内にある。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ビデオデータを復号する方法であって、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと
を備える、方法。
[C2]
前記ALFパラメータのセットを記憶することは、
前記複数のアレイの各それぞれのアレイについて、前記それぞれのアレイに対応する前記時間的レイヤに属し、且つ前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤに属する前記現在のピクチャの前記現在の領域より前に復号された前記ビデオデータの前記ピクチャの前記領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することを備える、 [C1]に記載の方法。
[C3]
前記複数のアレイのうちの少なくとも2つは、ALFパラメータの異なる数のセットを含む、
[C1]に記載の方法。
[C4]
前記現在の領域についてのALFパラメータの前記適用可能なセットが前記アレイ中に未だに記憶されていない場合に、前記現在の領域についてのALFパラメータの前記適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイまたは前記現在の領域が属する前記時間的レイヤより上位の時間的レイヤに対応する前記複数のアレイのうちの前記アレイのうちの少なくとも1つ中に記憶することをさらに備える、 [C1]に記載の方法。
[C5]
前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶することは、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定することを備える、
[C4]に記載の方法。
[C6]
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたPOC値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
[C1]に記載の方法。
[C7]
ALFパラメータの前記選択されたセットのインデックスを示すシンタックス要素を、前記ビットストリームから取得することをさらに備え、
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、ALFパラメータの前記選択されたセットを、前記シンタックス要素に基づいて決定することを備え、
前記シンタックス要素のフォーマットは、時間的インデックスに依存する、
[C1]に記載の方法。
[C8]
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、フィルタ係数ではなくクラスマージング情報を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを備える、
[C1]に記載の方法。
[C9]
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、クラスマージング情報ではなくフィルタ係数を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを備える、
[C1]に記載の方法。
[C10]
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリームから取得することをさらに備え、
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、前記現在の領域についてのALFパラメータの前記適用可能なセットを、ALFパラメータの前記選択されたセットと前記差分とに基づいて決定することを備える、
[C1]に記載の方法。
[C11]
ビデオデータを符号化する方法であって、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと、
前記現在の領域に前記適応ループフィルタリングを適用した後に、前記ビデオデータの後続のピクチャの予測のために前記現在の領域を使用することと
を備える、方法。
[C12]
前記ALFパラメータのセットを記憶することは、
前記複数のアレイの各それぞれのアレイについて、前記それぞれのアレイに対応する前記時間的レイヤに属し、且つ前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤに属する前記現在のピクチャの前記現在の領域より前に復号された前記ビデオデータの前記ピクチャの前記領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することを備える、 [C11]に記載の方法。
[C13]
前記複数のアレイのうちの少なくとも2つは、ALFパラメータの異なる数のセットを含む、
[C11]に記載の方法。
[C14]
前記現在の領域についてのALFパラメータの前記適用可能なセットが前記アレイ中に未だに記憶されていない場合に、前記現在の領域についてのALFパラメータの前記適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイまたは前記現在の領域が属する前記時間的レイヤより上位の時間的レイヤに対応する前記複数のアレイのうちの前記アレイのうちの少なくとも1つ中に記憶することをさらに備える、 [C11]に記載の方法。
[C15]
前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶することは、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定することを備える、
[C14]に記載の方法。
[C16]
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたPOC値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
[C11]に記載の方法。
[C17]
ALFパラメータの前記選択されたセットのインデックスを示すシンタックス要素を、前記ビットストリーム中に含めることをさらに備える、
[C11]に記載の方法。
[C18]
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、フィルタ係数ではなくクラスマージング情報を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを備える、
[C11]に記載の方法。
[C19]
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することは、クラスマージング情報ではなくフィルタ係数を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを備える、
[C11]に記載の方法。
[C20]
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリーム中に含めることをさらに備える、
[C11]に記載の方法。
[C21]
ビデオデータを復号するためのデバイスであって、前記デバイスは、
前記ビデオデータを記憶するように構成された1つまたは複数の記憶媒体と、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと
を行うように構成された1つまたは複数のプロセッサと
を備える、デバイス。
[C22]
前記1つまたは複数のプロセッサは、前記ALFパラメータのセットを記憶することの一部として、前記1つまたは複数のプロセッサは、
前記複数のアレイの各それぞれのアレイについて、前記それぞれのアレイに対応する前記時間的レイヤに属し、且つ前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤに属する前記現在のピクチャの前記現在の領域より前に復号された前記ビデオデータの前記ピクチャの前記領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを前記それぞれのアレイ中に記憶することを行うように構成される、
[C21]に記載のデバイス。
[C23]
前記複数のアレイのうちの少なくとも2つは、ALFパラメータの異なる数のセットを含む、
[C21]に記載のデバイス。
[C24]
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットが前記アレイ中に未だに記憶されていない場合に、前記現在の領域についてのALFパラメータの前記適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイまたは前記現在の領域が属する前記時間的レイヤより上位の時間的レイヤに対応する前記複数のアレイのうちの前記アレイのうちの少なくとも1つ中に記憶することを行うようにさらに構成される、
[C21]に記載のデバイス。
[C25]
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶することの一部として、前記1つまたは複数のプロセッサが、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定することを行うように構成される、
[C24]に記載のデバイス。
[C26]
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたPOC値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
[C21]に記載のデバイス。
[C27]
前記1つまたは複数のプロセッサは、
ALFパラメータの前記選択されたセットのインデックスを示すシンタックス要素を、前記ビットストリームから取得することを行うようにさらに構成され、
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、ALFパラメータの前記選択されたセットを、前記シンタックス要素に基づいて決定するように構成され、
前記シンタックス要素のフォーマットは、時間的インデックスに依存する、
[C21]に記載のデバイス。
[C28]
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、フィルタ係数ではなくクラスマージング情報を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを行うように構成される、
[C21]に記載のデバイス。
[C29]
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、クラスマージング情報ではなくフィルタ係数を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定することを行うように構成される、
[C21]に記載のデバイス。
[C30]
前記1つまたは複数のプロセッサは、
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリームから取得することを行うようさらに構成され、
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、前記現在の領域についてのALFパラメータの前記適用可能なセットを、ALFパラメータの前記選択されたセットと前記差分とに基づいて決定することを行うように構成される、
[C21]に記載のデバイス。
[C31]
前記デバイスは、ワイヤレス通信デバイスを備え、符号化されたビデオデータを受信するように構成された受信機をさらに備える、
[C21]に記載のデバイス。
[C32]
前記ワイヤレス通信デバイスは、電話ハンドセットを備え、および前記受信機は、前記符号化されたビデオデータを備える信号を、ワイヤレス通信規格にしたがって復調するように構成される、
[C31]に記載のデバイス。
[C33]
ビデオデータを符号化するためのデバイスであって、
前記ビデオデータを記憶するように構成された1つまたは複数の記憶媒体と、
1つまたは複数のプロセッサと
を備え、前記1つまたは複数のプロセッサは、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと、
前記現在の領域に前記適応ループフィルタリングを適用した後に、前記ビデオデータの後続のピクチャの予測のために前記現在の領域を使用することと
を行うように構成される、デバイス。
[C34]
前記1つまたは複数のプロセッサは、前記ALFパラメータのセットを記憶することの一部として、前記1つまたは複数のプロセッサが、
前記複数のアレイの各それぞれのアレイについて、前記それぞれのアレイに対応する前記時間的レイヤに属し、且つ前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤに属する前記現在のピクチャの前記現在の領域より前に復号された前記ビデオデータの前記ピクチャの前記領域のサンプルにALFフィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶する
ように構成される、[C33]に記載のデバイス。
[C35]
前記複数のアレイのうちの少なくとも2つは、ALFパラメータの異なる数のセットを含む、
[C33]に記載のデバイス。
[C36]
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットが前記アレイ中に未だに記憶されていない場合に、前記現在の領域についてのALFパラメータの前記適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイまたは前記現在の領域が属する前記時間的レイヤより上位の時間的レイヤに対応する前記複数のアレイのうちの前記アレイのうちの少なくとも1つ中に記憶することを行うようにさらに構成される、
[C33]に記載のデバイス。
[C37]
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを記憶することの一部として、前記1つまたは複数のプロセッサが、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータのどのセットを前記現在の領域についてのALFパラメータの前記適用可能なセットと置き換えるかを、前記現在のピクチャのPOC値とALFパラメータのセットに関連付けられたPOC値との間の差分に基づいて決定することを行うように構成される、
[C36]に記載のデバイス。
[C38]
前記現在の領域についてのALFパラメータの前記適用可能なセットを決定するときに、前記現在の領域についてのALFパラメータの前記適用可能なセットに関連付けられたPOC値が、前記現在のピクチャの参照ピクチャリスト中の参照ピクチャのPOC値に等しいことが必要とされる、
[C33]に記載のデバイス。
[C39]
前記1つまたは複数のプロセッサは、ALFパラメータの前記選択されたセットのインデックスを示すシンタックス要素を、前記ビットストリーム中に含めるようにさらに構成される、
[C33]に記載のデバイス。
[C40]
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、フィルタ係数ではなくクラスマージング情報を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定するように構成される、
[C33]に記載のデバイス。
[C41]
前記1つまたは複数のプロセッサは、前記現在の領域についてのALFパラメータの前記適用可能なセットを決定することの一部として、前記1つまたは複数のプロセッサが、クラスマージング情報ではなくフィルタ係数を、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中の前記ALFパラメータのセットから決定するように構成される、
[C33]に記載のデバイス。
[C42]
前記1つまたは複数のプロセッサは、
ALFパラメータの前記選択されたセットと前記現在の領域についてのALFパラメータの前記適用可能なセットとの間の差分のインジケーションを、前記ビットストリーム中に含めることを行うようにさらに構成される、
[C33]に記載のデバイス。
[C43]
前記デバイスは、ワイヤレス通信デバイスを備え、符号化されたビデオデータを送信するように構成された送信機をさらに備える、
[C33]に記載のデバイス。
[C44]
前記ワイヤレス通信デバイスは、電話ハンドセットを備え、および前記送信機は、前記符号化されたビデオデータを備える信号を、ワイヤレス通信規格にしたがって変調するように構成される、
[C43]に記載のデバイス。
[C45]
ビデオデータを復号するためのデバイスであって、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信するための手段、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築するための手段と、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶するための手段と、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータの選択されたセットに基づいて決定するための手段と、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用するための手段と
を備える、デバイス。
[C46]
ビデオデータを符号化するためのデバイスであって、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成するための手段、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築するための手段と、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶するための手段と、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定するための手段と、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用するための手段と、
前記現在の領域に前記適応ループフィルタリングを適用した後に、前記ビデオデータの後続のピクチャの予測のために前記現在の領域を使用するための手段と
を備える、デバイス。
[C47]
実行されると、1つまたは複数のプロセッサに、
ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを受信すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと
を行わせる命令を記憶する、コンピュータ可読データ記憶媒体。
[C48]
実行されると、1つまたは複数のプロセッサに、
前記ビデオデータの現在のピクチャの符号化された表現を含むビットストリームを生成すること、ここにおいて、前記現在のピクチャの現在の領域は、前記現在の領域が属する時間的レイヤを示す時間的インデックスに関連付けられる、と、
前記現在のピクチャを再構築することと、
異なる時間的レイヤに対応する複数のアレイの各それぞれのアレイについて、前記現在の領域より前に復号され、且つ前記それぞれのアレイに対応する前記時間的レイヤまたは前記それぞれのアレイに対応する前記時間的レイヤより下位の時間的レイヤ中にある前記ビデオデータのピクチャの領域のサンプルに適応ループフィルタリング(ALF)フィルタを適用する際に使用されるALFパラメータのセットを、前記それぞれのアレイ中に記憶することと、
前記現在の領域についてのALFパラメータの適用可能なセットを、前記現在の領域が属する前記時間的レイヤに対応する前記アレイのうちの1つ中のALFパラメータの選択されたセットに基づいて決定することと、
前記現在の領域に適応ループフィルタリングを、前記現在の領域についてのALFパラメータの前記適用可能なセットに基づいて適用することと、
前記現在の領域に前記適応ループフィルタリングを適用した後に、前記ビデオデータの後続のピクチャの予測のために前記現在の領域を使用することと
を行わせる命令を記憶するコンピュータ可読記憶媒体。
【外国語明細書】