特表 2024-508850 ウェッジレット分割を用いたＩｎｔｒａＢＣ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-28

(54)【発明の名称】ウェッジレット分割を用いたＩｎｔｒａＢＣ

(51)【国際特許分類】

   H04N 19/593 20140101AFI20240220BHJP

   H04N 19/46 20140101ALI20240220BHJP

【ＦＩ】

H04N19/593

H04N19/46

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023552244

(86)(22)【出願日】2022-10-27

(85)【翻訳文提出日】2023-08-28

(86)【国際出願番号】 US2022048073

(87)【国際公開番号】W WO2023076505

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/273,074

(32)【優先日】2021-10-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/289,129

(32)【優先日】2021-12-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/974,068

(32)【優先日】2022-10-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】シン・ジャオ

(72)【発明者】

【氏名】シャオジョン・シュ

(72)【発明者】

【氏名】シャン・リュウ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MC11

5C159ME01

5C159PP04

5C159RB09

5C159RC11

5C159TA62

5C159TB08

5C159TC12

5C159TC41

5C159TC42

5C159TD15

5C159UA02

5C159UA05

(57)【要約】

本開示は、一般に、ビデオコーディングに関し、より詳細には、ウェッジレット分割を使用するイントラブロックコピーコーディングモードに関する。例えば、ビデオデータを処理するための方法が開示され、方法は、ビデオフレームの現在のブロックを含むビデオビットストリームを受信するステップと、ビデオビットストリームから、現在のブロックがIntraBCモードの下で予測されることを示すIntraBCフラグを抽出するステップと、ビデオビットストリームから、現在のブロックがウェッジレット分割モードの下で分割されると決定するステップであって、現在のブロックが、第1のパーティションおよび第2のパーティションを含む複数のパーティションに分割される、ステップと、現在のブロックの少なくとも第1のパーティションおよび第2のパーティションを識別するステップと、第1のパーティションを予測するための第1のブロックベクトルおよび第2のパーティションを予測するための第2のブロックベクトルをそれぞれ決定するステップと、少なくとも第1のブロックベクトルおよび第2のブロックベクトルに基づいて現在のブロックをデコーディングするステップと、を含みうる。

【特許請求の範囲】

【請求項1】

ビデオデータを処理するための方法であって、前記方法は、
ビデオフレームの現在のブロックを含むビデオビットストリームを受信するステップと、
前記ビデオビットストリームから、前記現在のブロックがイントラブロックコピー（IntraBC）モードの下で予測されることを示すIntraBCフラグを抽出するステップと、
前記ビデオビットストリームから、前記現在のブロックがウェッジレット分割モードの下で分割されると決定するステップであって、前記現在のブロックは、前記ウェッジレット分割モードの下で第1のパーティションおよび第2のパーティションを含む複数のパーティションに分割される、ステップと、
前記現在のブロックの少なくとも前記第1のパーティションおよび前記第2のパーティションを識別するステップと、
前記第1のパーティションを前記IntraBCモードで予測するための第1のブロックベクトルおよび前記第2のパーティションを前記IntraBCモードで予測するための第2のブロックベクトルをそれぞれ決定するステップと、
少なくとも前記第1のブロックベクトルおよび前記第2のブロックベクトルに基づいて前記現在のブロックをデコーディングするステップとを含む、方法。

【請求項2】

前記ビデオビットストリームから、前記現在のブロックが前記ウェッジレット分割モードの下で分割されると決定するステップは、
前記ビデオビットストリームから、前記現在のブロックの前記ウェッジレット分割モードを示すための第1のインジケータを抽出するステップと、
前記ウェッジレット分割モードインジケータに基づいて前記現在のブロックが前記ウェッジレット分割モードの下で分割されると決定するステップとを含む、請求項1に記載の方法。

【請求項3】

前記方法は、前記ビデオビットストリームから、前記現在のブロックと関連付けられた、前記ウェッジレット分割モードのパターンを示す第2のインジケータを抽出するステップをさらに含み、
前記現在のブロックの前記第1のパーティションおよび前記第2のパーティションを識別するステップは、前記第2のインジケータに基づいて前記第1のパーティションおよび前記第2のパーティションを識別するステップを含む、
請求項1に記載の方法。

【請求項4】

前記ウェッジレット分割モードの前記パターンは、
前記第1のパーティションおよび前記第2のパーティションが前記現在のブロックにおいて垂直境界によって分割される垂直分割パターン、または
前記第1のパーティションおよび前記第2のパーティションが水平境界によって分割される水平分割パターンのうちの1つを含む、請求項3に記載の方法。

【請求項5】

前記ビデオビットストリームから、前記第2のインジケータを抽出するステップは、
前記ビデオビットストリームからハイレベル構文を介して前記第2のインジケータを抽出するステップであって、前記ハイレベル構文は、
ビデオパラメータセット（VPS）構文、
ピクチャパラメータセット（PPS）構文、
シーケンスパラメータセット（SPS）構文、
適応パラメータセット（APS）構文、
スライスヘッダ、
ピクチャヘッダ、
フレームヘッダ、または
タイルヘッダ
のうちの少なくとも1つを含む、ステップを含む、請求項3に記載の方法。

【請求項6】

前記ビデオビットストリームから、前記第2のインジケータを抽出するステップは、前記ビデオビットストリームからブロックレベル信号を介して前記第2のインジケータを抽出するステップを含み、
前記ブロックレベル信号は、
コーディングツリーユニット（CTU）ヘッダ、
sスーパーブロックヘッダ、または
コーディングブロックヘッダ
のうちの1つで送信され、
前記第2のインジケータは、
前記ブロックレベル信号が前記CTUヘッダで送信されていることに応答して前記現在のブロックを含むCTU、
前記ブロックレベル信号が前記スーパーブロックヘッダで送信されていることに応答して前記現在のブロックを含むスーパーブロック、または
前記ブロックレベル信号が前記コーディングブロックヘッダで送信されていることに応答して前記現在のブロックを含むコーディングブロック
のうちの1つに適用される、
請求項3に記載の方法。

【請求項7】

前記第1のブロックベクトルと前記第2のブロックベクトルとは異なる、請求項1に記載の方法。

【請求項8】

前記第2のパーティションのための前記第2のブロックベクトルを抽出するステップは、前記第1のブロックベクトルに基づいて前記第2のブロックベクトルを予測するステップを含む、請求項7に記載の方法。

【請求項9】

前記現在のブロックの近傍ブロックからのブロックベクトル、または履歴ブロックベクトルのうちの少なくとも1つに基づいて候補ブロックベクトルのリストを生成するステップであって、前記候補ブロックベクトルのリストは少なくとも1つの候補ブロックベクトルを含む、ステップと、
前記ビデオビットストリームから、前記候補ブロックベクトルのリスト内のターゲットブロックベクトルを示す第3のインジケータを抽出するステップと、
前記第3のインジケータに従って前記候補ブロックベクトルのリストから前記ターゲットブロックベクトルを選択するステップと、
前記ターゲットブロックベクトルに基づいて前記第1のブロックベクトルまたは前記第2のブロックベクトルの少なくとも1つを生成するステップと
をさらに含む、請求項1に記載の方法。

【請求項10】

前記ターゲットブロックベクトルに基づいて前記第1のブロックベクトルまたは前記第2のブロックベクトルの少なくとも1つを生成するステップは、
前記ビデオビットストリームから、前記第1のブロックベクトルと関連付けられたベクトル予測残差を抽出するステップと、
前記ターゲットブロックベクトルおよび前記ベクトル予測残差に基づいて前記第1のブロックベクトルを生成するステップとを含む、請求項9に記載の方法。

【請求項11】

前記ターゲットブロックベクトルに基づいて前記第1のブロックベクトルまたは前記第2のブロックベクトルの少なくとも1つを生成するステップは、前記ターゲットブロックベクトルから前記第2のブロックベクトルを導出するステップを含む、請求項9に記載の方法。

【請求項12】

前記ターゲットブロックベクトルから前記第2のブロックベクトルを導出するステップは、事前定義された変換を使用して前記ターゲットブロックベクトルから前記第2のブロックベクトルを導出するステップを含む、請求項11に記載の方法。

【請求項13】

前記第1のブロックベクトルは前記現在のブロックの現在のフレーム内のIntraBC予測ブロックを指し示し、前記IntraBC予測ブロックは、前記ビデオビットストリームのエンコーダによって、
前記ビデオフレーム内の第1の探索エリアを決定するステップであって、前記第1の探索エリアは前記IntraBC予測ブロックを見つけるための第1の候補エリアであり、前記第1の探索エリアは前記現在のブロックとの重複を有さず、ブロックのリストを含み、前記IntraBC予測ブロックは前記第1のパーティションに対してIntraBC予測を行うための予測ブロックである、ステップと、
第2の探索エリアを決定するステップであって、前記第2の探索エリアは前記IntraBC予測ブロックを見つけるための第2の候補エリアであり、前記第2の探索エリアは、（i）前記現在のブロックのサブブロック、および（ii）前記現在のブロックの近傍ブロックのうちの少なくとも1つを含む、ステップと、
探索エリアを横切らない前記第1のブロックベクトルによって指し示された前記IntraBC予測ブロックを識別するステップとによって決定される、請求項1に記載の方法。

【請求項14】

前記現在のブロックの左上ピクセルは（x0，y0）の座標位置を有し、
前記ブロックのリスト内の各ブロックの左上ピクセルは（x，y）の座標位置を有し、
yはy0未満であり、
xは［x0＋2（y0－y）－D］未満であり、
式中、x0、y0、x、およびyは非負の数であり、Dは、IntraBCモードに対して制限される直近の再構成ブロックの数である、
請求項13に記載の方法。

【請求項15】

ビデオデータを処理するための方法であって、前記方法は、
ビデオフレームの現在のブロックを含むビデオビットストリームを受信するステップであって、前記現在のブロックは、複合予測を使用してイントラブロックコピー（IntraBC）モードの下で予測される、ステップと、
前記現在のブロックは、ウェッジレット分割モードの下で少なくとも第1のパーティションと第2のパーティションとに分割されると決定するステップと、
前記第1のパーティションのための少なくとも2つの参照ブロックを決定するステップと、
前記少なくとも2つの参照ブロックの加重和に基づいて複合参照ブロックを決定するステップと、
前記複合参照ブロックに基づいて前記第1のパーティションを再構成するステップとを含む、方法。

【請求項16】

前記少なくとも2つの参照ブロックは、第1の参照ブロックおよび第2の参照ブロックを含み、
前記複合参照ブロックを決定するステップは、前記第1のパーティション内のサンプルごとに、
第1の重み付け予測サンプルを取得するために、第1の重み係数を使用して前記第1の参照ブロック内の対応する第1の予測サンプルに重み付けするステップと、
第2の重み付け予測サンプルを取得するために、第2の重み係数を使用して前記第2の参照ブロック内の対応する第2の予測サンプルに重み付けするステップであって、前記第1の重み係数と前記第2の重み係数との和は定数である、ステップと、
前記第1の重み付け予測サンプルと前記第2の重み付け予測サンプルとの和に基づいて前記複合参照ブロックを決定するステップとを含む、
請求項15に記載の方法。

【請求項17】

前記第1の重み係数は前記ビデオビットストリームで事前定義またはシグナリングされ、
前記第1の重み係数の値は、0、64、または正の整数のうちの1つを含む、
請求項16に記載の方法。

【請求項18】

前記第1の重み係数と前記第2の重み係数との和は64に等しい、請求項16に記載の方法。

【請求項19】

ビデオデータを処理するためのデバイスであって、前記デバイスは、コンピュータ命令を記憶するためのメモリと、前記メモリと通信するプロセッサとを備え、前記プロセッサが前記コンピュータ命令を実行するとき、前記プロセッサは、前記デバイスに、
ビデオフレームの現在のブロックを含むビデオビットストリームを受信させ、
前記ビデオビットストリームから、前記現在のブロックがイントラブロックコピー（IntraBC）モードの下で予測されることを示すIntraBCフラグを抽出させ、
前記ビデオビットストリームから、前記現在のブロックがウェッジレット分割モードの下で分割されると決定させ、前記現在のブロックは、前記ウェッジレット分割モードの下で第1のパーティションおよび第2のパーティションを含む複数のパーティションに分割され、
前記現在のブロックの少なくとも前記第1のパーティションおよび前記第2のパーティションを識別させ、
前記第1のパーティションを前記IntraBCモードで予測するための第1のブロックベクトルおよび前記第2のパーティションを前記IntraBCモードで予測するための第2のブロックベクトルをそれぞれ決定させ、
少なくとも前記第1のブロックベクトルおよび前記第2のブロックベクトルに基づいて前記現在のブロックをデコーディングさせるように構成される、デバイス。

【請求項20】

請求項15に記載の方法を行うように構成された回路を備えるデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、高度なビデオコーディング技術のセットを説明する。より具体的には、開示の技術は、ビデオエンコーディングおよびビデオデコーディングにおけるウェッジレット分割モードを用いたイントラブロックコピー（IntraBC、またはIBC）の実装および強化を含む。

【背景技術】

【0002】

本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、その研究がこの背景技術の項に記載されている限りにおいて、またそれ以外の本出願の出願時に先行技術として認められない可能性のある説明の態様と共に、本開示に対する先行技術としては明示的にも暗示的にも認められない。

【0003】

ビデオコーディングおよびビデオデコーディングは、動き補償を伴うインターピクチャ予測を使用して実行されることができる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば、1920×1080の輝度サンプルおよび関連するフルまたはサブサンプリングクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば、毎秒60ピクチャまたは毎秒60フレームの固定または可変のピクチャレート（代替的にフレームレートとも呼ばれる）を有することができる。非圧縮ビデオは、ストリーミングまたはデータ処理のための特定のビットレート要件を有する。例えば、1920×1080のピクセル解像度、60フレーム／秒のフレームレート、および色チャネルあたりピクセルあたり8ビットで4：2：0のクロマサブサンプリングを有するビデオは、1．5Gbit／sに近い帯域幅を必要とする。1時間分のそのようなビデオは、600GByteを超える記憶空間を必要とする。

【0004】

ビデオコーディングおよびビデオデコーディングの1つの目的は、圧縮による非圧縮入力ビデオ信号の冗長性の低減でありうる。圧縮は、前述の帯域幅要件および／または記憶空間要件を、場合によっては2桁以上低減させるのに役立ちうる。可逆圧縮と非可逆圧縮の両方、ならびにそれらの組み合わせが採用されることができる。可逆圧縮とは、デコーディングプロセスを介して圧縮された原信号から原信号の正確なコピーが再構成されることができる技術を指す。非可逆圧縮とは、元のビデオ情報がコーディング時に完全に保持されず、デコーディング時に完全に復元できないコーディング／デコーディングプロセスを指す。非可逆圧縮を使用する場合、再構成された信号は原信号と同一ではない可能性があるが、原信号と再構成された信号との間の歪みは、多少の情報損失はあっても、再構成された信号を意図された用途に役立てるのに十分なほど小さくなる。ビデオの場合、非可逆圧縮が多くの用途で広く採用されている。耐えられる歪みの量は用途に依存する。例えば、或る消費者ビデオストリーミング用途のユーザは、映画やテレビ放送用途のユーザよりも高い歪みに耐えうる。特定のコーディングアルゴリズムによって達成可能な圧縮比は、様々な歪み耐性を反映するように選択または調整されることができ、すなわち、一般に、耐えられる歪みが高いほど、高い損失および高い圧縮比をもたらすコーディングアルゴリズムが可能になる。

【0005】

ビデオエンコーダおよびビデオデコーダは、例えば、動き補償、フーリエ変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリおよびステップからの技術を利用することができる。

【0006】

ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプルまたは他のデータを参照することなく表される。一部のビデオコーデックでは、ピクチャがサンプルのブロックに空間的に細分される。サンプルのすべてのブロックがイントラモードでコーディングされる場合、そのピクチャはイントラピクチャと呼ばれることができる。イントラピクチャおよび独立したデコーダリフレッシュピクチャなどのそれらの派生ピクチャは、デコーダ状態をリセットするために使用されることができ、したがって、コーディングされたビデオビットストリームおよびビデオセッション内の最初のピクチャとして、または静止画像として使用されることができる。イントラ予測後のブロックのサンプルは、次いで、周波数領域への変換を受けることができ、そのように生成された変換係数はエントロピーコーディングの前に量子化されることができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術を表す。場合によっては、変換後のDC値が小さいほど、およびAC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビット数が少ない。

【0007】

例えば、MPEG－2生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に近傍のエンコーディング時および／またはデコーディング時に取得される、イントラコーディングまたはイントラデコーディングされたデータのブロックにデコーディング順序で先行する、周囲のサンプルデータおよび／またはメタデータに基づいて、ブロックのコーディング／デコーディングを試みる技術を含む。そのような技術は、以下「イントラ予測」技術と呼ばれる。少なくともいくつかの場合において、イントラ予測は、再構成中の現在のピクチャのみからの参照データを使用し、他の参照ピクチャからの参照データは使用しないことに留意されたい。

【0008】

イントラ予測には多くの異なる形式がありうる。そのような技術のうちの2つ以上が所与のビデオコーディング技術において利用可能である場合、使用される技術はイントラ予測モードと呼ばれることができる。1つまたは複数のイントラ予測モードが、特定のコーデックで提供されうる。特定の場合には、モードは、サブモードを有することができ、かつ／または様々なパラメータと関連付けられていてもよく、ビデオのブロックについてのモード／サブモード情報およびイントラコーディングパラメータは、個々にコーディングされるか、またはまとめてモードのコードワードに含められることができる。所与のモード、サブモード、および／またはパラメータの組み合わせにどのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。

【0009】

イントラ予測の特定のモードは、H．264で導入され、H．265で改良され、共同探索モデル（JEM）、多用途ビデオコーディング（VVC）、およびベンチマークセット（BMS）などのより新しいコーディング技術でさらに改良された。一般に、イントラ予測では、利用可能になった近傍サンプル値を使用して予測子ブロックが形成されることができる。例えば、特定の方向および／または線に沿った特定の近傍サンプルのセットの利用可能な値が予測子ブロックにコピーされてもよい。使用される方向への参照は、ビットストリームでコーディングされてもよいし、それ自体が予測されてもよい。

【0010】

図1Aを参照すると、右下に図示されているのは、（H．265で指定される35のイントラモードのうちの33の角度モードに対応する）H．265の33の可能なイントラ予測子方向で指定される9つの予測子方向のサブセットである。矢印が収束する点（101）は、予測されているサンプルを表す。矢印は、そこから近傍サンプルが101にあるサンプルを予測するために使用される方向を表す。例えば、矢印（102）は、サンプル（101）が水平方向から45度の角度で、1つまたは複数の近傍サンプルから右上へ予測されることを示している。同様に、矢印（103）は、サンプル（101）が水平方向から22．5度の角度で、1つまたは複数の近傍サンプルからサンプル（101）の左下へ予測されることを示している。

【0011】

さらに図1Aを参照すると、左上には、（太い破線によって示された）4×4サンプルの正方形ブロック（104）が図示されている。正方形ブロック（104）は16個のサンプルを含み、「S」、そのY次元の位置（例えば、行インデックス）、およびそのX次元の位置（例えば、列インデックス）で各々ラベル付けされている。例えば、サンプルS21は、Y次元で（上から）2番目のサンプルであり、X次元で（左から）1番目のサンプルである。同様に、サンプルS44は、Y次元とX次元の両方でブロック（104）内の4番目のサンプルである。ブロックはサイズが4×4サンプルなので、S44は右下にある。同様の番号付け方式に従う例示的な参照サンプルがさらに示されている。参照サンプルは、R、ブロック（104）に対するそのY位置（例えば、行インデックス）、およびX位置（列インデックス）でラベル付けされている。H．264とH．265の両方で、再構成中のブロックに隣接して近傍にある予測サンプルが使用される。

【0012】

ブロック104のイントラピクチャ予測は、シグナリングされた予測方向に従って近傍サンプルから参照サンプル値をコピーすることから開始しうる。例えば、コーディングされたビデオビットストリームは、このブロック104について、矢印（102）の予測方向を示すシグナリングを含む、すなわち、サンプルは1つまたは複数の予測サンプルから右上へ、水平方向から45度の角度で予測されると仮定する。そのような場合、サンプルS41、S32、S23、およびS14が同じ参照サンプルR05から予測される。次いで、サンプルS44が、参照サンプルR08から予測される。

【0013】

特定の場合には、特に方向が45度によって均等に割り切れない場合、参照サンプルを計算するために、複数の参照サンプルの値が、例えば補間によって組み合わされてもよい。

【0014】

可能な方向の数は、ビデオコーディング技術が発展し続けるにつれて増加してきた。H．264（2003年）では、例えば、9つの異なる方向がイントラ予測に利用可能である。これは、H．265（2013年）では33まで増加し、JEM／VVC／BMSは、本開示の時点で、最大65の方向をサポートすることができる。最も適切なイントラ予測方向を識別するのに役立つ実験研究が行われており、エントロピーコーディングの特定の技術は、方向についての特定のビットペナルティを受け入れて、それらの最も適切な方向を少数のビットでエンコーディングするために使用されうる。さらに、方向自体が、デコーディングされている近傍ブロックのイントラ予測で使用された近傍の方向から予測されることができる場合もある。

【0015】

図1Bは、時間の経過と共に発展した様々なエンコーディング技術における増加する予測方向の数を例示するために、JEMによる65のイントラ予測方向を図示する概略図（180）を示している。

【0016】

コーディングされたビデオビットストリームにおいてイントラ予測方向を表すビットを予測方向にマッピングするための方式は、ビデオコーディング技術によって異なる場合があり、例えば、予測方向対イントラ予測モードの単純な直接マッピングから、コードワード、最確モードを含む複雑な適応方式、および同様の技術にまで及びうる。しかしながら、すべての場合において、特定の他の方向よりもビデオコンテンツで発生する可能性が統計的に低いイントラ予測の特定の方向が存在しうる。ビデオ圧縮の目的は冗長性の低減であるため、それらのより可能性が低い方向は、うまく設計されたビデオコーディング技術では、より可能性が高い方向よりも多いビット数で表されうる。

【0017】

インターピクチャ予測、またはインター予測は、動き補償に基づくものでありうる。動き補償では、以前に再構成されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータが、動きベクトル（以下、MV）によって示される方向に空間的にシフトされた後、新たに再構成されたピクチャまたはピクチャ部分（例えば、ブロック）の予測に使用されうる。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じでありうる。MVは、2つの次元XおよびY、または3つの次元を有してもよく、第3の次元は、（時間次元と類似した）使用される参照ピクチャの指示である。

【0018】

いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能な現在のMVが、他のMVから、例えば再構成中のエリアに空間的に隣接し、デコーディング順序で現在のMVに先行する、サンプルデータの他のエリアに関連する他のMVから予測されることができる。そうすることにより、相関するMVの冗長性の除去に依拠することによってMVをコーディングするのに必要とされる全体のデータ量を大幅に削減することができ、それによって圧縮効率が増加する。MV予測が効果的に機能することができるのは、例えば、（自然なビデオとして知られている）カメラから導出された入力ビデオ信号をコーディングするとき、単一のMVが適用可能なエリアよりも大きいエリアは、ビデオシーケンスにおいて同様の方向に移動する統計的尤度があり、したがって、場合によっては、近傍のエリアのMVから導出された同様の動きベクトルを使用して予測されることができるからである。その結果として、所与のエリアの実際のMVが周囲のMVから予測されたMVと同様または同一になる。そのようなMVはさらに、エントロピーコーディング後に、MVが（1つまたは複数の）近傍のMVから予測されるのではなく直接コーディングされた場合に使用されることになるよりも少ないビット数で表されうる。場合によっては、MV予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例でありうる。他の場合には、MV予測自体は、例えば、いくつかの周囲のMVから予測子を計算するときの丸め誤差のために、非可逆でありうる。

【0019】

様々なMV予測メカニズムが、H．265／HEVC（ITU－T Rec．H．265、「High Efficiency Video Coding」、2016年12月）に記載されている。H．265が指定する多くのMV予測メカニズムのうち、以下で説明されるのは、以下「空間マージ」と呼ばれる技術である。

【0020】

具体的には、図2を参照すると、現在のブロック（201）は、動き探索プロセス中にエンコーダによって、空間的にシフトされた同じサイズの以前のブロックから予測可能であると検出されたサンプルを含む。そのMVを直接コーディングする代わりに、MVは、A0、A1、およびB0、B1、B2（それぞれ、202～206）と表された5つの周囲のサンプルのうちのいずれか1つと関連付けられたMVを使用して、1つまたは複数の参照ピクチャと関連付けられたメタデータから、例えば、（デコーディング順序で）最新の参照ピクチャから導出されることができる。H．265では、MV予測は、近傍のブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。

【発明の概要】

【課題を解決するための手段】

【0021】

本開示の態様は、一般に、ビデオエンコーディングおよびビデオデコーディングに関し、特に、ウェッジレット分割モードを用いたイントラブロックコピー（IntraBC、またはIBC）の実装および強化に関する。

【0022】

本開示の態様は、ビデオデータを処理するための方法を提供する。方法は、ビデオフレームの現在のブロックを含むビデオビットストリームを受信するステップと、ビデオビットストリームから、現在のブロックがイントラブロックコピー（IntraBC）モードの下で予測されることを示すIntraBCモードフラグを抽出するステップと、ビデオビットストリームから、現在のブロックがウェッジレット分割モードの下で分割されると決定するステップと、現在のブロックの少なくとも第1のパーティションおよび第2のパーティションを識別するステップと、第1のパーティションおよび第2のパーティションの第1のブロックベクトルおよび第2のブロックベクトルをそれぞれ抽出するステップと、少なくとも第1のブロックベクトルおよび第2のブロックベクトルに基づいて現在のブロックをデコーディングするステップと、を含む。

【0023】

本開示の態様はまた、ビデオデータを処理するための別の方法を提供する。方法は、ビデオフレームの現在のブロックを含むビデオビットストリームを受信するステップであって、現在のブロックが、複合予測を使用してイントラブロックコピー（IntraBC）モードの下で予測される、ステップと、現在のブロックが、ウェッジレット分割モードの下で少なくとも第1のパーティションと第2のパーティションとに分割されると決定するステップと、第1のパーティションのための少なくとも2つの参照ブロックを決定するステップと、少なくとも2つの参照ブロックの加重和に基づいて複合参照ブロックを決定するステップと、複合参照ブロックに基づいて第1のパーティションを再構成するステップと、を含む。

【0024】

本開示の態様はまた、上記の方法実装形態のいずれかを実行するように構成された回路を含むビデオエンコーディングまたはビデオデコーディングデバイスまたは装置も提供する。

【0025】

本開示の態様はまた、ビデオデコーディングおよび／またはビデオエンコーディングのためにコンピュータによって実行されたときに、コンピュータに、ビデオデコーディングおよび／またはビデオエンコーディングのための方法を行わせる命令を記憶している非一時的コンピュータ可読媒体も提供する。

【0026】

開示の主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

【図面の簡単な説明】

【0027】

【図1A】イントラ予測方向性モードの例示的なサブセットの概略図を示す。

【図1B】例示的なイントラ予測方向の図を示す。

【図2】一例における動きベクトル予測のための現在のブロックおよびその周囲の空間マージ候補の概略図を示す。

【図3】一例示的実施形態による通信システム（300）の簡略ブロック図の概略図を示す。

【図4】一例示的実施形態による通信システム（400）の簡略ブロック図の概略図を示す。

【図5】一例示的実施形態によるビデオデコーダの簡略ブロック図の概略図を示す。

【図6】一例示的実施形態によるビデオエンコーダの簡略ブロック図の概略図を示す。

【図7】別の例示的実施形態によるビデオエンコーダのブロック図を示す。

【図8】別の例示的実施形態によるビデオデコーダのブロック図を示す。

【図9】本開示の例示的実施形態によるコーディングブロック分割の方式を示す。

【図10】本開示の例示的実施形態によるコーディングブロック分割の別の方式を示す。

【図11】本開示の例示的実施形態によるコーディングブロック分割の別の方式を示す。

【図12】例示的な分割方式による、ベースブロックのコーディングブロックへの例示的な分割を示す。

【図13】例示的な三分割方式を示す。

【図14】例示的な四分木二分木コーディングブロック分割方式を示す。

【図15】本開示の例示的実施形態による、コーディングブロックを複数の変換ブロックに分割するための方式および変換ブロックのコーディング順序を示す。

【図16】本開示の例示的実施形態による、コーディングブロックを複数の変換ブロックに分割するための別の方式および変換ブロックのコーディング順序を示す。

【図17】本開示の例示的実施形態によるコーディングブロックを複数の変換ブロックに分割するための別の方式を示す。

【図18】同じフレーム内の再構成されたコーディングブロックを使用して現在のコーディングブロックを予測するイントラブロックコピー（IBC）の概念を示す。

【図19】IBCの参照サンプルとして利用可能な例示的な再構成サンプルを示す。

【図20】いくつかの例示的な制限を有するIBCの参照サンプルとして利用可能な例示的な再構成サンプルを示す。

【図21】IBCの例示的なオンチップ参照サンプルメモリ（RSM）更新メカニズムを示す。

【図22】図21の例示的なオンチップRSM更新メカニズムの空間図を示す。

【図23】IBCの別の例示的なオンチップ参照サンプルメモリ（RSM）更新メカニズムを例示す。

【図24】水平方向に分割されたスーパーブロックおよび垂直方向に分割されたスーパーブロックのためのIBCの例示的なRSM更新メカニズムの空間図の比較を示す。

【図25】IBC参照ブロックの例示的な非ローカル探索エリアおよびローカル探索エリアを示す。

【図26】ローカル参照ブロック探索エリアと非ローカル参照ブロック探索エリアの両方を採用するIBCのための予測ブロックおよび予測ブロック選択に対する提案される制限の例を示す。

【図27】様々な分割境界を有する例示的なウェッジレット分割パターンを示す。

【図28】ウェッジレット分割を使用して、各領域がそれぞれの参照ブロックを見つけるためのブロックベクトルを有する2つの領域に分割された例示的なIntraBCブロックを示す。

【図29】本開示の一例示的実施形態による方法のフローチャートを示す。

【図30】本開示の例示的実施形態によるコンピュータシステムの概略図を示す。

【発明を実施するための形態】

【0028】

次に、本発明の一部を形成し、実施形態の具体例を例示として示す添付の図面を参照して、本発明が以下で詳細に説明される。しかしながら、本発明は、様々な異なる形態で具現化されてもよく、したがって、対象として含まれるかまたは特許請求される主題は、以下に記載される実施形態のいずれにも限定されないものとして解釈されることが意図されていることに留意されたい。また本発明は、方法、デバイス、構成要素、またはシステムとして具現化されうることにも留意されたい。したがって、本発明の実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせの形態をとりうる。

【0029】

本明細書および特許請求の範囲全体を通して、用語は、明示的に記載される意味を超えて文脈内で示唆または暗示される微妙な意味を有する場合がある。本明細書で使用される「一実施形態では」または「いくつかの実施形態では」という語句は、必ずしも同じ実施形態を指すものではなく、本明細書で使用される「別の実施形態では」または「他の実施形態では」という語句は、必ずしも異なる実施形態を指すものではない。同様に、本明細書で使用される「一実装形態では」または「いくつかの実装形態では」という語句は、必ずしも同じ実装形態を指すものではなく、本明細書で使用される「別の実装形態では」または「他の実装形態では」という語句は、必ずしも異なる実装形態を指すものではない。例えば、特許請求される主題は、例示的実施形態／実装形態の全部または一部の組み合わせを含むことが意図されている。

【0030】

一般に、用語は、文脈における用法から少なくとも部分的に理解されうる。例えば、本明細書で使用される「および」、「または」、または「および／または」などの用語は、そのような用語が使用される文脈に少なくとも部分的に依存しうる様々な意味を含んでもよい。典型的には、A、B、またはCなどのリストを関連付けるために使用される場合の「または」は、この場合包括的な意味で使用されるA、B、およびC、ならびにこの場合排他的な意味で使用されるA、B、またはCを意味することを意図されている。加えて、本明細書で使用される「1つまたは複数」または「少なくとも1つ」という用語は、文脈に少なくとも部分的に依存して、単数の意味で任意の特徴、構造、もしくは特性を記述するために使用されてもよいし、複数の意味で特徴、構造、もしくは特性の組み合わせを記述するために使用されてもよい。同様に、「a」、「an」、または「the」などの用語もやはり、文脈に少なくとも部分的に依存して、単数形の使用法を伝えるか、または複数形の使用法を伝えると理解されてもよい。加えて、「に基づいて」または「によって決定される」という用語は、必ずしも排他的な要因のセットを伝えることを意図されていないと理解されてもよく、代わりに、やはり文脈に少なくとも部分的に依存して、必ずしも明示的に記述されていないさらなる要因の存在を許容する場合もある。

【0031】

図3は、本開示の一実施形態による通信システム（300）の簡略ブロック図を示している。通信システム（300）は、例えば、ネットワーク（350）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（300）は、ネットワーク（350）を介して相互接続された端末デバイス（310）および（320）の第1のペアを含む。図3の例では、端末デバイス（310）および（320）の第1のペアは、データの単方向送信を行いうる。例えば、端末デバイス（310）は、ネットワーク（350）を介して他方の端末デバイス（320）に送信するための（例えば、端末デバイス（310）によって取り込まれたビデオピクチャのストリームの）ビデオデータをコーディングしうる。エンコーディングされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形式で送信されることができる。端末デバイス（320）は、ネットワーク（350）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示しうる。単方向データ送信は、メディアサービング用途などで実施されうる。

【0032】

別の例では、通信システム（300）は、例えば、ビデオ会議用途の間に実施されうるコーディングされたビデオデータの双方向送信を行う端末デバイス（330）および（340）の第2のペアを含む。データの双方向送信のために、一例では、端末デバイス（330）および（340）の各端末デバイスは、ネットワーク（350）を介して端末デバイス（330）および（340）の他方の端末デバイスに送信するための（例えば、その端末デバイスによって取り込まれたビデオピクチャのストリームの）ビデオデータをコーディングしうる。端末デバイス（330）および（340）の各端末デバイスはまた、端末デバイス（330）および（340）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してもよく、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元してもよく、復元されたビデオデータに従ってアクセス可能な表示デバイスでビデオピクチャを表示してもよい。

【0033】

図3の例では、端末デバイス（310）、（320）、（330）、および（340）は、サーバ、パーソナルコンピュータ、およびスマートフォンとして実施されてもよいが、本開示の基礎となる原理の適用性はそのように限定されない。本開示の実施形態は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、ウェアラブルコンピュータ、専用のビデオ会議機器などにおいて実施さてもよい。ネットワーク（350）は、例えば配線（有線）および／または無線通信ネットワークを含む、端末デバイス（310）、（320）、（330）、および（340）間で、コーディングされたビデオデータを伝達する任意の数またはタイプのネットワークを表す。通信ネットワーク（350）は、回線交換チャネル、パケット交換チャネル、および／または他のタイプのチャネルでデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および／またはインターネットを含む。本考察の目的にとって、ネットワーク（350）のアーキテクチャおよびトポロジーは、本明細書で明示的に説明されない限り、本開示の動作にとって重要ではない場合がある。

【0034】

図4は、開示の主題の用途用の一例として、ビデオストリーミング環境内のビデオエンコーダおよびビデオデコーダの配置を示している。開示の主題は、例えば、ビデオ会議、デジタルテレビ放送、ゲーム、仮想現実、CD、DVD、メモリスティックなどを含むデジタル媒体上の圧縮ビデオの記憶などを含む、他のビデオ用途に等しく適用可能であってもよい。

【0035】

ビデオストリーミングシステムは、圧縮されていないビデオピクチャまたは画像のストリーム（402）を作成するためのビデオソース（401）、例えば、デジタルカメラを含むことができるビデオキャプチャサブシステム（413）を含んでもよい。一例では、ビデオピクチャのストリーム（402）は、ビデオソース401のデジタルカメラによって記録されたサンプルを含む。ビデオピクチャのストリーム（402）は、エンコーディングされたビデオデータ（404）（またはコーディングされたビデオビットストリーム）と比較した場合の高データ量を強調するために太線として図示されており、ビデオソース（401）に結合されたビデオエンコーダ（403）を含む電子デバイス（420）によって処理されることができる。ビデオエンコーダ（403）は、以下でより詳細に説明されるように、開示の主題の態様を可能化または実施するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。エンコーディングされたビデオデータ（404）（またはエンコーディングされたビデオビットストリーム（404））は、非圧縮ビデオピクチャのストリーム（402）と比較した場合の低データ量を強調するために細線として図示されており、将来の使用のためにストリーミングサーバ（405）に、または下流のビデオデバイス（図示せず）に直接記憶されることができる。図4のクライアントサブシステム（406）および（408）などの1つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（405）にアクセスして、エンコーディングされたビデオデータ（404）のコピー（407）および（409）を取り出すことができる。クライアントサブシステム（406）は、例えば、電子デバイス（430）内にビデオデコーダ（410）を含むことができる。ビデオデコーダ（410）は、エンコーディングされたビデオデータの入力コピー（407）をデコーディングし、圧縮されていない、ディスプレイ（412）（例えば、表示スクリーン）または他のレンダリングデバイス（図示せず）上にレンダリングされることができるビデオピクチャの出力ストリーム（411）を作成する。ビデオデコーダ410は、本開示に記載される様々な機能の一部または全部を行うように構成されうる。いくつかのストリーミングシステムでは、エンコーディングされたビデオデータ（404）、（407）、および（409）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされることができる。それらの規格の例は、ITU－T勧告H．265を含む。一例では、開発中のビデオコーディング規格が、多用途ビデオコーディング（VVC）として非公式に知られている。開示の主題は、VVC、および他のビデオコーディング規格の文脈で使用されてもよい。

【0036】

電子デバイス（420）および（430）が、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（420）はビデオデコーダ（図示せず）も含むことができ、電子デバイス（430）はビデオエンコーダ（図示せず）も含むことができる。

【0037】

図5は、以下の本開示の任意の実施形態による、ビデオデコーダ（510）のブロック図を示している。ビデオデコーダ（510）は、電子デバイス（530）に含まれることができる。電子デバイス（530）は、受信器（531）（例えば、受信回路）を含むことができる。ビデオデコーダ（510）を、図4の例のビデオデコーダ（410）の代わりに使用されることができる。

【0038】

受信器（531）は、ビデオデコーダ（510）によってデコーディングされるべき1つまたは複数のコーディングされたビデオシーケンスを受信しうる。同じかまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスがデコーディングされてもよく、各コーディングされたビデオシーケンスのデコーディングは他のコーディングされたビデオシーケンスから独立している。各ビデオシーケンスは、複数のビデオフレームまたはビデオ画像と関連付けられていてもよい。コーディングされたビデオシーケンスはチャネル（501）から受信されてもよく、チャネル（501）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンク、またはエンコーディングされたビデオデータを送信するストリーミングソースであってもよい。受信器（531）は、エンコーディングされたビデオデータを、それぞれの処理回路（図示せず）に転送されうる、コーディングされたオーディオデータおよび／または補助データストリームなどの他のデータと共に受信しうる。受信器（531）は、コーディングされたビデオシーケンスを他のデータから分離しうる。ネットワークジッタに対抗するために、バッファメモリ（515）が、受信器（531）とエントロピーデコーダ／パーサ（520）（以下、「パーサ（520）」）との間に配置されてもよい。特定の用途では、バッファメモリ（515）は、ビデオデコーダ（510）の一部として実装されうる。他の用途では、バッファメモリ（515）は、ビデオデコーダ（510）の外部に分離されてありうる（図示せず）。さらに他の用途では、例えば、ネットワークジッタに対抗する目的でビデオデコーダ（510）の外部にバッファメモリ（図示せず）がある可能性もあり、例えば再生タイミングを扱うために、ビデオデコーダ（510）の内部に別の追加のバッファメモリ（515）があってもよい。受信器（531）が十分な帯域幅および可制御性の記憶／転送デバイスから、またはアイソシンクロナスネットワークからデータを受信しているとき、バッファメモリ（515）は不要な場合があり、または小さくすることができる。インターネットなどのベストエフォートパケットネットワークで使用するために、十分なサイズのバッファメモリ（515）が必要とされる場合があり、そのサイズは比較的大きくすることができる。そのようなバッファメモリは、適応サイズで実装されてもよく、ビデオデコーダ（510）の外部のオペレーティングシステムまたは同様の要素（図示せず）に少なくとも部分的に実装されてもよい。

【0039】

ビデオデコーダ（510）は、コーディングされたビデオシーケンスからシンボル（521）を再構成するためにパーサ（520）を含んでいてもよい。それらのシンボルのカテゴリは、ビデオデコーダ（510）の動作を管理するために使用される情報、および、潜在的に、図5に示されるように、電子デバイス（530）の不可欠な部分である場合もそうでない場合もあるが、電子デバイス（530）に結合されることができるディスプレイ（512）（例えば、表示スクリーン）などのレンダリングデバイスを制御するための情報を含む。（1つまたは複数）レンダリングデバイスのための制御情報は、補足拡張情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI）のパラメータセットフラグメント（図示せず）の形式であってもよい。パーサ（520）は、パーサ（520）によって受信されるコーディングされたビデオシーケンスをパース／エントロピーデコーディングしうる。コーディングされたビデオシーケンスのエントロピーコーディングは、ビデオコーディング技術または規格に従ったものとすることができ、可変長コーディング、ハフマンコーディング、コンテキスト依存性ありまたはなしの算術コーディングなどを含む様々な原理に従うことができる。パーサ（520）は、コーディングされたビデオシーケンスから、サブグループに対応する少なくとも1つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも1つのサブグループパラメータのセットを抽出しうる。サブグループは、Group of Pictures（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。パーサ（520）はまた、コーディングされたビデオシーケンスから、変換係数（例えば、フーリエ変換係数）、量子化パラメータ値、動きベクトルなどの情報も抽出しうる。

【0040】

パーサ（520）は、シンボル（521）を作成するために、バッファメモリ（515）から受信されたビデオシーケンスに対してエントロピーデコーディング／パース動作を行いうる。

【0041】

シンボル（521）の再構成は、コーディングされたビデオピクチャまたはその部分のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）、ならびに他の要因に応じて、複数の異なる処理ユニットまたは機能ユニットを必要としうる。必要とされるユニットおよびユニットがどのように必要とされるかは、パーサ（520）によってコーディングされたビデオシーケンスからパースされたサブグループ制御情報によって制御されうる。パーサ（520）と以下の複数の処理ユニットまたは機能ユニットとの間のそのようなサブグループ制御情報の流れは、簡潔にするために図示されていない。

【0042】

既に説明された機能ブロックを超えて、ビデオデコーダ（510）は、以下で説明されるようないくつかの機能ユニットに概念的に細分されることができる。商業的制約の下で動作する実際の実装形態では、これらの機能ユニットの多くが互いに密接に相互作用し、少なくとも部分的に、互いに統合されることができる。しかしながら、開示の主題の様々な機能を明確に説明する目的で、以下の開示では機能ユニットへの概念的細分が採用されている。

【0043】

第1のユニットは、スケーラ／逆変換ユニット（551）を含んでもよい。スケーラ／逆変換ユニット（551）は、量子化変換係数、ならびにどのタイプの逆変換を使用するかを示す情報、ブロックサイズ、量子化係数／パラメータ、量子化スケーリング行列などを含む制御情報を、パーサ（520）から（1つまたは複数の）シンボル（521）として受信しうる。スケーラ／逆変換ユニット（551）は、アグリゲータ（555）に入力されることができるサンプル値を含むブロックを出力することができる。

【0044】

場合によっては、スケーラ／逆変換（551）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用しないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関係することができる。そのような予測情報は、イントラピクチャ予測ユニット（552）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（552）は、既に再構成され、現在のピクチャバッファ（558）に記憶されている周囲のブロックの情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成してもよい。現在のピクチャバッファ（558）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファする。アグリゲータ（555）は、いくつかの実装形態では、サンプルごとに、イントラ予測ユニット（552）が生成した予測情報を、スケーラ／逆変換ユニット（551）によって提供される出力サンプル情報に追加しうる。

【0045】

他の場合には、スケーラ／逆変換ユニット（551）の出力サンプルは、インターコーディングされ潜在的に動き補償されたブロックに関係することができる。そのような場合、動き補償予測ユニット（553）は、参照ピクチャメモリ（557）にアクセスして、インターピクチャ予測に使用されるサンプルをフェッチすることができる。ブロックに関係するシンボル（521）に従ってフェッチされたサンプルを動き補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（555）によってスケーラ／逆変換ユニット（551）の出力に追加されることができる（ユニット551の出力は、残差サンプルまたは残差信号と呼ばれうる）。動き補償予測ユニット（553）がそこから予測サンプルをフェッチする参照ピクチャメモリ（557）内のアドレスは、動きベクトルによって制御されることができ、例えば、X成分、Y成分（シフト）、および参照ピクチャ成分（時間）を有することができるシンボル（521）の形式で動き補償予測ユニット（553）が利用できる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（557）からフェッチされたサンプル値の補間を含んでもよく、動きベクトル予測メカニズムなどと関連付けられていてもよく、以下同様である。

【0046】

アグリゲータ（555）の出力サンプルは、ループフィルタユニット（556）で様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（520）からのシンボル（521）としてループフィルタユニット（556）に提供されるインループフィルタ技術を含むことができるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの（デコーディング順序で）前の部分のデコーディング中に取得されたメタ情報に応答することもでき、以前に再構成されループフィルタリングされたサンプル値に応答することもできる。以下でさらに詳細に説明されるように、いくつかのタイプのループフィルタが、様々な順序でループフィルタユニット556の一部として含まれうる。

【0047】

ループフィルタユニット（556）の出力は、レンダリングデバイス（512）に出力されるだけでなく、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（557）に記憶されることもできるサンプルストリームでありうる。

【0048】

特定のコーディングされたピクチャは、完全に再構成されると、将来のインターピクチャ予測のための参照ピクチャとして使用されることができる。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（520）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（558）は、参照ピクチャメモリ（557）の一部になることができ、未使用の現在のピクチャバッファは、次のコーディングされたピクチャの再構成を開始する前に再割り当てされることができる。

【0049】

ビデオデコーダ（510）は、例えばITU－T Rec．H．265などの規格で採用された所定のビデオ圧縮技術に従ってデコーディング動作を行いうる。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスがビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格に文書化されたプロファイルの両方に忠実であるという意味において、使用されているビデオ圧縮技術または規格によって指定された構文に準拠しうる。具体的には、プロファイルは、ビデオ圧縮技術または規格において使用可能なすべてのツールから、そのプロファイルの下で使用することができる限られたツールとして特定のツールを選択することができる。規格に準拠するために、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術または規格のレベルによって定義される範囲内にありうる。場合によっては、レベルが、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定される限界は、場合によっては、仮想参照デコーダ（HRD）仕様およびコーディングされたビデオシーケンスでシグナリングされたHRDバッファ管理のためのメタデータによってさらに制限されることができる。

【0050】

いくつかの例示的実施形態では、受信器（531）は、エンコーディングされたビデオと共に追加の（冗長な）データを受信しうる。追加のデータは、（1つまたは複数の）コーディングされたビデオシーケンスの一部として含まれてもよい。追加のデータは、ビデオデコーダ（510）によって、データを適切にデコーディングするために、かつ／または元のビデオデータをより正確に再構成するために使用されうる。追加のデータは、例えば、時間、空間、または信号雑音比（SNR）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形式とすることができる。

【0051】

図6は、本開示の例示的実施形態によるビデオエンコーダ（603）のブロック図を示している。ビデオエンコーダ（603）は、電子デバイス（620）に含まれうる。電子デバイス（620）は、送信器（640）（例えば、送信回路）をさらに含みうる。ビデオエンコーダ（603）は、図4の例のビデオエンコーダ（403）の代わりに使用されることができる。

【0052】

ビデオエンコーダ（603）は、ビデオエンコーダ（603）によってコーディングされるべき（1つまたは複数の）ビデオ画像を取り込みうるビデオソース（601）（図6の例では電子デバイス（620）の一部ではない）からビデオサンプルを受信しうる。別の例では、ビデオソース（601）は、電子デバイス（620）の一部分として実装されてもよい。

【0053】

ビデオソース（601）は、ビデオエンコーダ（603）によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、…）、任意の色空間（例えば、BT．601 YCrCb、RGB、XYZ…）、および任意の適切なサンプリング構造（例えば、YCrCb 4：2：0、YCrCb 4：4：4）のものでありうるデジタルビデオサンプルストリームの形式で提供しうる。メディアサービングシステムでは、ビデオソース（601）は、以前に準備されたビデオを記憶することが可能な記憶デバイスであってもよい。ビデオ会議システムでは、ビデオソース（601）は、ローカル画像情報をビデオシーケンスとして取り込むカメラであってもよい。ビデオデータは、順番に見られたときに動きを与える複数の個々のピクチャまたは画像として提供されうる。ピクチャ自体はピクセルの空間配列として編成されてもよく、各ピクセルは、使用されているサンプリング構造、色空間などに応じて、1つまたは複数のサンプルを含むことができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明はサンプルに焦点を当てている。

【0054】

いくつかの例示的実施形態によれば、ビデオエンコーダ（603）は、ソースビデオシーケンスのピクチャを、リアルタイムで、または用途によって必要とされる任意の他の時間制約の下でコーディングされたビデオシーケンス（643）にコーディングし圧縮しうる。適切なコーディング速度を実施することがコントローラ（650）の1つの機能を構成する。いくつかの実施形態では、コントローラ（650）は、以下で説明されるように他の機能ユニットに機能的に結合され、他の機能ユニットを制御しうる。簡潔にするために結合は図示されていない。コントローラ（650）によって設定されるパラメータは、レート制御関連のパラメータ（ピクチャスキップ、量子化、レート歪み最適化技術のラムダ値…）、ピクチャサイズ、Group of Pictures（GOP）レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ（650）は、特定のシステム設計のために最適化されたビデオエンコーダ（603）に関係する他の適切な機能を有するように構成されることができる。

【0055】

いくつかの例示的実施形態では、ビデオエンコーダ（603）は、コーディングループで動作するように構成されてもよい。過度に簡略化された説明として、一例では、コーディングループは、ソースコーダ（630）（例えば、コーディングされるべき入力ピクチャと（1つまたは複数の）参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成する役割を担う）と、ビデオエンコーダ（603）に組み込まれた（ローカル）デコーダ（633）とを含むことができる。デコーダ（633）は、たとえ組み込まれたデコーダ633がエントロピーコーディングなしでソースコーダ630によってコーディングされたビデオストリームを処理しても（リモート）デコーダが作成するのと同様の方式でサンプルデータを作成するようにシンボルを再構成する（エントロピーコーディングにおけるシンボルとコーディングされたビデオビットストリームとの間の圧縮は、開示の主題で考慮されるビデオ圧縮技術では可逆でありうるため）。再構成サンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（634）に入力される。シンボルストリームのデコーディングは、デコーダの位置（ローカルかリモートか）とは関係なくビットイグザクトな結果をもたらすため、参照ピクチャメモリ（634）内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えれば、エンコーダの予測部分は、デコーダがデコーディング中に予測を使用するときに「見る」のと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理（および、例えばチャネル誤りが原因で同期性が維持されることができない場合に結果として生じるドリフト）は、コーディング品質を向上させるために使用される。

【0056】

「ローカル」デコーダ（633）の動作は、図5に関連して上記で詳細に既に説明されている、ビデオデコーダ（510）などの「リモート」デコーダの動作と同じでありうる。図5も簡単に参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（645）およびパーサ（520）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングが可逆でありうるため、バッファメモリ（515）およびパーサ（520）を含むビデオデコーダ（510）のエントロピーデコーディング部分は、エンコーダ内のローカルデコーダ（633）においては完全に実装されない場合がある。

【0057】

この時点で言えることは、デコーダ内にのみ存在しうるパース／エントロピーデコーディングを除く任意のデコーダ技術もまた必然的に、対応するエンコーダにおいて、実質的に同一の機能形式で存在する必要がありうるということである。このため、開示の主題はデコーダ動作に焦点を当てる場合があり、この動作はエンコーダのデコーディング部分と連係している。よって、エンコーダ技術の説明は、包括的に説明されるデコーダ技術の逆であるので、省略されることができる。特定のエリアまたは態様においてのみ、エンコーダのより詳細な説明が以下で提供される。

【0058】

動作中、いくつかの例示的実装形態では、ソースコーダ（630）は動き補償予測コーディングを行ってもよく、動き補償予測コーディングは、「参照ピクチャ」として指定されたビデオシーケンスからの1つまたは複数の以前にコーディングされたピクチャを参照して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（632）は、入力ピクチャのピクセルブロックと、入力ピクチャへの（1つまたは複数の）予測参照として選択されうる（1つまたは複数の）参照ピクチャのピクセルブロックとの間の色チャネルの差（または残差）をコーディングする。「残差」という用語およびその形容詞形「残差の」は、互いに入れ替えて用いられうる。

【0059】

ローカルビデオデコーダ（633）は、ソースコーダ（630）によって作成されたシンボルに基づいて、参照ピクチャとして指定されうるピクチャのコーディングされたビデオデータをデコーディングしうる。コーディングエンジン（632）の動作は、有利には、非可逆プロセスであってもよい。コーディングされたビデオデータが（図6には示されていない）ビデオデコーダでデコーディングされうる場合、再構成されたビデオシーケンスは、典型的には、いくつかの誤差を伴うソースビデオシーケンスの複製でありうる。ローカルビデオデコーダ（633）は、参照ピクチャに対してビデオデコーダによって行われうるデコーディングプロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（634）に記憶させうる。このようにして、ビデオエンコーダ（603）は、（送信誤差なしで）遠端（リモート）ビデオデコーダによって取得される再構成された参照ピクチャと共通のコンテンツを有する再構成された参照ピクチャのコピーをローカルに記憶しうる。

【0060】

予測器（635）は、コーディングエンジン（632）の予測探索を行いうる。すなわち、コーディングされるべき新しいピクチャについて、予測器（635）は、新しいピクチャのための適切な予測参照として機能しうる、（候補参照ピクセルブロックとしての）サンプルデータまたは参照ピクチャ動きベクトル、ブロック形状などといった特定のメタデータを求めて、参照ピクチャメモリ（634）を探索しうる。予測器（635）は、適切な予測参照を見つけるために、サンプルブロックごとピクセルブロックごとに動作しうる。場合によっては、予測器（635）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（634）に記憶された複数の参照ピクチャから引き出された予測参照を有してもよい。

【0061】

コントローラ（650）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含むソースコーダ（630）のコーディング動作を管理しうる。

【0062】

すべての前述の機能ユニットの出力は、エントロピーコーダ（645）でエントロピーコーディングを施されうる。エントロピーコーダ（645）は、ハフマンコーディング、可変長コーディング、算術コーディングなどといった技術に従ったシンボルの可逆圧縮により、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。

【0063】

送信器（640）は、エントロピーコーダ（645）によって作成された（1つまたは複数の）コーディングされたビデオシーケンスを、通信チャネル（660）を介した送信に備えてバッファしてもよく、通信チャネル（660）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってもよい。送信器（640）は、ビデオコーダ（603）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えばコーディングされたオーディオデータおよび／または補助データストリーム（ソースは図示されていない）とマージしてもよい。

【0064】

コントローラ（650）は、ビデオエンコーダ（603）の動作を管理しうる。コーディング中、コントローラ（650）は、各コーディングされたピクチャに特定のコーディングされたピクチャタイプを割り当ててもよく、ピクチャタイプは、それぞれのピクチャに適用されうるコーディング技術に影響を及ぼす場合がある。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの1つとして割り当てられうる。

【0065】

イントラピクチャ（Iピクチャ）は、予測のソースとしてシーケンス内のいかなる他のピクチャも使用せずにコーディングおよびデコーディングされうるピクチャでありうる。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「IDR」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Iピクチャのそれらの変形、ならびにそれらのそれぞれの用途および特徴を認識している。

【0066】

予測ピクチャ（Pピクチャ）は、多くても1つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされうるピクチャでありうる。

【0067】

双方向予測ピクチャ（Bピクチャ）は、多くても2つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされうるピクチャでありうる。同様に、複数の予測ピクチャは、単一のブロックの再構成のために3つ以上の参照ピクチャおよび関連メタデータを使用することができる。

【0068】

ソースピクチャは、一般に、複数のサンプルコーディングブロック（例えば、各々4×4サンプル、8×8サンプル、4×8サンプル、または16×16サンプルのブロック）に空間的に細分され、ブロックごとにコーディングされうる。ブロックは、ブロックのそれぞれのピクチャに適用されたコーディング割り当てによって決定されるように他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてもよい。例えば、Iピクチャのブロックは、非予測的にコーディングされてもよいし、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測またはイントラ予測）。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。ソースピクチャまたは中間処理されたピクチャは、他の目的で他のタイプのブロックに細分されてもよい。コーディングブロックおよび他のタイプのブロックの分割は、以下でさらに詳細に説明されるように、同じ方式に従っても従わなくてもよい。

【0069】

ビデオエンコーダ（603）は、ITU－T Rec．H．265などの所定のビデオコーディング技術または規格に従ってコーディング動作を行いうる。その動作に際して、ビデオエンコーダ（603）は、入力ビデオシーケンスにおける時間的冗長性および空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を行いうる。コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文にしかるべく準拠しうる。

【0070】

いくつかの例示的実施形態では、送信器（640）は、エンコーディングされたビデオと共に追加のデータを送信しうる。ソースコーダ（630）は、そのようなデータをコーディングされたビデオシーケンスの一部として含みうる。追加のデータは、時間／空間／SNRエンハンスメントレイヤ、冗長なピクチャおよびスライスなどの他の形式の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含んでもよい。

【0071】

ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）として取り込まれてもよい。イントラピクチャ予測（しばしばイントラ予測と略される）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の時間相関または他の相関を利用する。例えば、現在のピクチャと呼ばれる、エンコーディング中／デコーディング中の特定のピクチャは、ブロックに分割されうる。現在のピクチャ内のブロックは、ビデオ内の以前にコーディングされたまだバッファされている参照ピクチャ内の参照ブロックと同様である場合、動きベクトルと呼ばれるベクトルによってコーディングされうる。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。

【0072】

いくつかの例示的実施形態では、双予測技術がインターピクチャ予測に使用されることができる。そのような双予測技術によれば、どちらもビデオ内の現在のピクチャにデコーディング順序で先行する（ただし、表示順序ではそれぞれ過去または未来にあってもよい）、第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指し示す第1の動きベクトル、および第2の参照ピクチャ内の第2の参照ブロックを指し示す第2の動きベクトルによってコーディングされることができる。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって共同で予測されることができる。

【0073】

さらに、マージモード技術が、インターピクチャ予測においてコーディング効率を改善するために使用されてもよい。

【0074】

本開示のいくつかの例示的実施形態によれば、インターピクチャ予測やイントラピクチャ予測などの予測は、ブロック単位で行われる。例えば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャ内のCTUは、128×128ピクセル、64×64ピクセル、32×32ピクセル、または16×16ピクセルなどの同じサイズを有しうる。一般に、CTUは、3つの並列のコーディングツリーブロック（CTB）、すなわち、1つのルーマCTBおよび2つのクロマCTBを含みうる。各CTUは、1つまたは複数のコーディングユニット（CU）に再帰的に四分木分割されることができる。例えば、64×64ピクセルのCTUは、64×64ピクセルの1つのCUに、または32×32ピクセルの4つのCUに分割されることができる。32×32ブロックのうちの1つまたは複数の各々が、16×16ピクセルの4つのCUにさらに分割されてもよい。いくつかの例示的実施形態では、各CUは、インター予測タイプやイントラ予測タイプなどの様々な予測タイプの中からそのCUの予測タイプを決定するためにエンコーディング中に分析されうる。CUは、時間的予測可能性および／または空間的予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割されうる。一般に、各PUは、1つのルーマ予測ブロック（PB）および2つのクロマPBを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で行われる。CUのPU（または異なる色チャネルのPB）への分割は、様々な空間パターンで行われうる。ルーマPBまたはクロマPBは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなどといった、サンプルの値（例えば、ルーマ値）の行列を含みうる。

【0075】

図7は、本開示の別の例示的実施形態による、ビデオエンコーダ（703）の図を示している。ビデオエンコーダ（703）は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコーディングするように構成される。例示的なビデオエンコーダ（703）は、図4の例のビデオエンコーダ（403）の代わりに使用されてもよい。

【0076】

例えば、ビデオエンコーダ（703）は、8×8サンプルの予測ブロックなどといった処理ブロックのサンプル値の行列を受信する。次いでビデオエンコーダ（703）は、処理ブロックがそれを使用して最良にコーディングされるのは、例えばレート歪み最適化（RDO）を用いたイントラモードか、インターモードか、それとも双予測モードかを決定する。処理ブロックがイントラモードでコーディングされると決定された場合、ビデオエンコーダ（703）は、イントラ予測技術を使用して処理ブロックをコーディングされたピクチャにエンコーディングし、処理ブロックがインターモードまたは双予測モードでコーディングされると決定された場合、ビデオエンコーダ（703）は、インター予測技術または双予測技術をそれぞれ使用して、処理ブロックをコーディングされたピクチャにエンコーディングしうる。いくつかの例示的実施形態では、インターピクチャ予測のサブモードとして、動きベクトルが予測子の外部のコーディングされた動きベクトル成分の助けを借りずに1つまたは複数の動きベクトル予測子から導出されるマージモードが使用されうる。いくつかの他の例示的実施形態では、対象ブロックに適用可能な動きベクトル成分が存在しうる。したがって、ビデオエンコーダ（703）は、処理ブロックの予測モードを決定するために、モード決定モジュールなど、図7に明示的に示されていない構成要素を含んでもよい。

【0077】

図7の例では、ビデオエンコーダ（703）は、図7の例示的な配置に示されるように互いに結合されたインターエンコーダ（730）、イントラエンコーダ（722）、残差計算器（723）、スイッチ（726）、残差エンコーダ（724）、汎用コントローラ（721）、およびエントロピーエンコーダ（725）を含む。

【0078】

インターエンコーダ（730）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照ピクチャ内の1つまたは複数の参照ブロック（例えば、表示順序で前のピクチャ内および後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術による冗長情報、動きベクトル、マージモード情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、（以下でさらに詳細に説明されるように、図7の残差デコーダ728として示されている）図6の例示的なエンコーダ620に組み込まれたデコーディングユニット633を使用してエンコーディングされたビデオ情報に基づいてデコーディングされた、デコーディングされた参照ピクチャである。

【0079】

イントラエンコーダ（722）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを同じピクチャ内の既にコーディングされたブロックと比較し、変換後の量子化係数を生成し、場合によってはイントラ予測情報（例えば、1つまたは複数のイントラエンコーディング技術によるイントラ予測方向情報）も生成するように構成される。イントラエンコーダ（722）は、イントラ予測情報および同じピクチャ内の参照ブロックに基づいて、イントラ予測結果（例えば、予測されたブロック）を計算しうる。

【0080】

汎用コントローラ（721）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（703）の他の構成要素を制御するように構成されうる。一例では、汎用コントローラ（721）は、ブロックの予測モードを決定し、予測モードに基づいてスイッチ（726）に制御信号を提供する。例えば、予測モードがイントラモードである場合、汎用コントローラ（721）は、スイッチ（726）を制御して、残差計算器（723）が使用するためのイントラモード結果を選択させ、エントロピーエンコーダ（725）を制御して、イントラ予測情報を選択させてそのイントラ予測情報をビットストリームに含めさせ、ブロックの予測モードがインターモードである場合、汎用コントローラ（721）は、スイッチ（726）を制御して、残差計算器（723）が使用するためのインター予測結果を選択させ、エントロピーエンコーダ（725）を制御して、インター予測情報を選択させてそのインター予測情報をビットストリームに含めさせる。

【0081】

残差計算器（723）は、受信されたブロックと、イントラエンコーダ（722）またはインターエンコーダ（730）から選択されたブロックについての予測結果との間の差（残差データ）を計算するように構成されてもよい。残差エンコーダ（724）は、残差データをエンコーディングして変換係数を生成するように構成されうる。例えば、残差エンコーダ（724）は、残差データを空間領域から周波数領域に変換して変換係数を生成するように構成されてもよい。次いで、変換係数は、量子化変換係数を取得するために量子化処理を受ける。様々な例示的実施形態において、ビデオエンコーダ（703）は、残差デコーダ（728）も含む。残差デコーダ（728）は逆変換を行い、デコーディングされた残差データを生成するように構成される。デコーディングされた残差データは、イントラエンコーダ（722）およびインターエンコーダ（730）によって適切に使用されることができる。例えば、インターエンコーダ（730）は、デコーディングされた残差データおよびインター予測情報に基づいてデコーディングされたブロックを生成することができ、イントラエンコーダ（722）は、デコーディングされた残差データおよびイントラ予測情報に基づいてデコーディングされたブロックを生成することができる。デコーディングされたブロックは、デコーディングされたピクチャを生成するために適切に処理され、デコーディングされたピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用されることができる。

【0082】

エントロピーエンコーダ（725）は、エンコーディングされたブロックを含めるようにビットストリームをフォーマットし、エントロピーコーディングを行うように構成されうる。エントロピーエンコーダ（725）は、ビットストリームに様々な情報を含めるように構成される。例えば、エントロピーエンコーダ（725）は、ビットストリームに汎用制御データ、選択された予測情報（例えば、イントラ予測情報やインター予測情報）、残差情報、および他の適切な情報を含めるように構成されてもよい。インターモードまたは双予測モードのいずれかのマージサブモードでブロックをコーディングするときには、残差情報がない場合もある。

【0083】

図8は、本開示の別の実施形態による、例示的なビデオデコーダ（810）の図を示している。ビデオデコーダ（810）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受信し、コーディングされたピクチャをデコーディングして再構成されたピクチャを生成するように構成される。一例では、ビデオデコーダ（810）は、図4の例のビデオデコーダ（410）の代わりに使用すされてもよい。

【0084】

図8の例では、ビデオデコーダ（810）は、図8の例示的な配置に示されるように互いに結合されたエントロピーデコーダ（871）、インターデコーダ（880）、残差デコーダ（873）、再構成モジュール（874）、およびイントラデコーダ（872）を含む。

【0085】

エントロピーデコーダ（871）は、コーディングされたピクチャから、コーディングされたピクチャが構成されている構文要素を表す特定のシンボルを再構成するように構成されることができる。そのようなシンボルは、例えば、ブロックがコーディングされているモード（例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは別のサブモード）、イントラデコーダ（872）またはインターデコーダ（880）によって予測に使用される特定のサンプルまたはメタデータを識別することができる予測情報（例えば、イントラ予測情報やインター予測情報）、例えば、量子化変換係数の形式の残差情報などを含むことができる。一例では、予測モードがインターモードまたは双予測モードである場合、インター予測情報がインターデコーダ（880）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（872）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（873）に提供される。

【0086】

インターデコーダ（880）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成されうる。

【0087】

イントラデコーダ（872）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成されうる。

【0088】

残差デコーダ（873）は、逆量子化を行って逆量子化変換係数を抽出し、逆量子化変換係数を処理して、残差を周波数領域から空間領域に変換するように構成されうる。残差デコーダ（873）はまた、（量子化パラメータ（QP）を含めるために）エントロピーデコーダ（871）によって提供されうる特定の制御情報を利用してもよい（この情報は低データ量の制御情報のみでありうるのでデータパスは図示されていない）。

【0089】

再構成モジュール（874）は、空間領域において、残差デコーダ（873）による出力としての残差と（場合によって、インター予測モジュールまたはイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構成されたビデオの一部としての再構成されたピクチャの一部を形成する再構成されたブロックを形成するように構成されうる。視覚的品質を改善するために、デブロッキング動作などの他の適切な動作が行われてもよいことに留意されたい。

【0090】

ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）は、任意の適切な技術を使用して実装されることができることに留意されたい。いくつかの例示的実施形態では、ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）は、1つまたは複数の集積回路を使用して実装されることができる。別の実施形態では、ビデオエンコーダ（403）、（603）、および（603）、ならびにビデオデコーダ（410）、（510）、および（810）は、ソフトウェア命令を実行する1つまたは複数のプロセッサを使用して実装されることができる。

【0091】

コーディングおよびデコーディングのためのブロック分割に目を向けると、一般的な分割は、ベースブロックから開始し、事前定義されたルールセット、特定のパターン、分割ツリー、または任意の分割構造もしくは方式に従いうる。分割は、階層的かつ再帰的でありうる。以下で説明される例示的な分割手順もしくは他の手順、またはそれらの組み合わせのいずれかに従ってベースブロックを分割またはパーティションに分割した後に、パーティションまたはコーディングブロックの最終セットが取得されうる。これらのパーティションの各々は、分割階層内の様々な分割レベルのうちの1つにあってもよく、様々な形状のものであってもよい。パーティションの各々は、コーディングブロック（CB）と呼ばれうる。以下でさらに説明される様々な例示的分割実装形態では、結果として得られる各CBは、許容されるサイズおよび分割レベルのいずれかのものでありうる。そのようなパーティションは、そのためのいくつかの基本的なコーディング／デコーディング決定が行われ、コーディング／デコーディングパラメータが最適化され、決定され、エンコーディングされたビデオビットストリームにおいてシグナリングされうる単位を形成しうるので、コーディングブロックと呼ばれる。最終パーティションにおける最高または最深のレベルは、コーディングブロック分割ツリー構造の深度を表す。コーディングブロックは、ルーマコーディングブロックまたはクロマコーディングブロックでありうる。各色のCBツリー構造は、コーディングブロックツリー（CBT）と呼ばれてもよい。

【0092】

すべての色チャネルのコーディングブロックは、まとめてコーディングユニット（CU）と呼ばれてもよい。すべての色チャネルの階層構造は、まとめてコーディングツリーユニット（CTU）と呼ばれてもよい。CTU内の様々な色チャネルの分割パターンまたは構造は、同じであっても同じでなくてもよい。

【0093】

いくつかの実装形態では、ルーマチャネルおよびクロマチャネルに使用される分割ツリー方式または構造は、同じでなくてもよい場合もある。言い換えれば、ルーマチャネルおよびクロマチャネルは、別々のコーディングツリー構造またはパターンを有してもよい。さらに、ルーマチャネルおよびクロマチャネルが同じコーディング分割ツリー構造を使用するか、それとも異なるコーディング分割ツリー構造を使用するか、および使用されるべき実際のコーディング分割ツリー構造は、コーディングされるスライスがPスライスか、Bスライスか、それとおIスライスかに依存しうる。例えば、Iスライスの場合、クロマチャネルとルーマチャネルとは、別々のコーディング分割ツリー構造またはコーディング分割ツリー構造モードを有しうるが、PスライスまたはBスライスの場合、ルーマチャネルとクロマチャネルとは、同じコーディング分割ツリー方式を共有しうる。別々のコーディング分割ツリー構造またはモードが適用されるとき、ルーマチャネルはあるコーディング分割ツリー構造によってCBに分割されてもよく、クロマチャネルは別のコーディング分割ツリー構造によってクロマCBに分割されてもよい。

【0094】

いくつかの例示的実装形態では、所定の分割パターンがベースブロックに適用されうる。図9に示されるように、例示的な4通りの分割ツリーは、第1の事前定義されたレベル（例えば、ベースブロックサイズとして、64×64ブロックレベルまたは他のサイズ）から開始してもよく、ベースブロックは、事前定義された最下位レベル（例えば、4×4レベル）まで階層的に分割されてもよい。例えば、ベースブロックは、902、904、906、および908によって示される4つの事前定義された分割オプションまたはパターンに従ってもよく、Rとして指定されたパーティションは、図9に示されるのと同じ分割オプションが最下位レベル（例えば、4×4レベル）まで下位スケールで繰り返されうるという点で、再帰分割を許容される。いくつかの実装形態では、図9の分割方式に追加の制限が適用されてもよい。図9の実装形態では、長方形パーティション（例えば、1：2／2：1の長方形パーティション）は許容されうるが、再帰的であることは許容されえず、一方正方形パーティションは再帰的であることが許容される。再帰による図9の後に続く分割は、必要に応じて、コーディングブロックの最終セットを生成する。ルートノードまたはルートブロックからの分割深度を示すために、コーディングツリー深度がさらに定義されてもよい。例えば、64×64ブロックのルートノードまたはルートブロックのコーディングツリー深度は0に設定されてもよく、ルートブロックが図9に従ってさらに1回分割された後、コーディングツリー深度は1だけ増加する。64×64のベースブロックから4×4の最小パーティションまでの最大または最深のレベルは、上記の方式では（レベル0から開始して）4になる。そのような分割方式が、色チャネルのうちの1つまたは複数に適用されてもよい。各色チャネルは、図9の方式に従って独立して分割されてもよい（例えば、各階層レベルにおける色チャネルの各々に対して、事前定義されたパターンの中の分割パターンまたはオプションが独立して決定されてもよい）。代替的に、色チャネルのうちの2つ以上が図9の同じ階層パターンツリーを共有してもよい（例えば、各階層レベルにおける2つ以上の色チャネルに対して、事前定義されたパターンの中の同じ分割パターンまたはオプションが選択されてもよい）。

【0095】

図10は、再帰分割が分割ツリーを形成することを許容する別の例示的な事前定義された分割パターンを示している。図10に示されるように、例示的な10通りの分割構造またはパターンが事前定義されてもよい。ルートブロックは、事前定義されたレベルから（例えば、128×128レベルまたは64×64レベルのベースブロックから）開始しうる。図10の例示的な分割構造は、様々な2：1／1：2および4：1／1：4の長方形パーティションを含む。図10の2列目の1002、1004、1006、および1008で示される3つのサブパーティションを有するパーティションタイプは、「Tタイプ」パーティションと呼ばれてもよい。「Tタイプ」パーティション1002、1004、1006、および1008は、左Tタイプ、上Tタイプ、右Tタイプ、および下Tタイプと呼ばれてもよい。いくつかの例示的実装形態では、図10の長方形パーティションのいずれもさらに細分されることができない。ルートノードまたはルートブロックからの分割深度を示すために、コーディングツリー深度がさらに定義されてもよい。ルートノードまたはルートブロック、例えば、128×128ブロックのコーディングツリー深度は0に設定されてもよく、ルートブロックが図10に従ってさらに1回分割された後、コーディングツリー深度は1だけ増加する。いくつかの実装形態では、1010のすべて正方形パーティションのみが、図10のパターンの後に続く分割ツリーの次のレベルへの再帰分割を許容されうる。言い換えれば、再帰分割は、Tタイプパターン1002、1004、1006、および1008内の正方形パーティションに許容されない。再帰による図10の後に続く分割手順は、必要に応じて、コーディングブロックの最終セットを生成する。そのような方式が、色チャネルのうちの1つまたは複数に適用されうる。いくつかの実装形態では、8×8レベル未満のパーティションの使用により多くの柔軟性が加えられてもよい。例えば、特定の場合には2×2のクロマインター予測が使用されてもよい。

【0096】

コーディングブロック分割についてのいくつかの他の例示的実装形態では、四分木構造がベースブロックまたは中間ブロックを四分木パーティションに分割するために使用されうる。そのような四分木分割は、任意の正方形パーティションに階層的かつ再帰的に適用されてもよい。ベースブロックまたは中間ブロックまたはパーティションがさらに四分木分割されるかどうかは、ベースブロックまたは中間ブロック／パーティションの様々な局所特性に適合されてもよい。ピクチャ境界における四分木分割がさらに適合されてもよい。例えば、サイズがピクチャ境界に収まるまでブロックが四分木分割を続けるように、ピクチャ境界で暗黙的な四分木分割が行われてもよい。

【0097】

いくつかの他の例示的実装形態では、ベースブロックからの階層的二分割が使用されうる。そのような方式では、ベースブロックまたは中間レベルブロックは、2つのパーティションに分割されうる。二分割は、水平または垂直のいずれかであってもよい。例えば、水平二分割は、ベースブロックまたは中間ブロックを等しい左右のパーティションに分割しうる。同様に、垂直二分割は、ベースブロックまたは中間ブロックを等しい上下のパーティションに分割しうる。そのような二分割は、階層的かつ再帰的であってもよい。二分割方式が続けられるべきかどうか、および方式がさらに続けられる場合、水平二分割が使用されるべきか、それとも垂直二分割が使用されるべきかの決定が、ベースブロックまたは中間ブロックの各々で行われてもよい。いくつかの実装形態では、さらなる分割は、（一方または両方の次元の）事前定義された最低パーティションサイズで停止しうる。代替的に、さらなる分割は、ベースブロックから事前定義された分割レベルまたは深度に達すると停止してもよい。いくつかの実装形態では、パーティションのアスペクト比は制限されうる。例えば、パーティションのアスペクト比は、1：4以上（または4：1超）であってもよい。そのため、4：1の垂直対水平アスペクト比を有する垂直ストリップパーティションは、2：1の垂直対水平アスペクト比を各々有する上下のパーティションに垂直にさらに二分割されうるのみである。

【0098】

さらにいくつかの他の例では、図13に示されるように、ベースブロックまたは任意の中間ブロックを分割するために三分割方式が使用されうる。三元パターンは、図13の1302に示されるように垂直に、または図13の1304に示されるように水平に実施されうる。図13の例示的な分割比は、垂直または水平のいずれかで1：2：1として示されているが、他の比が事前定義されてもよい。いくつかの実装形態では、2つ以上の異なる比が事前定義されうる。そのような三分割方式は、そのような三分木分割が1つの連続するパーティション内のブロック中心に位置するオブジェクトを取り込むことができるが、四分木および二分木は常にブロック中心に沿って分割することになり、よってオブジェクトを別々のパーティションに分割することになるという点で、四分木分割構造または二分割構造を補完するために使用されうる。いくつかの実装形態では、例示的な三分木のパーティションの幅および高さは、さらなる変換を回避するために常に2の累乗である。

【0099】

上記の分割方式は、異なる分割レベルで任意の方式で組み合わされてもよい。一例として、上述された四分木分割方式および二分割方式は、ベースブロックを四分木・二分木（QTBT）構造に分割するために組み合わされてもよい。そのような方式では、ベースブロックまたは中間ブロック／パーティションは、指定された場合、事前定義された条件のセットに従って四分木分割されるか、または二分割されうる。特定の例が図14に示されている。図14の例では、ベースブロックは、1402、1404、1406、および1408によって示されるように、最初に4つのパーティションに四分木分割される。その後、結果として得られたパーティションの各々は、次のレベルで（1408のように）4つのさらなるパーティションに四分木分割されるか、または（例えば、どちらも対称である1402や1406のように水平もしくは垂直に）2つのさらなるパーティションに二分割されるか、または（1404のように）分割されないかのいずれかである。二分割または四分木分割は、実線が四分木分割を表し、破線が二分割を表す、1410の全体的な例示的分割パターンおよび1420の対応するツリー構造／表現によって示されるように、正方形パーティションに対して再帰的に許容されうる。二分割が水平か垂直かを示すために、二分割ノード（非リーフバイナリパーティション）ごとにフラグが使用されてもよい。例えば、1410の分割構造と一致する1420に示されるように、フラグ「0」は水平二分割を表してもよく、フラグ「1」は垂直二分割を表してもよい。四分木分割パーティションの場合、四分木分割は常に、ブロックまたはパーティションを、等しいサイズの4つのサブブロック／パーティションを生成するように水平と垂直の両方に分割するので、分割タイプを示す必要はない。いくつかの実装形態では、フラグ「1」は水平二分割を表してもよく、フラグ「0」は垂直二分割を表してもよい。

【0100】

QTBTのいくつかの例示的実装形態では、四分木および二分割ルールセットは、以下の事前定義されたパラメータおよびそれらと関連付けられた対応する関数によって表されうる。
CTU size：四分木のルートノードサイズ（ベースブロックのサイズ）
MinQTSize：最小許容四分木リーフノードサイズ
MaxBTSize：最大許容二分木ルートノードサイズ
MaxBTDepth：最大許容二分木深度
MinBTSize：最小許容二分木リーフノードサイズ
QTBT分割構造のいくつかの例示的実装形態では、CTU sizeは、（例示的なクロマサブサンプリングが考慮され使用されるときに）クロマサンプルの2つの対応する64×64ブロックを有する128×128ルーマサンプルとして設定されてもよく、MinQTSizeは16×16として設定されてもよく、MaxBTSizeは64×64として設定されてもよく、MinBTSizeは（幅と高さの両方について）4×4として設定されてもよく、MaxBTDepthは4として設定されてもよい。四分木分割は、最初に四分木リーフノードを生成するためにCTUに適用されてもよい。四分木リーフノードは、16×16のその最小許容サイズ（すなわち、MinQTSize）から128×128（すなわち、CTU size）までのサイズを有しうる。ノードが128×128である場合、サイズがMaxBTSize（すなわち、64×64）を超えるので、最初に二分木によって分割されることはない。そうでない場合、MaxBTSizeを超えないノードは、二分木によって分割されることができる。図14の例では、ベースブロックは、128×128である。基本ブロックは、事前定義されたルールセットに従って、四分木分割されることしかできない。ベースブロックは、0の分割深度を有する。結果として得られた4つのパーティションの各々は、MaxBTSizeを超えない64×64であり、レベル1でさらに四分木分割または二分木分割されてもよい。プロセスは続く。二分木深度がMaxBTDepth（すなわち、4）に達すると、それ以上の分割は考慮されなくてもよい。二分木ノードがMinBTSize（すなわち、4）に等しい幅を有するとき、それ以上の水平分割は考慮されなくてもよい。同様に、二分木ノードがMinBTSizeに等しい高さを有するとき、それ以上の垂直分割は考慮されない。

【0101】

いくつかの例示的実装形態では、上記のQTBT方式は、ルーマおよびクロマが同じQTBT構造または別々のQTBT構造を有するための柔軟性をサポートするように構成されうる。例えば、PスライスおよびBスライスの場合、1つのCTU内のルーマCTBおよびクロマCTBは同じQTBT構造を共有してもよい。しかしながら、Iスライスの場合、ルーマCTBはQTBT構造によってCBに分割されてもよく、クロマCTBは別のQTBT構造によってクロマCBに分割されてもよい。これは、CUがIスライス内の異なる色チャネルを参照するために使用されうること、例えば、Iスライスが、ルーマ成分のコーディングブロックまたは2つのクロマ成分のコーディングブロックからなりうること、およびPスライスまたはBスライス内のCUが、3つの色成分すべてのコーディングブロックからなりうることを意味する。

【0102】

いくつかの他の実装形態では、QTBT方式は、上述された三元方式で補完されうる。そのような実装形態は、マルチタイプツリー（MTT）構造と呼ばれてもよい。例えば、ノードの二分割に加えて、図13の三分割パターンのうちの1つが選択されてもよい。いくつかの実装形態では、正方形ノードのみが三分割を受けてもよい。三分割が水平か垂直かを示すために、追加のフラグが使用されてもよい。

【0103】

QTBT実装形態や三分割によって補完されたQTBT実装形態などの2レベルツリーまたはマルチレベルツリーの設計は、主に複雑性の低減によって動機付けられる場合がある。理論的には、ツリーをトラバースする複雑性はT^Dであり、Tは分割タイプの数を表し、Dはツリーの深度である。深度（D）を低減しながら複数のタイプ（T）を使用することによってトレードオフが行われうる。

【0104】

いくつかの実装形態では、CBはさらに分割されうる。例えば、CBは、コーディングプロセスおよびデコーディングプロセス中のイントラフレーム予測またはインターフレーム予測を目的として、複数の予測ブロック（PB）にさらに分割されてもよい。言い換えれば、CBは異なるサブパーティションにさらに分割されてもよく、そこで個々の予測決定／構成が行われてもよい。並行して、CBは、ビデオデータの変換または逆変換が行われるレベルを記述する目的で、複数の変換ブロック（TB）にさらに分割されてもよい。CBのPBおよびTBへの分割方式は、同じであっても同じでなくてもよい。例えば、各分割方式は、例えば、ビデオデータの様々な特性に基づいて独自の手順を使用して行われてもよい。PBおよびTBの分割方式は、いくつかの例示的実装形態では独立していてもよい。PBおよびTBの分割方式および境界は、いくつかの他の例示的実装形態では相関していてもよい。いくつかの実装形態では、例えば、TBは、PB分割後に分割されてもよく、特に、各PBは、コーディングブロックの分割の後に続いて決定された後、次いで1つまたは複数のTBにさらに分割されてもよい。例えば、いくつかの実装形態では、PBは、1つ、2つ、4つ、または他の数のTBに分割されてもよい。

【0105】

いくつかの実装形態では、ベースブロックをコーディングブロックに分割し、さらに予測ブロックおよび／または変換ブロックに分割するために、ルーマチャネルおよびクロマチャネルは異なって扱われうる。例えば、いくつかの実装形態では、コーディングブロックの予測ブロックおよび／または変換ブロックへの分割は、ルーマチャネルに対して許容されうるが、コーディングブロックの予測ブロックおよび／または変換ブロックへのそのような分割は、（1つもしくは複数の）クロマチャネルに対しては許容されない。そのような実装形態では、ルーマブロックの変換および／または予測は、よって、コーディングブロックレベルでのみ行われうる。別の例として、ルーマチャネルおよび（1つもしくは複数の）クロマチャネルの最小変換ブロックサイズは異なっていてもよく、例えば、ルーマチャネルのコーディングブロックは、クロマチャネルよりも小さい変換ブロックおよび／または予測ブロックに分割されることが許容されうる。さらに別の例として、コーディングブロックの変換ブロックおよび／または予測ブロックへの分割の最大深度はルーマチャネルとクロマチャネルとの間で異なっていてもよく、例えば、ルーマチャネルのコーディングブロックは、クロマチャネルよりも深い変換ブロックおよび／または予測ブロックに分割されることが許容されうる。具体例として、ルーマコーディングブロックは、最大2レベルだけ下がる再帰分割によって表されることができる複数のサイズの変換ブロックに分割されてもよく、正方形、2：1／1：2、および4：1／1：4などの変換ブロック形状、ならびに4×4から64×64の変換ブロックサイズが許容されうる。しかしながら、クロマブロックの場合、ルーマブロックに指定された可能な最大の変換ブロックのみが許容されうる。

【0106】

コーディングブロックをPBに分割するためのいくつかの例示的実装形態では、PB分割の深度、形状、および／または他の特性は、PBがイントラコーディングされるかインターコーディングされるかに依存しうる。

【0107】

コーディングブロック（または予測ブロック）の変換ブロックへの分割は、四分木分割および事前定義されたパターン分割を含むがそれらに限定されない様々な例示的な方式で、再帰的または非再帰的に、コーディングブロックまたは予測ブロックの境界での変換ブロックをさらに考慮して実施されてもよい。一般に、結果として得られる変換ブロックは、異なる分割レベルにある場合もあり、同じサイズのものでない場合もあり、形状が正方形でなくてもよい場合もある（例えば、それらはいくつかの許容されたサイズおよびアスペクト比を有する長方形でありうる）。さらなる例は、図15、図16、および図17に関連して以下でさらに詳細に説明される。

【0108】

しかしながら、いくつかの他の実装形態では、上記の分割方式のいずれかを介して取得されたCBは、予測および／または変換のための基本または最小のコーディングブロックとして使用されうる。言い換えれば、インター予測／イントラ予測を行う目的で、かつ／または変換目的で、それ以上の分割は行われない。例えば、上記のQTBT方式から取得されたCBは、予測を行うための単位として直接使用されてもよい。具体的には、そのようなQTBT構造は、複数の分割タイプの概念を取り除く、すなわち、CU、PU、およびTUの分離を取り除き、上述されたように、CU／CB分割形状についてのより多くの柔軟性をサポートする。そのようなQTBTブロック構造では、CU／CBは、正方形または長方形のいずれかの形状を有することができる。そのようなQTBTのリーフノードは、それ以上の分割なしに予測および変換処理のための単位として使用される。これは、CU、PU、およびTUがそのような例示的なQTBTコーディングブロック構造において同じブロックサイズを有することを意味する。

【0109】

上記の様々なCB分割方式、ならびにPBおよび／またはTBへのCBのさらなる分割（PB／TB分割なしを含む）は、任意の方式で組み合わされてもよい。以下の特定の実装形態は、非限定的な例として提供される。

【0110】

コーディングブロックおよび変換ブロックの分割の特定の例示的実装形態が、以下で説明される。そのような一例示的実装形態では、ベースブロックは、再帰的四分木分割、または（図9および図10の分割パターンのような）上述された事前定義された分割パターンを使用して、コーディングブロックに分割されてもよい。各レベルで、特定のパーティションのさらなる四分木分割が続けられるべきかどうかが、ローカルビデオデータ特性によって決定されてもよい。結果として得られるCBは、様々な四分木分割レベルの、様々なサイズのCBのものでありうる。ピクチャエリアをインターピクチャ（時間）予測を使用してコーディングするか、それともイントラピクチャ（空間）予測を使用してコーディングするかの決定は、CBレベル（または3つの色チャネルすべての場合CUレベル）で行われうる。各CBは、事前定義されたPB分割タイプに従って、1つ、2つ、4つ、または他の数のPBにさらに分割されてもよい。1つのPB内部で、同じ予測プロセスが適用されてもよく、関連情報はPBベースでデコーダに送信されてもよい。PB分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、CBは、CBのコーディングツリーと同様の別の四分木構造に従ってTBに分割されることができる。この特定の実装形態では、CBまたはTBは、正方形に限定されなくてもよい。さらにこの特定の例では、PBは、インター予測では正方形または長方形であってもよく、イントラ予測では正方形のみでありうる。コーディングブロックは、例えば、4つの正方形のTBに分割されうる。各TBは、（四分木分割を使用して）再帰的に、残差四分木（RQT）と呼ばれるより小さいTBにさらに分割されてもよい。

【0111】

ベースブロックをCB、PB、およびまたはTBに分割するための別の例示的実装形態が、以下でさらに説明される。例えば、図9または図10に示されるタイプなどの複数のパーティションユニットタイプを使用するのではなく、二分割および三分割のセグメント化構造（例えば、QTBTまたは上述された三分割によるQTBT）を使用するネストされたマルチタイプツリーを有する四分木が使用されてもよい。CB、PB、およびTBの分離（すなわち、CBのPBおよび／またはTBへの分割、ならびにPBのTBへの分割）は、そのようなCBがさらなる分割を必要とする場合に、最大変換長に対して大きすぎるサイズを有するCBに必要とされるときを除き、断念されてもよい。この例示的な分割方式は、予測および変換が両方ともそれ以上の分割なしにCBレベルで行われることができるように、CB分割形状についてのより多くの柔軟性をサポートするように設計されうる。そのようなコーディングツリー構造では、CBは、正方形または長方形のいずれかの形状を有しうる。具体的には、コーディングツリーブロック（CTB）が最初に四分木構造によって分割されうる。次いで、四分木リーフノードが、ネストされたマルチタイプツリー構造によってさらに分割されうる。二分割または三分割を使用するネストされたマルチタイプツリー構造の一例が、図11に示されている。具体的には、図11の例示的なマルチタイプツリー構造は、垂直二分割（SPLIT＿BT＿VER）（1102）、水平二分割（SPLIT＿BT＿HOR）（1104）、垂直三分割（SPLIT＿TT＿VER）（1106）、および水平三分割（SPLIT＿TT＿HOR）（1108）と呼ばれる4つの分割タイプを含む。CBはその場合、マルチタイプツリーのリーフに対応する。この例示的実装形態では、CBが最大変換長に対して大きすぎない限り、このセグメント化は、さらなる分割なしに予測と変換両方の処理に使用される。これは、ほとんどの場合、CB、PB、およびTBが、ネストされたマルチタイプツリーコーディングブロック構造を有する四分木において同じブロックサイズを有することを意味する。例外は、サポートされる最大変換長がCBの色成分の幅または高さよりも小さいときに発生する。いくつかの実装形態では、二分割または三分割に加えて、図11のネストされたパターンは、四分木分割をさらに含んでもよい。

【0112】

1つのベースブロックに対する（四分木分割、二分割、および三分割のオプションを含む）ブロック分割のネストされたマルチタイプツリーコーディングブロック構造を有する四分木についての1つの具体例が図12に示されている。より詳細には、図12は、ベースブロック1200が4つの正方形パーティション1202、1204、1206、および1208に四分木分割されることを示している。さらなる分割のために図11のマルチタイプツリー構造および四分木をさらに使用する決定が、四分木分割されたパーティションの各々について行われる。図12の例では、パーティション1204は、これ以上分割されない。パーティション1202およびパーティション1208は、別の四分木分割を各々採用する。パーティション1202では、第2レベルの四分木分割された左上、右上、左下、および右下のパーティションは、それぞれ、四分木、図11の水平二分割1104、非分割、および図11の水平三分割1108の第3レベルの分割を採用する。パーティション1208は別の四分木分割を採用し、第2レベルの四分木分割された左上、右上、左下、および右下のパーティションは、それぞれ、図11の垂直三分割1106、非分割、非分割、および図11の水平二分割1104の第3レベルの分割を採用する。1208の第3レベルの左上パーティションのサブパーティションのうちの2つは、それぞれ、図11の水平二分割1104および水平三分割1108に従ってさらに分割される。パーティション1206は、図11の垂直二分割1102の後に続く、2つのパーティションへの第2レベルの分割パターンを採用し、2つのパーティションは図11の水平三分割1108および垂直二分割1102に従って第3レベルでさらに分割される。図11の水平二分割1104に従ってそれらのうちの1つに第4レベルの分割がさらに適用される。

【0113】

上記の具体例では、最大ルーマ変換サイズは64×64であってもよく、サポートされる最大クロマ変換サイズは、ルーマとは異なり、例えば、32×32であることができる。図12の上記の例示的なCBが、一般に、より小さいPBおよび／またはTBにそれ以上分割されない場合でも、ルーマコーディングブロックまたはクロマコーディングブロックの幅または高さが最大変換幅または最大変換高さよりも大きいとき、ルーマコーディングブロックまたはクロマコーディングブロックは、水平方向および／または垂直方向の変換サイズ制限を満たすように、その方向に自動的に分割されてもよい。

【0114】

上記のベースブロックのCBへの分割についての具体例では、上述されたように、コーディングツリー方式は、ルーマおよびクロマが別々のブロックツリー構造を有するための能力をサポートしうる。例えば、PスライスおよびBスライスの場合、1つのCTU内のルーマCTBおよびクロマCTBは、同じコーディングツリー構造を共有してもよい。Iスライスの場合、例えば、ルーマおよびクロマは、別々のコーディングブロックツリー構造を有してもよい。別々のブロックツリー構造が適用されるとき、ルーマCTBはあるコーディングツリー構造によってルーマCBに分割されてもよく、クロマCTBは別のコーディングツリー構造によってクロマCBに分割されてもよい。これは、Iスライス内のCUがルーマ成分のコーディングブロックまたは2つのクロマ成分のコーディングブロックからなりうること、およびPスライスまたはBスライス内のCUが常に、ビデオがモノクロでない限り3つの色成分すべてのコーディングブロックからなることを意味する。

【0115】

コーディングブロックが複数の変換ブロックにさらに分割されるとき、その中の変換ブロックは、様々な順序または走査方式に従ってビットストリーム内で順序付けされてもよい。コーディングブロックまたは予測ブロックを変換ブロックに分割するための例示的実装形態、および変換ブロックのコーディング順序が、以下でさらに詳細に説明される。いくつかの例示的実装形態では、上述されたように、変換分割は、例えば、4×4から64×64までの範囲の変換ブロックサイズを有する、複数の形状、例えば、1：1（正方形）、1：2／2：1、および1：4／4：1の変換ブロックをサポートしうる。いくつかの実装形態では、コーディングブロックが64×64よりも小さいか64×64に等しい場合、変換ブロック分割は、クロマブロックの場合、変換ブロックサイズがコーディングブロックサイズと同一であるように、ルーマ成分にのみ適用されうる。そうではなく、コーディングブロックの幅または高さが64よりも大きい場合には、ルーマコーディングブロックとクロマコーディングブロックの両方が、それぞれ、min（W，64）×min（H，64）およびmin（W，32）×min（H，32）の倍数の変換ブロックに暗黙的に分割されうる。

【0116】

変換ブロック分割のいくつかの例示的実装形態では、イントラコーディングされたブロックとインターコーディングされたブロックの両方について、コーディングブロックが、最大で事前定義された数のレベル（例えば、2レベル）までの分割深度を有する複数の変換ブロックにさらに分割されうる。変換ブロックの分割深度およびサイズは関連しうる。いくつかの例示的実装形態について、現在の深度の変換サイズから次の深度の変換サイズへのマッピングが以下で表1に示されている。

【0117】

【表1】

【0118】

表1の例示的なマッピングに基づいて、1：1正方形ブロックの場合、次のレベルの変換分割は、4つの1：1正方形サブ変換ブロックを作成しうる。変換分割は、例えば、4×4で停止してもよい。そのため、4×4の現在の深度の変換サイズは、次の深度の4×4の同じサイズに対応する。表1の例では、1：2／2：1非正方形ブロックの場合、次のレベルの変換分割は2つの1：1正方形サブ変換ブロックを作成しうるのに対し、1：4／4：1非正方形ブロックの場合、次のレベルの変換分割は2つの1：2／2：1サブ変換ブロックを作成しうる。

【0119】

いくつかの例示的実装形態では、イントラコーディングされたブロックのルーマ成分に対して、変換ブロック分割に関してさらなる制限が適用されうる。例えば、変換分割のレベルごとに、すべてのサブ変換ブロックは、等しいサイズを有するように制限されてもよい。例えば、32×16のコーディングブロックの場合、レベル1の変換分割は、2つの16×16のサブ変換ブロックを作成し、レベル2の変換分割は、8つの8×8のサブ変換ブロックを作成する。言い換えれば、変換ユニットを等しいサイズに保つために、すべての第1レベルのサブブロックに第2レベルの分割が適用されなければならない。表1に従ってイントラコーディングされた正方形ブロックに対する変換ブロック分割の一例が、矢印によって示されたコーディング順序と共に図15に示されている。具体的には、1502は、正方形コーディングブロックを示している。表1による4つの等しいサイズの変換ブロックへの第1レベルの分割が、矢印によって示されたコーディング順序と共に1504に示されている。表1によるすべての第1レベルの等しいサイズのブロックの16個の等しいサイズの変換ブロックへの第2レベルの分割が、矢印によって示されたコーディング順序と共に1506に示されている。

【0120】

いくつかの例示的実装形態では、インターコーディングされたブロックのルーマ成分に対して、イントラコーディングに対する上記の制限が適用されない場合がある。例えば、第1レベルの変換分割の後に、サブ変換ブロックのいずれか1つが、もう1つのレベルでさらに独立して分割されうる。結果として得られる変換ブロックは、よって、同じサイズのものである場合もそうでない場合もある。インターコーディングされたブロックのそれらのコーディング順序による変換ブロックへの例示的な分割が、図16に示されている。図16の例では、インターコーディングされたブロック1602は、表1に従って2つのレベルで変換ブロックに分割される。第1レベルで、インターコーディングされたブロックは、等しいサイズの4つの変換ブロックに分割される。次いで、4つの変換ブロックのうちの（それらのすべてではなく）1つのみが4つのサブ変換ブロックにさらに分割され、1604によって示されるように、2つの異なるサイズを有する合計7つの変換ブロックが得られる。これらの7つの変換ブロックの例示的なコーディング順序が、図16の1604に矢印によって示されている。

【0121】

いくつかの例示的実装形態では、（1つまたは複数の）クロマ成分に対して、変換ブロックに対する何らかのさらなる制限が適用されうる。例えば、（1つまたは複数の）クロマ成分の場合、変換ブロックサイズは、コーディングブロックサイズと同じ大きさとすることができるが、事前定義されたサイズ、例えば、8×8よりも小さくすることはできない。

【0122】

いくつかの他の例示的実装形態では、幅（W）または高さ（H）のいずれかが64よりも大きいコーディングブロックの場合、ルーマコーディングブロックとクロマコーディングブロックの両方が、それぞれ、min（W，64）×min（H，64）およびmin（W，32）×min（H，32）の倍数の変換ユニットに暗黙的に分割されうる。ここで、本開示では、「min（a，b）」は、aとbとの間で小さい方の値を返しうる。

【0123】

図17は、コーディングブロックまたは予測ブロックを変換ブロックに分割するための別の代替の例示的な方式をさらに示している。図17に示されるように、再帰変換分割を使用する代わりに、事前定義された分割タイプのセットが、コーディングブロックの変換タイプに従ってコーディングブロックに適用されうる。図17に示される特定の例では、6つの例示的な分割タイプのうちの1つが、コーディングブロックを様々な数の変換ブロックに分割するために適用されうる。変換ブロック分割を生成するそのような方式は、コーディングブロックまたは予測ブロックのいずれかに適用されうる。

【0124】

より詳細には、図17の分割方式は、任意の所与の変換タイプ（変換タイプは、例えば、ADSTなどといった一次変換のタイプを指す）に対して最大6つの例示的な分割タイプを提供する。この方式では、すべてのコーディングブロックまたは予測ブロックは、例えば、レート歪みコストに基づいて変換分割タイプを割り当てられうる。一例では、コーディングブロックまたは予測ブロックに割り当てられる変換分割タイプは、コーディングブロックまたは予測ブロックの変換タイプに基づいて決定されうる。図17に例示された6つの変換分割タイプによって示されるように、特定の変換分割タイプは、変換ブロックの分割サイズおよびパターンに対応しうる。様々な変換タイプと様々な変換分割タイプとの間の対応関係が、事前定義されうる。一例が以下に示されており、大文字のラベルは、レート歪みコストに基づいてコーディングブロックまたは予測ブロックに割り当てられうる変換分割タイプを示している。

【0125】

PARTITION＿NONE：ブロックサイズに等しい変換サイズを割り当てる。

【0126】

PARTITION＿SPLIT：ブロックサイズの1／2の幅およびブロックサイズの1／2の高さの変換サイズを割り当てる。

【0127】

PARTITION＿HORZ：ブロックサイズと同じ幅およびブロックサイズの1／2の高さの変換サイズを割り当てる。

【0128】

PARTITION＿VERT：ブロックサイズの1／2の幅およびブロックサイズと同じ高さの変換サイズを割り当てる。

【0129】

PARTITION＿HORZ4：ブロックサイズと同じ幅およびブロックサイズの1／4の高さの変換サイズを割り当てる。

【0130】

PARTITION＿VERT4：ブロックサイズの1／4の幅およびブロックサイズと同じ高さの変換サイズを割り当てる。

【0131】

上記の例では、図17に示される変換分割タイプは、すべて分割された変換ブロックについての均一な変換サイズを含む。これは限定ではなく単なる例である。いくつかの他の実装形態では、混合変換ブロックサイズが、特定の分割タイプ（またはパターン）における分割された変換ブロックに使用されうる。

【0132】

ビデオブロック（複数の予測ブロックにさらに分割されない場合にPBとも呼ばれるPBまたはCB）は、直接エンコーディングされるのではなく様々な方式で予測されてもよく、それによってビデオデータ内の様々な相関および冗長性を利用して圧縮効率を改善する。これに対応して、そのような予測は様々なモードで行われてもよい。例えば、ビデオブロックは、イントラ予測またはインター予測によって予測されてもよい。特に、インター予測モードでは、ビデオブロックは、単一参照インター予測または複合参照インター予測のいずれかを介して、1つまたは複数の他のフレームから1つまたは複数の他の参照ブロックまたはインター予測子ブロックによって予測されうる。インター予測を実施するために、参照ブロックは、そのフレーム識別子（参照ブロックの時間位置）と、エンコーディングまたはデコーディングされている現在のブロックと参照ブロックとの間の空間オフセットを示す動きベクトル（参照ブロックの空間位置）とによって指定されうる。参照フレーム識別および動きベクトルは、ビットストリーム内でシグナリングされうる。空間ブロックオフセットとしての動きベクトルは、直接シグナリングされてもよいし、別の参照動きベクトルまたは予測子動きベクトルによってそれ自体が予測されてもよい。例えば、現在の動きベクトルは、（例えば、候補近傍ブロックの）参照動きベクトルによって直接、または参照動きベクトルと、現在の動きベクトルと参照動きベクトルとの間の動きベクトル差分（MVD）の組み合わせによって予測されてもよい。後者は、動きベクトル差分によるマージモード（MMVD）と呼ばれてもよい。参照動きベクトルは、例えば、現在のブロックの空間的に近傍のブロックまたは時間的に近傍であるが空間的にコロケートされたブロックを指し示すポインタとしてビットストリーム内で識別されうる。

【0133】

いくつかの他の例示的実装形態では、イントラブロックコピー（IBC）予測が採用されうる。IBCでは、現在のフレーム内の現在のブロックが、予測されているブロックの位置に対するイントラ予測子または参照ブロックの位置のオフセットを示すためのブロックベクトル（BV）と組み合わせて、現在のフレーム内の別のブロック（時間的に異なるフレームではなく、したがって「イントラ」という用語）を使用して予測されうる。コーディングブロックの位置は、例えば、現在のフレーム（またはスライス）の左上隅に対する左隅のピクセル座標によって表されうる。IBCモードは、よって、現在のフレーム内で同様のインター予測概念を使用する。例えば、BVは、他の参照BVによって直接または現在のBVと参照BVとの間のBV差分の組み合わせで予測されてもよく、これは、インター予測において参照MVおよびMV差分を使用してMVを予測することに類似している。IBCは、特に、例えば、同一のテキストセグメント（文字、記号、単語、位相など）が同じフレームの異なる部分に現れ、互いを予測するために採用されることができるテキスト情報などのかなりの数の繰り返しパターンを有するスクリーンコンテンツを有するビデオフレームをエンコーディングおよびデコーディングするための、改善されたコーディング効率を提供するのに有用である。

【0134】

いくつかの実装形態では、IBCは、通常のイントラ予測モードおよび通常のインター予測モード以外の別個の予測モードとして扱われうる。そのため、特定のブロックの予測モードの選択は、イントラ予測、インター予測、およびIBCモードの3つの異なる予測モードの間で行われ、シグナリングされうる。これらの実装形態では、これらのモードの各々においてコーディング効率を最適化するために、これらのモードの各々に柔軟性が組み込まれうる。いくつかの他の実装形態では、IBCは、同様の動きベクトル決定、参照、およびコーディングメカニズムを使用して、インター予測モード内のサブモードまたは分岐として扱われうる。そのような実装形態（統合インター予測モードおよびIBCモード）では、IBCの柔軟性は、一般的なインター予測モードとIBCモードとを調和させるためにいくらか制限される場合がある。しかしながら、そのような実装形態はそれほど複雑ではないが、例えばスクリーンコンテンツによって特徴付けられるビデオフレームのコーディング効率を改善するためにIBCを依然として利用することができる。いくつかの例示的実装形態では、別々のインター予測モードおよびイントラ予測モードのための既存の予め指定されたメカニズムを用いて、インター予測モードはIBCをサポートするように拡張されうる。

【0135】

これらの予測モードの選択は、シーケンスレベル、フレームレベル、ピクチャレベル、スライスレベル、CTUレベル、CTレベル、CUレベル、CBレベル、またはPBレベルを含むがこれらに限定されない様々なレベルで行われうる。例えば、IBC目的のために、IBCモードが採用されるかどうかの決定がCTUレベルで行われ、シグナリングされてもよい。CTUがIBCモードを採用しているとしてシグナリングされている場合には、CTU全体のすべてのコーディングブロックがIBCによって予測されうる。いくつかの他の実装形態では、IBC予測は、スーパーブロック（SB、またはsuperblock）レベルで決定されうる。各SBは、様々な方式（例えば、四分木区分）で複数のCTUまたは区分に分割されうる。例を以下にさらに提供する。

【0136】

図18は、デコーダの観点からの複数のCTUを含む現在のフレームのセクションの例示的なスナップショットを示している。1802などの各正方形ブロックはCTUを表す。CTUは、SBなど、上記で詳細に説明されたような様々な事前定義されたサイズのうちの1つのものであってもよい。各CTUは、1つまたは複数のコーディングブロック（または特定の色チャネルのための予測ブロック）を含んでもよい。横線で陰影が付けられたCTUは、既に再構成されたCTUを表す。CTU1804は、再構成されている現在のCTUを表す。現在のCTU1804内では、横線で陰影が付けられたコーディングブロックは、現在のCTU内で既に再構成されているブロックを表し、斜線で陰影が付けられたコーディングブロック1806は現在再構成されており、一方、現在のCTU1804内の陰影が付けられていないコーディングブロックは再構成を待機している。他の陰影が付けられていないCTUはまだ処理されていない。

【0137】

IBCで現在のコーディングブロックを予測するために使用される（現在のブロックに対する）参照ブロックの位置またはオフセットは、図18の例示的な矢印によって示されるように、BVによって示されうる。例えば、BVは、参照ブロック（図18では「Ref」とラベル付けされている）の左上隅と現在のブロックとの間のベクトル形式の位置差を示してもよい。図18は、基本IBCユニットとしてCTUを使用して示されている。基礎となる原理は、SBが基本IBCユニットとして使用される実装形態に適用される。そのような実装形態では、以下でより詳細に説明されるように、各スーパーブロックが複数のCTUに分割されてもよく、各CTUは複数のコーディングブロックにさらに分割されてもよい。

【0138】

以下でより詳細にさらに開示されるように、IBCの現在のCTU／SBに対する参照CTU／SBの位置に応じて、参照CTU／SBは、ローカルCTU／SBまたは非ローカルCTU／SBと呼ばれうる。ローカルCTU／SBは、現在のCTU／SBと一致するCTU／SB、または現在のCTU／SBの近くにあり、再構成されているCTU／SB（例えば、現在のCTU／SBの左近傍CTU／SB）を指しうる。非ローカルCTU／SBは、現在のCTU／SBからさらに離れたCTU／SBを指しうる。ローカルCTU／SBおよび非ローカルCTU／SBのいずれかまたは両方が、現在のコーディングブロックのIBC予測を実行するときに参照ブロックを求めて探索されうる。ローカルまたは非ローカルCTU／SB参照のための再構成サンプルのオンチップおよびオフチップ記憶管理（オフチップピクチャバッファ（DPB）および／またはオンチップメモリなど）は異なりうるので、IBCが実装される具体的な方式は、参照CTU／SBがローカルか非ローカルかに依存しうる。再構成されたローカルCTU／SBサンプルは、例えば、IBC用のエンコーダまたはデコーダのオンチップメモリに記憶するのに適しうる。再構成された非ローカルCTU／SBサンプルは、例えば、オフチップDPBメモリ、または外部メモリに記憶されうる。

【0139】

いくつかの実装形態では、現在のコーディングブロック1804の参照ブロックとして使用されうる再構成ブロックの位置が制限されうる。そのような制限は、様々な要因の結果であり、IBCが一般的なインター予測モードの統合部分として実装されるか、インター予測モードの特別な拡張として実装されるか、それとも別個の独立したIBCモードとして実装されるかに依存しうる。いくつかの例では、現在の再構成CTU／SBサンプルのみが、IBC参照ブロックを識別するために探索されうる。いくつかの他の例では、図18の太点線枠1808で示されるように、現在の再構成CTU／SBサンプルおよび他の近傍再構成CTU／SBサンプル（例えば、左近傍CTU／SB）が、参照ブロックの探索および選択に利用可能でありうる。そのような実装形態では、ローカル再構成CTU／SBサンプルのみが、IBC参照ブロックの探索および選択に使用されうる。いくつかの他の例では、特定のCTU／SBは、他の様々な理由で、IBC参照ブロックの探索および選択に利用できない場合がある。例えば、図18の十字でマークされたCTU／SB1810は、以下でさらに説明されるように、特別な目的（例えば、波面並列処理）に使用される可能性があるため、現在のブロック1804の参照ブロックの探索および選択に利用できない場合がある。

【0140】

いくつかの実装形態では、図18に示されるように、太い点線枠1808によって形成されるエリアは、ローカル探索エリアと呼ばれうる。ローカル探索エリア内のサンプルは、オンチップメモリに記憶されてもよい。

【0141】

いくつかの実装形態では、IntraBCが可能であるとき、デブロッキングフィルタ、制約付き方向性エンハンスメントフィルタ（CDEF）、およびループ復元（LR）を含むループフィルタが無効にされる。これにより、IntraBCの有効化／サポート専用の第2のピクチャバッファを回避されうる。

【0142】

いくつかの実装形態では、IBC参照ブロックまたは参照サンプルを提供するために使用されることが許可される、既に再構成されたCTU／SBに関する制限が、2つ以上のコーディングブロックが同時にデコーディングされる並列デコーディングの採用から生じうる。一例が図19に示されており、各正方形はCTU／SBを表す。並列デコーディングが実装されてもよく、並列デコーディングでは図19の斜線で陰影が付けられたCTU／SBによって示されるように、いくつかの連続する行および1列おき（2列ごと）の複数のCTU／SBが並列処理で再構成されうる。横線で陰影が付けられた他のCTU／SBは既に再構成されており、陰影が付けられていないCTU／SBはまだ構成されていないものである。そのような並列処理では、その左上座標が（x₀，y₀）である現在並列処理されているCTU／SBの場合、垂直座標yがy₀未満であり、水平座標xがx₀＋2（y₀－y）未満である場合にのみ、再構成サンプルがIBCで現在のCTU／SBを予測するために（x，y）アクセスされることができ、そのため、横線で陰影が付けられた既に構成されたCTU／SBは、並列処理された現在のブロックの参照として利用可能でありうる。（x₀，y₀）や（x，y）などの座標の単位は、ピクセル、ブロック（例えば、SB）などを含みうることに留意されたい。

【0143】

いくつかの実装形態では、特にオフチップDPBがIBC参照サンプルを保持するために使用されるときに、直近に再構成されたサンプルのオフチップDPBへの書き戻し遅延が、現在のブロックのIBC参照サンプルを提供するために使用されうるCTU／SBにさらなる制限を課す場合がある。一例が図20に示されており、図19に示されるものに加えて追加の制限が適用されうる。具体的には、ハードウェアの書き戻し遅延を許容するために、直近に再構成されたエリアが、参照ブロックの探索および選択のためにIBC予測によってアクセスされない場合がある。制限または禁止される直近に再構成されたエリアの数は、1～n個のCTU／SBとすることができ、nは正の数であり、nは、書き戻し遅延の持続時間と正の相関を有しうる。そのため、図19の特定の並列処理の制限に加えて、1つの現在のCTU／SBの左上位置の座標が（x₀，y₀）である場合の（斜線で陰影が付けられた）現在のCTU／SBについて、垂直座標yがy₀未満であり、水平座標がx₀＋2（y₀－y）－D未満である場合、位置（x，y）における予測がIBCによってアクセスされることができ、式中、Dは、IBC参照としての使用が制限／禁止される直近に再構成されたエリア（例えば、現在のCTU／SBの左側）の数を表す。図20は、D＝2（ブロック単位、または各ブロックが128×128SBである場合にピクセル単位で2×128ピクセル）の場合にIBC参照サンプルとして除外されるそのような追加のCTU／SBを示している。IBC参照として利用できないこれらの追加のCTU／SBは、逆斜線の陰影付けで示されている。

【0144】

いくつかの実装形態では、図20に示されるように、横線で陰影が付けられたブロックによって形成されたエリアは非ローカル探索エリアと呼ばれてもよく、このエリア内のサンプルは外部メモリに記憶されてもよい。

【0145】

やはり以下でさらに詳細に説明されるいくつかの実装形態では、ローカルCTU／SB探索エリアと非ローカルCTU／SB探索エリアの両方がIBC参照ブロックの探索および選択に使用されうる。加えて、オンチップメモリが使用される場合、書き戻し遅延に関するIBC参照としての既に構成されたCTU／SBの利用可能性に関する制限のいくつかが緩和または除去されてもよい。いくつかのさらなる実装形態では、ローカルCTU／SBおよび非ローカルCTU／SBが使用される方式は、それらが共存する場合、例えば、オンチップメモリまたはオフチップメモリのいずれかを用いた参照ブロックのバッファリングの管理の違いにより異なりうる。これらの実装形態は、以下の開示においてさらに詳細に説明される。

【0146】

いくつかの実装形態では、IBCは、現在のフレーム内のブロックが予測参照として使用されうるように、現在のフレームをインター予測モードにおける参照フレームとして扱う、インター予測モードの拡張として実装されうる。そのようなIBC実装形態は、よって、IBCプロセスが現在のフレームのみを含む場合であっても、インター予測のためのコーディングパスを辿りうる。そのような実装形態では、インター予測モードの参照構造がIBCに適合されてもよく、BVを用いた参照サンプルに対するアドレス指定メカニズムの表現は、インター予測における動きベクトル（MV）に類似しうる。そのため、IBCは、参照フレームとしての現在のフレームに基づくインター予測モードとして、類似または同一の構文構造およびデコーディングプロセスに依拠する、特別なインター予測モードとして実装されうる。

【0147】

そのような実装形態では、IBCはインター予測モードとして扱われうるので、イントラのみの予測スライスは、IBCの使用を許容するための予測スライスにならなければならない。言い換えれば、イントラのみの予測スライスは、（イントラ予測モードはいかなるインター予測処理パスも呼び出さないので）インター予測されず、よって、IBCは、そのようなイントラのみのスライスにおける予測を許容されない。IBCが適用可能である場合、コーダは、参照ピクチャリストを、現在のピクチャを指し示すポインタのための1エントリだけ拡張する。現在のピクチャは、よって、共有されたデコーディングされたピクチャバッファ（DPB）の最大で1つのピクチャサイズのバッファを占有しうる。IBCを使用するためのシグナリングは、インター予測モードにおける参照フレームの選択では暗黙的でありうる。例えば、選択された参照ピクチャが現在のピクチャを指し示す場合、コーディングユニットは、必要かつ利用可能であれば、特別なIBC拡張を有するインター予測のようなコーディングパスを有するIBCを採用する。いくつかの特定の実装形態では、IBCプロセス内の参照サンプルは、通常のインター予測とは対照的に、予測に使用される前にループフィルタリングされない場合がある。さらに、対応する参照の現在のピクチャは、エンコーディングまたはデコーディングされるべき次のフレームの近くにあることになるので、長期参照フレームでありうる。いくつかの実装形態では、メモリ要件を最小化するために、コーダは、現在のピクチャを再構成した後にバッファを直ちに解放しうる。コーダは、再構成ピクチャのフィルタリングされたバージョンを、たとえIBCに使用されるときにフィルタリングされていなくても、それが真のインター予測における後のフレームの参照ピクチャになるときに短期参照としてDPBに戻してもよい。

【0148】

上記の例示的実装形態では、IBCがインター予測モードの単なる拡張でありうるとしても、IBCは通常のインター予測から逸脱しうるいくつかの特別な手順で扱われうる。例えば、IBC参照サンプルもやはりフィルタリングされない場合がある。言い換えれば、デブロッキングフィルタリング（DBF）、サンプル適応オフセット（SAO）フィルタリング、クロスコンポーネントサンプルオフセット（CCSO）フィルタリングなどを含む、インループフィルタリングプロセスの前の再構成サンプルはIBC予測のために使用されてもよく、一方、通常のインター予測モードは、予測のためにフィルタ処理されたサンプルを採用する。別の例として、IBCのルーマサンプル補間は行われなくてもよく、クロマサンプル補間は、クロマBVから導出されるときにクロマBVが非整数である場合にのみ必要でありうる。さらに別の例として、クロマBVが非整数であり、IBCの参照ブロックがIBC参照に利用可能な領域の境界付近にある場合、周囲の再構成サンプルは、クロマ補間を行うために境界の外側にありうる。単一の境界に隣接した線を指し示すBVは、そのような場合を回避することができない。

【0149】

そのような実装形態では、IBCによる現在のブロックの予測は、現在のBV、および例えば追加のBV差分を予測するために参照BVを使用することを含む、インター予測プロセスの予測およびコーディングメカニズムを再利用しうる。しかしながら、いくつかの特定の実装形態では、ルーマBVは、通常のインター予測のMVのように小数精度ではなく整数分解能で実装されうる。

【0150】

いくつかの実装形態では、図18の横陰影線で示されるすべてのCTUおよびSBが、図18に1810として示されるように、波面並列処理（WPP）を可能にするために（図18に十字で示される）現在のCTUの右および上の2つのCTUを除いて、IBC参照ブロックの探索および選択に使用されうる。そのため、並列処理目的のいくつかの例外を除いて、現在のピクチャの既に再構成されたエリアのほぼ全体である。

【0151】

いくつかの他の実装形態では、IBC参照ブロックが探索および選択されうるエリアは、ローカルCTU／SBに制限されうる。一例が図18の太点線枠1808で示されている。そのような例では、現在のCTUの左側のCTU／SBは、現在のCTUの再構成プロセスの開始時にIBCの参照サンプルエリアとして機能しうる。そのようなローカル参照エリアを使用する場合、DPBに追加の外部メモリ空間を割り当てる代わりに、オンチップメモリ空間がIBC参照用のローカルCTU／SBを保持するために割り当てられてもよい。いくつかの実装形態では、固定オンチップメモリがIBCに使用されてもよく、それによってハードウェアアーキテクチャにIBCを実装する複雑さが低減される。そのため、ンター予測モードの単なる拡張として実装されるのではなく、通常のインター予測からは独立した専用のIBCモードがイオンチップメモリの利用のために実装されてもよい。

【0152】

例えば、ローカルIBC参照サンプル、例えば左CTUまたはSBを記憶するための固定オンチップメモリサイズは、各カラー成分について128×128であってもよい。いくつかの実装形態では、最大CTU sizeも128×128でありうる。そのような場合、参照サンプルメモリ（RSM）は、単一のCTUのサイズを有するサンプルを保持することができる。いくつかの他の代替実装形態では、CTU sizeはより小さくてもよい。例えば、CTU sizeは64×64であってもよい。そのため、RSMは、複数（この例の場合は4つ）のCTUを同時に保持しうる。さらにいくつかの他の実装形態では、RSMは複数のSBを保持してもよく、各SBは1つまたは複数のCTUを含んでもよく、各CTUは複数のコーディングブロックを含んでもよい。

【0153】

ローカルオンチップIBC参照のいくつかの実装形態では、オンチップRSMは1つのCTUを保持し、左近傍CTUの再構成サンプルを現在のCTUの再構成サンプルに置き換えるための連続的な更新メカニズムを実装しうる。図21は、再構成プロセス中の4つの中間時間におけるそのような連続的なRSM更新メカニズムの簡略化された例を示している。図21の例では、RSMは、1つのCTUを保持する固定サイズを有する。CTUは、暗黙的な区分を含みうる。例えば、CTUは4つの分離したエリアに暗黙的に分割されてもよい（例えば、四分木区分）。各エリアは、複数のコーディングブロックを含みうる。CTUはサイズが128×128であってもよく、一方、例示的なエリアまたは区分の各々は、例示的な四分木区分ではサイズが64×64であってもよい。中間時間の各々における横線で陰影が付けられたRSMのエリア／区分は、左近傍CTUの対応する再構成参照サンプルを保持し、縦線グレーで陰影が付けられたエリア／区分は、現在のCTUの対応する再構成参照サンプルを保持する。斜線で陰影が付けられたRSMのコーディングブロックは、コーディング／デコーディング／再構成されている現在のエリア内の現在のコーディングブロックを表す。

【0154】

現在のCTU再構成の開始を表す最初の中間時間に、RSMは、2102によって示されるように、4つの例示的なエリアの各々についてのみ左近傍CTUの再構成参照サンプルを含みうる。他の3つの中間時間では、再構成プロセスは、左近傍CTUの再構成参照サンプルを現在のCTUの再構成サンプルに徐々に置き換えている。RSMにおける64×64のエリア／区分のリセットは、コーダがそのエリア／区分の最初のコーディングブロックを処理するときに行われる。RSMのエリアをリセットする時点において、そのエリアは空白とみなされ、IBCのいかなる再構成参照サンプルも保持していない（言い換えれば、RSMのそのエリアは、IBC参照サンプルとして使用する準備ができていない）とみなされる。そのエリア内の対応する現在のコーディングブロックが処理されるときに、RSM内の対応するブロックは、中間時間2104、2106、および2108について図21に示されるように、次の現在のブロックのIBCの参照サンプルとして使用されるべき現在のCTUの対応するブロックの再構成サンプルで満たされる。すべてのコーディングブロックがRSMのエリア／区分に対応して処理されると、様々な中間時間の図21の縦線で完全に陰影が付けられたエリアによって示されるように、そのエリア全体がIBC参照サンプルとしてこれらの現在のコーディングブロックの再構成サンプルで満たされる。そのため、中間時間2104および2106において、RSM内のいくつかのエリア／区分は、近傍CTUからのIBC参照サンプルを保持し、いくつかの他のエリア／区分は、完全に現在のCTUからの参照サンプルを保持するが、いくつかのエリア／区分は、部分的に現在のCTUからの参照サンプルを保持し、部分的に空白である（上記のリセットプロセスの結果としてIBC参照には使用されない）。最後のエリア（例えば、右下エリア）が処理されているときに、他の3つのエリアはすべて、現在のCTUの再構成サンプルをIBCの参照サンプルとして保持するが、最後のエリア／区分は、CTUの最後のコーディングブロックが再構成されるまで、現在のCTU内の対応するコーディングブロックの再構成サンプルを部分的に保持し、部分的に空白であり、CTUの最後のコーディングブロックが再構成された時点で、RSM全体が現在のCTUの再構成サンプルを保持し、RSMは、IBCモードでもコーディングされる場合に次のCTUに使用する準備ができている。

【0155】

図22は、RSMの上記の連続的な更新の実装を特に中間時間において空間的に示しており、すなわち、左近傍CTUと現在のコーディングブロック（斜め陰影線で陰影が付けられたブロック）を有する現在のCTUとの両方が示されている。RSM内にあり、現在のコーディングブロックのIBC参照サンプルとして有効なこれらの2つのCTUの対応する再構成サンプルは、横陰影線および縦陰影線によって示されている。この例における特定の再構成時に、処理は、RSMにおいて、左近傍CTU内の陰影が付けられていないエリアによってカバーされたサンプルを、縦陰影線によって陰影が付けられた現在のCTUのエリアに置き換えている。近傍CTUからの残りの効果サンプルは、横線の陰影付けとして示されている。

【0156】

上記の例示的実装形態では、固定RSMサイズがCTU sizeと同じである場合、RSMは1つのCTUを含むように実装される。いくつかの他の実装形態では、CTU sizeがより小さい場合、RSMは複数のCTUを含みうる。例えば、CTUのサイズは32×32であってもよく、固定RSMサイズは128×128であってもよい。そのため、RSMは16個のCTUのサンプルを保持しうる。上述された同じ基礎となるRSM更新原理に従って、RSMは、再構成される前に現在の128×128パッチの16個の近傍CTUを保持しうる。現在の128×128パッチの最初のコーディングブロックの処理が開始されるとすぐに、単一のCTUを保持するRSMについて上述されたように、最初に1つの近傍CTUの再構成サンプルで満たされたRSMの最初の32×32領域が更新されうる。残りの15個の32×32の領域は、IBCの参照サンプルとして15個の近傍CTUを含む。デコーディングされている現在の128×128パッチの最初の32×32領域に対応するCTUが再構成されると、RSMの最初の32×32領域は、このCTUの再構成サンプルで更新される。次いで、現在の128×128パッチの第2の32×32領域に対応するCTUが処理され、最終的に再構成サンプルで更新されうる。このプロセスは、RSMの16個の32×32領域が現在の128×128パッチ（15個のCTUすべて）の再構成サンプルを含むまで続く。次いでデコーディングプロセスは次の128×128パッチに進む。

【0157】

いくつかの他の実装形態では、図21および図22の拡張として、RSMは、近傍CTUのセットを保持しうる。一度に1つの現在のCTUが処理され、最も遠い近傍CTUを保持するRSM部分は、再構成された現在のCTUで上述された方式で更新される。次の現在のCTUについても、やはり、RSM内の最も遠い近傍CTUが更新され、置き換えられる。そのため、固定サイズRSMに保持されている複数のCTUは、IBSの近傍CTUの移動ウィンドウとして更新する。

【0158】

オンチップRSMを使用するローカルIBCのさらなる特定の例示的実装形態が図23に示されている。この例では、IBCモードの最大ブロックサイズが制限されうる。例えば、最大のIBCブロックは64×64であってもよい。オンチップRSMは、スーパーブロック（SB）に対応する固定サイズ、例えば128×128で構成されうる。図23のRSM実装形態は、図21および図22の実装形態と同様の基本原理を使用する。図23では、RSMは、IBC参照サンプルとして複数の近傍CTUおよび／または現在のCTUを保持しうる。図23の例では、SBは四分木区分であってもよい。これに対応して、RSMは、各々が64×64である4つの領域またはユニットに四分木分割されうる。これらのエリアの各々が、1つまたは複数のコーディングブロックを保持しうる。代替的に、これらのエリアの各々は1つまたは複数のCTUを保持してもよく、各CTUは1つまたは複数のコーディングブロックを保持してもよい。四分木エリアのコーディング順序は事前定義されてもよい。例えば、コーディング順序は、左上、右上、左下、右下であってもよい。図23のSBの四分木分割は一例にすぎない。いくつかの他の代替実装形態では、SBは任意の他の方式に従って分割されてもよい。本明細書に記載されるローカルIBCのRSM更新実装形態は、これらの代替分割方式に適用される。

【0159】

そのようなローカルIBC実装形態では、IBC予測に使用されうるローカル参照ブロックが制限されうる。例えば、参照ブロックと現在のブロックとが同じSB行にあるべきであることが要求されうる。具体的には、ローカル参照ブロックは、現在のSBまたは現在のSBの左側の1つのSBにのみ配置されうる。別の許容されるコーディングブロックによってIBCで予測されている例示的な現在のブロックが、図23に破線矢印で示されている。現在のSBまたは左SBがIBC参照に使用される場合、RSMにおける参照サンプル更新手順は、上述されたリセット手順に従いうる。例えば、64×64ユニットの参照サンプルメモリのいずれかが現在のSBからの再構成サンプルで更新を開始すると、64×64ユニット全体の（左SBからの）以前に記憶された参照サンプルは、IBC予測サンプルを生成するために利用できないとしてマークされ、現在のブロックの再構成サンプルで徐々に更新される。

【0160】

図23は、パネル2302における現在のSBのローカルIBCデコーディング中のRSMの5つの例示的な状態を示している。やはり、例示的な状態の各々における横線で陰影が付けられたRSMのエリアは、左近傍SBの対応する四分木エリアの対応する参照サンプルを保持し、縦線グレーで陰影が付けられたエリア／分割は、現在のSBの対応する参照サンプルを保持する。斜線で陰影が付けられたRSMのコーディングブロックは、コーディング／デコーディングされている現在の四分木エリア内の現在のコーディングブロックを表す。各現在のSBのコーディングの開始時に、RSMは以前にコーディングされたSBのサンプルを記憶する（図23のRSM状態（0））。現在のブロックが現在のSBの4つの64×64四分木エリアのうちの1つに位置するとき、RSM内の対応する領域はリセットされ、現在の64×64コーディング領域のサンプルを記憶するために使用される。このようにして、RSMの各64×64四分木エリア内のサンプルは、現在のSB（状態（1）～状態（3））内のサンプルによって徐々に更新される。現在のSBが完全にコーディングされると、RSM全体が現在のSBのすべてのサンプルで満たされる（状態（4））。

【0161】

図23のパネル2302内の64×64エリアの各々は、空間コーディングシーケンス番号でラベル付けされている。シーケンス0～3は、左近傍SBの4つの64×64四分木エリアを表し、シーケンス4～7は、現在のSBパネルの4つの64×64四分木エリアを表す。図23において、パネル2304は、図23のパネル2302のRSM状態（1）、状態（2）、および状態（3）について、128×28RSM内の参照サンプルの左近傍SBおよび現在のSBにおける対応する空間分布をさらに示している。十字なしの陰影が付けられたエリアは、RSM内の再構成サンプルを有するエリアを表す。十字ありの陰影が付けられたエリアは、RSM内の左SBの再構成サンプルがリセットされている（よって、ローカルIBCの参照サンプルとして利用できない）エリアを表す。

【0162】

64×64エリアのコーディング順序および対応するRSM更新順序は、（図23の上記で示されたような）水平走査または垂直走査のいずれかに従いうる。水平走査は、左上から開始して、右上、左下、および右下に進む。垂直走査は、左上から開始して、左下、右上、および左下に進む。水平走査および垂直走査のための左近傍SBおよび現在のSBの参照サンプル更新プロセスは、現在のSBの4つの64×64エリアの各々が再構成されているときの比較のために、図24のパネル2402および2404にそれぞれ示されている。図24において、十字なしの横線で陰影が付けられた64×64エリアは、IBCに利用可能なサンプルを有するエリアを表す。十字ありの横線で陰影が付けられたエリアは、現在のSBの対応する再構成サンプルに更新された左近傍SBのエリアを表す。陰影が付けられてない領域は、現在のSBの未処理領域を表す。斜線で陰影が付けられたブロックは、処理されている現在のコーディングブロックを表す。

【0163】

図24に示されるように、現在のSBに対する現在のコーディングブロックの位置に応じて、IBCの参照ブロックに関して以下の制限が適用されうる。

【0164】

現在のブロックが現在のSBの左上64×64エリアに入る場合には、現在のSBの既に再構成されたサンプルに加えて、図24の2412（水平走査の場合）および2422（垂直走査の場合）に示されるように、左SBの右下、左下、および右上64×64ブロックの参照サンプルも参照することができる。

【0165】

現在のブロックが現在のSBの右上64×64ブロックに入る場合には、現在のSBの既に再構成されたサンプルに加えて、現在のSBに対して（0，64）に位置するルーマサンプルがまだ再構成されていない場合、現在のブロックは、左SBの左下64×64ブロックおよび右下64×64ブロック内の参照サンプルも参照することができる（図24の2414）。そうでない場合、現在のブロックは、IBCの左SBの右下64×64ブロック内の参照サンプルも参照することができる（図24の2426）。

【0166】

現在のブロックが現在のSBの左下64×64ブロックに入る場合には、現在のSBの既に再構成されたサンプルに加えて、現在のSBに対するルーマ位置（64，0）がまだ再構成されていない場合、現在のブロックは、左SBの右上64×64ブロックおよび右下64×64ブロック内の参照サンプルも参照することができる（図24の2424）。そうでない場合、現在のブロックは、IBCの左SBの右下64×64ブロック内の参照サンプルも参照することができる（図24の2416）。

【0167】

現在のブロックが現在のSBの右下64×64ブロックに入る場合、現在のブロックは、IBCの現在のSB内の既に再構成されたサンプルのみを参照することができる（図24の2418および2428）。

【0168】

上述されたように、いくつかの例示的実装形態では、ローカルおよび非ローカルベースのCTU／SBのいずれか一方または両方が、IBC参照ブロックの探索および選択に使用されうる。加えて、オンチップRSMがローカル参照に使用される場合、書き戻し遅延に関するIBC参照としての既に構成されたCTU／SBの利用可能性に関する制限のいくつかが緩和または除去されてもよい。そのような実装形態は、並列デコーディングが採用されるかどうかにかかわらず適用されうる。

【0169】

IBCに使用されうるローカルおよび非ローカル参照CTU／SBの例示的実装形態が図25に示されており、やはり、各正方形はCTU／SBを表す。斜線で陰影が付けられたCTU／SBは、現在のCTU／SB（「0」としてラベル付けされている）を表すのに対し、横線（「1」としてラベル付けされている）、縦線（「2」としてラベル付けされている）、および逆斜線（「3」としてラベル付けされている）で陰影が付けられたCTU／SBは、既に構成されたエリアを表す。陰影が付けられていないCTU／SBは、まだ再構成されていないエリアを表す。図19および図20と同様の並列デコーディングを用いるものと仮定される。縦線（「2」）および逆斜線（「3」）で陰影が付けられたCTU／SBは、IBC参照のためにオフチップメモリのみが使用されるときのDPBへの書き戻し遅延に起因して、現在のCTU／SBのIBC参照として通常除外される例示的なエリアを表す（図20参照）。オンチップRSMが使用されるとき、図20の制限エリアのうちの1つまたは複数がRSMから直接参照され、よって制限される必要はない。ここでIBC参照のためにRSMを介してアクセスされることができる制限エリアの数は、RSMのサイズに依存しうる。図25の例では、RSMは、1つのCTU／SBを保持し、上述されたRSM更新メカニズムを採用することができるものと仮定されている。そのため、縦線で陰影が付けられ、「2」とラベル付けされた左近傍CTU／SBは、ローカル参照に利用可能でありうる。次いで、RSMは、左CTU／SBおよび現在のCTU／SBからのサンプルを保持する。よって、図25の例では、非ローカルIBC参照ブロックに利用可能な探索エリアは、「1」とラベル付けされたCTU／SB（探索エリア1（SA1）、または非ローカル探索エリア）を含み、ローカルIBC参照ブロックに利用可能な探索エリアは、「2」および「0」とラベル付けされたCTU／SB（この探索エリアは探索エリア2（SA2）、またはローカル探索エリアと呼ばれうる）を含み、IBC参照ブロックの除外エリアは、書き戻し遅延に起因して「3」とラベル付けされたCTU／SBを含む。いくつかの他の実装形態では、制限されたCTU／SB全体を保持することができる十分なオンチップRSMサイズがあれば、これらすべての潜在的に制限されたエリアは、ローカル参照のためにRSMに含めることができる。例えば、「2」および「3」とラベル付けされた両方の左近傍ブロックがローカル探索エリアに含まれてもよい。

【0170】

いくつかの他の実装形態では、「0」とラベル付けされた現在のCTU／SBのみ、または現在のCTU／SBの一部分が、ローカル参照のためにRSMに含まれうる。

【0171】

いくつかの例示的実装形態では、SA1内のサンプルは外部メモリに記憶されうる。

【0172】

いくつかの例示的実装形態では、SA2内のサンプルはオンチップメモリに記憶されうる。

【0173】

いくつかの例示的実装形態では、外部メモリおよびオンチップメモリは、アクセス速度、アクセスクロック、アクセス帯域幅などといった異なるハードウェア特性を有する。

【0174】

IntraBC予測を行う場合、ブロックベクトルがSA1内に部分的に位置し、SA2内に部分的に位置するブロックを指し示しているときに、特別な条件が発生しうる。この特別な条件下では、このブロックを予測ブロックとして使用する前に、さらなる制限または取り扱いが適用される必要がある場合もある。

【0175】

いくつかの例示的実装形態では、この特別な条件下で、ブロックベクトルによって指し示されるブロックは、IntraBCの予測ブロックとして使用されることが許容されないか、または除外される。

【0176】

図26は、それぞれのブロックベクトルによって指し示される様々な例示的なブロックを示している。ブロックAは、SA1とSA2の両方と重複するため、予測ブロックとして使用されることが許容されず、ブロックBは、SA2に完全に含まれているため、予測ブロックとして使用されることが許容され、ブロックCは、SA1に完全に含まれているため、予測ブロックとして使用されることが許容される。

【0177】

いくつかの例示的実装形態では、IntraBCのブロックベクトルが、SA1内に部分的に位置し、SA2内に部分的に位置する（Bによって表された）ブロックを指し示している場合、SA1と重複するB内のサンプルを置き換えるか、またはSA2と重複するB内のサンプルを置き換えることが提案される。サンプルの置き換えは、予測に使用されることができる境界サンプルを拡張することによってなされてもよい。例えば、SA1と重複するBのサンプルを置き換えるために、SA2の境界サンプルが使用されてもよく、SA2と重複するBのサンプルを置き換えるために、SA1の境界サンプルが使用されてもよい。

【0178】

いくつかの例示的実装形態では、サンプル置き換えがどの重複エリアに適用されるべきかを決定するために重複エリアサイズが使用されうる。BとSA1との間の重複エリアサイズがBとSA2との間の重複エリアサイズよりも大きい場合には、BとSA2との間の重複部分に位置するサンプルが置き換えられ、逆もまた同様である。

【0179】

いくつかの例示的実装形態では、サンプル置き換えがどの重複エリアに適用されるべきかを決定するためにサンプルの数が使用されうる。BとSA1との間の重複部分でカバーされているサンプルの数をS1で表し、BとSA2との間の重複部分でカバーされているサンプルの数をS2で表す。BとSA2との間の重複部分に位置するサンプルは、S1がS2に重み係数（t1）を乗じたものよりも大きい（すなわち、S1＞S2＊t1である）場合に置き換えられ、t1は事前定義されてもよいし、動的にシグナリングされてもよい。同様に、BとSA1との間の重複部分に位置するサンプルは、S2がS1に重み係数（t2）を乗じたものよりも大きい場合に置き換えられ、t2は事前定義されてもよいし、動的にシグナリングされてもよい。

【0180】

いくつかの例示的実装形態では、サンプル置き換えがBとSA1との間の重複部分に適用される場合、重複部分のサンプルを置き換えるためにSA2内のサンプルが使用されうる。同様に、サンプル置き換えがBとSA2との間の重複部分に適用される場合、重複部分のサンプルを置き換えるためにSA1内のサンプルが使用されうる。

【0181】

いくつかの例示的実装形態では、図26に示されるように、CTU／SB2602および2604は許可されていないエリアを形成する。しかしながら、いくつかの他の実装形態では、CTU／SB2602および／または2604はまた、ローカル探索エリア（または近傍の許容される探索エリアSA2）の一部でありうる。例えば、オンチップメモリが2602および／または2604のサンプルを保持するのに十分な大きさである場合である。

【0182】

いくつかの例示的実装形態では、予測の実装形態は、2つの参照ブロックを使用しうる。この予測モードは、複合予測モードと呼ばれうる。複合予測は、以下の式によって特徴付けられうる。

【0183】

P（x，y）＝（w（x，y）・P₀（x，y）＋（64－w（x，y））・P₁（x，y）＋32）≫6 （1）

【0184】

式中、P0（x，y）およびP1（x，y）は、現在のブロック内の（x，y）に位置する現在のサンプルに対する2つの参照ブロックからの予測サンプルを指し、w（x，y）は、第1の参照ブロックからの予測サンプルに適用される重み係数であり、P（x，y）は、最終複合予測である。重み係数および予測ブロックの導出に応じて、異なる複合動き予測モードが存在しうる。

【0185】

例えば、2つの参照が等しく重み付けされる平均予測子モードが実装されてもよい。この場合、w（x，y）＝32である。

【0186】

例えば、距離重み付け予測子モードが実装されてもよく、重み係数は、現在のブロックとその2つの参照ブロックとの間の時間的距離によって決定されうる。

【0187】

以下のサブセクションで説明される。2つの参照ブロックを使用するSKIPモードの場合、w（x，y）は常に32に設定される。

【0188】

いくつかの例示的実装形態では、複合予測は、IntraBC予測されたブロックに適用されうる。

【0189】

いくつかの例示的実装形態では、複合予測は、複合ウェッジベース予測モードを形成するためにウェッジモードにさらに適用されうる。このモードでは、ブロックサイズごとに、16個の事前定義された2次元重み付け配列のセットが事前定義および／またはハードコーディングされうる。各配列において、重み付けは、事前定義されたウェッジ分割パターンに突出するように配置される。各ウェッジ分割パターンでは、2つのウェッジパーティションが特定のエッジ方向および位置に沿って指定される。2つのウェッジパーティションのうちの一方に位置するサンプルの場合、重み付けはほとんどが64として設定される。一実装形態では、重み付けは、64からウェッジ分割境界付近の0まで徐々に変化しうる。他方のウェッジパーティションに位置するサンプルの場合、重み付けはほとんど0として設定される。さらに、ウェッジ分割境界に沿って、重み付けは32として評価されうる。

【0190】

図27は、16個の例示的なウェッジレット分割パターン（a～p）を示している。これらの例では、正方形ブロックが使用されている。同様の分割は、長方形ブロックにも適用されうる。各ブロック内には、ブロックを2つのパーティションに分割する境界線がある。各境界線は、異なる開始点、終了点、および異なる角度を有しうる。ウェッジベース予測モードでは、ウェッジ分割パターンインデックスを指定する、wedge＿indexという2つの構文が事前定義されうる。例えば、wedge＿indexは0から15までの範囲であってもよく、各インデックス値は特定のウェッジ分割パターンを示し、wedge＿signは、2つのパーティションのどちらが優位な重み付けを割り当てられるかを指定する。

【0191】

いくつかの例示的実装形態では、複合ウェッジベース予測モードは、IntraBC予測されたブロックに適用されうる。この場合、IntraBC予測されたブロックは、特定のウェッジレット分割パターンに従って複数のパーティションに分割されうる。少なくとも1つのパーティションが、複合予測を目的として複数の参照ブロックを割り当てられうる。

【0192】

IntraBC予測のためのいくつかの例示的実装形態では、現在のブロック（例えば、現在再構成中のブロック）について、単一のブロックベクトルのみが参照ブロックを見つけるために採用される。しかしながら、テキスト画像など、スクリーンコンテンツの多くの場合、参照ブロックは、現在のブロックの一部のみについては完全に一致することができるが、ブロックの他の部分については一致しない。図28を参照すると、単語「encoder」および単語「decoder」をそれぞれ示す2つのテキスト画像ブロックを照合するとき、2つの単語の右「coder」部分は完全に一致するが、左部分は全く一致せず（すなわち、「en」対「de」）、テキスト画像ブロック「encoder」を予測するためのテキスト画像ブロック「decoder」をフェッチするために単一のベクトルが使用される場合、大きな歪みが生じる。

【0193】

いくつかの例示的実装形態では、IntraBC予測は、ウェッジレット分割と組み合わされうる。ウェッジレット分割を使用するIntraBCコーディングされたブロックの場合、予測に単一のブロックベクトルを使用するだけではなく、複数のブロックベクトルが採用されうる。例えば、現在のブロックが、最初に、例えば、ウェッジレット分割モードを使用して複数の領域に分割されてもよく、次いで、領域ごとに、特定のブロックベクトルが、この領域と関連付けられた予測子を見つけるために使用される。

【0194】

図28は、複数のブロックベクトルを使用する例示的実装形態をさらに示している。図28に示されるように、単語「encoder」を含むテキスト画像ブロックは、（例えば、図27のパーティション（l）を使用することによって）垂直分割境界を有するウェッジレット分割モードを使用して分割され、2つのパーティション（2810および2812）が生成され、パーティション2810は「en」を有するテキスト画像を含み、パーティション2812は「coder」を有するテキスト画像を含む。この例では、2つの異なるブロックベクトルBV0およびBV1が、これらの2つのパーティションがそれぞれ、現在のフレーム内のそれらの参照ブロック、すなわち、単語「enable」を含むテキスト画像ブロック内の「en」部分2820および単語「decoder」を含むテキスト画像ブロック内の「coder」部分2822を見つけるために使用される。

【0195】

一実装形態では、IntraBCコーディングされたブロックの場合、ウェッジレット分割モードが適用されるかどうかを示すためにフラグが使用されうる。フラグは、ビデオビットストリームでシグナリングされうる。

【0196】

一実装形態では、ウェッジレット分割モードがIntraBCコーディングされたブロックに適用される場合、ウェッジレット分割パターンを示すインデックスがシグナリングされうる。例えば、インデックスは、図27に示されるようなウェッジレット分割パターン（a～p）のうちの1つを示してもよい。

【0197】

一実装形態では、ウェッジレット分割モードがIntraBCコーディングされたブロックに適用される場合、ウェッジレットパーティションごとに、ブロックベクトルが参照ブロックを識別するために使用される。異なるウェッジレットパーティションのためのブロックベクトルは異なりうる。例えば、図28に示されるように、2つの異なるブロックベクトルBV0およびBV1がパーティション2810および2812にそれぞれ割り当てられる。

【0198】

一実装形態では、1つのウェッジレットパーティションに使用されるブロックベクトルが、同じコーディングされたブロック内の別のウェッジレットパーティションに使用されるブロックベクトルを予測するために使用されうる。例えば、図28では、BV0がBV1を予測するために使用されてもよく、逆もまた同様である。

【0199】

一実装形態では、各ウェッジレットパーティションのブロックベクトルは、IntraBCモードでコーディングされた近傍のコーディングされたブロックの（1つまたは複数の）ブロックベクトルから生成されうる。一例では、予測子ブロックベクトル候補リストが、近傍のコーディングされたブロックのブロックベクトル、または履歴ベース（または履歴）ブロックベクトルを使用して、現在のブロックに対して確立されうる。次いで、リスト内のベースブロックベクトル（または参照ブロックベクトル）を見つけるためにインデックスがシグナリングされてもよく、ブロックベクトル予測残差がさらにシグナリングされてもよい。次いで、ウェッジレットパーティションのためのブロックベクトルが、ベースブロックベクトルにベクトル予測残差を適用することによって生成されうる。ブロックベクトルを取得するためのこの方式は、ブロックベクトルの明示的シグナリングと呼ばれることができる。

【0200】

別の実装形態では、ウェッジレット分割モードがIntraBCコーディングされたブロックに適用される場合、ウェッジレットパーティションごとに、ブロックベクトルが、上述されたような方式を使用するのではなく、以前にコーディングされたブロックベクトルから導出されうる。一例では、予測子ブロックベクトル候補リストが、近傍のコーディングされたブロックのブロックベクトル、または履歴ベースブロックベクトルを使用して、現在のブロックに対して確立されうる。リスト内のベースブロックベクトルを見つけるためにインデックスがシグナリングされてもよく、次いで、ウェッジレットパーティションのブロックベクトルが、シグナリングされたベクトル予測残差なしでベースブロックベクトルから導出されてもよい。ブロックベクトルを取得するためのこの方式は、ブロックベクトルの暗黙的シグナリングと呼ばれることができる。ベースブロックベクトルからのブロックベクトルの導出は、事前定義または事前構成された変換に基づくものであってもよい。

【0201】

代替的に、一実装形態では、上述されたベースブロックベクトルは、ウェッジレットパーティションのためのブロックベクトルとして直接使用されてもよい。

【0202】

ブロックベクトルの明示的なシグナリングと暗黙的なシグナリングの組み合わせが許容される。例えば、2つのパーティションを有するウェッジレット分割の場合、第1のパーティションは暗黙的なシグナリングを使用してもよく、第2のパーティションはブロックベクトルコーディングのための明示的なシグナリングを使用してもよい。例えば、図28では、BV0は明示的シグナリングを使用して予測されてもよく、BV1は暗黙的シグナリングを使用して導出されてもよい。

【0203】

一実装形態では、IntraBC予測と組み合わされる場合、特定のウェッジレット分割パターンのみが許容される。例えば、これらのウェッジレット分割パターンは、（図27のパターンhおよびpのような）水平境界および／または（図27のパターンdおよびlのような）垂直分割境界を有する分割モードを含んでもよい。

【0204】

一実装形態では、IntraBC予測と組み合わされる場合、垂直分割境界を有するウェッジレット分割パターンのみが許容される。

【0205】

一実装形態では、許容されるウェッジレット分割パターンのタイプは、以下のうちの少なくとも1つを含みうるハイレベル構文を介してシグナリングされうる。
ビデオパラメータセット（VPS）構文、
ピクチャパラメータセット（PPS）構文、
シーケンスパラメータセット（SPS）構文、
適応パラメータセット（APS）構文、
スライスヘッダ、
ピクチャヘッダ、
フレームヘッダ、または
タイルヘッダ。

【0206】

一実装形態では、許容されるウェッジレット分割パターンのタイプは、様々なレベルに適用されうる。例えば、許容されるウェッジレット分割パターンのタイプは、様々なブロックレベルに対応する様々なヘッダでシグナリングされてもよい。様々なヘッダは、CTUヘッダ（よってウェッジレット分割パターンはCTU全体に適用される）、スーパーブロックヘッダ（よってウェッジレット分割パターンはスーパーブロック全体に適用される）、コーディングブロックヘッダ（よってウェッジレット分割パターンはコーディングブロック全体に適用される）、のうちの少なくとも1つを含みうる。

【0207】

一実装形態では、ウェッジレット分割モードがIntraBCコーディングされたブロックに適用される場合、前述されたような複合予測モードがさらに適用されうる。この場合、式1で使用される重み係数w（x，y）は、0または特定の非ゼロの値（例えば、64）のいずれかでありうる。一実装形態では、重み係数w（x，y）は、事前定義および／またはハードコーディングされうる。一実装形態では、重み係数w（x，y）はシグナリングされうる。

【0208】

一実装形態では、ウェッジレット分割モードがIntraBCコーディングされたブロックに適用される場合、サブパーティションごとに、探索エリア制限がさらに適用されうる。図26に戻って、前述されたように、現在のブロックについて、2つの許容される探索エリアSA1およびSA2が存在し、2602および2604は許可されていない探索エリアを表す。この実装形態では、参照パーティション（例えば、図28に示されるように、BV0によって指し示される参照パーティション2820およびBV1によって指し示される参照パーティション2822）にさらなる制約が課されてもよく、各参照パーティション全体は、IntraBCモードでコーディングされた現在のブロックに対して定義された同じ許容される参照エリア内になければならない。例えば、参照パーティション2820全体がSA1またはSA2のいずれかの内側にある必要があり、参照パーティション2820全体もSA1またはSA2のいずれかの内側にある必要がありうる。すなわち、参照パーティションは、異なる探索エリアにまたがることを許容されない。参照パーティションが2つの探索エリアにまたがる場合、または参照パーティションの少なくとも一部分が許可されていない探索エリアに位置する場合、代替方法が参照サンプルを見つけるために使用される必要がある。

【0209】

本開示は、ビデオエンコーディング／デコーディングのための方法、装置、コンピュータ可読媒体を説明する。本開示は、IntraBCに関する様々な問題に対処した。本開示に記載される方法、デバイス、およびコンピュータ可読媒体は、ビデオコーデックの性能を向上させ、ウェッジレット分割モードを使用してIntraBC予測を最適化しうる。

【0210】

図29は、ビデオデータを処理するための例示的な方法2900を示している。方法2900は、ビデオフレームの現在のブロックを含むビデオビットストリームを受信する、ステップ2910、ビデオビットストリームから、現在のブロックがイントラブロックコピー（IntraBC）モードの下で予測されることを示すIntraBCフラグを抽出する、ステップ2920、ビデオビットストリームから、現在のブロックがウェッジレット分割モードの下で分割されると決定するステップであって、現在のブロックが、ウェッジレット分割モードの下で第1のパーティションおよび第2のパーティションを含む複数のパーティションに分割される、ステップ2930、現在のブロックの少なくとも第1のパーティションおよび第2のパーティションを識別する、ステップ2940、第1のパーティションをIntraBCモードで予測するための第1のブロックベクトルおよび第2のパーティションをIntraBCモードで予測するための第2のブロックベクトルをそれぞれ決定する、ステップ2950、ならびに少なくとも第1のブロックベクトルおよび第2のブロックベクトルに基づいて現在のブロックをデコーディングする、ステップ2960、の一部分または全部を含みうる。

【0211】

本開示の実施形態および実装形態では、所望どおりに、任意のステップおよび／または動作が、任意の量または順序で組み合わされるか、または配置されてもよい。ステップおよび／または動作のうちの2つ以上が、並列に行われてもよい。本開示の実施形態および実装形態は、別々に使用されてもよく、任意の順序で組み合わされてもよい。さらに、方法（または実施形態）の各々、エンコーダ、およびデコーダは、処理回路（例えば、1つまたは複数のプロセッサや1つまたは複数の集積回路）によって実装されてもよい。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。本開示の実施形態は、ルーマブロックまたはクロマブロックに適用されてもよい。ブロックという用語は、予測ブロック、コーディングブロック、またはコーディングユニット、すなわちCUとして解釈されてもよい。ここでのブロックという用語はまた、変換ブロックを指すために使用されてもよい。以下の項目では、ブロックサイズと言う場合、それは、ブロックの幅もしくは高さ、または幅および高さの最大値、または幅および高さの最小値、またはエリアサイズ（幅＊高さ）、またはブロックのアスペクト比（幅：高さ、もしくは高さ：幅）のいずれかを指しうる。

【0212】

上述された技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つまたは複数のコンピュータ可読媒体に物理的に記憶されることができる。例えば、図30は、開示の主題の特定の実施形態を実装するのに適したコンピュータシステム（3000）を示している。

【0213】

コンピュータソフトウェアは、直接または、1つもしくは複数のコンピュータ中央処理装置（CPU）、グラフィックスプロセッシングユニット（GPU）などによる解釈、マイクロコード実行などを介して実行されることができる命令を含むコードを作成するために、アセンブリ、コンパイル、リンク、または同様のメカニズムの対象となりうる任意の適切な機械語またはコンピュータ言語を使用してコーディングされることができる。

【0214】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはその構成要素上で実行されることができる。

【0215】

コンピュータシステム（3000）に関して図30に示される構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。構成要素の構成は、コンピュータシステム（3000）の例示的な実施形態に示されている構成要素の任意の1つまたは組み合わせに関する依存性も要件も有していないと解釈されるべきである。

【0216】

コンピュータシステム（3000）は、特定のヒューマンインターフェース入力デバイスを含みうる。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を通じた1人または複数の人間ユーザによる入力に応答しうる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、写真画像は静止画像カメラから取得など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、必ずしも人間による意識的な入力に直接関連しない特定の媒体を取り込むためにも使用されることができる。

【0217】

入力ヒューマンインターフェースデバイスは、キーボード（3001）、マウス（3002）、トラックパッド（3003）、タッチスクリーン（3010）、データグローブ（図示せず）、ジョイスティック（3005）、マイクロフォン（3006）、スキャナ（3007）、カメラ（3008）のうちの1つまたは複数（各々の1つのみが図示されている）を含みうる。

【0218】

コンピュータシステム（3000）はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味を通して、1人または複数の人間ユーザの感覚を刺激してもよい。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（3010）、データグローブ（図示せず）、またはジョイスティック（3005）による触覚フィードバックを含みうるが、入力デバイスとして機能しない触覚フィードバックデバイスもありうる）、オーディオ出力デバイス（スピーカ（3009）、ヘッドホン（図示せず）など）、視覚出力デバイス（各々タッチスクリーン入力機能の有無にかかわらず、各々触覚フィードバック機能の有無にかかわらず、ステレオグラフィック出力、仮想現実の眼鏡（図示せず）、ホログラフィックディスプレイ、およびスモークタンク（図示せず）などの手段により、2次元の視覚出力または3次元を超える出力を出力することが可能なものもある、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン（3010）など）、およびプリンタ（図示せず）を含みうる。

【0219】

コンピュータシステム（3000）はまた、CD／DVDなどの媒体（3021）を伴うCD／DVD ROM／RW（3020）を含む光学媒体、サムドライブ（3022）、リムーバブルハードドライブまたはソリッドステートドライブ（3023）、テープやフロッピーディスクなどのレガシー磁気媒体（図示せず）、ならびにセキュリティドングル（図示せず）などの専用のROM／ASIC／PLDベースのデバイスなど、人間がアクセス可能な記憶デバイスおよびそれられに関連する媒体を含むこともできる。

【0220】

当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、または他の一時的な信号を含まないことも理解するはずである。

【0221】

コンピュータシステム（3000）はまた、1つまたは複数の通信ネットワーク（3055）へのインターフェース（3054）を含むことができる。ネットワークは、例えば、無線、有線、光でありうる。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両用および産業用、リアルタイム、遅延耐性などでありうる。ネットワークの例は、イーサネット、無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、および地上波放送テレビを含むテレビ有線または無線ワイドエリアデジタルネットワーク、CAN busを含む車両用および産業用などを含む。特定のネットワークは、通常、（例えば、コンピュータシステム（3000）のUSBポートなどの）特定の汎用データポートまたは周辺バス（3049）に取り付けられた外部ネットワークインターフェースアダプタを必要とし、他のネットワークは、通常、以下で説明されるようなシステムバスに取り付けることによってコンピュータシステム（3000）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（3000）は、他のエンティティと通信することができる。そのような通信は、単方向、受信のみ（例えば、テレビ放送）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または例えば、ローカルもしくはワイドエリアデジタルネットワークを用いた他のコンピュータシステムに対する双方向でありうる。上述されたように、特定のプロトコルおよびプロトコルスタックがそれらのネットワークおよびネットワークインターフェースのそれぞれで使用されることができる。

【0222】

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム（3000）のコア（3040）に取り付けられることができる。

【0223】

コア（3040）は、1つまたは複数の中央処理装置（CPU）（3041）、グラフィックスプロセッシングユニット（GPU）（3042）、フィールドプログラマブルゲートエリア（FPGA）（3043）の形式の専用のプログラマブルプロセッシングユニット、特定のタスク用のハードウェアアクセラレータ（3044）、グラフィックスアダプタ（3050）などを含みうる。これらのデバイスは、読み出し専用メモリ（ROM）（3045）、ランダムアクセスメモリ（3046）、ユーザがアクセスできない内部ハードドライブ、SSDなどの内部大容量ストレージ（3047）と共に、システムバス（3048）を介して接続されうる。いくつかのコンピュータシステムでは、システムバス（3048）は、追加のCPU、GPUなどによる拡張を可能にするために1つまたは複数の物理プラグの形式でアクセス可能でありうる。周辺デバイスは、コアのシステムバス（3048）に直接取り付けられることも、または周辺バス（3049）を介して取り付けられることもできる。一例では、スクリーン（3010）は、グラフィックスアダプタ（3050）に接続されることができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。

【0224】

CPU（3041）、GPU（3042）、FPGA（3043）、およびアクセラレータ（3044）は、組み合わさって、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ROM（3045）またはRAM（3046）に記憶されることができる。移行データもRAM（3046）に記憶されることができるが、永続データは、例えば、内部大容量ストレージ（3047）に記憶されることができる。任意のメモリデバイスに対する高速記憶および取り出しが、1つまたは複数のCPU（3041）、GPU（3042）、大容量ストレージ（3047）、ROM（3045）、RAM（3046）などと密接と関連付けられることができるキャッシュメモリの使用を通じて可能とされることができる。

【0225】

コンピュータ可読媒体は、様々なコンピュータ実装動作を行うためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものとすることもでき、またはそれらは、コンピュータソフトウェア技術の当業者に周知で利用可能な種類のものとすることもできる。

【0226】

非限定的な例として、アーキテクチャを有するコンピュータシステム（3000）、具体的にはコア（3040）は、（CPU、GPU、FPGA、アクセラレータなどを含む）プロセッサが1つまたは複数の有形のコンピュータ可読媒体において具現化されたソフトウェアを実行した結果としての機能を提供することができる。そのようなコンピュータ可読媒体は、上述されたユーザアクセス可能な大容量ストレージ、ならびにコア内部大容量ストレージ（3047）やROM（3045）などの非一時的な性質のコア（3040）の特定のストレージと関連付けられた媒体でありうる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（3040）によって実行されることができる。コンピュータ可読媒体は、特定の必要性に応じて、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（3040）、具体的にはその中の（CPU、GPU、FPGAなどを含む）プロセッサに、RAM（3046）に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、回路（例えば、アクセラレータ（3044））におけるハードワイヤードの、または他の方法で具現化された論理の結果としての機能を提供することもでき、論理は、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに、またはソフトウェアと共に動作することができる。ソフトウェアへの言及は、必要に応じて、論理を包含することができ、逆もまた同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。

【0227】

本開示はいくつかの例示的な実施形態を記載しているが、変更例、置換例、および様々な代替均等例が存在し、それらは本開示の範囲内に入る。よって、当業者は、本明細書に明示的に図示または記載されていないが、本開示の原理を具現化し、よって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。
付記A：頭字語
IBC：イントラブロックコピー（Intra－Block Copy）
IntraBC：イントラブロックコピー（Intra－Block Copy）
JEM：共同探索モデル（joint exploration model）
VVC：多用途ビデオコーディング（versatile video coding）
BMS：ベンチマークセット（benchmark set）
MV：動きベクトル（Motion Vector）
HEVC：高効率ビデオコーディング（High Efficiency Video Coding）
SEI：補足拡張情報（Supplementary Enhancement Information）
VUI：ビデオユーザビリティ情報（Video Usability Information）
GOPs：Groups of Pictures
TU：変換ユニット（Transform Units）
PU：予測ユニット（Prediction Units）
CTU：コーディングツリーユニット（Coding Tree Units）
CTB：コーディングツリーブロック（Coding Tree Blocks）
PB：予測ブロック（Prediction Blocks）
HRD：仮想参照デコーダ（Hypothetical Reference Decoder）
SNR：信号雑音比（Signal Noise Ratio）
CPU：中央処理装置（Central Processing Units）
GPU：グラフィックスプロセッシングユニット（Graphics Processing Units）
CRT：陰極線管（Cathode Ray Tube）
LCD：液晶ディスプレイ（Liquid－Crystal Display）
OLED：有機発光ダイオード（Organic Light－Emitting Diode）
CD：コンパクトディスク（Compact Disc）
DVD：デジタルビデオディスク（Digital Video Disc）
ROM：読み出し専用メモリ（Read－Only Memory）
RAM：ランダムアクセスメモリ（Random Access Memory）
ASIC：特定用途向け集積回路（Application－Specific Integrated Circuit）
PLD：プログラマブル論理デバイス（Programmable Logic Device）
LAN：ローカルエリアネットワーク（Local Area Network）
GSM：グローバル移動体通信システム（Global System for Mobile communications）
LTE：ロングタームエボリューション（Long－Term Evolution）
CANBus：コントローラエリアネットワークバス（Controller Area Network Bus）
USB：ユニバーサルシリアルバス（Universal Serial Bus）
PCI：周辺構成要素相互接続（Peripheral Component Interconnect）
FPGA：フィールドプログラマブルゲートエリア（Field Programmable Gate Areas）
SSD：ソリッドステートドライブ（solid－state drive）
IC：集積回路（Integrated Circuit）
HDR：ハイダイナミックレンジ（high dynamic range）
SDR：標準ダイナミックレンジ（standard dynamic range）
JVET：共同ビデオ探索チーム（Joint Video Exploration Team）
MPM：最確モード（most probable mode）
WAIP：広角イントラ予測（Wide－Angle Intra Prediction）
CU：コーディングユニット（Coding Unit）
PU：予測ユニット（Prediction Unit）
TU：変換ユニット（Transform Unit）
CTU：コーディングツリーユニット（Coding Tree Unit）
PDPC：位置依存予測組み合わせ（Position Dependent Prediction Combination）
ISP：イントラサブパーティション（Intra Sub－Partitions）
SPS：シーケンスパラメータ設定（Sequence Parameter Setting）
PPS：ピクチャパラメータセット（Picture Parameter Set）
APS：適応パラメータセット（Adaptation Parameter Set）
VPS：ビデオパラメータセット（Video Parameter Set）
DPS：デコーディングパラメータセット（Decoding Parameter Set）
ALF：適応ループフィルタ（Adaptive Loop Filter）
SAO：サンプル適応オフセット（Sample Adaptive Offset）
CC－ALF：クロスコンポーネント適応ループフィルタ（Cross－Component Adaptive Loop Filter）
CDEF：制約付き方向性エンハンスメントフィルタ（Constrained Directional Enhancement Filter）
CCSO：クロスコンポーネントサンプルオフセット（Cross－Component Sample Offset）
LSO：ローカルサンプルオフセット（Local Sample Offset）
LR：ループ復元フィルタ（Loop Restoration Filter）
AV1：AOMedia Video 1
AV2：AOMedia Video 2
RPS：参照ピクチャセット（Reference Picture Set）
DPB：デコーディングされたピクチャバッファ（Decoded Picture Buffer）
MMVD：動きベクトル差分によるマージモード（Merge Mode with Motion Vector Difference）
IntraBCまたはIBC：イントラブロックコピー（Intra Block Copy）
BV：ブロックベクトル（Block Vector）
BVD：ブロックベクトル差分（Block Vector Difference）
RSM：参照サンプルメモリ（Reference Sample Memory）

【符号の説明】

【0228】

101 サンプル
104 正方形ブロック
201 現在のブロック
202～206 周囲のサンプル
300 通信システム
310,320,330,340 端末デバイス
350 ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャのストリーム
403 ビデオエンコーダ
404 エンコーディングされたビデオデータ
405 ストリーミングサーバ
406 クライアントサブシステム
407 エンコーディングされたビデオデータのコピー
408 クライアントサブシステム
409 エンコーディングされたビデオデータのコピー
410 ビデオデコーダ
411 ビデオピクチャの出力ストリーム
412 ディスプレイ
413 ビデオキャプチャサブシステム
420 電子デバイス
501 チャネル
510 ビデオデコーダ
512 ディスプレイ
515 バッファメモリ
520 パーサ
521 シンボル
530 電子デバイス
531 受信器
551 スケーラ／逆変換ユニット
552 イントラピクチャ予測ユニット
553 動き補償予測ユニット
555 アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 現在のピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ
620 電子デバイス
630 ソースコーダ
632 コーディングエンジン
633 ローカルデコーダ
634 参照ピクチャメモリ
635 予測器
640 送信器
643 コーディングされたビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 通信チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
810 ビデオデコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構成モジュール
880 インターデコーダ
902,904,906,908 事前定義された分割オプション
1002,1004,1006, 1008 Tタイプパーティション
1010 すべて正方形パーティション
1102 垂直二分割
1104 水平二分割
1106 垂直三分割
1108 水平三分割
1200 ベースブロック
1202,1204,1206,1208 正方形パーティション
1302 垂直三元パターン
1304 水平三元パターン
1402,1404,1406,1408 パーティション
1410 全体的な分割パターン
1420 ツリー構造／表現
1502 正方形コーディングブロック
1504 4つの等しいサイズの変換ブロック
1506 16個の等しいサイズの変換ブロック
1602 インターコーディングされたブロック
1604 2つの異なるサイズを有する合計7つの変換ブロック
1802 コーディングツリーユニット（CTU）
1804 現在のCTU
1806 現在再構成されているコーディングブロック
1808 ローカル探索エリア
1810 CTU／スーパーブロック（SB）
2102,2104,2106,2108 中間時間
2302,2304 パネル
2402.2404 パネル
2404 パネル
2602,2604 CTU／SB
2810,2612 パーティション
2820 「en」部分
2822 「coder」部分
3000 コンピュータシステム
3001 キーボード
3002 マウス
3003 トラックパッド
3005 ジョイスティック
3006 マイクロフォン
3007 スキャナ
3008 カメラ
3009 スピーカ
3010 タッチスクリーン
3020 CD／DVD ROM／RW
3021 CD／DVDまたは同様の媒体
3022 サムドドライブ
3023 リムーバブルハードドライブまたはソリッドステートドライブ
3040 コンピュータシステムのコア
3041 中央処理装置（CPU）
3042 グラフィックスプロセッシングユニット（GPU）
3043 フィールドプログラマブルゲートエリア（FPGA）
3044 ハードウェアアクセラレータ
3045 読み出し専用メモリ（ROM）
3046 ランダムアクセスメモリ
3047 内部大容量ストレージ
3048 システムバス
3049 汎用データポートまたは周辺バス
3050 グラフィックスアダプタ
3054 インターフェース
3055 通信ネットワーク

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27(a)】

【図27(b)】

【図27(c)】

【図27(d)】

【図27(e)】

【図27(f)】

【図27(g)】

【図27(h)】

【図27(i)】

【図27(j)】

【図27(k)】

【図27(l)】

【図27(m)】

【図27(n)】

【図27(o)】

【図27(p)】

【図28】

【図29】

【図30】

【手続補正書】

【提出日】2023-08-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオデータを処理するための方法であって、前記方法は、
ビデオフレームの現在のブロックを含むビデオビットストリームを受信するステップと、
前記ビデオビットストリームから、前記現在のブロックがイントラブロックコピー（IntraBC）モードの下で予測されることを示すIntraBCフラグを抽出するステップと、
前記ビデオビットストリームから、前記現在のブロックがウェッジレット分割モードの下で分割されると決定するステップであって、前記現在のブロックは、前記ウェッジレット分割モードの下で第1のパーティションおよび第2のパーティションを含む複数のパーティションに分割される、ステップと、
前記現在のブロックの少なくとも前記第1のパーティションおよび前記第2のパーティションを識別するステップと、
前記第1のパーティションを前記IntraBCモードで予測するための第1のブロックベクトルおよび前記第2のパーティションを前記IntraBCモードで予測するための第2のブロックベクトルをそれぞれ決定するステップと、
少なくとも前記第1のブロックベクトルおよび前記第2のブロックベクトルに基づいて前記現在のブロックをデコーディングするステップとを含む、方法。

【請求項2】

前記ビデオビットストリームから、前記現在のブロックが前記ウェッジレット分割モードの下で分割されると決定するステップは、
前記ビデオビットストリームから、前記現在のブロックの前記ウェッジレット分割モードを示すための第1のインジケータを抽出するステップと、
ウェッジレット分割モードを示すための前記第1のインジケータに基づいて前記現在のブロックが前記ウェッジレット分割モードの下で分割されると決定するステップとを含む、請求項1に記載の方法。

【請求項3】

前記方法は、前記ビデオビットストリームから、前記現在のブロックと関連付けられた、前記ウェッジレット分割モードのパターンを示す第2のインジケータを抽出するステップをさらに含み、
前記現在のブロックの前記第1のパーティションおよび前記第2のパーティションを識別するステップは、前記第2のインジケータに基づいて前記第1のパーティションおよび前記第2のパーティションを識別するステップを含む、
請求項1に記載の方法。

【請求項4】

前記ウェッジレット分割モードの前記パターンは、
前記第1のパーティションおよび前記第2のパーティションが前記現在のブロックにおいて垂直境界によって分割される垂直分割パターン、または
前記第1のパーティションおよび前記第2のパーティションが水平境界によって分割される水平分割パターンのうちの1つを含む、請求項3に記載の方法。

【請求項5】

前記ビデオビットストリームから、前記第2のインジケータを抽出するステップは、
前記ビデオビットストリームからハイレベル構文を介して前記第2のインジケータを抽出するステップであって、前記ハイレベル構文は、
ビデオパラメータセット（VPS）構文、
ピクチャパラメータセット（PPS）構文、
シーケンスパラメータセット（SPS）構文、
適応パラメータセット（APS）構文、
スライスヘッダ、
ピクチャヘッダ、
フレームヘッダ、または
タイルヘッダ
のうちの少なくとも1つを含む、ステップを含む、請求項3に記載の方法。

【請求項6】

前記ビデオビットストリームから、前記第2のインジケータを抽出するステップは、前記ビデオビットストリームからブロックレベル信号を介して前記第2のインジケータを抽出するステップを含み、
前記ブロックレベル信号は、
コーディングツリーユニット（CTU）ヘッダ、
スーパーブロックヘッダ、または
コーディングブロックヘッダ
のうちの1つで送信され、
前記第2のインジケータは、
前記ブロックレベル信号が前記CTUヘッダで送信されていることに応答して前記現在のブロックを含むCTU、
前記ブロックレベル信号が前記スーパーブロックヘッダで送信されていることに応答して前記現在のブロックを含むスーパーブロック、または
前記ブロックレベル信号が前記コーディングブロックヘッダで送信されていることに応答して前記現在のブロックを含むコーディングブロック
のうちの1つに適用される、
請求項3に記載の方法。

【請求項7】

前記第1のブロックベクトルと前記第2のブロックベクトルとは異なる、請求項1に記載の方法。

【請求項8】

前記第2のパーティションを前記IntraBCモードで予測するための前記第2のブロックベクトルを決定するステップは、前記第1のブロックベクトルに基づいて前記第2のブロックベクトルを予測するステップを含む、請求項7に記載の方法。

【請求項9】

前記現在のブロックの近傍ブロックからのブロックベクトル、または履歴ブロックベクトルのうちの少なくとも1つに基づいて候補ブロックベクトルのリストを生成するステップであって、前記候補ブロックベクトルのリストは少なくとも1つの候補ブロックベクトルを含む、ステップと、
前記ビデオビットストリームから、前記候補ブロックベクトルのリスト内のターゲットブロックベクトルを示す第3のインジケータを抽出するステップと、
前記第3のインジケータに従って前記候補ブロックベクトルのリストから前記ターゲットブロックベクトルを選択するステップと、
前記ターゲットブロックベクトルに基づいて前記第1のブロックベクトルまたは前記第2のブロックベクトルの少なくとも1つを生成するステップと
をさらに含む、請求項1に記載の方法。

【請求項10】

前記ターゲットブロックベクトルに基づいて前記第1のブロックベクトルまたは前記第2のブロックベクトルの少なくとも1つを生成するステップは、
前記ビデオビットストリームから、前記第1のブロックベクトルと関連付けられたベクトル予測残差を抽出するステップと、
前記ターゲットブロックベクトルおよび前記ベクトル予測残差に基づいて前記第1のブロックベクトルを生成するステップとを含む、請求項9に記載の方法。

【請求項11】

前記ターゲットブロックベクトルに基づいて前記第1のブロックベクトルまたは前記第2のブロックベクトルの少なくとも1つを生成するステップは、前記ターゲットブロックベクトルから前記第2のブロックベクトルを導出するステップを含む、請求項9に記載の方法。

【請求項12】

前記ターゲットブロックベクトルから前記第2のブロックベクトルを導出するステップは、事前定義された変換を使用して前記ターゲットブロックベクトルから前記第2のブロックベクトルを導出するステップを含む、請求項11に記載の方法。

【請求項13】

前記第1のブロックベクトルは前記現在のブロックの現在のフレーム内のIntraBC予測ブロックを指し示し、前記IntraBC予測ブロックは、前記ビデオビットストリームのエンコーダによって、
前記ビデオフレーム内の第1の探索エリアを決定するステップであって、前記第1の探索エリアは前記IntraBC予測ブロックを見つけるための第1の候補エリアであり、前記第1の探索エリアは前記現在のブロックとの重複を有さず、ブロックのリストを含み、前記IntraBC予測ブロックは前記第1のパーティションに対してIntraBC予測を行うための予測ブロックである、ステップと、
第2の探索エリアを決定するステップであって、前記第2の探索エリアは前記IntraBC予測ブロックを見つけるための第2の候補エリアであり、前記第2の探索エリアは、（i）前記現在のブロックのサブブロック、および（ii）前記現在のブロックの近傍ブロックのうちの少なくとも1つを含む、ステップと、
探索エリアを横切らない前記第1のブロックベクトルによって指し示された前記IntraBC予測ブロックを識別するステップとによって決定される、請求項1に記載の方法。

【請求項14】

前記現在のブロックの左上ピクセルは（x0，y0）の座標位置を有し、
前記ブロックのリスト内の各ブロックの左上ピクセルは（x，y）の座標位置を有し、
yはy0未満であり、
xは［x0＋2（y0－y）－D］未満であり、
式中、x0、y0、x、およびyは非負の数であり、Dは、IntraBCモードに対して制限される直近の再構成ブロックの数である、
請求項13に記載の方法。

【請求項15】

ビデオデータを処理するための方法であって、前記方法は、
ビデオフレームの現在のブロックを含むビデオビットストリームを受信するステップであって、前記現在のブロックは、複合予測を使用してイントラブロックコピー（IntraBC）モードの下で予測される、ステップと、
前記現在のブロックは、ウェッジレット分割モードの下で少なくとも第1のパーティションと第2のパーティションとに分割されると決定するステップと、
前記第1のパーティションのための少なくとも2つの参照ブロックを決定するステップと、
前記少なくとも2つの参照ブロックの加重和に基づいて複合参照ブロックを決定するステップと、
前記複合参照ブロックに基づいて前記第1のパーティションを再構成するステップとを含む、方法。

【請求項16】

前記少なくとも2つの参照ブロックは、第1の参照ブロックおよび第2の参照ブロックを含み、
前記複合参照ブロックを決定するステップは、前記第1のパーティション内のサンプルごとに、
第1の重み付け予測サンプルを取得するために、第1の重み係数を使用して前記第1の参照ブロック内の対応する第1の予測サンプルに重み付けするステップと、
第2の重み付け予測サンプルを取得するために、第2の重み係数を使用して前記第2の参照ブロック内の対応する第2の予測サンプルに重み付けするステップであって、前記第1の重み係数と前記第2の重み係数との和は定数である、ステップと、
前記第1の重み付け予測サンプルと前記第2の重み付け予測サンプルとの和に基づいて前記複合参照ブロックを決定するステップとを含む、
請求項15に記載の方法。

【請求項17】

前記第1の重み係数は前記ビデオビットストリームで事前定義またはシグナリングされ、
前記第1の重み係数の値は、0、64、または正の整数のうちの1つを含む、
請求項16に記載の方法。

【請求項18】

前記第1の重み係数と前記第2の重み係数との和は64に等しい、請求項16に記載の方法。

【請求項19】

請求項1～14のいずれか一項に記載の方法を行うように構成された、デバイス。

【請求項20】

請求項15～18のいずれか一項に記載の方法を行うように構成された回路を備えるデバイス。

【国際調査報告】