特表 2023-554269 重複ブロック動き補償

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-27

(54)【発明の名称】重複ブロック動き補償

(51)【国際特許分類】

   H04N 19/105 20140101AFI20231220BHJP

   H04N 19/139 20140101ALI20231220BHJP

   H04N 19/176 20140101ALI20231220BHJP

   H04N 19/159 20140101ALI20231220BHJP

【ＦＩ】

H04N19/105

H04N19/139

H04N19/176

H04N19/159

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023534183

(86)(22)【出願日】2021-11-24

(85)【翻訳文提出日】2023-06-05

(86)【国際出願番号】 US2021072601

(87)【国際公開番号】W WO2022140724

(87)【国際公開日】2022-06-30

(31)【優先権主張番号】63/129,238

(32)【優先日】2020-12-22

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/534,325

(32)【優先日】2021-11-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】チャン、ヤオ－ジェン

(72)【発明者】

【氏名】リ、ジンヤー

(72)【発明者】

【氏名】セレジン、バディム

(72)【発明者】

【氏名】カルチェビチ、マルタ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MA19

5C159MA21

5C159MC11

5C159ME01

5C159NN11

5C159NN21

5C159RC12

5C159RC38

5C159TA25

5C159TB08

5C159TC12

5C159TC27

5C159TC42

5C159TD12

5C159UA02

5C159UA05

5C159UA22

(57)【要約】

重複ブロック動き補償（ＯＢＭＣ）のためのシステムおよび技法が提供される。方法は、ＯＢＭＣモードがビデオデータの現在のサブブロックのために有効にされると決定することと、現在のサブブロックに隣接する（１つまたは複数の）近隣サブブロックについて、第１の条件、第２の条件、および第３の条件が満たされるかどうかを決定することと、第１の条件が、現在のサブブロックを予測するためのすべての参照ピクチャリストが、近隣サブブロックを予測するために使用されることを備え、第２の条件が、同一の参照ピクチャが、現在のサブブロックと近隣サブブロックとに関連する動きベクトルを決定するために使用されることを備え、第３の条件が、現在のサブブロックの動きベクトルと近隣サブブロックの動きベクトルとの間の差分が、しきい値を超えないことを備え、ＯＢＭＣモードが有効にされ、第１の条件、第２の条件、および第３の条件が満たされると決定することに基づいて、現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することとを含むことができる。

【特許請求の範囲】

【請求項1】

ビデオデータを処理するための装置であって、
メモリと、
前記メモリに結合された１つまたは複数のプロセッサと
を備え、前記１つまたは複数のプロセッサは、
重複ブロック動き補償（ＯＢＭＣ）モードがビデオデータのブロックの現在のサブブロックのために有効にされると決定することと、
前記現在のサブブロックに隣接する少なくとも１つの近隣サブブロックについて、
第１の条件、第２の条件、および第３の条件が満たされるかどうかを決定することと、
前記第１の条件が、前記現在のサブブロックを予測するための１つまたは複数の参照ピクチャリストのすべてが、前記近隣サブブロックを予測するために使用されることを備え、
前記第２の条件が、同一の１つまたは複数の参照ピクチャが、前記現在のサブブロックと前記近隣サブブロックとに関連する動きベクトルを決定するために使用されることを備え、
前記第３の条件が、前記現在のサブブロックの水平動きベクトルと前記近隣サブブロックの水平動きベクトルとの間の第１の差分と、前記現在のサブブロックの垂直動きベクトルと前記近隣サブブロックの垂直動きベクトルとの間の第２の差分とが、動きベクトル差分しきい値を超えないことを備え、ここにおいて、前記動きベクトル差分しきい値が０よりも大きい、
前記ＯＢＭＣモードが前記現在のサブブロックのために有効にされると決定することと、前記第１の条件、前記第２の条件、および前記第３の条件が満たされると決定することとに基づいて、前記現在のサブブロックの動き補償のために前記近隣サブブロックの動き情報を使用しないことを決定することと
を行うように構成された、装置。

【請求項2】

前記１つまたは複数のプロセッサが、
前記現在のサブブロックのためにデコーダ側動きベクトル改良（ＤＭＶＲ）モード、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モード、またはアフィン動き補償予測モードを使用するという決定に基づいて、前記現在のサブブロックのためにサブブロック境界ＯＢＭＣモードを実施することを決定すること
を行うように構成された、請求項１に記載の装置。

【請求項3】

前記現在のサブブロックのために前記サブブロック境界ＯＢＭＣモードを実施するために、前記１つまたは複数のプロセッサが、
前記現在のサブブロックに関連する第１の予測と、前記現在のサブブロックの上ボーダーに隣接する第１のＯＢＭＣブロックに関連する第２の予測と、前記現在のサブブロックの左ボーダーに隣接する第２のＯＢＭＣブロックに関連する第３の予測と、前記現在のサブブロックの下ボーダーに隣接する第３のＯＢＭＣブロックに関連する第４の予測と、前記現在のサブブロックの右ボーダーに隣接する第４のＯＢＭＣブロックに関連する第５の予測とを決定することと、
第１の重みを前記第１の予測に適用し、第２の重みを前記第２の予測に適用し、第３の重みを前記第３の予測に適用し、第４の重みを前記第４の予測に適用し、第５の重みを前記第５の予測に適用したことの結果に基づいて、第６の予測を決定することと、
前記第６の予測に基づいて、前記現在のサブブロックに対応するブレンドされたサブブロックを生成することと
を行うように構成された、請求項２に記載の装置。

【請求項4】

前記第２の重み、前記第３の重み、前記第４の重み、および前記第５の重みの各々が、前記現在のサブブロックの対応するサブブロックからの１つまたは複数のサンプルに関連する１つまたは複数の重み値を備え、ここにおいて、前記現在のサブブロックのコーナーサンプルの重み値の和が、前記現在のサブブロックの他の境界サンプルの重み値の和よりも大きい、請求項３に記載の装置。

【請求項5】

前記現在のサブブロックの前記他の境界サンプルの重み値の前記和が、前記現在のサブブロックの非境界サンプルの重み値の和よりも大きい、請求項４に記載の装置。

【請求項6】

前記１つまたは複数のプロセッサが、
ビデオデータの追加のブロックのために局所照明補償（ＬＩＣ）モードを使用することを決定することと、
前記追加のブロックのために前記ＬＩＣモードを使用するという決定に基づいて、前記追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることと
を行うように構成された、請求項１に記載の装置。

【請求項7】

前記追加のブロックのための前記ＯＢＭＣモードに関連する情報のシグナリングをスキップするために、前記１つまたは複数のプロセッサが、
空の値をもつシンタックスフラグをシグナリングすること
を行うように構成され、前記シンタックスフラグが前記ＯＢＭＣモードに関連する、請求項６に記載の装置。

【請求項8】

前記１つまたは複数のプロセッサが、
空の値をもつシンタックスフラグを含む信号を受信すること
を行うように構成され、前記シンタックスフラグが、ビデオデータの追加のブロックのためのＯＢＭＣモードに関連する、請求項６に記載の装置。

【請求項9】

前記１つまたは複数のプロセッサが、
前記空の値をもつ前記シンタックスフラグに基づいて、前記追加のブロックのために前記ＯＢＭＣモードを使用しないことを決定すること
を行うように構成された、請求項８に記載の装置。

【請求項10】

前記追加のブロックのための前記ＯＢＭＣモードに関連する情報のシグナリングをスキップするために、前記１つまたは複数のプロセッサが、
前記追加のブロックのために前記ＬＩＣモードを使用するという前記決定に基づいて、前記追加のブロックのためにＯＢＭＣモードを使用しないまたは有効にしないことを決定することと、
前記追加のブロックのための前記ＯＢＭＣモードに関連する値をシグナリングすることをスキップすることと
を行うように構成された、請求項６に記載の装置。

【請求項11】

前記１つまたは複数のプロセッサは、
前記ＯＢＭＣモードが前記追加のブロックのために有効にされるかどうかを決定することと、
前記ＯＢＭＣモードが前記追加のブロックのために有効にされるかどうかを決定すること、および前記追加のブロックのために前記ＬＩＣモードを使用するという前記決定に基づいて、前記追加のブロックのための前記ＯＢＭＣモードに関連する情報をシグナリングすることをスキップすることを決定することと
を行うように構成された、請求項６に記載の装置。

【請求項12】

前記１つまたは複数のプロセッサが、
ビデオデータの前記ブロックの前記現在のサブブロックのためにコーディングユニット（ＣＵ）境界ＯＢＭＣモードを使用することを決定することと、
前記現在のサブブロックに関連する重みを、前記現在のサブブロックに関連するそれぞれの予測に適用したことの第１の結果と、１つまたは複数のそれぞれの重みを、前記現在のサブブロックに隣接する１つまたは複数のサブブロックに関連する１つまたは複数のそれぞれの予測に適用したことの第２の結果との和に基づいて、前記現在のサブブロックについての最終予測を決定することと
を行うように構成された、請求項１に記載の装置。

【請求項13】

前記現在のサブブロックの動き補償のために前記近隣サブブロックの動き情報を使用しないことを決定するために、前記１つまたは複数のプロセッサが、
前記現在のサブブロックの動き補償のための前記近隣サブブロックの動き情報の使用をスキップすること
を行うように構成された、請求項１に記載の装置。

【請求項14】

前記装置がデコーダを含む、請求項１に記載の装置。

【請求項15】

前記ビデオデータに関連する１つまたは複数の出力ピクチャを表示するように構成されたディスプレイをさらに備える、請求項１４に記載の装置。

【請求項16】

前記ＯＢＭＣモードがサブブロック境界ＯＢＭＣモードを備える、請求項１に記載の装置。

【請求項17】

前記装置がエンコーダを含む、請求項１に記載の装置。

【請求項18】

前記ビデオデータに関連するピクチャをキャプチャするように構成されたカメラをさらに備える、請求項１７に記載の装置。

【請求項19】

前記装置がモバイルデバイスである、請求項１に記載の装置。

【請求項20】

ビデオデータを処理するための方法であって、
重複ブロック動き補償（ＯＢＭＣ）モードがビデオデータのブロックの現在のサブブロックのために有効にされると決定することと、
前記現在のサブブロックに隣接する少なくとも１つの近隣サブブロックについて、第１の条件、第２の条件、および第３の条件が満たされるかどうかを決定することと、
前記第１の条件が、前記現在のサブブロックを予測するための１つまたは複数の参照ピクチャリストのすべてが、前記近隣サブブロックを予測するために使用されることを備え、
前記第２の条件が、同一の１つまたは複数の参照ピクチャが、前記現在のサブブロックと前記近隣サブブロックとに関連する動きベクトルを決定するために使用されることを備え、
前記第３の条件が、前記現在のサブブロックの水平動きベクトルと前記近隣サブブロックの水平動きベクトルとの間の第１の差分と、前記現在のサブブロックの垂直動きベクトルと前記近隣サブブロックの垂直動きベクトルとの間の第２の差分とが、動きベクトル差分しきい値を超えないことを備え、ここにおいて、前記動きベクトル差分しきい値が０よりも大きい、
前記現在のサブブロックのために前記ＯＢＭＣモードを使用することを決定することと、前記第１の条件、前記第２の条件、および前記第３の条件が満たされると決定することとに基づいて、前記現在のサブブロックの動き補償のために前記近隣サブブロックの動き情報を使用しないことを決定することと
を備える、方法。

【請求項21】

前記現在のサブブロックのためにデコーダ側動きベクトル改良（ＤＭＶＲ）モード、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モード、またはアフィン動き補償予測モードを使用するという決定に基づいて、前記現在のサブブロックのためにサブブロック境界ＯＢＭＣモードを実施することを決定すること
をさらに備える、請求項２０に記載の方法。

【請求項22】

前記現在のサブブロックのために前記サブブロック境界ＯＢＭＣモードを実施することが、
前記現在のサブブロックに関連する第１の予測と、前記現在のサブブロックの上ボーダーに隣接する第１のＯＢＭＣブロックに関連する第２の予測と、前記現在のサブブロックの左ボーダーに隣接する第２のＯＢＭＣブロックに関連する第３の予測と、前記現在のサブブロックの下ボーダーに隣接する第３のＯＢＭＣブロックに関連する第４の予測と、前記現在のサブブロックの右ボーダーに隣接する第４のＯＢＭＣブロックに関連する第５の予測とを決定することと、
第１の重みを前記第１の予測に適用し、第２の重みを前記第２の予測に適用し、第３の重みを前記第３の予測に適用し、第４の重みを前記第４の予測に適用し、第５の重みを前記第５の予測に適用したことの結果に基づいて、第６の予測を決定することと、
前記第６の予測に基づいて、前記現在のサブブロックに対応するブレンドされたサブブロックを生成することと
を備える、請求項２１に記載の方法。

【請求項23】

前記第２の重み、前記第３の重み、前記第４の重み、および前記第５の重みの各々が、前記現在のサブブロックの対応するサブブロックからの１つまたは複数のサンプルに関連する１つまたは複数の重み値を備え、ここにおいて、前記現在のサブブロックのコーナーサンプルの重み値の和が、前記現在のサブブロックの他の境界サンプルの重み値の和よりも大きい、請求項２２に記載の方法。

【請求項24】

前記現在のサブブロックの前記他の境界サンプルの重み値の前記和が、前記現在のサブブロックの非境界サンプルの重み値の和よりも大きい、請求項２３に記載の方法。

【請求項25】

ビデオデータの追加のブロックのために局所照明補償（ＬＩＣ）モードを使用することを決定することと、
前記追加のブロックのために前記ＬＩＣモードを使用するという決定に基づいて、前記追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることと
をさらに備える、請求項２０に記載の方法。

【請求項26】

前記追加のブロックのための前記ＯＢＭＣモードに関連する情報のシグナリングをスキップすることが、
空の値をもつシンタックスフラグをシグナリングすること
を備え、前記シンタックスフラグが前記ＯＢＭＣモードに関連する、請求項２５に記載の方法。

【請求項27】

空の値をもつシンタックスフラグを含む信号を受信すること
をさらに備え、前記シンタックスフラグが、ビデオデータの追加のブロックのためのＯＢＭＣモードに関連する、請求項２５に記載の方法。

【請求項28】

前記空の値をもつ前記シンタックスフラグに基づいて、前記追加のブロックのために前記ＯＢＭＣモードを使用しないことを決定すること
をさらに備える、請求項２７に記載の方法。

【請求項29】

前記追加のブロックのための前記ＯＢＭＣモードに関連する情報のシグナリングをスキップすることが、
前記追加のブロックのために前記ＬＩＣモードを使用するという前記決定に基づいて、前記追加のブロックのためにＯＢＭＣモードを使用しないまたは有効にしないことを決定することと、
前記追加のブロックのための前記ＯＢＭＣモードに関連する値をシグナリングすることをスキップすることと
を備える、請求項２５に記載の方法。

【請求項30】

前記ＯＢＭＣモードが前記追加のブロックのために有効にされるかどうかを決定することと、
前記ＯＢＭＣモードが前記追加のブロックのために有効にされるかどうかを決定すること、および前記追加のブロックのために前記ＬＩＣモードを使用するという前記決定に基づいて、前記追加のブロックのための前記ＯＢＭＣモードに関連する情報をシグナリングすることをスキップすることを決定することと
をさらに備える、請求項２５に記載の方法。

【請求項31】

ビデオデータの前記ブロックの前記現在のサブブロックのためにコーディングユニット（ＣＵ）境界ＯＢＭＣモードを使用することを決定することと、
前記現在のサブブロックに関連する重みを、前記現在のサブブロックに関連するそれぞれの予測に適用したことの第１の結果と、１つまたは複数のそれぞれの重みを、前記現在のサブブロックに隣接する１つまたは複数のサブブロックに関連する１つまたは複数のそれぞれの予測に適用したことの第２の結果との和に基づいて、前記現在のサブブロックについての最終予測を決定することと
をさらに備える、請求項２０に記載の方法。

【請求項32】

前記現在のサブブロックの動き補償のために前記近隣サブブロックの動き情報を使用しないことを決定することが、
前記現在のサブブロックの動き補償のための前記近隣サブブロックの動き情報の使用をスキップすること
を備える、請求項２０に記載の方法。

【請求項33】

前記ＯＢＭＣモードがサブブロック境界ＯＢＭＣモードを備える、請求項２０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本出願は、一般に、ビデオ符号化および復号（video encoding and decoding）に関する。たとえば、本開示の態様は、重複ブロック動き補償（overlapped block motion compensation）を実施するためのシステムおよび技法に関する。

【背景技術】

【0002】

[0002] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。そのようなデバイスは、ビデオデータ（video data）が消費のために処理および出力されることを可能にする。デジタルビデオデータは、消費者およびビデオプロバイダの需要を満たすための大量のデータを含む。たとえば、ビデオデータの消費者は、高い忠実度、解像度、フレームレートなどを伴う、最高の品質のビデオを望む。その結果、これらの需要を満たすために必要とされる大量のビデオデータは、ビデオデータを処理および記憶する通信ネットワークおよびデバイスに負担をかける。

【0003】

[0003] デジタルビデオデバイスは、ビデオデータを圧縮するためのビデオコーディング技法を実装することができる。ビデオコーディングは、１つまたは複数のビデオコーディング規格またはフォーマットに従って実施され得る。たとえば、ビデオコーディング規格またはフォーマットは、特に、汎用ビデオコーディング（ＶＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）、アドバンストビデオコーディング（ＡＶＣ）、ＭＰＥＧ２パート２コーディング（ＭＰＥＧはムービングピクチャエクスパーツグループを表す）、ならびにＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａによって開発されたＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）などのプロプライエタリビデオコーデック／フォーマットを含む。ビデオコーディングは、概してビデオ画像またはシーケンス中に存在する冗長を利用する予測方法（たとえば、インター予測、イントラ予測など）を利用する。ビデオコーディング技法の目標は、ビデオ品質に対する劣化を回避するかまたは最小限に抑えながら、より低いビットレートを使用する形式にビデオデータを圧縮することである。常に発展しつつあるビデオサービスが利用可能になるとともに、より良いコーディング効率をもつコーディング技法が必要とされる。

【発明の概要】

【0004】

[0004] 重複ブロック動き補償（ＯＢＭＣ：overlapped block motion compensation）を実施するためのシステム、方法、およびコンピュータ可読媒体が開示される。少なくとも１つの例によれば、ＯＢＭＣを実施するための方法が提供される。例示的な方法は、重複ブロック動き補償（ＯＢＭＣ）モード（mode）がビデオデータのブロック（block）の現在のサブブロック（current subblock）のために有効にされると決定することと、現在のサブブロックに隣接する少なくとも１つの近隣サブブロック（neighboring subblock）について、第１の条件（first condition）、第２の条件（second condition）、および第３の条件（third condition）が満たされるかどうかを決定することと、第１の条件が、現在のサブブロックを予測する（predict）ための１つまたは複数の参照ピクチャリスト（reference picture list）のすべてが、近隣サブブロックを予測するために使用されることを備え、第２の条件が、同一の１つまたは複数の参照ピクチャ（reference picture）が、現在のサブブロックと近隣サブブロックとに関連する動きベクトル（motion vector）を決定するために使用されることを備え、第３の条件が、現在のサブブロックの水平動きベクトル（horizontal motion vector）と近隣サブブロックの水平動きベクトルとの間の第１の差分（first difference）と、現在のサブブロックの垂直動きベクトル（vertical motion vector）と近隣サブブロックの垂直動きベクトルとの間の第２の差分（second difference）とが、動きベクトル差分しきい値（motion vector difference threshold）を超えないことを備え、ここにおいて、動きベクトル差分しきい値が０よりも大きい、現在のサブブロックのためにＯＢＭＣモードを使用することを決定することと、第１の条件、第２の条件、および第３の条件が満たされると決定することとに基づいて、現在のサブブロックの動き補償（motion compensation）のために近隣サブブロックの動き情報（motion information）を使用しないことを決定することとを含むことができる。

【0005】

[0005] 少なくとも１つの例によれば、ＯＢＭＣのための非一時的コンピュータ可読媒体が提供される。例示的な非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサ（processor）に、重複ブロック動き補償（ＯＢＭＣ）モードがビデオデータのブロックの現在のサブブロックのために有効にされると決定することと、現在のサブブロックに隣接する少なくとも１つの近隣サブブロックについて、第１の条件、第２の条件、および第３の条件が満たされるかどうかを決定することと、第１の条件が、現在のサブブロックを予測するための１つまたは複数の参照ピクチャリストのすべてが、近隣サブブロックを予測するために使用されることを備え、第２の条件が、同一の１つまたは複数の参照ピクチャが、現在のサブブロックと近隣サブブロックとに関連する動きベクトルを決定するために使用されることを備え、第３の条件が、現在のサブブロックの水平動きベクトルと近隣サブブロックの水平動きベクトルとの間の第１の差分と、現在のサブブロックの垂直動きベクトルと近隣サブブロックの垂直動きベクトルとの間の第２の差分とが、動きベクトル差分しきい値を超えないことを備え、ここにおいて、動きベクトル差分しきい値が０よりも大きい、現在のサブブロックのためにＯＢＭＣモードを使用することを決定することと、第１の条件、第２の条件、および第３の条件が満たされると決定することとに基づいて、現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することとを行わせる命令を含むことができる。

【0006】

[0006] 少なくとも１つの例によれば、ＯＢＭＣのための装置（apparatus）が提供される。例示的な装置は、メモリ（memory）と、メモリに結合された１つまたは複数のプロセッサとを含むことができ、１つまたは複数のプロセッサは、重複ブロック動き補償（ＯＢＭＣ）モードがビデオデータのブロックの現在のサブブロックのために有効にされると決定することと、現在のサブブロックに隣接する少なくとも１つの近隣サブブロックについて、第１の条件、第２の条件、および第３の条件が満たされるかどうかを決定することと、第１の条件が、現在のサブブロックを予測するための１つまたは複数の参照ピクチャリストのすべてが、近隣サブブロックを予測するために使用されることを備え、第２の条件が、同一の１つまたは複数の参照ピクチャが、現在のサブブロックと近隣サブブロックとに関連する動きベクトルを決定するために使用されることを備え、第３の条件が、現在のサブブロックの水平動きベクトルと近隣サブブロックの水平動きベクトルとの間の第１の差分と、現在のサブブロックの垂直動きベクトルと近隣サブブロックの垂直動きベクトルとの間の第２の差分とが、動きベクトル差分しきい値を超えないことを備え、ここにおいて、動きベクトル差分しきい値が０よりも大きい、現在のサブブロックのためにＯＢＭＣモードを使用することを決定することと、第１の条件、第２の条件、および第３の条件が満たされると決定することとに基づいて、現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することとを行うように構成される。

【0007】

[0007] 少なくとも１つの例によれば、ＯＢＭＣのための別の装置が提供される。例示的な装置は、重複ブロック動き補償（ＯＢＭＣ）モードがビデオデータのブロックの現在のサブブロックのために有効にされると決定することと、現在のサブブロックに隣接する少なくとも１つの近隣サブブロックについて、第１の条件、第２の条件、および第３の条件が満たされるかどうかを決定することと、第１の条件が、現在のサブブロックを予測するための１つまたは複数の参照ピクチャリストのすべてが、近隣サブブロックを予測するために使用されることを備え、第２の条件が、同一の１つまたは複数の参照ピクチャが、現在のサブブロックと近隣サブブロックとに関連する動きベクトルを決定するために使用されることを備え、第３の条件が、現在のサブブロックの水平動きベクトルと近隣サブブロックの水平動きベクトルとの間の第１の差分と、現在のサブブロックの垂直動きベクトルと近隣サブブロックの垂直動きベクトルとの間の第２の差分とが、動きベクトル差分しきい値を超えないことを備え、ここにおいて、動きベクトル差分しきい値が０よりも大きい、現在のサブブロックのためにＯＢＭＣモードを使用することを決定することと、第１の条件、第２の条件、および第３の条件が満たされると決定することとに基づいて、現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することとを行うための手段を含むことができる。

【0008】

[0008] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、現在のサブブロックのためにデコーダ側動きベクトル改良（ＤＭＶＲ：decoder side motion vector refinement）モード、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ：subblock-based temporal motion vector prediction）モード、またはアフィン動き補償予測モード（affine motion compensation prediction mode）を使用するという決定に基づいて、現在のサブブロックのためにサブブロック境界ＯＢＭＣモード（subblock-boundary OBMC mode）を実施することを決定することを含むことができる。

【0009】

[0009] いくつかの場合には、現在のサブブロックのためにサブブロック境界ＯＢＭＣモードを実施することは、現在のサブブロックに関連する第１の予測（first prediction）と、現在のサブブロックの上ボーダー（top border）に隣接する第１のＯＢＭＣブロック（first OBMC block）に関連する第２の予測（second prediction）と、現在のサブブロックの左ボーダー（left border）に隣接する第２のＯＢＭＣブロック（second OBMC block）に関連する第３の予測（third prediction）と、現在のサブブロックの下ボーダー（bottom border）に隣接する第３のＯＢＭＣブロック（third OBMC block）に関連する第４の予測（fourth prediction）と、現在のサブブロックの右ボーダー（right border）に隣接する第４のＯＢＭＣブロック（fourth OBMC block）に関連する第５の予測（fifth prediction）とを決定することと、第１の重み（first weight）を第１の予測に適用し、第２の重み（second weight）を第２の予測に適用し、第３の重み（third weight）を第３の予測に適用し、第４の重み（fourth weight）を第４の予測に適用し、第５の重み（fifth weight）を第５の予測に適用したことの結果（result）に基づいて、第６の予測（sixth prediction）を決定することと、第６の予測に基づいて、現在のサブブロックに対応するブレンドされたサブブロック（blended subblock）を生成する（generate）こととを含むことができる。

【0010】

[0010] いくつかの例では、第２の重み、第３の重み、第４の重み、および第５の重みの各々は、現在のサブブロックの対応するサブブロックからの１つまたは複数のサンプルに関連する１つまたは複数の重み値（weight value）を含むことができる。いくつかの場合には、現在のサブブロックのコーナーサンプル（corner sample）の重み値の和（sum）が、現在のサブブロックの他の境界サンプル（other boundary sample）の重み値の和よりも大きい。いくつかの例では、現在のサブブロックの他の境界サンプルの重み値の和は、現在のサブブロックの非境界サンプル（non-boundary sample）の重み値の和よりも大きい。

【0011】

[0011] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、ビデオデータの追加のブロック（additional block）のために局所照明補償（ＬＩＣ：local illumination compensation）モードを使用することを決定することと、追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためのＯＢＭＣモードに関連する情報（information）のシグナリング（signaling）をスキップする（skip）こととを含むことができる。

【0012】

[0012] いくつかの場合には、追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることは、空の値（empty value）をもつシンタックスフラグ（syntax flag）をシグナリングすることを含むことができ、シンタックスフラグはＯＢＭＣモードに関連する。

【0013】

[0013] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、空の値をもつシンタックスフラグを含む信号（signal）を受信することを含むことができ、シンタックスフラグは、ビデオデータの追加のブロックのためのＯＢＭＣモードに関連する。いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、空の値をもつシンタックスフラグに基づいて、追加のブロックのためにＯＢＭＣモードを使用しないことを決定することを含むことができる。

【0014】

[0014] いくつかの例では、追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることは、追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためにＯＢＭＣモードを使用しないまたは有効にしないことを決定することと、追加のブロックのためのＯＢＭＣモードに関連する値をシグナリングすることをスキップすることとを含むことができる。

【0015】

[0015] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、ＯＢＭＣモードが追加のブロックのために有効にされるかどうかを決定することと、ＯＢＭＣモードが追加のブロックのために有効にされるかどうかを決定すること、および追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためのＯＢＭＣモードに関連する情報をシグナリングすることをスキップすることを決定することとを含むことができる。

【0016】

[0016] いくつかの態様では、上記で説明された方法、非一時的コンピュータ可読媒体、および装置は、ビデオデータのブロックの現在のサブブロックのためにコーディングユニット（ＣＵ）境界ＯＢＭＣモード（coding unit (CU)-boundary OBMC mode）を使用することを決定することと、現在のサブブロックに関連する重みを、現在のサブブロックに関連するそれぞれの予測（respective prediction）に適用したことの第１の結果（first result）と、１つまたは複数のそれぞれの重みを、現在のサブブロックに隣接する１つまたは複数のサブブロックに関連する１つまたは複数のそれぞれの予測に適用したことの第２の結果（second result）との和に基づいて、現在のサブブロックについての最終予測（final prediction）を決定することとを含むことができる。

【0017】

[0017] いくつかの例では、現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することは、現在のサブブロックの動き補償のための近隣サブブロックの動き情報の使用（use）をスキップすることを含むことができる。

【0018】

[0018] いくつかの例では、ＯＢＭＣモードは、サブブロック境界ＯＢＭＣモードを含むことができる。

【0019】

[0019] いくつかの態様では、上記で説明された装置のうちの１つまたは複数は、モバイルデバイス（mobile device）、カメラデバイス、エンコーダ（encoder）、デコーダ（decoder）、モノのインターネット（ＩｏＴ）デバイス、および／またはエクステンデッドリアリティ（ＸＲ）デバイス（たとえば、仮想現実（ＶＲ）デバイス、拡張現実（ＡＲ）デバイス、または複合現実（ＭＲ）デバイス）の一部であるか、それらの一部であり得るか、またはそれらを含むことができる。いくつかの態様では、装置はカメラデバイスを含む。いくつかの例では、装置は、車両、モバイルデバイス（たとえば、携帯電話またはいわゆる「スマートフォン」または他のモバイルデバイス）、ウェアラブルデバイス、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバコンピュータ、ロボティクスデバイスまたはシステム、航空システム、あるいは他のデバイスを含むか、またはそれらの一部であり得る。いくつかの態様では、装置は、１つまたは複数の画像をキャプチャする（capture）ための画像センサー（たとえば、カメラ（camera））または複数の画像センサー（たとえば、複数のカメラ）を含む。いくつかの態様では、装置は、１つまたは複数の画像、通知、および／または他の表示可能なデータを表示するための１つまたは複数のディスプレイ（display）を含む。いくつかの態様では、装置は、１つまたは複数のスピーカー、１つまたは複数の発光デバイス、および／または１つまたは複数のマイクロフォンを含む。いくつかの態様では、上記で説明された装置は、１つまたは複数のセンサーを含むことができる。

【0020】

[0020] 本概要は、特許請求される主題の重要な特徴または必須の特徴を識別するようには意図されておらず、特許請求される主題の範囲を決定するために別個に使用されるようにも意図されていない。主題は、本特許の明細書全体、いずれかまたはすべての図面、および各請求項の適切な部分を参照することによって理解されたい。

【0021】

[0021] 前述の内容は、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付の図面を参照すれば、より明らかになるであろう。

【0022】

[0022] 本開示の様々な利点および特徴が取得され得る方式について説明するために、上記で説明された原則のより詳細な説明が、添付の図面に示されるそれらの特定の実施形態を参照して表現されることになる。これらの図面が、本開示の例示的な実施形態を示すにすぎず、それの範囲を限定するものと見なされるべきではないことを理解して、本明細書の原理が、図面の使用によって追加の特異性および詳細とともに説明および解説される。

【図面の簡単な説明】

【0023】

【図1】[0023] 本開示のいくつかの例による、符号化デバイスおよび復号デバイスの一例を示すブロック図。

【図2A】[0024] 本開示のいくつかの例による、マージモードのための例示的な空間近隣動きベクトル候補を示す概念図。

【図2B】[0025] 本開示のいくつかの例による、高度動きベクトル予測（ＡＭＶＰ：advanced motion vector prediction）モードのための例示的な空間近隣動きベクトル候補を示す概念図。

【図3A】[0026] 本開示のいくつかの例による、例示的な時間動きベクトル予測子（ＴＭＶＰ）候補を示す概念図。

【図3B】[0027] 本開示のいくつかの例による、動きベクトルスケーリングの一例を示す概念図。

【図4A】[0028] 本開示のいくつかの例による、現在のコーディングユニットのための動き補償パラメータを推定するために使用される現在のコーディングユニットの近隣サンプルの一例を示す概念図。

【図4B】[0029] 本開示のいくつかの例による、現在のコーディングユニットのための動き補償パラメータを推定するために使用される参照ブロックの近隣サンプルの一例を示す概念図。

【図5】[0030] 本開示のいくつかの例による、コーディングユニット境界重複ブロック動き補償（ＯＢＭＣ）モードのためのＯＢＭＣブレンディングの一例を示す図。

【図6】[0031] 本開示のいくつかの例による、サブブロック境界重複ブロック動き補償（ＯＢＭＣ）モードのためのＯＢＭＣブレンディングの一例を示す図。

【図7】[0032] 本開示のいくつかの例による、重複ブロック動き補償のために使用される重複ブロック動き補償サブブロックからの重み付けファクタ（weighting factor）の和の例を示す表。

【図8】本開示のいくつかの例による、重複ブロック動き補償のために使用される重複ブロック動き補償サブブロックからの重み付けファクタの和の例を示す表。

【図9】[0033] 本開示のいくつかの例による、ビデオデータのブロック中のサブブロックをもつ例示的なコーディングユニットを示す図。

【図10】[0034] 本開示のいくつかの例による、重複ブロック動き補償を実施するための例示的なプロセスを示すフローチャート。

【図11】[0035] 本開示のいくつかの例による、重複ブロック動き補償を実施するための別の例示的なプロセスを示すフローチャート。

【図12】[0036] 本開示のいくつかの例による、例示的なビデオ符号化デバイスを示すブロック図。

【図13】[0037] 本開示のいくつかの例による、例示的なビデオ復号デバイスを示すブロック図。

【発明を実施するための形態】

【0024】

[0038] 本開示のいくつかの態様および実施形態が以下で提供される。当業者に明らかであるように、これらの態様および実施形態のうちのいくつかは独立して適用され得、それらのうちのいくつかは組み合わせて適用され得る。以下の説明では、説明の目的で、本出願の実施形態の完全な理解を提供するために具体的な詳細が記載される。ただし、様々な実施形態は、これらの具体的な詳細なしに実施され得ることが明らかであろう。図および説明は限定するものではない。

【0025】

[0039] 以下の説明は、例示的な実施形態を提供するにすぎず、本開示の範囲、適用可能性、または構成を限定するものではない。そうではなく、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に提供する。添付の特許請求の範囲に記載されるように、本出願の範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることを理解されたい。

【0026】

[0040] ビデオコーディングにおいて使用されるビデオ圧縮技法は、ビデオシーケンスに固有の冗長を低減または除去するために、空間予測（たとえば、イントラフレーム予測またはイントラ予測）、時間予測（たとえば、インターフレーム予測またはインター予測）、（ビデオデータの異なるレイヤにわたる）レイヤ間予測、および／または他の予測技法を含む、異なる予測モードを適用することを含むことができる。ビデオエンコーダは、元のビデオシーケンスの各ピクチャを（以下でより詳細に説明される）ビデオブロックまたはコーディングユニットと呼ばれる矩形領域に区分することができる。これらのビデオブロックは、特定の予測モードを使用して符号化され得る。

【0027】

[0041] 動き補償は、概して、ビデオ圧縮のためのビデオデータのコーディングにおいて使用される。いくつかの例では、動き補償は、カメラの、および／またはビデオ中の要素（たとえば、オブジェクトなど）の動きを考慮することによって、ビデオの前のおよび／または将来のフレームに基づいてビデオ中のフレームを予測するために使用されるアルゴリズム技法を含み、および／または実装することができる。動き補償は、現在のピクチャへの参照ピクチャの変換に関してピクチャ（picture）について説明することができる。参照ピクチャは、時間的に前である、さらには将来からのものである、ピクチャであり得る。いくつかの例では、動き補償は、画像が、前に送信および／または記憶された画像から正確に合成されることを可能にすることによって、圧縮効率を改善することができる。

【0028】

[0042] 動き補償技術の一例は、動き補償離散コサイン変換（ＭＣ ＤＣＴ：motion-compensated discrete cosine transform）とも呼ばれるブロック動き補償（ＢＭＣ：block motion compensation）を含み、ここで、フレームは、ピクセルの重複しないブロックに区分され、各ブロックは、１つまたは複数の参照フレーム中の１つまたは複数のブロックから予測される。ＢＭＣでは、ブロックは、予測されたブロックの位置にシフトされる。そのようなシフトは、動きベクトル（ＭＶ：motion vector）または動き補償ベクトル（motion compensation vector）によって表される。近隣ブロックベクトル間の冗長を活用するために、ＢＭＣは、ビデオビットストリーム中の現在の動きベクトルと前の動きベクトルとの間の差分のみを符号化するために使用され得る。いくつかの場合には、ＢＭＣは、ブロック境界における不連続性（たとえば、ブロッキングアーティファクト）を導入し得る。そのようなアーティファクトは、概して人間の眼によって知覚可能である鋭い水平および垂直エッジの形態で現れ、残差フレームの変換コーディングのために使用されるフーリエ関係変換の係数の量子化による偽エッジおよびリンギング効果（たとえば、高周波サブバンドにおける大きい係数）をもたらすことがある。

【0029】

[0043] 概して、ＢＭＣでは、現在の再構築されたブロックが、（たとえば、動きベクトルによって参照される）前のフレームからの予測されたブロックと、現在ブロックのためのビットストリーム中で送信された残差データとから構成される。動き補償技術の別の例は、重複ブロック動き補償（ＯＢＭＣ）を含む。ＯＢＭＣは、予測正確さを増加させ、ブロッキングアーティファクトを回避することができる。ＯＢＭＣでは、予測は、複数の予測の重み付き和であり得るか、またはそれを含むことができる。いくつかの場合には、ブロックは、各次元において、より大きくなり得、近隣ブロックと重複することがある。そのような場合、各ピクセルは、複数のブロックに属し得る。たとえば、いくつかの例示的な例では、各ピクセルは、４つの異なるブロックに属し得る。そのような方式では、ＯＢＭＣは、各ピクセルについて４つの予測を実装し得、それらは、重み付き平均を算出するために合計される。

【0030】

[0044] いくつかの場合には、ＯＢＭＣは、ＣＵレベルにおける特定のシンタックス（たとえば、１つまたは複数の特定のシンタックス要素）を使用してオンおよびオフに切り替えられ得る。いくつかの例では、ＣＵ境界ＯＢＭＣモードとサブブロック境界ＯＢＭＣモードとを含む、ＯＢＭＣにおける２つの方向モード（たとえば、上、左、右、下、または下側）がある。ＣＵ境界ＯＢＭＣモードが使用されるとき、現在のＣＵ ＭＶを使用する元の予測ブロック（prediction block）と、近隣ＣＵ ＭＶを使用する別の予測ブロック（たとえば、「ＯＢＭＣブロック」）とがブレンドされる。いくつかの例では、ＣＵ中の左上サブブロック（たとえば、ＣＵの第１の／上行上の第１のまたは最左サブブロック）は、上および左ＯＢＭＣブロックを有し、他の最上サブブロック（たとえば、ＣＵの第１の／上行上の他のサブブロック）は、上ＯＢＭＣブロックのみを有し得る。他の最左サブブロック（たとえば、ＣＵの左側のＣＵの第１の列上のサブブロック）は、左ＯＢＭＣブロックのみを有し得る。

【0031】

[0045] サブブロック境界ＯＢＭＣモードは、サブＣＵコーディングツールが現在のＣＵにおいて有効にされるとき、有効にされ得る（たとえば、アフィン動き補償予測、高度時間動きベクトル予測（ＡＴＭＶＰ）など）。サブブロック境界モードでは、接続された近隣サブブロックのＭＶを使用する別個のＯＢＭＣブロックが、現在のサブブロックのＭＶを使用する元の予測ブロックと連続的にブレンドされ得る。いくつかの場合には、ＣＵ境界ＯＢＭＣモードは、サブブロック境界ＯＢＭＣモードの前に実施され得、サブブロック境界ＯＢＭＣモードのためのあらかじめ定義されたブレンディング順序は、上と、左と、下と、右とを含み得る。

【0032】

[0046] 近隣サブブロックＮ（たとえば、現在のサブブロックの上側の、現在のサブブロックの左の、現在のサブブロックの下側の、および現在のサブブロックの右のサブブロック）のＭＶに基づく予測が、Ｐ_Nとして示され得る。現在のサブブロックのＭＶに基づく予測が、Ｐ_Cとして示され得る。サブブロックＮが、現在のサブブロックと同じ動き情報を含んでいるとき、元の予測ブロックは、サブブロックＮのＭＶに基づく予測ブロックとブレンドされないことがある。いくつかの場合には、Ｐ_N中の４つの行／列のサンプルが、Ｐ_C中の同じサンプルとブレンドされ得る。いくつかの例では、Ｐ_Nのために、重み付けファクタ１／４、１／８、１／１６、１／３２が使用され得、Ｐ_Cのために、対応する重み付けファクタ３／４、７／８、１５／１６、３１／３２が使用され得る。いくつかの場合には、コーディングブロックの高さまたは幅が４に等しいか、またはＣＵがサブＣＵモードでコーディングされる場合、Ｐ_N中の２つの行および／または列のみが、ＯＢＭＣブレンディングを可能にされ得る。

【0033】

[0047] 改善されたビデオコーディングを実施するための（以下で「システムおよび技法」と総称される）システム、装置、方法、およびコンピュータ可読媒体が、本明細書で説明される。いくつかの態様では、本明細書で説明されるシステムおよび技法は、重複ブロック動き補償（ＯＢＭＣ）を実施するために使用され得る。たとえば、局所照明補償（ＬＩＣ）は、スケーリングファクタとオフセットとを使用する線形モデルを伴って参照ブロックに基づいて現在の予測ブロックの照明を変更するためのコーディングツールである。いくつかの態様では、ＯＢＭＣとＬＩＣは両方とも予測を調整するので、本明細書で説明されるシステムおよび技法は、ＬＩＣが有効にされるとき、ＯＢＭＣを無効にすることができるか、または、ＯＢＭＣが有効にされるとき、ＬＩＣを無効にすることができる。代替的に、いくつかの態様では、本明細書で説明されるシステムおよび技法は、ＬＩＣが有効にされるとき、ＯＢＭＣシグナリングをスキップするか、または、ＯＢＭＣが有効にされるとき、ＬＩＣシグナリングをスキップすることができる。

【0034】

[0048] いくつかの態様では、本明細書で説明されるシステムおよび技法は、たとえば、高度動きベクトル予測（ＡＭＶＰ）モード、スキップおよびマージモードなど、インター予測モード、ならびにイントラモードを改善するために、マルチ仮説予測（ＭＨＰ）を実装することができる。いくつかの例では、本明細書で説明されるシステムおよび技法は、予測モードを余剰マージインデックス付き予測（extra merge indexed prediction）と組み合わせることができる。マージインデックス付き予測は、マージモードの場合のように実施され得、ここで、動き補償予測のための動き情報を収集するために、マージインデックスがシグナリングされる。ＯＢＭＣおよびＭＨＰは、概して、予測のための異なる参照ピクチャへのアクセスを必要とするので、デコーダは、処理のために大きいバッファを利用し得る。メモリバッファを低減するために、本明細書で説明されるシステムおよび技法は、ＭＨＰが有効にされるとき、ＯＢＭＣを無効にするか、または、ＯＢＭＣが有効にされるとき、ＭＨＰを無効にすることができる。他の例では、本明細書で説明されるシステムおよび技法は、代わりに、ＭＨＰが有効にされるとき、ＯＢＭＣシグナリングをスキップするか、または、ＯＢＭＣが有効にされるとき、ＭＨＰシグナリングをスキップし得る。いくつかの場合には、本明細書で説明されるシステムおよび技法は、ＭＨＰとＯＢＭＣとが、現在のスライスがインターＢスライスであるとき、同時に有効にされることを可能にし得る。

【0035】

[0049] ＶＶＣなど、いくつかのビデオコーディング規格では、インター予測のために、幾何学的区分モード（ＧＥＯ）がサポートされる。このモードが使用されるとき、ＣＵは、幾何学的に位置するラインによって２つの部分にスプリットされ得る。スプリットするラインのロケーションは、特定の区分の角度およびオフセットパラメータから数学的に導出され得る。ＯＢＭＣおよびＧＥＯは、概して、予測のために異なる参照ピクチャにアクセスする必要があるので、デコーダは、処理のために大きいバッファを利用し得る。いくつかの場合には、メモリバッファを低減するために、本明細書で説明されるシステムおよび技法は、ＧＥＯが有効にされるとき、ＯＢＭＣを無効にするか、ＯＢＭＣが有効にされるとき、ＧＥＯを無効にするか、ＧＥＯが有効にされるとき、ＯＢＭＣシグナリングをスキップするか、または、ＯＢＭＣが有効にされるとき、ＧＥＯシグナリングをスキップすることができる。いくつかの場合には、ＧＥＯとＯＢＭＣとは、現在のスライスがインターＢスライスであるとき、同時に有効にされることを可能にされ得る。

【0036】

[0050] ＶＶＣなど、いくつかのビデオコーディング規格では、インター予測のために、アフィン動き補償予測、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）、およびデコーダ側動きベクトル改良（ＤＭＶＲ）がサポートされ得る。これらのコーディングツールは、ＣＵ中のサブブロックのための異なるＭＶを生成する。ＳｂＴＭＶＰモードは、アフィンマージ候補のうちの１つであり得る。したがって、いくつかの例では、本明細書で説明されるシステムおよび技法は、サブブロック境界ＯＢＭＣモードが、現在のＣＵがアフィン動き補償予測モードを使用するとき、現在のＣＵがＳｂＴＭＶＰを有効にするとき、または現在のＣＵがＤＭＶＲを有効にするとき、有効にされることを可能にすることができる。いくつかの場合には、本明細書で説明されるシステムおよび技法は、サブブロック境界ＯＢＭＣモードが、現在のＣＵがＤＭＶＲを有効にするとき、有効にされると推論することができる。

【0037】

[0051] いくつかの場合には、ＣＵ境界ＯＢＭＣモードおよび／またはサブブロック境界ＯＢＭＣモードは、異なる重み付けファクタを適用することができる。他の場合には、ＣＵ境界ＯＢＭＣモードとサブブロック境界ＯＢＭＣモードとは、同じ重み付けファクタを共有することができる。たとえば、ＪＥＭでは、ＣＵ境界ＯＢＭＣモードとサブブロック境界ＯＢＭＣモードとは、以下のように同じ重み付けファクタを共有することができ、すなわち、ブレンディングのための最終予測が、Ｐ＝Ｗ_C＊Ｐ_C＋Ｗ_N＊Ｐ_Nとして示され得、ここで、Ｐ_Nは、近隣サブブロックＮ（たとえば、上側、左、下側、右のサブブロック）のＭＶに基づく予測を表し、Ｐ_Cは、現在のサブブロックのＭＶに基づく予測であり、ＣＵ境界ＯＢＭＣモードとサブブロック境界ＯＢＭＣモードとは、Ｗ_CおよびＷ_Nの同じ値を使用する。重み付けファクタＷ_Nは、それぞれ、近隣サブブロックＮに１番目に、２番目に、３番目に、４番目に最も近い現在のサブブロックのサンプル行／列について、１／４、１／８、１／１６、１／３２として設定され得る。サブブロックは、４×４のサイズを有し得る。第１の要素１／４は、近隣サブブロックＮに最も近いサンプル行または列についてのものであり、最後の要素１／３２は、近隣サブブロックＮまで最も遠いサンプル行または列についてのものである。現在のサブブロックの重みＷ_Cは、１－Ｗ_N（近隣サブブロックの重み）に等しいことがある。サブＣＵモードのためのＣＵ中のサブブロックは、近隣ブロックへのより多くの接続を有し得るので、サブブロック境界ＯＢＭＣモードのための重み付けファクタは、ＣＵ境界ＯＢＭＣモードのためのものとは異なり得る。したがって、本明細書で説明されるシステムおよび技法は、異なる重み付けファクタを提供することができる。

【0038】

[0052] いくつかの例では、重み付けファクタは、以下の通りであり得る。ＣＵ境界ＯＢＭＣモードでは、Ｗ_Nは、｛ａ１、ｂ１、ｃ１、ｄ１｝として設定され得る。他の場合、Ｗ_Nは、｛ａ２、ｂ２、ｃ２、ｄ２｝として設定され得、ここで、｛ａ１、ｂ１、ｃ１、ｄ１｝は、｛ａ２、ｂ２、ｃ２、ｄ２｝とは異なる。例では、ａ２はａ１よりも小さくなり得、ｂ２はｂ１よりも小さくなり得、ｃ２はｃ１よりも小さくなり得、および／またはｄ２はｄ１よりも小さくなり得る。

【0039】

[0053] ＪＥＭでは、サブブロック境界ＯＢＭＣモードのためのあらかじめ定義されたブレンディング順序は、上、左、下側、および右である。いくつかの場合には、この順序は、算出複雑さを増加させ、性能を減少させ、等しくない重み付けを生じ、および／または不整合をもたらすことがある。いくつかの例では、この連続順序は、連続算出が並列ハードウェア設計にとって使いやすくないので、問題をもたらすことがある。いくつかの場合には、これは、等しくない重み付けを生じることがある。たとえば、ブレンディングプロセス中に、後のサブブロックブレンディングにおける近隣サブブロックのＯＢＭＣブロックが、以前のサブブロックブレンディングにおいてよりも多く、最終サンプル予測値に寄与し得る。本明細書で説明されるシステムおよび技法は、１つの式において、４つのＯＢＭＣサブブロックをもつ現在のサブブロックの予測値をブレンドし、特定の近隣サブブロックを選好することなしに重み付けファクタを固定することができる。たとえば、最終予測は、Ｐ＝ｗ１＊Ｐ_c＋ｗ２＊Ｐ_top＋ｗ３＊Ｐ_left＋ｗ４＊Ｐ_below＋ｗ５＊Ｐ_rightであり得、ここで、Ｐ_topは、上近隣サブブロックのＭＶに基づく予測であり、Ｐ_leftは、左近隣サブブロックのＭＶに基づく予測であり、Ｐ_belowは、下側近隣サブブロックのＭＶに基づく予測であり、Ｐ_rightは、右近隣サブブロックのＭＶに基づく予測であり、ｗ１、ｗ２、ｗ３、ｗ４、およびｗ５は、重み付けファクタである。いくつかの場合には、重みｗ１は、１－ｗ２－ｗ３－ｗ４－ｗ５に等しいことがある。近隣サブブロックＮのＭＶに基づく予測は、サブブロックＮまで最も遠い行／列中のサンプルにノイズを追加し／含め／導入し得るので、本明細書で説明されるシステムおよび技法は、それぞれ、近隣サブブロックＮに｛１番目に、２番目に、３番目に、４番目に｝最も近い現在のサブブロックのサンプル行／列について、重みｗ２、ｗ３、ｗ４、およびｗ５の各々についての値を｛ａ、ｂ、ｃ、０｝に設定することができる。たとえば、第１の要素ａは、近隣サブブロックＮに最も近い、たとえば、それに隣接する現在のサブブロックのサンプル行または列についてのものであり得、最後の要素０は、近隣サブブロックＮまで最も遠い現在のサブブロックのサンプル行または列についてのものであり得る。例示のために、４×４サンプルのサイズを有する現在のサブブロックの左上サンプルに対する位置（０，０）、（０，１）、および（１，１）を例として使用すると、最終予測Ｐ（ｘ，ｙ）は、以下のように導出され得る。

【0040】

【数1】

【0041】

[0054] ４×４の現在のサブブロックについての近隣ＯＢＭＣサブブロックからの重み付けファクタの和（たとえば、ｗ２＋ｗ３＋ｗ４＋ｗ５）の一例は、以下の表１に示されているようなものであり得る。いくつかの場合には、重み付けファクタは、除算演算を回避するために左シフトされ得る。たとえば、｛ａ’、ｂ’、ｃ’、０｝は、｛ａ＜＜ｓｈｉｆｔ、ｂ＜＜ｓｈｉｆｔ、ｃ＜＜ｓｈｉｆｔ、０｝であるように設定され得、ここで、ｓｈｉｆｔは正の整数である。この例では、重みｗ１は、（１＜＜ｓｈｉｆｔ）－ａ’－ｂ’－ｃ’に等しいことがあり、Ｐは、（ｗ１＊Ｐ_c＋ｗ２＊Ｐ_top＋ｗ３＊Ｐ_left＋ｗ４＊Ｐ_below＋ｗ５＊Ｐ_right＋（１＜＜（ｓｈｉｆｔ－１）））＞＞ｓｈｉｆｔに等しいことがある。｛ａ’、ｂ’、ｃ’、０｝を設定するための一例は、｛１５、８、３、０｝であり、ここで、それらの値は、元の値の６左シフトされた結果であり、ｗ１は、（１＜＜６）－ａ－ｂ－ｃに等しい。Ｐ＝（ｗ１＊Ｐ_c＋ｗ２＊Ｐ_top＋ｗ３＊Ｐ_left＋ｗ４＊Ｐ_below＋ｗ５＊Ｐ_right＋（１＜＜５））＞＞６。

【0042】

【表1】

【0043】

[0055] いくつかの態様では、ｗ２、ｗ３、ｗ４、およびｗ５の値は、それぞれ、近隣サブブロックＮに｛１番目に、２番目に、３番目に、４番目に｝最も近い現在のサブブロックのサンプル行／列について、｛ａ、ｂ、０、０｝に設定され得る。例示のために、４×４サンプルのサイズを有する現在のサブブロックの左上サンプルに対する位置（０，０）、（０，１）、および（１，１）を例として使用すると、最終予測Ｐ（ｘ，ｙ）は、以下のように導出され得る。

【0044】

【数2】

【0045】

[0056] ４×４の現在のサブブロックについての近隣ＯＢＭＣサブブロックからの重み付けファクタの例示的な和（たとえば、ｗ２＋ｗ３＋ｗ４＋ｗ５）が、以下の表２に示されている。

【0046】

【表2】

【0047】

[0057] いくつかの例では、重みは、コーナーサンプル（たとえば、（０，０）、（０，３）、（３，０）、および（３，３）におけるサンプル）におけるｗ２＋ｗ３＋ｗ４＋ｗ５の和が他の境界サンプル（たとえば、（０，１）、（０，２）、（１，０）、（２，０）、（３，１）、（３，２）、（１，３）、および（２，３）におけるサンプル）におけるｗ２＋ｗ３＋ｗ４＋ｗ５の和よりも大きく、および／または境界サンプルにおけるｗ２＋ｗ３＋ｗ４＋ｗ５の和が中間サンプル（たとえば、（１，１）、（１，２）、（２，１）、および（２，２）におけるサンプル）における値よりも大きいように、選定され得る。

【0048】

[0058] いくつかの場合には、いくつかの動き補償が、現在のサブブロックのＭＶと、それの空間近隣ブロック／サブブロック（たとえば、上、左、下側、および右）のＭＶとの間の類似度に基づいて、ＯＢＭＣプロセス中にスキップされる。たとえば、動き補償が、所与の近隣ブロック／サブブロックからの動き情報を使用して呼び出される前に、毎回、（１つまたは複数の）近隣ブロック／サブブロックの（１つまたは複数の）ＭＶが、以下の１つまたは複数の条件に基づいて現在のサブブロックの（１つまたは複数の）ＭＶと比較され得る。１つまたは複数の条件は、たとえば、近隣ブロック／サブブロックによって使用されるすべての予測リスト（たとえば、単予測におけるリストＬ０またはリストＬ１のいずれか、あるいは双予測におけるＬ０とＬ１の両方）が、現在のサブブロックの予測のためにも使用されるという第１の条件、（１つまたは複数の）同じ参照ピクチャが、（１つまたは複数の）近隣サブブロックの（１つまたは複数の）ＭＶと、現在のサブブロックの（１つまたは複数の）ＭＶとによって使用されるという第２の条件、および／または（１つまたは複数の）近隣ＭＶと（１つまたは複数の）現在のＭＶとの間の水平ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔよりも大きくなく（またはそれを超えず）、（１つまたは複数の）近隣ＭＶと（１つまたは複数の）現在のＭＶとの間の垂直ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔよりも大きくないという第３の条件（双予測が使用される場合、Ｌ０ ＭＶとＬ１ ＭＶの両方が検査され得る）を含むことができる。

【0049】

[0059] いくつかの例では、第１の条件、第２の条件、および第３の条件が満たされる場合、所与の近隣ブロック／サブブロックを使用する動き補償が実施されず、所与の近隣ブロック／サブブロックＮのＭＶを使用するＯＢＭＣサブブロックが、無効にされ、元のサブブロックとブレンドされない。いくつかの場合には、ＣＵ境界ＯＢＭＣモードとサブブロック境界ＯＢＭＣモードとは、しきい値Ｔの異なる値を有することができる。モードがＣＵ境界ＯＢＭＣモードである場合、ＴはＴ１に設定され、他の場合、ＴはＴ２に設定され、ここで、Ｔ１およびＴ２は０よりも大きい。いくつかの場合には、条件が満たされるとき、近隣ブロック／サブブロックをスキップするための不可逆アルゴリズムが、サブブロック境界ＯＢＭＣモードのみに適用され得る。ＣＵ境界ＯＢＭＣモードは、代わりに、近隣ブロック／サブブロックによって使用されるすべての予測リスト（たとえば、単予測におけるＬ０またはＬ１のいずれか、あるいは双予測におけるＬ０とＬ１の両方）が、現在のサブブロックの予測のためにも使用されるという第４の条件、（１つまたは複数の）同じ参照ピクチャが、（１つまたは複数の）近隣ＭＶと（１つまたは複数の）現在のＭＶとによって使用されるという第５の条件、および近隣ＭＶと現在のＭＶとが同じであるという第６の条件（双予測が使用される場合、Ｌ０ ＭＶとＬ１ ＭＶの両方が検査され得る）など、１つまたは複数の条件が満たされるとき、近隣ブロック／サブブロックをスキップするための可逆アルゴリズムを適用することができる。

【0050】

[0060] いくつかの場合には、第１の条件、第２の条件、および第３の条件が満たされるとき、近隣ブロック／サブブロックをスキップするための不可逆アルゴリズムは、ＣＵ境界ＯＢＭＣモードのみに適用される。いくつかの場合には、サブブロック境界ＯＢＭＣモードは、第４の条件、第５の条件、および第６の条件が満たされるとき、近隣ブロック／サブブロックをスキップするための可逆アルゴリズムを適用することができる。

【0051】

[0061] いくつかの態様では、ＣＵ境界ＯＢＭＣモードでは、符号化および復号時間を節約するために、不可逆高速アルゴリズムが実装され得る。たとえば、第１のＯＢＭＣブロックと隣接するＯＢＭＣブロックとは、１つまたは複数の条件が満たされる場合、より大きいＯＢＭＣブロックにマージされ、一緒に生成され得る。１つまたは複数の条件は、たとえば、現在のＣＵの第１の近隣ブロックによって使用されるすべての予測リスト（たとえば、単予測におけるＬ０またはＬ１のいずれか、あるいは双予測におけるＬ０とＬ１の両方）が、（第１の近隣ブロックと同じ方向にある）現在のＣＵの第２の近隣ブロックの予測のためにも使用されるという条件、（１つまたは複数の）同じ参照ピクチャが、第１の近隣ブロックのＭＶと第２の近隣ブロックのＭＶとによって使用されるという条件、および、第１の近隣ブロックのＭＶと第２の近隣ブロックのＭＶとの間の水平ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔ３よりも大きくなく、第１の近隣ブロックのＭＶと第２の近隣ブロックのＭＶとの間の垂直ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔ３よりも大きくないという条件（双予測が使用される場合、Ｌ０ ＭＶとＬ１ ＭＶの両方が検査され得る）を含むことができる。

【0052】

[0062] いくつかの態様では、サブブロック境界ＯＢＭＣモードでは、符号化および復号時間を節約するために、不可逆高速アルゴリズムが実装され得る。いくつかの例では、ＳｂＴＭＶＰモードおよびＤＭＶＲは８×８ベースで実施され、アフィン動き補償は４×４ベースで実施される。本明細書で説明されるシステムおよび技法は、８×８ベースでサブブロック境界ＯＢＭＣモードを実装することができる。いくつかの場合には、本明細書で説明されるシステムおよび技法は、８×８サブブロックが４つの４×４サブブロックにスプリットされるべきであるかどうかを決定するために、あらゆる８×８サブブロックにおいて類似度検査を実施することができ、スプリットされる場合、ＯＢＭＣが４×４ベースで実施される。いくつかの例では、アルゴリズムは、各８×８サブブロックについて、４つの４×４ＯＢＭＣサブブロック（たとえば、Ｐ、Ｑ、Ｒ、およびＳ）を含むことができ、以下の条件、すなわち、サブブロックＰ、Ｑ、ＲおよびＳによって使用される（１つまたは複数の）予測リスト（たとえば、単予測におけるＬ０またはＬ１のいずれか、あるいは双予測におけるＬ０とＬ１の両方）が同じであるという第１の条件、（１つまたは複数の）同じ参照ピクチャがサブブロックＰ、Ｑ、Ｒ、およびＳのＭＶによって使用されるという第２の条件、ならびに任意の２つのサブブロック（たとえば、ＰおよびＱ、ＰおよびＲ、ＰおよびＳ、ＱおよびＲ、ＱおよびＳ、ならびにＲおよびＳ）のＭＶ間の水平ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔ４よりも大きくなく、任意の２つのサブブロック（たとえば、ＰおよびＱ、ＰおよびＲ、ＰおよびＳ、ＱおよびＲ、ＱおよびＳ、ならびにＲおよびＳ）のＭＶ間の垂直ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔ４よりも大きくないという第３の条件（双予測が使用される場合、Ｌ０ ＭＶとＬ１ ＭＶの両方が検査され得る）のうちの少なくとも１つが満たされないとき、有効にされることを可能にされる。

【0053】

[0063] 上記の条件のすべてが満たされる場合、本明細書で説明されるシステムおよび技法は、８×８サブブロックＯＢＭＣを実施することができ、ここで、上、左、下側、および右ＭＶからの８×８ＯＢＭＣサブブロックが、サブブロック境界ＯＢＭＣモードのためのＯＢＭＣブレンディングを使用して生成される。そうではなく、上記の条件のうちの少なくとも１つが満たされないとき、ＯＢＭＣがこの８×８サブブロックにおいて４×４ベースで実施され、８×８サブブロック中のあらゆる４×４サブブロックが、上、左、下側、および右ＭＶから４つのＯＢＭＣサブブロックを生成する。

【0054】

[0064] いくつかの態様では、ＣＵがマージモードでコーディングされるとき、ＯＢＭＣフラグが、マージモードにおける動き情報コピーと同様の方法で、近隣ブロックからコピーされる。そうではなく、ＣＵがマージモードでコーディングされないとき、ＯＢＭＣフラグが、ＣＵについて、ＯＢＭＣが適用されるか否かを示すためにシグナリングされ得る。

【0055】

[0065] 本明細書で説明されるシステムおよび技法は、既存のビデオコーデック（たとえば、高効率ビデオコーディング（ＨＥＶＣ）、アドバンストビデオコーディング（ＡＶＣ）、または他の好適な既存のビデオコーデック）のいずれかに適用され得るか、ならびに／あるいは、たとえば、汎用ビデオコーディング（ＶＶＣ）、ジョイント探査モデル（ＪＥＭ）、ＶＰ９、ＡＶ１フォーマット／コーデック、および／または開発中のもしくは開発されることになる他のビデオコーディング規格など、任意の開発されているビデオコーディング規格および／または将来のビデオコーディング規格のための効率的なコーディングツールであり得る。

【0056】

[0066] システムおよび技法に関するさらなる詳細が、図に関して説明される。

【0057】

[0067] 図１は、符号化デバイス１０４と復号デバイス１１２とを含むシステム１００の一例を示すブロック図である。符号化デバイス１０４はソースデバイスの一部であり得、復号デバイス１１２は受信デバイスの一部であり得る。ソースデバイスおよび／または受信デバイスは、モバイルまたは固定電話ハンドセット（たとえば、スマートフォン、セルラー電話など）、デスクトップコンピュータ、ラップトップまたはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、インターネットプロトコル（ＩＰ）カメラ、あるいは任意の他の好適な電子デバイスなど、電子デバイスを含み得る。いくつかの例では、ソースデバイスおよび受信デバイスは、ワイヤレス通信のための１つまたは複数のワイヤレストランシーバを含み得る。本明細書で説明されるコーディング技法は、（たとえば、インターネットを介した）ストリーミングビデオ送信、テレビジョン放送または送信、データ記憶媒体上に記憶するためのデジタルビデオの符号化、データ記憶媒体上に記憶されたデジタルビデオの復号、あるいは他の適用例を含む、様々なマルチメディア適用例におけるビデオコーディングに適用可能である。本明細書で使用されるコーディングという用語は、符号化および／または復号を指すことがある。いくつかの例では、システム１００は、ビデオ会議、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、ゲーミング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または二方向のビデオ送信をサポートすることができる。

【0058】

[0068] 符号化デバイス１０４（またはエンコーダ）は、符号化されたビデオビットストリームを生成するためにビデオコーディング規格、フォーマット、コーデック、またはプロトコルを使用してビデオデータを符号化するために使用され得る。ビデオコーディング規格およびフォーマット／コーデックの例は、ＩＴＵ－Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌ、そのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣとしても知られる）ＩＴＵ－Ｔ Ｈ．２６４、高効率ビデオコーディング（ＨＥＶＣ）またはＩＴＵ－Ｔ Ｈ．２６５、および汎用ビデオコーディング（ＶＶＣ）またはＩＴＵ－Ｔ Ｈ．２６６を含む。範囲およびスクリーンコンテンツコーディング拡張、３Ｄビデオコーディング（３Ｄ－ＨＥＶＣ）ならびにマルチビュー拡張（ＭＶ－ＨＥＶＣ）ならびにスケーラブル拡張（ＳＨＶＣ）を含む、マルチレイヤビデオコーディングに対処するＨＥＶＣへの様々な拡張が存在する。ＨＥＶＣおよびそれの拡張は、ＩＴＵ－Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ）のジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ－ＶＣ）ならびにジョイントコラボレーションチームオン３Ｄビデオコーディング拡張開発（ＪＣＴ－３Ｖ）によって開発された。ＶＰ９、Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ Ａｌｌｉａｎｃｅ ｏｆ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭｅｄｉａ）によって開発されたＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ１）、およびエッセンシャルビデオコーディング（ＥＶＣ）は、本明細書で説明される技法が適用され得る他のビデオコーディング規格である。

【0059】

[0069] 本明細書で説明される技法は、既存のビデオコーデック（たとえば、高効率ビデオコーディング（ＨＥＶＣ）、アドバンストビデオコーディング（ＡＶＣ）、または他の好適な既存のビデオコーデック）のいずれかに適用され得るか、ならびに／あるいは、たとえば、ＶＶＣ、および／または開発中のもしくは開発されることになる他のビデオコーディング規格など、任意の開発されているビデオコーディング規格および／または将来のビデオコーディング規格のための効率的なコーディングツールであり得る。たとえば、本明細書で説明される例は、ＶＶＣ、ＨＥＶＣ、ＡＶＣ、および／またはそれらの拡張などのビデオコーデックを使用して実施され得る。しかしながら、本明細書で説明される技法およびシステムは、ＭＰＥＧ、ＪＰＥＧ（または静止画像のための他のコーディング規格）、ＶＰ９、ＡＶ１、それらの拡張、あるいはすでに利用可能であるか、またはまだ利用可能ではないか、もしくは開発されていない他の好適なコーディング規格など、他のコーディング規格、コーデック、またはフォーマットにも適用可能であり得る。たとえば、いくつかの例では、符号化デバイス１０４および／または復号デバイス１１２は、ＡＶ１、ＡＶＩの拡張、および／あるいはＡＶ１の後継バージョン（たとえば、ＡＶ２）、あるいは他のプロプライエタリフォーマットまたは業界規格など、プロプライエタリビデオコーデック／フォーマットに従って動作し得る。したがって、本明細書で説明される技法およびシステムは、特定のビデオコーディング規格を参照しながら説明され得るが、当業者は、説明がその特定の規格にのみ適用されると解釈されるべきではないことを諒解されよう。

【0060】

[0070] 図１を参照すると、ビデオソース１０２は、符号化デバイス１０４にビデオデータを提供し得る。ビデオソース１０２は、ソースデバイスの一部であり得るか、またはソースデバイス以外のデバイスの一部であり得る。ビデオソース１０２は、ビデオキャプチャデバイス（たとえば、ビデオカメラ、カメラフォン、ビデオフォンなど）、記憶されたビデオを含んでいるビデオアーカイブ、ビデオデータを提供するビデオサーバまたはコンテンツプロバイダ、ビデオサーバまたはコンテンツプロバイダからビデオを受信するビデオフィードインターフェース、コンピュータグラフィックスビデオデータを生成するためのコンピュータグラフィックスシステム、そのようなソースの組合せ、あるいは任意の他の好適なビデオソースを含み得る。

【0061】

[0071] ビデオソース１０２からのビデオデータは、１つまたは複数の入力ピクチャまたはフレームを含み得る。ピクチャまたはフレームは、いくつかの場合には、ビデオの一部である静止画像である。いくつかの例では、ビデオソース１０２からのデータは、ビデオの一部でない静止画像であり得る。ＨＥＶＣ、ＶＶＣ、および他のビデオコーディング仕様では、ビデオシーケンスは、一連のピクチャを含むことができる。ピクチャは、ＳＬ、ＳＣｂ、およびＳＣｒと示される、３つのサンプルアレイを含み得る。ＳＬはルーマサンプルの２次元アレイであり、ＳＣｂはＣｂクロミナンスサンプルの２次元アレイであり、ＳＣｒはＣｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれることもある。ピクセルは、ピクチャのアレイ中の所与のロケーションについてのすべての３つの成分（ルーマおよびクロマサンプル）を指すことがある。他の事例では、ピクチャは、モノクロームであり得、ルーマサンプルのアレイのみを含み得、その場合、ピクセルおよびサンプルという用語は互換的に使用され得る。説明の目的で個々のサンプルに言及する本明細書で説明される例示的な技法に関して、同じ技法がピクセル（たとえば、ピクチャのアレイ中の所与のロケーションについてのすべて３つのサンプル成分）に適用され得る。説明の目的でピクセル（たとえば、ピクチャのアレイ中の所与のロケーションについてのすべて３つのサンプル成分）に言及する本明細書で説明される例示的な技法に関して、同じ技法が個々のサンプルに適用され得る。

【0062】

[0072] 符号化デバイス１０４のエンコーダエンジン１０６（またはエンコーダ）は、符号化されたビデオビットストリームを生成するためにビデオデータを符号化する。いくつかの例では、符号化されたビデオビットストリーム（または「ビデオビットストリーム」または「ビットストリーム」）は、一連の１つまたは複数のコーディングされたビデオシーケンスである。コーディングされたビデオシーケンス（ＣＶＳ）は、ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャを有するアクセスユニット（ＡＵ：access unit）で開始し、ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャを有する次のＡＵまでの、次のＡＵを含まない一連のＡＵを含む。たとえば、ＣＶＳを開始するランダムアクセスポイントピクチャのいくつかのプロパティは、１に等しいＲＡＳＬフラグ（たとえば、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇ）を含み得る。他の場合、（０に等しいＲＡＳＬフラグをもつ）ランダムアクセスポイントピクチャはＣＶＳを開始しない。アクセスユニット（ＡＵ）は、１つまたは複数のコーディングされたピクチャと、同じ出力時間を共有するコーディングされたピクチャに対応する制御情報とを含む。ピクチャのコーディングされたスライスは、ビットストリームレベルにおいて、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットと呼ばれるデータユニット中にカプセル化される。たとえば、ＨＥＶＣビデオビットストリームは、ＮＡＬユニットを含む１つまたは複数のＣＶＳを含み得る。ＮＡＬユニットの各々はＮＡＬユニットヘッダを有する。一例では、ヘッダは、（マルチレイヤ拡張を除いて）Ｈ．２６４／ＡＶＣでは１バイトであり、ＨＥＶＣでは２バイトである。ＮＡＬユニットヘッダ中のシンタックス要素は、指定されたビットをとり、したがって、特にトランスポートストリーム、リアルタイムトランスポート（ＲＴＰ）プロトコル、ファイルフォーマットなど、すべての種類のシステムおよびトランスポートレイヤに可視である。

【0063】

[0073] ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとを含む、ＮＡＬユニットの２つのクラスがＨＥＶＣ規格に存在する。ＶＣＬ ＮＡＬユニットは、コーディングされたビデオビットストリームを形成するコーディングされたピクチャデータを含む。たとえば、コーディングされたビデオビットストリームを形成するビットのシーケンスは、ＶＣＬ ＮＡＬユニット中に存在する。ＶＣＬ ＮＡＬユニットは、コーディングされたピクチャデータの（以下で説明される）１つのスライスまたはスライスセグメントを含むことができ、非ＶＣＬ ＮＡＬユニットは、１つまたは複数のコーディングされたピクチャに関係する制御情報を含む。いくつかの場合には、ＮＡＬユニットはパケットと呼ばれることがある。ＨＥＶＣ ＡＵは、コーディングされたピクチャデータを含んでいるＶＣＬ ＮＡＬユニットと、（もしあれば）コーディングされたピクチャデータに対応する非ＶＣＬ ＮＡＬユニットとを含む。非ＶＣＬ ＮＡＬユニットは、他の情報に加えて、符号化されたビデオビットストリームに関係する高レベル情報をもつパラメータセットを含んでいることがある。たとえば、パラメータセットは、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、ピクチャパラメータセット（ＰＰＳ）とを含み得る。いくつかの場合には、ビットストリームの各スライスまたは他の部分は、復号デバイス１１２がビットストリームのスライスまたは他の部分を復号するために使用され得る情報にアクセスすることを可能にするために単一のアクティブなＰＰＳ、ＳＰＳ、および／またはＶＰＳを参照することができる。

【0064】

[0074] ＮＡＬユニットは、ビデオ中のピクチャのコーディングされた表現など、ビデオデータのコーディングされた表現を形成するビットのシーケンス（たとえば、符号化されたビデオビットストリーム、ビットストリームのＣＶＳなど）を含んでいることがある。エンコーダエンジン１０６は、各ピクチャを複数のスライスに区分することによってピクチャのコーディングされた表現を生成する。スライスは、スライス中の情報が、同じピクチャ内の他のスライスからのデータへの依存性なしにコーディングされるように、他のスライスから独立している。スライスは、独立したスライスセグメントを含む１つまたは複数のスライスセグメントと、存在する場合、前のスライスセグメントに依存する１つまたは複数の依存するスライスセグメントとを含む。

【0065】

[0075] ＨＥＶＣでは、スライスは、次いで、ルーマサンプルおよびクロマサンプルのコーディングツリーブロック（ＣＴＢ：coding tree block）に区分される。ルーマサンプルのＣＴＢおよびクロマサンプルの１つまたは複数のＣＴＢは、サンプルのためのシンタックスとともに、コーディングツリーユニット（ＣＴＵ：coding tree unit）と呼ばれる。ＣＴＵは「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ）と呼ばれることもある。ＣＴＵは、ＨＥＶＣ符号化のための基本処理ユニットである。ＣＴＵは、様々なサイズの複数のコーディングユニット（ＣＵ：coding unit）にスプリットされ得る。ＣＵは、コーディングブロック（ＣＢ：coding block）と呼ばれるルーマおよびクロマサンプルアレイを含んでいる。

【0066】

[0076] ルーマおよびクロマＣＢは、予測ブロック（ＰＢ：prediction block）にさらにスプリットされ得る。ＰＢは、（利用可能なとき、または使用のために有効にされたとき）インター予測またはイントラブロックコピー（ＩＢＣ）予測のために同じ動きパラメータを使用するルーマ成分またはクロマ成分のサンプルのブロックである。ルーマＰＢおよび１つまたは複数のクロマＰＢは、関連するシンタックスとともに、予測ユニット（ＰＵ：prediction unit）を形成する。インター予測の場合、動きパラメータのセット（たとえば、１つまたは複数の動きベクトル、参照インデックスなど）は、ＰＵごとにビットストリーム中でシグナリングされ、ルーマＰＢおよび１つまたは複数のクロマＰＢのインター予測のために使用される。動きパラメータは動き情報と呼ばれることもある。ＣＢはまた、１つまたは複数の変換ブロック（ＴＢ：transform block）に区分され得る。ＴＢは、予測残差信号をコーディングするために残差変換（たとえば、いくつかの場合には、同じ２次元変換）が適用される色成分のサンプルの正方形ブロックを表す。変換ユニット（ＴＵ：transform unit）は、ルーマおよびクロマサンプルのＴＢと、対応するシンタックス要素とを表す。変換コーディングが以下でより詳細に説明される。

【0067】

[0077] ＣＵのサイズは、コーディングモードのサイズに対応し、形状が正方形であり得る。たとえば、ＣＵのサイズは、８×８サンプル、１６×１６サンプル、３２×３２サンプル、６４×６４サンプル、または対応するＣＴＵのサイズまでの任意の他の適切なサイズであり得る。「Ｎ×Ｎ」という句は、本明細書では、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法（たとえば、８ピクセル×８ピクセル）を指すために使用される。ブロック中のピクセルは行および列に配置され得る。いくつかの実装形態では、ブロックは、水平方向において垂直方向と同じ数のピクセルを有しないことがある。ＣＵに関連するシンタックスデータは、たとえば、１つまたは複数のＰＵへのＣＵの区分を表し得る。区分モードは、ＣＵがイントラ予測モード符号化されるのか、インター予測モード符号化されるのかの間で異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、ＣＴＵに従う１つまたは複数のＴＵへのＣＵの区分をも表し得る。ＴＵは、形状が正方形または非正方形であり得る。

【0068】

[0078] ＨＥＶＣ規格によれば、変換は、変換ユニット（ＴＵ）を使用して実施され得る。ＴＵは、異なるＣＵでは異なり得る。ＴＵは、所与のＣＵ内のＰＵのサイズに基づいてサイズ決定され得る。ＴＵは、ＰＵと同じサイズであるか、またはＰＵよりも小さくなり得る。いくつかの例では、ＣＵに対応する残差サンプルは、残差クワッドツリー（ＲＱＴ：residual quad tree）として知られるクワッドツリー構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードはＴＵに対応し得る。ＴＵに関連するピクセル差分値は、変換係数を作り出すために変換され得る。変換係数は、次いで、エンコーダエンジン１０６によって量子化され得る。

【0069】

[0079] ビデオデータのピクチャがＣＵに区分されると、エンコーダエンジン１０６は、予測モードを使用して各ＰＵを予測する。予測ユニットまたは予測ブロックは、次いで、（以下で説明される）残差を得るために元のビデオデータから減算される。ＣＵごとに、シンタックスデータを使用してビットストリーム内で予測モードがシグナリングされ得る。予測モードは、イントラ予測（またはピクチャ内予測）またはインター予測（またはピクチャ間予測）を含み得る。イントラ予測は、ピクチャ内の空間的に近隣するサンプル間の相関を利用する。たとえば、イントラ予測を使用して、各ＰＵは、たとえば、ＰＵに関する平均値を見つけるためのＤＣ予測、平坦面をＰＵに適合させるための平面予測、近隣データから外挿するための方向予測、または任意の他の好適なタイプの予測を使用して、同じピクチャ中の近隣画像データから予測される。インター予測は、画像サンプルのブロックについての動き補償予測を導出するためにピクチャ間の時間相関を使用する。たとえば、インター予測を使用して、各ＰＵは、（出力順序において現在のピクチャの前または後の）１つまたは複数の参照ピクチャ中の画像データからの動き補償予測を使用して予測される。ピクチャ間予測を使用してピクチャエリアをコーディングすべきなのか、ピクチャ内予測を使用してピクチャエリアをコーディングすべきなのかの決定は、たとえば、ＣＵレベルにおいて行われ得る。

【0070】

[0080] エンコーダエンジン１０６および（以下でより詳細に説明される）デコーダエンジン１１６は、ＶＶＣに従って動作するように構成され得る。ＶＶＣによれば、（エンコーダエンジン１０６および／またはデコーダエンジン１１６などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する（ここで、ルーマサンプルのＣＴＢとクロマサンプルの１つまたは複数のＣＴＢとが、サンプルのためのシンタックスとともに、ＣＴＵと呼ばれる）。ビデオコーダは、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分することができる。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、クワッドツリー区分に従って区分される第１のレベルと、バイナリツリー区分に従って区分される第２のレベルとを含む、２つのレベルを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。バイナリツリーのリーフノードは、コーディングユニット（ＣＵ）に対応する。

【0071】

[0081] ＭＴＴ区分構造では、ブロックは、クワッドツリー区分と、バイナリツリー区分と、１つまたは複数のタイプのトリプルツリー区分とを使用して区分され得る。トリプルツリー区分は、ブロックが３つのサブブロックにスプリットされる区分である。いくつかの例では、トリプルツリー区分は、中心を通して元のブロックを分割することなしにブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、クワッドツリー、バイナリツリー、およびトライプツリー）は、対称的または非対称的であり得る。

【0072】

[0082] ＡＶ１コーデックに従って動作しているとき、符号化デバイス１０４および復号デバイス１１２は、ブロック中のビデオデータをコーディングするように構成され得る。ＡＶ１では、処理され得る最大コーディングブロックは、スーパーブロックと呼ばれる。ＡＶ１では、スーパーブロックは、１２８×１２８ルーマサンプルまたは６４×６４ルーマサンプルのいずれかであり得る。しかしながら、後継ビデオコーディングフォーマット（たとえば、ＡＶ２）では、スーパーブロックは、異なる（たとえば、より大きい）ルーマサンプルサイズによって定義され得る。いくつかの例では、スーパーブロックは、ブロッククワッドツリーのトップレベルである。符号化デバイス１０４は、さらに、スーパーブロックをより小さいコーディングブロックに区分し得る。符号化デバイス１０４は、正方形または非正方形区分を使用してスーパーブロックおよび他のコーディングブロックをより小さいブロックに区分し得る。非正方形ブロックは、Ｎ／２×Ｎ、Ｎ×Ｎ／２、Ｎ／４×Ｎ、およびＮ×Ｎ／４ブロックを含み得る。符号化デバイス１０４および復号デバイス１１２は、コーディングブロックの各々に対して別個の予測および変換プロセスを実施し得る。

【0073】

[0083] ＡＶ１はまた、ビデオデータのタイルを定義する。タイルは、他のタイルから独立してコーディングされ得るスーパーブロックの矩形アレイである。すなわち、符号化デバイス１０４および復号デバイス１１２は、他のタイルからのビデオデータを使用せずにタイル内のコーディングブロックを、それぞれ、符号化および復号し得る。ただし、符号化デバイス１０４および復号デバイス１１２は、タイル境界にわたってフィルタ処理を実施し得る。タイルは、サイズが均一または非均一であり得る。タイルベースコーディングは、エンコーダおよびデコーダ実装形態のための並列処理および／またはマルチスレッディングを可能にし得る。

【0074】

[0084] いくつかの例では、ビデオコーダは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用することができ、他の例では、ビデオコーダは、ルミナンス成分のための１つのＱＴＢＴまたはＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴまたはＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴおよび／またはＭＴＴ構造）など、２つまたはそれ以上のＱＴＢＴまたはＭＴＴ構造を使用することができる。

【0075】

[0085] ビデオコーダは、クワッドツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、スーパーブロック区分、または他の区分構造を使用するように構成され得る。

【0076】

[0086] いくつかの例では、ピクチャの１つまたは複数のスライスは、スライスタイプを割り当てられる。スライスタイプは、イントラコーディングされたスライス（Ｉスライス）と、インターコーディングされたＰスライスと、インターコーディングされたＢスライスとを含む。Ｉスライス（イントラコーディングされたフレーム、独立して復号可能）は、イントラ予測によってのみコーディングされるピクチャのスライスであり、したがって、Ｉスライスは、スライスの任意の予測ユニットまたは予測ブロックを予測するためにフレーム内のデータのみを必要とするので、独立して復号可能である。Ｐスライス（単方向予測されるフレーム）は、イントラ予測を用いて、および単方向インター予測を用いてコーディングされ得るピクチャのスライスである。Ｐスライス内の各予測ユニットまたは予測ブロックは、イントラ予測またはインター予測のいずれかを用いてコーディングされる。インター予測が適用されるとき、予測ユニットまたは予測ブロックは、１つの参照ピクチャによってのみ予測され、したがって、参照サンプルは、１つのフレームの１つの参照領域からのみのものである。Ｂスライス（双方向予測フレーム）は、イントラ予測を用いて、およびインター予測（たとえば、双予測または単予測のいずれか）を用いてコーディングされ得るピクチャのスライスである。Ｂスライスの予測ユニットまたは予測ブロックは、２つの参照ピクチャから双方向予測され得、ここで、各ピクチャが１つの参照領域を導き（contribute）、双方向予測されたブロックの予測信号を作り出すために、２つの参照領域のサンプルセットが（たとえば、等しい重みを用いて、または異なる重みを用いて）重み付けされる。上記で説明されたように、１つのピクチャのスライスが独立してコーディングされる。いくつかの場合には、ピクチャは、ただ１つのスライスとしてコーディングされ得る。

【0077】

[0087] 上述のように、ピクチャのピクチャ内予測は、ピクチャ内の空間的に近隣するサンプル間の相関を利用する。（「イントラモード」とも呼ばれる）複数のイントラ予測モードがある。いくつかの例では、ルーマブロックのイントラ予測は、平面モードと、ＤＣモードと、３３個の角モード（たとえば、対角イントラ予測モードおよび対角イントラ予測モードに隣接する角モード）とを含む３５個のモードを含む。イントラ予測の３５個のモードは、以下で表１に示されているようにインデックス付けされる。他の例では、３３個の角モードによってまだ表されていないことがある予測角度を含むより多くのイントラモードが定義され得る。他の例では、角モードに関連する予測角度は、ＨＥＶＣにおいて使用されるものとは異なり得る。

【0078】

【表3】

【0079】

[0088] ピクチャ間予測は、画像サンプルのブロックについての動き補償予測を導出するためにピクチャ間の時間相関を使用する。並進動きモデルを使用して、前に復号されたピクチャ（参照ピクチャ）中のブロックの位置は、動きベクトル（Δｘ，Δｙ）によって示され、Δｘは、現在のブロックの位置に対する参照ブロックの水平変位を指定し、Δｙはその垂直変位を指定する。いくつかの場合には、動きベクトル（Δｘ，Δｙ）は、（整数正確さとも呼ばれる）整数サンプル正確さであり得、その場合、動きベクトルは、参照フレームの整数ペルグリッド（または整数ピクセルサンプリンググリッド）を指す。いくつかの場合には、動きベクトル（Δｘ，Δｙ）は、参照フレームの整数ペルグリッドに制限されることなしに、基礎をなすオブジェクトの移動をより正確にキャプチャするために、（分数ペル正確さまたは非整数正確さとも呼ばれる）分数サンプル正確さのものであり得る。動きベクトルの正確さは、動きベクトルの量子化レベルによって表され得る。たとえば、量子化レベルは、整数正確さ（たとえば、１ピクセル）または分数ペル正確さ（たとえば、１／４ピクセル、１／２ピクセル、または他のサブピクセル値）であり得る。対応する動きベクトルが分数サンプル正確さを有するとき、予測信号を導出するために、参照ピクチャに補間が適用される。たとえば、整数位置において利用可能なサンプルは、分数位置における値を推定するために、（たとえば、１つまたは複数の補間フィルタを使用して）フィルタ処理され得る。前に復号された参照ピクチャは、参照ピクチャリストへの参照インデックス（ｒｅｆＩｄｘ）によって示される。動きベクトルおよび参照インデックスは、動きパラメータと呼ばれることがある。単予測と双予測とを含む、２つの種類のピクチャ間予測が実施され得る。

【0080】

[0089] （双方向インター予測とも呼ばれる）双予測を使用するインター予測の場合、動きパラメータの２つのセット（Δｘ₀、ｙ₀、ｒｅｆＩｄｘ₀、および、Δｘ₁、ｙ₁、ｒｅｆＩｄｘ₁）が、（同じ参照ピクチャから、または場合によっては異なる参照ピクチャから）２つの動き補償予測を生成するために使用される。たとえば、双予測の場合、各予測ブロックは、２つの動き補償予測信号を使用し、Ｂ予測ユニットを生成する。２つの動き補償予測は、次いで、最終の動き補償予測を得るために組み合わせられる。たとえば、２つの動き補償予測は、平均化によって組み合わせられ得る。別の例では、重み付き予測が使用され得、その場合、異なる重みが、各動き補償予測に適用され得る。双予測において使用され得る参照ピクチャは、リスト０およびリスト１として示される、２つの別個のリストに記憶される。動きパラメータは、動き推定プロセスを使用してエンコーダにおいて導出され得る。

【0081】

[0090] （単方向インター予測とも呼ばれる）単予測を使用するインター予測の場合、動きパラメータ（Δｘ₀，ｙ₀，ｒｅｆＩｄｘ₀）の１つのセットが、参照ピクチャから動き補償予測を生成するために使用される。たとえば、単予測の場合、各予測ブロックは、高々１つの動き補償予測信号を使用し、Ｐ予測ユニットを生成する。

【0082】

[0091] ＰＵは、予測プロセスに関係するデータ（たとえば、動きパラメータまたは他の好適なデータ）を含み得る。たとえば、ＰＵがイントラ予測を使用して符号化されるとき、ＰＵは、ＰＵのためのイントラ予測モードを表すデータを含み得る。別の例として、ＰＵがインター予測を使用して符号化されるとき、ＰＵは、ＰＵのための動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分（Δｘ）、動きベクトルの垂直成分（Δｙ）、動きベクトルの解像度（たとえば、整数精度、１／４ピクセル精度、または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、参照インデックス、動きベクトルのための参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）、またはそれらの任意の組合せを表し得る。

【0083】

[0092] ＡＶ１は、ビデオデータのコーディングブロックを符号化および復号するための２つの一般的な技法を含む。２つの一般的な技法は、イントラ予測（たとえば、イントラフレーム予測または空間予測）およびインター予測（たとえば、インターフレーム予測または時間予測）である。ＡＶ１のコンテキストでは、イントラ予測モードを使用するビデオデータの現在のフレームのブロックを予測するとき、符号化デバイス１０４および復号デバイス１１２は、ビデオデータの他のフレームからのビデオデータを使用しない。たいていのイントラ予測モードでは、ビデオ符号化デバイス１０４は、現在のブロック中のサンプル値と、同じフレーム中の参照サンプルから生成される予測される値との間の差分に基づいて、現在のフレームのブロックを符号化する。ビデオ符号化デバイス１０４は、イントラ予測モードに基づいて参照サンプルから生成される予測される値を決定する。

【0084】

[0093] イントラ予測および／またはインター予測を使用して予測を実施した後に、符号化デバイス１０４は、変換および量子化を実施することができる。たとえば、予測の後に、エンコーダエンジン１０６は、ＰＵに対応する残差値を計算し得る。残差値は、コーディングされているピクセルの現在のブロック（ＰＵ）と、現在のブロックを予測するために使用される予測ブロック（たとえば、現在のブロックの予測されたバージョン）との間のピクセル差分値を備え得る。たとえば、予測ブロックを生成した（たとえば、インター予測またはイントラ予測を出した）後に、エンコーダエンジン１０６は、現在のブロックから、予測ユニットによって作り出された予測ブロックを減算することによって、残差ブロックを生成することができる。残差ブロックは、現在のブロックのピクセル値と予測ブロックのピクセル値との間の差分を定量化するピクセル差分値のセットを含む。いくつかの例では、残差ブロックは、２次元ブロックフォーマット（たとえば、ピクセル値の２次元行列またはアレイ）で表され得る。そのような例では、残差ブロックはピクセル値の２次元表現である。

【0085】

[0094] 予測が実施された後に残存していることがあるいずれの残差データも、離散コサイン変換、離散サイン変換、整数変換、ウェーブレット変換、他の好適な変換関数、またはそれらの任意の組合せに基づき得るブロック変換を使用して変換される。いくつかの場合には、１つまたは複数のブロック変換（たとえば、サイズ３２×３２、１６×１６、８×８、４×４、または他の好適なサイズ）が各ＣＵ中の残差データに適用され得る。いくつかの実施形態では、エンコーダエンジン１０６によって実装される変換および量子化プロセスのためにＴＵが使用され得る。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数のＴＵをも含み得る。以下でさらに詳細に説明されるように、残差値は、ブロック変換を使用して変換係数に変換され得、次いで、エントロピーコーディングのためのシリアル化変換係数を作り出すために、ＴＵを使用して量子化および走査され得る。

【0086】

[0095] いくつかの実施形態では、ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、エンコーダエンジン１０６は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、空間ドメイン（またはピクセルドメイン）においてピクセルデータを備え得る。ＴＵは、ブロック変換の適用の後に変換ドメインにおいて係数を備え得る。前記のように、残差データは、符号化されていないピクチャのピクセルとＰＵに対応する予測値との間のピクセル差分値に対応し得る。エンコーダエンジン１０６は、ＣＵのための残差データを含むＴＵを形成し得、次いで、ＣＵのための変換係数を作り出すためにＴＵを変換し得る。

【0087】

[0096] エンコーダエンジン１０６は、変換係数の量子化を実施し得る。量子化は、係数を表すために使用されるデータの量を低減するために変換係数を量子化することによって、さらなる圧縮を提供する。たとえば、量子化は、係数の一部または全部に関連するビット深度を低減し得る。一例では、ｎビット値をもつ係数は、量子化中にｍビット値に切り捨てられ得、ｎはｍよりも大きい。

【0088】

[0097] 量子化が実施されると、コーディングされたビデオビットストリームは、量子化された変換係数と、予測情報（たとえば、予測モード、動きベクトル、ブロックベクトルなど）と、区分情報と、他のシンタックスデータなどの任意の他の好適なデータとを含む。コーディングされたビデオビットストリームの異なる要素は、次いで、エンコーダエンジン１０６によってエントロピー符号化され得る。いくつかの例では、エンコーダエンジン１０６は、エントロピー符号化され得るシリアル化ベクトルを作り出すために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。いくつかの例では、エンコーダエンジン１０６は適応型走査を実施し得る。ベクトル（たとえば、１次元ベクトル）を形成するために量子化変換係数を走査した後に、エンコーダエンジン１０６は、ベクトルをエントロピー符号化し得る。たとえば、エンコーダエンジン１０６は、コンテキスト適応型可変長コーディング、コンテキスト適応型バイナリ算術コーディング、シンタックスベースコンテキスト適応型バイナリ算術コーディング、確率間隔区分エントロピーコーディング、または別の好適なエントロピー符号化技法を使用し得る。

【0089】

[0098] 符号化デバイス１０４の出力部１１０は、通信リンク１２０を介して受信デバイスの復号デバイス１１２に、符号化されたビデオビットストリームデータを構成するＮＡＬユニットを送り得る。復号デバイス１１２の入力部１１４はＮＡＬユニットを受信し得る。通信リンク１２０は、ワイヤレスネットワーク、ワイヤードネットワーク、またはワイヤードネットワークとワイヤレスネットワークとの組合せによって提供されるチャネルを含み得る。ワイヤレスネットワークは、任意のワイヤレスインターフェースまたはワイヤレスインターフェースの組合せを含み得、任意の好適なワイヤレスネットワーク（たとえば、インターネットまたは他のワイドエリアネットワーク、パケットベースネットワーク、ＷｉＦｉ（登録商標）、無線周波数（ＲＦ）、超広帯域（ＵＷＢ）、ＷｉＦｉ－Ｄｉｒｅｃｔ、セルラー、ロングタームエボリューション（ＬＴＥ（登録商標））、ＷｉＭａｘ（登録商標）など）を含み得る。ワイヤードネットワークは、任意のワイヤードインターフェース（たとえば、ファイバー、イーサネット（登録商標）、電力線イーサネット、同軸ケーブルを介したイーサネット、デジタル信号線（ＤＳＬ）など）を含み得る。ワイヤードおよび／またはワイヤレスネットワークは、基地局、ルータ、アクセスポイント、ブリッジ、ゲートウェイ、スイッチなど、様々な機器を使用して実装され得る。符号化されたビデオビットストリームデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、受信デバイスに送信され得る。

【0090】

[0099] いくつかの例では、符号化デバイス１０４は、符号化されたビデオビットストリームデータをストレージ１０８に記憶し得る。出力部１１０は、エンコーダエンジン１０６から、またはストレージ１０８から符号化されたビデオビットストリームデータを取り出し得る。ストレージ１０８は、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。たとえば、ストレージ１０８は、ハードドライブ、記憶ディスク、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体を含み得る。ストレージ１０８は、インター予測において使用するための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）をも含むことができる。さらなる例では、ストレージ１０８は、ソースデバイスによって生成された符号化されたビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応することができる。そのような場合、復号デバイス１１２を含む受信デバイスは、ストリーミングまたはダウンロードを介してストレージデバイスから記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶することと、その符号化されたビデオデータを受信デバイスに送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。受信デバイスは、インターネット接続を含む、任意の標準のデータ接続を通して、符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに好適である、両方の組合せを含み得る。ストレージ１０８からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。

【0091】

[0100] 復号デバイス１１２の入力部１１４は、符号化されたビデオビットストリームデータを受信し、ビデオビットストリームデータをデコーダエンジン１１６に、またはデコーダエンジン１１６による後の使用のためにストレージ１１８に提供し得る。たとえば、ストレージ１１８は、インター予測において使用するための参照ピクチャを記憶するためのＤＰＢを含むことができる。復号デバイス１１２を含む受信デバイスは、ストレージ１０８を介して復号されるべき符号化されたビデオデータを受信することができる。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、受信デバイスに送信され得る。符号化されたビデオデータを送信するための通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイスから受信デバイスへの通信を可能にするために有用であり得る任意の他の機器を含み得る。

【0092】

[0101] デコーダエンジン１１６は、（たとえば、エントロピーデコーダを使用して）エントロピー復号し、符号化されたビデオデータを構成する１つまたは複数のコーディングされたビデオシーケンスの要素を抽出することによって、符号化されたビデオビットストリームデータを復号し得る。デコーダエンジン１１６は、次いで、符号化されたビデオビットストリームデータを再スケーリングし、符号化されたビデオビットストリームデータに対して逆変換を実施し得る。残差データが、次いで、デコーダエンジン１１６の予測段階にパスされる。デコーダエンジン１１６は、次いで、ピクセルのブロック（たとえば、ＰＵ）を予測する。いくつかの例では、逆変換の出力（残差データ）に予測が加算される。

【0093】

[0102] ビデオ復号デバイス１１２は、復号されたビデオをビデオ宛先デバイス１２２に出力し得、ビデオ宛先デバイス１２２は、復号されたビデオデータをコンテンツの消費者に表示するためのディスプレイまたは他の出力デバイスを含み得る。いくつかの態様では、ビデオ宛先デバイス１２２は、復号デバイス１１２を含む受信デバイスの一部であり得る。いくつかの態様では、ビデオ宛先デバイス１２２は、受信デバイス以外の別個のデバイスの一部であり得る。

【0094】

[0103] いくつかの実施形態では、ビデオ符号化デバイス１０４および／またはビデオ復号デバイス１１２は、それぞれオーディオ符号化デバイスおよびオーディオ復号デバイスと統合され得る。ビデオ符号化デバイス１０４および／またはビデオ復号デバイス１１２はまた、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、上記で説明されたコーディング技法を実装するために必要である他のハードウェアまたはソフトウェアを含み得る。ビデオ符号化デバイス１０４およびビデオ復号デバイス１１２は、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。

【0095】

[0104] 図１に示されている例示的なシステムは、本明細書で使用され得る１つの例示的な例である。本明細書で説明される技法を使用してビデオデータを処理するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実施され得る。概して、本開示の技法はビデオ符号化デバイスまたはビデオ復号デバイスによって実施されるが、本技法は、一般に「コーデック」と呼ばれる複合ビデオエンコーダデコーダによっても実施され得る。その上、本開示の技法はまた、ビデオプリプロセッサによって実施され得る。ソースデバイスおよび受信デバイスは、ソースデバイスが受信デバイスへの送信のためのコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイスおよび受信デバイスは、デバイスの各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、例示的なシステムは、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス間の一方向または二方向のビデオ送信をサポートし得る。

【0096】

[0105] ＨＥＶＣ規格に対する拡張は、ＭＶ－ＨＥＶＣと呼ばれるマルチビュービデオコーディング拡張と、ＳＨＶＣと呼ばれるスケーラブルビデオコーディング拡張とを含む。ＭＶ－ＨＥＶＣ拡張およびＳＨＶＣ拡張は、階層化コーディングの概念を共有し、異なるレイヤが、符号化されたビデオビットストリーム中に含まれる。コーディングされたビデオシーケンス中の各レイヤは、一意のレイヤ識別子（ＩＤ）によってアドレス指定される。レイヤＩＤは、ＮＡＬユニットがそれに関連するレイヤを識別するために、ＮＡＬユニットのヘッダ中に存在し得る。ＭＶ－ＨＥＶＣでは、異なるレイヤは、通常、ビデオビットストリーム中の同じシーンの異なるビューを表す。ＳＨＶＣでは、異なる空間解像度（またはピクチャ解像度）で、または異なる再構築忠実度でビデオビットストリームを表す異なるスケーラブルレイヤが提供される。スケーラブルレイヤは、（レイヤＩＤ＝０である）ベースレイヤと（レイヤＩＤ＝１、２、．．．ｎである）１つまたは複数のエンハンスメントレイヤとを含み得る。ベースレイヤは、ＨＥＶＣの第１のバージョンのプロファイルに適合し得、ビットストリーム中の利用可能な最下位レイヤを表す。エンハンスメントレイヤは、ベースレイヤと比較して、増加された空間解像度、時間解像度またはフレームレート、および／あるいは再構築忠実度（または品質）を有する。エンハンスメントレイヤは、階層的に編成されており、下位レイヤに依存すること（または依存しないこと）がある。いくつかの例では、単一規格コーデックを使用して、異なるレイヤがコーディングされ得る（たとえば、ＨＥＶＣ、ＳＨＶＣ、または他のコーディング規格を使用して、すべてのレイヤが符号化される）。いくつかの例では、多規格コーデックを使用して、異なるレイヤがコーディングされ得る。たとえば、ベースレイヤは、ＡＶＣを使用してコーディングされ得るが、１つまたは複数のエンハンスメントレイヤは、ＨＥＶＣ規格に対するＳＨＶＣ拡張および／またはＭＶ－ＨＥＶＣ拡張を使用してコーディングされ得る。

【0097】

[0106] 概して、レイヤは、ＶＣＬ ＮＡＬユニットのセットと非ＶＣＬ ＮＡＬユニットの対応するセットとを含む。ＮＡＬユニットは、特定のレイヤＩＤ値を割り当てられる。レイヤは、あるレイヤが下位レイヤに依存し得るという意味で、階層的であり得る。レイヤセットは、自己完結型であるビットストリーム内で表されるレイヤのセットを指し、これは、レイヤセット内のレイヤが、復号プロセスにおいてレイヤセット中の他のレイヤに依存することがあるが、復号のために任意の他のレイヤに依存しないことを意味する。したがって、レイヤセット中のレイヤは、ビデオコンテンツを表すことができる独立したビットストリームを形成することができる。レイヤセット中のレイヤのセットは、サブビットストリーム抽出プロセスの動作によって別のビットストリームから取得され得る。レイヤセットは、デコーダがいくつかのパラメータに従って動作することを希望するときに復号されるべきであるレイヤのセットに対応し得る。

【0098】

[0107] 前に説明されたように、ＨＥＶＣビットストリームは、ＶＣＬ ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとを含む、ＮＡＬユニットのグループを含む。ＶＣＬ ＮＡＬユニットは、コーディングされたビデオビットストリームを形成するコーディングされたピクチャデータを含む。たとえば、コーディングされたビデオビットストリームを形成するビットのシーケンスは、ＶＣＬ ＮＡＬユニット中に存在する。非ＶＣＬ ＮＡＬユニットは、他の情報に加えて、符号化されたビデオビットストリームに関係する高レベル情報をもつパラメータセットを含んでいることがある。たとえば、パラメータセットは、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、ピクチャパラメータセット（ＰＰＳ）とを含み得る。パラメータセットの目標の例は、ビットレート効率と、エラーレジリエンシーと、システムレイヤインターフェースを提供することとを含む。各スライスは、復号デバイス１１２がそのスライスを復号するために使用し得る情報にアクセスするために、単一のアクティブなＰＰＳ、ＳＰＳ、およびＶＰＳを参照する。ＶＰＳ識別子（ＩＤ）と、ＳＰＳ ＩＤと、ＰＰＳ ＩＤとを含むＩＤが、パラメータセットごとにコーディングされ得る。ＳＰＳは、ＳＰＳ ＩＤとＶＰＳ ＩＤとを含む。ＰＰＳは、ＰＰＳ ＩＤとＳＰＳ ＩＤとを含む。各スライスヘッダはＰＰＳ ＩＤを含む。ＩＤを使用して、アクティブなパラメータセットが所与のスライスについて識別され得る。

【0099】

[0108] ＰＰＳは、所与のピクチャ中のすべてのスライスに適用される情報を含む。このため、ピクチャ中のすべてのスライスは、同じＰＰＳを指す。異なるピクチャ中のスライスも、同じＰＰＳを指し得る。ＳＰＳは、同じコーディングされたビデオシーケンス（ＣＶＳ）またはビットストリーム中のすべてのピクチャに適用される情報を含む。前に説明されたように、コーディングされたビデオシーケンスは、（上記で説明された）ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャ（たとえば、瞬時復号参照（ＩＤＲ：instantaneous decode reference）ピクチャまたは切断リンクアクセス（ＢＬＡ：broken link access）ピクチャ、あるいは他の適切なランダムアクセスポイントピクチャ）で開始し、ベースレイヤ中の、いくつかのプロパティをもつランダムアクセスポイントピクチャを有する次のアクセスユニット（ＡＵ：access unit）（またはビットストリームの終端）までの、それを含まない、一連のＡＵである。ＳＰＳ中の情報は、コーディングされたビデオシーケンス内でピクチャごとに変化しないことがある。コーディングされたビデオシーケンス中のピクチャは、同じＳＰＳを使用し得る。ＶＰＳは、コーディングされたビデオシーケンスまたはビットストリーム内のすべてのレイヤに適用される情報を含む。ＶＰＳは、コーディングされたビデオシーケンス全体に適用されるシンタックス要素をもつシンタックス構造を含む。いくつかの実施形態では、ＶＰＳ、ＳＰＳ、またはＰＰＳは、符号化されたビットストリームとともに帯域内で送信され得る。いくつかの実施形態では、ＶＰＳ、ＳＰＳ、またはＰＰＳは、コーディングされたビデオデータを含んでいるＮＡＬユニットとは別個の送信において帯域外で送信され得る。

【0100】

[0109] 本開示は、概して、シンタックス要素などのある情報を「シグナリング」することに言及し得る。「シグナリング」という用語は、概して、符号化されたビデオデータを復号するために使用されるシンタックス要素および／または他のデータについての値の通信を指し得る。たとえば、ビデオ符号化デバイス１０４は、ビットストリーム中のシンタックス要素についての値をシグナリングし得る。概して、シグナリングは、ビットストリーム中で値を生成することを指す。上述のように、ビデオソース１０２は、実質的にリアルタイムでビットストリームをビデオ宛先デバイス１２２にトランスポートするか、または、ビデオ宛先デバイス１２２による後の取出しのためにシンタックス要素をストレージ１０８に記憶するときに行われ得るように、非リアルタイムでビットストリームをビデオ宛先デバイス１２２にトランスポートし得る。

【0101】

[0110] ビデオビットストリームは、補足エンハンスメント情報（ＳＥＩ）メッセージをも含むことができる。たとえば、ＳＥＩ ＮＡＬユニットはビデオビットストリームの一部であり得る。いくつかの場合には、ＳＥＩメッセージは、復号プロセスによって必要とされない情報を含んでいることがある。たとえば、ＳＥＩメッセージ中の情報は、ビットストリームのビデオピクチャを復号するためのデコーダにとって必須でないことがあるが、デコーダは、ピクチャの表示または処理（たとえば、復号された出力）を改善するためにその情報を使用することができる。ＳＥＩメッセージ中の情報は埋込みメタデータであり得る。１つの例示的な例では、ＳＥＩメッセージ中の情報は、コンテンツの視認性を改善するためにデコーダ側エンティティによって使用され得る。いくつかの事例では、いくつかの適用例規格は、適用例規格に準拠するすべてのデバイスに品質の改善がもたらされ得るように、ビットストリーム中のそのようなＳＥＩメッセージの存在（たとえば、多くの他の例に加えて、フレームパッキングＳＥＩメッセージがビデオのあらゆるフレームのために搬送される、フレーム互換平面立体視３ＤＴＶビデオフォーマットのためのフレームパッキングＳＥＩメッセージの搬送、リカバリポイントＳＥＩメッセージのハンドリング、ＤＶＢにおけるパンスキャンスキャン矩形ＳＥＩメッセージの使用）を規定し得る。

【0102】

[0111] 上記で説明されたように、各ブロックについて、（本明細書では動きパラメータとも呼ばれる）動き情報のセットが利用可能であり得る。動き情報のセットは、前方予測方向および後方予測方向のための動き情報を含んでいる。前方予測方向および後方予測方向は、双方向予測モードの２つの予測方向であり、その場合、「前方」および「後方」という用語は、必ずしも幾何学的意味を有するとは限らない。代わりに、「前方」および「後方」は、現在のピクチャの参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０またはＬ０）および参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１またはＬ１）に対応する。いくつかの例では、ピクチャまたはスライスについて１つの参照ピクチャリストのみが利用可能であるとき、ＲｅｆＰｉｃＬｉｓｔ０のみが利用可能であり、スライスの各ブロックの動き情報は常に前方である。

【0103】

[0112] いくつかの場合には、動きベクトルが、その参照インデックスとともに、コーディングプロセス（たとえば、動き補償）において使用される。関連する参照インデックスをもつそのような動きベクトルは、動き情報の単予測セットとして示される。各予測方向について、動き情報は、参照インデックスと動きベクトルとを含んでいることがある。いくつかの場合には、簡単のために、動きベクトル自体は、それが、関連する参照インデックスを有すると仮定されるように言及され得る。参照インデックスは、現在の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）中の参照ピクチャを識別するために使用される。動きベクトルは、現在のピクチャにおける座標位置から、参照インデックスによって識別される参照ピクチャにおける座標へのオフセットを提供する水平成分と垂直成分とを有する。たとえば、参照インデックスは、現在のピクチャ中のブロックのために使用されるべきである特定の参照ピクチャを示すことができ、動きベクトルは、参照ピクチャ中で、最も良く一致したブロック（現在のブロックに最も良く一致するブロック）が参照ピクチャ中のどこにあるかを示すことができる。

【0104】

[0113] ビデオコーディング規格において、ピクチャの表示順序を識別するためにピクチャ順序カウント（ＰＯＣ：picture order count）が使用され得る。１つのコーディングされたビデオシーケンス内の２つのピクチャが同じＰＯＣ値を有し得る場合があるが、それは、一般に、コーディングされたビデオシーケンス内で起こらない。複数のコーディングされたビデオシーケンスがビットストリーム中に存在するとき、ＰＯＣの同じ値をもつピクチャは、復号順序に関して互いに近いことがある。ピクチャのＰＯＣ値は、参照ピクチャリスト構築と、ＨＥＶＣの場合のような参照ピクチャセットの導出と、動きベクトルスケーリングとのために使用され得る。

【0105】

[0114] Ｈ．２６４／ＡＶＣでは、各インターマクロブロック（ＭＢ）は、１つの１６×１６ＭＢ区分と、２つの１６×８ＭＢ区分と、２つの８×１６ＭＢ区分と、４つの８×８ＭＢ区分とを含む、４つの異なる方法で区分され得る。１つのＭＢ中の異なるＭＢ区分は、各方向について異なる参照インデックス値（ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）を有し得る。いくつかの場合には、ＭＢが４つの８×８ＭＢ区分に区分されないとき、ＭＢは、各ＭＢ区分について各方向において１つの動きベクトルのみを有することができる。いくつかの場合には、ＭＢが４つの８×８ＭＢ区分に区分されるとき、各８×８ＭＢ区分は、サブブロックにさらに区分され得、その場合、各サブブロックは、各方向において異なる動きベクトルを有することができる。いくつかの例では、８×８ＭＢ区分から、１つの８×８サブブロックと、２つの８×４サブブロックと、２つの４×８サブブロックと、４つの４×４サブブロックとを含むサブブロックを得るための４つの異なる方法がある。各サブブロックは、各方向において異なる動きベクトルを有することができる。したがって、動きベクトルは、サブブロックよりも高いに等しいレベルにおいて存在する。

【0106】

[0115] ＡＶＣでは、時間直接モードは、Ｂスライス中のスキップおよび／または直接モードについてＭＢレベルまたはＭＢ区分レベルのいずれかにおいて有効にされ得る。各ＭＢ区分について、動きベクトルを導出するために、現在のブロックのＲｅｆＰｉｃＬｉｓｔ１［０］中の現在のＭＢ区分とコロケートされたブロックの動きベクトルが使用される。コロケートされたブロック中の各動きベクトルは、ＰＯＣ距離に基づいてスケーリングされる。

【0107】

[0116] 空間直接モードはまた、ＡＶＣで実施され得る。たとえば、ＡＶＣでは、直接モードはまた、空間ネイバーから動き情報を予測することができる。

【0108】

[0117] 上述のように、ＨＥＶＣでは、スライス中の最大コーディングユニットはコーディングツリーブロック（ＣＴＢ）と呼ばれる。ＣＴＢはクワッドツリーを含んでおり、そのノードはコーディングユニットである。ＣＴＢのサイズは、ＨＥＶＣメインプロファイルにおいて１６×１６から６４×６４にわたることができる。いくつかの場合には、８×８ＣＴＢサイズがサポートされ得る。コーディングユニット（ＣＵ）は、ＣＴＢの同じサイズであり、８×８程度に小さくなり得る。いくつかの場合には、各コーディングユニットは１つのモードでコーディングされる。ＣＵがインターコーディングされるとき、ＣＵは、２つまたは４つの予測ユニット（ＰＵ）にさらに区分され得るか、あるいは、さらなる区分が適用されないとき、ただ１つのＰＵになり得る。１つのＣＵ中に２つのＰＵが存在するとき、それらは半分のサイズの矩形、あるいはＣＵの１／４または３／４のサイズを有する２つの矩形であり得る。

【0109】

[0118] ＣＵがインターコーディングされるとき、各ＰＵについて動き情報の１つのセットが存在する。さらに、各ＰＵは、動き情報のセットを導出するために固有のインター予測モードでコーディングされる。

【0110】

[0119] たとえば、ＨＥＶＣにおける動き予測の場合、予測ユニット（ＰＵ）のためのマージモードと高度動きベクトル予測（ＡＭＶＰ）モードとを含む、２つのインター予測モードがある。スキップは、マージの特殊な場合と見なされる。ＡＭＶＰモードまたはマージモードのいずれかでは、動きベクトル（ＭＶ）候補リストが、複数の動きベクトル予測子について維持される。現在のＰＵの、（１つまたは複数の）動きベクトル、ならびにマージモードにおける参照インデックスは、ＭＶ候補リストから１つの候補をとることによって生成される。いくつかの例では、１つまたは複数のスケーリングウィンドウオフセットが、記憶された動きベクトルとともにＭＶ候補リスト中に含まれ得る。

【0111】

[0120] ＭＶ候補リストがブロックの動き予測のために使用される例では、ＭＶ候補リストは、符号化デバイスと復号デバイスとによって別個に構築され得る。たとえば、ＭＶ候補リストは、ブロックを符号化するときに符号化デバイスによって生成され得、ブロックを復号するときに復号デバイスによって生成され得る。ＭＶ候補リスト中の動き情報候補に関係する情報（たとえば、１つまたは複数の動きベクトルに関係する情報、場合によってはＭＶ候補リスト中に記憶され得る１つまたは複数のＬＩＣフラグに関係する情報、および／または他の情報）は、符号化デバイスと復号デバイスとの間でシグナリングされ得る。たとえば、マージモードでは、記憶された動き情報候補へのインデックス値が、（たとえば、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ビデオパラメータセット（ＶＰＳ）などのシンタックス構造、スライスヘッダ、ビデオビットストリーム中でまたはビデオビットストリームとは別個に送られる補足エンハンスメント情報（ＳＥＩ）メッセージ、および／あるいは他のシグナリング中で）符号化デバイスから復号デバイスにシグナリングされ得る。復号デバイスは、ＭＶ候補リストを構築し、動き補償予測のために使用するために、構築されたＭＶ候補リストから１つまたは複数の動き情報候補を取得するために、シグナリングされた参照またはインデックスを使用することができる。たとえば、復号デバイス１１２は、ＭＶ候補リストを構築し、ブロックの動き予測のために、インデックス付けされたロケーションからの動きベクトル（および、場合によっては、ＬＩＣフラグ）を使用し得る。ＡＭＶＰモードの場合、参照またはインデックスに加えて、差分または残差値もデルタとしてシグナリングされ得る。たとえば、ＡＭＶＰモードの場合、復号デバイスは、１つまたは複数のＭＶ候補リストを構築し、ブロックの動き補償予測を実施する際に、シグナリングされたインデックス値を使用して取得された１つまたは複数の動き情報候補に、デルタ値を適用することができる。

【0112】

[0121] いくつかの例では、ＭＶ候補リストは、マージモードのための最高５つの候補とＡＭＶＰモードのための２つの候補とを含んでいる。他の例では、異なる数の候補が、マージモードおよび／またはＡＭＶＰモードのためのＭＶ候補リスト中に含まれ得る。マージ候補は、動き情報のセットを含んでいることがある。たとえば、動き情報のセットは、両方の参照ピクチャリスト（リスト０およびリスト１）に対応する動きベクトルと、参照インデックスとを含むことができる。マージ候補がマージインデックスによって識別される場合、現在のブロックの予測のために参照ピクチャが使用され、ならびに関連する動きベクトルが決定される。しかしながら、ＡＭＶＰモードの下では、リスト０またはリスト１のいずれかからの各潜在的な予測方向について、ＡＭＶＰ候補が動きベクトルのみを含んでいるので、ＭＶ候補リストへのＭＶＰインデックスとともに参照インデックスが明示的にシグナリングされる必要がある。ＡＭＶＰモードでは、予測される動きベクトルはさらに改良され得る。

【0113】

[0122] 上記でわかるように、マージ候補は動き情報のフルセットに対応し、ＡＭＶＰ候補は、特定の予測方向および参照インデックスのためのただ１つの動きベクトルを含んでいる。両方のモードのための候補は、同じ空間および時間近隣ブロックから同様に導出される。

【0114】

[0123] いくつかの例では、マージモードは、インター予測ＰＵが、空間的に近隣する動きデータ位置と２つの時間的にコロケートされた動きデータ位置のうちの１つとのグループから選択される動きデータ位置を含むインター予測ＰＵから、１つまたは複数の同じ動きベクトルと、予測方向と、１つまたは複数の参照ピクチャインデックスとを継承することを可能にする。ＡＭＶＰモードの場合、ＰＵの１つまたは複数の動きベクトルは、エンコーダおよび／またはデコーダによって構築されたＡＭＶＰ候補リストからの１つまたは複数の動きベクトル予測子（ＭＶＰ）に対して叙述的にコーディングされ得る。いくつかの事例では、ＰＵの単一方向インター予測の場合、エンコーダおよび／またはデコーダは、単一のＡＭＶＰ候補リストを生成することができる。いくつかの事例では、ＰＵの双方向予測の場合、エンコーダおよび／またはデコーダは、１つが前方予測方向からの空間および時間近隣ＰＵの動きデータを使用し、１つが後方予測方向からの空間および時間近隣ＰＵの動きデータを使用する、２つのＡＭＶＰ候補リストを生成することができる。

【0115】

[0124] 両方のモードのための候補は、空間および／または時間近隣ブロックから導出され得る。たとえば、図２Ａおよび図２Ｂは、空間近隣候補を示す概念図を含む。図２Ａは、マージモードのための空間近隣動きベクトル（ＭＶ）候補を示す。図２Ｂは、ＡＭＶＰモードのための空間近隣動きベクトル（ＭＶ）候補を示す。空間ＭＶ候補は、特定のＰＵ（ＰＵ０）について、近隣ブロックから導出されるが、ブロックから候補を生成する方法は、マージモードおよびＡＭＶＰモードについて異なる。

【0116】

[0125] マージモードでは、エンコーダは、様々な動きデータ位置からマージング候補を考慮することによって、マージング候補リストを形成することができる。たとえば、図２Ａに示されているように、最高５つの空間ＭＶ候補が、図２Ａにおいて番号０～４で示されている空間的に近隣する動きデータ位置に関して導出され得る。ＭＶ候補は、番号０～４によって示されている順序で、マージング候補リスト中で順序付けられ得る。たとえば、位置および順序は、左位置（０）と、上側位置（１）と、右上側位置（２）と、左下側位置（３）と、左上側位置（４）とを含むことができる。図２Ａでは、ブロック２００はＰＵ０ ２０２とＰＵ１ ２０４とを含む。いくつかの例では、ビデオコーダが、マージモードを使用してＰＵ０ ２０２のための動き情報をコーディングすべきであるとき、ビデオコーダは、空間近隣ブロック２１０、空間近隣ブロック２１２、空間近隣ブロック２１４、空間近隣ブロック２１６、および空間近隣ブロック２１８からの動き情報を、上記で説明された順序で候補リストに追加することができる。

【0117】

[0126] 図２Ｂに示されているＡＶＭＰモードでは、近隣ブロックは、２つのグループ、すなわち、ブロック０および１を含む左グループと、ブロック２、３、および４を含む上側グループとに分割される。図２Ｂでは、ブロック０、１、２、３、および４は、それぞれ、ブロック２３０、２３２、２３４、２３６、および２３８としてラベルをつけられている。ここで、ブロック２２０は、ＰＵ０ ２２２とＰＵ１ ２２４とを含み、ブロック２３０、２３２、２３４、２３６、および２３８は、ＰＵ０ ２２２に対する空間ネイバーを表す。各グループについて、シグナリングされた参照インデックスによって示された参照ピクチャと同じ参照ピクチャを参照する近隣ブロック中の潜在的候補が、グループの最終候補を形成するために選定されるべき最高優先度を有する。すべての近隣ブロックが、同じ参照ピクチャを指す動きベクトルを含んでいるとは限らない可能性がある。したがって、そのような候補が見つけられ得ない場合、第１の利用可能な候補は、最終候補を形成するためにスケーリングされることになり、したがって時間距離差分が補償され得る。

【0118】

[0127] 図３Ａおよび図３Ｂは、時間動きベクトル予測を示す概念図を含む。図３Ａは、ＰＵ０ ３０２とＰＵ１ ３０４とを含む例示的なＣＵ３００を示す。ＰＵ０ ３０２は、ＰＵ０ ３０２のための中心ブロック３１０とＰＵ０ ３０２に対する右下ブロック３０６とを含む。図３Ａはまた、以下で説明されるように、動き情報がＰＵ０ ３０２の動き情報からそれについて予測され得る外部ブロック３０８を示す。図３Ｂは、動き情報がそれについて予測されるべきである現在のブロック３２６を含む現在のピクチャ３４２を示す。図３Ｂはまた、（現在のブロック３２６に対するコロケートされたブロック３２４を含む）現在のピクチャ３４２に対するコロケートされたピクチャ３３０と、現在の参照ピクチャ３４０と、コロケートされた参照ピクチャ３３２とを示す。コロケートされたブロック３２４は、ブロック３２６の動き情報のための時間動きベクトル予測子（ＴＭＶＰ）候補３２２として使用される、コロケートされた動きベクトル３２０を使用して予測される。

【0119】

[0128] ビデオコーダは、時間動きベクトル予測子（ＴＭＶＰ：temporal motion vector predictor）候補（たとえば、ＴＭＶＰ候補３２２）を、有効にされ、利用可能である場合、任意の空間動きベクトル候補の後にＭＶ候補リストに追加することができる。ＴＭＶＰ候補のための動きベクトル導出のプロセスは、マージモードとＡＭＶＰモードの両方について同じである。しかしながら、いくつかの事例では、マージモードでのＴＭＶＰ候補のためのターゲット参照インデックスは、常に０に設定される。

【0120】

[0129] ＴＭＶＰ候補導出のための１次ブロックロケーションは、空間近隣候補を生成するために使用される上側および左ブロックへのバイアスを補償するための、図３Ａに示されているような、コロケートされたＰＵ３０４の外側の右下ブロック３０６である。しかしながら、ブロック３０６が、（たとえば、図３Ａ中のブロック３０８によって示されているように）現在のＣＴＢ（またはＬＣＵ）行の外側に位置する場合、またはブロック３０６のための動き情報が利用可能でない場合、ブロックはＰＵ３０２の中心ブロック３１０と置換される。

【0121】

[0130] 図３Ｂを参照すると、ＴＭＶＰ候補３２２のための動きベクトルは、スライスレベルで示されるコロケートされたピクチャ３３０のコロケートされたブロック３２４から導出され得る。ＡＶＣにおける時間直接モードと同様に、ＴＭＶＰ候補の動きベクトルは、動きベクトルスケーリングを受けることがあり、動きベクトルスケーリングは、現在のピクチャ３４２と現在の参照ピクチャ３４０との間の、およびコロケートされたピクチャ３３０とコロケートされた参照ピクチャ３３２との間の距離差分を補償するために実施される。すなわち、動きベクトル３２０は、現在のピクチャ（たとえば、現在のピクチャ３４２）と現在の参照ピクチャ（たとえば、現在の参照ピクチャ３４０）との間の、およびコロケートされたピクチャ（たとえば、コロケートされたピクチャ３３０）とコロケートされた参照ピクチャ（たとえば、コロケートされた参照ピクチャ３３２）との間の距離差分に基づいてＴＭＶＰ候補３２２を作り出すためにスケーリングされ得る。

【0122】

[0131] 動き予測の他の態様は、ＨＥＶＣ規格および／あるいは他の規格、フォーマット、またはコーデックにおいてカバーされる。たとえば、マージモードおよびＡＭＶＰモードのいくつかの他の態様がカバーされる。一態様は動きベクトルスケーリングを含む。動きベクトルスケーリングに関して、動きベクトルの値は、提示時間におけるピクチャの距離に比例すると仮定され得る。動きベクトルは、２つのピクチャ、すなわち、参照ピクチャと、動きベクトルを含んでいるピクチャ（すなわち、含有（containing）ピクチャ）とを関連付ける。他の動きベクトルを予測するために動きベクトルが利用されるとき、含有ピクチャと参照ピクチャとの距離は、ピクチャ順序カウント（ＰＯＣ）値に基づいて計算される。

【0123】

[0132] 予測されるべき動きベクトルについて、それの関連する含有ピクチャと参照ピクチャの両方は異なり得る。したがって、（ＰＯＣに基づく）新しい距離が計算される。その上、動きベクトルは、これらの２つのＰＯＣ距離に基づいてスケーリングされ得る。空間近隣候補では、２つの動きベクトルのための含有ピクチャは同じであるが、参照ピクチャは異なる。ＨＥＶＣでは、動きベクトルスケーリングは、空間および時間近隣候補のためにＴＭＶＰとＡＭＶＰの両方に適用される。

【0124】

[0133] 動き予測の別の態様は擬似動きベクトル候補生成を含む。たとえば、動きベクトル候補リストが完全でない場合、擬似動きベクトル候補が生成され、すべての候補が取得されるまでリストの最後に挿入される。マージモードでは、２つのタイプの擬似ＭＶ候補、すなわち、Ｂスライスについてのみ導出された組合せ候補と、第１のタイプが十分な擬似候補を提供しない場合にＡＭＶＰのためにのみ使用される０候補とがある。すでに候補リスト中にあり、必要な動き情報を有する候補の各ペアについて、双方向組合せ動きベクトル候補が、リスト０中のピクチャを参照する第１の候補の動きベクトルと、リスト１中のピクチャを参照する第２の候補の動きベクトルとの組合せによって導出される。

【0125】

[0134] いくつかの実装形態では、ＭＶ候補リストに新しい候補を追加または挿入するとき、プルーニングプロセスが実施され得る。たとえば、いくつかの場合には、異なるブロックからのＭＶ候補が同じ情報を含むことが可能である。そのような場合、ＭＶ候補リスト中の複数のＭＶ候補の重複する動き情報を記憶することは、ＭＶ候補リストの冗長および効率の減少につながることがある。いくつかの例では、プルーニングプロセスは、ＭＶ候補リスト中の冗長をなくすかまたは最小限に抑えることができる。たとえば、プルーニングプロセスは、ＭＶ候補リストに追加されるべき潜在的ＭＶ候補を、ＭＶ候補リストにすでに記憶されたＭＶ候補と比較することを含むことができる。１つの例示的な例では、記憶された動きベクトルの（現在のブロックの位置に対する参照ブロックの位置を示す）水平変位（Δｘ）および垂直変位（Δｙ）は、潜在的候補の動きベクトルの水平変位（Δｘ）および垂直変位（Δｙ）と比較され得る。その比較が、潜在的候補の動きベクトルが１つまたは複数の記憶された動きベクトルのいずれにも一致しないことを明らかにした場合、潜在的候補は、プルーニングされるべき候補と見なされず、ＭＶ候補リストに追加され得る。この比較に基づいて一致が見つけられた場合、潜在的ＭＶ候補は、ＭＶ候補リストに追加されず、これは、同一の候補の挿入を回避する。いくつかの場合には、複雑さを低減するために、各潜在的ＭＶ候補をすべての既存の候補と比較する代わりに、プルーニングプロセス中に、限られた数の比較のみが実施される。

【0126】

[0135] ＨＥＶＣなど、いくつかのコーディング方式では、重み付き予測（ＷＰ）がサポートされ、その場合、（ａによって示される）スケーリングファクタ、（ｓによって示される）シフト数、および（ｂによって示される）オフセットが、動き補償において使用される。参照ピクチャの位置（ｘ，ｙ）におけるピクセル値がｐ（ｘ，ｙ）であると仮定すると、動き補償における予測値として、ｐ（ｘ，ｙ）の代わりにｐ’（ｘ，ｙ）＝（（ａ＊ｐ（ｘ，ｙ）＋（１＜＜（ｓ－１）））＞＞ｓ）＋ｂが使用される。

【0127】

[0136] ＷＰが有効にされるとき、現在のスライスの各参照ピクチャについて、ＷＰが参照ピクチャのために適用されるか否かを示すためのフラグがシグナリングされる。ＷＰが１つの参照ピクチャについて適用される場合、ＷＰパラメータのセット（すなわち、ａ、ｓおよびｂ）がデコーダに送られ、参照ピクチャからの動き補償のために使用される。いくつかの例では、ルーマおよびクロマ成分のためのＷＰをフレキシブルにオン／オフするために、ＷＰフラグおよびＷＰパラメータは、ルーマ成分とクロマ成分とについて別個にシグナリングされる。ＷＰでは、ＷＰパラメータの１つの同じセットが、１つの参照ピクチャ中のすべてのピクセルのために使用される。

【0128】

[0137] 図４Ａは、単方向インター予測のために使用される、現在のブロック４０２のネイバーの再構築されたサンプルと、参照ブロック４０４のネイバーサンプルとの一例を示す図である。現在のブロック４０２のために動きベクトルＭＶ４１０がコーディングされ得、ここで、ＭＶ４１０は、参照ブロック４０４を識別するための、参照ピクチャリストへの参照インデックス、および／または他の動き情報を含むことができる。たとえば、ＭＶは、現在のピクチャにおける座標位置から、参照インデックスによって識別される参照ピクチャにおける座標へのオフセットを提供する水平成分と垂直成分とを含むことができる。図４Ｂは、双方向インター予測のために使用される、現在のブロック４２２のネイバーの再構築されたサンプルと、第１の参照ブロック４２４および第２の参照ブロック４２６のネイバーサンプルとの一例を示す図である。この場合、現在のブロック４２２のために、２つの動きベクトルＭＶ０およびＭＶ１が、それぞれ、第１の参照ブロック４２４および第２の参照ブロック４２６を識別するためにコーディングされ得る。

【0129】

[0138] 前に説明されたように、ＯＢＭＣは、動き補償のために実装され得る例示的な動き補償技術である。ＯＢＭＣは、予測正確さを増加させ、ブロッキングアーティファクトを回避することができる。ＯＢＭＣでは、予測は、複数の予測の重み付き和であるか、またはそれを含むことができる。いくつかの場合には、ブロックは、各次元において、より大きくなり得、近隣ブロックと象限的に重複することがある。したがって、各ピクセルは、複数のブロックに属し得る。たとえば、いくつかの例示的な場合では、各ピクセルは、４つのブロックに属し得る。そのような方式では、ＯＢＭＣは、各ピクセルについて４つの予測を実装し得、それらは、重み付き平均まで合計される。

【0130】

[0139] いくつかの場合には、ＯＢＭＣは、ＣＵレベルにおける特定のシンタックスを使用してオンおよびオフに切り替えられ得る。いくつかの例では、ＣＵ境界ＯＢＭＣモードとサブブロック境界ＯＢＭＣモードとを含む、ＯＢＭＣにおける２つの方向モード（たとえば、上、左、右、下または下側）がある。ＣＵ境界ＯＢＭＣモードが使用されるとき、現在のＣＵ ＭＶを使用する元の予測ブロックと、近隣ＣＵ ＭＶを使用する別の予測ブロック（たとえば、「ＯＢＭＣブロック」）とがブレンドされる。いくつかの例では、ＣＵ中の左上サブブロック（たとえば、ＣＵの第１の／上行上の第１のまたは最左サブブロック）は、上および左ＯＢＭＣブロックを有し、他の最上サブブロック（たとえば、ＣＵの第１の／上行上の他のサブブロック）は、上ＯＢＭＣブロックのみを有し得る。他の最左サブブロック（たとえば、ＣＵの左側のＣＵの第１の列上のサブブロック）は、左ＯＢＭＣブロックのみを有し得る。

【0131】

[0140] サブブロック境界ＯＢＭＣモードは、サブＣＵコーディングツールが現在のＣＵにおいて有効にされるとき、有効にされ得（たとえば、アフィン動き補償予測、高度時間動きベクトル予測（ＡＴＭＶＰ）など）、これは、サブブロックベースでの異なるＭＶを可能にする。サブブロック境界ＯＢＭＣモードでは、接続された近隣サブブロックのＭＶを使用する別個のＯＢＭＣブロックが、現在のサブブロックのＭＶを使用する元の予測ブロックとブレンドされ得る。いくつかの例では、サブブロック境界ＯＢＭＣモードでは、接続された近隣サブブロックのＭＶを使用する別個のＯＢＭＣブロックが、本明細書でさらに説明されるように、現在のサブブロックのＭＶを使用する元の予測ブロックと並列にブレンドされ得る。他の例では、サブブロック境界モードでは、接続された近隣サブブロックのＭＶを使用する別個のＯＢＭＣブロックが、現在のサブブロックのＭＶを使用する元の予測ブロックと連続的にブレンドされ得る。いくつかの場合には、ＣＵ境界ＯＢＭＣモードは、サブブロック境界ＯＢＭＣモードの前に実施され得、サブブロック境界ＯＢＭＣモードのためのあらかじめ定義されたブレンディング順序は、上と、左と、下と、右とを含み得る。

【0132】

[0141] 近隣サブブロックＮ（たとえば、現在のサブブロックの上側の、現在のサブブロックの左の、現在のサブブロックの下側の、および現在のサブブロックの右のサブブロック）のＭＶに基づく予測が、Ｐ_Nとして示され得、現在のサブブロックのＭＶに基づく予測が、Ｐ_Cとして示され得る。サブブロックＮが、現在のサブブロックと同じ動き情報を含んでいるとき、元の予測ブロックは、サブブロックＮのＭＶに基づく予測ブロックとブレンドされないことがある。いくつかの場合には、Ｐ_N中の４つの行／列のサンプルが、Ｐ_C中の同じサンプルとブレンドされ得る。いくつかの例では、Ｐ_Nのために、重み付けファクタ１／４、１／８、１／１６、１／３２が使用され得、Ｐ_Cのために、対応する重み付けファクタ３／４、７／８、１５／１６、３１／３２が使用され得る。いくつかの場合には、コーディングブロックの高さまたは幅が４に等しいか、またはＣＵがサブＣＵモードでコーディングされる場合、Ｐ_N中の２つの行／列のみが、ＯＢＭＣブレンディングを可能にされ得る。

【0133】

[0142] 図５は、ＣＵ境界ＯＢＭＣモードのためのＯＢＭＣブレンディングの一例を示す図である。図５に示されているように、ＣＵ境界ＯＢＭＣモードが使用されるとき、現在のＣＵ動きベクトル（ＭＶ）を使用する（図５において「元のブロック」として示される）元の予測ブロックと、近隣ＣＵ ＭＶを使用する（図５において「ＯＢＭＣブロック」として示される）別の予測ブロックとがブレンドされる。ＣＵ５３０の最左上サブブロックが、上および左ＯＢＭＣブロックを有することができ、それらは、本明細書で説明されるように、ブレンドされたブロックを生成するために使用され得る。ＣＵ５３０の他の最上サブブロックは上ＯＢＭＣブロックのみを有し、それは、本明細書で説明されるように、ブレンドされたブロックを生成するために使用され得る。たとえば、ＣＵ５３０の上に位置するサブブロック５０２は、図５においてＯＢＭＣサブブロック５０４として示されている、上ＯＢＭＣブロックのみを有する。ＯＢＭＣサブブロック５０４は、１つまたは複数のサブブロックを含み得る、上近隣ＣＵのサブブロックであり得る。ＣＵ５３０の他の最左サブブロックは左ＯＢＭＣブロックのみを有し、それは、本明細書で説明されるように、ブレンドされたブロックを生成するために使用され得る。たとえば、ＣＵ５３０のサブブロック５０６は、図５においてＯＢＭＣサブブロック５０８として示されている、左ＯＢＭＣブロックのみを有する。ＯＢＭＣサブブロック５０８は、１つまたは複数のサブブロックを含み得る、左近隣ＣＵのサブブロックであり得る。

【0134】

[0143] 図５に示されている例では、サブブロック５０２およびＯＢＭＣサブブロック５０４は、ブレンドされたブロック５１５を生成するために使用され得る。たとえば、サブブロック５０２についての第１の予測結果を生成するために、サブブロック５０２のロケーションにおけるＣＵ５３０のサンプルは、サブブロック５０２のＭＶを使用して予測され、次いで、重みファクタ５１０を乗算され得る。同様に、サブブロック５０２についての第２の予測結果を生成するために、サブブロック５０２のロケーションにおけるＣＵ５３０のサンプルは、ＯＢＭＣサブブロック５０４のＭＶを使用して予測され、次いで、重みファクタ５１２を乗算され得る。サブブロック５０２について生成された第１の予測結果は、ブレンドされたブロック５１５を導出するために、サブブロック５０２について生成された第２の予測結果と加算され得る。重みファクタ５１０は、重みファクタ５１２と同じであるかまたはそれとは異なり得る。いくつかの例では、重みファクタ５１０は重みファクタ５１２とは異なり得る。いくつかの場合には、重みファクタ５１０は、サブブロック５０２からブレンドされている画像データおよび／またはサンプルのＣＵ境界までの（たとえば、ＣＵ５３０の境界までの）距離に依存することがあり、重みファクタ５１２は、サブブロック５０２からブレンドされている画像データおよび／またはサンプルのＣＵ境界までの（たとえば、ＣＵ５３０の境界までの）距離に依存することがある。重みファクタ５１０と重みファクタ５１２とは合計１になり得る。

【0135】

[0144] サブブロック５０６およびＯＢＭＣサブブロック５０８は、ブレンドされたブロック５２０を生成するために使用され得る。たとえば、サブブロック５０６についての第１の予測結果を生成するために、サブブロック５０６のロケーションにおけるＣＵ５３０のサンプルは、サブブロック５０６のＭＶを使用して予測され、次いで、重みファクタ５１６を乗算され得る。同様に、サブブロック５０６についての第２の予測結果を生成するために、サブブロック５０６のロケーションにおけるＣＵ５３０のサンプルは、ＯＢＭＣサブブロック５０８のＭＶを使用して予測され、次いで、重みファクタ５１８を乗算され得る。サブブロック５０６について生成された第１の予測結果は、ブレンドされたブロック５２０を導出するために、サブブロック５０６について生成された第２の予測結果と加算され得る。重みファクタ５１６は、重みファクタ５１８と同じであるかまたはそれとは異なり得る。いくつかの例では、重みファクタ５１６は重みファクタ５１８とは異なり得る。いくつかの場合には、重みファクタ５１６は、サブブロック５０６からブレンドされている画像データおよび／またはサンプルのＣＵ境界までの（たとえば、ＣＵ５３０の境界までの）距離に依存することがあり、重みファクタ５１８は、サブブロック５０６からブレンドされている画像データおよび／またはサンプルのＣＵ境界までの（たとえば、ＣＵ５３０の境界までの）距離に依存することがある。

【0136】

[0145] 図６は、サブブロック境界ＯＢＭＣモードのためのＯＢＭＣブレンディングの一例を示す図である。いくつかの例では、サブブロック境界ＯＢＭＣモードは、サブＣＵコーディングツール、たとえば、アフィンモードまたはツール、高度時間動きベクトル予測（ＡＴＭＶＰ）モードまたはツールなどが現在のＣＵのために有効にされるとき、有効にされ得る。図６に示されているように、４つの接続された近隣サブブロックのＭＶを使用する４つの別個のＯＢＭＣブロックが、現在のサブブロックＭＶを使用する元の予測ブロックとブレンドされる。言い換えれば、４つの別個のＯＢＭＣブロックからのＭＶが、現在のサブブロックＭＶを使用する元の予測に加えて現在のサブブロック６０２のサンプルの４つの予測を生成するために使用され、次いで、ブレンドされたブロック６２５を形成するために元の予測と組み合わせられる。たとえば、ＣＵ６３０のサブブロック６０２は、近隣ＯＢＭＣブロック６０４～６１０とブレンドされ得る。いくつかの場合には、サブブロック６０２は、サブブロック境界ＯＢＭＣモードのためのブレンディング順序に従ってＯＢＭＣブロック６０４～６１０とブレンドされ得る。いくつかの例では、ブレンディング順序は、上ＯＢＭＣブロック（たとえば、ＯＢＭＣブロック６０４）と、左ＯＢＭＣブロック（たとえば、ＯＢＭＣブロック６０６）と、下ＯＢＭＣブロック（たとえば、ＯＢＭＣブロック６０８）と、最後に右ＯＢＭＣブロック（たとえば、ＯＢＭＣブロック６１０）とを含むことができる。いくつかの場合には、サブブロック６０２は、本明細書でさらに説明されるように、ＯＢＭＣブロック６０４～６１０と並列にブレンドされ得る。

【0137】

[0146] 図６に示されている例では、サブブロック６０２は、式６２２に従って各ＯＢＭＣブロック６２０とブレンドされ得る。式６２２は、ＯＢＭＣブロック６０４～６１０の各々について１回実施され得、それぞれの結果が、ブレンドされたブロック６２５を生成するために加算され得る。たとえば、式６２２中のＯＢＭＣブロック６２０は、ＯＢＭＣブロック６０４～６１０からの式６２２中で使用されるＯＢＭＣブロックを表すことができる。いくつかの例では、重み測定ファクタ６１２が、ブレンドされているサブブロック６０２内の画像データおよび／またはサンプルのロケーションに依存することがある。いくつかの例では、重み測定ファクタ６１２は、ブレンドされているそれぞれのＯＢＭＣブロック（たとえば、ＯＢＭＣブロック６０４、ＯＢＭＣブロック６０６、ＯＢＭＣブロック６０８、ＯＢＭＣブロック６１０）からの画像データおよび／またはサンプルの距離に依存することがある。

【0138】

[0147] 例示のために、ＯＢＭＣブロック６２０は、ＯＢＭＣブロック６０４のＭＶを使用する予測が、式６２２に従って、サブブロック６０２のＭＶを使用する予測とブレンドされるとき、ＯＢＭＣブロック６０４を表すことができる。ここで、サブブロック６０２の元の予測は、重み測定ファクタ６１２を乗算され得、その結果が、ＯＢＭＣブロック６０４のＭＶを使用する予測に重み測定ファクタ６１４を乗算したことの結果と加算され得る。ＯＢＭＣブロック６２０はまた、ＯＢＭＣブロック６０６のＭＶを使用する予測が、式６２２に従って、サブブロック６０２のＭＶを使用する予測とブレンドされるとき、ＯＢＭＣブロック６０６を表すことができる。ここで、サブブロック６０２の元の予測は、重み測定ファクタ６１２を乗算され得、その結果が、ＯＢＭＣブロック６０６のＭＶを使用する予測に重み測定ファクタ６１４を乗算したことの結果と加算され得る。ＯＢＭＣブロック６２０は、さらに、ＯＢＭＣブロック６０８のＭＶを使用する予測が、式６２２に従って、サブブロック６０２のＭＶを使用する予測とブレンドされるとき、ＯＢＭＣブロック６０８を表すことができる。サブブロック６０２の元の予測は、重み測定ファクタ６１２を乗算され得、その結果が、ＯＢＭＣブロック６０８のＭＶを使用する予測に重み測定ファクタ６１４を乗算したことの結果と加算され得る。最後に、ＯＢＭＣブロック６２０は、ＯＢＭＣブロック６１０のＭＶを使用する予測が、式６２２に従って、サブブロック６０２のＭＶを使用する予測とブレンドされるとき、ＯＢＭＣブロック６１０を表すことができる。サブブロック６０２の元の予測は、重み測定ファクタ６１２を乗算され得、その結果が、ＯＢＭＣブロック６１０のＭＶを使用する予測に重み測定ファクタ６１４を乗算したことの結果と加算され得る。ＯＢＭＣブロック６０４～６１０の各々についての式６２２からの結果は、ブレンドされたブロック６２５を導出するために加算され得る。

【0139】

[0148] 式６２２に従う並列ブレンディングは、並列ハードウェア算出設計にとって使いやすく、等しくない重み付けを回避または制限すること、不整合を回避することなどを行うことができる。たとえば、ＪＥＭでは、サブブロック境界ＯＢＭＣモードのためのあらかじめ定義された連続ブレンディング順序は、上、左、下側、および右である。この順序は、算出複雑さを増加させ、性能を減少させ、等しくない重み付けを生じ、および／または不整合をもたらすことがある。いくつかの例では、この連続順序は、連続算出が並列ハードウェア設計にとって使いやすくないので、問題をもたらすことがある。その上、この連続順序は、等しくない重み付けを生じることがある。たとえば、ブレンディングプロセス中に、後のサブブロックブレンディングにおける近隣サブブロックのＯＢＭＣブロックが、以前のサブブロックブレンディングにおいてよりも多く、最終サンプル予測値に寄与し得る。

【0140】

[0149] 一方、本明細書で説明されるシステムおよび技法は、図６に示されているように並列ブレンディングを実装する１つの式において、４つのＯＢＭＣサブブロックをもつ現在のサブブロックの予測値をブレンドすることができ、特定の近隣サブブロックを選好することなしに重み付けファクタを固定することができる。たとえば、並列ブレンディングを実装する式を使用すると、最終予測Ｐは、Ｐ＝ｗ１＊Ｐ_c＋ｗ２＊Ｐ_top＋ｗ３＊Ｐ_left＋ｗ４＊Ｐ_below＋ｗ５＊Ｐ_rightであり得、ここで、Ｐ_topは、上近隣サブブロックのＭＶに基づく予測であり、Ｐ_leftは、左近隣サブブロックのＭＶに基づく予測であり、Ｐ_belowは、下側近隣サブブロックのＭＶに基づく予測であり、Ｐ_rightは、右近隣サブブロックのＭＶに基づく予測であり、ｗ１、ｗ２、ｗ３、ｗ４、およびｗ５は、それぞれの重み付けファクタである。いくつかの場合には、重みｗ１は、１－ｗ２－ｗ３－ｗ４－ｗ５に等しいことがある。近隣サブブロックＮのＭＶに基づく予測は、サブブロックＮまで最も遠い行／列中のサンプルにノイズを追加し／含め／導入し得るので、本明細書で説明されるシステムおよび技法は、それぞれ、近隣サブブロックＮに｛１番目に、２番目に、３番目に、４番目に｝最も近い現在のサブブロックのサンプル行／列について、重みｗ２、ｗ３、ｗ４、およびｗ５の各々についての値を｛ａ、ｂ、ｃ、０｝に設定することができる。

【0141】

[0150] たとえば、第１の要素ａ（たとえば、重み付けファクタａ）は、それぞれの近隣サブブロックＮに最も近いサンプル行または列についてのものであり得、最後の要素０は、それぞれの近隣サブブロックＮまで最も遠いサンプル行または列についてのものであり得る。例示のために、４×４サンプルのサイズを有する現在のサブブロックの左上サンプルに対する位置（０，０）、（０，１）、および（１，１）を例として使用すると、最終予測Ｐ（ｘ，ｙ）は、以下のように導出され得る。

【0142】

【数3】

【0143】

[0151] ４×４の現在のサブブロックについての近隣ＯＢＭＣサブブロックからの重み付けファクタの例示的な和（たとえば、ｗ２＋ｗ３＋ｗ４＋ｗ５）は、図７に示されている表７００に示されているようなものであり得る。いくつかの場合には、重み付けファクタは、除算演算を回避するために左シフトされ得、これは、算出複雑さ／負担を増加させ、および／または結果の不整合をもたらすことがある。たとえば、｛ａ’、ｂ’、ｃ’、０｝は、｛ａ＜＜ｓｈｉｆｔ、ｂ＜＜ｓｈｉｆｔ、ｃ＜＜ｓｈｉｆｔ、０｝であるように設定され得、ここで、ｓｈｉｆｔは正の整数である。この例では、重みｗ１は、（１＜＜ｓｈｉｆｔ）－ａ’－ｂ’－ｃ’に等しいことがあり、Ｐは、（ｗ１＊Ｐ_c＋ｗ２＊Ｐ_top＋ｗ３＊Ｐ_left＋ｗ４＊Ｐ_below＋ｗ５＊Ｐ_right＋（１＜＜（ｓｈｉｆｔ－１）））＞＞ｓｈｉｆｔに等しいことがある。｛ａ’、ｂ’、ｃ’、０｝を設定するための例示的な例は、｛１５、８、３、０｝であり、ここで、それらの値は、元の値の６左シフトされた結果であり、ｗ１は、（１＜＜６）－ａ－ｂ－ｃに等しい。Ｐ＝（ｗ１＊Ｐ_c＋ｗ２＊Ｐ_top＋ｗ３＊Ｐ_left＋ｗ４＊Ｐ_below＋ｗ５＊Ｐ_right＋（１＜＜５））＞＞６。

【0144】

[0152] いくつかの態様では、ｗ２、ｗ３、ｗ４、およびｗ５の値は、それぞれ、近隣サブブロックＮに｛１番目に、２番目に、３番目に、４番目に｝最も近い現在のサブブロックのサンプル行／列について、｛ａ、ｂ、０、０｝に設定され得る。例示のために、４×４サンプルのサイズを有する現在のサブブロックの左上サンプルに対する位置（０，０）、（０，１）、および（１，１）を例として使用すると、最終予測Ｐ（ｘ，ｙ）は、以下のように導出され得る。

【0145】

【数4】

【0146】

[0153] ４×４の現在のサブブロックについての近隣ＯＢＭＣサブブロックからの重み付けファクタの例示的な和（たとえば、ｗ２＋ｗ３＋ｗ４＋ｗ５）は、図８に示されている表８００に示されている。図示のように、いくつかの例では、重み付けファクタは、コーナーサンプル（たとえば、（０，０）、（０，３）、（３，０）、および（３，３）におけるサンプル）におけるｗ２＋ｗ３＋ｗ４＋ｗ５の和が他の境界サンプル（たとえば、（０，１）、（０，２）、（１，０）、（２，０）、（３，１）、（３，２）、（１，３）、および（２，３）におけるサンプル）におけるｗ２＋ｗ３＋ｗ４＋ｗ５の和よりも大きく、および／または境界サンプルにおけるｗ２＋ｗ３＋ｗ４＋ｗ５の和が中間サンプル（たとえば、（１，１）、（１，２）、（２，１）、および（２，２）におけるサンプル）における値よりも大きいように、選定され得る。

【0147】

[0154] いくつかの場合には、いくつかの動き補償が、現在のサブブロックのＭＶと、それの空間近隣ブロック／サブブロック（たとえば、上、左、下側、および右）のＭＶとの間の類似度に基づいて、ＯＢＭＣプロセス中にスキップされ得る。たとえば、動き補償が、所与の近隣ブロック／サブブロックからの動き情報を使用して呼び出される前に、毎回、（１つまたは複数の）近隣ブロック／サブブロックの（１つまたは複数の）ＭＶが、以下の１つまたは複数の条件に基づいて現在のサブブロックの（１つまたは複数の）ＭＶと比較され得る。１つまたは複数の条件は、たとえば、近隣ブロック／サブブロックによって使用されるすべての予測リスト（たとえば、単予測におけるリストＬ０またはリストＬ１、あるいは双予測におけるＬ０とＬ１の両方）が、現在のサブブロックの予測のためにも使用されるという第１の条件、（１つまたは複数の）同じ参照ピクチャが、（１つまたは複数の）近隣ブロック／サブブロックの（１つまたは複数の）ＭＶと、現在のサブブロックの（１つまたは複数の）ＭＶとによって使用されるという第２の条件、および／または（１つまたは複数の）近隣ＭＶと（１つまたは複数の）現在のＭＶとの間の水平ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔよりも大きくなく、（１つまたは複数の）近隣ＭＶと（１つまたは複数の）現在のＭＶとの間の垂直ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔよりも大きくないという第３の条件（双予測が使用される場合、Ｌ０ ＭＶとＬ１ ＭＶの両方が検査され得る）を含むことができる。

【0148】

[0155] いくつかの例では、第１の条件、第２の条件、および第３の条件が満たされる場合、所与の近隣ブロック／サブブロックを使用する動き補償が実施されず、所与の近隣ブロック／サブブロックＮのＭＶを使用するＯＢＭＣサブブロックが、無効にされ、元のサブブロックとブレンドされない。いくつかの場合には、ＣＵ境界ＯＢＭＣモードとサブブロック境界ＯＢＭＣモードとは、しきい値Ｔの異なる値を有することができる。モードがＣＵ境界ＯＢＭＣモードである場合、ＴはＴ１に設定され、他の場合、ＴはＴ２に設定され、ここで、Ｔ１およびＴ２は０よりも大きい。いくつかの場合には、条件が満たされるとき、近隣ブロック／サブブロックをスキップするための不可逆アルゴリズムが、サブブロック境界ＯＢＭＣモードのみに適用され得る。ＣＵ境界ＯＢＭＣモードは、代わりに、近隣ブロック／サブブロックによって使用されるすべての予測リスト（たとえば、単予測におけるＬ０またはＬ１のいずれか、あるいは双予測におけるＬ０とＬ１の両方）が、現在のサブブロックの予測のためにも使用されるという第４の条件、（１つまたは複数の）同じ参照ピクチャが、（１つまたは複数の）近隣ＭＶと（１つまたは複数の）現在のＭＶとによって使用されるという第５の条件、および近隣ＭＶと現在のＭＶとが同じであるという第６の条件（双予測が使用される場合、Ｌ０ ＭＶとＬ１ ＭＶの両方が検査され得る）など、１つまたは複数の条件が満たされるとき、近隣ブロック／サブブロックをスキップするための可逆アルゴリズムを適用することができる。

【0149】

[0156] いくつかの場合には、第１の条件、第２の条件、および第３の条件が満たされるとき、近隣ブロック／サブブロックをスキップするための不可逆アルゴリズムは、ＣＵ境界ＯＢＭＣモードのみに適用される。いくつかの場合には、サブブロック境界ＯＢＭＣモードは、第４の条件、第５の条件、および第６の条件が満たされるとき、近隣ブロック／サブブロックをスキップするための可逆アルゴリズムを適用することができる。

【0150】

[0157] いくつかの態様では、ＣＵ境界ＯＢＭＣモードでは、符号化および復号時間を節約するために、不可逆高速アルゴリズムが実装され得る。たとえば、第１のＯＢＭＣブロックと隣接するＯＢＭＣブロックとは、１つまたは複数の条件が満たされる場合、より大きいＯＢＭＣブロックにマージされ、一緒に生成され得る。１つまたは複数の条件は、たとえば、現在のＣＵの第１の近隣ブロックによって使用されるすべての予測リスト（たとえば、単予測におけるＬ０またはＬ１のいずれか、あるいは双予測におけるＬ０とＬ１の両方）が、（第１の近隣ブロックと同じ方向にある）現在のＣＵの第２の近隣ブロックの予測のためにも使用されるという条件、（１つまたは複数の）同じ参照ピクチャが、第１の近隣ブロックのＭＶと第２の近隣ブロックのＭＶとによって使用されるという条件、および、第１の近隣ブロックのＭＶと第２の近隣ブロックのＭＶとの間の水平ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔ３よりも大きくなく、第１の近隣ブロックのＭＶと第２の近隣ブロックのＭＶとの間の垂直ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔ３よりも大きくないという条件（双予測が使用される場合、Ｌ０ ＭＶとＬ１ ＭＶの両方が検査され得る）を含むことができる。

【0151】

[0158] いくつかの態様では、サブブロック境界ＯＢＭＣモードでは、符号化および復号時間を節約するために、不可逆高速アルゴリズムが実装され得る。いくつかの例では、ＳｂＴＭＶＰモードおよびＤＭＶＲは８×８ベースで実施され、アフィン動き補償は４×４ベースで実施される。本明細書で説明されるシステムおよび技法は、８×８ベースでサブブロック境界ＯＢＭＣモードを実装することができる。いくつかの場合には、本明細書で説明されるシステムおよび技法は、８×８サブブロックが４つの４×４サブブロックにスプリットされるべきであるかどうかを決定するために、あらゆる８×８サブブロックにおいて類似度検査を実施することができ、スプリットされる場合、ＯＢＭＣが４×４ベースで実施される。

【0152】

[0159] 図９は、１つの８×８ブロック中のサブブロック９０２～９０８をもつ例示的なＣＵ９１０を示す図である。いくつかの例では、サブブロック境界ＯＢＭＣモードにおける不可逆高速アルゴリズムは、各８×８サブブロックについて、４つの４×４ＯＢＭＣサブブロック（たとえば、ＯＢＭＣサブブロック９０２（Ｐ）、ＯＢＭＣサブブロック９０４（Ｑ）、ＯＢＭＣサブブロック９０６（Ｒ）、およびＯＢＭＣサブブロック９０８（Ｓ））を含むことができる。ＯＢＭＣサブブロック９０２～９０８は、以下の条件、すなわち、サブブロック９０２（Ｐ）、９０４（Ｑ）、９０６（Ｒ）、および９０８（Ｓ）によって使用される（１つまたは複数の）予測リスト（たとえば、単予測におけるＬ０またはＬ１のいずれか、あるいは双予測におけるＬ０とＬ１の両方）が同じであるという第１の条件、（１つまたは複数の）同じ参照ピクチャがサブブロック９０２（Ｐ）、９０４（Ｑ）、９０６（Ｒ）、および９０８（Ｓ）のＭＶによって使用されるという第２の条件、ならびに任意の２つのサブブロック（たとえば、９０２（Ｐ）および９０４（Ｑ）、９０２（Ｐ）および９０６（Ｒ）、９０２（Ｐ）および９０８（Ｓ）、９０４（Ｑ）および９０６（Ｒ）、９０４（Ｑ）および９０８（Ｓ）、ならびに９０６（Ｒ）および９０８（Ｓ））のＭＶ間の水平ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔ４よりも大きくなく、任意の２つのサブブロック（たとえば、９０２（Ｐ）および９０４（Ｑ）、９０２（Ｐ）および９０６（Ｒ）、９０２（Ｐ）および９０８（Ｓ）、９０４（Ｑ）および９０６（Ｒ）、９０４（Ｑ）および９０８（Ｓ）、ならびに９０６（Ｒ）および９０８（Ｓ））のＭＶ間の垂直ＭＶ差分の絶対値が、あらかじめ定義されたＭＶ差分しきい値Ｔ４よりも大きくないという第３の条件（双予測が使用される場合、Ｌ０ ＭＶとＬ１ ＭＶの両方が検査され得る）のうちの少なくとも１つが満たされないとき、ＯＢＭＣブレンディングのために有効にされ得る。

【0153】

[0160] 上記の条件のすべてが満たされる場合、本明細書で説明されるシステムおよび技法は、８×８サブブロックＯＢＭＣを実施することができ、ここで、上、左、下側、および右ＭＶからの８×８ＯＢＭＣサブブロックが、サブブロック境界ＯＢＭＣモードのためのＯＢＭＣブレンディングを使用して生成される。そうではなく、上記の条件のうちの少なくとも１つが満たされないとき、ＯＢＭＣがこの８×８サブブロックにおいて４×４ベースで実施され、８×８サブブロック中のあらゆる４×４サブブロックが、上、左、下側、および右ＭＶから４つのＯＢＭＣサブブロックを生成する。

【0154】

[0161] いくつかの態様では、ＣＵがマージモードでコーディングされるとき、ＯＢＭＣフラグが、マージモードにおける動き情報コピーと同様の方法で、近隣ブロックからコピーされる。そうではなく、ＣＵがマージモードでコーディングされないとき、ＯＢＭＣフラグが、ＣＵについて、ＯＢＭＣが適用されるか否かを示すためにシグナリングされ得る。

【0155】

[0162] 図１０は、ＯＢＭＣを実施するための例示的なプロセス１０００を示すフローチャートである。ブロック１００２において、プロセス１０００は、ＯＢＭＣモードがビデオデータのブロックの現在のサブブロックのために有効にされると決定することを含むことができる。いくつかの例では、ＯＢＭＣモードは、サブブロック境界ＯＢＭＣモードを含むことができる。

【0156】

[0163] ブロック１００４において、プロセス１０００は、現在のサブブロックに関連する第１の予測と、現在のサブブロックの上ボーダーに隣接する第１のＯＢＭＣブロックに関連する第２の予測と、現在のサブブロックの左ボーダーに隣接する第２のＯＢＭＣブロックに関連する第３の予測と、現在のサブブロックの下ボーダーに隣接する第３のＯＢＭＣブロックに関連する第４の予測と、現在のサブブロックの右ボーダーに隣接する第４のＯＢＭＣブロックに関連する第５の予測とを決定することを含むことができる。

【0157】

[0164] ブロック１００６において、プロセス１０００は、第１の重みを第１の予測に適用し、第２の重みを第２の予測に適用し、第３の重みを第３の予測に適用し、第４の重みを第４の予測に適用し、第５の重みを第５の予測に適用したことの結果に基づいて、第６の予測を決定することを含むことができる。いくつかの場合には、対応するサブブロック（たとえば、現在のサブロック、第１のＯＢＭＣブロック、第２のＯＢＭＣブロック、第３のＯＢＭＣブロック、第４のＯＢＭＣブロック）のコーナーサンプルの重み値の和は、対応するサブブロックの他の境界サンプルの重み値の和よりも大きくなり得る。いくつかの場合には、他の境界サンプルの重み値の和は、対応するサブブロックの非境界サンプル（たとえば、サブブロックの境界に接し（border）ていないサンプル）の重み値の和よりも大きくなり得る。

【0158】

[0165] たとえば、いくつかの場合には、第１の重み、第２の重み、第３の重み、および第４の重みの各々は、現在のサブブロック、第１のＯＢＭＣブロック、第２のＯＢＭＣブロック、第３のＯＢＭＣブロック、または第４のＯＢＭＣブロックの対応するサブブロックからの１つまたは複数のサンプルに関連する１つまたは複数の重み値を含むことができる。その上、対応するサブブロックのコーナーサンプルの重み値の和は、対応するサブブロックの他の境界サンプルの重み値の和よりも大きくなり得、対応するサブブロックの他の境界サンプルの重み値の和は、対応するサブブロックの非境界サンプルの重み値の和よりも大きくなり得る。

【0159】

[0166] ブロック１００８において、プロセス１０００は、第６の予測に基づいて、ビデオデータのブロックの現在のサブブロックに対応するブレンドされたサブブロックを生成することを含むことができる。

【0160】

[0167] 図１１は、ＯＢＭＣを実施するための別の例示的なプロセス１１００を示すフローチャートである。ブロック１１０２において、プロセス１１００は、ＯＢＭＣモードがビデオデータのブロックの現在のサブブロックのために有効にされると決定することを含むことができる。いくつかの例では、ＯＢＭＣモードは、サブブロック境界ＯＢＭＣモードを含むことができる。

【0161】

[0168] ブロック１１０４において、プロセス１１００は、現在のサブブロックに隣接する少なくとも１つの近隣サブブロックについて、第１の条件、第２の条件、および第３の条件が満たされるかどうかを決定することを含むことができる。いくつかの例では、第１の条件は、現在のサブブロックを予測するための１つまたは複数の参照ピクチャリストのすべてが、近隣サブブロックを予測するために使用されることを含むことができる。

【0162】

[0169] いくつかの例では、第２の条件は、同一の１つまたは複数の参照ピクチャが、現在のサブブロックと近隣サブブロックとに関連する動きベクトルを決定するために使用されることを含むことができる。

【0163】

[0170] いくつかの例では、第３の条件は、現在のサブブロックの水平動きベクトルと近隣サブブロックの水平動きベクトルとの間の第１の差分と、現在のサブブロックの垂直動きベクトルと近隣サブブロックの垂直動きベクトルとの間の第２の差分とが、動きベクトル差分しきい値を超えないことを含むことができる。いくつかの例では、動きベクトル差分しきい値は０よりも大きい。

【0164】

[0171] ブロック１１０６において、プロセス１１００は、ＯＢＭＣモードが現在のサブブロックのために有効にされると決定することと、第１の条件、第２の条件、および第３の条件が満たされると決定することとに基づいて、現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することを含むことができる。

【0165】

[0172] いくつかの態様では、プロセス１１００は、現在のサブブロックのためにデコーダ側動きベクトル改良（ＤＭＶＲ）モード、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モード、またはアフィン動き補償予測モードを使用するという決定に基づいて、現在のサブブロックのためにサブブロック境界ＯＢＭＣモードを実施することを決定することを含むことができる。

【0166】

[0173] いくつかの態様では、プロセス１１００は、サブブロックのためにサブブロック境界ＯＢＭＣモードを実施することを含むことができる。いくつかの場合には、サブブロックのためにサブブロック境界ＯＢＭＣモードを実施することは、現在のサブブロックに関連する第１の予測と、現在のサブブロックの上ボーダーに隣接する第１のＯＢＭＣブロックに関連する第２の予測と、現在のサブブロックの左ボーダーに隣接する第２のＯＢＭＣブロックに関連する第３の予測と、現在のサブブロックの下ボーダーに隣接する第３のＯＢＭＣブロックに関連する第４の予測と、現在のサブブロックの右ボーダーに隣接する第４のＯＢＭＣブロックに関連する第５の予測とを決定することと、第１の重みを第１の予測に適用し、第２の重みを第２の予測に適用し、第３の重みを第３の予測に適用し、第４の重みを第４の予測に適用し、第５の重みを第５の予測に適用したことの結果に基づいて、第６の予測を決定することと、第６の予測に基づいて、現在のサブブロックに対応するブレンドされたサブブロックを生成することとを含むことができる。

【0167】

[0174] いくつかの場合には、対応するサブブロック（たとえば、現在のサブロック、第１のＯＢＭＣブロック、第２のＯＢＭＣブロック、第３のＯＢＭＣブロック、第４のＯＢＭＣブロック）のコーナーサンプルの重み値の和は、対応するサブブロックの他の境界サンプルの重み値の和よりも大きくなり得る。いくつかの場合には、他の境界サンプルの重み値の和は、対応するサブブロックの非境界サンプル（たとえば、現在のサブブロックの境界に接していないサンプル）の重み値の和よりも大きくなり得る。

【0168】

[0175] たとえば、いくつかの場合には、第２の重み、第３の重み、第４の重み、および第５の重みの各々は、現在のサブブロックの対応するサブブロックからの１つまたは複数のサンプルに関連する１つまたは複数の重み値を含むことができる。その上、現在のサブブロックのコーナーサンプルの重み値の和は、現在のサブブロックの他の境界サンプルの重み値の和よりも大きくなり得、現在のサブブロックの他の境界サンプルの重み値の和は、現在のサブブロックの非境界サンプルの重み値の和よりも大きくなり得る。

【0169】

[0176] いくつかの態様では、プロセス１１００は、ビデオデータの追加のブロックのために局所照明補償（ＬＩＣ）モードを使用することを決定することと、追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることとを含むことができる。いくつかの例では、追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることは、空の値をもつシンタックスフラグ（たとえば、そのフラグについて値が含まれない）をシグナリングすることを含むことができ、シンタックスフラグはＯＢＭＣモードに関連する。いくつかの態様では、プロセス１１００は、空の値をもつシンタックスフラグを含む信号を受信することを含むことができ、シンタックスフラグは、ビデオデータの追加のブロックのためのＯＢＭＣモードに関連する。いくつかの態様では、プロセス１１００は、空の値をもつシンタックスフラグに基づいて、追加のブロックのためにＯＢＭＣモードを使用しないことを決定することを含むことができる。

【0170】

[0177] いくつかの場合には、追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることは、追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためにＯＢＭＣモードを使用しないまたは有効にしないことを決定することと、追加のブロックのためのＯＢＭＣモードに関連する値をシグナリングすることをスキップすることとを含むことができる。

【0171】

[0178] いくつかの態様では、プロセス１１００は、ＯＢＭＣモードが追加のブロックのために有効にされるかどうかを決定することと、ＯＢＭＣモードが追加のブロックのために有効にされるかどうかを決定すること、および追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためのＯＢＭＣモードに関連する情報をシグナリングすることをスキップすることを決定することとを含むことができる。

【0172】

[0179] いくつかの態様では、プロセス１１００は、ビデオデータのブロックの現在のサブブロックのためにコーディングユニット（ＣＵ）境界ＯＢＭＣモードを使用することを決定することと、現在のサブブロックに関連する重みを、現在のサブブロックに関連するそれぞれの予測に適用したことの第１の結果と、１つまたは複数のそれぞれの重みを、現在のサブブロックに隣接する１つまたは複数のサブブロックに関連する１つまたは複数のそれぞれの予測に適用したことの第２の結果との和に基づいて、現在のサブブロックについての最終予測を決定することとを含むことができる。

【0173】

[0180] いくつかの例では、現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することは、現在のサブブロックの動き補償のための近隣サブブロックの動き情報の使用をスキップすることを含むことができる。

【0174】

[0181] いくつかの場合には、プロセス１０００および／またはプロセス１１００は、エンコーダおよび／またはデコーダによって実装され得る。

【0175】

[0182] いくつかの実装形態では、（プロセス１０００およびプロセス１１００を含む）本明細書で説明されるプロセス（または方法）は、図１に示されているシステム１００など、コンピューティングデバイスまたは装置によって実施され得る。たとえば、プロセスは、図１および図１２に示されている符号化デバイス１０４によって、別のビデオソース側デバイスまたはビデオ送信デバイスによって、図１および図１３に示されている復号デバイス１１２によって、ならびに／あるいは、プレーヤデバイス、ディスプレイ、または任意の他のクライアント側デバイスなど、別のクライアント側デバイスによって実施され得る。いくつかの場合には、コンピューティングデバイスまたは装置は、プロセス１０００および／またはプロセス１１００のステップを行うように構成された、１つまたは複数の入力デバイス、１つまたは複数の出力デバイス、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコンピュータ、および／または（１つまたは複数の）他の構成要素を含み得る。

【0176】

[0183] いくつかの例では、コンピューティングデバイスは、モバイルデバイス、デスクトップコンピュータ、サーバコンピュータおよび／またはサーバシステム、あるいは他のタイプのコンピューティングデバイスを含み得る。コンピューティングデバイスの構成要素（たとえば、１つまたは複数の入力デバイス、１つまたは複数の出力デバイス、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコンピュータ、および／または他の構成要素）は、回路において実装され得る。たとえば、構成要素は、本明細書で説明される様々な動作を実施するために、１つまたは複数のプログラマブル電子回路（たとえば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、および／または他の好適な電子回路）を含むことができる、電子回路もしくは他の電子ハードウェアを含むことができ、および／またはそれらを使用して実装され得、ならびに／あるいは、コンピュータソフトウェア、ファームウェア、もしくはそれらの任意の組合せを含むことができ、および／またはそれらを使用して実装され得る。いくつかの例では、コンピューティングデバイスまたは装置は、ビデオフレームを含むビデオデータ（たとえば、ビデオシーケンス）をキャプチャするように構成されたカメラを含み得る。いくつかの例では、ビデオデータをキャプチャするカメラまたは他のキャプチャデバイスは、コンピューティングデバイスとは別個であり、その場合、コンピューティングデバイスは、キャプチャされたビデオデータを受信または取得する。コンピューティングデバイスは、ビデオデータを通信するように構成されたネットワークインターフェースを含み得る。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースのデータまたは他のタイプのデータを通信するように構成され得る。いくつかの例では、コンピューティングデバイスまたは装置は、ビデオビットストリームのピクチャのサンプルなど、出力ビデオコンテンツを表示するためのディスプレイを含み得る。

【0177】

[0184] プロセスは、論理流れ図に関して説明され得、その動作は、ハードウェア、コンピュータ命令、またはそれらの組合せにおいて実施され得る動作のシーケンスを表す。コンピュータ命令のコンテキストでは、動作は、１つまたは複数のプロセッサによって実行されたとき、具陳された動作を実施する１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実施するか、または特定のデータタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されるものではなく、任意の数の説明される動作は、プロセスを実装するために任意の順序でおよび／または並行して組み合わせられ得る。

【0178】

[0185] さらに、プロセスは、実行可能命令で構成された１つまたは複数のコンピュータシステムの制御下で実施され得、まとめて１つまたは複数のプロセッサ上で、ハードウェアによって、またはそれらの組合せで実行するコード（たとえば、実行可能命令、１つまたは複数のコンピュータプログラム、または１つまたは複数のアプリケーション）として実装され得る。上述のように、コードは、たとえば、１つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読または機械可読記憶媒体に記憶され得る。コンピュータ可読または機械可読記憶媒体は非一時的であり得る。

【0179】

[0186] 本明細書で説明されるコーディング技法は、例示的なビデオ符号化および復号システム（たとえば、システム１００）において実装され得る。いくつかの例では、システムは、宛先デバイスによって後で復号されるべき符号化されたビデオデータを提供するソースデバイスを含む。特に、ソースデバイスは、コンピュータ可読媒体を介してビデオデータを宛先デバイスに提供する。ソースデバイスおよび宛先デバイスは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイスおよび宛先デバイスはワイヤレス通信のために装備され得る。

【0180】

[0187] 宛先デバイスは、コンピュータ可読媒体を介して復号されるべき符号化されたビデオデータを受信し得る。コンピュータ可読媒体は、ソースデバイスから宛先デバイスに符号化されたビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体は、ソースデバイスが符号化されたビデオデータを宛先デバイスにリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイスに送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイスから宛先デバイスへの通信を可能にするために有用であり得る任意の他の機器を含み得る。

【0181】

[0188] いくつかの例では、符号化されたデータは、出力インターフェースからストレージデバイスに出力され得る。同様に、符号化されたデータは、入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイスによって生成された符号化されたビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイスは、ストリーミングまたはダウンロードを介してストレージデバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイスに送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイスは、インターネット接続を含む、任意の標準のデータ接続を通して、符号化ビされたデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。ストレージデバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。

【0182】

[0189] 本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システムは、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または二方向のビデオ送信をサポートするように構成され得る。

【0183】

[0190] 一例では、ソースデバイスは、ビデオソースと、ビデオエンコーダと、出力インターフェースとを含む。宛先デバイスは、入力インターフェースと、ビデオデコーダと、ディスプレイデバイスとを含み得る。ソースデバイスのビデオエンコーダは、本明細書で開示される技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイスは、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイスは、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

【0184】

[0191] 上記の例示的なシステムは一例にすぎない。ビデオデータを並行して処理するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実施され得る。概して、本開示の技法はビデオ符号化デバイスによって実施されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実施され得る。その上、本開示の技法はビデオプリプロセッサによっても実施され得る。ソースデバイスおよび宛先デバイスは、ソースデバイスが宛先デバイスへの送信のためのコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイスおよび宛先デバイスは、デバイスの各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、例示的なシステムは、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス間の一方向または二方向のビデオ送信をサポートし得る。

【0185】

[0192] ビデオソースは、ビデオカメラなどのビデオキャプチャデバイス、前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソースは、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかの場合には、ビデオソースがビデオカメラである場合、ソースデバイスおよび宛先デバイスは、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、上述のように、本開示で説明される技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、プリキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダによって符号化され得る。符号化されたビデオ情報は、次いで、出力インターフェースによってコンピュータ可読媒体上に出力され得る。

【0186】

[0193] 述べられたように、コンピュータ可読媒体は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ－ｒａｙディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイスから符号化されたビデオデータを受信し、その符号化されたビデオデータを宛先デバイスに提供し得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイスから符号化されたビデオデータを受信し、その符号化されたビデオデータを含んでいるディスクを作り出し得る。したがって、コンピュータ可読媒体は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解され得る。

【0187】

[0194] 宛先デバイスの入力インターフェースはコンピュータ可読媒体から情報を受信する。コンピュータ可読媒体の情報は、ビデオエンコーダによって定義され、ビデオデコーダによっても使用される、ブロックおよび他のコーディングされたユニット、たとえば、ピクチャグループ（ＧＯＰ）の特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイスは、復号されたビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。本出願の様々な実施形態が説明された。

【0188】

[0195] 符号化デバイス１０４および復号デバイス１１２の具体的な詳細が、それぞれ図１２および図１３に示されている。図１２は、本開示で説明される技法のうちの１つまたは複数を実装し得る例示的な符号化デバイス１０４を示すブロック図である。符号化デバイス１０４は、たとえば、本明細書で説明されるシンタックス構造（たとえば、ＶＰＳ、ＳＰＳ、ＰＰＳ、または他のシンタックス要素のシンタックス構造）を生成し得る。符号化デバイス１０４は、ビデオスライス内のビデオブロックのイントラ予測コーディングおよびインター予測コーディングを実施し得る。前に説明されたように、イントラコーディングは、所与のビデオフレームまたはピクチャ内の空間冗長性を低減または除去するために、空間予測に少なくとも部分的に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたは周囲のフレーム内の時間冗長性を低減または除去するために、時間予測に少なくとも部分的に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指すことがある。

【0189】

[0196] 符号化デバイス１０４は、区分ユニット３５と、予測処理ユニット４１と、フィルタユニット６３と、ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロック再構築のために、符号化デバイス１０４はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。フィルタユニット６３は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表すものとする。図１２では、フィルタユニット６３はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット６３はループ後フィルタとして実装され得る。後処理デバイス５７は、符号化デバイス１０４によって生成された符号化されたビデオデータに対して追加の処理を実施し得る。本開示の技法は、いくつかの事例では、符号化デバイス１０４によって実装され得る。しかしながら、他の事例では、本開示の技法のうちの１つまたは複数は、後処理デバイス５７によって実装され得る。

【0190】

[0197] 図１２に示されているように、符号化デバイス１０４はビデオデータを受信し、区分ユニット３５はデータをビデオブロックに区分する。区分はまた、たとえば、ＬＣＵおよびＣＵのクワッドツリー構造に従って、スライス、スライスセグメント、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分を含み得る。符号化デバイス１０４は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（および場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（たとえば、コーディングレートおよびひずみレベルなど）に基づいて現在のビデオブロックについて、複数のイントラ予測コーディングモードのうちの１つ、または複数のインター予測コーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを、残差ブロックデータを生成するために加算器５０に提供し、参照ピクチャとして使用するための符号化されたブロックを再構築するために加算器６２に提供し得る。

【0191】

[0198] 予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の近隣ブロックに対して現在のビデオブロックのイントラ予測コーディングを実施し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対して現在のビデオブロックのインター予測コーディングを実施する。

【0192】

[0199] 動き推定ユニット４２は、ビデオシーケンスに対する所定のパターンに従って、ビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスを、Ｐスライス、Ｂスライス、またはＧＰＢスライスに指定し得る。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別個に示されている。動き推定ユニット４２によって実施される動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する、現在のビデオフレームまたはピクチャ内のビデオブロックの予測ユニット（ＰＵ）の変位を示し得る。

【0193】

[0200] 予測ブロックは、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、符号化デバイス１０４は、ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置についての値を計算し得る。たとえば、符号化デバイス１０４は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置および分数ピクセル位置に対して動き探索を実施し、分数ピクセル精度で動きベクトルを出力し得る。

【0194】

[0201] 動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス中のビデオブロックのＰＵについての動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの各々は、ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

【0195】

[0202] 動き補償ユニット４４によって実施される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によっては、サブピクセル精度への補間を実施することを伴い得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストにおいて指す予測ブロックの位置を特定し得る。符号化デバイス１０４は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。ピクセル差分値は、ブロックのための残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実施する１つまたは複数の構成要素を表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際に復号デバイス１１２が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。

【0196】

[0203] イントラ予測処理ユニット４６は、上記で説明されたように、動き推定ユニット４２と動き補償ユニット４４とによって実施されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測処理ユニット４６は、テストされたモードから使用するために適切なイントラ予測モードを選択し得る。たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードのためにレートひずみ分析を使用してレートひずみ値を計算し得、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化されたブロックと、符号化されたブロックを作り出すために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化されたブロックを作り出すために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化されたブロックについてのひずみおよびレートから比を計算し得る。

【0197】

[0204] いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供し得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。符号化デバイス１０４は、様々なブロックのための符号化コンテキストの構成データ定義、ならびにコンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルの指示を送信ビットストリーム中に含め得る。ビットストリーム構成データは、複数のイントラ予測モードインデックステーブルと、（コードワードマッピングテーブルとも呼ばれる）複数の修正されたイントラ予測モードインデックステーブルとを含み得る。

【0198】

[0205] 予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後、符号化デバイス１０４は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセルドメインから周波数ドメインなどの変換ドメインにコンバートし得る。

【0199】

[0206] 変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部またはすべてに関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を実施し得る。代替的に、エントロピー符号化ユニット５６が走査を実施し得る。

【0200】

[0207] 量子化の後に、エントロピー符号化ユニット５６は量子化された変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化技法を実施し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは、復号デバイス１１２に送信されるか、あるいは復号デバイス１１２が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。

【0201】

[0208] 逆量子化ユニット５８および逆変換処理ユニット６０は、参照ピクチャの参照ブロックとして後で使用するためにピクセルドメインにおいて残差ブロックを再構築するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット４４は、残差ブロックを参照ピクチャリスト内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、再構築された残差ブロックに１つまたは複数の補間フィルタを適用し得る。加算器６２は、ピクチャメモリ６４に記憶するための参照ブロックを作り出すために、再構築された残差ブロックを動き補償ユニット４４によって作り出された動き補償予測ブロックに加算する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。

【0202】

[0209] このようにして、図１２の符号化デバイス１０４は、図１０に関して上記で説明されたプロセスおよび／または図１１に関して上記で説明されたプロセスを含む、本明細書で説明される技法のいずれかを実施するように構成されたビデオエンコーダの一例を表す。いくつかの場合には、本開示の技法のうちのいくつかは、後処理デバイス５７によっても実装され得る。

【0203】

[0210] 図１３は、例示的な復号デバイス１１２を示すブロック図である。復号デバイス１１２は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換処理ユニット８８と、加算器９０と、フィルタユニット９１と、ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測処理ユニット８４とを含む。復号デバイス１１２は、いくつかの例では、図１２からの符号化デバイス１０４に関して説明された符号化パスとは概して逆の復号パスを実施し得る。

【0204】

[0211] 復号プロセス中に、復号デバイス１１２は、符号化デバイス１０４によって送られた、符号化されたビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。いくつかの実施形態では、復号デバイス１１２は、符号化デバイス１０４から符号化されたビデオビットストリームを受信し得る。いくつかの実施形態では、復号デバイス１１２は、サーバ、メディアアウェアネットワーク要素（ＭＡＮＥ）、ビデオエディタ／スプライサ、または上記で説明された技法のうちの１つまたは複数を実装するように構成された他のそのようなデバイスなど、ネットワークエンティティ７９から符号化されたビデオビットストリームを受信し得る。ネットワークエンティティ７９は、符号化デバイス１０４を含むことも、含まないこともある。本開示で説明される技法のうちのいくつかは、ネットワークエンティティ７９が符号化されたビデオビットストリームを復号デバイス１１２に送信するより前に、ネットワークエンティティ７９によって実装され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ７９および復号デバイス１１２は別個のデバイスの部分であり得るが、他の事例では、ネットワークエンティティ７９に関して説明される機能は、復号デバイス１１２を備える同じデバイスによって実施され得る。

【0205】

[0212] 復号デバイス１１２のエントロピー復号ユニット８０は、量子化された係数と、動きベクトルと、他のシンタックス要素とを生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット８１にフォワーディングする。復号デバイス１１２は、ビデオスライスレベルおよび／またはビデオブロックレベルのシンタックス要素を受信し得る。エントロピー復号ユニット８０は、ＶＰＳ、ＳＰＳ、およびＰＰＳなど、または複数のパラメータセット中の固定長シンタックス要素と可変長シンタックス要素の両方を処理し、パース（parse）し得る。

【0206】

[0213] ビデオスライスが、イントラコーディングされた（Ｉ）スライスとしてコーディングされたとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームが、インターコーディングされた（すなわち、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされたとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルと、他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを作り出す。予測ブロックは、参照ピクチャリスト内の参照ピクチャのうちの１つから作り出され得る。復号デバイス１１２は、ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構築技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構築し得る。

【0207】

[0214] 動き補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在のビデオブロックのための予測ブロックを作り出すために、その予測情報を使用する。たとえば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスのための１つまたは複数の参照ピクチャリストのための構築情報と、スライスの各インター符号化されたビデオブロックのための動きベクトルと、スライスの各インターコーディングされたビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、パラメータセット中の１つまたは複数のシンタックス要素を使用し得る。

【0208】

[0215] 動き補償ユニット８２はまた、補間フィルタに基づいて補間を実施し得る。動き補償ユニット８２は、参照ブロックのサブ整数ピクセルのための補間値を計算するために、ビデオブロックの符号化中に符号化デバイス１０４によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素から符号化デバイス１０４によって使用された補間フィルタを決定し得、予測ブロックを作り出すためにその補間フィルタを使用し得る。

【0209】

[0216] 逆量子化ユニット８６は、ビットストリーム中で提供され、エントロピー復号ユニット８０によって復号された量子化された変換係数を逆量子化、すなわち、量子化解除する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべきである逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとに符号化デバイス１０４によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット８８は、ピクセルドメインにおける残差ブロックを作り出すために、逆変換（たとえば、逆ＤＣＴまたは他の好適な逆変換）、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

【0210】

[0217] 動き補償ユニット８２が、動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後に、復号デバイス１１２は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実施する１つまたは複数の構成要素を表す。所望される場合、（コーディングループ内またはコーディングループ後のいずれかの）ループフィルタも、ピクセル遷移を平滑化するために、またはさもなければビデオ品質を改善するために使用され得る。フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表すものとする。図１３では、フィルタユニット９１はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット９１はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶するピクチャメモリ９２に記憶される。ピクチャメモリ９２はまた、図１に示されているビデオ宛先デバイス１２２など、ディスプレイデバイス上での後の提示のために、復号されたビデオを記憶する。

【0211】

[0218] このようにして、図１３の復号デバイス１１２は、図１０に関して上記で説明されたプロセスおよび図１１に関して上記で説明されたプロセスを含む、本明細書で説明される技法のいずれかを実施するように構成されたビデオデコーダの一例を表す。

【0212】

[0219] 本明細書で使用される「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブルストレージデバイス、光ストレージデバイス、ならびに（１つまたは複数の）命令および／またはデータを記憶、含有、または担持することが可能な様々な他の媒体を含む。コンピュータ可読媒体は、データが記憶され得、ワイヤレスに、またはワイヤード接続を介して伝搬する搬送波および／または一時的な電子信号を含まない、非一時的媒体を含み得る。非一時的媒体の例は、限定はしないが、磁気ディスクまたはテープ、コンパクトディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリまたはメモリデバイスを含み得る。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムステートメントの任意の組合せを表し得る、コードおよび／または機械実行可能命令をその上に記憶していることがある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリコンテンツをパスおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の好適な手段を介してパス、フォワーディング、または送信され得る。

【0213】

[0220] いくつかの実施形態では、コンピュータ可読ストレージデバイス、媒体、およびメモリは、ビットストリームなどを含んでいるケーブル信号またはワイヤレス信号を含むことができる。しかしながら、述べられるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号自体などの媒体を明確に除外する。

【0214】

[0221] 本明細書で提供される実施形態および例の完全な理解を提供するために、具体的な詳細が上記の説明で提供される。ただし、実施形態はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。説明の明快のために、いくつかの事例では、本技術は、デバイス、デバイス構成要素、ソフトウェアで具現される方法におけるステップまたはルーチン、あるいはハードウェアとソフトウェアとの組合せを備える機能ブロックを含む個々の機能ブロックを含むものとして提示され得る。図に示されているおよび／または本明細書で説明される構成要素以外の追加の構成要素が使用され得る。たとえば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不要な詳細で不明瞭にしないためにブロック図の形式で構成要素として示され得る。他の事例では、実施形態を不明瞭にすることを回避するために、よく知られている回路、プロセス、アルゴリズム、構造、および技法が不要な詳細なしに示され得る。

【0215】

[0222] 個々の実施形態は、フローチャート、流れ図、データフロー図、構造図、またはブロック図として示されるプロセスまたは方法として、上記で説明され得る。フローチャートは、動作を逐次的なプロセスとして説明し得るが、動作の多くは、並行してまたは同時に実施され得る。さらに、動作の順序は並べ替えられ得る。プロセスの動作が完了されるとき、プロセスは終了されるが、図中に含まれない追加のステップを有し得る。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応するとき、それの終了は呼出し関数またはメイン関数への関数の復帰に対応することができる。

【0216】

[0223] 上記で説明された例によるプロセスおよび方法は、記憶されるかまたはさもなければコンピュータ可読媒体から利用可能である、コンピュータ実行可能命令を使用して実装され得る。そのような命令は、たとえば、汎用コンピュータ、専用コンピュータ、または処理デバイスが、ある関数または関数のグループを実施することを引き起こすか、あるいはさもなければそれらを実施するように構成する、命令とデータとを含むことができる。使用されるコンピュータリソースの部分が、ネットワークを介してアクセス可能であり得る。コンピュータ実行可能命令は、たとえば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、ソースコードなどであり得る。命令、使用される情報、および／または説明される例による方法中に作成される情報を記憶するために使用され得るコンピュータ可読媒体の例は、磁気または光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク化されたストレージデバイスなどを含む。

【0217】

[0224] これらの開示によるプロセスおよび方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せを含むことができ、様々なフォームファクタのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを実施するためのプログラムコードまたはコードセグメント（たとえば、コンピュータプログラム製品）は、コンピュータ可読媒体または機械可読媒体に記憶され得る。（１つまたは複数の）プロセッサが、必要なタスクを実施し得る。フォームファクタの典型的な例は、ラップトップ、スマートフォン、モバイルフォン、タブレットデバイスまたは他のスモールフォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどを含む。本明細書で説明される機能はまた、周辺機器またはアドインカードで具現され得る。そのような機能はまた、さらなる例として、異なるチップの中の回路基板または単一デバイスにおいて実行する異なるプロセス上で実装され得る。

【0218】

[0225] 命令、そのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明される機能を提供するための例示的な手段である。

【0219】

[0226] 上記の説明では、本出願の態様がそれの特定の実施形態を参照しながら説明されたが、本出願はそれに限定されないことを、当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、従来技術によって限定される場合を除いて、発明概念が、場合によっては様々に具現および採用され得、添付の特許請求の範囲が、そのような変形形態を含むように解釈されるものであることを理解されたい。上記で説明された適用例の様々な特徴および態様は、個々にまたは一緒に使用され得る。さらに、実施形態は、本明細書のより広い趣旨および範囲から逸脱することなく、本明細書で説明される環境および適用例以外に、任意の数の環境および適用例において利用され得る。したがって、本明細書および図面は、限定的なものではなく例示的なものとして考慮されるべきである。例示の目的で、方法は、特定の順序で説明された。代替実施形態では、方法は、説明された順序とは異なる順序で実施され得ることを諒解されたい。

【0220】

[0227] 本明細書で使用される、よりも小さい（「＜」）、および、よりも大きい（「＞」）のシンボルまたは専門用語は、本説明の範囲から逸脱することなく、それぞれ、よりも小さいかまたはそれに等しい（「≦」）、および、よりも大きいかまたはそれに等しい（「≧」）のシンボルと置き換えられ得ることを、当業者は諒解されよう。

【0221】

[0228] 構成要素がいくつかの動作を実施する「ように構成される」ものとして説明される場合、そのような構成は、たとえば、動作を実施するように電子回路または他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路（たとえば、マイクロプロセッサ、または他の好適な電子回路）をプログラムすることによって、あるいはそれらの任意の組合せで達成され得る。

【0222】

[0229] 「に結合された」という句は、直接的にまたは間接的に、のいずれかで別の構成要素に物理的に接続された任意の構成要素、および／あるいは直接的にまたは間接的に、のいずれかで別の構成要素と通信している（たとえば、ワイヤードまたはワイヤレス接続、および／あるいは他の好適な通信インターフェースを介して別の構成要素に接続された）任意の構成要素を指す。

【0223】

[0230] セット「のうちの少なくとも１つ」、および／またはセットのうちの「１つまたは複数」を具陳するクレームの文言または本開示における他の文言は、セットのうちの１つのメンバーまたは（任意の組合せにおける）セットのうちの複数のメンバーがクレームを満足することを示す。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味する。別の例では、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、Ｃ、またはＡおよびＢ、またはＡおよびＣ、またはＢおよびＣ、またはＡおよびＢおよびＣを意味する。セット「のうちの少なくとも１つ」および／またはセットのうちの「１つまたは複数」という文言は、セットを、セットに記載されている項目に限定しない。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味することができ、さらに、ＡおよびＢのセットに記載されていない項目を含むことができる。

【0224】

[0231] 本明細書で開示される実施形態に関して説明される、様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、上記では概してそれらの機能に関して説明された。そのような機能がハードウェアとして実装されるのか、ソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本出願の範囲からの逸脱を引き起こすものとして解釈されるべきではない。

【0225】

[0232] 本明細書で説明される技法は、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいても実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明された特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別個に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの１つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または通信し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。

【0226】

[0233] プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積論理回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明される技法のいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、あるいは本明細書で説明される技法の実装に適した任意の他の構造または装置のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供され得、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。

【0227】

[0234] 本開示の例示的な例は、以下を含む。

【0228】

[0235] 態様１． ビデオデータを処理するための装置であって、メモリと、メモリに結合された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、重複ブロック動き補償（ＯＢＭＣ）モードがビデオデータのブロックの現在のサブブロックのために有効にされると決定することと、現在のサブブロックに隣接する少なくとも１つの近隣サブブロックについて、第１の条件、第２の条件、および第３の条件が満たされるかどうかを決定することと、第１の条件が、現在のサブブロックを予測するための１つまたは複数の参照ピクチャリストのすべてが、近隣サブブロックを予測するために使用されることを備え、第２の条件が、同一の１つまたは複数の参照ピクチャが、現在のサブブロックと近隣サブブロックとに関連する動きベクトルを決定するために使用されることを備え、第３の条件が、現在のサブブロックの水平動きベクトルと近隣サブブロックの水平動きベクトルとの間の第１の差分と、現在のサブブロックの垂直動きベクトルと近隣サブブロックの垂直動きベクトルとの間の第２の差分とが、動きベクトル差分しきい値を超えないことを備え、ここにおいて、動きベクトル差分しきい値が０よりも大きい、ＯＢＭＣモードが現在のサブブロックのために有効にされると決定することと、第１の条件、第２の条件、および第３の条件が満たされると決定することとに基づいて、現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することとを行うように構成された、装置。

【0229】

[0236] 態様２． １つまたは複数のプロセッサが、現在のサブブロックのためにデコーダ側動きベクトル改良（ＤＭＶＲ）モード、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モード、またはアフィン動き補償予測モードを使用するという決定に基づいて、現在のサブブロックのためにサブブロック境界ＯＢＭＣモードを実施することを決定することを行うように構成された、態様１に記載の装置。

【0230】

[0237] 態様３． 現在のサブブロックのためにサブブロック境界ＯＢＭＣモードを実施するために、１つまたは複数のプロセッサが、現在のサブブロックに関連する第１の予測と、現在のサブブロックの上ボーダーに隣接する第１のＯＢＭＣブロックに関連する第２の予測と、現在のサブブロックの左ボーダーに隣接する第２のＯＢＭＣブロックに関連する第３の予測と、現在のサブブロックの下ボーダーに隣接する第３のＯＢＭＣブロックに関連する第４の予測と、現在のサブブロックの右ボーダーに隣接する第４のＯＢＭＣブロックに関連する第５の予測とを決定することと、第１の重みを第１の予測に適用し、第２の重みを第２の予測に適用し、第３の重みを第３の予測に適用し、第４の重みを第４の予測に適用し、第５の重みを第５の予測に適用したことの結果に基づいて、第６の予測を決定することと、第６の予測に基づいて、現在のサブブロックに対応するブレンドされたサブブロックを生成することとを行うように構成された、態様２に記載の装置。

【0231】

[0238] 態様４． 第２の重み、第３の重み、第４の重み、および第５の重みの各々が、現在のサブブロックの対応するサブブロックからの１つまたは複数のサンプルに関連する１つまたは複数の重み値を備え、ここにおいて、現在のサブブロックのコーナーサンプルの重み値の和が、現在のサブブロックの他の境界サンプルの重み値の和よりも大きい、態様３に記載の装置。

【0232】

[0239] 態様５． 現在のサブブロックの他の境界サンプルの重み値の和が、現在のサブブロックの非境界サンプルの重み値の和よりも大きい、態様４に記載の装置。

【0233】

[0240] 態様６． １つまたは複数のプロセッサが、ビデオデータの追加のブロックのために局所照明補償（ＬＩＣ）モードを使用することを決定することと、追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることとを行うように構成された、態様１から５のいずれかに記載の装置。

【0234】

[0241] 態様７． 追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップするために、１つまたは複数のプロセッサが、空の値をもつシンタックスフラグをシグナリングするように構成され、シンタックスフラグがＯＢＭＣモードに関連する、態様６に記載の装置。

【0235】

[0242] 態様８． １つまたは複数のプロセッサが、空の値をもつシンタックスフラグを含む信号を受信するように構成され、シンタックスフラグが、ビデオデータの追加のブロックのためのＯＢＭＣモードに関連する、態様６から７のいずれかに記載の装置。

【0236】

[0243] 態様９． １つまたは複数のプロセッサが、空の値をもつシンタックスフラグに基づいて、追加のブロックのためにＯＢＭＣモードを使用しないことを決定することを行うように構成された、態様７から８のいずれかに記載の装置。

【0237】

[0244] 態様１０． 追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップするために、１つまたは複数のプロセッサが、追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためにＯＢＭＣモードを使用しないまたは有効にしないことを決定することと、追加のブロックのためのＯＢＭＣモードに関連する値をシグナリングすることをスキップすることとを行うように構成された、態様６から９のいずれかに記載の装置。

【0238】

[0245] 態様１１． １つまたは複数のプロセッサは、ＯＢＭＣモードが追加のブロックのために有効にされるかどうかを決定することと、ＯＢＭＣモードが追加のブロックのために有効にされるかどうかを決定すること、および追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためのＯＢＭＣモードに関連する情報をシグナリングすることをスキップすることを決定することとを行うように構成された、態様１から１０のいずれかに記載の装置。

【0239】

[0246] 態様１２． １つまたは複数のプロセッサが、ビデオデータのブロックの現在のサブブロックのためにコーディングユニット（ＣＵ）境界ＯＢＭＣモードを使用することを決定することと、現在のサブブロックに関連する重みを、現在のサブブロックに関連するそれぞれの予測に適用したことの第１の結果と、１つまたは複数のそれぞれの重みを、現在のサブブロックに隣接する１つまたは複数のサブブロックに関連する１つまたは複数のそれぞれの予測に適用したことの第２の結果との和に基づいて、現在のサブブロックについての最終予測を決定することとを行うように構成された、態様１から１１のいずれかに記載の装置。

【0240】

[0247] 態様１３． 現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定するために、１つまたは複数のプロセッサが、現在のサブブロックの動き補償のための近隣サブブロックの動き情報の使用をスキップすることを行うように構成された、態様１から１２のいずれかに記載の装置。

【0241】

[0248] 態様１４． 装置がデコーダを含む、態様１から１３のいずれかに記載の装置。

【0242】

[0249] 態様１５． ビデオデータに関連する１つまたは複数の出力ピクチャ（output picture）を表示するように構成されたディスプレイをさらに備える、態様１から１４のいずれかに記載の装置。

【0243】

[0250] 態様１６． ＯＢＭＣモードがサブブロック境界ＯＢＭＣモードを備える、態様１から１５のいずれかに記載の装置。

【0244】

[0251] 態様１７． 装置がエンコーダを含む、態様１から１６のいずれかに記載の装置。

【0245】

[0252] 態様１８． ビデオデータに関連するピクチャをキャプチャするように構成されたカメラをさらに備える、態様１から１７のいずれかに記載の装置。

【0246】

[0253] 態様１９． 装置がモバイルデバイスである、態様１から１８のいずれかに記載の装置。

【0247】

[0254] 態様２０． ビデオデータを処理するための方法であって、重複ブロック動き補償（ＯＢＭＣ）モードがビデオデータのブロックの現在のサブブロックのために有効にされると決定することと、現在のサブブロックに隣接する少なくとも１つの近隣サブブロックについて、第１の条件、第２の条件、および第３の条件が満たされるかどうかを決定することと、第１の条件が、現在のサブブロックを予測するための１つまたは複数の参照ピクチャリストのすべてが、近隣サブブロックを予測するために使用されることを備え、第２の条件が、同一の１つまたは複数の参照ピクチャが、現在のサブブロックと近隣サブブロックとに関連する動きベクトルを決定するために使用されることを備え、第３の条件が、現在のサブブロックの水平動きベクトルと近隣サブブロックの水平動きベクトルとの間の第１の差分と、現在のサブブロックの垂直動きベクトルと近隣サブブロックの垂直動きベクトルとの間の第２の差分とが、動きベクトル差分しきい値を超えないことを備え、ここにおいて、動きベクトル差分しきい値が０よりも大きい、現在のサブブロックのためにＯＢＭＣモードを使用することを決定することと、第１の条件、第２の条件、および第３の条件が満たされると決定することとに基づいて、現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することとを備える、方法。

【0248】

[0255] 態様２１． 現在のサブブロックのためにデコーダ側動きベクトル改良（ＤＭＶＲ）モード、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モード、またはアフィン動き補償予測モードを使用するという決定に基づいて、現在のサブブロックのためにサブブロック境界ＯＢＭＣモードを実施することを決定することをさらに備える、態様２０に記載の方法。

【0249】

[0256] 態様２２． 現在のサブブロックのためにサブブロック境界ＯＢＭＣモードを実施することが、現在のサブブロックに関連する第１の予測と、現在のサブブロックの上ボーダーに隣接する第１のＯＢＭＣブロックに関連する第２の予測と、現在のサブブロックの左ボーダーに隣接する第２のＯＢＭＣブロックに関連する第３の予測と、現在のサブブロックの下ボーダーに隣接する第３のＯＢＭＣブロックに関連する第４の予測と、現在のサブブロックの右ボーダーに隣接する第４のＯＢＭＣブロックに関連する第５の予測とを決定することと、第１の重みを第１の予測に適用し、第２の重みを第２の予測に適用し、第３の重みを第３の予測に適用し、第４の重みを第４の予測に適用し、第５の重みを第５の予測に適用したことの結果に基づいて、第６の予測を決定することと、第６の予測に基づいて、現在のサブブロックに対応するブレンドされたサブブロックを生成することとを備える、態様２１に記載の方法。

【0250】

[0257] 態様２３． 第２の重み、第３の重み、第４の重み、および第５の重みの各々が、現在のサブブロックの対応するサブブロックからの１つまたは複数のサンプルに関連する１つまたは複数の重み値を備え、ここにおいて、現在のサブブロックのコーナーサンプルの重み値の和が、現在のサブブロックの他の境界サンプルの重み値の和よりも大きい、態様２２に記載の方法。

【0251】

[0258] 態様２４． 現在のサブブロックの他の境界サンプルの重み値の和が、現在のサブブロックの非境界サンプルの重み値の和よりも大きい、態様２３に記載の方法。

【0252】

[0259] 態様２５． ビデオデータの追加のブロックのために局所照明補償（ＬＩＣ）モードを使用することを決定することと、追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることとをさらに備える、態様２０から２４のいずれかに記載の方法。

【0253】

[0260] 態様２６． 追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることが、空の値をもつシンタックスフラグをシグナリングすることを備え、シンタックスフラグがＯＢＭＣモードに関連する、態様２５に記載の方法。

【0254】

[0261] 態様２７． 空の値をもつシンタックスフラグを含む信号を受信することをさらに備え、シンタックスフラグが、ビデオデータの追加のブロックのためのＯＢＭＣモードに関連する、態様２５から２６のいずれかに記載の方法。

【0255】

[0262] 態様２８． 空の値をもつシンタックスフラグに基づいて、追加のブロックのためにＯＢＭＣモードを使用しないことを決定することをさらに備える、態様２６から２７のいずれかに記載の方法。

【0256】

[0263] 態様２９． 追加のブロックのためのＯＢＭＣモードに関連する情報のシグナリングをスキップすることが、追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためにＯＢＭＣモードを使用しないまたは有効にしないことを決定することと、追加のブロックのためのＯＢＭＣモードに関連する値をシグナリングすることをスキップすることとを備える、態様２５から２８のいずれかに記載の方法。

【0257】

[0264] 態様３０． ＯＢＭＣモードが追加のブロックのために有効にされるかどうかを決定することと、ＯＢＭＣモードが追加のブロックのために有効にされるかどうかを決定すること、および追加のブロックのためにＬＩＣモードを使用するという決定に基づいて、追加のブロックのためのＯＢＭＣモードに関連する情報をシグナリングすることをスキップすることを決定することとをさらに備える、態様２５から２９のいずれかに記載の方法。

【0258】

[0265] 態様３１． ビデオデータのブロックの現在のサブブロックのためにコーディングユニット（ＣＵ）境界ＯＢＭＣモードを使用することを決定することと、現在のサブブロックに関連する重みを、現在のサブブロックに関連するそれぞれの予測に適用したことの第１の結果と、１つまたは複数のそれぞれの重みを、現在のサブブロックに隣接する１つまたは複数のサブブロックに関連する１つまたは複数のそれぞれの予測に適用したことの第２の結果との和に基づいて、現在のサブブロックについての最終予測を決定することとをさらに備える、態様２０から３０のいずれかに記載の方法。

【0259】

[0266] 態様３２． 現在のサブブロックの動き補償のために近隣サブブロックの動き情報を使用しないことを決定することが、現在のサブブロックの動き補償のための近隣サブブロックの動き情報の使用をスキップすることを備える、態様２０から３１のいずれかに記載の方法。

【0260】

[0267] 態様３３． １つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに態様２０から３２のいずれかに記載の方法を実施させる命令を記憶した非一時的コンピュータ可読媒体。

【0261】

[0268] 態様３４． 態様２０から３２のいずれかに記載の方法を実施するための手段を備える装置。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】