特許7504925ビデオコーディングのための組み合わされたインターおよびイントラ予測モード
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-14
(45)【発行日】2024-06-24
(54)【発明の名称】ビデオコーディングのための組み合わされたインターおよびイントラ予測モード
(51)【国際特許分類】
H04N 19/103 20140101AFI20240617BHJP
H04N 19/159 20140101ALI20240617BHJP
H04N 19/176 20140101ALI20240617BHJP
H04N 19/463 20140101ALI20240617BHJP
【ＦＩ】
H04N19/103
H04N19/159
H04N19/176
H04N19/463
【請求項の数】
15
(21)【出願番号】P 2021576135
(86)(22)【出願日】2020-06-26
(65)【公表番号】
(43)【公表日】2022-08-31
(86)【国際出願番号】 US2020039861
(87)【国際公開番号】W WO2020264325
(87)【国際公開日】2020-12-30
【審査請求日】2023-05-26
(31)【優先権主張番号】62/867,148
(32)【優先日】2019-06-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/912,657
(32)【優先日】2020-06-25
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(72)【発明者】
【氏名】ファン、ハン
(72)【発明者】
【氏名】チェン、ウェイ－ジュン
(72)【発明者】
【氏名】カルチェビチ、マルタ
【審査官】山内 裕史
(56)【参考文献】
【文献】米国特許出願公開第２０１９／００５２８８６（ＵＳ，Ａ１）
【文献】Jianle Chen, et.al.，Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019，JVET-N1002-v2，2019年06月11日，p1,41,47,48
【文献】Jianle Chen, et.al.，Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019，JVET-M1002-v2，2019年03月19日，p41,42
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオデータを復号する方法であって、予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従って前記ビデオデータのブロックを予測することと、前記予測することは、前記ブロックのイントラ予測と前記ブロックのインター予測との加重組合せを生成することを備え、前記加重組合せを生成することは、
インター予測マージ候補が前記インター予測のために使用されるべきであると決定し、前記インター予測マージ候補が、前記ブロックの双予測について不等加重が示される双予測候補であると決定すること、および
前記予測ブロックを生成するために、前記組み合わされたインター／イントラ予測のために前記インター予測を実行するために等加重平均化を適用すること、を備え、
前記予測ブロックに基づいてビデオデータの前記ブロックを復号することと、
を備える、方法。
【請求項2】
不等加重が前記ブロックの双予測のために使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを復号することをさらに備える、請求項１に記載の方法。
【請求項3】
符号化されたビデオビットストリームから、前記組み合わされたインター／イントラ予測モードを示すデータを復号することをさらに備える、請求項１に記載の方法。
【請求項4】
ビデオデータを符号化する方法であって、予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従って前記ビデオデータのブロックを予測することと、前記予測することは、前記ブロックのイントラ予測と前記ブロックのインター予測との加重組合せを生成することを備え、前記加重組合せを生成することは、
インター予測マージ候補が前記インター予測のために使用されるべきであると決定し、前記インター予測マージ候補が、さもなければ双予測について不等加重が示される双予測候補であると決定すること、および
前記予測ブロックを生成するために前記組み合わされたインター／イントラ予測のために前記インター予測を実行するために等加重平均化を適用すること、を備え、
前記予測ブロックに基づいてビデオデータの前記ブロックを符号化することと、を備える、方法。
【請求項5】
不等加重が前記ブロックの双予測のために使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを符号化することをさらに備える、請求項４に記載の方法。
【請求項6】
等しい重みが使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを修正することをさらに備える、請求項４に記載の方法。
【請求項7】
前記ブロックのための前記イントラ予測を実行することをさらに備える、請求項１または４に記載の方法。
【請求項8】
前記イントラ予測を実行することは、前記モードが組み合わされたインター／イントラ予測モードであることに基づいてＤＣ予測モードに従って予測を実行することを備える、請求項７に記載の方法。
【請求項9】
前記組み合わされたインター／イントラ予測モードを示すデータを、符号化されたビデオビットストリーム中に符号化することをさらに備える、請求項４に記載の方法。
【請求項10】
前記組み合わされたインター／イントラ予測モードを選択するために、レートひずみ分析を実行することをさらに備える、請求項４に記載の方法。
【請求項11】
ビデオキャプチャデバイスを使用して前記ビデオデータをキャプチャすることをさらに備える、請求項４に記載の方法。
【請求項12】
ビデオデータを符号化または復号するための装置であって、前記ビデオデータの１つまたは複数の参照ピクチャを記憶するように構成されたメモリと、
ビデオプロセッサと、
を備え、前記ビデオプロセッサは、
予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従って前記ビデオデータのブロックを予測することと、ここにおいて、前記ビデオプロセッサは、前記ブロックのイントラ予測と前記ブロックのインター予測との加重組合せを生成するように構成され、ここにおいて、前記加重組合せを生成するために、前記プロセッサは、
インター予測マージ候補が前記インター予測のために使用されるべきであると決定し、前記インター予測マージ候補が、さもなければ双予測について不等加重が示される双予測候補であると決定すること、および
前記予測ブロックを生成するために、前記組み合わされたインター／イントラ予測のために前記インター予測を実行するために等加重平均化を適用すること、を行うように構成され、
前記予測ブロックに基づいてビデオデータの前記ブロックを符号化または復号することと、
を行うように構成された、装置。
【請求項13】
前記装置は、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、請求項１２に記載の装置。
【請求項14】
ビデオデータの前記ブロックを含むピクチャをキャプチャするように構成されたビデオキャプチャデバイスをさらに備える、または、
ビデオデータの前記ブロックを含むピクチャを表示するように構成されたディスプレイをさらに備える、請求項１２に記載の装置。
【請求項15】
前記ビデオプロセッサは、請求項２、３、６乃至１１のいずれか一項に記載方法を実行するようにさらに構成された、請求項１２に記載の装置。
【発明の詳細な説明】
【優先権の主張】
【0001】
[0001]本出願は、２０１９年６月２６日に出願された米国仮出願第６２／８６７，１４８号の利益を主張し、２０２０年６月２５日に出願された米国非仮出願第１６／９１２，６５７号の優先権を主張するものであり、それらの各々の全体が参照により本明細書に組み込まれる。
【技術分野】
【0002】
[0002]本開示は、ビデオ符号化およびビデオ復号に関する。
【背景技術】
【0003】
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタルレコーディングデバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲーム機、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、幅広いデバイスの中に組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
【0004】
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（イントラピクチャ）予測および／または時間（インターピクチャ）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャは、フレームと呼ばれることがあり、参照ピクチャは、参照フレームと呼ばれることがある。
【発明の概要】
【0005】
[0005]概して、本開示は、ビデオ符号化または復号プロセスの一部として、組み合わされた（combined）インター／イントラ予測モードを実行するための技法について説明する。実施形態は、組み合わされたインター／イントラ予測モードを使用してビデオを符号化および復号するための方法および装置を含む。１つのそのような実施形態では、インター予測は、さもなければ不等加重双予測を示すであろうマージモードを使用して決定される等加重双予測モードを使用して実行される。望ましくは、これは、コーディング効率の最小限の損失でコーディング複雑性を低減し得る。
【0006】
[0006]一実施形態は、ビデオデータを復号する方法を含む。本方法は、予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従ってビデオデータのブロックを予測することを含み、これは、ブロックのイントラ予測とブロックのインター予測との加重組合せを生成することを含む。加重組合せを生成することは、インター予測マージ候補がインター予測のために使用されるべきであると決定し、インター予測マージ候補は、さもなければブロックの双予測について不等加重が示される双予測候補であると決定することと、予測ブロックを生成するために、組み合わされたインター／イントラ予測のためにインター予測を実行するために、等加重平均化を適用することと、を含む。本方法は、予測ブロックに基づいてビデオデータのブロックを復号することをさらに含む。
【0007】
[0007]別の実施形態は、ビデオデータを符号化する方法を含む。本方法は、予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従ってビデオデータのブロックを予測することを含み、これは、ブロックのイントラ予測とブロックのインター予測との加重組合せを生成することを含む。加重組合せを生成することは、インター予測マージ候補がインター予測のために使用されるべきであると決定し、インター予測マージ候補は、さもなければブロックの双予測について不等加重が示される双予測候補であると決定することと、予測ブロックを生成するために、組み合わされたインター／イントラ予測のためにインター予測を実行するために等加重平均化を適用することとを含む。本方法は、予測ブロックに基づいてビデオデータのブロックを符号化することをさらに含む。
【0008】
[0008]一実施形態は、ビデオデータを符号化または復号するための装置を含む。装置は、ビデオデータの１つまたは複数の参照ピクチャを記憶したように構成されたメモリとビデオプロセッサとを含む。ビデオプロセッサは、予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従ってビデオデータのブロックを予測するように構成される。ビデオプロセッサは、ブロックのイントラ予測とブロックのインター予測との加重組合せを生成するように構成される。加重組合せを生成するために、プロセッサは、インター予測マージ候補がインター予測のために使用されるべきであると決定し、インター予測マージ候補が、さもなければ双予測について不等加重が示される双予測候補であると決定するように構成され、予測ブロックを生成するために、組み合わされたインター／イントラ予測のためにインター予測を実行するために等加重平均化を適用するようにさらに構成される。ビデオプロセッサは、予測ブロックに基づいてビデオデータのブロックを符号化または復号するようにさらに構成される。
【0009】
[0009]一実施形態は、ビデオデータを符号化または復号するための装置を含む。本装置は、ビデオデータの１つまたは複数の参照ピクチャを記憶するための手段と、ビデオデータを処理するための手段とを含む。ビデオ処理手段は、予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従ってビデオデータのブロックを予測するための手段を備える。ブロックを予測するための手段は、ブロックのイントラ予測とブロックのインター予測との加重組合せを生成するための手段を備える。重み組合せを生成するための手段は、インター予測マージ候補がインター予測のために使用されるべきであると決定し、インター予測マージ候補が、さもなければ双予測について不等加重が示される双予測候補であると決定するための手段と、予測ブロックを生成するために、組み合わされたインター／イントラ予測のためにインター予測を実行するために等加重平均化を適用するための手段とを備える。ビデオ処理手段は、予測ブロックに基づいてビデオデータのブロックを符号化または復号するための手段をさらに備える。
【0010】
[0010]別の実施形態は、コンピュータ可読記憶媒体であって、実行されたとき、プロセッサに、予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従ってビデオデータのブロックを予測することを行わせる命令を記憶したコンピュータ可読記憶媒体を含む。本命令は、プロセッサに、ブロックのイントラ予測とブロックのインター予測との加重組合せを生成することをさらに行わせる。加重組合せを生成するために、本命令は、プロセッサに、インター予測マージ候補がインター予測のために使用されるべきであると決定し、インター予測マージ候補が、さもなければ双予測について不等加重が示される双予測候補であると決定することをさらに行わせ、プロセッサに、予測ブロックを生成するために、組み合わされたインター／イントラ予測のためにインター予測を実行するために等加重平均化を適用することをさらに行わせる。本命令は、プロセッサに、予測ブロックに基づいてビデオデータのブロックを符号化または復号することをさらに行わせる。
【0011】
[0011]１つまたは複数の例の詳細が添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【0012】
【図1】[0012]本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図。
【図2A】[0013]例示的な４分木２分木（ＱＴＢＴ）構造を示す概念図。
【図2B】対応するコーディングツリーユニット（ＣＴＵ）を示す概念図。
【図3】[0014]本開示の技法を実行し得る例示的なビデオエンコーダを示すブロック図。
【図4】[0015]本開示の技法を実行し得る例示的なビデオデコーダを示すブロック図。
【図5】[0016]空間マージ候補の例示的な位置を示す概念図。
【図6】[0017]空間マージ候補の冗長検査のために検討される候補ペアの一例を示す概念図。
【図7】[0018]時間マージ候補のための動きベクトルスケーリングの一例を示す概念図。
【図8】[0019]時間マージ候補のための候補位置の例を示す概念図。
【図9A】[0020]三角形の区分ベースのインター予測の一例を示す概念図。
【図9B】三角形の区分ベースのインター予測の一例を示す概念図。
【図10】[0021]組み合わされたインター／イントラ予測の実施形態を示すフローチャート。
【発明を実施するための形態】
【0013】
[0022]加重予測（ＷＰ）は、フェージングを用いてビデオコンテンツを効率的にコーディングするためにＨ．２６４／ＡＶＣおよびＨＥＶＣ標準などのビデオコーデックによってサポートされるコーディングツールである。ＶＴＭ４から始まり、ＷＰのサポートがやはりＶＶＣ標準に追加された。ＷＰは、参照ピクチャリストＬ０およびＬ１の各々の中の参照ピクチャごとに重み付けパラメータ（重みおよびオフセット）がシグナリングされることを可能にする。次いで、動き補償中に、対応する参照ピクチャの重みとオフセットとが適用される。ＷＰとＢＷＡとは、異なるタイプのビデオコンテンツために設計される。ＶＶＣデコーダの設計を複雑にすることになるＷＰとＢＷＡとの間の対話を回避するために、ＣＵがＷＰを使用する場合、ＢＷＡ重みインデックスがシグナリングされず、ｗは４である（すなわち等しい重みが適用される）と推測される。
【0014】
[0023]別のコーディングツールでは、組み合わされたインター／イントラ予測（ＣＩＩＰ）と、イントラ予測モードと、標準マージ候補とが導出される。本明細書でさらに説明されるように、イントラ予測およびインター予測信号は、導出されたイントラモードとマージ候補とを使用して導出される。インター予測信号Ｐｉｎｔｅｒは、標準マージモードに適用される同じインター予測プロセスを使用して導出され、イントラ予測信号Ｐｉｎｔｒａは、標準イントラ予測プロセスに続いてＣＩＩＰイントラ予測モードを使用して導出される。いくつかの実施形態では、オプションで、イントラおよびインター予測信号は、次のように加重平均化を使用して組み合わされる。
【0015】
【数1】
【0016】
[0024]一実施形態では、ＣＩＩＰ中の選択された標準マージ候補が双予測である場合、エンコーダ／デコーダは、常に平均化のために等しい重みを使用する。ＣＩＩＰ中の選択された標準マージ候補のための重みインデックスが等しくない重みを用いる双予測における重み付け平均化を示す場合でも、エンコーダ／デコーダは、ＣＩＩＰのための動き補償中に等加重平均化を使用することが要求／強制される。または、代替的に、現在のブロックがＣＩＩＰモードを使用している場合、重みインデックスは、等しい重みの使用を示す値に修正される。望ましくは、この制約は、コーディング効率の最小限の損失でコーディング複雑性を低減し得る。
【0017】
[0025]別の代替実施形態では、（等しくない重みを用いる）加重予測が使用可能な場合、ＣＩＩＰは使用禁止にされる。これは、同様に複雑性を低減する。
【0018】
[0026]図１は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための何らかのデータを含む。したがって、ビデオデータは、シグナリングデータなどの未加工の、ビデオサンプルと、符号化されたビデオと、復号された（たとえば、再構成された）ビデオと、ビデオメタデータとを含み得る。
【0019】
[0027]図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化されたビデオデータを与えるソースデバイス１０２を含む。具体的には、ソースデバイス１０２は、コンピュータ可読媒体１１０を介してビデオデータを宛先デバイス１１６に提供する。ソースデバイス１０２および宛先デバイス１１６は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーム機、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合、ソースデバイス１０２および宛先デバイス１１６は、ワイヤレス通信に対応し得るので、ワイヤレス通信デバイスと呼ばれ得る。
【0020】
[0028]図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、本明細書で開示するインターインター予測のための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの例を表し、宛先デバイス１１６はビデオ復号デバイスの例を表す。他の例では、ソースデバイスおよび宛先デバイスは他の構成要素または構成を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、統合されたディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【0021】
[0029]図１に示されているシステム１００は一例にすぎない。一般に、いかなるデジタルビデオ符号化および／または復号デバイスも、組み合わされたインター／イントラ予測ための技法を実行し得る。ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２が宛先デバイス１１６への送信のためにコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示では、「コーディング」デバイスをデータのコーディング（符号化および／または復号）を実行するデバイスと称する。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングデバイス、特に、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、デバイス１０２、１１６は、デバイス１０２、１１６の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオ電話のための、ビデオデバイス１０２とビデオデバイス１１６との間の一方向または双方向のビデオ送信をサポートし得る。
【0022】
[0030]概して、ビデオソース１０４は、ビデオデータのソース（すなわち、未加工の、コーディングされていないビデオデータ）を表し、ピクチャのためのデータを符号化するビデオエンコーダ２００にビデオデータの連続した一連のピクチャ（「フレーム」とも呼ばれる）を与える。ソースデバイス１０２のビデオソース１０４は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされた未加工のビデオを包含するビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータで生成されたビデオとの組合せを生成し得る。各々の場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータで生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化されたビデオデータをコンピュータ可読媒体１１０に出力し得る。
【0023】
[0031]ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、未加工のビデオデータ、たとえば、ビデオソース１０４からの未加工のビデオ、およびビデオデコーダ３００からの未加工の、復号されたビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００およびビデオデコーダ３００によって実行可能なソフトウェア命令を記憶し得る。この例ではビデオエンコーダ２００およびビデオデコーダ３００とは別々に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００は、機能的に同等のまたは等価な目的のために内部メモリも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化されたビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、未加工の復号および／または符号化されたビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。
【0024】
[0032]コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化されたビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化されたビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化されたビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を変調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路などの、任意のワイヤレスまたは有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を可能にするために有用であり得る任意の他の機器を含み得る。
【0025】
[0033]いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に符号化データを出力し得る。同様に、宛先デバイス１１２は、入力インターフェース１２２を介して記憶デバイス１１２から符号化されたデータにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
【0026】
[0034]いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化されたビデオを記憶し得るファイルサーバ１１４または別の中間記憶デバイスに符号化されたビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４から、記憶されたビデオデータにアクセスし得る。ファイルサーバ１１４は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。宛先デバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通してファイルサーバ１１４から符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバ１１４に記憶された符号化されたビデオデータにアクセスするのに適した、両方の組合せを含み得る。ファイルサーバ１１４および入力インターフェース１２２は、ストリーミング伝送プロトコル、ダウンロード伝送プロトコル、またはそれらの組合せに従って動作するように構成され得る。
【0027】
[0035]出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８および入力インターフェース１２２がワイヤレス構成要素を備える例では、出力インターフェース１０８および入力インターフェース１２２は、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなどのセルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの、他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実行するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実行するためのＳｏＣデバイスを含み得る。
【0028】
[0036]本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
【0029】
[0037]宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、記憶デバイス１１２、ファイルサーバ１１４など）から符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームコンピュータ可読媒体１１０は、ビデオブロックまたは他のコーディングされたユニット（たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素などの、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、ユーザに復号されたビデオデータの復号されたピクチャを表示する。ディスプレイデバイス１１８は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを表し得る。
【0030】
[0038]図１には示されていないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、それぞれ、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中のオーディオとビデオの両方を含む多重化されたストリームを処理するために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【0031】
[0039]ビデオエンコーダ２００およびビデオデコーダ３００はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路および／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つもしくは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれ得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。
【0032】
[0040]ビデオエンコーダ２００およびビデオデコーダ３００は、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、またはマルチビューおよび／もしくはスケーラブルビデオコーディング拡張などのそれらの拡張などの、ビデオコーディング規格に従って動作し得る。代替として、ビデオエンコーダ２００およびビデオデコーダ３００は、共同探求テストモデル（ＪＥＭ）または汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６などの、他のプロプライエタリ規格または業界規格に従って動作し得る。ＶＶＣ標準の最近のドラフトは、Ｂｒｏｓｓら「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ３）」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）、第１２回会合：Ｍａｃａｏ、ＣＮ、２０１８年１０月３～１２日、ＪＶＥＴ－Ｌ１００１－ｖ９（以下、「ＶＶＣ Ｄｒａｆｔ ３」）に記載されている。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
【0033】
[0041]概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャのブロックベースのコーディングを実行し得る。「ブロック」という用語は、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは、さもなければ符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を一般に意味する。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマットのデータをＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替的に、前処理および後処理ユニット（図示されず）が、これらの変換を実行し得る。
【0034】
[0042]本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含めるように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックに対するデータを符号化または復号する、たとえば、予測および／または残差コーディングのプロセスを含めるように、ピクチャのブロックのコーディングに言及することがある。符号化されたビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素の一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成しているシンタックス要素の値をコーディングすることとして理解されたい。
【0035】
[0043]ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、４分木構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい、重複しない正方形に区分し、４分木の各ノードは、０個または４つのいずれかの子ノードを有する。子ノードなしのノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵならびに／あるいは１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差４分木（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。
【0036】
[0044]別の例として、ビデオエンコーダ２００とビデオデコーダ３００とは、ＪＥＭまたはＶＶＣに従って動作するように構成され得る。ＪＥＭまたはＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、４分木２分木（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造などの、木構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵの区別などの、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、４分木区分に従って区分される第１のレベル、および２分木区分に従って区分される第２のレベルという、２つのレベルを含む。ＱＴＢＴ構造のルートノードはＣＴＵに対応する。２分木のリーフノードは、コーディングユニット（ＣＵ）に対応する。
【0037】
[0045]ＭＴＴ区分構造では、ブロックは、４分木（ＱＴ）区分と、２分木（ＢＴ）区分と、１つまたは複数のタイプの３分木（ＴＴ）区分とを使用して区分され得る。３分木区分は、ブロックが３つのサブブロックに分割される区分である。いくつかの例では、３分木区分は、中心を通って元のブロックを分割することなく、ブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称的または非対称的であり得る。
【0038】
[0046]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。
【0039】
[0047]ビデオエンコーダ２００およびビデオデコーダ３００は、ＨＥＶＣによる４分木区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。ただし、本開示の技法が、４分木区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。
【0040】
[0048]本開示は、垂直および水平次元、たとえば、１６×１６のサンプルまたは１６バイ１６のサンプルに関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル次元を互換的に言及するために「Ｎ×Ｎ」および「ＮバイＮ」を使用し得る。一般に、１６×１６のＣＵは、垂直方向に１６個のサンプル（ｙ＝１６）を有し、水平方向に１６個のサンプル（ｘ＝１６）を有する。同様に、Ｎ×ＮのＣＵは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは行と列とに配列され得る。さらに、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。
【0041】
[0049]ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表すＣＵのためにビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、概して、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。
【0042】
[0050]ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、以前にコーディングされたピクチャのデータからＣＵを予測することを指し、一方、イントラ予測は、概して、同じピクチャの以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、一般に、たとえば、ＣＵと参照ブロックとの差分に関して、ＣＵと厳密に一致する参照ブロックを特定するために動き探索を実行し得る。ビデオエンコーダ２００は、参照ブロックが現在ＣＵにぴったり一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在ＣＵを予測し得る。
【0043】
[0051]以下は、インターピクチャ予測技法の例について説明する。インターピクチャ予測の例は、１）空間、時間、履歴ベースの、およびペアワイズ平均マージング候補を用いるブロック動きコピー、２）アフィン動きインター予測、３）サブブロックベースの時間動きベクトル予測、４）ＡＭＶＲ、５）時間動き予測のための８×８ブロックベースの動き圧縮、６）ルーマ成分のための８タップ補間フィルタとクロマ成分のための４タップ補間フィルタとを用いる高精度の（１／１６画素の）動きベクトルストレージおよび動き補償、７）三角形の区分、８）組み合わされたイントラおよびインター予測、９）動きベクトル差付きマージ（ＭＭＶＤ）、１０）対称的な動きベクトル差（ＭＶＤ）コーディング、１１）双方向オプティカルフロー、１２）デコーダ側動きベクトル改良、および１３）双予測加重平均化を含む。
【0044】
[0052]インター予測されたＣＵごとに、動きベクトルと、参照ピクチャインデックスおよび参照ピクチャリスト使用インデックスと、追加情報とを含む動きパラメータが、インター予測されたサンプルの生成のためにＶＶＣの新しいコーディング特徴とともに使用される。動きパラメータは、明示的または暗黙的な方式でシグナリングされ得る。たとえば、ビデオエンコーダ２００は、ビットストリーム中で動きパラメータをシグナリングし得、ビデオデコーダ３００は、ビットストリーム中の動きパラメータを読み取ること（たとえば、パーシングすること）によって動きパラメータを決定し得る。別の例では、ビデオエンコーダ２００は、ビットストリーム中で動きパラメータをシグナリングしないことがあり、ビデオデコーダ３００は、動きパラメータを推測し得る（たとえば、決定し得る）。たとえば、ＣＵがスキップモードを用いてコーディングされるとき、ＣＵは、１つのＰＵに関連付けられ、有意な残差係数も、コーディングされた動きベクトルデルタも、参照ピクチャインデックスも有しない。マージモードが指定され、それにより、空間および時間候補とＶＶＣに導入される追加のスケジュールとを含む現在のＣＵのための動きパラメータが隣接ＣＵから取得される。スキップモードだけでなくマージモードが任意のインター予測されたＣＵに適用され得る。マージモードの代替は、動きパラメータの明示的な送信であり、ここで、動きベクトル、参照ピクチャリストごとの対応する参照ピクチャインデックスおよび参照ピクチャリスト使用フラグ、および他の情報が各ＣＵごとに明示的にシグナリングされる。
【0045】
[0053]ＨＥＶＣのインターコーディング特徴を越えて、ＶＴＭ４（ＶＶＣテストモデル４）は、１）拡張されたマージ予測、２）ＭＭＶＤ、３）対称ＭＶＤシグナリングを用いるＡＭＶＰモード、４）アフィン動き補償予測、５）サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）、６）ＡＭＶＲ、７）動きフィールドストレージ：１／１６のルーマサンプルＭＶストレージおよび８×８の動きフィールド圧縮、８）加重平均化を用いる双予測（ＢＷＡ）、９）双方向オプティカルフロー（ＢＤＯＦ）、１０）デコーダ側動きベクトル改良（ＤＭＶＲ）、１１）三角形の区分予測、および１２）組み合わされたインターおよびイントラ予測（ＣＩＩＰ）のようにリストされる新規のおよび改良されたいくつかのインター予測コーディングツールを含む。
【0046】
[0054]ＪＥＭおよびＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つ以上の動きベクトルを決定し得る。
【0047】
[0055]イントラ予測を実行するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＪＥＭとＶＶＣとのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在のブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在のブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在のブロックと同じピクチャ中の現在のブロックの上方、上方および左側、または左側にあり得る。
【0048】
[0056]ビデオエンコーダ２００は、現在のブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードの動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードの動きベクトルを符号化するために同様のモードを使用し得る。
【0049】
[0057]ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換データを生成するために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、モード依存非分離可能２次変換（ＭＤＮＳＳＴ）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）など、第１の変換に続いて２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を生成する。
【0050】
[0058]上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実行し得る。量子化は、一般に、係数を表すために使用されるデータの量をできる限り低減してさらなる圧縮をもたらすように、変換係数が量子化されるプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ２００は、係数の一部またはすべてと関連付けられるビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化の間にｎビット値をｍビット値に丸めてもよく、ｎはｍより大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ２００は、量子化されるべき値のビットごとの右シフトを実行し得る。
【0051】
[0059]量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがって、より低い頻度）の係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査してシリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実行し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際にビデオデコーダ３００によって使用するための、符号化されたビデオデータと関連付けられるメタデータを記述するシンタックス要素のための値をエントロピー符号化し得る。
【0052】
[0060]ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
【0053】
[0061]ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。
【0054】
[0062]このようにして、ビデオエンコーダ２００は、符号化されたビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックの予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。
【0055】
[0063]概して、ビデオデコーダ３００は、ビットストリームの符号化されたビデオデータを復号するために、ビデオエンコーダ２００によって実行されたものの逆プロセスを実行する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素の値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ＣＴＵへのピクチャの区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）のための予測および残差情報をさらに定義し得る。
【0056】
[0064]残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックの残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックの予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関連する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキング処理を実行することなどの、追加の処理を実行し得る。
【0057】
[0065]本開示では、概して、シンタックス要素など、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、符号化されたビデオデータを復号するために使用される値シンタックス要素および／または他のデータの通信を指すことがある。すなわち、ビデオエンコーダ２００は、ビットストリームにおいてシンタックス要素の値をシグナリングし得る。一般に、シグナリングは、ビットストリームの中に値を生成することを指す。上述されたように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに起こり得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。
【0058】
[0066]図２Ａと図２Ｂとは、例示的な４分木２分木（ＱＴＢＴ）構造１３０と、対応するコーディングツリーユニット（ＣＴＵ）１３２とを示す概念図である。実線は４分木分割を表し、点線は２分木分割を表す。２分木の分割された各（すなわち、非リーフ）ノードにおいて、どの分割タイプ（すなわち、水平または垂直）が使用されるのかを示すために１つのフラグがシグナリングされ、ここで、この例では、０は水平分割を示し、１は垂直分割を示す。４分木分割の場合、４分木ノードは、サイズが等しい４つのサブブロックに、水平および垂直にブロックを分割するので、分割タイプを示す必要がない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベル（すなわち、実線）についての（スプリッティング情報などの）シンタックス要素と、ＱＴＢＴ構造１３０の予測ツリーレベル（すなわち、破線）についての（スプリッティング情報などの）シンタックス要素とを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。ＱＴＢＴ構造１３０の端末リーフノードによって表されるＣＵについての、予測および変換データなどのビデオデータを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。
【0059】
[0067]概して、図２ＢのＣＴＵ１３２は、第１および第２のレベルにおいてＱＴＢＴ構造１３０のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、（サンプル単位でＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、最小４分木サイズ（最小許容４分木リーフノードサイズを表す、ＭｉｎＱＴＳｉｚｅ）と、最大２分木サイズ（最大許容２分木ルートノードサイズを表す、ＭａｘＢＴＳｉｚｅ）と、最大２分木深度（最大許容２分木深度を表す、ＭａｘＢＴＤｅｐｔｈ）と、最小２分木サイズ（最小許容２分木リーフノードサイズを表す、ＭｉｎＢＴＳｉｚｅ）とを含み得る。
【0060】
[0068]ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有し得、それらの各々は、４分木区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）リーフノードであるか、あるいは４つの子ノードを有するかのいずれかである。ＱＴＢＴ構造１３０の例は、分岐のために実線を有する親ノードと子ノードとを含むようなノードを表す。第１のレベルのノードは、最大許容２分木ルートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、それぞれの２分木によってさらに区分され得る。１つのノードの２分木分割は、分割から得られるノードが最小許容２分木リーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容２分木深度（ＭａｘＢＴＤｅｐｔｈ）に到達するまで反復され得る。ＱＴＢＴ構造１３０の例は、分岐のために破線を有するものとしてそのようなノードを表す。２分木リーフノードは、コーディングユニット（ＣＵ）と呼ばれ、コーディングユニット（ＣＵ）は、それ以上区分することなく、予測（たとえば、イントラピクチャ予測またはインターピクチャ予測）および変換のために使用される。上記で説明したように、ＣＵは、「ビデオブロック」または「ブロック」と呼ばれることもある。
【0061】
[0069]ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは、１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅と高さの両方について）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。４分木リーフノードを生成するために、最初に４分木区分がＣＴＵに適用される。４分木リーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有し得る。４分木ノードが１２８×１２８である場合、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では６４×６４）を超えるので、それは２分木によってさらに分割されない。そうでない場合、リーフ４分木ノードは、２分木によってさらに区分される。したがって、４分木リーフノードはまた、２分木に対してルートノードであり、０としての２分木深度を有する。２分木深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に達したとき、さらなる分割は許可されない。２分木ノードがＭｉｎＢＴＳｉｚｅ（この例では４）に等しい幅を有するとき、そのことはそれ以上の水平分割が許されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有する２分木ノードは、その２分木ノードに対してそれ以上の垂直分割が許されないことを暗示する。上述のように、２分木のリーフノードはＣＵと呼ばれ、それ以上区分することなく予測および変換に従ってさらに処理される。
【0062】
[0070]図３は、本開示の技法を実行し得る例示的なビデオエンコーダ２００を示すブロック図である。図３は説明のために提供され、本開示で広く例示され記載される技法を限定するものと見なされるべきではない。説明の目的で、本開示では、ＨＥＶＣビデオコーディング規格および開発中のＨ．２６６ビデオコーディング規格などのビデオコーディング規格のコンテキストにおいて、ビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、一般的にビデオ符号化および復号に適用可能である。
【0063】
[0071]図３の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構成ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構成ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つもしくは複数のプロセッサまたは処理回路において実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実行するための追加もしくは代替のプロセッサまたは処理回路を含み得る。
【0064】
[0072]ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されたビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０およびＤＰＢ２１８は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【0065】
[0073]本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在のブロックのビデオデータ）を記憶する参照メモリとして理解されたい。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。
【0066】
[0074]図３の様々なユニットは、ビデオエンコーダ２００によって実行される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を与える回路を指し、実行され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実行するように、および実行され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは、集積回路であり得る。
【0067】
[0075]ビデオエンコーダ２００は、プログラマブル回路から形成される論理演算装置（ＡＬＵ）、初等関数ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し実行するソフトウェアのオブジェクトコードを記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示されず）が、そのような命令を記憶し得る。
【0068】
[0076]ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、残差生成ユニット２０４とモード選択ユニット２０２とにビデオデータを与え得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。
【0069】
[0077]モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するために追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。
【0070】
[0078]モード選択ユニット２０２は、概して、符号化パラメータの組合せをテストするために複数の符号化パスを協調させ、そのような組合せのためのレートひずみ値を生じる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。
【0071】
[0079]ビデオエンコーダ２００は、一連のＣＴＵにビデオデータメモリ２３０から取り出されたピクチャを区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上で説明されたＨＥＶＣのＱＴＢＴ構造または４分木構造などの木構造に従ってピクチャのＣＴＵを区分し得る。上で説明されたように、ビデオエンコーダ２００は、木構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、一般に「ビデオブロック」または「ブロック」と呼ばれることもある。
【0072】
[0080]概して、モード選択ユニット２０２はまた、現在のブロック（たとえば、現在のＣＵまたはＨＥＶＣでは、ＰＵおよびＴＵの重複部分）のための予測ブロックを生成するためにそれの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在のブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶されている１つまたは複数の以前のコーディングされたピクチャ）の中で１つまたは複数の厳密に一致する参照ブロックを特定するために動き探索を実行し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在のブロックに対して潜在的な参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、一般に、現在のブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実行し得る。動き推定ユニット２２２は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。
【0073】
[0081]動き推定ユニット２２２は、現在のピクチャ中の現在のブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックの値を補間し得る。その上、双方向インター予測の場合、動き補償ユニット２２４は、それぞれの動きベクトルによって特定される２つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付け平均化を通じて、取り出されたデータを組み合わせ得る。
【0074】
[0082]別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在のブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、隣接サンプルの値を概して数学的に組み合わせ、現在のブロックにわたって規定の方向にこれらの計算された値をポピュレートして、予測ブロックを生成し得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在のブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの得られた平均を含むように予測ブロックを生成し得る。
【0075】
[0083]モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在のブロックの未加工の、コーディングされていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在のブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ：residual differential pulse code modulation）を使用して残差ブロックを生成するために、残差ブロックの中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実行する１つまたは複数の減算器回路を使用して形成され得る。
【0076】
[0084]モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指すことがある。特定のＣＵのサイズが２Ｎ×２Ｎであると想定すると、ビデオエンコーダ２００は、イントラ予測について２Ｎ×２ＮまたはＮ×ＮというＰＵサイズと、インター予測について２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または類似の対称的なＰＵサイズとをサポートし得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称的区分をサポートし得る。
【0077】
[0085]モード選択ユニットがＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。
【0078】
[0086]いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット２０２は、コーディング技法に関連するそれぞれのユニットを介して、符号化されている現在のブロックのための予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構成すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるためにこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。
【0079】
[0087]上記で説明したように、残差生成ユニット２０４は、現在のブロックに対するビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在のブロックとの間のサンプルごとの差分を計算する。
【0080】
[0088]変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ぶ）変換係数のブロックを生成するために残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換などの１次変換および２次変換を実行し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。
【0081】
[0089]量子化ユニット２０８は、量子化変換係数ブロックを生成するために変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在のブロックと関連付けられる量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵと関連付けられたＱＰ値を調整することによって、現在のブロックと関連付けられた係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらすことがあり、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。
【0082】
[0090]逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構成するために、それぞれ、量子化変換係数ブロックに逆量子化および逆変換を適用し得る。再構成ユニット２１４は、再構成された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（潜在的にある程度のひずみを伴うが）現在のブロックに対応する再構成されたブロックを生成し得る。たとえば、再構成ユニット２１４は、再構成されたブロックを生成するために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構成された残差ブロックのサンプルを加算し得る。
【0083】
[0091]フィルタユニット２１６は、再構成されたブロックに対して１つまたは複数のフィルタ演算を実行し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実行し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。
【0084】
[0092]ビデオエンコーダ２００は、ＤＰＢ２１８中に再構成されたブロックを記憶する。たとえば、フィルタユニット２１６の動作が必要とされない例において、再構成ユニット２１４は、再構成されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、フィルタリングされた再構成されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２と動き補償ユニット２２４とは、後で符号化されるピクチャのブロックをインター予測するために、再構成（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。加えて、イントラ予測ユニット２２６は、現在のピクチャの中の他のブロックをイントラ予測するために、現在のピクチャのＤＰＢ２１８の中の再構成されたブロックを使用し得る。
【0085】
[0093]概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化されたデータを生成するためにビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実行し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
【0086】
[0094]ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構成するために必要なエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０は、ビットストリームを出力し得る。
【0087】
[0095]上記で説明された動作について、ブロックに関して説明する。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマおよびクロマ成分である。
【0088】
[0096]いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックとクロマコーディングブロックとに対して同じであり得る。
【0089】
[0097]ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、本明細書で開示する実施形態に従って、組み合わされたインター／イントラ予測を実行するように構成された、１つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表す。
【0090】
[0098]図４は、本開示の技法を実行し得る例示的なビデオデコーダ３００を示すブロック図である。図４は説明のために提供され、本開示で広く例示され記載される技法を限定するものではない。説明の目的で、本開示は、ビデオデコーダ３００についてＪＥＭ、ＶＶＣ、およびＨＥＶＣの技法に従って説明されることを記載する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実行され得る。
【0091】
[0099]図４の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構成ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構成ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つもしくは複数のプロセッサまたは処理回路において実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実行するための追加もしくは代替のプロセッサまたは処理回路を含み得る。
【0092】
[0100]予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実行するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。
【0093】
[0101]ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化されたビデオビットストリームからの符号化されたビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、一般に、ビデオデコーダ３００が符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび／または参照ビデオデータとして使用し得る復号されたピクチャを記憶する。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０およびＤＰＢ３１４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【0094】
[0102]追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコーディングされたビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０を用いて上記で論じられたデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されたためソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。
【0095】
[0103]図４に示されている様々なユニットは、ビデオデコーダ３００によって実行される動作を理解するのを支援するために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図３と同様に、固定機能回路は、特定の機能を与える回路を指し、実行され得る動作にあらかじめ設定される。プログラマブル回路は、様々なタスクを実行するように、および実行され得る動作においてフレキシブルな機能を提供するようにキャンプログラムされる回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは、集積回路であり得る。
【0096】
[0104]ビデオデコーダ３００は、プログラマブル回路から形成されるＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行されるソフトウェアによって実行される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。
【0097】
[0105]エントロピー復号ユニット３０２は、ＣＰＢから符号化されたビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット３０４、逆量子化ユニット３０６、逆変換処理ユニット３０８、再構成ユニット３１０、およびフィルタユニット３１２は、ビットストリームから抽出されるシンタックス要素に基づいて復号されたビデオデータを生成し得る。
【0098】
[0106]概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構成する。ビデオデコーダ３００は、各ブロックに対して個々に再構成演算を実行し得る（ここで、現在再構成されているブロック、すなわち、現在復号されているブロックは、「現在のブロック」と呼ばれることがある）。
【0099】
[0107]エントロピー復号ユニット３０２は、量子化変換係数ブロックの量子化変換係数を定義するシンタックス要素ならびに量子化パラメータ（ＱＰ）および／または変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度を決定するために、また同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度を決定するために、量子化された変換係数ブロックと関連付けられるＱＰを使用し得る。逆量子化ユニット３０６は、たとえば、量子化された変換係数を逆量子化するためにビット単位の左シフト演算を実行し得る。逆量子化ユニット３０６は、それによって、変換係数を含む変換係数ブロックを形成し得る。
【0100】
[0108]逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在のブロックに関連する残差ブロックを生成するために変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を係数ブロックに適用し得る。
【0101】
[0109]さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット３１６は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックを取り出すＤＰＢ３１４中の参照ピクチャ、ならびに現在のピクチャ中の現在のブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図３）に関して説明された方式と実質的に同様である方式でインター予測プロセスを実行し得る。
【0102】
[0110]別の例として、予測情報シンタックス要素が、現在のブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図３）に関して説明されたのと実質的に同様である様式でイントラ予測プロセスを実行し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在のブロックに対する隣接サンプルのデータを取り出し得る。
【0103】
[0111]再構成ユニット３１０は、予測ブロックと残差ブロックとを使用して現在のブロックを再構成し得る。たとえば、再構成ユニット３１０は、現在のブロックを再構成するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。
【0104】
[0112]フィルタユニット３１２は、再構成されたブロックに対して１つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット３１２は、再構成されたブロックの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット３１２の動作は、必ずしもすべての例で実行されるとは限らない。
【0105】
[0113]ビデオデコーダ３００は、ＤＰＢ３１４中に再構成されたブロックを記憶し得る。上で論じられたように、ＤＰＢ３１４は、イントラ予測のための現在のピクチャのサンプルおよび後続の動き補償のための以前に復号されたピクチャなどの、参照情報を予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢからの復号されたピクチャを、後で提示するために、図１のディスプレイデバイス１１８などのディスプレイデバイス上に出力し得る。
【0106】
[0114]このようにして、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、コンバインインター／イントラ予測を実行するように構成された１つまたは複数の処理ユニットとを含む、ビデオ復号デバイスの一例を表す。
【0107】
[0115]以下は、空間候補の導出について説明する。図５は、空間マージ候補の例示的な位置を示す概念図である。
【0108】
[0116]ＶＶＣでの空間マージ候補の導出は、ＨＥＶＣでと同じである。最大４つのマージ候補が、図５に示される位置に位置する候補の中から選択される。導出の順序は、Ａ０５２６、Ｂ０５２８、Ｂ１５３０、Ａ１５３２およびＢ２５３３である。位置Ｂ２５３３は、位置Ａ０５２６、位置Ｂ０５２８、Ｂ１５３０、およびＡ１５３２の任意のＣＵが、（たとえば。別のスライスまたはタイルに属するために）利用可能でないかまたはイントラコーディングされるときにのみ考慮される。位置Ａ１５３２にある候補が追加された後、残りの候補の追加は、冗長検査の対象となり、これは、コーディング効率が改善されるように同じ動き情報をもつ候補がリストから除外されることを保証する。計算複雑性を低減するために、前述の冗長検査ではすべての可能な候補ペアは考慮されない。図６は、空間マージ候補の冗長検査のために検討される候補ペアの一例を示す概念図である。図６の矢印、たとえば、矢印５２９または矢印５３１とリンクされたペアのみが考慮され、冗長検査のために使用される対応する候補が同じ動き情報を有しない場合にのみ、候補はリストに追加される。
【0109】
[0117]以下は、時間候補の導出について説明する。図７は、時間マージ候補のための動きベクトルスケーリングの一例を示す概念図である。いくつかの例では、ただ１つの時間候補がリストに追加される。詳細には、時間マージ候補の導出では、スケーリングされた動きベクトルは、コロケートされた参照ピクチャに属するコロケートされたＣＵに基づいて導出される。コロケートされたＣＵの導出のために使用されるべき参照ピクチャリストは、スライスヘッダ中で明示的にシグナリングされる。たとえば、ビデオエンコーダ２００は、ビットストリーム中のスライスヘッダ中でコロケートされたＣＵの導出のために使用される参照ピクチャリストをシグナリングし得、ビデオデコーダ３００は、ビットストリーム中のシグナリングを読み取ることによって参照ピクチャリストを決定し得る。現在のＣＵ４２のための時間マージ候補のためのスケーリングされた動きベクトル５０は、図７の破線によって示されるように取得され、これは、ピクチャ順序カウント（ＰＯＣ）距離ｔｂ５４６およびｔｄ５４８を使用して、コロケートされたＣＵ５４４の動きベクトル５５２からスケーリングされ、ここで、ｔｂは、現在のピクチャの参照ピクチャと（参照ピクチャ５３６）と現在のピクチャ（現在のピクチャ５３８）との間のＰＯＣ差となるように定義され、ｔｄは、コロケートされたピクチャの参照ピクチャ（参照ピクチャ５３４）とコロケートされたピクチャ（コロケートされたピクチャ５４０）との間のＰＯＣ差となるように定義される。時間マージ候補の参照ピクチャインデックスは、０に等しく設定される。
【0110】
[0118]図８は、時間マージ候補のための候補位置の例を示す概念図である。時間候補のための位置は、図８に示されているように、位置Ｃ０５５４と位置Ｃ１ ５５６との候補の間に選択される。位置Ｃ０５５４にあるＣＵが、利用可能でないか、イントラコーディングされるか、または、コーディングツリーユニット（ＣＴＵ）の現在の行の外部にある場合、位置Ｃ１５５６にある候補が使用される。他の場合、時間マージ候補の導出においてＣ０５５４が使用される。
【0111】
[0119]図９Ａおよび図９Ｂは、三角形の区分ベースのインター予測の一例を示す概念図である。三角形の区分モードが使用されるとき、ＣＵは、図９Ａに示されている対角分割または図９Ｂに示されているような反対角分割のいずれかを使用して、２つの三角形状の区分に一様に分割される。図９Ａの対角分割は、ＣＵを区分１ ９３０と区分２ ９３２とに分割する。図９Ｂの反対角分割は、ＣＵを区分１ ９３４と区分２ ９３６とに分割する。ＣＵ中のそれぞれの三角形の区分は、それ自体の動きを使用してインター予測され、区分ごとに単予測のみが可能にされ、すなわち、各区分は、１つの動きベクトルと１つの参照インデックスとを有する。従来の双予測の場合のように、ＣＵごとに２つの動き補償予測子のみが必要とされることを保証するために単予測動き制約が適用される。各区分の単予測動きは、単予測候補リストから導出される。
【0112】
[0120]三角形の区分モードが使用される場合、三角形の区分の方向（対角線または反対角線）を示すフラグと、２つのマージインデックス（区分ごとに１つ）とがさらにシグナリングされる。三角形の区分の各々を予測した後に、対角または反対角の端部に沿ったサンプル値が、適応重みを用いたブレンディング処理を使用して調整される。これはＣＵ全体のための予測信号であり、他の予測モードの場合のように、変換および量子化プロセスは、ＣＵ全体に適用されることになる。
【0113】
[0121]一実施形態では、エンコーダ２００／デコーダ３００は、標準マージ候補リストの代わりに、三角マージ候補リスト（三角マージ予測のために構成されたリスト）を使用する。三角マージ候補リストは、すべて単予測であるマージ候補からなり、したがって、ＣＩＩＰは、単予測とイントラ予測との間の加重組合せであり、これは、ＣＩＩＰモードを簡略化する。単予測候補のみの任意のリストが代わりに使用され得る。
【0114】
[0122]図１０は、いくつかの実施形態による、組み合わされたインター／イントラモードを使用して現在のブロックを符号化および復号する例示的な方法１０００を示すフローチャートである。現在のブロックは現在の予測ユニットを備え得る。ビデオエンコーダ２００（図１および図２）に関して説明されるが、他のデバイスが図６の方法と同様の方法を実行するように構成され得ることを理解されたい。
【0115】
[0123]この例では、ブロック１０１０において、ビデオエンコーダ２００またはビデオデコーダ３００は、組み合わされたインター／イントラモードに従ってブロックが予測されるべきであると決定する。エンコーダ２００は、ブロックのために利用可能な予測モードから選択するために、レートひずみプロセスまたは同様のプロセスを使用してこの決定を行い得る。デコーダ３００は、ビデオビットストリームから１つまたは複数のシンタックス要素を復号し、復号されたシンタックス要素に基づいてモードを決定し得る。
【0116】
[0124]組み合わされたインター／イントラモードが使用されるとき、イントラモードとインターモードとが導出され得る。たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ブロック１０１２において、インター予測マージ候補がインター予測のために使用されるべきであると決定し、インター予測マージ候補が双予測候補であると決定し得る。一実施形態によれば、マージ候補は、ブロックの双予測について不等加重（non-equal weighting）が示されることを示す重みインデックスに関連付けられ得る。
【0117】
[0125]複雑性を低減するために、ブロック１０１４に移動すると、エンコーダ２００および／またはデコーダ３００は、たとえブロックの双予測について不等加重が示されているとしても、予測ブロックを生成するために等加重平均化を使用して組み合わされたインター／イントラ予測のためにインター予測を実行する。
【0118】
[0126]代替的に、一実施形態では、エンコーダ２００は、等加重が使用されるようにマージブロックのための重みインデックスを修正するように構成される。
【0119】
[0127]ブロック１０１６に移動すると、エンコーダ２００は、組み合わされたインター／イントラ予測モードを使用してブロックを符号化するか、またはデコーダ３００は、組み合わされたインター／イントラ予測モードを使用してブロックを復号する。たとえば、エンコーダ２００および／またはデコーダ３００は、ブロックのためのインターおよびイントラ予測を組み合わせ、本明細書で開示されるなどの技法を使用して残差をザ符号化または復号し得る。
【0120】
[0128]いくつかの実施形態では、インターおよびイントラ予測のブレンディングのために複数の、たとえば、３つのセットの重みがある。｛３，１｝、｛１，３｝、および｛２，２｝。重み付けセットの選択は、隣接ブロックのモードに依存する。左と上とが共にイントラモードである場合、重み付けセットは｛１，３｝であり、これは、インターのための１の重みと、イントラのための３の重みとを示す。そうでない場合、左と上とのネイバーに１つのイントラブロックがある場合、重み付けセットはある｛２，２｝である。そうでない場合、重み付けセットは、｛３，１｝である。一実施形態によれば、２つの重みのみが使用される。たとえば、左と上との隣接ブロックが共にイントラモードである場合、１つの重みが使用され、そうでない場合、他の重みが使用される。任意の２つの重み付けセットが使用され得る。１つのそのような実施形態では、重み付けセット｛２．２｝は、ＶＶＣのいくつかのドラフトに例示されるなど、実施形態から除去される。左と上とが共にイントラモードである場合、重み付けセットは｛１，３｝であり、そうでない場合、重み付けセット｛３，１｝が使用される。
【0121】
[0129]例に応じて、本明細書で説明した技法のいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行され得、追加、マージ、または完全に除外され得る（たとえば、説明したすべての行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実行され得る。
【0122】
[0130]１つまたは複数の例において、前述の機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令もしくはコードとして、コンピュータ可読媒体上に記憶され得るか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的な有形コンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0123】
[0131]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含むのではなく、代わりに非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書において使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
【0124】
[0132]命令は、１つもしくは複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の同等の集積された論理回路もしくは個別の論理回路などの、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書において使用される「プロセッサ」および「処理回路」という用語は、前述の構造、または本明細書において説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／もしくはソフトウェアモジュール内で提供され、または複合コーデックに組み込まれ得る。また、本技法は、１つもしくは複数の回路または論理要素において十分に実装され得る。
【0125】
[0133]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置に実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明されたが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。そうではなく、上記で説明されたように、様々なユニットは、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされ得るか、または相互動作可能なハードウェアユニットの集合によって提供され得る。
【0126】
[0134]様々な例を説明した。これらおよび他の例は、以下の特許請求の範囲の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号する方法であって、
予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従って前記ビデオデータのブロックを予測することと、前記予測することは、前記ブロックのイントラ予測と前記ブロックのインター予測との加重組合せを生成することを備え、前記加重組合せを生成することは、
インター予測マージ候補が前記インター予測のために使用されるべきであると決定し、前記インター予測マージ候補が、さもなければ前記ブロックの双予測について不等加重が示される双予測候補であると決定すること、および
前記予測ブロックを生成するために、前記組み合わされたインター／イントラ予測のために前記インター予測を実行するために等加重平均化を適用すること、を備え、
前記予測ブロックに基づいてビデオデータの前記ブロックを復号することと、
を備える、方法。
［Ｃ２］
不等加重が前記ブロックの双予測のために使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを復号することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記ブロックのための前記イントラ予測を実行することをさらに備える、Ｃ１に記載の方法。
［Ｃ４］
符号化されたビデオビットストリームから、前記組み合わされたインター／イントラ予測モードを示すデータを復号することをさらに備える、Ｃ１に記載の方法。
［Ｃ５］
ビデオデータを符号化する方法であって、
予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従って前記ビデオデータのブロックを予測することと、前記予測することは、前記ブロックのイントラ予測と前記ブロックのインター予測との加重組合せを生成することを備え、前記加重組合せを生成することは、
インター予測マージ候補が前記インター予測のために使用されるべきであると決定し、前記インター予測マージ候補が、さもなければ双予測について不等加重が示される双予測候補であると決定すること、および
前記予測ブロックを生成するために前記組み合わされたインター／イントラ予測のために前記インター予測を実行するために等加重平均化を適用すること、を備え、
前記予測ブロックに基づいてビデオデータの前記ブロックを符号化することと、を備える、方法。
［Ｃ６］
不等加重が前記ブロックの双予測のために使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを符号化することをさらに備える、Ｃ５に記載の方法。
［Ｃ７］
等しい重みが使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを修正することをさらに備える、Ｃ５に記載の方法。
［Ｃ８］
前記ブロックのための前記イントラ予測を実行することをさらに備える、Ｃ５に記載の方法。
［Ｃ９］
前記イントラ予測を実行することは、前記モードが組み合わされたインター／イントラ予測モードであることに基づいてＤＣ予測モードに従って予測を実行することを備える、Ｃ８に記載の方法。
［Ｃ１０］
前記組み合わされたインター／イントラ予測モードを示すデータを、符号化されたビデオビットストリーム中に符号化することをさらに備える、Ｃ５に記載の方法。
［Ｃ１１］
前記組み合わされたインター／イントラ予測モードを選択するために、レートひずみ分析を実行することをさらに備える、Ｃ５に記載の方法。
［Ｃ１２］
ビデオキャプチャデバイスを使用して前記ビデオデータをキャプチャすることをさらに備える、Ｃ５に記載の方法。
［Ｃ１３］
ビデオデータを符号化または復号するための装置であって、
前記ビデオデータの１つまたは複数の参照ピクチャを記憶するように構成されたメモリと、
ビデオプロセッサと、
を備え、前記ビデオプロセッサは、
予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従って前記ビデオデータのブロックを予測することと、ここにおいて、前記ビデオプロセッサは、前記ブロックのイントラ予測と前記ブロックのインター予測との加重組合せを生成するように構成され、ここにおいて、前記加重組合せを生成するために、前記プロセッサは、
インター予測マージ候補が前記インター予測のために使用されるべきであると決定し、前記インター予測マージ候補が、さもなければ双予測について不等加重が示される双予測候補であると決定すること、および
前記予測ブロックを生成するために、前記組み合わされたインター／イントラ予測のために前記インター予測を実行するために等加重平均化を適用すること、を行うように構成され、
前記予測ブロックに基づいてビデオデータの前記ブロックを符号化または復号することと、
を行うように構成された、装置。
［Ｃ１４］
前記装置は、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、Ｃ１３に記載の装置。
［Ｃ１５］
ビデオデータの前記ブロックを含むピクチャをキャプチャするように構成されたビデオキャプチャデバイスをさらに備える、Ｃ１３に記載の装置。
［Ｃ１６］
ビデオデータの前記ブロックを含むピクチャを表示するように構成されたディスプレイをさらに備える、Ｃ１３に記載の装置。
［Ｃ１７］
前記ビデオプロセッサは、不等加重が前記ブロックの双予測のために使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを符号化するようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ１８］
前記ビデオプロセッサは、等しい重みが使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを修正するようにさらに構成された、Ｃ１７に記載の装置。
［Ｃ１９］
前記ビデオプロセッサは、前記ブロックのための前記イントラ予測を実行するようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ２０］
前記イントラ予測を実行するために、前記ビデオプロセッサは、前記モードが組み合わされたインター／イントラ予測モードであることに基づいてＤＣ予測モードに従って予測を実行するように構成された、Ｃ１９に記載の装置。
［Ｃ２１］
前記ビデオプロセッサは、前記組み合わされたインター／イントラ予測モードを示すデータを、符号化されたビデオビットストリーム中に符号化するようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ２２］
前記ビデオプロセッサは、前記組み合わされたインター／イントラ予測モードを選択するために、レートひずみ分析を実行するようにさらに構成された、Ｃ１３に記載の装置。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号する方法であって、
予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従って前記ビデオデータのブロックを予測することと、前記予測することは、前記ブロックのイントラ予測と前記ブロックのインター予測との加重組合せを生成することを備え、前記加重組合せを生成することは、
インター予測マージ候補が前記インター予測のために使用されるべきであると決定し、前記インター予測マージ候補が、さもなければ前記ブロックの双予測について不等加重が示される双予測候補であると決定すること、および
前記予測ブロックを生成するために、前記組み合わされたインター／イントラ予測のために前記インター予測を実行するために等加重平均化を適用すること、を備え、
前記予測ブロックに基づいてビデオデータの前記ブロックを復号することと、
を備える、方法。
［Ｃ２］
不等加重が前記ブロックの双予測のために使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを復号することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記ブロックのための前記イントラ予測を実行することをさらに備える、Ｃ１に記載の方法。
［Ｃ４］
符号化されたビデオビットストリームから、前記組み合わされたインター／イントラ予測モードを示すデータを復号することをさらに備える、Ｃ１に記載の方法。
［Ｃ５］
ビデオデータを符号化する方法であって、
予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従って前記ビデオデータのブロックを予測することと、前記予測することは、前記ブロックのイントラ予測と前記ブロックのインター予測との加重組合せを生成することを備え、前記加重組合せを生成することは、
インター予測マージ候補が前記インター予測のために使用されるべきであると決定し、前記インター予測マージ候補が、さもなければ双予測について不等加重が示される双予測候補であると決定すること、および
前記予測ブロックを生成するために前記組み合わされたインター／イントラ予測のために前記インター予測を実行するために等加重平均化を適用すること、を備え、
前記予測ブロックに基づいてビデオデータの前記ブロックを符号化することと、を備える、方法。
［Ｃ６］
不等加重が前記ブロックの双予測のために使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを符号化することをさらに備える、Ｃ５に記載の方法。
［Ｃ７］
等しい重みが使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを修正することをさらに備える、Ｃ５に記載の方法。
［Ｃ８］
前記ブロックのための前記イントラ予測を実行することをさらに備える、Ｃ５に記載の方法。
［Ｃ９］
前記イントラ予測を実行することは、前記モードが組み合わされたインター／イントラ予測モードであることに基づいてＤＣ予測モードに従って予測を実行することを備える、Ｃ８に記載の方法。
［Ｃ１０］
前記組み合わされたインター／イントラ予測モードを示すデータを、符号化されたビデオビットストリーム中に符号化することをさらに備える、Ｃ５に記載の方法。
［Ｃ１１］
前記組み合わされたインター／イントラ予測モードを選択するために、レートひずみ分析を実行することをさらに備える、Ｃ５に記載の方法。
［Ｃ１２］
ビデオキャプチャデバイスを使用して前記ビデオデータをキャプチャすることをさらに備える、Ｃ５に記載の方法。
［Ｃ１３］
ビデオデータを符号化または復号するための装置であって、
前記ビデオデータの１つまたは複数の参照ピクチャを記憶するように構成されたメモリと、
ビデオプロセッサと、
を備え、前記ビデオプロセッサは、
予測ブロックを生成するために、組み合わされたインター／イントラ予測モードに従って前記ビデオデータのブロックを予測することと、ここにおいて、前記ビデオプロセッサは、前記ブロックのイントラ予測と前記ブロックのインター予測との加重組合せを生成するように構成され、ここにおいて、前記加重組合せを生成するために、前記プロセッサは、
インター予測マージ候補が前記インター予測のために使用されるべきであると決定し、前記インター予測マージ候補が、さもなければ双予測について不等加重が示される双予測候補であると決定すること、および
前記予測ブロックを生成するために、前記組み合わされたインター／イントラ予測のために前記インター予測を実行するために等加重平均化を適用すること、を行うように構成され、
前記予測ブロックに基づいてビデオデータの前記ブロックを符号化または復号することと、
を行うように構成された、装置。
［Ｃ１４］
前記装置は、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、Ｃ１３に記載の装置。
［Ｃ１５］
ビデオデータの前記ブロックを含むピクチャをキャプチャするように構成されたビデオキャプチャデバイスをさらに備える、Ｃ１３に記載の装置。
［Ｃ１６］
ビデオデータの前記ブロックを含むピクチャを表示するように構成されたディスプレイをさらに備える、Ｃ１３に記載の装置。
［Ｃ１７］
前記ビデオプロセッサは、不等加重が前記ブロックの双予測のために使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを符号化するようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ１８］
前記ビデオプロセッサは、等しい重みが使用されるべきであることを示す前記インター予測マージ候補のための重みインデックスを修正するようにさらに構成された、Ｃ１７に記載の装置。
［Ｃ１９］
前記ビデオプロセッサは、前記ブロックのための前記イントラ予測を実行するようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ２０］
前記イントラ予測を実行するために、前記ビデオプロセッサは、前記モードが組み合わされたインター／イントラ予測モードであることに基づいてＤＣ予測モードに従って予測を実行するように構成された、Ｃ１９に記載の装置。
［Ｃ２１］
前記ビデオプロセッサは、前記組み合わされたインター／イントラ予測モードを示すデータを、符号化されたビデオビットストリーム中に符号化するようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ２２］
前記ビデオプロセッサは、前記組み合わされたインター／イントラ予測モードを選択するために、レートひずみ分析を実行するようにさらに構成された、Ｃ１３に記載の装置。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】