特許 7364669 イントラ予測の方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】イントラ予測の方法及び装置

(51)【国際特許分類】

   H04N 19/105 20140101AFI20231011BHJP

   H04N 19/593 20140101ALI20231011BHJP

   H04N 19/186 20140101ALI20231011BHJP

   H04N 19/176 20140101ALI20231011BHJP

【ＦＩ】

H04N19/105

H04N19/593

H04N19/186

H04N19/176

【請求項の数】 32

(21)【出願番号】P 2021518662

(86)(22)【出願日】2019-09-30

(65)【公表番号】

(43)【公表日】2022-01-13

(86)【国際出願番号】 CN2019109733

(87)【国際公開番号】W WO2020069667

(87)【国際公開日】2020-04-09

【審査請求日】2021-06-01

(31)【優先権主張番号】62/742,275

(32)【優先日】2018-10-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/742,356

(32)【優先日】2018-10-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/742,266

(32)【優先日】2018-10-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/742,355

(32)【優先日】2018-10-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】マー，シアーン

(72)【発明者】

【氏名】チェン，ジエンローァ

(72)【発明者】

【氏名】ジャオ，イン

(72)【発明者】

【氏名】ヤーン，ハイタオ

【審査官】鉢呂 健

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１７６５９４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２３３６５０（ＵＳ，Ａ１）

【文献】MA, Xiang et al.，CE3: CCLM/MDLM using simplified coefficients derivation method (Test 5.6.1, 5.6.2 and 5.6.3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3-12 Oct. 2018, [JVET-L0340_r1]，JVET-L0340 (version 2)，ITU-T，2018年09月29日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L0340-v2.zip＞: JVET-L0340_r1.docx: pp.1-6

【文献】MA, Xiang et al.，CE3-related: Classification-based mean value for CCLM coefficients derivation，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3-12 Oct. 2018, [JVET-L0342_r2]，JVET-L0342 (version 3)，ITU-T，2018年10月02日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L0342-v3.zip＞: JVET-L0342_r2.docx: pp.1-5

【文献】HAN, Yu et al.，Decoder-Side Direct Mode Prediction，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 5th Meeting: Geneva, CH, 12-20 January 2017, [JVET-E0027]，JVET-E0027 (version 3)，ITU-T，2017年01月10日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/5_Geneva/wg11/JVET-E0027-v3.zip＞: JVET-E0027.doc: pp.1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

線形モデルを使用してイントラ予測を行うための方法であって、当該方法は、
現在のクロマブロックに対応するルマブロックを決定するステップと、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定するステップであって、Ｌは正の整数である、ステップと、
前記現在のクロマブロックの前記決定したＬ個の利用可能なクロマ参照サンプルに基づいて、前記ルマブロックのルマ参照サンプルを取得するステップであって、前記ルマブロックの前記取得したルマ参照サンプルは、ダウンサンプリングしたルマ参照サンプルであり、前記現在のクロマブロックの前記決定したＬ個の利用可能なクロマ参照サンプルは、前記現在のクロマブロックのＬ個の上部の隣接クロマサンプル、前記現在のクロマブロックのＬ個の左側の隣接クロマサンプル、又は前記現在のクロマブロックのＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルを含み、Ｌ１＋Ｌ２＝Ｌである、ステップと、
前記ルマ参照サンプルと、該ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデル係数を計算するステップと、
該線形モデル係数と、前記ルマブロックのダウンサンプリングしたルマブロックの値とに基づいて、前記現在のクロマブロックの予測を取得するステップと、を含む、
方法。

【請求項2】

Ｌ個の利用可能なクロマ参照サンプルを前記決定するステップは、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の上部の隣接クロマサンプルが利用可能であると決定するステップを含み、
１＜Ｌ＜Ｗ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｌ及びＷ２は正の整数であり、前記Ｌ個の上部の隣接クロマサンプルは、前記利用可能なクロマ参照サンプルとして使用される、請求項１に記載の方法。

【請求項3】

Ｗ２は２＊Ｗ又はＷ＋Ｈのいずれかに等しく、Ｗは前記現在のクロマブロックの幅を表し、Ｈは前記現在のクロマブロックの高さを表す、請求項２に記載の方法。

【請求項4】

Ｌ個の利用可能なクロマ参照サンプルを前記決定するステップは、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の左側の隣接クロマサンプルが利用可能であると決定するステップを含み、
１＜Ｌ＜Ｈ２であり、Ｈ２は左側の参照サンプル範囲を示し、Ｌ及びＨ２は正の整数であり、前記Ｌ個の左側の隣接クロマサンプルは、前記利用可能なクロマ参照サンプルとして使用される、請求項１に記載の方法。

【請求項5】

Ｈ２は２＊Ｈ又はＷ＋Ｈのいずれかに等しく、Ｗは前記現在のクロマブロックの幅を表し、Ｈは前記現在のクロマブロックの高さを表す、請求項４に記載の方法。

【請求項6】

Ｌ個の利用可能なクロマ参照サンプルを前記決定するステップは、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルが利用可能であると決定するステップを含み、
１＜Ｌ１＜Ｗ２であり、１＜Ｌ２＜Ｈ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｈ２は左側の参照サンプル範囲を示し、Ｌ１、Ｌ２、Ｗ２、及びＨ２は正の整数であり、Ｌ１＋Ｌ２＝Ｌであり、前記Ｌ１個の上部の隣接クロマサンプル及び前記Ｌ２個の左側の隣接クロマサンプルは、前記利用可能なクロマ参照サンプルとして使用される、請求項１に記載の方法。

【請求項7】

前記ルマ参照サンプルは、
前記ルマブロックの上にあり、且つ前記決定したＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより、又は
前記ルマブロックの左側にあり、且つ前記決定したＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより取得される、請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記ルマブロックの前記ダウンサンプリングしたルマブロックは、前記現在のクロマブロックに対応する、前記ルマブロックの再構成されたルマブロックをダウンサンプリングすることにより取得される、請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

前記ルマ参照サンプルが前記ルマブロックの上の隣接サンプルのみに基づいて取得される場合であって、前記現在のクロマブロックの一番上の行が現在のコーディングツリーユニット（ＣＴＵ）の一番上の行と重なっている場合に、前記ルマブロックの前記再構成されたバージョンの再構成した隣接ルマサンプルの１行のみが、前記ルマ参照サンプルを取得するために使用される、請求項８に記載の方法。

【請求項10】

前記ルマ参照サンプルと、該ルマ参照サンプルに対応する前記クロマ参照サンプルとに基づいて、線形モデル係数を前記計算するステップは、
前記ルマ参照サンプルに基づいて、最大ルマ値及び最小ルマ値を決定するステップと、
前記最大ルマ値に関連付けられたルマ参照サンプルの位置に少なくとも部分的に基づいて第１のクロマ値を取得するステップと、
前記最小ルマ値に関連付けられたルマ参照サンプルの位置に少なくとも部分的に基づいて第２のクロマ値を取得するステップと、
前記第１のクロマ値、前記第２のクロマ値、前記最大ルマ値、及び前記最小ルマ値に基づいて、線形モデル係数を計算するステップと、を含む、請求項１乃至９のいずれか一項に記載の方法。

【請求項11】

前記最大ルマ値に関連付けられたルマ参照サンプルの位置に少なくとも部分的に基づいて第１のクロマ値を前記取得するステップは、前記最大ルマ値に関連付けられた１つ又は複数のルマ参照サンプルの１つ又は複数の位置に少なくとも部分的に基づいて第１のクロマ値を取得するステップを含み、
前記最小ルマ値に関連付けられたルマ参照サンプルの位置に少なくとも部分的に基づいて第２のクロマ値を前記取得するステップは、前記最小ルマ値に関連付けられた１つ又は複数のルマ参照サンプルの１つ又は複数の位置に少なくとも部分的に基づいて第２のクロマ値を取得するステップを含む、請求項１０に記載の方法。

【請求項12】

線形モデルを使用してイントラ予測を行うための方法であって、当該方法は、
現在のクロマブロックに対応するルマブロックを決定するステップと、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定するステップであって、Ｌは正の整数である、ステップと、
前記現在のクロマブロックの前記決定したＬ個の利用可能なクロマ参照サンプルを決定することに基づいて、前記ルマブロックのルマ参照サンプルを取得するステップであって、前記ルマブロックの前記取得したルマ参照サンプルは、前記決定したＬ個の利用可能なクロマ参照サンプルに対応する、前記ルマブロックの隣接サンプルをダウンサンプリングすることにより取得されるダウンサンプリングしたルマ参照サンプルである、ステップと、
前記ルマ参照サンプルと、該ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデル係数を計算するステップと、
該線形モデル係数と、前記ルマブロックのダウンサンプリングしたルマブロックの値とに基づいて、前記現在のクロマブロックの予測を取得するステップと、を含む、
方法。

【請求項13】

ビデオデータを符号化するための装置であって、当該装置は、
ビデオデータメモリと、
ビデオエンコーダと、を有しており、
該ビデオエンコーダは、
現在のクロマブロックに対応するルマブロックを決定することと、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定することであって、Ｌは正の整数である、ことと、
前記現在のクロマブロックの前記決定したＬ個の利用可能なクロマ参照サンプルを決定することにより、前記ルマブロックのルマ参照サンプルを取得することであって、前記ルマブロックの前記取得したルマ参照サンプルは、前記決定したＬ個の利用可能なクロマ参照サンプルに対応する、前記ルマブロックの隣接サンプルをダウンサンプリングすることにより取得されるダウンサンプリングしたルマ参照サンプルである、取得することと、
前記ルマ参照サンプルと、該ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデルの線形モデル係数を計算することと、
該線形モデル係数と、前記ルマブロックのダウンサンプリングバージョンの値とに基づいて、前記現在のクロマブロックの予測を取得することと、を行うように構成される、
装置。

【請求項14】

ビデオデータを復号化するための装置であって、当該装置は、
ビデオデータメモリと、
ビデオデコーダと、を有しており、
該ビデオデコーダは、
現在のクロマブロックに対応するルマブロックを決定することと、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定することであって、Ｌは正の整数である、ことと、
前記現在のクロマブロックの前記決定したＬ個の利用可能なクロマ参照サンプルを決定することに基づいて、前記ルマブロックのルマ参照サンプルを取得することであって、前記ルマブロックの前記取得したルマ参照サンプルは、ダウンサンプリングしたルマ参照サンプルであり、前記現在のクロマブロックの前記決定したＬ個の利用可能なクロマ参照サンプルは、前記現在のクロマブロックのＬ個の上部の隣接クロマサンプル、前記現在のクロマブロックのＬ個の左側の隣接クロマサンプル、又は前記現在のクロマブロックのＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルを含み、Ｌ１＋Ｌ２＝Ｌである、ことと、
前記ルマ参照サンプルと、該ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデル係数を計算することと、
該線形モデル係数と、前記ルマブロックのダウンサンプリングしたルマブロックの値とに基づいて、前記現在のクロマブロックの予測を取得することと、を行うように構成される、
装置。

【請求項15】

Ｌ個の利用可能なクロマ参照サンプルを前記決定することは、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の上部の隣接クロマサンプルが利用可能であると決定することを含み、
１＜Ｌ＜Ｗ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｌ及びＷ２は正の整数であり、前記Ｌ個の上部の隣接クロマサンプルは、前記利用可能なクロマ参照サンプルとして使用される、請求項１３又は１４に記載の装置。

【請求項16】

Ｗ２は２＊Ｗ又はＷ＋Ｈのいずれかに等しく、Ｗは前記現在のクロマブロックの幅を表し、Ｈは前記現在のクロマブロックの高さを表す、請求項１５に記載の装置。

【請求項17】

Ｌ個の利用可能なクロマ参照サンプルを前記決定することは、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の左側の隣接クロマサンプルが利用可能であると決定することを含み、
１＜Ｌ＜Ｈ２であり、Ｈ２は左側の参照サンプル範囲を示し、Ｌ及びＨ２は正の整数であり、前記Ｌ個の左側の隣接クロマサンプルは、前記利用可能なクロマ参照サンプルとして使用される、請求項１３又は１４に記載の装置。

【請求項18】

Ｈ２は２＊Ｈ又はＷ＋Ｈのいずれかに等しく、Ｗは前記現在のクロマブロックの幅を表し、Ｈは前記現在のクロマブロックの高さを表す、請求項１７に記載の装置。

【請求項19】

Ｌ個の利用可能なクロマ参照サンプルを前記決定することは、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルが利用可能であると決定することを含み、
１＜Ｌ１＜Ｗ２であり、１＜Ｌ２＜Ｈ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｈ２は左側の参照サンプル範囲を示し、Ｌ１、Ｌ２、Ｗ２、及びＨ２は正の整数であり、Ｌ１＋Ｌ２＝Ｌであり、前記Ｌ１個の上部の隣接クロマサンプル及び前記Ｌ２個の左側の隣接クロマサンプルは、前記利用可能なクロマ参照サンプルとして使用される、請求項１３又は１４に記載の装置。

【請求項20】

前記ルマ参照サンプルは、
前記ルマブロックの上にあり、且つ前記決定したＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより、又は
前記ルマブロックの左側にあり、且つ前記決定したＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより取得される、請求項１３乃至１９のいずれか一項に記載の装置。

【請求項21】

前記ルマブロックの前記ダウンサンプリングしたルマブロックは、前記現在のクロマブロックに対応する、前記ルマブロックの再構成されたルマブロックをダウンサンプリングすることにより取得される、請求項１３乃至２０のいずれか一項に記載の装置。

【請求項22】

前記ルマ参照サンプルが前記ルマブロックの上の隣接サンプルのみに基づいて取得される場合であって、前記現在のクロマブロックの一番上の行が現在のコーディングツリーユニット（ＣＴＵ）の一番上の行と重なっている場合に、前記ルマブロックの前記再構成されたバージョンの再構成した隣接ルマサンプルの１行のみが、前記ルマ参照サンプルを取得するために使用される、請求項２１に記載の装置。

【請求項23】

線形モデルを使用してイントラ予測を行うための機器であって、当該機器は、
現在のクロマブロックに対応するルマブロックを決定し、前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定し、前記現在のクロマブロックの前記決定したＬ個の利用可能なクロマ参照サンプルを決定することに基づいて、前記ルマブロックのルマ参照サンプルを取得するように構成された決定ユニットであって、Ｌは正の整数であり、前記ルマブロックの前記取得したルマ参照サンプルは、ダウンサンプリングしたルマ参照サンプルであり、前記現在のクロマブロックの前記決定したＬ個の利用可能なクロマ参照サンプルは、前記現在のクロマブロックのＬ個の上部の隣接クロマサンプル、前記現在のクロマブロックのＬ個の左側の隣接クロマサンプル、又は前記現在のクロマブロックのＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルを含み、Ｌ１＋Ｌ２＝Ｌである、決定ユニットと、
前記ルマ参照サンプルと、該ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデル係数を計算し、該線形モデル係数と、前記ルマブロックのダウンサンプリングしたルマブロックの値とに基づいて、前記現在のクロマブロックの予測を取得するように構成されたイントラ予測処理ユニットと、を有する、
機器。

【請求項24】

前記決定ユニットは、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の上部の隣接クロマサンプルが利用可能であると決定するように構成され、
１＜Ｌ＜Ｗ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｌ及びＷ２は正の整数であり、前記Ｌ個の上部の隣接クロマサンプルは、前記利用可能なクロマ参照サンプルとして使用される、請求項２３に記載の機器。

【請求項25】

Ｗ２は２＊Ｗ又はＷ＋Ｈのいずれかに等しく、Ｗは前記現在のクロマブロックの幅を表し、Ｈは前記現在のクロマブロックの高さを表す、請求項２４に記載の機器。

【請求項26】

前記決定ユニットは、
前記現在のクロマブロックの上部の隣接クロマサンプル及び／又は左側の隣接クロマサンプルの利用可能性をチェックすることにより、前記現在のクロマブロックのＬ個の左側の隣接クロマサンプルが利用可能であると決定するように構成され、
１＜Ｌ＜Ｈ２であり、Ｈ２は左側の参照サンプル範囲を示し、Ｌ及びＨ２は正の整数であり、前記Ｌ個の左側の隣接クロマサンプルは、前記利用可能なクロマ参照サンプルとして使用される、請求項２３に記載の機器。

【請求項27】

Ｈ２は２＊Ｈ又はＷ＋Ｈのいずれかに等しく、Ｗは前記現在のクロマブロックの幅を表し、Ｈは前記現在のクロマブロックの高さを表す、請求項２６に記載の機器。

【請求項28】

前記決定ユニットは、前記現在のクロマブロックのＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルが利用可能であると決定するように構成され、
１＜Ｌ１＜Ｗ２であり、１＜Ｌ２＜Ｈ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｈ２は左側の参照サンプル範囲を示し、Ｌ１、Ｌ２、Ｗ２、及びＨ２は正の整数であり、Ｌ１＋Ｌ２＝Ｌであり、前記Ｌ１個の上部の隣接クロマサンプル及び前記Ｌ２個の左側の隣接クロマサンプルは、前記利用可能なクロマ参照サンプルとして使用される、請求項２３に記載の機器。

【請求項29】

前記ルマ参照サンプルは、
前記ルマブロックの上にあり、且つ前記決定したＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより、又は
前記ルマブロックの左側にあり、且つ前記決定したＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより取得される、請求項２３乃至２８のいずれか一項に記載の機器。

【請求項30】

前記ルマブロックの前記ダウンサンプリングしたルマブロックは、前記現在のクロマブロックに対応する、前記ルマブロックの再構成されたルマブロックをダウンサンプリングすることにより取得される、請求項２３乃至２９のいずれか一項に記載の機器。

【請求項31】

前記ルマ参照サンプルが前記ルマブロックの上の隣接サンプルのみに基づいて取得される場合であって、前記現在のクロマブロックの一番上の行が現在のコーディングツリーユニット（ＣＴＵ）の一番上の行と重なっている場合に、前記ルマブロックの前記再構成されたバージョンの再構成した隣接ルマサンプルの１行のみが、前記ルマ参照サンプルを取得するために使用される、請求項３０に記載の機器。

【請求項32】

プログラム命令を含む非一時的なコンピュータ可読媒体であって、前記プログラム命令がコンピュータ装置又はプロセッサによって実行されたときに、前記コンピュータ装置又は前記プロセッサに、請求項１乃至１２のいずれか一項に記載の前記方法を実行させる、非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
この特許出願は、２０１８年１０月５日に出願された米国仮特許出願第６２／７４２，２６６号、２０１８年１０月６日に出願された米国仮特許出願第６２／７４２，３５５号、２０１８年１０月６日に出願された米国仮特許出願第６２／７４２，２７５号、及び２０１８年１０月６日に出願された米国仮特許出願第６２／７４２，３５６号に対する優先権の利益を主張する。前述した特許出願は、その全体が参照により本明細書に組み込まれる。

【0002】

本開示の実施形態は、概して、ビデオコーディングの分野、より具体的には、クロスコンポーネント線形モデル予測（ＣＣＬＭ）を用いたイントラ予測の分野に関する。

【背景技術】

【0003】

比較的短いビデオでさえ描写するのに必要なビデオデータの量はかなりの量になる可能性があり、これは、帯域幅容量が限られた状況の通信ネットワークを介してデータをストリーミング又は他に通信するときに困難性を生じさせる可能性がある。こうして、ビデオデータは、現代の電気通信ネットワークを介して通信される前に通常圧縮される。ビデオを記憶装置に格納する場合に、メモリリソースが制限され得るため、ビデオのサイズも問題になる可能性がある。ビデオ圧縮装置は、大抵の場合、送信又は格納の前にビデオデータをコーディングするために送信元（source：ソース）でソフトウェア及び／又はハードウェアを使用し、それによりデジタルビデオ画像を表すために必要なデータの量を減らす。次に、圧縮したデータは、ビデオデータを復号化するビデオ解凍装置によって宛先（destination：送信先）で受信される。ネットワークリソースが限られており、より高いビデオ品質に対する要求が益々高まっているため、画質を殆ど又は全く犠牲にすることなく圧縮率を高める改善した圧縮及び解凍技術が望まれている。高効率ビデオコーディング（High Efficiency Video Coding: HEVC）は、ＩＳＯ／ＩＥＣ動画エキスパートグループ及びＩＴＵ－ＴビデオコーディングエキスパートグループによってＩＳＯ／ＩＥＣ ２３００８－２ ＭＰＥＧ－Ｈパート２として発行された、つまりＩＴＵ－Ｔ Ｈ．２６５と呼ばれる最新のビデオ圧縮であり、同じレベルのビデオ品質でデータ圧縮率を約２倍にするか、又は同じビットレートでビデオ品質を大幅に改善する。

【発明の概要】

【0004】

本開示の例は、画像を符号化及び復号化するためのイントラ予測機器及び方法を提供し、イントラ予測機器及び方法は、クロスコンポーネント線形モデル予測（ＣＣＬＭ）の効率を高めることができ、それによりビデオ信号のコーディング効率を高める。この開示は、このファイルに含まれる例及び特許請求の範囲において詳しく説明している。

【0005】

前述の及び他の目的は、独立請求項の主題によって達成される。更なる実施形態は、従属請求項、明細書の説明及び図から明らかである。

【0006】

特定の実施形態は、添付の独立請求項に概説しており、他の実施形態は、従属請求項に概説している。

【0007】

第１の態様によれば、本開示は、線形モデルを使用してイントラ予測を行うための方法に関する。この方法は、現在のクロマ（chroma：色差）ブロックに対応するルマ（luma：輝度）ブロックを決定するステップと；現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定することに基づいて、ルマブロックのルマ参照サンプルを取得するステップであって、ルマブロックの取得したルマ参照サンプルは、ダウンサンプリングしたルマ参照サンプルである、取得するステップと；ルマ参照サンプルと、ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデル係数を計算するステップと；線形モデル係数と、ルマブロックのダウンサンプリングしたルマブロックの値とに基づいて、現在のクロマブロックの予測を取得するステップと；を含む。現在のクロマブロックのクロマ参照サンプルは、現在のクロマブロックの再構成した隣接サンプルを含む。Ｌ個の利用可能なクロマ参照サンプルは、再構成した隣接サンプルから決定される。同様に、ルマブロックの隣接サンプルも、ルマブロックの再構成した隣接サンプル（つまり、再構成した隣接ルマサンプル）である。一例では、ルマブロックの取得したルマ参照サンプルは、利用可能なクロマ参照サンプルに基づいて選択された、再構成した隣接ルマサンプルをダウンサンプリングすることにより取得される。

【0008】

既存の方法では、ルマ参照サンプルは、線形モデル係数を決定するために参照サンプルの利用可能性を決定するために使用される。ただし、いくつかのシナリオでは、利用可能なルマ参照サンプルには対応するクロマ参照サンプルがないため、これは、コーディングエラーをもたらす可能性がある。本明細書で提示する技術は、クロマ参照サンプルの利用可能性を調べることを経て、参照サンプルの利用可能性を決定することによってこの問題に対処する。いくつかの例では、クロマ参照サンプルが現在の画像、スライス、又はタイトルの外側になく、参照サンプルが再構成されている場合に、クロマ参照サンプルは利用可能である。いくつかの例では、クロマ参照サンプルが現在の画像、スライス、又はタイトルの外側になく、参照サンプルが再構成されており、参照サンプルが符号化の決定に基づいて省略されていない場合等に、クロマ参照サンプルは利用可能である。現在のクロマブロックの利用可能な参照サンプルは、クロマブロックの利用可能な再構成した隣接サンプルであり得る。利用可能なクロマ参照サンプルに対応するルマ参照サンプルは、線形モデル係数を決定するために利用される。

【0009】

第１の態様自体による方法の可能な実施形態において、Ｌ個の利用可能なクロマ参照サンプルを決定するステップは、現在のクロマブロックのＬ個の上部の隣接クロマサンプルが利用可能であると決定するステップを含み、ここで、１＜＝Ｌ＜＝Ｗ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｌ及びＷ２は正の整数であり、Ｌ個の上部の隣接クロマサンプルは、利用可能なクロマ参照サンプルとして使用される。

【0010】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、Ｗ２は２＊Ｗ又はＷ＋Ｈのいずれかに等しく、ここで、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0011】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、Ｌ個の利用可能なクロマ参照サンプルを決定するステップは、現在のクロマブロックのＬ個の左側の隣接クロマサンプルが利用可能であると決定するステップを含み、ここで、１＜＝Ｌ＜＝Ｈ２であり、Ｈ２は左側の参照サンプル範囲を示し、Ｌ及びＨ２は正の整数であり、Ｌ個の左側の隣接クロマサンプルは、利用可能なクロマ参照サンプルとして使用される。

【0012】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、Ｈ２は２＊Ｈ又はＷ＋Ｈのいずれかに等しく、ここで、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0013】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、Ｌ個の利用可能なクロマ参照サンプルを決定するステップは、現在のクロマブロックのＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルが利用可能であると決定するステップを含み、ここで、１＜＝Ｌ１＜＝Ｗ２であり、１＜＝Ｌ２＜＝Ｈ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｈ２は左側の参照サンプル範囲を示し、Ｌ１、Ｌ２、Ｗ２、及びＨ２は正の整数であり、Ｌ１＋Ｌ２＝Ｌであり、Ｌ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルは、利用可能なクロマ参照サンプルとして使用される。

【0014】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、ルマ参照サンプルは、ルマブロックの上にあり、且つＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより、又はルマブロックの左側にあり、且つＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより取得される。例えば、Ｌが４個の場合に、ルマ参照サンプルは、ルマブロックの上にあり、且つ４個の利用可能なクロマ参照サンプルに基づいて選択された２４個の隣接サンプルをダウンサンプリングすることにより、又はルマブロックの左側にあり、且つ４個の利用可能なクロマ参照サンプルに基づいて選択された２４個の隣接サンプルをダウンサンプリングすることにより取得され、６タップフィルタがダウンサンプリングプロセスに使用される。

【0015】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、ルマブロックのダウンサンプリングしたルマブロックは、現在のクロマブロックに対応する、ルマブロックの再構成されたルマブロックをダウンサンプリングすることにより取得される。

【0016】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、ルマ参照サンプルがルマブロックの上の隣接サンプルのみに基づいて取得される場合であって、現在のクロマブロックの一番上の行が現在のコーディングツリーユニット（ＣＴＵ）の一番上の行と重なっている場合に、ルマブロックの再構成されたバージョンの再構成した隣接ルマサンプルの１行のみが、ルマ参照サンプルを取得するために使用される。

【0017】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、ルマ参照サンプルと、ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデル係数を計算するステップは、ルマ参照サンプルに基づいて、最大ルマ値及び最小ルマ値を決定するステップと；最大ルマ値に関連付けられたルマ参照サンプルの位置に少なくとも部分的に基づいて第１のクロマ値を取得するステップと；最小ルマ値に関連付けられたルマ参照サンプルの位置に少なくとも部分的に基づいて第２のクロマ値を取得するステップと；第１のクロマ値、第２のクロマ値、最大ルマ値、及び最小ルマ値に基づいて、線形モデル係数を計算するステップと；を含む。

【0018】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、最大ルマ値に関連付けられたルマ参照サンプルの位置に少なくとも部分的に基づいて第１のクロマ値を取得するステップは、最大ルマ値に関連付けられた１つ又は複数のルマ参照サンプルの１つ又は複数の位置に少なくとも部分的に基づいて第１のクロマ値を取得するステップを含み、最小ルマ値に関連付けられたルマ参照サンプルの位置に少なくとも部分的に基づいて第２のクロマ値を取得するステップは、最小ルマ値に関連付けられた１つ又は複数のルマ参照サンプルの１つ又は複数の位置に少なくとも部分的に基づいて第２のクロマ値を取得するステップを含む。

【0019】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、線形モデル係数α及びβは以下に基づいて計算され、
α＝（ｙ_Ｂ－ｙ_Ａ）／（ｘ_Ｂ－ｘ_Ａ）、
β＝ｙ_Ａ－αｘ_Ａ
ここで、ｘ_Ｂは最大ルマ値を表し、ｙ_Ｂは第１のクロマ値を表し、ｘ_Ａは最小ルマ値を表し、ｙ_Ａは第２のクロマ値を表す。

【0020】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックの予測は、以下に基づいて取得され、
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ’_Ｌ（ｉ，ｊ）＋β、
ここで、ｐｒｅｄ_Ｃ（ｉ，ｊ）は、現在のクロマブロックのクロマサンプルの予測値を表し、ｒｅｃ’_Ｌ（ｉ，ｊ）は、ルマブロックの再構成されたルマブロックのダウンサンプリングされたルマブロックの対応するルマサンプルのサンプル値を表す。

【0021】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、ルマ参照サンプルがルマブロックの左側にある隣接サンプルのみに基づいて取得され、現在のクロマブロックが現在のコーディングツリーユニット（ＣＴＵ）の左側の境界にある場合に、再構成されたルマブロックの再構成した隣接ルマサンプルの１列のみが、ルマ参照サンプルを取得するために使用される。

【0022】

第１の態様自体又は第１の態様の任意の先行する実施態様による方法の可能な実施形態において、線形モデルはマルチ方向線形モデル（ＭＤＬＭ）を含む。

【0023】

第２の態様によれば、本開示は、線形モデルを使用してイントラ予測を行うための方法に関する。この方法は、現在のクロマブロックに対応するルマブロックを決定するステップと；現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定することに基づいて、ルマブロックのルマ参照サンプルを取得するステップであって、ルマブロックの取得したルマ参照サンプルは、Ｌ個の利用可能なクロマ参照サンプルに対応する、ルマブロックの隣接サンプル（つまり、再構成した隣接ルマサンプル）をダウンサンプリングすることにより取得されるダウンサンプリングしたルマ参照サンプルである、取得するステップと；ルマ参照サンプルと、ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデル係数を計算するステップと；線形モデル係数と、ルマブロックのダウンサンプリングしたルマブロックの値とに基づいて、現在のクロマブロックの予測を取得するステップと；を含む。現在のクロマブロックのクロマ参照サンプルは、現在のクロマブロックの再構成した隣接サンプルを含む。Ｌ個の利用可能なクロマ参照サンプルは、再構成した隣接サンプルから決定される。同様に、ルマブロックの隣接サンプルも、ルマブロックの再構成した隣接サンプル（つまり、再構成した隣接ルマサンプル）である。ルマブロックの取得したルマ参照サンプルは、利用可能なクロマ参照サンプルに対応する再構成した隣接ルマサンプルをダウンサンプリングすることにより取得される。

【0024】

「利用可能なクロマ参照サンプルに対応する再構成した隣接ルマサンプル」について、再構成した隣接ルマサンプルと利用可能なクロマ参照サンプルとの間の対応関係は、「１対１の対応関係」に限定されず、再構成した隣接ルマサンプルと利用可能なクロマ参照サンプルとの間の対応関係は、「Ｍ対Ｎの対応関係」となり得ることも理解できる。例えば、６タップフィルタがダウンサンプリングに使用される場合に、Ｍ＝２４、Ｎ＝４である。

【0025】

第３の態様によれば、本発明は、ビデオデータを符号化するための装置に関する。この装置は、ビデオデータメモリと；ビデオエンコーダと；を有しており、ビデオエンコーダは、現在のクロマブロックに対応するルマブロックを決定することと；現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定することに基づいて（又は現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定することにより）、ルマブロックのルマ参照サンプルを取得することであって、ルマブロックの取得したルマ参照サンプルは、Ｌ個の利用可能なクロマ参照サンプルに対応する、ルマブロックの隣接サンプル（つまり、再構成した隣接ルマサンプル）をダウンサンプリングすることにより取得されるダウンサンプリングしたルマ参照サンプルである、取得することと；ルマ参照サンプルと、ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデルの線形モデル係数を計算することと；線形モデル係数と、ルマブロックのダウンサンプリングバージョンの値とに基づいて、現在のクロマブロックの予測を取得することと；を行うように構成される。例えば、Ｌが４個である場合に、ルマブロックの取得したルマ参照サンプルは、４個の利用可能なクロマ参照サンプルに対応する、ルマブロックの２４個の隣接サンプル（つまり、再構成した隣接ルマサンプル）をダウンサンプリングすることにより取得される４個のダウンサンプリングしたルマ参照サンプルであり、６タップフィルタがダウンサンプリングプロセスに使用される。

【0026】

第４の態様によれば、本発明は、ビデオデータを復号化するための装置に関する。この装置は、ビデオデータメモリと；ビデオデコーダと；を有しており、ビデオデコーダは、現在のクロマブロックに対応するルマブロックを決定することと；現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定することに基づいて、ルマブロックのルマ参照サンプルを取得することであって、ルマブロックの取得したルマ参照サンプルは、ダウンサンプリングしたルマ参照サンプルである、取得することと；ルマ参照サンプルと、ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて、線形モデル係数を計算することと；線形モデル係数と、ルマブロックのダウンサンプリングしたルマブロックの値とに基づいて、現在のクロマブロックの予測を取得することと；を行うように構成される。

【0027】

既存のアプローチでは、ルマ参照サンプルは、線形モデル係数を決定するために参照サンプルの利用可能性を決定するために使用される。ただし、いくつかのシナリオでは、利用可能なルマ参照サンプルには対応するクロマ参照サンプルがないため、これは、コーディングエラーをもたらす可能性がある。本明細書で提示する技術は、クロマ参照サンプルの利用可能性を調べることを経て、参照サンプルの利用可能性を決定することによってこの問題に対処する。いくつかの例では、クロマ参照サンプルが現在の画像、スライス、又はタイトルの外側になく、参照サンプルが再構成されている場合に、クロマ参照サンプルは利用可能である。いくつかの例では、クロマ参照サンプルが現在の画像、スライス、又はタイトルの外側になく、参照サンプルが再構成されており、参照サンプルが符号化の決定に基づいて省略されていない場合等に、クロマ参照サンプルは利用可能である。現在のクロマブロックの利用可能なクロマ参照サンプルは、クロマブロックの利用可能な再構成した隣接サンプル（つまり、利用可能な再構成された隣接クロマサンプル）であり得る。利用可能なクロマ参照サンプルに対応するルマ参照サンプルは、線形モデル係数を決定するために利用される。

【0028】

第３又は第４の態様自体による装置の可能な実施形態において、Ｌ個の利用可能なクロマ参照サンプルを決定することは、現在のクロマブロックのＬ個の上部の隣接クロマサンプルが利用可能であると決定することを含み、ここで、１＜＝Ｌ＜＝Ｗ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｌ及びＷ２は正の整数であり、Ｌ個の上部の隣接クロマサンプルは、利用可能なクロマ参照サンプルとして使用される。

【0029】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、Ｗ２は２＊Ｗ又はＷ＋Ｈのいずれかに等しく、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0030】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、Ｌ個の利用可能なクロマ参照サンプルを決定することは、現在のクロマブロックのＬ個の左側の隣接クロマサンプルが利用可能であると決定することを含み、ここで、１＜＝Ｌ＜＝Ｈ２であり、Ｈ２は左側の参照サンプル範囲を示し、Ｌ及びＨ２は正の整数であり、Ｌ個の左側の隣接クロマサンプルは、利用可能なクロマ参照サンプルとして使用される。

【0031】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、Ｈ２は２＊Ｈ又はＷ＋Ｈのいずれかに等しく、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0032】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、Ｌ個の利用可能なクロマ参照サンプルを決定することは、現在のクロマブロックのＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルが利用可能であると決定することを含み、ここで、１＜＝Ｌ１＜＝Ｗ２であり、１＜＝Ｌ２＜＝Ｈ２であり、Ｗ２は上部の参照サンプル範囲を示し、Ｈ２は左側の参照サンプル範囲を示し、Ｌ１、Ｌ２、Ｗ２、及びＨ２は正の整数であり、Ｌ１＋Ｌ２＝Ｌであり、Ｌ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルは、利用可能なクロマ参照サンプルとして使用される。

【0033】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、ルマ参照サンプルは、ルマブロックの上にあり、且つＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより、又はルマブロックの左側にあり、且つＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより取得される。

【0034】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、ルマブロックのダウンサンプリングしたルマブロックは、現在のクロマブロックに対応する、ルマブロックの再構成されたルマブロックをダウンサンプリングすることにより取得される。

【0035】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、ルマ参照サンプルがルマブロックの上の隣接サンプルのみに基づいて取得される場合であって、現在のクロマブロックの一番上の行が現在のコーディングツリーユニット（ＣＴＵ）の一番上の行と重なっている場合に、ルマブロックの再構成されたバージョンの再構成した隣接ルマサンプルの１行のみが、ルマ参照サンプルを取得するために使用される。

【0036】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、線形モデル係数α及びβは、以下に基づいて計算され、
α＝（ｙ_Ｂ－ｙ_Ａ）／（ｘ_Ｂ－ｘ_Ａ）、
β＝ｙ_Ａ－αｘ_Ａ
ここで、ｘ_Ｂは最大ルマ値を表し、ｙ_Ｂは第１のクロマ値を表し、ｘ_Ａは最小ルマ値を表し、ｙ_Ａは第２のクロマ値を表す。

【0037】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、現在のクロマブロックの予測は、以下に基づいて取得され、
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ’_Ｌ（ｉ，ｊ）＋β、
ここで、ｐｒｅｄ_Ｃ（ｉ，ｊ）は、現在のクロマブロックのクロマサンプルの予測値を表し、ｒｅｃ’_Ｌ（ｉ，ｊ）は、ルマブロックの再構成されたルマブロックのダウンサンプリングされたルマブロックの対応するルマサンプルのサンプル値を表す。

【0038】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、ルマ参照サンプルがルマブロックの左側にある隣接サンプルのみに基づいて取得され、現在のクロマブロックが現在のコーディングツリーユニット（ＣＴＵ）の左側の境界にある場合に、再構成されたルマブロックの再構成した隣接ルマサンプルの１列のみが、ルマ参照サンプルを得るために使用される。

【0039】

第３又は第４の態様自体或いは第３又は第４の態様の任意の先行する実施態様による装置の可能な実施形態において、線形モデルはマルチ方向線形モデル（ＭＤＬＭ）を含む。

【0040】

第５の態様によれば、本発明は、ビデオ信号のビットストリームにおけるイントラクロマ（intra chroma）予測モードをコーディングする方法に関する。この方法は、イントラクロマ予測モードに基づいてビデオ信号のクロマブロックのイントラ予測を行うステップであって、イントラクロマ予測モードは、第１のモードセット、ＣＣＬＭ＿Ｌモード又はＣＣＬＭ＿Ｔモードの少なくとも１つを含む第２のモードセット、又は第３のモードセットから選択される、イントラ予測を行うステップと；イントラクロマ予測モードを示すシンタックス（syntax）要素を含めることによりビデオ信号のビットストリームを生成するステップであって、イントラクロマ予測モードが第１のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数よりも小さく、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第３のモードセットから選択される場合のシンタックス要素のビット数より小さい、生成するステップと；を含む。

【0041】

イントラクロマ予測モードを符号化するための提案する方法は、ＣＣＬＭ＿Ｌ及びＣＣＬＭ＿Ｔを、バイナリ文字列を使用して表し、ビデオ信号のビットストリームに含めるのを可能にする。

【0042】

第５の態様自体による方法の可能な実施形態において、第１のモードセットは、導出（derived）モード（ＤＭ）又はクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードの少なくとも１つを含み、第３のモードセットは、垂直モード、水平モード、ＤＣモード、又は平面モードの少なくとも１つを含む。

【0043】

第５の態様自体又は第５の態様の任意の先行する実施態様による方法の可能な実施形態において、ＤＭモードのシンタックス要素は０であり；ＣＣＬＭモードのシンタックス要素は１０であり；ＣＣＬＭ＿Ｌモードのシンタックス要素は１１１０であり；ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１１であり；平面モードのシンタックス要素は１１０００であり；垂直モードのシンタックス要素は１１００１であり；水平モードのシンタックス要素は１１０１０であり；ＤＣモードのシンタックス要素は１１０１１である。

【0044】

第５の態様自体又は第５の態様の任意の先行する実施態様による方法の可能な実施形態において、ＤＭモードのシンタックス要素は００であり；ＣＣＬＭモードのシンタックス要素は１０であり；ＣＣＬＭ＿Ｌモードのシンタックス要素は１１０であり；ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１であり；平面モードのシンタックス要素は０１００であり；垂直モードのシンタックス要素は０１０１であり；水平モードのシンタックス要素は０１１０であり；ＤＣモードのシンタックス要素は０１１１である。

【0045】

第６の態様によれば、本発明は、ビデオ信号のビットストリームにおけるイントラクロマ予測モードを復号化するための方法に関する。この方法は、ビデオ信号のビットストリームから複数のシンタックス要素を解析するステップと；複数のシンタックス要素からのシンタックス要素に基づいてイントラクロマ予測モードを決定するステップであって、イントラクロマ予測モードは、第１のモードセット、ＣＣＬＭ＿Ｌモード又はＣＣＬＭ＿Ｔモードの少なくとも１つを含む第２のモードセット、又は第３のモードセットの１つから決定され、イントラクロマ予測モードが第１のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数よりも小さく、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第３のモードセットから選択される場合のシンタックス要素のビット数より小さい、決定するステップと；イントラクロマ予測モードに基づいて、ビデオ信号の現在のクロマブロックのイントラ予測を行うステップと；を含む。

【0046】

第７の態様によれば、本発明は、ビデオデータを符号化するための装置に関する。この装置は、ビデオデータメモリと；ビデオエンコーダと；を有しており、ビデオエンコーダは、イントラクロマ予測モードに基づいて、ビデオ信号のクロマブロックのイントラ予測を行うことであって、イントラクロマ予測モードは、第１のモードセット、ＣＣＬＭ＿Ｌモード又はＣＣＬＭ＿Ｔモードの少なくとも１つを含む第２のモードのセット、又は第３のモードセットから選択される、イントラ予測を行うことと；イントラクロマ予測モードを示すシンタックス要素を含めることにより、ビデオ信号のビットストリームを生成することであって、イントラクロマ予測モードが第１のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数より小さく、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第３のモードセットから選択される場合のシンタックス要素のビット数より小さい、生成することと；を行うように構成される。

【0047】

第８の態様によれば、本発明は、ビデオデータを復号化するための装置に関する。この装置は、ビデオデータメモリと；ビデオデコーダと；を有しており、ビデオデコーダは、ビデオ信号のビットストリームから複数のシンタックス要素を解析することと；複数のシンタックス要素からのシンタックス要素に基づいてイントラクロマ予測モードを決定することであって、イントラクロマ予測モードは、第１のモードセット、ＣＣＬＭ＿Ｌモード又はＣＣＬＭ＿Ｔモードの少なくとも１つを含む第２のモードセット、又は第３のモードセットの１つから決定され、イントラクロマ予測モードが第１のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数より小さく、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第３のモードセットから選択される場合のシンタックス要素のビット数より小さい、決定することと；イントラクロマ予測モードに基づいて、ビデオ信号の現在のクロマブロックのイントラ予測を行うことと；を行うように構成される。

【0048】

ビデオデータを符号化するための提案する装置及びビデオデータを復号化するための装置は、ＣＣＬＭ＿Ｌ及びＣＣＬＭ＿Ｔを、バイナリ文字列を使用して表し、符号化装置でビデオ信号のビットストリームに含め、復号化装置で復号化するのを可能にする。第７及び第８の態様自体による装置の可能な実施形態において、第１のモードセットは、導出モード（ＤＭ）又はクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードの少なくとも１つを含み、第３のモードセットは、垂直モード、水平モード、ＤＣモード、又は平面モードの少なくとも１つを含む。

【0049】

第７及び第８の態様自体或いは第７及び第８の態様の任意の先行する実施態様による装置の可能な実施形態において、ＤＭモードのシンタックス要素は０であり；ＣＣＬＭモードのシンタックス要素は１０であり；ＣＣＬＭ＿Ｌモードのシンタックス要素は１１１０であり；ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１１であり；平面モードのシンタックス要素は１１０００であり；垂直モードのシンタックス要素は１１００１であり；水平モードのシンタックス要素は１１０１０であり；ＤＣモードのシンタックス要素は１１０１１である。

【0050】

第７及び第８の態様自体或いは第７及び第８の態様の任意の先行する実施態様による方法の可能な実施形態において、ＤＭモードのシンタックス要素は００であり；ＣＣＬＭモードのシンタックス要素は１０であり；ＣＣＬＭ＿Ｌモードのシンタックス要素は１１０であり；ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１であり；平面モードのシンタックス要素は０１００であり；垂直モードのシンタックス要素は０１０１であり；水平モードのシンタックス要素は０１１０であり；ＤＣモードのシンタックス要素は０１１１である。

【0051】

第９の態様によれば、本発明は、クロスコンポーネント線形モデル（ＣＣＬＭ）予測モードを使用してイントラ予測を行うための方法に関する。この方法は、現在のクロマブロックに対応するルマブロックを決定するステップと；ルマブロックの隣接サンプルをダウンサンプリングすることにより、ルマブロックのルマ参照サンプルを取得するステップであって、ルマ参照サンプルは、ルマブロックの上の隣接サンプルに基づいて取得したルマ参照サンプルのみ、又はルマブロックの左側にある隣接サンプルに基づいて取得したルマ参照サンプルのみを含む、取得するステップと；ルマ参照サンプルに基づいて、最大ルマ値及び最小ルマ値を決定するステップと；最大ルマ値に関連付けられた１つ又は複数のルマ参照サンプルの１つ又は複数の位置に少なくとも部分的に基づいて第１のクロマ値を取得するステップと；最小ルマ値に関連付けられた１つ又は複数のルマ参照サンプルの１つ又は複数の位置に少なくとも部分的に基づいて第２のクロマ値を取得するステップと；第１のクロマ値、第２のクロマ値、最大ルマ値、及び最小ルマ値に基づいて線形モデル係数を計算するステップと；線形モデル係数と、ルマブロックのダウンサンプリングされたバージョンの値とに基づいて、現在のクロマブロックの予測を生成するステップと；を含む。

【0052】

第９の態様自体による方法の可能な実施形態において、ルマ参照サンプルの数は、現在のクロマブロックの幅以上であるか、又は現在のクロマブロックの高さ以上である。

【0053】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、最大ルマ値及び最小ルマ値を決定する際に使用されるルマ参照サンプルは、ルマブロックの利用可能なルマ参照サンプルである。

【0054】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、ルマブロックの利用可能なルマ参照サンプルは、現在のクロマブロックの利用可能なクロマ参照サンプルに基づいて決定される。

【0055】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、最大２＊Ｗ個のルマ参照サンプルは、ルマ参照サンプルがルマブロックの上の隣接サンプルのみに基づいて取得されるときに、線形モデル係数を導出するために使用され、Ｗは現在のクロマブロックの幅を表す。

【0056】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、最大２＊Ｈ個のルマ参照サンプルは、ルマ参照サンプルがルマブロックの左側にある隣接サンプルのみに基づいて取得されるときに、線形モデル係数を導出するために使用され、Ｈは現在のクロマブロックの高さを表す。

【0057】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、最大Ｎ個の利用可能なルマ参照サンプルが線形モデル係数を導出するために使用され、ＮはＷとＨとの合計であり、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0058】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、線形モデル係数α及びβは、以下に基づいて計算され、
α＝（ｙ_Ｂ－ｙ_Ａ）／（ｘ_Ｂ－ｘ_Ａ）、
β＝ｙ_Ａ－αｘ_Ａ
ここで、ｘ_Ｂは最大ルマ値を表し、ｙ_Ｂは第１のクロマ値を表し、ｘ_Ａは最小ルマ値を表し、ｙ_Ａは第２のクロマ値を表す。

【0059】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックの予測は、以下に基づいて取得され、
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ’_Ｌ（ｉ，ｊ）＋β、
ここで、ｐｒｅｄ_Ｃ（ｉ，ｊ）は、現在のクロマブロックのクロマサンプルの予測値を表し、ｒｅｃ’_Ｌ（ｉ，ｊ）は、ルマブロックの再構成されたバージョンのダウンサンプリングされたバージョンの対応するルマサンプルのサンプル値を表す。

【0060】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、ルマブロックのダウンサンプリングされたバージョンは、現在のクロマブロックに対応する、ルマブロックの再構成されたバージョンをダウンサンプリングすることにより取得される。

【0061】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、ルマ参照サンプルがルマブロックの上の隣接サンプルのみに基づいて取得される場合であって、現在のクロマブロックの一番上の行が現在のコーディングツリーユニット（ＣＴＵ）の一番上の行と重なっている、又は現在のクロマブロックが現在のコーディングツリーユニット（ＣＴＵ）の上部の境界にある場合に、ルマブロックの再構成されたバージョンの再構成した隣接ルマサンプルの１行のみが、ルマ参照サンプルを取得するために使用される。

【0062】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、ルマ参照サンプルがルマブロックの左側にある隣接サンプルのみに基づいて取得され、現在のクロマブロックが現在のコーディングツリーユニット（ＣＴＵ）の左側の境界にある場合に、再構成されたルマブロックの再構成した隣接ルマサンプルの１列のみが、ルマ参照サンプルを取得するために使用される。

【0063】

第９の態様自体又は第９の態様の任意の先行する実施態様による方法の可能な実施形態において、ＣＣＬＭはマルチ方向線形モデル（ＭＤＬＭ）を含む。

【0064】

第１０の態様によれば、本発明は、第９の態様自体又は第９の態様の任意の先行する実施態様による方法を実行するように構成されたエンコーダに関する。

【0065】

第１１の態様によれば、本発明は、第９の態様自体又は第９の態様の任意の先行する実施態様による方法を実行するように構成されたデコーダに関する。

【0066】

第１１の態様によれば、本発明は、クロスコンポーネント線形予測モード（ＣＣＬＭ）を使用することによるイントラ予測方法に関する。この方法は、現在のルマブロックの参照サンプルを取得するステップであって、参照サンプルは、現在のルマブロックの上部テンプレートにのみ属する、取得するステップと；参照サンプルに基づいて最大ルマ値及び最小ルマ値を取得するステップと；最大ルマ値のサンプル位置に基づいて第１のクロマ値を取得するステップと；最小ルマ値のサンプル位置に基づいて第２のクロマ値を取得するステップと；第１のクロマ値、第２のクロマ値、最大ルマ値、及び最小ルマ値に基づいて線形モデル係数を計算するステップと；線形モデル係数に基づいて現在のクロマブロックの予測子を取得するステップと；を含み、現在のクロマブロックは現在のルマブロックに対応する。

【0067】

第１１の態様自体による方法の可能な実施形態において、参照サンプルの数は、現在のクロマブロックの幅以上である。

【0068】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルは利用可能である。

【0069】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、方法は、範囲内の参照サンプルの利用可能性をチェックするステップをさらに含み、範囲の長さは２＊Ｗである、又は範囲の長さはＷとＨとの合計である。ここで、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0070】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、最大２＊Ｗ個の利用可能な参照サンプルが線形モデル係数を導出するために使用され、Ｗは現在のクロマブロックの幅を表す。

【0071】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、最大Ｎ個の利用可能な参照サンプルが線形モデル係数を導出するために使用され、ＮはＷとＨとの合計であり、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0072】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、線形モデル係数α及びβは、以下に基づいて計算され、
α＝（ｙ_Ｂ－ｙ_Ａ）／（ｘ_Ｂ－ｘ_Ａ）、
β＝ｙ_Ａ－αｘ_Ａ
ここで、ｘ_Ｂは最大ルマ値を表し、ｙ_Ｂは第１のクロマ値を表し、ｘ_Ａは最小ルマ値を表し、ｙ_Ａは第２のクロマ値を表す。

【0073】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックの予測子は、以下に基づいて取得され、
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ_Ｌ’（ｉ，ｊ）＋β、
ここで、ｐｒｅｄ_Ｃ（ｉ，ｊ）はクロマサンプルを表し、ｒｅｃ_Ｌ（ｉ，ｊ）は対応する再構成したルマサンプルを表す。

【0074】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルの数は現在のクロマブロックのサイズ以上である。

【0075】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルはダウンサンプリングされたルマサンプルである。

【0076】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックが上部の境界にある場合に、再構成した隣接ルマサンプルの１行のみが参照サンプルを取得するために使用される。

【0077】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、ＣＣＬＭはマルチ方向線形モデル（ＭＤＬＭ）であり、線形モデル係数は、ＭＤＬＭを取得するために使用される。

【0078】

第１１の態様自体又は第１１の態様の任意の先行する実施態様による方法の可能な実施形態において、この方法は、ＣＣＩＰ＿Ｔと呼ばれる。

【0079】

第１２の態様によれば、本発明は、クロスコンポーネント線形予測モード（ＣＣＬＭ）を使用することによるイントラ予測方法に関する。この方法は、
現在のルマブロックの参照サンプルを取得するステップであって、参照サンプルは、現在のルマブロックの左側テンプレートにのみ属する、取得するステップと；
参照サンプルに基づいて最大ルマ値及び最小ルマ値を取得するステップと；
最大ルマ値のサンプル位置に基づいて第１のクロマ値を取得するステップと；
最小ルマ値のサンプル位置に基づいて第２のクロマ値を取得するステップと；
第１のクロマ値、第２のクロマ値、最大ルマ値、及び最小ルマ値に基づいて線形モデル係数を計算するステップと；
線形モデル係数に基づいて現在のクロマブロックの予測子を取得するステップと；を含み、現在のクロマブロックは現在のルマブロックに対応する。

【0080】

第１２の態様自体による方法の可能な実施形態において、参照サンプルの数は現在のクロマブロックの高さ以上である。

【0081】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルは利用可能である。

【0082】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、方法は、範囲内の参照サンプルの利用可能性をチェックするステップをさらに含み、範囲の長さは２＊Ｈである、又は範囲の長さはＷとＨとの合計である。ここで、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0083】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、最大２＊Ｈ個の利用可能な参照サンプルが線形モデル係数を導出するために使用され、Ｈは現在のクロマブロックの高さを表す。

【0084】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、最大Ｎ個の利用可能な参照サンプルが線形モデル係数を導出するために使用され、ＮはＷとＨとの合計であり、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0085】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、線形モデル係数α及びβは、以下に基づいて計算され、
α＝（ｙ_Ｂ－ｙ_Ａ）／（ｘ_Ｂ－ｘ_Ａ）、
β＝ｙ_Ａ－αｘ_Ａ
ここで、ｘ_Ｂは最大ルマ値を表し、ｙ_Ｂは第１のクロマ値を表し、ｘ_Ａは最小ルマ値を表し、ｙ_Ａは第２のクロマ値を表す。

【0086】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックの予測子は、以下に基づいて取得され、
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ_Ｌ’（ｉ，ｊ）＋β
ここで、ｐｒｅｄ_Ｃ（ｉ，ｊ）はクロマサンプルを表し、ｒｅｃ_Ｌ（ｉ，ｊ）は対応する再構成したルマサンプルを表す。

【0087】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルの数は現在のクロマブロックのサイズ以上である。

【0088】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルはダウンサンプリングされたルマサンプルである。

【0089】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックの現在のブロックが左側の境界にある場合に、再構成した隣接ルマサンプルの１列のみが、参照サンプルを取得するために使用される。

【0090】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、ＣＣＬＭはマルチ方向線形モデル（ＭＤＬＭ）であり、線形モデル係数は、ＭＤＬＭを取得するために使用される。

【0091】

第１２の態様自体又は第１２の態様の任意の先行する実施態様による方法の可能な実施形態において、この方法は、ＣＣＩＰ＿Ｌと呼ばれる。

【0092】

第１３の態様によれば、本発明は、クロスコンポーネント線形予測モード（ＣＣＬＭ）を使用することによるイントラ予測方法に関する。この方法は、
現在のルマブロックの参照サンプルを取得するステップであって、参照サンプルは、現在のルマブロックの上部テンプレートのみに属するか、又は現在のルマブロックの左側テンプレートのみに属する、取得するステップと；
現在のクロマブロックのクロマサンプルを取得するステップであって、現在のクロマブロックは、現在のルマブロックに対応する、取得するステップと；
参照サンプル及びクロマサンプルに基づいて線形モデル係数を計算するステップと；
線形モデル係数に基づいて、現在のクロマブロックの予測子を取得するステップと；を含む。

【0093】

第１３の態様自体による方法の可能な実施形態において、最大Ｎ個の参照サンプルが線形モデル係数を導出するために使用され、ＮはＷとＨとの合計であり、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0094】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルが現在のルマブロックの上部テンプレートにのみ属する場合に、参照サンプルの数は、現在のクロマブロックの幅以上である。

【0095】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルが現在のルマブロックの上部テンプレートにのみ属する場合に、最大２＊Ｗ個の参照サンプルが線形モデル係数を導出するために使用され、Ｗは現在のクロマブロックの幅を表す。

【0096】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルが現在のルマブロックの左側テンプレートにのみ属する場合に、参照サンプルの数は現在のルマブロックの高さ以上である。

【0097】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルが現在のルマブロックの左側テンプレートにのみ属する場合に、最大２＊Ｈ個の参照サンプルが線形モデル係数を導出するために使用され、Ｗは現在のクロマブロックの高さを表す。

【0098】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルの数は現在のクロマブロックのサイズ以上である。

【0099】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルはダウンサンプリングされたルマサンプルである。

【0100】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルが現在のルマブロックの上部テンプレートにのみ属し、現在のクロマブロックの現在のブロックが上部の境界にある場合に、再構成した隣接ルマサンプルの１行のみが、参照サンプルを取得するために使用される。

【0101】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルが現在のルマブロックの左側テンプレートにのみ属し、現在のクロマブロックの現在のブロックが左側の境界にある場合に、再構成した隣接ルマサンプルの１列のみが、参照サンプルを取得するために使用される。

【0102】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、ＣＣＬＭはマルチ方向線形モデル（ＭＤＬＭ）であり、線形モデル係数は、ＭＤＬＭを取得するために使用される。

【0103】

第１３の態様自体又は第１３の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルは利用可能である。

【0104】

第１４の態様によれば、本発明は、第１１の態様自体又は第１１の態様の先行する実施態様のいずれか１つによる方法を実行するための処理回路を含むデコーダに関する。

【0105】

第１５の態様によれば、本発明は、第１２の態様自体又は第１２の態様の先行する実施態様のいずれか１つによる方法を実行するための処理回路を含むデコーダに関する。

【0106】

第１６の態様によれば、本発明は、第１３の態様自体又は第１３の態様の先行する実施態様のいずれか１つによる方法を実行するための処理回路を含むデコーダに関する。

【0107】

第１７の態様によれば、本発明は、クロスコンポーネント線形予測モード（ＣＣＬＭ）を使用することによるイントラ予測方法に関する。この方法は、
現在のルマブロックの参照サンプルを取得するステップであって、参照サンプルは、現在のルマブロックの上部テンプレートにのみ属する、取得するステップと；
参照サンプルに基づいて最大ルマ値及び最小ルマ値を取得するステップと；
最大ルマ値及び最小ルマ値に基づいて、第１のクロマ値及び第２のクロマ値を取得するステップと；
第１のクロマ値、第２のクロマ値、最大ルマ値、及び最小ルマ値に基づいて線形モデル係数を計算するステップと；
線形モデル係数に基づいて現在のブロックの予測子を取得するステップと；を含む。

【0108】

第１７の態様自体による方法の可能な実施形態において、参照サンプルの数は現在のクロマブロックの幅以上である。

【0109】

第１７の態様自体又は第１７の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルは利用可能である。

【0110】

第１７の態様自体又は第１７の態様の任意の先行する実施態様による方法の可能な実施形態において、最大２＊Ｗ個の参照サンプルがモデル係数を導出するために使用される。

【0111】

第１７の態様自体又は第１７の態様の任意の先行する実施態様による方法の可能な実施形態において、この方法はＣＣＩＰ＿Ｔと呼ばれる。

【0112】

第１８の態様によれば、本発明は、クロスコンポーネント線形予測モード（ＣＣＬＭ）を使用することによるイントラ予測方法に関する。この方法は、
現在のルマブロックの参照サンプルを取得するステップであって、参照サンプルは、現在のルマブロックの左側テンプレートにのみ属する、取得するステップと；
参照サンプルに基づいて最大ルマ値及び最小ルマ値を取得するステップと；
最大ルマ値及び最小ルマ値に基づいて、第１のクロマ値及び第２のクロマ値を取得するステップと；
第１のクロマ値、第２のクロマ値、最大ルマ値、及び最小ルマ値に基づいて線形モデル係数を計算するステップと；
線形モデル係数に基づいて現在のブロックの予測子を取得するステップと；を含む。

【0113】

第１８の態様自体による方法の可能な実施形態において、参照サンプルの数が現在のクロマブロックの高さ以上である。

【0114】

第１８の態様自体又は第１８の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルは利用可能である。

【0115】

第１８の態様自体又は第１８の態様の任意の先行する実施態様による方法の可能な実施形態において、最大２＊Ｈ個の参照サンプルがモデル係数を導出するために使用される。

【0116】

第１８の態様自体又は第１８の態様の任意の先行する実施態様による方法の可能な実施形態において、この方法はＣＣＩＰ＿Ｌと呼ばれる。

【0117】

第１９の態様によれば、本発明は、第１７の態様自体又は第１７の態様の先行する任意の実施態様による方法を実行するためのデコーダに関する。

【0118】

第２０の態様によれば、本発明は、第１８の態様自体又は第１８の態様の任意の先行する実施態様による方法を実行するためのデコーダに関する。

【0119】

第２１の態様によれば、本発明は、線形モデルを使用するイントラ予測のための方法に関する。この方法は、現在のルマブロックの参照サンプルを取得するステップと；参照サンプルに基づいて最大ルマ値及び最小ルマ値を取得するステップと；最大ルマ値を有するルマサンプルの位置及び最小ルマ値を有するルマサンプルの位置に基づいて、第１のクロマ値及び第２のクロマ値を取得するステップと；第１のクロマ値、第２のクロマ値、最大ルマ値、及び最小ルマ値に基づいて線形モデル係数を計算するステップと；線形モデル係数に基づいて現在のブロックの予測子を取得するステップと；を含み、現在のルマブロックの参照サンプルを取得するステップは、現在のルマブロックのＬ個の利用可能なクロマテンプレートサンプルを決定するステップであって、現在のルマブロックの参照サンプルは、Ｌ個の利用可能なクロマテンプレートサンプルに対応するＬ個のルマテンプレートサンプルである、決定するステップ、又は現在のクロマブロックのＬ個の利用可能な隣接クロマサンプルを決定するステップであって、現在のルマブロックの参照サンプルは、Ｌ個の利用可能な隣接クロマサンプルに対応するＬ個の隣接ルマサンプルである、決定するステップを含み、Ｌ＞＝１であり、Ｌは正の整数である。

【0120】

第２１の態様自体による方法の可能な実施形態において、現在のクロマブロックのＬ個の利用可能なクロマテンプレートサンプルを決定するステップは、現在のクロマブロックの上部の隣接クロマサンプルの利用可能性をチェックするステップを含み、Ｌ個の上部の隣接クロマサンプルが利用可能である場合に、現在のルマブロックの参照サンプルは、Ｌ個の上部の隣接クロマサンプルに対応するＬ個の隣接ルマサンプルであり、Ｌ＞＝１及びＬ＜＝Ｗ２であり、Ｗ２は上部テンプレートサンプル範囲を示し、Ｌ及びＷ２は正の整数である。

【0121】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックのＬ個の利用可能なクロマテンプレートサンプルを決定するステップは、現在のクロマブロックの左側の隣接クロマサンプルの利用可能性をチェックするステップを含み、Ｌ個の左側の隣接クロマサンプルが利用可能である場合に、現在のルマブロックの参照サンプルは、Ｌ個の左側の隣接クロマサンプルに対応するＬ個の隣接ルマサンプルであり、Ｌ＞＝１及びＬ＜＝Ｈ２であり、Ｈ２は左側テンプレートサンプル範囲を示し、Ｌ及びＨ２は正の整数である。

【0122】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックのＬ個の利用可能なクロマテンプレートサンプルを決定するステップは、現在のクロマブロックの上部の隣接クロマサンプルの利用可能性、及び現在のクロマブロックの左側の隣接クロマサンプルの利用可能性をチェックするステップを含み、Ｌ１個の上部の隣接クロマサンプルが利用可能であり、Ｌ２個の左側の隣接クロマサンプルが利用可能である場合に、現在のルマブロックの参照サンプルは、Ｌ１個の上部の隣接クロマサンプルに対応するＬ１個の隣接ルマサンプルと、Ｌ２個の左側の隣接クロマサンプルに対応するＬ２個の隣接ルマサンプルとを含む又はそれらであり、Ｌ２＞＝１及びＬ２＜＝Ｈ２であり、Ｈ２は左側テンプレートサンプル範囲を示し、Ｌ及びＨ２は正の整数であり、Ｌ１＞＝１及びＬ１＜＝Ｗ２であり、Ｗ２は上部テンプレートサンプル範囲を示し、Ｌ１及びＷ２は正の整数であり、Ｌ＝Ｌ１＋Ｌ２である。

【0123】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、Ｌ個の隣接クロマサンプルがテンプレート範囲で利用可能である場合に、次に、Ｌ個のテンプレートルマサンプル及びＬ個のテンプレートクロマサンプルは、モデル係数を取得するために使用される。

【0124】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルは利用可能である。

【0125】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、線形モデル係数α及びβは、以下に基づいて計算され、
α＝（ｙ_Ｂ－ｙ_Ａ）／（ｘ_Ｂ－ｘ_Ａ）、
β＝ｙ_Ａ－αｘ_Ａ
ここで、ｘ_Ｂは最大ルマ値を表し、ｙ_Ｂは第１のクロマ値を表し、ｘ_Ａは最小ルマ値を表し、ｙ_Ａは第２のクロマ値を表す。

【0126】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックの予測子は、以下に基づいて取得され、
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ_Ｌ’（ｉ，ｊ）＋β、
ここで、ｐｒｅｄ_Ｃ（ｉ，ｊ）はクロマサンプルを表し、ｒｅｃ_Ｌ（ｉ，ｊ）は対応する再構成したルマサンプルを表す。

【0127】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルの数は現在のルマブロックのサイズ以上である。

【0128】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルはダウンサンプリングされたルマサンプルである。

【0129】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、現在のクロマブロックの現在のブロックが上部の境界にある場合に、再構成した隣接ルマサンプルの１行のみが、参照サンプルを取得するために使用される。

【0130】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、線形モデルはマルチ方向線形モデル（ＭＤＬＭ）であり、線形モデル係数は、ＭＤＬＭを取得するために使用される。

【0131】

第２１の態様自体又は第２１の態様の先行する任意の実施態様による方法の可能な実施形態において、この方法はＣＣＩＰ＿Ｔと呼ばれるか、又はこの方法はＣＣＩＰ＿Ｌと呼ばれる。

【0132】

第２１の態様自体又は第２１の態様の任意の先行する実施態様による方法の可能な実施形態において、参照サンプルは、現在のルマブロックの上部テンプレートにのみ属するか、又は現在のルマブロックの左側テンプレートにのみ属する、或いは参照サンプルは、現在のルマブロックの上部テンプレート及び現在のルマブロックの左側テンプレートに属する。

【0133】

第２２の態様によれば、本発明は、第２１の態様自体又は第２１の態様の先行する実施態様による方法を実行するための処理回路を含むデコーダに関する。

【0134】

第２３の態様によれば、本発明は、第２１の態様自体又は第２１の態様の先行する実施態様による方法を実行するための処理回路を含むエンコーダに関する。

【0135】

第２４の態様によれば、本発明は、クロマモードの二値化方法に関する。この方法は、
線形モデル（マルチ方向線形モデル、ＭＤＬＭ等）を使用してイントラ予測を行うステップと；
複数のシンタックス要素を含むビットストリームを生成するステップであって、複数のシンタックス要素は、ＣＣＬＭモード、ＣＣＩＰ＿Ｌモード、又はＣＣＩＰ＿Ｔモードを示すか、又はこれを含む、生成するステップと；を含む。

【0136】

第２４の態様自体による方法の可能な実施形態において、
第１のインジケータ（７７）はＣＣＬＭモードを示し、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスは４であり、
第２のインジケータ（７８）はＣＣＩＰ＿Ｌモードを示し、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスは５であり、
第３のインジケータ（７９）はＣＣＩＰ＿Ｔモードを示し、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスは６である。

【0137】

第２４の態様自体又は第２４の態様の任意の先行する実施態様による方法の可能な実施形態において、ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合に、ＩｎｔｒａＰｒｅｄＭｏｄｅＣ［ｘＣｂ］［ｙＣｂ］が、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ［ｘＣｂ］［ｙＣｂ］及びＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘＣｂ］［ｙＣｂ］に依存する。

【0138】

第２５の態様によれば、本発明は、復号化装置によって実施される復号化の方法に関する。この方法は、
ビットストリームから複数のシンタックス要素を解析するステップであって、複数のシンタックス要素は、ＣＣＬＭモード、ＣＣＩＰ＿Ｌモード、又はＣＣＩＰ＿Ｔモードを示すか、又はこれを含む、解析するステップと；
示された線形モデルを使用してイントラ予測を行うステップと；を含む。

【0139】

第２５の態様自体による方法の可能な実施形態において、
第１のインジケータ（７７）はＣＣＬＭモードを示し、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスは４であり、
第２のインジケータ（７８）はＣＣＩＰ＿Ｌモードを示し、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスは５であり、
第３のインジケータ（７９）はＣＣＩＰ＿Ｔモードを示し、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスは６である。

【0140】

第２５の態様自体又は第２５の態様の任意の先行する実施態様による方法の可能な実施形態において、ｓｐｓ＿ｃｃｌｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合に、ＩｎｔｒａＰｒｅｄＭｏｄｅＣ［ｘＣｂ］［ｙＣｂ］が、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ［ｘＣｂ］［ｙＣｂ］及びＩｎｔｒａＰｒｅｄＭｏｄｅＹ［ｘＣｂ］［ｙＣｂ］に依存する。

【0141】

第２６の態様によれば、本発明は、第２４及び第２５の態様自体又は第２４及び第２５の態様の任意の先行する実施態様による方法を実行するための処理回路を含むデコーダに関する。

【0142】

第２７の態様によれば、本発明は、第２４及び第２５の態様自体又は第２４及び第２５の態様の任意の先行する実施態様による方法を実行するための処理回路を含むエンコーダに関する。

【0143】

第２８の態様によれば、本発明は、命令を格納するコンピュータ可読媒体に関し、命令がプロセッサ上で実行されると、プロセッサに、第２４及び第２５の態様自体又は第２４及び第２５の態様の任意の先行する実施態様による方法を実行させる。

【0144】

第２８の態様によれば、本発明は、デコーダに関する。このデコーダは、
１つ又は複数のプロセッサと、
プロセッサに結合され、且つプロセッサによって実行されるプログラミングを格納する非一時的なコンピュータ可読記憶媒体と、を含み、プログラミングは、プロセッサによって実行されると、第２４及び第２５の態様自体又は第２４及び第２５の態様の任意の先行する実施態様による方法を実行するようにデコーダを構成する。

【0145】

第２８の態様によれば、本発明は、エンコーダに関する。このエンコーダは、
１つ又は複数のプロセッサと、
プロセッサに結合され、且つプロセッサによって実行されるプログラミングを格納する非一時的なコンピュータ可読記憶媒体と、を含み、プログラミングは、プロセッサによって実行されると、第２４及び第２５の態様自体又は第２４及び第２５の態様の任意の先行する実施態様による方法を実行するようにエンコーダを構成する。

【0146】

第２９の態様によれば、本発明は、クロスコンポーネント線形予測モード（ＣＣＬＭ）を使用することによるイントラ予測方法に関する。この方法は、
現在のルマブロックの参照サンプルを取得するステップと；
参照サンプルに基づいて最大ルマ値及び最小ルマ値を取得するステップと；
最大ルマ値及び最小ルマ値に基づいて、第１のクロマ値及び第２のクロマ値を取得するステップと；
第１のクロマ値、第２のクロマ値、最大ルマ値、及び最小ルマ値に基づいて線形モデル係数を計算するステップと；
線形モデル係数に基づいて現在のブロックの予測子を取得するステップと；を含み、
テンプレートサンプルの利用可能性は、隣接クロマサンプルをチェックすることである。

【0147】

第３０の態様によれば、本発明は、第２８の態様自体による方法を実行するためのデコーダに関する。

【0148】

第３１の態様によれば、本発明は、第２９の態様自体による方法を実行するためのデコーダに関する。

【0149】

第３２の態様によれば、本発明は、第２８の態様又は第２９の態様による方法を実行するためのデコーダに関する。

【0150】

第３３の態様によれば、任意の先行する態様自体又は任意の先行する態様の任意の先行する実施態様による上記の方法のステップの少なくとも一部を実行するためのモジュール／ユニット／コンポーネント／回路を含む機器が提供される。

【0151】

第３３の態様による機器は、任意の先行する態様による方法の実施形態に対応する実施形態に拡張することができる。そのため、機器の実施形態は、任意の先行する態様による方法の対応する実施形態の特徴を含む。

【0152】

任意の先行する態様による機器の利点は、任意の先行する態様による方法の対応する実施形態の利点と同じである。

【0153】

明確にするために、前述の例のいずれか１つを、前述の他の例のいずれか１つ又は複数と組み合わせて、本開示の範囲内で新しい例を作成することができる。

【0154】

これら及び他の特徴は、添付の図面及び特許請求の範囲と併せて解釈される以下の詳細な説明からより明確に理解されるであろう。

【図面の簡単な説明】

【0155】

本開示のより完全な理解のために、添付の図面及び詳細な説明に関連して解釈される以下の簡単な説明が参照され、同様の参照符号は同様の部分を表す。

【図1A】本発明の例を実施することができる例示的なコーディングシステムを示すブロック図である。

【図1B】本発明の例を実施することができる別の例示的なコーディングシステムを示すブロック図である。

【図2】本発明の例を実施することができる例示的なビデオエンコーダを示すブロック図である。

【図3】本発明の例を実施することができるビデオデコーダの例を示すブロック図である。

【図4】ビデオコーディング装置の概略図である。

【図5】例示的な例による、図１Ａによる送信元装置１２及び宛先装置１４のいずれか又は両方として使用することができる機器５００の簡略化したブロック図である。

【図6A】ルマ及びクロマサンプルの垂直方向及び水平方向の公称相対位置を示す概念図である。

【図6B】予測ブロックを生成するためにルマブロックのサンプルをダウンサンプリングするためのルマ位置及びクロマ位置の例を示す概念図である。

【図6C】予測ブロックを生成するためにルマブロックのサンプルをダウンサンプリングするためのルマ位置及びクロマ位置の別の例を示す概念図である。

【図6D】Ｈ．２６５／ＨＥＶＣのイントラ予測モードの図である。

【図7】現在のブロックの参照サンプルの図である。

【図8】ＣＣＬＭモードに関与する現在のルマ及びクロマブロックの左側及び上部の参照サンプルの位置の図である。

【図9】最小ルマ値と最大ルマ値との間の直線の図である。

【図10】クロマブロック（参照サンプルを含む）及び対応するダウンサンプリングしたルマブロックのテンプレートの図である。

【図11】利用不可の参照サンプルを含むテンプレートの例の図である。

【図12】ＣＣＬＭ＿Ｔモードで使用される参照サンプルの図である。

【図13】ＣＣＬＭ＿Ｌモードで使用される参照サンプルの図である。

【図14】現在のルマブロックのダウンサンプリングしたルマブロックの幅よりも大きい上部テンプレート、又は現在のルマブロックのダウンサンプリングしたルマブロックの高さよりも大きい左側テンプレートを使用して、モデル係数を決定する例を示す概略図であり、上部テンプレートには、ダウンサンプリングしたルマブロックの上にある参照サンプルが含まれており、左側テンプレートには、ダウンサンプリングしたルマブロックの左側にある参照サンプルが含まれている。

【図15】現在のルマブロックのダウンサンプリングしたルマブロックの幅と同じサイズを有する上部テンプレート、又は現在のルマブロックのダウンサンプリングしたルマブロックの高さと同じサイズを有する左側テンプレートを使用して、モデル係数を決定する例を示す概略図である。

【図16】利用可能な参照サンプルを使用して、イントラ予測のためのモデル係数を決定する例を示す概略図である。

【図17】隣接ルマサンプルの複数の行又は列を使用してルマサンプルをダウンサンプリングする例を示す概略図である。

【図18】隣接ルマサンプルの複数の行又は列を使用してルマサンプルをダウンサンプリングする別の例を示す概略図である。

【図19】ＣＴＵの上部の境界にあるルマブロックに対して隣接ルマサンプルの単一の行を使用するダウンサンプリングの例を示す概略図である。

【図20】本開示のいくつかの態様による線形モデルを使用してイントラ予測を行うための方法のフローチャートである。

【図21】本開示の他の態様による線形モデルを使用してイントラ予測を行うための方法のフローチャートである。

【図22】線形モデルを使用してイントラ予測を行うための機器の例示的な構造を示すブロック図である。

【図23】本開示のいくつかの態様による、ビデオ信号のビットストリームにおけるクロマイントラコーディングモードをコーディングする方法のフローチャートである。

【図24】本開示のいくつかの態様による、ビデオ信号のビットストリームにおけるクロマイントラコーディングモードを復号化する方法のフローチャートである。

【図25】ビデオビットストリームを生成するための機器の例示的な構造を示すブロック図である。

【図26】ビデオビットストリームを復号化するための機器の例示的な構造を示すブロック図である。

【図27】コンテンツ配信サービスを提供するコンテンツ供給システムの例示的な構造を示すブロック図である。

【図28】端末装置の一例の構造を示すブロック図である。

【発明を実施するための形態】

【0156】

１つ又は複数の例の例示的な実施態様を以下に提供するが、開示するシステム及び／又は方法は、現在知られているか又は存在するかにかかわらず、任意の数の技術を使用して実施し得ることを最初に理解すべきである。本開示は、本明細書に示し及び説明する例示的な設計及び実施態様を含む、以下に示す例示的な実施態様、図面、及び技術に決して限定すべきではなく、添付の特許請求の範囲内でそれらの全範囲の同等物とともに変更され得る。

【0157】

図１Ａは、双方向予測技術を利用することができる例示的なコーディング（coding）システム１０を示すブロック図である。図１Ａに示されるように、コーディングシステム１０は、符号化したビデオデータを提供する送信元装置１２を含み、符号化したビデオデータは宛先装置１４によって後で復号化される。特に、送信元装置１２は、コンピュータ可読媒体１６を介してビデオデータを宛先装置１４に提供することができる。送信元装置１２及び宛先装置１４は、デスクトップコンピュータ、ノートブック（つまり、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」電話等の電話ハンドセット、いわゆる「スマート」パッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミング装置等を含む広範囲の装置のいずれかを含み得る。場合によっては、送信元装置１２及び宛先装置１４は、無線通信のために装備され得る。

【0158】

宛先装置１４は、コンピュータ可読媒体１６を介して符号化したビデオデータを受信し、符号化したビデオデータを復号化することができる。コンピュータ可読媒体１６は、符号化したビデオデータを送信元装置１２から宛先装置１４に移動させることができる任意のタイプの媒体又は装置を含み得る。一例では、コンピュータ可読媒体１６は、送信元装置１２が符号化したビデオデータを宛先装置１４にリアルタイムで直接送信するのを可能にする通信媒体を含み得る。符号化したビデオデータは、無線通信プロトコル等の通信規格に従って変調され、宛先装置１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトル或いは１つ又は複数の物理的な伝送ライン等の任意の無線又は有線通信媒体を含み得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネット等のグローバルネットワーク等のパケットベースのネットワークの一部を形成することができる。通信媒体は、送信元装置１２から宛先装置１４への通信を容易にするのに役立ち得るルータ、スイッチ、基地局、又は他の任意の設備を含み得る。

【0159】

いくつかの例では、符号化したデータは、出力インターフェース２２から記憶装置に出力され得る。同様に、符号化したデータは、入力インターフェースによって記憶装置からアクセスされ得る。記憶装置には、ハードドライブ、Ｂｌｕ－ｒａｙディスク、デジタルビデオディスク（ＤＶＤ）、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、フラッシュメモリ、揮発性又は不揮発性メモリ、又は符号化したビデオデータを格納するための他の適切なデジタル記憶メディア等の、様々な分散型又はローカルアクセス型のデータ記憶メディアのいずれかが含まれ得る。更なる例では、記憶装置は、送信元装置１２によって生成された符号化したビデオを格納し得るファイルサーバ又は別の中間記憶装置に対応し得る。宛先装置１４は、ストリーミング又はダウンロードを介して記憶装置から格納したビデオデータにアクセスし得る。ファイルサーバは、符号化したビデオデータを格納し、その符号化したビデオデータを宛先装置１４に送信することができる任意のタイプのサーバであり得る。ファイルサーバの例には、（例えば、ウェブサイトのための）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続記憶（ＮＡＳ）装置、又はローカルディスクドライブが含まれる。宛先装置１４は、インターネット接続を含む任意の標準データ接続を介して、符号化したビデオデータにアクセスすることができる。これには、（ファイルサーバに格納した符号化したビデオデータへのアクセスに適した）無線チャネル（例えば、Ｗｉ－Ｆｉ接続）、有線接続（デジタル加入者線（ＤＳＬ）、ケーブルモデム等）、又は両方の組合せが含まれ得る。記憶装置からの符号化したビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。

【0160】

本開示の技術は、必ずしも無線アプリケーション又は設定に限定されない。この技術は、地上波テレビ放送、ケーブルテレビ送信、衛星テレビ送信、ＨＴＴＰ（ＤＡＳＨ）を介した動的適応ストリーミング等のインターネットストリーミングビデオ送信、データ記憶メディアに符号化されるデジタルビデオ、データ記憶メディアに格納されるデジタルビデオの復号化、又は他のアプリケーション等、様々なマルチメディアアプリケーションのいずれかをサポートする際にビデオコーディングに適用できる。いくつかの例では、コーディングシステム１０は、ビデオストリーミング、ビデオ再生、ビデオ放送、及び／又はテレビ電話等のアプリケーションをサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。

【0161】

図１Ａの例では、送信元装置１２は、ビデオソース１８、ビデオエンコーダ２０、及び出力インターフェース２２を含む。宛先装置１４は、入力インターフェース２８、ビデオデコーダ３００、及び表示装置３２を含む。本開示に従って、送信元装置１２のビデオエンコーダ２００及び／又は宛先装置１４のビデオデコーダ３００は、双方向予測のための技術を適用するように構成され得る。他の例では、送信元装置及び宛先装置は、他のコンポーネント又は構成を含み得る。例えば、送信元装置１２は、外部カメラ等の外部ビデオソースからビデオデータを受信することができる。同様に、宛先装置１４は、統合した表示装置を含むのではなく、外部表示装置とインターフェースすることができる。

【0162】

図１Ａの示されるコーディングシステム１０は、単なる一例である。双方向予測のための技術は、任意のデジタルビデオ符号化及び／又は復号化装置によって実行され得る。本開示の技術は、一般に、ビデオコーディング装置によって実行されるが、技術は、典型的には「コーデック（CODEC）」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。さらに、本開示の技術は、ビデオプリプロセッサによっても実行され得る。ビデオエンコーダ及び／又はデコーダは、グラフィックス処理ユニット（ＧＰＵ）又は同様の装置であり得る。

【0163】

送信元装置１２及び宛先装置１４は、送信元装置１２が宛先装置１４に送信するためのコーディングしたビデオデータを生成するそのようなコーディング装置の単なる例である。いくつかの例では、送信元装置１２及び宛先装置１４は、送信元及び宛先装置１２、１４のそれぞれがビデオ符号化及び復号化コンポーネントを含むような実質的に対称的な方法で動作し得る。そのため、コーディングシステム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオ放送、又はテレビ電話のために、ビデオ装置１２、１４の間の一方向又は双方向のビデオ送信をサポートすることができる。

【0164】

送信元装置１２のビデオソース１８は、ビデオカメラ、以前に取り込んだビデオを含むビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース等のビデオ取込み装置を含み得る。更なる代替として、ビデオソース１８は、ソースビデオとして、又はライブビデオ、アーカイブされたビデオ、及びコンピュータで生成されたビデオの組合せとして、コンピュータグラフィックスベースのデータを生成することができる。

【0165】

場合によっては、ビデオソース１８がビデオカメラである場合に、送信元装置１２及び宛先装置１４は、いわゆるカメラ付き携帯電話又はビデオ電話を形成し得る。しかしながら、上述したように、本開示で説明する技術は、一般にビデオコーディングに適用可能であり得、そして無線及び／又は有線アプリケーションに適用され得る。いずれの場合にも、取り込んだ、予め取り込んだ、又はコンピュータで生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。次に、符号化したビデオ情報は、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。

【0166】

コンピュータ可読媒体１６は、無線放送又は有線ネットワーク送信等の一時的な媒体、或いはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ－ｒａｙディスク、又は他のコンピュータ可読媒体等の記憶媒体（つまり、非一時的な記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、送信元装置１２から符号化したビデオデータを受信し、例えばネットワーク送信を介して、符号化したビデオデータを宛先装置１４に提供することができる。同様に、ディスクスタンピング設備等の媒体生産設備のコンピューティング装置は、送信元装置１２から符号化したビデオデータを受信し、符号化したビデオデータを含むディスクを製造することができる。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つ又は複数のコンピュータ可読媒体を含むと理解され得る。

【0167】

宛先装置１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって規定されるシンタックス（syntax）情報を含み得、この情報はビデオデコーダ３０によっても使用され、シンタックス情報は、ブロック及び他のコーディングしたユニット、例えば、写真のグループ（ＧＯＰ）の特性及び／又は処理を記述するシンタックス要素を含む。表示装置３２は、復号化したビデオデータをユーザに表示し、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＤＣ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別のタイプの表示装置のいずれかを含み得る。

【0168】

ビデオエンコーダ２００及びビデオデコーダ３００は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格等のビデオコーディング規格に従って動作することができ、そしてＨＥＶＣテストモデル（ＨＭ）に準拠することができる。あるいはまた、ビデオエンコーダ２００及びビデオデコーダ３００は、国際電気通信連合電気通信標準化セクタ（ＩＴＵ－Ｔ）Ｈ．２６４規格、あるいはＭＰＥＧ（Motion Picture Expert Group）－４、パート１０と呼ばれる、ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ、又はそのような規格の拡張等、他の企業又は業界標準に従って動作することができる。しかしながら、本開示の技術は、特定のコーディング規格に限定されない。ビデオコーディング規格の他の例には、ＭＰＥＧ－２及びＩＴＵ－Ｔ Ｈ．２６３が含まれる。図１Ａには示されていないが、いくつかの態様では、ビデオエンコーダ２００及びビデオデコーダ３００は、それぞれオーディオエンコーダ及びデコーダと統合され得、両方のオーディオ及びビデオの符号化を共通のデータストリーム又は個別のデータストリームで処理するために、適切なマルチプレクサ－デマルチプレクサ（ＭＵＸ－ＤＥＭＵＸ）ユニット、又は他のハードウェア及びソフトウェアを含み得る。該当する場合に、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）等の他のプロトコルに準拠し得る。

【0169】

ビデオエンコーダ２００及びビデオデコーダ３００はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せ等の様々な適切なエンコーダ回路のいずれかとして実装され得る。技術がソフトウェアで部分的に実装される場合に、装置は、ソフトウェアの命令を適切な非一時的なコンピュータ可読媒体に格納し、１つ又は複数のプロセッサを使用してハードウェアで命令を実行して、本開示の技術を実行することができる。ビデオエンコーダ２００及びビデオデコーダ３００のそれぞれは、１つ又は複数のエンコーダ又はデコーダに含まれ得、これらのいずれも、それぞれの装置内の組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。ビデオエンコーダ２００及び／又はビデオデコーダ３００を含む装置は、集積回路、マイクロプロセッサ、及び／又は携帯電話等の無線通信装置を含み得る。

【0170】

図１Ｂは、例示的な実施形態による図２のエンコーダ２００及び／又は図３のデコーダ３００を含む例示的なビデオコーディングシステム４０の例示的な図である。システム４０は、この本願の技術、例えばインター予測でのマージ推定を実施することができる。図示の実施態様では、ビデオコーディングシステム４０は、画像化装置４１、ビデオエンコーダ２０、ビデオデコーダ３００（及び／又は処理ユニット４６の論理回路４７を介して実装されるビデオコーダ）、アンテナ４２、１つ又は複数のプロセッサ４３、１つ又は複数のメモリストア４４、及び／又は表示装置４５を含み得る。

【0171】

図示されるように、画像化装置４１、アンテナ４２、処理ユニット４６、論理回路４７、ビデオエンコーダ２０、ビデオデコーダ３０、プロセッサ４３、メモリストア４４、及び／又は表示装置４５は、互いに通信することができ得る。説明したように、ビデオエンコーダ２００とビデオデコーダ３０（０）との両方が示されているが、ビデオコーディングシステム４０は、様々な実際のシナリオにおいて、ビデオエンコーダ２００のみ、又はビデオデコーダ３００のみを含み得る。

【0172】

示されるように、いくつかの例では、ビデオコーディングシステム４０は、アンテナ４２を含み得る。アンテナ４２は、例えば、ビデオデータの符号化したビットストリームを送信又は受信するように構成され得る。さらに、いくつかの例では、ビデオコーディングシステム４０は、表示装置４５を含み得る。表示装置４５は、ビデオデータを提示するように構成され得る。示されるように、いくつかの例では、論理回路４７は、処理ユニット４６を介して実装され得る。処理ユニット４６は、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックプロセッサ、汎用プロセッサ等を含み得る。ビデオコーディングシステム４０は、オプションのプロセッサ４３も含み得、このプロセッサ４３は、同様に、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックプロセッサ、汎用プロセッサ等を含み得る。いくつかの例では、論理回路４７は、ハードウェア、ビデオコーディング専用ハードウェア等を介して実装され得、プロセッサ４３は、汎用ソフトウェア、オペレーティングシステム等で実装され得る。さらに、メモリストア４４は、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）等）、又は不揮発性メモリ（例えば、フラッシュ等）の任意のタイプのメモリであり得る。非限定的な例では、メモリストア４４は、キャッシュメモリによって実装され得る。いくつかの例では、論理回路４７は、（例えば、画像バッファの実装のために）メモリストア４４にアクセスすることができる。他の例では、論理回路４７及び／又は処理ユニット４６は、画像バッファ等の実装のためのメモリストア（例えば、キャッシュ等）を含み得る。

【0173】

いくつかの例では、論理回路を介して実装されるビデオエンコーダ２００は、画像バッファ（例えば、処理ユニット４６又はメモリストア４４のいずれかを介して）、及びグラフィックス処理ユニット（例えば、処理ユニット４６を介して）を含み得る。グラフィックス処理ユニットは、画像バッファに通信可能に結合され得る。グラフィックス処理ユニットは、図２に関して説明するような様々なモジュール及び／又は本明細書に記載の任意の他のエンコーダシステム又はサブシステムを具体化するために、論理回路４７を介して実装されたビデオエンコーダ２００を含み得る。論理回路は、本明細書で議論するように、様々な動作を実行するように構成され得る。

【0174】

ビデオデコーダ３００は、図３のデコーダ３００に関して説明するような様々なモジュール及び／又は本明細書に記載の任意の他のデコーダシステム又はサブシステムを具体化するために、論理回路４７を介して実装されるのと同様の方法で実装することができる。いくつかの例では、ビデオデコーダ３００は、論理回路を介して実装され得、画像バッファ（例えば、処理ユニット４６又はメモリストア４４のいずれかを介して）、及びグラフィックス処理ユニット（例えば、処理ユニット４６を介して）を含み得る。グラフィックス処理ユニットは、画像バッファに通信可能に結合され得る。グラフィックス処理ユニットは、図３に関して説明するような様々なモジュール及び／又は本明細書に記載の任意の他のデコーダシステム又はサブシステムを具体化するために、論理回路４７を介して実装されたビデオデコーダ３００を含み得る。

【0175】

いくつかの例では、ビデオコーディングシステム４０のアンテナ４２は、ビデオデータの符号化したビットストリームを受信するように構成され得る。議論したように、符号化したビットストリームは、コーディングパーティションに関連付けられたデータ（例えば、変換係数又は量子化変換係数、オプションのインジケータ（議論するような）、及び／又はコーディングパーティションを規定するデータ）等の、本明細書で議論するようなビデオフレームを符号化することに関連付けられたデータ、インジケータ、インデックス値、モード選択データ等を含み得る。ビデオコーディングシステム４０は、アンテナ４２に結合され、且つ符号化したビットストリームを復号化するように構成されたビデオデコーダ３００も含み得る。表示装置４５は、ビデオフレームを提示するように構成される。

【0176】

図２は、本願の技術を実施することができるビデオエンコーダ２００の一例を示すブロック図である。ビデオエンコーダ２００は、ビデオスライス内のビデオブロックのイントラ（ｉｎｔｒａ）コーディング及びインター（ｉｎｔｅｒ）コーディングを実行することができる。イントラコーディングは、空間予測に依存して、所与のビデオフレーム又は画像内のビデオの空間的冗長性を低減又は削除する。インターコーディングは、時間予測に依存して、ビデオシーケンスの隣接するフレーム又は画像内のビデオの時間的冗長性を低減又は削除する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれかを指す場合がある。単方向予測（Ｐモード）又は双方向予測（Ｂモード）等のインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指す場合がある。

【0177】

図２は、本開示の技術を実施するように構成された例示的なビデオエンコーダ２００の概略／概念ブロック図を示す。図２の例では、ビデオエンコーダ２００は、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、及び逆変換処理ユニット２１２、再構成ユニット２１０、バッファ２１６、ループフィルタユニット２２０、復号化画像バッファ（ＤＰＢ）２３０、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０を含む。予測処理ユニット２６０は、インター推定２４２、インター予測ユニット２４４、イントラ推定２５２、イントラ予測ユニット２５４、及びモード選択ユニット２６２を含み得る。インター予測ユニット２４４は、動き補償ユニット（図示せず）をさらに含み得る。図２に示されるようなビデオエンコーダ２００は、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれ得る。

【0178】

例えば、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０は、エンコーダ２００の順方向信号経路を形成するが、例えば、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、復号化画像バッファ（ＤＰＢ）２３０、予測処理ユニット２６０は、エンコーダの逆方向信号経路を形成し、ここで、エンコーダの逆方向信号経路は、デコーダ（図３のデコーダ３００を参照）の信号経路に対応する。

【0179】

エンコーダ２００は、例えば入力２０２、画像２０１、又は画像２０１のブロック２０３によって、例えばビデオ又はビデオシーケンスを形成する一連の画像の画像を受信するように構成される。画像ブロック２０３は、現在の画像ブロック又はコーディングすべき画像ブロックとも呼ばれ得、画像２０１は、現在の画像又はコーディングすべき画像と呼ばれ得る（特に、現在の画像を他の画像（例えば、同じビデオシーケンス（すなわち、現在の画像も含むビデオシーケンス）の以前に符号化した及び／又は復号化した画像）から区別するためのビデオ符号化において）。

【0180】

パーティション分割（PARTITIONING）

【0181】

エンコーダ２００の実施形態は、画像２０１を複数のブロック、例えばブロック２０３のようなブロック、典型的に複数の非重複ブロックにパーティション分割するように構成されたパーティション分割ユニット（図２には示されていない）を含み得る。パーティション分割ユニットは、ビデオシーケンスの全ての画像と同じブロックサイズ及びブロックサイズを規定する対応するグリッドを使用するように、或いは画像又は画像のサブセット又はグループの間でブロックサイズを変更し、各画像を対応するブロックにパーティション分割するように構成することができる。

【0182】

ＨＥＶＣ及び他のビデオコーディング仕様では、画像の符号化した表現を生成するために、コーディングツリーユニット（ＣＴＵ）のセットが生成され得る。各ＣＴＵは、ルマサンプルのコーディングツリーブロック、クロマサンプルの２つの対応するコーディングツリーブロック、及びコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造を含み得る。モノクロ画像又は３つの別個の色平面を有する画像では、ＣＴＵは、単一のコーディングツリーブロックと、コーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを含み得る。コーディングツリーブロックは、サンプルのＮ×Ｎブロックであり得る。ＣＴＵは、「ツリーブロック」又は「最大コーディングユニット」（ＬＣＵ）とも呼ばれ得る。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣ等の他の規格のマクロブロックに概ね類似している可能性がある。ただし、ＣＴＵは、必ずしも特定のサイズに限定されるわけではなく、１つ又は複数のコーディングユニット（ＣＵ）を含み得る。スライスには、ラスタースキャン順序で連続して順序付けられた整数個のＣＴＵを含めることができる。

【0183】

ＨＥＶＣでは、ＣＴＵは、様々な局所的特性に適応するためにコーディングツリーとして示される４分木構造を使用してＣＵに分割される。インター画像（inter-picture：画像間）（時間的）又はイントラ画像（intra-picture：画像内）（空間的）予測を使用して画像領域をコーディングするかどうかの決定は、ＣＵレベルで行われる。ＣＵは、ルマサンプルのコーディングブロックと、ルマサンプルアレイ、Ｃｂサンプルアレイ、及びＣｒサンプルアレイを有する画像のクロマサンプルの２つの対応するコーディングブロックと、コーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを含み得る。モノクロ画像又は３つの別個の色平面を有する画像では、ＣＵは、単一のコーディングブロックと、コーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを含み得る。コーディングブロックは、サンプルのＮ×Ｎブロックである。いくつかの例では、ＣＵはＣＴＵと同じサイズであり得る。各ＣＵは、１つのコーディングモードでコーディングされ、このコーディングモードは、例えば、イントラコーディングモード又はインターコーディングモードであり得る。他のコーディングモードも可能である。エンコーダ２００はビデオデータを受信する。エンコーダ２００は、ビデオデータの画像のスライス内の各ＣＴＵを符号化することができる。ＣＴＵの符号化の一部として、エンコーダ２００の予測処理ユニット２６０又は別の処理ユニット（図２に示されるエンコーダ２００のユニットを含むが、これに限定されない）は、ＣＴＵのＣＴＢを漸次小さくなるブロック２０３に分割するようにパーティション分割を行うことができる。小さいブロックは、ＣＵのコーディングブロックであり得る。

【0184】

ビットストリーム内のシンタックスデータは、ＣＴＵのサイズも規定し得る。スライスには、コーディング順に多数の連続したＣＴＵが含まれる。ビデオフレーム又はイメージ（image）又は画像（picture）は、１つ又は複数のスライスにパーティション分割することができる。上述したように、各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）に分割できる。一般に、４分木データ構造には、ＣＵ毎に１つのノードが含まれ、ルートノードがツリーブロック（例えば、ＣＴＵ）に対応する。ＣＵが４つのサブＣＵに分割される場合に、ＣＵに対応するノードには４つの子ノードが含まれ、各子ノードはサブＣＵの１つに対応する。４分木構造の複数のノードには、リーフ（leaf）ノード及び非リーフノードが含まれる。リーフノードには、ツリー構造に子ノードがない（つまり、リーフノードはそれ以上分割されない）。非リーフノードには、ツリー構造のルートノードが含まれる。複数のノードのそれぞれの非ルートノードについて、それぞれの非ルートノードは、それぞれの非ルートノードのツリー構造における親ノードに対応するＣＵのサブＣＵに対応する。それぞれの非リーフノードには、ツリー構造に１つ又は複数の子ノードがある。

【0185】

４分木データ構造の各ノードは、対応するＣＵにシンタックスデータを提供することができる。例えば、４分木内のノードには、ノードに対応するＣＵがサブＣＵに分割されているかどうかを示す分割フラグが含まれ得る。ＣＵのシンタックス要素は、再帰的に規定でき、ＣＵがサブＣＵに分割されているかどうかに依存し得る。ＣＵがそれ以上分割されない場合に、それはリーフＣＵと呼ばれる。ＣＵのブロックがさらに分割される場合に、それは一般に非リーフＣＵと呼ばれ得る。パーティション分割の各レベルは、４つのサブＣＵに分割される４分木である。黒のＣＵは、リーフノード（つまり、さらに分割されないブロック）の例である。

【0186】

ＣＵは、ＣＵがサイズの区別を有さないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックを４つの子ノード（サブＣＵとも呼ばれる）に分割し、次に各子ノードを親ノードにして、別の４つの子ノードに分割することができる。４分木のリーフノードと呼ばれる最後の分割されない子ノードは、リーフＣＵとも呼ばれるコーディングノードを含む。コーディングしたビットストリームに関連付けられたシンタックスデータは、ツリーブロックが分割される最大回数（最大ＣＵ深さと呼ばれる）を規定し得、コーディングノードの最小サイズも規定し得る。従って、ビットストリームは、最小コーディングユニット（ＳＣＵ）を規定することもできる。「ブロック」という用語は、ＨＥＶＣの文脈でのＣＵ、ＰＵ、又はＴＵのいずれか、又は他の規格の文脈での同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣのマクロブロック及びそのサブブロック）を指すために使用される。

【0187】

ＨＥＶＣでは、各ＣＵは、ＰＵ分割タイプに従って、１つ、２つ、又は４つのＰＵにさらに分割することができる。１つのＰＵ内で、同じ予測プロセスが適用され、関連情報がＰＵベースでデコーダに送信される。ＰＵ分割タイプに基づく予測プロセスを適用することによって残差ブロックを取得した後に、ＣＵのコーディングツリーと同様の別の４分木構造に従って、ＣＵを変換ユニット（ＴＵ）にパーティション分割できる。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵ、及びＴＵを含む複数のパーティションの概念があることである。ＰＵは、形状が非正方形になるようにパーティション分割され得る。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つ又は複数のＰＵにパーティション分割することも記述し得る。ＴＵは、形状が正方形又は非正方形（例えば、長方形）であり得、ＣＵに関連するシンタックスデータは、例えば、４分木に従ってＣＵを１つ又は複数のＴＵにパーティション分割することを記述し得る。パーティション分割モードは、ＣＵが、スキップ又はダイレクトモードで符号化されているか、イントラ予測モードで符号化されているか、又はインター予測モードで符号化されているかによって異なる場合がある。

【0188】

ＶＶＣ（多用途ビデオコーディング）は、ＰＵ及びＴＵの概念の分離を排除する一方で、ＣＵパーティション形状のより高い柔軟性をサポートする。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が正方形又は非正方形（例えば、長方形）であり得る。ＣＵのサイズは、４×４ピクセル（又は８×８ピクセル）から最大１２８×１２８ピクセル又はそれ以上（例えば、２５６×２５６ピクセル）のツリーブロックのサイズまでの範囲になり得る。

【0189】

エンコーダ２００がＣＵの予測ブロック（例えば、ルマ、Ｃｂ、及びＣｒ予測ブロック）を生成した後に、エンコーダ２００は、ＣＵの残差ブロックを生成することができる。例えば、エンコーダ１００は、ＣＵのルマ残差ブロックを生成することができる。ＣＵのルマ残差ブロック内の各サンプルは、ＣＵの予測ルマブロック内のルマサンプルとＣＵの元のルマコーディングブロック内の対応するサンプルとの間の差を示す。さらに、エンコーダ２００は、ＣＵのＣｂ残差ブロックを生成することができる。ＣＵのＣｂ残差ブロック内の各サンプルは、ＣＵの予測Ｃｂブロック内のＣｂサンプルとＣＵの元のＣｂコーディングブロック内の対応するサンプルとの間の差を示し得る。エンコーダ１００は、ＣＵのＣｒ残差ブロックも生成し得る。ＣＵのＣｒ残差ブロック内の各サンプルは、ＣＵの予測Ｃｒブロック内のＣｒサンプルとＣＵの元のＣｒコーディングブロック内の対応するサンプルとの間の差を示し得る。

【0190】

いくつかの例では、エンコーダ１００は、変換ブロックへの変換の適用をスキップする。そのような例では、エンコーダ２００は、変換係数と同じ方法で残差サンプル値を処理することができる。こうして、エンコーダ１００が変換の適用をスキップする例では、変換係数及び係数ブロックの以下の説明は、残差サンプルの変換ブロックに適用可能であり得る。

【0191】

係数ブロック（例えば、ルマ係数ブロック、Ｃｂ係数ブロック、又はＣｒ係数ブロック）を生成した後に、エンコーダ２００は、係数ブロックを量子化して、係数ブロックを表すために使用されるデータの量をおそらく削減し、潜在的に更なる圧縮を提供することができる。量子化とは、一般に、値の範囲が単一の値に圧縮されるプロセスを指す。エンコーダ２００が係数ブロックを量子化した後に、エンコーダ２００は、量子化変換係数を示すシンタックス要素をエントロピー符号化することができる。例えば、エンコーダ２００は、量子化変換係数を示すシンタックス要素に対して、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）又は他のエントロピーコーディング技術を実行することができる。

【0192】

エンコーダ２００は、コーディングした画像及び関連するデータの表現を形成するビットのシーケンスを含む、符号化した画像データ２７１のビットストリームを出力することができる。こうして、ビットストリームは、ビデオデータの符号化した表現を含む。

【0193】

J. Anらの、“Block partitioning structure for next generation video coding”, International Telecommunication Union, COM16-C966, September 2015（以下、「ＶＣＥＧ提案ＣＯＭ１６－Ｃ９６６」）では、４分木－２分木（ＱＴＢＴ）パーティション分割技術が、ＨＥＶＣを超えた将来のビデオコーディング規格のために提案された。シミュレーションは、提案されたＱＴＢＴ構造が、使用されたＨＥＶＣの４分木構造よりも効率的であることを示している。ＨＥＶＣでは、動き補償のメモリアクセスを減らすために、小さなブロックのインター予測が制限されているため、４×８及び８×４ブロックでは双方向予測がサポートされておらず、４×４ブロックではインター予測がサポートされていない。ＪＥＭのＱＴＢＴでは、これらの制限が外されている。

【0194】

ＱＴＢＴでは、ＣＵは、正方形又は長方形のいずれかの形状を有することができる。例えば、コーディングツリーユニット（ＣＴＵ）は、最初に４分木構造によってパーティション分割される。４分木リーフノードは、２分木構造によってさらにパーティション分割され得る。２分木分割には、水平方向の対称分割及び垂直方向の対称分割の２つの分割タイプがある。いずれの場合にも、ノードを水平方向又は垂直方向に中央で分割することにより、ノードが分割される。２分木リーフノードはコーディングユニット（ＣＵ）と呼ばれ、そのセグメンテーションは、さらにパーティション分割することなく、予測及び変換処理に使用される。これは、ＣＵ、ＰＵ、及びＴＵがＱＴＢＴコーディングブロック構造で同じブロックサイズを有することを意味する。ＣＵは、異なる色成分のコーディングブロック（ＣＢ）で構成される場合があり、例えば、４：２：０クロマフォーマットのＰスライス及びＢスライスの場合に、１つのＣＵには１つのルマＣＢ及び２つのクロマＣＢが含まれ、単一の成分のＣＢで構成される場合もあり、例えば、Ｉスライスの場合に、１つのＣＵには１つのルマＣＢ（ｂ）のみ又は２つのクロマＣＢだけが含まれる。

【0195】

以下のパラメータは、ＱＴＢＴパーティション分割スキームのために規定される。

【0196】

－ ＣＴＵサイズ：４分木のルートノードサイズ、ＨＥＶＣと同じ概念。

【0197】

－ ＭｉｎＱＴサイズ：最小許容４分木リーフノードサイズ。

【0198】

－ ＭａｘＢＴサイズ：最大許容２分木ルートノードサイズ。

【0199】

－ ＭａｘＢＴ深さ：最大許容２分木深さ。

【0200】

ＭｉｎＢＴサイズ：最小許容２分木リーフノードサイズ。

【0201】

ＱＴＢＴパーティション分割構造の一例では、ＣＴＵサイズはクロマサンプルの２つの対応する６４×６４ブロックを含む１２８×１２８ルマサンプルとして設定され、ＭＩｎＱＴサイズは１６×１６として設定され、ＭａｘＢＴサイズは６４×６４として設定され、ＭｉｎＢＴサイズ（幅と高さの両方）は４×４に設定され、ＭａｘＢＴ深さは４として設定される。最初に４分木リーフノードを生成するために、４分木パーティション分割がＣＴＵに適用される。４分木リーフノードは、１６×１６（つまり、ＭｉｎＱＴサイズ）から１２８×１２８（つまり、ＣＴＵサイズ）までのサイズを有することができる。４分木ノードがＭｉｎＱＴサイズに等しいサイズを有する場合に、それ以上の４分木は考慮されない。４分木リーフノードが１２８×１２８である場合に、それは、サイズがＭａｘＢＴサイズ（つまり、６４×６４）を超えるため、２分木によってさらに分割されることはない。それ以外の場合に、リーフ４分木ノードは２分木によってさらにパーティション分割され得る。従って、４分木リーフノードは２分木のルートノードでもあり、それは、０の２分木深さを有する。２分木深さがＭａｘＢＴ深さ（つまり、４）に達すると、それ以上の分割は考慮されない。２分木ノードがＭｉｎＢＴサイズに等しい幅（つまり、４）を有する場合に、それ以上の水平方向分割は考慮されない。同様に、２分木ノードがＭｉｎＢＴサイズに等しい高さを有する場合に、それ以上の垂直方向分割は考慮されない。２分木のリーフノードは、さらにパーティション分割することなく、予測及び変換処理によってさらに処理される。ＪＥＭでは、最大ＣＴＵサイズは２５６×２５６ルマサンプルである。２分木（ＣＵ）のリーフノードは、さらにパーティション分割することなく、（例えば、予測プロセス及び変換プロセスを実行することによって）さらに処理することができる。

【0202】

さらに、ＱＴＢＴスキームは、ルマ及びクロマが別個のＱＴＢＴ構造を有する能力をサポートする。現在、Ｐスライス及びＢスライスの場合に、１つのＣＴＵ内のルマＣＴＢとクロマＣＴＢが同じＱＴＢＴ構造を共有し得る。ただし、Ｉスライスの場合に、ルマＣＴＢはＱＴＢＴ構造によってＣＵにパーティション分割され、クロマＣＴＢは別のＱＴＢＴ構造によってクロマＣＵにパーティション分割され得る。これは、ＩスライスのＣＵがルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成され、Ｐスライス又はＢスライスのＣＵが３つの色成分全てのコーディングブロックで構成されることを意味する。

【0203】

エンコーダ２００は、ＱＴＢＴ構造に対してレート－歪み最適化（ＲＤＯ）プロセスを適用して、ブロックパーティション分割を決定する。

【0204】

さらに、マルチタイプツリー（ＭＴＴ）と名付けられたブロック分割構造が、ＱＴ、ＢＴ、及び／又はＱＴＢＴベースのＣＵ構造を置き換えるために、米国特許出願公開第２０１７／０２０８３３６号で提案されている。ＭＴＴパーティション分割構造は、依然として再帰的なツリー構造である。ＭＴＴでは、複数の異なるパーティション構造（３つ以上等）が使用される。例えば、ＭＴＴ技術によれば、３つ以上の異なるパーティション構造が、ツリー構造の各深さで、ツリー構造のそれぞれの非リーフノードに対して使用され得る。ツリー構造内のノードの深さは、ノードからツリー構造のルートまでのパスの長さ（例えば、分割の回数）を指し得る。パーティション構造は、一般に、ブロックをいくつの異なるブロックに分割できるかを指し得る。パーティション構造は、４分木パーティション分割構造がブロックを４つのブロックに分割する場合があり、２分木パーティション分割構造がブロックを２つのブロックに分割する場合があり、３分木パーティション分割構造がブロックを３つのブロックに分割する場合があり、さらに、３分木パーティション分割構造は、ブロックを中央で分割しない場合がある構造であり得る。パーティション構造には、複数の異なるパーティションタイプがあり得る。パーティションタイプは、ブロックがどのように分割されるかをさらに規定することができ、その分割方法は、対称又は非対称パーティション分割、均一又は不均一パーティション分割、及び／又は水平方向又は垂直方向パーティション分割を含む。

【0205】

ＭＴＴでは、ツリー構造の各深さで、エンコーダ２００は、３つのより多くのパーティション分割構造のうちの１つの中から特定のパーティションタイプを使用してサブツリーをさらに分割するように構成され得る。例えば、エンコーダ１００は、ＱＴ、ＢＴ、３分木（ＴＴ）及び他のパーティション分割構造から特定のパーティションタイプを決定するように構成され得る。一例では、ＱＴパーティション分割構造は、正方形の４分木又は長方形の４分木パーティション分割タイプを含み得る。エンコーダ２００は、正方形の４分木パーティション分割を使用して、ブロックを水平方向と垂直方向との両方の中心に沿って４つの等しいサイズの正方形ブロックに分割することによって、正方形のブロックをパーティション分割することができる。同様に、エンコーダ２００は、長方形の４分木パーティション分割を使用して、長方形のブロックを水平方向と垂直方向との両方の中心に沿って４つの等しいサイズの長方形のブロックに分割することによって、長方形（例えば、非正方形）ブロックをパーティション分割することができる。

【0206】

ＢＴパーティション分割構造は、水平方向対称２分木、垂直方向対称２分木、水平方向非対称２分木、又は垂直方向非対称２分木パーティションタイプの少なくとも１つを含み得る。水平方向対称２分木パーティションタイプの場合に、エンコーダ２００は、ブロックを水平方向にブロックの中心に沿って、同じサイズの２つの対称ブロックに分割するように構成され得る。垂直方向対称２分木パーティションタイプの場合に、エンコーダ２００は、ブロックを垂直方向にブロックの中心に沿って、同じサイズの２つの対称ブロックに分割するように構成され得る。水平方向非対称２分木パーティションタイプの場合に、エンコーダ１００は、ブロックを水平方向に、異なるサイズの２つのブロックに分割するように構成され得る。例えば、ＰＡＲＴ＿２Ｎ×ｎＵ又はＰＡＲＴ＿２Ｎ×ｎＤパーティションタイプと同様に、一方のブロックは親ブロックのサイズの１／４であり得、他方のブロックは親ブロックのサイズの３／４であり得る。垂直方向非対称２分木パーティションタイプの場合に、エンコーダ１００は、ブロックを垂直方向に、異なるサイズの２つのブロックに分割するように構成され得る。例えば、ＰＡＲＴ＿ｎＬ×２Ｎ又はＰＡＲＴ＿ｎＲ×２Ｎパーティションタイプと同様に、一方のブロックは親ブロックのサイズの１／４であり得、他方のブロックは親ブロックのサイズの３／４であり得る。他の例では、非対称２分木パーティションタイプは、親ブロックを異なるサイズの分数に分割し得る。例えば、一方のサブブロックは親ブロックの３／８であり得、他方のサブブロックは親ブロックの５／８であり得る。当然ながら、そのようなパーティションタイプは垂直方向又は水平方向のいずれかである。

【0207】

ＴＴパーティション構造は、ＴＴパーティション構造がブロックを中央に沿って分割しないという点で、ＱＴ又はＢＴ構造の分割とは異なる。ブロックの中央領域は、同じサブブロックに一緒に残る。４つのブロックを生成するＱＴ又は２つのブロックを生成する２分木とは異なり、ＴＴパーティション構造に従って分割すると３つのブロックが生成される。ＴＴパーティション構造に従ったパーティションタイプの例には、対称パーティションタイプ（水平方向と垂直方向との両方）、及び非対称パーティションタイプ（水平方向と垂直方向との両方）が含まれる。さらに、ＴＴパーティション構造による対称パーティションタイプは、不規則／不均一、又は規則的／均一であり得る。ＴＴパーティション構造による非対称パーティションタイプは不規則／不均一である。一例では、ＴＴパーティション構造は、以下のパーティションタイプ：水平方向規則的／均一対称３分木、垂直方向規則的／均一対称３分木、水平方向不規則／不均一対称３分木、垂直方向不規則／不均一対称３分木、水平方向不規則／不均一非対称３分木、又は垂直方向不規則／不均一非対称３分木パーティションタイプのうちの少なくとも１つを含み得る。

【0208】

一般に、不規則／不均一対称３分木パーティションタイプは、ブロックの中心線に関して対称であるが、結果として得られる３つのブロックのうちの少なくとも１つが他の２つと同じサイズではないパーティションタイプである。１つの好ましい例は、サイドブロックがブロックのサイズの１／４であり、センターブロックがブロックのサイズの１/２である場合である。規則的／均一対称３分木パーティションタイプは、ブロックの中心線に関して対称であり、結果として得られるブロックは全て同じサイズであるパーティションタイプである。このようなパーティションは、垂直方向又は水平方向の分割に応じて、ブロックの高さ又は幅が３の倍数である場合に可能である。不規則／不均一非対称３分木パーティションタイプは、ブロックの中心線に関して対称ではなく、結果として得られるブロックのうちの少なくとも１つが他の２つと同じサイズではないパーティションタイプである。

【0209】

ブロック（例えば、サブツリーノードでの）が非対称３分木パーティションタイプに分割される例では、エンコーダ２００及び／又はデコーダ３００は、３つのパーティションのうちの２つが同じサイズを有すように制限を適用する。そのような制限は、ビデオデータを符号化するときにエンコーダ２００が従わなければならない制限に対応し得る。さらに、いくつかの例では、エンコーダ２００及びデコーダ３００は、非対称３分木パーティションタイプに従って分割するときに、２つのパーティションの面積の合計が残りのパーティションの面積に等しいという制限を適用することができる。

【0210】

いくつかの例では、エンコーダ２００は、ＱＴ、ＢＴ、及びＴＴパーティション構造のそれぞれについて、前述したパーティションタイプの全ての中から選択するように構成され得る。他の例では、エンコーダ２００は、前述したパーティションタイプのサブセットの中からパーティションタイプのみを決定するように構成され得る。例えば、上で議論したパーティションタイプ（又は他のパーティションタイプ）のサブセットは、特定のブロックサイズ又は４分木構造の特定の深さに使用され得る。サポートされるパーティションタイプのサブセットは、デコーダ２００が使用するためにビットストリームでシグナリングされ得るか、又はエンコーダ２００及びデコーダ３００がシグナリングなしでサブセットを決定できるように予め規定され得る。

【0211】

他の例では、サポートされるパーティション分割タイプの数は、全てのＣＴＵの全ての深さに対して固定され得る。すなわち、エンコーダ２００及びデコーダ３００は、ＣＴＵの任意の深さに対して同じ数のパーティション分割タイプを使用するように予め構成され得る。他の例では、サポートされるパーティション分割タイプの数は変化し得、深さ、スライスタイプ、又は他の以前にコーディングした情報に依存し得る。一例では、ツリー構造の深さ０又は深さ１では、ＱＴパーティション構造のみが使用される。１を超える深さでは、ＱＴ、ＢＴ、及びＴＴパーティション構造のそれぞれを使用できる。

【0212】

いくつかの例では、エンコーダ２００及び／又はデコーダ３００は、ビデオ画像の特定の領域又はＣＴＵの領域に対する重複したパーティション分割を回避するために、サポートされるパーティション分割タイプに予め構成した制約を適用することができる。一例では、ブロックが非対称パーティションタイプで分割される場合に、エンコーダ２００及び／又はデコーダ３００は、現在のブロックから分割される最大のサブブロックをさらに分割しないように構成され得る。例えば、正方形のブロックが非対称パーティションタイプ（ＰＡＲＴ＿２Ｎ×ｎＵパーティションタイプと同様）に従って分割される場合に、全てのサブブロックの中で最大のサブブロック（ＰＡＲＴ＿２Ｎ×ｎＵパーティションタイプの最大のサブブロックと同様）は、注記されたリーフノードであり、これ以上分割することはできない。ただし、小さいサブブロック（ＰＡＲＴ＿２Ｎ×ｎＵパーティションタイプの小さいサブブロックと同様）はさらに分割できる。

【0213】

特定の領域に対する重複したパーティション分割を回避するために、サポートされるパーティション分割タイプに制約を適用し得る別の例として、ブロックが非対称パーティションタイプで分割される場合に、現在のブロックから分割される最大のサブブロックは、同じ方向にさらに分割することはできない。例えば、正方形のブロックが（ＰＡＲＴ＿２Ｎ×ｎＵパーティションタイプと同様に）非対称パーティションタイプに分割された場合に、エンコーダ２００及び／又はデコーダ３００は、全てのサブブロックの中で最大のサブブロック（ＰＡＲＴ＿２Ｎ×ｎＵパーティションタイプの最大サブブロックと同様）を水平方向に分割しないように構成され得る。

【0214】

更なる分割の困難性を回避するために、サポートされるパーティション分割タイプに制約を適用し得る別の例として、エンコーダ２００及び／又はデコーダ３００は、ブロックの幅／高さが２の累乗ではない場合（例えば、幅／高さが２、４、８、１６等でない場合）に、水平方向又は垂直方向のいずれかでブロックを分割しないように構成され得る。

【0215】

上記の例は、ＭＴＴパーティション分割を行うためにエンコーダ２００をどのように構成し得るかを説明している。次に、デコーダ３００は、エンコーダ２００によって実行されたのと同じＭＴＴパーティション分割を適用することもできる。いくつかの例では、ビデオデータの画像がエンコーダ２００によってどのようにパーティション分割されたかは、デコーダ３００で同じ一連の予め規定した規則を適用することによって決定され得る。しかしながら、多くの状況において、エンコーダ２００は、コーディングされているビデオデータの特定の画像のレート－歪み基準に基づいて、使用する特定のパーティション構造及びパーティションタイプを決定することができる。そうして、デコーダ３００が特定の画像に対するパーティション分割を決定するために、エンコーダ２００は、画像及び画像のＣＴＵをどのようにパーティション分割すべきかを示す、符号化したビットストリーム内のシンタックス要素にシグナリングすることができる。デコーダ２００は、そのようなシンタックス要素を解析し、それに応じて画像及びＣＴＵをパーティション分割することができる。

【0216】

一例では、ビデオエンコーダ２００の予測処理ユニット２６０は、特に動き推定のために、上記のパーティション分割技術の任意の組合せを実行するように構成することができ、詳細は後で説明する。

【0217】

画像２０１と同様に、ブロック２０３もまた、画像２０１よりも小さい次元であるが、強度値（サンプル値）を有するサンプルの２次元アレイ又はマトリックスと見なすことができる。換言すると、ブロック２０３は、例えば、１つのサンプルアレイ（例えば、モノクロ画像２０１の場合にはルマアレイ）、又は３つのサンプルアレイ（例えば、カラー画像２０１の場合にはルマアレイ及び２つのクロマアレイ）、又は適用されるカラーフォーマットに応じた任意の他の数及び／又は種類のアレイを含み得る。ブロック２０３の水平方向及び垂直方向（又は軸線方向）のサンプルの数は、ブロック２０３のサイズを規定する。

【0218】

図２に示されるようなエンコーダ２００は、画像２０１をブロック毎に符号化するように構成され、例えば、符号化及び予測は、ブロック２０３毎に実行される。

【0219】

残差計算

【0220】

残差計算ユニット２０４は、画像ブロック２０３及び予測ブロック２６５（予測ブロック２６５についての更なる詳細は後で提供する）に基づいて、例えば、サンプル毎に（ピクセル毎に）、画像ブロック２０３のサンプル値から予測ブロック２６５のサンプル値を差し引くことにより、残差ブロック２０５を計算して、サンプルドメインでの残差ブロック２０５を取得するように構成される。

【0221】

変換

【0222】

変換処理ユニット２０６は、残差ブロック２０５のサンプル値に対して変換、例えば離散コサイン変換（ＤＣＴ）又は離散サイン変換（ＤＳＴ）を適用して、変換ドメインでの変換係数２０７を取得するように構成される。変換係数２０７は、変換残差係数とも呼ばれ得、変換ドメインにおける残差ブロック２０５を表す。

【0223】

変換処理ユニット２０６は、ＨＥＶＣ／Ｈ．２６５のために指定された変換等、ＤＣＴ／ＤＳＴの整数近似を適用するように構成され得る。直交ＤＣＴ変換と比較すると、このような整数近似は、典型的に、特定の係数でスケーリングされる。順方向変換及び逆方向変換によって処理される残差ブロックのノルムを維持するために、変換プロセスの一部として追加のスケーリング係数が適用される。スケーリング係数は、典型的に、シフト演算の２の累乗であるスケーリング係数、変換係数のビット深さ、精度と実現コストとの間のトレードオフ等の特定の制約に基づいて選択される。例えば、特定のスケーリング係数は、例えば、デコーダ３００での逆変換処理ユニット２１２による（及び対応する逆変換、例えばデコーダ３００での逆変換処理ユニット２１２による）例えば逆変換について指定され、そして例えば、エンコーダ２００での変換処理ユニット２０６による順方向変換のための対応するスケーリング係数は、それに応じて指定することができる。

【0224】

量子化

【0225】

量子化ユニット２０８は、変換係数２０７を量子化して、例えばスカラー量子化又はベクトル量子化を適用することにより、量子化変換係数２０９を取得するように構成される。量子化変換係数２０９は、量子化した残差係数２０９とも呼ばれ得る。量子化プロセスは、変換係数２０７の一部又は全てに関連するビット深さを減らすことができる。例えば、ｎビット変換係数は、量子化中にｍビット変換係数に切り捨てられ、ここで、ｎはｍより大きい。量子化の程度は、量子化パラメータ（ＱＰ）を調整することによって変更できる。例えば、スカラー量子化の場合に、より細かい又はより粗い量子化を実現するために、様々なスケーリングを適用できる。量子化ステップサイズを小さくすることはより細かい量子化に対応し、量子化ステップサイズを大きくすることはより粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ（ＱＰ）によって示され得る。量子化パラメータは、例えば、適用可能な量子化ステップサイズの予め規定したセットに対するインデックスであり得る。例えば、小さな量子化パラメータは、細かい量子化（小さな量子化ステップサイズ）に対応し得、大きな量子化パラメータは、粗い量子化（大きな量子化ステップサイズ）に対応し得、又はその逆であり得る。量子化は、量子化ステップサイズによる除算及び対応する逆の逆量子化を含み得、例えば逆量子化２１０による、量子化ステップサイズによる乗算を含み得る。いくつかの規格、例えば、ＨＥＶＣによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成できる。一般に、量子化ステップサイズは、除算を含む方程式の固定小数点近似を使用して、量子化パラメータに基づいて計算することができる。残差ブロックのノルムを復元するために、量子化及び逆量子化に追加のスケーリング係数を導入してもよく、これは、量子化ステップサイズ及び量子化パラメータの方程式の固定小数点近似で使用されるスケーリングのために変更される可能性がある。一例の実施態様では、逆変換のスケーリングと逆量子化を組み合わせることができる。あるいはまた、カスタマイズした量子化テーブルを使用して、例えばビットストリームでエンコーダからデコーダにシグナリングすることができる。量子化は不可逆演算であり、量子化ステップサイズの増大に伴って損失が増大する。

【0226】

逆量子化ユニット２１０は、量子化係数に対して量子化ユニット２０８の逆量子化を適用して、量子化ユニット２０８と同じ量子化ステップサイズに基づくか又はこれを使用して、例えば、量子化ユニット２０８によって適用される量子化スキームの逆を適用することによって逆量子化係数２１１を取得する。逆量子化係数２１１は、逆量子化した残差係数２１１とも呼ばれ得、典型的に量子化による損失によって変換係数と同一ではないが、変換係数２０７に対応する。

【0227】

逆変換処理ユニット２１２は、変換処理ユニット２０６によって適用される変換の逆変換、例えば逆離散コサイン変換（ＤＣＴ）又は逆離散サイン変換（ＤＳＴ）を適用して、サンプルドメインでの逆変換ブロック２１３を取得するように構成される。逆変換ブロック２１３は、逆変換逆量子化ブロック２１３又は逆変換残差ブロック２１３とも呼ばれ得る。

【0228】

再構成ユニット２１４（例えば、加算器（summer）２１４）は、逆変換ブロック２１３（つまり、再構成した残差ブロック２１３）を予測ブロック２６５に追加して、例えば、再構成した残差ブロック２１３のサンプル値と予測ブロック２６５のサンプル値とを加算することによって、サンプルドメインでの再構成したブロック２１５を取得するように構成される。

【0229】

オプションとして、バッファユニット２１６（略して「バッファ」２１６）、例えばバッファユニット２１６は、例えばイントラ予測のために、再構成したブロック２１５及びそれぞれのサンプル値をバッファリング又は格納するように構成される。更なる実施形態では、エンコーダは、任意の種類の推定及び／又は予測、例えばイントラ予測のために、バッファユニット２１６に格納されたフィルタリングしていない再構成したブロック及び／又はそれぞれのサンプル値を使用するように構成され得る。

【0230】

エンコーダ２００の実施形態は、例えば、バッファユニット２１６が、イントラ予測２５４のために再構成したブロック２１５を格納するためだけでなく、ループフィルタユニット２２０（図２には示されていない）のためにも使用されるように、及び／又は例えば、バッファユニット２１６及び復号化画像バッファユニット２３０が１つのバッファを形成するように構成され得る。更なる実施形態は、復号化画像バッファ２３０からのフィルタリングしたブロック２２１及び／又はブロック又はサンプル（両方とも図２には示されていない）をイントラ予測２５４のための入力又は基礎として使用するように構成され得る。

【0231】

ループフィルタユニット２２０（略して「ループフィルタ」２２０）は、再構成したブロック２１５をフィルタリングして、フィルタリングしたブロック２２１を取得し、例えば、ピクセル移行をスムーズにする、又は他の方法でビデオ品質を向上させるように構成される。ループフィルタユニット２２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、又は他のフィルタ等の１つ又は複数のループフィルタ、例えば、バイラテラルフィルタ又は適応ループフィルタ（ＡＬＦ）、又はシャープニング又はスムージングフィルタ又は協調フィルタを表すことを意図している。ループフィルタユニット２２０が図２にインループ（in loop）フィルタとして示されているが、他の構成では、ループフィルタユニット２２０は、ポストループ（post loop）フィルタとして実装され得る。フィルタリングしたブロック２２１は、フィルタリングした再構成ブロック２２１とも呼ばれ得る。復号化画像バッファ２３０は、ループフィルタユニット２２０が再構成したコーディングブロックに対してフィルタリング操作を実行した後に、再構成したコーディングブロックを格納することができる。

【0232】

エンコーダ２００（それぞれループフィルタユニット２２０）の実施形態は、例えば、エントロピー符号化ユニット２７０又は他の任意のエントロピーコーディングユニットを介して直接的に又はエントロピー符号化されたループフィルタパラメータ（サンプル適応オフセット情報等）を出力するように構成され得、それによって、例えば、デコーダ３００は、復号化のために同じループフィルタパラメータを受信して適用することができる。

【0233】

復号化画像バッファ（ＤＰＢ）２３０は、ビデオエンコーダ２０によるビデオデータの符号化に使用するための参照画像データを格納する参照画像メモリであり得る。ＤＰＢ２３０は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリ装置を含む動的ランダムアクセスメモリ（ＤＲＡＭ）等の様々なメモリ装置のいずれかによって形成され得る。ＤＰＢ２３０及びバッファ２１６は、同じメモリ装置又は別個のメモリ装置によって提供され得る。いくつかの例では、復号化画像バッファ（ＤＰＢ）２３０は、フィルタリングしたブロック２２１を格納するように構成される。復号化画像バッファ２３０は、同じ現在の画像又は異なる画像（例えば、以前に再構成した画像）の他の以前にフィルタリングしたブロック、例えば以前に再構成し且つフィルタリングしたブロック２２１を格納するようにさらに構成され得、そして例えばインター予測のために、完全に以前に再構成した、つまり復号化した画像（及び対応する参照ブロック及びサンプル）及び／又は部分的に再構成した現在の画像（及び対応する参照ブロック及びサンプル）を提供し得る。いくつかの例では、再構成したブロック２１５が再構成されたが、インループフィルタリングがない場合に、復号化画像バッファ（ＤＰＢ）２３０は、再構成したブロック２１５を格納するように構成される。

【0234】

ブロック予測処理ユニット２６０とも呼ばれる予測処理ユニット２６０は、ブロック２０３（現在の画像２０１の現在のブロック２０３）及び再構成した画像データ、例えばバッファ２１６からの同じ（現在の）画像の参照サンプル及び／又は復号化画像バッファ２３０からの１つ又は複数の以前に復号化した画像による参照画像データ２３１を受信し、予測のためにそのようなデータを処理する、すなわち（インター予測ブロック２４５又はイントラ予測ブロック２５５であり得る）予測ブロック２６５を提供するように構成される。

【0235】

モード選択ユニット２６２は、残差ブロック２０５の計算のため及び再構成したブロック２１５の再構成のための予測ブロック２６５として使用すべき予測モード（例えば、イントラ又はインター予測モード）及び／又は対応する予測ブロック２４５又は２５５を選択するように構成され得る。

【0236】

モード選択ユニット２６２の実施形態は、（例えば、予測処理ユニット２６０によってサポートされるモードから）予測モードを選択するように構成され得、これは、最良の一致、換言すれば、最小残差（最小残差は、送信又は格納のためのより良い圧縮を意味する）、又は最小シグナリングオーバーヘッド（最小シグナリングオーバーヘッドは送信又は格納のためのより良い圧縮を意味する）を提供する、又は両方を考慮又はバランスさせる。モード選択ユニット２６２は、レート－歪み最適化（ＲＤＯ）に基づいて予測モードを決定する、つまり最小レート－歪み最適化を提供する、又は関連するレート歪みが少なくとも予測モード選択基準を満たす予測モードを選択するように構成され得る。

【0237】

以下では、例示的なエンコーダ２００によって実行される予測処理（例えば、予測処理ユニット２６０及び（例えば、モード選択ユニット２６２による）モード選択）についてより詳細に説明する。

【0238】

上記のように、エンコーダ２００は、（所定の）予測モードのセットから最良又は最適な予測モードを決定又は選択するように構成される。予測モードのセットは、例えば、イントラ予測モード及び／又はインター予測モードを含み得る。

【0239】

イントラ予測モードセットは、３５個の異なるイントラ予測モード、例えばＤＣ（つまり平均）モード及び平面モードのような無指向性モード、又は（例えば、Ｈ．２６５で規定されるような）指向性モードを含み得、又は６７個の異なるイントラ予測モード、ＤＣ（つまり平均）モード及び平面モードのような無指向性モード、又は（例えば、開発中のＨ２６６で規定されるような）指向性モードを含み得る。

【0240】

一連の（又は可能な）インター予測モードは、利用可能な参照画像（つまり、以前の少なくとも部分的に復号化した画像、例えば、ＤＢＰ２３０に格納されている画像）及び他のインター予測パラメータに依存し、例えば、参照画像全体又は参照画像の一部のみ（例えば、参照画像の現在のブロックの領域の周りの検索ウィンドウ領域）が、最も一致する参照ブロックを検索するために使用されるかどうか、及び／又は例えば、ピクセル補間、例えばハーフ／セミペル及び／又はクォーターペル補間が適用される又は適用されないかどうかに依存する。

【0241】

上記の予測モードに加えて、スキップモード及び／又は直接モードを適用することができる。

【0242】

予測処理ユニット２６０は、例えば、４分木パーティション分割（ＱＴ）、２分木パーティション（ＢＴ）、３分木パーティション（ＴＴ）、又はそれらの任意の組合せを繰り返し使用し、ブロック２０３をより小さなブロックパーティション又はサブブロックにパーティション分割して、ブロックパーティション又はサブブロックのそれぞれの予測を行うようにさらに構成され得、モード選択は、パーティション分割したブロック２０３のツリー構造と、ブロックパーティション又はサブブロックのそれぞれに適用される予測モードとの選択を含む。

【0243】

インター予測ユニット２４４は、動き推定（ＭＥ）ユニット及び動き補償（ＭＣ）ユニット（図２には示されていない）を含み得る。動き推定ユニットは、画像ブロック２０３（現在の画像２０１の現在の画像ブロック２０３）及び復号化した画像３３１、又は少なくとも１つ又は複数の以前に再構成したブロック、例えば動き推定のための１つ又は複数の他の／異なる以前に復号化した画像３３１の再構成したブロックを受信又は取得するように構成される。例えば、ビデオシーケンスは、現在の画像及び以前に復号化した画像３３１を含み得、換言すれば、現在の画像及び以前に復号化した画像３３１は、ビデオシーケンスを形成する画像のシーケンスの一部であるか、又はそれを形成し得る。エンコーダ２００は、例えば、複数の他の画像のうちの同じ又は異なる画像の複数の参照ブロックから参照ブロックを選択し、参照ブロックの位置（ｘ、ｙ座標）と現在のブロックの位置の間の参照画像（又は参照画像インデックス、・・・）及び／又はオフセット（空間オフセット）を、動き推定ユニット（図２には示されていない）に対するインター予測パラメータとして提供するように構成され得る。このオフセットは、動きベクトル（ＭＶ）とも呼ばれる。マージ（merging）は、ＨＥＶＣで使用され、且つＶＣＣに引き継がれる重要な動き推定ツールである。マージ推定を実行するには、最初にマージ候補リストを作成する必要があり、ここで、各候補には、１つ又は２つの参照画像リストが使用されるかどうかの情報、並びに各リストの参照インデックス及び動きベクトルを含む全てのモーションデータが含まれる。マージ候補リストは、ａ．空間的に隣接する５つのブロックから導出した最大４つの空間マージ候補、ｂ．一時的な同じ場所に配置された２つのブロックから導出した１つの一時的なマージ候補、ｃ．結合した双予測候補及びゼロ動きベクトル候補を含む追加のマージ候補に基づいて作成される。

【0244】

イントラ予測ユニット２５４は、イントラ予測パラメータ、例えば選択したイントラ予測モード、イントラ予測ブロック２５５に基づいて決定するようにさらに構成される。いずれの場合でも、ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット２５４は、イントラ予測パラメータ、すなわち、エントロピー符号化ユニット２７０に対するブロックに関して選択したイントラ予測モードを示す情報を提供するようにも構成される。一例では、イントラ予測ユニット２５４は、後述するイントラ予測技術の任意の組合せを実行するように構成され得る。

【0245】

エントロピー符号化ユニット２７０は、エントロピー符号化アルゴリズム又は方式（例えば、可変長コーディング（ＶＬＣ）方式、コンテキスト適応ＶＬＣ方式（ＣＡＬＶＣ）、算術コーディング方式、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）、確率区間パーティション分割エントロピー（ＰＩＰＥ）コーディング、又は別のエントロピー符号化方法又は技術）を、量子化した残差係数２０９、インター予測パラメータ、イントラ予測パラメータ、及び／又はループフィルタパラメータに対して個別に又は一緒に（又は全く）適用して、例えば符号化したビットストリーム２１の形態で、出力２７２によって出力することができる符号化した画像データ２１を取得するように構成される。符号化したビットストリーム２７１は、ビデオデコーダ３０に送信され得るか、又はビデオデコーダ３０による後の送信又は検索のためにアーカイブされ得る。エントロピー符号化ユニット２７０は、コーディングされている現在のビデオスライスの他のシンタックス要素をエントロピー符号化するようにさらに構成され得る。

【0246】

ビデオエンコーダ２００の他の構造的変形は、ビデオストリームを符号化するために使用され得る。例えば、非変換ベースのエンコーダ２００は、特定のブロック又はフレームについて、変換処理ユニット２０６なしで、残差信号を直接量子化することができる。別の実施態様では、エンコーダ２００は、量子化ユニット２０８及び逆量子化ユニット２１０を単一のユニットに組み合わせることができる。

【0247】

図３は、本願の技術を実施するように構成された例示的なビデオデコーダ３００を示している。ビデオデコーダ３００は、例えば、エンコーダ２００によって符号化された、符号化した画像データ（例えば、符号化したビットストリーム）２７１を受信して、復号化した画像３３１を取得するように構成される。復号化プロセス中に、ビデオデコーダ３００は、ビデオエンコーダ２００からビデオデータ、例えば符号化したビデオスライス及び関連するシンタックス要素の画像ブロックを表す符号化したビデオビットストリームを受信する。

【0248】

図３の例では、デコーダ３００は、エントロピー復号化ユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、加算器３１４）、バッファ３１６、ループフィルタ３２０、復号化画像バッファ３３０、及び予測処理ユニット３６０を含む。予測処理ユニット３６０は、インター予測ユニット３４４、イントラ予測ユニット３５４、及びモード選択ユニット３６２を含み得る。ビデオデコーダ３００は、いくつかの例では、図２によるビデオエンコーダ２００に関して説明した符号化パスとほぼ逆の復号化パスを実行する。

【0249】

エントロピー復号化ユニット３０４は、符号化した画像データ２７１に対してエントロピー復号化を実行して、例えば、量子化係数３０９及び／又は復号化したコーディングパラメータ（図３には示されていない）、例えば、（復号化した）インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素のいずれか又は全てを取得するように構成される。エントロピー復号化ユニット３０４は、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素を予測処理ユニット３６０に転送するようにさらに構成される。ビデオデコーダ３００は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信することができる。

【0250】

逆量子化ユニット３１０は、逆量子化ユニット１１０と機能が同一であり得、逆変換処理ユニット３１２は、逆変換処理ユニット１１２と機能が同一であり得、再構成ユニット３１４は、再構成ユニット１１４と機能が同一であり得、バッファ３１６は、バッファ１１６と機能が同一であり得、ループフィルタ３２０は、ループフィルタ１２０と機能が同一であり得、そして復号化画像バッファ３３０は、復号化画像バッファ１３０と機能が同一であり得る。

【0251】

予測処理ユニット３６０は、インター予測ユニット３４４及びイントラ予測ユニット３５４を含み得、ここで、インター予測ユニット３４４は、インター予測ユニット１／４４と機能が類似し得、イントラ予測ユニット３５４は、イントラ予測ユニット１５４と機能が類似し得る。予測処理ユニット３６０は、典型的には、ブロック予測を実行し、及び／又は符号化したデータ２１から予測ブロック３６５を取得し、例えばエントロピー復号化ユニット３０４から予測関連パラメータ及び／又は選択した予測モードに関する情報を（明示的又は暗黙的に）受信又は取得するように構成される。

【0252】

ビデオスライスがイントラコーディングした（Ｉ）スライスとしてコーディングされる場合に、予測処理ユニット３６０のイントラ予測ユニット３５４は、現在のフレーム又は画像の以前に復号化したブロックからのシグナリングされたイントラ予測モード及びデータに基づいて、現在のビデオスライスの画像ブロックの予測ブロック３６５を生成するように構成される。ビデオフレームがインターコーディングした（つまり、Ｂ、又はＰ）スライスとしてコーディングされる場合に、予測処理ユニット３６０のインター予測ユニット３４４（例えば、動き補償ユニット）は、エントロピー復号化ユニット３０４から受信した動きベクトル及び他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックの予測ブロック３６５を生成するように構成される。インター予測のために、予測ブロックは、参照画像リストのうちの１つ内の参照画像のうちの１つから生成され得る。ビデオデコーダ３００は、ＤＰＢ３３０に格納された参照画像に基づくデフォルトの構成技術を使用して、参照フレームリスト、リスト０及びリスト１を構成することができる。

【0253】

予測処理ユニット３６０は、動きベクトル及び他のシンタックス要素を解析することによって現在のビデオスライスのビデオブロックの予測情報を決定するように構成され、予測情報を使用して、復号化されている現在のビデオブロックの予測ブロックを生成する。例えば、予測処理ユニット３６０は、受信したシンタックス要素のいくつかを使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラ又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの１つ又は複数の参照画像リストの構成情報、スライスの各インター符号化ビデオブロックの動きベクトル、スライスの各インターコーディングしたビデオブロックのインター予測ステータス、及び現在のビデオスライスのビデオブロックを復号化するための他の情報を決定する。

【0254】

逆量子化ユニット３１０は、ビットストリームで提供され、エントロピー復号化ユニット３０４によって復号化された量子化変換係数を逆量子化（inverse quantize）、すなわち逆量子化（de-quantize）するように構成される。逆量子化プロセスは、ビデオエンコーダ１００がビデオスライス内の各ビデオブロックに対して計算した量子化パラメータを使用して、量子化の程度、及び同様に、適用すべき逆量子化の程度を決定することを含み得る。

【0255】

逆変換処理ユニット３１２は、ピクセルドメインでの残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に類似した逆変換プロセスを変換係数に適用するように構成される。

【0256】

再構成ユニット３１４（例えば、加算器３１４）は、逆変換ブロック３１３（つまり、再構成した残差ブロック３１３）を予測ブロック３６５に追加して、例えば、再構成した残差ブロック３１３のサンプル値及び予測ブロック３６５のサンプル値を加算することによって、サンプルドメインでの再構成したブロック３１５を取得するように構成される。

【0257】

ループフィルタユニット３２０（コーディングループ内又はコーディングループ後のいずれか）は、再構成したブロック３１５をフィルタリングして、フィルタリングしたブロック３２１を取得する、例えば、ピクセル移行をスムーズにする、又は他の方法でビデオ品質を向上させるように構成される。一例では、ループフィルタユニット３２０は、後述するフィルタリング技術の任意の組合せを実行するように構成され得る。ループフィルタユニット３２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、又は他のフィルタ等の１つ又は複数のループフィルタ、例えば、バイラテラルフィルタ又は適応ループフィルタ（ＡＬＦ）、又はシャープニング又はスムージングフィルタ又は協調フィルタを表すことを意図している。ループフィルタユニット３２０が図３にインループフィルタとして示されているが、他の構成では、ループフィルタユニット３２０は、ポストループフィルタとして実装され得る。

【0258】

次に、所与のフレーム又は画像内の復号化したビデオブロック３２１は、後続の動き補償に使用される参照画像を格納する復号化画像バッファ３３０に格納される。

【0259】

デコーダ３００は、ユーザに提示又は表示するために、例えば出力３１２を介して復号化した画像３１１を出力するように構成される。

【0260】

ビデオデコーダ３００の他の変形例は、圧縮したビットストリームを復号化するために使用することができる。例えば、デコーダ３００は、ループフィルタリングユニット３２０なしで出力ビデオストリームを生成することができる。例えば、非変換ベースのデコーダ３００は、特定のブロック又はフレームについて、逆変換処理ユニット３１２なしで、残差信号を直接逆量子化することができる。別の実施態様では、ビデオデコーダ３００は、逆量子化ユニット３１０及び逆変換処理ユニット３１２を単一のユニットに組み合わせることができる。

【0261】

図４は、本開示の一実施形態によるネットワーク装置４００（例えば、コーディング装置）の概略図である。ネットワーク装置４００は、本明細書に記載の開示される実施形態を実施するのに適している。一実施形態では、ネットワーク装置４００は、図１Ａのビデオデコーダ３００等のデコーダ又は図１Ａのビデオエンコーダ２００等のエンコーダであり得る。一実施形態では、ネットワーク装置４００は、上記のように、図１Ａのビデオデコーダ３００又は図１Ａのビデオエンコーダ２００の１つ又は複数のコンポーネントであり得る。

【0262】

ネットワーク装置４００は、データを受信するための入力ポート４１０及び受信機ユニット（Ｒｘ）４２０と；データを処理するためのプロセッサ、論理ユニット、又は中央処理装置（ＣＰＵ）４３０と；データを送信するための送信機ユニット（Ｔｘ）４４０及び出力ポート４５０と；データを格納するためのメモリ４６０と；を含む。ネットワーク装置４００は、光又は電気信号の入力又は出力のために、入力ポート４１０に結合された光／電気変換（ＯＥ： optical-to-electrical）コンポーネント及び電気／光変換（ＥＯ： electrical-to-optical）コンポーネント、受信機ユニット４２０、送信機ユニット４４０、及び出力ポート４５０も含み得る。

【0263】

プロセッサ４３０は、ハードウェア及びソフトウェアによって実装される。プロセッサ４３０は、１つ又は複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、ＦＰＧＡ、ＡＳＩＣ、及びＤＳＰとして実装され得る。プロセッサ４３０は、入力ポート４１０、受信機ユニット４２０、送信機ユニット４４０、出力ポート４５０、及びメモリ４６０と通信している。プロセッサ４３０は、コーディングモジュール４７０を含む。コーディングモジュール４７０は、上記の開示した実施形態を実施する。例えば、コーディングモジュール４７０は、様々なコーディング操作を実施、処理、準備、又は提供する。従って、コーディングモジュール４７０を含めることは、ネットワーク装置４００の機能に実質的な改善を提供し、ネットワーク装置４００の異なる状態への変換をもたらす。あるいはまた、コーディングモジュール４７０は、メモリ４６０に格納され、プロセッサ４３０によって実行される命令として実装される。

【0264】

メモリ４６０は、１つ又は複数のディスク、テープドライブ、及びソリッドステートドライブを含み、オーバーフローデータ記憶装置として使用され、そのようなプログラムが実行のために選択されたときにプログラムを格納し、プログラムの実行中に読み取られる命令及びデータを格納することができる。メモリ４６０は、揮発性及び／又は不揮発性であり得、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、及び／又はスタティックランダムアクセスメモリ（ＳＲＡＭ）であり得る。

【0265】

図５は、例示的な実施形態による、図１Ａによる送信元装置１２及び宛先装置１４のいずれか又は両方として使用され得る機器５００の簡略化したブロック図である。機器５００は、この本願の技術を実施することができる。機器５００は、複数のコンピューティング装置を含むコンピューティングシステムの形態、又は単一のコンピューティング装置、例えば、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ等の形態であり得る。

【0266】

機器５００内のプロセッサ５０２は、中央処理装置であり得る。あるいはまた、プロセッサ５０２は、現在存在する又は今後開発される情報を操作又は処理することができる、任意の他のタイプの装置、又は複数の装置であり得る。開示される実施多様は、示されるように単一のプロセッサ、例えばプロセッサ５０２で実施することができるが、速度及び効率の利点は、複数のプロセッサを使用して達成することができる。

【0267】

機器５００内のメモリ５０４は、実施態様において、読取り専用メモリ（ＲＯＭ）装置又はランダムアクセスメモリ（ＲＡＭ）装置であり得る。他の適切なタイプの記憶装置をメモリ５０４として使用することができる。メモリ５０４は、バス５１２を使用してプロセッサ５０２によってアクセスされるコード及びデータ５０６を含むことができる。メモリ５０４は、オペレーティングシステム５０８及びアプリケーションプログラム５１０をさらに含むことができ、アプリケーションプログラム５１０は、プロセッサ５０２がここで説明する方法を実行するのを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、アプリケーション１～Ｎを含むことができ、アプリケーション１～Ｎは、ここで説明する方法を実行するビデオコーディングアプリケーションをさらに含む。機器５００は、二次記憶装置５１４の形態で追加のメモリも含むことができ、これは、例えば、モバイルコンピューティング装置と共に使用されるメモリカードであり得る。ビデオ通信セッションがかなりの量の情報を含み得るので、それらセッションは、二次記憶装置５１４に全体的又は部分的に記憶され、処理のために必要に応じてメモリ５０４にロードされ得る。

【0268】

機器５００は、ディスプレイ５１８等の１つ又は複数の出力装置も含むことができる。ディスプレイ５１８は、一例では、ディスプレイを、タッチ入力を感知するように動作可能なタッチ感知素子と組み合わせるタッチ感知ディスプレイであり得る。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２に結合することができる。ユーザが機器５００をプログラム又は他の方法で使用するのを可能にする他の出力装置が、ディスプレイ５１８に加えて、又はその代替として提供され得る。出力装置がディスプレイであるか又はこれを含む場合に、ディスプレイは、液晶ディスプレイ（ＬＣＤ）、ブラウン管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ等の発光ダイオード（ＬＥＤ）ディスプレイを含む様々な方法で実施することができる。

【0269】

機器５００はまた、画像感知装置５２０、例えば、カメラ、或いは機器５００を操作するユーザの画像等の画像を感知することができる、現在存在するか又は今後開発される任意の他の画像感知装置５２０を含むか、又はそれと通信することできる。画像感知装置５２０は、機器５００を操作するユーザに向けられるように位置付けすることができる。一例では、画像感知装置５２０の位置及び光軸は、視野が、ディスプレイ５１８に直接隣接し、そこからディスプレイ５１８が見える領域を含む。

【0270】

機器５００はまた、音感知装置５２２、例えば、マイク、或いは機器５００の近くの音を感知することができる、現在存在するか又は今後開発される任意の他の音感知装置を含むか、又はそれと通信することができる。感知装置５２２は、機器５００を操作するユーザに向けられるように位置付けすることができ、ユーザが機器５００を操作している間にユーザによってなされる音、例えば、音声又は他の発話を受信するように構成することができる。

【0271】

図５は、機器５００のプロセッサ５０２及びメモリ５０４が単一のユニットに統合されていることを示しているが、他の構成を利用することができる。プロセッサ５０２の動作は、直接結合する或いはローカルエリア又は他のネットワークを介して結合することができる複数のマシン（各マシンは１つ又は複数のプロセッサを有する）に分散させることができる。メモリ５０４は、ネットワークベースのメモリ又は機器５００の動作を実行する複数のマシン内のメモリ等の複数のマシンに分散することができる。ここでは単一のバスとして示されているが、機器５００のバス５１２は複数のバスで構成することができる。さらに、二次記憶装置５１４は、機器５００の他のコンポーネントに直接結合することができ、又はネットワークを介してアクセスすることができ、そしてメモリカード等の単一の統合ユニット又は複数のメモリカード等の複数のユニットを含むことができる。こうして、機器５００は、多種多様な構成で実装することができる。

【0272】

４：２：０サンプリングでは、２つのクロマアレイのそれぞれは、ルマアレイの半分の高さ及び半分の幅を有する。画像内のルマ及びクロマサンプルの公称上の垂直方向及び水平方向の相対位置が図６Ａに示されている。

【0273】

図８は、ダウンサンプリングされた、再構成したルマブロックをスケーリングするために使用されるスケーリングパラメータが導出される例示的な位置を示す概念図である。例えば、図８は、４：２：０サンプリングの例を示しており、スケーリングパラメータはα及びβである。

【0274】

一般に、ＬＭ予測モードが適用される場合に、ビデオエンコーダ２０及びビデオデコーダ３０は、以下のステップを呼び出すことができる。ビデオエンコーダ２０及びビデオデコーダ３０は、隣接ルマサンプルをダウンサンプリングすることができる。ビデオエンコーダ２０及びビデオデコーダ３０は、線形パラメータ（つまり、α及びβ）（スケーリングパラメータとも呼ばれる）を導出することができる。ビデオエンコーダ２０及びビデオデコーダ３０は、現在のルマブロックをダウンサンプリングし、ダウンサンプリングしたルマブロック及び線形パラメータから予測（例えば、予測ブロック）を導出することができる。ダウンサンプリングを行うには様々な方法がある。

【0275】

図６Ｂは、クロマブロックの予測ブロックを生成するために、ルマブロックのサンプルをダウンサンプリングするためのルマ位置及びクロマ位置の例を示す概念図である。図６Ｂに示されるように、塗りつぶされた（つまり、黒一色の）三角形によって表されるクロマサンプルは、［１、１］フィルタを適用することによって、２つの塗りつぶされた円によって表される２つのルマサンプルから予測される。［１、１］フィルタは、２タップフィルタの一例である。

【0276】

図６Ｃは、予測ブロックを生成するために、ルマブロックのサンプルをダウンサンプリングするためのルマ位置及びクロマ位置の別の例を示す概念図である。図６Ｃに示されるように、塗りつぶされた（つまり、黒一色の）三角形によって表されるクロマサンプルは、６タップフィルタを適用することによって、６つの塗りつぶされた円によって表される６つのルマサンプルから予測される。

【0277】

１つ又は複数の例では、説明する機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実現され得る。ソフトウェアで実現される場合に、機能は、コンピュータ可読媒体上に１つ又は複数の命令又はコードとして格納又は送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体等の有形媒体に対応するコンピュータ可読記憶媒体、又は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、又は（２）信号又は搬送波等の通信媒体に対応し得る。データ記憶媒体は、本開示に記載した技術の実施のための命令、コード、及び／又はデータ構造を検索するために、１つ又は複数のコンピュータ或いは１つ又は複数のプロセッサによってアクセスできる任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0278】

動き補償、イントラ予測、及びループフィルタ等のビデオ圧縮技術は、効果的であることが証明されており、こうして、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣ等の様々なビデオコーディング規格に採用されている。イントラ予測は、利用可能な参照画像がない場合に、或いは例えばＩフレーム又はＩスライスで、インター予測コーディングが現在のブロック又は画像に使用されていない場合に、使用できる。イントラ予測の参照サンプルは、通常、同じ画像内の以前にコーディングした（つまり再構成した）隣接ブロックから導出される。例えば、Ｈ．２６４／ＡＶＣとＨ．２６５／ＨＥＶＣとの両方で、隣接するブロックの境界サンプルがイントラ予測の参照として使用される。異なるテクスチャ又は構造特性をカバーするために、多くの異なるイントラ予測モードがある。各モードでは、異なる予測信号導出方法が使用される。例えば、図６Ｄに示されるように、Ｈ．２６５／ＨＥＶＣは、合計３５個のイントラ予測モードをサポートする。

【0279】

Ｈ．２６５／ＨＥＶＣのイントラ予測アルゴリズムの説明

【0280】

イントラ予測のために、隣接するブロックの復号化した境界サンプルが参照として使用される。エンコーダは、３５個のオプション（３３個の方向予測モード、ＤＣモード、及び平面モード）から各ブロックの最高のルマイントラ予測モード（つまり、現在のブロックに対して最も正確な予測を提供するモード）を選択する。イントラ予測方向とイントラ予測モード番号との間のマッピングが、図６Ｄに指定されている。最新のビデオコーディング技術、例えばＶＶＣ（多用途ビデオコーディング）では、６５個以上のイントラ予測モードが開発されており、ＶＶＣ（多用途ビデオコーディング）は、自然なビデオで提示される任意のエッジ方向をキャプチャできることに留意されたい。これらの予測モードのうち、水平方向を有するモード（例えば、図６Ｄのモード１０）は、「水平モード」とも呼ばれ、垂直方向を有するモード（例えば、図６Ｄのモード２６）は、「垂直モード」とも呼ばれる。

【0281】

図７は、ブロックの参照サンプルを示している。図７に示されるように、ブロック「ＣＵＲ」は予測する現在のブロックであり、現在のブロックの境界に沿った暗い（dark）サンプルは、現在のブロックを予測するために使用される参照サンプルである。これらの参照サンプルは、現在のブロックに隣接する再構成したブロック内のサンプルであり、隣接ブロックとも呼ばれる。ブロック「ＣＵＲ」は、予測すべきブロックのタイプに応じて、ルマブロック又はクロマブロックになり得る。予測信号は、イントラ予測モードによって示される特定の方法に従って、参照サンプルをマッピングすることによって導出できる。

【0282】

参照サンプルの置換え

【0283】

参照サンプルのいくつか又は全ては、いくつかの理由のためにイントラ予測に利用できない場合がある。例えば、画像、スライス、又はタイルの外側のサンプルは、予測に利用不可と見なされる。さらに、制約付きイントラ予測が有効になっている場合に、誤って受信及び再構成された可能性のある以前の画像からのエラー伝播を回避するために、インター予測されたＰＵに属する参照サンプルが省略される。本明細書で使用される場合に、現在のコーディングブロックの参照サンプルは、それが現在の画像、スライス、又はタイトルの外側にない場合、現在のコーディングブロックが復号化される前に参照サンプルが再構成されている場合、及び／又はエンコーダでのコーディング決定のために参照サンプルが省略されていない場合に、利用可能である。ＨＥＶＣでは、利用不可の参照サンプルを置き換えた後に、全ての予測モードを使用できる。利用可能な参照サンプルがない極端なケースでは、全ての参照サンプルが、所与のビット深さの公称平均サンプル値（例えば、８ビットデータの場合には１２８）に置き換えられる。イントラ予測に利用可能としてマークされた参照サンプルが少なくとも１つある場合に、利用不可の参照サンプルは、利用可能な参照サンプルを使用して置き換えられる。利用不可の参照サンプルは、参照サンプルを時計回りにスキャンし、利用不可のサンプルについて最新の利用可能なサンプル値を使用することで置き換えられる。時計回りのスキャンで最初のサンプルが利用できない場合に、時計回りの順序でサンプルをスキャンするときに、その利用できない参照サンプルは、最初に検出された利用可能な参照サンプルに置き換えられる。ここで、「置換え」はパディング（padding）とも呼ばれ、置き換えれたサンプルはパディングされたサンプルとも呼ばれ得る。

【0284】

制約付きイントラ予測

【0285】

制約付きイントラ予測は、エンコーダ－デコーダの不一致の参照ピクセルを用いた空間イントラ予測によって生じる空間ノイズ伝播を回避するためのツールである。エンコーダ－デコーダの不一致の参照ピクセルは、インターコードしたスライスの送信中にパケット損失が発生した場合に出現する可能性がある。これらは、損失の多いデコーダ側のメモリ圧縮が使用されている場合にも出現する可能性がある。制約付きイントラ予測が有効である場合に、インター予測したサンプルは、イントラ予測に利用できない、又は利用不可とマークされ、エンコード側での完全なイントラ予測推定又はデコード側でのイントラ予測を行うために、上記のパディング方法でこれらの利用不可のサンプルをパディングできる。

【0286】

クロスコンポーネント線形モデル予測（ＣＣＬＭ）

【0287】

クロスコンポーネント線形モデル予測（ＣＣＬＭ）は、クロスコンポーネントイントラ予測（ＣＣＩＰ）とも呼ばれ、イントラ予測モード中にクロスコンポーネント冗長性を低減するために使用されるイントラ予測モードの１つのタイプである。図８（図８Ａ及び図８Ｂを含む）は、ＣＣＬＭイントラ予測を行うメカニズムの例を示す概略図である。図８は、４：２：０サンプリングの例を示している。図８は、ＣＣＬＭモードに含まれる現在のブロックのサンプル及びその左側及び上部の隣接サンプルの位置の例を示している。白い四角は現在のブロックのサンプルであり、影付きの円は隣接ブロックの再構成したサンプルである。図８Ａは、クロマブロックの隣接する再構成したピクセルの例を示している。図８Ｂは、同じ場所に配置されたルマブロックの隣接する再構成したピクセルの例を示している。ビデオフォーマットがＹＵＶ４：２：０の場合に、次に、１つの１６×１６ルマブロックと２つの８×８クロマブロックとがある。

【0288】

ＣＣＬＭイントラ予測は、エンコーダ２００のイントラ推定ユニット２５４及び／又はデコーダ３００のイントラ予測ユニット３５４によって行われ得る。ＣＣＬＭイントラ予測は、クロマブロック８０１内のクロマサンプル８０３を予測する。クロマサンプル８０３は、正方形で示されている整数の位置に出現する。予測は、黒丸で示される隣接参照サンプルに部分的に基づいている。クロマサンプル８０３は、隣接クロマ参照サンプル８０５のみに基づいて予測されるものではない。クロマサンプル８０３は、ルマ参照サンプル８１３及び隣接ルマ参照サンプル８１５にも基づいて予測される。具体的には、ＣＵは、ルマブロック８１１及び２つのクロマブロック８０１を含む。同じＣＵ内のクロマサンプル８０３及びルマ参照サンプル８１３を相関させるモデルが生成される。モデルの線形係数は、隣接ルマ参照サンプル８１５を隣接クロマ参照サンプル８０５と比較することによって決定される。

【0289】

ルマ参照サンプル８１３が再構成されるときに、ルマ参照サンプル８１３は、再構成したルマサンプル（Ｒｅｃ’Ｌ）として示される。隣接クロマ参照サンプル８０５が再構成されるときに、隣接クロマ参照サンプル８０５は、再構成した隣接クロマサンプル（Ｒｅｃ’Ｃ）として示される。

【0290】

示されるように、ルマブロック８１１は、クロマブロック８０１の４倍のサンプルを含む。図８に示される例では、クロマブロック８０１はＮ×Ｎサンプルを含む一方、ルマブロック８１１は２Ｎ×２Ｎサンプルを含む。そのため、ルマブロック８１１は、クロマブロック８０１の４倍の解像度である。ルマ参照サンプル８１３及び隣接ルマ参照サンプル８１５で動作する予測のために、ルマ参照サンプル８１３及び隣接ルマ参照サンプル８１５は、隣接クロマ参照サンプル８０５及びクロマサンプル８０３との正確な比較を提供するためにダウンサンプリングされる。ダウンサンプリングは、サンプル値のグループの解像度を低下させるプロセスである。例えば、ＹＵＶ４：２：０フォーマットが使用される場合に、ルマサンプルは、４の因子によって（例えば、幅で２、高さで２）ダウンサンプリングされ得る。ＹＵＶは、ルマ成分Ｙと２つのクロミナンス成分Ｕ及びＶとの観点から色空間を使用するカラー符号化システムである。

【0291】

ＣＣＬＭ予測では、クロマサンプルは、次のように線形モデルを使用して、ダウンサンプリングされた対応する再構成したルマサンプル（現在のルマブロック）に基づいて予測される。
ｐｒｅｄ_Ｃ（ｉ，ｊ）＝α・ｒｅｃ_Ｌ’（ｉ，ｊ）＋β （１）
ここで、ｐｒｅｄ_Ｃ（ｉ，ｊ）は予測されるクロマサンプルを表し、ｒｅｃ’_Ｌ（ｉ，ｊ）はダウンサンプリングされた対応する再構成したルマサンプルを表す。パラメータα及びβは、次のように、現在のルマブロック及び現在のクロマブロックの周りの再構成した隣接ルマサンプル及びクロマサンプルの間の回帰誤差を最小化することによって導出できる。
α＝（Ｎ・Σ（Ｌ（ｎ）・Ｃ（ｎ））－ΣＬ（ｎ）・ΣＣ（ｎ））／（Ｎ・Σ（Ｌ（ｎ）・Ｌ（ｎ））－ΣＬ（ｎ）・ΣＬ（ｎ）） （２）
β＝（ΣＣ（ｎ）－α・ΣＬ（ｎ））／Ｎ （３）
ここで、Ｌ（ｎ）は、ダウンサンプリングされた上部及び左側の再構成した隣接ルマサンプルを表し、Ｃ（ｎ）は、上部及び左側の再構成した隣接クロマサンプルを表し、Ｎの値は、係数の導出に使用されたサンプルに等しい。正方形の形状のコーディングブロックの場合に、上記の２つの式が直接適用される。この回帰誤差最小化計算は、エンコーダ検索操作としてだけでなく、復号化プロセスの一部としても実行されるため、α値とβ値を伝達するためのシンタックスは使用されない。

【0292】

回帰誤差を最小化する上記の方法（最小二乗（ＬＳ）法とも呼ばれる）を使用することに加えて、線形モデル係数α及びβは、最大及び最小のルマサンプル値を使用して導出することもできる。この後者の方法は、ＭａｘＭｉｎ法とも呼ばれる。ＭａｘＭｉｎ法では、上部及び左側の再構成した隣接ルマサンプルがダウンサンプリングされた後に、これらの再構成した隣接ルマサンプルのそれぞれと、上部及び左側の再構成した隣接クロマサンプルとの１対１の関係が取得される。こうして、線形モデル係数パラメータα及びβは、１対１の関係に基づくルマサンプル及びクロマサンプルのペアを使用して導出できる。ルマサンプル及びクロマサンプルのペアは、ダウンサンプリングされた上部及び左側の再構成した隣接ルマサンプルの最小値及び最大値を識別し、次に上部及び左側の再構成した隣接クロマテンプレートから対応するサンプルを識別することによって得られる。ルマサンプル及びクロマサンプルのペアは、図９の（Ａ、Ｂ）のように示される。線形モデルパラメータαとβは、次の式に従って取得される。
α＝（ｙ_Ｂ－ｙ_Ａ）／（ｘ_Ｂ－ｘ_Ａ） （４）
β＝ｙ_Ａ－αｘ_Ａ、 （５）
ここで、（ｘ_Ａ、ｙ_Ａ）は、図９のＡの座標であり、（ｘ_Ｂ、ｙ_Ｂ）は、Ｂの座標である。

【0293】

ＣＣＬＭルマ対クロマ（luma-to-chroma）予測モードは、１つの追加のクロマイントラ予測モードとして追加される。エンコーダ側では、クロマイントラ予測モードを選択するために、クロマ成分のレート－歪み（ＲＤ）コストチェックがもう１つ追加される。

【0294】

簡潔にするために、この文書では、「テンプレート」という用語は、再構成した隣接クロマサンプル及びダウンサンプリングされた再構成した隣接ルマサンプルを示すために使用される。これらの再構成した隣接クロマサンプル及びダウンサンプリングされた再構成した隣接ルマサンプルは、テンプレート内の参照サンプルとも呼ばれる。図１０は、クロマブロック及び対応するダウンサンプリングしたルマブロックのテンプレートの図である。図１０に示される例では、ルマ’１０２０は、現在のルマブロックのダウンサンプリングしたバージョンであり、クロマブロック１０４０と同じ空間解像度を有する。換言すれば、ルマ’１０２０は、クロマブロック１０４０の併置されたダウンサンプリングされたルマブロックである。上部テンプレート１００２は、現在のクロマブロック１０４０の上にある上部の再構成した隣接クロマサンプルと、ルマ’１０２０の対応するダウンサンプリングされた上部の再構成した隣接ルマサンプルを含む。ルマ’１０２０のダウンサンプリングされた上部の再構成した隣接ルマサンプルは、ルマブロックの上にある隣接サンプルに基づいて取得される。本明細書で使用する場合に、ルマブロックの上の隣接サンプルは、ルマブロックのすぐ上の隣接サンプル、又はルマブロックに隣接していない隣接サンプルのいずれか、或いはその両方を含み得る。左側テンプレート１００４は、左側の再構成した隣接クロマサンプル及び対応するダウンサンプリングされた左側の再構成した隣接ルマサンプルを含む。上部の再構成した隣接クロマサンプルは、上部クロマテンプレート１００６等の「上部クロマテンプレート」とも呼ばれる。対応するダウンサンプリングされた上部の再構成した隣接ルマサンプルは、上部ルマテンプレート１００８等の「上部ルマテンプレート」と呼ばれる。左側の再構成した隣接クロマサンプルは、左側クロマテンプレート１０１０等の「左側クロマテンプレート」とも呼ばれる。対応するダウンサンプリングされた左側の再構成した隣接ルマサンプルは、左側ルマテンプレート１０１２等の「左側ルマテンプレート」と呼ばれる。テンプレートに含まれる要素は、そのテンプレート内の参照サンプルと呼ばれる。

【0295】

既存のＣＣＬＭアプリケーションでは、上部又は左側テンプレートについて、利用不可としてマークされた１つの参照サンプルが存在する場合に、テンプレート全体は使用されない。図１１は、利用不可の参照サンプルを含むテンプレートの例の図である。図１１に示される例では、クロマブロック１１４０の場合に、Ａ２ １１０２の参照サンプル等、上部テンプレートに利用不可の参照サンプルが存在する場合に、次に、上部テンプレートは線形モデル係数の導出に使用されない。同様に、Ｂ２ １１０４の参照サンプルのように、左側テンプレートで利用不可の参照サンプルが１つ存在する場合に、次に、左側テンプレートは線形モデル係数の導出に使用されない。これにより、イントラ予測のコーディング性能が低下する。

【0296】

マルチ方向線形モデル

【0297】

線形モデル係数を一緒に計算するために使用されることに加えて、上部テンプレート及び左側テンプレート内の参照サンプルは、別の２つのＣＣＬＭモード、つまり、ＣＣＬＭ＿Ｔ及びＣＣＬＭ＿Ｌモードでも使用することができる。ＣＣＬＭ＿Ｔ及びＣＣＬＭ＿Ｌは、まとめてマルチ方向線形モデル（ＭＤＬＭ）とも呼ばれ得る。図１２は、ＣＣＬＭ＿Ｔモードで使用される参照サンプルの図であり、図１３は、ＣＣＬＭ＿Ｌモードで使用される参照サンプルの図である。図１２に示されるように、ＣＣＬＭ＿Ｔモードでは、参照サンプル１２０２及び１２０４等の上部テンプレート内の参照サンプルのみが、線形モデル係数を計算するために使用される。図１３に示されるように、ＣＣＬＭ＿Ｌモードでは、参照サンプル１２１２及び１２１４等の左側テンプレート内の参照サンプルのみが、線形モデル係数を計算するために使用される。これらのモードのそれぞれで使用される参照サンプルの数はＷ＋Ｈであり、ここで、Ｗはクロマブロックの幅であり、Ｈはクロマブロックの高さである。

【0298】

ＣＣＬＭモード及びＭＤＬＭモード（つまり、ＣＣＬＭ＿Ｔモード及びＣＣＬＭ＿Ｌモード）は、一緒に、又は代わりに使用することができる。例えば、コーデックでＣＣＬＭモードのみが使用されるか、コーデックでＭＤＬＭのみが使用されるか、コーデックでＣＣＬＭとＭＤＬＭとの両方が使用される。ＣＣＬＭとＭＤＬＭとの両方が使用される最後のケースでは、３つのモード（つまり、ＣＣＬＭ、ＣＣＬＭ＿Ｔ、ＣＣＬＭ＿Ｌ）が３つの追加のクロマイントラ予測モードとして追加される。エンコーダ側では、クロマイントラ予測モードを選択するために、クロマ成分のＲＤコストチェックがさらに３つ追加される。ＭＤＬＭの既存の方法では、モデルパラメータ又はモデル係数はＬＳ法を使用して導出される。利用可能な参照サンプルの数が十分でない場合に、パディング操作を使用して、最も遠いピクセル値をコピーするか、又は利用可能な参照サンプルのサンプル値をフェッチする。

【0299】

しかしながら、ＬＳ法を使用してＭＤＬＭモードの線形モデル係数を取得することは、計算の複雑さを高くする。さらに、既存のＭＤＬＭモードでは、いくつかのテンプレートサンプルの位置が、特に非正方形ブロックの場合に、現在のブロックから遠く離れている可能性がある。例えば、上部テンプレートの右端の参照サンプルと左側テンプレートの下部の参照サンプルは、現在のブロックから遠く離れている。そのため、これらの参照サンプルは現在のブロックとの相関が低くなり、クロマブロックの予測の効率が低下する。本明細書で提示する技術は、ＭＤＬＭの複雑さを軽減し、テンプレートサンプルと現在のブロック間の相関を高めることができる。

【0300】

一例では、ＭａｘＭｉｎ法を使用してモデル係数を決定する場合に、上部テンプレートと左側テンプレートからの参照サンプルを一緒に使用することに加えて、テンプレート（左側テンプレート又は上部テンプレートのいずれか）の一部のみの参照サンプルが使用される。例えば、ＭａｘＭｉｎ法では、上部ルマテンプレート内の参照サンプルのみが検査され、最大ルマ値及び最小ルマ値が決定される。あるいはまた、左側ルマテンプレート内の参照サンプルのみが検査され、最大ルマ値及び最小ルマ値が決定される。最大及び最小ルマ値のサンプル位置が決定された後に、対応するクロマサンプル値は、最小及び最大ルマ値の位置に基づいて取得することができる。

【0301】

図１４は、最大及び最小ルマ値を決定するために使用される参照サンプルの例を示す概略図である。図１４に示される例では、Ｗ１として示される、上部ルマテンプレート内の参照サンプルの数は、Ｗとして示される、現在のクロマブロックの幅よりも大きい。Ｈ１として示される、左側ルマテンプレート内の参照サンプルの数は、Ｈとして示される、現在のクロマブロックの高さより大きい。図１５は、最大及び最小ルマ値を決定するために使用される参照サンプルの別の例を示す概略図である。図１５に示される例では、上部ルマ参照サンプルの数は、現在のクロマブロックの幅Ｗに等しく、左側ルマ参照サンプルの数は、現在のクロマブロックの高さＨに等しい。

【0302】

要約すると、ＬＳ法に加えて、ＭａｘＭｉｎ法も、ＭＤＬＭモードに使用することができる。換言すると、ＭａｘＭｉｎ法を使用して、ＣＣＬＭ＿Ｔモード及びＣＣＬＭ＿Ｌモードのモデル係数を導出することができる。ＭａｘＭｉｎ法はＬＳ法よりも計算の複雑さが低いため、提案する方法はその計算の複雑さを軽減することによってＭＤＬＭを改善する。さらに、既存のＭａｘＭｉｎ法は、ＣＣＬＭモードに上部テンプレートと左側テンプレートの両方を使用する。提案する方法は、モデル係数を導出するために上部テンプレート又は左側テンプレートのいずれかを使用し、これにより、モードの計算の複雑さがさらに軽減される。

【0303】

本明細書で提示する技術の更なる例によれば、テンプレート内の参照サンプルは、参照サンプルと現在のブロックとの間の相関を高めるために選択される。上部テンプレートには、最大Ｗ２個の参照サンプルが使用される。左側テンプレートには、最大Ｈ２個の参照サンプルが使用される。このようにして、上部テンプレート内のＷ２個の参照サンプル又は左側テンプレート内のＨ２個の参照サンプルよりも遠い参照サンプルは、現在のブロックとの相関が低いため、使用されない。

【0304】

さらに、ＭａｘＭｉｎ法を使用してモデル係数を導出する場合に、利用可能な参照サンプルのみが使用され、利用不可の参照サンプルを置き換えるためにパディングは使用されない。例えば、ＣＣＬＭ＿Ｔモードの最大及び最小ルマ値を決定するために、上部ルマテンプレート内の利用可能なサンプルのみが検査される。上部テンプレートではＷ２個の参照サンプルが使用されているため、Ｗ３として示される利用可能なサンプルの数は、Ｗ２以下になる。同様に、ＣＣＬＭ＿Ｌモードの最大値及び最小値を決定するために、左側ルマテンプレート内の利用可能なサンプルが検査される。Ｈ３として示される利用可能なサンプルの数は、Ｈ２以下になり得る。Ｗ２及びＷ３とＨ２及びＨ３との関係が図１６に示されており、ここでＷ３＜＝Ｗ２及びＨ３＜＝ Ｈ２である。一例では、Ｗ２＝２×Ｗ及びＨ２＝２×Ｈである。

【0305】

あるいはまた、Ｗ２及びＨ２はそれぞれ、Ｗ＋Ｈの値をとることができる。換言すれば、上部ルマテンプレート内の最大Ｗ＋Ｈ個の参照サンプルを使用して、ＣＣＬＭ＿Ｔモードのモデル係数を導出することができ、左側ルマテンプレート内の最大Ｗ＋Ｈ個の参照サンプルを使用して、ＣＣＬＭ＿Ｌモードのモデル係数を導出することができる。これらの参照サンプルの中で、この範囲で利用可能なルマテンプレートサンプル（つまり、ＣＣＬＭ＿ＴとＣＣＬＭ＿Ｌの両方でＷ＋Ｈ）のみが検査され、最大及び最小ルマ値が決定される。この例では、ＣＣＬＭ＿Ｔモードの最大値及び最小値を決定するために、上部ルマテンプレートで利用可能なサンプル（Ｗ＋Ｈ以下）が検査される。ＣＣＬＭ＿Ｌモードの最大値及び最小値を決定するために、左側ルマテンプレートで利用可能なサンプル（Ｗ＋Ｈ以下）が検査される。

【0306】

ＣＣＬＭ＿Ｔモード及びＣＣＬＭ＿Ｌモードのモデル係数を導出するために、正確にＷ＋Ｈ参照サンプルが使用される既存のＭＤＬＭ方法と比較して、提案する方法では、ＣＣＬＭ＿Ｔモードのモデル係数を導出するために、最大２×Ｗ又はＷ＋Ｈ個の参照サンプルが使用され、ＣＣＬＭ＿Ｌモードのモデル係数を導出するために、最大２×Ｈ又はＷ＋Ｈ個の参照サンプルが使用される。さらに、最大値及び最小値を決定するために、検査したサンプル範囲（ＣＣＬＭ＿Ｔの場合には２×Ｗ又はＷ＋Ｈ、ＣＣＬＭ＿Ｌの場合には２×Ｈ又はＷ＋Ｈ）で利用可能なルマ参照サンプルのみが使用される。上記の提案する方法では、ルマテンプレート内の最大及び最小ルマ値を決定することは、２、４又は別の値等の、１より大きいステップサイズで参照サンプルをサンプリングすることによりスピードアップすることができる。

【0307】

ダウンサンプリング方法

【0308】

上で議論したように、画像のルマ成分の空間解像度はクロマ成分の解像度よりも大きいので、ルマ成分を、ＭＤＬＭモードのクロマ部分の解像度にダウンサンプリングする必要がある。例えば、ＹＵＶ４：２：０フォーマットの場合に、クロマ成分の解像度に一致させるために、ルマコンポーネントを４だけ（幅２だけ、高さ２だけ）ダウンサンプリングする必要がある。クロマブロックに対応するダウンサンプリングしたルマブロック（クロマブロックと同じ空間解像度を有する）を利用して、ＭＤＬＭモードを使用したクロマブロックの予測を行うことができる。ダウンサンプリングしたルマブロックのサイズは、クロマブロックのサイズと同じである（ルマブロックがクロマブロックのサイズにダウンサンプリングされるため）。

【0309】

同様に、ＭＤＬＭモードの線形モデル係数を導出するために、ルマテンプレート内の参照サンプルをダウンサンプリングする必要がある。ＣＣＬＭ＿Ｔモードの場合に、上部の再構成した隣接ルマサンプルがダウンサンプリングされ、上部クロマテンプレート内の参照サンプルに対応する上部テンプレートの参照サンプル、つまり上部の再構成した隣接クロマサンプルが生成される。上部の再構成した隣接ルマサンプルのダウンサンプリングには、典型的に、上部の再構成した隣接ルマサンプルの複数の行が含まれる。図１７は、隣接ルマサンプルの複数の行又は列を使用してルマサンプルをダウンサンプリングする例を示す概略図である。図１７に示されるように、ルマブロックの場合に、ダウンサンプリング中に２つの上部の隣接行Ａ１及びＡ２を使用して、ダウンサンプリングされた隣接行Ａを取得することができる。Ａのｉ番目のサンプルとしてのＡ［ｉ］、Ａ１のｉ番目のサンプルとしてのＡ１［ｉ］、及びＡ２のｉ番目のサンプルとしてのＡ２［ｉ］が示され、６タップダウンサンプリングフィルタを次のように使用できる。
Ａ［ｉ］＝（Ａ２［２ｉ］＊２＋Ａ２［２ｉ－１］＋Ａ２［２ｉ＋１］＋Ａ１［２ｉ］＊２＋Ａ１［２ｉ－１］＋Ａ１［２ｉ＋１］＋４）＞＞３;
隣接サンプルの数も、現在のブロックのサイズより大きくなる可能性がある。例えば、図１８に示されるように、ダウンサンプリングしたルマブロックの上部の隣接サンプルの数はＭであり得、ここで、Ｍは、ダウンサンプリングされたブロックの幅Ｗよりも大きい。

【0310】

上記のような既存のダウンサンプリング方法では、上部の再構成した隣接ルマサンプルの複数の行を使用して、ダウンサンプリングされた上部の再構成した隣接ルマサンプルを生成する。これにより、通常のイントラモード予測と比較してラインバッファのサイズが大きくなり、こうしてメモリコストが増加する。

【0311】

本明細書で提示する技術は、現在のブロックが現在のコーディングツリーユニットＣＴＵの上部の境界にある（つまり、現在のクロマブロックの一番上の行が、現在のＣＴＵの一番上の行と重なっている）場合に、ＣＣＬＭ＿Ｔモードのための上部の再構成した隣接ルマサンプルの１行のみを使用することにより、ダウンサンプリングのメモリ使用量を削減する。図１９は、ＣＴＵの上部の境界にあるルマブロックに対して隣接ルマサンプルの単一の行を使用するダウンサンプリングの例を示す概略図である。図１９に示されるように、Ａ１（再構成した隣接ルマサンプルの１行を含む）のみが、Ａでダウンサンプリングされた上部の再構成した隣接ルマサンプルを生成するために使用される。

【0312】

上記の説明は、ＣＣＬＭ＿Ｔモードの上部の再構成した隣接ルマサンプルに焦点を合わせているが、同様の方法が、ＣＣＬＭ＿Ｌモードの左側の再構成した隣接ルマサンプルに適用できることを理解されたい。例えば、ダウンサンプリングに左側の再構成した隣接ルマサンプルの複数の列を使用する代わりに、現在のブロックがＣＴＵの左側の境界にある場合（つまり、現在のクロマブロックの左側の行がＣＴＵの左側の行と重なっている場合）に、左側の再構成した隣接ルマサンプルの単一の列をダウンサンプリングに使用して、ダウンサンプリングしたルマブロックの左側テンプレートに参照サンプルを生成する。

【0313】

参照サンプルの利用可能性の決定

【0314】

上記の例では、ルマテンプレートを使用して、最大及び最小ルマ値を決定するための参照サンプルの利用可能性を決定する。しかしながら、いくつかのシナリオでは、利用可能なルマ参照サンプルには、対応するクロマ参照サンプルがない。例えば、ルマブロック及びクロマブロックは別々にコーディングすることができる。こうして、再構成したルマブロックが利用可能である場合に、対応するクロマブロックは未だ利用可能ではないようなものである。その結果、利用可能なルマ参照サンプルには、対応する利用可能なクロマ参照サンプルがなく、これは、コーディングエラーをもたらす可能性がある。

【0315】

本明細書で提示する技術は、クロマテンプレート内の参照サンプルの利用可能性を検査することを経て、テンプレート内の参照サンプルの利用可能性を決定することによって、この問題に対処する。いくつかの例では、クロマ参照サンプルが現在の画像、スライス、又はタイトルの外側になく、参照サンプルが再構成されている場合に、クロマ参照サンプルは利用可能である。いくつかの例では、クロマ参照サンプルが現在の画像、スライス、又はタイトルの外側になく、参照サンプルが再構成されており、参照サンプルが符号化の決定に基づいて省略されていない場合等に、クロマ参照サンプルは利用可能である。現在のクロマブロックの利用可能な参照サンプルは、クロマブロックの利用可能な再構成した隣接サンプルであり得る。利用可能なクロマ参照サンプルに対応するルマ参照サンプルは、最大及び最小ルマ値を決定するために利用される。例えば、クロマテンプレート内のＬ個の参照サンプルが利用可能である場合に、次に、Ｌ個の利用可能なクロマ参照サンプルに対応するルマテンプレート内の参照サンプルを使用して、最大及び最小ルマ値が決定される。クロマ参照サンプルに対応するルマ参照サンプルは、クロマテンプレート内に位置するクロマ参照サンプルと、ルマテンプレート内の同じ位置に位置するルマ参照サンプル（つまり、同じ場所に配置されたルマ参照サンプル（位置（ｘ、ｙ））を識別することによって決定することができ、例えば、クロマ参照サンプルに対応するルマ参照サンプルは、隣接するルマ参照サンプル（位置（ｘ－１、ｙ））、ルマ参照サンプル（位置（ｘ、ｙ））、及び隣接するルマ参照サンプル（位置（ｘ＋１、ｙ））を含み得る。最大及び最小ルマ値を有するルマ参照サンプルと、最大及び最小ルマ値に関連付けられたルマ参照サンプルに対応するクロマ参照サンプルは、次に、上記のようにモデル係数を決定するために使用される。

【0316】

一例では、Ｌ個の利用可能なクロマ参照サンプルを使用して、モデル係数、例えばＬ＝４を決定することができる。別の例では、Ｌ個の利用可能なクロマ参照サンプルの一部又はＬ個の利用可能なクロマ参照サンプルの一部を使用して、モデル係数を決定する。例えば、固定数の利用可能なクロマ参照サンプルが、Ｌ個の利用可能なクロマ参照サンプルから選択される。選択したクロマ参照サンプルに対応するルマ参照サンプルが、識別され、選択したクロマ参照サンプルとともにモデル係数を決定するために使用される。例えば、選択したクロマ参照サンプルが４個の利用可能なクロマ参照サンプルである場合に、４個の利用可能なクロマ参照サンプルに対応する２４個の再構成した隣接ルマサンプルが識別される。モデル係数を決定するために使用されるルマ参照サンプルは、２４個の再構成した隣接ルマサンプルをダウンサンプリングすることにより取得され、ここで、６タップフィルタがダウンサンプリングプロセスに使用される。

【0317】

図１６に示される例では、ＣＣＬＭ＿Ｔモードの上部テンプレートサンプル範囲はＷ２である。次に、現在のクロマブロックの上部クロマテンプレート内の参照サンプルの利用可能性が決定される。Ｗ３個のクロマ参照サンプルが利用可能である場合（Ｗ３＜＝Ｗ２）に、次に、Ｗ３個以下の対応するルマ参照サンプルが取得される。これらの取得したルマ参照サンプル及びクロマ参照サンプルは、ＣＣＬＭ＿Ｔモードのモデル係数を導出するために使用される。

【0318】

同様に、図１６に示される例には、ＣＣＬＭ＿ＬモードのＨ２として左側テンプレートサンプル範囲がある。現在のクロマブロックの左側クロマテンプレート内の参照サンプルの利用可能性が検査される。Ｈ３個のクロマ参照サンプルが利用可能である場合（Ｈ３＜＝Ｈ２）に、次に、Ｈ３個以下の対応するルマ参照サンプルが取得される。これらの取得したルマ参照サンプル及びクロマ参照サンプルは、ＣＣＬＭ＿Ｌモードのモデル係数を導出するために使用される。ＣＣＬＭモードの参照サンプルの利用可能性は、同様に決定する、つまり、上部クロマテンプレートと左側クロマテンプレートとの両方での参照サンプルの利用可能性を決定し、次に、対応するルマ参照サンプルを見つけて、上記のようにモデル係数を決定することができる。

【0319】

提案する方法の詳細は、ＩＮＴＲＡ＿ＣＣＬＭ、ＩＮＴＲＡ＿ＣＣＬＭ＿Ｌ、又はＩＮＴＲＡ＿ＣＣＬＭ＿Ｔイントラ予測モードの仕様のフォーマットで表１に説明している。表２は、本明細書で提案する方法の代替実施態様を示している。

【表1-1】

【表1-2】

【表1-3】

【表1-4】

【表1-5】

【表2】

【0320】

ＭＤＬＭモードの二値化

【0321】

ビデオ信号のビットストリームでＭＤＬＭモードを符号化するために、ＭＤＬＭモードの二値化を実行して、選択したＭＤＬＭモードをビットストリームで符号化でき、デコーダが復号化のために選択されたモードを決定できるようにする必要がある。既存の２値化方法には、ＭＤＬＭの２つのクロマモード、つまりＣＣＬＭ＿Ｌ及びＣＣＬＭ＿Ｔが含まれていない。ここでは、新しいクロマモードコーディング方法を提案する。

【0322】

表３及び表４は、これらの２つのクロマモードの二値化の詳細を提供する。表３では、７７はＣＣＬＭモードを示し、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスは４である。７８はＣＣＬＭ＿Ｌモードを示し、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスは５である。７９はＣＣＬＭ＿Ｔモードを示し、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスは６である。ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅインデックスが７に等しい場合に、選択されるモードはＤＭモードである。残りのインデックス値０、１、２、３はそれぞれ、平面モード、垂直モード、水平モード、及びＤＣモードを表す。

【表3】

【表4】

【0323】

表４は、クロマイントラ予測モードのそれぞれに使用されるビット文字列又はシンタックス要素の例を示す。表４に示されるように、ＤＭモード（インデックス７）のシンタックス要素は０であり、ＣＣＬＭモード（インデックス４）のシンタックス要素は１０であり、ＣＣＬＭ＿Ｌモード（インデックス５）のシンタックス要素は１１１０であり、ＣＣＬＭ＿Ｔモード（インデックス６）のシンタックス要素は１１１１であり、平面モード（インデックス０）のシンタックス要素は１１０００であり、垂直モード（インデックス１）のシンタックス要素は１１００１であり、水平モード（インデックス２）のシンタックス要素は１１０１０であり、ＤＣモード（インデックス３）のシンタックス要素は１１０１１である。表５は、クロマイントラ予測モードのそれぞれに使用されるビット文字列又はシンタックス要素の別の例を示す。エンコーダによって選択されたコーディングモードに応じて、対応するシンタックス要素が符号化したビデオのビットストリームに含められる。

【表5】

【0324】

図１のビデオエンコーダ２０等のビデオエンコーダが、イントラクロマ予測モードに基づいて、ビデオ信号のクロマブロックのイントラ予測を行うときに、ビデオエンコーダは、イントラクロマ予測モードを選択し、選択したイントラクロマ予測モードを示すシンタックス要素をビットストリーム内に含めることによりビデオ信号のビットストリームを生成する。ビデオエンコーダは、複数のモードセットからイントラクロマ予測モードを選択できる。例えば、モードは、導出（derived）モード（ＤＭ）又はクロスコンポーネント線形モデル（ＣＣＬＭ）予測モード、或いはその両方を含む第１のモードセットを含むことができる。モードは、ＣＣＬＭ＿Ｌモード又はＣＣＬＭ＿Ｔモードの少なくとも１つを含む第２のモードセットも含むことができる。モードは、垂直モード、水平モード、ＤＣモード、又は平面モードの少なくとも１つを含み得る第３のモードセットをさらに含むことができる。

【0325】

いくつかの例では、イントラクロマ予測モードが第１のモードセットから選択される場合のイントラクロマ予測モードのシンタックス要素のビット数は、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数より小さい。さらに、イントラクロマ予測モードが第２のモードセットから選択される場合のイントラクロマ予測モードのシンタックス要素のビット数は、イントラクロマ予測モードが第３のモードセットから選択される場合のシンタックス要素のビット数より小さい。いくつかの例では、様々なイントラクロマ予測モードのシンタックス要素は、表４又は表５に示される例に従って選択される。

【0326】

デコーダがビデオ信号の符号化したビットストリームを受信してビデオを復号化するときに、図１のビデオデコーダ３０等のデコーダは、ビデオ信号のビットストリームからシンタックス要素を解析し、解析したシンタックス要素から選択したシンタックス要素に基づいて、クロマブロックに使用されるイントラクロマ予測モードを決定する。決定したイントラクロマ予測モードに基づいて、デコーダは、ビデオ信号の現在のクロマブロックのイントラ予測を行う。

【0327】

図２０は、本開示のいくつかの態様による線形モデルを使用してイントラ予測を行うための方法のフローチャートである。ブロック２００２において、現在のクロマブロック（クロマブロック８０１等）に対応するルマブロック（ルマブロック８１１等）が決定される。

【0328】

ブロック２００４において、ルマブロックのルマ参照サンプルは、現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定することに基づいて取得される。ルマブロックの取得したルマ参照サンプルは、ダウンサンプリングしたルマ参照サンプルである。いくつかの例では、ルマブロックの取得したルマ参照サンプルは、Ｌ個の利用可能なクロマ参照サンプルに基づいて（Ｌ個の利用可能なクロマ参照サンプルの一部又は全体等に基づいて）選択された隣接ルマサンプルをダウンサンプリングすることにより取得されるダウンサンプリングしたルマ参照サンプルである。換言すれば、ルマブロックの取得したルマ参照サンプルは、利用可能なクロマ参照サンプルに対応する隣接ルマサンプルをダウンサンプリングすることにより取得されるダウンサンプリングしたルマ参照サンプルである。いくつかの例では、取得したルマ参照サンプルは、Ｌ個の利用可能なクロマ参照サンプルに対応する。追加の例では、取得したルマ参照サンプルは、Ｌ個の利用可能なクロマ参照サンプルの一部に対応する。取得したルマ参照サンプル（つまり、ダウンサンプリングしたルマ参照サンプル）とＬ個の利用可能なクロマ参照サンプルとの間の対応関係は、「１対１の対応関係」に限定されないこともあり得ることが理解でき、取得したルマ参照サンプル（つまり、ダウンサンプリングしたルマ参照サンプル）とＬ個の利用可能なクロマ参照サンプルとの間の対応関係は、「Ｍ対Ｎの対応関係」であり得ることも理解できる。例えば、Ｍ＝４、Ｎ＝４、又はＭ＝４、Ｎ＞４である。

【0329】

いくつかの例では、現在のクロマブロックのクロマ参照サンプルは、現在のクロマブロックの再構成した隣接サンプルを含む。Ｌ個の利用可能なクロマ参照サンプルは、再構成した隣接サンプルから決定される。同様に、ルマブロックの隣接サンプルも、ルマブロックの再構成した隣接サンプルである。ルマブロックの取得したルマ参照サンプルは、Ｌ個の利用可能なクロマ参照サンプルに基づいて選択された再構成した隣接サンプルをダウンサンプリングすることにより取得される。そのようなＬ＝４である。

【0330】

いくつかの例では、クロマ参照サンプルが現在の画像、スライス、又はタイトルの外側になく、参照サンプルが再構成されている場合に、クロマ参照サンプルは利用可能である。いくつかの例では、クロマ参照サンプルが現在の画像、スライス、又はタイトルの外側になく、参照サンプルが再構成されており、参照サンプルが符号化の決定に基づいて省略されていない場合等に、クロマ参照サンプルは利用可能である。現在のクロマブロックの利用可能な参照サンプルは、クロマブロックの利用可能な再構成した隣接サンプルであり得る。利用可能なクロマ参照サンプルに対応するルマ参照サンプルが取得される。

【0331】

いくつかの例では、Ｌ個の利用可能なクロマ参照サンプルは、現在のクロマブロックのＬ個の上部の隣接クロマサンプルが利用可能であると判定（決定）することによって決定され、ここで、１＜＝Ｌ＜＝Ｗ２であり、Ｌ及びＷ２は正の整数である。Ｗ２は上部の参照サンプル範囲を示し、Ｌ個の上部の隣接クロマサンプルが利用可能なクロマ参照サンプルとして使用される。いくつかの例では、Ｗ２は２＊Ｗ又はＷ＋Ｈのいずれかに等しい。ここで、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0332】

他の例では、Ｌ個の利用可能なクロマ参照サンプルは、現在のクロマブロックの利用可能なＬ個の左側の隣接クロマサンプルを判定することによって決定される。ここで、１＜＝Ｌ＜＝Ｈ２であり、Ｌ及びＨ２は正の整数である。Ｈ２は、左側の参照サンプル範囲を示す。Ｌ個の左側の隣接クロマサンプルが、利用可能なクロマ参照サンプルとして使用される。いくつかの例では、Ｈ２は２＊Ｈ又はＷ＋Ｈのいずれかに等しい。Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0333】

更なる例では、Ｌ個の利用可能なクロマ参照サンプルは、現在のクロマブロックの利用可能なＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルを判定することによって決定される。ここで、１＜＝Ｌ１＜＝Ｗ２、及び１＜＝Ｌ２＜＝Ｈ２である。Ｗ２は上部の参照サンプル範囲を示し、Ｈ２は左側の参照サンプル範囲を示す。Ｌ１、Ｌ２、Ｗ２、及びＨ２は正の整数であり、Ｌ１＋Ｌ２＝Ｌである。これらの例では、Ｌ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルが、利用可能なクロマ参照サンプルとして使用される。

【0334】

一例では、ルマ参照サンプルは、ルマブロックの上にあり、且つＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより取得される。別の例では、ルマ参照サンプルは、ルマブロックの左側にあり、且つＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより取得される。

【0335】

上記の例では、ルマブロックのダウンサンプリングしたルマブロックは、現在のクロマブロックに対応するルマブロックの再構成されたルマブロックをダウンサンプリングすることにより取得される。場合によっては、例えばルマ参照サンプルがルマブロックの上の隣接サンプルのみに基づいて取得された場合、及び現在のクロマブロックの一番上の行が現在のコーディングツリーユニット（ＣＴＵ）の一番上の行と重なっている場合等に、ルマブロックの再構成バージョンの再構成した隣接ルマサンプルの１行のみを使用して、ルマ参照サンプルを取得する。

【0336】

ブロック２００６において、クロスコンポーネント予測に使用される線形モデル係数は、ステップ２００４で取得したルマ参照サンプルと、ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて計算される。いくつかの例では、ルマ参照サンプルに対応するクロマ参照サンプルは、ルマ参照サンプルと同じ場所に配置されたクロマ参照サンプルである。

【0337】

ブロック２００８において、現在のクロマブロックの予測は、計算した線形モデル係数及びルマブロック（ルマブロック８１１等）をダウンサンプリングすることにより取得したダウンサンプリングしたルマブロックの値に基づいて生成される。

【0338】

図２１は、本開示の他の態様によるクロスコンポーネント線形モデル（ＣＣＬＭ）予測の方法のフローチャートである。ブロック２１０２において、現在のクロマブロック（クロマブロック８０１等）に対応するルマブロック（ルマブロック８１１等）が決定される。

【0339】

ブロック２１０４において、ルマブロックのルマ参照サンプルは、ルマブロックの隣接サンプルをダウンサンプリングすることにより取得される。いくつかの例では、ルマ参照サンプルは、ルマブロックの上の隣接サンプルに基づいて取得したルマ参照サンプルのみを含む。他の例では、ルマ参照サンプルは、ルマブロックの左側にある隣接サンプルに基づいて取得したルマ参照サンプルのみを含む。

【0340】

ブロック２１０６において、最大ルマ値及び最小ルマ値は、ルマ参照サンプルに基づいて決定される。

【0341】

ブロック２１０８において、第１のクロマ値は、最大ルマ値に関連付けられた１つ又は複数のルマ参照サンプルの１つ又は複数の位置に少なくとも部分的に基づいて取得される。第２のクロマ値も、最小ルマ値に関連付けられた１つ又は複数のルマ参照サンプルの１つ又は複数の位置に少なくとも部分的に基づいて取得される。

【0342】

ブロック２１１０において、線形モデル係数は、第１のクロマ値、第２のクロマ値、最大ルマ値、及び最小ルマ値に基づいて計算される。

【0343】

ブロック２１１２において、現在のクロマブロックの予測は、線形モデル係数と、ルマブロックのダウンサンプリングしたルマブロックの値とに基づいて生成される。

【0344】

図２２は、線形モデルを使用してイントラ予測を行うための機器２２００の例示的な構造を示すブロック図である。機器２２００は、決定ユニット２２０２及びイントラ予測処理ユニット２２０４を含み得る。一例では、機器２２００は、図２のイントラ予測ユニット２５４に対応し得る。別の例では、機器２２００は、図３のイントラ予測ユニット３５４に対応し得る。

【0345】

決定ユニット２２０２は、現在のクロマブロック（クロマブロック８０１等）に対応するルマブロック（ブロック８１１等）を決定するように構成される。決定ユニット２２０２は、現在のクロマブロックのＬ個の利用可能なクロマ参照サンプルを決定することに基づいて、ルマブロックのルマ参照サンプルを取得するようにさらに構成される。ルマブロックの取得したルマ参照サンプルは、ダウンサンプリングしたルマ参照サンプルである。

【0346】

いくつかの例では、現在のクロマブロックのクロマ参照サンプルは、現在のクロマブロックの再構成した隣接サンプルを含む。Ｌ個の利用可能なクロマ参照サンプルは、再構成した隣接サンプルから決定される。同様に、ルマブロックの隣接サンプルも、ルマブロックの再構成した隣接サンプルである。ルマブロックの取得したルマ参照サンプルは、ルマブロックの再構成した隣接サンプルをダウンサンプリングすることにより取得される。いくつかの例では、ルマブロックの取得したルマ参照サンプルは、Ｌ個の利用可能なクロマ参照サンプルに基づいて選択されたルマブロックの再構成した隣接サンプルをダウンサンプリングすることにより取得されるダウンサンプリングしたルマ参照サンプルである。いくつかの例では、ルマブロックの取得したルマ参照サンプルは、Ｌ個の利用可能なクロマ参照サンプルに対応する再構成した隣接サンプルをダウンサンプリングすることにより取得されるダウンサンプリングしたルマ参照サンプルである。

【0347】

いくつかの例では、クロマ参照サンプルが現在の画像、スライス、又はタイトルの外側になく、参照サンプルが再構成されており、参照サンプルが符号化の決定に基づいて省略されない場合等に、クロマ参照サンプルは利用可能である。現在のクロマブロックの利用可能な参照サンプルは、クロマブロックの利用可能な再構成した隣接サンプルであり得る。利用可能なクロマ参照サンプルに対応するルマ参照サンプルが取得される。

【0348】

いくつかの例では、Ｌ個の利用可能なクロマ参照サンプルは、現在のクロマブロックのＬ個の上部の隣接クロマサンプルが利用可能であると判定（決定）することによって決定され、ここで、１＜＝Ｌ＜＝Ｗ２であり、Ｌ及びＷ２は正の整数である。Ｗ２は上部の参照サンプル範囲を示し、Ｌ個の上部の隣接クロマサンプルは利用可能なクロマ参照サンプルとして使用される。いくつかの例では、Ｗ２は２＊Ｗ又はＷ＋Ｈのいずれかに等しい。ここで、Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0349】

他の例では、Ｌ個の利用可能なクロマ参照サンプルは、現在のクロマブロックの利用可能なＬ個の左側の隣接クロマサンプルを判定することによって決定される。ここで、１＜＝Ｌ＜＝Ｈ２であり、Ｌ及びＨ２は正の整数である。Ｈ２は、左側の参照サンプル範囲を示す。Ｌ個の左側の隣接クロマサンプルが、利用可能なクロマ参照サンプルとして使用される。いくつかの例では、Ｈ２は２＊Ｈ又はＷ＋Ｈのいずれかに等しい。Ｗは現在のクロマブロックの幅を表し、Ｈは現在のクロマブロックの高さを表す。

【0350】

更なる例では、Ｌ個の利用可能なクロマ参照サンプルは、現在のクロマブロックの利用可能なＬ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルを判定することによって決定される。ここで、１＜＝Ｌ１＜＝Ｗ２、及び１＜＝Ｌ２＜＝Ｈ２である。Ｗ２は上部の参照サンプル範囲を示し、Ｈ２は左側の参照サンプル範囲を示す。Ｌ１、Ｌ２、Ｗ２、及びＨ２は正の整数であり、Ｌ１＋Ｌ２＝Ｌである。これらの例では、Ｌ１個の上部の隣接クロマサンプル及びＬ２個の左側の隣接クロマサンプルが、利用可能なクロマ参照サンプルとして使用される。

【0351】

一例では、ルマ参照サンプルは、ルマブロックの上にあり、且つＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより取得される。別の例では、ルマ参照サンプルは、ルマブロックの左側にあり、且つＬ個の利用可能なクロマ参照サンプルに基づいて選択された隣接サンプルのみをダウンサンプリングすることにより取得される。

【0352】

上記の例では、ルマブロックのダウンサンプリングしたルマブロックは、現在のクロマブロックに対応するルマブロックの再構成されたルマブロックをダウンサンプリングすることにより取得される。場合によっては、ルマ参照サンプルがルマブロックの上の隣接サンプルのみに基づいて取得された場合、及び現在のクロマブロックの一番上の行が現在のコーディングツリーユニット（ＣＴＵ）の一番上の行と重なっている場合等に、ルマブロックの再構成バージョンの再構成した隣接ルマサンプルの１行のみを使用して、ルマ参照サンプルを取得する。

【0353】

イントラ予測処理ユニット２２０４は、ルマ参照サンプルと、ルマ参照サンプルに対応するクロマ参照サンプルとに基づいて線形モデル係数（α及びβ等）を計算するように構成される。イントラ予測処理ユニット２２０４は、線形モデル係数と、ルマブロックのダウンサンプリングしたルマブロックの値とに基づいて、現在のクロマブロックの予測を取得するようにさらに構成される。

【0354】

図２３は、本開示のいくつかの態様による、ビデオ信号のビットストリームにおけるクロマイントラコーディングモードをコーディングする方法のフローチャートである。

【0355】

ブロック２３０２において、ビデオ信号のクロマブロックのイントラ予測は、イントラクロマ予測モードに基づいて行われる。イントラクロマ予測モードは、複数のモードから選択することができる。いくつかの例では、複数のモードは、３つのセット：導出モード（ＤＭ）又はクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードの少なくとも１つを含む第１のモードセット、ＣＣＬＭ＿Ｌモード又はＣＣＬＭ＿Ｔモードの少なくとも１つを含む第２のモードセット、又は垂直モード、水平モード、ＤＣモード、又は平面モードの少なくとも１つを含む第３のモードセットを含む。

【0356】

ブロック２３０４において、ビデオ信号のビットストリームが、イントラクロマ予測モードを示すシンタックス要素をビットストリームに含めることにより生成される。いくつかの例では、イントラクロマ予測モードが第１のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数より小さい。イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第３のモードセットから選択される場合のシンタックス要素のビット数より小さい。

【0357】

一例では、ＤＭモードのシンタックス要素は０である。ＣＣＬＭモードのシンタックス要素は１０である。ＣＣＬＭ＿Ｌモードのシンタックス要素は１１１０である。ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１１である。平面モードのシンタックス要素は１１０００である。垂直モードのシンタックス要素は１１００１である。水平モードのシンタックス要素は１１０１０である。ＤＣモードのシンタックス要素は１１０１１である。

【0358】

別の例では、ＤＭモードのシンタックス要素は００である。ＣＣＬＭモードのシンタックス要素は１０である。ＣＣＬＭ＿Ｌモードのシンタックス要素は１１０である。ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１である。平面モードのシンタックス要素は０１００である。垂直モードのシンタックス要素は０１０１である。水平モードのシンタックス要素は０１１０である。ＤＣモードのシンタックス要素は０１１１である。

【0359】

図２４は、本開示のいくつかの態様による、ビデオ信号のビットストリームにおけるクロマイントラコーディングモードを復号化する方法のフローチャートである。

【0360】

ブロック２４０２において、複数のシンタックス要素がビデオ信号のビットストリームから解析される。ブロック２４０４において、イントラクロマ予測モードは、複数のシンタックス要素からの、イントラクロマ予測モードを示すシンタックス要素に基づいて決定される。いくつかの例では、イントラクロマ予測モードは、複数のモードから決定される。例えば、複数のモードは、３つのセット：導出モード（ＤＭ）又はクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードの少なくとも１つを含む第１のモードセット、ＣＣＬＭ＿Ｌモード又はＣＣＬＭ＿Ｔモードの少なくとも１つを含む第２のモードセット、或いは垂直モード、水平モード、ＤＣモード、又は平面モードの少なくとも１つを含む第３のモードセットを含む。これらのイントラクロマ予測モードセットのうち、イントラクロマ予測モードが第１のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数より小さい。イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第３のモードセットから選択される場合のシンタックス要素のビット数より小さい。

【0361】

ブロック２４０６において、イントラクロマ予測モードに基づいて、ビデオ信号の現在のクロマブロックのイントラ予測が行われる。

【0362】

図２５は、ビデオビットストリームを生成するための機器２５００の例示的な構造を示すブロック図である。機器２５００は、イントラ予測処理ユニット２５０２及び二値化ユニット２５０４を含み得る。一例では、イントラ予測処理ユニット２５０２は、図２のイントラ予測ユニット２５４に対応し得る。一例では、二値化ユニット２５０４は、図２のエントロピー符号化ユニット２７０に対応し得る。

【0363】

イントラ予測処理ユニット２５０２は、イントラクロマ予測モードに基づいて、ビデオ信号のクロマブロックのイントラ予測を行うように構成される。イントラクロマ予測モードは、第１のモードセット、第２のモードセット、又は第３のモードセットから選択される。第１のモードセットは、導出モード（ＤＭ）又はクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードの少なくとも１つを含む。第２のモードセットは、ＣＣＬＭ＿Ｌモード又はＣＣＬＭ＿Ｔモードの少なくとも１つを含む。第３のモードセットは、垂直モード、水平モード、ＤＣモード、又は平面モードの少なくとも１つを含む。

【0364】

二値化ユニット２５０４は、イントラクロマ予測モードを示すシンタックス要素を含めることにより、ビデオ信号のビットストリームを生成するように構成される。イントラクロマ予測モードが第１のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数より小さく、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第３のモードセットから選択される場合のシンタックス要素のビット数より小さい。

【0365】

一例では、ＤＭモードのシンタックス要素は０である。ＣＣＬＭモードのシンタックス要素は１０である。ＣＣＬＭ＿Ｌモードのシンタックス要素は１１１０である。ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１１である。平面モードのシンタックス要素は１１０００である。垂直モードのシンタックス要素は１１００１である。水平モードのシンタックス要素は１１０１０である。ＤＣモードのシンタックス要素は１１０１１である。

【0366】

別の例では、ＤＭモードのシンタックス要素は００である。ＣＣＬＭモードのシンタックス要素は１０である。ＣＣＬＭ＿Ｌモードのシンタックス要素は１１０である。ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１である。平面モードのシンタックス要素は０１００である。垂直モードのシンタックス要素は０１０１である。水平モードのシンタックス要素は０１１０である。ＤＣモードのシンタックス要素は０１１１である。

【0367】

図２６は、ビデオビットストリームを復号化するための機器２６００の例示的な構造を示すブロック図である。機器は、解析ユニット２６０２、決定ユニット２６０４、及びイントラ予測処理ユニット２６０６を含み得る。一例では、解析ユニット２６０２は、図３のエントロピー符号化ユニット３０４に対応し得る。一例では、決定ユニット２６０４及びイントラ予測処理ユニット２６０６は、図３のイントラ予測ユニット３５４に対応し得る。

【0368】

解析ユニット２６０２は、ビデオ信号のビットストリームからのシンタックス要素を解析するように構成される。決定ユニット２６０４は、複数のシンタックス要素からのシンタックス要素に基づいてイントラクロマ予測モードを決定するように構成される。イントラクロマ予測モードは、第１のモードセット、第２のモードセット、又は第３のモードセットの１つから決定される。第１のモードセットは、導出モード（ＤＭ）又はクロスコンポーネント線形モデル（ＣＣＬＭ）予測モードの少なくとも１つを含む。第２のモードセットは、ＣＣＬＭ＿Ｌモード又はＣＣＬＭ＿Ｔモードの少なくとも１つを含む。第３のモードセットは、垂直モード、水平モード、ＤＣモード、又は平面モードの少なくとも１つを含む。

【0369】

イントラクロマ予測モードが第１のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数より小さく、イントラクロマ予測モードが第２のモードセットから選択される場合のシンタックス要素のビット数は、イントラクロマ予測モードが第３のモードセットから選択される場合のシンタックス要素のビット数より小さい。

【0370】

一例では、ＤＭモードのシンタックス要素は０である。ＣＣＬＭモードのシンタックス要素は１０である。ＣＣＬＭ＿Ｌモードのシンタックス要素は１１１０である。ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１１である。平面モードのシンタックス要素は１１０００である。垂直モードのシンタックス要素は１１００１である。水平モードのシンタックス要素は１１０１０である。ＤＣモードのシンタックス要素は１１０１１である。

【0371】

別の例では、ＤＭモードのシンタックス要素は００である。ＣＣＬＭモードのシンタックス要素は１０である。ＣＣＬＭ＿Ｌモードのシンタックス要素は１１０である。ＣＣＬＭ＿Ｔモードのシンタックス要素は１１１である。平面モードのシンタックス要素は０１００である。垂直モードのシンタックス要素は０１０１である。水平モードのシンタックス要素は０１１０である。ＤＣモードのシンタックス要素は０１１１である。

【0372】

イントラ予測処理ユニット２６０６は、イントラクロマ予測モードに基づいて、ビデオ信号の現在のクロマブロックのイントラ予測を行うように構成される。

【0373】

以下の参考文献は、現在の開示をよりよく理解するために参照により組み込まれる：ＪＣＴＶＣ－Ｈ０５４４、ＭＤＬＭの説明、ＪＶＥＴ－Ｇ１００１、ＣＣＬＭ又はＬＭの説明、セクション２．２．４、及びＪＶＥＴ－Ｋ０２０４、最大値及び最小値を使用してモデル係数を導出するための説明。

【0374】

以下は、上述した実施形態に示される符号化方法及び復号化方法のアプリケーション、並びにそれらアプリケーションを使用するシステムの説明である。

【0375】

図２７は、コンテンツ配信サービスを実現するためのコンテンツ供給システム３１００を示すブロック図である。このコンテンツ供給システム３１００は、取込み装置３１０２、端末装置３１０６を含み、オプションでディスプレイ３１２６を含む。取込み装置３１０２は、通信リンク３１０４を介して端末装置３１０６と通信する。通信リンクは、上記の通信チャネル１３を含み得る。通信リンク３１０４は、ＷＩＦＩ、イーサネット、ケーブル、ワイヤレス（３Ｇ／４Ｇ／５Ｇ）、ＵＳＢ、又はそれらの任意の種類の組合せ等を含むが、これらに限定されない。

【0376】

取込み装置３１０２は、データを生成し、上記の実施形態に示されるような符号化方法によってデータを符号化することができる。あるいはまた、取込み装置３１０２は、データをストリーミングサーバ（図には示されていない）に配信することができ、サーバは、データを符号化し、符号化したデータを端末装置３１０６に送信する。取込み装置３１０２は、カメラ、スマートフォン又はパッド、コンピュータ又はラップトップ、ビデオ会議システム、ＰＤＡ、車載装置、又はそれらのいずれかの組合せ等を含むが、これらに限定されない。例えば、取込み装置３１０２は、上記のように、送信元装置１２を含み得る。データがビデオを含む場合に、取込み装置３１０２に含まれるビデオエンコーダ２０は、実際にビデオ符号化処理を行うことができる。データが音（つまり、音声）を含む場合に、取込み装置３１０２に含まれる音声エンコーダは、実際に音声符号化処理を行うことができる。いくつかの実際的なシナリオでは、取込み装置３１０２は、それら（ビデオ符号化及び音声符号化処理したデータ）を一緒に多重化することによって、符号化したビデオ及びオーディオデータを配信する。他の実際的なシナリオでは、例えばビデオ会議システムでは、符号化したオーディオデータ及び符号化したビデオデータは多重化されない。取込み装置３１０２は、符号化したオーディオデータ及び符号化したビデオデータを別々に端末装置３１０６に配信する。

【0377】

コンテンツ供給システム３１００において、端末装置３１０は、符号化したデータを受信して再生する。端末装置３１０６は、上述した符号化したデータを復号化することができるスマートフォン又はパッド３１０８、コンピュータ又はラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、テレビ３１１４、セットトップボックス（ＳＴＢ）３１１６、ビデオ会議システム３１１８、ビデオ監視システム３１２０、携帯情報端末（ＰＤＡ）３１２２、車載装置３１２４、又はそれらのいずれかの組合せ等であり得る。例えば、端末装置３１０６は、上記のように、宛先装置１４を含み得る。符号化したデータにビデオが含まれる場合に、端末装置に含まれるビデオデコーダ３０は、優先してビデオ復号化を行う。符号化したデータに音声が含まれる場合に、端末装置に含まれる音声デコーダを優先して音声復号化処理を行う。

【0378】

そのディスプレイを含む端末装置、例えば、スマートフォン又はパッド３１０８、コンピュータ又はラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、テレビ３１１４、携帯情報端末（ＰＤＡ）３１２２、又は車載装置３１２４の場合に、端末装置は、復号化したデータをそのディスプレイに供給することができる。ディスプレイを装備しない端末装置、例えば、ＳＴＢ３１１６、ビデオ会議システム３１１８、又はビデオ監視システム３１２０の場合に、外部ディスプレイ３１２６が、これらに接触して、復号化したデータを受信して表示する。

【0379】

このシステムの各装置が符号化又は復号化を行う場合に、上述した実施形態に示されるように、画像符号化装置又は画像復号化装置を使用することができる。

【0380】

図２８は、端末装置３１０６の例の構造を示す図である。端末装置３１０６が取込み装置３１０２からストリームを受信した後に、プロトコル処理ユニット３２０２は、ストリームの送信プロトコルを解析する。プロトコルには、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ＨＴＴＰライブストリーミングプロトコル（ＨＬＳ）、ＭＰＥＧ－ＤＡＳＨ、リアルタイムトランスポートプロトコル（ＲＴＰ）、リアルタイムメッセージングプロトコル（ＲＴＭＰ）、又はそれらの任意の種類の組合せ等が含まれるが、これらに限定されない。

【0381】

プロトコル処理ユニット３２０２がストリームを処理した後に、ストリームファイルが生成される。ファイルは、逆多重化ユニット３２０４に出力される。逆多重化ユニット３２０４は、多重化したデータを、符号化したオーディオデータと符号化したビデオデータとに分離することができる。上記のように、いくつかの実際的なシナリオでは、例えばビデオ会議システムにおいて、符号化したオーディオデータ及び符号化したビデオデータは多重化されない。この状況では、符号化したデータは、逆多重化ユニット３２０４を介さずに、ビデオデコーダ３２０６及びオーディオデコーダ３２０８に送信される。

【0382】

逆多重化処理を介して、ビデオエレメンタリーストリーム（ＥＳ）、オーディオＥＳ、及びオプションの字幕が生成される。上述した実施形態で説明したようなビデオデコーダ３０を含むビデオデコーダ３２０６は、上述した実施形態に示されるような復号化方法によってビデオＥＳを復号化してビデオフレームを生成し、このデータを同期ユニット３２１２に供給する。オーディオデコーダ３２０８は、オーディオＥＳを復号化してオーディオフレームを生成し、このデータを同期ユニット３２１２に供給する。あるいはまた、ビデオフレームは、そのデータを同期ユニット３２１２に供給する前に、バッファ（図２８には示されていない）に格納することができる。同様に、オーディオフレームは、そのデータを同期ユニット３２１２に供給する前に、バッファ（図２８には示されていない）に格納することができる。

【0383】

同期ユニット３２１２は、ビデオフレーム及びオーディオフレームを同期させ、ビデオ／オーディオをビデオ／オーディオディスプレイ３２１４に供給する。例えば、同期ユニット３２１２は、ビデオ及びオーディオ情報のプレゼンテーション（上演）を同期させる。情報は、コーディングしたオーディオ及びビジュアルデータのプレゼンテーション（上演）に関するタイムスタンプ及びデータストリーム自体の配信に関するタイムスタンプを使用して、シンタックスでコーディングすることができる。

【0384】

字幕がストリームに含まれる場合に、字幕デコーダ３２１０は、字幕を復号化し、その復号化したデータをビデオフレーム及びオーディオフレームと同期させ、ビデオ／オーディオ／字幕をビデオ／オーディオ／字幕ディスプレイ３２１６に供給する。

【0385】

本発明は、上述したシステムに限定されるものではなく、上述した実施形態における画像符号化装置又は画像復号化装置のいずれかを他のシステム、例えば自動車システムに組み込むことができる。

【0386】

例として、限定されないが、そのようなコンピュータ可読記憶媒体は、命令又はデータ構造の形式で所望のプログラムコードを格納するために使用でき、且つコンピュータによってアクセスできるＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置、フラッシュメモリ、又は任意の他の媒体を含み得る。また、接続は全てコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波等のワイヤレス技術を使用して、Ｗｅｂサイト、サーバ、又は他のリモートソースから送信される場合に、次に、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波等のワイヤレス技術が媒体の規定に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まないが、代わりに、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書で使用される場合に、ディスク（disk）及びディスク（disc）には、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、及びＢｌｕ－ｒａｙディスクが含まれ、ディスク（disk）は通常データを磁気的に再生する一方、ディスク（disc）はレーザを使用して光学的にデータを再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含める必要がある。

【0387】

命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、或いは他の同等の統合された又はディスクリート論理回路等の１つ又は複数のプロセッサによって実行され得る。従って、本明細書で使用する場合に、「プロセッサ」という用語は、前述の構造のいずれか、又は本明細書に記載の技術の実施態様に適した任意の他の構造を指す場合がある。さらに、いくつかの態様において、本明細書に記載する機能は、符号化及び復号化のために構成された、又は組み合わされたコーデックに組み込まれた専用のハードウェア及び／又はソフトウェアモジュール内で提供され得る。また、これらの技術は、１つ又は複数の回路又は論理要素に完全に実装することができる。

【0388】

本開示の技術は、無線ハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様な装置又は機器に実装され得る。開示する技術を実行するように構成された装置の機能的態様を強調するために、本開示では様々なコンポーネント、モジュール、又はユニットを説明しているが、様々なコンポーネント、モジュール、又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、上記のように、様々なユニットは、コーデックハードウェアユニットに組み合わされるか、又は適切なソフトウェア及び／又はファームウェアと組み合わせて、上記の１つ又は複数のプロセッサを含む相互運用（inter-operative）ハードウェアユニットの集合によって提供され得る。

【0389】

いくつかの実施形態が本開示に提供されているが、開示したシステム及び方法は、本開示の精神又は範囲から逸脱することなく、他の多くの特定の形態で具体化され得ることを理解されたい。本実施例は、例示的であり、限定的ではないと見なすべきであり、意図は、本明細書に与えられる詳細に限定すべきではない。例えば、様々な要素又はコンポーネントを別のシステムに組み合わせたり統合したり、特定の機能を省略したり、又は実装しなかったりすることができる。

【0390】

さらに、離散的又は別個として様々な実施形態で説明及び図示する技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、又は方法と組み合わせ又は統合することができる。互いに結合又は直接結合又は通信するものとして示し又は議論している他のアイテムは、電気的、機械的、又は他の方法にかかわらず、何らかのインターフェース、装置、又は中間コンポーネントを介して間接的に結合又は通信することができる。変更、置換え、及び変更の他の例は、当業者によって確認可能であり、本明細書に開示する精神及び範囲から逸脱することなく行うことができる。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】