IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クゥアルコム・インコーポレイテッドの特許一覧

特許7548939ビデオコーディングにおけるアフィン線形重み付けイントラ予測
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】ビデオコーディングにおけるアフィン線形重み付けイントラ予測
(51)【国際特許分類】
   H04N 19/593 20140101AFI20240903BHJP
   H04N 19/186 20140101ALI20240903BHJP
   H04N 19/11 20140101ALI20240903BHJP
   H04N 19/136 20140101ALI20240903BHJP
   H04N 19/70 20140101ALI20240903BHJP
【FI】
H04N19/593
H04N19/186
H04N19/11
H04N19/136
H04N19/70
【請求項の数】 15
(21)【出願番号】P 2021564809
(86)(22)【出願日】2020-05-06
(65)【公表番号】
(43)【公表日】2022-07-06
(86)【国際出願番号】 US2020031651
(87)【国際公開番号】W WO2020227393
(87)【国際公開日】2020-11-12
【審査請求日】2023-04-07
(31)【優先権主張番号】62/845,790
(32)【優先日】2019-05-09
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/864,320
(32)【優先日】2019-06-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/867,208
(32)【優先日】2020-05-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】QUALCOMM INCORPORATED
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100158805
【弁理士】
【氏名又は名称】井関 守三
(74)【代理人】
【識別番号】100112807
【弁理士】
【氏名又は名称】岡田 貴志
(72)【発明者】
【氏名】ラマスブラモニアン、アダルシュ・クリシュナン
(72)【発明者】
【氏名】ファン・デル・オーウェラ、ゲールト
(72)【発明者】
【氏名】ファン・バン、ルオン
(72)【発明者】
【氏名】カルチェビチ、マルタ
【審査官】田部井 和彦
(56)【参考文献】
【文献】国際公開第2020/127811(WO,A2)
【文献】特表2022-514870(JP,A)
【文献】Benjamin Bross et al.,Versatile Video Coding (Draft 4) [online],JVET-M1001-v7(JVET-N0217)(JVET-M1001-v7_proposal_text_CE3-4.1_v2.docx), [2024年3月11日検索],インターネット <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0217-v3.zip>,2019年03月25日,pp.43-46,87-92,103-122,277-281,287-292
【文献】Jonathan Pfaff et al.,CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2) [online],JVET-N0217(JVET-N0217_v1.docx), [2024年3月11日検索],インターネット <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0217-v3.zip>,2019年03月25日
【文献】Philipp Helle, et al.,CE3-related: Non-linear weighted intra prediction (cross-check report in JVET-K0262),JVET-K0196-v3(), [2024年3月11日検索],インターネット <URL: https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0196-v3.zip>,2018年07月02日
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/593
H04N 19/186
H04N 19/11
H04N 19/136
H04N 19/70
(57)【特許請求の範囲】
【請求項1】
ビデオデータをコーディングする方法であって、
アフィン線形重み付けイントラ予測(ALWIP)シンタックス要素のためのコンテキストを決定することと、ここにおいて、前記ALWIPシンタックス要素が、前記ビデオデータの現在ブロックがALWIPを用いてコーディングされるか否かを示し、
ここにおいて、上方の隣接ブロックが前記現在ブロックとは異なるコーディングツリーユニット(CTU)中にあることに基づいて、前記上方の隣接ブロックが、前記コンテキストを決定するために利用不可能であると決定され、前記上方の隣接ブロックのためのALWIPシンタックス要素の値が、前記コンテキストを決定するために使用され、
ここにおいて、前記上方の隣接ブロックが、前記現在ブロックの上方のネイバーであり、ここにおいて、前記ALWIPシンタックス要素のための前記コンテキストが、特定の値を有するビンの確率を識別する、
前記コンテキストに基づいて、前記ALWIPシンタックス要素をコーディングすることと、
前記現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施することと、ここにおいて、前記現在ブロックが、ALWIPを使用してコーディングされず、前記MPM導出プロセスを実施することが、
前記現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであると決定することと、
前記隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、
前記1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含めることと、ここにおいて、含まれる前記イントラ予測モードの前記値が、前記決定された前記イントラ予測モードの値と同じまたは異なる、を備える、
前記現在ブロックのための前記MPMのうちの1つに基づいて、前記現在ブロックをコーディングすることとを備える、方法。
【請求項2】
前記デフォルト値に対応する前記イントラ予測モードが、平面モードである、請求項1に記載の方法。
【請求項3】
前記現在ブロックが第1のブロックであり、前記ビデオデータの第2のブロックが、直接モード(DM)モードを用いてコーディングされたクロマブロックであり、前記方法が、
コロケートされたルーマブロックが、ALWIPを用いてコーディングされるか否かを決定することと、前記コロケートされたルーマブロックが、前記第2のブロックとともにコロケートされる、
前記コロケートされたルーマブロックが、ALWIPを用いてコーディングされることに基づいて、
前記コロケートされたルーマブロックのイントラ予測モードの値が前記デフォルト値であると決定することと、
前記デフォルト値に対応するイントラ予測モードを使用して、前記第2のブロックをコーディングすることとをさらに備える、請求項1に記載の方法。
【請求項4】
前記デフォルト値に対応する前記イントラ予測モードが、平面モードである、請求項3に記載の方法。
【請求項5】
前記現在ブロックの幅が前記現在ブロックの高さの2倍よりも大きい場合、または前記高さが前記幅の2倍よりも大きい場合、前記ALWIPシンタックス要素のための前記コンテキストとして3の値が決定される、請求項1に記載の方法。
【請求項6】
ビデオコーディング規格が、しきい値幅未満の幅、またはしきい値高さ未満の高さを有するブロックのためのALWIPを無効にする制約を課す、請求項1に記載の方法。
【請求項7】
前記しきい値幅が8であり、前記しきい値高さが8である、請求項6に記載の方法。
【請求項8】
前記現在ブロックをコーディングすることが、前記現在ブロックを復号することを備える、請求項1に記載の方法。
【請求項9】
前記現在ブロックを含むピクチャを表示することをさらに備える、請求項8に記載の方法。
【請求項10】
前記現在ブロックをコーディングすることが、前記現在ブロックを符号化することを備える、請求項1に記載の方法。
【請求項11】
前記現在ブロックを含むピクチャをキャプチャすることをさらに備える、請求項10に記載の方法。
【請求項12】
ビデオデータをコーディングするためのデバイスであって、
アフィン線形重み付けイントラ予測(ALWIP)シンタックス要素のためのコンテキストを決定するための手段と、ここにおいて、前記ALWIPシンタックス要素が、前記ビデオデータの現在ブロックがALWIPを用いてコーディングされるか否かを示し、ここにおいて、上方の隣接ブロックが前記現在ブロックとは異なるコーディングツリーユニット(CTU)中にあることに基づいて、前記上方の隣接ブロックが、前記コンテキストを決定するために利用不可能であると決定され、前記上方の隣接ブロックのためのALWIPシンタックス要素の値が、前記コンテキストを決定するために使用され、ここにおいて、前記上方の隣接ブロックが、前記現在ブロックの上方のネイバーであり、ここにおいて、前記ALWIPシンタックス要素のための前記コンテキストが、特定の値を有するビンの確率を識別する、
前記コンテキストに基づいて、前記ALWIPシンタックス要素をコーディングするための手段と、
前記現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施するための手段と、ここにおいて、前記現在ブロックが、ALWIPを使用してコーディングされず、前記MPM導出プロセスを実施するための前記手段が、
前記現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであると決定するための手段と、
前記隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、前記1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含めるための手段と、ここにおいて、含まれる前記イントラ予測モードの前記値が、前記決定された前記イントラ予測モードの値と同じまたは異なる、を備える、
前記現在ブロックのための前記MPMのうちの1つに基づいて、前記現在ブロックをコーディングするための手段とを備える、デバイス。
【請求項13】
前記デフォルト値に対応する前記イントラ予測モードが、平面モードである、請求項12に記載のデバイス。
【請求項14】
請求項3乃至11のいずれか一項に記載の方法を実施するための手段をさらに備える、請求項12または請求項13に記載のデバイス。
【請求項15】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令が、実行されたとき、1つまたは複数のプロセッサに、請求項1乃至11のいずれか一項に記載の方法を実施することを行わせる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 本出願は、その各々の内容全体が参照により組み込まれる、2019年5月9日に出願された米国仮特許出願第62/845,790号、および2019年6月20日に出願された米国仮特許出願第62/864,320号の利益を主張する、2020年5月5日に出願された米国特許出願第16/867,208号の優先権を主張する。
【0002】
[0002] 本開示は、ビデオ符号化(video encoding)およびビデオ復号(video decoding)に関する。
【背景技術】
【0003】
[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part10、アドバンストビデオコーディング(AVC)、ITU-T H.265/高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
【0004】
[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間(ピクチャ内)予測および/または時間(ピクチャ間)予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部分)が、コーディングツリーユニット(CTU:coding tree unit)、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャ(picture)のイントラコード化(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック(neighboring block)中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【発明の概要】
【0005】
[0005] 概して、本開示は、線形重み付けイントラ予測のためのモードの導出とシグナリングとを含む、イントラ予測のための技法について説明する。たとえば、一例では、本開示は、アフィン線形重み付けイントラ予測(ALWIP:affine linear weighted intra prediction)を使用してコーディングされない現在ブロック(current block)のための1つまたは複数の最確モード(MPM:Most-Probable Mode)を導出する、MPM導出プロセス(derivation process)を実施する、ビデオエンコーダまたはビデオデコーダなどのビデオコーダ(video coder)について説明する。現在ブロックのためのMPMは、現在ブロックをコーディングするために使用される可能性が最も高いと決定されたイントラ予測モード(intra prediction mode)であり得る。MPM導出プロセスを実施することの一部として、ビデオコーダは、現在ブロックの隣接ブロックがALWIPコード化隣接ブロック(ALWIP-coded neighboring block)であるか否かを決定する。隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、ビデオコーダは、隣接ブロックのイントラ予測モードの値が、平面モード(planar mode)に対応する値など、デフォルト値(default value)であると決定する。ビデオコーダは、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックをコーディングする。
【0006】
[0006] 一例では、本開示は、ビデオデータ(video data)をコーディングする方法について説明し、方法が、ビデオデータの現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施することと、ここにおいて、現在ブロックが、アフィン線形重み付けイントラ予測(ALWIP)を使用してコーディングされず、MPM導出プロセスを実施することが、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定することと、隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、隣接ブロックのイントラ予測モードの値がデフォルト値であると決定することと、1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含めることとを備える、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックをコーディングすることとを備える。
【0007】
[0007] 別の例では、本開示は、ビデオデータをコーディングするためのデバイスについて説明し、デバイスが、ビデオデータを記憶するためのメモリと、回路中に実装された1つまたは複数のプロセッサとを備え、1つまたは複数のプロセッサが、ビデオデータの現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施することと、ここにおいて、現在ブロックが、アフィン線形重み付けイントラ予測(ALWIP)を使用してコーディングされず、MPM導出プロセスを実施することが、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定することと、隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、隣接ブロックのイントラ予測モードの値がデフォルト値であると決定することと、1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含めることとを備える、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックをコーディングすることとを行うように構成される。
【0008】
[0008] 別の例では、本開示は、ビデオデータをコーディングするためのデバイスについて説明し、デバイスが、ビデオデータの現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施するための手段と、ここにおいて、現在ブロックが、アフィン線形重み付けイントラ予測(ALWIP)を使用してコーディングされず、MPM導出プロセスを実施するための手段が、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定するための手段と、隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、隣接ブロックのイントラ予測モードの値がデフォルト値であると決定することと、1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含めることとを行うための手段とを備える、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックをコーディングするための手段とを備える。
【0009】
[0009] 別の例では、本開示は、命令を記憶したコンピュータ可読記憶媒体について説明し、命令が、実行されたとき、1つまたは複数のプロセッサに、ビデオデータの現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施することと、ここにおいて、現在ブロックが、アフィン線形重み付けイントラ予測(ALWIP)を使用してコーディングされず、MPM導出プロセスを実施することが、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定することと、隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、隣接ブロックのイントラ予測モードの値がデフォルト値であると決定することと、1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含めることとを備える、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックをコーディングすることとを行わせる。
【0010】
[0010] 1つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0011】
図1】[0011] 本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。
図2】[0012] 矢印が参照サンプルの方を指している、イントラ予測の一例を示すブロック図。
図3】[0013] -135度から45度の範囲内になるようなイントラ予測方向の制限のために、「より近い」参照サンプルが使用されず、より遠い参照サンプルが使用され得る、8×4矩形ブロックの一例の概念図。
図4】[0014] 65個の角度モードに加えて図示された、広角(-1から-10、および67から76)を示す概念図。
図5A】[0015] 対角線方向範囲の外側のイントラ予測モードのためのモードマッピングプロセスの図。
図5B】対角線方向範囲の外側のイントラ予測モードのためのモードマッピングプロセスの図。
図5C】対角線方向範囲の外側のイントラ予測モードのためのモードマッピングプロセスの図。
図6】[0016] 合計93個の角度モードのための、モード2および66を超えるVVCテストモデル3(VTM3)における広角(-1から-14、および67から80)を示す概念図。
図7】[0017] イントラ予測角度の仕様を提供する表。
図8】[0018] コーディングブロックのイントラ予測のために使用され得る複数の参照ラインからの参照サンプルの図。
図9】[0019] 4×8ブロックおよび8×4ブロックの分割の一例を示す概念図。
図10】[0020] 4×8、8×4、および4×4を除く、すべてのブロックの分割の一例を示す概念図。
図11】[0021] 8×8ブロックにおけるアフィン線形重み付けイントラ予測(ALWIP)プロセスの一例を示す概念図。
図12】[0022] 汎用ビデオコーディングワーキングドラフト4(VVC WD4:Versatile Video Coding Working Draft 4)における各ALWIPタイプのための行列パラメータおよびオフセットパラメータの数を示す表。
図13】[0023] 本開示の1つまたは複数の技法による、現在ブロックのためのALWIP最確モード(MPM)を導出するために使用された例示的な隣接ブロックを示す概念図。
図14A】[0024] 例示的な4分木2分木(QTBT)構造を示す概念図。
図14B】対応するコーディングツリーユニット(CTU)を示す概念図。
図15】[0025] 本開示の技法を実施し得る例示的なビデオエンコーダを示すブロック図。
図16】[0026] 本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図。
図17】[0027] 現在ブロックを符号化するための例示的な方法を示すフローチャート。
図18】[0028] ビデオデータの現在ブロックを復号するための例示的な方法を示すフローチャート。
図19】[0029] 本開示の1つまたは複数の技法による、ビデオデータをコーディングする例示的な方法を示すフローチャート。
図20】[0030] 本開示の1つまたは複数の技法による、クロマブロック(chroma block)をコーディングする例示的な方法を示すフローチャート。
【発明を実施するための形態】
【0012】
[0031] アフィン線形重み付けイントラ予測(ALWIP)は、ブロックの参照サンプルをダウンサンプリングすることと、ダウンサンプリングされた参照サンプルのベクトルを、行列によって乗算し、バイアスベクトルを加算することと、得られたサンプル値を、予測ブロック内のあらかじめ決定された位置にマッピングすることと、予測ブロック内の残りの位置のためのサンプル値を決定するために、予測ブロック中のサンプル値において線形補間を実施することとによって、予測ブロックが生成される、イントラ予測の形式である。ALWIPの使用は、いくつかのタイプのブロックのためのより良いコーディング効率につながり得るが、通常のイントラ予測技法は、他のタイプのブロックのためのALWIPよりも良いコーディング効率につながり得る。したがって、ピクチャ内のいくつかのブロックが、ALWIPを使用してコーディングされ得、ピクチャ内のいくつかのブロックが、平面イントラ予測モード、DCイントラ予測モード、または方向性イントラ予測モードなど、通常のイントラ予測技法を使用してコーディングされ得る。上記の例は、ALWIPのためのいくつかのステップについて説明しているが、いくつかの実装形態は、上記のステップのうちの1つまたは複数を除外することを選定することがあり、他の実装形態は、導出プロセスに他のステップを含めることがある。しかしながら、ALWIPにおける核となる概念は、参照サンプルから導出されたサンプルのベクトルを、行列を用いて乗算すること(または、等価演算)である。
【0013】
[0032] イントラ予測モード(たとえば、平面、DC、または方向性イントラ予測モード)をシグナリングする効率を改善するために、ビデオコーダ(たとえば、ビデオエンコーダまたはビデオデコーダ)は、ビデオデータの現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施し得る。MPMの各々は、イントラ予測モードであり得る。現在ブロックのための最適なイントラ予測モードが、MPMのうちの1つである場合、MPMのうちの1つを示すインデックスが、ビットストリームにおいてシグナリングされ得る。現在ブロックのための最適なイントラ予測モードが、MPMのうちの1つではない場合、非MPMイントラ予測モードのうちの1つを示すインデックスがシグナリングされ得る。非MPMイントラ予測モードがあるよりも少ないMPMがあるので、MPMを示すインデックスは、非MPMイントラ予測モードのうちの1つを示すインデックスよりもかなり少ないビットを使用してコーディングされ得る。したがって、MPM導出プロセスの使用は、いくつかのブロックのためのコーディング効率を高め得る。
【0014】
[0033] ビデオコーダは、現在ブロックに隣接するブロックのイントラ予測モードに基づいて、MPMを導出し得る。たとえば、左の隣接ブロックが、DCイントラ予測モードを使用してコーディングされる場合、ビデオコーダは、MPMのうちの1つがDCイントラ予測モードであると決定し得る。しかしながら、MPM導出プロセスでは、隣接ブロックのうちの1つが、ALWIPを使用してコーディングされる場合、ビデオコーダは、隣接ブロックのALWIPパラメータを、方向性イントラ予測モードのうちの1つにマッピングする、マッピングデータを使用するプロセスを実施する。ALWIPパラメータは、行列係数とバイアスベクトルとを含む。ビデオコーダは、次いで、MPMのうちの1つとして、決定された方向性イントラ予測モードを使用し得る。
【0015】
[0034] マッピングデータを記憶することは、ビデオエンコーダおよびビデオデコーダのデータ記憶要件を増大させる。増大されたデータ記憶要件は、ビデオエンコーダおよびビデオデコーダのコストと複雑さとを増大させ得る。その上、マッピングデータを使用するために実施されるルックアップ演算は、時間を要し、そのことが符号化および復号プロセスを減速させ得る。追加として、マッピングデータを使用して決定されたイントラ予測モードを使用して生成された予測ブロックは、隣接ブロックのALWIPパラメータが使用された場合に生成されることになる予測ブロックの近似にすぎない。この近似は、コーディング効率を低下させ得る。
【0016】
[0035] 本開示の技法は、これらの問題点のうちの1つまたは複数に対処し得る。たとえば、本開示の例において説明されたように、ビデオコーダ(たとえば、ビデオエンコーダまたはビデオデコーダ)は、ビデオデータの現在ブロックのための1つまたは複数のMPMを導出する、MPM導出プロセスを実施し得る。この例では、現在ブロックが、ALWIPを使用してコーディングされない。MPM導出プロセスを実施することの一部として、ビデオコーダは、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定し得る。隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、ビデオコーダは、隣接ブロックのイントラ予測モードの値が、平面モードに対応する値など、デフォルト値であると決定し得る。したがって、ビデオコーダは、MPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含め得る。ビデオコーダは、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックをコーディングし得る。
【0017】
[0036] 隣接ブロックがALWIPコーディングされるとき、MPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを使用することによって、ビデオコーダは、マッピングデータを記憶する必要を回避し得る。マッピングデータを記憶する必要を回避することは、ビデオコーダのデータ記憶要件を低減し得、そのことがビデオコーダのコストと複雑さとを低減し得る。さらに、マッピングデータの使用を回避することは、マッピングデータの使用に関与するルックアップ演算を回避することによって、符号化および復号プロセスを加速させ得る。
【0018】
[0037] 図1は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム100を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング(符号化および/または復号)することを対象とする。概して、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された(たとえば、再構成された)ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
【0019】
[0038] 図1に示されているように、システム100は、この例では、宛先デバイス116によって復号および表示されるべき符号化ビデオデータを提供するソースデバイス102を含む。詳細には、ソースデバイス102は、コンピュータ可読媒体110を介して、宛先デバイス116にビデオデータを提供する。ソースデバイス102および宛先デバイス116は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、セットトップボックス、電話ハンドセット(たとえば、スマートフォン)およびタブレットコンピュータなどのモバイルデバイス、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイスなどを含む、広範囲にわたるデバイスのいずれかを含み得る。いくつかの場合には、ソースデバイス102および宛先デバイス116は、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。
【0020】
[0039] 図1の例では、ソースデバイス102は、ビデオソース104と、メモリ106と、ビデオエンコーダ200と、出力インターフェース108とを含む。宛先デバイス116は、入力インターフェース122と、ビデオデコーダ300と、メモリ120と、ディスプレイデバイス118とを含む。本開示によれば、ソースデバイス102のビデオエンコーダ200、および宛先デバイス116のビデオデコーダ300は、線形重み付けイントラ予測のためのモードの導出とシグナリングとを含む、イントラ予測を実施するための技法を適用するように構成され得る。したがって、ソースデバイス102は、ビデオ符号化デバイスの一例を表し、一方、宛先デバイス116は、ビデオ復号デバイスの一例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含み得る。たとえば、ソースデバイス102は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス116は、統合されたディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【0021】
[0040] 図1に示されているシステム100は一例にすぎない。概して、任意のデジタルビデオ符号化および/または復号デバイスは、線形重み付けイントラ予測のためのモードの導出とシグナリングとを含む、イントラ予測を実施するための技法を実施し得る。ソースデバイス102および宛先デバイス116は、ソースデバイス102が宛先デバイス116への送信のために符号化ビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示は、データのコーディング(符号化および/または復号)を実施するデバイスとして「コーディング」デバイスに言及する。したがって、ビデオエンコーダ200およびビデオデコーダ300は、コーディングデバイス、特に、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス102および宛先デバイス116は、ソースデバイス102および宛先デバイス116の各々がビデオ符号化および復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム100は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオ電話のために、ソースデバイス102と宛先デバイス116との間で一方向または双方向のビデオ送信をサポートし得る。
【0022】
[0041] 概して、ビデオソース104は、ビデオデータ(すなわち、生の符号化されていないビデオデータ)のソースを表し、ビデオデータの連続的な一連のピクチャ(「フレーム」とも呼ばれる)をビデオエンコーダ200に提供し、ビデオエンコーダ200は、ピクチャのためにデータを符号化する。ソースデバイス102のビデオソース104は、ビデオカメラ、以前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース104は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ200は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ200は、ピクチャを、(「表示順序」と呼ばれることがある)受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ200は、符号化ビデオデータを含むビットストリームを生成し得る。ソースデバイス102は、次いで、たとえば、宛先デバイス116の入力インターフェース122による受信および/または取出しのために、出力インターフェース108を介して符号化ビデオデータをコンピュータ可読媒体110上に出力し得る。
【0023】
[0042] ソースデバイス102のメモリ106、および宛先デバイス116のメモリ120は、汎用メモリを表す。いくつかの例では、メモリ106、120は、生のビデオデータ、たとえば、ビデオソース104からの生のビデオ、およびビデオデコーダ300からの生の復号ビデオデータを記憶し得る。追加または代替として、メモリ106、120は、たとえば、それぞれ、ビデオエンコーダ200およびビデオデコーダ300によって実行可能なソフトウェア命令を記憶し得る。メモリ106およびメモリ120は、この例では、ビデオエンコーダ200およびビデオデコーダ300とは別個に示されているが、ビデオエンコーダ200およびビデオデコーダ300は、機能的に同様または等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ106、120は、符号化ビデオデータ、たとえば、ビデオエンコーダ200からの出力と、ビデオデコーダ300への入力とを記憶し得る。いくつかの例では、メモリ106、120の部分は、たとえば、生の復号および/または符号化ビデオデータを記憶するために、1つまたは複数のビデオバッファとして割り振られ得る。
【0024】
[0043] コンピュータ可読媒体110は、ソースデバイス102から宛先デバイス116に符号化ビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体110は、ソースデバイス102が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化ビデオデータを宛先デバイス116にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース108は、符号化ビデオデータを含む送信信号を変調し得、入力インターフェース122は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調し得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を含み得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス102から宛先デバイス116への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【0025】
[0044] いくつかの例では、コンピュータ可読媒体110は、記憶デバイス112を含み得る。ソースデバイス102は、出力インターフェース108から記憶デバイス112に符号化データを出力し得る。同様に、宛先デバイス116は、入力インターフェース122を介して記憶デバイス112からの符号化データにアクセスし得る。記憶デバイス112は、ハードドライブ、Blu-ray(登録商標)ディスク、DVD、CD-ROM、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
【0026】
[0045] いくつかの例では、コンピュータ可読媒体110は、ソースデバイス102によって生成された符号化ビデオデータを記憶し得るファイルサーバ114または別の中間記憶デバイスを含み得る。ソースデバイス102は、ソースデバイス102によって生成された符号化ビデオを記憶し得るファイルサーバ114または別の中間記憶デバイスに、符号化ビデオデータを出力し得る。宛先デバイス116は、ストリーミングまたはダウンロードを介して、ファイルサーバ114から、記憶されたビデオデータにアクセスし得る。ファイルサーバ114は、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス116に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ114は、(たとえば、ウェブサイトのための)ウェブサーバ、ファイル転送プロトコル(FTP)サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ(NAS)デバイスを表し得る。宛先デバイス116は、インターネット接続を含む、任意の標準データ接続を通してファイルサーバ114から符号化ビデオデータにアクセスし得る。これは、ファイルサーバ114に記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(たとえば、Wi-Fi(登録商標)接続)、ワイヤード接続(たとえば、デジタル加入者線(DSL)、ケーブルモデムなど)、またはその両方の組合せを含み得る。ファイルサーバ114および入力インターフェース122は、ストリーミング送信プロトコル、ダウンロード送信プロトコル、またはそれらの組合せに従って動作するように構成され得る。
【0027】
[0046] 出力インターフェース108および入力インターフェース122は、ワイヤレス送信機/受信機、モデム、ワイヤードネットワーキング構成要素(たとえば、イーサネット(登録商標)カード)、様々なIEEE802.11規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース108および入力インターフェース122が、ワイヤレス構成要素を含む例では、出力インターフェース108および入力インターフェース122は、4G、4G-LTE(登録商標)(ロングタームエボリューション)、LTEアドバンスト、5Gなどのセルラー通信規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。出力インターフェース108がワイヤレス送信機を含む、いくつかの例では、出力インターフェース108および入力インターフェース122は、IEEE802.11仕様、IEEE802.15仕様(たとえば、ZigBee(登録商標))、Bluetooth(登録商標)規格などの他のワイヤレス規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス102および/または宛先デバイス116は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。たとえば、ソースデバイス102は、ビデオエンコーダ200および/または出力インターフェース108に帰属する機能を実施するためのSoCデバイスを含み得、宛先デバイス116は、ビデオデコーダ300および/または入力インターフェース122に帰属する機能を実施するためのSoCデバイスを含み得る。
【0028】
[0047] 本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
【0029】
[0048] 宛先デバイス116の入力インターフェース122は、コンピュータ可読媒体110(たとえば、通信媒体、記憶デバイス112、ファイルサーバ114など)から符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット(たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど)の特性および/または処理を記述する値を有するシンタックス要素など、ビデオデコーダ300によっても使用される、ビデオエンコーダ200によって定義されるシグナリング情報を含み得る。ディスプレイデバイス118は、復号ビデオデータの復号ピクチャをユーザに表示する。ディスプレイデバイス118は、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。
【0030】
[0049] 図1には示されていないが、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームを処理するために、適切なMUX-DEMUXユニット、あるいは他のハードウェアおよび/またはソフトウェアを含み得る。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
【0031】
[0050] ビデオエンコーダ200およびビデオデコーダ300は各々、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、個別論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路および/またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実施するために1つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ200およびビデオデコーダ300の各々は、1つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ/デコーダ(CODEC)の一部として組み込まれ得る。ビデオエンコーダ200および/またはビデオデコーダ300を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを含み得る。
【0032】
[0051] ビデオエンコーダ200およびビデオデコーダ300は、高効率ビデオコーディング(HEVC)とも呼ばれるITU-T H.265、またはマルチビューおよび/もしくはスケーラブルビデオコーディング拡張などのそれらの拡張などの、ビデオコーディング規格(video coding standard)に従って動作し得る。代替的に、ビデオエンコーダ200およびビデオデコーダ300は、共同探査テストモデル(JEM:Joint Exploration Test Model)、または汎用ビデオコーディング(VVC:Versatile Video Coding)とも呼ばれるITU-T H.266などの、他のプロプライエタリまたは業界規格に従って動作し得る。VVC規格のドラフトは、Brossら、「Versatile Video Coding (Draft 4)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11の共同ビデオ専門家チーム(JVET:Joint Video Experts Team)、第13回会合、マラケシュ、モロッコ、2019年1月9~18日、JVET-M1001(以下、「VVC WD4」)において記載されている。VVC規格の別のドラフトは、Brossら、「Versatile Video Coding (Draft 5)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11の共同ビデオ専門家チーム(JVET)、第14回会合、ジュネーブ、スイス、2019年3月19~27日、JVET-N1001-v5(以下、「VVCドラフト5」)において記載されている。VVCの目的は、360°全方向没入型マルチメディアおよび高ダイナミックレンジ(HDR)ビデオなど、より高品質のビデオサービスおよび新生のアプリケーションの展開を助ける、既存のHEVC規格を超える圧縮性能における顕著な改善を提供することである。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
【0033】
[0052] 概して、ビデオエンコーダ200およびビデオデコーダ300は、ピクチャのブロックベースのコーディングを実施し得る。「ブロック」という用語は、処理されるべき(たとえば、符号化されるべき、復号されるべき、あるいは符号化および/または復号プロセスにおいて他の方法で使用されるべき)データを含む構造を一般に意味する。たとえば、ブロックは、ルミナンスおよび/またはクロミナンスデータのサンプルの2次元行列を含み得る。一般に、ビデオエンコーダ200およびビデオデコーダ300は、YUV(たとえば、Y、Cb、Cr)フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色(RGB)データをコーディングするのではなく、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ200は、符号化より前に、受信されたRGBフォーマットのデータをYUV表現に変換し、ビデオデコーダ300は、YUV表現をRGBフォーマットに変換する。代替的に、前処理および後処理ユニット(図示されず)が、これらの変換を実施し得る。
【0034】
[0053] 本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング(たとえば、符号化および復号)に言及することがある。同様に、本開示は、ブロックのデータを符号化または復号するプロセス、たとえば、予測および/または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化ビデオビットストリームは、概して、コーディング決定(たとえば、コーディングモード)とブロックへのピクチャの区分とを表すシンタックス要素の一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成しているシンタックス要素の値をコーディングすることとして理解されたい。
【0035】
[0054] HEVCは、コーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)を含む、様々なブロックを定義する。HEVCによれば、(ビデオエンコーダ200などの)ビデオコーダは、4分木構造に従ってコーディングツリーユニット(CTU)をCUに区分する。すなわち、ビデオコーダは、CTUとCUとを4つの等しい、重複しない正方形に区分し、4分木の各ノードは、0個または4つのいずれかの子ノードを有する。子ノードなしのノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのCUは、1つまたは複数のPUならびに/あるいは1つまたは複数のTUを含み得る。ビデオコーダは、PUとTUとをさらに区分し得る。たとえば、HEVCでは、残差4分木(RQT)は、TUの区分を表す。HEVCでは、PUはインター予測データを表すが、TUは残差データを表す。イントラ予測されるCUは、イントラ予測モード指示などのイントラ予測情報を含む。
【0036】
[0055] 別の例として、ビデオエンコーダ200およびビデオデコーダ300は、JEMまたはVVCに従って動作するように構成され得る。JEMまたはVVCに従って、(ビデオエンコーダ200などの)ビデオコーダは、ピクチャを複数のCTUに区分する。ビデオエンコーダ200は、4分木2分木(QTBT)構造またはマルチタイプツリー(MTT)構造など、木構造に従ってCTUを区分し得る。QTBT構造は、HEVCのCUとPUとTUとの間の分離など、複数の区分タイプの概念を除去する。QTBT構造は、4分木区分に従って区分される第1のレベル、および2分木区分に従って区分される第2のレベルという、2つのレベルを含む。QTBT構造のルートノードは、CTUに対応する。2分木のリーフノードは、コーディングユニット(CU)に対応する。
【0037】
[0056] MTT区分構造では、ブロックは、4分木(QT)区分と、2分木(BT)区分と、1つまたは複数のタイプの3分木(TT)区分とを使用して区分され得る。3分木区分は、ブロックが3つのサブブロックにスプリットされる区分である。いくつかの例では、3分木区分は、中心を通って元のブロックを分割することなく、ブロックを3つのサブブロックに分割する。MTTにおける区分タイプ(たとえば、QT、BT、およびTT)は、対称的または非対称的であり得る。
【0038】
[0057] いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分とクロミナンス成分との各々を表すために単一のQTBTまたはMTT構造を使用し得、他の例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分のための1つのQTBT/MTT構造、および両方のクロミナンス成分のための別のQTBT/MTT構造(またはそれぞれのクロミナンス成分のための2つのQTBT/MTT構造)など、2つ以上のQTBTまたはMTT構造を使用し得る。
【0039】
[0058] ビデオエンコーダ200およびビデオデコーダ300は、4分木区分、QTBT区分、MTT区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はQTBT区分に関して提示される。ただし、本開示の技法が、4分木区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。
【0040】
[0059] 本開示では、たとえば、16×16のサンプルまたは16バイ16のサンプルなど、垂直寸法および水平寸法に関して、(CUまたは他のビデオブロックなどの)ブロックのサンプル寸法に言及するために、「N×N」と「NバイN」とを互換的に使用し得る。概して、16×16のCUは、垂直方向に16個のサンプル(y=16)と、水平方向に16個のサンプル(x=16)とを有する。同様に、N×NのCUは、垂直方向にN個のサンプルと、水平方向にN個のサンプルとを有し、ここで、Nは非負整数値を表す。CUの中のサンプルは、行および列に配置され得る。さらに、CUは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、CUは、N×M個のサンプルを含み得、ここで、Mは必ずしもNに等しいとは限らない。
【0041】
[0060] ビデオエンコーダ200は、予測および/または残差情報、ならびに他の情報を表す、CUのためのビデオデータを符号化する。予測情報は、CUのための予測ブロックを形成するためにCUがどのように予測されるべきかを示す。残差情報は、概して、符号化より前のCUのサンプルと予測ブロックとの間のサンプルごとの差分を表す。
【0042】
[0061] CUを予測するために、ビデオエンコーダ200は、概して、インター予測またはイントラ予測を通して、CUのための予測ブロックを形成し得る。インター予測は、概して、1つまたは複数の前にコーディングされたピクチャのデータからCUを予測することを指すが、イントラ予測は、概して、同じピクチャの前にコーディングされたデータからCUを予測することを指す。インター予測を実施するために、ビデオエンコーダ200は、1つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ200は、概して、たとえば、CUと参照ブロックとの間の差分に関して、CUに厳密に一致する参照ブロックを識別するために、動き探索を実施し得る。ビデオエンコーダ200は、参照ブロックが現在のCUに厳密に一致するかどうかを決定するために、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ200は、単方向予測または双方向予測を使用して現在のCUを予測し得る。
【0043】
[0062] JEMおよびVVCのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ200は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す2つ以上の動きベクトルを決定し得る。
【0044】
[0063] イントラ予測を実施するために、ビデオエンコーダ200は、予測ブロックを生成するためのイントラ予測モードを選択し得る。JEMおよびVVCのいくつかの例は、様々な方向性モード、ならびに平面モードおよびDCモードを含む、67個のイントラ予測モードを提供する。概して、ビデオエンコーダ200は、現在ブロック(たとえば、CUのブロック)のサンプルをそれから予測すべき、現在ブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ200がラスタ走査順序で(左から右に、上から下に)CTUとCUとをコーディングすると仮定すると、概して、現在ブロックと同じピクチャ中の現在ブロックの上方、上方および左側、または左側にあり得る。
【0045】
[0064] 概して、ビデオエンコーダ200またはビデオデコーダ300などのビデオコーダは、隣接サンプルから推定された勾配として、平面モードを使用して、予測ブロックを生成し得る。たとえば、VVC WD4では、ビデオコーダは、次のような平面イントラ予測モードを使用して、予測ブロックを生成し得る。

8.3.4.2.5 INTRA_PLANARイントラ予測モードの仕様
このプロセスへの入力は、以下の通りである。
- 変換ブロック幅を指定する変数nTbW、
- 変換ブロック高さを指定する変数nTbH、
- x=-1、y=-1..nTbH、およびx=0..nTbW、y=-1である、隣接サンプルp[x][y]。
このプロセスの出力は、x=0..nTbW-1、y=0..nTbH-1である、予測されたサンプルpredSamples[x][y]である。
変数nWおよびnHは、次のように導出される。
【0046】
【数1】
【0047】
x=0..nTbW-1、およびy=0..nTbH-1である予測サンプルpredSamples[x][y]の値は、次のように導出される。
【0048】
【数2】
【0049】
[0065] ビデオエンコーダ200は、現在ブロックのための予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ200は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードの動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ200は、高度動きベクトル予測(AMVP)またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ200は、アフィン動き補償モードのための動きベクトルを符号化するために、同様のモードを使用し得る。
【0050】
[0066] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ200は、ブロックのための残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ200は、サンプル領域ではなく変換領域中に変換データを作り出すために、残差ブロックに1つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ200は、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ200は、モード依存非分離可能2次変換(MDNSST)、信号依存変換、カルーネンレーベ変換(KLT)など、第1の変換に続いて2次変換を適用し得る。ビデオエンコーダ200は、1つまたは複数の変換の適用を通して、変換係数を作り出す。
【0051】
[0067] 上述されたように、変換係数を作り出すための任意の変換に続いて、ビデオエンコーダ200は、変換係数の量子化を実施し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ200は、変換係数の一部または全部に関連するビット深度を低減し得る。たとえば、ビデオエンコーダ200は、量子化の間にnビット値をmビット値に切り捨てることがあり、ここで、nはmよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ200は、量子化されるべき値のビットごとの右シフトを実施し得る。
【0052】
[0068] 量子化に続いて、ビデオエンコーダ200は、変換係数を走査して、量子化された変換係数を含む2次元行列から1次元ベクトルを作り出し得る。走査は、より高いエネルギー(したがって、より低い頻度)の変換係数をベクトルの前方に配置し、より低いエネルギー(したがって、より高い頻度)の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ200は、量子化された変換係数を走査してシリアル化されたベクトルを作り出すために、あらかじめ定義された走査順序を利用し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ200は、適応型走査を実施し得る。量子化された変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ200は、たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC)に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ200はまた、ビデオデータを復号する際のビデオデコーダ300による使用のために、符号化ビデオデータに関連付けられたメタデータを記述するシンタックス要素の値をエントロピー符号化し得る。CABACを実施するために、ビデオエンコーダ200は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。
【0053】
[0069] 上述されたように、ビデオエンコーダ200およびビデオデコーダ300は、シンタックス要素の値にCABAC符号化および復号を適用し得る。シンタックス要素にCABAC符号化を適用するために、ビデオエンコーダ200は、「ビン」と呼ばれる一連の1つまたは複数のビットを形成するためにシンタックス要素の値を2値化し得る。加えて、ビデオエンコーダ200は、単に「コンテキスト(context)」と呼ばれることがある、コーディングコンテキストを識別し得る。コーディングコンテキストは、特定の値を有するビンの確率を識別し得る。たとえば、コーディングコンテキストは、0の値のビンをコーディングする0.7の確率と、1の値のビンをコーディングする0.3の確率とを示し得る。コーディングコンテキストを識別した後、ビデオエンコーダ200は、間隔を下位サブ間隔と上位サブ間隔とに分割し得る。サブ間隔のうちの一方は、値0に関連付けられ得、他方のサブ間隔は、値1に関連付けられ得る。サブ間隔の幅は、識別されたコーディングコンテキストによって、関連付けられた値について示される確率に比例し得る。シンタックス要素のビンが、下位サブ間隔に関連付けられた値を有する場合、符号化された値は、下位サブ間隔の下位境界に等しくなり得る。シンタックス要素の同じビンが、上位サブ間隔に関連付けられた値を有する場合、符号化された値は、上位サブ間隔の下位境界に等しくなり得る。シンタックス要素の次のビンを符号化するために、ビデオエンコーダ200は、符号化ビットの値に関連付けられたサブ間隔である間隔で、これらのステップを繰り返し得る。ビデオエンコーダ200が次のビンについてこれらのステップを繰り返すとき、ビデオエンコーダ200は、識別されたコーディングコンテキストおよび符号化されたビンの実際の値によって示される確率に基づく、修正された確率を使用し得る。
【0054】
[0070] ビデオデコーダ300が、シンタックス要素の値においてCABAC復号を実施するとき、ビデオデコーダ300は、コーディングコンテキストを識別し得る。ビデオデコーダ300は次いで、間隔を下位サブ間隔と上位サブ間隔とに分割し得る。サブ間隔のうちの一方は、値0に関連付けられ得、他方のサブ間隔は、値1に関連付けられ得る。サブ間隔の幅は、識別されたコーディングコンテキストによって、関連付けられた値について示される確率に比例し得る。符号化された値が下位サブ間隔内にある場合、ビデオデコーダ300は、下位サブ間隔に関連付けられた値を有するビンを復号し得る。符号化された値が上位サブ間隔内にある場合、ビデオデコーダ300は、上位サブ間隔に関連付けられた値を有するビンを復号し得る。シンタックス要素の次のビンを復号するために、ビデオデコーダ300は、符号化された値を含んでいるサブ間隔である間隔で、これらのステップを繰り返し得る。ビデオデコーダ300が次のビンについてこれらのステップを繰り返すとき、ビデオデコーダ300は、識別されたコーディングコンテキストおよび復号されたビンによって示される確率に基づく、修正された確率を使用し得る。ビデオデコーダ300は次いで、シンタックス要素の値を復元するために、ビンを逆2値化し得る。
【0055】
[0071] いくつかの事例では、ビデオエンコーダ200は、バイパスCABACコーディングを使用して、ビンを符号化し得る。ビンに対してバイパスCABACコーディングを実施することは、ビンに対して通常のCABACコーディングを実施することよりも、計算コストが高くないことがある。さらに、バイパスCABACコーディングを実施することは、より高度の並列化とスループットとを可能にし得る。バイパスCABACコーディングを使用して符号化されたビンは、「バイパスビン」と呼ばれることがある。一緒にバイパスビンをグループ化することは、ビデオエンコーダ200およびビデオデコーダ300のスループットを増加させ得る。バイパスCABACコーディングエンジンは、単一のサイクルにおいていくつかのビンをコーディングすることが可能であり得るが、通常のCABACコーディングエンジンは、サイクルにおいて単一のビンのみをコーディングすることが可能であり得る。バイパスCABACコーディングエンジンがコンテキストを選択せず、両方のシンボル(0および1)について1/2の確率を仮定し得るので、バイパスCABACコーディングエンジンは、より単純であり得る。したがって、バイパスCABACコーディングでは、間隔は、直接半分にスプリットされる。
【0056】
[0072] ビデオエンコーダ200は、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはシーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、もしくはビデオパラメータセット(VPS)などの他のシンタックスデータ中で、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータをさらに生成し得る。ビデオデコーダ300は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。
【0057】
[0073] このようにして、ビデオエンコーダ200は、符号化ビデオデータ、たとえば、ブロック(たとえば、CU)へのピクチャの区分ならびにブロックのための予測および/または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ300は、ビットストリームを受信し、符号化ビデオデータを復号し得る。
【0058】
[0074] 概して、ビデオデコーダ300は、ビットストリームの符号化ビデオデータを復号するために、ビデオエンコーダ200によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ300は、ビデオエンコーダ200のCABAC符号化プロセスと逆ではあるが、それと実質的に同様の様式でCABACを使用してビットストリームのシンタックス要素の値を復号し得る。シンタックス要素は、CTUのCUを定義するために、ピクチャをCTUに区分するための区分情報と、QTBT構造などの対応する区分構造に従う、各CTUの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック(たとえば、CU)のための予測および残差情報をさらに定義し得る。
【0059】
[0075] 残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ300は、ブロックの残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ300は、ブロックの予測ブロックを形成するために、シグナリングされた予測モード(イントラまたはインター予測)と、関連する予測情報(たとえば、インター予測のための動き情報)とを使用する。ビデオデコーダ300は、次いで、元のブロックを再生するために(サンプルごとに)予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ300は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。
【0060】
[0076] イントラ予測は、DC予測モードと、平面予測モードと、方向性(または角度)予測モードとを伴う。正方形ブロックのための方向性予測は、図2に示されているように、VVCテストモデル2(VTM2)(J.Chen、Y.Ye、S.Kim、「Algorithm description for Versatile Video Coding and Test Mode 2 (VTM2)」、第11回JVET会合、リュブリャナ、スロベニア、2018年7月、JVET-K1002)における現在ブロックの-135度と45度との間の方向を使用する。図2は、矢印が参照サンプルの方を指している、イントラ予測の一例を示すブロック図である。
【0061】
[0077] VTM2では、イントラ予測のための予測ブロックを指定するために使用されるブロック構造は、正方形(幅w=高さh)に制限されない。矩形または非正方形の予測ブロック(w>hまたはw<h)は、コンテンツの特性に基づいて、コーディング効率を高めることができる。
【0062】
[0078] そのような矩形ブロックでは、イントラ予測の方向を-135度から45度内になるように制限することは、イントラ予測のためのより近い参照サンプルではなく、より遠い参照サンプルが使用される状況を生じ得る。そのような設計は、コーディング効率への影響を有する可能性があり、(-135から45度の角度を超える)より近い参照サンプルが予測のために使用され得るように緩和された制限の範囲を有することがより有益である。そのような場合の一例が、図3に与えられている。図3は、-135度から45度の範囲内になるようなイントラ予測方向の制限のために、「より近い」参照サンプル(右上の破線の円502)が使用されず、より遠い参照サンプル(左下の破線の円504)が使用され得る、8×4矩形ブロックの一例の概念図である。図4は、VTM2において採用される広角の例示である。
【0063】
[0079] 第12回JVET会合の間に、広角イントラ予測の変更が、VTM3に採用された(L.Zhao、X.Zhao、S.Liu、X.Li、「CE3-related:Unification of angular intra prediction for square and non-square blocks」、第12回JVET会合、マカオ特別行政区、中国、2018年10月、JVET-L0279と、J.Chen、Y.Ye、S.Kim、「Algorithm description for Versatile Video Coding and Test Mode 3 (VTM3)」、第12回JVET会合、マカオ特別行政区、中国、2018年10月、JVET-L1002と、B.Bross、J.Chen、S.Liu、「Versatile Video Coding (Draft 3)」、第12回JVET会合、マカオ特別行政区、中国、2018年10月、JVET-L1001とを参照)。この採用は、正方形および非正方形ブロックのための角度イントラ予測を統一するために、2つの変更を含む。第1に、角度予測方向が、すべてのブロック形状の対角線方向をカバーするように変更される。第2に、図5A図5Cに示されているように、すべての角度方向が、すべてのブロックアスペクト比(正方形および非正方形)のための左下対角線方向と右上対角線方向との間の範囲内に保たれる。図5A図5B、および図5Cは、対角線方向範囲の外側のイントラ予測モードのためのモードマッピングプロセスの図である。図5Aは、角度モード再マッピングを必要としない、正方形ブロックを示す。図5Bは、水平の非正方形ブロックのための角度モード再マッピングを示す。図5Cは、垂直の非正方形ブロックのための角度モード再マッピングを示す。
【0064】
[0080] 加えて、上の参照行および左の参照列における参照サンプルの数が、すべてのブロック形状について2*幅+1および2*高さ+1に制限される。VTM3において採用される、より広い角度の例示が、図6において提供される。図6は、合計93個の角度モードのための、モード2および66を超えるVVCテストモデル3(VTM3)における広角(-1から-14、および67から80)を示す概念図である。VTM3は、95個のモードを定義しているが、任意のブロックサイズについて、67個のモードのみが許容される。許容される厳密なモードは、ブロック幅と高さとの比に依存する。これは、いくつかのブロックサイズのためのモード範囲を制限することによって行われる。
【0065】
[0081] 図7に示されている表1は、イントラ予測モード(predModeIntra)と、VTM3(JVET-L1001)における角度パラメータintraPredAngleとの間のマッピングテーブルを指定している。非正方形ブロック対角線と対応する角度モードが、下線付きで示されている。垂直モードおよび水平モードが、イタリック体で示されている。正方形ブロック対角線モードが、下線付きおよびイタリック体で示されている。ブロックのための対角線モードは、ブロックの左下隅と右上隅との間、またはブロックの左上隅と右下隅との間の直線のための角度に等しい角度を各々有する。本開示では、正のintraPredAngle値をもつ角度モードが、正角度モード(モードインデックス<18または>50)と呼ばれるが、負のintraPredAngle値をもつ角度モードが、負角度モード(モードインデックス>18および<50)と呼ばれる。
【0066】
[0082] 逆の角度パラメータinvAngleが、次のように、intraPredAngleに基づいて導出される。
【0067】
【数3】
【0068】
[0083] 32の倍数(0、32、64、128、256、512)であるintraPredAngle値は、VTM3仕様の場合のように、非部分参照アレイサンプルからの予測に対応することに留意されたい。
【0069】
[0084] 以下の表2は、様々なアスペクト比を有するブロックのための対角線モード(すなわち、対角線イントラ予測モード)を示す。
【0070】
【表1】
【0071】
[0085] コーディングブロックの近傍にあるサンプルが、ブロックのイントラ予測のために使用される。典型的には、コーディングブロックの左および上の境界に最も近い再構成された参照サンプルラインが、イントラ予測のために参照サンプルとして使用される。ただし、VVC WD4はまた、コーディングブロックの近傍にある他のサンプルが参照サンプルとして使用されることも可能にする。図8は、イントラ予測のために使用され得る参照サンプルラインを示す。図8の例では、参照サンプルラインが、複数の参照ラインインデックス(MRLIdx)を使用して示されている。各コーディングブロックについて、使用される参照ラインを示すインデックスがシグナリングされる。
【0072】
[0086] シグナリングされたインデックスの値は、シグナリングされたインデックスによって示されたMRLIdxとは異なり得る。たとえば、VVC WD4では、0、1、および3に等しいMRLIdxをもつ参照ラインのみが使用され得る。VVC WD4では、ブロックをコーディングするために使用される参照ラインへのシグナリングされたインデックス(それぞれ、MRLIdx0、1、および3をもつラインを示す、値0、1、および2)が、短縮単項コードワードを用いてコーディングされる。平面モードおよびDCモードは、MRLIdx>0のとき、使用されない。VVCのより最近のバージョンでは、0、1、および2に等しいMRLIdxが使用され得、DCモードは、MRLIdx>0のとき、使用され得る。
【0073】
[0087] イントラ予測モードをシグナリングするプロセスをより効率的にするために、ビデオエンコーダ200およびビデオデコーダ300は、ブロックのための「最確モード」(MPM)であるとして、1つまたは複数のイントラ予測モードを識別し得る。ブロックのイントラ予測モードが、ブロックのためのMPMのうちの1つである場合、MPMへのインデックスがシグナリングされる。ブロックのイントラ予測モードが、ブロックのためのMPMのうちの1つではない場合、ブロックのための非MPMイントラ予測モードのうちの1つへのインデックスがシグナリングされ得る。典型的には、非MPMイントラ予測モードよりも、ブロックのためのはるかに少ないMPMがあるので、MPMへのインデックスは、非MPMイントラ予測モードへのインデックスよりも少ないビットを使用してシグナリングされ得る。ブロックのためのMPMを決定するイントラ予測モードを決定するためのプロセスの一例における、VVC WD4からの以下のテキスト。
【0074】
このプロセスへの入力は、以下の通りである。
【0075】
現在ピクチャの左上ルーマサンプルに対する現在ルーマコーディングブロックの左上サンプルを指定するルーマロケーション(xCb,yCb)、
ルーマサンプル中の現在コーディングブロックの幅を指定する変数cbWidth、
ルーマサンプル中の現在コーディングブロックの高さを指定する変数cbHeight。
【0076】
このプロセスでは、ルーマイントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
【0077】
表8-1は、イントラ予測モードIntraPredModeY[xCb][yCb]のための値と、関連付けられた名前とを指定する。
【0078】
【表2】
【0079】
IntraPredModeY[xCb][yCb]が、以下の順序付きステップによって導出される。
【0080】
隣接ロケーション(xNbA,yNbA)および(xNbB,yNbB)が、それぞれ(xCb-1,yCb+cbHeight-1)および(xCb+cbWidth-1,yCb-1)に等しく設定される。
【0081】
XがAまたはBのいずれかによって置き換えられるために、変数candIntraPredModeXが、次のように導出される。
【0082】
6.4.X節において指定されているような、ブロックのための利用可能性導出プロセス[Ed.(BB):未決定の隣接ブロック利用可能性チェックプロセス]が、(xCb,yCb)に等しく設定されたロケーション(xCurr,yCurr)と、(xNbX,yNbX)に等しく設定された隣接ロケーション(xNbY,yNbY)とを入力として呼び出され、出力がavailableXに割り当てられる。
【0083】
候補イントラ予測モードcandIntraPredModeXが、次のように導出される。
【0084】
次の条件のうちの1つまたは複数が真である場合、candIntraPredModeXが、INTRA_PLANARに等しく設定される。
【0085】
変数availableXが、FALSEに等しい。
【0086】
CuPredMode[xNbX][yNbX]が、MODE_INTRAに等しくなく、ciip_flag[xNbX][yNbX]が、1に等しくない。
【0087】
pcm_flag[xNbX][yNbX]が、1に等しい。
【0088】
Xが、Bに等しく、yCb-1が、((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)未満である。
【0089】
そうでない場合、candIntraPredModeXが、IntraPredModeY[xNbX][yNbX]に等しく設定される。
【0090】
変数ispDefaultMode1およびispDefaultMode2が、次のように定義される。
【0091】
IntraSubPartitionsSplitTypeが、ISP_HOR_SPLITに等しい場合、ispDefaultMode1が、INTRA_ANGULAR18に等しく設定され、ispDefaultMode2が、INTRA_ANGULAR5に等しく設定される。
【0092】
そうでない場合、ispDefaultMode1が、INTRA_ANGULAR50に等しく設定され、ispDefaultMode2が、INTRA_ANGULAR63に等しく設定される。
【0093】
x=0..5であるcandModeList[x]が、次のように導出される。
【0094】
candIntraPredModeBが、candIntraPredModeAに等しく、candIntraPredModeAが、INTRA_DCよりも大きい場合、x=0..5であるcandModeList[x]が、次のように導出される。
【0095】
IntraLumaRefLineIdx[xCb][yCb]が、0に等しく、IntraSubPartitionsSplitTypeが、ISP_NO_SPLITに等しい場合、以下が適用される。
【0096】
【数4】
【0097】
そうでない(IntraLumaRefLineIdx[xCb][yCb]が、0に等しくないか、またはIntraSubPartitionsSplitTypeが、ISP_NO_SPLITに等しくない)場合、以下が適用される。
【0098】
【数5】
【0099】
以下の条件のうちの1つが真である場合、
IntraSubPartitionsSplitTypeが、ISP_HOR_SPLITに等しく、candIntraPredModeAが、INTRA_ANGULAR34未満である、
IntraSubPartitionsSplitTypeが、ISP_VER_SPLITに等しく、candIntraPredModeAが、INTRA_ANGULAR34以上である、
IntraLumaRefLineIdx[xCb][yCb]が、0に等しくない、
以下が適用される。
【0100】
【数6】
【0101】
そうでない場合、以下が適用される。
【0102】
【数7】
【0103】
そうでない場合、candIntraPredModeBが、candIntraPredModeAに等しくなく、candIntraPredModeAまたはcandIntraPredModeBが、INTRA_DCよりも大きい場合、以下が適用される。
【0104】
変数minABおよびmaxAMが、次のように導出される。
【0105】
【数8】
【0106】
candIntraPredModeAおよびcandIntraPredModeBが、両方ともINTRA_DCよりも大きい場合、x=0..5であるcandModeList[x]が、次のように導出される。
【0107】
【数9】
【0108】
IntraLumaRefLineIdx[xCb][yCb]が、0に等しく、IntraSubPartitionsSplitTypeが、ISP_NO_SPLITに等しい場合、以下が適用される。
【0109】
【数10】
【0110】
maxAB-minABが、両端値を含む、2から62の範囲内である場合、以下が適用される。
【0111】
【数11】
【0112】
そうでない場合、以下が適用される。
【0113】
【数12】
【0114】
そうでない(IntraLumaRefLineIdx[xCb][yCb]が、0に等しくないか、またはIntraSubPartitionsSplitTypeが、ISP_NO_SPLITに等しくない)場合、以下が適用される。
【0115】
IntraSubPartitionsSplitTypeが、ISP_NO_SPLITに等しくなく、abs(candIntraPredModeB-ispDefaultMode1)が、abs(candIntraPredModeA-ispDefaultMode1)未満であるとき、以下が適用される。
【0116】
【数13】
【0117】
maxAB-minABが1に等しい場合、以下が適用される。
【0118】
【数14】
【0119】
そうでない場合、maxAB-minABが2に等しい場合、以下が適用される。
【0120】
【数15】
【0121】
そうでない場合、maxAB-minABが61よりも大きい場合、以下が適用される。
【0122】
【数16】
【0123】
そうでない場合、以下が適用される。
【0124】
【数17】
【0125】
そうでない(candIntraPredModeAまたはcandIntraPredModeBが、INTRA_DCよりも大きい)場合、x=0..5であるcandModeList[x]が、次のように導出される。
【0126】
IntraLumaRefLineIdx[xCb][yCb]が、0に等しく、IntraSubPartitionsSplitTypeが、ISP_NO_SPLITに等しい場合、以下が適用される。
【0127】
【数18】
【0128】
そうでない場合、IntraLumaRefLineIdx[xCb][yCb]が、0に等しくない場合、以下が適用される。
【0129】
【数19】
【0130】
そうでない(IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくない)場合、以下が適用される。
【0131】
【数20】
【0132】
そうでない場合、以下が適用される。
【0133】
IntraLumaRefLineIdx[xCb][yCb]が、0に等しく、IntraSubPartitionsSplitTypeが、ISP_NO_SPLITに等しい場合、以下が適用される。
【0134】
【数21】
【0135】
そうでない場合、IntraLumaRefLineIdx[xCb][yCb]が、0に等しくない場合、以下が適用される。
【0136】
【数22】
【0137】
そうでない場合、IntraSubPartitionsSplitTypeが、ISP_HOR_SPLITに等しい場合、以下が適用される。
【0138】
【数23】
【0139】
そうでない場合、IntraSubPartitionsSplitTypeが、ISP_VER_SPLITに等しい場合、以下が適用される。
【0140】
【数24】
【0141】
IntraPredModeY[xCb][yCb]が、以下の手順を適用することによって導出される。
【0142】
intra_luma_mpm_flag[xCb][yCb]が、1に等しい場合、IntraPredModeY[xCb][yCb]が、candModeList[intra_luma_mpm_idx[xCb][yCb]]に等しく設定される。
【0143】
そうでない場合、IntraPredModeY[xCb][yCb]が、以下の順序付きステップを適用することによって導出される。
【0144】
i=0..4について、および各i,j=(i+1)..5について、candModeList[i]が、candModeList[j]よりも大きいとき、両方の値が次のようにスワップされる。
【0145】
【数25】
【0146】
IntraPredModeY[xCb][yCb]が、以下の順序付きステップによって導出される。
【0147】
IntraPredModeY[xCb][yCb]が、intra_luma_mpm_remainder[xCb][yCb]に等しく設定される。
【0148】
両端値を含む、0から5に等しいiについて、IntraPredModeY[xCb][yCb]が、candModeList[i]以上であるとき、IntraPredModeY[xCb][yCb]の値が、1だけ増分される。
【0149】
x=xCb..xCb+cbWidth-1であり、y=yCb..yCb+cbHeight-1である、変数IntraPredModeY[x][y]が、IntraPredModeY[xCb][yCb]に等しくなるように設定される。
【0150】
[0088] イントラ下位区分コーディング(ISP)(S.De Luxan Hernandez、V.George、J.Ma、T.Nguyen、H.Schwarz、D.Marpe、T.Wiegand (HHI)、「CE3:Intra Sub-Partitions Coding Mode」、JVET-M0102参照)は、それによってコーディングブロックが2つまたは4つのサブブロックにスプリットされる方法である。ブロック内の各サブブロックは、復号順序における後続のサブブロックの再構成の前に、復号順序において再構成される。VVC WD4では、ISPは、ルーマコーディングブロックのみに適用される。ISPコード化ブロックのための参照サンプルは、コーディングブロックに最も近い参照ライン(たとえば、図8に示されているような、MRLIdx=0)からであるように制限される。スプリッティングの例が、図9および図10に示されている。
【0151】
[0089] 1ビットが、コーディングブロックがISPにスプリットされるか否かをシグナリングするために使用され、第2のビットが、スプリットタイプ、すなわち、水平または垂直を示すために使用される。使用されるイントラモードおよびスプリットタイプに基づいて、標準順序および逆順序と呼ばれる、処理順序の2つの異なるクラスが使用され得る。標準順序では、処理されることになる第1の下位区分は、CUの左上サンプルを含んでおり、次いで、下方(水平スプリット)または右方向(垂直スプリット)に継続するものである。一方、逆処理順序は、CUの左下サンプルを含んでいる下位区分で開始し(水平スプリット)、上方に継続するか、またはCUの右上サンプルを含んでいる下位区分で開始し、左方向に継続する(垂直スプリット)かのいずれかである。
【0152】
[0090] 標準処理順序のみを使用するISPの変形形態が、JVET WD4において使用される。サブブロックおよび下位区分という用語は、本明細書で互換的に使用され、両方が、ISPを使用して、コーディングブロックを区分することによって取得されたブロックを指すことに留意されたい。
【0153】
[0091] JVET WD4においてISPに関連付けられたいくつかのシンタックスおよびセマンティクスが、以下に示されており、関連するシンタックスが、タグ<!>...</!>中に囲まれている。
【0154】
【表3】
【0155】
【表4-1】
【表4-2】
【0156】
コーディングユニットのセマンティクス
<!>1に等しいintra_subpartitions_mode_flag[x0][y0]は、現在イントラコーディングユニットが、NumIntraSubPartitions[x0][y0]の矩形変換ブロック下位区分に区分されることを指定する。0に等しいintra_subpartitions_mode_flag[x0][y0]は、現在イントラコーディングユニットが、矩形変換ブロック下位区分に区分されないことを指定する。intra_subpartitions_mode_flag[x0][y0]が、存在しないとき、intra_subpartitions_mode_flag[x0][y0]が、0に等しいと推論される。
intra_subpartitions_split_flag[x0][y0]は、イントラ下位区分スプリットタイプが水平であるか、垂直であるかを指定する。intra_subpartitions_mode_flag[x0][y0]が、存在しないとき、intra_subpartitions_mode_flag[x0][y0]が、0に等しいと推論される。変数IntraSubPartitionsSplitTypeは、表2-3に示されているように、現在ルーマコーディングブロックのために使用されたスプリットのタイプを指定する。IntraSubPartitionsSplitTypeは、次のように導出される。
【0157】
- intra_subpartitions_mode_flag[x0][y0]が、0に等しい場合、IntraSubPartitionsSplitTypeが、0に等しく設定される。
【0158】
- そうでない場合、IntraSubPartitionsSplitTypeが、1+intra_subpartitions_split_flag[x0][y0]に等しく設定される。
【0159】
【表5】
【0160】
変数NumIntraSubPartitionsは、イントラルーマコーディングブロックが分割される変換ブロック下位区分の数を指定する。NumIntraSubPartitionsは、次のように導出される。
【0161】
- IntraSubPartitionsSplitTypeが、ISP_NO_SPLITに等しい場合、NumIntraSubPartitionsが、1に等しく設定される。
【0162】
- そうでない場合、次の条件のうちの1つが真である場合、NumIntraSubPartitionsが、2に等しく設定される。
【0163】
- cbWidthが4に等しく、cbHeightが8に等しい、
- cbWidthが8に等しく、cbHeightが4に等しい。
【0164】
- そうでない場合、NumIntraSubPartitionsが、4に等しく設定される。</!>
[0092] アフィン線形重み付けイントラ予測(ALWIP)(たとえば、J.Pfaffら、「Affine linear weighted intra prediction (CE3-4.1,CE3-4.2)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11の共同ビデオ専門家チーム(JVET)、第14回会合:ジュネーブ、スイス、2019年3月19~27日、文書JVET-N0217(以下、「JVET-N0217」)に記載されている)は、アフィン線形重み付け予測モデルを使用して、隣接参照サンプルからブロックの予測(すなわち、予測ブロック)を生成する。隣接サンプルは、最初に処理され(たとえば、場合によっては、隣接サンプルがダウンサンプリングされ)、処理された(たとえば、ダウンサンプリングされた)サンプルが、次いで、予測されたサンプルの中間のダウンサンプリングされたバージョンに似ている、低減されたサンプルのセットを(アフィンモデルを使用して)導出するために使用される。最終的な予測は、中間値を(必要に応じて)アップサンプリングすることによって取得される。ALWIPは、行列イントラ予測(MIP:matrix intra prediction)と呼ばれることもある。
【0165】
[0093] ALWIPプロセスの例示が、図11において与えられている。図11のALWIPプロセスは、ビデオエンコーダ200およびビデオデコーダ300によって実施され得る。低減された境界サンプルを取得するために、ブロックの参照サンプル(境界サンプルとも呼ばれる)が、ダウンサンプリングされる。境界サンプルのベクトル表現、bdryredが、行列Akを用いて乗算され、予測されたブロックのダウンサンプリングされたバージョン、predredを取得するために、オフセット/バイアス項bkが加算される。最終的な予測は、境界サンプルとともに、これらの予測されたサンプルpredredをアップサンプリングすることによって取得される。行列Akおよびオフセット/バイアスベクトルbkは、ブロックのために示されたモード値に基づいて選定される。行列Akおよびオフセット/バイアスベクトルbkの組合せは、本明細書では「ALWIPモード」と呼ばれることがある。
【0166】
[0094] 中間の予測されたサンプルの導出は、アフィン線形重み付け予測モデルを使用する。3つのタイプ(すなわち、ALWIPタイプ)が定義され、導出される中間サンプルの数は、次のように、タイプごとに異なる。
【0167】
1)両方とも4に等しい幅および高さのブロックサイズの場合、4×4。言い換えれば、4×4のサイズを有するブロックのための16個の中間サンプルがある。
【0168】
2)幅と高さの両方が4に等しいときを除いて、両方とも8以下の幅および高さのブロックサイズ(すなわち、4×8、8×4、および8×8ブロック)の場合、8×8。言い換えれば、H×Wのサイズを有するブロックのための64個の中間サンプルがあり、ただし、4<H≦8および4<W≦8、またはH=4および4<W≦8、またはW=4および4<H≦8である。
【0169】
3)幅および高さのうちの少なくとも1つが8よりも大きいブロックの場合、16×16。言い換えれば、H×Wのサイズを有するブロックのための256個の中間サンプルがあり、そこで、H>8またはW>8のいずれかである。
これらの3つの場合の各々において、ALWIPモードの異なる数、すなわち、35、19、および11が、それぞれ使用される。言い換えれば、ALWIPタイプ1では、35個の異なる利用可能なALWIPモードがあり、ALWIPタイプ2では、19個の異なる利用可能なALWIPモードがあり、ALWIPタイプ3では、利用可能な11個の異なるALWIPモードがある。異なるALWIPモードの各々は、行列Akおよびオフセット/バイアス値bkの異なる組合せに対応し得る。
【0170】
[0095] ALWIPのシグナリングは、以下を含む。
【0171】
a)現在ブロックが、ALWIPを用いてコーディングされることを示すための、フラグ(alwip_flag)。
【0172】
b)現在ブロックが、ALWIPを用いてコーディングされるとき、現在ブロックが、ALWIP-最確モード(MPM)モードを用いてコーディングされるか否かを示すために、別のフラグがシグナリングされる。
【0173】
a.ブロックが、ALWIP-MPMモードを用いてコーディングされる場合、MPMインデックスがシグナリングされる。ALWIP-MPMモードの導出については、本開示で、以下で説明される。
【0174】
b.他の場合、残りのモード値へのインデックスがシグナリングされる。残りのモード値は、ALWIP-MPMモード以外のALWIPモードを示す。
【0175】
[0096] alwip_flagは、4つのコンテキストが許容される、コーディングされたコンテキストである。
【0176】
- ブロック幅>2*高さ、または高さ>2*幅である場合、コンテキスト3が使用される。
【0177】
- 他の場合、コンテキストctxIdが使用され、ただし、ctxIdは、次のように導出される。
【0178】
〇 ctxIdを0に初期化する。
【0179】
〇 左の隣接ブロックが、ALWIPを用いてコーディングされる場合、ctxId++(すなわち、ctxIdを増分する)。
【0180】
〇 上方の隣接ブロックが、ALWIPを用いてコーディングされる場合、ctxId++。
【0181】
[0097] ALWIP MPMモードの導出は、以下のステップを伴う。
【0182】
1)LeftIntraModeおよびAboveIntraModeが、-1に初期化される。
【0183】
2)左の隣接ブロックが、イントラコーディングされる場合:
a.左の隣接ブロックが、ALWIPモードLを用いてコーディングされる場合(すなわち、左の隣接ブロックが、ALWIPを用いてコーディングされる場合、左の隣接ブロックのALWIPモードが、Lとして示されるものとする):
i.Lが、現在ブロックと同じALWIPタイプのものである場合、LeftIntraModeが、Lに等しく設定される。
【0184】
b.そうでない場合、左の隣接ブロックが、ALWIPモードを用いてコーディングされない場合、左の隣接ブロックのイントラモードが、現在ブロックと同じタイプのALWIPモードにマッピングされ、LeftIntraModeに割り当てられる。
【0185】
3)上方の隣接ブロックが、イントラコーディングされる場合:
a.上方の隣接ブロックが、ALWIPモードAを用いてコーディングされる場合(すなわち、上方の隣接ブロックが、ALWIPを用いてコーディングされる場合、上方の隣接ブロックのALWIPモードが、Aとして示されるものとする):
i.Aが、現在ブロックと同じALWIPタイプのものである場合、AboveIntraModeが、Aに等しく設定される。
【0186】
b.そうでない場合、上方の隣接ブロックが、ALWIPモードを用いてコーディングされない場合、上方の隣接ブロックのイントラモードが、現在ブロックと同じタイプのALWIPモードにマッピングされ、AboveIntraModeに割り当てられる。
【0187】
4)MPMが、次いで、LeftIntraModeおよびAboveIntraModeに基づいて導出される。言い換えれば、第1のALWIP-MPMが、LeftIntraModeに等しく設定され、第2のALWIP-MPMが、AboveIntraModeに等しく設定される。LeftIntraModeが-1に等しいままであるか、またはAboveIntraModeが-1に等しいままである場合、対応するMPMは利用不可能である。
本明細書の残りでは、ALWIPを用いてコーディングされたブロックは、ALWIPコード化ブロック、またはALWIPブロックと呼ばれることがあり、他のブロック(たとえば、通常のイントラ予測、イントラ下位区分、または複数の参照ラインを用いてコーディングされたブロック)は、非ALWIPブロックと呼ばれることがある。
【0188】
[0098] ALWIP(すなわち、MIP)の設計において、いくつかの問題がある。たとえば、現在ブロックがALWIPモードを使用してコーディングされるか否かを示すフラグ(たとえば、alwip_flag)のコンテキスト導出は、左および上方の隣接ブロックからのalwip_flag値を使用する。上方の隣接ブロックのalwip_flagの値は、上方の隣接ブロックが異なるCTU行に属するときでも使用される。このことは、追加の記憶要件を生じる。たとえば、rが、現在のCTU行と前のCTU行との間のCTU境界を指す場合、境界rを共有する前のCTU行からのすべてのブロックのalwip_flagが、記憶される必要がある。4Kピクチャ中の4×4ブロックの最悪のシナリオでは、必要とされるバイト数が、3840/4(ブロックの数)×1(フラグごとのビットの値)=120バイトになる。前のCTU行からのすべてのブロックのalwip_flag値のための記憶を提供することは、ビデオエンコーダ200およびビデオデコーダ300のメモリ記憶要件を増大させ、それによって、ビデオエンコーダ200およびビデオデコーダ300のコストと複雑さとを潜在的に増大させる。
【0189】
[0099] ALWIPの設計に関する問題の別の例では、4×4ブロックのために指定された35個の行列/モードがある。これらの35個の行列/モードは、ALWIPのために必要とされたパラメータのほぼ25%を表す。ALWIP 4×4ブロックを可能にするときの圧縮効率は、ほぼ0.05%であり、記憶は、(35個の行列とオフセット/バイアスベクトルとを記憶するために)約2KBを必要とした。したがって、エンコーダ/デコーダ実装形態における記憶の負担は、得られる効率としては過度である。図12は、VVC WD4における各ALWIPタイプのための行列パラメータおよびオフセットパラメータの数を示す表である。
【0190】
[0100] 非ALWIPブロックの最確モード(MPM)導出の間、左および上方の隣接ブロックのために使用されたイントラモードがチェックされ、利用可能であるとき、使用される。たとえば、ALWIP MPMモードを導出するとき、ビデオコーダ(たとえば、ビデオエンコーダ200およびビデオデコーダ300)は、左の隣接ブロックが利用可能であるか否かを決定し、そうである場合、ビデオコーダは、左の隣接ブロックがイントラコーディングされるか否かを決定し、そうである場合、ビデオコーダは、左の隣接ブロックが、ALWIPモードを使用してコーディングされるか否かを決定する。同様に、ビデオコーダはまた、上方の隣接ブロックが利用可能であるか否かを決定し、そうである場合、ビデオコーダは、上方の隣接ブロックがイントラコーディングされるか否かを決定し、そうである場合、ビデオコーダは、上方の隣接ブロックが、ALWIPモードを使用してコーディングされるか否かを決定する。非ALWIPブロック(すなわち、ALWIPモードを使用してコーディングされないブロック)では、モード値が、角度イントラ予測モードまたは平面/DCイントラ予測モードに対応する。自明な場合を除いて、ALWIPにおいて使用された行列係数の1つのセット(たとえば、ALWIPモードのための行列係数のセット)は、非ALWIPブロックにおいて使用されたイントラモードのいずれにも対応しないことがある。ALWIPは、現在、イントラモードのうちの1つへの、ALWIP行列のマッピングを近似するために、第1のマッピングテーブルを使用する。この近似値が、次いで、非ALWIPブロックのMPM導出において使用されることになる隣接ブロックのイントラモードとして見なされる。言い換えれば、左の隣接ブロックが、非ALWIPイントラ予測モードを使用してコーディングされるとき、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)は、第1のALWIP-MPMを、左の隣接ブロックのための近似値に設定する。同様に、上方の隣接ブロックが、非ALWIPイントラ予測モードを使用してコーディングされるとき、ビデオコーダは、第2のALWIP-MPMを、上方の隣接ブロックのための近似値に設定する。このことは、たとえば、近似における誤りのために、非効率的な圧縮を生じ得る。その上、マッピングテーブルは、追加の記憶を必要とし、MPM導出プロセスにおけるルックアップ演算を追加する。追加の記憶は、ビデオエンコーダ200およびビデオデコーダ300のコストと複雑さとを増大させる。追加のルックアップ演算は、符号化および復号プロセスを減速させ得る。
【0191】
[0101] この問題はまた、クロマブロックのために使用されるイントラモードが、コロケートされたイントラブロックからコピーされる、クロマ直接モード(DM:Direct Mode)モードにも当てはまることがある。コロケートされたイントラブロックがALWIPコーディングされるとき、第1のマッピングテーブルが、ALWIPブロック行列/モードからクロマDMモードを導出するために使用される。言い換えれば、クロマブロックとともにコロケートされたルーマブロック(collocated luma block)は、ALWIPモードを使用してコーディングされ得るが、クロマブロックは、いかなるALWIPモードを使用してコーディングされることも可能ではない。したがって、クロマブロックが、ルーマブロックのイントラ予測モードがクロマブロックによって継承される、クロマDMモードを使用してコーディングされることになる場合、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)が、ルーマブロックのALWIPモードから、クロマブロックにおいて使用するための非ALWIPイントラ予測モードに変換することが必要であり得る。この変換は、コーディング効率を低減し得る近似である。さらに、この変換は、マッピングテーブルのための追加の記憶を必要とすることがあり、ルックアップ演算を追加することがあり、そのことが、ビデオコーダのコストと複雑さとを増大させることがあり、符号化および復号プロセスを減速させることがある。
【0192】
[0102] 前の段落における例と同様に、ALWIPブロックのMPM導出の間、左および上方の隣接ブロックからのイントラモードがチェックされ、利用可能であるとき、使用される。隣接ブロックが非ALWIPブロックであるとき、非ALWIPブロックのイントラモードは、ALWIPブロックによって使用された行列/モードに対応しないことがある。言い換えれば、現在ブロックのサイズと、現在ブロックの上方または左の隣接ブロックのイントラモードとに応じた、現在ブロックとともに使用するために利用可能な異なるALWIPモードは、現在ブロックとともに使用するために利用可能なALWIPモードのいずれにも対応しないことがある。したがって、第2のマッピングテーブルが、非ALWIPブロックのイントラモードを、ALWIPブロックの行列/モードにマッピングするために使用される。このことは、圧縮における非効率を生じ得る。その上、第2のマッピングテーブルは、追加の記憶を必要とし、MPM導出プロセスにおけるルックアップ演算を追加する。隣接ブロックが、組み合わせられたイントラ/インターモード(CIIP)を用いてコーディングされる場合、隣接ブロックは、非イントラコード化モードとして(たとえば、ビデオエンコーダ200およびビデオデコーダ300によって)見なされ、利用不可能としてマークされる。隣接ブロックが、イントラブロックコピーモード(IBC)を用いてコーディングされる場合、ブロックは、非イントラコード化モードとして見なされ、利用不可能としてマークされる。
【0193】
[0103] 本開示は、ALWIPモードの設計を改善し得る技法について説明する。本開示の技法は、ビデオエンコーダ200およびビデオデコーダ300など、ビデオコーダのコストと複雑さとを低減し得、符号化および復号プロセスの速度を高め得る。本開示の技法および例は、個々にまたは任意の組合せにおいて、ビデオエンコーダ200およびビデオデコーダ300によって使用され得る。
【0194】
[0104] 本開示の第1の技法によれば、上方の隣接ブロックが、現在ブロック(すなわち、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)が現在コーディング中であるブロック)とは異なるCTUに属するとき、上方の隣接ブロックが、alwip_flagのためのコンテキストの導出のために利用不可能であると見なされる。たとえば、alwip_flagのためのコンテキストの導出プロセスは、次のように修正され得、<!>...</!>タグが追加を示す。
【0195】
alwip_flagは、4つのコンテキストが許容される、コーディングされたコンテキストである。
【0196】
- ブロック幅>2*高さ、または高さ>2*幅である場合、コンテキスト3が使用される。
【0197】
- 他の場合、コンテキストctxIdが使用され、ただし、ctxIdは、次のように導出される。
【0198】
〇 ctxIdを0に初期化する
〇 左の隣接ブロックが、ALWIPを用いてコーディングされる場合、ctxId++。
【0199】
〇 上方の隣接ブロックが、ALWIPを用いてコーディングされ<!>、上方の隣接ブロックが、現在ブロックと同じCTU中にある場合</!>、ctxId++
したがって、この例では、ビデオエンコーダ200およびビデオデコーダ300は、現在ブロックを含んでいるCTU行の上方のCTU行中のブロックが、ALWIPモードを使用してコーディングされるか否かを示す、データを記憶する必要を回避し得る。そのようなデータを記憶する必要を回避することは、ビデオエンコーダ200およびビデオデコーダ300のコストと複雑さとを低減し得る。
【0200】
[0105] いくつかの例では、上方のCTU行からのalwip_flagの値が、現在ブロックのためのalwip_flagのコンテキストを導出するために、特定の値(たとえば、0)に等しいと推論され得る。言い換えれば、ビデオエンコーダ200およびビデオデコーダ300は、上方のCTU行中にある上方の隣接ブロックのためのalwip_flag値が、すべて同じ特定の値を有すると仮定し得る。このようにして、ビデオエンコーダ200およびビデオデコーダ300は、ビデオエンコーダ200およびビデオデコーダ300のためのコストおよび複雑さの得られた潜在的な低減とともに、現在ブロックを含んでいるCTU行の上方のCTU行中のブロックが、ALWIPモードを使用してコーディングされるか否かを示す、データを記憶する必要を回避し得る。
【0201】
[0106] したがって、本開示の第1の技法の一例によれば、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)は、ALWIPシンタックス要素(ALWIP syntax element)(たとえば、alwip_flag)のためのコンテキストを決定し得る。この例では、ALWIPシンタックス要素は、現在ブロックがALWIPを用いてコーディングされるか否かを示す。さらに、この例では、上方の隣接ブロックが現在ブロックとは異なるCTU中にあることに基づいて、上方の隣接ブロックが、コンテキストを決定するために利用不可能であると決定され、上方の隣接ブロックが、現在ブロックの上方のネイバー(above neighbor)である。この例では、ビデオコーダは、コンテキストに基づいて、ALWIPシンタックス要素をコーディングし得る。たとえば、ビデオコーダは、ALWIPシンタックス要素のCABACコーディングにおけるコンテキストを使用し得る。
【0202】
[0107] 本開示の第2の技法によれば、幅wTおよび高さhTの特定のしきい値未満のブロックのためのALWIPを無効にするために、制約が導入される。言い換えれば、ビデオコーディング規格(たとえば、VVCなど)は、しきい値幅未満の幅(a width less than a threshold width)、またはしきい値高さ未満の高さ(a height less than a threshold height)を有するブロックのためのALWIPを無効にする制約(constraint)を課し得る。したがって、ビデオコーディング規格は、wT未満の幅と、hT未満の高さとを有するブロックが、ALWIPを使用してコーディングされることが可能ではないことを指定し得る。たとえば、制約は、ALWIPが、8未満の幅と8未満の高さとをもつブロックに対して無効にされることを規定し得る。いくつかの例では、ALWIP関連シンタックス要素は、そのようなブロックサイズ制限に基づいて調整される。上述されたように、たとえば、図12に関して、ALWIPを用いた小さいブロックのコーディングは、高い記憶要件を生じ得るが、コーディング効率における比較的適度の利得を生じ得る。この制約を導入することは、ビデオエンコーダ200およびビデオデコーダ300がALWIPを実装するために記憶する必要があり得るパラメータの数を低減し、それによって、ビデオエンコーダ200およびビデオデコーダ300の複雑さとコストとを潜在的に低減し得る。したがって、本開示の第2の技法によれば、しきい値幅(たとえば、8)未満の幅、またはしきい値高さ(たとえば、8)未満の高さを有するブロックのためのALWIPを無効にする制約が課され得る。
【0203】
[0108] 本開示の第3の技法によれば、ALWIPコード化隣接ブロックが、非ALWIPコード化ブロックのMPM導出において考慮/テストされるとき、隣接ブロックが利用不可能(または、インターコード化)であると見なされ得、および/または、そのような隣接ブロックのイントラモードの値が、非ALWIPコード化ブロックのMPM導出のための特定の値(たとえば、平面モード、DCモード、または別のイントラ予測モード)であると推論され得る。説明を簡単にするために、本開示は、特定の値をデフォルト値と呼ぶことがある。このようにして、ビデオエンコーダ200およびビデオデコーダ300は、ALWIPモードを非ALWIPイントラ予測モードにマッピングするために、マッピングテーブルを記憶する必要を回避し得、マッピングテーブルへのルックアップ演算を回避し得る。このことは、ビデオエンコーダ200およびビデオデコーダ300の記憶要件を低減し得、そのことは、ビデオエンコーダ200およびビデオデコーダ300のコストと複雑さとを低減し得る。
【0204】
[0109] したがって、本開示の第3の技法によれば、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)は、ALWIPを使用してコーディングされない現在ブロックのための1つまたは複数のMPMを導出する、MPM導出プロセスを実施し得る。MPM導出プロセスを実施することの一部として、ビデオコーダは、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定し得る。隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、ビデオコーダは、隣接ブロックのイントラ予測モードの値がデフォルト値であると決定し得る。ビデオコーダは、次いで、1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含め得る。隣接ブロックがALWIPコーディングされない場合、ビデオコーダは、1つまたは複数のMPMが隣接ブロックのイントラ予測モードを含むと決定し得る。ビデオコーダは、現在ブロックのためのMPMのうちの1つに基づいて、または別のイントラ予測モードに基づいて、現在ブロックをコーディング(たとえば、符号化または復号)し得る。
【0205】
[0110] さらに、いくつかの例では、クロマブロックが、DMモードを用いてコーディングされ(すなわち、クロマブロックのイントラ予測モードが、コロケートされたルーマブロックから継承され)、コロケートされたルーマブロック(または、より詳細には、クロマブロックのDMモードを導出するために使用されたルーマブロック)が、ALWIPを用いてコーディングされるとき、コロケートされたブロックのイントラモードが、デフォルト値(たとえば、平面)であると決定、たとえば、推論され得る。このようにして、ビデオエンコーダ200およびビデオデコーダ300は、ALWIPモードを非ALWIPイントラ予測モードにマッピングするために、マッピングテーブルを記憶する必要を回避し得、マッピングテーブルへのルックアップ演算を回避し得る。このことは、ビデオエンコーダ200およびビデオデコーダ300の記憶要件を低減し得、そのことは、ビデオエンコーダ200およびビデオデコーダ300のコストと複雑さとを低減し得る。
【0206】
[0111] したがって、クロマブロックがDMモードを用いてコーディングされる、いくつかの例では、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)は、コロケートされたルーマブロックが、ALWIPを用いてコーディングされるか否かを決定し得、そこで、コロケートされたルーマブロックが、クロマブロックとともにコロケートされる。コロケートされたルーマブロックが、ALWIPを用いてコーディングされることに基づいて、ビデオコーダは、コロケートされたルーマブロックのイントラ予測モードが、平面モードまたは別のイントラ予測モードなど、デフォルト値(たとえば、平面モード)であると決定、たとえば、推論し得る。ビデオコーダは、デフォルト値に対応するイントラ予測モードを使用して、クロマブロックをコーディング(たとえば、符号化または復号)し得る。たとえば、デフォルト値に対応するイントラ予測モードを使用して、クロマブロックを符号化するために、ビデオエンコーダ200は、イントラ予測モードを使用して、予測ブロックを生成し得る。ビデオエンコーダ200は、次いで、クロマブロックおよび予測ブロックのサンプルに基づいて、クロマブロックのための残差データを生成し得る。デフォルト値に対応するイントラ予測モードを使用して、クロマブロックを復号するために、ビデオデコーダ300は、イントラ予測モードを使用して、予測ブロックを生成し得る。ビデオデコーダ300は、次いで、予測ブロックと、クロマブロックのための残差データとに基づいて、クロマブロックを再構成し得る。
【0207】
[0112] 本開示の第4の技法によれば、非ALWIP隣接ブロックが、ALWIPブロックのMPM導出において使用されるとき、隣接ブロックが利用不可能(または、インターコード化)であると見なされ得、および/または、隣接モード値が、ALWIPブロックのMPM導出のためのデフォルト値に割り当てられ得る。言い換えれば、ALWIPコード化ブロックのためのALWIP-MPMを決定し、隣接ブロックがALWIPを使用してコーディングされないとき、ビデオエンコーダ200およびビデオデコーダ300は、隣接ブロックが利用不可能であると見なし得るか、または、隣接ブロックがデフォルトイントラ予測モードを有すると仮定し得る。このことは、ビデオエンコーダ200およびビデオデコーダ300が、非ALWIP方向性イントラ予測モードをALWIPモードに変換するために、マッピングデータを記憶する必要を回避または低減し得る。そのようなマッピングデータを記憶する必要を回避または低減することは、ビデオエンコーダ200およびビデオデコーダ300のコストと複雑さとを低減し得る。
【0208】
[0113] いくつかの例では、隣接ブロックが、組み合わせられたイントラ/インターモード(CIIP)を用いてコーディングされる場合、隣接ブロックは、利用可能であると見なされ、ALWIPブロックのMPM導出のために、平面モード、または別の適切な非ALWIPモードを割り当てられ得る。代替的に、コーディング効率の利益を最適化するために、CIIPモードが、適切なALWIPモードに直接マッピングされ得る。割当ては、ブロック寸法などに依存し得る。隣接ブロックが、イントラブロックコピーモード(IBC)を用いてコーディングされる場合、ブロックは、利用可能であると見なされ、ALWIPブロックのMPM導出のために、平面モード、または他の適切な非ALWIPモードを割り当てられ得る。代替的に、コーディング効率の利益を最適化するために、IBCモードが、適切なALWIPモードに直接マッピングされ得る。割当ては、ブロック寸法などに依存し得る。CIIPモードおよびIBCモードを、平面モードなどの特定のモードに直接(たとえば、1対1の関係において)マッピングすることは、より複雑なマッピングデータを記憶する必要を回避または低減し得る。より複雑なマッピングデータを記憶する必要を回避または低減することは、ビデオエンコーダ200およびビデオデコーダ300のコストと複雑さとを低減し得る。
【0209】
[0114] 本開示の第5の技法によれば、4または0.25の幅と高さとの比をもつブロックのためのALWIPを無効にするために、制約が導入され得る。言い換えれば、ビデオコーディング規格は、4または0.25の幅と高さとの比を有するブロックが、ALWIPを使用してコーディングされないことがあることを規定し得る。そのような幅と高さとの比を有するブロックをコーディングしないことは、ビデオエンコーダ200およびビデオデコーダ300が記憶する必要があり得るALWIPパラメータの数を低減し、それによって、ビデオエンコーダ200およびビデオデコーダ300のコストと複雑さとを潜在的に低減し得る。
【0210】
[0115] ALWIPのためのMPMリスト導出は、現在ブロックの右上に隣接する(たとえば、右上サンプルのすぐ上方の)、および/または左下のサンプルに隣接する(たとえば、左下サンプルのすぐ左の)隣接ブロックからのモードを使用する。いくつかの例では、ALWIPのためのMPMを導出するために使用される隣接ロケーションは、通常のイントラ予測のためのMPMを導出するために使用される隣接ロケーションと整合される。より一般的には、現在ブロックの近傍にある任意の1つまたは複数のブロックが、ALWIPのためのMPM導出のために使用され得る。図13は、本開示の1つまたは複数の技法による、現在ブロック554のためのALWIP MPMを導出するために使用された例示的な隣接ブロック550、552を示す概念図である。図13の例では、ブロックA(550)は、現在ブロック554の右上サンプルに(上で)隣接するブロックである。ブロックL(552)は、現在ブロック554の左下サンプルに(左で)隣接するブロックである。
【0211】
[0116] JVET-N0217からの以下の仕様テキストは、本開示の第4の技法に関して説明された技法を実装するために編集される。変更は、タグ<!>...</!>によって示される。

ALWIPブロックのMPM導出のためのCIIPコード化ブロックへのモードの割当て
アフィン線形重み付けイントラ予測モードのための導出プロセス
このプロセスへの入力は、以下の通りである。
- 現在ピクチャの左上ルーマサンプルに対する現在ルーマコーディングブロックの左上サンプルを指定するルーマロケーション(xCb,yCb)、
- ルーマサンプル中の現在コーディングブロックの幅を指定する変数cbWidth、
- ルーマサンプル中の現在コーディングブロックの高さを指定する変数cbHeight。
【0212】
このプロセスでは、アフィン線形重み付けイントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
【0213】
IntraPredModeY[xCb][yCb]が、以下の順序付きステップによって導出される。
【0214】
1.隣接ロケーション(xNbA,yNbA)および(xNbB,yNbB)が、それぞれ(xCb-1,yCb)および(xCb,yCb-1)に等しく設定される。
【0215】
2.XがAまたはBのいずれかによって置き換えられるために、変数candLwipModeXが、次のように導出される。
【0216】
- 6.4.X節において指定されているような、ブロックのための利用可能性導出プロセス[Ed.(BB):未決定の隣接ブロック利用可能性チェックプロセス]が、(xCb,yCb)に等しく設定されたロケーション(xCurr,yCurr)と、(xNbX,yNbX)に等しく設定された隣接ロケーション(xNbY,yNbY)とを入力として呼び出され、出力がavailableXに割り当てられる。
【0217】
- 候補アフィン線形重み付けイントラ予測モードcandLwipModeXが、次のように導出される。
【0218】
- 次の条件のうちの1つまたは複数が真である場合、candLwipModeXが、-1に等しく設定される。
【0219】
- 変数availableXが、FALSEに等しい。
【0220】
- CuPredMode[xNbX][yNbX]が、MODE_INTRAに等しくなく、ciip_flag[xNbX][yNbX]が、1に等しくない。
【0221】
- pcm_flag[xNbX][yNbX]が、1に等しい。
【0222】
- Xが、Bに等しく、yCb-1が、((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)未満である。
【0223】
- そうでない場合、以下が適用される。
【0224】
- 8.4.X.1節において指定されているような、ブロックのためのサイズタイプ導出プロセスが、ルーマサンプル中の現在コーディングブロックの幅cbWidthと、ルーマサンプル中の現在コーディングブロックの高さcbHeightとを入力として呼び出され、出力が変数sizeIdに割り当てられる。
【0225】
- intra_lwip_flag[xNbX][yNbX]が1に等しい場合、8.4.X.1節において指定されているような、ブロックのためのサイズタイプ導出プロセスが、ルーマサンプル中の隣接コーディングブロックの幅nbWidthXと、ルーマサンプル中の隣接コーディングブロックの高さnbHeightXとを入力として呼び出され、出力が変数sizeIdXに割り当てられる。
【0226】
- sizeIdがsizeIdXに等しい場合、candLwipModeXが、IntraPredModeY[xNbX][yNbX]に等しく設定される。
【0227】
- そうでない場合、candLwipModeXが、-1に等しく設定される。
【0228】
- <!>そうでない場合、intra_lwip_flag[xNbX][yNbX]が0に等しく、ciip_flag ciip_flag[xNbX][yNbX]が1に等しい場合、IntraPredModeY[xNbX][yNbX]が、INTRA_PLANARに等しく設定され、candLwipModeXが、表8-X1において指定されているようなIntraPredModeY[xNbX][yNbX]とsizeIdとを使用して導出される。</!>
- そうでない場合、candLwipModeXが、表8-X1において指定されているようなIntraPredModeY[xNbX][yNbX]とsizeIdとを使用して導出される。
【0229】
3.x=0..2であるcandLwipModeList[x]が、表8-X2において指定されているようなlwipMpmCand[sizeId]を使用して、次のように導出される。
【0230】
- candLwipModeAおよびcandLwipModeBが、両方とも-1に等しい場合、以下が適用される。
【0231】
【数26】
【0232】
- そうでない場合、以下が適用される。
【0233】
- candLwipModeAが、candLwipModeBに等しい場合、またはcandLwipModeAもしくはcandLwipModeBのいずれかが、-1に等しい場合、以下が適用される。
【0234】
【数27】
【0235】
- candLwipModeList[0]が、lwipMpmCand[sizeId][0]に等しい場合、以下が適用される。
【0236】
【数28】
【0237】
- そうでない場合、以下が適用される。
【0238】
【数29】
【0239】
- そうでない場合、以下が適用される。
【0240】
【数30】
【0241】
- candLwipModeAおよびcandLwipModeBが、両方ともlwipMpmCand[sizeId][0]に等しくない場合、以下が適用される。
【0242】
【数31】
【0243】
- そうでない場合、以下が適用される。
【0244】
- candLwipModeAおよびcandLwipModeBが、両方ともlwipMpmCand[sizeId][1]に等しくない場合、以下が適用される。
【0245】
【数32】
【0246】
- そうでない場合、以下が適用される。
【0247】
【数33】
【0248】
4.IntraPredModeY[xCb][yCb]が、以下の手順を適用することによって導出される。
【0249】
- intra_lwip_mpm_flag[xCb][yCb]が、1に等しい場合、IntraPredModeY[xCb][yCb]が、candLwipModeList[intra_lwip_mpm_idx[xCb][yCb]]に等しく設定される。
【0250】
- そうでない場合、IntraPredModeY[xCb][yCb]が、以下の順序付きステップを適用することによって導出される。
【0251】
1.i=0..1について、および各i,j=(i+1)..2について、candLwipModeList[i]が、candLwipModeList[j]よりも大きいとき、両方の値が次のようにスワップされる。
【0252】
【数34】
【0253】
2.IntraPredModeY[xCb][yCb]が、以下の順序付きステップによって導出される。
【0254】
i.IntraPredModeY[xCb][yCb]が、intra_lwip_mpm_remainder[xCb][yCb]に等しく設定される。
【0255】
ii.両端値を含む、0から2に等しいiについて、IntraPredModeY[xCb][yCb]が、candLwipModeList[i]以上であるとき、IntraPredModeY[xCb][yCb]の値が、1だけ増分される。
【0256】
x=xCb..xCb+cbWidth-1であり、y=yCb..yCb+cbHeight-1である、変数IntraPredModeY[x][y]が、IntraPredModeY[xCb][yCb]に等しくなるように設定される。

8.4.X.1 予測ブロックサイズタイプのための導出プロセス
このプロセスへの入力は、以下の通りである。
- ルーマサンプル中の現在コーディングブロックの幅を指定する変数cbWidth、
- ルーマサンプル中の現在コーディングブロックの高さを指定する変数cbHeight。
【0257】
このプロセスの出力は、変数sizeIdである。
【0258】
変数sizeIdが、次のように導出される。
- cbWidthとcbHeightの両方が、4に等しい場合、sizeIdが0に等しく設定される。
- そうでない場合、cbWidthとcbHeightの両方が、8以下である場合、sizeIdが1に等しく設定される。
- そうでない場合、sizeIdが2に等しく設定される。
【0259】
【表6】
【0260】
【表7】
【0261】
[0117] 本開示の第5の技法を実装するための、JVET-N0217の仕様テキストへの例示的な変更は、以下に<!>...</!>タグとともに示されている。

アフィン線形重み付けイントラ予測モードのための導出プロセス
このプロセスへの入力は、以下の通りである。
- 現在ピクチャの左上ルーマサンプルに対する現在ルーマコーディングブロックの左上サンプルを指定するルーマロケーション(xCb,yCb)、
- ルーマサンプル中の現在コーディングブロックの幅を指定する変数cbWidth、
- ルーマサンプル中の現在コーディングブロックの高さを指定する変数cbHeight。
【0262】
このプロセスでは、アフィン線形重み付けイントラ予測モードIntraPredModeY[xCb][yCb]が導出される。
【0263】
IntraPredModeY[xCb][yCb]が、以下の順序付きステップによって導出される。
【0264】
1.隣接ロケーション(xNbA,yNbA)および(xNbB,yNbB)が、それぞれ(xCb-1,yCb<!>+cbHeight-1</!>)および(xCb<!>+cbWidth-1</!>,yCb-1)に等しく設定される。
【0265】
2.XがAまたはBのいずれかによって置き換えられるために、変数candLwipModeXが、次のように導出される。
【0266】
- 6.4.X節において指定されているような、ブロックのための利用可能性導出プロセス[Ed.(BB):未決定の隣接ブロック利用可能性チェックプロセス]が、(xCb,yCb)に等しく設定されたロケーション(xCurr,yCurr)と、(xNbX,yNbX)に等しく設定された隣接ロケーション(xNbY,yNbY)とを入力として呼び出され、出力がavailableXに割り当てられる。
【0267】
- 候補アフィン線形重み付けイントラ予測モードcandLwipModeXが、次のように導出される。
【0268】
- 次の条件のうちの1つまたは複数が真である場合、candLwipModeXが、-1に等しく設定される。
【0269】
- 変数availableXが、FALSEに等しい。
【0270】
- CuPredMode[xNbX][yNbX]が、MODE_INTRAに等しくなく、ciip_flag[xNbX][yNbX]が、1に等しくない。
【0271】
- pcm_flag[xNbX][yNbX]が、1に等しい。
【0272】
- Xが、Bに等しく、yCb-1が、((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)未満である。
【0273】
- そうでない場合、以下が適用される。
【0274】
- 8.4.X.1節において指定されているような、ブロックのためのサイズタイプ導出プロセスが、ルーマサンプル中の現在コーディングブロックの幅cbWidthと、ルーマサンプル中の現在コーディングブロックの高さcbHeightとを入力として呼び出され、出力が変数sizeIdに割り当てられる。
【0275】
- intra_lwip_flag[xNbX][yNbX]が1に等しい場合、8.4.X.1節において指定されているような、ブロックのためのサイズタイプ導出プロセスが、ルーマサンプル中の隣接コーディングブロックの幅nbWidthXと、ルーマサンプル中の隣接コーディングブロックの高さnbHeightXとを入力として呼び出され、出力が変数sizeIdXに割り当てられる。
【0276】
- sizeIdがsizeIdXに等しい場合、candLwipModeXが、IntraPredModeY[xNbX][yNbX]に等しく設定される。
【0277】
- そうでない場合、candLwipModeXが、-1に等しく設定される。
【0278】
- そうでない場合、candLwipModeXが、表8-X1において指定されているようなIntraPredModeY[xNbX][yNbX]とsizeIdとを使用して導出される。
【0279】
3.x=0..2であるcandLwipModeList[x]が、表8-X2において指定されているようなlwipMpmCand[sizeId]を使用して、次のように導出される。
【0280】
- candLwipModeAおよびcandLwipModeBが、両方とも-1に等しい場合、以下が適用される。
【0281】
【数35】
【0282】
- そうでない場合、以下が適用される。
【0283】
- candLwipModeAが、candLwipModeBに等しい場合、またはcandLwipModeAもしくはcandLwipModeBのいずれかが、-1に等しい場合、以下が適用される。
【0284】
【数36】
【0285】
- candLwipModeList[0]が、lwipMpmCand[sizeId][0]に等しい場合、以下が適用される。
【0286】
【数37】
【0287】
- そうでない場合、以下が適用される。
【0288】
【数38】
【0289】
- そうでない場合、以下が適用される。
【0290】
【数39】
【0291】
- candLwipModeAおよびcandLwipModeBが、両方ともlwipMpmCand[sizeId][0]に等しくない場合、以下が適用される。
【0292】
【数40】
【0293】
- そうでない場合、以下が適用される。
【0294】
- candLwipModeAおよびcandLwipModeBが、両方ともlwipMpmCand[sizeId][1]に等しくない場合、以下が適用される。
【0295】
【数41】
【0296】
- そうでない場合、以下が適用される。
【0297】
【数42】
【0298】
4.IntraPredModeY[xCb][yCb]が、以下の手順を適用することによって導出される。
【0299】
- intra_lwip_mpm_flag[xCb][yCb]が、1に等しい場合、IntraPredModeY[xCb][yCb]が、candLwipModeList[intra_lwip_mpm_idx[xCb][yCb]]に等しく設定される。
【0300】
- そうでない場合、IntraPredModeY[xCb][yCb]が、以下の順序付きステップを適用することによって導出される。
【0301】
1.i=0..1について、および各i,j=(i+1)..2について、candLwipModeList[i]が、candLwipModeList[j]よりも大きいとき、両方の値が次のようにスワップされる。
【0302】
【数43】
【0303】
2.IntraPredModeY[xCb][yCb]が、以下の順序付きステップによって導出される。
【0304】
i.IntraPredModeY[xCb][yCb]が、intra_lwip_mpm_remainder[xCb][yCb]に等しく設定される。
【0305】
ii.両端値を含む、0から2に等しいiについて、IntraPredModeY[xCb][yCb]が、candLwipModeList[i]以上であるとき、IntraPredModeY[xCb][yCb]の値が、1だけ増分される。
【0306】
x=xCb..xCb+cbWidth-1であり、y=yCb..yCb+cbHeight-1である、変数IntraPredModeY[x][y]が、IntraPredModeY[xCb][yCb]に等しくなるように設定される。
【0307】
【表8】
【0308】
【表9】
【0309】
[0118] 本開示は、概して、シンタックス要素など、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用されるシンタックス要素および/または他のデータの値の通信を指し得る。すなわち、ビデオエンコーダ200は、ビットストリーム中でシンタックス要素の値をシグナリングし得る。概して、シグナリングは、ビットストリーム中に値を生成することを指す。上述されたように、ソースデバイス102は、実質的にリアルタイムでビットストリームを宛先デバイス116に移送するか、または、宛先デバイス116による後の取出しのためにシンタックス要素を記憶デバイス112に記憶するときに起こり得るように、非リアルタイムでビットストリームを宛先デバイス116に移送し得る。
【0310】
[0119] 図14Aおよび図14Bは、例示的な4分木2分木(QTBT)構造130と、対応するコーディングツリーユニット(CTU)132とを示す、概念図である。実線は4分木スプリッティングを表し、点線は2分木スプリッティングを示す。2分木の各スプリットされた(すなわち、非リーフ)ノードにおいて、どのスプリッティングタイプ(すなわち、水平または垂直)が使用されるかを示すために、1つのフラグがシグナリングされ、ここで、この例では、0が水平スプリッティングを示し、1が垂直スプリッティングを示す。4分木スプリッティングの場合、4分木ノードは、サイズが等しい4つのサブブロックに、水平および垂直にブロックをスプリットするので、スプリッティングタイプを示す必要がない。したがって、QTBT構造130の領域ツリーレベル(すなわち、第1のレベル)についての(スプリッティング情報などの)シンタックス要素(すなわち、実線)と、QTBT構造130の予測ツリーレベル(すなわち、第2のレベル)についての(スプリッティング情報などの)シンタックス要素(すなわち、破線)とを、ビデオエンコーダ200は符号化し得、ビデオデコーダ300は復号し得る。QTBT構造130の端末リーフノードによって表されるCUについての、予測および変換データなどのビデオデータを、ビデオエンコーダ200は符号化し得、ビデオデコーダ300は復号し得る。
【0311】
[0120] 概して、図14BのCTU132は、第1および第2のレベルにおいてQTBT構造130のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、(サンプル単位でCTU132のサイズを表す)CTUサイズと、最小4分木サイズ(最小許容4分木リーフノードサイズを表す、MinQTSize)と、最大2分木サイズ(最大許容2分木ルートノードサイズを表す、MaxBTSize)と、最大2分木深度(最大許容2分木深度を表す、MaxBTDepth)と、最小2分木サイズ(最小許容2分木リーフノードサイズを表す、MinBTSize)とを含み得る。
【0312】
[0121] CTUに対応するQTBT構造のルートノードは、QTBT構造の第1のレベルにおいて4つの子ノードを有し得、それらの各々は、4分木区分に従って区分され得る。すなわち、第1のレベルのノードは、(子ノードを有しない)いずれかのリーフノードであるか、または4つの子ノードを有する。QTBT構造130の例は、分岐のために実線を有する親ノードと子ノードとを含むようなノードを表す。第1のレベルのノードは、最大許容2分木ルートノードサイズ(MaxBTSize)よりも大きくない場合、それぞれの2分木によってさらに区分され得る。1つのノードの2分木スプリッティングは、スプリットから得られるノードが最小許容2分木リーフノードサイズ(MinBTSize)または最大許容2分木深度(MaxBTDepth)に到達するまで反復され得る。QTBT構造130の例は、分岐のために破線を有するようなノードを表す。2分木リーフノードは、コーディングユニット(CU)と呼ばれ、コーディングユニット(CU)は、それ以上区分することなく、予測(たとえば、イントラピクチャ予測またはインターピクチャ予測)および変換のために使用される。上記で説明されたように、CUは、「ビデオブロック」または「ブロック」と呼ばれることもある。
【0313】
[0122] QTBT区分構造の一例では、CTUサイズは、128×128(ルーマサンプルおよび2つの対応する64×64クロマサンプル)として設定され、MinQTSizeは16×16として設定され、MaxBTSizeは64×64として設定され、(幅と高さの両方について)MinBTSizeは4として設定され、MaxBTDepthは4として設定される。4分木リーフノードを生成するために、最初に4分木区分がCTUに適用される。4分木リーフノードは、16×16(すなわち、MinQTSize)から128×128(すなわち、CTUサイズ)までのサイズを有し得る。4分木リーフノードは、128×128である場合、サイズがMaxBTSize(すなわち、この例では64×64)を超えるので、2分木によってそれ以上スプリットされない。そうでない場合、4分木リーフノードは、2分木によってさらに区分される。したがって、4分木リーフノードはまた、2分木に対してルートノードであり、0としての2分木深度を有する。2分木深度がMaxBTDepth(この例では4)に達したとき、さらなるスプリッティングは許可されない。2分木ノードがMinBTSize(この例では4)に等しい幅を有するとき、それは、さらなる垂直スプリッティングが許可されないことを暗示する。同様に、その2分木ノードに対してさらなる水平スプリッティングが許可されないことを暗示する、MinBTSizeに等しい高さを有する2分木ノード。上述されたように、2分木のリーフノードは、CUと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。
【0314】
[0123] 図15は、本開示の技法を実施し得る例示的なビデオエンコーダ200を示すブロック図である。図15は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示では、HEVCビデオコーディング規格および開発中のH.266ビデオコーディング規格などのビデオコーディング規格のコンテキストにおいて、ビデオエンコーダ200について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、一般的にビデオ符号化および復号に適用可能である。
【0315】
[0124] 図15の例では、ビデオエンコーダ200は、ビデオデータメモリ230と、モード選択ユニット202と、残差生成ユニット204と、変換処理ユニット206と、量子化ユニット208と、逆量子化ユニット210と、逆変換処理ユニット212と、再構成ユニット214と、フィルタユニット216と、復号ピクチャバッファ(DPB)218と、エントロピー符号化ユニット220とを含む。ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、フィルタユニット216、DPB218、およびエントロピー符号化ユニット220のうちのいずれかまたはすべては、1つまたは複数のプロセッサまたは処理回路において実装され得る。その上、ビデオエンコーダ200は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。
【0316】
[0125] ビデオデータメモリ230は、ビデオエンコーダ200の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ200は、たとえば、ビデオソース104(図1)から、ビデオデータメモリ230に記憶されたビデオデータを受信し得る。DPB218は、ビデオエンコーダ200による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ230およびDPB218は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗性RAM(RRAM(登録商標))、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ230およびDPB218は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ230は、示されるように、ビデオエンコーダ200の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【0317】
[0126] 本開示では、ビデオデータメモリ230への言及は、特にそのように説明されない限り、ビデオエンコーダ200の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ200の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ230への言及は、ビデオエンコーダ200が符号化のために受信するビデオデータ(たとえば、符号化されるべきである現在ブロックのビデオデータ)を記憶する参照メモリとして理解されたい。図1のメモリ106はまた、ビデオエンコーダ200の様々なユニットからの出力の一時的記憶を提供し得る。
【0318】
[0127] 図15の様々なユニットは、ビデオエンコーダ200によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を与える回路を指し、実施され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、(たとえば、パラメータを受信するかまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの1つまたは複数は、別個の回路ブロック(固定機能またはプログラマブル)であり得、いくつかの例では、1つまたは複数のユニットは集積回路であり得る。
【0319】
[0128] ビデオエンコーダ200は、論理演算ユニット(ALU)、初等関数ユニット(EFU)、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ200の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ106(図1)は、ビデオエンコーダ200が受信し実行するソフトウェアのオブジェクトコードを記憶し得るか、またはビデオエンコーダ200内の別のメモリ(図示されず)が、そのような命令を記憶し得る。
【0320】
[0129] ビデオデータメモリ230は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ200は、ビデオデータメモリ230からビデオデータのピクチャを取り出し、残差生成ユニット204とモード選択ユニット202とにビデオデータを提供し得る。ビデオデータメモリ230中のビデオデータは、符号化されるべきである生のビデオデータであり得る。
【0321】
[0130] モード選択ユニット202は、動き推定ユニット222と、動き補償ユニット224と、イントラ予測ユニット226とを含む。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット202は、パレットユニット、(動き推定ユニット222および/または動き補償ユニット224の一部であり得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。たとえば、図15の例では、イントラ予測ユニット226は、ALWIPを実施するように構成されたALWIPユニット227を含む。
【0322】
[0131] モード選択ユニット202は、概して、符号化パラメータの組合せと、そのような組合せについての得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、CUへのCTUの区分、CUのための予測モード、CUの残差データのための変換タイプ、CUの残差データのための量子化パラメータなどを含み得る。モード選択ユニット202は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。
【0323】
[0132] ビデオエンコーダ200は、ビデオデータメモリ230から取り出されたピクチャを一連のCTUに区分し、1つまたは複数のCTUをスライス内にカプセル化し得る。モード選択ユニット202は、上記で説明されたHEVCのQTBT構造または4分木構造などの木構造に従ってピクチャのCTUを区分し得る。上記で説明されたように、ビデオエンコーダ200は、木構造に従ってCTUを区分することから1つまたは複数のCUを形成し得る。そのようなCUは、一般に「ビデオブロック」または「ブロック」と呼ばれることもある。
【0324】
[0133] 概して、モード選択ユニット202はまた、現在ブロック(たとえば、現在CU、またはHEVCでは、PUとTUとの重複する部分)についての予測ブロックを生成するように、それの構成要素(たとえば、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226)を制御する。現在ブロックのインター予測のために、動き推定ユニット222は、1つまたは複数の参照ピクチャ(たとえば、DPB218中に記憶された1つまたは複数の前にコーディングされたピクチャ)中の1つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット222は、たとえば、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)などに従って、現在ブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット222は、概して、現在ブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット222は、現在ブロックに最も厳密に一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。
【0325】
[0134] 動き推定ユニット222は、現在ピクチャ中の現在ブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する、1つまたは複数の動きベクトル(MV)を形成し得る。動き推定ユニット222は、次いで、動きベクトルを動き補償ユニット224に提供し得る。たとえば、単方向インター予測では、動き推定ユニット222は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット222は、2つの動きベクトルを提供し得る。動き補償ユニット224は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット224は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット224は、1つまたは複数の補間フィルタに従って予測ブロックのための値を補間し得る。その上、双方向インター予測では、動き補償ユニット224は、それぞれの動きベクトルによって識別された2つの参照ブロックについてデータを取り出し、たとえば、サンプルごとの平均化または加重平均化を通して、取り出されたデータを組み合わせ得る。
【0326】
[0135] 別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット226は、現在ブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット226は、概して、予測ブロックを作り出すために、隣接サンプルの値を数学的に組み合わせ、現在ブロックにわたって規定の方向にこれらの計算された値をポピュレートし得る。別の例として、DCモードでは、イントラ予測ユニット226は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの得られた平均を含むように予測ブロックを生成し得る。
【0327】
[0136] 本開示の第3の技法の一例によれば、イントラ予測ユニット226は、ビデオデータの現在ブロックのための1つまたは複数のMPMを導出する、MPM導出プロセスを実施し得る。この例では、現在ブロックが、ALWIPを使用してコーディングされない。MPM導出プロセスを実施することの一部として、イントラ予測ユニット226は、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定し得る。隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、イントラ予測ユニット226は、隣接ブロックのイントラ予測モードの値が、平面モードに対応する値など、デフォルト値であると決定し得る。イントラ予測ユニット226は、1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含め得る。ビデオエンコーダ200は、現在ブロックのためのMPMのうちの1つ、または別のイントラ予測モードに基づいて、現在ブロックを符号化し得る。たとえば、ビデオエンコーダ200が現在ブロックを符号化することの一部として、イントラ予測ユニット226は、現在ブロックのための予測ブロックを生成するために、MPMのうちの1つ、または別のイントラ予測モードを使用し得る。
【0328】
[0137] モード選択ユニット202は、予測ブロックを残差生成ユニット204に提供する。残差生成ユニット204は、ビデオデータメモリ230から現在ブロックの生の符号化されていないバージョンを受信し、モード選択ユニット202から予測ブロックを受信する。残差生成ユニット204は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット204はまた、残差差分パルスコード変調(RDPCM)を使用して残差ブロックを生成するために、残差ブロック中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット204は、バイナリ減算を実施する1つまたは複数の減算器回路を使用して形成され得る。
【0329】
[0138] モード選択ユニット202がCUをPUに区分する例では、各PUは、ルーマPUと対応するクロマPUとに関連付けられ得る。ビデオエンコーダ200およびビデオデコーダ300は、様々なサイズを有するPUをサポートし得る。上記で示されたように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがあり、PUのサイズは、PUのルーマ予測ユニットのサイズを指すことがある。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ200は、イントラ予測のための2N×2NまたはN×NのPUサイズと、インター予測のための2N×2N、2N×N、N×2N、N×N、または同様のものの対称的PUサイズとをサポートし得る。ビデオエンコーダ200およびビデオデコーダ300はまた、インター予測のための2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズの非対称的区分をサポートし得る。
【0330】
[0139] モード選択ユニットがCUをPUにさらに区分しない例では、各CUは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、CUのサイズは、CUのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ200およびビデオデコーダ300は、2N×2N、2N×N、またはN×2NのCUサイズをサポートし得る。
【0331】
[0140] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル(LM)モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット202は、コーディング技法に関連するそれぞれのユニットを介して、符号化されている現在ブロックのための予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット202は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構成すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット202は、符号化されるためにこれらのシンタックス要素をエントロピー符号化ユニット220に提供し得る。
【0332】
[0141] 上記で説明されたように、残差生成ユニット204は、現在ブロックのためのビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット204は、次いで、現在ブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット204は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。
【0333】
[0142] 変換処理ユニット206は、変換係数のブロック(本明細書では「変換係数ブロック」と呼ばれる)を生成するために、残差ブロックに1つまたは複数の変換を適用する。変換処理ユニット206は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、方向変換、カルーネンレーベ変換(KLT)、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット206は、残差ブロックに複数の変換、たとえば、回転変換など、1次変換と2次変換とを適用し得る。いくつかの例では、変換処理ユニット206は、残差ブロックに変換を適用しない。
【0334】
[0143] 量子化ユニット208は、量子化された変換係数ブロックを作り出すために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット208は、現在ブロックに関連付けられた量子化パラメータ(QP)値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ200は(たとえば、モード選択ユニット202を介して)、CUに関連付けられたQP値を調整することによって、現在ブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失を導入することがあり、したがって、量子化された変換係数は、変換処理ユニット206によって作り出された元の変換係数よりも低い精度を有し得る。
【0335】
[0144] 逆量子化ユニット210および逆変換処理ユニット212は、変換係数ブロックから残差ブロックを再構成するために、それぞれ、量子化された変換係数ブロックに逆量子化と逆変換とを適用し得る。再構成ユニット214は、再構成された残差ブロックと、モード選択ユニット202によって生成された予測ブロックとに基づいて、(潜在的にある程度のひずみを伴うが)現在ブロックに対応する再構成されたブロックを作り出し得る。たとえば、再構成ユニット214は、再構成されたブロックを作り出すために、モード選択ユニット202によって生成された予測ブロックからの対応するサンプルに、再構成された残差ブロックのサンプルを加算し得る。
【0336】
[0145] フィルタユニット216は、再構成されたブロックに対して1つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット216は、CUのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット216の動作は、いくつかの例では、スキップされ得る。
【0337】
[0146] ビデオエンコーダ200は、DPB218中に再構成されたブロックを記憶する。たとえば、フィルタユニット312の動作が実施されない例では、再構成ユニット310は、DPB314に再構成されたブロックを記憶し得る。フィルタユニット312の動作が実施される例では、フィルタユニット312は、DPB314にフィルタ処理された再構成されたブロックを記憶し得る。たとえば、フィルタユニット216の動作が必要とされない例では、再構成ユニット214は、DPB218に再構成されたブロックを記憶し得る。フィルタユニット216の動作が必要とされる例では、フィルタユニット216は、DPB218にフィルタ処理された再構成されたブロックを記憶し得る。動き推定ユニット222および動き補償ユニット224は、後で符号化されるピクチャのブロックをインター予測するために、再構成(および潜在的にフィルタ処理)されたブロックから形成された参照ピクチャをDPB218から取り出し得る。加えて、イントラ予測ユニット226は、現在ピクチャ中の他のブロックをイントラ予測するために、現在ピクチャのDPB218中の再構成されたブロックを使用し得る。
【0338】
[0147] 概して、エントロピー符号化ユニット220は、ビデオエンコーダ200の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット220は、量子化ユニット208からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット220は、モード選択ユニット202からの予測シンタックス要素(たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報)をエントロピー符号化し得る。エントロピー符号化ユニット220は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して1つまたは複数のエントロピー符号化演算を実施し得る。たとえば、エントロピー符号化ユニット220は、コンテキスト適応型可変長コーディング(CAVLC)動作、CABAC動作、可変対可変(V2V)長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)動作、確率間隔区分エントロピー(PIPE)コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット220は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
【0339】
[0148] ビデオエンコーダ200は、スライスまたはピクチャのブロックを再構成するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット220は、ビットストリームを出力し得る。
【0340】
[0149] 上記で説明された動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、CUのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、PUのルーマ成分およびクロマ成分である。
【0341】
[0150] いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル(MV)と参照ピクチャとを識別するための動作は、クロマブロックのためのMVと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのMVは、クロマブロックのためのMVを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックとクロマコーディングブロックとに対して同じであり得る。
【0342】
[0151] ビデオエンコーダ200は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、本開示のALWIP技法を実施するように構成された1つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表す。たとえば、ビデオエンコーダ200は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、ビデオデータの現在ブロックのための1つまたは複数のMPMを導出する、MPM導出プロセスを実施するように構成された、1つまたは複数の処理ユニットとを含む、デバイスの一例を表すことがあり、ここにおいて、現在ブロックが、ALWIPを使用してコーディングされない。この例では、1つまたは複数のプロセッサは、MPM導出プロセスを実施することの一部として、1つまたは複数のプロセッサが、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定するように構成される。さらに、1つまたは複数のプロセッサは、隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、隣接ブロックのイントラ予測モードの値が、平面モードに対応する値など、デフォルト値であると決定するように構成される。1つまたは複数のプロセッサは、1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含めるようにさらに構成され得る。1つまたは複数のプロセッサは、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックを符号化し得る。
【0343】
[0152] さらに、ブロックが、DMモードを用いてコーディングされたクロマブロックである、いくつかの例では、ビデオエンコーダ200は、ビデオデータを記憶するように構成されたメモリと、コロケートされたルーマブロックが、ALWIPを用いてコーディングされるか否かを決定するように構成された、1つまたは複数のプロセッサとを含む、デバイスの一例を表す。そのような例では、コロケートされたルーマブロックが、ブロックとともにコロケートされる。さらに、そのような例では、1つまたは複数のプロセッサは、コロケートされたルーマブロックが、ALWIPを用いてコーディングされることに基づいて、コロケートされたルーマブロックのイントラ予測モードがデフォルト値であると決定、たとえば、推論し得る。言い換えれば、1つまたは複数のプロセッサは、平面イントラ予測モードなど、デフォルトイントラ予測モードであるとして、コロケートされたルーマブロックのイントラ予測モードを決定するか、またはさもなければ扱い得る。1つまたは複数のプロセッサは、デフォルト値に対応するイントラ予測モードを使用して、ブロックを符号化するように構成され得る。
【0344】
[0153] 図16は、本開示の技法を実施し得る例示的なビデオデコーダ300を示すブロック図である。図16は、説明の目的で提供されており、本開示において広く例示され、説明される技法に対する限定ではない。説明の目的で、本開示は、JEM、VVC、およびHEVCの技法に従って、ビデオデコーダ300について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実施され得る。
【0345】
[0154] 図16の例では、ビデオデコーダ300は、コード化ピクチャバッファ(CPB)メモリ320と、エントロピー復号ユニット302と、予測処理ユニット304と、逆量子化ユニット306と、逆変換処理ユニット308と、再構成ユニット310と、フィルタユニット312と、復号ピクチャバッファ(DPB)314とを含む。CPBメモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、フィルタユニット312、およびDPB314のうちのいずれかまたはすべては、1つまたは複数のプロセッサまたは処理回路において実装され得る。その上、ビデオデコーダ300は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。
【0346】
[0155] 予測処理ユニット304は、動き補償ユニット316と、イントラ予測ユニット318とを含む。予測処理ユニット304は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット304は、パレットユニット、(動き補償ユニット316の一部を形成し得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。たとえば、図16の例では、イントラ予測ユニット318は、ALWIPプロセスを実施するALWIPユニット319を含む。他の例では、ビデオデコーダ300は、より多数の、より少数の、または異なる機能構成要素を含み得る。
【0347】
[0156] CPBメモリ320は、ビデオデコーダ300の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。CPBメモリ320に記憶されるビデオデータは、たとえば、コンピュータ可読媒体110(図1)から取得され得る。CPBメモリ320は、符号化ビデオビットストリームからの符号化ビデオデータ(たとえば、シンタックス要素)を記憶するCPBを含み得る。また、CPBメモリ320は、ビデオデコーダ300の様々なユニットからの出力を表す一時データなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。DPB314は、概して、ビデオデコーダ300が符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび/または参照ビデオデータとして使用し得る復号ピクチャを記憶する。CPBメモリ320およびDPB314は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗性RAM(RRAM)、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。CPBメモリ320およびDPB314は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、CPBメモリ320は、ビデオデコーダ300の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【0348】
[0157] 追加または代替として、いくつかの例では、ビデオデコーダ300は、メモリ120(図1)からコード化ビデオデータを取り出し得る。すなわち、メモリ120は、CPBメモリ320とともに上記で説明されたようにデータを記憶し得る。同様に、メモリ120は、ビデオデコーダ300の機能の一部または全部が、ビデオデコーダ300の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ300によって実行されるべき命令を記憶し得る。
【0349】
[0158] 図16に示されている様々なユニットは、ビデオデコーダ300によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図15と同様に、固定機能回路は、特定の機能を与える回路を指し、実施され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、(たとえば、パラメータを受信するかまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの1つまたは複数は、別個の回路ブロック(固定機能またはプログラマブル)であり得、いくつかの例では、1つまたは複数のユニットは集積回路であり得る。
【0350】
[0159] ビデオデコーダ300は、ALU、EFU、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ300の動作が、プログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ300が受信し実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶し得る。
【0351】
[0160] エントロピー復号ユニット302は、CPBから符号化ビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、およびフィルタユニット312は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成し得る。
【0352】
[0161] 概して、ビデオデコーダ300は、ブロックごとにピクチャを再構成する。ビデオデコーダ300は、各ブロックに対して個々に再構成演算を実施し得る(ここで、現在再構成されている、すなわち、復号されているブロックは、「現在ブロック」と呼ばれることがある)。
【0353】
[0162] エントロピー復号ユニット302は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ(QP)および/または変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット306は、量子化の程度と、同様に、逆量子化ユニット306が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたQPを使用し得る。逆量子化ユニット306は、量子化された変換係数を逆量子化するために、たとえば、ビット単位の左シフト演算を実施し得る。逆量子化ユニット306は、それによって、変換係数を含む変換係数ブロックを形成し得る。
【0354】
[0163] 逆量子化ユニット306が変換係数ブロックを形成した後、逆変換処理ユニット308は、現在ブロックに関連する残差ブロックを生成するために、変換係数ブロックに1つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット308は、変換係数ブロックに、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を適用し得る。
【0355】
[0164] さらに、予測処理ユニット304は、エントロピー復号ユニット302によってエントロピー復号された予測情報シンタックス要素に従って、予測ブロックを生成する。たとえば、予測情報シンタックス要素が、現在ブロックがインター予測されることを示す場合、動き補償ユニット316は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきDPB314中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対して参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット316は、概して、動き補償ユニット224(図15)に関して説明されたものと実質的に同様である様式で、インター予測プロセスを実施し得る。
【0356】
[0165] 別の例として、予測情報シンタックス要素が、現在ブロックがイントラ予測されることを示す場合、イントラ予測ユニット318は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット318は、概して、イントラ予測ユニット226(図15)に関して説明されたものと実質的に同様である様式で、イントラ予測プロセスを実施し得る。イントラ予測ユニット318は、DPB314から、現在ブロックに対する隣接サンプルのデータを取り出し得る。
【0357】
[0166] 本開示の第3の技法の一例によれば、イントラ予測ユニット318は、ビデオデータの現在ブロックのための1つまたは複数のMPMを導出する、MPM導出プロセスを実施し得る。この例では、現在ブロックが、ALWIPを使用してコーディングされない。MPM導出プロセスを実施することの一部として、イントラ予測ユニット318は、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定し得る。隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、イントラ予測ユニット318は、隣接ブロックのイントラ予測モードの値が、平面モードに対応する値など、デフォルト値であると決定し得る。イントラ予測ユニット318は、1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含め得る。ビデオデコーダ300は、現在ブロックのためのMPMのうちの1つ、または別のイントラ予測モードに基づいて、現在ブロックを復号し得る。たとえば、ビデオデコーダ300が現在ブロックをコーディングすることの一部として、イントラ予測ユニット318は、現在ブロックのための予測ブロックを生成するために、MPMのうちの1つ、または別のイントラ予測モードを使用し得る。
【0358】
[0167] 再構成ユニット310は、予測ブロックと残差ブロックとを使用して、現在ブロックを再構成し得る。たとえば、再構成ユニット310は、現在ブロックを再構成するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。
【0359】
[0168] フィルタユニット312は、再構成されたブロックに対して1つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット312は、再構成されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット312の動作は、必ずしもすべての例において実施されるとは限らない。
【0360】
[0169] ビデオデコーダ300は、DPB314中に再構成されたブロックを記憶し得る。上記で論じられたように、DPB314は、イントラ予測のための現在ピクチャのサンプルおよび後続の動き補償のための以前に復号されたピクチャなど、参照情報を予測処理ユニット304に提供し得る。その上、ビデオデコーダ300は、図1のディスプレイデバイス118などのディスプレイデバイス上での後続の提示のために、DPBから復号ピクチャを出力し得る。
【0361】
[0170] このようにして、ビデオデコーダ300は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、本開示のALWIP技法を実施するように構成された1つまたは複数の処理ユニットとを含む、ビデオ復号デバイスの一例を表す。たとえば、ビデオデコーダ300は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、ビデオデータの現在ブロックのための1つまたは複数のMPMを導出する、MPM導出プロセスを実施するように構成された、1つまたは複数の処理ユニットとを含む、デバイスの一例を表すことがあり、ここにおいて、現在ブロックが、ALWIPを使用してコーディングされない。この例では、1つまたは複数のプロセッサは、MPM導出プロセスを実施することの一部として、1つまたは複数のプロセッサが、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定するように構成される。さらに、1つまたは複数のプロセッサは、隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、隣接ブロックのイントラ予測モードの値が、平面モードに対応する値など、デフォルト値であると決定するように構成される。1つまたは複数のプロセッサは、1つまたは複数のMPMのうちの1つとして、デフォルトに対応するイントラ予測モードを含め得る。1つまたは複数のプロセッサは、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックを復号し得る。
【0362】
[0171] さらに、ブロックが、DMモードを用いてコーディングされたクロマブロックである、いくつかの例では、ビデオエンコーダ200は、ビデオデータを記憶するように構成されたメモリと、コロケートされたルーマブロックが、ALWIPを用いてコーディングされるか否かを決定するように構成された、1つまたは複数のプロセッサとを含む、デバイスの一例を表す。そのような例では、コロケートされたルーマブロックが、ブロックとともにコロケートされる。さらに、そのような例では、1つまたは複数のプロセッサは、コロケートされたルーマブロックが、ALWIPを用いてコーディングされることに基づいて、コロケートされたルーマブロックのイントラ予測モードがデフォルト値であると決定、たとえば、推論し得る。言い換えれば、1つまたは複数のプロセッサは、平面イントラ予測モードなど、デフォルトイントラ予測モードであるとして、コロケートされたルーマブロックのイントラ予測モードを決定するか、またはさもなければ扱い得る。1つまたは複数のプロセッサは、デフォルト値に対応するイントラ予測モードを使用して、ブロックを復号するように構成され得る。
【0363】
[0172] 図17は、現在ブロックを符号化するための例示的な方法を示すフローチャートである。現在ブロックは現在CUを含み得る。ビデオエンコーダ200(図1および図15)に関して説明されるが、他のデバイスが図17の方法と同様の方法を実施するように構成され得ることを理解されたい。
【0364】
[0173] この例では、ビデオエンコーダ200は、最初に現在ブロックを予測する(350)。たとえば、ビデオエンコーダ200は、現在ブロックのための予測ブロックを形成し得る。いくつかの例では、ビデオエンコーダ200(たとえば、ビデオエンコーダ200のイントラ予測ユニット226)は、現在ブロックのための1つまたは複数のMPMを導出する、MPM導出プロセスを実施する。この例では、現在ブロックが、ALWIPを使用してコーディングされない。MPMは、イントラ予測モードを含み得、いくつかの例では、MPMの各々がイントラ予測モードである。さらに、この例では、MPM導出プロセスを実施することの一部として、ビデオエンコーダ200は、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定し、隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、隣接ブロックのイントラ予測モードの値がデフォルト値であると決定し得る。ビデオエンコーダ200は、1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含め得る。ビデオエンコーダ200は、次いで、現在ブロックのための予測ブロックを形成するために、MPMのうちの1つ、または別のイントラ予測モードを使用し得る。
【0365】
[0174] ビデオエンコーダ200は、次いで、現在ブロックのための残差ブロックを計算し得る(352)。残差ブロックを計算するために、ビデオエンコーダ200は、元の符号化されていないブロックと、現在ブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ200は、次いで、残差ブロックの変換係数を変換および量子化し得る(354)。
【0366】
[0175] 次に、ビデオエンコーダ200は、残差ブロックの量子化された変換係数を走査し得る(356)。走査中に、または走査に続いて、ビデオエンコーダ200は、変換係数をエントロピー符号化し得る(358)。たとえば、ビデオエンコーダ200は、CAVLCまたはCABACを使用して変換係数を符号化し得る。ビデオエンコーダ200は、次いで、ブロックのエントロピー符号化データを出力し得る(360)。
【0367】
[0176] 図18は、ビデオデータの現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは現在CUを含み得る。ビデオデコーダ300(図1および図16)に関して説明されるが、他のデバイスが図18の方法と同様の方法を実施するように構成され得ることを理解されたい。
【0368】
[0177] ビデオデコーダ300は、エントロピーコード化予測情報、および現在ブロックに対応する残差ブロックの変換係数のためのエントロピーコード化データなど、現在ブロックのためのエントロピーコード化データを受信し得る(370)。ビデオデコーダ300は、現在ブロックのための予測情報を決定するため、および残差ブロックの変換係数を再生するために、エントロピーコード化データをエントロピー復号し得る(372)。
【0369】
[0178] ビデオデコーダ300は、現在ブロックのための予測ブロックを計算するために、たとえば、現在ブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在ブロックを予測し得る(374)。いくつかの例では、ビデオデコーダ300(たとえば、ビデオデコーダ300のイントラ予測ユニット318)は、現在ブロックのための1つまたは複数のMPMを導出する、MPM導出プロセスを実施する。この例では、現在ブロックが、ALWIPを使用してコーディングされない。MPMは、イントラ予測モードを含み得、いくつかの例では、MPMの各々がイントラ予測モードである。さらに、この例では、MPM導出プロセスを実施することの一部として、ビデオデコーダ300は、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定し、隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、隣接ブロックのイントラ予測モードの値が、平面モードに対応する値など、デフォルト値であると決定し得る。ビデオデコーダ300は、1つまたは複数のMPMのうちの1つとして、デフォルト値(たとえば、平面モード)に対応するイントラ予測モードを含め得る。ビデオデコーダ300は、次いで、現在ブロックのための予測ブロックを形成するために、MPMのうちの1つ、または別のイントラ予測モードを使用し得る。
【0370】
[0179] ビデオデコーダ300は、次いで、量子化された変換係数のブロックを作成するために、再生された変換係数を逆走査し得る(376)。ビデオデコーダ300は、次いで、残差ブロックを作り出すために、変換係数を逆量子化し、変換係数に1つまたは複数の逆変換を適用し得る(378)。ビデオデコーダ300は、予測ブロックと残差ブロックとを組み合わせることによって、現在ブロックを復号し得る(380)。
【0371】
[0180] 図19は、本開示の1つまたは複数の技法による、ビデオデータをコーディングする例示的な方法を示すフローチャートである。図19の方法は、ビデオエンコーダ200またはビデオデコーダ300など、ビデオコーダによって実施され得る。
【0372】
[0181] 図19の例では、ビデオコーダは、ビデオデータの現在ブロックのための1つまたは複数のMPMを導出する、MPM導出プロセスを実施し得る(400)。いくつかの例では、ビデオエンコーダ200のイントラ予測ユニット226(図15)は、MPM導出プロセスを実施する。いくつかの例では、ビデオデコーダ300のイントラ予測ユニット318(図16)は、MPM導出プロセスを実施する。図19の例では、現在ブロックが、ALWIPを使用してコーディングされない。MPMは、イントラ予測モードを含み得、いくつかの例では、MPMの各々がイントラ予測モードである。ビデオコーダがビデオエンコーダ(たとえば、ビデオエンコーダ200)である例では、ビデオエンコーダは、現在ブロックを含むピクチャをキャプチャするカメラを含むデバイス(たとえば、ソースデバイス102)中に含まれ得る。
【0373】
[0182] さらに、図19の例では、MPM導出プロセスを実施することは、現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを、ビデオコーダが決定することを含み得る(402)。隣接ブロックは、現在ブロックの上方の隣接ブロック、または左の隣接ブロックであり得る。いくつかの例では、ビデオコーダは、現在ピクチャのブロックのためのalwip_flagを記憶し得、隣接ブロックがALWIPを使用してコーディングされるか否かを決定するために、隣接ブロックの記憶されたalwip_flagを使用し得る。
【0374】
[0183] 隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、ビデオコーダは、隣接ブロックのイントラ予測モードの値がデフォルト値であると決定し得る(404)。たとえば、ビデオコーダは、隣接ブロックのイントラモードの値が、平面モードを示す特定の値であると決定(たとえば、推論)し得る。言い換えれば、デフォルト値に対応するイントラ予測モードは、平面モードであり得る。他の例では、デフォルト値に対応するイントラ予測モードは、別のイントラ予測モードであり得る。ビデオコーダは、次いで、現在ブロックのための1つまたは複数のMPMのうちの1つとして、デフォルト値に対応するイントラ予測モードを含め得る(406)。
【0375】
[0184] ビデオコーダは、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックをコーディングし得る(408)。たとえば、ビデオコーダが、ビデオエンコーダ200などのビデオエンコーダである例では、ビデオエンコーダは、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックを符号化し得る。そのような例では、ビデオエンコーダは、現在ブロックのための予測ブロックを生成するために、MPMを使用し得る。ビデオエンコーダは、次いで、現在ブロックのための残差データを生成するために、現在ブロックの予測ブロックとサンプルとを使用し得る。ビデオエンコーダは、次いで、たとえば、図15に関して、本開示における他の場所で説明されたように、現在ブロックのための残差データを処理し得る。ビデオコーダが、ビデオデコーダ300などのビデオデコーダである例では、ビデオデコーダは、現在ブロックのためのMPMのうちの1つに基づいて、現在ブロックを復号し得る。そのような例では、ビデオデコーダは、現在ブロックのための予測ブロックを生成するために、MPMを使用し得る。ビデオデコーダは、次いで、現在ブロックを再構成するために、現在ブロックのための予測ブロックと残差データとを使用し得る。さらに、いくつかの例では、ビデオデコーダを含むデバイスは、現在ブロックを含むピクチャを表示するディスプレイを含み得る。
【0376】
[0185] 図20は、本開示の1つまたは複数の技法による、クロマブロックをコーディングする例示的な方法を示すフローチャートである。図20の例では、ビデオコーダ(たとえば、ビデオエンコーダ200またはビデオデコーダ300)は、DMモードを使用して、クロマブロックをコーディング中であり得る。
【0377】
[0186] 詳細には、ビデオコーダは、コロケートされたルーマブロックが、ALWIPを用いてコーディングされるか否かを決定し得る(450)。コロケートされたルーマブロックは、クロマブロックとともにコロケートされる。コロケートされたルーマブロックが、ALWIPを用いてコーディングされることに基づいて、ビデオコーダは、コロケートされたルーマブロックのイントラ予測モードの値が、平面モードに対応する値など、デフォルト値であると決定し得る。
【0378】
[0187] ビデオコーダは、次いで、デフォルト値に対応するイントラ予測モードを使用して、クロマブロックをコーディングし得る(454)。たとえば、ビデオコーダが、ビデオエンコーダ200などのビデオエンコーダである例では、ビデオエンコーダは、デフォルト値に対応するイントラ予測モードを使用して、クロマブロックのための予測ブロックを生成し得る。ビデオエンコーダは、次いで、クロマブロックのための残差データを生成するために、クロマブロックの予測ブロックとサンプルとを使用し得る。ビデオエンコーダは、次いで、たとえば、図15に関して、本開示における他の場所で説明されたように、クロマブロックのための残差データを処理し得る。ビデオコーダが、ビデオデコーダ300などのビデオデコーダである例では、ビデオデコーダは、デフォルト値に対応するイントラ予測モードに基づいて、クロマブロックを復号し得る。そのような例では、ビデオデコーダは、クロマブロックのための予測ブロックを生成するために、デフォルト値に対応するイントラ予測モードを使用し得る。ビデオデコーダは、次いで、クロマブロックを再構成するために、クロマブロックのための予測ブロックと残差データとを使用し得る。さらに、いくつかの例では、ビデオデコーダを含むデバイスは、クロマブロックを含むピクチャを表示するディスプレイを含み得る。
【0379】
[0188] 以下の段落は、本開示の1つまたは複数の技法による例の非限定的なセットを提供する。
【0380】
[0189] 例1.ビデオデータをコーディングする方法であって、現在ブロックがアフィン線形重み付けイントラ予測(ALWIP)を用いてコーディングされるか否かを示す、ALWIPシンタックス要素のためのコンテキストを決定することと、ここにおいて、上方の隣接ブロックが現在ブロックとは異なるコーディングツリーユニット(CTU)中にあることに基づいて、上方の隣接ブロックが、コンテキストを決定するために利用不可能であると決定され、上方の隣接ブロックが、現在ブロックの上方のネイバーである、コンテキストに基づいて、ALWIPシンタックス要素をコーディングすることとを含む方法。
【0381】
[0190] 例2.ビデオデータをコーディングする方法であって、ビデオデータのブロックのセットをコーディングすること、ここにおいて、ブロックのうちのしきい値幅未満の幅、またはしきい値高さ未満の高さを有するもののためのアフィン線形重み付けイントラ予測(ALWIP)を無効にする制約が、コーディングに課される、を含む方法。
【0382】
[0191] 例3.ビデオデータをコーディングする方法であって、隣接ブロックが、アフィン線形重み付けイントラ予測(ALWIP)コーディングされることと、隣接ブロックが、ビデオデータの非ALWIPコード化ブロックの最確モード(MPM)導出において検討されることとに基づいて、ビデオデータの現在ブロックのための隣接ブロックが利用不可能であると見なされると決定することと、利用可能な隣接ブロックに基づいて、現在ブロックのためのMPMを決定することと、MPMのうちの1つに基づいて、現在ブロックをコーディングすることとを含む方法。
【0383】
[0192] 例4.ビデオデータをコーディングする方法であって、隣接ブロックが、非アフィン線形重み付けイントラ予測(ALWIP)コーディングされることと、隣接ブロックが、ビデオデータのALWIPコード化ブロックの最確モード(MPM)導出において使用されることとに基づいて、ビデオデータの現在ブロックのための隣接ブロックが利用不可能であると見なされるとの決定に基づいて、ALWIPブロックの最確モード(MPM)導出のためのデフォルト値を割り当てることと、現在ブロックをコーディングするために、ALWIPを使用することとを含む方法。
【0384】
[0193] 例5.ビデオデータをコーディングする方法であって、ビデオデータの現在ブロックの近傍にある1つまたは複数のブロックに基づいて、アフィン線形重み付けイントラ予測(ALWIP)のための最確モード(MPM)リストを導出することと、現在ブロックをコーディングするために、ALWIPを実施するために、MPMリストからのMPMを使用することとを含む方法。
【0385】
[0194] 例6.現在ブロックの近傍にある1つまたは複数のブロックが、現在ブロックの右上サンプルの上方で、それに隣接する第1の隣接ブロックと、現在ブロックの左下サンプルの左で、それに隣接する第2の隣接ブロックとを含む、例5の方法。
【0386】
[0195] 例7.例1~6のうちの1つまたは複数の任意の組合せの方法を含む方法。
【0387】
[0196] 例8.コーディングすることが復号することを含む、例1~7のいずれかの方法。
【0388】
[0197] 例9.コーディングすることが符号化することを含む、例1~7のいずれかの方法。
【0389】
[0198] 例10.ビデオデータをコーディングするためのデバイスであって、例1~9のいずれかの方法を実施するための1つまたは複数の手段を含むデバイス。
【0390】
[0199] 例11.1つまたは複数の手段が、回路中に実装された1つまたは複数のプロセッサを含む、例10のデバイス。
【0391】
[0200] 例12.ビデオデータを記憶するためのメモリをさらに含む、例10および11のいずれかのデバイス。
【0392】
[0201] 例13.復号ビデオデータを表示するように構成されたディスプレイをさらに含む、例10~12のいずれかのデバイス。
【0393】
[0202] 例14.デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を含む、例10~13のいずれかのデバイス。
【0394】
[0203] 例15.デバイスがビデオデコーダを含む、例10~14のいずれかのデバイス。
【0395】
[0204] 例16.デバイスがビデオエンコーダを含む、例10~15のいずれかのデバイス。
【0396】
[0205] 例17.実行されたとき、例1~7のいずれかの方法を1つまたは複数のプロセッサに実施させる命令を記憶したコンピュータ可読記憶媒体。
【0397】
[0206] 例18.ビデオデータをコーディングするためのデバイスであって、例1~7のいずれかの方法を実施するための手段を含むデバイス。
【0398】
[0207] 例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る(たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない)ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。
【0399】
[0208] 1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的な有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明された技法の実装のための命令、コードおよび/またはデータ構造を取り出すために、1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0400】
[0209] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD-ROMまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気記憶デバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を含み得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含むのではなく、代わりに非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書において使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびBlu-rayディスク(disc)を含み、ここで、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上述の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【0401】
[0210] 命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の同等の集積された論理回路もしくは個別の論理回路など、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書において使用される「プロセッサ」および「処理回路」という用語は、前述の構造、または本明細書において説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび/またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素において十分に実装され得る。
【0402】
[0211] 本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。様々な構成要素、モジュール、またはユニットは、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために本開示で説明されるが、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。そうではなく、上記で説明されたように、様々なユニットは、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明された1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。
【0403】
[0212] 様々な例について説明された。これらおよび他の例は、以下の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
ビデオデータをコーディングする方法であって、
前記ビデオデータの現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施することと、ここにおいて、前記現在ブロックが、アフィン線形重み付けイントラ予測(ALWIP)を使用してコーディングされず、前記MPM導出プロセスを実施することが、
前記現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定することと、
前記隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、
前記隣接ブロックのイントラ予測モードの値がデフォルト値であると決定することと、
前記1つまたは複数のMPMのうちの1つとして、前記デフォルト値に対応するイントラ予測モードを含めることとを備える、
前記現在ブロックのための前記MPMのうちの1つに基づいて、前記現在ブロックをコーディングすることとを備える、方法。
[C2]
前記デフォルト値に対応する前記イントラ予測モードが、平面モードである、C1に記載の方法。
[C3]
前記現在ブロックが第1のブロックであり、前記ビデオデータの第2のブロックが、直接モード(DM)モードを用いてコーディングされたクロマブロックであり、前記方法が、
コロケートされたルーマブロックが、ALWIPを用いてコーディングされるか否かを決定することと、前記コロケートされたルーマブロックが、前記第2のブロックとともにコロケートされる、
前記コロケートされたルーマブロックが、ALWIPを用いてコーディングされることに基づいて、
前記コロケートされたルーマブロックのイントラ予測モードの値がデフォルト値であると決定することと、
前記デフォルト値に対応するイントラ予測モードを使用して、前記第2のブロックをコーディングすることとをさらに備える、C1に記載の方法。
[C4]
前記デフォルト値に対応する前記イントラ予測モードが、平面モードである、C3に記載の方法。
[C5]
ALWIPシンタックス要素のためのコンテキストを決定することと、ここにおいて、前記ALWIPシンタックス要素が、前記現在ブロックがALWIPを用いてコーディングされるか否かを示し、ここにおいて、上方の隣接ブロックが前記現在ブロックとは異なるコーディングツリーユニット(CTU)中にあることに基づいて、前記上方の隣接ブロックが、前記コンテキストを決定するために利用不可能であると決定され、前記上方の隣接ブロックが、前記現在ブロックの上方のネイバーである、
前記コンテキストに基づいて、前記ALWIPシンタックス要素をコーディングすることとをさらに備える、C1に記載の方法。
[C6]
ビデオコーディング規格が、しきい値幅未満の幅、またはしきい値高さ未満の高さを有するブロックのためのALWIPを無効にする制約を課す、C1に記載の方法。
[C7]
前記しきい値幅が8であり、前記しきい値高さが8である、C6に記載の方法。
[C8]
前記現在ブロックをコーディングすることが、前記現在ブロックを復号することを備える、C1に記載の方法。
[C9]
前記現在ブロックを含むピクチャを表示することをさらに備える、C8に記載の方法。
[C10]
前記現在ブロックをコーディングすることが、前記現在ブロックを符号化することを備える、C1に記載の方法。
[C11]
前記現在ブロックを含むピクチャをキャプチャすることをさらに備える、C10に記載の方法。
[C12]
ビデオデータをコーディングするためのデバイスであって、
前記ビデオデータを記憶するためのメモリと、
回路中に実装された1つまたは複数のプロセッサとを備え、前記1つまたは複数のプロセッサが、
前記ビデオデータの現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施することと、ここにおいて、前記現在ブロックが、アフィン線形重み付けイントラ予測(ALWIP)を使用してコーディングされず、前記MPM導出プロセスを実施することが、
前記現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定することと、
前記隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、
前記隣接ブロックのイントラ予測モードの値がデフォルト値であると決定することと、
前記1つまたは複数のMPMのうちの1つとして、前記デフォルト値に対応するイントラ予測モードを含めることとを備える、
前記現在ブロックのための前記MPMのうちの1つに基づいて、前記現在ブロックをコーディングすることとを行うように構成される、デバイス。
[C13]
前記デフォルト値に対応する前記イントラ予測モードが、平面モードである、C12に記載のデバイス。
[C14]
前記現在ブロックが第1のブロックであり、前記ビデオデータの第2のブロックが、直接モード(DM)モードを用いてコーディングされたクロマブロックであり、前記1つまたは複数のプロセッサが、
コロケートされたルーマブロックが、ALWIPを用いてコーディングされるか否かを決定することと、前記コロケートされたルーマブロックが、前記第2のブロックとともにコロケートされる、
前記コロケートされたルーマブロックが、ALWIPを用いてコーディングされることに基づいて、
前記コロケートされたルーマブロックのイントラ予測モードの値がデフォルト値であると決定することと、
前記デフォルト値に対応するイントラ予測モードを使用して、前記第2のブロックをコーディングすることとを行うようにさらに構成される、C12に記載のデバイス。
[C15]
前記デフォルト値に対応する前記イントラ予測モードが、平面モードである、C14に記載のデバイス。
[C16]
前記1つまたは複数のプロセッサが、
前記現在ブロックがALWIPを用いてコーディングされるか否かを示す、ALWIPシンタックス要素のためのコンテキストを決定することと、ここにおいて、上方の隣接ブロックが前記現在ブロックとは異なるコーディングツリーユニット(CTU)中にあることに基づいて、前記上方の隣接ブロックが、前記コンテキストを決定するために利用不可能であると決定され、前記上方の隣接ブロックが、前記現在ブロックの上方のネイバーである、
前記コンテキストに基づいて、前記ALWIPシンタックス要素をコーディングすることとを行うようにさらに構成される、C12に記載のデバイス。
[C17]
ビデオコーディング規格が、しきい値幅未満の幅、またはしきい値高さ未満の高さを有するブロックのためのALWIPを無効にする制約を課す、C12に記載のデバイス。
[C18]
前記しきい値幅が8であり、前記しきい値高さが8である、C17に記載のデバイス。
[C19]
前記1つまたは複数のプロセッサが、前記現在ブロックをコーディングすることの一部として、前記1つまたは複数のプロセッサが前記現在ブロックを復号するように構成される、C12に記載のデバイス。
[C20]
復号ビデオデータを表示するように構成されたディスプレイをさらに備える、C19に記載のデバイス。
[C21]
前記1つまたは複数のプロセッサが、前記現在ブロックをコーディングすることの一部として、前記1つまたは複数のプロセッサが前記現在ブロックを符号化するように構成される、C12に記載のデバイス。
[C22]
前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、C12に記載のデバイス。
[C23]
ビデオデータをコーディングするためのデバイスであって、
前記ビデオデータの現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施するための手段と、ここにおいて、前記現在ブロックが、アフィン線形重み付けイントラ予測(ALWIP)を使用してコーディングされず、前記MPM導出プロセスを実施するための前記手段が、
前記現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定するための手段と、
前記隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、前記隣接ブロックのイントラ予測モードの値がデフォルト値であると決定することと、前記1つまたは複数のMPMのうちの1つとして、前記デフォルト値に対応するイントラ予測モードを含めることとを行うための手段とを備える、
前記現在ブロックのための前記MPMのうちの1つに基づいて、前記現在ブロックをコーディングするための手段とを備える、デバイス。
[C24]
前記デフォルト値に対応する前記イントラ予測モードが、平面モードである、C23に記載のデバイス。
[C25]
前記現在ブロックが第1のブロックであり、前記ビデオデータの第2のブロックが、直接モード(DM)モードを用いてコーディングされたクロマブロックであり、前記デバイスが、
コロケートされたルーマブロックが、ALWIPを用いてコーディングされるか否かを決定するための手段と、前記コロケートされたルーマブロックが、前記第2のブロックとともにコロケートされる、
前記コロケートされたルーマブロックが、ALWIPを用いてコーディングされることに基づいて、前記コロケートされたルーマブロックのイントラ予測モードの値がデフォルト値であると決定するための手段と、
前記デフォルト値に対応するイントラ予測モードを使用して、前記第2のブロックをコーディングするための手段とをさらに備える、C23に記載のデバイス。
[C26]
命令を記憶したコンピュータ可読記憶媒体であって、前記命令が、実行されたとき、1つまたは複数のプロセッサに、
ビデオデータの現在ブロックのための1つまたは複数の最確モード(MPM)を導出する、MPM導出プロセスを実施することと、ここにおいて、前記現在ブロックが、アフィン線形重み付けイントラ予測(ALWIP)を使用してコーディングされず、前記MPM導出プロセスを実施することが、
前記現在ブロックの隣接ブロックがALWIPコード化隣接ブロックであるか否かを決定することと、
前記隣接ブロックがALWIPコード化隣接ブロックであることに基づいて、
前記隣接ブロックのイントラ予測モードの値がデフォルト値であると決定することと、
前記1つまたは複数のMPMのうちの1つとして、前記デフォルト値に対応するイントラ予測モードを含めることとを備える、
前記現在ブロックのための前記MPMのうちの1つに基づいて、前記現在ブロックをコーディングすることとを行わせる、コンピュータ可読記憶媒体。
[C27]
前記デフォルト値に対応する前記イントラ予測モードが、平面モードである、C26に記載のコンピュータ可読記憶媒体。
[C28]
前記現在ブロックが第1のブロックであり、前記ビデオデータの第2のブロックが、直接モード(DM)モードを用いてコーディングされたクロマブロックであり、前記1つまたは複数のプロセッサが、
コロケートされたルーマブロックが、ALWIPを用いてコーディングされるか否かを決定することと、前記コロケートされたルーマブロックが、前記第2のブロックとともにコロケートされる、
前記コロケートされたルーマブロックが、ALWIPを用いてコーディングされることに基づいて、
前記コロケートされたルーマブロックのイントラ予測モードの値がデフォルト値であると決定することと、
前記デフォルト値に対応するイントラ予測モードを使用して、前記第2のブロックをコーディングすることとを行うようにさらに構成される、C26に記載のコンピュータ可読記憶媒体。
図1
図2
図3
図4
図5A
図5B
図5C
図6
図7
図8
図9
図10
図11
図12
図13
図14A
図14B
図15
図16
図17
図18
図19
図20