(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162350
(43)【公開日】2023-11-08
(54)【発明の名称】ビデオコーディングにおける改善されたイントラ予測
(51)【国際特許分類】
H04N 19/593 20140101AFI20231031BHJP
H04N 19/11 20140101ALI20231031BHJP
H04N 19/136 20140101ALI20231031BHJP
H04N 19/157 20140101ALI20231031BHJP
H04N 19/176 20140101ALI20231031BHJP
【FI】
H04N19/593
H04N19/11
H04N19/136
H04N19/157
H04N19/176
【審査請求】有
【請求項の数】16
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023139698
(22)【出願日】2023-08-30
(62)【分割の表示】P 2019571588の分割
【原出願日】2018-06-28
(31)【優先権主張番号】62/527,795
(32)【優先日】2017-06-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/527,903
(32)【優先日】2017-06-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/527,928
(32)【優先日】2017-06-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/020,179
(32)【優先日】2018-06-27
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】QUALCOMM INCORPORATED
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】カイ・ジャン
(72)【発明者】
【氏名】ジャンレ・チェン
(72)【発明者】
【氏名】シン・ジャオ
(72)【発明者】
【氏名】マルタ・カルチェビチ
(57)【要約】 (修正有)
【課題】拡張角度イントラ予測モードを使用するイントラ予測を含むビデオ符号化および/またはビデオ復号の方法および装置を提供する。
【解決手段】ビデオデータを符号化または復号する装置において、方法は、少なくとも1つの再構築されたサンプルを識別することと、現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、少なくとも1つの再構築されたサンプルに基づいて、現在のブロックの少なくとも1つのサンプルを、少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードが、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含むものである、少なくとも1つの予測されたサンプルに基づいて、現在のブロックを符号化または復号することと、を含む。
【選択図】
図20
【特許請求の範囲】
【請求項1】
ビデオデータを符号化または復号する方法であって、
ビデオデータの少なくとも1つの再構築されたサンプルをロケートすることと、
現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、
前記少なくとも1つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも1つのサンプルを、前記少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含む、
前記少なくとも1つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号することと
を備える、方法。
【請求項2】
前記少なくとも1つの拡張角度イントラ予測モードは、水平-45度を超える角度モードまたは垂直-45度を超える角度モードのうちの少なくとも1つを備える、請求項1に記載の方法。
【請求項3】
前記現在のブロックの形状に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさらに備える、請求項1に記載の方法。
【請求項4】
前記現在のブロックに近隣する少なくとも1つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさらに備える、請求項1に記載の方法。
【請求項5】
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも1つを予測することをさらに備える、請求項1に記載の方法。
【請求項6】
水平-45度と垂直-45度との間の角度イントラ予測モードを置き換えることに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定することをさらに備える、請求項1に記載の方法。
【請求項7】
前記拡張角度イントラ予測モードの角度方向の範囲内で、水平-45度と垂直-45度との間の角度イントラ予測モードをシフトすることに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定することをさらに備える、請求項1に記載の方法。
【請求項8】
水平-45度と垂直-45度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第1の予測ブロックを生成することと、
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第2の予測ブロックを生成することと、
前記第1の予測ブロックと前記第2の予測ブロックとの加重和を決定することと、
前記加重和に基づいて、最終の予測ブロックを生成することと、
前記最終の予測ブロックに基づいて、前記現在のブロックを予測することと
をさらに備える、請求項1に記載の方法。
【請求項9】
ビデオデータを符号化または復号するように構成される装置であって、前記装置は、 ビデオデータの少なくとも1つの再構築されたサンプルを記憶するように構成されるメモリと、
前記メモリと通信状態にある少なくとも1つのプロセッサと
を備え、前記少なくとも1つのプロセッサは、
少なくとも1つの再構築されたサンプルを識別することと、
現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、
前記少なくとも1つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも1つのサンプルを、前記少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含む、
前記少なくとも1つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号することと
をするように構成される、装置。
【請求項10】
前記少なくとも1つの拡張角度イントラ予測モードは、水平-45度を超える角度モードまたは垂直-45度を超える角度モードのうちの少なくとも1つを備える、請求項9に記載の装置。
【請求項11】
前記少なくとも1つのプロセッサは、前記現在のブロックの形状に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するようにさらに構成される、請求項9に記載の装置。
【請求項12】
前記少なくとも1つのプロセッサは、前記現在のブロックに近隣する少なくとも1つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するようにさらに構成される、請求項9に記載の装置。
【請求項13】
前記少なくとも1つのプロセッサは、前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも1つを予測するようにさらに構成される、請求項9に記載の装置。
【請求項14】
前記少なくとも1つのプロセッサは、水平-45度と垂直-45度との間の角度イントラ予測モードの置き換えに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定するようにさらに構成される、請求項9に記載の装置。
【請求項15】
前記少なくとも1つのプロセッサは、水平-45度と垂直-45度との間の角度イントラ予測モードが前記拡張角度イントラ予測モードの角度方向の範囲内となるためのシフトに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定するようにさらに構成される、請求項9に記載の装置。
【請求項16】
前記少なくとも1つのプロセッサは、
水平-45度と垂直-45度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第1の予測ブロックを生成することと、
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第2の予測ブロックを生成することと、
前記第1の予測ブロックと前記第2の予測ブロックとの加重和を決定することと、
前記加重和に基づいて、最終の予測ブロックを生成することと、
前記最終の予測ブロックに基づいて、前記現在のブロックを予測することと
をするようにさらに構成される、請求項9に記載の装置。
【請求項17】
ビデオデータを符号化または復号するように構成される装置であって、前記装置は、 ビデオデータの少なくとも1つの再構築されたサンプルを記憶するための手段と、
少なくとも1つの再構築されたサンプルを識別するための手段と、
現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定するための手段と、
前記少なくとも1つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも1つのサンプルを、前記少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測するための手段と、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含む、
前記少なくとも1つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号するための手段と
を備える、装置。
【請求項18】
前記少なくとも1つの拡張角度イントラ予測モードは、水平-45度を超える角度モードまたは垂直-45度を超える角度モードのうちの少なくとも1つを備える、請求項17に記載の装置。
【請求項19】
前記現在のブロックの形状に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するための手段をさらに備える、請求項17に記載の装置。
【請求項20】
前記現在のブロックに近隣する少なくとも1つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するための手段をさらに備える、請求項17に記載の装置。
【請求項21】
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも1つを予測するための手段をさらに備える、請求項17に記載の装置。
【請求項22】
水平-45度と垂直-45度との間の角度イントラ予測モードの置き換えに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定するための手段をさらに備える、請求項17に記載の装置。
【請求項23】
水平-45度と垂直-45度との間の角度イントラ予測モードが前記拡張角度イントラ予測モードの角度方向の範囲内となるためのシフトに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定するための手段をさらに備える、請求項17に記載の装置。
【請求項24】
水平-45度と垂直-45度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第1の予測ブロックを生成するための手段と、
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第2の予測ブロックを生成するための手段と、
前記第1の予測ブロックと前記第2の予測ブロックとの加重和を決定するための手段と、
前記加重和に基づいて、最終の予測ブロックを生成するための手段と、
前記最終の予測ブロックに基づいて、前記現在のブロックを予測するための手段と
をさらに備える、請求項17に記載の装置。
【請求項25】
実行されると、ビデオデータを符号化または復号するように構成される1つまたは複数のプロセッサに、
少なくとも1つの再構築されたサンプルを識別することと、
現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、
前記少なくとも1つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも1つのサンプルを、前記少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含む、
前記少なくとも1つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号することと
をさせる命令を記憶する、コンピュータ可読記憶媒体。
【請求項26】
実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、前記現在のブロックの形状に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさせる命令をさらに記憶する、請求項25に記載のコンピュータ可読記憶媒体。
【請求項27】
実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、前記現在のブロックに近隣する少なくとも1つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさせる命令をさらに記憶する、請求項25に記載のコンピュータ可読記憶媒体。
【請求項28】
実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも1つを予測することをさせる命令をさらに記憶する、請求項25に記載のコンピュータ可読記憶媒体。
【請求項29】
実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、水平-45度と垂直-45度との間の角度イントラ予測モードが前記拡張角度イントラ予測モードの角度方向の範囲内となるためのシフトに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定することをさせる命令をさらに記憶する、請求項25に記載のコンピュータ可読記憶媒体。
【請求項30】
実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、
水平-45度と垂直-45度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第1の予測ブロックを生成することと、
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第2の予測ブロックを生成することと、
前記第1の予測ブロックと前記第2の予測ブロックとの加重和を決定することと、
前記加重和に基づいて、最終の予測ブロックを生成することと、
前記最終の予測ブロックに基づいて、前記現在のブロックを予測することと
をさせる命令をさらに記憶する、請求項25に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
[0001] 本出願は、2017年6月30日に出願された米国仮特許出願第62/527,795号、2017年6月30日に出願された米国仮特許出願第62/527,903号、2017年6月30日に出願された米国仮特許出願第62/527,928号、および2018年6月27日に出願された米国特許出願第16/020,179号の利益を主張し、それらの各々は、その全体が参照によって組み込まれる。
【技術分野】
【0002】
[0002] この開示は、ビデオコーディング(例えば、ビデオ符号化および/またはビデオ復号)に関する。例えば、いくつかの態様は、ビデオコーディングにおけるイントラ予測に関する。
【背景技術】
【0003】
[0003] デジタルビデオ能力は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラ式または衛星無線電話、いわゆる「スマートフォン」、ビデオテレビ会議デバイス、ビデオストリーミングデバイス、および同様のものを含む、幅広い範囲のデバイスへと組み込まれることができる。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、アドバンストビデオコーディング(AVC)、最近完成された高効率ビデオコーディング(HEVC)規格、およびそのような規格の拡張によって定義された規格において説明されるもののような、ビデオ圧縮技法を実施する。ビデオデバイスは、そのようなビデオ圧縮技法を実施することによって、より効率的にデジタルビデオ情報を送信、受信、符号化、復号、および/または記憶し得る。
【0004】
[0004] ビデオ圧縮技法は、ビデオシーケンスに内在する冗長性を低減または取り除くために、空間的(イントラピクチャ)予測および/または時間的(インターピクチャ)予測を行う。ブロックベースのビデオコーディングの場合、ビデオスライス(すなわち、ビデオフレームまたはビデオフレームの一部分)は、ビデオブロックへと区分化され得、それはまた、ツリーブロック、コーディングユニット(CU)、および/またはコーディングノードと呼ばれ得る。ピクチャのイントラコーディングされた(I)スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対して空間的予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対して空間的予測を、または他の参照ピクチャ中の参照サンプルに対して時間的予測を使用し得る。ピクチャは、フレームと呼ばれ得、および参照ピクチャは、参照フレームと呼ばれ得る。
【0005】
[0005] 空間的または時間的予測は、コーディングされることになるブロックについての予測ブロックをもたらす。残差データは、コーディングされることになる元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトル、およびコーディングされたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセルドメインから変換ドメインに変換され得、残差変換係数をもたらし、それはその後、量子化され得る。最初に2次元アレイ中に配置された、量子化された変換係数は、変換係数の1次元ベクトルを作り出すために走査され得、エントロピーコーディングが、さらに一層の圧縮を達成するために適用され得る。
【発明の概要】
【0006】
[0006] 概して、この開示は、ビデオデータのブロックのサンプルのイントラ予測のための技法を説明するものである。特に、この開示は、拡張角度イントラ予測モード(1つ以上)(an extended angular intra prediction mode)、カスケードイントラ予測(cascade intra prediction)、および/または逆線形モデルイントラ予測(inversed-linear model intra prediction)のうちの少なくとも1つを含むイントラ予測技法を利用して、現在のブロックのサンプルを予測するための技法を説明するものである。
【0007】
[0007] 一例では、ビデオデータを符号化または復号する方法が、ビデオデータの少なくとも1つの再構築されたサンプルをロケートする(locating)ことと、現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、少なくとも1つの再構築されたサンプルに基づいて、現在のブロックの少なくとも1つのサンプルを、少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含み、少なくとも1つの予測されたサンプルに基づいて、現在のブロックを符号化または復号することとを含む。
【0008】
[0008] 別の例では、ビデオデータを符号化または復号するように構成される装置であって、ビデオデータの少なくとも1つの再構築されたサンプルを記憶するように構成されるメモリと、メモリと通信状態にある少なくとも1つのプロセッサとを含み、プロセッサは少なくとも1つの再構築されたサンプルを識別することと、現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、少なくとも1つの再構築されたサンプルに基づいて、現在のブロックの少なくとも1つのサンプルを、少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含むものである、少なくとも1つの予測されたサンプルに基づいて、現在のブロックを符号化または復号することと、をするように構成される。
【0009】
[0009] 別の例では、ビデオデータを符号化または復号するように構成される装置が、ビデオデータの少なくとも1つの再構築されたサンプルを記憶するための手段と、少なくとも1つの再構築されたサンプルを識別するための手段と、現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定するための手段と、少なくとも1つの再構築されたサンプルに基づいて、現在のブロックの少なくとも1つのサンプルを、少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測するための手段と、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含み、少なくとも1つの予測されたサンプルに基づいて、現在のブロックを符号化または復号するための手段とを含む。
【0010】
[0010] 別の例では、コンピュータ可読記憶媒体が、実行されると、ビデオデータを符号化または復号するように構成される1つまたは複数のプロセッサに、少なくとも1つの再構築されたサンプルを識別することと、現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、少なくとも1つの再構築されたサンプルに基づいて、現在のブロックの少なくとも1つのサンプルを、少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含み、少なくとも1つの予測されたサンプルに基づいて、現在のブロックを符号化または復号することとをさせる命令を記憶する。
【0011】
[0011] 他の例では、ビデオデータをコーディングする方法が、ビデオデータの第1のブロックについての少なくとも1つのクロマサンプルを再構築することと、ビデオデータの第1のブロックについての少なくとも1つの再構築されたクロマサンプルおよび少なくとも1つの予測モデルに基づいて、第1のブロックについての少なくとも1つのルーマサンプルを予測することと、少なくとも1つの予測されたルーマサンプルに基づいて、第1のブロックをコーディングすることとを含む。方法のいくつかの実施形態において、少なくとも1つの予測モデルは、逆線型モデルを含む。いくつかの実施形態において、方法はさらに、第1のブロックに近隣する少なくとも1つのブロックに関連付けられたルーマサンプルまたはクロマサンプルのうちの少なくとも1つに基づいて、少なくとも1つの予測モデルについての少なくとも1つのパラメータを決定することを含み得る。いくつかの実施形態において、方法はさらに、線形回帰技法に基づいて、少なくとも1つのパラメータを決定することを含み得る。いくつかの実施形態において、方法はさらに、第1のブロックについての少なくとも1つのクロマサンプルの強度のインジケーションを決定することを含み得る。いくつかの実施形態において、方法はさらに、少なくとも1つのクロマサンプルの強度のインジケーションに基づいて、少なくとも1つのクロマサンプルを複数のグループの中の第1のグループに関連付けることを含み得る。方法のいくつかの実施形態において、少なくとも1つの予測モデルは、方法がさらに第1のグループに基づいて複数の予測モデルの中から第1の予測モデルを決定することを含み得るように、複数の予測モデルを含み得る。コーディングが復号動作を構成する方法のいくつかの実施形態において、方法はさらに、少なくとも1つの予測モデルが第1のブロックについての少なくとも1つのルーマサンプルを予測するために使用されるかどうかを示す1つまたは複数のシンタックス要素を受信することを含み得る。コーディングが符号化動作を構成する方法のいくつかの実施形態において、方法はさらに、少なくとも1つの予測モデルが第1のブロックについての少なくとも1つのルーマサンプルを予測するために使用されるかどうかを示す1つまたは複数のシンタックス要素を送信することを含み得る。上記の例において、方法は、ビデオデータを符号化する方法またはビデオデータを復号する方法を構成し得る。さらに、いくつかの具体例では、装置が、ビデオデータを記憶するように構成されるメモリと、上記の例証的な方法(1つ以上)に従ってビデオデータを符号化または復号するように構成されるプロセッサとを含み得る。さらに、いくつかの具体例では、コンピュータ可読媒体が、実行されると、ビデオデータを符号化または復号するように構成されるプロセッサに、上記の例証的な方法(1つ以上)を行なわせる命令をそれに記憶させたものであり得る。
【0012】
[0012] さらなる他の例では、ビデオデータをコーディングする方法が、ビデオデータのサンプルの第1の行または第1の列のうちの1つに関連付けられた少なくとも1つのサンプルを再構築することと、カスケード技法に基づいて、ビデオデータのサンプルの第2の行に関連付けられた少なくとも1つのサンプルを予測することと、カスケード技法は、第2の行に関連付けられた少なくとも1つのサンプルを予測するための、第1の角度イントラ予測モードに関連付けられた角度の使用を備え、ビデオデータの第1のブロック内の第2の行に関連付けられた少なくとも1つの予測されたサンプルをコーディングすることとを含む。方法のいくつかの実施形態において、第1の行または第1の列のうちの1つに関連付けられた少なくとも1つのサンプルは、複数のサンプルを備える。方法のいくつかの実施形態において、第1の行または第1の列のうちの1つに関連付けられた少なくとも1つのサンプルは、複数のサンプルを含み、ここで、複数のサンプルのうちの少なくとも1つのサンプルは、第1のブロック以外の第2のブロックに関連付けられる。方法のいくつかの実施形態において、第2のブロックは、第1のブロックに近隣する。方法のいくつかの実施形態において、第1の行または第1の列のうちの1つに関連付けられた少なくとも1つのサンプルは、複数のサンプルを含み、ここで、複数のサンプルの各々は、第1のブロック以外の少なくとも1つのブロックに関連付けられる。方法のいくつかの実施形態において、少なくとも1つのブロックは、第1のブロックの近隣ブロックまたは第1のブロックの非近隣ブロックのうちの1つである。方法のいくつかの実施形態において、少なくとも1つのブロックは、第1のブロックの隣接ブロックまたは第1のブロックの非隣接ブロックのうちの1つである。方法のいくつかの実施形態において、第1の角度イントラ予測モードは、水平-45度と垂直-45度との間の角度イントラ予測モードを含む。方法のいくつかの実施形態において、第1の角度イントラ予測モードは、水平-45度と垂直-45度との間において以外の拡張角度イントラ予測モードを備える。上記の例において、方法は、ビデオデータを符号化する方法またはビデオデータを復号する方法を構成し得る。さらに、いくつかの具体例において、装置は、ビデオデータを記憶するように構成されるメモリと、上記の例証的な方法(1つ以上)に従ってビデオデータを符号化または復号するように構成されるプロセッサとを含み得る。さらに、いくつかの具体例では、コンピュータ可読媒体が、実行されると、ビデオデータを符号化または復号するように構成されるプロセッサに、上記の例証的な方法(1つ以上)を行わせる命令をそれに記憶させたものであり得る。
【0013】
[0013] 1つまたは複数の例の詳細が、添付の図面および以下の説明において明らかにされる。他の特徴、目的、および利点は、説明および図面から、並びに特許請求の範囲から明らかになるはずである。
【図面の簡単な説明】
【0014】
【
図1】この開示において説明される技法を利用し得る実例的なビデオ符号化および復号システムを例示するブロック図である。
【
図2A】QTBTを使用することによるブロック区分化の例を例示する。
【
図3】16×16ブロックについてのイントラ予測の例を示す。
【
図4】HEVCにおいて定義された35個のイントラ予測モードのグラフィカルな例示である。
【
図5】HEVCに従う平面モードでの予測サンプルの生成の例示である。
【
図6】HEVCに従う平面モードでの予測サンプルの生成の別の例示である。
【
図7】線形モデルクロマイントラ予測のためのモデルパラメータαおよびモデルパラメータβを導出するために使用されるサンプルの実例的なロケーションの概念図である。
【
図8】ルーマ(Y)成分とクロマ(C)成分との間の線形回帰の例のグラフである。
【
図9】実例的なルーマサンプルダウンサンプリングの概略図である。
【
図10A】この開示に従う、イントラ予測に利用され得る拡張角度イントラ予測モードのグラフィカルな例示である。
【
図10B】この開示に従う、イントラ予測に利用され得る拡張角度イントラ予測モードのグラフィカルな例示である。
【
図11】この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプル(1つ以上)から1つのサンプルを予測する例を例示する。
【
図12】この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプル(1つ以上)から1つのサンプルを予測する別の例を例示する。
【
図13】この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプル(1つ以上)からサンプル(1つ以上)を予測する例を例示する。
【
図14】この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプルに基づいて、投影されたサンプルを満たす例を例示する。
【
図15】この開示に従う、拡張角度イントラ予測モードを使用して、再構築されたサンプル(1つ以上)からサンプル(1つ以上)を予測する別のものを例示する。
【
図16】この開示に従う、拡張イントラ予測モードを使用して、再構築されたサンプルに基づいて、投影されたサンプルを満たす別の例を例示する。
【
図17】HEVCにおいて定義されたイントラ予測モードに関連付けられた予測角度の方向と、本開示の拡張角度イントラ予測モードに関連付けられた予測角度の方向とが互いに対して制約される(constrained)例を例示する。
【
図18A】本開示に従う、現在のブロックの行ごとの(line-by-line)カスケードイントラ予測の例を例示する。
【
図18B】本開示に従う、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
【
図18C】本開示に従う、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
【
図18D】本開示に従う、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
【
図18E】本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
【
図18F】本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
【
図18G】本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
【
図18H】本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
【
図19】本開示に従う、特定の予測モード(1つ以上)に制約された現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
【
図20】この開示において説明される技法を実施し得る実例的なビデオ符号化器を例示するブロック図である。
【
図21】この開示において説明される技法を実施し得る実例的なビデオ復号器を例示するブロック図である。
【詳細な説明】
【0015】
[0036] 最近開発された高効率ビデオコーディング(HEVC)規格を含む様々なコーディング規格は、ビデオブロックについての予測コーディングモードを含み、ここで、現在コーディングされているブロックは、ビデオデータの既にコーディングされたブロックに基づいて予測される。イントラ予測モードにおいて、現在のブロックは、現在のブロックと同じピクチャ中の1つまたは複数の以前にコーディングされた近隣ブロックに基づいて予測され、その一方でインター予測モードにおいて、現在のブロックは、異なるピクチャ中の既にコーディングされたブロックに基づいて予測される。インター予測モードにおいて、予測ブロックとして使用するための、以前にコーディングされたフレームのブロックを決定するプロセスは動き推定とも呼ばれ、それは通常ビデオ符号化器によって行われるものであり、予測ブロックを識別および取り出すプロセスは動き補償とも呼ばれ、それはビデオ符号化器およびビデオ復号器の両方によって行われる。HEVCの拡張およびHEVCの後継はまた、イントラブロックコピー、辞書、およびパレットコーディングモードのような追加のコーディングモードを使用し得る。
【0016】
[0037] この開示は、イントラ予測に関する技法を説明するものである。この開示の技法は、次世代のビデオコーディング規格または画像コーディング規格のような、アドバンストビデオコーデックのコンテキストにおいて使用され得る。
【0017】
[0038] この開示における様々な技法は、ビデオコーダを参照して説明され得、それは、ビデオ符号化器またはビデオ復号器のいずれかを指すことができる総称であることを意図される。別途明示的に記載されない限り、ビデオ符号化器またはビデオ復号器に関して説明される技法は、ビデオ符号化器またはビデオ復号器の他方によって行えないとみなされるべきでない。例えば、多くの事例では、ビデオ復号器が、符号化されたビデオデータを復号するために、ビデオ符号化器と同じ、または時として相反するコーディング技法を行う。多くの事例では、ビデオ符号化器がまた、ビデオ復号ループを含み、このことから、ビデオ符号化器は、ビデオデータを符号化することの一部としてビデオ復号を行う。ゆえに、別途記載されない限り、ビデオ復号器に関してこの開示において説明される技法もまた、ビデオ符号化器によって行われ得、その逆もまた然りである。
【0018】
[0039] この開示はまた、現在のブロック、現在のピクチャ、等のような用語を使用し得る。この開示のコンテキストにおいて、「現在の(current)」という用語は、現在コーディングされているブロックまたはピクチャを識別することを意図するもので、例えば、以前にまたは既にコーディングされたブロックまたはピクチャ、あるいは未だにコーディングされていないブロックまたはピクチャとは対照的なものである。
【0019】
[0040]
図1は、この開示において説明される予測のための技法、例えば、拡張角度イントラ予測モード、カスケードイントラ予測、および/または逆線形モデルイントラ予測、を利用し得る実例的なビデオ符号化および復号システム10を例示するブロック図である。
図1に示されるように、システム10は、宛先デバイス14によって後の時間に復号されることになる符号化されたビデオデータを提供するソースデバイス12を含む。特に、ソースデバイス12は、コンピュータ可読媒体16を介して宛先デバイス14にビデオデータを提供する。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのような電話ハンドセット、いわゆる「スマート」パッド、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、または同様のものを含む、幅広い範囲のデバイスのうちの任意のものを備え得る。いくつかのケースでは、ソースデバイス12および宛先デバイス14が、ワイヤレス通信のために装備され得る。
【0020】
[0041] 宛先デバイス14は、コンピュータ可読媒体16を介して、復号されることになる符号化されたビデオデータを受信し得る。コンピュータ可読媒体16は、ソースデバイス12から宛先デバイス14に符号化されたビデオデータを移動させることが可能である任意のタイプの媒体またはデバイスを備え得る。一例において、コンピュータ可読媒体16は、ソースデバイス12がリアルタイムで宛先デバイス14に符号化されたビデオデータを直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルのような通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理的伝送線路のような任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットのようなグローバルネットワークのような、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を容易にするのに有用であり得る任意の他の機器を含み得る。
【0021】
[0042] いくつかの例では、符号化されたデータが、出力インターフェース22から記憶デバイスに出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Blu-ray(登録商標)ディスク、DVD、CD-ROM、フラッシュメモリ、揮発性または非揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の適したデジタル記憶媒体のような、多様な分散されたまたは局所的にアクセスされるデータ記憶媒体のうちの任意のものを含み得る。さらなる例において、記憶デバイスは、ファイルサーバ、またはソースデバイス12によって生成される符号化されたビデオを記憶し得る別の中間記憶デバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して記憶デバイスからの記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶することと、宛先デバイス14にその符号化されたビデオデータを送信することとが可能である任意のタイプのサーバであり得る。実例的なファイルサーバは、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)デバイス、またはローカルディスクドライブを含む。宛先デバイス14は、インターネット接続を含む、任意の標準的データ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化されたビデオデータにアクセスするのに適している、ワイヤレスチャネル(例えば、Wi-Fi接続)、ワイヤード接続(例えば、DSL、ケーブルモデム、等)、またはその両方の組み合わせを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであり得る。
【0022】
[0043] この開示の技法は、ワイヤレスアプリケーションまたは設定に必ずしも限定されない。本技法は、無線テレビ放送、ケーブルテレビ送信、衛星テレビ送信、HTTPを通した動的適応型ストリーミング(DASH)のようなインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されるデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他のアプリケーションのような、多様なマルチメディアアプリケーションのうちの任意のものをサポートするビデオコーディングに適用され得る。いくつかの例において、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオ電話通信のようなアプリケーションをサポートするための1方向(one-way)または2方向(two-way)ビデオ送信をサポートするように構成され得る。
【0023】
[0044]
図1の例では、ソースデバイス12が、ビデオソース18、ビデオ符号化器20、および出力インターフェース22を含む。宛先デバイス14は、入力インターフェース28、ビデオ復号器30、およびディスプレイデバイス32を含む。この開示に従って、ソースデバイス12のビデオ符号化器20は、この開示において説明されるイントラ予測技法のための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスが、他のコンポーネントまたは配置を含み得る。例えば、ソースデバイス12は、外部カメラのような外部ビデオソース18からビデオデータを受信し得る。同じように、宛先デバイス14は、統合されたディスプレイデバイスを含むというよりはむしろ、外部ディスプレイデバイスとインターフェースし得る。
【0024】
[0045]
図1の例示されるシステム10は単に、一例に過ぎない。この開示において説明されるイントラ予測技法のための技法は、任意のデジタルビデオ符号化および/または復号デバイスによって行われ得る。概して、この開示の技法は、ビデオ符号化デバイスによって行われるが、本技法はまた、典型的に「CODEC」と呼ばれるビデオ符号化器/復号器によって行われ得る。その上、この開示の技法はまた、ビデオプリプロセッサによって行われ得る。ソースデバイス12および宛先デバイス14は単に、ソースデバイス12が宛先デバイス14への送信のためのコーディングされたビデオデータを生成するそのようなコーディングデバイスの例に過ぎない。いくつかの例において、デバイス12、14は、デバイス12、14の各々がビデオ符号化および復号コンポーネントを含むような実質的に対称的な方法で動作し得る。故に、システム10は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話のために、ビデオデバイス12とビデオデバイス14との間の1方向または2方向ビデオ送信をサポートし得る。
【0025】
[0046] ソースデバイス12のビデオソース18は、ビデオカメラのようなビデオキャプチャデバイス、以前にキャプチャされたビデオを包含するビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース18は、ソースビデオとしてコンピュータグラフィックスベースのデータを、またはライブビデオ、アーカイブされたビデオ、およびコンピュータ生成されたビデオの組み合わせを生成し得る。いくつかのケースでは、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14が、いわゆるカメラ電話またはビデオ電話を形成し得る。上述されたように、しかしながら、この開示において説明される技法は、一般にビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤードアプリケーションに適用され得る。各ケースにおいて、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオは、ビデオ符号化器20によって符号化され得る。符号化されたビデオ情報はその後、コンピュータ可読媒体16上に出力インターフェース22によって出力され得る。
【0026】
[0047] コンピュータ可読媒体16は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信のような一過性媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu-rayディスク、または他のコンピュータ可読媒体のような記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示せず)が、ソースデバイス12から符号化されたビデオデータを受信し、例えば、ネットワーク送信を介して、宛先デバイス14に符号化されたビデオデータを提供し得る。同様に、ディスクスタンピング設備のような媒体製造設備(medium production facility)のコンピューティングデバイスは、ソースデバイス12から符号化されたビデオデータを受信し、符号化されたビデオデータを包含するディスクを製造し得る。従って、コンピュータ可読媒体16は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むことが理解され得る。
【0027】
[0048] 宛先デバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ブロックおよび他のコーディングされたユニットの特性および/または処理を記述するシンタックス要素を含む、ビデオ符号化器20によって定義されたシンタックス情報を含み得、それはまた、ビデオ復号器30によって使用される。ディスプレイデバイス32は、ユーザに復号されたビデオデータを表示し、ブラウン管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスのような多様なディスプレイデバイスのうちの任意のものを備え得る。
【0028】
[0049] ビデオ符号化器20およびビデオ復号器30は、最近確定された高効率ビデオコーディング(HEVC)規格のようなビデオ圧縮規格に従って動作し得、HEVCテストモデル(HM)に従い得る。ビデオ符号化器20およびビデオ復号器30は加えて、ITU-Tビデオコーディング専門家グループ(VCEG:Video Coding Experts Group)およびISO/IECモーションピクチャ専門家グループ(MPEG:Motion Picture Experts Group)のビデオコーディングに関する共同コラボレーションチーム(JCT-VC:the Joint Collaboration Team on Video Coding)並びに3Dビデオコーディング拡張開発に関する共同コラボレーションチーム(JCT-3V:Joint Collaboration Team on 3D Video Coding Extension Development)によって開発されてきた、範囲拡張、マルチビュー拡張(MV-HEVC)、またはスケーラブル拡張(SHVC)のような、HEVC拡張に従って動作し得る。
【0029】
[0050] ビデオ符号化器20およびビデオ復号器30はまた、ISO/IEC MPEG-4、Part 10、アドバンストビデオコーディング(AVC)と代替的に呼ばれる、ITU-T H.264規格のような他の所有権または工業規格、あるいはスケーラブルビデオコーディング(SVC)およびマルチビュービデオコーディング(MVC)拡張のようなそのような規格の拡張に従って動作し得る。この開示の技法は、しかしながら、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例は、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、およびISO/IEC MPEG-4 Visualを含む。
【0030】
[0051] ITU-T VCEG(Q6/16)およびISO/IEC MPEG(JTC 1/SC 29/WG 11)は、現在、(スクリーンコンテンツコーディングおよび高ダイナミックレンジコーディングについてのその現在の拡張および近々の拡張を含む)現在のHEVC規格のそれを有意に上回る圧縮能力を有する将来のビデオコーディング技術の標準化の潜在的な必要性を研究している。このグループは、このエリアにおけるそれらの専門家によって提案された圧縮技術設計を評価するために、共同ビデオ調査チーム(JVET:the Joint Video Exploration Team)として知られる共同コラボレーションの取り組みにおいて、この調査活動で協働している。JVETは、2015年10月19日~21日中に最初の会合を行った。参照ソフトウェアのある1つのバージョン、すなわち、共同調査モデル2(JEM2:Joint Exploration Model 2)は、https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-2.0/からダウンロードできる。JEM2についてのアルゴリズムが、J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, “Algorithm description of Joint Exploration Test Model 2”, JVET-B1001, San Diego, Mar. 2016において説明されており、その説明は、参照によってここに組み込まれる。参照ソフトウェアの別のバージョン、すなわち、共同調査モデル3(JEM3)は、https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-3.0/からダウンロードできる。JEM3についてのアルゴリズムの説明はまた、JVET-C1001と呼ばれ得、参照によってここに組み込まれる。JEM4についてのアルゴリズムが、J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, “Algorithm Description of Joint Exploration Test Model 4,” JVET-D1001, October 2016において説明されており、参照によってここに組み込まれる。
【0031】
[0052] この開示の技法は、説明を容易にするために、HEVC専門用語を利用し得る。しかしながら、この開示の技法は、HEVCに限定されるとみなされるべきでなく、実際に、この開示の技法は、HEVCの後継規格およびその拡張並びに他のビデオ圧縮技法(例えば、規格外のコーデック)において実施され得ることが明示的に企図される。
【0032】
[0053]
図1に示されないが、いくつかの態様において、ビデオ符号化器20およびビデオ復号器30は各々、オーディオ符号化器および復号器と統合され得るもので、共通のデータストリームまたは別個のデータストリームにおけるオーディオおよびビデオの両方の符号化を扱うために適切なMUX-DEMUXユニットまたは他のハードウェアおよびソフトウェアを含み得る。適用可能である場合、いくつかの例において、MUX-DEMUXユニットは、ITU.H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)のような他のプロトコルに従い得る。
【0033】
[0054] ビデオ符号化器20およびビデオ復号器30は各々、1つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせのような、多様な適した符号化器回路または復号器回路のうちの任意のものとして実施され得る。本技法がソフトウェアにおいて部分的に実施されるとき、デバイスは、適した非一時的コンピュータ可読媒体中にソフトウェアのための命令を記憶し、この開示の技法を行うために、1つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオ符号化器20およびビデオ復号器30の各々は、1つまたは複数の符号化器または復号器中に含まれ得、それらのうちのいずれも、それぞれのデバイス中で、組み合わされた符号化器/復号器(CODEC)の一部として統合され得る。
【0034】
[0055] HEVCおよび他のビデオコーディング仕様では、ビデオシーケンスが典型的に、一連のピクチャを含む。ピクチャはまた、「フレーム」と呼ばれ得る。1つの実例的なアプローチでは、ピクチャが、SL、SCb、およびSCrと表される3つのサンプルアレイを含み得る。そのような実例的なアプローチにおいて、SLは、ルーマサンプルの2次元アレイ(すなわち、ブロック)である。SCbは、Cbクロミナンスサンプルの2次元アレイである。SCrは、Crクロミナンスサンプルの2次元アレイである。クロミナンスサンプルはまた、ここにおいて「クロマ」サンプルと呼ばれ得る。他の事例では、ピクチャが、モノクロームであり得、ルーマサンプルのアレイのみを含み得る。
【0035】
[0056] ピクチャの符号化された表現を生成するために、ビデオ符号化器20は、コーディングツリーユニット(CTU)のセットを生成し得る。CTUのサイズは、(技術的には、8×8CTUサイズもまたサポートできるが)HEVCメインプロファイルにおいて16×16~64×64までの範囲であることができる。CTUの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの2つの対応するコーディングツリーブロックと、それらコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは3つの別個の色平面を有するピクチャでは、CTUが、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックは、サンプルのN×Nブロックであり得る。CTUはまた、「ツリーブロック」または「最大コーディングユニット」(LCU)と呼ばれ得る。HEVCのCTUは、H.264/AVCのような他の規格のマクロブロックに大まかに類似し得る。しかしながら、CTUは、必ずしも特定のサイズに限定されず、1つまたは複数のコーディングユニット(CU)を含み得る。スライスは、ラスタ走査順序で連続して順序付けられた整数の数のCTUを含み得る。
【0036】
[0057] コーディングされたCTUを生成するために、ビデオ符号化器20は、コーディングツリーブロックをコーディングブロックへと分割するために、CTUのコーディングツリーブロックに対して四分木区分化を再帰的に行い得、故に名称が「コーディングツリーユニット」である。コーディングブロックは、サンプルのN×Nブロックであり得る。CUは、ルーマサンプルアレイ、Cbサンプルアレイ、およびCrサンプルアレイを有するピクチャの、ルーマサンプルのコーディングブロックおよびクロマサンプルの2つの対応するコーディングブロックと、それらコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは3つの別個の色平面を有するピクチャでは、CUが、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。
【0037】
[0058] ビデオ符号化器20は、CUのコーディングブロックを、1つまたは複数の予測ブロックへと区分化し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形(すなわち、正方形または非正方形)ブロックである。CUの予測ユニット(PU)は、ルーマサンプルの予測ブロックと、クロマサンプルの2つの対応する予測ブロックと、それら予測ブロックを予測するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは3つの別個の色平面を有するピクチャでは、PUが、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備え得る。ビデオ符号化器20は、CUの各PUのルーマ、Cb、およびCr予測ブロックについての予測ルーマ、Cb、およびCrブロックを生成し得る。
【0038】
[0059] ビデオ符号化器20は、PUについての予測ブロックを生成するためにイントラ予測またはインター予測を使用し得る。ビデオ符号化器20がPUの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオ符号化器20は、PUに関連付けられたピクチャの復号されたサンプルに基づいて、PUの予測ブロックを生成し得る。ビデオ符号化器20がPUの予測ブロックを生成するためにインター予測を使用する場合、ビデオ符号化器20は、PUに関連付けられたピクチャ以外の1つまたは複数のピクチャの復号されたサンプルに基づいて、PUの予測ブロックを生成し得る。
【0039】
[0060] 各CUは、1つのモードでコーディングされる。CUがインターコーディングされるとき、CUは、2つまたは4つの予測ユニットPUへとさらに区分化され得るか、またはさらなる区分化が適用されないときには単に1つのPUになり得る。1つのCU中に2つのPUが存在するとき、2つのPUは、半分のサイズの矩形、またはCUの1/4または3/4サイズを有する2つの矩形サイズであることができる。CUがインターコーディングされるとき、動き情報の1つのセットが、各PUに対して存在し得る。加えて、各PUは、動き情報のセットを導出するために、一意のインター予測モードでコーディングされる。
【0040】
[0061] ビデオ符号化器20がCUの1つまたは複数のPUについての予測ルーマ、Cb、およびCrブロックを生成した後に、ビデオ符号化器20は、そのCUについてのルーマ残差ブロックを生成し得る。CUのルーマ残差ブロック中の各サンプルは、CUの予測ルーマブロックのうちの1つ中のルーマサンプルと、CUの元のルーマコーディングブロック中の対応するサンプルとの間の差分を示す。加えて、ビデオ符号化器20は、CUについてのCb残差ブロックを生成し得る。CUのCb残差ブロック中の各サンプルは、CUの予測Cbブロックのうちの1つ中のCbサンプルと、CUの元のCbコーディングブロック中の対応するサンプルとの間の差分を示し得る。ビデオ符号化器20はまた、CUについてのCr残差ブロックを生成し得る。CUのCr残差ブロック中の各サンプルは、CUの予測Crブロックのうちの1つ中のCrサンプルと、CUの元のCrコーディングブロック中の対応するサンプルとの間の差分を示し得る。
【0041】
[0062] さらに、ビデオ符号化器20は、CUのルーマ、Cb、およびCr残差ブロックを、1つまたは複数のルーマ、Cb、およびCr変換ブロックへと分解するために、四分木区分化を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形(例えば、正方形または非正方形)ブロックである。CUの変換ユニット(TU)は、ルーマサンプルの変換ブロックと、クロマサンプルの2つの対応する変換ブロックと、それら変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。このことから、CUの各TUは、ルーマ変換ブロック、Cb変換ブロック、およびCr変換ブロックに関連付けられ得る。TUに関連付けられたルーマ変換ブロックは、CUのルーマ残差ブロックのサブブロックであり得る。Cb変換ブロックは、CUのCb残差ブロックのサブブロックであり得る。Cr変換ブロックは、CUのCr残差ブロックのサブブロックであり得る。モノクロームピクチャまたは3つの別個の色平面を有するピクチャでは、TUが、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備え得る。
【0042】
[0063] ビデオ符号化器20は、TUについてのルーマ係数ブロックを生成するために、TUのルーマ変換ブロックに1つまたは複数の変換を適用し得る。係数ブロックは、変換係数の2次元アレイであり得る。変換係数は、スカラー量であり得る。ビデオ符号化器20は、TUについてのCb係数ブロックを生成するために、TUのCb変換ブロックに1つまたは複数の変換を適用し得る。ビデオ符号化器20は、TUについてのCr係数ブロックを生成するために、TUのCr変換ブロックに1つまたは複数の変換を適用し得る。
【0043】
[0064] 係数ブロック(例えば、ルーマ係数ブロック、Cb係数ブロックまたはCr係数ブロック)を生成した後に、ビデオ符号化器20は、係数ブロックを量子化し得る。量子化は概して、変換係数を表すために使用されるデータの量をできる限り低減するために変換係数が量子化されるプロセスを指し、さらなる圧縮を提供する。ビデオ符号化器20が係数ブロックを量子化した後に、ビデオ符号化器20は、量子化された変換係数を示すシンタックス要素をエントロピー符号化し得る。例えば、ビデオ符号化器20は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応バイナリ算術コーディング(CABAC:Context-Adaptive Binary Arithmetic Coding)を行い得る。
【0044】
[0065] ビデオ符号化器20は、コーディングされたピクチャの表現と関連するデータとを形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、ネットワーク抽象化レイヤ(NAL)ユニットのシーケンスを備え得る。NALユニットは、NALユニット中のデータのタイプのインジケーションと、エミュレーション防止ビットが必要に応じて挿入された(interspersed)生バイトシーケンスペイロード(RBSP:a raw byte sequence payload)の形式でそのデータを包含するバイトとを包含するシンタックス構造である。NALユニットの各々は、NALユニットヘッダを含み、RBSPをカプセル化する。NALユニットヘッダは、NALユニットタイプコードを示すシンタックス要素を含み得る。NALユニットのNALユニットヘッダによって指定されるNALユニットタイプコードは、NALユニットのタイプを示す。RBSPは、NALユニット内にカプセル化された整数の数のバイトを包含するシンタックス構造であり得る。いくつかの事例では、RBSPが、0ビットを含む。
【0045】
[0066] 異なるタイプのNALユニットは、異なるタイプのRBSPをカプセル化し得る。例えば、第1のタイプのNALユニットは、PPSについてのRBSPをカプセル化し得、第2のタイプのNALユニットは、コーディングされたスライスについてのRBSPをカプセル化し得、第3のタイプのNALユニットは、SEIメッセージについてのRBSPをカプセル化し得、といった具合であり得る。(パラメータセットおよびSEIメッセージについてのRBSPとは対照的に)ビデオコーディングデータについてのRBSPをカプセル化するNALユニットは、VCL NALユニットと呼ばれ得る。
【0046】
[0067] ビデオ復号器30は、ビデオ符号化器20によって生成されたビットストリームを受信し得る。加えて、ビデオ復号器30は、ビットストリームからシンタックス要素を取得するために、ビットストリームを構文解析し得る。ビデオ復号器30は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、ビデオデータのピクチャを再構築し得る。ビデオデータを再構築するためのプロセスは概して、ビデオ符号化器20によって行われるプロセスとは相反し得る。加えて、ビデオ復号器30は、現在のCUのTUに関連付けられた係数ブロックを逆量子化し得る。ビデオ復号器30は、現在のCUのTUに関連付けられた変換ブロックを再構築するために、係数ブロックに対して逆変換を行い得る。ビデオ復号器30は、現在のCUのPUについての予測ブロックのサンプルを、現在のCUのTUの変換ブロックの対応するサンプルに追加することによって、現在のCUのコーディングブロックを再構築し得る。ピクチャの各CUについてのコーディングブロックを再構築することによって、ビデオ復号器30は、ピクチャを再構築し得る。
【0047】
[0068] H. Huang, K. Zhang, Y.-W. Huang, S. Lei, “EE2.1: Quadtree plus binary tree structure integration with JEM tools”, JVET-C0024, June 2016(参照によってここに組み組まれた)において説明されるようなQTBT構造は、JEM4ソフトウェアにおいて採用されている。QTBT構造では、CTBが最初に、四分木構造によって区分化される。四分木リーフノードは、二分木構造によってさらに区分化される。二分木リーフノード、すなわちコーディングブロック(CB)は、これ以上の区分化を伴わずに予測および変換に使用される。PおよびBスライスの場合、1つのCTU中のルーマおよびクロマCTBは、同じQTBT構造を共有する。Iスライスの場合、ルーマCTBは、QTBT構造によってCBへと区分化され、2つのクロマCTBは、別のQTBT構造によってクロマCBへと区分化される。
【0048】
[0069] 四分木のルートノードであるCTU(またはIスライスの場合はCTB)は第1に、四分木によって区分化され、ここで、1つのノードの四分木分割は、そのノードが最小の許容される四分木リーフノードサイズ(MinQTSize)に達するまで反復できる。四分木リーフノードサイズが最大の許容される二分木ルートノードサイズ(MaxBTSize)より大きくない場合、それは、二分木によってさらに区分化できる。1つのノードの二分木分割は、そのノードが最小の許容される二分木リーフノードサイズ(MinBTSize)または最大の許容される二分木深度(MaxBTDepth)に達するまで反復できる。二分木リーフノード、すなわちCU(またはIスライスの場合はCB)は、これ以上の区分化を伴わずに予測(例えば、イントラピクチャ予測またはインターピクチャ予測)および変換に使用されるであろう。対称水平分割および対称垂直分割という2つの分割タイプが、二分木分割において存在する。
【0049】
[0070] QTBT区分化構造の一例において、CTUサイズは、128×128(ルーマサンプルおよび対応する64×64Cb/Crサンプル)に設定され、MinQTSizeは、16×16に設定され、MaxBTSizeは、64×64に設定され、(幅および高さの両方についての)MinBTSizeは、4に設定され、MaxBTDepthは、4に設定される。四分木リーフノードを生成するために、最初に四分木区分化がCTUに適用される。四分木リーフノードは、16×16(すなわち、MinQTSize)から128×128(すなわち、CTUサイズ)までのサイズを有し得る。リーフ四分木ノードが128×128である場合、それは、サイズがMaxBTSize(すなわち、64×64)を上回ることから、二分木によってさらに分割されないであろう。そうでない場合は、リーフ四分木ノードは、二分木によってさらに区分化されるであろう。従って、四分木リーフノードはまた、二分木のためのルートノードであり、その二分木深度は、0と定義される。二分木深度がMaxBTDepth(すなわち、4)に達するとき、それは、さらなる分割を暗示しない。二分木ノードがMinBTSize(すなわち、4)に等しい幅を有するとき、それは、さらなる水平分割を暗示しない。同様に、二分木ノードがMinBTSizeに等しい高さを有するとき、それは、さらなる垂直分割を暗示しない。二分木のリーフノード、すなわちCUは、これ以上の区分化を伴わずに予測および変換によってさらに処理される。
【0050】
[0071]
図2Aは、QTBTを使用することによるブロック区分化の例を例示し、
図2Bは、対応するツリー構造を例示する。実線は四分木分割を示し、点線は二分木分割を示す。二分木の各分割(すなわち、非リーフ)ノードでは、1つのフラグが、どの分割タイプ(すなわち、水平または垂直)が使用されているかを示すためにシグナリングされ、ここで、0が水平分割を示し、1が垂直分割を示す。四分木分割の場合、それが常に等しいサイズの4つのサブブロックへと水平および垂直にブロックを分割することから、分割タイプを示す必要はない。
【0051】
[0072] Iスライスの場合、ルーマ-クロマ分離(luma-chroma-separated)ブロック区分化構造が提案される。1つのCTUのルーマ成分(すなわち、ルーマCTB)が、ルーマCBへとQTBT構造によって区分化され、そのCTUの2つのクロマ成分(すなわち、2つのクロマCTB)が、クロマCBへと別のQTBT構造によって区分化される。
【0052】
[0073] PおよびBスライスの場合、ルーマおよびクロマについてのブロック区分化構造は、共有される。すなわち、(ルーマおよびクロマの両方を含む)1つのCTUが、CUへと1つのQTBT構造によって区分化される。
【0053】
[0074]
図3は、16×16ブロックについてのイントラ予測の例を示す。イントラ予測モードでブロックをコーディングするとき、ビデオコーダは、空間的に近隣する再構築された画像サンプルを使用して画像ブロック予測を行う。16×16画像ブロックについてのイントラ予測の典型的な例が、
図3に示される。イントラ予測において、16×16の画像ブロック40は(矢印41によって示されるような)選択された予測方向に沿って上および左の近隣する再構築されたサンプル(参照サンプル)によって予測される。
【0054】
[0075]
図4は、HEVCにおいて定義された35個のイントラ予測モードを示す。HEVCでは、ルーマブロックのイントラ予測のために、ビデオコーダが、
図4に示されるような、平面モード、DCモード、および33個の角度モードを含む、35の利用可能なモードから選択し得る。
【0055】
[0076] 頻繁に使用されるイントラ予測モードである平面モードの場合、予測サンプルは、
図5に示されるように生成される。N×Nブロックについての平面予測を行うために、座標(x,y)にロケートされたブロックの各サンプルp
xyについて、予測値が、バイリニアフィルタで4つの特定の近隣する再構築されたサンプル(例えば、参照サンプル)を使用して算出される(すなわち、決定される)。4つの参照サンプルは、「TR」として表されている右上の再構築されたサンプル、「BL」として表されている左下の再構築されたサンプル、「L」によって表されている現在のサンプルの同じ列(r
x,-1)にロケートされた再構築されたサンプル、および「T」によって表されている現在のサンプルの行(r
-1,y)にロケートされた再構築されたサンプルを含む。平面モードは、以下のように定式化できる:
【数1】
DCモードの場合、予測ブロックは、以下のようにDC値(すなわち、近隣する再構築されたサンプルの平均値)で単に満たされ、
【数2】
ここで、
図6に示されるように、Mは、上の近隣する再構築されたサンプルの数であり、Nは、左の近隣する再構築されたサンプルの数であり、A
kは、k番目の上の近隣する再構築されたサンプルを表し、L
kは、k番目の左の近隣する再構築されたサンプルを表す。近隣サンプルの全てが利用可能でない(例えば、全ての近隣サンプルが存在しないか、または全ての近隣サンプルが未だに符号化/復号されていない)とき、1<<(bitDepth-1)のデフォルト値は、利用不可能なサンプルの各々に割り当てられる。ここで、変数「bitDepth」は、ルーマ成分またはクロマ成分のいずれかのビット深度(すなわち、使用されるビットの数)を表す。(例えば、全てでなく部分的な数の)近隣サンプルのサブセットが利用可能でないとき、利用不可能なサンプルが、利用可能なサンプルによってパディングされる。概して、平面モードおよびDCモードの両方が、平滑に変化するおよび一定の画像領域をモデル化するために適用される。
【0056】
[0077] HEVCは、イントラ予測のための35個のイントラ予測モードを定義するが、例えば、ルーマブロックの場合、これら従来のモードでいくつかの問題が残る。いくつかのイントラ予測のケースにおいて、(33個の角度モードを含む)既存のモードは、所与のブロックをコーディングするのに最も最適な予測モードを表さないことがあり得る。
【0057】
[0078] 線形モデル(LM)クロマイントラ予測が、http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E0266-v4.zipにおいてJCT-VCに提案された。それはまた、http://phenix.int-evry.fr/jvet/doc_end_user/documents/3_Geneva/wg11/JVET-C1001-v3.zipにおけるセクション2.2.4において説明されるように、JVETに提案されている。LMモードは、ルーマ成分とクロマ成分との間に線形関係があると仮定する。LMモードは、その関係を把握するために、線形回帰アプローチを利用することによって、近隣の再構築されたピクセルを探索する。LMモードが使用されるとき、クロマ値は、次のように同じブロックの再構築されたルーマ値から予測され得る。
【数3】
ここで、Pred
Cは、ブロック中のクロマサンプルの予測を示し、Rec
Lは、そのブロック中の再構築されたルーマサンプルを示す。パラメータαおよびβは、現在のブロックの周囲の因果的(causal)再構築されたサンプルから導出される。
【0058】
[0079] クロマ成分のサンプリング比は、ルーマ成分のそれの半分であり、YUV420サンプリングにおいて垂直方向に0.5ピクセル位相差を有する。再構築されたルーマは、次のように、クロマサイズのサイズおよび位相にマッチするように、垂直方向にダウンサンプリングされ、且つ水平方向にサブサンプリングされる。
【数4】
【0059】
[0080] LM方法は、モデルパラメータαおよびβを導出するために、ダウンサンプリングされたルーマ成分の因果的再構築データ(causal reconstructed data)と因果的クロマ成分(causal chroma component)との間の線形最小2乗解を利用する。例えば、モデルパラメータαおよびβは、次のように導出され得る:
【数5】
【数6】
ここで、Rec
C(i)およびRec
L’(i)は、ターゲットブロックの周囲の再構築されたクロマサンプルおよびダウンサンプリングされたルーマサンプルを示し、Iは、近隣データの総サンプル数を示す。
【0060】
[0081]
図7は、モデルパラメータαおよびモデルパラメータβを導出するために使用されるサンプルのロケーションのグラフィカル図である。
図7に例示されるように、グレーの円としてマーキングされている左および上の因果的サンプル(causal samples)のみが、2のべき乗として総サンプル数Iを保持するための算出に関与している。ターゲットN×Nクロマブロックの場合、左および上の因果的サンプルの両方が利用可能であるとき、関与する総サンプル数は、2Nであり、左のみまたは上のみの因果的サンプルが利用可能であるとき、関与する総サンプル数Iは、Nである。
【0061】
[0082]
図8は、ルーマ(Y)成分とクロマ(C)成分との間の線形回帰の例のグラフィカル図である。
図8に例示されるように、一例によると、ルーマ成分とクロマ成分との間の線形関係は、線形回帰法を使用して解かれ得る。
図8では、グラフィカル図上の点が、サンプルRec’
L[x,y],Rec
C[x,y])のペアに対応する。
【0062】
[0083]
図9は、JEM3.0におけるルーマサンプルダウンサンプリングの概略図である。
図9に例示されるように、JVETは、JEM3.0におけるLMモードのためのより高度なルーマサンプルダウンサンプリングフィルタを採用しており、ここで、
【数7】
である。
【0063】
[0084] サンプルがピクチャ境界にロケートされるとき、上記の式(7)に示されるように、2タップフィルタが適用される。
【0064】
[0085] ここに論じられる問題に潜在的に対処するおよび/または既存のイントラ予測技法より改善するために、この開示は、水平-45°と垂直-45°との間の角度イントラ予測モード(例えば、HEVCにおいて定義された33個の角度予測モード)の他に(すなわち、それ以外におよび/またはそれに加えて)角度イントラ予測モードを利用するサンプルを予測するための技法を説明するものである。具体的には、この開示は、予測のための、水平-45°を超えるか、または垂直-45°を超える角度イントラ予測モードの使用を企図する。ここに開示される角度イントラ予測モード、技法、方法、および/または様々な例は、個々におよび/または任意の組み合わせで適用され得る。
【0065】
[0086] 上述されたように、HEVCにおいて定義された(33個の角度モードを含む)既存のイントラ予測モードは、全ての状況において所与のブロックをコーディングするのに最も最適な予測を提供しないことがあり得る。しかしながら、本開示に従って説明されるような拡張角度イントラ予測モード(ここでは拡張イントラ予測モードまたは拡張イントラ予測とも呼ばれる)の利用は、コーディング利得を実現し、且つ拡張角度イントラ予測の使用が提供し得る予測多様性(prediction variety)の増大によって達成されるであろう予測品質を増大させるために、いくつかのケースにおいて、ビデオ符号化器(例えば、ビデオ符号化器20)の符号化器設計(例えば、アルゴリズムの実施形態および/または動作)の複雑性の増大を必要とし得る。例えば、本開示の拡張イントラ予測モードをサポートする、ビデオ符号化器20のようなビデオ符号化器が、拡張イントラ予測モードに関連付けられた少なくとも1つの追加の予測方向に沿って追加の(すなわち、HEVCにおいて定義されたイントラ予測モードと併せて評価されるそれらの画像サンプルに加えて)再構築された画像サンプル(または参照サンプル)を評価して、現在のブロックを予測するための特定の参照サンプル(1つ以上)を決定および/または選択するために、いくつかの状況において、必要とされ得る。言い換えれば、ビデオ符号化器(例えば、ビデオ符号化器20)は、本開示に従って現在のブロックを予測するためのより良い参照サンプル(1つ以上)(すなわち、予測候補(1つ以上))を識別する可能性を改善するために、例えば、HEVCによって提供される従来のイントラ予測モードの利用に通常必要とされるものよりさらなる計算を行うことを必要とされ得る。
【0066】
[0087]
図10Aは、本開示によって企図される拡張角度イントラ予測モードのうちのいくつかの例を例示する。この例では、示されるように、N1、N2、N3およびN4としてタグ付けされている(すなわち、識別されている)、水平-45°(すなわち、HEVCにおいて定義され、且つ
図4に図示されるモード2)を超える(破線矢印で例示される)4つの角度モードが存在する。さらに、この特定の例では、N5、N6、N7およびN8としてタグ付けされている、垂直-45°(すなわち、HEVCにおいて定義され、且つ
図4に図示されるモード34)を超える(破線矢印で例示される)4つの追加の角度モードが存在する。
【0067】
[0088]
図10Bは、本開示によって企図される拡張角度イントラ予測モードのうちのいくつかの別の例を例示する。この例では、周囲の再構築されたサンプルが利用可能であるとき(例えば、インターコーディングされたブロックによって囲まれたイントラコーディングされたブロック)、いくつかの(例えば、全ての)(破線矢印で例示される)拡張角度イントラ予測方向が適用され得る。言い換えれば、イントラコーディングされている現在のブロックがインターコーディングされたブロックによって囲まれているという決定に基づいて、
図10Bに例示される拡張角度イントラ予測方向は、現在のブロックのサンプルを予測するために利用可能であると決定され得る。
【0068】
[0089] 本開示のいくつかの実施形態では、現在のブロック内のサンプルが、使用されている垂直-45°を超える拡張イントラ予測モードに基づいて、最上位ライン(例えば、近隣ブロックのサンプルの再構築されたライン)上の再構築されたサンプルによって予測される。
図11は、本開示の拡張角度イントラ予測モードで、最上位ラインの再構築されたサンプルから現在のブロックの(「A」としてマーキングされている)サンプルを予測する例を示す。垂直-45°を超える角度(すなわち、実線矢印で例示される拡張角度イントラ予測モード)では、サンプル「A」が、最上位ライン上のサンプルに投影され、それは、サブサンプルであり得る。(破線矢印としてマーキングされている)HEVCにおける角度予測モードと比較して、本開示に従う提案された拡張角度イントラ予測モードは、角度垂直-45°が投影される(「B」としてマーキングされている)サンプルを超えるサンプルまたはサブサンプルの投影を可能にする。一例では、サンプル「A」が、サブサンプルに投影され、それは、補間フィルタによって最上位ライン上の近隣の再構築されたサンプルで補間できる。一例では、サンプル「A」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。
図10では、サンプル「A」が、近似としてサンプル「C」に投影できる。
【0069】
[0090] 本開示の別の例では、現在のブロックのサンプルが、水平-45°を超える拡張角度イントラ予測モードを利用して、左ラインの再構築されたサンプルによって予測され得る。
図12は、本開示の拡張角度イントラ予測モードで、左ライン上の再構築されたサンプルから(「A」としてマーキングされている)サンプルを予測する例を例示する。水平-45°を超える角度(すなわち、実線矢印で例示される拡張角度イントラ予測モード)であると、サンプル「A」が、最上位ライン上のサンプルに投影され、それは、サブサンプルであり得る。(
図12に破線矢印として例示される)HEVCにおける角度予測モードと比較して、本開示の提案された拡張角度予測モードは、角度水平-45°が投影される(「B」としてマーキングされている)サンプルを超えるサンプルまたはサブサンプルの投影を可能にする。一例では、サンプル「A」が、サブサンプルに投影され、それは、補間フィルタによって左ライン上の近隣の再構築されたサンプルで補間され得る。一例では、サンプル「A」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。
図12では、サンプル「A」が、近似としてサンプル「C」に投影できる。
【0070】
[0091] 本開示のさらなる別の例では、現在のブロック中のサンプルが、垂直-45°を超える拡張角度イントラ予測モードを利用して、右ライン(例えば、近隣ブロックのサンプルの再構築されたライン)上のサンプルによって予測され得る。
図13は、本開示の拡張角度イントラ予測モードで、再構築された近隣のブロックの右ライン上の再構築されたサンプルから現在のブロックの(「A」、「B」、「C」および「D」としてマーキングされている)サンプルを予測する例を例示する。垂直-45°を超える角度(すなわち、実線矢印で例示される拡張角度イントラ予測モード)であると、サンプル「A」が、右ライン上のサンプルに投影され、それは、サブサンプルであり得る。一例では、サンプル「A」が、サブサンプルに投影され、それは、補間フィルタによって右ライン上の近隣の再構築されたサンプルで補間できる。別の例では、サンプル「A」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。
【0071】
[0092] 本開示のさらなる別の例では、現在のブロック中の(すなわち、現在のブロック内の、または現在のブロックの)サンプルが、垂直-45°を超える拡張角度イントラ予測モード(1つ以上)の利用に基づいて、右ライン上の投影されたサンプルによって予測され得る。
図14は、右ライン上のサンプルが、垂直-45°を超える角度(すなわち、実線矢印で例示される拡張角度イントラ予測モード)で、再構築されたサンプルの最上位ラインから投影される例を示す。この例では、右ライン上の投影されたサンプルが、最上位ラインの再構築されたサンプルに基づいて「満たされる」。例えば、右ライン上のサンプル「A」は、最上位ラインのサブサンプルに投影され、それは、補間フィルタによって最上位ライン上の近隣の再構築されたサンプルで補間できる。別の例では、右ライン上のサンプル「A」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。
図14では、右ライン上のサンプル「A」が、近似として最上位ライン上のサンプル「B」に投影され得る。
【0072】
[0093] 本開示のさらなる別の例では、現在のブロック中の(すなわち、現在のブロック内の、または現在のブロックの)サンプルが、水平-45°を超える拡張角度イントラ予測モード(1つ以上)を利用して、最下位ライン上の再構築されたサンプルによって予測される。
図15は、拡張角度イントラ予測モードで、最下位ライン上にロケートされた再構築されたサンプルから現在のブロックの(「A」、「B」、「C」および「D」としてマーキングされている)サンプルを予測する例を例示する。
図15において利用されている拡張角度イントラ予測モードに関連付けられた、水平-45°を超える角度であると、サンプル「A」が、最下位ライン上のサンプルに投影され、それは、サブサンプルであり得る。一例では、サンプル「A」が、サブサンプルに投影され、それは、補間フィルタによって最下位ライン上の近隣の再構築されたサンプルで補間され得る。別の例では、サンプル「A」が、サブサンプルに投影され得、それは、近隣の再構築されたサンプルによって近似され得る。
【0073】
[0094] 本開示のさらなる別の例では、現在のブロック中のサンプルが、水平-45°を超える拡張角度イントラ予測モード(1つ以上)の利用に基づいて、再構築されたサンプルの最下位ライン上の投影されたサンプルによって予測され得る。
図16は、最下位ライン上のサンプルが、水平-45°を超える角度で、左ラインから投影される例を示す。この例では、最下位ライン上の投影されたサンプルが、左ラインの再構築されたサンプルに基づいて「満たされる」。一例では、最下位ライン上のサンプル「A」が、サブサンプルに投影され、それは、補間フィルタによって左ライン上の近隣の再構築されたサンプルで補間できる。別の例では、最下位ライン上のサンプル「A」が、サブサンプルに投影され、それは、近隣の再構築されたサンプルによって近似できる。
図16では、最下位ライン上のサンプル「A」が、近似としてサンプル「B」に投影できる。
【0074】
[0095] 本開示において説明される拡張角度イントラ予測モードは、ルーマ成分並びにクロマ成分に適用され得る。
【0075】
[0096] 拡張角度イントラ予測モードの使用は、近隣する再構築されたモードの利用可能性に依存し得る(すなわち、それに基づき得るか、またはそれに応答し得る)。例えば、
図10Aおよび10Bに定義された拡張角度イントラ予測モードであると、右上の参照サンプルが利用可能でない場合に、垂直-45°を超える拡張角度イントラ予測モード(例えば、N5~N8)は、適用されない(例えば、本開示に従う利用から制限されるか、または本開示に従って有効にされない)。
【0076】
[0097] 一例では、近隣ブロックが本開示に従って拡張角度イントラ予測方向を適用するとともに、現在のブロックがイントラモードコーディングにおいて最確モード(MPM:the Most Probable Mode)を導出するために拡張角度イントラ予測方向を適用しない場合に、近隣拡張角度イントラ予測方向は、現在のブロックに利用可能である最も近いイントラ予測方向(すなわち、イントラ予測モード)にマッピングされ得る(すなわち、関連付けられ得るか、または対応し得る)。例えば、
図10Aおよび10Bに定義された拡張角度イントラ予測モードであると、モードN5~N8は、イントラモード34にマッピングされるであろう。
【0077】
[0098] 代替として、または上記の従属性/基底に加えて、本開示に従う、拡張角度イントラ予測モードの使用は、現在のブロックの形状に依存し得る。例えば、
図10Aおよび10Bに定義された拡張角度イントラ予測モードであると、ブロック幅(すなわち、現在のブロックの幅)がブロックの高さ(すなわち、現在のブロックの高さ)より大きいとき、垂直-45°を超える拡張角度イントラ予測モード(例えば、N5~N8)のみが適用可能であり得、水平-45°を超える拡張角度イントラ予測モード(例えば、N1~N4)は、適用されることを許容されないことがあり得る(例えば、本開示に従う利用から制限されるか、または本開示に従って有効にされない)。ブロック幅がブロックの高さより小さいとき、水平-45°を超える拡張角度イントラ予測モード(例えば、N1~N4)のみが適用可能であり得、垂直-45°を超える拡張角度イントラ予測モード(例えば、N5~N8)は、適用されることを許容されないことがあり得る。
【0078】
[0099] 本開示の拡張角度イントラ予測モードを適用するときに、同じ数のイントラ予測モードを保持(すなわち、維持)するために、イントラ予測方向が、例えばそれらに限定されないが、拡張角度イントラ予測方向の範囲内でいくつかのイントラ予測方向をシフトすること、例えば、[水平-(45+Δ0)°,垂直-(45+Δ0)°]、および/またはいくつかの元のイントラ予測方向を本開示の拡張角度イントラ予測方向と置き換えることによって、再分配され得る。上記の再分配および置換技法は、単に例証的である。本開示は、本開示の拡張角度イントラ予測モードの利用に基づいて、同じ数のイントラ予測モードを維持するために、他の技法を想定する。
【0079】
[0100] 本開示の様々な実施形態において、現在のブロックは、拡張角度イントラ予測モードと、水平-45°と垂直-45°との間の角度を有する通常のイントラ予測モードとの加重和によって予測され得る。
【0080】
[0101] 予測ブロックP1は、通常のイントラ予測モードM1を使用して現在のブロックのために生成され、別の予測ブロックP2は、拡張角度イントラ予測モードM2を使用して現在のブロックのために生成される。最終の予測ブロックPは、以下に示される公式のように、P1とP2との加重和として生成され得る:
P(x,y)=w1(x,y)×P1(x,y)+w2(x,y)×P2(x,y)、 ここで、(x,y)は、現在のブロック中のサンプルの座標である。w1は、P1についての重み付け値であり、w2は、P2についての重み付け値である。
【0081】
[0102] 一例では、P(x,y)=(w1(x,y)×P1(x,y)+w2(x,y)×P2(x,y)+o)≫sであり、ここで、w1、w2、oおよびsは、整数である。いくつかの制約が利用され得る(すなわち、制限が構成され得る)。例えば、
w1(x,y)+w2(x,y)=2s
o=2s-10≦w1(x,y)≦2s、
0≦W2(x,y)≦2s
【0082】
[0103] 別の例では、w1およびw2が、イントラ予測モード(IPM)に依存し、それは、M1またはM2であることができる。例えば、各モードは、異なるw1およびw2を有することができる。
P(x,y)=w1(x,y,IPM)×P1(x,y)+w2(x,y,IPM)×P2(x,y)。
別の例では、イントラ予測モードが、グループへと分類される(例えば、配置される、またはソートされる、または割り当てられる)。各グループは、異なるw1およびw2を有することができる。
P(x,y)=w1(x,y,Group(IPM))×P1(x,y)+w2(x,y,Group(IPM))×P2(x,y)。
【0083】
[0104] 他の実施形態では、w1およびw2が、x,yから算出できる。一例では、 w1(x,y,Group(IPM))=a(Group(IPM))×x+b(Group(IPM))×y+c(Group(IPM))、および
w2(x,y,Group(IPM))=1-w1(x,y,Group(IPM)) それは、統合された形式で実施できる
w1(x,y,Group(IPM))=(a(Group(IPM))×x+b(Group(IPM))×y+c(Group(IPM))+o)≫s、および
w2(x,y,Group(IPM))=2s-w1(x,y,Group(IPM))。
ここで、a(Group(IPM))、b(Group(IPM))、c(Group(IPM))、oおよびsは、整数である。
【0084】
[0105] パラメータa(Group(IPM))、b(Group(IPM))およびc(Group(IPM))は、符号化器および復号器の両方において予め定義され(すなわち、構成され)得、代替として、または加えて、パラメータa(Group(IPM))、b(Group(IPM))およびc(Group(IPM))は、符号化器によって復号器にシグナリングされ得る。または、符号化器および復号器の両方においていくつかの予め定義されたパラメータが存在することができる。符号化器は、どのパラメータ(1つ以上)が使用されているかを示すために、予め定義されたパラメータのセットに関連付けられたインデックスを復号器にシグナリングできる。
【0085】
[0106] 本開示は、コーディングデバイス(例えば、符号化器および/または復号器)がそれに従って動作し得るように構成される制約を企図する。例えば、
o=2s-1
0≦w1(x,y)≦2s,0≦w2(x,y)≦2s
0≦a(Group(IPM)),b(Group(IPM)),c(Group(IPM))≦2kであり、ここで、kは、整数である。
【0086】
[0107] 一例では、w1(x,y,Group(IPM))=a(Group(IPM))×x2+b(Group(IPM))×y2+c(Group(IPM))×x×y+d(Group(IPM))×x+e(Group(IPM))×y+f(Group(IPM))、およびw2(x,y,Group(IPM))=1-w1(x,y,Group(IPM))
それは、統合された形式で(例えば、コーディングデバイスによって)実施できる
w1(x,y,Group(IPM))=(a(Group(IPM))×x2+b(Group(IPM))×y2+c(Group(IPM))×x×y+d(Group(IPM))×x+e(Group(IPM))×y+f(Group(IPM))+o)≫s、および
w2(x,y,Group(IPM))=2s-w1(x,y,Group(IPM))。
ここで、a(Group(IPM))、b(Group(IPM))、c(Group(IPM))、d(Group(IPM))、e(Group(IPM))、f(Group(IPM))、oおよびsは、整数である。
【0087】
[0108] パラメータa(Group(IPM))、b(Group(IPM))、c(Group(IPM))、d(Group(IPM))、e(Group(IPM))およびf(Group(IPM))は、符号化器および復号器の両方において予め定義されることができ、代替として、または加えて、パラメータa(Group(IPM))、b(Group(IPM))、c(Group(IPM))、d(Group(IPM))、e(Group(IPM))およびf(Group(IPM))は、符号化器から復号器にシグナリングできる。代替として、または加えて、いくつかの予め定義されたパラメータは、符号化器および復号器の両方において構成され得る。1つの実施形態において、上記の論述と同様に、符号化器は、どのパラメータが使用されているかを示すために、インデックスを復号器にシグナリングし得る。いくつかの制約が、本開示に従って利用され得る。例えば、
o=2s-1
0≦w1(x,y)≦2s,0≦w2(x,y)≦2s
0≦a(Group(IPM)),b(Group(IPM)),c(Group(IPM)),d(Group(IPM)),e(Group(IPM)),f(Group(IPM))≦2kであり、ここで、kは、整数である。
【0088】
[0109] 他の開示された技法の代替として、またはそれに加えて、本開示は、コーディングデバイスが、M1の予測角度とM2の予測角度とが互いの反対方向、またはほぼ互いの反対方向となるように制約することを可能にする(すなわち、構成する)ことを企図する。
図17は、M1およびM2の角度が反対方向である例を例示する。
【0089】
[0110] 本開示の様々な具体例では、ルーマサンプルが、クロマサンプルから予測され得る。本開示は、逆線形モデル(iLM)イントラ予測と呼ばれるクロマサンプルからのルーマサンプルのこの予測を可能にする新しい予測技法を企図する。
【0090】
[0111] 例えば、Pred’
L[x,y]=α・Rec
C[x,y]+βであり、ここで、Rec
c[x,y]は、クロマの再構築されたサンプルである。αおよびβは、線形回帰アプローチで、近隣の構築されたルーマおよびクロマサンプルによって導出される。Pred’
L[x,y]は、ダウンサンプリングされたルーマ予測サンプルである。ルーマ成分についての予測ブロックは、ダウンサンプリングされたルーマ予測サンプルをアップサンプリングすることによって生成できる。例えば、
【数8】
ここで、Rec
c[x,y]は、クロマの再構築されたサンプルである。クロマの再構築されたサンプルは、それらの強度ごとに(例えば、それに基づいて)2つのグループへと分類される。α
1,α
2、β
1およびβ
2は、線形回帰アプローチで、近隣の構築されたルーマおよびクロマサンプルによって導出される。Pred’
L[x,y]は、ダウンサンプリングされたルーマ予測サンプルである。ルーマ成分についての予測ブロックは、ダウンサンプリングされたルーマ予測サンプルをアップサンプリングすることによって生成できる。
【0091】
[0112] 本開示に従って、フラグが、iLMが適用されるかどうかを示すために、ピクチャレベル、スライスレベル、コーディングツリーユニット(CTU)レベル、コーディングユニット(CU)レベル、予測ユニット(PU)レベルおよび/または変換ユニット(TU)レベルでシグナリングされ得る。一例では、CTU、CU、TUまたはPU中のルーマサンプルがiLMモードで予測されることに基づいて、同じCTU、CU、TUまたはPU中のクロマサンプルは、LMモードで予測されることができない。一例において、CTU中のルーマサンプルがiLMモードで予測されることに基づいて、ルーマおよびクロマ成分のコーディング構造は共有されなければならず、この例において、ルーマおよびクロマ成分のコーディング構造は、分離されることができない。さらなる別の例において、CTU中のルーマサンプルがiLMモードで予測されることに基づいて、ルーマおよびクロマ成分のコーディング構造は、分離できるが、iLMがそれからルーマ予測を導出するクロマ成分の情報は、ルーマ成分の前にコーディングされなければならない。
【0092】
[0113] 本開示に従って、最終のルーマ予測ブロックは、iLMモードの予測と、通常または拡張イントラ予測モードの予測との加重和として算出される(すなわち、決定または計算される)ことができる。
【0093】
[0114] 本開示の様々な実施形態では、イントラ予測が、行ごとのカスケード様式で行われることができる。
図18A~18Dは、本開示に従う、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
図18E~18Hは、本開示の拡張角度イントラ予測モードを利用する、現在のブロックの行ごとのカスケードイントラ予測の例を例示する。
【0094】
[0115]
図18Aでは、現在のブロックの上部から第1の行中のサンプル(黒でマーキングされているサンプル)が、特定の予測モードに関連付けられた角度で、再構築された近隣サンプル(網目陰影でマーキングされているサンプル)から予測される。
図18Bでは、現在のブロックの第2の行中のサンプル(黒でマーキングされているサンプル)が、第1の行の予測サンプルから、特定の予測モードに関連付けられた角度(例えば、
図18Aに例示されるサンプルを予測する際に利用される予測モードの角度)で予測される。
図18Bの境界における現在のブロックのサンプル(例えば、現在のブロックの上部から第2の行の、最も左の黒でマーキングされているサンプル)は、再構築された近隣サンプル(例えば、網目陰影でマーキングされているサンプル)から、特定の予測モードに関連付けられた角度を使用して予測され得る。
図18Cでは、現在のブロックのサンプルの第3の行(黒でマーキングされているサンプル)が、現在のブロック、および示されるように、(網目陰影でマーキングされている)再構築された近隣ブロック、の第2の行の予測サンプルから、(例えば、特定の予測モードに関連付けられた角度を使用して)予測される。
図18Dでは、現在のブロックのサンプルの第4の行(黒でマーキングされているサンプル)が、現在のブロック、および示されるように、(網目陰影でマーキングされている)再構築された近隣ブロック、の第3の行の予測サンプルから予測される。
【0095】
[0116] 上述されたように、
図18E~18Hは、本開示の拡張角度イントラ予測モードを利用する、行ごとのカスケードイントラ予測の例を例示する。
図18Eでは、現在のブロックの上部から第4の行中のサンプル(黒でマーキングされているサンプル)が、拡張角度イントラ予測モードの拡張角度を使用して、再構築された近隣サンプル(網目陰影でマーキングされているサンプル)から予測される。
図18Fでは、現在のブロックの上部から第3の行中のサンプル(黒でマーキングされているサンプル)が、現在のブロックの第4の行中の予測サンプル(すなわち、
図18Eに例示されるように予測された現在のブロックのサンプル)から、拡張角度イントラ予測モードの拡張角度を使用して予測される。現在のブロックの境界位置におけるサンプル(例えば、現在のブロックの上部から第3の行の、最も左の黒でマーキングされているサンプル)は、再構築された近隣サンプル(網目陰影でマーキングされているサンプル)から予測され得る。
図18Gでは、現在のブロックの上部から第2の行中に位置付けられた/ロケートされたサンプル(黒でマーキングされているサンプル)が、拡張角度イントラ予測モードの拡張角度を利用して、現在のブロックの第3の行の予測サンプルおよび近隣する再構築されたサンプル(1つ以上)から予測され得る。同じように、
図18Hでは、現在のブロックの上部から第1の行中に位置付けられた/ロケートされたサンプル(黒でマーキングされているサンプル)が、拡張角度イントラ予測モードの拡張角度を利用して、現在のブロックの第2の行の予測サンプルおよび近隣する再構築されたサンプル(1つ以上)から予測され得る。
【0096】
[0117] 本開示の一例では、最終の予測ブロックが、カスケード予測技法の予測と、同じ予測角度または他の予測角度を有する通常または拡張イントラ予測モードの予測との加重和として、コーディングデバイスによって算出され得る。
【0097】
[0118] 本開示に従って、カスケード予測技法は、いくつかの特定の予測モードのみに適用されるように制約され得る。一例において、カスケード予測技法は、
図19に示されるような、水平0°と垂直0°との間の角度を有する予測モードにのみ適用され得る。
【0098】
[0119] 様々な実施形態では、本開示のカスケードイントラ予測技法が実施されると、イントラ予測方向が、例えば、ソースデバイスによってシグナリングされるが、しかしながら、各行については、または各列または行のグループまたは列のグループについては、異なるイントラ予測方向が適用され得る。そのような事例では、シグナリングされた予測方向と比較したときの(すなわち、それに対する)差分、または以前の行/列について適用されたイントラ予測と比較したときの差分が、シグナリングされる。
【0099】
[0120] さらなる他の実施形態では、本開示のカスケードイントラ予測技法が実施されると、(SIPによって表される)イントラ予測方向がシグナリングされる。しかしながら、各行については、または各列または行のグループまたは列のグループについては、異なるイントラ予測方向が適用され得、そのイントラ予測方向は、以前の再構築された行/列上の(SIP-σ,SIP+σ)の範囲中で各イントラ予測方向を適用するコストをチェックする(すなわち、決定または計算する)ことによって導出され、複数の計算されたコストの中で最小のコストを有するイントラ予測方向が、現在の行/列について適用されるイントラ予測方向として導出される。
【0100】
[0121]
図20は、この開示において説明される予測のための技法(例えば、拡張角度イントラ予測モード、カスケードイントラ予測、および/または逆線形モデルイントラ予測)を実施し得るビデオ符号化器20の例を例示するブロック図である。ビデオ符号化器20は、ビデオスライス内のビデオブロックのイントラおよびインターコーディングを行い得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオにおける空間的冗長性を低減または取り除くために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオにおける時間的冗長性を低減または取り除くために時間的予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのコーディングモードのうちの任意のものを指し得る。単方向予測(uni-directional prediction)(Pモード)または双予測(bi-prediction)(Bモード)のようなインターモードは、いくつかの時間ベースのコーディングモードのうちの任意のものを指し得る。
図20に示されるように、ビデオ符号化器20は、符号化されることになるビデオフレーム内の現在のビデオブロックを受信する。
図20の例において、ビデオ符号化器20は、モード選択ユニット40、(復号ピクチャバッファ(DPB)とも呼ばれ得る)参照ピクチャメモリ64、加算器50、変換処理ユニット52、量子化ユニット54、およびエントロピー符号化ユニット56を含む。モード選択ユニット40は次に、動き補償ユニット44、動き推定ユニット42、イントラ予測ユニット46、および区分化ユニット48を含む。ビデオブロック再構築のために、ビデオ符号化器20はまた、逆量子化ユニット58、逆変換ユニット60、および加算器62を含む。デブロッキングフィルタ(deblocking filter)(
図20には図示せず)もまた、再構築されたビデオからブロッキネスアーティファクト(blockiness artifact)を取り除くようにブロック境界をフィルタリングするために含まれ得る。所望される場合、デブロッキングフィルタは典型的に、加算器62の出力をフィルタリングするであろう。追加のフィルタ(インループまたはポストループ)もまた、デブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔さのために示されないが、所望される場合、(インループフィルタとして)加算器50の出力をフィルタリングし得る。
【0101】
[0122] 符号化プロセス中に、ビデオ符号化器20は、コーディングされることになるビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックへと分割され得る。動き推定ユニット42および動き補償ユニット44は、時間的予測を提供するために、1つまたは複数の参照フレーム中の1つまたは複数のブロックに対して、受信されたビデオブロックのインター予測符号化を行う。イントラ予測ユニット46は代替として、空間的予測を提供するために、コーディングされることになるブロックと同じフレームまたはスライス中の1つまたは複数の近隣ブロックに対して、受信されたビデオブロックのイントラ予測符号化を行い得る。ビデオ符号化器20は、例えば、ビデオデータの各ブロックについて適切なコーディングモードを選択するために、複数のコーディングパスを行い得る。
【0102】
[0123] その上、区分化ユニット48は、以前のコーディングパスにおける以前の区分化スキームの評価に基づいて、ビデオデータのブロックをサブブロックへと区分化し得る。例えば、区分化ユニット48は、レート-歪み分析(例えば、レート-歪み最適化)に基づいて、最初にフレームまたはスライスをCTUへと区分化し、CTUの各々をサブCUへと区分化し得る。モード選択ユニット40はさらに、CTUのサブCUへの区分化を示す四分木データ構造を作り出し得る。四分木のリーフノードCUは、1つまたは複数のPUおよび1つまたは複数のTUを含み得る。
【0103】
[0124] モード選択ユニット40は、例えば、誤差結果に基づいて、予測モードのうちの1つ、イントラまたはインターを選択し得、残差データを生成するために加算器50に、および参照フレームとして使用するための符号化されたブロックを再構築するために加算器62に、結果として生じる予測されたブロックを提供する。モード選択ユニット40はまた、エントロピー符号化ユニット56に、動きベクトル、イントラモードインジケータ、区分化情報、および他のそのようなシンタックス情報のようなシンタックス要素を提供する。
【0104】
[0125] 動き推定ユニット42および動き補償ユニット44は、高度に統合され得るが、概念的な目的のために別個に例示される。動き推定ユニット42によって行われる動き推定は、動きベクトルを生成するプロセスであり、それは、ビデオブロックについての動きを推定する。動きベクトルは、例えば、現在のビデオフレームまたはピクチャ内のビデオブロックのPUの、その現在のフレーム(または他のコーディングされたユニット)内でコーディングされている現在のブロックに対する参照フレーム(または他のコーディングされたユニット)内の予測ブロックに対する変位を示し得る。予測ブロックは、絶対差分の和(SAD:sum of absolute difference)、2乗差分の和(SSD:sum of square difference)、または他の差分メトリックによって決定され得るピクセル差分の観点から、コーディングされることになるブロックに密接にマッチすることを見出されるブロックである。いくつかの例では、ビデオ符号化器20が、参照ピクチャメモリ64中に記憶された参照ピクチャのサブ整数ピクセル位置についての値を算出し得る。例えば、ビデオ符号化器20は、参照ピクチャの4分の1ピクセル位置、8分の1ピクセル位置、または他の分数ピクセル位置の値を補間し得る。従って、動き推定ユニット42は、フルピクセル位置および分数ピクセル位置に対して動き探索を行い、分数ピクセル精度で動きベクトルを出力し得る。
【0105】
[0126] 動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス中のビデオブロックのPUについての動きベクトルを算出する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択され得、それらの各々は、参照ピクチャメモリ64中に記憶された1つまたは複数の参照ピクチャを識別する。動き推定ユニット42は、エントロピー符号化ユニット56および動き補償ユニット44に算出された動きベクトルを送る。
【0106】
[0127] 動き補償ユニット44によって行われる動き補償は、動き推定ユニット42によって決定される動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴い得る。繰り返すが、いくつかの例において、動き推定ユニット42および動き補償ユニット44は機能的に統合され得る。現在のビデオブロックのPUについての動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャリストのうちの1つ中に、動きベクトルが指し示す予測ブロックをロケートし得る。加算器50は、以下に論述されるように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット42は、ルーマ成分に対して動き推定を行い、動き補償ユニット44は、クロマ成分およびルーマ成分の両方について、ルーマ成分に基づいて算出された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際に、ビデオ復号器30によって使用するための、ビデオブロックおよびビデオスライスに関連付けられたシンタックス要素を生成し得る。
【0107】
[0128] イントラ予測ユニット46は、上述されたように、動き推定ユニット42および動き補償ユニット44によって行われるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測ユニット46は、現在のブロックを符号化するために使用するためのイントラ予測モードを決定し得る。例えば、イントラ予測ユニット46は、例えば、本開示において説明されるような拡張角度イントラ予測モード、カスケードイントラ予測、および/または逆線形モデルイントラ予測を実施し得る。いくつかの例において、イントラ予測ユニット46は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット46(または、いくつかの例において、モード選択ユニット40)は、テストされたモードおよび/または本開示において説明されるイントラ予測モードから、使用するための適切なイントラ予測モードを選択し得る。
【0108】
[0129] 例えば、イントラ予測ユニット46は、様々なテストされたイントラ予測モードについてのレート-歪み分析を使用してレート-歪み値を算出し、テストされたモードの中で最良のレート-歪み特性を有するイントラ予測モードを選択し得る。レート-歪み分析は概して、符号化されたブロックと、符号化されたブロックを作り出すために符号化された元の符号化されていないブロックとの間の歪み(または誤差)の量、並びに符号化されたブロックを作り出すために使用されたビットレート(すなわち、ビットの数)を決定する。イントラ予測ユニット46は、どのイントラ予測モードがブロックについての最良のレート-歪み値を示すかを決定するために、様々な符号化されたブロックについての歪みおよびレートから比率を算出し得る。
【0109】
[0130] ブロックについてイントラ予測モードを選択した後に、イントラ予測ユニット46は、エントロピー符号化ユニット56にそのブロックについての選択されたイントラ予測モードを示す情報を提供し得る。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオ符号化器20は、様々なブロックについての符号化コンテキストの定義、およびそれらコンテキストの各々に対して使用するための最確イントラ予測モード、イントラ予測モードインデックス表、および修正されたイントラ予測モードインデックス表のインジケーションを、送信されたビットストリーム構成データ中に含め得、それは、複数のイントラ予測モードインデックス表および複数の修正されたイントラ予測モードインデックス表(コードワードマッピング表とも呼ばれる)を含み得る。上述されたように、イントラ予測ユニット46は、この開示において説明されるイントラ予測技法を行うように構成され得る。
【0110】
[0131] ビデオ符号化器20は、コーディングされている元のビデオブロックから、モード選択ユニット40からの予測データを減算することによって残差ビデオブロックを形成する。加算器50は、この減算演算を行う1つまたは複数のコンポーネントを表す。変換処理ユニット52は、残差ブロックに離散コサイン変換(DCT)または概念的に同様の変換のような変換を適用し、変換係数値を備えるビデオブロックを作り出す。ウェーブレット変換、整数変換、サブバンド変換、離散サイン変換(DST)、または他のタイプの変換が、DCTの代わりに使用できる。いずれのケースでも、変換処理ユニット52は、残差ブロックに変換を適用し、変換係数のブロックを作り出す。変換は、ピクセルドメインから周波数ドメインのような変換ドメインに残差情報をコンバートし得る。変換処理ユニット52は、量子化ユニット54に結果として生じる変換係数を送り得る。量子化ユニット54は、ビットレートをさらに低減するために、変換係数を量子化する。量子化プロセスは、係数のうちのいくつかまたは全てに関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調節することによって修正され得る。
【0111】
[0132] 量子化に続いて、エントロピー符号化ユニット56は、量子化された変換係数をエントロピーコーディングする。例えば、エントロピー符号化ユニット56は、コンテキスト適応可変長コーディング(CAVLC)、コンテキスト適応バイナリ算術コーディング(CABAC)、シンタックスベースのコンテキスト適応バイナリ算術コーディング(SBAC)、確率間隔区分化エントロピー(PIPE)コーディング、または別のエントロピーコーディング技法を行い得る。コンテキストベースのエントロピーコーディングのケースでは、コンテキストが、近隣ブロックに基づき得る。エントロピー符号化ユニット56によるエントロピーコーディングに続いて、符号化されたビットストリームは、別のデバイス(例えば、ビデオ復号器30)に送信され得るか、または後の送信または取り出しのためにアーカイブされ得る。
【0112】
[0133] 逆量子化ユニット58および逆変換ユニット60は、ピクセルドメイン中の残差ブロックを再構築するために、それぞれ逆量子化および逆変換を適用する。特に、加算器62は、参照ピクチャメモリ64中での記憶のための再構築されたビデオブロックを作り出すために、動き補償ユニット44またはイントラ予測ユニット46によって先に作り出された動き補償予測ブロックに再構築された残差ブロックを追加する。再構築されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために、参照ブロックとして動き推定ユニット42および動き補償ユニット44によって使用され得る。
【0113】
[0134]
図21は、拡張角度イントラ予測モード、カスケードイントラ予測、および/または逆線形モデルイントラ予測のような、この開示において説明されるイントラ予測のための技法を実施し得るビデオ復号器30の例を例示するブロック図である。
図21の例において、ビデオ復号器30は、エントロピー復号ユニット70、動き補償ユニット72、イントラ予測ユニット74、逆量子化ユニット76、逆変換ユニット78、参照ピクチャメモリ82、および加算器80を含む。ビデオ復号器30は、いくつかの例において、ビデオ符号化器20(
図20)に関して説明された符号化パスと概して相反する復号パスを行い得る。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成し得、その一方で、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
【0114】
[0135] 復号プロセス中に、ビデオ復号器30は、ビデオ符号化器20から符号化されたビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。ビデオ復号器30のエントロピー復号ユニット70は、量子化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動き補償ユニット72に動きベクトルおよび他のシンタックス要素を転送する。ビデオ復号器30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
【0115】
[0136] ビデオスライスがイントラコーディングされた(I)スライスとしてコーディングされるとき、イントラ予測ユニット74は、現在のフレームまたはピクチャの以前に復号されたブロックからのデータおよびシグナリングされたイントラ予測モードに基づいて、現在のビデオスライスのビデオブロックについての予測データを生成し得る。ビデオフレームがインターコーディングされた(すなわち、BまたはP)スライスとしてコーディングされるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについての予測ブロックを作り出す。予測ブロックは、参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つから作り出され得る。ビデオ復号器30は、参照ピクチャメモリ82中に記憶された参照ピクチャに基づいて、デフォルト構築技法を使用して参照フレームリスト、リスト0およびリスト1、を構築し得る。動き補償ユニット72は、動きベクトルおよび他のシンタックス要素を構文解析することによって現在のビデオスライスのビデオブロックについての予測情報を決定し、復号されている現在のビデオブロックについての予測ブロックを作り出すために予測情報を使用する。例えば、動き補償ユニット72は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(例えば、イントラまたはインター予測)と、インター予測スライスタイプ(例えば、BスライスまたはPスライス)と、スライスについての参照ピクチャリストのうちの1つまたは複数についての構築情報と、スライスの各インター符号化されたビデオブロックについての動きベクトルと、スライスの各インターコーディングされたビデオブロックについてのインター予測状態と、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちのいくつかを使用する。
【0116】
[0137] 動き補償ユニット72はまた、補間フィルタに基づいて補間を行い得る。動き補償ユニット72は、参照ブロックのサブ整数ピクセルについての補間された値を算出するために、ビデオブロックの符号化中にビデオ符号化器20によって使用されるような補間フィルタを使用し得る。このケースでは、動き補償ユニット72は、受信されたシンタックス要素からビデオ符号化器20によって使用される補間フィルタを決定し、予測ブロックを作り出すために補間フィルタを使用し得る。
【0117】
[0138] イントラ予測ユニット74は、この開示において説明される拡張角度イントラ予測モード、カスケードイントラ予測、および/または逆線形モデルイントラ予測のようなイントラ予測技法を行うように構成され得る。
【0118】
[0139] 逆量子化ユニット76は、ビットストリーム中で提供され、且つエントロピー復号ユニット70によって復号された、量子化された変換係数を逆量子化(inverse quantizes)、すなわち、逆量子化(de-quantizes)する。逆量子化プロセスは、量子化の程度、および同じように、適用されるべき逆量子化の程度を決定するために、ビデオスライス中の各ビデオブロックについてビデオ復号器30によって算出される量子化パラメータQPYの使用を含み得る。
【0119】
[0140] 逆変換ユニット78は、ピクセルドメイン中に残差ブロックを作り出すために、変換係数に逆変換、例えば、逆DCT、逆整数変換、または概念的に同様の逆変換プロセスを適用する。
【0120】
[0141] 動き補償ユニット72が動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックについての予測ブロックを生成した後に、ビデオ復号器30は、逆変換ユニット78からの残差ブロックを、動き補償ユニット72によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器80は、この加算演算を行う1つまたは複数のコンポーネントを表す。所望される場合、デブロッキングフィルタもまた、ブロッキネスアーティファクトを取り除くために、復号されたブロックをフィルタリングするように適用され得る。(コーディングループ中またはコーディングループ後のいずれかの)他のループフィルタもまた、ピクセル遷移を平滑化するために、またはそうでない場合はビデオ品質を改善するために使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックはその後、参照ピクチャメモリ82中に記憶され、それは、後続する動き補償に使用される参照ピクチャを記憶する。参照ピクチャメモリ82はまた、
図1のディスプレイデバイス32のようなディスプレイデバイス上での後の提示のために、復号されたビデオを記憶する。
【手続補正書】
【提出日】2023-09-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオデータを符号化または復号する方法であって、
ビデオデータの第1のブロックの第1の行に関連付けられた複数のサンプルを再構築することと、
前記第1のブロックの前記第1の行に関連付けられた前記複数の再構築されたサンプルを参照サンプルとして使用して、およびカスケード技法に基づいて、前記第1のブロックの第2の行に関連付けられた複数の予測されたサンプルを予測することと、前記カスケード技法は、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、第1の角度イントラ予測モードに関連付けられた角度の使用を備え、
前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルに基づいて、第2のブロックを符号化または復号することと、
を備える、方法。
【請求項2】
前記第1の角度イントラ予測モードは、1)角度イントラ予測モードのセット内の角度イントラ予測モード、2)角度イントラ予測モードの前記セットに関連付けられた角度予測方向とは異なる角度予測方向に関連付けられる、シフトされた角度イントラ予測モード、のうちの1つを備える、請求項1に記載の方法。
【請求項3】
前記第1のブロックの形状に基づいて、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、前記角度イントラ予測モードを使用するかまたは前記シフトされた角度イントラ予測モードを使用するかを決定すること、をさらに備える、請求項1に記載の方法。
【請求項4】
前記第1のブロックが非正方形の形状を持つことに基づいて、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、前記シフトされた角度イントラ予測モードを使用することを決定すること、をさらに備える、請求項1に記載の方法。
【請求項5】
ビデオデータを符号化または復号するように構成される装置であって、前記装置は、
ビデオデータの第1のブロックの第1の行に関連付けられた複数の再構築されたサンプルを記憶するように構成される参照ピクチャメモリと、
前記参照ピクチャメモリと通信状態にある少なくとも1つのプロセッサと、
を備え、前記少なくとも1つのプロセッサは、
前記第1のブロックの前記第1の行に関連付けられた前記複数の再構築されたサンプルを参照サンプルとして使用して、およびカスケード技法に基づいて、前記第1のブロックの第2の行に関連付けられた複数の予測されたサンプルを予測することと、前記カスケード技法は、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、第1の角度イントラ予測モードに関連付けられた角度の使用を備え、
前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルに基づいて、第2のブロックを符号化または復号することと、
をするように構成される、装置。
【請求項6】
前記第1の角度イントラ予測モードは、1)角度イントラ予測モードのセット内の角度イントラ予測モード、2)角度イントラ予測モードの前記セットに関連付けられた角度予測方向とは異なる角度予測方向に関連付けられる、シフトされた角度イントラ予測モード、のうちの1つを備える、請求項5に記載の装置。
【請求項7】
前記少なくとも1つのプロセッサは、前記第1のブロックの形状に基づいて、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、前記角度イントラ予測モードを使用するかまたは前記シフトされた角度イントラ予測モードを使用するかを決定するようにさらに構成される、請求項6に記載の装置。
【請求項8】
前記少なくとも1つのプロセッサは、前記第1のブロックが非正方形の形状を持つことに基づいて、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、前記シフトされた角度イントラ予測モードを使用することを決定するようにさらに構成される、請求項7に記載の装置。
【請求項9】
実行されると、ビデオデータを符号化または復号するように構成される1つまたは複数のプロセッサに、
ビデオデータの第1のブロックの第1の行に関連付けられた複数のサンプルを再構築することと、
前記第1のブロックの前記第1の行に関連付けられた前記複数の再構築されたサンプルを参照サンプルとして使用して、およびカスケード技法に基づいて、前記第1のブロックの第2の行に関連付けられた複数の予測されたサンプルを予測することと、前記カスケード技法は、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、第1の角度イントラ予測モードに関連付けられた角度の使用を備え、
前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルに基づいて、第2のブロックを符号化または復号することと、
を行わせる命令を記憶する、コンピュータ可読記憶媒体。
【請求項10】
前記第1の角度イントラ予測モードは、1)角度イントラ予測モードのセット内の角度イントラ予測モード、2)角度イントラ予測モードの前記セットに関連付けられた角度予測方向とは異なる角度予測方向に関連付けられる、シフトされた角度イントラ予測モード、のうちの1つを備える、請求項9に記載のコンピュータ可読記憶媒体。
【請求項11】
実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、前記第1のブロックの形状に基づいて、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、前記角度イントラ予測モードを使用するかまたは前記シフトされた角度イントラ予測モードを使用するかを決定することを行わせる命令をさらに記憶する、請求項10に記載のコンピュータ可読記憶媒体。
【請求項12】
実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、前記第1のブロックが非正方形の形状を持つことに基づいて、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、前記シフトされた角度イントラ予測モードを使用することを決定することを行わせる命令をさらに記憶する、請求項11に記載のコンピュータ可読記憶媒体。
【請求項13】
ビデオデータを符号化または復号するように構成される装置であって、
ビデオデータの第1のブロックの第1の行に関連付けられた複数のサンプルを再構築するための手段と、
前記第1のブロックの前記第1の行に関連付けられた前記複数の再構築されたサンプルを参照サンプルとして使用して、およびカスケード技法に基づいて、前記第1のブロックの第2の行に関連付けられた複数の予測されたサンプルを予測するための手段と、前記カスケード技法は、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、第1の角度イントラ予測モードに関連付けられた角度の使用を備え、
前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルに基づいて、第2のブロックを符号化または復号するための手段と、
を備える、装置。
【請求項14】
前記第1の角度イントラ予測モードは、1)角度イントラ予測モードのセット内の角度イントラ予測モード、2)角度イントラ予測モードの前記セットに関連付けられた角度予測方向とは異なる角度予測方向に関連付けられる、シフトされた角度イントラ予測モード、のうちの1つを備える、請求項13に記載の装置。
【請求項15】
前記第1のブロックの形状に基づいて、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、前記角度イントラ予測モードを使用するかまたは前記シフトされた角度イントラ予測モードを使用するかを決定するための手段をさらに備える、請求項14に記載の装置。
【請求項16】
前記第1のブロックが非正方形の形状を持つことに基づいて、前記第1のブロックの前記第2の行に関連付けられた前記複数の予測されたサンプルを予測するために、前記シフトされた角度イントラ予測モードを使用することを決定するための手段をさらに備える、請求項15に記載の装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0120
【補正方法】変更
【補正の内容】
【0120】
[0141] 動き補償ユニット72が動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックについての予測ブロックを生成した後に、ビデオ復号器30は、逆変換ユニット78からの残差ブロックを、動き補償ユニット72によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器80は、この加算演算を行う1つまたは複数のコンポーネントを表す。所望される場合、デブロッキングフィルタもまた、ブロッキネスアーティファクトを取り除くために、復号されたブロックをフィルタリングするように適用され得る。(コーディングループ中またはコーディングループ後のいずれかの)他のループフィルタもまた、ピクセル遷移を平滑化するために、またはそうでない場合はビデオ品質を改善するために使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックはその後、参照ピクチャメモリ82中に記憶され、それは、後続する動き補償に使用される参照ピクチャを記憶する。参照ピクチャメモリ82はまた、
図1のディスプレイデバイス32のようなディスプレイデバイス上での後の提示のために、復号されたビデオを記憶する。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1] ビデオデータを符号化または復号する方法であって、
ビデオデータの少なくとも1つの再構築されたサンプルをロケートすることと、
現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、
前記少なくとも1つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも1つのサンプルを、前記少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含む、
前記少なくとも1つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号することと
を備える、方法。
[C2] 前記少なくとも1つの拡張角度イントラ予測モードは、水平-45度を超える角度モードまたは垂直-45度を超える角度モードのうちの少なくとも1つを備える、C1に記載の方法。
[C3] 前記現在のブロックの形状に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさらに備える、C1に記載の方法。
[C4] 前記現在のブロックに近隣する少なくとも1つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさらに備える、C1に記載の方法。
[C5] 前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも1つを予測することをさらに備える、C1に記載の方法。
[C6] 水平-45度と垂直-45度との間の角度イントラ予測モードを置き換えることに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定することをさらに備える、C1に記載の方法。
[C7] 前記拡張角度イントラ予測モードの角度方向の範囲内で、水平-45度と垂直-45度との間の角度イントラ予測モードをシフトすることに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定することをさらに備える、C1に記載の方法。[C8] 水平-45度と垂直-45度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第1の予測ブロックを生成することと、
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第2の予測ブロックを生成することと、
前記第1の予測ブロックと前記第2の予測ブロックとの加重和を決定することと、
前記加重和に基づいて、最終の予測ブロックを生成することと、
前記最終の予測ブロックに基づいて、前記現在のブロックを予測することと
をさらに備える、C1に記載の方法。
[C9] ビデオデータを符号化または復号するように構成される装置であって、前記装置は、
ビデオデータの少なくとも1つの再構築されたサンプルを記憶するように構成されるメモリと、
前記メモリと通信状態にある少なくとも1つのプロセッサと
を備え、前記少なくとも1つのプロセッサは、
少なくとも1つの再構築されたサンプルを識別することと、
現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、
前記少なくとも1つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも1つのサンプルを、前記少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含む、
前記少なくとも1つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号することと
をするように構成される、装置。
[C10] 前記少なくとも1つの拡張角度イントラ予測モードは、水平-45度を超える角度モードまたは垂直-45度を超える角度モードのうちの少なくとも1つを備える、C9に記載の装置。
[C11] 前記少なくとも1つのプロセッサは、前記現在のブロックの形状に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するようにさらに構成される、C9に記載の装置。
[C12] 前記少なくとも1つのプロセッサは、前記現在のブロックに近隣する少なくとも1つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するようにさらに構成される、C9に記載の装置。
[C13] 前記少なくとも1つのプロセッサは、前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも1つを予測するようにさらに構成される、C9に記載の装置。
[C14] 前記少なくとも1つのプロセッサは、水平-45度と垂直-45度との間の角度イントラ予測モードの置き換えに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定するようにさらに構成される、C9に記載の装置。
[C15] 前記少なくとも1つのプロセッサは、水平-45度と垂直-45度との間の角度イントラ予測モードが前記拡張角度イントラ予測モードの角度方向の範囲内となるためのシフトに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定するようにさらに構成される、C9に記載の装置。
[C16] 前記少なくとも1つのプロセッサは、
水平-45度と垂直-45度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第1の予測ブロックを生成することと、
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第2の予測ブロックを生成することと、
前記第1の予測ブロックと前記第2の予測ブロックとの加重和を決定することと、
前記加重和に基づいて、最終の予測ブロックを生成することと、
前記最終の予測ブロックに基づいて、前記現在のブロックを予測することと
をするようにさらに構成される、C9に記載の装置。
[C17] ビデオデータを符号化または復号するように構成される装置であって、前記装置は、
ビデオデータの少なくとも1つの再構築されたサンプルを記憶するための手段と、
少なくとも1つの再構築されたサンプルを識別するための手段と、
現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定するための手段と、
前記少なくとも1つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも1つのサンプルを、前記少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測するための手段と、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含む、
前記少なくとも1つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号するための手段と
を備える、装置。
[C18] 前記少なくとも1つの拡張角度イントラ予測モードは、水平-45度を超える角度モードまたは垂直-45度を超える角度モードのうちの少なくとも1つを備える、C17に記載の装置。
[C19] 前記現在のブロックの形状に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するための手段をさらに備える、C17に記載の装置。
[C20] 前記現在のブロックに近隣する少なくとも1つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定するための手段をさらに備える、C17に記載の装置。
[C21] 前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも1つを予測するための手段をさらに備える、C17に記載の装置。
[C22] 水平-45度と垂直-45度との間の角度イントラ予測モードの置き換えに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定するための手段をさらに備える、C17に記載の装置。
[C23] 水平-45度と垂直-45度との間の角度イントラ予測モードが前記拡張角度イントラ予測モードの角度方向の範囲内となるためのシフトに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定するための手段をさらに備える、C17に記載の装置。
[C24] 水平-45度と垂直-45度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第1の予測ブロックを生成するための手段と、
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第2の予測ブロックを生成するための手段と、
前記第1の予測ブロックと前記第2の予測ブロックとの加重和を決定するための手段と、
前記加重和に基づいて、最終の予測ブロックを生成するための手段と、
前記最終の予測ブロックに基づいて、前記現在のブロックを予測するための手段と
をさらに備える、C17に記載の装置。
[C25] 実行されると、ビデオデータを符号化または復号するように構成される1つまたは複数のプロセッサに、
少なくとも1つの再構築されたサンプルを識別することと、
現在のブロックの少なくとも1つのサンプルのイントラ予測に使用するための少なくとも1つの拡張角度イントラ予測モードを決定することと、
前記少なくとも1つの再構築されたサンプルに基づいて、前記現在のブロックの少なくとも1つのサンプルを、前記少なくとも1つの拡張角度イントラ予測モードを使用してイントラ予測することと、拡張角度イントラ予測モードは、水平-45度と垂直-45度との間の角度予測モード以外の角度イントラ予測モードを含む、
前記少なくとも1つの予測されたサンプルに基づいて、前記現在のブロックを符号化または復号することと
をさせる命令を記憶する、コンピュータ可読記憶媒体。
[C26] 実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、前記現在のブロックの形状に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさせる命令をさらに記憶する、C25に記載のコンピュータ可読記憶媒体。
[C27] 実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、前記現在のブロックに近隣する少なくとも1つの再構築されたサンプルの利用可能性に基づいて、前記少なくとも1つの拡張角度イントラ予測モードが前記現在のブロックのイントラ予測に利用可能であるかどうかを決定することをさせる命令をさらに記憶する、C25に記載のコンピュータ可読記憶媒体。
[C28] 実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックのルーマ成分またはクロマ成分のうちの少なくとも1つを予測することをさせる命令をさらに記憶する、C25に記載のコンピュータ可読記憶媒体。[C29] 実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、水平-45度と垂直-45度との間の角度イントラ予測モードが前記拡張角度イントラ予測モードの角度方向の範囲内となるためのシフトに応答して、前記少なくとも1つの拡張角度イントラ予測モードを決定することをさせる命令をさらに記憶する、C25に記載のコンピュータ可読記憶媒体。
[C30] 実行されると、ビデオデータを符号化または復号するように構成される前記1つまたは複数のプロセッサに、
水平-45度と垂直-45度との間の角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第1の予測ブロックを生成することと、
前記少なくとも1つの拡張角度イントラ予測モードに基づいて、前記現在のブロックに関連付けられた第2の予測ブロックを生成することと、
前記第1の予測ブロックと前記第2の予測ブロックとの加重和を決定することと、
前記加重和に基づいて、最終の予測ブロックを生成することと、
前記最終の予測ブロックに基づいて、前記現在のブロックを予測することと
をさせる命令をさらに記憶する、C25に記載のコンピュータ可読記憶媒体。
【外国語明細書】