知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-02
(45)【発行日】2024-12-10
(54)【発明の名称】イントラ予測のための方法及び機器
(51)【国際特許分類】
H04N 19/117 20140101AFI20241203BHJP
H04N 19/157 20140101ALI20241203BHJP
H04N 19/176 20140101ALI20241203BHJP
H04N 19/593 20140101ALI20241203BHJP
【ＦＩ】
H04N19/117
H04N19/157
H04N19/176
H04N19/593
【請求項の数】
19
【外国語出願】
(21)【出願番号】P 2022180464
(22)【出願日】2022-11-10
(62)【分割の表示】P 2021504520の分割
【原出願日】2019-11-14
(65)【公開番号】P2023022071
(43)【公開日】2023-02-14
【審査請求日】2022-12-02
(31)【優先権主張番号】62/767,496
(32)【優先日】2018-11-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】フィリポフ，アレクセイ コンスタンチノヴィッチ
(72)【発明者】
【氏名】ルフィトスキー，ヴァシリー アレクセヴィッチ
(72)【発明者】
【氏名】チェン，ジェンレェ
【審査官】田中 純一
(56)【参考文献】
【文献】特表２０２１－５３０９０６（ＪＰ，Ａ）
【文献】特表２０１６－５３０７７９（ＪＰ，Ａ）
【文献】特表２０２０－５０３７８５（ＪＰ，Ａ）
【文献】国際公開第２０１８／１２７６２４（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１５／００２３４０５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ － １９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
ブロックのイントラ予測の方法であって、前記方法は、前記ブロックのイントラ予測モードを取得するステップと、
前記ブロックの前記イントラ予測モードが広角モードであるかどうかを決定するステップと、
前記ブロックの前記イントラ予測モードが広角モードであると決定することに少なくとも部分的に基づき、前記ブロックの参照サンプルをフィルタリングするステップと、
前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、
前記参照サンプル又は前記フィルタリング済み参照サンプルについて位置依存予測組み合わせ（PDPC）を実行するステップと、
を含み、
前記広角モードが右上対角モードであるとき、PDPC重みは、wT=32>>((y’<<1)>>shift),wL=0であり、
前記広角モードが左下対角モードであるとき、PDPC重みは、wL=32>>((x’<<1)>>shift),wT=0であり、
(x’,y’)は、前記予測サンプルpredSamplesの座標であり、shiftは前記ブロックのサイズに基づく変数であり、
前記ブロックの参照サンプルをフィルタリングするステップは、方向イントラ予測及びPDPCについて統一される、方法。
【請求項2】
前記イントラ予測モードに対応する値は、－１４、－１２、－１０、－６、７２、７６、７８、又は８０のうちの少なくとも１つである、請求項１に記載の方法。
【請求項3】
前記参照サンプルをフィルタリングするために使用されるフィルタは、以下の係数：［１，２，１］／４により定義される、請求項１～２のいずれか一項に記載の方法。
【請求項4】
前記方法は、前記ブロックの前記イントラ予測モードが広角モードであるかどうかに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するステップ、を更に含む請求項１～３のいずれかに記載の方法。
【請求項5】
前記PDPCは、前記ブロックの前記イントラ予測モードが広角モードかどうか、及び前記参照サンプルから取得された前記ブロックの予測サンプルに基づき、実行される、請求項１～４のいずれかに記載の方法。
【請求項6】
前記ブロックの前記イントラ予測モードが前記広角モードではないとき、前記方法は、前記ブロックの前記イントラ予測モードに対応するモード値が、２、３４、又は６６のうちの１つであるかどうかを決定するステップと、
前記ブロックの前記イントラ予測モードに対応する前記モード値が２、３４、又は６６のうちの１つであるとき、参照サンプルをフィルタリングするステップと、
を更に含む請求項１～５のいずれかに記載の方法。
【請求項7】
前記イントラ予測及び前記PDPCは、並行して実行される、請求項１～６のいずれかに記載の方法。
【請求項8】
ブロックのイントラ予測の機器であって、前記機器は、前記ブロックのイントラ予測モードを取得するよう構成される取得ユニットと、
前記ブロックの前記イントラ予測モードが広角モードであるかどうかを決定するよう構成される決定ユニットと、
前記ブロックの前記イントラ予測モードが前記広角モードであると決定することに少なくとも部分的に基づき、前記ブロックの参照サンプルをフィルタリングし、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するよう構成される広角予測ユニットと、
を含み、
前記参照サンプル又は前記フィルタリング済み参照サンプルについて位置依存予測組み合わせ（PDPC）が実行され、
前記広角モードが右上対角モードであるとき、PDPC重みは、wT=32>>((y’<<1)>>shift),wL=0であり、
前記広角モードが左下対角モードであるとき、PDPC重みは、wL=32>>((x’<<1)>>shift),wT=0であり、
(x’,y’)は、前記予測サンプルpredSamplesの座標であり、shiftは前記ブロックのサイズに基づく変数であり、
前記ブロックの参照サンプルをフィルタリングすることは、方向イントラ予測及びPDPCについて統一される、機器。
【請求項9】
前記ブロックの前記イントラ予測モードに対応する値は、－１４、－１２、－１０、－６、７２、７６、７８、又は８０のうちの少なくとも１つである、請求項８に記載の機器。
【請求項10】
前記参照サンプルをフィルタリングするために使用されるフィルタは、以下の係数：［１，２，１］／４により定義される、請求項８～９のいずれか一項に記載の機器。
【請求項11】
前記決定ユニットは、前記ブロックの前記イントラ予測モードが前記広角モードではないとき、前記ブロックの前記イントラ予測モードに対応する値が、２、３４、又は６６のうちの１つであるかどうかを決定し、
前記ブロックの前記イントラ予測モードに対応する前記値が２、３４、又は６６のうちの１つであるとき、参照サンプルをフィルタリングする、
よう更に構成される、請求項８～１０のいずれかに記載の機器。
【請求項12】
前記決定ユニットは、前記ブロックの前記イントラ予測モードが広角モードかどうかに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかどうかを決定するよう更に構成される、請求項８～１１のいずれかに記載の機器。
【請求項13】
位置依存予測組み合わせ（PDPC）は、前記ブロックの前記イントラ予測モードが広角モードかどうか、及び前記参照サンプルから取得された前記ブロックの前記予測サンプルに基づき、実行される、請求項８～１２のいずれかに記載の機器。
【請求項14】
前記イントラ予測及び前記PDPCは、並行して実行される、請求項８～１３のいずれかに記載の機器。
【請求項15】
エンコーダであって、命令を格納するよう構成されるメモリと、
前記命令を実行するよう構成されるプロセッサと、
を含み、
前記命令は、前記プロセッサに、請求項１～７のいずれか一項に記載の方法を実行させる、エンコーダ。
【請求項16】
デコーダであって、命令を格納するよう構成されるメモリと、
前記命令を実行するよう構成されるプロセッサと、
を含み、
前記命令は、前記プロセッサに、請求項１～７のいずれか一項に記載の方法を実行させる、デコーダ。
【請求項17】
プロセッサに請求項１～７のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【請求項18】
ビットストリームを格納する方法であって、請求項１～７のいずれか一項に記載の方法により符号化されたビットストリームを受信するステップと、
前記ビットストリームを記憶装置に格納するステップと、
を含む方法。
【請求項19】
ビットストリームを格納するシステムであって、請求項１～７のいずれか一項に記載の方法により符号化されたビットストリームを受信するよう構成されるトランシーバと、
前記ビットストリームを格納するよう構成される記憶装置と、
を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像及び／又はビデオ符号化及び復号の技術分野に関し、特に、イントラ／インター予測のための方法及び機器に関する。
【背景技術】
【0002】
デジタルビデオは、ＤＶＤディスクの導入以来、広く使用されている。送信前、ビデオは符号化され、伝送媒体を用いて送信される。視聴者は、ビデオを受信し、視聴装置を用いてビデオを復号し表示する。何年にも渡り、例えばより高い解像度、色深度及びフレームレートにより、ビデオの品質は向上してきた。これは、今日インターネット及びモバイル通信ネットワークを介して一般に伝送されているより大きなデータストリームをもたらした。
【0003】
より高い解像度のビデオは、しかしながら、標準的に、それらがより多くの情報を有するので、より多くの帯域幅を必要とする。帯域幅要件を低減するために、ビデオの圧縮を含むビデオ符号化規格が導入されている。ビデオが符号化されると、帯域幅要件（又は記憶の場合には対応するメモリ要件）が低減される。時に、この低減は品質を犠牲にする。従って、ビデオ符号化規格は、帯域幅要件と品質との間のバランスを見い出そうとする。
【0004】
高効率ビデオ符号化（High Efficiency Video Coding (HEVC)）は、当業者に一般に知られているビデオ符号化規格の例である。ＨＥＶＣでは、符号化単位（coding unit (CU)）を予測単位（prediction units (PU)）又は変換単位（transform unit (TU)）に分割する。バーサタイルビデオ符号化（Versatile Video Coding (VVC)）次世代規格は、共同ビデオ探索チーム（Joint Video Exploration Team (JVET)）として知られているパートナーシップで一緒に作業しているＩＴＵ－Ｔビデオ符号化専門家委員会（Video Coding Experts Group (VCEG)）及びＩＳＯ／ＩＥＣ動画専門家委員会（ISO/IEC Moving Picture Experts Group (MPEG)）標準化組織の最新の共同ビデオプロジェクトである。ＶＶＣは、ＩＴＵ－Ｔ Ｈ．２６６／次世代ビデオ符号化（Next Generation Video Coding (NGVC)）規格とも呼ばれる。ＶＶＣでは、複数のパーティションタイプの概念、つまり、ＣＵ、ＰＵ、及びＴＵ概念の分離は、最大変換長に対して大きすぎるサイズを有するＣＵで必要とされる場合を除き、除去されるべきであり、ＣＵパーティション形状の更なる柔軟性をサポートする。
【0005】
これらの符号化単位（coding unit (CU)）（ブロックとも呼ばれる）の処理は、それらのサイズ、空間的位置、及びエンコーダにより指定される符号化モードに依存する。符号化モードは、予測タイプに従い２つのグループ：イントラ予測及びインター予測モードに分類できる。イントラ予測モードは、同じピクチャ（フレーム又は画像とも呼ばれる）のサンプルを用いて、参照サンプルを生成し、再構成されているブロックのサンプルの予測値を計算する。イントラ予測は、空間予測とも呼ばれる。インター予測モードは、時間的予測のために設計され、現在ピクチャのブロックのサンプルを予測するために前又は次のピクチャの参照サンプルを使用する。
【0006】
ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ１１）は、現在のＨＥＶＣ規格（スクリーンコンテンツ符号化及び高ダイナミックレンジ符号化のための、その現在の拡張及び極めて近い将来の拡張を含む）のものを有意に超える圧縮能力を有する将来のビデオ符号化技術の標準化の潜在的な必要性を研究している。委員会は、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム（Joint Video Exploration Team (JVET)）として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
【0007】
ＶＴＭ（Versatile Test Model）規格は３５個のイントラモードを使用し、一方で、ＢＭＳ（Benchmark Set）は６７個のイントラモードを使用する。
【0008】
イントラ予測方式は複雑であると考えられる。
【発明の概要】
【0009】
イントラ予測のための機器及び方法が開示される。
【0010】
第１の態様によると、本開示は、ビデオの現在ピクチャの中の現在画像ブロックのイントラ予測の方法であって、前記方法は、
前記ブロックのイントラ予測モードを取得するステップと、
前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、
を含む方法に関する。
前記ブロックのイントラ予測モードを取得するステップと、
前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、
を含む方法に関する。
【0011】
第１の態様による方法の可能な実装形式では、前記ブロックの前記イントラ予測モードは、整数勾配広角モードである。前記整数勾配広角モードは、－１４、－１２、－１０、－６、７２、７６、７８、８０のうちの少なくとも１つである。
【0012】
第１の態様は、方向予測の出力及び予測ブロックの視覚的品質を向上するために使用される追加予測信号の組み合わせにより、参照サンプル処理の統一を目指す。この統一の結果、参照サンプルは１回だけ処理され、この処理の結果は、方向イントラ予測処理及び追加予測の生成の両方により再利用される。例えば、フィルタリング済み参照サンプルは、広角モードのために使用され、従って、１回のみフィルタリング済み参照サンプルバッファが必要である。
【0013】
以下のステップは、イントラ予測方法を実施するために実行されてよい。
【0014】
ステップ１。参照サンプル、イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅ及び／又はブロック寸法（幅及び高さ）に基づき、参照サンプルフィルタリングを実行する。
【0015】
ステップ２。ｉｎｔｒａＰｒｅｄＡｎｇｌｅに従い、処理済み（フィルタリング済み又は未フィルタリング参照サンプル）参照サンプル（ステップ１の結果）に基づき、方向イントラ予測を実行する。
【0016】
ステップ３。ステップ２で取得された結果を、ＰＤＰＣ又は簡易ＰＤＰＣであり得る予測組み合わせにより更新する。ここで、ステップ３で使用される入力参照サンプルは、整数勾配広角モード（例えば、以下の表Ｘ及びＹで指定されるように、－１４、－１２、－１０、－６、７２、７６、７８、８０）について、ステップ１で取得されステップ２で使用された参照サンプルと同じである。
【0017】
任意で、ｐｒｅｄＭｏｄｅＩｎｔｒａに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるべきかを決定する。これは、以下の表５にリストされたフィルタのうちの１つを適用することにより実行され得る。ＶＶＣでは、インデックス０及び１を有するフィルタが使用される。
【0018】
参照サンプルは、ｐｒｅｄＭｏｄｅが２、３４、又は６６に等しいとき、及びｎＴｂＳ＞２のときに、フィルタリングされる（表５のフィルタインデックス「１」が使用される）。
【0019】
上述の方法の代替的実施形態は、このステップで、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａの代わりに、角度パラメータ（ｉｎｔｒａＰｒｅｄＡｎｇｌｅとして更に示される）を使用することである。この場合、ｉｎｔｒａＰｒｅｄＡｎｇｌｅの値が３２の倍数である場合、及びｎＴｂＳ＞２のとき、参照サンプルは、フィルタリングされる（表５のフィルタインデックス「１」が使用される）。
【0020】
本発明の第１の態様による方法は、本発明の第２の態様による機器により実行できる。例えば、前記機器は、取得ユニットと、広角予測ユニットと、を含んでよい。前記取得ユニットは、前記ブロックのイントラ予測モードを取得するよう構成され、前記広角予測ユニットは、前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するよう構成される。
【0021】
本発明の第２の態様による方法の更なる特徴及び実装形式は、本発明の第１の態様による機器の特徴及び実装形式に対応する。
【0022】
第２の態様による機器の利点は、第１の態様による方法の対応する実装形式のものと同じである。
【0023】
第３の態様によると、本発明は、プロセッサとメモリとを含む、ビデオストリームを復号する機器に関する。前記メモリは、前記プロセッサに第１の態様による方法を実行させる命令を格納している。
【0024】
第４の態様によると、本発明は、プロセッサとメモリとを含む、ビデオストリームを符号化する機器に関する。前記メモリは、前記プロセッサに第１の態様による方法を実行させる命令を格納している。
【0025】
第５の態様によると、実行されると１つ以上のプロセッサをビデオデータを符号化するよう構成させる命令を格納したコンピュータ可読記憶媒体が提案される。前記命令は、前記１つ以上のプロセッサに、第１の態様又は第１の態様の任意の可能な実施形態による方法を実行させる。
【0026】
第６の態様によると、本発明は、コンピュータ上で実行されると第１の態様又は第１の態様の任意の可能な実施形態による方法を実行するためのプログラムコードを含むコンピュータプログラムに関する。
【0027】
１つ以上の実施形態の詳細は、添付の図面及び以下の説明において説明される。他の特徴、目的、及び利点は、説明、図面、及び請求項から明らかになるだろう。
【図面の簡単な説明】
【0028】
以下の実施形態は、添付の図面及び図を参照して更に詳細に説明される。
【0029】
【図1】本発明の実施形態を実施するよう構成されるビデオ符号化システムの例を示すブロック図である。
【0030】
【図2】本発明の実施形態を実施するよう構成されるビデオエンコーダの例を示すブロック図である。
【0031】
【図3】本発明の実施形態を実施するよう構成されるビデオデコーダの例示的な構造を示すブロック図である。
【0032】
【図4A】提案される６７個のイントラ予測モードを示す概略図を示す。
【0033】
【図4B】提案される９３個のイントラ予測モードを示す概略図を示し、破線の方向は非正方形ブロックにのみ適用される広角モードに関連付けられる。
【0034】
【図5】補間フィルタの異なる例を示す。
【図6】補間フィルタの異なる例を示す。
【図7】補間フィルタの異なる例を示す。
【図8】補間フィルタの異なる例を示す。
【図9】補間フィルタの異なる例を示す。
【図10】補間フィルタの異なる例を示す。
【図11】補間フィルタの異なる例を示す。
【0035】
【図12】インター及びイントラ予測における４タップ補間フィルタを再利用する例を示す。
【0036】
【図13】提案される用途の例示的な実装を示す。
【0037】
【図14】ＬＵＴ係数の再利用に基づく提案される用途の例示的な実装を示す。
【0038】
【図15】補間フィルタ選択の例を示す。
【0039】
【図16】ＱＴＢＴの例を示す。
【0040】
【図17】長方形ブロックの方向の例を示す。
【0041】
【図18】辺の長さに依存する参照フィルタ選択の例を示す。
【0042】
【図19】補間フィルタ選択処理の間に、イントラ予測モードを閾値設定する代替方向の例を示す。
【0043】
【図20】使用中の参照サンプルがどちらの辺に属するかに依存する異なる補間フィルタの使用を示す。
【0044】
【図21】１つの４×４ブロックの内部の（０，０）及び（１，０）位置のＤＣモードＰＤＰＣ重みを示す。
【0045】
【図22】対角及び隣接角度イントラモードへのＰＤＰＣ拡張により使用されるサンプルの定義を示す。
【0046】
【図23】簡易ＰＤＰＣの例示的な実装を示す。
【0047】
【図24】例示的な統一実装を示す。
【0048】
【図25】ビデオの現在ピクチャの中の現在画像ブロックのイントラ予測のための機器の例示的な構造を示すブロック図である。
【0049】
【図26】種々の実施形態を実装するために使用可能な機器１５００のブロック図である。
【0050】
【図27】コンテンツ配信サービスを提供するコンテンツ供給システムの例示的な構造を示すブロック図である。
【0051】
【図28】端末装置の例の構造を示すブロック図である。
【発明を実施するための形態】
【0052】
略語の定義、及び用語集
【0053】
JEM：Joint Exploration Model（将来のビデオ符号化探索のためのソフトウェアコードベース）
【0054】
JVET：Joint Video Experts Team
【0055】
LUT：Look－Up Table
【0056】
PDPC：Position－Dependent Prediction Combination
【0057】
QT：Quad Tree
【0058】
QTBT：Quad Tree plus Binary Tree
【0059】
RDO：Rate－distortion Optimization
【0060】
ROM：Read－Only Memory
【0061】
VTM：VVC Test Model
【0062】
VVC：Versatile Video Coding, ＪＶＥＴにより展開される標準化プロジェクト
【0063】
CTU/CTB：Coding Tree Unit/Coding Tree Block
【0064】
CU/CB：Coding Unit/Coding Block
【0065】
PU/PB：Prediction Unit/Prediction Block
【0066】
TU/TB：Transform Unit/Transform Block
【0067】
HEVC：High Efficiency Video Coding
【0068】
Ｈ．２６４／ＡＶＣ及びＨＥＶＣのようなビデオ符号化方式は、ブロックに基づくハイブリッドビデオ符号化の成功した原理に沿って設計されている。この原理を用いて、ピクチャは、先ずブロックにパーティションされ、次に、各ブロックはイントラピクチャ又はインターピクチャ予測を用いて予測される。
【0069】
Ｈ．２６１以降の幾つかのビデオ符号化規格は、「損失ハイブリッドビデオコーデック」のグループに属する（つまり、サンプルドメインにおける空間及び時間予測と、変換ドメインにおける量子化を適用する２Ｄ変換符号化と、を結合する）。ビデオシーケンスの各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされ、符号化は、標準的に、ブロックレベルで実行される。言い換えると、エンコーダにおいて、例えば空間（イントラピクチャ）予測及び時間（インターピクチャ）予測を用いて予測ブロックを生成し、予測ブロックを現在ブロック（現在処理されている／処理されるべきブロック）から減算して残差ブロックを取得し、残差ブロックを変換し、及び変換ドメインで残差ブロックを量子化して、伝送されるべきデータ量を削減すること（圧縮）により、ビデオは標準的にブロック（ピクチャブロック）レベルで処理される、つまり符号化される。一方で、デコーダにおいて、エンコーダと比べて逆の処理が、符号化又は圧縮されたブロックに対して部分的に適用されて、提示するために現在ブロックを再構成する。更に、エンコーダは、デコーダ処理ループを複製して、後続のブロックを処理する、つまり符号化するために、両方が同一の予測（例えば、イントラ及びインター予測）及び／又は再構成を生成するようにする。
【0070】
本願明細書で使用されるとき、用語「ブロック」はピクチャ又はフレームの一部であってよい。説明の便宜上、本発明の実施形態は、本願明細書で、高効率ビデオ符号化（High－Efficiency Video Coding (HEVC)）、又はＩＴＵ－Ｔビデオ符号化専門家委員会（ITU－T Video Coding Experts Group (VCEG)）及びＩＳＯ／ＩＥＣ動画専門家委員会（Motion Picture Experts Group (MPEG)）のビデオ符号化に関する共同作業部会（Joint Collaboration Team on Video Coding (JCT－VC)）により開発されたバーサタイルビデオ符号化（Versatile video coding (VVC)）のリファレンスソフトウェアを参照して説明される。当業者は、本発明の実施形態がＨＥＶＣ又はＶＶＣに限定されないことを理解するだろう。ＣＵ、ＰＵ、及びＴＵを参照し得る。ＨＥＶＣでは、ＣＴＵは、符号化ツリーとして示される４分木構造を用いてＣＵに分割される。ピクチャ領域をインターピクチャ（時間）又はイントラピクチャ（空間）予測を用いて符号化するかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに従い、１、２、又は４個のＰＵに更に分割できる。１個のＰＵ内で、同じ予測処理が適用され、関連情報がＰＵ毎にデコーダへ伝送される。ＰＵ分割タイプに基づき予測処理を適用することにより、残差ブロックを取得した後に、ＣＵは、ＣＵの符号化ツリーと同様の別の４分木構造に従い、変換ユニット（transform unit (TU)）にパーティションすることができる。ビデオ圧縮技術の最新の進展では、４分木及び２分木（Quad－tree and binary tree (QTBT)）パーティションが、符号化ブロックをパーティションするために使用される。ＱＴＢＴブロック構造では、ＣＵは正方形又は長方形形状のいずれかを有し得る。例えば、符号化木単位（coding tree unit (CTU)）は、先ず、４分木構造によりパーティションされる。４分木のリーフノードは、２分木構造により更にパーティションされる。２分木のリーフノードは、符号化単位（coding unit (CU)）と呼ばれ、そのセグメント化は、更なるパーティションを伴わず、予測及び変換処理のために使用される。これは、ＣＵ、ＰＵ、及びＴＵが、ＱＴＢＴ符号化ブロック構造において同じブロックサイズを有することを意味する。同時に、多重パーティション、例えば３分木パーティションも、ＱＴＢＴブロック構造と一緒に使用するために提案された。
【0071】
ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ２９／ＷＧ１１）は、現在のＨＥＶＣ規格（スクリーンコンテンツ符号化及び高ダイナミックレンジ符号化のための、その現在の拡張及び極めて近い将来の拡張を含む）のものを有意に超える圧縮能力を有する将来のビデオ符号化技術の標準化の潜在的な必要性を研究している。委員会は、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム（Joint Video Exploration Team (JVET)）として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
【0072】
ＶＴＭ（Versatile Test Model）は３５個のイントラモードを使用し、一方で、ＢＭＳ（Benchmark Set）は６７個のイントラモードを使用する。イントラ予測は、所与のフレームのみが含まれ得る場合に圧縮効率を向上するために、多くのビデオ符号化の枠組みの中で使用されるメカニズムである。
【0073】
図１は、本願（本開示）の技術を利用し得る例示的な符号化システム１０、例えばビデオ符号化システム１０を示す概念的又は概略的ブロック図である。ビデオ符号化システム１０のエンコーダ２０（例えば、ビデオエンコーダ２０）及びデコーダ３０（例えば、ビデオデコーダ３０）は、本願で説明される種々の例に従う技術を実行するよう構成され得る装置の例を表す。図１に示すように、符号化システム１０は、符号化データ１３、例えば符号化ピクチャ１３を、例えば符号化データ１３を復号する宛先装置１４に提供するよう構成されるソース装置１２を含む。
【0074】
ソース装置１２は、エンコーダ２０を含み、追加でつまり任意で、ピクチャソース１６、前処理ユニット１８、例えばピクチャ前処理ユニット１８、及び通信インタフェース又は通信ユニット２２を含んでもよい。
【0075】
ピクチャソース１６は、例えば現実のピクチャをキャプチャする任意の種類のピクチャキャプチャ装置、及び／又は任意の種類のピクチャ若しくはコメント（スクリーンコンテンツ符号化では、スクリーン上の何らかのテキストも符号化されるべきピクチャ又は画像の一部と考えられる）生成装置、例えばコンピュータアニメーションピクチャを生成するコンピュータグラフィックプロセッサ、又は現実のピクチャ、コンピュータアニメーションピクチャ（例えば、スクリーンコンテンツ、仮想現実（virtual reality (VR)）ピクチャ）及び／又はそれらの任意の組み合わせ（例えば、拡張現実（augmented reality (AR)）ピクチャ）を取得し及び／又は提供する任意の種類の装置、を含んでよく又はそれであってよい。
【0076】
（デジタル）ピクチャは、強度値を有するサンプルの２次元配列又は行列と考えられる又は考えることができる。配列の中のサンプルは、ピクセル（pixel）（ピクチャ要素の短縮形）又はペル（pel）とも呼ばれてよい。配列又はピクチャの水平及び垂直方向（又は軸）にあるサンプルの数は、ピクチャのサイズ及び／又は解像度を定める。色の表現のために、標準的に３つの色成分が利用される。つまり、ピクチャは、３つのサンプル配列で表現され又はそれらを含んでよい。ＲＢＧ形式又は色空間では、ピクチャは、対応する赤、緑、及び青色サンプル配列を含む。しかしながら、ビデオ符号化では、各ピクセルは、標準的に、輝度／色度形式、又は色空間、例えば、Ｙ（時には代わりにＬが使用されることもある）により示される輝度成分と及びＣｂ及びＣｒにより示される２つの色度成分を含むＹＣｂＣｒとで表現される。輝度（又は略してｌｕｍａ）成分Ｙは、明るさ又はグレーレベル強度（例えば、グレイスケールピクチャにおけるような）を表現する。一方で、２つの色度（又は略してｃｈｒｏｍａ）成分Ｃｂ及びＣｒは、色度又は色情報成分を表現する。したがって、ＹＣｂＣｒ形式のピクチャは、輝度サンプル値（Ｙ）の輝度サンプル配列と、色度値（Ｃｂ及びＣｒ）の２つの色度サンプル配列とを含む。ＲＧＢ形式のピクチャは、ＹＣｂＣｒ形式に転換され又は変換されてよく、逆も同様であり、その処理は色転換又は色変換としても知られる。ピクチャが単色である場合、ピクチャは、輝度サンプル配列のみを含んでよい。
【0077】
ピクチャソース１６（例えば、ビデオソース１６）は、例えばピクチャをキャプチャするカメラ、前にキャプチャした若しくは生成したピクチャを含む若しくは格納するメモリ、例えばピクチャメモリ、及び／又はピクチャを取得し若しくは受信するための任意の種類の（内部又は外部）インタフェースであってよい。カメラは、例えば、ソース装置に統合されたローカル又は内蔵カメラであってよい。メモリは、例えばソース装置に統合されたローカル又は内蔵メモリであってよい。インタフェースは、例えば、ピクチャを外部ビデオソース、例えばカメラのような外部ピクチャキャプチャ装置、外部メモリ、又は外部ピクチャ生成装置、例えば外部コンピュータグラフィックプロセッサ、コンピュータ若しくはサーバから受信する外部インタフェースであってよい。インタフェースは、任意の特性又は標準化インタフェースプロトコルに従い、任意の種類のインタフェース、例えば有線若しくは無線インタフェース、光インタフェースであり得る。ピクチャデータ１７を取得するインタフェースは、通信インタフェース２２と同じインタフェース又はその一部であってよい。
【0078】
前処理ユニット１８及び前処理ユニット１８により実行される処理と区別して、ピクチャ又はピクチャデータ１７（例えばビデオデータ１６）は、生ピクチャ又は生ピクチャデータ１７とも呼ばれてよい。
【0079】
前処理ユニット１８は、（生）ピクチャデータ１７を受信し、ピクチャデータ１７に前処理を実行して、前処理済みピクチャ１９又は前処理済みピクチャデータ１９を取得するよう構成される。前処理ユニット１８により実行される前処理は、例えばトリミング、色形式変換（例えば、ＲＧＢからＹＣｂＣｒへ）、色補正、又はノイズ除去を含んでよい。前処理ユニット１８は任意のコンポーネントであってよいことが理解できる。
【0080】
エンコーダ２０（例えばビデオエンコーダ２０）は、前処理済みピクチャデータ１９を受信し、符号化ピクチャデータ２１を提供するよう構成される（更なる詳細は、例えば図２に基づき後述される）。
【0081】
ソース装置１２の通信インタフェース２２は、符号化ピクチャデータ２１を受信し、それを別の装置、例えば宛先装置１４若しくは任意の他の装置へと、記憶又は直接再構成のために伝送し、又は、符号化データ１３を格納する、及び／又は別の装置、例えば宛先装置１４又は復号又は格納のための任意の他の装置へと符号化データ１３を伝送する前に、それぞれ符号化データ２１を処理するよう構成されてよい。
【0082】
宛先装置１４は、デコーダ３０（例えば、ビデオデコーダ３０）を含み、追加で、つまり任意で、通信インタフェース又は通信ユニット２８、後処理ユニット３２、及びディスプレイ装置３４を含んでよい。
【0083】
宛先装置１４の通信インタフェース２８は、符号化ピクチャデータ２１又は符号化データ１３を、例えばソース装置１２から直接に又は任意の他のソース、例えば記憶装置、例えば符号化ピクチャデータ記憶装置から受信するよう構成される。
【0084】
通信インタフェース２２及び通信インタフェース２８は、符号化ピクチャデータ２１又は符号化データ１３を、ソース装置１２と宛先装置１４との間の直接通信リンク、例えば直接有線又は無線接続、又は任意の種類のネットワーク、例えば有線又は無線ネットワーク、又はそれらの任意の組み合わせ、又は任意の種類の私設又は公衆ネットワーク、又はそれらの任意の種類の組み合わせを介して送信又は受信するよう構成されてよい。
【0085】
通信インタフェース２２は、通信リンク又は通信ネットワークを介して伝送するために、例えば、符号化ピクチャデータ２１を適切な形式、例えばパケットにパッケージするよう構成されてよい。
【0086】
通信インタフェース２２の相手方を形成する通信インタフェース２８は、例えば、符号化データ１３をパッケージ解除して符号化ピクチャデータ２１を取得するよう構成されてよい。
【0087】
通信インタフェース２２及び通信インタフェース２８の両者は、図１Ａのソース装置１２から宛先装置１４を指す符号化データ１３の矢印により示されるように、単方向通信インタフェース、又は、双方向通信インタフェースとして構成されてよく、例えば接続を確立するため、通信リンク及び／又はデータ伝送、例えば符号化ピクチャデータ伝送に関連する任意の他の情報を肯定応答し及び交換するために、例えばメッセージを送信し及び受信するよう構成されてよい。
【0088】
デコーダ３０は、符号化ピクチャデータ２１を受信し、復号ピクチャデータ３１又は復号ピクチャ３１を提供するよう構成される（更なる詳細は、例えば図３に基づき後述される）。
【0089】
宛先装置１４の後処理３２は、復号ピクチャデータ３１（再構成済みピクチャデータとも呼ばれる）、例えば復号ピクチャ３１を後処理して、後処理済みピクチャデータ３３、例えば後処理済みピクチャ３３を取得するよう構成される。後処理ユニット３２により実行される後処理は、例えば色形式変換（例えば、ＹＣｂＣｒからＲＧＢへ）、色補正、トリミング、又は再サンプリング、又は、例えば復号ピクチャデータ３１を例えばディスプレイ装置３４による表示のために準備するための任意の他の処理、を含んでよい。
【0090】
宛先装置１４のディスプレイ装置３４は、例えばユーザ又は見る人にピクチャを表示するために、後処理済みピクチャデータ３３を受信するよう構成される。ディスプレイ装置３４は、再構成済みピクチャを提示する任意の種類のディスプレイ、例えば内蔵又は外部ディスプレイ又はモニタであり又はそれを含んでよい。ディスプレイは、例えば液晶ディスプレイ（liquid crystal displays (LCD)）、有機発光ダイオード（organic light emitting diodes (OLED)）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、シリコン上の液晶（liquid crystal on silicon (LCoS)）、デジタル光プロセッサ（digital light processor(DLP)）又は任意の種類の他のディスプレイを含んでよい。
【0091】
図１はソース装置１２及び宛先装置１４を別個の装置として示すが、装置の実施形態は、ソース装置１２又は対応する機能と宛先装置１４又は対応する機能の両方又は両方の機能を含んでもよい。このような実施形態では、ソース装置１２又は対応する機能及び宛先装置１４又は対応する機能は、同じハードウェア及び／又はソフトウェア又は別個のハードウェア及び／又はソフトウェア又はそれらの任意の組み合わせを用いて実装されてよい。
【0092】
説明に基づき当業者に明らかになるであろうように、図１に示されるようなソース装置１２及び／又は宛先装置１４内の異なるユニット又は機能の存在及びその（正確な）分割は、実際の装置及び用途に依存して変化してよい。
【0093】
エンコーダ２０（例えば、ビデオエンコーダ２０）及びデコーダ３０（例えば、ビデオデコーダ３０）の各々は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（digital signal processors (DSP)）、特定用途向け集積回路（application－specific integrated circuits (ASIC)）、フィールドプログラマブルゲートアレイ（field－programmable gate arrays (FPGA)）、個別ロジック、ハードウェア、又はそれらの任意の組み合わせのような、様々な適切な回路のうちのいずれか１つとして実装されてよい。技術が部分的にソフトウェアで実装される場合、装置は、適切な非一時的コンピュータ可読記憶媒体内のソフトウェアのための命令を格納してよく、命令をハードウェアで１つ以上のプロセッサを用いて実行して、本開示の技術を実行してよい。前述のいずれか１つ（ハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組み合わせ、等を含む）は、１つ以上のプロセッサであると考えられてよい。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ以上のエンコーダ又はデコーダに含まれてよく、いずれも、結合されたエンコーダ／デコーダ（encoder/decoder, CODEC）の部分としてそれぞれの装置内に統合されてよい。
【0094】
図２は、本願の技術を実施するよう構成される例示的なビデオエンコーダ２０の概略的／概念的ブロック図を示す。図２の例では、ビデオエンコーダ２０は、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０及び逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタユニット２２０、復号ピクチャバッファ（decoded picture buffer (DPB)）２３０、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０を含む。予測処理ユニット２６０は、インター予測ユニット２４４、イントラ予測処理ユニット２５４、及びモード選択ユニット２６２を含んでよい。インター予測ユニット２４４は、動き推定ユニット及び動き補償ユニット（図示しない）を含んでよい。図２に示すようなビデオエンコーダ２０は、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックに従うビデオエンコーダとも呼ばれてよい。
【0095】
例えば、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０は、エンコーダ２０の順方向信号経路を形成する。一方で、例えば、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、復号ピクチャバッファ（decoded picture buffer (DPB)）２３０、予測処理ユニット２６０は、エンコーダの逆方向信号経路を形成し、エンコーダの逆方向信号経路はデコーダの信号経路に対応する（図３のデコーダ３０を参照）。
【0096】
エンコーダ２０は、例えば入力２０２により、ピクチャ２０１又はピクチャ２０１のブロック２０３、例えばビデオ又はビデオシーケンスを形成するピクチャのシーケンスのピクチャを受信するよう構成される。ピクチャブロック２０３は、（特に、ビデオ符号化では、現在ピクチャを他のピクチャ、例えば同じビデオシーケンス、つまり現在ピクチャも含むビデオシーケンスの前の符号化及び／又は復号ピクチャと区別するために）現在ピクチャブロック又は被符号化ピクチャブロック、及び現在ピクチャ又は被符号化ピクチャとしてのピクチャ２０１とも呼ばれてよい。
【0097】
予測処理ユニット２６０は、ブロック予測処理ユニット２６０とも呼ばれ、ブロック２０３（現在ピクチャ２０１の現在ブロック２０３）及び再構成ピクチャデータ、例えば同じ（現在）ピクチャの参照サンプルをバッファ２１６から、及び／又は１又は複数の前に復号したピクチャからの参照ピクチャデータ２３１を復号ピクチャバッファ２３０から受信し又は取得し、このようなデータを予測のために処理し、つまりインター予測ブロック２４５又はイントラ予測ブロック２５５であってよい予測ブロック２６５を提供するよう構成される。
【0098】
モード選択ユニット２６２は、予測モード（例えば、イントラ又はインター予測モード）及び／又は残差ブロック２０５の計算のために及び再構成ブロック２１５の再構成のために予測ブロック２６５として使用されるべき対応する予測ブロック２４５又は２５５を選択するよう構成されてよい。
【0099】
モード選択ユニット２６２の実施形態は、最も適する又は言い換えると最小残差（最小残差は伝送又は記憶のためのより良い圧縮を意味する）又は最小シグナリングオーバヘッド（最小シグナリングオーバヘッドは伝送又は記憶のためのより良い圧縮を意味する）を提供する又は両者を考慮する若しくはバランスを取る予測モードを（例えば、予測処理ユニット２６０によりサポートされるものから）選択するよう構成されてよい。モード選択ユニット２６２は、レート歪み最適化（rate distortion optimization, RDO）に基づき、予測モードを決定するよう、つまり、最小のレート歪み最適化を提供する若しくは予測モード選択基準を少なくとも満たすレート歪みに関連する予測モードを選択するよう構成されてよい。
【0100】
イントラ予測ユニット２５４は、イントラ予測パラメータ、例えば選択されたイントラ予測モードに基づき、イントラ予測ブロック２５５を決定するよう更に構成される。いずれの場合にも、ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット２５４は、また、イントラ予測パラメータ、つまり、ブロックについて選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット２７０に提供するよう構成される。一例では、イントラ予測ユニット２５４は、後述するイントラ予測技術の任意の組み合わせを実行するよう構成されてよい。
【0101】
図３は、本願の技術を実施するよう構成される例示的なビデオデコーダ３０である。ビデオデコーダ３０は、復号ピクチャ１３１を取得するために、例えばエンコーダ１００により符号化された符号化ピクチャデータ（例えば、符号化ビットストリーム）２１を受信するよう構成される。復号処理の間、ビデオデコーダ３０は、ビデオデータ、例えば符号化ビデオスライスのピクチャブロック及び関連するシンタックス要素を表す符号化ビデオビットストリームを、ビデオエンコーダ１００から受信する。
【0102】
図３の例では、デコーダ３０は、エントロピー復号ユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、加算器３１４）、バッファ３１６、ループフィルタ３２０、復号ピクチャバッファ３３０、及び予測処理ユニット３６０を含む。予測処理ユニット３６０は、インター予測ユニット３４４、イントラ予測処理ユニット３５４、及びモード選択ユニット３６２を含んでよい。ビデオデコーダ３０は、幾つかの例では、図２からビデオエンコーダ１００に関して説明した符号化経路に対して通常相互的な復号経路を実行してよい。
【0103】
エントロピー復号ユニット３０４は、エントロピー復号を、符号化ピクチャデータ２１に対して実行して、例えば量子化された係数３０９、及び／又は復号された符号化パラメータ（図３に示されない）、例えばインター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素のうちの（復号された）いずれか又は全部を取得するよう構成される。エントロピー復号ユニット３０４は、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素を、予測処理ユニット３６０に転送するよう更に構成される。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルのシンタックス要素を受信してよい。
【0104】
逆量子化ユニット３１０は逆量子化ユニット１１０と機能的に同一であってよく、逆変換処理ユニット３１２は逆変換処理ユニット１１２と機能的に同一であってよく、再構成ユニット３１４は再構成ユニット１１４と機能的に同一であってよく、バッファ３１６はバッファ１１６と機能的に同一であってよく、ループフィルタ３２０はループフィルタ１２０と機能的に同一であってよく、復号ピクチャバッファ３３０は復号ピクチャバッファ１３０と機能的に同一であってよい。
【0105】
予測処理ユニット３６０は、インター予測ユニット３４４及びイントラ予測ユニット３５４を含んでよい。ここで、インター予測ユニット３４４はインター予測ユニット１４４と機能的に似ていてよく、イントラ予測ユニット３５４はイントラ予測ユニット１５４と機能的に似ていてよい。予測処理ユニット３６０は、標準的に、ブロック予測を実行し、及び／又は予測ブロック３６５を符号化データ２１から取得し、及び予測関連パラメータ及び／又は選択された予測モードに関する情報を、例えばエントロピー復号ユニット３０４から（明示的に又は暗示的に）受信し又は取得するよう構成される。
【0106】
ビデオスライスがイントラ符号化（intra coded(Ｉ)）スライスとして符号化されるとき、予測処理ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モード及び現在フレーム又はピクチャの前に復号されたブロックからのデータに基づき、現在ビデオスライスのピクチャブロックについて予測ブロック３６５を生成するよう構成される。ビデオフレームがインター符号化（つまり、Ｂ又はＰ）スライスとして符号化されるとき、予測処理ユニット３６０のインター予測ユニット３４４（例えば動き補償ユニット）は、動きベクトル及びエントロピー復号ユニット３０４から受信した他のシンタックス要素に基づき、現在ビデオスライスのビデオブロックについて予測ブロック３６５を生成するよう構成される。インター予測では、予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成されてよい。ビデオデコーダ３０は、ＤＰＢ３３０に格納された参照ピクチャに基づき、規定構成技術を用いて、参照フレームリスト、リスト０及びリスト１、を構成してよい。
【0107】
予測処理ユニット３６０は、動きベクトル及び他のシンタックス要素をパースすることにより、現在ビデオスライスのビデオブロックについて予測情報を決定し、予測情報を使用して、復号中の現在ビデオブロックについて予測ブロックを生成するよう構成される。例えば、予測処理ユニット３６０は、受信したシンタックス要素のうちの幾つかを使用して、ビデオスライスのビデオブロックを符号化するために使用される予測モード（例えば、イントラ又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの参照ピクチャリストのうちの１つ以上の構成情報、スライスの各インター符号化ビデオブロックの動きベクトル、スライスの各インター符号化ビデオブロックのインター予測状態、及び現在ビデオスライス内のビデオブロックを復号するための他の情報を決定する。
【0108】
逆量子化ユニット３１０は、ビットストリーム内で提供され、エントロピー復号ユニット３０４により復号された量子化された変換係数を逆量子化、つまり量子化解除するよう構成される。逆量子化処理は、ビデオスライス内の各ビデオブロックに対して、ビデオエンコーダ１００により計算された量子化パラメータを使用して、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定することを含んでよい。
【0109】
逆変換処理ユニット３１２は、ピクセルドメインにおいて残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に類似する逆変換処理を、変換係数に適用するよう構成される。
【0110】
再構成ユニット３１４（例えば、加算器３１４）は、逆変換ブロック３１３（つまり再構成された残差ブロック３１３）を予測ブロック３６５に加算して、例えば再構成された残差ブロック３１３のサンプル値と予測ブロック３６５のサンプル値とを加算することにより、サンプルドメイン内の再構成ブロック３１５を取得するよう構成される。
【0111】
ループフィルタユニット３２０（符号化ループ内にある又は符号化ループの後にある）は、再構成されたブロック３１５をフィルタリングして、フィルタリング済みブロック３２１を取得するよう、例えばピクセル遷移を円滑化するよう或いはビデオ品質を向上するよう構成される。一例では、ループフィルタユニット３２０は、後述するフィルタリング技術の任意の組み合わせを実行するよう構成されてよい。ループフィルタユニット３２０は、逆ブロッキングフィルタ、サンプル適応オフセット（sample－adaptive offset (SAO)）フィルタ又は他のフィルタ、例えばバイラテラルフィルタ又は適応ループフィルタ（adaptive loop filter (ALF)）又は先鋭化若しくは円滑化フィルタ又は共同フィルタのような１つ以上のループフィルタを表すことを意図する。ループフィルタユニット３２０はループフィルタ内にあるとして図３に示されるが、他の構成では、ループフィルタユニット３２０は後置きループフィルタとして実装されてよい。
【0112】
所与のフレーム又はピクチャ内の復号ビデオブロック３２１は、次に、後の動き補償のために使用される参照ピクチャを格納する復号ピクチャバッファ３３０に格納される。
【0113】
デコーダ３０は、ユーザへの提示又は閲覧のために、復号ピクチャ３３１を、例えば出力３３２を介して出力するよう構成される。
【0114】
ビデオデコーダ３０の他の変形は、圧縮ビットストリームを復号するために使用され得る。例えば、デコーダ３０は、ループフィルタリングユニット３２０を有しないで、出力ビデオストリームを生成できる。例えば、非変換に基づくデコーダ３０は、逆変換処理ユニット３１２を有しないで、特定のブロック又はフレームについて、残差信号を直接逆量子化できる。別の実装では、ビデオデコーダ３０は、結合されて単一のユニットになった、逆量子化ユニット３１０及び逆変換処理ユニット３１２を有し得る。
【0115】
図４Ａ及び４Ｂに示すように、ＪＥＭの最新バージョンは、スキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。ＨＥＶＣ及びＶＶＣは、２つの隣接参照サンプルの間の線形補間を使用する。ＪＥＭは、より高度な４タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主な参照辺の選択についての決定と調和させられる。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主な参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主な辺参照は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが８サンプル以下である場合、キュービック補間４タップが適用される。その他の場合、補間フィルタは４タップガウスフィルタである。
【0116】
図４Ａは、例えばＶＶＣのために提案されているような６７個のイントラ予測モードの例を示す。６７個のイントラ予測モードのうちの複数のイントラ予測は、平面モード（インデックス０）、ＤＣモード（インデックス１）、及びインデックス２～６６を有する角度モードを含む。ここで、図４Ａの左下の角度モードはインデックス２を表し、インデックスの番号付けは、インデックス６６が図４Ａの最も右上の角度モードになるまでインクリメントされる。図４Ｂに示すように、ＶＶＣの最新バージョンは、広角方向（破線として示される）を含むスキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。
【0117】
ＪＥＭで使用される特定のフィルタ係数は表１に示される。予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表１から選択された係数による畳み込みにより、以下のように計算される。
【0118】
【数1】
【0119】
この式で、「＞＞」はビット毎の右シフト演算を示す。
【0120】
キュービックフィルタが選択された場合、予測サンプルは、ＳＰＳで定義される又は選択されたコンポーネントのビット深さから導出される許容値範囲に更にクリッピングされる。
［表１］イントラ予測補間フィルタ
［表１］イントラ予測補間フィルタ
【表1】
【0121】
動き補償処理も、参照ブロックのピクセルの変位が分数であるとき、サンプル値を予測するためにフィルタリングを利用する。ＪＥＭでは、輝度成分に対して８タップフィルタリングが使用され、色度成分について４タップ長フィルタリングが使用される。動き補間フィルタは、先ず水平方向に適用され、水平フィルタリングの出力は更に垂直方向にフィルタリングされる。４タップ色度フィルタの係数は、表２に示される。
［表２］色度動き補間フィルタ係数
［表２］色度動き補間フィルタ係数
【表2】
【0122】
従来のビデオ符号化ソリューションは、イントラ及びインター予測で異なる補間フィルタを使用する。特に、図５～１１は、補間フィルタの異なる例を示す。例えば、図５は、ＪＥＭで使用される補間フィルタを示し、図６は、コアエクスペリメント（Core Experiment）ＣＥ３－３．１．３（ＪＶＥＴ－Ｋ１０２３）のために提案された補間フィルタを示す。
【0123】
ピクセル値を補間する色度動き補償サブペルフィルタのルックアップテーブル及びハードウェアモジュールは、それらが参照サンプルの間の分数位置に含まれる場合、イントラ予測器の中で再利用されてよい。インター及びイントラ予測の両方に同じハードウェアが使用されることが意図されるので、フィルタ係数の精度は一致すべきである。つまり、イントラ参照サンプル補間のフィルタ係数を表すビット数は、サブペル動き補償補間フィルタリングの係数精度と揃えられるべきである。
【0124】
図１２は、提案された発明の実施形態を示す。破線の「色度のための６ビット係数を有する４タップ補間フィルタ」（更に「統一イントラ／インターフィルタ」と呼ばれる）は、両方の処理、イントラ及びインター予測サンプルの補間のために使用されてよい。
【0125】
この設計を利用する特定の実施形態は図１３に示される。この実装では、フィルタリングモジュールは、動き補償における色度サンプルの予測と、イントラ予測を実行するときの輝度及び色度サンプルの予測と、の両方に従事する別個のユニットとして実装されている。この実装では、ハードウェアフィルタリング部分は、イントラ及びインター予測処理の両方で使用されている。
【0126】
別の実施形態は、フィルタ係数のＬＵＴのみが再利用されるときの実装を示す（図１４を参照）。この実装では、ハードウェアフィルタリングモジュールは、ＲＯＭに格納されたＬＵＴから係数をロードする。イントラ予測処理の中に示されるスイッチは、イントラ予測処理のために選択された主な辺の長さに依存して、使用されるフィルタタイプを決定する。
【0127】
提案された用途の実用的な実施形態は、以下の係数を使用してよい（表３Ａ及び表３Ｂを参照）。
【0128】
［表３Ａ］イントラ及びインター補間フィルタ
［表３Ｂ］イントラ及びインター補間フィルタ
【表3】
【表4】
【0129】
イントラ予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表３Ａ又は表３Ｂから選択された係数による畳み込みにより、以下のように計算される。
【数2】
【0130】
この式で、「＞＞」はビット毎の右シフト演算を示す。
【0131】
「統一イントラ／インターフィルタ」フィルタが選択された場合、予測サンプルは、ＳＰＳで定義される又は選択されたコンポーネントのビット深さから導出される許容値範囲に更にクリッピングされる。
【0132】
イントラ参照サンプル補間及びサブペル動き補償補間に対して、同じフィルタが使用でき、ハードウェアモジュールを再利用し、及び必要なメモリの合計サイズを削減する。
【0133】
再利用されるフィルタに加えて、イントラ参照サンプル補間のために使用されるフィルタ係数の精度は、上述の再利用されるフィルタの係数の精度と揃えられるべきである。
【0134】
動き補償におけるルマ処理は、必ずしも８タップフィルタリングを使用せず、４タップフィルタリング上でも動作してよい。この場合、４タップフィルタは統一されるために選択され得る。
【0135】
実施形態は、補間を含み得るイントラ予測処理の異なる部分において適用されてよい。特に、主な参照サンプルを拡張するとき、辺の参照サンプルは、統一補間フィルタを用いてフィルタリングされてもよい（詳細についてはＪＶＥＴ－Ｋ０２１１を参照）。
【0136】
イントラブロック複製演算も、提案される発明を使用してよい補間ステップを含む（イントラブロック複製の説明については、［Xiaozhong Xu, Shan Liu, Tzu－Der Chuang, Yu－Wen Huang, Shawmin Lei, Krishnakanth Rapaka, Chao Pang, Vadim Seregin, Ye－Kui Wang, Marta Karczewicz: Intra Block Copyin HEVC Screen Content Coding Extensions. IEEE J. Emerg. Sel. Topics Circuits Syst. ６(４): ４０９－４１９ (２０１６)］を参照）。
【0137】
イントラ予測のためのアスペクト比に依存するフィルタリングの方法が開示され、該方法は、ブロックのアスペクト比に依存して予測されるべきブロックの補間フィルタを選択するステップを含む。
【0138】
一例では、補間フィルタを選択するステップは、予測されるべきブロックのイントラ予測モードを閾値設定するための方向に依存する。
【0139】
一例では、方向は、予測されるべきブロックの主対角線の角度に対応する。
【0140】
一例では、方向の角度は以下のように計算される。
【数3】
【0141】
ここで、Ｗ，Ｈは、それぞれ予測されるべきブロックの幅及び高さである。
【0142】
一例では、アスペクト比は、
【0143】
【数4】
【0144】
一例では、予測されるべきブロックの主対角線の角度は、アスペクト比に基づき決定される。
【0145】
一例では、ブロックのイントラ予測モードの閾値は、予測されるべきブロックの主対角線の角度に基づき決定される。
【0146】
一例では、補間フィルタを選択するステップは、使用中の参照サンプルがどの辺に属するかに依存する。
【0147】
一例では、イントラ方向に対応する角度を有する直線は、ブロックを２つの領域に分割する。
【0148】
一例では、異なる領域に属する参照サンプルは、異なる補間フィルタを用いて予測される。
【0149】
一例では、フィルタは、キュービック補間フィルタ又はガウス補間フィルタを含む。
【0150】
本願の一実装形式では、フレームはピクチャと同じである。
【0151】
本願の一実装形式では、ＶＥＲ＿ＩＤＸに対応する値は５０であり、ＨＯＲ＿ＩＤＸに対応する値は１８であり、ＶＤＩＡ＿ＩＤＸに対応する値は６６であり、この値は角度モードに対応する値の中で最大値であってよく、イントラモード２に対応する値２は角度モードに対応する値の中で最小値であってよく、ＤＩＡ＿ＩＤＸに対応する値は３４である。
【0152】
本開示は、イントラモードシグナリング方式の向上を目標とする。本開示では、ビデオ復号方法及びビデオデコーダが提案される。
【0153】
本願の別の態様では、上述の復号方法を実行するよう構成される処理回路を含むデコーダが開示される。
【0154】
本願の別の態様では、上述の復号方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。
【0155】
本願の別の態様では、ビデオデータを復号するデコーダが開示される。前記デコーダは、１つ以上のプロセッサと、プロセッサに結合されプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、該プログラミングは、プロセッサにより実行されると、上述の復号方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と、を含む。
【0156】
処理回路は、ハードウェアで、又はハードウェアとソフトウェアとの組み合わせで、例えばソフトウェアプログラマブルプロセッサ等により、実装できる。
【0157】
処理回路は、ハードウェアで、又はハードウェアとソフトウェアとの組み合わせで、例えばソフトウェアプログラマブルプロセッサ等により、実装できる。
【0158】
Ｈ．２６４／ＡＶＣ及びＨＥＶＣは、イントラ予測処理で使用される前に、参照サンプルに低域通過フィルタが適用され得ることを指定する。参照サンプルフィルタを使用するか否かの決定は、イントラ予測モード及びブロックサイズにより決定される。このメカニズムは、モード依存イントラ平滑化（Mode Dependent Intra Smoothing (MDIS)）と呼ばれてよい。ＭＤＩＳに関連する複数の方法も存在する。例えば、適応型参照サンプル平滑化（Adaptive Reference Sample Smoothing (ARSS)）方法は、明示的に（つまり、フラグがビットストリームに含まれる）又は暗示的に（つまり、例えば、シグナリングオーバヘッドを削減するために、ビットストリームにフラグを入れることを回避するために、データ隠蔽が使用される）、予測サンプルがフィルタリングされるか否かをシグナリングしてよい。この場合、エンコーダは、全ての可能なイントラ予測モードについてレート歪み（Rate－Distortion (RD)）コストをテストすることにより、平滑化について決定を行ってよい。
【0159】
図４Ａ及び４Ｂに示すように、ＪＥＭ（ＪＥＭ－７．２）の最新バージョンは、スキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。ＨＥＶＣ及びＶＶＣは、２つの隣接参照サンプルの間の線形補間を使用する。ＪＥＭは、より高度な４タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主要な参照辺の選択についての決定と調和させられる。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主な参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主な辺参照は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが８サンプル以下である場合、キュービック補間４タップが適用される。その他の場合、補間フィルタは４タップガウスフィルタである。
【0160】
３２×４ブロックの場合の対角モード（４５°として示される）より小さい及び大きいモードの補間フィルタ選択の一例は、図１５に示される。
【0161】
ＶＶＣでは、４分木及び２分木の両方に基づくＱＴＢＴとして知られるパーティションメカニズムが使用される。図１６に示すように、ＱＴＢＴパーティショニングは、正方形だけでなく長方形のブロックも提供できる。勿論、ＨＥＶＣ／Ｈ．２６４規格で使用される従来の４分木に基づくパーティショニングと比べて、幾らかのシグナリングオーバヘッド及びエンコーダ側での増大する計算の複雑さは、ＱＴＢＴパーティショニングの代償である。それでもなお、ＱＴＢＴに基づくパーティショニングは、より良いセグメント化特性を有し、従って、従来の４分木より有意に高い符号化効率を実証する。
【0162】
しかしながら、ＶＶＣは、その現在の状態では、参照サンプルの両辺（左及び上の辺）に同じフィルタを適用する。ブロックが垂直方向又は水平方向に向けられているかに関わらず、参照サンプルフィルタは、両方の参照サンプルの辺について同じである。
【0163】
本文書では、用語「垂直方向に向けられたブロック」（「ブロックの垂直方向」）及び「水平方向に向けられたブロック」（「ブロックの水平方向」）は、ＱＴＢＴフレームワークにより生成された長方形ブロックに適用される。これらの用語は、図１７に示すのと同じ意味を有する。
【0164】
本開示は、ブロックの方向を考慮するために、異なる参照サンプルフィルタを選択するメカニズムを提案する。具体的には、ブロックの幅及び高さは、個別にチェックされる。従って、異なる参照サンプルフィルタは、予測されるべきブロックの異なる辺に位置する参照サンプルに適用される。
【0165】
従来技術を復習すると、補間フィルタ選択は主な参照辺選択についての決定と調和させられると説明された。これらの決定の両方は、現在、イントラ予測モードの対角（４５度）方向との比較に依存する。
【0166】
しかしながら、この設計は細長いブロックについて深刻な欠点を有することが分かる。図１８から、モード比較基準を用いて、短い辺が主な参照として選択された場合でも、依然として、予測ピクセルの大部分が、より長い辺の参照サンプルから導出されるであろうこと（破線領域として示される）が分かる。
【0167】
本開示は、補間フィルタ選択処理の間に、イントラ予測モードを閾値設定する代替方向を使用すること提案する。具体的に、方向は、予測されるべきブロックの主対角線の角度に対応する。例えば、サイズ３２×４及び４×３２のブロックでは、参照サンプルフィルタを決定するために使用される閾値モードｍＴは、図１９に示されるように定義される。
【0168】
閾値イントラ予測角度の特定の値は、次式を用いて計算され得る。
ここで、Ｗ及びＨはそれぞれブロック幅及び高さである。
【数5】
【0169】
本開示の別の実施形態は、使用されている参照サンプルがどの辺に属するかに依存して異なる補間フィルタの使用することである。この決定の一例は図２０に示される。
【0170】
イントラ方向ｍに対応する角度を有する直線は、予測ブロックを２つの領域に分割する。異なる領域に属するサンプルは、異なる補間フィルタを用いて予測される。
（ＢＭＳ１．０で定義されたイントラ予測モードのセットについて）ｍＴの例示的な値、及び対応する角度は、表４に示される。角度αは図１９～２０に示されるように与えられる。
［表４］（ＢＭＳ１．０で定義されたイントラ予測モードのセットについて）ｍＴの例示的な値
（ＢＭＳ１．０で定義されたイントラ予測モードのセットについて）ｍＴの例示的な値、及び対応する角度は、表４に示される。角度αは図１９～２０に示されるように与えられる。
［表４］（ＢＭＳ１．０で定義されたイントラ予測モードのセットについて）ｍＴの例示的な値
【表5】
【0171】
既存の技術及びソリューションと比べて、本開示は、異なる補間フィルタを用いて予測されるブロック内のサンプルを使用する。ここで、サンプルを予測するために使用される補間フィルタはブロック形状、水平又は垂直である方向、及びイントラ予測モード角度に従い選択される。
【0172】
本開示は、参照サンプルフィルタリングの段階で適用されてよい。特に、補間フィルタ選択処理について上述したのと同様のルールを用いて、参照サンプル平滑化フィルタを決定することが可能である。
【0173】
補間フィルタリングに加えて、参照サンプルフィルタリングは、また、イントラ予測器内でサンプルを予測する直前に、参照サンプルに適用できる。参照サンプルフィルタリングの後に取得されたフィルタリング済み参照サンプルは、イントラ予測モードの選択された方向に従いイントラ予測器内でそれらを対応するサンプルにコピーするため、又は更なる補間フィルタリングのために、使用できる。以下のフィルタは、このように参照サンプルに適用できる。
［表５］例示的な参照サンプルフィルタ
［表５］例示的な参照サンプルフィルタ
【表6】
【0174】
方向予測の結果は、以下を含む異なる手段により取得された予測の結果と組み合わせられ得る。
・境界平滑化、
・ＰＤＰＣ及び簡易ＰＤＰＣ。
・境界平滑化、
・ＰＤＰＣ及び簡易ＰＤＰＣ。
【0175】
境界平滑化及びＰＤＰＣの場合、予測ブロックの幾つかの第１列又は幾つかの第１行が、近隣サンプルから生成された追加予測信号と組み合わせられる。
【0176】
簡易ＰＤＰＣの特定の実装は、イントラ予測モードに依存して異なる方法で実行され得る。
【0177】
平面、ＤＣ、ＨＯＲ／ＶＥＲイントラ予測モード（図４Ａ及び図４Ｂにそれぞれ０、１、１８、５０として示される）について、以下のステップが実行される。
（ｘ，ｙ）に位置する予測サンプルＰ（ｘ，ｙ）は以下のように計算される。
ここで、Ｒｘ，－１、Ｒ－１，ｙは、現在サンプル（ｘ，ｙ）の上及び左に位置する参照サンプルを表し、Ｒ－１，－１は現在ブロックの左上角の位置する参照サンプルを表す。ＤＣモード重みは以下のように計算される。
（ｘ，ｙ）に位置する予測サンプルＰ（ｘ，ｙ）は以下のように計算される。
【数6】
【数7】
【0178】
平面モードではｗＴＬ＝０であり、一方で水平モードではｗＴＬ＝ｗＴであり、垂直モードではｗＴＬ＝ｗＬである。１個の４×４ブロックの内側の（０，０）及び（１，０）位置のＤＣモードＰＤＰＣ重み（ｗＬ，ｗＴ，ｗＴＬ）が示される。
【0179】
【0180】
図２２（ａ）は、右上対角モードに対するＰＤＰＣの拡張について、参照サンプルＲｘ，－１、Ｒ－１，ｙ、及びＲ－１，－１の定義を示す。予測サンプルｐｒｅｄ（ｘ’，ｙ’）は、予測ブロック内の（ｘ’，ｙ’）に位置する。参照サンプルＲｘ，－１の座標ｘは、ｘ＝ｘ’＋ｙ’＋１により与えられ、参照サンプルＲ－１，ｙの座標ｙは、同様にｙ＝ｘ’＋ｙ’＋１により与えられる。
右上対角モードのＰＤＰＣ重みは、
右上対角モードのＰＤＰＣ重みは、
【数8】
【0181】
同様に、図２２（ｂ）は、左下対角モードに対するＰＤＰＣの拡張について、参照サンプルＲｘ，－１、Ｒ－１，ｙ、及びＲ－１，－１の定義を示す。参照サンプルＲｘ，－１の座標ｘは、ｘ＝ｘ’＋ｙ’＋１により与えられ、参照サンプルＲ－１，ｙの座標ｙは、ｙ＝ｘ’＋ｙ’＋１により与えられる。右上対角モードのＰＤＰＣ重みは、
隣接右上対角モードの場合は、図２２（ｃ）に示される。隣接右上対角モードのＰＤＰＣ重みは、
同様に、隣接左下対角モードの場合は、図２２（ｄ）に示される。隣接左下対角モードのＰＤＰＣ重みは、
最後の２つの場合の参照サンプル座標は、角度モードイントラ予測のために既に使用された表を用いて計算される。分数参照サンプル座標が計算される場合、参照サンプルの線形補間が使用される。
【数9】
【数10】
【数11】
【0182】
しかしながら、方向イントラ予測のための入力処理として使用される近隣サンプルの処理（例えば、フィルタリング）は、ＰＤＰＣ又は簡易ＰＤＰＣの入力に渡されるものと異なってよい。例えば、方向イントラ予測は、フィルタリング済み参照サンプルを使用し、一方で、ＰＤＰＣ又は簡易ＰＤＰＣは未フィルタリングサンプルを使用し得る。特に、方向イントラ予測モードが、整数サンプルサブピクセルオフセットを有する広角モードである場合（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ、表Ｘに示され更に説明される）、参照サンプルはフィルタリングされ、一方でＰＤＰＣは未フィルタリング参照サンプルを使用し得る。
【0183】
簡易ＰＤＰＣの場合、現在の実装は図２３に示される。
【0184】
図２３で、破線ボックスは、以下のうちの１つを指定し得る。
・簡易ＰＤＰＣ処理、
・ＰＤＰＣ処理（例えば、ＪＥＭで指定される）、
・境界平滑化（例えば、ＨＥＶＣで指定される）。
イントラ予測の結果を更新するために線形結合を使用する他の方法。
・簡易ＰＤＰＣ処理、
・ＰＤＰＣ処理（例えば、ＪＥＭで指定される）、
・境界平滑化（例えば、ＨＥＶＣで指定される）。
イントラ予測の結果を更新するために線形結合を使用する他の方法。
【0185】
これらの場合の全部で、この処理は、更新ステップ、つまり、イントラ予測及び追加部分生成ステップの出力の線形結合を含む。
【0186】
特定の実装では、「参照サンプルフィルタリング＃１」及びイントラ予測のステップは、サブピクセル補間フィルタ係数を参照サンプルフィルタの係数により畳み込みすることによりマージされ得る。しかしながら、非分数変位を有するイントラ予測モードでは（ｉｎｔｒａＰｒｅｄＡｎｇｌｅが３２の倍数である場合）、図２３に示すように、この場合のフィルタリング動作は、参照サンプル毎ではなく予測サンプル毎に実行されるので、このマージは冗長である。
【0187】
図２３から、参照サンプルは、指定されたｉｎｔｒａＰｒｅｄＭｏｄｅに依存して、異なる方法でフィルタリングされ得ることが分かる。例えば、参照サンプルに適用されるフィルタについての決定は、表Ｘに従い行われ得る。表Ｘは以下の表記を用いる。
・「Ｓ」は、決定がブロックサイズに依存することを意味する。このサイズ依存性は、以下のように実行される。（ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＞＞１に等しく設定されたブロックサイズパラメータｎＴｂＳは、所定の閾値ＴＳと比較される。ｎＴｂＳ＞ＴＳの場合、「１」の値について更に説明されるのと同じ処理が適用される。或いは、ｎＴｂＳ≦ＴＳの場合、「０」の値について更に説明されるのと同じ処理が適用される。ここで、ｎＴｂＷ及びｎＴｂＨは、それぞれ予測ブロックの幅及び高さを示し、「＞＞」は右シフト演算を示す。ＴＳの値は、例えば２に設定され、又は（例えば、ＨＥＶＣのＭＤＩＳの場合に行われるように）イントラ予測モードに依存して定義され得る。
・「１」は、処理が有効にされることを意味する。参照サンプルフィルタリングの場合、「１」の値は、参照サンプルが［１ ２ １］フィルタにより処理されることを意味する。
・「０」は、処理が無効にされることを意味する。参照サンプルフィルタリングの場合、「１」の値は、参照サンプルが［１］フィルタにより処理されること、つまりフィルタリングが参照サンプルに適用されないことを意味する。
［表Ｘ］（図４Ｂに示すような）方向ｉｎｔｒａＰｒｅｄＭｏｄｅに依存する参照サンプルフィルタリングの決定
・「Ｓ」は、決定がブロックサイズに依存することを意味する。このサイズ依存性は、以下のように実行される。（ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＞＞１に等しく設定されたブロックサイズパラメータｎＴｂＳは、所定の閾値ＴＳと比較される。ｎＴｂＳ＞ＴＳの場合、「１」の値について更に説明されるのと同じ処理が適用される。或いは、ｎＴｂＳ≦ＴＳの場合、「０」の値について更に説明されるのと同じ処理が適用される。ここで、ｎＴｂＷ及びｎＴｂＨは、それぞれ予測ブロックの幅及び高さを示し、「＞＞」は右シフト演算を示す。ＴＳの値は、例えば２に設定され、又は（例えば、ＨＥＶＣのＭＤＩＳの場合に行われるように）イントラ予測モードに依存して定義され得る。
・「１」は、処理が有効にされることを意味する。参照サンプルフィルタリングの場合、「１」の値は、参照サンプルが［１ ２ １］フィルタにより処理されることを意味する。
・「０」は、処理が無効にされることを意味する。参照サンプルフィルタリングの場合、「１」の値は、参照サンプルが［１］フィルタにより処理されること、つまりフィルタリングが参照サンプルに適用されないことを意味する。
［表Ｘ］（図４Ｂに示すような）方向ｉｎｔｒａＰｒｅｄＭｏｄｅに依存する参照サンプルフィルタリングの決定
【表7】
【0188】
本発明の実施形態は、方向予測の出力及び予測ブロックの視覚的品質を向上するために使用される追加予測信号の組み合わせにより、参照サンプル処理の統一を目指す。この統一の結果、参照サンプルは１回だけ処理され、この処理の結果は、方向イントラ予測処理及び追加予測の生成の両方により再利用される（図２４を参照）。
【0189】
図２４に示す場合では、参照サンプルフィルタリングの１回のみのステップしか必要ないことが分かる。従って、フィルタリング決定は、表Ｙに従い行われる。
［表Ｙ］（図４Ｂに示すような）方向ｉｎｔｒａＰｒｅｄＭｏｄｅに依存する参照サンプルフィルタリングの決定
［表Ｙ］（図４Ｂに示すような）方向ｉｎｔｒａＰｒｅｄＭｏｄｅに依存する参照サンプルフィルタリングの決定
【表8】
【0190】
簡易ＰＤＰＣの場合の追加部分は、ＶＶＣ仕様で指定されたように実行され得る。更に、以下の表記が使用される。
Ｆｌｏｏｒ（ｘ）は、ｘ以下の最大整数である。
Ｌｏｇ２（ｘ）は、２を底とするｘの対数である。
ｉｎｔｒａＰｒｅｄＡｎｇｌｅは、表Ｘ又は表Ｙで指定された角度パラメータである。
Ａ＝Ｃ？Ｂ：Ｄは、三項代入演算であり、ここで条件Ｃが真の場合、ＡはＢに等しく設定される。或いは、条件Ｃが偽の場合、ＡはＤに等しく設定される。
ＩＮＴＲＡ＿ＰＬＡＮＡＲは、平面イントラ予測モード（）である。
ＩＮＴＲＡ＿ＤＣは、ＤＣイントラ予測モードである。
ＩＮＴＲＡ＿ＡＮＧＵＬＡＲＸＸは、方向イントラ予測モードのうちの１つであり、ここでＸＸは、図４Bに示されるその番号及び対応する方向を示す。
【数12】
Ｌｏｇ２（ｘ）は、２を底とするｘの対数である。
ｉｎｔｒａＰｒｅｄＡｎｇｌｅは、表Ｘ又は表Ｙで指定された角度パラメータである。
Ａ＝Ｃ？Ｂ：Ｄは、三項代入演算であり、ここで条件Ｃが真の場合、ＡはＢに等しく設定される。或いは、条件Ｃが偽の場合、ＡはＤに等しく設定される。
ＩＮＴＲＡ＿ＰＬＡＮＡＲは、平面イントラ予測モード（）である。
ＩＮＴＲＡ＿ＤＣは、ＤＣイントラ予測モードである。
ＩＮＴＲＡ＿ＡＮＧＵＬＡＲＸＸは、方向イントラ予測モードのうちの１つであり、ここでＸＸは、図４Bに示されるその番号及び対応する方向を示す。
【0191】
以上の表記が与えられると、簡易ＰＤＰＣのステップは以下の通り定義され得る。
この処理への入力は：
・イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・参照サンプル幅を指定する変数ｒｅｆＷ、
・参照サンプル高さを指定する変数ｒｅｆＨ、
・予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］、ここでｘ＝０．．．ｎＴｂＷ－１、ｙ＝０．．．ｎＴｂＨ－１、
・近隣サンプルｐ［ｘ］［ｙ］、ここで、ｘ＝－１、ｙ＝－１．．．ｒｅｆＨ－１、及びｘ＝０．．．ｒｅｆＷ－１、ｙ＝－１、
・現在ブロックの色成分を指定する変数ｃＩｄｘ。
この処理の出力は、変更された予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］、ここでｘ＝０．．．ｎＴｂＷ－１、ｙ＝０．．．ｎＴｂＨ－１である。
ｃＩｄｘの値に依存して、関数ｃｌｉｐ１Ｃｍｐは以下の通り設定される。
・ｃＩｄｘが０に等しい場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｙに等しく設定され、
・その他の場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｃに等しく設定される。
変数ｎＳｃａｌｅは以下に設定される：
参照サンプル配列ｍａｉｎＲｅｆ［ｘ］及びｓｉｄｅＲｅｆ［ｙ］、ここでｘ＝０．．．ｒｅｆＷ－１及びｙ＝０．．．ｒｅｆＨ－１は、以下のように導出される：
変数ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］、ｗＴ［ｙ］、ｗＬ［ｘ］、及びｗＴＬ［ｘ］［ｙ］、ここでｘ＝０．．．ｎＴｂＷ－１、ｙ＝０．．．ｎＴｂＨ－１は、以下のように導出される：
・ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＰＬＡＮＡＲ、ＩＮＴＲＡ＿ＤＣ、ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ１８、又はＩＮＴＲＡ＿ＡＮＧＵＬＡＲ５０に等しい場合、以下が適用される：
・或いは、ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２、又はＩＮＴＲＡ＿ＡＮＧＵＬＡＲ６６に等しい場合、以下が適用される：
・或いは、ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＡＮＧＵＬＡＲ１０より小さい又は等しい場合、以下の順序のステップが適用される：
１．変数ｄＸＰｏｓ［ｙ］、ｄＸＦｒａｃ［ｙ］、ｄＸＩｎｔ［ｙ］、及びｄＸ［ｘ］［ｙ］は、ｉｎｖＡｎｇｌｅを用いて以下のように導出される：
２．変数ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］、ｗＴ［ｙ］、ｗＬ［ｘ］、及びｗＴＬ［ｘ］［ｙ］は、以下のように導出される：
・或いは、ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＡＮＧＵＬＡＲ５８（図４Ｂを参照）より大きい又は等しい場合、以下の順序のステップが適用される：
１．変数ｄＹＰｏｓ［ｘ］、ｄＹＦｒａｃ［ｘ］、ｄＹＩｎｔ［ｘ］、及びｄＹ［ｘ］［ｙ］は、ｉｎｔｒａＰｒｅｄＭｏｄｅに依存して以下に指定されるようにｉｎｖＡｎｇｌｅを用いて以下のように導出される：
２．変数ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］、ｗＴ［ｙ］、ｗＬ［ｘ］、及びｗＴＬ［ｘ］［ｙ］は、以下のように導出される：
・その他の場合、ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］、ｗＴ［ｙ］、ｗＬ［ｘ］、及びｗＴＬ［ｘ］［ｙ］は、全部０に等しく設定される。変更された予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］の値、ここでｘ＝０．．．ｎＴｂＷ－１、ｙ＝０．．．ｎＴｂＨ－１、は以下のように導出される：
割り当て式１で、上述の簡易ＰＤＰＣは、線形補間の代わりに最近接近隣補間を使用してよい：
同様に、割り当て式２も、最近接近隣補間を使用し得る：
この処理への入力は：
・イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・参照サンプル幅を指定する変数ｒｅｆＷ、
・参照サンプル高さを指定する変数ｒｅｆＨ、
・予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］、ここでｘ＝０．．．ｎＴｂＷ－１、ｙ＝０．．．ｎＴｂＨ－１、
・近隣サンプルｐ［ｘ］［ｙ］、ここで、ｘ＝－１、ｙ＝－１．．．ｒｅｆＨ－１、及びｘ＝０．．．ｒｅｆＷ－１、ｙ＝－１、
・現在ブロックの色成分を指定する変数ｃＩｄｘ。
この処理の出力は、変更された予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］、ここでｘ＝０．．．ｎＴｂＷ－１、ｙ＝０．．．ｎＴｂＨ－１である。
ｃＩｄｘの値に依存して、関数ｃｌｉｐ１Ｃｍｐは以下の通り設定される。
・ｃＩｄｘが０に等しい場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｙに等しく設定され、
・その他の場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｃに等しく設定される。
変数ｎＳｃａｌｅは以下に設定される：
【数13】
【数14】
・ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＰＬＡＮＡＲ、ＩＮＴＲＡ＿ＤＣ、ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ１８、又はＩＮＴＲＡ＿ＡＮＧＵＬＡＲ５０に等しい場合、以下が適用される：
【数15】
【数16】
１．変数ｄＸＰｏｓ［ｙ］、ｄＸＦｒａｃ［ｙ］、ｄＸＩｎｔ［ｙ］、及びｄＸ［ｘ］［ｙ］は、ｉｎｖＡｎｇｌｅを用いて以下のように導出される：
【数17】
【数18】
１．変数ｄＹＰｏｓ［ｘ］、ｄＹＦｒａｃ［ｘ］、ｄＹＩｎｔ［ｘ］、及びｄＹ［ｘ］［ｙ］は、ｉｎｔｒａＰｒｅｄＭｏｄｅに依存して以下に指定されるようにｉｎｖＡｎｇｌｅを用いて以下のように導出される：
【数19】
【数20】
【数21】
【数22】
【数23】
【0192】
従って、エンコーダ及びデコーダ側の両方で、提案された方法は、入力データとして以下を使用する：
・方向イントラ予測モード（図４Ａ及び図４Ｂに示されるｐｒｅｄＭｏｄｅＩｎｔｒａとして更に示される）、
・ブロックサイズパラメータｎＴｂＳ、これは、（ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＞＞１に等しく設定され、ここで、ｎＴｂＷ及びｎＴｂＨは、それぞれ予測ブロックの幅及び高さを示し、「＞＞」は右シフト演算を示す。
・方向イントラ予測モード（図４Ａ及び図４Ｂに示されるｐｒｅｄＭｏｄｅＩｎｔｒａとして更に示される）、
・ブロックサイズパラメータｎＴｂＳ、これは、（ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＞＞１に等しく設定され、ここで、ｎＴｂＷ及びｎＴｂＨは、それぞれ予測ブロックの幅及び高さを示し、「＞＞」は右シフト演算を示す。
【0193】
以下のステップは、イントラ予測方法を実施するために実行されてよい。
ステップ１。参照サンプル、イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅ及び／又はブロック寸法（幅及び高さ）に基づき、参照サンプルフィルタリングを実行する。
ステップ２。ｉｎｔｒａＰｒｅｄＡｎｇｌｅに従い、処理済み（フィルタリング済み又は未フィルタリング参照サンプル）参照サンプル（ステップ１の結果）に基づき、方向イントラ予測を実行する。
ステップ３。ステップ２で取得された結果を、以下であり得る予測組み合わせにより更新する：
・ＰＤＰＣ、
・簡易ＰＤＰＣ。
ステップ１。参照サンプル、イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅ及び／又はブロック寸法（幅及び高さ）に基づき、参照サンプルフィルタリングを実行する。
ステップ２。ｉｎｔｒａＰｒｅｄＡｎｇｌｅに従い、処理済み（フィルタリング済み又は未フィルタリング参照サンプル）参照サンプル（ステップ１の結果）に基づき、方向イントラ予測を実行する。
ステップ３。ステップ２で取得された結果を、以下であり得る予測組み合わせにより更新する：
・ＰＤＰＣ、
・簡易ＰＤＰＣ。
【0194】
ここで、ステップ３で使用される入力参照サンプルは、整数勾配広角モード（例えば、表６及び７で指定されるように、－１４、－１２、－１０、－６、７２、７６、７８、８０）について、ステップ１で取得されステップ２で使用されたのと同じ参照サンプルである。
【0195】
参照サンプルフィルタリングは以下を含んでよい：
ｐｒｅｄＭｏｄｅＩｎｔｒａに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるべきかを決定する。これは、以下の表５にリストされたフィルタのうちの１つを適用することにより実行され得る。ＶＶＣでは、インデックス０及び１を有するフィルタが使用される。例えば、参照サンプルは、ｐｒｅｄＭｏｄｅが２、３４、又は６６に等しいとき、及びｎＴｂＳ＞２のときに、フィルタリングされる（表５のフィルタインデックス「１」が使用される）。
ｐｒｅｄＭｏｄｅＩｎｔｒａに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるべきかを決定する。これは、以下の表５にリストされたフィルタのうちの１つを適用することにより実行され得る。ＶＶＣでは、インデックス０及び１を有するフィルタが使用される。例えば、参照サンプルは、ｐｒｅｄＭｏｄｅが２、３４、又は６６に等しいとき、及びｎＴｂＳ＞２のときに、フィルタリングされる（表５のフィルタインデックス「１」が使用される）。
【0196】
上述の方法の代替的実施形態は、このステップで、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ（ＩｎｔｒａＰｒｅｄＭｏｄｅとも記述される）の代わりに、角度パラメータ（ｉｎｔｒａＰｒｅｄＡｎｇｌｅとして更に示される）を使用することである。この場合、ｉｎｔｒａＰｒｅｄＡｎｇｌｅの値が３２の倍数である場合、及びｎＴｂＳ＞２のとき、参照サンプルは、フィルタリングされる（表５のフィルタインデックス「１」が使用される）。
【0197】
提案された方法の使用を可能にするＶＣＣ仕様の変更は、簡易ＰＤＰＣを記載するセクションにおいて、「近隣サンプルｐ［ｘ］［ｙ］」を「参照サンプルｐ［ｘ］［ｙ］」で置き換えることを含んでよい。
【0198】
角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅは、５ビットに等しい分数部分の長さを有する固定点表現で予測サンプルの２つの隣接する行の間のサブピクセルオフセットを示す。このパラメータは、イントラ予測モードから導出され得、ｐｒｅｄＭｏｄｅＩｎｔｒａから導出される。ｐｒｅｄＭｏｄｅＩｎｔｒａからのｉｎｔｒａＰｒｅｄＡｎｇｌｅの例示的な導出は、例えば表８に示されるように、ＬＵＴにより定義され得る。
［表８］ｉｎｔｒａＰｒｅｄＡｎｇｌｅをｐｒｅｄＭｏｄｅＩｎｔｒａから導出するための例示的なＬＵＴ
［表８］ｉｎｔｒａＰｒｅｄＡｎｇｌｅをｐｒｅｄＭｏｄｅＩｎｔｒａから導出するための例示的なＬＵＴ
【表9】
【0199】
例えば、記載の方法に関連する開示は、該方法を実行するよう構成される対応する装置又はシステムについても当てはまる可能性があり、逆も同様であることが理解される。例えば、特定の方法のステップが記載される場合、ユニットが明示的に記載され又は図中に示されない場合でも、対応する装置は記載された方法のステップを実行するためのユニットを含んでよい。更に、本願明細書で説明される種々の例示的な態様の特徴は、特に断りのない限り、互いに結合されてよいことが理解される。
【0200】
ビデオ符号化とは、通常は、ビデオ又はビデオシーケンスを形成する、ピクチャのシーケンスの処理のことを言う。用語ピクチャ、画像又はフレームは、ビデオ符号化の分野において同義的に使用されてよく／使用され、本願においても同様である。各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされる。ピクチャの符号化／復号は、標準的に、ブロックレベルで実行される。ここで、例えば、インターフレーム予測又はイントラフレーム予測が、予測ブロックを生成するために使用され、予測ブロックを現在ブロック（現在処理されている／処理されるべきブロック）から減算し、残差ブロックを取得し、これは更に変換され量子化されて、送信されるべきデータの量を削減する（圧縮）。一方で、デコーダ側では、符号化／圧縮ブロックに逆の処理が適用されて、提示のためにブロックを再構成する。
【0201】
本発明は、以下の実施形態を更に提供する。
実施形態１。イントラ予測の方法であって、前記方法は、
参照サンプルを処理するステップと、
イントラ予測に従い、前記処理された参照サンプルに基づき、方向イントラ予測を実行するステップと、
前記処理された参照サンプルに基づき、追加予測を実行するステップと、を含む方法。
実施形態２。参照サンプルを処理する前記ステップは、参照サンプルフィルタリング又はサブピクセル補間フィルタリングを含む、実施形態１に記載の方法。
実施形態３。前記方向イントラ予測モードは、
Ａ．垂直又は水平モード、
Ｂ．４５°の倍数である角度を表す対角モード、
Ｃ．残りの方向モード、
のうちの少なくとも１つのグループに含まれる、実施形態１に記載の方法。
実施形態４。前記方向イントラ予測モードが、グループＡに属するとして分類されるとき、イントラ予測器を生成するために参照サンプルにフィルタが適用されない、実施形態３に記載の方法。
実施形態５。前記方向モードがグループＢに含まれるとき、前記選択された方向に従い、フィルタされた値をイントラ予測器にコピーするために、参照サンプルフィルタが参照サンプルに適用される（補間フィルタは適用されない）、実施形態３に記載の方法。
実施形態６。前記方向モードがグループＣに属するとして分類されるとき、選択された方向に従い、参照サンプルの間の分数又は整数位置に含まれる予測サンプルを生成するために、イントラ参照サンプル補間フィルタのみが参照サンプルに適用される（参照サンプルフィルタリングは実行されない）、実施形態３に記載の方法。
実施形態７。参照サンプル、イントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅ）、又はブロックサイズパラメータ、のうちの少なくとも１つに基づき参照サンプルフィルタリングを実行する、実施形態１～６のいずれか１つに記載の方法。
実施形態８。前記処理された参照サンプルは、フィルタリング済み参照サンプル又は未フィルタリング参照サンプルを含む、実施形態７に記載の方法。
実施形態９。前記方法は、前記ｐｒｅｄＭｏｄｅＩｎｔｒａに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定すること、を更に含む実施形態７に記載の方法。
実施形態１０。インデックス０又は１を有するフィルタが使用される、実施形態９に記載の方法。
実施形態１１。参照サンプルは、ｐｒｅｄＭｏｄｅが２、３４、又は６６に等しいとき、及びｎＴｂＳ＞２のときに、フィルタリングされる（表５のフィルタインデックス「１」が使用される）、実施形態９に記載の方法。
実施形態１２。前記方法は、前記ブロックサイズパラメータに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するステップであって、前記ブロックサイズパラメータは角度パラメータ（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）である、ステップ、を更に含む実施形態７に記載の方法。
実施形態１３。前記ｉｎｔｒａＰｒｅｄＡｎｇｌｅの値が３２の倍数であるとき、及びｎＴｂＳ＞２のとき、参照サンプルは、フィルタリングされる（表５のフィルタインデックス「１」が使用される）、実施形態１２に記載の方法。
実施形態１４。前記追加予測は、位置依存予測組み合わせ（Position－Dependent Prediction Combination (PDPC)）又は簡易ＰＤＰＣである、実施形態１～１３のいずれか１つに記載の方法。
実施形態１５。前記イントラ予測及び前記追加予測は、並列に実行される、実施形態１～１４のいずれか１つに記載の方法。
実施形態１６。前記方向イントラ予測は、整数勾配広角モード（例えば、表Ｘ及びＹで指定されたような－１４、－１２、－１０、－６、７２、７６、７８、８０）を含む、実施形態１～１５のいずれか１つに記載の方法。
実施形態１。イントラ予測の方法であって、前記方法は、
参照サンプルを処理するステップと、
イントラ予測に従い、前記処理された参照サンプルに基づき、方向イントラ予測を実行するステップと、
前記処理された参照サンプルに基づき、追加予測を実行するステップと、を含む方法。
実施形態２。参照サンプルを処理する前記ステップは、参照サンプルフィルタリング又はサブピクセル補間フィルタリングを含む、実施形態１に記載の方法。
実施形態３。前記方向イントラ予測モードは、
Ａ．垂直又は水平モード、
Ｂ．４５°の倍数である角度を表す対角モード、
Ｃ．残りの方向モード、
のうちの少なくとも１つのグループに含まれる、実施形態１に記載の方法。
実施形態４。前記方向イントラ予測モードが、グループＡに属するとして分類されるとき、イントラ予測器を生成するために参照サンプルにフィルタが適用されない、実施形態３に記載の方法。
実施形態５。前記方向モードがグループＢに含まれるとき、前記選択された方向に従い、フィルタされた値をイントラ予測器にコピーするために、参照サンプルフィルタが参照サンプルに適用される（補間フィルタは適用されない）、実施形態３に記載の方法。
実施形態６。前記方向モードがグループＣに属するとして分類されるとき、選択された方向に従い、参照サンプルの間の分数又は整数位置に含まれる予測サンプルを生成するために、イントラ参照サンプル補間フィルタのみが参照サンプルに適用される（参照サンプルフィルタリングは実行されない）、実施形態３に記載の方法。
実施形態７。参照サンプル、イントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅ）、又はブロックサイズパラメータ、のうちの少なくとも１つに基づき参照サンプルフィルタリングを実行する、実施形態１～６のいずれか１つに記載の方法。
実施形態８。前記処理された参照サンプルは、フィルタリング済み参照サンプル又は未フィルタリング参照サンプルを含む、実施形態７に記載の方法。
実施形態９。前記方法は、前記ｐｒｅｄＭｏｄｅＩｎｔｒａに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定すること、を更に含む実施形態７に記載の方法。
実施形態１０。インデックス０又は１を有するフィルタが使用される、実施形態９に記載の方法。
実施形態１１。参照サンプルは、ｐｒｅｄＭｏｄｅが２、３４、又は６６に等しいとき、及びｎＴｂＳ＞２のときに、フィルタリングされる（表５のフィルタインデックス「１」が使用される）、実施形態９に記載の方法。
実施形態１２。前記方法は、前記ブロックサイズパラメータに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するステップであって、前記ブロックサイズパラメータは角度パラメータ（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）である、ステップ、を更に含む実施形態７に記載の方法。
実施形態１３。前記ｉｎｔｒａＰｒｅｄＡｎｇｌｅの値が３２の倍数であるとき、及びｎＴｂＳ＞２のとき、参照サンプルは、フィルタリングされる（表５のフィルタインデックス「１」が使用される）、実施形態１２に記載の方法。
実施形態１４。前記追加予測は、位置依存予測組み合わせ（Position－Dependent Prediction Combination (PDPC)）又は簡易ＰＤＰＣである、実施形態１～１３のいずれか１つに記載の方法。
実施形態１５。前記イントラ予測及び前記追加予測は、並列に実行される、実施形態１～１４のいずれか１つに記載の方法。
実施形態１６。前記方向イントラ予測は、整数勾配広角モード（例えば、表Ｘ及びＹで指定されたような－１４、－１２、－１０、－６、７２、７６、７８、８０）を含む、実施形態１～１５のいずれか１つに記載の方法。
【0202】
上述の方法を実行するよう構成される処理回路を含むデコーダ又はエンコーダ。
【0203】
本開示では、上述の方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。
本開示では、ビデオデータを復号するデコーダが開示される。前記デコーダは、
１つ以上のプロセッサと、
プロセッサに結合されプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、該プログラミングは、プロセッサにより実行されると、上述の方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と、
を含む。
本開示では、ビデオデータを復号するデコーダが開示される。前記デコーダは、
１つ以上のプロセッサと、
プロセッサに結合されプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、該プログラミングは、プロセッサにより実行されると、上述の方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と、
を含む。
【0204】
図２５は、ビデオの現在ピクチャの中の現在画像ブロックのイントラ予測のための機器２５００の例示的な構造を示すブロック図である。一例では、機器２５００は、図２のイントラ予測ユニット２５４に対応してよい。別の例では、機器２５００は、図３のイントラ予測ユニット３５４に対応してよい。機器２５００は、上述の方法を実行するよう構成され、
ブロックのイントラ予測モードを取得するよう構成される取得ユニット２５０２と、
ブロックのイントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、ブロックの予測サンプルを取得するよう構成される広角予測ユニット２５０４と、
を含んでよい。
ブロックのイントラ予測モードを取得するよう構成される取得ユニット２５０２と、
ブロックのイントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、ブロックの予測サンプルを取得するよう構成される広角予測ユニット２５０４と、
を含んでよい。
【0205】
機器２５００は、ブロックのイントラ予測モードが広角モードであるかを決定するよう構成される決定ユニット（図２５に示されない）を更に含んでよい。
【0206】
図２６は、種々の実施形態を実装するために使用可能な機器１５００のブロック図である。機器１５００は、図１に示すようなソース装置１０２、又は図２に示すようなビデオエンコーダ２００、又は図１に示すような宛先装置１０４、又は図３に示すようなビデオデコーダ３００であってよい。更に、機器１５００は、記載された要素のうちの１つ以上をホスティングできる。幾つかの実施形態では、機器１５００は、スピーカ、マイクロフォン、マウス、タッチスクリーン、キーバッド、キーボード、プリンタ、ディスプレイ、等のような１つ以上の入力／出力装置を備える。機器１５００は、バスに接続された、１つ以上の中央処理ユニット（central processing unit (CPU)）１５１０、メモリ１５２０、大容量記憶１５３０、ビデオアダプタ１５４０、及び／又はＩ／Ｏインタフェース１５６０を含んでよい。バスは、メモリバス又はメモリ制御部、周辺機器バス、ビデオバス等を含む、任意の種類の幾つかのバスアーキテクチャのうちの１つ以上である。
【0207】
ＣＰＵ１５１０は、任意の種類の電子データプロセッサを有してよい。メモリ１５２０は、静的ランダムアクセスメモリ（static random access memory (SRAM)）、動的ランダムアクセスメモリ（dynamic random access memory (DRAM)）、同期ＤＲＡＭ（synchronous DRAM (SDRAM)）、読み出し専用メモリ（read－only memory (ROM)）、それらの組み合わせ、等のような任意の種類のシステムメモリであり又は有してよい。一実施形態では、メモリ１５２０は、ブートアップで使用するためのＲＯＭ、及びプログラムの実行中に使用するためのプログラム及びデータ記憶のためのＤＲＡＭを含んでよい。実施形態では、メモリ１５２０は、非一時的である。大容量記憶１５３０は、データ、プログラム、及び他の情報を格納し、データ、プログラム、及び他の情報をバスを介してアクセス可能にする任意の種類の記憶装置を含む。大容量記憶１５３０は、例えば、固体ドライブ、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、等のうちの１つ以上を含む。
【0208】
ビデオアダプタ１５４０及びＩ／Ｏインタフェース１５６０は、外部入力及び出力装置を機器１５００に接続するためのインタフェースを提供する。例えば、機器１５００は、ＳＱＬコマンドインタフェースをクライアントに提供してよい。図示のように、入力及び出力装置の例は、ビデオアダプタ１５４０に接続されたディスプレイ１５９０、及びＩ／Ｏインタフェース１５６０に接続されたマウス／キーボード／プリンタ１５７０の任意の組み合わせを含む。他の装置が機器１５００に接続されてよく、追加又はより少ないインタフェースカードが利用されてよい。例えば、シリアルインタフェースカード（図示しない）は、プリンタのためのシリアルインタフェースを提供するために使用されてよい。
【0209】
機器１５００は、イーサネットケーブル等のような有線リンク及び／又はノード又は１つ以上のネットワーク１５８０にアクセスするための無線リンクを含む１つ以上のネットワークインタフェース１５５０も含む。ネットワークインタフェース１５５０は、機器１５００がネットワーク１５８０を介して遠隔ユニットと通信することを可能にする。例えば、ネットワークインタフェース１５５０は、データベースへの通信を提供してよい。一実施形態では、機器１５００は、データ処理及び他の処理ユニットのような遠隔装置、インターネット、遠隔記憶設備、等との通信のためにローカルエリアネットワーク又は広域ネットワークに接続される。
【0210】
以下は、上述の実施形態に示されたような符号化方法及び復号方法の適用、及びそれらを使用するシステムの説明である。
【0211】
図２７は、コンテンツ配信サービスを実現するコンテンツ供給システム３１００を示すブロック図である。このコンテンツ供給システム３１００は、キャプチャ装置３１０２、端末装置３１０６を含み、及び任意的にディスプレイ３１２６を含む。キャプチャ装置３１０２は、通信リンク３１０４を介して端末装置３１０６と通信する。通信リンクは、上述の通信チャネル１３を含んでよい。通信リンク３１０４は、限定ではないが、ＷＩＦＩ、イーサネット、ケーブル、無線（３Ｇ／４Ｇ／５Ｇ）、ＵＳＢ、又はそれらの任意の種類の組み合わせ、等を含む。
【0212】
キャプチャ装置３１０２は、データを生成し、上述の実施形態で示されたような符号化方法によりデータを符号化してよい。或いは、キャプチャ装置３１０２は、データをストリーミングサーバ（図に示されない）へ配信してよく、サーバは、データを符号化し、符号化データを端末装置３１０６へ送信する。キャプチャ装置３１０２は、限定ではないが、カメラ、スマートフォン又はＰａｄ、コンピュータ又はラップトップ、ビデオ会議システム、ＰＤＡ、車載装置、又はそれらのいずれかの組み合わせ、等を含む。例えば、キャプチャ装置３１０２は、上述のようなソース装置１０２を含んでよい。データがビデオを含むとき、キャプチャ装置３１０２に含まれるビデオエンコーダ２０は、実際に、ビデオ符号化処理を実行してよい。データがオーディオ（つまり、音声）を含むとき、キャプチャ装置３１０２に含まれるオーディオエンコーダは、実際に、オーディオ符号化処理を実行してよい。幾つかの実用的なシナリオでは、キャプチャ装置３１０２は、符号化ビデオ及びオーディオデータを、それらを一緒に多重化することにより、配信する。他の実用的なシナリオでは、例えば、ビデオ会議システムで、符号化オーディオデータ及び符号化ビデオデータは、多重化されない。キャプチャ装置３１０２は、符号化オーディオデータ及び符号化ビデオデータを端末装置３１０６へ別個に配信する。
【0213】
コンテンツ供給システム３１００では、端末装置３１０は、符号化データを受信し再生する。端末装置３１０６は、上述の符号化データを復号する能力のある、スマートフォン又はＰａｄ３１０８、コンピュータ又はラップトップ３１１０、ネットワークビデオレコーダ（network video recorder (NVR)）／デジタルビデオレコーダ（digital video recorder (DVR)）３１１２、ＴＶ３１１４、セットトップボックス（set top box (STB)）３１１６、ビデオ会議システム３１１８、ビデオ監視システム３１２０、パーソナルデジタルアシスタント（personal digital assistant (PDA)）３１２２、車載装置３１２４、又はそれらの任意の組み合わせ等のような、データ受信及び復元能力を備えた装置であり得る。例えば、端末装置３１０６は、上述のような宛先装置１４を含んでよい。符号化データがビデオを含むとき、端末装置に含まれるビデオデコーダ３０は、ビデオ復号を実行するために優先される。符号化データがオーディオを含むとき、端末装置に含まれるオーディオデコーダは、オーディオ復号処理を実行するために優先される。
【0214】
ディスプレイを備える端末装置、例えば、スマートフォン、又はＰａｄ３１０８、コンピュータ又はラップトップ３１１０、ネットワークビデオレコーダ（network video recorder (NVR)）／デジタルビデオデコーダ（digital video recorder (DVR)）３１２２、ＴＶ３１１４、パーソナルデジタルアシスタント（personal digital assistant (PDA)）３１２２、又は車載装置３１２４では、端末装置は復号データを自身のディスプレイに供給できる。ディスプレイを備えない端末装置、例えばＳＴＢ３１１６、ビデオ会議システム３１１８、又はビデオ監視システム３１２０では、外部ディスプレイ３１２６は、復号データを受信し表示するために内部で連絡される。
【0215】
このシステム内の各装置が符号化又は復号を実行するとき、上述の実施形態において示されたように、ピクチャ符号化装置又はピクチャ復号装置が使用できる。
【0216】
図２８は、端末装置３１０６の例の構造を示す図である。端末装置３１０６がキャプチャ装置３１０２からストリームを受信した後に、プロトコル進行ユニット３２０２は、ストリームの送信プロトコルを分析する。プロトコルは、限定ではないが、リアルタイムストリーミングプロトコル（Real Time Streaming Protocol (RTSP)）、ハイパーテキスト転送プロトコル（Hyper Text Transfer Protocol (HTTP)）、ＨＴＴＰライブストリーミングプロトコル（HTTP Live streaming protocol (HLS)）、ＭＰＥＧ－ＤＡＳＨ、リアルタイムトランスポートプロトコル（Real－time Transport protocol (RTP)）、リアルタイムメッセージングプロトコル（Real Time Messaging Protocol (RTMP)）、又はそれらの任意の種類の組み合わせ、等を含む。
【0217】
プロトコル処理ユニット３２０２がストリームを処理した後に、ストリームファイルが生成される。ファイルは、逆多重化ユニット３２０４へと出力される。逆多重化ユニット３２０４は、多重化データを符号化オーディオデータ及び符号化ビデオデータに分離できる。上述のように、幾つかの実用的なシナリオでは、例えば、ビデオ会議システムで、符号化オーディオデータ及び符号化ビデオデータは、多重化されない。この状況では、符号化データは、逆多重化ユニット３２０４を通らずに、ビデオデコーダ３２０６及びオーディオデコーダ３２０８へと送信される。
【0218】
逆多重化処理により、ビデオエレメンタリストリーム（elementary stream (ES)）、オーディオＥＳ、及任意のサブタイトルが生成される。上述の実施形態において説明したようなビデオデコーダ３０を含むビデオデコーダ３２０６は、上述の実施形態において示したような復号方法によりビデオＥＳを復号して、ビデオフレームを生成し、このデータを同期ユニット３２１２に供給する。オーディオデコーダ３２０８は、オーディオＥＳを復号してオーディオフレームを生成し、このデータを同期ユニット３２１２に供給する。或いは、ビデオフレームは、同期ユニット３２１２にそれを供給する前に、バッファ（図Ｙに示されない）に格納してよい。同様に、オーディオフレームは、同期ユニット３２１２にそれを供給する前に、バッファ（図Ｙに示されない）に格納してよい。
【0219】
同期ユニット３２１２は、ビデオフレーム及びオーディオフレームを同期化し、ビデオ／オーディオをビデオ／オーディオディスプレイ３２１４に供給する。例えば、同期ユニット３２１２は、ビデオ及びオーディオ情報の提示を同期化する。情報は、符号化オーディオ及び視覚データの提示に関するタイムスタンプ、及びデータストリーム自体の配信に関するタイムスタンプを用いてシンタックス内に符号化してよい。
【0220】
サブタイトルがストリームに含まれる場合、サブタイトルデコーダ３２１０は、サブタイトルを復号し、それをビデオフレーム及びオーディオフレームと同期化させ、ビデオ／オーディオ／サブタイトルをビデオ／オーディオ／サブタイトルディスプレイ３２１６に供給する。
【0221】
本発明は、上述のシステムに限定されず、上述の実施形態におけるピクチャ符号化装置又はピクチャ復号装置のいずれも、他のシステム、例えば車両システムに組み込むことができる。
【0222】
本開示に記載された主題及び動作の実装は、デジタル電子回路で、又は本開示に開示された構造及びそれらの構造的均等物を含む、コンピュータソフトウェア、ファームウェア、又はハードウェアで、又はそれらの１つ以上の組み合わせで、実装されてよい。本開示に記載された主題の実装は、データ処理機器による実行のための、又はその動作を制御するための、コンピュータ記憶媒体上に符号化された１つ以上のコンピュータプログラム、つまり、コンピュータプログラム命令の１つ以上のモジュールとして実装されてよい。代替又は追加で、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理機器による実行のために適切な受信側機器へ伝送するために情報を符号化するために生成される、機械により生成された電気、光、又は電磁信号に符号化されてよい。コンピュータ記憶媒体、例えば、コンピュータ可読媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダム又はシリアルアクセスメモリアレイ若しくは装置、又はそれらの１つ以上の組み合わせであってよく、又はそれに含まれてよい。更に、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号内に符号化されたコンピュータプログラム命令のソース又は宛先であってよい。コンピュータ記憶媒体は、１つ以上の別個の物理及び／又は非一時的構成要素又は媒体（例えば、複数のＣＤ、ディスク、又は他の記憶装置）であってもよく、又はそれに含まれてよい。
【0223】
幾つかの実装では、本開示に記載された動作は、クラウドコンピューティングネットワーク内のサーバ上で提供されるホスティングされたサービスとして実装されてよい。例えば、コンピュータ可読記憶媒体は、論理的にグループ化され、クラウドコンピューティングネットワーク内でアクセス可能であってよい。クラウドコンピューティングネットワーク内のサーバは、クラウドに基づくサービスを提供するクラウドコンピューティングプラットフォームを含んでよい。用語「クラウド」、「クラウドコンピューティング」、及び「クラウドに基づく」は、本開示の範囲から逸脱することなく、必要に応じて同義的に使用されてよい。クラウドに基づくサービスは、クライアントコンピュータ上でローカルに実行されるアプリケーションを拡張し、補強し、又は置き換えるために、サーバにより提供されクライアントプラットフォームにネットワークに渡り配信されるホスティングされたサービスであってよい。回路はクラウドに基づくサービスを使用して、そうでなければリソースが回路に配信され得るまでに長い期間のかかる、ソフトウェアアップグレード、アプリケーション、及び他のリソースを迅速に受信してよい。
【0224】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイルされた又はインタープリットされた言語、宣言型又は手続き型言語を含む任意の形式のプログラミング言語で記述されてよく、それは、スタンドアロンプログラム又はモジュール、コンポーネント、サブルーチン、オブジェクト、又はコンピューティング環境内での使用に適する他のユニットを含む任意の形式で展開されてよい。コンピュータプログラムは、ファイルシステム内のファイルに対応してよいが、そうする必要はない。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書内に格納された１つ以上のスクリプト）を保持するファイルの一部に、対象のプログラムに専用の単一のファイルに、又は複数の連携ファイル（例えば、１つ以上モジュール、サブプログラム、又はコードの部分を格納するファイル）に、格納されてよい。コンピュータプログラムは、１つのコンピュータ上で、又は１つの場所に置かれる若しくは複数の場所に分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるよう展開されてよい。
【0225】
本開示に記載の処理及びロジックフローは、入力データに作用し及び出力を生成することにより動作を実行する１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサにより実行されてよい。特定用途論理回路、例えば、ＦＰＧＡ（field programmable gate array）又はＡＳＩＣ（application－specific integrated circuit）により、処理及びロジックフローが実行されてもよく、それとして機器が実装されてもよい。
【0226】
コンピュータプログラムの実行に適するプロセッサは、例として、汎用及び特定用途向けマイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ又はランダムアクセスメモリ又はその両者から受信する。コンピュータの基本的要素は、命令に従い動作を実行するプロセッサ、及び命令及びデータを格納する１つ以上のメモリ装置である。通常、コンピュータは、データを格納する１つ以上の大容量記憶装置、例えば、磁気、光磁気ディスク、又は光ディスク、も含み、又はそれらからデータを受信し又はそれらへデータを転送するために又はその両方のために動作可能に結合される。しかしながら、コンピュータはこのような装置を有する必要はない。更に、コンピュータは、別の装置、例えば、少数の例を挙げると、携帯電話機、パーソナルデジタルアシスタント（personal digital assistant (PDA)）、モバイルオーディオ又はビデオプレイヤ、ゲームコンソール、全地球測位システム（Global Positioning System (GPS)）受信機、又はポータブル記憶装置（例えば、ユニバーサルシリアルバス（universal serial bus (USB)）フラッシュドライブ）、に埋め込まれてよい。コンピュータプログラム命令及びデータを格納するのに適する装置は、例として半導体メモリ装置、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ，及びフラッシュメモリ装置、磁気ディスク、例えば内部ハードディスク又は取り外し可能ディスク、光磁気ディスク、及びＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む、全ての形式の不揮発性メモリ、媒体、及びメモリ装置を含む。プロセッサ及びメモリは、特定用途向け論理回路により補足され、又はその中に組み込まれてよい。
【0227】
本開示は多数の特定の実装の詳細を含むが、これらは、任意の実装の又は請求され得るものの範囲に対する限定としてではなく、むしろ、特定の実装の特定の実装に固有の特徴の説明として考えられるべきである。別個の実装の文脈で本開示に記載された特定の特徴は、単一の実装で組み合わされて実装されてもよい。反対に、単一の実装の文脈で記載された種々の特徴は、複数の実装で別個に又は任意の適切な部分的組み合わせで実装されてもよい。更に、特徴は特定の組み合わせで動作するよう上述され、当初はそのようなものとして請求されることさえあり得るが、請求される組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから切り離されてよく、請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形に向けられてよい。
【0228】
同様に、動作は、図中に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序で又はシーケンシャルな順序で実行されること、又は全ての図示の動作が実行されること、が要求されると理解されるべきではない。特定の環境では、マルチタスク及び並列処理が有利であり得る。更に、上述の実装における種々のシステムコンポーネントの分離は、そのような分離が全ての実装で要求されると理解されるべきではなく、記載されたプログラムコンポーネント及びシステムが通常、単一のソフトウェアプロダクトに一緒に統合され又は複数のソフトウェアプロダクトにパッケージされてよいことが理解されるべきである。
【0229】
上述したように、主題の特定の実装が記載された。他の実装は、以下の請求の範囲の範囲内にある。場合によっては、請求項に記載された動作は、異なる順序で実行されてもよく、それでもなお望ましい結果を達成し得る。更に、添付の図面に示された処理は、必ずしも、望ましい結果を達成するために示された特定の順序又はシーケンシャルな順序を必要としない。特定の実装では、マルチタスク及び並列処理が有利であり得る。
【0230】
幾つかの実施形態が本開示において提供されたが、開示のシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形式で実施され得ることが理解されるべきである。本発明の例は、例示的であり限定的ではないと考えられるべきであり、本願明細書に与えられた詳細事項に限定されることを意図しない。例えば、種々の要素又はコンポーネントは、組み合わされ、又は別のシステムに統合されてよく、或いは、特定の特徴は、省略され又は実施されなくてよい。
【0231】
更に、種々の実施形態において個別の又は分離していると説明され示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、又は方法と組み合わされ又は統合されてよい。互いに結合され又は直接結合され又は通信するとして示され又は議論された他のアイテムは、間接的に結合され又は、電気的、機械的、又はその他にかかわらず何らかのインタフェース、装置、又は中間コンポーネントを通じて通信してよい。変更、代用、及び改造の他の例は、当業者により確認され、本願明細書に開示した精神および範囲から逸脱することなく行われ得る。
【符号の説明】
【0232】
１２ ソース装置
１４ 宛先装置
１６ ピクチャソース
１８ 前処理
２０ エンコーダ
２２ 通信インタフェース
２８ 通信インタフェース
３０ デコーダ
３２ 後処理
３４ ディスプレイ装置
１４ 宛先装置
１６ ピクチャソース
１８ 前処理
２０ エンコーダ
２２ 通信インタフェース
２８ 通信インタフェース
３０ デコーダ
３２ 後処理
３４ ディスプレイ装置
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】