IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・アメリカ・エルエルシーの特許一覧

特開2024-10223ビデオ復号化方法、ビデオ復号化装置、コンピュータ・プログラム及びビデオ符号化方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024010223
(43)【公開日】2024-01-23
(54)【発明の名称】ビデオ復号化方法、ビデオ復号化装置、コンピュータ・プログラム及びビデオ符号化方法
(51)【国際特許分類】
   H04N 19/70 20140101AFI20240116BHJP
   H04N 19/52 20140101ALI20240116BHJP
   H04N 19/119 20140101ALI20240116BHJP
【FI】
H04N19/70
H04N19/52
H04N19/119
【審査請求】有
【請求項の数】1
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023191919
(22)【出願日】2023-11-10
(62)【分割の表示】P 2021527045の分割
【原出願日】2019-12-04
(31)【優先権主張番号】62/778,832
(32)【優先日】2018-12-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/425,404
(32)【優先日】2019-05-29
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シュイ,モン
(72)【発明者】
【氏名】リ,シアン
(72)【発明者】
【氏名】リィウ,シャン
(57)【要約】      (修正有)
【課題】デコーダにおけるビデオ復号化のための方法及びデコーダにおけるビデオ復号化のための方法を提供する。
【解決手段】ビデオ復号化装置は、処理回路を含み、三角予測モードで符号化される符号化ブロックに関連する分割方向シンタックス要素、第1インデックス・シンタックス要素及び第2インデックス・シンタックス要素を受信する。符号化ブロックは、分割方向シンタックス要素によって示される分割方向に従って、2つの三角予測ユニットに区分される。第1インデックス・シンタックス要素及び第2インデックス・シンタックス要素はそれぞれ、2つの三角予測ユニットのために構成されるマージ候補リストに対する第1マージ・インデックス及び第2マージ・インデックスを示す。符号化ブロックはまた、分割方向、第1マージ・インデックス及び第2マージ・インデックスに従って再構成される。
【選択図】図15
【特許請求の範囲】
【請求項1】
デコーダにおけるビデオ復号化のための方法であって、
ピクチャの符号化ブロックに関連する分割方向シンタックス要素、第1インデックス・シンタックス要素、及び第2インデックス・シンタックス要素を受信するステップであって、前記符号化ブロックは、三角予測モードで符号化され、前記分割方向シンタックス要素によって示される分割方向に従って、第1三角予測ユニット及び第2三角予測ユニットに区分され、前記第1及び第2インデックス・シンタックス要素はそれぞれ、前記第1及び第2三角予測ユニットのために構成されるマージ候補リストに対する第1マージ・インデックス及び第2マージ・インデックスを示す、ステップと、
前記分割方向シンタックス要素、前記第1インデックス・シンタックス要素、及び前記第2インデックス・シンタックス要素に基づいて、前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップと、
決定された前記分割方向、決定された前記第1マージ・インデックス、及び決定された前記第2マージ・インデックスに従って、前記符号化ブロックを再構成するステップと
を含む方法。
【発明の詳細な説明】
【背景技術】
【0001】
本開示は、2019年5月29日付で出願された米国出願第16/425,404号「ビデオ符号化のための方法及び装置」に対する優先権を主張しており、その出願は2018年12月12日付で出願された米国仮出願第62/778,832号「三角予測パラメータのためのシグナリング及び導出」に対する優先権を主張している。
【0002】
技術分野
本開示は一般的にビデオ符号化に関連する実施形態を説明している。
【0003】
背景
本願で行われる背景の説明は、本開示の状況を一般的に提示するためのものである。目下明示されている発明者の仕事は、この背景のセクションにおいて及び出願時における先行技術としての地位を与えられない可能性がある説明の態様において、その仕事が説明されている範囲で、本開示に対する先行技術として明示的にも黙示的にも認められていない。
【0004】
ビデオ符号化及び復号化は、動き補償とともにインター・ピクチャ予測を利用して実行することが可能である。圧縮されていないデジタル・ビデオは、一連のピクチャを含むことが可能であり、各ピクチャは、例えば1920×1080のルミナンス・サンプル及び関連するクロミナンス・サンプルの空間次元を有する。この一連のピクチャは、例えば1秒間に60枚のピクチャ又は60Hzの固定又は可変のピクチャ・レート(非公式にはフレーム・レートとして知られている)を有することが可能である。圧縮されていないビデオは、かなりのビットレート要件を有する。例えば、サンプル当たり8ビットの1080p60 4:2:0のビデオ(60Hzのフレーム・レートでの1920x1080のルミナンス・サンプル解像度)は、1.5Gbit/sもの帯域幅に近づく必要がある。このようなビデオの1時間は、ストレージ空間のうちの600GB以上を必要とする。
【0005】
ビデオ符号化及び復号化の目的の1つは、入力ビデオ信号における冗長性を圧縮により低減できることである。圧縮は、上記の帯域幅又はストレージ空間の要件を、幾つかのケースでは2桁以上の大きさで、低減することを支援することが可能である。ロスレス及びロスレスでない圧縮の双方、並びに両者の組み合わせを利用することが可能である。ロスレス圧縮は、元の信号の正確なコピーが、圧縮された元の信号から再構築されることが可能である、という技術を指す。ロスレスでない圧縮を使用する場合、再構築された信号は、元の信号と同一ではないかもしれないが、元の信号と再構築された信号との間の歪は、再構築された信号を、意図されるアプリケーションに対して有用にすることができる程度に十分に小さい。ビデオの場合、ロスレスでない圧縮が広く使用されている。許容される歪の量は、アプリケーションに依存し、例えば、あるコンシューマ・ストリーミング・アプリケーションのユーザーは、テレビ配信アプリケーションのユーザーよりも高い歪を許容するかもしれない。達成可能な圧縮比は、より高い許容可能な/耐え得る歪は、より高い圧縮比をもたらすことが可能である、ということを反映することができる。
【0006】
動き補償は、ロスレスでない圧縮技術である可能性があり、また、動きベクトル(以後、MVという)で示される方向に空間的にシフトした後に、以前に再構成されたピクチャ又はその一部(参照ピクチャ)からのサンプル・データのブロックが、新たに再構成されるピクチャ又はピクチャの一部分の予測に使用される技術に関連する可能性がある。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じであるとすることが可能である。MVは、2次元X及びY、又は3次元を有することが可能であり、3番目は、使用中の参照ピクチャの指示である(後者は、間接的に、時間次元であり得る)。
【0007】
幾つかのビデオ圧縮技術では、サンプル・データの特定の領域に適用可能なMVは、他のMVから、例えば復元中のエリアに空間的に隣接し、復号化の順番でそのMVに先行するサンプル・データの別のエリアに関連するものから、予測されることが可能である。このようにすることは、MVの符号化に必要なデータ量を大幅に削減することが可能であり、それによって冗長性を除去し、圧縮を向上させることができる。MV予測は、例えば、カメラ(ナチュラル・ビデオとして知られる)から導出された入力ビデオ信号を符号化する際に、単一のMVが適用可能なエリアよりも大きなエリアが同様な方向に移動する統計的な可能性があり、従って、あるケースでは、隣接するエリアのMVから導出される同様な動きベクトルを用いて予測されることが可能であるので、効果的に働くことが可能である。その結果、所与のエリアに対して見出されるMVは、周囲のMVから予測されるMVと類似又は同一であり、それは、エントロピー符号化の後に、MVを直接的に符号化する場合に使用されることになるものよりも、より少ないビット数で表現されることが可能である。場合によっては、MV予測は、元の信号(即ち、サンプル・ストリーム)から導出される信号(即ち、MV)のロスレス圧縮の例であるとすることが可能である。他のケースにおいて、例えば幾つかの周囲MVから予測子を計算する際の丸め誤差に起因して、MV予測それ自体がロスレスでない可能性がある。
【0008】
様々なMV予測メカニズムがH.265/HEVC(ITU-T Rec. H.265, "High Efficiency Video Coding", December 2016)において説明されている。H.265が提供する多くのMV予測メカニズムのうち本願では以下において「空間マージ」と呼ばれる技術が説明される。
【0009】
図1を参照すると、現在のブロック(101)は、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが動き探索プロセス中にエンコーダによって発見されたサンプルを含む。そのMVを直接的に符号化する代わりに、MVは、1つ以上の参照ピクチャに関連付けられたメタデータから、例えば、A0、A1、及びB0、B1、B2(それぞれ102ないし106)で示される5つの周辺サンプルのうちの何れかに関連付けられたMVを使用して、(復号順に)最新の参照ピクチャから、導出されることが可能である。H.265では、MV予測は、近隣のブロックが使用しているのものと同じ参照ピクチャからの予測子を使用することが可能である。
【発明の概要】
【0010】
本開示の態様はビデオ符号化/復号化のための方法及び装置を提供する。幾つかの例において、ビデオ復号化のための装置は処理回路を含む。処理回路は、ピクチャの符号化ブロックに関連する分割方向シンタックス要素、第1インデックス・シンタックス要素、及び第2インデックス・シンタックス要素を受信するように構成されることが可能である。符号化ブロックは三角予測モードにより符号化されることが可能である。符号化ブロックは、分割方向シンタックス要素によって示される分割方向に従って、第1三角予測ユニット及び第2三角予測ユニットに区分されることが可能である。第1及び第2インデックス・シンタックス要素はそれぞれ、第1及び第2三角予測ユニットのために構成されるマージ候補リストに対する第1マージ・インデックス及び第2マージ・インデックスを示すことが可能である。分割方向、第1マージ・インデックス、及び第2マージ・インデックスは、分割方向シンタックス要素、第1インデックス・シンタックス要素、及び第2インデックス・シンタックス要素に基づいて決定されることが可能である。決定された分割方向、決定された第1マージ・インデックス、及び決定された第2マージ・インデックスに従って、符号化ブロックを再構成することが可能である。
【0011】
本開示の態様はまた、ビデオ復号化のためにコンピュータによって実行される場合に、ビデオ復号化方法をコンピュータに実行させる命令を記憶する非一時的なコンピュータ読み取り可能な媒体を提供する。
【図面の簡単な説明】
【0012】
開示される対象事項の更なる特徴、性質、及び種々の利点は、以下の詳細な説明及び添付図面から更に明らかになるであろう。
【0013】
図1】一例における現在のブロックとその周辺の空間的なマージ候補の概略図である。
【0014】
図2】実施形態による通信システム(200)の簡略化されたブロック図の概略図である。
【0015】
図3】実施形態による通信システム(300)の簡略化されたブロック図の概略図である。
【0016】
図4】実施形態によるデコーダの簡略化されたブロック図の概略図である。
【0017】
図5】実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【0018】
図6】他の実施形態によるエンコーダのブロック図を示す。
【0019】
図7】他の実施形態によるデコーダのブロック図を示す。
【0020】
図8】実施形態によるマージ候補リストを構成するための候補位置の例を示す。
【0021】
図9】実施形態に従って符号化ユニットを2つの三角予測ユニットに区分する例を示す。
【0022】
図10】実施形態によるマージ候補リストを構築するために使用される空間的及び時間的な近隣のブロックの例を示す。
【0023】
図11】実施形態に従って分割方向及びパーティション動き情報を三角パーティション・インデックスに基づいて導出するために使用されるルックアップ・テーブルの例を示す。
【0024】
図12】実施形態による適応混合プロセスにおいて重み付け因子のセットを適用する符号化ユニットの例を示す。
【0025】
図13】実施形態による三角予測モードにおける動きベクトル・ストレージの例を示す。
【0026】
図14A】実施形態に従って双方向予測動きベクトルを2つの三角予測ユニットの動きベクトルに基づいて導出する例を示す。
図14B】実施形態に従って双方向予測動きベクトルを2つの三角予測ユニットの動きベクトルに基づいて導出する例を示す。
図14C】実施形態に従って双方向予測動きベクトルを2つの三角予測ユニットの動きベクトルに基づいて導出する例を示す。
図14D】実施形態に従って双方向予測動きベクトルを2つの三角予測ユニットの動きベクトルに基づいて導出する例を示す。
【0027】
図15】一部の実施形態による三角予測プロセスの一例を示す。
【0028】
図16】実施形態によるコンピュータ・システムの概略図である。
【発明を実施するための形態】
【0029】
I.ビデオ符号化エンコーダ及びデコーダ
図2は、本開示の実施形態による通信システム(200)の簡略化されたブロック図を示す。通信システム(200)は、例えばネットワーク(250)を介して互いに通信することが可能な複数の端末デバイスを含む。例えば、通信システム(200)は、ネットワーク(250)を介して相互接続された第1ペアの端末デバイス(210)及び(220)を含む。図2の例では、第1ペアの端末デバイス(210)及び(220)は、データの一方向伝送を実行する。例えば、端末デバイス(210)は、ネットワーク(250)を介する他の端末デバイス(220)への伝送のために、ビデオ・データ(例えば、端末デバイス(210)によって捕捉されるビデオ・ピクチャのストリーム)を符号化することができる。符号化されたビデオ・データは、1つ以上の符号化されたビデオ・ビットストリームの形態で送信されることが可能である。端末デバイス(220)は、符号化されたビデオ・データをネットワーク(250)から受信し、符号化されたビデオ・データを復号化してビデオ・ピクチャを復元し、復元されたビデオ・データに従ってビデオ・ピクチャを表示することができる。一方向データ伝送は、媒体サービング・アプリケーション等において一般的であり得る。
【0030】
別の例では、通信システム(200)は、例えば、テレビ会議中に発生する可能性がある符号化されたビデオ・データの双方向伝送を行う第2ペアの端末デバイス(230)及び(240)を含む。データの双方向伝送のために、例えば端末デバイス(230)及び(240)の各端末デバイスは、端末デバイス(230)及び(240)のネットワーク(250)を介する他方の端末デバイスへの伝送のために、ビデオ・データ(例えば、端末デバイスによって捕捉されるビデオ・ピクチャのストリーム)を符号化することができる。端末デバイス(230)及び(240)の各端末デバイスは、端末デバイス(230)及び(240)のうちの他方の端末デバイスによって送信された符号化ビデオ・データを受信し、符号化ビデオ・データを復号してビデオ・ピクチャを復元し、復元されたビデオ・データに従って、アクセス可能なディスプレイ・デバイスでビデオ・ピクチャを表示することができる。
【0031】
図2の例において、端末デバイス(210)、(220)、(230)、(240)は、サーバー、パーソナル・コンピュータ、スマートフォンとして説明されてもよいが、本開示の原理はそのようには限定されない可能性がある。本開示の実施形態は、ラップトップ・コンピュータ、タブレット・コンピュータ、メディア・プレーヤ、及び/又は専用のビデオ会議設備に対するアプリケーションを見出す。ネットワーク(250)は、例えば有線(配線された)及び/又は無線の通信ネットワークを含む、端末デバイス(210)、(220)、(230)及び(240)の間で符号化ビデオ・データを運ぶ任意の数のネットワークを表す。通信ネットワーク(250)は、回線交換及び/又はパケット交換のチャネルでデータを交換することができる。代表的なネットワークは、テレコミュニケーション・ネットワーク、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク及び/又はインターネットを含む。本開示の目的のために、ネットワーク(250)のアーキテクチャ及びトポロジーは、以下において説明しない限り、本開示の動作に対して重要ではない可能性がある。
【0032】
図3は、開示される対象事項の適用例として、ストリーミング環境におけるビデオ・エンコーダ及びビデオ・デコーダの配置を示す。開示される対象事項は、例えば、ビデオ会議、デジタルTV、そしてCD、DVD、メモリ・スティック等を含むデジタル・メディアにおける圧縮ビデオの記憶などを含む、他のビデオ対応アプリケーションにも同様に適用されることが可能である。
【0033】
ストリーミング・システムは、キャプチャ・サブシステム(313)を含んでもよく、キャプチャ・サブシステム(313)は、ビデオ・ソース(301)、例えばデジタル・カメラを、例えば非圧縮のビデオ・ピクチャ(302)のストリームを生成するために含むことが可能である。一例において、ビデオ・ピクチャのストリーム(302)は、デジタル・カメラによって撮影されるサンプルを含む。符号化されたビデオ・データ(304)(又は符号化されたビデオ・ビットストリーム)と比較した場合に、多くのデータ量を強調する太い線として描かれるビデオ・ピクチャのストリーム(302)は、ビデオ・ソース(301)に結合されたビデオ・エンコーダ(303)を含む電子デバイス(320)によって処理されることが可能である。ビデオ・エンコーダ(303)は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことが可能であり、以下においてより詳細に説明されるように、開示される対象事項の態様を動作可能にする又は実現する。符号化されたビデオ・データ(304)(又は符号化されたビデオ・ビットストリーム(304))は、ビデオ・ピクチャ(302)のストリームと比較して、より少ないデータ量を強調するために細い線として描かれ、将来の使用のためにストリーミング・サーバー(305)に記憶されることが可能である。図3のクライアント・サブシステム(306)及び(308)のような1つ以上のストリーミング・クライアント・サブシステムは、ストリーミング・サーバー(305)にアクセスして、符号化されたビデオ・データ(304)のコピー(307)及び(309)を取り出すことが可能である。クライアント・サブシステム(306)は、例えば電子デバイス(330)内にビデオ・デコーダ(310)を含むことが可能である。ビデオ・デコーダ(310)は、符号化されたビデオ・データの入力コピー(307)を復号化し、ディスプレイ(312)(例えばディスプレイ・スクリーン)又は他のレンダリング・デバイス(図示せず)でレンダリングすることが可能なビデオ・ピクチャの出力ストリーム(311)を生成する。幾つかのストリーミング・システムにおいて、符号化されたビデオ・データ(304)、(307)、及び(309)(例えば、ビデオ・ビットストリーム)は、特定のビデオ符号化/圧縮規格に従って符号化されることが可能である。これらの規格の例は、ITU-T勧告H.265を含む。例えば、発展しつつ或るビデオ符号化規格は、非公式に、汎用ビデオ符号化(VVC)として知られている。開示される対象事項は、VVCの状況で使用されことが可能である。
【0034】
電子デバイス(320)及び(330)は、他のコンポーネント(図示せず)を含むことが可能であることに留意されたい。例えば、電子デバイス(320)は、ビデオ・デコーダ(図示せず)を含むことが可能であり、電子デバイス(330)は、ビデオ・エンコーダ(図示せず)も含むことが可能である。
【0035】
図4は、本開示の実施形態によるビデオ・デコーダ(410)のブロック図を示す。ビデオ・デコーダ(410)は、電子デバイス(430)に含まれることが可能である。電子デバイス(430)は、受信機(431)(例えば、受信回路)を含むことが可能である。ビデオ・デコーダ(410)は、図3の例におけるビデオ・デコーダ(310)の代わりに使用されることが可能である。
【0036】
受信機(431)は、ビデオ・デコーダ(410)によって復号化されるべき1つ以上の符号化されたビデオ・シーケンスを、同一の又は別の実施形態では、一度に1つの符号化されたビデオ・シーケンスを受信することが可能であり、符号化されたビデオ・シーケンス各々の復号化は、他の符号化されたビデオ・シーケンスから独立している。符号化されたビデオ・シーケンスは、チャネル(401)から受信することが可能であり、このチャネルは、符号化されたビデオ・データを記憶するストレージ装置へのハードウェア/ソフトウェア・リンクであってもよい。受信機(431)は、符号化されたビデオ・データを、他のデータ、例えば符号化されたオーディオ・データ及び/又は補助的なデータ・ストリームと共に受信することが可能であり、これらのデータは、(不図示の)各エンティティを使用して転送されることが可能である。受信機(431)は、符号化されたビデオ・シーケンスを他のデータから分離することが可能である。ネットワーク・ジッタに対処するために、バッファ・メモリ(415)は、受信機(431)とエントロピー・デコーダ/パーサー(420)(以後「パーサー(420)」という)との間に結合されてもよい。特定のアプリケーションでは、バッファ・メモリ(415)はビデオ・デコーダ(410)の一部である。他の場合では、ビデオ・デコーダ(410)の外側にあることが可能である(図示せず)。更に他の例では、例えばネットワーク・ジッタに対処するために、ビデオ・デコーダ(410)の外側にあるバッファ・メモリ(図示せず)、更に、例えば再生タイミングを処理するために、ビデオ・デコーダ(410)の内側にある別のバッファ・メモリ(415)が、存在し得る。受信機(431)が、十分な帯域幅及び制御可能性を有するストア/フォワード・デバイスから、又は同期ネットワークから、データを受信している場合、バッファ・メモリ(415)は不要であるかもしれないし、或いは小さいものであるとすることが可能である。インターネットのようなベスト・エフォート・パケット・ネットワークでの使用のために、バッファ・メモリ(415)は、必要とされる可能性があり、比較的大きい可能性があり、有利なことに適応的なサイズである可能性があり、ビデオ・デコーダ(410)の外側のオペレーティング・システム又は類似の要素(図示せず)内で少なくとも部分的に実現されてもよい。
【0037】
ビデオ・デコーダ(410)は、符号化されたビデオ・シーケンスからシンボル(421)を再構成するために、パーサー(420)を含むことが可能である。これらのシンボルのカテゴリは、ビデオ・デコーダ(410)の動作を管理するために使用される情報、及び、図4に示されるような、電子装置(430)の一体化された部分ではないが、電子装置(430)に結合されることが可能なレンダリング・デバイス(412)(例えば、表示スクリーン)のようなレンダリング・デバイスを制御するための潜在的な情報を含む。レンダリング・デバイスの制御情報は、補足エンハンスメント情報(SEIメッセージ)又はビデオ・ユーザビリティ情報(VUI)パラメータ・セット・フラグメント(図示せず)の形式におけるものであってもよい。パーサー(420)は、受信される符号化ビデオ・シーケンスを構文解析/エントロピー復号化することが可能である。符号化ビデオ・シーケンスの符号化は、ビデオ符号化技術又は規格に従うことが可能であり、可変長符号化、ハフマン符号化、状況依存性の又はそうでない算術符号化などを含む種々の原理に従うことが可能である。パーサー(420)は、グループに対応する少なくとも1つのパラメータに基づいて、ビデオ・デコーダにおいて、ピクセルのサブグループのうちの少なくとも1つに対するサブグループ・パラメータのセットを、符号化ビデオ・シーケンスから抽出することが可能である。サブグループは、グループ・オブ・ピクチャ(GOP)、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット(CU)、ブロック、変換ユニット(TU)、予測ユニット(PU)等を含むことが可能である。パーサー(420)はまた、変換係数、量子化パラメータ値、動きベクトル等のような情報を符号化ビデオ・シーケンスから抽出することも可能である。
【0038】
パーサー(420)は、シンボル(421)を生成するために、バッファ・メモリ(415)から受信したビデオ・シーケンスに対してエントロピー復号化/構文解析のオペレーションを実行することができる。
【0039】
シンボル(421)の再構成は、符号化されたビデオ・ピクチャ又はその一部分のタイプ(インター・ピクチャ、イントラ・ピクチャ、インター・ブロック、イントラ・ブロック)及びその他の要因に応じて、複数の異なるユニットを含むことが可能である。どのユニットがどのように関与するかは、パーサー(420)によって符号化ビデオ・シーケンスから解析されるサブグループ制御情報によって制御されることが可能である。パーサー(420)と以降の複数ユニットとの間のこのようなサブグループ制御情報の流れは、簡明化のために描かれていない。
【0040】
既に述べた機能ブロックを超えて、ビデオ・デコーダ(410)は、以下に説明されるように複数の機能ユニットに概念的に分割されることが可能である。商業的制約の下で動作する実用的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることが可能である。しかしながら、開示される対象事項を説明する目的のために、以下の複数の機能ユニットへの概念的な細分化は妥当である。
【0041】
第1ユニットは、スケーラ/逆変換ユニット(451)である。スケーラ/逆変換ユニット(451)は、量子化された変換係数及び制御情報を、パーサー(420)からシンボル(421)として受信し、制御情報は、使用する変換、ブロック・サイズ、量子化因子、量子化スケーリング行列などを含む。スケーラ/逆変換ユニット(451)は、アグリゲータ(455)に入力されることが可能なサンプル値を含むブロックを出力することができる。
【0042】
場合によっては、スケーラ/逆変換(451)の出力サンプルは、イントラ符号化ブロック、即ち以前に再構成されたピクチャからの予測情報を使用しておらず、現在の画像のうちの以前に再構成された部分からの予測情報を使用できるブロック、に関連付けることができる。このような予測情報は、イントラ・ピクチャ予測ユニット(452)によって提供されることが可能である。場合によっては、イントラ・ピクチャ予測ユニット(452)は、現在のピクチャ・バッファ(458)から取り出された既に再構成された周囲の情報を利用して、再構成中のブロックの同じサイズ及び形状のブロックを生成する。現在のピクチャ・バッファ(458)は、例えば、部分的に再構成された現在のピクチャ及び/又は完全に再構成された現在のピクチャをバッファリングする。アグリゲータ(455)は、場合によっては、イントラ予測ユニット(452)が生成した予測情報を、スケーラ/逆変換ユニット(451)によって提供されるような出力サンプル情報に、サンプル毎に追加する。
【0043】
他の場合において、スケーラ/逆変換ユニット(451)の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関連することが可能である。このような場合、動き補償予測ユニット(453)は、予測に使用されるサンプルを取り出すために、参照ピクチャ・メモリ(457)にアクセスすることができる。ブロックに関連するシンボル(421)に従って、取り出されたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ(455)によって、スケーラ/逆変換ユニット(451)の出力(この場合、残留サンプル又は残差信号と呼ばれる)に追加され、出力サンプル情報を生成することができる。動き補償予測ユニット(453)が予測サンプルを取り出す元である参照ピクチャ・メモリ(457)内のアドレスは、動きベクトルによって制御されることが可能であり、これは例えばX、Y、及び参照ピクチャ・コンポーネントを有することが可能なシンボル(421)の形態で、動き補償予測ユニット(453)にとって利用可能である。また、動き補償は、サブ・サンプルの正確な動きベクトルが使用されている場合に参照ピクチャ・メモリ(457)から取り出されるようなサンプル値の補間、動きベクトル予測メカニズム等を含むことも可能である。
【0044】
アグリゲータ(455)の出力サンプルは、ループ・フィルタ・ユニット(456)内の様々なループ・フィルタリング技術の影響を受けることが可能である。ビデオ圧縮技術はループ内フィルタ技術を含むことが可能であり、これは、符号化ビデオ・シーケンス(符号化ビデオ・ビットストリームとも呼ばれる)に含まれるパラメータによって制御され、パーサー(420)からのシンボル(421)としてループ・フィルタユニット(456)にとって利用可能にされるが、符号化ピクチャ又は符号化ビデオ・シーケンスの(復号化順に)以前の部分の復号化の間に得られたメタ情報に応答することに加えて、以前に再構成されたループ・フィルタリングされたサンプル値にも応答することが可能である。
【0045】
ループ・フィルタ・ユニット(456)の出力は、レンダリング・デバイス(412)に出力することが可能であることに加えて、将来のインター・ピクチャ予測に使用するために参照ピクチャ・メモリ(457)に保存されることが可能なサンプル・ストリームであるとすることが可能である。
【0046】
特定の符号化されたピクチャは、いったん完全に再構成されると、将来の予測のための参照ピクチャとして使用されることが可能である。例えば、現在のピクチャに対応する符号化されたピクチャが完全に再構成され、符号化されたピクチャが参照ピクチャとして(例えば、パーサー(420)によって)識別されると、現在のピクチャ・バッファ(458)は参照ピクチャ・メモリ(457)の一部となることが可能であり、新しい現在のピクチャ・バッファは、次の符号化されたピクチャの再構成を開始する前に再指定されることが可能である。
【0047】
ビデオ・デコーダ(410)は、ITU-T Rec.H.265等の規格において、所定のビデオ圧縮技術に従って復号化動作を行うことができる。符号化ビデオ・シーケンスは、符号化ビデオ・シーケンスが、ビデオ圧縮技術又は規格のシンタックス、及びビデオ圧縮技術又は規格で文書化されているようなプロファイル、の両方に従うという意味で、使用されているビデオ圧縮技術又は規格によって指定されるシンタックスに適合することが可能である。具体的には、プロファイルは、特定のツールを、そのプロファイルの下での用途に使用可能な唯一のツールとして、ビデオ圧縮技術又は規格で使用可能なすべてのツールから選択することが可能である。また、コンプライアンスのために必要なことは、符号化されたビデオ・シーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって定義される範囲内にあることであるとすることが可能である。ある場合には、レベルは、最大ピクチャ・サイズ、最大フレーム・レート、最大再構成サンプル・レート(例えば、メガサンプル毎秒で測定される)、最大参照ピクチャ・サイズ等を制限する。レベルによって設定される限界は、場合によっては、符号化ビデオ・シーケンスでシグナリングされるHRDバッファ管理のための仮説参照デコーダ(HRD)仕様及びメタデータを通じて更に制限されることが可能である。
【0048】
実施形態において、受信機(431)は、符号化されたビデオと共に追加の(冗長的な)データを受信することができる。追加のデータは、符号化ビデオ・シーケンスの一部として含まれてもよい。追加のデータは、データを適切に復号化するため、及び/又は元のビデオ・データをより正確に再構成するために、ビデオ・デコーダ(410)によって使用されてもよい。追加のデータは、例えば、時間的、空間的、又は信号雑音比(SNR)エンハンスメント層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形態にあるとすることが可能である。
【0049】
図5は、本開示の実施形態によるビデオ・エンコーダ(503)のブロック図を示す。ビデオ・エンコーダ(503)は、電子デバイス(520)に含まれる。電子デバイス(520)は、送信機(540)(例えば、送信回路)を含む。ビデオ・エンコーダ(503)は、図3の例におけるビデオ・エンコーダ(303)の代わりに使用されることが可能である。
【0050】
ビデオ・エンコーダ(503)は、ビデオ・エンコーダ(503)によって符号化されるべきビデオ・イメージを捕捉することが可能なビデオ・ソース(501)(図5の例では電子デバイス(520)の一部ではない)から、ビデオ・サンプルを受信することができる。別の例では、ビデオ・ソース(501)は、電子デバイス(520)の一部である。
【0051】
ビデオ・ソース(501)は、任意の適切なビット深度(例えば、8ビット、10ビット、12ビット、...)、任意の色空間(例えば、BT.601 YCrCB、RGB、...)、及び任意の適切なサンプリング構造(例えば、YCrCb 4:2:0、YCrCb 4:4:4)によるものであるとすることが可能なデジタル・ビデオ・サンプル・ストリームの形態で、ビデオ・エンコーダ(503)によって符号化されるべきソース・ビデオ・シーケンスを提供することができる。メディア・サービング・システムにおいて、ビデオ・ソース(501)は、事前に準備されたビデオを記憶するストレージ装置であってもよい。ビデオ会議システムにおいては、ビデオ・ソース(501)は、ローカル画像情報をビデオ・シーケンスとして捕捉するカメラであってもよい。ビデオ・データは、連続して見た場合に動きを伝える複数の個々のピクチャとして提供されてもよい。ピクチャ自体は、ピクセルの空間アレイとして組織されることが可能であり、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、1つ以上のサンプルを含むことが可能である。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下、サンプルに焦点を当てて説明する。
【0052】
実施形態によれば、ビデオ・エンコーダ(503)は、ソース・ビデオ・シーケンスのピクチャを、リアルタイムで又はアプリケーションによって要求される他の任意の時間制約の下で、符号化されたビデオ・シーケンス(543)に、符号化して圧縮することができる。適切な符号化速度を強いることは、コントローラ(550)の機能の1つである。一部の実施形態では、コントローラ(550)は、以下に記載されるように、他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。その結合は簡明化のために描かれていない。コントローラ(550)によって設定されるパラメータは、レート制御関連パラメータ(ピクチャ・スキップ、量子化器、レート歪最適化技術のラムダ値、...)、ピクチャ・サイズ、グループ・オブ・ピクチャのレイアウト、最大動きベクトル探索レンジ等を含むことが可能である。コントローラ(550)は、特定のシステム設計のために最適化されたビデオ・エンコーダ(503)に関連する他の適切な機能を有するように構成されることが可能である。
【0053】
一部の実施態様では、ビデオ・エンコーダ(503)は符号化ループで動作するように構成される。過度に単純化された説明として、一例において、符号化ループは、ソース符号化器(530)(例えば、符号化されるべき入力ピクチャ及び参照ピクチャに基づいて、シンボル・ストリームのようなシンボルを生成する責務を有する)と、ビデオ・エンコーダ(503)に埋め込まれた(ローカル)デコーダ(533)とを含むことが可能である。デコーダ(533)は、(リモート)デコーダもまた生成する同様な方法で(シンボルと符号化ビデオ・ビットストリームとの間の任意の圧縮が、開示される対象事項において考慮されるビデオ圧縮技術においてロスレスであるような)サンプル・データを生成するために、シンボルを再構成する。再構成されたサンプル・ストリーム(サンプル・データ)は、参照ピクチャ・メモリ(534)に入力される。シンボル・ストリームの復号化は、デコーダの位置(ローカル又はリモート)に依存しないビット・パーフェクト(bit exact)な結果をもたらすので、参照ピクチャ・メモリ(534)中の内容もまた、ローカル・エンコーダとリモート・エンコーダとの間でビット・パーフェクトである。言い換えると、エンコーダの予測部分は、デコーダが復号化中に予測を使用する場合に「見る」であろうものと全く同じサンプル値を、参照ピクチャ・サンプルとして「見る」。参照ピクチャ同期のこの基本原理(及び、例えばチャネル・エラーに起因して同期が維持され得ない場合にはドリフトを生じる)は、幾つかの関連技術においても同様に使用される。
【0054】
「ローカル」デコーダ(533)の動作は、図4に関連して先に詳細に説明されているビデオ・デコーダ(410)のような「リモート」デコーダと同じであるとすることが可能である。しかしながら、図4も簡単に参照すると、シンボルが利用可能であり、エントロピー符号化器(545)及びパーサー(420)によるシンボルの符号化ビデオ・シーケンスへの符号化/復号化はロスレスであるとすることが可能であるので、バッファ・メモリ(415)及びパーサー(420)を含むビデオ・デコーダ(410)のエントロピー復号化の部分は、ローカル・デコーダ(533)において完全には実装されない場合がある。
【0055】
この時点で行われることが可能な洞察は、デコーダに存在するパーサー処理/エントロピー復号化以外の任意のデコーダ技術は、実質的に同一の機能的形態で、対応するエンコーダにも存在する必要があることである。この理由のために、開示される対象事項はデコーダの動作に焦点を当てている。エンコーダ技術の説明は、包括的に説明されるデコーダ技術の逆であるので、省略されることが可能である。特定のエリアにおいてのみ、より詳細な説明が必要とされ、以下において提供される。
【0056】
幾つかの例において、動作中にソース符号化器(530)は動き補償予測符号化を実行することが可能であり、これは、「参照ピクチャ」として指定された、ビデオ・シーケンスの中からの1つ以上の以前に符号化されたピクチャを参照して入力ピクチャを予測符号化する。このようにして、符号化エンジン(532)は、入力ピクチャのピクセル・ブロックと、入力ピクチャに対する予測リファレンスとして選択されることが可能な参照ピクチャのピクセル・ブロックとの間の差分を符号化する。
【0057】
ローカル・ビデオ・デコーダ(533)は、ソース符号化器(530)によって生成されたシンボルに基づいて、参照ピクチャとして指定されることが可能なピクチャの符号化されたビデオ・データを復号化することができる。符号化エンジン(532)の動作は有利なことにロスレスでないプロセスであってもよい。符号化されたビデオ・データがビデオ・デコーダ(図5には示されていない)で復号化される可能性がある場合、再構成されたビデオ・シーケンスは、典型的には、幾らかのエラーを伴うソース・ビデオ・シーケンスのレプリカである可能性がある。ローカル・ビデオ・デコーダ(533)は、参照ピクチャに関してビデオ・デコーダによって実行される復号化プロセスを繰り返し、再構成された参照ピクチャを参照ピクチャ・キャッシュ(534)に記憶させることができる。このようにして、ビデオ・エンコーダ(503)は、遠端のビデオ・デコーダによって得られる再構成された参照ピクチャとして(伝送エラーがない場合)、共通のコンテンツを有する再構成された参照ピクチャのコピーを、ローカルに記憶することができる。
【0058】
予測器(535)は、符号化エンジン(532)のための予測検索を実行することが可能である。即ち、符号化されるべき新たなピクチャに関し、予測器(535)は、サンプル・データ(候補参照ピクセル・ブロックとして)又は特定のメタデータ、例えば参照ピクチャ動きベクトル、ブロック形状などについて、参照ピクチャ・メモリ(534)を検索することが可能であり、これらは、新たなピクチャについての適切な予測リファレンスとして役立つ可能性がある。予測器(535)は、適切な予測リファレンスを見出すために、サンプル・ブロック・ピクセル・ブロック毎に動作することができる。場合によっては、予測器(535)によって得られる検索結果によって決定されるように、入力ピクチャは、参照ピクチャ・メモリ(534)に記憶された複数の参照ピクチャから引き出される予測リファレンスを有することが可能である。
【0059】
コントローラ(550)は、例えば、ビデオ・データを符号化するために使用されるパラメータ及びサブグループ・パラメータの設定を含む、ソース符号化器(530)の符号化動作を管理することができる。
【0060】
前述のすべての機能ユニットの出力は、エントロピー符号化器(545)においてエントロピー符号化を受ける可能性がある。エントロピー符号器(545)は、ハフマン符号化、可変長符号化、算術符号化などの技術に従って、シンボルをロスレス圧縮することによって、種々の機能ユニットにより生成されるようなシンボルを、符号化ビデオ・シーケンスに変換する。
【0061】
送信機(540)は、エントロピー符号化器(545)によって作成された符号化ビデオ・シーケンスをバッファリングし、通信チャネル(560)を介する送信の準備を行うことが可能であり、通信チャネルは符号化ビデオ・データを記憶するストレージ装置へのハードウェア/ソフトウェア・リンクである可能性がある。送信機(540)は、ビデオ・コーダ(503)からの符号化ビデオ・データを、例えば符号化されたオーディオ・データ及び/又は補助的なデータ・ストリーム(不図示のソース)等の、送信されるべき他のデータと合わせることが可能である。
【0062】
コントローラ(550)は、ビデオ・エンコーダ(503)の動作を管理することができる。符号化の間に、コントローラ(550)は、各々の符号化されたピクチャに、特定の符号化ピクチャ・タイプを割り当てることが可能であり、それは各ピクチャに適用され得る符号化技術に影響を及ぼす可能性がある。例えば、ピクチャはしばしば以下のピクチャ・タイプの1つとして指定されることがある。
【0063】
イントラ・ピクチャ(Iピクチャ)は、予測のソースとして、シーケンス内の他の何れのピクチャも使用せずに符号化及び復号化され得るものである可能性がある。幾つかのビデオ・コーデックは、例えば、独立デコーダ・リフレッシュ(「IDR」)ピクチャを含む様々なタイプのイントラ・ピクチャを許容する。当業者は、Iピクチャのこれらの変形例、並びにそれら各自の用途及び特徴を知っている。
【0064】
予測ピクチャ(Pピクチャ)は、各ブロックのサンプル値を予測するために、最大1つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を使用して符号化及び復号化され得るものである可能性がある。
【0065】
双方向予測ピクチャ(Bピクチャ)は、各ブロックのサンプル値を予測するために、最大2つの動きベクトルと参照インデックスを使用して、イントラ予測又はインター予測を使用して符号化及び復号化され得るものである可能性がある。同様に、複数の予測ピクチャは、1つのブロックの再構成のために、2つより多い参照ピクチャ及び関連するメタデータを使用することが可能である。
【0066】
ソース・ピクチャは、通常、複数のサンプル・ブロック(例えば、4×4、8×8、4×8、16×16サンプルのブロックそれぞれ)に空間的に分割され、ブロック毎に符号化されることが可能である。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定されるな、他の(既に符号化されている)ブロックを参照して予測符号化されることが可能である。例えば、Iピクチャのブロックは、非予測符号化されてもよく、或いはそれらは、同じピクチャの既に符号化されたブロックを参照して予測符号化されてもよい(空間予測またはイントラ予測)。Pピクチャのピクセル・ブロックは、以前に符号化された1つの参照ピクチャを参照して、空間的予測又は時間的予測により予測符号化されてもよい。Bピクチャのブロックは、1つ又は2つの以前に符号化された参照ピクチャを参照して、空間的予測又は時間的予測により予測符号化されてもよい。
【0067】
ビデオ・エンコーダ(503)は、ITU-T Rec.H.265等の所定のビデオ符号化技術又は規格に従って符号化動作を実行することができる。その動作において、ビデオ・エンコーダ(503)は、入力ビデオ・シーケンスにおける時間的及び空間的な冗長性を利用する予測符号化動作を含む種々の圧縮動作を実行することができる。従って、符号化されたビデオ・データは、使用されているビデオ符号化技術又は規格によって指定されるシンタックスに従うことが可能である。
【0068】
実施形態において、送信機(540)は、符号化されたビデオと共に追加のデータを送信してもよい。ソース符号化器(530)は、符号化ビデオ・シーケンスの一部としてそのようなデータを含むことができる。追加のデータは、時間的/空間的/SNRエンハンスメント層、その他の形式の冗長データ、例えば冗長ピクチャ及びスライス、SEIメッセージ、VUIパラメータ・セット・フラグメント等を含む可能性がある。
【0069】
ビデオは、時間シーケンスにおける複数のソース・ピクチャ(ビデオ・ピクチャ)として捕捉することが可能である。イントラ・ピクチャ予測(しばしば、「イントラ予測」と略される)は所与のピクチャ内の空間相関を利用し、インター・ピクチャ予測はピクチャ間の(時間的又は他の)相関を利用する。一例では、現在のピクチャとして言及される符号化/復号化の下での特定のピクチャはブロックに分割される。現在のピクチャ内のブロックが、以前に符号化され且つ依然としてバッファリングされている参照ピクチャ内の参照ブロックに類似する場合、現在のピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによって符号化されることが可能である。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用中である場合には、参照ピクチャを識別する第3の次元を有することが可能である。
【0070】
一部の実施形態では、双方向予測技術がインター・ピクチャ予測に使用されることが可能である。双方向予測技術によれば、ビデオ内の現在のピクチャに対する復号化の順序で両方とも先行している(ただし、表示順序では、それぞれ過去及び将来である可能性がある)第1参照ピクチャ及び第2参照ピクチャのような2つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第1参照ピクチャ内の第1参照ブロックを指す第1動きベクトルと、第2参照ピクチャ内の第2参照ブロックを指す第2動きベクトルとによって符号化されることが可能である。ブロックは、第1参照ブロックと第2参照ブロックとの組み合わせによって予測されることが可能である。
【0071】
更に、符号化効率を改善するために、インター・ピクチャ予測において、マージ・モード技法を使用することが可能である。
【0072】
本開示の幾つかの実施形態によれば、インター・ピクチャ予測及びイントラ・ピクチャ予測などの予測は、ブロックの単位で実行される。例えば、HEVC規格によれば、ビデオ・ピクチャのシーケンス中のピクチャは、圧縮のために符号化ツリー・ユニット(CTU)に区分され、ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、又は16×16ピクセルのような同じサイズを有する。一般に、CTUは、1つのルマCTBと2つのクロマCTBである3つの符号化ツリー・ブロック(CTB)を含む。各CTUは、1つ又は複数の符号化ユニット(CU)に再帰的に四分木で分割されることが可能である。例えば、64×64ピクセルのCTUは、64×64ピクセルの1つのCU、32×32ピクセルの4つのCU、又は16×16ピクセルの16個のCUに分割されることが可能である。一例において、各CUは、インター予測タイプ又はイントラ予測タイプのような、CUの予測タイプを決定するために分析される。CUは時間的及び/又は空間的な予測可能性に依存して1つ以上の予測ユニット(PU)に分割される。一般に、各PUはルマ予測ブロック(PB)と2つのクロマPBとを含む。実施形態では、符号化(エンコード/デコード)における予測オペレーションは、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセル等のように、ピクセルに対する値(例えば、ルミナンス値)の行列を含む。
【0073】
図6は、本開示の別の実施形態によるビデオ・エンコーダ(603)の図を示す。ビデオ・エンコーダ(603)は、ビデオ・ピクチャのシーケンスにおける現在のビデオ・ピクチャ内のサンプル値の処理ブロック(例えば、予測ブロック)を受信し、処理ブロックを、符号化ビデオ・シーケンスの一部である符号化ピクチャに符号化するように構成される。一例では、ビデオ・エンコーダ(603)は、図3の例におけるビデオ・エンコーダ(303)の代わりに使用される。
【0074】
HEVCの例では、ビデオ・エンコーダ(603)は、8×8サンプルの予測ブロック等の処理ブロックのサンプル値の行列を受信する。ビデオ・エンコーダ(603)は、イントラ・モード、インター・モード、又は双方向予測モードを使用して、例えばレート歪最適化を使用して、処理ブロックが最良に符号化されるかどうかを決定する。処理ブロックがイントラ・モードで符号化されるべきである場合、ビデオ・エンコーダ(603)は、処理ブロックを符号化ピクチャに符号化するためにイントラ予測技術を使用する可能性があり;処理ブロックがインター・モード又は双方向予測モードで符号化されるべきである場合、ビデオ・エンコーダ(603)は、処理ブロックを符号化ピクチャに符号化するために、インター予測技術又は双方向予測技術をそれぞれ使用する可能性がある。特定のビデオ符号化技術では、マージ・モードはインター・ピクチャ予測サブモードであることが可能であり、ここで、動きベクトルは、予測器外側で、符号化された動きベクトル成分の恩恵なしに、1つ以上の動きベクトル予測器から導出される。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例において、ビデオ・エンコーダ(603)は、処理ブロックのモードを決定するために、モード決定モジュール(図示せず)のような他の構成要素を含む。
【0075】
図6の例では、ビデオ・エンコーダ(603)は、インター・エンコーダ(630)、イントラ・エンコーダ(622)、残差計算器(623)、スイッチ(626)、残差エンコーダ(624)、ジェネラル・コントローラ(621)、及びエントロピー・エンコーダ(625)を含み、これらは図6に示されるように一緒に結合されている。
【0076】
インター・エンコーダ(630)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、そのブロックを、参照ピクチャ内の1つ以上の参照ブロック(例えば、以前のピクチャ及び以後のピクチャのブロック)と比較し、インター予測情報(例えば、インター符号化技術による冗長情報の記述、動きベクトル、マージ・モード情報)を生成し、インター予測情報に基づいて、任意の適切な技法を用いてインター予測結果(例えば、予測ブロック)を計算するように構成される。幾つかの例では、参照ピクチャは、符号化されたビデオ情報に基づいて復号化された復号化参照ピクチャである。
【0077】
イントラ・エンコーダ(622)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、場合によっては、そのブロックを、同じピクチャ内で既に符号化されたブロックと比較し、変換後に量子化された係数、場合によっては、イントラ予測情報(例えば、1つ以上のイントラ符号化技術によるイントラ予測方向情報)も生成するように構成される。一例では、イントラ・エンコーダ(622)はまた、同じピクチャ内のイントラ予測情報及び参照ブロックに基づいて、イントラ予測結果(例えば、予測ブロック)を計算する。
【0078】
ジェネラル・コントローラ(621)は、一般的な制御データを決定し、一般的な制御データに基づいてビデオ・エンコーダ(603)の他の構成要素を制御するように構成される。一例では、ジェネラル・コントローラ(621)は、ブロックのモードを決定し、モードに基づいてスイッチ(626)に制御信号を提供する。例えば、モードがイントラ・モードである場合に、ジェネラル・コントローラ(621)は、スイッチ(626)を制御して、残差計算器(623)で使用するためのイントラ・モード結果を選択し、エントロピー・エンコーダ(625)を制御して、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含め;及びモードがインター・モードの場合、ジェネラル・コントローラ(621)は、スイッチ(626)を制御して、残差計算器(623)で使用するためのインター予測結果を選択し、エントロピー・エンコーダ(625)を制御して、インター予測情報を選択し、インター予測情報をビットストリームに含める。
【0079】
残差計算器(623)は、受信ブロックと、イントラ・エンコーダ(622)又はインター・エンコーダ(630)から選択された予測結果との差分(残差データ)を計算するように構成される。残差エンコーダ(624)は、残差データをエンコードして変換係数を生成するために、残差データに基づいて動作するように構成される。一例では、残差エンコーダ(624)は、残差データを空間ドメインから周波数ドメインへ変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態では、ビデオ・エンコーダ(603)はまた、残差デコーダ(628)を含む。残差デコーダ(628)は、逆変換を実行し、復号化された残差データを生成するように構成される。復号化された残差データは、イントラ・エンコーダ(622)及びインター・エンコーダ(630)によって適切に使用されることが可能である。例えば、インター・エンコーダ(630)は、復号化された残差データ及びインター予測情報に基づいて、復号化されたブロックを生成することが可能であり、イントラ・エンコーダ(622)は、復号化された残差データ及びイントラ予測情報に基づいて、復号化されたブロックを生成することができる。復号化されたブロックは、復号化されたピクチャを生成するために適切に処理され、復号化されたピクチャは、メモリ回路(図示せず)内にバッファリングされ、幾つかの例では参照ピクチャとして使用されることが可能である。
【0080】
エントロピー・エンコーダ(625)は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー・エンコーダ(625)は、HEVC規格のような適切な規格に従って種々の情報を含むように構成される。一例では、エントロピー・エンコーダ(625)は、一般的な制御データ、選択された予測情報(例えば、イントラ予測情報又はインター予測情報)、残差情報、及びその他の適切な情報をビットストリームに含めるように構成される。開示される対象事項によれば、インター・モード又は双方向予測モードの何れかのマージ・サブモードでブロックを符号化する場合に、残差情報は存在しないことに留意されたい。
【0081】
図7は、本開示の別の実施形態によるビデオ・デコーダ(710)の図を示す。ビデオ・デコーダ(710)は、符号化ビデオ・シーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号して再構成されたピクチャを生成するように構成される。実施形態では、ビデオ・デコーダ(710)は、図3の例のビデオ・デコーダ(310)の代わりに使用される。
【0082】
図7の例では、ビデオ・デコーダ(710)は、エントロピー・デコーダ(771)、インター・デコーダ(780)、残差デコーダ(773)、再構成モジュール(774)、及びイントラ・デコーダ(772)を含み、これらは図7に示されるように一緒に結合されている。
【0083】
エントロピー復号器(771)は、符号化されたピクチャから、その符号化されたピクチャを構成するシンタックス要素を表す特定のシンボルを再構成するように構成されることが可能である。このようなシンボルは、例えば、ブロックが符号化されるモード(例えば、イントラ・モード、インター・モード、双方向予測モードであり、後者2つはマージ・サブモード又は別のサブモードにおけるものである)、イントラ・デコーダ(772)又はインター・デコーダ(780)によってそれぞれ予測のために使用される特定のサンプル又はメタデータを識別することが可能な予測情報(例えば、イントラ予測情報又はインター予測情報)、残差情報(例えば、量子化された変換係数の形態におけるもの)等を含むことが可能である。一例として、予測モードがインター又は双方向予測モードである場合には、インター予測情報がインター・デコーダ(780)に提供され;予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラ・デコーダ(772)に提供される。残差情報は、逆量子化を受けることが可能であり、残差デコーダ(773)に提供される。
【0084】
インター・デコーダ(780)は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0085】
イントラ・デコーダ(772)は、イントラ予測情報を受信し、イントラ予測情報に基づいてイントラ予測結果を生成するように構成される。
【0086】
残差デコーダ(773)は、非量子化された変換係数を抽出するために逆量子化を実行し、非量子化された変換係数を処理して、残差を周波数ドメインから空間ドメインへ変換するように構成される。残差デコーダ(773)はまた、特定の制御情報(量子化器パラメータ(QP)を含むため)を必要とする可能性があり、その情報は、エントロピー・デコーダ(771)によって提供される可能性がある(これは少ないボリュームの制御情報のみである可能性があるためデータ経路は描かれていない)。
【0087】
再構成モジュール(774)は、空間ドメインにおいて、残差デコーダ(773)による出力としての残差と、予測結果(状況に応じたインター又はイントラ予測モジュールによる出力としての予測結果)とを組み合わせて、再構成されたピクチャの一部となる可能性がある再構成されたブロックを形成するように構成され、次いでこれは再構成されたビデオの一部となる可能性がある。デブロッキング・オペレーション等のような他の適切なオペレーションが、視覚品質を改善するために実行されることが可能であることに留意されたい。
【0088】
なお、ビデオ・エンコーダ(303)、(503)、(603)、及びビデオ・デコーダ(310)、(410)、(710)は、任意の適切な技術を用いて実現されることが可能である。実施形態では、ビデオ・エンコーダ(303)、(503)、(603)、及びビデオ・デコーダ(310)、(410)、(710)は、1つ以上の集積回路を使用して実現されることが可能である。別の実施形態では、ビデオ・エンコーダ(303)、(503)、(503)、及びビデオ・デコーダ(310)、(410)、(710)は、ソフトウェア命令を実行する1つ以上のプロセッサを使用して実現されることが可能である。
【0089】
II.三角予測
1.マージ・モードにおける符号化
ピクチャは、例えばツリー構造に基づく分割方式を用いて、複数のブロックに区分されることが可能である。その結果生じるブロックは、イントラ予測モード、インター予測モード(例えば、マージ・モード、スキップ・モード、アドバンスト動きベクトル予測(AVMP)モード)のような様々な処理モードで処理されることが可能である。現在のブロックとして言及される現在処理されているブロックがマージ・モードで処理される場合、近隣のブロックは、現在のブロックの空間的又は時間的な近傍から選択されることが可能である。現在のブロックは、選択された近隣のブロックからの同じ動きデータ・セット(又は動き情報と呼ばれる)を共有することによって、選択された近隣のブロックとマージされることが可能である。このマージ・モード・オペレーションは、近隣のブロックの領域が一緒にマージされ、同じ動きデータ・セットを共有することができるように、近隣のブロックのグループ上で実行されることが可能である。エンコーダからデコーダへの伝送中に、動きデータのセット全体を伝送する代わりに、選択された近隣のブロックの動きデータを示すインデックスが、現在のブロックに関して伝送されることが可能である。このようにして、動き情報の伝送に使用されるデータ量(ビット)は低減されることが可能であり、符号化効率を向上させることが可能である。
【0090】
上記の例では、動きデータを提供する近隣のブロックは、候補位置のセットから選択されることが可能である。候補位置は、現在のブロックに対して予め定義されることが可能である。例えば、候補位置は、空間的な候補位置及び時間的な候補位置を含むことが可能である。各々の空間的な候補位置は、現在のブロック近隣の空間的な近隣ブロックに関連付けられる。各々の時間的な候補位置は、別の符号化ピクチャ(例えば、以前に符号化されたピクチャ)内に位置する時間的な近隣のブロックに関連付けられる。候補位置が重なる近隣のブロック(候補ブロックと呼ばれる)は、現在のブロックの空間的又は時間的な近隣のブロックのサブセットである。このようにして、候補ブロックは、近隣のブロックの集合全体の代わりに、マージされるべきブロックの選択のために評価されることが可能である。
【0091】
図8は候補位置の一例を示す。これらの候補位置から、マージ候補リストを構築するために、一組のマージ候補を選択することが可能である。例えば、図8で定義された候補位置は、HEVC規格で使用されることが可能である。図示のように、現在のブロック(810)は、マージ・モードで処理されるべきものである。候補位置のセット{A1,B1,B0,A0,B2,C0,C1}が、マージ・モード処理のために定義される。具体的には、候補位置{A1,B1,B0,A0,B2}は、現在のブロック(810)と同じピクチャ内にある候補ブロックの位置を表す空間的な候補位置である。これに対して、候補位置{C0,C1}は、別の近隣の符号化されたピクチャ内にある候補ブロックの位置を表すか、又は現在のブロック(810)の同じ位置にあるブロックと重複する時間的な候補位置である。図示されるように、候補位置C1は、現在のブロック(810)の中心の近辺に(例えば、隣接して)配置されることが可能である。
【0092】
候補位置は、サンプルのブロック又は様々な例におけるサンプルにより表現されることが可能である。図8において、各々の候補位置は、例えば4×4サンプルのサイズを有するサンプルのブロックによって表現される。候補位置に対応するサンプルのこのようなブロックのサイズは、現在のブロック(810)を生成するために使用されるツリー・ベースの分割方式に対して定義されるPBの最小許容サイズ(例えば、4x4サンプル)に等しいか、又はそれより小さい。このような構成では、候補位置に対応するブロックは、常に、単一の近隣のPB内でカバーされていることが可能である。別の例では、サンプル位置(例えば、ブロックA1内の右下サンプル、又はブロックA0内の右上サンプル)が、候補位置を表すために使用されることが可能である。このようなサンプルは代表サンプルと呼ばれる一方、このような位置は代表位置と呼ばれる。
【0093】
一例では、図8で規定される候補位置{A1,B1,B0,A0,B2,C0,C1}に基づいて、マージ・モード・プロセスは、候補位置{A1,B1,B0,A0,B2,C0,C1}からマージ候補を選択して、候補リストを構成するように実行されることが可能である。候補リストは、所定の最大数のマージ候補Cmを有することが可能である。候補リスト内の各マージ候補は、動き補償予測に使用することが可能な動きデータのセットを含むことが可能である。
【0094】
マージ候補は、特定の順序に従って候補リスト内でリスト化されることが可能である。例えば、マージ候補がどのように導出されるかに応じて、異なるマージ候補は、選択される異なる確率を有する可能性がある。より高い選択される確率を有するマージ候補は、より低い選択される確率を有するマージ候補の前に配置される。そのような順序に基づいて、各マージ候補はインデックス(マージ・インデックスと呼ばれる)に関連付けられる。一実施形態では、より高い選択される確率を有するマージ候補はより小さなインデックス値を有することになり、その結果、それぞれfを符号化するために、より少ないビットが必要される。
【0095】
一例において、マージ候補の動きデータは、1つ以上の動きベクトルの水平及び垂直の動きベクトル変位値、1つ又は2つの動きベクトルに関連する1つ又は2つのピクチャ・インデックス、及びオプションとして、各インデックスに関連する参照ピクチャ・リストの識別子を含むことが可能である。
【0096】
一例では、所定の順序に従って、第1数のマージ候補Caが、{A1,B1,B0,A0,B2}の順序に従って空間的な候補位置から導出され、第2数のマージ候補Cb=Cm-Caが、{C0,C1}の順序で時間的な候補位置から導出される。候補位置を表すための参照番号A1、B1、B0、A0、B2、C0、C1はまた、マージ候補を参照するために使用されることが可能である。例えば、候補位置A1から得られるマージ候補は、マージ候補A1と呼ばれる。
【0097】
一部のシナリオでは、候補位置においてマージ候補が利用可能でない可能性がある。例えば、候補位置における候補ブロックは、現在のブロック(810)を含むスライス又はタイルの外側で、又は現在のブロック(810)と同じ符号化ツリー・ブロック(CTB)の行以外において、イントラ予測されることが可能である。一部のシナリオでは、候補位置におけるマージ候補は冗長である可能性がある。例えば、現在のブロック(810)の1つの近隣のブロックは、2つの候補位置に重なることが可能である。冗長マージ候補は、(例えば、プルーニング・プロセスを実行することによって)候補リストから削除されることが可能である。(冗長な候補が削除された)候補リスト内の利用可能なマージ候補の総数が、マージ候補の最大数Cmよりも小さい場合、追加的なマージ候補が(事前に設定されたルールに従って)候補リストを埋めるために生成され、その結果、候補リストは固定長を有するように維持されることが可能である。例えば、追加のマージ候補は、組み合わされた双方向予測候補及びゼロ動きベクトル候補を含むことが可能である。
【0098】
候補リストが作成された後に、エンコーダにおいて評価処理が実行され、候補リストからマージ候補を選択することが可能である。例えば、各マージ候補に対応するレート歪(RD)パフォーマンスが計算されることが可能であり、最良のRDパフォーマンスを有するものを選択することが可能である。従って、選択されたマージ候補に関連するマージ・インデックスが、現在のブロック(810)に関して決定され、デコーダにシグナリングされる。
【0099】
デコーダでは、現在のブロック(810)のマージ・インデックスを受信することが可能である。上述したような同様の候補リスト構築プロセスが実行され、エンコーダ側で生成された候補リストと同じ候補リストを生成することができる。候補リストが構築された後、幾つかの例では、更なる如何なる評価も行うことなく、受信したマージ・インデックスに基づいて候補リストからマージ候補が選択されることが可能である。選択されたマージ候補の動きデータは、現在のブロック(810)の後続の動き補償予測に使用されることが可能である。
【0100】
幾つかの例ではスキップ・モードも導入される。例えば、スキップ・モードでは、上述したようなマージ・モードを用いて現在の・ブロックが予測されて動きデータのセットを決定することが可能であるが、残差は生成されず、変換係数は伝達されない。スキップ・フラグが、現在のブロックに関連付けられることが可能である。現在のブロックの関連する動作情報を示すスキップ・フラグ及びマージ・インデックスは、ビデオ・デコーダにシグナリングされることが可能である。例えば、インター・ピクチャ予測スライスにおけるCUの始まりにおいて、スキップ・フラグは、以下の事柄:CUは1つのPUを含むのみであること(2Nx2N);動きデータを導出するためにマージ・モードが使用されること;及び、ビットストリーム中に残差データは存在しないこと、をシグナリングすることが可能である。デコーダ側では、スキップ・フラグに基づいて、予測ブロックは、残差情報を追加することなく、それぞれの現在のブロックを復号化するためのマージ・インデックスに基づいて決定されることが可能である。従って、本願で開示されるマージ・モードを使用するビデオ符号化のための種々の方法は、スキップ・モードと組み合わせて利用されることが可能である。
【0101】
2.三角予測モード
一部の実施形態では、インター予測のために三角予測モードを使用することが可能である。実施形態では、三角予測モードは、8×8サンプル以上であるサイズのCUに適用され、スキップ又はマージ・モードで符号化される。実施形態では、これらの条件を満たすCU(8×8以上のサンプル・サイズであり、スキップ又はマージ・モードで符号化されるもの)に対して、三角予測モードが適用されるか否かを示すために、CUレベル・フラグがシグナリングされる。
【0102】
三角予測モードが使用される場合に、一部の実施態様では、図9に示すように、対角分割又は逆対角分割のうちの何れかを使用して、CUは2つの三角形のパーティションに均等に分割される。図9において、第1CU(910)は、左上隅から右下隅に向かって分割され、その結果、2つの三角予測ユニット、PU1及びPU2を生じている。第2CU(920)は、右上隅から左下隅に向かって分割され、その結果、2つの三角予測ユニット、PU1及びPU2を生じている。CU(910)又は(920)の三角予測ユニットPU1又はPU2各々は、それ自身の動き情報を用いてインター予測される。一部の実施形態では、各々の三角予測ユニットに対して、ユニ予測(uni-prediction)のみが許容される。従って、各々の三角予測ユニットは、1つの動きベクトルと1つの参照ピクチャ・インデックスとを有する。ユニ予測動き制約が適用され、従来の双方向予測方法と同様に、高々2つの動き補償予測が各CUに対して実行されることを保証することができる。このようにして、処理の複雑さを減らすことができる。各々の三角予測ユニットに対するユニ予測動き情報は、ユニ予測マージ候補リストから導出されることが可能である。幾つかの他の実施形態では、三角予測ユニット各々に対して、双方向予測が許容される。従って、各々の三角予測ユニットに対する双方向予測動き情報は、双方向予測マージ候補リストから導出されることが可能である。
【0103】
一部の実施形態では、CUレベルのフラグが、現在のCUは三角パーティション・モードを使用して符号化されていることを示す場合、三角パーティション・インデックスと呼ばれるインデックスが更にシグナリングされる。例えば、三角パーティション・インデックスは、[0,39]のレンジ内の値を有することが可能である。この三角パーティション・インデックスを用いて、三角パーティションの方向(対角又は逆対角)、及び各パーティションの動き情報(例えば、個々のユニ予測候補リストに対するマージ・インデックス)は、デコーダ側でルックアップ・テーブルにより取得されることが可能である。得られる動き情報に基づいて三角予測ユニットの各々を予測した後に、実施形態では、現在のCUの対角又は逆対角エッジに沿ったサンプル値が、適応ウェイトを用いる混合プロセスを実行することによって調整される。混合プロセスの結果、CU全体の予測信号を得ることが可能である。以後、変換及び量子化プロセスが、CU全体に、他の予測モードと同様に適用されることが可能である。最後に、三角パーティション・モードを使用して予測されるCUの動きフィールドは、例えば、CUから区分される4×4ユニットのセットに動き情報を格納することによって、作成されることが可能である。動きフィールドは、例えば、以後の動きベクトル予測プロセスにおいて、マージ候補リストを構築するために使用されることが可能である。
【0104】
3.ユニ予測候補リスト構築
一部の実施形態では、三角予測モードで処理された符号化ブロックの2つの三角予測ユニットの予測のためのマージ候補リストは、符号化ブロックの空間的及び時間的な近隣のブロックのセットに基づいて構築されることが可能である。一実施形態では、マージ候補リストは、ユニ予測候補リストである。ユニ予測候補リストは、実施形態では、5つのユニ予測動きベクトル候補を含む。例えば、5つのユニ予測動きベクトル候補は、5つの空間的な近隣のブロック(図10では1~5の数字でラベル付けされている)と、同一場所の2つの時間的なブロック(図10では6~7の数字でラベル付けされている)とを含む7つの近隣のブロックから導出される。
【0105】
一例では、7つの近隣のブロックの動きベクトルが収集され、以下の順序に従ってユニ予測候補リストに投入される:先ず、ユニ予測近隣ブロックの動きベクトル、次いで、双方向予測の近隣ブロックに関する、L0動きベクトル(即ち、双方向予測MVのL0動きベクトル部分)、L1動きベクトル(即ち、双方向予測MVのL1動きベクトル部分)、そして双方向予測MVのL0及びL1動きベクトルの平均化された動きベクトルである。一例では、候補の数が5未満である場合に、ゼロ動きベクトルがリストの最後に追加される。幾つかの他の実施形態において、マージ候補リストは、図10に示されているものと同一である又は相違する候補位置から選択される5より少ない又は5より多いユニ予測又は双方向予測マージ候補を含むことが可能である。
【0106】
4.ルックアップ・テーブル及びテーブル・インデックス
実施形態では、CUは、5つの候補を含むマージ候補リストを有する三角パーティション・モードで符号化される。従って、各々の三角形PUに対して5つのマージ候補が使用される場合、CUを予測するための40個の可能な方法が存在する。換言すると、2(分割可能方向)×(5(第1三角予測ユニットに対する可能なマージ・インデックス)×5(第2三角予測ユニットに対する可能なマージ・インデックス)-5(第1及び第2予測ユニットのペアが同じマージ・インデックスを共有する場合に可能な個数))という、分割方向とマージ・インデックスの40個の異なる組み合わせがあり得る。例えば、2つの三角予測ユニットに対して同一のマージ・インデックスが決定される場合、CUは、三角予測モードの代わりに、例えば、II.1のセクションで説明された正規のマージ・モードを使用して処理されることが可能である。
【0107】
従って、実施形態では、ルックアップ・テーブルに基づいて、40個の組み合わせのうちの1つが使用されることを表現するために、[0,39]のレンジ内の三角パーティション・インデックスが使用されることが可能である。図11は、三角パーティション・インデックスに基づいて、分割方向及びマージ・インデックスを導出するために使用される例示的なルックアップ・テーブル(1100)を示す。ルックアップ・テーブル(1100)に示されるように、第1行(1101)は、0~39のレンジにある三角パーティション・インデックスを含み、第2行(1102)は、0又は1によって表される可能な分割方向を含み、第3行(1103)は、第1三角予測ユニットに対応し、0~4のレンジ内にある可能な第1マージ・インデックスを含み、第4行(1104)は、第2三角予測ユニットに対応し、0~4のレンジ内にある可能な第2マージ・インデックスを含む。
【0108】
例えば、ルックアップ・テーブル(1100)の列(1120)に基づいて、1である値を有する三角パーティション・インデックスがデコーダで受信されると、分割方向は1である値で表される分割方向であり、第1及び第2マージ・インデックスはそれぞれ0及び1であると判断することが可能である。三角パーティション・インデックスはルックアップ・テーブルと関連付けられるので、三角パーティション・インデックスはまた、本開示においてテーブル・インデックスとも呼ばれる。
【0109】
5.三角パーティション・エッジに沿った適応混合
実施形態では、各々の三角予測ユニットをそれぞれの動き情報を用いて予測した後に、対角又は逆対角エッジ付近のサンプルを導出するために、混合プロセスが2つの三角予測ユニットの2つの予測信号に適用される。混合プロセスは、2つの三角予測ユニット間の動きベクトルの差分に依存して、重み付け因子の2つのグループ間で適応的に選択を行う。実施形態では、2つの重み付け因子グループは次のとおりである:
(1)第1重み付け因子グループ:ルマ成分のサンプルに対しては{7/8,6/8,4/8,2/8,1/8}であり、クロマ成分のサンプルに対しては{7/8,4/8,1/8}である。
(2)第2重み付け因子グループ:ルマ成分のサンプルに対しては{7/8,6/8,5/8,4/8,3/8,2/8,1/8}であり、クロマ成分のサンプルに対しては{6/8,4/8,2/8}である。
第2重み付け因子グループは、より多くのルマ重み付け因子を有し、パーティション・エッジに沿って、より多くのルマ・サンプルを混合する。
【0110】
実施形態では、2つの重み付け因子グループのうちの1つを選択するために、以下の条件が使用される。2つの三角パーティションの参照ピクチャが互いに相違する場合、又は2つの三角パーティションの間の動きベクトルの差が閾値(例えば、16ルマ・サンプル)より大きい場合に、第2重み付け因子グループが選択される。そうでない場合には、第1重み付け因子グループが選択される。
【0111】
図12は、第1重み付け因子グループを適用するCUの例を示す。図示されるように、第1符号化ブロック(1201)はルマ・サンプルを含み、第2符号化ブロック(1202)はクロマ・サンプルを含む。符号化ブロック(1201)又は(1202)における対角エッジに沿うピクセルのセットにはそれぞれ、重み付け因子7/8、6/8、4/8、2/8、及び1/8に対応する番号1、2、4、6、及び7のラベルが付されている。例えば、2である数のラベルが付されているピクセルに関し、混合処理後のピクセルのサンプル値は、次のようにして取得されることが可能である:
混合後のサンプル値=2/8×P1+6/8×P2
ここで、P1及びP2は、それぞれのピクセルにおけるサンプル値を表すが、第1三角予測ユニット及び第2三角予測ユニットの予測にそれぞれ属する。
【0112】
6.動きフィールドにおける動きベクトル・ストレージ
図13は、三角予測モードで符号化されたCU内の2つの三角予測ユニットの動きベクトルが、以後の動きベクトル予測に有用な動きフィールドを形成するために、どのように結合され記憶されるかについての一例を示す。図示されるように、第1符号化ブロック(1301)は、第1対角エッジ(1303)に沿って、左上隅から右下隅への2つの三角予測ユニットに分割される一方、第2符号化ブロック(1302)は、第2対角エッジ(1304)に沿って、右上隅から左下隅への2つの三角予測ユニットに分割される。符号化ブロック(1301)又は(1302)の第1三角予測ユニットに対応する第1動きベクトルはMv1として表され、符号化ブロック(1301)又は(1302)の第2三角予測ユニットに対応する第2運動ベクトルはMv2として表される。符号化ブロック(1301)を例にとると、デコーダ側において、符号化ブロック(1301)内の第1及び第2三角予測ユニットに対応する2つのマージ・インデックスは、受信されたシンタックス情報に基づいて決定されることが可能である。符号化ブロック(1301)のために、マージ候補リストが構築された後に、Mv1及びMv2は、2つのマージ・インデックスに従って決定されることが可能である。
【0113】
実施形態において、符号化ブロック(1301)は、4×4サンプルのサイズを有する複数の正方形に分割される。各々の4×4正方形に対応して、ユニ予測動きベクトル(例えば、Mv1又はMv2)又は2つの動きベクトル(双方向予測動き情報を形成する)が、各々の符号化ブロック(1301)における4×4正方形の位置に応じて記憶される。図13の例に示すように、符号化ブロック(1301)を区分する対角エッジ(1303)と重ならない4×4正方形には、Mv1又はMv2の何れかのユニ予測動きベクトルが記憶される。これに対して、それぞれの符号化ブロック(1301)を区分する対角エッジ(1303)と重なる4×4正方形の各々には、2つの動きベクトルが記憶される。符号化ブロック(1302)に関し、動きベクトルは、符号化ブロック(1301)と同様な方法で組織され記憶されることが可能である。
【0114】
それぞれの対角エッジにオーバーラップする4×4正方形に記憶される双方向予測動きベクトルのペアは、実施形態では、以下の規則に従ってMv1及びMv2から導出されることが可能である:
(1)Mv1とMv2が異なる方向に向かう動きベクトルである場合(例えば、異なる参照ピクチャ・リストL0又はL1に関連する場合)、Mv1及びMv2は、双方向予測動きベクトルのペアを形成するために結合される。
(2)Mv1及びMv2双方が同じ方向に向かう場合(例えば、同じ参照ピクチャ・リストL0(又はL1)に関連する場合):
(2.a)Mv2の参照ピクチャが参照ピクチャ・リストL1(又はL0)内のピクチャと同じである場合、Mv2は参照ピクチャ・リストL1(又はL0)内のその参照ピクチャと関連付けられるように変更される。修正された関連する参照ピクチャ・リストに関するMv1及びMv2は、双方向予測動きベクトルのペアを形成するように結合される。
(2.b)Mv1の参照ピクチャが参照ピクチャ・リストL1(又はL0)内のピクチャと同じである場合、Mv1は参照ピクチャ・リストL1(又はL0)内のその参照ピクチャと関連付けられるように変更される。修正された関連する参照ピクチャ・リストに関するMv1及びMv2は、双方向予測動きベクトルのペアを形成するように結合される。
(2.c)それ以外の場合、それぞれの4×4正方形に対してMv1のみが記憶される。
【0115】
図14A-14Dは、例示的な一組のルールに従って双方向予測動きベクトルのペアを導出する例を示す。図14A-14Dでは2つの参照ピクチャ・リストが使用されており:
第1参照ピクチャ・リストL0は、POC0及びPOC8であるピクチャ順序カウント(POC)番号とともに、それぞれ0及び1の参照ピクチャ・インデックス(refIdx)を有する参照ピクチャを含む一方、第2参照ピクチャ・リストL1は、POC8及びPOC16であるPOC番号とともに、それぞれ0及び1の参照ピクチャ・インデックスを有する参照ピクチャを含む。
【0116】
図14Aはルール(1)に対応する。図14Aに示されるように、Mv1は、L0ではPOC0に関連し、従って参照ピクチャ・インデックスrefIdx=0を有する一方、MV2は、L1ではPOC8に関連し、従って参照ピクチャ・インデックスrefIdx=0を有する。Mv1及びMv2は異なる参照ピクチャ・リストに関連するので、Mv1及びMv2は共に双方向動きベクトルのペアとして使用される。
【0117】
図14Bはルール(2.a)に対応する。図示されるように、Mv1及びMv2は、同じ参照ピクチャ・リストL0に関連付けられる。Mv2は、L1のメンバーでもあるPOC8を指し示す。従って、Mv2はL1のPOC8に関連付けられるように修正され、それぞれの参照インデックスの値は1から0に変更される。
【0118】
図14C及び図14Dはルール(2b)及び(2c)に対応する。
【0119】
7.三角予測パラメータをシグナリングするためのシンタックス要素
一部の実施形態では、三角予測ユニット・モードが、スキップ又はマージ・モードでCUに適用される。CUのブロック・サイズは、8×8より小さくなることはできない。スキップ又はマージ・モードで符号化されたCUに対して、CUレベル・フラグが、現在のCUに対して三角予測ユニット・モードが適用されるか否かを示すためにシグナリングされる。実施形態では、三角予測ユニット・モードがCUに適用されると、CUを2つの三角予測ユニットに分割する方向と、2つの三角予測ユニットの動きベクトル(又はそれぞれのマージ・インデックス)とを示すテーブル・インデックスが、シグナリングされる。テーブル・インデックスは0ないし39のレンジ内にある。ルックアップ・テーブルは、分割方向と動きベクトルとをテーブル・インデックスから導出するために使用される。
【0120】
III.三角予測パラメータのシグナリング及び導出
1.三角予測パラメータのシグナリング
上述したように、三角予測モードが符号化ブロックに適用される場合、3つのパラメータ、分割方向、第1三角予測ユニットに対応する第1マージ・インデックス、及び第2三角予測ユニットに対応する第2マージ・インデックスが生成される。説明されるように、幾つかの例では、3つの三角予測パラメータは、テーブル・インデックスをシグナリングすることによって、エンコーダ側からデコーダ側へシグナリングされる。ルックアップ・テーブル(例えば、図11の例におけるルックアップ・テーブル(1100))に基づいて、3つの三角予測パラメータは、デコーダ側で受信されるテーブル・インデックスを使用して導出されることが可能である。しかしながら、ルックアップ・テーブルをデコーダで記憶するためには、追加のメモリ空間が必要とされ、それはデコーダの幾つかの実装では、負担となってしまう可能性がある。例えば、追加のメモリは、デコーダのコスト及び電力消費の増加をもたらす可能性がある。
【0121】
本開示は、上記の問題を解決するソリューションを提供する。具体的には、テーブル・インデックスをシグナリングし、ルックアップ・テーブルを当てにしてテーブル・インデックスを解釈する代わりに、3つのシンタックス要素がエンコーダ側からデコーダ側へシグナリングされる。3つの三角予測パラメータ(分割方向と2つのマージ・インデックス)は、ルックアップ・テーブルを使用せずに、3つのシンタックス要素に基づいて、デコーダ側で導出され又は決定されことが可能である。実施形態において、3つのシンタックス要素は、それぞれの符号化ブロックに対して何らかの順序でシグナリングされることが可能である。
【0122】
実施形態では、3つのシンタックス要素は、分割方向シンタックス要素、第1インデックス・シンタックス要素、及び第2インデックス・シンタックス要素を含む。分割方向シンタックス要素は、分割方向パラメータを決定するために使用されることが可能である。第1及び第2マージ・インデックスのパラメータを決定するために、第1及び第2インデックス・シンタックス要素は組み合わせて使用されることが可能である。実施形態では、インデックス(テーブル・インデックスとは異なり、三角予測インデックスと呼ばれる)は、先ず、第1及び第2インデックス・シンタックス要素と分割方向シンタックス要素とに基づいて導出されることが可能である。3つの三角予測パラメータは、以後、三角予測インデックスに基づいて決定されることが可能である。
【0123】
3つの三角予測パラメータの情報を知らせるために、3つのシンタックス要素を設定又は符号化するための様々な方法が存在する。分割方向シンタックス要素に関し、実施形態では、分割方向シンタックス要素は、分割方向が、左上隅から右下隅、又は右上隅から左下隅の何れであるかを示す0又は1の値をとる。
【0124】
第1及び第2インデックス・シンタックス要素に関し、実施形態では、第1インデックス・シンタックス要素は、第1マージ・インデックスのパラメータの値を有するように構成される一方、第2インデックス・シンタックス要素は、第2マージ・インデックスが第1マージ・インデックスより小さい場合には第2マージ・インデックスの値を有し、第2マージ・インデックスが第1マージ・インデックスより大きい場合には第2マージ・インデックスの値マイナス1を有するように構成される。第2及び第1マージ・インデックスは、上述のように異なる値をとるように想定されるので、第2及び第1マージ・インデックスは互いに等しくならないであろう)。
【0125】
一例として、実施形態では、マージ候補リストは、5という長さ(5つのマージ候補)を有する。従って、第1インデックス・シンタックス要素は0、1、2、3又は4の値をとる一方、第2インデックス・シンタックス要素は0、1、2又は3の値をとる。例えば、第1マージ・インデックス・パラメータが2の値を有し、第2マージ・インデックス・パラメータが4の値を有する場合、第1及び第2マージ・インデックスを知らせるために、第1及び第2インデックス・シンタックス要素はそれぞれ2及び3の値を有するであろう。
【0126】
実施形態では、符号化ブロックは、現在のピクチャ内の参照ポイントに対して(xCb,yCb)という座標を有する位置に配置され、ここで、xCb及びyCbはそれぞれ現在の符号化ブロックの水平及び垂直座標を表す。幾つかの実施態様において、xCb及びyCbは、4×4の粒度で水平及び垂直座標に整列している。従って、分割方向シンタックス要素は、split_dir[xCb][yCb]として表現される。第1インデックス・シンタックス要素は、merge_triangle_idx0[xCb][yCb]として表現される。第2インデックス・シンタックス要素は、merge_triangle_idx1[xCb][yCb]として表現される。
【0127】
3つのシンタックス要素はビットストリーム中の任意の順序でシグナリングされることが可能である。例えば、3つのシンタックス要素は以下の順序のうちの1つでシグナリングされることが可能である:
1.split_dir, merge_triangle_idx0, merge_triangle_idx1;
2.split_dir, merge_triangle_idx1, merge_triangle_idx0;
3.merge_triangle_idx0, split_dir, merge_triangle_idx1;
4.merge_triangle_idx0, merge_triangle_idx1, split_dir;
5.merge_triangle_idx1, split_dir, merge_triangle_idx0;
6.merge_triangle_idx1, merge_triangle_idx0, split_dir.
【0128】
2.三角予測パラメータの導出
2.1 シンタックス要素に基づく三角予測パラメータの導出
実施形態では、3つの三角予測パラメータは、デコーダ側で受信された3つのシンタックス要素に基づいて導出される。例えば、分割方向パラメータは、分割方向シンタックス要素の値に従って決定することができる。第1マージ・インデックス・パラメータは、第1インデックス・シンタックス要素の値を有するように決定されることが可能である。第2インデックス・シンタックス要素が第1インデックス・シンタックス要素より小さな値を有する場合、第2マージ・インデックス・パラメータは第2インデックス・シンタックス要素の値を有するように決定されることが可能である。これに対して、第2インデックス・シンタックス要素が第1インデックス・シンタックス要素以上の値を有する場合、第2マージ・インデックス・パラメータは第2インデックス・シンタックス要素の値プラス1の値を有するように決定されることが可能である。
【0129】
上記の導出プロセスを実装する擬似コード例を以下に示す:
m = merge_triangle_idx0[xCb][yCb];
n = merge_triangle_idx1[xCb][yCb];
n = n + (n >= m ? 1 : 0),
ここで、m及びnはそれぞれ第1及び第2マージ・インデックスのパラメータを表し、merge_triangle_idx0[xCb][yCb]及びmerge_triangle_idx1[xCb][yCb]はそれぞれ第1及び第2インデックス・シンタックス要素を表す。
【0130】
2.2 シンタックス要素から導出される三角予測インデックスに基づく三角予測パラメータの導出
実施形態では、先ず、三角予測インデックスが、デコーダ側で受信した3つのシンタックス要素に基づいて導出される。その後、3つの三角予測パラメータは、この三角予測インデックスに基づいて決定される。例えば、バイナリ・ビットにおける3つのシンタックス要素の値は、三角予測インデックスを形成するビット列に結合されることが可能である。後に、それぞれのシンタックス要素のビットは、ビット列から抽出され、3つの三角予測パラメータを決定するために使用されることが可能である。
【0131】
実施形態では、三角予測インデックスは、
mergeTriangleIdx[xCb][yCb] = a * merge_triangle_idx0[xCb][yCb] + b * merge_triangle_idx1[xCb][yCb] + c * split_dir[xCb][yCb]
に従って、3つのシンタックス要素の線形関数として導出され、mergeTriangleIdx[xCb][yCb]は、三角予測を表し、a,b,cは整数の定数であり、merge_triangle_idx0[xCb][yCb],merge_triangle_idx1[xCb][yCb]及びsplit_dir[xCb][yCb]は3つのシグナリングされたシンタックス要素、即ち第1インデックス・シンタックス要素、第2インデックス・シンタックス要素、及び分割方向シンタックス要素をそれぞれ表す。
【0132】
一例として、マージ候補リストが5つのマージ候補を含む上記の例では、定数は以下の値、a=8、b=2、c=1をとることが可能である。このシナリオでは、上記の線形関数は、第1インデックス・シンタックス要素の値を3ビット左にシフトし、第2インデックス・シンタックス要素の値を2ビット左にシフトし、次いで3つのシンタックス要素のビットを加算演算によってビット列に結合することと等価である。
【0133】
他の例では、マージ候補リストは、5の長さとは異なる長さを有する可能性がある。従って、第1及び第2マージ・インデックス・パラメータは、[0,4]とは異なるレンジ内の値を有してもよい。また、それぞれの第1及び第2インデックス・シンタックス要素は、異なるレンジ内の値を有する可能性がある。従って、定数a、b、及びcは、3つのシンタックス要素をビット列に適切に結合するために、様々な値をとることができる。更に、3つのシンタックス要素の順序は、上記の例とは異なる方法で配置されてもよい。
【0134】
三角予測インデックスが上記のように決定された後、決定された三角予測インデックスに基づいて、3つの三角予測パラメータを決定することが可能である。一実施形態において、a=8、b=2、及びc=1である上記の実施形態に対応して、分割方向は:
triangleDir = mergeTriangleIdx[xCb][yCb] & 1
に従って決定されることが可能であり、ここで、triangleDirは分割方向パラメータを表し、三角予測インデックスの最後の桁は、分割方向パラメータの値となるように2進AND演算(&)によって抽出される。
【0135】
a=8、b=2、c=1である上記実施例に対応する実施形態では、第1及び第2マージ・インデックスは、以下の擬似コードに従って決定されることが可能である:
m = mergeTriangleIdx[xCb][yCb] >> 3; //最後の3ビットを排除する
n = (mergeTriangleIdx[xCb][yCb] >> 1) & 3; //最後から2番目及び3番目を取り出す
n = n + (n >= m ? 1 : 0)
ここに示されているように、最後の3ビットを除く三角予測インデックスにおけるビットは、第1マージ・インデックス・パラメータとして使用される。三角予測インデックスの最後から2番目及び3番目のビットは、最後から2番目と最後から3番目のビットの値プラス1が第1マージ・インデックス値より小さい場合、第2マージ・インデックス・パラメータとして使用される。そうでない場合、最後から2番目と最後から3番目のビットの値プラス1が、第2マージ・インデックス・パラメータとして使用される。
【0136】
2.3 シンタックス要素の適応的構築
一部の実施形態では、第1及び第2インデックス・シンタックス要素は、符号化ユニットの分割方向に応じて異なる意味を表現するように構成されることが可能である。あるいは、言い換えれば、第1及び第2インデックス・シンタックス要素は、どの分割方向が符号化ユニットを分けるために使用されるのか、に応じて異なる方法で符号化されることが可能である。例えば、異なる分割方向に対応して、2つのマージ・インデックスの値の確率分布は、現在のピクチャ又は現在のピクチャ内の局所的な特徴の特性に起因して異なる可能性がある。従って、2つのインデックス・シンタックス要素は、それぞれの分割方向に従って適応的に符号化され、インデックス・シンタックス要素の符号化に使用されるビットを節約することができる。
【0137】
例えば、図9に示すように、2つの三角予測ユニットPU1及びPU2が、符号化ブロック(910)及び(920)のそれぞれの分割方向に対応して規定される。左上から右下への第1分割方向が符号化ブロック(910)におけるように使用される場合、第1インデックス・シンタックス要素はPU1に対応するマージ・インデックスを運ぶために使用される一方、第2インデックス・シンタックス要素はPU2に対応するマージ・インデックス情報を運ぶために使用されることが可能である。これに対して、右上から左下への第2分割方向が符号化ブロック(920)におけるように使用される場合、第1インデックス・シンタックス要素はPU2に対応するマージ・インデックスを運ぶために使用される一方、第2インデックス・シンタックス要素はPU1に対応するマージ・インデックス情報を運ぶために使用されることが可能である。
【0138】
エンコーダ側におけるインデックス・シンタックス要素の適応符号化に対応して、適切な復号動作がデコーダ側で実行されることが可能である。インデックス・シンタックス要素を適応的に復号化することを実装する擬似コードの第1例は以下に示すとおりである:
if (triangleDir = = 0)
{
m = merge_triangle_idx0[xCb][yCb];
n = merge_triangle_idx1[xCb][yCb];
n = n + (n >= m ? 1 : 0);
}
else
{
n = merge_triangle_idx0[xCb][yCb];
m = merge_triangle_idx1[xCb][yCb];
m = m + (m >= n ? 1 : 0);
}
【0139】
三角予測インデックスが使用される場合において、インデックス・シンタックス要素を適応的に復号化することを実装する擬似コードの第2例は以下に示すとおりである:
if (triangleDir = = 0)
{
m = mergeTriangleIdx[xCb][yCb] >> 3;
n = (mergeTriangleIdx[xCb][yCb] >> 1) & 3;
n = n + (n >= m ? 1 : 0);
}
else
{
n = mergeTriangleIdx[xCb][yCb] >> 3
m = (mergeTriangleIdx[xCb][yCb] >> 1) & 3;
m = m + (m >= n ? 1 : 0);
}
【0140】
上記の疑似コードの第1及び第2例では、分割方向(TriangleDirとして表される)は、分割方向シンタックス要素から直接的に決定されることが可能であり、あるいは異なる実施形態では三角予測インデックスに従って決定されることも可能である。
【0141】
3.3つのシンタックス要素のエントロピー符号化
3.1 3つのシンタックス要素の2値化
3つの三角予測パラメータ(分割方向、第1及び第2マージ・インデックス)をシグナリングするために使用される3つのシンタックス要素(分割方向シンタックス要素、第1及び第2インデックス・シンタックス要素)は、様々な実施形態において異なる2値化方法で符号化されることが可能である。
【0142】
一実施形態では、第1インデックス・シンタックス要素は、打ち切られた一進法符号化で符号化される。別の実施形態では、第1インデックス・シンタックス要素は、打ち切られた二進法符号化で符号化される。一例では、第1インデックス・シンタックス要素の最大の有効な値は4に等しい。別の実施形態では、プレフィックスと固定長二値化との組み合わせが、第1インデックス・シンタックス要素を符号化するために使用される。一例では、第1インデックス・シンタックス要素が0であるかどうかを示すために、プレフィックス・ビンが最初にシグナリングされる。第1インデックス・シンタックス要素がゼロでない場合、第1インデックス・シンタックス要素の実際の値を示すために、追加のビンが固定長で符号化される。打ち切られた一進法符号化と、打ち切られた二進法符号化と、プレフィックス及び固定長符号化との例(最大の有効な値が4に等しい)が表1に示されている。
表1
【表1】
【0143】
一実施形態では、第2インデックス・シンタックス要素は、打ち切られた一進法符号化で符号化される。別の実施形態では、第2インデックス・シンタックス要素は、二進法符号化(即ち、2ビットの固定長符号化)で符号化される。最大の有効な値が3に等しい打ち切られた一進法符号化及び二進法符号化の例が表2に示されている。
表2
【表2】
【0144】
3.2 コンテキスト・ベースの符号化
一部の実施形態では、3つの三角予測パラメータをシグナリングするための3つのシンタックス要素のエントロピー符号化に使用される確率モデルに、特定の制約が適用される。
【0145】
一実施形態では、三角予測モードで処理された符号化ブロックの3つのシンタックス要素に対して、高々合計N個のコンテキスト符号化ビンを使用することに制限される。例えば、Nは、0、1、2、3等であるとすることが可能な整数である。一実施形態では、Nが0に等しい場合、これら3つのシンタックス要素のすべてのビンは、等しい確率で符号化されることが可能である。
【0146】
一実施形態では、Nが1に等しい場合、これら3つのシンタックス要素のグループには唯1つのコンテキスト符号化されたビンが存在する。一例では、分割方向シンタックス要素における1つのビンはコンテキスト符号化され、分割方向シンタックス要素における残りのビンと、第1及び第2インデックス・シンタックス要素における全てのビンとは、等しい確率で符号化される。別の例では、第2インデックス・シンタックス要素における1つのビンはコンテキスト符号化され、第2インデックス・シンタックス要素における残りのビンはコンテキスト符号化され、分割方向シンタックス要素と第1インデックス・シンタックス要素におけるすべてのビンは等しい確率で符号化される。
【0147】
一実施形態では、Nが2に等しい場合、これら3つのシンタックス要素のグループには2つのコンテキスト符号化されたビンが存在する。一例では、第1インデックス・シンタックス要素におけるの1つのビンと第2インデックス・シンタックス要素における別のビンとがコンテキスト符号化され、これら3つのシンタックス要素のうちの残りのビンは、すべて等しい確率で符号化される。
【0148】
一実施形態では、コンテキスト・モデルがシンタックス要素に適用される場合、シンタックス要素の第1ビンのみがコンテキスト・モデルに適用される。シンタックス要素の残りのビンは、等しい確率で符号化される。
【0149】
4.三角予測プロセスの例
図15は、本開示の実施形態によるプロセス(1500)を概説するフローチャートを示す。プロセス(1500)は、再構成中のブロックに対する予測ブロックを生成するために、三角予測モードで符号化されたブロックの再構成で使用されることが可能である。様々な実施形態において、プロセス(1500)は、端末デバイス(210)、(220)、(230)及び(240)における処理回路、ビデオデコーダ(310)の機能を実行する処理回路、ビデオデコーダ(410)の機能を実行する処理回路、エントロピー・デコーダ(771)やインターデコーダ(780)等の機能を実行する処理回路のような、処理回路によって実行される。幾つかの実施形態では、プロセス(1500)は、ソフトウェア命令によって実行され、処理回路がソフトウェア命令を実行すると、処理回路はプロセス(1500)を実行する。プロセスは(S1501)から始まり、(S1510)に進む。
【0150】
(S1510)において、3つのシンタックス要素(分割方向シンタックス要素、第1インデックス・シンタックス要素、及び第2インデックス・シンタックス要素)が、ビデオ・ビットストリームにおいて、ビデオ・デコーダで受信される。3つのシンタックス要素は、三角予測モードで符号化された符号化ブロックの3つの三角予測パラメータ(分割方向パラメータ、第1マージ・インデックス・パラメータ、及び第2マージ・インデックス・パラメータ)の情報を運ぶ。例えば、符号化ユニットは、分割方向シンタックス要素によって示される分割方向に従って、第1三角予測ユニットと第2三角予測ユニットとに分割される。第1及び第2三角予測ユニットは、それぞれ、符号化ブロックのために構築されたマージ候補リストに関連する第1及び第2マージ・インデックスに関連付けられることが可能である。
【0151】
(S1520)において、3つの三角予測パラメータ(分割方向、第1マージ・インデックス、及び第2マージ・インデックス)が、(S1510)で受信した3つのシンタックス要素に従って決定されることが可能である。例えば、III.2のセクションで説明された種々の技術は、3つの三角予測パラメータを導出するために使用されることが可能である。
【0152】
(S1530)では、(S1520)で決定された分割方向、第1マージ・インデックス、及び第2マージ・インデックスに従って、符号化ブロックを再構成することが可能である。例えば、マージ候補リストは、符号化ブロックのために構築されることが可能である。マージ候補リストと、マージ候補リストに対する第1マージ・インデックスとに基づいて、第1ユニ予測動きベクトルと、第1ユニ予測動きベクトルに関連する第1参照ピクチャ・インデックスとを決定することが可能である。同様に、マージ候補リストと、マージ候補リストに対する第2マージ・インデックスとに基づいて、第2ユニ予測動きベクトルと、第2ユニ予測動きベクトルに関連する第2参照ピクチャ・インデックスとを決定することが可能である。続いて、第1三角予測ユニットに対応する第1予測は、第1ユニ予測動きベクトルと第1ユニ予測動きベクトルに関連する第1参照ピクチャ・インデックスとに従って決定されることが可能である。同様に、第2三角予測ユニットに対応する第2予測は、第2ユニ予測動きベクトルと第2ユニ予測動きベクトルに関連する第2参照ピクチャ・インデックスとに従って決定されることが可能である。その後、第1及び第2予測に基づいて、第1及び第2三角予測ユニットの間の対角エッジに沿うサンプルに、適応重み付けプロセスが適用され、符号化ブロックの最終的な予測を導出することが可能である。プロセス(1500)は(S1599)に進み、(S1599)で終了することが可能である。
【0153】
IV.コンピュータ・システム
上述の技術は、コンピュータ読み取り可能な命令を用いてコンピュータ・ソフトウェアとして実装され、1つ以上のコンピュータ読み取り可能な媒体に物理的に記憶されることが可能である。例えば、図16は、開示される対象事項の特定の実施形態を実現するのに適したコンピュータ・システム(1600)を示す。
【0154】
コンピュータ・ソフトウェアは、アセンブリ、コンパイル、リンク、又は類似のメカニズムの対象となり得る任意の適切なマシン・コード又はコンピュータ言語を使用してコード化されて、1つ以上のコンピュータ中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)等によって、直接的に又は解釈やマイクロコード実行などを介して、実行されることが可能な命令を含むコードを作成することが可能である。
【0155】
命令は、例えば、パーソナル・コンピュータ、タブレット・コンピュータ、サーバー、スマートフォン、ゲーム・デバイス、モノのインターネット・デバイス等を含む、種々のタイプのコンピュータ又はその構成部品に関して実行されることが可能である。
【0156】
コンピュータ・システム(1600)に関して図16に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータ・ソフトウェアの用途又は機能の範囲に関する如何なる制限を示唆するようには意図されていない。また、構成要素の構成は、コンピュータ・システム(1600)の例示的な実施形態に示される構成要素の任意の1つ又は組み合わせに関する何らかの従属性又は要件を有するものとして解釈されるべきではない。
【0157】
コンピュータ・システム(1600)は、特定のヒューマン・インターフェース入力デバイスを含むことが可能である。このようなヒューマン・インターフェース入力デバイスは、例えば、触覚入力(例えば、キーストローク、スイッピング、データ・グローブの動き)、オーディオ入力(例えば、声、拍手)、視覚入力(例えば、ジェスチャ)、嗅覚入力(不図示)を介して、1人又は複数の人間ユーザーによる入力に応答することが可能である。また、ヒューマン・インターフェース・デバイスは、オーディオ(例えば、会話、音楽、周囲の音)、画像(例えば、スキャンされた画像、静止画像カメラから得られる写真画像)、ビデオ(例えば、2次元ビデオ、ステレオ・ビデオを含む3次元ビデオ)のような、人間による意識的な入力に必ずしも直接関係しない特定の媒体を捕捉するために使用されことも可能である。
【0158】
入力ヒューマン・インターフェース・デバイスは、キーボード(1601)、マウス(1602)、トラックパッド(1603)、タッチ・スクリーン(1610)、データ・グローブ(不図示)、ジョイスティック(1605)、マイクロホン(1606)、スキャナ(1607)、カメラ(1608)のうちの1つ又はそれ以上(それぞれ描かれているもののうちの唯1つ)を含んでもよい。
【0159】
コンピュータ・システム(1600)は、特定のヒューマン・インターフェース出力デバイスを含む可能性もある。このようなヒューマン・インターフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚/味覚を通じて、1人以上の人間ユーザーの感覚を刺激することができる。このようなヒューマン・インターフェース出力デバイスは、触覚出力デバイス(例えば、タッチ・スクリーン(1610)、データ・グローブ(図示せず)、又はジョイスティック(1605)であるが、入力デバイスとして機能しない触覚フィードバック・デバイスが存在することも可能である)、オーディオ出力デバイス(例えば、スピーカー(1609)、ヘッドフォン(図示せず))、視覚出力デバイス(例えば、CRTスクリーン、LCDスクリーン、プラズマ・スクリーン、OLEDスクリーンを含むスクリーン(1610)であり、各々はタッチ・スクリーン入力能力を有するか又は有しておらず、これらのうちの幾つかは、2次元の視覚出力、あるいはステレオグラフィック出力のような手段による3次元以上の視覚出力を出力することが可能である)、仮想現実メガネ(図示せず)、ホログラフィック・ディスプレイ及びスモーク・タンク(図示せず))、及びプリンタ(図示せず)を含んでもよい。
【0160】
コンピュータ・システム(1600)は、CD/DVD等の媒体を有するCD/DVD ROM/RW(1620)を含む光媒体(1621)、サム・ドライブ(1622)、リムーバブル・ハード・ドライブ又はソリッド・ステート・ドライブ(1623)、テープ及びフロッピー・ディスク(不図示)のようなレガシー磁気媒体、セキュリティ・ドングル(不図示)のような特殊化されたROM/ASIC/PLDベースのデバイス等のような、人間がアクセス可能なストレージ・デバイス及びそれらの関連する媒体を含むことも可能である。
【0161】
当業者は、本開示の対象事項に関連して使用される用語「コンピュータ読み取り可能な媒体」は、伝送媒体、搬送波、又は他の過渡的な信号を包含しないことも理解するはずである。
【0162】
コンピュータ・システム(1600)は、1つ以上の通信ネットワークに対するインターフェースを含むことも可能である。ネットワークは、例えば無線、有線、光であるとすることが可能である。ネットワークは、更に、ローカル、ワイド・エリア、メトロポリタン、車両及び産業、リアルタイム、遅延耐性などによるものとすることが可能である。ネットワークの例は、イーサーネット、無線LAN、セルラー・ネットワーク(GSM、3G、4G、5G、LTE等を含む)、ケーブルTV、衛星TV、及び地上放送TVを含むTVの有線又は無線のワイド・エリア・デジタル・ネットワーク、CANBusを含む車両及び産業によるもの等を含む。特定のネットワークは、一般に、特定の汎用データ・ポート又は周辺バス(1649)に接続される外部ネットワーク・インターフェース・アダプタ(例えば、コンピュータ・システム(1600)のUSBポート)を必要とし;他のネットワークは、一般に、後述するようなシステム・バスに対するアタッチメントによって、コンピュータ・システム(1600)のコアに統合される(例えば、イーサーネット・インターフェースをPCコンピュータ・システムに、又はセルラー・ネットワーク・インターフェースをスマートフォン・コンピュータ・システムに統合する)。これらのネットワークの何れかを使用して、コンピュータ・システム(1600)は、他のエンティティと通信することが可能である。このような通信は、単一方向、受信のみ(例えば、放送テレビ)、単一方向送信専用(例えば、特定のCANバス・デバイスに対するCANバス)、又は、例えばローカル又はワイド・デジタル・ネットワークを使用する他のコンピュータ・システムに対する双方向性であるとすることが可能である。特定のプロトコル及びプロトコル・スタックは、上述のように、それらのネットワーク及びネットワーク・インタフェースの各々で使用されることが可能である。
【0163】
前述のヒューマン・インターフェース・デバイス、ヒューマン・アクセス可能なストレージ・デバイス、及びネットワーク・インタフェースは、コンピュータ・システム(1600)のコア(1640)に取り付けられることが可能である。
【0164】
コア(1640)は、1つ以上の中央処理ユニット(CPU)(1641)、グラフィックス処理ユニット(GPU)(1642)、フィールド・プログラマブル・ゲート・アレイ(FPGA)(1643)の形式における専用プログラマブル処理ユニット、特定のタスク用のハードウェア・アクセラレータ(1644)等を含むことが可能である。これらのデバイスは、リード・オンリ・メモリ(ROM)(1645)、ランダム・アクセス・メモリ(1646)、内部非ユーザー・アクセス可能ハード・ドライブ、SSDなどの内部大容量ストレージ(1647)と共に、システム・バス(1648)を介して接続されてもよい。幾つかのコンピュータ・システムでは、システム・バス(1648)は、追加のCPU、GPU等による拡張を可能にするために、1つ以上の物理プラグの形態でアクセス可能であるとすることが可能である。周辺デバイスは、コアのシステム・バス(1648)に直接的に、或いは周辺バス(1649)を介して、取り付けられることが可能である。周辺バスのアーキテクチャは、PCI、USB等を含む。
【0165】
CPU(1641)、GPU(1642)、FPGA(1643)、及びアクセラレータ(1644)は、組み合わせにより前述のコンピュータ・コードを構成することが可能な特定の命令を実行することが可能である。そのコンピュータ・コードは、ROM (1645)又はRAM(1646)に記憶されることが可能である。暫定的なデータはRAM(1646)に記憶することも可能であり、永続的なデータは、例えば内部大容量ストレージ(1647)に記憶することが可能である。任意のメモリ・デバイスに対する高速ストレージ及び検索は、1つ以上のCPU(1641)、GPU(1642)、大容量ストレージ(1647)、ROM(1645)、RAM(1646)等と密接に関連付けられることが可能なキャッシュ・メモリを使用することによって可能することができる。
【0166】
コンピュータ読み取り可能な媒体は、様々なコンピュータ実装動作を実行するためにそこにコンピュータ・コードを有することが可能である。媒体及びコンピュータ・コードは、本開示の目的のために特別に設計及び構築されたものであるとすることが可能であり、又はそれらはコンピュータ・ソフトウェア技術分野における当業者にとって周知であり利用可能なものであるとすることが可能である。
【0167】
非限定的な例として、アーキテクチャ(1600)を有するコンピュータ・システム、具体的にはコア(1640)は、1つ以上の有形のコンピュータ読み取り可能な媒体に具現化されたソフトウェアを実行する(CPU、GPU、FPGA、アクセラレータ等を含む)プロセッサの結果として、機能を提供することが可能である。そのようなコンピュータ読み取り可能な媒体は、上述したようなユーザーがアクセス可能な大容量ストレージに加えて、コア内大容量ストレージ(1647)又はROM(1645)のような非一時的な性質のコア(1640)である特定のストレージ、に関連する媒体であってもよい。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア(1640)によって実行されることが可能である。コンピュータ読み取り可能な媒体は、特定のニーズに応じて、1つ以上のメモリ・デバイス又はチップを含むことが可能である。ソフトウェアは、RAM(1646)に記憶されたデータ構造を定義し、ソフトウェアによって規定されたプロセスに従ってそのようなデータ構造を修正することを含む、本願で説明された特定のプロセス又は特定のプロセスの特定の部分を、コア(1640)及び具体的にはそこにおけるプロセッサ(CPU、GPU、FPGAなどを含む)に実行させることが可能である。更に、又は代替として、コンピュータ・システムは、回路(例えば、アクセラレータ(1644))内に配線された又は他の方法で具体化された論理の結果として機能を提供することが可能であり、これは、本願で説明される特定のプロセス又は特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに又はソフトウェアと共に動作することが可能である。ソフトウェアに対する言及はロジックを含み、また、必要に応じてその逆も可能である。コンピュータ読み取り可能な媒体に対する言及は、実行のためのソフトウェアを記憶する回路(集積回路(IC)のようなもの)、実行のためのロジックを具現化する回路、又は必要に応じてそれら双方を含むことが可能である。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。
【0168】
(付記1)
デコーダにおけるビデオ復号化のための方法であって、
ピクチャの符号化ブロックに関連する分割方向シンタックス要素、第1インデックス・シンタックス要素、及び第2インデックス・シンタックス要素を受信するステップであって、前記符号化ブロックは、三角予測モードで符号化され、前記分割方向シンタックス要素によって示される分割方向に従って、第1三角予測ユニット及び第2三角予測ユニットに区分され、前記第1及び第2インデックス・シンタックス要素はそれぞれ、前記第1及び第2三角予測ユニットのために構成されるマージ候補リストに対する第1マージ・インデックス及び第2マージ・インデックスを示す、ステップと、
前記分割方向シンタックス要素、前記第1インデックス・シンタックス要素、及び前記第2インデックス・シンタックス要素に基づいて、前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップと、
決定された前記分割方向、決定された前記第1マージ・インデックス、及び決定された前記第2マージ・インデックスに従って、前記符号化ブロックを再構成するステップと
を含む方法。
(付記2)
前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップは、
前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスの組み合わせを示す三角予測インデックスを、前記分割方向シンタックス要素、前記第1インデックス・シンタックス要素、及び前記第2インデックス・シンタックス要素に基づいて決定するステップと、
決定された三角予測インデックスに基づいて、前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップと
を含む、付記1に記載の方法。
(付記3)
前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップは、
前記分割方向シンタックス要素により示される前記分割方向に従って、前記分割方向を決定するステップと、
前記分割方向シンタックス要素、前記第1インデックス・シンタックス要素、及び前記第2インデックス・シンタックス要素に従って、前記第1マージ・インデックス及び前記第2マージ・インデックスを計算するステップと
を含む、付記1又は2に記載の方法。
(付記4)
前記分割方向シンタックス要素は、0又は1の値を有する、付記1-3のうちの何れか1項に記載の方法。
(付記5)
前記第1インデックス・シンタックス要素は、0、1、2、3、又は4の値を有し、前記第2インデックス・シンタックス要素は、0、1、2、又は3の値を有する、付記1-4のうちの何れか1項に記載の方法。
(付記6)
前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップは、
前記分割方向シンタックス要素は第1値である旨の判断に基づいて、前記分割方向は左上隅から右下隅であることを決定するステップと、
前記分割方向シンタックス要素は第2値である旨の判断に基づいて、前記分割方向は右上隅から左下隅であることを決定するステップと
を含む、付記1-5のうちの何れか1項に記載の方法。
(付記7)
前記前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップは、
前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスの組み合わせを示す三角予測インデックスを、
三角予測インデックス=a*第1インデックス・シンタックス要素+b*第2インデックス・シンタックス要素+c*分割方向シンタックス要素
に従って決定するステップを含み、a、b、及びcは整数である、付記1-6のうちの何れか1項に記載の方法。
(付記8)
aは8に等しく、bは2に等しく、cは1に等しい、付記7に記載の方法。
(付記9)
前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップは、
前記符号化ブロックが、左上隅から右下隅へ又は右上隅から左下隅へ分割されているかどうかを示す前記分割方向を、前記三角予測インデックスの最下位ビットに従って決定するステップを含む、付記7に記載の方法。
(付記10)
前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定する決定するステップは、
前記三角予測インデックスに基づいて前記第1及び第2マージ・インデックスを決定するステップを含む、付記7に記載の方法。
(付記11)
前記前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップは、
前記符号化ブロックは、左上隅から右下隅への第1方向、及び右上隅から左下隅への第2方向のうちの1つより分割されているかどうかを示す前記分割方向を決定するステップと、
前記分割方向が前記第1及び第2方向のうちの第1のものである場合において、
最後の3ビットを除く前記三角予測インデックスのビットから前記第1マージ・インデックスを決定し、
前記三角予測インデックスの最後から3番目及び2番目のビットにより表現される値が、決定された前記第1マージ・インデックスより小さい場合に、前記第2マージ・インデックスを、前記三角予測インデックスの最後から3番目及び2番目のビットにより表現される前記値であるように決定し、
前記三角予測インデックスの最後から3番目及び2番目のビットにより表現される前記値が、決定された前記第1マージ・インデックス以上である場合に、前記第2マージ・インデックスを、前記三角予測インデックスの最後から3番目及び2番目のビットにより表現される前記値プラス1であるように決定するステップと、
前記分割方向が前記第1及び第2方向のうちの第2のものである場合において、
最後の3ビットを除く前記三角予測インデックスのビットから前記第2マージ・インデックスを決定し、
前記三角予測インデックスの最後から3番目及び2番目のビットにより表現される値が、決定された前記第2マージ・インデックスより小さい場合に、前記第1マージ・インデックスを、前記三角予測インデックスの最後から3番目及び2番目のビットにより表現される前記値であるように決定し、
前記三角予測インデックスの最後から3番目及び2番目のビットにより表現される前記値が、決定された前記第2マージ・インデックス以上である場合に、前記第1マージ・インデックスを、前記三角予測インデックスの最後から3番目及び2番目のビットにより表現される前記値プラス1であるように決定するステップと
を含む、付記7に記載の方法。
(付記12)
前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップは、
前記分割方向シンタックス要素に従って前記分割方向を決定するステップと、
前記第1インデックス・シンタックス要素の値を有するように前記第1マージ・インデックスを決定するステップと、
前記第2インデックス・シンタックス要素が前記第1インデックス・シンタックス要素よりも小さな値を有する場合に、前記第2インデックス・シンタックス要素の値を有するように前記第2マージ・インデックスを決定するステップと、
前記第2インデックス・シンタックス要素が前記第1インデックス・シンタックス要素以上の値を有する場合に、前記第2インデックス・シンタックス要素の値プラス1を有するように前記第2マージ・インデックスを決定するステップと
を含む、付記1-11のうちの何れか1項に記載の方法。
(付記13)
前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスを決定するステップは、
前記符号化ブロックは、左上隅から右下隅への第1方向、及び右上隅から左下隅への第2方向のうちの1つより分割されているかどうかを示す前記分割方向を決定するステップと、
前記分割方向が前記第1及び第2方向のうちの第1のものである場合において、
前記第1マージ・インデックスを、前記第1インデックス・シンタックス要素の値であるように決定し、
前記第2インデックス・シンタックス要素が前記第1インデックス・シンタックス要素より小さい場合に、前記第2マージ・インデックスを、前記第2インデックス・シンタックス要素の値であるように決定し、
前記第2インデックス・シンタックス要素が前記第1インデックス・シンタックス要素以上である場合に、前記第2マージ・インデックスを、前記第2インデックス・シンタックス要素の前記値プラス1であるように決定するステップと、
前記分割方向が前記第1及び第2方向のうちの第2のものである場合において、
前記第2マージ・インデックスを、前記第1インデックス・シンタックス要素の値であるように決定し、
前記第2インデックス・シンタックス要素が前記第1インデックス・シンタックス要素より小さい場合に、前記第1マージ・インデックスを、前記第2インデックス・シンタックス要素の値であるように決定し、
前記第2インデックス・シンタックス要素が前記第1インデックス・シンタックス要素以上である場合に、前記第1マージ・インデックスを、前記第2インデックス・シンタックス要素の前記値プラス1であるように決定するステップと
を含む、付記1-12のうちの何れか1項に記載の方法。
(付記14)
前記第1及び第2インデックス・シンタックス要素は、前記符号化ブロックが左上隅から右下隅へ、又は右上隅から左下隅へ分割されているかどうかに応じて異なる意味を表現するように、別様に符号化される、付記1-13のうちの何れか1項に記載の方法。
(付記15)
前記第1及び第2インデックス・シンタックス要素のうちの少なくとも1つは、打ち切られた一進法符号化を使用して符号化されている、付記1-14のうちの何れか1項に記載の方法。
(付記16)
前記第1インデックス・シンタックス要素におけるビン及び前記第2インデックス・シンタックス要素におけるビンは、コンテキスト符号化されている、付記1-15のうちの何れか1項に記載の方法。
(付記17)
前記分割方向シンタックス要素、前記第1インデックス・シンタックス要素、及び第2インデックス・シンタックス要素のうちの1つの第1ビンは、コンテキスト符号化されている、付記1-16のうちの何れか1項に記載の方法。
(付記18)
前記分割方向シンタックス要素、前記第1インデックス・シンタックス要素、及び前記第2インデックス・シンタックス要素は、ビットストリームの中で、以下の順序:
前記分割方向シンタックス要素、前記第1インデックス・シンタックス要素、及び前記第2インデックス・シンタックス要素;
前記分割方向シンタックス要素、前記第2インデックス・シンタックス要素、及び前記第1インデックス・シンタックス要素;
前記第1インデックス・シンタックス要素、前記分割方向シンタックス要素、及び前記第2インデックス・シンタックス要素;
前記第1インデックス・シンタックス要素、前記第2インデックス・シンタックス要素、及び前記分割方向シンタックス要素;
前記第2インデックス・シンタックス要素、前記分割方向シンタックス要素、及び前記第1インデックス・シンタックス要素;
前記第2インデックス・シンタックス要素、前記第1インデックス・シンタックス要素、及び前記分割方向シンタックス要素;
のうちの1つで伝送されている、付記1-17のうちの何れか1項に記載の方法。
(付記19)
付記1-18のうちの何れか1項に記載の方法を実行するように構成された処理回路を含むビデオ復号化装置。
(付記20)
付記1-18のうちの何れか1項に記載の方法をコンピュータに実行させるコンピュータ・プログラム。
(付記21)
デコーダにおけるビデオ復号化のための方法であって、
ピクチャの符号化ブロックに関連する分割方向シンタックス要素、第1インデックス・シンタックス要素、及び第2インデックス・シンタックス要素を受信するステップであって、前記符号化ブロックは、三角予測モードに従って符号化され且つ分割方向に従って第1予測ユニット及び第2予測ユニットに区分されている、ステップと、
前記分割方向シンタックス要素を復号化することにより前記分割方向を決定するステップと、
前記第1インデックス・シンタックス要素を復号化することにより第1マージ・インデックスを決定するステップであって、前記第1マージ・インデックスは、前記符号化ブロックに対して構成されたマージ候補リストにおいて第1動き情報を識別し、前記第1マージ・インデックス要素は第1の1つ以上のビンに従って符号化されており、前記第1の1つ以上のビンのうちの1つのみがコンテキスト符号化されている、ステップと、
前記第2インデックス・シンタックス要素を復号化することにより第2マージ・インデックスを決定するステップであって、前記第2マージ・インデックスは、前記符号化ブロックに対して構成された前記マージ候補リストにおいて第2動き情報を識別し、前記第2マージ・インデックス要素は第2の1つ以上のビンに従って符号化されており、前記第2の1つ以上のビンのうちの1つのみがコンテキスト符号化されている、ステップと、
前記第1動き情報に従って前記第1予測ユニットの第1予測サンプルを決定するステップと、
前記第2動き情報に従って前記第2予測ユニットの第2予測サンプルを決定するステップと、
前記第1予測ユニットの前記第1予測サンプル及び前記第2予測ユニットの前記第2予測サンプルに従って、前記符号化ブロックを再構成するステップと
を含む方法。
(付記22)
エンコーダにおけるビデオ符号化のための方法であって、
ピクチャの符号化ブロックに関連する分割方向シンタックス要素、第1インデックス・シンタックス要素、及び第2インデックス・シンタックス要素を決定してデコーダに送信するステップであって、前記符号化ブロックは、三角予測モードで符号化され、前記分割方向シンタックス要素によって示される分割方向に従って、第1三角予測ユニット及び第2三角予測ユニットに区分され、前記第1及び第2インデックス・シンタックス要素はそれぞれ、前記第1及び第2三角予測ユニットのために構成されるマージ候補リストに対する第1マージ・インデックス及び第2マージ・インデックスを示す、ステップと
を含み、前記分割方向シンタックス要素、前記第1インデックス・シンタックス要素、及び前記第2インデックス・シンタックス要素に基づいて、前記分割方向、前記第1マージ・インデックス、及び前記第2マージ・インデックスは決定されており、
決定された前記分割方向、決定された前記第1マージ・インデックス、及び決定された前記第2マージ・インデックスに従って、前記符号化ブロックは再構成される、方法。
【0169】
付録A:略語
JEM:共同探索モデル
VVC:汎用ビデオ符号化
BMS:ベンチマーク・セット
MV:動きベクトル
HEVC:高効率ビデオ符号化
SEI:補足エンハンスメント情報
VUI:ビデオ利用性情報
GOPs:グループ・オブ・ピクチャ
TUs:変換ユニット
PUs:予測ユニット
CTUs:符号化ツリー・ユニット
CTBs:符号化ツリー・ブロック
PBs:予測ブロック
HRD:仮説参照デコーダ
SNR:信号雑音比
CPUs:中央処理ユニット
GPUs:グラフィックス処理ユニット
CRT:冷陰極線管
LCD:液晶ディスプレイ
OLED:有機発光ダイオード
CD:コンパクト・ディスク
DVD:ディジタル・ビデオ・ディスク
ROM:リード・オンリ・メモリ
RAM:ランダム・アクセス・メモリ
ASIC:特定用途向け集積回路
PLD:プログラマブル論理デバイス
LAN:ローカル・エリア・ネットワーク
GSM:移動通信用グローバル・システム
LTE:ロング・ターム・エボリューション
CANBus:コントローラ・エリア・ネットワーク・バス
USB:ユニバーサル・シリアル・バス
PCI:ペリフェラル・コンポーネント相互接続
FPGA:フィールド・プログラマブル・ゲート・アレイ
SSD:ソリッド・ステート・デバイス
IC:集積回路
CU:符号化ユニット
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14A
図14B
図14C
図14D
図15
図16
【外国語明細書】