特表2022-516251ビデオ・コーディングのための方法、装置、及びコンピュータ・プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-25
(54)【発明の名称】ビデオ・コーディングのための方法、装置、及びコンピュータ・プログラム
(51)【国際特許分類】
H04N 19/109 20140101AFI20220217BHJP
H04N 19/186 20140101ALI20220217BHJP
H04N 19/157 20140101ALI20220217BHJP
H04N 19/176 20140101ALI20220217BHJP
【ＦＩ】
H04N19/109
H04N19/186
H04N19/157
H04N19/176
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021535915
(86)(22)【出願日】2020-04-17
(85)【翻訳文提出日】2021-06-18
(86)【国際出願番号】 US2020028768
(87)【国際公開番号】W WO2020214953
(87)【国際公開日】2020-10-22
(31)【優先権主張番号】62/836,598
(32)【優先日】2019-04-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/851,052
(32)【優先日】2020-04-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】リ，グォイチュン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】シュイ，シアオジョォン
(72)【発明者】
【氏名】リィウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA14
5C159MA19
5C159MA21
5C159MC11
5C159ME01
5C159NN02
5C159NN03
5C159NN16
5C159NN21
5C159PP04
5C159RC16
5C159TA30
5C159UA02
5C159UA05
(57)【要約】
開示の態様はビデオ符号化／復号化のための方法及び装置を提供する。幾つかの例において、ビデオ復号化のための装置は受信回路及び処理回路を含む。例えば、処理回路は現在のピクチャにおける現在のブロックの予測情報を、コーディングされたビデオ・ビットストリームから復号化する。予測情報は、第1参照ピクチャ及び第2参照ピクチャに基づくリファインメント技術を利用する可能性があるインター予測モードを示す。処理回路は、第1参照ピクチャ及び第2参照ピクチャからのクロマ成分の第1等加重条件が充足されているかどうかを判断する。第1参照ピクチャ及び第2参照ピクチャからのクロマ成分の第1等加重条件を充足していないことに応答して、処理回路は、現在のブロックにおけるサンプルの再構築においてリファインメント技術をディセーブルにする。
【特許請求の範囲】
【請求項1】
デコーダにおけるビデオ復号化のための方法であって、プロセッサが、現在のピクチャにおける現在のブロックの予測情報を、コーディングされたビデオ・ビットストリームから復号化するステップであって、前記予測情報は、第1参照ピクチャ及び第2参照ピクチャに基づくリファインメント技術を利用する可能性があるインター予測モードを示す、ステップと、
前記プロセッサが、前記第1参照ピクチャ及び前記第2参照ピクチャからのクロマ成分の第1等加重条件が充足されているかどうかを判断するステップと、
前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記第1等加重条件を充足していないことに応答して、前記プロセッサが、前記現在のブロックにおけるサンプルの再構築において前記リファインメント技術をディセーブルにするステップと、
を含む方法。
【請求項2】
前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記第1等加重条件を充足していないことに応答して、前記プロセッサが、前記現在のブロックにおけるルマ・サンプルの再構築において前記リファインメント技術をディセーブルにするステップを更に含む請求項1に記載の方法。
【請求項3】
前記プロセッサが、前記第1参照ピクチャ及び前記第2参照ピクチャからのルマ成分の第2等加重条件が充足されているかどうかを判断するステップと、前記クロマ成分の前記第1等加重条件及び前記ルマ成分の前記第2等加重条件のうちの少なくとも1つを充足していないことに応答して、前記プロセッサが、前記現在のブロックにおける前記ルマ・サンプルの前記再構築において前記リファインメント技術をディセーブルにするステップ
を更に含む請求項2に記載の方法。
【請求項4】
前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記第1等加重条件を充足していないことに応答して、前記プロセッサが、前記現在のブロックにおけるクロマ・サンプルの再構築において前記リファインメント技術をディセーブルにするステップを更に含む請求項1ないし3のうちの何れか1項に記載の方法。
【請求項5】
前記リファインメント技術が、双方向オプティカル・フロー（BDOF）及びデコーダ側動きベクトル・リファインメント（DMVR）のうちの少なくとも1つを含む、請求項1ないし4のうちの何れか1項に記載の方法。
【請求項6】
前記第1参照ピクチャ及び前記第2参照ピクチャのうちの一方が前記現在のピクチャより大きなピクチャ・オーダー・カウントを有し、前記第1参照ピクチャ及び前記第2参照ピクチャのうちの他方が前記現在のピクチャより小さなピクチャ・オーダー・カウントを有する、請求項1ないし5のうちの何れか1項に記載の方法。
【請求項7】
前記プロセッサが、前記第1参照ピクチャのクロマ・ウェイトの第1フラグ及び前記第2参照ピクチャのクロマ・ウェイトの第2フラグのうちの少なくとも1つがゼロに等しくないことに基づいて、前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記等加重条件を充足していないと判断するステップを更に含む請求項1ないし6のうちの何れか1項に記載の方法。
【請求項8】
処理回路を含むビデオ復号化のための装置であって、前記処理回路は、現在のピクチャにおける現在のブロック予測の情報を、コーディングされたビデオ・ビットストリームから復号化するステップであって、前記予測情報は、第1参照ピクチャ及び第2参照ピクチャに基づくリファインメント技術を利用する可能性があるインター予測モードを示す、ステップと、
前記第1参照ピクチャ及び前記第2参照ピクチャからのクロマ成分の第1等加重条件が充足されているかどうかを判断するステップと、
前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記第1等加重条件を充足していないことに応答して、前記現在のブロックにおけるサンプルの再構築において前記リファインメント技術をディセーブルにするステップと、
を行うように構成されている、装置。
【請求項9】
前記処理回路は、前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記第1等加重条件を充足していないことに応答して、前記現在のブロックにおけるルマ・サンプルの再構築において前記リファインメント技術をディセーブルにするステップ
を更に行うように構成されている、請求項8に記載の装置。
【請求項10】
前記処理回路は、前記第1参照ピクチャ及び前記第2参照ピクチャからのルマ成分の第2等加重条件が充足されているかどうかを判断するステップと、
前記クロマ成分の前記第1等加重条件及び前記ルマ成分の前記第2等加重条件のうちの少なくとも1つを充足していないことに応答して、前記現在のブロックにおける前記ルマ・サンプルの前記再構築において前記リファインメント技術をディセーブルにするステップ
を行うように構成されている、請求項9に記載の装置。
【請求項11】
前記処理回路は、前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記第1等加重条件を充足していないことに応答して、前記現在のブロックにおけるクロマ・サンプルの再構築において前記リファインメント技術をディセーブルにするステップ
を行うように構成されている、請求項8ないし10のうちの何れか1項に記載の装置。
【請求項12】
前記リファインメント技術が、双方向オプティカル・フロー（BDOF）及びデコーダ側動きベクトル・リファインメント（DMVR）のうちの少なくとも1つを含む、請求項8ないし11のうちの何れか1項に記載の装置。
【請求項13】
前記第1参照ピクチャ及び前記第2参照ピクチャのうちの一方が前記現在のピクチャより大きなピクチャ・オーダー・カウントを有し、前記第1参照ピクチャ及び前記第2参照ピクチャのうちの他方が前記現在のピクチャより小さなピクチャ・オーダー・カウントを有する、請求項8ないし12のうちの何れか1項に記載の装置。
【請求項14】
前記処理回路は、前記第1参照ピクチャのクロマ・ウェイトの第1フラグ及び前記第2参照ピクチャのクロマ・ウェイトの第2フラグのうちの少なくとも1つがゼロに等しくないことに基づいて、前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記等加重条件を充足していないと判断するステップ
を行うように構成されている、請求項8ないし13のうちの何れか1項に記載の装置。
【請求項15】
コンピュータに、現在のピクチャにおける現在のブロックの予測情報を、コーディングされたビデオ・ビットストリームから復号化するステップであって、前記予測情報は、第1参照ピクチャ及び第2参照ピクチャに基づくリファインメント技術を利用する可能性があるインター予測モードを示す、ステップと、
前記第1参照ピクチャ及び前記第2参照ピクチャからのクロマ成分の第1等加重条件が充足されているかどうかを判断するステップと、
前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記第1等加重条件を充足していないことに応答して、前記現在のブロックにおけるサンプルの再構築において前記リファインメント技術をディセーブルにするステップと、
を実行させる、コンピュータ・プログラム。
【請求項16】
前記コンピュータに、前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記第1等加重条件を充足していないことに応答して、前記現在のブロックにおけるルマ・サンプルの再構築において前記リファインメント技術をディセーブルにするステップ
を更に実行させる、請求項15に記載のコンピュータ・プログラム。
【請求項17】
前記コンピュータに、前記第1参照ピクチャ及び前記第2参照ピクチャからのルマ成分の第2等加重条件が充足されているかどうかを判断するステップと、
前記クロマ成分の前記第1等加重条件及び前記ルマ成分の前記第2等加重条件のうちの少なくとも1つを充足していないことに応答して、前記現在のブロックにおける前記ルマ・サンプルの前記再構築において前記リファインメント技術をディセーブルにするステップ
を更に実行させる、請求項16に記載のコンピュータ・プログラム。
【請求項18】
前記コンピュータに、前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記第1等加重条件を充足していないことに応答して、前記現在のブロックにおけるクロマ・サンプルの再構築において前記リファインメント技術をディセーブルにするステップ
を更に実行させる、請求項15ないし17のうちの何れか1項に記載のコンピュータ・プログラム。
【請求項19】
前記リファインメント技術が、双方向オプティカル・フロー（BDOF）及びデコーダ側動きベクトル・リファインメント（DMVR）のうちの少なくとも1つを含む、請求項15ないし18のうちの何れか1項に記載のコンピュータ・プログラム。
【請求項20】
前記コンピュータに、前記第1参照ピクチャのクロマ・ウェイトの第1フラグ及び前記第2参照ピクチャのクロマ・ウェイトの第2フラグのうちの少なくとも1つがゼロに等しくない場合に、前記第1参照ピクチャ及び前記第2参照ピクチャからの前記クロマ成分の前記等加重条件を充足していないと判断するステップ
を更に実行させる、請求項15ないし19のうちの何れか1項に記載のコンピュータ・プログラム。
【請求項21】
エンコーダにおけるビデオ符号化のための方法であって、プロセッサが、現在のピクチャにおける現在のブロックの予測情報を決定し、前記予測情報を含むコーディングされたビデオ・ビットストリームをエンコーダに送信するステップ
を含み、前記予測情報は、第1参照ピクチャ及び第2参照ピクチャに基づくリファインメント技術を利用する可能性があるインター予測モードを示し、
前記第1参照ピクチャ及び前記第2参照ピクチャからのクロマ成分の第1等加重条件を充足していない場合、前記現在のブロックにおけるサンプルの再構築において前記リファインメント技術はディセーブルにされる、方法。
【発明の詳細な説明】
【背景技術】
【0001】
参照による援用
本出願は、2020年4月16日付で出願された米国特許出願第16/851,052号「ビデオ・コーディングのための方法及び装置」に対する優先権の利益を主張しており、その出願は2019年4月19日付で出願された米国仮出願第62/836,598号「DMVR/BDOFを適用する条件」に対する優先権の利益を主張している。先行する出願の開示全体は参照により全体的に本願に組み込まれる。
本出願は、2020年4月16日付で出願された米国特許出願第16/851,052号「ビデオ・コーディングのための方法及び装置」に対する優先権の利益を主張しており、その出願は2019年4月19日付で出願された米国仮出願第62/836,598号「DMVR/BDOFを適用する条件」に対する優先権の利益を主張している。先行する出願の開示全体は参照により全体的に本願に組み込まれる。
【0002】
技術分野
本開示は一般にビデオ・コーディングに関連する実施形態を説明している。
本開示は一般にビデオ・コーディングに関連する実施形態を説明している。
【0003】
背景
本願で行われる背景の説明は、本開示の状況を一般的に提示するためのものである。現在の発明者の名の下になされる仕事は、その仕事がこの背景のセクションだけでなく、別の方法で出願時における先行技術としての適格性を付与されない記述の態様で説明される範囲において、本開示に対する先行技術として、明示的にも暗示的にも認められていない。
本願で行われる背景の説明は、本開示の状況を一般的に提示するためのものである。現在の発明者の名の下になされる仕事は、その仕事がこの背景のセクションだけでなく、別の方法で出願時における先行技術としての適格性を付与されない記述の態様で説明される範囲において、本開示に対する先行技術として、明示的にも暗示的にも認められていない。
【0004】
ビデオ・コーディング及びデコーディングは、動き補償を伴うインター・ピクチャ予測を用いて実行されることが可能である。非圧縮化されたデジタル・ビデオは一連のピクチャを含むことが可能であり、各ピクチャは、例えば1920×1080のルミナンス・サンプル及び関連するクロミナンス・サンプルの空間次元を有する。一連のピクチャは、例えば60ピクチャ/秒、即ち60Hzの固定された又は可変のピクチャ・レート(非公式に、フレーム・レートとして知られている)を有することが可能である。非圧縮化されたビデオは、かなりのビットレート要件を有する。例えば、サンプル当たり8ビットの1080p60 4：2：0ビデオ(60Hzのフレーム・レートで1920x1080のルミナンス・サンプル解像度)は、1.5Gbit/sに近い帯域幅を必要とする。このようなビデオの1時間は、600Gバイトを超える記憶スペースを必要とする。
【0005】
ビデオ・コーディング及びデコーディングの目的の1つは、圧縮による入力ビデオ信号の冗長性の低減であるということができる。圧縮は、場合によっては、2桁以上の大きさで、前述の帯域幅又は記憶スペース要件を低減するのに役立つ可能性がある。ロスレス及び非ロスレス圧縮の両方、並びにそれらの組み合わせを用いることができる。ロスレス圧縮とは、元の信号の正確なコピーが、圧縮された元の信号から再構成することができる技術をいう。非ロスレス圧縮を使用する場合、再構成された信号は、元の信号と同一ではないかもしれないが、元の信号と再構成された信号との間の歪は、再構成された信号が、意図された用途にとって有用である程度に十分に小さい。ビデオの場合、非ロスレス圧縮が広く用いられている。許容される歪の量は、用途に依存し、例えば特定の消費者ストリーミング・アプリケーションのユーザーは、テレビ配信アプリケーションのユーザーよりも高い歪に耐え得る可能性がある。達成可能な圧縮比は、より高い許容可能な／耐え得る歪はより高い圧縮比をもたらし得ることを反映することが可能である。
【0006】
動き補償は、非ロスレス圧縮技術である可能性があり、動きベクトル(以下、MVとする)で示される方向に空間的にシフトした後に、以前に再構成されたピクチャ又はその一部(参照ピクチャ)からのサンプル・データのブロックが、新たに再構成されるピクチャ又はピクチャの一部分の予測に使用される技術に関連する可能性がある。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じである可能性がある。MVは、2つの次元X及びY、又は3次元を有する可能性があり、第3の次元は、使用中の参照ピクチャの指示である(後者は、間接的に、時間次元であるとすることが可能である)。
【0007】
一部のビデオ圧縮技術では、サンプル・データの特定のエリアに適用可能なMVは、他のMVから、例えば、再構成中のエリアに空間的に隣接するサンプル・データの他のエリアに関連するものであって復号化の順番でそのMVに先行するものから、予測することが可能である。このようにすると、MVをコーディングするために必要なデータ量を大幅に削減することができ、それによって冗長性を除去し、圧縮を高めることができる。MV予測は、例えば、カメラ(ナチュラル・ビデオとして知られる)から導出される入力ビデオ信号をコーディングする際に、単一のMVが適用可能であるエリアよりも大きなエリアが、同様な方向に移動する統計的な尤度が存在し、従って場合によっては、隣接するエリアのMVから導出される同様な動きベクトルを用いて予測することが可能であるので、効果的に機能する可能性がある。これは、与えられたエリアに対して、周囲のMVから予測されるMVに類似する又は同一であると見出されるMVをもたらし、それは、エントロピー・コーディングの後に、MVを直接的にコーディングする場合に使用されるものよりも、より少ないビット数で表現されることが可能である。場合によっては、MV予測は、元の信号(即ち、サンプル・ストリーム)から導出された信号(即ち、MV)のロスレス圧縮の例である可能性がある。他の場合に、MV予測それ自体が、例えば幾つかの周囲のMVから予測子を計算する際に、丸め誤差に起因して非ロスレスである可能性がある。
【0008】
様々なMV予測メカニズムは、H.265/HEVC(ITU-T Rec.H.265，“High Efficiency Video Coding”，December 2016)に記載されている。H.265が提供する多くのMV予測メカニズムのうち、本願で説明されるものは、今後「空間マージ」と呼ばれる技術である。
【0009】
図1を参照すると、現在のブロック(101)は、空間的にシフトされた同じサイズの以前のブロックから予測可能であるように動き探索プロセス中にエンコーダによって発見されているサンプルを含む。そのMVを直接的にコーディングする代わりに、MVは、1つ以上の参照ピクチャに関連付けられたメタデータから、例えばA0、A1、及びB0、B1、B2と示される5つの隣接するブロック(それぞれ102から106)の何れかに関連付けられたMVを使用して、(復号化の順序で)最新の参照ピクチャから、導出されることが可能である。H.265では、MV予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【0010】
開示の態様はビデオ符号化／復号化のための方法及び装置を提供する。幾つかの例において、ビデオ復号化のための装置は受信回路及び処理回路を含む。例えば、処理回路は現在のピクチャにおける現在のブロックの予測情報を、コーディングされたビデオ・ビットストリームから復号化する。予測情報は、第1参照ピクチャ及び第2参照ピクチャに基づくリファインメント技術を利用する可能性があるインター予測モードを示す。処理回路は、第1参照ピクチャ及び第2参照ピクチャからのクロマ成分の第1等加重条件が充足されているかどうかを判断する。第1参照ピクチャ及び第2参照ピクチャからのクロマ成分の第1等加重条件を充足していないことに応答して、処理回路は、現在のブロックにおけるサンプルの再構築においてリファインメント技術をディセーブルにする。
【0011】
幾つかの実施形態において、処理回路は、第1参照ピクチャ及び第2参照ピクチャからのクロマ成分の第1等加重条件を充足していないことに応答して、現在のブロックにおけるルマ・サンプルの再構築においてリファインメント技術をディセーブルにする。幾つかの例において、処理回路は、第1参照ピクチャ及び第2参照ピクチャからのルマ成分の第2等加重条件が充足されているかどうかを判断する。次いで、処理回路は、クロマ成分の第1等加重条件及びルマ成分の第2等加重条件のうちの少なくとも1つを充足していないことに応答して、現在のブロックにおけるルマ・サンプルの再構築においてリファインメント技術をディセーブルにする。
【0012】
幾つかの実施形態において、処理回路は、第1参照ピクチャ及び第2参照ピクチャからのクロマ成分の第1等加重条件を充足していないことに応答して、現在のブロックにおけるクロマ・サンプルの再構築においてリファインメント技術をディセーブルにする。
【0013】
リファインメント技術は、双方向オプティカル・フロー（BDOF）及びデコーダ側動きベクトル・リファインメント（DMVR）のうちの少なくとも1つを含むことが可能であることに留意を要する。
【0014】
幾つかの実施形態において、第1参照ピクチャ及び第2参照ピクチャのうちの一方が現在のピクチャより大きなピクチャ・オーダー・カウントを有し、第1参照ピクチャ及び第2参照ピクチャのうちの他方が現在のピクチャより小さなピクチャ・オーダー・カウントを有するる。
【0015】
幾つかの実施形態において、処理回路は、第1参照ピクチャのクロマ・ウェイトの第1フラグ及び第2参照ピクチャのクロマ・ウェイトの第2フラグのうちの少なくとも1つがゼロに等しくないことに基づいて、第1参照ピクチャ及び第2参照ピクチャからのクロマ成分の等加重条件を充足していないと判断する。
【0016】
本開示の態様はまた、ビデオ復号化のためにコンピュータによって実行される場合にビデオ復号化方法をコンピュータに実行させる命令を記憶する非一時的なコンピュータ読み取り可能な媒体を提供する。
【図面の簡単な説明】
【0017】
開示される対象事項の更なる特徴、性質、及び種々の利点は、以下の詳細な説明及び添付図面から更に明らかになるであろう。
【0018】
【図1】一例における現在のブロック及びその周囲の空間的なマージ候補の概略図である。
【0019】
【図2】一実施形態による通信システム(200)の簡略化されたブロック図の概略図である。
【0020】
【図3】一実施形態による通信システム(300)の簡略化されたブロック図の概略図である。
【0021】
【図4】一実施形態によるデコーダの簡略化されたブロック図の概略図である。
【0022】
【図5】一実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【0023】
【図6】別の実施形態によるエンコーダのブロック図を示す。
【0024】
【図7】他の実施形態によるデコーダのブロック図を示す。
【0025】
【図8】双方向オプティカル・フロー（bi-directional optical flow，BDOF）における拡張されたコーディング・ユニット領域の例を示す。
【0026】
【図9】デコーダ側動きベクトル・リファインメント (decoder side vector refinement，DMVR)の例を示す。
【0027】
【0028】
【0029】
【図12】本開示の幾つかの実施形態に従うプロセス例を概説するフローチャートを示す。
【0030】
【図13】実施形態によるコンピュータ・システムの概略図である。
【発明を実施するための形態】
【0031】
図2は、本開示の一実施形態による通信システム(200)の簡略化されたブロック図を示す。通信システム(200)は、例えばネットワーク(250)を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム(200)は、ネットワーク(250)を介して相互接続された第1ペアの端末デバイス(210)及び(220)を含む。図2の例では、第1ペアの端末デバイス(210)及び(220)は、データの一方向送信を行う。例えば、端末デバイス(210)は、ネットワーク(250)を介する他の端末デバイス(220)への伝送のために、ビデオ・データ(例えば、端末デバイス(210)によって捕捉されたビデオ・ピクチャのストリーム)をコーディングすることができる。符号化されたビデオ・データは、1つ以上のコーディングされたビデオ・ビットストリームの形態で送信することができる。端末デバイス(220)は、コーディングされたビデオ・データをネットワーク(250)から受信し、コーディングされたビデオ・データを復号化して、ビデオ・ピクチャを復元し、復元されたビデオ・データに従ってビデオ・ピクチャを表示することができる。一方向性データ伝送は、媒体サービング・アプリケーション等において一般的なものであってもよい。
【0032】
別の例では、通信システム(200)は、例えば、ビデオ・カンファレンス中に発生する可能性があるコーディングされたビデオ・データの双方向伝送を行う第2ペアの端末デバイス(230)及び(240)を含む。データの双方向伝送に関し、例えば、端末デバイス(230)及び(240)の各端末デバイスは、ネットワーク(250)を介して端末デバイス(230)及び(240)の他方の端末デバイスへ伝送するために、ビデオ・データ(例えば、端末デバイスによって捕捉されるビデオ・ピクチャのストリーム)をコーディングすることができる。端末デバイス(230)及び(240)の各端末デバイスもまた、端末デバイス(230)及び(240)の他方の端末デバイスによって送信されたコーディングされたビデオ・データを受信することが可能であり、コーディングされたビデオ・データを復号化してビデオ・ピクチャを復元することが可能であり、復元されたビデオ・データに従って、アクセス可能なディスプレイ・デバイスでビデオ・ピクチャを表示することが可能である。
【0033】
図2の例では、端末デバイス(210)、(220)、(230)、(240)は、サーバー、パーソナル・コンピュータ、スマートフォンとして示されているが、本開示の原理はそのように限定されない。本開示の実施形態は、ラップトップ・コンピュータ、タブレット・コンピュータ、メディア・プレーヤ、及び/又は専用のビデオ・カンファレンス装置のアプリケーションを見出している。ネットワーク(250)は、例えば有線(配線された)及び/又は無線通信ネットワークを含む、コーディングされたビデオ・データを端末デバイス(210)、(220)、(230)、及び(240)の間で運ぶネットワークを幾つでも表現してよい。通信ネットワーク(250)は、回線交換及び/又はパケット交換型のチャネルでデータを交換することができる。代表的なネットワークは、テレコミュニケーション・ネットワーク、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、及び/又はインターネットを含む。本開示の目的に関し、ネットワーク(250)のアーキテクチャ及びトポロジーは、以下において説明されない限り、本開示の動作にとって重要ではない可能性がある。
【0034】
図3は、開示される対象事項の適用例として、ストリーミング環境におけるビデオ・エンコーダ及びビデオ・デコーダの配置を示す。開示される対象事項は、例えば、ビデオ・カンファレンス、デジタルTV、圧縮されたビデオのデジタル・メディア(CD、DVD、メモリ・スティック等を含む)への記憶などを含む、他のビデオの利用が可能なアプリケーションにも等しく適用することが可能である。
【0035】
ストリーミング・システムは、ビデオ・ソース(301)、例えばデジタル・カメラを含むことが可能であり、例えば非圧縮のビデオ・ピクチャ(302)のストリームを生成することが可能なキャプチャ・サブシステム(313)を含んでもよい。一例では、ビデオ・ピクチャのストリーム(302)は、デジタル・カメラによって撮影されるサンプルを含む。符号化されたビデオ・データ(304)(又はコーディングされたビデオ・ビットストリーム)と比較して、より多くのデータ量を強調するために太い線として描かれているビデオ・ピクチャのストリーム(302)は、ビデオ・ソース(301)に結合されたビデオ・エンコーダ(303)を含む電子デバイス(320)によって処理されることが可能である。ビデオ・エンコーダ(303)は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含み、以下で詳細に説明されるような開示される対象事項の態様を動作可能にする又は実現することが可能である。ビデオ・ピクチャ(302)のストリームと比較して、より少ないデータ量を強調するために細い線として描かれている符号化されたビデオ・データ(304)(又は符号化されたビデオ・ビットストリーム(304))は、将来の使用のためにストリーミング・サーバー(305)に記憶されることが可能である。図3のクライアント・サブシステム(306)及び(308)のような1つ以上のストリーミング・クライアント・サブシステムは、ストリーミング・サーバー(305)にアクセスして、符号化されたビデオ・データ(304)のコピー(307)及び(309)を取り出すことができる。クライアント・サブシステム(306)は、例えば電子デバイス(330)内にビデオ・デコーダ(310)を含むことができる。ビデオ・デコーダ(310)は、符号化されたビデオ・データの到来するコピー(307)を復号化し、ディスプレイ(312)(例えばディスプレイ・スクリーン)又は他のレンダリング・デバイス(不図示)でレンダリングすることができるビデオ・ピクチャの出力ストリーム(311)を生成する。幾つかのストリーミング・システムでは、符号化されたビデオ・データ(304)、(307)、及び(309)(例えば、ビデオ・ビットストリーム)は、特定のビデオ・コーディング/圧縮規格に従って符号化することができる。これらの規格の例は、ITU-T勧告H.265を含む。一例において、開発中のビデオ・コーディング規格は、多用途ビデオ・コーディング(VVC)として非公式に知られている。開示される対象事項はVVCの状況で使用されてもよい。
【0036】
電子デバイス(320)及び(330)は、他のコンポーネント(図示せず)を含むことができることに留意されたい。例えば、電子デバイス(320)は、ビデオ・デコーダ(不図示)を含むことが可能であり、電子デバイス(330)は、ビデオ・エンコーダ(不図示)も含むことも可能である。
【0037】
図4は本開示の一実施形態によるビデオ・デコーダ(410)のブロック図を示す。ビデオ・デコーダ(410)は、電子デバイス(430)に含まれることが可能である。電子デバイス(430)は、受信機(431)(例えば、受信回路)を含むことが可能である。ビデオ・デコーダ(410)は、図3の例におけるビデオ・デコーダ(310)の代わりに使用することができる。
【0038】
受信機(431)は、ビデオ・デコーダ(410)によって復号化されるべき1つ以上のコーディングされたビデオ・シーケンスを受信することが可能であり；同じ又は別の実施形態において、各々のコーディングされたビデオ・シーケンスの復号化が、他のコーディングされたビデオ・シーケンスから独立している場合には、一度に1つのコーディングされたビデオ・シーケンスを受信することが可能である。コーディングされたビデオ・シーケンスは、チャネル(401)から受信することが可能であり、このチャネルは、符号化されたビデオ・データを記憶するストレージ・デバイスへのハードウェア/ソフトウェア・リンクであってもよい。受信機(431)は、符号化されたビデオ・データを、他のデータ、例えばコーディングされたオーディオ・データ及び/又は補助的なデータ・ストリームとともに受信することが可能であり、これらのデータは、それぞれのエンティティ(不図示)を使用して転送されることが可能である。受信機(431)は、コーディングされたビデオ・シーケンスを他のデータから分離することができる。ネットワーク・ジッタに対処するために、バッファ・メモリ(415)は、受信機(431)とエントロピー・デコーダ/パーサー(420)(以後「パーサー(420)」と言及する)との間に結合されてもよい。特定のアプリケーションでは、バッファ・メモリ(415)はビデオ・デコーダ(410)の一部である。他の場合において、それはビデオ・デコーダ(410)の外側にある可能性がある(不図示)。更に別の例では、例えばネットワーク・ジッタに対処するために、ビデオ・デコーダ(410)の外側にバッファ・メモリ(不図示)が、更には、例えば再生タイミングを取り扱うためにビデオ・デコーダ(410)の内側に別のバッファ・メモリ(415)が、存在することが可能である。受信機(431)が、十分な帯域幅及び制御可能性を有するストア/フォワード・デバイスから、又は同期ネットワークから、データを受信している場合、バッファ・メモリ(415)は不要である可能性があるか、又は小さくすることが可能である。インターネットのようなベスト・エフォート・パケット・ネットワークでの使用のために、バッファ・メモリ(415)が必要とされるかもしれず、それは比較的大きい可能性があり、有利なことに適応的なサイズであるとすることが可能であり、ビデオ・デコーダ(410)の外側のオペレーティング・システム又は類似の要素(不図示)において少なくとも部分的に実装されてもよい。
【0039】
ビデオ・デコーダ(410)は、コーディングされたビデオ・シーケンスからシンボル(421)を再構成するためにパーサー(420)を含むことができる。これらのシンボルのカテゴリは、ビデオ・デコーダ(410)の動作を管理するために使用される情報、及び潜在的には、図4に示されているように、電子デバイス(430)の不可欠な部分ではないが電子デバイス(430)に結合されることが可能なレンダリング・デバイス(412)(例えば、ディスプレイ・スクリーン)のようなレンダリング・デバイスを制御するための情報を含む。レンダリング・デバイスの制御情報は、サプルメンタル・エンハンスメント情報(SEIメッセージ)又はビデオ・ユーザビリティ情報(VUI)パラメータ・セット・フラグメント(不図示)の形態におけるものであってもよい。パーサー(420)は、受信されるコーディングされたビデオ・シーケンスを解析/エントロピー復号化することができる。コーディングされるビデオ・シーケンスのコーディングは、ビデオ・コーディング技術又は規格に従うことが可能であり、可変長コーディング、ハフマン・コーディング、コンテキストの影響を伴う又は伴わない算術コーディング等を含む種々の原理に従うことが可能である。パーサー(420)は、グループに対応する少なくとも1つのパラメータに基づいて、ビデオ・デコーダ内のピクセルのサブグループの少なくとも1つに対するサブグループ・パラメータのセットを、コーディングされたビデオ・シーケンスから抽出することができる。サブグループは、グループ・オブ・ピクチャ(GOP)、ピクチャ、タイル、スライス、マクロブロック、コーディング・ユニット(CU)、ブロック、変換ユニット(TU)、予測ユニット(PU)等を含むことが可能である。パーサー(420)はまた、変換係数、量子化パラメータ値、動きベクトル等のコーディングされたビデオ・シーケンス情報から抽出することも可能である。
【0040】
パーサー(420)は、シンボル(421)を生成するために、バッファ・メモリ(415)から受信したビデオ・シーケンスに対してエントロピー復号化/解析処理を実行することが可能である。
【0041】
シンボル(421)の再構成は、コーディングされたビデオ・ピクチャ又はその部分のタイプ(インター及びイントラ・ピクチャ、インター及びイントラ・ブロック)及び他の要因に応じて、複数の異なるユニットを含むことが可能である。どのユニットがどのように包含されるかは、コーディングされたビデオ・シーケンスからパーサー(420)によって解析されたサブグループ制御情報によって制御されることが可能である。パーサー(420)と以下の複数ユニットとの間のこのようなサブグループ制御情報の流れは、明確性のために描かれていない。
【0042】
ビデオ・デコーダ(410)は、既に述べた機能ブロックを超えて更に、以下に説明するような複数の機能ユニットに概念的に細分されることが可能である。商業的制約の下で動作する実用的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることが可能である。しかしながら、開示される対象事項を説明する目的に関し、以下の機能ユニットへの概念的な細分は適切なことである。
【0043】
第1ユニットは、スケーラ/逆変換ユニット(451)である。スケーラ/逆変換ユニット(451)は、量子化された変換係数だけでなく制御情報(使用する変換、ブロック・サイズ、量子化因子、量子化スケーリング行列などを含む)も、パーサー(420)からシンボル(421)として受信する。スケーラ/逆変換ユニット(451)は、アグリゲータ(455)に入力されることが可能なサンプル値を含むブロックを出力することが可能である。
【0044】
場合によっては、スケーラ/逆変換(451)の出力サンプルは、イントラ・コーディングされたブロック：即ち、以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関連する可能性がある。このような予測情報は、イントラ・ピクチャ予測ユニット(452)によって提供することが可能である。場合によっては、イントラ・ピクチャ予測ユニット(452)は、現在のピクチャバッファ(458)から取り出された既に再構成された周囲の情報を使用して、再構成中のブロックの同じサイズ及び形状のブロックを生成する。現在のピクチャ・バッファ(458)は、例えば、部分的に再構成された現在のピクチャ及び/又は完全に再構成された現在のピクチャをバッファリングする。アグリゲータ(455)は、場合によっては、サンプル毎に、イントラ予測ユニット(452)が生成した予測情報を、スケーラ/逆変換ユニット(451)によって提供されるような出力サンプル情報に加える。
【0045】
それ以外の場合には、スケーラ/逆変換ユニット(451)の出力サンプルは、インター・コーディングされた動き補償される可能性のあるブロックに関連する可能性がある。このような場合において、動き補償予測ユニット(453)は、予測に使用されるサンプルを取り出すために、参照ピクチャ・メモリ(457)にアクセスすることが可能である。ブロックに関連するシンボル(421)に従って、取り出されたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ(455)によって、スケーラ/逆変換ユニット(451)の出力に加えられ(この場合は、残差サンプル又は残差信号と呼ばれる)、出力サンプル情報を生成する。動き補償予測ユニット(453)が予測サンプルをフェッチする元である参照ピクチャ・メモリ(457)内のアドレスは、例えばX、Y、及び参照ピクチャ成分を有することが可能であるシンボル(421)の形態で、動き補償予測ユニット(453)にとって利用可能な動きベクトルによって制御されることが可能である。また、動き補償は、サブ・サンプルの正確な動きベクトルが使用される場合に、参照ピクチャ・メモリ(457)から取り出されるようなサンプル値の補間、動きベクトル予測メカニズム等を含むことが可能である。
【0046】
アグリゲータ(455)の出力サンプルは、ループ・フィルタ・ユニット(456)内の様々なループ・フィルタリング技術の影響を受けることが可能である。ビデオ圧縮技術は、コーディングされたビデオ・シーケンス(コーディングされたビデオ・ビットストリームとも呼ばれる)に含まれ、且つパーサー(420)からのシンボル(421)としてループ・フィルタ・ユニット(456)にとって利用可能にされるパラメータによって制御されるが、コーディングされたピクチャ又はコーディングされたビデオ・シーケンスの(復号化の順番で)以前の部分の復号化の間に取得されたメタ情報に応答することが可能であるとともに、以前に再構成されたループ・フィルタリングされたサンプル値にも応答することが可能である、ループ内フィルタ技術を含むことが可能である。
【0047】
ループ・フィルタ・ユニット(456)の出力は、レンダリング・デバイス(412)に出力できるだけでなく、将来のインター・ピクチャ予測に使用するために参照ピクチャ・メモリ(457)に格納することも可能なサンプル・ストリームであるとすることが可能である。
【0048】
所定のコーディングされたピクチャは、いったん完全に再構成されると、将来の予測のための参照ピクチャとして使用することが可能である。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが(例えば、パーサー(420)によって)参照ピクチャとして識別されると、現在のピクチャ・バッファ(458)は参照ピクチャ・メモリ(457)の一部となることが可能であり、新しい現在のピクチャ・バッファは、以後のコーディングされたピクチャの再構成を開始する前に、再割り当てされることが可能である。
【0049】
ビデオ・デコーダ(410)は、ITU-T Rec.H.265のような規格における所定のビデオ圧縮技術に従って復号化動作を実行することが可能である。コーディングされたビデオ・シーケンスは、コーディングされたビデオ・シーケンスが、ビデオ圧縮技術又は規格のシンタックス、及びビデオ圧縮技術又は規格で文書化されているようなプロファイルの両方に従うという意味で、使用されているビデオ圧縮技術又は規格によって指定されたシンタックスに準拠することが可能である。具体的には、プロファイルは、特定のツールを、そのプロファイルの下で使用できる唯一のツールとして、ビデオ圧縮技術又は規格で使用可能なすべてのツールから選択することが可能である。また、コンプライアンスのために必要なことは、コーディングされたビデオ・シーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって定義される範囲内にあることである。場合によっては、そのレベルは、最大ピクチャ・サイズ、最大フレーム・レート、最大再構成サンプル・レート(例えば、毎秒当たりのメガサンプルで測定される)、最大参照ピクチャ・サイズ等を制限する。レベルによって設定される限界は、場合によっては、コーディングされたビデオ・シーケンスでシグナリングされるHRDバッファ管理のための仮想リファレンス・デコーダ(HRD)仕様及びメタデータによって更に制限される可能性がある。
【0050】
一実施形態では、受信機(431)は、符号化されたビデオとともに追加的(冗長的)なデータを受信する可能性がある。追加的なデータは、コーディングされたビデオ・シーケンスの一部として含まれる可能性がある。追加的なデータは、データを適切に復号化するため、及び/又は元のビデオ・データをより正確に再構成するために、ビデオ・デコーダ(410)によって使用されてもよい。追加的なデータは、例えば、時間、空間、又は信号雑音比(SNR)エンハンスメント・レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正コード等の形態におけるものとすることが可能である。
【0051】
図5は、本開示の一実施形態によるビデオ・エンコーダ(503)のブロック図を示す。ビデオ・エンコーダ(503)は、電子デバイス(520)に含まれる。電子デバイス(520)は、送信機(540)(例えば、送信回路)を含む。ビデオ・エンコーダ(503)は、図3の例におけるビデオ・エンコーダ(303)の代わりに使用することが可能である。
【0052】
ビデオ・エンコーダ(503)は、ビデオ・エンコーダ(503)によってコーディングされるべきビデオ画像を捕捉することが可能なビデオ・ソース(501)(図5の例では電子デバイス(520)の一部ではない)から、ビデオ・サンプルを受信することが可能である。別の例では、ビデオ・ソース(501)は、電子デバイス(520)の一部である。
【0053】
ビデオ・ソース(501)は、任意の適切なビット深度(例えば、8ビット、10ビット、12ビット、...)、任意の色空間(例えば、BT.601 YCrCB、RGB、...)、及び任意の適切なサンプリング構造(例えば、YCrCb 4：2：0、YCrCb 4：4：4)であるとすることが可能なデジタル・ビデオ・サンプル・ストリームの形態で、ビデオ・エンコーダ(503)によってコーディングされるソース・ビデオ・シーケンスを提供することが可能である。メディア・サービング・システムにおいて、ビデオ・ソース(501)は、事前に準備されたビデオを記憶するストレージ・デバイスであってもよい。ビデオ・カンファレンス・システムでは、ビデオ・ソース(501)は、ローカルな画像情報をビデオ・シーケンスとして捕捉するカメラであってもよい。ビデオ・データは、シーケンスで見た場合に動きを伝える複数の個々のピクチャとして提供されてもよい。ピクチャ自体は、ピクセルの空間アレイとして組織されることが可能であり、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、1つ以上のサンプルを含むことが可能である。当業者は、ピクセルとサンプルとの間の関係を容易に理解することが可能である。以下の説明は、サンプルに焦点を当てている。
【0054】
一実施形態によれば、ビデオ・エンコーダ(503)は、リアルタイムに、又はアプリケーションによって要求される他の任意の時間制約の下で、ソース・ビデオ・シーケンスのピクチャを、コーディングされたビデオ・シーケンス(543)にコーディングして圧縮することが可能である。適切なコーディング速度を強制することは、コントローラ(550)の1つの機能である。幾つかの実施形態において、コントローラ(550)は、以下で説明されるように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。その結合は明確性のために描かれていない。コントローラ(550)によって設定されるパラメータは、レート制御関連パラメータ(ピクチャ・スキップ、量子化器、レート歪最適化技術のラムダ値、...)、ピクチャ・サイズ、グループ・オブ・ピクチャ(GOP)レイアウト、最大動きベクトル探索範囲などを含むことが可能である。コントローラ(550)は、特定のシステム設計のために最適化されたビデオ・エンコーダ(503)に関連する他の適切な機能を有するように構成することが可能である。
【0055】
一部の実施形態では、ビデオ・エンコーダ(503)は、コーディング・ループで動作するように構成される。極端に単純化された説明として、一例において、コーディング・ループは、ソース・コーダ(530)(例えば、コーディングされるべき入力ピクチャ及び参照ピクチャに基づいて、シンボル・ストリームのようなシンボルを生成する責任がある)と、ビデオ・エンコーダ(503)に組み込まれた(ローカル)デコーダ(533)とを含むことが可能である。デコーダ(533)は、(リモート)デコーダが生成するのと同様な方法で、サンプル・データを生成するためにシンボルを再構成する(シンボルとコーディングされたビデオ・ビットストリームとの間の任意の圧縮は、開示される対象事項で考慮されるビデオ圧縮技術ではロスレスであるからである)。再構成されたサンプル・ストリーム(サンプル・データ)は、参照ピクチャ・メモリ(534)に入力される。シンボル・ストリームの復号化は、デコーダの位置(ローカル又はリモート)に依存しないビット・イグザクト(bit-exact)な結果をもたらすので、参照ピクチャ・メモリ(534)中の内容もまた、ローカル・エンコーダとリモート・エンコーダとの間でビット・イグザクトである。言い換えると、エンコーダの予測部は、デコーダが復号化中に予測を使用する場合に「見る(see)」ものと厳密に同じサンプル値を、参照ピクチャ・サンプルとして「見る」。参照ピクチャ同期のこの基本原理(及び、例えばチャネル・エラーに起因して同期性が維持できない場合には、結果としてドリフトが生じる)は、幾つかの関連技術においても同様に使用される。
【0056】
「ローカル」デコーダ(533)の動作は、図4に関連して上記で詳細に既に説明されているビデオ・デコーダ(410)のような「リモート」デコーダのものと同じであるとすることが可能である。しかしながら、図4も簡単に参照すると、シンボルが利用可能であり、且つエントロピー・コーダー(545)及びパーサー(420)によるシンボルのコーディングされたビデオ・シーケンスへの符号化/復号化はロスレスであるとすることが可能であるので、バッファ・メモリ(415)及びパーサー(420)を含むビデオ・デコーダ(410)のエントロピー復号化部は、ローカル・デコーダ(533)では完全には実現されない可能性がある。
【0057】
この時点で行うことが可能な観察は、デコーダに存在する解析/エントロピー復号化以外のデコーダ技術は、必然的に、実質的に同一の機能形態で、対応するエンコーダにも存在する必要があるということである。この理由のために、開示される対象事項はデコーダの動作に焦点を当てている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるので、省略することが可能である。特定のエリアにおいてのみ、より詳細な説明が必要であり、以下で与えられる。
【0058】
動作中に、ソース・コーダ(530)は、幾つかの例において、「参照ピクチャ」として指定されたビデオ・シーケンスからの1つ以上の以前にコーディングされたピクチャを参照して、入力ピクチャを予測的に符号化する、動き補償された予測符号化を実行することが可能である。このようにして、コーディング・エンジン(532)は、入力ピクチャのピクセル・ブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセル・ブロックとの間の差分をコーディングする。
【0059】
ローカル・ビデオ・デコーダ(533)は、ソース・コーダー(530)によって生成されたシンボルに基づいて、参照ピクチャとして指定されることが可能なピクチャのコーディングされたビデオ・データを復号化することが可能である。コーディング・エンジン(532)の動作は、有利なことに、非ロスレス・プロセスであってもよい。コーディングされたビデオ・データがビデオ・デコーダ(図5には示されていない)で復号化される場合、再構成されたビデオ・シーケンスは、典型的には、幾らかのエラーを伴うソース・ビデオ・シーケンスのレプリカである可能性がある。ローカル・ビデオ・デコーダ(533)は、リファレンス・ピクチャにおいてビデオ・デコーダによって実行されることが可能な復号化プロセスを繰り返し、再構成された参照ピクチャが、参照ピクチャ・キャッシュ(534)に記憶されることを引き起こすことが可能である。このように、ビデオ・エンコーダ(503)は、遠方端のビデオ・デコーダによって得られる再構成された参照ピクチャとして、共通の内容を有する再構成された参照ピクチャのコピーを、局所的に記憶することが可能である(伝送エラーはないものとする)。
【0060】
予測器(535)は、コーディング・エンジン(532)のために予測検索を行うことができる。即ち、コーディングされるべき新しいピクチャについて、予測器(535)は、サンプル・データ(候補の参照ピクセル・ブロックとして)又は所定のメタデータ(参照ピクチャ動きベクトル、ブロック形状など)について、参照ピクチャ・メモリ(534)を検索することができ、これらは、新しいピクチャについての適切な予測参照として役立つ可能性がある。予測器(535)は、適切な予測参照を見出すために、サンプル・ブロック－ピクセル・ブロック・ベースで動作することが可能である。場合によっては、予測器(535)によって得られた探索結果によって決定されるように、入力ピクチャは、参照ピクチャ・メモリ(534)に記憶された複数の参照ピクチャから引き出される予測参照を有する可能性がある。
【0061】
コントローラ(550)は、例えば、ビデオ・データを符号化するために使用されるパラメータ及びサブグループ・パラメータの設定を含む、ソース・コーダ(530)のコーディング動作を管理することが可能である。
【0062】
前述の機能ユニットのすべての出力は、エントロピー・コーダー(545)におけるエントロピー符号化を受けることが可能である。エントロピー・コーダー(545)は、ハフマン・コーディング、可変長コーディング、算術コーディング等の技術に従って、シンボルをロスレス圧縮することによって、種々の機能ユニットによって生成されたシンボルを、コーディングされたビデオ・シーケンスに変換する。
【0063】
送信機(540)は、エントロピー・コーダー(545)によって作成されるようなコーディングされたビデオ・シーケンスをバッファリングして、通信チャネル(560)を介する送信の準備を行うことが可能であり、通信チャネル(560)は、符号化されたビデオ・データを記憶する記憶デバイスへのハードウェア/ソフトウェア・リンクであってもよい。送信機(540)は、ビデオ・コーダ(503)からのコーディングされたビデオ・データを、例えばコーディングされたオーディオ・データ及び/又は補助的なデータ・ストリーム(ソースは不図示)のような送信されるべき他のデータとマージすることが可能である。
【0064】
コントローラ(550)は、ビデオ・エンコーダ(503)の動作を管理することができる。コーディングの間に、コントローラ(550)は、コーディングされたピクチャの各々に、特定のコーディングされたピクチャ・タイプを割り当てることが可能であり、これは、各ピクチャに適用されることが可能なコーディング技術に影響を及ぼす可能性がある。例えば、ピクチャは、しばしば、次のピクチャ・タイプの1つとして割り当てられてもよい。
【0065】
イントラ・ピクチャ(Iピクチャ)は、シーケンス内の如何なる他のピクチャも予測のソースとして使用せずに、符号化及び復号化されることが可能なものである。幾つかのビデオ・コーデックは、例えば、独立デコーダ・リフレッシュ(“IDR”)ピクチャを含む異なるタイプのイントラ・ピクチャを許容する。当業者は、Iピクチャのこれらの変形例、並びにそれら各自の用途及び特徴を認識している。
【0066】
予測ピクチャ(Pピクチャ)は、各ブロックのサンプル値を予測するために、高々1つの動きベクトル及び参照インデックスを用いるイントラ予測又はインター予測を用いて符号化及び復号化されることが可能なものである。
【0067】
双方向予測ピクチャ(Bピクチャ)は、各ブロックのサンプル値を予測するために、高々2つの動きベクトル及び参照インデックスを用いるイントラ予測又はインター予測を用いて符号化及び復号化されることが可能なものである。同様に、複数の予測ピクチャは、1つのブロックの再構成のために、2つより多い参照ピクチャ及び関連するメタデータを使用することが可能である。
【0068】
ソース・ピクチャは、通常、複数のサンプル・ブロック(例えば、4×4、8×8、4×8、又は16×16サンプルのブロック)に空間的に細分され、ブロック毎にコーディングされることが可能である。ブロックは、ブロックそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の(既にコーディングされた)ブロックを参照して予測的にコーディングされることが可能である。例えば、Iピクチャのブロックは、非予測的にコーディングされてもよいし、又は、それらは同じピクチャの既にコーディングされたブロックを参照して予測的に符号化されてもよい(空間予測又はイントラ予測)。Pピクチャのピクセル・ブロックは、以前にコーディングされた1つの参照ピクチャを参照して、空間的な予測又は時間的な予測により予測的にコーディングされてもよい。Bピクチャのブロックは、1つ又は2つの以前にコーディングされた参照ピクチャを参照して、空間的な予測又は時間的な予測により予測的に符号化されてもよい。
【0069】
ビデオ・エンコーダ(503)は、ITU-T Rec.H.265のような所定のビデオ・コーディング技術又は規格に従ってコーディング動作を行うことが可能である。この動作において、ビデオ・エンコーダ(503)は、入力ビデオ・シーケンスにおける時間的及び空間的な冗長性を活用する予測コーディング動作を含む種々の圧縮動作を実行することが可能である。コーディングされたビデオ・データは、従って、使用されているビデオ・コーディング技術又は規格によって指定されたシンタックスに準拠することが可能である。
【0070】
一実施形態では、送信機(540)は、符号化されたビデオとともに追加データを送信することが可能である。ソース・コーダ(530)は、そのようなデータを、コーディングされたビデオ・シーケンスの一部として含むことが可能である。追加データは、時間的/空間的/SNR強調レイヤ、他の形式の冗長データ(冗長ピクチャ及びスライス、SEIメッセージ、VUIパラメータ・セット・フラグメント等)を含む可能性がある。
【0071】
ビデオは、時間シーケンスにおける複数のソース・ピクチャ(ビデオ・ピクチャ)として捕捉することが可能である。イントラ・ピクチャ予測(しばしば、イントラ予測と略される)は、所与のピクチャにおける空間相関を利用しており、インター・ピクチャ予測は、ピクチャ間の(時間的又は他の)相関を利用する。一例では、現在のピクチャと呼ばれる符号化/復号化の下にある特定のピクチャは、ブロックに分割される。現在のピクチャ内のブロックが、ビデオにおいて以前にコーディングされ且つ依然としてバッファリングされている参照ピクチャの中の参照ブロックに類似する場合、現在のピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによってコーディングされることが可能である。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第3の次元を有することが可能である。
【0072】
一部の実施形態では、インター・ピクチャ予測に双－予測技術を用いることが可能である。双－予測技術によれば、ビデオ内で現在のピクチャに対して復号化順序で両方とも先行している(ただし、表示順序ではそれぞれ過去及び将来におけるものである可能性がある)第1参照ピクチャ及び第2参照ピクチャのような2つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第1参照ピクチャ内の第1参照ブロックを指す第1動きベクトルと、第2参照ピクチャ内の第2参照ブロックを指す第2動きベクトルとによってコーディングされることが可能である。ブロックは、第1参照ブロックと第2参照ブロックとの組み合わせによって予測されることが可能である。
【0073】
更に、コーディング効率を改善するために、インター・ピクチャ予測にマージ・モード技術を用いることが可能である。
【0074】
本開示の幾つかの実施形態によれば、インター・ピクチャ予測及びイントラ・ピクチャ予測のような予測は、ブロックの単位で実行される。例えば、HEVC規格によれば、ビデオ・ピクチャのシーケンス中のピクチャは、圧縮のためにコーディング・ツリー・ユニットにパーティショニングされ、ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、又は16×16ピクセルのような同じサイズを有する。一般に、CTUは、1つのルマCTBと2つのクロマCTBである3つのコーディング・ツリー・ブロック(CTB)を含む。各CTUは、1つ又は複数のコーディング・ユニット(CU)に再帰的に4分木分割されることが可能である。例えば、64×64ピクセルのCTUは、64×64ピクセルの1個のCU、32×32ピクセルの4個のCU、又は16×16ピクセルの16個のCUに分割されることが可能である。一例では、各CUは、インター予測タイプ又はイントラ予測タイプのような、CUの予測タイプを決定するために分析される。CUは、時間的及び/又は空間的な予測可能性に依存して1つ以上の予測ユニット(PU)に分割される。一般に、各PUはルマ予測ブロック(PB)と2つのクロマPBを含む。一実施形態では、コーディング(符号化/復号化)における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを用いると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセル等のような、ピクセルに対する値(例えば、ルマ値)のマトリクスを含む。
【0075】
図6は本開示の別の実施形態によるビデオ・エンコーダ(603)の図を示す。ビデオ・エンコーダ(603)は、ビデオ・ピクチャのシーケンス内の現在のビデオ・ピクチャ内のサンプル値の処理ブロック(例えば、予測ブロック)を受信し、処理ブロックを、コーディングされたビデオ・シーケンスの一部であるコーディングされたピクチャに符号化するように構成される。一例では、ビデオ・エンコーダ(603)は、図3の例のビデオ・エンコーダ(303)の代わりに使用される。
【0076】
HEVCの例では、ビデオ・エンコーダ(603)は、8×8サンプルの予測ブロック等のような処理ブロックのサンプル値のマトリクスを受信する。ビデオ・エンコーダ(603)は、イントラ・モード、インター・モード、又は双－予測モードを使用して、例えばレート歪最適化を使用して、処理ブロックが最良にコーディングされるかどうかを決定する。処理ブロックがイントラ・モードでコーディングされるべき場合、ビデオ・エンコーダ(603)は、処理ブロックを、コーディングされたピクチャに符号化するためにイントラ予測技術を使用することが可能であり；処理ブロックがインター・モード又は双－予測モードで符号化されるべき場合、ビデオ・エンコーダ(603)は、処理ブロックを、コーディングされたピクチャに符号化するために、それぞれインター予測技術又は双－予測技術を使用することが可能である。特定のビデオ・コーディング技術では、マージ・モードがインター予測ピクチャ・サブモードである可能性があり、その場合、動きベクトルは、予測器外部のコーディングされた動きベクトル成分の恩恵なしに、1つ以上の動きベクトル予測子から導出される。特定の他のビデオ・コーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在する可能性がある。一例では、ビデオ・エンコーダ(603)は、処理ブロックのモードを決定するためにモード決定モジュール(不図示)のような他のコンポーネントを含む。
【0077】
図6の例では、ビデオ・エンコーダ(603)は、インター・エンコーダ(630)、イントラ・エンコーダ(622)、残差計算器(623)、スイッチ(626)、残差エンコーダ(624)、汎用コントローラ(621)、及びエントロピー・エンコーダ(625)を、図6に示されるように共に結合して含んでいる。
【0078】
インター・エンコーダ(630)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、そのブロックを、参照ピクチャ内の1つ以上の参照ブロック(例えば、以前のピクチャのブロック及び以後のピクチャ内のブロック)と比較し、インター予測情報(例えば、符号化技術による冗長情報の記述、動きベクトル、マージ・モード情報)を生成し、任意の適切な技術を用いてインター予測情報に基づいて、インター予測結果(例えば、予測ブロック)を計算するように構成される。幾つかの例では、参照ピクチャは、符号化されたビデオ情報に基づいて復号化された復号化済み参照ピクチャである。
【0079】
イントラ・エンコーダ(622)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、場合によってはブロックを、同じピクチャ内で既にコーディングされたブロックと比較し、変換後に量子化された係数を生成し、場合によってはイントラ予測情報(例えば、1つ以上のイントラ符号化技術に従ったイントラ予測方向情報)も生成するように構成される。一例では、イントラ・エンコーダ(622)はまた、同じピクチャ内のイントラ予測情報及び参照ブロックに基づいて、イントラ予測結果(例えば、予測ブロック)を計算する。
【0080】
ジェネラル・コントローラ(621)は、一般的な制御データを決定し、一般的な制御データに基づいてビデオ・エンコーダ(603)の他のコンポーネントを制御するように構成される。一例では、ジェネラル・コントローラ(621)は、ブロックのモードを決定し、そのモードに基づいてスイッチ(626)に制御信号を提供する。例えば、モードがイントラ・モードである場合、ジェネラル・コントローラ(621)は、スイッチ(626)を制御して、残差計算器(623)による使用のためにイントラ・モード結果を選択し、且つエントロピー・エンコーダ(625)を制御して、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含める；モードがインター・モードである場合、ジェネラル・コントローラ(621)は、スイッチ(626)を制御して、残差計算器(623)による使用のためにインター予測結果を選択し、且つエントロピー・エンコーダ(625)を制御して、インター予測情報を選択し、インター予測情報をビットストリームに含める。
【0081】
残差計算器(623)は、受信ブロックと、イントラ・エンコーダ(622)又はインター・エンコーダ(630)から選択された予測結果との間の差分(残差データ)を計算するように構成される。残差エンコーダ(624)は、残差データを符号化して変換係数を生成するために、残差データに基づいて動作するように構成される。一例では、残差エンコーダ(624)は、残差データを空間ドメインから周波数ドメインへ変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化された変換係数を得るために量子化処理にかけられる。様々な実施形態では、ビデオ・エンコーダ(603)はまた、残差デコーダ(628)も含む。残差デコーダ(628)は、逆変換を実行し、復号化された残差データを生成するように構成される。復号化された残差データは、イントラ・エンコーダ(622)及びインター・エンコーダ(630)によって適切に使用することが可能である。例えば、インター・エンコーダ(630)は、復号化された残差データ及びインター予測情報に基づいて、復号化されたブロックを生成することが可能であり、イントラ・エンコーダ(622)は、復号化された残差データ及びイントラ予測情報に基づいて、復号化されたブロックを生成することが可能である。復号化されたブロックは、復号化されたピクチャを生成するために適切に処理され、復号化されたピクチャは、メモリ回路(不図示)内でバッファリングされ、幾つかの例では参照ピクチャとして使用することが可能である。
【0082】
エントロピー・エンコーダ(625)は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー・エンコーダ(625)は、HEVC規格のような適切な規格に従って種々の情報を含むように構成される。一例では、エントロピー・エンコーダ(625)は、一般的な制御データ、選択された予測情報(例えば、イントラ予測情報又はインター予測情報)、残差情報、及びその他の適切な情報をビットストリームに含めるように構成される。開示される対象事項に従って、インター・モード又は双－予測モードの何れかのマージ・サブモードにおけるブロックをコーディングする場合に、残差情報は存在しないことに留意されたい。
【0083】
図7は、本開示の別の実施形態によるビデオ・デコーダ(710)の図を示す。ビデオ・デコーダ(710)は、コーディングされたビデオ・シーケンスの一部であるコーディングされたピクチャを受信し、コーディングされたピクチャを復号化して、再構成されたピクチャを生成するように構成される。一実施形態では、ビデオ・デコーダ(710)は、図3の例におけるビデオ・デコーダ(310)の代わりに使用される。
【0084】
図7の例では、ビデオ・デコーダ(710)は、エントロピー・デコーダ(771)、インター・デコーダ(780)、残差デコーダ(773)、再構成モジュール(774)、及びイントラ・デコーダ(772)を、図7に示されるように共に結合して含んでいる。
【0085】
エントロピー・デコーダ(771)は、コーディングされたピクチャを作り上げるシンタックス要素を表す特定のシンボルを、コーディングされたピクチャから再構成するように構成されることが可能である。このようなシンボルは、例えば、ブロックがコーディングされるモード(例えば、イントラ・モード、インター・モード、双－予測モード、マージ・サブモード又は別のサブモードにおける後者の2つ)、イントラ・デコーダ(772)又はインター・デコーダ(780)それぞれによって予測のために使用される特定のサンプル又はメタデータを識別することが可能な予測情報(例えば、イントラ予測情報又はインター予測情報)、残差情報(例えば、量子化された変換係数の形式におけるもの)等を含むことが可能である。一例において、予測モードがインター又は双－予測モードである場合には、インター予測情報がインター・デコーダ(780)に提供され；予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラ・デコーダ(772)に提供される。残差情報は、逆量子化を施されることが可能であり、残差デコーダ(773)に提供される。
【0086】
インター・デコーダ(780)は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0087】
イントラ・デコーダ(772)は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0088】
残差デコーダ(773)は、逆量子化を実行して非－量子化変換係数を抽出し、非－量子化変換係数を処理して残差を周波数ドメインから空間ドメインへ変換するように構成される。残差デコーダ(773)はまた、特定の制御情報(量子化パラメータ(QP)を含む)を必要とする可能性があり、その情報は、エントロピー・デコーダ(771)によって提供されてもよい(これは、僅かな量の制御情報でしかない可能性があるので、データ経路は描かれていない)。
【0089】
再構成モジュール(774)は、空間ドメインにおいて、残差デコーダ(773)による出力としての残差と、予測結果(場合によっては、インター又はイントラ予測モジュールによって出力されるもの)とを組み合わせて、再構成されたブロックを形成するように構成されており、再構成されたブロックは再構成されたピクチャの一部であり、再構成されたピクチャは再構成されたビデオの一部である可能性がある。デブロッキング処理などのような他の適切な処理が、視覚的な品質を改善するために実行される可能性があることに留意されたい。
【0090】
なお、ビデオ・エンコーダ(303)、(503)、及び(603)、並びにビデオ・デコーダ(310)、(410)、及び(710)は、任意の適切な技術を用いて実現することが可能である。一実施形態では、ビデオ・エンコーダ(303)、(503)、及び(603)、並びにビデオ・デコーダ(310)、(410)、及び(710)は、1つ以上の集積回路を使用して実現することが可能である。別の実施形態では、ビデオ・エンコーダ(303)、(503)、及び(503)、並びにビデオ・デコーダ(310)、(410)、及び(710)は、ソフトウェア命令を実行する1つ以上のプロセッサを使用して実現することが可能である。
【0091】
本開示の態様は、デコーダ側動きベクトル・リファインメント (DMVR)及び/又は双方向オプティカル・フロー(BDOF)を適用するための条件を提供する。
【0092】
HEVC，VVCのような種々のコーディング規格は、新しい技術を包含するように開発されている。
【0093】
VVCの幾つかの例では、各々のインター予測されたCUに対して、動きパラメータは、動きベクトル、参照ピクチャ・インデックス、及び参照ピクチャ・リスト使用インデックス、並びにインター予測されるサンプル生成に使用されるVVCの新しいコーディング機能に必要な追加情報を含む。動きパラメータは、明示的又は黙示的な方法でシグナリングされることが可能である。一例において、CUがスキップ・モードでコーディングされる場合に、CUは、1つのPUに関連付けられ、CUは、有意な残差係数、コーディングされた動きベクトル・デルタ、又は参照ピクチャ・インデックスを持たない。別の例では、マージ・モードが指定され、それによって、現在のCUのための動きパラメータが、空間的及び時間的な候補、及びVVCに導入された追加的なスケジュールを含む隣接するCUから取得される。マージ・モードは、スキップ・モードのためだけでなく、任意のインター予測されるCUにも適用されることが可能である。マージ・モードの代替方法は、動きパラメータの明示的な伝送であり、その場合、動きベクトル、各々の参照ピクチャ・リストに対する対応する参照ピクチャ・インデックス、参照ピクチャ・リスト使用フラグ、及びその他の必要な情報が、各CUごとに明示的にシグナリングされる。
【0094】
HEVCにおけるインター・コーディングの機能を超えて、VVCテスト・モデル3(VTM3)は、多くの新たなリファインされたインター予測コーディング・ツール、例えば、拡張されたマージ予測、マージ・モード・ウィズ動きベクトル差分（MMVD)、アフィン動き補償予測、サブブロック・ベースの時間的な動きベクトル予測（SbTMVP）、三角パーティション予測、複合インター及びイントラ予測(CIIP)等を含む。上述のインター予測コーディング・ツールの幾つかの特徴は、本開示において説明される
【0095】
本開示の幾つかの態様によれば、双方向オプティカル・フロー(bi-directional optical flow，BDOF)モードと呼ばれる動きリファインメント技術が、インター予測で使用される。BDOFは、幾つかの例ではBIOとして言及される。BDOFは、4×4サブブロック・レベルでCUの双－予測信号をリファインするために使用される。BDOFは、CUが以下の条件を満たす場合に、CUに適用される：1）CUの高さは4ではなく、CUは4×8のサイズにおけるものではないこと、2）CUは、アフィン・モード又はATMVPマージ・モードを用いてコーディングされていないこと、3）CUは、「真の（true）」双－予測モードを用いてコーディングされていること、即ち、2つの参照ピクチャのうちの一方が、表示順序において現在のピクチャの前にあり、他方が表示順序において現在の画像の後にあること。BDOFは、一部の例ではルマ成分に適用されるだけである。
【0096】
BDOFモードにおける動きリファインメントは、物体の動きが滑らかであることを仮定するオプティカル・フローの概念に基づいている。各々の4×4サブ・ブロックについて、動きリファインメント（vx，vy）は、L0及びL1予測サンプルの間の差分を最小化することによって計算される。次いで、動きのリファインメントは、4×4サブ・ブロックにおける双－予測サンプル値を調整するために使用される。以下のステップがBDOFプロセスで適用される。
【0097】
先ず、2つの予測信号の水平及び垂直勾配
が、2つの隣接するサンプル間の差分を直接的に計算することによって計算される。
ここで、I(k)(i，j)は、リストk，k=0，1における予測信号の座標（i，j）におけるサンプル値である。
【数1】
が、2つの隣接するサンプル間の差分を直接的に計算することによって計算される。
【数2】
ここで、I(k)(i，j)は、リストk，k=0，1における予測信号の座標（i，j）におけるサンプル値である。
【0098】
次いで、勾配の自己及び相互相関S1，S2，S3，S4，S5，S6が計算される：
であり、Ωは4×4サブ・ブロック周辺の6×6ウィンドウである。
【数3】
であり、Ωは4×4サブ・ブロック周辺の6×6ウィンドウである。
【0099】
次いで、動きリファインメント（vx，vy）は、次のようにして自己及び相互相関項を用いて導出される：
【数4】
【0100】
動きリファインメント及び勾配に基づいて、以下の調整が4×4サブ・ブロック内の各サンプルについて計算される。
【数5】
【0101】
最終的に、CUのBDOFサンプルは、次のように双－予測サンプルを調整することによって計算される：
【数6】
【0102】
上記の場合、na，nb，nS2の値はそれぞれ3，6，12に等しい。これらの値は、BDOFプロセスにおける乗数が15ビットを超えないように選択され、BDOFプロセスにおける中間パラメータの最大ビット幅は32ビット以内に維持される。
【0103】
勾配値を導出するために、現在のCU境界外側のリストk（k=0，1）における幾つかの予測サンプルI(k)(i，j)を生成することができます。
【0104】
図8はBDOFにおける拡張されたCU領域の例を示す。図8の例では、4×4CU(810)が影付きエリアとして示されている。BDOFは、CUの境界の周囲に拡張された1つの行/列を使用し、拡張されたエリアは、破線の6×6ブロック(820)として示されている。境界外の予測サンプルを生成する計算量を抑制するために、バイリニア・フィルタが、拡張されたエリア(白色の場所)で予測サンプルを生成するために使用され、通常の8タップの動き補償補間フィルタが、CU内部(灰色の場所)で予測サンプルを生成するために使用される。これらの拡張されたサンプル値は、勾配計算でのみ使用される。BDOFプロセスの残りのステップでは、CU境界外の何らかのサンプル値及び勾配値が必要とされる場合、それらは、それらの最も近い近隣からパディングされる(即ち、反復される)。
【0105】
本開示の一態様によれば、デコーダ側動きベクトル・リファインメント(DMVR)は、デコーダ側動きベクトル導出(DMVD)技術の1つであり、出発点に基づいてMVを改良/リファインするために使用される。
【0106】
幾つかの例では、マージ・モードの動きベクトルの精度を高めるために、バイラテラル・マッチングに基づくデコーダ側動きベクトル・リファインメントを適用することができる。双－予測動作では、参照ピクチャ・リストL0及び参照ピクチャ・リストL1内で初期MV周辺において、リファインされたMVが探索される。バイラテラル・マッチング法は、参照ピクチャ・リストL0及びリストL1内の2つの候補ブロック間の歪を計算する。
【0107】
一例では、双－予測動作の場合に、1つのブロック領域の予測に対して、第1参照ピクチャ候補リストL0からのMV0と第2参照ピクチャ候補リストL1からのMV1とをそれぞれ用いて、2つの予測ブロックを形成することができる。DMVR法では、双－予測の2つの動きベクトルMV0及びMV1は、バイラテラル・テンプレート・マッチング・プロセスによって更にリファインされる。バイラテラル・テンプレート・マッチングがデコーダで適用され、バイラテラル・テンプレートと参照ピクチャ中の再構成サンプルとの間の歪ベース探索を実行し、追加の動き情報の伝送なしに、リファインされたMVを取得する。
【0108】
図9は、バイラテラル・テンプレート・マッチングに基づくDMVRの例を示す。DMVRでは、図9に示すように、
第1参照ピクチャ候補リストL0からの初期MV0及び第2参照ピクチャ候補リストL1のMV1それぞれからの、2つの予測ブロック(920)及び(930)の重み付けされた結合(即ち平均)として、バイラテラル・テンプレート(940)が生成される。テンプレート・マッチング処理は、参照ピクチャRef0及びRef1における(初期予測ブロック周辺の)サンプル領域と生成されたテンプレート(940)との間のコスト尺度を計算することを含む。2つの参照ピクチャRef0及びRef1のそれぞれについて、最小テンプレート・コストをもたらすMVは、元のMVを置き換えるための、そのリストの更新されたMVと考えられる。例えば、MV0’はMV0に置き換わり、MV1’はMV1に置き換わる。幾つかの例では、9つのMV候補が、各リストに対して検索される。9つのMV候補は、元のMVと8つの周辺のMVとを含み、後者は水平若しくは垂直方向又は両方において元のMVに対してオフセットされた1つのルマ・サンプルを有する。最後に、図9に示すように、2つの新しいMV、即ち、MV0’及びMV1’が、現在のブロックに対する最終的な双－予測結果を生成するために使用される。絶対差の合計(SAD)を、コスト尺度として使用することが可能である。
第1参照ピクチャ候補リストL0からの初期MV0及び第2参照ピクチャ候補リストL1のMV1それぞれからの、2つの予測ブロック(920)及び(930)の重み付けされた結合(即ち平均)として、バイラテラル・テンプレート(940)が生成される。テンプレート・マッチング処理は、参照ピクチャRef0及びRef1における(初期予測ブロック周辺の)サンプル領域と生成されたテンプレート(940)との間のコスト尺度を計算することを含む。2つの参照ピクチャRef0及びRef1のそれぞれについて、最小テンプレート・コストをもたらすMVは、元のMVを置き換えるための、そのリストの更新されたMVと考えられる。例えば、MV0’はMV0に置き換わり、MV1’はMV1に置き換わる。幾つかの例では、9つのMV候補が、各リストに対して検索される。9つのMV候補は、元のMVと8つの周辺のMVとを含み、後者は水平若しくは垂直方向又は両方において元のMVに対してオフセットされた1つのルマ・サンプルを有する。最後に、図9に示すように、2つの新しいMV、即ち、MV0’及びMV1’が、現在のブロックに対する最終的な双－予測結果を生成するために使用される。絶対差の合計(SAD)を、コスト尺度として使用することが可能である。
【0109】
幾つかの例では、DMVRは、特定のモード条件でコーディングされるCUに適用される。例えば、DMVRは、双－予測MVを伴うCUレベル・マージ・モードでCUに適用される。更に、1つの参照ピクチャは過去のものであり、もう1つの参照ピクチャは現在のピクチャに関して将来のものである。両方の参照ピクチャから現在のピクチャまでの距離(即ち、ピクチャ・オーダー・カウント(POC)の差分)は同じである。CUは64より多いルマ・サンプルを有し、CUの高さは8ルマ・サンプルより多い。
【0110】
DMVRプロセスによって導出されたリファインされたMVは、インター予測サンプルを生成するために使用され、将来のピクチャ・コーディングのための時間的な動きベクトル予測にも使用される。一方、元のMVは、デブロッキング・プロセスで使用され、将来のCUコーディングのための空間的な動きベクトル予測にも使用される。
【0111】
幾つかの実施形態では、受信したビットストリーム内の信号に基づいて、一対のマージ候補が決定され、DMVRプロセスに対する入力として使用される。例えば、マージ候補のペアは、初期動きベクトル(MV0，MV1)として示される。幾つかの例では、DMVRによって探索される探索点は、動きベクトル差分ミラーリング条件に従う。言い換えれば、DMVRによってチェックされる点、即ち、一対の候補動きベクトル(MV0’，MV1’)によって示される点は、(Eq．7)及び(Eq．8)に従う：
ここで、MVdiffは、参照ピクチャの1つにおける候補の動きベクトルと初期動きベクトルとの間の動きベクトル差分を示す。
【数7】
ここで、MVdiffは、参照ピクチャの1つにおける候補の動きベクトルと初期動きベクトルとの間の動きベクトル差分を示す。
【0112】
幾つかの実施形態では、加重平均(BWA)による双－予測と呼ばれる技術が使用される。BWA技術は、一般化された双－予測(generalized bi-prediction，GBi)とも呼ばれる。HEVCのような一例では、2つの異なる参照ピクチャから得られる2つの予測信号を平均化し、及び/又は2つの異なる動きベクトルを使用することによって、双－予測信号が生成される。VVCワーキング・ドラフト及びVMTでのようにBWAを使用する別の例では、双測モードは、単純な平均化を超えて拡張され、2つの予測信号の加重平均を可能にする。VVCドラフトのような例では、GBi(一般化された双－予測)は、CUレベルの重み(BCW)を伴う双－予測とも呼ばれる。BWA/GBi/BCWモードでは、CUレベル加重予測がCUで実行される。例えば、BWA/GBi/BCWモードがCUに対してイネーブルにされている場合、その重み付けは、BCWインデックスによって、そのCUに対してシグナリングすることが可能である。例えば、双－予測Pbi-predは(Eq．9)を用いて生成される：
ここで、P0及びP1はそれぞれL0及びL1の参照ピクチャを使用する動き補償予測を示し、wはL1の参照ピクチャを使用するための重み付けパラメータを示し、一例では1/8精度で表現される。
【数8】
ここで、P0及びP1はそれぞれL0及びL1の参照ピクチャを使用する動き補償予測を示し、wはL1の参照ピクチャを使用するための重み付けパラメータを示し、一例では1/8精度で表現される。
【0113】
GBiの実装例では、5つの重みが、加重平均双－予測で許容され、w∈{-2，3，4，5，10}である。双－予測されるCU各々に関し、重みwは、第1方法及び第2方法のうちの一方で決定される。第1方法では、非マージCUの場合に、重みインデックスは、動きベクトル差分の後にシグナリングされる。第2方法では、マージCUの場合に、重みインデックスは、マージ候補インデックスに基づいて隣接ブロックから推定される。幾つかの例では、加重平均双－予測は、256以上のルマ・サンプルを有するCU(即ち、CU幅×CU高さが256以上)に対してのみ適用される。低遅延ピクチャの場合、5つの重みすべてを使用することが可能である。非・低遅延ピクチャの場合、一例では3つの重みのみが使用される（w∈{3，4，5}）。
【0114】
AVC、HEVC、VVC等のような幾つかの例では、サポートされるコーディング・ツールとして、加重予測(weighted prediction，WP)が提供される。一例では、ソース・マテリアルが、例えば照明変動を受ける場合に、フェージング又はクロス・フェージングを使用する場合に、インター予測のパフォーマンスを改善するために、WPを使用することができる。
【0115】
幾つかの例では、WPに従って、インター予測信号Pは、例えば片予測に対して(Eq．10)に従って、線形加重予測信号P’(重みwとオフセットoとを使用する)によって置換される：
片－予測： P’= w×P + o （Eq．10）
片－予測： P’= w×P + o （Eq．10）
【0116】
双－予測では、インター予測信号P0が参照L0に対するものであり、重みw0及びオフセットo0が参照L0に対するものであり、インター予測信号P1が参照L1に対するものであり、重みw1及びオフセットo1が参照L1に対するものである場合に、線形加重予測信号P’は、(Eq．11)に従って計算することができる：
双－予測： P’= (w0 × P0 + o0 + w1 × P1 + o1)/2 (Eq．11)
双－予測： P’= (w0 × P0 + o0 + w1 × P1 + o1)/2 (Eq．11)
【0117】
適用可能な重みとオフセットは、エンコーダによって選択され、エンコーダからデコーダへビットストリームで運ばれる。L0及びL1のサフィックスは、それぞれ、参照ピクチャ・リストのList0及びList1を定める。ビット深度は、補間フィルタの場合と同様に、予測信号を平均化する前に14ビットの精度(HEVCバージョン1)に維持される。
【0118】
幾つかの実施形態では、WPは、参照ピクチャ・リストL0及びL1の各々において、各参照ピクチャに対して、加重パラメータ(重み及びオフセット)がシグナリングされることを可能にする。そして、動き補償の間に、対応する参照ピクチャの重み及びオフセットが適用される。WPとBWAは、異なるタイプのビデオ・コンテンツのために設計される。WPとBWAの間で相互に影響し合うことは、VVCデコーダ設計を複雑にするので、それを避けるために、CUがWPを使用するならば、BWA重みインデックスはシグナリングされず、wは4であると推定される(即ち、等しい重みが適用される)。
【0119】
本開示の幾つかの態様によれば、BDOF及びDMVRのような特定の双－予測ツールは、2方向からの予測に対して等しい重みを当てにする。
【0120】
一例では、BDOF法を適用するかどうかは、条件に依存する。条件は、ルマ成分に対する明示的な加重予測のGBi及び加重フラグ(ルマ成分に対する加重予測の使用フラグとも呼ばれる)の両方に対する条件を含む。
【0121】
図10Aは、一実施形態によるBDOF法を適用するための条件のリストを要約した表1Aを示す。図10Aの例において、条件(1010A)は、Gbiインデックスがゼロであることを要求する。Gbiインデックスは、シグナリングされること又は推測されることが可能である。Gbiインデックスは、一例では、2つの参照ピクチャからの予測信号を重み付けするために使用される重みを指定するために使用される。Gbiインデックスがゼロである場合、等しい重みが、2つの参照ピクチャからの予測信号を重み付けするために使用される。
【0122】
更に、図10Aの例では、条件(1020A)は、参照ピクチャ・リストL0及びL1におけるルマ成分に対する加重予測の使用フラグがゼロであることを要求する。参照ピクチャ・リストL0及びL1におけるルマ成分に対する加重予測の使用フラグがゼロである場合、デフォルトの重みを使用することが可能であり、デフォルトの重みは2方向に対して等しい。
【0123】
実装例において、Gbiインデックスが条件(1010A)を満たし、加重フラグが条件(1020A)を満たす場合、BDOFはイネーブルにされる。そして、BDOFを適用するかどうかは、図10Aの他の条件のような他の条件に従って更に決定することが可能である。
【0124】
幾つかの例では、参照ブロックのSADが不均一な重みで重み付けされる場合に、DMVRは、非マッチング・ブロックを検索する可能性がある。BDOFの適用と同様に、DMVRを適用するかどうかは、条件に基づいて決定することが可能である。条件は、ルマ成分に対する明示的な加重予測のGBi及び加重フラグ(ルマ成分に対する加重予測の使用フラグとも呼ばれる)の両方に対する条件を含む。
【0125】
図11Aは、DMVR法を適用するための条件のリストを要約した表2Aを示す。図11Aの例において、条件(1110A)は、Gbiインデックスがゼロであることを要求する。Gbiインデックスは、シグナリングされること又は推測されることが可能である。Gbiインデックスは、一例では、2つの参照ピクチャからの予測信号を重み付けするために使用される重みを指定するために使用される。Gbiインデックスがゼロである場合、等しい重みが、2つの参照ピクチャからの予測信号を重み付けするために使用される。
【0126】
更に、図11Aの例では、条件(1120A)は、参照ピクチャ・リストL0及びL1におけるルマ成分に対する加重予測の使用フラグがゼロであることを要求する。参照ピクチャ・リストL0及びL1におけるルマ成分に対する加重予測の使用フラグがゼロである場合、デフォルトの重みを使用することが可能であり、デフォルトの重みは2方向に対して等しい。
【0127】
実装例において、Gbiインデックスが条件(1110A)を満たし、加重フラグが条件(1120A)を満たす場合、DMVRはイネーブルにされる。そして、DMVRを適用するかどうかは、図11Aの他の条件のような他の条件に従って更に決定することが可能である。
【0128】
開示の幾つかの態様によれば、BDOF及び/又はDMVRを適用するための条件は、ルマ成分に対する加重予測の使用フラグをチェックすること、及びクロマ成分に対する加重予測の使用フラグもチェックすることを含む。
【0129】
本開示の一態様によれば、BDOFはルマ成分のみに適用することができる。幾つかの実施形態において、加重予測の現在のブロックのクロマ加重もまた、チェックされることが可能である。
【0130】
図10Bは、幾つかの実施形態に従ってBDOF法を適用するための条件のリストを要約した表1Bを示す。図10Bの例において、(1030B)により示されるように、chroma_weight_l0_flag[refIdxL0]及びchroma_weight_l1_flag[refIdxL1]により表現されるようなクロマ成分に対する加重予測の使用フラグがチェックされる。クロマ成分の加重予測の使用フラグがゼロのである場合、等しい重み付けがクロマ成分に対して使用され、BDOFをイネーブルにすることができる。更に、図10Bの他の条件が満たされる場合、BDOFをルマ成分に適用することができる。しかしながら、chroma_weight_l0_flag[refIdxL0] 及びchroma_weight_l1_flag[refIdxL1]のうちの少なくとも1つが0に等しくない場合、BDOFはディセーブルにされることが可能であり、ルマ成分に適用することはできない。
【0131】
本開示の別の態様によれば、BDOFはルマ及びクロマ成分に別々に適用されることが可能であり、ルマ成分BDOFを使用するための条件は、加重予測の現在のブロックのルマ加重を含むことが可能であり、クロマ成分BDOFを使用するための条件は、加重予測の現在のブロックのクロマ加重を含むことが可能である。
【0132】
一実施形態において、ルマ成分に対するBDOFの適用を決定するために、luma_weight_l0_flag[ refIdxL0 ]及びluma_weight_l1_flag[ refIdxL1 ]により表現されるようなルマ成分に対する加重予測の使用フラグがチェックされる。ルマ成分に対する加重予測の両方の使用フラグがゼロである場合、等しい重み付けが使用され、BDOFはイネーブルにされることが可能である。更に、図10Bの他の条件が満たされる場合、BDOFをルマ成分に適用することができる。しかしながら、luma_weight_l0_flag[ refIdxL0 ]及びluma_weight_l1_flag[ refIdxL1 ]のうちの少なくとも1つが0に等しくない場合、BDOFはディセーブルにされることが可能であり、ルマ成分に適用することはできない。
【0133】
別の実施形態において、クロマ成分に対するBDOFの適用を決定するために、chroma_weight_l0_flag[ refIdxL0 ] 及びchroma_weight_l1_flag[ refIdxL1 ]により表現されるようなクロマ成分に対する加重予測の使用フラグがチェックされる。クロマ成分に対する加重予測の両方の使用フラグがゼロである場合、等しい重み付けが使用され、BDOFはイネーブルにされることが可能である。更に、図10Bの他の条件（(1020B)を除く）が満たされる場合、BDOFをクロマ成分に適用することができる。しかしながら、chroma_weight_l0_flag[ refIdxL0 ]及びchroma_weight_l1_flag[ refIdxL1 ]のうちの少なくとも1つが0に等しくない場合、BDOFはディセーブルにされることが可能であり、クロマ成分に適用することはできない。
【0134】
本開示の一態様によれば、DMVRはルマ成分のみに適用することができる。幾つかの実施形態では、条件に加えて、加重予測の現在のブロックのクロマ加重もまた、チェックされることが可能である。
【0135】
図11Bは、幾つかの実施形態に従ってDMVR法を適用するための条件のリストを要約した表2Bを示す。図11Bの例において、(1130B)により示されるように、chroma_weight_l0_flag[refIdxL0]及びchroma_weight_l1_flag[refIdxL1]により表現されるようなクロマ成分に対する加重予測の使用フラグがチェックされる。クロマ成分の加重予測の使用フラグがゼロのである場合、等しい重み付けがクロマ成分に対して使用され、DMVRをイネーブルにすることができる。更に、図11Bの他の条件が満たされる場合、DMVRをルマ成分に適用することができる。しかしながら、chroma_weight_l0_flag[refIdxL0]及びchroma_weight_l1_flag[refIdxL1]のうちの少なくとも1つが0に等しくない場合、DMVRはディセーブルにされることが可能であり、ルマ成分に適用することはできない。
【0136】
本開示の別の態様によれば、DMVRはルマ及びクロマ成分に別々に適用されることが可能であり、ルマ成分DMVRを使用するための条件は、加重予測の現在のブロックのルマ加重を含むことが可能であり、クロマ成分DMVRを使用するための条件は、加重予測の現在のブロックのクロマ加重を含むことが可能である。
【0137】
一実施形態において、ルマ成分に対するDMVRの適用を決定するために、luma_weight_l0_flag[ refIdxL0 ]及びluma_weight_l1_flag[ refIdxL1 ]により表現されるようなルマ成分に対する加重予測の使用フラグがチェックされる。ルマ成分に対する加重予測の両方の使用フラグがゼロである場合、等しい重み付けが使用され、DMVRはイネーブルにされることが可能である。更に、図11Bの他の条件が満たされる場合、DMVRをルマ成分に適用することができる。しかしながら、luma_weight_l0_flag[ refIdxL0 ]及びluma_weight_l1_flag[ refIdxL1 ]のうちの少なくとも1つが0に等しくない場合、DMVRはディセーブルにされることが可能であり、ルマ成分に適用することはできない。
【0138】
別の実施形態において、クロマ成分に対するDMVRの適用を決定するために、chroma_weight_l0_flag[ refIdxL0 ]及びchroma_weight_l1_flag[ refIdxL1 ]により表現されるようなクロマ成分に対する加重予測の使用フラグがチェックされる。クロマ成分に対する加重予測の両方の使用フラグがゼロである場合、等しい重み付けが使用され、DMVRはイネーブルにされることが可能である。更に、図11Bの他の条件（(1120B)を除く）が満たされる場合、DMVRをクロマ成分に適用することができる。しかしながら、chroma_weight_l0_flag[ refIdxL0 ]及びchroma_weight_l1_flag[ refIdxL1 ]のうちの少なくとも1つが0に等しくない場合、DMVRはディセーブルにされることが可能であり、クロマ成分に適用することはできない。
【0139】
図12は、本開示の実施形態によるプロセス(1200)を概略的に示すフローチャートを示す。プロセス(1200)は、ブロックの再構成に使用することが可能であり、従って、再構成中のブロックに対する予測ブロックを生成する。様々な実施形態において、プロセス(1200)は処理回路により実行され、例えば、端末装置(210)、(220)、(230)、(240)における処理回路、ビデオ・エンコーダ(303)の機能を実行する処理回路、ビデオ・デコーダ(310)の機能を実行する処理回路、ビデオ・デコーダ(410)の機能を実行する処理回路、ビデオ・エンコーダ(503)の機能を実行する処理回路などの処理回路により実行される。幾つかの実施形態では、プロセス(1200)はソフトウェア命令で実現され、従って、処理回路がソフトウェア命令を実行すると、処理回路はプロセス(1200)を実行する。プロセスは(S1201)から始まり、(S1210)に進む。
【0140】
(S1210)において、現在のピクチャ内の現在のブロックの予測情報は、コーディングされたビデオ・ビットストリームから復号化される。予測情報は、第1参照ピクチャ及び第2参照ピクチャに基づくリファインメント技術を使用する可能性があるインター相互予測モードを示す。幾つかの実施態様において、リファインメント技術は、BDOF及びDMVRの少なくとも1つを含む。幾つかの例において、現在のピクチャは、第1参照ピクチャ及び第2参照ピクチャのうちの一方よりも大きなピクチャ・オーダー・カウント（POC）を有し、第1参照ピクチャ及び第2参照ピクチャのうちの他方よりも小さなPOCを有する。
【0141】
(S1220)において、第1参照ピクチャ及び第2参照ピクチャからのクロマ成分の第1の等加重条件が満たされているかどうかの判断を行うことが可能である。幾つかの例において、第1参照ピクチャのクロマ加重に対する第1フラグ(例えば、chroma_weight_l0_flag[refIdxL0])及び第2参照ピクチャのクロマ加重に対する第2フラグ(例えば、chroma_weight_l1_flag[refIdsL1])がチェックされる。第1フラグ及び第2フラグの両方がゼロである場合、クロマ成分の第1等加重条件は充足される。第1フラグ及び第2フラグのうちの少なくとも1つがゼロでない場合、第1等加重条件を満たしていないと判断することができる。
【0142】
(S1230)において、第1等加重条件を充足していないことに応答して、リファインメント技術は、現在のブロック内のサンプルの再構成においてディセーブルにされる。幾つかの実施態様において、リファインメント技術は、ルマ成分のみに適用されることが可能である。従って、第1等加重条件を充足していないことに応答して、リファインメント技術は、現在のブロックのルマ・サンプルの再構成においてディセーブルにされる。幾つかの実施形態では、リファインメント技術は、ルマ及びクロマ成分に対して別々に適用することができる。従って、第1等加重条件を充足していないことに応答して、リファインメント技術は、現在のブロックのクロマ・サンプルの再構成においてディセーブルにされる。そして、プロセスは（S1299）に進み、終了する。
【0143】
第1等加重条件が充足されると、図10B又は図11Bの条件のような他の適切な条件もチェックされて、リファインメント技術を現在のブロック内のサンプルの再構成に適用できるかどうかが判断されることに留意されたい。
【0144】
上述した技術は、コンピュータ読み取り可能な命令を用いてコンピュータ・ソフトウェアとして実装することが可能であり、1つ以上のコンピュータ読み取り可能な媒体に物理的に記憶することが可能である。例えば、図13は、開示される対象事項の特定の実施形態を実現するのに適したコンピュータ・システム(1300)を示す。
【0145】
コンピュータ・ソフトウェアは、アセンブリ、コンパイル、リンク、又は類似のメカニズムの対象となり得る任意の適切なマシン・コード又はコンピュータ言語を使用してコーディングされて、1つ以上のコンピュータ中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)等によって、直接的に実行されることが可能な命令、又は解釈やマイクロコード実行などを経由する命令、を含むコードを作成することが可能である。
【0146】
命令は、例えば、パーソナル・コンピュータ、タブレット・コンピュータ、サーバー、スマートフォン、ゲーム・デバイス、モノのインターネット・デバイス等を含む、種々のタイプのコンピュータ又はそのコンポーネント上で実行されることが可能である。
【0147】
コンピュータ・システム(1300)について図13に示されるコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実現するコンピュータ・ソフトウェアの使用範囲又は機能性に関する如何なる制限も示唆するようには意図されていない。また、コンポーネントの構成は、コンピュータ・システム(1300)の例示的な実施形態に示されたコンポーネントの任意の1つ又は組み合わせに関する何らかの従属性や要件を有するものとして解釈されてはならない。
【0148】
コンピュータ・システム(1300)は、特定のヒューマン・インターフェース入力デバイスを含むことが可能である。このようなヒューマン・インターフェース入力デバイスは、例えば、触覚入力(例えば、キーストローク、スワイプ、データ・グローブの動き)、聴覚的な入力(例えば、声、拍手)、視覚的な入力(例えば、ジェスチャ)、嗅覚的な入力(図示されていない)を介して、1人以上の人間ユーザーによる入力に応答することが可能である。また、ヒューマン・インターフェース・デバイスは、オーディオ(例えば、会話、音楽、周囲音)、画像(例えば、スキャンされた画像、静止画像カメラから得られる写真画像)、ビデオ(例えば、2次元ビデオ、立体ピクチャを含む3次元ビデオ)のような、人間による意識的な入力に必ずしも直接的に関係しない特定のメディアを捕捉するために使用することが可能である。
【0149】
入力ヒューマン・インターフェース・デバイスは、キーボード(1301)、マウス(1302)、トラックパッド(1303)、タッチ・スクリーン(1310)、データ・グローブ(不図示)、ジョイスティック(1305)、マイクロホン(1306)、スキャナ(1307)、カメラ(1308)のうちの(描かれているものはそれぞれ唯1つであるが)1つ以上を含む可能性がある。
【0150】
コンピュータ・システム(1300)は、特定のヒューマン・インターフェース出力デバイスを含むことも可能である。このようなヒューマン・インターフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚/味覚を通じて、1人以上の人間ユーザーの感覚を刺激することが可能である。このようなヒューマン・インターフェース出力デバイスは、触覚出力デバイス(例えば、タッチ・スクリーン(1310)、データ・グローブ(不図示)、ジョイスティック(1305)による触覚フィードバックであるが、入力として役立たない触覚フィードバック・デバイスが存在する可能性もある)、聴覚的な出力デバイス(例えば、スピーカー(1309)、ヘッドフォン(不図示せず))、視覚的な出力デバイス(例えば、CRTスクリーン、LCDスクリーン、プラズマ・スクリーン、OLEDスクリーンを含むスクリーン(1310)であり、各々はタッチ・スクリーン入力機能を備えるか又は備えておらず、各々は触覚フィードバック機能を備えるか又は備えておらず、それらのうちの幾つかは、二次元的な視覚的な出力、立体出力のような手段による三次元以上の出力を出力することが可能であってもよい；仮想現実メガネ(図示せず)、ホログラフィック・ディスプレイ、及びスモーク・タンク(図示せず))、及びプリンタ(図示せず)を含むことが可能である。
【0151】
コンピュータ・システム(1300)はまた、CD/DVD等の媒体(1321)を使うCD/DVD ROM/RW(1320)を含む光媒体(1321)、サム・ドライブ(1322)、リムーバブル・ハード・ドライブ又はソリッド・ステート・ドライブ(1323)、テープ及びフロッピー・ディスク(図示せず)等のレガシー磁気媒体(不図示)、セキュリティ・ドングル(不図示)等の特殊化されたROM/ASIC/PLDベースのデバイスのような、人間がアクセス可能な記憶デバイス及びそれらに関連する媒体を含むことも可能である。
【0152】
当業者は、ここで開示される対象事項に関連して使用される用語「コンピュータ読み取り可能な媒体」は、伝送媒体、搬送波、又はその他の過渡的な信号を包含しないことも理解するはずである。
【0153】
コンピュータ・システム(1300)は、1つ以上の通信ネットワークへのインターフェースも含むことが可能である。ネットワークは、例えば、無線、有線、光であるとすることが可能である。ネットワークは、更に、ローカル、ワイド・エリア、メトロポリタン、車両及び工業、リアルタイム、遅延耐性などに関するものであるとすることが可能である。ネットワークの例は、イーサーネット、無線LAN、セルラー・ネットワーク(GSM、3G、4G、5G、LTE等を含む)、TVの有線又は無線ワイド・エリア・デジタル・ネットワーク(ケーブルTV、衛星TV、及び地上放送TVを含む)、CANBusを含む車両及び産業などを含む。特定のネットワークは、一般に、特定の汎用データ・ポート又は周辺バス(1349)に取り付けられる外部ネットワーク・インターフェース・アダプタを必要とする(例えば、コンピュータ・システム(1300)のUSBポート)；その他は、一般に、以下に説明するようなシステム・バスに取り付けることによって、コンピュータ・システム(1300)のコアに統合される(例えば、イーサーネット・インターフェースはPCコンピュータ・システム内に、セルラー・ネットワーク・インターフェースはスマートフォン・コンピュータ・システム内に統合される)。これらのうちの任意のネットワークを使用して、コンピュータ・システム(1300)は、他のエンティティと通信することが可能である。このような通信は、片方向受信専用(例えば、放送テレビ)、片方向送信専用(例えば、特定のCANbusデバイスに対するCANbus)、又は双方向、例えばローカル又はワイド・エリア・デジタル・ネットワークを使用する他のコンピュータ・システムに対するものであるとすることが可能である。特定のプロトコル及びプロトコル・スタックは、上述のように、それらのネットワーク及びネットワーク・インターフェースの各々で使用されることが可能である。
【0154】
前述のヒューマン・インターフェース・デバイス、ヒューマン・アクセシブル・ストレージ・デバイス、及びネットワーク・インターフェースは、コンピュータ・システム(1300)のコア(1340)に取り付けられることが可能である。
【0155】
コア(1340)は、1つ以上の中央処理ユニット(CPU)(1341)、グラフィックス処理デバイス(GPU)(1342)、フィールド・プログラマブル・ゲート・エリア(FPGA)(1343)の形式における特殊プログラマブル処理デバイス、特定のタスク用のハードウェア・アクセラレータ(1344)等を含むことが可能である。これらのデバイスは、リード・オンリ・メモリ(ROM)(1345)、ランダム・アクセス・メモリ(1346)、内部大容量ストレージ・デバイス(例えば、内的な非ユーザー・アクセシブル・ハード・ドライブ、SSD等)(1347)と共に、システム・バス(1348)を介して接続されることが可能である。幾つかのコンピュータ・システムでは、システム・バス(1348)は、追加のCPU、GPU等による拡張を可能にするために、1つ以上の物理的プラグの形態でアクセス可能である可能性がある。周辺デバイスは、コアのシステム・バス(1348)に直接取り付けられるか、又は周辺バス(1349)を介して取り付けられることが可能である。周辺バスのアーキテクチャは、PCI、USB等を含む。
【0156】
CPU(1341)、GPU(1342)、FPGA(1343)、及びアクセラレータ(1344)は、組み合わされて、前述のコンピュータ・コードを構成することが可能な特定の命令を実行することが可能である。コンピュータ・コードは、ROM(1345)又はRAM(1346)に格納されることが可能である。一時的なデータはRAM(1346)に格納されることが可能である一方、永続的なデータは例えば内的な大容量ストレージ(1347)に格納されることが可能である。任意のメモリ・デバイスに対する高速な記憶及び検索は、キャッシュ・メモリを利用することで可能になる可能性があり、キャッシュ・メモリは、1つ以上のCPU(1341)、GPU(1342)、大容量ストレージ(1347)、ROM(1345)、RAM(1346)等と密接に関連付けることが可能である。
【0157】
コンピュータ読み取り可能な媒体は、様々なコンピュータ実装済み動作を実行するためのコンピュータ・コードをその上に有することが可能である。媒体及びコンピュータ・コードは、本開示の目的のために特別に設計及び構築されたものであるとすることが可能であり、又はそれらは、コンピュータ・ソフトウェアの分野における当業者にとって周知であり且つ入手可能な種類のものであるとすることが可能である。
【0158】
例示として、限定ではなく、アーキテクチャ(1300)、具体的にはコア(1340)を有するコンピュータ・システムは、プロセッサ(CPU、GPU、FPGA、アクセラレータ等を含む)の結果として、1つ以上の有形のコンピュータ読み取り可能な媒体に具現化されたソフトウェアを実行する機能を提供することが可能である。そのようなコンピュータ読み取り可能な媒体は、コア内部の大容量ストレージ(1347)又はROM(1345)のような非一時的な性質のコア(1340)の特定のストレージと同様に、上述したようなユーザー・アクセシブル大容量ストレージに関連するメディアであるとすることが可能である。本開示の様々な実施形態を実現するソフトウェアは、そのようなデバイスに記憶され、コア(1340)によって実行されることが可能である。コンピュータ読み取り可能な媒体は、特定のニーズに応じて、1つ以上のメモリ・デバイス又はチップを含むことが可能である。ソフトウェアは、RAM(1346)に記憶されたデータ構造を定めること、及びソフトウェアによって定められたプロセスに従ってそのようなデータ構造を修正することを含む、本願で説明された特定のプロセス又は特定のプロセスの特定の部分を、コア(1340)及び特にその中のプロセッサ(CPU、GPU、FPGA等を含む)に実行させることが可能である。更に又は代替として、コンピュータ・システムは、回路(例えば、アクセラレータ(1344))内に配線された又は他の方法で具現化されたロジックの結果として機能を提供することが可能であり、その回路は、本願で説明された特定のプロセス又は特定のプロセスの特定の部分を実行することを、ソフトウェアの代わりに又はそれと共に実行することが可能である。ソフトウェアに対する言及はロジックを含み、必要に応じて、その逆も可能である。コンピュータ読み取り可能な媒体に対する言及は、実行のためのソフトウェアを記憶する(集積回路(IC)のような)回路、実行のためのロジックを具体化する回路、又は適切な場合にはその両方を包含することが可能である。本開示はハードウェア及びソフトウェアの適切な任意の組み合わせを包含する。
【0159】
本開示は、幾つかの例示的な実施形態を説明してきたが、本開示の範囲内に該当する、変更、置換、及び種々の代替的な均等物が存在する。従って、当業者は、本願で明示的には図示も説明もされていないが、本開示の原理を具体化し、従ってその精神及び範囲内にある多くのシステム及び方法を考え出すことが可能であることは理解されるであろう。
【0160】
付録A：頭字語
JEM： joint exploration model
VVC： versatile video coding
BMS： benchmark set
MV： Motion Vector
HEVC： High Efficiency Video Coding
SEI： Supplementary Enhancement Information
VUI： Video Usability Information
GOPs： Groups of Pictures
TUs： Transform Units
PUs： Prediction Units
CTUs： Coding Tree Units
CTBs： Coding Tree Blocks
PBs： Prediction Blocks
HRD： Hypothetical Reference Decoder
SNR： Signal Noise Ratio
CPUs： Central Processing Units
GPUs： Graphics Processing Units
CRT： Cathode Ray Tube
LCD： Liquid-Crystal Display
OLED： Organic Light-Emitting Diode
CD： Compact Disc
DVD： Digital Video Disc
ROM： Read-Only Memory
RAM： Random Access Memory
ASIC： Application-Specific Integrated Circuit
PLD： Programmable Logic Device
LAN： Local Area Network
GSM： Global System for Mobile communications
LTE： Long-Term Evolution
CANBus： Controller Area Network Bus
USB： Universal Serial Bus
PCI： Peripheral Component Interconnect
FPGA： Field Programmable Gate Areas
SSD： solid-state drive
IC： Integrated Circuit
CU： Coding Unit
JEM： joint exploration model
VVC： versatile video coding
BMS： benchmark set
MV： Motion Vector
HEVC： High Efficiency Video Coding
SEI： Supplementary Enhancement Information
VUI： Video Usability Information
GOPs： Groups of Pictures
TUs： Transform Units
PUs： Prediction Units
CTUs： Coding Tree Units
CTBs： Coding Tree Blocks
PBs： Prediction Blocks
HRD： Hypothetical Reference Decoder
SNR： Signal Noise Ratio
CPUs： Central Processing Units
GPUs： Graphics Processing Units
CRT： Cathode Ray Tube
LCD： Liquid-Crystal Display
OLED： Organic Light-Emitting Diode
CD： Compact Disc
DVD： Digital Video Disc
ROM： Read-Only Memory
RAM： Random Access Memory
ASIC： Application-Specific Integrated Circuit
PLD： Programmable Logic Device
LAN： Local Area Network
GSM： Global System for Mobile communications
LTE： Long-Term Evolution
CANBus： Controller Area Network Bus
USB： Universal Serial Bus
PCI： Peripheral Component Interconnect
FPGA： Field Programmable Gate Areas
SSD： solid-state drive
IC： Integrated Circuit
CU： Coding Unit
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13】
【国際調査報告】