特開2022-177268動画の符号化及び復号方法、装置、並びにコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022177268
(43)【公開日】2022-11-30
(54)【発明の名称】動画の符号化及び復号方法、装置、並びにコンピュータプログラム
(51)【国際特許分類】
H04N 19/70 20140101AFI20221122BHJP
H04N 19/593 20140101ALI20221122BHJP
H04N 19/523 20140101ALI20221122BHJP
【ＦＩ】
H04N19/70
H04N19/593
H04N19/523
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022155785
(22)【出願日】2022-09-29
(62)【分割の表示】P 2020559553の分割
【原出願日】2019-03-26
(31)【優先権主張番号】62/663,171
(32)【優先日】2018-04-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/205,180
(32)【優先日】2018-11-29
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】シュイ，シアオジョォン
(72)【発明者】
【氏名】リ，グォイチュン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】リィウ，シャン
(57)【要約】 （修正有）
【課題】動画の復号のための方法および装置を提供する。
【解決手段】処理回路を含む装置において、処理回路は、符号化されたビデオビットストリームから、フレーム内ブロックコピーモードを示す現在ブロックの予測情報を復号すし、フレーム内ブロックコピーモードに基づいて、解像度構文要素の第１部分を決定する。解像度構文要素は、フレーム内ブロックコピーモードにおけるブロックベクトルおよびフレーム間マージモードにおける動きベクトルについて同じ意味に統合される。処理回路はさらに、符号化されたビデオビットストリームから解像度構文要素の第２部分を復号し、第１部分と第２部分の組み合わせによって示された解像度に基づいて、ブロックベクトルを決定し、ブロックベクトルに基づいて、現在ブロックの少なくとも１つのサンプルを再構築する。
【選択図】図１５
【解決手段】処理回路を含む装置において、処理回路は、符号化されたビデオビットストリームから、フレーム内ブロックコピーモードを示す現在ブロックの予測情報を復号すし、フレーム内ブロックコピーモードに基づいて、解像度構文要素の第１部分を決定する。解像度構文要素は、フレーム内ブロックコピーモードにおけるブロックベクトルおよびフレーム間マージモードにおける動きベクトルについて同じ意味に統合される。処理回路はさらに、符号化されたビデオビットストリームから解像度構文要素の第２部分を復号し、第１部分と第２部分の組み合わせによって示された解像度に基づいて、ブロックベクトルを決定し、ブロックベクトルに基づいて、現在ブロックの少なくとも１つのサンプルを再構築する。
【選択図】図１５
【特許請求の範囲】
【請求項1】
デコーダが実行する動画の復号方法であって、
符号化されたビデオビットストリームから現在ブロックの予測情報を復号するステップであって、前記予測情報がフレーム内ブロックコピーモードを示す、ステップと、
前記フレーム内ブロックコピーモードに基づいて、解像度構文要素の第１部分を決定するステップであって、現在ブロックについて、前記フレーム内ブロックコピーモードにおけるブロックベクトルおよびフレーム間予測モードにおける動きベクトルにおいて、前記解像度構文要素が同じ意味を有する、ステップと、
前記符号化されたビデオビットストリームから、前記解像度構文要素の第２部分を復号するステップと、
前記第１部分と前記第２部分の組み合わせによって示されるターゲット解像度に基づいて、前記ブロックベクトルを決定するステップと、
前記ブロックベクトルに基づいて、前記現在ブロックの少なくとも１つのサンプルを再構築するステップと、
を含む方法。
符号化されたビデオビットストリームから現在ブロックの予測情報を復号するステップであって、前記予測情報がフレーム内ブロックコピーモードを示す、ステップと、
前記フレーム内ブロックコピーモードに基づいて、解像度構文要素の第１部分を決定するステップであって、現在ブロックについて、前記フレーム内ブロックコピーモードにおけるブロックベクトルおよびフレーム間予測モードにおける動きベクトルにおいて、前記解像度構文要素が同じ意味を有する、ステップと、
前記符号化されたビデオビットストリームから、前記解像度構文要素の第２部分を復号するステップと、
前記第１部分と前記第２部分の組み合わせによって示されるターゲット解像度に基づいて、前記ブロックベクトルを決定するステップと、
前記ブロックベクトルに基づいて、前記現在ブロックの少なくとも１つのサンプルを再構築するステップと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願への相互参照］
本開示は、２０１８年４月２６日に提出された米国仮出願第６２／６６３，１７１「フレーム内ブロックコピーの改善のための方法」、および２０１８年１１月２９日に提出された米国出願第１６／２０５，１８０「動画符号化／復号のための方法および装置」に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
本開示は、２０１８年４月２６日に提出された米国仮出願第６２／６６３，１７１「フレーム内ブロックコピーの改善のための方法」、および２０１８年１１月２９日に提出された米国出願第１６／２０５，１８０「動画符号化／復号のための方法および装置」に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
【0002】
［技術分野］
本開示は、概して動画の符号化／復号に関連する実施形態を説明する。
本開示は、概して動画の符号化／復号に関連する実施形態を説明する。
【背景技術】
【0003】
本明細書で提供される背景技術の説明は、本開示のコンテキストを全体的に示すことを目的とする。この背景技術部分及び本明細書の各態様において説明された、現在署名されている発明者の作業の程度は、本開示の提出時に先行技術として示されておらず、また、本開示の先行技術として認められていることを明示または暗示していない。
【0004】
動画の符号化と復号は、動き補償を有するフレーム間画像予測を用いて実行されることができる。圧縮されていないデジタル動画は、一連の画像を含むことができ、各画像が、例えば１９２０×１０８０の輝度サンプルおよび関連付けられた色度サンプルの空間的次元を有する。この一連の画像は、例えば１秒間に６０枚の画像または６０ヘルツ（Ｈｚ）の固定または可変の画像レート（非公式にはフレームレートとして知られている）を有することができる。圧縮されていない動画には、非常に高いビットレート要件がある。例えば、サンプルあたり８ビットの１０８０ｐ６０ ４：２：０の動画（６０Ｈｚのフレームレートでの１９２０ｘ１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓの帯域幅に近い必要がある。このような動画は、一時間で６００ＧＢ以上の記憶空間を必要とする。
動画の符号化および復号の１つの目的は、入力ビデオ信号における冗長情報を圧縮により低減することである。圧縮は、上記の帯域幅または記憶空間に対する要件を低減することを助けることができ、いくつかの場合では、二桁以上程度を低減することができる。無損失性および損失性の圧縮、ならびに両方の組み合わせは、いずれも使用されることができる。無損失性の圧縮とは、元の信号の正確なコピーを圧縮された元の信号から再構築することができる、という技術を指す。損失性の圧縮が使用される場合、再構築された信号は、元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みが十分に小さいので、再構築された信号が予想されるアプリケーションに利用されることができる。動画の場合、損失性の圧縮が広く使われている。許容される歪みの量は、アプリケーションに依存し、例えば、あるストリーミングアプリケーションを消費するユーザは、テレビ配信アプリケーションのユーザより、高い歪みを許容することができる。実現可能な圧縮比は、より高い許可／許容可能な歪みがより高い圧縮比を生成することができる、ということを反映している。
動画の符号化および復号の１つの目的は、入力ビデオ信号における冗長情報を圧縮により低減することである。圧縮は、上記の帯域幅または記憶空間に対する要件を低減することを助けることができ、いくつかの場合では、二桁以上程度を低減することができる。無損失性および損失性の圧縮、ならびに両方の組み合わせは、いずれも使用されることができる。無損失性の圧縮とは、元の信号の正確なコピーを圧縮された元の信号から再構築することができる、という技術を指す。損失性の圧縮が使用される場合、再構築された信号は、元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みが十分に小さいので、再構築された信号が予想されるアプリケーションに利用されることができる。動画の場合、損失性の圧縮が広く使われている。許容される歪みの量は、アプリケーションに依存し、例えば、あるストリーミングアプリケーションを消費するユーザは、テレビ配信アプリケーションのユーザより、高い歪みを許容することができる。実現可能な圧縮比は、より高い許可／許容可能な歪みがより高い圧縮比を生成することができる、ということを反映している。
【0005】
ビデオエンコーダおよびデコーダは、例えば動き補償、変換、量子化およびエントロピー符号化を含む、いくつかの広範なカテゴリからの技術を利用することができる。
動画符号化／復号技術は、フレーム内符号化として知られている技術を含むことができる。フレーム内符号化では、サンプル値は、以前に再構築された参照画像からのサンプルまたは他のデータを参照せずに表現される。いくつかのビデオコーデックでは、画像は空間的にサンプルブロックに細分される。すべてのサンプルブロックがフレーム内モードで符号化された場合、その画像はフレーム内画像とすることができる。独立したデコーダリフレッシュ画像などのようなフレーム内画像およびそれらの派生は、デコーダの状態をリセットするために使用されることができ、したがって、符号化されたビデオビットストリームおよびビデオセッション中の１番目の画像または静止画像として使用されることができる。フレーム内ブロックのサンプルは変換に用いられ、また、変換係数はエントロピー符号化の前に量子化されることができる。フレーム内予測は、プリ変換ドメインにおけるサンプル値を最小化する技術であることができる。いくつかの場合では、変換後のＤＣ値が小さくなり、ＡＣ係数が小さくなるほど、エントロピー符号化後のブロックを表すために、与えられた量子化ステップサイズで必要なビットが少なくなる。
動画符号化／復号技術は、フレーム内符号化として知られている技術を含むことができる。フレーム内符号化では、サンプル値は、以前に再構築された参照画像からのサンプルまたは他のデータを参照せずに表現される。いくつかのビデオコーデックでは、画像は空間的にサンプルブロックに細分される。すべてのサンプルブロックがフレーム内モードで符号化された場合、その画像はフレーム内画像とすることができる。独立したデコーダリフレッシュ画像などのようなフレーム内画像およびそれらの派生は、デコーダの状態をリセットするために使用されることができ、したがって、符号化されたビデオビットストリームおよびビデオセッション中の１番目の画像または静止画像として使用されることができる。フレーム内ブロックのサンプルは変換に用いられ、また、変換係数はエントロピー符号化の前に量子化されることができる。フレーム内予測は、プリ変換ドメインにおけるサンプル値を最小化する技術であることができる。いくつかの場合では、変換後のＤＣ値が小さくなり、ＡＣ係数が小さくなるほど、エントロピー符号化後のブロックを表すために、与えられた量子化ステップサイズで必要なビットが少なくなる。
【0006】
例えばＭＰＥＧ―２符号化技術から知られているような従来のフレーム内符号化は、フレーム内予測を使用していない。しかしながら、いくつかのより新しい動画圧縮技術は、例えば、周囲のサンプルデータおよび／またはメタデータからデータブロックを取得しようとする技術を含み、周囲のサンプルデータおよび／またはメタデータは、空間的に隣接するブロックの符号化／復号期間で、かつ、復号順で前に得られたものである。このような技術は、以降「フレーム内予測」技術と呼ばれる。少なくともいくつかの場合では、フレーム内予測は、参照画像からの参照データを使用せずに、再構築中の現在画像からの参照データのみを使用する、ということに留意されたい。
多くの異なる形態のフレーム内予測が存在することができる。与えられた動画符号化技術では、このような技術のうちの２つ以上を使用することができる場合、使用中の技術は、フレーム内予測モードで符号化を行うことができる。いくつかの場合では、モードは、サブモードおよび／またはパラメータを有してもよいし、これらのモードが、単独で符号化されてもよく、またはモードコードワードに含まれてもよい。どのコードワードを与えられたモード／サブモード／パラメータの組み合わせに使用するかは、フレーム内予測によって符号化効率利得に影響を及ぼすので、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術には、このような場合もある。
多くの異なる形態のフレーム内予測が存在することができる。与えられた動画符号化技術では、このような技術のうちの２つ以上を使用することができる場合、使用中の技術は、フレーム内予測モードで符号化を行うことができる。いくつかの場合では、モードは、サブモードおよび／またはパラメータを有してもよいし、これらのモードが、単独で符号化されてもよく、またはモードコードワードに含まれてもよい。どのコードワードを与えられたモード／サブモード／パラメータの組み合わせに使用するかは、フレーム内予測によって符号化効率利得に影響を及ぼすので、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術には、このような場合もある。
【0007】
フレーム内予測の特定のモードは、Ｈ．２６４で導入され、Ｈ．２６５において改善され、また、共同探索モデル（ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）、汎用動画符号化（ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）、ベンチマークセット（ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ）などの、新しい符号化／復号技術においてさらに改善される。予測ブロックは、既に利用可能なサンプルに属する、隣接するサンプル値を使用して形成されることができる。隣接するサンプルのサンプル値は、ある方向に従って予測ブロックにコピーされる。使用中の方向への参照は、ビットストリームに符号化されてもよく、または、それ自身が予測されてもよい。
【0008】
図１を参照して、右下には、Ｈ．２６５の３５個の予測可能な方向から知られている９つの予測方向のサブセットが描かれている。矢印が収束する点（１０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が水平から４５度の角度になる右上の１つ以上のサンプルから予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が水平から２２．５度の角度になるサンプル（１０１）の左下の１つ以上のサンプルから予測されることを示す。
【0009】
引き続き図１を参照すると、左上には４×４のサンプルの正方形ブロック（１０４）が描かれている（太い破線で示される）。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルが、「Ｓ」と、Ｘ次元（例えば、行索引）での位置と、Ｙ次元（例えば、列索引）での位置とでラベル付けられている。例えば、サンプルＳ２１は、Ｙ次元での２番目のサンプル（上から）とＸ次元での１番目のサンプル（左から）である。同様に、サンプルＳ４４は、Ｙ次元およびＸ次元の両方でのブロック（１０４）の４番目のサンプルである。このブロックが４×４サイズのサンプルであるため、Ｓ４４は右下にある。さらに、同様の番号付けスキームに従う参照サンプルも示されている。参照サンプルは、「Ｒ」と、ブロック（１０４）に対するＸ位置（例えば、行索引）およびＹ位置（例えば、列索引）とでラベル付けられている。Ｈ．２６４とＨ．２６５の両方では、予測サンプルは再構築中のブロックに隣接しているので、負の値を使用する必要はない。
【0010】
フレーム内画像予測は、シグナルで通知された予測方向に応じて、隣接するサンプルから参照サンプル値をコピーすることによって機能することができる。例えば、符号化されたビデオビットストリームには、シグナリングが含まれていると仮定すると、このシグナリングは、このブロックに対して、矢印（１０２）と一致する予測方向を示し、すなわち、サンプルが水平と４５度の角度になる右上の１つ以上の予測サンプルから予測される。この場合、サンプルＳ４１、Ｓ３２、Ｓ２３、Ｓ１４は、同じ参照サンプルＲ０５から予測される。そして、サンプルＳ４４は、参照サンプルＲ０８から予測される。
いくつかの場合では、参照サンプルを計算するために、特に、方向が４５度で均等に割り切れない場合、例えば、補間を通じて複数の参照サンプルの値を組み合わせることができる。
いくつかの場合では、参照サンプルを計算するために、特に、方向が４５度で均等に割り切れない場合、例えば、補間を通じて複数の参照サンプルの値を組み合わせることができる。
【0011】
動画符号化技術の発展につれて、可能な方向の数が既に増加された。Ｈ．２６４（２００３年）では、９つの異なる方向を表すことができた。これは、Ｈ．２６５（２０１３年）で３３個に増加し、ＪＥＭ／ＶＣ／ＢＭＳは、開示時点で最多６５個の方向をサポートすることができる。最も可能性ある方向を識別するための実験が行われ、そして、エントロピー符号化におけるいくつかの技術は、少数のビットでそれらの可能性ある方向を表すために使用され、可能性が低い方向に対して、いくつかの代償を受ける。さらに、方向自体は、隣接する既に復号されたブロックで使用された隣接する方向から予測されることができる場合がある。
【0012】
図２は、時間の経過とともに増加する予測方向の数を説明するために、ＪＥＭによる６５個のフレーム内予測方向を描く概略図（２０１）を示す。
【0013】
フレーム内予測方向から符号化されたビデオビットストリームにおける方向を表すビットへのマッピングは、動画符号化技術によって異なることができ、また、例えば、予測方向への簡単な直接マッピングから、フレーム内予測モード、コードワード、最も可能性が高いモードを含む複雑な適応スキーム、および類似な技術まで、様々なものがある。しかしながら、すべての場合で、ビデオコンテンツにおいて、他の特定の方向よりも統計的に発生する可能性が低い特定の方向が存在する可能性がある。動画圧縮の目的は冗長性の削減であるため、それらの可能性が低い方向は、適切に機能する動画符号化技術では、可能性が高い方向よりも多くのビットで表される。
【発明の概要】
【課題を解決するための手段】
【0014】
本開示の態様は、動画の復号のための方法および装置を提供する。いくつかの例では、装置は、動画の復号のための処理回路を含む。処理回路は、符号化されたビデオビットストリームから現在ブロックの予測情報を復号する。予測情報は、フレーム内ブロックコピーモードを示す。そして、処理回路は、フレーム内ブロックコピーモードに基づいて、解像度構文要素の第１部分を決定する。解像度構文要素は、フレーム内ブロックコピーモードにおけるブロックベクトルおよびフレーム間マージモードにおける動きベクトルについて同じ意味に統合される。さらに、処理回路は、符号化されたビデオビットストリームから、解像度構文要素の第２部分を復号し、第１部分と第２部分の組み合わせによって示されたターゲット解像度に基づいて、ブロックベクトルを決定する。そして、処理回路は、ブロックベクトルに基づいて、現在ブロックの少なくとも１つのサンプルを再構築する。
【0015】
本開示の一態様によれば、処理回路は、フレーム内ブロックコピーモードに基づいて、選択可能な解像度が整数画素であることを示す第１部分を決定する。例えば、処理回路は、フレーム内ブロックコピーモードに基づいて、第１部分がバイナリの１であると決定し、前記バイナリの１は、フレーム間画像マージモードにおける動きベクトルのための意味に基づいて、整数画素解像度を示す。そして、処理回路は、解像度構文要素の第２部分に基づいて、選択可能な解像度から前記ターゲット解像度を選択する。
【0016】
本開示の一態様によれば、処理回路は、符号化されたビデオビットストリームからの付加的な情報を復号せずに、フレーム内ブロックコピーモードに基づいて、解像度構文要素の第１部分を決定する。一実施形態では、処理回路は、現在ブロックが所属する現在画像を、現在ブロックのための参照画像として認識し、現在ブロックを含むスライスのスライスヘッダから、候補リストにおける候補の最大数を指定する値を復号する。一例では、処理回路は、フレーム内ブロックコピーモードにおける、現在ブロックのマージ候補リストを構築し、ここで、マージ候補リストにおけるフレーム内マージ候補の数が前記値を超えない。別の例では、処理回路は、フレーム間予測モードにおける、他のブロックのためのマージ候補リストを構築し、ここで、マージ候補リストにおけるフレーム間マージ候補の数が前記値を超えない。
【0017】
一実施形態では、スライスにおいて、時間的参照画像を使用しない。別の実施形態では、前記値は、切り捨てられた単項コードで符号化される。
【0018】
本開示の態様は、命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記命令が動画の復号のためのコンピュータによって実行される際に、前記コンピュータに前記動画復号方法を実行させる。
【図面の簡単な説明】
【0019】
開示された主題の更なる特徴、性質、および様々な利点は、以下の詳細な説明および添付図面からより明らかになり、ここで、
【図1】いくつかの例によるフレーム内予測モードのサブセットの概略図である。
【図2】いくつかの例によるフレーム内予測方向の概略図である。
【図3】一実施形態による通信システムの簡略化されたブロック図の概略図である。
【図4】一実施形態による通信システムの簡略化されたブロック図の概略図である。
【図5】一実施形態によるデコーダの簡略化されたブロック図の概略図である。
【図6】一実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【図7】別の実施形態によるエンコーダのブロック図を示す図である。
【図8】別の実施形態によるデコーダのブロック図を示す図である。
【図9】本開示の一実施形態によるフレーム内ブロックコピーの例を示す図である。
【図10】いくつかの実施形態によるバイラテラルマッチング（ｂｉｌａｔｅｒａｌ ｍａｔｃｈｉｎｇ）の例を示す図である。
【図11】本開示の一実施形態によるテンプレートマッチングの例を示す図である。
【図12】空間マージ候補の例を示す図である。
【図13】照明補償のためのパラメータ計算の例を示す図である。
【図14】参照ブロックと現在ブロックのオーバーラップの例を示す図である。
【図15】本開示のいくつかの実施形態によるプロセス例を概説するフローチャートを示す図である。
【図16】一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0020】
図３は、本開示の実施形態による通信システム（３００）の簡略化されたブロック図である。通信システム（３００）は、例えばネットワーク（３５０）を介して相互に通信することができる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１ペアの端末デバイス（３１０）と（３２０）を含む。図３の例では、第１ペアの端末デバイス（３１０）と（３２０）は、データの単方向伝送を行う。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介して他の端末デバイス（３２０）に伝送するために、ビデオデータ（例えば、端末デバイス（３１０）によって捕捉されたビデオ画像ストリーム）を符号化することができる。符号化されたビデオデータは、１つ以上の符号化されたビデオビットストリームの形で伝送されることができる。端末デバイス（３２０）は、ネットワーク（３５０）から、符号化されたビデオデータを受信し、符号化されたビデオデータを復号してビデオ画像を復元し、復元されたビデオデータに基づいてビデオ画像を表示することができる。単方向データ伝送は、メディアサービングアプリケーションなどでは一般的である。
【0021】
別の例では、通信システム（３００）は、例えばビデオ会議中に発生する可能性がある、符号化されたビデオデータの双方向伝送を実行する第２ペアの端末デバイス（３３０）と（３４０）を含む。データの双方向伝送の場合、一例では、端末デバイス（３３０）と（３４０）の各端末デバイスは、ネットワーク（３５０）を介して端末デバイス（３３０）と（３４０）のうちの他方の端末デバイスに送信するために、ビデオデータ（例えば、端末デバイスによって捕捉されたビデオ画像ストリーム）を符号化することができる。端末デバイス（３３０）と（３４０）の各端末デバイスは、端末デバイス（３３０）と（３４０）のうちの他方の端末デバイスによって送信された、符号化されたビデオデータを受信することもでき、また、符号化されたビデオデータを復号してビデオ画像を復元し、復元されたビデオデータに基づいて、アクセス可能な表示デバイスにビデオ画像を表示することもできる。
【0022】
図３の例では、端末デバイス（３１０）、（３２０）、（３３０）および（３４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示されてもよいが、本開示の原理は、これに限定されていない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤーおよび／または専用のビデオ会議機器を有するアプリケーションを見つける。ネットワーク（３５０）は、端末デバイス（３１０）、（３２０）、（３３０）および（３４０）間で、符号化されたビデオデータを伝送する任意の数のネットワークを表し、有線（ワイヤード）および／または無線の通信ネットワークを含む。通信ネットワーク（３５０）は、回路交換および／またはパケット交換のチャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本開示の目的のために、ネットワーク（３５０）のアーキテクチャおよびトポロジは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。
【0023】
図４は、開示された主題に対するアプリケーションの例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示された主題は、例えば、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮された動画の記憶、ビデオ会議、デジタルＴＶなどを含む、他の動画サポートアプリケーションにも同等に適用可能である。
【0024】
ストリーミングシステムは、捕捉サブシステム（４１３）を含むことができ、この捕捉サブシステムが、例えばデジタルカメラなどのビデオソース（４０１）を含むことができ、例えば圧縮されていないビデオ画像ストリーム（４０２）を作成する。一例では、ビデオ画像ストリーム（４０２）は、デジタルカメラによって撮影されたサンプルを含む。符号化されたビデオデータ（４０４）（または符号化されたビデオビットストリーム）と比較して高いデータボリュームであることを強調するために太い線で描かれたビデオ画像ストリーム（４０２）は、ビデオソース（４０１）に結合されたビデオエンコーダ（４０３）を含むエレクトロニクス装置（４２０）によって処理されることができる。ビデオエンコーダ（４０３）は、以下でより詳細に説明するように、開示された主題の様々な態様を可能にするかまたは実現するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオ画像ストリーム（４０２）と比較して低いデータボリュームであることを強調するために細い線で描かれた、符号化されたビデオデータ（４０４）（または符号化されたビデオビットストリーム（４０４））は、将来の使用のためにストリーミングサーバ（４０５）に記憶されることができる。図４のクライアントサブシステム（４０６）および（４０８）などのような１つ以上のストリーミングクライアントサブシステムは、符号化されたビデオデータ（４０４）のコピー（４０７）および（４０９）を検索するために、ストリーミングサーバー（４０５）にアクセスすることができる。クライアントサブシステム（４０６）は、例えば、エレクトロニクス装置（４３０）にビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、伝入される、符号化されたビデオデータのコピー（４０７）を復号して、伝出される、ビデオ画像ストリーム（４１１）を生成し、このビデオ画像ストリーム（４１１）が、ディスプレイ（４１２）（例えば、ディスプレイスクリーン）または他のレンダリングデバイス（図示せず）に表示されることができる。一部のストリーミングシステムでは、符号化されたビデオデータ（４０４）、（４０７）および（４０９）（例えば、ビデオビットストリーム）は、特定の動画符号化／圧縮規格に従って符号化されることができる。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中の動画符号化規格は、非公式には次世代動画符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）またはＶＶＣと呼ばれる。開示された主題は、ＶＶＣのコンテキストで使用されることができる。
【0025】
なお、エレクトロニクス装置（４２０）および（４３０）は、他のコンポーネント（図示せず）を含むことができる。例えば、エレクトロニクス装置（４２０）は、ビデオデコーダ（図示せず）を含むことができ、エレクトロニクス装置（４３０）は、同様にビデオエンコーダ（図示せず）を含むことができる。
【0026】
図５は、本開示の実施形態によるビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、エレクトロニクス装置（５３０）に含まれることができる。エレクトロニクス装置（５３０）は、受信器（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用することができる。
【0027】
受信器（５３１）は、ビデオデコーダ（５１０）によって復号される１つ以上の符号化されたビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に1つの符号化されたビデオシーケンスを受信することができ、ここで、各符号化されたビデオシーケンスの復号は、他の符号化されたビデオシーケンスから独立である。符号化されたビデオシーケンスは、チャネル（５０１）から受信されることができ、このチャネルは、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアのリンクであってもよい。受信器（５３１）は、それぞれの使用エンティティ（図示せず）に伝送されることができる、例えば符号化されたオーディオデータおよび／または補助データストリームなどのような他のデータとともに、符号化されたビデオデータを受信することができる。受信器（５３１）は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（５１５）が、受信器（５３１）とエントロピーデコーダ／解析器（Ｐａｒｓｅｒ）（５２０）（以降「解析器（５２０）」）との間に結合されることができる。いくつかのアプリケーションでは、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部である。他の場合では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の外部に配置されてもよい（図示せず）。さらに他の場合では、例えばネットワークジッタを防止するために、ビデオデコーダ（５１０）の外部にバッファメモリ（図示せず）があり得て、さらに、例えば再生タイミングを処理するために、ビデオデコーダ（５１０）の内部に別のバッファメモリ（５１５）があり得る。受信器（５３１）が十分な帯域幅および制御可能性を有するストア／フォワードデバイスからまたは等時性同期ネットワーク（ｉｓｏｓｙｎｃｈｒｏｎｏｕｓ ｎｅｔｗｏｒｋ）からデータを受信する場合、バッファメモリ（５１５）は、必要ではないかまたは小さくてもよい。インターネットなどのようなベストエフォートパケットネットワークで使用するために、バッファメモリ（５１５）は、必要になる場合があり、比較的大きくすることができ、有利には適応性のサイズにすることができ、オペレーティングシステムまたはビデオデコーダ（５１０）の外部の類似要素（図示せず）に少なくとも部分的に実装されることができる。
【0028】
ビデオデコーダ（５１０）は、符号化されたビデオシーケンスからシンボル（５２１）を再構築するための解析器（５２０）を含むことができる。これらのシンボルのカテゴリには、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、エレクトロニクス装置（５３０）の不可欠な部分ではないが、図５に示すように、エレクトロニクス装置（５３０）に結合されることができるレンダリングデバイス（５１２）（例えば、ディスプレイスクリーン）などのようなレンダリングデバイスを制御するための潜在的情報とが含まれる。レンダリングデバイスの制御情報は、補足強化情報（ＳＥＩメッセージ）またはビジュアルユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形であってもよい。解析器（５２０）は、受信された、符号化されたビデオシーケンスに対して解析／エントロピー復号を行うことができる。符号化されたビデオシーケンスの符号化は、動画符号化技術または規格に従うことができ、可変長符号化、ハフマン符号化、コンテキスト感度を有するかまたは有しないかの算術符号化などを含む、様々な原理に従うことができる。解析器（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化されたビデオシーケンスから、ビデオデコーダにおける画素のサブグループのうちの少なくとも１つのサブグループパラメータのセットを抽出することができる。サブグループは、画像のグループ（ＧＯＰ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）、画像、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）、ブロック、変換ユニット（ＴＵ：Ｔｒａｎｓ ｆｏｒｍ Ｕｎｉｔ）、予測ユニット（ＰＵ：Ｐｒｅｃｔｉｏｎ Ｕｎｉｔ）などを含むことができる。解析器（５２０）は、変換係数、量子化器パラメータ値、動きベクトルなどのような情報を符号化されたビデオシーケンスから抽出することもできる。
【0029】
解析器（５２０）は、シンボル（５２１）を作成するために、バッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピー復号／解析動作を実行することができる。
【0030】
シンボル（５２１）の再構築は、符号化されたビデオ画像またはその一部（例えば、フレーム間画像およびフレーム内画像、フレーム間ブロックおよびフレーム内ブロック）のタイプおよび他の要因に応じて、複数の異なるユニットに関連することができる。どのようなユニットに関連するか、およびどのように関連するかは、解析器（５２０）によって、符号化されたビデオシーケンスから解析されたサブグループ制御情報によって制御されることができる。解析器（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明瞭にするために示されていない。
【0031】
既に言及された機能ブロックに加えて、ビデオデコーダ（５１０）は、以下に説明するように、いくつかの機能ユニットに概念的に細分されることができる。商業的制約下で動作する実際の実施形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的に互いに統合されることができる。しかしながら、開示された主題を説明する目的のために、以下の機能ユニットへの概念的な細分は適切である。
【0032】
第１ユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、量子化された変換係数と、どのような変換を使用するかということ、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報とを、解析器（５２０）からシンボル（５２１）として受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力できるサンプル値を含むブロックを出力することができる。
【0033】
いくつかの場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、フレーム内符号化ブロックに属することができ、即ち、以前に再構築された画像からの予測情報を使用していないが、現在画像の以前に再構築された部分からの予測情報を使用することができるブロックである。このような予測情報は、フレーム内画像予測ユニット（５５２）によって提供され得る。いくつかの場合では、フレーム内画像予測ユニット（５５２）は、現在画像バッファ（５５８）から抽出された、周囲の既に再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在画像バッファ（５５８）は、例えば、部分的に再構築された現在画像および／または完全に再構築された現在画像をバッファリングする。アグリゲータ（５５５）は、いくつかの場合では、サンプルごとに基づいて、フレーム内予測ユニット（５５２）によって生成された予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に追加する。
【0034】
他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、フレーム間符号化されたブロックおよび潜在的に動き補償されたブロックに属することができる。このような場合、動き補償予測ユニット（５５３）は、参照画像メモリ（５５７）にアクセスして、予測に用いられるサンプルをフェッチすることができる。フェッチされたサンプルが、ブロックに関連するシンボル（５２１）に基づいて動き補償された後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によってスケーラ／逆変換ユニット（５５１）の出力（この場合、残差サンプルまたは残差信号と呼ばれる）に追加されることができる。動き補償予測ユニット（５５３）が予測サンプルをフェッチするときの参照画像メモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照画像成分を有することができるシンボル（５２１）の形で、動き補償予測ユニット（５５３）に利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるときに、参照画像メモリ（５５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。
【0035】
アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技術に掛けられてもよい。動画圧縮技術は、符号化されたビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれ、解析器（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能になるパラメータによって制御されるインループ（in-loop）フィルタ技術を含むことができ、また、符号化された画像または符号化されたビデオシーケンスの前の部分（復号順序で）を復号する期間で得られたメタ情報に応答し、および、以前に再構築されてループフィルタリングされたサンプル値に応答することもできる。
【0036】
ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）に出力することができ、および、将来のフレーム間画像予測で使用するために参照画像メモリ（５５７）に記憶することができるサンプルストリームとすることができる。
【0037】
特定の符号化された画像は、完全に再構築されると、将来の予測のための参照画像として使用することができる。例えば、現在画像に対応する符号化された画像が完全に再構築され、符号化された画像が（例えば、解析器（５２０）によって）参照画像として識別されると、現在画像バッファ（５５８）は、参照画像メモリ（５５７）の一部になることができ、そして、後続の符号化された画像の再構築を開始する前に、新しい現在画像バッファを再割り当てることができる。
【0038】
ビデオデコーダ（５１０）は、例えばＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．などのような規格における所定の動画圧縮技術に従って復号動作を実行することができる。符号化されたビデオシーケンスは、符号化されたビデオシーケンスが動画圧縮技術または規格の構文と、動画圧縮技術または規格の文書としてのプロファイルとの両方に従うという意味で、使用されている動画圧縮技術または規格によって指定された構文に従うことができる。具体的には、プロファイルは、動画圧縮技術または規格で使用可能なすべてのツールから、そのプロファイルで使用できる唯一のツールとしていくつかのツールを選択することができる。符号化されたビデオシーケンスの複雑さが、動画圧縮技術または規格の階層によって定義された範囲内にあるということも準拠のために必要である。いくつかの場合では、階層は、最大画像サイズ、最大フレームレート、（例えば、毎秒メガ（ｍｅｇａ）個のサンプルを単位として測定される）最大再構築サンプルレート、最大参照画像サイズなどを制限する。階層によって設定された制限は、いくつかの場合では、仮想参照デコーダ（ＨＲＤ：Ｈｙｐｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）仕様と、符号化されたビデオシーケンスにおいてシグナルで通知されるＨＲＤバッファ管理のメタデータとによって、さらに制限されることができる。
【0039】
一実施形態では、受信器（５３１）は、符号化されたビデオとともに付加（冗長）的なデータを受信することができる。付加的なデータは、符号化されたビデオシーケンスの一部として含まれることができる。付加的なデータは、データを適切に復号し、および／または元のビデオデータをより正確に再構築するために、ビデオデコーダ（５１０）によって使用されることができる。付加的なデータは、例えば、時間的、空間的、または信号雑音比（ＳＮＲ：ｓｉｇｎａｌ ｎｏｉｓｅ ｒａｔｉｏ）拡張層、冗長スライス、冗長画像、前方誤り訂正符号などのような形式にすることができる。
【0040】
図６は、本開示の一実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、エレクトロニクス装置（６２０）に含まれる。エレクトロニクス装置（６２０）は、送信器（６４０）（例えば、送信回路）を含む。ビデオエンコーダ（６０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用することができる。
【0041】
ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によって符号化されるビデオ画像を捕捉するビデオソース（６０１）（図６の例におけるエレクトロニクス装置（６２０）の一部ではない）から、ビデオサンプルを受信することができる。別の例では、ビデオソース（６０１）は、エレクトロニクス装置（６２０）の一部である。
【0042】
ビデオソース（６０１）は、ビデオエンコーダ（６０３）によって符号化されたソースビデオシーケンスをデジタルビデオサンプルストリームの形式で提供することができ、前記デジタルビデオサンプルストリームは、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ…）及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有することができる。メディアサービスシステムでは、ビデオソース（６０１）は、以前に準備されたビデオを記憶する記憶デバイスであってもよい。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってもよい。ビデオデータは、順番に見られるときに動きを与える複数の個別の画像として提供されることができる。画像自体は、空間画素アレイとして構成されてもよく、ここで、各画素は、使用中のサンプリング構造、色空間などに応じて、１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てる。
【0043】
一実施形態によれば、ビデオエンコーダ（６０３）は、リアルタイムで、またはアプリケーションによって要求される任意の他の時間制約の下で、ソースビデオシーケンスの画像を、符号化されたビデオシーケンス（６４３）に符号化し圧縮することができる。適切な符号化速度を実施することは、コントローラ（６５０）の１つの機能である。いくつかの実施形態では、コントローラ（６５０）は、以下で説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。該結合は、明瞭にするために図示されていない。コントローラ（６５０）によって設定されたパラメータは、レート制御関連パラメータ（画像スキップ、量子化器、レート歪み最適化技術のλ（ラムダ）値…）、画像サイズ、画像のグループ（ＧＯＰ：ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ（６５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（６０３）に関連する他の適切な機能を有するように構成されることができる。
【0044】
いくつかの実施形態では、ビデオエンコーダ（６０３）は、符号化ループで動作するように構成される。過度に簡単化された説明として、一例では、符号化ループは、ソースコーダ（６３０）（例えば、符号化される入力画像と、参照画像とに基づいて、シンボルストリームなどのようなシンボルを作成することを担当する）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（リモート）デコーダがサンプルデータを作成するのと同様の方法でシンボルを再構築してサンプルデータを作成する（開示された主題で考慮されている動画圧縮技術では、シンボルと符号化されたビデオビットストリームとの間の任意の圧縮が無損失であるからである）。再構築されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（６３４）に入力される。シンボルストリームの復号により、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照画像メモリ（６３４）のコンテンツは、ローカルエンコーダとリモートエンコーダの間でもビットで正確に対応する。言い換えれば、エンコーダの予測部分が「見た」参照画像サンプルは、デコーダが復号中に予測を使用する際に「見た」サンプル値と全く同じである。この参照画像の同期性の基本原理（および、例えばチャネル誤差の原因で同期性が維持されない場合に生じるドリフト）は、いくつかの関連技術でも使用されている。
【0045】
「ローカル」デコーダ（６３３）の動作は、既に図５に関連して以上で詳細に説明された、ビデオデコーダ（５１０）などのような「リモート」デコーダの動作と同じであってもよい。しかし、図５をさらに簡単に参照すると、シンボルが利用可能であり、かつ、エントロピーコーダ（６４５）および解析器（５２０）によって符号化されたビデオシーケンスへのシンボルの符号化／復号が無損失であることができるため、バッファメモリ（５１５）と解析器（５２０）を含むビデオデコーダ（５１０）のエントロピーデコード部分は、ローカルデコーダ（６３３）に完全に実装されなくてもよい。
この時点で気付くことには、デコーダに存在する解析／エントロピー復号以外のいかなるデコーダ技術も、対応するエンコーダにおいて、実質的に同一の機能形式で必ず存在する必要がある。このため、開示された主題は、デコーダ動作に焦点を合わせる。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略されることができる。特定の領域だけで、より詳細な説明が必要であり、以下で提供される。
この時点で気付くことには、デコーダに存在する解析／エントロピー復号以外のいかなるデコーダ技術も、対応するエンコーダにおいて、実質的に同一の機能形式で必ず存在する必要がある。このため、開示された主題は、デコーダ動作に焦点を合わせる。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略されることができる。特定の領域だけで、より詳細な説明が必要であり、以下で提供される。
【0046】
動作中に、いくつかの実施形態では、ソースコーダ（６３０）は、動き補償予測符号化を実行することができ、前記動き補償予測符号化は、ビデオシーケンスから「参照画像」として指定された１つ以上の以前に符号化された画像を参照して、入力画像を予測的に符号化する。このようにして、符号化エンジン（６３２）は、入力画像の画素ブロックと、入力画像に対する予測参照として選択されることができる参照画像の画素ブロックとの間の差分を符号化する。
【0047】
ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されたシンボルに基づいて、参照画像として指定されることができる画像の符号化されたビデオデータを復号することができる。符号化エンジン（６３２）の動作は、有利には損失性プロセスであってもよい。符号化されたビデオデータがビデオデコーダ（図６に示されない）で復号された場合、再構築されたビデオシーケンスは、通常、いくらかの誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（６３３）は、参照画像に対してビデオデコーダによって実行されることができる復号プロセスをコピーして、再構築された参照画像を参照画像キャッシュ（６３４）に記憶することができる。このようにして、ビデオエンコーダ（６０３）は、遠端ビデオデコーダによって得られる（伝送誤差が存在しない）再構築された参照画像と共通のコンテンツを有する再構築された参照画像のコピーを、ローカルに記憶することができる。
【0048】
予測器（６３５）は、符号化エンジン（６３２）に対して予測検索を実行することができる。すなわち、符号化される新しい画像について、予測器（６３５）は、新しい画像の適切な予測参照として機能するサンプルデータ（候補参照画素ブロックとして）または特定のメタデータ、例えば参照画像動きベクトル、ブロック形状などについて、参照画像メモリ（６３４）を検索することができる。予測器（６３５）は、適切な予測参照を見つけるために、サンプルブロックに基づいて、画素ブロックごとに動作することができる。いくつかの場合では、予測器（６３５）によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ（６３４）に記憶された複数の参照画像から引き出された予測参照を有することができる。
【0049】
コントローラ（６５０）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（６３０）の符号化動作を管理することができる。
【0050】
上述のすべての機能ユニットの出力は、エントロピーコーダ（６４５）でエントロピー符号化されることができる。エントロピーコーダ（６４５）は、例えばハフマン符号化、可変長符号化、算術符号化などのような、当業者に知られている技術に従って、シンボルを無損失で圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化されたビデオシーケンスに変換する。
【0051】
送信器（６４０）は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであることができる通信チャネル（６６０）を介した送信に備えるために、エントロピーコーダ（６４５）によって生成された、符号化されたビデオシーケンスをバッファリングすることができる。送信器（６４０）は、ビデオコーダ（６０３）からの符号化されたビデオデータを、送信される他のデータ、例えば、符号化されたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージすることができる。
コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理することができる。符号化において、コントローラ（６５０）は、各符号化された画像に、特定の符号化された画像タイプを割り当てることができ、これは、それぞれの画像に適用できる符号化技術に影響を与える可能性がある。例えば、画像は、以下の画像タイプのいずれかとして割り当てられることが多いし、即ち、
フレーム内画像（Ｉ画像）は、シーケンス内の他の画像を予測のソースとして使用せずに、符号化および復号されることができるものとし得る。いくつかのビデオコーデックは、独立したデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）画像などの異なるタイプのフレーム内画像を許容する。当業者は、Ｉ画像の変種とそれらのアプリケーションおよび機能とを理解している。
コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理することができる。符号化において、コントローラ（６５０）は、各符号化された画像に、特定の符号化された画像タイプを割り当てることができ、これは、それぞれの画像に適用できる符号化技術に影響を与える可能性がある。例えば、画像は、以下の画像タイプのいずれかとして割り当てられることが多いし、即ち、
フレーム内画像（Ｉ画像）は、シーケンス内の他の画像を予測のソースとして使用せずに、符号化および復号されることができるものとし得る。いくつかのビデオコーデックは、独立したデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）画像などの異なるタイプのフレーム内画像を許容する。当業者は、Ｉ画像の変種とそれらのアプリケーションおよび機能とを理解している。
【0052】
予測画像（Ｐ画像）は、多くて１つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するフレーム内予測またはフレーム間予測を使用して符号化および復号され得るものとし得る。
【0053】
双方向予測画像（Ｂ画像）は、多くて２つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するフレーム内予測またはフレーム間予測を使用して符号化および復号され得るものとし得る。同様に、多重予測画像は、単一のブロックの再構築に、３つ以上の参照画像および関連付けられたメタデータを使用することができる。
【0054】
ソース画像は、一般的に、複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、または１６×１６個のサンプルのブロック）に空間的に細分され、ブロックごとに符号化されることができる。これらのブロックは、ブロックのそれぞれの画像に適用される符号化割り当てによって決定されるように、他の（既に符号化された）ブロックを参照して予測的に符号化されることができる。例えば、Ｉ画像のブロックは、非予測的に符号化されてもよく、またはそれらが同じ画像の既に符号化されたブロックを参照して予測的に符号化されてもよい（空間予測またはフレーム内予測）。Ｐ画像の画素ブロックは、１つの前に符号化された参照画像を参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化され得る。Ｂ画像のブロックは、１つまたは２つの前に符号化された参照画像を参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化され得る。
【0055】
ビデオエンコーダ（６０３）は、例えばＩＴＵ―Ｔ Ｈ．２６５などのような所定の動画符号化技術または規格に従って、符号化動作を実行することができる。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的および空間的冗長性を利用する予測符号化動作を含む、様々な圧縮動作を実行することができる。したがって、符号化されたビデオデータは、使用される動画符号化技術または規格によって指定された構文に従うことができる。
【0056】
一実施形態では、送信器（６４０）は、符号化されたビデオとともに、付加的なデータを送信することができる。ソースコーダ（６３０）は、そのようなデータを、符号化されたビデオシーケンスの一部として含めることができる。付加的なデータは、時間的／空間的／ＳＮＲ拡張層、冗長画像やスライスなどのような他の形式の冗長データ、補足強化情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージ、ビジュアルユーザビリティ情報ビジュアルユーザビリティ情報（ＶＵＩ：Ｖｉｓｕａｌ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）パラメータセットフラグメントなどを含むことができる。
【0057】
ビデオは、時系列で複数のソース画像（ビデオ画像）として捕捉されることができる。フレーム内画像予測（フレーム内予測と略称されることが多い）は、与えられた画像における空間的相関を利用し、フレーム間画像予測は、画像間の（時間的または他の）相関を利用する。一例では、現在画像と呼ばれる、符号化／復号中の特定の画像がブロックに分割される。現在画像のブロックが、ビデオにおける以前に符号化され、まだバッファリングされている参照画像における参照ブロックに類似している場合、現在画像のブロックは、動きベクトルと呼ばれるベクトルによって符号化されることができる。動きベクトルは、参照画像における参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する３番目の次元を有することができる。
【0058】
いくつかの実施形態では、双方向予測技術は、フレーム間画像予測に使用されることができる。双方向予測技術によれば、例えば、復号順で両方とも、ビデオにおける現在画像の前にある（ただし、表示の順でそれぞれ、過去と将来にあるかもしれない）第１および第２参照画像などのような２つの参照画像が使用される。現在画像におけるブロックは、第１参照画像における第１参照ブロックを指す第１動きベクトルと、第２参照画像における第２参照ブロックを指す第２動きベクトルによって符号化されることができる。ブロックは、第１参照ブロックおよび第２参照ブロックの組み合わせによって予測されることができる。
【0059】
さらに、符号化効率を向上させるために、マージモード技術は、フレーム間画像予測で使用されることができる。
【0060】
本開示のいくつかの実施形態によれば、フレーム間画像予測やフレーム内画像予測などのような予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ規格に従って、ビデオ画像のシーケンスにおける画像は、圧縮のために符号化ツリーユニット（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）に分割され、画像におけるＣＴＵは同じサイズ、例えば６４×６４画素、３２×３２画素、または１６×１６画素を有する。一般的に、ＣＴＵは、１つの輝度ＣＴＢと２つの色度ＣＴＢである３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、再帰的に四分木で１つ以上の符号化ユニット（ＣＵ）に分割されてもよい。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、４つの３２×３２画素のＣＵ、または１６つの１６×１６画素のＣＵに分割されることができる。一例では、各ＣＵは、フレーム間予測タイプまたはフレーム内予測タイプなどのようなＣＵに対する予測タイプを決定するために分析される。ＣＵは、時間的および／または空間的予測可能性に応じて、１つ以上の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは、輝度予測ブロック（ＰＢ）と２つの色度ＰＢを含む。一実施形態では、符号化（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として使用すると、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などのような画素値（例えば、輝度値）の行列を含む。
【0061】
図７は、本開示の別の実施形態によるビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオ画像シーケンスにおける現在ビデオ画像内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを符号化されたビデオシーケンスの一部である符号化された画像に符号化するように構成される。一例では、ビデオエンコーダ（７０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用される。
【0062】
ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、例えば８×８サンプルの予測ブロックなどのような処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（７０３）は、例えばレート歪み最適化を使用して、フレーム内モード、フレーム間モード、または双方向予測モードを使用して処理ブロックを符号化するかどうかを決定する。処理ブロックがフレーム内モードで符号化される場合、ビデオエンコーダ（７０３）は、フレーム内予測技術を使用して、処理ブロックを符号化された画像に符号化することができ、また、処理ブロックがフレーム間モードまたは双方向予測モードで符号化される場合、ビデオエンコーダ（７０３）は、それぞれフレーム間予測または双方向予測技術を使用して、処理ブロックを符号化された画像に符号化することができる。特定の動画符号化技術では、マージモードは、予測値以外にある符号化された動きベクトル成分の利点を利用しない場合に、動きベクトルが１つ以上の動きベクトル予測値から導出されるフレーム間画像予測サブモードにすることができる。特定の他の動画符号化技術では、主題ブロックに適用可能な動きベクトル成分が存在する場合がある。一例では、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などのような他のコンポーネントを含む。
【0063】
図７の例では、ビデオエンコーダ（７０３）は、図７に示すように一緒に結合された、フレーム間エンコーダ（７３０）と、フレーム内エンコーダ（７２２）と、残差計算器（７２３）と、スイッチ（７２６）と、残差エンコーダ（７２４）と、汎用コントローラ（７２１）と、エントロピーエンコーダ（７２５）とを含む。
【0064】
フレーム間エンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照画像（例えば、前の画像と後の画像におけるブロック）内の１つ以上の参照ブロックと比較し、フレーム間予測情報（例えば、フレーム間符号化技術による冗長情報説明、動きベクトル、マージモード情報）を生成して、任意の適切な技術を使用して、フレーム間予測情報に基づいてフレーム間予測結果（例えば、予測されたブロック）を計算するように構成される。いくつかの例では、参照画像は、復号された参照画像であり、それが符号化されたビデオ情報に基づいて復号されたものである。
【0065】
フレーム内エンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、いくつかの場合では、そのブロックを同じ画像で既に符号化されたブロックと比較し、変換後に量子化された係数を生成して、いくつかの場合では、フレーム内予測情報（例えば、１つ以上のフレーム内符号化技術によるフレーム内予測方向情報）を生成するように構成される。一例では、フレーム内エンコーダ（７２２）は、フレーム内予測情報と、同じ画像における参照ブロックとに基づいて、フレーム内予測結果（例えば、予測されたブロック）も計算する。
【0066】
汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するように構成される。一例では、汎用コントローラ（７２１）は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ（７２６）に提供する。例えば、モードがフレーム内モードである場合、汎用コントローラ（７２１）は、残差計算器（７２３）によって使用されるようフレーム内モード結果を選択するように、スイッチ（７２６）を制御するとともに、フレーム内予測情報を選択して、そのフレーム内予測情報をコードストリームに含めるように、エントロピーエンコーダ（７２５）を制御する。また、モードがフレーム間モードである場合、汎用コントローラ（７２１）は、残差計算器（７２３）によって使用されるようフレーム間予測結果を選択するように、スイッチ（７２６）を制御するとともに、フレーム間予測情報を選択して、そのフレーム間予測情報をコードストリームに含めるように、エントロピーエンコーダ（７２５）を制御する。
【0067】
残差計算器（７２３）は、受信されたブロックとフレーム内エンコーダ（７２２）またはフレーム間エンコーダ（７３０）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（７２４）は、残差データに基づいて動作して、残差データを符号化することで変換係数を生成するように構成される。一例では、残差エンコーダ（７２４）は、周波数領域で残差データを変換し、変換係数を生成するように構成される。次に、変換係数は量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態では、ビデオエンコーダ（７０３）はまた、残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、フレーム内エンコーダ（７２２）およびフレーム間エンコーダ（７３０）によって適切に使用されることができる。例えば、フレーム間エンコーダ（７３０）は、復号された残差データおよびフレーム間予測情報に基づいて、復号されたブロックを生成することができ、フレーム内エンコーダ（７２２）は、復号された残差データおよびフレーム内予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックは、復号された画像を生成するために適切に処理され、いくつかの例では、復号された画像は、メモリ回路（図示せず）でバッファされ、参照画像として使用されることができる。
【0068】
エントロピーエンコーダ（７２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（７２５）は、ＨＥＶＣ規格などのような適切な規格に従って様々な情報を含めるように構成される。一例では、エントロピーエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、フレーム内予測情報またはフレーム間予測情報）、残差情報、およびビットストリーム内の他の適切な情報を含めるように構成される。開示された主題によれば、フレーム間モードまたは双方向予測モードのマージサブモードでブロックを符号化する場合、残差情報はないということに留意されたい。
【0069】
図８は、本開示の別の実施形態によるビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、符号化されたビデオシーケンスの一部である符号化された画像を受信し、符号化された画像を復号して再構築された画像を生成するように構成される。一例では、ビデオデコーダ（８１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用される。
【0070】
図８の例では、ビデオデコーダ（８１０）は、図８に示されるように一緒に結合された、エントロピーデコーダ（８７１）と、フレーム間デコーダ（８８０）と、残差デコーダ（８７３）と、再構築モジュール（８７４）と、フレーム内デコーダ（８７２）とを含む。
【0071】
エントロピーデコーダ（８７１）は、符号化された画像から、符号化された画像を構成する構文要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックを符号化するためのモード（例えば、フレーム内モード、フレーム間モード、双方向予測モード、後者の２つのマージサブモードまたは別のサブモード）と、フレーム内デコーダ（８７２）またはフレーム間デコーダ（８８０）による予測に使用される特定のサンプルまたはメタデータをそれぞれ識別できる予測情報（例えば、フレーム内予測情報またはフレーム間予測情報など）と、例えば量子化された変換係数の形式の残差情報などとを含む。一例では、予測モードがフレーム間予測モードまたは双方向予測モードである場合、フレーム間予測情報が、フレーム間デコーダ（８８０）に提供される。そして、予測タイプがフレーム内予測タイプである場合、フレーム内予測情報が、フレーム内デコーダ（８７２）に提供される。残差情報は、逆量子化を受けて、残差デコーダ（８７３）に提供されることができる。
【0072】
フレーム間デコーダ（８８０）は、フレーム間予測情報を受信し、フレーム間予測情報に基づいてフレーム間予測結果を生成するように構成される。
【0073】
フレーム内デコーダ（８７２）は、フレーム内予測情報を受信し、フレーム内予測情報に基づいて予測結果を生成するように構成される。
【0074】
残差デコーダ（８７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、その逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（８７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ：Ｑｕａｎｔｉｚｅｒ Ｐａｒａｍｅｔｅｒ）を含むなど）も必要とする場合があり、その情報は、エントロピーデコーダ（８７１）によって提供され得る（これが低ボリューム制御情報のみであるため、データ経路は図示していない）。
【0075】
再構築モジュール（８７４）は、空間領域において、残差デコーダ（８７３）による出力としての残差と、（場合によって、フレーム間予測モジュールまたはフレーム内予測モジュールによる出力としての）予測結果とを組み合わせて、再構築されたブロックを形成するように構成され、再構築されたブロックは、再構築された画像の一部とすることができ、その後、再構築された画像は、再構築されたビデオの一部とすることができる。それは、視覚的品質を改善するために、デブロッキング動作などのような他の適切な動作を実行することができる、ということに留意されたい。
【0076】
ビデオエンコーダ（４０３）、（６０３）および（７０３）と、ビデオデコーダ（４１０）、（５１０）および（８１０）とは、任意の適切な技術を使用して実現されることができる、ということに留意されたい。一実施形態では、ビデオエンコーダ（４０３）、（６０３）および（７０３）と、ビデオデコーダ（４１０）、（５１０）および（８１０）とは、１つ以上の集積回路を使用して実現されることができる。別の実施形態では、ビデオエンコーダ（４０３）、（６０３）および（７０３）と、ビデオデコーダ（４１０）、（５１０）および（８１０）とは、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実装されることができる。
【0077】
本開示の態様は、同じ画像によるブロックベースの補償技術を提供する。
【0078】
ブロックベースの補償は、フレーム間予測およびフレーム内予測のために使用されることができる。フレーム間予測について、異なる画像からのブロックベースの補償は、動き補償と呼ばれる。同様に、フレーム内予測について、ブロックベースの補償は、同じ画像内の以前に再構築された領域から行うこともできる。ブロック補償は、同じ画像内の以前に再構築された領域から実行されることもできる。同じ画像内の再構築された領域からのブロックベースの補償は、フレーム内画像ブロック補償またはフレーム内ブロックコピーと呼ばれる。現在ブロックと同じ画像内の参照ブロックとの間のオフセットを示すシフトベクトルは、ブロックベクトル（または略してＢＶ）と呼ばれる。任意の値（正または負、ｘまたはｙ方向のいずれか）にすることができる、動き補償における動きベクトルとは異なり、ブロックベクトルは、いくつかの制約を有し、これにより、参照ブロックが利用可能であり、既に再構築されたことが保証される。また、いくつかの例では、並列処理を考慮して、タイル境界または波面ラダー形状境界であるいくつかの参照領域が除外されている。
【0079】
ブロックベクトルの符号化は、明示的または暗黙的のいずれかであってもよい。明示的モードでは、ブロックベクトルとその予測値との間の差がシグナルで通知され、暗黙的モードでは、ブロックベクトルは、マージモードの動きベクトルと同様の方法で、予測値（ブロックベクトル予測値と呼ばれる）から復元される。いくつかの実現では、ブロックベクトル解像度は、整数の位置に制限され、他のシステムでは、ブロックベクトルは、小数の位置を指すことが許される。
【0080】
いくつかの例では、ブロックレベルでのフレーム内ブロックコピーの使用は、参照インデックスアプローチを使用してシグナルで通知されることができる。復号中の現在画像が参照画像として扱われる。一例では、このような参照画像は、参照画像のリストの最後の位置に置かれる。この特別な参照画像はまた、復号された画像のバッファ（ＤＰＢ）などのようなバッファ内の他の時間参照画像と一緒に管理される。
【0081】
フレーム内ブロックコピーにもいくつかの変化があり、例えば、反転されたフレーム内ブロックコピー（参照ブロックは、現在ブロックを予測するために使用される前に、水平または垂直方向に反転される）、またはラインベースのフレーム内ブロックコピー（Ｍ×Ｎ符号化ブロック内の各補償ユニットは、Ｍ×１または１×Ｎのラインである）である。
【0082】
図９は、本開示の一実施形態によるフレーム内ブロックコピーの例を示す図である。現在画像（９００）は復号中である。現在画像（９００）は、再構築された領域（９１０）（グレー領域）と復号されるべき領域（９２０）（白い領域）を含む。現在ブロック（９３０）は、デコーダによって再構築中である。現在ブロック（９３０）は、再構築された領域（９１０）にある参照ブロック（９４０から再構築されることができる。参照ブロック（９４０）と現在ブロック（９３０）との間の位置オフセットは、ブロックベクトル（９５０）（またはＢＶ（９５０））と呼ばれる。
【0083】
本開示の態様によれば、動き補償ベースの技術は、フレーム内ブロックコピーのために適切に修正されることができる。
【0084】
一例では、パターンマッチングされた動きベクトル導出（ＰＭＭＶＤ：ｐａｔｔｅｒｎ ｍａｔｃｈｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉｏｎ）モードは、ブロックの動き情報が信号で通知されていないが、エンコーダおよびデコーダ側の両方で導出される技術である。通常、２つのパターンマッチングされた動きベクトル導出方法、即ち、バイラテラルマッチングおよびテンプレートマッチングがある。
【0085】
図１０は、いくつかの実施形態によるバイラテラルマッチングの例を示す図である。図１０に示すように、バイラテラルマッチングは、（現在画像における）現在ＣＵ（１０１０）の動き軌跡に沿って、２つの異なる参照画像（Ｒｅｆ０およびＲｅｆ１）において、最もマッチングする２つのブロック（１０２０）と（１０３０）を見つけることにより、現在ＣＵ（１０１０）の動き情報を導出するために使用される。連続的な動き軌跡の仮定の下で、２つの参照ブロック（１０２０）と（１０３０）を指す動きベクトルＭＶ０とＭＶ１は、現在画像と２つの参照画像（Ｒｅｆ０とＲｅｆ１）との間の時間距離、すなわちＴＤ０とＴＤ１に比例する。特殊なケースとして、前記現在画像は、時間的にこの２つの参照画像の間にあり、かつ、現在画像（ＣｕｒＰｉｃ）からこの２つの参照画像（Ｒｅｆ０とＲｅｆ１）までの時間的距離が同じである場合、バイラテラルマッチングは、ミラーベースの双方向ＭＶになる。
【0086】
図１１は、本開示の一実施形態に係るテンプレートマッチングの例を示す図である。図１１に示すように、テンプレートマッチングは、現在画像におけるテンプレート（現在ＣＵ（１１１０）の上部および左側の隣接するブロック（１１２０）と（１１３０）を含む）と、参照画像（Ｒｅｆ０）におけるブロック（１１４０）と（１１５０）（テンプレートと同じ形状およびサイズを有する）との間の最も近いマッチングを見つけることにより、現在ＣＵ（１１１０）の動き情報を導出するために使用される。
【0087】
いくつかの例では、動き補償は、ブロックレベルで実行され、すなわち、現在ブロックは、同じ動き情報を使用して動き補償を実行するための処理ユニットである。ブロックのサイズを指定して、ブロックにおける全ての画素は、同じ動き情報を使用して、それらの予測ブロックを形成する。
【0088】
別の例では、ブロックレベルのマージ候補を使用する技術が、動き補償で使用される。ブロックレベルのマージ候補は、空間的マージ候補と、時間的隣接する位置を含むことができる。双方向予測では，ブロックレベルのマージ候補は、既存のマージ候補からの動きベクトルのいくつかの組合せを含むこともできる。
【0089】
図１２は、空間的マージ候補の一例を示す。図１２の例では、現在ブロック（１２０１）は、動き探索プロセス中にエンコーダによって見つけられた、空間的にシフトされた同じサイズの前のブロックから予測され得るサンプルを含む。そのＭＶを直接に符号化する代わりに、当該ＭＶは、１つ以上の参照画像に関連付けられたメタデータから導出されることができ、例えば、Ａ０、Ａ１、およびＢ０、Ｂ１、Ｂ２（それぞれが１２０２～１２０６である）で表される５つの周囲のサンプルのうちのいずれか１つに関連付けられたＭＶを使用して、最新の（復号順序で）参照画像から導出されることができる。次に、ＭＶ予測は、隣接するブロックが使用しているのと同じ参照画像からの予測値を使用することができる。図１２の例では、現在ブロックの隣接する位置（１２０２）～（１２０６）でのサンプルは、空間的マージ候補のために使用される。
【0090】
別の例では、照明補償（ＩＣ：ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）が動き補償に使用される。
【0091】
例えば、画像から画像へ、あるいは領域から領域への照明変化により、適用可能な場合では、そのような変化を反映する調整は、予測精度を向上させることができる。いくつかの例では、照明調整は、スケーリング因子ａおよびオフセットｂを使用して、フレーム間符号化されたブロックに対してブロックレベルで行われる。照明調整は、フレーム間モードで符号化された符号化ユニット（ＣＵ）ごとに対して、適応的に有効または無効にすることができる。照明調整は、照明補償（ＩＣ）とも呼ばれる。一例では、Ｘが予測ブロックＡの画素に対する照明値であると仮定し、照明補償後、新たな予測ブロックＢの対応する画素に対する調整後の照明値は、ｙ＝ａｘ＋ｂによって計算され、この調整後の照明値は、動き補償に使用されることができる。パラメータａおよびｂは、現在ＣＵの隣接する画素と、参照画像における参照ブロックの隣接する画素との差を使用して、信号で通知され、または計算されることができる。または、それらは、隣接する符号化されたブロック（既に、パラメータａおよびｂを有している）から推定されることができる。
【0092】
図１３は、照明補償のためのパラメータ計算の一例を示す。図１３の例では、現在ＣＵ（１３１０）の複数の隣接するサンプル（１３２０）が選択され、選択された隣接するサンプル（１３２０）の照明値がｙの代表値として使用される。同様に、選択された隣接するサンプル（１３２０）にそれぞれ対応する参照ブロック（１３３０）の複数の隣接するサンプル（１３４０）が選択され、選択された隣接するサンプル（１３４０）の照明値がｘの代表値として使用される。ｙの代表値とｘの代表値は、ｙ＝ａｘ＋ｂを仮定して、パラメータａとｂを計算するために使用される。Ｒｅｃｎｅｉｇは、現在ＣＵの隣接するサンプルの照明値を表し、Ｒｅｃｒｅｆｎｅｉｇは、参照ブロックの対応している隣接するサンプルの照明値を表し、２Ｎは、ＲｅｃｎｅｉｇおよびＲｅｃｒｅｆｎｅｉｇにおける画素（サンプル）の数を表す。そして、式１および式２に示すように、ａおよびｂを計算することができる。
【0093】
【数1】
【0094】
【数2】
別の例では、適応的な動きベクトル解像度が、動き補償で使用される。
【0095】
伝統的に、動きベクトル解像度は、例えば、Ｈ．２６４／ＡＶＣおよびＨＥＶＣメインプロファイルにおける１／４画素精度または１／８画素精度などの固定値である。ＨＥＶＣ ＳＣＣでは、動きベクトル解像度は、１整数画素または１／４画素のいずれかで選択されることができる。切り替えは、スライスごとに行われる。言い換えれば、スライス内の全ての動きベクトル解像度は同じになる。
【0096】
いくつかの後の発展では、動きベクトル解像度は、１／４画素、１整数画素または４整数画素のいずれかにすることができる。４整数画素とは、一単位のベクトル差が４整数画素を表す、ということを意味する。したがって、シンボル「０」と「１」の間の距離は、４つの整数画素である。また、適応性がブロックレベルで実行され、つまり、動きベクトルは、ブロックごとに異なる解像度から選択されることができる。いくつかの例では、このような適応性は、１つのビン（二値数、バイナリ）または２つのビン（バイナリ）を有する整数動きベクトル（ＩＭＶ：ｉｎｔｅｇｅｒ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）フラグを使用して実現される。１番目のビンは、現在ブロックのＭＶが整数画素の解像度で符号化されているかどうかを示す。そうでない場合、このＭＶが１／４画素の解像度で符号化される。１番目のビンが、現在ブロックのＭＶが整数画素の解像度で符号化されていることを示す場合、２番目のビンは、現在ブロックのＭＶが４整数画素の解像度で符号化されているかどうかを示す。そうではない場合、このＭＶは、１整数画素の解像度で符号化される。
【0097】
動き補償に使用される技術、例えばパターンマッチ動きベクトル導出の技術、ブロックレベル候補の技術、照明補償の技術などは、効率を向上させるために、フレーム内ブロックコピーで適切に適用される。
【0098】
本開示の態様によれば、ブロックベクトル解像度が信号で伝えられ、適応ブロックベクトル解像度および適応動きベクトル解像度は、統合されたシグナリング（例えば、同一のフラグ）を使用して表される。例えば、フレーム内ブロックコピーモードおよびフレーム間モードは、ベクトル解像度適応性のために、同じビットストリーム構文構造を共有する。同じＩＭＶシグナリングフラグが、フレーム内ブロックコピーにおけるブロックベクトル（ＢＶ：ｂｌｏｃｋ ｖｅｃｔｏｒ）と動き補償における動きベクトル（ＭＶ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ）の両方に使用される。
【0099】
一例では、ＢＶのための選択可能な解像度のセットは、ＭＶのための選択可能な解像度のサブセットである。例えば、ＭＶのための選択可能な解像度には、分数画素解像度（例えば、１／４画素）のサブセットと、整数画素解像度（例えば、１整数画素および４整数画素）のサブセットとが含まれる。ＢＶのための選択可能な解像度には、整数画素解像度（例えば、１整数画素および４整数画素）のサブセットが含まれる。動き補償では、解像度のシグナリングに、ベクトルが整数画素解像度（整数画素）で符号化されているかどうかを通知する第１シグナリングビンが含まれる。第１シグナリングビンが、ベクトルが整数画素解像度で符号化されていることを示す場合、第２シグナリングビンは、どの整数画素解像度がベクトルの符号化に使用されているかを示すために使用される。現在ブロックがフレーム内ブロックコピーモードで符号化されている場合、選択可能な解像度が整数画素解像度に制限されるため、第１シグナリングビンは、信号で示される代わりに導出されることができる。ＩＭＶフラグにおける他のビンについて、ＢＶ符号化のための各ビンの意味は、ＭＶ符号化のためのビンの意味と同じである。表１および表２は、どのように同じＩＭＶフラグを使用してＢＶ解像度をＭＶ解像度に合わせるかの例を示している。
【0100】
【表1】
【0101】
【表2】
別の方法では、ブロックがフレーム内ブロックコピーモードで符号化される場合、ＢＶのための選択可能な解像度は、ＭＶのための選択可能な解像度とは異なることができる。例えば、ＢＶは、解像度を１整数画素、２整数画素、または４整数画素の間で切り換え、ＭＶは、解像度を１／４画素、１整数画素、および４整数画素の間で切り換えることができる。ＢＶのための選択可能な解像度の数がＭＶのための選択可能な解像度の数と同じである場合、２つタイプのベクトル（ＢＶおよびＭＶ）は、解像度を信号で示すためにＩＭＶフラグを依然として共有することができる。但し、ＩＭＶフラグの二値化の意味は異なる。表３は、ＢＶに対して１、２および４整数画素解像度を使用し、また、ＭＶに対して１／４画素、１および４整数画素解像度を使用して、ＩＭＶフラグを二値化する例を示している。
【0102】
【表3】
本開示の別の態様によれば、マージモードが有効であり、かつ、時間的参照画像が使用されない場合、フレーム内ブロックコピーモードが推定される。従って、例えばフレーム内ブロックコピーのケースなどで、時間的参照画像が使用されない場合、スライス内のマージ候補の最大数は信号で示すことができる。
【0103】
従来のビデオ符号化方法では、マージモードは、現在ブロックがフレーム間画像補償で符号化される場合のみに適用され、一例ではフレーム間画像マージモードとして呼ばれる。したがって、現在スライスが少なくとも１つの時間的参照画像を有する場合、現在スライスのために使用されるマージ候補の最大数が、信号で示される。
【0104】
一実施形態では、エンコーダ側では、フレーム内ブロックコピーがスライス内で使用される場合、エンコーダは、時間的参照画像を使用せずにスライスを符号化し、このスライスのためのフレーム内ブロックコピーの使用を示すために、このスライスに対してマージモードを有効にする。さらに、エンコーダは、スライスヘッダ内の現在スライスのために使用されるマージ候補の最大数を信号で示す。このようなスライスでは、フレーム内ブロックコピーが唯一タイプのマージモードであるため、マージ候補の最大数は、フレーム内ブロックコピーのための最大許可されたマージ候補を指定するために使用される。したがって、デコーダ側では、時間的参照画像を有しないスライスに対してマージモードを有効にすることが検出された場合、デコーダは、スライスがフレーム内ブロックコピーモードを使用したと判定する。さらに、デコーダ側では、デコーダは、スライスヘッダから、フレーム内ブロックコピーモードのためのマージ候補の最大数を復号することができる。
【0105】
一方法では、時間的参照画像が使用されないスライスで（例えば、フレーム内ブロックコピーモードで）マージ候補の最大数を信号で示す技術は、マージ候補の最大数を指定するために少なくとも１つの時間的参照画像が使用されるスライスで（例えば、フレーム間画像マージモードで）マージ候補の最大数を信号で示す方法と同じであることができる。例えば、両方の場合で、マージ候補の最大数のための構文要素を符号化するために、切り捨てられた単項コード（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ ｃｏｄｅ）が使用される。
【0106】
別の方法では、時間的参照画像が使用されないスライスで（例えば、フレーム内ブロックコピーモードで）マージ候補の最大数を信号で示す技術は、フレーム間画像マージ候補の最大数を指定するために少なくとも１つの時間的参照画像が使用されるスライスで（例えば、フレーム間画像マージモードで）マージ候補の最大数を信号で示す方法と異なることができる。例えば、フレーム内ブロックコピーにおけるマージ候補の最大数は、固定長符号を使用して信号で示され、フレーム間画像マージモードにおけるマージ候補の最大数は、切り捨てられた単項コードを使用して信号で示される。
【0107】
別の方法では、マージ候補の最大数は、エンコーダによってシーケンスパラメータセット（ＳＰＳ：ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）または画像パラメータセット（ＰＰＳ：ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）あるいは他のパラメータセットにて信号で示される。その後、デコーダは、マージ候補の最大数を復号することができる。時間的参照画像を有しないスライスについて、マージモードが有効になっている場合、デコーダは、フレーム内ブロックコピーモードに対してマージ候補の最大数を使用することができる。少なくとも１つの時間的参照画像を有するスライスについて、マージモードが有効になっている場合、デコーダは、フレーム間画像マージモードに対してマージ候補の最大数を使用することができる。
【0108】
本開示の別の態様によれば、フレーム内ブロックコピーモードでの照明補償を有効にするために、隣接する画素の可用性のために付加的な制約、規則、または条件チェックが必要になる。
【0109】
通常、上部および／または左側の隣接する画素が、照明補償パラメータの計算に使用される。参照ブロックと現在ブロックについて、同じ側（左側または上部）での隣接する画素が参照ブロックと現在ブロックの両方で使用可能である場合のみに、この側の画素は、照明補償のためのパラメータ計算に関与することができる。例えば、左側の隣接する画素について、この左側の隣接する画素が参照ブロックまたは現在ブロックのいずれからも使用できない場合、左側の隣接する画素は、照明補償のパラメータ計算に使用することはできない。
【0110】
動き補償では、参照ブロックが画像の上部／左境界に位置しない場合、参照ブロックの隣接する画素は、常に利用可能である。擬似コード（ｐｓｅｕｄｏ ｃｏｄｅｓ）の後に、動き補償（フレーム間画像マージモード）における参照ブロックの隣接する画素のための可用性条件チェックの例が示されている。擬似コードでは、ＬＸは、２つの予測リストのうちの１つを示し（例えば、Ｌ０は第１リストであり、Ｌ１は第２リストであり）、ｒｅｆＬＸは、参照画像を示し（例えば、ｒｅｆＬ０は第１参照画像であり、ｒｅｆＬ１は第２参照画像であり）、ｐｒｅｄＦｌａｇＬＸは、ＬＸのための予測フラグを示し、（ｘＲ，ｙＲ）は、参照ブロックの左上のサンプルに対するＬＸにおける参照符号化ユニットの左上のサンプルの位置を示し、ａｖａｉＡｂｏｖｅＲｏｗＲｅｆＬＸは、参照ブロックの上部の隣接する画素の可用性を示し、ａｖａｉＬｅｆｔＣｏｌＲｅｆＬＸは、参照ブロックの左側の隣接する画素の可用性を示す。
【0111】
［擬似コード］
if predFlagLX equals to 1 {
derive (xR,
yR) which is a vector between the top-left sample of the referenced coding unit
in the reference picture refLX and the top left sample of the reference picture
refLX;
if yR is
larger than 0, avaiAboveRowRefLX is set to 1;
otherwise,
if yR is equal to or smaller than 0, avaiAboveRowRefLX is set to 0;
if xR is
larger than 0, avaiLeftColRefLX is set to 1;
otherwise,
if xR1 is equal to or smaller than 0, avaiLeftColRefLX is set to 0;
}
しかし、フレーム内ブロックコピーについて、参照ブロックは、現在ブロックと同じ画像から由来する。参照ブロックがフレーム内ブロックコピーの使用のために既に再構築されたという要件に加えて、このような参照ブロックの隣接する画素は、照明補償のパラメータ計算での可用性のためのいくつかの制約を満たす必要がある。
if predFlagLX equals to 1 {
derive (xR,
yR) which is a vector between the top-left sample of the referenced coding unit
in the reference picture refLX and the top left sample of the reference picture
refLX;
if yR is
larger than 0, avaiAboveRowRefLX is set to 1;
otherwise,
if yR is equal to or smaller than 0, avaiAboveRowRefLX is set to 0;
if xR is
larger than 0, avaiLeftColRefLX is set to 1;
otherwise,
if xR1 is equal to or smaller than 0, avaiLeftColRefLX is set to 0;
}
しかし、フレーム内ブロックコピーについて、参照ブロックは、現在ブロックと同じ画像から由来する。参照ブロックがフレーム内ブロックコピーの使用のために既に再構築されたという要件に加えて、このような参照ブロックの隣接する画素は、照明補償のパラメータ計算での可用性のためのいくつかの制約を満たす必要がある。
【0112】
動き補償について、現在ブロックの隣接する画素は、現在画像から由来するが、参照ブロックの隣接する画素および参照ブロック自体は、別の画像から由来する。２つの画素セットの間にオーバーラップがない。しかしながら、フレーム内ブロックコピーでは、現在ブロックの隣接する画素は、参照ブロックとオーバーラップすることができ、この２つの画素セットは、同じ画像から由来するからである。
【0113】
図１４は、参照ブロックと現在ブロックがオーバーラップする例を示す。オーバーラップが発生した場合、照明補償のメカニズムを調整する必要があるかもしれない。
【0114】
照明補償パラメータの計算が使用される場合、フレーム内ブロックコピーのための参照ブロックの隣接する画素の使用を制限するために、本開示においていくつかの方法が提案される。提案された方法は、個別に、または組み合わせて適用することができる。
【0115】
一例では、参照ブロックの第１行が画像境界、スライス境界またはタイル境界に位置する場合、上部の隣接する画素は、境界外にあるため、照明補償パラメータの計算に使用されるべきではない。これを実行する１つの方法は、参照ブロックの上部の行の隣接する画素を「使用不可」としてマークすることである。これは任意のパーティション境界にも適用され、これにより、画素は、境界内で相互に参照することができるが、境界を越えることは許可されない。
【0116】
別の例では、参照ブロックの第１列が画像境界、スライス境界またはタイル境界に位置する場合、左側の隣接する画素は、境界外にあるため、照明補償パラメータの計算に使用されるべきではない。これを実行する１つの方法は、参照ブロックの左側の列の隣接する画素を「使用不可」としてマークすることである。これは任意のパーティション境界にも適用され、これにより、画素は、境界内で相互に参照することができるが、境界を越えることは許可されない。
【0117】
別の例では、現在ブロックの上部の隣接する画素が参照ブロックとオーバーラップする場合、上部の隣接する画素は、照明補償パラメータ計算に使用されるべきではない。これを実行する１つの方法は、参照ブロックの上部の行の隣接する画素を「使用不可」としてマークすることである。
【0118】
別の例では、現在ブロックの左側の隣接する画素が参照ブロックとオーバーラップする場合、左側の隣接する画素は、照明補償パラメータ計算に使用されるべきではない。これを実行する１つの方法は、参照ブロックの左側の列の隣接する画素のを「使用不可」としてマークすることである。
【0119】
別の例では、現在ブロックの左側または上部の隣接する画素が参照ブロックと重なるオーバーラップする場合、左側および上部の隣接する画素は、照明補償パラメータの計算に使用されるべきではない。これを実行する１つの方法は、参照ブロックの左側の列の隣接する画素と、上部の行の隣接する画素とを「使用不可」としてマークすることである。両方の隣接画素が使用できない場合、照明補償は、効果的にこのブロックに使用されない。
【0120】
図１５は、本開示の実施形態によるプロセス（１５００）を概説するフローチャートを示す。プロセス（１５００）は、フレーム内モードで符号化されたブロックの再構築に使用されることができ、再構築中のブロックの予測ブロックを生成することができる。様々な実施形態では、プロセス（１５００）は、端末デバイス（３１０）、（３２０）、（３３０）および（３４０）における処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路、フレーム内予測モジュール（５５２）の機能を実行する処理回路、ビデオエンコーダ（６０３）の機能を実行する処理回路、予測器（６３５）の機能を実行する処理回路、フレーム内エンコーダ（７２２）の機能を実行する処理回路、フレーム内デコーダ（８７２）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（１５００）は、ソフトウェア命令によって実現され、したがって、処理回路がソフトウェア命令を実行する場合、処理回路は、プロセス（１５００）を実行する。このプロセスは（Ｓ１５０１）から始まり、（Ｓ１５１０）に進む。
【0121】
（Ｓ１５１０）では、符号化されたビデオビットストリームから現在ブロックの予測情報を復号する。この予測情報はフレーム内ブロックコピーモードを示す。
【0122】
（Ｓ１５２０）では、フレーム内ブロックコピーモードに基づき、解像度構文要素の第１部分を推定する。一例では、フレーム内ブロックコピーモードとフレーム間画像マージモードの解像度構文要素は、フレーム内コピーモードにおけるブロックベクトルについてと、フレーム間画像マージモードにおける動きベクトルについてとで、同じ意味に統合される。一例では、フレーム内ブロックコピーモードのための選択可能な解像度は、フレーム間画像マージモードのための選択可能な解像度のサブセットである。例えば、フレーム間画像マージモードのための選択可能な解像度は、小数画素解像度と整数画素解像度とを含み、フレーム内ブロックコピーモードのための選択可能な解像度は、整数画素解像度のサブセットである。一例では、解像度構文要素の第１部分は、この解像度が小数画素解像度か整数画素解像度かを示すために使用される。このように、フレーム内ブロックコピーモードが決定された場合、解像度構文要素の第１部分を推定して、整数画素解像度を示すことができる。
【0123】
（Ｓ１５３０）では、符号化されたビデオビットストリームから解像度構文要素の第２部分を復号する。一例では、符号化されたビデオビットストリームにて、特定の整数画素解像度を示す解像度構文要素の第２部分が信号で示される。デコーダ側では、デコーダは、符号化されたビデオビットストリームから第２部分を復号することができる。
【0124】
（Ｓ１５４０）では、フレーム間画像マージモードにおける動きベクトルの解像度についてと同じ意味による、第１部分と第２部分の組み合わせによって示される解像度に基づいて、現在ブロックのブロックベクトルを決定する。
【0125】
（Ｓ１５５０）では、決定されたブロックベクトルに基づいて、現在ブロックのサンプルを構築する。そして、このプロセスは（Ｓ１５９９）に進み、終了する。
【0126】
上記の技術は、コンピュータ読み取り可能な命令を使用するコンピュータソフトウェアとして実現され、また、物理的に１つ以上のコンピュータ読み取り可能な媒体に記憶されることができる。例えば、図１６は、開示された主題の特定の実施形態を実現するのに適したコンピュータシステム（１６００）を示す。
【0127】
コンピュータソフトウェアは、任意の適切なマシンコードまたはコンピュータ言語を使用して符号化されることができ、アセンブリ、コンパイル、リンク、または同様のメカニズムを受けて命令を含むコードを作成することができ、命令は、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって、直接的に実行されてもよく、またはコード解釈、マイクロコード実行などによって実行されてもよい。
【0128】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、オブジェクトネットワークデバイス（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ｄｅｖｉｃｅｓ）などを含む、様々なタイプのコンピュータまたはそのコンポーネントで実行されてもよい。
【0129】
図１６に示されるコンピュータシステム（１６００）のコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実現するコンピュータソフトウェアの使用範囲または機能に関するいかなる制限も示唆することが意図されていない。コンポーネントの構成は、コンピュータシステム（１６００）の例示的な実施形態に示されているコンポーネントのいずれかまたは組み合わせに関連する任意の依存性または要件を有すると解釈されるべきではない。
【0130】
コンピュータシステム（１６００）は、いくつかのヒューマンインターフェース入力デバイスを含むことができる。このようなヒューマンインターフェース入力デバイスは、触覚入力（例えば、キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャーなど）、嗅覚入力（図示せず）によって、1人以上のユーザによる入力に応答することができる。ヒューマンインタフェースデバイスはまた、例えばオーディオ（例えば、音声、音楽、環境音など）、画像（例えば、スキャンされた画像、静止画像カメラから得られた写真画像など）、ビデオ（例えば、２次元ビデオ、立体映像を含む３次元ビデオなど）などの、人間による意識的な入力に必ずしも直接関連されているとは限らない、特定のメディアを捕捉するために使用されることもできる。
【0131】
ヒューマンインタフェース入力デバイスは、キーボード（１６０１）、マウス（１６０２）、トラックパッド（１６０３）、タッチスクリーン（１６１０）、データグローブ（図示せず）、ジョイスティック（１６０５）、マイクロホン（１６０６）、スキャナ（１６０７）、カメラ（１６０８）（それぞれの1つだけが図示された）のうちの１つまたは複数を含むことができる。
【0132】
コンピューターシステム（１６００）はまた、いくつかのヒューマンインターフェース出力デバイスを含むことができる。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚によって、１人以上のユーザの感覚を刺激することができる。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１６１０）、データグローブ（図示せず）またはジョイスティック（１６０５）による触覚フィードバックであるが、入力デバイスとして作用しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（例えば、スピーカ（１６０９）、ヘッドホン（図示せず））、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１６１０）であり、各々は、タッチスクリーン入力機能を備えてもよく、あるいは備えていなくてもよいし、各々は、触覚フィードバック機能を備えてもよく、あるいは備えていなくてもよいし、これらのいくつかは、例えば、ステレオグラフィック出力、仮想現実メガネ（図示せず）、ホログラフィックディスプレイとスモークタンク（図示せず）、およびプリンタ（図示せず）などによって、２次元の視覚出力または３次元以上の視覚出力を出力することができる。
【0133】
コンピューターシステム（１６００）は、ＣＤ／ＤＶＤを有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１６２０）を含む光学媒体または類似の媒体（１６２１）、サムドライブ（１６２２）、リムーバブルハードドライブまたはソリッドステートドライブ（１６２３）、テープおよびフロッピーディスク（図示せず）などのようなレガシー磁気媒体、セキュリティドングル（図示せず）などのような特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなどのような、人間がアクセス可能な記憶デバイスおよびそれらに関連する媒体を含むことができる。
【0134】
当業者はまた、ここで開示されている主題に関連して使用される「コンピュータ読み取り可能な媒体」という用語は、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。
【0135】
コンピューターシステム（１６００）はまた、一つ以上の通信ネットワークへのインターフェースを含むことができる。ネットワークは、例えば、無線、有線、光学的であってもよい。ネットワークはさらに、ローカルネットワーク、広域ネットワーク、大都市圏ネットワーク、車両用ネットワークおよび産業用ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。ネットワークの例は、イーサネット（登録商標）、無線ＬＡＮ、セルラーネットワーク（ＧＳＭ（登録商標）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなど）などのＬＡＮ、テレビケーブルまたは無線広域デジタルネットワーク（有線テレビ、衛星テレビ、地上放送テレビを含む）、車両用および産業用ネットワーク（ＣＡＮＢｕｓを含む）などを含む。いくつかのネットワークは、一般に、いくつかの汎用データポートまたは周辺バス（１６４９）（例えば、コンピュータシステム（１６００）のＵＳＢポート）に接続された外部ネットワークインターフェースアダプタが必要であり、他のシステムは、通常、以下に説明するようにシステムバスに接続することによって、コンピュータシステム（１６００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１６００）は、他のエンティティと通信することができる。このような通信は、単方向の受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、Ｃａｎｂｕｓから特定のＣａｎｂｕｓデバイスへ）、あるいは、双方向の、例えばローカルまたは広域デジタルネットワークを使用して他のコンピュータシステムへの通信であってもよい。上述のように、特定のプロトコルおよびプロトコルスタックは、それらのネットワークおよびネットワークインターフェースのそれぞれで使用されることができる。
【0136】
上記のヒューマンインターフェースデバイス、ヒューマンアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピューターシステム（１６００）のコア（１６４０）に接続されることができる。
【0137】
コア（１６４０）は、１つ以上の中央処理ユニット（ＣＰＵ）（１６４１）、グラフィック処理ユニット（ＧＰＵ）（１６４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１６４３）の形式の専用プログラマブル処理ユニット、特定のタスクのためのハードウェア加速器（１６４４）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１６４５）、ランダムアクセスメモリ（１６４６）、例えば内部の非ユーザアクセスハードディスクドライブ、ＳＳＤなどの内部大容量ストレージ（１６４７）などとともに、システムバス（１６４８）を介して接続されてもよい。いくつかのコンピュータシステムでは、付加的なＣＰＵ、ＧＰＵなどによって拡張を可能にするために、システムバス（１６４８）に１つ以上の物理的プラグの形でアクセスすることができる。周辺デバイスは、コアのシステムバス（１６４８）に直接的に接続されてもよく、または周辺バス（１６４９）を介して接続されてもよい。周辺バスのアーキテクチャは、外部コントローラインターフェース（ＰＣＩ）、汎用シリアルバス（ＵＳＢ）などを含む。
【0138】
ＣＰＵ（１６４１）、ＧＰＵ（１６４２）、ＦＰＧＡ（１６４３）、および加速器（１６４４）は、いくつかの命令を実行することができ、これらの命令を組み合わせて上述のコンピュータコードを構成することができる。そのコンピュータコードは、ＲＯＭ（１６４５）またはＲＡＭ（１６４６）に記憶されることができる。また、一時的なデータは、ＲＡＭ（１６４６）に記憶されることができる一方、永久的なデータは、例えば内部大容量ストレージ（１６４７）に記憶されることができる。１つ以上のＣＰＵ（１６４１）、ＧＰＵ（１６４２）、大容量ストレージ（１６４７）、ＲＯＭ（１６４５）、ＲＡＭ（１６４６）などと密接に関連することができる、キャッシュメモリを使用することにより、任意のメモリデバイスに対する高速記憶および検索が可能になる。
【0139】
コンピュータ読み取り可能な媒体は、様々なコンピュータ実行された動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであってもよく、またはコンピュータソフトウェア分野の技術者によって知られ、利用可能な媒体およびコードであってもよい。
【0140】
限定ではなく例として、アーキテクチャ（１６００）、特にコア（１６４０）を有するコンピュータシステムは、１つ以上の有形な、コンピュータ読み取り可能な媒体に具体化されたソフトウェアを実行する、（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、加速器などを含む）プロセッサとして機能を提供することができる。このようなコンピュータ読み取り可能な媒体は、上記のユーザがアクセス可能な大容量ストレージに関連する媒体であり、コア内部大容量ストレージ（１６４７）またはＲＯＭ（１６４５）などの、不揮発性コア（１６４０）を有する特定のストレージであってもよい。本開示の様々な実施形態を実現するソフトウェアは、そのようなデバイスに記憶され、コア（１６４０）によって実行されてもよい。コンピュータ読み取り可能な媒体は、特定のニーズに応じて、１つ以上のメモリデバイスまたはチップを含むことができる。このソフトウェアは、コア（１６４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１６４６）に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を変更することとを含む、本明細書に説明された特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えてまたは代替として、コンピュータシステムは、ロジックハードワイヤードされているか、または別の方法で回路（例えば、アクセラレータ（１６４４））に組み込まれているため、機能を提供することができ、この回路は、ソフトウェアの代わりに動作し、またはソフトウェアと一緒に動作して、本明細書に説明された特定のプロセスの特定のプロセスまたは特定の部分を実行することができる。適切な場合には、ソフトウェアへの参照はロジックを含むことができ、逆もまた然りである。適切な場合には、コンピュータ読み取り可能な媒体への参照は、実行されるソフトウェアを記憶する回路（集積回路（ＩＣ）など）を含み、実行されるロジックを具体化する回路、またはその両方を兼ね備えることができる。本開示は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを包含する。
【0141】
付録Ａ：頭字語
ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ、共同探索モデル
ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ、汎用ビデオ符号化
ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ、ベンチマークセット
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、モーションベクトル
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオ符号化／復号
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、補足強化情報
ＶＵＩ：Ｖｉｓｕａｌ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ビジュアルユーザビリティ情報
ＧＯＰｓ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ、画像のグループ
ＴＵｓ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ、変換ユニット
ＰＵｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔｓ、予測ユニット
ＣＴＵｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔｓ、符号化ツリーユニット
ＣＴＢｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋｓ、符号化ツリーブロック
ＰＢｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ、予測ブロック
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、仮想参照デコーダ
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ、信号雑音比
ＣＰＵｓ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、中央処理ユニット
ＧＰＵｓ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、グラフィック処理ユニット
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ、コンパクトディスク
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、デジタルビデオディスク
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、読み取り専用メモリ
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、特定用途向け集積回路
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、プログラマブルロジックデバイス
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカルエリアネットワーク
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、モバイル通信のグローバルシステム
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、長期的な進化
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ、コントローラエリアネットワークバス
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、汎用シリアルバス
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、外部コントローラインターフェース
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ、フィールドプログラマブルゲートアレイ
ＳＳＤ：ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ、ソリッドステートドライブ
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、集積回路
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ、符号化ユニット
ＩＭＶ：Ｉｎｔｅｇｅｒ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、整数動きベクトル
ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ、共同探索モデル
ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ、汎用ビデオ符号化
ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ、ベンチマークセット
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、モーションベクトル
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオ符号化／復号
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、補足強化情報
ＶＵＩ：Ｖｉｓｕａｌ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ビジュアルユーザビリティ情報
ＧＯＰｓ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ、画像のグループ
ＴＵｓ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ、変換ユニット
ＰＵｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔｓ、予測ユニット
ＣＴＵｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔｓ、符号化ツリーユニット
ＣＴＢｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋｓ、符号化ツリーブロック
ＰＢｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ、予測ブロック
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、仮想参照デコーダ
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ、信号雑音比
ＣＰＵｓ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、中央処理ユニット
ＧＰＵｓ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、グラフィック処理ユニット
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ、コンパクトディスク
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、デジタルビデオディスク
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、読み取り専用メモリ
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、特定用途向け集積回路
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、プログラマブルロジックデバイス
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカルエリアネットワーク
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、モバイル通信のグローバルシステム
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、長期的な進化
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ、コントローラエリアネットワークバス
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、汎用シリアルバス
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、外部コントローラインターフェース
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ、フィールドプログラマブルゲートアレイ
ＳＳＤ：ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ、ソリッドステートドライブ
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、集積回路
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ、符号化ユニット
ＩＭＶ：Ｉｎｔｅｇｅｒ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、整数動きベクトル
【0142】
本開示は、いくつかの例示的な実施形態について説明したが、本開示の範囲内にある変更、配置、および様々な均等置換が存在している。したがって、当業者は、本明細書では明確に示されていないかまたは説明されていないが、本開示の原則を具現しているので、本開示の精神および範囲内にある、様々なシステムおよび方法を設計することができる、ということを理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【外国語明細書】