(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022051929
(43)【公開日】2022-04-01
(54)【発明の名称】ビデオ符号化のための方法、及び装置
(51)【国際特許分類】
H04N 19/11 20140101AFI20220325BHJP
H04N 19/136 20140101ALI20220325BHJP
H04N 19/186 20140101ALI20220325BHJP
H04N 19/176 20140101ALI20220325BHJP
【ＦＩ】
H04N19/11
H04N19/136
H04N19/186
H04N19/176
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022019305
(22)【出願日】2022-02-10
(62)【分割の表示】P 2020546089の分割
【原出願日】2019-05-29
(31)【優先権主張番号】62/679,664
(32)【優先日】2018-06-01
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/147,284
(32)【優先日】2018-09-28
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】リィウ，シャン
(72)【発明者】
【氏名】ウェンジャー，ステファン
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】ジャオ，リアン
(57)【要約】
【課題】本開示の内容は、ビデオ復号化のための方法及び装置を提供する。
【解決手段】幾つかの実施例において、ビデオ復号化のための装置は処理回路を含む。前記処理回路は、符号化されたビデオビットストリームからの少なくとも１つの文法要素を復号化する。当該少なくとも１つの文法要素は、再構築中の矩形形状を持つ非正方形ブロックのブロックサイズを指示する。ブロックサイズは第１次元での第１サイズ、及び第２次元での第２サイズを含む。第１サイズは第２サイズと異なる。当該処理回路は、非正方形ブロックの第１セットのフレーム内予測方向に基づいて非正方形ブロックのサンプルを予測する。第１セットのフレーム内予測方向は正方形ブロックの第２セットのフレーム内予測方向における少なくとも１つのフレーム内予測方向を含まない。
【選択図】図１２
【解決手段】幾つかの実施例において、ビデオ復号化のための装置は処理回路を含む。前記処理回路は、符号化されたビデオビットストリームからの少なくとも１つの文法要素を復号化する。当該少なくとも１つの文法要素は、再構築中の矩形形状を持つ非正方形ブロックのブロックサイズを指示する。ブロックサイズは第１次元での第１サイズ、及び第２次元での第２サイズを含む。第１サイズは第２サイズと異なる。当該処理回路は、非正方形ブロックの第１セットのフレーム内予測方向に基づいて非正方形ブロックのサンプルを予測する。第１セットのフレーム内予測方向は正方形ブロックの第２セットのフレーム内予測方向における少なくとも１つのフレーム内予測方向を含まない。
【選択図】図１２
【特許請求の範囲】
【請求項1】
デコーダがビデオ符号化技術によってビデオ復号化を行う方法であって、
符号化されたビデオビットストリームからの少なくとも１つのシンタックス要素を復号化するステップであって、前記少なくとも１つのシンタックス要素は、再構築中の矩形形状を持つ非正方形ブロックのブロックサイズを指示し、前記ブロックサイズは第１次元での第１サイズ及び第２次元での第２サイズを含み、前記第１サイズは前記第２サイズと異なるステップと、
正方形ブロックの第２セットのフレーム内予測方向から、前記非正方形ブロックの第１セットのフレーム内予測方向を決定するステップであって、前記第１セットのフレーム内予測方向は、前記第２セットのフレーム内予測方向の第１角度サブ範囲を含み、前記非正方形ブロックの高さが幅より小さい場合、前記正方形ブロックの左下の対角線方向から所定の範囲にある前記第２セットのフレーム内予測方向の第２角度サブ範囲を含まず、前記非正方形ブロックの高さが幅より大きい場合、前記正方形ブロックの右上の対角線方向から所定の範囲にある前記第２セットのフレーム内予測方向の第３角度サブ範囲を含ないステップと、
前記非正方形ブロックの前記第１セットのフレーム内予測方向に基づいて前記非正方形ブロックのサンプルを予測するステップ、を含む方法。
符号化されたビデオビットストリームからの少なくとも１つのシンタックス要素を復号化するステップであって、前記少なくとも１つのシンタックス要素は、再構築中の矩形形状を持つ非正方形ブロックのブロックサイズを指示し、前記ブロックサイズは第１次元での第１サイズ及び第２次元での第２サイズを含み、前記第１サイズは前記第２サイズと異なるステップと、
正方形ブロックの第２セットのフレーム内予測方向から、前記非正方形ブロックの第１セットのフレーム内予測方向を決定するステップであって、前記第１セットのフレーム内予測方向は、前記第２セットのフレーム内予測方向の第１角度サブ範囲を含み、前記非正方形ブロックの高さが幅より小さい場合、前記正方形ブロックの左下の対角線方向から所定の範囲にある前記第２セットのフレーム内予測方向の第２角度サブ範囲を含まず、前記非正方形ブロックの高さが幅より大きい場合、前記正方形ブロックの右上の対角線方向から所定の範囲にある前記第２セットのフレーム内予測方向の第３角度サブ範囲を含ないステップと、
前記非正方形ブロックの前記第１セットのフレーム内予測方向に基づいて前記非正方形ブロックのサンプルを予測するステップ、を含む方法。
【請求項2】
前記第１セットのフレーム内予測方向は、前記正方形ブロックの右上の対角線方向又は左下の対角線方向から所定の範囲にある第４角度サブ範囲を含む請求項１に記載の方法。
【請求項3】
前記第１セットのフレーム内予測方向は、前記第２セットのフレーム内予測方向によってカバーされる角度範囲の一端に対応する、前記第２セットのフレーム内予測方向における１つのフレーム内予測方向を含まない請求項１又は２に記載の方法。
【請求項4】
前記第１セットのフレーム内予測方向に用いられるフレーム内予測モードは、前記第２セットのフレーム内予測方向における前記１つのフレーム内予測方向に用いられるフレーム内予測モードを含まない請求項３に記載の方法。
【請求項5】
前記第２セットのフレーム内予測方向における前記１つのフレーム内予測方向に用いられるフレーム内予測モードは、前記第１セットのフレーム内予測方向における１つのフレーム内予測方向に割り当てられる請求項３又は４に記載の方法。
【請求項6】
前記第１セットのフレーム内予測方向及び前記第２角度サブ範囲又は前記第３角度サブ範囲によってカバーされる組み合わされた角度範囲において、前記第１セットのフレーム内予測方向における前記１つのフレーム内予測方向は、前記組み合わされた角度範囲の第１端に対応し、且つ、前記第２角度サブ範囲又は前記第３角度サブ範囲は、前記組み合わされた角度範囲の第２端を含み、前記第２端は、前記第２セットのフレーム内予測方向によってカバーされる前記組み合わされた角度範囲の一端である請求項５に記載の方法。
【請求項7】
別の角度範囲は、前記第１セットのフレーム内予測方向によってカバーされ、
前記第１セットのフレーム内予測方向における前記１つのフレーム内予測方向は、前記第２セットのフレーム内予測方向によってカバーされる前記別の角度範囲外である請求項５に記載の方法。
前記第１セットのフレーム内予測方向における前記１つのフレーム内予測方向は、前記第２セットのフレーム内予測方向によってカバーされる前記別の角度範囲外である請求項５に記載の方法。
【請求項8】
前記第２セットのフレーム内予測方向に含まれない前記第１セットのフレーム内予測方向の数は、前記第１セットのフレーム内予測方向に含まれない前記第２セットのフレーム内予測方向の数に等しい請求項５乃至７のうちのいずれか１項に記載の方法。
【請求項9】
前記第２セットのフレーム内予測方向の前記第２角度サブ範囲は、前記非正方形ブロックの形状又はアスペクト比に基づいて決定される請求項１乃至８のうちのいずれか１項に記載の方法。
【請求項10】
前記第２セットのフレーム内予測方向の前記第３角度サブ範囲は、前記非正方形ブロックの形状またはアスペクト比に基づいて決定される請求項１乃至９のうちのいずれか１項に記載の方法。
【請求項11】
処理回路及びメモリを含む装置であって、
前記処理回路は、前記メモリに記憶されたプログラムを実行することによって、請求項１乃至１０のうちのいずれか１項に記載の方法を実行するように構成される、装置。
前記処理回路は、前記メモリに記憶されたプログラムを実行することによって、請求項１乃至１０のうちのいずれか１項に記載の方法を実行するように構成される、装置。
【請求項12】
少なくとも１つのプロセッサーに、請求項１乃至１０のうちのいずれか１項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、２０１８年６月１日に提出された米国仮出願第６２ / ６７９,６６４の優先権の優先権を主張し、その全体が本明細書に援用される。
【0002】
本開示の内容は、一般的にビデオ符号化に関する実施例を説明する。
【背景技術】
【0003】
本明細書で提供される背景記載は、本開示内容の背景を総体的に体現することを目的とする。該背景技術部分に記載の作業程度から見れば、現在署名の発明者の作業、及び提出の際別に従来技術の記載として限定されていない態様について、明確且つ暗黙的に本開示内容に対する従来技術として認められない。
【0004】
動き補償を有するピクチャ間予測を使用してビデオの符号化と復号化を実行することができる。非圧縮のデジタルビデオは一連のピクチャを含み得、各ピクチャは空間次元、例えば、１９２０ｘ１０８０の輝度サンプルと関連するクロミナンスサンプルを有する。当該一連のピクチャは、例えば、１秒あたり６０のピクチャ又は６０Ｈｚの固定又は可変のピクチャレート（非正式にはフレームレートとも呼ばれる）を有してもよい。非圧縮のビデオには、高いビットレート要件を有する。例えば、サンプルあたりの８ビットの１０８０ｒ６０４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ/ｓに近い帯域幅が必要である。このような１時間のビデオは、６００ＧＢを超えるストレージスペースが必要である。
【0005】
ビデオ符号化及び復号化は、圧縮により、ビデオ信号入力における冗長を減少させることを１つの目的とする。圧縮は、以上に言及された帯域幅または記憶空間に対する需求を減少させることに寄与し、ある状況で、２つまたはより多いオーダーを減少させる。可逆圧縮、非可逆圧縮、及びその組み合わせを利用できる。可逆圧縮は、圧縮された元の信号から元の信号の正確なコピーを再構築する技術を指す。非可逆圧縮を利用する場合、再構築された信号は元の信号と異なるかもしれないが、元の信号と再構築された信号との間の歪みは十分に小さいから、再構築された信号は予期の応用に役立つ。ビデオの場合、非可逆圧縮は大幅に応用される。許容の歪み量はアプリケーションに依存し、例えば、テレビ貢献アプリケーションのユーザーより、消費者ストリーミング媒体プリケーションのユーザーが高い歪みを許容する。達する圧縮比は、許可／許容可能な歪みが高いほど、圧縮比が高くなることを反映する。
【0006】
ビデオエンコーダとデコーダは、例えば、動き補償、変換、量子化、エントロピー符号化などを含む幾つかの幅広いカテゴリからの技術を利用し得る。
【0007】
ビデオコーデック技術には、フレーム内符号化と呼ばれる技術が含まれる。フレーム内符号化では、以前に再構築された参照ピクチャからのサンプル又は他のデータを参照しない場合にサンプル値を表す。一部のビデオコーデックでは、ピクチャは空間的にサンプルブロックに細分される。フレーム内モードにおいて全てのサンプルブロックを符号化する場合、そのピクチャはフレーム内ピクチャであってもよい。フレーム内ピクチャとその派生物、例えば、独立したデコーダリフレッシュピクチャは、デコーダの状態をリセットするために使用できるため、符号化されたビデオビットストリームとビデオセッションにおける第１ピクチャ、又は静止ピクチャとして使用し得る。フレーム内ブロックのサンプルを変換させ、エントロピー符号化の前に変換係数を量子化してもよい。フレーム内予測は、事前変換ドメインにおけるサンプル値を最小化する技術であり得る。ある場合に、変換後のＤＣ値が小さいほど、且つＡＣ係数が小さいほど、所定の量子化ステップサイズでエントロピー符号化後のブロックを表すために必要なビットが少なくなる。
【0008】
例えば、ＭＰＥＧ―２代符号化技術から知られている従来のフレーム内符号化は、フレーム内予測を使用しない。しかしながら、新しいビデオ圧縮技術は、例えば、空間的に隣接する符号化／復号化の間に取得し且つ復号化順序で先行する周囲のサンプルデータ及び／又はメタデータから、データブロックを試みる技術を含む。このような技術は、「フレーム内予測」技術と呼ばれる。少なくとも幾つかのケースでは、フレーム内予測は、再構築中の現在ピクチャからの参照データのみを使用し、参照ピクチャからの参照データを使用しない。
【0009】
フレーム内予測には様々な形式がある。所定のビデオ符号化技術に一つよりも多いこのような技術を使用できる場合、フレーム内予測モードで使用される技術を符号化できる。幾つかの場合に、モードはサブモード及び／又はパラメータを有してもよく、サブモード及び／又はパラメータは個別に符号化されるか、モードコードワードに含まれる。所定のモード/サブモード/パラメーターの組み合わせにどのコードワードを使用するかは、フレーム内予測により符号化効率のゲインに影響を与える可能性があり、コードワードをビットストリームに変換するためのエントロピー符号化技術も符号化効率のゲインに影響を与える可能性がある。
【0010】
フレーム内予測のあるモードはＨ．２６４から導入され、Ｈ．２６５で細分され、さらに、共同の探査モデル（ＪＥＭ）、多用途ビデオ符号化（ＶＶＣ）、ベンチマークセット（ＢＭＳ）などの新しい符号化技術で詳細化される。既に利用可能なサンプルに属する隣接サンプル値を使用して予測値ブロックを形成してもよい。隣接サンプルのサンプル値は、方向に従って予測値ブロックにコピーされる。使用される方向の参照は、ビットストリームで符号化されるか、それ自体が予測されてもよい。
【0011】
図１を参照し、右下に、Ｈ．２６５の３５個の可能な予測値方向から得られる９つの予測値方向のサブセットが描かれている。矢印が集まる点（１０１）は、予測中のサンプルを表す。矢印は、サンプルが予測される方向を表す。例えば、矢印（１０２）は、右上の、水平から４５度の角度である一つ又は複数のサンプルに応じてサンプル（１０１）を予測することを指示する。同様に、矢印（１０３）は、サンプル（１０１）の右下の、水平から２２．５の角度である一つ又は複数のサンプルに応じてサンプル（１０１）を予測することを指示する。
【0012】
引き続き図１を参照すると、左上に、４×４サンプルの正方形のブロック（１０４）が描かれている（破線の太字の線で示されている）。正方形のブロック（１０４）には１６個のサンプルが含まれ、それぞれは「Ｓ」、Ｙ次元での位置（例えば、行インデックス）及びＸ次元での位置（例えば、列インデックス）で標記されている。例えば、サンプルＳ２１は、Ｙ次元での２番目のサンプル（上から）であり、Ｘ次元での一番目のサンプル（左から）である。同様に、サンプルＳ４４は、ブロック（１０４）のＹ次元とＸ次元の両方での４番目のサンプルである。ブロック（１０４）のサイズは４ｘ４サンプルであるので、サンプルＳ４４は右下にある。また、類似の番号付けスキームに従う参照サンプルを示した。参照サンプルは、Ｒ、ブロック（１０４）に対するＹ位置（例えば、行インデックス）及びＸ位置（列インデックス）で標記されている。Ｈ．２６４とＨ．２６５の両方で、予測サンプルは再構築中のブロックで隣接する。したがって、負の値を使用する必要はない。
【0013】
フレーム内ピクチャ予測は、信号で表される予測方向に応じて、隣接するサンプルから参照サンプル値をコピーすることで行う。例えば、符号化されたビデオビットストリームにシグナリングが含まれると仮定すると、このブロックについて、このシグナリングは矢印（１０２）と一致する予測方向を指示し、つまり、右上の、水平から４５度の角度である一つ又は複数の予測サンプルに応じてこのサンプルを予測する。その場合、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じＲ０５に応じて予測される。次に、Ｒ０８に応じてサンプルＳ４４を予測する。
【0014】
幾つかの場合に、参照サンプルを計算するために、複数の参照サンプルの値は、例えば補間によって組み合わせることができ、特に方向が４５度で均等に分割できない場合である。
【0015】
ビデオ符号化技術の開発に伴い、可能な方向の数は増加している。Ｈ．２６４（２００３年）では、９つの異なる方向を表すことができる。Ｈ．２６５（２０１３年）で３３に増え、ＪＥＭ/ＶＶＣ/ＢＭＳは最大６５の方向をサポートできる。既に実験が行われて最も可能性の高い方向を認識しており、エントロピー符号化の技術が使用されて、可能性の低い方向へのペナルティを受け入れる場合に、これらの可能な方向を少ないビットで表す。また、隣接するすでに復号化されたブロックで使用される隣接方向から方向自体を予測できる場合がある。
【0016】
【0017】
符号化されたビデオビットストリームにおいて方向を表すフレーム内予測方向ビットのマッピングは、ビデオ符号化技術によって異なる可能性があり、そして、範囲は、例えば、予測方向→フレーム内予測モード→コードワードという単純な直接マッピングであり、最も可能性の高いモードや類似の技術に係るという複雑な自己適応スキームであってもよい。当業者はそれらの技術をよく知っている。ただし、すべての場合において、統計的に、ある方向は他の方向よりもビデオコンテンツで発生する可能性が低い。ビデオ圧縮の目的は冗長性の削減であるため、適切に機能するビデオ符号化技術では、これらの可能性の低い方向は、可能性の高い方向よりも多くのビット数で表される。
【発明の概要】
【0018】
本開示の内容の各局面は、ビデオ復号化のための方法及び装置を提供する。幾つかの実施例において、ビデオ復号化のための装置は処理回路を含む。当該処理回路は符号化されたビデオビットストリームからの少なくとも１つの文法要素を復号化する。当該少なくとも１つの文法要素は、再構築中の矩形形状を持つ非正方形ブロックのブロックサイズを指示する。ブロックサイズは第１次元での第１サイズ、及び第２次元での第２サイズを含む。第１サイズは第２サイズと異なる。当該処理回路は、非正方形ブロックの第１セットのフレーム内予測方向に基づいて当該非正方形ブロックのサンプルを予測する。第１セットのフレーム内予測方向は正方形ブロックの第２セットのフレーム内予測方向における少なくとも１つのフレーム内予測方向を含まない。
【0019】
幾つかの実施例において、前記第２セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向は、前記第２セットのフレーム内予測方向によってカバーされる角度範囲のサブ範囲をカバーする。例において、前記サブ範囲は、前記角度範囲の第１端を含む。
【0020】
幾つかの実施例において、前記第１セットのフレーム内予測方向に用いられるフレーム内予測モードは、前記第２セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向に用いられる少なくとも１つのフレーム内予測モードを含まない。
【0021】
幾つかの実施例において、前記第２セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向に用いられる少なくとも１つのフレーム内予測モードは、前記第１セットのフレーム内予測方向における少なくとも１つのフレーム内予測方向に割り当てられる。前記第１セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向は、前記第２セットのフレーム内予測方向に含まれない。
【0022】
幾つかの実施例において、前記第１セットのフレーム内予測方向及び前記第２セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向によってカバーされる組み合わされた角度範囲において、前記第１セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向は、前記組み合わされた角度範囲の第１端を含むサブ範囲によってカバーされる。前記第２セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向は、前記組み合わされた角度範囲の第２端を含む別のサブ範囲によってカバーされる。
【0023】
幾つかの実施例において、第１角度範囲は前記第１セットのフレーム内予測方向によってカバーされる。第２角度範囲は前記第２セットのフレーム内予測方向によってカバーされる。前記第１セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向によってカバーされる前記第１角度範囲のサブ範囲は前記第２角度範囲外である。
【0024】
幾つかの実施例において、前記第１セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向の数は前記第２セットのフレーム内予測方向のうちの前記少なくとも１つのフレーム内予測方向の数に等しい。
【0025】
幾つかの実施例において、前記正方形ブロックの前記第２セットのフレーム内予測方向に用いられるフレーム内予測モードの数は前記非正方形ブロックの前記第１セットのフレーム内予測方向に用いられるフレーム内予測モードの数に等しい。
【0026】
幾つかの実施例において、前記第２セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向は、前記非正方形ブロックの形状に基づく。
【0027】
幾つかの実施例において、前記第２セットのフレーム内予測方向における前記少なくとも１つのフレーム内予測方向は、前記非正方形ブロックのアスペクト比に基づく。
【0028】
本開示の内容の各局面は、さらに、プログラムが記憶される非一時的コンピュータ可読記憶媒体を提供し、当該プログラムは、ビデオ復号化のための少なくとも１つプロセッサーによって実行されることで、ビデオ復号化のための方法における任意の方法を実行させることができる。
【図面の簡単な説明】
【0029】
以下の詳しい記載及び図面に基づいて、開示のテーマの他の特徴、性質及び様々な利点はより明確になり、図面において、
【図1】例示的なフレーム内予測モードの模式図である。
【図2】例示的なフレーム内予測モードの別の図である。
【図3】一実施例による通信システム（３００）の概略的なブロック図の模式図である。
【図4】一実施例による通信システム（４００）の概略的なブロック図の模式図である。
【図5】一実施例によるデコーダの概略的なブロック図の模式図である。
【図6】一実施例によるエンコーダの概略的なブロック図の模式図である。
【図7】別の実施例によるエンコーダのブロック図を示す。
【図8】別の実施例によるデコーダのブロック図を示す。
【図9】一実施例による非正方形ブロックにおけるサンプルのフレーム内予測の模式図を示す。
【図10】一実施例による非正方形ブロックにおけるサンプルのフレーム内予測の模式図を示す。
【図11】一実施例による非正方形ブロックにおけるサンプルのフレーム内予測の模式図を示す。
【図12】本開示の幾つかの実施例によるプロセス（１２００）を概説するフローチャートを示す。
【図13】一実施例によるコンピュータシステムの模式図である。
【発明を実施するための形態】
【0030】
本開示の実施形態は、例えば、再構築中のブロックに空間的に近い参照サンプルを参照することで非正方形ブロックのフレーム内予測を改善することに係る。また、幾つかの実施例において、当該処理は、使用方向の数を最小化ことで実行される。
【0031】
図３は、本開示の実施例による通信システム（３００）の概略的なブロック図を示す。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信できる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して互いに接続される第１ペアの端末デバイス（３１０）と（３２０）を含む。図３に示す例において、第１ペアの端末デバイス（３１０）と（３２０）は一方向のデータ伝送を実行する。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介して他の端末（３２０）に伝送するために、ビデオデータ（端末デバイス（３１０）によってキャプチャされたビデオピクチャストリーム）を符号化することができる。符号化されたビデオデータは一つ又は複数の符号化されたビデオビットストリームの形で伝送できる。端末デバイス（３２０）は、ネットワーク（３５０）から符号化されたビデオデータを受信し、符号化されたデータを復号化し、ビデオピクチャを復元し、復元されたビデオデータに応じて、ビデオピクチャを表示してもよい。一方向のデータ伝送は、媒体サービスアプリケーションなどではよく見られる。
【0032】
他の例において、通信システム（３００）は、符号化されたビデオデータの双方向伝送を実行する第２ペアの端末（３３０）と（３４０）を含み、双方向伝送は、例えば、ビデオ会議中に発生してもよい。データの双方向伝送の場合、端末デバイス（３３０）と（３４０）のそれぞれは、ネットワーク（３５０）を介して端末デバイス（３３０）と（３４０）のうちの他の端末に伝送するために、ビデオデータ（端末デバイスによってキャプチャされたビデオピクチャストリーム）を符号化することができる。端末デバイス（３３０）と（３４０）のそれぞれは、また、端末デバイス（３３０）と（３４０）のうちの他の端末デバイスによって伝送された符号化されたビデオデータを受信し得、符号化されたデータを復号化してビデオピクチャを復元し、復元されたビデオデータに応じて、アクセス可能な表示デバイスでビデオピクチャを表示してもよい。
【0033】
図３に示す例において、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本開示内容の原理はこれに限定されない。本開示の実施例はラップトップコンピュータ、タブレット、媒体プレイヤー及び／又は専門ビデオ会議機器に適用される。ネットワーク（３５０）は端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の間で符号化されたビデオデータを伝送する任意の数のネットワークを示し、例えば、有線及び／又は無線通信ネットワークを含む。通信ネットワーク（３５０）は回路交換及び／又はパケット交換チャネルにおいてデータを交換し得る。代表的なネットワークは通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。本出願の検討のために、ネットワーク（３５０）のアーキテクチャとトポロジーは、以下本明細書で特に説明しない限り、本開示の操作にとって重要ではない。
【0034】
開示のテーマのアプリケーションの例として、図４は、ストリーム伝送環境におけるビデオエンコーダとデコーダの配置例の図を示し、開示のテーマは、同等にビデオをサポートする他のアプリケーションに適用され、例えばビデオ会議、デジタルテレビ、ＣＤ、ＤＶＤ、メモリースティックなどを含むデジタルメデイアで圧縮ビデオなどを記憶することを含む。
【0035】
ストリーム伝送システムは、キャプチャサブシステム（４１３）を含み得、当該キャプチャサブシステムは、例えば非圧縮ビデオピクチャストリーム（４０２）を構築するためのビデオソース（４０１）、例えば、デジタル撮影装置を含んでもよい。例において、ビデオピクチャストリーム（４０２）はデジタル撮影装置によって撮影されたサンプルを含む。符号化されたビデオデータ（４０４）（又は符号化されたビデオビットストリーム）と比較して高いデータ量を強調するために太線として描かれるビデオピクチャストリーム（４０２）は、ビデオソース（４０１）に接続されたビデオエンコーダ（４０３）を含む電子機器（４２０）で処理できる。ビデオエンコーダ（４０３）は、以下でより詳細に説明する開示のテーマの各態様を実現又は実施するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。ビデオピクチャスレリーム（４０２）と比較して低いデータ量を強調するために細い線として描かれる符号化されたビデオデータ（４０４）（または符号化されたビデオビットストリーム（４０４））は、後で使用のために、ストリームサーバ（４０５）に記憶され得る。１つ又は複数のストリームクライアントサブシステム、例えば、図４のクライアントサブシステム（４０６）と（４０８）は、ストリームサーバ（４０５）にアクセスして、符号化されたビデオデータ（４０４）のコピー（４０７）と（４０９）を検索し得る。クライアントサブシステム（４０６）は、例えば、電子機器（４３０）におけるビデオデコーダ（４１０）を含んでもよい。ビデオデコーダ（４１０）は、符号化されたビデオデータの着信コピー（４０７）を復号化し、ディスプレイ（４１２）（例えば、スクリーン）又は他の表示デバイス（図示せず）で表示できる発信ビデオピクチャストリーム（４１１）を構築する。あるストリーム伝送システムでは、あるビデオ符号化/圧縮規格に従って符号化されたビデオビットストリーム（４０３）、（４０７）、（４０９）（例えば、ビデオビットストリーム）を符号化してもよい。これらの規格の例には、ＩＴＵ-Ｔ Ｈ．２６５推奨書を含む。一例として、開発中のビデオ符号化基準は非正式に多用途ビデオ符号化又はＶＶＣと呼ばれる。開示のテーマは、ＶＶＣのコンテキストに使用されてもよい。
【0036】
なお、電子機器（４２０）と（４３０）は、他の構成要素（図示せず）を含むことができる。例えば、電子機器（４２０）はビデオデコーダ（図示せず）を含んでもよく、電子機器（４３０）は同様にビデオエンコーダ（図示せず）を含んでもよい。
【0037】
図５は、本開示の実施例によるビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は電子機器（５３０）に含まれてもよい。電子機器（５３０）は受信機（５３１）（例えば、受信回路）を含んでもよい。ビデオデコーダ（５１０）は、図４に示す例におけるビデオデコーダ（４１０）の代わりに使用されてもよい。
【0038】
受信機（５３１）は、ビデオデコーダ（５１０）によって復号化される１つ又は複数の符号化されたビデオシーケンスを受信してもよく、同一又は別の実施例では、一回に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は他の符号化されたビデオシーケンスと独立している。チャネル（５０１）から符号化されたビデオシーケンスを受信してもよく、チャネル（５０１）は、符号化されたビデオデータを記憶するストレージデバイスへのハードウェア／ソフトウェアリンクであってもよい。受信機（５３１）は、符号化されたビデオデータ及び他のデータ、例えば、それぞれの使用エンティティ（図示せず）に転送され得る符号化されたオーディオデータ及び／又は補助データストリームを受信してもよい。受信機（５３１）は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（５１５）は、受信機（５１１）とエントロピーデコーダ／パーサ（５２０）（以降、「パーサ」と呼ばれる）との間に接続され得る。幾つかのアプリケーションでは、バッファメモリ（５１５）はビデオデコーダ（５１０）の一部である。他のアプリケーションでは、バッファメモリ（５１５）はビデオデコーダ（５１０）（図示せず）の外部にあってもよい。更なるアプリケーションでは、ビデオデコーダ（５１０）の外部には、ネットワークジッタを防止するために、バッファメモリ（描画せず）があってもよく、さらに例えばビデオデコーダ（５１０）内に、再生タイミングを処理するために、別のバッファメモリ（５１５）があってもよい。受信機（５３１）が十分な帯域幅と制御可能性を有する記憶／転送デバイスから、又は等時性ネットワークからデータを受信する場合に、バッファメモリ（５１５）は必要としないか、又はバッファメモリ（５１５）は小さくなり得る。例えばインターネットのベストパケットネットワークで使用するために、バッファメモリ（５１５）が必要となる場合があり、バッファメモリ（５１５）は、比較的大きく、自己適応サイズを有利に有することができ、そして、少なくとも一部はオペレーティングシステム又はビデオデコーダ（５１０）の外側の類似の構成要素（図示せず）で実現されてもよい。
【0039】
ビデオデコーダ（５１０）は、符号化されたビデオシーケンスからシンボル（５２１）を再構築するために、パーサ（５２０）を含み得る。これらのシンボルのカテゴリには、ビデオデコーダ（５１０）の操作を管理するための情報と、電子機器（５３０）の一体部分ではなく電子機器（５３０）に接続される表示デバイス（５１２）を制御するための情報とを含んでもよく、図５に示すようである。一つ又は複数の表示デバイスに用いられる制御情報は、補助拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形であってよい。パーサ（５２０）は、受信された符号化されたビデオシーケンスに対して解析／エントロピー復号化を行うことができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術又は基準に従うことができ、可変長符号化、エルフマン符号化、コンテキスト感度を有する又は有しない算術符号化などを含む様々な原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも一つのパラメーターに基づいて、符号化されたビデオシーケンスから、ビデオデコーダにおける画素のサブグループのうちの少なくとも１つのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャのグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含んでもよい。パーサー（５２０）は、また、符号化されたビデオシーケンス情報から、例えば、変換係数、量子化器パラメーター値、動きベクトルなどを抽出してもよい。
【0040】
パーサ（５２０）は、バッファメモリ（５１５）から受信したビデオシーケンスに対してエントロピー復号化/解析操作を実行することで、シンボル（５２１）を構築することができる。
【0041】
符号化されたビデオピクチャ又は他の部分（例えば、フレーム間ピクチャとフレーム内ピクチャ、フレーム間ブロックとフレーム内ブロック）のタイプ及び他の要因に依存し、シンボル（５２１）の再構築は複数の異なるユニットに係る。どのユニットに係るか、及び係る形態は、パーサ（５２０）が符号化されたビデオシーケンスから解析したサブグループ制御情報により制御されてもよい。簡略化のために、パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れについて説明しない。
【0042】
すでに言及された機能ブロックに加えて、ビデオデコーダ（５１０）は概念的には、以下に説明する複数の機能ユニットに細分することができる。商業的な制約の下で運行する実際の実現形態では、これらのユニットの多くは互いに密接にインタラクトし、少なくとも部分的に互いに統合することができる。但し、開示のテーマを説明する目的のために、概念的には、以下の機能ユニットへの細分は適切である。
【0043】
第１ユニットはスケーラ／逆変換ユニット（５５１）である。当該スケーラ/逆変換ユニット（５５１）はパーサ（５２０）から（１つ又は複数の）シンボル（５２１）としての量子化変換係数及び制御情報を受信し、どの変換方法を使用するか、ブロックサイズ、量子化係数、量子化スケーリングマトリックスなどを含む。スケーラ/逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力できるサンプル値を含むブロックを出力できる。
【0044】
幾つかの場合に、スケーラ/逆変換ユニット（５５１）の出力サンプルはフレーム内符号化ブロックに属してもよく、即ち、以前に再構築されたピクチャからの予測性情報を使用しないが、現在ピクチャからの以前に再構築された一部の予測性情報のブロックを使用してもよい。そのような予測性情報は、フレーム内ピクチャ予測ユニット（５５２）によって提供され得る。幾つかの場合に、フレーム内ピクチャ予測ユニット（５５２）は現在ピクチャバッファ（５５８）から抽出された周りの既に再構築された情報を使用して再構築中のブロックのサイズ及び形状と同じなブロックを生成してもよい。現在ピクチャバッファ（５５８）は、例えば、部分的に再構築された現在ピクチャ及び／又は完全に再構築された現在ピクチャをバッファリングする。幾つかの場合に、アグリゲータ（５５５）は各サンプルに基づいて、フレーム内予測ユニット（５５２）によって生成された予測情報を、スケーラ/逆変換ユニット（５５１）から提供される出力サンプル情報に追加する。
【0045】
他の場合に、スケーラ/逆変換ユニット（５５１）の出力サンプルはフレーム間符号化及び潜在動き補償ブロックに属してもよい。このような場合に、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして予測のためのサンプルを抽出してもよい。当該ブロックに属するシンボル（５２１）に応じて抽出されたサンプルに対して動き補償を行った後に、これらのサンプルは、アグリゲータ（５５５）によりスケーラ/逆変換ユニットの出力（この場合に、残差サンプル又は残差信号と呼ばれる）に追加されることで、出力サンプル情報を生成することができる。動き補償ユニット（５５３）がサンプルを抽出する参照ピクチャメモリにおけるアドレスは動きベクトルにより制御されてもよく、動きベクトルはシンボル（５２１）の形で動き補償ユニットに提供され、シンボル（５２１）は、例えば、Ｘ、Ｙ、及び参照ピクチャコンポーネントを有してもよい。動き補償は、サブサンプルの正確な動きベクトルを使用する場合参照ピクチャメモリから抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。
【0046】
アグリゲータ（５５５）の出力サンプルはループフィルタユニット（５５６）において様々なループフィルタリング技術が応用される。ビデオ圧縮技術は、ループ内フィルタ技術を含んでもよく、ループ内フィルタ技術は、符号化されたビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれ且つパーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に使用可能なパラメータにより制御されるが、ビデオ圧縮技術は、符号化されたピクチャ又は符号化されたビデオシーケンスの以前の（復号化順序で）一部復号化する間に得られたメタ情報に応答してもよいし、以前に再構築されループフィルター処理されたサンプル値に応答してもよい。
【0047】
ループフィルタユニット（５５６）の出力はサンプルストリームであってもよく、当該サンプルストリームは表示デバイス（５１２）に出力され、参照ピクチャメモリ（５５７）に記憶されて、後のフレーム間ピクチャ予測に使用される。
【0048】
完全に再構築されると、一部の符号化されたピクチャは参照ピクチャとして将来の予測に使用することができる。現在ピクチャに対応する符号化されたピクチャが完全に再構築され、且つ符号化されたピクチャが（例えば、パーサ（５２０）により）参照ピクチャとして認識されると、現在ピクチャバッファ（５５８）は参照ピクチャメモリ（５５７）の一部になり、そして、後の符号化されたピクチャの再構築を開始する前に、新しい現在ピクチャバッファを再割り当てることができる。
【0049】
ビデオデコーダ（５１０）は、例えばＩＴＵ-ＴＨ．２５５推奨書の基準における所定のビデオ圧縮技術に従って復号化操作を実行してもよい。符号化されたビデオシーケンスがビデオ圧縮技術又は基準文法及びビデオ圧縮技術又は基準に記録されたプロファイルに準拠する意味で、符号化されたビデオシーケンスは、使用のビデオ圧縮技術又は基準で指定される文法に符合してもよい。具体的に、プロファイルは、ビデオ圧縮技術又は基準で利用可能なすべてのツールから、幾つかのツールを選択してプロファイルで使用され得るツールとしてもよい。コンプライアンスについて、符号化されたビデオシーケンスの複雑さがビデオ圧縮技術又は基準のレベルで限定された範囲内にあることも要求する。場合によっては、レベルは、最大ピクチャのサイズ、最大フレームレート、最大再構築サンプルレート（例えば１秒あたりのメガのサンプルを単位として測定する）、最大参照ピクチャサイズなどを制限する。場合によっては、レベルによって設定される制限は仮想参照デコーダ（ＨＲＤ）の仕様及び符号化されたビデオシーケンスにおいてシグナリングされるＨＲＤバッファの管理するメタデータによってさらに制限されてもよい。
【0050】
一実施例において、受信機（５３１）は、付加的な（冗長な）データと符号化されたビデオを受信してもよい。付加的なデータは（１つ又は複数の）符号化されたビデオシーケンスの一部として含まれてもよい。付加的なデータは、ビデオデコーダ（５１０）がデータを正確に復号及び/又は元のビデオデータをより正確に再構築するために使用してもよい。付加的なデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）、強化層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形であってもよい。
【0051】
図６は、本開示の実施例によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は電子機器（６２０）に含まれる。電子機器（６２０）は、伝送器（６４０）（例えば、伝送回路）を含む。ビデオエンコーダ（６０３）は図４に示す例におけるビデオエンコーダ（４０３）に代わりに使用し得る。
【0052】
ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によって符号される（一つ又は複数の）ビデオ画像をキャプチャし得るビデオソース（６０１）（図６に示す例における電子機器（６２０）の一部ではない）からビデオサンプルを受信してもよい。別の例では、ビデオソース（６０１）は、電子機器（６２０）の一部である。
【0053】
ビデオソース（６０１）は、ビデオエンコーダ（６０３）によって符号化されるデジタルビデオサンプルストリームの形であるソースビデオシーケンスを提供してもよく、デジタルビデオサンプルストリームは、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ＹＣｒＣＢ、ＲＧＢ…）及び任意の適切なサンプリング構成（例えば、ＹＣｒＣｂ ４:２:０、ＹＣｒＣｂ ４:４:４）を有してもよい。媒体サービスシステムでは、ビデオソース（６０１）は、以前に準備されたビデオを記憶するストレージデバイスであってもよい。ビデオ会議システムでは、ビデオソース（６０１）は、ロカール画像情報をビデオシーケンスとしてキャプチャする撮影装置であってもよい。ビデオデータは、順番に見る際に動きを付与する複数の個別のピクチャとして提供されてもよい。ピクチャ自体は空間画素アレイとして構成されてもよく、使用中のサンプリング構成、色空間などに依存し、各画素は、１つ又は複数のサンプルを含んでもよい。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルを中心に説明する。
【0054】
一実施例によれば、ビデオエンコーダ（６０３）は、リアルタイムで、又はアプリケーションに必要な他の任意の時間制約の下で、ソースビデオシーケンスのピクチャを符号化し、それを符号化されたビデオシーケンス（６４３）に圧縮してもよい。適切な符号化速度を実行することはコントローラ（６５０）の機能の１つである。場合によっては、コントローラ（６５０）は、以下に説明する他の機能ユニットを制御し、これらのユニットに機能的に接続する。簡略化のために、カップリング接続は図示されていない。コントローラ（６５０）によって設置されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値…）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含んでもよい。コントローラ（６５０）は、あるシステムに対して設計し最適化されたビデオエンコーダ（６０３）に属する他の適切な機能を有するように配置できる。
【0055】
幾つかの実施例において、ビデオエンコーダ（６０３）は符号化ループで操作するように配置されている。非常に簡略化した説明として、一例として、符号化ループは、ソースエンコーダ（６３０）（例えば、符号化しようとする入力ピクチャ及び（１つ又は複数の）参照ピクチャに基づいてシンボルストリームのようなシンボルを構築することを担当する）、ビデオエンコーダ（６０３）に組み込まれた（ロカールの）デコーダ（７３３）を含んでもよい。デコーダ（６３３）は（リモート）デコーダと類似してサンプルデータを構築するようにシンボルを再構築して、サンプルデータを再構築する（開示のテーマで考慮されるビデオ圧縮技術でシンボルと符号化されたビデオビットストリームとの間の圧縮は無損失であるため）。再構築されたサンプルストリーム（サンプルデータ）を参照ピクチャメモリ（６３４）に入力する。シンボルストリームの復号化によって、デコーダの位置（ロカール又はリモート）に関係がないビット正確結果が得られるため、参照ピクチャメモリ（６３４）の内容もロカールエンコーダとリモートエンコーダ間でビット正確である。つまり、エンコーダの予測部分が「見る」参照ピクチャサンプルと、デコーダが復号化で予測を使用する際に「見る」サンプル値とは全く同じである。当該参照ピクチャの同期性という基本的な原理（及び、例えば、チャネル誤差のため、同期性を維持できない場合に生じるドリフト）は、関連技術でも使用される。
【0056】
「ロカール」デコーダ（６３３）の操作は、以上で図５に基づいて詳細に説明されたビデオデコーダ（５１０）の「リモート」デコーダの操作と同じであってもよい。簡単に図５を参照し、シンボルが利用可能であり、且つエントロピーエンコーダ（６４５）及びパーサ（５２０）は無損失でシンボルを、符号化されたビデオシーケンスに符号化/復号化できる場合に、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピー復号化部分はロカールデコーダ（６３３）で完全に実現されない場合がある。
【0057】
また、デコーダに存在する解析/エントロピー復号化以外の任意のデコーダ技術も必ず対応するエンコーダに基本的に同じ機能形式で存在する。この原因で、開示のテーマはデコーダ操作に注目する。エンコーダ技術は詳細に説明されたデコーダー技術の逆であるため、エンコーダ技術の説明を簡略化する。特定の領域のみに必要とされ、以下より詳細に説明する。
【0058】
操作中に、幾つかの例において、ソースエンコーダ（６３０）は動き補償予測符号化を実行してもよく、動き補償予測符号化は、ビデオシーケンスからの「参照ピクチャ」として指定された１つ又は複数の以前に符号化されたピクチャを参照することで入力ピクチャに対して予測符号化を行う。このようにして、符号化エンジン（６３２）は入力ピクチャの画素ブロックと、入力ピクチャ（１つ又は複数の）予測参照の（１つ又は複数の）参照ピクチャとして選択され得る画素ブロックとの間の差異を符号化してもよい。
【0059】
ロカールビデオデコーダ（６３３）は、ソースエンコーダ（６３０）によって構築されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化されたビデオデータを復号化してもよい。符号化エンジン（６３２）の操作は、有利には、損失処理であり得る。符号化されたビデオデータがビデオデコーダ（図６に図示せず）で復号化される場合、再構築されたビデオシーケンスは、通常、多少の誤差を有するソースビデオシーケンスのコピーであり得る。ローカルビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実行され得る復号化処理を複製し、再構築された参照ピクチャを参照ピクチャバッファ（６３４）に記憶させてもよい。このようにして、エンコーダ（６０３）は、遠端ビデオデコーダによって取得される再構築された参照ピクチャと共通のコンテンツを有する、再構築された参照ピクチャのコピーをローカルに記憶することができる（伝送誤差がない）。
【0060】
予測器（６３５）は、符号化エンジン（６３２）に対して予測検索を実行することができる。つまり、符号化対象の新しいピクチャについて、予測器（６３５）は、参照ピクチャメモリ（６３４）において新しいピクチャの適切な予測参照として使用し得るサンプルデータ（候補参照画素ブロックとして）又は特定のメタデータ、例えば、参照ピクチャの動きベクトル、ブロック形状などを検索してもよい。予測器（６３５）は、サンプルブロックに基づいて、画素ブロックごとに操作し、適切な予測参照を見つけることができる。場合によっては、予測器（６３５）により取得された検索結果によって決定され、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから抽出された予測参照を有してもよい。
【0061】
コントローラ（６５０）は、ビデオエンコーダ（６３０）の符号化操作を管理することができ、例えば、ビデオデータを符号化するためのパラメータとサブグループパラメータの設置を含む。
【0062】
エントロピーエンコーダ（６４５）において以上で言及されたすべての機能ユニットの出力に対してエントロピー符号化を行ってもよい。エントロピーエンコーダ（６４５）は、当業者に知られている技術、例えばハフマン符号化、可変長符号化、算術符号化等に従って、各機能ユニットによって生成されたシンボルに対して無損失圧縮を行うことにより、シンボルを、符号化されたビデオシーケンスに変換する。
【0063】
伝送器（６４０）は、エントロピーエンコーダ（６４６）によって構築された（１つ又は複数の）符号化されたビデオシーケンスをバッファリングし、通信チャネル（６６０）を介する伝送の準備をすることができ、この通信チャネルは、符号化されたビデオデータを記憶するストレージデバイスへのハードウェア/ソフトウェアリンクであってもよい。伝送器（６４０）は、ビデオエンコーダ（６３０）からの符号化されたビデオデータを、伝送しようとする他のデータ、例えば、符号化されたオーディオデータ及び/又は補助データストリーム（ソースは図示せず）とともに合併してもよい。
【0064】
コントローラ（６５０）は、エンコーダ（６０３）の操作を管理することができる。コントローラ（６５０）は、符号化期間に、各符号化されたピクチャに、相応するピクチャに適用し得る符号化技術に影響する可能性がある特定の符号化ピクチャタイプを割り当てる。例えば、通常、ピクチャは、以下のピクチャタイプの一つに割り当てられる。
【0065】
フレーム内ピクチャ（Ｉピクチャ）であって、シーケンスにおけるいずれの他のピクチャも予測のソースとしていない場合に、符号化及び復号化されるピクチャであってもよい。例えば独立復号器リフレッシュ（「ＩＤＲ」）ピクチャが含まれる異なるタイプのフレーム内ピクチャを許容するビデオコーデックもある。当業者は、Ｉピクチャの変体及びその相応的な応用、特徴を理解できる。
【0066】
予測性ピクチャ（Ｐピクチャ）であって、多くても１つの動きベクトル及び参照インデックスによって各ブロックのサンプル値を予測する場合、フレーム内予測またはフレーム間予測を利用して符号化及び復号化を行うピクチャであってもよい。
【0067】
双方向予測性ピクチャ（Ｂピクチャ）であって、多くても２つの動きベクトル及び参照インデックスによって、各ブロックのサンプル値を予測する場合、フレーム内予測またはフレーム間予測を利用して符号化及び復号化を行うピクチャであってもよい。類似するように、複数の予測性ピクチャは、２つより多い参照ピクチャと関するメタデータを、単一のブロックの再構築に使用できる。
【0068】
ソースピクチャは一般的に、空間で複数のサンプルブロック（例えば、４×４、８×８、４×８または１６×１６個のサンプルのブロック）に細分できるとともに、ブロックごとに符号化を行う。これらのブロックは、他の（符号化された）ブロックを参照し、予測性的に符号化を行って、他のブロックはブロックの相応的なピクチャに適用される符号化割当によって決定される。例えば、Ｉピクチャのブロックに対して非予測符号化を行うか、またはＩピクチャのブロックは、同一のピクチャの符号化されたブロックを参照して、予測性符号化（空間予測またはフレーム内予測）を行う。Ｐピクチャの画素ブロックは、前に符号化された１つの参照ピクチャを参照し、空間予測または時間予測を介して予測性的に符号化を行ってもよい。Ｂピクチャのブロックは、前に符号化された１つまたは２つの参照ピクチャを参照し、空間予測または時間予測を介して予測性的に符号化を行ってもよい。
【0069】
ビデオエンコーダ（６０３）は、例えばＩＴＵ-Ｔ Ｈ．２６６推奨書の所定のビデオ符号化技術又は基準に従って、符号化操作を実行することができる。ビデオエンコーダ（４０３）は、その操作中に、様々な圧縮動作を実行することができ、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用した予測符号化操作を含む。従って、符号化されたビデオデータは、使用のビデオ符号化技術又は基準によって指定された文法に合う。
【0070】
一実施例において、伝送器（６４０）は付加的なデータと符号化されたビデオとを伝送してもよい。ソースエンコーダ（６３０）はこのようなデータを、符号化されたビデオシーケンスの一部として含んでもよい。付加的なデータは、時間的/空間的/ＳＮＲ強化層、例えば冗長なピクチャ、スライスのような他の形の冗長データ、補助強化情報（ＳＥＩ）メッセージ、視覚的ユーザビリティ情報（ＶＵＩ）パラメータセットスニペットなどを含んでもよい。
【0071】
キャプチャされたビデオは、時間シーケンスを呈する複数のソースピクチャ（ビデオピクチャ）としてもよい。フレーム内ピクチャ予測（一般的にフレーム内予測に簡略化される）は特定のピクチャにおける空間の関連性を利用し、フレーム間ピクチャ予測はピクチャの間の（時間または他の）関連性を利用する。例示において、現在ピクチャと呼ばれる符号化／復号化における特定ピクチャは、ブロックに分割される。現在ピクチャにおけるブロックは、ビデオにおける前に符号化され且つ依然としてバッファリングされる参照ピクチャにおける参照ブロックに類似する場合、動きベクトルと呼ばれるベクトルによって、現在ピクチャにおけるブロックを符号化することができる。動きベクトルは参照ピクチャにおける参照ブロックを指し、複数の参照ピクチャを利用する場合、参照ピクチャを認識するための第３次元を有してもよい。
【0072】
いくつかの実施例において、双方向予測技術はフレーム間ピクチャ予測に用いられる。双方向予測技術に基づき、復号化順次でいずれもビデオにおける現在ピクチャの前（ただし、表示順次で、それぞれ過去と将来にあるかもしれない）にある、第１参照ピクチャと第２参照ピクチャのような２つの参照ピクチャを利用する。第１参照ピクチャにおける第１参照ブロックを指す第１動きベクトル、及び第２参照ピクチャにおける第２参照ブロックを指す第２動きベクトルによって現在ピクチャにおけるブロックを符号化することができる。第１参照ブロックと第２参照ブロックとの組み合わせで、ブロックを予測できる。
【0073】
また、合併モード技術は、フレーム間ピクチャ予測に適用して、符号化効率を向上させることができる。
【0074】
本開示内容のいくつかの実施例に基づき、ブロックごとにフレーム間ピクチャ予測及びフレーム内ピクチャ予測のような予測を実行する。例えば、ＨＥＶＣ基準に基づき、ビデオピクチャシーケンスにおけるピクチャは符号化ツリーブユニット（ＣＴＵ）に分割され、圧縮に用いられ、ピクチャにおけるＣＴＵは、例えば６４×６４画素、３２×３２画素または１６×１６画素のような同じサイズを有する。一般的に、ＣＴＵは、１つの輝度ＣＴＢと２つのクロミナンスＣＴＢとが含まれた３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵは再帰に、クワッドツリーで１つ又は複数の符号化ユニット（ＣＵ）に分割される。例えば、６４×６４画素であるＣＴＵを６４×６４画素である１つのＣＵ、または３２×３２画素である４つのＣＵ、或いは１６×１６画素である１６個のＣＵに分割する。例示において、各ＣＵを分析することで、フレーム間予測タイプまたはフレーム内予測タイプのような、ＣＵのための予測タイプを決定する。時間及び／または空間の予測可能性に依存し、ＣＵは１つ又は複数の予測ユニット（ＰＵ）に分割される。一般的に、各ＰＵは輝度予測ブロック（ＰＢ）と２つのクロミナンスＰＢとを含む。１つの実施例において、符号化（符号化／復号化）における予測操作は、予測ブロックごとに実行される。予測ブロックの例示として、輝度予測ブロックを利用し、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などのような画素値（例えば、輝度値）の行列を含む。
【0075】
図７は、本開示の他の実施例によるビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャシーケンスにおける現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信するように配置され、且つ、処理ブロックを、符号化されたビデオシーケンスの一部である符号化されたピクチャに符号化する。例において、ビデオエンコーダ（７０３）は図４に示す例におけるビデオエンコーダ（４０３）の代わりに使用される。
【0076】
ＨＥＶＣ例示において、ビデオ符号器（７０３）は、処理ブロック、例えば８×８サンプルの予測ブロックなどのサンプル値の行列を受信する。ビデオ符号器（７０３）は、例えばレート歪み最適化によって、フレーム内モード、フレーム間モードまたは双方向予測モードを利用して最適に処理ブロックを符号化するかということを決定する。フレーム内モードで処理ブロックを符号化しようとすると、ビデオ符号器（７０３）はフレーム内予測技術によって、処理ブロックを符号化ピクチャに符号化し、フレーム間モードまたは双方向予測モードで処理ブロックを符号化しようとすると、ビデオ符号器（７０３）はそれぞれフレーム間予測または双方向予測技術によって、処理ブロックを符号化ピクチャに符号化することができる。あるビデオ符号化技術において、合併モードはフレーム間ピクチャ予測サブモードであってもよく、予測値の外部にある符号化された動きベクトル成分を借りない場合、１つ又は複数の動きベクトル予測値から動きベクトルを導出する。ある他のビデオ符号化技術において、テーマブロックに適用される動きベクトル成分が存在し得る。例示において、ビデオ符号器（７０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）のような、他の部材を含む。
【0077】
図７に示す例において、ビデオエンコーダ（７０３）は図７に示すように、一体に接続されたフレーム間エンコーダ（７３０）、フレーム内エンコーダ（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）及びエントロピーエンコーダ（７２５）を含む。
【0078】
フレーム間エンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、当該ブロックと参照ピクチャにおける１つ又は複数の参照ブロック（例えば、前のピクチャ及び後のピクチャにおけるブロック）とを比較し、フレーム間予測情報（例えば、フレーム間符号化技術による冗長情報説明、動きベクトル、合併モード情報）を生成し、フレーム間予測情報に基づいて任意の適切な技術を使用してフレーム間予測結果（例えば、予測ブロック）を算出するように配置されている。
【0079】
フレーム内エンコーダ（７２２）は現在ブロック（例えば、処理ブロック）のサンプルを受信し、幾つかの場合に、当該ブロックと、同一のピクチャにおける既に符号化されたブロックとを比較し、変換後に量子化係数を生成し、幾つかの場合に、また（例えば、１つ又は複数のフレーム内符号化技術のフレーム内予測方向情報に応じて）フレーム内予測情報を生成するように配置されている。
【0080】
汎用コントローラ（７２１）は、汎用制御データを決定し、当該汎用制御データに基づいてビデオエンコーダ（７０３）の他の構成要素を制御するように配置されている。例において、汎用コントローラ（７２１）は、ブロックのモードを決定し、当該モードに基づいて制御信号をスイッチ（７２６）に提供する。例えば、モードがフレーム内モードである場合に、汎用コントローラ（７２１）はスイッチ（７２６）を制御して残差計算器（７２３）に使用されるフレーム内モード結果を選択し、エントロピーエンコーダ（７２５）を制御してフレーム内予測情報を選択しフレーム内予測情報をビットストリームに含ませ、モードがフレーム間モードである場合に、汎用コントローラ（７２１）はスイッチ（７２６）制御して残差計算器（７２３）に使用されるフレーム間予測結果を選択し、エントロピーエンコーダ（７２５）を制御してフレーム間予測情報を選択しフレーム間予測情報をビットストリームに含ませる。
【0081】
残差計算器（７２３）は、受信したブロックと、フレーム内エンコーダ（７２２）又はフレーム間エンコーダ（７３０）から選択した予測結果との差（残差データ）を算出するように配置されている。残差エンコーダ（７２４）は、残差データ操作に基づいて、残差データを符号化することで変換係数を生成するように配置されている。例において、残差エンコーダ（７２４）は、周波数領域における残差データを変換し、変換係数を生成するように配置されている。変換係数は、量子化処理されて、量子化された変換係数を取得する。
【0082】
エントロピーエンコーダ（７２５）は、ビットストリームをフォーマットすることで符号化されたブロックを含ませるように配置されている。エントロピーエンコーダ（７２５）は、例えばＨＥＶＣ規格のような適切な規格に従って様々な情報を含むように配置されている。例において、エントロピーエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、フレーム内予測情報又はフレーム間予測情報）、残差情報及びビットストリームにおける他の適切な情報を含むように配置されている。開示のテーマによれば、フレーム間モード又は双方向予測モードの合併サブモードでブロックを符号化する場合に残差情報がない。
【0083】
図８は、本開示の別の実施例によるビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、符号化されたビデオシーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号化して再構築されたピクチャを生成するように配置されている。例において、ビデオデコーダ（８１０）は、図４に示す例におけるビデオデコーダ（４１０）の代わりに使用される。
【0084】
図８に示す例において、ビデオデコーダ（８１０）は、図８に示すように、一体に接続されたエントロピーデコーダ（８７１）、フレーム間デコーダ（８８０）、残差デコーダ（８７３）、再構築モジュール（８７４）及びフレーム内デコーダ（８７２）を含む。
【0085】
エントロピーデコーダ（８７１）は、符号化されたピクチャに応じて、当該符号化されたピクチャを構成する文法要素を表すシンボルを再構築するように配置されてもよい。そのようなシンボルは、例えば、ブロックを符号化するためのモード（例えば、フレーム内モード、フレーム間モード、双方向予測モード、フレーム間モードと双方向予測モードとの合併サブモード又は別のサブモード）を含んでもよく、フレーム内デコーダ（８７２）又はフレーム間デコーダ（８８０）に使用されて予測を行うサンプル又はメタデータの予測情報（例えば、フレーム内予測情報又はフレーム間予測情報）、例えば量子化された変換係数の形式である残差情報などをそれぞれ認識してもよい。例において、予測モードがフレーム間又は双方向予測モードである場合に、フレーム間予測情報をフレーム間デコーダ（８８０）に提供し、予測タイプがフレーム内予測タイプである場合に、フレーム内予測情報をフレーム内デコーダ（８７２）に提供する。残差情報は逆量子化され、残差デコーダ（８７３）に提供されてもよい。
【0086】
フレーム間デコーダ（８８０）は、フレーム間予測情報を受信し、フレーム間予測情報に基づいてフレーム間予測結果を生成するように配置されている。
【0087】
フレーム内デコーダ（８７２）はフレーム内予測情報を受信し、フレーム内予測情報に基づいて予測結果を生成するように配置されている。
【0088】
残差デコーダ（８７３）は、逆量子化を実行して逆量子化変換係数を抽出し、逆量子化変換係数を処理して残差を周波数領域から空間領域に変換するように配置されている。残差デコーダ（８７３）は、幾つかの制御情報（量子化パラメータＱＰを含むため）を必要とする可能性があり、情報はエントロピーデコーダ（８７１）から提供されてもよい（これは少ない制御情報であるから、データ経路を図示せず）。
【0089】
再構築モジュール（８７４）は空間領域において、残差デコーダ（８７３）から出力される残差と予測結果を組み合わせて（場合によってフレーム間予測モジュール又はフレーム内予測モジュールにより出力される）再構築されたブロックを生成するように配置され、再構築されたブロックは再構築されたピクチャの一部であってもよく、再構築されたピクチャは、再構築されたビデオの一部であってもよい。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行できることに留意されたい。
【0090】
任意の適切な技術を使用してビデオエンコーダ（４０３）、（６０３）及び（７０３）及びビデオデコーダ（４１０）、（５１０）及び（８１０）を実現できることに留意されたい。一実施例において、１つ又は複数の集積回路を使用してビデオエンコーダ（４０３）、（６０３）及び（７０３）及びビデオデコーダ（４１０）、（５１０）及び（８１０）を実現してもよい。別の実施例において、ソフトウェア命令を実行する１つ又は複数のプロセッサーを使用してビデオエンコーダ（４０３）、（６０３）と（６０３）及びビデオデコーダ（４１０）、（５１０）と（８１０）を実現してもよい。
【0091】
以下、開示のテーマによるフレーム内予測方法（フレーム内予測とも呼ばれる）の様々な実施例を説明する。
【0092】
幾つかのビデオ圧縮技術では、所定のピクチャの複数のサンプルに対してフレーム内予測を行い、当該複数のサンプルは、以降で「ユニット」又はブロックと呼ばれる。ユニットにおける複数のサンプルについて、当該ユニットは任意の形状を有することができる。当該ユニットは、連続的又は非連続的である。幾つかのビデオ圧縮技術で、ユニットの形状がサンプルの矩形ブロックに制限される。矩形ブロックの次元は正の整数であってもよい。
【0093】
幾つかのビデオ圧縮技術は、矩形ブロックの各次元例えばＸ次元及びＹ次元でのサイズを２の累乗（例えば、４つのサンプル、八つのサンプル、１６のサンプル…）に制限する。
【0094】
幾つかのビデオ圧縮技術は、矩形ブロックの形状を正方形に制限し、即ち、矩形ブロックのＸ次元及びＹ次元でのサイズが等しい。幾つかの例において、当該サイズは２の累乗であってもなくてもよい。
【0095】
本開示をさらに説明する前に、「利用可能」及び「利用可能性」という用語を以下に紹介する。サンプルのユニットを考慮する。サンプルは正方形、矩形又はその他の任意の適切な形状に配置されてもよい。他の要因を除き、ピクチャにおけるユニットの空間位置、スライス、タイルなどに分割されるビットストリームを含む符号化されたビットストリーム構造、ある予測サンプル又は他の予測エンティティ（例えば、周りのユニットの予測方向）のメタデータは、サンプルの予測又はユニットの他の予測エンティティの予測にとって「利用可能」であり得るか「利用可能」でない。幾つかのビデオ符号化技術では、ユニットの復号化順序がスキャン順序に従い、即ち、左から右、上から下であり、従って、復号化順序で再構築中のユニットの後のユニットからの潜在的な参照情報及びサンプルは自然に利用不可である。したがって、再構築中のユニットの右側又は下にある予測データは利用不可である。
【0096】
幾つかの例において、ある予測サンプルが復号化順序で再構築中のユニットに先行するユニットに含まれ且つ当該再構築中のユニットの左側又は上にあっても、前記ある予測サンプル及び他の予測エンティティは利用不可であり得る。例えば、再構築中のユニットが、例えば、スライス又は（独立した）タイルのピクチャ又は図スニペットの境界にある場合、サンプル又は予測エンティティは利用不可であり得る。様々な例において、予測の目的で、スライス及びタイルの境界をピクチャ境界と見なす。同様に、予測エンティティの生成又は使用を許容しないモードで参照ユニットを符号化する場合に、予測サンプルが利用可能であっても、予測サンプル以外の予測エンティティも利用不可であり得る。例えば、スキップモードで符号化される予測ユニットは当該予測ユニットに関連する予測方向を有しない。
【0097】
予測サンプル又は予測エンティティが利用不可である場合に、少なくとも幾つかの場合において、当該予測サンプルの隣接サンプに応じて当該予測サンプル又は予測エンティティの値を予測することができる。予測サンプル/予測エンティティが予測される場合に、予測方法的正確性は、例えば次善であり得る。ただし、エンコーダが予測サンプル値と、予測サンプル値をどのように生成するかとの両方を含む状態情報に基づいて予測モードを選択する場合に（利用不可のために予測されたサンプルからの予測を含む）、少なくとも幾つかの場合に、エンコーダは、フレーム内予測に依存しないモードを使用できる。幾つかの例において、レート歪み最適化技術を使用して適切なモードを選択してもよい。
【0098】
予測されたサンプルと利用可能な隣接予測サンプルの両方は、例えば輝度サンプル、クロマサンプル、所定の色平面に属するサンプルなどであってもよい。例えば、ビデオデコーダを使用する一部のビデオ処理システムでは、ビデオは、ＹＣｒＣｂ ４：２：０サンプリング構造でサンプリングされ、なお、クロマサンプルＣｒとＣｂは相応するクロマティシティ平面でサブサンプリングされて処理されるため、フレーム内予測はＹ、Ｃｒ及びＣｂ色平面における各色平面で個別に発生する。幾つかの場合に、エンコーダにおいてＹ平面に基づいてフレーム内予測の制御を生成してもよく、Ｙ平面に関連して符号化されたビデオビットストリームにおいて当該フレーム内予測の制御がシグナリングされ、そして、デコーダにおいてそれぞれ当該フレーム内予測の制御をＹ平面及びＣｒ/Ｃｂ平面に適用する。別の例において、サンプルは、ＲＧＢ色空間のピクチャの緑サンプルを使用して、相応するＲ色平面及びＢ色平面で赤いサンプルと青いサンプルを処理する。他のシナリオにおいて、エンコーダとデコーダとの両方は、他の色平面と独立した１つ又は複数の色平面に対してフレーム内予測を実行する。他の適切なサンプリング構成、色空間などがフレーム内予測に使用されてもよい。
【0099】
図９を参照して、一実施例において、再構築中のユニット（以下「ブロック」と呼ばれる）（９０１）は非正方形形状ではないが矩形形状を有し、再構築中のブロック（９０１）は非正方形ブロック（９０１）と呼ぶことができる。例において、ブロック（９０１）は、符号化されたピクチャにおけるサンプルＳ１１-Ｓ１４及びＳ２１-Ｓ２４を含む。例において、フレーム内予測に基づいてブロック（９０１）の同一の符号化ピクチャにおける予測サンプル、例えば予測サンプルＲ０１-Ｒ０９及びＲ１０-Ｒ７０を使用して、ブロック（９０１）におけるサンプルを予測してもよい。本開示で予測方向とも呼ばれるフレーム内予測方向に沿って、ブロック（９０１）におけるサンプルのフレーム内予測を実行してもよい。
【0100】
幾つかの実施例において、例えば、図９に示すように、非正方形ブロック（９０１）の幅は左から右であり、非正方形ブロック（９０１）の高さは上から下である。同様に、第１方向（９１５）は左から右を指し、第２方向（９２５）は上から下を指す。第１方向（９１５）と第２方向（９２５）は４つの象限、即ち、左下象限Ｉ、左上象限ＩＩ、右上象限ＩＩＩ、及び右下象限ＩＶを形成する。対角線方向（９２８）は右上から左下を指し、左下の象限Ｉと右上の象限ＩＩＩをそれぞれ等分する。
【0101】
通常、正方形ブロックに対して、ビデオ圧縮技術のフレーム内予測方向を最適化することができる。図９を参照して、正方形ブロックの第２セットのフレーム内予測方向（９２０）は、フレーム内予測方向（９０２-９１２）を含む。正方形ブロックの第２セットのフレーム内予測方向（９２０）は第２角度範囲（９２４）をカバーする。幾つかの実施例において、第２角度範囲（９２４）は、第１方向（９１５）から時計回り（ＣＷ）１３５°に第１方向（９１５）から反時計回り（ＣＣＷ）４５°まで広がり、したがって１８０°の角度範囲をカバーする。図９を参照し、第２角度範囲（９２４）と呼ばれる第１端の予測方向９０２は第１方向（９１５）から時計回りに１３５°である。予測方向９０２は対角線方向（９２８）に平行である。第２角度範囲（９２４）の第２端と呼ばれる予測方向９１２は第１方向（９１５）から反時計回りに４５°である。様々な実施例において、第２セット（９２０）は、図９に示されていない他の予測方向を含むことができる。通常、第２セットのフレーム内予測方向（９２０）は、例えば、第１端（９０２）と第２端（９１２）との間の任意の適切なフレーム内予測方向を含んでもよい。例えば、ＨＥＶＣでは、６５のフレーム内予測方向を使用する。
【0102】
正方形ブロックに役立つ可能性があるフレーム内予測方向は、例えば、ブロック（９０１）のような非正方形ブロックにあまり役立たない可能性があり、ブロック（９０１）のあるサンプルは、あるフレーム内予測方向に使用する予測サンプルとの空間関連性が低いためである。例えば、フレーム内予測方向（９０２）をフレーム内予測に使用する場合に、例えば、ブロック（９０１）におけるサンプルＳ１１及びＳ２１はブロック（９０１）の直接隣接である各参照サンプルＲ２０とＲ３０に応じて予測されてもよい。直接隣接ではなく相対的に（空間的に）ブロック（９０１）から遠い参照サンプルに応じてブロック（９０１）のあるサンプルを予測する。例えば、サンプルＳ２４は、空間的から遠い参照サンプルＲ６０に応じて予測される。様々な実施例において、フレーム内予測は、参照サンプルと予測しようとするサンプルとの間の密接な空間関係でうまく機能し、例えば、予測しようとするサンプルは空間的に参照サンプルに近い。したがって、様々な実施形態では、非正方形ブロック（９０１）について、レート歪み最適化エンコーダは、例えばフレーム内予測方向（９０２）のフレーム内予測方向を選択しない可能性がある。
【0103】
幾つかの実施例において、フレーム内予測方向は、フレーム内予測モード（予測モードとも呼ばれる）にマッピングされ、フレーム内予測モードはまた、コードワードにマッピングされてもよい。以上のように、統計的に、あるフレーム内予測方向は他のフレーム内予測方向よりも使用される可能性が高い。当該あるフレーム内予測方向は第１コードワードにマッピングされ、他のフレーム内予測方向は、第２コードワードにマッピングされてもよい。従って、第１コードワードは、第２コードワードよりも少ないビット数を使用することができ、したがって、第２コードワードよりも短い。幾つかの例において、第１コードワードにマッピングされるフレーム内予測方向/モードは「ショート」モードと呼ばれる。「ショート」モードは、レート歪み最適化エンコーダによって選択される可能性が高いモードであり得る。例えば、正方形ブロックについて、フレーム内予測方向（９０２）はショートモードに対応することができる。
【0104】
正方形ブロックに対して設計及び最適化されたフレーム内予測方向からフレーム内予測モードへの同じマッピングを使用する場合、例えば、フレーム内予測方向（９０２）の非正方形ブロック（９０１）に用いられるフレーム内予測方向にとって、正方形ブロックに用いられるフレーム内予測方向の価値のある「ショート」モードは無駄になる可能性がある。上述のように、フレーム内予測モードと可変長コードワードの間に直接マッピングがある場合、「ショート」モードは、短い可変長コードワードによって表すことができる。
【0105】
同じ又は別の実施例では、正方形ブロックに用いられる第２セットのフレーム内予測方向（９２０）の第２角度範囲（９２４）の端に、例えば第１端（９０２）に位置するあるフレーム内予測方向は、レート歪み最適化エンコーダによって非正方形ブロック（９０１）に対して選択される可能性が低く、非正方形ブロック（９０１）におけるあるサンプルと、前記端に位置するあるフレーム内予測方向に基づいて使用される対応する参照サンプルとの間に低い空間関連性を有するためである。従って、非正方形ブロック（９０１）の第１セットのフレーム内予測方向で前記あるフレーム内予測方向を使用しない。例えば、あるブロック形状、例えば非正方形ブロック（９０１）について（以下の説明も参照する）、第１端（９０２）と、第１端（９０２）から２２．５°ＣＷであるフレーム内予測方向（９０４）との間の予測方向は第２角度範囲（９２４）のサブ範囲（９２２）を形成でき、且つ、当該サブ範囲（９２２）は、非正方形ブロック（９０１）の第１セットのフレーム内予測方向で使用されないフレーム内予測方向を含む。サブ範囲（９２２）は削除のサブ範囲（９２２）とも呼ばれる。一例において、サブ範囲（９２２）はフレーム内予測方向（９０４）を含まず、第１端（９０２）及び第１端（９０２）とフレーム内予測方向（９０４）との間の第２セット（９２０）における任意のフレーム内予測方向、例えばフレーム内予測方向（９０３）を含む。図９を参照し、非正方形ブロック（９０１）の第１セットのフレーム内予測方向は２つの端、即ちフレーム内予測方向（９０４と９１２）を有する第１角度範囲（９２６）をカバーする。
【0106】
同じ又は別の実施例では、非正方形ブロック（９０１）の第１セットのフレーム内予測方向で使用されないフレーム内予測方向を含むサブ範囲（９２２）は非正方形ブロック（９０１）のの空間特性に依存し得る。同じ又は別の実施例では、ブロック（９０１）の空間特性はブロック（９０１）の形状を含んでもよい。幾つかの例において、ブロック（９０１）の形状は、ブロック（９０１）のＸ次元及びＹ次元でのサイズの関係、ブロック（９０１）のＸ次元でのサイズ、即ち、Ｘ次元での第１サイズ、左から右への幅、及びブロック（９０１）のＹ次元でのサイズ、即ちＹ次元での第２サイズ、上から下への高さであってもよい。例として、同じ又は別の実施形態では、図９に示すように、Ｘ次元での第１サイズとＹ次元での第２サイズとのアスペクト比が２：１であるブロック（９０１）について、サブ範囲（９２２）は左下の象限Ｉにおけるフレーム内予測方向（９０２）（第１方向（９１５）から１３５°ＣＷであり）とフレーム内予測方向（９０４）（フレーム内予測方向（９０２）から２２．５°ＣＷである）との間にあってもよい。
【0107】
アスペクト比が１よりも大きいと、サブ範囲（９２２）は第２セット（９２０）の第１端（９０２）を含み、且つ左下の象限Ｉに位置してもよい。１よりも大きいアスペクト比が増加すると、サブ範囲（９２２）は大きくなり得るので、第２セット（９２０）のより多くのフレーム内予測方向を含む。
【0108】
一般的に、対角線方向（９２８）に沿った対称性に基づいてサブ範囲を決定し、当該サブ範囲は、非正方形ブロックの第１セットのフレーム内予測方向で使用されない正方形ブロックの第２セットにおけるフレーム内予測方向を含む。
【0109】
幾つかの実施例において、再構築中の非正方形ブロックのアスペクト比が１未満であると、第２セット（９２０）におけるサブ範囲は第２セット（９２０）の第２端（９１２）を含み、且つ、右上の象限ＩＩＩに位置する。第２セット（９２０）における当該サブ範囲は非正方形ブロックの第１セットのフレーム内予測方向に含まれないことに留意されたい。同じ又は別の実施例では、Ｘ次元での第１サイズとＹ次元での第２サイズとのアスペクト比が１：２である非正方形ブロックについて、サブ範囲は、右上の象限ＩＩＩにおける第２端（９１２）とフレーム内予測方向（９１１）との間にあってもよい。様々な実施例において、当該サブ範囲は第２端（９１２）を含む。第２端（９１２）は対角線方向９２８と反対であり、且つフレーム内予測方向（９１１）は第２端（９１２）から２２．５°ＣＣＷである。１未満であるアスペクト比が減少すると、当該サブ範囲は大きくなり得るので、第２セット（９２０）におけるより多くのフレーム内予測方向を含んでもよい。
【0110】
図１０を参照し、１×４サンプルの非正方形ブロック又はブロック（１００１）を示し、当該１×４サンプルは、１：４のアスペクト比を有するブロックサイズを示す。同様に、正方形ブロックの第２セットのフレーム内予測方向（９２０）は、フレーム内予測方向（９０２-９１２）を含み、図１０の右下に示すようである。各例において、正方形ブロックの第２セットのフレーム内予測方向（９２０）及び第２角度範囲（９２４）は図９に示した第２セットのフレーム内予測方向及び第２角度範囲と同じであるので、明確にするために詳細な説明は省略される。四つの象限Ｉ-ＩＶも図９の四つの象限と同じであるので、明確にするために詳細な説明は省略される。
【0111】
様々な実施例において、第１セットのフレーム内予測方向は非正方形ブロック（１００１）に用いられてもよく、当該第１セットは第２角度範囲（９２４）のサブ範囲（１０２２）におけるフレーム内予測方向を含まない。図１０に示すように、サブ範囲（１０２２）は第２端（９１２）とフレーム内予測方向（９１０）との間にあってもよい。第２端（９１２）は対角線方向９２８と逆である、又は、第１方向（９１５）から４５°ＣＣＷであり、フレーム内予測方向（９１０）は第２方向（９２５）と反対のフレーム内予測方向（９０９）から１１．２５°ＣＷである。様々な例において、サブ範囲（１０２２）は第２端（９１２）を含み、且つフレーム内予測方向（９１０）を含まない。図１０を参照し、前記第１セットは第１角度範囲（１０２６）をカバーする。例において、第１角度範囲（１０２６）は第２セット（９２０）の第１端（９０２）、フレーム内予測方向（９１０）、及び第１端（９０２）とフレーム内予測方向（９１０）との間の前記第２セット（９２０）の他のフレーム内予測方向を含む。
【0112】
他のブロック形状及び/又は他のアスペクト比の非正方形ブロックに用いられる他の適切なサブ範囲は、前記非正方形ブロックの第１セットに使用されない正方形ブロックの第２セット（９２０）における１つ又は複数のフレーム内予測方向を含んでもよい。
【0113】
同じ又は別の実施例では、削除のサブ範囲の一部であるフレーム内予測方向に対応する正方形ブロックのフレーム内予測モードは非正方形ブロックに使用されない。例として、図９において、サブ範囲（９２２）の一部であるフレーム内予測方向（９０３）に関連するフレーム内予測モードは非正方形ブロック（９０１）に使用されない。幾つかの実施例において、モードのテーブルは、フレーム内予測方向と、ブロックの対応するフレーム内予測モードとを関連付ける。それに応じて非正方形ブロック（９０１）のモードのテーブルを短くすることができ、フレーム内予測モードに用いられる数が少なくなるため、最適化されたエントロピー符号化とより良い符号化効率を可能にする。同じ又は別の実施例では、モードのテーブルに依然として表されているフレーム内予測方向の可能性に従ってモードのテーブルを新たにソートすることができる。
【0114】
同じ又は別の実施例では、削除のサブ範囲におけるフレーム内予測方向が非正方形ブロックに用いられないと、関連するフレーム内予測モードを新たに割り当て他の目的に使用してもよく、例えば以前に未使用の方向、予測方向に直接関連しないモード、参照サンプル又はフレーム内予測のサンプルに関連するフィルタのフィルタ制御などをシグナリングすることを含む。
【0115】
同じ又は別の実施例では、追加のフレーム内予測方向と呼ばれるあるフレーム内予測方向を非正方形ブロックに用いられる第１セットのフレーム内予測方向に追加する。追加のフレーム内予測方向の数は上記の削除のサブ範囲におけるフレーム内予測方向（削除のフレーム内予測方向と呼ばれる）の数と同じであり得る。追加のフレーム内予測方向は追加のサブ範囲と呼ばれるサブ範囲を含んでもよい。追加のサブ範囲は非正方形ブロックの第１セットのフレーム内予測方向によってカバーされる第１角度範囲に含まれる。以下のように、追加のサブ範囲は、削除のサブ範囲と同じ幾何学構造を有してもよい。
【0116】
図１１は、再構築中の４×２ブロックの非正方形ブロック（１１０１）を示し、図９に示された非正方形ブロック（９０１）のアスペクト比と同じアスペクト比を有する。また、正方形ブロックの第２セットのフレーム内予測方向（９２０）を示す。各例において、正方形ブロックの第２セットのフレーム内予測方向（９２０）及び第２角度範囲（９２４）は図９に示された第２セットのフレーム内予測方向及び第２角度範囲と同じであるので、明確にするために詳細な説明は省略される。正方形ブロックのフレーム内予測方向９０２-９１２を示したが、明確にするために、図１１にフレーム内予測方向９０２-９０４、９１１-９１２のみが示されている。四つの象限Ｉ-ＩＶは図９における四つの象限と同じであるため、明確にするために詳細な説明は省略される。
【0117】
同様に、削除のサブ範囲又はサブ範囲（９２２）におけるフレーム内予測方向は非正方形ブロック（１１０１）の第１セットのフレーム内予測方向に含まれない。サブ範囲（９２２）は図９に示されたサブ範囲と同じであり、従って、明確にするために詳細な説明は省略される。破線を使用してサブ範囲（９２２）における２つのフレーム内予測方向（９０２、９０３）を描く。この例において、再び、正方形ブロックのフレーム内予測方向（９０２、９０３）を表すフレーム内予測モードを使用して、追加のサブ範囲（１１０８）における２つの追加のフレーム内予測方向（１１０６、１１０７）を表すことができる。したがって、非正方形ブロック（１１０１）の第１セットのフレーム内予測方向は、第１端（９０４）と第２端（１１０７）を有する第１角度範囲（１１２６）をカバーする。第１端又はフレーム内予測方向（９０４）は対角線方向（９２８）から２２．５°ＣＷであり、第２端（１１０７）は対角線方向（９２８）と反対のフレーム内予測方向（９１２）から２２．５°ＣＷである。第１角度範囲（１１２６）は追加のサブ範囲（１１０８）を含み、且つ削除のサブ範囲（９２２）を含まない。例えば、図１１に示す幾つかの例において、削除のサブ範囲（９２２）はフレーム内予測方向（９０２）とフレーム内予測方向（９０４）との間のフレーム内予測方向を含む。また、削除のサブ範囲（９２２）は、フレーム内予測方向（９０２）を含み、且つフレーム内予測方向（９０４）を含まない。一方、追加のサブ範囲（１１０８）は第２セット（９２０）の第２端（９１２）と追加のフレーム内予測方向（１１０７）との間のフレーム内予測方向を含む。また、追加のサブ範囲（１１０８）は追加のフレーム内予測方向（１１０７）を含み、且つ第２端（９１２）を含まない。
【0118】
例えば、図１１に示される幾つかの例では、削除のサブ範囲（９２２）及び追加のサブ範囲（１１０８）は、対角線方向（９２８）に対して対称である。上記のように、削除のサブ範囲（９２２）は対角線方向（９２８）から２２．５°ＣＷの角度範囲をカバーし、追加のサブ範囲（１１０８）は対角線方向（９２８）の反対方向から２２．５°ＣＷの角度範囲をカバーする。
【0119】
追加のフレーム内予測方向は、図１１に示す非正方形ブロック（１１０１）に適用されると有益である。例えば、追加のフレーム内予測方向（１１０７）を考慮する。フレーム内予測方向（１１０７）を使用して、参照サンプルＲ０３に応じて非正方形ブロック（１１０１）におけるサンプルＳ１１を予測し、非正方形ブロック（１１０１）の直接隣接Ｒ０５と隣接する参照サンプルＲ０６に応じてサンプルＳ１４を予測してもよい。従って、追加のフレーム内予測方向（１１０７）でブロック（１１０１）に含まれるサンプルを予測し、削除のサブ範囲（９２２）におけるフレーム内予測方向を使用する場合と比べて、ブロック（１１０１）におけるサンプルを予測するための参照サンプルは、ブロック（１１０１）におけるサンプルに比較的近い。
【0120】
正方形ブロックのフレーム内予測モードの数と比較して、非正方形ブロック（１１０１）のフレーム内予測モードの数を増加することなく増加のサブ範囲取得の利点を得る。幾つかの実施例において、削除のサブ範囲（９２２）におけるフレーム内予測方向の数は、追加のサブ範囲（１１０８）におけるフレーム内予測方向の数と同じであるので、非正方形ブロック（１１０１）の第１セットにおけるフレーム内予測方向の数は正方形ブロックの第２セット（９２０）におけるフレーム内予測方向の数と同じである。幾つかの例において、以上のように、正方形ブロックの削除のサブ範囲（９２２）におけるフレーム内予測方向に割り当てられるフレーム内予測モードは、非正方形ブロックの追加のサブ範囲（１１０８）におけるフレーム内予測方向に新たに割り当てられるので、非正方形ブロック（１１０１）の第１セットに用いられるフレーム内予測モードの数は、正方形ブロックの第２セット（９２０）に用いられるフレーム内予測モードの数に等しい。
【0121】
幾つかの例において、追加のサブ範囲におけるフレーム内予測方向の数は削除のサブ範囲におけるフレーム内予測方向の数よりも小さい場合に、非正方形ブロック（１１０１）の第１セットにおけるフレーム内予測方向の数は正方形ブロックの第２セット（９２０）におけるフレーム内予測方向の数よりも小さくてもよい。例えば、図９に示す幾つかの他の例において、第１セットが追加のサブ範囲を含まないと、第１セットにおけるフレーム内予測方向の数は、第２セットにおけるフレーム内予測方向の数よりも小さくてもよい。従って、非正方形ブロック（１１０１）のフレーム内予測モードの数は正方形ブロックのフレーム内予測モードの数よりも小さい。
【0122】
幾つかの例において、フレーム内予測方向（１１０６）又は（１１０７）を使用して非正方形ブロック（１１０１）の２行目におけるサンプル（Ｓ２１-Ｓ２４）を予測するために、好ましくは補間/フィルタリング技術を利用して１つよりも多い参照サンプルに応じてサンプル（Ｓ２１-Ｓ２４）を予測するか、又はエイリアシングアーティファクトを回避することができる。このような補間/フィルタリング技術には、あるフレーム内予測方向に対して指定する技術を含み、前記あるフレーム内予測方向は、例えば、対角線方向（９２８）から４５°の倍数の方向ではなく、例えば、Ｈ．２６５で指定される。例えば、追加のフレーム内予測方向（１１０６と１１０７）は、対角線方向（９２８）の反対方向から１１．２５°ＣＷと２２．５°ＣＷであるため、対角線方向（９２８）から４５°の倍数ではない。一方、フレーム内予測方向９０７は、対角線方向（９２８）から９０°ＣＷであるため、対角線方向（９２８）から４５°の倍数（２倍）となる。
【0123】
以上で削除のフレーム内予測方向を削除するコンテキストで説明した対称性の考慮は、追加のフレーム内予測方向を追加する場合にも同様に適用できる。同様に、削除のサブ範囲のサイズがブロックサイズに依存することと類似するように、追加のサブ範囲のサイズは、ブロック（１１０１）のブロック形状に依存できる。以上で図９を参照して説明したように、１よりも大きい非正方形ブロック（９０１）のアスペクト比が増加すると、サブ範囲（９２２）が大きくなり、したがって、第２セット（９２０）はより多くのフレーム内予測方向を含む。
【0124】
図１２は、本開示の実施例による処理（１２００）を概説するフローチャートである。処理（１２００）は、フレーム内予測に使用されて、再構築中の非正方形ブロックの予測ブロックを生成する。様々な実施例において、処理（１２００）は、例えば、端末装置（３１０、３２０、３３０及び３４０）における処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路、フレーム内予測モジュール（５５２）の機能を実行する処理回路、ビデオエンコーダ（６０３）の機能を実行する処理回路、予測器（６３５）の機能を実行する処理回路、デコーダ（６３３）の機能を実行する処理回路、フレーム内エンコーダ（７２２）の機能を実行する処理回路、フレーム内デコーダ（８７２）の機能を実行する処理回路などによって実行される。処理は（Ｓ１２０１）から開始し、（Ｓ１２１０）に進む。
【0125】
（Ｓ１２１０）において、再構築中の非正方形ブロックのブロックサイズを取得する。例えば、符号化されたビデオビットストリームからの少なくとも１つの文法要素を復号化する。当該少なくとも１つの文法要素は、非正方形ブロックのブロックサイズを指示する。ブロックサイズは、第１次元での第１サイズ、例えば非正方形ブロックの幅、及び第２次元での第２サイズ、例えば非正方形ブロックの高さを含み、そして、第１サイズは第２サイズと異なる。幾つかの例において、例えば、再構築中のピクチャ内の非正方形ブロックの位置の付加的な情報を取得する。
【0126】
（Ｓ１２２０）において、処理回路は、非正方形ブロックのフレーム内予測モードを決定する。様々な実施例において、フレーム内予測モードは非正方形ブロックの第１セットのフレーム内予測方向におけるフレーム内予測方向に対応する。以上のように、図９ないし図１１を参照して説明したように、第１セットのフレーム内予測方向は、正方形ブロックの第２セットのフレーム内予測方向における１つ又は複数のフレーム内予測方向を含まない。
【0127】
（Ｓ１２３０）において、処理回路は、フレーム内予測モードに基づいて前記非正方形ブロックにおけるサンプルの参照サンプルを選択する。図１１を参照し、幾つかの例において、非正方形ブロックはブロック（９０１）であり、且つ、フレーム内予測モードはフレーム内予測方向（９１２）を示す。例えば、フレーム内予測方向（９１２）を使用してサンプルＳ２１を予測するために、処理回路は参照サンプルがＲ０３であると決定する。
【0128】
（Ｓ１２４０）において、上記のように、処理回路は、当該参照サンプルの利用可否を決定する。参照サンプルが利用可能である場合に、処理（１２００）は（Ｓ１２６０）に進む。参照サンプルが利用不可である場合に、処理（１２００）は（Ｓ１２５０）に進む。
【0129】
（Ｓ１２５０）において、以上のように、処理回路は、例えば、参照サンプルの隣接サンプルを使用して参照サンプルの値を決定する。例えば、参照サンプルＲ０３が利用不可である場合に、例えば、Ｒ０２などの他のサンプルを使用して参照サンプルＲ０３の値を決定してもよい。次に、処理（１２００）は（Ｓ１２６０）に進む。
【0130】
（Ｓ１２６０）において、処理回路は、参照サンプルに基づいて非正方形ブロックにおけるサンプルを予測する。幾つかの実施例において、参照サンプルＲ０３の値に基づいてサンプルＳ２１の値を取得する。例えば、サンプルＳ２１の値は参照サンプルＲ０３の値に等しい。幾つかの例において、フレーム内予測モードが例えばフレーム内予測方向（９１１）を示す場合、補間、フィルタリングなどを使用して１つよりも多い参照サンプルに基づいてサンプルＳ２１の値を決定してもよい。次に、処理は（Ｓ１２９９）に進み、終了する。
【0131】
処理（１２００）は適切に調整されてもよい。例えば、（Ｓ１２３０）で、フレーム内予測モードが例えばフレーム内予測方向（９１０）を示す場合に、処理回路は、フレーム内予測モードに基づいて非正方形ブロック内のサンプルの１つよりも多い参照サンプルを選択してもよい。
【0132】
前記技術はコンピュータ読み取り可能な命令によってコンピュータソフトウェアとして実現され、物理的に１つ又は複数のコンピュータ読み取り可能な媒体に記憶されてもよい。例えば、図１３は開示のテーマのいくつかの実施例を実現するためのコンピュータシステム（１３００）を示す。
【0133】
コンピュータソフトウェアは任意の適切なマシンコードまたはコンピュータ言語によって符号化を行って、マシンコードまたはコンピュータ言語は編集、コンパイル、リンクなどのメカニズムを介して命令が含まれるコードを構築し、該命令は１つ又は複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、または解釈、マイクロコード実行などによって実行される。
【0134】
当該命令は各種タイプのコンピュータ又はその部材で実行でき、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む。
【0135】
図１３に示すコンピュータシステム（１３００）の部材は、本開示内容を実現するための実施例のコンピュータソフトウェアの使用範囲または機能に対して限定せず、本質に例示的である。部材の配置も、コンピュータシステム（１３００）の例示性の実施例で示した部材におけるいずれかの部材、またはその組み合わせに関する依存性または要求を有するように解釈されるべきではない。
【0136】
コンピュータシステム（１３００）はいくつかのヒューマンマシンインターフェイス入力機器を含んでもよい。このようなヒューマンマシンインターフェイス入力機器は、１つ又はの人類ユーザーの、例えば触覚入力（例えば：キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば：音声、たたき）、視覚入力（例えば：姿勢）、嗅覚入力（図示せず）による入力に応答できる。マンマシンインタフェース機器はさらに、必ずしも人類の意識的な入力に直接的に関していない、ある媒体例えば、オーディオ（例えば：音声、音楽、環境音）、画像（例えば：スキャン画像、静態画像撮影装置から取得された写真画像）、ビデオ（例えば２次元ビデオ、立体ビデオが含まれる３次元ビデオ）をキャプチャできる。
【0137】
入力マンマシンインタフェース機器は、キーボード（１３０１）、マウス（１３０２）、タッチパッド（１３０３）、タッチパネル（１３１０）、データグローブ（図示せず）、ジョイスティック（１３０５）、マイク（１３０６）、スキャナ（１３０７）、撮影装置（１３０８）のうちの１つ又は複数を有してもよい（記載の各々のうちの１つのみ）。
【0138】
コンピュータシステム（１３００）はさらにマンマシンインタフェース出力機器を有してもよい。このようなマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味を介して１つ又は複数の人類ユーザーの感覚を刺激できる。このようなマンマシンインタフェース出力機器は触覚出力機器（例えば、タッチパネル（１３１０）、データグローブ（図示せず）またはジョイスティック（１３０５）による触覚フィードバック、但し入力機器として用いられない触覚フィードバック機器も存在する）、オーディオ出力機器（例えば、スピーカー（１３０９）、ヘッドフォン（図示せず））、視覚出力機器（例えば、スクリーン（１３１０）、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、各スクリーンはタッチパネル入力能力、触覚フィードバック能力を有してもよく、有してなくてもよく、そのうちのいくつかは、立体画像出力のような手段で、２次元の視覚を出力または３次元以上の出力を行い、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）がある）、プリンター（図示せず）を含む。
【0139】
コンピュータシステム（１３００）はさらに人類がアクセスし得る記憶機器及びその関連する媒体を有してもよく、例えば、ＣＤ／ＤＶＤなどの媒体（１３２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１３２０）を含む光学媒体、サムドライブ（１３２２）、取り外し可能なハードドライブまたはソリッドステートドライブ（１３２３）、磁気テープとフロッピーディスク（図示せず）のような伝統の磁気媒体、専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づく機器、例えばドングル（図示せず）などを含む。
【0140】
当業者は、現在開示のテーマを結合して、使用される用語「コンピュータ読み取り可能な媒体」には伝送媒体、搬送波または他の瞬間信号が含まれないことを理解できる。
【0141】
コンピュータシステム（１３００）は、さらに１つ又は複数の通信ネットワークのインタフェースを有してもよい。ネットワークは、例えば無線、有線、光学であってもよい。ネットワークはさらに、ロカール、広域、都市用、車両用、工業用、リアルタイム、遅延耐性ネットワークなどであってもよい。ネットワークの例示はイーサネットのようなローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどが含まれたセルラーネットワーク、有線テレビ、衛星テレビ及び地上波テレビが含まれるテレビ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓが含まれる車両及び工業ネットワークなどを含む。あるネットワークは一般的に、ある汎用データポートまたは周辺バス（１３４９）（例えば、コンピュータシステム（１３００）のＵＳＢポート）に連結される外部ネットワークインタフェースアダプタを必要とし、他のネットワークは一般的に、以下に記載のシステムバス（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）に連結されることで、コンピュータシステム（１３００）のコアに集積される。これらのネットワークのうちのいずれかのネットワークを介して、コンピュータシステム（１３００）は他のエンティティと通信できる。このような通信は一方向で受信だけ（例えば、放送テレビ）、一方向で送信だけ（例えば、あるＣＡＮｂｕｓ機器へのＣＡＮｂｕｓ)、または双方向である（例えば、ローカルエリアまたは広域デジタルネットワークを介して他のコンピュータシステムへ）。以上に記載のこれらのネットワーク及びネットワークインタフェースのうちの各ネットワーク及びネットワークインタフェースに、特定のプロトコル及びプロトコルスタックを利用できる。
【0142】
前記マンマシンインタフェース機器、人類がアクセスし得る記憶機器及びネットワークインタフェースは、コンピュータシステム（１３００）のコア（１３４０）に連結できる。
【0143】
コア（１３４０）は１つ又は複数の中央処理ユニット（ＣＰＵ）（１３４１）、グラフィック処理ユニット（ＧＰＵ）（１３４２）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）（１３４３）という形式の専門プログラム可能な処理ユニット、あるタスクのためのハードウェアアクセラレータ（１３４４）などを含む。これらの機器は、読み取り専用メモリ（ＲＯＭ）（１３４５）、ランダムアクセスメモリ（１３４６）、内部のユーザーがアクセスできないハードディスクドライブ、ＳＳＤなどのような内部大容量記憶装置（１３４７）とともに、システムバス（１３４８）を介して接続される。あるコンピュータシステムにおいて、１つ又は複数の物理プラグという形式で、システムバス（１３４８）にアクセスすることで、別のＣＰＵ、ＧＰＵなどによって拡張できる。周囲機器は直接的または周辺バス（１３４９）を介してコアのシステムバス（１３４８）に連結される。周辺バスのアーキテクチャはＰＣＩ、ＵＳＢなどを含む。
【0144】
ＣＰＵ（１３４１）、ＧＰＵ（１３４２）、ＦＰＧＡ（１３４３）及びアクセラレータ（１３４４）はいくつかの命令を実行でき、これらの命令を組み合わせて、以上に言及されたコンピュータコードを構成する。該コンピュータコードはＲＯＭ（１３４５）またはＲＡＭ（１３４６）に記憶される。移行データはＲＡＭ（１３４６）に記憶され、永久データは、例えば内部大容量記憶装置（１３４７）に記憶されてもよい。キャッシュメモリによってメモリ機器のうちのいずれかのメモリ機器の快速記憶及び検索を実現でき、該キャッシュメモリは１つ又は複数のＣＰＵ（１３４１）、ＧＰＵ（１３４２）、大容量記憶装置（１３４７）、ＲＯＭ（１３４５）、ＲＡＭ（１３４６）などに密接に関連できる。
【0145】
コンピュータ読み取り可能な媒体は、コンピュータが実現する各種操作を実行するためのコンピュータコードを有する。媒体とコンピュータコードとは、本開示内容の目的のために、専門に設計され及び構築された媒体とコンピュータコードであってもよいし、またはコンピュータソフトウェアの当業者にとって、公知且つ利用可能なタイプであってもよい。
【0146】
限定ではなく例示として、アーキテクチャ（１３００）を有するコンピュータシステム、特にコア（１３４０）は、（１つ又は複数）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形コンピュータ読み取り可能な媒体に体現されるソフトウェアを実行することで、機能を提供できる。このようなコンピュータ読み取り可能な媒体は、以上に紹介された、ユーザがアクセスし得る大容量記憶装置に関する媒体、及び非一時的なコア（１３４０）を有する、コア内部大容量記憶装置（１３４７）またはＲＯＭ（１３４５）のような記憶装置であってもよい。本開示内容を実現するための各種実施例のソフトウェアはこのような機器に記憶され、コア（１３４０）に実行される。特定の需要に応じて、コンピュータ読み取り可能な媒体には１つ又は複数の記憶機器またはチップが含まれてもよい。ソフトウェアはコア（１３４０）、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどが含まれた）に、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行させ、ＲＡＭ（１３４６）に記憶されるデータ構成を限定すること、及びソフトウェアにより限定されたプロセスに基づき、このようなデータ構成を修正することが含まれる。また或いは代わりとして、コンピュータシステムは、論理的な固定接続または他の方式で回路（例えば、アクセラレータ（１３４４））に体現されることで機能を提供し、該回路は、ソフトウェアの代わりとして、またはソフトウェアとともに操作することで、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行できる。適切な場合、言及のソフトウェアにはロジックが含まれ、逆に、言及ロジックにはソフトウェアが含まれてもよい。適切な場合、言及のコンピュータ読み取り可能な媒体には、実行するためのソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行するためのロジックを体現する回路、或いは前記両者が含まれてもよい。本開示内容にはハードウェアとソフトウェアとの任意の適切な組み合わせが含まれる。
付録Ａ：頭字語
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオ符号化
ＳＥＩ：補足増強情報
ＶＵＩ：ビデオ有用性情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：符号化ツリーユニット
ＣＴＢ：符号化ツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮定的参照デコーダ
ＳＮＲ：信号対雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィックス処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：読み取り専用メモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：モバイル通信のグローバルシステム
ＬＴＥ：長期的な進化
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：周辺コンポーネント相互接続
ＦＰＧＡ：フィールドプログラマブルゲートエリア
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：符号化ユニット
ＪＥＭ：共同探査モデル
ＶＶＣ：汎用ビデオ符号化
ＢＭＳ：ベンチマークセット
ＣＵ：符号化ユニット
付録Ａ：頭字語
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオ符号化
ＳＥＩ：補足増強情報
ＶＵＩ：ビデオ有用性情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：符号化ツリーユニット
ＣＴＢ：符号化ツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮定的参照デコーダ
ＳＮＲ：信号対雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィックス処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：読み取り専用メモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：モバイル通信のグローバルシステム
ＬＴＥ：長期的な進化
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：周辺コンポーネント相互接続
ＦＰＧＡ：フィールドプログラマブルゲートエリア
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：符号化ユニット
ＪＥＭ：共同探査モデル
ＶＶＣ：汎用ビデオ符号化
ＢＭＳ：ベンチマークセット
ＣＵ：符号化ユニット
【0147】
本開示内容には若干の例示性の実施例が記載されているが、本開示内容の範囲内にある変更、置き換え及びいろんな置換等価物が存在する。従って、本明細書には明らかに記載されていないが、本開示内容の原理を体現し本開示内容の精神及び範囲内に属する多いシステム及び方法は、当業者にとって想到し得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【外国語明細書】