(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-16
(45)【発行日】2023-05-24
(54)【発明の名称】ビデオ符号化のための方法、装置及びコンピュータプログラム
(51)【国際特許分類】
H04N 19/11 20140101AFI20230517BHJP
H04N 19/159 20140101ALI20230517BHJP
H04N 19/176 20140101ALI20230517BHJP
【ＦＩ】
H04N19/11
H04N19/159
H04N19/176
【請求項の数】
8
(21)【出願番号】P 2020551480
(86)(22)【出願日】2019-06-20
(65)【公表番号】
(43)【公表日】2021-07-15
(86)【国際出願番号】 US2019038306
(87)【国際公開番号】W WO2020009811
(87)【国際公開日】2020-01-09
【審査請求日】2020-09-24
(31)【優先権主張番号】62/693,050
(32)【優先日】2018-07-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/147,503
(32)【優先日】2018-09-28
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャオ，リアン
(72)【発明者】
【氏名】リィウ，シャン
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】リ，シアン
【審査官】坂東 大五郎
(56)【参考文献】
【文献】国際公開第２０１９／２２２０４２（ＷＯ，Ａ１）
【文献】国際公開第２０１８／１２７６２４（ＷＯ，Ａ１）
【文献】Rickard Sjoberg et al.，Description of SDR and HDR video coding technology proposal by Ericsson and Nokia，Joint Video Exploration Team (JVET)，2018年04月13日，pp.5-6，[JVET-J0012-v1] (version 2)
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
復号器によって実行されるビデオ復号の方法であって、符号化されたビデオビットストリームから第１ブロックの予測情報を復号化するステップであって、前記第１ブロックが非正方形ブロックであり、前記第１ブロックの予測情報が正方形ブロックのための第１組のイントラ予測モードにおける第１イントラ予測モードを指示するステップと、
前記第１イントラ予測モードが、前記正方形ブロックのための前記第１組のイントラ予測モードにおける、前記非正方形ブロックのための無効なイントラ予測モードのサブセット内にあることを決定するステップと、
前記第１イントラ予測モードを、前記非正方形ブロックのための第２組のイントラ予測モードにおける第２イントラ予測モードに再マッピングするステップであって、前記第２組のイントラ予測モードには、前記無効なイントラ予測モードのサブセットが含まれないステップと、
前記第２イントラ予測モードに基づき、前記第１ブロックの少なくとも１つのサンプルを再構築するステップと、
を含み、
前記再マッピングするステップが：
前記第１ブロックの幅が前記第１ブロックの高さよりも大きいことを決定するステップおよび、
前記第１イントラ予測モードに関連付けられるモード番号に一定の値を加算し、前記第１イントラ予測モードを前記第２イントラ予測モードに再マッピングするステップ、
または、
前記第１ブロックの高さが前記第１ブロックの幅よりも大きいことを決定するステップおよび、
前記第１イントラ予測モードに関連付けられるモード番号から一定の値を差し引き、前記第１イントラ予測モードを前記第２イントラ予測モードに変換するステップを含み、
正方形ブロックのための第１組のイントラ予測モードは左下対角線方向モードから右上対角線方向モードまで２～Ｘの番号を付されており、番号Ｘ＋ｎのイントラ予測モードは、イントラ予測モード２＋ｎの方向を逆にしたものであり、番号－ｎのイントラ予測モードはイントラ予測モードＸ－ｎの方向を逆にしたものであり、Ｘおよびｎは整数であり、
前記第１ブロックのアスペクト比（Ａ）が前記第１ブロックの幅と前記第１ブロックの高さの比率に等しく、
１＜Ａ≦２又は１／２≦Ａ＜１の場合、前記非正方形ブロックのための無効なイントラ予測モードの数はＭであり、
Ａ≧４又はＡ≦１／４の場合、前記非正方形ブロックのための無効なイントラ予測モードの数はＮであり、
２＜Ａ＜４又は１／４＜Ａ＜１／２の場合、前記非正方形ブロックのための無効なイントラ予測モードの数はＰであり、
Ｍ、Ｎ及びＰは整数であり、ＭはＮに等しくなく、
正方形ブロックのための第１組のイントラ予測モードとして６７個のイントラ予測モードがある場合、Ｍは６に等しく、Ｎは１０に等しく、
正方形ブロックのための第１組のイントラ予測モードとしての前記６７個のイントラ予測モードが、前記第１組のイントラ予測モードにおける左下対角線方向モードから右上対角線方向モードまで２～６６の番号を付されており、
前記幅が前記高さよりも大きいが、前記高さの２倍よりも小さい場合は、前記非正方形ブロックのための無効なイントラ予測モードはイントラ予測モード２～７であり、前記第２組のイントラ予測モードに含まれるが前記第１組のイントラ予測モードに含まれない広角モードはイントラ予測モード６７～７２であり、前記第１イントラ予測モードを、前記非正方形ブロックのための第２組のイントラ予測モードにおける第２イントラ予測モードに再マッピングするステップは、第１イントラ予測モードに６５を加算することによって該イントラ予測モードを広角モードに変換することを含み、
前記幅が前記高さの４倍以上である場合は、前記非正方形ブロックのための無効なイントラ予測モードはイントラ予測モード２～１１であり、前記第２組のイントラ予測モードに含まれるが前記第１組のイントラ予測モードに含まれない広角モードはイントラ予測モード６７～７６であり、前記第１イントラ予測モードを、前記非正方形ブロックのための第２組のイントラ予測モードにおける第２イントラ予測モードに再マッピングするステップは、第１イントラ予測モードに６５を加算することによって該イントラ予測モードを広角モードに変換することを含み、
前記高さが前記幅よりも大きいが、前記幅の２倍よりも小さい場合は、前記非正方形ブロックのための無効なイントラ予測モードはイントラ予測モード６１～６６であり、前記第２組のイントラ予測モードに含まれるが前記第１組のイントラ予測モードに含まれない広角モードはイントラ予測モード－１～－６であり、前記第１イントラ予測モードを、前記非正方形ブロックのための第２組のイントラ予測モードにおける第２イントラ予測モードに再マッピングするステップは、第１イントラ予測モードから６７を差し引くことによって該イントラ予測モードを広角モードに変換することを含み、
前記高さが前記幅の４倍以上である場合は、前記非正方形ブロックのための無効なイントラ予測モードはイントラ予測モード５７～６６であり、前記第２組のイントラ予測モードに含まれるが前記第１組のイントラ予測モードに含まれない広角モードはイントラ予測モード－１～－１０であり、前記第１イントラ予測モードを、前記非正方形ブロックのための第２組のイントラ予測モードにおける第２イントラ予測モードに再マッピングするステップは、第１イントラ予測モードから６７を差し引くことによって該イントラ予測モードを広角モードに変換することを含み、
イントラ予測モード６７～７６は、イントラ予測モード３～１２の方向を逆にしたものであり、イントラ予測モード－１～－１０はイントラ予測モード６５～５６の方向を逆にしたものである、方法。
【請求項2】
前記第２イントラ予測モードに基づき、前記第１ブロックの少なくとも１つのサンプルを再構築する前記ステップは、前記第２イントラ予測モードに関連付けられるイントラ予測角度パラメータを決定するステップと、
前記イントラ予測角度パラメータに基づき、前記第１ブロックの前記少なくとも１つのサンプルを再構築するステップと、
を含む、請求項１に記載の方法。
【請求項3】
前記第２イントラ予測モードは、前記第１組のイントラ予測モードに含まれない、請求項１又は２に記載の方法。
【請求項4】
前記復号器が、前記第１ブロックの形状に基づき、前記第２組のイントラ予測モードを決定するステップをさらに含む、請求項１乃至３のいずれか１項に記載の方法。
【請求項5】
前記復号器が、前記第１ブロックのアスペクト比を計算するステップと、
前記第１ブロックのアスペクト比に基づき、前記非正方形ブロックのための無効なイントラ予測モードのサブセットを決定するステップと、
をさらに含む、請求項１乃至４のいずれか１項に記載の方法。
【請求項6】
前記第１ブロックの長辺と短辺の長さの比率が２以下である場合、前記無効なイントラ予測モードのサブセットは、第１の数の無効なイントラ予測モードを有し、前記比率が４以上である場合、前記無効なイントラ予測モードのサブセットは、第２の数の無効なイントラ予測モードを有し、
前記第２の数は、前記第１の数よりも大きい、請求項１乃至５のいずれか１項に記載の方法。
【請求項7】
処理回路を含む装置であって、前記処理回路は、請求項１乃至６のいずれか１項に記載の、ビデオ復号の方法を実行するように構成される、装置。
【請求項8】
コンピュータに、請求項１乃至６のいずれか１項に記載の、ビデオ復号の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１８年９月２８日にて提出されたアメリカ特許出願第１６／１４７，５０３号である「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＣＯＤＩＮＧ（ビデオ符号化のための方法及び装置）」（今はアメリカ特許第１０．２８４．８６６号になる）の優先権を主張し、その全内容を本明細書に援用により組み込み、当該アメリカ特許出願は、２０１８年７月２日にて提出されたアメリカ仮出願第６２／６９３，０５０号である「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＷＩＤＥ ＡＮＧＵＬＡＲ ＩＮＴＲＡ ＰＲＥＤＩＣＴＩＯＮ ＩＮ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ（ビデオ圧縮における広角イントラ予測のための方法及び装置）」の優先権を主張する。
本出願は、２０１８年９月２８日にて提出されたアメリカ特許出願第１６／１４７，５０３号である「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＣＯＤＩＮＧ（ビデオ符号化のための方法及び装置）」（今はアメリカ特許第１０．２８４．８６６号になる）の優先権を主張し、その全内容を本明細書に援用により組み込み、当該アメリカ特許出願は、２０１８年７月２日にて提出されたアメリカ仮出願第６２／６９３，０５０号である「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＷＩＤＥ ＡＮＧＵＬＡＲ ＩＮＴＲＡ ＰＲＥＤＩＣＴＩＯＮ ＩＮ ＶＩＤＥＯ ＣＯＭＰＲＥＳＳＩＯＮ（ビデオ圧縮における広角イントラ予測のための方法及び装置）」の優先権を主張する。
【0002】
技術分野
本開示は、一般的にビデオ符号化に関する実施形態を記載する。
本開示は、一般的にビデオ符号化に関する実施形態を記載する。
【背景技術】
【0003】
本明細書で提供される記載は、本開示のコンテキストを一般的に提示することを目的とする。この背景技術で記載された作業について、現在指定された発明者の作業、及び出願時に従来技術に対する記載としての資格を具備していないおそれがある態様は、本開示に対する従来技術として明示的にも暗黙的にも認められていない。
【0004】
ビデオの符号化及び復号化は、動き補償を伴うピクチャ間予測を使用して実行することができる。非圧縮のデジタルビデオは一連のピクチャを含んでもよく、各ピクチャの空間次元は、例えば１９２０×１０８０の輝度サンプル及び関連する色度サンプルである。当該一連のピクチャは、例えば、毎秒６０枚ピクチャ又は６０Ｈｚの固定又は可変のピクチャレート（非公式にはフレームレートとも呼ばれる）を有することができる。非圧縮のビデオには、著しいビットレート要件がある。例えば、１サンプルあたり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートで１９２０×１０８０の輝度サンプルの解像度）は、約１．５Ｇｂｉｔ／ｓに近い帯域幅が必要である。このようなビデオを１時間使用するには、６００ＧＢ以上のストレージ容量が必要である。
【0005】
ビデオ符号化及び復号化の目的の１つは、圧縮によってビデオ入力信号の冗長性を低減することである。圧縮は、以上に言及された帯域幅又はストレージスペースに対する要件を低減することに役立つことができ、場合によって、２桁以上低減されることがある。可逆圧縮、非可逆圧縮、及びそれらの組み合わせを採用できる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なレプリカを再構築する技術を指す。非可逆圧縮を使用する場合に、再構築された信号は、元の信号と異なる可能性があるが、元の信号と再構築された信号との間の歪みは十分に小さいから、再構築された信号は、予期のアプリケーションで有用にする。ビデオの場合に、非可逆圧縮は広く使用される。許容される歪み量は、アプリケーションに依存し、例えば、特定のコンシューマストリーミングアプリケーションのユーザーは、テレビ貢献アプリケーションのユーザーよりも高い歪みを許容する。達成可能な圧縮率は、許可／許容可能な歪みが高いほど、達成可能な圧縮率が高くなることを反映することができる。
【0006】
ビデオ符号器と復号器とは、動き補償、変換、量子化及びエントロピー符号化が含まれた若干の幅広いタイプからの技術を使用できる。
【0007】
ビデオコーデック技術は、イントラ符号化と呼ばれる技術を含めることができる。イントラ符号化では、サンプル値は、以前に再構築された参照ピクチャからのサンプル、又は他のデータを参照せず表現される。いくつかのビデオコーデックでは、ピクチャは空間的にサンプルブロックに細分化される。全てのサンプルブロックがイントラモードで符号化する場合、当該ピクチャはイントラピクチャであってもよい。イントラピクチャ及びその派生物（例えば、独立した復号器リフレッシュピクチャ）は、復号器の状態をリセットするために使用できるため、符号化されたビデオビットストリームとビデオセッション内の最初のピクチャ、又は静止画像として使用されることができる。イントラブロックのサンプルを変換することができ、また、エントロピー符号化を行う前に、変換係数を量子化することができる。イントラ予測は、プレ変換領域におけるサンプル値を最小化する技術である。場合によって、変換されたＤＣ値が小さく、且つＡＣ係数が小さいほど、特定の量子化ステップサイズで、エントロピー符号化されたブロックを表すために必要なビットが少なくなることがある。
【0008】
例えばＭＰＥＧ－２世代の符号化技術から知られているような通常イントラ符号化は、イントラ予測を使用していない。しかしながら、いくつかの新たなビデオ圧縮技術は、例えば、空間的に隣接するとともに、復号化順序で先行するデータブロックの符号化／復号化期間に取得されたメタデータ及び／又は周辺のサンプルデータから試みる技術を含む。以降、このような技術は「イントラ予測」技術と呼ばれる。なお、少なくともいくつかの場合に、イントラ予測は、再構築中の現在ピクチャからの参照データのみを使用し、参照画像からの参照データを使用しないことに注意されたい。
【0009】
イントラ予測には多くの異なる形態があってもよい。特定のビデオ符号化技術では、１種以上のこのような技術を使用できる場合に、使用される技術をイントラ予測モードで符号化することができる。場合によって、モードは、サブモード及び／又はパラメータを有してもよく、サブモード及び／又はパラメータは、別個に符号化されるか、又はモードコードワードに含まれてもよい。特定のモード／サブモード／パラメータの組み合わせにどんなコードワードを使用するかということは、イントラ予測による符号化効率の利得に影響を与える可能性があるため、エントロピー符号化技術は、コードワードをビットストリームに変換するために使用されることができる。
【0010】
特定のモードのイントラ予測はＨ．２６４を介して導入され、Ｈ．２６５において細分化され、例えば共同探索モデル（ＪＥＭ）、多用途ビデオ符号化（ＶＶＣ）、ベンチマークセット（ＢＭＳ）などの新たな符号化技術では、さらに細分化される。既に使用可能なサンプルに属する隣接サンプル値を使用して予測器ブロックを形成できる。方向に従って、隣接サンプルのサンプル値を予測器ブロックにコピーする。使用中の方向への参照は、ビットストリームに符号化することができ、又はその自身は予測されることができる。
【発明の概要】
【発明が解決しようとする課題】
【0011】
図１を参照し、Ｈ．２６５の３５個の可能な予測方向から知られている９つの予測方向のサブセットは右下に描画される。矢印が収束する点（１０１）は、予測されたサンプルを表す。矢印は、サンプルが予測された方向を表す。例えば、矢印（１０２）は、右上の、水平と４５度の角度をなす１つ以上のサンプルからサンプル（１０１）を予測することを表す。同様に、矢印（１０３）は、サンプル（１０１）の右下の、水平と２２．５度の角度をなす１つ以上のサンプルからサンプル（１０１）を予測することを表す。
【0012】
さらに図１を参照し、４×４個のサンプルの正方形ブロック（１０４）（太い破線で示される）は右上に描画される。正方形ブロック（１０４）は１６個のサンプルが含まれ、各サンプルは、「Ｓ」、Ｙ次元での位置（例えば、行インデックス）及びＸ次元での位置（例えば、列インデックス）によって表記される。例えば、サンプルＳ２１は、Ｙ次元での（上からの）２番目のサンプルと、Ｘ次元での（左側からの）１番目のサンプルである。同様に、サンプルＳ４４は、ブロック（１０４）において、Ｙ次元とＸ次元の両方での４番目のサンプルである。ブロックのサイズは４×４個のサンプルであるから、Ｓ４４は、右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示される。参照サンプルは、Ｒ、ブロック（１０４）に対するＹ位置（例えば、行インデックス）及びＸ位置（列インデックス）によって表記される。Ｈ．２６４とＨ．２６５の両方で、予測サンプルは、再構築中のブロックに隣接しているため、負の値を使用する必要がない。
【0013】
イントラピクチャ予測は、合図された予測方向に応じて、隣接するサンプルから、参照サンプル値をコピーすることで行われる。例えば、符号化ビデオビットストリームにはシグナリングが含まれ、シグナリングは、当該ブロックに対して、矢印（１０２）と一致する予測方向、即ち、右上にある、水平と４５度の角度をなす１つ以上の予測サンプルからサンプルを予測することを示すと想定する。この場合、同じＲ０５からサンプルＳ４１、Ｓ３２、Ｓ２３及びＳ１４を予測する。次に、Ｒ０８からサンプルＳ４４を予測する。
【0014】
特定の場合、特に、方向が４５度で割り切れない場合に、参照サンプルを計算するために、複数の参照サンプルの値を例えば補間によって組み合わせることができる。
【0015】
ビデオ符号化技術の開発に伴い、可能な方向の数も増えている。Ｈ．２６４（２００３年）では、９つの異なる方向を表すことができる。これは、Ｈ．２６５（２０１３年）では３３個に増えて、開示時に、ＪＥＭ／ＶＶＣ／ＢＭＳは最大６５個の方向をサポートできる。最も可能性の高い方向を認識するための実験が既に行われており、エントロピー符号化における特定の技術は、少ないビット数でこれらの可能な方向を表すために使用されることで、比較的に不可能な方向について特定のペナルティを受ける。また、隣接する復号化されたブロックで使用される隣接方向に基づき、方向自体を予測ことができる場合がある。
【0016】
【0017】
符号化されたビデオビットストリームにおける方向を示すためのイントラ予測方向ビットのマッピングは、異なるビデオ符号化技術によって異なってもよく、例えば、予測方向、イントラ予測モード、コードワードを含む単純な直接マッピングから、最も可能性の高いモードや類似の手法を含む複雑な適応スキームまで、さまざまな範囲がある。当業者はこれらの技術に容易に精通することができる。ただし、全ての場合に、他の特定の方向よりも統計的にビデオコンテンツに表示される可能性がないいくつかの方向が存在する。ビデオ圧縮は、冗長性を減少することを目的とするから、適切に機能するビデオ符号化技術では、可能性の高い方向に比べると、これらの比較的に不可能な方向は、より大きいビット数で表される。
【課題を解決するための手段】
【0018】
本開示の態様は、ビデオ符号化のための方法及び装置を提供する。いくつかの例では、装置は処理回路を含む。処理回路は、符号化されたビデオビットストリームから第１ブロックの予測情報を復号化する。第１ブロックは、非正方形ブロックであり、第１ブロックの予測情報は、正方形ブロックのための第１組のイントラ予測モードにおける第１イントラ予測モードを指示する。次に、処理回路は、第１イントラ予測モードが、正方形ブロックのための第１組のイントラ予測モードにおける、非正方形ブロックに対して無効にされたイントラ予測モードのサブセット内にあることを決定し、第１イントラ予測モードを、非正方形ブロックのための第２組のイントラ予測モードにおける第２イントラ予測モードに再マッピングする。第２組のイントラ予測モードは、無効にされたイントラ予測モードのサブセットが含まれていない。また、処理回路は、第２イントラ予測モードに基づき、第１ブロックの少なくとも１つのサンプルを再構築する。
【0019】
いくつかの例では、処理回路は、第２イントラ予測モードに関連付けられたイントラ予測角度パラメータを決定し、イントラ予測角度パラメータに基づき、第１ブロックの少なくとも１つのサンプルを再構築する。例では、第２イントラ予測モードは、第１組のイントラ予測モードに含まれていない。
【0020】
いくつかの例では、処理回路は、第１ブロックの形状に基づき、第２組のイントラ予測モードを決定する。いくつかの実施形態において、処理回路は、第１ブロックのアスペクト比を計算し、第１ブロックのアスペクト比に基づき、非正方形ブロックに対して無効にされたイントラ予測モードのサブセットを決定する。例として、第１ブロックの長辺と短辺の比率が２以下である場合、無効にされたイントラ予測モードのサブセットは、第１数の無効にされたイントラ予測モードを有し、当該比率が４以上である場合、無効にされたイントラ予測モードのサブセットは、第２数の無効にされたイントラ予測モードを有し、第２数は第１数よりも大きい。
【0021】
また、いくつかの実施形態において、処理回路は、第１ブロックの幅が第１ブロックの高さよりも大きいことを決定し、第１イントラ予測モードが第１組のイントラ予測モードにおける左下対角線方向モードから始める無効にされたイントラ予測モードのサブセット内にあることを検出する。他の実施形態において、処理回路は、第１ブロックの高さが第１ブロックの幅よりも大きいことを決定し、第１イントラ予測モードが第１組のイントラ予測モードにおける右上対角線方向モードから始める無効にされたイントラ予測モードのサブセット内にあることを検出する。
【0022】
いくつかの実施形態において、処理回路は、第１ブロックの幅が第１ブロックの高さよりも大きいことを決定し、第１イントラ予測モードに関連付けられたモード番号に値を加算することで、第１イントラ予測モードを第２イントラ予測モードに再マッピングする。いくつかの例では、処理回路は、第１ブロックの高さが第１ブロックの幅よりも大きいことを決定し、第１イントラ予測モードに関連付けられたモード番号から値を差し引くことで、第１イントラ予測モードを第２イントラ予測モードに変換する。
【0023】
本開示の態様はさらに、命令を記憶するための非一時的なコンピュータ読み取り可能な媒体を提供し、当該命令は、ビデオ復号化のためのコンピュータによって実行されるときに、ビデオ符号化のための方法をコンピュータに実行させる。
【図面の簡単な説明】
【0024】
開示されたテーマのさらなる特徴、性質及び様々な利点は、以下の詳細な説明及び図面からより明確になる。
【図1】Ｈ．２６５によるイントラ予測モードのサブセットの概略図である。
【図2】ＪＥＭによるイントラ予測方向の説明図である。
【図3】実施形態による通信システム（３００）の簡略化ブロック図の概略図である。
【図4】実施形態による通信システム（４００）の簡略化ブロック図の概略図である。
【図5】実施形態による復号器の簡略化ブロック図の概略図である。
【図6】実施形態による符号器の簡略化ブロック図の概略図である。
【図7】他の実施形態による符号器のブロック図を示す。
【図8】他の実施形態による復号器のブロック図を示す。
【図9】広角モードの例を説明するための概略図（９００）を示す。
【図10】通常イントラ予測モードを広角モードに再マッピングするいくつかの例を示す。
【図11】通常イントラ予測モードを広角モードに再マッピングするいくつかの他の例を示す。
【図12】通常イントラ予測方向及び広角イントラ予測方向を説明するための概略図を示す。
【図13】本開示の実施形態による処理（１３００）を概略的に説明するためのフローチャートを示す。
【図14】実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0025】
図３は、本開示の実施形態による通信システム（３００）の簡略化ブロック図を示す。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信することができる複数の端末機器を含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して互いに接続された第１対の端末機器（３１０）、（３２０）を含む。図３の例では、第１対の端末機器（３１０）、（３２０）は一方向のデータ送信を実行する。例えば、端末機器（３１０）は、ビデオデータ（例えば、端末機器（３１０）によってキャプチャされたビデオピクチャストリーム）を符号化して、ネットワーク（３５０）を介して別の端末機器（３２０）に送信することができる。符号化されたビデオデータは、１つ以上の符号化されたビデオビットストリームの形で送信されてもよい。端末機器（３２０）はネットワーク（３５０）から符号化されたビデオデータを受信し、符号化されたビデオデータを復号化することで、ビデオピクチャを復元し、復元されたビデオデータに基づきビデオピクチャを表示することができる。一方向のデータ送信はメディアサービスアプリケーションなどでは一般的である。
【0026】
別の実施形態において、通信システム（３００）は、符号化されたビデオデータの双方向送信を実行するための第２対の端末機器（３３０）、（３４０）を含み、当該双方向送信は、例えば、ビデオ会議中に発生する可能性がある。双方向データ送信について、例では、端末機器（３３０）、（３４０）のそれぞれは、ビデオデータ（例えば、端末機器によってキャプチャされたビデオピクチャストリーム）を符号化して、ネットワーク（３５０）を介して端末機器（３３０）、（３４０）のうちの別の端末機器に送信することができる。端末機器（３３０）、（３４０）のそれぞれはさらに、端末機器（３３０）、（３４０）のうちの別の端末機器から送信された、符号化されたビデオデータを受信してもよく、さらに、符号化されたビデオデータを復号化して、ビデオピクチャを復元し、復元されたビデオデータに基づき、ビデオピクチャを、アクセス可能な表示機器に表示することができる。
【0027】
図３の例において、端末機器（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして示されるが、本開示の原理はこれに限定されていない。本開示の実施形態はラップトップコンピュータ、タブレット、メディアプレイヤー及び／又は専用のビデオ会議機器に適用される。ネットワーク（３５０）は、端末機器（３１０）、（３２０）、（３３０）及び（３４０）の間で符号化されたビデオデータを送信するための、例えば有線（配線）及び／又は無線通信ネットワークが含まれた任意の数のネットワークを示す。通信ネットワーク（３５０）は回線交換及び／又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアエリア及び／又はインターネットを含む。本出願で説明される目的からすると、以下で説明されない限り、ネットワーク（３５０）のアーキテクチャ及びトポロジは、本開示の動作にとって重要ではないかもしれない。
【0028】
図４はビデオ符号器及びビデオ復号器のストリーミング環境における配置を示す。開示されたテーマの適用例として、開示されたテーマは、ビデオ会議、デジタルテレビが含まれる、ビデオをサポートする他のアプリケーションに等価的に適用され、ＣＤ、ＤＶＤ、メモリースティックなどが含まれるデジタルメディアに圧縮ビデオなどを記憶する。
【0029】
ストリーミングシステムはキャプチャサブシステム（４１３）を含むことができ、当該キャプチャサブシステムは、例えば非圧縮のビデオピクチャストリーム（４０２）を作成するための、デジタル撮影装置のようなビデオソース（４０１）を含むことができる。例では、ビデオピクチャストリーム（４０２）はデジタル撮影装置から撮影されたサンプルを含む。ビデオピクチャストリーム（４０２）は、ビデオソース（４０１）に連結されるビデオ符号器（４０３）が含まれる電子機器（４２０）によって処理され、ビデオピクチャストリームは、符号化されたビデオデータ（４０４）（又は符号化されたビデオビットストリーム）と比較して多いデータ量を強調するように、太い線として描画される。ビデオ符号器（４０３）は、以下で詳細に説明される開示されるテーマの各態様を実現又は実施するために、ハードウェア、ソフトウェア又はそれらの組み合わせを含むことができる。符号化されたビデオデータ（４０４）（又は符号化されたビデオビットストリーム（４０４））は、将来の使用のために、ストリーミングサーバ（４０５）に記憶されることができ、符号化されたビデオデータは、ビデオピクチャストリーム（４０２）と比較して少ないデータ量を強調するように、細い線として描画される。１つ以上のストリーミングクライアントサブシステム、例えば図４におけるクライアントサブシステム（４０６）、（４０８）は、ストリーミングサーバ（４０５）にアクセスすることで、符号化されたビデオデータ（４０４）のレプリカ（４０７）、（４０９）を検索することができる。クライアントサブシステム（４０６）は、例えば電子機器（４３０）におけるビデオ復号器（４１０）を含んでもよい。ビデオ復号器（４１０）は、符号化されたビデオデータの着信レプリカ（４０７）を復号化するとともに、ディスプレイ（４１２）（例えば、スクリーン）又は他のレンダリング機器（図示せず）でレンダリングできる発信ビデオピクチャストリーム（４１１）を作成する。一部のストリーミングシステムにおいて、符号化されたビデオデータ（４０４）、（４０７）及び（４０９）（例えば、ビデオビットストリーム）を特定のビデオ符号化／圧縮規格に従って符号化することができる。これらの規格の例にはＩＴＵ－Ｔ Ｈ．２６５勧告書が含まれる。例では、開発中のビデオ符号化規格は、非公式に多用途ビデオ符号化又はＶＶＣと呼ばれる。開示されたテーマはＶＶＣのコンテキストで使用することができる。
【0030】
なお、電子機器（４２０）、（４３０）は、他の部品（図示せず）を含むことができる。例えば、電子機器（４２０）はビデオ復号器（図示せず）を含んでもよく、電子機器（４３０）はビデオ符号器（図示せず）を含んでもよい。
【0031】
図５は、本開示の実施形態によるビデオ復号器（５１０）のブロック図を示す。ビデオ復号器（５１０）は電子機器（５３０）に含まれることができる。電子機器（５３０）は受信機（５３１）（例えば、受信回路）を含むことができる。ビデオ復号器（５１０）は、図４の例におけるビデオ復号器（４１０）の代わりに使用されてもよい。
【0032】
受信機（５３１）は、ビデオ復号器（５１０）によって復号化される１つ以上の符号化されたビデオシーケンスを受信することができ、同じ実施形態又は別の実施形態において、１度に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は、他の符号化されたビデオシーケンスと独立している。チャネル（５０１）から符号化されたビデオシーケンスを受信することができ、チャネル（６１２）は、符号化されたビデオデータを記憶するための記憶装置へのハードウェア／ソフトウェアリンクであってもよい。受信機（５３１）は、他のデータが付けられた符号化されたビデオデータを受信することができ、他のデータは、例えばそれぞれの使用エンティティ（図示せず）に転送される符号化されたオーディオデータ及び／又は補助データストリームである。受信機（５３１）は符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークのジッタを防止するために、バッファメモリ（５１５）を受信機（５３１）とエントロピー復号器／パーサー（５２０）（以下「パーサー（５２０）」と呼ばれる）との間に連結することができる。特定の適用において、バッファメモリ（５１５）はビデオ復号器（５１０）の一部である。他の適用において、バッファメモリはビデオ復号器（５１０）の外部にあってもよい（図示せず）。さらなる他の適用において、例えば、ネットワークのジッタを防止するために、ビデオ復号器（５１０）の外部にあるバッファメモリ（図示せず）が存在し、また、例えば、放送タイミングを処理するために、ビデオ復号器（５１０）の内部にある別のバッファメモリ（５１５）が存在してもよい。受信機（５３１）は、十分な帯域幅及び制御可能性を有する記憶／転送機器、又は等時性リアルタイムネットワーク（ｉｓｏｓｙｎｃｈｒｏｎｏｕｓ ｎｅｔｗｏｒｋ）からデータを受信する際、バッファメモリ（５１５）を必要としない可能性があり、又はバッファメモリ（３１５）が小さくなってもよい。例えばインターネットのようなベストエフォート型パケットネットワークで使用するために、バッファメモリ（５１５）を必要とする可能性があり、バッファメモリ（３１５）は比較的大きく、有利に適応サイズを有してもよく、少なくとも部分的に、オペレータシステム又はビデオ復号器（５１０）の外部にある同様の要素（図示せず）に実現されてもよい。
【0033】
ビデオ復号器（５１０）は、符号化されたビデオシーケンスに基づきシンボル（５２１）を再構築するために、パーサー（５２０）を含むことができる。これらのシンボルのカテゴリには、ビデオ復号器（５１０）の動作を管理するための情報、及びディスプレイ（５１２）（例えば、スクリーン）のような表示機器を制御するための情報が含まれてもよく、当該表示機器（５１２）は、図５に示すように、電子機器（５３０）の構成部分ではないが、電子機器（５３０）に連結されることができる。表示機器のための制御情報は、補充拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）という形であってもよい。パーサー（５２０）は、受信された、符号化されたビデオシーケンスを解析／エントロピー復号化することができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術又は規格に準拠することができ、可変長符号化、ハフマン符号化（Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ）、文脈依存の有無にかかわらず算術符号化などを含む様々な原理に従うことができる。パーサー（５２０）は、グループに対応する少なくとも１つのパラメータに基づき、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループのうちの少なくとも１つのサブグループのためのサブグループパラメータセットを抽出する。サブグループには、ピクチャグループ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ、ＧＯＰ）、ピクチャ、タイル（ｔｉｌｅ）、スライス、マクロブロック、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）、ブロック、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）などが含まれる。パーサー（５２０）はさらに符号化されたビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出してもよい。
【0034】
パーサー（５２０）はバッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピー復号化／解析動作を実行することで、シンボル（５２１）を作成することができる。
【0035】
シンボル（５２１）の再構築は、符号化されたビデオピクチャ又はその一部のタイプ（例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック）及び他の要因によって、複数の異なるユニットに関与する。関与するユニット及び関与形態は、パーサー（５２０）が符号化されたビデオシーケンスから解析したサブグループ制御情報によって制御されることができる。簡潔のために、パーサー（５２０）と以下の複数のユニットとの間の、このようなサブグループ制御情報の流れは図示されていない。
【0036】
既に言及された機能ブロックに加えて、ビデオ復号器（５１０）は、概念的には、以下の複数の機能ユニットに細分化されることができる。ビジネス上の制約の下で運行する実際の実現形態において、これらのユニットのうちの複数のユニットは互いに密接に相互作用するとともに、少なくとも部分的に互いに統合することができる。しかしながら、開示されたテーマを説明するために、概念的に以下の機能ユニットに細分化されることは適切である。
【0037】
第１ユニットはスケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）はパーサー（５２０）から、量子化変換係数及び制御情報をシンボル（５２１）として受信し、使用する変換方式、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む。スケーラ／逆変換ユニット（５５１）は、サンプル値を含む、アグリゲーター（５５５）に入力することができるブロックを出力することができる。
【0038】
場合によって、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの以前に再構築された部分からの予測情報を使用することができるブロックに関連することができる。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。ある場合に、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）から取得された、周囲が既に再構築された情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。例えば、現在ピクチャバッファ（５５８）は、部分的に再構築された現在ピクチャ及び／又は完全に再構築された現在ピクチャをバッファリングする。ある場合に、アグリゲーター（５５５）は、サンプルごとに、イントラ予測ユニット（５５２）によって生成された予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に加算する。
【0039】
他の場合に、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関連することができる。このような場合に、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測のためのサンプルを取得することができる。ブロックに関するシンボル（５２１）に基づき、取得されたサンプルを動き補償した後、これらのサンプルは、アグリゲーター（５５５）によってスケーラ／逆変換ユニット（５５１）の出力（このような場合に、残差サンプル又は残差信号と呼ばれる）に加算され、出力サンプル情報が生成される。動き補償予測ユニット（５５３）が予測サンプルを取得するための参照ピクチャメモリ（５５７）内のアドレスは、動きベクトルによって制御され、動きベクトルは動き補償予測ユニット（５５３）によって取得され、例えばＸ、Ｙ及び参照ピクチャ成分を有するシンボル（５２１）の形を有する。動き補償はさらに、サブサンプルの正確な動きベクトルが使用されるときに参照ピクチャメモリ（５５７）から抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。
【0040】
アグリゲーター（５５５）の出力サンプルは、ループフィルタユニット（５５６）において、様々なループフィルタリング技術によって処理される。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができるが、ビデオ圧縮技術は、符号化されたピクチャ又は符号化されたビデオシーケンスの（復号化の順序で）前の部分を復号化する期間に取得されたメタ情報、及び以前に再構築されループフィルタリング処理されたサンプル値に応答することもできる。ループ内フィルタ技術は、符号化されたビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれており、パーサー（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に提供されるパラメータによって制御される。
【0041】
ループフィルタユニット（５５６）の出力は、将来のピクチャ間予測で使用されるために、表示機器（５１２）に出力され、参照ピクチャメモリ（５５７）に記憶されることができるサンプルストリームであってもよい。
【0042】
ある符号化されたピクチャは完全に再構成されたら、将来の予測のための参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化されたピクチャは完全に再構成され、符号化されたピクチャは（例えばパーサー（５２０）を介して）参照ピクチャとして認識されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の一部になることができ、その後の符号化されたピクチャの再構成を開始する前に、新たな現在ピクチャバッファを再割り当てることができる。
【0043】
ビデオ復号器（５１０）は、例えばＩＴＵ－Ｔ Ｈ．２６５勧告書の規格における所定のビデオ圧縮技術に従って復号化動作を実行することができる。符号化されたビデオシーケンスがビデオ圧縮技術又は規格の構文、及びビデオ圧縮技術又は規格に記録されたプロファイルの両方に従うという意味で、符号化されたビデオシーケンスは、使用されているビデオ圧縮技術又は規格によって指定された構文に準拠することができる。具体的に、プロファイルはビデオ圧縮技術又は規格で使用可能な全てのツールから、このプロファイルに応じて使用可能な唯一のツールとして、特定のツールを選択することができる。符号化されたビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって限定される範囲内にあることもコンプライアンスに必要である。場合によって、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、メガサンプル／秒で測定）、最大参照ピクチャサイズなどを制限する。レベルによって設置される制限は、場合によって、符号化されたビデオシーケンスにおいて合図されるＨＲＤバッファが管理するためのメタデータ、及び仮想参照復号器（ＨＲＤ）の仕様によってさらに限定されることがある。
【0044】
実施形態において、受信機（５３１）は、符号化されたビデオとともに、追加の（冗長な）データを受信することができる。追加のデータは、符号化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、ビデオ復号器（５１０）によって使用されることで、データを適切に復号化し、及び／又は元のビデオデータをより正確に再構築することができる。追加のデータは、例えば、時間、空間又は信号対雑音比（ＳＮＲ）拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形であり得る。
【0045】
図６は、本開示の実施形態によるビデオ符号器（６０３）のブロック図を示す。ビデオ符号器（６０３）は、電子機器（６２０）に含まれる。電子機器（６２０）は、送信機（６４０）（例えば、送信回路）を含む。ビデオ符号器（６０３）は、図４の例におけるビデオ符号器（４０３）の代わりに使用されてもよい。
【0046】
ビデオ符号器（６０３）は、ビデオソース（６０１）（ビデオソースは図６の例における電子機器（６２０）の一部ではない）からビデオサンプルを受信し、当該ビデオソースは、ビデオ符号器（６０３）によって符号化されるビデオ画像をキャプチャすることができる。別の例では、ビデオソース（６０１）は、電子機器（６２０）の一部である。
【0047】
ビデオソース（６０１）は、ビデオ符号器（６０３）によって符号化される、デジタルビデオサンプルストリームの形であるソースビデオシーケンスを提供することができ、当該デジタルビデオサンプルストリームは、任意の適切なビット深度（例えば：８ビット、１０ビット、１２ビットなど）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢなど）、及び任意の適切なサンプリング構成（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有することができる。メディアサービスシステムにおいて、ビデオソース（６０１）は、事前に準備されたビデオを記憶するための記憶装置であってもよい。ビデオ会議システムにおいて、ビデオソース（６０１）は、ビデオシーケンスとして、ローカル画像情報をキャプチャするための撮影装置であってもよい。ビデオデータは、順番に見たときに、動きを伝える複数の個別のピクチャとして提供できる。ピクチャ自体は、空間画素アレイとして編成でき、使用するサンプリング構成、色空間などに依存し、各画素には１つ以上のサンプルが含まれてもよい。画素とサンプルとの間の関係は、当業者にとって容易に理解できる。以下、サンプルを中心に説明する。
【0048】
実施形態によれば、ビデオ符号器（６０３）は、ソースビデオシーケンスのピクチャを、リアルタイムで、又はアプリケーションで必要とする他の任意の時間制約の下で、符号化されたビデオシーケンス（６４３）に符号化及び圧縮することができる。適切的な符号化速度で実行することは、コントローラ（６５０）の機能の１つである。いくつかの実施形態において、コントローラ（６５０）は、以下で説明する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。簡潔のために、結合は示されていない。コントローラ（６５０）によって設置されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値など）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）配置、最大動きベクトル検索範囲などを含んでもよい。コントローラ（６５０）は、他の適切な機能を有するように配置されてもよく、これらの機能は特定のシステム設計に対して最適化されたビデオ符号器（６０３）に関連する。
【0049】
いくつかの実施形態において、ビデオ符号器（６０３）は、符号化ループで動作するように配置される。非常に簡略化した説明として、例では、符号化ループは、ソース符号器（６３０）（例えば、符号化対象となる入力ピクチャと参照ピクチャに基づき、シンボルストリームのようなシンボルを作成することを担当する）と、ビデオ符号器（６０３）に埋め込まれる（ローカル）復号器（６３３）とを含むことができる。復号器（６３３）は、（リモート）復号器がサンプルデータを作成するのと同じ方法で、シンボルを再構築して、サンプルデータを作成する（開示されたテーマでは考慮されるビデオ圧縮技術において、シンボルと符号化ビデオビットストリームとの間の任意の圧縮は可逆であるためである）。再構築されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号化により、復号器の位置（ローカル又はリモート）と関係がないビットが正確である（ｂｉｔ－ｅｘａｃｔ）結果が得られるから、参照ピクチャメモリ（６３４）におけるコンテンツはローカル符号器とリモート符号器との間でもビットが正確である。言い換えれば、符号器の予測部分は、復号化中に予測を使用するときに復号器が「見る」サンプル値とまったく同じサンプル値を、参照ピクチャサンプルとして見る。参照ピクチャの同期性（及び、例えばチャネル誤差から、同期性を維持できない場合に発生するドリフト）の当該基本原理もいくつかの関連分野に適用される。
【0050】
「ローカル」復号器（６３３）の動作は、図５を結合しながら以上で詳細に説明した「リモート」復号器（例えばビデオ復号器（５１０））の動作と同じであってもよい。ただし、さらに、図５を簡単に参照し、シンボルは、使用可能であり、エントロピー符号器（６４５）とパーサー（５２０）がシンボルを符号化されたビデオシーケンスに無損失で符号化／復号化する場合、バッファメモリ（５１５）とパーサー（５２０）とを含めるビデオ復号器（５１０）のエントロピー復号化部分は、ローカル復号器（６３３）で完全に実現されることができないおそれがある。
【0051】
この場合、復号器に存在する解析／エントロピー復号化に加えて、任意の復号器技術も、必然的に基本的に同じ機能形式で対応する符号器に存在することが分かる。このため、開示されたテーマは、復号器の動作に着目する。符号器技術と完全に説明された復号器技術とは相互に逆であるため、符号器技術の説明を簡略化できる。より詳しい説明は、特定の領域のみで必要であり、以下で提供される。
【0052】
動作中に、いくつかの例では、ソース符号器（６３０）は、動き補償予測符号化を実行することができ、即ち、ビデオシーケンスからの、「参照ピクチャ」として指定される１つ以上の以前に符号化されたピクチャを参照して、入力ピクチャに対して予測符号化を実行する。このようにして、符号化エンジン（６３２）は、入力ピクチャの画素ブロックと、入力ピクチャの予測参照として選択されることができる参照ピクチャの画素ブロックとの間の差を符号化する。
【0053】
ローカルビデオ復号器（６３３）は、ソース符号器（６３０）によって作成されるシンボルに基づき、参照ピクチャとして指定されることができるピクチャの符号化されたビデオデータを復号化することができる。符号化エンジン（６３２）の動作は、有利には、非可逆処理であってもよい。符号化されたビデオデータはビデオ復号器（図６には図示せず）で復号化され得る場合、再構築されたビデオシーケンスは、一般的に、多少の誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオ復号器（６３３）は、参照ピクチャに対してビデオ復号器によって実行される復号化処理を複製し、再構築された参照ピクチャを参照ピクチャキャッシュ（６３４）に記憶することができる。このようにして、（送信誤差なしに）リモートビデオ復号器から取得される再構築参照ピクチャとして、ビデオ符号器（６０３）は、共通コンテンツを有する再構築参照ピクチャのレプリカをローカルに記憶することができる。
【0054】
予測器（６３５）は、符号化エンジン（６３２）に対して予測検索を実行する。即ち、符号化対象となる新たなピクチャに対して、予測器（６３５）は、参照ピクチャメモリ（６３４）から、新たなピクチャの適切な予測参照として使用可能な、（候補参照画素ブロックとしての）サンプルデータ又は例えば、参照ピクチャ動きベクトル、ブロック形状などのメタデータを検索することができる。予測器（６３５）は、サンプルブロックにおいて、画素ブロックごとに動作することで、適切な予測参照を見つけることができる。場合によって、予測器（６３５）によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶される複数の参照ピクチャから抽出される予測参照を有することができる。
【0055】
コントローラ（６５０）は、例えばビデオデータを符号化するためのパラメータとサブグループパラメータの設置を含むソース符号器（６３０）の符号化動作を管理することができる。
【0056】
全ての前記機能ユニットの出力は、エントロピー符号器（６４５）でエントロピー符号化されることができる。エントロピー符号器（６４５）は、当業者に知られている技術（例えばハフマン符号化、可変長符号化、算術符号化など）に従って、シンボルを可逆圧縮することで、各機能ユニットによって生成されたシンボルを、符号化されたビデオシーケンスに変換する。
【0057】
送信機（６４０）は、通信チャネル（６６０）を介した送信の準備をするように、エントロピー符号器（６４５）によって作成される符号化されたビデオシーケンスをバッファリングすることができ、当該通信チャネルは、符号化されたビデオデータを記憶するための記憶装置へのハードウェア／ソフトウェアリンクであってもよい。送信機（６４０）は、ビデオ符号器（６０３）からの符号化されたビデオデータと、送信対象となる他のデータ、例えば符号化されたオーディオデータ及び／又は補助データストリーム（ソースは図示せず）をマージすることができる。
【0058】
コントローラ（６５０）は、ビデオ符号器（６０３）の動作を管理することができる。符号化中に、コントローラ（６５０）は、各符号化されたピクチャに、対応するピクチャに適用される符号化技術に影響を与える可能性がある特定の符号化ピクチャタイプを割り当てる。例えば、一般的に、ピクチャは次のピクチャタイプのいずれかとして割り当てられる。
【0059】
イントラピクチャ（Ｉピクチャ）は、シーケンス内の任意の他のピクチャを予測のソースとして使用せず、符号化及び復号化されるピクチャであってもよい。一部のビデオコーデックは、例えば独立復号器リフレッシュ（「ＩＤＲ」）ピクチャを含む異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形、及び対応する用途及び特徴を知っている。
【0060】
予測ピクチャ（Ｐピクチャ）は、次のようなイントラ予測又はインター予測を使用して符号化及び復号化するピクチャであってもよく、当該イントラ予測又はインター予測は多くとも１つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。
【0061】
双方向予測ピクチャ（Ｂピクチャ）は、次のようなイントラ予測又はインター予測を使用して符号化及び復号化するピクチャであってもよく、当該イントラ予測又はインター予測は多くとも２つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。同様に、複数の予測ピクチャは、２つを超える参照ピクチャと関連するメタデータを、単一のブロックの再構築に適用する。
【0062】
ソースピクチャは一般的に、空間的に複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８又は１６×１６個のサンプルのブロック）に細分化され、ブロックごとに符号化されることができる。これらのブロックは、他の（符号化された）ブロックを参照して、予測的に符号化されることができ、前記他のブロックは、ブロックの対応するピクチャに適用される符号化割当によって決定される。例えば、Ｉピクチャのブロックは、非予測的に符号化されるか、又はこれらのブロックは、同じピクチャの符号化されたブロックを参照して、予測的に符号化（空間的予測又はイントラ予測）されてもよい。Ｐピクチャの画素ブロックは、以前に符号化された１つの参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化されてもよい。Ｂピクチャのブロックは、以前に符号化された１つ又は２つの参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化されてもよい。
【0063】
ビデオ符号器（６０３）は、例えばＩＴＵ－Ｔ Ｈ．２６５勧告書における所定のビデオ符号化技術又は規格に基づき符号化動作を実行することができる。その動作において、ビデオ符号器（６０３）は、入力ビデオシーケンスにおける時間的と空間的冗長性を使用した予測的符号化動作が含まれる様々な圧縮動作を実行することができる。従って、符号化されたビデオデータは、使用されているビデオ符号化技術又は規格によって指定される構文に準拠している。
【0064】
実施形態において、送信機（６４０）は、符号化されたビデオとともに追加のデータを送信する。ソース符号器（６３０）は、符号化されたビデオシーケンスの一部として、このようなデータを含んでもよい。追加のデータは、時間／空間／ＳＮＲ拡張層、冗長ピクチャとスライスのような他の形式の冗長データ、補充拡張情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを含んでもよい。
【0065】
ビデオは、時系列における複数のソースピクチャ（ビデオピクチャ）としてキャプチャされてもよい。イントラピクチャ予測（一般的にイントラ予測と簡略化される）は、特定のピクチャにおける空間相関性を使用し、インターピクチャ予測は、ピクチャの間の（時間的又はその他の）相関性を使用する。例では、現在ピクチャと呼ばれる符号化／復号化中の特定のピクチャは、ブロックに分割される。現在ピクチャにおけるブロックは、ビデオにおける、以前に符号化され、まだバッファリングされている参照ピクチャにおける参照ブロックに類似している場合、動きベクトルと呼ばれるベクトルによって、現在ピクチャにおけるブロックを符号化することができる。動きベクトルは、参照ピクチャにおける参照ブロックを指し、複数の参照ピクチャを使用する場合、参照ピクチャを認識するための第３次元を有してもよい。
【0066】
いくつかの実施形態において、インターピクチャ予測に双方向予測技術を使用することができる。双方向予測技術によれば、ビデオにおける現在ピクチャよりも復号化順で前にある（ただし、それぞれ表示順で過去と将来となる可能性がある）第１参照ピクチャと第２参照ピクチャの２つの参照ピクチャを使用する。第１参照ピクチャにおける第１参照ブロックを指す第１動きベクトル、及び第２参照ピクチャにおける第２参照ブロックを指す第２動きベクトルによって、現在ピクチャにおけるブロックを符号化することができる。ブロックは第１参照ブロックと第２参照ブロックとの組み合わせによって予測することができる。
【0067】
また、符号化効率を向上させるために、インターピクチャ予測にマージモード技術を使用する。
【0068】
本開示のいくつかの実施形態によれば、ブロックごとにインターピクチャ予測及びイントラピクチャ予測のような予測を実行する。例えば、ＨＥＶＣ規格によれば、ビデオピクチャシーケンスにおけるピクチャは、圧縮のために符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャにおけるＣＴＵは、例えば６４×６４画素、３２×３２画素又は１６×１６画素などの同じサイズを有する。ＣＴＵは一般的に、１つの輝度ＣＴＢと２つの色度ＣＴＢという３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ以上の符号化ユニット（ＣＵ）に再帰的に四分木で分割することができる。例えば、６４×６４画素であるＣＴＵを１つの６４×６４画素であるＣＵ、又は４つの３２×３２画素であるＣＵ、或いは１６個の１６×１６画素であるＣＵに分割してもよい。例では、各ＣＵを分析して、インター予測タイプ又はイントラ予測タイプなどのＣＵのための予測タイプを決定する。ＣＵは、時間的及び／又は空間的予測可能性によって、１つ以上の予測ユニット（ＰＵ）に分割される。各ＰＵは一般的に、輝度予測ブロック（ＰＢ）と２つの色度ＰＢとを含む。実施形態において、符号化（符号化／復号化）における予測動作は、予測ブロックごとに実行される。予測ブロックの例として、輝度予測ブロックを使用する場合、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などの画素値（例えば、輝度値）の行列を含む。
【0069】
図７は、本開示の他の実施形態によるビデオ符号器（７０３）の図を示す。ビデオ符号器（７０３）は、ビデオピクチャシーケンスにおける現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信するとともに、処理ブロックを符号化ビデオシーケンスの一部である符号化ピクチャに符号化するように配置される。例では、ビデオ符号器（７０３）は、図４の例におけるビデオ符号器（４０３）の代わりに使用される。
【0070】
ＨＥＶＣの例において、ビデオ符号器（７０３）は、処理ブロックのためのサンプル値の行列を受信し、処理ブロックは、例えば８×８サンプルの予測ブロックなどである。ビデオ符号器（７０３）は、例えばレート歪み最適化によって、イントラモード、インターモード、双方向予測モードのいずれを使用して処理ブロックを最適に符号化するかということを決定する。処理ブロックをイントラモードで符号化する場合、ビデオ符号器（７０３）はイントラ予測技術によって、処理ブロックを符号化ピクチャに符号化し、処理ブロックをインターモード又は双方向予測モードで符号化する場合、ビデオ符号器（７０３）はそれぞれインター予測又は双方向予測技術によって、処理ブロックを符号化ピクチャに符号化することができる。あるビデオ符号化技術では、マージモードは、インターピクチャ予測サブモードであってもよく、予測器の外部の符号化された動きベクトル成分を使用せず、１つ以上の動きベクトル予測器から動きベクトルを取得する。ある他のビデオ符号化技術では、テーマブロックに適用される動きベクトル成分が存在し得る。例では、ビデオ符号器（７０３）は、例えば処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他のコンポーネントを含む。
【0071】
図７の例では、ビデオ符号器（７０３）は、図７に示すように連結されたインター符号器（７３０）、イントラ符号器（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差符号器（７２４）、汎用コントローラ（７２１）及びエントロピー符号器（７２５）を有する。
【0072】
インター符号器（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、当該ブロックと参照ピクチャにおける１つ以上の参照ブロック（例えば、前のピクチャとその後のピクチャにおけるブロック）とを比較し、インター予測情報（例えば、インター符号化技術による冗長情報記述、動きベクトル、マージモード情報）を生成し、インター予測情報に基づき、任意の適切な技術を使用してインター予測結果（例えば、予測されたブロック）を計算するように配置される。いくつかの例では、参照ピクチャは、符号化されたビデオ情報に基づき復号化された復号化の参照ピクチャである。
【0073】
イントラ符号器（７２２））は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によって、当該ブロックと同じピクチャにおける符号化されたブロックとを比較し、変換後の量子化係数を生成し、また、場合によって、イントラ予測情報（例えば、１つ以上のイントラ符号化技術によるイントラ予測方向情報）をさらに生成するように配置される。
【0074】
汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づき、ビデオ符号器（７０３）の他のコンポーネントを制御するように配置される。例では、汎用コントローラ（７２１）はブロックのモードを決定し、当該モードに基づき、制御信号をスイッチ（７２６）に提供する。例えば、モードがイントラモードである場合、汎用コントローラ（７２１）は、残差計算器（７２３）の使用のためのイントラモード結果を選択するようにスイッチ（７２６）を制御するとともに、イントラ予測情報を選択してビットストリームに含めるように、エントロピー符号器（７２５）を制御し、モードがインターモードである場合、汎用コントローラ（７２１）は、残差計算器（７２３）の使用のためのインター予測結果を選択するようにスイッチ（７２６）を制御するとともに、インター予測情報を選択してビットストリームに含めるようにエントロピー符号器（７２５）を制御する。
【0075】
残差計算器（７２３）は、受信されたブロックとイントラ符号器（７２２）又はインター符号器（７３０）から選択された予測結果との間の差（残差データ）を計算するように配置される。残差符号器（７２４）は残差データに基づき動作して、残差データを符号化することで、変換係数を生成するように配置される。例では、残差符号器（７２４）は、周波数領域における残差データを変換して、変換係数を生成するように配置される。そして、変換係数は、量子化処理され、量子化された変換係数が得られる。
【0076】
エントロピー符号器（７２５）は、符号化されたブロックが含まれるようにビットストリームをフォーマットするように配置される。エントロピー符号器（７２５）は、ＨＥＶＣ規格などの適切な規格に従って様々な情報を含むように配置される。例では、エントロピー符号器（７２５）は、ビットストリームには汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報及び他の適切な情報が含まれるように配置される。開示されたテーマによれば、双方向予測モード又はインターモードのマージサブモードでブロックを符号化する場合、残差情報がないことに注意されたい。
【0077】
図８は、本開示の他の実施形態によるビデオ復号器（８１０）の図を示す。ビデオ復号器（８１０）は、符号化ビデオシーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号化して、再構築されたピクチャを生成するように配置される。例では、ビデオ復号器（８１０）は、図４の例におけるビデオ復号器（４１０）の代わりに使用される。
【0078】
図８の例では、ビデオ復号器（８１０）は、図８に示すように連結されたエントロピー復号器（８７１）、インター復号器（８８０）、残差復号器（８７３）、再構築モジュール（８７４）及びイントラ復号器（８７２）を含む。
【0079】
エントロピー復号器（８７１）は、符号化されたピクチャに基づき、特定のシンボルを再構築するように配置され、これらのシンボルは、符号化されたピクチャを構成する構文要素を示す。このようなシンボルは、例えば、ブロックを符号化するためのモード（例えば、イントラモード、インターモード、双方向予測モード、マージサブモード又は別のサブモードにおける後の２つ）、イントラ復号器（８７２）又はインター復号器（８８０）による予測にそれぞれ使用されるするいくつかのサンプル又はメタデータを認識できる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば量子化された変換係数という形を有する残差情報などを含むことができる。例では、予測モードがインター又は双方向予測モードである場合、インター予測情報をインター復号器（８８０）に提供し、予測タイプがイントラ予測タイプである場合、イントラ予測情報をイントラ復号器（８７２）に提供する。残差情報は逆量子化されて残差復号器（８７３）に提供される。
【0080】
インター復号器（８８０）は、インター予測情報を受信し、インター予測情報に基づきインター予測結果を生成するように配置される。
【0081】
イントラ復号器（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づき予測結果を生成するように配置される。
【0082】
残差復号器（８７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するように配置される。残余復号器（８７３）は、（量子化器パラメータ（ＱＰ）を含むために）いくつかの制御情報も必要とする場合があり、当該情報は、エントロピー復号器（８７１）から提供されることができる（これは低容量の制御情報のみであるから、データパスは示されない）。
【0083】
再構築モジュール（８７４）は、空間領域において、残差復号器（８７３）から出力された残差と予測結果（状況に応じて、インター予測モジュール又はイントラ予測モジュールから出力される）とを組み合わせることで、再構築されるブロックを形成するように配置され、当該再構築されるブロックは、再構築されるピクチャの一部であってもよく、さらに、当該再構築されるピクチャは、再構築されるビデオの一部であってもよい。なお、視覚的品質を向上させるために、デブロッキング動作などの他の適切な動作を実行することができる。
【0084】
なお、任意の適切な技術を使用してビデオ符号器（４０３）、（６０３）、（７０３）及びビデオ復号器（４１０）、（５１０）、（８１０）を実現することができる。実施形態において、１つ以上の集積回路によってビデオ符号器（４０３）、（６０３）、（７０３）及びビデオ復号器（４１０）、（５１０）、（８１０）を実現することができる。別の実施形態において、ソフトウェア命令を実行する１つ以上のプロセッサによってビデオ符号器（４０３）、（６０３）、（７０３）及びビデオ復号器（４１０）、（５１０）、（８１０）を実現することができる。本開示のいくつかの態様によれば、イントラ予測の場合に、広角モードを使用して、ビデオを圧縮し、帯域幅又はストレージスペース記憶空間の要件を低減することができる。
【0085】
図９は、広角モードの例を説明するための概略図（９００）を示す。一般的に、イントラ予測は、右上の４５度方向（図９における３４を指す矢印に対応し、モード３４を指示する）から左下の４５度方向（図９における２を指す矢印に対応し、モード２を指示する）までの範囲内にあり、通常イントラ予測モードと呼ばれる。３５ＨＥＶＣイントラ予測モードを適用する場合、モード２は左下対角線モードと呼ばれ、モード３４は右上対角線モードと呼ばれる。通常イントラ予測モードによってカバーされる予測方向範囲を超えた広角は、広角イントラ予測モードに対応する。
【0086】
いくつかの例では、広角イントラ予測方向は１つの通常イントラ予測方向に関連する。例えば、広角イントラ予測方向及び関連するイントラ予測方向は、同じ方向性をキャプチャするが、反対側（左の列又は一番上の行）の参照サンプルを使用する。例では、使用可能な広角「反転モード」を有する関連方向に対する１ビットフラグを送信することで、広角イントラ予測モードを合図する。図９の例では、３５を指す矢印を有する第１方向は広角イントラ予測方向であり、０３を指す矢印を有する第２方向に関連する。そのため、第２方向に対する１ビットフラグを送信することで、第１方向を合図することができる。
【0087】
実施形態において、３３方向角度イントラ予測の場合、新たなモードの使用可能性は、４５度対角線右上モード（即ち、３５個の通常イントラモードを使用する際のモード３４）と左下モード（即ち、３５個の通常イントラモードを使用する際のモード２）に最も近い１０個の方向モードに限定される。実際のサンプル予測処理は、ＨＥＶＣ又はＶＶＣにおける予測処理に従う。
【0088】
図９の例では、モード２～モード３４に関連する３３個のイントラ予測方向を示す。例では、ブロックの幅がブロックの高さよりも大きい場合、モード３５とモード３６に関連する方向は、広角イントラ予測方向として使用されることができる。次に、モード３とモード４とは、指示されるモードを使用するか、それともモード３５とモード３６の反転された広角方向を使用するかということを指示する余分なフラグを有する。いくつかの例（例えば、グローバルビデオコーディングテストモデル１（ＶＴＭ１））では、四分木、二分木及び三分木（ＱＴ＋ＢＴ＋ＴＴ）という分割構造で、正方形ブロック及び非正方形ブロックをサポートする。正方形ブロックと非正方形ブロックのためのイントラ予測が正方形ブロックに対して同じイントラ予測モード（例えば、モード２～モード３４）を使用するように設計される場合、イントラ予測モード（例えば、図９の例におけるモード２～モード３４）は非正方形ブロックに対して効率的ではない。広角予測モード（例えば、図９の例におけるモード３５とモード３６）は、より効率的に非正方形ブロックを符号化するために使用されることができる。
【0089】
いくつかの例では、広角イントラ予測のシグナリングはイントラ予測モードに依存する。従って、広角制御フラグを解析する場合、解析依存という問題が存在する（解析処理において、イントラ予測モードを再構築しなければならない）。
【0090】
いくつかの実施形態において、正方形ブロックのためのいくつかのイントラ予測モードを非正方形ブロックのための広角予測モードに再マッピングする。例では、再マッピング処理において、正方形ブロックに対して本来使用される１組のイントラ予測モードから正方形ブロックのためのいくつかのイントラ予測モードを除去するとともに、同じ数の広角予測モードをこの組のイントラ予測モードに追加することで、特定の非正方形ブロックのための新たな１組のイントラ予測モードを形成する。従って、イントラ予測モード組における特定数のモードが変更され、他のモードが同じに保たれる。いくつかの例では、変更された特定数のモードはブロックの形状、例えばブロックのアスペクト比に依存する。
【0091】
正方形ブロックに対して、１組の通常イントラ予測モードをイントラ予測に適用し、この組の通常イントラ予測モードのモード数は３５個、６７個などであってもよい。非正方形ブロックに対して、この組の通常イントラ予測モードからいくつかのモードを除去し、（除去されたモードと）同じ数の広角モードを残りの通常イントラ予測モードに追加することで、新たな１組のイントラ予測モードを形成することができる。従って、例では、非正方形ブロックと正方形ブロックのための、合図されるモードインデックスは同じであり、非正方形ブロックと正方形ブロックは同じモード符号化アルゴリズムを共有する。３５個の通常イントラ予測モードである場合、追加された右上の広角モードのインデックスはモード３５、モード３６、モード３７、モード３８などであり、追加された左下の広角モードのインデックスはモード－１、モード－２、モード－３、モード－４などである。
【0092】
図１０と図１１は、いくつかの通常イントラ予測モードを広角モードに再マッピングする２つの例を示す。図１０において、モード２～モード３４は図１０に示されるイントラ予測方向に関する。モード２～モード３４はモード０とモード１とともに、正方形ブロックのための１組の通常イントラ予測モードを形成する。図１０の例では、この組の通常イントラ予測モードからモード２とモード３（破線で示される）を除去する。また、広角モード３５とモード３６（点線で示される）を追加し、モード３５の方向はモード３の方向と反対し（（１００１）で示される）、モード３６の方向はモード４の方向と反対する（（１００２）で示される）。従って、モード４～モード３６はモード０とモード１とともに、特定の非正方形ブロックのための新たな１組のイントラ予測モードを形成する。
【0093】
図１１において、モード３３とモード３４（破線で示される）を除去し、広角モード－１とモード－２（点線で示される）を追加する。モード－１の方向は、モード３３の方向と反対し（（１１０１）で示される）、モード－２の方向は、モード３２の方向と反対する（（１１０２）で示される）。従って、モード－２、モード－１、及びモード２～モード３２は、モード０とモード１とともに、特定の非正方形ブロックのための新たな１組のイントラ予測モードを形成する。
【0094】
一実施形態において、除去された通常モードと追加された広角モードとの間の角距離は９０度よりも大きく、且つ１８０度以下である。例えば、３５個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード２～モード５を除去し、広角モード３５～モード３８を追加し、高さが幅よりも大きい場合、モード３１～モード３４を除去し、モード－１～モード－４を追加する。別の例では、６７個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード２～モード９を除去し、モード６７～モード７４を追加し、高さが幅よりも大きい場合、モード５９～モード６６を除去し、モード－１～モード－８を追加する。
【0095】
代替の実施形態において、除去された通常モードと追加された広角モードとは反対方向である。例えば、３５個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード３～モード６を除去し、モード広角モード３５～モード３８を追加し、高さが幅よりも大きい場合、モード３０～モード３３を除去し、モード－１～モード－４を追加する。また、例えば、６７個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード３～モード１０を除去し、広角モード６７～モード７４を追加し、高さが幅よりも大きい場合、モード５８～モード６５を除去し、広角モード－１～モード－８を追加する。
【0096】
代替の実施形態において、幅が高さよりも大きい場合、左下方向にあるいくつかの通常モードを除去し、同じ数の右上方向にある広角モードを追加する。さもなければ、高さが幅よりも大きい場合、右上方向にあるいくつかのモードを除去し、同じ数の左下方向にある広角モードを追加する。
【0097】
例えば、３５個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード２～モード５を除去し、広角モード３５～モード３８を追加し、高さが幅よりも大きい場合、モード３１～モード３４を除去し、広角モード－１～モード－４を追加する。
【0098】
代替の実施形態において、全ての非正方形ブロック形状に対して、除去された通常イントラ予測モードの数は固定である。全ての非正方形ブロックに対して、Ｎ個の通常イントラ予測モードを除去し、相応的にＮ個の広角モードを追加する。例えば、３５個の通常モードを使用する場合、Ｎは１～７であってもよく、６７個の通常モードを使用する場合、Ｎは２～１４であってもよく、及び１２９個の通常イントラ予測モードを使用する場合、Ｎは４～２８であってもよい。
【0099】
サブ実施形態において、Ｎは、（例えば、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダにおいて）高度な構文要素、又はピクチャの領域のための共通構文要素やパラメータとして、合図されることができる。
【0100】
１つの例では、３５個の通常イントラ予測モードが存在する場合、４つの通常イントラモードを除去し、６７個の通常イントラ予測モードが存在する場合、８つの通常イントラモードを除去する。
【0101】
代替の実施形態において、除去された通常イントラ予測モードの数は、非正方形ブロックの形状に依存する。
【0102】
いくつかの例では、幅／高さ≦２又は高さ／幅≦２（アスペクト比＝幅／高さ、ｌ＜アスペクト比≦２、或いは１／２≦アスペクト比＜ｌ）である場合、Ｍ個の通常イントラ予測モードが除去される。また、幅／高さ≧４又は高さ／幅≧４（アスペクト比≧４又はアスペクト比≦１／４）である場合、Ｎ個の通常イントラ予測モードが除去される。また、例では、２＜アスペクト比＜４又は１／４≦アスペクト比＜１／２である場合、Ｐ個の通常イントラ予測モードが除去される。例では、ＭはＮに等しくない。１つの例では、３５個の通常イントラ予測モードが存在する場合、Ｍは３に等しく、Ｎは５に等しく、６７個の通常イントラ予測モードが存在する場合、Ｍは６に等しく、Ｎは１０に等しい。Ｐは、Ｍ又はＮと同じであってもよく、又は、ＭとＮとも異なってもよい。
【0103】
サブ実施形態において、ＭとＮとは、（例えば、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダにおいて）高度な構文要素、又はピクチャの領域のための共通構文要素やパラメータとして合図されることができる。別の例では、除去された通常イントラ予測モードの数は符号化された情報に依存し、ブロックの幅、ブロックの高さ、及びブロックの幅と高さとの比率、ブロック領域のサイズが含まれるが、これらに限定されていない。
【0104】
代替の実施形態において、除去された通常イントラ予測モードは、左下対角線モード（即ち、３５個のモードを使用する場合のモード２）又は右上対角線モード（即ち、３５個のモードを使用する場合のモード３４）から開始し、追加された広角モードは、左下対角線モード又は右上対角線モードを超えた最も近い角（即ち、モード１又はモード３５）から開始する。
【0105】
いくつかの例では、除去された通常モードと追加された広角モードとは連続的又は非連続的であってもよい。１つの例では、３５個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード２～モード５を除去し、広角モード３５～モード３８を追加する。別の例では、３５個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード２～モード５を除去し、広角モード３５、モード３７、モード３８及びモード３９を追加する。
【0106】
代替の実施形態において、使用／除去された通常イントラ予測モードは、追加された広角モードを指示するために使用される。その結果、未使用の通常イントラ予測モードは引き続き合図されるが、これらの未使用の通常イントラ予測モードの意味は、追加された広角モードに変換される。例えば、幅が高さよりも大きい場合、モード２を除去するが、モード２を引き続き合図する。１つの非正方形ブロックに対して、復号器がモード２を復号化し、幅が高さよりも大きい場合、復号器はモード２をモード３５に変換する。
【0107】
代替の実施形態において、現在ブロックの最も可能性の高いモード（ＭＰＭ）を取得するために、隣接ブロックのイントラ予測が現在ブロックのイントラ予測方向範囲を超える場合、隣接ブロックのモードは、現在ブロックのイントラ予測の方向範囲によってカバーされる最も近い方向にマッピングされる。例えば、現在ブロックは正方形ブロックであり、その左にあるブロックは非正方形ブロックであり、左にあるブロックのモード番号は３５である。モード３５は現在ブロックのモード範囲によってカバーされていない。従って、左にあるブロックのモードは、現在ブロックのモード範囲によってカバーされる最も近いモード３４にマッピングされる。
【0108】
いくつかの実施形態において、矩形ブロックに対して広角予測によってイントラ予測処理を実行する。イントラ予測処理は、例えば、イントラ予測モード（ｐｒｅｄＭｏｄｅＩｎｔｒａで表される）、現在ブロックの幅（ｎＷｉｄｔｈで表される）、ブロックの高さ（ｎＨｅｉｇｈｔで表される）、隣接サンプル（ｐ[ｘ][ｙ]で表され、（ｘ＝－１，ｙ＝－１～ｎＷｉｄｔｈ＋ｎＨｅｉｇｈｔ－１）（ｘ＝０～ｎＷｉｄｔｈ＋ｎＨｅｉｇｈｔ－１，ｙ＝－１））、及び現在ブロックの色成分を指定する変数ｃＩｄｘのような入力を受信する。イントラ予測処理は、予測サンプルｐｒｅｄＳａｍｐｌｅｓ[ｘ][ｙ]を生成することができ、その中、ｘ＝０～ｎＷｉｄｔｈ－１，ｙ＝０～ｎＨｅｉｇｈｔ－１である。
【0109】
いくつかの実施形態において、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａと角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅとの間のマッピングに基づき、イントラ予測処理を実行する。
【0110】
図１２は４３個のイントラ予測方向を説明するための概略図を示す。４３個のイントラ予測方向は、通常イントラ予測モードのモード２～モード３４に対応する３３個の通常イントラ予測方向を含み、さらに、（モード３５～モード３９に示すように）モード３４を超えて広がる５つの広角方向、及び、（モード－１～モード－５に示すように）モード２を超えて広がる５つの広角方向を含む。
【0111】
図１２はさらに頂部標尺（上標尺）と左側標尺（左標尺）を示す。いくつかの例では、角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅは頂部標尺又は左側標尺によって測定される。表１はイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａと角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅとの間のマッピングテーブルを指定する。
【表1】
【0112】
例では、入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａは除去された通常イントラ予測モードの１つであり、入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａは、現在ブロックのアスペクト比（ｎＷｉｄｔｈ／ｎＨｅｉｇｈｔ）に基づき、広角モードに変換される。
【0113】
例えば、ｎＷｉｄｔｈ／ｎＨｅｉｇｈｔ＝２且つ２≦ｐｒｅｄＭｏｄｅＩｎｔｒａ≦４である場合、ｐｒｅｄＭｏｄｅＩｎｔｒａ←ｐｒｅｄＭｏｄｅＩｎｔｒａ＋３３になる。具体的に、ブロックの幅ｎＷｉｄｔｈがブロックの高さｎＨｅｉｇｈｔの２倍である場合、１組の通常イントラ予測モードから３つの通常イントラ予測モード（モード２、モード３及びモード４）を除去し、３つの広角モード（モード３５、モード３６及びモード３７）と残りの通常イントラ予測モードを加算することで、当該ブロックのための新たな１組のイントラ予測モードを形成する。入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａが除去されたモードの１つに対応する場合、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａは広角モードに変換される。
【0114】
また、ｎＷｉｄｔｈ／ｎＨｅｉｇｈｔ≧４且つ２≦ｐｒｅｄＭｏｄｅＩｎｔｒａ≦６である場合、ｐｒｅｄＭｏｄｅＩｎｔｒａ←ｐｒｅｄＭｏｄｅＩｎｔｒａ＋３３になる。具体的に、ブロックの幅ｎＷｉｄｔｈがブロックの高さｎＨｅｉｇｈｔの４倍の以上である場合、１組の通常イントラ予測モードから５つの通常イントラ予測モード（モード２、モード３、モード４、モード５、モード６）を除去し、５つの広角モード（モード３５、モード３６、モード３７、モード３８及びモード３９）と残りの通常イントラ予測モードとを加算することで、当該ブロックのための新たな１組のイントラ予測モードを形成する。入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａが除去されたモードの１つに対応する場合、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａは広角モードに変換される。
【0115】
また、ｎＨｅｉｇｈｔ／ｎＷｉｄｔｈ＝２且つ３２≦ｐｒｅｄＭｏｄｅＩｎｔｒａ≦３４である場合、ｐｒｅｄＭｏｄｅＩｎｔｒａ←ｐｒｅｄＭｏｄｅＩｎｔｒａ－３５になる。具体的に、ブロックの高さｎＨｅｉｇｈｔがブロックの幅ｎＷｉｄｔｈの２倍である場合、１組の通常イントラ予測モードから３つの通常イントラ予測モード（モード３４、モード３３及びモード３２）を除去し、３つの広角モード（モード－１、モード－２及びモード－３）と残りの通常イントラ予測モードとを加算することで、当該ブロックのための新たな１組のイントラ予測モードを形成する。入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａが除去されたモードの１つに対応する場合、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａは、広角モードに変換される。
【0116】
また、ｎＨｅｉｇｈｔ／ｎＷｉｄｔｈ≧４且つ３０≦ｐｒｅｄＭｏｄｅＩｎｔｒａ≦３４である場合、ｐｒｅｄＭｏｄｅＩｎｔｒａ←ｐｒｅｄＭｏｄｅＩｎｔｒａ－３５になる。具体的に、ブロックの高さｎＨｅｉｇｈｔがブロックの幅ｎＷｉｄｔｈの４倍の以上である場合、１組の通常イントラ予測モードから５つの通常イントラ予測モード（モード３４、モード３３、モード３２、モード３１、モード３０）を除去し、５つの広角モード（モード－１、モード－２、モード－３、モード－４及びモード－５）と残りの通常イントラ予測モードとを加算することで、当該ブロックのための新たな１組のイントラ予測モードを形成する。入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａが除去されたモードの１つに対応する場合、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａは広角モードに変換される。
【0117】
次に、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａに従って、例えば表１に基づき、対応する角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅを決定することができる。適切なビデオ符号化規格（例えば、ＨＥＶＣ規格）に従って、角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅに基づき、予測サンプルｐｒｅｄＳａｍｐｌｅｓ[ｘ][ｙ]を計算することができる。
【0118】
別の例では、６５個の通常イントラ予測方向を正方形ブロックのイントラ予測に適用する。例えば、図２に示すように、６５個の通常イントラ予測方向は、通常イントラ予測モードとしてのモード２～モード６６に対応する。モード２～モード６６、及びモード０（平面モード）、モード１（ＤＣモード）は、正方形ブロックのための１組６７個のイントラ予測モードを形成する。いくつかの実施形態において、一定数の通常イントラ予測モードを除去し、同じ数の広角モードを、矩形ブロックのための新たな１組のイントラ予測モードに追加し、当該数は矩形ブロックのアスペクト比に依存する。
【0119】
いくつかの実施形態において、矩形ブロック（現在ブロック）に対して広角予測によってイントラ予測処理を実行する。イントラ予測処理は、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、現在ブロックの幅ｎＷｉｄｔｈ、ブロックの高さｎＨｅｉｇｈｔ、隣接サンプル（ｐ[ｘ][ｙ]で表され、その中、（ｘ＝－１，ｙ＝－１～ｎＷｉｄｔｈ＋ｎＨｅｉｇｈｔ－１）（ｘ＝０～ｎＷｉｄｔｈ＋ｎＨｅｉｇｈｔ－１，ｙ＝－１））のような入力を受信する。イントラ予測処理は、予測サンプルｐｒｅｄＳａｍｐｌｅｓ[ｘ][ｙ]を生成することができ、その中、ｘ＝０～ｎＷｉｄｔｈ－１であり、且つｙ＝０～ｎＨｅｉｇｈｔ－１である。
【0120】
例では、変数ｗｈＲａｔｉｏは、ｍｉｎ（ａｂｓ（Ｌｏｇ２（ｎＷｉｄｔｈ／ｎＨｅｉｇｈｔ）），２）に等しくなるように限定される。ｎＷｉｄｔｈがｎＨｅｉｇｈｔよりも大きいが、ｎＨｅｉｇｈｔの２倍よりも小さい場合、ｗｈＲａｔｉｏは１よりも小さい。ｎＷｉｄｔｈがｎＨｅｉｇｈｔの２倍に等しい場合、ｗｈＲａｔｉｏは１に等しい。ｎＷｉｄｔｈがｎＨｅｉｇｈｔの２倍よりも大きいが、ｎＨｅｉｇｈｔの４倍よりも小さい場合、ｗｈＲａｔｉｏは（１、２）という範囲内にある値である。ｎＷｉｄｔｈがｎＨｅｉｇｈｔの４倍である場合、ｗｈＲａｔｉｏは２に等しい。ｎＷｉｄｔｈがｎＨｅｉｇｈｔの４倍を超えた場合、ｗｈＲａｔｉｏは２に等しい。
【0121】
同様に、ｎＨｅｉｇｈｔがｎＷｉｄｔｈよりも大きいが、ｎＷｉｄｔｈの２倍よりも小さい場合、ｗｈＲａｔｉｏは１よりも小さい。ｎＨｅｉｇｈｔがｎＷｉｄｔｈの２倍に等しい場合、ｗｈＲａｔｉｏは１に等しい。ｎＨｅｉｇｈｔがｎＷｉｄｔｈの２倍よりも大きいが、ｎＷｉｄｔｈの４倍よりも小さい場合、ｗｈＲａｔｉｏは（１、２）という範囲内にある値である。ｎＨｅｉｇｈｔがｎＷｉｄｔｈの４倍である場合、ｗｈＲａｔｉｏは２に等しい。ｎＨｅｉｇｈｔがｎＷｉｄｔｈの４倍を超えた場合、ｗｈＲａｔｉｏは２に等しい。そのため、ｗｈＲａｔｉｏはブロック形状の関数であり、ブロックの配向に依存していない。
【0122】
例では、入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａは、除去された通常イントラ予測モードの１つであり、入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａは、現在ブロックのｗｈＲａｔｉｏに基づき、広角モードに変換される。
【0123】
例えば、ｎＷｉｄｔｈがｎＨｅｉｇｈｔよりも大きいが、ｎＨｅｉｇｈｔの２倍よりも小さい場合、ｗｈＲａｔｉｏは１よりも小さく、１組の通常イントラ予測モードから、６つの通常イントラ予測モード（モード２～モード７）を除去し、６つの広角モード（モード６７～モード７２）と残りの通常イントラ予測モードとを加算することで、ブロックのための新たな１組のイントラ予測モードを形成する。入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａが除去されたモード（２以上且つ８よりも小さい）の１つに対応する場合、６５を加算することで、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａを広角モードに変換する。
【0124】
また、ｎＷｉｄｔｈがｎＨｅｉｇｈｔの４倍の以上である場合、１組の通常イントラ予測モードから１０つの通常イントラ予測モード（モード２～モード１１）を除去し、１０つの広角モード（モード６７～モード７６）と残りの通常イントラ予測モードとを加算することで、ブロックのための新たな１組のイントラ予測モードを形成する。入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａが除去されたモード（２以上且つ１２よりも小さい）の１つに対応する場合、６５を加算することで、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａを広角モードに変換する。
【0125】
また、ｎＨｅｉｇｈｔがｎＷｉｄｔｈよりも大きいが、ｎＷｉｄｔｈの２倍よりも小さい場合、ｗｈＲａｔｉｏは１よりも小さく、１組の通常イントラ予測モードから６つの通常イントラ予測モード（モード６１～モード６６）を除去し、６つの広角モード（モード－１～モード－６）と残りの通常イントラ予測モードとを加算することで、ブロックのための新たな１組のイントラ予測モードを形成する。入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａが除去されたモード（６１以上且つ６７よりも小さい）の１つに対応する場合、６７を差し引くことで、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａを広角モードに変換する。
【0126】
また、ｎＨｅｉｇｈｔがｎＷｉｄｔｈの４倍の以上である場合、１組の通常イントラ予測モードから１０つの通常イントラ予測モード（モード５７～モード６６）を除去し、１０つの広角モード（モード－１～モード－１０）と残りの通常イントラ予測モードとを加算することで、ブロックのための新たな１組のイントラ予測モードを形成する。入力中のイントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａが除去されたモード（５７以上且つ６７よりも小さい）の１つに対応する場合、６７を差し引くことで、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａを広角モードに変換する。
【0127】
次に、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａに従って、例えばルックアップテーブルに基づき、対応する角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅを決定することができる。次に、適切なビデオ符号化規格（例えば、ＨＥＶＣ規格）に従って、角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅに基づき、予測サンプルｐｒｅｄＳａｍｐｌｅｓ[ｘ][ｙ]を計算することができる。
【0128】
図１３は本開示の実施形態による処理（１３００）を概略的に説明するためのフローチャートを示す。処理（１３００）は、イントラモードで符号化されたブロックの再構築に使用でき、再構築中のブロックに対して予測ブロックを生成する。各実施形態において、処理（１３００）は、端末機器（３１０）、（３２０）、（３３０）及び（３４０）における処理回路、ビデオ符号器（４０３）の機能を実行する処理回路、ビデオ復号器（４１０）の機能を実行する処理回路、ビデオ復号器（５１０）の機能を実行する処理回路、イントラ予測モジュール（５５２）の機能を実行する処理回路、ビデオ符号器（６０３）の機能を実行する処理回路、予測器（６３５）の機能を実行する処理回路、イントラ符号器（７２２）の機能を実行する処理回路、イントラ復号器（８７２）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態において、処理（１３００）はソフトウェア命令によって実現されるので、処理回路がソフトウェア命令を実行する場合、処理回路は、処理（１３００）を実行する。処理は（Ｓ１３０１）から開始し、（Ｓ１３１０）に進む。
【0129】
（Ｓ１３１０）では、ブロックのための予測情報を復号化する。例では、処理回路は、符号化されたビデオビットストリームから、ブロックの予測情報を復号化する。いくつかの例では、ブロックは非正方形のブロックであり、ブロックの予測情報は第１イントラ予測モードを指示し、前記第１イントラ予測モードは、正方形ブロックのための第１組のイントラ予測モードに含まれる。
【0130】
（Ｓ１３２０）では、処理回路は、第１イントラ予測モードが、非正方形ブロックに対して無効にされたイントラ予測モードのサブセット内にあるかどうかを決定する。第１イントラ予測モードが非正方形ブロックに対して無効にされたイントラ予測モードのサブセット内にある場合、処理は（Ｓ１３３０）に進み、さもなければ、処理は（Ｓ１３５０）に進む。
【0131】
（Ｓ１３３０）では、第１イントラ予測モードを非正方形ブロックのための第２組のイントラ予測モードにおける第２イントラ予測モードに再マッピングする。第２イントラ予測モードは広角イントラ予測モードであり、正方形ブロックのための第１組のイントラ予測モードにない。第２組のイントラ予測モードは、無効にされたイントラ予測モードのサブセットを含まない。
【0132】
（Ｓ１３４０）では、第２イントラ予測モードに基づき、ブロックのサンプルを再構築する。いくつかの例では、第２イントラ予測モードに従って、例えばルックアップテーブルに基づき、対応する角度パラメータを決定することができる。次に、適切なビデオ符号化規格（例えばＨＥＶＣ規格）に従って、角度パラメータに基づきブロックのサンプルを計算することができる。次に、処理はＳ１３９９に進んで、終了する。
【0133】
（１３５０）では、第１イントラ予測モードに基づき、ブロックのサンプルを再構築する。いくつかの例では、第１イントラ予測モードに従って、例えばルックアップテーブルに基づき、対応する角度パラメータを決定することができる。次に、適切なビデオ符号化規格（例えばＨＥＶＣ規格）に従って、角度パラメータに基づきブロックのサンプルを計算することができる。処理はＳ１３９９に進み、終了する。
【0134】
上記の技術は、コンピュータ読み取り可能な命令によってコンピュータソフトウェアとして実現され、１つ以上のコンピュータ読み取り可能な媒体に物理的に記憶される。例えば、図１４は開示されたテーマのいくつかの実施形態を実現するのに適したコンピュータシステム（１４００）を示す。
【0135】
コンピュータソフトウェアは、任意の適切なマシンコード又はコンピュータ言語によって符号化することができ、コンピュータソフトウェアは、アセンブル、コンパイル、リンクなどのメカニズムを介して、命令を含むコードを作成することができ、当該命令は、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、又は解釈、マイクロコードなどによって実行されることができる。
【0136】
当該命令は、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそれらのコンポーネントで実行されることができる。
【0137】
図１４に示めされるコンピュータシステム（１４００）のコンポーネントは、本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置は、コンピュータシステム（１４００）の例示的な実施形態に示めされたるコンポーネントのいずれか、又はそれらの組み合わせに関連する依存性又は要件を有するものとして解釈されるべきではない。
【0138】
コンピュータシステム（１４００）は、いくつかのヒューマンインタフェース入力機器を含んでもよい。このようなヒューマンインタフェース入力機器は、例えば触覚入力（例えば、キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば、音声、拍手）、視覚入力（例えば、姿勢）、嗅覚入力（図示せず）による１つ以上の人間のユーザーの入力に応答することができる。ヒューマンインタフェース機器はさらに、例えば、オーディオ（例えば、音声、音楽、環境音）、画像（例えば、スキャンした画像、静的画像撮影装置から取得された写真画像）、ビデオ（例えば、２次元ビデオ、ステレオビデオが含まれる３次元ビデオ）などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されることもできる。
【0139】
ヒューマンインタフェース入力機器は、キーボード（１４０１）、マウス（１４０２）、タッチパッド（１４０３）、タッチパネル（１４１０）、データグローブ（図示せず）、ジョイスティック（１４０５）、マイク（１４０６）、スキャナ（１４０７）、撮影装置（１４０８）のうちの１つ以上を含んでもよい（それぞれが１つのみ図示される）。
【0140】
コンピュータシステム（１４００）はさらに特定のヒューマンインタフェース出力機器を含んでもよい。このようなヒューマンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味によって１つ以上の人間のユーザーの感覚を刺激することができる。このようなヒューマンインタフェース出力機器は、触覚出力機器（例えば、タッチパネル（１４１０）、データグローブ（図示せず）又はジョイスティック（１４０５）による触覚フィードバックがあるが、入力機器として使用されない触覚フィードバック機器もある）、オーディオ出力機器（例えば、スピーカー（１４０９）、ヘッドフォン（図示せず））、視覚出力機器（例えば、スクリーン（１４１０）であって、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それぞれはタッチスクリーン入力機能がある場合とない場合、触覚フィードバック機能がある場合とない場合があり、そのうちのいくつかは、ステレオ出力のような手段で、２次元の視覚出力又は３次元以上の出力を出力できる場合がある）、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず））、プリンター（図示せず）を含むことができる。
【0141】
コンピュータシステム（１４００）はさらに人間がアクセス可能な記憶装置及びその関連する媒体を含んでもよく、例えば、ＣＤ／ＤＶＤなどの媒体（１４２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１４２０）などの光学媒体、サムドライブ（１４２２）、取り外し可能なハードドライブ又はソリッドステートドライブ（１４２３）、従来の磁気媒体（例えば、磁気テープとフロッピーディスク（図示せず））、専用ＲＯＭ／ＡＳＩＣ／ＰＬＤによる機器（例えば、ドングル（図示せず））などを含んでもよい。
【0142】
また、当業者は、現在開示されたテーマに関連して使用される「コンピュータ読み取り可能な媒体」という用語には、伝送媒体、搬送波又は他の一時的な信号が含まれていないことを理解するべきである。
【0143】
コンピュータシステム（１４００）はさらに１つ以上の通信ネットワークへのインタフェースを含んでもよい。ネットワークは、例えば無線、有線、光などのネットワークであってもよい。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車載、工業用、リアルタイム、遅延耐性などのネットワークであってもよい。ネットワークの例は、例えば、イーサネットなどのローカルエリアネットワーク、無線ＬＡＮ、セルラーネットワーク（ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含む）、テレビ有線又は無線ワイドエリアデジタル ネットワークテレビ（有線テレビ、衛星テレビ及び地上波テレビが含まれる）、車載及び工業用ネットワーク（ＣＡＮＢｕｓを含む）などを含む。一部のネットワークは一般的に、ある汎用データポート又は周辺バス（１４４９）（例えば、コンピュータシステム（１４００）のＵＳＢポート）に接続される外部ネットワークインタフェースアダプタを必要とし、他のネットワークは一般的に、以下で説明するようなシステムバス（例えば、ＰＣコンピュータシステムのイーサネットインタフェース、又はスマートフォンコンピュータシステムのセルラーネットワークインタフェース）に接続されることによって、コンピュータシステム（１４００）のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム（１４００）は他のエンティティと通信できる。このような通信は、一方向、受信のみ（例えば、放送テレビ）、一方向送信のみ（例えば、あるＣＡＮｂｕｓ機器へのＣＡＮｂｕｓ）、又は双方向（例えば、ローカルエリア又はワイドエリアデジタル ネットワークを使用して他のコンピュータシステムに達する）あってもよい。上記のようなこれらのネットワークとネットワークインタフェースのそれぞれに、特定のプロトコル及びプロトコルスタックを使用することができる。
【0144】
前記ヒューマンインタフェース機器、人間がアクセス可能な記憶装置及びネットワークインタフェースは、コンピュータシステム（１４００）のコア（１４４０）に取り付けることができる。
【0145】
コア（１４４０）は、１つ以上の中央処理ユニット（ＣＰＵ）（１４４１）、グラフィック処理ユニット（ＧＰＵ）（１４４２）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）（１４４３）の形の専用のプログラム可能な処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１４４４）などを含んでもよい。これらの機器は、読み取り専用（ＲＯＭ）（１４４５）、ランダムアクセスメモリ（１４４６）、内部大容量記憶装置（例えば、ユーザーがアクセスできない内部ハードディスクドライブ、ＳＳＤなど）（１４４７）とともに、システムバス（１４４８）を介して接続することができる。一部のコンピュータシステムにおいて、システムバス（１４４８）に１つ以上の物理プラグの形でアクセスできることで、付加的なＣＰＵ、ＧＰＵなどによる拡張を可能にすることができる。周辺機器は、直接的又は周辺バス（１４４９）を介してコアのシステムバス（１４４８）に接続することができる。周辺バスのアーキテクチャはＰＣＩ、ＵＳＢなどを含む。
【0146】
ＣＰＵ（１４４１）、ＧＰＵ（１４４２）、ＦＰＧＡ（１４４３）及びアクセラレータ（１４４４）は、組み合わせて前記コンピュータコードを構成する特定の命令を実行することができる。当該コンピュータコードは、ＲＯＭ（１４４５）又はＲＡＭ（１４４６）に記憶されることができる。一時的なデータはＲＡＭ（１４４６）にも記憶でき、永久データは、例えば内部大容量記憶装置（１４４７）に記憶される。キャッシュメモリを使用することによって、記憶装置における任意の記憶装置への高速ストレージ及び検索が可能になり、当該キャッシュメモリは１つ以上のＣＰＵ（１４４１）、ＧＰＵ（１４４２）、大容量記憶装置（１４４７）、ＲＯＭ（１４４５）、ＲＡＭ（１４４６）などに密接に関連することができる。
【0147】
コンピュータ読み取り可能な媒体は、コンピュータが実現する様々な動作を実行するためのコンピュータコードを有することができる。媒体とコンピュータコードは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又は、それらは、コンピュータソフトウェアの当業者にとって周知であり、使用可能なタイプのものであってもよい。
【0148】
限定ではなく例として、アーキテクチャ（１４００）を有するコンピュータシステム、特に、コア（１４４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ以上の有形コンピュータ読み取り可能な媒体に実装されるソフトウェアを実行することで実現された機能を提供することができる。このようなコンピュータ読み取り可能な媒体は、上記のような、ユーザーがアクセス可能な大容量記憶装置に関する媒体、及び例えばコア内部大容量記憶装置（１４４７）又はＲＯＭ（１４４５）などの非一時的なコア（１４４０）を有する特定の記憶装置であってもよい。本開示を実現するための様々な実施形態のソフトウェアはこのような機器に記憶され、コア（１４４０）によって実行されることができる。特定のニーズに応じて、コンピュータ読み取り可能な媒体には１つ以上の記憶装置又はチップが含まれてもよい。ソフトウェアは、コア（１４４０）、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、本明細書では説明されている特定の処理又は特定の処理の特定の部分を実行させ、ＲＡＭ（１４４６）に記憶されるデータ構成を限定すること、及びソフトウェアによって限定された処理によってこのようなデータ構成を修正することが含まれる。さらに又は代替として、コンピュータシステムは、ロジックハードワイヤード、又は他の方法で回路（例えば、アクセラレータ（１４４４））に実装されることによって、機能を提供することができ、当該回路は、ソフトウェアの代わりに、又はソフトウェアとともに動作して、本明細書では説明されている特定の処理又は特定の処理の特定の部分を実行することができる。適切な場合、ソフトウェアに対する言及にはロジックが含まれ、逆に、ロジックに対する言及にはソフトウェアが含まれてもよい。適切な場合、コンピュータ読み取り可能な媒体に対する言及には、実行のためのソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現化する回路、又はその両方が含まれてもよい。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを含む。
【0149】
本開示は、いくつかの例示的な実施形態を説明したが、本開示の範囲内に含まれる変更、置き換え及び様々な代替の均等物が存在する。従って、当業者は、本明細書では明示的に示されていないか、又は説明されていないが、本開示の原理を具現化したのでその趣旨及び範囲内にある多くのシステム及び方法を想到できることは理解されたい。
〔付録Ａ〕頭字語
ＪＥＭ：共同探索モデル（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ、ＪＥＭ）
ＶＶＣ：多用途ビデオ符号化（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＶＶＣ）
ＢＭＳ：ベンチマークセット（ｂｅｎｃｈｍａｒｋ ｓｅｔ、ＢＭＳ）
ＨＥＶＣ：高効率ビデオ符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）
ＳＥＩ：補充拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）
ＶＵＩ：ビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）
ＧＯＰ：ピクチャグループ（Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ、ＧＯＰ）
ＴＵ：変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ、ＴＵ）
ＰＵ：予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）
ＣＴＵ：符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）
ＣＴＢ：符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ、ＣＴＢ）
ＰＢ：予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ、ＰＢ）
ＨＲＤ：仮想参照復号器（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、ＨＲＤ）
ＳＮＲ：信号対雑音比（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ、ＳＮＲ）
ＣＰＵ：中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）
ＧＰＵ：グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）
ＣＲＴ：陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ）
ＬＣＤ：液晶ディスプレイ（Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）
ＯＬＥＤ：有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＯＬＥＤ）
ＣＤ：コンパクトディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＣＤ）
ＤＶＤ：デジタル ビデオコンパクトディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、ＤＶＤ）
ＲＯＭ：読み取り専用（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）
ＲＡＭ：ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）
ＡＳＩＣ：特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）
ＰＬＤ：プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＰＬＤ）
ＬＡＮ：ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）
ＧＳＭ：グローバルモバイルシステムオブシステム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ＧＳＭ）
ＬＴＥ：ロングタームエボリューション（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）
ＣＡＮＢｕｓ：コントローラエリアネットワークバス（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ、ＣＡＮＢｕｓ）
ＵＳＢ：ユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ＵＳＢ）
ＰＣＩ：周辺コンポーネント相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）
ＦＰＧＡ：フィールドプログラム可能なゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａｓ、ＦＰＧＡ）
ＳＳＤ：ソリッドステートドライブ（ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ、ＳＳＤ）
ＩＣ：集積回路（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＩＣ）
ＣＵ：符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）
〔付録Ａ〕頭字語
ＪＥＭ：共同探索モデル（ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ、ＪＥＭ）
ＶＶＣ：多用途ビデオ符号化（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＶＶＣ）
ＢＭＳ：ベンチマークセット（ｂｅｎｃｈｍａｒｋ ｓｅｔ、ＢＭＳ）
ＨＥＶＣ：高効率ビデオ符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）
ＳＥＩ：補充拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）
ＶＵＩ：ビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）
ＧＯＰ：ピクチャグループ（Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ、ＧＯＰ）
ＴＵ：変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ、ＴＵ）
ＰＵ：予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）
ＣＴＵ：符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）
ＣＴＢ：符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ、ＣＴＢ）
ＰＢ：予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ、ＰＢ）
ＨＲＤ：仮想参照復号器（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、ＨＲＤ）
ＳＮＲ：信号対雑音比（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ、ＳＮＲ）
ＣＰＵ：中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）
ＧＰＵ：グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）
ＣＲＴ：陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ）
ＬＣＤ：液晶ディスプレイ（Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）
ＯＬＥＤ：有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＯＬＥＤ）
ＣＤ：コンパクトディスク（Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＣＤ）
ＤＶＤ：デジタル ビデオコンパクトディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、ＤＶＤ）
ＲＯＭ：読み取り専用（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）
ＲＡＭ：ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）
ＡＳＩＣ：特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）
ＰＬＤ：プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＰＬＤ）
ＬＡＮ：ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）
ＧＳＭ：グローバルモバイルシステムオブシステム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ＧＳＭ）
ＬＴＥ：ロングタームエボリューション（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）
ＣＡＮＢｕｓ：コントローラエリアネットワークバス（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ、ＣＡＮＢｕｓ）
ＵＳＢ：ユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ＵＳＢ）
ＰＣＩ：周辺コンポーネント相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）
ＦＰＧＡ：フィールドプログラム可能なゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａｓ、ＦＰＧＡ）
ＳＳＤ：ソリッドステートドライブ（ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ、ＳＳＤ）
ＩＣ：集積回路（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＩＣ）
ＣＵ：符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
