特表2023-543590映像復号のための方法、装置、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-17
(54)【発明の名称】映像復号のための方法、装置、及びコンピュータプログラム
(51)【国際特許分類】
H04N 19/70 20140101AFI20231010BHJP
【ＦＩ】
H04N19/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023519435
(86)(22)【出願日】2022-06-29
(85)【翻訳文提出日】2023-03-28
(86)【国際出願番号】 US2022073261
(87)【国際公開番号】W WO2023279026
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】63/216,443
(32)【優先日】2021-06-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/851,723
(32)【優先日】2022-06-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チョイ，ビヨンドゥ
(72)【発明者】
【氏名】ウェンジャー，ステファン
(72)【発明者】
【氏名】リー，シャン
(72)【発明者】
【氏名】リウ，シャン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK40
5C159RC12
(57)【要約】
本開示の態様は、映像復号のための方法、装置、及び非一時的なコンピュータ読み取り可能記憶媒体を提供する。当該装置は、独立領域出力情報を示す補足強化情報（ＳＥＩ）メッセージを復号するように構成された処理回路を含む。独立領域出力情報は、現在ピクチャ内の独立して復号可能な領域である独立領域を示す。処理回路は、独立領域出力情報内の独立領域のオフセット情報及び寸法情報に基づいて、現在ピクチャ内の独立領域を決定する。処理回路は、現在ピクチャの全体が復号されるかどうかに関係なく、決定した独立領域を復号する。処理回路は、独立領域のオフセット情報によって示される位置、及び独立領域の寸法情報によって示されるサイズに基づいて、復号した独立領域を出力する。
【特許請求の範囲】
【請求項1】
ビデオデコーダが実行する映像復号のための方法であって、独立領域出力情報を示す補足強化情報（ＳＥＩ）メッセージを復号するステップであり、前記独立領域出力情報は、現在ピクチャ内の独立して復号可能な領域である独立領域を示す、ステップと、
前記独立領域出力情報内の前記独立領域のオフセット情報及び寸法情報に基づいて、前記現在ピクチャ内の前記独立領域を決定するステップと、
前記現在ピクチャの全体が復号されるかどうかに関係なく、決定した前記独立領域を復号するステップと、
前記独立領域の前記オフセット情報によって示される位置、及び前記独立領域の前記寸法情報によって示されるサイズに基づいて、復号した前記独立領域を出力するステップと、
を有する方法。
【請求項2】
前記独立領域は前記現在ピクチャ内のサブピクチャを含んでいる、請求項１に記載の方法。
【請求項3】
前記サブピクチャは、前記現在ピクチャ内の別の独立領域に含まれており、前記別の独立領域は更に、前記現在ピクチャ内の別のサブピクチャを含んでいる、請求項２に記載の方法。
【請求項4】
前記独立領域は前記別の独立領域に含まれている、請求項３に記載の方法。
【請求項5】
前記独立領域出力情報は、前記独立領域内の前記サブピクチャのサブピクチャ識別子を示す、請求項２に記載の方法。
【請求項6】
前記ＳＥＩメッセージは、前記独立領域出力情報が前記ＳＥＩメッセージ内でシグナリングされるかを示す第１フラグを含み、前記独立領域を前記決定するステップは、前記独立領域出力情報が前記ＳＥＩメッセージ内でシグナリングされることを前記第１フラグが示すことに基づいて、前記独立領域を決定することを含む、
請求項１に記載の方法。
【請求項7】
前記独立領域出力情報は第２フラグを含み、前記第２フラグが第１の値を持つことは、前記ＳＥＩメッセージが前記現在ピクチャにのみ適用されることを示し、
前記第２フラグが第２の値を持つことは、前記ＳＥＩメッセージが、前記現在ピクチャに適用されるとともに、条件が満たされるまで、現在レイヤの出力順で後続の１つ以上のピクチャに適用されることを示す、
請求項１に記載の方法。
【請求項8】
前記第２フラグが前記第２の値を持ち、当該方法は更に、前記独立領域出力情報に基づいて、前記現在レイヤの出力順で後続のピクチャ内の独立領域を出力するステップを含む、
請求項７に記載の方法。
【請求項9】
前記独立領域出力情報は、前記独立領域の第３フラグを含み、前記第３フラグは、前記独立領域のクロッピング情報が前記独立領域出力情報内でシグナリングされるかを示す、
請求項１に記載の方法。
【請求項10】
前記独立領域の前記クロッピング情報が前記独立領域出力情報内でシグナリングされることを前記第３フラグが示すことに基づき、当該方法は更に、（ｉ）前記クロッピング情報と、（ｉｉ）前記独立領域の前記オフセット情報及び前記寸法情報とに基づいて、前記独立領域の出力ウィンドウの位置及びサイズを決定するステップを含み、
前記出力するステップは、前記独立領域の前記出力ウィンドウの前記位置及び前記サイズに基づいて、復号した前記独立領域を出力することを含む、
請求項９に記載の方法。
【請求項11】
前記復号するステップ、及び表示のための前記出力するステップが、前記現在ピクチャの全体が復号される前に実行される、請求項１に記載の方法。
【請求項12】
映像復号のための装置であって、１つ以上のプロセッサと、
コンピュータプログラムを格納した１つ以上のメモリと、
を有し、
前記コンピュータプログラムは、前記１つ以上のプロセッサに、請求項１乃至１１のいずれか一項に記載の方法を実行させる、
装置。
【請求項13】
コンピュータに請求項１乃至１１のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、２０２１年６月２９日に出願された米国仮出願第６３／２１６，４４３号“Techniques for Independent Coded Region Output for Coded Video Stream”に対する優先権の利益を主張するものである２０２２年６月２８日に出願された米国特許出願第１７／８５１，７２３号“INDEPENDENT CODED REGION OUTPUT SUPPLEMENTARY ENHANCEMENT INFORMATION MESSAGE”に対する優先権の利益を主張するものである。これら先行出願の開示をそれらの全体にてここに援用する。
【0002】
本開示は、映像コーディングに概して関係する実施形態を記述する。
【背景技術】
【0003】
ここに提示される背景説明は、開示に係る状況を概略的に提示するためのものである。この背景セクションに記載される範囲においての、ここに名を連ねる発明者の仕事、並びに、出願時にさもなければ従来技術として適格でないかもしれない記載の態様は、明示的にも、暗示的にも、本開示に対する先行技術として認められるものではない。
【0004】
動き補償を用いるインターピクチャ予測を使用して画像及び／又は映像の符号化及び復号を実行することができる。圧縮されていないデジタル画像及び／又は映像は一連のピクチャを含み、各ピクチャが、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間寸法を持つ。一連のピクチャは、固定又は可変のピクチャレート（非公式にはフレームレートとしても知られる）を持つことができ、例えば、毎秒６０ピクチャ、すなわち、６０Ｈｚのピクチャレートを持ち得る。圧縮されていない画像及び／又は映像は、特定のビットレート要求を持つ。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０映像（６０Ｈｚのフレームレートで１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。１時間のこのような映像は、６００ＧＢｙｔｅを超えるストレージ空間を必要とする。
【0005】
画像及び／又は映像の符号化及び復号の１つの目的は、圧縮を通じての入力画像及び／又は映像信号の冗長性の低減であるとし得る。圧縮は、前述の帯域幅要求及び／又はストレージ空間要求を、場合によって２桁以上の大きさで、低減させる助けとなることができる。ここでの説明は説明例として映像の符号化／復号を用いるが、本開示の精神から逸脱することなく、同じ技術を同様のやり方で画像の符号化／復号に適用することができる。可逆圧縮及び非可逆圧縮の双方、並びにこれらの組み合わせを使用することができる。可逆圧縮は、原信号の正確な複製を圧縮された原信号から再構成することができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は、原信号と同じにならないことがあるが、原信号と再構成信号との間の歪みは、再構成信号を意図した用途に有用にするのに十分な小ささとなる。映像の場合、非可逆圧縮が広く用いられる。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン配信アプリケーションのユーザよりも高い歪みを許容し得る。達成可能な圧縮比はそれを反映し、より高い許容／我慢できる歪みは、より高い圧縮比をもたらすことができる。
【0006】
ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピーコーディングを含め、幾つかの広範なカテゴリからの技術を利用することができる。
【0007】
ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングにおいて、サンプル値は、先行して再構成された参照ピクチャからのサンプル又は他のデータを参照することなく表現される。一部のビデオコーデックにおいて、ピクチャは複数ブロックのサンプルへと空間的に細分される。全てのブロックのサンプルがイントラモードでコーディングされる場合、そのピクチャはイントラピクチャとすることができる。イントラピクチャ及び例えば独立デコーダリフレッシュピクチャなどのそれらの派生物は、デコーダ状態をリセットするために使用されることができ、従って、コーディングされる映像ビットストリーム及び映像セッションにおける最初のピクチャとして、又は静止画として使用されることができる。イントラブロックのサンプルを変換にかけることができ、変換係数が、エントロピーコーディングの前に量子化され得る。イントラ予測は、変換前ドメインにおけるサンプル値を最小化する技術であるとし得る。場合により、変換後のＤＣ値が小さいほど、及びＡＣ係数が小さいほど、エントロピーコーディング後にブロックを表すのに所与の量子化ステップサイズで必要とされるビット数が少なくなる。
【0008】
例えばＭＰＥＧ－２世代のコーディング技術から知られるような伝統的なイントラコーディングはイントラ予測を使用しない。しかしながら、より新しい一部の映像圧縮技術は、例えば、空間的に隣接し復号順で先行するブロックのデータの符号化及び／又は復号中に得られた周囲のサンプルデータ及び／又はメタデータから試みる技術を含む。このような技術を、以後、“イントラ予測”技術と呼ぶ。なお、少なくとも一部のケースにおいて、イントラ予測は、再構成中の現在ピクチャからの参照データのみを使用し、参照ピクチャからのものは使用しない。
【0009】
数多くの異なる形態のイントラ予測が存在し得る。所与の映像コーディング技術において、そのような技術のうち２つ以上が使用され得る場合、使用される技術がイントラ予測モードでコーディングされ得る。ある特定のケースにおいて、モードはサブモード及び／又はパラメータを有することができ、それらが個別にコーディングされる又はモードコードワードに含められることができる。所与のモード、サブモード、及び／又はパラメータの組み合わせにどのコードワードを使用するかということは、イントラ予測を通じたコーディング効率利得に影響を与え得ることであり、コードワードをビットストリームに変換するのに使用されるエントロピーコーディング技術も同様であり得る。
【0010】
イントラ予測の特定のモードが、Ｈ．２６４で導入され、Ｈ．２６５で改良され、そして、例えば共同探査モデル（ＪＥＭ）、バーサタイルビデオコーディング（ＶＶＣ）、及びベンチマークセット（ＢＭＳ）などの、より新しいコーディング技術でさらに改良された。既に利用可能なサンプルに属する隣接サンプル値を用いて予測子ブロックが形成され得る。隣接サンプルのサンプル値が、方向に従って予測子ブロックにコピーされる。使用する方向の参照が、ビットストリームにコーディングされるか、それ自体が予測されるかし得る。
【0011】
図１Ａを参照するに、右下に、Ｈ．２６５の３３個の取り得る予測子方向（３５個のイントラモードのうちの３３個の角度モードに対応）から知られる９個の予測子方向のサブセットが描かれている。矢印が集まった点（１０１）が予測中のサンプルを表す。矢印は、その方向からサンプルが予測されることを表す。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で右上の１つのサンプル又は複数のサンプルから予測されることを指し示す。同様に、矢印（１０３）は、サンプル（１０１）が、水平から２２．５度の角度で左下の１つのサンプル又は複数のサンプルから予測されることを指し示す。
【0012】
なおも図１Ａを参照するに、左上に、４×４サンプルの正方形ブロック（１０４）（破線の太線で示す）が描かれている。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルが、“Ｓ”と、Ｙ次元でのその位置（例えば、行インデックス）と、Ｘ次元でのその位置（例えば、列インデックス）とでラベル付けられている。例えば、サンプルＳ２１は、Ｙ次元で（上から）２番目、且つＸ次元で（左から）１番目のサンプルである。同様に、サンプルＳ４４は、ブロック（１０４）内の、Ｙ及びＸの両方の次元で４番目のサンプルである。このブロックは４×４サンプルのサイズなので、Ｓ４４は右下にある。さらに、同様の番号付けスキームに従った参照サンプルが示されている。参照サンプルは、Ｒと、ブロック（１０４）に対するＹ位置（例えば、行インデックス）及びＸ位置（列インデックス）とでラベル付けられている。Ｈ．２６４及びＨ．２６５の両方で、予測サンプルは再構成中のブロックに隣接し、それ故に、負の値を使用する必要はない。
【0013】
イントラピクチャ予測は、シグナリングされる予測方向によって、隣接サンプルからの参照サンプル値を適宜にコピーすることによって機能する。例えば、このブロックについて、予測方向が矢印（１０２）と一致すること、すなわち、水平から４５度右上の１つ又は複数の予測サンプル又はサンプルからサンプルが予測されること、を指し示すシグナリングを符号化映像ビットストリームが含んでいると仮定する。その場合、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。そして、サンプルＳ４４は、参照サンプルＲ０８から予測される。
【0014】
特定のケースにおいて、特に、方向を４５度ずつ等分できない場合に、参照サンプルを計算するために、例えば内挿により、複数の参照サンプルの値を結合することがある。
【0015】
映像コーディング技術が発展するにつれて、取り得る方向の数が増加している。Ｈ．２６４（２００３年）では９個の異なる方向を表すことができた。これが、Ｈ．２６５（２０１３年）では３３個に増加し、ＪＥＭ／ＶＶＣ／ＢＭＳは、開示された時点で、６５個に至る方向をサポートすることができる。最も可能性の高い方向を特定するために実験が行われており、そして、より可能性の低い方向に対するペナルティを受け入れて、それら可能性の高い方向を少数のビットで表現するように、エントロピーコーディングにおける特定の技術が用いられる。さらに、それらの方向自体が、隣接する既に復号されたブロックで用いられた隣接方向から予測されることもある。
【0016】
図１Ｂは、徐々に数が増えている予測方向を例示すために、ＪＥＭに従った６５個のイントラ予測方向を描いた概略図（１１０）を示している。
【0017】
符号化映像ビットストリームにおける方向を表すイントラ予測方向ビットのマッピングは、映像コーディング技術ごとに異なり得るものであり、例えば、イントラ予測モードへの予測方向の単純な直接マッピングから、コードワードや、最確モードを含む複雑な適応方式、及び同様の技術まで及び得る。しかし、どのケースでも、映像コンテンツには、他の特定の方向よりも統計的に発生しにくい特定の方向が存在し得る。映像圧縮の目標は冗長性の低減であるので、良好に動作する映像コーディング技術では、それら可能性の低い方向は、可能性の高い方向よりも多数のビットで表されることになる。
【0018】
動き補償は、非可逆圧縮技術であるとし得るとともに、先行して再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以下、ＭＶ）によって指し示される方向に空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係するとすることができる。一部のケースにおいて、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは、２つの次元Ｘ及びＹを有することができ、あるいは、使用する参照ピクチャを指し示すインジケーションを３つめとして３つの次元を有することができる（後者は、間接的に、時間次元であるとすることができる）。
【0019】
一部の映像圧縮技術では、サンプルデータのある特定の領域に適用可能なＭＶを、例えば、復号順でそのＭＶに先行するＭＶであって再構成中の領域に空間的に隣接するサンプルデータの別領域に関係するＭＶからなど、別のＭＶから予測することができる。そうすることは、そのＭＶをコーディングするのに必要なデータの量を大幅に減らすことができ、それにより冗長性を取り除いて圧縮を高めることができる。ＭＶ予測は、効果的に機能することができる。何故なら、例えば、カメラに由来する入力ビデオ信号（ナチュラルビデオとして知られる）をコーディングするとき、単一のＭＶが適用可能である領域よりも大きい領域が同様の方向に移動し、それ故に、場合により、隣接する領域のＭＶから導出される同様の動きベクトルを用いて予測されることができる、という統計的尤度があるからである。これがもたらすのは、所与の領域に対して見出されたＭＶが、周囲のＭＶから予測されるＭＶと類似又は同じであり、ひいては、エントロピーコーディングの後に、そのＭＶを直接コーディングする場合に使用されることになるものよりも少ないビット数で表されることができるということである。一部のケースでは、ＭＶ予測は、原信号（つまりは、サンプルストリーム）から導出される信号（つまりは、ＭＶ）の可逆圧縮の一例であることができる。他のケースでは、例えば、幾つかの周囲ＭＶから予測子を計算する際の丸め誤差のために、ＭＶ予測それ自体が非可逆的であるとし得る。
【0020】
様々なＭＶ予測メカニズムが、Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ勧告Ｈ．２６５，“High Efficiency Video Coding”、２０１６年１２月）に記述されている。Ｈ．２６５が提供するそれら多数のＭＶ予測メカニズムのうち、以下では“空間マージ”と称する技術をここで説明する。
【0021】
図２を参照するに、現在ブロック（２０１）は、空間的にシフトされた同じサイズの先行ブロックから予測可能であることが動き探索プロセス中にエンコーダによって見出されたサンプルを有する。ＭＶを直接コーディングする代わりに、ＭＶを、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ２０２から２０６）と表記する５つの周囲サンプルのうちのいずれか１つに関連するＭＶを用いて、例えば（復号順で）直前の参照ピクチャからなど、１つ以上の参照ピクチャに関連するメタデータから導出することができる。Ｈ．２６５において、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【0022】
本開示の態様は、映像符号化及び復号のための方法及び装置を提供する。一部の例において、映像復号のための装置は処理回路を含む。処理回路は、独立領域出力情報を示す補足強化情報（ＳＥＩ）メッセージを復号するように構成される。独立領域出力情報は、現在ピクチャ内の独立して復号可能な領域である独立領域を示すことができる。処理回路は、独立領域出力情報内の独立領域のオフセット情報及び寸法情報に基づいて、現在ピクチャ内の独立領域を決定するように構成される。処理回路は、現在ピクチャの全体が復号されるかどうかに関係なく、決定した独立領域を復号することができる。処理回路は、独立領域のオフセット情報によって示される位置、及び独立領域の寸法情報によって示されるサイズに基づいて、復号した独立領域を出力することができる。
【0023】
一実施形態において、独立領域は現在ピクチャ内のサブピクチャを含んでいる。
【0024】
一実施形態において、サブピクチャは、現在ピクチャ内の別の独立領域に含まれており、別の独立領域は更に、現在ピクチャ内の別のサブピクチャを含んでいる。
【0025】
一実施形態において、独立領域は別の独立領域に含まれている。
【0026】
一実施形態において、独立領域出力情報は、独立領域内のサブピクチャのサブピクチャ識別子を示す。
【0027】
ＳＥＩメッセージは、独立領域出力情報がＳＥＩメッセージ内でシグナリングされるかを示す第１フラグを含むことができる。処理回路は、独立領域出力情報がＳＥＩメッセージ内でシグナリングされることを第１フラグが示すことに基づいて、独立領域を決定することができる。
【0028】
一実施形態において、独立領域出力情報は第２フラグを含む。第２フラグが第１の値を持つことは、ＳＥＩメッセージが現在ピクチャにのみ適用されることを示す。第２フラグが第２の値を持つことは、ＳＥＩメッセージが、現在ピクチャに適用されるとともに、条件が満たされるまで、現在レイヤの出力順で後続の１つ以上のピクチャに適用されることを示す。
【0029】
一実施形態において、第２フラグが第２の値を持つ。処理回路は、独立領域出力情報に基づいて、現在レイヤの出力順で後続のピクチャ内の独立領域を出力することができる。
【0030】
一実施形態において、独立領域出力情報は、独立領域の第３フラグを含み、第３フラグは、独立領域のクロッピング情報が独立領域出力情報内でシグナリングされるかを示す。
【0031】
一実施形態において、独立領域のクロッピング情報が独立領域出力情報内でシグナリングされることを第３フラグが示すことに基づき、処理回路は、（ｉ）クロッピング情報と、（ｉｉ）独立領域のオフセット情報及び寸法情報とに基づいて、独立領域の出力ウィンドウの位置及びサイズを決定することができる。処理回路は、独立領域の出力ウィンドウの位置及びサイズに基づいて、復号した独立領域を出力することができる。
【0032】
一例において、復号すること及び表示のために出力することが、現在ピクチャの全体が復号される前に実行される。
【0033】
本開示の態様はまた、プログラムを格納した非一時的なコンピュータ読み取り可能記憶媒体を提供し、プログラムは、映像復号のための方法を実行するように、少なくとも１つのプロセッサによって実行可能である。
【図面の簡単な説明】
【0034】
開示に係る事項の更なる特徴、性質、及び様々な利点が、以下の詳細な説明及び添付の図面から、よりいっそう明らかになる。
【図1A】イントラ予測モードの例示的なサブセットを概略的に示している。
【図1B】例示的なイントラ予測方向を示している。
【図2】一実施形態に従った現在ブロック（２０１）及び周囲サンプルを示している。
【図3】一実施形態に従った通信システム（３００）の簡略ブロック図を概略的に示している。
【図4】一実施形態に従った通信システム（４００）の簡略ブロック図を概略的に示している。
【図5】一実施形態に従ったデコーダの簡略ブロック図を概略的に示している。
【図6】一実施形態に従ったエンコーダの簡略ブロック図を概略的に示している。
【図7】他の一実施形態に従ったエンコーダのブロック図を示している。
【図8】他の一実施形態に従ったデコーダのブロック図を示している。
【図9A】本開示の一実施形態に従った、現在ピクチャ内の独立コーディング領域及び該独立領域に関連するクロッピングされた独立領域の一例を示している。
【図9B】本開示の一実施形態に従った、現在ピクチャ内の別の独立領域と重なる独立領域の一例を示している。
【図9C】本開示の一実施形態に従った、現在ピクチャ内の別の独立領域に含まれた独立領域の一例を示している。
【図10】本開示の一実施形態に従った、独立領域出力情報を含む補足強化情報（ＳＥＩ）メッセージにおける例示的なシンタックスを示している。
【図11】本開示の一実施形態に従ったＳＥＩメッセージの持続範囲の一例を示している。
【図12】本開示の一実施形態に従った符号化プロセスを概説するフローチャートを示している。
【図13】本開示の一実施形態に従った復号プロセスを概説するフローチャートを示している。
【図14】一実施形態に従ったコンピュータシステムの概略図である。
【発明を実施するための形態】
【0035】
図３は、本開示の一実施形態に従った通信システム（３００）の簡略ブロック図を例示している。通信システム（３００）は、例えばネットワーク（３５０）を介して、互いに通信することができる複数の端末装置を含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１の対の端末装置（３１０）及び（３２０）を含む。図３の例において、第１の対の端末装置（３１０）及び（３２０）は、データの一方向伝送を行う。例えば、端末装置（３１０）が、映像データ（例えば、端末装置（３１０）によってキャプチャされた映像ピクチャのストリーム）を、ネットワーク（３５０）を介した他の端末装置（３２０）への伝送のために符号化し得る。符号化された映像データは、１つ以上の符号化映像ビットストリームの形態で伝送されることができる。端末装置（３２０）が、ネットワーク（３５０）から符号化映像データを受信し、符号化映像データを復号して映像ピクチャを復元し、復元した映像データに従って映像ピクチャを表示し得る。一方向データ伝送は、メディアサービス提供アプリケーション及びそれに類するものにおいて一般的であり得る。
【0036】
他の一例において、通信システム（３００）は、例えば、テレビ会議中に発生し得る符号化映像データの双方向伝送を行う第２の対の端末装置（３３０）及び（３４０）を含む。データの双方向伝送では、一例において、端末装置（３３０）及び（３４０）の各端末装置が、映像データ（例えば、その端末装置によってキャプチャされた映像ピクチャのストリーム）を、ネットワーク（３５０）を介した端末装置（３３０）及び（３４０）のうちの他方の端末装置への伝送のために符号化し得る。端末装置（３３０）及び（３４０）の各端末装置はまた、端末装置（３３０）及び（３４０）のうちの他方の端末装置によって送信された符号化映像データを受信し得るとともに、符号化映像データを復号して映像ピクチャを復元し、そして、復元した映像データに従って、アクセス可能なディスプレイ装置に映像ピクチャを表示し得る。
【0037】
図３において、端末装置（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されているが、本開示の原理は、そのように限定されるものではないとし得る。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のテレビ会議機器での用途を見出し。ネットワーク（３５０）は、例えば、配線（有線）通信ネットワーク及び／又は無線通信ネットワークを含め、端末装置（３１０）、（３２０）、（３３０）及び（３４０）間で符号化された映像データを伝達するあらゆる数のネットワークを表す。通信ネットワーク（３５０）は、回線交換チャネル及び／又はパケット交換チャネルにてデータを交換し得る。代表的なネットワークは、遠距離通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含む。本説明の目的上、ネットワーク（３５０）のアーキテクチャ及びトポロジーは、以下にて説明しない限り、本開示の動作にとって重要ではないとし得る。
【0038】
図４は、開示に係る事項に関するアプリケーションの一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を例示している。開示に係る事項は、例えば、テレビ会議や、デジタルＴＶや、ＣＤ、ＤＶＤ、メモリスティック及びこれらに類するものを含むデジタル媒体上での圧縮映像の格納などを含め、映像を使用可能な他の用途にも等しく適用されることができる。
【0039】
ストリーミングシステムは、例えば圧縮されていない映像ピクチャのストリーム（４０２）を作り出す例えばデジタルカメラといった映像ソース（４０１）を含み得るものであるキャプチャサブシステム（４１３）を含み得る。一例において、映像ピクチャのストリーム（４０２）は、デジタルカメラによって撮影されるサンプルを含む。映像ピクチャのストリーム（４０２）は、符号化された映像データ（４０４）（又は符号化映像ビットストリーム）と比較して高いデータボリュームであることを強調するために太線として描かれており、映像ソース（４０１）に結合されたビデオエンコーダ（４０３）を含んだエレクトロニクス装置（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、更に詳細に後述される開示に係る事項の態様を使用可能にする又は実装するための、ハードウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。符号化された映像データ（４０４）（又は符号化映像ビットストリーム）は、映像ピクチャのストリーム（４０２）と比較して低いデータボリュームであることを強調するために細線として描かれており、後の使用のためにストリーミングサーバ（４０５）に格納されることができる。例えば図４のクライアントサブシステム（４０６）及び（４０８）などの１つ以上のストリーミングクライアントサブシステムが、符号化された映像データ（４０４）のコピー（４０７）及び（４０９）を取り出すためにストリーミングサーバ（４０５）にアクセスすることができる。クライアントサブシステム（４０６）は、例えばエレクトロニクス装置（４３０）内の、ビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、入ってくる符号化された映像データのコピー（４０７）を復号し、出ていく映像ピクチャのストリーム（４１１）を作り出すことができ、出ていく映像ピクチャのストリーム（４１１）が、ディスプレイ（４１２）（例えば、ディスプレイスクリーン）又は他のレンダリング装置（図示せず）上でレンダリングされ得る。一部のストリーミングシステムにおいて、符号化された映像データ（４０４）、（４０７）、及び（４０９）（例えば、映像ビットストリーム）は、特定の映像符号化／圧縮標準に従って符号化されることができる。それら標準の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例において、開発中のある映像符号化標準は、非公式にバーサタイルビデオコーディング（Versatile Video Coding；ＶＶＣ）として知られている。開示に係る事項は、ＶＶＣの文脈で使用され得る。
【0040】
なお、エレクトロニクス装置（４２０）及び（４３０）は、他のコンポーネント（図示せず）を含むことができる。例えば、エレクトロニクス装置（４２０）はビデオデコーダ（図示せず）を含むことができ、エレクトロニクス装置（４３０）はビデオエンコーダ（図示せず）も含むことができる。
【0041】
図５は、本開示の一実施形態に従ったビデオデコーダ（５１０）のブロック図を示している。ビデオデコーダ（５１０）は、エレクトロニクス装置（５３０）に含まれ得る。エレクトロニクス装置（５３０）は、受信器（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用されることができる。
【0042】
受信器（５３１）が、これと同じ実施形態又は他の一実施形態において、一度に１つの符号化映像シーケンスで、ビデオデコーダ（５１０）によって復号されることになる１つ以上の符号化映像シーケンスを受信することができ、各符号化映像シーケンスの復号は、他の符号化映像シーケンスとは独立である。符号化映像シーケンスは、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得るものであるチャネル（５０１）から受信され得る。受信器（５３１）は、符号化映像データを、例えば符号化された音声データ及び／又は補助データストリームといった他のデータと共に受信してもよく、それらのデータは、それらそれぞれの使用エンティティ（図示せず）に転送され得る。受信器（５３１）は、符号化映像シーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、受信器（５３１）とエントロピーデコーダ／パーサ５２０（以下、“パーサ（５２０）”）との間にバッファメモリ（５１５）が結合され得る。特定のアプリケーションにおいて、バッファメモリ（５１５）はビデオデコーダ（５１０）の一部である。他のものにおいて、それは、ビデオデコーダ（５１０）の外部にあってもよい（図示せず）。更なる他のものにおいて、例えばネットワークジッタに対抗するために、ビデオデコーダ（５１０）の外部にバッファメモリ（図示せず）が存在することができ、さらに、例えば再生タイミングを取り扱うために、ビデオデコーダ（５１０）の内部に別のバッファメモリ（５１５）が存在することができる。受信器（５３１）が、十分な帯域幅及び可制御性の格納／転送装置から又は等同期ネットワークからデータを受信しているとき、バッファメモリ（５１５）は、必要とされなくてもよく、又は小さくされることができる。例えばインターネットなどのベストエフォート型パケットネットワーク上での使用では、バッファメモリ（５１５）が、必要とされ得るとともに、比較的大きくされ、そして、有利には適応可能なサイズのものにされることができ、また、少なくとも部分的に、ビデオデコーダ（５１０）の外部のオペレーティングシステム又は同様の要素（図示せず）にて実装され得る。
【0043】
ビデオデコーダ（５１０）は、符号化映像シーケンスからシンボル（５２１）を再構成するためのパーサ（５２０）を含み得る。それらシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報を含むとともに、可能性として、図５に示したように、エレクトロニクス装置（５３０）の統合部分ではないがエレクトロニクス装置（５３０）に結合されることが可能な、例えばレンダー装置（５１２）（例えば、ディスプレイスクリーン）などのレンダリング装置を制御する情報を含み得る。（１つ以上の）レンダリング装置用の制御情報は、補足強化情報（Supplementary Enhancement Information；ＳＥＩ）メッセージ又はビデオユーザビリティ情報（Video Usability Information；ＶＵＩ）パラメータセットフラグメント（図示せず）の形態とし得る。パーサ（５２０）は、受け取った符号化映像シーケンスを構文解析／エントロピー復号し得る。符号化映像シーケンスの符号化は、映像符号化技術又は標準によることができ、可変長符号化、ハフマン符号化、文脈依存性を持つ又は持たない算術符号化などを含め、様々な原理に従うことができる。パーサ（５２０）は、符号化映像シーケンスから、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つに関する一組のサブグループパラメータを抽出することができる。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニットなどを含むことができる。パーサ（５２０）はまた、符号化映像シーケンス情報から、例えば変換係数、量子化パラメータ値、動きベクトルなどの情報を抽出し得る。
【0044】
パーサ（５２０）は、シンボル（５２１）を生み出すよう、バッファメモリ（５１５）から受け取った映像シーケンスにエントロピー復号／構文解析処理を実行し得る。
【0045】
シンボル（５２１）の再構成には、符号化された映像ピクチャ又はその部分のタイプ及び他の要因（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロックなど）に応じて、複数の異なるユニットが関与し得る。どのユニットが関与するか、及びそれらがどのように関与するかは、パーサ（５２０）によって符号化映像シーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（５２０）と以下の複数ユニットとの間でのこのようなサブグループ制御情報の流れは、明瞭さのために図示していない。
【0046】
既述の機能ブロックを超えて、ビデオデコーダ（５１０）は概念的に、後述のような多数の機能ユニットに細分化されることができる。商業上の制約の下で稼働する実用的な実装において、これらのユニットのうちの多くが互いに密接にインタラクトし、少なくとも部分的に互いに統合され得る。しかしながら、開示に係る事項を説明するという目的のためには、以下の機能ユニットへの概念的な細分化が適切である。
【0047】
第１のユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からの（１つ以上の）シンボル（５２１）として、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報とともに、量子化された変換係数を受け取る。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力されることが可能な、サンプル値を有するブロックを出力することができる。
【0048】
一部のケースにおいて、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、先行して再構成されたピクチャからの予測情報を使用していないが、現在ピクチャのうち先行して再構成された部分からの予測情報を使用することができるブロック、に関係し得る。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。一部のケースにおいて、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（５５８）は、例えば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、一部のケースにおいて、サンプル毎に、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に付加する。
【0049】
他のケースにおいて、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、動き補償された可能性のあるブロックに関係し得る。このような場合、動き補償予測ユニット（５５３）が、参照ピクチャメモリ（５５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルを、ブロックに関係するシンボル（５２１）に従って動き補償した後、これらのサンプルが、アグリゲータ（５５５）によって、スケーラ／逆変換ユニット（５５１）の出力（この場合、残差サンプル又は残差信号と呼ばれる）に付加されて、出力サンプル情報を生成することができる。そこから動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、動きベクトルによって制御されることができ、例えばＸ、Ｙ、及び参照ピクチャ成分を有し得るシンボル（５２１）の形態で動き補償予測ユニット（５５３）に利用可能である。動き補償はまた、サブサンプルの正確な動きベクトルが使用されるときに参照ピクチャメモリ（５５７）からフェッチされたサンプル値の補間や、動きベクトル予測メカニズムなどを含むことができる。
【0050】
アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）にて様々なループフィルタリング技術に掛けられ得る。映像圧縮技術は、インループ（in-loop）フィルタ技術を含むことができ、これは、符号化映像シーケンス（符号化映像ビットストリームとも称する）に含められてパーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるパラメータによって制御されるが、符号化ピクチャ又は符号化映像シーケンスのうちの（復号順で）先行部分の復号中に得られたメタ情報にも応答することができるとともに、先行して再構成されてループフィルタリングされたサンプル値にも応答することができる。
【0051】
ループフィルタユニット（５５６）の出力は、レンダー装置（５１２）に出力されることが可能なサンプルストリームとすることができ、これはまた、将来のインターピクチャ予測での使用のために参照ピクチャメモリ（５５７）に格納されることができる。
【0052】
ある特定の符号化ピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構成され、その符号化ピクチャが参照ピクチャとして（例えば、パーサ（５２０）によって）特定されると、現在ピクチャバッファ（５５８）が参照ピクチャメモリ（５５７）の一部となり得るとともに、次の符号化ピクチャの再構成を開始する前に新しい現在ピクチャバッファが再割り当てされ得る。
【0053】
ビデオデコーダ（５１０）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの標準における所定の映像圧縮技術に従って復号処理を実行し得る。符号化映像シーケンスは、映像圧縮技術又は標準の構文と映像圧縮技術又は標準において文書化されたプロファイルとの双方を忠実に守るという意味で、使用される映像圧縮技術又は標準によって規定される構文に従い得る。具体的には、プロファイルは、映像圧縮技術又は標準において利用可能な全てのツールから、特定のツールを、そのプロファイルの下での使用に利用可能なツールはそれだけであるように選択することができる。また、コンプライアンスのために、符号化映像シーケンスの複雑さが、映像圧縮技術又は標準のレベルによって規定される範囲内にあることも必要である。場合により、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制約する。レベルによって設定される制限は、場合により、仮説的リファレンスデコーダ（Hypothetical Reference Decoder；ＨＲＤ）仕様、及び符号化映像シーケンスにてシグナリングされるＨＲＤバッファ管理用のメタデータを通して更に制約され得る。
【0054】
一実施形態において、受信器（５３１）は、符号化された映像と共に追加（冗長）データを受信し得る。追加データは、（１つ以上の）符号化映像シーケンスの一部として含められ得る。追加データは、データを適切に復号するため、及び／又は元の映像データをいっそう正確に再構成するために、ビデオデコーダ（５１０）によって使用され得る。追加データは、例えば、時間的、空間的、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、順方向誤り訂正符号などの形態とし得る。
【0055】
図６は、本開示の一実施形態に従った、ビデオエンコーダ（６０３）のブロック図を示している。ビデオエンコーダ（６０３）は、エレクトロニクス装置（６２０）に含まれる。例えば、エレクトロニクス装置（６２０）は送信器（６４０）（例えば、送信回路）を含んでいる。ビデオエンコーダ（６０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用されることができる。
【0056】
ビデオエンコーダ（６０３）は、エンコーダ（６０３）によって符号化されることになる（１つ以上の）映像画像をキャプチャし得る映像ソース（６０１）（図６の例ではエレクトロニクス装置（６２０）の一部ではない）から映像サンプルを受信し得る。他の一例において、映像ソース（６０１）は、エレクトロニクス装置（６２０）の一部である。
【0057】
映像ソース（６０１）は、ビデオエンコーダ（６０３）によって符号化されるソース映像シーケンスを、任意の好適なビット深さ（例えば、８ビット、１０ビット、１２ビット、…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、…）、及び任意の好適なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）のものとし得るデジタル映像サンプルストリームの形態で提供し得る。メディアサービス提供システムにおいて、映像ソース（６０１）は、事前に準備された映像を格納したストレージ装置とし得る。テレビ会議システムでは、映像ソース（６０１）は、ローカルな画像情報を映像シーケンスとしてキャプチャするカメラとし得る。映像データは、順に見たときに動きを伝える複数の個々のピクチャとして提供され得る。それらピクチャ自体は、ピクセルの空間アレイとして編成されることができ、各ピクセルが、使用されるサンプリング構造、色空間などに応じて、１つ以上のサンプルを有することができる。当業者は、ピクセルとサンプルとの関係を直ちに理解することができる。以下の説明は、サンプルに焦点を当てている。
【0058】
一実施形態によれば、ビデオエンコーダ（６０３）は、ソース映像シーケンスのピクチャを、リアルタイムで、又はアプリケーションによって要求される他の時間制約下で、符号化映像シーケンス（６４３）へと符号化及び圧縮し得る。適切な符号化速度を強制することが、コントローラ（６５０）の１つの機能である。一部の実施形態において、コントローラ（６５０）は、後述するような他の機能ユニットを制御するとともに、それら他の機能ユニットに機能的に結合される。その結合は、明瞭さのために図示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含み得る。コントローラ（６５０）は、特定のシステム設計に合わせて最適化されるビデオエンコーダ（６０３）に関連する他の好適な機能を有するように構成されることができる。
【0059】
一部の実施形態において、ビデオエンコーダ（６０３）は、コーディングループにて動作するように構成される。過度に単純化した説明として、一例において、コーディングループは、ソースコーダ（６３０）（例えば、符号化される入力ピクチャ及び（１つ以上の）参照ピクチャに基づいて例えばシンボルストリームなどのシンボルを作成することを担う）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（シンボルと符号化映像ビットストリームとの間での圧縮が、開示に係る事項において検討される映像圧縮技術において可逆であるときに）（リモート）デコーダも作成するのと同様にして、シンボルを再構成してサンプルデータを生成する。再構成されたサンプルストリーム（サンプルデータ）が、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）に依存しないビット正確な結果をもたらすので、参照ピクチャメモリ（６３４）内のコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。換言すれば、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに“見る”のとまったく同じサンプル値を参照ピクチャサンプルとして“見る”。この参照ピクチャ同期性の基本原理（及び、例えばチャネルエラーのために、同期性を維持することができない場合に結果として生じるドリフト）は、一部の関連技術でも使用されている。
【0060】
“ローカル”デコーダ（６３３）の動作は、例えばビデオデコーダ（５１０）などの“リモート”デコーダのものと同じであるとすることができ、それは、図５に関連して既に詳細に上述されている。しかしながら、図５も手短に参照するに、シンボルが利用可能であり、且つエントロピーコーダ（６４５）及びパーサ（５２０）によるシンボルの符号化映像シーケンスへの符号化／復号は可逆であるとし得るので、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピー復号部分は、ローカルデコーダ（６３３）に完全に実装されなくてよい。
【0061】
一実施形態において、デコーダ内に存在する構文解析／エントロピー復号を除くデコーダ技術が、対応するエンコーダ内に、同じ又は実質的に同じ機能的形態で存在する。従って、開示に係る事項はデコーダ動作に焦点を当てている。エンコーダ技術の説明は、徹底して説明したデコーダ技術の逆であるので、省略することができる。ある特定の分野では、より詳細な説明を以下に提供する。
【0062】
動作時、一部の例において、ソースコーダ（６３０）は、入力ピクチャを、映像シーケンスからの、“参照ピクチャ”として指定された１つ以上の先に符号化されたピクチャに対して予測的に符号化するものである動き補償予測コーディングを実行し得る。斯くして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する（１つ以上の）予測基準として選択され得る（１つ以上の）参照ピクチャのピクセルブロックとの間の差分を符号化する。
【0063】
ローカルビデオデコーダ（６３３）は、参照ピクチャとして指定され得るピクチャの符号化映像データを、ソースコーダ（６３０）によって作成されたシンボルに基づいて復号し得る。コーディングエンジン（６３２）の動作は、有利には、非可逆プロセスとし得る。符号化映像データが映像デコーダ（図６には示されていない）で復号され得るとき、再構成された映像シーケンスは典型的に、幾分の誤差を伴うソース映像シーケンスのレプリカであり得る。ローカルビデオデコーダ（６３３）は、参照ピクチャ上でビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照ピクチャを参照ピクチャメモリ（６３４）に格納させるようにし得る。斯くして、ビデオエンコーダ（６０３）は、ファーエンドのビデオデコーダによって得られることになる再構成参照ピクチャと共通のコンテンツを持つ再構成参照ピクチャのコピーをローカルに格納し得る。
【0064】
予測器（６３５）は、コーディングエンジン（６３２）のために予測探索を実行し得る。すなわち、符号化すべき新たなピクチャに関して、予測器（６３６）は、新たなピクチャ用の適切な予測基準としての役割を果たし得るサンプルデータ（候補参照ピクセルブロックとして）又は例えば参照ピクチャ動きベクトルやブロック形状などの特定のメタデータについて、参照ピクチャメモリ（６３４）を検索し得る。予測器（６３５）は、適切な予測参照を見出すために、ピクセルブロック毎に動作し得る。場合により、予測器（６３５）によって得られた検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に格納された複数の参照ピクチャから引き出された予測基準を有し得る。
【0065】
コントローラ（６５０）は、例えば、映像データを符号化するのに使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（６３０）のコーディング処理を管理し得る。
【0066】
前述の全ての機能ユニットの出力が、エントロピーコーダ（６４５）におけるエントロピーコーディングに掛けられ得る。エントロピーコーダ（６４５）は、例えばハフマン符号化、可変長符号化、算術符号化などの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを符号化映像シーケンスへと変換する。
【0067】
送信器（６４０）が、エントロピーコーダ（６４５）によって生成された（１つ以上の）符号化映像シーケンスをバッファリングし、通信チャネル（６６０）を介した伝送のために準備し得る。通信チャネル（６６０）は、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得る。送信器（６４０）は、ビデオエンコーダ（６０３）からの符号化映像データを、例えば符号化オーディオデータ及び／又は補助データストリーム（ソースは図示していない）といった、送信される他のデータとマージし得る。
【0068】
コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディングにおいて、コントローラ（６５０）は、各符号化ピクチャに、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼし得るものである特定の符号化ピクチャタイプを割り当て得る。例えば、ピクチャはしばしば、以下のピクチャタイプのうちの１つを割り当てられ得る。
【0069】
イントラピクチャ（Ｉピクチャ）は、シーケンス内の如何なる他のピクチャも予測のソースとして使用することなく符号化及び復号され得るものとし得る。一部の映像コーデックは、例えば独立デコーダリフレッシュ（Independent Decoder Refresh；ＩＤＲ）ピクチャを含め、複数の異なるタイプのイントラピクチャを許している。当業者は、Ｉピクチャのそれら異形、並びにそれらそれぞれの用途及び特徴を知っている。
【0070】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くて１つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。
【0071】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くて２つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。同様に、多重予測ピクチャは、単一のブロックの再構成のために３つ以上の参照ピクチャと関連メタデータとを使用することができる。
【0072】
ソースピクチャは、一般に、空間的に複数のサンプルブロック（例えば、各々４×４、８×８、４×８、又は１６×１６サンプルのブロック）に細分化され、ブロック毎に符号化され得る。ブロックは、それらブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定される他の（既に符号化された）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉピクチャのブロックは非予測的にコーディングされることができ、あるいは、それらは同じピクチャの既に符号化されたブロックを参照して予測的にコーディングされることができる（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、非予測的に、あるいは、１つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、コーディングされることができる。Ｂピクチャのブロックは、非予測的に、あるいは、１つ又は２つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、コーディングされることができる。
【0073】
ビデオエンコーダ（６０３）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの所定の映像コーディング技術又は標準に従ってコーディング処理を実行し得る。その動作において、ビデオエンコーダ（６０３）は、入力映像シーケンスにおける時間的及び空間的な冗長性を活用する予測的なコーディング処理を含め、様々な圧縮処理を実行し得る。符号化された映像データは、それ故に、使用されている映像コーディング技術又は標準によって規定される構文に従い得る。
【0074】
一実施形態において、送信器（６４０）は、符号化された映像と共に追加データを送信し得る。ソースコーダ（６３０）が、そのようなデータを、符号化映像シーケンスの一部として含め得る。追加データは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、例えば冗長ピクチャ及びスライスなどの他の形態の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを有し得る。
【0075】
映像は、時間シーケンスにて複数のソースピクチャ（映像ピクチャ）としてキャプチャされ得る。イントラピクチャ予測（しばしば、イントラ予測と略される）は、所与のピクチャ内の空間的な相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例において、現在ピクチャと称される符号化／復号中の特定のピクチャが、複数のブロックへと分割される。現在ピクチャ内のあるブロックが、映像内の先にコーディングされ且つ依然としてバッファリングされている参照ピクチャ内の参照ブロックに類似しているとき、現在ピクチャ内のそのブロックは、動きベクトルと称されるベクトルによってコーディングされることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合には、参照ピクチャを特定する第３の次元を持つことができる。
【0076】
一部の実施形態において、インターピクチャ予測において双予測技術を使用することができる。双予測技術によれば、例えば、映像内でどちらも現在ピクチャに対して復号順で先である（しかし、表示順では、それぞれ過去及び将来であってもよい）第１の参照ピクチャ及び第２の参照ピクチャなどの、２つの参照ピクチャが使用される。現在ピクチャ内のブロックを、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトルと、第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルとによってコーディングすることができる。そのブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。
【0077】
さらに、インターピクチャ予測においてコーディング効率を改善するために、マージモード技術を使用することができる。
【0078】
本開示の一部の実施形態によれば、例えばインターピクチャ予測及びイントラピクチャ予測などの予測が、ブロックの単位で実行される。例えば、ＨＥＶＣ標準によれば、映像ピクチャのシーケンス内のピクチャが、圧縮のために複数のコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャ内のそれらＣＴＵは、例えば６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルなどの同一サイズを有する。一般に、ＣＴＵは、１つのルマ（luma）ＣＴＢと２つのクロマ（chroma）ＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵが、１つ又は複数のコーディングユニット（ＣＵ）へと再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割されることができる。一例において、各ＣＵが、例えばインター予測タイプ又はイントラ予測タイプなど、そのＣＵの予測タイプを決定するために分析される。ＣＵは、時間的及び／又は空間的な予測可能性に依存して１つ以上の予測ユニットに分割される。一般に、各予測ユニットは、ルマ予測ブロック（ＰＢ）と２つのクロマＰＢとを含む。一実施形態において、コーディング（符号化／復号）に際しての予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを用いると、該予測ブロックは、例えば８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、及びこれらに類するものなど、ピクセルの値（例えば、ルマ値）の行列を含む。
【0079】
図７は、本開示の他の一実施形態に従ったビデオエンコーダ（７０３）の図を示している。ビデオエンコーダ（７０３）は、映像ピクチャのシーケンス内の現在映像ピクチャの中の処理ブロック（例えば、予測ブロック）のサンプル値を受信し、該処理ブロックを符号化映像シーケンスの一部である符号化ピクチャへと符号化するように構成される。一例において、ビデオエンコーダ（７０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用される。
【0080】
ＨＥＶＣの例において、ビデオエンコーダ（７０３）は、例えば予測ブロックの８×８サンプルなどの、処理ブロックに関するサンプル値の行列を受信する。ビデオエンコーダ（７０３）は、例えばレート－歪み最適化を用いて、処理ブロックが最良にコーディングされるのが、イントラモードを用いてなのか、インターモードを用いてなのか、それとも双予測モードを用いてなのかを決定する。処理ブロックがイントラモードでコーディングされる場合、ビデオエンコーダ（７０３）は、イントラ予測技術を使用して処理ブロックを符号化ピクチャへと符号化することができ、処理ブロックがインターモード又は双予測モードでコーディングされる場合、ビデオエンコーダ（７０３）は、それぞれ、インター予測技術又は双予測技術を使用して処理ブロックを符号化ピクチャへと符号化することができる。特定の映像符号化技術において、マージモードは、予測子の外側の符号化動きベクトル成分の利益なしで１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードとし得る。特定の他の映像コーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例において、ビデオエンコーダ（７０３）は、例えば処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの、他のコンポーネントを含む。
【0081】
図７の例において、ビデオエンコーダ（７０３）は、図７に示すように共に結合された、インターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、全般コントローラ（７２１）、及びエントロピーエンコーダ（７２５）を含んでいる。
【0082】
インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、先行ピクチャ内及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インター符号化技術に従った冗長情報の記述、動きベクトル、マージモード情報）を生成し、そして、何らかの好適技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。一部の例において、参照ピクチャは、符号化された映像情報に基づいて復号された参照ピクチャである。
【0083】
イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、一部のケースにおいて、ブロックを、同じピクチャ内の既に符号化されたブロックと比較し、変換後の量子化係数を生成し、一部のケースでは、イントラ予測情報（例えば、１つ以上のイントラ符号化技術に従ったイントラ予測方向情報）も生成する。一例において、イントラエンコーダ（７２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。
【0084】
全般コントローラ（７２１）は、全般制御データを決定し、全般制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するように構成される。一例において、全般コントローラ（７２１）は、ブロックのモードを決定し、そのモードに基づいてスイッチ（７２６）に制御信号を提供する。例えば、モードがイントラモードであるとき、全般コントローラ（７２１）は、残差計算器（７２３）による使用のためにイントラモード結果を選択するようにスイッチ（７２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御し、モードがインターモードであるときには、全般コントローラ（７２１）は、残差計算器（７２３）による使用のためにインター予測結果を選択するようにスイッチ（７２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御する。
【0085】
残差計算器（７２３）は、受信されたブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（７２４）は、残差データに基づいて動作し、残差データを符号化して変換係数を生成するように構成される。一例において、残差エンコーダ（７２４）は、残差データを空間ドメインから周波数ドメインに変換し、変換係数を生成するように構成される。次いで、変換係数が量子化処理にかけられて、量子化された変換係数が得られる。様々な実施形態において、ビデオエンコーダ（７０３）はまた、残差デコーダ（７２８）を含む。残差デコーダ（７２８）は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって好適に使用されることができる。例えば、インターエンコーダ（７３０）は、復号された残差データ及びインター予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ（７２２）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックが好適に処理されて、復号されたピクチャが生成され、そして、復号されたピクチャは、メモリ回路（図示せず）にバッファリングされ得るとともに、一部の例では参照ピクチャとして使用され得る。
【0086】
エントロピーエンコーダ（７２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（７２５）は、例えばＨＥＶＣ標準などの好適な標準に従って種々の情報を含めるように構成される。一例において、エントロピーエンコーダ（７２５）は、全般制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の好適情報を、ビットストリームに含めるように構成される。なお、本開示に係る事項によれば、インターモード又は双予測モードのいずれかのマージサブモードにてブロックをコーディングするとき、残差情報は存在しない。
【0087】
図８は、本開示の他の一実施形態に従ったビデオデコーダ（８１０）の図を示している。ビデオデコーダ（８１０）は、符号化映像シーケンスの一部である符号化されたピクチャを受信し、該符号化されたピクチャを復号して再構成ピクチャを生成するように構成される。一例において、ビデオデコーダ（８１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用される。
【0088】
図８の例において、ビデオデコーダ（８１０）は、図８に示すように共に結合された、エントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、及びイントラデコーダ（８７２）を含んでいる。
【0089】
エントロピーデコーダ（８７１）は、符号化されたピクチャから、符号化されたピクチャを構成するシンタックス要素を表す特定のシンボルを再構成するように構成され得る。そのようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双予測モード、マージサブモード又は他のサブモードにおける後者の２つなど）、それぞれイントラデコーダ（８７２）又はインターデコーダ（８８０）による予測のために使用される特定のサンプル又はメタデータを特定することができる予測情報（例えば、イントラ予測情報又はインター予測情報など）、例えば量子化された変換係数の形態をした残差情報、及びこれらに類するものを含むことができる。一例において、予測モードがインターモード又は双予測モードであるときには、インター予測情報がインターデコーダ（８８０）に提供され、予測タイプがイントラ予測タイプであるときには、イントラ予測情報がイントラデコーダ（８７２）に提供される。残差情報は、逆量子化にかけられることができ、残差デコーダ（８７３）に提供される。
【0090】
インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0091】
イントラデコーダ（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0092】
残差デコーダ（８７３）は、逆量子化を実行して、量子化解除された変換係数を抽出し、そして、量子化解除された変換係数を処理して、残差を周波数ドメインから空間ドメインに変換するように構成される。残差デコーダ（８７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ）を含む）を必要としてもよく、その情報は、エントロピーデコーダ（８７１）によって提供され得る（これは、低ボリュームの制御情報のみとし得るのでデータ経路は不図示）。
【0093】
再構成モジュール（８７４）は、残差デコーダ（８７３）によって出力される残差と、（場合に応じてインター又はイントラ予測モジュールによって出力される）予測結果とを空間ドメインで組み合わせて、再構成ブロックを形成するように構成される。再構成ブロックは、再構成ピクチャの一部とすることができ、代わって再構成ピクチャは、再構成映像の一部とすることができる。なお、視覚的な品質を向上させるために、例えばデブロッキング処理及びそれに類するものなど、他の好適な処理を実行することができる。
【0094】
なお、ビデオエンコーダ（４０３）、（６０３）、及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、如何なる好適技術を用いて実装されてもよい。一実施形態において、ビデオエンコーダ（４０３）、（６０３）、及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、１つ以上の集積回路を用いて実装され得る。他の一実施形態において、ビデオエンコーダ（４０３）、（６０３）及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装され得る。
【0095】
本開示の一実施形態によれば、ビットストリームは、１つ以上の符号化映像シーケンス（coded video sequence；ＣＶＳ）を含むことができる。ＣＶＳは、他のＣＶＳとは独立にコーディングされることができる。各ＣＶＳは１つ以上のレイヤを含むことができ、各レイヤは、特定の品質（例えば、空間解像度）を持つ映像を表すもの、又は例えば深度マップ、透明度マップ、若しくは透視図といった、特定のコンポーネント解釈プロパティを表すものとすることができる。時間次元において、各ＣＶＳは１つ以上のアクセスユニット（ＡＵ）を含むことができる。各ＡＵは、同じ時点に対応する複数の異なるレイヤの１つ以上のピクチャを含むことができる。符号化レイヤ映像シーケンス（coded layer video sequence；ＣＬＶＳ）は、同一レイヤ内の一連のピクチャユニットを含むことができるレイヤ毎のＣＶＳである。ビットストリームが複数のレイヤを持つ場合、ビットストリームのＣＶＳは各レイヤに対する１つ以上のＣＬＶＳを持つことができる。
【0096】
一実施形態において、ＣＶＳは一連のＡＵを含む。一連のＡＵは、復号順に、イントラランダムアクセスポイント（intra random access point；ＩＲＡＰ）ＡＵと、それに続くＩＲＡＰ ＡＵではない０個以上のＡＵと、を含むことができる。一例において、該０個以上のＡＵは、ＩＲＡＰ ＡＵである後続ＡＵ（ただし、これは含まない）までの全ての後続ＡＵを含む。一例において、ＣＬＶＳは、一連のピクチャと、それに関連した、ＣＶＳのベースレイヤのビデオコーディング層（video coding layer；ＶＣＬ）ネットワーク抽象化層（network abstraction layer；ＮＡＬ）ユニットではないユニットとを含む。
【0097】
一例において、ピクチャユニットは符号化されたピクチャを含む。ピクチャユニット（ＰＵ）は、規定された分類ルールに従って相互に関連付けられた一組のＮＡＬユニットを含むことができる。それらＮＡＬユニットは復号順に連続することができる。ＰＵは、ピクチャヘッダ（ＰＨ）と、符号化ピクチャを構成する１つ以上のＶＣＬ ＮＡＬユニットとを含み得る。
【0098】
本開示の一部の態様によれば、例えば、符号化ビットストリームの復号及び／又は表示を支援するため、又は別の目的のために、例えば補足強化情報（ＳＥＩ）メッセージなどのメッセージを符号化ビットストリームに含めることができる。ＳＥＩメッセージは、例えばＶＣＬ ＮＡＬユニットから符号化ピクチャのサンプルを復号するなどの復号には必要のない情報を含むことができる。ＳＥＩメッセージは、復号プロセスによってルマ又はクロマサンプルを構築するためのオプションとし得る。一部の例において、ＳＥＩメッセージは、復号プロセスにおいてルマ又はクロマサンプルを再構成するのに必要とされない。また、ＳＥＩメッセージをサポートする映像コーディング標準に準拠するデコーダは、準拠したものであるために、ＳＥＩメッセージを処理することを必要とされるわけではない。一部のコーディング標準では、ビットストリーム適合（conformance）を確認するため、又は出力タイミングデコーダ適合のために、何らかのＳＥＩメッセージ情報が必要とされることがある。ＳＥＩメッセージは、オプションで、ある特定の標準（例えば、ＨＥＶＣ２６５又はＶＶＣ）に対する出力順適合のために準拠したデコーダによって処理され得る。一実施形態において、ＳＥＩメッセージがビットストリーム内に存在する（例えば、シグナリングされる）。
【0099】
ＳＥＩメッセージは、映像ピクチャのタイミングを示したり、コーディングされる映像の様々な特性を記述したり、それら様々な特性がどのように使用若しくは強化され得るかを記述したりする様々なタイプのデータを含むことができる。一部の例において、ＳＥＩメッセージは、コアの復号プロセスには影響しないが、どのように映像を後処理又は表示するのが推奨されるかを示すことができる。
【0100】
ＳＥＩメッセージを用いて、符号化ビットストリームについての追加情報を提供し、それを用いて、ビットストリームの復号後のビットストリームのプレゼンテーションを変更したり、デコーダに情報を提供したりすることができる。例えば、ＳＥＩメッセージは、とりわけ、フレームパッキング情報（例えば、映像フレーム内に映像データを配置する方式を記述する）、コンテンツ記述（例えば、符号化ビットストリームが例えば３６０度映像であることを示す）、及び色情報（例えば、色域及び／又は色範囲）などを提供するために使用されてきた。
【0101】
一部の例において、ＳＥＩメッセージを用いて、符号化ビットストリームが３６０度映像又はＶＲ映像を含むことをデコーダにシグナリングすることができる。デコーダは、上の情報を用いて、３６０度プレゼンテーションのために映像データをレンダリングすることができる。あるいは、デコーダが３６０度映像をレンダリングすることができない場合、デコーダは上の情報を用いて映像データをレンダリングしないことができる。
【0102】
本開示は、符号化映像ストリームについての独立コーディング領域出力に関する映像コーディング技術を含む。
【0103】
様々なイマーシブメディア（例えば、仮想現実（ＶＲ）映像、映像ベースのポイントクラウドアプリケーション）並びにゲーム及び／又はｅスポーツストリーミングアプリケーションは、ピクチャ全体のフルアクセスに代わる、１つ以上のサブピクチャへの部分アクセスから恩恵を受け得る。ＶＲ映像は、３６０ＶＲ又はＶＲ３６０とも呼ばれ得る。ＶＲ映像又は３６０ＶＲは、全方位カメラを用いてキャプチャされた映像を指すことができる。全方位カメラは、３６０度全体を同時に撮影することを可能にする。ＶＲ映像内でユーザはシーン全体を見渡すことができる。通常の映像と比較して、ＶＲ映像は没入感のあるインタラクティブな体験を提供することができる。一例において、ＶＲ３６０アプリケーションでは、ヘッドマウントディスプレイ又は他のポータルデバイス上に、ユーザの現在のビューポートに対応する部分領域のみが表示される。映像ベースのポイントクラウドアプリケーションの一例では、ボリュームあるコンテンツから特定の投影ビューを表示するための、コンテンツの局所アクセスが有益であり、例えば、少量のデータが局所アクセスに使用される。
【0104】
特定の映像コーディング標準（例えば、ＶＶＣバージョン１）では、サブピクチャ分割機能がサポートされている。一例において、シーケンスパラメータセット（ＳＰＳ）内のシンタックス要素subpic_treated_as_pic_flag[i]が１に等しいとき、ｉ番目のサブピクチャの境界がピクチャ境界として扱われ、ｉ番目のサブピクチャの境界は動き補償予測のためにパディングされ得る。
【0105】
本開示の一実施形態によれば、ピクチャ全体の完全な復号が完了する前に、システム（例えば、映像コーディングシステム、ビデオデコーダ、又はこれらに類するもの）によって、１つ以上のサブピクチャに関連する独立してコーディングされる領域（又は独立領域）に、より早くアクセスすることができる。ピクチャは、独立してコーディングされる領域を含むことができる。独立コーディング領域の符号化データは、例えばピクチャの他の（１つ以上の）コーディング領域とは独立に、アクセス、復号、及び／又は出力されることができる。一例において、独立コーディング領域が長方形の形状を持つ場合、この独立領域の符号化データは、独立にアクセス、復号、及び／又は出力されることができる。一例において、独立領域は、ピクチャの他のコーディング領域とは独立して表示されることができる。
【0106】
補足強化情報（ＳＥＩ）メッセージを復号することができる。本開示の一実施形態によれば、独立領域出力情報がＳＥＩメッセージ内でシグナリングされるかを示す第１フラグを、ＳＥＩメッセージから決定することができる。一例において、ＳＥＩメッセージは独立領域出力情報を示す。図９Ａを参照するに、独立領域出力情報は、現在ピクチャ（９００）内の１つ以上の独立領域を示すことができる。該１つ以上の独立領域は、独立して復号可能であるように構成されている。
【0107】
図９Ａは、本開示の一実施形態に従った、現在ピクチャ（９００）内の独立コーディング領域（９１１）及び該独立領域（９１１）に関連するクロッピングされた独立領域（９２１）の一例を示している。現在ピクチャ（９００）は、符号化されたピクチャとすることができる。現在ピクチャ（９００）は、１つ以上のサブピクチャ（例えば、サブピクチャ０－５）を含むことができる。現在ピクチャ（９００）は１つ以上の領域を含むことができ、該１つ以上の領域の各々が少なくとも１つのサブピクチャを含むことができる。該１つ以上の領域は、１つ以上の独立領域及び／又は非独立領域（例えば、現在ピクチャの他の（１つ以上の）領域から独立してコーディングされるのではない（１つ以上の）コーディング領域）を含むことができる。
【0108】
図９Ａに示す例において、現在ピクチャ（９００）は独立領域（９１１）を含んでいる。独立領域（９１１）はサブピクチャ１－２を含んでいる。独立領域（９１１）の符号化データは、ピクチャ（９００）の他のコーディング領域とは独立してアクセス、復号、及び／又は出力されることができる。独立領域（９１１）は、現在ピクチャ（９００）の全体が復号されるかどうかに関係なく復号されることができる。独立領域（９１１）の符号化データは、独立領域（９１１）に含まれないピクチャ（９００）の他のサブピクチャ（例えば、サブピクチャ０及びサブピクチャ３－５）とは独立してアクセス、復号、及び／又は出力されることができる。独立領域（９１１）は、より早くビデオデコーダによってアクセスされることができる。一例において、独立領域（９１１）は、ピクチャ（９００）全体の完全な復号の前に、アクセス、復号、及び／又は出力される。一例において、独立領域（９１１）は、ピクチャ（９００）全体の完全な復号なしで、アクセス、復号、及び／又は出力される。一例において、独立領域（９１１）は、ピクチャ（９００）全体内のいずれの他の領域の復号よりも前に、アクセス、復号、及び／又は出力される。一例において、独立領域（９１１）は、ピクチャ（９００）全体の中で、アクセス、復号、及び／又は出力される唯一の領域である。
【0109】
一例において、独立領域（例えば、独立領域（９１１））が長方形の形状を持つ場合、独立領域の符号化データは、独立してアクセス、復号、及び／又は出力される。
【0110】
独立領域（例えば、独立領域（９１１））はクロッピングされることができ、クロッピングされた独立領域（例えば、クロッピングされた独立領域（９２１））を出力又は表示することができる。クロッピングされた独立領域（例えば、クロッピングされた独立領域（９２１））は、現在ピクチャ（９００）の他の領域とは独立して出力又は表示されることができる。一例において、独立領域（例えば、独立領域（９１１））を出力又は表示する代わりに、クロッピングされた独立領域（例えば、クロッピングされた独立領域（９２１））が出力又は表示される。
【0111】
図１０は、本開示の一実施形態に従った、独立領域出力情報を含む補足強化情報（ＳＥＩ）メッセージにおける例示的なシンタックス（１０００）を示している。
【0112】
当該ＳＥＩメッセージは、独立領域出力（independent region output；ＩＲＯ）ＳＥＩメッセージ又はＩＲＯウィンドウＳＥＩメッセージと呼ぶことができる。当該ＳＥＩメッセージは、現在ピクチャ（例えば、現在ピクチャ（９００））内の各独立領域の、例えば幅、高さ、（１つ以上の）サブピクチャＩＤ、及び出力（適合）ウィンドウオフセットなどの、寸法情報、サブピクチャ識別、及び／又はオフセット情報を含むことができる。システムインタフェースによってターゲット領域（例えば、独立領域（９１１）などの独立領域）が決定されると、関連するサブピクチャ（例えば、サブピクチャ１－２）を特定するのに有用な情報、並びにアクセスされる領域に関するピクチャサイズ及び適合ウィンドウ（例えば、クロッピングされた独立領域（９２１）のウィンドウ）の新たな値を、ＳＥＩメッセージから得ることができる。復号ピクチャ（９００）が複数のサブピクチャ（例えば、サブピクチャ０－５）を含む場合に、当該ＳＥＩメッセージを用いて、クロッピングした特定の矩形領域（例えば、クロッピングされた独立領域（９２１））を出力することができる。
【0113】
一例において、３６０ＶＲアプリケーションにおける３６０度映像がキューブマップ投影又はキューブマッピングを用いて投影される。図９Ａに示すように、例えば立方体の６つの面が、境界不連続性を緩和するためのパディング領域を用いて現在ピクチャ（９００）上に再配置され得る。現在ピクチャ（９００）は、６つの面に対応する６つのサブピクチャ（例えば、サブピクチャ０－５）に分割されることができる。一例において、デコーダは、当該ＳＥＩメッセージ内のクロッピング情報を用いて現在ピクチャ（９００）を復号した後に、サブピクチャ０－５のうちのサブセット（例えば、サブピクチャ０－５のうちの１つ又は２つ）のみをオンデマンドで出力する。一例において、デコーダは、当該ＳＥＩメッセージ内のクロッピング情報を用いて現在ピクチャ（９００）を復号する前に、サブピクチャ０－５のうちのサブセット（例えば、サブピクチャ０－５のうちの１つ又は２つ）のみをオンデマンドで出力する。図９Ａを参照するに、一例において、独立領域（９１１）は、クロッピングされた独立領域（９２１）と領域（９２３）とを含む。領域（９２３）は、隣接するサブピクチャのペアの間のパディング領域（例えば、サブピクチャ０と１の間のパディング領域、サブピクチャ１と４の間のパディング、サブピクチャ２と５の間のパディング領域）と、現在ピクチャ（９００）の境界領域とを含むことができる。領域（９２３）は、クロッピング情報に従って出力又は表示から除かれる。
【0114】
現在ピクチャ（９００）内のある独立領域が、現在ピクチャ（９００）内の別の独立領域と重なることがある。各独立領域が互いに重なってもよい。独立領域はサブピクチャのグループとして扱われることができるので、あるサブピクチャが複数の独立領域に属することがある。
【0115】
図９Ｂは、本開示の一実施形態に従った、現在ピクチャ（９００）内の別の独立領域（９１３）と重なる独立領域（９１１）の一例を示している。図９Ｂの現在ピクチャ（９００）、サブピクチャ０－５、及び独立領域（９１１）は図９Ａで説明されている。現在ピクチャ（９００）の別の独立領域（９１３）が現在ピクチャ（９００）のサブピクチャ１及び４を含んでいる。別の独立領域（９１３）は独立領域（９１１）とは異なる。サブピクチャ１は独立領域（９１１）及び別の独立領域（９１３）に含まれている。独立領域（９１１）は別の独立領域（９１３）と重なっている。
【0116】
独立領域は、別の独立領域を入れ子にする、すなわち、含むことができる。図９Ｃは、本開示の一実施形態に従った、現在ピクチャ（９００）内の別の独立領域（９１５）に含まれた独立領域（９１１）の一例を示している。図９Ｃの現在ピクチャ（９００）、サブピクチャ０－５、及び独立した領域（９１１）は図９Ａで説明されている。独立領域（９１５）はサブピクチャ１、２、４、及び５を含んでいる。独立領域（９１１）は独立領域（９１５）に含まれている。独立領域（９１５）は独立領域（９１１）を入れ子にしている。独立領域（９１５）及び独立領域（９１１）は互いに独立にアクセス、復号、及び出力されることができる。
【0117】
本開示の一実施形態によれば、独立領域出力情報は、例えば現在ピクチャ（９００）内での、独立領域（９１１）の位置を示すオフセット情報と、独立領域（９１１）のサイズを示す寸法情報とを含むことができる。現在ピクチャ（９００）内の独立領域（９１１）の位置及びサイズは、オフセット情報及び寸法情報に基づいて決定されることができる。独立領域出力情報は当該ＳＥＩメッセージ内でシグナリングされることができる。独立領域出力情報の存在は第１フラグによって示されることができる。
【0118】
図９Ａ及び図１０を参照するに、オフセット情報は、独立領域（９１１）の位置を表すために、独立領域（９１１）の左上位置（９３１）（例えば、図１０のシンタックス要素ir_indepen_coded_region_left_offset[i]及びir_indepen_coded_region_top_offset[i]によって示される）を含むことができる。整数ｉは現在ピクチャ（９００）のｉ番目の独立領域を示す。ＦＩＧを参照してください。図９Ａ及び図１０を参照するに、サイズ情報は、独立領域（９１１）の幅Ｗ及び高さＨを規定するために、それぞれ、領域幅Ｗ（例えば、図１０のシンタックス要素ir_indepen_coded_region_width_in_luma_samples[i]によって示される）及び領域高さＨ（例えば、図１０のシンタックス要素ir_indepen_coded_region_height_in_luma_samples[i]によって示される）を含むことができる。一例において、独立領域（９１１）は現在ピクチャ（９００）の０番目の独立領域であり、整数ｉは０に等しい。
【0119】
上記１つ以上の独立領域の独立領域（９１１）を復号することができる。一例において、復号された独立領域（９１１）は、例えばクロッピングなしで、独立領域（９１１）の位置及びサイズに基づいて出力される。一例において、復号された独立領域（９１１）はクロッピングされて出力される。図９Ａを参照するに、クロッピングされた独立領域（９２１）は、独立領域（９１１）の位置及びサイズと、クロッピングされた独立領域（９２１）のクロッピング情報とに基づいて出力される。
【0120】
図１０を参照するに、ＩＲＯ ＳＥＩメッセージは、領域毎の出力の情報を含むことができる。例えば図１０に示すようなＩＲＯ ＳＥＩメッセージが例えばビットストリーム内に存在するとき、関連するピクチャ（例えば、現在ピクチャ（９００））は、１に等しいシンタックス要素PicOutputFlagを持つ。一例において、関連するピクチャ（例えば、現在ピクチャ（９００））の境界は、動き補償予測のためにパディングされ得る。クロッピング前に、ＩＲＯ ＳＥＩメッセージのオフセット値を復号ピクチャ（例えば、現在ピクチャ（９００））に適用することができる。ｉ番目の独立領域（例えば、ｉが０である独立領域（９１１））がアクセスされてクロッピング処理を実行されるとき、ピクチャパラメータセット（ＰＰＳ）によって規定されるクロッピングウィンドウの代わりに、（例えば、シンタックス要素ir_output_win_left_offset[i]、ir_output_win_right_offset[i]、ir_output_win_top_offset[i]、及びir_output_win_bottom_offset[i]を用いて）ＩＲＯ ＳＥＩメッセージによって規定されるクロッピングウィンドウをクロッピングのために適用することができる。
【0121】
当該ＳＥＩメッセージ（例えば、ＩＲＯ ＳＥＩメッセージ）の第１フラグは、シンタックス要素independent_region_output_cancel_flagによって示されることができる。第１キャンセル値（例えば、１なる値）を持つ第１フラグ（例えば、independent_region_output_cancel_flag）は、ＣＶＳの現在レイヤに適用されている出力順で先行するＩＲＯ ＳＥＩメッセージの持続を当該ＩＲＯ ＳＥＩメッセージがキャンセルすることを示すことができる。第１キャンセル値（例えば、１なる値）を持つ第１フラグ（例えば、independent_region_output_cancel_flag）は、独立領域出力情報が当該ＩＲＯ ＳＥＩメッセージ内でシグナリングされないことを示すことができる。
【0122】
第２キャンセル値（例えば、０なる値）を持つ第１フラグ（例えば、independent_region_output_cancel_flag）は、独立領域出力情報が例えば第１フラグに続くことを示すことができる。第２キャンセル値（例えば、０なる値）を持つ第１フラグ（例えば、independent_region_output_cancel_flag）は、独立領域出力情報が当該ＩＲＯ ＳＥＩメッセージ内でシグナリングされることを示すことができる。デコーダが適切な出力インタフェースを持つ場合、デコーダは、各独立領域を、それぞれの独立領域が完全に復号された後に出力し得る。
【0123】
独立領域出力情報は、現在レイヤに対するＩＲＯ ＳＥＩメッセージの持続を規定することができる第２フラグ（例えば、independent_region_output_persistence_flag）を含むことができる。第１持続値（例えば、０）を持つ第２フラグ（例えば、independent_region_output_persistence_flag）は、当該ＩＲＯ ＳＥＩメッセージが現在の復号ピクチャ（例えば、（９００））のみに適用されること（又は、当該ＩＲＯ ＳＥＩメッセージが現在ピクチャ（例えば、（９００））のみに適用されること）を規定することができる。
【0124】
第２持続値（例えば、１）を持つ第２フラグ（例えば、independent_region_output_persistence_flag）は、当該ＩＲＯ ＳＥＩメッセージが、現在の復号ピクチャ（例えば、（９００））に適用され得るとともに、１つ以上の条件が満たされる（又は、該１つ以上の条件がｔｒｕｅとなる）まで現在レイヤの出力順で後続の１つ以上のピクチャに適用され得ることを規定することができる。一例において、第２持続値（例えば、１）を持つ第２フラグ（例えば、independent_region_output_persistence_flag）は、１つ以上の条件がｔｒｕｅとなるまで現在レイヤの出力順で後続の１つ以上のピクチャ（例えば、後続ピクチャの全て）に対して当該ＩＲＯ ＳＥＩメッセージが持続できることを規定する。該１つ以上の条件は、（ｉ）現在レイヤの新たなＣＬＶＳが始まる、（ｉｉ）ビットストリームが終了する、及び／又は（ｉｉｉ）ＩＲＯ ＳＥＩメッセージ（例えば、異なるＩＲＯ ＳＥＩメッセージ）に関連するアクセスユニット又はピクチャユニットの現在レイヤ内の別のピクチャが、出力順で現在ピクチャ（９００）に続いて出力される、ことを含み得る。
【0125】
本開示の一例によれば、第２フラグ（例えば、independent_region_output_persistence_flag）は第２持続値を持つ。ＣＶＳの現在レイヤの出力順で後続ピクチャ内の独立領域が、例えばオフセット情報及び寸法情報などの独立領域出力情報に基づいて出力され得る。
【0126】
独立領域出力情報は、当該ＩＲＯ ＳＥＩメッセージを含むピクチャユニットの各復号ピクチャ（例えば、現在ピクチャ（９００））のサイズを示すシンタックス要素を含むことができる。該シンタックス要素は、ir_pic_width_in_luma_samples及びir_pic_height_in_luma_samplesを含むことができる。シンタックス要素ir_pic_width_in_luma_samplesは、ピクチャユニットの各復号ピクチャの幅をルマサンプル単位で規定することができる。一例において、シンタックス要素ir_pic_width_in_luma_samplesは０に等しいことはできない。シンタックス要素ir_pic_width_in_luma_samplesには、Max(8,MinCbSizeY）の倍数である整数とすることができる。Max(8,MinCbSizeY）は、８とMinCbSizeYの値とのうち最大のものである。一例において、MinCbSizeYの値（例えば、１６、３２、６４）は、コーディングユニットの最小サイズを示す。シンタックス要素ir_pic_width_in_luma_samplesは、例えばシンタックス要素ir_pic_width_max_in_luma_samples又はシンタックス要素pic_width_max_in_luma_samplesによって示されるものなどの閾値以下とすることができる。シンタックス要素ir_pic_width_max_in_luma_samples又はシンタックス要素pic_width_max_in_luma_samplesは、ピクチャユニットの各復号ピクチャの幅の最大値を示すことができる。
【0127】
シンタックス要素ir_pic_height_in_luma_samplesは、ピクチャユニットの各復号ピクチャの高さをルマサンプル単位で規定することができる。一例において、シンタックス要素ir_pic_height_in_luma_samplesは０に等しいことはできない。シンタックス要素ir_pic_height_in_luma_samplesには、Max(8,MinCbSizeY）の倍数である整数とすることができる。シンタックス要素ir_pic_height_in_luma_samplesは、例えばシンタックス要素ir_pic_height_max_in_luma_samples又はシンタックス要素pic_height_max_in_luma_samplesによって示されるものなどの閾値以下とすることができる。シンタックス要素ir_pic_height_max_in_luma_samples又はシンタックス要素pic_height_max_in_luma_samplesは、ピクチャユニットの各復号ピクチャの高さの最大値を示すことができる。
【0128】
独立領域出力情報は、ピクチャユニット内の独立コーディング領域の数を示すシンタックス要素ir_num_indepen_region_minus1を含むことができる。シンタックス要素ir_num_indepen_coded_region_minus1の値に１を足したものが、当該ＩＲＯ ＳＥＩメッセージを含むピクチャユニットの独立コーディング領域の数を規定することができる。
【0129】
独立領域出力情報は、サブピクチャ識別子（ＩＤ）を表すのに使用される長さ（例えば、ビット数）を示すシンタックス要素ir_subpic_id_len_minus1を含むことができる。シンタックス要素ir_subpic_id_len_minus1の値に１を足したものが、サブピクチャＩＤ（例えば、シンタックス要素ir_subpic_id[i][j]の長さを表すのに使用されるビット数を規定することができる。シンタックス要素ir_subpic_id_len_minus1の値は、両端を含めて０から１５の範囲内とすることができる。
【0130】
独立領域出力情報は、ｉ番目の独立コーディング領域に関連するサブピクチャの数を示すシンタックス要素ir_num_subpics_minus1[i]を含むことができる。シンタックス要素ir_num_subpics_minus1[i]の値に１をたしたものが、ｉ番目の独立コーディング領域に関連するサブピクチャの数を規定することができる。図９Ｃを参照するに、ピクチャユニットは現在ピクチャ（９００）を含む。ｉを０として、０番目の独立コーディング領域は独立領域（９１１）である。シンタックス要素ir_num_subpics_minus1[0]の値は１である。シンタックス要素ir_num_subpics_minus1[0]の値に１を足したものは２であり、独立領域（９１１）に関連するサブピクチャの数は２である。
【0131】
ｉを１として、１番目の独立コーディング領域は独立領域（９１５）である。シンタックス要素ir_num_subpics_minus1[1]の値は３である。シンタックス要素ir_num_subpics_minus1[1]の値に１を足したものは４であり、独立領域（９１５）に関連するサブピクチャの数は４である。
【0132】
本開示の一実施形態によれば、独立領域出力情報は、独立領域（例えば、独立領域（９１１））内のサブピクチャ（例えば、サブピクチャ１）のサブピクチャＩＤを示すことができる。一例において、独立領域出力情報は、現在ピクチャ（９００）内のｉ番目の独立コーディング領域に関連するｊ番目のサブピクチャに対応するサブピクチャＩＤを示す。独立領域出力情報は、現在ピクチャ（９００）内のｉ番目の独立コーディング領域に関連するｊ番目のサブピクチャのサブピクチャＩＤを規定するシンタックス要素ir_subpic_id[i][j]を含むことができる。シンタックス要素ir_subpic_id[i][j]の長さは、ビット単位で、シンタックス要素ir_subpic_id_len_minusの値と１との和に等しいとすることができる。一例において、シンタックス要素ir_subpic_id[i][j]を持つサブピクチャは、１に等しいシンタックス要素subpic_treated_as_pic_flag[i][j]を持つことができる。１に等しいシンタックス要素subpic_treated_as_pic_flag[i][j]は、対応するサブピクチャの境界がピクチャ境界として扱われることを示すことができ、対応するサブピクチャの境界が動き補償予測のためにパディングされ得る。
【0133】
戻って図９Ｃを参照するに、現在ピクチャ（９００）は、０番目の独立コーディング領域（９１１）（例えば、ｉ＝０）と、１番目の独立コーディング領域（９１５）（例えば、ｉ＝１）とを含んでいる。０番目の独立コーディング領域（９１１）（例えば、ｉ＝０）は、ｊがそれぞれ０及び１であることに対応するサブピクチャ１－２を含んでいる。０番目の独立コーディング領域（９１１）に関連する０番目のサブピクチャ（例えば、サブピクチャ１）のサブピクチャＩＤは１であり、ir_subpic_id[0][0]は１である。０番目の独立コーディング領域（９１１）に関連する１番目のサブピクチャ（例えば、サブピクチャ２）のサブピクチャＩＤは２であり、ir_subpic_id[0][1]は１である。
【0134】
１番目の独立コーディング領域（９１５）（例えば、ｉ＝１）は、ｊがそれぞれ０、１、２、及び３であることに対応するサブピクチャ１、２、４、及び５を含んでいる。１番目の独立コーディング領域（９１５）に関連する０番目のサブピクチャ（例えば、サブピクチャ１）のサブピクチャＩＤは１であり、ir_subpic_id[1][0]は１である。１番目の独立コーディング領域（９１５）に関連する１番目のサブピクチャ（例えば、サブピクチャ２）のサブピクチャＩＤは２であり、ir_subpic_id[1][1]は２である。１番目の独立コーディング領域（９１５）に関連する２番目のサブピクチャ（例えば、サブピクチャ４）のサブピクチャＩＤは４であり、ir_subpic_id[1][2]は４である。１番目の独立コーディング領域（９１５）に関連する３番目のサブピクチャ（例えば、サブピクチャ５）のサブピクチャＩＤは５であり、ir_subpic_id[1][3]は５である。
【0135】
上述のように、シンタックス要素ir_indepen_coded_region_left_offset[i]及びir_indepen_coded_region_top_offset[i]は、ｉ番目の独立コーディング領域（例えば、独立領域（９１１））の左上位置（例えば、左上位置（９３１））を規定することができる。一例において、シンタックス要素ir_indepen_coded_region_left_offset[i]及びir_indepen_coded_region_top_offset[i]は０に等しいことはできない。シンタックス要素ir_indepen_coded_region_left_offset[i]及びir_indepen_coded_region_top_offset[i]は、Max(8,MinCbSizeY)の倍数である整数とすることができる。シンタックス要素ir_indepen_coded_region_left_offset[i]及びir_indepen_coded_region_top_offset[i]は、それぞれ、シンタックス要素ir_pic_width_in_luma_samples及びir_pic_height_in_luma_amplesの値より小さいとすることができる。
【0136】
上述のように、シンタックス要素ir_indepen_coded_region_width_in_luma_samples[i]は、ｉ番目の独立コーディング領域の幅を規定することができる。一例において、シンタックス要素ir_indepen_coded_region_width_in_luma_samples[i]は０に等しいことはできない。シンタックス要素ir_indepen_coded_region_width_in_luma_samples[i]は、Max(8,MinCbSizeY)の倍数である整数とすることができる。シンタックス要素ir_indepen_coded_region_width_in_luma_samples[i]は、シンタックス要素ir_pic_width_in_luma_samplesの値以下とすることができる。
【0137】
上述のように、シンタックス要素ir_indepen_coded_region_height_in_luma_samples[i]は、ｉ番目の独立コーディング領域の高さを規定することができる。一例において、シンタックス要素ir_indepen_coded_region_height_in_luma_samples[i]は０に等しいことはできない。シンタックス要素ir_indepen_coded_region_height_in_luma_samples[i]は、Max(8,MinCbSizeY)の倍数である整数とすることができる。シンタックス要素ir_indepen_coded_region_height_in_luma_samples[i]は、シンタックス要素ir_pic_height_in_luma_samplesの値以下とすることができる。
【0138】
本開示の一実施形態によれば、独立領域出力情報は、現在ピクチャ（９００）のｉ番目の独立領域（例えば、独立領域（９１１））の第３フラグ（例えば、ir_indepen_coded_region_output_window_present_flag[i]）を含むことができる。第３フラグ（例えば、ir_indepen_coded_region_output_window_present_flag[i]）は、ｉ番目の独立領域のクロッピング情報（例えば、出力クロッピングウィンドウオフセットパラメータを示す）が独立領域出力情報内でシグナリングされるかを示すことができる。
【0139】
第１現在値（例えば、１なる値）を持つ第３（例えば、ir_indepen_coded_region_output_window_present_flag[i]）は、ｉ番目の独立コーディング領域のクロッピング情報（例えば、出力クロッピングウィンドウオフセットパラメータ）が、当該ＩＲＯ ＳＥＩメッセージ内で第３フラグに続き得ることを示すことができる。第２現在値（例えば、０なる値）を持つ第３（例えば、ir_indepen_coded_region_output_window_present_flag[i]）は、ｉ番目の独立コーディング領域のクロッピング情報（例えば、出力クロッピングウィンドウオフセットパラメータ）が、当該ＩＲＯ ＳＥＩメッセージ内に存在しない（例えば、含まれない）ことを示すことができる。
【0140】
本開示の一実施形態によれば、第３フラグが、ｉ番目の独立領域（例えば、独立領域（９１１））のクロッピング情報（例えば、出力クロッピングウィンドウオフセットパラメータ）が独立領域出力情報内でシグナリングされることを示す。ｉ番目の独立領域の出力ウィンドウの位置及びサイズを、（ｉ）クロッピング情報と（ｉｉ）オフセット情報及び寸法情報（例えば、ｉ番目の独立領域の位置及びサイズを示す）とに基づいて決定することができる。ｉ番目の独立領域の出力ウィンドウの位置及びサイズに基づいて、ｉ番目の独立領域を出力することができる。
【0141】
一例において、出力クロッピングウィンドウオフセットパラメータは、ＩＲＯ ＳＥＩメッセージ内のシンタックス要素ir_output_win_left_offset[i]、ir_output_win_right_offset[i]、ir_output_win_top_offset[i]、及びir_output_win_bottom_offset[i]によって示される。シンタックス要素ir_output_win_left_offset[i]、ir_output_win_right_offset[i]、ir_output_win_top_offset[i]、及びir_output_win_bottom_offset[i]は、ｉ番目に独立コーディング領域を出力するための矩形領域をピクチャ座標で規定することができる。例えば、シンタックス要素ir_output_win_left_offset[i]、ir_output_win_right_offset[i]、ir_output_win_top_offset[i]、及びir_output_win_bottom_offset[i]は、それぞれ、矩形領域の左位置、右位置、上位置、及び下位置を規定する。第３フラグ（例えば、ir_indepen_coded_region_output_window_present_flag[i]）が第２現在値（例えば、０なる値）を持つとき、シンタックス要素ir_output_win_left_offset[i]、ir_output_win_right_offset[i]、ir_output_win_top_offset[i]、及びir_output_win_bottom_offset[i]の値は、０に等しいと推定されることができる。
【0142】
戻って図９Ａを参照するに、０番目の独立コーディング領域（例えば、独立領域（９１１））の第３フラグ（例えば、ir_indepen_coded_region_output_window_present_flag[0]）が第１現在値（例えば、１）を持つとき、独立領域（９１１）の出力クロッピングウィンドウオフセットパラメータがＩＲＯ ＳＥＩメッセージ内で第３フラグに続く。出力クロッピングウィンドウオフセットパラメータは、出力又は表示されるべき矩形領域（例えば、クロッピングされた独立領域（９２１））に対応する出力ウィンドウ（又は適合ウィンドウ）の左位置、右位置、上位置、及び下位置を規定するir_output_win_left_offset[0]、ir_output_win_right_offset[0]、ir_output_win_top_offset[0]、及びir_output_win_bottom_offset[0]を含むことができる。出力ウィンドウによって規定されるクロッピングされた独立領域（９２１）が出力又は表示される。
【0143】
ＳＥＩメッセージ（例えば、ＩＲＯ ＳＥＩメッセージ）は、例えば第２フラグ（例えば、independent_region_output_persistence_flag）の値に応じて、ＣＶＳの現在レイヤの１つ以上のピクチャに適用されることができる。図９Ａ－図９Ｃ及び図１０を参照しての上の説明は、ＣＶＳの別のレイヤに対して好適に適応されることができる。ＳＥＩメッセージ（例えば、ＩＲＯ ＳＥＩメッセージ）は、ＣＶＳの別のレイヤ（例えば、現在レイヤとは異なるレイヤ）内の１つ以上のピクチャに適用されることができる。
【0144】
ＣＶＳの第１レイヤ内の第１ピクチャの独立領域に、ＣＶＳの第１レイヤ内の第１ピクチャの他の（１つ以上の）領域及び／又は（１つ以上の）サブピクチャとは独立してアクセスし、復号し、及び／又は出力することができる。ＣＶＳの第２レイヤ内の第２ピクチャの独立領域に、第２ピクチャの他の（１つ以上の）領域及び／又は（１つ以上の）サブピクチャとは独立してアクセスし、復号し、及び／又は出力する。一例において、第１レイヤ内の第１ピクチャの独立領域に、第２ピクチャの（１つ以上の）領域及び／又は（１つ以上の）サブピクチャとは独立してアクセスし、復号し、及び／又は出力する。一例において、第１レイヤ内の第１ピクチャの独立領域に、第２ピクチャの一部（例えば、領域及び／又はサブピクチャ）に基づいてアクセスし、復号し、及び／又は出力する。
【0145】
図１０で説明したＳＥＩメッセージは、様々なシナリオに対して好適に適応されることができ、それに従ってＳＥＩメッセージ内の（１つ以上の）シンタックス要素を調整することができる。ＳＥＩメッセージ内のシンタックス要素のうちの１つ以上が適応させたり省略されたりし得る。シンタックス要素は任意の好適な順序でＳＥＩメッセージ内に存在することができる。追加の（１つ以上の）シンタックス要素がＳＥＩメッセージに追加され得る。
【0146】
図１１は、本開示の一実施形態に従ったＳＥＩメッセージ（情報）の持続範囲の一例を示している。一例において、ＳＥＩメッセージ（例えば、ＩＲＯ ＳＥＩメッセージ）は独立領域出力ウィンドウに適用される。ＳＥＩメッセージの持続範囲は、当該ＳＥＩメッセージに関連するピクチャユニット（ＰＵ）に当該ＳＥＩメッセージが適用可能であることを示すことができる。
【0147】
図１２は、本開示の一実施形態に従った符号化プロセス（１２００）を概説するフローチャートを示している。様々な実施形態において、プロセス（１２００）は、例えば、端末装置（３１０）、（３２０）、（３３０）及び（３４０）の処理回路、ビデオエンコーダ（例えば、（４０３）、（６０３）、（７０３））の機能を実行する処理回路、及びこれらに類するものなどの、処理回路によって実行される。一部の実施形態において、プロセス（１２００）は、ソフトウェア命令にて実装され、従って、処理回路がソフトウェア命令を実行するときに、処理回路がプロセス（１２００）を実行する。当該プロセスは（Ｓ１２０１）で開始して（Ｓ１２１０）に進む。
【0148】
（Ｓ１２１０）にて、ピクチャをビットストリームに符号化することができる。図９Ａを参照するに、ピクチャ（例えば、現在ピクチャ（９００））は独立コーディング領域（例えば、独立領域（９１１））を含むことができる。独立コーディング領域（例えば、独立領域（９１１））は、現在ピクチャの１つ以上のサブピクチャのうちの少なくとも１つのサブピクチャを含むことができる。ピクチャ、独立領域、及び１つ以上のサブピクチャの例は図９Ａ－図９Ｃで説明されている。
【0149】
（Ｓ１２２０）にて、ピクチャの独立領域出力情報を示す補足強化情報（ＳＥＩ）メッセージを生成することができる。当該ＳＥＩメッセージは、例えば図１０で説明したような、ＩＲＯ ＳＥＩメッセージとすることができる。独立領域出力情報は、図９Ａ－図９Ｃ及び図１０で説明したように、独立してアクセス、復号、及び／又は出力される独立コーディング領域の位置及びサイズを示すことができる。
【0150】
（Ｓ１２３０）にて、ＳＥＩメッセージをビットストリームに含めることができる。一例において、符号化ピクチャ及びＳＥＩメッセージは、例えばデコーダに伝送されて該デコーダによって受信されることができる。プロセス（１２００）は（Ｓ１２９９）に進んで終了する。
【0151】
プロセス（１２００）は、様々なシナリオに対して好適に適応されることができ、それに従ってプロセス（１２００）のステップを調整することができる。プロセス（１２００）のステップのうちの１つ以上が、適応され、省略され、反復され、及び／又は組み合わされ得る。任意の好適な順序を用いてプロセス（１２００）を実施し得る。更なる（１つ以上の）ステップが追加され得る。
【0152】
一例において、ＳＥＩメッセージ内の第１フラグ（例えば、図１０で説明したindependent_region_output_cancel_flag）が、独立領域出力情報がＳＥＩメッセージ内でシグナリングされないことを示す。（Ｓ１２２０）は、独立領域出力情報がＳＥＩメッセージに含まれないように適応されることができる。
【0153】
図１３は、本開示の一実施形態に従った復号プロセス（１３００）を概説するフローチャートを示している。様々な実施形態において、プロセス（１３００）は、例えば、端末装置（３１０）、（３２０）、（３３０）及び（３４０）の処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路ビデオエンコーダ（６０３）の機能を実行する処理回路、及びこれらに類するものなどの、処理回路によって実行される。一部の実施形態において、プロセス（１３００）は、ソフトウェア命令にて実装され、従って、処理回路がソフトウェア命令を実行するときに、処理回路がプロセス（１３００）を実行する。当該プロセスは（Ｓ１３０１）で開始して（Ｓ１３１０）に進む。
【0154】
（Ｓ１３１０）にて、独立領域出力情報を示す補足強化情報（ＳＥＩ）メッセージを復号することができる。独立領域出力情報は、現在ピクチャ内の独立して復号可能な領域である独立領域を示すことができる。
【0155】
（Ｓ１３２０）にて、独立領域出力情報内の独立領域のオフセット情報及び寸法情報に基づいて、現在ピクチャ内の独立領域を決定することができる。一例において、オフセット情報は、図１０のシンタックス要素ir_indepen_coded_region_left_offset[i]及びir_indepen_coded_region_top_offset[i]によって示される。一例において、寸法情報は、シンタックス要素ir_indepen_coded_region_width_in_luma_samples[i]及びir_indepen_coded_region_height_in_luma_samples[i]によって示される。
【0156】
一実施形態において、現在ピクチャ（例えば、現在ピクチャ（９００））は１つ以上のサブピクチャ（例えば、サブピクチャ０－５）を含む。独立領域（例えば、独立領域（９１１））は、現在ピクチャの１つ以上のサブピクチャのうちのあるサブピクチャ（例えば、サブピクチャ１）を含む。
【0157】
一実施形態において、図９Ｂを参照するに、そのサブピクチャは現在ピクチャ内の別の独立領域（例えば、独立領域（９１３））に含まれる。
【0158】
一実施形態において、図９Ｃを参照するに、独立領域（例えば、独立領域（９１１））は別の独立領域（例えば、独立領域（９１５））に含まれる。
【0159】
一実施形態において、独立領域出力情報は、例えば図１０で説明したように、独立領域（例えば、ｉが０である０番目の独立領域）内のサブピクチャ（例えば、ｊが０である０番目のサブピクチャ）のサブピクチャ識別子（例えば、シンタックス要素ir_subpic_id[i][j]によって示される）を示す。一例において、シンタックス要素ir_subpic_id[0][0]の値は１であり、サブピクチャＩＤは１である。
【0160】
一実施形態において、独立領域出力情報は第２フラグ（例えば、図１０のindependent_region_output_persistence_flag）を含む。第１持続値を持つ第２フラグは、例えば現在レイヤ内の、現在ピクチャ、にのみ当該ＳＥＩメッセージが適用されることを示す。第２現在値を持つ第２フラグは、当該ＳＥＩメッセージが、現在ピクチャに適用されるとともに、図１０で説明したように、条件が満たされるまで、現在レイヤの出力順で後続の１つ以上のピクチャに適用されることを示す。
【0161】
一実施形態において、独立領域出力情報は、独立領域（例えば、独立領域（９１１））の第３フラグ（例えば、図１０のir_indepen_coded_region_output_window_present_flag[i]）を含む。第３フラグは、独立領域のクロッピング情報が独立領域出力情報内でシグナルされるかを示す。
【0162】
（Ｓ１３３０）にて、現在ピクチャの全体が復号されるかどうかに関係なく、決定した独立領域を復号することができる。上記１つ以上の独立領域のうちの上記独立領域を、例えば、本開示で説明した復号方法といった好適な復号方法を用いて復号することができる。
【0163】
（Ｓ１３４０）にて、図１０を参照して説明したように、独立領域のオフセット情報によって示される位置、及び独立領域の寸法情報によって示されるサイズに基づいて、復号した独立領域を出力することができる。
【0164】
一実施形態において、第２フラグが第２現在値を持つ。独立領域出力情報に基づいて、現在レイヤの出力順で後続のピクチャ内の独立領域を出力することができる。
【0165】
プロセス（１３００）は（Ｓ１３９９）に進んで終了する。
【0166】
プロセス（１３００）は、様々なシナリオに対して好適に適応されることができ、それに従ってプロセス（１３００）のステップを調整することができる。プロセス（１３００）のステップのうちの１つ以上が、適応され、省略され、反復され、及び／又は組み合わされ得る。任意の好適な順序を用いてプロセス（１３００）を実施し得る。更なる（１つ以上の）ステップが追加され得る。
【0167】
一実施形態において、ＳＥＩメッセージは、独立領域出力情報がＳＥＩメッセージ（例えば、図１０で説明したＳＥＩメッセージ）内でシグナリングされるかを示す第１フラグ（例えば、図１０のindependent_region_output_cancel_flag）を含む。独立領域出力情報がＳＥＩメッセージ内でシグナリングされることを第１フラグが示す場合、独立領域出力情報内の独立領域のオフセット情報及び寸法情報に基づいて、現在ピクチャ内の独立領域を決定することができる。一実施形態において、第１フラグが、独立領域出力情報がＳＥＩメッセージ内でシグナリングされないことを示す。（Ｓ１３２０）は省略されることができる。（Ｓ１３３０）及び（Ｓ１３４０）は、現在ピクチャが復号されて出力されるように適応されることができる。
【0168】
一実施形態において、独立領域のクロッピング情報が独立領域出力情報内でシグナリングされることを第３フラグが示すことに基づき、独立領域の出力ウィンドウの位置及びサイズを、（ｉ）クロッピング情報、及び（ｉｉ）独立領域のオフセット情報及び寸法情報に基づいて決定することができる。独立領域の出力ウィンドウ（例えば、クロッピングされた独立領域（９２１））の位置及びサイズに基づいて、復号した独立領域を出力することができる。
【0169】
一実施形態において、復号すること及び表示のために出力することが、現在ピクチャの全体が復号される前に実行される。
【0170】
本開示の一実施形態によれば、現在ピクチャの一部（例えば、１つ以上のサブピクチャ、独立領域）に、現在ピクチャの他の（１つ以上の）領域及び／又は（１つ以上の）サブピクチャとは独立してアクセスし、復号し、及び／又は出力することができる。現在ピクチャ内の各独立領域に独立にアクセスすることができる。現在ピクチャ内の各独立領域は、独立して復号可能であることができる。現在ピクチャ内の各独立領域を独立に出力することができる。現在ピクチャ内の各独立領域を独立に表示することができる。現在ピクチャ内のサブピクチャ又は独立領域は、任意の好適な形状及び／又は任意の好適なサイズを持つことができる。一例において、現在ピクチャ内のサブピクチャ又は独立領域は長方形の形状を持つ。現在ピクチャは、部分的又は局所的に（例えば、独立領域（９１１）のみ）アクセスされ、復号され、及び／又は出力されることができる。
【0171】
本開示の実施形態は、任意の順序で別々に又は組み合わせて使用され得る。また、これらの方法（又は実施形態）の各々、エンコーダ、及びデコーダは、処理回路（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装され得る。一例において、それら１つ以上のプロセッサは、非一時的なコンピュータ読み取り可能媒体に格納されたプログラムを実行する。
【0172】
上述の技術は、１つ以上のコンピュータ読み取り可能媒体に物理的に格納された、コンピュータ読み取り可能命令を用いたコンピュータソフトウェアとして、実装されることができる。例えば、図１４は、開示に係る事項の特定の実施形態を実装するのに好適なコンピュータシステム（１４００）を示している。
【0173】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は同様の機構に掛けられることで、直接的に又はインタープリット、マイクロコード実行及びこれらに類するものを介して１つ以上のコンピュータ中央演算処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、及びこれらに類するものによって実行されることが可能な命令を有するコードを作り出し得るような、任意の好適な機械コード又はコンピュータ言語を用いてコード化され得る。
【0174】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、及びこれらに類するものを含め、様々なタイプのコンピュータ又はそのコンポーネント上で実行され得る。
【0175】
コンピュータシステム（１４００）に関して図１４に示したコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能性の範囲についての何らかの限定を示唆する意図はない。また、コンポーネントの構成も、コンピュータシステム（１４００）のこの例示的な実施形態に示されたコンポーネントの任意の１つ又は組み合わせに関する何らかの従属性又は要件も持つものとして解釈されるべきでない。
【0176】
コンピュータシステム（１４００）は、特定のヒューマンインタフェース入力装置を含んでもよい。そのようなヒューマンインタフェース入力装置は、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブを動かすことなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャなど）、嗅覚入力（図示せず）を介した、一人以上の人間ユーザによる入力に応答し得る。ヒューマンインタフェース装置はまた、例えばオーディオ（例えば、会話、音楽、周囲の音など）、画像（例えば、走査画像、静止画カメラから得られる写真画像など）、映像（例えば、二次元映像、立体視映像を含む３次元映像など）などの、人間による意識的な入力には必ずしも直接関係しない特定の媒体を捕捉するために使用されてもよい。
【0177】
入力ヒューマンインタフェース装置は、キーボード（１４０１）、マウス（１４０２）、トラックパッド（１４０３）、タッチスクリーン（１４１０）、データグローブ（図示せず）、ジョイスティック（１４０５）、マイクロフォン（１４０６）、スキャナ（１４０７）、カメラ（１４０８）（各々１つのみ図示している）のうちの１つ以上を含み得る。
【0178】
コンピュータシステム（１４００）はまた、特定のヒューマンインタフェース出力装置を含み得る。そのようなヒューマンインタフェース出力装置は、例えば、触覚出力、音、光、及び臭い／味を通して、一人以上の人間ユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力装置は、触覚出力装置（例えば、タッチスクリーン（１４１０）、データグローブ（図示せず）、又はジョイスティック（１４０５）による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置もあってもよい）、オーディオ出力装置（例えば、スピーカー（１４０９）、ヘッドフォン（図示せず）など）、視覚出力装置（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１４１０）（各々がタッチスクリーン入力機能を有する又は有さない。各々が触覚フィードバック機能を有する又は有さない。これらの一部は、二次元の視覚出力、又は例えば立体視出力などの手段を通じて四次元以上の出力を出力することができるとし得る。）、仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）など）、及びプリンタ（図示せず）を含み得る。
【0179】
コンピュータシステム（１４００）はまた、例えば、ＣＤ／ＤＶＤ若しくは類似の媒体（１４２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１４２０）を含む光媒体、サムドライブ（１４２２）、取り外し可能なハードドライブ若しくは又はソリッドステートドライブ（１４２３）、例えばテープ及びフロッピーディスク（登録商標、図示せず）などのレガシー磁気媒体、例えばセキュリティドングルなどの特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置（図示せず）、及びこれらに類するものなどの、人間アクセス可能なストレージ装置及びそれらの関連媒体を含み得る。
【0180】
当業者がこれまた理解するはずのことには、ここでの開示に係る事項に関連して使用される用語“コンピュータ読み取り可能媒体”は、伝送媒体、搬送波、又は他の一時的な信号を含まない。
【0181】
コンピュータシステム（１４００）はまた、１つ以上の通信ネットワーク（１４５５）へのインタフェース（１４５４）を含み得る。ネットワークは、例えば、無線、有線、光とし得る。ネットワークは更に、ローカル、広域、大都市、車両及び産業、リアルタイム、耐遅延などとし得る。ネットワークの例は、例えばイーサネット（登録商標）などのローカルエリアネットワークや、無線ＬＡＮや、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ及びこれらに類するものを含むセルラネットワークや、ケーブルＴＶ、衛星ＴＶ、及び地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワークや、ＣＡＮＢｕｓを含む車両及び産業などを含む。特定のネットワークは一般に、特定の汎用データポート又はペリフェラルバス（１４４９）（例えば、コンピュータシステム（１４００）のＵＳＢポートなど）に取り付けられる外付けネットワークインタフェースアダプタを必要とし、他のものは一般に、後述のシステムバスへの取り付けによってコンピュータシステム（１４００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、又はスマートフォンコンピュータシステムへのセルラネットワークインタフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１４００）は、他のエンティティと通信することができる。そのような通信は、単方向の受信のみ（例えば、放送ＴＶ）であってもよいし、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓ装置に対するＣＡＮｂｕｓ）であってもよいし、あるいは、例えばローカル又は広域デジタルネットワークを用いた他のコンピュータシステムに対しての、双方向であってもよい。特定のプロトコル及びプロトコルスタックが、上述のようにネットワーク及びネットワークインタフェースの各々上で使用され得る。
【0182】
前述のヒューマンインタフェース装置、人間アクセス可能なストレージ装置、及びネットワークインタフェースは、コンピュータシステム（１４００）のコア（１４４０）に取り付けられることができる。
【0183】
コア（１４４０）は、１つ以上の中央演算処理ユニット（ＣＰＵ）（１４４１）、グラフィックス処理ユニット（ＧＰＵ）（１４４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１４４３）の形態の特殊なプログラム可能なプロセッシングユニット、特定のタスク用のハードウェアアクセラレータ（１４４４）、グラフィックスアダプタ（１４５０）などを含み得る。これらのデバイスは、読み出し専用メモリ（ＲＯＭ）（１４４５）、ランダムアクセスメモリ（１４４６）、例えば内部のユーザアクセス可能でないハードドライブ、ＳＳＤなどの内部大容量ストレージ（１４４７）、及びこれらに類するもの（１４４７）と共に、システムバス（１４４８）を介して接続され得る。一部のコンピュータシステムにおいて、システムバス（１４４８）は、追加のＣＰＵ、ＧＰＵ、及びこれらに類するものによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能にされ得る。周辺装置は、コアのシステムバス（１４４８）に直接的に、又はペリフェラルバス（１４４９）を介して、のいずれで取り付けられてもよい。一例において、スクリーン（１４１０）はグラフィックスアダプタ（１４５０）に接続されることができる。ペリフェラルバスのアーキテクチャは、ＰＣＩ、ＵＳＢ、及びこれらに類するものを含む。
【0184】
ＣＰＵ（１４４１）、ＧＰＵ（１４４２）、ＦＰＧＡ（１４４３）、及びアクセラレータ（１４４４）は、組み合わさって前述のコンピュータコードを構成することができる特定の命令を実行し得る。そのコンピュータコードは、ＲＯＭ（１４４５）又はＲＡＭ（１４４６）に格納され得る。ＲＡＭ（１４４６）には過渡的なデータも格納されることができ、永久的なデータは、例えば内部大容量ストレージ（１４４７）に格納されることができる。メモリデバイスのいずれかへの高速な記憶及び取り出しが、１つ以上のＣＰＵ（１４４１）、ＧＰＵ（１４４２）、大容量ストレージ（１４４７）、ＲＯＭ（１４４５）、ＲＡＭ（１４４６）、及びこれらに類するものの近くに付随し得るキャッシュメモリの使用によって可能にされ得る。
【0185】
コンピュータ読み取り可能媒体はその上に、様々なコンピュータ実装処理を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的に合わせて特別に設計及び構築されたものであってもよいし、あるいは、それらは、コンピュータソフトウェア技術の当業者にとって周知且つ利用可能な種類のものであってもよい。
【0186】
一例として、限定ではなく、アーキテクチャ（１４００）、特にコア（１４４０）、を有するコンピュータシステムは、１つ以上の有形のコンピュータ読み取り可能媒体に具現化されたソフトウェアを（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、及びこれらに類するものを含む）が実行することの結果として機能を提供することができる。そのようなコンピュータ読み取り可能媒体は、例えばコア内部の大容量ストレージ（１４４７）又はＲＯＭ（１４４５）などの、非一時的性質のものであるコア（１４４０）の特定のストレージ、及び上で紹介したようなユーザアクセス可能な大容量ストレージに関連する媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアは、そのような装置に格納され、コア（１４４０）によって実行されることができる。コンピュータ読み取り可能媒体は、具体的なニーズに従って、１つ以上のメモリデバイス又はチップを含み得る。ソフトウェアは、コア（１４４０）及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、及びこれらに類するものを含む）に、ＲＡＭ（１４４６）に格納されるデータ構造を規定すること、及びそのようなデータ構造を、ソフトウェアによって規定されたプロセスに従って変更することを含めて、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はソフトウェアと共に動作することができる回路（例えば、アクセラレータ（１４４４））にて配線された又はその他の方法で具体化されたロジックの結果として、機能を提供してもよい。ソフトウェアへの言及はロジックを含み、また、適当な場合にその逆もまた然りである。コンピュータ読み取り可能媒体への言及は、実行のためのソフトウェアを格納した回路（例えば、集積回路（ＩＣ）など）、実行のためのロジックを具体化した回路、又は適当な場合にこれら双方を含み得る。本開示は、ハードウェア及びソフトウェアの好適な組み合わせを含む。
付録Ａ：頭字語
ＪＥＭ：joint exploration model（共同探査モデル）
ＶＶＣ：versatile video coding（バーサタイルビデオコーディング）
ＢＭＳ：benchmark set（ベンチマークセット）
ＭＶ：Motion Vector（動きベクトル）
ＨＥＶＣ：High Efficiency Video Coding（ハイエフィシェンシビデオコーディング）
ＳＥＩ：Supplementary Enhancement Information（補足強化情報）
ＶＵＩ：Video Usability Information（ビデオユーザビリティ情報）
ＧＯＰｓ：Groups of Pictures（グループ・オブ・ピクチャ）
ＴＵｓ：Transform Units,（変換ユニット）
ＰＵ：Picture Unit（ピクチャユニット）
ＣＴＵｓ：Coding Tree Units（コーディングツリーユニット）
ＣＴＢｓ：Coding Tree Blocks（コーディングツリーブロック）
ＰＢｓ：Prediction Blocks（予測ブロック）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮説的リファレンスデコーダ）
ＳＮＲ：Signal Noise Ratio（信号対雑音比）
ＣＰＵｓ：Central Processing Units（中央演算処理ユニット）
ＧＰＵｓ：Graphics Processing Units（グラフィックス処理ユニット）
ＣＲＴ：Cathode Ray Tube（陰極線管）
ＬＣＤ：Liquid-Crystal Display（液晶ディスプレイ）
ＯＬＥＤ：Organic Light-Emitting Diode（有機発光ダイオード）
ＣＤ：Compact Disc（コンパクトディスク）
ＤＶＤ：Digital Video Disc（デジタルビデオディスク）
ＲＯＭ：Read-Only Memory（読み出し専用メモリ）
ＲＡＭ：Random Access Memory（ランダムアクセスメモリ）
ＡＳＩＣ：Application-Specific Integrated Circuit（特定用途向け集積回路）
ＰＬＤ：Programmable Logic Device（プログラマブルロジックデバイス）
ＬＡＮ：Local Area Network（ローカルエリアネットワーク）
ＧＳＭ：Global System for Mobile communications（グローバルシステムフォーモバイルコミュニケーションズ）
ＬＴＥ：Long-Term Evolution（ロングタームエボリューション）
ＣＡＮＢｕｓ：Controller Area Network Bus（コントローラエリアネットワークバス）
ＵＳＢ：Universal Serial Bus（ユニバーサルシリアルバス）
ＰＣＩ：Peripheral Component Interconnect（ペリフェラルコンポーネントインターコネクト）
ＦＰＧＡ：Field Programmable Gate Areas（フィールドプログラマブルゲートアレイ）
ＳＳＤ：solid-state drive（ソリッドステートドライブ）
ＩＣ：Integrated Circuit（集積回路）
ＣＵ：Coding Unit（コーディングユニット）
Ｒ－Ｄ：レート歪み
付録Ａ：頭字語
ＪＥＭ：joint exploration model（共同探査モデル）
ＶＶＣ：versatile video coding（バーサタイルビデオコーディング）
ＢＭＳ：benchmark set（ベンチマークセット）
ＭＶ：Motion Vector（動きベクトル）
ＨＥＶＣ：High Efficiency Video Coding（ハイエフィシェンシビデオコーディング）
ＳＥＩ：Supplementary Enhancement Information（補足強化情報）
ＶＵＩ：Video Usability Information（ビデオユーザビリティ情報）
ＧＯＰｓ：Groups of Pictures（グループ・オブ・ピクチャ）
ＴＵｓ：Transform Units,（変換ユニット）
ＰＵ：Picture Unit（ピクチャユニット）
ＣＴＵｓ：Coding Tree Units（コーディングツリーユニット）
ＣＴＢｓ：Coding Tree Blocks（コーディングツリーブロック）
ＰＢｓ：Prediction Blocks（予測ブロック）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮説的リファレンスデコーダ）
ＳＮＲ：Signal Noise Ratio（信号対雑音比）
ＣＰＵｓ：Central Processing Units（中央演算処理ユニット）
ＧＰＵｓ：Graphics Processing Units（グラフィックス処理ユニット）
ＣＲＴ：Cathode Ray Tube（陰極線管）
ＬＣＤ：Liquid-Crystal Display（液晶ディスプレイ）
ＯＬＥＤ：Organic Light-Emitting Diode（有機発光ダイオード）
ＣＤ：Compact Disc（コンパクトディスク）
ＤＶＤ：Digital Video Disc（デジタルビデオディスク）
ＲＯＭ：Read-Only Memory（読み出し専用メモリ）
ＲＡＭ：Random Access Memory（ランダムアクセスメモリ）
ＡＳＩＣ：Application-Specific Integrated Circuit（特定用途向け集積回路）
ＰＬＤ：Programmable Logic Device（プログラマブルロジックデバイス）
ＬＡＮ：Local Area Network（ローカルエリアネットワーク）
ＧＳＭ：Global System for Mobile communications（グローバルシステムフォーモバイルコミュニケーションズ）
ＬＴＥ：Long-Term Evolution（ロングタームエボリューション）
ＣＡＮＢｕｓ：Controller Area Network Bus（コントローラエリアネットワークバス）
ＵＳＢ：Universal Serial Bus（ユニバーサルシリアルバス）
ＰＣＩ：Peripheral Component Interconnect（ペリフェラルコンポーネントインターコネクト）
ＦＰＧＡ：Field Programmable Gate Areas（フィールドプログラマブルゲートアレイ）
ＳＳＤ：solid-state drive（ソリッドステートドライブ）
ＩＣ：Integrated Circuit（集積回路）
ＣＵ：Coding Unit（コーディングユニット）
Ｒ－Ｄ：レート歪み
【0187】
この開示は幾つかの例示的な実施形態を記述しているが、開示の範囲に入る変更、置換、及び様々な均等な代替が存在する。従って、理解されることには、当業者は、ここでは明示的に図示されたり説明されたりしていないものの、開示の原理を具体化し、それ故に、その精神及び範囲の中にあるような、数多くのシステム及び方法を考案することができるであろう。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】