(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-21
(54)【発明の名称】ビデオ処理の方法、装置、及びプログラム
(51)【国際特許分類】
H04N 19/597 20140101AFI20231214BHJP
H04N 19/70 20140101ALI20231214BHJP
【ＦＩ】
H04N19/597
H04N19/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023535367
(86)(22)【出願日】2022-06-02
(85)【翻訳文提出日】2023-06-09
(86)【国際出願番号】 US2022072712
(87)【国際公開番号】W WO2023056111
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/250,182
(32)【優先日】2021-09-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/824,639
(32)【優先日】2022-05-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チョイ，ビヨンドゥ
(72)【発明者】
【氏名】リウ，シャン
(72)【発明者】
【氏名】ウェンジャー，ステファン
(72)【発明者】
【氏名】ハインズ，アリアンヌ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LA02
5C159MA04
5C159MA05
5C159MA16
5C159MA21
5C159MC11
5C159ME01
5C159PP03
5C159PP13
5C159RC11
5C159UA02
5C159UA05
(57)【要約】
開示の態様は、ビデオ符号化／復号化のための方法及び装置を提供する。いくつかの例で、ビデオ復号化のための装置は処理回路を含む。処理回路は、ビットストリーム内のビューに関連したピクチャを復号し、補助強化情報（ＳＥＩ）メッセージから、ビューごとに、多次元空間内の多次元座標の位置を決定する。例において、ビューの位置は、ＳＥＩメッセージにおいて、多次元空間内の少なくとも垂直ビュー位置及び水平ビュー位置によって定義される。更に、処理回路は、多次元空間内の少なくとも垂直ビュー位置及び水平ビュー位置によって定義されるレンダリングビューに基づき、ピクチャからレンダリングピクチャを決定する。
【特許請求の範囲】
【請求項1】
ビデオデコーダ が実行するビデオ処理の方法であって、ビットストリームから、複数のビューに関連したピクチャを受け取るステップと、
前記複数のビューに関連した前記ピクチャを復号するステップと、
前記ビットストリーム内の補助強化情報（ＳＥＩ）メッセージから、前記複数のビューについて夫々、多次元空間内の多次元座標の位置を決定するステップであって、前記位置は、少なくとも垂直ビュー位置及び水平ビュー位置の両方を含む、前記決定するステップと、
前記垂直ビュー位置及び前記水平ビュー位置に対応するレンダリングビューに基づき前記ピクチャをレンダリングするステップと、
前記レンダリングされたピクチャ及び前記多次元空間内の前記多次元座標の位置に基づき前記ピクチャを並べ替えるステップと
を有する方法。
【請求項2】
前記ＳＥＩメッセージから前記複数のビューについて前記多次元空間内の前記多次元座標の位置を決定する前記ステップは、前記ＳＥＩメッセージから前記複数のビューについて２次元空間内の２次元座標の位置を決定するステップを更に有する、
請求項１に記載の方法。
【請求項3】
前記ＳＥＩメッセージから前記複数のビューについて前記２次元空間内の前記２次元座標の位置を決定する前記ステップは、前記ＳＥＩメッセージから、前記複数のビューの数を示す第１値を取得するステップと、
前記ＳＥＩメッセージから、前記２次元空間の垂直次元における位置の第１数を示す第２値を取得するステップと、
前記ＳＥＩメッセージから、前記２次元空間の水平次元における位置の第２数を示す第３値を取得するステップと
を更に有する、
請求項２に記載の方法。
【請求項4】
前記ＳＥＩメッセージから前記複数のビューについて前記２次元空間内の前記２次元座標の位置を決定する前記ステップは、前記複数のビューの中の各ビューについて、垂直次元の第１座標値及び水平次元の第２座標値を前記２次元空間内のビュー位置として取得するステップを更に有する、
請求項３に記載の方法。
【請求項5】
前記ＳＥＩメッセージは、コーディングされたビデオシーケンスのイントラランダムアクセスポイント（ＩＲＡＰ）に関連する、請求項１に記載の方法。
【請求項6】
前記ＳＥＩメッセージは、他のＳＥＩメッセージ内にない、請求項１に記載の方法。
【請求項7】
前記ＳＥＩメッセージは、前記ビットストリームによって運ばれるコーディングされたビデオシーケンス内にあり、前記ビューについての前記多次元座標の位置は、前記コーディングされたビデオシーケンス内のアクセスユニットに適用される、請求項１に記載の方法。
【請求項8】
前記ＳＥＩメッセージは、マルチビュー・ビュー位置（ＭＶＰ）ＳＥＩメッセージとして表され、前記コーディングされたビデオシーケンスは、スケーラビリティ次元情報（ＳＤＩ）ＳＥＩメッセージを含む、請求項７に記載の方法。
【請求項9】
前記ＳＤＩ ＳＥＩメッセージから前記ビューの数を示す第１値を導出するステップと、前記ＭＶＰ ＳＥＩメッセージから前記数に関連した第２値を取得するステップと、
適合性チェックにおいて、前記第２値に１をプラスしたものを前記第１値と比較するステップと
を更に有する、請求項８に記載の方法。
【請求項10】
ビデオ処理のための装置であって、プログラムコードを記憶するよう構成される少なくとも１つのメモリと、
前記プログラムコードを読み出し、該プログラムコードによって指示されるように動作するよう構成される少なくとも１つのプロセッサと
を有し、
前記プログラムコードは、前記少なくとも１つのプロセッサによって実行される場合に、前記少なくとも１つのプロセッサに、請求項１乃至９のうちいずれか一項に記載の方法を実行させる、装置。
【請求項11】
少なくとも１つのプロセッサによって実行される場合に、前記少なくとも１つのプロセッサに、請求項１乃至９のうちいずれか一項に記載の方法を実行させるプログラム。
【請求項12】
ビデオエンコーダが実行するビデオ処理の方法であって、複数のビューに関連したピクチャをビットストリーム内に符号化するステップと、
補助強化情報（ＳＥＩ）メッセージを形成するステップであり、前記ＳＥＩメッセージは、前記複数のビューについて夫々、多次元空間内の多次元座標の位置を含み、前記位置は、少なくとも垂直ビュー位置及び水平ビュー位置の両方を含む、前記形成するステップと、
前記ＳＥＩメッセージを前記ビットストリームに含めるステップと
を有する方法。
【発明の詳細な説明】
【技術分野】
【0001】
［参照による援用］
本特許出願は、２０２１年９月２９日付けで「TECHNIQUES FOR TWO DIMENSIONAL MULTIVIEW VIEW POSITION SEI MESSAGE FOR CODED VIDEO STREAM」との発明の名称で出願された米国特許仮出願第６３／２５０１８２号に対する優先権の利益を主張して２０２２年５月２５日付けで「TECHNIQUES FOR SIGNALING MULTIVIEW VIEW POSITIONS IN SEI MESSAGE」との発明の名称で出願された米国特許出願第１７／８２４６３９号の優先権の利益を主張するものである。先願の開示は、それらの全文を参照により本願に援用される。
本特許出願は、２０２１年９月２９日付けで「TECHNIQUES FOR TWO DIMENSIONAL MULTIVIEW VIEW POSITION SEI MESSAGE FOR CODED VIDEO STREAM」との発明の名称で出願された米国特許仮出願第６３／２５０１８２号に対する優先権の利益を主張して２０２２年５月２５日付けで「TECHNIQUES FOR SIGNALING MULTIVIEW VIEW POSITIONS IN SEI MESSAGE」との発明の名称で出願された米国特許出願第１７／８２４６３９号の優先権の利益を主張するものである。先願の開示は、それらの全文を参照により本願に援用される。
【0002】
［技術分野］
本開示は、ビデオコーディングに概して関係がある実施形態について記載する。
本開示は、ビデオコーディングに概して関係がある実施形態について記載する。
【背景技術】
【0003】
本明細書で与えられている背景の説明は、開示の背景を一般的に提示することを目的とするものである。現在指名されている発明者の研究は、その研究がこの背景の項で説明されている範囲で、また、出願時に先行技術としてさもなければ適格でない可能性がある説明の側面は、本開示に対する先行技術として明示的にも暗黙的にも認められない。
【0004】
圧縮されていないデジタルビデオはピクチャの連続を含むことができ、各ピクチャは、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間ディメンションを有する。ピクチャの連続は、例えば、毎秒６０ピクチャ、つまり６０Ｈｚの固定又は可変のピクチャレート（俗にフレームレートとしても知られている。）を有することができる。圧縮されていないビデオは、特定のビットレート要件を有している。例えば、サンプル当たり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇビット／ｓに近いバンド幅を必要とする。そのようなビデオの１時間は、６００Ｇバイト超の記憶空間を必要とする。
【0005】
ビデオ符号化及び復号化の１つの目的は、圧縮による入力ビデオ信号の冗長性の低減であることができる。圧縮は、いくつかの場合に２桁以上、上記のバンド幅及び／又は記憶空間要件を減らすのを助けることができる。可逆圧縮及び不可逆圧縮の両方並びにそれらの組み合わせが用いられ得る。可逆圧縮は、原信号の厳密なコピーが圧縮された原信号から再構成可能である技術を指す。不可逆圧縮を使用する場合に、再構成された信号は、原信号と同じでない場合があるが、原信号と再構成された信号との間のひずみは、再構成された信号を、意図された用途にとって有用なものとするほど十分に小さい。ビデオの場合には、不可逆圧縮が広く用いられている。許容されるひずみの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビジョン配信用途のユーザよりも高いひずみを許容し得る。達成可能な圧縮比は、より高い許容可能な／受け入れ可能なひずみがより高い圧縮比をもたらし得ることを反映することができる。
【0006】
ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピコーディングを含むいくつかの広いカテゴリからの技術を利用することができる。
【0007】
ビデオコーデック技術には、イントラコーディングとして知られている技術が含まれ得る。イントラコーディングでは、サンプル値が、以前に再構成された参照ピクチャからのサンプル又は他のデータを参照せずに表現される。いくつかのビデオコーデックにおいて、ピクチャは、サンプルのブロックに空間的に細分される。サンプルの全ブロックがイントラモードでコーディングされる場合に、そのピクチャはイントラピクチャであることができる。イントラピクチャ及びそれらの派生物、例えば、独立デコーダリフレッシュピクチャ（independent decoder refresh pictures）は、デコーダの状態をリセットするために使用可能であり、従って、コーディングされたビットストリーム及びビデオセッションにおける最初のピクチャとして、又は静止画像として使用され得る。イントラブロックのサンプルは、変換を受けることができ、変換係数は、エントロピコーディング前に量子化され得る。イントラ予測は、変換前領域でサンプル値を最小限にする技術であることができる。いくつかの場合に、変換後のＤＣ値が小さければ小さいほど、かつ、ＡＣ係数が小さければ小さいほど、エントロピコーディング後にブロックを表すために所与の量子化ステップサイズで必要とされるビットはますます少ない。
【0008】
例えば、ＭＰＥＧ－２世代のコーディング技術から知られているような、従来のイントラコーディングは、イントラ予測を使用しない。しかし、いくつかのより新しいビデオ圧縮技術は、例えば、データの空間的に隣接しかつ復号化順序において先行するブロックの符号化及び／又は復号化中に得られた周囲サンプルデータ及び／又はメタデータから試みる技術を含む。かような技術は、以降「イントラ予測」技術と呼ばれる。少なくともいくつかの場合に、イントラ予測は、再構成中の現在ピクチャからの参照データのみを使用し、参照ピクチャからは使用しない点に留意されたい。
【0009】
多種多様な形態のイントラ予測が存在し得る。かような技術の１つよりも多くが所与のビデオコーディング技術で使用可能である場合に、使用中の技術はイントラ予測モードでコーディングされ得る。特定の場合に、モードは、サブモード及び／又はパラメータを有することができ、それらは、独立してコーディングされ得るか、又はモードコードワードに含まれ得る。所与のモード、サブモード、及び／又はパラメータ組み合わせのためにどのコードワードを使用すべきは、イントラ予測を通じてコーディング効率利得に影響を及ぼし得るので、エントロピコーディング技術が、コードワードをビットストリームに変換するために使用され得る。
【0010】
特定のモードのイントラ予測が、Ｈ．２６４により導入され、Ｈ．２６５で洗練され、Joint Exploration Model（ＪＥＭ）、Versatile Video Coding（ＶＶＣ）、及びBenchmark Set（ＢＭＳ）などのより新しいコーディング技術で更に洗練された。予測子ブロックは、既に利用可能なサンプルに属する隣接サンプル値を用いて形成され得る。隣接サンプルのサンプル値は、方向に応じて予測子ブロック内にコピーされる。使用中の方向の参照は、ビットストリームの中にコーディングされ得るか、又はそれ自体が予測されてもよい。
【0011】
図１Ａを参照すると、右下には、Ｈ．２６５の３３個のとり得る予測子方向（３５個のイントラモードのうちの３３個の角度モードに対応）から知られている９つの予測子方向のサブセットが表されている。矢印が集まる点（１０１）は、予測中のサンプルに相当する。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で右上にある１つ又は複数のサンプルから予測される、ことを示す。同様に、矢印（１０３）は、サンプル（１０１）が、水平から２２．５度の角度でサンプル（１０１）の左下にある１つ又は複数のサンプルから予測される、ことを示す。
【0012】
依然として図１Ａを参照して、左上には、４×４個のサンプル（太破線によって示される。）の正方形ブロック（１０４）が表されている。正方形ブロック（１０４）は１６個のサンプルを含み、各サンプルは、「Ｓ」、Ｙ次元でのその位置（例えば、行インデックス）、及びＸ次元でのその位置（例えば、列インデックス）を用いてラベル付けされている。例えば、サンプルＳ２１は、Ｙ次元で（上から）２番目のサンプルかつＸ次元で（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸの両方の次元でブロック（１０４）内の４番目のサンプルである。ブロックはサイズが４×４サンプルであるということで、Ｓ４４は右下にある。更には、類似した番号付け方式に従う参照サンプルが示されている。参照サンプルは、「Ｒ」と、ブロック（１０４）に対するそのＹ位置（例えば行インデックス）及びＸ位置（列インデックス）とを用いてラベル付けされている。Ｈ．２６４及びＨ．２６５の両方で、予測サンプルは再構成中のブロックに隣接するので、負値が使用される必要はない。
【0013】
イントラピクチャ予測は、シグナリングされた予測方向によって必要に応じて隣接サンプルから参照サンプル値をコピーすることによって、働くことができる。例えば、コーディングされたビデオビットストリームが、このブロックについて、矢印（１０２）と一致する予測方向を示す、すなわち、サンプルが水平から４５度の角度で右上にある１つ以上の予測サンプルから予測される、とのシグナリングを含む、とする。その場合に、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。次いで、サンプルＳ４４が参照サンプルＲ０８から予測される。
【0014】
特定の場合に、複数の参照サンプルの値は、参照サンプルを計算するために、特に、方向が４５度で等しく分割可能でない場合に、例えば、補間を通じて、結合されてもよい。
【0015】
とり得る方向の数は、ビデオコーディング技術が発展するとともに増えている。Ｈ．２６４（２００３年）では、９つの異なる方向が表現可能であった。それは、Ｈ．２６５（２０１３年）では３３個にまで増え、そして、ＪＥＭ／ＶＶＣ／ＢＭＳは、本開示の時点で、最大６５個の方向をサポートすることができる。最もありそうな方向を識別するために実験が行われており、エントロピコーディングにおける特定の技術は、可能性が低い方向に対する若干のペナルティを受け入れながら、少数のビットでそれらのありそうな方向を表現するよう使用されている。更に、方向それ自体は時々、隣接する、既に復号されたブロックで使用されている隣接方向から予測され得る。
【0016】
図１Ｂは、時間とともに増える予測方向の数を説明するために、ＪＥＭによる６５個のイントラ予測方向を表す概略図（１１０）を示す。
【0017】
方向を表すコーディングされたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性があり、例えば、予測方向の単純な直接マッピングから、イントラ予測モードまで、コードワードまで、最確モードを含む複雑な適応スキーム、及び同様の技術まで及び得る。全ての場合で、しかしながら、特定の他の方向よりも統計的にビデオコンテンツで起こる可能性が低い特定の方向が存在し得る。ビデオ圧縮の目標は冗長性の低減であるということで、それらの可能性が低い方向は、上手く働くビデオコーディング技術では、よりありそうな方向よりも多いビット数によって表現されることになる。
【0018】
ビデオ符号化及び復号化は、動き補償を伴ったインターピクチャ予測を用いて実行することができる。動き補償は、不可逆圧縮技術であることができ、以前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降ＭＶ）によって示された方向において空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係があり得る。いくつかの場合に、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは２つの次元Ｘ及びＹ、又は３つの次元を有することができ、３番目の次元は、使用中の参照ピクチャの指示である（後者は、間接的に、時間次元であることができる。）。
【0019】
いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能なＭＶは、他のＭＶから、例えば、再構成中のエリアに空間的に隣接するサンプルデータの他のエリアに関係があり、復号化順序においてそのＭＶに先行するものから、予測され得る。そうすることで、ＭＶをコーディングするために必要なデータの量を大幅に減らすことができ、それによって、冗長性を取り除きかつ圧縮を高める。例えば、カメラから得られた入力ビデオ信号（自然ビデオ（natural video）として知られる。）をコーディングする場合に、単一のＭＶが適用可能であるエリアよりも大きいエリアが同様の方向に移動するという統計的可能性があり、従って、いくつかの場合には、隣接するエリアのＭＶから導出された同様の動きベクトルを用いて予測可能であるということで、ＭＶ予測は有効に働くことができる。その結果、所与のエリアについて求められるＭＶは、周囲のＭＶから予測されたＭＶと類似又は同じであり、エントロピコーディング後に、ＭＶを直接コーディングする場合に使用されることになるビット数よりも少ないビットで表され得る。いくつかの場合に、ＭＶ予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であることができる。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、不可逆であり得る。
【0020】
様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ２６５，“High Efficiency Video Coding”，２０１６年１２月）で説明されている。Ｈ．２６５が提案する多くのＭＶ予測メカニズムの中から、本明細書では、以降「空間マージ」（spatial merge）と呼ばれる技術が説明される。
【0021】
図２を参照すると、現在ブロック（２０１）は、空間的にシフトされている同じサイズの前のブロックから予測可能であると動き探索プロセス中にエンコーダによって認められたサンプルを有する。そのＭＶを直接にコーディングする代わりに、ＭＶは、１つ以上の参照ピクチャと関連付けられたメタデータから、例えば、（復号化順序において）最も最近の参照ピクチャから、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（夫々、２０２乃至２０６）と表される５つの周囲サンプルのうちのいずれか１つと関連付けられたＭＶを用いて導出され得る。Ｈ．２６５では、ＭＶ予測は、隣接するブロックが使用している同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【0022】
開示の態様は、ビデオ符号化／復号化のための方法及び装置を提供する。いくつかの例で、ビデオ復号化のための装置は処理回路を含む。処理回路は、ビットストリームから、複数のビューに関連したピクチャを受け取る。処理回路は、複数のビューに関連したピクチャを復号し、ビットストリーム内の補助強化情報（Supplemental Enhancement Information，ＳＥＩ）メッセージから、複数のビューについて夫々、多次元空間内の多次元座標の位置を決定する。位置は、少なくとも垂直ビュー位置及び水平ビュー位置を含む。処理回路は、垂直ビュー位置及び水平ビュー位置に対応するレンダリングビューに基づきピクチャをレンダリングする。処理回路は、レンダリングされたピクチャ及び多次元空間内の多次元座標の位置に基づきピクチャを並べ替える。
【0023】
いくつかの実施形態で、処理回路は、ＳＥＩメッセージから複数のビューについて２次元空間内の２次元座標の位置を決定する。いくつかの例で、処理回路は、ＳＥＩメッセージから、ビューの数を示す第１値と、２次元空間の垂直次元における位置の第１数を示す第２値と、２次元空間の水平次元における位置の第２数を示す第３値とを取得する。更に、処理回路は、複数のビューの中の各ビューについて、垂直次元の第１座標値及び水平次元の第２座標値を２次元空間内のビュー位置として取得する。
【0024】
いくつかの例で、ＳＥＩメッセージは、コーディングされたビデオシーケンスのイントラランダムアクセスポイント（Intra Random Access Point，ＩＲＡＰ）に関連する。
【0025】
いくつかの例で、ＳＥＩメッセージは、他のＳＥＩメッセージ内にない。
【0026】
いくつかの例で、ＳＥＩメッセージは、ビットストリームによって運ばれるコーディングされたビデオシーケンス内にあり、ビューについての多次元座標の位置は、コーディングされたビデオシーケンス内のアクセスユニットに適用される。
【0027】
いくつかの例で、ＳＥＩメッセージは、マルチビュー・ビュー位置（Multiview View Position，ＭＶＰ）ＳＥＩメッセージとして表され、コーディングされたビデオシーケンスは、スケーラビリティ次元情報（Scalability Dimension Information，ＳＤＩ）ＳＥＩメッセージを含む。処理回路は、ＳＤＩ ＳＥＩメッセージからビューの数を示す第１値を導出し、ＭＶＰ ＳＥＩメッセージから数に関連した第２値を取得することができる。更に、処理回路は、適合性チェックにおいて、第２値に１をプラスしたものを第１値と比較することができる。
【0028】
開示の態様はまた、ビデオ復号化のためのコンピュータによって実行される場合に、コンピュータにビデオ復号化のための法法を実行させる命令を記憶している非一時的なコンピュータ可読記憶媒体も提供する。
【0029】
開示されている対象の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになる。
【図面の簡単な説明】
【0030】
【図1A】イントラ予測モードの例示的なサブセットの模式図である。
【図1B】例示的なイントラ予測方向の説明図である。
【図2】一例における現在のブロック及びその周囲空間マージ候補の模式図である。
【図3】実施形態に係る通信システム（３００）の略ブロック図の模式図である。
【図4】実施形態に係る通信システム（４００）の略ブロック図の模式図である。
【図5】実施形態に係るデコーダの略ブロック図の模式図である。
【図6】実施形態に係るエンコーダの略ブロック図の模式図である。
【図7】他の実施形態に係るエンコーダのブロック図を示す。
【図8】他の実施形態に係るデコーダのブロック図を示す。
【図9】いくつかの例における自動立体視ディスプレイの図を示す。
【図10A】例において、マルチビュー・ビュー位置に従ってピクチャを並べ替える例を示す。
【図10B】例において、マルチビュー・ビュー位置に従ってピクチャを並べ替える例を示す。
【図11】マルチビュービデオのためのビュー位置を示す補助強化情報（ＳＥＩ）メッセージ内の構文例を示す。
【図12】いくつかの例における自動立体視ディスプレイの図を示す。
【図13】例において、ビュー位置に従ってピクチャを関連付ける例を示す。
【図14】マルチビュービデオのために２次元行列でビュー位置を示すＳＥＩメッセージ内の構文例を示す。
【図15】開示のいくつかの実施形態に係るプロセスを説明するフローチャートを示す。
【図16】開示の実施形態に係る他のプロセスを説明するフローチャートを示す。
【図17】実施形態に係るコンピュータシステムの模式図である。
【発明を実施するための形態】
【0031】
図３は、本開示の実施形態に係る通信システム（３００）の略ブロック図を表す。通信システム（３００）は、例えば、ネットワーク（３５０）を介して、互いと通信することができる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続されている端末デバイス（３１０）及び（３２０）の第１対を含む。図３の例では、端末デバイス（３１０）及び（３２０）の第１対は、データの一方向伝送を実行する。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介した他の端末デバイス（３２０）への伝送のために、ビデオデータ（例えば、端末デバイス（３１０）によって捕捉されるビデオピクチャのストリーム）をコーディングしてよい。符号化されたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形で伝送可能である。端末デバイス（３２０）は、コーディングされたビデオデータをネットワーク（３５０）から受信し、コーディングされたビデオデータを復号してビデオピクチャを回復し、回復されたビデオデータに従ってビデオピクチャを表示してよい。一方向データ伝送は、メディアサービングアプリケーションなどにおいて一般的であり得る。
【0032】
他の例では、通信システム（３００）は、例えば、ビデオ会議中に、現れ得るコーディングされたビデオデータの双方向伝送を実行する端末デバイス（３３０）及び（３４０）の第２対を含む。データの双方向伝送のために、例において、端末デバイス（３３０）及び（３４０）の各端末デバイスは、ネットワーク（３５０）を介した端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスへの伝送のために、ビデオデータ（例えば、その端末デバイスによって捕捉されるビデオピクチャのストリーム）をコーディングしてよい。端末デバイス（３３０）及び（３４０）の各端末デバイスはまた、端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してよく、コーディングされたビデオデータを復号してビデオピクチャを回復してよく、回復されたビデオデータに従って、アクセス可能な表示デバイスでビデオピクチャを表示してよい。
【0033】
図３の例では、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして表され得るが、本開示の原理はそのように限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤー、及び／又は専用のビデオ会議装置により用途を見出す。ネットワーク（３５０）は、例えば、ワイヤライン（有線）及び／又はワイヤレス通信ネットワークを含む、コーディングされたビデオデータを端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の間で伝達する任意数のネットワークに相当する。通信ネットワーク（３５０）は、回路交換及び／又はパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークには、電気通信網、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットがある。本議論のために、ネットワーク（３５０）のアーキテクチャ及びトポロジは、本明細書において以降で説明されない限りは、本開示の動作に無関係であってよい。
【0034】
図４は、開示されている対象の応用例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を表す。開示されている対象は、例えば、ビデオ会議と、デジタルＴＶと、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体上での圧縮されたビデオの記憶と、などを含む他のビデオ対応用途に同様に適用可能であることができる。
【0035】
ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム（４０２）を生成するビデオソース（４０１）、例えば、デジタルカメラ、を含むことができる捕捉サブシステム（４１３）を含んでよい。例において、ビデオピクチャのストリーム（４０２）は、デジタルカメラによって撮影されるサンプルを含む。ビデオピクチャのストリーム（４０２）は、符号化されたビデオデータ（４０４）（又はコーディングされたビデオビットストリーム）と比較して高いデータボリュームを強調するために太線で表されており、ビデオソース（４０１）へ結合されたビデオエンコーダ（４０３）を含む電子機器（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、以下で更に詳細に記載されるように、開示されている対象の態様を可能にする又は実装するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。符号化されたビデオデータ（４０４）（又は符号化されたビデオビットストリーム（４０４））は、ビデオピクチャのストリーム（４０２）と比較してより低いデータボリュームを強調するために細線で表されており、将来の使用のためにストリーミングサーバ（４０５）に記憶され得る。図４のクライアントサブシステム（４０６）及び（４０８）などの１つ以上のストリーミングクライアントサブシステムは、符号化されたビデオデータ（４０４）のコピー（４０７）及び（４０９）を読み出すためにストリーミングサーバ（４０５）にアクセスすることができる。クライアントサブシステム（４０６）は、例えば、電子機器（４３０）において、ビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、符号化されたビデオデータの入来するコピー（４０７）を復号し、ディスプレイ（４１２）（例えば、表示スクリーン）又は他のレンダリングデバイス（図示せず。）でレンダリング可能なビデオピクチャの送出ストリーム（４１１）を生成する。いくつかのストリーミングシステムにおいて、符号化されたビデオデータ（４０４）、（４０７）、及び（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従って符号化され得る。そのような規格の例には、ＩＴＵ－Ｔ推奨Ｈ．２６５がある。例において、開発中のビデオコーディング規格は、Versatile Video Coding（ＶＶＣ）として俗に知られている。開示されている対象は、ＶＶＣに関連して使用されてもよい。
【0036】
電子機器（４２０）及び（４３０）は、他のコンポーネント（図示せず。）を含むことができる。例えば、電子機器（４２０）は、ビデオデコーダ（図示せず。）を含むことができ、電子機器（４３０）は、ビデオエンコーダ（図示せず。）を同様に含むことができる。
【0037】
図５は、本開示の実施形態に係るビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子機器（５３０）に含まれ得る。電子機器（５３０）は、受信器（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用され得る。
【0038】
受信器（５３１）は、ビデオデコーダ（５１０）によって復号されるべき１つ以上のコーディングされたビデオシーケンスを、同じ又は他の実施形態では、一度に１つのコーディングされたビデオシーケンスを、受信してよい。このとき、夫々のコーディングされたビデオシーケンスの復号化は、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（５０１）から受信されてよく、チャネルは、符号化されたビデオデータを記憶している記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。受信器（５３１）は、符号化されたビデオデータを他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリームとともに受信してもよく、それらは、それらの各々の使用エンティティ（図示せず。）へ転送されてよい。受信器（５３１）は、コーディングされたビデオシーケンスを他のデータから分離してよい。ネットワークジッタに対抗するために、バッファメモリ（５１５）が受信器（５３１）とエントロピデコーダ／パーサ（５２０）（以降「パーサ（５２０）」）との間に結合されてよい。特定の用途では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の部分である。他では、それは、ビデオデコーダ（５１０）の外にあることができる（図示せず。）。更に他では、例えば、ネットワークジッタに対抗するための、ビデオデコーダ（５１０）の外にあるバッファメモリ（図示せず。）と、加えて、例えば、再生タイミングを操作するための、ビデオデコーダ（５１０）内のもう１つのバッファメモリ（５１５）とが存在することができる。受信器（５３１）が十分なバンド幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときに、バッファメモリ（５１５）は必要とされなくてもよく、あるいは、小さいことが可能である。インターネットなどのベストエフォートのパケットネットワークでの使用のために、バッファメモリ（５１５）は必要とされる場合があり、比較的に大きいことが可能であり、有利なことには、適応サイズであることができ、ビデオデコーダ（５１０）の外のオペレーティングシステム又は同様の要素（図示せず。）で少なくとも部分的に実装され得る。
【0039】
ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するためのパーサ（５２０）を含んでよい。それらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、潜在的に、電子機器（５３０）の必須部分でないが、図５に示されたように、電子機器（５３０）へ結合され得るレンダーデバイス（５１２）（例えば、表示スクリーン）などのレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスのための制御情報は、補助強化情報（Supplemental Enhancement Information，ＳＥＩ）メッセージ又はビデオユーザビリティ情報（Video Usability Information，ＶＵＩ）パラメータセットフラグメント（図示せず。）の形をとってよい。パーサ（５２０）は、受信されるコーディングされたビデオシーケンスをパース／エントロピ復号してよい。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存による又はよらない算術コーディング、などを含む様々な原理に従うことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータの組を、そのグループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループは、グループ・オブ・ピクチャ（Group of Picture，ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Unit，ＣＵ）、ブロック、変換ユニット（Transform Unit，ＴＵ）、予測ユニット（Prediction Unit，ＰＵ）、などを含むことができる。パーサ（５２０）はまた、コーディングされたビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトル、などの情報も抽出し得る。
【0040】
パーサ（５２０）は、シンボル（５２１）を生成するために、バッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピ復号化／パーシング動作を実行してよい。
【0041】
シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インター及びイントラピクチャ、インター及びイントラブロック）のタイプ及び他の因子に応じて多数の異なるユニットを有することができる。どのユニットがどのように含まれるかは、コーディングされたビデオシーケンスからパーサ（５２０）によってパースされたサブグループ制御情報によって制御され得る。パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明りょうさのために表されていない。
【0042】
既に述べられた機能ブロックを超えて、ビデオデコーダ（５１０）は、概念的に、以下で説明される多数の機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施では、それらのユニットの多くが互いに密に相互作用し、少なくとも部分的に互いに組み込まれ得る。しかし、開示されている対象を説明することを目的として、以下での機能ユニットへの概念的細分は適切である。
【0043】
第１ユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からシンボル（５２１）として、量子化された変換係数とともに、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクスなどを含む制御情報を受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）へ入力することができるサンプル値を含むブロックを出力することができる。
【0044】
いくつかの場合に、スケーラ／逆変換器（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、前に再構成されたピクチャからの予測情報を使用しておらず、現在ピクチャの前に再構成された部分からの予測情報を使用することができるブロック、に関係することができる。かような予測情報は、イントラピクチャ予測ユニット（５５２）によって供給され得る。いくつかの場合に、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（５５８）は、例えば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、いくつかの場合に、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって供給される出力サンプル情報に加える。
【0045】
他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、そして潜在的に、動き補償されたブロックに関係することができる。かような場合に、動き補償予測ユニット（５５３）は、予測のために使用されるサンプルをフェッチするよう参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関係するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後に、それらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によって、スケーラ／逆変換ユニット（５５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる。）に加えられ得る。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ及び参照ピクチャコンポーネントを有することができるシンボル（５２１）の形で動き補償予測ユニット（５５３）が利用することができる動きベクトルによって、制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされるサンプル値の補間や、動きベクトル予測メカニズムなどを含むこともできる。
【0046】
アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができる。この技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる。）に含まれており、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされたパラメータによって制御されるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号化順序において）前の部分の復号化中に得られたメタ情報にも応答することができ、更には、前に構成されたループフィルタ処理されたサンプル値に応答することもできる。
【0047】
ループフィルタユニット（５５６）の出力は、レンダーデバイス（５１２）へ出力され、更には、将来のインターピクチャ予測における使用のために参照ピクチャメモリ（５５７）に記憶され得るサンプルストリームであることができる。
【0048】
特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用され得る。例えば、現在ピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の部分になることができ、未使用の現在ピクチャバッファが、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされ得る。
【0049】
ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ推奨Ｈ．２６５などの標準規格における所定のビデオ圧縮技術に従って復号化動作を実行してよい。コーディングされたビデオシーケンスは、そのコーディングされたビデオシーケンスが、ビデオ圧縮技術又は標準規格のシンタックス及びビデオ圧縮技術又は標準規格において文書化されているプロファイルの両方に従うという意味で、使用中のビデオ圧縮技術又は標準規格によって規定されたシンタックスに従い得る。具体的には、プロファイルは、ビデオ圧縮技術又は標準規格で利用可能な全てのツールから、そのプロファイルの下での使用のために利用可能な唯一のツールとして、特定のツールを選択することができる。また、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は標準規格のレベルによって定義された境界内にあることが、順守のために必要である。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、メガサンプル／秒で測定される。）、最大参照ピクチャサイズ、などを制限する。レベルによって設定された制限は、いくつかの場合に、仮想参照デコーダ（Hypothetical Reference Decoder，ＨＲＤ）仕様と、コーディングされたビデオシーケンスにおいて通知されるＨＲＤバッファ管理のためのメタデータとを通じて、更に制限され得る。
【0050】
実施形態において、受信器（５３１）は、符号化されたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの部分として含まれてもよい。追加のデータは、ビデオデコーダ（５１０）によって、データを適切に復号するために及び／又は原ビデオデータをより正確に再構成するために使用されてよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、などの形をとることができる。
【0051】
図６は、本開示の実施形態に係るビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子機器（６２０）に含まれている。電子機器（６２０）は、送信器（６４０）（例えば、送信回路）を含む。ビデオエンコーダ（６０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用され得る。
【0052】
ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされるべきビデオ画像を捕捉し得るビデオソース（６０１）（図６の例では電子機器（６２０）の部分ではない。）からビデオサンプルを受信してよい。他の例では、ビデオソース（６０１）は、電子機器（６２０）の部分である。
【0053】
ビデオソース（６０１）は、任意の適切なビットデプス（例えば、８ビット、１０ビット、１２ビットなど）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣＢ、ＲＧＢなど）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）であることができるデジタルビデオサンプルストリームの形で、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを供給してよい。メディアサービングシステムでは、ビデオソース（６０１）は、予め準備されたビデオを記憶している記憶デバイスであってよい。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってよい。ビデオデータは、順に見られる場合に動きを授ける複数の個別ピクチャとして供給されてもよい。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間、などに依存する１つ以上のサンプルを有することができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。本明細書は、以下、サンプルに焦点を当てる。
【0054】
実施形態に従って、ビデオエンコーダ（６０３）は、実時間において、又は用途によって必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャを、コーディングされたビデオシーケンス（６４３）へとコーディング及び圧縮してよい。適切なコーディング速度を強いることは、コントローラ（６５０）の一機能である。いくつかの実施形態において、コントローラ（６５０）は、以下で記載されるような他の機能ユニットを制御し、他の機能ユニットへ機能的に結合される。結合は明りょうさのために表されていない。コントローラ（６５０）によってセットされるパラメータには、レート制御に関連したパラメータ（ピクチャスキップ、量子化器、レートひずみ最適化技術のラムダ値、など）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲、などが含まれ得る。コントローラ（６５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（６０３）に関係する他の適切な機能を有するよう構成され得る。
【0055】
いくつかの実施形態において、ビデオエンコーダ（６０３）は、コーディングループで動作するよう構成される。過度に単純化された記載として、例において、コーディングループは、ソースコーダ（６３０）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する。）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（シンボルとコーディングされたビデオストリームとの間の如何なる圧縮も、開示されている対象で考えられているビデオ圧縮技術において可逆であるということで）（遠隔の）デコーダも生成することになるのと同様の方法でサンプルデータを生成するようにシンボルを再構成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）へ入力される。シンボルストリームの復号化は、デコーダの場所（ローカル又は遠隔）に依存しないビットパーフェクト（bit-exact）な結果をもたらすので、参照ピクチャメモリ（６３４）内のコンテンツも、ローカルのエンコーダと遠隔のエンコーダとの間でビットパーフェクトである。すなわち、エンコーダの予測部分は、デコーダが復号化中に予測を使用するときに“見る”ことになるのとまさに同じサンプル値を参照ピクチャサンプルとして“見る”。参照ピクチャのシンクロニシティ（及び、例えば、チャネルエラーのために、シンクロニシティが維持され得ない場合に、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用されている。
【0056】
“ローカル”のデコーダ（６３３）の動作は、図５とともに詳細に既に上述されている、ビデオデコーダ（５１０）などの“遠隔”のデコーダと同じであることができる。一時的に図５も参照すると、しかしながら、シンボルが利用可能であり、エントロピコーダ（６４５）及びパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号化が可逆であることができるということで、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピ復号化部分は、ローカルのデコーダ（６３３）において完全には実装されなくてもよい。
【0057】
この時点で観察できることは、デコーダに存在するパーシング／エントロピ復号化を除く如何なるデコーダ技術も、必然的に、対応するエンコーダにおいて略同じ機能形態で存在する必要がある、ということである。この理由により、開示されている対象は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、それらが、包括的に記載されるデコーダ技術の逆であるということで、省略され得る。特定の範囲においてのみ、より詳細な説明が必要とされ、以下で与えられている。
【0058】
動作中、いくつかの例では、ソースコーダ（６３０）は、動き補償された予測コーディングを実行してよい。これは、「参照ピクチャ」として指定された、ビデオシーケンスからの１つ以上の前にコーディングされたピクチャを参照して、予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（６３２）は、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックと入力ピクチャのピクセルブロックとの間の差をコーディングする。
【0059】
ローカルのビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号してよい。コーディングエンジン（６３２）の動作は、有利なことに、不可逆プロセスであってよい。コーディングされたビデオデータがビデオデコーダ（図６には図示せず。）で復号され得るとき、再構成されたビデオシーケンスは、通常は、いくらかのエラーを伴ったソースビデオシーケンスの複製であり得る。ローカルのビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実行され得る復号化プロセスを再現し、再構成された参照ピクチャを参照ピクチャキャッシュ（６３４）に格納されるようにしてよい。このように、ビデオエンコーダ（６０３）は、（伝送エラーなしで）遠端のビデオデコーダによって取得されることになる再構成された参照ピクチャと共通の内容を有している再構成された参照ピクチャのコピーをローカルで記憶し得る。
【0060】
予測器（６３５）は、コーディングエンジン（６３２）のための予測探索を実行してよい。すなわち、新しいピクチャがコーディングされるために、予測器（６３５）は、その新しいピクチャのための適切な予測基準となり得る参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータ又は（候補参照ピクセルブロックとしての）サンプルデータを参照ピクチャメモリ（６３４）から探してよい。予測器（６３５）は、適切な予測基準を見つけるためにサンプルブロック・バイ・ピクセルブロックベース（sample block-by-pixel block basis）で動作してよい。いくつかの場合に、予測器（６３５）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶されている複数の参照ピクチャから引き出された予測基準を有してよい。
【0061】
コントローラ（６５０）は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（６３０）のコーディング動作を管理してよい。
【0062】
上記の全ての機能ユニットの出力は、エントロピコーダ（６４５）においてエントロピコーディングを受けてよい。エントロピコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを、コーディングされたビデオシーケンスへと変換する。
【0063】
送信器（６４０）は、エントロピコーダ（６４５）によって生成されたコーディングされたビデオシーケンスを、通信チャネル（６６０）を介した伝送のために準備するようにバッファリングしてよい。通信チャネル（６６０）は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信器（６４０）は、ビデオコーダ（６０３）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず）とマージしてもよい。
【0064】
コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理してよい。コーディング中、コントローラ（６５０）は、各々のピクチャに適用され得るコーディング技術に影響を及ぼす可能性がある特定のコーディングされたピクチャタイプを夫々のコーディングされたピクチャに割り当ててよい。例えば、ピクチャはしばしば、次のピクチャタイプのうちの１つとして割り当てられてよい。
【0065】
イントラピクチャ（Intra Picture）（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用せずに符号化及び復号化され得るピクチャであってよい。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（Independent Decoder Refresh，ＩＤＲ）ピクチャを含む種々のタイプのイントラピクチャを許容する。当業者であれば、Ｉピクチャのそのような変形並びにそれらの各々の応用及び特徴を知っている。
【0066】
予測ピクチャ（Predictive Picture）（Ｐピクチャ）は、各ブロックのサンプル値を予測するために多くても１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測により符号化及び復号化され得るピクチャであってよい。
【0067】
双方向予測ピクチャ（Bi-directionally Predictive Picture）（Ｂピクチャ）は、各ブロックのサンプル値を予測するために多くても２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測により符号化及び復号化され得るピクチャであってよい。同様に、多重予測ピクチャ（multiple-predictive picture(s)）は、単一のブロックの再構成のために２つよりも多い参照ピクチャ及び関連するメタデータを使用することができる。
【0068】
ソースピクチャは、一般に、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、あるいは、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。
【0069】
ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ推奨Ｈ．２６５のような所定のビデオコーディング技術又は標準規格に従ってコーディング動作を実行してよい。その動作中に、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間及び空間冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行してよい。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準規格によって定められているシンタックスに従い得る。
【0070】
実施形態において、送信器（６４０）は、符号化されたビデオとともに追加のデータを送信してもよい。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの部分としてそのようなデータを含めてよい。追加のデータは、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント、などを有してよい。
【0071】
ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）として捕捉されてよい。イントラピクチャ予測（しばしばイントラ予測と省略される。）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間又は他の）相関を利用する。例において、現在ピクチャ（current picture）と呼ばれる、符号化／復号化中の特定のピクチャは、ブロックにパーティション化される。現在ピクチャ内のあるブロックが、ビデオの前にコーディングされて依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、現在ピクチャ内のそのブロックは、動きベクトル（motion vector）と呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。
【0072】
いくつかの実施形態において、双予測技術がインターピクチャ予測において使用され得る。双予測技術に従って、２つの参照ピクチャ、例えば、ビデオ内で現在ピクチャに対して復号化順序において両方とも先行する（しかし、表示順序では、夫々、過去及び将来にあってよい。）第１参照ピクチャ及び第２参照ピクチャが、使用される。現在ピクチャ内のあるブロックは、第１参照ピクチャ内の第１参照ブロックを指し示す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指し示す第２動きベクトルとによって、コーディングされ得る。そのブロックは、第１参照ブロック及び第２参照ブロックの組み合わせによって予測可能である。
【0073】
更に、マージモード技術が、コーディング効率を改善するためにインターピクチャ予測において使用され得る。
【0074】
本開示のいくつかの実施形態に従って、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ標準規格に従って、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（Coding Tree Unit，ＣＴＵ）にパーティション化され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルといった同じサイズを有する。一般に、ＣＴＵは、１つのルーマＣＴＢ及び２つのクロマＣＴＢである３つのコーディングツリーブロック（Coding Tree Block，ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディングユニット（Coding Unit，ＣＵ）に再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割可能である。例において、各ＣＵは、インター予測タイプ又はイントラ予測タイプなどの、当該ＣＵのための予測タイプを決定するよう、解析される。ＣＵは、時間及び／又は空間予測可能性に応じて１つ以上の予測ユニット（Prediction Unit，ＰＵ）に分割される。一般に、各ＰＵは、１つのルーマ予測ブロック（Prediction Block，ＰＢ）及び２つのクロマＰＢを含む。実施形態において、コーディング（符号化／復号化）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのような、ピクセルの値（例えば、ルーマ値）の行列を含む。
【0075】
図７は、開示の他の実施形態に係るビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャの連続に含まれる現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャへと処理ブロックを符号化するよう構成される。例において、ビデオエンコーダ（７０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用される。
【0076】
ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプルの予測ブロックなどのような処理ブロックのためのサンプル値の行列を受け取る。ビデオエンコーダ（７０３）は、例えば、レートひずみ最適化を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードにより最も良くコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるべきである場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックを符号化するためにイントラ予測技術を使用してよく、処理ブロックがインターモード又は双予測モードでコーディングされるべきである場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックを符号化するためにインター予測又は双予測技術を夫々使用してよい。特定のビデオコーディング技術において、マージモードは、予測子の外にあるコーディングされた動きベクトル成分の恩恵を受けずに１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードであることができる。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在する場合がある。例において、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するモード決定モジュール（図示せず。）などの他のコンポーネントを含む。
【0077】
図７の例では、ビデオエンコーダ（７０３）は、図７に示されるように結合されているインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算部（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）、及びエントロピエンコーダ（７２５）を含む。
【0078】
インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インター符号化技術に従う冗長情報の記述、動きベクトル、マージモード情報）を生成し、何らかの適切な技術を用いてインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するよう構成される。いくつかの例において、参照ピクチャは、符号化されたビデオ情報に基づいて復号されている復号された参照ピクチャである。
【0079】
イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、いくつかの場合には、同じピクチャ内で既にコーディングされたブロックとそのブロックを比較し、変換後の量子化された係数を、更には、いくつかの場合には、イントラ予測情報（例えば、１つ以上のイントラ符号化技術に従うイントラ予測方向情報）も生成するよう構成される。例において、イントラエンコーダ（７２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を計算する。
【0080】
汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するよう構成される。例において、汎用コントローラ（７２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（７２６）へ供給する。例えば、モードがイントラモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにイントラモード結果を選択するようスイッチ（７２６）を制御し、そして、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。モードがインターモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにインター予測結果を選択するようスイッチ（７２６）を制御し、そして、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。
【0081】
残差計算部（７２３）は、受け取られたブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択された予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（７２４）は、残差データを符号化して変換係数を生成するために残差データに基づき動作するよう構成される。例において、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するよう構成される。次いで、変換係数は、量子化された変換係数を取得するよう量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（７０３）はまた、残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実行し、復号された残差データを生成するよう構成される。復号された残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって適切に使用され得る。例えば、インターエンコーダ（７３０）は、復号された残差データ及びインター予測情報に基づいて、復号ブロックを生成することができ、イントラエンコーダ（７２２）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックは、復号されたピクチャを生成するよう適切に処理され、復号されたピクチャは、メモリ回路（図示せず。）にバッファリングされ、いくつかの例では参照ピクチャとして使用され得る。
【0082】
エントロピエンコーダ（７２５）は、符号化されたブロックを含めるようにビットストリームをフォーマット化するよう構成される。エントロピエンコーダ（７２５）は、ＨＥＶＣ標準規格などの適切な標準規格に従って様々な情報を含めるよう構成される。例において、エントロピエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報をビットストリームに含めるよう構成される。開示されている対象に従って、インターモード又は双予測モードのどちらか一方のマージサブモードでブロックをコーディングする場合に、残差情報は存在しない点に留意されたい。
【0083】
図８は、開示の他の実施形態に従うビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャを受け取り、コーディングされたピクチャを復号して、再構成されたピクチャを生成するよう構成される。例において、ビデオデコーダ（８１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用される。
【0084】
図８の例では、ビデオデコーダ（８１０）は、図８に示されるように結合されているエントロピデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、及びイントラデコーダ（８７２）を含む。
【0085】
エントロピデコーダ（８７１）は、コーディングされたピクチャから、シンタックス要素を表す特定のシンボルを再構成するよう構成され得、それらから、コーディングされたピクチャは構成されている。かようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、又はマージサブモード若しくは他のサブモードにおけるインターモード若しくは双予測モード）、イントラデコーダ（８７２）又はインターデコーダ（８８０）による予測のために夫々使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば、量子化された変換係数の形をとる残差情報、などを含むことができる。例において、予測モードがインター又は双予測モードである場合には、インター予測情報がインターデコーダ（８８０）へ供給され、予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラデコーダ（８７２）へ供給される。残差情報は、逆量子化を受けることができ、残差デコーダ（８７３）へ供給される。
【0086】
インターデコーダ（８８０）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するよう構成される。
【0087】
イントラデコーダ（８７２）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するよう構成される。
【0088】
残差デコーダ（８７３）は、逆量子化された変換係数を取り出すように逆量子化を実行し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するよう構成される。残差デコーダ（８７３）はまた、（量子化パラメータ（ＱＰ）を含めるための）特定の制御情報を要求してもよく、その情報は、エントロピデコーダ（８７１）によって供給されてよい（これは低容量の制御情報のみであるということで、データパスは示されない。）。
【0089】
再構成モジュール（８７４）は、残差デコーダ（８７３）によって出力された残差と、（場合によっては、インター又はイントラ予測モジュールによって出力された）予測結果とを空間領域において組み合わせて、再構成されたブロックを形成するよう構成される。再構成されたブロックは、再構成されたピクチャの部分であってよく、次いで、再構成されたピクチャは、再構成されたビデオの部分であってよい。なお、デブロッキング動作などのような他の適切な動作が、視覚品質を改善するために実行されてもよい。
【0090】
なお、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、如何なる適切な技術によっても実装可能である。実施形態において、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、１つ以上の集積回路を用いて実装可能である。他の実施形態では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装可能である。
【0091】
本開示の態様は、コーディングされたビデオストリームのための補助強化情報（ＳＥＩ）メッセージを使用してマルチビュービデオのための多次元ビュー位置を通知する技術を提供する。
【0092】
本開示のいくつかの態様に従って、ビデオは、シングルビュービデオとマルチビュービデオとに分類することができる。例えば、シングルビュービデオ（モノスコピックビデオとも呼ばれる。）は、シーンの単一ビューを見るものに提供する２次元媒体であり、マルチビュービデオは、シーンの多数の時点を提供することができ、現実性の感覚を見るものに提供することができる。一例で、３Ｄビデオは、人間の観察者に対応する左ビュー及び右ビューなどの２つのビューを提供することができる。２つのビューは、光の異なる偏光を用いて同時又は略同時に表示（提示）され得、見る者は、見る者の夫々の目がビューの各々１つを受けるように偏光グラスを身につけ得る。
【0093】
他の例では、いくつかの自動立体視ディスプレイ装置などのいくつかの表示デバイスは、見る者の目の位置に応じて異なるピクチャを発することができ、見るためにメガネを必要としない。このような表示デバイスはグラスレス３Ｄディスプレイと呼ばれる。
【0094】
マルチビュービデオは、通常、複数のカメラを用いて同時にシーンを捕捉することによって生成され、複数のカメラは、各カメラが１つの視点からシーンを捕捉するように適切に位置付けられる。従って、複数のカメラは、複数の視点に対応する複数のビデオシーケンスを捕捉する。より多くのビューを提供するために、より多くのカメラが、ビューに関連した多数のビデオシーケンスでマルチビュービデオを生成するために使用され得る。従って、マルチビュービデオは、記憶するための広い記憶空間及び／又は伝送するための高いバンド幅を必要とする可能性がある。そのため、マルチビュービデオコーディング技術は、必要とされる記憶空間又は伝送バンド幅を低減するよう当該分野で開発されてきた。
【0095】
マルチビュービデオコーディングの効率を改善するために、ビュー間の類似性が利用される。いくつかの実施形態で、基本ビューと呼ばれるビューの１つは、モノスコピックビデオと同じように符号化される。例えば、基本ビューの符号化中、イントラ（フレーム）及び／又は時間インター（フレーム）予測が使用される。基本ビューは、イントラ（フレーム）予測及びインター（フレーム）予測を実行する（モノスコピック）デコーダを用いて復号され得る。マルチビュービデオ内の基本ビュー以外のビューは、従属ビューと呼ばれ得る。従属ビューをコーディングするために、イントラ（フレーム）及びインター（フレーム）予測に加えて、視差補償を伴ったインタービュー予測が使用されてもよい。一例では、インタービュー予測において、従属ビュー内の現在ブロックは、同じ時点での他のビューのフレームからのサンプルの参照ブロックを用いて予測される。参照ブロックの位置は、視差ベクトルによって指示される。このインタービュー予測は、インター（フレーム）予測に類似しているが、動きベクトルは視差ベクトルで置換されており、時間参照フレームは他のビューからの参照フレームで置換されている。
【0096】
本開示のいくつかの態様に従って、マルチビューコーディングはマルチレイヤアプローチを用いることができる。マルチレイヤアプローチは、レイヤと呼ばれるビデオシーケンスの異なるＨＥＶＣコーディングされた表現を１つのビットストリーム内に多重化することができる。レイヤは互いに依存することができる。依存性は、異なるレイヤどうしの類似性を利用することによって、圧縮パフォーマンスの向上を達成するためにインターレイヤ予測によって使用される。レイヤは、特定のカメラ視点に関係があるシーンのテクスチャ、デプス又は他の補助情報を表すことができる。いくつかの例で、同じカメラ視点に属する全てのレイヤはビューとして表され、同じタイプの情報（例えば、テクスチャ又はデプス）を運ぶレイヤは、通常、マルチビュービデオの範囲ではコンポーネントと呼ばれる。
【0097】
本開示の態様に従って、マルチビュービデオコーディングは、既存のシングルレイヤ復号化コアとともに高水準シンタックス（High Level Syntax，ＨＬＳ）（例えば、スライスレベルよりも高い）の追加を含むことができる。よって、いくつかの例では、マルチビュー・ビューコーディングは、スライスレベルより下のシングルレイヤコーディングに必要なシンタックス又は復号化プロセス（例えば、ＨＥＶＣ）を変更しない。よって、マルチビュービデオデコーダを構成するために大きな変更を加えることなく既存の実装を再利用することができる。例えば、マルチビュービデオデコーダは、ビデオデコーダ（５１０）又はビデオデコーダ（８１０）に基づき実装され得る。
【0098】
いくつかの例で、同じ捕捉又は表示時点に関連した全てのピクチャは、１つのアクセスユニット（Access Unit，ＡＵ）に含まれ、同じピクチャ・オーダー・カウント（ＰＯＣ）を有する。マルチビュービデオコーディングは、同じＡＵ内のピクチャから予測を実行するインタービュー予測を可能にする。例えば、他のビューからの復号されたピクチャは、現在ピクチャの参照ピクチャリストの一方又は両方に挿入され得る。更に、いくつかの例で、動きベクトルは、同じビューの時間参照ピクチャに関係がある場合には、実際の時間動きベクトルであってよく、あるいは、インタービュー参照ピクチャに関係がある場合には、視差ベクトルであってよい。よって、ブロックレベルの動き補償モジュール（例えば、ブロックレベル符号化ソフトウェア又はハードウェア、ブロックレベル復号化ソフトウェア又はハードウェア）が使用され得、これは、動きベクトルが時間動きベクトル又は視差ベクトルであるかどうかにかかわらず同じように動作する。
【0099】
本開示の態様に従って、マルチビュービデオコーディングは、表示位置順序に関連して必要ではない順序で、表示時点で異なるビューのピクチャをコーディングする。
【0100】
図９は、いくつかの例における自動立体視ディスプレイ（９００）の図を示す。自動立体視ディスプレイ（９００）は、観察者の検出された目の位置に応答して、異なるビューのピクチャを表示することができる。図９の例では、観察者の目の位置は、例えば、最左の位置と最右の位置との間といった、１次元において、検出され得る。例えば、観察者の目の位置がＥ０にあるとき、自動立体視ディスプレイ（９００）は、ビュー識別子ＶｉｅｗＩｄ［０］を有するビューのピクチャを表示し、観察者の目の位置がＥ１にあるとき、自動立体視ディスプレイ（９００）は、ビュー識別子ＶｉｅｗＩｄ［１］を有するビューのピクチャを表示し、観察者の目の位置がＥ２にあるとき、自動立体視ディスプレイ（９００）は、ビュー識別子ＶｉｅｗＩｄ［２］を有するビューのピクチャを表示し、観察者の目の位置がＥ３にあるときに、自動立体視ディスプレイ（９００）は、ビュー識別子ＶｉｅｗＩｄ［３］を有するビューのピクチャを表示する。左から右への観察者の目の位置の順序は、Ｅ２、Ｅ０、Ｅ１及びＥ３である。
【0101】
いくつかの例で、ＡＵは、同じ捕捉又は表示時点に関連した異なるビューのピクチャのコーディングされた情報を含む。例えば、ＡＵは、ビューＶｉｅｗＩｄ［０］のピクチャＰ０、ビューＶｉｅｗＩｄ［１］のピクチャＰ１、ビューＶｉｅｗＩｄ［２］のピクチャＰ２、及びビューＶｉｅｗＩｄ［３］のピクチャＰ３のコーディングされた情報を含む。ピクチャＰ０～Ｐ３は、レート歪み最適化などのような特定のコーディング要件に基づき決定され得るコーディング順序でコーディング（符号化又は復号化）され得る。コーディング順序は、観察者の目の位置の順序に必ずしも従わない。
【0102】
図１０Ａ～Ｂは、一例でのマルチビュー・ビュー位置に従ってピクチャを並べ替える例を示す。
【0103】
図１０Ａは、復号化順に従って復号されるＡＵ内のピクチャを示す。図１０Ａの例では、ＡＵ内のピクチャＰ０～Ｐ３は、Ｐ０、Ｐ１、Ｐ２及びＰ３の順に復号される。左から右への観察者の目の位置の順序はＥ２、Ｅ０、Ｅ１及びＥ３であるから、復号化されたピクチャの順序は、左から右への観察者の目の位置の順序に対応していない。
【0104】
いくつかの例で、復号化されたピクチャは、例えば、意図されたユーザ経験のために通知される表示順序に従って、並べ替えられ得る。一例では、表示順序は、左から右へといった、観察者の目の位置の順序と関連付けられる。
【0105】
図１０Ｂは、いくつかの例において表示順序に従って並べ替えられるＡＵ内の復号化されたピクチャを示す。例えば、表示順序は、左から右への観察者の目の位置の順序と関連付けられる。
【0106】
本開示の態様に従って、表示順序は、補助強化情報（ＳＥＩ）メッセージを用いて通知され得る。
【0107】
本開示のいくつかの態様に従って、補助強化情報（ＳＥＩ）メッセージは、符号化されたビットストリームの復号化及び／又は表示を支援するために、又は他の目的のために、符号化されたビットストリームに含まれ得る。いくつかの例で、ＳＥＩメッセージは、復号化プロセス中にルーマ又はクロマサンプルを再構成するために必要とされない。更に、ＳＥＩメッセージをサポートするビデオコーディング標準規格に従うデコーダは、適合するためにＳＥＩメッセージを処理する必要がない。いくつかのコーディング標準規格については、一部のＳＥＩメッセージ情報が、ビットストリーム適合性をチェックするために、又は出力タイミングデコーダ適合性のために、必要とされることがある。
【0108】
ＳＥＩメッセージは、ビデオピクチャのタイミングを示すか又はコーディングされたビデオの様々な特性若しくは様々な特性がどのように使用又は強化され得るかを記述する様々なタイプのデータを含むことができる。いくつかの例で、ＳＥＩメッセージは、核となる復号化プロセスに影響を及ぼさずに、ビデオが後処理又は表示されるよう推奨される方法を示すことができる。
【0109】
ＳＥＩメッセージは、符号化されたビットストリームに関する追加情報を提供するために使用することができ、情報は、ビットストリームが復号されるとビットストリームの提示を変化させるために、又は情報をデコーダへ供給するために、使用することができる。例えば、ＳＥＩメッセージは、数ある中でもとりわけ、フレームパッキング情報（例えば、ビデオデータがビデオフレームにおいて配置される方法を記述する。）、コンテンツ記述（例えば、符号化されたビットストリームが、例えば、３６０度ビデオであることを示すもの）、及び色情報（例えば、色域（color gamut）及び／又は色範囲（color range））を提供するために使用されてきた。
【0110】
いくつかの例で、ＳＥＩメッセージは、符号化されたビットストリームが３６０度ビデオを含むことをデコーダに通知するために使用することができる。デコーダは、この情報を使用して、３６０度提示のためにビデオデコーダをレンダリングすることができる。代替的に、デコーダが３６０度ビデオをレンダリングする能力がない場合に、デコーダは、この情報を使用して、ビデオデコーダをレンダリングしないようにすることができる。
【0111】
いくつかの関連する例で、ＳＥＩメッセージは、１次元におけるビュー位置を示す情報を含むことができる。例えば、ＳＥＩメッセージは、観察者の目の位置に対応する１次元におけるビュー位置を含むことができる。
【0112】
図１１は、マルチビュービデオのためのビュー位置を示すＳＥＩメッセージ内の構文例（１１００）を示す。ビュー位置を示すＳＥＩメッセージは、マルチビュー・ビュー位置（Multiview View Position，ＭＶＰ）ＳＥＩメッセージと呼ばれ得る。いくつかの例で、ＭＶＰ ＳＥＩメッセージは、ビューの数を通知することができ、それから、ビューの位置を夫々通知することができる。
【0113】
図１１の例では、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１によって表されるパラメータが、（１１１０）によって示されるように、ＭＶＰ ＳＥＩメッセージによって通知され得る。例えば、ビューの数は、１と、パラメータｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１の値との和に等しい。復号化順でのビューは、ビュー識別子ＶｉｅｗＩｄ［０］からＶｉｅｗＩｄ［３］を有する。次いで、表示順でのビューの位置は、図１１では（１１２０）によって示されるように、ｉが０からｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１までの整数であるとしてｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ［ｉ］といったように、ＭＶＰ ＳＥＩメッセージで夫々通知され得る。
【0114】
一例では、図９の例についてビュー位置を通知するために、“３”がパラメータｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１として通知され得、次いで、“１”がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［０］として通知され、“２”がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［１］として通知され、“０”がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［２］として通知され、“３”がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［３］として通知され、このとき、左から右への位置において、“０”は最左であり、“３”は最右である。次いで、ビューＶｉｅｗＩｄ［０］～ＶｉｅｗＩｄ［３］がアクセスユニットから復号され、ビューＶｉｅｗＩｄ［０］はｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［０］を有し、ビューＶｉｅｗＩｄ［１］はｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［１］を有し、ビューＶｉｅｗＩｄ［２］はｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［２］を有し、ビューＶｉｅｗＩｄ［３］はｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［３］を有する。ビューＶｉｅｗＩｄ［０］～ＶｉｅｗＩｄ［３］は、図１０Ｂでの表示順を得るよう、対応するビュー位置ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［０］からｖｉｅｗ＿ｐｏｓｉｔｉｏｎ［３］に従って並べ替えられ得る。
【0115】
本開示は、垂直軸及び水平軸の両方に沿った２次元アレイのような多次元空間内の多次元座標でビュー位置を表すようＭＶＰ ＳＥＩメッセージで使用される技術を提供する。いくつかの例で、マルチビュー・ビュー位置の２次元表現のための技術は、マルチビュービデオの２Ｄ表現をサポートすることができる、ライトフィールドディスプレイ装置、ホログラフィディスプレイ装置などの３Ｄ表示デバイスでの適切な表示をサポートするために使用され得る。
【0116】
いくつかの例で、当該技術は、垂直ビュー位置（例えば、ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］によって表される。）のリスト及び水平ビュー位置（例えば、ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］）のリストを用いることができ、また、垂直ビュー位置の数を示すようｎｕｍ＿ｖｅｒｔｉｃａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１によって表されるパラメータ、及び水平ビュー位置の数を示すようｎｕｍ＿ｈｏｒｉｚｏｎｔａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１によって表されるパラメータを用いることができる。
【0117】
本開示のいくつかの態様に従って、ＭＶＰ ＳＥＩメッセージは、スケーラビリティ次元情報（Scalability Dimension Information，ＳＤＩ）ＳＥＩメッセージ、マルチビュー取得情報（Multiview Acquisition Information，ＭＡＩ）ＳＥＩメッセージ、などのような他のマルチビュー関連ＳＥＩメッセージのための同様の制約に従う必要があり得る。いくつかの例で、ＭＶＰ ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないよう制約される。スケーラブルネスティングＳＥＩメッセージは、１つ以上の追加ＳＥＩメッセージを含むＳＥＩメッセージを指す。スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージは、スケーラブルネスト化ＳＥＩメッセージと呼ばれ得る。
【0118】
ＳＤＩ ＳＥＩメッセージは、マルチビュービデオのスケーラビリティ次元情報を通知するＳＥＩメッセージを指す。例えば、ＳＤＩ ＳＥＩメッセージは、マルチビュービデオのビューの数などを示す情報のような、スケーラビリティ次元の数及びタイプを含んでよい。いくつかの例（例えば、ＪＶＥＴ－Ｗ２００６などのバーサタイルＳＥＩのバージョン）で、ＳＤＩ ＳＥＩメッセージは、ＳＤＩ ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージに含まれるべきではないという制約に従い得る。
【0119】
本開示の態様に従って、ＭＶＰ ＳＥＩメッセージは、ＳＤＩ ＳＥＩメッセージ内の情報に意味的依存性を有している１つ以上のパラメータを含む。例えば、シンタックス要素ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１は、ＳＤＩ ＳＥＩメッセージから導出されるパラメータＮｕｍＶｉｅｗｓの値に意味的依存性を有している。よって、ＭＶＰ ＳＥＩメッセージは、ＳＤＩ ＳＥＩメッセージとの関連で制約を受けることがある。一例では、コーディングされたビデオシーケンス（Coded Video Sequence，ＣＶＳ）がＳＤＩ ＳＥＩメッセージを含まないとき、ＣＶＳはＭＶＰ ＳＥＩメッセージを含むべきではない。いくつかの例で、ＭＶＰ ＳＥＩメッセージは、関連するＳＤＩ ＳＥＩメッセージが存在しないときに存在すべきではない。他の例では、ＭＶＰ ＳＥＩメッセージは、ＳＤＩ ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージに含まれるべきではないので、スケーラブルネスティングＳＥＩメッセージに含まれるべきではない。
【0120】
いくつかの例で、ビットストリームは、１つ以上のコーディングされたビデオシーケンス（ＣＶＳ）を含むことができる。ＣＶＳは、他のＣＶＳから独立してコーディングされる。各ＣＶＳは１つ以上のレイヤを含むことができ、各レイヤは、特定の品質又は空間分解能によるビデオの表現、あるいは、例えば、デプス若しくは透明度マップ又は透視図としての、何らかのコンポーネント解釈特性の表現である。時間次元で、各ＣＶＳは１つ以上のアクセスユニット（ＡＵ）を含む。各ＡＵは、同じ時点に属する異なるレイヤの１つ以上のピクチャを含む。コーディングされたレイヤビデオシーケンス（Coded Layer Video Sequence，ＣＬＶＳ）は、同じレイヤ内のピクチャユニットのシーケンスを含むレイヤ単位のＣＶＳである。ビットストリームが複数のレイヤを有する場合に、ビットストリーム内のＣＶＳはレイヤごとに１つ以上のＣＬＶＳを有する。
【0121】
図１２は、いくつかの例における自動立体視ディスプレイ（１２００）の図を示す。自動立体視ディスプレイ（１２００）は、例えば、観察者の検出された目の位置、観察者の検出された頭部の姿勢、などに応答して、異なるビューのピクチャを表示することができる。図１２の例では、観察者の目の位置は２次元平面で検出され得る。例えば、観察者の目の位置がＥ０にあるとき、自動立体視ディスプレイ（１２００）は、ビュー識別子ＶｉｅｗＩｄ［０］を有するビューのピクチャを表示し、観察者の目の位置がＥ１にあるとき、自動立体視ディスプレイ（１２００）は、ビュー識別子ＶｉｅｗＩｄ［１］を有するビューのピクチャを表示し、観察者の目の位置がＥ２にあるとき、自動立体視ディスプレイ（１２００）は、ビュー識別子ＶｉｅｗＩｄ［２］を有するビューのピクチャを表示し、観察者の目の位置がＥ３にあるとき、自動立体視ディスプレイ（１２００）は、ビュー識別子ＶｉｅｗＩｄ［３］を有するビューのピクチャを表示し、観察者の目の位置がＥ４にあるとき、自動立体視ディスプレイ（１２００）は、ビュー識別子ＶｉｅｗＩｄ［４］を有するビューのピクチャを表示し、観察者の目の位置がＥ５にあるとき、自動立体視ディスプレイ（１２００）は、ビュー識別子ＶｉｅｗＩｄ［５］を有するビューのピクチャを表示し、観察者の目の位置がＥ６にあるとき、自動立体視ディスプレイ（１２００）は、ビュー識別子ＶｉｅｗＩｄ［６］を有するビューのピクチャを表示し、観察者の目の位置がＥ７にあるとき、自動立体視ディスプレイ（１２００）は、ビュー識別子ＶｉｅｗＩｄ［７］を有するビューのピクチャを表示する。
【0122】
いくつかの例で、ＡＵは、同じ捕捉又は表示時点に関連した異なるビューのピクチャのコーディングされた情報を含む。例えば、ＡＵ内のピクチャは、ビューＶｉｅｗＩｄ［０］のピクチャＰ０、ビューＶｉｅｗＩｄ［１］のピクチャＰ１、ビューＶｉｅｗＩｄ［２］のピクチャＰ２、ビューＶｉｅｗＩｄ［３］のピクチャＰ３、ビューＶｉｅｗＩｄ［４］のピクチャＰ４、ビューＶｉｅｗＩｄ［５］にピクチャＰ５、ビューＶｉｅｗＩｄ［６］のピクチャＰ６、及びビューＶｉｅｗＩｄ［７］のピクチャＰ７として表され得る。ピクチャＰ０～Ｐ７は、レート歪み最適化などのような特定のコーディング要件に基づき決定され得るコーディング順序でコーディング（符号化又は復号化）され得る。コーディング順序は、観察者の目の位置の順序に必ずしも従わない。
【0123】
図１３は、一例におけるマルチビュー・ビュー位置に従ってピクチャを関連付ける例を示す。
【0124】
図１３の例では、ＡＵ内のピクチャは、Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６及びＰ７の順に復号される。いくつかの実施形態で、ＭＶＰ ＳＥＩメッセージは、２次元行列でビュー位置を供給することができ、その場合に、ピクチャは、２次元行列でのビュー位置と関連付けられ得るので、ピクチャは、ビュー位置に従って順序付けられる。２次元行列での順序付けられたピクチャは、いくつかの例では、観察者の検出された目の位置に応答して、表示のために供給され得る。
【0125】
図１３の例では、ビュー位置は、例えば、２次元行列での２次元座標の形で、供給される。図１３の例では、２次元行列は、左から右への矢印で表されている水平軸を有し、上から下への矢印によって表される垂直軸を有する。ピクチャＰ０～Ｐ７はビュー位置と関連付けられる。
【0126】
図１３は直交座標系を示しているが、極座標系、球座標系、などのような他の座標系がいくつかの例では使用され得る点に留意されたい。
【0127】
ビュー位置は、ＭＶＰ ＳＥＩメッセージとも呼ばれるＳＥＩメッセージによって供給され得る。ＭＶＰ ＳＥＩメッセージは、コーディングされたビデオシーケンス（ＣＶＳ）内のビューの水平軸及び垂直軸に沿って相対的なビュー位置を指定する。いくつかの例で、ＭＶＰ ＳＥＩメッセージがＣＶＳで与えられる場合に、ＭＶＰ ＳＥＩメッセージは、イントラランダムアクセスピクチャ（Intra Random Access Picture，ＩＲＡＰ）アクセスユニットと関連付けられるべきである。ランダムアクセスポイントピクチャは、デコーダがコーディングされたビデオシーケンスを復号することを開始し得るピクチャを指す。ランダムアクセスポイントピクチャがイントラコーディングされている場合に、ランダムアクセスポイントピクチャはイントラランダムアクセスピクチャ（ＩＲＡＰ）と呼ばれる。いくつかの例で、ＣＶＳ内のＭＶＰ ＳＥＩメッセージで通知される情報は、ＣＶＳ全体に適用される点に留意されたい。
【0128】
本開示の態様に従って、ＭＶＰ ＳＥＩメッセージは、ＳＤＩ ＳＥＩメッセージ内の情報に意味的依存性を有している１つ以上のパラメータを含む。例えば、シンタックス要素ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１は、ＳＤＩ ＳＥＩメッセージから導出されるパラメータＮｕｍＶｉｅｗｓの値に意味的依存性を有している。よって、ＭＶＰ ＳＥＩメッセージは、ＳＤＩ ＳＥＩメッセージとの関連で制約を受けることがある。一例では、コーディングされたビデオシーケンス（ＣＶＳ）がＳＤＩ ＳＥＩメッセージを含まないとき、ＣＶＳはＭＶＰ ＳＥＩメッセージを含むべきではない。いくつかの例で、ＭＶＰ ＳＥＩメッセージは、関連するＳＤＩ ＳＥＩメッセージが存在しないときに存在すべきではない。他の例では、ＭＶＰ ＳＥＩメッセージは、ＳＤＩ ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージに含まれるべきではないので、スケーラブルネスティングＳＥＩメッセージに含まれるべきではない。
【0129】
図１４は、マルチビュービデオのために２次元行列でビュー位置を示すＭＶＰ ＳＥＩメッセージの構文例（１４００）を示す。いくつかの例で、ＭＶＰ ＳＥＩメッセージは、ビューの数を示す第１値と、水平方向におけるビュー位置の数を示す第２値と、垂直方向におけるビュー位置の数を示す第３値とを通知することができ、次いで、水平方向及び垂直方向での相対的なビュー位置を夫々通知することができる。
【0130】
図１４の例では、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１によって表されるパラメータが、（１４１０）によって示されるように、ＭＶＰ ＳＥＩメッセージによって通知され得る。パラメータｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１は、例えば、アクセスユニット内の、ビューの数を示す。例えば、ビューの数は、１と、パラメータｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１の値との和に等しい。いくつかの例で、ビューの数は、ＣＶＳのためのＳＤＩ ＳＥＩメッセージから導出されたＮｕｍＶｉｅｗｓに等しいはずである。
【0131】
図１４の例では、ｎｕｍ＿ｖｅｒｔｉｃａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１によって表されるパラメータが、（１４２０）によって示されるように、ＭＶＰ ＳＥＩメッセージで通知され得る。パラメータｎｕｍ＿ｖｅｒｔｉｃａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１は、例えば、２次元行列での、垂直ビュー位置の数を示す。例えば、垂直ビュー位置の数は、１と、パラメータｎｕｍ＿ｖｅｒｔｉｃａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１との和に等しい。いくつかの例で、ｎｕｍ＿ｖｅｒｔｉｃａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１の値は、０以上６２以下の範囲になければならない。
【0132】
図１４の例では、ｎｕｍ＿ｈｏｒｉｚｏｎｔａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１によって表されるパラメータが、（１４３０）によって示されるように、ＭＶＰ ＳＥＩメッセージで通知され得る。パラメータｎｕｍ＿ｈｏｒｉｚｏｎｔａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１は、例えば、２次元行列での、水平ビュー位置の数を示す。例えば、水平ビュー位置の数は、１と、パラメータｎｕｍ＿ｈｏｒｉｚｏｎｔａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１との和に等しい。いくつかの例で、ｎｕｍ＿ｈｏｒｉｚｏｎｔａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１の値は、０以上６２以下の範囲になければならない。
【0133】
更に、図１４の例では、垂直ビュー位置及び水平ビュー位置は、夫々、（１４６０）によって示されるように、ＭＶＰ ＳＥＩメッセージで通知される。
【0134】
いくつかの例で、ビューは復号化順に順序付けられ得る。次いで、復号化順での垂直位置及び水平位置は、夫々、図１４で（１４４０）及び（１４５０）によって示されるように、ｉが０からｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１までの整数であるとして、ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］及びｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］といったように、ＭＶＰ ＳＥＩメッセージで通知され得る。
【0135】
パラメータｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］は、表示を目的として上から下へ全てのビューの中でＶｉｅｗＩｄ［ｉ］に等しいビュー識別子を有するビューの垂直順序を示し、一番上のビューの順序は０に等しく、順序の値は上から下へ次のビューについて１ずつ増える。ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］の値は、０以上ｎｕｍ＿ｖｅｒｔｉｃａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１以下の範囲になければならない。
【0136】
パラメータｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］は、表示を目的として左から右へ全てのビューの中でＶｉｅｗＩｄ［ｉ］に等しいビュー識別子を有するビューの水平順序を示し、一番左のビューの順序は０に等しく、順序の値は左から右へ次のビューについて１ずつ増える。ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］の値は、０以上ｎｕｍ＿ｈｏｒｉｚｏｎｔａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１以下の範囲になければならない。
【0137】
例として図１３のビュー位置を使用すると、ＶｉｅｗＩｄ［０］については、０がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［０］として通知されかつ０がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［０］として通知され、ＶｉｅｗＩｄ［１］については、０がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［１］として通知されかつ１がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［１］として通知され、ＶｉｅｗＩｄ［２］については、０がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［２］として通知されかつ２がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［２］として通知され、ＶｉｅｗＩｄ［３］については、０がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［３］として通知されかつ３がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［３］として通知され、ＶｉｅｗＩｄ［４］については、１がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［４］として通知されかつ０がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［４］として通知され、ＶｉｅｗＩｄ［５］については、１がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［５］として通知されかつ１がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［５］として通知され、ＶｉｅｗＩｄ［６］については、１がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［６］として通知されかつ２がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［６］として通知され、ＶｉｅｗＩｄ［７］については、１がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｙ［７］として通知されかつ３がｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＿ｘ［７］として通知される。
【0138】
図１５は、本開示の実施形態に係るプロセス（１５００）を説明するフローチャートを示す。プロセス（１５００）はビデオエンコーダで使用され得る。様々な実施形態で、プロセス（１５００）は、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオエンコーダ（６０３）の機能を実行する処理回路、ビデオエンコーダ（７０３）の機能を実行する処理回路、などのような、処理回路によって実行される。いくつかの実施形態で、プロセス（１５００）は、ソフトウェア命令で実装され、このようにして、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（１５００）を実行する。プロセスは（Ｓ１５０１）から始まり、（Ｓ１５１０）へ進む。
【0139】
（Ｓ１５１０）で、ビューに関連したピクチャがビットストリームにおいて符号化される。いくつかの例で、ピクチャは、同じ時点での同じシーンの複数のカメラによって撮られる。いくつかの例で、ピクチャは、異なるビューから同じ時点での同じシーンを表示するよう生成される。一例では、ピクチャは、ビットストリームによって運ばれるコーディングされたビデオシーケンス内のアクセスユニットにおいて符号化される。
【0140】
いくつかの例で、ピクチャは複数のカメラによって撮られたビデオである。ピクチャは、コーディングされたビデオシーケンスのアクセスユニットに符号化される。
【0141】
（Ｓ１５２０）で、ＳＥＩメッセージは、ビューについて夫々多次元空間内の多次元座標の位置を含むよう形成される。
【0142】
いくつかの実施形態で、多次元空間は２次元空間であり、よって、ビューについての２次元空間内の２次元座標の位置は、ＳＥＩメッセージに含まれる。
【0143】
いくつかの例で、ビューの数を示す第１値（例えば、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１の値）がＳＥＩメッセージに含まれ、２次元空間の垂直次元における位置の第１数を示す第２値（例えば、ｎｕｍ＿ｖｅｒｔｉｃａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１の値）がＳＥＩメッセージに含まれ、２次元空間の水平次元における位置の第２数を示す第３値（例えば、ｎｕｍ＿ｈｏｒｉｚｏｎｔａｌ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎｓ＿ｍｉｎｕｓ１の値）がＳＥＩメッセージに含まれる。
【0144】
いくつかの例で、多数のビューのうちの各ビューごとに、第１次元の第１座標値及び第２次元の第２座標値は、２次元空間内のビュー位置としてＳＥＩメッセージに含まれる。
【0145】
（Ｓ１５３０）で、ＳＥＩメッセージはビットストリームに含まれる。
【0146】
いくつかの例で、ＳＥＩメッセージは、コーディングされたビデオシーケンスと関連付けられ、コーディングされたビデオシーケンスの全体内の全てのアクセスユニットは、ＳＥＩメッセージで定義される位置と同じビューを有する。いくつかの例で、ＳＥＩメッセージは、コーディングされたビデオシーケンスのイントラランダムアクセスポイント（ＩＲＡＰ）アクセスユニットと関連付けられる。
【0147】
いくつかの例で、ＳＥＩメッセージは非ネスト化ＳＥＩメッセージであり、非ネスト化ＳＥＩメッセージは他のＳＥＩメッセージ内にない点に留意されたい。
【0148】
いくつかの例で、ＳＥＩメッセージは、マルチビュー・ビュー位置（ＭＶＰ）ＳＥＩメッセージとして表される。コーディングされたビデオシーケンスがＭＶＰ ＳＥＩメッセージを含む場合に、コーディングされたビデオシーケンスはスケーラビリティ次元情報（ＳＤＩ） ＳＥＩメッセージも含む。一例では、ＳＤＩ ＳＥＩメッセージ内の第１値は、ＳＤＩ ＳＥＩメッセージからのビューの数を示し、ＭＶＰ ＳＥＩメッセージ内の第２値（例えば、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１の値）は、ＳＤＩ ＳＥＩメッセージ内の第１値と関連付けられ、適合性チェックが、第１値及び第２値の関係を確認するよう適用され得る。
【0149】
次いで、プロセスは（Ｓ１５９９）へ進んで終了する。
【0150】
プロセス（１５００）は適切に適応され得る。プロセス（１５００）のステップは変更及び／又は省略され得る。追加のステップを加えることもできる。如何なる適切な実施順序も使用することができる。
【0151】
図１６は、本開示の実施形態に係るプロセス（１６００）を説明するフローチャートを示す。プロセス（１６００）はビデオデコーダで使用され得る。様々な実施形態で、プロセス（１６００）は、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路、などのような、処理回路によって実行される。いくつかの実施形態で、プロセス（１６００）は、ソフトウェア命令で実装され、このようにして、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（１６００）を実行する。プロセスは（Ｓ１６０１）から始まり、（Ｓ１６１０）へ進む。
【0152】
（Ｓ１６１０）で、ビューに関連したピクチャはビットストリームから復号される。一例では、ピクチャは、ビットストリームによって運ばれるコーディングされたビデオシーケンス内のあるアクセスユニットから復号される。他の例では、ピクチャは、コーディングされたビデオシーケンスの複数のアクセスユニットから復号される。
【0153】
（Ｓ１６２０）で、ＳＥＩメッセージから、多次元空間内の多次元座標の位置がビューについて夫々決定される。
【0154】
いくつかの実施形態で、多次元空間は２次元空間であり、よって、ビューについての２次元空間内の２次元座標の位置は、ＳＥＩメッセージから決定される。
【0155】
いくつかの例で、ＳＥＩメッセージから取得される第１値は、ビューの数を示し、ＳＥＩメッセージから取得される第２値は、２次元空間の垂直次元における位置の第１数を示し、ＳＥＩメッセージから取得される第３値は、２次元空間の水平次元における位置の第２数を示す。
【0156】
いくつかの例で、多数のビューのうちの各ビューごとに、第１次元の第１座標値及び第２次元の第２座標値は、２次元空間内のビュー位置としてＳＥＩメッセージから取得され得る。
【0157】
いくつかの例で、ＳＥＩメッセージは、コーディングされたビデオシーケンスのイントラランダムアクセスポイント（ＩＲＡＰ）アクセスユニットと関連付けられる。
【0158】
いくつかの例で、ＳＥＩメッセージは非ネスト化ＳＥＩメッセージであり、非ネスト化ＳＥＩメッセージは他のＳＥＩメッセージ内にない点に留意されたい。
【0159】
いくつかの例で、ＳＥＩメッセージは、ビットストリームによって運ばれるコーディングされたビデオシーケンス内にあり、ビューについての多次元座標の位置は、コーディングされたビデオシーケンスの全体内の全てのアクセスユニットに適用される。
【0160】
いくつかの例で、ＳＥＩメッセージは、マルチビュー・ビュー位置（ＭＶＰ）ＳＥＩメッセージとして表される。コーディングされたビデオシーケンスがＭＶＰ ＳＥＩメッセージを含む場合に、コーディングされたビデオシーケンスはスケーラビリティ次元情報（ＳＤＩ） ＳＥＩメッセージも含む。一例では、ビューの数を示す第１値は、ＳＤＩ ＳＥＩメッセージから導出され、その数と関連付けられる第２値は、ＭＶＰ ＳＥＩメッセージから導出される。次いで、第２値に１をプラスしたものが、適合性チェックにおいて第１値と比較される。
【0161】
（Ｓ１６３０）で、レンダリングピクチャが、多次元空間内のレンダリングビューに基づきピクチャから決定される。いくつかの例で、レンダリングビューは、ビューの中の１つであり、レンダリングピクチャは、レンダリングビューに基づき選択されるピクチャの１つである。いくつかの例で、レンダリングピクチャは、レンダリングビューがビューのいずれでもないときにピクチャから導出され得る。いくつかの例で、レンダリングビューは、観察者の目の位置、観察者の頭部の姿勢、観察者の位置、などのような観察者のビューポート情報に基づき決定される。次いで、プロセスは（Ｓ１６９９）へ進んで終了する。
【0162】
プロセス（１６００）は適切に適応され得る。プロセス（１６００）のステップは変更及び／又は省略され得る。追加のステップを加えることもできる。如何なる適切な実施順序も使用することができる。いくつかの例で、処理回路は、ビットストリームから、複数のビューに関連したピクチャを受け取ることができる。処理回路は、複数のビューに関連したピクチャを復号し、ビットストリーム内の補助強化情報（ＳＥＩ）メッセージから、複数のビューについて夫々、多次元空間内の多次元座標の位置を決定する。位置は、少なくとも垂直ビュー位置及び水平ビュー位置の両方を含む。処理回路は、垂直ビュー位置及び水平ビュー位置に対応するレンダリングビューに基づきピクチャをレンダリングする。処理回路は、レンダリングされたピクチャと、多次元空間内の多次元座標の位置とに基づき、ピクチャを並べ替える。
【0163】
上記の技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、１つ以上のコンピュータ可読媒体に物理的に記憶され得る。例えば、図１７は、開示される対象の特定の実施形態を実装するのに適したコンピュータシステム（１７００）を示す。
【0164】
コンピュータソフトウェアは、１つ以上のコンピュータ中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって、直接に、又は解釈、マイクロコード実行などを通じて、実行することができる命令を含むコードを生成するように、アセンブリ、コンパイル、リンキングなどのメカニズムに従い得る如何なる適切な機械コード又はコンピュータ言語によってもコーディング可能である。
【0165】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、インターネット・オブ・シングス（Internet of Things）デバイス、などを含む様々なタイプのコンピュータ又はその構成要素で実行可能である。
【0166】
コンピュータシステム（１７００）に関して図１７に示されるコンポーネントは、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる限定も示唆することを意図しない。コンポーネントの構成は、コンピュータシステム（１７００）の例示的な実施形態において説明される構成要素のうちのいずれか１つ又は組み合わせに関して如何なる依存性も要件も有するものとして解釈されるべきではない。
【0167】
コンピュータシステム（１７００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。かようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず。）を通じた一人以上のユーザによる入力に反応してよい。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、映像（例えば、２次元映像、立体視映像を含む３次元映像）などの、人による意識的な入力に必ずしも直接には関係しない特定のメディアを捕捉するためにも使用され得る。
【0168】
入力ヒューマンインターフェースデバイスは、キーボード（１７０１）、マウス（１７０２）、トラックパッド（１７０３）、タッチスクリーン（１７１０）、データグローブ（図示せず。）、ジョイスティック（１７０５）、マイク（１７０６）、スキャナ（１７０７）、カメラ（１７０８）（各１つしか表されていない。）のうちの１つ以上を含んでよい。
【0169】
コンピュータシステム（１７００）は、特定のヒューマンインターフェース出力デバイスも含んでよい。かようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音響、光、及び匂い／味を通じて一人以上のユーザの感覚を刺激するものであってよい。かようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１７１０）、データグローブ（図示せず。）、又はジョイスティック（１７０５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る。）、音声出力デバイス（例えば、スピーカ（１７０９）、ヘッドホン（図示せず。））、視覚出力デバイス（例えば、夫々タッチスクリーン入力機能の有無によらず、夫々触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず。）、ホログラフィックディスプレイ及びスモークタンク（図示せず。）などの手段により２次元視覚出力又は３次元よりも多い次元の出力を出力可能なスクリーン（１７１０））、及びプリンタ（図示せず。）を含んでよい。
【0170】
コンピュータシステム（１７００）は、人がアクセス可能な記憶デバイス及びそれらの関連する媒体、例えば、ＣＤ／ＤＶＤ又は同様の媒体（１７２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１７２０）、サムドライブ（１７２２）、リムーバブルハードディスク又はソリッドステートドライブ（１７２３）、レガシー磁気媒体、例えば、テープ及びフロッピー（登録商標）ディスク（図示せず。）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス、例えば、セキュリティドングル（図示せず。）、なども含むことができる。
【0171】
当業者であれば、目下開示されている対象に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解するはずである。
【0172】
コンピュータシステム（１７００）は、１つ以上の通信ネットワーク（１７５５）へのインターフェース（１７５４）も含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び工業、実時間、遅延耐性、などであることができる。ネットワークの例には、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤライン又はワイヤレスワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両及び工場ネットワーク、などがある。特定のネットワークは、一般に、特定の汎用データポート又はペリフェラルバス（１７４９）（例えば、コンピュータシステム（１７００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（１７００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（１７００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）又は単方向の送信専用（例えば、特定のＣＡＮＢｕｓデバイスへのＣＡＮＢｕｓ）であることができ、あるいは、例えば、ローカル若しくはワイドエリアデジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコル又はプロトコルスタックが、上述されたようなネットワーク及びネットワークインターフェースの夫々で使用可能である。
【0173】
上記のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（１７００）のコア（１７４０）へ取り付けられ得る。
【0174】
コア（１７４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（１７４１）、グラフィクス処理ユニット（ＧＰＵ）（１７４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１７４３）の形をとる専用のプログラム可能処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１７４４）、グラフィクスアダプタ（１７５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１７４５）、ランダムアクセスメモリ（ＲＡＭ）（１７４６）、内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（１７４７）とともに、システムバス（１７４８）を通じて接続されてよい。いくつかのコンピュータシステムでは、システムバス（１７４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。コアのシステムバス（１７４８）へ直接に又はペリフェラルバス（１７４９）を通じて、周辺機器が取り付けられ得る。一例では、スクリーン（１７１０）がグラフィクスアダプタ（１７５０）へ接続され得る。ペリフェラルバスのためのアーキテクチャには、ＰＣＩ、ＵＳＢなどがある。
【0175】
ＣＰＵ（１７４１）、ＧＰＵ（１７４２）、ＦＰＧＡ（１７４３）、及びアクセラレータ（１７４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行可能である。そのコンピュータコードは、ＲＯＭ（１７４５）又はＲＡＭ（１７４６）に記憶され得る。一時データもＲＡＭ（１７４６）に記憶可能であり、一方、永続性データは、例えば、内蔵大容量記憶装置（１７４７）に記憶可能である。メモリデバイスのいずれかへの高速な格納及び読み出しは、キャッシュメモリの使用により可能になる。キャッシュメモリは、１つ以上のＣＰＵ（１７４１）、ＧＰＵ（１７４２）、大容量記憶装置（１７４７）、ＲＯＭ（１７４５）、ＲＡＭ（１７４６）などと密接に関連し得る。
【0176】
コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術で通常の知識を有する者によく知られており利用可能である種類のものであることができる。
【0177】
例として、限定としてではなく、アーキテクチャ（１７００）、具体的にはコア（１７４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現されているソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む。）の結果として機能を提供することができる。かようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（１７４７）又はＲＯＭ（１７４５）などの、非一時的な性質であるコア（１７４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（１７４０）によって実行可能である。コンピュータ可読媒体には、特定のニーズに応じて、１つ以上のメモリデバイス又はチップが含まれ得る。ソフトウェアは、コア（１７４０）、及び、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む。）に、ＲＡＭ（１７４６）に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することとを含め、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に、又は代替案として、コンピュータシステムは、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はそれとともに動作することができる、回路内でハードワイヤード又は別なふうに具現されたロジック（例えば、アクセラレータ（１７４４））の結果として、機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶している回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現する回路、又は両方を包含することができる。本開示は、ハードウェア及びソフトウェアの如何なる適切な組み合わせも包含する。
【0178】
付録Ａ：頭字語
ＪＥＭ：Joint Exploration Model
ＶＶＣ：Versatile Video Coding
ＢＭＳ：Benchmark Set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group of Picture(s)
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long-Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＩ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Area(s)
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＣＵ：Coding Unit
ＪＥＭ：Joint Exploration Model
ＶＶＣ：Versatile Video Coding
ＢＭＳ：Benchmark Set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group of Picture(s)
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long-Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＩ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Area(s)
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＣＵ：Coding Unit
【0179】
本開示は、いくつかの例示的な実施形態について記載してきたが、本開示の範囲内にある代替、交換、及び様々な置換均等物が存在する。よって、明らかなように、当業者であれば、たとえ本明細書で明示的に図示又は説明されていないとしても、本開示の原理を具現し、よって、その精神及び範囲の中にある多数のシステム及び方法に想到可能である。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【国際調査報告】