(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-23
(45)【発行日】2022-08-31
(54)【発明の名称】ピクチャの復号のための方法、機器及びコンピュータプログラム
(51)【国際特許分類】
H04N 19/70 20140101AFI20220824BHJP
H04N 19/11 20140101ALI20220824BHJP
H04N 19/159 20140101ALI20220824BHJP
H04N 19/174 20140101ALI20220824BHJP
【ＦＩ】
H04N19/70
H04N19/11
H04N19/159
H04N19/174
【請求項の数】
17
(21)【出願番号】P 2021506396
(86)(22)【出願日】2019-08-16
(65)【公表番号】
(43)【公表日】2021-08-12
(86)【国際出願番号】 US2019046793
(87)【国際公開番号】W WO2020050962
(87)【国際公開日】2020-03-12
【審査請求日】2020-10-21
(31)【優先権主張番号】62/727,381
(32)【優先日】2018-09-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/202,949
(32)【優先日】2018-11-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/454,545
(32)【優先日】2019-06-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ウェンジャー，ステファン
(72)【発明者】
【氏名】リィウ，シャン
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０１５／０９８０２０（ＷＯ，Ａ１）
【文献】国際公開第２０１３／１５０９４３（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１３／０１０７９５２（ＵＳ，Ａ１）
【文献】High efficiency video coding，Recommendation ITU-T H.265，H.265 (04/2015)，ITU-T，2015年04月，pp.44-46,89-94,273,324-327
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
符号化されたビデオシーケンスの、符号化されたピクチャを復号する方法であって、前記符号化されたピクチャは、第１セグメントと第２セグメントを含み、前記方法は少なくとも１つのプロセッサにより実行され、前記方法は、少なくとも第１シンタックス要素に基づき、前記第１セグメントを復号するための第１復号処理を決定するステップであって、前記第１シンタックス要素が第１予測を許可しないように指示している場合、前記第１復号処理は前記第１予測を許可しないステップと、
少なくとも第２シンタックス要素に基づき、前記第２セグメントを復号するための第２復号処理を決定するステップであって、前記第２シンタックス要素が前記第１予測とは異なる第２予測を許可しないように指示している場合、前記第２復号処理は前記第２予測を許可しないステップと、
前記第１予測を許可しない前記第１復号処理に基づき、前記第１セグメントを復号するステップと、
前記第２予測を許可しない前記第２復号処理に基づき、前記第２セグメントを復号するステップとを含み、
前記第１及び第２シンタックス要素がそれぞれ第１及び第２予測を許可するように指示している場合、前記第１及び前記第２復号処理の協調により、前記第１及び第２セグメントが復号され、
前記第１予測は、セグメント境界に渡るフレーム内ブロックコピー、セグメント境界に渡るフレーム内予測、セグメント境界に渡る予測ピクチャ予測、及びセグメント境界に渡る双予測ピクチャ予測のうちの何れか１つであり、
前記第２予測は、前記セグメント境界に渡るフレーム内ブロックコピー、前記セグメント境界に渡るフレーム内予測、前記セグメント境界に渡る予測ピクチャ予測、及び前記セグメント境界に渡る双予測ピクチャ予測のうちの何れか１つである、方法。
【請求項2】
前記第１セグメントと前記第２セグメントの少なくとも１つは、スライスを含む請求項１に記載の方法。
【請求項3】
前記第１セグメントと前記第２セグメントの少なくとも１つは、タイルを含む請求項１に記載の方法。
【請求項4】
前記第１セグメントと前記第２セグメントにおける少なくとも１つは、ブロックグループを含む請求項１に記載の方法。
【請求項5】
前記第１シンタックス要素と前記第２シンタックス要素における各シンタックス要素はフラグである請求項１乃至４のうちの何れか１項に記載の方法。
【請求項6】
前記第１シンタックス要素と前記第２シンタックス要素は、前記第１セグメントと前記第２セグメントの各セグメントヘッダにある請求項１に記載の方法。
【請求項7】
前記第１シンタックス要素と前記第２シンタックス要素は、ピクチャパラメータセットとシーケンスパラメータセットのうちの１つにある請求項１に記載の方法。
【請求項8】
前記第１シンタックス要素と前記第２シンタックス要素は、ピクチャヘッダ、ブロックグループヘッダ及びシーケンスヘッダのうちの１つにある請求項１に記載の方法。
【請求項9】
符号化されたビデオシーケンスの、符号化されたピクチャを復号するための機器であって、前記符号化されたピクチャは第１セグメントと第２セグメントを含み、前記機器は、コンピュータプログラムコードを記憶するように構成される少なくとも１つのメモリと、
前記少なくとも１つのメモリにアクセスするとともに、前記コンピュータプログラムコードに基づき動作するように構成される少なくとも１つのプロセッサとを備え、
前記コンピュータプログラムコードは、
前記少なくとも１つのプロセッサに、少なくとも第１シンタックス要素に基づき、前記第１セグメントを復号するための第１復号処理を決定させるように構成される第１決定コードであって、前記第１シンタックス要素が第１予測を許可しないように指示している場合、前記第１復号処理は前記第１予測を許可しない第１決定コードと、
前記少なくとも１つのプロセッサに、少なくとも第２シンタックス要素に基づき、前記第２セグメントを復号するための第２復号処理を決定させるように構成される第２決定コードであって、前記第２シンタックス要素が前記第１予測とは異なる第２予測を許可しないように指示している場合、前記第２復号処理は前記第２予測を許可しない第２決定コードと、
前記少なくとも１つのプロセッサに、前記第１予測を許可しない前記第１復号処理に基づき、前記第１セグメントを復号させるように構成される第１復号化コードと、
前記少なくとも１つのプロセッサに、前記第２予測を許可しない前記第２復号処理に基づき、前記第２セグメントを復号させるように構成される第２復号化コードとを備え、
前記第１及び第２シンタックス要素がそれぞれ第１及び第２予測を許可するように指示している場合、前記第１及び前記第２復号処理の協調により、前記第１及び第２セグメントが復号され、
前記第１予測は、セグメント境界に渡るフレーム内ブロックコピー、セグメント境界に渡るフレーム内予測、セグメント境界に渡る予測ピクチャ予測、及びセグメント境界に渡る双予測ピクチャ予測のうちの何れか１つであり、
前記第２予測は、前記セグメント境界に渡るフレーム内ブロックコピー、前記セグメント境界に渡るフレーム内予測、前記セグメント境界に渡る予測ピクチャ予測、及び前記セグメント境界に渡る双予測ピクチャ予測のうちの何れか１つである、機器。
【請求項10】
前記第１セグメントと前記第２セグメントの少なくとも１つは、スライスを含む請求項９に記載の機器。
【請求項11】
前記第１セグメントと前記第２セグメントの少なくとも１つは、タイルを含む請求項９に記載の機器。
【請求項12】
前記第１セグメントと前記第２セグメントにおける少なくとも１つは、ブロックグループを含む請求項９に記載の機器。
【請求項13】
前記第１シンタックス要素と前記第２シンタックス要素における各シンタックス要素はフラグである請求項９乃至１２のうちの何れか１項に記載の機器。
【請求項14】
前記第１シンタックス要素と前記第２シンタックス要素は、前記第１セグメントと前記第２セグメントの各セグメントヘッダにある請求項９に記載の機器。
【請求項15】
前記第１シンタックス要素と前記第２シンタックス要素は、ピクチャパラメータセットとシーケンスパラメータセットのうちの１つにある請求項９に記載の機器。
【請求項16】
前記第１シンタックス要素と前記第２シンタックス要素は、ピクチャヘッダ、ブロックグループヘッダ及びシーケンスヘッダのうちの１つにある請求項９に記載の機器。
【請求項17】
コンピュータに請求項１～８の何れか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【背景技術】
【0001】
本出願は、２０１８年９月５日にて提出された米国仮特許出願Ｎｏ. ６２／７２７．３８１、２０１８年１１月２８日にて提出された米国特許出願Ｎｏ. １６／２０２．９４９、及び２０１９年６月２７日にて提出された米国特許出願Ｎｏ. １６／４５４．５４５の優先権を主張し、前記各出願における全ての開示内容は本明細書に援用される。
（技術分野）
（技術分野）
【0002】
実施形態による方法及び機器は、ビデオ処理に関わるとともに、より具体的にビデオ符号化におけるセグメントのタイプに関わる。
（背景技術）
（背景技術）
【0003】
動き補償を有するフレーム間ピクチャ予測を利用するビデオ符号化及び復号化はもう数十年に続いている。非圧縮のディジタルビデオは一連のピクチャを有し、各ピクチャの空間次元は、例えば１９２０×１０８０輝度サンプルと関連する色度サンプルである。該一連のピクチャは、例えば６０ピクチャまたは６０Ｈｚ／秒の固定または可変のピクチャレート（非公式にフレームレートとも呼ばれる）を有してもよい。非圧縮のビデオは高いビットレートの要求を有する。例えば、１サンプル８ビットの１０８０ｐ６０ ４:２:０ビデオ（６０ Ｈｚフレームレートで、１９２０×１０８０の輝度サンプルの解像度）は、約１.５ Ｇｂｉｔ／ｓの帯域幅を必要とする。このような１時間のビデオは、約６００ ＧＢの記憶空間を必要とする。
【0004】
ビデオ符号化及び復号化は、圧縮により、ビデオ信号入力における冗長を減少させることを１つの目的とする。圧縮は、以上に言及された帯域幅または記憶空間に対する需求を減少させることに寄与し、ある状況で、２つまたはより多いオーダーを減少させる。可逆圧縮、非可逆圧縮、及びその組み合わせを利用できる。可逆圧縮は、圧縮された元の信号から元の信号の正確なコピーを再構築する技術を指す。非可逆圧縮を利用する場合、再構築された信号は元の信号と異なるかもしれないが、元の信号と再構築された信号との間の歪みは十分に小さいから、再構築された信号は意図されるアプリケーションに役立つ。ビデオの場合、非可逆圧縮は大幅に適用される。許容の歪み量はアプリケーションに依存し、例えば、テレビ貢献アプリケーションのユーザーより、消費者ストリーミング媒体プリケーションのユーザーが高い歪みを許容する。達する圧縮比は、許可／許容可能な歪みが高いほど、圧縮比が高くなることを反映する。
【0005】
ビデオ符号器及び復号器は、大幅の種類からの若干の技術を利用でき、例えば、動き補償、変換、量子化及びエントロピー符号化を含み、以下はそのうちのいくつかを紹介する。
【0006】
符号化されたビデオビットストリームは非圧縮のソースビデオの圧縮表現であるとともに、符号化されたピクチャに分けられてもよい。符号化されたピクチャは１つまたは複数のピクチャセグメントを有する。ピクチャセグメントは、例えば、スライス、タイル、ブロックグループ（ａ ｇｒｏｕｐ ｏｆ ｂｌｏｃｋｓ、ＧＯＢ）などであってもよい。ピクチャセグメントは、例えばスライスヘッダ、タイルヘッダ、ＧＯＢヘッダなどのようなセグメントヘッダを有してもよく、セグメントヘッダは、セグメントの他の部分を構成し得る１つまたは複数の符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔｓ、ＣＵ）に関する情報を含む。ある場合、セグメントヘッダにおける情報は、セグメントのうちの第１ＣＵに関してもよいが、ＣＵヘッダにある相応的な更新情報によりカバーされてもよい。他の場合、セグメントヘッダにおける情報は、セグメントのうちの全てのＣＵに関してもよい。
【0007】
多くの原因で、ピクチャセグメンテーションはビデオ圧縮技術及び基準に含まれる。ＭＰＥＧ－１でスライスが導入される１つの原因は、最大伝送ユニット（Ｍａｘｉｍｕｍ Ｔｒａｎｓｆｅｒ Ｕｎｉｔ、ＭＴＵ）のサイズマッチングに対する需求である。１つの符号化されたピクチャは、あるパケットネットワークにおけるパケットのＭＴＵより大きい場合、該ピクチャをある程度で独立する復号化可能なユニットとして分けるように望まれることから、スライスを導入する。他の原因は、（圧縮ドメインにあるかもしれない）サブピクチャから符号化されたピクチャへの合成を簡略化するように望まれる。Ｈ.２６ｌのブロックグループ（ＧＯＢ）概念（特にＨ.２６１において使用するＧＯＢ番号）は、該技術の１つの初期の例であり、Ｈ.２６３の矩形スライスは他の例である。もう１つの原因は、そのうちの複数の符号器／復号器のプロセッサまたはコアが特定のピクチャ部分に対して同時に復号化を行う符号化及び／または復号化を実現することである。
【0008】
タイルはあるビデオコーデックにおける、符号化されたビデオビットストリームに対してパーティションを行うための１つまたは複数の利用可能なメカニズムである。タイルはピクチャの矩形領域であってもよい。ＣＵ（ブロックまたはマクロブロックとも呼ばれる）の走査順序はタイルに位置決めされ、左上から右へ、そして、上から下へになる。ピクチャは複数のタイルに分けられ、そのうちの各ＣＵは、ちょうど１つのタイルの一部であってもよい。タイルを導入することで、各プロセッサまたはコアが、注意力（アテンション）を符号化対象となるピクチャ部分のみに集中するように許可して、並列的な符号化及び復号化を実現し、なぜならば、最終のビットストリームの生成処理以外、他のタイルを担当するプロセッサと通信する必要がないからである。ただし、それらはピクチャ合成の機構として用いられてもよい。
【0009】
ピクチャセグメンテーション技術の共通点は、セグメント境界が予測メカニズムを中断する場合がある。例えば、あるビデオ符号化技術及び基準において、セグメント境界は動きベクトル予測、フレーム内予測などのようなピクチャ内予測メカニズムを中断する。どんな程度でフレーム間ピクチャ予測メカニズムを許可するか（例えば、セグメント境界の外部のサンプルによって動き補償を行う）ということは、ビデオ符号化技術または基準に依存する。例えば、Ｈ.２６３＋において、独立のセグメント復号化モードは、以下の設定を提供し、即ち、セグメント境界に渡る動き補償によってサンプル値を導入することは、許可されていない。Ｈ.２６５において、制約されるタイルセットは類似する目的を有する。
【0010】
ピクチャセグメンテーション技術はさらに以下の共通点を有してもよく、即ち、特定タイプのセグメントにおいて、あるタイプの符号化ユニットのみを許可する。例えば、あるビデオ符号化技術及び基準において、フレーム内スライスは、フレーム内モードで符号化するＣＵのみを含み、フレーム間スライスは、フレーム内及びフレーム間モードのＣＵを含み、双方向予測スライスはフレーム内、フレーム間及び双方向予測モードで符号化するＣＵを含む。少なくともいくつかのビデオ符号化技術または基準において、セグメントのタイプは、例えば、フレーム内セグメントが最も制限的であり、次はフレーム間セグメントで、そして、双方向予測セグメントであるという階層構造を形成する。
【0011】
フレーム内セグメントは、（フレーム内セグメントでカバーされる）現在復号化されたピクチャのいくつかの部分に対して、復号器の状態を既知状態にリセットするために使用されることが可能である。
【0012】
従来のビデオ符号化技術は、フレーム間、フレーム内及び（程度が小さいかもしれない）双方向予測の間で共有するいくつかの似た技術を含む。例えば、Ｈ.２６５のスクリーンコンテンツ符号化（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ、ＳＣＣ）のプロファイルは、フレーム内ブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）として既知になる技術を含み、該技術は、動き補償メカニズムとして特徴付けられることが可能であり、該動き補償メカニズムにおいて、参照サンプル情報は、再構築されているサンプルと同一の復号化されたピクチャの一部である。例えば「ＨＥＶＣ Ｓｃｒｅｅｎ Ｃｏｎｔｅｎｔ Ｃｏｄｉｎｇ Ｄｒａｆｔ Ｔｅｘｔ（ＨＥＶＣスクリーンコンテンツ符号化ドラフトテキスト）」、ＩＴＵ－Ｔ／ＩＳＯ／ＩＥＣ、ＪＣＴＶＣ－Ｔ１００５、２０１５年を参照されたい。復号化された参照ピクチャにアクセスする必要がなく、これはフレーム内符号化の通常の機能である。ただし、特定のＣＵの再構築は、ＣＵ外部からのサンプル情報を必要とするかもしれず、ＭＰＥＧ－２のような早期のビデオ符号化基準において、伝統的に、フレーム間符号化の機能と見なされる。
【発明の概要】
【発明が解決しようとする課題】
【0013】
フレーム内セグメントとある現代の符号化ツール（例えばＩＢＣ）との間のインタラクションは複雑であるかもしれない。その一方、少なくともある場合、ＩＢＣは、効果的なツールであり、再構築中のピクチャのフレーム内コーデック領域の符号化効率を向上させることができると証明される。ただし、少なくともある場合（再構築中のピクチャのより多い領域は、参照サンプルとしてＩＢＣに用いられる場合）、ＩＢＣはより良好に機能し、そのサンプルは再構築中の現在セグメントの外部のサンプルを含んでもよい。しかし、フレーム内セグメントは、該セグメントの外部のいずれの情報も参照せず、特定の領域を既知状態にリセットするというターゲットに対して、現在セグメントの外部のサンプルをＩＢＣの参照に用いることは、該ターゲットに対して逆効果をもたらす。
【0014】
あまり進歩していない（または少なくとも古い）ツール（例えばフレーム内予測）に対しても、同様である。
【0015】
従って、ビデオ圧縮技術または基準は、フレーム内スライスＣＵの、外部サンプル及びメタ情報に対するいずれの参照も禁止する傾向がある。例えば、セグメント境界の外部のいずれのサンプルといずれのＣＵも予測に利用不可とマーキングすることで実現される。ただし、少なくとも復号化処理をリセットするフレーム内セグメントのターゲットと関係がない場合、該決定は、符号化の効率を必要以上に低減させる。
【課題を解決するための手段】
【0016】
実施形態に基づいて、少なくとも１つのプロセッサは符号化されたピクチャを復号化するための方法を実行し、符号化されたピクチャは第１セグメントと第２セグメントとの符号化されたビデオシーケンスを有し、該方法は、少なくとも第１セグメントと第２セグメントに適用される高水準シンタックス構造の第１シンタックス要素に基づき、第１セグメントを復号化するための第１復号化処理を決定するステップを有し、該第１シンタックス要素は第１予測を許可しないように指示し、第１復号化処理は第１予測を許可しない。該方法はさらに、少なくとも高水準シンタックス構造の第２シンタックス要素に基づき、第２セグメントを復号化するための第２復号化処理を決定するステップを有し、該第２シンタックス要素は第２予測を許可しないように指示し、第２予測は前記第１予測と異なり、第２復号化処理は前記第２予測を許可しない。該方法はさらに、第１予測を許可しない第１復号化処理に基づき、第１セグメントを復号化するステップと、第２予測を許可しない第２復号化処理に基づき、第２セグメントを復号化するステップとを有する。
【0017】
実施形態に基づいて、符号化されたピクチャを復号化するための機器であって、符号化されたピクチャは第１セグメントと第２セグメントとの符号化されたビデオシーケンスを有し、該機器は、コンピュータプログラムコードを記憶するように構成される少なくとも１つのメモリと、少なくとも１つのメモリにアクセスし、コンピュータプログラムコードに基づき操作するように構成される少なくとも１つのプロセッサと、を備える。該コンピュータプログラムコードは、少なくとも１つのプロセッサに少なくとも第１セグメントと第２セグメントに適用される高水準シンタックス構造の第１シンタックス要素に基づき、第１セグメントを復号化するための第１復号化処理を決定させるように構成される第１決定コードを有し、該第１シンタックス要素は第１予測を許可しないように指示するために用いられ、第１復号化処理は第１予測を許可しない。該コンピュータプログラムコードはさらに、少なくとも高水準シンタックス構造の第２シンタックス要素に基づき、第２セグメントを復号化するための第２復号化処理を決定するように構成される第２決定コードを有し、該第２シンタックス要素は第２予測を許可しないように指示するために用いられ、第２予測は前記第１予測と異なり、第２復号化処理は前記第２予測を許可しない。該コンピュータプログラムコードはさらに、少なくとも１つのプロセッサに第１予測を許可しない第１復号化処理に基づき、第１セグメントを復号化させるように構成される第１復号化コードを有する。該コンピュータプログラムコードはさらに、少なくとも１つのプロセッサに、第２予測を許可しない第２復号化処理に基づき、第２セグメントを復号化させるように構成される第２復号化コードを有する。
【0018】
実施形態に基づいて、非一時的なコンピュータ読み取り可能な記憶媒体は、符号化されたピクチャを復号化するためのプログラムを記憶し、符号化されたピクチャは第１セグメントと第２セグメントとの符号化されたビデオシーケンスを有する。該プログラムは、プロセッサに少なくとも第１セグメントと第２セグメントに適用される高水準シンタックス構造の第１シンタックス要素に基づき、第１セグメントを復号化するための第１復号化処理を決定させる命令を含み、該第１シンタックス要素は第１予測を許可しないように指示するために用いられ、第１復号化処理は第１予測を許可しない。該命令はさらにプロセッサに少なくとも高水準シンタックス構造の第２シンタックス要素に基づき、第２セグメントを復号化するための第２復号化処理を決定させ、該第２シンタックス要素は第２予測を許可しないように指示するために用いられ、第２予測は前記第１予測と異なり、第２復号化処理は前記第２予測を許可しない。命令はさらに、プロセッサに第１予測を許可しない第１復号化処理に基づき、第１セグメントを復号化させ、及び第２予測を許可しない第２復号化処理に基づき、第２セグメントを復号化させる。
【図面の簡単な説明】
【0019】
【図1】実施形態に基づく通信システムの簡略化ブロック図である。
【図2】実施形態に基づくビデオ符号器とビデオ復号器とのストリームメディア環境における配置図である。
【図3】１つの実施形態に基づくビデオ復号器の機能ブロック図である。
【図4】他の実施形態に基づくビデオ符号器の機能ブロック図である。
【図5】実施形態に基づくタイル化のピクチャの図面である。
【図6A】実施形態に基づく、セグメンテーションされたピクチャのための並行復号器システムの図面である。
【図6B】実施形態に基づく、セグメンテーションされたピクチャのための並行復号器システムの図面である。
【図7】実施形態に基づくＩＰスライスのシンタックス要素のシンタックス及びセマンティックの図面である。
【図8】実施形態に基づくＰＩスライスのシンタックス要素のシンタックス及びセマンティックの図面である。
【図9】実施形態に基づくＢスライスのシンタックス要素のシンタックス及びセマンティックの図面である。
【図10】実施形態に基づくＢＩ、ＰＩ及びＩＰスライスのシンタックス要素のシンタックス及びセマンティックの図面である。
【図11】実施形態に基づく境界に渡る予測フラグのシンタックス及びセマンティックの図面である。
【図12】実施形態を実現するためのコンピュータシステムの図面である。
【図13】実施形態に基づく、第１セグメントと第２セグメントとの符号化されたビデオシーケンスを有する符号化されたピクチャを復号化する方法を示すフロ一チヤ一卜である。
【図14】実施形態に基づく、第１セグメントと第２セグメントとの符号化されたビデオシーケンスを有する符号化されたピクチャを復号化するための機器の簡略化ブロック図である。
【発明を実施するための形態】
【0020】
実施形態はビデオ符号化及び復号化に関わるとともに、より具体的に、符号化されたビデオピクチャを、スライス及びタイルのようなセグメントに分割することに関わり、該セグメントは、既知タイプのフレーム内、フレーム間、双方向予測のスライスまたはタイルに合わないかもしれない。例えば、フレーム内符号化ブロックのみを有するスライスまたはタイルは、再構築中のスライスまたはタイルの外部に由来するが、復号化順序に従うと、同一ピクチャに属するスライスまたはタイルの予測情報を依然として利用するかもしれない。このような場合、該ピクチャは全体的に他のピクチャと独立して復号化できるが、該スライスまたはタイルは、同一ピクチャの他のスライスまたはタイルを利用しないと、成功に復号化することができないおそれがある。
【0021】
図１は、実施形態に基づく通信システム（１００）のブロック図である。通信システム（１００）は、ネットワーク（１５０）を介して互いに接続される少なくとも２つ端末（１１０－１２０）を有してもよい。データの一方向伝送に対して、第１端末（１１０）はローカル位置でビデオデータを符号化することで、ネットワーク（１５０）を介して他の端末（１２０）に伝送する。第２端末（１２０）はネットワーク（１５０）から他の端末の符号化されたビデオデータを受信し、符号化されたデータを復号化するとともに、回復されたビデオデータを表示する。一方向データ伝送は、メディアサービスアプリケーションなどにおいてよく見られる。
【0022】
図１は、第２対端末（１３０、１４０）を示し、例えば、ビデオ会議期間に発生する可能性がある符号化されたビデオの双方向伝送を支持する。データの双方向伝送に対して、各端末（１３０、１４０）はローカル位置で収集されたビデオデータを符号化することで、ネットワーク（１５０）を介して他の端末に伝送する。各端末（１３０、１４０）はさらに、他の端末から伝送され、符号化されたビデオデータを受信し、符号化されたデータを復号化し、ローカル表示機器において回復されたビデオデータを表示できる。
【0023】
図１において、端末（１１０-１４０）はサーバ、パーソナルコンピュータ及びスマートフォンとして図示されているが、実施形態的の原理はこれに限定されない。実施形態はラップトップコンピュータ、タブレット、メディアプレイヤー及び／または専門ビデオ会議機器に適用される。ネットワーク（１５０）は、端末（１１０-１４０）の間で符号化されたビデオデータを伝送するための、例えば有線及び／または無線通信ネットワークを含む任意の数のネットワークを示す。通信ネットワーク（１５０）は回路交換及び／またはパケット交換チャンネルにおいてデータを交換できる。代表的なネットワークは電信ネットワーク、ローカルエリアネットワーク、広域エリアネットワーク及び／またはインターネットを含む。本論述の目的から見れば、以下で説明しない限り、ネットワーク（１５０）のアーキテクチャ及びトポロジは本実施形態の動作に対して重要ではない。
【0024】
図２は、実施形態に基づくビデオ符号器とビデオ復号器とのストリーミング伝送環境における配置の図面である。開示されたテーマは等価的にビデオを支持するための他のアプリケーションに適用でき、例えば、ビデオ会議、デジタルＴＶを含み、ＣＤ、ＤＶＤ、メモリースティックなどを含むデジタル媒体に圧縮ビデオなどを記憶する。
【0025】
ストリーミング伝送システムは、キャプチャサブシステム（２１３）を含み、該キャプチャサブシステムは、例えばデジタルカメラなどのビデオソース（２０１）を含み、前記ビデオソースは、例えば非圧縮のビデオサンプルストリーム（２０２）を構築する。符号化されたビデオビットストリームに比べて、サンプルストリーム（２０２）はデータ量が多いことを強調するように太線として描画され、サンプルストリームはカメラ（２０１）に連結される符号器（２０３）によって処理される。符号器（２０３）はハードウェア、ソフトウェアまたはその組み合わせを含むことで、以下により詳しく記載される開示のテーマの各態様を実現または実施する。サンプルストリームに比べて、符号化されたビデオビットストリーム（２０４）は、データ量が少ないことを強調するように細線として描画され、符号化されたビデオビットストリームはストリーミング伝送サーバ（２０５）に記憶されることで、後で使用される。１つまたは複数のストリーミング伝送クライアント（２０６、２０８）はストリーミング伝送サーバ（２０５）にアクセスすることで、符号化されたビデオビットストリーム（２０４）のコピー（２０７、２０９）を検索することができる。クライアント（２０６）はビデオ復号器（２１０）を有してもよく、該ビデオ復号器は符号化されたビデオビットストリーム（２０７）の到来するコピー（２０７）を復号化し、ディスプレイ（２１２）または他の表示機器（図示せず）に表示される導出ビデオサンプルストリーム（２１１）を構築する。あるビデオ符号化/圧縮基準に基づきビデオビットストリーム（２０４、２０７、２０９）を符号化できるストリーミング伝送システムもある。これらの基準の例示はＩＴＵ-Ｔ Ｈ.２６５提案書を含む。開発中のビデオ符号化基準は非公式的にＶＶＣと呼ばれる。開示されたテーマはＶＶＣのコンテキストに適用される
【0026】
図３は、実施形態に基づくビデオ復号器（２１０）の機能ブロック図である。
【0027】
受信機（３１０）は、復号器（２１０）によって復号化される１つまたは複数のコーデックビデオシーケンスを受信でき、同一の実施形態または他の実施形態において、１回に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は、他の符号化されたビデオシーケンスと独立する。チャンネル（３１２）から符号化されたビデオシーケンスを受信し、該チャンネルは符号化されたビデオデータを記憶するための記憶機器へのハードウェア/ソフトウェアリンクであってもよい。受信機（３１０）は符号化されたビデオデータ及び他のデータを受信でき、例えば、それぞれの利用エンティティ（図示せず）に転送される符号化されたオーディオデータ及び／または補助データストリームである。受信機（３１０）は符号化されたビデオシーケンスと他のデータとを分割できる。ネットワークのジッタを阻止するために、バッファメモリ（３１５）は受信機（３１０）とエントロピー復号器/パーサー（３２０）（以下は「パーサー」と呼ばれる）との間に連結される。受信機（３１０）は十分な帯域幅及び制御可能性を有する記憶／転送機器、または等時性リアルタイムネットワークからデータを受信する際、バッファ（３１５）を必要としないか、またはバッファが小さくてもよい。インターネットのようなビジネスパケットネットワークで利用するために、バッファ（３１５）を必要とするかもしれなく、バッファは相対的に大きく、有利に自己適応のサイズを有してもよい。
【0028】
ビデオ復号器（２１０）はパーサー（３２０）を有することで、エントロピー符号化ビデオシーケンスに基づき、シンボル（３２１）を再構築する。これらの符号のカテゴリには、復号器（２１０）の操作を管理するための情報が含まれ、且つディスプレイ（２１２）のような表示機器を制御するための潜在情報が潜在的に含まれ、図３に示すように、該ディスプレイは復号器の構成部分ではないが、復号器に連結される。（一つ又は複数の）表示機器のための制御情報は、補充強化情報（ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）メッセージ）またはビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）パラメータセットセグメント（図示せず）という形式であってもよい。パーサー（３２０）は受信され符号化されたビデオシーケンスに対して解析／エントロピー復号化を行う。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術または基準に基づき行うとともに、可変長符号化、ハフマン符号化（Ｈｕｆｆｍａｎｃｏｄｉｎｇ）、コンテキスト感度を有するかまたは有しない算術符号化などのような、当業者にとって公知である各種原理に従う。パーサー（３２０）はグループに対応する少なくとも１つのパラメータに基づき、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループのうちの少なくとも１つのサブグループのためのサブグループパラメータセットを抽出する。サブグループは、ピクチャグループ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ、ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）、ブロック、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）などを含んでもよい。エントロピー復号器/パーサーはさらに、符号化されたビデオシーケンスから、変換係数、量子化器パラメータ（ｑｕａｎｔｉｚｅｒ ｐａｒａｍｅｔｅｒ、ＱＰ）値、動きベクトルなどのような情報を抽出できる。
【0029】
パーサー（３２０）は、バッファ（３１５）から受信されたビデオシーケンスに対してエントロピー復号化／解析動作を実行することで、シンボル（３２１）を構築する。パーサー（３２０）は符号化されたデータを受信するとともに、選択的に特定のシンボル（３２１）を復号化する。また、パーサー（３２０）は、特定のシンボル（３２１）が動き補償予測ユニット（３５３）、スケーラ／逆変換ユニット（３５１）、フレーム内予測ユニット（３５２）またはループフィルタユニット（３５４）に提供されるかどうかを決定できる。
【0030】
符号化されたビデオピクチャ、または一部の符号化されたビデオピクチャ（例えば、フレーム間ピクチャ、フレーム内ピクチャ、フレーム間ブロック、フレーム内ブロック）のタイプ、及び他の要因に依存し、シンボル（３２１）の再構築は、複数の異なるユニットに関わる可能性がある。どのユニットに関わるか、及び関わり方式について、パーサー（３２０）が符号化されたビデオシーケンスに基づき解析したサブグループ制御情報によって制御される。簡潔のために、パーサー（３２０）と以下の複数ユニットとの間の、このようなサブグループ制御情報ストリームを図示していない。
【0031】
既に言及された機能ブロック以外、復号器（２１０）は概念で以下に記載のいくつかの機能ユニットに細分される。商業制約で実行する実際の実現方式において、これらのユニットにおける複数のユニットは互いに密接にインタラクションするとともに、少なくとも部分的に互いに集積されてもよい。ただし、開示されたテーマを記載するという目的から見れば、概念的に以下の機能ユニットに細分されることは適切である。
【0032】
第１ユニットはスケーラ／逆変換ユニット（３５１）である。スケーラ／逆変換ユニット（３５１）はパーサー（３２０）からシンボル（３２１）としての量子化変換係数及び制御情報を受信し、どの変換方式を利用するかということ、ブロックのサイズ、量子化因子、量子化スケーリング行列などを含む。スケーラ／逆変換ユニット（３５１）は、アグリゲーター（４５５）に入力されるサンプル値が含まれるブロックを出力する。
【0033】
スケーラ／逆変換（３５１）の出力サンプルはフレーム内符号化ブロックに属し得て、即ち、前に再構築されたピクチャからの予測的な情報を利用せず、現在ピクチャの前に再構築された部分からの予測的な情報を利用できる。このような予測的な情報はフレーム内ピクチャ予測ユニット（３５２）から提供される。場合によっては、フレーム内ピクチャ予測ユニット（３５２）は現在（部分的に再構築された）ピクチャ（３５６）からフェッチされた周辺の既に再構築された情報を利用して、再構築中のブロック同じサイズ及び形状のブロックを生成する。場合によっては、アグリゲーター（３５５）は各サンプルに基づき、フレーム内予測ユニット（３５２）から生成された予測情報を、スケーラ／逆変換ユニット（３５１）により提供される出力サンプル情報に追加する。
【0034】
また、スケーラ／逆変換ユニット（３５１）の出力サンプルはフレーム間符号化ブロックと潜在動き補償ブロックに属してもよい。このような場合、動き補償予測ユニット（３５３）は参照ピクチャメモリ（３５７）にアクセスし、予測のためのサンプルを抽出できる。ブロックに属するシンボル（３２１）に基づき、抽出のサンプルに対して動き補償を行った後、これらのサンプルはアグリゲーター（３５５）によってスケーラ／逆変換ユニットの出力に追加され（この場合、残差サンプルまたは残差信号と呼ばれる）、出力サンプル情報を生成する。動き補償予測ユニットが予測サンプルを抽出する参照ピクチャメモリ内のアドレスは、動きベクトルによって制御され、動きベクトルはシンボル（３２１）という形式で、動き補償ユニットに使用され、シンボル（３２１）は、例えばＸ、Ｙおよび参照ピクチャ成分を有してもよい。動き補償はさらに、サブサンプルによって動きベクトルを正確にする際、参照ピクチャメモリから抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。
【0035】
アグリゲーター（３５５）の出力サンプルは、ループフィルタユニット（３５４）において、各種のループフィルタリング技術に使用される。ビデオ圧縮技術はループ内フィルタ技術を含んでもよく、該ループ内フィルタ技術は、符号化されたビデオビットストリームに含まれるとともに、パーサー（３２０）からのシンボル（３２１）として、ループフィルタユニット（３５４）に用いられるパラメータによって制御されるが、ビデオ圧縮技術はさらに、符号化されたピクチャまたは符号化されたビデオシーケンスの前の（復号化順序に従う）部分を復号化する期間で取得したメタ情報、及び前に構築されループフィルタリングを経たサンプル値に応答できる。
【0036】
ループフィルタユニット（３５４）の出力は、サンプルストリームであってもよく、前記サンプルストリームは表示機器（２１２）に出力され、且つ参照ピクチャメモリ（３５６）に記憶されることで、将来のピクチャ間予測に適用される。
【0037】
完全に再構成されると、ある符号化されたピクチャは参照ピクチャとして、後の予測に用いることができる。符号化されたピクチャが完全に再構成され、符号化されたピクチャ（例えばパーサー（３２０）を介して）が参照ピクチャとして認識されると、現在ピクチャ（３５６）は参照ピクチャメモリ（３５７）の一部になり、その後の符号化されたピクチャを再構成する前に、新たな現在ピクチャバッファを改めて割り当てる。
【0038】
ビデオ復号器（２１０）は、例えばＩＴＵ－Ｔ Ｈ.２６５提案書の基準における所定ビデオ圧縮技術に基づき、復号化動作を実行することができる。符号化されたビデオシーケンスは、ビデオ圧縮技術文書または基準、特にそのうちのプロファイル文書で指定されているようなビデオ圧縮技術または基準の文法に従うという意味で、符号化されたビデオシーケンスは使用中のビデオ圧縮技術または基準により指定される文法に従うことができる。準拠性について、符号化されたビデオシーケンスの複雑度は、ビデオ圧縮技術または基準のレベルによって限定される範囲内にあるように要求する。ある状況で、レベルは最大ピクチャの大きさ、最大フレームレート、最大再構築サンプリングレート（例えば、兆個サンプル／秒に測定する）、最大参照ピクチャの大きさを制限する。ある状況で、レベルによる配置される制限は、仮想参照復号器（ＨＲＤ）の仕様、及び符号化されたビデオシーケンスにおいてシグナリングされたＨＲＤバッファの管理のメタデータを介してさらに限定される。
【0039】
実施形態において、受信器（３１０）は追加（冗長）データ及び符号化されたビデオを受信できる。追加データは（一つ又は複数の）符号化されたビデオシーケンスの一部として含まれる。追加データはビデオ復号器（２１０）によって利用されることで、データを適切に復号化し、及び／またはオリジナルビデオデータをより正確に再構築することができる。追加データは、例えば時間、空間または信号対雑音比（ＳＮＲ）強化層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形式であってもよい。
【0040】
図４は、実施形態に基づくビデオ符号器（２０３）の機能ブロック図である。
【0041】
符号器（２０３）はビデオソース（２０１）（符号器の一部ではない）からビデオサンプルを受信でき、該ビデオソースは符号器（２０３）によって符号化される（１つまたは複数の）ビデオ画像をキャプチャできる。
【0042】
ビデオソース（２０１）は、ビデオ符号器（２０３）によって符号化され、デジタルビデオサンプルストリームの形式であるソースビデオシーケンスを提供でき、デジタルビデオサンプルストリームは任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ.６０１ Ｙ ＣｒＣＢ、ＲＧＢ……）、及び任意の適切なサンプリング構成（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有してもよい。メディアサービスシステムにおいて、ビデオソース（３０１）は、前に準備されたビデオを記憶するための記憶機器であってもよい。ビデオ会議システムにおいて、ビデオソース（２０１）は、ビデオシーケンスとして、ロカール画像情報をキャプチャするための撮影装置であってもよい。ビデオデータは、順序に応じて見る際、動きが付与された複数の単独のピクチャとして提供されてもよい。ピクチャそのものは、空間画素アレイとして組織され、使用中のサンプリング構成、色空間などに依存し、各画素には１つ又は複数のサンプルが含まれてもよい。画素とサンプルとの間の関係は、当業者にとって容易に理解できる。以下の記載はサンプルに着目する。
【0043】
実施形態に基づいて、ビデオ符号器（２０３）は、リアルタイムまたはアプリケーションの必要な任意の他の時間の制約で、ソースビデオシーケンスのピクチャを符号化するとともに、符号化されたビデオシーケンス（４４３）として圧縮する。適切的な符号化速度で実行することは、コントローラ（４５０）の１つの機能である。コントローラは以下に記載の他の機能ユニットを制御するとともに、機能で他の機能ユニットに連結される。簡潔のために、該連結を図示していない。コントローラにより配置されるパラメータは、レート制御に関するパラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値......）、ピクチャの大きさ、ピクチャグループ（ＧＯＰ）の配置、最大動きベクトルの検索範囲などを含んでもよい。コントローラ（４５０）は他の適切な機能を有するように配置されてもよく、これらの機能は、あるシステム設計に対して最適化したビデオ符号器（２０３）に属する。
【0044】
いくつかの実施例において、ビデオ符号器は符号化ループにおいて動作するように構成される。非常に簡単な記載として、１つの例示において、符号化ループは符号器（４３０）（以降、ソース符号器と呼ばれる）（例えば、符号化対象となる入力ピクチャと（一つ又は複数の）参照ピクチャに基づき、符号を構築することに担当する）の符号化部分、及びビデオ符号器（２０３）に埋め込まれる（ローカル）復号器（４３３）を含む。復号器（４３３）は、（リモート）復号器がサンプルデータを構築するという方式で、符号を再構築し、サンプルデータを構築する（なぜならば、開示のテーマで考慮されるビデオ圧縮技術において、符号と符号化されたビデオビットストリームとの間の圧縮はいずれも可逆であるからである）。再構築されたサンプルストリーム（サンプルデータ）を参照ピクチャメモリ（４３４）に入力する。符号ストリームの復号化は、復号器位置（ローカルまたはリモート）と関係がないビット正確な結果を発生させるので、参照ピクチャメモリにおけるコンテンツはローカル符号器とリモート符号器との間でもビット正確である。言い換えれば、符号器の予測部分から「見られる」参照ピクチャサンプルは復号器が復号化期間で予測を利用しようとする際に「見られる」サンプル値と完全に同様である。該参照ピクチャの同期性の基本原理は（及び、例えばチャンネル誤差から、同期性を維持できない場合に発生するドリフト）も関連分野に適用される。
【0045】
「ローカル」復号器（４３３）の動作は、例えば、上記の図３に関連して詳しく記載したビデオ復号器（２１０）の「リモート」復号器の動作と同様であってもよい。ただし、図３を簡単に参照すると、シンボルが利用可能であり、エントロピー符号器（４４５）及びパーサー（３２０）によるシンボルの符号化ビデオシーケンスへの符号化／復号化はロスレスであるとすることができるので、チャンネル（３１２）、受信機（３１０）、バッファメモリ（３１５）とパーサー（３２０）とを含む復号器（２１０）のエントロピー復号化部分は、ローカル復号器（４３３）において完全には実装されないかもしれない。
【0046】
この場合、復号器に存在する解析／エントロピー復号化以外の任意の復号器技術も、必然として、基本的に同じ機能という形式で、対応する符号器に存在する。符号器技術の説明は、包括的に説明された復号器技術の逆であるので、符号器技術に対する説明を省略することが可能である。ある領域においてのみ、より詳しい記載が必要とされ、以下で提供される。
【0047】
その動作の一部として、ソース符号器（４３０）は動き補償予測符号化を実行でき、ビデオシーケンスからの１つまたは複数の符号化されたフレーム（「参照フレーム」として指定される）を参照し、予測的に入力フレームを符号化する。該方式で、符号化エンジン（４３２）は入力フレームの画素ブロックと、入力フレームの（一つ又は複数の）予測的な参照の参照フレームとして選択される画素ブロックとの間の差を符号化する。
【0048】
ローカルビデオ復号器（４３３）は、ソース符号器（４３０）によって構築された符号に基づき、参照ピクチャとして指定できるピクチャの符号化されたビデオデータを復号化することができる。符号化エンジン（４３２）の動作は好ましくは非可逆処理である。符号化されたビデオデータがビデオ復号器（図３において図示せず）で復号化されてもよい場合、再構築されたビデオシーケンスは、一般的にある程度誤差を有するソースビデオシーケンスのコピーであってもよい。ローカルビデオ復号器（４３３）はビデオ復号器が参照ピクチャに対して実行する復号化処理をコピーするとともに、再構築された参照ピクチャを参照ピクチャキャッシュ（４３４）に記憶させる。該方式で、ビデオ符号器（２０３）は再構築された参照ピクチャのコピーをローカルに記憶し、該コピーは、リモートビデオ復号器によって取得される再構築の参照ピクチャと、共通のコンテンツを有する（伝送誤差がない）。
【0049】
予測器（４３５）は、符号化エンジン（４３２）に対して予測検索を実行することができる。即ち、符号化対象となる新たなフレームに対して、予測器（４３５）は参照ピクチャメモリ（４３４）から新たなピクチャとしての適切な予測参照のサンプルデータ（候補参照画素ブロックとして）、またはあるメタデータ例えば参照ピクチャ動きベクトル、ブロック形状などを検索する。予測器（４３５）はサンプルブロックに基づき、画素ブロックごとに動作することで、適切な予測参照を見つけることができる。ある状況で、予測器（４３５）によって取得された検索結果に基づき決定されるように、入力ピクチャは参照ピクチャメモリ（４３４）に記憶された複数の参照ピクチャから取得される予測参照を有してもよい。
【0050】
コントローラ（４５０）は、例えば、ビデオデータを符号化するためのパラメータとサブグループパラメータを配置することを含む、ビデオ符号器（４３０）の符号化動作を管理できる。
【0051】
前記全ての機能ユニットの出力はエントロピー符号器（４４５）において、エントロピー符号化されてもよい。エントロピー符号器は、当業者の既知技術（例えばハフマン符号化、可変長符号化、算術符号化等）に基づき、各種機能ユニットから生成された符号に対して可逆圧縮を行うことで、符号を符号化されたビデオシーケンスに変換する。
【0052】
送信機（４４０）は、エントロピー符号器（４４５）によって構築された符号化されたビデオシーケンスをバッファリングすることで、通信チャンネル（４６０）を介して伝送するように準備し、該通信チャンネルは符号化されたビデオデータを記憶するための記憶機器へのハードウェア／ソフトウェアリンクであってもよい。送信機（４４０）はビデオ符号器（４３０）からの符号化されたビデオデータと、伝送対象となる他のデータ、例えば符号化されたオーディオデータ及び／または補助データストリーム（ソースを図示せず）とをマージする。
【0053】
コントローラ（４５０）は、ビデオ符号器（２０３）の動作を管理できる。符号化の間に、コントローラ（４５０）は各符号化されたピクチャに、特定の符号化されたピクチャのタイプを指定することができ、相応的なピクチャに適用される符号化技術に影響する可能性がある。例えば、一般的に、ピクチャは以下のフレームタイプのうちの１つとして割り当てられる。
【0054】
フレーム内ピクチャ（Ｉピクチャ）は、シーケンスにおけるいずれの他のピクチャも予測のソースとして利用せずに、符号化及び復号化されるピクチャであってもよい。例えば独立復号器リフレッシュピクチャが含まれる異なるタイプのフレーム内ピクチャを許容するビデオコーデックもある。当業者は、Ｉピクチャの変形及びその相応的な適用、特徴を理解できる。
【0055】
予測性ピクチャ（Ｐピクチャ）は、多くても１つの動きベクトル及び参照インデックスによって各ブロックのサンプル値を予測する場合、フレーム内予測またはフレーム間予測を利用して符号化及び復号化を行うピクチャであってもよい。
【0056】
双方向予測性ピクチャ（Ｂピクチャ）は、多くても２つの動きベクトル及び参照インデックスによって、各ブロックのサンプル値を予測する場合、フレーム内予測またはフレーム間予測を利用して符号化及び復号化を行うピクチャであってもよい。同様に、複数の予測性ピクチャは、２つより多い参照ピクチャと関するメタデータを、単一のブロックの再構築に使用できる。
【0057】
ソースピクチャは一般的に、空間的で複数のサンプルブロック（例えば、４×４、８×８、４×８または１６×１６個のサンプルのブロック）に細分できるとともに、ブロックごとに符号化を行う。これらのブロックは、他の（符号化された）ブロックを参照し、予測的に符号化を行って、他のブロックはブロックの相応的なピクチャに適用される符号化割当によって決定される。例えば、Ｉピクチャのブロックに対して非予測符号化を行うか、またはＩピクチャのブロックは、同一のピクチャの符号化されたブロックを参照して、予測性符号化（空間予測またはフレーム内予測）を行う。Ｐピクチャの画素ブロックは、前に符号化された１つの参照ピクチャを参照し、空間予測または時間予測を介して予測的に符号化を行ってもよい。Ｂピクチャのブロックは、前に符号化された１つまたは２つの参照ピクチャを参照し、空間予測または時間予測を介して予測的に符号化を行ってもよい。
【0058】
ビデオ符号器（２０３）は例えばＩＴＵ－Ｔ Ｈ.２６５提案書の所定のビデオ符号化技術または基準に基づき符号化動作を実行することができる。その動作において、ビデオ符号器（２０３）は、入力ビデオシーケンスにおける時間と空間冗長を利用した予測性符号化操作を含む各種の圧縮操作を実行できる。従って、符号化されたビデオデータは、使用のビデオ符号化技術または基準が指定する文法に合う。
【0059】
実施形態において、送信機（４４０）は追加データ及び符号化されたビデオを伝送することができる。ソース符号器（４３０）は符号化されたビデオシーケンスの一部として、このようなデータを含んでもよい。追加データは、時間／空間／ＳＮＲ強化層、冗長ピクチャ及びスライスのような他の形式の冗長データ、補充強化情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）パラメータセットセグメントなどを含んでもよい。
【0060】
以下は、符号化されたピクチャセグメントの例示として、タイルを利用して、実施形態を記載する。実施形態は等価的にスライス、ＧＯＢなどのような他のセグメントのタイプに適用されてもよい。
【0061】
図５は、実施形態に基づくタイル化のピクチャの図面である。
【0062】
図５を参照し、実施形態において、符号化されたピクチャ（５０１）は、３つのタイルビットストリーム（５０２、５０４、５０６）に分けられ、再構築ピクチャ（５０８）において、それぞれ３つの空間領域（５０９、５１０、５１１）を示す。該例示において、各タイルはタイルヘッダ（５０３、５０５、５０７）を利用できる。該例示は３つのタイルを利用するが、例示を３つのタイルより多くまたは少なくするようにすることは、当業者にとって容易である。各タイルは、そのヘッダ以外、さらに走査順序に従って配置される１つまたは複数の符号化ユニットＣＵを有してもよい。つまり、タイルのビットストリーム（５０２、５０４または５０６）のうちの、順序が連続である符号化ユニットに対して、符号化ユニットがカバーする領域は、後続の符号化ユニットを前の符号化ユニットの右側及び底部に位置させるように配置され、原則として、陰極線管（ＣＲＴ）の線により確立された走査順序に従う。統一サイズと異なるサイズの符号化ユニットに対して、符号化ユニットの走査順序は当業者にとって容易に熟知する。
【0063】
既知のビデオ符号化技術または基準に基づき、再構築ピクチャ（５０８）の空間表現に示すように、タイル境界に渡るいくつかの形式の予測のみを許可する。例えば、メタデータに基づく予測（例えばフレーム内予測モード、動きベクトルなど）である、あるいはサンプル予測（例えば、フレーム内予測に使用する予測サンプル、またはＩＢＣ予測のためのサンプルデータ）であるように、Ｈ.２６５のタイルは、符号化されたピクチャにおける全ての形式の予測を分断する。Ｈ.２６５の、動きが制限されたタイルセットはさらに、現在タイルセットの外部の参照ピクチャにおける空間領域から動き補償することによるサンプル値の導入を分断する。このような場合、動きが制限されたタイルセットは、独立セグメント復号化モードを有効にするＨ.２６３の矩形スライスに相当する。
【0064】
これらの制限条件セットは歴史的には、いくつかの（限られた）アプリケーションシナリオを認識した後、これらのシナリオ、及びハードウェアの実現に関するいくつかの制約に応答して決定されていた。ただし、新たな符号化ツールの導入、追加符号化効率に対する増加需求、及び追加アプリケーションシナリオに対する認識によって、異なる形式の予測の中断に対して、ブロック境界のセマンティックに対する、より柔軟な定義が望まれる。
【0065】
【0066】
図５及び図６Ａを参照し、システム（６００ａ）を示し、３つの空間領域（５０９、５１０、５１１）はいずれも大きい領域をカバーするため、単一の復号器によって復号化することができない。このような場合、システム（６００ａ）を利用でき、システム（６００ａ）は複数のサブ復号器を有し、各サブ復号器は、単一符号化タイルのコンテンツを代表するためのビデオサンプルストリームを発生させる。パーサー（６０２）を介して、圧縮ドメインにおいて、到来するタイル状の符号化されたビデオビットストリームは、３つの空間領域（５０９、５１０、５１１）を代表するための符号化されたサブビットストリームに分解されることが可能である。適切なシンタックス（例えば、動きが制限されたタイルセットのＨ.２６５シンタックスを有効にする）を利用する場合、分解は、（もしあったとしても）ビットストリーム解析を上回る信号処理をほとんど必要としない相対的に軽量の処理である可能性がある。。圧縮済みの符号化されたビデオビットストリームの（相対的な）低帯域幅性質（再構築サンプルストリームに比べる）は、細線として示される。３つのサブ復号器（６０３、６０４、６０５）は類似する低帯域幅通信リンク（６０６、６０７、６０８）（細線として描画される）を介して復号化を担当する符号化されたサブビットストリームのビットを受信し、各復号器は１つの領域を、再構築タイルに復号化する。３つのサブ復号器（６０３、６０４、６０５）から生成された再構築タイルのサンプルは高帯域幅リンク（６０９、６１０、６１１）を介してステッチャ（６１２）に伝達される。ステッチャ（６１２）はタイルを単一のサンプルストリームに重合し、該単一のサンプルストリームは単一の再構築ピクチャストリーム（６１３）のうちの全ての再構築タイルを示す。このような場合、サブ復号器（６０３、６０４、６０５）は互いに通信関係を有しなくてもよく、互いの間に予測情報もサンプル情報も伝達せず、（最小）制御情報のみを交換できる。従って、このような通信関係を記載していない。
【0067】
以上に基づき、当業者は相応的な符号化システムを容易に設計できるので、より詳細には描写または説明されない。
【0068】
システム（６００ａ）にあるように、定義に基づき、復号化システム（６００ａ）のサブ復号器（６０２、６０３、６０４）の間には予測情報の伝達が存在せず、類似する符号器システムにもこのような通信が存在せず、このようなシステムは、独立のサブ復号器またはサブ符号器に適する。ただし、復号器及び／または符号器がサブ復号器／サブ符号器に分配されず、アプリケーション需求に基づくアプリケーションシナリオに対しても、本願は適切であるかもしれない。例えば、（この例示において３つである）空間領域が互いにセマンティック関係を有しないことが既知である場合、領域／タイル境界を超える予測により符号化効率の獲得が実現するチャンスは（あったとしても）ほとんどない。隣接するタイルからのサンプル情報（人為的な形式で）を再構築中のタイルに導入することは回避されるべきである。例えば、１つの空間領域には、１つのカメラソースからのコンテンツが含まれ、他の空間領域には、他のカメラソースからのコンテンツ、人工コンテンツ、３６０シナリオのうちの他の投影などが含まれると、様々な原因のコンテンツの間の関連性は小さいかまたは存在しない可能性がある。従って、システム設計で予測を利用することが技術面で可能であっても、これらの領域の間で予測を利用することは、実益がないか、またはあったとしてもほとんどない。このような状況は、動きが制限されたタイルセットをＨ.２６５に含ませる原因の１つであった。
【0069】
図６Ｂは、少し異なるシステム設計（６００ｂ）を示す。同じように、該システムはパーサー（６０２）を有し、該パーサーは入ったタイル化の符号化されたビデオビットストリームを、３つのサブビットストリーム（６０６、６０７、６０８）に分解し、該サブビットストリームは３つのサブ復号器（６０３、６０４、６０５）に供給される。サブ復号器はそれぞれ再構築タイルを構築し、該再構築タイル（６０９、６１０、６１１）はステッチャ（６１２）に伝送され、該ステッチャはさらに出力再構築ピクチャストリーム（６１３）を構築する。ただし、該設計において、中帯域幅の適切な通信リンク（６１４）を介してサブ復号器（６０３、６０４、６０５）の間で量が有限である情報を伝達し、該中帯域幅は大量のサンプル情報を伝達するには十分ではないが、最小より多い制御情報を伝達できる（以下で詳しく記載する）。通信リンクの性質は完全接続、パス、共有メモリまたはいずれかの他の適切な通信技術であってもよい。ここで、中帯域幅通信リンク（６１４）として記載されたのは、サブ復号器（６０３、６０４、６０５）を接続するためのパスである。
【0070】
当業者は容易に相応的な符号化システムを設計できる。
【0071】
復号化システム（６００ｂ）は、タイル境界に渡るいくつかのタイプの予測の利用を許可する。どんなタイプの予測の利用を許可するかということは、中帯域幅通信リンク（６１４）の利用可能な帯域幅に大きく依存する。
【0072】
第１例示において、リンク（６１４）は、少量のメタデータ及び極めて有限のサンプルデータ（例えば、復号化対象となる各符号化ユニット（ＣＵ）のいくつかのサンプル値）のための十分な帯域幅を有する。このような場合、いくつかのフレーム内予測メカニズムは支持されてもよいが、フレーム内ブロックコピー及び動き補償は支持されなくてもよい。Ｈ.２６５の動きが制限されたタイルセットは、このような状況を考量する。
【0073】
第２例示において、リンク（６１４）は、前の復号化順序に従う単一参照ピクチャからの動き補償に関するメタデータとサンプルデータのための十分な帯域幅を有するが、帯域幅または協調能力は、フレーム内ブロックコピーを利用するには十分ではない。Ｈ.２６５の、非動き制限（通常）タイルセットは該状況を想定する。（過去のピクチャ）動き補償に比べると、フレーム内ブロックコピーはいくつかの実現において、より負担となるかもしれず、なぜならば、多くの実装において、フレーム内コピーは、現在ピクチャメモリにおける極近くに隣接するサンプルデータについての準並行アクセスを必要とする可能性があり、これによって、キャッシュの効率の低下を招く可能性がある（特に、ＩＢＣに対してキャッシュ設計が最適化されていない場合）。協調能力は概念面の問題をもたらす。タイルの再構築が同一の再構築ピクチャのうちの他のタイルにアクセスする必要がある場合、他のタイルのうちのＩＢＣ参照サンプルが利用可能になるまで、所与のタイルの復号化パイプラインは停滞する必要があるかもしれない。ここまで、本明細書の論述はタイルに着目しているが、このような状況に対して、注意すべきは、いくつかの実現において、これらのセグメントがタイルではなく、走査順序に従って直線的に復号化されるスライスであれば、前記協調問題は存在しないが、いつくかの実現でメモリのアクセスの問題が依然として問題になるかもしれないことである。
【0074】
第３例示において、リンク（６１４）は十分な帯域幅と協調能力を有することで、Ｐピクチャタイプの動き補償とＩＢＣという両者に用いられる。このようなシナリオは、現在、Ｈ.２６５のコンテキストで考慮されず、以下に記載の「ＩＰスライス」という概念の基礎である。
【0075】
最後に、第４例示において、中級ビットレートリンク（６１４）は十分なビットレート（及び協調能力）を有することで、ビデオ技術または基準で想定された、例えばフレーム内予測、ＩＢＣ、Ｐスタイル及びＢスタイルのフレーム間予測が含まれる全ての形式の予測を支持する。いくつかの共有メモリとマルチプロセッサアーキテクチャは、このような第４シナリオを許可する。ここで、予測ツールによるタイル（または実際にはセグメント）の境界を跨いで予測ツールを利用することに対する制限は必要とされないかもしれない。
【0076】
なお、以上の記載は、リンク（６１４）の帯域幅及び／または協調能力に基づき、利用可能または不可能な予測技術の階層構造が存在すると理解できるが、このような状況は必須ではない。１つの簡単な例示を挙げて、Ｐ予測に比べると、ＩＢＣのメモリの帯域幅需求は、似たレベルにあり、Ｂ予測は２倍の帯域幅を必要とするかもしれない（且つ複数仮説予測は、より多い帯域幅を必要とするかもしれない）。ただし、システム設計のメモリの帯域幅は、双方向予測または複数仮説予測を許可する場合でも、ＩＢＣの協調面も、そのタイル境界に渡る使用を阻止するかもしれない。他のアーキテクチャ制約も存在する可能性がある。
【0077】
以上の例示のハードウェアアーキテクチャは組み合わせて使用されてもよい。例えば、システム（６００ａ）に基づきハードタイル化を行うことで、非常に大きいピクチャ（８ｋ及び以上）を管理可能なサイズのユニットに分割する必要があるかもしれない（例えば、書き込む際、ソフトウェアとハードウェア符号器及び復号器という両者の商業の合理制限で、４ｋの解像度を実現できる）。これらのハードタイルにおいて（該例示において、４ｋの解像度である）、さらなるタイル化は有利であるかもしれなく、システム（６００ｂ）に関する１つまたは複数の技術案で実現される。
【0078】
繰り返しになるが、タイル境界（または、より一般的には、セグメント境界）全体で使用される予測メカニズムの選択は、上記のようなハードウェア実装の制約だけでなく、アプリケーションのニーズによっても生じる可能性があることに注意する必要がある。場合によっては、アプリケーションとコーディング効率の観点から、タイルとセグメントの境界を横切る1つ又は複数の形式の予測を防ぐことが有利な場合がある。
【0079】
従来のビデオ符号化技術及び基準において、中断される予測形式は柔軟ではなく、ほとんどの場合、様々な目的に応じる概念及びシンタックス要素に関する。Ｈ.２６５を例とする（以下のリストは網羅ではない）。
【0080】
－ ＩＢＣは特定のプロファイルが有効な場合にのみ許可され、プロファイルに関係なく、スライス/タイルの境界を越えてＩＢＣを予測することはできない。
【0081】
－ 動きが制限されたタイルセットシンタックス要素を配置しない限り、動き補償は、ＰスライスとＢスライス（タイルと関係がない）のみに対して、スライス／タイル境界を超えることを許可される。
【0082】
－ フレーム内予測は、スライス境界を超えることを許可されないが、タイル境界を超えることは可能である。
【0083】
これらの制限のうちのいくつかのは、Ｈ.２６５の段階的な関与で説明できる。例えば、Ｈ．２６５は、Ｈ.２６５の最初のバージョンが発表された後に追加されており、従ってプロファイルを介して配置される必要がある（その使用をシグナリングする）。しかしながら、特定の設計上の選択が必要になった履歴に関係なく、Ｈ.２６５設計では、特定のセグメント境界を越えた予測メカニズムの特定の組み合わせを許可しない。Ｈ.２６５とその他の現在のビデオ符号化技術および基準のこの欠点は今や解決される。
【0084】
ビデオ圧縮技術または基準において、セグメント境界に渡るいくつかの予測メカニズムに対する支持を変更することは、２つの影響が発生する可能性があり、この２つの影響はいずれも考量を必要とするかもしれない。
【0085】
第１の影響は、ある予測メカニズムを利用する際、または利用を許可しないためある予測メカニズムを利用しない際、復号器の動作を指定する必要があることである。多くのビデオ符号化技術及び基準において、参照サンプルまたは参照メタデータの「利用可能性」を適切に定義すること、及びビットストリームにおいて、セグメント境界に渡る予測を暗黙に許可しない際に使用する推定メカニズムを介して実現される。これらのメカニズムは当業者にとって公知であり、本明細書において詳しく記載しない。
【0086】
第２の影響は、ビットストリームにおいてセグメント境界渡りを許可する予測ツールを指定する必要があることである。以下、Ｈ.２６５における利用可能なシグナリングメカニズムに比べると、変化が最も小さいものからより汎用的なメカニズムへの順序で、該シグナリングメカニズムの選択肢が以下に記載する。
【0087】
以上、システム（６００ｂ）を結合して記載したアーキテクチャに対する制約の４つの例示において、（ＩＢＣとＰ予測という両者を許可する）第３例示は、１つまたは複数の追加スライスタイプを導入することで実現される。
【0088】
図７は、実施形態に基づくＩＰスライスのシンタックス要素のシンタックス及びセマンティックの図面である。
【0089】
同一の実施形態または他の実施形態において、本明細書において、ＩＰスライスと呼ばれる新たなスライスタイプが導入される。ＩＰスライスは、図７に示されるように、ｓｌｉｃｅ_ｔｙｐｅの（Ｈ.２６５に対して）修正されたセマンティック（７０３）とともに、ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｈｅａｄｅｒ（）シンタックス構造（７０２）のうちのｓｌｉｃｅ_ｔｙｐｅシンタックス要素（７０１）の適切な値を利用してシグナリングされることが可能である。下線付きの文字で修正内容を表示し、追加を指示している。ＩＰスライスタイプとＩスライスとは、その全ての属性を共有でき、相違点は、ＩＰスライスタイプはそのスライス境界に渡るＩＢＣを許可することにある。同一の実施形態または他の実施形態において、独立復号器リフレッシュピクチャ（ＩＤＲピクチャ）はＩスライスとＩＰスライス（７０４）とを有してもよい。
【0090】
図８は、実施形態に基づくＰＩスライスのシンタックス要素のシンタックス及びセマンティックの図面である。
【0091】
同一の実施形態または他の実施形態において、本明細書においてＰＩスライスと呼ばれる新たなスライスタイプが導入される。ＰＩスライスは、図７に示されるように、図８に示されるようなｓｌｉｃｅ_ｔｙｐｅの修正されたセマンティック（８０１）とともに、ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｈｅａｄｅｒ（）シンタックス構造（７０２）のうちのｓｌｉｃｅ_ｔｙｐｅシンタックス要素（７０１）の適切な値を利用してシグナリングされることが可能である。ＰＩスライスタイプとＰスライスとはその全ての属性を共有し、相違点は、ＰＩスライスはそのスライス境界に渡るＩＢＣを許可することにある。
【0092】
図９は、実施形態に基づくＢスライスのシンタックス要素のシンタックス及びセマンティックの図面である。
【0093】
同一の実施形態または他の実施形態において、本明細書において、ＢＩスライスと呼ばれる新たなスライスタイプが導入される。ＢＩスライスは、図７に示されるように、図９に示されるｓｌｉｃｅ_ｔｙｐｅの修正されたセマンティック（９０１）とともに、ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｈｅａｄｅｒ（）シンタックス構造（７０２）のうちのｓｌｉｃｅ_ｔｙｐｅシンタックス要素（７０１）の適切な値を利用してシグナリングされることが可能である。ＢＩスライスタイプとＢスライスとはその全ての属性を共有し、相違点は、ＢＩスライスはそのスライス境界に渡るＩＢＣを許可することにある。
【0094】
図１０は、実施形態に基づくＢＩ、ＰＩ及びＩＰスライスのシンタックス要素のシンタックス及びセマンティックの図面である。
【0095】
同一の実施形態または他の実施形態において、前記新たなスライスタイプのうちの２つまたはより複数を組み合わせるように指定できる。例示として、図１０は、前記全ての３つの新たなスライスタイプが含まれるｓｌｉｃｅ_ｔｙｐｅシンタックス要素のセマンティック（１００１）を示す。
【0096】
同一の実施形態または他の実施形態において、伝統のＩ、Ｂ及びＰスライスの使用は、使用中のプロファイルに関わらず、スライス境界に渡るＩＢＣ予測を許可しないように暗示できる。
【0097】
図１１は、実施形態に基づく、境界に渡る予測フラグのシンタックス及びセマンティックの図面である。
【0098】
図１１を参照し、同一の実施形態または他の実施形態において、新たなシンタックス要素ｉｂｃ_ａｃｒｏｓｓ_ｓｌｉｃｅ_ｂｏｕｎｄａｒｉｅｓ_ａｌｌｏｗｅｄ_ｆｌａｇ（１１０１）及び／またはｉｂｃ_ａｃｒｏｓｓ_ｔｉｌｅ_ｂｏｕｎｄａｒｉｅｓ_ａｌｌｏｗｅｄ_ｆｌａｇが高水準シンタックス構造に導入されることが可能であり、その構造は例えばスライスセグメントヘッダ（１１０２）、タイルヘッダ、ピクチャパラメータセット、シーケンスパラメータセット、ピクチャヘッダ、ＧＯＰヘッダ、シーケンスヘッダまたは他のいずれかの適切な高水準シンタックス構造である。このようなフラグのセマンティックは図１１に示すように、一例としてｉｂｃ_ａｃｒｏｓｓ_ｓｌｉｃｅ_ｂｏｕｎｄａｒｉｅｓ_ａｌｌｏｗｅｄ_ｆｌａｇにより示されることが可能である。
【0099】
同一実施形態または他の実施形態において、いくつかの他の予測ツールに似たフラグを導入してもよく、フレーム内予測（ｉｎｔｒａ_ｐｒｅｄ_ａｃｒｏｓｓ_ｓｌｉｃｅ_ｂｏｕｎｄａｒｉｅｓ_ａｌｌｏｗｅｄ_ｆｌａｇ、１１０４）、Ｐスタイル動き補償（ｐ－ｐｒｅｄｉｃｔｉｏｎ－ａｃｒｏｓｓ－ｓｌｉｃｅ－ｂｏｕｎｄａｒｉｅｓ－ａｌｌｏｗｅｄ－ｆｌａｇ、１１０５）、双方向予測動き補償（ｂ－ｐｒｅｄｉｃｔｉｏｎ－ａｃｒｏｓｓ－ｓｌｉｃｅ－ｂｏｕｎｄａｒｉｅｓ－ａｌｌｏｗｅｄ－ｆｌａｇ、１１０６）などが含まれるが、これらに限定されない。セグメントのタイプ、例えばタイル、ＧＯＢなどに関する類似のシンタックス要素は、当業者にとって容易に想到し得る。
【0100】
前記１つまたは複数のフラグの符号化に対して多くの最適化を行うことができる。例えば、定義に基づき、双方向予測はＢスライスのみに適用されるように許可されるので、スライスタイプがＢスライスである場合、ｂ－ｐｒｅｄｉｃｔｉｏｎ－ａｃｒｏｓｓ－ｓｌｉｃｅ－ｓｌｉｃｅ－ｂｏｕｎｄａｒｉｅｓ－ａｌｌｏｗｅｄ－ｆｌａｇの存在に対してゲートコントロールを行う。ビデオ符号化技術及び基準において、既に異なる（場合によって、不一致である）方式でこのような解析の依存性は符号化効率の付出に値するかどうかという問題を解決した。２つの形式はいずれも含まれる。
【0101】
前記セグメント境界に渡る予測のための技術は、コンピュータ読み取り可能な命令を利用して、コンピュータソフトウェアとして実現され、物理的に１つまたは複数のコンピュータ読み取り可能な媒体に記憶される。
【0102】
図１２は、実施形態を実現するためのコンピュータシステム（１２００）の図面である。
【0103】
コンピュータソフトウェアは任意の適切なマシンコードまたはコンピュータ言語によって符号化を行って、マシンコードまたはコンピュータ言語は編集、コンパイル、リンクなどのメカニズムを介して命令が含まれるコードを構築し、該命令は１つ又は複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、または解釈、マイクロコード実行などによって実行される。
【0104】
命令は各種タイプのコンピュータまたはその部材で実行でき、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む。
【0105】
図１２に示すコンピュータシステム（１２００）の部材は、本開示内容を実現するための実施例のコンピュータソフトウェアの使用範囲または機能に対して限定せず、本質に例示的である。部材の配置も、コンピュータシステム（１２００）の例示性の実施例で示した部材におけるいずれかの部材、またはその組み合わせに関する依存性または要求を有するように解釈されるべきではない。
【0106】
コンピュータシステム（１２００）はいくつかのヒューマンマシンインターフェイス入力機器を含んでもよい。このようなヒューマンマシンインターフェイス入力機器は、１つ又は人ユーザーの、例えば触覚入力（例えば：キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば：音声、たたくこと）、視覚入力（例えば：姿勢）、嗅覚入力（図示せず）による入力に応答できる。マンマシンインタフェース機器はさらに、必ずしも人類の意識的な入力に直接的に関していない、ある媒体例えば、オーディオ（例えば：音声、音楽、環境音）、画像（例えば：スキャン画像、静態画像撮影装置から取得された写真画像）、ビデオ（例えば２次元ビデオ、立体ビデオが含まれる３次元ビデオ）をキャプチャできる。
【0107】
入力マンマシンインタフェース機器は、キーボード（１２０１）、マウス（１２０２）、タッチパッド（１２０３）、タッチパネル（１２１０）、データグローブ（１２０４）、ジョイスティック（１２０５）、マイク（１２０６）、スキャナ（１２０７）、撮影装置（１２０８）のうちの１つ又は複数を有してもよい（記載の各々のうちの１つのみ）。
【0108】
コンピュータシステム（１２００）はさらにマンマシンインタフェース出力機器を有してもよい。このようなマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味を介して１つ又は複数の人類ユーザーの感覚を刺激できる。このようなマンマシンインタフェース出力機器は触覚出力機器（例えば、タッチパネル（１２１０）、データグローブ（１２０４）またはジョイスティック（１２０５）による触覚フィードバック、但し入力機器として用いられない触覚フィードバック機器も存在する）、オーディオ出力機器（例えば、スピーカー（１２０９）、ヘッドフォン（図示せず））、視覚出力機器（例えば、スクリーン（１２１０）、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、各スクリーンはタッチパネル入力能力、触覚フィードバック能力を有してもよく、有してなくてもよく、そのうちのいくつかは、立体画像出力のような手段で、２次元の視覚を出力または３次元以上の出力を行い、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）がある）、プリンター（図示せず）を含む。
【0109】
コンピュータシステム（１２００）はさらに人類がアクセスし得る記憶機器及びその関連する媒体を有してもよく、例えば、ＣＤ／ＤＶＤなどの媒体（１２２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１２２０）を含む光学媒体、サムドライブ（１２２２）、取り外し可能なハードドライブまたはソリッドステートドライブ（１２２３）、磁気テープとフロッピーディスク（図示せず）のような伝統の磁気媒体、専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づく機器、例えばドングル（図示せず）などを含む。
【0110】
当業者は、現在開示のテーマを結合して、使用される用語「コンピュータ読み取り可能な媒体」には伝送媒体、搬送波または他の瞬間信号が含まれないことを理解できる。
【0111】
コンピュータシステム（１２００）は、さらに１つ又は複数の通信ネットワークのインタフェースを有してもよい。ネットワークは、例えば無線、有線、光学であってもよい。ネットワークはさらに、ロカール、広域、都市用、車両用、工業用、リアルタイム、遅延耐性ネットワークなどであってもよい。ネットワークの例示はイーサネットのようなローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどが含まれたセルラーネットワーク、有線テレビ、衛星テレビ及び地上波テレビが含まれるテレビ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓが含まれる車両及び工業ネットワークなどを含む。あるネットワークは一般的に、ある汎用データポートまたは周辺バス（１２４９）（例えば、コンピュータシステム（１２００）のＵＳＢポート）に連結される外部ネットワークインタフェースアダプタを必要とし、他のネットワークは一般的に、以下に記載のシステムバス（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）に連結されることで、コンピュータシステム（１２００）のコアに集積される。これらのネットワークのうちのいずれかのネットワークを介して、コンピュータシステム（１２００）は他のエンティティと通信できる。このような通信は一方向で受信だけ（例えば、放送テレビ）、一方向で送信だけ（例えば、あるＣＡＮｂｕｓ機器へのＣＡＮｂｕｓ)、または双方向である（例えば、ローカルエリアまたは広域デジタルネットワークを介して他のコンピュータシステムへ）。以上に記載のこれらのネットワーク及びネットワークインタフェースのうちの各ネットワーク及びネットワークインタフェースに、特定のプロトコル及びプロトコルスタックを利用できる。
【0112】
以上に言及されたマンマシンインタフェース機器、人類がアクセスし得る記憶機器及びネットワークインターフェースは、コンピュータシステム（１２００）のコア（１２４０）に連結できる。
【0113】
コア（１２４０）は１つ又は複数の中央処理ユニット（ＣＰＵ）（１２４１）、グラフィック処理ユニット（ＧＰＵ）（１２４２）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）（１２４３）という形式の専門プログラム可能な処理ユニット、あるタスクのためのハードウェアアクセラレータ（１２４４）などを含む。これらの機器は、読み取り専用メモリ（ＲＯＭ）（１２４５）、ランダムアクセスメモリ（１２４６）、内部のユーザーがアクセスできないハードディスクドライブ、ＳＳＤなどのような内部大容量記憶装置（１２４７）とともに、システムバス（１２４８）を介して接続される。あるコンピュータシステムにおいて、１つ又は複数の物理プラグという形式で、システムバス（１２４８）にアクセスすることで、別のＣＰＵ、ＧＰＵなどによって拡張できる。周囲機器は直接的または周辺バス（１２４９）を介してコアのシステムバス（１２４８）に連結される。周辺バスのアーキテクチャはＰＣＩ、ＵＳＢなどを含む。
【0114】
ＣＰＵ（１２４１）、ＧＰＵ（１２４２）、ＦＰＧＡ（１２４３）及びアクセラレータ（１２４４）はいくつかの命令を実行でき、これらの命令を組み合わせて、以上に言及されたコンピュータコードを構成する。該コンピュータコードはＲＯＭ（１２４５）またはＲＡＭ（１２４６）に記憶される。移行データはＲＡＭ（１２４６）に記憶され、永久データは、例えば内部大容量記憶装置（１２４７）に記憶されてもよい。キャッシュメモリによってメモリ機器のうちのいずれかのメモリ機器の快速記憶及び検索を実現でき、該キャッシュメモリは１つ又は複数のＣＰＵ（１２４１）、ＧＰＵ（１２４２）、大容量記憶装置（１２４７）、ＲＯＭ（１２４５）、ＲＡＭ（１２４６）などに密接に関連できる。
【0115】
コンピュータ読み取り可能な媒体は、コンピュータが実現する各種操作を実行するためのコンピュータコードを有する。媒体とコンピュータコードとは、本開示内容の目的のために、専門に設計され及び構築された媒体とコンピュータコードであってもよいし、またはコンピュータソフトウェアの当業者にとって、公知且つ利用可能なタイプであってもよい。
【0116】
限定ではなく例示として、アーキテクチャ（１２００）を有するコンピュータシステム、特にコア（１２４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形コンピュータ読み取り可能な媒体に体現されるソフトウェアを実行することで、機能を提供できる。このようなコンピュータ読み取り可能な媒体は、以上に紹介された、ユーザがアクセスし得る大容量記憶装置に関する媒体、及び非一時的なコア（１２４０）を有する、コア内部大容量記憶装置（１２４７）またはＲＯＭ（１２４５）のような記憶装置であってもよい。本開示内容を実現するための各種実施例のソフトウェアはこのような機器に記憶され、コア（１２４０）に実行される。特定の需要に応じて、コンピュータ読み取り可能な媒体には１つ又は複数の記憶機器またはチップが含まれてもよい。ソフトウェアはコア（１２４０）、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどが含まれた）に、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行させ、ＲＡＭ（１２４６）に記憶されるデータ構成を限定すること、及びソフトウェアにより限定されたプロセスに基づき、このようなデータ構成を修正することが含まれる。また或いは代わりとして、コンピュータシステムは、論理的な固定接続または他の方式で回路（例えば、アクセラレータ（１２４４））に体現されることで機能を提供し、該回路は、ソフトウェアの代わりとして、またはソフトウェアとともに操作することで、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行できる。適切な場合、言及のソフトウェアにはロジックが含まれ、逆に、言及ロジックにはソフトウェアが含まれてもよい。適切な場合、言及のコンピュータ読み取り可能な媒体には、実行するためのソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行するためのロジックを体現する回路、或いは前記両者が含まれてもよい。本開示内容にはハードウェアとソフトウェアとの任意の適切な組み合わせが含まれる。
【0117】
図１３は、実施形態に基づく、符号化されたピクチャを復号化する方法（１３００）のフロ一チヤ一卜である。前記符号化されたピクチャは第１セグメントと第２セグメントとの符号化されたビデオシーケンスを有し、いくつかの実現方式において、図１３の１つまたは複数の処理ブロックは復号器（３１０）によって実行される。いくつかの実現方式において、図１３の１つまたは複数の処理ブロックは、復号器（３１０）と分けられるか、または復号器（３１０）が含まれる他の機器または１組の機器（例えば、符号器３０３）によって実行される。
【0118】
図１３を参照し、第１ブロック（１３１０）において、方法（１３００）は、少なくとも第１セグメントと第２セグメントに適用される高水準シンタックス構造の第１シンタックス要素に基づき、第１セグメントを復号化するための第１復号化処理を決定するステップを有し、該第１シンタックス要素は第１予測を許可しないように指示し、第１復号化処理は第１予測を許可しない。
【0119】
第２ブロック（１３２０）において、方法（１３００）は、少なくとも高水準シンタックス構造の第２シンタックス要素に基づき、第２セグメントを復号化するための第２復号化処理を決定するステップを有し、該第２予測は第１予測と異なり、該第２シンタックス要素は第２予測を許可しないように指示し、第２復号化処理は前記第２予測を許可しない。
【0120】
第３ブロック（１３３０）において、方法（１３００）は、第１予測を許可しない第１復号化処理に基づき、第１セグメントを復号化するステップを有する。
【0121】
第４ブロック（１３４０）において、方法（１３００）は、第２予測を許可しない第２復号化処理に基づき、第２セグメントを復号化するステップを有する。
【0122】
第１セグメントと第２セグメントのうちの少なくとも１つはスライスを有してもよい。
【0123】
第１セグメントと第２セグメントのうちの少なくとも１つはタイルを有してもよい。
【0124】
第１セグメントと第２セグメントのうちの少なくとも１つはブロックグループを有してもよい。
【0125】
第１予測は、セグメント境界に渡るフレーム内ブロックコピー、セグメント境界に渡るフレーム内予測、セグメント境界に渡る予測ピクチャ予測、及びセグメント境界に渡る双予測ピクチャ予測のうちのいずれか１つを含んでもよく、第２予測は、セグメント境界に渡るフレーム内ブロックコピー、前記セグメント境界に渡るフレーム内予測、前記セグメント境界に渡る予測ピクチャ予測、及びセグメント境界に渡る双予測ピクチャ予測のうちのいずれか１つを含んでもよい。
【0126】
第１シンタックス要素と第２シンタックス要素のうちの各シンタックス要素は、高水準シンタックス構造のフラグであってもよい。
【0127】
高水準シンタックス構造は第１セグメントと第２セグメントのうちの各セグメントヘッダにあってもよい。
【0128】
高水準シンタックス構造はピクチャパラメータセットとシーケンスパラメータセットのうちの１つであってもよい。
【0129】
高水準シンタックス構造は、ピクチャヘッダ、ブロックグループヘッダ及びシーケンスヘッダのうちのいずれか１つであってもよい。
【0130】
図１３は、方法（１３００）の例示ブロックを示すが、いくつかの実現において、図１３に描画されたこれらのブロックに比べると、方法（１３００）は別のブロック、より少ないブロック、異なるブロック、または異なるように配置されるブロックを含んでもよい。追加、または代わりとして、方法（１３００）のブロックのうちの２つ、またはより複数を並行に実行できる。
【0131】
また、提出された方法は、処理回路（例えば、１つまたは複数のプロセッサ、或いは１つまたは複数の集積回路）によって実現される。例示において、１つまたは複数のプロセッサは、非一時的なコンピュータ読み取り可能な媒体に記憶されるプログラムを実行することで、提出された方法のうちの１つまたは複数の方法を実行する。
【0132】
図１４は、実施形態に基づく、符号化されたピクチャを復号化するための機器（１４００）の簡略化ブロック図であり、前記符号化されたピクチャは第１セグメントと第２セグメントとの符号化されたビデオシーケンスを有する。
【0133】
図１４を参照し、機器（１４００）は第１決定コード（１４１０）と、第２決定コード（１４２０）と、第１復号化コード（１４３０）と、第２復号化コード（１４４０）とを有する。
【0134】
図１４を参照し、第１決定コード（１４１０）は、少なくとも第１セグメントと第２セグメントに適用される高水準シンタックス構造の第１シンタックス要素に基づき、第１セグメントを復号化するための第１復号化処理を決定するように配置され、該第１シンタックス要素は第１予測を許可しないように指示する。
【0135】
第２決定コード（１４２０）は、少なくとも高水準シンタックス構造の第２シンタックス要素に基づき、第２セグメントを復号化するための第２復号化処理を決定するように配置され、第２予測は第１予測と異なり、該第２シンタックス要素は第２予測を許可しないように指示し、前記第２復号化処理は前記第２予測を許可しない。
【0136】
第１復号化コード（１４３０）は、第１予測を許可しない第１復号化処理に基づき、第１セグメントを復号化するように配置される。
【0137】
第２復号化コード（１４４０）は、第２予測を許可しない第２復号化処理に基づき、第２セグメントを復号化するように配置される。
【0138】
第１セグメントと第２セグメントのうちの少なくとも１つはスライスを有してもよい。
【0139】
第１セグメントと第２セグメントのうちの少なくとも１つはタイルを有してもよい。
【0140】
第１セグメントと第２セグメントのうちの少なくとも１つはブロックグループを有してもよい。
【0141】
第１予測は、セグメント境界に渡るフレーム内ブロックコピー、セグメント境界に渡るフレーム内予測、セグメント境界に渡る予測ピクチャ予測、及びセグメント境界に渡る双予測ピクチャ予測のうちのいずれか１つを含み、第２予測は、前記セグメント境界に渡るフレーム内ブロックコピー、前記セグメント境界に渡るフレーム内予測、前記セグメント境界に渡る予測ピクチャ予測、及び前記セグメント境界に渡る双予測ピクチャ予測のうちの異なる１つを含む。
【0142】
第１シンタックス要素と第２シンタックス要素のうちの各シンタックス要素は、高水準シンタックス構造のフラグであってもよい。
【0143】
高水準シンタックス構造は第１セグメントと第２セグメントのうちの各々セグメントヘッダにあってもよい。
【0144】
高水準シンタックス構造はピクチャパラメータセットとシーケンスパラメータセットのうちの１つであってもよい。
【0145】
高水準シンタックス構造は、ピクチャヘッダ、ブロックグループヘッダ及びシーケンスヘッダのうちのいずれか１つであってもよい。
【0146】
前記技術はコンピュータ読み取り可能な命令を利用してコンピュータソフトウェアとして実現され、物理的に１つまたは複数のコンピュータ読み取り可能な媒体に記憶されてもよい。
【0147】
本開示内容には若干の例示性の実施例が記載されているが、本開示内容の範囲内にある変更、置き換え及び様々な置換等価物が存在する。従って、本明細書には明らかに記載されていないが、本開示内容の原理を体現し本開示内容の精神及び範囲内に属する多いシステム及び方法は、当業者にとって想到し得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
