▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
特開2023-113865サブピクチャまたは領域ごとのランダムアクセスを可能にするビデオコーデックとこのビデオコーデックを使用したビデオ合成の概念
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023113865
(43)【公開日】2023-08-16
(54)【発明の名称】サブピクチャまたは領域ごとのランダムアクセスを可能にするビデオコーデックとこのビデオコーデックを使用したビデオ合成の概念
(51)【国際特許分類】
H04N 19/70 20140101AFI20230808BHJP
【ＦＩ】
H04N19/70
【審査請求】有
【請求項の数】30
【出願形態】ＯＬ
(21)【出願番号】P 2023094171
(22)【出願日】2023-06-07
(62)【分割の表示】P 2021544537の分割
【原出願日】2020-01-31
(31)【優先権主張番号】19155162.1
(32)【優先日】2019-02-01
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】スクーパン，ロベルト
(72)【発明者】
【氏名】サンチェス デ ラ フェンテ，ヤーゴ
(72)【発明者】
【氏名】ヘルゲ，コルネリウス
(72)【発明者】
【氏名】シーエル，トーマス
(72)【発明者】
【氏名】ゼーリンク，カルステン
(72)【発明者】
【氏名】ヴィーガント，トーマス
(57)【要約】 （修正有）
【課題】ビデオ合成、統合や段階的復号リフレッシュを効果的に実装するビデオコーデックを提供する。
【解決手段】データストリーム１０では、ピクチャ１８から空間的にサブ分割されるサブピクチャ２４が互いに独立して符号化される。１つ以上のピクチャのセット４２の各ピクチャについて復号したサブピクチャ関連情報４０は、第１の状態のとき、ランダムアクセスポイント方式で符号化されているとして個々のサブピクチャを識別し、第２の状態のときランダムアクセスポイント方式で符号化されていないとして個々のサブピクチャを識別する。１つ以上のピクチャのセットについて、ランダムアクセスポイント・シグナリング粒度指示４４は、第１の粒度のときサブピクチャ関連情報がそれぞれのピクチャの全てのサブピクチャに対して共通の状態をとり、第２の粒度のときサブピクチャ関連情報がそれぞれのピクチャのサブピクチャに対して異なる状態をとることを示す。
【選択図】図２
【解決手段】データストリーム１０では、ピクチャ１８から空間的にサブ分割されるサブピクチャ２４が互いに独立して符号化される。１つ以上のピクチャのセット４２の各ピクチャについて復号したサブピクチャ関連情報４０は、第１の状態のとき、ランダムアクセスポイント方式で符号化されているとして個々のサブピクチャを識別し、第２の状態のときランダムアクセスポイント方式で符号化されていないとして個々のサブピクチャを識別する。１つ以上のピクチャのセットについて、ランダムアクセスポイント・シグナリング粒度指示４４は、第１の粒度のときサブピクチャ関連情報がそれぞれのピクチャの全てのサブピクチャに対して共通の状態をとり、第２の粒度のときサブピクチャ関連情報がそれぞれのピクチャのサブピクチャに対して異なる状態をとることを示す。
【選択図】図２
【特許請求の範囲】
【請求項1】
ピクチャ（１８）を含むビデオ（１６）をデータストリーム（１０）から復号するためのビデオデコーダであって、前記データストリームは、前記ピクチャから空間的にサブ分割されるサブピクチャ（２４）が互いに独立して符号化される方法で、その中に符号化された前記ビデオを有し、
前記ビデオデコーダは、
前記ビデオの１つ以上のピクチャのセット（４２）の各ピクチャの各サブピクチャについて、前記データストリームからサブピクチャ関連情報（４０）を復号するよう構成され、
前記サブピクチャ関連情報（４０）は、第１の状態のとき、個々のサブピクチャをランダムアクセスポイント方式で符号化されているものとして識別し、第２の状態のとき、個々のサブピクチャをランダムアクセスポイント方式で符号化されていないものとして識別し、
前記１つ以上のピクチャのセット（４２）について、前記データストリームからランダムアクセスポイント・シグナリング粒度指示（４４）を復号するよう構成され、その粒度指示は、
第１の粒度を呈するとき、１つ以上のピクチャのセットの各ピクチャについて、前記サブピクチャ関連情報がそれぞれのピクチャの全てのサブピクチャに対して共通の状態をとることを示し、
第２の粒度を呈するとき、１つ以上のピクチャのセットの各ピクチャについて、前記サブピクチャ関連情報がそれぞれのピクチャのサブピクチャに対して異なる状態をとり得ることを示す、
ビデオデコーダ。
前記ビデオデコーダは、
前記ビデオの１つ以上のピクチャのセット（４２）の各ピクチャの各サブピクチャについて、前記データストリームからサブピクチャ関連情報（４０）を復号するよう構成され、
前記サブピクチャ関連情報（４０）は、第１の状態のとき、個々のサブピクチャをランダムアクセスポイント方式で符号化されているものとして識別し、第２の状態のとき、個々のサブピクチャをランダムアクセスポイント方式で符号化されていないものとして識別し、
前記１つ以上のピクチャのセット（４２）について、前記データストリームからランダムアクセスポイント・シグナリング粒度指示（４４）を復号するよう構成され、その粒度指示は、
第１の粒度を呈するとき、１つ以上のピクチャのセットの各ピクチャについて、前記サブピクチャ関連情報がそれぞれのピクチャの全てのサブピクチャに対して共通の状態をとることを示し、
第２の粒度を呈するとき、１つ以上のピクチャのセットの各ピクチャについて、前記サブピクチャ関連情報がそれぞれのピクチャのサブピクチャに対して異なる状態をとり得ることを示す、
ビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、ビデオ符号化およびビデオ合成（video composition）に関する。
【背景技術】
【0002】
様々なアプリケーションは、サブピクチャを利用しており、つまり、個別の符号化と復号化のために、ビデオピクチャをサブピクチャにサブ分割している。これらのアプリケーションの中には、３６０°ビデオと段階的復号リフレッシュ（gradual decoding refresh）とがある。
【0003】
３６０°ビデオの場合、図１０の左側に示すように、サブピクチャ（ＨＥＶＣの場合はタイル）が異なる解像度で個別に提供される。ユーザーは、図１０の中央に示されているように、あるタイルを高解像度で、他のタイルを低解像度で、彼らの視線方向（viewing orientation）に従って選択し、図１０の右側に示されているように、１つの共通のビットストリームへとマージ（統合）される。ユーザーが視線方向を変化させるときは常に、高解像度のタイルセットと低解像度のタイルのセットも変化する。ただし、高解像度のすべてのタイルが低解像度のタイルに変わるわけではなく、その逆も同様である。これは、解像度が変化するタイルのサブセットに対してのみ、切換ポイントが必要であることを意味する。この切換ポイントは通常、その特定のサブピクチャ・ビットストリームのランダムアクセスポイント（ＲＡＰ）である。
【0004】
段階的復号リフレッシュ（ＧＤＲ）は、図１１に示されるように、非ＲＡＰでビットストリームの復号を開始し、所与の数のピクチャを復号した後、復号プロセスがＲＡＰで開始された場合と同じような品質でビデオを表示できるようにするメカニズムである。
【0005】
図１１では、例えば（符号化順序９００で連続する）４つの連続する非ＲＡＰピクチャが、３つのタイルグループtile_group0、tile_group1、tile_group2へと、つまりそれぞれのピクチャの領域へと、均等にサブ分割されていることが示される。ビデオ９０２のピクチャは、参照記号９０４ａ～９０４ｄによって示され、それらがサブ分割された領域は、参照記号９０６を使用して示される。各領域９０６は、その中に「ＩＲＡＰ」と銘記されることによって、自己完結型の方法で、即ちランダムアクセスポイントを形成する方法で符号化されること、又は、そうでなく、その中に「インター」と銘記されることによって、他のピクチャを参照する方法で符号化されること、を示している。図１１に示される４つのピクチャ９０４ａ～９０４ｄのいずれも、すべての領域９０６がランダムアクセスポイントとして符号化される訳ではない。むしろ、図１１の例では、その領域の１つだけがランダムアクセスポイントであるが、図１１の例では、ピクチャ９０４ａ～９０４ｃなどの３つの連続するピクチャのランダムアクセスポイント領域は、ビデオ９０２のピクチャのピクチャ領域を空間的に完全にカバーしている。したがって、そのようなピクチャのトリプレットの後、そのようなトリプレットの最後のピクチャ、ここではピクチャ９０４ｃは、デコーダにおいてある条件下でアーチファクトのない状態で利用可能である。その条件とは、このピクチャ９０４ｃの非ＲＡＰ領域が－例えば予測および／またはエントロピーコンテキスト導出の点で、即ち符号化の相互依存性（coding interdependencies）の点で－ＲＡＰ領域、または、それら自身ＲＡＰ領域だけに対して符号化依存性を直接的または間接的に有している非ＲＡＰ領域である領域を単に参照したことを、エンコーダが管理していたという点である。つまり、復号化がＲＡＰを用いて開始されたときのように、即座に明瞭な復号済みピクチャが達成される訳ではない。むしろ、欠落した参照のアーチファクトを排除するために、復号済みピクチャが段階的にリフレッシュされた後、しばらくして明瞭な復号済みピクチャが達成される。これはピクチャ９０４ｃである。典型的には、ＧＤＲは、コンテンツを領域（タイルなど）に分割し、それら領域を整列されていないサブピクチャＲＡＰを用いて符号化することで実現できる。
【0006】
上記の２つのシナリオのいずれの結果としても、異なるサブビットストリームにわたる参照は変化する。また、異なるサブピクチャがＩ＿ＳＬＩＣＥＳタイプ（前に復号されたピクチャへの予測が適用されない）としてのみシグナリングされるため、異なるサブピクチャのＲＡＰマーキングは明確には実行されず、かつ参照ピクチャリスト内でＩ＿ＳＬＩＣＥタイプのピクチャの前にサブピクチャを含めないことによってのみ、同じサブピクチャ・ビットストリームの連続するサブピクチャの予測が中断される。
【0007】
上記した既存のビデオ符号化の概念にも関わらず、例えば、より効果的なビデオ合成、および／または段階的復号リフレッシュのより効果的な実装を可能にする、ビデオ符号化環境の必要性が依然として存在する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】WO 2015/059194
【特許文献2】WO 2016/026526
【発明の概要】
【発明が解決しようとする課題】
【0009】
したがって、本発明の目的は、より効果的なビデオ合成／統合および／または段階的復号リフレッシュのより効果的な実装を可能にするビデオコーデック、および／または、例えば合成／統合作業の複雑さの観点から、ビデオ合成／統合をより効果的にすることを可能にする概念を提供することである。
【課題を解決するための手段】
【0010】
この目的は、本出願の独立請求項の要旨によって達成される。
【0011】
本出願の第１の態様は、ビデオデコーダに対し、ビデオのピクチャ内でどの粒度においてサブピクチャ関連情報が空間的に変化し得るかを示す、ランダムアクセスポイント・シグナリング粒度指示を導入することによって、ビデオ合成／統合および／またはビデオコーデックにおける段階的復号リフレッシュの実装をより効果的にすることを目的とする。サブピクチャ関連情報は、それぞれのサブピクチャがランダムアクセスポイント方式で符号化されているか、またはランダムアクセスポイント方式で符号化されていないかを識別する。すなわち、サブピクチャ関連情報とは別に、またはそれに追加して、データストリーム内でシグナリングされるランダムアクセスポイント・シグナリング粒度指示が第１の粒度を呈する場合、これは、ランダムアクセスポイント・シグナリング粒度指示の１つの範囲を形成する１つ以上のピクチャから成る１セットの各ピクチャについて、サブピクチャ関連情報がそれぞれのピクチャのすべてのサブピクチャに共通の状態であることを表す。つまりその場合、すべてのサブピクチャは、関連するサブピクチャのランダムアクセスポイント符号化をシグナリングする第１の状態、または関連するサブピクチャの非ランダムアクセスポイント符号化をシグナリングする第２の状態、のいずれかである。しかし、ランダムアクセスポイント・シグナリング粒度指示が第２の粒度を呈している場合、これは、１つ以上のピクチャから成る１セットの各ピクチャに関し、サブピクチャ関連情報がそれぞれのピクチャのサブピクチャについて異なる状態であり得ることを示す。そのようなランダムアクセスポイント・シグナリング粒度指示の導入の結果として、ビデオのピクチャがサブピクチャにサブ分割される方法でデータストリーム内に符号化されたビデオを有するデータストリームを合成する作業は、本明細書ではサブストリームと呼ばれることもある１つ以上の入力ビデオストリームであって、その中に符号化されサブピクチャを有する入力ビデオストリームの、リザーバに課せられる要件の点で軽減される。特に、これらの入力ビデオストリームは、相互に依存する方法で、つまり、１つのサブストリーム内の１つのサブピクチャがＲＡＰ符号化される場合、他のサブストリームの時間的に整列されたサブピクチャも同様にＲＡＰで符号化されるような方法で、符号化される必要がない。いくつかのサブストリームが１つの共通の入力ビデオストリームに符号化される場合、それらサブストリームは通常の方法で符号化されてもよく、そこでは、それぞれの入力ビデオデータストリームの各ピクチャは、それぞれのピクチャのすべてのサブピクチャが入力ビデオストリーム内でそれらに関連する１つのサブピクチャ関連情報を有するように、符号化される。そのサブピクチャ関連情報は、それぞれのピクチャのすべてのサブピクチャに関する第１の状態、またはそれぞれのピクチャのすべてのサブピクチャに関する第２の状態のいずれかである。ただし、他のサブストリーム内の時間的に整列されたサブピクチャがＲＡＰ方式で符号化されない場合もある。ランダムアクセスポイント・シグナリング粒度指示を含むビデオデータストリームを合成する際、合成器／統合器（composer/merger）は、サブピクチャに分割されたピクチャが存在するように符号化されたビデオのピクチャを合成データストリームへと自由に合成でき、それらのサブピクチャのサブピクチャ関連情報は、それぞれの入力ビデオデータストリームから採用または引き継がれたものであり、その少なくとも１つはＲＡＰであり、他の少なくとも１つはＲＡＰでない。したがって、例えば各サブピクチャのために、合成データストリーム内に存在するサブピクチャ関連情報について、１つ以上の新たな状態を導入する必要はない。言い換えれば、サブピクチャ関連情報は、１つ以上の入力ビデオデータストリームのそれぞれのリザーバから単純に引き継がれ得る。
【0012】
サブピクチャは、タイルまたはタイルのグループであり得、すなわち、サブピクチャは、同じピクチャの他のサブピクチャから独立して符号化され得る。代替的に、サブピクチャは、ＭＣＴＳを形成するタイルまたはタイルのグループ、すなわち、動き制約タイルセット（motion constrained tile set）であり得る。これは、サブピクチャが、同じピクチャ内で独立して符号化されることに加えて、空間的にオフセットされた他のピクチャのサブピクチャから独立して符号化され得ることを意味する。その場合、異なるピクチャのサブピクチャが、相互に整列され、又は空間的に一致するサブピクチャ境界と空間的に整列されるように、それらピクチャは、一定の方法でサブピクチャに分割されてもよい。これにより、そのようなランダムアクセスポイント・シグナリング粒度指示を含むそのようなデータストリームは、ピクチャ粒度レジームで符号化されたであろうサブストリームのリザーバ内で使用されるのと同じアルファベットを使用することによって、サブピクチャ関連情報をシグナリングできるであろう。サブピクチャ関連情報は、例えば、ＮＡＬユニットタイプなどの複数のタイプを区別する整数値のシンタックス要素を含み得る。各サブピクチャは、１つ以上のＮＡＬユニットに符号化されてもよく、各ＮＡＬユニットは、例えば、そのような整数値のシンタックス要素を有する。したがって、ランダムアクセスポイント・シグナリング粒度指示が第１または第２の粒度を示すかどうかに関係なく、整数値シンタックス要素によって区別される複数のＮＡＬユニットタイプの１つ以上のＮＡＬユニットタイプの第１のサブセットは、サブピクチャ関連情報の第１の状態に対応する一方で、１つ以上のＮＡＬユニットタイプの第２のサブセットは、サブピクチャ関連情報の第２の状態に対応するであろう。
【0013】
ランダムアクセスポイント・シグナリング粒度指示は、データストリームのＳＰＳまたはＶＰＳ内に含まれることができ、１つ以上のピクチャのセットは、ビデオの一連のピクチャを含むか、または全体ビデオをカバーする、ランダムアクセスポイント・シグナリング粒度指示の範囲を形成する。代替的に、ランダムアクセスポイント・シグナリング粒度指示は、データストリーム内でアクセスユニットごとに伝達することができ、１つ以上のピクチャのセットは、１つのピクチャのみを含むランダムアクセスポイント・シグナリング粒度指示の範囲を形成する。
【0014】
ランダムアクセスポイント・シグナリング粒度指示を解析できないビデオデコーダは、サブピクチャ関連情報が、任意のピクチャについて、このピクチャの異なるサブピクチャに対して異なる状態である場合に、データストリームを不適合データストリームとして識別してもよい。ランダムアクセスシグナリング粒度指示を解析および復号できる他のビデオデコーダは、この指示に応じて復号動作を適応させることができる。すなわち、ランダムアクセスポイント・シグナリング粒度指示が第１の粒度を呈し、かつランダムアクセスポイント・シグナリング粒度指示の範囲を形成する１つ以上のピクチャのセットの任意のピクチャについて、サブピクチャ関連情報が、このピクチャの異なるサブピクチャについて異なる状態である場合、データストリームを不適合データストリームとして識別しうる。
【0015】
追加的または代替的に、ビデオデコーダのより多くの機能は、ランダムアクセスポイント・シグナリング粒度指示が第２の粒度、すなわちサブピクチャ粒度を呈する場合に活性化されることができ、これらの機能は、一方ではサブピクチャ関連情報と、他方ではランダムアクセスポイント・シグナリング粒度指示との併用を使用することに関係なく、より効果的なビデオコーデックを達成するために同様に有利に使用され得るので、これについては本願のさらなる態様に関して後述する。すなわち、以下の態様によるデコーダは、サブピクチャ粒度レジームでのみ動作でき、このレジームの使用をシグナリングする必要はない。
【0016】
本願の第２の態様によれば、サブピクチャごとの符号化に関して、例えば、合成されたビデオを表現するための使用に関して、ビデオコーデックをより柔軟にすることが目的である。そのピクチャは、サブピクチャに分割される。この目的は、ビデオデコーダを、各サブピクチャについてデータストリーム内で伝達されるサブピクチャ関連情報の評価に応じてレンダリングすることによって達成される。特に、第２の態様によれば、符号化されたそのようなビデオを有するデータストリームは、各ピクチャのサブピクチャごとに、サブピクチャ関連情報を含み、このサブピクチャ関連情報は、第１の状態のとき、それぞれのサブピクチャをランダムアクセスポイント方式で符号化されているとして識別し、第２の状態のとき、それぞれのサブピクチャをランダムアクセスポイント方式で符号化されていないものとして識別する。ビデオデコーダは、そのサブピクチャのサブピクチャ関連情報に関してピクチャを検査する。サブピクチャ関連情報が、任意のピクチャについて、所定のピクチャのすべてのサブピクチャについて第１の状態である場合、すなわち、そのすべてのサブピクチャがランダムアクセスポイントを表す場合、ビデオデコーダは、その復号済みピクチャバッファをフラッシュする。そのような概念は、第１の態様と同様に、１つのピクチャ内のサブピクチャがサブピクチャ関連情報において一致することが義務付けられていた、すなわち、１つのピクチャのすべてのサブピクチャは同じ状態でなければならない、異なるビデオコーデックドメインのために実際に生成されたサブストリームからデータストリームを合成することを可能にする。しかしながら、そのようなデータストリームを合成する場合には、データストリームを合成するために使用される様々なサブピクチャのサブピクチャ関連情報の状態は、単にそこから採用されるか、またはそこから引き継がれてもよい。さらに、ビデオデコーダは、サブピクチャ関連情報がそれぞれのピクチャのすべてのサブピクチャについて第１の状態をとるピクチャを識別することによって、ピクチャ全体をアーチファクトなしで回復できるという点で、真のランダムアクセスポイントを識別することができる。第１の態様と組み合わせた場合、ビデオデコーダは、ランダムアクセスポイントピクチャを識別するこの機能を適用することができ、その場合、ランダムアクセスポイント・シグナリング粒度指示が第２の粒度、すなわちサブピクチャ粒度を呈するとき、そのようなピクチャのサブピクチャ関連情報がそれぞれのピクチャのすべてのサブピクチャについて第１の状態をとることを確認することに応答して、復号済みピクチャバッファがフラッシュされてもよい。第１の態様と組み合わせた場合、そのようなビデオデコーダは、復号済みピクチャバッファをフラッシュする際のスケジュールを変更することさえできる。すなわち、ランダムアクセスポイント・シグナリング粒度指示が第１の粒度、すなわちピクチャごとの粒度を呈するとき、他のサブピクチャに関連するサブピクチャ関連情報はいずれにせよ同じ状態、つまり第１の状態を呈する必要があるので、ビデオデコーダは、サブピクチャ間の復号化／符号化順序に従って、特定のピクチャの第１のサブピクチャについて第１の状態を呈するサブピクチャ関連情報に応答して、復号済みピクチャバッファをフラッシュすることができる。代わりに、特定のピクチャについて、ランダムアクセスポイント・シグナリング粒度指示が第２の粒度、すなわちサブピクチャ粒度を呈するとき、所定のピクチャのすべてのサブピクチャについてサブピクチャ関連情報が第１の状態であることに応答する復号済みピクチャバッファのフラッシュは、そのピクチャの最後のサブピクチャを復号する際に実行されるようにスケジュールされ得る。
【0017】
本出願の第３および第４の態様は、デコーダ側の復号済みピクチャバッファ管理に関する。本出願のこれらの態様は、第１および第２の態様のいずれかと組み合わせることができ、態様１および態様２に関して上で概説したのと同様の目的を有する。すなわち、本出願の第３および第４の態様は、合成データストリームをサブピクチャ関連のサブストリームから合成できるようにするビデオコーデックを提供することを目的とし、これにより、合成器／統合器は、合成データストリームに寄与するさまざまなサブストリーム内でシグナリングされるＤＰＢ内に残るべき参照ピクチャのセットを記述する参照ピクチャバッファ記述を調和または統一する必要がなくなる。それにより、合成データストリームは、各ピクチャの開始時に、現在のピクチャについて、どのピクチャが参照ピクチャのセットを形成するかについて即座にシグナリングすることができ、その結果、デコーダが、この現在のピクチャの開始時に、復号済みピクチャバッファから他のすべてのピクチャを削除してもよい。むしろ、第３および第４の態様によれば、ビデオコーデックは、データストリームが参照ピクチャバッファ記述をシグナリングすることを可能にし、その参照ピクチャバッファ記述は、現在符号化／復号化されるピクチャの各サブピクチャについて、個別に、現在のピクチャを復号しまたはそれぞれの次のピクチャで復号するために必要な、参照ピクチャのセットに関する情報を提供するものであり、参照ピクチャバッファ記述は、現在のピクチャのサブピクチャ間で異なっていてもよい。そのような参照ピクチャバッファ記述は、現在のピクチャの現在のサブピクチャについて、現在のサブピクチャのため、または例えば、1つのサブビデオに関係しているゆえにその起源を介して現在の参照ピクチャに関連付けられている次のピクチャのサブピクチャのため、の参照として機能するサブピクチャを含むピクチャを記述している。別個のサブビデオとして符号化されている場合、サブピクチャのバッファ記述は、同じサブビデオのサブピクチャであり、それらサブピクチャがそのサブビデオの現在のサブピクチャまたは後続のサブピクチャの参照として機能するため、ＤＰＢ内で維持されるべきサブピクチャを含む参照ピクチャを実際に示している。本出願の第３の態様によれば、デコーダは、サブピクチャの参照ピクチャバッファ記述に従って、この現在のピクチャのサブピクチャのために、復号済みピクチャバッファ内に残るべき参照ピクチャのセットの和集合(union)を形成する機能を有することにより、復号済みピクチャバッファ内に残るべきそれらピクチャをマークし、その一方で、他のピクチャは現在のピクチャの復号の終了時などに復号済みピクチャバッファから削除される。本出願の第４の態様によれば、デコーダは、完全なピクチャではなく、サブピクチャの単位で、復号されたピクチャを空にする操作を実行することができる。サブピクチャのマーキングと削除は、サブピクチャごとに個別に実行される。言い換えれば、第４の態様によれば、復号済みピクチャバッファは、現在復号されるピクチャのサブピクチャごとに１つのサブピクチャ復号済みピクチャバッファの単位で管理され、それぞれのサブピクチャの復号済みピクチャバッファに残るべきサブピクチャのマーキングと、他のピクチャを復号済みピクチャバッファから削除すべきとする動作とは、現在復号されているピクチャのそれぞれのサブピクチャについて、データストリームの中で送信された参照ピクチャバッファ記述に基づいて実行される。すでに上述した通り、後者の第３および第４の態様は、例えば第１の態様と組み合わせることができ、その結果、デコーダは、例えばランダムアクセスポイント・シグナリング粒度指示が第2粒度を呈する場合に、第３および第４の態様に関して上述した機能を有することができ、その一方で、ランダムアクセスポイント・シグナリング粒度指示が第1粒度、すなわちピクチャ粒度を呈する場合、復号済みピクチャバッファをピクチャ単位で管理し／空にし、この場合、デコーダは、現在復号されているピクチャに対して最初に遭遇した参照ピクチャバッファ記述に基づいて、すなわち現在のピクチャに対して最初にシグナリングされた参照ピクチャバッファ記述に基づいて、復号済みピクチャバッファを空にし、マーキングを実行するよう構成することができる。
【0018】
本出願の第５の態様は、ＰＯＣ処理に関する。第３および第４の態様と同様に、第５の態様は、異なるランダムアクセスポイント期間、ピクチャのグループ、または異なるフレームレートなどを使用して別々に符号化されたサブストリームからデータストリームを構成できるようにする、ビデオコーデックを提供することを目的とし、それによって合成データストリームに寄与すべき時間的に整列されたサブピクチャをもたらし、それらは、実際には異なるＰＯＣ値を持つ様々なサブストリームの中でシグナリングされる。本出願の第５の態様は、第１～第４の態様のいずれかと組み合わせることができ、異なるサブピクチャに関連付けられ、異なる起源を持つサブストリームのＰＯＣ値を同調（harmonize）させる必要から合成器／統合器を解放することによって、そのような合成／統合（composition/merging）手順を軽減することを目的とする。むしろ、このビデオコーデックにより、データストリームは、データストリームの同じピクチャに実際に属するサブピクチャについて異なるＰＯＣ値をシグナリングできるようになり、デコーダは、現在復号されているピクチャのサブピクチャごとに、そのサブピクチャの復号されたＰＯＣ値に基づくそれぞれのサブピクチャの最終的なＰＯＣ値と、それぞれのサブピクチャに関連付けられ、かつそのビデオの各ピクチャについてそれらサブピクチャの最終的なＰＯＣ値が互いに等しくなるように、デコーダによって更新され続ける１つ以上のサブピクチャ間ＰＯＣ補償パラメータ(inter-sub-picture POC compensation parameter)と、を導出するように構成される。１つ以上のサブピクチャ間ＰＯＣ補償パラメータは、寄与しているサブストリーム間のフレームレート差、ピクチャのグループの異なるサイズ、異なるＰＯＣ最小数などを補償してもよい。１つ以上のサブピクチャ間ＰＯＣ補償パラメータは、ＰＯＣオフセット値およびＰＯＣステップサイズ差を含み得る。ランダムアクセスポイント・サブピクチャでのＰＯＣオフセット値などの一部のパラメータは、それらのシグナリングされたＰＯＣ値とランダムアクセスポイントを形成しない同じピクチャの他の少なくとも1つのサブピクチャの最終ＰＯＣ値との差に基づいて、デコーダ自体によって決定されてもよい。一方、ＰＯＣステップサイズ差に関するヒントは、デコーダをガイドし、これらのＰＯＣステップサイズ差の決定を軽減するために、データストリームの中で伝達されてもよい。これらのヒントは、寄与するサブストリーム内の高レベルのパラメータに基づいてこの知識にアクセスできる合成器／統合器によって、データストリームに挿入されてもよい。
【0019】
本出願の第６の態様は、段階的復号リフレッシュを実装するビデオコーデックのアイデアに関し、その実装方法は、デコーダが段階的復号リフレッシュについて、段階的復号リフレッシュがここから先に完了するという時点またはピクチャの観点から認識しているだけでなく、段階的復号リフレッシュの最中にデータストリーム内で伝達される符号化パラメータに基づいて予測導出を実行する際の特定の制約を満たすという観点からも、認識している方法である。特に、本出願の第６の態様によれば、ビデオデコーダは、ビデオの参照ピクチャのそれぞれについて、リフレッシュピクチャ領域と非リフレッシュピクチャ領域への参照ピクチャのサブ分割をログ（記録）するように構成される。デコーダは、データストリームから、現在復号されているピクチャ内のリフレッシュ更新領域に関する情報を復号し、インター予測を使用してデータストリームからリフレッシュ更新領域を復号する。さらに、デコーダは、現在復号されているピクチャの第１の領域であって、リフレッシュ更新領域とは重ならず、参照ピクチャの非リフレッシュピクチャ領域から独立して符号化／復号化されるべき領域を決定し、第１の領域についてのデータストリーム内の信号である符号化パラメータに基づいて、参照ピクチャから第１の領域の予測を導出することによって、データストリームから第１の領域を復号する。その際に、予測が参照ピクチャの非リフレッシュピクチャ領域から独立するように、参照ピクチャのリフレッシュピクチャ領域の位置に依存する方法で、予測が導出される。例えば、動きベクトルは、非リフレッシュピクチャ領域に到達するようにクリップされてもよく、および／またはパディングは、リフレッシュピクチャ領域を超えて非リフレッシュピクチャ領域にまで届く、参照ピクチャ内の動き補償予測ブロックの部分を埋めるために使用され得る。代替的に、動きベクトル候補リストの構築は、リフレッシュピクチャ領域の外側から生じる動きベクトルを除外することができる。第２の領域は、デコーダによって異なる方法で処理されてもよい。第２の領域は、第１の領域およびリフレッシュ更新領域と分離され、リフレッシュピクチャ領域および非リフレッシュピクチャ領域からの予測を含んでデコーダによって復号されてもよい。この方法により、リフレッシュピクチャ領域はピクチャからピクチャへと継続的に成長する。デコーダは、リフレッシュピクチャ領域の成長を追跡する必要があり、それに応じて第１の領域に関して予測導出を実行する必要があるので、デコーダはその成長を認識している。デコーダに段階的復号リフレッシュを認識させることには、いくつかの利点がある。すなわち、デコーダは、現在のリフレッシュ状況、考えられるランダムアクセス期間などを認識する。予測導出に関連する努力と、この導出を参照ピクチャのリフレッシュされたピクチャ領域の位置に依存させる必要性とには、デコーダが、例えば、ピクチャの外側境界または独立して符号化されたピクチャタイルの外側境界で同様の手段を実装する必要があるかもしれないので、ほとんどコストがかからない。他方、デコーダが符号化パラメータのいくつかのシグナリング可能な状態を、参照ピクチャの非リフレッシュピクチャ領域への依存をもたらし得る予測から、リフレッシュされたピクチャ領域にのみ依存する予測へとリダイレクトするので、エンコーダは符号化パラメータをより広範囲の値で符号化することができる。しかしながら、符号化パラメータのシグナリング可能な状態を拡大することは、これらの符号化パラメータの符号化に関して、より高い圧縮効率につながる可能性がある。
【0020】
本出願の有利な態様は、従属請求項の要旨である。本出願の好ましい実施形態は、添付の図に関して以下に説明される。
【図面の簡単な説明】
【0021】
【図1】いくつかの入力サブストリームに基づいてデータストリームを合成するための、またはサブストリームを合成データストリームに統合するための状況を示す概略図であり、そこでは、デコーダがその合成データストリームを復号し、サブストリームを形成するための対応するエンコーダおよび合成器／統合器自身が示されており、図２～図８に関して示す実施形態は、合成器／統合器および／またはデコーダによって適用され得る好ましい機能と概念を説明するために使用される。
【図2】サブピクチャ粒度またはピクチャ粒度がランダムアクセスポイント・シグナライゼーションに使用されるかどうかの指示を可能にする、ビデオコーデックの概念を示す概略図である。
【図3】復号済みピクチャバッファをフラッシュするためのデコーダが持ち得る機能を示す概略フロー図を示す。
【図4】復号済みピクチャバッファを空にする操作を実行する際のデコーダの好ましい機能を説明するための概略フロー図を示す。
【図5】復号済みピクチャバッファにサブピクチャのユニットを空にする操作を実行するように構成されたデコーダを示す概略図である。
【図6】合成ビデオデータストリームのピクチャ内への連続するサブビデオに属するサブピクチャのサブピクチャ再配置に対処するための可能な手段を示す概略図である。
【図7】ビデオの異なるサブピクチャのための異なるＰＯＣドメインを処理するためのビデオデコーダの好ましい手段を示す概略図である。
【図9】効率的な段階的復号リフレッシュを可能にするエンコーダおよびデコーダの実施形態を示す概略図である。
【図10】ビデオデータストリームがパノラマシーンの異なるＭＣＴＳに関連するサブストリームから構成される、３６０°ストリーミングの例を示す概略図である。
【図11】段階的復号リフレッシュを示す概略図である。
【発明を実施するための形態】
【0022】
図１に関し、サブストリームのリザーバからデータストリームを合成する作業を説明する。これは、それに関連する問題、つまり、サブストリームの異なる由来に関連する問題と、例えばランダムアクセスポイントの配置、関連するＰＯＣ値、異なるＧＯＰ構造など少しばかり後述する違いに関連する問題を、説明するものである。次に、これらの問題は、後に説明する実施形態に従って解決される。これら実施形態は、本出願の異なる態様に関連しており、それらは、後段でさらに説明するように、さらなる実施形態をもたらすために相互に組み合わせることができる。しかしながら、図１でなされた前提のいくつかは、後で説明する実施形態には必要でなく、または換言すれば、図１に関して説明および議論された特徴のいくつかは、後段で説明する実施形態については適用されないこともあり、その場合でも、それぞれの実施形態が扱う態様からの利点を達成できる。このような状況についても、以下で説明する。
【0023】
図１は、データストリーム１０が、複数のサブストリーム１２、またはサブストリーム１２のリザーバに基づいて、合成によって生成されるシナリオを示す。この合成または統合のプロセスは、合成器／統合器１４によって行われる。特に、データストリーム１０は、その中に符号化されたピクチャ１８のビデオ１６を有するように生成される。図１の矢印２０は、ビデオ１６のピクチャ１８の間で定義された表示時間順序(presentation time order)、すなわち、デコーダ２２がデータストリーム１０からビデオ１６を復号するときにピクチャ１８がデコーダ２２によって出力される順序を示すものである。図１の破線２６によって示されるように、ピクチャ１８はサブピクチャ２４へと空間的にサブ分割され、したがって、破線２６はサブピクチャ同士の境界を表す。特に、データストリーム１０は、サブピクチャ２４が互いに独立して符号化される方法で、その中に符号化されたビデオ１６を有する。データストリーム１０へのサブピクチャの独立した符号化と、その結果として、互いに独立した方法でデータストリーム１０からサブピクチャ２４を復号する可能性は、少なくとも、１つのピクチャ１８内のサブピクチャに関連し、即ちピクチャ内部的に関連する。例えば、図１において、ピクチャ１８はサブピクチャ２４にサブ分割された状態で示され、各ピクチャ１８は、それぞれ参照番号を有する６つのサブピクチャを含む。したがって、例えばサブピクチャ３は、同じピクチャ１８の他のサブピクチャから独立した方法でデータストリーム１０へと符号化される。したがって、図１にハッチングして示されたサブピクチャ３は、同じピクチャ１８の他のハッチングされたサブピクチャ１、２、４、５および６から独立した方法で、デコーダ２２によってデータストリーム１０から復号され得る。しかしながら、図１に係るデータストリーム１０のさらなる特徴は、ビデオ１６のピクチャ１８が、ピクチャのシーケンスにわたって一定の方法でサブピクチャ２４に空間的にサブ分割されることである。すなわち、それらの境界２６は、異なるピクチャと比較すると空間的に一致する。さらに、同一位置に配置されまたは空間的に整列されたサブピクチャ、即ち図１において同じ参照番号が付されたサブピクチャ２４は１つのサブビデオを形成し、そのサブビデオにおいては、各サブピクチャ２４が、同じピクチャの他のサブピクチャから独立して符号化されるだけでなく、それぞれのサブピクチャに対して空間的にオフセットされている他のピクチャのサブピクチャからも、即ち他のサブビデオに属する全てのサブピクチャまたは図１において他の参照番号が付された全てのサブピクチャからも、独立して符号化されている。例えば、ＨＥＶＣの用語で言えば、図１の各サブピクチャ２４はＭＣＴＳであってもよい。ビデオ１６の異なるピクチャの空間的にオフセットされたサブピクチャからの符号化独立性という後者の特性がない場合には、サブピクチャ２４は、例えばＨＥＶＣの用語を使用すれば、１つ以上のタイルであってもよい。
【0024】
ビデオ１６の空間的に整列されたサブピクチャ２４によって形成された個々のサブビデオは、図１の中で番号２８でも示される。つまり、これらのサブビデオはすべて、サブピクチャ２４のシーケンスで構成される。エンコーダ３０は、これらのサブビデオ２８を、複数のサブストリーム３２またはサブストリーム３２のリザーバへと独立して符号化する。実際、サブビデオ２８は、エンコーダ３０によってグループごとに扱われてもよい。サブビデオ２８の１グループは１つの入力データストリームへと符号化されてもよく、その入力データストリームは、サブビデオ２８のグループが互いに独立して符号化されたビデオを有し、その結果、そのような入力ビデオデータストリームは各サブビデオ２８について１つのサブストリーム３２から構成される。サブストリーム３２は、合成器／統合器１４によって受信され、次に、合成器／統合器１４はサブストリーム３２に基づいてデータストリーム１０を合成する。アプリケーションに応じて、サブビデオ２８のサブセットのみ、またはサブストリーム３２のサブセットのみが、事実上、データストリーム１０に寄与してもよく、このサブセットは、さらに、ビデオ１６のピクチャ１８間で変化または異なっていてもよい。
【0025】
合成器／統合器１４によって行われるような合成／統合作業の目的は、符号化されたドメインで作業を実行することである。すなわち、予測残差の再量子化または動き補償の再実行は、合成器／統合器１４によって回避される。サブビデオ２８の各サブピクチャ２４は、例えば、対応するサブストリーム３２の１つ以上のＮＡＬユニット３４に符号化される。サブピクチャ２４が、合成データストリーム１０のビデオ１６に寄与するべきものに属する場合、合成器／統合器１４は、同じ参照符号、即ち３４を使用して示すように、それぞれの１つ以上のＮＡＬユニットをデータストリーム１０に挿入するが、しかし、合成器／統合器１４は、動きベクトル情報または予測残差データ以外に、これらのＮＡＬユニット内の他の符号化パラメータを適応させる必要性が生じる可能性があることを示すために、アポストロフィを付している。以下に本明細書に記載される実施形態によれば、合成器／統合器１４は、サブストリーム３２に基づいてデータストリーム１０を形成するときに適応されるべき、サブストリーム３２の部分を減らす機会を与えられる。これはまた、合成器／統合器１４がデータストリーム１０内に対応するパラメータセット３６を形成することを目的とする場合、サブストリーム３２またはそのサブストリームが含まれる入力ビデオデータストリームのパラメータセットにも関連する。
【0026】
図１の状況は、さらに図１０を参照することによって説明することができる。図１０は、サブビデオ２８のリザーバが３６０°ビデオのサブセクションを形成する場合を示している。図１０の例では、場面全体が２４のサブビデオに分割されていた。図１０の例では、多くのサブビデオが提供されていた。つまり、２４のサブビデオがこの場面を高解像度で表示し、エンコーダ３０によって、ある時は大きなＲＡＰ距離を用いてより効率的に、また別の時には、例えば入力ビデオデータストリーム３８ｂのように小さいＲＡＰ距離を使用して低い圧縮効率をもたらしつつ、２つの入力ビデオデータストリーム３８ａおよび３８ｂに符号化された。同様に、さらに２つの入力ビデオデータストリームが提供され、それぞれが２４個のサブビデオが符号化された完全な場面を有し、この場合も、一方３８ｃは大きいＲＡＰ距離を持ち、他方３８ｄは小さいＲＡＰ距離を持つ。合成されたビデオデータストリームのピクチャ１６は、完全な場面を示すものとして示された。特に、各ピクチャ１６は、データストリーム３８ａおよび３８ｂに符号化されたサブビデオの１２個の相互に時間的に整列されたサブピクチャと、データストリーム３８ｃおよび３８ｄから取得された、相互に時間的に整列され、高解像度サブピクチャに時間的に整列された１２個のサブピクチャとから構成されている。つまり、図１０の例では、ビューポートは１２個のサブピクチャ幅またはタイル幅であると想定されていた。図１０の中央において、ハッチングは、合成データストリームのピクチャ１６内のサブピクチャ２４の選択を示しており、これらは、合成されたビデオのピクチャ１６に対して高解像度および低解像度で寄与する。異なるＲＡＰ距離バージョンに関して別の選択が行われる。各高解像度サブピクチャ２４および各低解像度サブピクチャ２４について、特定のピクチャ時点に関し、データストリーム３８ａおよび３８ｃにはそれぞれ、大きいＲＡＰ距離を使用して効率的に符号化された１つ以上のＮＡＬユニットがあり、また、別のデータストリーム３８ｂと３８ｄにはそれぞれ、小さいＲＡＰ距離を使用して符号化されたＮＡＬユニットがある。好ましくは、合成データストリーム１０は、効率的に符号化されたデータストリーム３８ａおよび３８ｃのＮＡＬユニットを使用して構成されている。全てのデータストリーム３８ａ～３８ｄは、各データストリーム３８ａ～３８ｄ内の同期ランダムアクセスポイントを個別に使用して、その中に符号化されたサブストリーム３８を有し得る。すなわち、データストリーム３８ａ～３８ｄのそれぞれに符号化されたビデオのピクチャは、それぞれ２４個のサブピクチャ２４に分割され、それら各ピクチャについて、全部または皆無のサブピクチャが、ランダムアクセスポイント方式で、それぞれの入力ビデオデータストリーム３８ａ～３８ｄへと符号化される。
【0027】
ビューポートが変化するたびに問題が発生する。すなわち、データストリーム１０の合成／統合に寄与する寄与サブストリームの選択が変化する。図１０の例では、９６個のサブストリームが利用可能であるが、特定のピクチャに関して、合成データストリーム１０に寄与するのは２４個だけである。例えば、ビューポートが２つのサブピクチャまたはタイル２４分だけ変化すると仮定する。したがって、ピクチャ１６のサブピクチャ２４のうちの４つは、それらの起源となるサブストリームを変化させる。即ち、高解像度データストリーム３８ａに由来するこれらの４つのうちの２つは、この場合、低解像度データストリーム３８ｃおよび３８ｄのうちの１つから取得され、低解像度データストリーム３８ｃに起源を持つ他の２つのサブピクチャ２４は、この場合、低解像度データストリーム３８ｄから取得される。特に、次のランダムアクセスポイントに遭遇する時間を短縮するために、低いＲＡＰ距離バージョンのデータストリーム３８ｂおよび３８ｄが、それぞれ、これらの４つのサブピクチャ２４のために予備的に使用される。前記４つのサブピクチャはピクチャ１６内でそれらの位置を変える。しかしながら、他のすべてのサブピクチャ２４は、それぞれ、データストリーム３８ａおよび３８ｃのそれぞれのより効率的なバージョンでダウンロードされたままである。それらはランダムアクセスポイントを必要としない。変形例として、合成器／統合器１４は、高解像度から低解像度に変化するそれらサブピクチャ２４のために、より効率的に符号化された入力ビデオデータストリーム３８ｃの対応するＮＡＬユニットを、高解像度から低解像度へのダウンサンプリングを使用して、データストリーム１０内に挿入し得ること、それにより低解像度の対応する非ＲＡＰサブピクチャの参照ピクチャを導出し得ること、に留意されたい。
【0028】
すなわち、図１と図１０を組み合わせて説明したこのシナリオの例では、３６０°ストリーミングに関連する以下の問題が提示されている。特に、ユーザーがサービスに参加するとき、つまりサービスにチューンインするとき、つまりパノラマビデオを見ようとするときは、ランダムアクセスポイントのピクチャが必要となる。すなわち、後述する実施形態がなければ、集められたデータストリーム１０は、開始ピクチャ内の各サブピクチャがランダムアクセスポイント方式で符号化されることを必要とするであろう。つまり、そのピクチャのすべてのＮＡＬユニットは、ランダムアクセスポイント方式で符号化される必要があるであろう。ＨＥＶＣ言語を用いて言えば、例えば、それらはＮＡＬユニットタイプＩＤＲ、ＣＲＡ、またはＢＬＡである必要があるであろう。すなわち、後段でさらに説明する実施形態がなければ、デコーダは、復号を開始するためにＲＡＰピクチャに遭遇することを余儀なくされるであろう。しかしながら、図１０に関して上述したように、ユーザーがビューポートを切り替えたとき、データストリーム１０に寄与しまたはデータストリーム１０にマージされるビットストリーム３２のサブセットに対して、新たに追加されるのは一部のサブビットストリーム３２のみであるため、すべてのサブビットストリーム３２に対し、すなわち、寄与ビットストリームのサブセット内に残っているものに対してさえ、開始ピクチャ内にそのサブピクチャ２４をランダムアクセスポイント方式で符号化された状態で有するよう求めることは、非常に非効率となるであろう。むしろ、図１０に関して概説したように、一部のサブピクチャ・ビットストリーム３２だけが効果的にＲＡＰを持ち、他のビットストリームが持たなかった場合が好ましいであろう。ただし、これは次のことを意味する。すなわち、データストリーム１０内のＮＡＬユニット３４’で示されるＮＡＬユニットタイプは、基礎となるＮＡＬユニット３４の設定と比較して変更される必要があるであろう。特に、ＩＤＲ、ＣＲＡ、またはＢＬＡに設定された、開始ピクチャのサブピクチャ２４のＮＡＬユニット３４のＮＡＬタイプは、対応するバージョン３４’およびデータストリーム１０の同じＮＡＬユニットタイプと関連していなくてもよい。なぜなら、データストリームの要件として、サブピクチャ・ビットストリームの１つがこれらＮＡＬユニットタイプの１つを有する場合、他のすべても同じＮＡＬユニットタイプを有することが必要となるからである。特に、これまでに定義されたデコーダは、データストリーム１０の特定のアクセスユニットに対して、つまりビデオ１６の特定のピクチャ１８に対して、ＩＤＲまたはＣＲＡ（以前はＥＯＳＮＡＬＵを持つ）ＮＡＬユニットを見つけると、復号プロセスを再開し、そのデコーダピクチャバッファ（ＤＰＢ）を、そこにあるどのピクチャも参照に使用できない、または使用されていないがゆえに、フラッシュするであろう。これは、例えば、前述のシナリオが、現在のバージョンのデータストリーム１０のためにＨＥＶＣを使用することによって実現される場合、サブビットストリーム３２を一緒にマージする際に、ビデオ１６のあるピクチャ１８について、すべての寄与サブビットストリーム３２がランダムアクセスポイント符号化に対応するＮＡＬユニットタイプを含んでいる訳でなく、そのごく一部が含んでいたような場合に、対策を講じる必要があることを意味する。その場合、むしろ、そのようなピクチャ１８内のＲＡＰＮＡＬユニットは、非ＲＡＰ ＮＡＬユニットに書き換えられなければならず、そのプロセスは、スライス、タイル、および／またはタイルグループヘッダーなどの他のヘッダーの変更も必要とするであろう。なぜなら、それらのコンテンツは、問題のＮＡＬユニットがＲＡＰであるか否かに依存するためである。
【0029】
したがって、図２に関して次に説明する実施形態は、これまでの技術を超えて、サブピクチャＲＡＰのシグナリングを改善するよう試みる。例えば、サブピクチャが符号化されているＮＡＬタイプが各ピクチャ内で一定になるように、ＮＡＬユニットタイプをデータストリームのＮＡＬユニットに割り当てるという、上述した制約から脱却する提案がすでに存在する。例えば、特許文献１は、例えばＮＡＬＵヘッダーの中で、ＮＡＬユニットベースのシグナリングを使用することをすでに提案しており、より具体的には、サブピクチャ・ランダムアクセスポイントタイプを示す専用ＮＡＬＵタイプ、または、ＨＥＶＣ準拠のデータストリームを取得するために必要なすべてのパラメータを代替する代替情報を含む回復ポイントＳＥＩメッセージである。しかしながら、当該文献で提案された方法で上記の課題を解決するには、依然として合成器／統合器１４が「ストリーム変換（stream translations）」という面倒な作業を実行する必要がある。そこで、以下に概説する実施形態は、この問題を克服し、合成器／統合器１４が追加のＲＡＰタイプのシグナリングオーバーヘッドを費やす必要性を回避しようとするものである。
【0030】
図２は、本出願の第１の態様に関する本出願の一実施形態によるビデオコーデックの概念を示す。図２は、上述した課題に対応する新たなビデオコーデックに適合し得る、対応するデータストリーム１０およびビデオデコーダ２２の実施形態を示す。図１のデータストリーム１０は、図２に関して以下で記載する説明にも対応し得、結果的に、上述した問題に少なくとも部分的に対処できることから、図１の参照記号１０を再利用する。
【0031】
すなわち、図２のビデオデコーダ２２は、符号化されたピクチャのビデオを有するデータストリーム１０を受信する。データストリーム１０は、ビデオピクチャが空間的にサブ分割されているサブピクチャが互いに独立して符号化される方法で、その中に符号化されたビデオを有する。各サブピクチャは、データストリーム１０のそれぞれの１つ以上のＮＡＬユニット３４’に符号化される。すなわち、ＮＡＬユニット３４’は、とりわけ、動き情報および予測残差情報を伝達する。図１に関して上述した説明以外に、サブピクチャ符号化の独立性は、データストリーム１０に符号化されたビデオの１つのピクチャ１８内のサブピクチャにのみ関係してもよい。したがって、図２は、例示的に１つのピクチャ１８、そのサブピクチャ２４へのサブ分割、およびサブピクチャ２４がデータストリーム１０内で符号化される対応するＮＡＬユニット３４’を示す。当然ながら、この符号化はまた、図１に関して上述したように、別個に符号化されたサブビデオを生成するためにも行われ得る。
【0032】
デコーダ２２は、データストリーム１０から、各ピクチャ１８の各サブピクチャ２４のために、サブピクチャ関連情報４０を復号する。特定のサブピクチャ２４のサブピクチャ関連情報は、例えば、それぞれのサブピクチャ２４が符号化されている１つ以上のＮＡＬユニット３４’のＮＡＬユニットタイプを示すシンタックス要素であってもよい。第１の状態を呈する場合、サブピクチャ関連情報４０は、そのサブピクチャ２４が、ランダムアクセスポイント方式でその１つ以上のＮＡＬユニット３４’に符号化されていると識別する。つまり、それはサブピクチャのランダムアクセスを形成する。すなわち、そのサブピクチャは、他のサブブロックを参照することなく、自己完結型の方法でその１つ以上のＮＡＬユニット３４’に符号化されているであろう。第２の状態を呈する場合、サブピクチャ関連情報は、そのサブピクチャ２４が、ランダムアクセスポイント方式で符号化されていないと識別するであろう。すなわち、そのようなサブピクチャ関連情報４０を有するＮＡＬユニット３４’は、他のサブブロックへの符号化依存性を使用して、その中に符号化された関連するサブブロック２４を有し得る。特に、サブピクチャ関連情報４０は、各サブピクチャ２４のための整数値シンタックス要素を含んでもよく、そのシンタックス要素は、複数のＮＡＬユニットタイプから、第１の状態すなわちサブピクチャＲＡＰ状態に対応する１つ以上のＮＡＬユニットタイプの第１のサブセットを区別し、また、第２の状態すなわち非ＲＡＰ状態に対応する１つ以上のＮＡＬユニットタイプの第２のサブセットを区別する。
【0033】
しかしながら、図２のデコーダ２２は、１つ以上のピクチャのセット４２に関して、データストリーム１０からランダムアクセスポイント・シグナリング粒度指示４４を読み取るようにさらに構成される。その指示は、複数のピクチャに関連するある種の高レベルのシグナリングとしてデータストリーム１０内で伝達され得る。すなわち、その場合、１つ以上のピクチャ１８のセット４２は、ＧＯＰなどのピクチャのシーケンス、またはビデオ１６全体さえも含むであろう。指示４４は、例えば、データストリーム１０のシーケンスパラメータセットまたはビデオパラメータセットに含まれていてもよい。一方、指示４４は、１つのアクセスユニット、すなわち、ビデオ１６の１つのピクチャ１８のみに関連してもよい。換言すれば、セット４２は１つのピクチャを含んでいてもよい。そのようなアクセスユニットごとのシグナリングは、データストリーム１０のＰＰＳ即ちピクチャパラメータセット、またはアクセスユニット・デリミッタ（access unit delimiter）などに含まれ得る。この指示４４は、少なくとも２つの信号伝達可能な状態／粒度を有するであろう。第１の粒度を呈するまたはシグナリングするとき、指示４４は、１つ以上のピクチャのセット４２の各ピクチャ１８について、サブピクチャ関連情報４０がそれぞれのピクチャ１８のすべてのサブピクチャ２４について共通の状態を呈することを示すであろう。換言すれば、サブピクチャ関連情報４０は、セット４２内の１つのピクチャ１８内のすべてのサブピクチャ２４について等しい１つの状態を呈するであろう。この同一性は、ＮＡＬユニットタイプのレベルを考慮する場合にも当てはまり得る。すなわち、１つのピクチャ１８のサブピクチャ２４に属するＮＡＬユニット３４'のＮＡＬユニットタイプは、第１の粒度すなわちピクチャ粒度をシグナリングする指示４４の場合、同一、すなわち、互いに等しいことが求められてもよい。
【0034】
しかしながら、指示４４がサブピクチャ粒度と呼ばれ得る第２の粒度を示す場合、これは、セット４２の各ピクチャ１８について、サブピクチャ関連情報４０が、それぞれのピクチャ１８のサブピクチャ２４について異なる状態をとり得ることを示す。
【0035】
すなわち、図２のデコーダは、データストリームから指示４４を復号し、それに基づいて、データストリーム１０は、サブピクチャ関連情報４０が各ピクチャ１８内で同じであることを求められるタイプであるか、またはデータストリーム１０がそのような制限が当てはまらないタイプであるかどうかを決定することができる。デコーダ２２は、以下でより詳細に説明する１つ以上の復号作業に関して、指示４４に応じて異なるよう動作することができる。
【0036】
しかしながら、いずれの場合でも、前述の合成器／統合器１４は、以下の方法で、指示４４をサブピクチャ粒度に設定する可能性を利用することができる。合成器／統合器１４は、データストリーム１０のアクセスユニットを、符号化されたサブストリーム３２のリザーバのＮＡＬユニット３４をまとめることによって合成してもよく、それらは、図２の４６のようなアクセスユニットが参照する現在のピクチャの時間的に整列されたサブピクチャ２４に関連しており、またその際に、このアクセスユニット４６内のデータストリーム１０のＮＡＬユニット３４'が、サブピクチャ関連情報４０において、まとめられたＮＡＬユニットと一致するように、ＮＡＬユニットのＮＡＬユニットタイプを引き継ぐか、採用するか、または修正無しで維持してもよい。
【0037】
以下では、指示４４がサブピクチャ粒度を示す場合について、図２のデコーダ２２の機能を解説するいくつかの実施形態を説明する。しかしながら、これらすべての実施形態およびその説明は、データストリーム１０から指示４４を読み取りまたは復号するように構成されていないデコーダにも適用できることを理解すべきである。換言すれば、後述する実施形態は、指示４４がデータストリーム内に存在し、デコーダ２２がデータストリーム１０から指示を読み取るように構成されている場合に限定されない。むしろ、本出願のさらなる態様の後述する実施形態は、サブピクチャのランダムアクセスポイント符号化または非ランダムアクセスポイント符号化などの特定の設定が１つのピクチャ内で変化するという事実に対処することができるデコーダの記述としても、同時に解釈されるべきである。しかしながら、これらデコーダは、指示４４に応じて異なる動作をする図２のデコーダ２２に関して真実であるように、いかなる特定の代替機能を持たなくてもよい。
【0038】
これまでに説明したことについて簡単に要約すると、図２が示す概念は、符号化されたビデオシーケンスの連結であるＣＶＳのために、符号化されたビデオシーケンスレベルまたはビットストリームレベルでのシグナリングなどの高レベルシグナリングのような、データストリーム１０内における追加的な指示４４が、ＮＡＬユニットタイプシグナリングなどのＮＡＬユニットレベルシグナリングを、サブピクチャ・ランダムアクセス指示として再解釈可能とすることである。例えば、指示４４は、sub_picture_random_access_process_enabled_flagと称され得るフラグの形態で信号伝達されることができる。例えば、このフラグがゼロに等しい場合、ランダムアクセス機能を示すＮＡＬユニットタイプは、デコーダ２２によって、全ピクチャレベルのランダムアクセスとして解釈されるであろう。他方、フラグの値が１に等しい場合、それぞれのＮＡＬユニットタイプはサブピクチャ・ランダムアクセスポイントとして解釈されるであろう。
【0039】
代替的に、指示４４は、アクセスユニットごとのシグナリングとして実施することができる。例えば、アクセスユニット・デリミッタＮＡＬユニットは、そのアクセスユニット・デリミッタＮＡＬユニットから開始するアクセスユニット内で、どのタイプのランダムアクセスが許可されるのかを示すために使用され得る。以下の状態のいずれかを示すシンタックス要素を、そのようなアクセスユニット・デリミッタＮＡＬユニットに追加することができる。すなわち、（１）デリミッタが属するアクセスユニットのピクチャの全てのサブピクチャ２４が１つのランダムアクセスピクチャ（ＩＲＡＰ）を含む状態、（２）幾つかのサブピクチャ２４が１つのランダムアクセスピクチャ（ＩＲＡＰ）を含んでもよい状態、（３）サブピクチャ２４のいずれもランダムアクセスピクチャ（ＩＲＡＰ）を含まない状態。
【0040】
指示４４を使用して、デコーダは、指示４４の範囲、すなわち指示４４が関係する範囲を画定するセット４２のピクチャ１８にどの種類のランダムアクセス機能を適用できるか、および以下の実施形態に関して説明する以下のプロセスのうちの１つがデコーダ２２によって実行されるべきかどうか、を容易に識別することができる。
【0041】
指示４４がサブピクチャ粒度を示す場合にデコーダ２２が何をするかについての説明を再開する前に、指示４４がピクチャ粒度を示し、かつ指示４４が属するセット４２の任意のピクチャ１８に関し、サブピクチャ関連情報４０がそのピクチャの異なるサブピクチャ２４について異なる状態を呈する場合、図２のデコーダ２２は、データストリーム１０を不適合データストリームとして、即ちビデオコーデックに準拠していないものとして識別するように構成されてもよいことに留意すべきである。
【0042】
図３は、復号済みピクチャバッファをフラッシュすることに関するデコーダ２２の挙動の実施形態を示し、そのバッファとは、参照ピクチャがその中にバッファリングされるバッファであり、参照ピクチャとは、未だ復号されていないピクチャがそれに基づいて予測され得るピクチャである。図３の実線はサブピクチャ粒度の場合のデコーダ２２の機能を示し、破線はピクチャ粒度の場合の対応する機能を示している。この場合も、図３は、次の両方の場合の説明として扱われるべきであることに留意されたい。つまり、指示４４を復号し、かつ図３に示すいずれかのモードに従って動作可能な、図２に関して説明したデコーダについて上述した機能の拡張、又は、データストリーム１０が指示４４を含まず、デコーダ２２が必然的にサブピクチャ粒度モードに従って動作する場合の代替デコーダ２２の説明である。
【0043】
図３に示すように、図３の実施形態に係るデコーダ２２は、特定のアクセスユニットまたは特定のピクチャ１８について、ステップ５０で示すように、サブピクチャ関連情報４０がそのピクチャのすべてのサブピクチャ２４についてランダムアクセスポイント状態であるかどうかをチェックするように構成される。その答えが真の場合、それに応じてデコーダは、復号済みピクチャバッファ４８をステップ５２でフラッシュする。この場合も、デコーダ２２は、指示４４がサブピクチャ粒度を示すピクチャ１８に対し、ステップ５０および５２のこの機能を適用することができ、他方、指示４４がピクチャ粒度を示す場合、図３の破線で示される代替アプローチを適用できる。この代替アプローチに従えば、デコーダ２２は、特定のアクセスユニットまたはピクチャ１８について、アクセスユニット内またはそれぞれのピクチャの最初に遭遇したサブピクチャ２４についてのサブピクチャ関連情報４０が、ランダムアクセスポイント符号化であるかどうかをステップ５４でチェックし、その答えが真の場合、それに応じてデコーダは、復号済みピクチャバッファ４８をフラッシュ５６する。復号済みピクチャバッファ４８をフラッシュするためのデコーダ２２の異なる挙動、すなわち指示４４がサブピクチャ粒度を示す場合の挙動を一方とし、指示４４がピクチャ粒度を示す場合の挙動を他方とした場合の異なる挙動によって、結果として、ステップ５２又は５６における復号済みピクチャバッファのフラッシングの異なるスケジューリングをもたらし得る。つまり、デコーダ２２が、符号化済みピクチャバッファからアクセスユニット４６のＮＡＬユニット３４'を回収する時点に関連するスケジューリングのような、デコーダ２２がそのアクセスユニット４６の個々のＮＡＬユニット３４'の復号を開始する時点に関連する異なるスケジューリングである。現在のアクセスユニットのすべてのサブピクチャがランダムアクセスポイントであることが明らかである場合、復号済みピクチャバッファ４８のフラッシング、即ちサブピクチャ粒度ドメインでのフラッシングが、ステップ５２において、復号順序５８で最後のサブピクチャ２４の１つ以上のＮＡＬユニット３４'を復号するときに実行され得る。他方で、ステップ５６の場合、つまりピクチャ粒度ドメインにおける復号済みピクチャバッファ４８のフラッシングは、符号化／復号化順序５８で最初のサブピクチャの２４の１つ以上のＮＡＬユニット３４'を復号するときに、実行され得る。つまり、そのサブピクチャに関してデータストリーム内に存在するサブピクチャ関連情報４０がランダムアクセスポイント符号化を示すことが明らかである場合、現在のピクチャまたはアクセスユニットの符号化／復号化順序５８で２番目のサブピクチャ２４を復号する前でも、フラッシングが実行され得る。ここでも、図３に関してピクチャ粒度モードに関連して説明した機能は、指示４４が存在しない代替的な実施形態によれば、デコーダ２２内に実装されなくてもよい。
【0044】
すなわち、図３は、データストリーム１０内の特定のピクチャのすべてのサブピクチャ２４がサブピクチャ・ランダムアクセスポイントであり、従ってピクチャ全体がランダムアクセスポイントそのものであることが明確である場合にのみ、デコーダ２２の復号済みピクチャバッファ４８をフラッシュし、ランダムアクセスポイント操作を実行するよう、復号プロセスが変更される実施例を説明したものである。従って、デコーダ２２は、現在のアクセスユニットが完全なランダムアクセスポイントであるかどうかを決定するために、このアクセスユニット内の最後のＮＡＬユニット３４’まで復号するように構成されてもよい。
【0045】
図４に関して次に説明するデコーダの実施形態は、個々の参照ピクチャまたはまだ復号されていないピクチャには必要でない復号済みピクチャバッファ４８に格納されたピクチャの、削除に関連するデコーダの機能／動作モードに焦点を合わせている。すなわち、図３は、復号済みピクチャバッファ４８のフラッシング、すなわち、それぞれの復号済みピクチャバッファ内で現在バッファリングされているすべてのピクチャの削除に焦点を合わせている一方で、図４は、データストリーム１０が参照ピクチャバッファ記述を伝達し得る別の態様に焦点を合わせており、その記述とは、すなわち、まだ復号されていないピクチャのインター予測のための可能な基礎として役立つように、復号済みピクチャバッファ４８内に残るべき参照ピクチャに関する情報である。この目的のために、データストリーム１０は、情報がピクチャごとまたはアクセスユニットごとに更新される、参照ピクチャのセットに関する情報を伝達する。サブピクチャ関連情報４０と同様に、将来の使用のために復号済みピクチャバッファ内に維持されるべき参照ピクチャセットに関するこの情報、すなわち参照ピクチャバッファ記述は、各サブピクチャ２４についてデータストリーム１０内で、即ちその対応する１つ以上のＮＡＬユニット３４’内で、シグナリングされるものである。図４に実線および破線を使用して示した変形例によれば、この参照ピクチャバッファ記述は、ＲＡＰおよび非ＲＡＰ符号化を示すためのサブピクチャ関連情報４０に関してこれまで説明してきたように、指示４４に応じて同様の制約を受ける情報であり得る。したがって、参照ピクチャバッファ記述を図２に参照記号４０'を使用して示した理由は、指示４４に依存する制約に関する類似性を示すため、または指示４４に対して代替的または追加的に存在し得る類似的な指示として表すためである。特に、特定のピクチャ１８の最初のサブピクチャ２４に対してバッファ記述４０'によって示される参照ピクチャのセットは、同じピクチャ１８の他の任意のサブピクチャ２４に対してバッファ記述４０'によって示される参照ピクチャのセットと等しいことが要件とされてもよいし、または少なくとも、そのピクチャ１８の符号化／復号化順序５８で２番目以降のサブピクチャについての参照ピクチャバッファ記述４０'によって示されるすべての参照ピクチャを含むことが要件とされてもよい。サブピクチャ粒度を示す指示４４（または参照ピクチャバッファリング処理についての対応する指示）の場合、１つのピクチャ１８の様々なサブピクチャ２４についてのバッファ記述４０'によって示される参照ピクチャセットのセットは、任意の方法で互いに自由に異なることができ、すなわち、参照ピクチャの相互に異なるセットを示してもよい。相互の違いは、１つのピクチャ内のサブピクチャと、後続のピクチャ内のそれらに対応する後継サブピクチャとが、異なる参照ピクチャを必要とする、即ち異なる参照ピクチャのセットを必要とすることを意味する。なぜなら、例えば、予測参照に由来するそれらの対応する前任サブピクチャが、参照ピクチャの相互に異なるセットの中に含まれているからである。サブピクチャの相互対応は、例えば、それらの起源に起因している。すなわち、それらサブピクチャは、サブビデオ２８として対応するサブストリーム３２に別個に符号化されていた可能性がある。後者の自由度によって、ＮＡＬユニットをまとめてデータストリーム１０の１つのアクセスユニットを形成する際に、参照ピクチャバッファ記述４０'を変更なしで単純に引き継ぐことにより、合成器／統合器がサブストリーム３２のリザーバのＮＡＬユニット３４に基づいてデータストリーム１０を合成することが可能になる。よって、参照ピクチャバッファ記述４０'は、最終データストリーム１０内のＮＡＬユニット３４'とサブストリーム３２のリザーバ内のＮＡＬユニット３４の間で同一となるであろう。
【0046】
つまりこれは、図の実施形態のデータストリームが必ずしもサブピクチャ関連情報４０を含まないことを意味していることを、図４の説明を再開する前に述べておく。図２に関して説明した実施形態は、参照ピクチャバッファ記述４０’を含んでもよいし、又は含まなくてもよい。次に、図３に関して上述したことと同様に、図４の説明は、図２および図３に関してこれまでに説明した実施形態の可能な拡張／修正を説明するものとして、また、デコーダが図４内で実線を使用して示される機能だけを実施する自己完結型の実施形態として、解釈されてもよい。つまり、特に指示４４は、データストリームに存在しなくてもよい。
【0047】
図４によれば、デコーダ２２は、以下のように、復号済みピクチャバッファ４８からピクチャ削除を実行するように構成される。特に、デコーダは、ステップ６０において、まだ復号されていないピクチャのための予測参照として機能するために復号済みピクチャバッファ４８内に残るべき、復号済みピクチャバッファ４８内のピクチャをマークし、さらにステップ６２において、復号済みピクチャバッファ４８内のマークされていない参照ピクチャ、即ちマークなしで、かつデコーダによる将来の表示／出力に必要とされない参照ピクチャを削除する作業を、各ピクチャに対してこれらステップ６０および６２を巡回的に行うことによって実行する。しかしながら、マーキング６０を実行するために、デコーダは、現在のアクセスユニットまたは現在のピクチャの各サブピクチャｉについて、参照ピクチャセットＲｅｆＰｉを示すバッファ記述４０’復号する（６４）。次に、ステップ６０でマークされるべき復号済みバッファ４８内のピクチャは、現在のアクセスユニットまたはピクチャのすべてのサブピクチャに対してセットＲｅｆＰｉの和集合を形成することによって識別される（６６）。したがって、図４に示される、ステップ６２における復号済みピクチャバッファ内のマークされていない参照ピクチャの削除は、現在のアクセスユニットまたはピクチャの符号化／復号化順序で最後のサブピクチャ２４を復号するときに行われ得る。すなわち、削除６２は、現在のピクチャのすべてのサブピクチャ２４を解析した後、または復号した後、または少なくともすべてのサブピクチャ２８を、より正確にはすべてのＮＡＬユニット３４'を、復号済みピクチャバッファから獲得した後に実行してもよい。当然ながら、マークされていないピクチャは、出力に必要のない場合にのみ削除される。なぜなら、出力ピクチャでないか又は既に出力されたかのいずれかだからである。
【0048】
ステップ６０～６６に関して説明したサブピクチャ粒度モード、および図４の破線で示すピクチャ粒度モードで動作できるデコーダ２２の場合、つまり両モードの間でデコーダ２２が指示４４に応じて切替え可能である場合、デコーダ２２は、復号済みピクチャバッファからピクチャを削除する際に、代替的に以下のように動作することができる。特に、ピクチャ粒度モードが活性である場合、デコーダ２２は、依然として、復号済みピクチャバッファ４８内に維持されるべき参照ピクチャのマーキング６８と、ステップ７０における復号済みピクチャバッファ４８からのマークされていない参照ピクチャの削除とを、アクセスユニット／ピクチャ毎に実行できるが、しかし、マークされるべき参照ピクチャを決定するために、かつ削除７０のスケジューリングに関しては、異なる挙動が適用され得る。特に、デコーダは、ステップ７２において、符号化／復号化順序５８で最初に遭遇したサブピクチャ２８の参照ピクチャのセットについて通知するバッファ記述を復号し、ステップ６８において、マークされるべき参照ピクチャをそのセットとして、即ち復号化／符号化順序に対応するインデックスの場合はＲｅｆＰ１として、識別（７４）してもよい。当然ながら、デコーダ２２はまた、現在のアクセスユニットまたは現在のピクチャの符号化／復号化順序５８における最初のサブピクチャではなく他のサブピクチャについて、データストリーム１０から参照ピクチャバッファ記述４０'を読み出し／復号することもできるが、しかしこの情報はステップ６８におけるマーキングには利用されない。さらに、ステップ７０でのマークされていない参照ピクチャの削除は、符号化／復号化順序５８で２番目のサブピクチャを復号する前に、または換言すれば、符号化／復号化順序５８で最初のサブピクチャを解析しまたは復号した後に、行うことができる。当然ながら、マークされていないピクチャは、出力に必要のない場合にのみ削除される。なぜなら、出力ピクチャでないか又は既に出力されたかのいずれかだからである。
【0049】
上述した可能性に従って、デコーダ２２が、特定のアクセスユニットについて符号化／復号化順序５８の最初のサブピクチャ以外のサブピクチャ２８に関する参照ピクチャバッファ記述をも読み出す場合、デコーダ２２は、データストリーム１０を不適合データストリームとして識別するよう構成されてもよく、その場合、符号化／復号化順序５８で最初のサブピクチャ以外の任意のサブピクチャ２８のバッファ記述４０'によって示される参照ピクチャのセットは、そのピクチャの最初のサブピクチャ２４のバッファ記述４０'によって示される参照ピクチャのセットに含まれない参照ピクチャを含んでいる。
【0050】
図５は、図４に関して叙上で概説された概念に関する代替案を示している。図４に従えば、復号済みピクチャバッファ４８は、ピクチャの単位で空にされてきた。サブピクチャ粒度モードに従って、出力用としてもいずれかのサブピクチャの参照用としても不要になったピクチャのみを削除するために、対策が講じられてきた。図５の実施形態によれば、デコーダ２２は、サブピクチャ２４の単位で復号済みピクチャバッファ４８を空にする操作を実行することができる。前述の実施形態に対するこの実施形態の可能な組み合わせに関して、図４に関して上記で提供されたのと同じモードが適用される。すなわち、図５に関して次に説明する実施形態は、図２または図３のデコーダの説明と組み合わせることができ、したがって、図５に従って実装されるデコーダは、例えば指示４４に応答するなど、ピクチャ粒度モードで代替的に動作するように構成されても、構成されなくてもよい。
【0051】
図５による概念を次に説明する。特に、デコーダ２２によって復号されるデータストリーム１０は、その中に符号化されたビデオ１６を有し、その符号化方法は、ビデオピクチャ１８が、空間的に重複しないサブピクチャ２４または異なるサブビデオに属するサブピクチャが互いに独立して符号化されるように、符号化された互いに整列されたサブピクチャ２４へと、常にサブ分割されるような方法である。つまり、この符号化はサブビデオ２８内で行われ、それによってサブストリーム３２のリザーバをもたらせた。図１に関して上述したように、各サブストリーム３２は、その中に符号化されたそれぞれのサブビデオ２８を有し、各サブビデオ２８は、特定のサブピクチャ、すなわち、データストリーム１０のビデオ１６のピクチャ１８内のサブピクチャ２４の可能な候補を含む。サブストリーム３２は、互いに独立して符号化されている。それらサブストリームは、サブピクチャ２４ごとに、１つ以上のＮＡＬユニット３４を含む。符号化プロセスの一部として、ＮＡＬユニット３４は、サブピクチャ識別子８０をすでに所持していてもよい。すなわち、各ＮＡＬユニット３４は、サブストリーム３２のリザーバ間の区別を可能にするために、そのようなサブピクチャ識別子８０でタグ付けされてもよい。図１に関して説明したように、符号化された現在のタイムスタンプの対応するサブピクチャを有するＮＡＬユニット３４を使用するために、単に１つのサブセット、またはより正確にはサブストリーム３２のリザーバの適切なサブセットが選択されてもよく、それらをまとめることによってデータストリーム１０のアクセスユニット４６を形成してもよい。それらをまとめる際に、データストリーム１０をもたらすＮＡＬユニット３４'は、依然としてその中にサブピクチャ識別子８０を有する。図５では、これは以下の方法で示されている。すなわち、ビットストリーム３２のリザーバの識別子８０は整数１…Ｎによって区別される。データストリーム１０に符号化されたビデオ１６のピクチャ１８は、それぞれ６つのサブピクチャ２４を有する。１つのピクチャ１８内の各サブピクチャ２４のために、データストリーム１０は、対応するアクセスユニット４６の中に１つ以上のＮＡＬユニット３４’を有し、これらＮＡＬユニットはサブピクチャ識別子８０Ａｉを使用してタグ付けされ、ｉ＝１…６であり、Ａｉ∈｛１…Ｎ｝である。データストリーム１０を合成するためにどのサブビデオ２８またはどのサブストリーム３２が選択されるかは、アプリケーションに依存してもよく、または時間的に一定であってもよく変化してもよい。さらに、各ＮＡＬユニット３４およびデータストリーム１０にまとめられるそれらのバージョン３４’は、上記の参照ピクチャバッファ記述４０’を含むものとして示されている。サブストリーム３２の別個の符号化のために明らかなように、この情報４０’は、異なるサブストリーム３２に対して異なっている。
【0052】
サブピクチャ２４の単位で復号済みピクチャバッファ４８を空にする操作を行う際に、デコーダ２２は以下のように動作する。一般的に言えば、デコーダ２２は、データストリーム１０から、現在復号されているピクチャ１８について、現在復号されているピクチャ１８の各サブピクチャ２４のための参照ピクチャのセットについてのバッファ記述４０'を復号する。次に、現在復号されているピクチャ１８のサブピクチャ２４について、デコーダは、それぞれのサブピクチャ２４のための参照ピクチャバッファ記述を使用して、復号済みピクチャバッファ４８に残るべきである、それぞれのサブピクチャに空間的に併置された、即ち同じサブビデオ２８に属する、復号済みピクチャバッファ４８内のサブピクチャを識別する。他のサブピクチャは削除される。したがって、この削除はサブピクチャごとに実行される。
【0053】
図５に示されるように、ビデオデコーダは、この目的のために、デコーダピクチャバッファ４８を論理的にサブピクチャＤＰＢ４８1～４８6に分割することができ、それらサブピクチャＤＰＢは、ビデオ１６のピクチャ１８が現在空間的にサブ分割されている各サブピクチャ２４にそれぞれ１つずつ対応する。補足として、ピクチャ１８は、本出願の図の中では６つのサブピクチャに分割されるように示されているが、これは単に例示を目的としていることに留意されたい。他の数も同様に実行可能であり得る。サブピクチャＤＰＢ４８iの各々は、それぞれのサブピクチャＤＰＢに関連付けられた特定のサブピクチャ識別子８０によってタグ付けされたデータストリーム１０内のＮＡＬユニット３４'から出現するピクチャ１８のサブピクチャ２４をバッファリングするために使用される。換言すれば、デコーダ２２は、各サブピクチャＤＰＢ４８iをある所定のサブピクチャ識別子Ａiに関連付け、従って、各サブピクチャＤＰＢ４８iは、その所定のサブピクチャ識別子Ａiに等しいサブピクチャ識別子８０によってタグ付けされたＮＡＬユニット３４’によって符号化された、前に符号化されたピクチャ１８のサブピクチャをバッファリングするために排他的に使用される。現在復号されているピクチャに対し、デコーダ２２は以下を行う。すなわち、各サブピクチャＤＰＢ４８iについて、デコーダ２２は、現在復号されているピクチャ１８が、それぞれのサブピクチャＤＰＢ４８iに関連付けられた所定のサブピクチャ識別子Ａiと等しいサブピクチャ識別子８０を持つ対応するサブピクチャ２４を含むかどうか、を検査する。もし含む場合、デコーダ２２は対応するサブピクチャについてそのバッファ記述４０’によって示された参照ピクチャのセットを使用して、そのサブピクチャＤＰＢ４８iおよび復号済みピクチャバッファ４８のサブピクチャＤＰＢ４８iにそれぞれ残るべき、それぞれのサブピクチャＤＰＢ４８i内のサブピクチャを識別する。これらのサブピクチャＤＰＢ４８i内にあるこれらのサブピクチャはすべて、そのサブピクチャＤＰＢ４８i内で、ある特定の識別可能なサブピクチャ識別子によってタグ付けされたＮＡＬユニット３４'に符号化されたサブピクチャだけを収集することにより、同じサブビデオ２８に属することになる。しかしながら、特定のサブピクチャＤＰＢ４８iについて、ＮＡＬユニット３４'が現在のアクセスユニットに存在せず、したがって、対応するサブピクチャ２４が現在のピクチャ１８に含まれない場合には、デコーダ２２は、対応するサブピクチャＤＰＢ４８iをフラッシュし、それぞれのサブピクチャＤＰＢ４８iを、現在復号されているピクチャ１８の対応しないサブピクチャ２４の別の所定のサブピクチャ識別子に再割り当てする。その別の所定のサブピクチャ識別子は、すべてのサブピクチャＤＰＢ４８1～４８6の所定のサブピクチャ識別子と等しくないものである。フラッシュする代わりに、アプリケーションによるが、デコーダは、再割り当てされたサブピクチャＤＰＢをフラッシュする代わりに、そこに含まれる参照サブピクチャを、サブピクチャＤＰＢが再割り当てされた所定のサブピクチャ識別子のサブピクチャ２４のための参照サブピクチャとして再利用するために、サブサンプリングなどにかけることができる。
【0054】
さらなる実施形態の説明を伴う本出願の説明に進む前に、図４および図５に関して上述した実施形態を、別の言葉で再度要約する。特に、図４はフルピクチャダンピング（full picture dumping）の概念を示したが、図５は部分ピクチャダンピングの実施形態を表した。両方の実施形態は、復号済みピクチャバッファを空にする操作が、ランダムアクセスポイントに応答せずに実行されるが、参照ピクチャバッファ記述、すなわち参照にもはや必要とされない参照ピクチャ／サブピクチャに関する情報に応じて実行される、という状況を扱う点で共通する。上述したように、ランダムアクセスポイントは、ピクチャ情報が参照のためにもはや必要でないと判断され、したがって（すでに出力されている場合）それぞれの復号済みピクチャバッファから削除することができる唯一のケースではない。ＡＶＣまたはＨＥＶＣにおいて、復号済みピクチャバッファ内のピクチャは、復号プロセス中に「参照に使用される」または「参照に使用されない」としてマークされる。例えば、ＨＥＶＣにおいては、参照ピクチャセット（ＲＰＳ）と呼ばれるシグナリングがある。ＲＰＳは、現在のピクチャまたは復号化順に後続するピクチャの参照のために、復号済みピクチャバッファ内のどのピクチャが使用されるかを示す。つまり、ＲＰＳ（ＲｅｆＰ）は、参照のために使用されるように、どのピクチャをマークすべきかをシグナリングする。ＲＰＳに表れないものは、「参照に使用されない」としてマークされ、よって、出力に必要ない場合（例えば、すでに出力されている場合）には、復号済みピクチャバッファから削除できる。
【0055】
上段で説明したように、一部のタイル／サブピクチャのみが高解像度から低解像度に、またはその逆に切り替えられる３６０°の場合、参照ピクチャが異なる可能性があるため、ランダムアクセスポイントが整列され得る。
【0056】
ＲＡＰの場合に関しては、いくつかのビットストリームが一緒につなぎ合わされたとき、すなわち、新たなビットストリーム１０のサブピクチャ・ビットストリームに変換されたとき、ＲＰＳを書き直す必要があり、そのプロセスは、合成器／統合器１４によって実行されるべきそのような操作の複雑さを増大させることになるであろう。
【0057】
新たなビデオコーデックが、参照ピクチャをマーキングする異なる方法を有してもよいが、次のような問題が常に当てはまるであろう。つまり、ビットストリーム内の異なるサブピクチャに対して異なる参照が適用される可能性があり、図４の破線を用いて示すようにアクセスユニットの最初のスライス／タイルに対してマーキングプロセスが実行され、これがアクセスユニット内のすべてのスライス／タイルのすべての情報を伝達する必要がある場合、ストリームをマージするときにヘッダーの書き換えが必要になるであろう。
【0058】
図４および図５の実施形態のアイデアは、したがって、復号済みピクチャバッファに対してサブピクチャのランダムアクセスまたはサブピクチャの供給および削除を可能にするために、参照ピクチャのマーキングのプロセスを変更することである。
【0059】
図４の実施形態によれば、復号済みピクチャバッファの削除は、依然としてピクチャの単位で行われるが、サブピクチャのランダムアクセスは依然として許可される。図４の実施形態を実施する可能性に従えば、指示４４のようなシーケンスまたはピクチャレベルでのシグナリングは、マーキングプロセスが図４の破線を使用して示されるピクチャ粒度の方法で実行されるのか、又は現在のアクセスユニットの最後のサブピクチャのＮＡＬユニットまたはスライスまたはタイルを解析しまたは復号した後などのように、マーキングプロセスが現在のアクセスユニットの最後のサブピクチャの後でのみ実行されるのか、どうかを定義する。両方の方法間を切り替えるシグナリングは、sub_picture_management_process_enabled_flagの形式でＳＰＳやＰＰＳなどのパラメータセットに含まれ得る。
【0060】
上段で概説したように、両方のモード間の切り替えがオフになっている唯一のモードであり得るサブピクチャ処理の場合、そのプロセスは、一実装例に従えば、現在のピクチャ１８の各サブピクチャ２４についての時間的にマークされたピクチャリストを生成することを含み得る。その場合、最後に、どれが「参照に使用されない」とマークされているかがチェックされる。例えば、参照ピクチャ指示の例として、ＨＥＶＣからのＲＰＳシグナリング４０’を使用した場合、復号済みピクチャバッファに残しておくべきピクチャを識別するために、次の擬似コードを使用できるであろう。
【0061】
N=number of pic in DPB.
Mark N pics as “not used for reference”
For i=0…NumSubPicBitstream
{
If Pic in active RPS => mark that picture as “as used for reference”
}
Mark N pics as “not used for reference”
For i=0…NumSubPicBitstream
{
If Pic in active RPS => mark that picture as “as used for reference”
}
【0062】
現在のアクセスユニットのためのすべてのサブピクチャ・ビットストリームが復号されたとき、「参照に使用されない」とマークされかつすでに出力されたすべてのピクチャを、ＤＰＢから削除する。
【0063】
ただし、すべてのＲＰＳ情報を書き換えるアプローチと比較すると、このアプローチでは、復号済みピクチャバッファにより多くのメモリが必要になる。
【0064】
サブピクチャＤＰＢ削除モードに関する図４の実施形態の代替的な一実施例において、最初のプロセスは、各ピクチャ開始時に、すなわち、最初のスライス／タイルまたはサブピクチャを処理するときに、すべてのピクチャを「参照に使用されない」とマークすることで実行され、加えて他方で、解析された各スライス／タイル／サブピクチャに対しては、スライス／タイル／サブピクチャごとに示されたピクチャを「参照に使用される」としてマークする別のプロセスが実行される。最終結果に応じた、つまり、最後のスライス／タイル／サブピクチャの解析／復号時の参照ピクチャダンピングは、参照ピクチャがすでに出力されており、かつ現在のピクチャのすべてのスライス／タイル／サブピクチャが伝送／受信された後に実行される。
【0065】
図５は、コンテンツが動き制約タイルすなわちＭＣＴＳを用いて符号化された場合、またはより一般的に言えば、空間的にオフセットされたサブピクチャから独立して符号化されたサブピクチャ、または異なるサブビデオに属するサブピクチャであって、同じピクチャのサブピクチャだけでなく他のピクチャのサブピクチャも含むサブピクチャである場合に関する。このような場合、サブピクチャ識別子を使用してサブピクチャ固有の領域にマークを付けて、復号済みピクチャバッファから削除できるようにすることができる。ＭＣＴＳで符号化されたビットストリームは、それ自身を参照できるだけである。
【0066】
図５では、ピクチャ１８のサブピクチャ領域を別々にマークする可能性が利用されている。サブピクチャが「参照に使用されない」とマークされ、そのピクチャがすでに出力されている場合、その領域は復号済みピクチャバッファから削除されてもよい。したがって、アクセスユニットのすべてのＮＡＬユニットを解析するまで待つ必要がなく、スライス／タイルグループまたはサブピクチャヘッダーにおいてＮＡＬユニットタイプとＲＰＳを解析しながら、サブピクチャごとに個別にマーキングするプロセスを実行できるであろう。
【0067】
これは、データストリーム内の情報、例えばデータストリーム内で伝達される一部のパラメータセットに基づいて、複数のサブピクチャＤＰＢ４８iを初期化することによって、またはサブピクチャＤＰＢの再割り当てによって、または（新たなサブビデオごとに）新たに発生する各サブピクチャ識別子に対してＤＰＢスペースを割り当てることによって、図５に従って行われる。初期化の後で、ピクチャ（再構成されたサンプルおよび動きベクトルなどの予測のための対応する参照可能なデータを意味する）は、サブピクチャ識別子Ａiに対応するサブピクチャＤＰＢ４８iに格納されるであろう。サブピクチャ識別子Ａiは、例えば、１つのタイルグループＩＤであり得る。
【0068】
次に、参照ピクチャセット、すなわち、復号済みピクチャバッファ４８内に予測のために対応するＩＤと一緒にどのピクチャを保持する必要があるかを示すリストが解析され、それが、その対応するサブピクチャＤＰＢ内のサブピクチャが削除され得るかどうかに影響を与える。自明であるが、一部のシナリオでは、ピクチャ内のタイル設定が変更され得る。例えば、サブピクチャ・ビットストリーム統合シナリオでは、ある期間、ＩＤ０と１のサブピクチャがマージされ、その後、ＩＤ１と２のサブピクチャがマージされるようなことが発生し得る。このような場合、サブピクチャＤＰＢは、パラメータセットの指示に基づいてフラッシュされる。活性化されたパラメータセットが前のサブピクチャＩＤを含まない場合は常に、そのサブピクチャに対応するサブピクチャＤＰＢがフラッシュされる。明白ではあるが、ピクチャの削除は、ピクチャが出力を目的としていない場合、つまり、それらピクチャがすでに出力されているか、出力に必要なくなった場合にのみ行われる。
【0069】
図４および図５に関していくつかの注記が必要である。例えば、図５に関して上述したこと以外に、同時に管理されるサブピクチャＤＰＢの数が、ビデオ１６のピクチャ１８内のサブピクチャ２４の数を超える程度まで、サブピクチャＤＰＢの管理を変更することが可能性であろう。例えば、サブストリーム３２のリザーバ内で遭遇した、またはより正確には、データストリーム１０内で遭遇した各サブピクチャ識別子８０のために、デコーダ２２は、別個のサブピクチャＤＰＢを提供することができる。
【0070】
さらに、図５の説明は、復号済みピクチャバッファを空にする操作に関するサブピクチャ粒度処理に焦点を当てていることに留意されたい。しかしながら、図５は、それに応じて動作することができるデコーダを説明している一方で、図５はまた、図５に示される方法で、すなわち、サブピクチャ処理モードで動作すると共に、図２に示す指示４４または同等のシグナライゼーションに応答するなどしてピクチャ毎の処理モードでも動作できるデコーダの説明としても見られるべきである。その場合、図５のデコーダ２２は、復号済みピクチャバッファ４８を、図４に破線を使用して示される方法でピクチャ毎に管理することが可能であろう。
【0071】
上記のバッファ記述４０’に関して言えば、それらバッファ記述は、リスト形式、又は対応する参照ピクチャをＰＯＣなどを用いて示す分析用語形式などの任意の方法で、ＤＰＢに残るべき参照ピクチャを示し得ることに留意されたい。バッファ記述４０’は、これらのピクチャを積極的に引用する場合もあれば、ＤＰＢから削除するべきピクチャを引用する場合もあり得る。
【0072】
さらに、図４および図５は、復号済みピクチャバッファの空洞化に焦点を当てたが、これら図のデコーダ２２は、復号されたばかりのピクチャコンテンツを使用して復号済みピクチャバッファの充填を行うことが明らかである。例えば、図４の場合において復号済みピクチャバッファ４８の充填は、サブピクチャ処理のときはピクチャごとに実行され、つまりサブピクチャ処理およびピクチャごとの処理の両方の場合において、ピクチャごとに実行され得る。図５ではサブピクチャごとのＤＢＰの空洞化に焦点を当てたが、特定のサブピクチャが復号されるとすぐに、充填がサブピクチャごとに実行され、そのサブピクチャは対応するサブピクチャＤＰＢに挿入される。当然ながら、復号済みピクチャバッファ４８の充填がピクチャ毎に行われる代替的なアプローチもあり得、その場合には、現在復号されつつあるピクチャ１８の復号済みサブピクチャ２４が、現在のピクチャ１８の復号の最後に、それらの対応するサブピクチャＤＰＢに同時に挿入されるであろう。ピクチャごとのＤＰＢ空洞化モードの場合、図５のデコーダは、図４の対応するモードの１つとして（即ち、図４の破線で示すように）作動し得る。
【0073】
さらに、復号済みピクチャバッファの処理に関連する上記の実施形態に関して、いくつかの簡単な注記が必要である。特に、これまで、ビデオ１６のピクチャ１８のサブピクチャ２４は所定の方法でサブビデオのように符号化され得ることについて言及してきており、その方法は、サブピクチャが、それらが同じサブビデオに属する限り他のピクチャの他のサブピクチャに依存することができる一方で、任意の他のサブピクチャ、すなわち、同じピクチャ１８の他のサブピクチャや異なるサブビデオに属する他のピクチャ１８のサブピクチャからは独立している方法である。同じサブビデオに属するそのようなサブピクチャは、時間的にビデオ１６のピクチャ１８内のサブピクチャ位置を変える可能性がある。図６はこの場合を示す。このような状況に対処するために、さまざまな可能性が存在する。図６には、ビデオ１６の２つのピクチャ１８が例示的に示されている。１つのピクチャ１８には、サブビデオに属するサブピクチャＩＤが２、７、３、４、５および６のサブピクチャ２４が存在する。次のピクチャでは、サブピクチャＩＤが２、７、４、および５のサブビデオのサブピクチャ２４がまだ存在しているが、サブピクチャ位置が異なることがわかる。サブピクチャＩＤ３および６を有するサブピクチャ２４の代わりに、２つの新たなサブピクチャ、またはより正確には、新たなサブピクチャＩＤ９および１２のサブピクチャが後のピクチャ内に存在する。
【0074】
ここで、後のピクチャ１８ｂのサブピクチャ２４であって、前のピクチャ１８ａでも発生するサブピクチャ識別子に属するサブピクチャが、ランダムアクセスポイント方式で符号化されておらず、さらに、ピクチャ１８ａのサブピクチャを参照すると仮定する。すなわち、ピクチャ１８ａの正しいサブピクチャ２４は、ピクチャ１８ｂを復号するときにデコーダ２８の復号済みピクチャバッファ４８に存在するであろうが、これらサブピクチャ識別子のピクチャ１８ｂのサブピクチャ２４の復号に関して予測を実行するべく、参照すなわち動き補償予測を正確に実行するために、手段を講じる必要がある。
【0075】
この問題を解決するための１つの可能性は、合成器／統合器１４がそのような状況に参加することであり得る。それは、特許文献２に提示された技術を使用することができ、それによれば、出力しないピクチャ１８ｃが合成器／統合器１４によってデータストリーム１０に挿入され、合成器／統合器１４は、ピースごとに一定、つまり各サブピクチャ位置内で一定である動きベクトルフィールドを使用することにより、そのようなピクチャ１８ａのピクチャコンテンツを再配置して、後続のピクチャ１８ｂ内で依然として必要とされるサブピクチャ２４が、この後続のピクチャ１８ｂ内で想定するそれらの新たなサブピクチャ位置に配置されるようにすることである。さらに、合成器／統合器１４は、そのようなピクチャ１８ｂについて、参照ピクチャとしてピクチャ１８ａを参照する代わりに、ピクチャ１８ｃを参照ピクチャとして表明するようリダイレクトされるようにする。さらに、あるサブビデオに属するピクチャ１８ｂのサブピクチャ２４であって、そのサブビデオのサブピクチャがピクチャ１８ａ内に存在しており、しかも出力しないピクチャ１８ｃによってリダイレクトされたサブピクチャについては、動きベクトル予測を禁止すべきである。
【0076】
別の可能性は、図６においてサブピクチャＩＤ２，７，４，５を有するピクチャ１８ｂのサブピクチャのように、サブピクチャがそれらのサブピクチャ位置を変更するとき、新たな再配置された参照ピクチャを生成するために、デコーダ２２はそのピクチャを復号済みピクチャバッファ内で再配置することであろう。このような手順によれば、復号済みピクチャバッファ内の参照ピクチャはそれらのサブピクチャへと空間的に分割され、サブピクチャは再スクランブルされるであろう。図１に関して上述したように、そのような処理はまた、ピクチャ１８ｂ内のあるサブピクチャ２４が同じピクチャコンテンツに属することが示される場合、空間リサンプリングを含み得るが、しかし、ピクチャ１８ａなどの以前のピクチャのサブピクチャと比べて空間分解能が低下するであろう。このようにして、あるピクチャ１８ａのサブピクチャレイアウトから新たなピクチャ１８ｂのサブピクチャレイアウトへの移行は、出力ピクチャ１８ｃを挿入することなく考慮され得るであろう。
【0077】
そして、さらに別の代替案は、デコーダ２２が、ピクチャ１８ｂのサブピクチャを符号化するために使用される動きベクトルをリダイレクトすることであり得る。デコーダ２２は、参照ピクチャ１８ａに対するサブピクチャの位置変化を補償するために、ピクチャ１８ｂ内の再配置されたサブピクチャの動きベクトルの動きベクトルオフセットを生成することができる。動きベクトルオフセットは、ピクチャ１８ｂのサブピクチャ２４の復号に関与する動き補償予測において、ピクチャ１８ｂのサブピクチャ２４に属するサブストリーム、またはより正確には、ピクチャ１８ａ内にもサブピクチャが存在するようなサブストリームの、符号化された動きベクトルに追加される。それにより、ピクチャ１８ａのこれらのサブピクチャのインター予測されたブロックの正しい予測子が導き出され、この予測子は、参照ピクチャ１８ａ内の正しい位置を指し示している。すなわち、両方のピクチャ１８ａおよび１８ｂ内で示される、これらサブビデオに属するサブピクチャ内の正しい位置ではあるが、異なるサブピクチャ位置を示す。
【0078】
参照ピクチャに関する復号済みピクチャバッファ内でのサブピクチャ再配置と、デコーダ２２によって実行され得る動きベクトルリダイレクトとは、ビデオ１６のピクチャ１８内の個々のサブピクチャ位置に対するサブピクチャ識別子の関連性において観察された変化によってトリガーされ得る。この関連性は、参照ピクチャおよびそれらのサブピクチャのデータストリーム１０でのサブピクチャ再配置をそれに応じて記述している。代替的に、これらのプロセスは、例えばＰＰＳ内などで、合成器／統合器１４によってデータストリームに書き込まれたデータストリーム１０内の明示的なデータストリーム指示によって、トリガーされ得る。
【0079】
次に図７に関して説明する実施形態は、図１に関して上述したアプリケーションを、ＰＯＣ（picture order count；ピクチャ順序カウント）処理の観点から軽減するビデオコーデック環境を説明することを目的としている。したがって、図７は、その中に符号化されたビデオを有するデータストリームを処理するためのデコーダの可能な機能を説明し、データストリームの中では、ピクチャ１８がサブピクチャ２４にサブ分割され、かつサブピクチャ２４は、図５などに関して上述したように、サブビデオ２８の一部として互いに分離して符号化されている。図７に関して説明する機能は、例えば図２に関して説明した指示４４などのようなサブピクチャ指示によってトリガーされる、デコーダ２２の特定のモードであってもよい。特に、図７は、ピクチャ１８のサブピクチャ２４について、データストリーム１０内で異なるＰＯＣ値が伝送されることを可能にし、その結果、１つのピクチャ１８内でさえ異なるＰＯＣ値が発生し得るようになる。図７の機能がデコーダ２２の１つのモードだけを表す場合、他のモードは、１つのピクチャ１８に対して１つのＰＯＣ値だけが許可されることであり得る。
【0080】
データストリーム１０が、図１に関して説明したようにサブストリーム３２のリザーバに基づいて合成される場合、例えば、対応するサブビデオ２８内のサブピクチャ２４の、表示時間順序２０におけるピクチャ順序カウント（ＰＯＣ）展開は相違し得る。例えば、その相違は、サブビデオ２４間の異なるフレームレートに起因し得る。ビデオ１６は、当然ながら、ビデオ１６に寄与するサブビデオ２８の最小フレームレートを有するであろう。したがって、高いフレームレートのサブビデオ２８の対応するピクチャは、データストリーム１０を合成する際に、合成器／統合器１４によってスキップされなければならないであろう。そのような高いフレームレートのサブビデオ２８を対応するサブストリーム３２へと符号化する際に、符号化プロセスは、当然ながら、そのようなピクチャが不要であることに注意すべきであろう。なぜなら、他のＰまたはＢピクチャのための参照ピクチャは残し、低いフレームレートのサブビデオ２８のサブピクチャ２４と共にビデオ１６の合成に寄与するべきであるからである。追加的または代替的に、様々なサブビデオ２８および対応するサブストリーム３２内のサブピクチャ２４のピクチャ順序カウント値の時間的展開におけるそのような相違は、それぞれ、これらのサブストリーム３２の根底にある異なるＧＯＰ構造に起因し得る。例えば、異なるＧＯＰ長、すなわち、ＧＯＰごとに異なる数のサブピクチャ２４が、異なるサブストリーム３２に適用され得る。当然ながら、サブストリーム３２をもたらす生成／符号化プロセスは、ビデオ１６のピクチャ１８の合成に寄与する、少なくとも対応するサブビデオ２８のそれらサブピクチャ２４に関する限り、それぞれのサブビデオ２８およびサブストリーム３２内でのそれら起こった順番で、表示時間順序２０と符号化／復号化順序５８の両方において一致するような方法で実行されなければならない。
【0081】
したがって、図７は、その中に符号化されたサブビデオ２８のサブピクチャ２４を有する１つ以上のＮＡＬユニット３４を示し、これらは、一緒にまとめることによってデータストリーム１０の対応するアクセスユニット４６に参加すべく使用されるように合成器／統合器１４によって選出されたものであり、ＰＯＣ値９０を与えられる。ＰＯＣ値は、例えばＧＯＰ（ピクチャのグループ）ベースの表示時間順序２０で、それぞれのサブビデオ２８内のサブピクチャ２４を順序付ける。すなわち、ＮＡＬユニット３４内のＧＯＰ値９０は、新たなＧＯＰが開始されるたびに、順序を新たに開始してもよい。好ましくは、図７の概念は、合成器／統合器１４が、寄与サブストリーム３２のＮＡＬユニット３４をまとめて、データストリーム１０のアクセスユニット４６内に対応するＮＡＬユニット３４'をもたらすときに、修正なしで、ＰＯＣ値９０を単純に引き継ぐことを可能にする。ハッチングにより、図７は、様々なサブビデオ２８のサブピクチャ２４およびそれらの対応するサブストリーム３２内の対応するＮＡＬユニット３４を示し、それらサブストリーム３２は、ストリーム１０内で対応するアクセスユニット４６を一緒に形成するために、符号化／復号化順序５８に関する１つの共通の時点および１つの共通の符号化／復号化ランクに対応している。現在復号されているピクチャ１８または現在復号されているアクセスユニット４６の異なるサブピクチャに対応するＮＡＬユニット３４’間のＰＯＣ値９０の違いを考慮するため、デコーダ２２は次のように動作する。特に、デコーダ２２は、データストリームから、現在復号されているピクチャ１８の各サブピクチャ２４について、ＮＡＬユニット３４’に含まれるＰＯＣ値９０を復号する。さらに、デコーダ２２は、現在復号されているピクチャ１８の各サブピクチャ２４について、またはより正確には、現在復号されているピクチャ１８内のピクチャ２４が由来する各サブビデオ２８について、ＰＯＣ補正関数（POC correction function）９４をパラメータ化するべき１つ以上のサブピクチャ間ＰＯＣ補償パラメータ９２を管理し、このパラメータは、対応するサブビデオ２８のＰＯＣ値９０に適用されると、ビデオ１６の各ピクチャ１８に対して同じである最終ＰＯＣ値９６をもたらす。一例によれば、データストリームの１つのアクセスユニット４６内のＮＡＬユニット３４'によって運ばれるＰＯＣ値９０は、サブピクチャ２４が属し、これらＮＡＬユニット３４’に符号化されている、サブビデオの符号化に使用される異なるＧＯＰ長さに起因して異なっていてもよい。その場合、寄与しているサブビデオ２８およびサブストリーム３２が合成／統合中に変更されない限り、１つのアクセスユニット４６内のＰＯＣ値９０間の相互オフセットは、寄与サブストリーム３２のＧＯＰのどれもが新たなＧＯＰを開始しない限り、連続するアクセスユニット４６およびデータストリーム１０にわたって一定である傾向がある。サブピクチャ間ＰＯＣ補償パラメータ９２は、例えば、ＧＯＰの直近の開始に対応するサブビデオ２８の現在のサブピクチャ２４、即ちそのサブビデオ２８内のＩＲＡＰサブピクチャ２４の様々なサブストリーム３２間の相違に対処するため、対応するサブビデオのＰＯＣ値９０に対して関数９４によって追加されるＰＯＣ補償オフセットを含み得る。新たなサブビデオ２８がビデオ１６のピクチャ１８に寄与し始めるとき、または作動中のサブビデオ２８の１つが、情報４０がＲＡＰをシグナリングするサブピクチャを有することによって新たなＧＯＰを開始するときは常に、デコーダ２２は、そのサブビデオまたはサブストリーム３２のＰＯＣ補償オフセットを、比較に基づいて、すなわち差を計算することによって、それぞれ更新、計算またはリセットする。その際、任意のサブビデオ２８またはサブストリーム３２の任意の最終ＰＯＣ値９６が、その時点のビデオ１６内で、即ち同じアクセスユニット４６内で維持され、そこではいずれのランダムアクセスポイント符号化も持たない。サブストリーム３２間のフレームレート差のために、サブピクチャ間ＰＯＣ補償パラメータ９２はまた、最終的なＰＯＣ値９６を生成するために関数９４を使用してＰＯＣ値９０がスケーリングされる、係数を含み得る。そのようなフレームレート差に起因して、データストリーム１０のアクセスユニット４６内のＰＯＣ値９０間の相互差は、そのＰＯＣ値が前述のＰＯＣ補償オフセットを使用してオフセット補償された後、ＰＯＣ値９０の相互差と互いに関連している傾向があり、その相互差はＰＯＣステップサイズ差に従って時間的にスケーリングする。このスケーリングされた差は、これらのＰＯＣ値を逆スケーリングすることによって補償される。デコーダ２２は、そのようなスケーリング係数を、データストリーム１０からパラメータ９２の一部として導出してもよく、それら係数はサブビデオ２８および対応するサブストリーム３２の基底にあるフレームレートの評価に基づいて、それぞれ合成器／統合器１４によってデータストリームの中に書き込まれたものであってもよい。
【0082】
したがって、簡単に要約すると、デコーダ２２は、関数９４をパラメータ化するためにＰＯＣ補償パラメータ９２を管理してもよい。そのようにパラメータ化された関数９４は、現在のピクチャ１８の特定のサブピクチャ２４に対応するＰＯＣ値９０に適用されると、最終ＰＯＣ値９６をもたらす。このようにして得られた最終ＰＯＣ値９６は、ビデオ１６の各ピクチャ１８について互いに等しい。パラメータ９２間のオフセットは、非ＲＡＰサブピクチャ２４がそのピクチャ１８またはアクセスユニット４６にそれぞれ存在するという条件のもとで、上述の方法により、ランダムアクセスポイント・サブピクチャ２４においてデコーダ２２によって更新され得る。現在のピクチャ１８のすべてのサブピクチャ２４がランダムアクセスポイント符号化されている場合、デコーダ２２は、そのオフセットをサブピクチャ２４と等しい任意のデフォルト値に設定することができる。追加的または代替的に、ＲＡＰサブピクチャは、それ自身で、エンコーダ３０を適切にパラメータ化することなどにより、同じデフォルトＰＯＣ値に設定されてもよい。この値はゼロでもよい。デコーダは、このエンコーダの制約の下で何もする必要はないであろう。しかしながら、エンコーダ３０は、１つのピクチャ１８のＲＡＰサブピクチャ２４のＰＯＣを異なる値に自由に設定できるであろうし、そのような場合、デコーダは、これらのＲＡＰサブピクチャのＰＯＣ値をゼロなどのデフォルトＰＯＣ値、または最初に遭遇したＲＡＰサブピクチャに対してシグナリングされたＰＯＣ値９０に等しい値に設定するように構成されてもよい。パラメータ９２間のスケーリング係数は、１つのサブビデオ２８がビデオ１６の合成に新たに寄与するたびに、デコーダ２２によって決定されてもよい。
【0083】
以下でさらに概説するように、デコーダ２２は、対応するＮＡＬユニット３４’からのサブピクチャ２４を保持するためにデコーダ２２によって実行される動きベクトル予測子スケーリングが正しく実行されるように、注意を払う必要があり得る。動き予測子スケーリングは、それぞれの動きベクトル予測子が使用されたブロックを含むピクチャに対するＰＯＣ距離ａを有する参照ピクチャＡに関連する動きベクトル予測子が、現在のピクチャの現在予測されているブロックのためのいくつかの必要なＰＯＣ距離ｂを参照するためにスケーリングされるとき、実行される。スケーリングは、それぞれのサブストリーム３２のＰＯＣ定義に関連するＰＯＣ距離に関して実行されるべきであるため、このスケーリングは、依然として個々のサブストリームのＰＯＣ値９０に基づいて、デコーダ２２によって実行される必要があり得る。例えば、ＨＥＶＣ動きベクトル予測子スケーリングによれば、パラメータ９２間のフレームレートスケール係数が２の累乗でなかった場合、異なる動きベクトルスケーリングが生じる可能性がある。
【0084】
すでに上述したように、上記の実施形態は互いに組み合わせることができる。これは、図３、４、５および７に関して説明した実施形態のそれぞれを図２の実施形態と組み合わせる場合にのみ真実である訳ではなく、図３、４、５および７に関して説明した実施形態の間の二つの組み合わせ、三つの組み合わせまたは全ての組合せに関しても真実である。これらの概念のそれぞれは、図１に関して概説したビデオ合成／統合の作業を遂行する際に、結果として得られるビデオコーデック概念の使用を緩和する。当然ながら、図１に概説された例は、上記の実施形態に示されているビデオ符号化コーデックの例に限定されるものとして扱われるべきではない。
【0085】
本出願のさらなる態様に関係する本出願のさらなる実施形態であって、わずかに異なるトピック、すなわち段階的復号リフレッシュに関連するものの説明を開始する前に、図７の実施形態を再度説明し、換言すれば注意喚起する。特に、すでに上段で概説したように、図７の実施形態は、ＰＯＣｄｅｌｔａ導出に関する。サブピクチャ２４について説明したように、各サブピクチャは、例えば、１つのタイルであり得るか、または（ジョイント・ビットストリーム１０に適合する）タイルのセットは、整列されていないランダムアクセスポイントまたは異なる参照構造またはＧＯＰ構造を有し得る。上段で概説したように、そのような使用例は、例えば、最初に別々に符号化されたビットストリーム３２が単一のデータストリーム１０に一緒に統合されるときに起こり得る。
【0086】
そのような場合、各サブピクチャ２４のサブビットストリーム３２内に示されるＰＯＣ（ピクチャ順序カウント）は、１つの共通の時点に関連するか、または統合されたデータストリーム１０内の１つの共通のアクセスユニット４６に寄与するにも関わらず、異なる可能性がある。これが事実である場合、これは、ビットストリーム３２内、すなわちＮＡＬユニット３４内にシグナリングされたＰＯＣ値が、１つのアクセスユニットに対して１つのＰＯＣ値を生成するように、結果として生じる合成データストリームに統合され得るようにするため、合成器／統合によって書き換えられなければならないという負担につながる。図７の実施形態は、この負担を軽減し、各サブピクチャ２４のヘッダー、すなわちタイルグループヘッダーなどのＮＡＬユニットに符号化されるＰＯＣ値を調整することなく、そのようなサブピクチャサブストリーム３２の統合を可能にする。
【0087】
ＰＯＣは、アクセスユニットの境界の導出に使用される。すなわち、通常、ＰＯＣは、スライスのグループまたはタイルグループまたはＮＡＬユニットをアクセスユニット４６に関連付けるために使用される。これは、図７のデコーダ２２が図２の実施形態と結合された場合の代替的挙動であり得る。つまり、図７に記載された概念は、指示４４がサブピクチャ粒度を示す場合にデコーダ２２によって適用されるであろうし、一方、指示４４がピクチャ粒度を示す場合には、デコーダ２２は、各アクセスユニット４６が、そのアクセスユニット４６内で等しい単一のＰＯＣ値のみを有すると想定するであろう。ピクチャ粒度の場合、デコーダ２２は、１つのＮＡＬユニットから別のＮＡＬユニットへのＰＯＣ値の変化に応答して、次のアクセスユニット４６の開始を認識するであろう。図７に記載されたサブピクチャ粒度の機能の場合、データストリーム１０内の連続するアクセスユニットを分離するアクセスユニットインターフェイスの識別は、デコーダ２２によって、例えば、合成器／統合器１４によってデータストリーム１０に挿入されたアクセスユニット・デリミッタに基づいて実行され得る。
【0088】
復号プロセスでＰＯＣ値が使用されるさまざまなプロセスの中には、ピクチャ出力がある。つまり、ピクチャは、昇順またはＰＯＣの順序で、ピクチャ参照のため、つまり、ショートターム参照ピクチャまたはロングターム参照ピクチャのどちらを参照に使用するかを決定するために、出力される。
【0089】
図７に関して説明された実施形態は、同じアクセスユニット４６内の各サブピクチャ２４のＮＡＬユニット３４’内においてＰＯＣの異なる信号値を許可する一方で、複数のサブピクチャ２４が同じデータストリーム１０から復号されるとき、ピクチャ出力およびピクチャ参照の上記作業で最終的に使用されるＰＯＣ値９６の正しい導出をも可能にする。典型的には、ランダムアクセスポイントはＰＯＣ値のリセットをもたらし、これによりデコーダがビットストリームの始まりにおいて復号プロセスを開始する。デコーダはＩＤＲを発見すると、通常、そのピクチャに対してゼロのＰＯＣ値を割り当て、それに基づいて後続のピクチャのＰＯＣ値を導出する。次のアクセスユニットまたはそのアクセスユニット内のＮＡＬユニットには、（タイルグループ）ヘッダービットなどの情報が含まれており、それら情報はそれらが属するアクセスユニットのＰＯＣをシグナリングする。典型的には、ＰＯＣはスライス／タイルグループのヘッダー内のＬＳＢビットでシグナリングされ、ＭＳＢビットはデコーダによって導出される。このプロセスは、図７に概説されているシナリオに適用された場合、１つのアクセスユニットのサブピクチャが１つのアクセスユニット内の異なるＰＯＣＬＳＢ値または異なるＰＯＣ ＬＳＢ長を含むとき、アクセスユニット境界、参照ピクチャ、および出力順序の誤った導出につながり得る。
【0090】
図７に関して説明した実施形態は、異なるサブピクチャ・ビットストリーム３２間の差を追跡する、サブピクチャごとのdeltaＰＯＣ計算を使用した。例えば、デコーダ２２の復号プロセスが正規のフルピクチャＩＲＡＰで開始する場合、アクセスユニット４６のすべてのＮＡＬユニット３４’は、同じＰＯＣ値（ＮＡＬＰＯＣ ＬＳＢ）を運ぶ。この時点でＰＯＣ ＭＳＢは０に設定される。ここで、ＣＶＳの過程で、サブピクチャＲＡＰが発生し、異なるＮＡＬ ＰＯＣ ＬＳＢ、例えばゼロ値を伝送する可能性があり得るが、他方、そのアクセスユニット内の他のＮＡＬＰＯＣ ＬＳＢは変更されない（０に等しくない）ままである。サブピクチャＲＡＰが上記のように、またはＮＡＬユニットタイプまたはＳＥＩメッセージなどによる最新のシグナリングを介して認識されるときはいつでも、deltaＰＯＣは、このサブピクチャについて、そのアクセスユニット内のＩＲＡＰ ＮＡＬＵ ＰＯＣ ＬＳＢとその他のＮＡＬＵＰＯＣ ＬＳＢとの間の差として導出される。フルピクチャＰＯＣ９６は、ピクチャ出力、ピクチャ参照などの上記の機能の基礎として、すべてのＮＡＬＵに対して導出される。サブピクチャＩＲＡＰＮＡＬＵを取り扱う場合、フルピクチャＰＯＣ９６は非ゼロのdeltaＰＯＣを組み込む一方で、残りの非サブピクチャＩＲＡＰＮＡＬＵについては、フルピクチャＰＯＣ９６の計算にそれぞれのゼロのdeltaＰＯＣを組み込むことが、１つのアクセスユニット４６のすべてのＮＡＬＵについて同じフルピクチャＰＯＣ値９６をもたらす。図８は、一例を使用した図７によるＰＯＣ補償を示し、ここでは、ビデオ１６の４つの連続するピクチャ１８ａ～１８ｄが示され、それぞれが３つのサブピクチャ２４にサブ分割されており、第１のピクチャ１８ａはＩＲＡＰピクチャ、すなわち、そのすべてのサブピクチャ２４はランダムアクセスポイントであり、第２のピクチャ１８ｂおよび第４のピクチャ１８ｄは、それらのすべてのサブピクチャ２４が非ＲＡＰ符号化されている。第３のピクチャ１８ｃは、ランダムアクセスポイント方式で符号化された１つのサブピクチャ２４、すなわち図８の上側のピクチャ２４を有する一方で、その他のサブピクチャ２４はそのような方式で符号化されていない。図を見てわかるように、図８は、関数９４の簡単な実例を示し、すなわち、ＰＯＣ補償パラメータを表す定数、即ち個々のサブピクチャ２４内に表記する加算式の２番目の加数(addend)を用いた加算を示す。１番目の加数は、シグナリングされたＰＯＣ値、つまりパラメータ化可能な関数への入力を示し、結果として得られる合計は、最終ＰＯＣ値９６に対応する。図８に示すように、デコーダは、ＰＯＣ補償オフセットを、ピクチャ１８ｃの非ＲＡＰサブピクチャ２４の１つについての最終ＰＯＣ値から、ＲＡＰサブピクチャ２４の送信されたＰＯＣ値を減算９８することによって取得した。
【0091】
説明しているフルピクチャＰＯＣスキームの導入は、ＳＰＳ／ＰＰＳレベルフラグを介してゲートされてもよい。代替的に、deltaＰＯＣ値、すなわちＰＯＣ補償オフセットの暗黙的な導出の代わりに、データストリーム１０内の１つのパラメータセットが、関数９４によって各サブピクチャＰＯＣ値９０に減算／加算されるべきdeltaＰＯＣを示してもよく、その結果として得られるフルピクチャＰＯＣ９６は、データストリーム１０内の現在復号されているピクチャ１８または現在のアクセスユニット４６の各サブピクチャ２４について整列されている。サブピクチャＩＲＡＰＮＡＬＵがアクセスユニット４６内にある場合、フルピクチャＰＯＣを導出可能とするために追加的制約が必要な場合もあり得る。
【0092】
例えば、データストリーム１０の要件、すなわちビットストリーム適合性の要件が以下のように求められてもよい。すなわち、少なくとも１つのサブピクチャ非ＩＲＡＰＮＡＬＵがアクセスユニット４６に存在する、つまり各ピクチャ１８の少なくとも１つのサブピクチャ２４が非ＲＡＰ方式で符号化されており、それにより現在のフルピクチャＰＯＣ９６の導出が可能であり、これに従って、すべてのサブピクチャＩＲＡＰＮＡＬＵのdeltaＰＯＣ、即ちＰＯＣ補償オフセットが導出されるべきである、という要件である。換言すれば、新たなＮＡＬユニットタイプであって、異なるＮＡＬユニットタイプを許可しないサブＲＡＰがフラグを用いてシグナリングされる場合である。このような場合、このようなシグナリングは、ＮＡＬユニットの１つが、ＮＡＬユニットがサブＲＡＰであると示されていない場合にのみ使用できる。
【0093】
別の解決策は次のとおりであり得る。１つのアクセスユニット４６内のすべてのサブピクチャがサブピクチャＩＲＡＰであると認識されると、ＰＯＣＭＳＢがリセットされ、すべてのサブピクチャが同じフルピクチャＰＯＣになるように、サブピクチャ２４ごとのdeltaＰＯＣが計算される。例えば、この場合の最初のサブピクチャdeltaＰＯＣは０に設定され、他のすべてのサブピクチャdeltaＰＯＣはそれに応じて、アクセスユニット内の最初のサブピクチャＩＲＡＰＮＡＬＵに対し、フルピクチャＰＯＣ９６をもたらすように設定される。
【0094】
また上段で説明したように、データストリーム１０の合成に関与するサブストリーム３２は、異なるＰＯＣステップサイズのものであってもよい。これは、例えば、会議のシナリオで発生し得る。１つのストリームは３０ＦＰＳで符号化され、他のサブストリーム３２は６０ＦＰＳで符号化され得る。このような場合、上記のように、最低の共通フレームレート、つまり３０ＦＰＳで統合することが１つの選択肢である。この目的のために、６０ＦＰＳサブストリーム３２の最上位の時間レイヤをドロップして、フレームレートを３０ＦＰＳに下げることができる。ただし、６０ＦＰＳエンコーダは、３０ＦＰＳエンコーダに比べて大きなＰＯＣステップサイズを使用して、より多くのフレームを収容する必要があるため、２つのストリーム内の時間的に隣接するピクチャ間のＰＯＣステップサイズは異なるであろう。複数のストリームが１つの共通のビットストリームに統合される上記のシナリオでは、正しいＰＯＣ導出を保証するように注意する必要がある。サブピクチャ・ビットストリームのＰＯＣが異なるステップサイズを有する場合、図７の実施形態は、符号化済みビデオシーケンス１０内の個々のサブピクチャ２４のＰＯＣ値９０のスケーリングを強制することが可能である。例えば、統合器／合成器１４は、入力サブピクチャ・ビットストリーム３２から、ＰＯＣステップサイズの違いを通知されるか、またはそれ自体を導出し、すべてのフルピクチャＰＯＣを整列させるために、データストリーム１０の合成に寄与するすべてのサブピクチャ・ビットストリームについて、それぞれのＰＯＣスケーリング係数をパラメータセット内に書き込むであろう。
【0095】
更なる注意を上述したように、スケーリング済みフルピクチャＰＯＣは、参照ピクチャの導出と出力順序のために使用されるが、他方、動きベクトルスケーリングは、スケーリングされていないＰＯＣの差に応じて実行されるべきことに変わりはない。そうすることにより、当初のエンコーダによって想定されるような正確な動きベクトルスケーリングが実行される。
【0096】
デコーダ側において、個々のサブピクチャ２４のすべてのＰＯＣ値９０、すなわちスケーリングされていないＰＯＣを追跡する代わりに、デコーダは、動きベクトルスケーリングのためのＰＯＣ差を導出するに際し、それぞれのＰＯＣスケーリング係数を使用してスケーリングされたＰＯＣ値からも、動きベクトル候補スケーリングを実行するためにエンコーダ側で使用されたＰＯＣ値の差を導出することができる。
【0097】
さらに、パラメータ９２間のＰＯＣオフセット値は、デコーダによって自動的に決定されるように説明したが、代替的または追加的に、ＰＯＣオフセット値は、ＰＯＣスケーリング係数に関して上述したように、合成器／統合器１４によってデータストリーム１０に挿入され得る。
【0098】
【0099】
特に、図９は、ビデオ１０２の連続するピクチャ１００、すなわち、それらの符号化／復号化順序５８に沿って順序付けられた４つの連続するピクチャを示す。図９は、ビデオ１０２をデータストリーム１０６へと符号化するエンコーダと、データストリーム１０６からビデオ１０２を復号または再構築するデコーダ１０８とを示す。その概念は以下の通りである。段階的な復号リフレッシュを可能にするために、ビデオデコーダ１０８は、ビデオ１０２の参照ピクチャのそれぞれについて、リフレッシュピクチャ領域および非リフレッシュピクチャ領域への、それぞれの参照ピクチャのサブ分割をログ（記録）する。特に、参照ピクチャは、復号化順序５８で現在復号されているピクチャに先行するピクチャであって、現在復号されているピクチャまたは任意の後続のピクチャのための予測参照として利用可能なピクチャである。上述したリフレッシュピクチャ領域と非リフレッシュピクチャ領域は、以下の説明から明らかになるであろう。特に、デコーダ１０８は、データストリーム１０６から、特定のピクチャ１００ａについて図９にクロスハッチングにより示されるリフレッシュ更新領域１１０に関する情報を復号する。図９の実例では、そのリフレッシュ更新領域はピクチャ１００ａの左側の３分の１を包含している。エンコーダは、例えば、各ピクチャ１００ａ～１００ｄをそれぞれのアクセスユニット１１２ａ～１１２ｄへと符号化し、ピクチャ１００ａについてアクセスユニット１１２ａ内で、ピクチャ１００ａ内にリフレッシュ更新領域１１０を配置する情報１１４をシグナリングする。リフレッシュ更新領域の指示１１４により、段階的復号リフレッシュを開始することができ、これにより、後段でより詳細に説明するように、ピクチャ１００ａといくつかの後続のピクチャとの符号化および復号化について、エンコーダ１０４とデコーダ１０８との両側で段階的復号リフレッシュを完了するまで、特別な手段が講じられる。
【0100】
特に、情報１１４によって配置された領域１１０は、エンコーダ１０４によってイントラ符号化のみによって符号化され、すなわち、ランダムアクセスポイント方式で符号化された領域を表し、したがって、デコーダ１０８は、それに応じて、つまりイントラ予測を使用して、リフレッシュ更新領域１１０を復号する。ピクチャ１００ａの他の領域、すなわち残りの領域１１６の符号化は、これ以上制限されず、以前のピクチャに基づくインター予測および／またはイントラ予測を使用して、エンコーダ１０４によって符号化されることができ、それに応じて復号化１０８によって復号されることができる。
【0101】
符号化／復号化順序５８における次のピクチャ１００ｂについては、段階的復号リフレッシュはまだ完了していない。エンコーダ１０４は、このピクチャ１００ｂを対応するアクセスユニット１１２ｂへと符号化し、その中で再度、そのピクチャ１００ｂ内のリフレッシュ更新領域１１０に係る情報１１４をシグナリングする。図９の例では、ピクチャ１００ｂのリフレッシュ更新領域は、ピクチャ１００ｂの水平方向の中央の３分の１をカバーし、したがって、前のピクチャ１００ａのリフレッシュ更新領域１１０に空間的に隣接している。アクセスユニット１１２ａ内の情報１１４が段階的復号リフレッシュを開始したのに対し、ピクチャ１１２ｂに関する情報１１４は、この開始された段階的復号リフレッシュの継続を表す。ピクチャ１００ｂの領域１１０は、再び、イントラ予測のみによってエンコーダ１０４によって符号化され、デコーダ１０８によってそれに応じて復号される。しかしながら、開始された段階的復号リフレッシュの一部として、デコーダ１０８およびエンコーダ１０４は、以下の作業を実行する。最初に、エンコーダ１０４およびデコーダ１０８は、参照ピクチャのリフレッシュピクチャ領域の前述のロギングを実行する。ピクチャ１００ａで段階的復号リフレッシュが開始されており、ピクチャ１００ａが後続のピクチャ１００ｂに対する参照ピクチャを形成するので、ピクチャ１００ａのリフレッシュ更新領域１１０は、ピクチャ１００ａのリフレッシュピクチャ領域を表す一方で、他の領域１１６は、非リフレッシュピクチャ領域である。リフレッシュピクチャ領域は、図９に実線１１８によって囲まれることで示されている。第２に、デコーダ１０８およびエンコーダ１０４は、現在符号化／復号化されているピクチャ内、すなわち現在の記述ピクチャ１００ｂ内で、同じピクチャ１００ｂのリフレッシュ更新領域１１０から分離され、かつ参照ピクチャ（ここではピクチャ１００ａ）の非リフレッシュピクチャ領域から独立して符号化および復号化されるべき第１の領域１２０を決定する。エンコーダ１０４は、領域１２０がどこにあるかについての明示的なシグナリングを符号化してもよく、またはより好ましくは、エンコーダ１０４およびデコーダ１０８は、ピクチャ１００ａ即ち符号化／復号化順序５８における直前のピクチャのリフレッシュピクチャ領域１１８に対して並置される、ピクチャ１００ｂの領域として、領域１２０を決定してもよい。リフレッシュ更新領域１１０から領域１２０を区別するために、リフレッシュ更新領域１１０は図９内でクロスハッチングを使用して示され、単純なハッチングは領域１２０のために使用されている。
【0102】
エンコーダとデコーダは、領域１２０を対応するアクセスユニット１１２ｂに符号化し、それから復号するために、特別な手段を講じる。特に、エンコーダ１０４は、例えば、領域１２０の予測がエンコーダおよびデコーダによって導出されるときの基礎となる符号化パラメータのシグナリング可能なドメインを制限しない。言い換えれば、エンコーダ１０４は、動き補償予測のような、前のピクチャからこれらピクチャの予測を決定する符号化パラメータを使用して、およびこの予測が修正されるべきときに用いる予測残差を記述する予測残差情報を使用して、ピクチャを対応するアクセスユニットに符号化する。符号化パラメータと予測残差情報は、対応するピクチャを記述するためにアクセスユニット内へと符号化される。しかしながら、リフレッシュ更新領域１１０内では、エンコーダ１０４は、イントラ予測を排他的に使用する、すなわち、他の任意のピクチャからの予測は使用されない。領域１２０に関しては、エンコーダ１０４はインター予測を使用し、例えば、符号化パラメータのシグナリング可能なドメインを制限しないが、領域１１６などの他の領域と比較して、シグナリングされた符号化パラメータに基づいて領域１２０の予測を導出する異なる方法が、エンコーダ１０４およびデコーダ１０８によって使用される。特に、それぞれの参照ピクチャ、ここではピクチャ１００ａのリフレッシュピクチャ領域１１０の位置が考慮される。例えば、エンコーダ１０４は、領域１２０について、予測導出が変更されない場合に、領域１２０の領域１１６への依存性をもたらし得る動きベクトルをデータストリーム１０６に自由に符号化することができる。すなわち、領域１１６の中に延びる参照ピクチャ１００ａの部分を実際に指し示す動きベクトルを、符号化することができる。同様に、エンコーダ１０４は、領域１２０の動きベクトルを符号化するために動きベクトル予測を使用してもよいが、ピクチャ１００ａを符号化するために使用される動きベクトルによって形成される動きベクトル予測子候補の対応する動きベクトル予測リストを解釈／構築するにあたって、エンコーダ１０４は、リフレッシュピクチャ領域１１０内のブロックに使用される動きベクトルを排他的に使用して、これらの動きベクトル予測子候補リストに排他的に含める。エンコーダ１０４が、シグナリング可能な状態であって、実際には領域１２０の符号化パラメータの他の状態によっても実際にシグナリング可能であったであろうと見られる領域１２０の予測導出結果へとリダイレクトされる状態を使用し得るという可能性により、エンコーダ１０４に圧縮効率を高める可能性が提供される。なぜなら、例えば、後でエンコーダ１０４およびデコーダ１０８によって他の状態にリダイレクトされ、更新されたピクチャ領域１１０のみに依存する予測につながる符号化パラメータ状態は、エンコーダ１０４およびデコーダ１０８によるリダイレクトなしにこの予測を直に記述する符号化パラメータ状態と比較して、少ないビットを使用して符号化できるある状態を含み得るからである。すなわち、エンコーダ１０４およびデコーダ１０８は、例えば、領域１２０のためにデータストリーム１０６内で実際にシグナリングされた動きベクトルを、参照ピクチャ１００ａのリフレッシュピクチャ領域１１０の境界を越えて延伸しないように、クリップすることができる。代替的または追加的に、エンコーダおよびデコーダ１０８は、リフレッシュピクチャ領域１１０の境界を超える、領域１２０のためにデータストリーム１０６内でシグナリングされた動きベクトルによって指し示された参照ピクチャ１００ａの部分に対し、パディングを使用してもよい。更に代替的または追加的に、エンコーダ１０４およびデコーダ１０８によって行われる動きベクトル候補リストの構築は、参照ピクチャ１００ａ内のリフレッシュピクチャ領域１１０の外側にあるそのようなリストを含めることから動きベクトルを除外するような方法で行うことができる。エンコーダ１０４は、例えば、デコーダ１０８に対し、データストリーム１０６内でシグナリングすることによって選択された動きベクトル予測子をシグナリングしてもよく、それに応じて解釈／構築されるそのような動きベクトル候補リストにインデックスを付けることができる。ピクチャ１００ｂの残りの領域、つまり図９の場合はピクチャ１００ｂの右側３分の１は、このピクチャ１００ｂの第１の領域１２０およびリフレッシュ更新領域１１０とは分離された領域１１６であって、ピクチャ１００ａのリフレッシュピクチャ領域１１０に対して制限のないインター予測を含む、エンコーダ１０４によって符号化される領域を表す。すなわち、ピクチャ１００ｂの領域１１６は、制限のないインター予測領域である。
【0103】
続いて符号化／復号化されるピクチャ１００ｃは、図９の例では、ピクチャ１００ａで開始された段階的復号リフレッシュの完了を表す。エンコーダ１０４は、このピクチャ１００ｃのために、対応するアクセスユニット１１２ｃの中にピクチャ１００ｃのリフレッシュ更新領域１１０の位置を示す情報１１４を符号化し、このリフレッシュ更新領域は、図９の場合、ピクチャ１００ｃの右側３分の１をカバーする。すなわち、図９は、段階的復号リフレッシュの開始を表すピクチャ１００ａから始まる連続ピクチャ１００ａ～１００ｃのリフレッシュ更新領域１１０が、ビデオ１０２のピクチャのピクチャ領域の相互に分離された部分を呈していることを示している。このピクチャ１１０も、エンコーダ１０４によってイントラ符号化され、それに応じてデコーダ１０８によって復号される。
【0104】
ピクチャ１００ｃに対し、ピクチャ１００ｂもまた参照ピクチャを表す。そのリフレッシュピクチャ領域１１８は、エンコーダおよびデコーダによって、ピクチャ１００ｂの第１の領域１２０およびリフレッシュ更新領域１１０の和集合として決定される。これはまた、段階的復号リフレッシュの間に、リフレッシュピクチャ領域１１８が継続的に成長することを意味する。この場合も、エンコーダ１０４およびデコーダ１０８は、例えば、直前のピクチャ、即ちピクチャ１００ｂのリフレッシュピクチャ領域１１０と空間的に重なる領域となるように、ピクチャ１００ｃの第１の領域１２０を決定する。この領域１２０は、ピクチャ１００ｂの領域１２０に関して前述したように符号化／復号化されるが、この領域１２０は、２つの参照ピクチャ候補、すなわち、リフレッシュピクチャ領域１１８を有するピクチャ１００ａと、リフレッシュピクチャ領域１１８を有するピクチャ１００ｂとを持たなければならないという違いがある。領域１２０にはインター予測が使用され、つまり、それはイントラ予測モードのほかに許可された符号化モードであるが、ピクチャ１００ｃの領域１２０についての符号化パラメータは、結果としての予測が、ピクチャ１００ａおよび１００ｂのリフレッシュされていない領域１１６から、領域１２０の符号化／復号化の依存を生じさせないような状態にリダイレクトされる。
【0105】
ピクチャ１００ｃ以降については、ピクチャ１００ａでエンコーダ１０４によって開始された段階的復号リフレッシュが完了し、リフレッシュピクチャ領域１１８は、そのピクチャ１００ｃ以降、ビデオ１０２のピクチャである完全なピクチャをカバーする。間欠的または周期的に、エンコーダ１０４は、別の段階的復号リフレッシュを開始することができ、その後続の段階的復号リフレッシュの最初の開始ピクチャのリフレッシュ更新領域１１０に対応するように、リフレッシュピクチャ領域は崩壊するであろう。
【0106】
図９に関して説明されたような段階的復号リフレッシュは、サブピクチャ・イントラリフレッシュ・パディングとして説明され得る。それは、タイルまたはタイルグループを使用して実装することも、タイルを使用せずに実装することもできる。図９の実施形態では、サブピクチャと呼ばれ得るピクチャのいくつかの部分、すなわち領域１１０は、イントラ符号化を適用することによってリフレッシュされ、一方、後続のピクチャは、制約付きの方法でインター符号化およびインター復号化される。図9の例に従えば、ピクチャは列に分割されており、ここでは、例示的にＮ＝３の列に分割されていていた。しかしながら、ここで明確にすべきは、列の数Ｎは異なるように選択でき、また、そのような段階的復号リフレッシュ間のリフレッシュピクチャ領域１１８の成長の異なる形態、即ちピクチャの列ではなくブロック単位での成長など、異なる成長の形態でさえも選択できることである。図９に関して説明したように、最初のサブピクチャＲＡＰ、すなわちアクセスユニット０のピクチャ、図９の場合のピクチャ１００ａにおいて、第１の列は、それをｃｏｌｌｄｘ＝０とすると、イントラブロック内でのみ符号化される。
【0107】
次のアクセスユニットＡＵ＝１、つまり図９の符号化／復号化順序５８で２番目のピクチャ１００ｂにおいて、２番目の列、即ちｃｏｌｌｄｘ＝１は、イントラブロックのみを用いて符号化され、1番目の列は、前のピクチャの列ｃｏｌｌｄｘ＝０で復号されたサンプルのみを参照できるインター符号化ブロックを用いて符号化される。しかしながら、エンコーダがデータストリーム内で符号化できるように動きベクトルを制約する代わりに、図９の実施形態はまた、列ｃｏｌｌｄｘ＝０のときに他の領域への依存性を実際にもたらすような動きベクトルを自由に符号化できる。特に、図９の実施形態によれば、イントラリフレッシュ領域、すなわちこの例の第１の列が示され、最も外側のピクセルラインの直交外挿（orthogonal extrapolation）などのパディングが、インター符号化ブロックの参照ブロックのために使用され、それらインター符号化ブロックは、動きベクトルが指示する場合、アクセスユニット１のピクチャの列ｃｏｌｌｄｘ＝０を超えるブロックである。領域の指示に基づく動きベクトルクリッピングを代替的または追加的に適用することで、リフレッシュされる領域の動きベクトルがリフレッシュされない領域に依存しないことを保証することができる。ピクチャが連続的に復号されるにつれて、リフレッシュされた領域１１８が増加し、したがって、ピクチャごとにリフレッシュされた領域１１０が示される。
【0108】
図９の代替案は、エンコーダ１０４が、連続するピクチャ１００ａ～１００ｃの更新リフレッシュ領域１１０の連続する位置、すなわち、段階的な復号リフレッシュを形成するピクチャのシーケンスの位置を、これら領域１１０のパターンを示すことによって、シグナリングすることであろうという点に留意されたい。このパターンは、リフレッシングを説明するであろう。シーケンスごとの領域も示され得る。したがって、この種の情報は、ピクチャ１００ａ、すなわち、ＧＤＲシーケンス１００ａ～１００ｃの開始ピクチャに対して１回シグナリングされることができ、それによって、ＧＤＲ開始をシグナリングし、また、ピクチャ１００ａ～ｃについて領域１１０をシグナリングできる。前者の指示は、ＰＰＳで指示できる何かであってもよい。代替的に、ＧＤＲ開始指示は、ピクチャ１００ａに関し、そのＰＰＳ内などでシグナリングされてもよく、一方、そのようなＧＤＲ開始ピクチャから始まるＧＤＲピクチャシーケンスにおける領域１１０の位置のパターンは、ＳＰＳ内でなど、より高いレベルでシグナリングされる何かであってもよい。
【0109】
上記の実施形態に関して、さらなる注意点を以下に述べる。上記の実施形態は、有利なビデオコーデックの概念を提示している。それらの多くは、上で概説したように有利なビデオ合成を可能にする。しかしながら、エンコーダは、上記の本発明のデータストリーム１０のいずれかを直接的に、すなわち、事前に符号化されたサブストリームの合成なしに、形成してもよいことに留意されたい。エンコーダは、そのような作業において、ＲＡＰ時点および参照ピクチャバッファ記述をピクチャ全体ではなくサブピクチャごとに選択する可能性など、上記説明に存在するデータストリーム１０の有利な特性を利用してもよい。
【0110】
したがって、上記の実施形態はまた、データストリーム１０からピクチャ１８のビデオ１６を復号するビデオデコーダ（および対応するビデオエンコーダおよびデータストリーム）に関連し、データストリーム１０は、ピクチャが空間的にサブ分割されているサブピクチャ２４が互いに独立して符号化される方法でその中に符号化されたビデオを有するものである。このビデオデコーダは、データストリームから、ビデオの１つ以上のピクチャのセット４２の各ピクチャの各サブピクチャについて、シンタックス要素nal_unit_typeなどのサブピクチャ関連情報４０を復号するように構成され、その関連情報４０は、状態ＩＤＲ＿Ｎ＿ＬＰなどの第１の状態であるときは、それぞれのサブピクチャをランダムアクセスポイント方式で符号化されていると識別し、状態ＴＲＡＩＬ＿ＮＵＴなどの第２の状態であるときは、それぞれのサブピクチャをランダムアクセスポイント方式で符号化されていないと識別する。デコーダは、データストリームから、シンタックス要素mixed_nalu_types_in_pic_flagがそれらのＰＰＳに含まれている１つ以上のピクチャのセット４２について、ランダムアクセスポイント・シグナリング粒度指示４４を復号し、この指示はmixed_nalu_types_in_pic_flagと称されてもよく、これが第１の粒度または０などの第１の状態であるときは、１つ以上のピクチャのセットの各ピクチャについて、サブピクチャ関連情報が、それぞれのピクチャのすべてのサブピクチャに対してＩＤＲ＿Ｎ＿ＬＰなどの１つの共通の状態であることを示し、第２の粒度または１などの第２の状態を呈するときは、１つ以上のピクチャのセットの各ピクチャについて、サブピクチャ関連情報が、それぞれのピクチャのサブピクチャに対して異なる状態、例えば、同じピクチャ内で、少なくとも１つのサブピクチャについてＩＤＲ＿Ｎ＿ＬＰであり、少なくとも１つの他のサブピクチャについてＴＲＡＩＬ＿ＮＵＴである状態をとり得ることを示す。言い換えると、mixed_nalu_types_in_pic_flagが０に等しいなどの第1の状態である場合、nal_unit_typeの値が、１つのピクチャのすべての符号化済みスライスＮＡＬユニット、つまり１つのピクチャ内のすべてのサブピクチャについて同じであることを示し得る。しかし、それ以外の場合、mixed_nalu_types_in_pic_flagが他の状態、例えば１に等しい場合、これは、そのピクチャの１つ以上のサブピクチャのＶＣＬＮＡＬユニットがすべて、ＳＴＳＡ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、ＲＡＳＬ＿ＮＵＴ、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、およびＣＲＡ＿ＮＵＴの１つ以上から成るＮＡＬユニットセットからの１つのような、nal_unit_typeの特異な値を有する一方で、そのピクチャの他のＶＣＬ ＮＡＬユニットはすべて、nal_unit_typeの異なる特異な値、つまり、ＴＲＡＩＬ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴおよびＲＡＳＬ＿ＮＵＴの１つ以上で構成される別のセットからの１つを有する。さらに換言すれば、mixed_nalu_types_in_pic_flagが１などの第２の状態を呈する場合、mixed_nalu_types_in_pic_flagを含むＰＰＳを参照する各ピクチャは複数のＶＣＬ ＮＡＬユニットを有し、それらＶＣＬＮＡＬユニットは同じ値のnal_unit_typeを持たず、かつそのピクチャがＩＲＡＰピクチャではないことを特定し得る一方で、mixed_nalu_types_in_pic_flagが０などの他の状態を呈する場合、そのＰＰＳを参照する各ピクチャは１つ以上のＶＣＬＮＡＬユニットを有し、ＰＰＳを参照する各ピクチャのＶＣＬ ＮＡＬユニットはnal_unit_typeの同じ値を持つことを示し得る。この手段により、mixed_nalu_types_in_pic_flagを１などの第１の状態に設定して、サブピクチャ・ビットストリーム統合（マージ）操作から発生したものなど、ＰＰＳを参照するピクチャに対し、それらが異なるＮＡＬユニットタイプのスライスを含むことを示し得る。
【0111】
いくつかの態様は装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明される態様はまた、対応するブロックまたはアイテム、または対応する装置の特徴の説明を表す。方法ステップのいくつかまたはすべては、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（または使用して）実行され得る。いくつかの実施形態では、１つ以上の最も重要な方法ステップは、そのような装置によって実行され得る。
【0112】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装は、デジタル記憶媒体、例えば、フレキシブルディスク、DVD、Blu-Ray（商標）、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して実行でき、それらの上には、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協力する（または協力することができる）電子的に読み取り可能な制御信号が格納されている。したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。
【0113】
本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協調することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0114】
本発明の符号化されたビデオ信号またはデータストリームは、それぞれ、デジタル記憶媒体に記憶することができ、または無線伝送媒体などの伝送媒体またはインターネットなどの有線伝送媒体で送信することができる。
【0115】
一般に、本発明の実施形態は、プログラムコードを備えたコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するために動作可能である。プログラムコードは、例えば、機械可読キャリアに格納され得る。
【0116】
他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。
【0117】
言い換えれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0118】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムをその上に記録したデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形および／または非一時的である。
【0119】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットを介して、データ通信接続を介して転送されるように構成され得る。
【0120】
さらなる実施形態は、本明細書に記載の方法の１つを実行するように構成または適合された処理手段、例えば、コンピュータ、またはプログラマブルロジックデバイスを含む。
【0121】
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを含む。
【0122】
本発明によるさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを（例えば、電子的または光学的に）受信機に転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバーを備え得る。
【0123】
いくつかの実施形態では、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能のいくつかまたはすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するために、マイクロプロセッサと協調することができる。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
【0124】
本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装することができる。
【0125】
本明細書に記載の装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実装され得る。
【0126】
本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行することができる。
【0127】
本明細書に記載の方法、または本明細書に記載の装置の任意の構成要素は、ハードウェアおよび／またはソフトウェアによって少なくとも部分的に実行され得る。
【0128】
上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載の配置および詳細の修正および変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の説明および説明として提示された特定の詳細によってではなく、添付した特許クレームの範囲によってのみ制限されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2023-07-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
データストリーム（１０）からピクチャのセット（１８，４２）を復号するための方法であって、
前記データストリーム（１０）からフラグ（４４）とサブピクチャ関連情報（４０）とを復号することであって、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示す、復号することと、
前記フラグ（４４）が第１の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じであることを決定することと、
前記フラグ（４４）が第２の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化することを決定することと、
前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定することと、
前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定することと、
を備える、方法。
前記データストリーム（１０）からフラグ（４４）とサブピクチャ関連情報（４０）とを復号することであって、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示す、復号することと、
前記フラグ（４４）が第１の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じであることを決定することと、
前記フラグ（４４）が第２の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化することを決定することと、
前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定することと、
前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定することと、
を備える、方法。
【請求項2】
前記フラグ（４４）が前記第２の粒度を示すことに応じて、前記サブピクチャ関連情報（４０）が、前記ピクチャ（１８）の前記サブピクチャ（２４）について異なる状態を示す、請求項１に記載の方法。
【請求項3】
前記フラグ（４４）は、前記データストリーム（１０）のシーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）に含まれており、
前記サブピクチャ関連情報（４０）は、前記ピクチャ（１８）の特定のスライスに関連付けられている、
請求項１に記載の方法。
前記サブピクチャ関連情報（４０）は、前記ピクチャ（１８）の特定のスライスに関連付けられている、
請求項１に記載の方法。
【請求項4】
前記フラグ（４４）が前記第１の粒度を示し、前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記方法は、前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてがランダムアクセスポイント方式で符号化されていることを決定することを備え、
前記フラグ（４４）が前記第１の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記方法は、前記ピクチャ（１８）のいずれの前記サブピクチャ（２４）もランダムアクセスポイント方式で符号化されていないことを決定することを備え、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記方法は、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定することを備え、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記方法は、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定することを備える、
請求項１に記載の方法。
前記フラグ（４４）が前記第１の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記方法は、前記ピクチャ（１８）のいずれの前記サブピクチャ（２４）もランダムアクセスポイント方式で符号化されていないことを決定することを備え、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記方法は、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定することを備え、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記方法は、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定することを備える、
請求項１に記載の方法。
【請求項5】
前記フラグ（４４）がゼロにセットされているとき、前記フラグ（４４）が前記第１の粒度を示すことを決定することと、
前記フラグ（４４）が１にセットされているとき、前記フラグ（４４）が前記第２の粒度を示すことを決定することと、
をさらに備える、請求項１に記載の方法。
前記フラグ（４４）が１にセットされているとき、前記フラグ（４４）が前記第２の粒度を示すことを決定することと、
をさらに備える、請求項１に記載の方法。
【請求項6】
前記サブピクチャ関連情報（４０）に対応する整数値シンタックス要素に基づいて２つのＮＡＬユニットタイプサブセットを区別することをさらに備え、
前記２つのＮＡＬユニットタイプサブセットの第１のものは、前記第１の状態に対応し、前記２つのＮＡＬユニットタイプサブセットの第２のものは、前記第２の状態に対応する、
請求項１に記載の方法。
前記２つのＮＡＬユニットタイプサブセットの第１のものは、前記第１の状態に対応し、前記２つのＮＡＬユニットタイプサブセットの第２のものは、前記第２の状態に対応する、
請求項１に記載の方法。
【請求項7】
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第１の粒度を示すことを決定することと、
前記ピクチャ（１８）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定することと、
をさらに備える、請求項１に記載の方法。
前記ピクチャ（１８）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定することと、
をさらに備える、請求項１に記載の方法。
【請求項8】
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第２の粒度を示すことを決定することと、
前記ピクチャ（１８）の前記少なくとも１つのサブピクチャ（２４）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定することと、
をさらに備える、請求項１に記載の方法。
前記ピクチャ（１８）の前記少なくとも１つのサブピクチャ（２４）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定することと、
をさらに備える、請求項１に記載の方法。
【請求項9】
前記フラグ（４４）が第２の粒度を示す場合、前記サブピクチャ（２４）を復号する間に前記サブピクチャ（２４）の少なくとも１つをバッファに格納することと、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてが解析または復号された後に前記バッファをフラッシュすることと、
をさらに備える、請求項１に記載の方法。
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてが解析または復号された後に前記バッファをフラッシュすることと、
をさらに備える、請求項１に記載の方法。
【請求項10】
データストリーム（１０）からピクチャのセット（１８，４２）を復号するための電子デバイスであって、
前記データストリーム（１０）からフラグ（４４）とサブピクチャ関連情報（４０）とを復号し、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示し、
前記フラグ（４４）が第１の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じであることを決定し、
前記フラグ（４４）が第２の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化することを決定し、
前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定し、
前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定する、
ように構成されたプロセッサを備える、電子デバイス。
前記データストリーム（１０）からフラグ（４４）とサブピクチャ関連情報（４０）とを復号し、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示し、
前記フラグ（４４）が第１の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じであることを決定し、
前記フラグ（４４）が第２の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化することを決定し、
前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定し、
前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定する、
ように構成されたプロセッサを備える、電子デバイス。
【請求項11】
前記フラグ（４４）が前記第２の粒度を示すことに応じて、前記サブピクチャ関連情報（４０）が前記ピクチャ（１８）の前記サブピクチャ（２４）について異なる状態を示す、請求項１０に記載の電子デバイス。
【請求項12】
前記フラグ（４４）は、前記データストリーム（１０）のシーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）に含まれており、
前記サブピクチャ関連情報（４０）は、前記ピクチャ（１８）の特定のスライスに関連付けられている、
請求項１０に記載の電子デバイス。
前記サブピクチャ関連情報（４０）は、前記ピクチャ（１８）の特定のスライスに関連付けられている、
請求項１０に記載の電子デバイス。
【請求項13】
前記フラグ（４４）が前記第１の粒度を示し、前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記プロセッサは、前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてがランダムアクセスポイント方式で符号化されていることを決定するように構成され、
前記フラグ（４４）が前記第１の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記プロセッサは、実行されたときに少なくとも１つのプロセッサに、前記ピクチャ（１８）のいずれの前記サブピクチャ（２４）もランダムアクセスポイント方式で符号化されていないことを決定するように構成され、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記プロセッサは、実行されたときに少なくとも１つのプロセッサに、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定するように構成され、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記プロセッサは、実行されたときに少なくとも１つのプロセッサに、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定するように構成される、
請求項１０に記載の電子デバイス。
前記フラグ（４４）が前記第１の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記プロセッサは、実行されたときに少なくとも１つのプロセッサに、前記ピクチャ（１８）のいずれの前記サブピクチャ（２４）もランダムアクセスポイント方式で符号化されていないことを決定するように構成され、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記プロセッサは、実行されたときに少なくとも１つのプロセッサに、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定するように構成され、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記プロセッサは、実行されたときに少なくとも１つのプロセッサに、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定するように構成される、
請求項１０に記載の電子デバイス。
【請求項14】
前記プロセッサは、
前記フラグ（４４）がゼロにセットされているとき、前記フラグ（４４）が前記第１の粒度を示すことを決定し、
前記フラグ（４４）が１にセットされているとき、前記フラグ（４４）が前記第２の粒度を示すことを決定する、
ようにさらに構成される、請求項１０に記載の電子デバイス。
前記フラグ（４４）がゼロにセットされているとき、前記フラグ（４４）が前記第１の粒度を示すことを決定し、
前記フラグ（４４）が１にセットされているとき、前記フラグ（４４）が前記第２の粒度を示すことを決定する、
ようにさらに構成される、請求項１０に記載の電子デバイス。
【請求項15】
前記プロセッサは、前記サブピクチャ関連情報（４０）に対応する整数値シンタックス要素に基づいて２つのＮＡＬユニットタイプサブセットを区別するようにさらに構成され、
前記２つのＮＡＬユニットタイプサブセットの第１のものは、前記第１の状態に対応し、前記２つのＮＡＬユニットタイプサブセットの第２のものは、前記第２の状態に対応する、
請求項１０に記載の電子デバイス。
前記２つのＮＡＬユニットタイプサブセットの第１のものは、前記第１の状態に対応し、前記２つのＮＡＬユニットタイプサブセットの第２のものは、前記第２の状態に対応する、
請求項１０に記載の電子デバイス。
【請求項16】
前記プロセッサは、
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第１の粒度を示すことを決定し、
前記ピクチャ（１８）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定する、
ようにさらに構成される、請求項１０に記載の電子デバイス。
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第１の粒度を示すことを決定し、
前記ピクチャ（１８）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定する、
ようにさらに構成される、請求項１０に記載の電子デバイス。
【請求項17】
前記プロセッサは、
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第２の粒度を示すことを決定し、
前記ピクチャ（１８）の前記少なくとも１つのサブピクチャ（２４）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定する、
ようにさらに構成される、請求項１０に記載の電子デバイス。
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第２の粒度を示すことを決定し、
前記ピクチャ（１８）の前記少なくとも１つのサブピクチャ（２４）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定する、
ようにさらに構成される、請求項１０に記載の電子デバイス。
【請求項18】
前記プロセッサは、
前記フラグ（４４）が第２の粒度を示す場合、前記サブピクチャ（２４）を復号する間に前記サブピクチャ（２４）の少なくとも１つをバッファに格納し、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてが解析または復号された後に前記バッファをフラッシュする、
ようにさらに構成される、請求項１０に記載の電子デバイス。
前記フラグ（４４）が第２の粒度を示す場合、前記サブピクチャ（２４）を復号する間に前記サブピクチャ（２４）の少なくとも１つをバッファに格納し、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてが解析または復号された後に前記バッファをフラッシュする、
ようにさらに構成される、請求項１０に記載の電子デバイス。
【請求項19】
データストリーム（１０）からピクチャのセット（１８，４２）を復号するための命令を備える非一過性のコンピュータ可読媒体であって、前記命令は、実行された場合、少なくとも１つのプロセッサに、
前記データストリーム（１０）からフラグ（４４）とサブピクチャ関連情報（４０）とを復号させ、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示し、
前記フラグ（４４）が第１の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じであることを決定させ、
前記フラグ（４４）が第２の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化することを決定させ、
前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて前記サブピクチャ（２４）の少なくとも１つが、ランダムアクセスポイント方式で符号化されていることを決定させ、
前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて前記サブピクチャ（２４）の少なくとも１つが、ランダムアクセスポイント方式で符号化されていないことを決定させる、
命令を備える、非一過性のコンピュータ可読媒体。
前記データストリーム（１０）からフラグ（４４）とサブピクチャ関連情報（４０）とを復号させ、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示し、
前記フラグ（４４）が第１の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じであることを決定させ、
前記フラグ（４４）が第２の粒度を示すことに応じて、前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化することを決定させ、
前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて前記サブピクチャ（２４）の少なくとも１つが、ランダムアクセスポイント方式で符号化されていることを決定させ、
前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて前記サブピクチャ（２４）の少なくとも１つが、ランダムアクセスポイント方式で符号化されていないことを決定させる、
命令を備える、非一過性のコンピュータ可読媒体。
【請求項20】
前記フラグ（４４）が前記第２の粒度を示すことに応じて、前記サブピクチャ関連情報（４０）が、前記ピクチャ（１８）の前記サブピクチャ（２４）について異なる状態を示す、請求項１９に記載の非一過性のコンピュータ可読媒体。
【請求項21】
前記フラグ（４４）は、前記データストリーム（１０）のシーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）に含まれており、
前記サブピクチャ関連情報（４０）は、前記ピクチャ（１８）の特定のスライスに関連付けられている、
請求項１９に記載の非一過性のコンピュータ可読媒体。
前記サブピクチャ関連情報（４０）は、前記ピクチャ（１８）の特定のスライスに関連付けられている、
請求項１９に記載の非一過性のコンピュータ可読媒体。
【請求項22】
前記フラグ（４４）が前記第１の粒度を示し、前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記命令は、実行されたときに少なくとも１つのプロセッサに、前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてがランダムアクセスポイント方式で符号化されていることを決定させ、
前記フラグ（４４）が前記第１の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記命令は、実行されたときに少なくとも１つのプロセッサに、前記ピクチャ（１８）のいずれの前記サブピクチャ（２４）もランダムアクセスポイント方式で符号化されていないことを決定させ、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記命令は、実行されたときに少なくとも１つのプロセッサに、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定させ、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記命令は、実行されたときに少なくとも１つのプロセッサに、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定させる、
請求項１９に記載の非一過性のコンピュータ可読媒体。
前記フラグ（４４）が前記第１の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記命令は、実行されたときに少なくとも１つのプロセッサに、前記ピクチャ（１８）のいずれの前記サブピクチャ（２４）もランダムアクセスポイント方式で符号化されていないことを決定させ、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第１の状態を示すことに応じて、前記命令は、実行されたときに少なくとも１つのプロセッサに、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていることを決定させ、
前記フラグ（４４）が前記第２の粒度を示し、前記サブピクチャ関連情報（４０）が前記第２の状態を示すことに応じて、前記命令は、実行されたときに少なくとも１つのプロセッサに、前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていないことを決定させる、
請求項１９に記載の非一過性のコンピュータ可読媒体。
【請求項23】
実行された場合、前記少なくとも１つのプロセッサに、
前記フラグ（４４）がゼロにセットされているとき、前記フラグ（４４）が前記第１の粒度を示すことを決定させ、
前記フラグ（４４）が１にセットされているとき、前記フラグ（４４）が前記第２の粒度を示すことを決定させる、
命令をさらに備える、請求項１９に記載の非一過性のコンピュータ可読媒体。
前記フラグ（４４）がゼロにセットされているとき、前記フラグ（４４）が前記第１の粒度を示すことを決定させ、
前記フラグ（４４）が１にセットされているとき、前記フラグ（４４）が前記第２の粒度を示すことを決定させる、
命令をさらに備える、請求項１９に記載の非一過性のコンピュータ可読媒体。
【請求項24】
実行された場合、前記少なくとも１つのプロセッサに、前記サブピクチャ関連情報（４０）に対応する整数値シンタックス要素に基づいて２つのＮＡＬユニットタイプサブセットを区別させる命令をさらに備え、
前記２つのＮＡＬユニットタイプサブセットの第１のものは、前記第１の状態に対応し、前記２つのＮＡＬユニットタイプサブセットの第２のものは、前記第２の状態に対応する、
請求項１９に記載の非一過性のコンピュータ可読媒体。
前記２つのＮＡＬユニットタイプサブセットの第１のものは、前記第１の状態に対応し、前記２つのＮＡＬユニットタイプサブセットの第２のものは、前記第２の状態に対応する、
請求項１９に記載の非一過性のコンピュータ可読媒体。
【請求項25】
実行された場合、前記少なくとも１つのプロセッサに、
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第１の粒度を示すことを決定させ、
前記ピクチャ（１８）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定させる、
命令をさらに備える、請求項１９に記載の非一過性のコンピュータ可読媒体。
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第１の粒度を示すことを決定させ、
前記ピクチャ（１８）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定させる、
命令をさらに備える、請求項１９に記載の非一過性のコンピュータ可読媒体。
【請求項26】
実行された場合、前記少なくとも１つのプロセッサに、
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第２の粒度を示すことを決定させ、
前記ピクチャ（１８）の前記少なくとも１つのサブピクチャ（２４）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定させる、
命令をさらに備える、請求項１９に記載の非一過性のコンピュータ可読媒体。
前記フラグ（４４）の復号された値に基づいて、前記フラグ（４４）が前記第２の粒度を示すことを決定させ、
前記ピクチャ（１８）の前記少なくとも１つのサブピクチャ（２４）を符号化するためにランダムアクセスポイント方式が使用されたかどうかを前記ＮＡＬユニットタイプ（３４’）が示すことを決定させる、
命令をさらに備える、請求項１９に記載の非一過性のコンピュータ可読媒体。
【請求項27】
実行された場合、前記少なくとも１つのプロセッサに、
前記フラグ（４４）が第２の粒度を示す場合、前記サブピクチャ（２４）を復号する間に前記サブピクチャ（２４）の少なくとも１つをバッファに格納させ、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてが解析または復号された後に前記バッファをフラッシュさせる、
命令をさらに備える、請求項１９に記載の非一過性のコンピュータ可読媒体。
前記フラグ（４４）が第２の粒度を示す場合、前記サブピクチャ（２４）を復号する間に前記サブピクチャ（２４）の少なくとも１つをバッファに格納させ、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてが解析または復号された後に前記バッファをフラッシュさせる、
命令をさらに備える、請求項１９に記載の非一過性のコンピュータ可読媒体。
【請求項28】
ピクチャのセット（１８，４２）をデータストリーム（１０）に符号化するための方法であって、
前記データストリーム（１０）にフラグ（４４）とサブピクチャ関連情報（４０）とを符号化することであって、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示す、符号化することと、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じである場合、前記フラグ（４４）が第１の粒度を示すように前記フラグ（４４）をセットすることと、
前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化する場合、前記フラグ（４４）が第２の粒度を示すように前記フラグ（４４）をセットすることと、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されている場合、前記サブピクチャ関連情報（４０）が前記第１の状態を示すように前記サブピクチャ関連情報（４０）をセットすることと、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていない場合、前記サブピクチャ関連情報（４０）が前記第２の状態を示すように前記サブピクチャ関連情報（４０）をセットすることと、
を備える、方法。
前記データストリーム（１０）にフラグ（４４）とサブピクチャ関連情報（４０）とを符号化することであって、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示す、符号化することと、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じである場合、前記フラグ（４４）が第１の粒度を示すように前記フラグ（４４）をセットすることと、
前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化する場合、前記フラグ（４４）が第２の粒度を示すように前記フラグ（４４）をセットすることと、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されている場合、前記サブピクチャ関連情報（４０）が前記第１の状態を示すように前記サブピクチャ関連情報（４０）をセットすることと、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていない場合、前記サブピクチャ関連情報（４０）が前記第２の状態を示すように前記サブピクチャ関連情報（４０）をセットすることと、
を備える、方法。
【請求項29】
ピクチャのセット（１８，４２）をデータストリーム（１０）に符号化するための電子デバイスであって、
前記データストリーム（１０）にフラグ（４４）とサブピクチャ関連情報（４０）とを符号化し、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示し、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じである場合、前記フラグ（４４）が第１の粒度を示すように前記フラグ（４４）をセットし、
前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化する場合、前記フラグ（４４）が第２の粒度を示すように前記フラグ（４４）をセットし、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されている場合、前記サブピクチャ関連情報（４０）が前記第１の状態を示すように前記サブピクチャ関連情報（４０）をセットし、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていない場合、前記サブピクチャ関連情報（４０）が前記第２の状態を示すように前記サブピクチャ関連情報（４０）をセットする、
ように構成されたプロセッサを備える、電子デバイス。
前記データストリーム（１０）にフラグ（４４）とサブピクチャ関連情報（４０）とを符号化し、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示し、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じである場合、前記フラグ（４４）が第１の粒度を示すように前記フラグ（４４）をセットし、
前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化する場合、前記フラグ（４４）が第２の粒度を示すように前記フラグ（４４）をセットし、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されている場合、前記サブピクチャ関連情報（４０）が前記第１の状態を示すように前記サブピクチャ関連情報（４０）をセットし、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていない場合、前記サブピクチャ関連情報（４０）が前記第２の状態を示すように前記サブピクチャ関連情報（４０）をセットする、
ように構成されたプロセッサを備える、電子デバイス。
【請求項30】
ピクチャのセット（１８，４２）をデータストリーム（１０）に符号化するための命令を備える非一過性のコンピュータ可読媒体であって、前記命令は、実行された場合、少なくとも１つのプロセッサに、
前記データストリーム（１０）にフラグ（４４）とサブピクチャ関連情報（４０）とを符号化させ、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示し、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じである場合、前記フラグ（４４）が第１の粒度を示すように前記フラグ（４４）をセットさせ、
前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化する場合、前記フラグ（４４）が第２の粒度を示すように前記フラグ（４４）をセットさせ、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されている場合、前記サブピクチャ関連情報（４０）が前記第１の状態を示すように前記サブピクチャ関連情報（４０）をセットさせ、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていない場合、前記サブピクチャ関連情報（４０）が前記第２の状態を示すように前記サブピクチャ関連情報（４０）をセットさせる、
命令を備える、非一過性のコンピュータ可読媒体。
前記データストリーム（１０）にフラグ（４４）とサブピクチャ関連情報（４０）とを符号化させ、前記フラグ（４４）は、前記サブピクチャ関連情報（４０）が前記ピクチャのセット（１８，４２）からのピクチャ（１８）のサブピクチャ（２４）の間で変化するかどうかを示し、前記サブピクチャ関連情報（４０）は、前記サブピクチャ（２４）のＮＡＬユニットタイプ（３４’）を示し、
前記ピクチャ（１８）の前記サブピクチャ（２４）のすべてに対して前記ＮＡＬユニットタイプ（３４’）が同じである場合、前記フラグ（４４）が第１の粒度を示すように前記フラグ（４４）をセットさせ、
前記ピクチャ（１８）の前記サブピクチャ（２４）の少なくとも２つの間で前記ＮＡＬユニットタイプ（３４’）が変化する場合、前記フラグ（４４）が第２の粒度を示すように前記フラグ（４４）をセットさせ、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されている場合、前記サブピクチャ関連情報（４０）が前記第１の状態を示すように前記サブピクチャ関連情報（４０）をセットさせ、
前記サブピクチャ（２４）の少なくとも１つがランダムアクセスポイント方式で符号化されていない場合、前記サブピクチャ関連情報（４０）が前記第２の状態を示すように前記サブピクチャ関連情報（４０）をセットさせる、
命令を備える、非一過性のコンピュータ可読媒体。