▶ フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオの特許一覧
特開2022-8410効率的削減または効率的ランダムアクセスを可能にする画像／ビデオデータストリームについての概念
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022008410
(43)【公開日】2022-01-13
(54)【発明の名称】効率的削減または効率的ランダムアクセスを可能にする画像／ビデオデータストリームについての概念
(51)【国際特許分類】
H04N 19/85 20140101AFI20220105BHJP
H04N 19/70 20140101ALI20220105BHJP
【ＦＩ】
H04N19/85
H04N19/70
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2021150338
(22)【出願日】2021-09-15
(62)【分割の表示】P 2020178471の分割
【原出願日】2017-02-08
(31)【優先権主張番号】16154947.2
(32)【優先日】2016-02-09
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】591037214
【氏名又は名称】フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(72)【発明者】
【氏名】スクーピン ローベルト
(72)【発明者】
【氏名】サンチェス ヤーゴ
(72)【発明者】
【氏名】シーアル トーマス
(72)【発明者】
【氏名】ヘルゲ コルネリウス
(72)【発明者】
【氏名】グルーエネベルク カルステン
(72)【発明者】
【氏名】ウィーガント トーマス
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK40
5C159LA00
5C159RC11
5C159RC19
5C159RC22
(57)【要約】 （修正有）
【課題】パノラマ画像コンテンツの立方体状投影画像を効率的に符号化し、それを復号するデコーダ及び復号化方法を提供する。
【解決手段】データストリームを復号するデコーダは、少なくとも１つの既定のサブ領域のセット内の既定のサブ領域のカウント２２０と、目標画像領域のサイズを定義するサイズパラメータ２２２と、を含み、少なくとも１つの既定のサブ領域の各々を目標画像の領域内でどのように変位させるかを示す変位情報を用いて目標画像を合成する。
【選択図】図１９
【解決手段】データストリームを復号するデコーダは、少なくとも１つの既定のサブ領域のセット内の既定のサブ領域のカウント２２０と、目標画像領域のサイズを定義するサイズパラメータ２２２と、を含み、少なくとも１つの既定のサブ領域の各々を目標画像の領域内でどのように変位させるかを示す変位情報を用いて目標画像を合成する。
【選択図】図１９
【特許請求の範囲】
【請求項1】
画像が符号化されているデータストリームを復号化するためのデコーダであって、前記デコーダは
前記データストリームから前記画像を再構成するように構成された復号化コア（２３４）と、
目標画像の領域内の前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するように構成された変位器（２３６）と
を含み、
前記変位器は、
前記画像の前記少なくとも１つの既定のサブ領域のセット内の前記既定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
前記変位情報によって示すことができる、目標画像領域（２１６）内での前記少なくとも１つの既定のサブ領域のセットの前記変位（２１８）によって、
前記目標画像内での前記既定のサブ領域の空間相対配置に対する前記画像内での前記既定のサブ領域の空間相対配置の変更、および
各既定のサブ領域の前記画像と前記目標画像の間でのスケーリングが可能になるように、
前記画像の前記少なくとも１つの既定のサブ領域のセットの各既定のサブ領域について、
前記目標画像領域における前記各既定のサブ領域の幅、高さ、一番上のサンプル行および最も左のサンプル列、および
前記画像内の各既定の領域のさらなる幅、さらなる高さ、さらなる一番上のサンプル行およびさらなる最も左のサンプル列と
前記データストリームから前記変位情報の一部として読込み、
前記画像の前記少なくとも１つの既定のサブ領域のセットのうちの前記既定のサブ領域のそれぞれを、前記目標画像領域における前記各既定のサブ領域の前記幅、前記高さ、前記一番上のサンプル行および前記最も左のサンプル列、ならびに前記画像内の前記各既定の領域の前記さらなる幅、前記さらなる高さ、前記さらなる一番上のサンプル行および前記さらなる最も左のサンプル列に応じて、前記目標画像の前記領域との前記画像のオーバーレイに対して変位させる
ように構成される、
デコーダ。
前記データストリームから前記画像を再構成するように構成された復号化コア（２３４）と、
目標画像の領域内の前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するように構成された変位器（２３６）と
を含み、
前記変位器は、
前記画像の前記少なくとも１つの既定のサブ領域のセット内の前記既定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
前記変位情報によって示すことができる、目標画像領域（２１６）内での前記少なくとも１つの既定のサブ領域のセットの前記変位（２１８）によって、
前記目標画像内での前記既定のサブ領域の空間相対配置に対する前記画像内での前記既定のサブ領域の空間相対配置の変更、および
各既定のサブ領域の前記画像と前記目標画像の間でのスケーリングが可能になるように、
前記画像の前記少なくとも１つの既定のサブ領域のセットの各既定のサブ領域について、
前記目標画像領域における前記各既定のサブ領域の幅、高さ、一番上のサンプル行および最も左のサンプル列、および
前記画像内の各既定の領域のさらなる幅、さらなる高さ、さらなる一番上のサンプル行およびさらなる最も左のサンプル列と
前記データストリームから前記変位情報の一部として読込み、
前記画像の前記少なくとも１つの既定のサブ領域のセットのうちの前記既定のサブ領域のそれぞれを、前記目標画像領域における前記各既定のサブ領域の前記幅、前記高さ、前記一番上のサンプル行および前記最も左のサンプル列、ならびに前記画像内の前記各既定の領域の前記さらなる幅、前記さらなる高さ、前記さらなる一番上のサンプル行および前記さらなる最も左のサンプル列に応じて、前記目標画像の前記領域との前記画像のオーバーレイに対して変位させる
ように構成される、
デコーダ。
【請求項2】
前記変位器は、前記少なくとも１つの既定のサブ領域のセットが前記画像（２０４）を完全に覆っていない場合、前記画像の変位されていない部分を前記目標画像領域（２１６）に変位しないようにコピーするように構成される、請求項１に記載のデコーダ。
【請求項3】
前記変位情報は、
画像サンプル、
前記画像が細分化されたタイルであって、前記画像は、前記タイルの単位で相互依存性を符号化せずに符号化され、また前記少なくとも１つのサブ領域（２１４）のセットは各々、前記タイルから成るタイル、
のうちの１つを単位として前記各サブ領域の変位を示す、請求項１に記載のデコーダ。
画像サンプル、
前記画像が細分化されたタイルであって、前記画像は、前記タイルの単位で相互依存性を符号化せずに符号化され、また前記少なくとも１つのサブ領域（２１４）のセットは各々、前記タイルから成るタイル、
のうちの１つを単位として前記各サブ領域の変位を示す、請求項１に記載のデコーダ。
【請求項4】
前記画像の前記少なくとも１つのサブ領域のセットは、前記画像をギャップなし且つ重複自在にサブ領域のアレイに空間区分化したもののサブセットである、請求項１に記載のデコーダ。
【請求項5】
前記変位器は、前記目標画像の前記領域内で、前記画像を前記目標画像の前記領域に歪みなくコピーされたものに対して前記データストリームに含まれる前記変位情報に応じて変位された前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれをスケーリングすることによって、前記画像に基づいて前記目標画像を合成するように構成される、請求項１に記載のデコーダ。
【請求項6】
前記変位器は、前記変位情報に従って変位された前記画像の前記少なくとも１つの既定のサブ領域のセットが１つもなく、且つ、前記少なくとも１つの既定のサブ領域のセットが前記画像（２０４）を完全に覆っていない場合には前記画像の変位されていない部分もない前記目標画像領域の部分を、前記データストリームに含まれるデフォルト充填情報に従って充填するように構成される、請求項１に記載のデコーダ。
【請求項7】
前記目標画像領域は、パノラマシーンの立方体状投影を表す、請求項１に記載のデコーダ。
【請求項8】
前記目標画像領域上に単射的射影を適用して出力画像を形成するように構成されたレンダラ（２３８）をさらに備えた、請求項１に記載のデコーダ。
【請求項9】
画像が符号化されているデータストリームを復号化するための方法であって、前記方法は
前記データストリームから前記画像を再構成するステップと、
目標画像の領域内の前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するステップと
を含み、
前記合成するステップは、
前記画像の前記少なくとも１つの既定のサブ領域のセット内の前記既定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
前記変位情報によって示すことができる、目標画像領域（２１６）内での前記少なくとも１つの既定のサブ領域のセットの前記変位（２１８）によって、
前記目標画像内での前記既定のサブ領域の空間相対配置に対する前記画像内での前記既定のサブ領域の空間相対配置の変更、および
各既定のサブ領域の前記画像と前記目標画像の間でのスケーリング
が可能になるように、前記画像の前記少なくとも１つの既定のサブ領域のセットの各既定のサブ領域について、
前記目標画像領域における前記各既定のサブ領域の幅、高さ、一番上のサンプル行および最も左のサンプル列、および
前記画像内の各既定の領域のさらなる幅、さらなる高さ、さらなる一番上のサンプル行およびさらなる最も左のサンプル列と
前記データストリームから前記変位情報の一部として読込むステップと、
前記画像の前記少なくとも１つの既定のサブ領域のセットのうちの前記既定のサブ領域のそれぞれを、前記目標画像領域における前記各既定のサブ領域の前記幅、前記高さ、前記一番上のサンプル行および前記最も左のサンプル列、ならびに前記画像内の前記各既定の領域の前記さらなる幅、前記さらなる高さ、前記さらなる一番上のサンプル行および前記さらなる最も左のサンプル列に応じて、前記目標画像の前記領域との前記画像のオーバーレイに対して変位させるステップと
よを含む、
方法。
前記データストリームから前記画像を再構成するステップと、
目標画像の領域内の前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するステップと
を含み、
前記合成するステップは、
前記画像の前記少なくとも１つの既定のサブ領域のセット内の前記既定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
前記変位情報によって示すことができる、目標画像領域（２１６）内での前記少なくとも１つの既定のサブ領域のセットの前記変位（２１８）によって、
前記目標画像内での前記既定のサブ領域の空間相対配置に対する前記画像内での前記既定のサブ領域の空間相対配置の変更、および
各既定のサブ領域の前記画像と前記目標画像の間でのスケーリング
が可能になるように、前記画像の前記少なくとも１つの既定のサブ領域のセットの各既定のサブ領域について、
前記目標画像領域における前記各既定のサブ領域の幅、高さ、一番上のサンプル行および最も左のサンプル列、および
前記画像内の各既定の領域のさらなる幅、さらなる高さ、さらなる一番上のサンプル行およびさらなる最も左のサンプル列と
前記データストリームから前記変位情報の一部として読込むステップと、
前記画像の前記少なくとも１つの既定のサブ領域のセットのうちの前記既定のサブ領域のそれぞれを、前記目標画像領域における前記各既定のサブ領域の前記幅、前記高さ、前記一番上のサンプル行および前記最も左のサンプル列、ならびに前記画像内の前記各既定の領域の前記さらなる幅、前記さらなる高さ、前記さらなる一番上のサンプル行および前記さらなる最も左のサンプル列に応じて、前記目標画像の前記領域との前記画像のオーバーレイに対して変位させるステップと
よを含む、
方法。
【請求項10】
前記目標画像領域（２１６）は、パノラマシーンの立方体状投影を表す、請求項９に記載の方法。
【請求項11】
コンピュータ上で動作する時に、請求項１０に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムを格納している、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ／画像符号化に関し、特に、この種のデータストリームの効率的削減を可能にする概念、この種のデータストリームのより容易な取扱いを可能にする概念、および／またはビデオデータストリームへのより有効なランダムアクセスを可能にする概念に関する。
【背景技術】
【0002】
トランスコードなしに、すなわち、復号化および符号化を連続的に実行する必要性なしに、ビデオデータストリームのスケーラビリティを可能にするビデオコーデックが多く存在する。この種のスケーラブルなビデオデータストリームの例は、各スケーラブルビデオデータストリームのエンハンスメント層のいくつかを単に省略することにより、例えば時間解像度、空間解像度またはＳ／Ｎ比に関してスケーラブルであるデータストリームである。しかしながら、現在まで、シーン区切りに関する計算が複雑でないスケーラビリティを可能にするビデオコーデックは存在しない。ＨＥＶＣにおいて、ＨＥＶＣデータストリームを画像サブ領域に制限するための概念が存在しあるいは提案されたが、これらは計算上複雑である。
【0003】
さらに、アプリケーションに依存して、データストリームに符号化されるべき画像コンテンツは、通常提供される矩形の画像領域内で効果的に符号化されない形態であってもよい。例えば、パノラマ画像コンテンツは、２次元平面上に投射されてもよく、投射目標、すなわち、画像領域上へのパノラマシーンの到達範囲（footprint）は、非矩形であっても非凸でさえあってもよいように画像領域を形成する。その場合、画像／ビデオデータのより効率的な符号化が有利であろう。
【0004】
さらに、ランダムアクセスポイントは、かなりのビットレートピークを引き起こすように、既存のビデオデータストリームに提供される。これらのビットレートピークに起因する悪影響を削減するために、これらのランダムなアクセスポイントの発生の時間粒度の低下を考えることができる。しかしながら、これは、そのようなビデオデータストリームにランダムにアクセスするための平均時間継続時間を増加させ、したがって、より効率的な方法でこの問題を手近に解決する概念を有することが有利であろう。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、本発明の目的は、上記の問題を解決することである。本出願によれば、これは独立請求項の主題によって達成される。
【課題を解決するための手段】
【0006】
本出願の第１の態様によれば、削減されたビデオデータストリームの画像の制限が元のビデオデータストリームの画像の所定のサブ領域に単に制限されるように、かつ再量子化のようなトランスコードが回避され、元のビデオデータストリームの基礎となるコーデックに対する削減されたビデオデータストリームの適合性が維持されるようにビデオデータストリームが削減可能にレンダリングされる。これは、所定のサブ領域の表示、参照するためのペイロード部分により構成されたインデックスをリダイレクトするための置換インデックスおよび／または符号化パラメータ設定の第２のセットを生じるための符号
化パラメータ設定の第１のセットを調整するための置換パラメータからなる情報を有するビデオデータストリームを提供することにより達成される。元のビデオデータストリームのペイロード部分は、ペイロード部分に含まれるインデックスによってインデックスされた符号化パラメータ設定の第１のセットを使用して、その中でパラメータ化され符号化されたビデオの画像を有する。それに加えてまたは代替として、補助強化情報に関して同様の手段が実現可能である。従って、リダイレクトおよび／または調整を実行することによって、ビデオデータストリームを削減ビデオデータストリームに削減し、符号化パラメータ設定の第２のセットがペイロード部分のインデックスによってインデックス付けされ、したがって有効符号化パラメータ設定セットになり、所定の外側の画像の領域を参照するペイロード部分の一部を除去し、画像の周囲の代わりに所定のサブ領域の周囲から測定された位置を示すようにペイロード部分のスライスアドレスのような位置表示を、変更するようにすることが可能である。あるいは、所定のサブ領域の外側を参照するペイロード部分の部分を含まないように既に削減されたデータストリームは、パラメータおよび／または補助拡張情報のフライ調整（fly adjustment）によって変更されてもよい。
化パラメータ設定の第１のセットを調整するための置換パラメータからなる情報を有するビデオデータストリームを提供することにより達成される。元のビデオデータストリームのペイロード部分は、ペイロード部分に含まれるインデックスによってインデックスされた符号化パラメータ設定の第１のセットを使用して、その中でパラメータ化され符号化されたビデオの画像を有する。それに加えてまたは代替として、補助強化情報に関して同様の手段が実現可能である。従って、リダイレクトおよび／または調整を実行することによって、ビデオデータストリームを削減ビデオデータストリームに削減し、符号化パラメータ設定の第２のセットがペイロード部分のインデックスによってインデックス付けされ、したがって有効符号化パラメータ設定セットになり、所定の外側の画像の領域を参照するペイロード部分の一部を除去し、画像の周囲の代わりに所定のサブ領域の周囲から測定された位置を示すようにペイロード部分のスライスアドレスのような位置表示を、変更するようにすることが可能である。あるいは、所定のサブ領域の外側を参照するペイロード部分の部分を含まないように既に削減されたデータストリームは、パラメータおよび／または補助拡張情報のフライ調整（fly adjustment）によって変更されてもよい。
【0007】
本発明のさらなる態様によれば、画像コンテンツの送信は、画像コンテンツが所定の方法で、例えば、下層のコーデックによりサポートされる典型的に矩形の画像領域が書き込まれているような方法で画像コンテンツが形成または順序付けされる必要がないという点で、より効率的になされる。むしろ、その中に符号化された画像を有するデータストリームは、画像の少なくとも１つの所定のサブ領域のセットについて、セットの対象画像の領域への歪んでいないあるいは１対１対応のあるいは合同のコピーに関する対象画像の領域内の変位を示す変位情報を含むように提供されている。このような変位情報の提供は、例えば投射が非矩形の場合に例えばパノラマシーンの投射を画像内で伝達する場合に有用である。この変位情報は、データストリームの削減のために、例えば、予測等の遷移境界を横切る削減ビデオデータストリーム内で伝送されるべき興味深いパノラマビューセクションの場合などのように、削減されたビデオデータストリームのより小さい画像の中で伝達される画像コンテンツがその適性を失った場合にも有効である。
【0008】
本発明のさらなる態様によれば、ランダムアクセスポイントによって引き起こされるビデオデータストリームにおけるビットレートピークの負の影響は、２組のランダムアクセスポイントを有するビデオデータストリームを提供することによって削減される：１つ以上の第１のランダムアクセスポイントのセットのセットを形成するように、少なくとも第１の画像サブ領域内に時間的予測を中断して、１つ以上の画像の第１のセットをビデオデータストリームに符号化し、かつ、１つ以上の第２のランダムアクセスポイントのセットを形成するように、第１の画像サブ領域とは異なる第２の画像サブ領域内に時間的予測を中断して、１つ以上の画像の第２のセットをビデオデータストリームに符号化する。このようにして、ビデオデータストリームにランダムにアクセスし、またはデコードを再開しようとするデコーダが、時間的に分散され、第２のランダムアクセスポイントの場合は第２の画像サブ領域に関して、第１のランダムアクセスポイントに関しては少なくとも第１の画像サブ領域に関して少なくともランダムアクセスを可能にする第１および第２のランダムアクセスポイントのうちの１つを選択することが可能である。
【0009】
上記の概念は、一緒に有利に使用することができる。さらに、有利な実施形態は従属請求項の主題である。本出願の好ましい実施形態は、図面を参照して以下に説明される。
【図面の簡単な説明】
【0010】
【図1】図１は、ビデオデータストリームが削減可能なビデオデータストリームの画像のサブ領域に関する削減されたビデオデータストリームに削減可能であることによる第１の態様に関する本出願の実施例によるビデオデータストリームの概略図を示す図である。
【図2】図２は、画像が削減されたビデオデータストリームに符号化されるパラメータ化を示すために実施例に従って図１の削減可能なビデオデータストリームのペイロード部とパラメータセット部との間の相互依存性を示す概略図を示す。
【図6】図６は、削減されたビデオデータストリームを受信して、代わりに元のビデオデータストリームの画像のサブ領域を単に示す削減されたビデオデータストリームの画像を再構成するビデオデコーダ８２を示す概略図である。
【図7】図７は、削減可能なビデオデータストリームが提供される情報内の置換を使用するパラメータセット調整を使用しているこの時点で、削減可能なビデオデータストリームを削減するときに代替的な動作モードの概略図を示す。
【図13】図１３は、これらのタイルの空間的な再配置の可能性を示すために、一実施形態にしたがって、一方の削減可能なビデオデータストリーム内の画像のサブ領域内のタイルと、他方の削減されたビデオデータストリームの画像内の対応するタイルとの間の関係を示す概略図を示す図である。
【図25】図２５は、図２４の状況を示す概略図を示す図であるが、ビデオ復号器は、ビデオデータストリームをランダムにアクセスする際、ビデオを出力あるいは提示するまでサブ領域固有ランダムアクセス画像のサブ領域により入力ビデオデータストリームの画像領域を完全にカバレッジするまでビデオデコーダが待つ点においてビデオデコーダの動作の代替モードを示す図である。
【図26】図２６は、サブ領域固有のランダムアクセス画像を含むビデオデータストリームを受信するネットワーク装置を示し、サブ領域はビデオデータストリームが削減可能に関するサブ領域を同時に形成する概略図を示す図である。
【発明を実施するための形態】
【0011】
本願の説明は、本願の上記で特定された態様に関する。ビデオデータストリームのサブ領域抽出／削減に関係する本願の第１の態様に関する背景を提供するために、そのような要望が生じ、この要望を満たす課題が記述されているアプリケーションの例と、その克服は、HEVCを例にとって以下のように動機づけられた。
【0012】
空間サブセット、すなわち、タイルのセットは、時間動き制約タイルセット（TMCTS）SEIメッセージを使用してHEVCにおいてシグナリングすることができる。そのようなメッセージにおいて定義されたタイルセットは、「インター予測プロセスは、各識別されたタイルセットの外にサンプル値がなく、識別されたタイルセットの外側で１つ以上のサンプル値を使用して導出された分数サンプル位置にサンプル値がないように制約され、識別されたタイルセット内の任意のサンプルのインター予測のために使用される。」という特徴を有する。換言すれば、TMCTSのサンプルは、同じレイヤの同じTMCTSに関連付けられていないサンプルとは独立して復号化することができる。TMCTSは、矩形９００を使用して図Aに示すような１つ以上のタイルの１つ以上の矩形の結合を包含する。図において、ユーザが見る関心領域９００は、２つの不連続な画像パッチを包含する。
【0013】
TMCTS SEIメッセージの詳細なシンタックスは、参考のため図Bに示されている。
【0014】
ビデオ・トランスコードのような処理が重くなくても、ビデオ・ビットストリーム、すなわち関心領域（RoI）の独立して復号可能な矩形空間サブセットを作成することが有益である多くの用途がある。これらのアプリケーションは、以下のものが含まれるが、これらに限定されない。
【0015】
・パノラマビデオストリーミング：広角ビデオの固有の空間領域のみ。例えば、360°の視野角は、ヘッドマウントディスプレイを介してエンドユーザに表示される。
・アスペクト比調整ストリーミング：クライアント側の表示特性に応じて、符号化されたビデオのアスペクト比をサーバ側でライブ調整する。
・デコードの複雑さの調整：レベル制限によって所与のエンコードされたビデオビットストリームをデコードできないローコスト／ローテク装置は、ビデオの空間サブセットに対応する可能性がある。
・アスペクト比調整ストリーミング：クライアント側の表示特性に応じて、符号化されたビデオのアスペクト比をサーバ側でライブ調整する。
・デコードの複雑さの調整：レベル制限によって所与のエンコードされたビデオビットストリームをデコードできないローコスト／ローテク装置は、ビデオの空間サブセットに対応する可能性がある。
【0016】
上述の例示的なアプリケーションのリストのためのこれまで説明した最新の技術を考慮すると、多くの問題が生じる。
【0017】
・ビデオビットストリームの空間サブセットのHRDパラメータ、すなわちバッファリング／タイミング情報をシステムレイヤに利用可能にする手段が存在しない。
・与えられたビデオビットストリームの空間サブセットを適合ビデオビットストリームに簡単に変換するために、ビデオに適合ポイントは存在しない。
・エンコーダが、与えられた識別子を持つタイルセットが、適合ビデオビットストリームに簡単に変換されるという保証を伝える手段は存在しない。
・与えられたビデオビットストリームの空間サブセットを適合ビデオビットストリームに簡単に変換するために、ビデオに適合ポイントは存在しない。
・エンコーダが、与えられた識別子を持つタイルセットが、適合ビデオビットストリームに簡単に変換されるという保証を伝える手段は存在しない。
【0018】
上に挙げた問題に対する解決策が与えられれば、上記の例のアプリケーションはすべて規格に準拠した方法で実現することができる。ビデオ符号化レイヤ内でこの能力を定義することは、アプリケーションレイヤおよびシステムレイヤにとって重要な適合点であると予想される。
【0019】
HEVC仕様は、符号化されたビデオビットストリームの時間分解能またはレイヤ量、すなわち空間分解能、信号忠実度またはビュー数を削減し得るサブビットストリームの抽出のためのプロセスを既に含む。
【0020】
本発明は、特定された問題、特に以下の解決策を提供する。
1.TMCTSに基づくサブ画像抽出プロセスの定義を介して、符号化されたビデオシーケンスから空間サブセット、すなわち、単一のTMCTSに基づくビデオビットストリームを抽出する手段
2.抽出されたサブ画像ビデオシーケンスの正しいパラメータセット値および（任意で）SEI情報を伝えて識別する手段
3.ビデオビットストリームおよびTMCTSに関するビットストリーム制約を可能にする特定のサブ領域抽出の保証を伝えるエンコーダについての手段
1.TMCTSに基づくサブ画像抽出プロセスの定義を介して、符号化されたビデオシーケンスから空間サブセット、すなわち、単一のTMCTSに基づくビデオビットストリームを抽出する手段
2.抽出されたサブ画像ビデオシーケンスの正しいパラメータセット値および（任意で）SEI情報を伝えて識別する手段
3.ビデオビットストリームおよびTMCTSに関するビットストリーム制約を可能にする特定のサブ領域抽出の保証を伝えるエンコーダについての手段
【0021】
以下に説明される実施形態は、ビデオデータストリームにビデオデータストリームのペイロード部分からのビデオの画像の再構成に必要とされない情報を提供することによって概説された問題を克服したものであり、情報は所定のサブ領域の指標および置換インデックスおよび／または置換パラメータを含み、その重要性および機能は以下でより詳細に説明される。以下の説明は、HEVCまたはHEVCの改良のみに限定されるものではない。むしろ、次に説明される実施形態は、削減されたサブ領域固有のビデオデータストリームを提供するための追加の適合ポイントをそのようなビデオコーディング技術に提供するために、任意のビデオコーデック技術において実装され得る。その後、HEVCの拡張を形成するために次に説明される実施形態が具体的にどのように実装されるかの詳細が提示される。
【0022】
図１は、本出願の一実施形態によるビデオデータストリーム１０を示す。すなわち、ビデオデータストリームは、コンフォメーション維持方式で、削減ビデオデータストリームに削減可能であり、その画像は単にトランスコードを必要とすることなくビデオデータストリーム１０にエンコードされたビデオ１４の画像１２の所定のサブ領域を単に示し、あるいは、より正確には、再量子化、空間からスペクトルへの変換及びその逆の及び／又は動き推定の再実行のような時間がかかりかつ計算上複雑な動作、のために使用することができる。
【0023】
図１のビデオデータストリーム１０は、符号化パラメータ設定８０を示すパラメータセット部分１６と、ビデオ１４の画像１２が符号化されるペイロード部分１８とを含むように示されている。図１において、部分１６と１８とは、ペイロード部分１８にハッチングを使用し、パラメータセット部分１６がハッチングされていないことを示すことによって、例示的に互いに区別される。さらに、部分１６および１８は、必ずしもそうではないが、データストリーム１０内で相互にインターリーブされることが例示されている。
【0024】
ペイロード部１８は、ビデオ１４の画像１２を特殊な方法でエンコードする。特に、図１は、ビデオデータストリーム１０が削減されたビデオデータストリームに削減可能である能力を持つべきことに関する例示的な所定のサブ領域２２を示す。ペイロード部分１８は、所定のサブ領域２２に関する限り、どの符号化依存性もサブ領域２２の境界を横断しないように制限されるように、その中に符号化された画像１２を有する。すなわち、ある画像１２は、サブ領域２２内の符号化がこの画像内のそのような領域２２の空間的な近傍に依存しないように、ペイロード部分１８に符号化される。画像１２が時間的予測を使用してペイロード部分１８に符号化される場合、時間的予測は、ビデオ１４の第１の画像のサブ領域２２内のどの部分も、サブ領域２２の外部のビデオ１４の参照（他の画像）に依存するように符号化されるサブ領域２２内に制限されてもよい。すなわち、ビデオデータストリーム１４を生成する対応するエンコーダは、参照画像の部分を指し示さないような方法で、サブ領域２２を符号化するための利用可能な動きベクトルのセットを制限し、その結果、動き補償予測信号の形成は、参照画像のサブ領域２２の外側のサンプルを必要とするか、または関与させる。空間依存性に関する限り、空間依存性の制限は、例えば空間的にサブ領域２２の境界を横切る算術符号化を継続することによるサンプル単位の空間的な予測、符号化パラメータの空間的予測、および、符号化依存性に関する空間的な予測に関係することに留意されたい。
【0025】
従って、ペイロード部分１８は、所定のサブ領域２２の外部の部分に到達しないようにコーディング依存性を制限することに従う輪郭を描いた画像１２を符号化し、従って例えば動きベクトル、画像参照インデックス、パーティション情報、符号化モード、変換係数又は量子化予測残差を示す残差サンプル値、またはこれらの１つまたは任意の組合せを示すシンタックス要素のシンタックス的に順序付けられたシーケンス２４を含むことができる。しかしながら、最も重要なことに、ペイロード部分１８は、符号化パラメータ設定２０の第１のセット２０ａを使用してパラメータ化された方法でその中に符号化されたビデオ１４の画像１２を有する。例えば、セット２０ａにおける符号化パラメータ設定は、例えば、画像１２の画像サイズ、例えば画像１２の垂直高さ及び水平幅を規定する。画像サイズがペイロード部１８への画像１２の符号化をどのように「パラメータ化」するかを説明するために、図２を簡単に参照する。図２は、セット２０ａの符号化パラメータ設定の１つの例としての画像サイズ符号化パラメータ２６を示す。明らかに、画像サイズ２６は、ペイロード部分１８によって「符号化」されなければならない画像領域のサイズを示し、ある画像１２のそれぞれのサブブロックが符号化されずに残っていることを示すことによって、黒色に対応し得るゼロのような所定のサンプル値によって例えば充填される。したがって、画像サイズ２６は、ペイロード部分１８のシンタックス記述２４の量またはサイズ３０に影響を及ぼす２８。さらに、画像サイズ２６は、例えば、位置表示３２の値範囲および位置表示３２がシンタックス記述２４に現れる順序に関して、ペイロード部分１８のシンタックス記述２４内の位置表示３２に影響を及ぼす。例えば、位置表示３２はペイロード部分内のスライスアドレスを含む。スライス３４は、図１に示すように、例えばデータストリーム１０がデコーダに送信可能な単位でデータストリーム１０の部分である。各画像１２は、そのようなスライス３４の単位でデータストリーム１０に符号化され、画像１２がデータストリーム１０に符号化される復号順序に従ってスライス３４に細分化される。各スライス３４は、画像１２の対応する領域３６に対応し、その中に符号化されているが、領域３６はサブ領域２２の内部または外部のいずれかであり、すなわちサブ領域の境界を横切っていない。そのような場合、各スライス３４には、画像１２の画像領域内の対応する領域３６の位置を示す、すなわち画像１２の周囲に対するスライスアドレスが与えられてもよい。具体的な例を述べると、スライスアドレスは、画像１２の左上隅に関連して測定されてもよい。明らかに、このようなスライスアドレスは、画像サイズ２６の画像内のスライスアドレスの値を超える値を超えてはならない。
【0026】
画像サイズ２６と同様に、符号化パラメータ設定のセット２０ａは、画像１２を細分化することができるタイルのタイル構造３８を定義することもできる。一点鎖線４０を使用して、図１は、タイルが列および行のタイル配列に配置されるように、タイル４２への画像１２のサブ分割の例を示す。タイル４２へのタイル細分化を使用してペイロード部分１８に符号化される画像１２の任意の場合において、これは、例えば、1）タイル境界を越えた空間相互依存性が許されず、したがって、使用されず、2）画像１２がデータストリーム１０に符号化される復号化順序はラスタ走査タイル順序で画像１２を横切る、すなわち、各タイルは、タイル順序で次のタイルを訪れる前に横切られる。したがって、タイル構造３８は、画像１２がペイロード部分１８に符号化され、それに応じてシンタックス記述２４に影響を及ぼす復号順序４４に影響２８を及ぼす。画像サイズ２６と同様の方法で、タイル構造３８は、ペイロード部分１８内の位置表示３２、すなわち位置表示３２の異なるインスタンス化がシンタックス記述２４内で発生することが許容される順序に関しても影響２８を及ぼす。
【0027】
セット２０ａの符号化パラメータ設定はまた、バッファタイミング４６を含むことができる。バッファタイミング４６は、例えば、符号化画像バッファ除去時間を示すことができる。データストリーム１０の特定の部分、例えば個々のスライス３４または１つの画像１２を参照するデータストリーム１０の一部などは、デコーダの符号化画像バッファから除去されるべきであり、これらの時間的値は、データストリーム１０内の対応する部分のサイズに影響を及ぼす２８か、または関連しており、バッファタイミング４６は、ペイロード部分１８の量／サイズ３０に影響を及ぼす２８。
【0028】
すなわち、図２の説明が例示されているように、ペイロード部分１８への画像１２の符号化は、一方では符号化パラメータ設定２０のセット２０ａおよび他方ではペイロード部分１８およびそのシンタックス記述２４との間のいかなる相違も適合していると識別されるデータストリームに従うことが要求される適合性要件と矛盾するものとして識別されて、適合と識別されるという意味で、符号化パラメータ設定のセット２０ａを用いて「パラメータ化」または「記述」される。
【0029】
符号化パラメータ設定の第１のセット２０ａは、ペイロード部分１８に含まれ、シンタックス記述２４が散在または包含されているインデックス４８によって参照されるか、またはインデックス付けされる。例えば、インデックス４８は、スライス３４のスライスヘッダに含まれてもよい。
【0030】
符号化パラメータ設定のインデックス付きセット２０ａは、ペイロード部分１８と同時に、またはそれと共に、サブ領域２２に属さないペイロード部分１８の部分が取消され、結果として生じる削減データストリームは、適合を維持するように修正される。このアプローチは図１の実施形態により追従されない。一方でインデックス付きセット２０ａ内の符号化パラメータ設定と他方ではペイロード部分１８の両方の符号化パラメータ設定のこのような相関修正は、完全な復号化および符号化による迂回を必要としないが、それにも関わらず、この相関変更を実行するための計算オーバーヘッドは、相当量の解析ステップなどを必要とするであろう。
【0031】
従って、図１の実施形態は、ビデオデータストリーム１０が、ペイロード部分１８からビデオの画像１２を再構成するために必要とされない情報５０を含む、すなわち提供される別のアプローチに従う。情報は、所定のサブ領域の指示および置換指数および／または置換パラメータとを含むことができる。例えば、情報５０は、画像１２内のその位置に関して所定のサブ領域２２を示すことができる。情報５０は、例えば、タイル単位でサブ領域２２の位置を示すことができる。従って、情報５０は、サブ領域２２を形成するように各画像内のタイル４２のセットを識別することができる。各画像１２内のタイル４２のセットは、画像１２間で固定されてもよい。すなわち、各画像１２内でタイルが形成され、サブ領域２２は互いに位置合わせされ、サブ領域２２を形成するタイルのタイル境界は、異なる画像１２間を空間的に占める。タイルのセットは、画像１２の連続した矩形のタイルサブアレイを形成するように制限されていないことに言及するべきである。しかし、サブ領域２２を形成する各画像１２内のタイルのオーバーレイフリーでギャップのない当接部は、このギャップレス及びオーバーレイフリーの当接部又は並置が矩形領域を形成して存在することがある。しかし、当然のことながら、表示５０は、サブ領域２２をタイル単位で示すことに制限されない。いずれにしても、画像１２のタイル細分の使用は、単にオプションであることを想起されたい。表示５０は、例えば、サブ領域２２をサンプルの単位で、または何らかの他の手段によって示すことができる。さらに別の実施形態では、サブ領域２２の位置は、参加するネットワーク装置およびビデオデータストリーム１０を取扱うと考えられるデコーダに知られているデフォルト情報を形成することさえでき、情報５０は、サブ領域２２に関するまたは存在する削減可能性を単に示す。すでに上述したように、また図３に示すように、情報５０は、所定のサブ領域の表示５２以外に、置換インデックス５４および／または置換パラメータ５６を含む。置換インデックスおよび／または置換パラメータは、符号化パラメータ設定のインデックス付きセット、すなわち、ペイロード部分１８内のインデックスによってインデックス付けされた符号化パラメータ設定のセットを変更するためのものであり、その結果、符号化パラメータ設定のインデックス付きセットは、ペイロード部分１８が、一方ではサブ領域２２の外部の画像１２の部分に関連する部分の除去によって変更され、画像の周囲１２よりもむしろサブ領域２２の周囲に関連するように位置表示３２を変更する削減されたビデオデータストリームのペイロード部分に適合する。
【0032】
後者の状況を明確にするために、図１によれば、ビデオデータストリーム１０を受信し処理して、そこから削減ビデオデータストリーム６２を導出するように構成されたネットワーク装置６０を示す図４を参照する。「削減されたビデオデータストリーム」６２内の用語「削減された」は、すなわち第１に、削減されたビデオデータストリーム６２がビデオデータストリーム１０と比較して低いビットレートに対応するという事実と、第２に、削減されたビデオデータストリーム６２のより小さい画像は単に画像１２のサブ領域２２を示すという点で、削減されたビデオデータストリーム６２がその中に符号化される画像は、ビデオデータストリーム１０の画像１２より小さい。
【0033】
以下でより詳細に説明するように、そのタスクを実行するために、方法装置６０は、データストリーム１０から情報５０を読取るように構成された読取器６４と、以下でより詳細に説明するように情報５０に基づいて、削減または伸長処理を実行する削減器６６とを含む。
【0034】
図５は、情報５０内の置換インデックス５４を使用する例示的な場合のネットワーク装置６０の機能性を示す。具体的には、図５に示すように、ネットワーク装置６０は、例えばサブ領域２２に関係しない、すなわちサブ領域２２の外側の画像１２の領域に関してデータストリーム１０の部分７０を参照するペイロード部分１８から６８を除去するために情報５０を使用する。除去６８は、例えば、スライスベースで実行することができ、削減器（reducer）６６は、一方ではスライス３４のスライスヘッダ内の位置表示またはスライスアドレスと他方では情報５０内の表示５２とに基づいて、サブ領域２２に関係しないペイロード部分１８内のスライス３４を示す。
【0035】
情報５０が置換インデックス５４を有する図５の例では、ビデオデータストリーム１０のパラメータセット部分１６は、符号化パラメータ設定のインデックスセット２０ａの他に、ペイロード部分１８内のインデックス４８によって参照されないか、またはインデックスされる符号化パラメータ設定のインデックスされていないセット２０ｂを有する。削減を実行する際に、削減器６６は、データストリーム１０内のインデックス４８を、曲線７２を用いて図５に示している置換による置換インデックス５４により、図５に例示的に示されているものと変位する。インデックス４８を置換インデックス５４に置換することにより、リダイレクト７２は、削減ビデオデータストリーム６２のペイロード部分に含まれるインデックスが符号化パラメータ設定の第２のセット２０ｂを参照またはインデックス付けすることに従って生じ、その結果、符号化パラメータ設定の第１のセット２０ａがインデックス付けされなくなる。従って、リダイレクト７２は、パラメータセット部分１６から符号化パラメータ設定のもはやインデックスされていないセット２０ａを除去７４する削減器６６を含むことができる。
【0036】
削減器６６はまた、ペイロード部分１８内の位置表示３２を、所定のサブ領域２２の周囲に対して測定されるように変更する。この変更は、湾曲した矢印７８によって、ハッチングを使用しないデータストリーム１０内の位置表示３２を示す一方で、クロスハッチングされた方法で削減されたビデオデータストリーム６２において位置表示３２を示すことにより概略的に示されている削減されたビデオデータストリーム６２へのデータストリーム１０からの例示的に単に１つの表現された位置表示３２の変化とともに、図５に示されている。
【0037】
したがって、図５の説明を要約すると、ネットワーク装置６０は、比較的低い複雑さしか伴わない方法で削減されたビデオデータストリーム６２を得ることができる。削減されたビデオデータストリーム６２のペイロード部分１８の量／サイズ３０、位置表示３２、および復号化順序４４を正しくパラメータ化する、または適合させるために符号化パラメータ設定の組２０ｂを正しく適合させるという面倒な作業は、図１の破線の箱を用いて代表的に示されているエンコーダ８０内のような他の場所で実行される。代替手段は、以下でさらに説明するように、情報５０の評価と削減器６６による削減との間の順序を変更することである。
【0038】
図６は、削減されたビデオデータストリーム６２がより小さい画像８６、すなわち画像１２に比べより小さいサイズの画像であり単にそのサブ領域２２を示す画像８６のビデオ８４にエンコードされることを示すために、削減されたビデオデータストリーム６２がビデオデコーダ８２に供給される状況を示す。したがって、ビデオ８４の再構成は、ビデオデコーダ８２が削減ビデオデータストリーム６２を復号化することによって生じる。図５を参照して説明したように、削減ビデオデータストリーム６２は、符号化パラメータ設定の第２のセット２０ｂによってパラメータ化されたあるいは対応して記載されたように、より小さい画像８６に符号化された、削減されたペイロード部分１８を有する。
【0039】
ビデオエンコーダ８０は、例えば、サブ領域２２に関連して図１に関して説明した符号化制限に従って、画像１２をビデオデータストリーム１０に符号化することができる。
エンコーダ８０は、例えば、適切なレート歪み最適化機能の最適化を使用してこの符号化を実行してもよい。この符号化の結果として、ペイロード部分１８はセット２０ａをインデックス付けする。さらに、エンコーダ８０はセット２０ｂを生成する。この目的のために、エンコーダ８０は、例えば、サブ領域２２のサイズおよび占有されたタイルセットに対応するように、セット２０ａ内のそれらの値から画像サイズ２６およびタイル構造３８を適合させることができる。それを超えると、エンコーダ８０は、図５自体に関して上述したように削減処理を実質的に実行し、ビデオデコーダ８２などのデコーダが、符号化パラメータ設定の第２のセット２０ｂ内のこのように計算されたバッファタイミング４６を使用して符号化された画像バッファを正しく管理できるようにバッファタイミング４６を計算する。
エンコーダ８０は、例えば、適切なレート歪み最適化機能の最適化を使用してこの符号化を実行してもよい。この符号化の結果として、ペイロード部分１８はセット２０ａをインデックス付けする。さらに、エンコーダ８０はセット２０ｂを生成する。この目的のために、エンコーダ８０は、例えば、サブ領域２２のサイズおよび占有されたタイルセットに対応するように、セット２０ａ内のそれらの値から画像サイズ２６およびタイル構造３８を適合させることができる。それを超えると、エンコーダ８０は、図５自体に関して上述したように削減処理を実質的に実行し、ビデオデコーダ８２などのデコーダが、符号化パラメータ設定の第２のセット２０ｂ内のこのように計算されたバッファタイミング４６を使用して符号化された画像バッファを正しく管理できるようにバッファタイミング４６を計算する。
【0040】
図７はネットワーク装置の動作モードの代替方法、すなわち情報５０ないで置換パラメータを使用する場合を示している。この代替案によれば、図７に示されているように、パラメータセット部分１６は、符号化パラメータ設定のインデックス付きセット２０ａを単に含むだけであり、再インデックス付けまたはリダイレクト７２およびセット除去器７４は、削減器６６により実行される必要はない。しかしながら、これに代えて、削減器６６は、符号化パラメータ設定のセット２０ｂになるように符号化パラメータ設定のインデックス付きセット２０ａを調整するように、情報５０から得られた置換パラメータ５６を使用する。この代替案によれば、元のビデオデータストリーム１０から削減ビデオデータストリーム６２を導出するために、ステップ６８,７８および８８を実行する削減器６６は、比較的複雑な操作がない。
【0041】
換言すれば、図７の場合、置換パラメータ５６は、例えば、画像サイズ２６、タイル構造３８および／またはバッファタイミング４６のうちの１つ以上を含むことができる。
【0042】
図５および図７に関して、置換インデックスおよび置換パラメータの両方を含む情報５０との両方の代替物の混合物も存在し得ることに注目すべきである。例えば、セット２０ａから２０ｂへの変更の対象となる符号化パラメータ設定は、SPS、PPS、VPSなどの異なるパラメータセットスライス上に分散することができ、またはそれらから構成することができる。したがって、これらのスライスのうちの異なるスライスについて、例えば図５または図７による異なる処理を実行することができる。
【0043】
位置表示を変更７８するタスクに関して、このタスクは、例えば、ペイロード部分１８内のスライス３４の各ペイロードスライスに対して実行されるため、比較的頻繁に実行されなければならないが、位置表示３２の新しい置換値の計算は比較的複雑でないことに留意されたい。例えば、位置表示は、水平および垂直座標による位置を示すことができ、変更７８は、例えば、元の位置表示３２の対応する座標とデータストリーム１０と画像１２の左上隅に対するサブ領域２２のオフセットとの間の減算を形成することによって位置表示の新しい座標を計算することができる。あるいは、位置表示３２は、例えば画像１２が規則的に行と列に分かれているツリールートブロックなどの符号化ブロックの単位など、いくつかの適切な単位で、例えば上記の復号化順序に従う何らかの線形尺度を使用して位置を示すことができる。そのような場合、位置表示は、サブ領域２２内のこれらの符号ブロックの符号化順序のみを考慮して新たにステップ７８内で計算される。これに関連して、ビデオデータストリーム１０から削減ビデオデータストリーム６２を形成するための、ちょうど概説された削減／抽出プロセスも、削減ビデオデータストリーム６２に符号化されたビデオ８４のより小さい画像８６は、空間的にステッチされた態様でセクション２２を示し、画像８４の同じ画像コンテンツは、空間的に異なる方法でサブ領域２２の画像１２内に配置され得るという態様で、削減ビデオデータストリーム６２を形成するのに適している。
【0044】
図６に関して、図６に示すビデオデコーダ８２は、ビデオ１４の画像１２を再構成するためにビデオデータストリーム１０をデコードすることが可能であってもなくてもよいことに留意されたい。ビデオデコーダ８２がビデオデータストリーム１０をデコードできない理由は、例えばビデオデコーダ８２のプロファイルレベルが、削減ビデオデータストリーム６２のサイズおよび複雑さに対処するのに十分であるが、元のビデオデータストリーム１０を復号化するには不十分である可能性があることである。しかしながら、原理的には、データストリーム６２および１０の両方は、再インデックス付けおよび／またはパラメータ調整による符号化パラメータ設定のインデックス付けされたセットの上述した適切な適応により、１つのビデオコーデックに適合する。
【0045】
削減されるべきビデオ・データ・ストリームの画像の特定のサブ領域に関するビデオ・ストリーム削減／抽出のためのかなり一般的な実施形態を説明した後、HEVCに関するこのような抽出に関する上記の動機および問題の説明を以下に再開し、上述の実施形態を実施するための固有の例を提供する。
【0046】
１．単一層サブ領域のためのシグナリング態様
【0047】
１．１．パラメータセット：
次のパラメータセットの態様は、空間サブセットを抽出するときに調整が必要である。
・VPS：単一層符号化に関する規範的情報
・SPS：
・レベル情報
・画像サイズ
・切取りまたは適合ウィンドウ情報
・バッファリングとタイミング情報（すなわちHRD情報）
・潜在的に、motion＿vectors＿over＿pic＿boundaries＿flag、min＿spatial＿segmentation＿idcなどのVUI（Video Usability Information；ビデオユーザビリティ情報）アイテムの追加の可能性
・PPS：
・空間的タイル情報、すなわち水平・垂直方向のタイルの量とサイズに関するタイル情報
次のパラメータセットの態様は、空間サブセットを抽出するときに調整が必要である。
・VPS：単一層符号化に関する規範的情報
・SPS：
・レベル情報
・画像サイズ
・切取りまたは適合ウィンドウ情報
・バッファリングとタイミング情報（すなわちHRD情報）
・潜在的に、motion＿vectors＿over＿pic＿boundaries＿flag、min＿spatial＿segmentation＿idcなどのVUI（Video Usability Information；ビデオユーザビリティ情報）アイテムの追加の可能性
・PPS：
・空間的タイル情報、すなわち水平・垂直方向のタイルの量とサイズに関するタイル情報
【0048】
シグナリングの実施形態
・シグナリング1A：エンコーダは、各TMCTSについて、付加的な未使用の（すなわち、全く起動していない）VPS、SPSおよびPPSを帯域内（すなわち、それぞれのNALユニットとして）に送信し、補助拡張情報（SEI）メッセージにおいてTMCTSへのマッピングを提供することができる。
・シグナリング1A：エンコーダは、各TMCTSについて、付加的な未使用の（すなわち、全く起動していない）VPS、SPSおよびPPSを帯域内（すなわち、それぞれのNALユニットとして）に送信し、補助拡張情報（SEI）メッセージにおいてTMCTSへのマッピングを提供することができる。
【0049】
シグナリング1A SEIのための例示的なシンタックス／セマンティクスを図８に示す。
【0050】
シンタックス要素９０は、画像パラメータセット識別子から導出できるのでオプションである。
【0051】
セマンティクスは以下のとおりである。
num＿extraction＿information＿sets＿minus1は、サブ画像抽出処理において適用されるべき所与のSignaling1A SEIに含まれる情報セットの数を示す。
num＿extraction＿information＿sets＿minus1は、サブ画像抽出処理において適用されるべき所与のSignaling1A SEIに含まれる情報セットの数を示す。
【0052】
num＿applicable＿tile＿set＿identifiers＿minus1は、サブ画像抽出処理のために続くi番目の情報セットが適用されるタイルセットのmcts＿idの値の数を示す。
【0053】
mcts＿identifier [i] [k]は、すべてのnum＿applicable＿tile＿set＿identifers＿minus1が、次のi番目の情報セットがサブ画像抽出処理に適用されるタイルセットのmcts＿idの値＋１を示す。
【0054】
num＿mcts＿pps＿replacements [i]は、mcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについてSignaling1A SEIにおいてシグナリングするpps識別子置換の数を示す。
【0055】
mcts＿vps＿id [i]は、サブ画像抽出処理においてmcts＿vps＿idx [i]番目のビデオパラメータセットが、mcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについて使用されることを示す。
【0056】
mcts＿sps＿id [i]は、サブ画像抽出処理においてmcts＿sps＿idx [i]番目のシーケンスパラメータセットが、mcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについて使用されることを示す。
【0057】
mcts＿pps＿id＿in [i] [j]は、サブ画像抽出処理において置換されるべきmcts＿id＿map [i]に等しいmcts＿idを有するタイルセットのスライスヘッダシンタックス構造におけるnum＿mcts＿pps＿replacements [i] pps識別子のj番目の値を示す。
【0058】
mcts＿pps＿id＿out [i] [j]は、サブ画像抽出処理において、値mcts＿pps＿id＿in [i] [j]に等しいpps識別子を置換するためにmcts＿id＿map [i]に等しいmcts＿idを有するタイルセットのスライスヘッダシンタックス構造内のnum＿mcts＿pps＿replacements pps識別子のj番目の値を示す。
【0059】
・シグナリング1B：エンコーダは、各TMCTSに対してVPS、SPS、PPSを送信し、コンテナスタイルのSEIに含まれるすべてのTMCTSにマッピングすることができる。
【0060】
シグナリング1B SEIのための例示的なシンタックス／セマンティクスを図９に示す。
【0061】
黄色のシンタックス要素９２は画像パラメータセット識別子から導出することができるので、オプションである。
【0062】
セマンティクスは以下の通りである。
num＿vps＿in＿message＿minus1は、サブ画像抽出処理で使用されるべき所与のSignaling1B SEIにおけるvpsシンタックス構造の数を示す。
num＿vps＿in＿message＿minus1は、サブ画像抽出処理で使用されるべき所与のSignaling1B SEIにおけるvpsシンタックス構造の数を示す。
【0063】
num＿sps＿in＿message＿minus1は、サブ画像抽出処理で使用されるべき所与のSignaling1B SEIにおけるspsシンタックス構造の数を示す。
【0064】
num＿pps＿in＿message＿minus1は、サブ画像抽出処理で使用されるべき所与のSignaling1B SEIのppsシンタックス構造の数を示す。
【0065】
num＿extraction＿information＿sets＿minus1は、サブ画像抽出処理において適用される所与のSignaling1B SEIに含まれる情報セットの数を示す。
【0066】
num＿applicable＿tile＿set＿identifiers＿minus1は、サブ画像抽出処理のために続くi番目の情報セットが適用されるタイルセットのmcts＿idの値の個数を示す。
【0067】
mcts＿identifier [i] [k]は、すべてのnum＿applicable＿tile＿set＿identifers＿minus1と、次のi番目の情報セットがサブ画像抽出処理に適用されるタイルセットのmcts＿idの値の＋１を示す。
【0068】
mcts＿vps＿idx [i]は、サブ画像抽出プロセスにおいてmcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについて、Signaling1B SEIでシグナリングされたmcts＿vps＿idx [i]番目のビデオパラメータセットが使用されることを示す。
【0069】
mcts＿sps＿idx [i]は、サブ画像抽出処理においてSignaling1B SEIでシグナリングされたmcts＿sps＿idx [i]番目のシーケンスパラメータセットが、mcts＿id＿map [i]と等しいmcts＿idを持つタイルセットに使用されることを示す。
【0070】
num＿mcts＿pps＿replacements [i]は、mcts＿id＿map [i]と等しいmcts＿idを有するタイルセットについてSignaling1B SEIにおいてシグナリングするpps識別子置換の数を示す。
【0071】
mcts＿pps＿id＿in [i] [j]は、サブ画像抽出処理において、置換されるべきmcts＿id＿map [i]に等しいmcts＿idを有するタイルセットのスライスヘッダシンタックス構造におけるnum＿mcts＿pps＿replacements [i] pps識別子のj番目の値を示す。
【0072】
mcts＿pps＿idx＿out [i] [j]は、サブ画像抽出処理において、mcts＿pps＿id＿in [i] [j]に等しいpps識別子を有する画像パラメータセットが、Singalling1C SEIにおけるmcts＿pps＿idx＿out [i] [j]番目のシグナリングされた画像パラメータセットで置換されるべきである旨を示す。
【0073】
・シグナリング1C：エンコーダは、導出できないTMCTSに関連するパラメータセット情報（本質的に付加的なバッファリング／タイミング（HRD）パラメータおよびSEI内の適用可能なTMCTSへのマッピング）を提供することができる。
【0074】
シグナリング1C SEIのための例示的なシンタックス／セマンティクスを図１０に示す。
次のSEIのHRD情報は、抽出プロセスが元のVPS内のシンタックス要素の連続するブロックをSEIからのシンタックス要素のそれぞれの連続するブロックで置換えることができるように構成されている。
次のSEIのHRD情報は、抽出プロセスが元のVPS内のシンタックス要素の連続するブロックをSEIからのシンタックス要素のそれぞれの連続するブロックで置換えることができるように構成されている。
【0075】
num＿extraction＿information＿sets＿minus1は、サブ画像抽出プロセスにおいて適用される所与のシグナリング1C SEIに含まれる情報セットの数を示す。num＿applicable＿tile＿set＿identifiers＿minus1は、サブ画像抽出処理のために続くi番目の情報セットが適用されるタイルセットのmcts＿idの値の数を示す。
【0076】
mcts＿identifier [i] [k]は、すべてのnum＿applicable＿tile＿set＿identifers＿minus1と、次のi番目の情報セットがサブ画像抽出プロセスに適用されるタイルセットのmcts＿idの１つの値を示す。
【0077】
１に等しいmcts＿vps＿timing＿info＿present＿flag [i]は、mcts＿vps＿num＿units＿in＿tick [i]、mcts＿vps＿time＿scale [i]、mcts＿vps＿poc＿proportional＿to＿timing＿flag [i]およびmcts＿vps＿num＿hrd＿parameters [i]がVPSに存在することを示す。０に等しいmcts＿vps＿timing＿info＿present＿flag [i]は、mcts＿vps＿num＿units＿in＿tick [i]、mcts＿vps＿time＿scale [i]、mcts＿vps＿poc＿proportional＿to＿timing＿flag [i]およびmcts＿vps＿num＿hrd＿parameters [i]がSignaling1C SEIに存在しないことを示す。
【0078】
mcts＿vps＿num＿units＿in＿tick [i]は、クロックティックカウンタの１増分（クロックティックと呼ばれる）に対応する周波数mcts＿vps＿time＿scaleHzで動作するクロックのi番目の時間単位である。mcts＿vps＿num＿units＿in＿tick [i]の値は０より大きくなければならない。クロックティック（秒単位）は、mcts＿vps＿num＿units＿in＿tickをmcts＿vps＿time＿scaleで割った商に等しくなる。例えば、ビデオ信号の画像レートが２５Hzである場合、mcts＿vps＿time＿scaleは２７００００００に等しく、mcts＿vps＿num＿units＿in＿tickは１，０８０，０００に等しく、したがってクロックチックは０．０４秒であり得る。
【0079】
mcts＿vps＿time＿scale [i]は、１秒で渡すi番目の時間単位数である。例えば、２７MHzクロックを使用して時間を測定する時間座標系は、２７００００００のvps＿time＿scaleを有する。vps＿time＿scaleの値は０より大きくなければならない。
【0080】
１に等しいmcts＿vps＿poc＿proportional＿to＿timing＿flag [i]は、復号化順序で、CVSの最初の画像ではない、CVS内の各画像の画像順序カウント値が、CVSの最初の画像の出力時間に関連して、画像の出力時間に比例することを示す。０に等しいmcts＿vps＿poc＿proportional＿to＿timing＿flag [i]は、復号化順序で、CVSの最初の画像ではない、CVS内の各画像の画像順序カウント値が、CVS内の最初の画像の出力時間に関連する画像の出力時間に比例しても比例しなくてもよいことを示す。
【0081】
mcts＿vps＿num＿ticks＿poc＿diff＿one＿minus1 [i] plus 1は、１に等しい画像順序カウント値の差に対応するクロックティックの数を指定する。mcts＿vps＿num＿ticks＿poc＿diff＿one＿minus1 [i]の値は、０～２３２－２の範囲内でなければならない。
【0082】
mcts＿vps＿num＿hrd＿parameters [i]は、Signaling1C SEIのi番目のエントリに存在するhrd＿parameters（）シンタックス構造の数を指定する。mcts＿vps＿num＿hrd＿parametersの値は、0からvps＿num＿layer＿sets＿minus1 + 1の範囲内でなければならない。
【0083】
mcts＿hrd＿layer＿set＿idx [i] [j]は、Signaling1C SEI内のj番目のhrd＿parameters（）シンタックス構造が適用され、サブ画像抽出プロセスで使用されるレイヤセットのSignaling1C SEIにおけるi番目のエントリのVPSによって指定されたレイヤセットのリストに、インデックスを指定する。mcts＿hrd＿layer＿set＿idx [i] [j]の値は、（vps＿base＿layer＿internal＿flag？0：1）からvps＿num＿layer＿sets＿minus1までの範囲内でなければならない。mcts＿hrd＿layer＿set＿idx [i] [j]の値は、kと等しくない任意のjの値に対してhrd＿layer＿set＿idx [i] [k]の値と等しくならないことがビットストリーム適合の要件である。
【0084】
１に等しいmcts＿cprms＿present＿flag [i] [j]は、すべてのサブレイヤに共通するHRDパラメータが、Signaling1C SEIのi番目のエントリのj番目のhrd＿parameters（）シンタックス構造に存在することを特定する。０に等しいmcts＿cprms＿present＿flag [i] [j]は、Signaling1C SEIのi番目のエントリのi番目のhrd＿parameters（）シンタックス構造にすべてのサブレイヤに共通のHRDパラメータが存在せず、 Signaling1C SEIのi番目のエントリの（i－1）番目のhrd＿parameters（）シンタックス構造と同じであることが導出されることを特定する。mcts＿cprms＿present＿flag [i] [j]は１に等しいと推定される。
【0085】
上記のHRD情報はVPS関連であるので、SPS VUI HRDパラメータに対する同様の情報のシグナリングは、同じように具体化できる。例えば、上記のSEIを拡張するか、または個々のSEIメッセージとして拡張する。
【0086】
本発明のさらなる実施形態が、シグナリング1A、1Bおよび1Cによって実行されるメカニズムを、VUIなどの他のビットストリームシンタックス構造またはパラメータセットの拡張として使用することができることは注目に値する。
【0087】
1.2． SEIメッセージ
元のビデオビットストリーム内の次のSEIメッセージのいずれかが発生すると、TMCTS抽出後の不整合性を回避するための調整メカニズムが必要になることがある。
・HRD関連バッファリング期間、画像タイミングおよびデコードユニット情報SEI
・パンスキャンSEI
・* FramePackingArrangement * SEI（フレームパックアレンジメント* SEI）
・DecodedPictureHash SEI（復号化画像ハッシュSEI）
・TMCTS SEI
元のビデオビットストリーム内の次のSEIメッセージのいずれかが発生すると、TMCTS抽出後の不整合性を回避するための調整メカニズムが必要になることがある。
・HRD関連バッファリング期間、画像タイミングおよびデコードユニット情報SEI
・パンスキャンSEI
・* FramePackingArrangement * SEI（フレームパックアレンジメント* SEI）
・DecodedPictureHash SEI（復号化画像ハッシュSEI）
・TMCTS SEI
【0088】
シグナリングの実施形態：
・シグナリング2A：エンコーダは、すべてのTMCTSのコンテナスタイルのSEI内のTMCTSに関連して、上記SEIの適切な変位を提供することができる。そのようなシグナリングは、シグナリング1Cの実施形態と組合せることができ、図１１に示されている。換言すれば、上述した説明に加えて、または代わりに、ビデオ１４を表すビデオデータストリーム１０は、ビデオの画像１２がその中に符号化されるペイロード部分１８と、ペイロード部分１８に一致する補助拡張情報を示す補助拡張情報メッセージまたはより正確には、ビデオの画像１２がペイロード部分１８に符号化される方法を含むことができ、さらには画像１２の所定のサブ領域２２の表示５２を含む情報５０および補助増強情報メッセージを変位するための置換補助拡張情報メッセージを含み、置換補助拡張情報メッセージは、ペイロード部分１８の部分７０を除去６８しビデオデータストリームと比較して修正された削減ビデオデータストリーム６２を所定のサブ領域２２の外側の画像１２の領域を参照して、ペイロード部分１８内の位置表示３２を変更７８するように選択して、前記交換補足エンハンスメント情報メッセージは、前記ペイロード部１８のうち、前記所定のサブエリア２２の外側の画像１２の領域を参照する６８個の部分７０を削除し、前記画像１２の代わりに前記所定のサブエリア２２の円周から測定された方法で位置を示すように、前記ペイロード部１８の７８個の位置表示３２を変更することによって、前記ビデオデータストリームと比較して修正された縮小ビデオデータストリーム６２が選択されることと 置換補助拡張情報メッセージが縮小ペイロード部分に一致する置換補助拡張情報を示すように、画像の所定のサブエリア２２を示すサブエリア固有画像８６がエンコードされている縮小ペイロード部分を有している。 すなわち、サブエリア固有ピクチャ８６が縮小ペイロード部分１８に符号化される態様である。パラメータ設定器８０ａは、上述のパラメータ生成に加えて、または代替として、置換ＳＥＩメッセージによる潜在的な置換の対象である補助拡張情報メッセージを生成する。置換は、上述したリダイレクトおよび／または調整に加えて、または代替として、ネットワーク装置６０によって実行される。
・シグナリング2A：エンコーダは、すべてのTMCTSのコンテナスタイルのSEI内のTMCTSに関連して、上記SEIの適切な変位を提供することができる。そのようなシグナリングは、シグナリング1Cの実施形態と組合せることができ、図１１に示されている。換言すれば、上述した説明に加えて、または代わりに、ビデオ１４を表すビデオデータストリーム１０は、ビデオの画像１２がその中に符号化されるペイロード部分１８と、ペイロード部分１８に一致する補助拡張情報を示す補助拡張情報メッセージまたはより正確には、ビデオの画像１２がペイロード部分１８に符号化される方法を含むことができ、さらには画像１２の所定のサブ領域２２の表示５２を含む情報５０および補助増強情報メッセージを変位するための置換補助拡張情報メッセージを含み、置換補助拡張情報メッセージは、ペイロード部分１８の部分７０を除去６８しビデオデータストリームと比較して修正された削減ビデオデータストリーム６２を所定のサブ領域２２の外側の画像１２の領域を参照して、ペイロード部分１８内の位置表示３２を変更７８するように選択して、前記交換補足エンハンスメント情報メッセージは、前記ペイロード部１８のうち、前記所定のサブエリア２２の外側の画像１２の領域を参照する６８個の部分７０を削除し、前記画像１２の代わりに前記所定のサブエリア２２の円周から測定された方法で位置を示すように、前記ペイロード部１８の７８個の位置表示３２を変更することによって、前記ビデオデータストリームと比較して修正された縮小ビデオデータストリーム６２が選択されることと 置換補助拡張情報メッセージが縮小ペイロード部分に一致する置換補助拡張情報を示すように、画像の所定のサブエリア２２を示すサブエリア固有画像８６がエンコードされている縮小ペイロード部分を有している。 すなわち、サブエリア固有ピクチャ８６が縮小ペイロード部分１８に符号化される態様である。パラメータ設定器８０ａは、上述のパラメータ生成に加えて、または代替として、置換ＳＥＩメッセージによる潜在的な置換の対象である補助拡張情報メッセージを生成する。置換は、上述したリダイレクトおよび／または調整に加えて、または代替として、ネットワーク装置６０によって実行される。
【0089】
０に等しいall＿tile＿sets＿flagは、ビットストリーム内で定義されたすべてのタイルセットについて、applicable＿mcts＿id [0]リストがwapplicable＿mcts＿id [i]によって指定されることを指定する。１に等しいall＿tile＿sets＿flagは、リストapply＿mcts＿id [0]は、値の昇順に現在のSEI NALユニットのnuh＿layer＿id以上である現在のアクセスユニットに存在するnuh＿layer＿idのすべての値からなることを指定する。
tile＿sets＿max＿temporal＿id＿plus1 minus1は、配列applied＿mcts＿id [i]の要素と等しいmcts＿idを有するタイルセットについて、サブ画像抽出プロセスで抽出されるべき最大時間レベルを示す。
tile＿sets＿max＿temporal＿id＿plus1 minus1は、配列applied＿mcts＿id [i]の要素と等しいmcts＿idを有するタイルセットについて、サブ画像抽出プロセスで抽出されるべき最大時間レベルを示す。
【0090】
num＿applicable＿tile＿set＿identifiers＿minus1 plus 1は、サブ画像抽出プロセスで次のSEIメッセージを使用する必要がある、次の適用可能なmcts idの数を指定する。
【0091】
mcts＿identifier [i]は、タイルセットのサブ画像抽出プロセスを使用して、applicable＿mcts＿id [i]に等しいmcts＿idを有するそれぞれのタイルセットを抽出するときに次のSEIメッセージが挿入されるべきmcts＿idのすべてのnum＿applicable＿tile＿set＿identifiers＿minus1値を示す。
【0092】
２．サブ画像抽出プロセス：
【0093】
抽出プロセスの詳細は、明らかに、適用されるシグナリング方式に依存する。
【0094】
タイルセットアップとTMCTS SEI、特に抽出されたTMCTSに関する制約は、適合出力を保証するために定式化されなければならない。ビットストリーム中の上記シグナリング実施形態のいずれかが存在すると、ビデオビットストリームの作成中にエンコーダが以下で定式化された制約に従うという保証を示す。
【0095】
入力：
・ビットストリーム
・目標MCTS識別子MCTSIdTarget。
・目標レイヤ識別子リストlayerIdListTarget。
・ビットストリーム
・目標MCTS識別子MCTSIdTarget。
・目標レイヤ識別子リストlayerIdListTarget。
【0096】
制約条件またはビットストリーム要件：
・tiles＿enabled＿flagが1に等しい。
・num＿tile＿columns＿minus1> 0 || num＿rows＿minus1> 0。
・MCTSIdTargetに等しいmcts＿id [i]を持つTMCTS SEIメッセージが存在し、出力されるべきすべての画像に関連付けられる。
・MCTSIdTargetに等しいmcts＿id [i]を持つTMCTSがTMCTS SEIに存在する。
・mcts＿id [i]がMCTSIdTargetに等しいTMCTSについての適切なレベルは、TMCTS SEIシンタックス要素mcts＿tier＿level＿idc＿present＿flag [i]、mcts＿tier＿idc [i]、mcts＿level＿idc [i]または、上記のシグナリング変数1Aまたは1Bの一方のいずれかにより示されるべきである。
・TMCTSのHRD情報は、シグナリング変数1A、1Bまたは1Cの１つを介してビットストリームに存在する。
・MCTSIdTargetに等しいmcts＿id [i]を持つTMCTS内のすべての矩形は、輝度サンプルで同じ高さまたは同じ幅、またはその両方を持つ。
・tiles＿enabled＿flagが1に等しい。
・num＿tile＿columns＿minus1> 0 || num＿rows＿minus1> 0。
・MCTSIdTargetに等しいmcts＿id [i]を持つTMCTS SEIメッセージが存在し、出力されるべきすべての画像に関連付けられる。
・MCTSIdTargetに等しいmcts＿id [i]を持つTMCTSがTMCTS SEIに存在する。
・mcts＿id [i]がMCTSIdTargetに等しいTMCTSについての適切なレベルは、TMCTS SEIシンタックス要素mcts＿tier＿level＿idc＿present＿flag [i]、mcts＿tier＿idc [i]、mcts＿level＿idc [i]または、上記のシグナリング変数1Aまたは1Bの一方のいずれかにより示されるべきである。
・TMCTSのHRD情報は、シグナリング変数1A、1Bまたは1Cの１つを介してビットストリームに存在する。
・MCTSIdTargetに等しいmcts＿id [i]を持つTMCTS内のすべての矩形は、輝度サンプルで同じ高さまたは同じ幅、またはその両方を持つ。
【0097】
プロセス：
・MCTSIdTargetに等しいmcts＿id [i]に関連付けられたタイルセットに存在しないすべてのタイルNALUを除去する。
・シグナリング1Xに応じてパラメータセットを置換／調整する。
・残りのNALUスライスヘッダを次のように調整する。
・MCTSIdTargetに等しいmcts＿id [i]に関連付けられたタイルセットに存在しないすべてのタイルNALUを除去する。
・シグナリング1Xに応じてパラメータセットを置換／調整する。
・残りのNALUスライスヘッダを次のように調整する。
【0098】
○ slice＿segement＿addressとfirst＿slice＿segment＿in＿pic＿flagを調整して、タイルセット内のすべての矩形から共通の画像平面を作成する。
○ 必要に応じてpps＿idを調整する。
・シグナリング２Aの存在下で、SEIを除去するか、置き換える。
○ 必要に応じてpps＿idを調整する。
・シグナリング２Aの存在下で、SEIを除去するか、置き換える。
【0099】
代替の実施形態として、抽出プロセスの一部として上述した制約条件またはビットストリーム要件は、ビットストリーム内の専用シグナリング、例えば別個のSEIメッセージまたはVUI指示の形式をとることができ、その存在は抽出プロセス上のそれらのための必要条件である。
【0100】
２．マルチレイヤ
【0101】
いくつかのシナリオでは、例えば領域ごとにさまざまな品質を提供するために、階層化されたコーデックに関心があるかもしれない。より低いレイヤ品質でより大きな空間領域を提供することは興味深いことかもしれず、その結果、ユーザによって必要とされ、かつ、広角ビデオのいくつかの固有の領域が上位層で利用可能でない場合には、コンテンツは下位層でアップサンプリングされることができ、上位層のコンテンツと共に提示される。下位レイヤのビデオ領域が上位レイヤのビデオ領域を拡張する度合は使用状況に応じて変化することが許されるべきであろう。
【0102】
説明されたTMCTS SEIに加えて、HEVC仕様の階層化された拡張（すなわちAnnex F）において、レイヤ間予測のための性質の制約が同様であることを示すILCTS（Inter-layer Constrained Tile Sets）SEIメッセージが指定される。参考のために、シンタックステーブルを図１２に示す。
従って、本発明のさらなる部分として、付加的な情報を考慮に入れた階層化された符号化ビデオビットストリームのために、上記と同様の方法の抽出プロセスが実現される。
従って、本発明のさらなる部分として、付加的な情報を考慮に入れた階層化された符号化ビデオビットストリームのために、上記と同様の方法の抽出プロセスが実現される。
【0103】
マルチレイヤサブ画像のシグナリング態様を考慮する場合の上述のシグナリングおよび処理との主な相違点は、ビットストリームの目標データ部分がもはやmcts＿id識別子の単一の値によって識別されないことである。その代わりに、レイヤセットの識別子と、適用可能であれば、各包含レイヤ内のTMCTSの複数の識別子と、適用可能であれば、含まれるレイヤ間の各ILCTS識別子が、ビットストリームの目標部分を識別する多次元ベクトルを形成する。
【0104】
本発明の実施形態は、シンタックス要素mcts＿identifier [i] [k]が、記述された多次元識別子ベクトルで置換えられた、上で開示された単一層シグナリング1A、1B、1Cおよび2Aの変形である。
【0105】
さらに、エンコーダ制約またはビットストリーム要件は、以下のように拡張される。
【0106】
２．２．抽出プロセス：
【0107】
入力：
・以下からなる多次元識別子ベクトル
・対象レイヤセットlayerSetIdTarget
・識別子layerSetIdTargetとともに設定されたレイヤ内の最上位レイヤについて少なくとも目標レイヤTMCTS識別子MCTSIdTarget＿Lx
・以下に対応する目標ILCTS識別子LTCTSIdTarget＿Lx＿refLy
・ビットストリーム
・以下からなる多次元識別子ベクトル
・対象レイヤセットlayerSetIdTarget
・識別子layerSetIdTargetとともに設定されたレイヤ内の最上位レイヤについて少なくとも目標レイヤTMCTS識別子MCTSIdTarget＿Lx
・以下に対応する目標ILCTS識別子LTCTSIdTarget＿Lx＿refLy
・ビットストリーム
【0108】
ビットストリーム要求
単一層の場合に定義されているものに加えて：
単一層の場合に定義されているものに加えて：
【0109】
・MCTSIdTarget＿Lxに等しいmcts＿id [i]を有するTMCTS SEIメッセージが、それぞれのレイヤLxについて存在し、かつILTCTSIdTarget＿Lx＿refLyに等しいilcts＿id [i]を有するILCTS SEIメッセージが、ビットストリームに含まれる使用される参照レイヤLyおよびレイヤセットlayerSetIdTargetを使用する任意についてそれぞれのレイヤLxに存在する。
【0110】
抽出されたビットストリーム部分に欠けている参照サンプルの存在を除外するために、ビットストリーム部分を定義するTMCTSおよびILCTSは、さらに以下の制約を満たさなければならない。
【0111】
・MCTSIdTarget＿LAに等しいmcts＿id [i]に関連付けられたタイルセットtsAを有する各参照レイヤAについて：tsAを構成するレイヤA内のタイルは、ILTCTSIdTarget＿LA＿refLyに等しいilcts＿id [i]を有するタイルセットに関連する同じタイルである。
・MCTSIdTarget＿LBに等しいmcts＿id [i]に関連付けられたタイルセットtsBを有する各被参照レイヤBについて：tsBを構成するレイヤBのタイルは、ilcts＿id [i] ILCTSIdTarget＿Lx＿refLBと示される関連参照タイルセットに完全に含まれる。
・MCTSIdTarget＿LBに等しいmcts＿id [i]に関連付けられたタイルセットtsBを有する各被参照レイヤBについて：tsBを構成するレイヤBのタイルは、ilcts＿id [i] ILCTSIdTarget＿Lx＿refLBと示される関連参照タイルセットに完全に含まれる。
【0112】
プロセス
レイヤxごとに：mcts id [i]識別子MCTS Id Target＿Lxを持つタイルセット内に存在しないすべてのタイルNALユニットを除去する。
レイヤxごとに：mcts id [i]識別子MCTS Id Target＿Lxを持つタイルセット内に存在しないすべてのタイルNALユニットを除去する。
【0113】
本出願の次の態様に移る前に、サブ領域２２が１組のタイルで構成されていてもよいという上記の可能性に関して簡単な注記がなされなければならず、画像１２内のその相対位置は削減されたビデオデータストリーム６２によって表されるビデオ８４のより小さい画像８６内のこれらのタイルの互いへの相対位置とは異なってもよい。
【0114】
図１３は、デコード順に沿って大文字AからIを用いて列挙されたタイル４２のアレイに細分される画像１２を示す。例示のみのために、図１３は例示的に１つの画像と、３×３タイル４２への細分を示す。画像１２が、符号化依存性がタイル境界４０を横切らないようにビデオデータストリーム１０に符号化され、符号化依存性がイントラピクチャ空間相互依存性を含むだけでなく例えば時間的独立性なども制限されることを想像されたい。従って、現在の画像内のタイル４２は、それ自体、または以前に符号化／復号化された画像、すなわち時間参照画像内の同一位置のタイルにのみ依存する。
【0115】
この状況では、サブ領域２２は、例えば、タイル[D、F、G、I]のセットのような不連続なタイル４２のセットから構成されてもよい。相互独立性のため、ビデオ８４の画像８６は、関与するタイルが異なる方法で画像８６内に空間的に配置されるようにサブ領域２２を示すことができる。これは、図１３に示されている：画像８６はまた、タイル４２の単位で削減ビデオデータストリーム６２に符号化されるが、画像１２のサブ領域２２を形成するタイルは、相互に別の位置関係で画像８６内に空間的に配置される。図１３の例では、サブ領域２２を形成するタイル４２は、画像１２が水平パノラマビューを示しているかのように、画像１２の反対側のタイルを占有し、これらの対向するサイドのタイルは実際にパノラマシーンの隣接部分を示す。しかしながら、画像８６では、各タイル行内のタイルは、画像１２におけるそれらの相対位置に対する相対的な位置を切替える。すなわち、例えばタイルFは、画像１２のタイルDおよびFの相互水平位置と比較して、タイルDに対して左側に現れる。
【0116】
本出願の次の態様に進む前に、タイル４２およびセクション２２のいずれも、その境界を越えないように符号化依存性が制限されている上述の方法で画像１２に符号化する必要がないことに留意すべきである。当然のことながら、この制限は、ビデオデータストリームの削減／抽出の上述の概念を緩和するが、そのような符号化依存性は、これらのエッジ部分での歪が用途に応じて受け入れることができる用途に応じて、サブ領域２２／タイル４２の境界に沿った小さなエッジ部分にのみ影響を及ぼす傾向がある。
【0117】
さらに、上述した実施形態は、現行のビデオコーデックを、説明された適合点を新たに含むように拡張する可能性、すなわち、ビデオストリームを、適合性を維持のみしながらオリジナル画像１２のサブ領域２２に関連する削減されたビデオストリームに削減する可能性を含むように拡張する可能性を示し、かつこの目的を達成するために、情報５０は、典型的には、SEIメッセージ、VUIまたはパラメータセット拡張、すなわち、好き嫌いに従ってデコーダによってスキップされ得る元のビデオデータストリームの部分に例示的に隠されていることに留意すべきである。しかしながら、代わりに、情報５０は、標準的な部分である部分でビデオデータストリーム内で伝達することができる。すなわち、新たなビデオコーデックは、最初から説明されたコンプライアンスポイント（compliance point）を含むように設定することができる。
【0118】
さらに、完全性のために、上述の実施形態のさらなる具体的な実施例が説明され、この実施例は、上記の実施形態を実施するようにHEVC規格を拡張する可能性を示す。このために、新しいSEIメッセージが提供される。換言すれば、個々のHEVC適合ビットストリームとして動き拘束タイルセット（MCTS）を抽出することを可能にするHEVC仕様への修正が記載されている。２つのSEIメッセージが使用され、以下で説明される。
【0119】
第１のSEIメッセージ、すなわちMCTS抽出情報セットSEIメッセージは、MCTS固有の置換パラメータセットのキャリッジのシンタックスを提供し、セマンティクスにおける抽出プロセスを定義する。第２のSEIメッセージ、すなわちMCTS抽出情報入れ子SEIメッセージは、MCTS固有の入れ子SEIメッセージのシンタックスを提供する。
【0120】
従って、これらのSEIメッセージをHEVCフレームワークに含めるために、HEVCの一般的なSEIメッセージシンタックスは、新しいタイプのSEIメッセージを含むように修正される。
【0121】
【0122】
このように、リストSingleLayerSeiListは、ペイロードタイプ値３，６，９，１５，１６，１７，１９，２２，２３，４５，４７，５６，１２８，１２９，１３１，１３２および１３４から１５３までを包括的に含むようにセットされる。同様に、リストVclAssociatedSeiListとPicUnitRepConSeiListとは、新しいSEIメッセージのタイプ番号１５２と１５３とによって拡張され、この番号は、当然説明目的のためだけに選択されている。
【0123】
HEVCの表D.1は、SEIメッセージの存続範囲に、SEIメッセージの新しいテープへのヒントを追加する。
【0124】
【0125】
そのシンタックスは次のようになる。MCTS抽出情報セットSEIメッセージシンタックスは、次のように設計することができる。
【0126】
【0127】
セマンティクスに関する限り、MCTS抽出情報セットSEIメッセージは、置換パラメータ５６を使用する情報５０の一例である。
MCTS抽出情報セットSEIメッセージは、以下に指定されるようなサブビットストリームMCTS抽出を実行するための補助情報を提供し、動き制限付きタイルセット、すなわち全体画像領域のフラグメント８４を形成するタイルのセットからHEVC適合ビットストリームを導出する。この情報は、抽出情報セットが適用される動き制約付きタイルセットの識別子をそれぞれ含む多数の抽出情報セットからなる。各抽出情報セットは、サブビットストリームMCTS抽出プロセス中に使用される変位ビデオパラメータセット、シーケンスパラメータセット、および画像パラメータセットのRBSPバイトを含む。
画像のセットassociatedPicSetを、MCTS抽出情報セットSEIメッセージ（これを含む）を含むアクセスユニットからの画像とし、以下のいずれかの最初のものまでをデコード順に含める。
－MCTS抽出情報セットSEIメッセージを含む、デコード順で次のアクセスユニット。
－NoRaslOutputFlagが１であるデコード順で次のIRAP画像。
－NoClrasOutputFlagが１であるデコード順で次のIRAPアクセスユニット。
MCTS抽出情報セットSEIメッセージの範囲は、picturesPicSetのセットである。
MCT抽出情報セットタイルセットSEIメッセージが、associatedPicSet内の任意の画像について存在すると、時間的に動きが制約されたタイルセットSEIメッセージが、associatedPicSetの最初の画像について復号化順序で存在し、associatedPicSetの他の画像についても存在してもよい。時間的に動きが制約されたタイルセットSEIメッセージは、associatedPicSet内のすべての画像についてmcts＿identifer []と等しいmcts＿id []を持たなければならない。
MCTS抽出情報セットタイルセットSEIメッセージがassociatedPicSet内の任意の画像に対して存在する場合、MCTS抽出情報セットSEIメッセージは、associatedPicSetの最初の画像に対して復号化順序で存在しなければならず、associatedPicSetの他の画像に対しても存在する。
MCTS抽出情報セットタイルセットSEIメッセージがassociatedPicSet内の任意の画像に対して存在する場合、MCTS抽出情報セットSEIメッセージは、復号化順序でassociatedPicSetの最初の画像について存在しなければならず、associatedPicSetの他の画像についても存在してもよい。
associatedPicSet内の任意の画像についてアクティブである任意のPPSについて、tiles＿enabled＿flagが０に等しい場合、MCTS抽出情報セットSEIメッセージはassociatedPicSet内のいかなる画像についても存在してはならない。
associatedPicSet内の任意の画像についてアクティブであるすべてのPPSが、シンタックス要素num＿tile＿columns＿minus1、num＿tile＿rows＿minus1、uniform＿spacing＿flag、column＿width＿minus1 [i]およびrow＿height＿minus1 [i]の同じ値を有さない限り、MCTS抽出情報セットSEIメッセージはassociatedPicSet内のいかなる画像についても存在してはならない。
注１－この制約は１に等しいtiles＿fixed＿structure＿flagに関連する制約に類似しており、MCTS抽出情報セットSEIメッセージが存在する場合（これは必須ではないが）、tiles＿fixed＿structure＿flagが１に等しいことが望ましい。
associatedPicSetの画像に対して複数のMCTS抽出情報セットSEIメッセージが存在する場合、それらは同じ内容を含むものとする。
タイルセットtileSetAに属するタイルを含むNALユニットは、タイルセットtileSetAに属さないタイルを含んではならない。
各アクセスユニットにおけるMCTS抽出情報セットSEIメッセージの数は、５を超えてはならない。
num＿extraction＿info＿sets＿minus1 plus 1は、mcts抽出プロセスに適用されるMCTS抽出情報セットSEIメッセージに含まれる抽出情報セットの数を示す。num＿extraction＿info＿sets＿minus1[i]の値は、０～２32－２の範囲内でなければならない。
i番目の抽出情報セットには、iに等しいMCTS抽出情報セット識別子の値が割り当てられる。
num＿associated＿tile＿set＿identifiers＿minus1 [i] plus 1は、i番目の抽出情報セット内のタイルセットのmcts＿idの値の数を示す。num＿extraction＿info＿sets＿minus1 [i]の値は、０～２32－２の範囲内でなければならない。
mcts＿identifier [i] [j]は、i番目の抽出情報セットに関連付けられたmcts＿identifier [i] [j]に等しいmcts＿idでj番目のタイルセットを識別する。mcts＿identifier [i] [j]の値は、０～２32－２の範囲内でなければならない。
num＿vps＿in＿extraction＿info＿set＿minus1 [i] plus 1は、i番目の抽出情報セット内の変位ビデオパラメータセットの数を示す。num＿vps＿in＿extraction＿info＿set＿minus1 [i]の値は、０～１５の範囲内でなければならない。
vps＿rbsp＿data＿length [i] [j]は、i番目の抽出情報セットに設定された次のj番目の置換ビデオパラメータのバイト数vps＿rbsp＿data＿bytes [i] [j] [k]を示す。
num＿sps＿in＿extraction＿info＿set＿minus1 [i] plus 1は、i番目の抽出情報セット内の置換シーケンスパラメータセットの数を示す。num＿sps＿in＿extraction＿info＿set＿minus1 [i]の値は、0～15の範囲内でなければならない。
sps＿rbsp＿data＿length [i] [j]は、i番目の抽出情報セットに設定された次のj番目の置換シーケンスパラメータであるsps＿rbsp＿data＿bytes [i] [j] [k]のバイト数を示す。
num＿pps＿in＿extraction＿info＿set＿minus1 [i] plus 1は、i番目の抽出情報セット内の置換画像パラメータセットの数を示す。num＿pps＿in＿extraction＿info＿set＿minus1 [i]の値は、0～63の範囲内でなければならない。
pps＿nuh＿temporal＿id＿plus1 [i] [j]は、i番目の抽出情報セットについてのj番目の変位画像パラメータセットについてpps＿rbsp＿data＿bytes [i] [j] []で指定されたPPS RBSPで指定されたPPSデータに関連付けられたPPS NALユニットを生成するための一時識別子を指定する。
pps＿rbsp＿data＿length [i] [j]は、i番目の抽出情報セットに設定された次のj番目の置換画像パラメータセットのバイト数pps＿rbsp＿data＿bytes [i] [j] [k]を示す。
mcts＿alignment＿bit＿equal＿to＿zeroは０に等しくなければならない。
vps＿rbsp＿data＿bytes [i] [j] [k]は、i番目の抽出情報セット内の次のj番目の置換ビデオパラメータセットのRBSPのk番目のバイトを含む。
sps＿rbsp＿data＿bytes [i] [j] [k]は、i番目の抽出情報セットに設定された次のj番目の置換シーケンスパラメータのRBSPのk番目のバイトを含む。
pps＿rbsp＿data＿bytes [i] [j] [k]は、i番目の抽出情報セットに設定された次のj番目の変位画像パラメータのRBSPのk番目のバイトを含む。
サブビットストリームMCTS抽出プロセスは、以下のように適用される。
ビットストリームinBitstream、目標MCTS識別子mctsIdTarget、目標MCTS抽出情報セット識別子mctsEISIdTarget、および目標最高TemporalIdをmctsTIdTargetをサブビットストリームMCTS抽出プロセスへの入力とする。
サブビットストリームMCTS抽出プロセスの出力は、サブビットストリームoutBitstreamである。
入力ビットストリームについてのビットストリーム適合の要件は、ビットストリームとともにこの節で規定されているプロセスの出力である任意の出力サブビットストリームが、適合するビットストリームであることである。
出力サブビットストリームは、以下のように導出される。
－ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
－ausWithVPS、ausWithSPSおよびausWithPPSのリストは、VPS＿NUT、SPS＿NUTおよびPPS＿NUTタイプのVCL NALユニットを含むoutBitstream内のすべてのアクセスユニットで構成されるように設定される。
－０に等しいnuh＿layer＿idを有し、ネストされていないSEIメッセージを含むすべてのSEI NALユニットを除去する。
注2 - 「スマート」ビットストリーム抽出器は、サブビットストリームに適用可能なSEIメッセージが元のビットストリームのmcts＿extraction＿info＿nesting（）にネストされたSEIメッセージとして存在していれば、抽出されたサブビットストリームに適切な非ネストSEIメッセージを含めることができる。
－outBitstreamからすべてのタイプのNALユニットを除去する：
－mcts＿id [i]がmctsIdTargetに等しいタイルセットに属していないタイルを含むVCL NALユニット。
－タイプVPS＿NUT、SPS＿NUT、またはPPS＿NUTを有する非VCL NALユニット。
－mctsElSldTarget番目のMCTS抽出情報セット、つまり０からnum＿vps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲のjのすべての値についてのvps＿rbsp＿data＿bytes [mctsEISIdTarget] [j] []におけるVPS RBSPデータから生成されたタイプVPS＿NUTを有するoutBitstream num＿vps＿in＿extraction＿info＿minus1 [mctsEISIdTarget] plus 1 NALユニット内のリストausWithVPS内の全てのアクセスユニットに挿入する。生成された各VPS＿NUTに対して、nuh＿layer＿idは０に等しく設定され、nuh＿temporal＿id＿plus1は１に等しく設定される。
－mctsEISIdTarget番目のMCTS抽出情報セット、つまり０からnum＿sps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲のjのすべての値についてのsps＿rbsp＿data＿bytes [mctsEISIdTarget] [j] []におけるSPS RBSPデータから生成されたタイプSPS＿NUTを有するoutBitstream num＿sps＿in＿extraction＿info＿minus1 [mctsEISIdTarget] plus 1 NALユニット内のリストausWithSPS内の全てのアクセスユニットに挿入する。生成された各SPS＿NUTに対して、nuh＿layer＿idは０に等しく設定され、nuh＿temporal＿id＿plus1は１に等しく設定される。
－mctsEISIdTarget番目のMCTS抽出情報セット、つまり、pps＿nuh＿temporal＿id＿plus1 [mctsEISIdTarget] [j]がmctsTIdTarget以下の値を含む範囲０からnum＿pps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲のjのすべての値についてのpps＿rbsp＿data＿bytes [mctsEISIdTarget] [j] []におけるPPS RBSPデータから生成されたタイプPPS＿NUTを有するoutBitstream NALユニット内のリストausWithPPS内の全てのアクセスユニットに挿入する。生成された各PPS＿NUTに対して、nuh＿layer＿idは０に等しく設定され、nuh＿temporal＿id＿plus1は、０からnum＿pps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲内のjのすべての値に対して、pps＿nuh＿temporal＿id＿plus1 [mctsEISIdTarget] [j]に等しく設定され、pps＿nuh＿temporal＿id＿plus1 [mctsEISIdTarget] [j]はmctsTIdTarget以下である。
－mctsTIdTargetより大きいTemporalIdを持つすべてのNALユニットをoutBitstreamから除去する。
－outBitstreamの残りのVCL NALユニットごとに、次のようにスライスセグメントヘッダを調整する。
－各アクセスユニット内の最初のVCL NALユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に等しく設定し、それ以外の場合は０に等しく設定する。
－pps＿pic＿parameter＿set＿idがslice＿pic＿parameter＿set＿idと等しいPPSで定義されたタイル設定に従って、slice＿segment＿addressの値を設定する。
MCTS抽出情報セットSEIメッセージは、以下に指定されるようなサブビットストリームMCTS抽出を実行するための補助情報を提供し、動き制限付きタイルセット、すなわち全体画像領域のフラグメント８４を形成するタイルのセットからHEVC適合ビットストリームを導出する。この情報は、抽出情報セットが適用される動き制約付きタイルセットの識別子をそれぞれ含む多数の抽出情報セットからなる。各抽出情報セットは、サブビットストリームMCTS抽出プロセス中に使用される変位ビデオパラメータセット、シーケンスパラメータセット、および画像パラメータセットのRBSPバイトを含む。
画像のセットassociatedPicSetを、MCTS抽出情報セットSEIメッセージ（これを含む）を含むアクセスユニットからの画像とし、以下のいずれかの最初のものまでをデコード順に含める。
－MCTS抽出情報セットSEIメッセージを含む、デコード順で次のアクセスユニット。
－NoRaslOutputFlagが１であるデコード順で次のIRAP画像。
－NoClrasOutputFlagが１であるデコード順で次のIRAPアクセスユニット。
MCTS抽出情報セットSEIメッセージの範囲は、picturesPicSetのセットである。
MCT抽出情報セットタイルセットSEIメッセージが、associatedPicSet内の任意の画像について存在すると、時間的に動きが制約されたタイルセットSEIメッセージが、associatedPicSetの最初の画像について復号化順序で存在し、associatedPicSetの他の画像についても存在してもよい。時間的に動きが制約されたタイルセットSEIメッセージは、associatedPicSet内のすべての画像についてmcts＿identifer []と等しいmcts＿id []を持たなければならない。
MCTS抽出情報セットタイルセットSEIメッセージがassociatedPicSet内の任意の画像に対して存在する場合、MCTS抽出情報セットSEIメッセージは、associatedPicSetの最初の画像に対して復号化順序で存在しなければならず、associatedPicSetの他の画像に対しても存在する。
MCTS抽出情報セットタイルセットSEIメッセージがassociatedPicSet内の任意の画像に対して存在する場合、MCTS抽出情報セットSEIメッセージは、復号化順序でassociatedPicSetの最初の画像について存在しなければならず、associatedPicSetの他の画像についても存在してもよい。
associatedPicSet内の任意の画像についてアクティブである任意のPPSについて、tiles＿enabled＿flagが０に等しい場合、MCTS抽出情報セットSEIメッセージはassociatedPicSet内のいかなる画像についても存在してはならない。
associatedPicSet内の任意の画像についてアクティブであるすべてのPPSが、シンタックス要素num＿tile＿columns＿minus1、num＿tile＿rows＿minus1、uniform＿spacing＿flag、column＿width＿minus1 [i]およびrow＿height＿minus1 [i]の同じ値を有さない限り、MCTS抽出情報セットSEIメッセージはassociatedPicSet内のいかなる画像についても存在してはならない。
注１－この制約は１に等しいtiles＿fixed＿structure＿flagに関連する制約に類似しており、MCTS抽出情報セットSEIメッセージが存在する場合（これは必須ではないが）、tiles＿fixed＿structure＿flagが１に等しいことが望ましい。
associatedPicSetの画像に対して複数のMCTS抽出情報セットSEIメッセージが存在する場合、それらは同じ内容を含むものとする。
タイルセットtileSetAに属するタイルを含むNALユニットは、タイルセットtileSetAに属さないタイルを含んではならない。
各アクセスユニットにおけるMCTS抽出情報セットSEIメッセージの数は、５を超えてはならない。
num＿extraction＿info＿sets＿minus1 plus 1は、mcts抽出プロセスに適用されるMCTS抽出情報セットSEIメッセージに含まれる抽出情報セットの数を示す。num＿extraction＿info＿sets＿minus1[i]の値は、０～２32－２の範囲内でなければならない。
i番目の抽出情報セットには、iに等しいMCTS抽出情報セット識別子の値が割り当てられる。
num＿associated＿tile＿set＿identifiers＿minus1 [i] plus 1は、i番目の抽出情報セット内のタイルセットのmcts＿idの値の数を示す。num＿extraction＿info＿sets＿minus1 [i]の値は、０～２32－２の範囲内でなければならない。
mcts＿identifier [i] [j]は、i番目の抽出情報セットに関連付けられたmcts＿identifier [i] [j]に等しいmcts＿idでj番目のタイルセットを識別する。mcts＿identifier [i] [j]の値は、０～２32－２の範囲内でなければならない。
num＿vps＿in＿extraction＿info＿set＿minus1 [i] plus 1は、i番目の抽出情報セット内の変位ビデオパラメータセットの数を示す。num＿vps＿in＿extraction＿info＿set＿minus1 [i]の値は、０～１５の範囲内でなければならない。
vps＿rbsp＿data＿length [i] [j]は、i番目の抽出情報セットに設定された次のj番目の置換ビデオパラメータのバイト数vps＿rbsp＿data＿bytes [i] [j] [k]を示す。
num＿sps＿in＿extraction＿info＿set＿minus1 [i] plus 1は、i番目の抽出情報セット内の置換シーケンスパラメータセットの数を示す。num＿sps＿in＿extraction＿info＿set＿minus1 [i]の値は、0～15の範囲内でなければならない。
sps＿rbsp＿data＿length [i] [j]は、i番目の抽出情報セットに設定された次のj番目の置換シーケンスパラメータであるsps＿rbsp＿data＿bytes [i] [j] [k]のバイト数を示す。
num＿pps＿in＿extraction＿info＿set＿minus1 [i] plus 1は、i番目の抽出情報セット内の置換画像パラメータセットの数を示す。num＿pps＿in＿extraction＿info＿set＿minus1 [i]の値は、0～63の範囲内でなければならない。
pps＿nuh＿temporal＿id＿plus1 [i] [j]は、i番目の抽出情報セットについてのj番目の変位画像パラメータセットについてpps＿rbsp＿data＿bytes [i] [j] []で指定されたPPS RBSPで指定されたPPSデータに関連付けられたPPS NALユニットを生成するための一時識別子を指定する。
pps＿rbsp＿data＿length [i] [j]は、i番目の抽出情報セットに設定された次のj番目の置換画像パラメータセットのバイト数pps＿rbsp＿data＿bytes [i] [j] [k]を示す。
mcts＿alignment＿bit＿equal＿to＿zeroは０に等しくなければならない。
vps＿rbsp＿data＿bytes [i] [j] [k]は、i番目の抽出情報セット内の次のj番目の置換ビデオパラメータセットのRBSPのk番目のバイトを含む。
sps＿rbsp＿data＿bytes [i] [j] [k]は、i番目の抽出情報セットに設定された次のj番目の置換シーケンスパラメータのRBSPのk番目のバイトを含む。
pps＿rbsp＿data＿bytes [i] [j] [k]は、i番目の抽出情報セットに設定された次のj番目の変位画像パラメータのRBSPのk番目のバイトを含む。
サブビットストリームMCTS抽出プロセスは、以下のように適用される。
ビットストリームinBitstream、目標MCTS識別子mctsIdTarget、目標MCTS抽出情報セット識別子mctsEISIdTarget、および目標最高TemporalIdをmctsTIdTargetをサブビットストリームMCTS抽出プロセスへの入力とする。
サブビットストリームMCTS抽出プロセスの出力は、サブビットストリームoutBitstreamである。
入力ビットストリームについてのビットストリーム適合の要件は、ビットストリームとともにこの節で規定されているプロセスの出力である任意の出力サブビットストリームが、適合するビットストリームであることである。
出力サブビットストリームは、以下のように導出される。
－ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
－ausWithVPS、ausWithSPSおよびausWithPPSのリストは、VPS＿NUT、SPS＿NUTおよびPPS＿NUTタイプのVCL NALユニットを含むoutBitstream内のすべてのアクセスユニットで構成されるように設定される。
－０に等しいnuh＿layer＿idを有し、ネストされていないSEIメッセージを含むすべてのSEI NALユニットを除去する。
注2 - 「スマート」ビットストリーム抽出器は、サブビットストリームに適用可能なSEIメッセージが元のビットストリームのmcts＿extraction＿info＿nesting（）にネストされたSEIメッセージとして存在していれば、抽出されたサブビットストリームに適切な非ネストSEIメッセージを含めることができる。
－outBitstreamからすべてのタイプのNALユニットを除去する：
－mcts＿id [i]がmctsIdTargetに等しいタイルセットに属していないタイルを含むVCL NALユニット。
－タイプVPS＿NUT、SPS＿NUT、またはPPS＿NUTを有する非VCL NALユニット。
－mctsElSldTarget番目のMCTS抽出情報セット、つまり０からnum＿vps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲のjのすべての値についてのvps＿rbsp＿data＿bytes [mctsEISIdTarget] [j] []におけるVPS RBSPデータから生成されたタイプVPS＿NUTを有するoutBitstream num＿vps＿in＿extraction＿info＿minus1 [mctsEISIdTarget] plus 1 NALユニット内のリストausWithVPS内の全てのアクセスユニットに挿入する。生成された各VPS＿NUTに対して、nuh＿layer＿idは０に等しく設定され、nuh＿temporal＿id＿plus1は１に等しく設定される。
－mctsEISIdTarget番目のMCTS抽出情報セット、つまり０からnum＿sps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲のjのすべての値についてのsps＿rbsp＿data＿bytes [mctsEISIdTarget] [j] []におけるSPS RBSPデータから生成されたタイプSPS＿NUTを有するoutBitstream num＿sps＿in＿extraction＿info＿minus1 [mctsEISIdTarget] plus 1 NALユニット内のリストausWithSPS内の全てのアクセスユニットに挿入する。生成された各SPS＿NUTに対して、nuh＿layer＿idは０に等しく設定され、nuh＿temporal＿id＿plus1は１に等しく設定される。
－mctsEISIdTarget番目のMCTS抽出情報セット、つまり、pps＿nuh＿temporal＿id＿plus1 [mctsEISIdTarget] [j]がmctsTIdTarget以下の値を含む範囲０からnum＿pps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲のjのすべての値についてのpps＿rbsp＿data＿bytes [mctsEISIdTarget] [j] []におけるPPS RBSPデータから生成されたタイプPPS＿NUTを有するoutBitstream NALユニット内のリストausWithPPS内の全てのアクセスユニットに挿入する。生成された各PPS＿NUTに対して、nuh＿layer＿idは０に等しく設定され、nuh＿temporal＿id＿plus1は、０からnum＿pps＿in＿extraction＿info＿minus1 [mctsEISIdTarget]の範囲内のjのすべての値に対して、pps＿nuh＿temporal＿id＿plus1 [mctsEISIdTarget] [j]に等しく設定され、pps＿nuh＿temporal＿id＿plus1 [mctsEISIdTarget] [j]はmctsTIdTarget以下である。
－mctsTIdTargetより大きいTemporalIdを持つすべてのNALユニットをoutBitstreamから除去する。
－outBitstreamの残りのVCL NALユニットごとに、次のようにスライスセグメントヘッダを調整する。
－各アクセスユニット内の最初のVCL NALユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に等しく設定し、それ以外の場合は０に等しく設定する。
－pps＿pic＿parameter＿set＿idがslice＿pic＿parameter＿set＿idと等しいPPSで定義されたタイル設定に従って、slice＿segment＿addressの値を設定する。
【0128】
MCTS抽出情報入れ子SEIメッセージシンタックスは、次のように設計することができる。
【0129】
【0130】
セマンティックスに関して、MCTS抽出情報入れ子SEIメッセージは、情報５０を形成するためにMCTS抽出情報セットSEIメッセージに加えて、またはこれに代わって存在してもよいことに留意されたい。
【0131】
MCTS抽出情報入れ子SEIメッセージは、入れ子にされたSEIメッセージを搬送し、入れ子にされたSEIメッセージを、1つ以上の動きが制約されたタイルセットに対応するビットストリームサブセットと関連付けるためのメカニズムを提供する。
MCTS抽出情報セットSEIメッセージのセマンティクスで指定されたサブビットストリームMCTS抽出プロセスでは、MCTS抽出情報入れ子SEIメッセージに含まれる入れ子SEIメッセージを使用して、MCTS抽出情報入れ子SEIメッセージを含むアクセスユニット内の入れ子になっていないSEIメッセージを置換えることができる。
０に等しいall＿tile＿sets＿flagは、mcts＿identifierリストがmcts＿identifier [i]で構成されていることを示す。１に等しいall＿tile＿sets＿flagは、リストmcts＿identifier [i]が、現在のアクセスユニットに存在するtemporal＿motion＿constrained＿tile＿sets SEIメッセージのmcts＿id []のすべての値からなることを示す。
MCTS抽出情報セットSEIメッセージのセマンティクスで指定されたサブビットストリームMCTS抽出プロセスでは、MCTS抽出情報入れ子SEIメッセージに含まれる入れ子SEIメッセージを使用して、MCTS抽出情報入れ子SEIメッセージを含むアクセスユニット内の入れ子になっていないSEIメッセージを置換えることができる。
０に等しいall＿tile＿sets＿flagは、mcts＿identifierリストがmcts＿identifier [i]で構成されていることを示す。１に等しいall＿tile＿sets＿flagは、リストmcts＿identifier [i]が、現在のアクセスユニットに存在するtemporal＿motion＿constrained＿tile＿sets SEIメッセージのmcts＿id []のすべての値からなることを示す。
【0132】
num＿associated＿mcts＿identifiers＿minus1 plus 1は、続くmcts＿identifierの数を示す。num＿associated＿mcts＿identifiers＿minus1 [i]の値は、０～２32－２の範囲内でなければならない。
mcts＿identifier [i]は、次の入れ子にされたSEIメッセージに関連付けられたmcts＿identifier [i]に等しいmcts＿idを持つタイルセットを示す。mcts＿identifier [i]の値は、０～２32－２の範囲内でなければならない。
num＿seis＿in＿mcts＿extraction＿seis＿minus1 plus 1は、次の入れ子にされたSEIメッセージの数を示す。
mcts＿nesting＿zero＿bitは0に等しくなければならない。
mcts＿identifier [i]は、次の入れ子にされたSEIメッセージに関連付けられたmcts＿identifier [i]に等しいmcts＿idを持つタイルセットを示す。mcts＿identifier [i]の値は、０～２32－２の範囲内でなければならない。
num＿seis＿in＿mcts＿extraction＿seis＿minus1 plus 1は、次の入れ子にされたSEIメッセージの数を示す。
mcts＿nesting＿zero＿bitは0に等しくなければならない。
【0133】
情報５０、すなわちパラメータおよび／またはSEI適応を導く情報の評価または生成は、代替的に外部エンコーダ８０で、すなわちストリーム１０への画像１２の実際の符号化が行われる場所の外で行うことができることは既に示された。このような代替案によれば、データストリーム１０は元のパラメータ２０ａおよび／または未削減ストリーム１０のみに関する元のSEIメッセージを伴うように送信されてもよい。オプションとして、画像１２の１つ以上のサポートされたサブ領域２２に関する情報がビデオストリーム１０に存在してもよいが、情報５０の評価は、１つ以上のサブ領域を決定するためにストリーム１２のタイル構造を単独で評価することに基づいてもよいため、これは必須ではない。そうすることで、情報５０の評価の煩雑な作業は、エンコーダサイトからクライアントに近い場所、または最終段のデコーダ８２のすぐ上流のようなユーザサイトにさえ移されるが、所望のサブ領域２２の外側の画像１２の領域を参照して、ペイロード部分１８の部分７０の送信を中止することによって、完全な、すなわち未削減のデータストリーム１０の送信を回避することができる。未削減のデータストリーム１２に関する元の符号化パラメータセット２０ａおよび／またはSEIメッセージは、当然のことながら送信されることになる。部分７０の実際の削減または除去６８を実行するネットワークエンティティ６０は、同様に情報５０の評価を実行するエンティティのすぐ上流に存在することができる。例えば、ストリーミング装置は、データストリーム１０のペイロード部分１８の部分のみを特にダウンロードし、部分７０に属さない。この目的のために、マニフェストファイルのようないくつかのダウンロード処方を使用することができる。この目的のためにDASHプロトコルを使用することができる。情報５０の評価は、実際には、図３または図５によるパラメータの実際のパラメータ調整、および／またはSEI置換の準備として、デコーダの前に存在するそのようなネットワーク装置内で行うことができる。全体として、ネットワーク装置は、上述した代替案に従って、ペイロード部分１８をより少ない部分７０だけ含むが部分７０を含むペイロード部分１８に画像１２の完全な符号化をパラメータ化するパラメータ２０ａを依然有する削減されたデータストリーム１０を受信するためのインタフェースを含むことができる。位置表示３２は依然として元の位置表示であってもよい。すなわち、受信されたデータストリームは実際に誤って符号化される。受信されたデータストリームは、パラメータ２０ｂを有する図５に示すデータストリーム６２に対応するが、依然として元のパラメータ２０ａであり、依然として位置表示３２は間違っている。そのストリーム内のインデックス５４は、そのストリーム内のパラメータ２０ａを参照し、未削減データストリームの元の符号化に対して変更されていない可能性がある。実際には、削減されていない元のデータストリームは、部分７０の省略によって受信された元のデータストリームとは単に異なる場合がある。任意選択で、１つ以上のSEIメッセージが含まれるが、これは元のコーディング、例えば元の画像１２のサイズまたは完全なコーディングの他の特性を参照する。このようなネットワーク装置の出力には、デコーダ８２によって復号化されるデータストリーム６２が出力される。この入力と出力との間には、インバウンドデータストリーム１０が既に削減対象となっているサブ領域１２に適合するようにSEIメッセージおよび／またはパラメータを適合させるモジュールが接続されている。すなわち、そのようなモジュールは、タスク７４、すなわちパラメータ２０ｂとなるようにパラメータ２０ａを調整し、タスク７８、すなわち、サブ領域２２の周囲を正確に参照するように位置表示３２を調整する必要がある。削減が実行されたサブ領域２２についての知識は、サブ領域２２を参照してペイロード部分１８の部分にストリーム１０のダウンロードを特に制限する後者の場合に、そのようなネットワーク装置にとっては内部的であってもよいし、削減６８のタスクを想定して、ネットワーク装置の上流に存在してもよい別のネットワーク装置の場合は外部から供給される。入力と出力との間にモジュールを含むネットワーク装置については、例えばソフトウェア、ファームウェアまたはハードウェアにおける実装の点で、図４のネットワーク装置に関して上述したのと同じ記述が当てはまる。ちょうど概説された実施形態を要約すると、実施形態は、ビデオの画像が符号化されるペイロード部分の一部分を含むデータストリームを受信するように構成されたネットワーク装置に関する。この割合は、画像の所定のサブ領域２２の外側の画像の領域を参照するペイロード部分１８から部分７０を除外したときの結果に対応する。ビデオの画像１２は、データストリームのパラメータセット部分の符号化パラメータ設定を使用して、排除することなくパラメータ化された態様でペイロード部分１８に符号化される。すなわち、受信されたデータストリームのパラメータセット部分は、部分７０が残されていなければ、画像１２の符号化をペイロード部分１８にパラメータ化する。これに加えて又はこれに代えて、ビデオの画像１２は、データストリームの補助拡張メッセージによって示される補助拡張情報を排除することなく適合させるようにペイロード部分１８に符号化される。すなわち、受信されたデータストリームによって任意に含まれるSEIメッセージは、実際に未削減ペイロード部分１８と一致する。ネットワーク装置は、ペイロード部分内の位置表示３２を変更７８して、画像１２の代わりに所定のサブ領域２２の周囲から測定された位置を示すように受信データストリームを変更し、修正されたデータストリームがペイロード部分１８の一部、すなわち、７０を除くすべての部分または換言すれば画像の所定のサブ領域を示すサブ領域固有画像８４を有するように、パラメータセット部分の符号化パラメータ設定を調整しおよび／または、補助拡張情報メッセージを調整し、このように調整された符号化パラメータ設定を使用して正しくパラメータ化されるように符号化されたおよび／または調整後に調整された補助拡張情報メッセージにより示された補助拡張情報に補助拡張情報を一致させる。パラメータ２０ａに加えてパラメータ２０ｂの生成は、パラメータ設定２０ａおよび２０ｂの両方を運ぶデータストリームをもたらすように、前の実施形態に従ってエンコーダ８０によって行われている。ここで、上記の代替案では、パラメータ２０ａは、オンザフライに準ずるパラメータ２０ｂに変えられる。パラメータ２０ｂへのパラメータ２０ａの調整は、サブ領域２２に関する知識を使用してパラメータ２０ａを修正することを必要とする。例えば、設定２０ａ内の画像サイズ２６は完全な画像１２のサイズに対応するが、画像サイズは、設定２０ｂの調整後に、サブ領域２２または画像８６のサイズをそれぞれ示す必要がある。同様に、設定２０ａ内のタイル構造３８は完全な画像１２のタイル構造に対応するが、タイル構造３８は、設定２０ｂの調整後に、サブ領域２２または画像８６のタイル構造をそれぞれ示さなければならない。同様の記述は、例えば、バッファサイズとタイミング４６に関して当てはまるが、排他的ではない。受信された受信データストリーム中に再送信されたSEIメッセージがない場合、調整は必要ない。あるいは、SEIメッセージを調整する代わりに、単に中止することもできる。
【0134】
上記の実施形態に関して、補助拡張情報の適応は、バッファサイズおよび／またはバッファタイミングデータに関連し得ることに留意されたい。換言すれば、分解されたまたは削減されたビデオストリームに適合するように、元のSEIと置換SEIとの間で適合する、あるいは異なる任意に存在するSEI内の情報のタイプは、少なくとも部分的に、バッファサイズおよび／またはバッファタイミングデータに関連する。すなわち、ストリーム１０内のSEIデータは、完全な符号化に関するバッファ・サイズおよび／またはバッファ・タイミング・データを有することができ、一方、図１に関して説明したような前者のものに加えて伝達されるあるいは前の段落で説明したようにオンザフライで生成される置換SEIデータは、削減ストリーム６２および／または削減画像８６に関するバッファサイズおよび／またはバッファタイミングデータを有する。
【0135】
以下の説明は、本出願の第２の態様、すなわちビデオコーデックの通常矩形の画像形状に適合しないビデオデータのより効率的な搬送を可能にするための概念に関する。前と同様に、第１の態様に関して、以下の説明は、一種の導入、すなわち、以下に説明する実施形態から生じる利点を動機付けるために、そのような問題が発生する可能性のあるアプリケーションの例示的な説明から始まる。しかしながら、また、この予備的な説明は、後に説明する実施形態の広さを制限するものとして理解されるべきではないことに留意すべきである。その上に、次に説明する本出願の態様は、上述した実施形態との有利な方法で組み合わせることもできることに留意されたい。これに関する詳細も以下に述べる。
【0136】
次に説明する問題は、特に上記のサブ領域抽出のような処理が適用されるとき、パノラマビデオに使用される様々な投影から生じる。
【0137】
例えば、以下の説明では、いわゆる３次投影を用いる。立方体射影は、心射図法（gnomonic projection）とも呼ばれる、直線射影の特殊な場合である。この投影は、シーンの画像表現が取得されるとき、ほとんどの従来のカメラシステム／レンズについて近似された変換を記述する。シーン内の直線は、図１４に示すように、結果として生じる画像内の直線にマッピングされる。
【0138】
３次投影は、直方体投影を適用して、立方体の周囲を、６つの面にマッピングする。各面は、立方体の中心から９０°×９０°の視野角を持つ。この種の立方体射影の結果は、図１５の画像Aとして示されている。共通の画像における６つの面の他の配置も同様に可能である。
【0139】
このようにして得られた画像A（すなわち、使用されていない画像領域１３０および矩形の形状がより少ない）をより符号化するためのフレンドリーな表現を導き出すために、画像パッチを画像内で移動させることができ、図１６に示すように、図Bが得られる。
【0140】
システムの観点から見ると、画像B（図１６）内の様々なイメージパッチが、画像Aの元の（ワールドビュー方向）連続表現、すなわち、画像Bの表現を与えられている画像A（図１５）を導出するための付加情報と空間的にどのように関連しているかの理解を持つことが重要である。特に、上述の環境の下で、図１～図１３の符号化領域における上述のサブ領域抽出のような処理は、サーバ側またはネットワーク要素上で実行される。この場合、図Aの分離されたROI900を介して示された画像Bの一部のみが、エンド装置で利用可能である。エンド装置は、所定の（部分）ビデオの関連領域を、エンドディスプレイ／レンダリング装置が期待する正しい位置および領域に再マップすることができなければならない。上記の抽出プロセスに従って符号化されたビデオビットストリームを変更するサーバまたはネットワーク装置は、変更されたビデオビットストリームに応じて、それぞれの信号化変位シグナリングを生成し、追加または調整することができる。
【0141】
従って、後に説明される実施形態は、画像Bのサンプルのビデオビットストリーム（矩形）グループ内を示すシグナリングを提供する。さらに、水平および垂直方向における画像Bのサンプルに関するサンプルの各グループの変位。さらなる実施形態では、ビットストリームシグナリングは、画像Aの結果の画像サイズに関する明示的な情報を含む。さらに、変位されたサンプル群によってカバーされていないサンプル、または変位されたサンプル群によって最初にカバーされたサンプルのデフォルトの輝度値およびクロマ値。さらに、画像Aのサンプルの一部は、画像Bの対応するサンプルのサンプル値で初期化されているものとすることができる。
【0142】
例示的な実施形態は、図１７のシンタックス表に示されている。
【0143】
更なる実施形態は、変位されるサンプル群に属するサンプルの表示のためにタイル構造シグナリングを利用する。
【0144】
図１８に関して、第２の態様によるデータストリーム２００の実施形態が示されている。データストリーム２００は、そこに符号化されたビデオ２０２を有する。図１８の実施形態は、データストリーム２００のみに符号化された１つの画像を参照するように修正されてもよいが、第２の態様による実施形態が本願の他の態様のいずれかの実施形態と組合わされたそれらの例の理解を容易にするために、図１８は、データストリーム２００が画像データストリームではなくビデオデータストリームである例を示す。今述べたように、データストリーム２００は、そこに符号化されたビデオ２０２の画像２０４を有する。
【0145】
しかしながら、さらに、ビデオデータストリーム２００は、変位情報２０６を含む。変位情報は以下の意味を有する。実際には、データストリーム２００は、非矩形の外周を有する画像２０４内の画像コンテンツを搬送しなければならない。図１８は、参照符号２００におけるそのような画像コンテンツの一例を示す。すなわち、画像コンテンツ２０８は、データストリーム２００が１つのタイムスタンプ、すなわち１つの画像２０４内で搬送すべき画像コンテンツを示す。しかし、実際の画像コンテンツの外周２１０は非矩形である。図１８の例では、実際の画像コンテンツはむしろ立方体２１２の６辺の繰り出しに相当し、その側面は図１８の数字１から６の通常の分布を用いて立方体２１２の６つの辺に６つずつ、すなわち反対側の辺の数が合計７になるようにして側面を互いに区別する。従って、各辺は、実際の画像コンテンツ２０８の１つのサブ領域２１４を表し、例えば、完全な３次元パノラマシーンのうちの６番目のものの、この例によれば正方形の形状であるそれぞれのサブ領域２１４への適切な投影を表すことができる。しかしながら、既に上述したように、サブ領域２１４は異なる形状であってもよく、行および列の規則的な配置とは異なる方法で画像コンテンツ２０８内に配置されてもよい。いずれにしても、２０８に示された実際の画像コンテンツは非矩形であり、従って、切離されたパノラマコンテンツ２０８を完全に包含する可能な最小の矩形目標画像領域２１６は、未使用部分１３０、すなわちパノラマシーンに関連する実際の画像コンテンツにより占有されない部分を有する。
【0146】
従って、データストリーム２００内で搬送されるビデオ２０２の画像２０４内の画像領域を「無駄にしない」ために、画像２０４は、サブ領域２１４の空間相対配置が対象画像領域２１６内のそれらの配置に対して相対的に変更されるように完全な現実の画像コンテンツ２０８を実行する。
【0147】
図１８に示すように、図１８は、４つのサブ領域、すなわち、サブ領域１，２，４および５が、画像２０４を対象画像領域２１６に歪ませないまたは一致してコピーする際に変位すべきでないがサブ領域３および６は変位されなければならない例を示す。例示的には、図１８において、変位は、２次元ベクトル２１８によって記述され得る純粋な並進変位であるが、代替の実施形態によれば、例えば、一方では画像２０４と他方では目標画像領域２１６との間で遷移する際のそれぞれのサブ領域のスケーリングおよび／または反射（ミラーリング）および／または回転を含む例えば変位のようなより複雑な変位を選択することができる。変位情報２０６は、画像２０４の少なくとも１つの所定のサブ領域のセットのそれぞれについて、画像２０４の対象画像領域２１６への歪みのない、または変位されていないコピーに対する対象画像領域２１６内のそれぞれのサブ領域の変位を示すことができる。例えば、図１８の例では、変位情報２０６は、サブ領域３および６のみを包含する一組のサブ領域２１４の変位を示すことができる。代替的に、変位情報２０６は、その左上隅のような対象領域２１６のいくつかのデフォルト点に対する、サブ領域２１４についての変位または変位されたサブ領域２１４のセットを示すことができる。デフォルトでは、図１８，１，２，４および５の例の画像２０４内の残りのサブ領域は、例えば、デフォルト・ポイントに対する対象画像２１６上への歪みのないまたは一致したコピーの際にそのまま残っているものとして扱うことができる。
【0148】
図１９は、変位情報が、変位されるべきサブ領域２１４のカウント２２０と、対象画像領域２１６，２２２のサイズを示す対象画像領域サイズパラメータと、ｎ個の変位サブ領域のそれぞれについて、画像２０４内のそれらの本来の配置内のサブ領域２１４を対象領域２１６上にマッピングする場合に、前述のデフォルト点に対する変位、またはその相対位置を測定することにより、変位されるべき各サブ領域２１４の変位２１８を記述する、例えば座標２２４とを含むことができる。座標２２４に加えて、情報２０６は、変位されるべき各サブ領域２１４についてスケーリング２２６、すなわち、それぞれのサブ領域２１４をマッピングするときに、対象画像領域２１６内でそれぞれの座標２２４に従って変位されたそれぞれのサブ領域２１４がどのようにスケーリングされるべきかの指示を含むことができる。スケーリング２２６は、変位していないサブ領域２１４に対して拡大または削減をもたらすことができる。代替的に、水平および／または垂直の反射および／または回転が、各サブ領域２１４について示され得る。さらに、変位情報２０６は、各サブ領域が対象領域２１６内に変位または配置されるために、それぞれのサブ領域２１４を変位させることなく対象領域２１６上にマッピングする場合には再びデフォルト点またはそれぞれのコーナーに対して測定されるそれぞれの領域の左上隅の座標および右下隅の座標を含むことができる。これにより、配置、スケーリングおよび反射が示される。したがって、送信された画像２０４のサブ領域２１４は、画像２０４内のそれらの元の相対的な配置に対して自由に変位することができる。
【0149】
変位情報２０６は、例えば、画像２０４のシーケンスまたはビデオ２０２全体の場合のように、１つのタイムスタンプまたは１つの画像２０４より大きいビデオ２０２の時間間隔に対して、有効範囲、すなわち有効性を有することができる。さらに、図１８は、任意選択で、データストリーム２００が対象画像領域の部分１３０を復号化側で満たすべきことを用いるデフォルト充填を示すデフォルト充填情報２２８も含むことができることを示している。すなわち、これらの部分１３０はサブ領域２１４、すなわち、画像２０４の変位したまたは変位していないサブ領域２１４のいずれか１つのいずれによっても覆われていない。図１８の例では、例えば、サブ領域１，２，４および５は、図１８にハッチングされずに示されている画像２０４の非変位部分を形成し、一方、画像２０４の残り、すなわち、図１８にハッチングで示したサブ領域３，６、およびこれら６つのサブ領域の全ては、部分１３０がデフォルト充填情報２２８に従って充填されるようにサブ領域３および６が情報２０６に従って変位された後に、対象画像領域２１６の斜線部分１３０を覆わない。
【0150】
データストリーム２００を生成するのに適したエンコーダ２３０が図２０に示されている。エンコーダ２３０は、データストリーム２００にエンコードする画像２０４を用いて対象画像領域を満たすために必要な変位を示す情報２０６をデータストリーム２００に単に付随させるか、または供給する。図２０はさらに、エンコーダ２３０が、例えば、図１ないし１３の実施形態のデータストリーム１０のようなコンプライアンス維持方法で削減可能となるようにデータストリーム２００を生成することができることを示す。換言すれば、エンコーダ２３０は、図１のエンコーダ８０を実現するように実施されてもよい。説明のために、図２０は、画像２０４がサブ領域２１４のアレイ、すなわち図１８の例によるサブ領域の２×３アレイに細分化される場合を示す。画像２０４は、画像１２、すなわち非削減データストリーム２００の画像に対応することができる。図２０は、エンコーダ２３０がデータストリーム２００を削減可能にすることに関するサブ領域２２を例示的に示す。図１に関して説明したように、いくつかのそのようなサブ領域２２が存在してもよい。この手段によって、ネットワーク装置は、データストリーム２００の一部を単に抽出し、画像８６が単にサブ領域２２を示す削減ビデオデータストリームを得るように、データストリーム２００を削減することができる。データストリーム２００が削減可能であり、サブ領域２２に関連する削減ビデオデータストリームが、参照符号２３２を使用して図２０に示されている。削減されていないビデオデータストリーム２００の画像２０４は画像２０４を示しているが、削減ビデオデータストリーム２３２の画像は単にサブ領域２２を示す。エンコーダ２３０は、削減ビデオデータストリーム２３２の画像のコンテンツで対象画像領域を満たす能力を有する削減ビデオデータストリーム２３２を受信するデコーダのようなレシーバを提供するために、サブ領域２２に固有の変位情報２０６'を有するビデオデータストリーム２００を付加的に提供できる。例えば図４の６０のようなネットワーク装置は、ビデオデータストリーム２００を削減してビデオデータストリーム２３２を削減させる結果、変位情報２０６を除去し、変位情報２０６'を削減ビデオデータストリーム２３２に単に引継ぐことができる。この手段によって、デコーダなどのレシーバは、図１８に示す対象画像領域２１６上に、サブ領域２２の内容に関連する削減ビデオデータストリーム２３２の画像の内容を満たすことができる。
【0151】
再び、図２０は、削減可能なビデオデータストリームに限定されるものとして理解されるべきではないことを強調すべきである。ビデオデータストリーム２００が削減可能である場合には、図１ないし図１３に関して上に提示されたものとは異なる概念が使用されてもよい。
【0152】
図２１は可能な受信を示す。復号器２３４は、ビデオデータストリーム２００または削減ビデオデータストリーム２３２を受信し、その画像、すなわちそれぞれ画像２０４または削減ビデオデータストリーム２３２に基づいてサブ領域２２を単に示す画像を再構成する。レシーバはデコーダであり、復号化コア２３４の他に、画像内容に基づいて、対象画像領域２１６を充填するためにビデオデータストリーム２００の場合は２０６、削減ビデオデータストリームの場合は２０６'の変位情報を使用する変位器２３６を備える。従って、変位器２３６の出力は、それぞれのデータストリーム２００または２３２の各画像に対して充填された対象画像領域２１６である。上述したように、対象画像領域のいくつかの部分は、画像内容によって満たされていないままである。任意選択的に、レンダラ２３８は、変位器２３６の後に、または変位器２３６の出力に接続されてもよい。レンダラ２３８は、現在見ているシーンセクションに対応する出力画像または出力シーン２４０を形成するように、対象画像領域２１６（または対象画像領域の充填領域内にある少なくともそのサブ領域）によって形成された対象画像に単射的射影(injective projection)を適用する。レンダラ２３８によって実行される注入投影は、３次投影の逆であってもよい。影
【0153】
従って、上記の実施形態は、パノラマシーンまたはセミパノラマシーンなどの画像データの矩形の領域単位のパッキングを可能にする。具体的なシンタックス例を以下に示す。以下に、射影されたフレームのソース矩形領域、すなわち２１６が、パックされたフレームの宛先矩形領域、すなわち２０４にどのようにパックされるかを指定する、RectRegionPacking（i）と呼ばれる擬似コードのフォーム内のシンタックス例が提示される。９０度、１８０度、または２７０度の水平ミラーリングおよび回転が示され、領域の幅および高さから垂直および水平リサンプリングが推測される。
【0154】
aligned（8）class RectRegionPacking（i）[
unsigned int（32）proj＿reg＿width [i];
unsigned int（32）proj＿reg＿height [i];
unsigned int（32）proj＿reg＿top [i];
unsigned int（32）proj＿reg＿left [i];
unsigned int（8）transform＿type [i];
unsigned int（32）packed＿reg＿width [i];
unsigned int（32）packed＿reg＿height [i];
unsigned int（32）packed＿reg＿top [i];
unsigned int（32）packed＿reg＿left [i];
]
unsigned int（32）proj＿reg＿width [i];
unsigned int（32）proj＿reg＿height [i];
unsigned int（32）proj＿reg＿top [i];
unsigned int（32）proj＿reg＿left [i];
unsigned int（8）transform＿type [i];
unsigned int（32）packed＿reg＿width [i];
unsigned int（32）packed＿reg＿height [i];
unsigned int（32）packed＿reg＿top [i];
unsigned int（32）packed＿reg＿left [i];
]
【0155】
セマンティクスは次のとおりである。
【0156】
proj＿reg＿width [i]、proj＿reg＿height [i]、proj＿reg＿top [i]およびproj＿reg＿left [i]は、それぞれ、投影フレーム、すなわち、２１６において、proj＿frame＿widthおよびproj＿frame＿heightに等しい幅および高さを有する画像単位で示される。iは、図１８と比較すると、それぞれの領域の場合の、すなわちタイル２１４のインデックスである。proj＿reg＿width [i]は、投影されたフレームのi番目の領域の幅を指定する。proj＿reg＿width [i]は０より大きくなければならない。proj＿reg＿height [i]は、投影されたフレームのi番目の領域の高さを指定する。proj＿reg＿height [i]は０より大きくなければならない。proj＿reg＿top [i]とproj＿reg＿left [i]は、投影されたフレームの一番上のサンプル行と一番左のサンプル列を指定する。値は、投影フレームの左上隅を内包的に示す０以上の値から、それぞれ排他的なproj＿frame＿heightおよびproj＿frame＿widthまでの範囲内に存在する。proj＿reg＿width [i]とproj＿reg＿left [i]は、proj＿reg＿width [i] + proj＿reg＿left [i]がproj＿frame＿widthより小さくなるように制約されなければならない。 proj＿reg＿height [i]およびproj＿reg＿top [i]は、proj＿reg＿height [i] + proj＿reg＿top [i]がproj＿frame＿heightより小さくなるように制約されなければならない。投影されたフレーム２１６が立体視である場合、proj＿reg＿width [i]、proj＿reg＿height [i]、proj＿reg＿top [i]およびproj＿reg＿left [i]は、投影されたフレーム上のこれらのフィールドによって識別される領域が投影されたフレームの単一の構成フレーム内にあるようになる。transform＿type [i]は、投影フレームのi番目の領域に適用された回転およびミラーリングを指定して、パックされたフレームにマッピングし、したがって、マッピングはそれぞれの領域２１４を領域２１６に戻すマップをするために逆転されなければならない。当然のことながら、画像２０４から対象領域２１６へのマッピングを示すことができる。transform＿type [i]が回転とミラーリングの両方を指定する場合、回転はミラーリングの後に適用される。当然のことながら、逆も可能である。実施形態に従って、以下の値が指定されるが、他の値が予約されてもよい。
【0157】
１：変換なし、２：水平方向にミラーリング、３：１８０度回転（反時計回り）、４：水平方向にミラーリングの後に１８０度回転（反時計回り）、５：水平方向にミラーリングの後に９０度回転（反時計回り）、６：９０度回転（反時計回り）、７：水平方向にミラーリングの後に２７０度回転（反時計回り）、８：２７０度回転（反時計回り）。値はEXIF方向タグに対応することに留意されたい。
【0158】
packed＿reg＿width [i]、packed＿reg＿height [i]、packed＿reg＿top [i]、およびpacked＿reg＿left [i]は、それぞれ、パックされたフレーム、すなわち画像２０４内のタイル２１４によって覆われた領域内の領域の幅、高さ、一番上のサンプル行、一番左のサンプル列を指定する。packed＿reg＿width [i]、packed＿reg＿height [i]、packed＿reg＿top [i]、およびpacked＿reg＿left [i]で指定される矩形は、0からi－1までの範囲を含むjの任意の値に対するpacked＿reg＿width [j]、packed＿reg＿height [j]、packed＿reg＿top [j] および packed＿reg＿left [j]で指定される矩形と重ならないものとする。
【0159】
上記の例を要約して一般化すると、上記でさらに説明した実施形態は、画像２１４の領域またはタイル２１４のそれぞれについて、２つの矩形領域が示され、すなわち、それぞれの領域またはタイル２１４が対象領域２１６内をカバーする領域と、それぞれの領域またはタイル２１４が画像領域２０４内をカバーする矩形領域と、これらの２つの領域の間のそれぞれの領域またはタイル２１４の画像コンテンツ、すなわち反射および／または回転をマッピングするためのマッピング規則を含む点で異なる。異なるサイズの１対の領域をシグナリングすることによって、スケーリングを示すことができる。
【0160】
以下、本願の第３の態様について説明する。第３の態様は、アクセスポイントをビデオデータストリームに分配する有利な概念に関する。特に、ビデオデータストリームに符号化された画像の１つ以上のサブ領域に関連するアクセスポイントが紹介される。そこから生じる利点を以下に説明する。本出願の他の態様と同様に、第３の態様の説明は、発生する問題を説明する導入とともに存在する。第１の態様の説明と同様に、この紹介は例示的にHEVCを指すが、この状況は、HEVCおよびその拡張のみを参照するように、後で説明される実施形態を限定するものとして解釈されるべきではない。
【0161】
上記のTMCTSシステムとの関連では、固有のランダムアクセスポイントが明確な利益をもたらすかもしれない。異なる時間インスタンスにおけるタイルにおけるランダムアクセスは、ビデオシーケンス内の画像にわたってビットレートピークのより均等な分布を可能にする。HEVCにおける画像固有のランダムアクセスのための機構のすべてまたはサブセットは、タイルに転送することができる。
【0162】
画像固有のランダムアクセスメカニズムの１つは、a）提示順またはb）符号化および提示順に続く画像がイントラ符号化画像の前の画像サンプルへの予測依存性を継承するイントラ符号化画像またはアクセスユニットの指示である。換言すれば、参照画像・バッファ・リセットは、b）の場合に瞬時に、またはa）の場合に最初の後続画像・オンのいずれかから指示される。HEVCでは、そのようなアクセスユニットは、固有のNALユニットタイプ、すなわちBLA、CRA（カテゴリaの上の両方）またはIDR（カテゴリーb上）のようないわゆるイントラランダムアクセスポイント（IRAP）アクセスユニットを介してネットワーク抽象化レイヤ（NAL））上に示される。以下でさらに説明される実施形態は、例えば新しいNALユニットタイプまたは後方互換性のためのSEIメッセージを介して、NALユニットヘッダレベル指示を使用することができ、SEIメッセージは、デコーダまたはネットワーク中間ボックス／装置に対して所与のアクセスユニットは条件a）またはb）、すなわち、何らかの形の参照画像・バッファ・リセットが、スライス／タイル単位で適用される少なくとも１つのイントラ符号化スライス／タイルを含むことを示す。さらに、スライス／タイルは、NALユニットタイプの信号化に加えて、またはこれに代えて、エンコーダ側の画像に対するスライスヘッダレベルの指示によって識別することができる。事前の復号化動作は、抽出後の復号化に必要なDPBサイズを削減することを可能にする。
【0163】
このためには、fixed＿tile＿structureを有効にして表現された制約が満たされなければならず、指定されたアクセスユニットの前のタイルのサンプルは、現在の画像の同じタイル（および他のタイル）によって参照されるべきではない。
【0164】
いくつかの実施形態によれば、エンコーダは、RAが発生した各サブ領域について、参照画像における時間的予測の基準として使用される画像領域が、これらのさらなるサブ領域が同じようにRAを受けると、さらなるサブ領域によってカバーされる画像領域によって拡張されるように、サブ領域間の時間的予測を介して符号化依存性を制約できる。これらのスライス／タイル／サブ領域は、ビットストリーム内、例えばNALユニットまたはスライスレベルまたはSEIメッセージ上に示される。このような構造は、サブ領域の抽出を妨げるが、拘束された時間的予測のペナルティを軽減する。サブ領域ランダムアクセスのタイプ（抽出を可能にするか否か）は、ビットストリーム表示と区別可能でなければならない。
【0165】
別の実施形態は、コーディング依存性の特定の構造を採用することによって上記のシグナリング機会を利用する。この構造では、画像単位ランダムアクセスポイントは、特定の時点および既存の最先端のシグナリングでドリフトなしに瞬時ランダムアクセスを可能にする粗い時間粒度で存在する。
【0166】
しかしながら、より細かい時間的細分性では、符号化構造は、より少なく変動するビットレート挙動に向けて、時間の経過とともに、イントラ符号化画像サンプルのビットレート負荷を分配するタイル単位ランダムアクセスを可能にする。後方互換性のために、このタイル単位のランダムアクセスは、SEIメッセージを介してシグナリングすることができ、それぞれのスライスを非RAPピクチャとして維持する。
【0167】
サブ画像ビットストリーム抽出プロセスでは、このようなストリーム構造内のタイルベースのランダムアクセスを示す上記のSEIメッセージによって示されるNALユニットのタイプは、画像単位ランダムアクセスに変更され、必要に応じて、抽出されたサブビットストリームのそれぞれの画像において瞬時ランダムアクセスの機会を示す。
【0168】
本出願の第３の態様の実施形態によるビデオデータストリーム３００を図２２に関して説明する。ビデオデータストリーム３００は、一連の画像３０２、すなわちビデオ３０４をその中に符号化している。前述の他の実施形態と同様に、画像３０２が示される時間的順序は、画像３０２がデータストリーム３００に符号化される復号化順序と一致してもよいし、一致しなくてもよい提示時間順序に対応してもよい。すなわち、前の他の図に関しては記載されていないが、ビデオデータストリーム３００は、アクセスユニット３０６のシーケンスに細分化されてもよく、各アクセスユニット３０６は、画像３０２のそれぞれ１つに関連付けられ、画像３０２がアクセスユニット３０６のシーケンスに関連付けられた順序はデコード順序に対応する。
【0169】
画像３０２は、時間的予測を使用してビデオデータストリーム３００に符号化される。すなわち、画像３０２間の予測符号化画像は、復号化順に各画像に先行する１つ以上の時間参照画像に基づく時間的予測を使用して符号化される。
【0170】
単に１つのタイプのランダムアクセス画像を有する代わりに、ビデオデータストリーム３００は、後述するように、少なくとも２つの異なるタイプを含む。特に、通常のランダムアクセス画像は、時間的予測が使用されない画像である。つまり、それぞれの画像は復号化前の画像とは独立した方法で符号化される。このような通常のランダムアクセス画像の場合、時間的予測の停止は画像領域全体に関係する。以下に説明される実施形態によれば、ビデオデータストリーム３００は、このような通常の画像単位のランダムアクセス画像を含んでも、含まなくてもよい。
【0171】
今説明したように、ランダムアクセス画像は、復号化順序で前の画像に依存しない。したがって、それらは、ビデオデータストリーム３００の復号化へのランダムアクセスを可能にする。しかし、時間的予測なしに画像を符号化することは、圧縮効率の点でペナルティを符号化することを意味する。従って、通常のビデオデータストリームは、ランダムアクセス画像においてビットレートピーク、すなわちビットレート最大値を生じる。これらの問題は、上述の実施形態によって解決することができる。
【0172】
図２２の実施形態によれば、ビデオデータストリーム３００は、少なくとも第１の画像サブ領域A内に時間的予測を中断して形成する１つ以上のランダムアクセスポイントのセットを形成するビデオデータストリーム３００に符号化されるタイプAの１つ以上の画像の第１のセットと、第１の画像サブ領域Aとは異なる第２の画像サブ領域B内の時間的予測を中断しながら、ビデオデータストリーム３００の１つ以上の第２のランダムアクセスポイントのセットを形成する、ビデオデータストリーム３００に符号化されたタイプBの１つ以上の画像の第２のセットとを含む。
【0173】
図２２の場合、第１および第２の画像サブ領域AおよびBは、ハッチングを用いて示され、図２３ａに示されるように、互いに重畳せず、サブ領域AおよびBが共通の境界に沿って互いに隣接するサブ領域AおよびBが画像３０２の画像領域全体をカバーするようにする。しかしながら、これは必ずしも当てはまらない。図２３ｂに示すように、サブ領域AおよびBは部分的に重畳してもよく、または図２３ｃに示すように、第１の画像領域Aは実際に画像３０２の画像領域全体をカバーしてもよい。図２３ｃの場合、タイプAの画像は、時間的予測が完全にスイッチオフされる画像単位のランダムアクセスポイントであり、すなわち、それぞれの画像全体にわたって時間的予測なしにデータストリーム３００に符号化される。完全性のために、図２３ｄは、サブ領域Bが画像領域３０２の内側に配置される必要はないが、２つの画像３０２の外側画像境界３１０にも隣接できることを示している。図２３ｅは、タイプAおよびBの画像に加えて、関連するサブ領域Cを伴うタイプCの画像であり、一緒に画像３０２の画像領域を完全にカバーすることができることを示す。
【0174】
時間的予測が中断されている図２２の画像BおよびA内の領域をサブ領域AおよびBに制限した結果は、以下のとおりである。通常、画像３０２をビデオデータストリーム３００に符号化するためのビットレートは、時間的予測がそれぞれの画像領域全体にわたって使用されるのを控えるため、ランダムアクセスポイントを形成する画像では大きく、（復号化順序で）以前の画像からの予測は、（少なくとも提示順で）後続の画像について破綻している。図２２のタイプAおよびBの画像の場合、時間領域予測の使用の回避は、サブ領域AおよびBにおいてのみ使用され、その結果、これらの画像AおよびBのビットレートピーク３１２は、画像単位ランダムアクセスポイント画像と比較して比較的低い。しかし、以下で説明するように、ビットレートピーク３１２の減少は、少なくとも完全な画像のランダムアクセスレートに関して、サブ領域の境界における符号化依存性制約を除いて、比較的低コストで生じる。これを図２２に示す：ここで、曲線３１４は、時間ｔに依存するビットレートの時間的変化を示す関数を表すものとする。説明したように、画像AおよびBの時点のピーク３１２は、画像単位のランダムアクセス画像から生じるピークよりも低い。画像単位のランダムアクセス画像を単に使用する場合と比較して、ビデオデータストリーム３００の画像に関連するランダムアクセスレートは、全画像領域をカバーするサブ領域に関連するランダムアクセス画像が横断されるレートに対応し、図２２の場合には、タイプBの少なくとも１つの画像およびタイプAの少なくとも１つの画像に遭遇するレートである。図２３ｃの例のように、ビデオデータストリーム３００内に通常の画像単位のランダムアクセス画像が存在する場合、すなわち画像Aの場合でさえ、単にそのような画像がビデオデータストリームにわたって時間的に分散される通常のビデオデータストリームよりも利点がある。特に、そのような場合には、図２３ｃの場合のサブ領域関連ランダムアクセス画像、すなわち画像Bの存在が、以下でより詳細に説明するように、高いビットレートのピークとともに来る画像Aの画像レートを削減することができるように利用される。しかし、タイプAの画像間のビデオデータストリーム３００にタイプBの画像を散在させることによって増加したランダムアクセスレイテンシを補償することにより、ビデオデータストリームへのサブ領域制限されたランダムアクセスを可能にし、次の画像単位のランダムアクセスポイントに遭遇するまでの時間、すなわち次の画像Aまでの時間を埋めることができる。
【0175】
ビデオデータストリーム３００内の特別なタイプのランダムアクセス画像を利用するデコーダの説明に進む前に、サブ領域Bおよび／またはサブ領域Aに関していくつかの注意が作成され、ウェイ画像３０２は、サブ領域AおよびBの外部の同じ画像内で時間的予測を適用しながらサブ領域AおよびB内の時間的予測の中断を超えてサブ領域を考慮に入れることによって、ビデオデータストリーム３００に符号化される。
【0176】
図２２は破線のボックス３１６を使用して、ちょうど輪郭が描かれた画像AおよびBをそれぞれ含むように画像３０２をビデオデータストリーム３００に符号化するように構成されたビデオ符号器を示す。すでに上記で概説したように、ビデオエンコーダ３１６は、画像３０２をビデオデータストリーム３００に符号化するための動き補償予測を使用するハイブリッドビデオエンコーダであってもよい。ビデオエンコーダ３１６は、画像３０２を、オープンGOP構造またはクローズドGOP構造などのビデオデータストリーム３００にエンコードするために、任意のGOP（グループオブ画像）構造を使用することができる。サブ領域関連ランダムアクセス画像AおよびBに関しては、これは、ビデオエンコーダ３１６が画像３０２の間に、そのサブ領域、すなわちAまたはBは、復号化順で前の任意の画像に依存しない画像を介在させることを意味する。このようなサブ領域Bおよび／またはAは、図１ないし１３の実施形態によるサブ領域２２、すなわちビデオデータストリーム３００が削減可能なサブ領域に対応し得ることが、後に説明される。しかしながら、これは単なる例であり、削減可能性はビデオデータストリーム３００の必要な特性ではないが、画像３１２が図１～１３に関連してサブ領域２２の境界に関して上に述べた説明と同様に、サブ領域Bおよび／またはAの境界に従うようにビデオデータストリーム３００に符号化されると有利であることに留意されたい。
【0177】
特に、ビデオデータストリーム３００内の画像３０２を符号化する際の空間符号化依存性メカニズムの到達範囲は通常短いが、それぞれのサブ領域B ／ Aを符号化するための符号化依存性が、それぞれのサブ領域の外側または空間的に近隣に符号化依存性を導入しないように、それぞれのサブ領域の境界を越えないようにサブ領域関連ランダムアクセス画像、すなわち図２２の画像AおよびBがビデオデータストリーム３００に符号化される場合に、利点がある。すなわち、それぞれのサブ領域B ／ A内で、サブ領域関連ランダムアクセス画像AおよびBは、それぞれのサブ領域A ／ Bの外側のそれぞれの画像の部分に時間的予測および空間符号化依存性なしに符号化される。これに加えて、ランダムアクセス画像AとBとの間の画像もまた、直前のセクション固有ランダムアクセス画像サブ領域固有のランダムアクセスポイントを形成するセクションのセクション境界を考慮に入れてビデオデータストリーム３００に符号化されると有利である。
【0178】
例えば、図２２において、画像Bは、サブ領域Bに関してサブ領域固有のランダムアクセスポイントを形成し、したがって、画像３０２がこの画像Bに続き、次のサブ領域ランダムアクセス画像、すなわち画像Aの第１の発生に先行する場合、有利である。－このシーケンスは、例示的に、中かっこブラケット３１７を使用して示される。－画像３０２は、セクションBの境界を考慮して符号化される。特に、セクションBはセクションBの外部にあるこれら画像または画像B自身のいかなる部分にも依存しないようにこれら画像がビデオデータストリーム３００に符号化されるようにこれらの画像をビデオデータストリーム３００に符号化するための空間的および時間的予測および符号化依存性が制限される場合、有利である。動きベクトルに関しては、例えば、ビデオエンコーダ３１６は、画像Bおよび画像Bと画像Aとの間の画像のうち、参照画像のBのサブ領域を超えて延びる部分を指し示さないように、画像BとAとの間の画像のセクションBを符号化するために利用可能な動きベクトルを制限する。それを超えると、画像Bはサブ領域Bに関してランダムアクセスポイントを形成するので、画像３１７のサブ領域Bを時間的に予測するための時間参照画像は、画像Bに対してアップストリームに存在するべきではない。画像BとAとの間の中間画像のサブ領域Bを符号化するための空間依存性は、同様に、すなわちサブ領域Bの外側の隣接する部分に依存性を導入しないように制限される。また、この制限は、用途に応じて緩和されてもよく、さらに、これを超えて、ドリフト誤差に対する可能な対策については、図１～１３を参照されたい。同様に、先行するものが画像Bのようなサブ領域固有のランダムアクセス画像である間のランダムアクセス画像間の画像に関して今説明した制限は、空間依存性が、ドリフト誤差に関してあまり重大な影響を及ぼさない時間的予測に関してのみ適用してもよい。
【0179】
サブ領域Bすなわち直前のランダムアクセス画像、すなわち画像B内の画像３１７の符号化に関してのみサブ領域単位のランダムアクセス画像Bの直後の後続画像３１７（復号化順序に関して）を符号化するための符号化依存性の制限に関する直前の段落で述べられた議論は、サブ領域固有のランダムアクセスポイントを形成する。それとは別個に扱われるべき質問は、セクションBの外側の符号化画像３１７、すなわち図２２の場合のサブ領域Aの符号化依存性が、サブ領域Bに依存する画像３１７の外側部分の符号化をレンダリングするように制限されるべきかされるべきでないかという質問である。すなわち、質問は、画像３１７のサブ領域Aが、例えば、同じ画像のセクションBに到達しないように空間符号化依存性が制限されるように符号化されるべきかどうか、および、画像３１７のサブ領域Aを符号化するための時間符号化依存性は、符号化／復号化順序において先行する画像Bの１つまたは画像３１７のいずれかである参照画像のサブ領域Bに到達しないように制限されるべきであるかである。より正しくは、画像３１７のサブ領域Aを符号化するために使用される参照画像は、一方で画像３１７の前に符号化／復号化された画像の１つに属し、他方では先頭のランダムアクセス画像Bに属するか、または画像Bに関してアップストリーム（デコード順で）に位置することができるかであることに留意すべきである。画像Bに対して上流に位置する参照画像の場合、画像３１７の符号化サブ領域Aに対する時間的コーディング依存性は、サブ領域Bに到達しないように依然として制限される。
むしろ、ここで論じる質問は、画像３１７のサブ領域Aを符号化するための符号化依存性が、イントラまたは空間コーディング依存性が参照画像が画像Bの１つであり画像３１７の中の以前に符号化／復号化された画像に関する時間的符号化依存性であるかに関する限り、セクションBに到達しないように制限されるか、または制限されないかどうかである。どちらの選択肢にもメリットがある。画像３１７のサブ領域Aを符号化するときに画像Bのサブ領域Bおよび画像３１７のサブ領域境界にも従うと、すなわちサブ領域Aについて符号化依存性が制限されてサブ領域Bに到達しない場合、サブ領域AはセクションBとは独立した方法で符号化され続け、したがって、上述のようにデータストリーム３００が抽出可能または削減可能であるサブ領域を形成する。同じことが、サブ領域固有のランダムアクセス画像Aの直後に続く画像のサブ領域Bのコーディングに関して同じ状況を考えるとき、サブ領域Bにも当てはまる。サブ領域Aおよび／またはサブ領域Bなどの固有のサブ領域の削減性がそれほど重要でない場合、直前のコーディング依存性が、直接先行しているセクション単位のランダムアクセス画像は、サブ領域固有のランダムアクセスポイントを形成することが可能であることに関してサブ領域に到達する場合には、符号化効率に関して有益であることができる。その場合、例えば、先に進んだ議論のサブ領域Aのような他のサブ領域は、もはや削減することができないであろうが、ビデオエンコーダ３１６が例えばこれらの画像または画像Bのいずれかのサブ領域Bに基づいて画像３１７のサブ領域Aの一部を時間的に予測するように、サブ領域Bの境界を横切るように動きベクトルを選択することによる冗長性の利用に関してより少ない制限を有するので、コーディング効率は、増加する。例えば、データストリーム３００は、以下のことが行われた場合、もはや領域Aに関しては削減できないであろう。画像３１７は、画像３１７および画像Bのうちの参照画像の第２画像サブ領域Bを少なくとも部分的に参照する時間的予測を使用して、第２画像サブ領域Bの外側の画像領域A内のビデオデータストリーム３００に符号化される。すなわち、図２２の場合、画像３１７の時間的予測符号化領域A、すなわちAだけでなく、Bも参照するために、完全な画像領域が利用可能となる。復号順序に関して、画像Aに続く画像３１７'、すなわち、Aと図２２に示されていないタイプBの後続の画像との間の画像３１７'は、ビデオデータストリーム３００内にエンコードされるとともに、画像Aと画像３１７'の間の復号化順序に関して先行する参照画像の第２の画像サブ領域Bを参照しないように、第２の画像サブ領域Bの外側の画像領域A内の時間的予測を制限する。すなわち、図２２の場合、単に領域Aは画像３１７'の時間的予測符号化領域Aによって参照されるために利用可能である。サブ領域Bについても同様である。画像Bはサブ領域B内のサブ領域Bに付着し、画像BのBの符号化はサブ領域Aに加えてAも使用可能である。その場合、ストリーム３００は、もはやサブ領域Bに対して削減できないであろう。
むしろ、ここで論じる質問は、画像３１７のサブ領域Aを符号化するための符号化依存性が、イントラまたは空間コーディング依存性が参照画像が画像Bの１つであり画像３１７の中の以前に符号化／復号化された画像に関する時間的符号化依存性であるかに関する限り、セクションBに到達しないように制限されるか、または制限されないかどうかである。どちらの選択肢にもメリットがある。画像３１７のサブ領域Aを符号化するときに画像Bのサブ領域Bおよび画像３１７のサブ領域境界にも従うと、すなわちサブ領域Aについて符号化依存性が制限されてサブ領域Bに到達しない場合、サブ領域AはセクションBとは独立した方法で符号化され続け、したがって、上述のようにデータストリーム３００が抽出可能または削減可能であるサブ領域を形成する。同じことが、サブ領域固有のランダムアクセス画像Aの直後に続く画像のサブ領域Bのコーディングに関して同じ状況を考えるとき、サブ領域Bにも当てはまる。サブ領域Aおよび／またはサブ領域Bなどの固有のサブ領域の削減性がそれほど重要でない場合、直前のコーディング依存性が、直接先行しているセクション単位のランダムアクセス画像は、サブ領域固有のランダムアクセスポイントを形成することが可能であることに関してサブ領域に到達する場合には、符号化効率に関して有益であることができる。その場合、例えば、先に進んだ議論のサブ領域Aのような他のサブ領域は、もはや削減することができないであろうが、ビデオエンコーダ３１６が例えばこれらの画像または画像Bのいずれかのサブ領域Bに基づいて画像３１７のサブ領域Aの一部を時間的に予測するように、サブ領域Bの境界を横切るように動きベクトルを選択することによる冗長性の利用に関してより少ない制限を有するので、コーディング効率は、増加する。例えば、データストリーム３００は、以下のことが行われた場合、もはや領域Aに関しては削減できないであろう。画像３１７は、画像３１７および画像Bのうちの参照画像の第２画像サブ領域Bを少なくとも部分的に参照する時間的予測を使用して、第２画像サブ領域Bの外側の画像領域A内のビデオデータストリーム３００に符号化される。すなわち、図２２の場合、画像３１７の時間的予測符号化領域A、すなわちAだけでなく、Bも参照するために、完全な画像領域が利用可能となる。復号順序に関して、画像Aに続く画像３１７'、すなわち、Aと図２２に示されていないタイプBの後続の画像との間の画像３１７'は、ビデオデータストリーム３００内にエンコードされるとともに、画像Aと画像３１７'の間の復号化順序に関して先行する参照画像の第２の画像サブ領域Bを参照しないように、第２の画像サブ領域Bの外側の画像領域A内の時間的予測を制限する。すなわち、図２２の場合、単に領域Aは画像３１７'の時間的予測符号化領域Aによって参照されるために利用可能である。サブ領域Bについても同様である。画像Bはサブ領域B内のサブ領域Bに付着し、画像BのBの符号化はサブ領域Aに加えてAも使用可能である。その場合、ストリーム３００は、もはやサブ領域Bに対して削減できないであろう。
【0180】
図２２のビデオデータストリーム３００をデコードするように構成されたデコーダの説明に進む前に、ビデオエンコーダ３１６は、ビデオ３０４全体に関連しまたは画像３０２のシーケンスを包含する範囲で画像は、対応する画像のサブ領域AおよびBへの空間的な細分化を示すか、または図２３ａ～２３ｅに例示されるような代替物のいずれかに従って、ビデオデータストリーム３００に信号処理３１９を提供するように構成されてもよいことに留意すべきである。エンコーダ３１６はまた、画像AおよびBを示す信号化３１８、すなわち、信号化３１９によって示されたサブ領域のいずれかに関するサブ領域固有のランダムアクセスポイントである特定の画像をマークする信号化３１８を有するデータストリーム３００を提供する。すなわち、信号化３１９は信号化３１９が有効な画像間で一定な空間細分化を示し、かつ信号化３１８は他の画像からサブ領域固有のランダムアクセス画像を区別し、これらサブ領域ランダムアクセス画像をサブ領域AおよびBの一方に関連付ける。
【0181】
一方で画像BとAとの間でビデオデータストリーム３００内を特に区別せず、画像タイプに関する限り他の画像でも区別することが可能である。図２２の例では、画像BおよびAは、「単なる」サブ領域固有のランダムアクセス画像であり、従って、IDRなどの実画像単位のランダムアクセス画像ではない。従って、ビデオデータストリーム３００内の画像タイプ信号化３２０が関係する限り、ビデオデータストリーム３００は、一方では画像BとAとを区別せず、他方では時間的に予測された他の画像を区別しない。例えば、信号化３１８は、画像３０２がストリーム３００に符号化され、それによって、それぞれのスライスに対応する画像領域がセクションBを形成することを示す。あるいは、信号化３２０および３１８の組合せは、ある画像がサブ領域固有のランダムアクセス画像であり、同じ画像が固有のサブ領域に属することをデコーダに示すために使用することができる。例えば、信号化３２０は、固有の画像がサブ領域固有のランダムアクセス画像であることを示すために使用できるが、各画像がサブ領域固有のランダムアクセスポイントを表すサブ領域を明らかにしない。後者の指示は、信号化３１９によってシグナリングされた画像サブ分割のサブ領域のいずれかと、信号化３２０によって、ある画像信号をサブ領域固有のランダムアクセス画像に関連付ける信号化３１８によって実行される。しかしながら、B画像およびP画像、IDR画像のような画像単位のランダムアクセス画像、および画像AおよびBのようなサブ領域単位の画像ランダムアクセスポイントなどの時間的に予測された画像間を区別あるいは識別するばかりでなく、異なるサブ領域、すなわち画像AおよびBのそれぞれに対して異なる値を使用することによって、画像AとBとの間に関するサブ領域単位のランダムアクセスポイント間でも、NALユニットタイプのシンタックスエレメントであってもよい信号化３２０を代わりに行うことができる。
【0182】
さらなる信号化３２１は、ビデオ符号器３１６によって挿入されて、データストリーム３００がそれぞれのサブ領域に関して削減可能であるか否かを特定のサブ領域について示すことができる。信号化３２１は、サブ領域の１つがどのデータストリーム３００が削減可能であるかに関するサブ領域であるとしてデータストリーム３００内で示されてもよく、一方で他のサブ領域がどのデータストリーム３００が削減可能であるかに関してそのようなサブ領域を形成しない。あるいは、信号化３２１は、すべてのサブ領域に関して削減性のバイナリ信号化を単に可能にするだけでよく、すなわち、信号化３２１は、すべてのサブ領域が、データストリーム３００が削減可能であるサブ領域であることを示すか、あるいは、データストリーム３００がこれらのサブ領域のいずれに対しても削減可能でないことを示す。しかしながら、信号化３２１は、図２２の例のサブ領域AおよびBのようなサブ領域が、それぞれデータストリーム３００が削減可能であるかに関して完全に独立して符号化されたサブ領域として処理されるか、または処理されないものとして取扱われるという効果を残し、この場合、前述のように、サブ領域の境界を越えて上述した非対称符号化依存性が使用される。
【0183】
これまで、サブ領域BおよびAは隣接領域であると示されていたが、サブ領域BおよびAは、代替的に、画像３０２のタイルのセットなどの非隣接領域であってもよいことに留意すべきである。画像３０２がこの例に従ってデータストリーム３００に符号化されてもよいタイルに関する固有の処理に関して、図１から図１３の記述が参照される。
【0184】
図２３ｃに関して、画像Aは画像単位のランダムアクセス画像であるので、画像Aの画像タイプは他の時間的に予測された画像のものと異なり、従って、画像Aは画像タイプ信号化３２０内でシグナリングされることに留意されたい。
【0185】
図２４は、画像BおよびAを利用してビデオデータストリーム３００を復号するように構成されたビデオデコーダ３３０を示す。図２４のビデオデータストリーム３００は、図２２の説明に対応して例示的に示されている。すなわち、サブ領域関連ランダムアクセス画像BおよびAが、ビデオデータストリーム３００に符号化されたビデオ３０４の画像３０２の間に点在する。ビデオデコーダ３３０は、ビデオデータストリーム３００にランダムにアクセスする際に、次のランダムアクセス画像が発生するのを待つように、すなわち、サブ領域関連画像または画像単位ランダムアクセス画像を待つように構成される。画像単位のランダムアクセス画像を含まないビデオデータストリーム３００の場合、ビデオデコーダ３３０は、そのような画像に応答さえしなくてもよい。いずれにせよ、ビデオデコーダ３３０は、図２４の例では画像Bである第１のサブ領域関連ランダムアクセス画像に遭遇するとすぐに、ビデオデータストリーム３００の復号化を再開する。この画像Bから開始して、ビデオデコーダ３３０は、サブ領域Bのみを示す画像３２２の再構成、復号化および出力を開始する。あるいは、ビデオデコーダ３３０は、これらの画像のサブ領域Bの外側部分は、この外部サブ領域の参照画像が欠落しているため、ドリフトエラーが発生することを表示装置などの提示装置に示すこれらの画像に付随するシグナリングの有無にかかわらず、サブ領域Bの外側のこれらの画像３２２の部分を復号し、再構成して出力する。
【0186】
ビデオデコーダ３３０は、図２４の例の画像Aである次のランダムアクセス画像に遭遇するまで、このようにしてビデオデータストリーム３００を復号し続ける。サブ領域Aは、残りの画像領域、すなわちサブ領域Bの外側の画像３０２の領域に対するランダムアクセスポイントを表すので、ビデオデコーダ３３０は、画像A以降の画像３０２を完全に復号化し、再構築し、出力する。すなわち、図２４に関連して説明した機能によって、ユーザは、少なくともサブ領域B、すなわち最初に遭遇したサブ領域に関連するランダムアクセス画像Bに関して、より早くビデオ３０４を見る利点を得る機会が提供される。次に、残りの画像３０２をカバーするサブ領域に関する次のサブ領域関連のランダムアクセス画像に遭遇した後、ビデオデコーダ３３０は、ドリフトエラーなしに完全な画像３０２を提供することができる。図２３ｅの例では、これは、サブ領域A、BおよびCそれぞれに関するサブ領域固有のランダムアクセス画像のそれぞれの第１のものに遭遇した後の場合である。
【0187】
図２５は、ビデオデコーダ３３０の別の動作モードを示す。ここで、ビデオデコーダ３３０は、第１のサブ領域固有のランダムアクセス画像、ここでは画像Bに遭遇することから、サブ領域Bの復号化および再構成を開始するが、ビデオデコーダ３３０は、十分なランダムアクセス画像に遭遇するまで待って、ビデオ復号器３３０が実際に画像３０２を完全に出力するまで、そのサブ領域が画像３０２の全画像領域をカバーする。この例の場合、これは画像Aと画像Bとが遭遇した場合である。すなわち、画像Aからビデオデコーダ３３０は画像３０２を出力するが、サブ領域Bは画像Bから利用可能であったはずである。
【0188】
図２６は、サブ領域固有のランダムアクセス画像を含むビデオデータストリーム３００を受信するネットワーク装置３２２を示す。しかしながら、今度は、ビデオデータストリーム３００は、サブ領域固有のランダムアクセス画像の１つ以上のサブ領域に関して削減可能である。例えば、図２６は、ビデオデータストリーム３００がサブ領域Bに対して削減可能である場合を示している。削減性およびネットワーク装置３２２の対応する機能に関して、この機能が図１ないし１３の説明に対応するように構成されていてもよく、そうでなくてもよいことに留意されたい。いずれの場合でも、画像Bは、前述の信号化３１８を使用してビデオデータストリーム３００内に示される。ネットワーク装置３２２は、画像Bのみに関連するようにビデオデータストリーム３００を削減する場合には、ビデオデータストリーム３００から抽出するか、ビデオデータストリーム３００を削減ビデオデータストリーム３２４に削減し、その画像３２６は、ビデオ３０４のサブ領域Bのコンテンツ、すなわち非削減ビデオデータストリーム３００のコンテンツを単に示すビデオ３２８を形成する。しかしながら、この測定のように、サブ領域Bはもはや画像３２６に関するサブ領域を表さないので、削減ビデオデータストリーム３２４はもはや信号化３１８を含まない。むしろ、ビデオデータストリームのサブ領域固有のランダムアクセス画像Bのサブ領域Bに対応するビデオ３２８の画像は、画像タイプの信号化３２０によってIDR画像などのような画像単位のランダムアクセス画像となるように削減ビデオデータストリーム３２４内でシグナリングされる。これを行う方法は多様である。例えば、ネットワーク装置３２２は、ネットワーク装置３２２がネットワーク装置６０に対応するように構成されている場合には、図５および図７に関して上述したリダイレクトおよび／またはパラメータセットのリビジョンに加えて、ビデオデータストリーム３００をその削減ビデオデータストリーム３２４に向けて削減する際に、対応するNALユニットのNALユニットヘッダ内の画像タイプ信号化３２０を変更することができる。
【0189】
完全性のために、図２７は、図２０のデータストリーム２０を処理するように構成されたネットワーク装置２３１を示す。しかしながら、図２０は、情報２０６'が情報５０のような削減可能なビデオデータストリーム２００に既に存在してもしていなくてもよいことを示している。このネットワーク装置２３１を介して、ビデオデータストリーム２００から削減されたビデオデータストリーム２３２にサブ領域固有変位情報２０６'を単に引継ぐことにより、ビデオデータストリーム２００を削減ビデオデータストリーム２３２に削減する際に変位情報２０６を廃棄するように構成することができるか、あるいは、ネットワーク装置２３１は、削減可能なビデオデータストリーム２００の画像に関するサブ領域２２の位置の知識に基づいて、サブ領域固有の変位情報２０６になるように、変位情報２０６の再調整を形成することができる。
【0190】
したがって、上記の説明は、例えば、時間動きおよび層間予測制約付きタイルセットの抽出のためのプロセスおよびシグナリングを明らかにした。単一または多層ビデオ符号化を使用する符号化ビデオビットストリームの抽出または空間サブセットも説明されている。
【0191】
上記の説明に関して、示された任意のエンコーダ、デコーダまたはネットワーク装置は、ハードウェア、ファームウェアまたはソフトウェアで具体化または実装され得ることに留意されたい。ハードウェアで実装される場合、それぞれのエンコーダ、デコーダまたはネットワーク装置は、例えば、特定用途向け集積回路（ASIC）の形態で実装されてもよい。ファームウェアに実装される場合、それぞれの装置はフィールドプログラマブルアレイとして実装されてもよく、ソフトウェアで実装される場合、それぞれの装置は、説明された機能を実行するようにプログラムされたプロセッサまたはコンピュータであってもよい。
【0192】
いくつかの態様は、装置の文脈で説明されているが、これらの態様は、対応する方法の説明も表しており、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応するブロックまたは対応する装置のアイテムまたは特徴の記述も表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって実行されてもよい（または使用されてもよい）。いくつかの実施形態では、最も重要な方法ステップの１つ以上は、そのような装置によって実行されてもよい。
【0193】
本発明の符号化されたデータストリームまたは信号は、デジタル記憶媒体に格納することができ、あるいは無線伝送媒体またはインターネットなどの有線伝送媒体のような伝送媒体上で伝送することができる。これまで、データストリームへのいくつかの情報の挿入または符号化が説明されているが、この説明は、結果としてのデータストリームがそれぞれの情報、フラグのシンタックス要素などを含むという開示として同時に理解される。
【0194】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施することができる。実装は、電子的に読取り可能な制御信号が記憶された例えばフロッピーディスク（フロッピーは登録商標）、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリなどのデジタル記憶媒体を使用して実行することができ、それはそれぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）。従って、デジタル記憶媒体はコンピュータ可読であってもよい。
【0195】
本発明によるいくつかの実施形態は、プログラム可能なコンピュータシステムと協働して、本明細書に記載の方法の１つが実行されるように、電子的に読取り可能な制御信号を有するデータキャリアを備える。
【0196】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するときに、方法の１つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実装することができる。プログラムコードは、例えば、機械読み取り可能なキャリアに格納することができる。
【0197】
他の実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含み、機械読み取り可能なキャリアに格納される。
【0198】
換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0199】
従って、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムが記録されたデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、典型的には有形および／または非遷移型である。
【0200】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは信号のシーケンスは、例えばデータ通信接続、例えば、インターネットを介して転送されるように構成することができる。
【0201】
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成された、または適用される処理手段、例えばコンピュータまたはプログラマブル論理装置を含む。
【0202】
さらなる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0203】
本発明によるさらなる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムをレシーバに（例えば、電子的にまたは光学的に）転送するように構成された装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル装置、メモリ装置などであってもよい。この装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを備えることができる。
【0204】
いくつかの実施形態では、プログラマブルロジック装置（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明する方法の１つを実行するためにマイクロプロセッサと協働することができる。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
【0205】
本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装することができる。
【0206】
本明細書に記載された装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実施されてもよい。
【0207】
ここに記載された方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行されてもよい。
【0208】
本明細書に記載の方法、または本明細書に記載の装置の任意の構成要素は、ハードウェアおよび／またはソフトウェアによって少なくとも部分的に実行することができる。
【0209】
上述の実施形態は、本願発明の原理の単なる例示である。本明細書に記載された構成および詳細の修正および変形は、当業者には明らかであることが理解される。従って、差し迫った特許請求の範囲によってのみ限定され、本明細書の実施形態の記述および説明によって示される固有の詳細によっては限定されないことが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23A】
【図23B】
【図23C】
【図23D】
【図23E】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【手続補正書】
【提出日】2021-10-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像が符号化されているデータストリームを復号化するためのデコーダであって、前記デコーダは
前記データストリームから前記画像を再構成するように構成された復号化コア（２３４）と、
目標画像の領域内の前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するように構成された変位器（２３６）と
を含み、
前記変位器は、
前記画像の前記少なくとも１つの既定のサブ領域のセット内の前記既定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
前記変位情報によって示すことができる、目標画像領域（２１６）内での前記少なくとも１つの既定のサブ領域のセットの前記変位（２１８）によって、
前記目標画像内での前記既定のサブ領域の空間相対配置に対する前記画像内での前記既定のサブ領域の空間相対配置の変更、および
各既定のサブ領域の前記画像と前記目標画像の間でのスケーリングが可能になるように、
前記画像の前記少なくとも１つの既定のサブ領域のセットの各既定のサブ領域について、
前記目標画像領域における前記各既定のサブ領域の幅、高さ、一番上のサンプル行および最も左のサンプル列、および
前記画像内の各既定の領域のさらなる幅、さらなる高さ、さらなる一番上のサンプル行およびさらなる最も左のサンプル列と
前記データストリームから前記変位情報の一部として読込み、
前記画像の前記少なくとも１つの既定のサブ領域のセットのうちの前記既定のサブ領域のそれぞれを、前記目標画像領域における前記各既定のサブ領域の前記幅、前記高さ、前記一番上のサンプル行および前記最も左のサンプル列、ならびに前記画像内の前記各既定の領域の前記さらなる幅、前記さらなる高さ、前記さらなる一番上のサンプル行および前記さらなる最も左のサンプル列に応じて、前記目標画像の前記領域との前記画像のオーバーレイに対して変位させる
ように構成される、
デコーダ。
前記データストリームから前記画像を再構成するように構成された復号化コア（２３４）と、
目標画像の領域内の前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するように構成された変位器（２３６）と
を含み、
前記変位器は、
前記画像の前記少なくとも１つの既定のサブ領域のセット内の前記既定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
前記変位情報によって示すことができる、目標画像領域（２１６）内での前記少なくとも１つの既定のサブ領域のセットの前記変位（２１８）によって、
前記目標画像内での前記既定のサブ領域の空間相対配置に対する前記画像内での前記既定のサブ領域の空間相対配置の変更、および
各既定のサブ領域の前記画像と前記目標画像の間でのスケーリングが可能になるように、
前記画像の前記少なくとも１つの既定のサブ領域のセットの各既定のサブ領域について、
前記目標画像領域における前記各既定のサブ領域の幅、高さ、一番上のサンプル行および最も左のサンプル列、および
前記画像内の各既定の領域のさらなる幅、さらなる高さ、さらなる一番上のサンプル行およびさらなる最も左のサンプル列と
前記データストリームから前記変位情報の一部として読込み、
前記画像の前記少なくとも１つの既定のサブ領域のセットのうちの前記既定のサブ領域のそれぞれを、前記目標画像領域における前記各既定のサブ領域の前記幅、前記高さ、前記一番上のサンプル行および前記最も左のサンプル列、ならびに前記画像内の前記各既定の領域の前記さらなる幅、前記さらなる高さ、前記さらなる一番上のサンプル行および前記さらなる最も左のサンプル列に応じて、前記目標画像の前記領域との前記画像のオーバーレイに対して変位させる
ように構成される、
デコーダ。
【請求項2】
前記変位器は、前記少なくとも１つの既定のサブ領域のセットが前記画像（２０４）を完全に覆っていない場合、前記画像の変位されていない部分を前記目標画像領域（２１６）に変位しないようにコピーするように構成される、請求項１に記載のデコーダ。
【請求項3】
前記変位情報は、
画像サンプル、
前記画像が細分化されたタイルであって、前記画像は、前記タイルの単位で相互依存性を符号化せずに符号化され、また前記少なくとも１つのサブ領域（２１４）のセットは各々、前記タイルから成るタイル、
のうちの１つを単位として前記各サブ領域の変位を示す、請求項１に記載のデコーダ。
画像サンプル、
前記画像が細分化されたタイルであって、前記画像は、前記タイルの単位で相互依存性を符号化せずに符号化され、また前記少なくとも１つのサブ領域（２１４）のセットは各々、前記タイルから成るタイル、
のうちの１つを単位として前記各サブ領域の変位を示す、請求項１に記載のデコーダ。
【請求項4】
前記画像の前記少なくとも１つのサブ領域のセットは、前記画像をギャップなし且つ重複自在にサブ領域のアレイに空間区分化したもののサブセットである、請求項１に記載のデコーダ。
【請求項5】
前記変位器は、前記目標画像の前記領域内で、前記画像を前記目標画像の前記領域に歪みなくコピーされたものに対して前記データストリームに含まれる前記変位情報に応じて変位された前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれをスケーリングすることによって、前記画像に基づいて前記目標画像を合成するように構成される、請求項１に記載のデコーダ。
【請求項6】
前記変位器は、前記変位情報に従って変位された前記画像の前記少なくとも１つの既定のサブ領域のセットが１つもなく、且つ、前記少なくとも１つの既定のサブ領域のセットが前記画像（２０４）を完全に覆っていない場合には前記画像の変位されていない部分もない前記目標画像領域の部分を、前記データストリームに含まれるデフォルト充填情報に従って充填するように構成される、請求項１に記載のデコーダ。
【請求項7】
前記目標画像領域は、パノラマシーンの立方体状投影を表す、請求項１に記載のデコーダ。
【請求項8】
前記目標画像領域上に単射的射影を適用して出力画像を形成するように構成されたレンダラ（２３８）をさらに備えた、請求項１に記載のデコーダ。
【請求項9】
画像が符号化されているデータストリームを復号化するための方法であって、前記方法は
前記データストリームから前記画像を再構成するステップと、
目標画像の領域内の前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するステップと
を含み、
前記合成するステップは、
前記画像の前記少なくとも１つの既定のサブ領域のセット内の前記既定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
前記変位情報によって示すことができる、目標画像領域（２１６）内での前記少なくとも１つの既定のサブ領域のセットの前記変位（２１８）によって、
前記目標画像内での前記既定のサブ領域の空間相対配置に対する前記画像内での前記既定のサブ領域の空間相対配置の変更、および
各既定のサブ領域の前記画像と前記目標画像の間でのスケーリング
が可能になるように、前記画像の前記少なくとも１つの既定のサブ領域のセットの各既定のサブ領域について、
前記目標画像領域における前記各既定のサブ領域の幅、高さ、一番上のサンプル行および最も左のサンプル列、および
前記画像内の各既定の領域のさらなる幅、さらなる高さ、さらなる一番上のサンプル行およびさらなる最も左のサンプル列と
を
前記データストリームから前記変位情報の一部として読込むステップと、
前記画像の前記少なくとも１つの既定のサブ領域のセットのうちの前記既定のサブ領域のそれぞれを、前記目標画像領域における前記各既定のサブ領域の前記幅、前記高さ、前記一番上のサンプル行および前記最も左のサンプル列、ならびに前記画像内の前記各既定の領域の前記さらなる幅、前記さらなる高さ、前記さらなる一番上のサンプル行および前記さらなる最も左のサンプル列に応じて、前記目標画像の前記領域との前記画像のオーバーレイに対して変位させるステップと
を含む、
方法。
前記データストリームから前記画像を再構成するステップと、
目標画像の領域内の前記画像の少なくとも１つの既定のサブ領域のセットのそれぞれを、前記データストリームに含まれる変位情報に従って変位させることによって、前記画像に基づいて前記目標画像を合成するステップと
を含み、
前記合成するステップは、
前記画像の前記少なくとも１つの既定のサブ領域のセット内の前記既定のサブ領域のカウントと、
前記目標画像領域のサイズを定義するサイズパラメータと、
前記変位情報によって示すことができる、目標画像領域（２１６）内での前記少なくとも１つの既定のサブ領域のセットの前記変位（２１８）によって、
前記目標画像内での前記既定のサブ領域の空間相対配置に対する前記画像内での前記既定のサブ領域の空間相対配置の変更、および
各既定のサブ領域の前記画像と前記目標画像の間でのスケーリング
が可能になるように、前記画像の前記少なくとも１つの既定のサブ領域のセットの各既定のサブ領域について、
前記目標画像領域における前記各既定のサブ領域の幅、高さ、一番上のサンプル行および最も左のサンプル列、および
前記画像内の各既定の領域のさらなる幅、さらなる高さ、さらなる一番上のサンプル行およびさらなる最も左のサンプル列と
を
前記データストリームから前記変位情報の一部として読込むステップと、
前記画像の前記少なくとも１つの既定のサブ領域のセットのうちの前記既定のサブ領域のそれぞれを、前記目標画像領域における前記各既定のサブ領域の前記幅、前記高さ、前記一番上のサンプル行および前記最も左のサンプル列、ならびに前記画像内の前記各既定の領域の前記さらなる幅、前記さらなる高さ、前記さらなる一番上のサンプル行および前記さらなる最も左のサンプル列に応じて、前記目標画像の前記領域との前記画像のオーバーレイに対して変位させるステップと
を含む、
方法。
【請求項10】
前記目標画像領域（２１６）は、パノラマシーンの立方体状投影を表す、請求項９に記載の方法。
【請求項11】
コンピュータ上で動作する時に、請求項１０に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムを格納している、コンピュータ可読記憶媒体。
【外国語明細書】