知財求人 - 知財ポータルサイト「IP Force」
▶ ジーイー ビデオ コンプレッション エルエルシーの特許一覧
特開2024-24598高度なビデオデータストリーム抽出および多重解像度ビデオ伝送
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024024598
(43)【公開日】2024-02-22
(54)【発明の名称】高度なビデオデータストリーム抽出および多重解像度ビデオ伝送
(51)【国際特許分類】
H04N 19/70 20140101AFI20240215BHJP
【ＦＩ】
H04N19/70
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023120144
(22)【出願日】2023-07-24
(62)【分割の表示】P 2021164741の分割
【原出願日】2018-03-19
(31)【優先権主張番号】17161917.4
(32)【優先日】2017-03-20
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】515089080
【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー
【住所又は居所原語表記】１ Ｒｅｓｅａｒｃｈ Ｃｉｒｃｌｅ，Ｎｉｓｋａｙｕｎａ，ＮＹ １２３０９，ＵＳＡ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(72)【発明者】
【氏名】スクーピン ローベルト
(72)【発明者】
【氏名】ヘルゲ コルネリウス
(72)【発明者】
【氏名】ブロス ベンヤミン
(72)【発明者】
【氏名】シーアル トーマス
(72)【発明者】
【氏名】サンチェス デ ラ フエンテ ヤーゴ
(72)【発明者】
【氏名】ズューリング カルステン
(72)【発明者】
【氏名】ウィーガント トーマス
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159UA02
5C159UA05
(57)【要約】 （修正有）
【課題】より効率的なビデオデータストリームを抽出する装置、方法を提供する。
【解決手段】ビデオデータストリーム抽出処理において、ビデオデータストリーム１２４の各スライス部分１２６は、それぞれのスライス部分が符号化しているスライス１０８がビデオ１０２の画像領域内で位置する場所を示すスライスアドレスを含むスライス部分のシーケンスと、ビデオデータストリームから縮小されたビデオデータストリーム１３６を抽出する際に用いられる抽出情報と、を含む。抽出情報は、縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、抽出情報はそれぞれ、画像領域内の空間セクション１１０を特定する第１の情報１４０と、空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるための代替スライスアドレスを明示的にシグナリングする第２の情報１４２を含む。
【選択図】図２
【解決手段】ビデオデータストリーム抽出処理において、ビデオデータストリーム１２４の各スライス部分１２６は、それぞれのスライス部分が符号化しているスライス１０８がビデオ１０２の画像領域内で位置する場所を示すスライスアドレスを含むスライス部分のシーケンスと、ビデオデータストリームから縮小されたビデオデータストリーム１３６を抽出する際に用いられる抽出情報と、を含む。抽出情報は、縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、抽出情報はそれぞれ、画像領域内の空間セクション１１０を特定する第１の情報１４０と、空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるための代替スライスアドレスを明示的にシグナリングする第２の情報１４２を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
各スライス部分（１２６）がビデオ（１２０）の画像（１００）の複数のスライスのそれぞれのスライス（１０８）を符号化しているスライス部分（１２６）のシーケンスであって、前記各スライス部分は、それぞれの前記スライス部分が符号化している前記スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含む、スライス部分（１２６）のシーケンスと、
前記ビデオデータストリームを空間セクション（１１０）内の任意のスライスを符号化しているスライス部分に限定して、前記スライスアドレスを空間的に小さいビデオ（１３８）の縮小された画像領域に関連するように修正することによって、前記ビデオの前記空間セクション（１１０）に対応する前記空間的により小さいビデオ（１３８）を符号化した縮小されたビデオデータストリームを前記ビデオデータストリームから抽出する方法を示す抽出情報（１３２）であって、前記抽出情報（１３２）は、
前記複数のスライスのうち前記空間セクション（１１０）の境界を越えるものがない前記画像領域内の前記空間セクション（１１０）を定義する第１の情報（１４０）と、
前記空間セクション（１１０）内の各スライスの前記スライス部分の前記スライスアドレスを修正する方法に関して、複数のオプションの内の１つをシグナリングして、または明示的にシグナリングして、前記各スライスが前記縮小された領域内で位置する場所を前記縮小されたビデオデータストリーム（１３６）内で示す第２の情報（１４２）を含む、抽出情報
を含む、ビデオデータストリーム。
前記ビデオデータストリームを空間セクション（１１０）内の任意のスライスを符号化しているスライス部分に限定して、前記スライスアドレスを空間的に小さいビデオ（１３８）の縮小された画像領域に関連するように修正することによって、前記ビデオの前記空間セクション（１１０）に対応する前記空間的により小さいビデオ（１３８）を符号化した縮小されたビデオデータストリームを前記ビデオデータストリームから抽出する方法を示す抽出情報（１３２）であって、前記抽出情報（１３２）は、
前記複数のスライスのうち前記空間セクション（１１０）の境界を越えるものがない前記画像領域内の前記空間セクション（１１０）を定義する第１の情報（１４０）と、
前記空間セクション（１１０）内の各スライスの前記スライス部分の前記スライスアドレスを修正する方法に関して、複数のオプションの内の１つをシグナリングして、または明示的にシグナリングして、前記各スライスが前記縮小された領域内で位置する場所を前記縮小されたビデオデータストリーム（１３６）内で示す第２の情報（１４２）を含む、抽出情報
を含む、ビデオデータストリーム。
【請求項2】
前記第１の情報（１４０）は、前記画像領域内の前記空間セクション（１１０）を、前記ビデオが各部分領域外とは独立して前記ビデオデータストリームに符号化されている少なくとも２つの部分領域（１１０ａ、１１０ｂ、ａ、ｂ、ｃ、ｄ）のセットから構成されるものとして定義し、前記複数のスライス（１０８）のうち前記少なくとも２つの部分領域の境界を越えるものがない、請求項１に記載のビデオデータストリーム。
【請求項3】
前記複数のオプションのうちの第１のオプションは、前記ビデオが、前記画像の異なるエッジ部分が互いにシーン的に当接するようにシーンを表示するパノラマビデオであることを示し、
前記複数のオプションの第２のオプションは、前記異なるエッジ部分が互いにシーン的に隣接していないことを示し、
前記少なくとも２つの部分領域は、前記異なるエッジ部分のうちの異なるエッジ部分に当接する第１および第２のゾーン（１１０ａ、１１０ｂ）を形成して、
前記第２の情報（１４２）が前記第１のオプションをシグナリングする場合、前記縮小された画像領域は、前記第１および第２のゾーンが前記異なるエッジ部分に沿って当接するように前記少なくとも２つの部分領域のセットを組み合わせて構成するようにする、
および
前記第２の情報（１４２）が前記第２のオプションをシグナリングする場合、前記縮小された画像領域は、互いに対向する前記異なるエッジ部分を有する前記第１および第２のゾーンを有する前記少なくとも２つの部分領域のセットを組み合わせて構成するようにする、請求項２に記載のビデオデータストリーム。
前記複数のオプションの第２のオプションは、前記異なるエッジ部分が互いにシーン的に隣接していないことを示し、
前記少なくとも２つの部分領域は、前記異なるエッジ部分のうちの異なるエッジ部分に当接する第１および第２のゾーン（１１０ａ、１１０ｂ）を形成して、
前記第２の情報（１４２）が前記第１のオプションをシグナリングする場合、前記縮小された画像領域は、前記第１および第２のゾーンが前記異なるエッジ部分に沿って当接するように前記少なくとも２つの部分領域のセットを組み合わせて構成するようにする、
および
前記第２の情報（１４２）が前記第２のオプションをシグナリングする場合、前記縮小された画像領域は、互いに対向する前記異なるエッジ部分を有する前記第１および第２のゾーンを有する前記少なくとも２つの部分領域のセットを組み合わせて構成するようにする、請求項２に記載のビデオデータストリーム。
【請求項4】
前記第２の情報（１４２）は、前記ビデオデータストリームから前記縮小されたビデオデータストリーム（１３６）を抽出する際に、前記ビデオデータストリームの前記スライス部分のシーケンスにおいて前記スライス部分（１２６）がどのように順序付けされているかに関連して前記空間セクション（１１０）内のスライスの前記スライス部分（１２６）を再ソートする方法を示し、そして
前記ビデオデータストリームのスライス部分のシーケンスの各スライス部分の前記スライスアドレスは、前記画像領域を横断し、前記画像（１００）が前記ビデオデータストリームの前記スライス部分のシーケンスに符号化される第１の符号化走査順序（１０６）に沿って各スライス部分に符号化された前記スライスの符号化開始位置を１次元的にインデックス付けして、
前記ビデオデータストリーム内の前記スライス部分のシーケンスの前記スライス部分の前記スライスアドレスが単調に増加し、そして、
前記ビデオデータストリームからの前記縮小されたビデオデータストリーム（１３６）の抽出における前記スライスアドレスの修正は、前記縮小されたビデオデータストリーム（１３６）が限定されている、前記第２の情報（１４２）によるシグナリングの通りに並べ替えられている前記スライス部分に符号化された前記スライスを、前記縮小された画像領域を横断する第２の符号化走査順序（１１２）に沿って順次配置し、前記スライス部分（１２６）の前記スライスアドレスを設定して、前記第２の符号化走査順序（１１２）に沿って測定された前記スライスの符号化開始位置をインデックス付けすることによって特定される、請求項２に記載のビデオデータストリーム。
前記ビデオデータストリームのスライス部分のシーケンスの各スライス部分の前記スライスアドレスは、前記画像領域を横断し、前記画像（１００）が前記ビデオデータストリームの前記スライス部分のシーケンスに符号化される第１の符号化走査順序（１０６）に沿って各スライス部分に符号化された前記スライスの符号化開始位置を１次元的にインデックス付けして、
前記ビデオデータストリーム内の前記スライス部分のシーケンスの前記スライス部分の前記スライスアドレスが単調に増加し、そして、
前記ビデオデータストリームからの前記縮小されたビデオデータストリーム（１３６）の抽出における前記スライスアドレスの修正は、前記縮小されたビデオデータストリーム（１３６）が限定されている、前記第２の情報（１４２）によるシグナリングの通りに並べ替えられている前記スライス部分に符号化された前記スライスを、前記縮小された画像領域を横断する第２の符号化走査順序（１１２）に沿って順次配置し、前記スライス部分（１２６）の前記スライスアドレスを設定して、前記第２の符号化走査順序（１１２）に沿って測定された前記スライスの符号化開始位置をインデックス付けすることによって特定される、請求項２に記載のビデオデータストリーム。
【請求項5】
前記第１の符号化走査順序（１０６）は、前記少なくとも２つの部分領域のセットのそれぞれの中の前記画像領域を、前記第２のコーディングスキャン順序（１１２）が前記各部分領域を横断する方法と合致した方法で横断する、請求項４に記載のビデオデータストリーム。
【請求項6】
前記少なくとも２つの部分領域の前記セットの各々は、前記第１の情報（１４０）により、行および列に前記画像（１００）が細分化される長方形タイルのサブアレイとして示され、前記第１および第２の符号化走査順序は、行方向のタイルラスタースキャンを使用するとともに次のタイルに進む前に現在のタイルを完全に横断する、請求項４または請求項５に記載のビデオデータストリーム。
【請求項7】
前記第２の情報（１４２）は、少なくとも前記空間セクション内の前記スライスのいずれかが符号化された前記スライス部分のサブセットのそれぞれについて、前記スライスアドレスの代替物をシグナリングする、請求項１に記載のビデオデータストリーム。
【請求項8】
前記ビデオデータストリームのスライス部分のシーケンスの各スライス部分の前記スライスアドレスは前記ビデオの画像領域に関連し、前記スライスアドレスの前記代替物は前記縮小された画像領域に関連している、請求項７に記載のビデオデータストリーム。
【請求項9】
前記ビデオデータストリームのスライス部分のシーケンスの各スライス部分の前記スライスアドレスは、前記画像領域を横断し、前記画像が前記ビデオデータストリームの前記スライス部分のシーケンスに符号化される第１の符号化走査順序に沿って、各スライス部分に符号化された前記スライスの符号化開始の位置を１次元的にインデックス付けし、そして、前記スライスアドレスの前記代替物は、前記縮小された画像領域を横断する第２の符号化走査順序に沿って符号化開始の位置を１次元的にインデックス付けする、請求項６または請求項７に記載のビデオデータストリーム。
【請求項10】
前記スライス部分の前記サブセットは、前記空間セクション（１１０）内の前記スライスのいずれかが符号化されている前スライス部分のシーケンスの前記スライス部分の第１のスライス部分を除外し、そして、前記第２の情報（１４２）は、前記ビデオデータストリーム内で前記スライス部分が発生する順序に従って、前記スライス部分の前記サブセットの各々の代替物を順次提供する、請求項７～請求項９のいずれかに記載のビデオデータストリーム。
【請求項11】
前記第１の情報（１４０）は前記画像領域内の空間セクション（１１０）を、それぞれに前記ビデオが各部分領域の外側から独立して前記ビデオデータストリームに符号化される、少なくとも２つの部分領域（１１０ａ，１１０ｂ）のセットから構成されるものと特定し、前記複数のスライスのいずれも、前記第１および第２の部分領域のいずれの境界とも交差しない、請求項７～請求項９のいずれかに記載のビデオデータストリーム。
【請求項12】
前記スライス部分の前記サブセットには、前記空間セクション内のいずれかの前記スライスが符号化されている前記スライス部分のシーケンスの全てのスライス部分が含まれ、前記第２の情報は、前記スライス部分が前記ビデオデータストリーム内で発生する順序に従って、前記スライス部分のそれぞれの代替物を順次提供する、請求項１１に記載のビデオデータストリーム。
【請求項13】
前記第２の情報（１４２）は前記ビデオデータストリームから前記縮小されたビデオデータストリームを抽出する際に、前記ビデオデータストリームのスライス部分のシーケンスにおいて前記スライス部分がどのように順序付けされているかに関連して前記空間セクション内の前記スライスの前記スライス部分を再ソートする方法をさらにシグナリングし、そして
前記第２の情報（１４２）は、前記縮小されたビデオデータストリーム内で再ソートされた前記スライス部分が生じる順序に従って、前記スライス部分の各サブセットの代替物を順次提供する、請求項１２に記載のビデオデータストリーム。
前記第２の情報（１４２）は、前記縮小されたビデオデータストリーム内で再ソートされた前記スライス部分が生じる順序に従って、前記スライス部分の各サブセットの代替物を順次提供する、請求項１２に記載のビデオデータストリーム。
【請求項14】
前記ビデオデータストリームに含まれる前記スライス部分のシーケンスは、前記空間セクション内のスライスを符号化したスライス部分と、前記空間セクション外のスライスを符号化したスライス部分を含み、または
前記ビデオデータストリームに含まれる前記スライス部分のシーケンスは、前記空間セクション内のスライスを符号化したスライス部分を含むが、前記空間セクション外のスライスを符号化したスライス部分は含まない、請求項１～請求項１３のいずれかに記載のビデオデータストリーム。
前記ビデオデータストリームに含まれる前記スライス部分のシーケンスは、前記空間セクション内のスライスを符号化したスライス部分を含むが、前記空間セクション外のスライスを符号化したスライス部分は含まない、請求項１～請求項１３のいずれかに記載のビデオデータストリーム。
【請求項15】
前記第２の情報（１４２）は前記縮小された画像領域の形状およびサイズを定義する、請求項１～請求項１４のいずれかに記載のビデオデータストリーム。
【請求項16】
前記第１の情報（１４０）は、前記ビデオデータストリームから前記縮小されたビデオデータストリーム（１３６）を抽出する際に前記ビデオデータストリーム内の対応するパラメータセットを代替するために使用されるべきパラメータセット代替物のサイズパラメータにより、前記縮小された画像領域の形状およびサイズを定義する、請求項１～請求項１５のいずれかに記載のビデオデータストリーム。
【請求項17】
ビデオデータストリームを生成するための装置であって、
ビデオの画像の複数のスライスのそれぞれのスライスに符号化された各スライス部分のシーケンスをビデオデータストリームに提供し、各スライス部分は、ビデオの画像領域内で、それぞれのスライス部分が符号化されたスライスが位置する場所を示すスライスアドレスを含み、
空間セクション内の任意のスライスにエンコードされたスライス部分にビデオデータストリームを限定し、空間的に小さいビデオの縮小された画像領域に関連するようにスライスアドレスを修正することによって、ビデオの空間セクションに対応する空間的に小さいビデオに符号化された縮小ビデオデータストリームをビデオデータストリームから抽出する方法を示す抽出情報をビデオデータストリームに提供するように構成され、
前記抽出情報は、
前記ビデオが前記空間セクションの外側から独立して前記ビデオデータストリームに符号化されている前記画像領域内の前記空間セクションを定義する第１の情報であって、
前記複数のスライスのうち前記空間セクションの境界を越えるものがない、第１の情報と、
前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正する方法に関して、複数のオプションのうちの１つをシグナリングして、または明示的にシグナリングして、前記縮小されたビデオデータストリーム内で、それぞれの前記スライスが前記縮小された画像領域内で配置されている場所を前記縮小されたビデオデータス
トリームにおいて示す第２の情報を含む、抽出情報
をビデオデータに提供するように構成される、装置。
ビデオの画像の複数のスライスのそれぞれのスライスに符号化された各スライス部分のシーケンスをビデオデータストリームに提供し、各スライス部分は、ビデオの画像領域内で、それぞれのスライス部分が符号化されたスライスが位置する場所を示すスライスアドレスを含み、
空間セクション内の任意のスライスにエンコードされたスライス部分にビデオデータストリームを限定し、空間的に小さいビデオの縮小された画像領域に関連するようにスライスアドレスを修正することによって、ビデオの空間セクションに対応する空間的に小さいビデオに符号化された縮小ビデオデータストリームをビデオデータストリームから抽出する方法を示す抽出情報をビデオデータストリームに提供するように構成され、
前記抽出情報は、
前記ビデオが前記空間セクションの外側から独立して前記ビデオデータストリームに符号化されている前記画像領域内の前記空間セクションを定義する第１の情報であって、
前記複数のスライスのうち前記空間セクションの境界を越えるものがない、第１の情報と、
前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正する方法に関して、複数のオプションのうちの１つをシグナリングして、または明示的にシグナリングして、前記縮小されたビデオデータストリーム内で、それぞれの前記スライスが前記縮小された画像領域内で配置されている場所を前記縮小されたビデオデータス
トリームにおいて示す第２の情報を含む、抽出情報
をビデオデータに提供するように構成される、装置。
【請求項18】
ビデオを符号化したビデオデータストリームから、空間的により小さいビデオを符号化した縮小されたビデオデータストリームを抽出する装置であって、前記ビデオデータストリームはスライス部分のシーケンスを含み、各スライス部分は、ビデオの画像の複数のスライスのそれぞれのスライスを符号化していて、各スライス部分は、前記各スライス部分が符号化している前記スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含み、
前記装置は、
前記ビデオデータストリームから抽出情報を読み取るように構成され、
前記抽出情報から前記画像領域内の空間セクションを導出するように構成され、前記複数のスライスのうち前記空間セクションの境界を越えるものはなく、前記縮小されたビデオデータストリームは、前記空間セクション内で任意のスライスを符号化したスライス部分に限定され、
前記抽出情報による明示的なシグナリングを使用して前記複数のオプションから決定された複数のオプションのうちの１つを使用して、前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正して、前記縮小されたビデオデータストリーム内で、前記それぞれのスライスが前記空間的により小さいビデオの縮小された画像領域で配置されている場所を示すように構成される、装置。
前記装置は、
前記ビデオデータストリームから抽出情報を読み取るように構成され、
前記抽出情報から前記画像領域内の空間セクションを導出するように構成され、前記複数のスライスのうち前記空間セクションの境界を越えるものはなく、前記縮小されたビデオデータストリームは、前記空間セクション内で任意のスライスを符号化したスライス部分に限定され、
前記抽出情報による明示的なシグナリングを使用して前記複数のオプションから決定された複数のオプションのうちの１つを使用して、前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正して、前記縮小されたビデオデータストリーム内で、前記それぞれのスライスが前記空間的により小さいビデオの縮小された画像領域で配置されている場所を示すように構成される、装置。
【請求項19】
前記ビデオデータストリームが請求項２～請求項１６のいずれかに記載のものである、請求項１７または請求項１８に記載の装置。
【請求項20】
ビデオを符号化したビデオデータストリーム（３３２）であって、前記ビデオデータストリームは、前記ビデオの画像（３３４）が、前記画像の異なる空間部分（３５４，３５６）において異なる解像度で共通のシーンコンテンツ（３０４）を表示していることを示す信号化（３５２）を含む、ビデオデータストリーム。
【請求項21】
前記信号化（３５２）は、第１の状態と第２の状態との間で切り替え可能なフラグを含み、前記第１の状態は、前記画像が異なる解像度で共通のシーンコンテンツを表示する異なる空間部分を前記ビデオの前記画像（３３４）が含むことを示し、前記第２の状態は、前記ビデオの前記画像が１つの解像度だけでシーンの各部分を表示することを示し、前記フラグは前記第１の状態に設定される、請求項２０に記載のビデオデータストリーム。
【請求項22】
前記フラグは前記ビデオデータストリームのシーケンスパラメータセットまたはビデオパラメータセットに含まれる、請求項２１に記載のビデオデータストリーム。
【請求項23】
前記ビデオデータストリームは、相互に重複しない空間領域のセット（３６０）の各々に関して、前記それぞれの空間領域（３６０）外から独立して符号化される、請求項２０～請求項２２のいずれかに記載のビデオデータストリーム。
【請求項24】
前記信号化（３５２）は前記ビデオの前記画像が前記共通のシーンコンテンツを異なる空間部分で表示する前記異なる解像度のカウントに関する情報を含む、請求項２０～請求項２３のいずれかに記載のビデオデータストリーム。
【請求項25】
前記信号化（３５２）は、それぞれが前記共通のシーンコンテンツを表示し、そのうちの少なくとも２つが前記共通のシーンコンテンツを異なる解像度で表示するセクション（３５４，３５６）への前記ビデオの前記画像の空間的な分割についての情報を含む、請求項２０～請求項２４のいずれかに記載のビデオデータストリーム。
【請求項26】
前記信号化（３５２）は、前記ビデオの前記画像が前記異なる空間部分（３５４、３５６）で前記共通のシーンコンテンツを表示する解像度の差に関する情報を含む、請求項２０～請求項２５のいずれかに記載のビデオデータストリーム。
【請求項27】
前記ビデオデータストリームは、前記ビデオデータストリームが前記ビデオデータストリームからの自己完結型ビデオデータストリームの再付号化なしでの抽出を可能にする抽出領域のセットを示す抽出情報を含み、前記自己完結型ビデオデータストリーは各抽出領域内のビデオの画像コンテンツに限定されたビデオを表す、請求項２０～請求項２６のいずれかに記載のビデオデータストリーム。
【請求項28】
前記ビデオデータストリームは、相互に重複しない前記空間領域（３６０）のセットのそれぞれに関して、前記それぞれの空間領域（３６０）外から独立して符号化され、前記抽出情報は、抽出領域のセットの各々を前記空間領域（３６０）のうちの１つ以上のセットとして示す、請求項２７に記載のビデオデータストリーム。
【請求項29】
前記ビデオの前記画像はタイルのアレイに空間的に細分化されまた前記データストリームに連続的に符号化され、前記空間領域（３６０）は１つ以上のタイルのクラスターである、請求項２７または請求項２８に記載のビデオデータストリーム。
【請求項30】
前記ビデオデータストリームは、少なくとも１つ以上の前記抽出領域のそれぞれについて、前記ビデオの前記画像がそれぞれの前記抽出領域内で共通のシーンコンテンツを異なる解像度で表示するかどうかを示すさらなる信号化を含む、請求項２７～請求項２９のいずれかに記載のビデオデータストリーム。
【請求項31】
前記さらなる信号化は、前記少なくとも１つ以上の抽出領域のそれぞれについて、
前記共通のシーンコンテンツが前記各抽出領域内で最高の解像度で表示される、前記各抽出領域内の部分領域のビューポートの方向性、および／または
前記共通のシーンコンテンツが前記各抽出領域内で最高の解像度で表示される前記各抽出領域の部分領域の、前記各抽出領域の全体領域のうちの面積シェア、および／または
前記各抽出領域の全体領域から、前記共通のシーンコンテンツがそれぞれ互いに異なる解像度で表示される部分領域への空間的再分割
をさらに示す、請求項３０に記載のビデオデータストリーム。
前記共通のシーンコンテンツが前記各抽出領域内で最高の解像度で表示される、前記各抽出領域内の部分領域のビューポートの方向性、および／または
前記共通のシーンコンテンツが前記各抽出領域内で最高の解像度で表示される前記各抽出領域の部分領域の、前記各抽出領域の全体領域のうちの面積シェア、および／または
前記各抽出領域の全体領域から、前記共通のシーンコンテンツがそれぞれ互いに異なる解像度で表示される部分領域への空間的再分割
をさらに示す、請求項３０に記載のビデオデータストリーム。
【請求項32】
前記さらなる信号化は前記抽出情報を含む１つ以上のＳＥＩメッセージとは別個のＳＥＩメッセージに限定される、請求項３０に記載のビデオデータストリーム。
【請求項33】
請求項２０～請求項３２のいずれかに記載のビデオデータストリームを処理するための装置であって、前記装置は所定の処理タスクをサポートし、前記ビデオデータストリームにおける前記所定の処理タスクの実行または実行の回避を決定するための信号化を検査するように構成される、装置。
【請求項34】
前記処理タスクが、前記ビデオデータストリームに復号化を施すステップ、および／または前記ビデオデータストリームに再符号化なしでの前記ビデオデータストリームからの縮小されたビデオデータストリームの抽出を施すステップを含む、請求項３３に記載の装置。
【請求項35】
請求項２０～請求項３２のいずれかに記載のビデオデータストリームを生成する装置。
【請求項36】
ビデオデータストリームを生成する方法であって、前記方法は
前記ビデオデータストリームにスライス部分のシーケンスを提供するステップであって、
各スライス部分は、ビデオの画像の複数のスライスのそれぞれのスライスを符号化しており、前記各スライス部分は、前記各スライス部分が符号化したスライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含む、スライス部分のシーケンスを提供するステップと、
前記ビデオデータストリームを前記空間セクション内の任意のスライスを符号化したスライス部分に限定し、空間的により小さいビデオの縮小された画像領域に関連するようにスライスアドレスを修正することにより、前記ビデオの空間セクションに対応する空間的により小さなビデオを符号化した縮小されたビデオデータストリームを前記ビデオデータストリームから抽出する方法を示す抽出情報を前記ビデオデータストリームに提供する提供するステップであって、
前記抽出情報は、
前記ビデオが前記空間セクションの外側から独立して前記ビデオデータストリームに符号化されている前記画像領域内の前記空間セクションを定義する第１の情報であって、前記複数のスライスのうち前記空間セクションの境界を越えるものはない、第１の情報と、
前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスをどのように修正するかについて、複数のオプションのうちの１つをシグナリングして、または明示的にシグナリングして、前記縮小された画像領域内で前記それぞれのスライスが配置されている場所を前記縮小されたビデオデータストリーム内で示す、第２の情報
を含む、抽出情報を提供するステップ、を含む、方法。
前記ビデオデータストリームにスライス部分のシーケンスを提供するステップであって、
各スライス部分は、ビデオの画像の複数のスライスのそれぞれのスライスを符号化しており、前記各スライス部分は、前記各スライス部分が符号化したスライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含む、スライス部分のシーケンスを提供するステップと、
前記ビデオデータストリームを前記空間セクション内の任意のスライスを符号化したスライス部分に限定し、空間的により小さいビデオの縮小された画像領域に関連するようにスライスアドレスを修正することにより、前記ビデオの空間セクションに対応する空間的により小さなビデオを符号化した縮小されたビデオデータストリームを前記ビデオデータストリームから抽出する方法を示す抽出情報を前記ビデオデータストリームに提供する提供するステップであって、
前記抽出情報は、
前記ビデオが前記空間セクションの外側から独立して前記ビデオデータストリームに符号化されている前記画像領域内の前記空間セクションを定義する第１の情報であって、前記複数のスライスのうち前記空間セクションの境界を越えるものはない、第１の情報と、
前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスをどのように修正するかについて、複数のオプションのうちの１つをシグナリングして、または明示的にシグナリングして、前記縮小された画像領域内で前記それぞれのスライスが配置されている場所を前記縮小されたビデオデータストリーム内で示す、第２の情報
を含む、抽出情報を提供するステップ、を含む、方法。
【請求項37】
ビデオを符号化したビデオデータストリームから空間的により小さいビデオを符号化した縮小されたビデオデータストリームを抽出する方法であって、前記ビデオデータストリームはスライス部分のシーケンスを含み、各スライス部分はビデオの画像の複数のスライスのうちのそれぞれのスライスを符号化しており、各スライス部分は、前記各スライス部分が符号化している前記各スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含み、
前記方法は、
前記ビデオデータストリームから抽出情報を読み取るステップと、
前記抽出情報から前記画像領域内の空間セクションを導出するステップであって、前記複数のスライスのうち、前記空間セクションの境界を越えるものはなく、前記縮小されたビデオデータストリームは、前記空間セクション内の任意のスライスを符号化したスライス部分に限定される、導出するステップと、
前記抽出情報による明示的なシグナリングを使用することで、前記複数のオプションから決定された複数のオプションのうちの１つを使用して、前記それぞれのスライスが前記空間的に小さいビデオの縮小された画像領域内で配置されている場所を前記縮小されたビデオデータストリーム内で示すように、前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正するステップを含むように構成される、方法。
前記方法は、
前記ビデオデータストリームから抽出情報を読み取るステップと、
前記抽出情報から前記画像領域内の空間セクションを導出するステップであって、前記複数のスライスのうち、前記空間セクションの境界を越えるものはなく、前記縮小されたビデオデータストリームは、前記空間セクション内の任意のスライスを符号化したスライス部分に限定される、導出するステップと、
前記抽出情報による明示的なシグナリングを使用することで、前記複数のオプションから決定された複数のオプションのうちの１つを使用して、前記それぞれのスライスが前記空間的に小さいビデオの縮小された画像領域内で配置されている場所を前記縮小されたビデオデータストリーム内で示すように、前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正するステップを含むように構成される、方法。
【請求項38】
請求項２０～請求項３２のいずれかに記載のビデオデータストリームを処理する方法であって、前記処理は所定の処理タスクを含み、前記方法は、前記ビデオデータストリームにおける前記所定の処理タスクの実行または実行の回避を決定するために信号化の検査を含む、方法。
【請求項39】
請求項２０～請求項３２のいずれかに記載のビデオデータストリームを生成する方法。
【請求項40】
コンピュータ上で実行されるときに請求項３６～請求項３９のいずれかに記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、ビデオデータストリームの抽出、すなわち、縮小されたビデオデータストリームが、元のビデオデータストリームに符号化されたビデオの空間セクションに対応する空間的により小さなビデオをその中に符号化できるように、適切に準備されたビデオデータストリームから縮小されたビデオデータストリームを抽出するコンセプトに関し、さらに言えば、１つのシーンの異なるビデオバージョンの送信に関するものであり、バージョンはシーンの解像度または忠実度が異なる。
【背景技術】
【0002】
ＨＥＶＣ規格［１］は、ビデオデータストリーム全体から、より小さなまたは縮小されたビデオデータストリームを簡単に抽出できるように、すなわち、再量子化せずに、動き補償をやり直す必要もなく、ビデオコーデックがいくつかの符号化の制約に従う場合の画像の長方形タイルのサブアレイの定義を可能にするハイブリッドビデオコーデックを定義している。［２］で概説されているように、ビデオデータストリームの受信者の抽出プロセスをガイドできるＨＥＶＣ標準構文に追加することが想定されている。
【0003】
ただし、抽出プロセスをより効率的にする必要がある。
【0004】
ビデオデータの抽出が適用される可能性のあるアプリケーション領域は、シーンの解像度が相互に異なる１つのビデオシーンの複数のバージョンの送信または提供に関係する。そのような伝送をインストールする効率的な方法、または相互に異なる解像度バージョンを提供することは有利である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、本願発明の第１の目的は、より効率的な、すなわち、たとえば、異なる種類のビデオが異なる受信者に未知のタイプのビデオコンテンツをより効率的に処理できるビデオデータストリーム抽出のコンセプトを提供することであり、例えば、ビューポートから画面への投影など、または抽出プロセスの複雑さを軽減することである。この目的は、第１の態様による本出願の独立請求項の主題により達成される。
【課題を解決するための手段】
【0006】
特に、本出願の第１の態様によれば、縮小されたビデオデータストリーム内で、縮小された（抽出された）画像領域で、それぞれのスライスが位置する場所を示すように、抽出可能な空間セクション内の各スライスのスライス部分のスライスアドレスを修正する方法に関しては、ビデオデータストリーム内の抽出情報に複数のオプションの１つをシグナリングする情報、または明示的にシグナリングする方法を提供することにより、ビデオデータストリームの抽出がより効率的になる。換言すれば、第２の情報は、元のビデオの空間セクションに基づいて、縮小（抽出）されたビデオデータストリームの空間的に小さいビデオの画像の構成に関する抽出プロセスをガイドするビデオデータストリームの抽出サイトに情報を提供する。そしてしたがって、抽出プロセスを軽減するか、ビデオデータストリーム内で伝達されるシーンタイプのより大きな変動に適応できるようにしている。後者の問題に関しては、例えば、第２の情報は、空間的に小さいビデオのピクチャが、元のビデオ内の空間的なセクションのこれらの部分の相対的な配置、または符号化順序の観点からの相対的なン順序の維持の下での空間的なセクションの潜在的に不連続な部分を押し合う結果だけでなく、有利になるべき様々な機会に対処することができる。後者の問題に関しては、例えば、第２の情報は、空間的に小さいビデオのピクチャが、元のビデオ内の空間的なセクションのこれらの部分の相対的な配置、または符号化順序の観点からの相対的な順序の維持の下で、空間的なセクションの潜在的に不連続な部分を押し合う結果だけでなく、有利になるべき様々な機会に対処することができる。例えば、パノラマシーンから画面への投影のシームインターフェイスのシーンを示す元の画像の周囲に沿って異なる部分に当接するゾーンで構成される空間セクションでは、空間セクションのゾーンの配置が抽出されたストリームの小さい画像は、非パノラマ型の画像タイプの場合とは異なるはずであるが、受信者はそのタイプについても知らない可能性がある。追加または個別に、抽出されたスライス部分のスライスアドレスを修正するのは面倒な作業であり、たとえば、代替スライスアドレスの形式で修正方法に関する情報を明示的に送信することにより軽減される場合がある。
【0007】
本願発明の別の目的は、シーンの解像度が異なるバージョンのビデオシーンを並置してより効率的に受信者に提供する概念を提供することである。
【0008】
この目的は、本出願の第２の態様の係属中の独立請求項の主題により達成される。
【0009】
特に、本願の第２の態様によれば、シーンの解像度が異なるビデオシーンのいくつかのバージョンの並置は、これらのバージョンを１つのビデオデータストリームに符号化された１つのビデオにまとめることにより、より効率的に表示され、そして、このビデオデータストリームに、ビデオの画像が異なる解像度で画像の異なる空間部分に共通のシーンコンテンツを表示することを示す信号化を提供する。ビデオデータストリームの受信者は、したがって、信号化に基づいて、ビデオデータストリームによって伝達されるビデオコンテンツが、異なるシーン解像度でのシーンコンテンツのいくつかのバージョンの空間的な並列コレクションに関連するかどうかを認識することができる。受信サイトの機能に応じて、ビデオデータストリームを復号化する試行を抑制し得るか、またはビデオデータストリームの処理は信号化の分析に適合され得る。
【0010】
上述の態様の実施形態の有利な実装は、従属請求項の主題である。本出願の好ましい実施形態は、図面に関して以下で説明される。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下の説明は、本願の第１の態様の説明から始まり、その後、本願の第２の態様の説明に続く。より正確には、本願の第１の態様に関して、以下に説明する第１の態様の実施形態の利点および基礎となるコンセプトを動機付けるために、基礎となる技術的問題の概要から説明を始める。２番目の側面に関しては、説明の順序は同じ方法で選択される。
【0013】
パノラマまたは３６０ビデオアプリケーションでは、画面のサブセクションのみをユーザーに提示する必要があるのが一般的である。Motion Constrained Tile Sets（ＭＣＴＳ）などの特定のコーデックツールを使用すると、圧縮ドメイン内の所望の画像サブセクションに対応する符号化データを抽出し、適合ビットストリームを形成できる。そして、完全な画像ビットストリームからのＭＣＴＳ復号化をサポートしないレガシーデコーダデバイスで復号化できる。そして、それは完全な画像復号化に必要なデコーダと比較してより低い階層であると特徴づけられる。
【0014】
例として、また参照として、ＨＥＶＣコーデックに含まれるシグナリングは次の場所にある。
・ 参照［１］。セクションＤ２．２９およびＥ．２．２９の一時的なＭＣＴＳ ＳＥＩメッセージを指定し、これにより、エンコーダーは、指定された長方形のリストをシグナリングできる。それぞれ左上と右下のタイルインデックスで定義され、ＭＣＴＳに属する。
・ 参照［２］。ＭＣＴＳを適合ＨＥＶＣビットストリームとして抽出する作業を容易にするパラメータセットやネスト化したＳＥＩメッセージなどの追加情報を提供し、［１］の次のバージョンに追加される。
・ 参照［１］。セクションＤ２．２９およびＥ．２．２９の一時的なＭＣＴＳ ＳＥＩメッセージを指定し、これにより、エンコーダーは、指定された長方形のリストをシグナリングできる。それぞれ左上と右下のタイルインデックスで定義され、ＭＣＴＳに属する。
・ 参照［２］。ＭＣＴＳを適合ＨＥＶＣビットストリームとして抽出する作業を容易にするパラメータセットやネスト化したＳＥＩメッセージなどの追加情報を提供し、［１］の次のバージョンに追加される。
【0015】
［１］および［２］からわかるように、抽出の手順には、抽出デバイスで実行される関連スライスのスライスヘッダーで示されるスライスアドレスの調整が含まれる。
【0016】
図１に、ＭＣＴＳ抽出の例を示す。図１は、ビデオデータストリーム、すなわち、ＨＥＶＣビデオデータストリームに符号化された画像を示している。画像１００は、ＣＴＢ、すなわち画像１００が符号化された単位の符号化ツリーブロックに細分化される。図１の例では、画像１００は、１６×６のＣＴＢに細分割されているが、ＣＴＢの行数とＣＴＢの列数は当然ながら重要ではない。参照符号１０２は、そのようなＣＴＢを代表的に示している。これらのＣＴＢ１０２の単位で、画像１００はタイル、すなわちｍ×ｎタイルのアレイにさらに細分割され、図１はｍ＝８およびｎ＝４の例示的なケースを示す。各タイルにおいて、そのようなタイルの１つを代表的に示すために参照符号１０４が使用されている。したがって、各タイルは、ＣＴＢ １０２の長方形のクラスターまたはサブアレイである。例示のみを目的として、図１は、タイル１０４が異なるサイズのものであり得ること、または代替的に言えば、タイルの行が相互に異なる高さおよび相互に異なる幅のタイルの列であり得ることを示す。
【0017】
当技術分野で知られているように、タイルの細分割、すなわち画像１００のタイル１０４への細分割は、画像１００の画像コンテンツがビデオデータストリームに符号化される符号化順序１０６に影響を与える。特に、タイル１０４は、タイルの順序に沿って、すなわち、タイル行ごとのラスタ走査順序で次々に横断される。換言すれば、１つのタイル１０４内のすべてのＣＴＢ１０２は、符号化順序が次のタイル１０４に進む前に、まず符号化順序１０６によって符号化または横断される。各タイル１０２内で、ＣＴＢは、ラスタ走査順序、すなわち行方向のラスタ走査順序も使用して符号化される。符号化順序１０６に沿って、ビデオデータストリームへの画像１００の符号化は、いわゆるスライス部分をもたらすために細分化される。換言すれば、符号化順序１０６の連続的な部分が横断する画像１００のスライスは、スライス部分を形成するようにユニットとしてビデオデータストリームに符号化される。図１では、各タイルは単一のスライス、またはＨＥＶＣの用語ではスライスセグメント内にあると想定されているが、これは単なる例であり、異なる方法で作成することができる。代表的に、１つのスライス１０８、またはＨＥＶＣに関して、１つのスライスセグメントは、図１において代表的に参照符号１０８で示され、一致するか、または対応するタイル１０４に適合している。
【0018】
画像１００のビデオデータストリームへの符号化に関する限り、この符号化は、空間予測、時間予測、エントロピー符号化のコンテキスト導出、時間予測の動き補償、予測残差の変換および／または予測残差の量子化を活用することに注意すべきである。符号化順序１０６は、スライシングに影響を与えるだけでなく、空間予測および／またはコンテキスト導出のために参照ベースの可用性も定義する。例えば、符号化順１０６で先行する隣接部分のみが利用可能である。タイリングは、符号化順序１０６に影響するだけでなく、画像１００内の符号化相互依存性も制限する。例えば、空間予測および／またはコンテキスト導出は、現在のタイル１０４内の部分のみを参照するように制限される。現在のタイルの外側の部分は、空間予測および／またはコンテキスト導出では参照されない。
【0019】
図１は、画像１００のさらなる特定の領域、すなわちいわゆるＭＣＴＳ、すなわち、画像１００がその一部であるビデオが抽出可能な画像１００の画像領域内の空間セクション１１０を示している。セクション１１０の拡大図が図１０の右側に示されている。図１のＭＣＴＳ１１０は、タイル１０４のセットから構成される。セクション１１０にあるタイルには、それぞれａ、ｂ、ｃ、ｄという名前が付けられている。空間セクション１１０が抽出可能であるという事実は、ビデオのビデオデータストリームへの符号化に関するさらなる制限を伴う。特に、図１に示されている画像１００のビデオの画像の分割は、ビデオの他の画像によって採用されており、そして、この画像シーケンスについて、タイルａ、ｂ、ｃ、およびｄ内の画像コンテンツは、ある画像から他の画像を参照する場合でも空間セクション１１０内に符号化相互依存性が残るように符号化される。換言すれば、例えば、時間的予測および時間的コンテキスト導出は、空間セクション１１０の領域内に収まるように制限される。
【0020】
画像１００の一部であるビデオをビデオデータストリームに符号化する際の興味深い点は、スライス１０８にスライスアドレスが提供されるという事実であり、このスライスアドレスは、符号化された画像領域におけるその符号化開始、すなわちその位置を示す。スライスアドレスは、符号化順序１０６に沿って割り当てられる。例えば、スライスアドレスは、各スライスの符号化が開始される符号化順序１０６に沿ったＣＴＢランクを示す。たとえば、ビデオおよび画像１００をそれぞれ符号化するデータストリーム内で、タイルａと一致するスライスを運ぶスライス部分は、タイルａ内の符号化順序１０６の最初のＣＴＢを示す符号化順序１０６の７番目のＣＴＢとしてスライスアドレス７を有する。同様に、タイルｂ、ｃ、ｄに関連するスライスを運ぶスライス部分内のスライスアドレスは、それぞれ９、２９、３３になる。
【0021】
図１の右側は、縮小または抽出されたビデオデータストリームの受信者がタイルａ、ｂ、ｃ、ｄに対応する２つのスライスを割り当てるスライスアドレスを示している。換言すれば、図１は、右側の数字０、２、４、８を使用して、縮小または抽出されたビデオデータストリームの受信者によって割り当てられたスライスアドレスを示していて、これは、空間セクション１１０に関する抽出により、すなわちＭＣＴＳ抽出により、画像１００全体を含むビデオを表す元のビデオデータストリームから取得されている。縮小または抽出されたビデオデータストリームでは、タイルａ、ｂ、ｃおよびｄのスライス１００に符号化されたスライス部分は、抽出プロセス中に取り出された元のビデオデータストリームにちょうど存在したように、符号化順序１０６に配置される。特に、この受信者は、縮小または抽出されたビデオデータストリームのスライス部分のシーケンスから再構成されたＣＴＢの形式で画像コンテンツを配置する。すなわち、画像１００全体に関して符号化順序１０６と同じ方法で空間セクション１１０をトラバースする符号化順序１１２に沿ったタイルａ、ｂ、ｃおよびｄに関するスライス、すなわち、タイル内のタイルごとに空間セクション１１０をラスタースキャン順序でトラバースすることによる。また、各タイル内のＣＴＢの走査もラスタースキャン順序に沿って行われてから次のタイルに進む。タイルａ、ｂ、ｃ、ｄの相対位置は、維持される。すなわち、図１の右側に示されるような空間セクション１１０は、画像１００で発生したタイルａ、ｂ、ｃおよびｄの間の相対位置を維持する。符号化順序１１２を使用してタイルａ、ｂ、ｃおよびｄを決定することから生じるスライスのスライスアドレスは、それぞれ０、２、４および８である。したがって、受信者は、右側に自己完結型の画像として示される空間セクション１１０を示す縮小または抽出されたビデオデータストリームに基づいて、より小さなビデオを再構築することができる。
【0022】
これまでの図１の説明を要約すると、図１は、各スライス１０８の左上隅の数字を使用することによる抽出後のスライスアドレスおよびＣＴＢの単位の調整を示しているかまたは示している。抽出を実行するには、抽出サイトまたは抽出デバイスは、ＣＴＢのサイズ、つまり最大ＣＴＢサイズ１１４、および画像１００内のタイル列とタイル行の数とサイズを示すパラメータに関して元のビデオデータストリームを分析する必要がある。さらに、ネストされたＭＣＴＳ固有のシーケンスおよび画像パラメータ集合は、そこからタイルの出力配置を導出するために検査される。図１では、空間セクション１１０内のタイルａ、ｂ、ｃおよびｄは、それらの相対的な配置を保持している。要するに、全体として、上記およびＨＥＶＣデータストリームのＭＣＴＳ命令に従って抽出デバイスによって実行される分析および検査には、上記でリストされたパラメータから再構成スライス１０８のスライスアドレスを導出するための専用の洗練されたロジックが必要とされる。この専用で洗練されたロジックは、実行時の欠点だけでなく、追加の実装コストが発生する。
【0023】
以下に説明する実施形態は、したがって、ビデオデータストリームで追加のシグナリングを使用し、抽出情報生成側および抽出側で対応する処理ステップを使用して、抽出の特定の目的のために容易に利用可能な情報を提供することにより、抽出装置の上記説明の全体的な処理負担を軽減することができる。追加または代替として、以下で説明するいくつかの実施形態は、異なるタイプのビデオコンテンツのより効果的な処理が達成されるような方法で抽出プロセスをガイドするために追加のシグナリングを使用する。
【0024】
図２に基づいて、一般的なコンセプトを最初に説明する。後で、図２に示される全体的なプロセスに参加する個々のエンティティの動作モードのこの一般的な説明は、以下でさらに異なる実施形態に従って異なる方法でさらに明確に述べる。そこに示されているエンティティとブロックを理解しやすくするために１つの図にまとめて説明しているが、それぞれが図２の利点の概要を提供する機能を個別に継承する自己完結型デバイスに関係していることに注意すべきである。より正確には、図２は、ビデオデータストリームを生成し、そのようなビデオデータストリームに抽出情報を提供する生成プロセスを示している。抽出プロセス自体に続いて、抽出または縮小されたビデオデータストリームと参加デバイスの復号化が行われる。これらのデバイスの動作モードまたは個々のタスクとステップのパフォーマンスは、ここで説明する実施形態に従っている。図２に関して最初に説明した特定の実装例に従って、そして、以下でさらに概説されるように、抽出デバイスの抽出タスクに関連する処理オーバーヘッドが削減される。さらなる実施形態によれば、元のビデオ内の様々な異なるタイプのビデオコンテンツの処理は、追加的または代替的に軽減される。
【0025】
図２の上部には、参照符号１２０で示される元のビデオが示されている。このビデオ１２０は、図１の画像１００と同じ役割を果たすので、その１つが参照符号１００を使用して示される一連の画像から構成される。すなわち、それは、ビデオデータストリームの抽出によって空間セクション１１０が後に切り取られる画像領域を示す画像である。ただし、図１に関して上で説明したタイルの細分割は、図２に示すプロセスの基礎となるビデオ符号化で使用する必要がないことを理解されるべきである。そして、むしろ、タイルおよびＣＴＢは、図２の実施形態に関する限り、単にオプションであるビデオ符号化におけるセマンティックエンティティを示す。
【0026】
図２は、ビデオ１０２がビデオ符号化コア１２２でビデオ符号化の対象であることを示している。ビデオ符号化コア１２２によって実行されるビデオ符号化は、例えば、ハイブリッドビデオ符号化を使用して、ビデオ１２０をビデオデータストリーム１２４に変える。すなわち、ビデオ符号化コア１２２は、例えば、予測残差のいくつかのサポートされた予測モード符号化のうちの１つを使用してビデオ１２０の画像の個々の画像ブロックを符号化するブロックベースの予測符号化を使用する。予測モードは、例えば、空間的および時間的予測を含み得る。時間的予測は、動き補償、すなわち、時間的に予測されたブロックの動きベクトルを表す動きフィールドの決定、およびデータストリーム１２４によるその送信を含んでもよい。予測残差は変換符号化されてもよい。すなわち、いくつかのスペクトル分解を予測残差に適用することができ、結果として生じるスペクトル係数を量子化にかけ、例えばエントロピー符号化を使用してデータストリーム１２４に可逆的に符号化することができる。次に、エントロピー符号化は、コンテキスト適応性を使用してもよい。つまり、このコンテキスト導出が空間的近傍および／または時間的近傍に依存するコンテキストを決定してもよい。上記したように、符号化は、符号化依存関係を、符号化順序１０６が既に通過したビデオの部分のみがビデオ１２０の現在の部分を符号化するための基礎または基準として使用できる程度に制限する符号化順序１０６に基づいてもよい。符号化順序１０６は、画像ごとにビデオ１２０を横断するが、必ずしも画像の提示時間順ではない。画像１００などの画像内で、ビデオ符号化コア１２０は、ビデオ符号化によって得られた符号化データを細分化し、それにより、画像１００を、ビデオデータストリーム１２４の対応するスライス部分１２６にそれぞれ対応するスライス１０８に細分化する。データストリーム１２４内で、スライス部分１２６は、画像１００の符号化順序１０６によって対応するスライス１０８が横断される順序で互いに続くスライス部分のシーケンスを形成する。
【0027】
図２にも示されているように、ビデオ符号化コア１２２は、各スライス部分１２６にスライスアドレスを提供または符号化する。スライスアドレスは、説明のため図２では大文字で示されている。図１に関して説明したように、スライスアドレスは、符号化順序１０６に沿って一次元的にＣＴＢの単位などの何らかの適切な単位で決定されてもよいが、あるいは代わりに、それらは、例えば、画像１００の左上隅などのビデオ１２０の画像によって使用済みの画像領域内のいくつかの所定の点に対して異なって決定されてもよい。
【0028】
したがって、ビデオ符号化コア１２２は、ビデオ１２０を受信し、ビデオデータストリーム１２４を出力する。
【0029】
既に上で概説したように、図２に従って生成されたビデオデータストリームは、空間セクション１１０に関する限り抽出可能であり、したがって、ビデオ符号化コア１２０はビデオ符号化プロセスを適切に適応させる。この目的のために、ビデオ符号化コア１２２は、例えば、空間的予測、時間的予測、またはコンテキストの導出などにより、セクション110の外側の部分に依存しないようにするために、空間セクション１１０内の部分がビデオデータストリーム１２４にある方法で符号化されるようにインター符号化依存性を制限する。スライス１０８は、セクション１１０の境界を横切らない。したがって、各スライス１０８は、セクション１１０内に完全にあるか、セクション１１０の外に完全にある。ビデオ符号化コア１２２は、１つの空間セクション１１０だけでなく、いくつかの空間セクションに従うことができることに留意されたい。これらの空間セクションは、互いに交差する場合があり、つまり、同じ空間セクションが部分的に重なり合う場合や、１つの空間セクションが別の空間セクション内に完全に存在する場合がある。これらの手段により、後で詳細に説明するように、ビデオデータストリーム１２４から、ビデオ１２０の画像よりも小さい画像の縮小または抽出されたビデオデータストリームを抽出することが可能である。すなわち、単に再符号化せずに空間セクション１１０内のコンテンツを示す画像、すなわち、動き補償、量子化および／またはエントロピー符号化などの複雑なタスクを再度実行する必要がない。
【0030】
ビデオデータストリーム１２４は、ビデオデータストリームジェネレータ１２８によって受信される。特に、図２に示す実施形態によれば、ビデオデータストリームジェネレータ１２８は、ビデオ符号化コア１２２から準備されたビデオデータストリーム１２４を受信する受信インターフェース１３０を含む。代替例によれば、ビデオ符号化コア１２２をビデオデータストリームジェネレータ１２８に含めることができ、それによりインターフェース１３０を置き換えることができることに留意されたい。
【0031】
ビデオデータストリームジェネレータ１２８は、ビデオデータストリーム１２４に抽出情報１３２を提供する。図２では、ビデオデータストリームジェネレータ１２８によって出力される結果のビデオデータストリームは、参照符号１２４'を使用して示されている。抽出情報１３２は、図２に参照符号１３４で示される抽出装置について、ビデオデータストリーム１２４'から、符号化された縮小または抽出されたビデオデータストリーム１３６をどのように抽出するかを示し、その中に、空間セクション１１０に対応する空間的に小さなビデオ１３８が含まれる。抽出情報１３２は、画像１００によって送信された画像領域内の空間セクション１１０を定義する第１の情報１４０と、縮小ビデオデータストリーム１３６内で、ビデオ１３８の画像１４４の減少画像領域内で、それぞれのスライスが位置する場所を示すように、空間セクション１１０に入る各スライス１０８のスライス部分１２６のスライスアドレスを修正する方法に関する複数のオプションの１つを示す第２の情報１４２を含む。
【0032】
換言すれば、ビデオデータストリームジェネレータ１２８は、ビデオデータストリーム１２４'、すなわち抽出情報１３２をもたらすために、単にビデオデータストリーム１２４に付随する、すなわち何かを追加するだけである。この抽出情報１３２は、特にビデオデータストリーム１２４'からセクション１１０に関して縮小または抽出されたビデオデータストリーム１３６を抽出する際に、ビデオデータストリーム１２４'を受信する抽出装置１３４を案内することを目的とする。第１の情報１４０は、空間セクション１１０、すなわち、それぞれビデオ１２０および画像１００の画像領域内のその場所、および場合によっては画像１４４の画像領域のサイズおよび形状を定義する。図２に示されるように、このセクション１１０は、必ずしも長方形、凸面である必要はなく、または接続された領域である必要もない。例えば、図２の例では、セクション１１０は、２つの分離した部分領域１１０ａおよび１１０ｂから構成される。さらに、第１の情報１４０は、抽出装置１３４が符号化パラメータの一部またはデータストリーム１２４または１２４'の一部をそれぞれ修正または置換する方法に関するヒントを含むことができる。例えば、抽出により画像１００から画像１４４に向かう画像領域の変化を反映するように適合される画像サイズパラメータなどである。特に、第１の情報１４０は、ビデオデータストリーム１２４'に含まれる対応するパラメータセットを対応して変更または置換し、縮小または抽出されたビデオデータストリーム１３６に引き継ぐようにするために、抽出プロセスにおいて抽出装置１３４によって適用されるビデオデータストリーム１２４'のパラメータセットに関する代替または修正命令を含むことができる。
【0033】
換言すれば、抽出装置１３４は、ビデオデータストリーム１２４'を受信し、ビデオデータストリーム１２４'から抽出情報１３２を読み取り、抽出情報から空間セクション１１０、すなわちビデオ１２０の画像領域内のその位置および配置を導出する。つまり、第１の情報１４０に基づいている。したがって、抽出装置１３０は、第１の情報１４０に基づいて、セクション１１０に入るスライスに符号化されたスライス部分１２６を識別する。そしてしたがって、セクション１１０の外側のスライスに関係するスライス部分１２６が抽出装置１３４によってドロップされている間に、縮小または抽出されたビデオデータストリーム１３６に引き継がれる。さらに、抽出装置１３４は、先に概説したように、以前にデータストリーム１２４'内に１つまたは複数のパラメータセットを正しく設定するために、情報１４０を使用してもよく、または、縮小または抽出されたビデオデータストリーム１３６で、すなわち修正または置換により、それを採用する。したがって、１つまたは複数のパラメータセットは、情報１４０に従ってセクション１１０の領域のサイズの合計、すなわちセクション１１０が、図２に例示的に示されているように接続された領域ではない場合には、セクション１１０のすべての部分１１０ａおよび１１０ｂの領域の合計に対応するサイズに設定される画像サイズパラメータに関係し得る。セクション１１０に依存したスライス部分のドロップとパラメータセットの適合により、ビデオデータストリーム１２４'はセクション１１０に限定される。さらに、抽出装置１３４は、縮小または抽出されたビデオデータストリーム１３６内のスライス部分１２６のスライスアドレスを修正する。これらのスライスは、図２のヘッジを使用して示されている。すなわち、ハッチングされたスライス部分１２６は、そのスライスがセクション１１０に入り、したがって、それぞれ抽出または引き継がれるスライスである。
【0034】
情報１４２は、完全なビデオデータストリーム１２４'に追加される状況で想像できるだけでなく、そこに含まれるスライス部分のシーケンスは、空間セクション内のスライスに符号化されたスライス部分を含むことと同様に、空間セクションの外部のスライスを符号化したスライス部分も含まれことに留意されたい。むしろ、情報１４２を含むデータストリームは、ビデオデータストリームに含まれるスライス部分のシーケンスが空間セクション内のスライスに符号化されたスライス部分を含むように、すでに取り除かれている可能性がある。ただし、空間セクションの外部のスライスに符号化されたスライス部分は存在しない。
【0035】
以下において、第２の情報１４２をデータストリーム１２４'に埋め込むための異なる例、およびその処理が提示される。一般に、第２の情報１４２は、データストリーム１２４'内で、明示的に、またはいくつかのオプションのうちの１つの選択の形で、スライスアドレス修正を実行する方法に関するヒントを示す信号化として伝えられる。換言すれば、第２の情報１４２は、１つ以上のシンタックス要素の形で伝えられ、その可能な値は、例えば、スライスアドレスの代替を明示的に通知するか、または一緒に、ビデオデータストリーム１３６のスライス部分ごとのスライスアドレスを、データストリームの１つまたは複数の構文要素の設定を選択することで関連付ける多数の可能性の信号化を区別できる。ただし、第２の情報１４２を具体化する上記の１つ以上の構文要素の意味のあるまたは可能な設定の数は、ビデオ１２０がビデオデータストリーム１２４に符号化された方法およびセクション１１０の選択にそれぞれ依存することに注意する必要がある。たとえば、セクション１１０は、画像１００内の長方形の接続領域であり、ビデオ符号化コア１２０は、セクション１１０の内部に関する限り、符号化をさらに制限することなく、このセクションに関して符号化を実行することに関連すると仮定する。２つ以上の領域１１０ａおよび１１０ｂによるセクション１１０の構成は適用されないであろう。つまり、セクション１１０の外部への依存関係のみが抑制される。この場合、セクション１１０は、ビデオ１３８の画像１４４の画像エリアに修正されずに、すなわち、セクション１１０の任意のサブ領域のスクランブル位置なしにマッピングされなければならないであろう。また、スライス１１０を構成するセクション１１０のスライス部分へのアドレスαおよびβの割り当ては、セクション１１０の内部をそのまま画像１４４の画像領域に配置することにより一意に決定されるであろう。この場合、ビデオデータストリームジェネレータ１２８によって生成される情報１４２の設定は一意である。つまり、ビデオデータストリームジェネレータ１２８には、この方法で情報１４２を設定する以外の選択肢はないであろう。ただし、情報１４２には、符号化の観点から利用できる他の信号化オプションがあるであろう。しかしながら、この代替のない場合でさえ、例えば、固有のスライスアドレス修正を明示的に示す信号化１４２は、抽出装置１３４が、ストリーム１２４'から採用されるスライス部分１２６についてのスライスアドレスαおよびβをそれ自体で決定する前述の厄介なタスクを実行する必要がないという利点がある。むしろ、情報１４２からスライス部分１２６のスライスアドレスを修正する方法を単に導き出す。
【0036】
以下にさらに概説する情報１４２の性質に関する異なる実施形態に応じて、抽出装置１３４は、スライス部分１２６がストリーム１２４'から縮小または抽出ストリーム１３６に引き継がれる順序を保存または維持するか、情報１４２によって定義される方法で順序を修正する。いずれの場合でも、抽出装置１３４によって出力される縮小または抽出されたデータストリーム１３６は、通常のデコーダ１４６によって復号され得る。デコーダ１４６は、抽出器ビデオデータストリーム１３６を受信し、そこからビデオ１３８を復号する。その画像１３４は、画像１００のようなビデオ１２０の画像よりも小さい。そして、その画像領域は、ビデオデータストリーム１３６内のスライス部分１２６内で伝達されるスライスアドレスαおよびβによって定義される方法で、ビデオデータストリーム１３６内のスライス部分１２６から復号化されたスライス１０８を配置することによって満たされる。
【0037】
すなわち、これまで、図２は、その説明が、以下により詳細に説明される第２の情報１４２の正確な性質についての様々な実施形態に適合するように説明されてきた。
【0038】
ここで説明する実施形態は、ストリーム１４２からストリーム１３６に引き継がれたスライス部分１２６のスライスアドレスを修正する際に抽出装置１３４によって使用されるべきスライスアドレスの明示的な信号化を使用する。以下に説明する実施形態は、スライスアドレスを修正する方法のいくつかの許可されたオプションの１つを抽出装置１３４にシグナリングすることを可能にする信号化１４２を使用する。例えば、セクション１１０の空間的境界を越えないようにセクション１１０の内部の符号化相互依存性を制限する方法で符号化されたセクション１１０の結果としてのオプションの許容は、次々に、図１に示すように、セクション１１０を１１０ａおよび１１０ｃまたはタイルａ、ｂ、ｃ、ｄなどの２つ以上の領域に分割する。後者の実施形態は、それ自体でアドレスを計算する面倒なタスクを実行するために抽出装置１３４をさらに含んでもよいが。しかし、対応する抽出または縮小されたビデオデータストリーム１３６に基づいて、受信側で意味のあるビデオ１３８になるように、元のビデオ１２０内の異なるタイプの画像コンテンツの効率的な処理を可能にする。
【0039】
つまり、図１に関して上記で概説したように、抽出装置１３４におけるスライスアドレス決定の面倒なタスクは、第２の情報１４２による抽出プロセスにおけるアドレスの修正方法の明示的な送信により、本願の実施形態に従って軽減される。この目的に使用できる構文の具体例を以下に示す。
【0040】
特に、情報１４２を使用して、スライス部分１２６がビットストリーム１２４'で運ばれるのと同じ順序でストリーム１２４'に含まれるスライスアドレス置換のリストを含めることにより、抽出されたＭＣＴＳのスライスヘッダーで使用される新しいスライスアドレスを明示的にシグナリングすることができる。たとえば、図１の例を参照されたい。ここで、情報１４２は、ビットストリーム内のスライスアドレス１２４'の順序に従うスライスアドレスの明示的なシグナリングである。再び、スライス１０８および対応するスライス部分１２６は、抽出プロセスで引き継がれるので、抽出されたビデオデータストリーム１３６の順序は、これらのスライス部分１２６がビデオデータストリーム１２４'に含まれた順序に対応する。後続の構文の例によれば、情報１４２は、第２のスライスまたはスライス部分１２６以降で始まる方法でスライスアドレスを明示的に通知する。図１の場合、この明示的なシグナリングは、リスト｛２、４、８｝を示すまたはシグナリングする第２の情報１４２に対応するであろう。この実施形態の例示的な構文は、図３の構文の例に示されており、ハイライトによって、［２］から知られているＭＣＴＳ抽出情報ＳＥＩに加えて、明示的なシグナリング１４２の対応する追加を示す。
【0041】
セマンティックスは以下に示されている。
【0042】
num＿associated＿slices＿minus2 [i] + 2は、リストmcts＿identifier [i] [j]の任意の値に等しいmcts識別子を持つＭＣＴＳを含むスライスの数を示す。num＿extraction＿info＿sets＿minus1 [i]の値は、０から２32－２の範囲内でなければならない。
【0043】
output＿slice＿address [i] [j]は、mcts識別子がリストmcts＿identifier [i] [j]内の任意の値に等しいＭＣＴＳに属するビットストリーム順にｊ番目のスライスのスライスアドレスを識別する。output＿slice＿address [i] [j]の値は、０～２32－２の範囲内でなければならない。
【0044】
ＭＣＴＳ抽出情報ＳＥＩ内の情報１４２の存在、またはＭＴＣＳ関連情報１４０に加えて、データストリーム内のフラグによって制御できることに留意されたい。このフラグには、slice＿reordering＿enabled＿flagなどの名前を付けることができる。設定すると、情報１４０に加えて、num＿associated＿slices＿minus２やoutput＿slice＿addressなどの情報１４２が存在し、そうでない場合、情報１４２は存在せず、スライスの相互位置配置は抽出プロセスで順守されるか、そうでなければ処理される。
【0045】
さらに、Ｈ．２６５／ＨＥＶＣの命名法を使用すると、図３で使用されている構文要素名の「＿segment＿」の部分を代わりに「＿segment＿address＿」に置き換えることもできるが、技術内容は同じである点に注意すべきである。
【0046】
そしてさらに、num＿associated＿slices＿minus2は情報１４２がセクション１１０内のスライスの数を２の差の形でこの数を示す整数の形で示すことを示唆しているが、セクション１１０内のスライスの数は、データストリームで直接または１との差としてシグナリングすることもできることに注意すべきである。後者の場合、たとえば、代わりにnum＿associated＿slices＿minus1が構文要素名として使用されるであろう。任意のセクション１１０内のスライスの数は、たとえば、１つにすることもできることに注意すべきである。
【0047】
［２］でこれまで予想されていたＭＣＴＳ抽出プロセスに加えて、追加の処理ステップは、図３で具体化されているように、情報１４２による明示的な信号化に関連付けられている。これらの追加の処理ステップは、抽出装置１３４によって実行される抽出プロセス内のスライスアドレスの導出を容易にし、この抽出プロセスの以下の概要は、促進が行われる場所について下線を引いて示している。
【0048】
ビットストリームinBitstream 、ターゲットMCTS識別子mctsIdTarget 、ターゲットMCTS抽出情報セット識別子mctsEISIdTarget 、およびターゲット最高TemporalId値mctsTIdTargetをサブビットストリームＭＣＴＳ抽出プロセスへの入力とする。サブビットストリームＭＣＴＳ抽出プロセスの出力は、サブビットストリームoutBitstreamである。この節でビットストリームと共に指定されたプロセスの出力である任意の出力サブビットストリームは、適合ビットストリームであることが、出力ビットストリームのビットストリーム適合性の要件である。
【0049】
出力サブビットストリームは次のように導出される。
－ ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
－ mBitsTIdTargetより大きいTemporalIdを持つすべてのＮＡＬユニットをoutBitstreamから削除する。
－ outBitstreamの各アクセスユニットユニットの残りの各ＶＣＬ ＮＡＬについて、次のようにスライスセグメントヘッダーを調整する。
－ 最初のＶＣＬ ＮＡＬユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に設定する。それ以外の場合は０に設定する。
－ リストoutput＿slice＿address [i] [j]に従って、ビットストリーム順で２番目から始まる最初以外のＮＡＬユニット（スライス）のslice＿segment＿addressの値を設定する。
－ ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
－ mBitsTIdTargetより大きいTemporalIdを持つすべてのＮＡＬユニットをoutBitstreamから削除する。
－ outBitstreamの各アクセスユニットユニットの残りの各ＶＣＬ ＮＡＬについて、次のようにスライスセグメントヘッダーを調整する。
－ 最初のＶＣＬ ＮＡＬユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に設定する。それ以外の場合は０に設定する。
－ リストoutput＿slice＿address [i] [j]に従って、ビットストリーム順で２番目から始まる最初以外のＮＡＬユニット（スライス）のslice＿segment＿addressの値を設定する。
【0050】
図１から３に関して説明した実施形態の変形例は、スライスアドレスの明示的な信号化として情報１４２を使用することにより、抽出装置１３４によって実行されるスライスアドレス決定および抽出プロセスの厄介なタスクを軽減した。図３の特定の例によれば、情報は、データストリーム１２４'からデータストリーム１３６へセクション１１０内のスライス１０８に関係するスライス部分１２６を引き継ぐ際にスライス順序を維持しながら、単にスライス部分順序で２番目以降のスライス部分１２６ごとに代替スライスアドレス１４３を含む。スライスアドレスの置換は、それぞれビデオ１３８の画像１４４の画像領域での１次元スライスアドレスの割り当てに関連している。順序１１２を使用し、引き継がれたスライス部分のシーケンスから得られたスライス１０８のシーケンスを使用して順序１１２に沿って画像１４４の画像領域を単に舗装することと競合しない。明示的な信号化は、第１のスライスアドレス、すなわち、第１のスライス部分１２６のスライスアドレスにも適用できることに留意すべきであり、また以下でさらに言及されるであろう。後者の場合でも、情報１４２に代替１４３が含まれている可能性がある。情報１４２についてのそのような信号化はまた、ストリーム１２４'内の順序で、最初に対応するスライス１０８の配置を可能にし得る。セクション１１０内のスライス１０８を運ぶスライス部分（複数）１２６のうちのスライス部分（単数）１２６は、図１に示すように、左上の画像コーナーであり得る符号化順序１１２の開始位置以外のどこかにある。断面領域１１０ａおよび１１０ｂの再配置において、そのような可能性が存在するかまたは許可される場合には、スライスアドレスの明示的なシグナリングを使用して、自由度を高めることができる。例えば、図３に示される例を変更する際、情報１４２は、データストリーム１３６内の第１のスライス部分１２６、すなわち図２の場合のαおよびβについてのスライスアドレス置換１４３も明示的に通知する。次に、信号化１４２は、ビデオ１３８の出力画像内のセクション領域１１０ａおよび１１０ｂの２つの許可されたまたは利用可能な配置、すなわち、セクション領域１１０ａが画像の左側に配置されるものを区別することを可能にする。これにより、符号化順序１１２の開始位置でデータストリーム１３６内の最初に送信されたスライス部分１２６に対応するスライス１０８が残り、そして、ビデオデータストリーム１２４に関する限り、ビデオ１２０の画像１００のスライス順序と比較してスライス１０８の間の順序を維持する。そしてセクション領域１２０ａが画像１４４の右側に配置され、これにより、符号化順序１０６によってビデオデータストリーム１２４内の元のビデオで同じスライスがトラバースされる順序と比較して、符号化順序１１２によってトラバースされる画像１４４内のスライス１０８の順序が変更される。信号化１４２は、抽出装置１３４による補正に使用されるスライスアドレスを、ビデオデータストリーム１２４'内のスライス部分１２６に順序付けられた、または割り当てられたスライスアドレス１４３のリストとして明示的に示す。すなわち、情報１４２は、セクション１１０内の各スライスのスライスアドレスを、これらのスライス１０８が符号化順序１０６によってトラバースされる順序で連続的に示し、そして、この明示的な信号化は、セクション１１０のセクション領域１１０ａおよび１１０ｂが、元の符号化順序１０６によってトラバースされた順序と比較して、順序１１２によってトラバースされる順序を変更するような置換をもたらす可能性がある。ストリーム１２４'からストリーム１３６に引き継がれたスライス部分１２６は、それに応じて抽出装置１３４によって再順序付けされる、すなわち、抽出されたスライス部分１２６のスライス１０８が順序１１２によって連続的に横断される順序に適合するようにされる。ビデオデータストリーム１２４'から引き継がれたスライス部分１２６に従って、縮小または抽出されたビデオデータストリーム１３６の標準適合性は、符号化順序１１２に沿って互いに厳密に従う必要がある。つまり、抽出プロセスで抽出装置１３４によって修正されるように単調に増加するスライスアドレスαおよびβで維持される。したがって、抽出装置１３４は、符号化順序１１２に沿ってそこに符号化されたスライス１０８の順序に従って引き継がれたスライス部分１２６を順序付けるように、引き継がれたスライス部分１２６間の順序を修正する。
【0051】
後者の実施形態、すなわち、引き継がれたスライス部分１２６のスライス１０８を再配置する可能性は、図２の説明のさらなる変形例に従って活用される。ここで、第２の情報１４２は、セクション１１０内の任意のスライス１０８に符号化されたスライス部分１２６間の順序の再配置をシグナリングする。スライス部分の再配置をもたらす方法での明示的なシグナリングスライスアドレス置換１４３は、この現在説明されている実施形態の１つの可能性である。しかし、抽出または縮小されたビデオデータストリーム１３６内のスライス部分１２６の再配置は、異なる方法で情報１４２によって通知されてもよい。本実施形態は、最終的にデコーダ１４６で符号化順序１１２に厳密に沿ってスライス部分１２６から再構成された再構成スライスを配置し、これは、例えばタイルラスタースキャン順序を使用することになり、それにより画像１４４の画像領域を満たす。信号化１４２によって通知される再配置は、抽出されたまたは引き継がれたスライス部分１２６の間の順序を再配置または変更するように選択され、デコーダ１４６による配置により、領域１１０ａおよび１１０ｂなどの区分領域がスライス部分の順序を変更しない場合と比較して、順序を変更する可能性がある。情報１４２によってシグナリングされた再配置が元のデータストリーム１２４'にあった順序を残す場合、部分領域１１０ａおよび１１０ｂは、画像１１０の元の画像領域にあった相対位置を維持することができる。
【0052】
現在の変形例を説明するために、図４を参照する。図４は、元のビデオの画像１１０と、抽出されたビデオの画像１４４の画像領域を示している。さらに、図４は、タイル１０４への例示的なタイル分割、および２つのばらばらの断面領域またはゾーン１１０ａおよび１１０ｂ、すなわち画像１１０の反対側１５０rおよび１５０lに当接する断面領域１１０ａおよび１１０ｂからなる例示的な抽出セクション1１１０を示す。ここで、辺１５０rおよび１５０lの抽出方向に関する限り、すなわち垂直方向に沿ってそれらの位置が一致する。特に、図４は、画像１１０の画像コンテンツ、したがって画像１１０が属するビデオが特定のタイプ、すなわちパノラマビデオであることを示している。したがって、側面１５０rおよび１５０lは、３Ｄシーンを画像１１０の画像領域に投影する際にシーンを形成する。画像１１０の下で、図４は、抽出されたビデオの画像１４４の出力画像領域内にセクション１１０ａおよび１１０ｂを配置する方法の２つのオプションを示している。繰り返しになるが、図４では２つのオプションを説明するためにタイル名が使用されている。２つのオプションは、ビデオ２１０が２つの領域１１０ａおよび１１０ｂのそれぞれに関して外部から独立して行われるような方法でストリーム１２４に符号化された結果である。図４に示した２つの許容される選択肢に加えて、ゾーン１１ａおよび１１０ｂの各々が２つのタイルに細分化され、その各タイル内で順番に、ビデオが外部から独立してストリーム１２４に符号化される場合、すなわち、図４の各タイルがそれ自体で抽出可能な部分または独立して符号化された（空間的および時間的相互依存性に関して）部分である場合、さらに２つのオプションがあり得ることに留意されたい。次に、２つのオプションは、セクション１１０のタイルａ、ｂ、ｃ、ｄを異なるようにスクランブルすることに対応する。
【0053】
再び、図４に関して今説明されている実施形態は、スライス１０８またはスライス１０８を運ぶデータストリーム１２４'のＮＡＬユニットが、順序を変更する第２の情報１４２を有することを目的とし、抽出装置１３４による抽出プロセス中に、データストリーム１２４'から抽出または縮小ビデオデータストリーム１３６に向けて転送または採用または書き込まれる。図４は、所望の画像サブセクション１１０が、画像１１０が広がる画像平面内の当接しないタイルまたはセクション領域１１０ａおよび１１０ｂからなる場合を示している。画像１１０のこの完全な符号化された画像平面は、タイルａ、ｂ、ｃおよびｄを含む２つの長方形１１０ａおよび１１０ｂからなる所望のＭＣＴＳ１１０を有するタイル状の境界を有する図４の上部に示される。シーンコンテンツに関する限り、または図４に示すビデオコンテンツがパノラマビデオコンテンツであるという事実により、画像１１０が、ここでは例示的に示した等角投影法により３６０°にわたってカメラの周囲を覆っているとき、所望のＭＣＴＳ１１０は左右の境界１５０rおよび１５０lの周りを包む。換言すれば、画像コンテンツがパノラマコンテンツである図４の例に起因して、出力画像１４４の画像エリア内のセクション領域１１０ａおよび１１０ｂの配置のオプション１および２のうち、第２のオプションは実際により理にかなっている。しかしながら、画像コンテンツがパノラマ以外の別のタイプである場合、状況は異なる可能性がある。
【0054】
換言すれば、完全な画像ビットストリーム１２４'におけるタイルＡ、Ｂ、ＣおよびＤの順序は｛ａ、ｂ、ｃ、ｄ｝である。この順序が、抽出または縮小されたビデオデータストリーム１３６の符号化順序、または出力画像１４４の対応するタイルの配置に単純に転送される場合、図４の左下に示されるように、抽出プロセスは、上記の例示的なケース自体では、出力ビットストリーム１３６内に望ましいデータ配置をもたらさない。図４の右下に示すように、好ましい配置｛ｂ、ａ、ｄ、ｃ｝が示され、それは、デコーダ１４６などのレガシーデバイスのためのピクチャ１４４の画像平面上で連続的な画像コンテンツをもたらすビデオビットストリーム１３６をもたらす。そのようなレガシーデバイス１４６は、復号化後のピクセルドメインにおける後処理ステップとして、出力画像１４４のサブ画像領域を再配置する能力を有さない場合がある。つまり、レンダリング、および洗練されたデバイスでさえ、後処理の労力を避けることを好む場合がある。
【0055】
したがって、図４に関して上記の動機付けられた例によれば、第２の情報１４２は、ビデオデータストリームジェネレータ１２８の符号化側に、いくつかの選択またはオプションの中で好ましい順序を信号で伝える手段をそれぞれ提供する。例えば、ビデオデータストリーム１２４'内のそれぞれ１つ以上のタイルのセットで構成されるセクション領域１１０ａ、１１０ｂは、抽出または縮小されたビデオデータストリーム１３６またはその画像１４４が跨るその画像領域に配置されるべきである。図５に提示された特定の構文例によれば、第２の情報１４２は、データストリーム１２４'に符号化されたリストを含み、そして、抽出されたビットストリーム内のセクション１１０に入る各スライス１０８の位置を、元のビットストリーム順または入力ビットストリーム順、すなわち、ビットストリーム１２４'での発生順で示している。たとえば、図４の例では、優先オプション２は｛１、０、３、２｝を読み取るリストになる。図５は、ＭＣＴＳ抽出情報セットＳＥＩメッセージ内に第２の情報１４２を含む構文の具体例を示している。
【0056】
セマンティクスは次のようになる。
【0057】
num＿associated＿slices＿minus1 [i]プラス１は、リストmcts＿identifier [i] [j]の任意の値に等しいmcts識別子を持つＭＣＴＳを含むスライスの数を示す。num＿extraction＿info＿sets＿minus1 [i]の値は、０から２３２－２の範囲内でなければならない。
【0058】
output＿slice＿address[i] [j]は、出力ビットストリームにおけるmcts識別子がリストmcts＿identifier [i] [j]内の任意の値に等しいＭＣＴＳに属するビットストリーム順にj番目のスライスの絶対的な位置を識別する。output＿slice＿address [i] [j]の値は、０からから２23－２の範囲にある。
【0059】
[2]で定義された抽出プロセスの追加の処理ステップを次に説明し、図５のシグナリングの実施形態の理解を容易にする。[2]に関連する追加は、下線で強調表示される。
【0060】
ビットストリームinBitstream、ターゲットＭＣＴＳ識別子mctsldTarget、ターゲットＭＣＴＳ抽出情報セット識別子mctsEISIdTarget およびターゲット最高TemporalId値mctsTldTargetをサブビットストリームＭＣＴＳ抽出プロセスへの入力とする。サブビットストリームＭＣＴＳ抽出プロセスの出力は、サブビットストリームoutBitstreamである。この節でビットストリームとともに指定されたプロセスの出力である出力サブビットストリームは、適合ビットストリームであることが、入力ビットストリームのビットストリーム適合性の要件である。
【0061】
OutputSliceOrder [j]は、i番目の抽出情報セットのリストoutput＿slice＿order [i] [j]から派生する。
【0062】
出力サブビットストリームは、次のように導出される。
－ ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
[...]
－ mBitsTIdTargetより大きいTemporalIdを持つすべてのＮＡＬユニットをoutBitstreamから削除する。
－ リストOutputSliceOrder [j]に従って各アクセスユニットのＮＡＬユニットをソートする。
－ outBitstreamの残りの各ＶＣＬ ＮＡＬユニットについて、スライスセグメントヘッダーを次のように調整する。
－ 各アクセスユニット内の最初のＶＣＬ ＮＡＬユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に設定する。それ以外の場合は０に設定する。
－ pps＿pic＿parameter＿set＿idがslice＿pic＿parameter＿set＿idと等しいＰＰＳで定義されたタイル設定に従って、slice＿segment＿addressの値を設定する。
－ ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
[...]
－ mBitsTIdTargetより大きいTemporalIdを持つすべてのＮＡＬユニットをoutBitstreamから削除する。
－ リストOutputSliceOrder [j]に従って各アクセスユニットのＮＡＬユニットをソートする。
－ outBitstreamの残りの各ＶＣＬ ＮＡＬユニットについて、スライスセグメントヘッダーを次のように調整する。
－ 各アクセスユニット内の最初のＶＣＬ ＮＡＬユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に設定する。それ以外の場合は０に設定する。
－ pps＿pic＿parameter＿set＿idがslice＿pic＿parameter＿set＿idと等しいＰＰＳで定義されたタイル設定に従って、slice＿segment＿addressの値を設定する。
【0063】
したがって、図５による図２の実施形態の上記の変形例を要約する。この変形は、第２の情報１４２は、スライスアドレスがどのように修正されるべきかに関して明示的に信号を送らないという点で、図３に関して上記で議論されたものと異なる。すなわち、第２の情報１４２は、上で概説した変形例に従って、データストリーム１２４からデータストリーム１３６に抽出されたスライス部分のスライスアドレスの代替を明示的にシグナリングしない。むしろ、図５の実施形態は、第１の情報１４０が画像１００の画像領域内の空間セクション１１０を定義する場合に関し、少なくとも、第１の部分領域１００ａの外側から独立したビデオがビデオデータストリーム１２４'に符号化される第１の部分領域、および第２の部分領域１１０ｂから構成されるものとして、その中で、ビデオ１２０は、第２の部分領域１１０ｂの外部から独立したビデオデータストリーム１２４'に符号化される。複数のスライス１０８のいずれも、第１および第２の部分領域１１０ａおよび１１０ｂのいずれの境界とも交差しない。少なくともこれらの領域１１０ａおよび１１０ｂの単位で、抽出されたビデオデータストリーム１３６の出力ビデオ１３８の画像１４４は、異なるように構成され得る。このように、２つのオプションに従って、かつ図５に関して上で議論された変形例に従って、第２の情報１４２は、スライス部分の順序とビデオデータストリーム１２４'に関連しているビデオデータストリーム１２４'から縮小ビデオデータストリーム１３６を抽出する際に領域１１０に位置するスライス１０８のスライス部分１２６をどのように再ソートするかを示す再ソート情報を通知する。再ソート情報１４２は、例えば、１つまたは複数の構文要素のセットを含むことができる。情報１４２を形成する１つまたは複数の構文要素によってシグナリングされる可能性のある状態の中には、再ソートが元の順序を維持する状態があり得る。例えば、情報１４２は、領域１１０に入る画像１００のスライス１０８の１つを符号化する各スライス部分１２６のランク（図５の１４１と比べて）を通知し、そして、抽出装置１３４は、これらのランクに従って、抽出または縮小されたビデオデータストリーム１３６内のスライス部分１２６を並べ替える。
次に、抽出装置１３４は、以下の方法で、縮小または抽出されたビデオデータストリーム１３６内のこのように再構成されたスライス部分１２６のスライスアドレスを修正する。抽出装置１３４は、データストリーム１２４'からデータストリーム１３６に抽出されたビデオデータストリーム１２４'内のこれらのスライス部分１２６について知っている。したがって、抽出装置１３４は、画像１００の画像領域内のこれらの引き継がれたスライス部分１２６に対応するスライス１０８について知っている。情報１４２によって提供される再配置情報に基づいて、抽出装置１３４は、ビデオ１３８の画像１４４に対応する長方形の画像領域をもたらすように、どのように部分領域１１０ａおよび１１０ｂが相互に平行移動して相互にシフトされたかについて決定することができる。例えば、図４、オプション２の例では、抽出装置１３４は、スライスアドレス０が第２の情報１４２で提供されるランクのリストの第２の位置で発生するとき、タイルアドレスｂに対応するスライスにスライスアドレス０を割り当てる。したがって、抽出装置１３４は、タイルｂに関連する１つまたは複数のスライスを配置し、次いで、再ソート情報に従って、位置を指すスライスアドレスに関連付けられている次のスライスを追跡することができ、符号化順序１１２は、画像領域のタイルｂの直後に続く。図４の例では、これはタイルａに関するスライスである。これは、画像１００の領域１１０の最初のスライスａに対して次のランク付けされた位置が示されているためである。換言すると、再ソートは、部分領域１１０ａおよび１１０ｂの可能な再配置のいずれかにつながるように制限されている。各部分領域について、個々に、符号化順序１０６および１１２が同じ経路内のそれぞれの部分領域を横断することは事実である。しかし、タイリングにより、画像１４４の画像領域の部分領域１１０ａおよび１１０ｂに対応する領域が、つまり、オプション２の場合、一方のタイルｂとｄの組み合わせの領域と、他方のタイルＡとＣの組み合わせの領域は、符号化順序１１２によってインターリーブ方式でトラバースされ、それに応じて、対応するタイルにあるスライスを符号化する関連スライス部分１２６は、抽出または縮小されたビデオストリーム１３６内でインターリーブされる。
次に、抽出装置１３４は、以下の方法で、縮小または抽出されたビデオデータストリーム１３６内のこのように再構成されたスライス部分１２６のスライスアドレスを修正する。抽出装置１３４は、データストリーム１２４'からデータストリーム１３６に抽出されたビデオデータストリーム１２４'内のこれらのスライス部分１２６について知っている。したがって、抽出装置１３４は、画像１００の画像領域内のこれらの引き継がれたスライス部分１２６に対応するスライス１０８について知っている。情報１４２によって提供される再配置情報に基づいて、抽出装置１３４は、ビデオ１３８の画像１４４に対応する長方形の画像領域をもたらすように、どのように部分領域１１０ａおよび１１０ｂが相互に平行移動して相互にシフトされたかについて決定することができる。例えば、図４、オプション２の例では、抽出装置１３４は、スライスアドレス０が第２の情報１４２で提供されるランクのリストの第２の位置で発生するとき、タイルアドレスｂに対応するスライスにスライスアドレス０を割り当てる。したがって、抽出装置１３４は、タイルｂに関連する１つまたは複数のスライスを配置し、次いで、再ソート情報に従って、位置を指すスライスアドレスに関連付けられている次のスライスを追跡することができ、符号化順序１１２は、画像領域のタイルｂの直後に続く。図４の例では、これはタイルａに関するスライスである。これは、画像１００の領域１１０の最初のスライスａに対して次のランク付けされた位置が示されているためである。換言すると、再ソートは、部分領域１１０ａおよび１１０ｂの可能な再配置のいずれかにつながるように制限されている。各部分領域について、個々に、符号化順序１０６および１１２が同じ経路内のそれぞれの部分領域を横断することは事実である。しかし、タイリングにより、画像１４４の画像領域の部分領域１１０ａおよび１１０ｂに対応する領域が、つまり、オプション２の場合、一方のタイルｂとｄの組み合わせの領域と、他方のタイルＡとＣの組み合わせの領域は、符号化順序１１２によってインターリーブ方式でトラバースされ、それに応じて、対応するタイルにあるスライスを符号化する関連スライス部分１２６は、抽出または縮小されたビデオストリーム１３６内でインターリーブされる。
【0064】
さらなる実施形態は、既存の構文を使用してシグナリングされるさらなる順序が好ましい出力スライス順序を反映するという保証をシグナリングすることである。より具体的には、ＭＣＴＳ抽出ＳＥＩメッセージ［２］の発生を、タイル／ＮＡＬユニットの優先出力順序を示す［１］のセクションＤ．２．２９およびＥ．２．２９からのＭＣＴＳ ＳＥＩメッセージでＭＣＴＳを形成する長方形の順序を保証するものとして解釈することにより、この実施形態を実施することができる。図５の具体例では、含まれるタイルごとに｛ｂ、ａ、ｄ、ｃ｝の順序で長方形が使用される。この実施形態の例は、OutputSliceOrder [j] の導出を除いて、上記のものと同一であろう。
【0065】
OutputSliceOrder [j] は、ＭＣＴＳ ＳＥＩメッセージで通知された長方形の順序から導出される。
【0066】
上記の例を要約すると、第２の情報１４２は、スライス部分１２６がビデオデータストリーム１２４'のスライス部分１２６のシーケンスでどのように順序付けられているかに関して、ビデオデータストリームから縮小されたビデオデータストリーム１３６を抽出する際に空間セクション１１０に入るスライスのスライス部分１２６をどのように再ソートするかを抽出装置１３４に信号で伝えることができる。ビデオデータストリーム１２４'のスライス部分のシーケンスの各スライス部分１２６のスライスアドレスは、第１の符号化走査順序１０６に沿って各スライス部分１２６にエンコードされたスライス１０８の符号化開始位置を一次元的にインデックス付けし、そしてそれは、画像領域を横断し、それに沿って画像１００がビデオデータストリームのスライス部分のシーケンスに符号化されている。これにより、ビデオデータストリーム１２４'内の一連のスライス部分のスライスアドレスは単調に増加し、ビデオデータストリーム１２４'からの縮小ビデオデータストリーム１３６の抽出におけるスライスアドレスの修正は、縮小ビデオデータストリーム１３６が閉じ込められたスライス部分に符号化されたスライスであって、第２の情報１４２によってシグナリングされるように再並び替えされたスライスを順次配置することによって定義される、縮小されたピクチャ領域を横断する第２の符号化走査順序１１２に沿って、スライス部分１２６のスライスアドレスを、第２の符号化走査順序１１２に沿って測定されたスライスの符号化開始位置を索引付けするように設定する。
第１の符号化走査順序１０６は、各空間領域が第２の符号化走査順序１１２によって横断される方法に一致する方法で、少なくとも２つの区分領域のセットの各々内の画像領域を横断する。少なくとも２つの区分領域のセットのそれぞれは、第１の情報１４０によって、画像１００が細分化される行および列への長方形タイルのサブアレイとして示され、そこで、第１および第２の符号化走査順序は、次のタイルに進む前に現在のタイルを完全に横断する行方向のタイルラスタースキャンを使用する。
第１の符号化走査順序１０６は、各空間領域が第２の符号化走査順序１１２によって横断される方法に一致する方法で、少なくとも２つの区分領域のセットの各々内の画像領域を横断する。少なくとも２つの区分領域のセットのそれぞれは、第１の情報１４０によって、画像１００が細分化される行および列への長方形タイルのサブアレイとして示され、そこで、第１および第２の符号化走査順序は、次のタイルに進む前に現在のタイルを完全に横断する行方向のタイルラスタースキャンを使用する。
【0067】
すでに上記で説明したように、出力スライスの順序は、上記のoutput＿slice＿address [i] [j]などの別の構文要素から導出できる。この場合のoutput＿slice＿address [i] [j]に関する上記の構文例への重要な追加は、ソートを有効にする最初のものを含むすべての関連スライスのスライスアドレスが通知されることである。この実施形態の例は、OutputSliceOrder [j]の導出を除いて、上記のものと同一であろう。
【0068】
OutputSliceOrder [j]／OutputSliceOrder [j] は、ｉ番目の抽出情報セットのリストoutput＿slice＿address [i] [j]から派生する。
【0069】
さらに別の実施形態は、ビデオコンテンツが画像境界のセット、例えば、垂直方向の画像の境界など画像境界でラップアラウンドすることを示す情報１４２上の単一のフラグからなる。よって、出力順序は、前述のように両方の画像境界上のタイルを含む画像サブセクションに対応する抽出装置１３４で導出される。換言すれば、情報１４２は、２つのオプションのうちの１つを通知することができる。複数のオプションの第１のオプションは、ビデオがシーンの異なる画像のエッジ部分が互いに当接するようにシーンを示すパノラマビデオであることを示し、そして、複数のオプションのうちの第２のオプションは、異なるエッジ部分が互いにシーン的に当接していないことを示す。セクション１１０が構成される少なくとも２つのセクション領域ａ、ｂ、ｃ、ｄは、異なるエッジ部分の異なる部分、すなわち、左および右エッジ１５０ｒおよび１５０ｌに当接する第１および第２のゾーン１１０ａ、１１０ｂから構成され、そのため、第２の情報１４２が第１のオプションを通知する場合、縮小された画像領域は、少なくとも２つの部分領域のセットを組み合わせて構成され、第１のゾーンと第２のゾーンが異なるエッジ部分に沿って当接し、そして、第２の情報１４２が第２のオプションを通知する場合、縮小された画像領域は、少なくとも２つの部分領域のセットを組み合わせることにより構成され、第１および第２のゾーンは、互いに反対側を向いた異なるエッジ部分を有する。
【0070】
完全を期すためだけに、画像１４４の画像領域の形状は、図１の（ａ、ｃ、ｂ、ｄ）などの接続されたクラスターの相対的な配置を維持する方法で一緒にセクション１１０のタイルａ、ｂ、ｃおよびｄなどの様々な領域をつなぎ合わせることに適合するように制限されないことに留意すべきであり、あるいは、図２のゾーン（ａ、ｃ）および（ｂ、ｄ）を水平方向につなぎ合わせるなど、最短距離で可能な相互接続する方向に沿ってこのようなクラスターをつなぎ合わせる。むしろ、たとえば、図１では、抽出されたデータストリームの画像の画像領域は４つの領域すべての列である可能性があり、図２では４つの領域すべての行の列で可能性がある。一般に、ビデオ１３８の画像１４４の画像領域のサイズと形状は、データストリーム１２４'の異なる部分に存在することができる。例えば、この情報は、ストリーム１２４'からセクション固有のサブストリーム１３６を抽出する際に、パラメータセットの適応に関して抽出装置１３４の抽出プロセスをガイドすることを目的とするように、情報１４０内の１つ以上のパラメータの形で与えられ得る。ストリーム１２４'のパラメータセットを置き換えるネストされたパラメータセットは、たとえば、情報１４０に含まれ、このパラメータセットには以下が含まれる。例えば、画像のサイズに関連するパラメータは、たとえばピクセル単位で画像１４４のサイズと形状を示し、抽出装置１３４での抽出中にストリーム１２４'のパラメータセットを置き換えると、画像１００のサイズを示すパラメータセット内の古いパラメータが上書きされる。しかしながら、追加的または代替的に、画像１４４の画像サイズが情報１４２の一部として示されることもあり得る。情報１４２のようなすぐに読みやすい高レベル構文要素でピクチャ１４４の形状を明示的にシグナリングすることは、スライスアドレスが情報１４２で明示的に提供されない場合に特に有利であるかもしれない。アドレスを導出するために、入れ子化されたパラメータセットを解析することが必要となる。
【0071】
また、より洗練されたシステム設定では、３次投影を使用できることにも注意する必要がある。この投影法は、サンプリング密度が大きく変化するなど、正距円筒図法の既知の弱点を回避する。ただし、３次投影を使用する場合、コンテンツ（またはそのサブセクション）から連続ビューポートを再作成するには、レンダリングステージが必要である。このようなレンダリング段階では、複雑さと機能のトレードオフが異なる場合があるけれども、つまり、いくつかの実行可能な既製のレンダリングモジュールは、コンテンツ（またはそのサブセクション）の所定の配置を期待する場合がある。このようなシナリオでは、次の発明で可能になるように配置を操作する可能性が不可欠である。
【0072】
以下において、本願の第２の態様に関連する実施形態が説明される。本出願の第２の態様の実施形態の説明は、これらの実施形態によって想定され対処される一般的な問題または問題への簡単な紹介から再び始まる。
【0073】
３６０°ビデオに限定されないコンテキストでのＭＣＴＳ抽出の興味深い使用例は、図６に示すように、画面上で隣り合うコンテンツの複数の解像度のバリエーションを含む複合ビデオである。図６の下部は、複数の解像度を備えた構成ビデオ３００を示し、線３０２は、対応するデータストリームに符号化するために高解像度ビデオ３０６および低解像度ビデオ３０８の構成が細分化されたタイル３０４のタイル境界を示す。
【0074】
より正確には、図６は、３０６での高解像度ビデオの画像と、３０８での低解像度ビデオの同時時間画像などの画像を示している。例えば、ビデオ３０６と３０８の両方は、まったく同じシーンを示している、すなわち、同じ図または視野を持っているが、解像度は異なる。しかしながら、視野は、部分的にのみ互いに代替的に重なり合う場合があり、オーバーラップゾーンでは、空間解像度は、ビデオ３０８と比較してビデオ３０６の写真のサンプル数が異なることを示す。実際には、ビデオ３０６と３０８は忠実度、すなわち、同じシーンセクションのサンプル数またはピクセル数が異なる。ビデオ３０６と３０８の同じ場所にある写真は、横に並んで大きな写真に合成され、合成ビデオ３００の写真になる。たとえば、図６は、ビデオ３０８の画像が水平方向に半分になることを示していて、２つの半分は上下に重なっており、対応するビデオ３００が得られるように、ビデオ３０６の同時時間画像の右側に添付される。タイル３０４は、一方ではビデオ３０６の高解像度画像と、他方では低解像度ビデオ３０８から生じる画像コンテンツとの間の接合部を横切らないように実行される。図６の例では、画像３００のタイリングにより、ビデオ３００の画像の高解像度画像コンテンツが分割される８×４タイルと、低解像度ビデオ３０８に由来する各半分が分割される２×２タイルになる。全体として、ビデオ３００の画像の幅は１０×４である。
【0075】
そのような複数の解像度の合成ビデオ３００が適切な方法によりＭＣＴＳで符号化される場合、ＭＣＴＳ抽出は、コンテンツの変形３１２を生成することができる。そのような変形例３１２は、例えば、図７に示すように、所定のサブピクチャ３１０ａを高解像度で、シーンの残りまたは別のサブセクションを低解像度で描くように設計することができ、そこで、複合画像ビットストリーム内のＭＣＴＳ３１０は、３つの側面または別個の領域３１０ａ、ｂ、ｃと比較される。
【0076】
すなわち、抽出されたビデオの画像、すなわち画像３１２は、ＭＣＴＳ領域３１０ａ、ｂ、ｃの１つにそれぞれ対応する３つのフィールド３１４ａ、３１４ｂおよび３１４ｃを有し、領域３１０ａは、画像３００の高解像度画像エリアのサブエリアであり、そして、他の２つの領域３１０ｂおよび３１０ｃは、画像３０８の低解像度ビデオコンテンツのサブ領域である。
【0077】
これを述べたので、図８に関して、本願の第２の態様に関する本願の実施形態を説明する。換言すれば、図８は、多重解像度コンテンツを受信者サイト、特に、受信サイトまで異なる解像度の複数バージョンの生成に参加している個々のサイトに提示するシナリオを示している。図８に示すプロセスパスに沿ってさまざまなサイトに配置された個々のデバイスとプロセスは、個々のデバイスと方法を表し、したがって、図８はシステムまたは方法全体のみを示すものとして解釈されるべきではないことに注意する必要がある。同様の記述は、同様に個々のデバイスと方法を示す図２に関しても当てはまる。これらすべてのサイトを１つの図にまとめて表示する理由は、これらの図に関して説明した実施形態から生じる相互関係と利点の理解を容易にするためだけである。
【0078】
図８は、ピクチャ３３４のビデオ３３２にエンコードされたビデオデータストリーム３３０を示している。一方、画像３３４は、高解像度ビデオ３３８の同時時間画像３３６と低解像度ビデオ３４２の画像３４０とをつなぎ合わせた結果である。より正確には、ビデオ３３８および３４２の画像３３６および３４０は、まったく同じビューポート３４４に対応するか、または重複領域で同じシーンを表示するように少なくとも部分的に重複する。ただし、対応する低解像度画像３４０と同じシーンコンテンツをサンプリングする高解像度ビデオ画像３３６のサンプル数はより多く、したがって、画像３３６の忠実度のシーン解像度は画像３４０のものよりも高い。ビデオ３３８および３４２に基づくコンポジションビデオ３３２の画像３３４の構成は、コンポーザ３４６によって実行される。コンポーザ３４６は、画像３３６と３４０をつなぎ合わせる。そうすることで、コンポーザ３４６は、コンポジションビデオ３３２の画像３３４の画像領域の有利なフィリングおよびパッチングをもたらすために、低解像度ビデオの画像３４０または高解像度ビデオ３３８の画像またはその両方を再分割することができる。次に、ビデオエンコーダ３４８は、合成ビデオ３３２をビデオデータストリーム３３０に符号化する。ビデオデータストリーム生成装置３５０は、ビデオデータストリーム３３０に、画像３３４、または各画像またはビデオ３３２を示す信号化３５２を提供するために、ビデオエンコーダ３４８に含まれるか、ビデオエンコーダ３４８の出力に接続されてもよく、または、ビデオ３３２内のピクチャの特定のシーケンス内の各ピクチャまたはビデオ３３２は、ビデオデータストリーム３３０に符号化されると、共通のシーンコンテンツを複数回、つまり互いに異なる解像度で異なる空間部分に表示する。これらの部分は、コンポーザ３４６によって行われた合成によってその起源を示すためにＨとＬを使用して図８に示されており、参照符号３５４および３５６を使用して示されている。画像３３２のコンテンツを形成するために２つ以上の異なる解像度バージョンがまとめられている可能性があり、それぞれ単に説明のためのものである図８および図６および図７に示されるように、２つのバージョンの使用に注意する必要がある。
【0079】
図８は、説明のために、ビデオデータストリーム３３０を受信するビデオデータストリームプロセッサ３５８を示している。ビデオデータストリームプロセッサ３５８は、例えば、ビデオデコーダであり得る。いずれにせよ、ビデオデータストリームプロセッサ３５８は、この信号化に基づいて、例えば、ビデオデータストリームプロセッサ３５８またはその下流に接続されたデバイスの特定の能力にさらに依存するビデオデータストリーム３３０の復号化など、ビデオデータストリームプロセッサ３５８が処理を開始すべきか否かを決定するために、信号化３５２を検査することができる。例えば、ビデオデータストリームプロセッサ３５８は、ビデオデータストリーム３３０に完全に符号化された画像３３２を単に提示することができるだけであり、次に、ビデオデータストリームプロセッサ３５８は、ビデオデータストリーム３３０の処理を拒否できる場合があり、その信号化３５２は、その個々の画像がこれらの個々の画像の異なる空間部分で異なる空間解像度で共通のシーンコンテンツを示すことを意味する。すなわち、信号化３５２は、ビデオデータストリーム３３０が多重解像度ビデオデータストリームであることを意味する。
【0080】
信号化３５２は、例えば、データストリーム３３０内で伝達されるフラグを含むことができ、フラグは第１の状態と第２の状態との間で切り替え可能である。第１の状態は、例えば、ちょうど概説した事実、すなわち、ビデオ３３２の個々の画像が異なるシーン解像度の同じシーンコンテンツの複数のバージョンを示すことを示し得る。第２の状態は、このような状況が存在しないことを示す。つまり、画像は１つの解像度で１つのシーンコンテンツのみを表示する。したがって、ビデオデータストリームプロセッサ３５８は、特定の処理タスクの実行を拒否するように、フラグ３５２が第１の状態にあることに応答するであろう。
【0081】
前述のフラグなどの信号化３５２は、そのシーケンスパラメータセットまたはビデオパラメータセット内のデータストリーム３３０内で伝達され得る。ＨＥＶＣでの将来の使用のために予約されている可能な構文要素は、以下の説明において可能な候補として例示的に特定されている。
【0082】
図６および７に関して上記で示したように、合成ビデオ３３２がタイルまたはタイルサブアレイなどの一組の互いに重複しない空間領域３６０の各々に関して、それぞれの空間領域３６０の外側から独立した符号化であるような方法でビデオデータストリーム３３０に符号化されていることは必要ではないが、あり得る。符号化非依存性は、図２に関して上記で説明したように、空間領域３６０間の境界を越えないように、空間的および時間的予測および／またはコンテキスト導出を制限する。したがって、例えば、符号化依存性は、ビデオ３３２の特定の画像３３４の特定の空間領域３６０の符号化を、画像３３４と同様に空間領域３６０に細分化された画像である画像３３２の別の画像３３４内の同じ場所にある空間領域のみを参照することができる。ビデオエンコーダ３４８は、ビデオデータストリーム３３０に、情報１４０または情報１４０と１４２の組み合わせなどの抽出情報を提供するか、装置１２８のようなそれぞれの装置をその出力に接続することができる。抽出情報は、図７の抽出セクション３１０などの抽出セクションとして、空間領域３６０の特定のまたはすべての可能な組み合わせに関連し得る。次に、信号化３５２は、ビデオ３３２の画像３３４の異なるシーン解像度のセクション３５４および３５６への空間的細分化、すなわち、画像３３２の画像領域内の各空間セクション３５４および３５６のサイズおよび位置に関する情報を含み得る。信号化３５２内のそのような情報に基づいて、ビデオデータストリームプロセッサ３５８は、例えば、ビデオストリーム３３０のおそらく抽出可能なセクションのリストから特定の抽出セクションを除外することができる。例えば、セクション３５４および３５６の異なるものに分割される空間領域３６０を混合するこれらの抽出セクションにより、異なる解像度を混合する抽出セクションに関するビデオ抽出のパフォーマンスを回避する。この場合、ビデオストリームプロセッサ３５８は、例えば、図２の抽出装置などの抽出装置を含むことができる。
【0083】
追加または代替として、信号化３３０は、ビデオ３３２の画像３３４が相互に共通のシーンコンテンツを示す異なる解像度に関する情報を含むことができる。さらに、信号化３５２は、ビデオ３３２の画像３３４が異なる画像位置で共通のシーンコンテンツを複数回示す異なる解像度のカウントを単に示すことも可能である。
【0084】
既に述べたように、ビデオデータストリーム３３０は、どのビデオデータストリーム３３０が抽出可能であるかに関する可能性のある抽出領域のリストに関する抽出情報を含むことができる。次に、信号化３５２は、これらの抽出領域の少なくとも１つ以上のそれぞれについて、共通のシーンコンテンツが各抽出領域内で最高の解像度で示される各抽出領域の部分領域のビューポート方向を示すさらなる信号化、および／または、各抽出領域の全体領域の内、共通のシーンコンテンツが各抽出領域内で最高の解像度で表示される各抽出領域の断面領域の面積シェア、および／または、各抽出領域の全体的な領域の内、共通のシーンコンテンツがそれぞれ相互に異なる解像度で示される部分領域への各抽出領域の空間的細分化を、含むことができる。
【0085】
したがって、そのようなシグナル伝達３５２は、ストリーミングシステムに容易にプッシュアップできるように、ビットストリームの高レベルで公開される場合がある。
【0086】
１つのオプションは、プロファイル層レベルの構文で一般に予約されているゼロＸビットフラグの１つを使用することである。フラグには、一般的な非多重解像度フラグとして名前を付けることができる。
【0087】
１に等しい一般的な非多重解像度フラグは、復号化された出力画像に、さまざまな解像度で同じコンテンツの複数のバージョンが含まれないことを指定する（つまり、地域パッキングなどの各構文が制約される）。０（ゼロ）に等しい一般的な非多重解像度フラグは、ビットストリームにそのようなコンテンツが含まれる可能性があることを指定する（つまり、制約なし）。
【0088】
それに加えて、したがって、本願発明は、完全なビットストリームコンテンツ特性の性質について、すなわち、構成におけるバリアントの数および解像度について通知するシグナリングで構成される。さらに、各ＭＣＴＳの以下の特性に関する符号化ビットストリームの情報を簡単にアクセスできる形式で提供する追加のシグナリング：
・メインビューポイントの方向：ＭＣＴＳ高解像度ビューポートセンターの向きは何か。たとえば、事前定義された初期ビューポートセンターからの（delta-yaw）ピッチ、および／またはロールの観点からである。
・全体的なカバレッジ
ＭＣＴＳで表される完全なコンテンツの割合。
・高から低の解像度比
ＭＣＴＳの高解像度領域と低解像度領域の間の比率、つまり、カバーされる全コンテンツのどれだけが高解像度／忠実度で表現されるか。
・メインビューポイントの方向：ＭＣＴＳ高解像度ビューポートセンターの向きは何か。たとえば、事前定義された初期ビューポートセンターからの（delta-yaw）ピッチ、および／またはロールの観点からである。
・全体的なカバレッジ
ＭＣＴＳで表される完全なコンテンツの割合。
・高から低の解像度比
ＭＣＴＳの高解像度領域と低解像度領域の間の比率、つまり、カバーされる全コンテンツのどれだけが高解像度／忠実度で表現されるか。
【0089】
ビューポートの向きまたは完全な全方向性ビデオの全体的なカバレッジのために提案されたシグナリング情報がすでに存在する。潜在的に抽出される可能性のあるサブ領域に同様のシグナリングを追加する必要がある。この情報はＳＥＩ［２］の形式であるため、ＳＥＩをネストするモーション制約付きタイルセット抽出情報に含めることができる。ただし、抽出するＭＣＴＳを選択するには、このような情報が必要である。ＳＥＩをネストするMotion-constrained（動きに制約があるモーション制約タイルセット）タイルセットの抽出情報を取得すると、追加の間接性が追加され、特定のＭＣＴＳを選択するためにより深い解析（ＳＥＩをネストするモーション制約のあるタイルセットの抽出情報には、抽出されたセットを選択するために必要のない追加情報が含まれている）が必要になる。設計の観点からは、抽出されたセットを選択するための重要な情報のみを含む中心点で、この情報またはそのサブセットを通知するのがよりクリーンなアプローチである。さらに、言及されたシグナリングにはビットストリーム全体に関する情報が含まれており、提案されているケースでは、どちらが高解像度のカバレッジであり、どちらが低解像度のカバレッジであるかをシグナリングすることが望ましいであろう。また、より多くの解像度が混在している場合は、各解像度のカバレッジと、混合解像度で抽出されたビデオのビューポートの向きである。
【0090】
一実施形態は、各解像度のカバレッジを追加し、［２］から３６０ ＥＲＰ ＳＥＩに追加することである。次に、このＳＥＩは、ＳＥＩをネストするMotion-constrainedタイルセット抽出情報に含まれる可能性があり、上記の面倒なタスクを実行する必要がある。
【0091】
別の実施形態では、抽出されるセットを選択するためにＭＣＴＳ抽出情報セットＳＥＩのみが必要とすることができるように、ＭＣＴＳ抽出情報セットＳＥＩ、例えば、議論されたシグナリングの存在を示す全方向性情報にフラグが追加される。
【0092】
いくつかの態様を装置の文脈で説明したが、これらの態様は対応する方法の説明も表し、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応するブロックまたはアイテムまたは対応する装置の機能の説明も表す。方法ステップの一部または全ては、たとえばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（または使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上をそのような装置によって実行することができる。
【0093】
本願発明のデータストリームは、デジタル記憶媒体に記憶することができ、または無線伝送媒体などの伝送媒体またはインターネットなどの有線伝送媒体で伝送することができる。
【0094】
特定の実装要件に応じて、本願発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装は、電子的に読み取り可能な制御信号が格納されたデジタル記憶媒体、たとえばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＲＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行することができ、その上で、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）。したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。
【0095】
本願発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0096】
一般に、本願発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するように動作する。プログラムコードは、例えば、機械読み取り可能な担体に保存されてもよい。
【0097】
他の実施形態は、機械読み取り可能な担体に格納された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。
【0098】
換言すれば、したがって、本願発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0099】
したがって、本願発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録したデータ担体（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データ担体、デジタル記憶媒体、または記録された媒体は、通常、有形および／または非一時的である。
【0100】
したがって、本願発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
【0101】
さらなる実施形態は、本明細書に記載の方法の１つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。
【0102】
さらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
【0103】
本願発明によるさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバーを備えてもよい。
【0104】
いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部またはすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するためにマイクロプロセッサと協働してもよい。一般に、これらの方法は、任意のハードウェア装置によって実行されることが好ましい。
【0105】
本明細書で説明する装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装することができる。
【0106】
本明細書に記載の装置、または本明細書に記載の装置の任意のコンポーネントは、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装されてもよい。
【0107】
本明細書で説明される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行され得る。
【0108】
本明細書で説明される方法、または本明細書で説明される装置の任意のコンポーネントは、ハードウェアおよび／またはソフトウェアによって少なくとも部分的に実行され得る。
【0109】
上述の実施形態は、本願発明の原理の単なる例示である。本明細書に記載の配置および詳細の修正および変更は、他の当業者には明らかであることを理解されたい。したがって、本明細書の実施形態の記述および説明として提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ制限されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-08-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
各スライス部分がビデオの画像の複数のスライスのうちのそれぞれのスライスを符号化しているスライス部分のシーケンスであって、前記各スライス部分は、それぞれの前記スライス部分が符号化している前記スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含む、スライス部分のシーケンスと、
前記ビデオストリームから縮小されたビデオデータストリームを抽出する際に用いられる抽出情報であって、前記縮小されたビデオデータストリームは前記ビデオデータストリームの前記ビデオの空間セクションに対応する空間的により小さいビデオを符号化しており、抽出には、前記ビデオデータストリームを前記空間セクション内の任意のスライスを符号化しているスライス部分に限定すること、および前記スライスアドレスを前記空間的により小さいビデオの縮小された画像領域に関連するように修正することを伴い、
前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、前記抽出情報はそれぞれ、
前記画像領域内の前記空間セクションを特定する第１の情報と、
前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるための代替スライスアドレスを明示的にシグナリングする第２の情報であって、前記代替スライスアドレスは前記縮小されたビデオデータストリーム内において、前記縮小された画像領域内における前記スライスが位置している場所を示す、第２の情報と
を含む、抽出情報と
を含み、
前記抽出情報は抽出情報セットの数を示す構文要素を含む、
ビデオデータストリームを記憶する非一時的デジタル記憶媒体。
前記ビデオストリームから縮小されたビデオデータストリームを抽出する際に用いられる抽出情報であって、前記縮小されたビデオデータストリームは前記ビデオデータストリームの前記ビデオの空間セクションに対応する空間的により小さいビデオを符号化しており、抽出には、前記ビデオデータストリームを前記空間セクション内の任意のスライスを符号化しているスライス部分に限定すること、および前記スライスアドレスを前記空間的により小さいビデオの縮小された画像領域に関連するように修正することを伴い、
前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、前記抽出情報はそれぞれ、
前記画像領域内の前記空間セクションを特定する第１の情報と、
前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるための代替スライスアドレスを明示的にシグナリングする第２の情報であって、前記代替スライスアドレスは前記縮小されたビデオデータストリーム内において、前記縮小された画像領域内における前記スライスが位置している場所を示す、第２の情報と
を含む、抽出情報と
を含み、
前記抽出情報は抽出情報セットの数を示す構文要素を含む、
ビデオデータストリームを記憶する非一時的デジタル記憶媒体。
【請求項2】
前記第１の情報は前記画像領域内の前記空間セクションを、多数の部分領域から成り、前記部分領域のそれぞれにおいて前記ビデオは各部分領域外とは独立して前記ビデオデータストリームに符号化されているものとして特定し、前記複数のスライスのうち、前記少なくとも２つの部分領域の境界を越えるものはない、請求項１に記載の非一時的デジタル記憶媒体。
【請求項3】
前記ビデオデータストリームの前記スライス部分のシーケンスの各スライス部分の前記スライスアドレスは、前記画像領域を横断する第１の符号化スキャン順序に沿って前記各スライス部分に符号化された前記スライスの符号化開始位置を１次元的にインデックス付けし、前記各スライス部分の前記スライスアドレスの置き換えのための前記代替スライスアドレスは、前記縮小された画像領域を横断する第２の符号化スキャン順序に沿って前記各スライス部分に符号化された前記スライスの符号化開始位置を１次元的にインデックス付けする、
請求項１に記載の非一時的デジタル記憶媒体。
請求項１に記載の非一時的デジタル記憶媒体。
【請求項4】
前記第２の情報は前記スライス部分の前記代替スライスアドレスを、前記スライス部分が前記ビデオデータストリーム内で生じる順番に従って順次提供する、請求項１に記載の非一時的デジタル記憶媒体。
【請求項5】
前記ビデオデータストリームに含まれる前記スライス部分のシーケンスは、前記空間セクション内のスライスを符号化したスライス部分と、前記空間セクション外のスライスを符号化したスライス部分とを含む、請求項１に記載の非一時的デジタル記憶媒体。
【請求項6】
前記抽出情報は前記縮小された画像領域の形状およびサイズを定義する、請求項１に記載の非一時的デジタル記憶媒体。
【請求項7】
前記抽出情報は、前記ビデオデータストリームから前記縮小されたビデオデータストリームを抽出する際に前記ビデオデータストリーム内の対応するパラメータセットを代替するために使用されるべきパラメータセット代替物内のサイズパラメータにより、前記縮小された画像領域の形状およびサイズを定義する、請求項６に記載の非一時的デジタル記憶媒体。
【請求項8】
ビデオデータストリームを生成するための装置であって、
スライス部分のシーケンスであって、各スライス部分は、ビデオの画像の複数のスライスのうちのそれぞれを符号化している、スライス部分のシーケンスを前記ビデオデータストリームに提供するように構成され、各スライス部分は前記各スライス部分が符号化した前記スライスが前記ビデオの画像領域で位置する場所を示すスライスアドレスを含み、
前記ビデオデータストリームから縮小されたビデオデータストリームを抽出する際に使用される抽出情報を前記ビデオデータストリームに提供するように構成され、前記縮小されたビデオデータストリームは、前記ビデオデータストリームの前記ビデオの空間セクションに対応する空間的により小さいビデオを符号化しており、抽出には、前記ビデオデータストリームを前記空間セクション内の任意のスライスを符号化したスライス部分に限定すること、および前記スライスアドレスを前記空間的により小さいビデオの縮小された画像領域に関連するよう修正することを伴い、
前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、前記抽出情報はそれぞれ、
前記ビデオが前記空間セクションの外側から独立して前記ビデオデータストリームに符号化されている前記画像領域内の前記空間セクションを定義する第１の情報と、
前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスの置き換えのための代替スライスアドレスを明示的にシグナリングする第２の情報であって、前記代替スライスアドレスは前記縮小されたビデオデータストリーム内において、前記縮小された画像領域内における前記スライスが位置している場所を前記縮小されたビデオデータストリームにおいて示す第２の情報と
を含む、抽出情報
をビデオデータストリームに提供するように構成され、
前記装置は抽出情報セットの数を示す構文要素を前記抽出情報に提供するように構成される、
装置。
スライス部分のシーケンスであって、各スライス部分は、ビデオの画像の複数のスライスのうちのそれぞれを符号化している、スライス部分のシーケンスを前記ビデオデータストリームに提供するように構成され、各スライス部分は前記各スライス部分が符号化した前記スライスが前記ビデオの画像領域で位置する場所を示すスライスアドレスを含み、
前記ビデオデータストリームから縮小されたビデオデータストリームを抽出する際に使用される抽出情報を前記ビデオデータストリームに提供するように構成され、前記縮小されたビデオデータストリームは、前記ビデオデータストリームの前記ビデオの空間セクションに対応する空間的により小さいビデオを符号化しており、抽出には、前記ビデオデータストリームを前記空間セクション内の任意のスライスを符号化したスライス部分に限定すること、および前記スライスアドレスを前記空間的により小さいビデオの縮小された画像領域に関連するよう修正することを伴い、
前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、前記抽出情報はそれぞれ、
前記ビデオが前記空間セクションの外側から独立して前記ビデオデータストリームに符号化されている前記画像領域内の前記空間セクションを定義する第１の情報と、
前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスの置き換えのための代替スライスアドレスを明示的にシグナリングする第２の情報であって、前記代替スライスアドレスは前記縮小されたビデオデータストリーム内において、前記縮小された画像領域内における前記スライスが位置している場所を前記縮小されたビデオデータストリームにおいて示す第２の情報と
を含む、抽出情報
をビデオデータストリームに提供するように構成され、
前記装置は抽出情報セットの数を示す構文要素を前記抽出情報に提供するように構成される、
装置。
【請求項9】
ビデオを符号化したビデオデータストリームから、空間的により小さいビデオを符号化した縮小されたビデオデータストリームを抽出する装置であって、前記ビデオデータストリームはスライス部分のシーケンスを含み、各スライス部分はビデオの画像の複数のスライスのうちのそれぞれのスライスを符号化していて、各スライス部分は、前記各スライス部分が符号化している前記各スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含み、
前記装置は、
前記ビデオデータストリームから抽出情報を読み取るように構成され、ここで前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、
前記第１の情報から前記画像領域内の空間セクションを導出するように構成され、ここで前記縮小されたビデオデータストリームは前記空間セクション内の任意のスライスを符号化したスライス部分に限定され、
前記第２の情報から代替スライスアドレスを導出するように構成され、
前記抽出情報によって明示的にシグナリングされた前記代替スライスアドレスを使用して、前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるように構成され、ここで前記代替スライスアドレスは、前記縮小されたビデオデータストリームにおいて、前記空間的により小さいビデオの縮小された画像領域における前記それぞれのスライスが位置する場所を示して、前記ビデオデータストリームの前記スライス部分のシーケンスにおいて前記スライス部分がどのように順番付けられているかに比例して前記空間セクション内のスライスの前記スライス部分の順番が再順序付けされ、
前記装置は前記抽出情報に含まれる構文要素から前記抽出情報セットの数を導出するように構成される、
装置。
前記装置は、
前記ビデオデータストリームから抽出情報を読み取るように構成され、ここで前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、
前記第１の情報から前記画像領域内の空間セクションを導出するように構成され、ここで前記縮小されたビデオデータストリームは前記空間セクション内の任意のスライスを符号化したスライス部分に限定され、
前記第２の情報から代替スライスアドレスを導出するように構成され、
前記抽出情報によって明示的にシグナリングされた前記代替スライスアドレスを使用して、前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるように構成され、ここで前記代替スライスアドレスは、前記縮小されたビデオデータストリームにおいて、前記空間的により小さいビデオの縮小された画像領域における前記それぞれのスライスが位置する場所を示して、前記ビデオデータストリームの前記スライス部分のシーケンスにおいて前記スライス部分がどのように順番付けられているかに比例して前記空間セクション内のスライスの前記スライス部分の順番が再順序付けされ、
前記装置は前記抽出情報に含まれる構文要素から前記抽出情報セットの数を導出するように構成される、
装置。
【請求項10】
ビデオデータストリームを生成する方法であって、前記方法は
前記ビデオデータストリームにスライス部分のシーケンスを提供するステップであって、各スライス部分はビデオの画像の複数のスライスのそれぞれのスライスを符号化しており、前記各スライス部分は、前記各スライス部分が符号化している前記スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含む、スライス部分のシーケンスを提供するステップと、
前記ビデオデータストリームから縮小されたビデオデータストリームを抽出する際に使用する抽出情報を前記ビデオデータストリームに提供するステップであって、前記縮小されたビデオデータストリームは前記ビデオデータストリームの前記ビデオの空間セクションに対応する空間的により小さいビデオを符号化しており、抽出には、前記ビデオデータストリームを前記空間セクション内の任意のスライスを符号化したスライス部分に限定すること、および前記スライスアドレスを前記空間的により小さいビデオの縮小された画像領域に関連するように修正することを伴い、
前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、抽出情報はそれぞれ、
前記画像領域内の前記空間セクションを定義する第１の情報と、
前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるための代替スライスアドレスを明示的にシグナリングする第２の情報であって、前記代替スライスアドレスは前記縮小されたビデオデータストリーム内において、前記縮小された画像領域内における前記それぞれのスライスが位置する場所を示す、第２の情報と
を含む、抽出情報を提供するステップと、
を含み、
前記抽出情報には抽出情報セットの数を示す構文要素が供給される、方法。
前記ビデオデータストリームにスライス部分のシーケンスを提供するステップであって、各スライス部分はビデオの画像の複数のスライスのそれぞれのスライスを符号化しており、前記各スライス部分は、前記各スライス部分が符号化している前記スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含む、スライス部分のシーケンスを提供するステップと、
前記ビデオデータストリームから縮小されたビデオデータストリームを抽出する際に使用する抽出情報を前記ビデオデータストリームに提供するステップであって、前記縮小されたビデオデータストリームは前記ビデオデータストリームの前記ビデオの空間セクションに対応する空間的により小さいビデオを符号化しており、抽出には、前記ビデオデータストリームを前記空間セクション内の任意のスライスを符号化したスライス部分に限定すること、および前記スライスアドレスを前記空間的により小さいビデオの縮小された画像領域に関連するように修正することを伴い、
前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含み、抽出情報はそれぞれ、
前記画像領域内の前記空間セクションを定義する第１の情報と、
前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるための代替スライスアドレスを明示的にシグナリングする第２の情報であって、前記代替スライスアドレスは前記縮小されたビデオデータストリーム内において、前記縮小された画像領域内における前記それぞれのスライスが位置する場所を示す、第２の情報と
を含む、抽出情報を提供するステップと、
を含み、
前記抽出情報には抽出情報セットの数を示す構文要素が供給される、方法。
【請求項11】
ビデオを符号化したビデオデータストリームから、空間的により小さいビデオを符号化した縮小されたビデオデータストリームを抽出する方法であって、前記ビデオデータストリームはスライス部分のシーケンスを含み、各スライス部分はビデオの画像の複数のスライスのうちのそれぞれのスライスを符号化しており、各スライス部分は、前記各スライス部分が符号化している前記各スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含み、
前記方法は、
前記ビデオデータストリームから抽出情報を読み取るステップであって、前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含む、抽出情報を読み取るステップと、
第１の情報から前記画像領域内の空間セクションを導出するステップであって、前記縮小されたビデオデータストリームは前記空間セクション内の任意のスライスを符号化したスライス部分に限定される、導出するステップと、
第２の情報から代替スライスアドレスを導出するステップと、
前記抽出情報によって明示的にシグナリングされた前記代替スライスアドレスを使用して、前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるステップであって、前記代替スライスアドレスは前記縮小されたビデオデータストリーム内において、前記空間的により小さいビデオの縮小された画像領域内における前記スライスが位置する場所を示して、前記ビデオデータストリームの前記スライス部分のシーケンスにおいて前記スライス部分がどのように順番付けられているかに比例して前記空間セクション内のスライスの前記スライス部分の順番が再順序付けされる、置き換えるステップと
を含み、
前記抽出情報セットの数は、前記抽出情報が含む構文要素から導出される、
方法。
前記方法は、
前記ビデオデータストリームから抽出情報を読み取るステップであって、前記抽出情報は前記縮小されたビデオデータストリームの異なるバージョンのための多数の抽出情報セットを含む、抽出情報を読み取るステップと、
第１の情報から前記画像領域内の空間セクションを導出するステップであって、前記縮小されたビデオデータストリームは前記空間セクション内の任意のスライスを符号化したスライス部分に限定される、導出するステップと、
第２の情報から代替スライスアドレスを導出するステップと、
前記抽出情報によって明示的にシグナリングされた前記代替スライスアドレスを使用して、前記空間セクション内の前記スライスの前記スライス部分の前記スライスアドレスを置き換えるステップであって、前記代替スライスアドレスは前記縮小されたビデオデータストリーム内において、前記空間的により小さいビデオの縮小された画像領域内における前記スライスが位置する場所を示して、前記ビデオデータストリームの前記スライス部分のシーケンスにおいて前記スライス部分がどのように順番付けられているかに比例して前記空間セクション内のスライスの前記スライス部分の順番が再順序付けされる、置き換えるステップと
を含み、
前記抽出情報セットの数は、前記抽出情報が含む構文要素から導出される、
方法。
【請求項12】
コンピュータ上で実行されるときに、請求項１０に記載のビデオデータストリームを生成する方法を実行するためのコンピュータプログラムを記憶した非一時的デジタル記憶媒体。
【請求項13】
コンピュータ上で実行されるときに、請求項１１に記載の抽出する方法を実行するためのコンピュータプログラムを記憶した非一時的デジタル記憶媒体。
【外国語明細書】