▶ ジーイー ビデオ コンプレッション エルエルシーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-15
(45)【発行日】2024-02-26
(54)【発明の名称】高度なビデオデータストリーム抽出および多重解像度ビデオ伝送
(51)【国際特許分類】
H04N 19/70 20140101AFI20240216BHJP
【ＦＩ】
H04N19/70
【請求項の数】
5
【外国語出願】
(21)【出願番号】P 2021164741
(22)【出願日】2021-10-06
(62)【分割の表示】P 2019551932の分割
【原出願日】2018-03-19
(65)【公開番号】P2022008899
(43)【公開日】2022-01-14
【審査請求日】2021-11-05
(31)【優先権主張番号】17161917.4
(32)【優先日】2017-03-20
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】515089080
【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー
【住所又は居所原語表記】１ Ｒｅｓｅａｒｃｈ Ｃｉｒｃｌｅ，Ｎｉｓｋａｙｕｎａ，ＮＹ １２３０９，ＵＳＡ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(74)【代理人】
【識別番号】100167966
【弁理士】
【氏名又は名称】扇谷 一
(72)【発明者】
【氏名】スクーピン ローベルト
(72)【発明者】
【氏名】ヘルゲ コルネリウス
(72)【発明者】
【氏名】ブロス ベンヤミン
(72)【発明者】
【氏名】シーアル トーマス
(72)【発明者】
【氏名】サンチェス デ ラ フエンテ ヤーゴ
(72)【発明者】
【氏名】ズューリング カルステン
(72)【発明者】
【氏名】ウィーガント トーマス
【審査官】坂東 大五郎
(56)【参考文献】
【文献】国際公開第２０１６／０２６５２６（ＷＯ，Ａ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオエンコーダであって、ビデオデータストリームがスライス部分のシーケンスを含むようにビデオデータストリームにビデオを符号化し、ここで前記ビデオエンコーダは空間または時間予測を使用して個々の画像ブロックを符号化するブロックベース予測符号化と予測残差符号化とを使用して、ビデオの画像の複数のスライスのうちの各スライスを、それぞれのスライス部分に符号化するように構成され、
各スライス部分に、前記各スライス部分が符号化している前記スライスが位置する前記ビデオの画像領域内の場所を示すスライスアドレスを提供し、
前記ビデオデータストリームを空間セクション内のいずれかのスライスを符号化したスライス部分に限定し、前記スライスアドレスを抽出されたビデオの抽出された画像領域に関連するように修正することによって、前記ビデオの前記空間セクションに対応する前記抽出されたビデオを符号化している抽出されたビデオデータストリームを前記ビデオデータストリームから抽出する方法を示す抽出情報であって、
前記画像領域内の前記空間セクションを、それぞれにおいて前記ビデオが各部分領域外から独立して前記ビデオデータストリームに符号化されている、部分領域を構成するものとして定義する第１の情報と、
前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正する方法に関して、複数のオプションのうちの１つをシグナリングして、または明示的にシグナリングして、前記抽出された画像領域内で前記各スライスが位置する場所を前記抽出されたビデオデータストリーム内で示す第２の情報と、
をビデオストリームデータに提供するように構成される、
エンコーダ。
【請求項2】
ビデオを符号化したビデオデータストリームから、抽出したビデオを符号化した抽出されたビデオデータストリームを抽出するための装置であって、前記ビデオデータストリームはスライス部分のシーケンスを含み、各スライス部分は、空間または時間予測を用いて個々の画像ブロックを符号化したブロックベース予測符号化と予測残差符号化とを用いてビデオの画像の複数のスライスのうちの各スライスを符号化していて、各スライス部分は、前記各スライス部分が符号化している前記各スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含み、前記装置は、
前記ビデオデータストリームから抽出情報を読み取り、
前記抽出情報から前記画像領域内の空間セクションを、各々において前記ビデオが各部分領域外から独立して前記ビデオデータストリームに符号化される、部分領域を構成するものとして導出し、ここで前記抽出されたビデオデータストリームは、前記空間セクション内でいずれかのスライスを符号化したスライス部分に限定され、
前記抽出情報を使用して複数のオプションから決定された、前記複数のオプションのうちの１つ、または前記抽出情報による明示的なシグナリングを使用して、前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正して、前記抽出されたビデオデータストリーム内で、前記それぞれのスライスが空間的により小さいビデオの抽出された画像領域で位置している場所を示すように構成される、装置。
【請求項3】
ビデオ符号化のための方法であって、
ビデオデータストリームがスライス部分のシーケンスを含むように、ビデオを前記ビデオデータストリームに符号化するステップであって、ビデオの画像の複数のスライスのうちの各スライスが、空間または時間予測を用いて個々の画像ブロックを符号化したブロックベース予測符号化と予測残差符号化とを用いて各スライス部分に符号化されている、ステップと、
前記各スライス部分に、前記各スライス部分が符号化しているスライスが位置する前記ビデオの画像領域内の場所を示すスライスアドレスを提供するステップと、
前記ビデオデータストリームを空間セクション内のいずれかのスライスを符号化したスライス部分に限定し、抽出されたビデオの抽出された画像領域に関連するように前記スライスアドレスを修正することにより、前記ビデオの前記空間セクションに対応する抽出されたビデオを符号化した抽出されたビデオデータストリームを前記ビデオデータストリームから抽出する方法を示す抽出情報を前記ビデオデータストリームに提供するステップであって、
前記抽出情報は、
前記画像領域内の前記空間セクションを、各々において前記ビデオが各部分領域外から独立して前記ビデオデータストリームに符号化されている、部分領域を構成するものとして定義する第１の情報と、
前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスをどのように修正するかについて、複数のオプションのうちの１つをシグナリングして、または明示的にシグナリングして、前記それぞれのスライスが位置している前記抽出された画像領域内の場所を前記抽出されたビデオデータストリーム内で示す、第２の情報と、
を含む、抽出情報を提供するステップと、
を含む、方法。
【請求項4】
ビデオを符号化しているビデオデータストリームから、抽出されたビデオを符号化した抽出されたビデオデータストリームを抽出する方法であって、前記ビデオデータストリームはスライス部分のシーケンスを含み、各スライス部分はビデオの画像の複数のスライスのうちのそれぞれのスライスを、空間または時間予測を用いて個々の画像ブロックを符号化したブロックベース予測符号化と予測残差符号化とを用いて符号化しており、各スライス部分は、前記各スライス部分が符号化している前記各スライスが前記ビデオの画像領域内で位置する場所を示すスライスアドレスを含み、前記方法は、
前記ビデオデータストリームから抽出情報を読み取るステップと、
前記抽出情報から、それぞれにおいて前記ビデオが各部分領域外から独立して前記ビデオデータストリームに符号化される、部分領域を構成するものとして前記画像領域内の空間セクションを導出するステップであって、前記抽出されたビデオデータストリームは、前記空間セクション内のいずれかのスライスを符号化しているスライス部分に限定される、導出するステップと、
前記それぞれのスライスが位置する前記抽出されたビデオの抽出された画像内の場所を前記抽出されたビデオデータストリーム内で示すように、前記抽出情報を使用して複数のオプションから決定された前記複数のオプションのうちの１つ、または前記抽出情報による明示的なシグナリングを使用して、前記空間セクション内の各スライスの前記スライス部分の前記スライスアドレスを修正するステップと、
を含む、方法。
【請求項5】
請求項４に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、ビデオデータストリームの抽出、すなわち、縮小されたビデオデータストリームが、元のビデオデータストリームに符号化されたビデオの空間セクションに対応する空間的に小さなビデオをその中に符号化できるように、適切に準備されたビデオデータストリームから縮小されたビデオデータストリームを抽出するコンセプトに関し、さらに言えば、１つのシーンの異なるビデオバージョンの送信に関するものであり、バージョンはシーンの解像度または忠実度が異なる。
【背景技術】
【0002】
ＨＥＶＣ規格［１］は、ビデオデータストリーム全体から、より小さなまたは縮小されたビデオデータストリームを簡単に抽出できるように、すなわち、再量子化せずに、動き補償をやり直す必要もなく、ビデオコーデックがいくつかの符号化の制約に従う場合の画像の長方形タイルのサブアレイの定義を可能にするハイブリッドビデオコーデックを定義している。［２］で概説されているように、ビデオデータストリームの受信者の抽出プロセスをガイドできるＨＥＶＣ標準構文に追加することが想定されている。
【0003】
ただし、抽出プロセスをより効率的にする必要がある。
【0004】
ビデオデータの抽出が適用される可能性のあるアプリケーション領域は、シーンの解像度が相互に異なる１つのビデオシーンの複数のバージョンの送信または提供に関係する。そのような伝送をインストールする効率的な方法、または相互に異なる解像度バージョンを提供することは有利である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、本発明の第１の目的は、より効率的な、すなわち、たとえば、異なる種類のビデオが異なる受信者に未知のタイプのビデオコンテンツをより効率的に処理できるビデオデータストリーム抽出のコンセプトを提供することであり、例えば、ビューポートから画面への投影など、または抽出プロセスの複雑さを軽減することである。この目的は、第１の態様による本出願の独立請求項の主題により達成される。
【課題を解決するための手段】
【0006】
特に、本出願の第１の態様によれば、縮小されたビデオデータストリーム内で、縮小された（抽出された）画像領域で、それぞれのスライスが位置する場所を示すように、抽出可能な空間セクション内の各スライスのスライス部分のスライスアドレスを修正する方法に関しては、ビデオデータストリーム内の抽出情報に複数のオプションの１つをシグナリングする情報、または明示的にシグナリングする方法を提供することにより、ビデオデータストリームの抽出がより効率的になる。言い換えれば、第２の情報は、元のビデオの空間セクションに基づいて、縮小（抽出）されたビデオデータストリームの空間的に小さいビデオの画像の構成に関する抽出プロセスをガイドするビデオデータストリームの抽出サイトに情報を提供する。したがって、抽出プロセスを軽減するか、ビデオデータストリーム内で伝達されるシーンタイプのより大きな変動に適応できるようにしている。例えば、パノラマシーンから画面への投影のシームインターフェイスのシーンを示す元の画像の周囲に沿って異なる部分に当接するゾーンで構成される空間セクションでは、空間セクションのゾーンの配置が抽出されたストリームの小さい画像は、非パノラマ型の画像タイプの場合とは異なるはずであるが、受信者はそのタイプについても知らない可能性がある。追加または個別に、抽出されたスライス部分のスライスアドレスを修正するのは面倒な作業であり、たとえば、代替スライスアドレスの形式で修正方法に関する情報を明示的に送信することにより軽減される場合がある。
【0007】
本発明の別の目的は、シーンの解像度が異なるビデオシーンの異なるバージョンの並置をより効率的に受信者に提供するコンセプトを提供することである。
【0008】
この目的は、本出願の第２の態様の係属中の独立請求項の主題により達成される。
【0009】
特に、本願の第２の態様によれば、シーンの解像度が異なるビデオシーンのいくつかのバージョンの並置は、これらのバージョンを１つのビデオデータストリームに符号化された１つのビデオにまとめることにより、より効率的に表示され、そして、このビデオデータストリームに、ビデオの画像が異なる解像度で画像の異なる空間部分に共通のシーンコンテンツを表示することを示すシグナリングを提供する。ビデオデータストリームの受信者は、したがって、シグナリングに基づいて、ビデオデータストリームによって伝達されるビデオコンテンツが、異なるシーン解像度でのシーンコンテンツのいくつかのバージョンの空間的な並列コレクションに関連するかどうかを認識することができる。受信サイトの機能に応じて、ビデオデータストリームを復号する試行を抑制し得るか、またはビデオデータストリームの処理はシグナリングの分析に適合され得る。
【0010】
上述の態様の実施形態の有利な実装は、従属請求項の主題である。本出願の好ましい実施形態は、図面に関して以下で説明される。
【図面の簡単な説明】
【0011】
【図5】第２の情報がいくつかの可能なオプションの中で抽出プロセスにおいてスライスアドレスを修正するための特定のオプションを示す実施形態による第２の情報を含む特定の構文例を示す図である。
【発明を実施するための形態】
【0012】
以下の説明は、本願の第１の態様の説明から始まり、その後、本願の第２の態様の説明に続く。より正確には、本願の第１の態様に関して、以下に説明する第１の態様の実施形態の利点および基礎となるコンセプトを動機付けるために、基礎となる技術的問題の概要から説明を始める。２番目の側面に関しては、説明の順序は同じ方法で選択されます。
【0013】
パノラマまたは３６０ビデオアプリケーションでは、画面のサブセクションのみをユーザーに提示する必要があるのが一般的である。Motion Constrained Tile Sets（ＭＣＴＳ）などの特定のコーデックツールを使用すると、圧縮ドメイン内の目的の画像サブセクションに対応する符号化データを抽出し、適合ビットストリームを形成できる。そして、完全な画像ビットストリームからのＭＣＴＳ復号をサポートしないレガシーデコーダデバイスで復号できる。そして、それは完全な画像復号化に必要なデコーダーと比較してより低いティアであると特徴づけられる。
【0014】
例として、また参考として、ＨＥＶＣコーデックに含まれるシグナリングは次の場所にある。
・ 参照［１］。セクションＤ２．２９およびＥ．２．２９の一時的なＭＣＴＳ ＳＥＩメッセージを指定し、これにより、エンコーダーは、指定された長方形のリストをシグナリングできる。それぞれ左上と右下のタイルインデックスで定義され、ＭＣＴＳに属する。
・ 参照［２］。ＭＣＴＳを適合ＨＥＶＣビットストリームとして抽出する作業を容易にするパラメーターセットやネスト化したＳＥＩメッセージなどの追加情報を提供し、［１］の次のバージョンに追加される。
・ 参照［１］。セクションＤ２．２９およびＥ．２．２９の一時的なＭＣＴＳ ＳＥＩメッセージを指定し、これにより、エンコーダーは、指定された長方形のリストをシグナリングできる。それぞれ左上と右下のタイルインデックスで定義され、ＭＣＴＳに属する。
・ 参照［２］。ＭＣＴＳを適合ＨＥＶＣビットストリームとして抽出する作業を容易にするパラメーターセットやネスト化したＳＥＩメッセージなどの追加情報を提供し、［１］の次のバージョンに追加される。
【0015】
［１］および［２］からわかるように、抽出の手順には、抽出デバイスで実行される関連スライスのスライスヘッダーで通知されるスライスアドレスの調整が含まれる。
【0016】
図１に、ＭＣＴＳ抽出の例を示す。図１は、ビデオデータストリーム、すなわち、ＨＥＶＣビデオデータストリームに符号化された画像を示している。画像１００は、ＣＴＢ、すなわち画像１００が符号化された単位の符号化ツリーブロックに細分される。図１の例では、画像１００は、１６×１６×６のＣＴＢに細分されているが、ＣＴＢの行数とＣＴＢの列数は当然ながら重要ではない。参照符号１０２は、そのようなＣＴＢを代表的に示している。これらのＣＴＢ１０２の単位で、画像１００はタイル、すなわちｍ×ｎタイルのアレイにさらに細分され、図１はｍ＝８およびｎ＝４の例示的なケースを示す。各タイルにおいて、そのようなタイルの１つを代表的に示すために参照符号１０４が使用されている。したがって、各タイルは、ＣＴＢ １０２の長方形のクラスターまたはサブアレイである。例示のみを目的として、図１は、タイル１０４が異なるサイズのものであり得ること、または代替的に、タイルの行が相互に異なる高さおよび相互に異なる幅のタイルの列であり得ることを示す。
【0017】
当技術分野で知られているように、タイルの細分割、すなわち画像１００のタイル１０４への細分割は、画像１００の画像コンテンツがビデオデータストリームに符号化される符号化順序１０６に影響を与える。特に、タイル１０４は、タイルの順序に沿って、すなわち、タイル行ごとのラスタ走査順序で次々に横断される。言い換えれば、１つのタイル１０４内のすべてのＣＴＢ１０２は、符号化順序が次のタイル１０４に進む前に、まず符号化順序１０６によって符号化または横断される。各タイル１０２内で、ＣＴＢは、ラスタ走査順序、すなわち行方向のラスタ走査順序も使用して符号化される。符号化順序１０６に沿って、ビデオデータストリームへの画像１００の符号化は、いわゆるスライス部分をもたらすために細分される。換言すれば、符号化順序１０６の連続的な部分が横断する画像１００のスライスは、スライス部分を形成するようにユニットとしてビデオデータストリームに符号化される。図１では、各タイルは単一のスライス、またはＨＥＶＣの用語ではスライスセグメント内にあると想定されているが、これは単なる例であり、異なる方法で作成することができる。代表的に、１つのスライス１０８、またはＨＥＶＣに関して、１つのスライスセグメントは、図１において代表的に参照符号１０８で示され、一致するか、または対応するタイル１０４に適合している。
【0018】
画像１００のビデオデータストリームへの符号化に関する限り、この符号化は、空間予測、時間予測、エントロピー符号化のコンテキスト導出、時間予測の動き補償、予測残差の変換および／または予測残差の量子化を活用することに注意する必要がある。符号化順序１０６は、スライシングに影響を与えるだけでなく、空間予測および／またはコンテキスト導出のために参照ベースの可用性も定義する。例を挙げれば、符号化順１０６で先行する当接部分のみが利用可能である。タイリングは、符号化順序１０６に影響するだけでなく、画像１００内の符号化相互依存性も制限する。例えば、空間予測および／またはコンテキスト導出は、現在のタイル１０４内の部分のみを参照するように制限される。現在のタイルの外側の部分は、空間予測および／またはコンテキスト導出では参照されない。
【0019】
図１は、画像１００のさらなる特定の領域、すなわちいわゆるＭＣＴＳ、すなわち、画像１００の一部であるビデオが抽出可能な画像１００の画像領域内の空間セクション１１０を示している。セクション１１０の拡大図が図１０の右側に示されている。図１のＭＣＴＳ１１０は、タイル１０４のセットから構成される。セクション１１０にあるタイルには、それぞれａ、ｂ、ｃ、ｄという名前が付けられている。空間セクション１１０が抽出可能であるという事実は、ビデオのビデオデータストリームへの符号化に関するさらなる制限を伴う。特に、図１に示されている画像１００のビデオの画像の分割は、ビデオの他の画像によって採用されています。そして、この画像シーケンスについて、タイルａ、ｂ、ｃ、およびｄ内の画像コンテンツは、ある画像から他の画像を参照する場合でも空間セクション１１０内に符号化相互依存性が残るように符号化される。言い換えれば、例えば、時間的予測および時間的コンテキスト導出は、空間セクション１１０の領域内に収まるように制限される。
【0020】
画像１００の一部であるビデオをビデオデータストリームに符号化する際の興味深い点は、スライス１０８にスライスアドレスが提供されるという事実であり、このスライスアドレスは、符号化された画像領域におけるその符号化開始、すなわちその位置を示す。スライスアドレスは、符号化順序１０６に沿って割り当てられる。例えば、スライスアドレスは、各スライスの符号化が開始される符号化順序１０６に沿ったＣＴＢランクを示す。たとえば、ビデオおよび画像１００をそれぞれ符号化するデータストリーム内で、タイルａと一致するスライスを運ぶスライス部分は、タイルａ内の符号化順序１０６の最初のＣＴＢを示す符号化順序１０６の７番目のＣＴＢとしてスライスアドレス７を有する。同様に、タイルｂ、ｃ、ｄに関連するスライスを運ぶスライス部分内のスライスアドレスは、それぞれ９、２９、３３になる。
【0021】
図１の右側は、縮小または抽出されたビデオデータストリームの受信者がタイルａ、ｂ、ｃ、ｄに対応する２つのスライスを割り当てるスライスアドレスを示している。言い換えると、図１は、右側の数字０、２、４、８を使用して、縮小または抽出されたビデオデータストリームの受信者によって割り当てられたスライスアドレスを示していて、これは、空間セクション１１０に関する抽出により、すなわちＭＣＴＳ抽出により、画像１００全体を含むビデオを表す元のビデオデータストリームから取得されている。縮小または抽出されたビデオデータストリームでは、タイルａ、ｂ、ｃおよびｄのスライス１００に符号化されたスライス部分は、抽出プロセス中に取り出された元のビデオデータストリームにあったように、符号化順序１０６に配置される。特に、この受信者は、縮小または抽出されたビデオデータストリームのスライス部分のシーケンスから再構成されたＣＴＢの形式で画像コンテンツを配置する。すなわち、画像１００全体に関して符号化順序１０６と同じ方法で空間セクション１１０をトラバースする符号化順序１１２に沿ったタイルａ、ｂ、ｃおよびｄに関するスライス、すなわち、タイル内のタイルごとに空間セクション１１０をラスタースキャン順序でトラバースすることによる。また、各タイル内のＣＴＢの走査もラスタースキャン順序に沿って行われてから次のタイルに進む。タイルａ、ｂ、ｃ、ｄの相対位置は、維持される。すなわち、図１の右側に示されるような空間セクション１１０は、画像１００で発生したタイルａ、ｂ、ｃおよびｄの間の相対位置を維持する。符号化順序１１２を使用してタイルａ、ｂ、ｃおよびｄを決定することから生じるスライスのスライスアドレスは、それぞれ０、２、４および８である。したがって、受信者は、右側に自己完結型の画像として示される空間セクション１１０を示す縮小または抽出されたビデオデータストリームに基づいて、より小さなビデオを再構築することができる。
【0022】
これまでの図１の説明を要約すると、図１は、各スライス１０８の左上隅の数字を使用することによる抽出後のスライスアドレスおよびＣＴＢの単位の調整を示しているかまたは示している。抽出を実行するには、抽出サイトまたは抽出デバイスは、ＣＴＢのサイズ、つまり最大ＣＴＢサイズ１１４、および画像１００内のタイル列とタイル行の数とサイズを示すパラメーターに関して元のビデオデータストリームを分析する必要がある。さらに、ネストされたＭＣＴＳ固有のシーケンスおよび画像パラメーター集合は、そこからタイルの出力配置を導出するために検査される。図１では、空間セクション１１０内のタイルａ、ｂ、ｃおよびｄは、それらの相対的な配置を保持している。全体として、上記およびＨＥＶＣデータストリームのＭＣＴＳ命令に従って抽出デバイスによって実行される分析および検査には、上記のパラメーターから再構成スライス１０８のスライスアドレスを取得するための専用の洗練されたロジックが必要とされる。この専用で洗練されたロジックは、実行時の欠点だけでなく、追加の実装コストが発生する。
【0023】
以下に説明する実施形態は、したがって、ビデオデータストリームで追加のシグナリングを使用し、抽出情報生成側および抽出側で対応する処理ステップを使用して、抽出の特定の目的のために容易に利用可能な情報を提供することにより、抽出装置の上記説明の全体的な処理負担を軽減することができる。追加または代替として、以下で説明するいくつかの実施形態は、異なるタイプのビデオコンテンツのより効果的な処理が達成されるような方法で抽出プロセスをガイドするために追加のシグナリングを使用する。
【0024】
図２に基づいて、一般的なコンセプトを最初に説明する。後で、図２に示される全体的なプロセスに参加する個々のエンティティの動作モードのこの一般的な説明は、以下でさらに異なる実施形態に従って異なる方法でさらに明確に述べる。そこに示されているエンティティとブロックを理解しやすくするために１つの図にまとめて説明していますが、それぞれが図２の利点の概要を提供する機能を個別に継承する内蔵型デバイスに関係していることに注意する必要がある。より正確には、図２は、ビデオデータストリームを生成し、そのようなビデオデータストリームに抽出情報を提供する生成プロセスを示している。抽出プロセス自体に続いて、抽出または縮小されたビデオデータストリームと参加デバイスの復号が行われる。これらのデバイスの動作モードまたは個々のタスクとステップのパフォーマンスは、ここで説明する実施形態に従っている。図２に関して最初に説明した特定の実装例に従って、そして、以下でさらに概説されるように、抽出デバイスの抽出タスクに関連する処理オーバーヘッドが削減される。さらなる実施形態によれば、元のビデオ内の様々な異なるタイプのビデオコンテンツの処理は、追加的または代替的に軽減される。
【0025】
図２の上部には、参照符号１２０で示される元のビデオが示されている。このビデオ１２０は、図１の画像１００と同じ役割を果たすので、その１つが参照符号１００を使用して示される一連の画像から構成される。すなわち、それは、ビデオデータストリームの抽出によって空間セクション１１０が後に切り取られる画像領域を示す画像である。ただし、図１に関して上で説明したタイルの細分割は、図２に示すプロセスの基礎となるビデオ符号化で使用する必要がないことを理解されるべきである。そして、むしろ、タイルおよびＣＴＢは、図２の実施形態に関する限り、単にオプションであるビデオ符号化におけるセマンティックエンティティを示す。
【0026】
図２は、ビデオ１０２がビデオ符号化コア１２２でビデオ符号化の対象であることを示している。ビデオ符号化コア１２２によって実行されるビデオ符号化は、例えば、ハイブリッドビデオ符号化を使用して、ビデオ１２０をビデオデータストリーム１２４に変える。すなわち、ビデオ符号化コア１２２は、例えば、予測残差のいくつかのサポートされた予測モード符号化のうちの１つを使用してビデオ１２０の画像の個々の画像ブロックを符号化するブロックベースの予測符号化を使用する。予測モードは、例えば、空間的および時間的予測を含み得る。時間的予測は、動き補償、すなわち、時間的に予測されたブロックの動きベクトルに現れる動きフィールドの決定、およびデータストリーム１２４によるその送信を含んでもよい。予測残差は変換符号化されてもよい。すなわち、いくつかのスペクトル分解を予測残差に適用することができ、結果として生じるスペクトル係数を量子化にかけ、例えばエントロピー符号化を使用してデータストリーム１２４に可逆的に符号化することができる。次に、エントロピー符号化は、コンテキスト適応性を使用してもよい。つまり、このコンテキスト導出が空間的近傍および／または時間的近傍に依存するコンテキストを決定してもよい。上記したように、符号化は、符号化依存関係を、符号化順序１０６が既に通過したビデオの部分のみがビデオ１２０の現在の部分を符号化するための基礎または基準として使用できる程度に制限する符号化順序１０６に基づいてもよい。符号化順序１０６は、画像１２０ごとにビデオ１２０を横断するが、必ずしも画像の提示時間順ではない。画像１００などの画像内で、ビデオ符号化コア１２０は、ビデオ符号化によって得られた符号化データを細分化し、それにより、画像１００を、ビデオデータストリーム１２４の対応するスライス部分１２６にそれぞれ対応するスライス１０８に細分化する。データストリーム１２４内で、スライス部分１２６は、画像１００の符号化順序１０６によって対応するスライス１０８が横断される順序で互いに続くスライス部分のシーケンスを形成する。
【0027】
図２にも示されているように、ビデオ符号化コア１２２は、各スライス部分１２６にスライスアドレスを提供または符号化する。スライスアドレスは、図２では大文字で示されている。図１に関して説明したように、スライスアドレスは、符号化順序１０６に沿って一次元的にＣＴＢの単位などの何らかの適切な単位で決定されてもよいが、代わりに、それらは、例えば、画像１００の左上隅などのビデオ１２０の画像によって使用済みの画像領域内のいくつかの所定の点に対して異なって決定されてもよい。
【0028】
したがって、ビデオ符号化コア１２２は、ビデオ１２０を受信し、ビデオデータストリーム１２４を出力する。
【0029】
既に上で概説したように、図２に従って生成されたビデオデータストリームは、空間セクション１１０に関する限り抽出可能であり、したがって、ビデオ符号化コア１２０はビデオ符号化プロセスを適切に適応させる。この目的のために、ビデオ符号化コア１２２は、例えば、空間的予測、時間的予測、またはコンテキストの導出などにより、セクション110の外側の部分に依存しないようにするために、空間セクション１１０内の部分がビデオデータストリーム１２４にある方法で符号化されるようにインター符号化依存性を制限する。スライス１０８は、セクション１１０の境界を横切らない。したがって、各スライス１０８は、セクション１１０内に完全にあるか、セクション１１０の外に完全にある。ビデオ符号化コア１２２は、１つの空間セクション１１０だけでなく、いくつかの空間セクションに従うことができることに留意されたい。これらの空間セクションは、互いに交差する場合があり、つまり、同じ空間セクションが部分的に重なり合う場合や、１つの空間セクションが別の空間セクション内に完全に存在する場合がある。これらの手段により、後で詳細に説明するように、ビデオデータストリーム１２４から、ビデオ１２０の画像よりも小さい画像の縮小または抽出されたビデオデータストリームを抽出することが可能である。すなわち、単に再符号化せずに空間セクション１１０内のコンテンツを示す画像、すなわち、動き補償、量子化および／またはエントロピー符号化などの複雑なタスクを再度実行する必要がない。
【0030】
ビデオデータストリーム１２４は、ビデオデータストリームジェネレータ１２８によって受信される。特に、図２に示す実施形態によれば、ビデオデータストリームジェネレータ１２８は、ビデオ符号化コア１２２から準備されたビデオデータストリーム１２４を受信する受信インターフェース１３０を含む。代替例によれば、ビデオ符号化コア１２２をビデオデータストリームジェネレータ１２８に含めることができ、それによりインターフェース１３０を置き換えることができることに留意されたい。
【0031】
ビデオデータストリームジェネレータ１２８は、ビデオデータストリーム１２４に抽出情報１３２を提供する。図２では、ビデオデータストリームジェネレータ１２８によって出力される結果のビデオデータストリームは、参照符号１２４’を使用して示されている。抽出情報１３２は、図２に参照符号１３４で示される抽出装置について、ビデオデータストリーム１２４’から、符号化された縮小または抽出されたビデオデータストリーム１３６をどのように抽出するかを示し、その中に、空間セクション１１０に対応する空間的に小さなビデオ１３８が含まれる。
抽出情報１３２は、画像１００によって送信された画像領域内の空間セクション１１０を定義する第１の情報１４０と、縮小ビデオデータストリーム１３６内で、ビデオ１３８の画像１４４の減少画像ア内で、それぞれのスライスが位置する場所を示すように、空間セクション１１０に入る各スライス１０８のスライス部分１２６のスライスアドレスを修正する方法に関する複数のオプションの１つを知らせる第２の情報１４２と、を含む。
抽出情報１３２は、画像１００によって送信された画像領域内の空間セクション１１０を定義する第１の情報１４０と、縮小ビデオデータストリーム１３６内で、ビデオ１３８の画像１４４の減少画像ア内で、それぞれのスライスが位置する場所を示すように、空間セクション１１０に入る各スライス１０８のスライス部分１２６のスライスアドレスを修正する方法に関する複数のオプションの１つを知らせる第２の情報１４２と、を含む。
【0032】
言い換えれば、ビデオデータストリームジェネレータ１２８は、ビデオデータストリーム１２４’、すなわち抽出情報１３２をもたらすために、単にビデオデータストリーム１２４に付随する、すなわち何かを追加するだけである。この抽出情報１３２は、特にビデオデータストリーム１２４’からセクション１１０に関して縮小または抽出されたビデオデータストリーム１３６を抽出する際に、ビデオデータストリーム１２４’を受信する抽出装置１３４を案内することを目的とする。第１の情報１４０は、空間セクション１１０、すなわち、それぞれビデオ１２０および画像１００の画像領域内のその場所、および場合によっては画像１４４の画像領域のサイズおよび形状を定義する。図２に示されるように、このセクション１１０は、必ずしも長方形、凸面である必要はなく、または接続された領域である必要もない。例えば、図２の例では、セクション１１０は、２つの分離した部分領域１１０ａおよび１１０ｂから構成される。さらに、第１の情報１４０は、抽出装置１３４が符号化パラメーターの一部またはデータストリーム１２４または１２４’の一部をそれぞれ修正または置換する方法に関するヒントを含むことができる。例えば、抽出により画像１００から画像１４４に向かう画像領域の変化を反映するように適合される画像サイズパラメーターなどである。特に、第１の情報１４０は、ビデオデータストリーム１２４'に含まれる対応するパラメーターセットを対応して変更または置換し、縮小または抽出されたビデオデータストリーム１３６に引き継ぐようにするために、抽出プロセスにおいて抽出装置１３４によって適用されるビデオデータストリーム１２４'のパラメーターセットに関する代替または修正命令を含むことができる。
【0033】
言い換えると、抽出装置１３４は、ビデオデータストリーム１２４’を受信し、ビデオデータストリーム１２４'から抽出情報１３２を読み取り、抽出情報から空間セクション１１０、すなわちビデオ１２０の画像領域内のその位置および位置を導出する。つまり、第１の情報１４０に基づいている。したがって、抽出装置１３０は、第１の情報１４０に基づいて、セクション１１０に入るスライスに符号化されたスライス部分１２６を識別する。したがって、セクション１１０の外側のスライスに関係するスライス部分１２６が抽出装置１３４によってドロップされている間に、縮小または抽出されたビデオデータストリーム１３６に引き継がれる。さらに、抽出装置１３４は、先に概説したように、以前にデータストリーム１２４’内に１つまたは複数のパラメーターセットを正しく設定するために、情報１４０を使用してもよく、または、縮小または抽出されたビデオデータストリーム１３６で、すなわち修正または置換により、それを採用する。したがって、１つまたは複数のパラメーターセットは、セクション１１０が、図２に例示的に示されているように接続された領域、すなわちセクション１１０のすべての部分１１０ａおよび１１０ｂの面積の合計ではない場合、セクション１１０の領域のサイズの合計に対応するサイズに設定された情報１４０に従って、画像サイズパラメーターに関係し得る。セクション１１０に敏感なスライス部分のドロップとパラメーターセットの適合は、ビデオデータストリーム１２４’をセクション１１０に限定する。さらに、抽出装置１３４は、縮小または抽出されたビデオデータストリーム１３６内のスライス部分１２６のスライスアドレスを修正する。これらのスライスは、図２のヘッジを使用して示されている。すなわち、ハッチングされたスライス部分１２６は、そのスライスがセクション１１０に入り、したがって、それぞれ抽出または引き継がれるスライスである。
【0034】
情報１４２は、完全なビデオデータストリーム１２４’に追加される状況で想像できるだけでなく、そこに含まれるスライス部分のシーケンスは、空間セクション内のスライスに符号化されたスライス部分を含むことと同様に、空間セクションの外部のスライスを符号化したスライス部分も含まれことに留意されたい。むしろ、情報１４２を含むデータストリームは、ビデオデータストリームに含まれるスライス部分のシーケンスが空間セクション内のスライスに符号化されたスライス部分を含むように、すでに取り除かれている可能性がある。ただし、空間セクションの外部のスライスに符号化されたスライス部分はありません。
【0035】
以下において、第２の情報１４２をデータストリーム１２４’に埋め込むための異なる例、およびその処理が提示される。一般に、第２の情報１４２は、データストリーム１２４’内で、明示的に、またはいくつかのオプションのうちの１つの選択の形で、スライスアドレス修正を実行する方法に関するヒントとしてシグナル伝達として伝えられる。言い換えると、第２の情報１４２は、１つ以上のシンタックス要素の形で伝えられ、その可能な値は、例えば、スライスアドレスの代替を明示的に通知するか、または一緒に、ビデオデータストリーム１３６のスライス部分ごとのスライスアドレスを、データストリームの１つまたは複数の構文要素の設定を選択することで関連付ける多数の可能性のシグナリングを区別できる。ただし、第２の情報１４２を具体化する上記の１つ以上の構文要素の意味のあるまたは許可される設定の数は、ビデオ１２０がビデオデータストリーム１２４に符号化された方法およびセクション１１０の選択にそれぞれ依存することに注意する必要がある。たとえば、セクション１１０は、画像１００内の長方形の接続領域であり、ビデオ符号化コア１２０は、セクション１１０の内部に関する限り、符号化をさらに制限することなく、このセクションに関して符号化を実行すると想像して下さい。２つ以上の領域１１０ａおよび１１０ｂによるセクション１１０の構成は適用されないであろう。つまり、セクション１１０の外部への依存関係のみが抑制される。この場合、セクション１１０は、ビデオ１３８の画像１４４の画像エリアに修正されずに、すなわち、セクション１１０のサブ領域のスクランブル位置なしにマッピングされなければならないだろう。また、スライス１１０を構成するスライス部分へのアドレスαおよびβの割り当ては、セクション１１０の内部をそのまま画像１４４の画像領域に配置することにより一意に決定される。この場合、ビデオデータストリームジェネレータ１２８によって生成される情報１４２の設定は一意である。つまり、ビデオデータストリームジェネレータ１２８には、この方法で情報１４２を設定する以外の選択肢はない。ただし、情報１４２には、符号化の観点から他の信号オプションがある。しかしながら、この代替のない場合でも、例えば、固有のスライスアドレス修正を明示的に示すシグナリング１４２は、抽出装置１３４が、ストリーム１２４’から採用されるスライス部分１２６のスライスアドレスαおよびβをそれ自体で決定する前述の厄介なタスクを実行する必要がないという利点がある。むしろ、情報１４２からスライス部分１２６のスライスアドレスを修正する方法を単に導き出す。
【0036】
以下にさらに概説する情報１４２の性質に関する異なる実施形態に応じて、抽出装置１３４は、スライス部分１２６がストリーム１２４’から縮小または抽出ストリーム１３６に引き継がれる順序を保存または維持するか、情報１４２によって定義される方法で順序を修正する。いずれの場合でも、抽出装置１３４によって出力される縮小または抽出されたデータストリーム１３６は、通常のデコーダー１４６によって復号され得る。デコーダー１４６は、抽出器ビデオデータストリーム１３６を受信し、そこからビデオ１３８を復号する。その画像１３４は、画像１００のようなビデオ１２０の画像よりも小さい。そして、その画像領域は、ビデオデータストリーム１３６内のスライス部分１２６内で伝達されるスライスアドレスαおよびβによって定義される方法で、ビデオデータストリーム１３６内のスライス部分１２６から復号されたスライス１０８を配置することによって満たされる。
【0037】
すなわち、これまで、図２は、その説明が、以下により詳細に説明される第２の情報１４２の正確な性質についての様々な実施形態に適合するように説明されてきた。
【0038】
ここで説明する実施形態は、ストリーム１４２からストリーム１３６に引き継がれたスライス部分１２６のスライスアドレスを修正する際に抽出装置１３４によって使用されるべきスライスアドレスの明示的なシグナリングを使用する。以下に説明する実施形態は、スライスアドレスを修正する方法のいくつかの許可されたオプションの１つを抽出装置１３４にシグナリングすることを可能にするシグナリング１４２を使用する。例えば、セクション１１０の空間的境界を越えないようにセクション１１０の内部の符号化相互依存性を制限する方法で符号化されたセクション１１０の結果としてのオプションの許容は、次々に、図１に示すように、セクション１１０を１１０ａおよび１１０ｃまたはタイルａ、ｂ、ｃ、ｄなどの２つ以上の領域に分割する。後者の実施形態は、それ自体でアドレスを計算する面倒なタスクを実行するために抽出装置１３４をさらに含んでもよいが。しかし、対応する抽出または縮小されたビデオデータストリーム１３６に基づいて、受信側で意味のあるビデオ１３８になるように、元のビデオ１２０内の異なるタイプの画像コンテンツの効率的な処理を可能にする。
【0039】
つまり、図１に関して上記で概説したように、抽出装置１３４におけるスライスアドレス決定の面倒なタスクは、第２の情報１４２による抽出プロセスにおけるアドレスの修正方法の明示的な送信により、本願の実施形態に従って軽減される。この目的に使用できる構文の具体例を以下に示す。
【0040】
特に、情報１４２を使用して、スライス部分１２６がビットストリーム１２４’で運ばれるのと同じ順序でストリーム１２４’に含まれるスライスアドレス置換のリストを含めることにより、抽出されたＭＣＴＳのスライスヘッダーで使用される新しいスライスアドレスを明示的にシグナリングすることができる。たとえば、図１の例を参照して下さい。ここで、情報１４２は、ビットストリーム内のスライスアドレス１２４’の順序に従うスライスアドレスの明示的なシグナリングである。再び、スライス１０８および対応するスライス部分１２６は、抽出プロセスで引き継がれるので、抽出されたビデオデータストリーム１３６の順序は、これらのスライス部分１２６がビデオデータストリーム１２４’に含まれた順序に対応する。後続の構文の例によれば、情報１４２は、第２のスライスまたはスライス部分１２６以降で始まる方法でスライスアドレスを明示的に通知する。図１の場合、この明示的なシグナリングは、リスト｛２、４、８｝を示すまたはシグナリングする第２の情報１４２に対応するであろう。この実施形態の例示的な構文は、図３の構文の例に示されており、ハイライトとして、［２］から知られているＭＣＴＳ抽出情報ＳＥＩに加えて、明示的なシグナリング１４２の対応する追加を示す。
【0041】
セマンティックスは以下に示されている。
【0042】
num＿associated＿slices＿minus2 [i] + 2は、リストmcts＿identifier [i] [j]の任意の値に等しいmcts識別子を持つＭＣＴＳを含むスライスの数を示す。
num＿extraction＿info＿sets＿minus1 [i]の値は、０から２32－２の範囲内でなければならない。
num＿extraction＿info＿sets＿minus1 [i]の値は、０から２32－２の範囲内でなければならない。
【0043】
output＿slice＿address [i] [j]は、mcts識別子がリストmcts＿identifier [i] [j]内の任意の値に等しいＭＣＴＳに属するビットストリーム順にｊ番目のスライスのスライスアドレスを識別する。output＿slice＿address [i] [j]の値は、０～２32－２の範囲内でなければならない。
【0044】
ＭＣＴＳ抽出情報ＳＥＩ内の情報１４２の存在、またはＭＴＣＳ関連情報１４０に加えて、データストリーム内のフラグによって制御できることに留意されたい。このフラグには、slice＿reordering＿enabled＿flagなどの名前を付けることができる。設定すると、情報１４０に加えて、num＿associated＿slices＿minus２やoutput＿slice＿addressなどの情報１４２が存在し、そうでない場合、情報１４２は存在せず、スライスの相互位置配置は抽出プロセスで順守されるか、そうでなければ処理される。
【0045】
さらに、Ｈ．２６５／ＨＥＶＣの命名法を使用すると、図３で使用されている構文要素名の「＿segment＿」の部分を「＿segment＿address＿」に置き換えることもできるが、技術内容は同じである。
【0046】
そしてさらに、num＿associated＿slices＿minus2は情報１４２がセクション１１０内のスライスの数を２の差の形でこの数を示す整数の形で示すことを示唆しているが、注意する必要がある。あるいは、セクション１１０内のスライスの数は、データストリームで直接または１との差としてシグナリングすることもできる。後者の場合、たとえば、代わりにnum＿associated＿slices＿minus1が構文要素名として使用される。任意のセクション１１０内のスライスの数は、たとえば、１つにすることもできる。
【0047】
［２］でこれまで予想されていたＭＣＴＳ抽出プロセスに加えて、追加の処理ステップは、図３で具体化されているように、情報１４２による明示的なシグナリングに関連付けられている。これらの追加の処理ステップは、抽出装置１３４によって実行される抽出プロセス内のスライスアドレスの導出を容易にし、この抽出プロセスの以下の概要は、促進が行われる場所について下線を引いて示している。
【0048】
ビットストリームinBitstream 、ターゲットMCTS識別子mctsIdTarget 、ターゲットMCTS抽出情報セット識別子mctsEISIdTarget 、およびターゲット最高TemporalId値mctsTIdTargetをサブビットストリームＭＣＴＳ抽出プロセスへの入力とする。サブビットストリームＭＣＴＳ抽出プロセスの出力は、サブビットストリームoutBitstreamである。この節でビットストリームと共に指定されたプロセスの出力である出力サブビットストリームは、適合ビットストリームであることが、出力ビットストリームのビットストリーム適合性の要件である。
【0049】
出力サブビットストリームは次のように導出される。
－ ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
－ mBitsTIdTargetより大きいTemporalIdを持つすべてのＮＡＬユニットをoutBitstreamから削除する。
－ outBitstreamの各アクセスユニットユニットの残りの各ＶＣＬ ＮＡＬについて、次のようにスライスセグメントヘッダーを調整する。
－ 最初のＶＣＬ ＮＡＬユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に設定する。それ以外の場合は０に設定する。
－ リストoutput＿slice＿address [i] [j]に従って、ビットストリーム順で２番目から始まる最初以外のＮＡＬユニット（スライス）のslice＿segment＿addressの値を設定する。
－ ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
－ mBitsTIdTargetより大きいTemporalIdを持つすべてのＮＡＬユニットをoutBitstreamから削除する。
－ outBitstreamの各アクセスユニットユニットの残りの各ＶＣＬ ＮＡＬについて、次のようにスライスセグメントヘッダーを調整する。
－ 最初のＶＣＬ ＮＡＬユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に設定する。それ以外の場合は０に設定する。
－ リストoutput＿slice＿address [i] [j]に従って、ビットストリーム順で２番目から始まる最初以外のＮＡＬユニット（スライス）のslice＿segment＿addressの値を設定する。
【0050】
図１から３に関して説明した実施形態の変形例は、スライスアドレスの明示的なシグナリングとして情報１４２を使用することにより、抽出装置１３４によって実行されるスライスアドレス決定および抽出プロセスの厄介なタスクを軽減した。図３の特定の例によれば、情報は、データストリーム１２４’からデータストリーム１３６へセクション１１０内のスライス１０８に関係するスライス部分１２６を引き継ぐ際にスライス順序を維持しながら、スライス部分順序で２番目以降のスライス部分１２６ごとに代替スライスアドレス１４３を含む。スライスアドレスの置換は、それぞれビデオ１３８の画像１４４の画像領域での1次元スライスアドレスの割り当てに関連している。順序１１２を使用し、引き継がれたスライス部分のシーケンスから得られたスライス１０８のシーケンスを使用して順序１１２に沿って画像１４４の画像領域を単に舗装することと競合しない。明示的なシグナリングは、第１のスライスアドレス、すなわち、第１のスライス部分１２６のスライスアドレスにも適用できることに留意され、また以下でさらに言及されるであろう。後者の場合でも、フォーメーション１４２に代替１４３が含まれている可能性がある。情報１４２のためのそのようなシグナリングはまた、ストリーム１２４’内の順序で、最初に対応するスライス１０８の配置を可能にし得る。セクション１１０内のスライス１０８を運ぶスライス部分１２６のうちのスライス部分１２６は、図１に示すように、左上の画像コーナーであり得る符号化順序１１２の開始位置以外のどこかにある。断面領域１１０ａおよび１１０ｂの再配置において、そのような可能性が存在するかまたは許可される場合には、スライスアドレスの明示的なシグナリングを使用して、自由度を高めることができる。例えば、図３に示される例を変更する際、情報１４２は、データストリーム１３６内の第１のスライス部分１２６、すなわち図２の場合のαおよびβの代わりにスライスアドレス置換１４３も明示的に通知する。次に、シグナル伝達１４２は、ビデオ１３８の出力画像内のセクション領域１１０ａおよび１１０ｂの２つの許可されたまたは利用可能な配置、すなわち、セクション領域１１０ａが画像の左側に配置されるものを区別することを可能にする。これにより、符号化順序１１２の開始位置でデータストリーム１３６内の最初に送信されたスライス部分１２６に対応するスライス１０８が残り、そして、ビデオデータストリーム１２４に関する限り、ビデオ１２０の画像１００のスライス順序と比較してスライス１０８の間の順序を維持する。これにより、符号化順序１０６によってビデオデータストリーム１２４内の元のビデオで同じスライスがトラバースされる順序と比較して、符号化順序１１２によってトラバースされる画像１４４内のスライス１０８の順序が変更される。シグナル伝達１４２は、抽出装置１３４による補正に使用されるスライスアドレスを、ビデオデータストリーム１２４’内のスライス部分１２６に順序付けられた、または割り当てられたスライスアドレス１４３のリストとして明示的にシグナリングする。すなわち、情報１４２は、セクション１１０内の各スライスのスライスアドレスを、これらのスライス１０８が符号化順序１０６によってトラバースされる順序で連続的に示し、そして、この明示的なシグナリングは、セクション１１０のセクション領域１１０ａおよび１１０ｂが、元の符号化順序１０６によってトラバースされた順序と比較して、順序１１２によってトラバースされる順序を変更するような置換をもたらす可能性がある。ストリーム１２４’からストリーム１３６に引き継がれたスライス部分１２６は、それに応じて抽出装置１３４によって再順序付けされる、すなわち、抽出されたスライス部分１２６のスライス１０８が順序１１２によって連続的に横断される順序に適合するようにされる。ビデオデータストリーム１２４’から引き継がれたスライス部分１２６に従って、縮小または抽出されたビデオデータストリーム１３６の標準適合性は、符号化順序１１２に沿って互いに厳密に従う必要がある。つまり、抽出プロセスで抽出装置１３４によって修正されるように単調に増加するスライスアドレスαおよびβで維持される。したがって、抽出装置１３４は、引き継がれたスライス部分１２６間の順序を修正し、符号化順序１１２に沿ってそこに符号化されたスライス１０８の順序に従って引き継がれたスライス部分１２６を順序付ける。
【0051】
後者の側面、すなわち、引き継がれたスライス部分１２６のスライス１０８を再配置する可能性は、図２の説明のさらなる変形例に従って活用される。ここで、第２の情報１４２は、セクション１１０内の任意のスライス１０８に符号化されたスライス部分１２６間の順序の再配置を通知する。スライス部分の再配置をもたらす方法での明示的なシグナリングスライスアドレス置換１４３は、この現在説明されている実施形態の１つの可能性である。しかし、抽出または縮小されたビデオデータストリーム１３６内のスライス部分１２６の再配置は、異なる方法で情報１４２によって通知されてもよい。本実施形態は、最終的にデコーダー１４６で符号化順序１１２に厳密に沿ってスライス部分１２６から再構成された再構成スライスを配置し、これは、例えばタイルラスタースキャン順序を使用することを意味し、それにより画像１４４の画像領域を満たす。シグナル伝達１４２によって通知される再配置は、抽出されたまたは引き継がれたスライス部分１２６の間の順序を再配置または変更するように選択され、デコーダー１４６による配置により、スライス部分の非順序付けと比較して、例えば、領域１１０ａおよび１１０ｂなどの区分領域の順序が変わる可能性があるように、デコーダー１４６による配置がセクション領域をもたらす可能性がある。情報１４２によってシグナリングされた再配置が元のデータストリーム１２４’にあった順序を残す場合、部分領域１１０ａおよび１１０ｂは、画像１１０の元の画像領域にあった相対位置を維持することができる。
【0052】
現在のバリアントを説明するために、図４を参照する。図４は、元のビデオの画像１１０と、抽出されたビデオの画像１４４の画像領域を示している。さらに、図４は、タイル１０４への例示的なタイル分割、および２つのばらばらの断面領域またはゾーン１１０ａおよび１１０ｂ、すなわち画像１１０の反対側１５０rおよび１５０lに当接する断面領域１１０ａおよび１１０ｂからなる例示的な抽出セクション1１１０を示す。ここで、辺１５０rおよび１５０lの抽出方向に関する限り、すなわち垂直方向に沿ってそれらの位置が一致する。特に、図４は、画像１１０の画像コンテンツ、したがって画像１１０が属するビデオが特定のタイプ、すなわちパノラマビデオであることを示している。したがって、側面１５０rおよび１５０lは、３Ｄシーンを画像１１０の画像領域に投影する際にシーンを形成することができる。画像１１０の下で、図４は、抽出されたビデオの画像１４４の出力画像領域内にセクション１１０ａおよび１１０ｂを配置する方法の２つのオプションを示している。繰り返しになりますが、図４では２つのオプションを説明するためにタイル名が使用されている。２つのオプションは、ビデオ２１０が２つの領域１１０ａおよび１１０ｂのそれぞれに関して外部から独立して行われるような方法でストリーム１２４に符号化された結果である。
【0053】
再び、図４に関して今説明されている実施形態は、スライス１０８またはスライス１０８を運ぶデータストリーム１２４’のＮＡＬユニットが、順序を変更する第２の情報１４２を有することを目的とし、抽出装置１３４による抽出プロセス中に、データストリーム１２４’から抽出または縮小ビデオデータストリーム１３６に向けて転送または採用または書き込まれる。図４は、所望の画像サブセクション１１０が、画像１１０が広がる画像平面内の当接しないタイルまたはセクション領域１１０ａおよび１１０ｂからなる場合を示している。画像１１０のこの完全な符号化された画像平面は、タイルａ、ｂ、ｃおよびｄを含む２つの長方形１１０ａおよび１１０ｂからなる所望のＭＣＴＳ１１０を有するタイル状の境界を有する図４の上部に示される。シーンコンテンツに関する限り、または図４に示すビデオコンテンツがパノラマビデオコンテンツであるという事実により、画像１１０が、ここでは例示的に示した等角投影法により３６０°にわたってカメラの周囲を覆っているとき、所望のＭＣＴＳ１１０は左右の境界１５０rおよび１５０lの周りを包む。言い換えると、画像コンテンツがパノラマコンテンツである図４の例に起因して、出力画像１４４の画像エリア内のセクション領域１１０ａおよび１１０ｂの配置のオプション１および２のうち、第２のオプションは実際により理にかなっている。ただし、画像コンテンツがパノラマ以外の別のタイプである場合、状況は異なる可能性がある。
【0054】
言い換えれば、完全な画像ビットストリーム１２４’におけるタイルＡ、Ｂ、ＣおよびＤの順序は｛ａ、ｂ、ｃ、ｄ｝である。この順序が、抽出または縮小されたビデオデータストリーム１３６の符号化順序、または出力画像１４４の対応するタイルの配置に単純に転送される場合、図４の左下に示されるように、抽出プロセスは、上記の例示的なケース自体では、出力ビットストリーム１３６内に望ましいデータ配列をもたらさない。図４の右下に示すように、好ましい配置｛ｂ、ａ、ｄ、ｃ｝が示され、それは、デコーダー１４６などのレガシーデバイスのためのピクチャ１４４の画像平面上で連続的な画像コンテンツをもたらすビデオビットストリーム１３６をもたらす。そのようなレガシーデバイス１４６は、符号化後のピクセルドメインにおける後処理ステップとして、出力画像１４４のサブ画像領域を再配置する能力を有さない場合がある。つまり、レンダリング、および洗練されたデバイスでさえ、後処理の労力を避けることを好む場合がある。
【0055】
したがって、図４に関して上記の動機付けられた例によれば、第２の情報１４２は、ビデオデータストリームジェネレータ１２８の符号化側に、いくつかの選択またはオプションの中で好ましい順序を信号で伝える手段をそれぞれ提供する。例えば、ビデオデータストリーム１２４’内のそれぞれ１つ以上のタイルのセットで構成されるセクション領域１１０ａ、１１０ｂは、抽出または縮小されたビデオデータストリーム１３６またはその画像１４４が跨るその画像領域に配置されるべきである。図５に提示された特定の構文例によれば、第２の情報１４２は、データストリーム１２４’にコード化されたリストを含み、そして、抽出されたビットストリーム内のセクション１１０に入る各スライス１０８の位置を、元のビットストリーム順または入力ビットストリーム順、すなわち、ビットストリーム１２４’での発生順で示している。たとえば、図４の例では、優先オプション２は｛１、０、３、２｝を読み取るリストになる。図５は、ＭＣＴＳ抽出情報セットＳＥＩメッセージ内に第２の情報１４２を含む構文の具体例を示している。
【0056】
セマンティクスは次のようになる。
【0057】
num＿associated＿slices＿minus1 [i]プラス１は、リストmcts＿identifier [i] [j]の任意の値に等しいmcts識別子を持つＭＣＴＳを含むスライスの数を示す。num＿extraction＿info＿sets＿minus1 [i]の値は、０から２３２－２の範囲内でなければならない。
【0058】
output＿slice＿address[i] [j]は、mcts識別子がリストmcts＿identifier [i] [j]内の任意の値に等しいＭＣＴＳに属するビットストリーム順にj番目のスライスのスライスアドレスを識別する。output＿slice＿address [i] [j]の値は、０からから２23－２の範囲にある。
【0059】
[2]で定義された抽出プロセスの追加の処理ステップを次に説明し、図５のシグナリングの実施形態の理解を容易にする。[2]に関連する追加は、下線で強調表示される。
【0060】
ビットストリームinBitstream、ターゲットＭＣＴＳ識別子mctsldTarget、ターゲットＭＣＴＳ抽出情報セット識別子mctsEISIdTarget およびターゲット最高TemporalId値mctsTldTargetをサブビットストリームＭＣＴＳ抽出プロセスへの入力とする。サブビットストリームＭＣＴＳ抽出プロセスの出力は、サブビットストリームoutBitstreamである。この節でビットストリームとともに指定されたプロセスの出力である出力サブビットストリームは、適合ビットストリームであることが、入力ビットストリームのビットストリーム適合性の要件である。
【0061】
OutputSliceOrder [j]は、i番目の抽出情報セットのリストoutput＿slice＿order [i] [j]から派生する。
【0062】
出力サブビットストリームは、次のように導出される。
－ ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
[...]
－ mBitsTIdTargetより大きいTemporalIdを持つすべてのＮＡＬユニットをoutBitstreamから削除する。
－ リストOutputSliceOrder [j]に従って各アクセスユニットのＮＡＬユニットをソートする。
－ outBitstreamの残りの各ＶＣＬ ＮＡＬユニットについて、スライスセグメントヘッダーを次のように調整する。
－ 各アクセスユニット内の最初のＶＣＬ ＮＡＬユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に設定する。それ以外の場合は０に設定する。
－ pps＿pic＿parameter＿set＿idがslice＿pic＿parameter＿set＿idと等しいＰＰＳで定義されたタイル設定に従って、slice＿segment＿addressの値を設定する。
－ ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一に設定される。
[...]
－ mBitsTIdTargetより大きいTemporalIdを持つすべてのＮＡＬユニットをoutBitstreamから削除する。
－ リストOutputSliceOrder [j]に従って各アクセスユニットのＮＡＬユニットをソートする。
－ outBitstreamの残りの各ＶＣＬ ＮＡＬユニットについて、スライスセグメントヘッダーを次のように調整する。
－ 各アクセスユニット内の最初のＶＣＬ ＮＡＬユニットについて、first＿slice＿segment＿in＿pic＿flagの値を１に設定する。それ以外の場合は０に設定する。
－ pps＿pic＿parameter＿set＿idがslice＿pic＿parameter＿set＿idと等しいＰＰＳで定義されたタイル設定に従って、slice＿segment＿addressの値を設定する。
【0063】
したがって、図５による図２の実施形態の上記の変形例を要約する。この変形は、第２の情報１４２は、スライスアドレスがどのように修正されるべきかに関して明示的に信号を送らないという点で、図３に関して上記で議論されたものと異なる。すなわち、第２の情報１４２は、上で概説した変形例に従って、データストリーム１２４からデータストリーム１３６に抽出されたスライス部分のスライスアドレスの代替を明示的にシグナリングしない。むしろ、図５の実施形態は、第１の情報１４０が画像１００の画像領域内の空間セクション１１０を定義する場合に関し、少なくとも、第１の部分領域１００ａの外側から独立したビデオがビデオデータストリーム１２４’に符号化される第１の部分領域、および第２の部分領域１１０ｂから構成されるものとして、その中で、ビデオ１２０は、第２の部分領域１１０ｂの外部から独立したビデオデータストリーム１２４’に符号化される。複数のスライス１０８のいずれも、第１および第２の部分領域１１０ａおよび１１０ｂのいずれの境界とも交差しない。少なくともこれらの領域１１０ａおよび１１０ｂの単位で、抽出されたビデオデータストリーム１３６の出力ビデオ１３８の画像１４４は、異なるように構成され得る。第２の情報１４２は、スライス部分の順序とビデオデータストリーム１２４’に関連しているビデオデータストリーム１２４’から縮小ビデオデータストリーム１３６を抽出する際に領域１１０に位置するスライス１０８のスライス部分１２６をどのように再ソートするかを示す再ソート情報を通知する。再ソート情報１４２は、例えば、１つまたは複数の構文要素のセットを含むことができる。情報１４２を形成する１つまたは複数の構文要素によってシグナリングされる可能性のある状態の中には、再ソートが元の順序を維持する状態があり得る。例えば、情報１４２は、領域１１０に入る画像１００のスライス１０８の１つを符号化する各スライス部分１２６のランク（図５のｃｐ．１４１）を通知し、そして、抽出装置１３４は、これらのランクに従って、抽出または縮小されたビデオデータストリーム１３６内のスライス部分１２６を並べ替える。
次に、抽出装置１３４は、以下の方法で、縮小または抽出されたビデオデータストリーム１３６内のこのように再構成されたスライス部分１２６のスライスアドレスを修正する。抽出装置１３４は、データストリーム１２４’からデータストリーム１３６に抽出されたビデオデータストリーム１２４’内のスライス部分１２６について知っている。したがって、抽出装置１３４は、画像１００の画像領域内のこれらの引き継がれたスライス部分１２６に対応するスライス１０８について知っている。情報１４２によって提供される再配置情報に基づいて、抽出装置１３４は、ビデオ１３８の画像１４４に対応する長方形の画像領域をもたらすように、どのように部分領域１１０ａおよび１１０ｂが相互に平行移動して相互にシフトされたかについて決定することができる。例えば、図４、オプション２の例では、抽出装置１３４は、スライスアドレス０が第２の情報１４２で提供されるランクのリストの第２の位置で発生するとき、タイルアドレスｂに対応するスライスにスライスアドレス０を割り当てる。したがって、抽出装置１３４は、タイルｂに関連する１つまたは複数のスライスを配置し、次いで、再ソート情報に従って、ポジトンを指すスライスアドレスに関連付けられている次のスライスを追跡することができ、符号化順序１１２は、画像領域のタイルｂの直後に続く。図４の例では、これはタイルａに関するスライスである。これは、画像１００の領域１１０の最初のスライスａに対して次のランク付けされた位置が示されているためである。言い換えると、再ソートは、部分領域１１０ａおよび１１０ｂの可能な再配置のいずれかにつながるように制限されている。各部分領域について、個々に、符号化順序１０６および１１２が同じ経路内のそれぞれの部分領域を横断することは事実である。しかし、タイリングにより、画像１４４の画像領域の部分領域１１０ａおよび１１０ｂに対応する領域が、つまり、オプション２の場合、タイルｂとｄの組み合わせの領域と、タイルＡとＣの組み合わせの領域は、符号化順序１１２によってインターリーブ方式でトラバースされ、それに応じて、対応するタイルにあるスライスを符号化する関連スライス部分１２６は、抽出または縮小されたビデオストリーム１３６内でインターリーブされる。
次に、抽出装置１３４は、以下の方法で、縮小または抽出されたビデオデータストリーム１３６内のこのように再構成されたスライス部分１２６のスライスアドレスを修正する。抽出装置１３４は、データストリーム１２４’からデータストリーム１３６に抽出されたビデオデータストリーム１２４’内のスライス部分１２６について知っている。したがって、抽出装置１３４は、画像１００の画像領域内のこれらの引き継がれたスライス部分１２６に対応するスライス１０８について知っている。情報１４２によって提供される再配置情報に基づいて、抽出装置１３４は、ビデオ１３８の画像１４４に対応する長方形の画像領域をもたらすように、どのように部分領域１１０ａおよび１１０ｂが相互に平行移動して相互にシフトされたかについて決定することができる。例えば、図４、オプション２の例では、抽出装置１３４は、スライスアドレス０が第２の情報１４２で提供されるランクのリストの第２の位置で発生するとき、タイルアドレスｂに対応するスライスにスライスアドレス０を割り当てる。したがって、抽出装置１３４は、タイルｂに関連する１つまたは複数のスライスを配置し、次いで、再ソート情報に従って、ポジトンを指すスライスアドレスに関連付けられている次のスライスを追跡することができ、符号化順序１１２は、画像領域のタイルｂの直後に続く。図４の例では、これはタイルａに関するスライスである。これは、画像１００の領域１１０の最初のスライスａに対して次のランク付けされた位置が示されているためである。言い換えると、再ソートは、部分領域１１０ａおよび１１０ｂの可能な再配置のいずれかにつながるように制限されている。各部分領域について、個々に、符号化順序１０６および１１２が同じ経路内のそれぞれの部分領域を横断することは事実である。しかし、タイリングにより、画像１４４の画像領域の部分領域１１０ａおよび１１０ｂに対応する領域が、つまり、オプション２の場合、タイルｂとｄの組み合わせの領域と、タイルＡとＣの組み合わせの領域は、符号化順序１１２によってインターリーブ方式でトラバースされ、それに応じて、対応するタイルにあるスライスを符号化する関連スライス部分１２６は、抽出または縮小されたビデオストリーム１３６内でインターリーブされる。
【0064】
さらなる実施形態は、既存の構文を使用してシグナリングされるさらなる順序が好ましい出力スライス順序を反映するという保証をシグナリングすることである。より具体的には、ＭＣＴＳ抽出ＳＥＩメッセージ［２］の発生を、タイル／ＮＡＬユニットの優先出力順序を示す［１］のセクションＤ．２．２９およびＥ．２．２９からのＭＣＴＳ ＳＥＩメッセージでＭＣＴＳを形成する長方形の順序を保証するものとして解釈することにより、この実施形態を実施することができる。図５の具体例では、含まれるタイルごとに｛ｂ、ａ、ｄ、ｃ｝の順序で長方形が使用される。この実施形態の例は、OutputSliceOrder [j] の導出を除いて、上記のものと同一であろう。
【0065】
OutputSliceOrder [j] は、ＭＣＴＳ ＳＥＩメッセージで通知された長方形の順序から導出される。
【0066】
上記の例を要約すると、第２の情報１４２は、スライス部分１２６がビデオデータストリーム１２４'のスライス部分１２６のシーケンスでどのように順序付けられているかに関して、ビデオデータストリームから縮小されたビデオデータストリーム１３６を抽出する際に空間セクション１１０に入るスライスのスライス部分１２６をどのように再ソートするかを抽出装置１３４に信号で伝えることができる。ビデオデータストリーム１２４'のスライス部分のシーケンスの各スライス部分１２６のスライスアドレスは、第１のコーディングスキャン順序１０６に沿って各スライス部分１２６にエンコードされたスライス１０８のコーディング開始位置を一次元的にインデックス付けし、そしてそれは、画像領域を横断し、それに沿って画像１００がビデオデータストリームのスライス部分のシーケンスにコード化されている。それにより、ビデオデータストリーム１２４'内のスライス部分のシーケンスのスライス部分のスライスアドレスは単調に増加し、ビデオデータストリーム１２４'からの縮小されたビデオデータストリーム１３６の抽出におけるスライスアドレスの修正は、縮小した画像領域を走査し、スライス部分１２６のスライスアドレスを設定して、第２の符号化スキャン順序１１２に沿って測定されたスライスのコーディング開始の位置にインデックスを付ける第２の符号化スキャン順序１１２に沿って、符号化されたスライスを、縮小されたビデオデータストリーム１３６が制限され、第２の情報１４２によってシグナリングされるように再ソースされるスライス部分に順次配置することにより定義される。
第１の符号化走査順序１０６は、各空間領域が第２の符号化走査順序１１２によって横断される方法に一致する方法で、少なくとも２つの区分領域のセットの各々内の画像領域を横断する。少なくとも２つの区分領域のセットのそれぞれは、第１の情報１４０によって、画像１００が細分化される行および列への長方形タイルのサブアレイとして示され、そこで、第１および第２のコーディングスキャン順序は、次のタイルに進む前に現在のタイルを完全に横断する行方向のタイルラスタースキャンを使用する。
第１の符号化走査順序１０６は、各空間領域が第２の符号化走査順序１１２によって横断される方法に一致する方法で、少なくとも２つの区分領域のセットの各々内の画像領域を横断する。少なくとも２つの区分領域のセットのそれぞれは、第１の情報１４０によって、画像１００が細分化される行および列への長方形タイルのサブアレイとして示され、そこで、第１および第２のコーディングスキャン順序は、次のタイルに進む前に現在のタイルを完全に横断する行方向のタイルラスタースキャンを使用する。
【0067】
すでに上記で説明したように、出力スライスの順序は、上記のoutput＿slice＿address [i] [j]などの別の構文要素から導出できる。この場合のoutput＿slice＿address [i] [j]に関する上記の構文例への重要な追加は、ソートを有効にする最初のものを含むすべての関連スライスのスライスアドレスが通知されることである。この実施形態の例は、OutputSliceOrder [j]の導出を除いて、上記のものと同一であろう。
【0068】
OutputSliceOrder [j]／OutputSliceOrder [j] は、ｉ番目の抽出情報セットのリストoutput＿slice＿address [i] [j]から派生する。
【0069】
さらに別の実施形態は、ビデオコンテンツが画像境界のセット、例えば、垂直方向の画像の境界など画像境界でラップアラウンドすることを示す情報１４２上の単一のフラグからなる。したがって、出力順序は、前述のように両方の画像境界上のタイルを含む画像サブセクションに対応する抽出装置１３４で導出されます。言い換えれば、情報１４２は、２つのオプションのうちの１つを通知することができる。複数のオプションの第１のオプションは、ビデオがシーンの異なるエッジ部分が互いに当接するようにシーンを示すパノラマビデオであることを示し、そして、複数のオプションのうちの第２のオプションは、異なるエッジ部分が互いにシーン的に当接していないことを示す。セクション１１０が構成される少なくとも２つのセクション領域ａ、ｂ、ｃ、ｄは、異なるエッジ部分の異なる部分、すなわち、左および右エッジ１５０ｒおよび１５０ｌに当接する第１および第２のゾーン１１０ａ、１１０ｂから構成される。そのため、第２の情報１４２が第１のオプションを通知する場合、縮小された画像領域は、少なくとも２つの部分領域のセットを組み合わせて構成され、第１のゾーンと第２のゾーンが異なるエッジ部分に沿って当接し、そして、第２の情報１４２が第２のオプションを通知する場合、縮小された画像領域は、少なくとも２つの部分領域のセットを組み合わせることにより構成され、第１および第２のゾーンは、互いに反対側を向いた異なるエッジ部分を有する。
【0070】
完全を期すためだけに、画像１４４の画像領域の形状は、図１の（ａ、ｃ、ｂ、ｄ）などの接続されたクラスターの相対的な配置を維持する方法で一緒にセクション１１０のタイルａ、ｂ、ｃおよびｄなどの様々な領域をつなぎ合わせることに適合するように制限されないことに留意すべきであり、また、図２のゾーン（ａ、ｃ）および（ｂ、ｄ）を水平方向にステッチするなど、最短距離で相互接続する方向に沿ってこのようなクラスターをステッチする。むしろ、たとえば、図１では、抽出されたデータストリームの画像の画像領域は４つの領域すべての列である可能性があり、図２では４つの領域すべての行の列である。一般に、ビデオ１３８の画像１４４の画像領域のサイズと形状は、データストリーム１２４'の異なる部分に存在する。例えば、この情報は、ストリーム１２４'からセクション固有のサブストリーム１３６を抽出する際に、パラメーターセットの適応に関して抽出装置１３４の抽出プロセスをガイドすることを目的とするように、情報１４０内の１つ以上のパラメーターの形で与えられ得る。ストリーム１２４'のパラメーターセットを置き換えるネストされたパラメーターセットは、たとえば、情報１４０に含まれ、このパラメーターセットには以下が含まれる。例えば、画像のサイズに関連するパラメーターは、たとえばピクセル単位で画像１４４のサイズと形状を示し、抽出装置１３４での抽出中にストリーム１２４'のパラメーターセットを置き換えると、画像１００のサイズを示すパラメーターセット内の古いパラメーターが上書きされる。
【0071】
また、より洗練されたシステム設定では、３次投影を使用できることにも注意する必要がある。この投影法は、サンプリング密度が大きく変化するなど、正距円筒図法の既知の弱点を回避する。ただし、３次投影を使用する場合、コンテンツ（またはそのサブセクション）から連続ビューポートを再作成するには、レンダリングステージが必要である。このようなレンダリング段階では、複雑さと機能のトレードオフが異なる場合があるけれども、つまり、いくつかの実行可能な既製のレンダリングモジュールは、コンテンツ（またはそのサブセクション）の所定の配置を期待する場合がある。このようなシナリオでは、次の発明で可能になるように配置を操作する可能性が不可欠である。
【0072】
以下において、本願の第２の態様に関連する実施形態が説明される。本出願の第２の態様の実施形態の説明は、これらの実施形態によって想定され対処される一般的な問題または問題への簡単な紹介から再び始まる。
【0073】
３６０°ビデオに限定されないコンテキストでのＭＣＴＳ抽出の興味深い使用例は、図６に示すように、画面上で隣り合うコンテンツの複数の解像度のバリエーションを含む複合ビデオである。図６の下部は、複数の解像度を備えた構成ビデオ３００を示し、線３０２は、対応するデータストリームに符号化するために高解像度ビデオ３０６および低解像度ビデオ３０８の構成が細分化されたタイル３０４のタイル境界を示す。
【0074】
より正確には、図６は、３０６での高解像度ビデオの画像と、３０８での低解像度ビデオの同時時間画像などの画像を示している。例えば、ビデオ３０６と３０８の両方は、まったく同じシーンを示している、すなわち、同じ図または視野を持っているが、解像度は異なる。ただし、視野は、部分的にのみ互いに代替的に重なり合う場合があり、オーバーラップゾーンでは、空間解像度は、ビデオ３０８と比較してビデオ３０６の写真のサンプル数が異なる。実際には、ビデオ３０６と３０８は忠実度、すなわち、同じシーンセクションのサンプル数またはピクセル数が異なる。ビデオ３０６と３０８の同じ場所にある写真は、横に並んで大きな写真に合成され、合成ビデオ３００の写真になる。たとえば、図６は、ビデオ３０８の画像が水平方向に半分になることを示していて、２つの半分は上下に重なっており、対応するビデオ３００が得られるように、ビデオ３０６の同時時間画像の右側に添付される。タイル３０４は、一方ではビデオ３０６の高解像度画像と、他方では低解像度ビデオ３０８から生じる画像コンテンツとの間の接合部を横切らないように実行される。図６の例では、画像３００のタイリングにより、ビデオ３００の画像の高解像度画像コンテンツが分割される８×４タイルと、低解像度ビデオ３０８に由来する各半分が分割される２×２タイルになる。全体として、ビデオ３００の画像の幅は１０×４である。
【0075】
そのような複数の解像度の合成ビデオ３００が適切な方法によりＭＣＴＳで符号化される場合、ＭＣＴＳ抽出は、コンテンツの変形３１２を生成することができる。そのような変形例３１２は、例えば、図７に示すように、所定のサブピクチャ３１０ａを高解像度で、シーンの残りまたは別のサブセクションを低解像度で描くように設計することができ、そこで、複合画像ビットストリーム内のＭＣＴＳ３１０は、３つの側面または別個の領域３１０ａ、ｂ、ｃと比較される。
【0076】
すなわち、抽出されたビデオの画像、すなわち画像３１２は、ＭＣＴＳ領域３１０ａ、ｂ、ｃの１つにそれぞれ対応する３つのフィールド３１４ａ、３１４ｂおよび３１４ｃを有し、領域３１０ａは、画像３００の高解像度画像エリアのサブエリアであり、そして、他の２つの領域３１０ｂおよび３１０ｃは、画像３０８の低解像度ビデオコンテンツのサブ領域である。
【0077】
これを述べたので、図８に関して、本願の第２の態様に関する本願の実施形態を説明する。言い換えると、図８は、多重解像度コンテンツを受信者サイト、特に、受信サイトまで異なる解像度の複数バージョンの生成に参加している個々のサイトに提示するシナリオを示している。図８に示すプロセスパスに沿ってさまざまなサイトに配置された個々のデバイスとプロセスは、個々のデバイスと方法を表し、したがって、図８はシステムまたは方法全体のみを示すものとして解釈されるべきではないことに注意する必要がある。同様の記述は、同様に個々のデバイスと方法を示す図２に関しても当てはまる。これらすべてのサイトを１つの図にまとめて表示する理由は、これらの図に関して説明した実施形態から生じる相互関係と利点の理解を容易にするためだけである。
【0078】
図８は、ピクチャ３３４のビデオ３３２にエンコードされたビデオデータストリーム３３０を示している。一方、画像３３４は、高解像度ビデオ３３８の同時時間画像３３６と低解像度ビデオ３４２の画像３４０とをつなぎ合わせた結果である。より正確には、ビデオ３３８および３４２の画像３３６および３４０は、まったく同じビューポート３４４に対応するか、または重複領域で同じシーンを表示するように少なくとも部分的に重複する。ただし、対応する低解像度画像３４０と同じシーンコンテンツをサンプリングする高解像度ビデオ画像３３６のサンプル数はより多く、したがって、画像３３６の忠実度のシーン解像度は画像３４０のものよりも高い。ビデオ３３８および３４２に基づくコンポジションビデオ３３２の画像３３４の構成は、コンポーザ３４６によって実行される。コンポーザ３４６は、画像３３６と３４０をつなぎ合わせる。そうすることで、コンポーザ３４６は、コンポジションビデオ３３２の画像３３４の画像領域の有利なフィリングおよびパッチングをもたらすために、低解像度ビデオの画像３４０またはその両方の高解像度ビデオ３３８の画像を再分割することができる。次に、ビデオエンコーダ３４８は、合成ビデオ３３２をビデオデータストリーム３３０に符号化する。ビデオデータストリーム生成装置３５０は、ビデオデータストリーム３３０に、画像３３４、または各画像またはビデオ３３２を示すシグナル伝達３５２を提供するために、ビデオエンコーダ３４８に含まれるか、ビデオエンコーダ３４８の出力に接続されてもよく、または、ビデオ３３２内のピクチャの特定のシーケンス内の各ピクチャまたはビデオ３３２は、ビデオデータストリーム３３０に符号化されると、共通のシーンコンテンツを複数回、つまり互いに異なる解像度で異なる空間部分に表示する。これらの部分は、コンポーザ３４６によって行われた合成によってその起源を示すためにＨとＬを使用して図８に示されており、参照符号３５４および３５６を使用して示されている。画像３３２のコンテンツを形成するために２つ以上の異なる解像度バージョンがまとめられている可能性があり、それぞれ単に説明のためのものである図８および図６および図７に示されるように、２つのバージョンの使用に注意する必要がある。
【0079】
図８は、例示のために、ビデオデータストリーム３３０を受信するビデオデータストリームプロセッサ３５８を示している。ビデオデータストリームプロセッサ３５８は、例えば、ビデオデコーダであり得る。いずれにせよ、ビデオデータストリームプロセッサ３５８は、このデータ化に基づいて、例えば、ビデオデータストリームプロセッサ３５８またはその下流に接続されたデバイスの特定の能力にさらに依存するビデオデータストリーム３３０の復号など、ビデオデータストリームプロセッサ３５８が処理を開始すべきかどうかを決定するために、シグナル伝達３５２を検査することができる。例えば、ビデオデータストリームプロセッサ３５８は、ビデオデータストリーム３３０に完全にコード化された画像３３２を単に提示することができるだけであり、次に、ビデオデータストリームプロセッサ３５８は、ビデオデータストリーム３３０の処理を拒否する場合があり、そのシグナル伝達３５２は、その個々の画像がこれらの個々の画像の異なる空間部分で異なる空間解像度で共通のシーンコンテンツを示すことを意味する。すなわち、シグナル伝達３５２は、ビデオデータストリーム３３０が多重解像度ビデオデータストリームであることを意味する。
【0080】
シグナル伝達３５２は、例えば、データストリーム３３０内で伝達されるフラグを含むことができ、フラグは第１の状態と第２の状態との間で切り替え可能である。第１の状態は、例えば、ちょうど概説した事実、すなわち、ビデオ３３２の個々の画像が異なるシーン解像度の同じシーンコンテンツの複数のバージョンを示すことを示し得る。第２の状態は、このような状況が存在しないことを示す。つまり、画像は１つの解像度で１つのシーンコンテンツのみを表示する。したがって、ビデオデータストリームプロセッサ３５８は、特定の処理タスクの実行を拒否するように、フラグ３５２が第１の状態にあることに応答するであろう。
【0081】
前述のフラグなどのシグナル伝達３５２は、そのシーケンスパラメーターセットまたはビデオパラメーターセット内のデータストリーム３３０内で伝達され得る。ＨＥＶＣでの将来の使用のために予約されている可能な構文要素は、以下の説明において可能な候補として例示的に特定されている。
【0082】
図６および７に関して上記で示したように、必ずしも必要ではありませんが、相互に重複しない空間領域３６０のセットのそれぞれに関して、それぞれの空間領域３６０の外側から独立したタイルまたはタイルサブアレイなど合成ビデオ３３２がビデオデータストリーム３３０に符号化されていることが考えられる。符号化非依存性は、図２に関して上記で説明したように、空間領域３６０間の境界を越えないように、空間的および時間的予測および／またはコンテキスト導出を制限する。したがって、例えば、符号化依存性は、ビデオ３３２の特定の画像３３４の特定の空間領域３６０の符号化を制限し、ビデオ３３２の別の画像３３４内の同じ場所にある空間領域を画像３３４と同じ方法で参照することができる。ビデオエンコーダ３４８は、ビデオデータストリーム３３０に、情報１４０または情報１４０と１４２の組み合わせなどの抽出情報を提供するか、装置１２８のようなそれぞれの装置をその出力に接続することができる。抽出情報は、図７の抽出セクション３１０などの抽出セクションとして、空間領域３６０の特定のまたはすべての可能な組み合わせに関連し得る。次に、シグナル伝達３５２は、ビデオ３３２の画像３３４の異なるシーン解像度のセクション３５４および３５６への空間的細分化、すなわち、画像３３２の画像領域内の各空間セクション３５４および３５６のサイズおよび位置に関する情報を含み得る。シグナル伝達３５２内のそのような情報に基づいて、ビデオデータストリームプロセッサ３５８は、例えば、空間領域３６０を混合する抽出セクションなど、ビデオストリーム３３０のおそらく抽出可能なセクションのリストから特定の抽出セクションを除外することができる。たとえば、セクション３５４および３５６の異なるものに分割される空間領域３６０を混合するこれらの抽出セクションにより、異なる解像度を混合する抽出セクションに関するビデオ抽出のパフォーマンスを回避する。この場合、ビデオストリームプロセッサ３５８は、例えば、図２の抽出装置などの抽出装置を含むことができる。
【0083】
追加または代替として、シグナル伝達３３０は、ビデオ３３２の画像３３４が相互に共通のシーンコンテンツを示す異なる解像度に関する情報を含むことができる。さらに、シグナル伝達３５２は、ビデオ３３２の画像３３４が異なる画像位置で共通のシーンコンテンツを複数回示す異なる解像度のカウントを単に示すことも可能である。
【0084】
既に述べたように、ビデオデータストリーム３３０は、ビデオデータストリーム３３０が抽出可能である可能性のある抽出領域のリストに関する抽出情報を含むことができる。次に、シグナル伝達３５２は、これらの抽出領域の少なくとも１つ以上のそれぞれについて、共通のシーンコンテンツが各抽出領域内で最高の解像度で示される各抽出領域の部分領域のビューポート方向を示すさらなるシグナリング、および／または、各抽出領域の全体領域の内、共通のシーンコンテンツが各抽出領域内で最高の解像度で表示される各抽出領域の断面領域の面積シェア、および／または、各抽出領域の全体的な領域の内、共通のシーンコンテンツがそれぞれ相互に異なる解像度で示される部分領域への各抽出領域の空間的細分化を、含むことができる。
【0085】
したがって、そのようなシグナル伝達３５２は、ストリーミングシステムに容易にプッシュアップできるように、ビットストリームの高レベルで公開される場合がある。
【0086】
１つのオプションは、プロファイル層レベルの構文で一般に予約されているゼロＸビットフラグの１つを使用することである。フラグには、一般的な非多重解像度フラグとして名前を付けることができる。
【0087】
１に等しい一般的な非多重解像度フラグは、復号された出力画像に、さまざまな解像度で同じコンテンツの複数のバージョンが含まれないことを指定する（つまり、地域パッキングなどの各構文が制約される）。０（ゼロ）に等しい一般的な非多重解像度フラグは、ビットストリームにそのようなコンテンツが含まれる可能性があることを指定する（つまり、制約なし）。
【0088】
それに加えて、したがって、本発明は、完全なビットストリームコンテンツ特性の性質について、すなわち、構成におけるバリアントの数および解像度について通知するシグナリングで構成される。さらに、各ＭＣＴＳの以下の特性に関する符号化ビットストリームの情報を簡単にアクセスできる形式で提供する追加のシグナリング：
・メインビューポイントの方向：ＣＴＳ高解像度ビューポートセンターの向きは何ですか。たとえば、事前定義された初期ビューポートセンターからの（delta-yaw）ピッチ、および／またはロールの観点からである。
・全体的なカバレッジ
ＭＣＴＳで表される完全なコンテンツの割合。
・高から低の解像度比
ＭＣＴＳの高解像度領域と低解像度領域の比率、つまり、カバーされる全コンテンツのどれだけが高解像度／忠実度で表現されるか。
・メインビューポイントの方向：ＣＴＳ高解像度ビューポートセンターの向きは何ですか。たとえば、事前定義された初期ビューポートセンターからの（delta-yaw）ピッチ、および／またはロールの観点からである。
・全体的なカバレッジ
ＭＣＴＳで表される完全なコンテンツの割合。
・高から低の解像度比
ＭＣＴＳの高解像度領域と低解像度領域の比率、つまり、カバーされる全コンテンツのどれだけが高解像度／忠実度で表現されるか。
【0089】
ビューポートの向きまたは完全な全方向性ビデオの全体的なカバレッジのために提案されたシグナリング情報がすでに存在する。潜在的に抽出される可能性のあるサブ領域に同様のシグナリングを追加する必要がある。この情報はＳＥＩ［２］の形式であるため、ＳＥＩをネストするモーション制約付きタイルセット抽出情報に含めることができる。ただし、抽出するＭＣＴＳを選択するには、このような情報が必要である。
ＳＥＩをネストするMotion-constrained（動きに制約があるモーション制約タイルセット）タイルセットの情報を取得すると、間接性が追加され、特定のＭＣＴＳを選択するためにより深い解析（ＳＥＩをネストするモーション制約のあるタイルセットの抽出情報には、抽出されたセットを選択するために必要のない追加情報が含まれている）が必要になる。設計の観点からは、抽出されたセットを選択するための重要な情報のみを含む中心点で、この情報またはそのサブセットを通知するのがよりクリーンなアプローチである。さらに、言及されたシグナリングにはビットストリーム全体に関する情報が含まれており、提案されているケースでは、どちらが高解像度のカバレッジであり、どちらが低解像度のカバレッジであるかをシグナリングすることが望ましいであろう。また、より多くの解像度が混在している場合は、各解像度のカバレッジと、混合解像度で抽出されたビデオのビューポートの向きである。
ＳＥＩをネストするMotion-constrained（動きに制約があるモーション制約タイルセット）タイルセットの情報を取得すると、間接性が追加され、特定のＭＣＴＳを選択するためにより深い解析（ＳＥＩをネストするモーション制約のあるタイルセットの抽出情報には、抽出されたセットを選択するために必要のない追加情報が含まれている）が必要になる。設計の観点からは、抽出されたセットを選択するための重要な情報のみを含む中心点で、この情報またはそのサブセットを通知するのがよりクリーンなアプローチである。さらに、言及されたシグナリングにはビットストリーム全体に関する情報が含まれており、提案されているケースでは、どちらが高解像度のカバレッジであり、どちらが低解像度のカバレッジであるかをシグナリングすることが望ましいであろう。また、より多くの解像度が混在している場合は、各解像度のカバレッジと、混合解像度で抽出されたビデオのビューポートの向きである。
【0090】
一実施形態は、各解像度のカバレッジを追加し、［２］から３６０ ＥＲＰ ＳＥＩに追加することである。次に、このＳＥＩは、ＳＥＩをネストするMotion-constrainedタイルセット抽出情報に含まれる可能性があり、上記の面倒なタスクを実行する必要がある。
【0091】
別の実施形態では、抽出されるセットを選択するためにＭＣＴＳ抽出情報セットＳＥＩのみが必要とすることができるように、ＭＣＴＳ抽出情報セットＳＥＩ、例えば、議論されたシグナリングの存在を示す全方向性情報にフラグが追加される。
【0092】
いくつかの態様を装置の文脈で説明したが、これらの態様は対応する方法の説明も表し、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応するブロックまたはアイテムまたは対応する装置の機能の説明も表す。方法ステップの一部または全ては、たとえばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（または使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つまたは複数をそのような装置によって実行することができる。
【0093】
本発明のデータストリームは、デジタル記憶媒体に記憶することができ、または無線伝送媒体などの伝送媒体またはインターネットなどの有線伝送媒体で伝送することができる。
【0094】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装は、電子的に読み取り可能な制御信号が格納されたデジタルストレージメディア、たとえばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＲＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行することができ、その上で、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協力する（または協力することができる）。したがって、デジタル記憶媒体はコンピュータで読み取り可能であってもよい。
【0095】
本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0096】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するように動作する。プログラムコードは、例えば、機械読み取り可能なキャリアに保存されてもよい。
【0097】
他の実施形態は、機械読み取り可能なキャリアに格納された、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを含む。
【0098】
言い換えれば、したがって、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0099】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録したデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタルストレージメディア、または記録されたメディアは、通常、有形および／または非一時的である。
【0100】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
【0101】
さらなる実施形態は、本明細書に記載の方法の１を実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。
【0102】
さらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
【0103】
本発明によるさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを受信機に（例えば、電子的または光学的に）転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバーを備えてもよい。
【0104】
いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部またはすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の１つを実行するためにマイクロプロセッサと協働してもよい。一般に、これらの方法は、任意のハードウェア装置によって実行されることが好ましい。
【0105】
本明細書で説明する装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装することができる。
【0106】
本明細書に記載の装置、または本明細書に記載の装置の任意のコンポーネントは、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装されてもよい。
【0107】
本明細書で説明される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行され得る。
【0108】
本明細書で説明される方法、または本明細書で説明される装置の任意のコンポーネントは、ハードウェアおよび／またはソフトウェアによって少なくとも部分的に実行され得る。
【0109】
上述の実施形態は、本発明の原理の単なる例示である。本明細書に記載の配置および詳細の修正および変更は、他の当業者には明らかであることを理解されたい。したがって、本明細書の実施形態の説明および説明として提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ制限されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】