特許 7177034 レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム

(51)【国際特許分類】

   H04N 21/2343 20110101AFI20221115BHJP

   H04N 21/431 20110101ALI20221115BHJP

   G06T 19/00 20110101ALI20221115BHJP

【ＦＩ】

H04N21/2343

H04N21/431

G06T19/00 A

【請求項の数】 13

(21)【出願番号】P 2019500729

(86)(22)【出願日】2017-03-14

(65)【公表番号】

(43)【公表日】2019-05-30

(86)【国際出願番号】 EP2017055952

(87)【国際公開番号】W WO2017162479

(87)【国際公開日】2017-09-28

【審査請求日】2020-03-06

(31)【優先権主張番号】16305321.8

(32)【優先日】2016-03-22

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ドール，ルノー

(72)【発明者】

【氏名】フルーロー，ジュリアン

(72)【発明者】

【氏名】タピエ，ティエリー

【審査官】鈴木 順三

(56)【参考文献】

【文献】国際公開第２０１５／１９７８１８（ＷＯ，Ａ１）

【文献】特開２００５－３３３５５２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／００９２３４８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／００ － １９／２０

(57)【特許請求の範囲】

【請求項1】

凸状マッピング面のために作成されたビデオからストリームを生成する方法であって、
－ 少なくとも１つの第一のビデオを生成することであって、第一のビデオのフレームは前記ビデオのフレームの一部であって、平坦な長方形のマッピング面をマッピングするように修正される、生成することと、
－ 当該少なくとも１つの第一のビデオに対応する一部がデフォルトのコンテンツで置き換えられる前記ビデオである第二のビデオを生成することと、
－ 前記少なくとも１つの第一のビデオに関する第一のシンタックス要素と当該第二のビデオに関する第二のシンタックス要素とを含む前記ストリームを生成することと、
を含む方法。

【請求項2】

前記ストリームは、当該少なくとも１つの第一のビデオに対応する前記一部の記述を表すデータを含む第三のシンタックス要素をさらに含む、請求項１に記載の方法。

【請求項3】

当該データは時間と共に変化する、請求項２に記載の方法。

【請求項4】

当該少なくとも１つの第一のビデオを生成することは、当該データに応じて当該マッピング面の向きを変更することをさらに含む、請求項２に記載の方法。

【請求項5】

凸状マッピング面のために作成されたビデオからストリームを生成するように構成されたデバイスであって、
－ 少なくとも１つの第一のビデオを生成するためのビデオ生成器であって、第一のビデオのフレームは前記ビデオのフレームの一部であって、平坦な長方形のマッピング面をマッピングするように修正される、ビデオ生成器と、
－ 当該少なくとも１つの第一のビデオに対応する一部がデフォルトのコンテンツで置き換えられる前記ビデオから第二のビデオを生成するためのビデオ生成器と、
－ 前記少なくとも１つの第一のビデオに関する第一のシンタックス要素と当該第二のビデオに関する第二のシンタックス要素を含む前記ストリームを生成するためのストリーム生成器と、
を含むデバイス。

【請求項6】

前記ストリーム生成器は、第三のシンタックス要素を前記ストリームの中に追加するようにさらに構成され、当該第三のシンタックス要素は当該少なくとも１つの第一のビデオに対応する一部の記述を表すデータに関する、請求項５に記載のデバイス。

【請求項7】

当該データは時間と共に変化する、請求項６に記載のデバイス。

【請求項8】

凸状マッピング面のために作成されたビデオを表すデータを搬送するストリームからレンダリングデバイスのためのビデオを構成する方法であって、
・前記ストリームの第一のシンタックス要素から、少なくとも１つの第一のビデオを取得することであって、第一のビデオのフレームは前記ビデオのフレームの一部であって、平坦な長方形のマッピング面をマッピングするように修正される、取得することと、
・前記ストリームの第二のシンタックス要素から第二のビデオを取得することであって、当該第二のビデオは、当該少なくとも１つの第一のビデオに対応する一部がデフォルトのコンテンツで置き換えられる前記ビデオである、取得することと、
・当該少なくとも１つの第一のビデオを前記第二のビデオに重畳することによって前記ビデオを構成することと、
を含む方法。

【請求項9】

当該ストリームは、当該少なくとも１つの第一のビデオに対応する前記一部の記述を表すデータを含む第三のシンタックス要素をさらに含む、請求項８に記載の方法。

【請求項10】

前記ビデオを前記構成することは、前記第二のビデオに重畳するために当該第一のビデオに関連する前記一部の前記記述に応じて各第一のビデオを歪めること、サイズ変更すること、及び変換することを含む、請求項９に記載の方法。

【請求項11】

レンダリングデバイスのために、凸状マッピング面のために作成された没入型ビデオを表すデータを搬送するストリームからビデオを構成するように構成されたデバイスであって、
・前記ストリームの第一のシンタックス要素から、少なくとも１つの第一のビデオを取得することであって、第一のビデオのフレームは前記没入型ビデオのフレームの一部であって、平坦な長方形のマッピング面をマッピングするように修正される、取得することと、
・前記ストリームの第二のシンタックス要素から第二のビデオを取得することであって、当該第二のビデオは、当該少なくとも１つの第一のビデオに対応する一部がデフォルトのコンテンツで置き換えられる前記没入型ビデオである、取得することと、
・当該少なくとも１つの第一のビデオの各々を前記第二のビデオに重畳することによって前記ビデオを構成することと、
を行うように構成されたプロセッサに関連するメモリを含むデバイス。

【請求項12】

当該ストリームは、当該少なくとも１つの第一のビデオに対応する前記一部の記述を表すデータを含む第三のシンタックス要素をさらに含む、請求項１１に記載のデバイス。

【請求項13】

前記ビデオを前記構成することは、前記第二のビデオに重畳するために当該少なくとも１つの第一のビデオに対応する前記一部の前記記述に応じて各第一のビデオを歪めること、サイズ変更すること、及び変換することを含む、請求項１２に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

１．技術分野
本開示は、没入型ビデオを表す下位互換ストリームを、例えばこのようなストリームが異種クライアントデバイスの集合に配信される場合にフォーマットする分野に関し、クライアントデバイスの幾つかはレガシー矩形ビデオを表示するように構成され、また別の幾つかは没入型ビデオを表示するように構成される。

【背景技術】

【0002】

２．背景
没入型ビデオは、これらがユーザの周囲に表示され、その正面の長方形のスクリーン上に投影されるのではないという点でレガシービデオとは異なる。幾つかのデバイスは、レガシービデオだけをレンダリングするように構成され（例えば、テレビ、ビデオプロジェクタ）、幾つかは没入型ビデオだけをレンダリングするように構成され（例えば、ＣＡＶＥ、Ｇｅｏｄｅ）、また幾つかはそれらが含むデコーダに応じて両方のタイプのビデオをレンダリングしてもよい（例えば、頭部装着型表示デバイス（ＨＭＤ）、タブレット、スマートフォン）。本書では、没入型ビデオをレンダリングするように構成され、そのようになされたデコーダを含むデバイスを没入型ビデオレンダリングデバイスと呼び、没入型ビデオをレンダリングするように構成されていないか、そのようになされたデコーダを含まないものをレガシービデオレンダリングデバイスと呼ぶ。

【0003】

ビデオは少なくとも１つの画像のシーケンスである。実際、画像は静止ビデオと考えることができる。ビデオはピクセル（すなわち、色情報の要素）の２次元配列である長方形のフレーム上で符号化される。レンダリングされるには、フレームはまずマッピング面上にマッピングされ、次にスクリーン上に投影される。ステレオビデオは、１つ又は２つの長方形のフレーム上で符号化され、２つのマッピング面上でマッピングされ、これらが合成されてデバイスの特性に応じて投影される。

【0004】

レガシービデオレンダリングデバイスの場合、マッピング面とスクリーンは平坦な長方形である。それに対応するマッピング機能及び投影機能も直線的である。マッピング面はフレームと等価である。スクリーンは、定義及びレンダリングデバイスの解像度に応じてマッピング面の長方形の部分に対応する。

【0005】

没入型ビデオレンダリングデバイスの場合、マッピング面は３次元の凸面（例えば、球、立方体、角錐（切頭か否かを問わない）である。マッピング機能は、フレームの各ピクセルをマッピング面上の１点に関連付ける（及びその逆）。投影機能は、レンダリングデバイスのスクリーンに依存する。スクリーンが３次元凸面（例えば、ＣＡＶＥ、Ｇｅｏｄｅ）である場合、投影はマッピング面から直線的である。スクリーンが長方形であれば（例えば、ＨＭＤ、タブレット、スマートフォン）、スクリーンのサイズに応じて、及び仮想カメラのパラメータ（少なくともマッピング面に関する３次元位置、目標方向、及び視野を含む）に応じて、スクリーンの一部のみが表示される。このような没入型ビデオレンダリングデバイスは、仮想カメラコントローラ（例えば、内部測定ユニット、位置決めシステム、マウス、ジョイスティック）を備える。

【0006】

ビデオストリームは、ビデオをその上にレンダリングしようとするレンダリングデバイスのタイプに応じて作成され、フォーマットされる。レガシービデオレンダリングデバイスは没入型ビデオを適正に表示せず、これは、それらを３次元凸状マッピング面にマッピングするように構成されていないからである。その逆に、没入型ビデオプレイヤはレガシービデオを適正に表示しない。レガシー及び没入型ビデオレンダリングデバイスのどちらによっても適正に表示できる下位互換没入型ビデオストリームのためのフォーマットはない。

【発明の概要】

【課題を解決するための手段】

【0007】

３．概要
本開示の目的は、レガシー及び没入型ビデオレンダリングデバイスのどちらによっても適正に表示できる下位互換没入型ビデオストリームのためのフォーマットの欠如を克服することである。本開示は、没入型ビデオからストリームを生成する方法に関し、この方法は、
－ 各々が没入型ビデオの一部を表す少なくとも１つの第一のビデオを生成することと、
－ 前記少なくとも１つの部分が取り除かれている没入型ビデオから第二のビデオを生成することと、
－ 少なくとも１つの第一のビデオに関する第一のシンタックス要素と前記第二のビデオに関する第二のシンタックス要素を組み合わせることによってストリームを生成することと、
を含む。

【0008】

特定の特性によれば、第三のシンタックス要素が前記ストリームの中に追加され、前記第三のシンタックス要素は前記少なくとも１つの部分の説明を表す情報データに関する。具体的な特性によれば、前記情報データは時間と共に変化する。

【0009】

本開示はまた、没入型ビデオからストリームを生成するように構成されたデバイスに関し、このデバイスは、
－ 各々が没入型ビデオの一部を表す少なくとも１つの第一のビデオを生成するビデオ生成器と、
－ 前記少なくとも１つの部分が取り除かれている没入型ビデオから第二のビデオを生成するビデオ生成器と、
－ 少なくとも１つの第一のビデオに関する第一のシンタックス要素と前記第二のビデオに関する第二のシンタックス要素を組み合わせることによってストリームを生成するストーム生成器と、
を含む。

【0010】

本開示はまた、没入型デバイスからストリームを生成するように構成されたデバイスに関し、このデバイスは、
－ 各々が没入型ビデオの一部を表す少なくとも１つの第一のビデオを生成し、
－ 前記少なくとも１つの部分が取り除かれている没入型ビデオから第二のビデオを生成することと、
－ 少なくとも１つの第一のビデオに関する第一のシンタックス要素と前記第二のビデオに関する第二のシンタックス要素を組み合わせることによってストリームを生成することと、
を行うように構成された少なくとも１つのプロセッサを含む。

【0011】

本開示はまた、没入型ビデオを表すデータを搬送するストリームに関し、このデータは、
－ 少なくとも１つの第一のビデオに関する第一のシンタックス要素であって、前記少なくとも１つの第一のビデオの各々は没入型ビデオの一部を表す第一のシンタックス要素と、
－ 前記少なくとも１つの部分が取り除かれている没入型ビデオから生成された第二のビデオに関する第二のシンタックス要素と、
を含む。

【0012】

具体的な特性によれば、前記少なくとも１つの部分の記述を表す情報データに関する第三のシンタックス要素がストリームに追加される。有利な点として、前記情報データは時間と共に変化する。

【0013】

本開示はまた、没入型ビデオを表すデータを搬送するストリームからレンダリングデバイスのためのビデオを構成する方法に関し、この方法は、
－ デバイスがレガシービデオレンダリングデバイスである場合、
・ストリームの、少なくとも１つの第一のビデオに関する第一のシンタックス要素からビデオを取得することであって、前記少なくとも１つの第一のビデオの各々は没入型ビデオの一部を表すような、取得することと、
－ デバイスが没入型ビデオレンダリングデバイスである場合、
・ストリームの第一のシンタックス要素から少なくとも１つの第一のビデオを取得することであって、前記少なくとも１つの第一のビデオは没入型ビデオの一部を表すような、取得することと、
・ストリームの第二のシンタックス要素から第二のビデオを取得することであって、前記第二のビデオは、各々の前記少なくとも１つの部分が取り除かれている没入型ビデオを表すような、取得することと、
・前記少なくとも１つの第一のビデオの各々を第二のビデオに重畳することによってビデオを構成することと、
を含む。

【0014】

特定の特性によれば、前記ストリームは、前記少なくとも１つの部分の記述を表す情報データに関する第三のシンタックス要素をさらに含む。デバイスが没入型ビデオレンダリングデバイスである場合、ビデオを構成することは、第二のビデオに重畳するための前記第一のビデオに関連する部分の記述に応じて各第一のビデオをサイズ変更すること及び変換することを含む。

【0015】

本開示はまた、レンダリングデバイスのために、没入型ビデオを表すデータを搬送するストリームからビデオを構成するように構成されたデバイスに関し、このデバイスは、
－ デバイスがレガシービデオレンダリングデバイスである場合、
・ストリームの、少なくとも１つの第一のビデオに関する第一のシンタックス要素からビデオを取得する手段であって、前記少なくとも１つの第一のビデオの各々は没入型ビデオの一部を表すような手段と、
－ デバイスが没入型ビデオレンダリングデバイスである場合、
・ストリームの第一のシンタックス要素から少なくとも１つの第一のビデオを取得する手段であって、前記少なくとも１つの第一のビデオは没入型ビデオの一部を表すような手段と、
・ストリームの第二のシンタックス要素から第二のビデオを取得する手段であって、前記第二のビデオは、各々の前記少なくとも１つの部分が取り除かれている没入型ビデオを表すような手段と、
・前記少なくとも１つの第一のビデオの各々を第二のビデオに重畳することによってビデオを構成する手段と、
を含む。

【0016】

４．図面の一覧
以下の説明を読むことにより、本開示はよりよく理解され、その他の具体的な特徴と利点が明らかになるが、この説明は下記のような添付の図面に関して行われる。

【図面の簡単な説明】

【0017】

【図1】本発明の原理の具体的な実施形態による、２次元マッピング面上にマッピングされたレガシービデオのレンダリングの一例を示す。

【図2】本発明の原理の具体的な実施形態による、球状のマッピング面のために作成された没入型ビデオのレンダリングの一例を示し、マッピング面は図１の２次元マッピング面に対して３次元である。

【図3】本発明の原理の具体的な実施形態による、図２と同様の没入型ビデオのレンダリングの一例を示し、没入型ビデオは、図３においては立方体のマッピング面のために作成されている。

【図4】本発明の原理の具体的な実施形態による、図２と同様の球状のマッピング面のために作成された没入型ビデオからのレガシービデオの捕捉の一例を示す。

【図5】本発明の原理の具体的な実施形態による、図３と同様の立方体のマッピング面のための作成された没入型ビデオからのレガシービデオの捕捉の一例を示す。

【図6】本発明の原理の具体的な実施形態による、図２の没入型ビデオ及び捕捉された２つのレガシービデオの一例と、前記２つのレガシービデオのために使用された２つの部分が取り除かれている没入型ビデオの一例を示す。

【図7】本発明の原理の具体的な実施形態による、図８又は９に関して説明される方法を実行するように構成された装置のハードウェアの実施例を示す。

【図8】非限定的で有利な実施形態によるデバイス等の処理デバイスにおいて実装される、図６及び１０の下位互換没入型ビデオストリームを生成する方法のある実施形態を概略的に示す。

【図9】非限定的で有利な実施形態によるデバイス７０等の処理デバイスにおいて実装される下位互換没入型ビデオストリームからビデオを構成する方法のある実施形態を概略的に示す。

【図10】本発明の原理の具体的な実施形態による、図６の下位互換没入型ビデオストリームの例示的な構成を示す。

【発明を実施するための形態】

【0018】

５．実施形態の詳細な説明
ここで、図面を参照しながら主旨を説明するが、図中、全体を通じて同様の参照番号は同様の要素を指すために使用される。以下の説明において、説明を目的として、主旨を完全に理解できるようにするために、多数の具体的な詳細事項が示されている。当然のことながら、主旨の実施形態はこれらの具体的な詳細事項がなくても実施できる。

【0019】

本開示の非限定的な実施形態によれば、没入型ビデオを表す下位互換ビデオストリームを生成するための方法とデバイスが記載されている。このようなストリームのフォーマットも記載されている。本開示の他の非限定的な実施形態によれば、このようなストリームを受信したときにビデオをレンダリングできるレンダリングデバイスと、ストリームのフォーマットに応じてレンダリングされるべきビデオを構成するためにデバイスが使用する方法とが提示される。

【0020】

本開示は、没入型ビデオの少なくとも１つの部分を捕捉することを提案する。この少なくとも１つの部分は、ストリームに２回含められることがないように、没入型ビデオから取り除かれる。この少なくとも１つの部分はさらに、レガシービデオレンダリングデバイスによりレンダリングされるようになされたレガシービデオを構成するように作成される。一方で前記少なくとも１つの部分を含まない没入型ビデオと、他方で少なくとも１つの作成されたレガシービデオは、ストリーム内に共にパッケージされる。レンダリングデバイス側では、デバイスがレガシービデオレンダリングデバイスである場合、少なくとも１つの作成されたレガシービデオのうちの１つがパッケージから外されて、レンダリングされるべきビデオとして使用され、デバイスが没入型ビデオレンダリングデバイスである場合、パッケージされた各ビデオが使用される。没入型ビデオはパッケージから外され、少なくとも１つの作成されたレガシービデオの各々は、それが切り取られている部分に再びマッピングされる。

【0021】

図１は、レガシービデオのレンダリングの一例を示す。画像のシーケンスは、平坦な長方形のマッピング面１１上にマッピングされる予定の長方形のフレーム１０上で符号化される。マッピング機能１２は直線的であり、フレーム１０及びマッピング面１１は等価である。スクリーン１３はマッピング面１１と同じ解像度及び／又は定義を持たなくてもよい。その結果、投影機能１４は、マッピング面１１側でサイズ変更し、及び／又は黒いバーをクロップ又は表示してもよい。図１では、フレーム１０とマッピング面１１のアスペクト比は４：３であり、スクリーンのアスペクト比は１６：９である。この例において、投影機能１４は画像の中央でクロッピングを行い、スクリーン１３に適合するビデオを生成する。変形型では、投影機能１４は黒いバーをマッピング面１１の左右に追加して、スクリーン１３に適合するビデオを得る。他の実施形態において、図１のビデオはステレオである。このような変形型では、フレーム１０は２つの異なる画像を含み、これらは２つの異なるマッピング面１１にマッピングされる。マッピング面は、スクリーンのタイプに応じて組み合わせられ、ステレオ効果を生じさせる。

【0022】

図２は、球状のマッピング面のために作成された没入型ビデオのレンダリングの一例を示す。画像のシーケンスは球状のマッピング面２１上にマッピングされる予定の長方形のフレーム２０上で符号化される。マッピング機能２２は、フレーム２０の各ピクセルとマッピング面２１上の１点との間（及びその逆）のマッピングを確立する。図２では、マッピング機能２２はエクイレクタンギュラ投影（正距円筒図法とも呼ばれる）に基づく。フレーム２０上の画像は歪められる。距離は赤道ではそのままとされ、両極では引き伸ばされる。直線はまっすぐでなくなり、透視図は歪められる。変形型では、マッピング機能２２は例えば正距円錐投影法に基づく。スクリーン２３が、頭部装着型表示デバイス（ＨＭＤ）又はタブレットもしくはスマートフォンのように長方形である場合、マッピング面２１の一部が選択される。投影機能２４は、球の中心に置かれたカメラから見たマッピング面２１の一部を選択することからなり、カメラは視野と解像度の点で、スクリーン２３に直接適合する画像を生成するために構成される。選択される視野は表示デバイスの特性に依存する。ＨＭＤの場合、有利な点として、視野の角度は人の立体視野に近く、これは約１２０度である。カメラの目標方向は、ユーザが見る方向に対応し、没入型ビデオレンダリングデバイスの仮想カメラコントローラを使ってカメラの目標方向が変更される。変形型において、図２のビデオはステレオである。このような変形型の場合、フレーム２０は２つの異なる画像を含み、これらは２つの異なるマッピング面２１にマッピングされる。マッピング面は、スクリーンのタイプに応じて組み合わせられ、ステレオ効果を生じさせる。

【0023】

凸状マッピング面の中心に設置されたカメラでビデオを取得すると、この凸状マッピング面の中心における視点から捕捉されたビデオが生成される。図２において、球は凸状マッピング面であり、仮想カメラはビデオが捕捉されるこの凸状マッピング面の中心の視点を構成する。

【0024】

図３は、立方体のマッピング面のために作成された没入型ビデオのレンダリングの一例を示す。画像のシーケンスは、立方体のマッピング面３１上でマッピングされる予定の長方形の（又は正方形の）フレーム３０上で符号化される。マッピング機能３２は、フレーム３０内の正方形と立方体３１の面との間の対応を確立させる。その逆に、マッピング機能は、立方体３１の面がフレーム３０の表面の中でどのように整理されるかを特定する。各面上の画像は歪められない。しかしながら、フレーム３０の全体の画像の中で、線はピースごとにまっすぐであり、透視図は分解される。画像は空の正方形（デフォルト又はランダムな色情報、例えば図３の例では白で満たされる）を含んでいてもよい。投影機能は、図２の投影機能として作用する。カメラは立方体３１の中心に置かれ、レンダリングデバイスのスクリーンに適合する画像を捕捉する。

【0025】

変形型において、他のマッピング面及び／又はマッピング機能が使用され、例えば、ビデオフレームが円筒の上又は角錐の上にマッピングされる。

【0026】

図２及び３に示される没入型ビデオのフレーム２０及び３０は、図１の平坦な長方形のマッピング面１２にマッピングされる予定ではない。没入型ビデオがレガシービデオレンダリングデバイスに供給されると、スクリーン上の画像は歪められるか、ピースごとに表示され、人の視野より大きい視覚的内容に対応する。反対に、レガシービデオが没入型ビデオレンダリングデバイスに供給されると、マッピング機能は歪められた画像を生成する。

【0027】

それに加えて、レガシービデオの映画文法は没入型ビデオの映画文法とは異なる。例えば、シナリオに２つのキャラクタ間の会話が含まれる場合、没入型ビデオは長い静止したシーケンスショットを表示してもよく、視聴者は自分の顔を一方のキャラクタと他方のキャラクタに交互に向けることによってある程度のダイナミズムを作り出す。レガシービデオはむしろ、キャラクタの一方及び他方へのタイトショットとワイドショットとを交互に表示して、視聴者がスクリーンの前で受動状態でいながら、シーン内にある程度のダイナミズムを導入する。しかしながら、このようなフィルム編集は没入型ビデオには推奨されず、それは、頻繁なカットによって視聴者は方向感覚を失い、さらには具合が悪くなる可能性があるからである。レガシービデオはズーム効果を含んでいてもよく、その一方で、没入型ビデオにおけるズーム効果は不快なベクション効果（すなわち、側方視野の歪みによる自己運動感覚）を誘起する。

【0028】

本発明の原理は、そのために没入型ビデオが作成されたマッピング面の中心に仮想カメラを置くことによって没入型ビデオからレガシービデオを捕捉することを提案する。カメラに関するパラメータを記述するカメラ制御データが得られる。これらのデータには少なくとも、フラスタム（視錐台）（水平及び垂直視野又は視野角）の目標方向、向き、及びサイズが含まれる。カメラ制御データは、没入型ビデオからレガシービデオを捕捉する仮想カメラを制御するために使用される。これらのデータは、フィルムディレクタによる手作業の編集により得られる。他の実施形態において、カメラ制御データは、没入型ビデオにおける関心対象領域の検出アルゴリズムにより自動的に編集される。このようなアルゴリズムは、例えばビデオの画像の顕著性の分析に基づくか、又は他の例として、ＨＭＤで没入型ビデオを見ている時の視聴者の頭の動きに関する統計に基づく。

【0029】

図３において、立方体は凸状マッピング面であり、仮想カメラは、ビデオが捕捉されるこの凸状マッピング面の視点を構成する。

【0030】

図４は、球状のマッピング面のために作成された没入型ビデオからのレガシービデオの捕捉の一例を示す。仮想カメラは（図２に示されるように）球状のマッピング面２１の中心４０に置かれる。カメラ制御データは、カメラを目標方向４１に向け、カメラの参照フレームを向き４２ａまで傾けるために使用される。カメラのフラスタムと球状のマッピング面との交差部分により画定される没入型ビデオの部分２３ａは、平坦でなく（すなわち、これは球の一部である）、長方形でもない（すなわち、その部分の縁は湾曲している）。レガシービデオとして符号化されるために、部分２３ａの視覚的内容は、平坦な長方形のマッピング面上に歪めずにマッピングできるように修正される。カメラ制御データから得られるカメラの水平及び垂直視野角は、カメラのフラスタムのサイズ及び、その結果、部分２３ａのサイズを決定する。視野角パラメータの値は、レガシーカメラのための通常の値に従わなければならない。ワイドショットは、約６０度の水平視野角で得られる。６０度を超えると、広角歪み効果が現れる。より狭い角度はズームインに対応する。値が小さいと、カメラはその最大解像度で没入型ビデオを捕捉しているため、解像度の問題が生じる可能性がある。その結果、カメラ制御データの編集は慎重に行わなければならない。

【0031】

カメラ制御データは、時間と共に変化してもよい。パラメータの値が突然変化することは、レガシービデオの編集におけるカットに対応する。連続的な変化は、カメラの効果に対応する。例えば、カメラの目標方向の連続的な変化は、没入型ビデオの背景が同じ方向に同じ速度で回転しなければ、パンニングに対応し得る。レガシーカメラの目標方向のこのような連続的な変化はまた、没入型ビデオにおけるパンニングを補償するため、及び、したがって、静止ショットを捕捉するために使用されてもよい。その他のカメラ制御データは時間と共に変化してもよい。図４に示されるように、視野角が縮小されて、部分２３ａが部分２３ｂにサイズ変更されてもよい。この効果は、ズームインに対応してもよい。フラスタムの向きはまた、方向４２ａか方向４２ｂに変更してもよく、例えばカメラを左に傾ける。

【0032】

図５は、立方体のマッピング面のために作成された没入型ビデオからのレガシービデオの捕捉の一例を示す。カメラは（図３に示されるように）立方体３２の中心５０に置かれ、カメラ制御データにしたがってこの視点からレガシービデオを捕捉する。捕捉されたレガシービデオはマッピング面の一部であり、立方体のある面より小さくても大きくてもよく、及び／又は立方体の幾つかの面に分散されてもよい。変形型において、図５に示されるように、立方体は、レガシービデオのフレーム５３ａを立方体のある面に適合させるために、目標方向パラメータ５１ａに応じて向きが変更され、フラスタムのサイズのパラメータに応じてサイズが変更される。向きのパラメータは立方体の傾きを制御する。フレーム５３ａが長方形である場合、マッピング面は立方六面体(parallelepipoid)とされる。この操作は、面のサイズ変更によってマッピング面の面積とマッピング機能が変化し、したがってフレーム中の符号化された画像の解像度が変化するため、解像度管理の条件となる。

【0033】

カメラ制御データは、時間と共に突然又は連続的に変化してもよい。図５は、目標方向が値５１ａから値５１ｂに変化し、フラスタムのサイズが値５３ａから値５３ｂに変わる例を示している。この例では、マッピング面の裏面は目標方向５３ｂに垂直となるように向きが変更される。フラスタムのサイズが小さくなると（これは、ズームイン効果に対応する）、前面の大きさ及び、その結果、側面の形状が変化する。マッピング面５４は切頭角錐となり、マッピング機能（すなわち、ピクセルが没入型ビデオのフレーム内で整理される方法）が変化する。

【0034】

マッピング面のこのような変形の利点は、没入型ビデオからレガシービデオのために捕捉される部分を取り除きやすくなることである。このような技術によって、没入型ビデオのフレームの中で、色情報を符号化するために必要な面積を最小化できる。他の利点は、マッピング面の、レガシービデオのために使用される面がすでに平坦な長方形であることである（すなわち、ピースごとの部分の合成が不要である）。

【0035】

図６は、没入型ビデオ６０から捕捉された２つのレガシービデオ６１及び６３の例と、前記２つのレガシービデオに使用される２つの部分が取り除かれているこの没入型ビデオの例を示している。図６の例では、没入型ビデオは、図２に示されているような球形のマッピング面のために作成される。第一のレガシービデオ６１（第一のビデオとも呼ばれる）はマッピング球面の中心に置かれ、没入型ビデオ６０の部分６２の方向を狙うカメラにより捕捉される。捕捉された部分６２は、レガシービデオ６１を構成するために修正され、没入型ビデオ６０から取り除かれる。図６の例では、取り除くことは、デフォルトの色でこの部分の領域を塗りつぶすという形をとる。これは、フレーム６０の圧縮バージョンを軽くするという利点を有する。

【0036】

没入型ビデオから一部を取り除くことは、そのために没入型ビデオが作成されたマッピング面に応じて異なる形態をとってもよい。例えば平行立方体(parallelepipoid)のマッピング面のために作成された没入型ビデオの場合、取り除くことは、没入型ビデオのフレームの面積を最適化する（例えば、できるだけ小さくする）ためにマッピング機能を変更する形をとってもよい。図５に示されるように、マッピング面の形状が変更されてもよい。その結果、マッピング機能が変化し、フレームのサイズは新しいマッピング機能に対応するようになされる。

【0037】

１つの没入型ビデオから、異なるカメラ制御データのいくつかのレガシービデオ（すなわち、第一のビデオ）を捕捉することが可能である。図６では、第二のレガシービデオ６３が、球の中心に置かれ、異なるカメラ制御データにより方向付けられるレガシーカメラから捕捉される。捕捉された部分６４は、レガシービデオ６３を構成するために修正され、没入型ビデオ６０から取り除かれる。球形のマッピング面の場合、捕捉された部分のフレームへの投影は長方形ではない。

【0038】

図７は、図８又は９に関して説明する方法を実行するように構成された装置７０のハードウェアでの実施形態を示す。この例では、デバイス７０は以下の要素：
－ 例えばＤＳＰ（すなわち、デジタル信号プロセッサ）であるマイクロプロセッサ７２（又はＣＰＵ）、
－ ＲＯＭ（リードオンリメモリ）タイプの不揮発性メモリ７３、
－ ランダムアクセスメモリ、すなわちＲＡＭ（７４）、
－ アプリケーションから、送信するデータを受けるためのＩ／Ｏインタフェース７５、
－ ランダムアクセスメモリのレジスタを埋め込んでもよいグラフィックカード７６、
－ 電源７７
を含み、これらはクロック信号も輸送するアドレス及びデータのバス７１により相互に接続される。

【0039】

ある例によれば、電源７７はデバイスの外部にある。記載されているメモリの各々において、明細書中で使用される「レジスタ」という単語は小さい容量（数ビット）の領域に、又は非常に大きい領域（例えば、ブログラム全体又は、大量の受信もしくは復号データ）に対応してもよい。ＲＯＭ ７３は、少なくともプログラムとパラメータを含む。ＲＯＭ ７３は、本発明の原理による手法を実行するためのアルゴリズムと命令を記憶していてもよい。スイッチが投入されると、ＣＰＵ ７２はＲＡＭ内のプログラムをアップロードし、対応する命令を実行する。

【0040】

ＲＡＭ ７４は、レジスタの中に、ＣＰＵ ７２により実行され、デバイス７０のスイッチ投入後にアップロードされるプログラム、レジスタ内の入力データ、レジスタ内の、方法の異なる状態の中間データ、及びレジスタ内の、方法の実行に使用されるその他の可変数を含む。

【0041】

本明細書に記載の実施例は、例えば方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号で実装されてもよい。１つの形態の実装に関してしか論じられていない場合でも（例えば、方法又はデバイスとしてのみ論じられる）、論じられている特徴の実施例はまた、他の形態（例えば、プログラム）で実装されてもよい。装置は、例えば適当なハードウェア、ソフトウェア、及びファームウェアで実装されてもよい。方法は例えば、例えばプロセッサ等の装置で実装されてもよく、これは処理デバイス全般を指し、これには例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスが含まれる。プロセッサはまた、例えばコンピュータ、携帯電話、ポータブル／携帯情報端末（ＰＤＡ）、セットトップボックス及び、エンドユーザ間の情報の通信を容易にするその他のデバイス等の通信デバイスも含む。

【0042】

図８に示されるような、下位互換没入型ビデオストリームの生成の一例によれば、没入型ビデオとカメラ制御データはソースから得られる。例えば、ソースは以下：
－ ローカルメモリ（７３、７４、又は７６）、例えば、ビデオメモリ又はＲＡＭ（すなわち、ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（すなわち、リードオンリメモリ）、ハードディスク、
－ ストレージインタフェース（７５）、例えば、マスストレージ、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインタフェース、及び
－ 通信インタフェース（７５）、例えば、ワイヤラインインタフェース（例えば、バスインタフェース、ワイドエリアネットワークインタフェース、ローカルエリアネットワークインタフェース）、又はワイヤレスインタフェース（ＩＥＥＥ ８０２．１１インタフェース又はBluetooth（登録商標）インタフェース）
からなる群に属する。

【0043】

１つの特定の実施形態によれば、下位互換没入型ビデオストリームを生成する方法のステップを実行する、図９において以下に説明されるアルゴリズムが、これらのステップを実行するデバイス７０に関連するグラフィックカード７６のメモリＧＲＡＭに記憶される。変形型によれば、ＲＡＭ（７４）の一部はＣＰＵ（７２）によってアルゴリズムの記憶用として指定される。これらのステップは、ビデオストリームの生成につながり、これは、例えばビデオメモリ（７４）、ＲＡＭ（７４）、ＲＯＭ（７３）、フラッシュメモリ（７３）又はハードディスク（７３）等のローカルメモリ、例えばマスストレージ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク、又は磁気サポートとのインタフェース等のストレージインタフェース（７５）を含む群に属する宛先に送信され、及び／又は例えばポイントトゥーポイントリンク、バス、ポイントトゥーマルチポイントリンク、又は放送ネットワークへのインタフェース等の通信インタフェース（７５）から受信される。

【0044】

例によれば、図８に関して説明される下位互換没入型ビデオストリームを生成する方法を実行するように構成されたデバイス７０は以下：
－ モバイルデバイス、
－ 通信デバイス、
－ ゲーム機、
－ タブレット（又はタブレットコンピュータ）、
－ ラップトップ、
－ 符号化チップ、
－ 静止画サーバ、
－ ビデオサーバ（例えば、放送サーバ、ビデオオンデマンドサーバ、又はウェブサーバ）
を含む群に属する。

【0045】

下位互換没入型ビデオストリームからのビデオの構成の一例によれば、下位互換没入型ビデオを表すストリームはソースから得られる。例示的に、ストリームは、例えばビデオメモリ（７４）、ＲＡＭ（７４）、ＲＯＭ（７３）、フラッシュメモリ（７３）又はハードディスク（７３）等のローカルメモリから読み出される。変形型によれば、ストリームは、例えばマスストレージ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク、又は磁気サポートとのインタフェース等のストレージインタフェース（７５）から受信され、及び／又は、例えばポイントトゥーポイントリンク、バス、ポイントトゥーマルチポイントリンク、又は放送ネットワークへのインタフェース等の通信インタフェース（７５）から受信される。

【0046】

１つの特定の実施形態によれば、レンダリングデバイスのために下位互換没入型ビデオストリームからビデオを構成する方法のステップを実行する、図９において以下に説明されるアルゴリズムは、これらのステップを実行するデバイス７０に関連するグラフィックカード７６のメモリＧＲＡＭに記憶される。変形型によれは、ＲＡＭ（７４）の一部は、ＣＰＵ（７２）によってアルゴリズムの記憶用として指定される。これらのステップは、ビデオストリームの構成につながり、これは、以下：
－ モバイルデバイス、
－ 通信デバイス、
－ ゲーム機、
－ セットトップボックス、
－ ＴＶセット
－ タブレット（又はタブレットコンピュータ）、
－ ラップトップ、
－ ディスプレイ、
－ 復号チップ
を含む群に属する送信先に送信される。

【0047】

図８は、非限定的な友理奈実施形態による、デバイス７０等の処理デバイスにおいて実装される下位互換没入型ビデオストリームを生成する方法８０のある実施形態を概略的に示す。

【0048】

初期化ステップ８１で、デバイス７０はソースから没入型ビデオを取得する。本書の中のソースから情報を取得するステップは、電子機器のメモリユニットにおけるこのような情報を読み出すステップ又はこのような情報を他の電子機器から通信手段を介して（例えば、有線もしくは無線接続を介して、又はコンタクト接続によって）受信するステップの何れとして見ることもできる点に留意すべきである。デバイス７０は、ソースからカメラ制御データをロードする。データのソースは没入型ビデオのソースと同じであってもよい。変形型によれば、これらの２つのソースは異なる。例えば、カメラ制御データはデバイス７０のメモリ上に記憶されても（さらには、方法を実行するプログラムに書き込まれても）よく、没入型ビデオはビデオサーバから得られる。

【0049】

ステップ８２及び８３は並行して実行される。変形型によれば、ステップ８２はステップ８３の前に実行される。他の変形型によれば、ステップ８３はステップ８２の前に実行される。ステップ８２で、没入型ビデオは、それがそのために作成されたマッピング面上にマッピングされる。仮想カメラはマッピング面の中心に置かれる。カメラは、没入型ビデオのうち第一のレガシービデオの各々の視覚的内容を構成する部分を特定するカメカメラ制御データに応じて方向付けられる。第一のレガシービデオの各々について、捕捉された部分はレガシービデオとして符号化され、ビデオストリームとして作成される。変形型によれば、ステップ８２は仮想データを使用せず、ソースから得られた没入型ビデオフレームの一部を切り取り、必要に応じて視覚的内容を修正し、コンピュータフレームをレガシービデオとして符号化する。ステップ８３で、第二の没入型ビデオフレームは、第一のレガシービデオのために捕捉された部分をソースから得られた没入型ビデオから取り除くことによって作成される。図４～６に示されるように、没入型ビデオから一部を取り除くことは、没入型ビデオがそのために作成されたマッピング面の形状に応じて異なる形態を取ってもよい。ステップ８３は、カメラ制御データを使って取り除く部分の形状を特定する。ステップ８２と同様に、このステップ８３を没入型ビデオのフレーム上で直接処理することも、マッピング面の中心に置かれた仮想カメラを使用することも可能であり、没入型ビデオはこのマッピング面上にマッピングされる。他の実施形態において、ステップ８２及び８３はリモートデバイスで実行される。第一及び第二のビデオは、他のデバイスにより作成され、媒体に記録されるか、デバイス７０に送信される。生成ステップ８２及び８３は、リモートデバイス上で生成されたビデオを取得することからなる。

【0050】

第一のレガシービデオを捕捉するために使用された部分の記述を表す情報データを符号化する任意選択によるステップ８４は、ステップ８２及び８３と並行して実行される。変形型において、ステップ８２、８３、及び８４は何れかの順番で逐次的に実行される。変形型において、ステップ８４は実行されず、データは符号化されない。これらのデータは、没入型ビデオのうちステップ８３で取り除かれる部分を記述する。ステップ８３で再整理された没入型ビデオのマッピング面に応じて、前記データは第一のレガシービデオが、ソースから得られたときに没入型ビデオを取り出すためにどのような方法でどの位置にマッピングされなければならないかに関する記述を符号化する。情報データはカメラ制御データ及び、第一のレガシービデオ捕捉時にマッピング面がどのように作成されているかの方法に関する。

【0051】

ステップ８５で、下位互換没入型ビデオストリームが生成される。少なくとも１つの第一のレガシービデオが、第一のシンタックス要素としてストリーム内にパッケージされる。第二の没入型ビデオは、第二のシンタックス要素としてストリーム内にパッケージされる。ビデオのすべてが画像／ビデオコーダ、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＥＰＧ２、ＨＥＶＣ勧告(“High Efficiency Video Coding”, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.265, Telecommunication Standardization Sector of ITU, April 2013)又はＨ２６４／ＡＶＣ勧告(“Advanced video coding for generic audiovisual Services”, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264, Telecommunication Standardization Sector of ITU, February 2014))等の損失を伴うコーダで符号化、圧縮される。ステップ８４で情報データが生成されると、これらは第三のシンタックス要素としてストリームに追加される。これらの２つ又は３つのシンタックス要素はストリームコンテナの中にパッケージされ、これによってデコーダは例えばＡＶＩ又はＭＰＥＧ４等の各シンタックス要素を個別に取り出すことができる。

【0052】

図９は、非限定的で有利な実施形態による、デバイス７０等の処理デバイスにおいて実装される下位互換没入型ビデオストリームからビデオを構成する方法９０のある実施形態を概略的に示す。

【0053】

初期化ステップ９１で、デバイス７０は下位互換没入型ビデオストリームをソースから取得する。理解すべき点として、本書において情報をソースから取得するステップは、電子デバイスのメモリユニットにおけるこのような情報を読み出すステップ、又はこのような情報を他の電子デバイスから通信手段を介して（例えば、有線もしくは無線接続を介して、又はコンタクト接続によって）受信するステップの何れとして見ることもできる。

【0054】

条件ステップ９２がテストされる。デバイス７０がレガシービデオレンダリングデバイスであるか、それに接続されている場合、ステップ９３が実行される。デバイス７０が没入型ビデオレンダリングデバイスであるか、それに接続されている場合、ステップ９５が実行される。他の実施形態において、デバイス７０は幾つかのレンダリングデバイスに接続され、その中の幾つかはレガシービデオレンダリングデバイスであり、その他は没入型ビデオレンダリングデバイスである。このような実施形態において、ステップ９３及び９５はどちらも並行して実行され、この方法の各分枝で構成されるビデオはそれぞれのレンダリングデバイスに送信される。

【0055】

ステップ９３は、ストリームから１つのレガシービデオを抽出することからなる。下位互換没入型ビデオストリームの異なるシンタックス要素がコンテナにパッケージされ、それによって受信機は独自に１つのあるシンタックス要素を抽出することができる。コンテナフォーマットは、例えばＡＶＩ又はＭＰＥＧ４である。表示すべき好ましいビデオに関する情報がストリームのヘッダにない場合、デバイス７０は第一のシンタックス要素の最初のものを抽出している。このようなコンテナにより整理されるストリームを受信する際、通常のレガシービデオプレイヤは、まさに最初のシンタックス要素をレンダリングするために構成される。本開示において記載されている下位互換没入型ビデオストリームの利点は、通常のレガシービデオプレイヤによって直接読み取ることができる点である。選択されたビデオを符号化するシンタックス要素が抽出されると、ステップ９４が実行される。

【0056】

ステップ９４で、ストリームから抽出されるレガシービデオは、レンダリングデバイスに送信されるように復号される。このステップは、例えばＭＰＥＧ２、ＨＥＶＣ、又はＨ２６４／ＡＶＣ勧告等のコーデックを使用した解凍のステップを含んでいてもよい。構成されたレガシービデオは、デバイス７０に接続されたレンダリングデバイスに送信される。変形型において、デバイス７０はレガシービデオレンダリングデバイスであり、構成されるビデオはデバイス７０のスクリーン上に表示される。

【0057】

ステップ９５で、ストリームの各第一のシンタックス要素と第二のシンタックス要素がストリームから抽出されて、復号される。各第一のシンタックス要素は、レガシービデオを復号するために使用される。第二のシンタックス要素は、少なくとも１つの部分が取り除かれている没入型ビデオを復号するために使用される。第三のシンタックス要素がストリーム内にある場合、ステップ９６が平行して実行される。変形型において、ステップ９６はステップ９５の前又は後に実行される。ステップ９６で、ストリームの第三のシンタックス要素がストリームから抽出され、情報データが復号される。これらの情報データは、第二のシンタックス要素を生成するために没入型ビデオから取り除かれている部分の形状、位置、及びサイズを含む記述要素を表す。

【0058】

ステップ９７は、ステップ９５で抽出されたビデオのフレームから没入型ビデオを構成することからなる。ストリームの構造の中に第三のシンタックス要素が見つからなかった場合、情報データはデフォルトで設定される。第一のレガシービデオの各フレームは、情報データに応じて歪められ、サイズ変更され、変換される。この操作の後に、これらの変更されたフレームは、ストリームが生成されたときにそれらが取り除かれた没入型ビデオの部分を埋める。これらの変更されたフレームは、第二の没入型ビデオフレームに重畳される。このステップの結果、取り除かれた部分のない没入型ビデオフレームが得られる。結果として得られるこのフレームは、没入型ビデオのマッピング面上にマッピングされる。変形型において、重畳はマッピング面で行われる。他の実施形態において、デバイス７０は、没入型ビデオのうちユーザから見られる部分を追跡して、対応する部分がユーザの視野（又はそれより若干大きい部分）に含まれる場合にのみ、第一のレガシービデオを没入型ビデオに重畳することができる。

【0059】

図１０は、下位互換没入型ビデオストリームの例示的な構造１００を示す。この構造は、ストリームを独立したシンタックス要素で整理するコンテナからなる。この構造はヘッダ部分１０１を含んでいてもよく、これはストリームの各シンタックス要素に共通のデータセットである。例えば、ヘッダ部分はシンタックス要素に関するメタデータを含み、その各々の性質と役割を記述する。例えば、ヘッダ部分はレガシービデオプレイヤにより抽出されるべき好ましい第一のレガシービデオに関する情報を含んでいてもよい。下位互換没入型ビデオストリームは第一のシンタックス要素１０２を含み、これは第一のレガシービデオに関し、このビデオは没入型ビデオの一部を表す。この第一のシンタックス要素１０２はストリーム内で必須であり、好ましいレガシービデオに関する情報がヘッダ部分にない場合、この第一のシンタックス要素１０２はデフォルトで好ましいレガシービデオと考えられる。図８に示されるような生成方法により、追加の第一のシンタックス要素１０３がストリームに加えられてもよい。これらの追加の第一のシンタックス要素の各々は、第一のレガシービデオに関し、このビデオは没入型ビデオの一部を表す。好ましいレガシービデオは、ヘッダ部分で好ましいものであると指定されていれば、ストリームのこれらの追加のシンタックス要素の１つであってもよい。第二のシンタックス要素１０４は必須であり、前記少なくとも１つの部分が取り除かれている没入型ビデオから生成される第二の没入型ビデオに関する。この第二のシンタックス要素１０４はヘッダ部分を有し、そこには第二の没入型ビデオがそのために作成されるマッピング面及びマッピング機能に関する情報が含まれる。変形型において、第二のシンタックス要素１０４のヘッダ部分は、ストリームのヘッダ部分１０１と共に集められる。他の実施形態によれば、この情報は時間と共に変化し、第二の没入型ビデオと同期される。情報は、ヘッダ部分の代わりに第二のシンタックス要素に沿って含められてもよい。

【0060】

前記少なくとも１つの部分の記述を表す情報データに関する任意選択による第三のシンタックス要素１０５がストリームの構造の中に含められてもよい。これらの情報データは第二のシンタックス要素を生成するために没入型ビデオから取り除かれている部分の形状、位置、及びサイズを含む記述要素を表す。変形型において、これらの情報データは時間と共に変化し、第二のシンタックス要素の第二の没入型ビデオと同期される。

【0061】

当然のことながら、本開示は前述の実施形態に限定されない。特に、本開示は下位互換没入型ビデオストリームを生成する方法及びレンダリングデバイスのために下位互換没入型ビデオストリームからビデオを構成する方法に限定されない。このようなストリームを生成するため、又はこのようなストリームからビデオを構成するために必要な計算の実装は、ＣＰＵ内の実装に限定されず、あらゆるプログラムのタイプ、例えばＧＰＵタイプのマイクロプロセッサにより実行可能なプログラムにおける実装にも拡張される。

【0062】

本明細書に記載の実施例は、例えば方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてもよい。１つの形態の実施例に関してのみ論じられている（例えば、方法又は装置としてのみ論じられている）としても、論じられている特徴の実装は他の形態（例えば、プロクラム）でも実装されてよい。装置は例えば、適当なハードウェア、ソフトウェア、及びファームウェアにおいて実装されてもよい。方法は例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラムロジックデバイスを含む処理デバイス全般を指すプロセッサ等の装置において実装されてよい。プロセッサはまた、通信デバイス、例えばスマートフォン、タブレット、コンピュータ、モバイルフォン、ポータブル／携帯情報端末（ＰＤＡ）、ビデオサーバ、セットトップボックス、及びその他のデバイス等を含んでいてもよい。

【0063】

本明細書に記載されている各種のプロセスと特徴の実装は、多くの異なる機器やアプリケーション、特に例えばデータ符号化、データ復号、ビュー生成、テクスチャ処理、及び画像のその他の処理並びに関連するテクスチャ情報及び／又は奥行き情報に関連する機器やアプリケーションで具現化されてよい。このような機器の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルフォン、ＰＤＡ、及び他の通信デバイスが含まれる。明らかであるはずのとおり、機器はモバイル型であっても、さらには移動車両内に取り付けられてもよい。

【0064】

それに加えて、方法はプロセッサにより実行される命令により実装されてもよく、このような命令（及び／又は実装により生成されるデータ値）はプロセッサ可読媒体、例えば集積回路、ソフトウェアキャリア又は、例えばハードディスク、コンパクトディスケット（ＣＤ）、光ディスク（例えば、デジタルバーサタイルディスク又はデジタルビデオディスクと呼ばれることの多いＤＶＤ）、ランダムアクセスメモリ（ＲＡＭ）、又はリードオンリメモリ（ＲＯＭ）等のその他のストレージデバイス等に記憶されてもよい。命令は、プロセッサ可読媒体上に有形の状態で具現化されるアプリケーションプログラムを形成してもよい。命令は、例えばハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せの中にあってもよい。命令は、例えばオペレーティングシステム、別のアプリケーション、又はこれら２つの組合せの中に見られてもよい。したがって、プロセッサは、例えばプロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体（ストレージデバイス等）を含むデバイスの両方として特徴付けられてもよい。さらに、プロセッサ可読媒体は、命令に加えて、又は命令の代わりに、実装により生成されたデータ値を記憶してもよい。

【0065】

当業者にとっては明らかであるように、実装により、情報を搬送するようにフォーマットされた各種の信号が生成されてもよく、これらは例えば記憶又は送信されてもよい。情報には、例えば方法を実行するための命令、又は説明された実施例の１つにより生成されるデータが含まれていてもよい。例えば、信号は、説明された実施形態のシンタックスを読み書きするためのルールをデータとして搬送し、又は説明されている実施形態により書かれた実際のシンタックス値をデータとして搬送するようにフォーマットされてもよい。このような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使って）、又はベースバンド信号としてフォーマットされてもよい。フォーマッティングには例えば、データストリームを符号化することと、キャリアを符号化されたデータストリームで変調することを含んでいてもよい。信号が搬送する情報は、例えばアナログ又はデジタル情報であってもよい。信号は、既知のように、様々な異なる有線又は無線リンクを通じて送信されてもよい。信号は、プロセッサ可読媒体上に記憶されてもよい。

【0066】

以上、多数の実施例を説明した。しかしながら、理解すべき点として、様々な改変を加えてもよい。例えば、異なる実施例の要素を組み合わせ、補足し、改変し、又は取り除いて他の実施例を創出してもよい。それに加えて、当業者であればわかるように、開示されているものにとっては他の構造及びプロセスが適当である可能性もあり、その結果として得られた実装例は、開示された実施例と少なくとも実質的に同じ機能を少なくとも実質的に同じ方法で実行し、少なくとも実質的に同じ結果を達成する。したがって、本願ではこれら及びその他の実施例も想定される。
（付記１）
凸状マッピング面のために作成されたビデオ（２０、３０）からストリーム（１００）を生成する方法（８０）であって、
－ 前記凸状マッピング面の中心における視点から捕捉された少なくとも１つの第一のビデオ（６１、６３）を生成すること（８２）であって、各第一のビデオは前記没入型ビデオ（２０、３０）の一部を表す、生成すること（８２）と、
－ 前記少なくとも１つの部分が取り除かれている前記没入型ビデオ（２０、３０）から第二のビデオ（６０）を生成すること（８３）と、
－ 前記少なくとも１つの第一のビデオ（６１、６３）に関する第一のシンタックス要素（１０２、１０３）と前記第二のビデオ（６０）に関する第二のシンタックス要素（１０４）とを組み合わせることによって前記ストリーム（１００）を生成すること（８５）と、
を含む方法（８０）。
（付記２）
第三のシンタックス要素（１０５）を前記ストリーム（１００）の中に追加することであって、前記第三のシンタックス要素は前記少なくとも１つの部分の記述を表す情報データに関する、追加することをさらに含む、付記１に記載の方法。
（付記３）
前記情報データは時間と共に変化する、付記２に記載の方法。
（付記４）
前記少なくとも１つの第一のビデオを生成すること（８２）は、前記（仮想）カメラにより捕捉された前記画像を修正することをさらに含む、付記２に記載の方法。
（付記５）
前記少なくとも１つの第一のビデオを生成すること（８２）は、前記情報データに応じて前記マッピング面の向きを変更することをさらに含む、付記２又は４に記載の方法。
（付記６）
凸状マッピング面のために作成されたビデオ（２０、３０）からストリーム（１００）を生成するように構成されたデバイスであって、
－ 前記凸状マッピング面の中心における視点から捕捉された少なくとも１つの第一のビデオ（６１、６３）を生成する（８２）ためのビデオ生成器であって、各第一のビデオは前記没入型ビデオ（２０、３０）の一部を表す、ビデオ生成器と、
－ 前記少なくとも１つの部分が取り除かれている前記没入型ビデオ（２０、３０）から第二のビデオを生成する（８３）ためのビデオ生成器と、
－ 前記少なくとも１つの第一のビデオに関する第一のシンタックス要素（１０２、１０３）と前記第二のビデオに関する第二のシンタックス要素（１０４）を組み合わせることによって前記ストリーム（１００）を生成する（８５）ためのストリーム生成器と、
を含むデバイス。
（付記７）
前記ストリーム生成器は、第三のシンタックス要素（１０５）を前記ストリーム（１００）の中に追加するようにさらに構成され、前記第三のシンタックス要素は前記少なくとも１つの部分の記述を表す情報データに関する、付記６に記載のデバイス。
（付記８）
前記情報データは時間と共に変化する、付記７に記載のデバイス。
（付記９）
凸状マッピング面のために作成されたビデオ（２０、３０）を表すデータを搬送するストリーム（１００）であって、前記データは、
－ 前記凸状マッピング面の中心における視点から捕捉された少なくとも１つの第一のビデオ（６１、６３）に関する第一のシンタックス要素（１０２、１０３）であって、前記少なくとも１つの第一のビデオの各々は前記没入型ビデオの一部を表す第一のシンタックス要素（１０２、１０３）と、
－ 前記少なくとも１つの部分が取り除かれている前記没入型ビデオから生成された第二のビデオ（６０）に関する第二のシンタックス要素（１０４）と、
を含むストリーム（１００）。
（付記１０）
前記少なくとも１つの部分の記述を表す情報データに関する第三のシンタックス要素（１０５）をさらに含む、付記９に記載のストリーム。
（付記１１）
前記情報データは時間と共に変化する、付記１０に記載のストリーム。
（付記１２）
凸状マッピング面のために作成されたビデオ（２０、３０）を表すデータを搬送するストリーム（１００）からレンダリングデバイスのためのビデオを構成する方法（９０）であって、
－ 前記デバイスが没入型ビデオレンダリングデバイスである場合、
・前記ストリームの第一のシンタックス要素（１０２、１０３）から、前記凸状マッピング面の中心における視点から捕捉された少なくとも１つの第一のビデオ（６１、６３）を取得することであって、前記少なくとも１つの第一のビデオは前記没入型ビデオの一部を表す、取得することと、
・前記ストリームの第二のシンタックス要素から第二のビデオ（１０４）を取得することであって、前記第二のビデオは、各々の前記少なくとも１つの部分が取り除かれている前記没入型ビデオを表す、取得することと、
・前記少なくとも１つの第一のビデオの各々を前記第二のビデオに重畳することによってビデオを構成することと、
を含む方法（９０）。
（付記１３）
－ 前記デバイスがレガシービデオレンダリングデバイスである場合、
・前記ストリームの、前記凸状マッピング面の中心における視点から捕捉された少なくとも１つの第一のビデオ（６１、６３）に関する第一のシンタックス要素（１０２、１０３）から前記ビデオを取得することであって、前記少なくとも１つの第一のビデオの各々は前記没入型ビデオの一部を表す、取得することを含む、付記１２に記載の方法。
（付記１４）
前記ストリームは、前記少なくとも１つの部分の記述を表す情報データに関する第三のシンタックス要素（１０５）をさらに含む、付記１２又は１３に記載の方法。
（付記１５）
前記デバイスが没入型ビデオレンダリングデバイスである場合、前記ビデオを前記構成することは、前記第二のビデオに重畳するために前記第一のビデオに関連する前記部分の前記記述に応じて各第一のビデオを歪めること、サイズ変更すること、及び変換することを含む、付記１４に記載の方法。
（付記１６）
レンダリングデバイスのために、凸状マッピング面のために作成されたビデオ（２０、３０）を表すデータを搬送するストリーム（１００）からビデオを構成するように構成されたデバイスであって、
－ 前記デバイスが没入型ビデオレンダリングデバイスである場合、
・前記ストリームの第一のシンタックス要素（１０２、１０３）から前記凸状マッピング面の中心における視点から捕捉された少なくとも１つの第一のビデオ（６１、６３）を取得し、前記少なくとも１つの第一のビデオは前記没入型ビデオの一部を表すことと、
・前記ストリームの第二のシンタックス要素（１０４）から第二のビデオ（６０）を取得し、前記第二のビデオは、各々の前記少なくとも１つの部分が取り除かれている前記没入型ビデオを表すことと、
・前記少なくとも１つの第一のビデオの各々を前記第二のビデオに重畳することによって前記ビデオを構成することと、
を行うように構成されたプロセッサに関連するメモリを含むデバイス。
（付記１７）
前記プロセッサは、
－ 前記デバイスがレガシービデオレンダリングデバイスである場合、
・前記ストリームの、前記凸状マッピング面の中心における視点から捕捉された少なくとも１つの第一のビデオ（６１、６３）に関する第一のシンタックス要素（１０２、１０３）から前記ビデオを取得し、前記少なくとも１つの第一のビデオの各々は前記没入型ビデオの一部を表すこと
を行うように構成される、付記１６に記載のデバイス。
（付記１８）
前記ストリームは、前記少なくとも１つの部分の記述を表す情報データに関する第三のシンタックス要素（１０５）をさらに含む、付記１６又は１７に記載のデバイス。
（付記１９）
前記デバイスが没入型ビデオレンダリングデバイスである場合、前記ビデオを前記構成することは、前記第二のビデオに重畳するために前記第一のビデオに関連する前記部分の前記記述に応じて各第一のビデオ（６１、６３）を歪めること、サイズ変更すること、及び変換することを含む、付記１８に記載のデバイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】