特許 7047095 カメラレンズ情報を含む３６０°ビデオを送受信する方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-25

(45)【発行日】2022-04-04

(54)【発明の名称】カメラレンズ情報を含む３６０°ビデオを送受信する方法及びその装置

(51)【国際特許分類】

   H04N 21/431 20110101AFI20220328BHJP

   H04N 19/70 20140101ALI20220328BHJP

   H04N 19/33 20140101ALI20220328BHJP

   H04N 19/85 20140101ALI20220328BHJP

   G06T 19/00 20110101ALI20220328BHJP

【ＦＩ】

H04N21/431

H04N19/70

H04N19/33

H04N19/85

G06T19/00 A

【請求項の数】 16

(21)【出願番号】P 2020529338

(86)(22)【出願日】2019-02-22

(65)【公表番号】

(43)【公表日】2021-02-15

(86)【国際出願番号】 KR2019002205

(87)【国際公開番号】W WO2019168304

(87)【国際公開日】2019-09-06

【審査請求日】2020-05-28

(31)【優先権主張番号】62/635,551

(32)【優先日】2018-02-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】オ ヒョンムク

(72)【発明者】

【氏名】オ セチン

【審査官】富樫 明

(56)【参考文献】

【文献】国際公開第２０１７／２００７２１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０３１６６００（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ １９／７０

Ｈ０４Ｎ １９／３３

Ｈ０４Ｎ １９／８５

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

３６０°ビデオ受信装置が３６０°映像データを処理する方法であって、
３６０°映像データ及びメタデータを受信する段階であって、
前記３６０°映像データは、円形イメージを含むピクチャを含み、
前記メタデータは、前記円形イメージに対するレンズプロジェクションタイプ情報を含み、
前記レンズプロジェクションタイプ情報は、前記円形イメージに対するレンズプロジェクションモデル情報を示し、
前記メタデータは、前記３６０°映像データに対するビューポイントのｘ軸位置情報、ｙ軸位置情報及びｚ軸位置情報を示すビューポイント情報をさらに含む、段階と、
前記３６０°映像データを復号する段階と、
前記メタデータに基づいて前記３６０°映像データをレンダリングする段階と、を含む、方法。

【請求項2】

前記ビューポイント情報は、前記３６０°映像データのビューポイントのヨー角度、ピッチ角度及びロール角度を示す情報を含む、請求項１に記載の方法。

【請求項3】

前記メタデータは、前記円形イメージに対する焦点中心のｘオフセット、ｙオフセット及びｚオフセットを示すオフセット情報をさらに含む、請求項１に記載の方法。

【請求項4】

前記レンダリングする段階は、
前記メタデータに基づいて特定の位置に対するビューポイントを導き出す段階と、
前記導き出されたビューポイントに対する円形イメージを導き出す段階と、を含み、
前記特定の位置は、ローカル座標系及びグローバル座標系の少なくとも一つによって示される、請求項１に記載の方法。

【請求項5】

前記レンズプロジェクションタイプ情報は、透視投影、立体投影、等距離投影、正弦法則投影、等立体投影及び角多項式投影の一つを示す、請求項１に記載の方法。

【請求項6】

前記円形イメージの前記レンズプロジェクションタイプが前記透視投影、前記立体投影、前記等距離投影、前記正弦法則投影又は前記等立体投影である場合、前記メタデータは、前記円形イメージに対する倍率を示すための情報を含む、請求項５に記載の方法。

【請求項7】

前記メタデータは、ＳＥＩメッセージにより受信される、請求項１に記載の方法。

【請求項8】

前記メタデータは、ＭＰＤ（Media Presentation Description）に含まれたＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）ディスクリプタの形態で受信される、請求項１に記載の方法。

【請求項9】

３６０°ビデオ送信装置が３６０°映像データを処理する方法であって、
レンズを有するカメラによりキャプチャされた３６０°映像データを得る段階であって、前記３６０°映像データは、円形イメージを含む、段階と、
前記３６０°映像データを前記円形イメージを含むピクチャに前処理し、メタデータを生成する段階と、
前記３６０°映像データを符号化する段階と、
前記３６０°映像データ及び前記メタデータを送信する段階と、を含み、
前記メタデータは、前記円形イメージに対するレンズプロジェクションタイプ情報を含み、
前記レンズプロジェクションタイプ情報は、前記円形イメージに対するレンズプロジェクションモデル情報を示し、
前記メタデータは、前記３６０°映像データに対するビューポイントのｘ軸位置情報、ｙ軸位置情報及びｚ軸位置情報を示すビューポイント情報をさらに含む、方法。

【請求項10】

前記ビューポイント情報は、前記３６０°映像データのビューポイントのヨー角度、ピッチ角度及びロール角度を示す情報を含む、請求項９に記載の方法。

【請求項11】

前記メタデータは、前記円形イメージに対する焦点中心のｘオフセット、ｙオフセット及びｚオフセットを示すオフセット情報をさらに含む、請求項９に記載の方法。

【請求項12】

前記レンズプロジェクションタイプ情報は、透視投影、立体投影、等距離投影、正弦法則投影、等立体投影及び角多項式投影の一つを示す、請求項９に記載の方法。

【請求項13】

３６０°ビデオ受信装置であって、
３６０°映像データ及びメタデータを受信するように構成される受信部であって、
前記３６０°映像データは、円形イメージを含むピクチャを含み、
前記メタデータは、前記円形イメージに対するレンズプロジェクションタイプ情報を含み、
前記レンズプロジェクションタイプ情報は、前記円形イメージに対するレンズプロジェクションモデル情報を示し、
前記メタデータは、前記３６０°映像データに対するビューポイントのｘ軸位置情報、ｙ軸位置情報及びｚ軸位置情報を示すビューポイント情報をさらに含む、受信部と、
前記３６０°映像データを復号するように構成される復号器と、
前記メタデータに基づいて前記円形イメージをレンダリングするように構成されるレンダラーと、を含む、３６０°ビデオ受信装置。

【請求項14】

前記メタデータは、前記円形イメージに対する焦点中心のｘオフセット、ｙオフセット及びｚオフセットを示すオフセット情報をさらに含む、請求項１３に記載の３６０°ビデオ受信装置。

【請求項15】

３６０°ビデオ送信装置であって、
レンズを有するカメラによりキャプチャされた３６０°映像データを得るように構成されるプロセッサであって、前記３６０°映像データは、円形イメージを含む、プロセッサと、
前記３６０°映像データを前記円形イメージを含むピクチャに前処理し、メタデータを生成するように構成されるプロセッサと、
前記３６０°映像データを符号化するように構成される符号器と、
前記３６０°映像データ及び前記メタデータを送信するように構成される送信部と、を有し、
前記メタデータは、前記円形イメージに対するレンズプロジェクションタイプ情報を含み、
前記レンズプロジェクションタイプ情報は、前記円形イメージに対するレンズプロジェクションモデル情報を示し、
前記メタデータは、前記３６０°映像データに対するビューポイントのｘ軸位置情報、ｙ軸位置情報及びｚ軸位置情報を示すビューポイント情報をさらに含む、３６０°ビデオ送信装置。

【請求項16】

前記メタデータは、前記円形イメージに対する焦点中心のｘオフセット、ｙオフセット及びｚオフセットを示すオフセット情報をさらに含む、請求項１５に記載の３６０°ビデオ送信装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は３６０°ビデオに関し、より詳しくは、カメラレンズ情報を含む３ＤｏＦ＋コンテンツに対する３６０°ビデオを送受信する方法及びその装置に関する。

【背景技術】

【0002】

ＶＲ（Ｖｉｒｔｕａｌｌ Ｒｅａｌｉｔｙ）システムは、ユーザに電子的に投影された環境内にいるような感覚を提供する。ＶＲを提供するためのシステムは、より高画質のイメージと空間的な音響を提供するために改善が必要である。ＶＲシステムはユーザがインタラクティブにＶＲコンテンツを消費できるようにする。

【0003】

３ＤｏＦ＋（ｓｉｘ Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ＋）コンテンツは、複数のビューポイント（ｖｉｅｗ ｐｏｉｎｔ）に対する３６０°ビデオを介してユーザの位置の移動によって新しく形成される３ＤｏＦ或いは３６０°ビデオを提供することにより、より多様な感覚的経験を消費できるようにする。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の技術的課題は、ＶＲシステムを提供するためのＶＲビデオデータ送信の効率を高める方法及び装置を提供することにある。

【0005】

本発明の他の技術的課題は、ＶＲビデオデータ及びＶＲビデオデータに関するメタデータを送信する方法及び装置を提供することにある。

【0006】

本発明の他の技術的課題は、ＶＲビデオデータ及びＶＲビデオデータのカメラレンズ情報に関するメタデータを送信する方法及び装置を提供することにある。

【0007】

本発明の技術的課題は、３ＤｏＦ＋システムを提供するための３６０°ビデオデータ送信の効率を高める方法及び装置を提供することにある。

【0008】

本発明の他の技術的課題は、３ＤｏＦ＋システムを提供するためのビューポイント／ヘッド位置／アイビューに対する位置及び／又は角度に関するメタデータを送信する方法及び装置を提供することにある。

【0009】

本発明の他の技術的課題は、歪み（ｄｉｓｔｏｒｔｉｏｎ）修正に関する情報に基づいてレンズの特性を反映して歪みを修正する方法及び装置を提供することにある。

【0010】

本発明の他の技術的課題は、半径方向の歪み（ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）タイプを示す情報に基づいてレンズの特性を反映して歪みを修正する方法及び装置を提供することにある。

【課題を解決するための手段】

【0011】

本発明の一実施例によれば、３６０°ビデオ送信装置で行われる３６０°ビデオ処理方法が提供される。この方法は、少なくとも一つのレンズを有するカメラによりキャプチャされた３６０°映像を含む対象円形領域（ｃｉｒｃｕｌａｒ ｒｅｇｉｏｎ）を得る段階、該対象円形領域をピクチャにマッピングする段階、該対象円形領域がマッピングされたピクチャを符号化（ｅｎｃｏｄｉｎｇ）する段階、３６０°映像に関するメタデータを生成する段階、及び符号化されたピクチャ及びメタデータに対して格納又は送信のための処理を行う段階を含み、メタデータはカメラレンズ情報を含むことを特徴とする。

【0012】

本発明の他の実施例によれば、３６０°ビデオデータを処理する３６０°ビデオ送信装置が提供される。この３６０°ビデオ送信装置は、少なくとも一つのレンズを有するカメラによりキャプチャされた３６０°映像を含む対象円形領域を得るデータ入力部、対象円形領域をピクチャにマッピングするプロジェクション処理部、対象円形領域がマッピングされたピクチャを符号化するデータ符号器、３６０°映像に関するメタデータを生成するメタデータ処理部、及び符号化されたピクチャ及びメタデータに対して格納又は送信のための処理を行う送信処理部を含み、メタデータはカメラレンズ情報を含むことを特徴とする。

【0013】

本発明のさらに他の実施例によれば、３６０°ビデオ受信装置で行われる３６０°ビデオ処理方法が提供される。この方法は、３６０°映像データを受信する段階、３６０°映像データから符号化されたピクチャに関する情報及びメタデータを得る段階であって、メタデータはカメラレンズ情報を含む段階、符号化されたピクチャに関する情報に基づいて対象円形領域を含むピクチャを復号する段階、及びカメラレンズ情報に基づいて対象円形領域を処理してレンダリングする段階を含むことを特徴とする。

【0014】

本発明の他の実施例によれば、３６０°ビデオデータを処理する３６０°ビデオ受信装置が提供される。３６０°映像データを受信する受信部、３６０°映像データから符号化されたピクチャに関する情報及びメタデータを得る受信処理部であって、メタデータはカメラレンズ情報を含む受信処理部、符号化されたピクチャに関する情報に基づいて対象円形領域を含むピクチャを復号するデータ復号器、及びカメラレンズ情報に基づいて対象円形領域を処理してレンダリングするレンダラー（ｒｅｎｄｅｒｅｒ）を含むことを特徴とする。

【発明の効果】

【0015】

本発明によれば、地上波放送網とインターネット網を使用する次世代ハイブリッド放送を支援する環境において、３ＤｏＦ＋コンテンツを効率的に送信することができる。

【0016】

本発明によれば、ユーザの３ＤｏＦ＋コンテンツの消費において、インタラクティブ経験（ｉｎｔｅｒａｃｔｉｖｅ ｅｘｐｅｒｉｅｎｃｅ）を提供するための案を提案することができる。

【0017】

本発明によれば、ユーザの３ＤｏＦ＋コンテンツの消費において、３ＤｏＦ＋コンテンツのプロデューサーが意図するところを正確に反映するようにシグナリングする案を提案することができる。

【0018】

本発明によれば、３ＤｏＦ＋コンテンツの伝達において、送信キャパシティーを効率的に増やし、必要な情報が伝達されるようにする案を提案することができる。

【0019】

本発明によれば、カメラレンズ情報に基づいて３ＤｏＦ＋コンテンツに関する３６０°映像データから対象ビューポイント、対象ヘッド位置及び／又は対象アイビューに対する円形領域を導き出してレンダリング（ｒｅｎｄｅｒｉｎｇ）することができるので、これによりユーザの３ＤｏＦ＋コンテンツ消費においてインタラクティブ経験を提供することができる。

【0020】

本発明によれば、カメラレンズ情報に含まれた投射関数に関する情報及び／又は歪み補正関数に関する情報に基づいてレンズの特性を反映して多項式関数を導き出すことができ、多項式関数に基づいて３６０°映像がプロジェクションされたピクチャに発生した歪みを修正して３６０°映像データを３Ｄ空間により正確にマッピングする案を提案することができる。

【図面の簡単な説明】

【0021】

【図1】本発明による３６０°ビデオ提供のためのアーキテクチャ全体を示す図である。

【図2】本発明の一実施例によるメディアファイルの構造を示す図である。

【図3】本発明の一実施例によるメディアファイルの構造を示す図である。

【図4】ＤＡＳＨ基盤の適応型ストリーミングモデルの全般的な動作の一例を示す図である。

【図5】３ＤｏＦ＋ＶＲシステムを例示する図である。

【図6】本発明による３ＤｏＦ＋ビデオ提供のためのアーキテクチャ全体を示す図である。

【図7】本発明によるカメラレンズ情報及び／又は追加カメラレンズ情報に基づいて３６０°ビデオをパノラマイメージにスティッチング（ｓｔｉｔｃｈｉｎｇ）する一例を示す図である。

【図8a】３６０°ビデオ送信装置／３６０°デオ受信装置で行われる３６０°コンテンツ／３ＤｏＦ＋コンテンツを提供するためのアーキテクチャ全体を例示する図である。

【図8b】３６０°ビデオ送信装置／３６０°ビデオ受信装置で行われる３６０°コンテンツ／３ＤｏＦ＋コンテンツを提供するためのアーキテクチャ全体を例示する図である。

【図9】３６０°ビデオ受信装置においてカメラレンズ情報に基づいて３６０°ビデオを処理する一例を示す図である。

【図10】本発明を適用可能な３６０°ビデオ送信装置の構成の概略を示す図である。

【図11】本発明を適用可能な３６０°ビデオ受信装置の構成の概略を示す図である。

【図12】半径方向の投射関数（ｒａｄｉａｌ ｐｒｏｊｅｃｔｉｏｎ ｆｕｎｃｔｉｏｎｓ）を例示する図である。

【図13】複数のタイプの半径方向の歪みを例示する図である。

【図14】カメラレンズにより３６０°ビデオをキャプチャする一例を示す図である。

【図15】本発明による３６０°ビデオ送信装置による３６０°映像データ処理方法の概略を示す図である。

【図16】本発明による３６０°映像データ処理方法を行う３６０°ビデオ送信装置の概略を示す図である。

【図17】本発明による３６０°ビデオ受信装置による３６０°映像データ処理方法の概略を示す図である。

【図18】本発明による３６０°映像データ処理方法を行う３６０°ビデオ受信装置の概略を示す図である。

【発明を実施するための形態】

【0022】

本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書で「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらを組合せたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品又はこれらを組合せたものの存在又は付加の可能性を予め排除しないと理解しなければならない。

【0023】

一方、本発明で説明される図面上の各構成は、映像符号化／復号装置で互いに異なる特徴的な機能に関する説明の便宜のために独立して図示したものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで実現されるということを意味しない。例えば、各構成のうち二つ以上の構成が統合されて一つの構成になることもでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／又は分離された実施例も本発明の本質から外れない限り本発明の権利範囲に含まれる。

【0024】

以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上、同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素に対して重複した説明は省略する。

【0025】

図１は本発明による３６０°ビデオ提供のためのアーキテクチャ全体を示す図である。

【0026】

本発明はユーザに仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）を提供するために、３６０°コンテンツを提供する案を提案する。ＶＲとは、実際又は仮想の環境を複製（ｒｅｐｌｉｃａｔｅｓ）するための技術とその環境を意味する。ＶＲは人工的にユーザに感覚的経験を提供し、これによりユーザは電子的にプロジェクションされた環境にいるような経験をすることができる。

【0027】

３６０°コンテンツはＶＲを実現、提供するためのコンテンツ全般を意味し、３６０°ビデオ及び／又は３６０°オーディオを含む。３６０°ビデオはＶＲを提供するために必要な、全方向（３６０°）が同時にキャプチャ又は再生されるビデオ又はイメージコンテンツを意味する。以下、３６０°ビデオとは、３６０°ビデオを意味する。３６０°ビデオは３Ｄモデルによって様々な形態の３Ｄ空間上に表されるビデオ又はイメージを意味し、例えば、３６０°ビデオは球形の（Ｓｐｈｅｒｉｃａｌ）面上に表されることができる。３６０°オーディオもＶＲを提供するためのオーディオコンテンツであって、音響発生地が３次元の特定の空間上に位置すると認知できる、空間的（Ｓｐａｔｉａｌ）オーディオコンテンツを意味する。３６０°コンテンツは生成、処理されてユーザに送信され、ユーザは３６０°コンテンツを用いてＶＲ経験を消費する。

【0028】

本発明は特に３６０°ビデオを効果的に提供する案を提案する。３６０°ビデオを提供するために、まず１つ以上のカメラにより３６０°ビデオがキャプチャされる。キャプチャされた３６０°ビデオは一連の過程を経て送信され、受信側では受信されたデータを再び元来の３６０°ビデオに加工してレンダリングすることができる。これにより３６０°ビデオがユーザに提供される。

【0029】

具体的には、３６０°ビデオ提供のための全過程はキャプチャ過程（ｐｒｏｃｅｓｓ）、準備過程、送信過程、プロセシング過程、レンダリング過程及び／又はフィードバック過程を含む。

【0030】

キャプチャ過程は、１つ以上のカメラで複数のビューポイントの各々に対するイメージ又はビデオをキャプチャする過程を意味する。キャプチャ過程により図示された図１の（１１０）のようなイメージ／ビデオデータが生成される。図示した図１の（１１０）の各平面は各ビューポイントに対するイメージ／ビデオを意味する。このキャプチャされた複数のイメージ／ビデオをロー（ｒａｗ）データとも言える。キャプチャ過程ではキャプチャに関連するメタデータが生成されることができる。

【0031】

このキャプチャのためには、ＶＲのための特殊カメラが使用される。実施例によってコンピューターで生成された仮想の空間に対する３６０°ビデオを提供しようとする場合、実際のカメラによるキャプチャではないことがある。この場合、単に関連データが生成される過程をもって該当キャプチャ過程に代えることができる。

【0032】

準備過程は、キャプチャされたイメージ／ビデオ及びキャプチャ過程で発生したメタデータを処理する過程である。キャプチャされたイメージ／ビデオは、この準備過程において、スティッチング（ｓｔｉｔｃｈｉｎｇ）過程、プロジェクション（ｐｒｏｊｅｃｔｉｏｎ）過程、リージョンごとのパッキング過程（Ｒｅｇｉｏｎ－ｗｉｓｅ Ｐａｃｋｉｎｇ）及び／又は符号化過程などを経る。

【0033】

まず各々のイメージ／ビデオはスティッチング（Ｓｔｉｔｃｈｉｎｇ）過程を経る。スティッチング過程は、各々のキャプチャされたイメージ／ビデオを連結して１つのパノラマイメージ／ビデオ又は球形のイメージ／ビデオを形成する過程である。

【0034】

その後、スティッチングされたイメージ／ビデオは、プロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）過程を経る。プロジェクション過程において、スティッチングされたイメージ／ビデオは２Ｄイメージ上にプロジェクションされる。この２Ｄイメージは、文脈により２Ｄイメージフレームとも呼ばれる。２Ｄイメージにプロジェクションすることを、２Ｄイメージにマッピングするとも表現できる。プロジェクションされたイメージ／ビデオデータは、図示した図１の（１２０）のような２Ｄイメージ形態にもなる。

【0035】

２Ｄイメージ上にプロジェクションされたビデオデータは、ビデオコーディング効率などを高めるために、リージョンごとのパッキング過程（Ｒｅｇｉｏｎ－ｗｉｓｅ Ｐａｃｋｉｎｇ）を経る。リージョンごとのパッキングとは、２Ｄイメージ上にプロジェクションされたビデオデータをリージョン（Ｒｅｇｉｏｎ）ごとに分けて処理を加える過程を意味する。ここで、リージョン（Ｒｅｇｉｏｎ）とは、３６０°ビデオデータがプロジェクションされた２Ｄイメージが分かれた領域を意味する。このリージョンは、実施例によって、２Ｄイメージを均等に分けて区分するか、或いは任意に分かれて区分されることができる。また実施例によってリージョンはプロジェクションスキームにより区分されることもできる。リージョンごとのパッキング過程は選択的（ｏｐｔｉｏｎａｌ）過程であり、準備過程で省略することもできる。

【0036】

実施例によって、この処理過程は、ビデオコーディングの効率を高めるために、各々のリージョンを回転したり２Ｄイメージ上に再配列したりする過程を含むことができる。例えば、リージョンを回転してリージョンの特定の辺を互いに近接させることにより、コーディング時の効率を向上させることができる。

【0037】

実施例によって、この処理過程は、３６０°ビデオ上の領域ごとにレゾリューション（ｒｅｓｏｌｕｔｉｏｎ）を差別化するために、特定のリージョンに対するレゾリューションを上げるか或いは下げる過程を含むことができる。例えば、３６０°ビデオ上において相対的にもっと重要な領域に該当するリージョンは、他のリージョンよりレゾリューションを上げることができる。２Ｄイメージ上にプロジェクションされたビデオデータ又はリージョンごとのパッキングされたビデオデータは、ビデオコーデックを通じた符号化過程を経ることができる。

【0038】

実施例によって、準備過程はさらにエディット（ｅｄｉｔｉｎｇ）過程などを含むことができる。このエディット過程においては、さらにプロジェクション前後のイメージ／ビデオデータに対する編集などが行われる。準備過程でも同様に、スティッチング／プロジェクション／符号化／エディットなどに関するメタデータが生成されることができる。また、２Ｄイメージ上にプロジェクションされたビデオデータの初期ビューポイント、或いはＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）などに関するメタデータが生成されることができる。

【0039】

送信過程は、準備過程を経たイメージ／ビデオデータ及びメタデータを処理して送信する過程である。送信のために任意の送信プロトコルによる処理が行われる。送信のための処理が行われたデータは、放送網及び／又はブロードバンドを介して伝達される。このデータはオン・デマンド（Ｏｎ Ｄｅｍａｎｄ）方式で受信側に伝達されることもできる。受信側では様々な経路を通じて該当データを受信する。

【0040】

プロセシング過程は、受信したデータをデコーディングし、プロジェクションされているイメージ／ビデオデータを３Ｄモデル上にリプロジェクション（Ｒｅ－ｐｒｏｊｅｃｔｉｏｎ）する過程を意味する。この過程において、２Ｄイメージ上にプロジェクションされているイメージ／ビデオデータが３Ｄ空間上にリプロジェクションされることができる。この過程を文脈により、マッピング、プロジェクションとも呼ぶ。この時、マッピングされる３Ｄ空間は、３Ｄモデルによって異なる形態を有する。例えば、３Ｄモデルとしては、球形（Ｓｐｈｅｒｅ）、キューブ（Ｃｕｂｅ）、シリンダー（Ｃｙｌｉｎｄｅｒ）又はピラミッド（Ｐｙｒａｍｉｄ）などがある。

【0041】

実施例によって、プロセシング過程は、さらにエディット（ｅｄｉｔｉｎｇ）過程、アップスケーリング（ｕｐｓｃａｌｉｎｇ）過程など含む。このエディット過程においては、さらにリプロジェクション前後のイメージ／ビデオデータに対する編集などが行われる。イメージ／ビデオデータが縮小されている場合は、アップスケーリング過程においてサンプルのアップスケーリングによりそのサイズを拡大することができる。必要な場合、ダウンスケーリングによりサイズを縮小する作業を行うこともできる。

【0042】

レンダリング過程は、３Ｄ空間上にリプロジェクションされたイメージ／ビデオデータをレンダリングしてディスプレイする過程を意味する。リプロジェクションとレンダリングを合わせて、３Ｄモデル上にレンダリングするとも表現できる。３Ｄモデル上にリプロジェクションされた（又は３Ｄモデル上にレンダリングされた）イメージ／ビデオは、図示された図１の（１３０）のような形態を有することができる。図示された図１の（１３０）は球形（Ｓｐｈｅｒｅ）の３Ｄモデルにリプロジェクションされた場合である。ユーザはＶＲディスプレイなどによりレンダリングされたイメージ／ビデオの一部領域を見ることができる。この時、ユーザが見る領域は図示された図１の（１４０）のような形態であることができる。

【0043】

フィードバック過程は、ディスプレイ過程から得られる様々なフィードバック情報を送信側に伝達する過程を意味する。フィードバック過程により、３６０°ビデオの消費において双方向性（Ｉｎｔｅｒａｃｔｉｖｉｔｙ）が提供される。実施例によって、フィードバック過程でヘッドオリエンテーション（Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ）情報、ユーザが現在見ている領域を示すビューポート（Ｖｉｅｗｐｏｒｔ）情報などが送信側に伝達される。実施例によって、ユーザはＶＲ環境上に実現されたものと相互作用することもできるが、この場合、その相互作用に関連する情報がフィードバック過程で送信側或いはサービス供給者に伝達される。実施例によっては、フィードバック過程は省略できる。

【0044】

ヘッドオリエンテーション情報はユーザのヘッド位置、角度、動きなどに関する情報を意味する。これらの情報に基づいてユーザが現在３６０°ビデオで見ている領域に関する情報、即ち、ビューポート情報を計算することができる。

【0045】

ビューポート情報は、現在ユーザが３６０°ビデオで見ている領域に関する情報である。これによりゲイズ分析（Ｇａｚｅ Ａｎａｌｙｓｉｓ）が行われ、ユーザがどのような方式で３６０°ビデオを消費するか、３６０°ビデオのどの領域をどのくらい凝視するかなどを確認できる。ゲイズ分析は、受信側で行われて送信側にフィードバックチャネルを介して伝達される。ＶＲディスプレイなどの装置は、ユーザのヘッド位置／方向、装置が支援する垂直（ｖｅｒｔｉｃａｌ）或いは水平（Ｈｏｒｉｚｏｎｔａｌ）ＦＯＶなどに基づいて、ビューポート領域を抽出することができる。

【0046】

実施例によって、上述したフィードバック情報は送信側に伝達されるだけではなく、受信側で消費されることもできる。即ち、上述したフィードバック情報を用いて受信側のデコーディング、リプロジェクション、レンダリング過程などが行われる。例えば、ヘッドオリエンテーション情報及び／又はビューポート情報を用いて現在ユーザが見ている領域に対する３６０°ビデオのみを優先してデコーディング及びレンダリングすることができる。

【0047】

ここで、ビューポート（ｖｉｅｗｐｏｒｔ）又はビューポート領域は、ユーザが３６０°ビデオで見ている領域を意味する。ビューポイント（ｖｉｅｗｐｏｉｎｔ）はユーザが３６０°ビデオで見ているところであって、ビューポート領域の真ん中を意味する。即ち、ビューポートはビューポイントを中心とする領域であるが、その領域が占めるサイズ、形態などは後述するＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）により決定される。

【0048】

上述した３６０°ビデオ提供のためのアーキテクチャ全体の中において、キャプチャ／プロジェクション／符号化／送信／デコーディング／リプロジェクション／レンダリングの一連の過程を経るイメージ／ビデオデータを、３６０°ビデオデータと呼ぶ。３６０°ビデオデータという用語はまた、かかるイメージ／ビデオデータに関連するメタデータ乃至シグナリング情報を含む概念としても使用される。

【0049】

上記オーディオ又はビデオなどのメディアデータを格納して送信するために、定型化されたメディアファイルフォーマットを定義できる。実施例によってメディアファイルは、ＩＳＯ ＢＭＦＦ（ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ）に基づくファイルフォーマットを有することができる。

【0050】

図２及び図３は本発明の一実施例によるメディアファイルの構造を示す図である。

【0051】

本発明によるメディアファイルは、少なくとも一つ以上のボックスを含む。ここで、ボックス（ｂｏｘ）は、メディアデータ又はメディアデータに関連するメタデータなどを含むデータブロック或いはオブジェクトである。複数のボックスは互いに階層的構造を有し、これによりデータが分類されてメディアファイルが大容量メディアデータの格納及び／又は送信に適合した形態になる。またメディアファイルは、ユーザがメディアコンテンツの特定の地点に移動するなど、メディア情報への接近に容易な構造を有する。

【0052】

本発明によるメディアファイルはｆｔｙｐボックス、ｍｏｏｖボックス及び／又はｍｄａｔボックスを含む。

【0053】

ｆｔｙｐボックス（ファイルタイプボックス）は、該当メディアファイルに対するファイルタイプ又は互換性関連情報を提供する。ｆｔｙｐボックスは該当メディアファイルのメディアデータに対する構成バージョン情報を含む。復号器はｆｔｙｐボックスを参照して該当メディアファイルを区分することができる。

【0054】

ｍｏｏｖボックス（ムービーボックス）は、該当メディアファイルのメディアデータに関するメタデータを含むボックスである。ｍｏｏｖボックスは全てのメタデータのためのコンテナの役割を果たす。ｍｏｏｖボックスはメタデータ関連ボックスのうち、最上位階層のボックスである。実施例によって、ｍｏｏｖボックスはメディアファイル内に一つのみ存在する。

【0055】

ｍｄａｔボックス（メディアデータボックス）は、該当メディアファイルの実際のメディアデータを入れるボックスである。メディアデータはオーディオサンプル及び／又はビデオサンプルを含むが、ｍｄａｔボックスはかかるメディアサンプルを入れるコンテナの役割を果たす。

【0056】

実施例によっては、上述したｍｏｏｖボックスは、さらにｍｖｈｄボックス、ｔｒａｋボックス及び／又はｍｖｅｘボックスなどを下位ボックスとして含むことができる。

【0057】

ｍｖｈｄボックス（ムービーヘッダボックス）は、該当メディアファイルに含まれるメディアデータのメディアプレゼンテーション関連情報を含む。即ち、ｍｖｈｄボックスは該当メディアプレゼンテーションのメディア生成時間、変更時間、時間規格、期間などの情報を含む。

【0058】

ｔｒａｋボックス（トラックボックス）は、該当メディアデータのトラックに関連する情報を提供する。ｔｒａｋボックスはオーディオトラック又はビデオトラックに対するストリーム関連情報、プレゼンテーション関連情報、アクセス関連情報などの情報を含む。Ｔｒａｋボックスはトラックの数によって複数個存在する。

【0059】

ｔｒａｋボックスは、実施例によって、さらにｔｋｈｄボックス（トラックヘッダボックス）を下位ボックスとして含む。ｔｋｈｄボックスはｔｒａｋボックスが示す該当トラックに関する情報を含む。ｔｋｈｄボックスは該当トラックの生成時間、変更時間、トラック識別子などの情報を含む。

【0060】

ｍｖｅｘボックス（ムービー延長（ｅｘｔｅｎｄ）ボックス）は、該当メディアファイルに後述するｍｏｏｆボックスがあり得ることを指示する。特定トラックの全てのメディアサンプルを知るために、ｍｏｏｆボックスをスキャンする必要がある。

【0061】

本発明によるメディアファイルは、実施例によって、複数のフラグメントに分かれることができる（２００）。これにより、メディアファイルが分割されて格納又は送信される。メディアファイルのメディアデータ（ｍｄａｔボックス）は複数のフラグメントに分かれ、各々のフラグメントはｍｏｏｆボックスと分かれたｍｄａｔボックスを含む。実施例によって、フラグメントを活用するためには、ｆｔｙｐボックス及び／又はｍｏｏｖボックスの情報が必要である。

【0062】

ｍｏｏｆボックス（ムービーフラグメントボックス）は、該当フラグメントのメディアデータに関するメタデータを提供する。ｍｏｏｆボックスは該当フラグメントのメタデータ関連ボックスのうちの最上位階層のボックスである。

【0063】

ｍｄａｔボックス（メディアデータボックス）は、上述したように、実際のメディアデータを含む。このｍｄａｔボックスは、各々の該当フラグメントに該当するメディアデータのメディアサンプルを含む。

【0064】

実施例によって、上述したｍｏｏｆボックスは、さらにｍｆｈｄボックス及び／又はｔｒａｆボックスなどを下位ボックスとして含むことができる。

【0065】

ｍｆｈｄボックス（ムービーフラグメントヘッダボックス）は、分割された複数のフラグメントの関連性に関連する情報を含む。ｍｆｈｄボックスはシーケンス番号（ｓｅｑｕｅｎｃｅ ｎｕｍｂｅｒ）を含み、該当フラグメントのメディアデータが分割された何番目のデータであるかを示す。また、ｍｆｈｄボックスを用いて、分割されたデータのうち、漏れたものがあるか否かを確認することができる。

【0066】

ｔｒａｆボックス（トラックフラグメントボックス）は、該当トラックフラグメントに関する情報を含む。ｔｒａｆボックスは該当フラグメントに含まれる分割されたトラックフラグメントに関するメタデータを提供する。ｔｒａｆボックスは該当トラックフラグメント内のメディアサンプルが復号／再生されるようにメタデータを提供する。ｔｒａｆボックスはトラックフラグメントの数によって複数個が存在することができる。

【0067】

実施例によって、上述したｔｒａｆボックスは、さらにｔｆｈｄボックス及び／又はｔｒｕｎボックスなどを下位ボックスとして含むことができる。

【0068】

ｔｆｈｄボックス（トラックフラグメントヘッダボックス）は、該当トラックフラグメントのヘッダ情報を含む。ｔｆｈｄボックスは上述したｔｒａｆボックスが示すトラックフラグメントのメディアサンプルに対して、基本的なサンプルサイズ、期間、オフセット、識別子などの情報を提供する。

【0069】

ｔｒｕｎボックス（トラックフラグメントランボックス）は、該当トラックフラグメント関連情報を含む。ｔｒｕｎボックスはメディアサンプルごとの期間、サイズ、再生時点などのような情報を含む。

【0070】

上述したメディアファイル或いはメディアファイルのフラグメントは、セグメントで処理されて送信されることができる。セグメントには初期化セグメント（ｉｎｉｔｉａｌｉｚａｔｉｏｎ Ｓｅｇｍｅｎｔ）及び／又はメディアセグメント（ｍｅｄｉａ Ｓｅｇｍｅｎｔ）がある。

【0071】

図示された実施例（２１０）のファイルは、メディアデータを除いて、メディア復号器の初期化に関連する情報などを含むファイルである。このファイルは、例えば、上述した初期化セグメントに該当する。初期化セグメントは上述したｆｔｙｐボックス及び／又はｍｏｏｖボックスを含む。

【0072】

図示された実施例（２２０）のファイルは、上述したフラグメントを含むファイルである。このファイルは、例えば、上述したメディアセグメントに該当する。メディアセグメントは上述したｍｏｏｆボックス及び／又はｍｄａｔボックスを含む。さらにメディアセグメントはｓｔｙｐボックス及び／又はｓｉｄｘボックスを含むことができる。

【0073】

ｓｔｙｐボックス（セグメントタイプボックス）は、分割されたフラグメントのメディアデータを識別するための情報を提供する。ｓｔｙｐボックスは分割されたフラグメントに対して、上述したｆｔｙｐボックスのような役割を果たす。実施例によって、ｓｔｙｐボックスはｆｔｙｐボックスと同じフォーマットを有することができる。

【0074】

ｓｉｄｘボックス（セグメントインデックスボックス）は、分割されたフラグメントに対するインデックスを示す情報を提供する。これにより、該当する分割されたフラグメントが何番目のフラグメントであるかが指示される。

【0075】

実施例によって（２３０）、さらにｓｓｉｘボックスを含むことができるが、ｓｓｉｘボックス（サブセグメントインデックスボックス）は、セグメントがサブセグメントにさらに分かれる場合において、そのサブセグメントのインデックスを示す情報を提供する。

【0076】

メディアファイル内のボックスは、図示された実施例（２５０）のようなボックス或いはフルボックス（ＦｕｌｌＢｏｘ）の形態に基づいて、より拡張した情報を含むことができる。この実施例において、ｓｉｚｅフィールド、ｌａｒｇｅｓｉｚｅフィールドは該当ボックスの長さをバイト単位などで示す。ｖｅｒｓｉｏｎフィールドは該当ボックスフォーマットのバージョンを示す。ｔｙｐｅフィールドは該当ボックスのタイプ或いは識別子を示す。ｆｌａｇｓフィールドは該当ボックスに関連するフラッグなどを示す。

【0077】

一方、本発明の３６０°ビデオに対するフィールド（属性）は、ＤＡＳＨ基盤の適応型（Ａｄａｐｔｉｖｅ）ストリーミングモデルに含まれて伝達されることができる。

【0078】

図４はＤＡＳＨ基盤の適応型ストリーミングモデルの全般的な動作の一例を示す図である。示された実施例（４００）によるＤＡＳＨ基盤の適応型ストリーミングモデルは、ＨＴＴＰサーバとＤＡＳＨクライアントの間の動作について記載している。ここで、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）は、ＨＴＴＰ基盤の適応型ストリーミングを支援するためのプロトコルであって、ネットワーク状況によって動的にストリーミングを支援する。これにより、ＡＶコンテンツ再生を続けて提供することができる。

【0079】

まずＤＡＳＨクライアントはＭＰＤを得ることができる。ＭＰＤはＨＴＴＰサーバなどのサービス供給者から伝達される。ＤＡＳＨクライアントはＭＰＤに記載されたセグメントへの接近情報を用いてサーバに該当セグメントを要求することができる。ここで、この要求はネットワーク状態を反映して行われる。

【0080】

ＤＡＳＨクライアントは該当セグメントを得た後、これをメディアエンジンで処理して画面にディスプレイする。ＤＡＳＨクライアントは再生時間及び／又はネットワーク状況などを実時間に反映して、必要なセグメントを要求して得ることができる（Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ）。これにより、コンテンツを続けて再生することができる。

【0081】

ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）は、ＤＡＳＨクライアントがセグメントを動的に獲得するための詳細情報を含むファイルであり、ＸＭＬ形態で表現できる。

【0082】

ＤＡＳＨクライアントコントローラー（ＤＡＳＨ Ｃｌｉｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）は、ネットワーク状況を反映してＭＰＤ及び／又はセグメントを要求するコマンドを生成する。また、このコントローラーは得られた情報をメディアエンジンなどの内部ブロックで使用できるように制御する。

【0083】

ＭＰＤパーサー（Ｐａｒｓｅｒ）は得られたＭＰＤを実時間にパーシングする。これにより、ＤＡＳＨクライアントコントローラーは必要なセグメントを得るコマンドを生成することができる。

【0084】

セグメントパーサーは得られたセグメントを実時間にパーシングする。セグメントに含まれた情報によってメディアエンジンなどの内部ブロックは特定の動作を行うことができる。

【0085】

ＨＴＴＰクライアントは必要なＭＰＤ及び／又はセグメントなどをＨＴＴＰサーバに要求する。またＨＴＴＰクライアントはサーバから獲得したＭＰＤ及び／又はセグメントをＭＰＤパーサー又はセグメントパーサーに伝達する。

【0086】

メディアエンジン（Ｍｅｄｉａ Ｅｎｇｉｎｅ）はセグメントに含まれたメディアデータを用いてコンテンツを画面上に示す。この時、ＭＰＤの情報が活用される。

【0087】

ＤＡＳＨデータモデルは階層的構造（４１０）を有することができる。メディアプレゼンテーションはＭＰＤにより記述される。ＭＰＤはメディアプレゼンテーションを形成する複数の区間（Ｐｅｒｉｏｄ）の時間的なシーケンスを記述する。ピリオドはメディアコンテンツの一区間を示す。

【0088】

１つの区間において、データはアダプテーションセットに含まれることができる。アダプテーションセットは、互いに交換可能な複数のメディアコンテンツコンポーネントの集合である。アダプテーションはレプリゼンテーションの集合を含む。レプリゼンテーションはメディアコンテンツコンポーネントに該当する。１つのレプリゼンテーション内において、コンテンツは複数のセグメントに時間的に分かれる。これは適切な接近性と伝達（ｄｅｌｉｖｅｒｙ）のためである。各々のセグメントに接近するために、各セグメントのＵＲＬが提供される。

【0089】

ＭＰＤはメディアプレゼンテーションに関連する情報を提供し、期間エレメント、アダプテーションセットエレメント、レプリゼンテーションエレメントは各々、該当期間、アダプテーションセット、レプリゼンテーションについて記述できる。レプリゼンテーションはサブ－レプリゼンテーションに分かれるが、サブ－レプリゼンテーションエレメントは該当サブ－レプリゼンテーションについて記述することができる。

【0090】

ここで、共通（Ｃｏｍｍｏｎ）属性／エレメントが定義されるが、これらはアダプテーションセット、レプリゼンテーション、サブ－レプリゼンテーションなどに適用できる（含まれることができる）。共通属性／エレメントのうちには、エッセンシャルプロパティー（Ｅｓｓｅｎｔｉａｌ Ｐｒｏｐｅｒｔｙ）及び／又は補足プロパティー（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｐｒｏｐｅｒｔｙ）があり得る。

【0091】

エッセンシャルプロパティーは、該当メディアプレゼンテーション関連データを処理するにおいて、必須であると思われるエレメントを含む情報である。補足プロパティーは該当メディアプレゼンテーション関連データを処理するにおいて、使用可能なエレメントを含む情報である。実施例によって、後述するディスクリプタは、ＭＰＤを通じて伝達される場合、エッセンシャルプロパティー及び／又は補足プロパティー内に定義されて伝達される。

【0092】

一方、本発明はユーザに没入型メディア／実感メディア（Ｉｍｍｅｒｓｉｖｅ ｍｅｄｉａ）の経験を提供するために、上述した３６０°コンテンツを提供する案以外に、３ＤｏＦ＋（３Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ＋）コンテンツを提供する案を提案する。

【0093】

上述した既存の３ＤｏＦ基盤のＶＲシステム（即ち、上述した既存の３６０°コンテンツ基盤のシステム）では、ユーザに該ユーザの固定位置での互いに異なる方向（ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ）に対する視覚的／聴覚的経験を提供した反面、３ＤｏＦ＋基盤のＶＲシステムでは、互いに異なる位置（ｖｉｅｗｐｏｉｎｔ）、互いに異なる視点（ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ）での互いに異なる方向に対する拡張した視覚的／聴覚的経験を提供することを目標としている。即ち、３ＤｏＦ＋基盤のＶＲシステムは、複数の位置（ｖｉｅｗｐｏｉｎｔｓ）での複数の視点（ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ）にレンダリングされる３６０°コンテンツを提供するシステムである。

【0094】

３ＤｏＦ＋ＶＲシステムでさらに定義される位置及び視点の概念について、以下のように説明することができる。

【0095】

図５は３ＤｏＦ＋ＶＲシステムを例示する図である。

【0096】

具体的には、図５の（ａ）を参照すると、３ＤｏＦ＋ＶＲシステムにおいて、３６０°コンテンツが提供される複数のビューポイント（ｖｉｅｗｐｏｉｎｔｓ）が例示されている。例えば、図５の（ａ）に示すように、特定の空間（公演場など）において複数の特定の位置が３６０°コンテンツが提供されるビューポイントとして考慮される。この場合、同じ特定の空間に存在するビューポイントの各々で提供される映像／音声は同じ時間の流れを有すると仮定することができる。

【0097】

一方、特定のビューポイントでは複数の視点（ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ）に対する３６０°コンテンツがレンダリングされることができる。従って、特定のビューポイントでのユーザの視点変化（ｈｅａｄ ｍｏｔｉｏｎ）によって、互いに異なる視覚的／聴覚的経験を提供できる。ここで、３６０°コンテンツは３ＤｏＦ＋コンテンツとも呼ばれ、３ＤｏＦ＋コンテンツは３ＤｏＦ＋ビデオ及び３ＤｏＦ＋オーディオを含む。

【0098】

例えば、図５の（ａ）に示した３ＤｏＦ＋コンテンツでのｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値は１に指定することができる。ここで、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドは、ｉ番目のカメラの目的、実施例又はタイプなどを示す。ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドについて詳しくは後述する。

【0099】

ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が１である場合、特定のビューポイントで３ＤｏＦ＋アプリケーションを支援する他のヘッド位置（ｈｅａｄ ｐｏｓｉｔｉｏｎ）が定義され、これによりヘッド運動視差（ｈｅａｄ ｍｏｔｉｏｎ ｐａｒａｌｌａｘ）を支援できる。

【0100】

なお、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値は２に指定することができる。ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が２である場合、ヘッド位置及びヘッドディレクションが提供される。また、３ＤｏＦ＋アプリケーションにおいて両眼視差（ｂｉｎｏｃｕｌａｒ ｄｉｓｐａｒｉｔｙ）を支援する時、左側アイビュー又は右側アイビューのサブピクチャはｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値を３とすることにより表示できる。即ち、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が３である場合、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドは両眼視差が支援される左側アイビュー又は右側アイビューのサブピクチャを示すことができる。

【0101】

一方、３ＤｏＦ＋コンテンツに対するｃａｍｅｒａ＿ｉｄ［ｉ］フィールド及び対応するｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドなどのカメラレンズ情報によりスティッチング又はレンダリングプロセッサのようなポストプロセッサ（ｐｏｓｔ－ｐｒｏｃｅｓｓｏｒ）がピクチャを分析する前に該ピクチャを処理することができる。スティッチング又はレンダリングプロセッサは、上記カメラレンズ情報を用いて特定の目的によってサブピクチャを選択することができる。例えば、上記カメラレンズ情報に基づいて平面視ディスプレイ（ｍｏｎｏｓｃｏｐｉｃ ｄｉｓｐｌａｙ）のための一つのビューがディスプレイされることができ、特定のビューポイント又はヘッド位置などによって選択的に処理することができる。

【0102】

カメラレンズ情報のさらに他の適用例としてはパノラマイメージ生成がある。パノラマイメージは、同時間に複数のカメラによりキャプチャされたイメージ又は単一のカメラにより複数の位置でキャプチャされたイメージに基づいて生成される。また、配列（ａｒｒａｙ）での複数のカメラによりキャプチャされたライトフィールドビデオ（ｌｉｇｈｔ ｆｉｅｌｄ ｖｉｄｅｏ）でカメラレンズ情報に基づいて各々のカメラの位置及びレンズ特性などを示すことができる。

【0103】

図５の（ｂ）は特定のビューポイントでの複数の視点の３Ｄ空間を例示する図である。例えば、３Ｄ空間は球（ｓｐｈｅｒｅ）である。特定のビューポイントでのユーザの視点変化によって互いに異なる視覚的／聴覚的経験を提供できるので、各視点の相対的な位置を反映した映像／音声／テキスト情報を提供できる。

【0104】

また、特定のビューポイントの特定の視点では、既存の３６０°コンテンツのように様々な方向の視覚的／聴覚的情報を伝達できる。即ち、特定のビューポイントの特定の視点に対する３６０°コンテンツが３Ｄ空間にレンダリングされることができる。この場合、映像／音声／テキストなどを含むメインソースだけではなく、更なる様々なソースが統合されて提供され、更なるソースに関する情報はユーザの視聴方向（ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ）に連携されるか、又は独立して伝達されることができる。

【0105】

図５の（ｃ）は特定の視点の３６０°ビデオがレンダリングされる３Ｄ空間を例示する図である。図５の（ｃ）に示したように、球面上の各点は、球座標系を用いて、ｒ（球の半径）、θ（ｚ軸を基準として回転方向及び程度）、φ（ｘ－ｙ平面のｚ軸に向かう回転方向及び程度）により表すことができる。実施例によって、球面はワールド座標系と一致するか、又は前面カメラ（ｆｒｏｎｔ ｃａｍｅｒａ）の主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）を球面の（ｒ、０、０）地点と仮定することができる。

【0106】

一方、球面上の各点の位置は、飛行機の主軸の概念（Ａｉｒｃｒａｆｔ Ｐｒｉｎｃｉｐａｌ Ａｘｅｓ）に基づいて示すことができる。例えば、球面上の各点の位置は、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）及びロール（ｒｏｌｌ）により表すことができる。

【0107】

飛行機は３次元に自由に回転する。３次元をなす軸を各々ピッチ（ｐｉｔｃｈ）軸、ヨー（ｙａｗ）軸及びロール（ｒｏｌｌ）軸という。本明細書においては、これらを簡略にｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ又はｐｉｔｃｈ方向、ｙａｗ方向、ｒｏｌｌ方向とも表現する。Ｐｉｔｃｈ軸は飛行機の先端が上／下に回転する方向の基準になる軸を意味する。示された飛行機の主軸の概念において、Ｐｉｔｃｈ軸は飛行機の翼から翼に続く軸を意味する。Ｙａｗ軸は飛行機の先端が左／右に回転する方向の基準になる軸を意味する。示された飛行機の主軸の概念において、ｙａｗ軸は飛行機の上から下に続く軸を意味する。ｒｏｌｌ軸は示された飛行機の主軸の概念において飛行機の先端から後端に続く軸であって、ｒｏｌｌ方向の回転とは、ｒｏｌｌ軸を基準とする回転を意味する。上述したように、ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌの概念により、本発明における３Ｄ空間を記載できる。実施例によってＸ、Ｙ、Ｚ軸概念又は球座標系を用いた方法を使用できる。

【0108】

図６は本発明による３ＤｏＦ＋ビデオ提供のためのアーキテクチャ全体を示す図である。

【0109】

図６を参照すると、３ＤｏＦ＋ビデオデータ及び／又は３ＤｏＦ＋オーディオデータが得られる。具体的には、３ＤｏＦ＋コンテンツのキャプチャのためにＨＤＣＡ（Ｈｉｇｈ Ｄｅｎｓｉｔｙ Ｃａｍｅｒａ Ａｒｒａｙ）、Ｌｅｎｓｌｅｔ（ｍｉｃｒｏｌｅｎｓ）カメラなどが使用され、３ＤｏＦ＋ビデオキャプチャのためにデザインされた新しいデバイスにより得ることもできる。図６に示した得られた映像（６１０）のように、キャプチャしたカメラの位置によって生成されたイメージ／ビデオデータ集合が複数個ある。即ち、多数の位置での視点変化（ｈｅａｄ ｍｏｔｉｏｎ）による多数の映像／音声情報が得られる。この場合、映像情報は視覚的（ｔｅｘｔｕｒｅ）情報だけではなく、深さ（ｄｅｐｔｈ）情報を含むことができる。図６示した得られた映像（６１０）のように、互いに異なる撮影位置（ｖｉｅｗｐｏｉｎｔ）による互いに異なる視点の複数の情報が各々得られる。また３ＤｏＦ＋コンテンツのキャプチャ過程において、カメラの内部／外部の設定値などを示すメタデータが生成される。なお、カメラではなく、コンピューターで生成された映像の場合には、キャプチャ過程に代えることができる。

【0110】

映像獲得過程が行われた場合、組み合わせ（Ｃｏｍｐｏｓｉｔｉｏｎ）過程が行われる。組み合わせ過程は、映像／音声入力装置により得られた映像（６１０）及び外部メディアにより入力された映像（ビデオ／イメージなど）、音声（オーディオ／効果音響など）、テキスト（字幕など）をユーザ経験に含ませるために合成する過程であると定義できる。

【0111】

得られた映像（６１０）の前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｏｎ）過程は、キャプチャされたイメージ／ビデオ及びキャプチャ過程で伝達されたメタデータを処理する過程である。前処理過程は、スティッチング（Ｓｔｉｔｃｈｉｎｇ）過程、色補正（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ）過程、プロジェクション過程、コーディング効率を高めるために主視点（ｐｒｉｍａｒｙ ｖｉｅｗ）と副視点（ｓｅｃｏｎｄａｒｙ ｖｉｅｗ）に分離する視点分離（ｖｉｅｗ ｓｅｇｍｅｎａｔｉｏｎ）過程及び符号化過程などの送信前コンテンツを処理する全ての形態の前処理段階を含む。

【0112】

より詳しくは、スティッチング過程は、各カメラの位置において３６０方向でキャプチャされた映像を各々のカメラ位置を中心とするパノラマ、或いは球形の形態に映像を連結するイメージ／ビデオを形成する過程である。

【0113】

その後、スティッチングされたイメージ／ビデオは、プロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）過程を経る。プロジェクション過程は、各々のスティッチングされた映像を２Ｄイメージに投影してプロジェクションされたピクチャ（６２０）を導き出す過程を意味する。ここで、プロジェクションは２Ｄイメージにマッピングするとも表現できる。各カメラ位置でマッピングした映像は主視点と副視点に分離でき、ビデオコーディングの効率を高めるために、視点ごとに異なる解像度（ｒｅｓｏｌｕｔｉｏｎ）を適用でき、主視点内でもマッピング映像の配置や解像度を変更することで、コーディング時の効率を高めることができる。視点による映像分離過程はビューセグメンテーション（ｖｉｅｗ ｓｅｇｍｅｎｔａｔｉｏｎ）過程ともいえる。また、副視点はキャプチャ環境によってはないこともできる。副視点は、主視点から他の主視点にユーザが移動する場合に、移動過程中に再生されるイメージ／ビデオを意味し、主視点に比べて低い解像度を有するが、必要によっては同じ解像度を有することもできる。また、場合によっては、受信機で副視点が仮想の情報として新しく生成されることができる。

【0114】

実施例によって、さらに前処理過程はエディット（ｅｄｉｔｉｎｇ）過程を含む。エディット過程は、３６０°ビデオのリージョンの間の境界をなくすか、色相／明るさの差を減らすか、又は映像の視覚的効果を追加する過程である。また前処理過程は、領域によって映像を再配置するパッキング（ｐａｃｋｉｎｇ）過程、映像情報を圧縮する符号化過程を含む。プロジェクションされたピクチャ（６２０）のように、互いに異なる撮影位置（ｖｉｅｗｐｏｉｎｔ）による互いに異なる視点（ｖｉｅｗｐｏｉｎｔ）の複数のプロジェクション映像に基づいてプロジェクションされたピクチャが生成されることができる。

【0115】

さらに前処理過程では、プロジェクション前後のイメージ／ビデオデータに対する編集などが行われて、メタデータが生成されることができる。前処理過程において、イメージ／ビデオの提供時に最初に再生する初期時点、ユーザの初期位置及びＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）などに関するメタデータが生成される。

【0116】

図６に示したメディア送信過程（Ｄｅｌｉｖｅｒｙ）は、前処理過程で得られたイメージ／ビデオデータ及びメタデータを処理して送信する過程である。イメージ／ビデオデータ及びメタデータの送信のために、任意の送信プロトコルによる処理が行われ、前処理されたデータは放送網及び／又はブロードバンドにより伝達される。前処理されたデータは、オン・デマンド（ｏｎ ｄｅｍａｎｄ）方式により受信側に伝達されることができる。

【0117】

プロセシング過程は、受信されたイメージ／ビデオデータ及びメタデータを復号する過程と、復号されたプロジェクションされたピクチャのイメージ／ビデオデータを３次元（３Ｄｉｍｅｎｓｉｏｎ、３Ｄ）モデルにマッピング或いはプロジェクションするリプロジェクション（ｒｅ－ｐｒｏｊｅｃｔｉｏｎ）過程と、仮想視点の生成及び合成過程などのイメージ／ビデオを再生するためのイメージ生成前の全ての過程を含む。マッピングされる３Ｄモデル或いはプロジェクションマップとしては、既存の３６０°ビデオのように球形（ｓｐｈｅｒｅ）、キューブ（ｃｕｂｅ）、シリンダー（ｃｙｌｉｎｄｅｒ）又はピラミッド（ｐｙｒａｍｉｄ）などがある。又は３Ｄモデル或いはプロジェクションマップは既存の３６０°ビデオのプロジェクションマップの変形された形態であり、場合によっては自由形態のプロジェクションマップであることもできる。

【0118】

ここで、仮想視点の生成及び合成過程は、主視点と副視点の間に、或いは主視点と主視点の間にユーザが移動する場合に再生されるイメージ／ビデオデータを生成して合成する過程である。仮想視点の生成のために、キャプチャ及び前処理過程で伝達されたメタデータを処理する過程が必要であり、場合によっては仮想視点で３６０イメージ／ビデオの全体ではなく、一部のみが生成／合成されることもできる。

【0119】

さらにプロセシング過程は、エディット（ｅｄｉｔｉｎｇ）過程、アップスケーリング（ｕｐ ｓｃａｌｉｎｇ）、ダウンスケーリング（ｄｏｗｎ ｓｃａｌｉｎｇ）過程などを含むことができる。エディット過程においては、プロセシング過程後に再生前に必要な追加編集過程が適用されることができる。必要によっては送信されたイメージ／ビデオをアップスケーリング或いはダウンスケーリングする作業が行われる。

【0120】

レンダリング過程は、送信或いは生成されてリプロジェクションされたイメージ／ビデオをディスプレイできるようにレンダリングする過程である。場合によっては、レンダリングとリプロジェクション過程をレンダリングと総称する。従って、レンダリング過程にリプロジェクション過程が含まれることができる。リプロジェクションは、図６の（６３０）のような形態にユーザ中心の３６０°ビデオ／イメージとユーザが移動方向に沿って移動した位置の各々を中心として形成される３６０°ビデオ／イメージが形成される形態で多数のリプロジェクション結果物があり得る。ユーザはディスプレイするデバイスによって３６０°ビデオ／イメージの一部領域を見ることができ、この時、ユーザが見る領域は図６の（６４０）のような形態であることができる。また、ユーザが移動する場合、３６０°ビデオ／イメージの全体がレンダリングされることではなく、ユーザが見ている位置に該当する映像のみがレンダリングされる。また３６０°ビデオ受信装置は、ユーザの位置と移動に関するメタデータが伝達されて、移動する位置（即ち、移動すると予測される位置）のビデオ／イメージをさらにレンダリングすることができる。

【0121】

フィードバック過程は、ディスプレイ過程で得られる様々なフィードバック情報を送信側に伝達する過程である。フィードバック過程により３６０°コンテンツとユーザの間に双方向性（ｉｎｔｅｒａｃｔｉｖｉｔｙ）が発生し、実施例によっては、フィードバック過程でユーザの頭とポジション位置情報（ｈｅａｄ／ｐｏｓｉｔｉｏｎ ｏｒｉｅｎｔａｔｉｏｎ）及びユーザが現在見ている領域（ｖｉｅｗｐｏｒｔ）に関する情報などが伝達されることができる。該当情報はフィードバック過程中に送信側或いはサービス提供者側に伝達されることができ、実施例によっては、フィードバック過程が行われないこともできる。

【0122】

ユーザの位置情報はユーザのヘッド位置、角度、動き及び移動距離などに関する情報を意味し、該当情報に基づいてユーザが見ている位置（ｖｉｅｗｐｏｒｔ）の情報を計算できる。

【0123】

図７は本発明によるカメラレンズ情報及び／又は追加カメラレンズ情報に基づいて３６０°ビデオをパノラマイメージにスティッチングする一例を示す図である。

【0124】

図８ａ及び図８ｂは３６０°ビデオ送信装置／３６０°ビデオ受信装置で行われる３６０コンテンツ／３ＤｏＦ＋コンテンツ提供のためのアーキテクチャ全体を例示する図である。

【0125】

図８ａ及び図８ｂに示したアーキテクチャなどにより３６０コンテンツ／３ＤｏＦ＋コンテンツが提供される。３ＤｏＦ＋コンテンツはファイル形態で提供されるか、又はＤＡＳＨなどのようにセグメント基盤のダウンロード又はストリーミングサービス形態で提供される。

【0126】

具体的には、図８ａを参照すると、上述したように、３ＤｏＦ＋コンテンツの３６０°ビデオデータ及び／又は３６０°オーディオデータが得られる。即ち、３６０カメラで３６０°ビデオが撮影され、３６０°ビデオ送信装置は３６０°ビデオデータを得ることができる。３６０°ビデオ送信装置の情報を得る部分では、センサの方向（ｓｅｎｓｏｒ ｏｒｉｅｎｔａｔｉｏｎ）、センサの情報獲得視点（ｓｅｎｓｏｒ ｐｏｓｉｔｉｏｎ）、センサの情報獲得位置（ｐｏｉｎｔ）によって、互いに異なる情報を同時に或いは連続して得ることができる。また映像の場合、３６０°ビデオ送信装置の情報獲得を行う部分では、視聴方向（ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ）、視点（ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ）、ビューポイント（ｖｉｅｗｐｏｉｎｔ）による映像情報を同時に或いは連続して得ることができ、この時、映像情報はビデオ、イメージ、オーディオ、位置情報などを含む。

【0127】

３６０°オーディオデータは、オーディオ前処理過程（Ａｕｄｉｏ Ｐｒｅｐｒｏｃｅｓｓｉｎｇ）、オーディオ符号化過程（Ａｕｄｉｏ ｅｎｃｏｄｉｎｇ）を経る。この過程においてオーディオ関連メタデータが生成され、符号化されたオーディオとオーディオ関連メタデータは送信のための処理（ｆｉｌｅ／ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ）を経る。

【0128】

３６０°ビデオデータは上述したような過程を経る。図８ａを参照すると、３６０°ビデオ送信装置のスティッチャーは３６０°ビデオデータにスティッチングを行う（Ｖｉｓｕａｌ ｓｔｉｔｃｈｉｎｇ）。例えば、３６０°ビデオデータはテクスチャ（ｔｅｘｔｕｒｅ）情報及び深さ（ｄｅｐｔｈ）情報を含み、３６０°ビデオ送信装置はテクスチャ情報及び深さ情報を各々得て、各コンポーネントの特性によってテクスチャ情報及び深さ情報に互いに異なる前処理過程（ｖｉｄｅｏ ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）を行う。例えば、テクスチャ情報の場合、３６０°ビデオ送信装置はイメージセンサ位置情報を用いて同じ位置で得られた同一視点の互いに異なる方向（ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ）の映像を用いて３６０°全方位映像を構成し、このために映像スティッチング（ｓｔｉｔｃｈｉｎｇ）過程を行う。この過程は、実施例によっては省略可能であり、受信側で行うこともできる。

【0129】

また図８ａを参照すると、３６０°ビデオ送信装置のプロジェクション処理部は、３６０°ビデオデータを２Ｄイメージ上にプロジェクションすることができる（Ｐｒｏｊｅｃｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ（ｐａｃｋｉｎｇ））。プロジェクション処理部には３６０°ビデオデータ（Ｉｎｐｕｔ Ｉｍａｇｅｓ）が伝達され、この場合、スティッチング及びプロジェクション過程を行うことができる。より具体的には、プロジェクション過程では、スティッチングされた３６０°ビデオデータを３Ｄ空間上にプロジェクションして、プロジェクションされた３６０°ビデオデータが２Ｄイメージ上に配列される。この明細書ではかかる過程を３６０°ビデオデータを２Ｄイメージ上にプロジェクションすると表現することもある。ここで、３Ｄ空間は球（ｓｐｈｅｒｅ）又はキューブ（ｃｕｂｅ）である。この３Ｄ空間は受信側でリプロジェクションに使用される３Ｄ空間と同一であることもできる。

【0130】

２Ｄイメージはプロジェクションされたフレーム（Ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）又はプロジェクションされたピクチャ（Ｐｒｏｊｅｃｔｅｄ ｐｉｃｔｕｒｅ）とも呼ばれる。２Ｄイメージにリージョンごとに、さらにパッキング（Ｒｅｇｉｏｎ－ｗｉｓｅ ｐａｃｋｉｎｇ）過程が選択的に行われることもできる。リージョンごとにパッキング過程が行われる場合、各リージョン（Ｒｅｇｉｏｎ）の位置、形態、サイズを指示することにより、２Ｄイメージ上のリージョンがパッキングされたフレーム（ｐａｃｋｅｄ ｆｒａｍｅ）上にマッピングされることができる。パッキングされたフレームは、パッキングされたピクチャ（ｐａｃｋｅｄ ｐｉｃｔｕｒｅ）とも呼ばれる。プロジェクションされたフレームにリージョンごとのパッキング過程が行われない場合、プロジェクションされたフレームはパッキングされたフレームと同一であることができる。リージョンについては後述する。プロジェクション過程及びリージョンごとのパッキング過程を、３６０°ビデオデータの各リージョンが２Ｄイメージ上にプロジェクションされるとも表現できる。設計によっては、３６０°ビデオデータは中間過程なしに、パッキングされたフレームにすぐ変換されることもできる。

【0131】

一般的には深度カメラ（ｄｅｐｔｈ ｃａｍｅｒａ）により深さ映像が得られ、この場合、テクスチャ映像のような形態で深さ映像が生成されることができる。或いは、別途測定されたデータに基づいて深さデータが生成されることもできる。コンポーネントごとに映像が生成された後、３６０°ビデオ送信装置は、効率的な圧縮のためのビデオフォーマットへの追加変換（ｐａｃｋｉｎｇ）を行うか、又は実際に必要な部分を分けて再構成する過程（ｓｕｂ－ｐｉｃｔｕｒｅ ｇｅｎｅｒａｔｉｏｎ）を行うことができる。

【0132】

得られた映像データ（或いは主にサービスするためのデータ）以外に、さらに与えられる映像／音声／テキスト情報を共にサービスする場合、さらに提供される情報を最終再生時に合成するための情報が生成されて、提供されることができる。例えば、３６０°ビデオ送信装置の組み合わせ生成部（Ｃｏｍｐｏｓｉｔｉｏｎ ｇｅｎｅｒａｔｉｏｎ）では、製作者の意図に基づいて、外部で生成されたメディアデータ（さらに提供される情報が映像である場合、ビデオ／イメージ情報、音声である場合は、オーディオ／効果音響、テキストである場合は、字幕などに対するデータ）を最終再生部で合成するための情報を生成することができ、情報は組み合わせメタデータ（ｃｏｍｐｏｓｉｔｉｏｎ ｍｅｔａｄａｔａ）で伝達されることができる。

【0133】

図８ａを参照すると、３６０°ビデオデータに関するパッキングされたフレームは、イメージ符号化或いはビデオ符号化される。一方、同じ３ＤｏＦ＋コンテンツであっても、視点（ｖｉｅｗｐｏｉｎｔ）ごとに３６０°ビデオデータが存在し、この場合、コンテンツの各ビューポイントごとの３６０°ビデオデータは互いに異なるビットストリームに符号化されることもできる。符号化された３６０°ビデオデータは、上述したカプセル化処理部によってＩＳＯＢＭＦＦなどのファイルフォーマットに処理される。又はカプセル化処理部は、符号化された３６０°ビデオデータをセグメントに処理する。セグメントはＤＡＳＨに基づく送信のための個別トラックに含まれることができる。

【0134】

３６０°ビデオデータの処理と共に、上述したように、３６０°ビデオ関連メタデータが生成される。このメタデータはビデオストリーム或いはファイルフォーマットに含まれて伝達される。このメタデータは符号化過程やファイルフォーマットカプセル化、送信のための処理などの過程でも使用できる。

【0135】

３６０オーディオ／ビデオデータには送信プロトコルによって送信のための処理が行われ、その後に送信される。上述した３６０°ビデオ受信装置は、それを放送網又はブロードバンドにより受信する。

【0136】

一方、図８ａに示したように、スピーカー／ヘッドホン（Ｌｏｕｄｓｐｅａｋｅｒｓ／ｈｅａｄｐｈｏｎｅｓ）、ディスプレイ、ヘッド／アイトラッキングコンポーネント（Ｈｅａｄ／ｅｙｅ ｔｒａｃｋｉｎｇ）は、３６０°ビデオ受信装置の外部装置或いはＶＲアプリケーションにより行われるが、実施例によって３６０°ビデオ受信装置は、スピーカー／ヘッドホン、ディスプレイ、ヘッド／アイトラッキングコンポーネントを全て含むこともできる。実施例によってはヘッド／アイトラッキングコンポーネントは上述した受信側のフィードバック処理部に該当する。

【0137】

３６０°ビデオ受信装置は３６０オーディオ／ビデオデータに受信のための処理（Ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ）を行う。３６０オーディオデータはオーディオ復号（Ａｕｄｉｏ ｄｅｃｏｄｉｎｇ）、オーディオレンダリング（Ａｕｄｉｏ ｒｅｎｄｅｒｉｎｇ）過程を経て、スピーカー／ヘッドホンによりユーザに提供される。

【0138】

３６０°ビデオデータはイメージ復号或いはビデオ復号、レンダリング（Ｖｉｓｕａｌ ｒｅｎｄｅｒｉｎｇ）過程を経てディスプレイされてユーザに提供される。ここで、ディスプレイはＶＲを支援するディスプレイであるか、又は一般ディスプレイである。

【0139】

具体的には、レンダリング過程は、３６０°ビデオデータが３Ｄ空間上にリプロジェクションされ、リプロジェクションされた３６０°ビデオデータがレンダリングされる過程である。これを３６０°ビデオデータが３Ｄ空間上にレンダリングされるとも表現できる。

【0140】

ヘッド／アイトラッキングコンポーネントは、ユーザのヘッドオリエンテーション情報、ゲイズ情報、ビューポート（Ｖｉｅｗｐｏｒｔ）情報などを得て処理する。これらに関連する内容は上述した通りである。

【0141】

受信側には、上述した受信側過程と通信するＶＲアプリケーションが存在することができる。

【0142】

図８ｂは３６０°ビデオの処理過程及びプロジェクションスキームによるリージョンごとのパケット過程が適用された２Ｄイメージを例示する図である。図８ｂを参照すると、入力された３６０°ビデオデータの処理過程を示すことができる。具体的には、図８ｂを参照すると、入力された視点の３６０°ビデオデータは様々なプロジェクションスキームによって３Ｄプロジェクション構造にスティッチング及びプロジェクションされ、３Ｄプロジェクション構造にプロジェクションされた３６０°ビデオデータは２Ｄイメージで示すことができる。即ち、３６０°ビデオデータがスティッチングされて、２Ｄイメージにプロジェクションされることができる。３６０°ビデオデータがプロジェクションされた２Ｄイメージは、プロジェクションされたフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）とも表すことができる。またプロジェクションされたフレームでは、上述したリージョンごとのパッキング過程が行われる。即ち、プロジェクションされたフレーム上のプロジェクションされた３６０°ビデオデータを含む領域をリージョンに区分し、各リージョンを回転、再配列するか、又は各リージョンの解像度（ｒｅｓｏｌｕｔｉｏｎ）を変更するなどの処理が行われる。即ち、リージョンごとのパッキング過程は、プロジェクションされたフレームを一つ以上のパッキングされたフレーム（ｐａｃｋｅｄ ｆｒａｍｅ）にマッピングする過程を示す。リージョンごとのパッキング過程は選択的（ｏｐｔｉｏｎａｌ）であり、リージョンごとのパッキング過程が適用されない場合は、パッキングされたフレームとプロジェクションされたフレームが同一であることができる。リージョンごとのパッキング過程が適用される場合には、プロジェクションされたフレームの各リージョンが、パッキングされたフレームのリージョンにマッピングされることができ、プロジェクションされたフレームの各リージョンがマッピングされるパッキングされたフレームのリージョンの位置、模様及びサイズを示すメタデータが導き出されることができる。

【0143】

図９は３６０°ビデオ受信装置においてカメラレンズ情報に基づいて３６０°ビデオを処理する一例を示す図である。

【0144】

図９を参照すると、復号されたピクチャから抽出されたサブピクチャから球形イメージ（ｓｐｈｅｒｅ ｉｍａｇｅ）又は球形イメージが生成される。復号された絵から抽出されたサブピクチャから生成される。

【0145】

例えば、図９を参照すると、円形イメージ及び四角形領域の積集合に該当するアクティブ領域（ａｃｔｉｖｅ ａｒｅａ）が、球形イメージ（ｓｐｈｅｒｅ ｉｍａｇｅ）又は球形イメージの生成のためのサブピクチャとして抽出されることができる。球形イメージ及び四角形領域は、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］フィールド、ｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールド、ｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールドに基づいて導き出される。ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］フィールド、ｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールド、ｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールドについて詳しくは後述する。

【0146】

図９を参照すると、レンズ欠陥（ｌｅｎｓ ｄｅｆｅｃｔ）によるサブピクチャのリダイヤル歪み（ｒｅｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）は、ｒｅｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドに基づいて導き出されたモデルに基づいて修正できる。その後、サブピクチャは、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドに基づいて導き出されたモデリングされた（ｍｏｄｅｌｌｅｄ）投影方程式（ｐｒｏｊｅｃｔｉｏｎ ｅｑｕａｔｉｏｎ）、又はａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールド及びｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドが示す角度の関数である多項式係数によって導き出された投影方程式によりマッピングされる。ｒｅｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールド、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールド、ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドについて詳しくは後述する。

【0147】

また、レンズ歪み（ｌｅｎｓ ｄｉｓｔｏｒｔｉｏｎ）は、所定のパラメータ（ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールド）に基づいて補正できる。

【0148】

一方、特定のレンズによりキャプチャされたイメージ（即ち、復号されたピクチャ）に対する回転及びオフセットが存在する場合、マッピングされた球形イメージは、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｔｉｌｔ［ｉ］フィールドに基づいて、グローバル球座標系で相対的に回転することができる。また球中心のオフセット（ｓｐｈｅｒｅ ｃｅｎｔｅｒ ｏｆｆｓｅｔ）は、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｔｉｌｔ［ｉ］フィールドに基づいて、ビューポイントのヘッド位置のアイビューの単位球（ｕｎｉｔ ｓｐｈｅｒｅ）を構成するレンズに対応する球中心と一致するように補正できる。ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｔｉｌｔ［ｉ］フィールドについて詳しくは後述する。

【0149】

一方、上述したように、スティッチング過程は、球形イメージにより行われることができる。例えば、復号されたピクチャが互いに異なるビューポイント、ヘッド位置のサブピクチャを含む場合、特定のビューポイント、ヘッド位置及び／又はアイビューに対するサブピクチャを抽出するために、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールド及びｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドが使用される。一例として、ビューポート従属プロセシング（ｖｉｅｗｐｏｒｔ ｄｅｐｅｎｄｅｎｔ ｐｒｏｃｅｓｓｉｎｇ）の場合、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールド、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールド、ＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）情報及び／又は回転情報（ｒｏｔａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）に基づいて、処理時間及び遅延減少の観点で効率性を増加できるサブピクチャが選択される。

【0150】

図１０は本発明を適用可能な３６０°ビデオ送信装置の構成の概略を示す図である。

【0151】

本発明による３６０°ビデオ送信装置は、上述した準備過程或いは送信過程に関連する動作を行う。３６０°ビデオ送信装置は、データ入力部、組み合わせ情報処理部、スティッチャー（Ｓｔｉｔｃｈｅｒ）、プロジェクション処理部、（リージョンごとの）パッキング処理部、サブピクチャ処理部、データ符号器、カプセル化処理部、ファイル抽出部、送信処理部、送信部、ビューポイント（ｖｉｅｗｐｏｉｎｔ）／視点／方向（ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ）情報及びメタデータ処理部及び／又は（送信側）フィードバック処理部を内部／外部エレメントとして含む。入力されたデータがカメラ出力映像である場合、３６０°ビデオ送信装置は球（ｓｐｈｅｒｅ）映像（即ち、３Ｄ空間にレンダリングされる３６０°映像）構成のためのスティッチングを視点／視点／コンポーネントごとに進行する。視点／視点／方向情報及びメタデータ処理部をメタデータ処理部と示すことができる。

【0152】

データ入力部にはキャプチャされた各ビューポイントに対するイメージ／ビデオが入力される。このビューポイントごとのイメージ／ビデオは、一つ以上のカメラによりキャプチャされたイメージ／ビデオである。即ち、ビューポイントごとのイメージ／ビデオは、複数の視点に対するイメージ／ビデオを含む。またデータ入力部にはキャプチャ過程で発生したメタデータが入力される。データ入力部は入力された視点ごとのイメージ／ビデオをスティッチャーに伝達し、キャプチャ過程のメタデータをシグナリング処理部に伝達する。

【0153】

スティッチャーはキャプチャされた視点ごとのイメージ／ビデオに対するスティッチング作業を行う。スティッチャーはスティッチングされた３６０°ビデオデータをプロジェクション処理部に伝達する。必要な場合、スティッチャーはメタデータ処理部から必要なメタデータを受けてスティッチング作業に使用する。スティッチャーはスティッチング過程で発生したメタデータをメタデータ処理部に伝達する。スティッチング過程のメタデータとしては、スティッチングが行われたか否か、スティッチングタイプなどの情報がある。

【0154】

プロジェクション処理部はスティッチングされた３６０°ビデオデータを２Ｄイメージ上にプロジェクションする。プロジェクション処理部は様々なスキーム（ｓｃｈｅｍｅ）によってプロジェクションを行うが、これについては後述する。プロジェクション処理部は各視点ごとの３６０°ビデオデータの該当深さを考慮してマッピングを行う。必要な場合、プロジェクション処理部はメタデータ処理部からプロジェクションに必要なメタデータを受けてプロジェクション作業に使用する。プロジェクション処理部はプロジェクション過程で発生したメタデータをメタデータ処理部に伝達する。プロジェクション処理部のメタデータとしては、プロジェクションスキームの種類などがある。

【0155】

（リージョンごとの）パッキング処理部は上述したリージョンごとのパッキング過程を行う。即ち、リージョンごとのパッキング処理部はプロジェクションされた３６０°ビデオデータをリージョンごとに分け、各リージョンを回転、再配列するか、或いは各リージョンの解像度（ｒｅｓｏｌｕｔｉｏｎ）を変更するなどの処理を行う。上述したように、リージョンごとのパッキング過程は選択的（ｏｐｔｉｏｎａｌ）な過程であり、リージョンごとのパッキングが行われない場合は、リージョンごとのパッキング処理部は省略できる。必要な場合、リージョンごとのパッキング処理部はメタデータ処理部からリージョンごとのパッキングに必要なメタデータを受けてリージョンごとのパッキング作業に使用することができる。リージョンごとのパッキング処理部はリージョンごとのパッキング過程で発生したメタデータをメタデータ処理部に伝達する。リージョンごとのパッキング処理部のメタデータとしては、各リージョンの回転程度、サイズなどがある。

【0156】

上述したスティッチャー、プロジェクション処理部及び／又はリージョンごとのパッキング処理部は、実施例によっては、一つのハードウェアコンポーネントで行われることもできる。

【0157】

サブピクチャ処理部はアプリケーションによって複数の映像を統合映像に形成するためのパッキング或いは詳細領域の映像に分けるサブピクチャを生成する。入力されたデータに映像／音声／テキスト追加情報が含まれた場合、追加情報を中心映像に追加してディスプレイする方法に関する情報が生成され、該情報は追加情報と共に送信される。

【0158】

メタデータ処理部は、キャプチャ過程、スティッチング過程、プロジェクション過程、リージョンごとのパッキング過程、符号化過程、カプセル化過程及び／又は送信のための処理過程で発生し得るメタデータを処理する。メタデータ処理部では、かかるメタデータを用いて３６０°ビデオ関連メタデータを生成する。実施例によって、メタデータ処理部は３６０°ビデオ関連メタデータをシグナリングテーブルの形態で生成することもできる。シグナリングの文脈により、３６０°ビデオ関連メタデータは、メタデータ又は３６０°ビデオ関連シグナリング情報とも呼ばれる。また、メタデータ処理部は獲得又は生成したメタデータを必要によって３６０°ビデオ送信装置の内部エレメントに伝達する。メタデータ処理部は３６０°ビデオ関連メタデータが受信側に送信されるように、データ符号器、カプセル化処理部及び／又は送信処理部に伝達することができる。

【0159】

データ符号器は、２Ｄイメージ上にプロジェクションされた３６０°ビデオデータ及び／又はリージョンごとのパッキングされた３６０°ビデオデータを符号化する。３６０°ビデオデータは様々なフォーマットに符号化できる。

【0160】

カプセル化処理部は、符号化された３６０°ビデオデータ及び／又は３６０°ビデオ関連メタデータをファイルなどの形態でカプセル化することができる。ここで、３６０°ビデオ関連メタデータは、上述したメタデータ処理部から伝達されたものである。カプセル化処理部は、該当データをＩＳＯＢＭＦＦ、ＣＦＦなどのファイルフォーマットにカプセル化したり、その他のＤＡＳＨセグメントなどの形態に処理したりすることができる。カプセル化処理部は、実施例によって３６０°ビデオ関連メタデータをファイルフォーマットに含ませることができる。３６０関連メタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックスに含まれるか、或いはファイル内で所定のトラック内のデータに含まれる。実施例によって、カプセル化処理部は、３６０°ビデオ関連メタデータ自体をファイルにカプセル化する。送信処理部は、ファイルフォーマットによってカプセル化された３６０°ビデオデータに送信のための処理を行う。送信処理部は、任意の送信プロトコルによって３６０°ビデオデータを処理する。送信のための処理は、放送網を介した伝達のための処理、ブロードバンドを介した伝達のための処理を含む。実施例によって、送信処理部には、３６０°ビデオデータだけではなく、メタデータ処理部から３６０°ビデオ関連メタデータが伝達され、そこに送信のための処理を加えることもできる。

【0161】

送信部は送信処理された３６０°ビデオデータ及び／又は３６０°ビデオ関連メタデータを放送網及び／又はブロードバンドを介して送信する。送信部は放送網を介した送信のためのエレメント及び／又はブロードバンドによる送信のためのエレメントを含む。

【0162】

本発明による３６０°ビデオの送信装置の一実施例によれば、さらに３６０°ビデオの送信装置は、データ格納部（図示せず）を内部／外部エレメントとして含む。データ格納部は、符号化された３６０°ビデオデータ及び／又は３６０°ビデオ関連メタデータを送信処理部に伝達する前に格納する。このデータが格納される形態はＩＳＯＢＭＦＦなどのファイル形態である。実時間で３６０°ビデオを送信する場合にはデータ格納部が不要であるが、オン・デマンド、ＮＲＴ（Ｎｏｎ Ｒｅａｌ Ｔｉｍｅ）、ブロードバンドなどを介して伝達する場合にはカプセル化された３６０データがデータ格納部に一定期間格納された後に送信されることができる。

【0163】

本発明による３６０°ビデオの送信装置の他の実施例によれば、さらに３６０°ビデオの送信装置は、（送信側）フィードバック処理部及び／又はネットワークインターフェース（図示せず）を内部／外部エレメントとして含む。ネットワークインターフェースには、本発明による３６０°ビデオの受信装置からフィードバック情報が伝達され、これを送信側フィードバック処理部に伝達する。送信側フィードバック処理部は、フィードバック情報をスティッチャー、プロジェクション処理部、リージョンごとのパッキング処理部、データ符号器、カプセル化処理部、メタデータ処理部及び／又は送信処理部に伝達する。実施例によって、フィードバック情報はメタデータ処理部に一旦伝達された後、再び各々の内部エレメントに伝達される。フィードバック情報が伝達された内部エレメントは、今後の３６０°ビデオデータ処理にフィードバック情報を反映することができる。

【0164】

本発明による３６０°ビデオの送信装置のさらに他の実施例によれば、リージョンごとのパッキング処理部は、各リージョンを回転して２Ｄイメージ上にマッピングする。この時、各リージョンは互いに異なる方向、互いに異なる角度に回転して２Ｄイメージ上にマッピングされる。リージョンの回転は、３６０°ビデオデータが球面上においてプロジェクション前に隣接した部分、スティッチングされた部分などを考慮して行われる。リージョンの回転に関する情報、即ち、回転方向、角度などは、３６０°ビデオ関連メタデータによりシグナリングされる。本発明による３６０°ビデオの送信装置のさらに他の実施例によれば、データ符号器は各リージョンごとに異なるように符号化を行う。データ符号器は、特定のリージョンは高品質に、他のリージョンは低品質に符号化する。送信側のフィードバック処理部は、３６０°ビデオの受信装置から伝達されたフィードバック情報をデータ符号器に伝達して、データ符号器がリージョンごとに差別化した符号化方法を使用するようにする。例えば、送信側のフィードバック処理部は受信側から伝達されたビューポート情報をデータ符号器に伝達する。データ符号器はビューポート情報が指示する領域を含むリージョンに対して、他のリージョンよりも高い品質（ＵＨＤなど）に符号化することができる。

【0165】

本発明による３６０°ビデオ送信装置のさらに他の実施例によれば、送信処理部は各リージョンごとに異なるように送信のための処理を行う。送信処理部はリージョンごとに異なる送信パラメータ（モジュレーションオーダ、符号レートなど）を適用して、各リージョンごとに伝達されるデータのロバスト性（ｒｏｂｕｓｔｅｎｓｓ）を変更することができる。

【0166】

この時、送信側のフィードバック処理部は、３６０°ビデオ受信装置から伝達されたフィードバック情報を送信処理部に伝達して、送信処理部がリージョンごとに差別化した送信処理を行うようにする。例えば、送信側のフィードバック処理部は、受信側から伝達されたビューポート情報を送信処理部に伝達する。送信処理部は該当ビューポート情報が指示する領域を含むリージョンに対して、他のリージョンよりも高いロバスト性を有するように送信処理を行う。

【0167】

上述した本発明による３６０°ビデオ送信装置の内部／外部エレメントは、ハードウェアで実現されるハードウェアエレメントである。実施例によって、内部／外部エレメントは変更、省略されるか、或いは他のエレメントに代替、統合される。実施例によって、付加エレメントが３６０°ビデオ送信装置に代替、統合されることができる。

【0168】

図１１は本発明を適用可能な３６０°ビデオ受信装置の構成の概略を示す図である。

【0169】

本発明による３６０°ビデオ受信装置は、上述したプロセシング過程及び／又はレンダリング過程に関連する動作を行う。３６０°ビデオ受信装置は、受信部、受信処理部／ファイル抽出部、カプセル除去（ｄｅｃａｐｓｕｌａｔｉｏｎ）処理部、データ復号器、メタデータパーザ、インパッキング／セレクション処理部、レンダラー、組み合わせ処理部、（受信側）フィードバック処理部及び／又はリプロジェクション処理部を内部／外部エレメントとして含む。なお、シグナリングパーザはメタデータパーザとも呼ばれる。

【0170】

受信部は、本発明による３６０°ビデオ送信装置が送信した３６０°ビデオデータを受信する。送信されるチャネルによって受信部は放送網により３６０°ビデオデータを受信し、ブロードバンドを介して３６０°ビデオデータを受信する。受信部は送信部から伝達されたビットストリームを受信した後、必要なファイルを抽出する。

【0171】

受信処理部は、受信された３６０°ビデオデータに対して送信プロトコルによる処理を行う。送信側で送信のための処理が行われたことに対応するように、受信処理部は上述した送信処理部の逆過程を行う。受信処理部は得られた３６０°ビデオデータをカプセル除去処理部に伝達し、得られた３６０°ビデオ関連メタデータはメタデータパーザに伝達する。受信処理部が得る３６０°ビデオ関連メタデータはシグナリングテーブルの形態である。

【0172】

カプセル除去処理部は受信処理部から伝達されたファイル形態の３６０°ビデオデータをカプセル除去する。カプセル除去処理部はＩＳＯＢＭＦＦなどによるファイルをカプセル除去して、３６０°ビデオデータ或いは３６０°ビデオ関連メタデータを得ることができる。カプセル除去処理部は生成されたファイルフォーマット内の映像ストリームをフィードバック処理部で伝達されたビューポイント／視点／方向情報及びビデオメタデータを用いて選別し、選別したビットストリームを復号器で映像情報に再構成する。得られた３６０°ビデオデータはデータ復号器に、得られた３６０°ビデオ関連メタデータはメタデータパーザに伝達する。カプセル除去処理部が得る３６０°ビデオ関連メタデータはファイルフォーマット内のボックス或いはトラック形態である。必要な場合、カプセル除去処理部にはメタデータパーザからカプセル除去に必要なメタデータが伝達される。

【0173】

データ復号器は３６０°ビデオデータに対する復号を行う。データ復号器にはメタデータパーザから復号に必要なメタデータが伝達されることもできる。データ復号過程で得られた３６０°ビデオ関連メタデータはメタデータパーザに伝達されることもできる。

【0174】

パッキングされた映像の場合、アンパッキング／セレクション処理部はメタデータにより伝達されたパッキング情報に基づいて、パッキングされた映像に対するアンパッキングを行う。また必要によって、アンパッキング／セレクション処理部はフィードバック処理部から伝達されたビューポイント／視点／方向に適する映像及び必要なコンポーネントを選択する過程を行う。

【0175】

メタデータパーザは３６０°ビデオ関連メタデータに対するパーシング／復号を行う。メタデータパーザは、得られたメタデータをデータカプセル除去処理部、データ復号器、リプロジェクション処理部及び／又はレンダラーに伝達することができる。

【0176】

リプロジェクション処理部は復号された３６０°ビデオデータに対してリプロジェクションを行う。リプロジェクション処理部は３６０°ビデオデータを３Ｄ空間にリプロジェクションすることができる。３Ｄ空間は使用される３Ｄモデルによって異なる形態を有する。リプロジェクション処理部はメタデータパーザからリプロジェクションに必要なメタデータが伝達されることもできる。例えば、リプロジェクション処理部には使用される３Ｄモデルのタイプ及びその詳細情報に関する情報がメタデータパーザから伝達される。実施例によってリプロジェクション処理部はリプロジェクションに必要なメタデータを用いて、３Ｄ空間上の特定の領域に該当する３６０°ビデオデータのみを３Ｄ空間にリプロジェクションすることもできる。

【0177】

レンダラーはリプロジェクションされた３６０°ビデオデータをレンダリングする。上述したように、３６０°ビデオデータが３Ｄ空間上にレンダリングされると表現することもできるが、このように２つの過程が同時に起こる場合、リプロジェクション処理部とレンダラーが統合されて、レンダラーでこれらの全過程が進行されることができる。実施例によって、レンダラーはユーザの視点情報によってユーザが見ている部分のみをレンダリングすることもできる。

【0178】

なお、レンダラーは映像のテクスチャ、深さ、オーバーレイ情報などを再生するために適合するフォーマットに再構成するレンダリング過程を行う。最終映像を生成する前に、互いに異なるレイヤの情報を統合する組み合わせ過程が行われることもでき、ディスプレイビューポートに適合する映像が生成されて再生されることができる。

【0179】

ユーザはＶＲディスプレイなどによりレンダリングされた３６０°ビデオの一部領域を見ることができる。ＶＲディスプレイは３６０°ビデオを再生する装置であって、３６０°ビデオ受信装置に含まれるか（ｔｅｔｈｅｒｅｄ）、又は別途の装置として３６０°ビデオ受信装置に連結される（ｕｎ－ｔｅｔｈｅｒｅｄ）。

【0180】

本発明による３６０°ビデオ受信装置の一実施例によれば、さらに３６０°ビデオ受信装置は、（受信側）フィードバック処理部及び／又はネットワークインターフェース（図示せず）を内部／外部エレメントとして含む。受信側のフィードバック処理部はレンダラー、リプロジェクション処理部、データ復号器、カプセル除去処理部及び／又はＶＲディスプレイからフィードバック情報を得て処理することができる。フィードバック情報はビューポート情報、ヘッドオリエンテーション情報、ゲイズ（Ｇａｚｅ）情報などを含む。ネットワークインターフェースはフィードバック情報を受信側のフィードバック処理部から受けて、それを３６０°ビデオ送信装置に送信する。

【0181】

上述したように、フィードバック情報は送信側に伝達されるだけではなく、受信側で消費されることもできる。受信側のフィードバック処理部は得られたフィードバック情報を３６０°ビデオ受信装置の内部エレメントに伝達して、レンダリングなどの過程に反映させることができる。受信側のフィードバック処理部はフィードバック情報をレンダラー、リプロジェクション処理部、データ復号器及び／又はカプセル除去処理部に伝達する。例えば、レンダラーはフィードバック情報を活用してユーザが見ている領域を優先してレンダリングする。また、カプセル除去処理部、データ復号器などは、ユーザが見ている領域或いは見る領域を優先してカプセル除去、復号することができる。

【0182】

上述した本発明による３６０°ビデオ受信装置の内部／外部エレメントは、ハードウェアで実現されるハードウェアエレメントである。実施例によって、内部／外部エレメントは変更、省略されるか、又は他のエレメントに代替、統合されることができる。実施例によって、付加エレメントが３６０°ビデオ受信装置に追加されることもできる。

【0183】

本発明のさらに他の観点は、３６０°ビデオを送信する方法及び３６０°ビデオを受信する方法に関連する。本発明による３６０°ビデオを送信／受信する方法は、各々上述した本発明による３６０°ビデオ送信／受信装置又はその装置の実施例により行われる。

【0184】

上述した本発明による３６０°ビデオ送信／受信装置、送信／受信方法の各々の実施例及びその内部／外部エレメントの各々の実施例を互いに組み合わせることができる。例えば、プロジェクション処理部の実施例とデータ符号器の実施例とを組み合わせて、その場合の数だけの３６０°ビデオ送信装置の実施例を作ることができる。このように組み合わせられた実施例も本発明の範囲に含まれる。

【0185】

一方、上述したように、３６０°ビデオに対するカメラ及びレンズの特性によって歪み（ｄｉｓｔｏｒｔｉｏｎ）が発生し、この場合、映像の品質などを向上させるために、３６０°ビデオ送信装置及び３６０°ビデオ受信装置は３６０°ビデオに対する歪みを補正して処理することができる。例えば、３６０°ビデオ送信装置／３６０°ビデオ受信装置は、３６０°ビデオに対する歪みを補正して２Ｄイメージにプロジェクションすることができる。又は３６０°ビデオ送信装置／３６０°ビデオ受信装置は、３６０°ビデオに対するスティッチング過程及び／又はレンダリング過程で歪みを補正することができる。

【0186】

３６０°ビデオに対する歪みを補正するためには、３６０°ビデオに対するカメラ及び／又はレンズに関する情報が必要である。カメラ及び／又はレンズによって特性が異なるので、特性によって発生する歪みを考慮して補正が行われる。

【0187】

よって本発明はカメラ及びレンズパラメータに関するカメラレンズ情報を定義し、シグナリングする案を提案する。実施例によって、カメラレンズ情報はビデオコーデックのメタデータ形態で伝達され、ＨＥＶＣ（Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）又はＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のようなビデオコーデックのＳＥＩメッセージにより伝達されるか、又はＶＰＳ、ＳＰＳ、ＰＰＳなどの形態で伝達される。また実施例によって、デジタル有線／無線インターフェース、システムレベルのファイルフォーマットなどによってもカメラレンズ情報が伝達される。

【0188】

例えば、カメラレンズ情報は、以下の表のようにＳＥＩメッセージに含まれる形態で示すことができる。

【0189】

【表1】

【0190】

表１を参照すると、ＳＥＩメッセージはカメラレンズ情報に該当するｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎ及び／又は追加カメラレンズ情報に該当するｓｕｐｐｌｅｍｅｎｔａｌ＿ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎを含む。ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎはカメラレンズ情報ＳＥＩメッセージと示すことができ、ｓｕｐｐｌｅｍｅｎｔａｌ＿ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎは追加カメラレンズ情報ＳＥＩメッセージと示すことができる。一方、カメラレンズ情報はビューポイント、ヘッド位置及び／又はアイビューのトラック情報と示すことができ、追加カメラレンズ情報は追加ビューポイント、ヘッド位置及び／又はアイビューのトラック情報と示すことができる。

【0191】

一方、ＣＬＶＳ内のカメラレンズ情報ＳＥＩメッセージの存在は、ＣＬＶＳ内のコーディングされたビデオピクチャが魚眼レンズ（ｆｉｓｈｅｙｅ ｌｅｎｓ）又は複数のカメラ、カメラ構造又はカメラアレイ（ｃａｍｅｒａ ａｒｒａｙｓ）の組み合わせを含む複数のレンズを有するカメラ構造又はカメラアレイによりキャプチャされた複数のサブピクチャを含むことを示す。

【0192】

３６０°ビデオ受信装置は、カメラレンズ情報ＳＥＩメッセージに含まれた情報を３ＤｏＦ、３ＤｏＦ＋、６ＤｏＦ又はパノラマイメージのようなアプリケーションに対するｏｍｎｉｄｉｒｅｃｔｉｏｎａｌカメラ出力をより適切にレンダリングするために使用する。カメラ及びレンズ情報ＳＥＩメッセージは、ＳＥＩメッセージを含む現在のＣＬＶＳに適用できる。ＣＶＬＳにカメラ及びレンズ情報ＳＥＩメッセージが存在する場合、カメラレンズ情報ＳＥＩメッセージはＣＬＶＳの１番目のアクセス装置（ａｃｃｅｓｓ ｕｎｉｔ）に存在する必要があり、ＣＬＶＳの他のアクセス装置にも存在することができる。

【0193】

ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎは、以下の表のように導き出すことができる。

【0194】

【表2-1】

【0195】

【表2-2】

【0196】

【表2-3】

【0197】

表２を参照すると、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎは、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールド及び／又はｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｃａｎｃｅｌ＿ｆｌａｇフィールドを含む。

【0198】

ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドは該当カメラレンズ情報の目的を識別する識別子を示す。例えば、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドの値はＳＥＩメッセージのカメラレンズ情報の使用例を示す。又は、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドの値は受信機性能を支援するために使用され、又はｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドの値は単一のイメージで構成可能なサブピクチャを示すことができる。例えば、単一のイメージは球形イメージ（ｓｐｈｅｒｅ ｉｍａｇｅ）又はパノラマイメージ（ｐａｎｏｒａｍａ ｉｍａｇｅ）である。

【0199】

一例として、同じ値のｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドを含む一つ以上のカメラレンズ情報が存在する場合、複数のカメラレンズ情報に含まれたフィールドは同一であることができる。また、異なる値のｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドを含む複数のカメラレンズ情報が存在することができる。この場合、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドは、複数のカメラレンズ情報が互いに異なる目的のために使用される情報であることを示し、又はカメラレンズ情報に基づいて順に訂正（ｃｏｒｒｅｃｔｉｏｎ）又はプロジェクション（ｐｒｏｊｅｃｔｉｏｎ）のカスケード（ｃａｓｃａｄｉｎｇ）が適用されることを示す。ここで、順序は応用プログラムにより指定される。ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドの値は０乃至２¹⁵－１の範囲内に存在する。

【0200】

ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｃａｎｃｅｌ＿ｆｌａｇフィールドは、現在レイヤに適用される出力順序上、カメラレンズ情報前のカメラレンズ情報に対する持続性が取り消されたか否かを示す。例えば、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｃａｎｃｅｌ＿ｆｌａｇフィールドの値が１である場合、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｃａｎｃｅｌ＿ｆｌａｇフィールドはカメラレンズ情報前のカメラレンズ情報に対する持続性が取り消されたことを示す。またｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｃａｎｃｅｌ＿ｆｌａｇフィールドの値が０である場合は、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｃａｎｃｅｌ＿ｆｌａｇフィールドはカメラレンズ情報前のカメラレンズ情報に対する持続性が取り消されていないことを示す。

【0201】

表２を参照すると、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎは、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇフィールド、ｓｕｐｐｌｅｍｅｎｔａｌ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールド、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃ＿ｆｌａｇフィールド及び／又はｎｕｍ＿ｃａｍｅｒａ＿ｉｄ＿ｍｉｎｕｓ１フィールドを含む。

【0202】

ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇフィールドは、現在レイヤに対するカメラレンズ情報ＳＥＩメッセージの持続性を示す。例えば、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇフィールドの値が０である場合、カメラレンズ情報は現在の復号されたピクチャ（ｃｕｒｒｅｎｔ ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ）のみに適用できる。ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇフィールドの値が１である場合は、カメラレンズ情報は現在レイヤで出力順序上、後述する条件のうちのいずれかを満たすまで維持される。即ち、カメラレンズ情報が現在レイヤで出力順序上、後述する条件のうちのいずれかを満たすまで適用できる。

【0203】

上記の条件は以下の通りである。

【0204】

－現在レイヤの新しいＣＬＶＳが開始される場合

【0205】

－ビットストリームが終了する場合

【0206】

－現在レイヤに適用できるカメラレンズ情報を含むアクセスユニットの現在レイヤのピクチャｐｉｃＢが出力され、ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＢ）がＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ）より大きい場合

【0207】

ここで、ｐｉｃＡは現在のピクチャを示し、ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＢ）はｐｉｃＢのピクチャオーダカウント（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）に対する復号プロセスの呼び出し（ｉｎｖｏｃａｔｉｏｎ）直後のｐｉｃＢのＰｉｃＯｒｄｅｒＣｎｔＶａｌ値を示し、ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ）はｐｉｃＢのピクチャオーダカウントに対する復号プロセスの呼び出し直後のｐｉｃＡのＰｉｃＯｒｄｅｒＣｎｔＶａｌ値を示す。

【0208】

ｓｕｐｐｌｅｍｅｎｔａｌ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドは、カメラレンズ情報を含むＳＥＩメッセージの外部にカメラレンズ情報に関する追加情報（ｓｕｐｐｌｅｍｅｎｔａｌ ｉｎｆｏｒｍａｔｉｏｎ）が存在するか否かを示す。例えば、ｓｕｐｐｌｅｍｅｎｔａｌ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値が１である場合、ｓｕｐｐｌｅｍｅｎｔａｌ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドはカメラレンズ情報に関する追加情報がカメラレンズ情報のｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドの値とは異なる値を有するｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールドに関するカメラレンズ情報又は追加カメラレンズ情報に含まれることを示す。また、ｓｕｐｐｌｅｍｅｎｔａｌ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドの値が０である場合は、ｓｕｐｐｌｅｍｅｎｔａｌ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールドはカメラレンズ情報に関する追加情報が存在しないことを示す。

【0209】

ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃ＿ｆｌａｇフィールドは、カメラレンズ情報にｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドが存在するか否かを示す。例えば、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃ＿ｆｌａｇフィールドの値が１である場合、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃ＿ｆｌａｇフィールドはカメラレンズ情報にｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドが存在することを示し、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃ＿ｆｌａｇフィールドの値が１である場合は、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃ＿ｆｌａｇフィールドはカメラレンズ情報にｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドが存在しないことを示す。

【0210】

ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドは魚眼レンズの整列（ａｌｉｇｎｍｅｎｔ）及び視野方向（ｖｉｅｗｉｎｇ ｄｉｒｅｃｔｉｏｎ）を示す。例えば、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドの値が０である場合、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドはｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドの値は２であり、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｅｌｅｖａｔｉｏｎフィールド、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｔｉｌｔフィールド、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘフィールド、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙフィールド及びｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚフィールドの値は円形イメージが整列された光学軸を有し、互いに逆方向を向く値であり、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールドの値の和は３６０＊２¹⁶以上であることを示す。ここで、ｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドは円形イメージの数を示す。

【0211】

例えば、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドの値が１である場合、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドはｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドの値が２であり、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｅｌｅｖａｔｉｏｎフィールド、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｔｉｌｔフィールド、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘフィールド、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙフィールド及びｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚフィールドの値は円形イメージが平行な（ｐａｒａｌｌｅｌ）光学軸（ｏｐｔｉｃａｌ ａｘｅｓ）を有し、光学軸がカメラ中心点と交差する（ｉｎｔｅｒｓｅｃｔｉｎｇ）線に直交（ｏｒｔｈｏｇｏｎａｌ）する値であり、ｉが０である場合、ｉ番目のカメラは左側ビューであることを示す。即ち、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドの値が１である場合、０番目のカメラは左側ビューに対するカメラを示す。

【0212】

また、例えば、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドの値が２である場合は、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドはｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドの値が２であり、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｅｌｅｖａｔｉｏｎフィールド、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｔｉｌｔフィールド、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘフィールド、ｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙフィールド及びｃａｍｅｒａ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚフィールドの値は円形イメージが平行な光学軸を有し、光学軸がカメラ中心点と交差する線に直交する値であり、ｉが０である場合、ｉ番目のカメラは右側ビューであることを示す。即ち、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドの値が２である場合、０番目のカメラは右側ビューに対するカメラを示す。

【0213】

また、例えば、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドの値が７である場合は、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドはｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｆｉｓｈｅｙｅビデオＳＥＩメッセージ内の構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）に対する更なる制約が含蓄されていないことを示すことができる。

【0214】

一方、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールドの値が３乃至６である場合には、今後の使用（ｆｕｔｕｒｅ ｕｓｅ）のために予約されている（ｒｅｓｅｒｖｅｄ）。

【0215】

ｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓ＿ｍｉｎｕｓ１フィールドの値に１を加えた値は、カメラｉｄの数を示す。

【0216】

表２を参照すると、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎは、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールド、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｚ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｒｏｌｌ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｚ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｒｏｌｌ［ｉ］フィールド、ｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｚ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｐｉｔｃｈ［ｉ］フィールド及び／又はｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｒｏｌｌ［ｉ］フィールドを含む。

【0217】

ｃａｍｅｒａ＿ｉｄ［ｉ］フィールドはカメラの識別に使用される識別番号（ｉｄｅｎｔｉｆｙｉｎｇ ｎｕｍｂｅｒ）を示す。即ち、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールドはｉ番目のカメラの識別子を示す。ｃａｍｅｒａ＿ｉｄ［ｉ］フィールドの値は一つ又は複数のレンズで構成されたｉ番目のカメラを示すために使用される。また、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールドは特定の目的に対する一つのイメージ又は複数のイメージを示すためにも使用できる。一つのイメージ又は複数のイメージはｉ番目のカメラに対応するイメージである。例えば、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールドが特定のカメラ位置に対応するサブピクチャを示し、又はｃａｍｅｒａ＿ｉｄ［ｉ］フィールドがビューポイント／ヘッド位置の両眼視差（ｂｉｎｏｃｕｌａｒ ｄｉｓｐａｒｉｔｙ）を支援するサブピクチャペア（ｓｕｂ－ｐｉｃｔｕｒｅ ｐａｉｒ）を示し、又はｃａｍｅｒａ＿ｉｄ［ｉ］フィールドが特定のレンズに対応するセンサの波長及び／又はカラーフィルターを示すことができる。

【0218】

ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドのタイプ、使用例（ｕｓｅ ｃａｓｅ）又は目的を示す。即ち、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドが示すｉ番目のカメラに対するイメージのタイプ、使用例又は目的を示すことができる。

【0219】

例えば、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が０である場合、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャ（即ち、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールドが示すサブピクチャ）に対するタイプが指定されていないことを示すことができる。

【0220】

ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が１である場合、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャがビューポイントの球を構成することを示す。即ち、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が１である場合、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャがビューポイントの球を構成するピクチャ（例えば、ビューポイントの球にレンダリングされるピクチャ）であることを示す。ここで、ビューポイントの球は該ビューポイントでの３Ｄ空間を示す。この場合、ビューポイントの視野球（ｖｉｅｗｉｎｇ ｓｐｈｅｒｅ）の中心アンカー（ｃｅｎｔｅｒ ａｎｃｈｏｒ）に対応するカメラロケーション及びオリエンテーションなどの追加情報を処理してビューポイントとは異なるビューポイントを示すことができる。

【0221】

また、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が２である場合は、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャがヘッド位置の球を構成することを示す。即ち、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が２である場合、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャがヘッド位置の球を構成するピクチャ（例えば、ヘッド位置の球にレンダリングされるピクチャ）であることを示す。ここで、ヘッド位置の球は該ヘッド位置での３Ｄ空間を示す。この場合、ヘッド位置の視野球の中心に対応するカメラロケーション及びオリエンテーションなどの追加情報を処理してヘッド位置とは異なるヘッド位置を示すことができる。

【0222】

また、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が３である場合は、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャが立体ビデオ（ｓｔｅｒｅｏｓｃｏｐｉｃ ｖｉｄｅｏ）を構成することを示す。即ち、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が３である場合は、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャが立体ビデオを構成するピクチャであることを示す。この場合、アイビューの視野球の中心に対応するアイビュー、カメラロケーション及びオリエンテーションなどの追加情報を処理してアイビューとは異なるアイビューを示すことができる。一方、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドの値が４乃至１５である場合には、今後の使用のために予約されている。

【0223】

ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙ［ｉ］フィールド及びｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｚ［ｉ］フィールドは、２^-16ミリメートル単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するビューポイントの位置を示すことができる。即ち、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙ［ｉ］フィールド及びｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｚ［ｉ］フィールドは、２^-16ミリメートル単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するビューポイントのｘ成分、ｙ成分及びｚ成分を示す。ビューポイントの位置はビューポイントアンカーの中心位置に対応する。例えば、ビューポイントアンカーの中心位置はセンターヘッド位置の単位球センター（ｕｎｉｔ ｓｐｈｅｒｅ ｃｅｎｔｅｒ）である。ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙ［ｉ］フィールド及びｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｚ［ｉ］フィールドの値は、－３２７６８＊２¹⁶－１（即ち、－２１４７４８３６４７）乃至３２７６８＊２¹⁶（即ち、２１４７４８３６４８）の範囲内に存在することができる。

【0224】

ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ［ｉ］フィールド及びｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｒｏｌｌ［ｉ］フィールドは、２^-16°（ｄｅｇｒｅｅｓ）単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するビューポイントに対するヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す。ヨー角度、ピッチ角度、ロール角度はｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するビューポイントアンカーの単位球に適用でき、ビューポイントアンカーの単位球上の座標はローカル座標軸（ｌｏｃａｌ ｃｏｏｒｄｉｎａｔｅ ａｘｅｓ）からグローバル座標軸（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ａｘｅｓ）に変換されることができる。ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ［ｉ］フィールドの値は、－１８０＊２¹⁶（即ち、－１１７９６４８０）乃至１８０＊２¹⁶－１（即ち、１１７９６４７９）の範囲内に存在することができる。ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ［ｉ］フィールドの値は、－９０＊２¹⁶（即ち、－５８９８２４０）乃至９０＊２¹⁶（即ち、５８９８２４０）の範囲内に存在することができる。ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｒｏｌｌ［ｉ］フィールドの値は－１８０＊２¹⁶（即ち、－１１７９６４８０）乃至１８０＊２¹⁶－１（即ち、１１７９６４７９）の範囲内に存在することができる。一方、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ［ｉ］フィールド及びｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｒｏｌｌ［ｉ］フィールドは、２^-16°単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するビューポイントに対するアジムス（ａｚｉｍｕｔｈ）角度、エレベーション（ｅｌｅｖａｔｉｏｎ）角度、傾斜（ｔｉｌｔ）角度を示すこともできる。

【0225】

ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］フィールド及びｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｚ［ｉ］フィールドは、２^-16ミリメートル単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するヘッド位置の位置を示す。即ち、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］フィールド及びｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｚ［ｉ］フィールドは、２^-16ミリメートル単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するヘッド位置のｘ成分、ｙ成分及びｚ成分を示すことができる。ヘッド位置の位置はヘッド位置アンカーの中心位置に対応する。例えば、ヘッド位置アンカーの中心位置はセンターヘッド位置の単位球センター（ｕｎｉｔ ｓｐｈｅｒｅ ｃｅｎｔｅｒ）であることができる。ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］フィールド及びｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｚ［ｉ］フィールドの値は－３２７６８＊２¹⁶－１（即ち、－２１４７４８３６４７）乃至３２７６８＊２¹⁶（即ち、２１４７４８３６４８）の範囲内に存在する。

【0226】

ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｐｉｔｃｈ［ｉ］フィールド及びｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｒｏｌｌ［ｉ］フィールドは、２^-16°単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するヘッド位置に対するヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度、ロール（ｒｏｌｌ）角度を示す。ヨー角度、ピッチ角度及びロール角度はｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するヘッド位置アンカーの単位球に適用でき、ヘッド位置アンカーの単位球上の座標はローカル座標軸からグローバル座標軸に変換されることができる。ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙａｗ［ｉ］フィールドの値は－１８０＊２¹⁶（即ち、－１１７９６４８０）乃至１８０＊２¹⁶－１（即ち、１１７９６４７９）の範囲内に存在する。ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｐｉｔｃｈ［ｉ］フィールドの値は－９０＊２¹⁶（即ち、－５８９８２４０）乃至９０＊２¹⁶（即ち、５８９８２４０）の範囲内に存在する。ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｒｏｌｌ［ｉ］フィールドの値は－１８０＊２¹⁶（即ち、－１１７９６４８０）乃至１８０＊２¹⁶－１（即ち、１１７９６４７９）の範囲内に存在する。なお、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｐｉｔｃｈ［ｉ］フィールド及びｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｒｏｌｌ［ｉ］フィールドは、２^-16°単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するビューポイントに対するアジムス（ａｚｉｍｕｔｈ）角度、エレベーション（ｅｌｅｖａｔｉｏｎ）角度、傾斜（ｔｉｌｔ）角度を示すこともできる。

【0227】

ｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャが左側アイビュー（ｌｅｆｔ ｅｙｅ ｖｉｅｗ）であるか又は右側アイビュー（ｒｉｇｈｔ ｅｙｅ ｖｉｅｗ）であるかを示す。例えば、ｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールドの値が１である場合、ｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャが左側アイビューであることを示し、ｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールドの値が０である場合は、ｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールドはｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対応するサブピクチャが右側アイビューであることを示す。

【0228】

ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙ［ｉ］フィールド及びｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｚ［ｉ］フィールドは、２^-16ミリメートル単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するアイビューの位置を示す。即ち、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙ［ｉ］フィールド及びｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｚ［ｉ］フィールドは、２^-16ミリメートル単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するアイビューのｘ成分、ｙ成分及びｚ成分を示すことができる。アイビューは左目（ｌｅｆｔ ｅｙｅ）又は右目（ｒｉｇｈｔ ｅｙｅ）の単位球に対応することができる。ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙ［ｉ］フィールド及びｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｚ［ｉ］フィールドの値は－３２７６８＊２¹⁶－１（即ち、－２１４７４８３６４７）乃至３２７６８＊２¹⁶（即ち、２１４７４８３６４８）の範囲内に存在する。

【0229】

ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｐｉｔｃｈ［ｉ］フィールド及びｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｒｏｌｌ［ｉ］フィールドは、２^-16°単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するアイビューに対するヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す。ヨー角度、ピッチ角度及びロール角度は、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するアイビューの単位球に適用でき、アイビューの単位球上の座標はローカル座標軸からグローバル座標軸に変換できる。ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙａｗ［ｉ］フィールドの値は－１８０＊２¹⁶（即ち、－１１７９６４８０）乃至１８０＊２¹⁶－１（即ち、１１７９６４７９）の範囲内に存在する。ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｅｙｅ＿ｐｉｔｃｈ［ｉ］フィールドの値は－９０＊２¹⁶（即ち、－５８９８２４０）乃至９０＊２¹⁶（即ち、５８９８２４０）の範囲内に存在する。ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｒｏｌｌ［ｉ］フィールドの値は－１８０＊２¹⁶（即ち、－１１７９６４８０）乃至１８０＊２¹⁶－１（即ち、１１７９６４７９）の範囲内に存在する。一方、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｐｉｔｃｈ［ｉ］フィールド及びｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｒｏｌｌ［ｉ］フィールドは、２^-16°単位でｃａｍｅｒａ＿ｉｄ［ｉ］フィールドに対するビューポイントに対するアジムス（ａｚｉｍｕｔｈ）角度、エレベーション（ｅｌｅｖａｔｉｏｎ）角度、傾斜（ｔｉｌｔ）角度を示すこともできる。

【0230】

表２を参照すると、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎは、ｎｕｍ＿ｓｕｂｐｉｃｔｕｒｅ＿ｍｉｎｕｓ１フィールド、ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールド、ｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールド及び／又はｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールドを含む。

【0231】

ｎｕｍ＿ｓｕｂｐｉｃｔｕｒｅ＿ｍｉｎｕｓ１フィールドの値に１を加えた値は、コーディングされたピクチャのサブピクチャの数を示す。

【0232】

ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールド及びｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドは各々、カメラレンズ情報に各フィールドに対するフィールドが存在するか否かを示す。

【0233】

より具体的には、ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目のサブピクチャに対する円形領域（ｃｉｒｃｕｌａｒ ｒｅｇｉｏｎ）に関する情報が存在するか否かを示す。即ち、ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目のサブピクチャに対するｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールドが存在するか否かを示す。ここで、（ｉ＋１）番目のサブピクチャは符号化されたピクチャ内の（ｉ＋１）番目の円形領域である。また、（ｉ＋１）番目の円形領域に対する円形領域は、（ｉ＋１）番目の円形領域においてカメラ本体（ｃａｍｅｒａ ｂｏｄｙ）のような妨害物が見えない領域を示す。例えば、ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールドの値が１である場合、ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目の円形領域に対するｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールドが存在することを示し、ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールドの値が０である場合、ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目の円形領域に対するｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールドが存在しないことを示す。ｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールドについて詳しくは後述する。

【0234】

ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報にｉ番目の円形領域に対するカメラレンズの焦点中心（ｆｏｃａｌ ｃｅｎｔｅｒ）のオフセット情報が存在するか否かを示す。即ち、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールドは、カメラレンズ情報に（ｉ＋１）番目の円形領域に対するｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドが存在するか否かを示す。例えば、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールドの値が１である場合、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目の円形領域に対するｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドが存在することを示し、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールドの値が０である場合は、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目の円形領域に対するｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドが存在しないことを示す。ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドについて詳しくは後述する。

【0235】

また、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドは、カメラレンズ情報にクロップされた出力ピクチャ（ｃｒｏｐｐｅｄ ｏｕｔｐｕｔ ｐｉｃｔｕｒｅ）の（ｉ＋１）番目の円形領域の中心点に対応する球領域（ｓｐｈｅｒｅ ｒｅｇｉｏｎ）の球面座標（ｓｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅ）に関する情報が存在するか否かを示す。即ち、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドは、カメラレンズ情報に（ｉ＋１）番目の円形領域に対するｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｔｉｌｔ［ｉ］フィールドが存在するか否かを示す。例えば、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドの値が１である場合、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目の円形領域に対するｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｔｉｌｔ［ｉ］フィールドが存在することを示し、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドの値が０である場合は、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目の円形領域に対するｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｔｉｌｔ［ｉ］フィールドが存在しないことを示す。ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｔｉｌｔ［ｉ］フィールドについて詳しくは後述する。

【0236】

また、ｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドは、カメラレンズ情報に（ｉ＋１）番目の円形領域に対するカメラレンズの歪み（ｄｉｓｔｏｒｔｉｏｎ）関連情報が存在するか否かを示す。即ち、ｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドは、カメラレンズ情報に（ｉ＋１）番目の円形領域に対するｎｕｍ＿ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド及びｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドが存在するか否かを示す。例えば、ｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドの値が１である場合、ｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目の円形領域に対するｎｕｍ＿ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド及びｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドが存在することを示し、ｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドの値が０である場合は、ｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドはカメラレンズ情報に（ｉ＋１）番目の円形領域に対するｎｕｍ＿ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド及びｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドが存在しないことを示す。ｎｕｍ＿ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド及びｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドについて詳しくは後述する。

【0237】

ｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールドの値に１を加えた値は、ｉ番目のサブピクチャを参照するカメラインジケーター（ｃａｍｅｒａ ｉｎｄｉｃａｔｏｒ）の数を示す。又はｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールドの値に１を加えた値は、（ｉ＋１）番目のサブピクチャを参照するカメラインジケーターの数を示す。ここで、（ｉ＋１）番目のサブピクチャは（ｉ＋１）番目の円形領域である。

【0238】

表２を参照すると、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎは、ｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］フィールド、ｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールド、ｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールド、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールド、ｓｃａｌｉｎｇ＿ｆａｃｔｏｒ［ｉ］フィールド、ｎｕｍ＿ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールド、ｎｕｍ＿ａｎｇｌｅ＿＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールド及び／又はｒｅｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドを含む。

【0239】

ｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールドは、カメラレンズ情報ＳＥＩメッセージに存在するｃａｍｅｒａ＿ｉｄに対するｉ番目のサブピクチャのｊ番目のカメラインジケーターを示す。又はｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールドは、カメラレンズ情報ＳＥＩメッセージに存在するｃａｍｅｒａ＿ｉｄに対する（ｉ＋１）番目のサブピクチャの（ｊ＋１）番目のカメラインジケーターを示す。ここで、（ｉ＋１）番目のサブピクチャは（ｉ＋１）番目の円形領域である。

【0240】

ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールドは、２^-16ルマサンプル単位でコーディングされたピクチャにおいて（ｉ＋１）番目の円形領域の中心点を示すことができる。即ち、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールドは、２^-16ルマサンプル単位で（ｉ＋１）番目の円形領域の中心点の水平座標（ｘ成分）及び垂直座標（ｙ成分）を示すことができる。ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールドの値は０乃至６５５３６＊２¹⁶－１（即ち、４２９４９６７２９５）の範囲内に存在する。

【0241】

ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］フィールドは、ルマサンプル単位で（ｉ＋１）番目の円形領域を含む（ｉ＋１）番目の四角形領域の左上端コーナーの位置（左上端点の位置）、幅及び高さを示すことができる。ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］フィールドは、ルマサンプル単位で（ｉ＋１）番目の四角形領域の左上端コーナーの位置の水平座標（ｘ成分）及び垂直座標（ｙ成分）、幅及び高さを示すことができる。

【0242】

ｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールドは（ｉ＋１）番目の円形領域の半径（ｒａｄｉｕｓ）を示す。（ｉ＋１）番目の円形領域の半径は、（ｉ＋１）番目の円形領域の中心点から最も外側（ｏｕｔｅｒｍｏｓｔ）のサンプル境界までの長さである。中心点はｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド及びｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールドが２^-16ルマサンプル単位で示すことができる。また、（ｉ＋１）番目の円形領域の半径は、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールドが示す（ｉ＋１）番目の円形領域に対する（ｉ＋１）番目のレンズの最大視野に対応する。又は半径はｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールドが示すｉ番目の円形領域に対するｉ番目のレンズの最大視野に対応する。ｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールドの値は０乃至６５５３６＊２¹⁶－１（即ち、４２９４９６７２９５）の範囲内に存在する。

【0243】

なお、（ｉ＋１）番目の円形領域の実際のサンプル領域は、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］フィールドに基づいて導き出される四角形領域と、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールド及びｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールドに基づいて導き出される円形領域との内部積集合に該当する領域である。

【0244】

ｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールドは、（ｉ＋１）番目の円形領域内の円形領域の半径を示す。ここで、（ｉ＋１）番目の円形領域内の円形領域は、（ｉ＋１）番目の円形領域においてカメラ本体（ｃａｍｅｒａ ｂｏｄｙ）のような妨害物が見えない領域を示す。（ｉ＋１）番目の円形領域内の円形領域の半径は、ｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールドが２^-16ルマサンプル単位で示すことができる。また、ｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールドの値はｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールドの値と等しいか又は小さく、０乃至６５５３６＊２¹⁶－１（即ち、４２９４９６７２９５）の範囲内に存在する。円形領域はコンテンツ供給子がスティッチング過程で使用するように提案した領域である。

【0245】

ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールドは、クロップされた出力ピクチャ（ｃｒｏｐｐｅｄ ｏｕｔｐｕｔ ｐｉｃｔｕｒｅ）の（ｉ＋１）番目の円形領域の中心点に対応する球領域の球面座標を示す。即ち、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールドは、（ｉ＋１）番目の円形領域の中心点に対応する球領域の球面座標のアジムス角度（ａｚｉｍｕｔｈ ａｎｇｌｅ）を示し、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールドは、（ｉ＋１）番目の円形領域の中心点に対応する球領域の球面座標のエレベーション角度（ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ）を示す。ここで、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールドは、２^-16°単位で中心点に対応する球領域の球面座標のアジムス角度及びエレベーション角度を示すことができる。ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールドの値は、－１８０＊２¹⁶（即ち、－１１７９６４８０）乃至１８０＊２¹⁶－１（即ち、１１７９６４７９）の範囲内に存在する。また、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールドの値は、－９０＊２¹⁶（即ち、－５８９８２４０）乃至９０＊２¹⁶（即ち、５８９８２４０）の範囲内に存在する。

【0246】

ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｔｉｌｔ［ｉ］フィールドは、（ｉ＋１）番目の円形領域の中心点に対応する球領域の球面座標の傾斜角度（ｔｉｌｔ ａｎｇｌｅ）を示す。ここで、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｔｉｌｔ［ｉ］フィールドは、２^-16°単位で中心点に対応する球領域の球面座標の傾斜角度を示す。ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｔｉｌｔ［ｉ］フィールドの値は－１８０＊２¹⁶（即ち、－１１７９６４８０）乃至１８０＊２¹⁶－１（即ち、１１７９６４７９）の範囲内に存在する。

【0247】

ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドは、（ｉ＋１）番目の円形領域に対するカメラレンズの焦点中心（ｆｏｃａｌ ｃｅｎｔｅｒ）のオフセットを示す。カメラレンズの焦点中心はカメラ構成全体の焦点中心の原点を基準とするオフセットで示すことができる。即ち、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールドは、（ｉ＋１）番目の円形領域に対するカメラレンズの焦点中心のｘオフセットを示し、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールドは、（ｉ＋１）番目の円形領域に対するカメラレンズの焦点中心のｙオフセットを示し、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドは、（ｉ＋１）番目の円形領域に対するカメラレンズの焦点中心のｚオフセットを示す。ここで、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドは、２^-16ミリメートル単位でカメラレンズの焦点中心のｘオフセット、ｙオフセット及びｚオフセットを示すことができる。ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドの値は、０乃至６５５３６＊２¹⁶－１（即ち、４２９４９６７２９５）の範囲内に存在する。

【0248】

一方、３６０°ビデオ生成において、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドは、単位球の球中心（ｓｐｈｅｒｅ ｃｅｎｔｅｒ）のｘｙｚ位置を示す。（ｉ＋１）番目のサブピクチャ（（ｉ＋１）番目の円形領域）は、単位球の球中心を基準としてマッピングされ、単位球にスティッチングされた３６０°ビデオが提供される。ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドが存在しない場合、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールドの値は０に導き出される。

【0249】

ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールドは、コーディングされたピクチャの（ｉ＋１）番目の円形領域の球形ドメイン範囲（ｓｐｈｅｒｉｃａｌ ｄｏｍａｉｎ ｃｏｖｅｒａｇｅ）を示す。ここで、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールドは２^-16°単位で球形ドメインの範囲を示すことができる。ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールドの値は０乃至３６０＊２１６の範囲内に存在する。

【0250】

ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズプロジェクション（ｌｅｎｓ ｐｒｏｊｅｃｔｉｏｎ）のタイプを示す。例えば、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が０である場合、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズプロジェクションのタイプが指定されていないことを示し、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が１である場合、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズプロジェクションのタイプが透視投影（ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ）であることを示し、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が２である場合は、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズプロジェクションのタイプが立体射影（ｓｔｅｒｅｏｇｒａｐｈｉｃ ｐｒｏｊｅｃｔｉｏｎ）であることを示し、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が３である場合は、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズプロジェクションのタイプが等距離射影（ｅｑｕｉｄｉｓｔａｎｃｅ ｐｒｏｊｅｃｔｉｏｎ）であることを示し、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が４である場合は、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズプロジェクションのタイプが正弦法則投影（ｓｉｎｅ－ｌａｗ ｐｒｏｊｅｃｔｉｏｎ）であることを示し、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が５である場合は、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズプロジェクションのタイプが等立体角射影（ｅｑｕｉ－ｓｏｌｉｄ ｐｒｏｊｅｃｔｉｏｎ）であることを示し、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が２５５である場合は、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズプロジェクションのタイプが角多項式投影（ａｎｇｕｌａｒ ｐｏｌｙｎｏｍｉａｌ ｐｒｏｊｅｃｔｉｏｎ）であることを示す。また、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が６乃至２５４である場合は、今後の使用（ｆｕｔｕｒｅ ｕｓｅ）のために予約されている。

【0251】

図１２は半径方向プロジェクション関数（ｒａｄｉａｌ ｐｒｏｊｅｃｔｉｏｎ ｆｕｎｃｔｉｏｎｓ）を例示する図である。半径方向プロジェクション関数は上述したレンズプロジェクションのタイプを示す。

【0252】

ｓｃａｌｉｎｇ＿ｆａｃｔｏｒ［ｉ］フィールドは２^-8単位で（ｉ＋１）番目のレンズプロジェクションタイプの倍率（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）を示す。（ｉ＋１）番目のレンズプロジェクションタイプは（ｉ＋１）番目の円形領域に対するレンズプロジェクションタイプを示す。ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールドの値は０乃至２５６＊２－８－１の範囲内に存在する。

【0253】

ｎｕｍ＿ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールドの値に１を加えた値は、（ｉ＋１）番目の円形領域のプロジェクション関数の角度方向（ａｎｇｕｌａｒ ｄｉｒｅｃｔｉｏｎ）を示す角度の値（ａｎｇｕｌａｒ ｖａｌｕｅｓ）の数を示す。ｎｕｍ＿ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールドの値が０である場合、ｎｕｍ＿ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールドは、（ｉ＋１）番目の円形領域の球座標プロジェクション（ｓｐｈｅｒｅ ｃｏｏｒｄｉｎａｔｅ ｐｒｏｊｅｃｔｉｏｎ）関数に対する円形領域内のルマサンプルが全ての角度の値に対して対称（ｓｙｍｍｅｔｒｉｃ）であると仮定されることを示す。

【0254】

ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールドは、（ｉ＋１）番目の円形領域の（ｊ＋１）番目の多項式関数（ｐｏｌｙｎｏｍｉａｌ ｆｕｎｃｔｉｏｎ）の方向を示す角度の値（ａｎｇｕｌａｒ ｖａｌｕｅ）を示す。即ち、ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールドは、（ｉ＋１）番目の円形領域の（ｊ＋１）番目の角度の値を示す。ここで、ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールドは２^-7°単位で角度の値を示す。ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールドの値は０乃至３６０＊２⁷－１の範囲内に存在する。

【0255】

ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドの値に１を加えた値は、（ｉ＋１）番目の円形領域において（ｊ＋１）番目の角度の値に対応する（ｊ＋１）番目のレンズ歪み補正関数（ｌｅｎｓ ｄｉｓｔｏｒｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ ｆｕｎｃｔｉｏｎ）の多項式係数の数を示す。ここで、（ｊ＋１）番目のレンズ歪み補正関数は（ｊ＋１）番目の多項式関数を示す。多項式関数は角曲線関数変換（ａｎｇｕｌａｒ ｃｕｒｖｅ ｆｕｎｃｔｉｏｎ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）でもある。

【0256】

ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドは、（ｉ＋１）番目の円形領域においてルマサンプルと中心点の間の半径距離（ｒａｄｉａｌ ｄｉｓｔａｎｃｅ）の（ｊ＋１）番目の角曲線関数変換のｋ番目の多項式係数値を示す。又はｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドは、（ｉ＋１）番目の円形領域においてルマサンプルと中心点の間の半径距離の（ｊ＋１）番目の角曲線関数変換の（ｋ＋１）番目の多項式係数値を示す。（ｋ＋１）番目の多項式係数値はｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールドに基づいて正規化された値であって、ルマサンプルと中心点に対応するベクトルの間の角度の値である。また、ルマサンプルと中心点は（ｉ＋１）番目の円形領域のレンズの焦点（ｆｏｃａｌ ｐｏｉｎｔ）に対応する原点を有する球座標で示すことができる。ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドの値は、－１２８＊２²⁴（即ち、２１４７４８３６４８）乃至１２８＊２²⁴－１（即ち、２１４７４８３６４７）の範囲内に存在する。

【0257】

ｎｕｍ＿ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールドの値に１を加えた値は、（ｉ＋１）番目の円形領域のレンズ歪み補正関数の角度方向を示す角度の値の数を示す。ｎｕｍ＿ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールドの値が０である場合、ｎｕｍ＿ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールドは（ｉ＋１）番目の円領域のレンズ歪み補正関数に対する円形領域内のルマサンプルが全ての角度の値に対して対称（ｓｙｍｍｅｔｒｉｃ）であると仮定することができる。

【0258】

ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールドは、（ｉ＋１）番目の円形領域の（ｊ＋１）番目のレンズ歪み補正関数の（ｉ＋１）番目の円形領域の中心点から境界への方向を示す角度の値（ａｎｇｕｌａｒ ｖａｌｕｅ）を示す。即ち、ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールドは、（ｉ＋１）番目の円形領域の（ｊ＋１）番目の角度の値を示す。ここで、ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールドは２^-7°単位で角度の値を示すことができる。ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールドの値は０乃至３６０＊２⁷－１の範囲内に存在する。

【0259】

ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドの値に１を加えた値は、（ｉ＋１）番目の円形領域において（ｊ＋１）番目の角度の値に対応する（ｊ＋１）番目のレンズ歪み補正関数の多項式係数の数を示す。

【0260】

ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドは、２^-24ルマサンプル単位で（ｉ＋１）番目の円形領域の（ｊ＋１）番目のレンズ歪み補正関数のｋ番目の多項式係数値を示す。又は、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドは、２^-24ルマサンプル単位で（ｉ＋１）番目の円形領域の（ｊ＋１）番目のレンズ歪み補正関数の（ｋ＋１）番目の多項式係数値を示す。ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドの値は、－１２８＊２²⁴（即ち、２１４７４８３６４８）乃至１２８＊２²⁴－１（即ち、２１４７４８３６４７）の範囲内に存在する。

【0261】

ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズ半径方向の歪み（ｌｅｎｓ ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）のタイプを示す。例えば、ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が０である場合、ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズ半径方向の歪みのタイプが指定されていないことを示し、ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が１である場合は、ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズ半径方向の歪みのタイプがたる形歪曲（Ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）であることを示し、ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が２である場合は、ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズ半径方向の歪みのタイプが糸巻き型歪曲（Ｐｉｎｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）であることを示し、ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が３である場合は、ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドは（ｉ＋１）番目の円形領域に対するレンズ半径方向の歪みのタイプが陣笠型歪曲（Ｍｕｓｔａｃｈｅ ｄｉｓｔｏｒｔｉｏｎ）であることを示す。一方、ｒａｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドの値が４乃至２５４である場合は、今後の使用のために予約されている。

【0262】

図１３は複数のタイプの半径方向の歪みを例示する図である。撮影するレンズによって円形イメージに異なるタイプの半径方向の歪みが発生することができるので、図１０は複数のタイプの半径方向の歪みを示す。図１３の（ａ）はたる形歪曲（Ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）を示し、図１３の（ｂ）は糸巻き型歪曲（Ｐｉｎｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）を示し、図１３の（ｃ）は陣笠型歪曲（Ｍｕｓｔａｃｈｅ ｄｉｓｔｏｒｔｉｏｎ）を示す。

【0263】

一方、Ｂｒｏｗｎ’ｓ ｄｉｓｔｏｒｔｉｏｎ ｍｏｄｅｌ又はＢｒｏｗｎ－Ｃｏｎｒａｄｙ ｍｏｄｅｌに基づいて、円形イメージに対する半径方向の歪みを修正することができる。また、Ｂｒｏｗｎ－Ｃｏｎｒａｄｙ ｍｏｄｅｌに基づいて、半径方向の歪み及びレンズの物理的要素（ｐｈｙｓｉｃａｌ ｅｌｅｍｅｎｔｓ）が完璧に整列されないことから発生する接線歪み（ｔａｎｇｅｎｔｉａｌ ｄｉｓｔｏｒｔｉｏｎ）を修正することができる。接線歪みは偏心歪み（ｄｅｃｅｎｔｅｒｉｎｇ ｄｉｓｔｏｒｔｉｏｎ）と示すことができる。

【0264】

円形イメージの半径方向の歪みを修正する過程は、以下のように導き出すことができる。

【0265】

【数1】

【0266】

歪みを修正する過程により、円形イメージの（ｘ_d、ｙ_d）座標のサンプルは数式に基づいて導き出された（ｘ_u、ｙ_u）座標に移動することができる。これにより、円形イメージの歪みを除去することができる。

【0267】

ここで、ｒは歪曲されたイメージポイントと歪み中心との距離を示し、ｘ_d、ｙ_dは指定されたレンズを使用して３６０°ビデオがプロジェクションされたピクチャの歪曲されたイメージポイントのｘ成分、ｙ成分を示し、ｘ_u、ｙ_uは理想的なピンホールカメラ（ｉｄｅａｌ ｐｉｎｈｏｌｅ ｃａｍｅｒａ）を使用して３６０°ビデオがプロジェクションされたピクチャの歪曲されていないイメージポイントのｘ成分、ｙ成分を示す。また、ｘ_c、ｙ_cは歪み中心（ｄｉｓｔｏｒｔｉｏｎ ｃｅｎｔｅｒ）のｘ成分、ｙ成分を示す。歪み中心を主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）と仮定することができる。Ｋ_nはｎ番目の半径方向の歪み係数を示し、Ｐ_nはｎ番目の接線歪み係数を示す。半径方向の歪み係数及び接線歪み係数は、円形イメージの半径方向の歪みのタイプに基づいて導き出すことができる。

【0268】

ｒは以下のように導き出すことができる。

【0269】

【数2】

【0270】

上述した半径方向の歪み関連情報は、球座標にマッピングされていないイメージが存在する場合に、２Ｄドメインの歪みを補正するために使用することができる。

【0271】

円形領域のサンプル位置において、グローバル座標軸に対する球座標系への変換過程は、後述する通りである。後述する変換過程は、ｉが０である円形領域において、ｉがｎｕｍ＿ｓｕｂｐｉｃｔｕｒｅｓ＿ｍｉｎｕｓ１フィールドの値である円形領域まで順に適用されることができる。又は後述する変換過程は、ｉが０である円形領域において、ｉが特定値である円形領域まで順に適用されることができ、特定の値はｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールドに示されるサブピクチャに対応する円形領域の数である。

【0272】

上記変換過程の入力は以下の通りである。

【0273】

－ルマサンプル単位のサンプル位置（ｘ、ｙ）

【0274】

－２^-16ルマサンプル単位のｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド及びｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールドに基づいて導き出されるｉ番目のイメージ（又は（ｉ＋１）番目の円形領域）の中心点位置（ｘ_c、ｙ_c）及びｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールドに基づいて導き出されるｉ番目の円形イメージ（又は（ｉ＋１）番目の円形領域）の半径ｒ_c

【0275】

－２^-16°単位のｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールドに基づいて導き出されるｉ番目の円形領域（又は（ｉ＋１）番目の円形領域）に対応するレンズのＦＯＶ（Ｆｉｅｄ Ｏｆ Ｖｉｅｗ）θ_v

【0276】

－２^-16°単位のｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド及びｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｔｉｌｔ［ｉ］フィールドに基づいて導き出される回転パラメータ（ｒｏｔａｔｉｏｎ ｐａｒａｍｅｔｅｒｓ）α_c、β_c、γ_c

【0277】

－多項式係数の数ｎ、レンズプロジェクションタイプｍ、倍率（ｓｃａｌｅ ｆａｃｔｏｒ）σ、角度方向（ａｎｇｕｌａｒ ｄｉｒｅｃｔｉｏｎ）ω_jに対する２^-24°単位の（ｉ＋１）番目の円形領域の多項式係数ｐ_k（ω_j）

【0278】

上記変換過程の出力は以下の通りである。

【0279】

－サンプル位置（ｘ、ｙ）に対するグローバル座標軸に対する球座標位置（φ、θ）

【0280】

（ｉ＋１）番目の円形領域でのサンプル位置を球座標系での位置に変換する過程を以下の表のように行うことができる。変換過程は（ｉ＋１）番目の円形領域を球座標系にマッピングする過程であると示すこともできる。

【0281】

【表3】

【0282】

ここで、φ'に関する数式は、以下の表のように、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドに基づいて導き出すことができる。

【0283】

【表4】

【0284】

又は、φ'はφ'に対する角度方向θ'に隣接する角度方向（ｎｅａｒｅｓｔ ａｎｇｕｌａｒ ｄｉｒｅｃｔｉｏｎｓ）から補間関数Ｆに基づいて、以下の数式のように導き出すことができる。

【0285】

【数3】

【0286】

ω_j及びω_j+1は角度方向θ'に隣接する角度方向を示し、θ'はω_jより大きく、ω_j+1より小さい。

【0287】

なお、上記表１を参照すると、ＳＥＩメッセージは、追加カメラレンズ情報に該当するｓｕｐｐｌｅｍｅｎｔａｌ＿ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎを含む。

【0288】

ｓｕｐｐｌｅｍｅｎｔａｌ＿ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎは、以下の表のように導き出すことができる。

【0289】

【表5】

【0290】

表５を参照すると、ｓｕｐｐｌｅｍｅｎｔａｌ＿ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎは、ｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドを含む。

【0291】

ｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドはｓｕｐｐｌｅｍｅｎｔａｌ＿ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏｒｍａｔｉｏｎが適用されるコーディングされたピクチャの円形イメージの数を示す。例えば、ｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドの値は２であることができる。又はｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドの値は２を除いた０ではない値である。ここで、ｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドはｎｕｍ＿ｓｕｂｐｉｃｔｕｒｅＳフィールドと示し、円形イメージは円形領域又はサブピクチャと示すこともできる。

【0292】

表５を参照すると、ｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールド、ｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールド、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ａｘｉｓ＿ａｎｇｌｅ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｘ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｙ［ｉ］フィールド、ｎｕｍ＿ａｎｇｌｅ＿ｆｏｒ＿ｄｉｓｐｌａｙｉｎｇ＿ｆｏｖ［ｉ］フィールド、ｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド、ｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｌｏｃａｌ＿ｆｏｖ＿ｒｅｇｉｏｎ［ｉ］フィールド、ｓｔａｒｔ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｅｎｄ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｓｔａｒｔ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド、ｅｎｄ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド、ｒａｄｉｕｓ＿ｄｅｌｔａ［ｉ］［ｊ］フィールド、ａｎｇｌｅ＿ｄｅｌｔａ［ｉ］［ｊ］フィールド、ｌｏｃａｌ＿ｆｏｖ＿ｗｅｉｇｈｔ［ｉ］［ｊ］［ｋ］［ｌ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔｓ＿ｌｓｃ［ｉ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｒ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｇ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｂ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｄｅａｄｚｏｎｅｓフィールド、ｄｅａｄｚｏｎｅ＿ｌｅｆｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ［ｉ］フィールド、ｄｅａｄｚｏｎｅ＿ｔｏｐ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ［ｉ］フィールド、ｄｅａｄｚｏｎｅ＿ｗｉｄｔｈ［ｉ］フィールド及び／又はｄｅａｄｚｏｎｅ＿ｈｅｉｇｈｔ［ｉ］フィールドを含む。

【0293】

ｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールドの値に１を加えた値は、ｉ番目のサブピクチャを参照するカメラインジケーターの数を示す。又は、ｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールドの値に１を加えた値は、（ｉ＋１）番目のサブピクチャを参照するカメラインジケーターの数を示す。ここで、（ｉ＋１）番目のサブピクチャは（ｉ＋１）番目の円形領域である。

【0294】

ｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールドは、カメラレンズ情報ＳＥＩメッセージに存在するｃａｍｅｒａ＿ｉｄに対するｉ番目のサブピクチャのｊ番目のカメラインジケーターを示す。又は、ｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールドは、カメラレンズ情報ＳＥＩメッセージに存在するｃａｍｅｒａ＿ｉｄに対する（ｉ＋１）番目のサブピクチャの（ｊ＋１）番目のカメラインジケーターを示す。ここで、（ｉ＋１）番目のサブピクチャは（ｉ＋１）番目の円形領域である。

【0295】

ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドは、（ｉ＋１）番目の円形領域がフリップされているか否か、どのようにフリップされたかを示す。従って、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドはスティッチング過程及び／又はレンダリング過程において、（ｉ＋１）番目の円形領域に対するリバースフリップ過程（ｒｅｖｅｒｓｅ ｆｌｉｐｐｉｎｇ ｏｐｅｒａｔｉｏｎ）を適用する必要があるか否かを示すことができる。例えば、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドの値が０である場合、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドは（ｉ＋１）番目の円形領域がフリップされていないことを示す。また、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドの値が１である場合は、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドは（ｉ＋１）番目の円形領域が垂直方向（ｖｅｒｔｉｃａｌｌｙ）にフリップされていることを示す。また、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドの値が２である場合は、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドは（ｉ＋１）番目の円形領域が水平方向（ｈｏｒｉｚｏｎｔａｌｌｙ）にフリップされていることを示す。また、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドの値が３である場合は、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールドは（ｉ＋１）番目の円形領域が垂直方向及び水平方向にフリップされていることを示す。

【0296】

ｉｍａｇｅ＿ｓｃａｌｅ＿ａｘｉｓ＿ａｎｇｌｅ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｘ［ｉ］フィールド及びｉｍａｇｅ＿ｓｃａｌｅ＿ｙ［ｉ］フィールドは、特定の軸に沿って（ｉ＋１）番目の円形領域のサイズがスケーリングされているか否か、及びどのようにスケーリングされたかを示す。ｉｍａｇｅ＿ｓｃａｌｅ＿ａｘｉｓ＿ａｎｇｌｅ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｘ［ｉ］フィールド及びｉｍａｇｅ＿ｓｃａｌｅ＿ｙ［ｉ］フィールドの値は、固定小数点１６（ｆｉｘｅｄ－ｐｏｉｎｔ １６）であることができる。ｉｍａｇｅ＿ｓｃａｌｅ＿ａｘｉｓ＿ａｎｇｌｅ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｘ［ｉ］フィールド及びｉｍａｇｅ＿ｓｃａｌｅ＿ｙ［ｉ］フィールドは、カメラ－ミラー設定（ｃａｍｅｒａ－ｍｉｒｒｏｒ ｓｅｔｔｉｎｇｓ）の自然なエラーを考慮するために使用できる。特定の軸はｉｍａｇｅ＿ｓｃａｌｅ＿ａｘｉｓ＿ａｎｇｌｅ［ｉ］フィールドの値が示す単一角度（ｓｉｎｇｌｅ ａｎｇｌｅ）と定義することができる。単一角度の単位は°である。例えば、単一角度が０である場合、水平ベクトルは完全に水平であり、垂直ベクトルは完全に垂直である場合を示す。ｉｍａｇｅ＿ｓｃａｌｅ＿ｘ［ｉ］フィールド及びｉｍａｇｅ＿ｓｃａｌｅ＿ｙ［ｉ］フィールドはスケーリング（ｓｃａｌｉｎｇ）を示す。なお、ｉｍａｇｅ＿ｓｃａｌｅ＿ａｘｉｓ＿ａｎｇｌｅ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｘ［ｉ］フィールド及びｉｍａｇｅ＿ｓｃａｌｅ＿ｙ［ｉ］フィールドは、アフィンパラメータ（ａｆｆｉｎｅ ｐａｒａｍｅｔｅｒｓ）とも呼ばれ、以下の式を満たすことができる。

【0297】

【数4】

【0298】

上記数４は実際のサンプル座標（ｕ、ｖ）と理想的なサンプル座標（ｕ_N、ｖ_N）の関係を示す数式であり、ｃ_x及びｃ_yは各々ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールドの値とｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールドの値を示す。なお、ｃ、ｄ及びｅは各々ｉｍａｇｅ＿ｓｃａｌｅ＿ｘ［ｉ］フィールドの値、ｉｍａｇｅ＿ｓｃａｌｅ＿ａｘｉｓ＿ａｎｇｌｅ［ｉ］フィールドの値及びｉｍａｇｅ＿ｓｃａｌｅ＿ｙ［ｉ］フィールドの値を示す。

【0299】

ｎｕｍ＿ａｎｇｌｅ＿ｆｏｒ＿ｄｉｓｐｌａｙｉｎｇ＿ｆｏｖ［ｉ］フィールドは、ディスプレイされる領域と重複する領域を定義する角度の数を示す。ｎｕｍ＿ａｎｇｌｅ＿ｆｏｒ＿ｄｉｓｐｌａｙｉｎｇ＿ｆｏｖ［ｉ］フィールドの値に基づいてｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド及びｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールドの値が同間隔に定義され、ｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド及びｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールドの値は１２時方向から時計方向に順に定義される。

【0300】

ｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールドは、（ｉ＋１）番目の円形領域において隣接する円形領域との混合（ｂｌｅｎｄｉｎｇ）過程なしにディスプレイされるように推薦された領域を示す。

【0301】

ｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールドは、（ｉ＋１）番目の円形領域の球面上において隣接する円形領域と重複するＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。ｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールドが示すＦＯＶは、隣接する円形領域の領域とＦＯＶのうちの一つのみがディスプレイされるか、又は隣接する円形領域との混合過程を適用してディスプレイされるように推薦された領域を示す。

【0302】

ｎｕｍ＿ｌｏｃａｌ＿ｆｏｖ＿ｒｅｇｉｏｎ［ｉ］フィールドは、（ｉ＋１）番目の円形領域の他のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を有するローカルを有するローカルフィッティング領域（ｌｏｃａｌ ｆｉｔｔｉｎｇ ｒｅｇｉｏｎ）の数を示す。

【0303】

ｓｔａｒｔ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｅｎｄ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｓｔａｒｔ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド及びｅｎｄ＿ａｎｇｌｅ［ｉ］［ｊ］フィールドは、ローカルフィッティング／ワーピング（ｗａｒｐｉｎｇ）に対する（ｊ＋１）番目の領域を示す。ローカルフィッティング／ワーピングは、部分的にディスプレイするために実際のＦＯＶを変換することを示す。ｓｔａｒｔ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド及びｅｎｄ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールドの値は、固定小数点１６（ｆｉｘｅｄ－ｐｏｉｎｔ １６）であることができる。ｓｔａｒｔ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールドは（ｊ＋１）番目の領域の最小半径の値を示し、ｅｎｄ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールドは（ｊ＋１）番目の領域の最大半径の値を示す。ｓｔａｒｔ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド及びｅｎｄ＿ａｎｇｌｅ［ｉ］［ｊ］フィールドは（ｊ＋１）番目の領域の１２時方向から始まって時計方向に増加する最小角度及び最大角度の値を示す。ここで、ｓｔａｒｔ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド及びｅｎｄ＿ａｎｇｌｅ［ｉ］［ｊ］フィールドは、２^-16°単位で上記角度の値を示す。ｓｔａｒｔ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド及びｅｎｄ＿ａｎｇｌｅ［ｉ］［ｊ］フィールドの値は、－１８０＊２¹⁶乃至１８０＊２¹⁶－１の範囲内に存在する。

【0304】

ｒａｄｉｕｓ＿ｄｅｌｔａ［ｉ］［ｊ］フィールドは、各半径に対して他のＦＯＶを示すデルタ半径の値（ｄｅｌｔａ ｒａｄｉｕｓ ｖａｌｕｅ）を示す。ｒａｄｉｕｓ＿ｄｅｌｔａ［ｉ］［ｊ］フィールドは、固定小数点１６（ｆｉｘｅｄ－ｐｏｉｎｔ １６）であることができる。

【0305】

ａｎｇｌｅ＿ｄｅｌｔａ［ｉ］［ｊ］フィールドは、各角度に対して異なるＦＯＶを示すデルタ角度の値（ｄｅｌｔａ ａｎｇｌｅ ｖａｌｕｅ）を示す。ｓｔａｒｔ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド及びａｎｇｌｅ＿ｄｅｌｔａ［ｉ］［ｊ］フィールドは２^-16°単位で上記デルタ角度の値を示すことができる。

【0306】

ｌｏｃａｌ＿ｆｏｖ＿ｗｅｉｇｈｔ［ｉ］［ｊ］［ｋ］［ｌ］フィールドは、角度インデックスｉ及び半径インデックスｊに指定された位置のＦＯＶ、即ち、ｓｔａｒｔ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｅｎｄ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｓｔａｒｔ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド、ｅｎｄ＿ａｎｇｌｅ［ｉ］［ｊ］フィールドに基づいて導き出された位置のＦＯＶに対する重みを示す。ｌｏｃａｌ＿ｆｏｖ＿ｗｅｉｇｈｔ［ｉ］［ｊ］［ｋ］［ｌ］フィールドの値は８．２４固定小数点の形式である。ｌｏｃａｌ＿ｆｏｖ＿ｗｅｉｇｈｔ［ｉ］［ｊ］［ｋ］［ｌ］フィールドの正の値（ｐｏｓｉｔｉｖｅ ｖａｌｕｅ）はＦＯＶの拡張を示し、ｌｏｃａｌ＿ｆｏｖ＿ｗｅｉｇｈｔ［ｉ］［ｊ］［ｋ］［ｌ］フィールドの負の数（ｎｅｇａｔｉｖｅ ｖａｌｕｅ）のＦＯＶの縮小を示す。

【0307】

ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔｓ＿ｌｓｃ［ｉ］フィールドは、（ｉ＋１）番目の円形領域のＬＳＣ（ｌｅｎｓ ｓｈａｄｉｎｇ ｃｏｍｐｅｎｓａｔｉｏｎ）パラメータの多項式係数（ｐｏｌｙｎｏｍｉａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ）の数を示す。

【0308】

ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｒ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｇ［ｉ］［ｊ］フィールド及びｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｂ［ｉ］［ｊ］フィールドは、半径方向（ｒａｄｉａｌ ｄｉｒｅｃｔｉｏｎ）の色を減少させるレンズ（例えば、魚眼レンズ）のシェーディング補正（ｓｈａｄｉｎｇ ｃｏｍｐｅｎｓａｔｉｏｎ）を補正するためのＬＳＣパラメータを示す。ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｒ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｇ［ｉ］［ｊ］フィールド及びｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｂ［ｉ］［ｊ］フィールドの値は、８．２４固定小数点の形式である。オリジナル色に乗じられる補償重み（ｃｏｍｐｅｎｓａｔｉｎｇ ｗｅｉｇｈｔ）は、曲線関数（ｃｕｒｖｅ ｆｕｎｃｔｉｏｎ）に近似化でき、補償重みを示す曲線関数は以下のように導き出すことができる。

【0309】

【数5】

【0310】

ここで、ｒは正規化された半径（ｎｏｒｍａｌｉｚｅｄ ｒａｄｉｕｓ）を示す。即ち、ｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールドに基づいて正規化された（ｉ＋１）番目の円形領域の中心での半径を示す。

【0311】

ＰはＬＳＣパラメータを示す。ここで、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｒ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｇ［ｉ］［ｊ］フィールド及びｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｂ［ｉ］［ｊ］フィールドは各々、レッド（ｒｅｄ）に対するＬＳＣパラメータ、グリーン（ｇｒｅｅｎ）に対するＬＳＣパラメータ、ブルー（ｂｌｕｅ）にＬＳＣパラメータを示し、この場合、レッドに対する重み係数（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒ）、グリーンに対する重み係数及びブルーに対する重み係数を各々計算することができる。

【0312】

また、Ｎはｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔｓ＿ｌｓｃ［ｉ］フィールドの値に導き出されることができる。即ち、Ｎは（ｉ＋１）番目の円形領域のＬＳＣパラメータの多項式係数の数を示す。

【0313】

一方、ｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド及びｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールドの値は、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールドの値より小さいか又は等しい。ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールドの値は各レンズの物理的属性により決定される反面、ｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド及びｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールドの値は複数のレンズ構成によって決定される。例えば、ｎｕｍ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅｓフィールドの値が２であり、２つのレンズが対称に（ｓｙｍｍｅｔｒｉｃａｌｌｙ）位置する場合、ｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド及びｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールドの値は基本的に各々１８０と１９０に設定される。しかし、ｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド及びｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールドの値はレンズの構成及び３６０°ビデオコンテンツの特性によって変更可能である。例えば、ｄｉｓｐｌａｙｅｄ＿ｆｏｖの値（例えば、左側カメラレンズは１７０、右側カメラは１９０）とｏｖｅｒｌａｐｐｅｄ＿ｆｏｖの値（例えば、左側カメラは１８５及び右側カメラは１９０）を有するスティッチングの品質（ｓｔｉｔｃｈｉｎｇ ｑｕａｌｉｔｙ）がデフォルト値のｄｉｓｐｌａｙｅｄ＿ｆｏｖ及びｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ（即ち、１８０及び１９０）を有する品質より良好な場合、又はカメラの物理的構成が非対称（ａｓｙｍｍｅｔｒｉｃ）である場合、同一ではないｄｉｓｐｌａｙ＿ｆｏｖフィールド及びｏｖｅｒｌａｐｐｅｄ＿ｆｏｖフィールドの値が導き出されることができる。また、Ｎ個の（Ｎ＞２）イメージ（即ち、円形領域）の場合、一つのｄｉｓｐｌａｙｅｄ＿ｆｏｖフィールドの値で各イメージの正確な領域を示すことができない。即ち、ｄｉｓｐｌａｙｅｄ＿ｆｏｖフィールドは方向によって異なる。よって、Ｎ個のイメージを制御するために、上述したｎｕｍ＿ａｎｇｌｅ＿ｆｏｒ＿ｄｉｓｐｌａｙｉｎｇ＿ｆｏｖ［ｉ］フィールドを提案できる。例えば、ｎｕｍ＿ａｎｇｌｅ＿ｆｏｒ＿ｄｉｓｐｌａｙｉｎｇ＿ｆｏｖ［ｉ］フィールドの値が１２である場合は、イメージは１２個のセクターに分かれ、各々のセクター角度は３０°である。

【0314】

ｎｕｍ＿ｄｅａｄｚｏｎｅｓフィールドは、コーディングされたピクチャのデッドゾーン（ｄｅａｄｚｏｎｅ）の数を示す。デッドゾーンはコーディングされたピクチャの使用されないサンプルを含む四角形領域（ｒｅｃｔａｎｇｕｌａｒ ａｒｅａ）、即ち、３６０°ビデオがマッピングされない四角形領域を示す。

【0315】

ｄｅａｄｚｏｎｅ＿ｌｅｆｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ［ｉ］フィールド及びｄｅａｄｚｏｎｅ＿ｔｏｐ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ［ｉ］フィールドは、該当デッドゾーンの左上端位置（左上端点の位置）を示す。ｄｅａｄｚｏｎｅ＿ｗｉｄｔｈ［ｉ］フィールドは該当デッドゾーンの幅、ｄｅａｄｚｏｎｅ＿ｈｅｉｇｈｔ［ｉ］フィールドは該当デッドゾーンの高さを示す。３６０°ビデオに対するビット量を減らすために、デッドゾーン内の全てのサンプルは同じサンプル値に設定されることができる。例えば、デッドゾーン内の全てのサンプルは黒色を示すサンプル値に設定されることができる。

【0316】

なお、カメラ又はレンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）（ｆ_x、ｆ_y）、主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）（ｃ_x、ｃ_y）、ｓｋｅｗ係数ｓｋｅｗ＿ｃなどのカメラ内部のパラメータと回転及び平行移動パラメータなどのカメラ外部パラメータも、上述したカメラレンズ情報ＳＥＩメッセージ又は追加カメラレンズ情報ＳＥＩメッセージにより定義されることができる。

【0317】

図１４はカメラレンズにより３６０°ビデオをキャプチャする一例を示す図である。図１４の（ａ）及び（ｂ）を参照すると、カメラ又はレンズの焦点距離によってキャプチャされる３６０°ビデオが導き出される。（Ｘｃ、Ｙｃ、Ｚｃ）座標のサンプルは、像平面（ｉｍａｇｅ ｐｌａｎｅ）の（ｆｘＸｃ／Ｚｃ、ｆｙＹｃ／Ｚｃ）位置でキャプチャされ、標準化されたサンプルの位置は像平面の位置において焦点距離だけ分かれて（Ｘｃ／Ｚｃ、Ｙｃ／Ｚｃ）のように導き出されることができる。標準化された像平面のカメラ又はレンズの焦点において、焦点距離が１である位置の像平面を示すことができる。

【0318】

なお、図１４の（ｃ）は特定の角度だけ傾いてキャプチャされた３６０°ビデオのサンプルを示す。傾いた程度を示す特定の角度は、上述したｓｋｅｗ係数ｓｋｅｗ＿ｃに基づいて導き出される。例えば、ｓｋｅｗ係数は以下のように導き出すことができる。

【0319】

【数6】

【0320】

一方、上述したカメラレンズ情報及び／又は追加カメラレンズ情報は、上述したようにＩＳＯＢＭＦＦファイル内のボックス形態で伝達される。３６０°ビデオデータはＩＳＯＢＭＦＦファイルに基づいて格納、送信され、カメラレンズ情報及び／又は追加カメラレンズ情報はＩＳＯＢＭＦＦファイル内のボックス形態で伝達される。

【0321】

実施例によって、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスは、該当ビデオトラック（ストリーム）、サンプル、サンプルグループなどにより格納／伝達される３６０°ビデオデータに対してシグナリングされる。また実施例によって、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスは、該当３６０°ビデオデータが格納／送信されるトラックの視覚サンプルエントリー（ｖｉｓｕａｌ ｓａｍｐｌｅ ｅｎｔｒｙ）の下位に存在する。また実施例によって、ビデオ情報はＣＦＦなどのフォーマットにより伝達されることもできる。

【0322】

一例として、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスは、ＳＥＩ ＮＡＬユニットを含む。他の例として、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスは、該当３６０°ビデオ情報に関連するＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ、ＡＶＣＳａｍｐｌｅＥｎｔｒｙ、ＭＶＣＳａｍｐｌｅＥｎｔｒｙ、ＳＶＣＳａｍｐｌｅＥｎｔｒｙ、ＨＥＶＣＳａｍｐｌｅＥｎｔｒｙなどに含まれることができる。

【0323】

また実施例によって、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスは、領域によって関連情報を提供するＳＥＩ又はＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）などに含まれることもできる。これにより、ファイルフォーマットに含まれているビデオフレームに対して、領域ごとに互いに異なるシグナリング情報が提供されることができる。

【0324】

また実施例によって、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスは、時限メタデータ（ｔｉｍｅｄ ｍｅｔａｄａｔａ）内に含まれて伝達されることもできる。

【0325】

時限メタデータで伝達されるカメラレンズ情報及び／又は追加カメラレンズ情報の内容が、ビデオサンプル全体に同一に適用される場合、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスは、該当時限メタデータトラックのヘッダ（ｍｏｏｖ又は ｍｏｏｆボックスなど）内のサンプルエントリーに含まれることができる。

【0326】

又は、時限メタデータで伝達されるカメラレンズ情報及び／又は追加カメラレンズ情報の内容が、ビデオサンプルによって異なるように適用される必要がある場合は、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスは、時限メタデータサンプルに含まれることができる。この場合、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスのフィールドは、該当ビデオサンプルに適用される。

【0327】

又は、時限メタデータで伝達されるカメラレンズ情報及び／又は追加カメラレンズ情報の内容が、ビデオシーケンス全体に適用される必要がある場合は、カメラレンズ情報及び／又は追加カメラレンズ情報に対するボックスは、上述したように、時限メタデータトラックのサンプルエントリーに含まれ、ボックスの情報（フィールド）がビデオシーケンス全体に適用されるようにその意味を拡張される。

【0328】

一方、カメラレンズ情報及び／又は追加カメラレンズ情報はＤＡＳＨにより伝達されることもできる。

【0329】

ＤＡＳＨ基盤のディスクリプタは、＠ｓｃｈｅｍｅＩｄＵｒｉフィールド、＠ｖａｌｕｅフィールド及び／又は＠ｉｄフィールドを含む。＠ｓｃｈｅｍｅＩｄＵｒｉフィールドは、該当ディスクリプタのスキーム（ｓｃｈｅｍｅ）を識別するためのＵＲＩを提供する。＠ｖａｌｕｅフィールドは、＠ｓｃｈｅｍｅＩｄＵｒｉフィールドが指示するスキームによって、その意味が定義される値を有する。即ち、＠ｖａｌｕｅフィールドは、該当スキームによるディスクリプタエレメント値を有することができ、これらはパラメータとも呼ばれる。これらは互いに‘，’によって区分される。＠ｉｄは該当ディスクリプタの識別子を示す。同じ識別子を有する場合、同じスキームＩＤ、値、パラメータを含む。

【0330】

ＤＡＳＨによってカメラレンズ情報及び／又は追加カメラレンズ情報が伝達される場合、カメラレンズ情報及び／又は追加カメラレンズ情報はＤＡＳＨディスクリプタ形態に記載されて、ＭＰＤなどに含まれて受信側に伝達される。カメラレンズ情報及び／又は追加カメラレンズ情報に対するディスクリプタは、上述した必須属性（ｅｓｓｅｎｔｉａｌ ｐｒｏｐｅｒｔｙ）のディスクリプタ及び／又は補足属性（ｓｕｐｐｌｅｍｅｎｔａｌ ｐｒｏｐｅｒｔｙ）のディスクリプタの形態で伝達される。これらのディスクリプタは、ＭＰＤのアダプテーションセット（Ａｄａｐｔａｔｉｏｎ Ｓｅｔ）、レプレゼンテーション、サブ－レプレゼンテーションなどに含まれて伝達されることができる。

【0331】

上述した全ての実施例によるカメラレンズ情報及び／又は追加カメラレンズ情報は、ＤＡＳＨ基盤のディスクリプタ形態にも記載できる。即ち、上述した全てのカメラレンズ情報及び／又は追加カメラレンズ情報の実施例について、各シグナリングフィールドが＠ｖａｌｕｅのパラメータに置き換えて記載されることができる。

【0332】

上述した本発明によるカメラレンズ情報及び／又は追加カメラレンズ情報の実施例は、互いに組み合わせることができる。本発明による３６０°ビデオ送信装置及び／又は３６０°ビデオ受信装置の実施例において、カメラレンズ情報及び／又は追加カメラレンズ情報は、上述した実施例によるカメラレンズ情報及び／又は追加カメラレンズ情報である。

【0333】

図１５は本発明による３６０°ビデオ送信装置による３６０°映像データ処理方法の概略を示す。図１５に示された方法は、図１０に示された３６０°ビデオ送信装置により行われる。具体的には、例えば、図１５のＳ１５００は３６０°ビデオ送信装置のデータ入力部により行われ、Ｓ１５１０は３６０°ビデオ送信装置のプロジェクション処理部により行われ、Ｓ１５２０は３６０°ビデオ送信装置のデータ符号器により行われ、Ｓ１５３０は３６０°ビデオ送信装置のメタデータ処理部により行われ、Ｓ１５４０は３６０°ビデオ送信装置の送信処理部により行われることができる。送信処理部は送信部に含まれることができる。

【0334】

３６０°ビデオ送信装置は少なくとも一つのレンズを有するカメラによりキャプチャされた３６０°映像を含む対象円形領域を得る（Ｓ１５００）。３６０°ビデオ送信装置は少なくとも一つのレンズを有するカメラによりキャプチャされた３６０°映像を含む対象円形領域を得る。例えば、レンズは魚眼レンズである。ここで、３６０°映像は３ＤｏＦ＋コンテンツに対する３６０°映像であり、３ＤｏＦ＋コンテンツに対する３６０°映像は、複数のビューポイント、複数のヘッド位置及び／又は複数のアイビューに対する３６０°映像を示す。

【0335】

３６０°ビデオ送信装置は対象円形領域をピクチャにマッピングする（Ｓ１５１０）。３６０°ビデオ送信装置は対象円形領域をピクチャの四角形領域にマッピングする。３６０°ビデオ送信装置は複数の円形領域を得て、ピクチャは少なくとも一つの四角形領域を含む。この場合、３６０°ビデオ送信装置は複数の円形領域のうち、少なくとも一つの円形領域を四角形領域にマッピングする。

【0336】

また、３６０°ビデオ送信装置はピクチャの四角形領域を回転、再配列するか、又は四角形領域の解像度を変更するなどの処理を行う。処理過程はリージョンごとのパッキング過程（ｒｅｇｉｏｎ－ｗｉｓｅ ｐａｃｋｉｎｇ）又はフレームパッキング（ｆｒａｍｅ ｐａｃｋｉｎｇ）とも呼ばれる。

【0337】

また、３６０°ビデオ送信装置はピクチャの対象円形領域の歪みを修正する。これにより、３６０°ビデオ送信装置は修正されたピクチャを導き出すことができる。

【0338】

３６０°ビデオ送信装置は対象円形領域がマッピングされたピクチャを符号化する（Ｓ１５２０）。３６０°ビデオ送信装置はピクチャを符号化することができる。また、３６０°ビデオ送信装置は対象円形領域に関するメタデータを符号化することができる。

【0339】

３６０°ビデオ送信装置は３６０°映像に関するメタデータを生成する（Ｓ１５３０）。

【0340】

メタデータはカメラレンズ情報を含む。

【0341】

カメラレンズ情報は、上述したｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールド、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｃａｎｃｅｌ＿ｆｌａｇフィールド、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇフィールド、ｓｕｐｐｌｅｍｅｎｔａｌ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールド、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃ＿ｆｌａｇフィールド、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールド、ｎｕｍ＿ｃａｍｅｒａ＿ｉｄ＿ｍｉｎｕｓ１フィールド、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールド、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｚ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｒｏｌｌ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｚ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｒｏｌｌ［ｉ］フィールド、ｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｚ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｒｏｌｌ［ｉ］フィールド、ｎｕｍ＿ｓｕｂｐｉｃｔｕｒｅ＿ｍｉｎｕｓ１フィールド、ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールド、ｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールド、ｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールド、ｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］フィールド、ｆｕｌｌ＿ｒａｄｉｕｓ「ｉ］フィールド、ｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ「ｉ］フィールド、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールド、ｓｃａｌｉｎｇ＿ｆａｃｔｏｒ［ｉ］フィールド、ｎｕｍ＿ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールド、ｎｕｍ＿ａｎｇｌｅ＿＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールド及び／又はｒｅｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドを含む。

【0342】

フィールドの意味は上述した通りである。

【0343】

具体的には、一例として、カメラレンズ情報は対象円形領域に対するカメラタイプを示す情報を含む。カメラタイプはビューポイント、ヘッド位置及びアイビューのうちのいずれか一つである。

【0344】

例えば、カメラタイプを示す情報の値が１である場合、対象円形領域に対するカメラタイプがビューポイントに導き出され、カメラタイプを示す情報の値が２である場合は、対象円形領域に対するカメラタイプがヘッド位置に導き出され、カメラタイプを示す情報の値が３である場合には、対象円形領域に対するカメラタイプがアイビューに導き出される。

【0345】

対象円形領域はカメラタイプを示す情報が示すカメラタイプに対するイメージであり、カメラレンズ情報は対象円形領域に対するカメラタイプ関連情報を含む。カメラタイプを示す情報はｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドを示すことができる。

【0346】

例えば、カメラレンズ情報は、対象円形領域に対する対象ビューポイントのｘ成分、ｙ成分及びｚ成分を示す情報を含む。即ち、カメラレンズ情報は、対象円形領域に対する対象ビューポイントの位置を示す情報を含む。対象円形領域に対する対象ビューポイントのｘ成分、ｙ成分及びｚ成分を示す情報は、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｚ［ｉ］フィールドを示すことができる。また、カメラレンズ情報は、対象円形領域に対する対象ビューポイントのヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報を含む。即ち、カメラレンズ情報は、対象円形領域に対する対象ビューポイントの回転角度を示す情報を含む。対象円形領域に対する対象ビューポイントのヨー角度、ピッチ角度及びロール角度を示す情報は、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｒｏｌｌ［ｉ］フィールドを示す。この場合、例えば、カメラタイプを示す情報の値が１であることができる。即ち、カメラタイプを示す情報が示す対象円形領域に対するカメラタイプがビューポイントであることができる。

【0347】

又は、例えば、カメラレンズ情報は、対象円形領域に対する対象ヘッド位置のｘ成分、ｙ成分及びｚ成分を示す情報を含む。即ち、カメラレンズ情報は、対象円形領域に対する対象ヘッド位置の位置を示す情報を含む。対象円形領域に対する対象ヘッド位置のｘ成分、ｙ成分及びｚ成分を示す情報は、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｚ［ｉ］フィールドを示すことができる。また、カメラレンズ情報は、対象円形領域に対する対象ヘッド位置のヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報を含む。即ち、カメラレンズ情報は、対象円形領域に対する対象ヘッド位置の回転角度を示す情報を含む。対象円形領域に対する対象ヘッド位置のヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報は、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｒｏｌｌ［ｉ］フィールドを示す。この場合、例えば、カメラタイプを示す情報の値が２であることができる。即ち、カメラタイプを示す情報が示す対象円形領域に対するカメラタイプがヘッド位置であることができる。

【0348】

又は、例えば、カメラレンズ情報は、対象円形領域に対する対象アイビューのｘ成分、ｙ成分及びｚ成分を示す情報を含む。即ち、カメラレンズ情報は、対象円形領域に対する対象アイビューの位置を示す情報を含む。対象円形領域に対する対象アイビューのｘ成分、ｙ成分及びｚ成分を示す情報は、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｚ［ｉ］フィールドを示すことができる。また、カメラレンズ情報は、対象円形領域に対する対象アイビューのヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報を含む。即ち、カメラレンズ情報は、対象円形領域に対する対象アイビューの回転角度を示す情報を含む。対象円形領域に対する対象アイビューのヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報は、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｒｏｌｌ［ｉ］フィールドを示す。また、カメラレンズ情報は、対象円形領域に対する対象アイビューが左側アイビューであるか否かを示すフラグを含む。フラグ値が１である場合、対象アイビューは左側アイビューであり、フラグ値が０である場合は、対象アイビューは右側アイビューであることができる。フラグはｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールドを示すことができる。この場合、例えば、カメラタイプを示す情報の値は３である。即ち、カメラタイプを示す情報が示す対象円形領域に対するカメラタイプがアイビューであることができる。

【0349】

他の例として、カメラレンズ情報は対象円形領域のレンズプロジェクションタイプを示す情報を含む。このレンズプロジェクションタイプは、透視投影（ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ）、立体投影（ｓｔｅｒｅｏｇｒａｐｈｉｃ ｐｒｏｊｅｃｔｉｏｎ）、等距離投影（ｅｑｕｉｄｉｓｔａｎｃｅ ｐｒｏｊｅｃｔｉｏｎ）、正弦法則投影（ｓｉｎｅ－ｌａｗ ｐｒｏｊｅｃｔｉｏｎ）、等立体投影（ｅｑｕｉｓｏｌｉｄ ｐｒｏｊｅｃｔｉｏｎ）及び角多項式投影（ａｎｇｕｌａｒ ｐｏｌｙｎｏｍｉａｌ ｐｒｏｊｅｃｔｉｏｎ）のうちの一つである。

【0350】

例えば、レンズプロジェクションタイプを示す情報の値が１である場合、対象円形領域のレンズプロジェクションタイプは透視投影に導き出され、レンズプロジェクションタイプを示す情報の値が２である場合、対象円形領域のレンズプロジェクションタイプは立体投影に導き出され、レンズプロジェクションタイプを示す情報の値が３である場合、対象円形領域のレンズプロジェクションタイプは等距離投影に導き出され、レンズプロジェクションタイプを示す情報の値が４である場合は、対象円形領域のレンズプロジェクションタイプは正弦法則投影に導き出され、レンズプロジェクションタイプを示す情報の値が５である場合は、対象円形領域のレンズプロジェクションタイプは等立体投影に導き出され、レンズプロジェクションタイプを示す情報の値が２５５である場合は、対象円形領域のレンズプロジェクションタイプは角多項式投影に導き出されることができる。また、レンズプロジェクションタイプを示す情報の値が０である場合は、対象円形領域のレンズプロジェクションタイプは未指定であることができる。レンズプロジェクションタイプを示す情報は、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドを示す。

【0351】

例えば、対象円形領域のレンズプロジェクションタイプが透視投影、立体投影、等距離投影、正弦法則投影又は等立体投影である場合、カメラレンズ情報は対象円形領域に対する倍率を示す情報を含む。即ち、レンズプロジェクションタイプを示す情報の値が１以上５以下である場合、カメラレンズ情報は対象円形領域に対する倍率を示す情報を含む。対象円形領域に対する倍率を示す情報はｓｃａｌｉｎｇ＿ｆａｃｔｏｒ［ｉ］フィールドを示す。

【0352】

他の例として、カメラレンズ情報はプロジェクション関数に関する情報を含む。プロジェクション関数に関する情報は、対象円形領域に対するプロジェクション関数の数を示す情報を含む。プロジェクション関数の数を示す情報は、ｎｕｍ＿ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドを示すことができる。

【0353】

プロジェクション関数に関する情報は、対象円形領域に対するプロジェクション関数が適用される角度を示す情報を含む。プロジェクション関数が適用される角度を示す情報は、ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールドを示すことができる。

【0354】

プロジェクション関数に関する情報は、対象円形領域に対するプロジェクション関数の係数の数を示す情報を含む。プロジェクション関数の係数の数を示す情報は、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドを示すことができる。

【0355】

プロジェクション関数に関する情報は、対象円形領域に対するプロジェクション関数の係数を示す情報を含む。プロジェクション関数の係数を示す情報は、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドを示すことができる。

【0356】

また、他の例として、カメラレンズ情報は対象円形領域の歪み修正のための歪み補正関数（ｄｉｓｔｏｒｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ ｆｕｎｃｔｉｏｎ）関連情報が存在するか否かを示すフラグを含む。例えば、フラグ値が１である場合、カメラレンズ情報は歪み補正関数に関する情報を含む。またフラグ値が０である場合は、カメラレンズ情報は歪み補正関数に関する情報を含まない。フラグはｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドを示す。

【0357】

歪み補正関数に関する情報は、対象円形領域に対する歪み補正関数の数を示す情報を含む。歪み補正関数の数を示す情報はｎｕｍ＿ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドを示す。

【0358】

歪み補正関数に関する情報は、対象円形領域に対する歪み補正関数が適用される角度を示す情報を含む。歪み補正関数が適用される角度を示す情報はａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールドを示す。

【0359】

歪み補正関数に関する情報は、対象円形領域に対する歪み補正関数の係数の数を示す情報を含む。歪み補正関数の係数の数を示す情報はｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドを示す。

【0360】

歪み補正関数に関する情報は、対象円形領域に対する歪み補正関数の係数を示す情報を含む。歪み補正関数の係数を示す情報はｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドを示す。

【0361】

プロジェクション関数に関する情報及び／又は歪み補正関数に関する情報に基づいて対象円形領域の歪み修正のための多項式関数が導き出され、この多項式関数に基づいて対象円形領域の歪みが修正される。

【0362】

他の例として、カメラレンズ情報は対象円形領域の半径方向の歪み（ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）タイプを示す情報を含む。半径方向の歪みタイプは、たる形歪曲（Ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）、糸巻き型歪曲（Ｐｉｎｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）及び陣笠型歪曲（Ｍｕｓｔａｃｈｅ ｄｉｓｔｏｒｔｉｏｎ）のうちの一つである。

【0363】

例えば、半径方向の歪みタイプを示す情報の値が１である場合、対象円形領域の半径方向の歪みタイプはたる形歪曲に導き出され、半径方向の歪みタイプを示す情報の値が２である場合は、対象円形領域の半径方向の歪みタイプは糸巻き型歪曲に導き出され、半径方向の歪みタイプを示す情報の値が３である場合は、対象円形領域の半径方向の歪みタイプは陣笠型歪曲に導き出すことができる。

【0364】

対象円形領域の半径方向の歪みは、上述した数１に基づいて修正できる。この場合、数１における半径方向の歪み係数及び接線歪み係数は、対象円形領域の半径方向の歪みタイプに基づいて導き出すことができる。

【0365】

このメタデータは追加カメラレンズ情報を含む。

【0366】

追加カメラレンズ情報は、上述したｎｕｍ＿ｓｕｂｐｉｃｔｕｒｅｓフィールド、ｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールド、ｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールド、ｉｍａｇｅ＿ｆｌｉｐ「ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ａｘｉｓ＿ａｎｇｌｅ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｘ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｙ［ｉ］フィールド、ｎｕｍ＿ａｎｇｌｅ＿ｆｏｒ＿ｄｉｓｐｌａｙｉｎｇ＿ｆｏｖ［ｉ］フィールド、ｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド、ｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｌｏｃａｌ＿ｆｏｖ＿ｒｅｇｉｏｎ［ｉ］フィールド、ｓｔａｒｔ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｅｎｄ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｓｔａｒｔ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド、ｅｎｄ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド、ｒａｄｉｕｓ＿ｄｅｌｔａ［ｉ］［ｊ］フィールド、ａｎｇｌｅ＿ｄｅｌｔａ［ｉ］［ｊ］フィールド、ｌｏｃａｌ＿ｆｏｖ＿ｗｅｉｇｈｔ［ｉ］［ｊ］［ｋ］［ｌ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔｓ＿ｌｓｃ［ｉ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｒ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｇ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｂ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｄｅａｄｚｏｎｅｓフィールド、ｄｅａｄｚｏｎｅ＿ｌｅｆｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ［ｉ］フィールド、ｄｅａｄｚｏｎｅ＿ｔｏｐ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ［ｉ］フィールド、ｄｅａｄｚｏｎｅ＿ｗｉｄｔｈ［ｉ］フィールド及び／又はｄｅａｄｚｏｎｅ＿ｈｅｉｇｈｔ［ｉ］フィールドを含む。

【0367】

フィールドの意味は上述した通りである。

【0368】

一方、メタデータはＳＥＩメッセージにより送信される。メタデータはＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）のアダプテーションセット（ＡｄａｐｔａｔｉｏｎＳｅｔ）、レプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）又はサブ－レプレゼンテーション（ＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ）に含まれることもできる。例えば、魚眼ビデオ情報は、ＭＰＤに含まれたＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）ディスクリプタの形態で送信されることができる。ここで、ＳＥＩメッセージは２Ｄイメージの復号又は２Ｄイメージの３Ｄ空間へのディスプレイに対する補助のために使用されることができる。

【0369】

３６０°ビデオ送信装置は符号化されたピクチャ及びメタデータに対して格納又は送信のための処理を行う（Ｓ１５４０）。３６０°ビデオ送信装置は符号化された３６０°ビデオデータ及び／又はメタデータをファイルなどの形態でカプセル化（ｅｎｃａｐｓｕｌａｔｉｏｎ）することができる。３６０°ビデオ送信装置は符号化された３６０°ビデオデータ及び／又はメタデータを格納又は送信するために、ＩＳＯＢＭＦＦ、ＣＦＦなどのファイルフォーマットにカプセル化するか、又はその他のＤＡＳＨセグメントなどの形態に処理する。３６０°ビデオ送信装置はメタデータをファイルフォーマット上に含むことができる。例えば、メタデータはＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックスに含まれるか、又はファイル内で別のトラック内のデータとして含まれることができる。また、３６０°ビデオ送信装置はメタデータ自体をファイルにカプセル化することができる。３６０°ビデオ送信装置はファイルフォーマットによってカプセル化された３６０°ビデオデータに送信のための処理を加えることができる。３６０°ビデオ送信装置は任意の送信プロトコルによって３６０°ビデオデータを処理することができる。送信のための処理には放送網を介した伝達のための処理、又はブロードバンドなどの通信ネットワークによる伝達のための処理を含む。また、３６０°ビデオ送信装置はメタデータに送信のための処理を加えることもできる。３６０°ビデオ送信装置は送信処理された３６０°ビデオデータ及びメタデータを放送網及び／又はブロードバンドにより送信することができる。

【0370】

本発明によれば、カメラレンズ情報に基づいて３ＤｏＦ＋コンテンツに対する３６０°映像データから対象ビューポイント、対象ヘッド位置及び／又は対象アイビューに対する円形領域を導き出してレンダリングできるので、これによりユーザの３ＤｏＦ＋コンテンツ消費においてインタラクティブな経験（ｉｎｔｅｒａｃｔｉｖｅ ｅｘｐｅｒｉｅｎｃｅ）を提供することができる。

【0371】

また本発明によれば、カメラレンズ情報に含まれたプロジェクション関数に関する情報及び／又は歪み補正関数に関する情報に基づいてレンズの特性を反映して多項式関数を導き出すことができ、多項式関数に基づいて３６０°映像がプロジェクションされたピクチャに発生した歪みを修正して、３６０°映像データを３Ｄ空間により正確にマッピングする案を提案することができる。

【0372】

図１６は本発明による３６０°映像データ処理方法を行う３６０°ビデオ送信装置の概略を示す図である。図１５に示した方法は図１６に示した３６０°ビデオ送信装置で行うことができる。具体的には、例えば、図１６の３６０°ビデオ送信装置のデータ入力部は図１５のＳ１５００を行い、図１６の３６０°ビデオ送信装置のプロジェクション処理部は図１５のＳ１５１０を行い、図１６の３６０°ビデオ送信装置のデータ符号器は図１５のＳ１５２０を行い、図１６の３６０°ビデオ送信装置のメタデータ処理部は図１５のＳ１５３０を行い、また図１６の３６０°ビデオ送信装置の送信処理部は図１５のＳ１５４０を行うことができる。送信処理部は送信部に含まれることができる。

【0373】

図１７は本発明による３６０°ビデオ受信装置による３６０°映像データ処理方法の概略を示す図である。図１７に示した方法は図１１に示した３６０°ビデオ受信装置で行うことができる。具体的には、例えば、図１７のＳ１７００は３６０°ビデオ受信装置の受信部により行われ、Ｓ１７１０は３６０°ビデオ受信装置の受信処理部により行われ、Ｓ１７２０は３６０°ビデオ受信装置のデータ復号器により行われ、Ｓ１７３０は３６０°ビデオ受信装置のレンダラーにより行われる。

【0374】

３６０°ビデオ受信装置は３６０°映像データを受信する（Ｓ１７００）。３６０°ビデオ受信装置は放送網を介して３６０°ビデオ送信装置からシグナリングされた３６０°映像データを受信する。また３６０°ビデオ受信装置はブロードバンドなどの通信ネットワーク又は格納媒体により３６０°映像データを受信することもできる。ここで、３６０°映像データは３ＤｏＦ＋コンテンツに対する３６０°映像データであり、３ＤｏＦ＋コンテンツに対する３６０°映像データは複数のビューポイント、複数のヘッド位置及び／又は複数のアイビューに対する３６０°映像データを示す。

【0375】

３６０°ビデオ受信装置は３６０°映像データから符号化されたピクチャに関する情報及びメタデータを得る（Ｓ１７１０）。３６０°ビデオ受信装置は受信された３６０°映像データに対して送信プロトコルによる処理を行い、３６０°映像データから符号化されたピクチャに関する情報及びメタデータを得る。また、３６０°ビデオ受信装置は上述した３６０°ビデオ送信装置の送信のための処理の逆過程を行う。

【0376】

このメタデータはカメラレンズ情報を含む。

【0377】

カメラレンズ情報は、上述したｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｉｄフィールド、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｃａｎｃｅｌ＿ｆｌａｇフィールド、ｃａｍｅｒａ＿ｌｅｎｓ＿ｉｎｆｏ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇフィールド、ｓｕｐｐｌｅｍｅｎｔａｌ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇフィールド、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃ＿ｆｌａｇフィールド、ｖｉｅｗ＿ｄｉｍｅｎｓｉｏｎ＿ｉｄｃフィールド、ｎｕｍ＿ｃａｍｅｒａ＿ｉｄ＿ｍｉｎｕｓ１フィールド、ｃａｍｅｒａ＿ｉｄ［ｉ］フィールド、ｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｚ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｒｏｌｌ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｚ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｒｏｌｌ［ｉ］フィールド、ｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｚ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｒｏｌｌ［ｉ］フィールド、ｎｕｍ＿ｓｕｂｐｉｃｔｕｒｅ＿ｍｉｎｕｓ１フィールド、ｓｃｅｎｅ＿ｒａｄｉｕｓ＿ｆｌａｇ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｆｌａｇ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｆｌａｇ［ｉ］フィールド、ｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールド、ｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールド、ｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｘ［ｉ］フィールド、ｃｉｒｃｕｌａｒ＿ｒｅｇｉｏｎ＿ｃｅｎｔｅｒ＿ｙ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］フィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］フィールド、ｆｕｌｌ＿ｒａｄｉｕｓ［ｉ］フィールド、ｓｃｅｎｅ＿ｒａｄｉｕｓ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ａｚｉｍｕｔｈ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｒｏｔａｔｉｏｎ＿ｅｌｅｖａｔｉｏｎ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］フィールド、ｌｏｃａｌ＿ｓｐｈｅｒｅ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］フィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］フィールド、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールド、ｓｃａｌｉｎｇ＿ｆａｃｔｏｒ［ｉ］フィールド、ｎｕｍ＿ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールド、ｎｕｍ＿ａｎｇｌｅ＿＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］フィールド、ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールド及び／又はｒｅｄｉａｌ＿ｄｉｓｔｏｒｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドを含む。

【0378】

フィールドの意味は上述した通りである。

【0379】

より具体的には、一例として、カメラレンズ情報は対象円形領域に対するカメラタイプを示す情報を含む。カメラタイプはビューポイント、ヘッド位置及びアイビューのうちの一つである。

【0380】

例えば、カメラタイプを示す情報の値が１である場合、対象円形領域に対するカメラタイプはビューポイントに導き出され、カメラタイプを示す情報の値が２である場合は、対象円形領域に対するカメラタイプはヘッド位置に導き出され、カメラタイプを示す情報の値が３である場合は、対象円形領域に対するカメラタイプはアイビューに導き出されることができる。

【0381】

対象円形領域はカメラタイプを示す情報が示すカメラタイプに対するイメージであり、カメラレンズ情報は対象円形領域に対するカメラタイプに関する情報を含む。カメラタイプを示す情報はｃａｍｅｒａ＿ｉｄ＿ｔｙｐｅ［ｉ］フィールドを示す。

【0382】

例えば、カメラレンズ情報は対象円形領域に対する対象ビューポイントのｘ成分、ｙ成分及びｚ成分を示す情報を含む。即ち、カメラレンズ情報は対象円形領域に対する対象ビューポイントの位置を示す情報を含む。対象円形領域に対する対象ビューポイントのｘ成分、ｙ成分及びｚ成分を示す情報は、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｚ［ｉ］フィールドを示す。また、カメラレンズ情報は対象円形領域に対する対象ビューポイントのヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報を含む。即ち、カメラレンズ情報は対象円形領域に対する対象ビューポイントの回転角度を示す情報を含む。対象円形領域に対する対象ビューポイントのヨー角度、ピッチ角度及びロール角度を示す情報は、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｖｉｅｗｐｏｉｎｔ＿ｒｏｌｌ［ｉ］フィールドを示す。この場合、例えば、カメラタイプを示す情報の値が１である。即ち、カメラタイプを示す情報が示す対象円形領域に対するカメラタイプがビューポイントであることができる。

【0383】

又は、例えば、カメラレンズ情報は対象円形領域に対する対象ヘッド位置（ｈｅａｄ ｐｏｓｉｔｉｏｎ）のｘ成分、ｙ成分及びｚ成分を示す情報を含む。即ち、カメラレンズ情報は対象円形領域に対する対象ヘッド位置の位置を示す情報を含む。対象円形領域に対する対象ヘッド位置のｘ成分、ｙ成分及びｚ成分を示す情報は、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｚ［ｉ］フィールドを示す。また、カメラレンズ情報は対象円形領域に対する対象ヘッド位置のヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報を含む。即ち、カメラレンズ情報は対象円形領域に対する対象ヘッド位置の回転角度を示す情報を含む。対象円形領域に対する対象ヘッド位置のヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報は、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｈｅａｄ＿ｐｏｓｉｔｉｏｎ＿ｒｏｌｌ［ｉ］フィールドを示す。この場合、例えば、カメラタイプを示す情報の値が２である。即ち、カメラタイプを示す情報が示す対象円形領域に対するカメラタイプがヘッド位置である。

【0384】

又は、例えば、カメラレンズ情報は対象円形領域に対する対象アイビュー（ｅｙｅ ｖｉｅｗ）のｘ成分、ｙ成分及びｚ成分を示す情報を含む。即ち、カメラレンズ情報は対象円形領域に対する対象アイビューの位置を示す情報を含む。対象円形領域に対する対象アイビューのｘ成分、ｙ成分及びｚ成分を示す情報は、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｘ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙ［ｉ］フィールド、ｃａｍｅｒａ＿ｌｏｃａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｚ［ｉ］フィールドを示す。また、カメラレンズ情報は対象円形領域に対する対象アイビューのヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報を含む。即ち、カメラレンズ情報は対象円形領域に対する対象アイビューの回転角度を示す情報を含む。対象円形領域に対する対象アイビューのヨー（ｙａｗ）角度、ピッチ（ｐｉｔｃｈ）角度及びロール（ｒｏｌｌ）角度を示す情報は、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｙａｗ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｐｉｔｃｈ［ｉ］フィールド、ｃａｍｅｒａ＿ｒｏｔａｔｉｏｎ＿ｐｅｒ＿ｅｙｅ＿ｒｏｌｌ［ｉ］フィールドを示す。また、カメラレンズ情報は対象円形領域に対する対象アイビューが左側アイビューであるか否かを示すフラグを含む。フラグ値が１である場合、対象アイビューは左側アイビューであり、フラグ値が０である場合は、対象アイビューは右側アイビューである。フラグはｌｅｆｔ＿ｅｙｅ＿ｖｉｅｗ＿ｆｌａｇ［ｉ］フィールドを示すことができる。この場合、例えば、カメラタイプを示す情報の値が３である。即ち、カメラタイプを示す情報が示す対象円形領域に対するカメラタイプがアイビューである。

【0385】

他の例として、カメラレンズ情報は、対象円形領域のレンズプロジェクションタイプを示す情報を含む。このレンズプロジェクションタイプは、透視投影（ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ）、立体投影（ｓｔｅｒｅｏｇｒａｐｈｉｃ ｐｒｏｊｅｃｔｉｏｎ）、等距離投影（ｅｑｕｉｄｉｓｔａｎｃｅ ｐｒｏｊｅｃｔｉｏｎ）、正弦法則投影（ｓｉｎｅ－ｌａｗ ｐｒｏｊｅｃｔｉｏｎ）、等立体投影（ｅｑｕｉｓｏｌｉｄ ｐｒｏｊｅｃｔｉｏｎ）及び角多項式投影（ａｎｇｕｌａｒ ｐｏｌｙｎｏｍｉａｌ ｐｒｏｊｅｃｔｉｏｎ）のうちの一つである。

【0386】

例えば、レンズプロジェクションタイプを示す情報の値が１である場合、対象円形領域のレンズプロジェクションタイプが透視投影に導き出され、レンズプロジェクションタイプを示す情報の値が２である場合は、対象円形領域のレンズプロジェクションタイプが立体投影に導き出され、レンズプロジェクションタイプを示す情報の値が３である場合は、対象円形領域のレンズプロジェクションタイプが等距離投影に導き出され、レンズプロジェクションタイプを示す情報の値が４である場合は、対象円形領域のレンズプロジェクションタイプが正弦法則投影に導き出され、レンズプロジェクションタイプを示す情報の値が５である場合は、対象円形領域のレンズプロジェクションタイプが等立体投影に導き出され、レンズプロジェクションタイプを示す情報の値が２５５である場合は、対象円形領域のレンズプロジェクションタイプは角多項式投影に導き出される。また、レンズプロジェクションタイプを示す情報の値が０である場合は、対象円形領域のレンズプロジェクションタイプは未指定であることができる。レンズプロジェクションタイプを示す情報は、ｌｅｎｓ＿ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ［ｉ］フィールドを示す。

【0387】

例えば、対象円形領域のレンズプロジェクションタイプが透視投影、立体投影、等距離投影、正弦法則投影又は等立体投影である場合、カメラレンズ情報は対象円形領域に対する倍率を示す情報を含む。即ち、レンズプロジェクションタイプを示す情報の値が１以上５以下である場合、カメラレンズ情報は対象円形領域に対する倍率を示す情報を含む。対象円形領域に対する倍率を示す情報はｓｃａｌｉｎｇ＿ｆａｃｔｏｒ［ｉ］フィールドを示す。

【0388】

他の例として、カメラレンズ情報はプロジェクション関数に関する情報を含む。プロジェクション関数に関する情報は、対象円形領域に対するプロジェクション関数の数を示す情報を含む。プロジェクション関数の数を示す情報は、ｎｕｍ＿ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドを示すことができる。

【0389】

プロジェクション関数に関する情報は、対象円形領域に対するプロジェクション関数が適用される角度を示す情報を含む。プロジェクション関数が適用される角度を示す情報は、ａｎｇｌｅ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］フィールドを示すことができる。

【0390】

プロジェクション関数に関する情報は、対象円形領域に対するプロジェクション関数の係数の数を示す情報を含む。プロジェクション関数の係数の数を示す情報は、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドを示すことができる。

【0391】

プロジェクション関数に関する情報は、対象円形領域に対するプロジェクション関数の係数を示す情報を含む。プロジェクション関数の係数を示す情報は、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｐｒｏｊｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドを示すことができる。

【0392】

他の例として、カメラレンズ情報は対象円形領域の歪み修正のための歪み補正関数（ｄｉｓｔｏｒｔｉｏｎ ｃｏｒｒｅｃｔｉｏｎ ｆｕｎｃｔｉｏｎ）に関する情報が存在するか否かを示すフラグを含む。例えば、フラグ値が１である場合、カメラレンズ情報は歪み補正関数に関する情報を含む。フラグ値が０である場合は、カメラレンズ情報は歪み補正関数に関する情報を含まない。フラグはｌｅｎｓ＿ｄｉｓｔｏｒｔｉｏｎ＿ｃｏｒｒｅｃｔｉｏｎ＿ｆｌａｇ［ｉ］フィールドを示すことができる。

【0393】

歪み補正関数に関する情報は、対象円形領域に対する歪み補正関数の数を示す情報を含む。歪み補正関数の数を示す情報はｎｕｍ＿ａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドを示すことができる。

【0394】

歪み補正関数に関する情報は、対象円形領域に対する歪み補正関数が適用される角度を示す情報を含む。歪み補正関数が適用される角度を示す情報はａｎｇｌｅ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］フィールドを示すことができる。

【0395】

歪み補正関数に関する情報は、対象円形領域に対する歪み補正関数の係数の数を示す情報を含む。歪み補正関数の係数の数を示す情報はｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］［ｊ］フィールドを示すことができる。

【0396】

歪み補正関数に関する情報は、対象円形領域に対する歪み補正関数の係数を示す情報を含む。歪み補正関数の係数を示す情報はｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆ＿ｃｏｒｒｅｃｔｉｏｎ［ｉ］［ｊ］［ｋ］フィールドを示すことができる。

【0397】

３６０°ビデオ受信装置は歪み補正関数に関する情報に基づいて対象円形領域の歪み（ｄｉｓｔｏｒｔｉｏｎ）修正のための歪み補正関数を導き出すことができ、歪み補正関数に基づいて対象円形領域の歪みを修正することができる。

【0398】

他の例として、カメラレンズ情報は対象円形領域の半径方向の歪み（ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）タイプを示す情報を含む。半径方向の歪みタイプは、たる形歪曲（Ｂａｒｒｅｌ ｄｉｓｔｏｒｔｉｏｎ）、糸巻き型歪曲（Ｐｉｎｃｕｓｈｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）及び陣笠型歪曲（Ｍｕｓｔａｃｈｅ ｄｉｓｔｏｒｔｉｏｎ）のうちの一つである。

【0399】

例えば、半径方向の歪みタイプを示す情報の値が１である場合、対象円形領域の半径方向の歪みタイプはたる形歪曲に導き出され、半径方向の歪みタイプを示す情報の値が２である場合は、対象円形領域の半径方向の歪みタイプは糸巻き型歪曲に導き出され、半径方向の歪みタイプを示す情報の値が３である場合は、対象円形領域の半径方向の歪みタイプは陣笠型歪曲に導き出すことができる。

【0400】

３６０°ビデオ受信装置は上述した数１に基づいて対象円形領域の半径方向の歪みを修正することができる。この場合、数１の半径方向の歪み係数及び接線歪み係数は、対象円形領域の半径方向の歪みタイプに基づいて導き出すことができる。

【0401】

このメタデータは追加カメラレンズ情報を含む。

【0402】

追加カメラレンズ情報は、上述したｎｕｍ＿ｓｕｂｐｉｃｔｕｒｅＳフィールド、ｎｕｍ＿ｃａｍｅｒａ＿ｉｄｘ＿ｍｉｎｕｓ１フィールド、ｃａｍｅｒａ＿ｉｄｘ［ｉ］［ｊ］フィールド、ｉｍａｇｅ＿ｆｌｉｐ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ａｘｉｓ＿ａｎｇｌｅ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｘ［ｉ］フィールド、ｉｍａｇｅ＿ｓｃａｌｅ＿ｙ［ｉ］フィールド、ｎｕｍ＿ａｎｇｌｅ＿ｆｏｒ＿ｄｉｓｐｌａｙｉｎｇ＿ｆｏｖ［ｉ］フィールド、ｄｉｓｐｌａｙｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド、ｏｖｅｒｌａｐｐｅｄ＿ｆｏｖ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｌｏｃａｌ＿ｆｏｖ＿ｒｅｇｉｏｎ［ｉ］フィールド、ｓｔａｒｔ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｅｎｄ＿ｒａｄｉｕｓ［ｉ］［ｊ］フィールド、ｓｔａｒｔ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド、ｅｎｄ＿ａｎｇｌｅ［ｉ］［ｊ］フィールド、ｒａｄｉｕｓ＿ｄｅｌｔａ［ｉ］［ｊ］フィールド、ａｎｇｌｅ＿ｄｅｌｔａ［ｉ］［ｊ］フィールド、ｌｏｃａｌ＿ｆｏｖ＿ｗｅｉｇｈｔ［ｉ］［ｊ］［ｋ］［ｌ］フィールド、ｎｕｍ＿ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔｓ＿ｌｓｃ［ｉ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｒ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｇ［ｉ］［ｊ］フィールド、ｐｏｌｙｎｏｍｉａｌ＿ｃｏｅｆｆｉｃｉｅｎｔ＿Ｋ＿ｌｓｃ＿Ｂ［ｉ］［ｊ］フィールド、ｎｕｍ＿ｄｅａｄｚｏｎｅｓフィールド、ｄｅａｄｚｏｎｅ＿ｌｅｆｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ［ｉ］フィールド、ｄｅａｄｚｏｎｅ＿ｔｏｐ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ［ｉ］フィールド、ｄｅａｄｚｏｎｅ＿ｗｉｄｔｈ［ｉ］フィールド及び／又はｄｅａｄｚｏｎｅ＿ｈｅｉｇｈｔ［ｉ］フィールドを含む。

【0403】

このフィールドの意味は上述した通りである。

【0404】

一方、メタデータはＳＥＩメッセージにより受信される。メタデータはＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）のアダプテーションセット、レプレゼンテーション又はサブ－レプレゼンテーションに含まれることもできる。例えば、魚眼ビデオ情報は、ＭＰＤに含まれたＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）ディスクリプタの形態で受信される。ここで、ＳＥＩメッセージは２Ｄイメージの復号又は２Ｄイメージの３Ｄ空間へのディスプレイに対する補助のために使用される。

【0405】

３６０°ビデオ受信装置は符号化されたピクチャに関する情報に基づいて対象円形領域（ｃｉｒｃｕｌａｒ ｒｅｇｉｏｎ）を含むピクチャを復号する（Ｓ１７２０）。３６０°ビデオ受信装置は符号化されたピクチャに関する情報に基づいて対象円形領域を含むピクチャを復号する。対象円形領域は３６０°映像を含む領域である。

【0406】

３６０°ビデオ受信装置はカメラレンズ情報に基づいて対象円形領域を処理してレンダリングする（Ｓ１７３０）。

【0407】

例えば、３６０°ビデオ受信装置はカメラレンズ情報に基づいてピクチャから対象円形領域を導き出すことができる。一例として、３６０°ビデオ受信装置はカメラレンズ情報に基づいて特定の位置に対する対象ビューポイントを導き出し、対象ビューポイントに対する対象円形領域を導き出すことができる。他の例として、３６０°ビデオ受信装置はカメラレンズ情報に基づいて特定の位置に対する対象ヘッド位置を導き出し、対象ヘッド位置に対する対象円形領域を導き出すことができる。他の例として、３６０°ビデオ受信装置はカメラレンズ情報に基づいて特定の位置に対する対象アイビューを導き出し、対象アイビューに対する対象円形領域を導き出すことができる。ここで、特定の位置はローカル座標系（ｌｏｃａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）及びグローバル座標系（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）のうちのいずれか一つにより示した位置及び／又は回転角度であり、特定の位置はユーザが選択した位置及び／又は回転角度である。ローカル座標系はｘ成分、ｙ成分及びｚ成分で座標を示す座標系であり、グローバル座標系はヨー角度、ピッチ角度及びロール角度で座標を示す座標系である。

【0408】

一例として、メタデータのカメラレンズ情報は対象円形領域を記載する情報及び対象円形領域がマッピングされた四角形領域を記載する情報を含む。３６０°ビデオ受信装置は四角形領域を記載する情報に基づいて四角形領域を導き出すことができ、対象円形領域を記載する情報に基づいて四角形領域にマッピングされた対象円形領域を導き出すことができる。この場合、四角形領域と対象円形領域がマッピングされた領域の内部積集合に該当する領域が実際３６０°映像データであることができる。その他の有効でない領域は黒色などで示して区分できる。実施例によって、３６０°ビデオ受信装置は四角形領域と対象円形領域がマッピングされた領域の積集合に該当する領域を導き出すこともできる。

【0409】

一例として、カメラレンズ情報は３６０°映像データがマッピングされていないデッドゾーンに関する情報を含む。３６０°ビデオ受信装置は３６０°映像データがマッピングされていないデッドゾーンに関する情報に基づいて３６０°映像データがマッピングされていないデッドゾーンを導き出すことができる。

【0410】

また、カメラレンズ情報はレンズプロジェクションタイプを示す情報を含み、３６０°ビデオ受信装置はレンズプロジェクションタイプに基づいて導き出された球座標系マッピング数式に基づいて対象円形領域を３Ｄ空間にマッピングすることができる。より具体的には、例えば、３６０°ビデオ受信装置はレンズプロジェクションタイプに基づいて導き出された球座標系マッピング数式に基づいて対象円形領域を平面にプロジェクションすることができる。ここで、平面はＥＲＰ（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ、正距円筒プロジェクション）平面である。このプロジェクション過程は、対象円形領域を球座標系などの３Ｄ空間にリプロジェクションするための中間段階である。

【0411】

カメラレンズ情報はプロジェクション関数に関する情報及び／又は歪み補正関数に関する情報を含む。３６０°ビデオ受信装置はプロジェクション関数に関する情報及び／又は歪み補正関数に関する情報に基づいて対象円形領域の歪み修正のための多項式関数を導き出すことができ、多項式関数に基づいて対象円形領域の歪みを修正することができる。

【0412】

カメラレンズ情報は対象円形領域の半径方向の歪みタイプを示す情報を含み、３６０°ビデオ受信装置は上記数１に基づいて対象円形領域の半径方向の歪みを修正することができる。

【0413】

３６０°ビデオ受信装置は最終的に合成されたＥＲＰ平面（ピクチャ）に基づいてレンダリングを行って、該当するビューポートを生成する。

【0414】

本発明によれば、カメラレンズ情報に基づいて３ＤｏＦ＋コンテンツに対する３６０°映像データから対象ビューポイント、対象ヘッド位置及び／又は対象アイビューに対する円形領域を導き出してレンダリングすることができるので、これによりユーザの３ＤｏＦ＋コンテンツ消費においてインタラクティブな経験を提供することができる。

【0415】

本発明によれば、カメラレンズ情報に含まれたプロジェクション関数に関する情報及び／又は歪み補正関数に関する情報に基づいてレンズの特性を反映して多項式関数を導き出すことができ、多項式関数に基づいて３６０°映像がプロジェクションされたピクチャに発生した歪みを修正して３６０°映像データを３Ｄ空間により正確にマッピングする案を提案することができる。

【0416】

図１８は本発明による３６０°映像データ処理方法を行う３６０°ビデオ受信装置の概略を示す図である。図１７に示した方法は図１８に示した３６０°ビデオ受信装置により行うことができる。具体的には、例えば、図１８の３６０°ビデオ受信装置の受信部は図１７のＳ１７００を行い、図１８の３６０°ビデオ受信装置の受信処理部は図１７のＳ１７１０を行い、図１８の３６０°ビデオ受信装置のデータ復号器は図１７のＳ１７２０を行い、図１８の３６０°ビデオ受信装置のレンダラーは図１７のＳ１７３０を行うことができる。

【0417】

上記段階は実施例によって省略されるか、類似／同一の動作を行う他の段階に代替することもできる。

【0418】

本発明の一実施例による３６０°ビデオ送信装置は、上述したデータ入力部、スティッチャー、シグナリング処理部、プロジェクション処理部、データ符号器、送信処理部及び／又は送信部を含む。各々の内部コンポーネントは上述した通りである。本発明の一実施例による３６０°ビデオ送信装置及びその内部コンポーネントは、上述した本発明の３６０°ビデオを送信する方法の実施例を行うことができる。

【0419】

本発明の一実施例による３６０°ビデオ受信装置は、上述した受信部、受信処理部、データ復号器、シグナリングパーザ、リプロジェクション処理部及び／又はレンダラーを含む。各々の内部コンポーネントは上述した通りである。本発明の一実施例による３６０°ビデオ受信装置及びその内部コンポーネントは、上述した本発明の３６０°ビデオを受信する方法の実施例を行うことができる。

【0420】

上述した装置の内部コンポーネントは、メモリに格納された連続する実行過程を行うプロセッサであるか、それ以外のハードウェアで構成されたハードウェアコンポーネントである。これらは装置の内部／外部に位置することができる。

【0421】

上述したモジュールは実施例によって省略することができ、或いは類似／同一の動作を行う他のモジュールに置き換えることができる。

【0422】

上述した各々のパート、モジュール又はユニットは、メモリ（又は格納ユニット）に格納された連続する実行過程を行うプロセッサであるか、ハードウェアパートである。上述した実施例に記載された各々の段階は、プロセッサ又はハードウェアパートにより行われることができる。上述した実施例に記載された各々のモジュール／ブロック／ユニットは、ハードウェア／プロセッサとして動作することができる。また本発明が提示する方法は、コードとして実行されることができる。このコードはプロセッサが読み取り可能な格納媒体に記録されることができ、よって装置が提供するプロセッサにより読み取られることができる。

【0423】

上述した実施例において、上記方法は一連の段階又はブロックで順序図に基づいて説明されているが、本発明は段階の順序に限定されるものではなく、ある段階は前述と異なる段階と異なる順序に又は同時に発生することができる。また、当業者であれば、順序図に示す段階が排他的でなく、他の段階が含まれたり、或いは順序図の一つ又はそれ以上の段階が本発明の範囲に影響を及ぼさずに削除可能であること理解することができる。

【0424】

本発明において、実施例がソフトウェアで実現される時、上述した技法は、上述した機能を遂行するモジュール（過程、機能など）で実現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリはプロセッサの内部又は外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含む。メモリはＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】

【図9】

【図10】

【図11】

【図12】

【図13(a)】

【図13(b)】

【図13(c)】

【図14】

【図15】

【図16】

【図17】

【図18】